JP2015520582A - ネイティブ３色イメージ及びハイダイナミックレンジイメージ - Google Patents

Abstract

様々な実施は、例えば、ＲＧＢイメージ及び／又はＨＤＲイメージを含むカラーイメージを提供する。１つの実際の実施において、カラーイメージは、複数のセンサから捕捉される第１の組の色値を用いて生成される。カラーイメージの複数のピクセル位置は、複数のセンサから捕捉される３つの色についての色値を有する。レンズアセンブリは、光を複数のセンサに通す。ＨＤＲイメージは、複数のセンサから捕捉される第２の組の色値を用いて生成される。他の実施は、レンズアセンブリと、レンズアセンブリを通じて光を受けるよう配置される複数のセンサとを含む。複数のセンサから捕捉される第１の組の色値は、複数のピクセル位置にういて３つの色値を提供するようアセンブル可能である。複数のセンサから捕捉される第２の組の色値は、ＨＤＲイメージを提供するよう補間可能である。

Description

実施は、イメージの捕捉及び／又は処理に関連して記載される。様々な特定の実施は、ネイティブ３色イメージ及びハイダイナミックレンジ（ＨＤＲ；High Dynamic Range）イメージの捕捉及び／又は処理に係る。

映画のプロデューサ及び他のコンテンツ制作者は、コンテンツを捕捉するのに利用可能な選択の余地を有する。１つの選択肢は、赤−緑−青（ＲＧＢ；Red-Green-Blue）イメージを使用することである。ＲＧＢイメージは、例えば、補間後又はネイティブであることができる。他の選択肢は、ＨＤＲイメージを使用することである。しばしば、コンテンツ制作者は、コンテンツの異なる部分において異なるタイプのイメージを使用したいと望む。例えば、映画のプロデューサは、映画の中の少数の選択された場面をＨＤＲイメージを用いて撮影したいと望むことがある。その望みを叶えるよう、コンテンツ制作者は、通常、イメージのタイプごとに異なるカメラ（複数を含む。）を用いる必要がある。例えば、映画のプロデューサは、ネイティブＲＧＢイメージを捕捉するのに第１のカメラを使用し、ＨＤＲイメージを捕捉するのに第２のカメラ及び第３のカメラを使用することがある。

全般的な態様に従って、カラーイメージは、複数のセンサから捕捉される第１の組の色値を用いて生成される。前記カラーイメージの複数のピクセル位置は、３つの色についての色値を有する。該３つの色値は前記複数のセンサから捕捉され、レンズセンブリは光を前記複数のセンサに通す。ＨＤＲイメージは、前記複数のセンサから捕捉される第２の組の色値を用いて生成される。

他の全般的な態様に従って、装置は、レンズアセンブリと、該レンズアセンブリを通して光を受けるよう配置される複数のセンサとを含む。該複数のセンサから捕捉される第１の組の色値は、複数のピクセル位置について３つの色値を提供するようアセンブル可能である。前記複数のセンサから捕捉される第２の組の色値は、ＨＤＲイメージを提供するよう補間可能である。

１又はそれ以上の実施の詳細は、添付の図面及び以下の記載において説明される。たとえ１つの特定の様態において記載されるとしても、当然に、実施は、様々な様態において構成又は具現されてよい。例えば、実施は、方法として実行されるか、あるいは、装置、例えば、動作の組を実行するよう構成される装置又は動作の組を実行する命令を記憶する装置として具現されるか、あるいは、信号において具現されてよい。他の態様及び特徴は、添付の図面及び特許請求の範囲とともに検討される以下の詳細な説明から明らかになるであろう。

カメラの例を表すブロック図を提供する。 ３つのＲＧＢセンサの例を表す絵図を提供する。 図２の３つのＲＧＢセンサが組み合わされる例を表す絵図を提供する。 ネイティブＲＧＢピクチャを形成するプロセスの例を表すフロー図を提供する。 図２のセンサ２及び３が組み合わされる例を表す絵図を提供する。 図５の組み合わせを拡張したものの４つのピクセル位置に補間される色の例を表す絵図を提供する。 図６において補間される色の夫々について、補間において使用され得る４つのピクセル位置の例を表す絵図を提供する。 ＨＤＲピクチャを形成するプロセスの例を表すフロー図を提供する。 ネイティブＲＧＢピクチャ及びＨＤＲピクチャを形成するプロセスの例を表すフロー図を提供する。 送信システムの例を表すブロック図を提供する。 受信システムの例を表すブロック図を提供する。

本願で記載される少なくとも１つの実施は、同じレンズアセンブリ（しばしば、本願では単に、レンズと称される。）を用いてネイティブＲＧＢイメージ及びＨＤＲイメージを生成する方法及び装置を対象とする。そのような実施において、レンズアセンブリは、光を３つのセンサに通し、該３つのセンサから捕捉されるデータは、ネイティブＲＧＢイメージ及びＨＤＲイメージの両方を生成するのに使用される。特に、１つの実施において、本願は、標準的な２×２ベイヤーマトリクスに代えて、３つのセンサ及び提案される３×２×４マトリクス（図２を参照。）を使用することが如何にして、カメラが単一のレンズアセンブリを用いて同じ装置内でネイティブＲＧＢイメージ及び超高品位のＨＤＲイメージを提供することを可能にするのかを記載する。

ベイヤーマトリクス（又は“ベイヤーパターン”）は、通常、２５％が赤、５０％が緑、２５％が青であるフィルタパターンである。ベイヤーパターンは、しばしば、特定の解像度を対象とするよう必要に応じて繰り返される（タイリングとも呼ばれる。）２×２マトリクスである。１つの例は、図２におけるセンサ１の上の２×２部分によって、以下で示される。その２×２部分は、１つの赤（１行目の２列目に位置する。）と、２つの緑（１行目の１列目と、２行目の２列目とに位置する。）と、１つの青（２行目の１列目に位置する。）とを有する。ベイヤーパターンセンサは、一般的に、センサに入る光をフィルタリングするベイヤーパターンを有するセンサを指す。ベイヤーパターンは、様々な実施において、当業者によく知られた様態においてセンサに適用又は付属される。

“ネイティブＲＧＢ”（又は“フルネイティブＲＧＢ”）イメージは、捕捉されたデータがイメージ内の全てのピクセル又は略全てのピクセルについて赤色成分、緑色成分及び青色成分を含むイメージを指す。色成分は“色値”又は“値”とも呼ばれる。色値は、様々な実施において、赤、緑及び青の夫々について、０から２５５までの８ビット整数である。

語“ネイティブ”は、全ての成分（例えば、Ｒ、Ｇ及びＢ）が、例えば、補間されるのとは対照的に、捕捉されることを示す。結果として、語“ネイティブ”は、他のタイプのイメージ、例えば、捕捉される何らかの３つの色を参照するネイティブ３色イメージに適用され得る。他の例には、ネイティブＹＵＶイメージがある。

ＨＤＲイメージは、最も明るい領域と最も暗い領域との間が、通常とり得るよりも広いダイナミックレンズを有するイメージを指す。ダイナミックレンジは、通常、イメージの輝度値の範囲を指す。

ハイダイナミックレンジを有するソースコンテンツは、しばしば、明領域又は暗領域のいずれかにおいて詳細が失われることを欠点とする。ＨＤＲイメージは、そのような失われた詳細の一部を提供することができる。通常、ＨＤＲイメージは、異なる輝度レベルで捕捉される成分イメージ（又はイメージの部分）をまとめることによって生成される。

多くの実施は、表現可能な輝度値の範囲を実際には広げないＨＤＲイメージを生成する（例えば、輝度は、ＨＤＲプロセッシングが使用されるかどうかにかかわらず、８ビット値によって表現される。）。しかし、それらの実施のうちの幾つかは、輝度値の範囲を、輝度の差がより良く表現され得る異なる輝度範囲へ動かすプロセッシング技術（例えば、フィルタリング）を使用する。例えば、高い輝度は、全領域が輝度範囲の高輝度限界（例えば、２５５）又はその近くにある輝度値を与えられるように、しばしばセンサを飽和させ得る。幾つかの実施は、輝度を減じるようフィルタを適用し、その結果、輝度値はもはや単一の数（２５５）の周囲に集められず、範囲にわたって散開する。よって、更なる詳細が与えられる。

フルネイティブＲＧＢイメージは３つのセンサを用いて捕捉され得る。それら３つのセンサの夫々は、単独で、赤、緑及び青の情報を捕捉する。ビームスプリッタメカニズムは、通常、夫々のセンサが三原色の夫々で同量の輝度を受けるように、レンズアセンブリとそれらセンサとの間に適用される。

そのようなデバイスによれば、少なくとも、夫々のセンサに到達する輝度のレベルが同じでなければならないならば、ＨＤＲを生成することは可能でないと思われる。複数の輝度値を有するために、異なる輝度を有する複数の３センサデバイスが必要であると思われる。複数のデバイスを用いることは、しかしながら、高価であり且つ実際的ではない。

また、複数の減光（ＮＤ；Neutral Density）フィルタを夫々のセンサの前に適用することで、ベイヤータイプの色フィルタを備え付けられた３つのセンサを用いる単一デバイス内で且つ単一のレンズアセンブリによりＨＤＲイメージを生成することが可能である。そのようなデバイスは、それ自体に大きな価値を有する。しかし、そのようなシステムが使用される場合、ベイヤーパターンはピクセル補間を必要とし、夫々のピクセルについてフルネイティブＲＧＢ結合において結合され得ないので、同じデバイスによりネイティブＲＧＢイメージを取得することは可能でないと思われる。すなわち、たとえ３つのベイヤーパターンが存在するとしても、それら３つのベイヤーパターンは全て同じである。第２及び第３のベイヤーパターンセンサを付加することは、如何なる追加の又は新しい情報も提供しない。むしろ、第２及び第３のベイヤーパターンセンサは、第１のベイヤーパターンセンサからの色情報を複製する。然るに、所与のピクセル位置は、第２及び第３のベイヤーパターンセンサから如何なる新しい色情報も得ない。結果として、ベイヤーパターンセンサによれば、ピクセル位置は１よりも多い色値を有さず、当然、ネイティブＲＧＢでない。むしろ、所与の色についての捕捉された色値は、全てのピクセル位置についての補間された色値（所与の色値に関する。）を提供するために補間アルゴリズムにおいて使用される。しかし、補間は、補間された色値が捕捉された色ではなかったので、ネイティブＲＧＢをもたらさない。

本願で記載される様々な実施形態は、しかしながら、映画制作者（又は他のコンテンツ制作者）が単一のレンズアセンブリを用いて同じデバイス（通常、カメラ）内でＨＤＲ及びネイティブＲＧＢの両方の機能を得ることを可能にするデバイスを提供する。この機能は、そのような効果（ＨＤＲ及びネイティブＲＧＢ）を用いることを、２又はそれ以上の異なる専用のカメラを用いることよりも安価且つ生産的なものとする。

図１を参照すると、カメラ１００が示されており、カメラ１００は、ＨＤＲイメージ及びネイティブＲＧＢイメージの両方が捕捉されることを可能にする。カメラ１００は、レンズアセンブリ１１０を含む。レンズアセンブリ１１０は、特定の実施において、単一のレンズを含む。なお、他の実施は、レンズアセンブリ１１０において複数のレンズを含む。

レンズアセンブリ１１０は、光をビームスプリッタ１１５へ通す。ビームスプリッタ１１５は、光を、第１のセンサ１２０、第２のセンサ１３０及び第３のセンサ１４０を含む３つのセンサへ通す。通される光は、実施によって様々であることができる。なお、少なくとも１つの実施において、光は、センサ１２０、１３０及び１４０の夫々へ同量において通される。

カメラ１００は、ビームスプリッタ１１５と第１のセンサ１２０との間に配置されるＮＤフィルタ１４５を含む。ＮＤフィルタ１４５は、異なる実施においては、異なるフィルタリング強度を有する。よく知られているＮＤフィルタは、略等しく光の全ての波長又は色の強さを低減及び／又は変更する。他のフィルタは、異なる実施において使用されるが、非ＮＤフィルタは、通常は、下流のセンサ（例えば、第１のセンサ１２０）によって捕捉される色に対する影響を有する。

センサ１２０、１３０及び１４０によって捕捉されるデータは、下流のデバイスへ供給される。カメラ１００に含まれる下流のデバイスは、プロセッサ又は記憶デバイス１５０として示されている。カメラ１００のある実施は、単にデータを捕捉し、そのような実施において、下流のデバイスは、記憶デバイス１５０である。他の実施はまた、あるいは、付加的に、捕捉されたデータに何らかの処理を施し、そのような実施において、下流のデバイスは、プロセッサ１５０又は複合的なプロセッサ及び記憶デバイス１５０である。

カメラ１００はまた、ＮＤフィルタ１４５を選択的に除去及び挿入することができる。この制御は、両矢印１６０によって示されている。そのような制御は、例えば、ＮＤフィルタ１４５がカメラのオペレータによって除去及び挿入されるためのスロットを有すること、又は第１のセンサ１２０に衝突する光をフィルタリングする位置の内外にＮＤフィルタ１４５を動かすカメラ１００の内部のヒンジを有すること、によって達成され得る。

ＮＤフィルタ１４５がカメラ１００から除去されると、カメラ１００は、図２乃至４に関連してより詳細に説明されるように、ネイティブＲＧＢイメージを生成するのに使用可能なデータを捕捉することができる。加えて、ＮＤフィルタ１４５がカメラ１００に挿入されると、カメラ１００は、図２及び５乃至８に関連してより詳細に説明されるように、ＨＤＲイメージを生成するのに使用可能なデータを捕捉することができる。ネイティブＲＧＢイメージ又はＨＤＲイメージを生成する際に使用されるデータを選択的に捕捉する能力は、図９に関連して記載される。

上述されたように、カメラにおいてフルネイティブＲＧＢ及びＨＤＲを提供するために、図１の実施は、入来する光を３つの等しい強度のビームに分けるビームスプリッタメカニズム１１５を備えた３つのセンサ１２０、１３０及び１４０を使用する。以上のように、カメラ１００は、単一のセンサしか含まない標準のカメラとは異なる。

更に、カメラ１００は、２×２ベイヤーパターンである標準的な単一のセンサしか使用しない標準のカメラとは異なる。むしろ、カメラ１００は、３×２×４の色ピクセルパターンである新しい３センサを使用する。

図２を参照すると、新しい３×２×４パターンが示されている。“３×２×４”における“３”は、図２が、第１のセンサパターン２１０、第２のセンサパターン２２０及び第３のセンサパターン２３０を含む３つのセンサパターンを含むという事実を反映する。“２×４”は、センサパターン２１０、２２０及び２３０が全て、２×４マトリクス（又はパターン）を繰り返すことによって表されるという事実を反映する。よって、第１のセンサパターン２１０（及び、センサパターン２２０及び２３０について同様に）は、センサ全体にわたって繰り返されるよう意図される。

例えば、カメラ１００の１つの実施において、第１のセンサパターン２１０は、第１のセンサ１２０の全体にわたって繰り返され、第１のセンサパターン２１０は、第１のセンサパターン２１０に示される色に対応する波長を有する第１のセンサ１２０への光を通すフィルタとして働く。特に、この実施において、第１のセンサパターン２１０は、“緑（Green）”についてＧと符号をされた左上部分２１５を含み、第２のセンサパターン２２０は、“赤（Red）”についてＲと符号を付された左上部分２２５を含み、第３のセンサ２３０は、“青（Blue）”についてＢと符号を付された左上部分２３５を含む。この実施において、（ｉ）第１のセンサ１２０は、左上部分２１５によってカバーされる範囲において緑色の光を受け、（ｉｉ）第２のセンサ１３０は、左上部分２２５によってカバーされる範囲において赤色の光を受け、（ｉｉｉ）第３のセンサ１４０は、左上部分２３５によってカバーされる範囲において青色の光を受ける。様々な実施において、左上部分２１５、２２５及び２３５によって夫々カバーされるセンサ１２０、１３０及び１４０の範囲は、センサ１２０、１３０及び１４０によって捕捉されるイメージ内のピクセルに対応する。

当然に、第１のセンサパターン２１０は、実際には、２×２パターンを繰り返すことによって表される。しかしながら、第２のセンサパターン２２０及び第３のセンサパターン２３０が図２に示される２×４範囲によって表されるので、便宜上、２×４範囲が使用される。また、当然に、第１のセンサパターン２１０はベイヤーパターンである。よって、この実施において、標準のカメラの２×２ベイヤーパターンは、２×２ベイヤーパターンを含む３×２×４パターンによって置換される。

図３を参照すると、３つのセンサパターン２１０、２２０及び２３０が再び示されている。図３は、結合パターン３１０を更に含む。結合パターン３１０において、３つのセンサパターン２１０、２２０及び２３０の対応する位置が結合されている。“結合”は、３つのセンサパターン２１０、２２０及び２３０からの色値をアセンブル又は収集又は一体化することを指す。よって、センサパターン２１０、２２０及び２３０の左上部分２１５、２２５及び２３５の夫々における色値は、夫々、結合パターン３１０の左上部分３１５に含まれる。左上部分３１５は、それが第１のセンサパターン２１０の左上部分２１５からのＧ、第２のセンサパターン２２０の左上部分２２５からのＲ、及び第３のセンサパターン２３０の左上部分２３５からのＢを含む（結合する）ので、ＧＲＢを載せる。

左上部分２１５、２２５及び２３５は夫々、レンズアセンブル１１０に入射するソースイメージの同じ範囲（“左上”範囲）からの光を捕捉する。よって、カメラ１００によって撮影されるソースイメージにおけるその“左上”範囲は、３つのセンサ２１０、２２０及び２３０によって夫々緑、赤及び青において捕捉される。結合パターン３１０は、この事実を、左上部分３１５においてＧＲＢを載せることで反映する。

結合パターン３１０の他の部分は、同様にして導出される。具体的に、３つのセンサパターン２１０、２２０及び２３０における対応する位置からの色値は、結合パターン３１０の対応する位置において結合される。結合パターン３１０のあらゆる位置が全て赤、緑及び青の三原色を有することは、結合パターン３１０の考察から明らかである。よって、３つのセンサ１２０、１３０及び１４０（夫々センサパターン２１０、２２０及び２３０を有する。）の夫々によって捕捉されるイメージを結合することによって、ネイティブＲＧＢイメージが生成され得る。

ネイティブＲＧＢイメージを形成するよう個々のセンサイメージを結合するプロセスは、例えば、プロセッサ１５０において実行され得る。このプロセスは、たとえば、夫々のピクセル位置の赤、緑及び青の色値の全てを、結果として得られるネイティブＲＧＢイメージを表示するようアクセスされ得るデータ構造に収集することを含む。然るに、上述されたように、例えば、この３×２×４パターンにおいて色ピクセルサイズフィルタを用いて、３つのセンサ値を結合することによって、我々は、夫々の結合されたピクセルがＲ、Ｇ及びＢの捕捉を有し、従って、ネイティブＲＧＢ捕捉を提供すると分かる。

他の実施は、図３に示されるものとは異なる第２のセンサパターン及び第３のセンサパターンを使用する。様々な実施は、センサパターン２１０において提示される標準のベイヤーパターンから欠けている色を提供するようアセンブルされ得る様々なセンサパターンのいずれかを使用する。様々な実施は、例えば、第２のセンサパターン２２０からのＧ（又はＲ、又はＢ）を第３のセンサパターン２３０に入れ込むこと等によって、センサパターンの全てについて３色センサパターンを使用しない。他の実施は、第２のセンサパターンが第２のセンサパターン２２０の上半分のみであり、第３のセンサパターンが第３のセンサパターン２３０の上半分のみである２×２センサパターンにより達成され得る。

図４を参照すると、ネイティブＲＧＢイメージを形成するためのプロセス４００が与えられている。ネイティブＲＧＢイメージを形成するプロセスは、本質的に、図２乃至３に関連して先に記載されている。しかし、これから、具体的なプロセスが包括的なプロセスに関して与えられる。

プロセス４００は、ＮＤフィルタを用いずに３つのセンサからセンサデータを捕捉することを含む（４１０）。少なくとも１つの実施において、動作４１０は、ＮＤフィルタ１４５が除去されているカメラ１００によって実行される。１つのそのような実施において、動作４１０は、夫々センサパターン２１０、２００及び２３０を通じて、センサ１２０、１３０及び１４０からイメージデータを捕捉することによって実行される。

プロセス４００は、ネイティブＲＧＢイメージを形成するよう、捕捉されたセンサデータを結合することを含む（４２０）。動作４１０に関連して先に論じられた実施に続いて、動作４２０は、例えば、ネイティブＲＧＢイメージを形成するようセンサ１２０、１３０及び１４０からの捕捉されたイメージデータを結合することによって、実行される。

図５乃至８（及び上記の図１乃至３）を参照して、我々は、ここから、ＨＤＲイメージを生成するための１又はそれ以上の実施について記載する。様々なそのような実施は、ＮＤフィルタ１４５がカメラ１００に挿入された状態でカメラ１００によって実行され得る。

第１のセンサパターン２１０を有する第１のセンサ１２０は、幾つかの実施において、“自律的”センサと見なされる。これは、第１のセンサパターン２１０を有する第１のセンサ１２０が、補間されたＲＧＢイメージを生成するために使用され得るためである。これは、第１のセンサパターン２１０が標準的なベイヤーパターンのバージョンであり、当該技術で知られるように、ピクセル補間を通じてフル（しかしネイティブでない）ＲＧＢイメージを提供することができるという事実から得られる。

第２のセンサ１３０及び第３のセンサ１４０は、幾つかの実施において、“相補的”センサと見なされる。これは、センサパターン２２０及び２３０を用いるセンサ１３０及び１４０からの捕捉イメージが夫々、フルレゾイメージを補間するよう相補的な様態において結合され得るためである。それらの捕捉イメージの結合は、様々な実施において、捕捉イメージを結合せずに起こり得るよりも優れた補間（例えば、全ての３つの色についてのクインカンクス（quincunx）補間）を可能にする。

なお、他の実施は、第２のセンサ１３０を自律的センサとして使用し、補間されたフルＲＧＢイメージを生成するよう第２のセンサ１３０を補間する。同様に、様々な実施において、第３のセンサ１４０は自律的センサとして使用され、補間されたフルＲＧＢイメージを生成するよう補間される。

図５を参照すると、センサパターン２２０及び２３０が再び示されている。加えて、センサパターン２２０及び２３０の結合である結合パターン５１０が与えられている。例えば、結合パターン５１０の左上部分５１５は、“赤”及び“青”についての色値ＲＢを載せる。左上部分５１５の“Ｒ”は、第２のセンサパターン２２０の左上部分２２５が色値Ｒを載せるので含まれている。左部部分５１５の“Ｂ”は、第３のセンサパターン２３０の左上部分２３５が色値Ｂを載せるので含まれている。結合パターン５１０の他の部分は、同様にして導出される。具体的に、２つのセンサパターン２２０及び２３０における対応する位置からの色値が、結合パターン５１０の対応する位置において結合される。

図６を参照すると、拡張パターン６００が与えられている。拡張パターン６００は、結合パターン５１０の２回繰り返された出現を含む。図に示すように、結合パターン５１０の最初の出現は、拡張パターン６００の左２列を含み、結合パターン５１０の２回目の出現は、拡張パターン６００の右２列を含む。

拡張パターン６００は、夫々が様々な実施において個々のピクセルに対応する内部位置６２０、６３０、６４０及び６５０を含む。この例における“内部”位置は、エッジピクセルでないピクセル位置である。内部位置６２０乃至６５０を考察すると、我々は、夫々が２つの色値を有すると分かる。よって、フルＲＧＢイメージを生成するよう、１つの色値が内部位置６２０乃至６５０について補間される。表されるように、（ｉ）内部位置６２０について、Ｇが補間され、（ｉｉ）内部位置６３０について、Ｂが補間され、（ｉｉｉ）内部位置６４０について、Ｒが補間され、（ｉｖ）内部位置６５０について、Ｇが補間される。欠けている色値を特定するこのパターンは、内部位置かどうかにかかわらず、全ての位置について続けられ得る。加えて、結合パターン５１０の更なる出現を繰り返すこと（タイリングすること）によって、拡張パターン６００は、あらゆるサイズのセンサに対応するようサイズが大きくされ得る。

図７を参照すると、拡張パターン６００の４つの別々のバージョンが与えられており、それら４つのバージョンは補間ストラテジを示す。４つのバージョンは、（ｉ）内部位置６２０に対応する第１の補間パターン７２０、（ｉｉ）内部位置６３０に対応する第２の補間パターン７３０、（ｉｉｉ）内部位置６４０に対応する第３の補間パターン７４０、及び（ｉｖ）内部位置６５０に対応する第４の補間パターン７５０を含む。

補間パターン７２０乃至７５０の夫々において示されるように、内部位置６２０乃至６５０から欠けている色値は、上下左右において直ぐ隣の位置に存在する。これは、補間パターン７２０について、対応する位置（例えば、ピクセル）にあるＧを強調表示する円７２２、７２４、７２６及び７２８によって示されている。これは、補間パターン７３０について、対応する位置にあるＢを強調表示する円７３２、７３４、７３６及び７３８によって示されている。これは、補間パターン７４０について、対応する位置にあるＲを強調表示する円７４２、７４４、７４６及び７４８によって示されている。これは、補間パターン７５０について、対応する位置にあるＧを強調表示する円７５２、７５４、７５６及び７５８によって示されている。

少なくとも補間パターン７３０及び７４０について、円が、対角に隣接する位置を含む全ての隣接位置における不足色値の周りに描かれ得ることは、明らかである。すなわち、例えば、補間パターン７３０において、内部位置６３０を囲む全ての８つの隣接位置はＢの色値を有する。補間パターン７４０についても同様であり、内部位置６４０を囲む全ての８つの隣接位置はＲの色値を有する。

なお、拡張パターン６００のより大きいバージョン（結合パターン５１０に基づく。）、それにより補間パターン７２０、７３０、７４０及び７５０のより大きいバージョンについてさえ、全ての内部位置は、それらの上下左右の位置に存在するそれらの不足色値を有することも明らかである。

よって、結合パターン５１０のバージョンを有するセンサから捕捉されるイメージ内の全ての内部位置について共通の補間アルゴリズムを使用することが可能である。共通の補間アルゴリズムは、例えば、上下左右の隣接位置に基づくことができる。１つのそのような補間アルゴリズムは、欠けている色値を補間するのに使用されるクインカンクスピクセル補間アルゴリズムである。しかしながら、上下左右の４つの隣接位置を使用する如何なるアルゴリズムも使用され得る。

ベイヤーパターンを使用することに対するこの実施（図５乃至７のパターンを使用すること）の利点は、Ｒ、Ｇ及びＢの夫々の不足ピクセル値について、フルクインカンクスパターンがピクセル補間に利用可能である点である。対照的に、ベイヤーパターンを使用する場合に、フルクインカンクスパターンは、Ｇについてのピクセル補間にのみ利用可能であり、Ｒ及びＧについては利用可能でない。３つ全ての色についてのピクセル補間に利用可能なフルクインカンクスパターンは、ベイヤーパターンしか使用しないことに比べて高い品質の補間イメージをもたらすべきである。この品質は、単一の補間アルゴリズムを用いて達成可能であり、これはまた、複数の補間アルゴリズムを使用する実施と比べて複雑性の点で有利である。この比較は、ベイヤーパターンを用いる単一センサに伴って生じるが、たとえ全てがベイヤーパターンを有する３つのセンサが使用されるとしても、ベイヤーパターンは同じであり、如何なる付加的な色情報も提供しないので、結果は同じである。

ＨＤＲの場合に、複数のシナリオが、異なるＮＤフィルタが適用されることで輝度範囲全体を捕捉するために可能であるが、少なくとも１つの特定の実施は、画期的な可能性を可能にする。第１のセンサパターン２１０は、少なくとも第２のセンサパターン２２０及び第３のセンサパターン２３０と比較される場合に、標準的なベイヤースキームにおいてピクセルを補間しているので、低い解像度を有する。従って、第１のセンサパターン２１０は、通常はセンサを飽和させるピクチャの高輝度エリアにおいてクリアピクセル（すなわち、詳細及び相違が見る者によって確認されることを可能にする範囲にわたって分布する有用な輝度情報を有するピクセル値）を提供するために、高価なＮＤフィルタ（輝度にフィルタをかける。）とともに使用され得る。加えて、ＮＤフィルタが適用されない第２のセンサパターン２２０及び第３のセンサパターン２３０の組み合わせは、カメラが設定される高解像度の“リファレンス”イメージを提供することができる。２つのセンサパターン２２０及び２３０はこの“リファレンス”イメージを捕捉するのに使用されるので、結合パターン５１０が生成可能であり、フルクインカンクスピクセル補間は全ての３つの原色に利用可能である。

この特定の実施において、低解像度イメージ及び高解像度“リファレンス”イメージはいずれも、３つの捕捉イメージに基づき生成される。それら２つの異なる解像度のイメージは次いで、ＨＤＲイメージを形成するよう結合される。この結合されたＨＤＲイメージは、３つの独立したベイヤータイプセンサを用いることよりも多い輝度を有し且つ優れた解像度を有する。ＮＤフィルタは、より広い輝度範囲が有意に捕捉されることを可能にし、且つ、イメージについてのより有用な輝度情報を供給するので、更なる輝度が与えられる。優れた解像度は、ベイヤーパターンにより可能である標準的な補間と比較して改善された補間のために与えられる。

図８を参照すると、ＨＤＲイメージを形成するためのプロセス８００が与えられている。ＨＤＲイメージを形成するプロセスは、本質的に、図５乃至７に関連して先に記載されてきた。しかしながら、具体的なプロセスフローが、これから、包括的なプロセスに関して与えられる。

プロセス８００は、３つのセンサから、それらセンサのうちの１つにＮＤフィルタが適用された状態で、センサデータを捕捉すること（８１０）を含む。少なくとも１つの実施において、動作８１０は、ＮＤフィルタ１４５が挿入されているカメラ１００によって実行される。１つのそのような実施において、動作８１０は、夫々センサパターン２１０、２００及び２３０を通じて、ビームスプリッタ１１５と第１のセンサ１２０との間にＮＤフィルタ１４５が挿入された状態で、センサ１２０、１３０及び１４０からイメージデータを捕捉することによって実行される。

プロセス８００は、出力として高輝度エリア（ＨＬＡ；Higher-Luminance-Area）データを形成するよう、ＮＤフィルタ付きセンサから捕捉されたイメージデータを補間すること（８２０）を含む。“データ”は、例えば、全体のフレームの全て又は部分であることができる。“高輝度エリア”は、より高い輝度値を有する、ＮＤフィルタリングより前の原のソースコンテンツのエリアを指す。当然、それらの同じエリアはまた、原のソースコンテンツのＮＤフィルタリングされたものにおいて、他のＮＤフィルタリングをされたものと比較して高い輝度値を有する。ＨＬＡ“データ”は、通常、ＨＬＡの原の色値の再マッピングであると見なすことができ、それにより、それらの値は、利用可能であるダイナミックレンジのより大きい部分を占める。

ＮＤフィルタは、入力されたソースコンテンツの全体的輝度を下げ、これにより、センサによって捕捉される色値は低減される。この低減は、通常、入力されたソースコンテンツの低い色値をセンサのダイナミックレンジの下端に集める。この低減はまた、通常、入力されたソースコンテンツの高い色値をセンサのダイナミックレンジにわたって散開させる。

動作８１０に関連して先に論じられた実施に続いて、動作８２０は、例えば、プロセッサ１５０によって実行される。この実施において、プロセッサ１５０は、例えば、ベイヤーパターンイメージに使用される標準的な補間アルゴリズムを実行する。補間は、第１のセンサパターン２１０を通る第１のセンサ１２０からの捕捉されたイメージ又はデータに対して実行される。出力されるイメージは、そのような実施において、完全なる補間イメージである。この実施において、ＨＬＡデータは補間イメージの部分である。

プロセス８００は、他のセンサから捕捉されたデータを結合すること（８３０）を含む。動作８１０乃至８２０に関連して先に論じられた実施に続いて、動作８３０は、例えば、プロセッサ１５０によって実行される。この実施において、プロセッサ１５０は、センサパターン２２０及び２３０を通るセンサ１３０及び１４０からの捕捉されたイメージデータを結合する。ＮＤフィルタはセンサ１３０又は１４０のいずれの前にも使用されないが、他の実施はやはり様々なＮＤフィルタを使用する。結果は、結合パターン５１０によって示される色値を有するイメージ又はイメージデータである。

プロセス８００は、低輝度エリア（ＬＬＡ；Lower-Luminance-Area）を形成するよう、動作８３０からの結合されたセンサデータを補間すること（８４０）を含む。“データ”は、例えば、完全なイメージの部分又は単に独立したデータの組であることができる。“低輝度エリア”は、より低い輝度値を有する、同じくＮＤフィルタ１４５が存在しない場合の捕捉されたイメージデータである原のソースコンテンツのエリアを指す。典型的な実施において、ＬＬＡは、センサのダイナミックレンジにより有効に表現される色値を有する。

動作８１０乃至８３０に関連して先に論じられた実施に続いて、動作８４０は、例えば、プロセッサ１５０によって実行される。この実施において、プロセッサ１５０は、例えば、最終的なＨＤＲイメージのためのリファレンスイメージを生成するよう、図７に関連して論じられたクインカンクス補間アルゴリズムを実行する。この実施において、ＬＬＡデータは、リファレンスイメージの部分である。

プロセス８００は、ＨＤＲイメージを形成するようＨＬＡデータ及びＬＬＡデータをマージすること（８５０）を含む。ＨＬＡデータは、より高い輝度を有する原のコンテンツソースの部分についての再マッピングされた（ＮＤフィルタによる。）色値を含む。ＬＬＡデータは、より低い輝度を有する原のコンテンツソースの部分についての色値を含む。それらの２つのデータの組をマージすることは、原のソースコンテンツの低輝度部分及び原のソースコンテンツの高輝度部分の両方を表す色値を有するイメージを提供する。加えて、高輝度部分は、通常、ＮＤフィルタにより更に広いダイナミックレンジにわたって表現される。それにより、高輝度部分の詳細は、見る者にとってより可視的である。

動作８１０乃至８４０に関連して先に論じられた実施に続いて、動作８５０は、たとえば、プロセッサ１５０によって実行される。プロセッサ１５０は、様々な方法において動作８５０のマージを実行することができる。１つの実施において、プロセッサ１５０は、原のコンテンツソースのどの部分が“高”輝度エリア（例えば、空、又は窓からの景色）であるかを決定する。特定されたエリアは、例えば、特定の閾値を上回る平均輝度を有するオブジェクト又はフィーチャを含む。実施は次いで、それらの“高”輝度位置からＨＬＡデータを取り出し、取り出されたデータを、ＨＤＲイメージを形成するようＬＬＡデータの共在部分にコピーする。他の実施は、ＬＬＡデータ（非高輝度エリア、又は特定された低輝度エリア）からデータを取り出し、それを、ＨＤＲイメージを形成するようＨＬＡデータにコピーする。他の実施は、例えば、ＬＬＡデータ及びＨＬＡデータの両方からデータを取り出し、２つの抽出を新しいイメージにおいてマージする。

様々な実施において、ＨＬＡデータ及び／又はＬＬＡデータは、完全なフレームを含む。他の実施においては、しかしながら、ＨＬＡデータ及び／又はＬＬＡデータは、単に、フレームの小部分である。

図９を参照すると、ネイティブ３色イメージ及びＨＤＲイメージを形成するためのプロセス９００が与えられている。３色イメージは、様々な実施において、ＲＧＢイメージである。なお、本願において別な場所で論じられるように、他の色が別の実施では使用される。それら２つのイメージを形成するそのようなプロセスの例は、本質的に、図２乃至８に関連して先に記載されてきた。しかし、具体的なプロセスフローが、これから、包括的なプロセスに関して与えられる。

プロセス９００は、複数のセンサ及び単一のレンズアセンブリからネイティブ３色イメージを生成すること（９１０）を含む。少なくとも１つの実施において、動作９１０は、複数のセンサから捕捉される第１の組の色値を用いてＲＧＢイメージを生成することを含む。この実施において、ＲＧＢイメージの複数のピクセル位置は、複数のセンサから捕捉されるＲ、Ｇ及びＢについての色値を有し、単一のレンズアセンブリは、光を複数のセンサに通す。

他の実施において、動作９１０は、ＮＤフィルタ１４５が除去されたカメラ１００によって、センサパターン２１０、２２０及び２３０が夫々センサ１２０、１３０及び１４０により使用される状態で、実行される。カメラ１００は、例えば、プロセス４００を用いて、動作９１０を実行する。

プロセス９００は、複数のセンサからのＨＤＲイメージを生成すること（９２０）を含む。少なくとも１つの実施において、動作９２０は、複数のセンサから捕捉される第２の組の色値を用いてＨＤＲイメージを生成することを含む。幾つかのそのような実施において、ＨＤＲイメージは、高輝度エリア成分及び低輝度エリア成分を含む。

他の実施において、動作９２０は、ＮＤフィルタ１４５が挿入されたカメラ１００によって、センサパターン２１０、２２０及び２３０が夫々センサ１２０、１３０及び１４０により使用される状態で、実行される。カメラ１００は、例えば、プロセス８００を用いて、動作９２０を実行する。プロセス９００は、同じセンサの組によりネイティブＲＧＢイメージ及びＨＤＲイメージの両方を生成することができる。当然、これはまた、センサの組及び単一のレンズアセンブリを含む単一カメラがネイティブＲＧＢイメージ及びＨＤＲイメージの両方を捕捉するのに使用されることを可能にする。そのようなカメラは、ネイティブＲＧＢイメージ又はＨＤＲイメージを生成するのに使用されるデータを選択的に捕捉する能力を備える。

様々な実施は、プロセス９００に追加の特徴を付加することを伴って達成される。プロセス９００の幾つかの変形例は、以下の実施における特徴のうちの１又はそれ以上を含む。

他の実施において、プロセス９００は、複数のセンサが、複数の色を取得するよう構成され且つ互いに異なる色パターンを有するフィルタを使用する３つのセンサを含むように、更に定義される。

他の実施において、プロセス９００は、３つの異なる色パターンが（ｉ）赤（“Ｒ”）、緑（“Ｇ”）及び青（“Ｂ”）を含む第１のパターンと、（ｉｉ）Ｒ、Ｇ及びＢを含む第２のパターンと、（ｉｉｉ）Ｒ、Ｇ及びＢを含む第３のパターンとを含むように、更に定義される。

他の実施において、プロセス９００は、ＨＤＲイメージを生成することが、ＨＤＲイメージの複数のピクセル位置についてＲ、Ｇ及びＢを有するよう第２の組の色値を補間することを含むように、更に定義される。

他の実施において、プロセス９００は、ＨＤＲイメージを生成することが、ＨＤＲイメージの全ての内部ピクセル位置についてＲ、Ｇ及びＢを有するよう第２の組の色値を補間することを含むように、更に定義される。

他の実施において、プロセス９００は、ＨＤＲイメージが、第１のイメージにおける対応する位置から導出されるピクセル値を有する高輝度エリア成分を含み、且つ、第２のイメージにおける対応する位置から導出されるピクセル値を有する低輝度エリア成分を含むように、更に定義される。

他の実施において、プロセス９００は、（ｉ）複数のセンサがベイヤーパターンセンサを含み、（ｉｉ）第２の組の色値がベイヤーパターンセンサから捕捉される色値を含み、（ｉｉｉ）ＨＤＲイメージを生成することが高輝度エリア成分を生成することを含み、且つ（ｉｖ）高輝度エリア成分を生成することが、ベイヤーパターンセンサから捕捉される第２の組の色値に含まれる色値を補間することを含むように、更に定義される。

他の実施において、プロセス９００は、（ｉ）複数のセンサが第１のセンサ及び第２のセンサを含み、（ｉｉ）第１及び第２のセンサが複数の色を取得するよう構成され、（ｉｉｉ）ＨＤＲイメージを生成することが低輝度エリア成分を生成することを含み、且つ（ｉｖ）低輝度エリア成分を生成することが、クインカンクスアルゴリズムを用いて補間され得るＲ、Ｇ及びＢのパターンを形成するよう、第１のセンサ及び第２のセンサから捕捉される第２の組に含まれるＲ、Ｇ及びＢの色値をアセンブルすることを含むように、更に定義される。

他の実施において、プロセス９００は、低輝度エリア成分を生成することが、クインカンクスアルゴリズムを用いて形成されたＲ、Ｇ及びＢのパターンを補間することを更に含むように、更に定義される。

他の実施において、プロセス９００は、高輝度エリア成分を生成することが、複数のセンサの少なくとも１つの前にある減光フィルタを用いることを更に含むように、更に定義される。

他の実施において、プロセス９００は、（ｉ）複数のセンサが第１のセンサ、第２のセンサ及び第３のセンサを含み、（ｉｉ）第１のセンサ、第２のセンサ及び第３のセンサが複数の色を取得するよう構成され、且つ（ｉｉｉ）カラーイメージを生成することが、少なくとも複数のピクセル位置について、第１のセンサ、第２のセンサ及び第３のセンサから捕捉される第１の組に含まれるＲ、Ｇ及びＢの色値をアセンブルすることを更に含むように、更に定義される。

他の実施において、プロセス９００は、第１のセンサがベイヤーパターンセンサであるように、更に定義される。

他の実施において、プロセス９００は、複数のセンサがたった３つのセンサを含むように、更に定義される。

他の実施において、プロセス９００は、第１の組の色値が第２の組の色値と重なり合うように、更に定義される。

他の実施において、プロセス９００は、３つの色が加法的であるように、更に定義される。

他の実施において、プロセス９００は、（ｉ）３つの色がＲ、Ｇ及びＢであり、且つ（ｉｉ）カラーイメージがＲＧＢイメージであるように、更に定義される。

他の実施において、プロセス９００は、レンズアセンブリ及び複数のセンサを含むカメラによって実行される。

他の実施において、プロセス９００又はその変形を実行するよう集合的に構成される１又はそれ以上のプロセッサを含む装置が提供される。

他の実施において、プロセス９００又はその変形の動作を実行するための構造を含む装置が提供される。構造は、例えば、１又はそれ以上のプロセッサを含む。

他の実施において、プロセッサ可読媒体が提供される。プロセッサ可読媒体は、１又はそれ以上のプロセッサにプロセス９００又はその変形を集合的に実行させる命令を記憶する。

他の実施において、装置は、レンズアセンブリと、該レンズアセンブリを通じて光を受けるよう配置される複数のセンサとを有する。複数のセンサから捕捉される第１の組の色値は、複数のピクセル位置について３つの色値を提供するようアセンブルされ得る。複数のセンサから捕捉される第２の組の色値は、ＨＤＲイメージを提供するよう補間され得る。装置は、例えば、プロセス９００又はその変形を実行するために使用され得る。

変形例において、複数のセンサは、第１のセンサ、第２のセンサ及び第３のセンサを含む。第１のセンサは、３色パターンにより３つの色を取得するよう構成される。第２のセンサは、第１のセンサのパターンとは異なる３色パターンを使用する。第３のセンサは、第１のセンサのパターン及び第２のセンサのパターンとは異なる３色パターンを使用する。

変形例において、ＨＤＲイメージは、（ｉ）第１のイメージにおける対応する位置から導出されるピクセル値を有する高輝度エリア成分と、（ｉｉ）第２のイメージにおける対応する位置から導出されるピクセル値を有する低輝度エリア成分とを含む。第１のセンサのパターンは、第１のセンサから捕捉される色値が、高輝度エリア成分の全ての内部ピクセルについてＲ、Ｇ及びＢの色値を提供するよう補間されることを可能にする。第２のセンサのパターン及び第３のセンサのパターンは、第２のセンサ及び第３のセンサから捕捉される色値が、低輝度エリア成分の全ての内部ピクセルについてＲ、Ｇ及びＢの色値を提供するようアセンブルされてクインカンクスアルゴリズムにより補間されることを可能にする。第２のセンサのパターン及び第３のセンサのパターンは、第１のセンサ、第２のセンサ及び第３のセンサから捕捉される色値が、ＲＧＢイメージの全ての内部ピクセルについて捕捉されたＲ、Ｇ及びＢの色値を提供するようアセンブルされることを可能にする。

変形例において、第２のセンサは、３／８がＲ、２／８がＧ、及び３／８がＢである。

変形例において、第３のセンサは、３／８がＲ、２／８がＧ、及び３／８がＢである。

変形例において、第２のセンサのパターン及び第３のセンサのパターンは、ベイヤーパターンから欠けている色を提供するよう結合する。

変形例において、第１のセンサの３色パターンは、ベイヤーパターンである。

変形例において、装置は、レンズアセンブリと複数のセンサの１つとの間に配置される減光フィルタを有する。

変形例において、装置は、レンズアセンブリと第１のセンサとの間に配置される減光フィルタを有する。

変形例において、３つの色は、Ｒ、Ｇ及びＢであり、色値は、ＲＧＢイメージを形成するようアセンブルされ得る。

図１０は、イメージを処理及び送信するのに使用される送信システムの例を表すブロック図を提供する。図１０を参照すると、ビデオ送信システム又は装置１６００が示されており、それに対して、上記の特徴及び原理が適用されてよい。ビデオ送信システム又は装置１６００は、例えば、様々な媒体（例えば、衛星、ケーブル、電話回線、又は地上放送）のいずれかにより信号を送信するヘッドエンド又は送信システムであってよい。ビデオ送信システム又は装置１６００はまた、又は代替的に、例えば、記憶のために信号を供給するのに使用されてよい。送信は、インターネット又は何らかの他のネットワークを介して提供されてよい。ビデオ送信システム又は装置１６００は、例えば、ビデオコンテンツ又は他のコンテンツ（例えば、メタデータ）を生成及び配信することができる。また当然に、図１０のブロックは、ビデオ送信システム又は装置のブロック図を提供することに加えて、ビデオ送信プロセスのフロー図を提供する。

ビデオ送信システム又は装置１６００は、プロセッサ１６０１から入力ビデオを受け取る。１つの実施において、プロセッサ１６０１は、単に、ビデオイメージ（例えば、プログラムからのイメージ）をビデオ送信システム又は装置１６００へ供給する。なお、他の実施においては、プロセッサ１６０１は、代替的に、又は追加的に、他のソースからのコンテンツをビデオ送信システム又は装置１６００へ供給する。プロセッサ１６０１はまた、メタデータをビデオ送信システム又は装置１６００へ供給してよく、このとき、メタデータは、例えば、入力イメージのうちの１又はそれ以上と関係があり、例えば、データを符号化するのに使用される符号化方法の記述を含んでよい。

ビデオ送信システム又は装置１６００は、エンコーダ１６０２と、符号化された信号を送信することができる送信器１６０４とを含む。エンコーダ１６０２は、プロセッサ１６０１からビデオ情報を受け取る。ビデオ情報は、例えば、ビデオイメージ及び／又は他のコンテンツを含んでよい。エンコーダ１６０２は、ビデオ及び／又は他の情報に基づき、符号化された信号を生成する。エンコーダ１６０２は、様々な実施において、ソースエンコーダ、チャネルエンコーダ、又はソースエンコーダとチャネルエンコーダとの組み合わせである。様々な実施において、エンコーダ１６０２は、例えば、ＡＶＣエンコーダ（本願において別な場所で定義される。）である。

エンコーダ１６０２は、例えば、様々な情報片を受け取って、それらを、記憶又は送信のために、構造化されたフォーマットにアセンブルするアセンブリユニットを含むサブモジュールを含んでよい。様々な情報片は、例えば、符号化された又は符号化されていないビデオ、他のコンテンツ、メタデータ又は情報、及び様々な要素（例えば、運動ベクトル、符号化モードインジケータ、及びシンタックス要素）を含んでよい。幾つかの実施において、エンコーダ１６０２はプロセッサ１６０１を含み、従って、プロセッサ１６０１の動作を実行する。

送信器１６０４は、符号化された信号をエンコーダ１６０２から受信し、符号化された信号を１又はそれ以上の出力信号において送信する。送信器１６０４は、例えば、符号化されたピクチャ及び／又はそれに関連する情報を表す１又はそれ以上のビットストリームを有するプログラム信号を送信するよう構成されてよい。典型的な送信器は、例えば、エラー訂正符号化を提供すること（これは、代替的に、又は追加的に、エンコーダ１６０２において実行されてよい。）、信号においてデータをインターリーブすること（これは、代替的に、又は追加的に、エンコーダ１６０２において実行されてよい。）、信号においてエネルギをランダマイズすること、及び変調器１６０６により信号を１又はそれ以上の搬送波に変調すること、のうちの１又はそれ以上のような機能を実行する。送信器１６０４は、アンテナ（図示せず。）を含むか、又はそれとインターフェース接続されてよい。更に、送信器１６０４の実施は、変調器１６０６に制限されてよい。

ビデオ送信システム又は装置１６００はまた、記憶ユニット１６０８へ通信上結合されている。１つの実施において、記憶ユニット１６０８は、エンコーダ１６０２へ結合され、記憶ユニット１６０８は、エンコーダ１６０２からの符号化されたビットストリームを記憶し、任意に、記憶されたビットストリームを送信器１６０４へ供給する。他の実施において、記憶ユニット１６０８は、送信器１６０４へ結合され、送信器１６０４からのビットストリームを記憶する。送信器１６０４からのビットストリームは、例えば、送信器１６０４によって更に処理された１又はそれ以上の符号化されたビットストリームを含んでよい。記憶ユニット１６０８は、異なる実施において、標準的なＤＶＤ、ブルーレイディスク、ハードドライブ、又は何らかの他の記憶デバイスのうちの１又はそれ以上である。

図１０は、ユーザインターフェース１６１０及びディスプレイ１６２０を更に含む。それらはいずれもプロセッサ１６０１へ通信上結合されている。プロセッサ１６０１は、例えば、オペレータからの入力を受け入れるよう、ユーザインターフェース１６１０へ通信上結合される。プロセッサ１６０１は、例えば、デジタルピクチャを表示するよう、ディスプレイ１６２０へ通信上結合される。ピクチャは、様々な実施において、プロセッサ１６０１によって処理される前、その最中、及び／又はその後に表示される。

ディスプレイ１６２０は、様々な実施において、ユーザインターフェース１６１０を更に含む。１つの実施は、ユーザインターフェース１６１０及びディスプレイ１６２０の両方のためにタッチスクリーンを使用する。

図１１は、イメージを受信及び処理するのに使用される受信システムの例を表すブロック図を提供する。図１１を参照すると、ビデオ受信システム又は装置１７００が示されており、それに対して、上記の特徴及び原理が適用されてよい。ビデオ受信システム又は装置１７００は、様々な媒体（例えば、衛星、ケーブル、電話回線、又は地上放送）を介して信号を受信するよう構成されてよい。信号は、インターネット又は何らかの他のネットワークを介して受信されてよい。また当然に、図１１のブロックは、ビデオ受信システム又は装置のブロック図を提供することに加えて、ビデオ受信プロセスのフロー図を提供する。

ビデオ受信システム又は装置１７００は、例えば、携帯電話機、コンピュータ、タブレット、ルータ、ゲートウェイ、セットトップボックス、テレビ受像機、又は、符号化されたビデオを受信し、例えば、表示（例えば、ユーザへの表示）のために、処理のために、若しくは記憶のために、復号化されたビデオ信号を供給する他の装置を含んでよい。よって、ビデオ受信システム又は装置１７００は、その出力を、例えば、テレビ受像機の画面、携帯電話機の画面、タブレットの画面、コンピュータモニタ、コンピュータ（記憶、処理、又は表示のため）、又は何らかの他の記憶、処理若しくは表示デバイスへ供給してよい。

ビデオ受信システム又は装置１７００は、ビデオ情報を受信及び処理することができる。ビデオ情報は、例えば、ビデオイメージ、他のコンテンツ、及び／又はメタデータを含んでよい。ビデオ受信システム又は装置１７００は、符号化された信号（例えば、本願の実施において記載される信号）を受信する受信器１７０２を含む。受信器１７０２は、例えば、（ｉ）プログラム内のピクチャのシーケンスについて符号化されたレイヤを提供する信号、又は（ｉｉ）図１０のビデオ送信システム１６００から（例えば、記憶ユニット１６０８又は送信器１６０４から）出力される信号、を受信してよい。

受信器１７０２は、例えば、符号化されたピクチャ（例えば、ビデオピクチャ又はデプスピクチャ）を表す複数のビットストリームを有するプログラム信号を受信するよう構成されてよい。典型的な受信器は、例えば、変調及び符号化されたデータ信号を受信すること、復調器１７０４により１又はそれ以上の搬送波からデータ信号を復調すること、信号においてエネルギをデランダマイズすること、信号においてデータをデインターリーブすること（これは、代替的に、又は追加的に、デコーダにおいて実行されてよい。）、及び信号をエラー訂正復号化すること（これは、代替的に、又は追加的に、デコーダにおいて実行されてよい。）、のうちの１又はそれ以上のような機能を実行する。受信器１７０２は、アンテナ（図示せず。）を含むか、又はそれとインターフェース接続してよい。受信器１７０２の実施は、復調器１７０４に制限されてよい。

ビデオ受信システム又は装置１７００は、デコーダ１７０６を含む。デコーダ１７０６は、様々な実施において、ソースデコーダ、チャネルデコーダ、又はソースデコーダとチャネルデコーダとの組み合わせである。１つの実施において、図１のチャネルデコーダ１５５及びソースデコーダ１６０を含む。

受信器１７０２は、受信信号をデコーダ１７０６へ供給する。受信器１７０２によってデコーダ１７０６へ供給される信号は、１又はそれ以上の符号化されたビットストリームを含んでよい。デコーダ１７０６は、復号化された信号（例えば、ビデオ情報、他のコンテンツ、又はメタデータを含む復号化されたビデオ信号）を出力する。デコーダ１７０６は、例えば、ＡＶＣデコーダ（本願において別な場所で定義される。）であってよい。

ビデオ受信システム又は装置１７００はまた、記憶ユニット１７０７へ通信上結合されている。１つの実施において、記憶ユニット１７０７は、受信器１７０２へ結合され、受信器１７０２は、記憶ユニット１７０１７からのビットストリームにアクセスし、及び／又は、受信されたビットストリームを記憶ユニット１７０７へ記憶する。他の実施において、記憶ユニット１７０７は、デコーダ１７０６へ結合され、デコーダ１７０６は、記憶ユニット１７０７からのビットストリームにアクセスし、及び／又は、復号化されたビットストリームを記憶ユニット１７０７へ記憶する。記憶ユニット１７０７からアクセスされるビットストリームは、異なる実施において、１又はそれ以上の符号化されたビットストリームを含む。記憶ユニット１７０７は、異なる実施において、標準的なＤＶＤ、ブルーレイディスク、ハードドライブ、又は何らかの他の記憶デバイスのうちの１又はそれ以上である。

デコーダ１７０６からの出力ビデオは、１つの実施において、プロセッサ１７０８へ供給される。プロセッサ１７０８は、１つの実施において、復号化されたデジタルピクチャを提示するよう構成されるプロセッサである。幾つかの実施において、デコーダ１７０６はプロセッサ１７０８を含み、従って、プロセッサ１７０８の動作を実行する。他の実施において、プロセッサ１７０８は、下流のデバイス（例えば、セットトップボックス又はテレビ受像機）の部分である。

図１１は、ユーザインターフェース１７１０及びディスプレイ１７２０を更に含む。それらはいずれもプロセッサ１７０８へ通信上結合されている。プロセッサ１７０８は、例えば、家にいるユーザ又はケーブルハブにいるオペレータからの入力を受け入れるよう、ユーザインターフェース１７１０へ通信上結合される。プロセッサ１７０８は、例えば、デジタルピクチャを表示するよう、ディスプレイ１７２０へ通信上結合される。ピクチャは、様々な実施において、プロセッサ１７０８によって処理される前、その最中、及び／又はその後に表示される。

ディスプレイ１７２０は、様々な実施において、ユーザインターフェース１７１０を更に含む。１つの実施は、ユーザインターフェース１７１０及びディスプレイ１７２０の両方のためにタッチスクリーンを使用する。又更なる実施は、ビデオ受信システム１７００においてユーザインターフェース１７１０及び／又はディスプレイ１７２０を含む。

図１０乃至１１は、様々な実施において、プロセス９００に関して記載された付加的な特徴のいずれかとともに、プロセス４００、８００、及び／又は９００の全て又は部分を実行するために使用され得る。様々なそのような実施において、プロセッサ１６０１又はプロセッサ１７０８は、プロセス４００、プロセス８００、及び／又はプロセス９００の全て又は部分を実行するために使用される。プロセッサ１６０１及び／又は１７０８は、イメージ情報をカメラから受け取るか、あるいは、カメラに一体化され得る。

ディスプレイ１６２０及び／又はディスプレイ１７２０は、様々な実施において、コンピュータディスプレイ、ラップトップディスプレイ、タブレットディスプレイ、携帯電話ディスプレイ、テレビディスプレイ、又は、何らかの面（例えば、壁、天井、床、歩道）上で可視的であり得る投射ディスプレイを含む、本願において述べられるか若しくは当該技術で知られている他のディスプレイのいずれかのうちの１又はそれ以上を含む。

ユーザインターフェース１６１０及び／又はユーザインターフェース１７１０は、様々な実施において、マウス、トラックパッド、キーボード、タッチスクリーン、プロセッサ１６０１及び／又はプロセッサ１７０８によって解釈されるボイスコマンドを受け入れるマイクロホン、リモートコントロール、携帯電話機、遠隔又は局在であるかどうかに関わらず別個のコンピュータ、あるいは、本願において述べられるか又は当該技術で知られる何らかの他の入力デバイスのうちの１又はそれ以上を含む。

記憶デバイス１６０８及び／又は記憶デバイス１７０７は、様々な実施において、本願において述べられるか又は当該技術で知られている記憶デバイスのいずれかを含む。

エンコーダ１６０２は、様々な実施において、ＡＶＣ若しくはＨ．２６４エンコーダ（本願において別な場所で定義される。）、何らかの他の標準規格のためのエンコーダ、又は本願において述べられるか若しくは当該技術で知られている何らかの他の符号化デバイスを含む。

送信器１６０４は、様々な実施において、何らかの集積回路、万能非同期送受信機（ＵＡＲＴ；Universal Asynchronous Receiver/Transmitter）、ブロードキャスト送信器、サテライト送信器、ケーブル送信器、又は本願において述べられるか若しくは当該技術で知られている何らかの他の送信デバイスを含む。送信器１６０４は、例えば、符号化されたピクチャ及び／又はそれに関連する情報を表す１又はそれ以上のビットストリームを有するプログラム信号を送信するよう構成されてよい。典型的な送信器は、例えば、エラー訂正符号化を提供すること（これは、代替的に、又は追加的に、エンコーダ１６０２において実行されてよい。）、信号においてデータをインターリーブすること（これは、代替的に、又は追加的に、エンコーダ１６０２において実行されてよい。）、信号においてエネルギをランダマイズすること、及び変調器により信号を１又はそれ以上の搬送波に変調することのうちの１又はそれ以上のような機能を実行する。送信器１６０４は、アンテナ（図示せず。）を含むか、又はそれとインターフェース接続されてよい。更に、送信器１６０４の実施は、変調器に制限されてよい。

本願は、図２乃至３及び５乃至７の絵図、図４及び８乃至９のフロー図、並びに図１及び１０乃至１１のブロック図を含む複数の図を提供する。それらの図の夫々は、以下の例について簡単に説明されるように、様々な実施のための開示を与える。

第１の例として、我々は、絵図が様々なセンサパターンの例示を確かに与えることに留意する。なお、当然ながら、絵図は１又はそれ以上のプロセスフローを記載する。例えば、少なくとも図３及び５は、個々のセンサから結合パターンを決定するプロセスを更に記載する。加えて、少なくとも図６乃至７は、欠けている色値を補間するプロセスを更に記載する。

第２の例として、我々は、フロー図がフロープロセスを確かに記載することに留意する。なお、当然ながら、フロー図は、フロープロセスを実行するためのシステム又は装置の機能ブロック間の相互接続を提供する。例として、図８は、プロセス８００の機能を実行するブロック図を更に与える。例えば、（ｉ）参照符号８１０は、センサデータを捕捉する機能を実行するためのブロックを更に表し、（ｉｉ）参照符号８２０は、補間する機能を実行するためのブロックを表し、且つ（ｉｉｉ）ブロック８１０とブロック８２０との間の相互接続は、センサデータを捕捉するための要素と、その捕捉されたセンサデータに対して補間を実行するための要素との間の結合を表す。図８の他のブロックは、このシステム／装置を記載する際に同様に解釈される。

第３の例として、我々は、ブロック図が装置又はシステムの機能ブロックの相互接続を確かに記載することに留意する。なお、当然ながら、ブロック図は、様々なプロセスフローの記載を提供する。例として、図１は、図１のブロックの機能を含む様々なプロセスを実行するためのフロー図を更に与える。例えば、（ｉ）センサ１２０、１３０及び１４０は、センサデータを捕捉するプロセス動作を実行するためのブロックを更に表し、（ｉｉ）ＮＤフィルタ１４５は、減光フィルタリングのプロセス動作を実行するためのブロックを更に表し、且つ（ｉｉｉ）ＮＤフィルタ１４５と第１のセンサ１２０との間の相互接続は、フィルタリングされたイメージがデータ捕捉のためにセンサへ供給されるプロセス動作を表す。図１の他のブロックは、このフロープロセスを記載する際に同様に解釈される。

このように、我々は、多数の実施を与えられてきた。なお、記載される実施の変形、及び追加的適用が意図され、我々の開示内にあると見なされる点が留意されるべきである。加えて、記載される実施の特徴及び態様は、他の実施に適応されてよい。

幾つかの想定される変形の例として、ある実施は、単一のカメラにおいて別々の２つのセンサアレイを含む。第１のセンサアレイは、ネイティブＲＧＢイメージを生成するためのデータを捕捉するのに使用される。第２のセンサアレイは、ＨＤＲイメージを生成するためのデータを捕捉するのに使用される。ビームスプリッタは、第１のセンサアレイ又は第２のセンサアレイのいずれかへ光を導くよう制御可能である。

幾つかの想定される変形の他の例として、ある実施は、１又はそれ以上のセンサを図１の構成に加える。１又はそれ以上の加えられたセンサは、ＨＤＲイメージを生成するために、又はネイティブＲＧＢイメージを生成するために、しかしそれらの両方のためではなく使用されるデータを捕捉する。

幾つかの想定される変形の他の例として、ある実施は、ネイティブＲＧＢ及びＨＤＲの両方である出力イメージを提供する。これは、例えば、図１の構成において第４のセンサを用いることによって、達成される。第４のセンサは、例えば、ベイヤーパターンセンサであり、ネイティブＲＧＢイメージを生成するためにセンサ１３０及び１４０とともに使用される。センサ１２０は、例えば、残り３つのセンサから生成されるネイティブＲＧＢイメージに挿入されるべき高輝度エリア成分を供給するのに使用される。

幾つかの想定される変形の他の例として、実施の幾つかは、自動化されるか又は自動的に実行される特徴に言及してよい。そのような実施の変形は、しかしながら、自動化されず、及び／又は、自動的に特徴の部分の全てを実行しない。

幾つかの想定される変形の他の例として、幾つかの実施は、デジタルイメージとの関連で記載されてきた。例えば、センサ１２０、１３０及び１４０はデジタルイメージデータを捕捉することができる。なお、他の実施は、アナログフォーマットで記憶及び／又は処理され得るアナログデータを捕捉するセンサを使用する。アナログ情報は、当然、様々な実施において同様にデジタル情報へ変換される。

幾つかの想定される変形の他の例として、様々な実施において、センサパターンの色表示はピクセルに当てはまる。なお、他の実施において、色表示は、例えば、サブピクセル、パーティション、マクロブロック、又はスライスのような他のサイズ領域に当てはまる。

幾つかの実施は、ＮＤフィルタを選択的に挿入又は除去することができる。１つのそのような実施は、ＮＤフィルタ１４５を選択的に除去及び挿入することができるカメラ１００である。挿入及び／又は除去、すなわち、フィルタの制御は、例えば、ユーザが手動によりＮＤフィルタ１４５を挿入及び除去することを可能にするスロットを用いることによって、達成される。他の実施において、ＮＤフィルタ１４５はカメラ１００に不可欠であり、カメラ１００は、不可欠のＮＤフィルタ１４５を制御するためのスイッチ（例えば、手動式又は電子式）を含む。スイッチは、例えば、ＮＤフィルタ１４５が第１のセンサ１２０の前にあるか又はその前にないように不可欠のＮＤフィルタ１４５を位置付けることによって、動作する。他の実施はまた、同様にして制御される、ＮＤフィルタ以外の他の異なるフィルタを提供する。

様々な実施は、輝度成分の全てが同じ時点に捕捉されるＨＤＲイメージを提供するよう記載されてきた。例えば、カメラ１００を使用する動作４１０の実施は、通常、センサ１２０、１３０及び１４０の夫々について同じ時点に、センサ１２０、１３０及び１４０でイメージデータを捕捉する。次いで、典型的な実施は、高輝度エリアデータを生成するよう第１のセンサ１２０からのイメージデータを使用し、低輝度エリアデータを生成するようセンサ１３０及び１４０からのイメージデータを使用する。しかし、高輝度エリアデータ及び低輝度エリアデータは、同じ時点に捕捉されたイメージデータから生成されるので、その場合に、高輝度エリアデータ及び低輝度エリアデータはまた、その同じ時点に関連付けられる。他の実施は、しかしながら、異なる時点にＨＤＲイメージのためのイメージデータを捕捉する。同様に、ネイティブＲＧＢイメージを生成するために捕捉されるイメージデータは、様々な実施について同じ時点に、しかし、他の実施については異なる時点に捕捉される。

本願で記載される実施及び特徴の幾つかは、ＡＶＣ標準、及び／又はＭＶＣ（Multiview Video Coding）拡張によるＡＶＣ（付録Ｈ）、及び／又はＳＶＣ（Scalable Video Coding）拡張によるＡＶＣ（付録Ｇ）に関連して使用されてよい。加えて、それらの実施及び特徴は、他の標準規格（既存又は将来）に関連して、又は標準規格を伴わないコンテクストにおいて、使用されてよい。ＡＶＣは、既存のＩＳＯ／ＩＥＣ（International Organization for Standardization/International Electrotechnical Commission）ＭＰＥＧ−４（Moving Picture Experts Group-4）パート１０ＡＶＣ（Advanced Video Coding）標準／ＩＴＵ−Ｔ（International Telecommunication Union, Telecommunication Sector）Ｈ．２６４提言（本文書の全体を通じて“Ｈ．２６４／ＭＰＥＧ−４ＡＶＣ標準”又はその変形、例えば、“ＡＶＣ標準”、“Ｈ．２６４標準”、又は単に“ＡＶＣ”若しくは“Ｈ．２６４”と様々に呼ばれる。）を指す点に留意されたい。

本原理の「一実施形態」若しくは「実施形態」又は「１つの実施」若しくは「実施」及びそれらの他の変形への言及は、実施形態に関して記載される特定の特徴、構造、特性等が本原理の少なくとも一実施形態に含まれることを意味する。よって、明細書の全体を通して様々な箇所に現れる「一実施形態において」若しくは「実施形態において」又は「１つの実施において」若しくは「実施において」、及びあらゆる他の変形の出現は、必ずしも全てが同じ実施形態に言及しているわけではない。

加えて、本願又はその特許請求の範囲は、様々な情報片を“決定”することに言及することがある。情報を決定することは、例えば、情報を推定すること、情報を計算すること、情報を予測すること、又はメモリから情報を取り出すことのうちの１又はそれ以上を含んでよい。

更に、本願又はその特許請求の範囲は、様々な情報片に“アクセス”することに言及することがある。情報にアクセスすることは、例えば、情報を受信すること、情報を取り出すこと（例えば、メモリから）、情報を記憶すること、情報を処理すること、情報を送信すること、情報を移動すること、情報をコピーすること、情報を消去すること、情報を計算すること、情報を決定すること、情報を予測すること、又は情報を推定することのうちの１又はそれ以上を含んでよい。

加えて、本願又はその特許請求の範囲は、様々な情報片を“受信”することに言及することがある。受信することは、“アクセスすること”と同様に、幅広い用語であるよう意図される。情報を受信することは、例えば、情報にアクセスすること、又は情報を取り出すこと（例えば、メモリから）のうちの１又はそれ以上を含んでよい。更に、“受信すること”は、通常、例えば、情報を記憶すること、情報を処理すること、情報を送信すること、情報を移動すること、情報をコピーすること、情報を消去すること、情報を計算すること、情報を決定すること、情報を予測すること、又は情報を推定することのような動作の間に、何らかの形で関わる。

様々な実施は、“イメージ”及び／又は“ピクチャ”に言及する。語“イメージ”及び“ピクチャ”は、本文書の全体を通じて同義的に使用され、幅広い用語であるよう意図される。“イメージ”又は“ピクチャ”は、例えば、フレームの又はフィールドの全て又は部分であってよい。語“ビデオ”は、イメージ（又はピクチャ）のシーケンスを指す。イメージ又はピクチャは、例えば、様々なビデオ成分又はそれらの結合のいずれかを含んでよい。そのような成分又はそれらの結合は、例えば、輝度、クロミナンス、（ＹＵＶ又はＹＣｂＣｒ又はＹＰｂＰｒの）Ｙ、（ＹＵＶの）Ｕ、（ＹＵＶの）Ｖ、（ＹＣｂＣｒの）Ｃｂ、（ＹＣｂＣｒの）Ｃｒ、（ＹＰｂＰｒの）Ｐｂ、（ＹＰｂＰｒの）Ｐｒ、（ＲＧＢの）赤、（ＲＧＢの）緑、（ＲＧＢの）青、Ｓ−Ｖｉｄｅｏ、及びそれらの成分のいずれかの負又は正を含む。“イメージ”又は“ピクチャ”はまた、又は代替的に、例えば、典型的な２次元ビデオ、２Ｄビデオピクチャのための視差マップ、２Ｄビデオピクチャに対応する奥行きマップ、又はエッジマップを含む様々な異なるタイプのコンテンツを指すことがある。“イメージ”及び“ピクチャ”はまた、例えば、センサによって捕捉されるデータの組、又はそのようなデータの組を処理した後の出力を指すことがある。そのような処理は、例えば、データの組をフィルタリングすること、データの組を補間すること、及び／又はデータの組を他のデータの組とマージすることを含む。

更に、多くの実施は、“フレーム”に言及することがある。なお、そのような実施は、“ピクチャ”又は“イメージ”に同じく適用可能であると考えられる。

加えて、様々な実施は、ＲＧＢイメージ以外の他のイメージを提供する。特に、様々な実施は、ＲＧＢとは異なる３つの加法的な色の組を使用する。例えば、赤、緑、及び青は、特定の周波数を有し、他の実施は、それらの周波数を、赤、緑及び青とは異なる３つの別の色に到達するようシフトする。更なる他の実施は、１つ又は２つの色のみをシフトする。そのような実施において、３つの色は、ＲＧＢと共通に行われるように、他の色を生成するようやはり足し合わされ得る。又更なる実施は、しかしながら、減法的な色を使用し、ＲＧＢを使用することに代えて、かかる実施は、例えば、ＣＭＹ（シアン、マゼンタ、イエロー）を使用する。又更なる実施は、色差に基づき、ＲＧＢを使用することに代えて、かかる実施は、例えば、ＹＵＶ又はＹＰｂＰｒを使用する。

“奥行きマップ”、若しくは“視差マップ”、若しくは“エッジマップ”、又は同様の語はまた、幅広い用語であるよう意図される。マップは、一般的に、例えば、特定のタイプの情報を含むピクチャを指す。なお、マップは、その名称によって示されない他のタイプの情報を含んでよい。例えば、奥行きマップは、通常、奥行き情報を含むが、例えば、ビデオ又はエッジ情報のような他の情報を更に含んでよい。

本願は、様々な実施において“エンコーダ”及び“デコーダ”に言及する。当然、エンコーダは、例えば、１以上の変調器（又は無し）とともに、１以上のソースエンコーダ（又は無し）及び／又は１以上のチャネルエンコーダ（又は無し）を含むことができる。同様に、当然、デコーダは、例えば、１以上の変調器（又は無し）とともに、１以上のソースデコーダ（又は無し）及び／又は１以上のチャネルデコーダ（又は無し）を含むことができる。

当然ながら、例えば、“Ａ／Ｂ”、“Ａ及び／又はＢ”及び“Ａ及びＢの少なくとも１つ”の場合に、次の“／”、“及び／又は”及び“の少なくとも１つ”のいずれかの使用は、最初に挙げられている選択肢（Ａ）のみの選択、又は２番目に挙げられている選択肢（Ｂ）のみの選択、又は両方の選択肢（Ａ及びＢ）の選択を包含するよう意図される。更なる例として、“Ａ、Ｂ、及び／又はＣ”並びに“Ａ、Ｂ及びＣの少なくとも１つ”及び“Ａ、Ｂ又はＣの少なくとも１つ”の場合に、そのような言い回しは、最初に挙げられている選択肢（Ａ）のみ選択、又は２番目の挙げられている選択肢（Ｂ）のみの選択、又は３番目に挙げられている選択肢（Ｃ）のみの選択、又は最初及び２番目に挙げられている選択肢（Ａ及びＢ）のみの選択、又は最初及び３番目に挙げられている選択肢（Ａ及びＣ）のみの選択、又は２番目及び３番目に挙げられている選択肢（Ｂ及びＣ）のみの選択、又は全ての３つの選択肢（Ａ及びＢ及びＣ）の選択を包含するよう意図される。これは、当該及び関連する技術において通常の知識を有するものによって容易に明らかであるように、挙げられている項目の数だけ拡張されてよい。

加えて、多くの実施は、例えば、ポストプロセッサ又はプレプロセッサのようなプロセッサにおいて実施されてよい。本願で論じられるプロセッサは、様々な実施において、例えば、プロセス、機能、又は動作を実行するよう集合的に構成される複数のプロセッサを含む。例えば、プロセッサ１５０、１６０１、及び１７０８、並びに、例えば、エンコーダ１６０２、送信器１６０４、受信器１７０２、及びデコーダ１７０６のような他のプロセッシングコンポーネントは、様々な実施において、そのコンポーネントの動作を実行するよう集合的に構成される複数のサブプロセッサから成る。

ここで記載される実施は、例えば、方法若しくはプロセス、装置、ソフトウェアプログラム、データストリーム、又は信号において実施されてよい。たとえ単一の実施形態に関してしか論じられないとしても（例えば、方法としてのみ論じられる場合）、論じられる特徴の実施は他の形（例えば、装置又はプログラム）においても実施されてよい。装置は、例えば、適切なハードウェア、ソフトウェア及びファームウェアにおいて実施されてよい。方法は、例えば、概して、例えば、コンピュータ、マイクロプロセッサ、集積回路、又はプログラム可能論理デバイスを含むプロセッシングデバイスを指すプロセッサのような装置において、実施されてよい。プロセッサは、例えば、携帯電話機、タブレット、ポータブル／パーソナルデジタルアシスタント（ＰＤＡ）、及びエンドユーザ間の情報のやり取りを助ける他のデバイスのような通信装置を更に含む。

ここで記載される様々なプロセス及び特徴の実施は、様々な異なる機器又は用途において具現されてよい。そのような機器の例には、カメラ、カムコーダ、エンコーダ、デコーダ、ポストプロセッサ、プレプロセッサ、ビデオコーダ、ビデオデコーダ、ビデオコーデック、ウェブサーバ、テレビ受像機、セットトップボックス、ルータ、ゲートウェイ、モデム、ラップトップ、パーソナルコンピュータ、タブレット、携帯電話機、ＰＤＡ、及び他の通信デバイスがある。当然、機器は可搬性であってよく、移動車両にさえ設置されてよい。

加えて、方法は、プロセッサによって実行される命令によって実施されてよく、そのような命令（及び／又は実施によって生成されるデータ値）は、プロセッサ可読媒体（例えば、集積回路、ソフトウェアキャリア、又は他の記憶デバイス（例えば、ハードディスク、コンパクトディスケット（ＣＤ）、光ディスク（例えば、しばしばデジタルバーサタイルディスク又はデジタルビデオディスクと呼ばれるＤＶＤ、又はブルーレイディスク）、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、ＵＳＢサムドライブ、又は何らかの他の記憶デバイス））に記憶されてよい。命令は、プロセッサ可読媒体において有形に具現されるアプリケーションプログラムを形成してよい。命令は、例えば、ハードウェア、ファームウェア、ソフトウェア、又はそれらの組み合わせに含まれてよい。命令は、例えば、オペレーティングシステム、別個のアプリケーション、又はそれらの組み合わせから入手されてよい。プロセッサは、従って、例えば、プロセスを実行するよう構成されるデバイス、及びプロセスを実行するための命令を有するプロセッサ可読媒体（例えば、記憶デバイス）を含むデバイスの両方として特徴付けられてよい。更に、プロセッサ可読媒体は、命令に加えて又はその代わりに、実施によって生成されるデータ値を記憶してよい。

当業者に明らかなように、実施は、例えば、記憶又は送信され得る情報を搬送するようフォーマットされた様々な信号を生成してよい。情報は、例えば、情報を実行するための命令、又は記載される実施の１つによって生成されるデータを含んでよい。例えば、信号は、シンタックスを書き込む又は読み出すための規則をデータとして搬送するよう、又はシンタックス規則を用いて生成される実際のシンタックス値をデータとして搬送するよう、フォーマットされてよい。そのような信号は、例えば、電磁波（例えば、スペクトルの無線周波数部分を用いる。）として、又はベースバンド信号として、フォーマットされてよい。フォーマッティングは、例えば、データストリームを符号化すること及び符号化されたデータストリームにより搬送波を変調することを含んでよい。信号が搬送する情報は、例えば、アナログ又はデジタルの情報であってよい。信号は、知られているように、様々な異なる有線又は無線リンクを介して送信されてよい。信号は、プロセッサ可読媒体に記憶されてよい。

多数の実施が記載されてきた。それにも関わらず、様々な変更がなされてよいことが理解されるであろう。例えば、異なる実施の要素は、他の実施を構成するよう結合、補完、変更、又は除去されてよい。加えて、当業者は、他の構造及びプロセスが、開示されているものに代用されてよく、結果として得られる実施が、開示されている実施と少なくとも略同じ結果を達成するよう少なくとも略同じ機能を少なくとも略同じように実行すると理解するであろう。然るに、それら及び他の実施は、本願によって検討される。

［関連出願の相互参照］
本願は、２０１２年５月１８日付けで出願された米国特許仮出願第６１／６８８６５７号（発明の名称「Apparatus to Provide Native RGB and High Dynamic Range Images with a Single Lens」）に基づく優先権を主張するものである。なお、基礎となる米国出願の内容は、その全文を参照により本願に援用される。

Claims (31)

1. 複数のセンサから捕捉される第１の組の色値を用いてカラーイメージを生成するステップと、
   前記複数のセンサから捕捉される第２の組の色値を用いてハイダイナミックレンジイメージを生成するステップと
   を有し、
   前記カラーイメージの複数のピクセル位置は、前記複数のセンサから捕捉される３つの色についての色値であり、
   レンズアセンブリは、光を前記複数のセンサに通す、方法。
2. 前記複数のセンサは、
   複数の色を取得するよう構成され、且つ、互いに異なる色パターンを有するフィルタを使用する３つのセンサを含む、
   請求項１に記載の方法。
3. 前記３つの異なる色パターンは、
   （ｉ）赤、緑及び青を含む第１のパターンと、
   （ｉｉ）赤、緑及び青を含む第２のパターンと、
   （ｉｉｉ）赤、緑及び青を含む第３のパターンと
   を含む、請求項１又は２に記載の方法。
4. 前記ハイダイナミックレンジイメージを生成するステップは、
   前記ハイダイナミックレンジイメージの複数のピクセル位置について赤、緑及び青を有するよう前記第２の組の色値を補間するステップ
   を有する、請求項１乃至３のうちいずれか一項に記載の方法。
5. 前記ハイダイナミックレンジイメージを生成するステップは、
   前記ハイダイナミックレンジイメージの全ての非エッジピクセル位置について赤、緑及び青を有するよう前記第２の組の色値を補間するステップ
   を有する、請求項１乃至４のうちいずれか一項に記載の方法。
6. 前記ハイダイナミックレンジイメージは、
   第１のイメージにおける対応する位置から導出されるピクセル値を有する高輝度エリア成分と、
   第２のイメージにおける対応する位置から導出されるピクセル値を有する低輝度エリア成分と
   を有する、請求項１乃至５のうちいずれか一項に記載の方法。
7. 前記複数のセンサは、ベイヤーパターンセンサを含み、
   前記第２の組の色値は、前記ベイヤーパターンセンサから捕捉される色値を含み、
   前記ハイダイナミックレンジイメージを生成するステップは、前記高輝度エリア成分を生成するステップを有し、
   前記高輝度エリア成分を生成するステップは、前記ベイヤーパターンセンサから捕捉される前記第２の組の色値に含まれる色値を補間するステップを有する、
   請求項６に記載の方法。
8. 前記複数のセンサは、第１のセンサ及び第２のセンサを含み、
   前記第１のセンサ及び前記第２のセンサは、複数の色を取得するよう構成され、
   前記ハイダイナミックレンジイメージを生成するステップは、前記低輝度エリア成分を生成するステップを有し、
   前記低輝度エリア成分を生成するステップは、クインカンクスアルゴリズムを用いて補間され得る赤、緑及び青のパターンを形成するよう、前記第１のセンサ及び前記第２のセンサから捕捉される前記第２の組に含まれる赤、緑及び青の色値をアセンブルするステップを有する、
   請求項６又は７に記載の方法。
9. 前記低輝度エリア成分を生成するステップは、
   前記クインカンクスアルゴリズムを用いて前記形成された赤、緑及び青のパターンを補間するステップ
   を更に有する、請求項８に記載の方法。
10. 前記高輝度エリア成分を生成するステップは、
    前記複数のセンサの少なくとも１つの前にある減光フィルタを用いるステップ
    を更に有する、請求項７乃至９のうちいずれか一項に記載の方法。
11. 前記複数のセンサは、第１のセンサ、第２のセンサ及び第３のセンサを含み、
    前記第１のセンサ、前記第２のセンサ及び前記第３のセンサは、複数の色を取得するよう構成され、
    前記カラーイメージを生成するステップは、少なくとも前記複数のピクセル位置について、前記第１のセンサ、前記第２のセンサ及び前記第３のセンサから捕捉される前記第１の組に含まれる赤、緑及び青の色値をアセンブルするステップを更に有する、
    請求項１乃至１０のうちいずれか一項に記載の方法。
12. 前記第１のセンサは、ベイヤーパターンセンサである、
    請求項１１に記載の方法。
13. 前記複数のセンサは、たった３つのセンサを含む、
    請求項１乃至１２のうちいずれか一項に記載の方法。
14. 前記第１の組の色値は、前記第２の組の色値と重なり合う、
    請求項１乃至１３のうちいずれか一項に記載の方法。
15. 前記３つの色は、加法的である、
    請求項１乃至１４のうちいずれか一項に記載の方法。
16. 前記３つの色は、赤、緑及び青であり、
    前記カラーイメージは、ＲＧＢイメージである、
    請求項１乃至１５のうちいずれか一項に記載の方法。
17. 当該方法は、前記レンズアセンブリ及び前記複数のセンサを含むカメラによって実行される、
    請求項１乃至１６のうちいずれか一項に記載の方法。
18. 複数のセンサから捕捉される第１の組の色値を用いてＲＧＢイメージを生成するステップと、
    前記複数のセンサから捕捉される第２の組の色値を用いてハイダイナミックレンジイメージを生成するステップと
    を有し、
    前記ＲＧＢイメージの複数のピクセル位置は、前記複数のセンサから捕捉される赤、緑及び青についての色値を有し、
    レンズアセンブリは、光を前記複数のセンサへ通す、方法。
19. 複数のセンサから捕捉される第１の組の色値を用いてカラーイメージを生成し、
    前記複数のセンサから捕捉される第２の組の色値を用いてハイダイナミックレンジイメージを生成する
    よう集合的に構成される１又はそれ以上のプロセッサを有し、
    前記カラーイメージの複数のピクセル位置は、前記複数のセンサから捕捉される３つの色についての色値であり、
    レンズアセンブリは、光を前記複数のセンサに通す、装置。
20. 複数のセンサから捕捉される第１の組の色値を用いてカラーイメージを生成する手段と、
    前記複数のセンサから捕捉される第２の組の色値を用いてハイダイナミックレンジイメージを生成する手段と
    を有し、
    前記カラーイメージの複数のピクセル位置は、前記複数のセンサから捕捉される３つの色についての色値であり、
    レンズアセンブリは、光を前記複数のセンサに通す、装置。
21. １又はそれ以上のプロセッサに、
    複数のセンサから捕捉される第１の組の色値を用いてカラーイメージを生成するステップと、
    前記複数のセンサから捕捉される第２の組の色値を用いてハイダイナミックレンジイメージを生成するステップと
    を集合的に実行させる命令を記憶し、
    前記カラーイメージの複数のピクセル位置は、前記複数のセンサから捕捉される３つの色についての色値であり、
    レンズアセンブリは、光を前記複数のセンサに通す、プロセッサ可読媒体。
22. レンズアセンブリと、
    前記レンズアセンブリを通じて光を受けるよう配置される複数のセンサと
    を有し、
    前記複数のセンサから捕捉される第１の組の色値は、複数のピクセル位置について３つの色値を提供するようアセンブル可能であり、
    前記複数のセンサから捕捉される第２の組の色値は、ハイダイナミックレンジイメージを提供するよう補間可能である、装置。
23. 前記複数のセンサは、第１のセンサ、第２のセンサ及び第３のセンサを含み、
    前記第１のセンサは、３色パターンにより３つの色を取得するよう構成され、
    前記第２のセンサは、前記第１のセンサのパターンとは異なる３色パターンを使用し、
    前記第３のセンサは、前記第１のセンサのパターン及び前記第２のセンサのパターンとは異なる３色パターンを使用する、
    請求項２２に記載の装置。
24. 前記ハイダイナミックレンジイメージは、（ｉ）第１のイメージにおける対応する位置から導出されるピクセル値を有する高輝度エリア成分と、（ｉｉ）第２のイメージにおける対応する位置から導出されるピクセル値を有する低輝度エリア成分とを有し、
    前記第１のセンサのパターンは、前記第１のセンサから捕捉される色値が、前記高輝度エリア成分の全ての内部ピクセルについて赤、緑及び青の色値を提供するよう補間されることを可能にし、
    前記第２のセンサのパターン及び前記第３のセンサのパターンは、前記第２のセンサ及び前記第３のセンサから捕捉される色値が、前記低輝度エリア成分の全ての内部ピクセルについて赤、緑及び青の色値を提供するようアセンブルされてクインカンクスアルゴリズムにより補間されることを可能にし、
    前記第２のセンサのパターン及び前記第３のセンサのパターンは、前記第１のセンサ、前記第２のセンサ及び前記第３のセンサから捕捉される色値が、ＲＧＢイメージの全ての内部ピクセルについて捕捉された赤、緑及び青の色値を提供するようアセンブルされることを可能にする、
    請求項２３に記載の装置。
25. 前記第２のセンサは、３／８が赤、２／８が緑、及び３／８が青である、
    請求項２３又は２４に記載の装置。
26. 前記第３のセンサは、３／８が赤、２／８が緑、及び３／８が青である、
    請求項２３乃至２５のうちいずれか一項に記載の装置。
27. 前記第２のセンサのパターン及び前記第３のセンサのパターンは、ベイヤーパターンから欠けている色を提供するよう結合する、
    請求項２３乃至２６のうちいずれか一項に記載の装置。
28. 前記第１のセンサの３色パターンは、ベイヤーパターンである、
    請求項２２乃至２７のうちいずれか一項に記載の装置。
29. 前記レンズアセンブリと前記複数のセンサの１つとの間に配置される減光フィルタを更に有する
    請求項２２乃至２８のうちいずれか一項に記載の装置。
30. 前記レンズアセンブリと前記第１のセンサとの間に配置される減光フィルタを更に有する
    請求項２３乃至２８のうちいずれか一項に記載の装置。
31. 前記３つの色は、赤、緑及び青であり、前記色値は、ＲＧＢイメージを形成するようアセンブル可能である、
    請求項２２乃至３０のうちいずれか一項に記載の装置。

Images