JP2023033168A - 複数のイメージセンサを含む映像獲得装置、それを含む電子装置、及び映像獲得装置の制御方法 - Google Patents

Abstract

【課題】複数のイメージセンサを含む映像獲得装置、及びそれを含む電子装置を提供する。【解決手段】第１波長帯域に基づくの第１映像を獲得する第１イメージセンサ、１０ｎｍないし１，０００ｎｍの第２波長帯域に基づくの第２映像を獲得する第２イメージセンサ、及び第１イメージセンサ及び第２イメージセンサからそれぞれ出力された第１映像と第２映像とを整合し、第２映像から推定された照明値を利用し、整合された映像について色変換を行うプロセッサを含む映像獲得装置である。【選択図】図１

Description

本発明は、複数のイメージセンサを含む映像獲得装置、それを含む電子装置、及び映像獲得装置の制御方法に関する。

映像センサは、被写体から入射される光を受光し、受光された光を光電変換し、電気的信号を生成する装置である。

映像センサは、カラー表現のために、通常、赤色光、緑色光、青色光を選択的に透過させるフィルタ要素のアレイからなるカラーフィルタを使用し、各フィルタ要素を透過した光の量をセンシングした後、映像処理を介し、被写体に係わるカラー映像を形成する。

該映像センサを介してセンシングされた値は、照明によって影響を受けるために、カメラによって撮影された映像のカラーも、照明によって影響を受けることになる。そのような影響をなくし、できる限り物体固有の色を撮影させる技術を、ホワイトバランスと言う。

従来のホワイトバランス技術は、ＲＧＢ映像を撮影した後、その映像内情報を分析し、ホワイトバランスを行う。そのような方法は、グレイワールド仮定（gray world assumption）、すなわち、映像のＲ，Ｇ，Ｂチャネル別平均値が同一であるという仮定、または他の制約事項があるために、そのような制約事項を満足させることができない状況においては、正しく動作しないものでもある。

本発明が解決しようとする課題は、複数のイメージセンサを含む映像獲得装置、それを含む電子装置、及び映像獲得装置の制御方法を提供することである。

一実施形態による映像獲得装置は、第１波長帯域に基づく第１映像を獲得する第１イメージセンサと、１０ｎｍないし１，０００ｎｍの第２波長帯域に基づく第２映像を獲得する第２イメージセンサと、前記第１イメージセンサ及び前記第２イメージセンサからそれぞれ出力された前記第１映像と前記第２映像とを整合し、前記第２映像から推定された照明値を利用し、前記整合された映像について色変換を行うプロセッサと、を含む。

前記プロセッサは、前記第１映像を一または複数の領域に分割して、前記第１映像の分割されたそれぞれの領域に対応する第２映像の領域毎に、それぞれの照明値を推定し、前記第２映像の領域毎に推定されたそれぞれの照明値を利用し、前記第１映像の分割されたそれぞれの領域について前記色変換を行う。

前記プロセッサは、前記第２映像の領域毎に推定されたそれぞれの照明値のうち、隣接した領域の照明値との差が第１臨界値以上である場合、前記差が、前記第１臨界値より小さくなるように、隣接した領域の照明値のうちいずれか１つの照明値を調整する。

前記プロセッサは、前記色変換を行った後、前記隣接した領域の境界部分につき、後処理（post－processing）を行う。

前記プロセッサは、前記第１イメージセンサ及び前記第２イメージセンサそれぞれの解像度、画角及び焦点距離のうちの少なくとも一つに基づいて、前記第１映像と前記第２映像との整合のためのパラメータを算出する。

前記プロセッサは、前記第２イメージセンサから出力された複数のチャネルから得られたスペクトル情報を利用し、前記照明値を推定する。

前記プロセッサは、既定の照明値に係わる第２映像が学習されたニューラルネットワークを利用し、前記第２イメージセンサから獲得された第２映像に係わる前記照明値を推定する。

前記プロセッサは、前記第１映像及び前記第２映像それぞれの特徴（feature）を抽出し、前記抽出された特徴をマッチングさせることにより、前記第１映像と前記第２映像との整合を行う。

前記プロセッサは、前記第１映像及び前記第２映像の画素グループ単位、画素単位またはサブ画素単位で、前記第１映像と前記第２映像との整合を行う。

前記第１イメージセンサは、複数の第１センシング要素がアレイされた第１センサ層と、前記第１センサ層上に配され、交互配列された赤色フィルタ、緑色フィルタ、青色フィルタを含むカラーフィルタと、を具備する第１画素アレイを含み、前記第２イメージセンサは、複数の第２センシング要素がアレイされた第２センサ層と、前記第２センサ層上に配され、透過波長帯域が異なる複数のユニットフィルタからなるフィルタグループが反復配列された分光フィルタと、を具備する。

前記複数のユニットフィルタそれぞれの透過波長帯域は、可視光線を含み、該可視光線より広い範囲の波長帯域に含まれ、前記フィルタグループは、４×４アレイ形態に配列される１６個のユニットフィルタを含む。

前記第１画素アレイと前記第２画素アレイは、同じ回路基板上に、水平に離隔されて配される。

前記第１センサ層からの信号を処理する第１回路要素と、前記第２センサ層からの信号を処理する第２回路要素とが、前記回路基板に具備される。

前記映像獲得装置は、前記第１回路要素、前記第２回路要素の動作を同期させるタイミングコントローラをさらに含む。

前記映像獲得装置は、前記第１映像に係わるデータを保存する第１メモリと、前記第２映像に係わるデータを保存する第２メモリと、をさらに含む。

前記第１メモリ及び前記第２メモリが前記回路基板内に具備される。

前記映像獲得装置は、被写体の光学像を前記第１イメージセンサに形成するものであり、１以上のレンズを含む、第１イメージング光学系；及び前記被写体の光学像（optical image）を前記第２イメージセンサに形成するものであり、１以上のレンズを含む第２イメージング光学系をさらに含む。

前記第１イメージング光学系と前記第２イメージング光学系は、同じ焦点距離、及び同じ画角を有するように設定される。

他の実施形態による電子装置は、前記映像獲得装置を含む。

さらに他の実施形態による複数のイメージセンサを利用した映像獲得装置の制御方法は、第１イメージセンサ及び第２イメージセンサからそれぞれ第１映像及び第２映像を獲得する段階と、前記獲得された第１映像と第２映像とを整合する段階と、前記第２映像から推定された照明値を利用し、前記整合された映像について色変換を行う段階と、を含む。

本実施形態による映像獲得装置は、互いに異なる種類の２つのイメージセンサを活用し、特定制約条件なしに、１以上の照明環境の影響下においても、正確なホワイトバランスを遂行することができる。

前述の映像獲得装置は、多様な電子装置にも採用される。

一実施形態による映像獲得装置の概略的な構造を示すブロック図である。 図１に示された映像獲得装置の詳細ブロック図である。 図１に示された映像獲得装置の概略的な構造を示す概念図である。 一実施形態による映像獲得装置に具備される第１イメージセンサ、第２イメージセンサの回路構成を示した図である。 一実施形態による映像獲得装置に具備される第１イメージセンサによる波長スペクトルを示した図である。 一実施形態による映像獲得装置に具備される第１イメージセンサの例示的な画素配列を示した図である。 一実施形態による映像獲得装置に具備される第１イメージセンサの例示的な画素配列を示した図である。 一実施形態による映像獲得装置に具備される第１イメージセンサの例示的な画素配列を示した図である。 一実施形態による映像獲得装置に具備される第２イメージセンサによる波長スペクトルを示した図である。 一実施形態他の映像獲得装置に具備される第２イメージセンサの例示的な画素配列を示した図である。 一実施形態他の映像獲得装置に具備される第２イメージセンサの例示的な画素配列を示した図である。 一実施形態他の映像獲得装置に具備される第２イメージセンサの例示的な画素配列を示した図である。 他の実施形態による映像獲得装置の制御方法について概略的に説明するフローチャートである。 一実施形態による電子装置の概略的な構造を示すブロック図である。 図１４の電子装置に具備されるカメラモジュールを概略的に示したブロック図である。 一実施形態による映像獲得装置が適用された電子装置の多様な例を示す図である。 一実施形態による映像獲得装置が適用された電子装置の多様な例を示す図である。 一実施形態による映像獲得装置が適用された電子装置の多様な例を示す図である。 一実施形態による映像獲得装置が適用された電子装置の多様な例を示す図である。 一実施形態による映像獲得装置が適用された電子装置の多様な例を示す図である。 一実施形態による映像獲得装置が適用された電子装置の多様な例を示す図である。 一実施形態による映像獲得装置が適用された電子装置の多様な例を示す図である。 一実施形態による映像獲得装置が適用された電子装置の多様な例を示す図である。 一実施形態による映像獲得装置が適用された電子装置の多様な例を示す図である。 一実施形態による映像獲得装置が適用された電子装置の多様な例を示す図である。

以下、添付図面を参照し、実施形態について詳細に説明する。説明される実施形態は、単に例示的なものに過ぎず、そのような実施形態から、多様な変形が可能である。以下の図面において、同一参照符号は、同一構成要素を称し、図面上において、各構成要素の大きさは、説明の明瞭さと便宜さとのためにも誇張されている。

以下において、「上部」や「上」と記載されたところは、接触して真上にあるものだけではなく、非接触で上にあるものも含みうる。

第１、第２のような用語は、多様な構成要素の説明に使用されうる、１つの構成要素を他の構成要素から区別する目的のみに使用される。そのような用語は、構成要素の物質または構造が異なることを限定するものではない。

単数の表現は、文脈上明白に異なって意味しない限り、複数の表現を含む。また、ある部分がある構成要素を「含む」とするとき、それは、特別に反対となる記載がない限り、他の構成要素を除くものではなく、他の構成要素をさらに含みうるということを意味する。

また、明細書に記載され「…部」、「モジュール」というような用語は、少なくとも１つの機能や動作を処理する単位を意味し、それは、ハードウェアまたはソフトウェアによっても具現されるか、あるいはハードウェアとソフトウェアとの結合によっても具現される。

「前記」の用語、及びそれと類似した指示用語の使用は、単数及び複数のいずれにも該当するものでもある。

方法を構成する段階は、説明された順に行わなければならないという明白な言及がなければ、適当な順序によっても遂行される。また、全ての例示的な用語（例：「例えば」）の使用は、単に技術的思想について詳細に説明するためのものであり、請求項によって限定されない以上、そのような用語により、権利範囲が限定されるものではない。

一般的に、カメラでセンシングされる値は、次の数式１のように、照明、物体の色相、及びカメラ反応の積でもって示すことができる。

センシングされた値は、照明によって影響を受けるために、カメラに撮影された映像のカラーも、照明によって影響を受けることになる。そのような影響をなくし、できる限り物体固有の色を撮影するようにすることがホワイトバランスである。

スマートフォンを含む映像撮影装置は、光をＲ、Ｇ、Ｂの三種類スペクトルにセンシングする。そして、該三種類のセンシングされた値を使用し、変換を行うことにより、表現する色相を作り出す。既存の方法においては、ＲＧＢ映像を撮影した後、その映像内情報を分析し、ホワイトバランスを行う。そのような方法には、グレイワールド仮定（gray world assumption）、または他の制約事項があるために、そのような制約事項を満足させることができない状況においては、正しく動作しないのである。

また、既存の方法においては、ＲＧＢカメラを使用して映像を取得した後、その映像の情報を使用し、ホワイトバランスを遂行していた。該ＲＧＢカメラは、基本的に、三種色相のスペクトルについてセンシングし、各色相につき、広帯域フィルタ（wide band filter）を使用するために、正確なスペクトル情報を得るのに限界がある。従って、正確なホワイトバランス遂行にも限界がある。そのような限界は、特に、１以上の照明が被写体に照らされる場合に生じるが、従来技術においては、それぞれの照明分離に限界があるためである。例えば、ある人を撮影するとき、左側窓を介して自然光が入り、右側においては、室内に他の照明があるならば、その人の右側と左側との顔色が異なるように示される現象が生じうる。また、特定色がシーン（scene）にドミナント（dominant）である場合にも、誤差が生じるが、例えば、雪を背景にしたスキー場写真などにおいて、雪色相が実際の色相と異なるように示される場合を挙げることができる。

一実施形態による映像獲得装置は、ホワイトバランスを正確に遂行するために、マルチスペクトラルイメージ（ＭＳＩ：multispectral image）センサを使用し、照明と物体との色を分離し、物体の正確な色相を求めた後、その情報、すなわち、照明値を使用し、ＲＧＢ映像につき、色変換またはカラーマッピングを行い、ホワイトバランスを遂行する。

図１は、一実施形態による映像獲得装置の概略的な構造を示すブロック図である。

図１を参照すれば、映像獲得装置は、第１イメージセンサ１００、第２イメージセンサ２００及びプロセッサ５００を含む。一実施形態による映像獲得装置は、複数のイメージセンサを利用し、撮影される映像についてホワイトバランスを正確に遂行する。第１イメージセンサ１００は、第１波長帯域の第１映像を獲得する。第２波長帯域は、該第１波長帯域を含み、それよりさらに広いものである。第２イメージセンサ２００は、第２波長帯域の第２映像を獲得する。ここで、第１イメージセンサ１００は、ＲＧＢイメージセンサであり、第２イメージセンサ２００は、マルチスペクトラルイメージ（ＭＳＩ）センサでもある。該ＲＧＢイメージセンサは、Ｒチャネル、Ｇチャネル及びＢチャネルを有する。該ＭＳＩセンサは、ＲＧＢセンサよりもさらに多数のチャネルを有することにより、さらに多くの波長帯域の光をセンシングする。

プロセッサ５００は、第１イメージセンサ１００及び第２イメージセンサ２００からそれぞれ出力された第１映像と第２映像とを整合し、該第２映像から推定された照明値を利用し、整合された映像について色変換を行う。

また、プロセッサ５００は、第１映像を、一または複数の領域に分割し、該第１映像の分割されたそれぞれの領域に対応する第２映像の領域毎に、それぞれの照明値を推定し、該第２映像の領域毎に推定されたそれぞれの照明値を利用し、該第１映像の分割されたそれぞれの領域について色変換を行うこともできる。

また、プロセッサ５００は、第２映像の領域毎に推定されたそれぞれの照明値のうち、隣接した領域の照明値との差が第１臨界値以上である場合、該差が第１臨界値より小さくなるように、隣接した領域の照明値のうち、いずれか１つの照明値を調整することができる。その場合、プロセッサ５００は、色変換を行った後、隣接した領域の境界部分につき、後処理（post－processing）を行うこともできる。

図２は、図１に図示された映像獲得装置の詳細ブロック図である。

図２を参照すれば、映像獲得装置は、第１波長帯域に基づく第１映像ＩＭ１を獲得する第１イメージセンサ１００、第２波長帯域に基づく第２映像ＩＭ２を獲得する第２イメージセンサ２００、及び第１映像ＩＭ１と第２映像ＩＭ２とを信号処理し、第３映像ＩＭ３を生成するプロセッサ５００を含む。ここで、第３映像ＩＭ３は、第１イメージセンサ１００から獲得された第１映像についてホワイトバランスが遂行された映像、または第１イメージセンサ１００から獲得された第１映像と、第２イメージセンサ２００から獲得された第２映像とを整合した映像についてホワイトバランスが遂行された映像である。

第１イメージセンサ１００は、一般的なＲＧＢカメラに採用されるセンサであり、ベイヤーカラーフィルタアレイを使用するＣＭＯＳ（complementary metal oxide semiconductor）イメージセンサでもある。第１イメージセンサ１００が獲得する第１映像ＩＭ１は、赤色，緑色，青色を表すＲＧＢ映像でもある。第１イメージセンサ１００は、一般的に、３８０ｎｍないし７８０ｎｍの帯域幅を有する。

第２イメージセンサ２００は、第１イメージセンサ１００よりさらに多種波長の光をセンシングするセンサである。第２イメージセンサ２００は、例えば、１６個のチャネルを使用することができ、あるいは３１個のチャネル、またはその他個数のチャネルを使用することができる。第２イメージセンサ２００は、第１イメージセンサ１００より多くのチャネルを有することができる。各チャネルの帯域幅は、Ｒ，Ｇ，Ｂ帯域よりさらに狭く設定され、全てのチャネルの帯域幅を合わせた全体帯域幅は、ＲＧＢ帯域幅、すなわち、可視光線帯域幅を含み、それより広いものである。例えば、第２イメージセンサ２００は、１０ｎｍないし１，０００ｎｍの帯域幅を有することができる。また、３５０ｎｍないし１，０００ｎｍの帯域幅を有することもできる。第２イメージセンサ２００が獲得する第２映像ＩＭ２は、マルチスペクトラル映像または超分光（hyperspectral）映像でもあり、ＲＧＢ波長帯域より広い波長帯域、例えば、可視光線帯域を含み、それより広い波長帯域である紫外線波長帯域ないし赤外線波長帯域を、１６個以上のチャネルに分割した波長に基づく映像でもある。第２映像ＩＭ２は、第２イメージセンサ２００の可用なあらゆる数のチャネルを活用して取得した映像でもあり、または特定チャネルを選別して取得した映像でもある。第２映像ＩＭ２の空間解像度は、第１映像ＩＭ１の空間解像度よりも低いが、ただし、それに限定されるものではない。

一実施形態において、第１イメージセンサ１００は、ＲＧＢセンサであり、第２イメージセンサ２００は、ＭＳＩセンサでもある。このとき、ＲＧＢセンサは、ＣＭＯＳイメージセンサでもある。該ＲＧＢセンサは、ベイヤーカラーフィルタアレイを使用し、Ｒ、Ｇ、Ｂを示すスペクトルをそれぞれセンシングした三種チャネルの映像を生成することができる。また、他種カラーフィルタアレイを使用することができるということは、言うまでもない。該ＭＳＩセンサは、ＲＧＢセンサとは異なる波長の光をセンシングして示す。該ＭＳＩセンサは、チャネル数をさらに多く有することにより、さらに多種波長の光をセンシングすることを特徴とする。特定例において、チャネル数は、１６個のチャネルを使用することができる。他例において、３１個のチャネルを使用することができる。各チャネルは、所望する帯域の光をセンシングするように、光が透過する帯域、透過量及び帯域幅を調整することができる。全チャネルの帯域幅を合わせて構成される全体帯域幅は、既存のＲＧＢセンサの帯域幅を含み、それよりさらに広いのである。該ＲＧＢセンサと該ＭＳＩセンサとのセンシングスペクトルまたは波長帯域は、図５及び図９を参照して後述する。

第１イメージセンサ１００と第２イメージセンサ２００は、それぞれ別個のチップによっても構成され、または単一チップによっても構成される。

一実施形態において、異種センサ間の互いに異なる解像度、出力速度及び映像整合に必要な領域の大きさにより、タイミング制御（timing control）を行うことができる。例えば、ＲＧＢセンサに基づく動作において、１つのＲＧＢ映像列を読み取るとき、その領域に該当するＭＳＩセンサの映像列は、すでにバッファに保存されてもおり、あるいは新たに読み取らなければならないものでもある。そのようなタイミングを計算してセンシングされた信号をリードアウト（read out）することができる。または、２つのセンサの動作は、同じ同期化（synchronization）信号を使用しても同期される。そして、２つのセンサが同位置の被写体に焦点が合わされるように焦点制御を行うことができる。

一実施形態において、ＭＳＩセンサで映像を取得するとき、全チャネル、例えば、１６個チャネルについて映像を取得するか、あるいは特定チャネルだけ選別して取得することができる。センサ画素の区間化（binning）を行うか、あるいは映像取得後、特定チャネルを選択したり合成したりすることを介し、一部所望するチャネルだけ使用することもできる。

第１メモリ３００は、第１イメージセンサ１００からリードアウトされた第１映像ＩＭ１を保存する。第２メモリ３１０は、第２イメージセンサ２００からリードアウトされた第２映像ＩＭ２を保存する。

各センサにおいて映像は、ライン単位で読み取られ、順次に保存される。第１メモリ３００及び第２メモリ３１０は、映像を各ライン単位で保存するラインメモリであるか、あるいは映像全体を保存するフレームバッファでもある。

一実施形態において、映像を出力するとき、ＲＧＢ映像だけ出力し、ＲＧＢ映像は、フレームバッファに保存し、ＭＳＩ映像は、ラインバッファに保存し、ライン単位でプロセッシングした後、該フレームバッファにあるＲＧＢ映像をアップデートすることもできる。メモリ３００及び３１０は、ＳＲＡＭ（static random access memory）、またはＤＲＡＭ（dynamic random access memory）を使用することができるが、該メモリの種類に限定があるものではない。

それぞれのメモリ３００及び３１０は、センサ外部に位置することができ、あるいはセンサ内部にも集積される。該センサ内部に集積される場合、該メモリは、センサ回路のようにも集積されるが、このとき、画素部と、その以外の部分である回路部と、メモリとをそれぞれのスタックによって構成し、２スタックに集積し、１つのチップで構成することができる。または、画素部、回路部、メモリの３層を有する３スタックで具現することもできる。

一実施形態において、第１イメージセンサと第２イメージセンサとから獲得された第１映像及び第２映像を、それぞれ異なるメモリに保存すると説明されたが、それに限定されるものではなく、１つのメモリに保存することができるということは、言うまでもない。

プロセッサ５００は、映像整合部５１０、照明推定部５２０及び色相変換部５３０を含む。図示されていないが、プロセッサ５００は、映像信号処理部（ＩＳＰ：image signal processor）をさらに含むものでもある。該映像信号処理部は、第１イメージセンサ１００及び第２イメージセンサ２００からそれぞれ映像を取得した後、それぞれのメモリに保存される前、または保存された後、基本的な映像処理を行うことができる。例えば、不良画素補正（bad pixel correction）、固定パターンノイズ補正（fixed pattern noise correction）、クロストーク低減（crosstalk reduction）、リモサイシング（remosaicing）、デモザイシング（demosaicing）、偽色低減（false color reduction）、ノイズ除去（denoising）、色収差補正（chromatic aberration correction）などを遂行することができる。

また、プロセッサ５００またはＩＳＰは、第１イメージセンサ及び第２イメージセンサに、同一映像処理を施してもよく、異なる映像処理を施してもよい。

一実施形態において、プロセッサ５００は、ホワイトバランスを正確に遂行するために、ＭＳＩセンサを使用し、照明と物体色とを分離させ、物体の正確な色相を求めた後、照明値を利用し、ＲＧＢセンサから獲得された映像の色、または整合された映像の色の色変換（color conversion）を行い、ホワイトバランスを調節する。プロセッサ５００の具体的な機能につき、さらに詳細に説明する。

映像整合部５１０は、第１イメージセンサ１００及び第２イメージセンサ２００からそれぞれ出力された第１映像ＩＭ１と第２映像ＩＭ２とを整合する。

映像整合部５１０は、第１イメージセンサ１００と第２イメージセンサ２００との相対的位置情報を活用し、第１映像ＩＭ１と第２映像ＩＭ２とを整合（image registration）することができる。映像整合部５２０は、第１イメージセンサ１００、第２イメージセンサ２００で獲得された映像の空間解像度（spatial resolution）、映像獲得に使用された光学系の画角（field of view）、焦点距離（focal length）などを考慮し、映像の各画素間位置関係を把握する。このとき、１センサ（例えば、第１または第２イメージセンサ）の映像を基準にし、他センサの映像を、その上にオーバレイ（overlay）することができる。例えば、第１イメージセンサ１００が獲得した第１映像ＩＭ１を基準にし、前記第１映像ＩＭ１の各画素につき、それに対応する第２映像ＩＭ２の画素を求めることができる。そのために、第２映像ＩＭ２の画素につき、スケール変換（scaling）、移動変換（translation）、回転変換（rotation）、アファイン変換（affine transform）、遠近変換（perspective transform）などを行うことができる。

また、第２映像ＩＭ２の一または複数の画素が、第１映像ＩＭ１の画素に対応し、第２映像ＩＭ２の複数の画素を、位置に応じた所定の比率で混合することにより、第１映像の画素に対応する第２映像ＩＭ２の画素値を生成することができる。第２映像ＩＭ２のチャネルに基づく画像を映像整合に使用してもよい。整合の精度を高めるために、サブ画素（sub-pixel）単位で整合を行うことができる。該サブ画素単位の整合においては、画素の位置は、整数に代えて、実数を用いて表現されてもよい。

映像整合部５１０は、焦点制御を介し、第１イメージセンサ１００と第２イメージセンサ２００とが同じ位置の被写体に焦点を合わせるようにし、整合の効率を高めることができる。そして、２つのセンサが同じ画角を有するようにし、映像整合遂行を、迅速であって正確に行わせる。例えば、第１イメージセンサ１００と第２イメージセンサ２００とに、光学像を形成させるためのイメージング光学系が、同じ焦点距離と、同じ画角とを有する場合、第１映像ＩＭ１と第２映像ＩＭ２とには、平行移動だけ存在し、パラメータは、第１イメージセンサ１００と第２イメージセンサ２００との相対的位置、及び各光学系の焦点距離を使用しても計算される。

第２映像ＩＭ２の空間解像度が、第１映像ＩＭ１の空間解像度より高い場合、第２映像ＩＭ２をダウンサンプリングし、映像整合を行うことができる。このとき、バイラテラルフィルタリング（bi-lateral filtering）、ガイデッドフィルタリング（guided filtering）のように、エッジ情報を考慮したフィルタリングを使用し、ダウンサンプリングすることにより、映像整合をさらに正確に行うことができる。

第２映像ＩＭ２の空間解像度が、第１映像ＩＭ１の空間解像度より低い場合、補間（interpolation）によって、第１映像の各画素位置に対応する第２映像サンプルをチャネル毎に生成することができる。同様に、バイラテラルフィルタリング、ガイデッドフィルタリングなどを用いて、エッジ情報を考慮した補間がなされてもよい。

または、第２映像ＩＭ２の空間解像度を第１映像ＩＭ１の空間解像度と同じになるように調整した後、映像整合を行うことができる。２つの映像の解像度が同一であるように、デモザイシング（demosaicing）を行うことができる。その場合、２つのイメージセンサに、光学像をそれぞれ形成させる２つの光学系が、同じ焦点距離と画角とを有せば、補間を考慮することなく、平行移動（translation）だけ考慮し、映像整合を行うことができる。例えば、第１イメージセンサ１００と第２イメージセンサ２００とが同じ焦点と、同じ画角とを有するならば、各センサを使用して取得された映像間には、平行移動だけ生じることになり、平行移動パラメータは、２センサ間の相対的位置を含むカメラ外部パラメータ（camera extrinsic parameter）と、焦点距離を含むカメラ内部パラメータ（camera intrinsic parameter）とを使用して計算することができる。

整合を行う前、第１映像ＩＭ１、第２映像ＩＭ２に含まれた収差を補正することができる。すなわち、第１映像ＩＭ１、第２映像ＩＭ２を獲得するときに使用されるイメージング光学系に含まれたレンズによる、歪曲、幾何収差、色収差のような影響を補正（correction）した後、整合を行うことができる。

映像整合部５１０は、映像内エッジ特徴（edge feature）情報を抽出し、２映像間の特徴をマッチングさせることができる。被写体の境界領域において、映像整合が食い違う場合、カラー歪曲（color distortion）が生じうるために、エッジ情報を抽出し、２映像間エッジが整列（align）されるように整合を行い、境界領域で歪曲が生じないように処理することができる。エッジ以外に、コーナー点（corner points）のような他の映像特徴を使用し、映像整合を行うことができる。

また、映像整合部５１０は、画素単位で映像整合を行う代わりに、画素グループ単位で映像整合を行うことができる。例えば、ＲＧＢ映像の画素をグループに分類した後、各グループに対応するＭＳＩ映像のグループをマッチングし、映像整合を行うことができる。

ここで、該画素グループは、一定の大きさと形態とのパターンを有することができる。該パターンは、例えば、ライン形態、または四角形のブロック形態でもある。特定例において、ＲＧＢ映像を四角形領域に分割した後、領域毎に対応するＭＳＩ領域を探した後、その領域のＭＳＩ情報を使用し、ホワイトバランスを遂行し、その結果として探した情報を使用し、当該ＲＧＢ領域映像を変換することができる。該画素グループは、前景客体（foreground object）領域と背景（background）領域とに区分されうる。該画素グループは、関心領域（ＲＯＩ：region of interest）とnon－ＲＯＩ領域とに区分されうる。また、該画素グループは、映像分割（image segmentation）または色相分布を考慮して区分されうる。

照明推定部５２０は、第２イメージセンサ２００から獲得された第２映像から照明値を推定する。照明推定部５２０は、ＭＳＩセンサの映像から、多数のチャネルからなるスペクトル情報を使用し、照明推定（illumination estimation）を行う。そのために、照明と、客体の表面反射（surface reflectance）は、スペクトル分解（spectral decomposition）を介し、照明（Ｅ）は、次の数式２により、物体の色相（Ｓ）は、次の数式３によって表現することができる。

この二つの積が色相を示し、第２イメージセンサ２００を介してセンシングされた値は、次の数式４－１、４－２のように表現することができる。

ここで、ｍとｎは、それぞれ照明と物体色相とのスペクトルをスペクトル分解したときに使用した基底ベクトル（basis vector）の数であり、ｘは、空間位置（spatial position）を示し、ｋは、チャネルインデックス（index）を示す。そのような線形方程式につき、非線形最適化（non-linear optimization）技法などを使用して解を求め、照明のスペクトルを推定することができる。

また、選択的には、照明推定部５２０は、ニューラルネットワークを使用し、照明推定を行うことができる。既定の照明値に係わるＭＳＩセンサ映像を学習させ、ニューラルネットワークを構築し、照明推定を行う。学習された後には、ニューラルネットワークの入力として、ＭＳＩセンサ映像を得て、出力として、照明値を得る。

照明推定部５２０は、映像を画素グループに分割し、領域毎に、照明推定を行うことができる。このとき、使用する画素グループは、映像整合部５１０で使用する画素グループのような画素グループを使用することができる。

照明推定部５２０は、照明推定を行った結果を、波長による照明の関数で示しうる。または、事前に定義された基本関数（basis function）につき、波長による照明の関数をスペクトル分解したとき、各基本関数の係数（coefficient）でもっても示される。また、照明の色温度（color temperature）インデックスでもっても示される。ここで、該色温度は、光源の光を数値的に表示する方法であり、表示単位は、Ｋ（Kelvin）を使用する。該色温度は、照明の種類によって異なり、該色温度が低いほど、赤色を帯び、該色温度が高いほど、青色を帯びることになる。

また、事前に波長による照明の関数集合を定義し、そのうち、最も近似した関数のインデックスを出力することができる。ニューラルネットワークを使用する場合にも、そのように出力を定義し、定められた出力について学習を遂行し、ニューラルネットワークを構成することができる。

また、照明推定部５２０は、第１イメージセンサから獲得された第１映像と、第２イメージセンサから獲得された第２映像とをいずれも使用し、照明推定を行うことができる。このとき、第１映像と第２映像とをそれぞれ別途に使用して照明推定を行った後、それぞれの結果を混合することもできる。

または、多重チャネルを使用し、照明推定を行うとき、第２映像のチャネルと、第１映像のチャネルとをいずれも考慮し、照明推定を行うことができる。

また、ニューラルネットワークを使用する場合、特定照明に係わる第１映像、すなわち、ＲＧＢ映像と、第２映像、すなわち、ＭＳＩ映像との反応をいずれも考慮し、学習させることができる。その場合、ニューラルネットワークの入力は、ＲＧＢ映像とＭＳＩ映像とになり、出力は、推定された照明値になる。

色相変換部５３０は、映像整合部５１０で整合された映像について、照明推定部５２０で推定された照明値を利用して色変換を行う。

色相変換部５３０は、映像整合部５１０及び照明推定部５２０で使用された画素グループ毎に、カラーマッピングを行う。ここで、該カラーマッピングの入力は、各画素のＲ，Ｇ，Ｂ値であり、出力は、入力値が照明を考慮して補正されたＲ’，Ｇ’，Ｂ’値である。入力ベクトルＩ＝［ＲＧＢ］^Ｔを、出力ベクトルＩ’＝［Ｒ’Ｇ’Ｂ’］^Ｔに変換するための方法として、３×３マトリックス演算でもあり、次の数式５の通りである。

ここで、Ｍは、Ｒ、Ｇ、Ｂを独立させて考慮した対角行列（diagonal matrix）でもある。または、Ｒ、Ｇ、Ｂを混合し、Ｒ’、Ｇ’、Ｂ’を生成する非対角行列（non-diagonal matrix）でもある。または、３×３行列以外に、Ｒ、Ｇ、Ｂ間の交差項（cross-term）を考慮するか、あるいは二次項を考慮した行列でもある。その場合、入力ベクトルＩは、Ｒ、Ｇ、Ｂ以外に、交差項または二次項を含んで構成される。そのような行列は、色温度により、既定の行列を使用することができる。または、既定の照明関数に係わるインデックスによって定められた行列を使用することができる。または、さらに正確な結果を得るために、照明関数を使用し、非線形最適化を行い、最適化された行列を作ることもできる。

色相変換部５３０は、領域毎に色相を変換した後、互いに隣接した領域において、境界欠陥（boundary artifact）が生じないようにすることができる。そのために、隣接した領域間に、照明関数差が既定値より大きくないようにする。また、色相変換を行った後、境界領域について後処理を介し、色相変換がソフトになるようにすることもできる。

図３は、一実施形態による映像獲得装置の概略的な構造を示す概念図であり、図４は、一実施形態による映像獲得装置に具備される第１イメージセンサ、第２イメージセンサの回路構成を示す。

映像獲得装置１０００は、第１波長帯域に基づく第１映像ＩＭ１を獲得する第１イメージセンサ１００、第２波長帯域に基づく第２映像ＩＭ２を獲得する第２イメージセンサ２００、並びに第１映像ＩＭ１及び第２映像ＩＭ２を信号処理し、第３映像を生成するプロセッサ５００を含む。映像獲得装置１０００は、また、第１映像ＩＭ１に係わるデータが保存される第１メモリ３００と、第２映像ＩＭ２に係わるデータが保存される第２メモリ３１０と、をさらに含み、映像を出力する映像出力部７００をさらに含むものでもある。

映像獲得装置１０００は、また、第１イメージセンサ１００に、被写体ＯＢＪの光学像を形成する第１イメージング光学系１９０と、第２イメージセンサ２００に、被写体ＯＢＪの光学像を形成する第２イメージング光学系２９０と、を含むものでもある。第１イメージング光学系１９０及び第２イメージング光学系２９０は、それぞれ１つのレンズを含むように図示されているが、それは、例示的なものであり、それに限定されるものではない。第１イメージング光学系１９０及び第２イメージング光学系２９０は、同じ焦点距離と、同じ画角とを有するようにも構成され、その場合、第３映像ＩＭ３を形成するために、第１映像ＩＭ１と第２映像ＩＭ２とを整合する過程が、さらに容易でもある。ただし、それに限定されるものではない。

第１イメージセンサ１００は、第１画素アレイＰＡ１を含み、第１画素アレイＰＡ１は、複数の第１センシング要素がアレイされた第１センサ層１１０と、第１センサ層１１０上に配されたカラーフィルタ１２０と、を含む。カラーフィルタ１２０は、交互配列された赤色フィルタ、緑色フィルタ、青色フィルタを含むものでもある。第１画素アレイＰＡ１上には、第１マイクロレンズアレイ１３０が配されうる。第１画素アレイＰＡ１に適用される画素配列の多様な例示は、図５ないし図８を参照して後述する。

第２イメージセンサ２００は、第２画素アレイＰＡ２を含み、第２画素アレイＰＡ２は、複数の第２センシング要素がアレイされた第２センサ層２１０と、第２センサ層２１０上に配された分光フィルタ２２０と、を含む。分光フィルタ２２０は、複数のフィルタグループを含み、複数のフィルタグループそれぞれは、透過波長帯域が異なる複数のユニットフィルタによってもなる。分光フィルタ２２０は、カラーフィルタ１２０より広い波長帯域、例えば、紫外線波長範囲または赤外線波長範囲の波長帯域を、カラーフィルタ１２０より細分してフィルタリングするようにも構成される。第２画素アレイＰＡ２上には、第２マイクロレンズアレイ２３０が配されうる。第２画素アレイＰＡ２に適用される画素配列の例示は、図１０ないし図１２を参照して後述する。

第１センサ層１１０、第２センサ層２１０は、ＣＣＤ（charge coupled device）センサまたはＣＭＯＳセンサを含むが、それらに限定されるものではない。

第１画素アレイＰＡ１と第２画素アレイＰＡ２は、同じ回路基板ＳＵ上に水平に、例えば、Ｘ方向に離隔されても配される。

回路基板ＳＵには、第１センサ層１１０からの信号を処理する第１回路要素と、第２センサ層２１０からの信号を処理する第２回路要素と、が具備されうる。ただし、それに限定されるものではなく、第１回路要素及び第２回路要素は、それぞれ別途の基板に具備されることも可能である。

第１映像ＩＭ１及び第２映像ＩＭ２に係わるデータが保存される第１メモリ３００及び第２メモリ３１０は、回路基板ＳＵと別個に図示されているが、それは例示的なものであり、回路基板ＳＵ内に、回路要素のような層、または別途の層に区分されても配される。

第１メモリ３００及び第２メモリ３１０は、映像をライン単位で保存するラインメモリでもあり、映像全体を保存するフレームバッファでもある。第１メモリ３００及び第２メモリ３１０には、ＳＲＡＭまたはＤＲＡＭが使用されうる。

回路基板ＳＵに、映像獲得装置１０００に必要な多様な回路要素が集積配置されうる。例えば、多様なアナログ回路、デジタル回路を含むロジックレイヤが具備され、データが保存されるメモリレイヤが具備されうる。該ロジックレイヤードとメモリレイヤは、他層に構成されるか、あるいは同じ層にも構成される。

図４を参照すれば、第１画素アレイＰＡ１に、ロウデコーダ１０２、出力回路１０３、タイミングコントローラ（ＴＣ）１０１が連結される。ロウデコーダ１０２は、タイミングコントローラ１０１から出力されたロウアドレス信号に応答し、第１画素アレイＰＡ１のロウ一つを選択する。出力回路１０３は、選択されたロウに沿って配列された複数の画素から、カラム単位で光感知信号を出力する。そのために、出力回路１０３は、カラムデコーダとアナログ・デジタル変換器（ＡＤＣ：analog to digital converter）を含むものでもある。例えば、出力回路１０３は、カラムデコーダと第１画素アレイＰＡ１との間において、カラム別にそれぞれ配された複数のＡＤＣ、またはカラムデコーダの出力端に配された１つのＡＤＣを含むものでもある。タイミングコントローラ１０１、ロウデコーダ１０２及び出力回路１０３は、１つのチップ、またはそれぞれ別個のチップによっても具現される。例示された回路要素の少なくとも一部が、図３の回路基板ＳＵに具備されうる。出力回路１０３を介して出力された第１映像ＩＭ１を処理するためのプロセッサが、タイミングコントローラ１０１、ロウデコーダ１０２及び出力回路１０３と共に、１つのチップによっても具現される。

第２画素アレイＰＡ２にも、ロウデコーダ２０２、出力回路２０３、タイミングコントローラ（ＴＣ）２０１が連結され、前述のところと類似して、第２画素アレイＰＡ２からの信号が処理されうる。また、出力回路２０３を介して出力された第２映像ＩＭ２を処理するためのプロセッサが、タイミングコントローラ２０１、ロウデコーダ２０２及び出力回路２０３と共に、１つのチップによっても具現される。

第１画素アレイＰＡ１及び第２画素アレイＰＡ２は、画素サイズ、個数が同じように図示されているが、それは、便宜上の例示であり、それに限定されるものではない。

互いに異なる種類の２つのセンサを動作させるにあたり、互いに異なる解像度、出力速度及び映像整合に必要な領域の大きさにより、タイミング制御が必要にもなる。例えば、第１イメージセンサ１００を基準に、１つの映像列を読み取るとき、その領域に対応する第２イメージセンサ２００の映像列は、すでにバッファに保存されてもあり、あるいは新たに読み取らなければないないものでもある。または、第１イメージセンサ１００、第２イメージセンサ２００の動作は、同じ同期信号を使用し、同期化されうる。例えば、タイミングコントローラ４００がさらに具備され、第１イメージセンサ１００、第２イメージセンサ２００に同期信号（ｓｙｎｃ．）を伝送することもできる。

図５は、一実施形態による映像獲得装置に具備される第１イメージセンサによる波長スペクトルを示し、図６ないし図８は、一実施形態による映像獲得装置に具備される第１イメージセンサの例示的な画素配列を示す。

図６を参照すれば、第１画素アレイＰＡ１に具備されるカラーフィルタ１２０には、赤色（Ｒ），緑色（Ｇ），青色（Ｂ）波長帯域をフィルタリングするフィルタが、ベイヤーパターン（Bayer pattern）に配列されている。すなわち、１つの単位画素は、２×２アレイに配列されたサブ画素を含み、複数の単位画素が二次元的に反復配列される。単位画素の１行に、赤色フィルタ、緑色フィルタが配され、２行に、緑色フィルタ、青色フィルタが配される。画素配列は、ベイヤーパターン以外に、他の方式でも可能である。

例えば、図７を参照すれば、マゼンタ（magenta）画素（Ｍ）、シアン（cyan）画素（Ｃ）、イエロー（yellow）画素（Ｙ）及び緑色画素（Ｇ）が、１つの単位画素を構成するＣＹＧＭ方式の配列も可能である。また、図８を参照すれば、緑色画素（Ｇ）、赤色画素（Ｒ）、青色画素（Ｂ）及び白色画素（Ｗ）が１つの単位画素を構成するＲＧＢＷ方式の配列も可能である。また、図示されていないが、単位画素が３×２アレイ形態を有することもできる。それ以外にも、第１画素アレイＰＡ１の画素は、第１イメージセンサ１００の色特性により、多様な方式に配列されうる。

図９は、一実施形態による映像獲得装置に具備される第２イメージセンサによる波長スペクトルを示し、図１０ないし図１２は、一実施形態による映像獲得装置の第２イメージセンサの例示的な画素配列を示す。

図１０を参照すれば、第２画素アレイＰＡ２に具備される分光フィルタ２２０は、二次元形態に配列される複数のフィルタグループ２２１を含むものでもある。ここで、各フィルタグループ２２１は、４×４アレイ形態に配列される１６個のユニットフィルタＦ１～Ｆ１６を含むものでもある。

第１ユニットフィルタＦ１及び第２ユニットフィルタＦ２は、紫外線領域の中心波長ＵＶ１，ＵＶ２を有することができ、第３ユニットフィルタＦ３ないし第５ユニットフィルタＦ５は、青色光領域の中心波長Ｂ１～Ｂ３を有することができる。第６ユニットフィルタＦ６ないし第１１ユニットフィルタＦ１１は、緑色光領域の中心波長Ｇ１～Ｇ６を有することができ、第１２ユニットフィルタＦ１２ないし第１４ユニットフィルタＦ１４は、赤色光領域の中心波長Ｒ１～Ｒ３を有することができる。そして、第１５ユニットフィルタＦ１５及び第１６ユニットフィルタＦ１６は、近赤外線領域の中心波長ＮＩＲ１，ＮＩＲ２を有することができる。

図１１は、分光フィルタ２２０に具備される他例のフィルタグループ２２２一つに係わる平面図を図示している。図１１を参照すれば、フィルタグループ２２２は、３×３アレイ形態に配列される９個のユニットフィルタＦ１～Ｆ９を含むものでもある。ここで、第１ユニットフィルタＦ１及び第２ユニットフィルタＦ２は、紫外線領域の中心波長ＵＶ１，ＵＶ２を有することができ、第４ユニットフィルタＦ４、第５ユニットフィルタＦ５及び第７ユニットフィルタＦ７は、青色光領域の中心波長Ｂ１～Ｂ３を有することができる。第３ユニットフィルタＦ３及び第６ユニットフィルタＦ６は、緑色光領域の中心波長Ｇ１，Ｇ２を有することができ、第８ユニットフィルタＦ８及び第９ユニットフィルタＦ９は、赤色光領域の中心波長Ｒ１，Ｒ２を有することができる。

図１２は、分光フィルタ２２０に具備される他例のフィルタグループ２２３一つに係わる平面図を図示している。図１２を参照すれば、フィルタグループ２２３は、５×５アレイ形態に配列される２５個のユニットフィルタＦ１～Ｆ２５を含むものでもある。ここで、第１ユニットフィルタＦ１ないし第３ユニットフィルタＦ３は、紫外線領域の中心波長ＵＶ１～ＵＶ３を有することができ、第６ユニットフィルタＦ６、第７ユニットフィルタＦ７、第８ユニットフィルタＦ８、第１１ユニットフィルタＦ１１及び第１２ユニットフィルタＦ１２は、青色光領域の中心波長Ｂ１～Ｂ５を有することができる。第４ユニットフィルタＦ４、第５ユニットフィルタＦ５及び第９ユニットフィルタＦ９は、緑色光領域の中心波長Ｇ１～Ｇ３を有することができ、第１０ユニットフィルタＦ１０、第１３ユニットフィルタＦ１３、第１４ユニットフィルタＦ１４、第１５ユニットフィルタＦ１５、第１８ユニットフィルタＦ１８及び第１９ユニットフィルタＦ１９は、赤色光領域の中心波長Ｒ１～Ｒ６を有することができる。そして、第２０ユニットフィルタＦ２０、第２３ユニットフィルタＦ２３、第２４ユニットフィルタＦ２４及び第２５ユニットフィルタＦ２５は、近赤外線領域の中心波長ＮＩＲ１～ＮＩＲ４を有することができる。

分光フィルタ２２０に具備される前述のユニットフィルタは、２つの反射板を有する共振構造を有することができ、該共振構造の特性により、透過される波長帯域が決定されうる。該反射板の材質、及びキャビティ内誘電物質の材質、キャビティ厚により、透過波長帯域が調節されうる。それ以外にも、格子（grating）を活用した構造、ＤＢＲ（distributed Bragg reflector）を活用した構造などがユニットフィルタに適用されうる。

それ以外にも、第２画素アレイＰＡ２の画素は、第２イメージセンサ２００の色特性により、多様な方式にも配列される。

図１３は、他の実施形態による映像獲得装置の制御方法について概略的に説明するフローチャートである。

図１３を参照すれば、段階１３００において、第１映像及び第２映像を獲得する。ここで、該第１映像は、一般的なＲＧＢセンサ、またはＣＭＯＳイメージセンサから獲得されたＲＧＢ映像である。該第２映像は、ＭＳＩセンサから獲得された映像である。該第２映像は、該第１映像より広い波長帯域を有することができる。また、該第２映像は、該第１映像の３個チャネル、Ｒ，Ｇ，、Ｂチャネルより多数のチャネルを有する映像である。

段階１３０２において、第１映像の領域を分割する。ここで、該領域分割は、第１映像の画素グループでもあり、所定の大きさと形態とのパターンを有することができる。そのようなパターンは、ラインまたは四角形でもある。また、該画素グループは、前景と背景とに区分されるか、あるいはＲＯＩとｎｏｎ－ＲＯＩとにも区分される。

段階１３０４において、第１映像のそれぞれの領域に対応する第２映像の領域を区分する。段階１３０２において、第１映像で分割された領域に対応する第２映像の領域を区分する。また、第１映像と第２映像との映像整合を介し、ある１映像に整合された他の映像をオーバレイすることができる。また、段階１３０２及び段階１３０４を介して分割された領域単位において、映像整合を行い、オーバレイを行うこともできる。段階１３０２及び段階１３０４において、画素グループ単位で映像整合を行うように説明されるが、それに限定されるものではなく、画素単位またはサブ画素単位で映像整合を行うことができるということは、言うまでもない。

段階１３０６において、第２映像のそれぞれの領域に係わる照明値を推定する。ＭＳＩセンサから獲得された第２映像において、多数のチャネルからなるスペクトル情報を利用して照明値を推定する。ここで、段階１３０２及び段階１３０４において、第２映像で分割されたそれぞれの領域について照明値を推定する。

段階１３０８において、第１映像のそれぞれの領域に推定された照明値を利用し、色変換を行う。ここで、該第１映像は、段階１３００において、ＲＧＢセンサまたはＣＭＯＳイメージセンサから獲得されたＲＧＢ映像であるか、あるいは段階１３０２及び段階１３０４において、第１映像と第２映像とを整合した整合映像でもある。

一実施形態による映像獲得装置の制御方法は、ＲＧＢセンサとＭＳＩセンサとを使用し、ＲＧＢカメラに撮影される映像についてホワイトバランスを遂行する。該ホワイトバランスを正確に遂行するために、ＭＳＩセンサを使用し、照明と、物体の色とを分離し、物体の正確な色相を探した後、その情報を使用し、ＲＧＢ映像についてカラーマッピングし、ホワイトバランスを遂行する。

前述の映像獲得装置１０００は、多様な高性能光学装置、または高性能電子装置にも採用される。そのような電子装置は、例えば、スマートフォン、携帯電話、ハンドフォン、ＰＤＡ（personal digital assistant）、ラップトップ（laptop）、ＰＣ（personal computer）、多様な携帯機器、家電製品、保安カメラ、医療用カメラ、自動車、事物インターネット（ＩｏＴ：internet of things）機器、その他のモバイルまたは非モバイルのコンピューティング装置でもあるが、それらに制限されるものではない。

該電子装置は、映像獲得装置１０００以外にも、それに具備されたイメージセンサを制御するプロセッサ、例えば、アプリケーションプロセッサ（ＡＰ：application processor）をさらに含み、該プロセッサを介し、オペレーティングシステム（ＯＳ）または応用プログラムを駆動し、多数のハードウェア構成要素またはソフトウェア構成要素を制御することができ、各種のデータ処理及び演算を行うことができる。該プロセッサは、ＧＰＵ（graphics processing unit）及び／またはイメージ信号プロセッサ（image signal processor）をさらに含むものでもある。該プロセッサにイメージ信号プロセッサが含まれる場合、イメージセンサによって獲得されたイメージ（または、映像）を、プロセッサを利用し、保存及び／または出力することができる。

図１４は、一実施形態による電子装置の概略的な構造を示すブロック図である。図１４を参照すれば、ネットワーク環境ＥＤ００において電子装置ＥＤ０１は、第１ネットワークＥＤ９８（近距離無線通信ネットワークなど）を介し、他の電子装置ＥＤ０２と通信するか、あるいは第２ネットワークＥＤ９９（遠距離無線通信ネットワークなど）を介し、さらに他の電子装置ＥＤ０４及び／またはサーバＥＤ０８と通信することができる。電子装置ＥＤ０１は、サーバＥＤ０８を介し、電子装置ＥＤ０４と通信することができる。電子装置ＥＤ０１は、プロセッサＥＤ２０、メモリＥＤ３０、入力装置ＥＤ５０、音響出力装置ＥＤ５５、表示装置ＥＤ６０、オーディオモジュールＥＤ７０、センサモジュールＥＤ７６、インターフェースＥＤ７７、ハプティックモジュールＥＤ７９、カメラモジュールＥＤ８０、電力管理モジュールＥＤ８８、バッテリＥＤ８９、通信モジュールＥＤ９０、加入者識別モジュールＥＤ９６及び／またはアンテナモジュールＥＤ９７を含むものでもある。電子装置ＥＤ０１には、該構成要素のうち一部（表示装置ＥＤ６０など）が省略されるか、あるいは他の構成要素が追加されうる。該構成要素のうち一部は、１つの統合された回路によっても具現される。例えば、センサモジュールＥＤ７６（指紋センサ、虹彩センサ、照度センサなど）は、表示装置ＥＤ６０（ディスプレイなど）に埋め込まれても具現される。また、イメージセンサ１０００に分光機能が含まれる場合、センサモジュールの一部機能（カラーセンサ、照度センサ）が、別途のセンサモジュールではなく、イメージセンサ１０００自体によっても具現される。

プロセッサＥＤ２０は、ソフトウェア（プログラムＥＤ４０など）を実行し、プロセッサＥＤ２０に連結された電子装置ＥＤ０１のうち、１または複数個の他の構成要素（ハードウェア構成要素、ソフトウェア構成要素など）を制御することができ、多様なデータ処理または演算を行うことができる。該データ処理または該演算の一部として、プロセッサＥＤ２０は、他の構成要素（センサモジュールＥＤ７６、通信モジュールＥＤ９０など）から受信された命令及び／またはデータを、揮発性メモリＥＤ３２にロードし、揮発性メモリＥＤ３２に保存された命令及び／またはデータを処理し、結果データを、不揮発性メモリＥＤ３４に保存することができる。プロセッサＥＤ２０は、メインプロセッサＥＤ２１（中央処理装置、アプリケーションプロセッサなど）、及びそれと独立し、または共に運用可能な補助プロセッサＥＤ２３（グラフィック処理装置、イメージシグナルプロセッサ、センサハブプロセッサ、コミュニケーションプロセッサなど）を含むものでもある。補助プロセッサＥＤ２３は、メインプロセッサＥＤ２１より電力を少なく使用し、特化された機能を遂行することができる。

補助プロセッサＥＤ２３は、メインプロセッサＥＤ２１が、インアクティブ状態（スリープ状態）にある間、メインプロセッサＥＤ２１の代わりを行い、あるいはメインプロセッサＥＤ２１がアクティブ状態（アプリケーション実行状態）にある間、メインプロセッサＥＤ２１と共に、電子装置ＥＤ０１の構成要素のうち一部構成要素（表示装置ＥＤ６０、センサモジュールＥＤ７６、通信モジュールＥＤ９０など）と係わる機能及び／または状態を制御することができる。補助プロセッサＥＤ２３（イメージシグナルプロセッサ、コミュニケーションプロセッサなど）は、機能的に関連する他の構成要素（カメラモジュールＥＤ８０、通信モジュールＥＤ９０など）の一部としても具現される。

メモリＥＤ３０は、電子装置ＥＤ０１の構成要素（プロセッサＥＤ２０、センサモジュールＥＤ７６など）が必要とする多様なデータを保存することができる。該データは、例えば、ソフトウェア（プログラムＥＤ４０など）、及びそれと係わる命令に対する入力データ及び／または出力データを含むものでもある。メモリＥＤ３０は、揮発性メモリＥＤ３２及び／または不揮発性メモリＥＤ３４を含むものでもある。不揮発性メモリＥＤ３２は、電子装置ＥＤ０１内に固定装着された内蔵メモリＥＤ３６と、脱着可能な外装メモリＥＤ３８と、を含むものでもある。

プログラムＥＤ４０は、メモリＥＤ３０に、ソフトウェアとして保存され、オペレーティングシステムＥＤ４２、ミドルウェアＥＤ４４及び／またはアプリケーションＥＤ４６を含むものでもある。

入力装置ＥＤ５０は、電子装置ＥＤ０１の構成要素（プロセッサＥＤ２０など）に使用される命令及び／またはデータを、電子装置ＥＤ０１の外部（ユーザなど）から受信することができる。入力装置ＥＤ５０は、マイク、マウス、キーボード及び／またはデジタルペン（スタイラスペンなど）を含むものでもある。

音響出力装置ＥＤ５５は、音響信号を、電子装置ＥＤ０１の外部に出力することができる。音響出力装置ＥＤ５５は、スピーカ及び／またはレシーバを含むものでもある。該スピーカは、マルチメディア再生または録音再生のように、一般的な用途としても使用され、該レシーバは、着信電話を受信するためにも使用される。該レシーバは、スピーカの一部に結合されているか、あるいは独立した別途の装置としても具現される。

表示装置ＥＤ６０は、電子装置ＥＤ０１の外部に情報を視覚的に提供することができる。表示装置ＥＤ６０は、ディスプレイ、ホログラム装置またはプロジェクタ、及び当該装置を制御するための制御回路を含むものでもある。表示装置ＥＤ６０は、タッチを感知するように設定されたタッチ回路（touch circuitry）、及び／またはタッチによって生じる力の強さを測定するように設定されたセンサ回路（圧力センサなど）を含むものでもある。

オーディオモジュールＥＤ７０は、音を電気信号に変換させるか、あるいは反対に電気信号を音に変換させることができる。オーディオモジュールＥＤ７０は、入力装置ＥＤ５０を介し、音を獲得するか、あるいは音響出力装置ＥＤ５５及び／または電子装置ＥＤ０１と、直接または無線で連結された他の電子装置（電子装置ＥＤ０２など）のスピーカ及び／またはヘッドホーンを介し、音を出力することができる。

センサモジュールＥＤ７６は、電子装置ＥＤ０１の作動状態（電力、温度など）、または外部の環境状態（ユーザ状態など）を感知し、感知された状態に対応する電気信号及び／またはデータ値を生成することができる。センサモジュールＥＤ７６は、ジェスチャセンサ、ジャイロセンサ、気圧センサ、マグネチックセンサ、加速度センサ、グリップセンサ、近接センサ、カラーセンサ、ＩＲ（infrared）センサ、生体センサ、温度センサ、湿度センサ及び／または照度センサを含むものでもある。

インターフェースＥＤ７７は、電子装置ＥＤ０１が、他の電子装置（電子装置ＥＤ０２など）と直接または無線で連結されるために使用されうる１または複数の指定されたプロトコルを支援することができる。インターフェースＥＤ７７は、ＨＤＭＩ（登録商標、high definition multimedia interface）、ＵＳＢ（universal serial bus）インターフェース、ＳＤカードインターフェース及び／またはオーディオインターフェースを含むものでもある。

連結端子ＥＤ７８は、電子装置ＥＤ０１が、他の電子装置（電子装置ＥＤ０２など）と物理的に連結されうるコネクタを含むものでもある。連結端子ＥＤ７８は、ＨＤＭＩコネクタ、ＵＳＢコネクタ、ＳＤカードコネクタ及び／またはオーディオコネクタ（ヘッドホーンコネクタなど）を含むものでもある。

ハプティックモジュールＥＤ７９は、電気的信号を、ユーザが触覚または運動感覚を介して認知することができる機械的な刺激（振動、動きなど）、または電気的な刺激に変換することができる。ハプティックモジュールＥＤ７９は、モータ、圧電素子及び／または電気刺激装置を含むものでもある。

カメラモジュールＥＤ８０は、静止映像及び動画を撮影することができる。カメラモジュールＥＤ８０は、前述の映像獲得装置１０００を含み、さらなるレンズアセンブリイメージシグナルプロセッサ及び／またはフラッシュを含むものでもある。カメラモジュールＥＤ８０に含まれたレンズアセンブリは、イメージ撮影の対象である被写体から放出される光を収集することができる。

電力管理モジュールＥＤ８８は、電子装置ＥＤ０１に供給される電力を管理することができる。電力管理モジュールＥＤ８８は、ＰＭＩＣ（power management integrated circuit）の一部としても具現される。

バッテリＥＤ８９は、電子装置ＥＤ０１の構成要素に電力を供給することができる。バッテリＥＤ８９は、再充電不可能な一次電池、再充電可能な二次電池、及び／または燃料電池を含むものでもある。

通信モジュールＥＤ９０は、電子装置ＥＤ０１と、他の電子装置（電子装置ＥＤ０２、電子装置ＥＤ０４、サーバＥＤ０８など）との直接（有線）通信チャネル及び／または無線通信チャネルの樹立、及び樹立された通信チャネルを介する通信遂行を支援することができる。通信モジュールＥＤ９０は、プロセッサＥＤ２０（アプリケーションプロセッサなど）と独立して運用され、直接通信及び／または無線通信を支援する１または複数のコミュニケーションプロセッサを含むものでもある。通信モジュールＥＤ９０は、無線通信モジュールＥＤ９２（セルラ通信モジュール、近距離無線通信モジュール、ＧＮＳＳ（global navigation satellite system）など）通信モジュール）及び／または有線通信モジュールＥＤ９４（ＬＡＮ（local area network）通信モジュール、電力線通信モジュールなど）を含むものでもある。それら通信モジュールのうち当該通信モジュールは、第１ネットワークＥＤ９８（ブルートゥース（登録商標）、Ｗｉ－Ｆｉ（wireless fidelity） directまたはＩｒＤＡ（infrared data association）のような近距離通信ネットワーク）または第２ネットワークＥＤ９９（セルラネットワーク、インターネットまたはコンピュータネットワーク（ＬＡＮ、ＷＡＮなど）のような遠距離通信ネットワーク）を介し、他の電子装置と通信することができる。そのようなさまざまな種類の通信モジュールは、１つの構成要素（単一チップなど）に統合されるか、あるいは互いに別途の複数の構成要素（複数チップ）によっても具現される。無線通信モジュールＥＤ９２は、加入者識別モジュールＥＤ９６に保存された加入者情報（国際モバイル加入者識別子（ＩＭＳＩ）など）を利用し、第１ネットワークＥＤ９８及び／または第２ネットワークＥＤ９９のような通信ネットワーク内において、電子装置ＥＤ０１を確認及び認証することができる。

アンテナモジュールＥＤ９７は、信号及び／または電力を、外部（他の電子装置など）に送信するか、あるいは外部から受信することができる。アンテナは、基板（ＰＣＢ（printed circuit board）など）上に形成された導電性パターンによってなる放射体を含むものでもある。アンテナモジュールＥＤ９７は、１または複数のアンテナを含むものでもある。複数のアンテナが含まれた場合、通信モジュールＥＤ９０により、複数のアンテナのうち、第１ネットワークＥＤ９８及び／または第２ネットワークＥＤ９９のような通信ネットワークで使用される通信方式に適するアンテナが選択されうる。選択されたアンテナを介し、通信モジュールＥＤ９０と、他の電子装置との間において、信号及び／または電力が送信されるか、あるいは受信されうる。アンテナ以外に、他の部品（ＲＦＩＣ（radio frequency integrated circuit）など）がアンテナモジュールＥＤ９７の一部としても含まれる。

構成要素のうち一部は、周辺機器間の通信方式（バス、ＧＰＩＯ（general purpose input and output）、ＳＰＩ（serial peripheral interface）、ＭＩＰＩ（mobile industry processor interface）など）を介して互いに連結され、信号（命令、データなど）を相互交換することができる。

命令またはデータは、第２ネットワークＥＤ９９に連結されたサーバＥＤ０８を介し、電子装置ＥＤ０１と、外部の電子装置ＥＤ０４との間において、送信または受信されうる。他の電子装置ＥＤ０２，ＥＤ０４は、電子装置ＥＤ０１と同一であるか、あるいは異なる種類の装置でもある。電子装置ＥＤ０１で実行される動作の全部または一部は、他の電子装置ＥＤ０２，ＥＤ０４，ＥＤ０８のうち、１または複数の装置で実行されうる。例えば、電子装置ＥＤ０１がある機能やサービスを遂行しなければならないとき、機能またはサービスを、自主的に実行させる代わりに、１または複数の他の電子装置に、その機能またはそのサービスの一部、または全体を遂行するように要請することができる。要請を受信した１または複数の他の電子装置は、要請と係わる追加機能またはサービスを実行し、その実行結果を、電子装置ＥＤ０１に伝達することができる。そのために、クラウドコンピューティング、分散コンピューティング及び／またはクライアント・サーバコンピューティング技術が利用されうる。

図１５は、図１４の電子装置に具備されるカメラモジュールＥＤ８０を概略的に例示したブロック図である。カメラモジュールＥＤ８０は、前述の映像獲得装置１０００を含むか、あるいはそこから変形された構造を有することができる。図１５を参照すれば、カメラモジュールＥＤ８０は、レンズアセンブリＣＭ１０、フラッシュＣＭ２０、イメージセンサＣＭ３０、イメージスタビライザＣＭ４０、メモリＣＭ５０（バッファメモリなど）及び／またはイメージシグナルプロセッサ（ＩＳＰ）ＣＭ６０を含むものでもある。

イメージセンサＣＭ３０は、前述の映像獲得装置１０００に具備される第１イメージセンサ１００、第２イメージセンサ２００を含むものでもある。第１イメージセンサ１００、第２イメージセンサ２００は、被写体から放出または反射され、レンズアセンブリＣＭ１０を介して伝達された光を電気的な信号に変換することにより、被写体に対応するイメージを獲得することができる。第１イメージセンサ１００は、ＲＧＢ映像を獲得し、第２イメージセンサ２００は、紫外線波長範囲または赤外線波長範囲の超分光映像を獲得することができる。

イメージセンサＣＭ３０は、前述の第１イメージセンサ１００、第２イメージセンサ２００以外にも、他のＲＧＢセンサ、ＢＷ（black and white）センサ、ＩＲセンサまたはＵＶ（ultraviolet)センサのように、属性が異なるイメージセンサのうちから選択された１または複数のセンサをさらに含むものでもある。イメージセンサＣＭ３０に含まれたそれぞれのセンサは、ＣＣＤ（charge coupled device）センサ及び／またはＣＭＯＳ（complementary metal oxide semiconductor）センサでもっても具現される。

レンズアセンブリＣＭ１０は、イメージ撮影の対象である被写体から放出される光を収集することができる。カメラモジュールＥＤ８０は、複数のレンズアセンブリＣＭ１０を含み、そのような場合、カメラモジュールＥＤ８０は、デュアルカメラ、３６０°カメラまたは球形カメラ（spherical camera）にもなる。複数のレンズアセンブリＣＭ１０のうち一部は、同一レンズ属性（画角、焦点距離、自動焦点、Ｆ値（Ｆ number）、光学ズームなど）を有するか、あるいは他のレンズ属性を有することができる。レンズアセンブリＣＭ１０は、広角レンズまたは望遠レンズを含むものでもある。

レンズアセンブリＣＭ１０は、イメージセンサＣＭ３０に具備される２つのイメージセンサが、同じ位置の被写体の光学像を形成するようにも構成され、かつ／あるいはフォーカス制御されうる。

フラッシュＣＭ２０は、被写体から放出または反射される光を強化させるために使用される光を放出することができる。フラッシュＣＭ２０は、１または複数の発光ダイオード（ＲＧＢ（red-green-blue） ＬＥＤ、white ＬＥＤ、infrared ＬＥＤ、ultraviolet ＬＥＤなど）及び／またはキセノンランプを含むものでもある。

イメージスタビライザＣＭ４０は、カメラモジュールＥＤ８０、またはそれを含む電子装置ＣＭ０１の動きに反応し、レンズアセンブリＣＭ１０に含まれた１または複数個のレンズ、またはイメージセンサ１０００を、特定方向に動かすか、あるいはイメージセンサ１０００の動作特性を制御（リードアウト（read-out）タイミングの調整など）し、動きによる否定的な影響が補償されるようにする。イメージスタビライザＣＭ４０は、カメラモジュールＥＤ８０の内部または外部に配されたジャイロセンサ（図示せず）または加速度センサ（図示せず）を利用し、カメラモジュールＥＤ８０または電子装置ＥＤ０１の動きを感知することができる。イメージスタビライザＣＭ４０は、光学式にも具現される。

メモリＣＭ５０は、イメージセンサ１０００を介して獲得されたイメージの一部データまたは全体データが、次のイメージ処理作業のために保存することができる。例えば、複数のイメージが高速に獲得される場合、獲得された原本データ（Bayer-patternedデータ、高解像度データなど）は、メモリＣＭ５０に保存し、低解像度イメージのみをディスプレイした後、選択された（ユーザ選択など）イメージの原本データが、イメージシグナルプロセッサＣＭ６０に伝達するようにするところにも使用される。メモリＣＭ５０は、電子装置ＥＤ０１のメモリＥＤ３０に統合されているか、あるいは独立して運用される別途のメモリによっても構成される。

イメージシグナルプロセッサＣＭ６０は、イメージセンサＣＭ３０を介して獲得されたイメージ、またはメモリＣＭ５０に保存されたイメージデータにつき、イメージ処理を行うことができる。図１ないし図１３で説明されたように、イメージセンサＣＭ３０に含まれる２つのイメージセンサが獲得した第１映像（例えば、ＲＧＢ映像）、第２映像（例えば、ＭＳＩ映像）を処理し、ホワイトバランスが遂行された第３映像を生成することができる。そのために、プロセッサ５００の構成が、イメージシグナルプロセッサＣＭ６０にも含まれる。

イメージ処理は、これら以外にも、デプス地図（depth map）生成、三次元モデリング、パノラマ生成、特徴点抽出、イメージ合成及び／またはイメージ補償（ノイズ低減、解像度調整、明るさ調整、ぼやかし（blurring）、シャープニング（sharpening）、ソフトニング（softening）など）を含むものでもある。イメージシグナルプロセッサＣＭ６０は、カメラモジュールＥＤ８０に含まれた構成要素（イメージセンサＣＭ３０など）に対する制御（露出時間制御またはリードアウトタイミング制御など）を行うことができる。イメージシグナルプロセッサＣＭ６０によって処理されたイメージは、追加処理のために、メモリＣＭ５０にさらに保存されるか、あるいはカメラモジュールＥＤ８０の外部構成要素（メモリＥＤ３０、表示装置ＥＤ６０、電子装置ＥＤ０２、電子装置ＥＤ０４、サーバＥＤ０８など）にも提供される。イメージシグナルプロセッサＣＭ６０は、プロセッサＥＤ２０に統合されるか、あるいはプロセッサＥＤ２０と独立して運用される別途のプロセッサとしても構成される。イメージシグナルプロセッサＣＭ６０がプロセッサＥＤ２０と別途のプロセッサとして構成された場合、イメージシグナルプロセッサＣＭ６０によって処理されたイメージは、プロセッサＥＤ２０により、さらなるイメージ処理を経た後、表示装置ＥＤ６０を介しても表示される。

電子装置ＥＤ０１は、それぞれ異なる属性または機能を有する複数のカメラモジュールＥＤ８０を含むものでもある。そのような場合、複数のカメラモジュールＥＤ８０のうち一つは、広角カメラであり、他の一つは、望遠カメラでもある。類似して、複数のカメラモジュールＥＤ８０のうち一つは、前面カメラであり、他の一つは、背面カメラでもある。

図１６ないし図２５は、一実施形態による映像獲得装置が適用された電子装置の多様な例を示す。

一実施形態による映像獲得装置は、図１６に図示されたモバイルフォンまたはスマートフォン５１００ｍ、図１７に図示されたタブレットまたはスマートタブレット５２００、図１８に図示されたデジタルカメラまたはカムコーダ５３００、図１９に図示されたノート型パソコン５４００にも適用され、あるいは図２０に図示されたテレビまたはスマートテレビ５５００などにも適用される。例えば、スマートフォン５１００ｍまたはスマートタブレット５２００は、高解像度イメージセンサがそれぞれ搭載された複数の高解像度カメラを含むものでもある。該高解像度カメラを利用し、映像内被写体のデプス情報を抽出するか、映像のアウトフォーカシングを調節するか、あるいは映像内被写体を自動的に識別することができる。

また、映像獲得装置１０００は、図２１に図示されたスマート冷蔵庫５６００、図２２に図示された保安カメラ５７００、図２３に図示されたロボット５８００、図２４に図示された医療用カメラ５９００などにも適用される。例えば、スマート冷蔵庫５６００は、映像獲得装置１０００を利用し、冷蔵庫内にある飲食物を自動的に認識し、特定飲食物の存在いかん、入庫されたり出庫されたりした飲食物の種類などを、スマートフォンを介し、ユーザに知らせることができる。保安カメラ５７００は、超高解像度映像を提供することができ、高感度を利用し、暗い環境においても、映像内の事物または人を認識可能とする。ロボット５８００は、人が直接接近することができない災害現場または産業現場に投入され、高解像度映像を提供することができる。医療用カメラ５９００は、診断または手術のための高解像度映像を提供することができ、視野を動的に調節することができる。

また、映像獲得装置１０００は、図２５に図示されているように車両６０００にも適用される。車両６０００は、多様な位置に配された複数の車両用カメラ６０１０，６０２０，６０３０，６０４０を含むものでもあり、それぞれの車両用カメラ６０１０，６０２０，６０３０，６０４０は、一実施形態による映像獲得装置を含むものでもある。車両６０００は、複数の車両用カメラ６０１０，６０２０，６０３０，６０４０を利用し、車両６０００内部または周辺に係わる多様な情報を運転手に提供することができ、映像内の事物または人を自動的に認識し、自律走行に必要な情報を提供することができる。

前述の映像獲得装置、及びそれを含む電子装置は、たとえ図面に図示された実施形態を参照して説明されたにしても、それらは、例示的なものに過ぎず、当該分野でにおいて当業者であるならば、それらから多様な変形、及び均等な他の実施形態が可能であるという点を理解するであろう。従って、開示された実施形態は、限定的な観点ではなく、説明的な観点から考慮されなければならない。権利範囲は、前述の説明ではなく、特許請求の範囲に示されており、それと同等な範囲内にある全ての差異は、権利範囲に含まれるものであると解釈されなければならないのである。

１００ 第１イメージセンサ
１１０ 第１センサ層
１２０ カラーフィルタ
１３０ 第１マイクロレンズアレイ
１９０ 第１イメージング光学系
２００ 第２イメージセンサ
２１０ 第２センサ層
２２０ 分光フィルタ
２３０ 第２マイクロレンズアレイ
２９０ 第２イメージング光学系
３００ 第１メモリ
３１０ 第２メモリ
５００ プロセッサ
５１０ 映像整合部
５２０ 照明推定部
５３０ 色相変換部
７００ 映像抽出部
１０００ 映像獲得装置

Claims (20)

1. 第１波長帯域に基づく第１映像を獲得する第１イメージセンサと、
   １０ｎｍないし１，０００ｎｍの第２波長帯域に基づく第２映像を獲得する第２イメージセンサと、
   前記第１イメージセンサ及び前記第２イメージセンサからそれぞれ出力された前記第１映像と前記第２映像とを整合し、前記第２映像から推定された照明値を利用し、前記整合された映像について色変換を行うプロセッサと、を含む、映像獲得装置。
2. 前記プロセッサは、
   前記第１映像を一または複数の領域に分割し、
   前記第１映像の分割されたそれぞれの領域に対応する第２映像の領域毎に、それぞれの照明値を推定し、
   前記第２映像の領域毎に推定されたそれぞれの照明値を利用し、前記第１映像の分割されたそれぞれの領域について前記色変換を行う、請求項１に記載の映像獲得装置。
3. 前記プロセッサは、
   前記第２映像の領域毎に推定されたそれぞれの照明値のうち、隣接した領域の照明値との差が第１臨界値以上である場合、
   前記差が、前記第１臨界値より小さくなるように、隣接した領域の照明値のうち、いずれか１つの照明値を調整する、請求項２に記載の映像獲得装置。
4. 前記プロセッサは、
   前記色変換を行った後、前記隣接した領域の境界部分につき、後処理を行う、請求項３に記載の映像獲得装置。
5. 前記プロセッサは、
   前記第１イメージセンサ及び前記第２イメージセンサそれぞれの解像度、画角及び焦点距離のうちの少なくとも一つに基づいて、前記第１映像と前記第２映像との整合のためのパラメータを算出する、請求項１に記載の映像獲得装置。
6. 前記プロセッサは、
   前記第２イメージセンサから出力された複数のチャネルから得られたスペクトル情報を利用し、前記照明値を推定する、請求項１に記載の映像獲得装置。
7. 前記プロセッサは、
   既定の照明値に係わる第２映像が学習されたニューラルネットワークを利用し、前記第２イメージセンサから獲得された第２映像に係わる前記照明値を推定する、請求項１に記載の映像獲得装置。
8. 前記プロセッサは、
   前記第１映像及び前記第２映像それぞれの特徴を抽出し、前記抽出された特徴をマッチングさせることにより、前記第１映像と前記第２映像との整合を行う、請求項１に記載の映像獲得装置。
9. 前記プロセッサは、
   前記第１映像及び前記第２映像の画素グループ単位、画素単位またはサブ画素単位でもって、前記第１映像と前記第２映像との整合を行う、請求項１に記載の映像獲得装置。
10. 前記第１イメージセンサは、
    複数の第１センシング要素がアレイされた第１センサ層と、
    前記第１センサ層上に配され、交互配列された赤色フィルタ、緑色フィルタ、青色フィルタを含むカラーフィルタと、を具備する第１画素アレイを含み、
    前記第２イメージセンサは、
    複数の第２センシング要素がアレイされた第２センサ層と、
    前記第２センサ層上に配され、透過波長帯域が異なる複数のユニットフィルタからなるフィルタグループが反復配列された分光フィルタと、を具備する第２画素アレイを含む、請求項１に記載の映像獲得装置。
11. 前記複数のユニットフィルタそれぞれの透過波長帯域は、
    可視光線を含み、可視光線より広い範囲の波長帯域であり、
    前記フィルタグループは、４×４アレイ形態に配列される１６個のユニットフィルタを含む、請求項１０に記載の映像獲得装置。
12. 前記第１画素アレイと前記第２画素アレイは、同じ回路基板上に、水平に離隔されて配される、請求項１０に記載の映像獲得装置。
13. 前記第１センサ層からの信号を処理する第１回路要素と、前記第２センサ層からの信号を処理する第２回路要素とが、前記回路基板に具備される、請求項１２に記載の映像獲得装置。
14. 前記第１回路要素、前記第２回路要素の動作を同期させるタイミングコントローラをさらに含む、請求項１３に記載の映像獲得装置。
15. 前記第１映像に係わるデータを保存する第１メモリと、
    前記第２映像に係わるデータを保存する第２メモリと、をさらに含む、請求項１２に記載の映像獲得装置。
16. 前記第１メモリ及び前記第２メモリが、前記回路基板内に具備される、請求項１５に記載の映像獲得装置。
17. 被写体の光学像を前記第１イメージセンサに形成するものであり、１以上のレンズを含む第１イメージング光学系と、
    前記被写体の光学像を前記第２イメージセンサに形成するものであり、１以上のレンズを含む第２イメージング光学系と、をさらに含む、請求項１に記載の映像獲得装置。
18. 前記第１イメージング光学系と前記第２イメージング光学系は、同じ焦点距離、及び同じ画角を有するように設定される、請求項１７に記載の映像獲得装置。
19. 請求項１ないし１８のうちいずれか１項に記載の映像獲得装置を含む、電子装置。
20. 複数のイメージセンサを利用した映像獲得装置の制御方法において、
    第１イメージセンサ及び第２イメージセンサからそれぞれ第１映像及び第２映像を獲得する段階と、
    前記獲得された第１映像と第２映像とを整合する段階と、
    前記第２映像から推定された照明値を利用し、前記整合された映像について色変換を行う段階と、を含む、映像獲得装置の制御方法。

Images