JP2023099967A - 撮像装置および電子機器 - Google Patents

Abstract

【課題】より高画質な画像を取得する。
【解決手段】撮像装置は、それぞれ異なる種類の画像の取得に用いられる少なくとも３つ以上のセンサチップと、１つの光軸に沿って入射する入射光を、センサチップそれぞれに向かう方向の少なくとも３つ以上の光軸に沿って分岐させる分岐光学素子と、少なくとも３つ以上のセンサチップから出力される信号に対する信号処理を施して、１枚の画像を出力する信号処理部とを備える。本技術は、例えば、スマートフォンに組み込まれる撮像装置に適用できる。
【選択図】図１

Description

本開示は、撮像装置および電子機器に関し、特に、より高画質な画像を取得することができるようにした撮像装置および電子機器に関する。

従来、複数の撮像素子が並んで配置された撮像装置において、それぞれの撮像素子から出力される画像信号を用いた信号処理を行って、１枚の画像を出力することが行われている。

ところで、このような撮像装置では、望遠レンズや大口径レンズを用いる場合には光路長が長くなることより、モジュール高さが高くなり小型化が困難であることが懸念される。また、複数の撮像素子が並んで配置された構成では、それぞれの撮像素子に対する光軸がズレているのに伴って視差が生じるため、視差補正などの余分な処理が必要となり、信号処理の負荷が大きくなることが懸念される。

そこで、特許文献１では、高変倍比と小型化とを両立するために、光路をほぼ９０゜折り曲げるハーフミラーを備えたハーフミラープリズムを利用し、ハーフミラー面で反射された光は副撮像素子によって受光され、ハーフミラー面を透過した光は主撮像素子によって受光される撮像装置が提案されている。

特開２００８－１０７６１７号公報

ところで、上述の特許文献１で開示されているように、従来からもハーフミラープリズムなどを利用して撮像装置の小型化が図られているが、そのような小型化された撮像装置における高画質化が求められている。

本開示は、このような状況に鑑みてなされたものであり、より高画質な画像を取得することができるようにするものである。

本開示の一側面の撮像装置は、それぞれ異なる種類の画像の取得に用いられる少なくとも３つ以上のセンサチップと、１つの光軸に沿って入射する入射光を、前記センサチップそれぞれに向かう方向の少なくとも３つ以上の光軸に沿って分岐させる分岐光学素子と、少なくとも３つ以上の前記センサチップから出力される信号に対する信号処理を施して、１枚の画像を出力する信号処理部とを備える。

本開示の一側面の電子機器は、それぞれ異なる種類の画像の取得に用いられる少なくとも３つ以上のセンサチップと、１つの光軸に沿って入射する入射光を、前記センサチップそれぞれに向かう方向の少なくとも３つ以上の光軸に沿って分岐させる分岐光学素子と、少なくとも３つ以上の前記センサチップから出力される信号に対する信号処理を施して、１枚の画像を出力する信号処理部とを有する撮像装置を備える。

本開示の一側面においては、１つの光軸に沿って入射する入射光が、それぞれ異なる種類の画像の取得に用いられる少なくとも３つ以上のセンサチップそれぞれに向かう方向の少なくとも３つ以上の光軸に沿って分岐される。そして、少なくとも３つ以上のセンサチップから出力される信号に対する信号処理が施されて、１枚の画像が出力される。

本技術を適用した撮像装置の第１の実施の形態の構成例を示す図である。 ハーフミラーおよびダイクロイックミラーと光の波長との関係について説明する図である。 図１の撮像装置の信号処理部の構成例を示すブロック図である。 ボケ画像生成処理について説明するフローチャートである。 コンボリューション処理で用いるカーネルの一例を示す図である。 ボケ画像の一例を示す図である。 本技術を適用した撮像装置の第２の実施の形態の構成例を示す図である。 図７の撮像装置の変形例の構成例を示す図である。 第１のハーフミラーおよび第２のハーフミラーと光の波長との関係について説明する図である。 図７の撮像装置の信号処理部の構成例を示すブロック図である。 本技術を適用した撮像装置の第３の実施の形態の構成例を示す図である。 図１１の撮像装置の変形例の構成例を示す図である。 第１のハーフミラーおよび第２のハーフミラーと光の波長との関係について説明する図である。 図１１の撮像装置の信号処理部の構成例を示すブロック図である。 本技術を適用した撮像装置の第４の実施の形態の構成例を示す図である。 ハーフミラーおよびダイクロイックミラーと光の波長との関係について説明する図である。 図１５の撮像装置の信号処理部の構成例を示すブロック図である。 撮像装置の構成例を示すブロック図である。 イメージセンサを使用する使用例を示す図である。

以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。

＜撮像装置の第１の構成例＞
図１は、本技術を適用した撮像装置の第１の実施の形態の構成例を示す図である。

図１のＡには、撮像装置１１のトップビューにおける構成例が示されており、図１のＢには、撮像装置１１のサイドビューにおける構成例が示されている。

図１に示すように、撮像装置１１は、ＲＧＢセンサチップ２１、輝度センサチップ２２、およびＩＲ（Infrared Rays）距離センサチップ２３の３つの撮像素子を備えて構成される。また、ＲＧＢセンサチップ２１のセンサ面にはＩＲカットフィルター３１が配置され、ＩＲ距離センサチップ２３のセンサ面にはバンドパスフィルター３２が配置されている。さらに、撮像装置１１は、第１のレンズ４１、第２のレンズ４２、第１のプリズム４３、第３のレンズ４４、第４のレンズ４５、ＡＦ（Auto Focus）レンズ４６、第２のプリズム４７、およびＩＲ収差補正レンズ４８から構成される光学系を備えて構成される。

ＲＧＢセンサチップ２１は、カラー画像の撮像に用いられ、例えば、赤色の光を透過するカラーフィルタ、緑色の光を透過するカラーフィルタ、および、青色の光を透過するカラーフィルタが、例えば、ベイヤ配列で配置されており、各色の波長域の光を検出し、それぞれの色の光の輝度値を示すＲＧＢ信号を出力する。

輝度センサチップ２２は、白黒画像の撮像に用いられ、全ての波長域の光を検出し、その光の輝度値を示すＹ信号を出力する。

ＩＲ距離センサチップ２３は、被写体までの距離情報により表される画像であるデプスマップの取得に用いられ、赤外の波長域の光の速さを利用して求められる被写体までの距離を示す距離信号を出力する。

ＩＲカットフィルター３１は、赤外線の波長域の光をカットし、可視光の波長域の光を透過して、ＲＧＢセンサチップ２１に照射させる。

バンドパスフィルター３２は、特定の波長域の光のみを透過して、例えば、赤外線の波長域の光を透過して、ＩＲ距離センサチップ２３に照射させる。

第１のレンズ４１、第２のレンズ４２、第３のレンズ４４、第４のレンズ４５、および、ＡＦレンズ４６は、ＲＧＢセンサチップ２１、輝度センサチップ２２、およびＩＲ距離センサチップ２３のセンサ面に被写体の像を結像する機能を備える第１のレンズ群を構成する。また、ＡＦレンズ４６は、白抜きの矢印で表すように光軸方向に沿って前後に移動することで、画像のフォーカスを調整する機能を備える。

ＩＲ収差補正レンズ４８は、ＩＲ距離センサチップ２３のセンサ面における赤外光の収差を補正する機能を備える第２のレンズ群により構成される。

第１のプリズム４３は、撮像装置１１に入射した光の光軸を略直交する方向に屈折させる光学素子である。

第２のプリズム４７は、撮像装置１１に入射して第１のプリズム４３によって屈折された光軸を、ＲＧＢセンサチップ２１に向かう光軸、輝度センサチップ２２に向かう光軸、および、ＩＲ距離センサチップ２３に向かう光軸に分岐させる光学素子である。例えば、第２のプリズム４７は、第２のプリズム４７に入射してくる光の光軸に対して約４５°で傾斜した光入射面にハーフミラー４７ＨＭが設けられ、第２のプリズム４７を透過する光軸に対して約４５°で傾斜した光出射面にダイクロイックミラー４７ＤＭが設けられて構成される。

ハーフミラー４７ＨＭは、透過光と反射光とが１：１となるように光を反射する。ダイクロイックミラー４７ＤＭは、特定の波長の光のみを透過させ、特定の波長域以外の光を反射する。

そして、図示する構成例では、ハーフミラー４７ＨＭによって反射された光がＲＧＢセンサチップ２１で受光され、ダイクロイックミラー４７ＤＭによって反射されたが輝度センサチップ２２で受光され、第２のプリズム４７を透過した光がＩＲ距離センサチップ２３で受光されるように光学系が構成されている。

図２を参照して、ハーフミラー４７ＨＭおよびダイクロイックミラー４７ＤＭと光の波長との関係について説明する。

図２のＡには、ハーフミラー４７ＨＭで反射される反射光の波長特性が破線で示されており、図２のＢには、ハーフミラー４７ＨＭを透過する透過光の波長特性が実線で示さている。図示するように、ハーフミラー４７ＨＭは、それぞれ１：１の比率で、反射光および透過光を分割する。また、図２のＡには、ＩＲカットフィルター３１を透過する光の波長特性ＩＲＣＦ、ＲＧＢセンサチップ２１の赤色の画素が受光する光の波長特性Ｒ、ＲＧＢセンサチップ２１の緑色の画素が受光する光の波長特性Ｇ、およびＲＧＢセンサチップ２１の青色の画素が受光する光の波長特性Ｂが示されている。

図２のＣには、ダイクロイックミラー４７ＤＭを透過する透過光の波長特性が実線で示されており、図２のＤには、ダイクロイックミラー４７ＤＭで反射される反射光の波長特性が実線で示さている。図示するように、ダイクロイックミラー４７ＤＭは、約400ｎｍ以下および約600ｎｍ以上の波長域の光を透過し、約400ｎｍから約600ｎｍまでの波長域の光を反射する。また、図２のＣには、バンドパスフィルター３２を透過する光の波長特性ＢＰＦが破線で示されている。

以上のように構成される撮像装置１１は、第１のプリズム４３によって入射光の光軸を屈折させることによって、従来よりも低背化を図ること、即ち、サイドビューにおけるモジュール高さを低く抑えることができる。これにより、例えば、スマートフォンなどの電子機器に撮像装置１１を組み込むことによって、電子機器が備えるディスプレイの下方にける空間の有効活用を図ることができる。

また、撮像装置１１は、第２のプリズム４７により入射光の光軸を３方向に分岐させる構成によって、例えば、複数の撮像素子が並んで配置される構成の撮像装置のような視差が生じることを回避することができる。従って、撮像装置１１は、視差補正が不要であることより、マクロ撮影にも対応することができる。また、撮像装置１１は、１つのＡＦレンズ４６を駆動するだけで、ＲＧＢセンサチップ２１、輝度センサチップ２２、およびＩＲ距離センサチップ２３のオートフォーカスを実現することができ、例えば、それぞれ個別のＡＦレンズを駆動する構成と比較して、低消費電力化を図ることができる。

図３は、撮像装置１１が備える信号処理部５１の機能的な構成例を示すブロック図である。

図３に示すように、信号処理部５１は、第１のカメラ部５２－１、第２のカメラ部５２－２、第３のカメラ部５２－３、第１の信号処理部５３、第２の信号処理部５４、ドライバＩ／Ｆ（Interface）５５、および表示ドライバ５６を備えて構成される。

第１のカメラ部５２－１は、ＲＧＢセンサチップ２１が有するセンサ６１－１および回路６２－１、第１のカメラＩ／Ｆ６３－１、同期回路６４－１、並びに、画像取り込み部６５－１を備えて構成される。第１のカメラ部５２－１では、センサ６１－１から出力されるＲＧＢ信号に対して、回路６２－１においてＡＤ（Analog to Digital）変換処理やノイズ除去処理などが施された後、第１のカメラＩ／Ｆ６３－１を介して、同期回路６４－１にＲＧＢ信号が入力される。そして、同期回路６４－１において、第２のカメラ部５２－２のＹ信号および第３のカメラ部５２－３の距離信号との間で同期が取られたＲＧＢ信号が、画像取り込み部６５－１に取り込まれる。

また、第１のカメラ部５２－１は、ＲＧＢセンサチップ２１から出力されるＲＧＢ信号を、次の式（１）に従ってＹＵＶ信号に変換して出力する。

第２のカメラ部５２－２は、輝度センサチップ２２が有するセンサ６１－２および回路６２－２、第２のカメラＩ／Ｆ６３－２、同期回路６４－２、並びに、画像取り込み部６５－２を備えて構成される。第２のカメラ部５２－２では、センサ６１－２から出力されるＹ信号に対して、回路６２－２においてＡＤ変換処理やノイズ除去処理などが施された後、第２のカメラＩ／Ｆ６３－２を介して、同期回路６４－２にＹ信号が入力される。そして、同期回路６４－２において、第１のカメラ部５２－１のＲＧＢ信号および第３のカメラ部５２－３の距離信号との間で同期が取られたＹ信号が、画像取り込み部６５－２に取り込まれ、第２のカメラ部５２－２から出力される。

第３のカメラ部５２－３は、ＩＲ距離センサチップ２３が有するセンサ６１－３および回路６２－３、第３のカメラＩ／Ｆ６３－３、同期回路６４－３、画像取り込み部６５－３、並びに、ＡＦ駆動部６６を備えて構成される。第３のカメラ部５２－３では、センサ６１－３から出力されるＩＲ信号に基づいて、回路６２－３において被写体までの距離を示す距離信号が生成された後、第３のカメラＩ／Ｆ６３－３を介して、同期回路６４－３に距離信号が入力される。そして、同期回路６４－３において、第１のカメラ部５２－１のＲＧＢ信号および第２のカメラ部５２－２のＹ信号との間で同期が取られた距離信号が、画像取り込み部６５－３に取り込まれ、第３のカメラ部５２－３からデプスマップ（距離情報）が出力される。また、第３のカメラ部５２－３では、回路６２－３から出力される距離信号がＡＦ駆動部６６にも供給される。ＡＦ駆動部６６は、距離信号に従って、図１のＡＦレンズ４６を駆動する。

第１の信号処理部５３には、第１のカメラ部５２－１から出力されるＹＵＶ信号が入力され、第２のカメラ部５２－２から出力されるＹ信号が入力される。第１の信号処理部５３は、第１のカメラ部５２－１により得られたＹＵＶ信号および第２のカメラ部５２－２により得られたＹ信号を組み合わせることによって、色再現性および解像度（Ｙ信号による感度向上も含む）を向上させる第１の信号処理を行う。例えば、第１の信号処理部５３は、次の式（２）を演算することにより色再現性および解像度が向上したＹＵＶ信号を取得し、第２の信号処理部５４に供給する。

第２の信号処理部５４には、第１の信号処理部５３から出力されるＹＵＶ信号が入力され、第３のカメラ部５２－３から出力されるデプスマップが入力される。第２の信号処理部５４は、ＹＵＶ信号に対して、デプスマップの距離情報に基づいたコンボリューション処理を行うことにより、ピントを合わせたい距離の被写体が強調され、ピントから外れた距離の被写体がボカされるボケ画像を生成し、ドライバＩ／Ｆ５５に供給する。

ドライバＩ／Ｆ５５は、第２の信号処理部５４から供給されたボケ画像を、例えば、図示しない表示デバイスのカラー画素の画素配列（例えば、Bayer配列やQuad配列など）に応じて変換し、表示ドライバ５６に供給する。

表示ドライバ５６は、ドライバＩ／Ｆ５５から供給されるボケ画像を、図示しないディスプレイに表示させるための駆動を行う。

このように撮像装置１１の信号処理部５１は構成されており、ＲＧＢセンサチップ２１から出力されるＲＧＢ信号と輝度センサチップ２２から出力されるＹ信号とを組み合わせることで、色再現性および解像度の両立を図ることができるのに加えて、ＩＲ距離センサチップ２３から出力される距離信号に応じてピントが調整されたボケ画像を生成することができ、より高画質な画像を取得することができる。

このとき、撮像装置１１は、第２のプリズム４７により入射光の光軸を３方向に分岐させることによって、ＲＧＢセンサチップ２１、輝度センサチップ２２、および、ＩＲ距離センサチップ２３が互いに視差が生じない構成となっている。これにより、撮像装置１１の信号処理部５１は、例えば、視差補正などの余分な処理が不要となるシンプルな信号処理を行うことができる結果、低消費電力化や高速化（例えば、動画像への対応が可能）を図ることができる。

図４に示すフローチャートを参照して、撮像装置１１の信号処理部５１においてボケ画像を生成するボケ画像生成処理について説明する。

ステップＳ１１において、ＩＲ距離センサチップ２３は、例えば、赤外線の照射から反射までの時間差に基づいて被写体までの距離を測定する測距処理を行い、被写体までの距離を示す距離信号を出力する。

ステップＳ１２において、画像取り込み部６５－３は、ステップＳ１１でＩＲ距離センサチップ２３の各画素から出力される距離信号を取り込み、１フレーム分の画像と同様に、被写体までの距離情報を画像化したデプスマップを作成する。

ステップＳ１３において、第２の信号処理部５４は、第１の信号処理部５３から出力されるＹＵＶ信号に対して、ステップＳ１２で作成されたデプスマップの距離情報に基づいたコンボリューション処理を行う。例えば、第２の信号処理部５４は、ピントを合わせたい距離にある被写体が撮像された領域に対して図５のＡに示すようなカーネルＡをコンボリューションし、ピントから外れた距離の被写体が撮像された領域に対して図５のＢに示すようなカーネルＢをコンボリューションする。このようなコンボリューション処理によって、第２の信号処理部５４は、ピントを合わせたい距離の被写体が強調され、ピントから外れた距離の被写体がボカされるボケ画像を生成する。

ステップＳ１４において、表示ドライバ５６は、ステップＳ１３で生成されたボケ画像を、図示しない表示デバイスに出力し、処理は終了される。

図６を参照して、撮像装置１１の信号処理部５１において生成されるボケ画像について説明する。

図６のＡには、撮像装置１１から１ｍ先の距離にある被写体（人物）にピントが合わされたボケ画像の一例が示されている。例えば、二点鎖線で囲われた領域を、ピントを合わせたい距離にある被写体が撮像された領域としてコンボリューション処理が行われることで、図示するように人物にピントが合わされたボケ画像が生成される。

図６のＢには、撮像装置１１から１０ｍ先の距離にある被写体（風景）にピントが合わされたボケ画像の一例が示されている。例えば、二点鎖線で囲われた領域を、ピントを合わせたい距離にある被写体が撮像された領域としてコンボリューション処理が行われることで、図示するように風景にピントが合わされたボケ画像が生成される。

＜撮像装置の第２の構成例＞
図７は、本技術を適用した撮像装置の第２の実施の形態の構成例を示す図である。なお、図７に示す撮像装置１１Ａにおいて、図１の撮像装置１１と共通する構成要素については同一の符号を付し、その詳細な説明は省略する。

図７のＡには、撮像装置１１Ａのトップビューにおける構成例が示されており、図７のＢには、撮像装置１１Ａのサイドビューにおける構成例が示されている。

図７に示すように、撮像装置１１Ａは、ＲＧＢセンサチップ２１、輝度センサチップ２２、ＩＲカットフィルター３１、第１のレンズ４１、第２のレンズ４２、第１のプリズム４３、第３のレンズ４４、第４のレンズ４５、およびＡＦレンズ４６を備えて構成される点で、図１の撮像装置１１と共通の構成となっている。

そして、撮像装置１１Ａは、図１のＩＲ距離センサチップ２３に替えて、マルチバンドセンサチップ２４が設けられ、図１の第２のプリズム４７に替えて、第２のプリズム４７Ａが設けられ、図１のＩＲ収差補正レンズ４８に替えて、広域収差補正レンズ４９が設けられる点で、図１の撮像装置１１と異なる構成となっている。

マルチバンドセンサチップ２４は、マルチバンド画像の取得に用いられ、３つ以上の所定数の波長帯の光を検出し、それぞれの波長帯の光の輝度値を示すマルチバンド画像信号を出力する。

第２のプリズム４７Ａは、撮像装置１１Ａに入射して第１のプリズム４３によって屈折された光軸を、ＲＧＢセンサチップ２１に向かう光軸、輝度センサチップ２２に向かう光軸、および、マルチバンドセンサチップ２４に向かう光軸に分岐させる光学素子である。例えば、第２のプリズム４７Ａは、第２のプリズム４７Ａに入射してくる光の光軸に対して約４５°で傾斜した光入射面に第１のハーフミラー４７ＨＭ－１が設けられ、第２のプリズム４７Ａを透過する光軸に対して約４５°で傾斜した光出射面に第２のハーフミラー４７ＨＭ－２が設けられて構成される。

広域収差補正レンズ４９は、マルチバンドセンサチップ２４のセンサ面における広い波長域の光の収差を補正する機能を備える第２のレンズ群により構成される。

このように構成される撮像装置１１Ａでは、第１のハーフミラー４７ＨＭ－１によって反射された光がＲＧＢセンサチップ２１で受光され、第２のハーフミラー４７ＨＭ－２によって反射されたが輝度センサチップ２２で受光され、第２のプリズム４７Ａを透過した光がマルチバンドセンサチップ２４で受光されるように光学系が構成されている。

図８には、撮像装置１１Ａの変形例の構成例が示されている。

図８に示す撮像装置１１Ａ－１は、輝度センサチップ２２のセンサ面にＩＲカットフィルター３３が配置されている点で、図７の撮像装置１１Ａと異なる構成となっている。即ち、撮像装置１１Ａ－１は、ＩＲカットフィルター３３によって赤外線の波長域の光がカットされ、可視光の波長域の光が輝度センサチップ２２に照射されるように構成されている。

図９を参照して、第１のハーフミラー４７ＨＭ－１および第２のハーフミラー４７ＨＭ－２と光の波長との関係について説明する。

図９のＡには、第１のハーフミラー４７ＨＭ－１で反射される反射光の波長特性が破線で示されており、図９のＢには、第１のハーフミラー４７ＨＭ－１を透過する透過光の波長特性が実線で示さている。図示するように、第１のハーフミラー４７ＨＭ－１は、それぞれ１：１の比率で、反射光および透過光を分割する。また、図９のＡには、ＩＲカットフィルター３１を透過する光の波長特性ＩＲＣＦ、ＲＧＢセンサチップ２１の赤色の画素が受光する光の波長特性Ｒ、ＲＧＢセンサチップ２１の緑色の画素が受光する光の波長特性Ｇ、およびＲＧＢセンサチップ２１の青色の画素が受光する光の波長特性Ｂが示されている。

図９のＣには、第２のハーフミラー４７ＨＭ－２を透過する透過光の波長特性が破線で示されており、図９のＤには、第２のハーフミラー４７ＨＭ－２で反射される反射光の波長特性が破線で示さている。図示するように、第２のハーフミラー４７ＨＭ－２は、それぞれ１：１の比率で、反射光および透過光を分割する。図９のＣには、マルチバンドセンサチップ２４が７つの波長帯の光を受光する構成である場合において、各波長帯の画素が受光する光の波長特性ＭＢ１乃至ＭＢ７が示されている。また、図９のＤには、ＩＲカットフィルター３３を透過する光の波長特性ＩＲＣＦが実線で示されている。

以上のように構成される撮像装置１１Ａは、図１の撮像装置１１と同様に、従来よりも低背化を図ること、視差が生じることを回避すること、マクロ撮影にも対応すること、および、低消費電力化を図ることができる。

図１０は、撮像装置１１Ａが備える信号処理部５１Ａの機能的な構成例を示すブロック図である。なお、図１０に示す信号処理部５１Ａにおいて、図３の信号処理部５１と共通する構成要素については同一の符号を付し、その詳細な説明は省略する。

図１０に示すように、信号処理部５１Ａは、第１のカメラ部５２－１、ドライバＩ／Ｆ５５、および表示ドライバ５６を備えて構成される点で、図３の信号処理部５１と共通する構成となっている。即ち、第１のカメラ部５２－１は、ＲＧＢセンサチップ２１から出力されるＲＧＢ信号を、次の式（３）に従ってＹＵＶ信号に変換して出力する。

そして、信号処理部５１Ａは、第２のカメラ部５２Ａ－２、第３のカメラ部５２Ａ－３、第１の信号処理部５３Ａ、および第２の信号処理部５４Ａを備えて構成される点で、図３の信号処理部５１と異なる構成となっている。

第２のカメラ部５２Ａ－２は、第２のカメラＩ／Ｆ６３－２、同期回路６４－２、および、画像取り込み部６５－２を備えて構成される点で、図３の第２のカメラ部５２－２と共通の構成となっている。そして、第２のカメラ部５２Ａ－２は、図３の輝度センサチップ２２に替えて、マルチバンドセンサチップ２４が設けられて構成される。

例えば、第２のカメラ部５２Ａ－２は、マルチバンドセンサチップ２４から出力されるｎバンドのマルチバンド画像信号Ｓ_１乃至Ｓ_ｎを、次の式（４）に従ってＹＵＶ信号に変換して出力する。

第３のカメラ部５２Ａ－３は、第３のカメラＩ／Ｆ６３－３、同期回路６４－３、および、画像取り込み部６５－３を備えて構成される点で、図３の第３のカメラ部５２－３と共通の構成となっている。そして、第３のカメラ部５２Ａ－３は、図３のＩＲ距離センサチップ２３に替えて、輝度センサチップ２２が設けられて構成される。つまり、第３のカメラ部５２Ａ－３は、図３の第２のカメラ部５２－２と同様に構成され、Ｙ信号を出力する。

第１の信号処理部５３Ａには、第１のカメラ部５２－１から出力されるＹＵＶ信号が入力され、第２のカメラ部５２Ａ－２ら出力されるＹＵＶ信号が入力される。第１の信号処理部５３Ａは、第１のカメラ部５２－１により得られたＹＵＶ信号および第２のカメラ部５２Ａ－２により得られたＹＵＶ信号を組み合わせることによって、高い色再現性を得るための第１の信号処理を行う。例えば、第１の信号処理部５３Ａは、次の式（５）を演算することにより高い色再現性が得られたＹＵＶ信号を取得し、第２の信号処理部５４Ａに供給する。

第２の信号処理部５４Ａには、第１の信号処理部５３から出力されるＹＵＶ信号が入力され、第３のカメラ部５２Ａ－３から出力されるＹ信号が入力される。第２の信号処理部５４Ａは、第１の信号処理部５３により得られたＹＵＶ信号および第３のカメラ部５２Ａ－３により得られたＹ信号を組み合わせることによって、解像度および感度を向上させる第２の信号処理を行う。例えば、第２の信号処理部５４Ａは、次の式（６）を演算することにより解像度および感度が向上されたＹＵＶ信号を取得し、ドライバＩ／Ｆ５５に供給する。

このように撮像装置１１Ａの信号処理部５１Ａは構成されており、ＲＧＢセンサチップ２１から出力されるＲＧＢ信号とマルチバンドセンサチップ２４から出力されるマルチバンド画像信号とを組み合わせることで、高い色再現性を得ることができるのに加えて、輝度センサチップ２２から出力されるＹ信号とを組み合わせることで、解像度および感度を向上させた画像を生成することができ、より高画質な画像を取得することができる。

このとき、撮像装置１１Ａは、第２のプリズム４７Ａにより入射光の光軸を３方向に分岐させることによって、ＲＧＢセンサチップ２１、輝度センサチップ２２、および、マルチバンドセンサチップ２４が互いに視差が生じない構成となっている。これにより、撮像装置１１Ａの信号処理部５１Ａは、例えば、視差補正などの余分な処理が不要となるシンプルな信号処理を行うことができる結果、低消費電力化や高速化（例えば、動画像への対応が可能）を図ることができる。

＜撮像装置の第３の構成例＞
図１１は、本技術を適用した撮像装置の第３の実施の形態の構成例を示す図である。なお、図１１に示す撮像装置１１Ｂにおいて、図１の撮像装置１１と共通する構成要素については同一の符号を付し、その詳細な説明は省略する。

図１１のＡには、撮像装置１１Ｂのトップビューにおける構成例が示されており、図１のＢには、撮像装置１１Ｂのサイドビューにおける構成例が示されている。

図１１に示すように、撮像装置１１Ｂは、ＲＧＢセンサチップ２１、輝度センサチップ２２、ＩＲカットフィルター３１、第１のレンズ４１、第２のレンズ４２、第１のプリズム４３、第３のレンズ４４、第４のレンズ４５、およびＡＦレンズ４６を備えて構成される点で、図１の撮像装置１１と共通の構成となっている。

そして、撮像装置１１Ｂは、図１のＩＲ距離センサチップ２３に替えて、ＣＭＹセンサチップ２５が設けられ、図１のバンドパスフィルター３２に替えて、ＩＲカットフィルター３４が設けられ、図１の第２のプリズム４７に替えて、第２のプリズム４７Ｂが設けられる点で、図１の撮像装置１１と異なる構成となっている。

ＣＭＹセンサチップ２５は、カラー画像の撮像に用いられ、例えば、シアンの光を透過するカラーフィルタ、マゼンタの光を透過するカラーフィルタ、および、イエローの光を透過するカラーフィルタが、例えば、ベイヤ配列で配置されており、各色の波長域の光を検出し、それぞれの色の光の輝度値を示すＣＭＹ信号を出力する。

ＩＲカットフィルター３４は、赤外線の波長域の光をカットし、可視光の波長域の光を透過して、ＣＭＹセンサチップ２５に照射させる。

第２のプリズム４７Ｂは、撮像装置１１Ｂに入射して第１のプリズム４３によって屈折された光軸を、ＲＧＢセンサチップ２１に向かう光軸、輝度センサチップ２２に向かう光軸、および、ＣＭＹセンサチップ２５に向かう光軸に分岐させる光学素子である。例えば、第２のプリズム４７Ｂは、第２のプリズム４７Ｂに入射してくる光の光軸に対して約４５°で傾斜した光入射面に第１のハーフミラー４７ＨＭ－１が設けられ、第２のプリズム４７Ｂを透過する光軸に対して約４５°で傾斜した光出射面に第２のハーフミラー４７ＨＭ－２が設けられて構成される。

このように構成される撮像装置１１Ｂでは、第１のハーフミラー４７ＨＭ－１によって反射された光がＲＧＢセンサチップ２１で受光され、第２のハーフミラー４７ＨＭ－２によって反射されたが輝度センサチップ２２で受光され、第２のプリズム４７Ａを透過した光がＣＭＹセンサチップ２５で受光されるように光学系が構成されている。

図１２には、撮像装置１１Ｂの変形例の構成例が示されている。

図１２のＡに示す撮像装置１１Ｂ－１は、輝度センサチップ２２のセンサ面にＩＲカットフィルター３５が配置されている点で、図１１の撮像装置１１Ｂと異なる構成となっている。即ち、撮像装置１１Ｂ－１は、ＩＲカットフィルター３５によって赤外線の波長域の光がカットされ、可視光の波長域の光が輝度センサチップ２２に照射されるように構成されている。

図１２のＢに示す撮像装置１１Ｂ－２は、ＣＭＹセンサチップ２５のセンサ面にＩＲカットフィルター３４が配置されずに、第２のプリズム４７Ｂを透過する光の光軸上（第２のプリズム４７Ｂは、２つのプリズムが接合されて構成されており、その接合面）に、ＩＲカットフィルター３６が配置されている点で、図１１の撮像装置１１Ｂと異なる構成となっている。即ち、撮像装置１１Ｂ－２は、ＩＲカットフィルター３６によって赤外線の波長域の光がカットされ、可視光の波長域の光が輝度センサチップ２２およびＣＭＹセンサチップ２５に照射されるように構成されている。

図１３を参照して、第１のハーフミラー４７ＨＭ－１および第２のハーフミラー４７ＨＭ－２と光の波長との関係について説明する。

図１３のＡには、第１のハーフミラー４７ＨＭ－１で反射される反射光の波長特性が破線で示されており、図１３のＢには、第１のハーフミラー４７ＨＭ－１を透過する透過光の波長特性が実線で示さている。図示するように、第１のハーフミラー４７ＨＭ－１は、それぞれ１：１の比率で、反射光および透過光を分割する。また、図１３のＡには、ＩＲカットフィルター３１を透過する光の波長特性ＩＲＣＦ、ＲＧＢセンサチップ２１の赤色の画素が受光する光の波長特性Ｒ、ＲＧＢセンサチップ２１の緑色の画素が受光する光の波長特性Ｇ、およびＲＧＢセンサチップ２１の青色の画素が受光する光の波長特性Ｂが示されている。

図１３のＣには、第２のハーフミラー４７ＨＭ－２を透過する透過光の波長特性が破線で示されており、図１３のＤには、第２のハーフミラー４７ＨＭ－２で反射される反射光の波長特性が破線で示さている。図示するように、第２のハーフミラー４７ＨＭ－２は、それぞれ１：１の比率で、反射光および透過光を分割する。図１３のＣには、ＣＭＹセンサチップ２５のシアンの画素が受光する光の波長特性Ｃ、ＣＭＹセンサチップ２５のマゼンタの画素が受光する光の波長特性Ｍ、およびＣＭＹセンサチップ２５のイエローの画素が受光する光の波長特性Ｙが示されている。また、図１３のＤには、ＩＲカットフィルター３５を透過する光の波長特性ＩＲＣＦが実線で示されている。

以上のように構成される撮像装置１１Ｂは、図１の撮像装置１１と同様に、従来よりも低背化を図ること、視差が生じることを回避すること、マクロ撮影にも対応すること、および、低消費電力化を図ることができる。

図１４は、撮像装置１１Ｂが備える信号処理部５１Ｂの機能的な構成例を示すブロック図である。なお、図１４に示す信号処理部５１Ｂにおいて、図３の信号処理部５１と共通する構成要素については同一の符号を付し、その詳細な説明は省略する。

図１４に示すように、信号処理部５１Ｂは、第１のカメラ部５２－１、ドライバＩ／Ｆ５５、および表示ドライバ５６を備えて構成される点で、図３の信号処理部５１と共通する構成となっている。即ち、第１のカメラ部５２－１は、ＲＧＢセンサチップ２１から出力されるＲＧＢ信号を、次の式（７）に従ってＹＵＶ信号に変換して出力する。

そして、信号処理部５１Ｂは、第２のカメラ部５２Ｂ－２、第３のカメラ部５２Ｂ－３、第１の信号処理部５３Ｂ、および第２の信号処理部５４Ｂを備えて構成される点で、図３の信号処理部５１と異なる構成となっている。

第２のカメラ部５２Ｂ－２は、第２のカメラＩ／Ｆ６３－２、同期回路６４－２、および、画像取り込み部６５－２を備えて構成される点で、図３の第２のカメラ部５２－２と共通の構成となっている。そして、第２のカメラ部５２Ｂ－２は、図３の輝度センサチップ２２に替えて、ＣＭＹセンサチップ２５が設けられて構成される。

例えば、第２のカメラ部５２Ｂ－２は、ＣＭＹセンサチップ２５から出力されるＣＭＹ信号を、次の式（８）に従ってＹＵＶ信号に変換して出力する。

第３のカメラ部５２Ｂ－３は、第３のカメラＩ／Ｆ６３－３、同期回路６４－３、および、画像取り込み部６５－３を備えて構成される点で、図３の第３のカメラ部５２－３と共通の構成となっている。そして、第３のカメラ部５２Ｂ－３は、図３のＩＲ距離センサチップ２３に替えて、輝度センサチップ２２が設けられて構成される。つまり、第３のカメラ部５２Ｂ－３は、図３の第２のカメラ部５２－２と同様に構成され、Ｙ信号を出力する。

第１の信号処理部５３Ｂには、第１のカメラ部５２－１から出力されるＹＵＶ信号が入力され、第２のカメラ部５２Ｂ－２ら出力されるＹＵＶ信号が入力される。第１の信号処理部５３Ｂは、第１のカメラ部５２－１により得られたＹＵＶ信号および第２のカメラ部５２Ｂ－２により得られたＹＵＶ信号を組み合わせることによって、高い色再現性を得るための第１の信号処理を行う。例えば、第１の信号処理部５３Ｂは、次の式（９）を演算することにより高い色再現性が得られたＹＵＶ信号を取得し、第２の信号処理部５４Ｂに供給する。

第２の信号処理部５４Ｂには、第１の信号処理部５３から出力されるＹＵＶ信号が入力され、第３のカメラ部５２Ｂ－３から出力されるＹ信号が入力される。第２の信号処理部５４Ｂは、第１の信号処理部５３により得られたＹＵＶ信号および第３のカメラ部５２Ｂ－３により得られたＹ信号を組み合わせることによって、解像度および感度を向上させる第２の信号処理を行う。例えば、第２の信号処理部５４Ｂは、次の式（１０）を演算することにより解像度および感度が向上されたＹＵＶ信号を取得し、ドライバＩ／Ｆ５５に供給する。

このように撮像装置１１Ｂの信号処理部５１Ｂは構成されており、ＲＧＢセンサチップ２１から出力されるＲＧＢ信号とＣＭＹセンサチップ２５から出力されるＣＭＹ信号とを組み合わせることで、高い色再現性を得ることができるのに加えて、輝度センサチップ２２から出力されるＹ信号とを組み合わせることで、解像度および感度を向上させた画像を生成することができ、より高画質な画像を取得することができる。

このとき、撮像装置１１Ｂは、第２のプリズム４７Ｂにより入射光の光軸を３方向に分岐させることによって、ＲＧＢセンサチップ２１、輝度センサチップ２２、および、ＣＭＹセンサチップ２５が互いに視差が生じない構成となっている。これにより、撮像装置１１Ｂの信号処理部５１Ｂは、例えば、視差補正などの余分な処理が不要となるシンプルな信号処理を行うことができる結果、低消費電力化や高速化（例えば、動画像への対応が可能）を図ることができる。

＜撮像装置の第４の構成例＞
図１５は、本技術を適用した撮像装置の第４の実施の形態の構成例を示す図である。なお、図１５に示す撮像装置１１Ｃにおいて、図１の撮像装置１１と共通する構成要素については同一の符号を付し、その詳細な説明は省略する。

図１５のＡには、撮像装置１１Ｃのトップビューにおける構成例が示されており、図１５のＢには、撮像装置１１Ｃのサイドビューにおける構成例が示されている。

図１５に示すように、撮像装置１１Ｃは、ＲＧＢセンサチップ２１、ＩＲ距離センサチップ２３、ＩＲカットフィルター３１、バンドパスフィルター３２、第１のレンズ４１、第２のレンズ４２、第１のプリズム４３、第３のレンズ４４、第４のレンズ４５、ＡＦレンズ４６、第２のプリズム４７、およびＩＲ収差補正レンズ４８を備えて構成される点で、図１の撮像装置１１と共通の構成となっている。

そして、撮像装置１１Ｃは、図１の輝度センサチップ２２に替えて、ＣＭＹセンサチップ２５が設けられる点で、図１の撮像装置１１と異なる構成となっている。

ＣＭＹセンサチップ２５は、カラー画像の撮像に用いられ、例えば、シアンの光を透過するカラーフィルタ、マゼンタの光を透過するカラーフィルタ、および、イエローの光を透過するカラーフィルタが、例えば、ベイヤ配列で配置されており、各色の波長域の光を検出し、それぞれの色の光の輝度値を示すＣＭＹ信号を出力する。

このように構成される撮像装置１１Ｃでは、ハーフミラー４７ＨＭによって反射された光がＲＧＢセンサチップ２１で受光され、ダイクロイックミラー４７ＤＭによって反射されたがＣＭＹセンサチップ２５で受光され、ダイクロイックミラー４７ＤＭを透過した光がＩＲ距離センサチップ２３で受光されるように光学系が構成されている。

図１６を参照して、ハーフミラー４７ＨＭおよびダイクロイックミラー４７ＤＭと光の波長との関係について説明する。

図１６のＡには、ハーフミラー４７ＨＭで反射される反射光の波長特性が破線で示されており、図１６のＢには、ハーフミラー４７ＨＭを透過する透過光の波長特性が実線で示さている。図示するように、ハーフミラー４７ＨＭは、それぞれ１：１の比率で、反射光および透過光を分割する。また、図１６のＡには、ＩＲカットフィルター３１を透過する光の波長特性ＩＲＣＦ、ＲＧＢセンサチップ２１の赤色の画素が受光する光の波長特性Ｒ、ＲＧＢセンサチップ２１の緑色の画素が受光する光の波長特性Ｇ、およびＲＧＢセンサチップ２１の青色の画素が受光する光の波長特性Ｂが示されている。

図１６のＣには、ダイクロイックミラー４７ＤＭを透過する透過光の波長特性が実線で示されており、図１６のＤには、ダイクロイックミラー４７ＤＭで反射される反射光の波長特性が破線で示さている。図示するように、ダイクロイックミラー４７ＤＭは、約400ｎｍ以下および約600ｎｍ以上の波長域の光を透過し、約400ｎｍから約600ｎｍまでの波長域の光を反射する。また、図１６のＣには、バンドパスフィルター３２を透過する光の波長特性ＢＰＦが破線で示されている。また、図１６のＤには、ＣＭＹセンサチップ２５のシアンの画素が受光する光の波長特性Ｃ、ＣＭＹセンサチップ２５のマゼンタの画素が受光する光の波長特性Ｍ、およびＣＭＹセンサチップ２５のイエローの画素が受光する光の波長特性Ｙが示されている。

以上のように構成される撮像装置１１Ｃは、図１の撮像装置１１と同様に、従来よりも低背化を図ること、視差が生じることを回避すること、マクロ撮影にも対応すること、および、低消費電力化を図ることができる。

図１７は、撮像装置１１Ｃが備える信号処理部５１Ｃの機能的な構成例を示すブロック図である。なお、図１７に示す信号処理部５１Ｃにおいて、図３の信号処理部５１と共通する構成要素については同一の符号を付し、その詳細な説明は省略する。

図１７に示すように、信号処理部５１Ｃは、第１のカメラ部５２－１、第３のカメラ部５２－３、第２の信号処理部５４、ドライバＩ／Ｆ５５、および表示ドライバ５６を備えて構成される点で、図３の信号処理部５１と共通する構成となっている。即ち、第１のカメラ部５２－１は、ＲＧＢセンサチップ２１から出力されるＲＧＢ信号を、次の式（１１）に従ってＹＵＶ信号に変換して出力する。

そして、信号処理部５１Ｃは、第２のカメラ部５２Ｃ－２、および第１の信号処理部５３Ｃを備えて構成される点で、図３の信号処理部５１と異なる構成となっている。

第２のカメラ部５２Ｃ－２は、第２のカメラＩ／Ｆ６３－２、同期回路６４－２、および、画像取り込み部６５－２を備えて構成される点で、図３の第２のカメラ部５２－２と共通の構成となっている。そして、第２のカメラ部５２Ｃ－２は、図３の輝度センサチップ２２に替えて、ＣＭＹセンサチップ２５が設けられて構成される。

例えば、第２のカメラ部５２Ｃ－２は、ＣＭＹセンサチップ２５から出力されるＣＭＹ信号を、次の式（１２）に従ってＹＵＶ信号に変換して出力する。

第１の信号処理部５３Ｃには、第１のカメラ部５２－１から出力されるＹＵＶ信号が入力され、第２のカメラ部５２Ｃ－２ら出力されるＹＵＶ信号が入力される。第１の信号処理部５３Ｃは、第１のカメラ部５２－１により得られたＹＵＶ信号および第２のカメラ部５２Ｂ－２により得られたＹＵＶ信号を組み合わせることによって、高い色再現性を得るための第１の信号処理を行う。例えば、第１の信号処理部５３Ｃは、次の式（１３）を演算することにより高い色再現性が得られたＹＵＶ信号を取得し、第２の信号処理部５４に供給する。

そして、第２の信号処理部５４は、上述の図４乃至図６を参照して説明したように、デプスマップの距離情報に基づいたコンボリューション処理を行うことによってボケ画像を生成することができる。

このように撮像装置１１Ｃの信号処理部５１Ｃは構成されており、ＲＧＢセンサチップ２１から出力されるＲＧＢ信号とＣＭＹセンサチップ２５から出力されるＣＭＹ信号とを組み合わせることで、高い色再現性を得ることができるのに加えて、ＩＲ距離センサチップ２３から出力される距離信号に応じてピントが調整されたボケ画像を生成することができ、より高画質な画像を取得することができる。

このとき、撮像装置１１Ｃは、第２のプリズム４７により入射光の光軸を３方向に分岐させることによって、ＲＧＢセンサチップ２１、ＣＭＹセンサチップ２５、および、ＩＲ距離センサチップ２３が互いに視差が生じない構成となっている。これにより、撮像装置１１Ｃの信号処理部５１Ｃは、例えば、視差補正などの余分な処理が不要となるシンプルな信号処理を行うことができる結果、低消費電力化や高速化（例えば、動画像への対応が可能）を図ることができる。

なお、上述した実施の形態では、１つの光軸を３つに分岐させて３つのセンサチップを用いた構成について説明しているが、１つの光軸を３つ以上に分岐させて３つ以上のセンサチップを用いた構成としてもよい。

＜電子機器の構成例＞
上述したような撮像装置１１は、例えば、デジタルスチルカメラやデジタルビデオカメラなどの撮像システム、撮像機能を備えた携帯電話機、または、撮像機能を備えた他の機器といった各種の電子機器に適用することができる。

図１８は、電子機器に搭載される撮像装置の構成例を示すブロック図である。

図１８に示すように、撮像装置１０１は、光学系１０２、撮像素子１０３、信号処理回路１０４、モニタ１０５、およびメモリ１０６を備えて構成され、静止画像および動画像を撮像可能である。

光学系１０２は、１枚または複数枚のレンズを有して構成され、被写体からの像光（入射光）を撮像素子１０３に導き、撮像素子１０３の受光面（センサ部）に結像させる。

撮像素子１０３としては、上述したＲＧＢセンサチップ２１、輝度センサチップ２２、およびＩＲ距離センサチップ２３が適用される。撮像素子１０３には、光学系１０２を介して受光面に結像される像に応じて、一定期間、電子が蓄積される。そして、撮像素子１０３に蓄積された電子に応じた信号が信号処理回路１０４に供給される。

信号処理回路１０４は、撮像素子１０３から出力された画素信号に対して各種の信号処理を施す。信号処理回路１０４が信号処理を施すことにより得られた画像（画像データ）は、モニタ１０５に供給されて表示されたり、メモリ１０６に供給されて記憶（記録）されたりする。

このように構成されている撮像装置１０１では、上述した撮像装置１１を適用することで、例えば、より高画質な画像を撮像することができるとともに、撮像装置１１の低背化に伴って薄型化を図ることができる。

＜イメージセンサの使用例＞
図１９は、上述のイメージセンサ（撮像素子）を使用する使用例を示す図である。

上述したイメージセンサは、例えば、以下のように、可視光や、赤外光、紫外光、X線等の光をセンシングする様々なケースに使用することができる。

・ディジタルカメラや、カメラ機能付きの携帯機器等の、鑑賞の用に供される画像を撮影する装置
・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置
・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、TVや、冷蔵庫、エアーコンディショナ等の家電に供される装置
・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置
・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置
・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置
・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置
・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置

＜構成の組み合わせ例＞
なお、本技術は以下のような構成も取ることができる。
（１）
それぞれ異なる種類の画像の取得に用いられる少なくとも３つ以上のセンサチップと、
１つの光軸に沿って入射する入射光を、前記センサチップそれぞれに向かう方向の少なくとも３つ以上の光軸に沿って分岐させる分岐光学素子と、
少なくとも３つ以上の前記センサチップから出力される信号に対する信号処理を施して、１枚の画像を出力する信号処理部と
を備える撮像装置。
（２）
前記撮像装置に入射する前記入射光を、前記分岐光学素子に向かって略直交する方向に屈折させる屈折光学素子
をさらに備える上記（１）に記載の撮像装置。
（３）
前記分岐光学素子は、透過光と反射光とが１：１となるように光を反射するハーフミラーが光入射面に設けられ、特定の波長の光のみを透過させ、特定の波長域以外の光を反射するダイクロイックミラーが光出射面に設けられて構成される
上記（１）または（２）に記載の撮像装置。
（４）
前記センサチップとして、
赤色、緑色、および青色の波長域の光を検出して、それぞれの色の光の輝度値を示すＲＧＢ信号を出力するＲＧＢセンサチップと、
全ての波長域の光を検出し、その光の輝度値を示すＹ信号を出力する輝度センサチップと、
赤外の波長域の光の速さを利用して求められる被写体までの距離を示す距離信号を出力するＩＲ距離センサチップと
が用いられる
上記（３）に記載の撮像装置。
（５）
前記信号処理部は、
前記ＲＧＢセンサチップから出力される前記ＲＧＢ信号が変換されたＹＵＶ信号、および、前記輝度センサチップから出力される前記Ｙ信号を組み合わせて、色再現性および解像度を向上させる第１の信号処理を施して、第１の信号処理済みのＹＵＶ信号を出力する第１の信号処理部と、
前記第１の信号処理済みのＹＵＶ信号に対して、前記ＩＲ距離センサチップから出力される距離信号から作成されるデプスマップに基づいたコンボリューション処理を行って、前記被写体までの距離に応じてピントが調整された画像を出力する第２の信号処理部と
を有する
上記（４）に記載の撮像装置。
（６）
前記センサチップとして、
赤色、緑色、および青色の波長域の光を検出して、それぞれの色の光の輝度値を示すＲＧＢ信号を出力するＲＧＢセンサチップと、
シアン、マゼンタ、およびイエローの波長域の光を検出して、それぞれの色の光の輝度値を示すＣＭＹ信号を出力するＣＭＹセンサチップと、
赤外の波長域の光の速さを利用して求められる被写体までの距離を示す距離信号を出力するＩＲ距離センサチップと
が用いられる
上記（１）から（３）までのいずれかに記載の撮像装置。
（７）
前記信号処理部は、
前記ＲＧＢセンサチップから出力される前記ＲＧＢ信号が変換されたＹＵＶ信号、および、前記ＣＭＹセンサチップから出力される前記ＣＭＹ信号が変換されたＹＵＶ信号を組み合わせて、高い色再現性を得る第１の信号処理を施して、第１の信号処理済みのＹＵＶ信号を出力する第１の信号処理部と、
前記第１の信号処理済みのＹＵＶ信号に対して、前記ＩＲ距離センサチップから出力される距離信号から作成されるデプスマップに基づいたコンボリューション処理を行って、前記被写体までの距離に応じてピントが調整された画像を出力する第２の信号処理部と
を有する
上記（６）に記載の撮像装置。
（８）
前記分岐光学素子は、透過光と反射光とが１：１となるように光を反射する第１のハーフミラーが光入射面に設けられ、透過光と反射光とが１：１となるように光を反射する第２のハーフミラーが光出射面に設けられて構成される
上記（１）または（２）に記載の撮像装置。
（９）
前記センサチップとして、
赤色、緑色、および青色の波長域の光を検出して、それぞれの色の光の輝度値を示すＲＧＢ信号を出力するＲＧＢセンサチップと、
全ての波長域の光を検出し、その光の輝度値を示すＹ信号を出力する輝度センサチップと、
３つ以上の所定数の波長帯の光を検出し、それぞれの波長帯の光の輝度値を示すマルチバンド画像信号を出力するマルチバンドセンサチップと
が用いられる
上記（８）に記載の撮像装置。
（１０）
前記信号処理部は、
前記ＲＧＢセンサチップから出力される前記ＲＧＢ信号が変換されたＹＵＶ信号、および、前記マルチバンドセンサチップから出力される前記マルチバンド画像信号を組み合わせて、高い色再現性を得る第１の信号処理を施して、第１の信号処理済みのＹＵＶ信号を出力する第１の信号処理部と、
前記第１の信号処理済みのＹＵＶ信号に対して、前記輝度センサチップから出力されるＹ信号を組み合わせることによって、解像度および感度を向上させる第２の信号処理を行う第２の信号処理部と
を有する
上記（９）に記載の撮像装置。
（１１）
前記センサチップとして、
赤色、緑色、および青色の波長域の光を検出して、それぞれの色の光の輝度値を示すＲＧＢ信号を出力するＲＧＢセンサチップと、
全ての波長域の光を検出し、その光の輝度値を示すＹ信号を出力する輝度センサチップと、
シアン、マゼンタ、およびイエローの波長域の光を検出して、それぞれの色の光の輝度値を示すＣＭＹ信号を出力するＣＭＹセンサチップと
が用いられる
上記（８）に記載の撮像装置。
（１２）
前記信号処理部は、
前記ＲＧＢセンサチップから出力される前記ＲＧＢ信号が変換されたＹＵＶ信号、および、前記ＣＭＹセンサチップから出力される前記ＣＭＹ信号が変換されたＹＵＶ信号を組み合わせて、高い色再現性を得る第１の信号処理を施して、第１の信号処理済みのＹＵＶ信号を出力する第１の信号処理部と、
前記第１の信号処理済みのＹＵＶ信号に対して、前記輝度センサチップから出力されるＹ信号を組み合わせることによって、解像度および感度を向上させる第２の信号処理を行う第２の信号処理部と
を有する
上記（１１）に記載の撮像装置。
（１３）
それぞれ異なる種類の画像の取得に用いられる少なくとも３つ以上のセンサチップと、
１つの光軸に沿って入射する入射光を、前記センサチップそれぞれに向かう方向の少なくとも３つ以上の光軸に沿って分岐させる分岐光学素子と、
少なくとも３つ以上の前記センサチップから出力される信号に対する信号処理を施して、１枚の画像を出力する信号処理部と
を有する撮像装置を備える電子機器。

なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。

１１ 撮像装置， ２１ ＲＧＢセンサチップ， ２２ 輝度センサチップ， ２３ ＩＲセンサチップ， ２４ マルチバンドセンサチップ， ２５ ＣＭＹセンサチップ， ３１ ＩＲカットフィルター， ３２ バンドパスフィルター， ３３乃至３６ ＩＲカットフィルター， ４１ 第１のレンズ， ４２ 第２のレンズ， ４３ 第１のプリズム， ４４ 第３のレンズ， ４５ 第４のレンズ， ４６ ＡＦレンズ， ４７ 第２のプリズム， ４８ ＩＲ収差補正レンズ， ４９ 広域収差補正レンズ， ５１ 信号処理部， ５２ カメラ部， ５３ 第１の信号処理部， ５４ 第２の信号処理部， ５５ ドライバＩ／Ｆ， ５６ 表示ドライバ， ６１ センサ， ６２ 回路， ６３ カメラI/F， ６４ 同期回路， ６５ 画像取り込み部， ６６ ＡＦ駆動部

Claims (13)

1. それぞれ異なる種類の画像の取得に用いられる少なくとも３つ以上のセンサチップと、
   １つの光軸に沿って入射する入射光を、前記センサチップそれぞれに向かう方向の少なくとも３つ以上の光軸に沿って分岐させる分岐光学素子と、
   少なくとも３つ以上の前記センサチップから出力される信号に対する信号処理を施して、１枚の画像を出力する信号処理部と
   を備える撮像装置。
2. 前記撮像装置に入射する前記入射光を、前記分岐光学素子に向かって略直交する方向に屈折させる屈折光学素子
   をさらに備える請求項１に記載の撮像装置。
3. 前記分岐光学素子は、透過光と反射光とが１：１となるように光を反射するハーフミラーが光入射面に設けられ、特定の波長の光のみを透過させ、特定の波長域以外の光を反射するダイクロイックミラーが光出射面に設けられて構成される
   請求項１に記載の撮像装置。
4. 前記センサチップとして、
   赤色、緑色、および青色の波長域の光を検出して、それぞれの色の光の輝度値を示すＲＧＢ信号を出力するＲＧＢセンサチップと、
   全ての波長域の光を検出し、その光の輝度値を示すＹ信号を出力する輝度センサチップと、
   赤外の波長域の光の速さを利用して求められる被写体までの距離を示す距離信号を出力するＩＲ距離センサチップと
   が用いられる
   請求項３に記載の撮像装置。
5. 前記信号処理部は、
   前記ＲＧＢセンサチップから出力される前記ＲＧＢ信号が変換されたＹＵＶ信号、および、前記輝度センサチップから出力される前記Ｙ信号を組み合わせて、色再現性および解像度を向上させる第１の信号処理を施して、第１の信号処理済みのＹＵＶ信号を出力する第１の信号処理部と、
   前記第１の信号処理済みのＹＵＶ信号に対して、前記ＩＲ距離センサチップから出力される距離信号から作成されるデプスマップに基づいたコンボリューション処理を行って、前記被写体までの距離に応じてピントが調整された画像を出力する第２の信号処理部と
   を有する
   請求項４に記載の撮像装置。
6. 前記センサチップとして、
   赤色、緑色、および青色の波長域の光を検出して、それぞれの色の光の輝度値を示すＲＧＢ信号を出力するＲＧＢセンサチップと、
   シアン、マゼンタ、およびイエローの波長域の光を検出して、それぞれの色の光の輝度値を示すＣＭＹ信号を出力するＣＭＹセンサチップと、
   赤外の波長域の光の速さを利用して求められる被写体までの距離を示す距離信号を出力するＩＲ距離センサチップと
   が用いられる
   請求項３に記載の撮像装置。
7. 前記信号処理部は、
   前記ＲＧＢセンサチップから出力される前記ＲＧＢ信号が変換されたＹＵＶ信号、および、前記ＣＭＹセンサチップから出力される前記ＣＭＹ信号が変換されたＹＵＶ信号を組み合わせて、高い色再現性を得る第１の信号処理を施して、第１の信号処理済みのＹＵＶ信号を出力する第１の信号処理部と、
   前記第１の信号処理済みのＹＵＶ信号に対して、前記ＩＲ距離センサチップから出力される距離信号から作成されるデプスマップに基づいたコンボリューション処理を行って、前記被写体までの距離に応じてピントが調整された画像を出力する第２の信号処理部と
   を有する
   請求項６に記載の撮像装置。
8. 前記分岐光学素子は、透過光と反射光とが１：１となるように光を反射する第１のハーフミラーが光入射面に設けられ、透過光と反射光とが１：１となるように光を反射する第２のハーフミラーが光出射面に設けられて構成される
   請求項１に記載の撮像装置。
9. 前記センサチップとして、
   赤色、緑色、および青色の波長域の光を検出して、それぞれの色の光の輝度値を示すＲＧＢ信号を出力するＲＧＢセンサチップと、
   全ての波長域の光を検出し、その光の輝度値を示すＹ信号を出力する輝度センサチップと、
   ３つ以上の所定数の波長帯の光を検出し、それぞれの波長帯の光の輝度値を示すマルチバンド画像信号を出力するマルチバンドセンサチップと
   が用いられる
   請求項８に記載の撮像装置。
10. 前記信号処理部は、
    前記ＲＧＢセンサチップから出力される前記ＲＧＢ信号が変換されたＹＵＶ信号、および、前記マルチバンドセンサチップから出力される前記マルチバンド画像信号を組み合わせて、高い色再現性を得る第１の信号処理を施して、第１の信号処理済みのＹＵＶ信号を出力する第１の信号処理部と、
    前記第１の信号処理済みのＹＵＶ信号に対して、前記輝度センサチップから出力されるＹ信号を組み合わせることによって、解像度および感度を向上させる第２の信号処理を行う第２の信号処理部と
    を有する
    請求項９に記載の撮像装置。
11. 前記センサチップとして、
    赤色、緑色、および青色の波長域の光を検出して、それぞれの色の光の輝度値を示すＲＧＢ信号を出力するＲＧＢセンサチップと、
    全ての波長域の光を検出し、その光の輝度値を示すＹ信号を出力する輝度センサチップと、
    シアン、マゼンタ、およびイエローの波長域の光を検出して、それぞれの色の光の輝度値を示すＣＭＹ信号を出力するＣＭＹセンサチップと
    が用いられる
    請求項８に記載の撮像装置。
12. 前記信号処理部は、
    前記ＲＧＢセンサチップから出力される前記ＲＧＢ信号が変換されたＹＵＶ信号、および、前記ＣＭＹセンサチップから出力される前記ＣＭＹ信号が変換されたＹＵＶ信号を組み合わせて、高い色再現性を得る第１の信号処理を施して、第１の信号処理済みのＹＵＶ信号を出力する第１の信号処理部と、
    前記第１の信号処理済みのＹＵＶ信号に対して、前記輝度センサチップから出力されるＹ信号を組み合わせることによって、解像度および感度を向上させる第２の信号処理を行う第２の信号処理部と
    を有する
    請求項１１に記載の撮像装置。
13. それぞれ異なる種類の画像の取得に用いられる少なくとも３つ以上のセンサチップと、
    １つの光軸に沿って入射する入射光を、前記センサチップそれぞれに向かう方向の少なくとも３つ以上の光軸に沿って分岐させる分岐光学素子と、
    少なくとも３つ以上の前記センサチップから出力される信号に対する信号処理を施して、１枚の画像を出力する信号処理部と
    を有する撮像装置を備える電子機器。

Images