JP2019016884A - 撮像装置 - Google Patents

Abstract

【課題】撮像時に複数の撮像ユニットを用いることで撮像画質の向上を図ることが可能な、撮像装置を提供する。【解決手段】同一方向に対する撮像を行う第１撮像素子及び第２撮像素子を少なくとも備え、前記第１撮像素子または前記第２撮像素子の少なくともいずれかは、中心部と該中心部以外とで画素配列が異なる、撮像装置が提供される。【選択図】図７

Description

本開示は、撮像装置に関する。

電子ズームによって被写体を拡大して撮像する際に、良好な画質を保ちつつ撮像倍率を向上させるために、複数の撮像ユニットを備える技術がある（例えば特許文献１参照）。電子ズームは、レンズの位置を動かすことで撮像倍率を変化させる光学ズームを用いなくて良いため、スマートフォン等の薄型構造の電子機器において、厚みを増やすこと無くズームした画像を得ることが可能となる。

特開２０１６−３４０７６号公報

複数の撮像ユニットを切り換えることで、ズームを実現する手法がある。このようなズーム方式においては、どちらか一方のみを画像出力に用いるのが一般的である。この手法を用いる場合、カメラは複数あるため、複数のカメラからの出力を活かすことで画質が向上できることが見込まれる。

そこで、本開示では、撮像時に複数の撮像ユニットを用いることで撮像画質の向上を図ることが可能な、新規かつ改良された撮像装置を提案する。

本開示によれば、同一方向に対する撮像を行う第１撮像素子及び第２撮像素子を少なくとも備え、前記第１撮像素子または前記第２撮像素子の少なくともいずれかは、中心部と該中心部以外とで画素配列が異なる、撮像装置が提供される。

また本開示によれば、同一方向に対する撮像を行う第１撮像素子及び第２撮像素子を少なくとも備え、前記第１撮像素子の中心部と略同一画角の領域の前記第２撮像素子の領域は同一の画素の配列を有し、前記第１撮像素子の中心部以外と略同一画角の領域の前記第２撮像素子の領域は異なる画素の配列を有する、撮像装置が提供される。

以上説明したように本開示によれば、撮像時に複数の撮像ユニットを用いることで撮像画質の向上を図ることが可能な、新規かつ改良された撮像装置を提供することが出来る。

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

複数の撮像ユニットを備えるスマートフォン１０の外観構成例を示す説明図である。 複数の撮像ユニットを備えるスマートフォン１０の外観構成例を示す説明図である。 メインカメラを構成するレンズ及び撮像素子の例を示す説明図である。 撮像しようとする被写体の例を示す説明図である。 撮像ユニットを切り替えることで図３に示した被写体の一部の被写体を拡大した様子を示す説明図である。 シェーディングの一例を示す説明図である。 本開示の実施の形態に係る撮像装置の機能構成例を示す説明図である。 同実施の形態に係る撮像素子の画素の配列を示す説明図である。 本技術に用いられる撮像素子の基本的な概略構成について説明する説明図である。 ２つの撮像素子が撮像する画像の合成の概要を示す説明図である。 像高に応じたブレンド率の例をグラフで示す説明図である。 シェーディング特性に応じたブレンド率の例をグラフで示す説明図である。 同実施の形態に係る撮像素子の画素の配列例を示す説明図である。 同実施の形態に係る撮像素子の画素の配列例を示す説明図である。 同実施の形態に係る撮像素子の画素の配列例を示す説明図である。 同実施の形態に係る撮像素子の画素の配列例を示す説明図である。 同実施の形態に係る撮像素子の画素の配列例を示す説明図である。 同実施の形態に係る撮像装置の動作例を示す流れ図である。 同実施の形態に係る撮像装置の、ユーザの設定倍率に応じた撮像素子の駆動の切り替えの例を示す説明図である。 頭部装着型のディスプレイ装置を示す説明図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．本開示の実施の形態
１．１．経緯
１．２．構成例
１．３．動作例
２．応用例
３．まとめ

＜１．本開示の実施の形態＞
［１．１．経緯］
本開示の実施の形態について詳細に説明する前に、本開示の実施の形態の経緯について説明する。

画像のズーム手法には、レンズを移動させて撮像倍率を変化させる光学ズームと、画像の一部を切り出して画像処理によってズーム効果を出す電子ズームとがある。また、これらの手法は別に、撮像ユニットを切り換えることで、良好な画質を保ちつつ撮像倍率を向上させる技術がある。

図１Ａ、１Ｂは、複数の撮像ユニットを備えるスマートフォン１０の外観構成例を示す説明図である。図１Ａ、１Ｂに示したスマートフォン１０には、ディスプレイ１１が設けられている面に設けられるフロントカメラ１２と、ディスプレイ１１が設けられている面の裏側の面に設けられるメインカメラ１３、１４と、が備えられる。メインカメラ１３、１４は、光学ズームにより所望の撮像倍率の画像を得るための撮像ユニットである。

図２は、メインカメラ１３、１４を構成するレンズ及び撮像素子の例を示す説明図である。メインカメラ１３は、広角側の画像を撮像するための撮像ユニットであり、レンズ１３ａと、ベイヤ配列を有する撮像素子１３ｂと、を含んで構成される。またメインカメラ１４は、望遠側の画像を撮像するための撮像ユニットであり、レンズ１４ａと、ベイヤ配列を有する撮像素子１４ｂと、を含んで構成される。

広角側の画像を撮像するメインカメラ１３の撮像素子１３ｂと、望遠側の画像を撮像するメインカメラ１４の撮像素子１４ｂとを比較すると、撮像素子１４ｂの方が画素のサイズが微細になっている。これはメインカメラ１４の撮像素子１４ｂは、レンズ１４ａが入射させる光学サイズよりも小さな光学サイズを適用しており、光学中心付近のみの光を高精細に捉えることを目的としているからである。従って、メインカメラ１４は、メインカメラ１３より狭い範囲ながらも、高解像度の画像を撮像することが出来る。

図２には、説明の簡素化のためにレンズ１３ａ、１４ａはそれぞれ１枚ずつ図示されているが、レンズの枚数は２枚以上であっても良い。またレンズ１３ａ、１４ａはそれぞれ同じ大きさで図示しているが、レンズ１３ａ、１４ａをそれぞれ異なるレンズとしても良い。すなわち、レンズ１４ａにはズーム倍率の高いレンズ、すなわち焦点距離の大きいレンズを用いても良い。

メインカメラ１３、１４により得られる画像の例を説明する。図３は、スマートフォン１０で撮像しようとする被写体の例を示す説明図である。図３に示したような被写体の全体を広角で撮像したい場合は、スマートフォン１０はメインカメラ１３を用いて撮像する。人物や物体など、特定の被写体を大きく撮像したい場合、メインカメラ１３で撮像した画像を用いた電子ズームを行うと解像感が劣化する。

従って、ユーザの操作により、メインカメラ１４だけで撮像可能な画角になる倍率となったタイミングで、スマートフォン１０はメインカメラ１４での撮像に切り替える。メインカメラ１４は、撮像領域がメインカメラ１３と比べて狭い反面、ズーム後の撮像領域を表現する画素数はメインカメラ１４の撮像素子１４ｂの方が多い。従って、所定の倍率以上の場合は、スマートフォン１０は、メインカメラ１４で撮像することで解像感の劣化を抑えた画像を撮像することが出来る。

図４は、撮像ユニットを切り替えることで図３に示した被写体の一部の被写体を拡大した様子を示す説明図である。例えば、シーソーに乗っている人をスマートフォン１０で大きく撮像したい場合は、スマートフォン１０はメインカメラ１４によって撮像することで、図４に示したように解像感の劣化を抑えた画像を撮像することが出来る。

このように、複数の撮像ユニットを備えるスマートフォン１０は、撮像倍率によってメインカメラ１３、１４のいずれかを選択して撮像を行うことで、電子ズームの撮像倍率を高めつつ、高倍率の画像の撮像時にも画像の解像感の劣化を抑えることができる。一方、複数の撮像ユニットを備えるものであっても、撮像に用いられるのはメインカメラ１３、１４のいずれか一方で有る。従って、撮像範囲が異なる２つのメインカメラを有していることで、２つのメインカメラを同時に使用した撮像は行われない。

また、一般的な撮像装置において光の入射角度がレンズの影響により大きくなる。これにより、メインカメラ１３などにおいてもシェーディングと呼ばれる現象が発生する。シェーディングとは、画像の外周領域に発生する減光などに起因する輝度落ちであり、一般的に撮像装置全般で起こりうる現象である。図５は、シェーディングの一例を示す説明図であり、図５に示したように、画像の外周領域に行くにつれて出力が低下する。一般的に、撮像装置においては、このシェーディングを解消するシェーディング補正が行われる。シェーディング補正の例としては、ゲインを上げる処理を画像の外周領域に対して行う手法がある。しかし、信号量が少ないため、Ｓ／Ｎの観点では外周領域は不利であり、シェーディング補正によって外周のゲインが上がることで、ノイズはより目立ちやすくなる。

そこで本件開示者は、複数の撮像ユニットを備える撮像装置において、その複数の撮像ユニットを同時に使用することで、撮像される画像の画質を高められることが可能な技術について鋭意検討を行った。その結果、本件開示者は、複数の撮像ユニットを備える撮像装置において、その複数の撮像ユニットを同時に使用することで、撮像される画像の画質を高められることが可能な技術を考案するに至った。

以上、本開示の実施の形態の経緯について説明した。続いて本開示の実施の形態について詳細に説明する。

［１．２．構成例］
図６は、本開示の実施の形態に係る撮像装置１００の機能構成例を示す説明図である。図６に示したのは、上記の説明に用いたスマートフォン１０のように、撮像ユニットを２系統備える撮像装置１００の機能構成例である。以下、図６を用いて本開示の実施の形態に係る撮像装置１００の機能構成例について説明する。

図６に示したように、本開示の実施の形態に係る撮像装置１００は、撮像ユニット１１０、１２０と、メモリ部１３０と、二眼合成部１３２と、リニアマトリックス部１３４と、ガンマ補正部１３６と、輝度クロマ信号生成部１３８と、出力部１４０と、カメラアプリケーションＵＩ１４２と、ズーム制御部１４４と、を含んで構成される。

撮像ユニット１１０は、広角側の画像を撮像する際に起動される撮像ユニットである。撮像ユニット１１０は、レンズ１１１、ＩＲカットフィルタ１１２、撮像素子１１３、Ａ／Ｄ変換部１１４及びクランプ部１１５を備える。撮像ユニット１２０は、望遠側の画像を撮像する際に起動される撮像ユニットである。撮像ユニット１２０は、レンズ１２１、ＩＲカットフィルタ１２２、撮像素子１２３、Ａ／Ｄ変換部１２４及びクランプ部１２５を備える。また撮像ユニット１２０は、望遠側の画像を撮像する際だけでなく、広角側の画像を撮像する際にも、広角側の画像の画質を向上させるために起動される。

撮像素子１１３には、レンズ１１１及び赤外領域をカットするＩＲカットフィルタ１１２を通過した光が照射される。撮像素子１１３は、例えば、ＣＭＯＳイメージセンサであり、複数の単位画素（以下、単に「画素」と呼ぶ場合もある）が行列状に２次元配置されている。撮像素子１１３は、ＣＭＯＳイメージセンサに限られるものではない。単位画素の各々には、例えばベイヤ配列にてカラーフィルタが設けられている。

同様に、撮像素子１２３には、レンズ１２１及びＩＲカットフィルタ１２２を通過した光が照射される。撮像素子１２３は、例えば、ＣＭＯＳイメージセンサであり、複数の画素が行列状に２次元配置されている。撮像素子１２３は、ＣＭＯＳイメージセンサに限られるものではない。単位画素の各々には、例えばベイヤ配列にてカラーフィルタが設けられている。

撮像素子１１３から出力される画素の信号は、Ａ／Ｄ変換部１１４でアナログ信号からデジタル信号に変換される。同様に、撮像素子１２３から出力される画素の信号は、Ａ／Ｄ変換部１２４でアナログ信号からデジタル信号に変換される。これらのデータは、クランプ部１１５、１２５で黒レベルの補正処理が行われた後に、メモリ部１３０に供給される。ここで、撮像素子１１３、１２３がＡ／Ｄ変換部を内蔵する構成のものであってもよい。

メモリ部１３０は、例えばフレームメモリから成り、撮像素子１１３、１２３から出力されるデータを行列状画素配列の行（ライン）単位、またはフレーム単位で格納する。このメモリ部１３０は、フレームメモリを制御するメモリ制御部（図示せず）を有しており、当該メモリ制御部による制御の下に、フレームメモリに対するデータの書き込み及び読み出しを実行する。

二眼合成部１３２は、撮像素子１１３、１２３から出力されるデータを合成する処理を行う。二眼合成部１３２は、データの合成に加えてデモザイク処理も行う。リニアマトリックス部１３４は、二眼合成部１３２からの出力データに対して色再現処理を施す。ガンマ補正部１３６は、リニアマトリックス部１３４からの出力データに対してガンマ補正処理を施す。輝度クロマ信号生成部１３８は、ガンマ補正部１３６からの出力データに対して輝度信号及びクロマ信号を生成する。出力部１４０は、輝度クロマ信号生成部１３８からの出力データを外部（例えばディスプレイなど）に出力する。

撮像時の倍率は、図示しないタッチスクリーンに表示するカメラアプリケーションＵＩ１４２をユーザが操作することで設定される。ズーム制御部１４４は、カメラアプリケーションＵＩ１４２によって設定された倍率の情報に基づいて、駆動させる撮像ユニットを選択する。

撮像素子１１３には、図２の撮像素子１３ｂのようなベイヤ配列を有するカラーフィルタが設けられている。一方、撮像素子１２３には、図２の撮像素子１４ｂのような、色分解能を高めるための高精細の画素の周囲に高感度画素群が配置される。撮像素子１２３の画素は、撮像素子１１３の画素よりも微細なものである。

図７は、本開示の実施の形態に係る撮像素子１１３、１２３の画素の配列を示す説明図である。撮像素子１１３、１２３は、ともに略同一の画角を撮像出来るようなサイズで作製されている。そして本実施形態では、望遠側の画像を撮像する撮像素子１２３には、ベイヤ配列の画素１２３ａの周囲に、高感度画素群１２３ｂが配置された構成を有する。高感度画素群とは、画素１２３ａよりも、白色光の入射時に高感度に撮像できる画素の集合であり、例えば後述するように、全て白色の画素で構成された配列、または、一部分が白色の画素で構成された配列を有する画素群である。

すなわち、撮像素子１１３の画素の中心部の画角と略同一画角の撮像素子１２３の画素１２３ａは、同一の配列（ベイヤ配列）を有し、撮像素子１１３の画素の中心部の画角以外の領域と同じ領域では、撮像素子１２３は高感度画素群１２３ｂを配置している。

このように、全体的にベイヤ配列を有している撮像素子１１３と、一部分が高感度画素群を有している撮像素子１２３とで同一の被写体を撮像することで、撮像装置１００は、広角側の画像を撮像する際に、画質を向上させることが可能になる。

撮像素子１１３の画素の中心部の画角と同一画角の撮像素子１２３の画素１２３ａは、同一の配列を有していてもよいが、例えば、撮像素子１１３の画素の中心部の画角より、例えば１画素分多い範囲に、撮像素子１１３の画素と同一の配列を有する画素１２３ａが設けられていても良い。通常のＲＧＢ画素と、ホワイト画素とが隣接している部分では画素のデータの出力が増大し、混色の影響が出る可能性がある。従って、電子ズームの際には、撮像素子１２３における中心部の画素１２３ａより周囲１画素分内側に達したところに相当する倍率になったところで、撮像素子１１３の出力と撮像素子１２３の出力とで切り替えるようにしてもよい。

本実施形態では、２つの撮像ユニット１１０、１２０を設けた撮像装置１００の例を示したが、本開示は係る例に限定されない。電子ズームの倍率を高めるために３つ以上の撮像ユニットが撮像装置１００に設けられていても良い。

ここで、図８を参照して、本技術に用いられる撮像素子の基本的な概略構成について説明する。

本技術に用いられる撮像素子の第１の例として、図８上段に示される固体撮像装置３３０は、１つの半導体チップ３３１内に、画素領域３３２、制御回路３３３、ロジック回路３３４とを搭載して構成される。ロジック回路３３４には、例えば、図６に示した二眼合成部１３２が含まれうる。

本技術に用いられる撮像素子の第２の例として、図８中段に示される固体撮像装置３４０は、第１の半導体チップ部３４１と第２の半導体チップ部３４２とから構成される。第１の半導体チップ部３４１には、画素領域３４３と制御回路３４４が搭載され、第２の半導体チップ部３４２には、ロジック回路３４５が搭載される。そして、第１の半導体チップ部３４１と第２の半導体チップ部３４２とが相互に電気的に接続されることで、１つの半導体チップとしての固体撮像装置３４０が構成される。ロジック回路３４５には、例えば、図６に示した二眼合成部１３２が含まれうる。

本技術に用いられる撮像素子の第３の例として、図８下段に示される固体撮像装置３５０は、第１の半導体チップ部３５１と第２の半導体チップ部３５２とから構成される。第１の半導体チップ部３５１には、画素領域３５３が搭載され、第２の半導体チップ部３５２には、制御回路３５４と、ロジック回路３５５が搭載される。そして、第１の半導体チップ部３５１と第２の半導体チップ部３５２とが相互に電気的に接続されることで、１つの半導体チップとしての固体撮像装置３５０が構成される。ロジック回路３５５には、例えば、図６に示した二眼合成部１３２が含まれうる。

次に、撮像素子１１３、１２３が撮像する画像の合成の概要を説明する。図９は、撮像素子１１３、１２３が撮像する画像の合成の概要を示す説明図である。撮像素子１１３の画素と、撮像素子１２３の高感度画素群１２３ｂを除いた画素１２３ａの両方が撮像する領域をＺｏｎｅ１、撮像素子１１３の画素と、撮像素子１２３の高感度画素群１２３ｂの両方が撮像する領域を、内側からＺｏｎｅ２、Ｚｏｎｅ３としている。

Ｚｏｎｅ１は、画像の中央（光学中心付近）の領域であり、シェーディングの影響は少ない。従って、二眼合成部１３２は、Ｚｏｎｅ１の領域については撮像素子１１３からの出力をそのまま出力する。

一方、Ｚｏｎｅ３の領域は、画像の周縁領域であり、シェーディングの影響が大きく、撮像素子１１３からの出力のＳＮ比が低下する。従って、二眼合成部１３２は、Ｚｏｎｅ３の領域については、撮像素子１１３からの出力を補完するために、撮像素子１１３からの出力と、高感度で撮像された撮像素子１２３からの出力を合成する。二眼合成部１３２は、例えば、撮像素子１２３のホワイトの画素を輝度（Ｙ）信号として用い、撮像素子１１３の色画素をカラー（Ｃ）信号として用いる手法により、撮像素子１１３、１２３の出力を合成する。ホワイト画素を用いてＳＮ比を向上させる技術は、例えば本件出願人による特開２０１２−８５３３４号に記載された技術がある。

なお、図９ではそれぞれの領域を矩形で定義したが、本開示は係る例に限定されるものでは無い。シェーディングは、画像の中心から同心円状に発生するため、Ｚｏｎｅ１〜３をそれぞれ円状で定義しても良い。

本実施形態では、２つの撮像ユニット１１０、１２０は、物理的に異なる位置にあるために視差が生じる。従って二眼合成部１３２は、２つの撮像ユニット１１０、１２０のそれぞれで輝度信号を生成してマッチングを取ることで合成部位を調整してもよい。合成部位を調整することで、二眼合成部１３２による合成画像はより自然な見た目となる。

このように本開示の実施の形態に係る撮像装置１００は、撮像素子１１３の画素と、撮像素子１２３の高感度画素群１２３ｂとにより撮像された領域において合成処理を行うことで、撮像画像の周縁領域における画質を向上させることができる。ここで、高感度画素群１２３ｂから出力されるデータを合成する領域と、しない領域とで、画質に違いが生じて見た目の違和感を覚えさせる可能性がある。

そこで二眼合成部１３２は、Ｚｏｎｅ１の領域とＺｏｎｅ３の領域の間に存在するＺｏｎｅ２の領域において、高感度画素群の寄与をＺｏｎｅ３より少なくして合成してもよい。その際、二眼合成部１３２は、像高に応じて高感度画素群１２３ｂのデータのブレンド率を変化させても良い。図１０は、像高に応じた高感度画素群１２３ｂのデータのブレンド率の例をグラフで示す説明図である。図１０のグラフは、横軸が像高、縦軸が高感度画素群１２３ｂのデータのブレンド率を示している。なお像高は百分率で表している。図１０のグラフで示したように、例えば、高感度画素群１２３ｂが像高５０％以上で配置されている場合、像高が５０％までは画素群１１３の出力をそのまま出力するが、像高が５０％を超えると像高の上昇に比例して高感度画素群１２３ｂのデータのブレンド率を向上させている。

また二眼合成部１３２は、設計時等において予め求めたレンズ１１１や撮像素子１１３のシェーディング特性に応じて高感度画素群１２３ｂのデータのブレンド率を変化させても良い。図１１は、シェーディング特性に応じた高感度画素群１２３ｂのデータのブレンド率の例をグラフで示す説明図である。図１１のグラフは、横軸がシェーディング特性、縦軸が高感度画素群１２３ｂのデータのブレンド率を示している。なおシェーディング特性は百分率で表している。図１０のグラフで示したように、シェーディング特性が７５％程度までは高感度画素群１２３ｂを全く使用しないが、シェーディング特性が７５％程度を超えるとシェーディング特性の上昇に比例して高感度画素群１２３ｂのデータのブレンド率を向上させている。

続いて、撮像素子１１３、１２３の画素の配列例を説明する。上述したように、撮像素子１２３の高感度画素群１２３ｂは、全て白色画素であってもよく、一部が白色画素であっても良い。図１２は、撮像素子１２３の画素の配列例を示す説明図である。図１２に示したのは、高感度画素群１２３ｂを全て白色画素とした場合の例である。図１３は、撮像素子１２３の画素の配列例を示す説明図である。図１３に示したのは、高感度画素群１２３ｂの一部について白色画素として、残りは通常のＲＧＢの画素を配置した場合の例である。

また上述の例では、撮像素子１２３の方が撮像素子１１３よりも高精細な画素を用いるとして説明したが、本開示は係る例に限定されない。撮像素子１１３、１２３で同一のサイズの画素として、撮像素子１１３の方を、縦２画素、横２画素で同一色となるような配列としても良い。図１４は、撮像素子１１３の画素の配列例を示す説明図である。図１４に示したのは、縦２画素、横２画素で同一色となるように配列を施した撮像素子１１３の画素の配列例である。このように縦２画素、横２画素で同一色となるように撮像素子１１３の画素配列を施すことで、光学中心付近における色分解能は、撮像素子１１３よりも撮像素子１２３の方が高くなる。また、このように縦２画素、横２画素で同一色となるように配列を施すことで、例えば本件出願人による特開２０１２−２８４２３号に記載された技術のように、各々でシャッタ時間などの露光量を変えて広ダイナミックレンジ化を図ることが可能となる。

撮像素子１２３は、高感度画素群１２３ｂに配置される画素に、白色画素ではなく、例えばＩＲ光を検出するＩＲ画素を設けてマルチスペクトル化してもよい。図１５は、撮像素子１２３の画素の配列例を示す説明図である。図１５に示したのは、高感度画素群１２３ｂに配置される画素に、白色画素ではなく、例えばＩＲ光を検出するＩＲ画素を配置した場合の例である。このようにＩＲ画素を配置することで、撮像素子１２３が出力するデータにより様々な情報を識別することが出来る。例えば、撮像素子１２３が出力するデータにより物体の識別が可能となる。また例えば、撮像素子１２３が出力するデータにより室内光と太陽光との識別が可能となる。またＩＲ画素を配置することで、撮像素子１２３が出力するデータにより、室内における様々な光源の識別も可能となる。なお、高感度画素群１２３ｂに配置する画素はＩＲ画素に限定されない。黄色やシアンといった、ＲＧＢ以外の色の画素が高感度画素群１２３ｂに配置されてもよい。

なお、撮像素子１２３の高感度画素群１２３ｂに配置される画素には、白色画素またはＩＲ画素のいずれか一方でもよいが、白色画素とＩＲ画素両方が含まれていても良い。

ここまで、撮像素子１１３、１２３は別々に形成されている例を示したが、本開示は係る例に限定されるものでは無い。すなわち、同一のシリコン基板上に、通常のベイヤ配列を有する画素が配置された領域と、ベイヤ配列を有する高精細の画素及び高感度画素群が配置された領域とが形成された撮像素子が用いられても良い。図１６は、本開示の実施の形態に係る撮像素子１５０の画素の配列例を示す説明図である。このように通常のベイヤ配列を有する画素が配置された領域１５１と、ベイヤ配列を有する高精細の画素及び高感度画素群が配置された領域１５２とを備える撮像素子によって、上述したような二眼合成部１３２による画像の合成処理を行っても良い。なおこの場合は、領域１５１、１５２にそれぞれ光を入射させるための２つのレンズが撮像素子１５０の前面に設けられる。

［１．３．動作例］
続いて、本開示の実施の形態に係る撮像装置１００の動作例を説明する。図１７は、本開示の実施の形態に係る撮像装置１００の動作例を示す流れ図である。図１７に示したのは、２つの撮像ユニット１１０、１２０を用いて電子ズームによる撮像処理を行う際の、撮像装置１００の動作例である。以下、図１７を用いて本開示の実施の形態に係る撮像装置１００の動作例を説明する。

撮像装置１００において、ユーザによりカメラアプリケーションが起動されると、撮像装置１００は、まず撮像ユニット１１０の方の撮像素子１１３（図１７では「撮像素子１」として示している）の駆動を開始する（ステップＳ１０１）。

ユーザが、カメラアプリケーションＵＩ１４２によってズーム倍率の設定を行っている際に（ステップＳ１０２）、撮像装置１００は、ユーザによる設定倍率が所定の値以上になったかどうかを判断する（ステップＳ１０３）。ステップＳ１０３の判断処理は、例えばズーム制御部１４４が実行する。

図１８は、本開示の実施の形態に係る撮像装置１００の、ユーザの設定倍率に応じた撮像素子の駆動の切り替えの例を示す説明図である。本実施形態では、設定倍率がａ倍までは撮像素子１１３（図１８では「撮像素子１」として示している）による電子ズーム処理を行い、設定倍率がａ倍を超えると撮像素子１２３（図１８では「撮像素子２」として示している）による電子ズーム処理を行う。図１７のステップＳ１０３の判断処理は、このユーザによる設定倍率がａ倍を超えたかどうかの判断を行うことである。

ステップＳ１０３の判断の結果、ユーザによる設定倍率が所定の値以上になっていれば（ステップＳ１０３、Ｙｅｓ）、撮像装置１００は、撮像ユニット１２０の方の撮像素子１２３（図１７では「撮像素子２」として示している）の駆動を開始する（ステップＳ１０４）。そして撮像装置１００は、ユーザによる撮像トリガ（例えば、カメラアプリケーションＵＩ１４２により表示されている撮像ボタンの操作や、撮像装置１００に設けられているシャッタボタンの押下等）があったかどうか判断する（ステップＳ１０５）。撮像トリガがあれば（ステップＳ１０５、Ｙｅｓ）、撮像装置１００は、撮像素子１２３の出力で撮像を行う（ステップＳ１０６）。撮像トリガがなければ（ステップＳ１０５、Ｎｏ）、撮像装置１００は、上記ステップＳ１０２の処理に戻る。

一方、ステップＳ１０３の判断の結果、ユーザによる設定倍率が所定の値以上になっていなければ（ステップＳ１０３、Ｎｏ）、撮像装置１００は、ユーザによる撮像トリガ（例えば、カメラアプリケーションＵＩ１４２により表示されている撮像ボタンの操作や、撮像装置１００に設けられているシャッタボタンの押下等）があったかどうか判断する（ステップＳ１０７）。

ステップＳ１０７の判断の結果、撮像トリガがあれば（ステップＳ１０７、Ｙｅｓ）、撮像装置１００は、撮像素子１２３の駆動を開始して（ステップＳ１０８）、撮像素子１１３、１２３の出力を合成して撮像を行う（ステップＳ１０９）。撮像素子１１３、１２３の出力の合成は、例えば二眼合成部１３２が行う。撮像装置１００は、合成の際には、上述したように画像の領域毎に合成比率を変化させてもよい。

なお、図１７に示した流れ図では、撮像素子１１３による撮像を行う際に、撮像素子１２３を起動させているが、撮像装置１００は、上記ステップＳ１０１において、撮像素子１１３だけでなく、撮像素子１２３も予め起動してもよい。

そして、上記ステップＳ１０６、またはステップＳ１０９において撮像を行うと撮像装置１００は、撮像が完了したかどうかを判断する（ステップＳ１１０）。静止画の場合は一度の撮像トリガに応じて撮像が完了するが、例えば動画の撮像や、ＨＤＲ（ハイダイナミックレンジ）画像の生成のために複数枚の画像を撮像する場合には、このステップＳ１１０の処理によって撮像完了を判断する。撮像が完了していれば（ステップＳ１１０、Ｙｅｓ）、撮像装置１００はカメラアプリケーションを終了する。撮像が完了していなければ（ステップＳ１１０、Ｎｏ）、撮像装置１００は、上記ステップＳ１０２の処理に戻る。

本開示の実施の形態に係る撮像装置１００は、上述した一連の動作を実行することで、所定のズーム倍率までの範囲において撮像素子１１３による撮像を行う際に、撮像素子１２３による撮像も行い、撮像素子１１３、１２３からの出力データを合成する。本開示の実施の形態に係る撮像装置１００は、撮像素子１１３、１２３からの出力データを合成することで、画像の周縁部の画質を向上させることが可能となる。

本実施形態では、カラーフィルタを用いた撮像素子を用いた例を示したが、本開示は係る例に限定されるものではなく、例えば、有機光電変換膜を用いた撮像素子であっても同様に適用可能である。有機光電変換膜を設けた撮像素子を用いることで、例えば本件出願人による特開２０１１−２９３３７号に記載された技術のように、縦方向の色分解も含めた、より高解像度の画像を得ることが可能になる。

本実施形態では、所定の倍率までの範囲では、画像の中心部分（図９のＺｏｎｅ１）については撮像素子１１３の出力をそのまま用いていたが、本開示は係る例に限定されるものではない。画像の中心部分には撮像素子１２３が出力する信号も存在するので、撮像素子１１３の出力と撮像素子１２３の出力とを合成しても良い。画像の中心部分に対応する撮像素子１２３の画素１２３ａは高感度の画素では無いので周縁部分（図９のＺｏｎｅ２，３）ほどの効果は望めないものの、複数のデータを合成することによるＳＮ比の改善は期待できる。

また本開示は、撮像素子１２３の画素の配列は図７に示したものに限定されるものでは無い。通常のベイヤ配列の画素１２３ａの領域と、高感度画素群１２３ｂの領域との間に、例えば図１３で示したような一部のみが高感度画素（ホワイト画素）で構成された領域が設けられていても良い。

＜２．応用例＞
本実施形態に係る撮像装置１００は、様々な装置に用いられ得る。例えば、本実施形態に係る撮像装置１００を、頭部装着型のディスプレイ装置（いわゆるヘッドマウントディスプレイ）に備えることも可能である。

図１９は、頭部装着型のディスプレイ装置を示す説明図である。図１９に示した頭部装着型のディスプレイ装置は、画像生成装置１１１０Ａ、１１１０Ｂ、及び、画像生成装置１１１０Ａ、１１１０Ｂに取り付けられており、画像生成装置１１１０Ａ、１１１０Ｂから出射された光が入射され、導光され、観察者１０４０の瞳１０４１に向かって出射される、シースルー型（半透過型）の導光手段１１２０から構成されている。画像生成装置１１１０Ａ、１１１０Ｂの全体は筐体１１１３内に納められている。

フレーム１０１０は、観察者１０４０の正面に配置されるフロント部１０１０Ｂと、フロント部１０１０Ｂの両端に蝶番１０１１を介して回動自在に取り付けられた２つのテンプル部１０１２と、各テンプル部１０１２の先端部に取り付けられたモダン部（先セル、耳あて、イヤーパッドとも呼ばれる）１３から成り、結合部材１０２０は、観察者１０４０の２つの瞳１０４１の間に位置するフロント部１０１０Ｂの中央部分１０１０Ｃ（通常の眼鏡におけるブリッジの部分に相当する）に取り付けられている。そして、結合部材１０２０の観察者１０４０に面する側にノーズパッド１０１４が取り付けられている。フレーム１０１０及び結合部材１０２０は金属又はプラスチックから作製されており、結合部材１０２０の形状は湾曲した棒状である。

更には、一方の画像生成装置１１１０Ａから延びる配線（信号線や電源線等）１０１５が、テンプル部１０１２、及び、モダン部１０１３の内部を介して、モダン部１０１３の先端部から外部に延びている。更には、各画像生成装置１１１０Ａ，１１１０Ｂはヘッドホン部１０１６を備えており、各画像生成装置１１１０Ａ，１１１０Ｂから延びるヘッドホン部用配線１０１７が、テンプル部１０１２、及び、モダン部１０１３の内部を介して、モダン部１０１３の先端部からヘッドホン部１０１６へと延びている。ヘッドホン部用配線１０１７は、より具体的には、モダン部１０１３の先端部から、耳介（耳殻）の後ろ側を回り込むようにしてヘッドホン部１０１６へと延びている。このような構成にすることで、ヘッドホン部１０１６やヘッドホン部用配線１０１７が乱雑に配置されているといった印象を与えることがなく、すっきりとした頭部装着型ディスプレイとすることができる。尚、参照番号１０１２ａはテンプル部のカバー部材であり、参照番号１０１３ａ，１０１３ｂはモダン部構成部品であり、ビス１０１３ｃによってモダン部構成部品１０１３ａ，１０１３ｂを組み立てる。

また、フロント部１０１０Ｂの中央部分１０１０Ｃには、ＣＣＤあるいはＣＭＯＳセンサから成る固体撮像素子とレンズ（これらは図示せず）とから構成された撮像装置１０１８が取り付けられている。具体的には、中央部分１０１０Ｃには貫通孔が設けられており、中央部分１０１０Ｃに設けられた貫通孔と対向する結合部材１０２０の部分には凹部が設けられており、この凹部内に撮像装置１０１８が配置されている。中央部分１０１０Ｃに設けられた貫通孔から入射した光が、レンズによって固体撮像素子に集光される。固体撮像素子からの信号は、撮像装置１０１８から延びる配線（図示せず）を介して、画像生成装置１１１０Ａに送出される。尚、撮像装置１０１８から延びる配線は、結合部材１０２０とフロント部１０１０Ｂとの間を通り、一方の画像生成装置１１１０Ａに接続されている。このような構成にすることで、撮像装置が頭部装着型ディスプレイに組み込まれていることを、視認させ難くすることができる。

このようなヘッドマウントディスプレイに、本実施形態に係る複数の撮像ユニットを備えた撮像装置１００を設けることで、高品質の撮像画像を得ることができる。

ここでは応用例として３つの装置を示したが、本開示の実施の形態に係る撮像装置１００が適用される装置は係る例に限定されるものでは無い。例えば、仮想現実（ＶＲ）や拡張現実（ＡＲ）をユーザに体験させるためのヘッドマウントディスプレイ機器、一眼レフカメラ、テレビジョンカメラ等にも本開示の実施の形態に係る撮像装置１００が適用されうる。

＜３．まとめ＞
以上説明したように本開示の実施の形態によれば、複数の撮像ユニットを備える撮像装置１００において、その複数の撮像ユニットを同時に使用することで、撮像される画像の画質を高められることが可能な撮像装置１００を提供することが出来る。

本明細書の各装置が実行する処理における各ステップは、必ずしもシーケンス図またはフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、各装置が実行する処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。

また、各装置に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上述した各装置の構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供されることが可能である。また、機能ブロック図で示したそれぞれの機能ブロックをハードウェアで構成することで、一連の処理をハードウェアで実現することもできる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
同一方向に対する撮像を行う第１撮像素子及び第２撮像素子を少なくとも備え、
前記第１撮像素子または前記第２撮像素子の少なくともいずれかは、中心部と該中心部以外とで画素配列が異なる、撮像装置。
（２）
前記第１撮像素子は全面で同一の画素配列を有し、
前記第２撮像素子は、中心部と該中心部以外とで画素配列が異なる、請求項１に記載の撮像装置。
（３）
前記第２撮像素子は前記中心部以外の感度が中心部の感度より高い画素を備える、前記（１）または（２）に記載の撮像装置。
（４）
前記第２撮像素子は前記中心部以外の領域では少なくとも白色画素を含んだ画素の配列とする、前記（３）に記載の撮像装置。
（５）
前記第２撮像素子は前記中心部以外の領域の全てで白色画素の配列とする、前記（４）に記載の撮像装置。
（６）
前記第２撮像素子は前記中心部以外の領域では少なくとも前記中心部に含まれない色を含んだ画素の配列とする、前記（３）に記載の撮像装置。
（７）
前記第２撮像素子は前記中心部以外の領域では赤外光を検出する画素を含んだ画素の配列とする、前記（６）に記載の撮像装置。
（８）
前記第２撮像素子の前記中心部以外の領域の画素を用いて情報の識別を行う、前記（６）または（７）に記載の撮像装置。
（９）
識別する前記情報は、物体である、前記（８）に記載の撮像装置。
（１０）
識別する前記情報は、光源である、前記（８）に記載の撮像装置。
（１１）
前記第１撮像素子の出力と、前記第２撮像素子との出力を合成する合成部をさらに備える、前記（１）〜（１０）のいずれかに記載の撮像装置。
（１２）
前記合成部は、前記第１撮像素子の像高に応じて合成比率を変化させる、前記（１１）に記載の撮像装置。
（１３）
前記合成部は、前記第１撮像素子に対するシェーディング特性に応じて合成比率を変化させる、前記（１１）に記載の撮像装置。
（１４）
前記第１撮像素子の画素より前記第２撮像素子の画素の方が微細である、前記（１）〜（１３）のいずれかに記載の撮像装置。
（１５）
前記第１撮像素子の画素と前記第２撮像素子の画素とは同一のサイズである、前記（１）〜（１３）のいずれかに記載の撮像装置。
（１６）
前記第１撮像素子の画素は、縦横２画素単位で同一の色の画素である、前記（１５）に記載の撮像装置。
（１７）
同一方向に対する撮像を行う第１撮像素子及び第２撮像素子を少なくとも備え、
前記第１撮像素子の中心部と略同一画角の領域の前記第２撮像素子の領域は同一の画素の配列を有し、前記第１撮像素子の中心部以外と略同一画角の領域の前記第２撮像素子の領域は異なる画素の配列を有する、撮像装置。

１００ 撮像装置
１１０、１２０ 撮像ユニット
１１１、１２１ レンズ
１１２、１２２ ＩＲカットフィルタ
１１３、１２３ 撮像素子

Claims (17)

1. 同一方向に対する撮像を行う第１撮像素子及び第２撮像素子を少なくとも備え、
   前記第１撮像素子または前記第２撮像素子の少なくともいずれかは、中心部と該中心部以外とで画素配列が異なる、撮像装置。
2. 前記第１撮像素子は全面で同一の画素配列を有し、
   前記第２撮像素子は、中心部と該中心部以外とで画素配列が異なる、請求項１に記載の撮像装置。
3. 前記第２撮像素子は前記中心部以外の感度が中心部の感度より高い画素を備える、請求項２に記載の撮像装置。
4. 前記第２撮像素子は前記中心部以外の領域では少なくとも白色画素を含んだ画素の配列とする、請求項３に記載の撮像装置。
5. 前記第２撮像素子は前記中心部以外の領域の全てで白色画素の配列とする、請求項４に記載の撮像装置。
6. 前記第２撮像素子は前記中心部以外の領域では少なくとも前記中心部に含まれない色を含んだ画素の配列とする、請求項３に記載の撮像装置。
7. 前記第２撮像素子は前記中心部以外の領域では赤外光を検出する画素を含んだ画素の配列とする、請求項６に記載の撮像装置。
8. 前記第２撮像素子の前記中心部以外の領域の画素を用いて情報の識別を行う、請求項６に記載の撮像装置。
9. 識別する前記情報は、物体である、請求項８に記載の撮像装置。
10. 識別する前記情報は、光源である、請求項８に記載の撮像装置。
11. 前記第１撮像素子の出力と、前記第２撮像素子との出力を合成する合成部をさらに備える、請求項１に記載の撮像装置。
12. 前記合成部は、前記第１撮像素子の像高に応じて合成比率を変化させる、請求項１１に記載の撮像装置。
13. 前記合成部は、前記第１撮像素子に対するシェーディング特性に応じて合成比率を変化させる、請求項１１に記載の撮像装置。
14. 前記第１撮像素子の画素より前記第２撮像素子の画素の方が微細である、請求項１に記載の撮像装置。
15. 前記第１撮像素子の画素と前記第２撮像素子の画素とは同一のサイズである、請求項１に記載の撮像装置。
16. 前記第１撮像素子の画素は、縦横２画素単位で同一の色の画素である、請求項１４に記載の撮像装置。
17. 同一方向に対する撮像を行う第１撮像素子及び第２撮像素子を少なくとも備え、
    前記第１撮像素子の中心部と略同一画角の領域の前記第２撮像素子の領域は同一の画素の配列を有し、前記第１撮像素子の中心部以外と略同一画角の領域の前記第２撮像素子の領域は異なる画素の配列を有する、撮像装置。

Images