JP2012114682A - 撮像装置、画像処理方法、並びにコンピューター・プログラム - Google Patents

Abstract

【課題】複数の撮像素子の各々から取得した撮像画像を画素レベルで好適に対応付けして記録する。
【解決手段】主撮像素子から取得した本撮影画像と、位相差検出画素を備えた副撮像素子の撮影画像を比較して、画像のズレを検出し、その画像のズレを補正することで、配置のズレを補正した位相差情報を本撮影画像と対応付けて記録する。撮像装置からは、正確な位相差情報すなわち距離情報が各画素に埋め込まれた撮影画像を得ることができ、このような距離情報付きの撮影画像をさまざまなアプリケーションの利用に供することができる。
【選択図】 図５

Description

本発明は、複数の撮像素子を備えた撮影装置、画像処理方法、並びにコンピューター・プログラムに係り、特に、各撮像素子で取得した撮影画像の対応付けを行なう撮影装置、画像処理方法、並びにコンピューター・プログラムに関する。

フィルムや感光板を使って撮影する銀塩カメラに代わって、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの固体撮像素子からなるイメージ・センサーで捕捉した画像をディジタル符号化するディジタルカメラが広範に普及している。ディジタルカメラによれば、ディジタル符号化された画像をメモリーに記憶し、コンピューターによる画像処理や画像管理を行なうことができ、さらにフィルムの寿命という問題がないといった利点がある。

撮像素子の中には、位相差情報を検出する機能を備えたものもある。特定の光電変換部（フォトダイオード）から出力される一対の画像信号の位相差に基づいて、撮影レンズの焦点状態を検出することができる。

また、撮影技術の未熟な個人が、操作不慣れ（例えば、大きな手振れ）によってカメラを激しく動かせしてしまうことがよくあるが、多くのディジタルカメラには、手振れ補正機能が搭載されている。手振れ補正機能は、イメージ・センサー上での画像処理で補正する電子式手振れ補正や、光学レンズで補正する機械式手振れ補正がある。

電子式手振れ補正は、撮影可能な最大の画素領域の中から撮影画像として切り出す有効画素領域を、手振れ補正量に応じて移動させる補正方法である。電子式手振れ補正は、特別な機構を装備する必要はないが、撮像素子の受光面積を有効に使えないというデメリットがある。

一方、機構式の手振れ補正機能は、ジャイロセンサー又は加速度センサーを使って計測した手振れベクトルを機構系にフィードバックして、イメージ・センサーに射影される像が振れを起こさないように高速に制御することで実現される。ここで言う機構系としては、レンズ、プリズム、イメージャー（若しくはイメージャーと一体化したモジュール）が挙げられ、それぞれ「レンズ・シフト」、「プリズム・シフト」、「イメージャー・シフト」と呼ばれる。レンズ・シフト式の手振れ補正は、特定のレンズを駆動するための特殊な機構を組み込まなければならず、サイズが大きくなり、カメラ・レンズの設計が難しくなるためコスト高となる。一方、イメージャー・シフト式の手振れ補正は、カメラ本体に装着可能なすべてのカメラ・レンズで手振れ補正を行なうことができ、特別なカメラ・レンズの設計が不要である。

また、最近では、複数の撮影部を備えたディジタルカメラも多い。例えば、光路を複数の光路に分岐する分岐手段と、分岐された各光路の結像位置に配置した複数の撮像素子とを設け、撮像素子の撮像サイズを違えることによって、各々の撮像素子から画角サイズが異なる画像の映像信号を出力するように構成された、１台で複数の画角の映像信号を得ることができるカメラ装置について提案がなされている（例えば、特許文献１を参照のこと）。

また、本撮影画像を撮像する主撮像素子の他に、ファインダー窓にライブビュー表示する被写体像などの補助撮影画像を撮像する副撮像素子を備えた撮像装置について提案がなされている（例えば、特許文献２を参照のこと）。ユーザーは、撮影時において、補助撮影画像を眺めてフレーミング確認などを行なうことができる。

複数の撮像部を備えたディジタルカメラにおいて、各撮像部から得られる撮影画像を対応付けることで、新たなアプリケーションを提供することが期待される。

ところが、主撮像素子は、静止画を撮像することから高画素数であるのに対し、補助撮影画像はライブビューすなわち動画の撮影が主であることから、副撮像素子は低画素数である。すなわち、撮像素子毎に、画面サイズや画素数、画素ピッチが異なることから、そもそも画素レベルで両撮影画像を対応付けることは困難である。また、両撮像素子の画素数の相違によりフレームレートも異なることから、画像の撮影タイミングが完全に一致しない。このため、例えば撮影時に撮影者が起こす手振れが画像取得のタイミングよりも速いと、各撮影画像の間で対応が取れなくなることがある。

また、カメラ本体内に上述した手振れ補正の機構系を配置できる空間は制限されるため、通常は、主撮像素子側にのみ、イメージャー・シフト式の手振れ補正機構が装備される。片方の撮像素子にのみ手振れ補正を施すと、撮影画像間の対応付けはさらに困難になる。また、両方の撮像素子に手振れ補正機構を装備したとしても、補正誤差や、撮像素子の移動量の演算誤差、移動誤差に起因して、撮影画像を対応付けることは困難である。

特開２００３−３０４１１５号公報 特開２０１０−２２４１１２号公報

本発明の目的は、複数の撮像素子の各々から取得した撮影画像を画素レベルで好適に対応付けして記録することができる、優れた撮影装置、画像処理方法、並びにコンピューター・プログラムを提供することにある。

本発明のさらなる目的は、撮像素子毎の画面サイズや画素数、画素ピッチの相違、撮影タイミングの不一致、一部の撮像素子のみ手振れ補正を適用することなどに起因する撮影画像間のズレを解消して、各撮影画像を画素レベルで好適に対応付けして記録することができる、優れた撮影装置、画像処理方法、並びにコンピューター・プログラムを提供することにある。

本願は、上記課題を参酌してなされたものであり、請求項１に記載の発明は、
撮像素子上に位相差検出画素を含まない第１の撮像部と、
撮像素子上に位相差検出画素を含む第２の撮像部と、
前記第１の撮像部が取得した第１の取得画像と前記第２の撮像部が取得した第２の取得画像を比較する画像比較部と、
前記画像比較部による比較結果に基づいて、前記第２の撮像部が取得した位相差情報を補正する補正部と、
前記補正部により補正した後の位相差情報を前記第１の取得画像に適用する位相差適用部と、
画像情報を記録する記録部と、
を具備する撮像装置である。

請求項２に記載の発明によれば、請求項１に記載の撮像装置の記録部は、位相差情報を画像情報とともに記録するように構成されている。

請求項３に記載の発明によれば、請求項１に記載の撮像装置の第１の撮像部は手振れ補正機能を装備する一方、前記第２の撮像部は手振れ補正機能を装備していない。そして、画像比較部は、手振れ補正された前記第１の取得画像と手振れ補正されない前記第２の取得画像の間の画像のズレを検出するように構成されている。

請求項４に記載の発明によれば、請求項１に記載の撮像装置の第２の撮像部は手振れ補正機能を装備する一方、前記第１の撮像部は手振れ補正機能を装備していない。そして、画像比較部は、手振れ補正された前記第２の取得画像と手振れ補正されない前記第１の取得画像の間の画像のズレを検出するように構成されている。

請求項５に記載の発明によれば、請求項１に記載の撮像装置の第１及び第２の撮像部はともに手振れ補正機能を装備している。そして、画像比較部は、手振れ補正における補正誤差に起因する前記第１の取得画像と前記第２の取得画像の間の画像のズレを検出するように構成されている。

請求項６に記載の発明によれば、請求項５に記載の撮像装置はイメージャー・シフト式手振れ補正機能を装備している。そして、画像比較部は、前記第１及び第２の撮像部の手振れ補正時における撮像素子の移動量の演算誤差又は移動誤差に起因する前記第１の取得画像と前記第２の取得画像の間の画像のズレを検出するように構成されている。

請求項７に記載の発明によれば、請求項５又は６のいずれかに記載の撮像装置の画像比較部は、前記第１及び第２の撮像部の間における撮像素子の大きさ、画素数、又は画素ピッチに起因する画像のズレを検出するように構成されている。

請求項８に記載の発明によれば、請求項１に記載の撮像装置の画像比較部は、前記第１及び第２の撮像部の間における撮像素子の取得タイミングの差に起因する前記第１の取得画像と前記第２の取得画像の間の画像のズレを検出するように構成されている。

また、本願の請求項９に記載の発明は、
撮像素子上に位相差検出画素を含まない第１の撮像部から取得した第１の取得画像と、撮像素子上に位相差検出画素を含む第２の撮像部から取得した第２の取得画像を比較する画像比較ステップと、
前記画像比較ステップにおける比較結果に基づいて、前記第２の撮像部から取得した位相差情報を補正する補正ステップと、
前記補正ステップにおいて補正した後の位相差情報を前記第１の取得画像に適用する位相差適用ステップと、
を有する画像処理方法である。

また、本願の請求項１０に記載の発明は、
撮像素子上に位相差検出画素を含まない第１の撮像部から取得した第１の取得画像と、撮像素子上に位相差検出画素を含む第２の撮像部から取得した第２の取得画像を比較する画像比較ステップと、
前記画像比較ステップにおける比較結果に基づいて、前記第２の撮像部から取得した位相差情報を補正する補正ステップと、
前記補正ステップにおいて補正した後の位相差情報を前記第１の取得画像に適用する位相差適用ステップと、
をコンピューターに実行させるための、コンピューター可読形式で記述されたコンピューター・プログラムである。

本願の請求項１０に係るコンピューター・プログラムは、コンピューター上で所定の処理を実現するようにコンピューター可読形式で記述されたコンピューター・プログラムを定義したものである。換言すれば、本願の請求項１０に係るコンピューター・プログラムをコンピューターにインストールすることによって、コンピューター上では協働的作用が発揮され、本願の請求項１に係る撮像装置と同様の作用効果を得ることができる。

本発明によれば、複数の撮像素子の各々から取得した撮影画像を、撮像素子毎の画面サイズや画素数、画素ピッチの相違、撮影タイミングの不一致、一部の撮像素子のみ手振れ補正を適用することなどに起因する撮影画像間のズレを解消して、画素レベルで好適に対応付けして記録することができる、優れた撮影装置、画像処理方法、並びにコンピューター・プログラムを提供することができる。

本発明によれば、手振れ補正機能が装備された撮像素子からの撮影画像と、位相差検出画素を備えるとともに手振れ補正機能が装備されない撮像素子からの撮影画像とを、撮像素子毎の画面サイズや画素数、画素ピッチの相違、撮影タイミングの不一致、一部の撮像素子のみ手振れ補正を適用することなどに起因する撮影画像間のズレを解消して、画素レベルで好適に対応付けして記録することができる、優れた撮影装置、画像処理方法、並びにコンピューター・プログラムを提供することができる。

本発明によれば、位相差検出画素を備えない撮像素子、又は、位相差検出画素を備える撮像素子のうちいずれか一方からの撮影画像を参照し、この撮影画像に対し他方の撮像素子からの撮影画像がどの程度のズレを発生しているかを検出し、この検出結果に基づいて撮影画像の位置補正を行なうことで、位相差検出画素を備えた撮像素子で取得した位相差情報を、ズレなく、他方の撮影画像に適用することが可能である。

本発明によれば、イメージャー・シフト式手振れ補正が行なわれた撮像素子からの撮影画像を参照し、この撮影画像に対して位相差検出画素を備えた撮像素子からの撮影画像がどの程度のズレを発生しているかを検出し、この検出結果に基づいて撮影画像の位置補正を行なうことで、位相差検出画素を備えたで取得した位相差情報を、ズレなく、他方の撮影画像に適用することが可能である。

本発明のさらに他の目的、特徴や利点は、後述する本発明の実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。

図１は、本発明の一実施形態に係る撮像装置１００の構成を示した図である。 図２は、副撮像素子１０２の撮像面１０２ｆの構成を示した図である。 図３は、位相差検出エリアＥｆの構成を示した図である。 図４は、対となる位相差検出画素の縦断面図である。 図５は、撮像素子１０２、１０３の撮影画像の対応付け及び記録を行なう映像信号処理を実現するための機能的構成を模式的に示した図である。 図６は、撮像素子１０２、１０３の撮影画像の対応付け及び記録を行なう処理手順を示したフローチャートである。 図７は、図６に示したフローチャート中のステップＳ８０４で実行される静止画データ取得処理の詳細な処理手順を示したフローチャートである。 図８は、主撮像素子１０２から得られた本撮影画像（映像信号Ｂ）の一例を示した図である。 図９は、図８に示した本撮影画像に対応する、副撮像素子１０３から得られた補助撮影画像（映像信号Ａ）を示した図である。 図１０は、図９に示した補助撮影画像からフォーカス位置を検出した様子を示した図である。 図１１は、図９に示した補助撮影画像からエッジ検出を行なった結果を示した図である。 図１２は、補助撮影画像に測距データを重畳して示した図である。 図１３は、距離情報を補正する様子を示した図である。

以下、図面を参照しながら本発明の実施形態について詳細に説明する。

図１には、本発明の一実施形態に係る撮像装置１００の構成を示している。図示の撮像装置１００は、全体制御部１０１と、ミラー機構１０５と、シャッター１２１と、主撮像素子１０２と、副撮像素子１０２と、信号処理部１１１と、Ａ／Ｄ変換回路１１２と、ディジタル信号処理部１１３及び画像メモリー１１４と、操作部１１９と、タイミング制御部１０６と、シャッター制御部１０７と、ミラー制御部１０８と、フォーカス制御部１０９と、絞り制御部１１０と、フラッシュ制御部１１６と、フラッシュ１２０と、振れ検出センサー１１５と、振れ補正ユニット１０４と、モニター１１７と、通信インターフェース１２２などを備えている。

操作部１１９は、レリーズ・ボタン（図示しない）を含む各種ボタン及びスイッチなどで構成される。操作部１１９に対する撮影者の入力操作に応答して、全体制御部１０１が各種動作を実行する。

通信インターフェース１２２は、ＴＣＰ／ＩＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ／Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）などのネットワークに接続するためのインターフェース・プロトコルを実現し、サーバーなどの外部ホストに画像などのデータ伝送を可能にする。

全体制御部１０１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などを備えたマイクロコンピュータとして構成される。全体制御部１０１は、ＲＯＭ内に格納されるプログラムをＲＡＭにロードし、ＣＰＵで実行することによって、各種機能を実現する。例えば、全体制御部１０１は、副撮像素子１０３から得られる位相差検出信号（後述）を基にフォーカス制御部１０９などと協働して、フォーカス・レンズ１３１の位置を制御する合焦制御動作を行なう。

フォーカス制御部１０９は、全体制御部１０１からの入力信号に基づいて制御信号を生成して、モーターＭ１を駆動することによって、撮影レンズ・ユニット１３０のレンズ群に含まれるフォーカス・レンズ１３１の位置を光軸上で移動する。また、フォーカス・レンズの位置は、レンズ位置検出部１３４によって検出され、フォーカス・レンズの位置データとして全体制御部１０１に送られる。

ミラー制御部１０８は、全体制御部１０１からの入力信号に基づいて制御信号を生成し、モーターＭ２を駆動することによって、ミラー機構１０５が光路から退避したミラーアップ状態と光路を遮断したミラーダウン状態との切り替えを制御する。

シャッター制御部１０７は、全体制御部１０１からの入力信号に基づいて制御信号を生成し、モーターＭ３を駆動することによって、シャッター１２１の開閉を制御する。

絞り駆動制御部１１０は、全体制御部１０１からの入力信号に基づいて制御信号を生成し、モーターＭ４を駆動することによって、撮影レンズ・ユニット１３０に設けられた絞り１３２の絞り径を制御する。

タイミング制御部１０６は、全体制御部１０１からの入力信号に基づいて制御信号を生成し、主撮像素子１０２並びに副撮像素子１０３などに対するタイミング制御を行なう。

ミラー機構１０５は、ハーフミラーで構成され、撮影レンズ・ユニット１３０のレンズ群１３１によって形成される光路上に配置され、光路を２分する。すなわち、ハーフミラーを透過した光は主撮像素子１０２上に光学像を結像し、また、ハーフミラーで反射した光は副撮像素子１０３上に光学像を結像する。

振れ検出センサー１１５は、手振れなどにより撮像装置１００に与えられる振れを検出する。水平方向をＸ軸（ピッチ方向）、Ｘ軸に垂直な方向をＹ軸（ヨー方向）とする２次元座標系を想定するものとすると、振れ検出センサー１１５は、ピッチ方向の振れを検出するピッチ方向センサーと、ヨー方向のカメラ振れを検出するヨー方向センサーを有している。ピッチ方向センサー及びヨー方向センサー（いずれも図示しない）は、例えば圧電素子を用いたジャイロ（角速度センサー）で構成され、各方向の振れの角速度を検出する。振れ検出センサー１１５で検出された振れ量は、後述するイメージャー・シフト式手振れ補正で用いられる。

フラッシュ１２０は、被写体の輝度不足時等に利用される光源であり、その点灯の有無及び点灯時間などは、フラッシュ制御部１１６及び全体制御部１０１などによって制御される。

主撮像素子１０２は、ＣＣＤやＣＭＯＳなどの固体撮像素子からなるイメージ・センサーで構成され、タイミング制御部１０６から入力される駆動制御信号（蓄積開始信号及び蓄積終了信号）に応答して、レンズ群１３１を介して受光面に結像された被写体光像の露光（光電変換による電荷蓄積）を行ない、本撮影画像に係る画像信号（記録用の画像信号）を生成する。本撮影画像は、静止画、動画のいずれであってもよい。主撮像素子１０２は、第２の撮像部１０４よりも大画面サイズ、大画素数の画像を取得できるものとする。主撮像素子１０２は、タイミング制御部１０６からの読み出し制御信号に応答して、当該画像信号を信号処理部１１１へ出力する。また、タイミング制御部１０６から信号処理部１１１及びＡ／Ｄ（アナログ／ディジタル）変換回路１１２へ、タイミング信号（同期信号）が入力される。

主撮像素子１０２は、振れ補正ユニット１０４によって撮影レンズ・ユニット１３０の光軸と直交する平面上に２次元的に移動可能に支持されている。具体的には、振れ補正ユニット１０４に設けられたヨー方向アクチュエーター及びピッチ方向アクチュエーター（いずれも図示しない）よって、Ｙ軸に平行な方向及びＸ軸に平行な方向に主撮像素子１０２の位置を変更することができる。そして、手振れ補正モード下では、全体制御部１０１が上述の振れ検出センサー１１５からの振れ検出信号に基づいて振れ方向及び振れ量を算出すると、算出された方向及び振れ量に基づき振れ補正制御信号を生成して振れ補正ユニット１０４に出力し、主撮像素子１０２を手振れが打ち消される方向にシフト駆動させる。

主撮像素子１０２で取得された画像信号は、信号処理部１１１でアナログ信号処理が施され、Ａ／Ｄ変換回路１１２によってディジタル画像データに変換された後、ディジタル信号処理部１１３に入力される。ディジタル信号処理部１１３では、画像データに対して、黒レベル補正、ホワイトバランス（ＷＢ）調整、γ補正などの画づくりのためのディジタル信号処理が施され、その後、画像メモリー１１４に一時記憶される。画像メモリー１１４は、高速アクセス可能で、複数フレーム分の画像データを記憶可能な容量を有する。

画像メモリー１１４に一時記憶される本撮影画像データは、全体制御部１０１で圧縮などの画像処理が適宜施された後、メモリーカード１１８に記憶される。また、画像メモリー１１４に一時記憶される画像データは、全体制御部１０１によって適宜モニター１１７に画面表示される。これによって、撮影者などのユーザーは、撮影画像を確認するための確認表示（アフタービュー）や撮影済みの画像を再生することができる。

一方、副撮像素子１０３は、ＣＣＤやＣＭＯＳなどの固体撮像素子からなるイメージ・センサーで構成されるが、主に本撮影前においてライブビュー用（電子ファインダー用）の被写体に係る画像、すなわち補助撮影画像を取得する撮像素子としての役割を果たす。したがって、副撮像素子１０３は、主撮像素子１０２よりも小画面サイズ、小画素数であるが、高速に画像を読み出すことができるという特徴がある。また、副撮像素子１０３は、撮像装置１００の電源を投入すると、常に１秒間当たり６０枚の周期、すなわち６０ｆｐｓで画像データの取得を行なうものとする。副撮像素子１０が取得した補助撮影画像は、液晶パネル又はＥＶＦ（Ｅｌｅｃｔｒｏｎｉｃ Ｖｉｅｗ Ｆｉｎｄｅｒ）などで構成されるモニター１１７に画面出力され、撮影者は撮影時にフレーミング確認として用いることができる。

また、副撮像素子１０３は、位相差検出用の測距信号を出力する光電変換セルを備えている。主撮像素子１０２で本撮影画像を取得する際に、この測距信号を用いて、撮影レンズの焦点状態を検出して、自動焦点合わせを行なうことができる。あるいは、測距データは、測距データを使用したアプリケーションに利用することもできる。測距されたデータを、本撮影画像とともに画像メモリー１１４又はメモリーカード１１８に記録するようにしてもよい。

副撮像素子１０３で取得された画像信号も、信号処理部１１１でアナログ信号処理が施され、Ａ／Ｄ変換回路１１２によってディジタル画像データに変換された後、ディジタル信号処理部１１３に入力される。ディジタル信号処理部１１３で、画像データに対して、黒レベル補正、ホワイトバランス調整、γ補正などの画づくりのためのディジタル信号処理が施され、その後、画像メモリー１１４に一時記憶される。

副撮像素子１０３で取得され画像メモリー１１４に格納される時系列の画像データは、全体制御部１０１によってモニター１１７に画面表示される。これによって、フレーミング確認を行なうための動画的態様の表示（ライブビュー表示）が実現される。

なお、本実施形態では、振れ補正ユニットは、副撮像素子１０３には装備されていない。複数の撮像素子を有する撮像素子において、いずれの撮像素子に振れ補正ユニットを装備するかは設計事項である。本実施形態では、撮像装置１００本体内に機構系を配置できる空間が制限されていることから、主撮像素子１０２にのみ振れ補正ユニット１０４を装備している。

上述したように、副撮像素子１０３は、位相差検出用の測距信号を出力する光電変換セルを備えている。例えば、本出願人に既に譲渡されている特開２００９−１９２６０５号公報には、光電変換セルを組み込み、位相差検出用の撮像素子について記載されている。

ここで、副撮像素子１０３の構成について、図２及び図３を参照しながら説明する。

図２には、副撮像素子１０２の撮像面１０２ｆの構成を示している。図示のように、副撮像素子１０２は、その撮像面１０２ｆにおいてマトリックス状に規定された位相差検出エリアＥｆを有し、各位相差検出エリアＥｆで位相差検出方式の焦点検出が可能である。

図３には、位相差検出エリアＥｆの構成を示している。図示のように、位相差検出エリアＥｆには、フォトダイオード上にＲ（赤）、Ｇ（緑）及びＢ（青）の各カラー・フィルターが配設されたＲ画素３１１、Ｇ画素３１２、及びＢ画素３１３からなる通常の画素（以下、「通常画素」又は「撮像画素」とする）３１０が設けられるとともに、位相差ＡＦを行なうための画素（以下、「位相差検出画素」とする）３０１ｆが設けられている。

位相差検出エリアＥｆには、通常画素の水平ラインとしてＧ画素３１２とＲ画素３１１とが水平方向に交互に配置されたＧｒラインＬ１と、Ｂ画素３１３とＧ画素３１２とが水平方向に交互に配置されたＧｂラインＬ２とが形成されている。このＧｒラインＬ１とＧｂラインＬ２とが垂直方向に交互に配置されることによりベイヤー配列が構成される。

また、位相差検出エリアＥｆには、例えば上記通常画素の水平ライン６本毎に位相差検出画素３０１ｆが水平方向に配列された位相差検出ラインＬｆが形成されている。なお、位相差検出エリアＥｆ内には、例えば２０本程度の位相差検出ラインＬｆが設けられている。

図４には、対となる位相差検出画素の縦断面図を示している。位相差検出ラインＬｆは、撮影光学系の射出瞳ＥＹを瞳分割して被写体光を受光する一対の位相差検出画素３０１ａ、３０１ｂを複数有している。図４に示すように、位相差検出ラインＬｆには、撮影光学系の射出瞳ＥＹの右側部分（以下では、「右側の部分瞳領域」又は単に「右瞳領域」とする）Ｑａからの光束Ｔａと左側部分（以下では、「左側の部分瞳領域」又は単に「左瞳領域」とする）Ｑｂからの光束Ｔｂとを受光する一対の位相差検出画素３０１ａ、３０１ｂが水平方向に配列されている。なお、同図中では、＋Ｘ方向側を右側と表現し、−Ｘ方向側を左側と表現している。

一対の位相差検出画素３０１ａ、３０１ｂのうち、一方の位相差検出画素（以下では、「第１の位相差検出画素」とする）３０１ａは、第１の位相差検出画素３０１ａへの入射光を集光するマイクロレンズＭＬと、スリット（矩形）状の第１の開口部ＯＰ１を有する第１の遮光板ＡＳ１と、当該第１の遮光板ＡＳ１の下方に配置され、スリット（矩形）状の第２の開口部ＯＰ２を有する第２の遮光板ＡＳ２と、光電変換部ＰＤを備えている。

そして、第１の位相差検出画素３０１ａにおける第１の開口部ＯＰ１は、受光素子ＰＤの中心を通り光軸ＬＴに平行な中心軸ＣＬを基準（起点）にして特定方向（ここでは、右方向（＋Ｘ方向））に偏った位置に設けられている。また、第１の位相差検出画素３０１ａにおける第２の開口部ＯＰ２は、中心軸ＣＬを基準にして上記特定方向とは反対の方向（以下では、「反特定方向」とする）に偏った位置に設けられている。

また、一対の位相差検出画素３０１ａ、３０１ｂのうち、他方の位相差検出画素（以下では、「第２の位相差検出画素」とする）３０１ｂは、スリット状の第１の開口部ＯＰ１を有する第１の遮光板ＡＳ１と、第１の遮光板ＡＳ１の下方に配置され、スリット状の第２の開口部ＯＰ２を有する第２の遮光板ＡＳ２を備えている。そして、第２の位相差検出画素３０１ｂにおける第１の開口部ＯＰ１は、中心軸ＣＬを基準にして上記特定方向とは反対の方向に偏った位置に設けられている。また、第２の位相差検出画素３０１ｂにおける第２の開口部ＯＰ２は、中心軸ＣＬを基準にして上記特定方向に偏った位置に設けられている。

すなわち、一対の位相差検出画素３０１ａ、３０１ｂでは、第１の開口部ＯＰ１が互いに異なる方向に偏って配置される。また、第２の開口部ＯＰ２は、位相差検出画素３０１ａ、３０１ｂ内の対応する第１の開口部ＯＰ１に対して異なる方向にズレて配置される。

上記の構成を有する一対の位相差検出画素３０１ａ、３０１ｂでは、射出瞳ＥＹにおいて異なる領域（部分）を通過した被写体光についての測距信号が取得される。具体的には、射出瞳ＥＹの右瞳領域Ｑａを通過した光束Ｔａは、マイクロレンズＭＬ及び第１の遮光板ＡＳ１の第１の開口部ＯＰ１を通過し、さらに第２の遮光板ＡＳ２によって制限（限定）された後、第１の位相差検出画素３０１ａの受光素子ＰＤで受光される。そして、第１の位相差検出画素３０１ａからは、右瞳領域Ｑａの光束Ｔａに関する測距信号が取得される。また、射出瞳ＥＹの左瞳領域Ｑｂを通過した光束Ｔｂは、マイクロレンズＭＬ及び第２の遮光板ＡＳ２の第１の開口部ＯＰ１を通過し、さらに第２の遮光板ＡＳ２によって制限された後、第２の位相差検出画素３０１ｂの受光素子ＰＤで受光される。そして、第２の位相差検出画素３０１ｂからは、左瞳領域Ｑｂの光束Ｔｂに関する測距信号が取得される。

このように、一対の位相差検出画素３０１ａ、３０１ｂにおける各受光素子ＰＤでは、撮影光学系の射出瞳ＥＹにおける右側部分及び左側部分（一対の部分瞳領域）Ｑａ、Ｑｂを通過した被写体光の光束Ｔａ、Ｔｂそれぞれが受光され、受光した光束Ｔａ、Ｔｂに応じた測距信号が各受光素子ＰＤによって生成される。

但し、本発明の要旨は、必ずしも上記の測距手段の構成に限定されるものではなく、画像信号と同時に測距信号を取得可能であれば、副撮像素子１０３は他の構成であってもよい。

本実施形態に係る撮像装置１００では、副撮像素子１０３からは画素毎の測距データを得ることができる。かかる測距データを、主撮像素子１０２から取得される静止画若しくは動画の本撮影画像とともに記録することで、撮影画像に対して測距値を使用したアプリケーションに用いることができる。勿論、主撮像素子１０２による撮影時において、副撮像素子１０３から得られる測距データをオート・フォーカスに使用することもできる。

副撮像素子１０３からは、画像信号と同時に、画素毎に位相差情報を得ることができる。主撮像素子１０２から取得される本撮影画像と、副撮像素子１０３から得られる補助撮影画像とを対応付けし、位相差情報を本撮影画像とともに記録するようにすれば、本撮影画像に含まれる各オブジェクトの位相差情報を得ることができ、さまざまなアプリケーションに展開することが期待される。

ところが、各々の撮像素子１０２、１０３から取得される撮影画像間で生じるズレが問題となる。例えば副撮像素子１０３から得られる距離情報で自動焦点合わせを行なう場合であれば、両撮影画像が画素レベルで一致する程の精度は不要である。これに対し、オブジェクト毎の位相差情報を使用するアプリケーションの場合、撮影画像間のズレ量だけオブジェクトに対し誤った位相差情報が適用されてしまい、アプリケーションが本来の成果を上げることができないなどの問題がある。

ここで、主撮像素子１０２と副撮像素子１０３の撮影画像間でズレが生じる原因について考察してみる。

副撮像素子は、主撮像素子１０２よりも小画面、小画素数であり、高フレームレートで画像読み出しを行なうことは既に述べた。したがって、主撮像素子１０２と副撮像素子１０３とで画像取得のタイミングが異なる。このため、撮影時に撮影者が起こす手振れが画像取得のタイミングよりも速いと、両撮影画像の間にズレが生じてしまう。

図１に示した撮像装置１００は、主撮像素子１０２にのみ振れ補正ユニット１０４を装備している。したがって、撮影時に撮影者が手振れを起こすと、本撮影画像にのみ手振れ補正が施されるため、両撮影画像の間にズレが生じてしまう。

このように、撮影時に撮影者が手振れを起こしていると、主撮像素子１０２から取得される本撮影画像と副撮像素子１０３から得られる補助撮影画像とを対応付けして、位相差情報を本撮影画像とともに記録する場合、位相差情報は手振れの分だけズレて本撮影画像に適用されてしまう。

あるいは、副撮像素子１０３には電子式手振れ補正を適用する方法も考えられる。振れ検出センサー１１５で検出した補正量で振れ補正ユニット１４が主撮像素子１０２をシフト駆動するとともに、副撮像素子１０３にもその補正量をフィードバックして、有効画素領域の切り出し位置を補正すればよい。しかしながら、主撮像素子１０２と副撮像素子１０３とで画像取得のタイミングが異なるため、撮影時に撮影者が起こす手振れが画像取得のタイミングよりも速いと、手振れ補正を施しても両撮影画像の間にズレが生じてしまう。また、主撮像素子１０２と副撮像素子１０３とで画面サイズや画素数が相違することの影響により、補正量の丸め誤差が発生して、両撮影画像の間のズレを解消することは難しい。

また、図１に示した構成とは相違し、主撮像素子１０２及び副撮像素子１０３ともに振れ補正ユニットを装備し、両撮影画像に対して手振れ補正を施したとしても、撮像素子毎に画面サイズや画素数が相違することの影響により、補正量の丸め誤差や、振れ補正ユニットによる撮像素子の移動量の誤差が発生して、両撮影画像の間のズレを解消することは難しい。また、主撮像素子１０２と副撮像素子１０３とで画像取得のタイミングが異なるため、撮影時に撮影者が起こす手振れが画像取得のタイミングよりも速いと、手振れ補正を施しても両撮影画像の間にズレが生じてしまう。

そこで、本実施形態では、主撮像素子１０２から取得した本撮影画像と、副撮像素子１０３から取得した補助撮影画像とを比較して、画像のズレを検出し、その画像のズレを補正することで、位相差情報の配置のズレも補正してから、本画像に位相差情報の対応付けを行なうようにした。これによって、画素レベルで正確な位相差情報を本撮影画像に適用して、記録することができる。撮像装置１００からは、正確な位相差情報すなわち距離情報が各画素に埋め込まれた撮影画像を得ることができ、このような距離情報付きの撮影画像をさまざまなアプリケーションの利用に供することができる。

このような各撮像素子１０２、１０３の撮影画像の対応付け及び記録処理は、例えば全体制御部１０１と各制御部との協働的動作による映像信号処理として実現される（但し、全体制御部１０１以外の回路モジュールで同様の映像信号処理を行なうようにしてもよい）。図５には、かかる映像信号処理を実現するための機能的構成を模式的に示している。また、図６には、撮像素子１０２、１０３の撮影画像の対応付け及び記録を行なう処理手順をフローチャートの形式で示している。

撮像装置１００の電源がオンになると、図６に示した処理手順が起動する（ステップＳ８０１）。副撮像素子１０３からは、タイミング制御部１０６が出力する駆動制御信号に従って、６０ｆｐｓの周期で、位相差情報付きの映像信号Ａが読み出される。そして、映像信号Ａは、ディジタル信号処理部１１３で黒レベル補正、ホワイトバランス調整、γ補正などの画づくりのためのディジタル信号処理が施された後に、第２の映像信号入力部７０２から入力される（ステップＳ８０２）。

ここで、操作部１１９でレリーズ・ボタンが操作されるなど、撮影者から撮影指示があると（ステップＳ８０３のＹｅｓ）、別途定義済みの静止画データ取得処理を実行する（ステップＳ８０４）。静止画データ取得処理の詳細については、後述に譲る。

ステップＳ８０４で静止画データ取得処理が終了した後、又は、撮影者から撮影指示がなかったときには（ステップＳ８０３のＮｏ）、信号処理後の映像信号Ａは映像信号出力部７１１に転送され、出力処理が行なわれる（ステップＳ８０５）。

映像信号出力部７１１では、映像信号Ａに対し、後段出力のデバイスに合わせた解像度変換処理が施される。例えば、映像信号出力部７１１の出力先にＶＧＡ（Ｖｉｄｅｏ Ｇｒａｐｈｉｃ Ａｒｒａｙ）出力の液晶パネルが接続されている場合には、解像度変換部７０３で６４０×４８０の解像度に変換される。また、フルＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）出力対応のテレビが接続されている場合には、１９２０×１０８０の解像度への変換が行なわれる。

また、映像信号出力部７１１では、映像信号Ａに対し、後段出力のデバイスに合わせたフォーマット変換処理が施される。例えば、映像信号出力部７１１の出力先にパラレル信号入力の液晶パネルが接続されている場合には、パラレル形式への変換が行なわれる。また、ＨＤＭＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ ｉｎｔｅｒｆａｃｅ）接続が可能なテレビが接続されている場合には、ＨＤＭＩ形式へのフォーマット変換が行なわれる。

撮影者は、映像信号出力部７１１から出力された表示画面を確認しながら、フレーミングを行なうことが可能となる。

撮像装置１００の電源がオフになるまでは（ステップ Ｓ８０６のＮｏ）、上記の処理ステップＳ８０２〜Ｓ８０５が繰り返し実行される。そして、撮像装置１００の電源がオフになると（ステップＳ８０６のＹｅｓ）、本処理ルーチンを終了する（ステップＳ８０７）。

図７には、図６に示したフローチャート中のステップＳ８０４で実行される静止画データ取得処理の詳細な処理手順をフローチャートの形式で示している。

操作部１１９でレリーズ・ボタンが操作されるなど、撮影者から撮影指示が行なわれたことに応答して、当該処理が起動する（ステップＳ９０１）。

タイミング制御部１０６は、撮影者による撮影指示のタイミングで駆動制御信号を出力する。主撮像素子１０２からは、この駆動制御信号に従って、本撮影画像に相当する映像信号Ｂが読み出される。主撮像素子１０２には振れ補正ユニット１０４が装備されており、映像信号Ｂは手振れを含まないものとする。そして、映像信号Ｂは、ディジタル信号処理部１１３で黒レベル補正、ホワイトバランス調整、γ補正などの画づくりのためのディジタル信号処理が施された後に、第１の映像信号入力部７０１から入力される（ステップＳ９０２）。

次いで、第２の映像信号入力部７０２は、入力した位相差情報付きの映像信号Ａを解像度変換部７０３に転送する。解像度変換部７０３は、映像信号Ｂと同じ解像度となるように、映像信号Ａに対し解像度変換を行なう（ステップＳ９０３）。また、解像度変換の際には、映像信号Ａについた位相差情報すなわち測距データについても、同様の補間処理を行なう。

ここで、解像度変換の手法として、バイリニア（線形補間）法やバイキュービック法などのディジタル画像の拡大アルゴリズムが挙げられる。但し、本発明の要旨は、特定の解像度変換アルゴリズムに限定されるものではない。

解像度変換後の映像信号Ａは、フォーカス位置検出部７０４に転送され、フォーカス位置検出処理が行なわれる（ステップＳ９０４）。フォーカス位置検出部７０４は、例えば、解像度変換部７０３から転送された画像中でコントラストが最も高い場所を検出することで、フォーカス位置を取得することができる。フォーカス位置の検出が終了すると、画像データ及び測距データとともに、フォーカス位置情報がオブジェクト取得部７０５に転送される。

オブジェクト取得部７０５は、フォーカス位置検出部７０４から取得したフォーカス位置情報、測距データを基に、画像データに含まれるオブジェクトの抽出を行なう。そして、オブジェクト探索部７０６は、本撮影画像である映像信号Ｂから、同じオブジェクトの探索を行なう（ステップＳ９０５）。

ここで、オブジェクト探索処理について、具体例を挙げて説明しておく。図８には、主撮像素子１０２から得られた本撮影画像（映像信号Ｂ）、図９には、副撮像素子１０３から得られた補助撮影画像（映像信号Ａ）を示している。主撮像素子１０２は手振れ補正が施され、映像信号Ｂには触れがないのに対し、副撮像素子１０３には手振れ補正が施されないため、映像信号Ａには振れがある。また、両撮影画像間のズレは、手振れの他、撮影タイミングの相違、撮像素子毎の画面サイズや画素数、画素ピッチの相違も影響している。

図１０には、フォーカス位置検出部７０４が、図９に示した映像信号Ａからフォーカス位置を検出した様子を示している。図１０中で、牛の顔のほぼ中央に示したスポットがフォーカス位置を検出した場所に相当する。

オブジェクト取得部７０５は、映像信号Ａに対しエッジ検出処理を適用して、エッジ情報を取得する。図１１には、図１０に示した画像のうち、牛の顔の付近で抽出されたエッジ情報を示している。図１１に示す例では、実線、点線、並びに一点鎖線で囲われている３つのエッジ情報が取得されている。そして、取得されたエッジの領域のうちフォーカス位置を含む実線で囲まれた領域を、オブジェクトとして抽出する。このように、フォーカス位置付近のオブジェクトをオブジェクト探索部７０６で探索オブジェクトとして使用することで、探索精度の向上や探索速度の向上を期待することができる。

また、オブジェクト取得部７０５は、エッジ検出によりオブジェクトを取得する以外に、映像信号Ａに含まれる測距データを用いてオブジェクトを取得することもできる。図１２には、映像信号Ａに画素毎の測距データを重畳して示している。但し、測距値は７ビット（すなわち、０〜１２７の値）で表わされる。オブジェクト取得部７０５は、フォーカス位置の周辺の測距データから、測距データが同様の距離の部分（すなわち、フォーカス位置の周辺で、フォーカス位置との測距データの差分が所定範囲内となる部分）を、同じオブジェクトの領域と判断して、オブジェクトを取得することができる。図１２に示す例では、フォーカス位置の画素の測距値が２９であり、その周辺で測距値が２９〜３３である画素が、同じオブジェクトの画素として抽出される。ここで、同じオブジェクトとみなせる測距値の範囲を、あまり狭くするとオブジェクトの取得が困難になる。また、逆に広くし過ぎると、取得したオブジェクトが肥大化して、後段のオブジェクト探索部７０６で行なうパターン・マッチングの処理の負荷が増大してしまう。幾つかのパターンを試みて、同一オブジェクトとみなす測距値の範囲の最適な値をあらかじめ決めておいてもよい。あるいは、撮影者などのユーザー側で所望の認識レベルに応じてこの値を設定変更できるようにしてもよい。

オブジェクト取得の技術は、当業界において広く知られている。本発明の要旨は、エッジ検出や測距データを使用したオブジェクト取得方法に限定されるものではなく、他の既存の技術を適用することもできる。

オブジェクト取得部７０５で映像信号Ａから取得したオブジェクトは、探索オブジェクトとしてオブジェクト探索部７０６に転送される。また、オブジェクト取得部７０５は、取得したオブジェクトの重心位置を演算し、その結果を補正部７０７に転送する。

オブジェクト探索部７０６は、オブジェクト取得部７０５から転送された探索オブジェクトを基に、同様のオブジェクトが映像信号Ｂ上に存在するかどうかを探索する。オブジェクトの探索方法として、例えばパターン・マッチングのような一般的な手法を適用することができる。そして、映像信号Ｂから探索オブジェクトが見つかったかどうかを判別する（ステップＳ９０６）。

映像信号Ｂから探索オブジェクトが見つかった場合には（ステップＳ９０６のＹｅｓ）、オブジェクト探索部７０６は、第１の映像信号入力部７０１から取得した本撮影画像上のオブジェクト画像位置の重心位置を演算し、これを位置補正情報として補正部７０７へ転送する。また、オブジェクト探索部７０６は、本撮影画像を後段の距離情報埋め込み部７０８に転送する。

補正部７０７は、オブジェクト探索部７０６から取得した位置補正情報に基づいて、映像信号Ａに含まれる距離情報の補正を行なう（ステップＳ９０７）。この処理ステップにおいて、補正部７０７は、オブジェクト取得部７０５から取得した、補助撮影画像上のオブジェクトの重心位置と、オブジェクト探索部７０６から取得した、本撮影画像上の同じオブジェクトの重心位置とから、画像相互の位置のズレを算出する。

図１３には、距離情報を補正する様子を示している。同図では、オブジェクト取得部７０５から取得した、補助撮影画像上のオブジェクトの重心位置を（Ａ，Ｂ）とし、オブジェクト探索部７０６から取得した、本撮影画像上の同じオブジェクトの重心位置（Ｃ，Ｄ）としている。この場合、副撮像素子１０３から得られた補助撮影画像の各画素に対して、Ｘ方向にＡ−Ｃ、Ｙ方向にＢ−Ｄだけ加算すると、位置を補正することができる。このような補正により、撮像素子毎の画面サイズや画素数、画素ピッチの相違、撮影タイミングの不一致、一部の撮像素子のみ手振れ補正を適用することなどに起因する撮影画像間のズレを解消することができる。補正部７０７は、各画素の画素値とともに、距離情報も各ポイントから同様に移動させ、それを位置補正した後の距離情報として、距離情報埋め込み部７０８へ転送する。

ここで、距離情報に対して図１３に示したような補正を適用した場合、補助撮影画像の振れ量だけ、本撮影画像の有効画素領域の外に移動してしまった周縁部分の距離情報を取得できなくなってしまう。本撮影画像の周縁部分については距離情報の配置を行なわないが、一般的には重要な被写体は撮影画像の中心付近に存在するので、実質的に問題はないと思料する。

距離情報埋め込み部７０８は、オブジェクト探索部７０６から取得した本撮影画像に、補正部７０７から取得した補正後の距離情報を埋め込む処理を行なう（ステップＳ９０８）。例えば、距離情報を埋め込む方法として、画像データのヘッダー部分に、各座標での距離情報を記述することや、画像データを距離情報埋め込み部７０８内に存在するＪＰＥＧ（Ｊｏｉｎｔ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）圧縮部によりＪＰＥＧ形式で圧縮し、Ｅｘｉｆ（ＥＸｃｈａｎｇｅａｂｌｅ Ｉｍａｇｅ Ｆｉｌｅ ｆｏｒｍａｔ）などによりメタデータとして各座標での距離情報を書き込む方法などが考えられる。そして、距離情報埋め込み部７０８は、距離情報を埋め込んだ後の本撮影画像を、映像信号記録部７０９へ転送する。

映像信号記録部７０９は、距離情報埋め込み部７０８から取得した本撮影画像の記録を行なう（ステップＳ９０９）。例えば、先行するステップＳ９０８で本撮影画像をＪＰＥＧ形式に変換して距離情報をＥｘｉｆ形式で埋め込んだ画像ファイルを、当該ステップＳ９０９で記録して、静止画データ取得処理を終了する（ステップＳ９１１）

なお、画像ファイルの記録を行なう装置として、撮像装置１００が内蔵するハード・ディスクなどの磁気記録装置や、フラッシュ・メモリーなどの半導体メモリー、取り外し可能な光ディスク（いずれも図１中では図示を省略）、メモリーカード１１８、通信インターフェース１２２を介してネットワーク接続される外部サーバー（図示しない）を挙げることができる。記録するファイル形式は特に限定されない。

一方、映像信号Ｂから探索オブジェクトが見つからなかった場合には（ステップＳ９０６のＮｏ）、同じオブジェクトを本撮影画像上で検出できない、あるいは、本撮影画像に距離情報を埋め込むことができない旨のエラー・メッセージを表示する（ステップＳ９１０）。

ここで、ステップＳ９０６において探索オブジェクトが見つからない原因として、大きな手振れが発生したことや、何らかの要因により本撮影画像と補助撮影画像の間に大きな差異があることなどが考えられる。このような場合、本撮影画像に適切な距離情報を埋め込むことはできないので、ステップＳ９１０ではエラー・メッセージを表示する。また、本撮影画像の記録を中止してもよい。あるいは、距離情報埋め込み部７０８は、上述したような距離情報の位置補正や距離情報の埋め込み処理を行なうことなく、本撮影画像をそのまま映像信号記録部７０９へ転送して、記録するようにしてもよい（ステップＳ９０９）。

このように、図５に示した機能的構成、及び、図６、図７に示した処理手順によれば、撮像装置１００は、主撮像素子１０２から取得される手振れ補正された本撮影画像と、副撮像素子１０３から取得される位相差情報付きの補助撮影画像とを、像素子毎の画面サイズや画素数、画素ピッチの相違、撮影タイミングの不一致、一部の撮像素子のみ手振れ補正を適用することなどに起因する撮影画像間のズレを解消して、画素レベルで好適に対応付けして記録することができる。

位相差検出画素を備えた副撮像素子１０３で取得した距離情報を、撮影アシストなどのアプリケーションに適用する場合、補正部７０７により補正した距離情報を取得した後にアプリケーションの適用を行なうようにすればよい。本撮影画像を基にして、補正した距離情報を用いることで、適用するアプリケーションの精度を向上させることが可能である。

以上、特定の実施形態を参照しながら、本発明について詳細に説明してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。

本明細書では、手振れ補正機能が装備された主撮像素子と、位相差検出画素を備えるとともに手振れ補正機能が装備されない副撮像素子の組み合わせを持つ撮像装置に適用した実施形態を中心に説明してきたが、本発明の要旨はこれに限定されるものではない。主撮像素子及び位相差検出画素を備えた副撮像素子ともに手振れ補正機能を装備した撮像装置、主撮像素子及び位相差検出画素を備えた副撮像素子ともに手振れ補正機能を装備しない撮像装置、主撮像素子は手振れ補正機能を装備せず、位相差検出画素を備えた副撮像素子のみ手振れ補正機能を装備した撮像装置のうちいずれにも、同様に本発明を適用することができる。

また、本明細書では、図５で示したような機能的構成を備えたハードウェアを用いて本発明を実現する実施形態を中心に説明してきたが、本発明の機能をソフトウェアすなわちコンピューターに所定のプログラムをロードして該当する機能的手段としてコンピューターに備えさせるという形態でも、同様に本発明を実現することができる。

要するに、例示という形態で本発明を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本発明の要旨を判断するためには、特許請求の範囲を参酌すべきである。

１００…撮像装置
１０１…全体制御部
１０２…主撮像素子
１０３…副撮像素子
１０４…振れ補正ユニット
１０５…ミラー機構
１０６…タイミング制御部
１０７…シャッター制御部
１０８…ミラー制御部
１０９…フォーカス制御部
１１０…絞り制御部
１１１…信号処理部
１１２…Ａ／Ｄ変換回路
１１３…ディジタル信号処理部
１１４…画像メモリー
１１５…振れ検出センサー
１１６…フラッシュ制御部
１１７…モニター
１１９…操作部
１２０…フラッシュ
１２１…シャッター
１２２…通信インターフェース
１３０…撮影レンズ・ユニット
１３１…フォーカス・レンズ
１３２…絞り
７０１…第１の映像信号入力部
７０２…第２の映像信号入力部
７０３…映像度変換部
７０４…フォーカス位置検出部
７０５…オブジェクト取得部
７０６…オブジェクト探索部
７０７…補正部
７０８…距離情報埋め込み部
７０９…映像信号記録部
７１１…映像信号出力部

Claims (10)

1. 撮像素子上に位相差検出画素を含まない第１の撮像部と、
   撮像素子上に位相差検出画素を含む第２の撮像部と、
   前記第１の撮像部が取得した第１の取得画像と前記第２の撮像部が取得した第２の取得画像を比較する画像比較部と、
   前記画像比較部による比較結果に基づいて、前記第２の撮像部が取得した位相差情報を補正する補正部と、
   前記補正部により補正した後の位相差情報を前記第１の取得画像に適用する位相差適用部と、
   画像情報を記録する記録部と、
   を具備する撮像装置。
2. 前記記録部は、位相差情報を画像情報とともに記録する、
   請求項１に記載の撮像装置。
3. 前記第１の撮像部は手振れ補正機能を備えるとともに、前記第２の撮像部は手振れ補正機能を備えず、
   前記画像比較部は、手振れ補正された前記第１の取得画像と手振れ補正されない前記第２の取得画像の間の画像のズレを検出する、
   請求項１に記載の撮像装置。
4. 前記第２の撮像部は手振れ補正機能を備えるとともに、前記第１の撮像部は手振れ補正機能を備えず、
   前記画像比較部は、手振れ補正された前記第２の取得画像と手振れ補正されない前記第１の取得画像の間の画像のズレを検出する、
   請求項１に記載の撮像装置。
5. 前記第１及び第２の撮像部はともに手振れ補正機能を備え、
   前記画像比較部は、手振れ補正における補正誤差に起因する前記第１の取得画像と前記第２の取得画像の間の画像のズレを検出する、
   請求項１に記載の撮像装置。
6. 前記手振れ補正機能はイメージャー・シフト式手振れ補正を行ない、
   前記画像比較部は、前記第１及び第２の撮像部の手振れ補正時における撮像素子の移動量の演算誤差又は移動誤差に起因する前記第１の取得画像と前記第２の取得画像の間の画像のズレを検出する、
   請求項５に記載の撮像装置。
7. 前記画像比較部は、前記第１及び第２の撮像部の間における撮像素子の大きさ、画素数、又は画素ピッチに起因する画像のズレを検出する、
   請求項５又は６のいずれかに記載の撮像装置。
8. 前記画像比較部は、前記第１及び第２の撮像部の間における撮像素子の取得タイミングの差に起因する前記第１の取得画像と前記第２の取得画像の間の画像のズレを検出する、
   請求項１に記載の撮像装置。
9. 撮像素子上に位相差検出画素を含まない第１の撮像部から取得した第１の取得画像と、撮像素子上に位相差検出画素を含む第２の撮像部から取得した第２の取得画像を比較する画像比較ステップと、
   前記画像比較ステップにおける比較結果に基づいて、前記第２の撮像部から取得した位相差情報を補正する補正ステップと、
   前記補正ステップにおいて補正した後の位相差情報を前記第１の取得画像に適用する位相差適用ステップと、
   を有する画像処理方法。
10. 撮像素子上に位相差検出画素を含まない第１の撮像部から取得した第１の取得画像と、撮像素子上に位相差検出画素を含む第２の撮像部から取得した第２の取得画像を比較する画像比較ステップと、
    前記画像比較ステップにおける比較結果に基づいて、前記第２の撮像部から取得した位相差情報を補正する補正ステップと、
    前記補正ステップにおいて補正した後の位相差情報を前記第１の取得画像に適用する位相差適用ステップと、
    をコンピューターに実行させるための、コンピューター可読形式で記述されたコンピューター・プログラム。