JP2011182387A - 撮像装置、警告方法、および、プログラム - Google Patents

Abstract

【課題】ステレオカメラでのより効率的な撮影を実現する。
【解決手段】撮像制御部２１２は、第１撮像部１１０による撮像画像と第２撮像部１２０による撮像画像のいずれかをファインダ画像として表示部３１０に表示する。特徴検出部２１３は、第１撮像部１１０による撮像画像と第２撮像部１２０による撮像画像の双方で、輝度値の分布もしくは輝度分散を算出することで、各撮像画像の特徴を検出する。同一性判別部２１４は、検出された特徴に基づいて、両画像間の同一性を判別し、大きく異なる場合、いずれかの撮像画像上に、障害物の写り込みなどの異常が発生していると判別する。異常が発生していると判別された場合、警告処理部２１５は、両画像を同時に表示部３１０で表示させたり、異常が発生している画像をファインダ画像として表示部３１０に表示させたりすることで、異常の発生を撮影者に認識させる。
【選択図】図３

Description

本発明は、撮像装置、警告方法、および、プログラムに関し、特に、ステレオカメラに好適な撮像装置、警告方法、および、プログラムに関する。

光軸位置の異なる２つの受光部（撮像部）を備えた複眼カメラ、いわゆるステレオカメラが知られている（例えば、特許文献１）。このようなステレオカメラで撮影すると、肉眼で見る場合に生じる視差に相当した左右画像が得られるため、立体視用画像（３Ｄ画像）の生成などに用いられる。

特開平６−３１２２号公報

ステレオカメラは、上述したように２つの受光部（撮像部）を備えているが、特にコンパクトカメラでステレオカメラを実現した場合、背面表示パネルや電子ビューファインダなどに表示されるファインダ用の画像は、どちらか一方の撮像部によって得られたものを用いることが多い。この場合、ファインダ用ではない撮像部において、例えば、撮影者の手指がレンズ面に触れてしまっていることによる写り込みなどといった、撮影目的とは無関係な障害物があってもファインダ画像には表れない。この結果、撮影時には障害物の写り込みに気づけず、必要な画像を逸失することになってしまったり、撮影のやり直しを強いられたりするなどといった不都合がある。

本発明は、このような障害物の写り込みを撮影者に認識させることのできる撮像装置、警告方法、および、プログラムを提供することを目的とする。

上記目的を達成するため、本発明にかかる撮像装置は、
同一の被写体について光軸位置が異なる２つの撮像画像を取得する撮像手段と、
前記２つの撮像画像のうちのいずれかをファインダ画像として選択するファインダ画像選択手段と、
前記ファインダ画像選択手段が選択したファインダ画像をファインダ画面に表示するファインダ表示手段と、
前記２つの撮像画像の特徴を検出する特徴検出手段と、
前記特徴検出手段が検出した特徴に基づいて、前記２つの撮像画像のいずれかに異常が発生しているか否かを判別する異常判別手段と、
前記異常判別手段によって異常が発生していると判別された場合、当該異常を通知する警告をおこなう警告手段と、
を備えることを特徴とする。

本発明によれば、ステレオカメラでのより効率的な撮影を実現することができる。

本発明の実施形態にかかるデジタルカメラの外観構成を示す図である。 本発明の実施形態にかかるデジタルカメラの構成を示すブロック図である。 図２に示す制御部によって実現される機能を示す機能ブロック図である。 本発明の実施形態１にかかる「ステレオ写真撮像処理（１）」を説明するためのフローチャートである。 本発明の実施形態で想定する場面を説明するための図であり、（ａ）は、デジタルカメラと被写体の位置関係と、レンズ面への手指接触の様子を示し、（ｂ）は、この場合における第１撮像部の撮像画像の例を示し、（ｃ）は、そのときの第２撮像部の撮像画像の例を示す。 図４に示す「ステレオ写真撮像処理（１）」で実行される「特徴検出処理」を説明するためのフローチャートである。 本発明の実施形態１での処理内容を説明するための図であり、（ａ）および（ｂ）は、「特徴検出処理」で算出される輝度頻度の例を示し、（ｃ）は、「ステレオ写真撮像処理（１）」での警告表示の表示例を示す。 本発明の実施形態２にかかる「ステレオ写真撮像処理（２）」を説明するためのフローチャートである。 図８に示す「ステレオ写真撮像処理（２）」で実行される「異常警告処理」を説明するためのフローチャートである。 図９に示す「異常警告処理」を説明するための図であり、（ａ）および（ｂ）は、非ファインダ画像で異常が検出された場合の表示例を示し、（ｃ）および（ｄ）は、ファインダ画像で異常が検出された場合の表示例を示す。 （ａ）は、ファインダ画面が分割されている様子を示す図である。（ｂ）は、障害物の位置を矢印画像により明示している様子を示す図である。（ｃ）は、障害物の位置をグレー表示により明示している様子を示す図である。

本発明にかかる実施形態を、図面を参照して以下に説明する。本実施形態では、本発明をデジタルスチルカメラ（以下、デジタルカメラ）によって実現した場合を例示する。本実施形態にかかるデジタルカメラ１は、一般的なデジタルスチルカメラが有する機能を備えているものとするが、図１に示すように、撮像にかかる構成を２つ備えた、いわゆる複眼カメラ（ステレオカメラ）とする。そして、本実施形態にかかるデジタルカメラ１は、このようなステレオカメラとしての構成を、いわゆるコンパクトカメラとして実現したものである。

このようなデジタルカメラ１の構成を、図２を参照して説明する。図２は、本発明の実施形態にかかるデジタルカメラ１の構成を示すブロック図である。本実施形態にかかるデジタルカメラ１の概略的構成は、図示するように、撮像動作部１００、データ処理部２００、インタフェース（Ｉ／Ｆ）部３００、などである。

撮像動作部１００は、デジタルカメラ１による撮像時の動作をおこなうものであり、図２に示すように、第１撮像部１１０、第２撮像部１２０、などから構成される。

第１撮像部１１０および第２撮像部１２０は、デジタルカメラ１の撮像動作をおこなう部分である。上述したように、本実施形態にかかるデジタルカメラ１はステレオカメラ（複眼カメラ）であるため、第１撮像部１１０と第２撮像部１２０とを有する構成であるが、第１撮像部１１０と第２撮像部１２０は同一の構成である。以下、第１撮像部１１０についての構成には１１０番台の参照符号、第２撮像部１２０についての構成には１２０番台の参照符号をそれぞれ付すこととし、これらの参照符号において１桁目が同値となるものは同一の構成であることを示す。

図２に示すように、第１撮像部１１０（第２撮像部１２０）は、光学装置１１１（１２１）やイメージセンサ部１１２（１２２）などから構成されている。

光学装置１１１（１２１）は、例えば、レンズ、絞り機構、シャッタ機構、などを含み、撮像にかかる光学的動作をおこなう。すなわち、光学装置１１１（１２１）の動作により、入射光が集光されるとともに、焦点距離、絞り、シャッタスピードなどといった、画角やピント、露出などにかかる光学的要素の調整がなされる。

なお、光学装置１１１（１２１）に含まれるシャッタ機構はいわゆるメカニカルシャッタであり、イメージセンサの動作のみでシャッタ動作をおこなう場合には、光学装置１１１（１２１）にシャッタ機構が含まれていなくてもよい。また、光学装置１１１（１２１）は、後述する制御部２１０による制御によって動作する。

イメージセンサ部１１２（１２２）は、光学装置１１１（１２１）によって集光された入射光に応じた電気信号を生成するイメージセンサ（例えば、ＣＣＤ（Charge Coupled Device：電荷結合素子）やＣＭＯＳ（Complementally Metal Oxide Semiconductor：相補型金属酸化物半導体）、など）から構成される。イメージセンサ部１１２（１２２）は、光電変換をおこなうことで、受光に応じた電気信号を発生してデータ処理部２００に出力する。

上述したように、第１撮像部１１０と第２撮像部１２０は同一の構成である。より詳細には、レンズの焦点距離ｆやＦ値、絞り機構の絞り範囲、イメージセンサのサイズや画素数、配列、画素面積などの各仕様がすべて同一である。

このような第１撮像部１１０と第２撮像部１２０を有するデジタルカメラ１は、図１に示すように、光学装置１１１に構成されたレンズと光学装置１２１に構成されたレンズとが、デジタルカメラ１の外面における同一面上に形成された構成とする。

ここでは、シャッタボタンが上になる方向でデジタルカメラ１を水平にした場合に、中心位置が水平方向で同一線上となるよう２つのレンズ（受光部）が配置されるものとする。つまり、第１撮像部１１０と第２撮像部１２０とを同時に動作させた場合、同一被写体についての画像が撮像されることになるが、各画像における光軸位置が横方向にずれている画像となる。

ここで、本実施形態では、図１に示すように、被写体に向かって左側に第１撮像部１１０のレンズ（光学装置１１１）、右側に第２撮像部１２０のレンズ（光学装置１２１）が位置するよう構成されているものとする。そして、光軸位置のずれが肉眼で見た場合の視差に相当するよう、第１撮像部１１０と第２撮像部１２０の間隔を設定することで、左目の視野に相当する撮像画像（左目画像）が第１撮像部１１０によって得られ、右目の視野に相当する撮像画像（右目画像）が第２撮像部１２０によって得られる。このような、ステレオカメラとしてのデジタルカメラ１で得られる左右画像は、視差を利用した立体視画像の生成に用いられる。

本実施形態では、このような、第１撮像部１１０と第２撮像部１２０を同時に駆動することで得られる視差のある左右画像を「ステレオ写真」とし、このようなステレオ写真を取得するための動作モードを「ステレオ写真撮影モード」とする。なお、ステレオ写真の取得を目的としない場合は、第１撮像部１１０または第２撮像部１２０のいずれか一方のみを駆動することで、通常の撮像画像を得るように動作してもよい。この場合は、ステレオ写真撮影モードとは異なる動作モードが選択されることになる。

図２に戻り、デジタルカメラ１の構成説明を続ける。

データ処理部２００は、第１撮像部１１０および第２撮像部１２０による撮像動作によって生成された電気信号を処理し、撮像画像を示すデジタルデータを生成するとともに、撮像画像に対する画像処理などをおこなう。図２に示すように、データ処理部２００は、制御部２１０、画像処理部２２０、画像メモリ２３０、画像出力部２４０、記憶部２５０、外部記憶部２６０、などから構成される。

制御部２１０は、例えば、ＣＰＵ（Central Processing Unit：中央演算処理装置）などのプロセッサや、ＲＡＭ（Random Access Memory）などの主記憶装置（メモリ）、などから構成され、後述する記憶部２５０などに格納されているプログラムを実行することで、デジタルカメラ１の各部を制御する。また、本実施形態では、所定のプログラムを実行することで、後述する各処理にかかる機能が制御部２１０によって実現される。本実施形態では、後述する各処理にかかる動作を制御部２１０がおこなうものとするが、制御部２１０とは独立した専用プロセッサなどがおこなうように構成してもよい。

画像処理部２２０は、例えば、ＡＤＣ（Analog-Digital Converter：アナログ−デジタル変換器）、バッファメモリ、画像処理用のプロセッサ（いわゆる、画像処理エンジン）などから構成され、イメージセンサ部１１２および１２２によって生成された電気信号に基づいて、撮像画像を示すデジタルデータを生成する。

すなわち、イメージセンサ部１１２（１２２）から出力されたアナログ電気信号をＡＤＣがデジタル信号に変換して順次バッファメモリに格納すると、バッファされたデジタルデータに対し、画像処理エンジンがいわゆる現像処理などをおこなうことで、画質の調整やデータ圧縮などをおこなう。

画像メモリ２３０は、例えば、ＲＡＭやフラッシュメモリなどの記憶装置から構成され、画像処理部２２０によって生成された撮像画像データや、制御部２１０によって処理される画像データなどを一時的に格納する。

画像出力部２４０は、例えば、ＲＧＢ信号の生成回路などから構成され、画像メモリ２３０に記憶された画像データをＲＧＢ信号などに変換して表示画面（後述する表示部３１０など）に出力する。

記憶部２５０は、例えば、ＲＯＭ（Read Only Memory）やフラッシュメモリなどの記憶装置から構成され、デジタルカメラ１の動作に必要なプログラムやデータなどを格納する。本実施形態では、制御部２１０などが実行する動作プログラムや処理に必要となるパラメータや演算式などが記憶部２５０に格納されているものとする。

外部記憶部２６０は、例えば、メモリカードなどといった、デジタルカメラ１に着脱可能な記憶装置から構成され、デジタルカメラ１で撮像した画像データなどを格納する。

インタフェース部３００は、デジタルカメラ１とその使用者あるいは外部装置とのインタフェースにかかる構成であり、図２に示すように、表示部３１０、外部インタフェース（Ｉ／Ｆ）部３２０、操作部３３０、などから構成される。

表示部３１０は、例えば、液晶表示装置などから構成され、デジタルカメラ１を操作するために必要な種々の画面や、撮影時のライブビュー画像（ファインダ画像）、撮像画像、などを表示出力する。本実施形態では、画像出力部２４０からの画像信号（ＲＧＢ信号）などに基づいて撮像画像等の表示出力がおこなわれる。

外部インタフェース部３２０は、例えば、ＵＳＢ（Universal Serial Bus）コネクタやビデオ出力端子などから構成され、画像データなどを外部のコンピュータ装置へ転送したり、撮像画像などを外部のモニタ装置に表示出力したりする。

操作部３３０は、デジタルカメラ１の外面上に構成されている各種ボタンなどによって構成され、デジタルカメラ１の使用者による操作に応じた入力信号を生成して制御部２１０に入力する。操作部３３０を構成するボタンとして、例えば、シャッタ動作を指示するためのシャッタボタンや、デジタルカメラ１のもつ動作モードを指定するためのモードボタン、各種の設定操作をおこなうための十字キーや機能ボタン、などが含まれているものとする。

ここで、本実施形態では、記憶部２５０に格納されている動作プログラムを制御部２１０が実行することで、後述する各処理が実現されるが、この場合に制御部２１０によって実現される機能を、図３を参照して説明する。

図３は、制御部２１０によって実現される機能を示した機能ブロック図である。ここでは、ステレオ写真撮影をおこなうための機能とともに、ステレオ写真撮影時における障害物の写り込みなどの異常を撮影者に警告する機能を実現するために必要な機能構成を示す。この場合、図示するように、制御部２１０は、動作モード処理部２１１、撮像制御部２１２、特徴検出部２１３、同一性判別部２１４、警告処理部２１５、などとして機能する。

動作モード処理部２１１は、表示部３１０との協働により、デジタルカメラ１が有する各種動作モードをデジタルカメラ１のユーザに指定させるために必要な画面表示や指定された動作モード毎の設定画面表示などをおこなう他、操作部３３０との協働により、ユーザが指定した動作モードを認識し、当該動作モードの実行に必要なプログラムや演算式などを記憶部２５０から読み出し、制御部２１０の主記憶装置（メモリ）にロードする。

本実施形態では、ステレオ写真撮影をおこなう動作モード（ステレオ写真撮影モード）がユーザによって指定されるものとし、以下に説明する制御部２１０の各機能構成は、ステレオ写真撮影モードが指定されたことに応じて動作モード処理部２１１がロードしたプログラムを実行することで実現される機能構成である。

撮像制御部２１２は、第１撮像部１１０および第２撮像部１２０、画像出力部２４０などを制御することでデジタルカメラ１での撮像動作を実行する。この場合、撮像制御部２１２は、例えば、一般的なデジタルカメラでおこなわれているような、測光、ズーミング、合焦、自動露出、撮像時の画面表示、などのような撮像にかかる各種の処理と制御をおこなう。

ステレオ写真撮影モードが選択されている場合、撮像制御部２１２は、第１撮像部１１０と第２撮像部１２０の双方が同じ動作となるよう同時に制御する。この場合、一方の撮像部（例えば、第１撮像部１１０）で上述したような撮像にかかる各種動作をおこない、これによって得られたパラメータ（焦点距離や露出値など）で他方の撮像部（例えば、第２撮像部１２０）が連動するよう制御してもよい。

ここで、撮像動作時のファインダ画像が表示部３１０に表示されるものとするが、このファインダ画像は、第１撮像部１１０または第２撮像部１２０のいずれか一方の撮像動作によって得られたライブビュー画像であるものとする。本実施形態では、第１撮像部１１０によって得られたライブビュー画像が、ファインダ画像として表示部３１０に表示されるものとする。この場合、撮像制御部２１２が画像出力部２４０を制御することで、第１撮像部１１０の動作で得られたライブビュー画像が表示部３１０に出力される。

特徴検出部２１３は、第１撮像部１１０および第２撮像部１２０の双方で得られた撮像画像のそれぞれから、画像上に現れている特徴を検出する。ここでは、例えば、各撮像画像のヒストグラム（例えば、輝度ヒストグラムや色度ヒストグラム）を取ったり、各撮像画像の輝度分散を取ったり、各撮像画像の空間周波数を算出したりするなどして特徴を検出する。これらの検出動作は、既知の画像処理技術を応用するなどして実施されるものとする。

同一性判別部２１４は、特徴検出部２１３が検出した特徴に基づいて、第１撮像部１１０と第２撮像部１２０から得られた撮像画像の同一性を判別する。すなわち、デジタルカメラ１を用いてステレオ写真を撮影する場合、第１撮像部１１０と第２撮像部１２０で同一の被写体を撮像することになるので、得られる撮像画像には光軸位置のずれ以外には大きな違いがないので、各撮像画像から検出された特徴もほぼ同一であることが前提となる。よって、特徴検出部２１３が検出した特徴の差異に基づいて、例えば、撮像画像中に不必要な写り込みがあるか否か、立体視画像の生成に必要な同一性があるか否か、などを判別する。

ここで、特徴検出部２１３が検出した特徴に大きな違いがある場合、一方の撮像部から得られた撮像画像に、例えば、何らかの障害物が写り込んでいると判別することができる。本実施形態では、第１撮像部１１０で得られたライブビュー画像をファインダ画像としているので、第２撮像部１２０の撮像画像に障害物が写り込んでいても、撮影時に撮影者が認識することができない。ここでは、例えば、撮影者の手指が第２撮像部１２０のレンズ面に触れてしまっていることによる当該手指の写り込みや、第２撮像部１２０のレンズ面に汚れが付着していることによる写り込みなどを障害物として想定する。

また、被写体との距離が近すぎることにより、第１撮像部１１０と第２撮像部１２０で被写体像が大きく異なってしまう場合、得られた左右画像からは立体視画像を適正に生成することができない。よって、本実施形態では、このような場合や上述した障害物の写り込みなどがないかを同一性判別部２１４が判別する。ここでは、特徴検出部２１３が検出した各撮像画像の特徴を比較することによる差異に基づき、許容できる範囲内の同一性があるか否かを判別することで、撮像画像上の異常有無を判別する。

警告処理部２１５は、第１撮像部１１０で得られた撮像画像と第２撮像部１２０で得られた撮像画像との間の同一性が許容できる範囲内にないと同一性判別部２１４が判別した場合、障害物の写り込みなどの異常が発生していることを撮影者に認識させるための警告処理をおこなう。ここでは、画像出力部２４０や表示部３１０を制御することで、警告メッセージの表示や、表示部３１０に表示するファインダ画像のソース切替などをおこなうことで、障害物の写り込みなどの異常が発生していることを撮影者に認識させる。

以上が制御部２１０によって実現される機能である。なお、本実施形態では、制御部２１０がプログラムを実行することによる論理的処理で上述した各機能が実現されるものとするが、これらの機能を、例えば、ＡＳＩＣ（Application Specific Integrated Circuit：特定用途向け集積回路）などのハードウェアによって構成してもよい。この場合、図３に示した機能のうち、画像処理にかかる機能については、画像処理部２２０によって実現されてもよい。

以上説明したデジタルカメラ１の構成は、本発明を実現するために必要な構成であり、デジタルカメラとしての基本機能や種々の付加機能に用いられる構成は必要に応じて備えられているものとする。

このような構成のデジタルカメラ１による動作を以下に説明する。ここでは、デジタルカメラ１の動作モードのうち、上述した「ステレオ写真撮影モード」が選択された場合の動作例を示す。

（実施形態１）
当該動作モードが選択されたことを契機に実行される、本実施形態にかかる「ステレオ写真撮像処理（１）」を、図４に示すフローチャートを参照して説明する。

処理が開始されると、撮像制御部２１２が撮像動作部１００を制御することで、第１撮像部１１０および第２撮像部１２０の駆動が開始され（ステップＳ１０）、各撮像部による撮像動作が開始される。なお、本実施形態において、「ステレオ写真撮影モード」は、スチル画像としてのステレオ写真を撮影するためのモードであるものとし、ステップＳ１０で開始される撮像動作は、ファインダ画像としての動画撮像である。

駆動された第１撮像部１１０と第２撮像部１２０の動作により、それぞれによって得られた撮像画像が画像処理部２２０で処理され、２つのライブビュー画像が画像メモリ２３０に展開されるとともに、制御部２１０に入力される。すなわち、左右画像に相当するライブビュー画像が取得される（ステップＳ１１）。

上述したように、本実施形態では、第１撮像部１１０によって得られたライブビュー画像をファインダ画像とするので、撮像制御部２１２が画像処理部２２０や画像出力部２４０を制御することで、第１撮像部１１０が撮像したライブビュー画像が表示部３１０に表示（ファインダ表示）される（ステップＳ１２）。

ここで、本実施形態では、図５（ａ）に示すような、デジタルカメラ１で被写体を撮影する場合において、撮影者の手指が、第２撮像部１２０にかかる光学装置１２１を構成しているレンズに接触してしまっている場面を想定する。この場合、第１撮像部１１０によって撮像されたライブビュー画像（左目画像）は、図５（ｂ）に示すようなものとなり、このような画像がファインダ画像として表示部３１０に表示されている。

一方、レンズ面に手指が接触している第２撮像部１２０によって撮像されたライブビュー画像（右目画像）には、例えば、図５（ｃ）に示すように、手指が写り込んでいる。本実施形態にかかるステレオ写真は、立体視画像の生成に用いられるため、左目画像と右目画像との間に光軸位置のズレ以外の大きな相違があると不都合となる。よって、図５（ｃ）に示したような右目画像における手指の写り込みは、このようなステレオ写真において障害物となる。

しかしながら、表示部３１０には、図５（ｂ）に示したような左目画像がファインダ画像として表示されており、右目画像（非ファインダ画像）は表示部３１０に表示されていない。よって、図５（ｃ）に示したような障害物の写り込みを撮影者は認識することができない。

このような障害物の写り込みなどの異常を撮影者に認識させるためには、異常の発生を検出する必要がある。本実施形態では、左右画像の特徴に基づいて異常を検出するものとし、特徴を検出するための「特徴検出処理」を実行する（ステップＳ１００）。この「特徴検出処理」を、図６に示すフローチャートを参照して説明する。

処理が開始されると、特徴検出部２１３は、撮像画像全体における輝度レベルを設定する（ステップＳ１０１）。本実施形態では、画像の輝度が８ビットで処理されるものとし、輝度レベルを０〜２５５の値によって表す。この場合において、本実施形態では、輝度値０が最小輝度を示し、輝度値２５５が最大輝度を示しているものとする。なお、このような輝度レベルが既定的に設定されていてもよく、その場合はステップＳ１０１をおこなわなくてもよい。

本実施形態では、このような輝度レベルに基づいて、障害物の写り込みなどの異常を検出する。すなわち、左目画像の輝度と右目画像の輝度を比較し、その違いに基づいて両画像間の同一性を判別する。しかしながら、障害物の写り込みなどが生じていない場合でも、光軸位置がずれていることにより、両画像は全く同一ではなく、輝度レベルにも差が現れる。よって、全輝度値を使って厳密な比較をすると、このような誤差までもが検出されてしまう上、処理負荷も大きくなる。よって、本実施形態では、例えば、輝度レベルを中央値で二分して処理することで、検出精度の適正化と処理負荷の軽減を図るものとする。

この場合、本実施形態では、輝度レベル０〜２５５のうち、輝度値０〜１２７（低輝度側）の範囲を「輝度範囲Ａ」とし（ステップＳ１０２）、輝度値１２８〜２５５（高輝度側）の範囲を「輝度範囲Ｂ」とする（ステップＳ１０３）。なお、このような輝度範囲が既定的に設定されていてもよく、その場合はステップＳ１０２〜ステップＳ１０３をおこなわなくてもよい。

特徴検出部２１３は、左右画像のそれぞれについて、各輝度範囲における輝度頻度を示すヒストグラムを演算する。より詳細には、左目画像における輝度範囲Ａのヒストグラムと、左目画像における輝度範囲Ｂのヒストグラムと、右目画像における輝度範囲Ａのヒストグラムと、右目画像における輝度範囲Ｂのヒストグラムのそれぞれを演算する（ステップＳ１０４〜ステップＳ１０７）。

この場合の「ヒストグラム」は、該当する画素の頻度（分布）を示すものであり、特徴検出部２１３は、一般的な画像処理でおこなわれている既知のヒストグラム作成技術を用いることで各ヒストグラムを演算する。

ここで、図５（ｂ）および図５（ｃ）に例示した撮像画像からヒストグラムを演算した場合の例を、図７（ａ）および図７（ｂ）に示す。図７において、図７（ａ）は左目画像について演算されたヒストグラム（輝度頻度）の例を示し、輝度範囲Ａに該当する画素数を「ＬＡ」、輝度範囲Ｂに該当する画素数を「ＬＢ」とする。また、図７（ｂ）は右目画像について演算されたヒストグラム（輝度頻度）の例を示し、輝度範囲Ａに該当する画素数を「ＲＡ」、輝度範囲Ｂに該当する画素数を「ＲＢ」とする。

この場合において、図５（ｃ）に示したように、右目画像には手指接触による写り込みが生じているため、図７（ｂ）に示すように、例えば、低輝度側の輝度範囲Ａに該当する画素数ＲＡが相対的に多く、高輝度側の輝度範囲Ｂに該当する画素数ＲＢが相対的に少なくなる傾向が現れる。このような輝度分布の特徴は、障害物の写り込みなどの異常が生じていない左目画像についてのヒストグラム（図７（ａ））とは大きく異なる。

よって、左右画像のヒストグラムの差分をとり、所定の閾値と比較することで、障害物の写り込みなどによる左右画像の相違を峻別することができる。本実施形態では、特徴検出部２１３によって演算された各ヒストグラムが示す画素数を用いて、同一性判別部２１４が差分演算をおこなう（ステップＳ１０８）。

ここでは、同一性判別部２１４が、例えば、以下の数１を演算することで、左右画像間のヒストグラム差分ＨＤが求められる。

（数１）
ＨＤ＝（ＬＡ−ＲＡ）×（ＬＡ−ＲＡ）＋（ＬＢ−ＲＢ）×（ＬＢ−ＲＢ）

このような差分ＨＤが演算されると、「特徴検出処理」を終了し、「ステレオ写真撮像処理（１）」（図４）のフローに戻る。

「ステレオ写真撮像処理（１）」では、同一性判別部２１４が、「特徴検出処理」のステップＳ１０８で算出した差分ＨＤと、所定の閾値ＴＨとを比較することで、警告対象であるか否かを判別する（ステップＳ１３）。ここで、閾値ＴＨは、例えば、デジタルカメラ１の製造者などが実施した実験などによって得られた値であり、想定しうる障害物の写り込みなどが一方の撮像部に生じた場合に現れる差分ＨＤの最小値などが、閾値ＴＨとして予め設定されているものとする。

この場合、同一性判別部２１４は、ステップＳ１０８で算出した差分ＨＤが閾値ＴＨ以上であれば、左右画像の同一性が許容範囲外であるものと判別し、いずれかの撮像画像に障害物の写り込みなどが生じているものとして警告対象とする（ステップＳ１３：Ｙｅｓ）。

警告対象であると判別した場合、同一性判別部２１４は、その旨を警告処理部２１５に通知する。この場合、警告処理部２１５は、左右画像のいずれかに障害物の写り込みなどの異常が発生していることを撮影者に認識させるための警告処理をおこなう（ステップＳ１４）。

この場合、警告処理部２１５は、画像出力部２４０を制御することで、例えば、図７（ｃ）に示すように、第１撮像部１１０によるライブビュー画像（左目画像）だけでなく、第２撮像部１２０によるライブビュー画像（右目画像）も同時に視認されるよう、これらの画像を表示部３１０に並列表示させる。

ここでは、第２撮像部１２０の撮像画像に障害物の写り込みが発生している場合を想定しているので、このような並列表示とすることで、第２撮像部１２０による右目画像で発生している異常を撮影者が認識することができる。

また、図７（ｃ）に示すように、障害物の写り込みなどが発生している旨を示す警告メッセージなどを表示するようにしてもよい。上述のように、２つのライブビュー画像を並列表示させた場合、各画像は本来のファインダ画像よりも縮小して表示されるので、障害物の写り込みが視認できず、警告内容を把握できない場合も考えられるが、このような警告メッセージを併せて表示することで、より確実に警告内容を認識させることができる。

このような警告処理をおこなうと、再度特徴検出処理が実行され（ステップＳ１００）、警告対象であるか否かの判別がおこなわれる（ステップＳ１３）。ここで、警告表示により障害物の写り込みなどが認識されれば、撮影者はその障害物が写り込まないようにするなどの対処をおこなう。左右画像の特徴に違いが生じていた原因が排除されれば、警告対象とは判別されなくなる（ステップＳ１３：Ｎｏ）。

この場合において、ステップＳ１４の警告処理で図７（ｃ）に示すような警告表示となっているのであれば（ステップＳ１５：Ｙｅｓ）、警告処理部２１５は、当該警告表示を解除する（ステップＳ１６）。この場合、警告処理部２１５は、画像出力部２４０などを制御することで、当初のように、第１撮像部１１０によるライブビュー画像がファインダ画像として表示部３１０に表示されるようにする。

このようにして、通常のファインダ画面になると、操作部３３０のシャッタボタンが操作されることに応じて（ステップＳ１７：Ｙｅｓ）、撮像制御部２１２が撮像動作部１００を制御し、ステレオ写真の撮像動作がおこなわれる（ステップＳ１８）。

そして、所定の終了イベント（例えば、「ステレオ写真撮影モード」の解除やデジタルカメラ１の電源オフ、など）が発生しなければ（ステップＳ１９：Ｎｏ）、ステップＳ１１以降の処理が繰り返しおこなわれることで、ステレオ写真の撮像動作が継続され、終了イベントの発生により本処理が終了する（ステップＳ１９：Ｙｅｓ）。

以上のような処理により、ステレオカメラにおいてファインダ画像として用いられていない撮像部で障害物の写り込みなどが発生した場合、２つの撮像部の画像を同時に表示して警告するので、異常の発生を撮影者に認識させることができる。

なお、上記実施形態における「特徴検出処理」（ステップＳ１００）では、左右画像の輝度ヒストグラムで特徴を検出して同一性の判別をおこなったが、同一性の判別をおこなえるのであれば、特徴検出の方法は任意であり、例えば、色度ヒストグラム（ＲＧＢヒストグラム）によって特徴を検出するようにしてもよい。この場合、例えば、ＲＧＢのうちの特定の１色（例えば、Ｇ）についての色度ヒストグラムを用いることで、特徴検出にかかる処理負荷の軽減を図ることができる。

（実施形態２）
上記実施形態１では、左右画像の特徴に一定以上の差異があるか否かに基づいて判別していたので、障害物の写り込みなどが発生している画像がどちらの撮像部によるものかは特定できなかった。このため、上記実施形態１では、双方の画像を同時に表示することで撮影者に認識させるようにした。

ここで、障害物の写り込みなどが発生している画像がどちらの撮像部によるものであるかが特定できれば、例えば、ファインダ画像を当該撮像部による画像に切り替えることなどによって撮影者に認識させることができるので、障害物などをより確実に視認させることができる。本実施形態では、このような動作を実現するための処理例を以下に示す。

本実施形態にかかる「ステレオ写真撮像処理（２）」を、図８に示すフローチャートを参照して説明する。この「ステレオ写真撮像処理（２）」は、実施形態１で例示した「ステレオ写真撮像処理（１）」の場合と同様、「ステレオ写真撮影モード」が選択されたことなどを契機に開始される。

処理が開始されると、撮像制御部２１２が撮像動作部１００を制御することで、第１撮像部１１０および第２撮像部１２０の駆動が開始され（ステップＳ２０）、各撮像部による撮像動作が開始される。

ここで、撮像制御部２１２は、いずれの撮像部による画像をファインダ画像として用いるかを示すフラグ（ファインダフラグ）をリセットする（ステップＳ２１）。ここで、ファインダフラグはフラグ値として「０」と「１」をとるものとし、「０」の場合、第１撮像部１１０によるライブビュー画像がファインダ画像として用いられ、「１」の場合、第２撮像部１２０によるライブビュー画像がファインダ画像として用いられるものとする。

駆動された第１撮像部１１０と第２撮像部１２０の動作により、それぞれによって得られた撮像画像が画像処理部２２０で処理され、２つのライブビュー画像が画像メモリ２３０に記憶されるとともに、制御部２１０に入力される。すなわち、左右画像に相当するライブビュー画像が取得される（ステップＳ２２）。

撮像制御部２１２は、画像出力部２４０を制御し、現在のファインダフラグに設定されているフラグ値に対応する画像が表示部３１０に表示されるようにする（ステップＳ２３）。ここでは、ステップＳ２１でファインダフラグがリセットされているので、第１撮像部１１０によるライブビュー画像がファインダ画像として表示部３１０に表示される。

このようにして、ステレオ写真の撮像が可能な状態となると、障害物の写り込みなどの異常が発生したことを撮影者に認識させるための「異常警告処理」が実行される（ステップＳ２００）。この「異常警告処理」を、図９に示すフローチャートを参照して説明する。

処理が開始されると、特徴検出部２１３は、ファインダ画像についての輝度分散Ｖ１を算出する（ステップＳ２０１）。ここで、現在のファインダフラグのフラグ値は「０」であるので、特徴検出部２１３は、第１撮像部１１０によるライブビュー画像（左目画像）で輝度分散を算出する。ここでは、左目画像の輝度値をｐ１（ｘ，ｙ）として以下の数２を演算することで、左目画像についての輝度分散Ｖ１を算出する。

（数２）
Ｖ１＝ΣΣ（ｐ１（ｘ，ｙ）−ｍｅａｎ（ｐ１））＾２

上記数２において、Σ記号は総和を示し、夫々ｘ、ｙ方向の左目画像の全範囲とする。また、ｍｅａｎは平均を表し、ｍｅａｎ（ｐ１）は左目画像の輝度平均を示す。そして、＾は、べき乗を示す。

次に特徴検出部２１３は、ファインダ画像として用いられていない画像（非ファインダ画像）、すなわち、第２撮像部１２０によるライブビュー画像（右目画像）についても、同様に輝度分散を算出する。特徴検出部２１３は、この場合の輝度分散Ｖ２を、以下の数３を演算することで算出する。ここで、ｐ２（ｘ，ｙ）は右目画像の輝度値を示し、その他の要素については数２の場合と同様である。

（数３）
Ｖ２＝ΣΣ（ｐ２（ｘ，ｙ）−ｍｅａｎ（ｐ２））＾２

ここで、例えば、図５（ａ）に示したように、撮影者の手指がレンズ面に接触していたり、レンズ面に汚れなどが付着していたりすると、撮像部への入光が部分的に遮断されることになるが、このような状況で得られた画像では、上記のようにして求めた輝度分散が小さくなる傾向がある。

よって、左右画像の輝度分散を比較することで、障害物の写り込みなどが発生している場合に、どちらの画像に発生しているか判別することができる。よって、同一性判別部２１４は、特徴検出部２１３によって算出されたファインダ画像（左目画像）の輝度分散Ｖ１と、非ファインダ画像（右目画像）の輝度分散Ｖ２を比較する。

ここでは、第１撮像部１１０による左目画像がファインダ画像として表示されているので、同一性判別部２１４はまず、ファインダ画面では認識できない第２撮像部１２０による右目画像に障害物の写り込みなどが発生していないか判別する。この場合、同一性判別部２１４は、非ファインダ画像の輝度分散Ｖ２が、ファインダ画像の輝度分散Ｖ１より小さく、かつ、その差が所定の閾値ＴＨ１を超えるか否かを判別する（ステップＳ２０３）。

輝度分散Ｖ２が輝度分散Ｖ１より小さく、かつ、その差が所定の閾値ＴＨ１を超える場合（ステップＳ２０３：Ｙｅｓ）、同一性判別部２１４は、障害物の写り込みなどの異常が非ファインダ画像に発生していると判別し、その旨を警告処理部２１５に通知する。警告処理部２１５は、同一性判別部２１４からの通知に基づき、非ファインダ画像に異常が発生していることを撮影者に認識させるための警告処理をおこなう。

ここでは、画像出力部２４０を制御することで、ファインダ画像の切替をおこなう（ステップＳ２０４）。すなわち、ファインダ画像のソースを第１撮像部１１０から第２撮像部１２０に切り替えることで、図１０（ａ）〜図１０（ｂ）に示すように、当初のファインダ画像であった第１撮像部１１０によるライブビュー画像（左目画像）から、第２撮像部１２０によるライブビュー画像（右目画像）にファインダ画像が切り替えられて表示部３１０に表示される。

ファインダ画像を切り替えた場合、警告処理部２１５は、ファインダフラグの値を反転させる（ステップＳ２０５）。ここでは、フラグ値が「０」から「１」に変更される。

このようにして、ファインダ画像の切替による警告をおこなうと、ステップＳ２０１以降の処理が再度おこなわれる。ここでは、ステップＳ２０５でフラグ値が反転されているので、ステップＳ２０１におけるファインダ画像は、第２撮像部１２０によるライブビュー画像（右目画像）となり、ステップＳ２０２における非ファインダ画像は、第１撮像部１１０によるライブビュー画像（左目画像）となる。

上記のファインダ画像の切替により、撮影者は障害物の写り込みなどを視認できるようになるので、当該障害物を取り除くなどの対処をおこなうことができる。異常の原因が排除されると、左右画像の輝度分布はほぼ同じとなるので（ステップＳ２０３：Ｎｏ、ステップＳ２０６：Ｎｏ）、本処理を終了して、「ステレオ写真撮像処理（２）」（図８）のフローに戻る。

一方、「異常警告処理」の開始後において、ファインダ画像（この場合、第１撮像部１１０の撮像画像）の輝度分散Ｖ１の方が、非ファインダ画像（この場合、第２撮像部１２０の撮像画像）の輝度分散Ｖ２よりも小さく、かつ、その差が所定の閾値ＴＨ１を超える場合（ステップＳ２０３：Ｎｏ、ステップＳ２０６：Ｙｅｓ）、障害物の写り込みなどの異常がファインダ画像上で発生していることになる。

ファインダ画像は表示部３１０で表示されているので、撮影者によって異常が認識される可能性が高いが、例えば、図１０（ｃ）に示す場合などのように、レンズ上の付着物などのような微小な障害物の写り込みなどは視認されない場合がある。よって、ファインダ画像上で異常が発生していると判別された場合、警告処理部２１５は、例えば、図１０（ｄ）に示すように、表示部３１０に表示しているファインダ画像に重畳するように警告メッセージを表示する（ステップＳ２０７）。

この場合も、ステップＳ２０１以降の処理が実行されることで、障害物の写り込みなどが解消されるまで警告表示がおこなわれ、異常の原因が排除されれば、左右画像の輝度分布はほぼ同じとなるので（ステップＳ２０３：Ｎｏ、ステップＳ２０６：Ｎｏ）、本処理を終了して、「ステレオ写真撮像処理（２）」（図８）のフローに戻る。このように、輝度分散Ｖ１と輝度分散Ｖ２との差が閾値ＴＨ１以下である場合、左右画像の輝度分布がほぼ同じであるとみなされ、いずれの撮像画像にも障害物などが写り込んでいないものとみなされる。一方、輝度分散Ｖ１と輝度分散Ｖ２との差が閾値ＴＨ１以上である場合、左右画像の輝度分布が異なるものとみなされ、少なくとも一方の撮像画像に障害物などが写り込んでいるものとみなされる。

「ステレオ写真撮像処理（２）」に戻ると、警告処理部２１５は、ファインダフラグをリセットするとともに、画像出力部２４０を制御することで、フラグ値に応じたファインダ画像を表示部３１０に表示させる（ステップＳ２４）。すなわち、「異常警告処理」（図９）において、ファインダ画像の切替がおこなわれた場合、再度、第１撮像部１１０のライブビュー画像（左目画像）がファインダ画像として表示部３１０に表示される。

このようにして、通常のファインダ画面になると、操作部３３０のシャッタボタンが操作されることに応じて（ステップＳ２５：Ｙｅｓ）、撮像制御部２１２が撮像動作部１００を制御し、ステレオ写真の撮像動作がおこなわれる（ステップＳ２６）。

そして、「ステレオ写真撮影モード」の解除やデジタルカメラ１の電源オフなどの終了イベントが発生しなければ（ステップＳ２７：Ｎｏ）、ステップＳ２２以降の処理が繰り返しおこなわれることで、ステレオ写真の撮像動作が継続され、終了イベントの発生により本処理が終了する（ステップＳ２７：Ｙｅｓ）。

以上のような処理により、非ファインダ画像で障害物の写り込みなどの異常が検出された場合はファインダ画像を切り替え、ファインダ画像で異常が検出された場合は警告メッセージを表示することで、より効果的に撮影者に異常の発生を認識させることができる。

なお、本実施形態では、左右画像の特徴検出に輝度分散を用いたが、これに限られず、例えば、フーリエ変換処理などを用いることで、各々の画像の空間周波数を計算し、低周波成分が多い画像を警告対象として判別するようにしてもよい。
また、本実施形態では、非ファインダ画像で障害物の写り込みなどの異常が検出された場合、ファインダ画像が切り替えられる例を示した。しかし、非ファインダ画像で障害物の写り込みなどの異常が検出された場合、図７（ｃ）に示すように、右目画像と左目画像とが同時に視認されるよう、これらの画像が表示部３１０に並列表示されてもよい。さらに、ファインダ画像で異常が検出された場合に、右目画像と左目画像とが同時に視認されるよう、これらの画像が表示部３１０に並列表示されてもよい。

（実施形態３）
上記各実施形態では、一方の撮像部による画像を既定的なファインダ画像とし、障害物の写り込みなどの異常が発生した場合に、少なくとも、非ファインダ画像が視認されるような表示をおこなうことで撮影者に認識させるようにしたが、ファインダ画面の切り替えを、撮影者の手動操作によっておこなうようにしてもよい。

例えば、実施形態１のように、どちらの撮像画像で異常が発生しているか特定できない場合、異常が検出されたときには、例えば、ファインダ画面上に警告メッセージの表示をおこなう。そして、ファインダ画像上で異常が発生しているのであれば、撮影者が視認できるので、原因を排除するための対処をおこなうことができる。一方、ファインダ画像上で異常を視認できない場合は、非ファインダ画像上で発生している可能性が高いので、撮影者の任意操作によってファインダ画像を切り替える。

このような動作によれば、異常の発生源を特定できない検出方法であっても、効果的に撮影者に認識させることができ、原因排除を効率的におこなうことができる。

また、ファインダ画像をどちらの撮像部にするかが既定的に設定されていなくてもよく、ファインダ画像を撮影者によって任意に選択できる場合でも、障害物の写り込みなどが発生していることを撮影者に認識させることができる。例えば、実施形態２で例示した処理において、ファインダ画像を撮影者が任意に選択できる場合、選択に応じてファインダフラグを設定することで、実施形態２で例示したような警告処理をおこなうことができる。

この場合、例えば、実施形態２における「ステレオ写真撮像処理（２）」（図８）のステップＳ２４でファインダフラグのリセットをおこなわず、撮影者の任意操作に応じたファインダ表示としてもよい。

以上説明したように、本発明を上記実施形態の如く適用することにより、ステレオカメラにおいてファインダとして用いられていない撮像部の画像に異常が発生した場合でも撮影者に認識させることができる。

この場合において、左右画像のヒストグラムによって異常の発生有無を判別することができるので、デジタルカメラなどで一般的に備えられているヒストグラム機能を用いて処理することができる。

また、この場合、左右画像の双方を同時に表示するので、非ファインダ画像で異常が発生している場合に、当該異常を撮影者に認識させることができる。

あるいは、左右画像の輝度分散によって異常の発生有無を判別することができ、この場合、いずれの画像上で異常が発生しているかを特定することができる。

この場合、非ファインダ画像で異常が発生しているのであれば、ファインダ画像を切り替えることで警告するので、例えば、異常が発生している画像を全面表示させることができ、異常の発生をより効果的に認識させることができる。

また、ファインダ画像で異常が発生しているのであれば、当該ファインダ画面で警告メッセージを表示するので、撮影中に見落としてしまうような異常であっても撮影者に認識させることができる。

さらに、撮影者の操作によってファインダ画像が任意に選択される場合であっても、異常の発生を適切に認識させることができる。

上記実施形態は一例であり、本発明の適用範囲はこれに限られない。すなわち、種々の応用が可能であり、あらゆる実施の形態が本発明の範囲に含まれる。

例えば、上記各実施形態で示した特徴検出方法は一例であり、いずれかの撮像画像に異常が発生していることを検出することができるのであれば、特徴検出方法は任意である。

また、上記実施形態では、主に、レンズ面への手指接触やレンズへの付着物などのような障害物の写り込みによる異常を例示したが、左右画像が異なることで立体視画像の生成に支障をきたす事象を異常として警告することができる。例えば、被写体との距離が近いことにより左右画像が大きく相違する場合を異常とすることができるが、この場合、そのときの合焦距離などに基づいて、障害物の写り込みとの峻別をおこなってもよい。

上記実施形態では、障害物などが写り込んでいる画像をファインダ画像として撮影者に提示するものの、ファインダ画面内における障害物などの位置を明示しない例を示した。また、本発明において、ファインダ画面内における障害物などの位置を明示してもよい。以下、ファインダ画面内における障害物の位置を明示する手法の一例について説明する。ここでは、ファインダ画面を分割することにより得られる複数の領域のうち、障害物が属する領域を明示することにより、ファインダ画面内における障害物のおおよその位置を明示する手法を説明する。

ここで、表示部３１０をどのように分割するかは適宜調整が可能である。例えば、表示部３１０は、Ｎ個（ただし、Ｎは２以上の自然数。）の領域が短手方向（図１１（ａ）〜（ｃ）において上下方向）に沿って１列に並ぶように分割されてもよいし、Ｍ個（ただし、Ｍは２以上の自然数。）の領域が長手方向（図１１（ａ）〜（ｃ）において左右方向）に沿って１列に並ぶように分割されてもよいし、Ｎ×Ｍ個の領域が短手方向および長手方向にマトリックス状に配置されるように分割されてもよい。

図１１（ａ）に、表示部３１０が、上下に２分割、左右に２分割されることにより４つの領域に分割された様子を示す。図１１（ａ）においては、左上の領域を領域３１０Ａ、右上の領域を領域３１０Ｂ、左下の領域を領域３１０Ｃ、右下の領域を領域３１０Ｄとしている。

まず、制御部２１０は、４つの領域のうち、障害物が表示される領域（以下、適宜「障害物が属する領域」という。）を特定する。障害物が属する領域を特定する方法は任意である。例えば、障害物が属する領域を構成する画素の輝度値の特徴に基づいて、障害物が属する領域を特定することができる。

例えば、ある領域に障害物が含まれると、その領域の輝度分散（その領域を構成する全ての画素の輝度値の分散）が減少する場合がある。この場合、障害物が属する領域の輝度分散は、障害物が属さないその他の領域の輝度分散よりも小さくなる確率が高くなる。そこで、例えば、輝度分散が最も小さい領域を、障害物が属する領域と推定することができる。また、ファインダ画像において障害物が属する領域の輝度分散は、非ファインダ画像における当該領域に対応する領域の輝度分散よりも、小さくなることが推定される。従って、ファインダ画像における輝度分散が、非ファインダ画像における輝度分散に対して、相対的に最も小さい領域を、障害物が属する領域と推定することができる。例えば、ファインダ画像における輝度分散から非ファインダ画像における輝度分散を減じた値が最も小さい領域、もしくは、ファインダ画像における輝度分散を非ファインダ画像における輝度分散で除算した値が最も小さい領域を、障害物が属する領域と推定することができる。なお、障害物が含まれることにより輝度分散が減少する理由として、指などの障害物が含まれると画像がぼける可能性が高いことや、障害物の色や明るさは均一である可能性が高いことなどが考えられる。

また、ある領域に障害物が含まれると、その領域を構成する全ての画素の輝度値の総和が減少する場合がある。この場合、障害物が属する領域の輝度値の総和は、障害物が属さないその他の領域の輝度値の総和よりも小さくなる確率が高くなる。そこで、例えば、輝度値の総和が最も小さい領域を、障害物が属する領域と推定することができる。また、ファインダ画像において障害物が属する領域の輝度値の総和は、非ファインダ画像における当該領域に対応する領域の輝度値の総和よりも、小さくなることが推定される。従って、ファインダ画像における輝度値の総和が、非ファインダ画像における輝度値の総和に対して、相対的に最も小さい領域を、障害物が属する領域と推定することができる。例えば、ファインダ画像における輝度値の総和から非ファインダ画像における輝度値の総和を減じた値が最も小さい領域、もしくは、ファインダ画像における輝度値の総和を非ファインダ画像における輝度値の総和で除算した値が最も小さい領域を、障害物が属する領域と推定することができる。なお、障害物が含まれることにより輝度値の総和が減少する理由として、指などの障害物があると光が遮断されることなどが考えられる。

以上示したような方法により、制御部２１０は、障害物が属する領域を特定する。ここで、図１１（ａ）には、障害物が領域３１０Ｂに属する例を示す。この場合、種々の手法により、領域３１０Ｂに障害物が表示されていることが明示されるようにする。

例えば、図１１（ｂ）に示すように、制御部２１０は、障害物が属する領域を明示する矢印画像３１１を表示部３１０に表示する。かかる構成によれば、撮影者は、矢印画像３１１により表される領域３１０Ｂが、障害物が属する領域であるということを即座に把握することができる。

あるいは、図１１（ｃ）に示すように、制御部２１０は、障害物が属する領域をグレー表示（ただし、図１１（ｃ）においては、網掛け表示でグレー表示を表している。）する。かかる構成によれば、撮影者は、グレー表示がなされている領域３１０Ｂが、障害物が属する領域であるということを即座に把握することができる。

なお、障害物が属する領域を表すための手法は、これらの手法に限られない。例えば、障害物が属する領域を枠画像で囲ったり、障害物が属する領域を表す文字列を表示したりすることができる。

このように、本発明においては、撮影者が速やかに障害物を取り除くことができるように、ファインダ画面内における障害物のおおよその位置を明示することもできる。

なお、図１１（ａ）〜（ｃ）においては、複数の領域の境界を示す線を明示している例を示しているが、境界を示す線は表示されていなくてもよい。

なお、上記実施形態の撮像装置と同様の機能や構成を予め備えた撮像装置によって本発明を実現できることはもとより、視差に相当する撮像画像が得られるのであれば、既存の撮像装置装置（デジタルカメラなど）にプログラムを適用することで、本発明にかかる撮像装置として機能させることもできる。この場合、上記実施形態で例示したデジタルカメラ１と同様の構成を備えた撮像装置のコンピュータ（ＣＰＵなどの制御部）に、上述した制御部２１０の機能と同様の機能を実現させるためのプログラムを実行させることで、本発明にかかる撮像装置として機能させることができる。

なお、上記実施形態では、撮像装置の例として、デジタルスチルカメラを示したが、上記実施形態で例示したデジタルカメラ１と同様の構成を備えているものであれば撮像装置の形態は任意であり、例えば、デジタルビデオカメラなどで本発明にかかる撮像装置を実現することもできる。

いずれの場合でも、プログラムを適用することで、既存の装置を本発明にかかる画像表示装置として機能させることができる。このようなプログラムの適用方法は任意であり、例えば、ＣＤ−ＲＯＭやメモリカードなどの記憶媒体に格納して適用できる他、例えば、インターネットなどの通信媒体を介して適用することもできる。

これまで、本発明のいくつかの実施形態を説明したが、本発明の範囲はこれらの実施形態に限定されない。つまり、これらの実施形態における各要素を当業者がこれと均等なものに置換した実施形態も本発明の範囲に含まれる。また、本発明には、特許請求の範囲に記載された発明とその均等の範囲が含まれる。以下に、本出願の当初の特許請求の範囲に記載された発明を付記する。

（付記１）
同一の被写体について光軸位置が異なる２つの撮像画像を取得する撮像手段と、
前記２つの撮像画像のうちのいずれかをファインダ画像として選択するファインダ画像選択手段と、
前記ファインダ画像選択手段が選択したファインダ画像をファインダ画面に表示するファインダ表示手段と、
前記２つの撮像画像の特徴を検出する特徴検出手段と、
前記特徴検出手段が検出した特徴に基づいて、前記２つの撮像画像のいずれかに異常が発生しているか否かを判別する異常判別手段と、
前記異常判別手段によって異常が発生していると判別された場合、当該異常を通知する警告をおこなう警告手段と、
を備えることを特徴とする撮像装置。

（付記２）
前記特徴検出手段は、前記２つの撮像画像それぞれについて、撮像画像を構成する画素の輝度値の分布を算出し、
前記異常判別手段は、前記特徴検出手段が算出した輝度値の分布の差異に基づいて、前記異常が発生しているか否かを判別する、
ことを特徴とする付記１に記載の撮像装置。

（付記３）
前記警告手段は、前記異常判別手段が異常が発生していると判別した場合、前記２つの撮像画像の双方を、前記ファインダ画面に同時に表示する、
ことを特徴とする付記１または２に記載の撮像装置。

（付記４）
前記特徴検出手段は、前記２つの撮像画像それぞれについて、撮像画像を構成する画素の輝度値の分散を表す輝度分散を算出し、
前記異常判別手段は、前記特徴検出手段が算出した輝度分散の比較に基づいて、前記異常が発生しているか否かを判別する、
ことを特徴とする付記１乃至３のいずれか１つに記載の撮像装置。

（付記５）
前記警告手段は、前記ファインダ画像選択手段が選択していない前記撮像画像の輝度分散が、前記ファインダ画像選択手段が選択している前記撮像画像の輝度分散より小さく、かつ、その差が所定の閾値を超える場合、前記ファインダ表示手段が表示するファインダ画像を、前記ファインダ画像選択手段が選択していない前記撮像画像に切り替える、
ことを特徴とする付記４に記載の撮像装置。

（付記６）
前記警告手段は、前記ファインダ画像選択手段が選択している前記撮像画像の輝度分散が、前記ファインダ画像選択手段が選択していない前記撮像画像の輝度分散より小さく、かつ、その差が所定の閾値を超える場合、前記ファインダ表示手段が表示するファインダ画面に警告メッセージを表示する、
ことを特徴とする付記４に記載の撮像装置。

（付記７）
前記警告手段は、前記ファインダ画像選択手段が選択している前記撮像画像の輝度分散と、前記ファインダ画像選択手段が選択していない前記撮像画像の輝度分散と、の差が所定の閾値を超える場合、輝度分散が小さい方の撮像画像における、前記異常が発生している領域を示す情報を、前記ファインダ画面に表示する、
ことを特徴とする付記４に記載の撮像装置。

（付記８）
前記警告手段は、輝度分散が小さい方の撮像画像を構成する複数の分割領域のうち、分割領域に含まれる画素の輝度分散が最も小さい分割領域を、前記異常が発生している領域として特定する、
ことを特徴とする付記７に記載の撮像装置。

（付記９）
前記警告手段は、輝度分散が小さい方の撮像画像を構成する複数の分割領域のうち、分割領域に含まれる画素の輝度値の総和が最も小さい分割領域を、前記異常が発生している領域として特定する、
ことを特徴とする付記７に記載の撮像装置。

（付記１０）
前記警告手段は、輝度分散が小さい方の撮像画像を構成する複数の分割領域のうち、分割領域に含まれる画素の輝度分散が、輝度分散が大きい方の撮像画像における当該分割領域に対応する分割領域に含まれる画素の輝度分散に対して相対的に最も小さい分割領域を、前記異常が発生している領域として特定する、
ことを特徴とする付記７に記載の撮像装置。

（付記１１）
前記警告手段は、輝度分散が小さい方の撮像画像を構成する複数の分割領域のうち、分割領域に含まれる画素の輝度値の総和が、輝度分散が大きい方の撮像画像における当該分割領域に対応する分割領域に含まれる画素の輝度値の総和に対して相対的に最も小さい分割領域を、前記異常が発生している領域として特定する、
ことを特徴とする付記７に記載の撮像装置。

（付記１２）
前記警告手段は、前記異常が発生している領域をグレー表示にして、前記ファインダ画面に表示する、
ことを特徴とする付記７に記載の撮像装置。

（付記１３）
前記警告手段は、前記異常が発生している領域を示す矢印画像を、前記ファインダ画面に表示する、
ことを特徴とする付記７に記載の撮像装置。

（付記１４）
前記ファインダ画像選択手段は、前記撮像装置の使用者による操作に応じて前記ファインダ画像を選択する、
ことを特徴とする付記１乃至１３のいずれか１つに記載の撮像装置。

（付記１５）
同一の被写体について光軸位置が異なる２つの撮像画像を取得する撮像手段を備える撮像装置で、撮像画像上の異常を撮影者に認識させるための警告方法であって、
前記２つの撮像画像のうちのいずれかをファインダ画像として選択するファインダ画像選択ステップと、
前記ファインダ画像選択ステップで選択されたファインダ画像をファインダ画面に表示するファインダ表示ステップと、
前記２つの撮像画像の特徴を検出する特徴検出ステップと、
前記特徴検出ステップで検出された特徴に基づいて、前記２つの撮像画像のいずれかに異常が発生しているか否かを判別する異常判別ステップと、
前記異常判別ステップで異常が発生していると判別された場合、当該異常を通知する警告をおこなう警告ステップと、
を備えることを特徴とする警告方法。

（付記１６）
同一の被写体について光軸位置が異なる２つの撮像画像を取得する撮像手段を備える撮像装置のコンピュータに、
前記２つの撮像画像のうちのいずれかをファインダ画像として選択する機能と、
前記選択されたファインダ画像をファインダ画面に表示する機能と、
前記２つの撮像画像の特徴を検出する機能と、
前記検出された特徴に基づいて、前記２つの撮像画像のいずれかに異常が発生しているか否かを判別する機能と、
前記異常が発生していると判別された場合、当該異常を通知する警告をおこなう機能と、
を実現させることを特徴とするプログラム。

本発明は、ステレオカメラに適用することができる。

１…デジタルカメラ、１１０…第１撮像部、１１１…光学装置、１１２…イメージセンサ部、１２０…第２撮像部、１２１…光学装置、１２２…イメージセンサ部、２００…データ処理部、２１０…制御部、２１１…動作モード処理部、２１２…撮像制御部、２１３…特徴検出部、２１４…同一性判別部、２１５…警告処理部、２２０…画像処理部、２３０…画像メモリ、２４０…画像出力部、２５０…記憶部、２６０…外部記憶部、３００…インタフェース（Ｉ／Ｆ）部、３１０…表示部、３２０…外部インタフェース（Ｉ／Ｆ）部、３３０…操作部

Claims (16)

1. 同一の被写体について光軸位置が異なる２つの撮像画像を取得する撮像手段と、
   前記２つの撮像画像のうちのいずれかをファインダ画像として選択するファインダ画像選択手段と、
   前記ファインダ画像選択手段が選択したファインダ画像をファインダ画面に表示するファインダ表示手段と、
   前記２つの撮像画像の特徴を検出する特徴検出手段と、
   前記特徴検出手段が検出した特徴に基づいて、前記２つの撮像画像のいずれかに異常が発生しているか否かを判別する異常判別手段と、
   前記異常判別手段によって異常が発生していると判別された場合、当該異常を通知する警告をおこなう警告手段と、
   を備えることを特徴とする撮像装置。
2. 前記特徴検出手段は、前記２つの撮像画像それぞれについて、撮像画像を構成する画素の輝度値の分布を算出し、
   前記異常判別手段は、前記特徴検出手段が算出した輝度値の分布の差異に基づいて、前記異常が発生しているか否かを判別する、
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記警告手段は、前記異常判別手段が異常が発生していると判別した場合、前記２つの撮像画像の双方を、前記ファインダ画面に同時に表示する、
   ことを特徴とする請求項１または２に記載の撮像装置。
4. 前記特徴検出手段は、前記２つの撮像画像それぞれについて、撮像画像を構成する画素の輝度値の分散を表す輝度分散を算出し、
   前記異常判別手段は、前記特徴検出手段が算出した輝度分散の比較に基づいて、前記異常が発生しているか否かを判別する、
   ことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記警告手段は、前記ファインダ画像選択手段が選択していない前記撮像画像の輝度分散が、前記ファインダ画像選択手段が選択している前記撮像画像の輝度分散より小さく、かつ、その差が所定の閾値を超える場合、前記ファインダ表示手段が表示するファインダ画像を、前記ファインダ画像選択手段が選択していない前記撮像画像に切り替える、
   ことを特徴とする請求項４に記載の撮像装置。
6. 前記警告手段は、前記ファインダ画像選択手段が選択している前記撮像画像の輝度分散が、前記ファインダ画像選択手段が選択していない前記撮像画像の輝度分散より小さく、かつ、その差が所定の閾値を超える場合、前記ファインダ表示手段が表示するファインダ画面に警告メッセージを表示する、
   ことを特徴とする請求項４に記載の撮像装置。
7. 前記警告手段は、前記ファインダ画像選択手段が選択している前記撮像画像の輝度分散と、前記ファインダ画像選択手段が選択していない前記撮像画像の輝度分散と、の差が所定の閾値を超える場合、輝度分散が小さい方の撮像画像における、前記異常が発生している領域を示す情報を、前記ファインダ画面に表示する、
   ことを特徴とする請求項４に記載の撮像装置。
8. 前記警告手段は、輝度分散が小さい方の撮像画像を構成する複数の分割領域のうち、分割領域に含まれる画素の輝度分散が最も小さい分割領域を、前記異常が発生している領域として特定する、
   ことを特徴とする請求項７に記載の撮像装置。
9. 前記警告手段は、輝度分散が小さい方の撮像画像を構成する複数の分割領域のうち、分割領域に含まれる画素の輝度値の総和が最も小さい分割領域を、前記異常が発生している領域として特定する、
   ことを特徴とする請求項７に記載の撮像装置。
10. 前記警告手段は、輝度分散が小さい方の撮像画像を構成する複数の分割領域のうち、分割領域に含まれる画素の輝度分散が、輝度分散が大きい方の撮像画像における当該分割領域に対応する分割領域に含まれる画素の輝度分散に対して相対的に最も小さい分割領域を、前記異常が発生している領域として特定する、
    ことを特徴とする請求項７に記載の撮像装置。
11. 前記警告手段は、輝度分散が小さい方の撮像画像を構成する複数の分割領域のうち、分割領域に含まれる画素の輝度値の総和が、輝度分散が大きい方の撮像画像における当該分割領域に対応する分割領域に含まれる画素の輝度値の総和に対して相対的に最も小さい分割領域を、前記異常が発生している領域として特定する、
    ことを特徴とする請求項７に記載の撮像装置。
12. 前記警告手段は、前記異常が発生している領域をグレー表示にして、前記ファインダ画面に表示する、
    ことを特徴とする請求項７に記載の撮像装置。
13. 前記警告手段は、前記異常が発生している領域を示す矢印画像を、前記ファインダ画面に表示する、
    ことを特徴とする請求項７に記載の撮像装置。
14. 前記ファインダ画像選択手段は、前記撮像装置の使用者による操作に応じて前記ファインダ画像を選択する、
    ことを特徴とする請求項１乃至１３のいずれか１項に記載の撮像装置。
15. 同一の被写体について光軸位置が異なる２つの撮像画像を取得する撮像手段を備える撮像装置で、撮像画像上の異常を撮影者に認識させるための警告方法であって、
    前記２つの撮像画像のうちのいずれかをファインダ画像として選択するファインダ画像選択ステップと、
    前記ファインダ画像選択ステップで選択されたファインダ画像をファインダ画面に表示するファインダ表示ステップと、
    前記２つの撮像画像の特徴を検出する特徴検出ステップと、
    前記特徴検出ステップで検出された特徴に基づいて、前記２つの撮像画像のいずれかに異常が発生しているか否かを判別する異常判別ステップと、
    前記異常判別ステップで異常が発生していると判別された場合、当該異常を通知する警告をおこなう警告ステップと、
    を備えることを特徴とする警告方法。
16. 同一の被写体について光軸位置が異なる２つの撮像画像を取得する撮像手段を備える撮像装置のコンピュータに、
    前記２つの撮像画像のうちのいずれかをファインダ画像として選択する機能と、
    前記選択されたファインダ画像をファインダ画面に表示する機能と、
    前記２つの撮像画像の特徴を検出する機能と、
    前記検出された特徴に基づいて、前記２つの撮像画像のいずれかに異常が発生しているか否かを判別する機能と、
    前記異常が発生していると判別された場合、当該異常を通知する警告をおこなう機能と、
    を実現させることを特徴とするプログラム。

Images