JP2010114760A - 撮影装置、指がかり通知方法およびプログラム - Google Patents

Abstract

【課題】 複眼カメラの撮像光学系への指かかりをユーザに分かりやすく通知する。
【解決手段】測光結果などに基づいて画像中の暗い部分を検出することで、指がかり領域を特定し、その領域の特定の有無で指がかりが発生しているか否かを判断する。指がかり領域が存在する場合は、特定された指がかり領域を強調表示する。あるいは、指がかりのあった方の撮像系を示す情報（メッセージ、色など）を表示してもよい。
【選択図】 図９

Description

本発明は、多視点画像を撮影する装置の撮像系への指がかりの通知に関する。

特許文献１では、第１位置と、第１位置よりも撮影レンズに対して離れた第２位置との間を移動可能なシャッタレリーズボタンを有するグリップ部材を備えているので、たとえば撮影者自身を撮影することを欲する場合、グリップ部材を第２位置に移動させ、グリップ部材を片手で把持しつつカメラを自身に向けて、シャッタレリーズボタンを押せば、撮影者の腕が写り込むことを極力防止できる。加えて、該グリップ部材２が該第２位置にあるときに、該第１位置にあるときよりも小さい絞りでの撮影が行われるように絞り機構を制御する制御回路を備えているので、たとえば撮影者自身を撮影する場合に、被写界深度が深くなり、被写体としての撮影者がピンぼけとなることを極力防止することができる。

特許文献２では、外部ファインダーを有し、かつ測光素子の測光結果に基づいて撮像素子の受光状態を制御すると共に、該制御下で撮像素子の出力により得られた測光結果に基づいて再度撮像素子の受光状態を調節するようにした撮影装置において、測光素子の測光結果と撮像素子の測光結果を比較する手段を設け、その差が所定値以上であった場合に、異常撮影であることを報知する。

特許文献３では、撮像レンズを介して結像される光画像に対応してＣＣＤから出力される電気画像信号に基づいて、信号処理回路で行われるＡＦ，ＡＥ，ＡＷＢ等の動作のための処理信号を利用して指等が撮像レンズに掛かっているか否かを不具合検知回路で判定し、掛かっていると判定した時には警告発生回路１５から警告を発生してカメラ使用者に知らせる。

その他、両眼視差を利用した立体画像の撮像および表示の原理を説明したものとして、特許文献４がある。
特開平１１−３０５２９３公報 特開平５−１１３３１号公報 特開平５−９５５０１号公報 特開２００６−１３８５１号公報

複眼カメラの各々の撮像系から得られた画像から立体映像を作成して表示した場合、ある撮像レンズに指がかかっていても、その撮像レンズの映像の指がかり部分は、指のかかっていない方の撮像レンズの映像で補われるため、指がかかっていることが分かりにくい。あるいは、複眼カメラの各々の撮像系から得られた画像のいずれかを、各撮像系を代表した平面スルー画像として表示する場合、当該代表の平面スルー画像以外に指がかかっていたときは、ユーザはその代表の平面スルー画像によって指がかりを識別できない。

本発明は、複眼カメラの撮像光学系への指かかりをユーザに分かりやすく通知することを目的とする。

本発明に係る撮影装置は、２以上の撮像系の各視点から撮影された多視点画像を取得可能な撮影部と、撮影部の撮影した多視点画像から、指がかりの生じている指がかり画像および指がかり画像において指がかりの生じている領域を判別する指がかり判別部と、多視点画像から立体スルー画像を合成して出力する際、指がかり判別部の判別した指がかり領域を強調するよう所定の表示装置を制御する表示制御部と、を備える。

本発明に係る撮影装置は、２以上の撮像系の各視点から撮影された多視点画像を取得可能な撮影部と、撮影部の撮影した多視点画像から、指がかりの生じている指がかり画像および指がかり画像において指がかりの生じている領域を判別する指がかり判別部と、多視点画像のいずれかを平面スルー画像として出力する際、指がかり判別部の判別した指がかり領域を強調表示するよう所定の表示装置を制御する表示制御部と、を備える。

表示制御部は、指がかり判別部の判別した指がかり画像を出力した撮像系を示す情報を表示するよう所定の表示装置を制御する。

本発明に係る指がかり通知方法は、情報処理装置が、２以上の撮像系の各視点から撮影された多視点画像を取得可能な撮影部の撮影した多視点画像から、指がかりの生じている指がかり画像および指がかり画像において指がかりの生じている領域を判別するステップと、多視点画像から立体スルー画像を合成して出力する際、判別した指がかり領域を強調するよう所定の表示装置を制御するステップと、を実行する。

本発明に係る指がかり通知方法は、情報処理装置が、２以上の撮像系の各視点から撮影された多視点画像を取得可能な撮影部の撮影した多視点画像から、指がかりの生じている指がかり画像および指がかり画像において指がかりの生じている領域を判別するステップと、多視点画像のいずれかを平面スルー画像として出力する際、判別した指がかり領域を強調表示するよう所定の表示装置を制御するステップと、を実行する。

この指がかり通知方法を情報処理装置に実行させるためのプログラムも本発明に含まれる。

本発明によると、立体または平面スルー画像において、指がかり領域は強調されるので、ユーザが直ちに違和感を覚え、いずれかの撮像系に指かかりがあることを本撮像前に即座に認識できる。

＜第１実施形態＞
以下、添付図面に従って本発明に係る撮影装置を実施するための最良の形態について説明する。

図１は、本発明の第一実施形態であるデジタルカメラの外観構成を示す正面斜視図である。図２は、本発明の第一実施形態であるデジタルカメラの外観構成を示す背面斜視図である。

本実施形態のデジタルカメラ１０は、複数（図１では二つを例示）の撮像手段（撮像系ともいう）を備えたデジタルカメラ（本発明の複眼デジタルカメラに相当）であって、同一被写体を複数視点（図１では左右二つの視点を例示）から撮影可能となっている。

なお、本実施形態では、説明の便宜のため二つの撮像手段を例示しているが、本発明はこれに限定されない。三つ以上の撮像手段であっても同様に適用可能である。なお、撮像手段（主として撮影レンズ１４Ｒ、１４Ｌ）の配置は、水平方向に沿った横一列でなくてもよく、二次元的に配置されていてもよい。立体撮影又はマルチ視点や全方向の撮影でもよい。

デジタルカメラ１０のカメラボディ１２は、矩形の箱状に形成されており、その正面には、図１に示すように、一対の撮影レンズ１４Ｒ、１４Ｌ、ストロボ１６等が設けられている。また、カメラボディ１２の上面には、シャッタボタン１８、電源／モードスイッチ２０、モードダイヤル２２等が設けられている。

一方、カメラボディ１２の背面には、図２に示すように、モニタ２４、ズームボタン２６、十字ボタン２８、ＭＥＮＵ／ＯＫボタン３０、ＤＩＳＰボタン３２、ＢＡＣＫボタン３４、マクロボタン３６等が設けられている。

また、図示されていないが、カメラボディ１２の底面には、三脚ネジ穴、開閉自在なバッテリカバー等が設けられており、バッテリカバーの内側には、バッテリを収納するためのバッテリ収納室、メモリカードを装着するためのメモリカードスロット等が設けられている。

左右一対の撮影レンズ１４Ｒ、１４Ｌは、それぞれ沈胴式のズームレンズで構成されており、マクロ撮影機能（近接撮影機能）を有している。この撮影レンズ１４Ｒ、１４Ｌは、それぞれデジタルカメラ１０の電源をＯＮすると、カメラボディ１２から繰り出される。

なお、撮影レンズにおけるズーム機構や沈胴機構、マクロ撮影機構については、公知の技術なので、ここでは、その具体的な構成についての説明は省略する。

ストロボ１６は、キセノン管で構成されており、暗い被写体を撮影する場合や逆光時などに必要に応じて発光される。

シャッタボタン１８は、いわゆる「半押し」と「全押し」とからなる二段ストローク式のスイッチで構成されている。デジタルカメラ１０は、静止画撮影時（例えば、モードダイヤル２２で静止画撮影モード選択時、又はメニューから静止画撮影モード選択時）、このシャッタボタン１８を半押しすると撮影準備処理、すなわち、ＡＥ（Automatic Exposure：自動露出）、ＡＦ（Auto Focus：自動焦点合わせ）、ＡＷＢ（Automatic White Balance：自動ホワイトバランス）の各処理を行い、全押すると、画像の撮影・記録処理を行う。また、動画撮影時（例えば、モードダイヤル２２で動画撮影モード選択時、又はメニューから動画撮影モード選択時）、このシャッタボタン１８を全押すると、動画の撮影を開始し、再度全押しすると、撮影を終了する。なお、設定により、シャッタボタン１８を全押している間、動画の撮影を行い、全押しを解除すると、撮影を終了するようにすることもできる。なお、静止画撮影専用のシャッタボタン及び動画撮影専用のシャッタボタンを設けるようにしてもよい。

電源／モードスイッチ２０は、デジタルカメラ１０の電源スイッチとして機能するとともに、デジタルカメラ１０の再生モードと撮影モードとを切り替える切替手段として機能し、「ＯＦＦ位置」と「再生位置」と「撮影位置」の間をスライド自在に設けられている。デジタルカメラ１０は、この電源／モードスイッチ２０を「再生位置」に位置させると、再生モードに設定され、「撮影位置」に位置させると、撮影モードに設定される。また、「ＯＦＦ位置」に位置させると、電源がＯＦＦされる。

モードダイヤル２２は、撮影モードの設定に用いられる。このモードダイヤル２２は、カメラボディ１２の上面に回転自在に設けられており、図示しないクリック機構によって、「２Ｄ静止画位置」、「２Ｄ動画位置」、「３Ｄ静止画位置」、「３Ｄ動画位置」にセット可能に設けられている。デジタルカメラ１０は、このモードダイヤル２２を「２Ｄ静止画位置」にセットすることにより、２Ｄの静止画（テレ／ワイド同時撮り、色再現・2枚同時撮り／明暗・2枚同時撮り、パノラマ撮影といった複眼カメラによる各種の２Ｄの静止画）を撮影する２Ｄ静止画撮影モードに設定され、２Ｄ／３Ｄモード切替フラグ１６８に、２Ｄモードであることを表すフラグが設定される。また、「２Ｄ動画位置」にセットすることにより、２Ｄの動画（左右同時動画撮影あるいは動画と静止画同時撮影）を撮影する２Ｄ動画撮影モードに設定され、２Ｄ／３Ｄモード切替フラグ１６８に、２Ｄモードであることを表すフラグが設定される。

また、「３Ｄ静止画位置」にセットすることにより、３Ｄの静止画を撮影する３Ｄ静止画撮影モードに設定され、２Ｄ／３Ｄモード切替フラグ１６８に、３Ｄモードであることを表すフラグが設定される。さらに、「３Ｄ動画位置」にセットすることにより、３Ｄの動画を撮影する３Ｄ動画撮影モードに設定され、２Ｄ／３Ｄモード切替フラグ１６８に、３Ｄモードであることを表すフラグが設定される。後述するＣＰＵ（中央演算装置、情報処理装置）１１０は、この２Ｄ／３Ｄモード切替フラグ１６８を参照して、２Ｄモード又は３Ｄモードのいずれであるかを把握する。

モニタ２４は、かまぼこ状のレンズ群を有したいわゆるレンチキュラレンズが前面に配置されたカラー液晶パネル等の表示装置である。このモニタ２４は、撮影済み画像を表示するための画像表示部として利用されるとともに、各種設定時にＧＵＩとして利用される。また、モニタ２４は、撮影時には、各撮像素子１３４Ｒ／Ｌが継続的に捉えた画像（スルー画像）が順次表示し、電子ファインダとして利用される。

ここで、モニタ２４で立体視表示が可能となる仕組みについて図面を参照しながら説明する。

図３は、モニタ２４で立体視表示が可能となる仕組みについて説明するための図である。モニタ２４の前面（観者の視点（左眼ＥL、右眼ＥR）が存在するｚ軸方向）には、レンティキュラレンズ２４ａが配置されている。レンティキュラレンズ２４ａは、複数の円筒状凸レンズを図３中ｘ軸方向に連ねることで構成される。

モニタ２４に表示される立体視画像の表示領域は、右眼用短冊画像表示領域２４Ｒと左眼用短冊画像表示領域２４Ｌとから構成されている。右眼用短冊画像表示領域２４Ｒ及び左眼用短冊画像表示領域２４Ｌは、それぞれ画面の図３中ｙ軸方向に細長い短冊形状をしており、図３中ｘ軸方向に交互に配置される。

レンティキュラレンズ２４ａの各凸レンズは、観者の所与の観察点を基準として、それぞれ一組の右眼用短冊画像表示領域２４Ｒ及び左眼用短冊画像表示領域２４Ｌを含む短冊集合画像表示領域２４ｃに対応した位置に形成される。

図３では、観者の右眼ＥRには、レンティキュラレンズ２４ａの光屈折作用により、モニタ２４の右眼用短冊画像表示領域２４Ｒに表示された右眼用短冊画像が入射される。また、観者の左眼ＥLには、レンティキュラレンズ２４ａの光屈折作用により、モニタ２４の左眼用短冊画像表示領域２４Ｌに表示された左眼用短冊画像が入射される。したがって、観者の右眼は右眼用短冊画像のみを、観者の左眼は左眼用短冊画像のみを見ることになり、これら右眼用短冊画像の集合である右眼用画像及び左眼用短冊画像の集合である左眼用画像による左右視差により立体視が可能となる。

なお、モニタ２４は、液晶や有機ＥＬ等の二次元と三次元の両方が表示可能な表示素子を含む。自発光、あるいは別に光源があり光量を制御する方式であってもよい。また、偏光による方式やアナグリフ、裸眼式等、立体表示の方式は問わない。また、液晶や有機ＥＬを多層に重ねた方式でもよい。

ズームボタン２６は、撮影レンズ１４Ｒ、１４Ｌのズーム操作に用いられ、望遠側へのズームを指示するズームテレボタンと、広角側へのズームを指示するズームワイドボタンとで構成されている。

十字ボタン２８は、上下左右４方向に押圧操作可能に設けられており、各方向のボタンには、カメラの設定状態に応じた機能が割り当てられる。たとえば、撮影時には、左ボタンにマクロ機能のＯＮ／ＯＦＦを切り替える機能が割り当てられ、右ボタンにストロボモードを切り替える機能が割り当てられる。また、上ボタンにモニタ２４の明るさを替える機能が割り当てられ、下ボタンにセルフタイマのＯＮ／ＯＦＦを切り替える機能が割り当てられる。また、再生時には、左ボタンにコマ送りの機能が割り当てられ、右ボタンにコマ戻しの機能が割り当てられる。また、上ボタンにモニタ２４の明るさを替える機能が割り当てられ、下ボタンに再生中の画像を削除する機能が割り当てられる。また、各種設定時には、モニタ２４に表示されたカーソルを各ボタンの方向に移動させる機能が割り当てられる。

ＭＥＮＵ／ＯＫボタン３０は、メニュー画面の呼び出し（ＭＥＮＵ機能）に用いられるとともに、選択内容の確定、処理の実行指示等（ＯＫ機能）に用いられ、デジタルカメラ１０の設定状態に応じて割り当てられる機能が切り替えられる。

メニュー画面では、たとえば露出値、色合い、ＩＳＯ感度、記録画素数などの画質調整やセルフタイマの設定、測光方式の切り替え、デジタルズームを使用するか否かなど、デジタルカメラ１０が持つ全ての調整項目の設定が行われる。デジタルカメラ１０は、このメニュー画面で設定された条件に応じて動作する。

ＤＩＳＰボタン３２は、モニタ２４の表示内容の切り替え指示等の入力に用いられ、ＢＡＣＫボタン３４は入力操作のキャンセル等の指示の入力に用いられる。

縦撮り／横撮り切替ボタン３６は、縦撮り又は横撮り（縦撮りモード又は横撮りモード）のいずれで撮影を行うかを指示するためのボタンである。縦撮り／横撮り検出回路１６６は、このボタンの状態により、縦撮り又は横撮りのいずれで撮影を行うかを検出する。

図４は、図１及び図２に示したデジタルカメラ１０の電気的構成を示すブロック図である。

図４に示すように、本実施形態のデジタルカメラ１０は、二つの撮像系それぞれから画像信号を取得できるように構成されており、ＣＰＵ１１０、２Ｄ／３Ｄ表示切替部４０、全体画像合成回路４２、３Ｄ画像編集回路４４、編集制御入力部４６、２Ｄ／３Ｄ切替視点数切替部４８、サムネイル画像作成回路５０、カーソル作成回路５２、操作部（シャッタボタン１８、電源／モードスイッチ２０、モードダイヤル２２、ズームボタン２６、十字ボタン２８、ＭＥＮＵ／ＯＫボタン３０、ＤＩＳＰボタン３２、ＢＡＣＫボタン３４、２Ｄ／３Ｄモード切替ボタン３６等）１１２、ＲＯＭ１１６、フラッシュＲＯＭ１１８、ＳＤＲＡＭ１２０、ＶＲＡＭ１２２、撮影レンズ１４Ｒ、１４Ｌ、ズームレンズ制御部１２４Ｒ、１２４Ｌ、フォーカスレンズ制御部１２６Ｒ、１２６Ｌ、絞り制御部１２８Ｒ、１２８Ｌ、撮像素子１３４Ｒ、１３４Ｌ、タイミングジェネレータ（ＴＧ）１３６Ｒ、１３６Ｌ、アナログ信号処理部１３８Ｒ、１３８Ｌ、Ａ／Ｄ変換器１４０Ｒ、１４０Ｌ、画像入力コントローラ１４１Ｒ、１４１Ｌ、デジタル信号処理部１４２Ｒ、１４２Ｌ、ＡＦ検出部１４４、ＡＥ／ＡＷＢ検出部１４６、３Ｄ画像生成部１５０、圧縮・伸張処理部１５２、メディア制御部１５４、メモリカード１５６、表示制御部１５８、モニタ２４、電源制御部１６０、バッテリ１６２、ストロボ制御部１６４、ストロボ１６等を備えている。

図１中右側の撮像手段Ｒは、主として、撮影レンズ１４Ｒ、ズームレンズ制御部１２４Ｒ、フォーカスレンズ制御部１２６Ｒ、絞り制御部１２８Ｒ、撮像素子１３４Ｒ、タイミングジェネレータ（ＴＧ）１３６Ｒ、アナログ信号処理部１３８Ｒ、Ａ／Ｄ変換器１４０Ｒ、画像入力コントローラ１４１Ｒ、デジタル信号処理部１４２Ｒ等から構成される。

図１中左側の撮像手段Ｌは、主として、撮影レンズ１４Ｌ、ズームレンズ制御部１２４Ｌ、フォーカスレンズ制御部１２６Ｌ、絞り制御部１２８Ｌ、撮像素子１３４Ｌ、タイミングジェネレータ（ＴＧ）１３６Ｌ、アナログ信号処理部１３８Ｌ、Ａ／Ｄ変換器１４０Ｌ、画像入力コントローラ１４１Ｌ、デジタル信号処理部１４２Ｌ等から構成される。

ＣＰＵ１１０は、撮影、表示、記録などカメラ全体の動作を統括制御する制御手段として機能し、操作部１１２からの入力に基づき所定の制御プログラムに従って各部を制御する。操作部１１２は、シャッタボタン１８、電源／モードスイッチ２０、モードダイヤル２２、ズームボタン２６、十字ボタン２８、ＭＥＮＵ／ＯＫボタン３０、ＤＩＳＰボタン３２、ＢＡＣＫボタン３４、マクロボタン３６などを含む。

バス１１４を介して接続されたＲＯＭ１１６には、このＣＰＵ１１０が実行する制御プログラム及び制御に必要な各種データ（後述するＡＥ／ＡＦの制御周期等）等が格納されており、フラッシュＲＯＭ１１８には、ユーザ設定情報等のデジタルカメラ１０の動作に関する各種設定情報等が格納されている。

ＳＤＲＡＭ１２０は、ＣＰＵ１１０の演算作業用領域として利用されるとともに、画像データの一時記憶領域として利用され、ＶＲＡＭ１２２は、表示用の画像データ専用の一時記憶領域として利用される。

左右一対の撮影レンズ１４Ｒ、１４Ｌ（まとめて撮影レンズ１４と表すこともある）は、ズームレンズ１３０ＺＲ、１３０ＺＬ（まとめてズームレンズ１３０Ｚと表すこともある）、フォーカスレンズ１３０ＦＲ、１３０ＦＬ（まとめてフォーカスレンズ１３０Ｆと表すこともある）、絞り１３２Ｒ、１３２Ｌを含んで構成され、所定の間隔をもってカメラボディ１２に配置されている。

ズームレンズ１３０ＺＲ、１３０ＬＲは、図示しないズームアクチュエータに駆動されて光軸に沿って前後移動する。ＣＰＵ１１０は、ズームレンズ制御部１２４Ｒ、１２４Ｌを介してズームアクチュエータの駆動を制御することにより、ズームレンズの位置を制御し、撮影レンズ１４Ｒ、１４Ｌのズーミングを行う。

フォーカスレンズ１３０ＦＲ、１３０ＦＬは、図示しないフォーカスアクチュエータに駆動されて光軸に沿って前後移動する。ＣＰＵ１１０は、フォーカスレンズ制御部１２６Ｒ、１２６Ｌを介してフォーカスアクチュエータの駆動を制御することにより、フォーカスレンズの位置を制御し、撮影レンズ１４Ｒ、１４Ｌのフォーカシングを行う。

絞り１３２Ｒ、１３２Ｌは、たとえば、アイリス絞りで構成されており、図示しない絞りアクチュエータに駆動されて動作する。ＣＰＵ１１０は、絞り制御部１２８Ｒ、１２８Ｌを介して絞りアクチュエータの駆動を制御することにより、絞り１３２Ｒ、１３２Ｌの開口量（絞り値）を制御し、撮像素子１３４Ｒ、１３４Ｌへの入射光量を制御する。

なお、ＣＰＵ１１０は、この撮影レンズ１４Ｒ、１４Ｌを構成するズームレンズ１３０ＺＲ、１３０ＺＬ、フォーカスレンズ１３０ＦＲ、１３０ＦＬ、絞り１３２Ｒ、１３２Ｌを駆動する際、左右の撮影レンズ１４Ｒ、１４Ｌを同期させて駆動する。すなわち、左右の撮影レンズ１４Ｒ、１４Ｌは、常に同じ焦点距離（ズーム倍率）に設定され、常に同じ被写体にピントが合うように、焦点調節が行われる。また、常に同じ入射光量（絞り値）となるように絞りが調整される。

撮像素子１３４Ｒ、１３４Ｌは、所定のカラーフィルタ配列のカラーＣＣＤで構成されている。ＣＣＤは、その受光面に多数のフォトダイオードが二次元的に配列されている。撮影レンズ１４Ｒ、１４ＬによってＣＣＤの受光面上に結像された被写体の光学像は、このフォトダイオードによって入射光量に応じた信号電荷に変換される。各フォトダイオードに蓄積された信号電荷は、ＣＰＵ１１０の指令に従ってＴＧ１３６Ｒ、１３６Ｌから与えられる駆動パルスに基づいて信号電荷に応じた電圧信号（画像信号）として撮像素子１３４Ｒ、１３４Ｌから順次読み出される。

なお、この撮像素子１３４Ｒ、１３４Ｌには、電子シャッタの機能が備えられており、フォトダイオードへの電荷蓄積時間を制御することにより、露光時間（シャッタ速度）が制御される。

なお、本実施の形態では、撮像素子としてＣＣＤを用いているが、ＣＭＯＳセンサ等の他の構成の撮像素子を用いることもできる。

アナログ信号処理部１３８Ｒ、１３８Ｌは、撮像素子１３４Ｒ、１３４Ｌから出力された画像信号に含まれるリセットノイズ（低周波）を除去するための相関二重サンプリング回路（ＣＤＳ）、画像信号を増幅し、一定レベルの大きさにコントロールするためのＡＧＳ回路を含み、撮像素子１３４Ｒ、１３４Ｌから出力される画像信号を相関二重サンプリング処理するとともに増幅する。

Ａ／Ｄ変換器１４０Ｒ、１４０Ｌは、アナログ信号処理部１３８Ｒ、１３８Ｌから出力されたアナログの画像信号をデジタルの画像信号に変換する。

画像入力コントローラ１４１Ｒ、１４１Ｌは、Ａ／Ｄ変換器１４０Ｒ、１４０Ｌから出力された画像信号を取り込んで、ＳＤＲＡＭ１２０に格納する。

デジタル信号処理部１４２Ｒ、１４２Ｌは、ＣＰＵ１１０からの指令に従いＳＤＲＡＭ１２０に格納された画像信号を取り込み、所定の信号処理を施して輝度信号Ｙと色差信号Ｃｒ、ＣｂとからなるＹＵＶ信号を生成する。

図５は、このデジタル信号処理部１４２Ｒ、１４２Ｌの概略構成を示すブロック図である。

図５に示すように、デジタル信号処理部１４２Ｒ、１４２Ｌは、ホワイトバランスゲイン算出回路１４２ａ、オフセット補正回路１４２ｂ、ゲイン補正回路１４２ｃ、ガンマ補正回路１４２ｄ、ＲＧＢ補間演算部１４２ｅ、ＲＧＢ／ＹＣ変換回路１４２ｆ、ノイズフィルタ１４２ｇ、輪郭補正回路１４２ｈ、色差マトリクス回路１４２ｉ、光源種別判定回路１４２ｊを備えて構成される。

ホワイトバランスゲイン算出回路１４２ａは、ＡＥ／ＡＷＢ検出部１４６で算出された積算値を取り込んでホワイトバランス調整用のゲイン値を算出する。

オフセット補正回路１４２ｂは、画像入力コントローラ１４１Ｒ、１４１Ｌを介して取り込まれたＲ、Ｇ、Ｂの各色の画像信号に対してオフセット処理を行う。

ゲイン補正回路１４２ｃは、オフセット処理された画像信号を取り込み、ホワイトバランスゲイン算出回路１４２ａで算出されたゲイン値を用いてホワイトバランス調整を行う。

ガンマ補正回路１４２ｄは、ホワイトバランス調整された画像信号を取り込み、所定のγ値を用いてガンマ補正を行う。

ＲＧＢ補間演算部１４２ｅは、ガンマ補正されたＲ、Ｇ、Ｂの色信号を補間演算して、各画素位置におけるＲ、Ｇ、Ｂ３色の信号を求める。すなわち、単板式の撮像素子の場合、各画素からは、Ｒ、Ｇ、Ｂのいずれか一色の信号しか出力されないため、出力しない色を周囲の画素の色信号から補間演算により求める。たとえば、Ｒを出力する画素では、この画素位置におけるＧ、Ｂの色信号がどの程度になるかを周りの画素のＧ、Ｂ信号から補間演算により求める。このように、ＲＧＢ補間演算は、単板式の撮像素子に特有のものなので、撮像素子１３４に三板式のものを用いた場合には不要となる。

ＲＧＢ／ＹＣ変換回路１４２ｆは、ＲＧＢ補間演算後のＲ、Ｇ、Ｂ信号から輝度信号Ｙと色差信号Ｃｒ、Ｃｂを生成する。

ノイズフィルタ１４２ｇは、ＲＧＢ／ＹＣ変換回路１４２ｆで生成された輝度信号Ｙと色差信号Ｃｒ、Ｃｂに対してノイズ低減処理を施す。

輪郭補正回路１４２ｈは、ノイズ低減後の輝度信号Ｙに対し、輪郭補正処理を行い、輪郭補正された輝度信号Ｙ’を出力する。

一方、色差マトリクス回路１４２ｉは、ノイズ低減後の色差信号Ｃｒ、Ｃｂに対し、色差マトリクス（Ｃ−ＭＴＸ）を乗算して色調補正を行う。すなわち、色差マトリクス回路１４２ｉには、光源対応の色差マトリクスが複数種類設けられており、光源種別判定回路１４２ｊが求めた光源種に応じて、使用する色差マトリクスを切り替え、この切り替え後の色差マトリクスを入力された色差信号Ｃｒ、Ｃｂに乗算し、色調補正された色差信号Ｃｒ’、Ｃｂ’を出力する。

光源種別判定回路１４２ｊは、ＡＥ／ＡＷＢ検出部１４６で算出された積算値を取り込んで光源種を判定し、色差マトリクス回路１４２ｉに色差マトリクス選択信号を出力する。

なお、本実施の形態のデジタルカメラでは、上記のようにデジタル信号処理部をハードウェア回路で構成しているが、当該ハードウェア回路と同じ機能をソフトウェアにて構成することも可能である。

ＡＦ検出部１４４は、一方の画像入力コントローラ１４１Ｒから取り込まれたＲ、Ｇ、Ｂの各色の画像信号を取り込み、ＡＦ制御に必要な焦点評価値を算出する。このＡＦ検出部１４４は、Ｇ信号の高周波成分のみを通過させるハイパスフィルタ、絶対値化処理部、画面に設定された所定のフォーカスエリア内の信号を切り出すフォーカスエリア抽出部、及び、フォーカスエリア内の絶対値データを積算する積算部を含み、この積算部で積算されたフォーカスエリア内の絶対値データを焦点評価値としてＣＰＵ１１０に出力する。

ＣＰＵ１１０は、ＡＦ制御時、このＡＦ検出部１４４から出力される焦点評価値が極大となる位置をサーチし、その位置にフォーカスレンズ１３０ＦＲ、１３０ＦＬを移動させることにより、主要被写体への焦点合わせを行う。すなわち、ＣＰＵ１１０は、ＡＦ制御時、まず、フォーカスレンズ１３０ＦＲ、１３０ＦＬを至近から無限遠まで移動させ、その移動過程で逐次ＡＦ検出部１４４から焦点評価値を取得し、その焦点評価値が極大となる位置を検出する。そして、検出された焦点評価値が極大の位置を合焦位置と判定し、その位置にフォーカスレンズ１３０ＦＲ、１３０ＦＬを移動させる。これにより、フォーカスエリアに位置する被写体（主要被写体）にピントが合わせられる。

ＡＥ／ＡＷＢ検出部１４６は、一方の画像入力コントローラ１４１Ｒから取り込まれたＲ、Ｇ、Ｂの各色の画像信号を取り込み、ＡＥ制御及びＡＷＢ制御に必要な積算値を算出する。すなわち、このＡＥ／ＡＷＢ検出部１４６は、一画面を複数のエリア（たとえば、８×８＝６４エリア）に分割し、分割されたエリアごとにＲ、Ｇ、Ｂ信号の積算値を算出する。

ＣＰＵ１１０は、ＡＥ制御時、このＡＥ／ＡＷＢ検出部１４６で算出されたエリアごとのＲ、Ｇ、Ｂ信号の積算値を取得し、被写体の明るさ（測光値）を求めて、適正な露光量を得るための露出設定を行う。すなわち、感度、絞り値、シャッタ速度、ストロボ発光の要否を設定する。

また、ＣＰＵ１１０は、ＡＷＢ制御時、ＡＥ／ＡＷＢ検出部１４６で算出されたエリアごとのＲ、Ｇ、Ｂ信号の積算値をデジタル信号処理部１４２のホワイトバランスゲイン算出回路１４２ａ及び光源種別判定回路１４２ｊに加える。

ホワイトバランスゲイン算出回路１４２ａは、このＡＥ／ＡＷＢ検出部１４６で算出された積算値に基づいてホワイトバランス調整用のゲイン値を算出する。

また、光源種別判定回路１４２ｊは、このＡＥ／ＡＷＢ検出部１４６で算出された積算値に基づいて光源種を検出する。

圧縮・伸張処理部１５２は、ＣＰＵ１１０からの指令に従い、入力された画像データに所定形式の圧縮処理を施し、圧縮画像データを生成する。また、ＣＰＵ１１０からの指令に従い、入力された圧縮画像データに所定形式の伸張処理を施し、非圧縮の画像データを生成する。なお、本実施の形態のデジタルカメラ１０では、静止画に対しては、ＪＰＥＧ規格に準拠した圧縮処理が施され、動画に対してはＭＰＥＧ２規格に準拠した圧縮処理が施される。

メディア制御部１５４は、ＣＰＵ１１０からの指令に従い、メモリカード１５６に対してデータの読み／書きを制御する。

表示制御部１５８は、ＣＰＵ１１０からの指令に従い、モニタ２４への表示を制御する。すなわち、ＣＰＵ１１０からの指令に従い、入力された画像信号をモニタ２４に表示するための映像信号（たとえば、ＮＴＳＣ信号やＰＡＬ信号、ＳＣＡＭ信号）に変換してモニタ２４に出力するとともに、所定の文字、図形情報をモニタ２４に出力する。

電源制御部１６０は、ＣＰＵ１１０からの指令に従い、バッテリ１６２から各部への電源供給を制御する。

ストロボ制御部１６４は、ＣＰＵ１１０からの指令に従い、ストロボ１６の発光を制御する。

高さ検出部３８は、基準面（例えば、地面）からの撮影高さ（距離）を検出するための回路である。

縦撮り／横撮り検出回路１６６は、縦撮り／横撮り切替ボタン３６の状態により、縦撮りであるか横撮りであるかを検出する。

２Ｄ／３Ｄモード切替フラグ１６８には、２Ｄモードであること又は３Ｄモードであることを表すフラグが設定される。

対応点検出部７は、ステレオマッチングの手法を用いて撮像素子１３４Ｒ、１３４Ｌがそれぞれ取得した画像ＳＲ，ＳＬ上において互いに対応する対応点を求める。対応点の求め方は公知のものを適用すればよい。例えば、画像ＳＲ，ＳＬから部分的な行列（例えば３×３画素）を取り出して相関値を求めることにより対応点を求める。具体的には、画像ＳＲ，ＳＬの一方から輝度・色差の変わる境界部分（エッジ成分）を特徴点とし、他方の画像において同様のエッジ成分を有する部分を対応点とする。あるいは、画像ＳＲ，ＳＬからそれぞれ顔検出を行い、検出された顔領域の頭頂と顎の先端をそれぞれの画像の特徴点あるいは対応点としてもよく、特徴点と対応点の抽出方法を相互に依存させる必要はない。

図６はデジタルカメラ１０の指かかりの一例を示す。ここでは、撮影レンズ１４Ｒにユーザの右手中指がかかっている様子が示されている。

図７は、このような指がかり状態で各撮像素子１３４Ｒ、Ｌから得られた画像データの一例を示す。図７（ａ）は、指がかかっていない撮影レンズ１４Ｌに対応する撮像素子１３４Ｌから得られた画像データであり、被写体が指により妨げられていない。一方図７（ｂ）は、指がかかった撮影レンズ１４Ｒに対応する撮像素子１３４Ｒから得られた画像データであり、被写体が指により妨げられている。

図８は、これらの画像データに基づいたモニタ２４でのスルー画立体視表示の一例である。図示の映像は平面的であるが、実際には両画像の視差によって画像は立体的に見える。上述のように、モニタ２４のレンティキュラレンズにより、観者の右眼は右眼用短冊画像のみを、観者の左眼は左眼用短冊画像のみを見る。しかし、右目の映像における指がかり部分は、ユーザの左目の映像に対応する対応点が検出されないので、立体映像として見えない対応点のない領域が生じ、観察時のちらつき等、立体画像の良好な観察を阻害する要因になる。この場合、特許文献４と同様、スルー画像中の対応点のない領域には、任意の画素値を代入する方法、例えば左右画像に同じ画素値を代入する等の方法により、観察時のちらつきを防ぐ処理が行われる。この場合、ユーザの目からは、どの撮像系に指がかりが発生しているのかわからず、そのまま本撮影を開始して指のかかった画像を記録するおそれがある。スルー画像の対応点のない領域をそのまま表示することも考えられるが、ユーザは左右の画像を左右の目で別々にピント合わせて見る訳ではなく、１つの画として見るため、左右のいずれの画像のどこに対応点のない領域が存在するのかは正確に識別できない。

そこで、ＣＰＵ１１０は、各撮像素子１３４Ｒ、Ｌによって得られたスルー画像のうち、指がかりの生じている領域（指がかり領域）を所定の色で塗りつぶしたり、点滅表示をするなど、指がかり領域を強調する画像処理を行った上で、処理されたスルー画像をモニタ２４に出力する。

以下、図９のフローチャートを参照し、カメラ１０のメインＣＰＵ１１０が実行を制御する撮影処理の流れを説明する。この処理をメインＣＰＵ１１０に実行させるプログラムはＲＯＭ１１６に記憶されており、メインＣＰＵ１１０がこのプログラムをＳＤＲＡＭ１２０に読み出して解釈・実行する。

Ｓ１では、モードダイヤル２２が「３Ｄ静止画位置」あるいは「３Ｄ動画位置」に設定されたことに応じ、スルー画の出力を行う。

Ｓ２では、特許文献２や３と同様、測光結果などに基づいて画像中の暗い部分を検出することで、指がかり領域を特定し、その領域の特定の有無で指がかりが発生しているか否かを判断する。ＹｅｓならばＳ３、ＮｏならばＳ４に進む。なお、対応点検出部７により、画像ＳＲ，ＳＬの一方から特徴点を求め、画像ＳＲ，ＳＬの他方から特徴点に対応する対応点を求め、ＣＰＵ１１０は対応点のない領域を指がかり発生領域に特定してもよい。そして、ＣＰＵ１１０はその指がかり発生領域が存在するか否かにより、指がかりが発生しているか否かを判断してもよい。あるいは、ＣＰＵ１１０は測光結果、対応点の双方を併用して指がかりの発生の有無を判断してもよい。

Ｓ３では、Ｓ２で特定された指がかり領域を強調表示する（図９参照）。

Ｓ４では、シャッタボタン１８の半押し／全押しに応じてＡＦ・ＡＥなどの撮影準備処理あるいは本撮影を行う。

図１０は、強調表示の一例である。指がかり領域は、立体視ができないだけでなく、強調されているので、ユーザが直ちに違和感を覚え、指かかりがあることを本撮像前に即座に認識でき、レンズに指のかかった状態での失敗撮影を事前に回避できる。

＜第２実施形態＞
第１実施形態は３Ｄ撮影でスルー画像を立体画像として表示する場合の指がかりの通知を説明したが、３Ｄ撮影でスルー画像を立体画像として表示せず、いずれか１つの撮像系で得られた画像を、各撮像系を代表する平面画像（代表スルー画像）として表示する場合でも同様の問題がある。すなわち、例えば図１１（ａ）は、指がかかっていない撮影レンズ１４Ｌに対応する撮像素子１３４Ｌから得られた画像データであり、被写体が指により妨げられていない。一方図１１（ｂ）は、指がかかった撮影レンズ１４Ｒに対応する撮像素子１３４Ｒから得られた画像データであり、被写体が指により妨げられている。

図１２は撮像素子１３４Ｌから得られた画像データを代表スルー画像としてそのままモニタ２４に出力した様子を示す。当然ながら、この映像からは、撮影レンズ１４Ｒの指かかりはわからない。

そこで、代表スルー画像を出力する撮像系を常に固定するのではなく、ある撮像系の画像で指がかりが検出された場合、その指かかりのある方の撮像系で得られたスルー画像をモニタ２４に出力する。

以下、図１３のフローチャートを参照し、カメラ１０のメインＣＰＵ１１０が実行を制御する撮影処理の流れを説明する。この処理をメインＣＰＵ１１０に実行させるプログラムはＲＯＭ１１６に記憶されており、メインＣＰＵ１１０がこのプログラムをＳＤＲＡＭ１２０に読み出して解釈・実行する。

Ｓ１１では、３Ｄ撮影モード設定に応じてスルー画の出力を行う。ただし、スルー画像は立体ではなく、撮像素子１３４Ｒ・Ｌのいずれかの一方から得られた画像データをデフォルトの代表スルー画像として出力するものとする。

Ｓ１２では、Ｓ２と同様にして、指がかりが発生しているか否かを判断する。ＹｅｓならばＳ３、ＮｏならばＳ４に進む。

Ｓ１３では、画像ＳＲ，ＳＬのうち指がかり領域を有するスルー画像をモニタ２４に出力し、かつその指がかり領域を強調表示する（図１４参照）。すなわち、デフォルトスルー画像と指がかり画像の出力元となる撮像系が異なる場合は、その出力元が、指がかり画像の撮像系に切り換わる。

Ｓ１４では、シャッタボタン１８の半押し／全押しに応じてＡＦ・ＡＥなどの撮影準備処理あるいは本撮影を行う。

図１４は、画像ＳＲ，ＳＬのうち指がかり領域を有する画像における強調表示の一例である。指がかり領域は、強調されているので、ユーザが直ちに違和感を覚え、いずれかの撮像系に指かかりがあることを本撮像前に即座に認識できる。なお、モニタ２４には少なくとも指かかりがある画像が表示されていればよいので、指かかりがある画像とない画像を並列してモニタ２４に表示してもよい。

＜第３実施形態＞
第１または２実施形態において、指がかりのある画像を出力した撮像系を示す情報をモニタ２４に表示したり、あるいは音声出力することで通知してもよい。

例えば、第１実施形態の撮像処理のＳ３において、さらに、画像ＳＲ，ＳＬのうち指がかりのある領域の存在が検出された方の画像を出力した撮像系（１３４ＲまたはＬ）を判別し、これを示す情報（Ｒ、Ｌの区別）をモニタ２４のスルー画像に重畳する。図７では画像ＳＲで指がかりが発生しているため、図１５のように「右手が指掛かりしています」などといったメッセージを３Ｄのスルー画像に重畳する。３Ｄ画像へ平面的なメッセージを重畳すると見づらい可能性があるから、スルー画像を停止してメッセージだけを２Ｄ表示したり、メッセージを表示する代わりにあるいはメッセージの表示とともに、カメラ１０に設けた図示しないスピーカで当該メッセージを拡声するよう、図示しない音声再生回路（公知のもので可）を制御してもよい。

あるいは、第２実施形態の撮像処理のＳ１３において、さらに、画像ＳＲ，ＳＬのうち指がかりのある領域の存在が検出された方の画像を判別し、この画像のうち指がかり領域に、指がかりのある撮像系を示す情報をモニタ２４のスルー画像に重畳する。図１１では画像ＳＲで指がかりが発生しているため、図１６のように「右手の指がかり」に対応する色彩（例えば赤）その他の視覚的効果を示す映像を、スルー画像の指がかり領域に重畳する。図示は省略するが、画像ＳＬで指がかりが発生していれば、画像ＳＬのスルー画像をモニタ２４に出力し、かつ、「左手の指がかり」に対応する色彩（例えば青）その他の視覚的効果を示す映像を、画像ＳＬのスルー画像の指がかり領域に重畳する。指がかりの生じている撮像系に応じて指がかり領域の色彩その他の視覚的効果を変化させること、あるいは指がかりの生じている撮像系を示すメッセージの表示や当該メッセージの音声による再生は、２Ｄモードでも３Ｄモードでも可能である。

こうすることで、指がかりの生じている撮像系をより分かりやすく事前にユーザに知らせることができる。なお、指がかりのあった方の撮像系を示す情報は、メッセージ内容や、色によって示すことに限らず、指がかり領域の点滅スピードやその強弱の相違などで示してもよい。

＜第４実施形態＞
第２実施形態は３Ｄ画像の撮影について説明したが、代表スルー画像を指がかりのある撮像系のスルー画像に切り替えることは、２Ｄの静止画（テレ／ワイド同時撮り、色再現・2枚同時撮り／明暗・2枚同時撮り）を撮影するモードや、２Ｄの動画（左右同時動画撮影あるいは動画と静止画同時撮影）モードの場合でも適用できる。すなわち、Ｓ１１のスルー画像出力は、３Ｄ画像撮影モードの他、２Ｄ静止画撮影モード、２Ｄ動画撮影モードに応じて開始してもよい。

上記のＣＰＵ１１０が実行する処理は、カメラ１０に接続された情報処理手段を有する各種の電子機器、例えば携帯電話やパソコンなどによって代替されていてもよい。

デジタルカメラの正面斜視図 デジタルカメラの背面斜視図 モニタで立体視表示が可能となる仕組みについて説明するための図 デジタルカメラの電気的構成を示すブロック図 デジタル信号処理部の概略構成を示すブロック図 撮像系への指がかりを例示した図 指がかり画像を例示した図 ３Ｄスルー画像を例示した図 第１実施形態の撮影処理のフローチャート 指がかり部分を強調した３Ｄスルー画像を例示した図 指がかり画像を例示した図 指がかりのない２Ｄスルー画像を例示した図 第２実施形態の撮影処理のフローチャート 指がかり部分を強調した２Ｄスルー画像を例示した図 指がかり部分の存在および指がかりの発生している撮像系を示すメッセージが重畳された３Ｄスルー画像を例示した図 指がかり部分の存在および指がかりの発生している撮像系を示す視覚的効果が重畳された２Ｄスルー画像を例示した図

符号の説明

１０…複眼デジタルカメラ、１２…カメラボディ、１４Ｌ、１４Ｒ…撮影レンズ、１６…ストロボ、１８…シャッタボタン、２０…モードスイッチ、２２…モードダイヤル、２４…モニタ、２４Ｌ…左眼用短冊画像表示領域、２４Ｒ…右眼用短冊画像表示領域、２４ａ…レンティキュラレンズ、２４ｃ…短冊集合画像表示領域、２６…ズームボタン、２８…十字ボタン、３０…ボタン、３２…ボタン、３４…ボタン、３６…マクロボタン、３８…検出部、４０…２Ｄ／３Ｄ表示切替部、４２…全体画像合成回路、４４…３Ｄ画像編集回路、４６…編集制御入力部、４８…２Ｄ／３Ｄ切替視点数切替部、５０…サムネイル画像作成回路、５２…カーソル作成回路、１１２…操作部、１１４…バス、１２４Ｌ、１２４Ｒ…ズームレンズ制御部、１２６Ｌ、１２６Ｒ…フォーカスレンズ制御部、１２８Ｌ、１２８Ｒ…制御部、１３０ＦＲ…フォーカスレンズ、１３０ＺＲ…ズームレンズ、１３４Ｌ、１３４Ｒ…撮像素子、１３８Ｌ、１３８Ｒ…アナログ信号処理部、１４０Ｌ、１４０Ｒ…変換器、１４１Ｌ、１４１Ｒ…画像入力コントローラ、１４２Ｌ、１４２Ｒ…デジタル信号処理部、１４２ａ…ホワイトバランスゲイン算出回路、１４２ｂ…オフセット補正回路、１４２ｃ…ゲイン補正回路、１４２ｄ…ガンマ補正回路、１４２ｅ…補間演算部、１４２ｆ…変換回路、１４２ｇ…ノイズフィルタ、１４２ｈ…輪郭補正回路、１４２ｉ…色差マトリクス回路、１４２ｊ…光源種別判定回路、１４４、１４６…検出部、１５０…画像生成部、１５２…圧縮・伸張処理部、１５４…メディア制御部、１５６…メモリカード、１５８…表示制御部、１６０…電源制御部、１６２…バッテリ、１６４…ストロボ制御部、１６６…検出回路、１６８…モード切替フラグ、Ｒ，Ｌ…撮像手段（撮像系）、７…特徴点検出部

Claims (6)

1. ２以上の撮像系の各視点から撮影された多視点画像を取得可能な撮影部と、
   前記撮影部の撮影した多視点画像から、指がかりの生じている指がかり画像および前記指がかり画像において指がかりの生じている領域を判別する指がかり判別部と、
   前記多視点画像から立体スルー画像を合成して出力する際、前記指がかり判別部の判別した指がかり領域を強調するよう所定の表示装置を制御する表示制御部と、
   を備える撮影装置。
2. ２以上の撮像系の各視点から撮影された多視点画像を取得可能な撮影部と、
   前記撮影部の撮影した多視点画像から、指がかりの生じている指がかり画像および前記指がかり画像において指がかりの生じている領域を判別する指がかり判別部と、
   前記多視点画像のいずれかを平面スルー画像として出力する際、前記指がかり判別部の判別した指がかり領域を強調表示するよう所定の表示装置を制御する表示制御部と、
   を備える撮影装置。
3. 前記表示制御部は、前記指がかり判別部の判別した指がかり画像を出力した撮像系を示す情報を表示するよう所定の表示装置を制御する請求項１または２に記載の撮影装置。
4. 情報処理装置が、
   ２以上の撮像系の各視点から撮影された多視点画像を取得可能な撮影部の撮影した多視点画像から、指がかりの生じている指がかり画像および前記指がかり画像において指がかりの生じている領域を判別するステップと、
   前記多視点画像から立体スルー画像を合成して出力する際、前記判別した指がかり領域を強調するよう所定の表示装置を制御するステップと、
   を実行する指がかり通知方法。
5. 情報処理装置が、
   ２以上の撮像系の各視点から撮影された多視点画像を取得可能な撮影部の撮影した多視点画像から、指がかりの生じている指がかり画像および前記指がかり画像において指がかりの生じている領域を判別するステップと、
   前記多視点画像のいずれかを平面スルー画像として出力する際、前記判別した指がかり領域を強調表示するよう所定の表示装置を制御するステップと、
   を実行する指がかり通知方法。
6. 請求項４または５に記載の指がかり通知方法を情報処理装置に実行させるためのプログラム。

Images