JP2014017543A - 画像処理装置およびその制御方法、並びにプログラム - Google Patents

Abstract

【課題】ピント状態や視点を指定して画像データを再構築できる画像領域を検出することで、ユーザが所望の画像を得られるかどうかを撮影時に把握できるようにすること。
【解決手段】画像表示装置３０の画像生成部３１は、撮影された光の強度を示す光線情報と光線の方向情報に基づいて画像データを生成する。光線判定部３３は、光線情報および方向情報から画像データの再構築が可能な画像領域を検出し、撮影状態が変化する前に検出した第１画像領域と、撮影状態が変化した後で検出した第２画像領域とを比較する。第１画像領域から第２画像領域へと画像領域が変化した場合、情報表示生成部３４は、検出した画像領域が変化したことを通知する表示データを生成し、合成部３５は、画像生成部３１が生成した画像データおよび情報表示生成部３４が生成した表示データを合成して表示部３６に出力する。
【選択図】 図１

Description

本発明は、撮影した画像のピント状態や視点を指定可能な画像情報の表示制御技術に関するものである。

近年、ライトフィールドカメラと呼ばれる撮像装置が実用化されている。この撮像装置は、イメージセンサ上に配置したマイクロレンズアレイによって入射光を分割することにより、複数の方向の光を撮影して光線情報を得ることができる。撮影後に光の強度と光の入射方向に基づいて所定の計算処理を実行することによって、任意の視点での画像や任意の位置にピントを合わせた画像を生成（再構築）できる。また、撮影画像内の奥行、すなわち複数の被写体の前後方向における位置関係を検出できる。光線情報を利用した撮影後の計算処理により、任意の画像を構築できることがライトフィールドカメラの利点である。
従来、撮影時にピントが合っている撮影対象物をユーザに知らせる技術がある。特許文献１に開示の技術では、ピントの合っている撮影対象物とその他の撮影対象物との奥行関係を示すマップ画像が表示される。また、特許文献２に開示の技術では、オートフォーカス（ＡＦ）機能によりピントを合わせることができる被写体について、その距離範囲を示す数値や距離スケールを含む図形を画像上に表示する。

特開２０１０−１７７７４１号公報 特開２００６−４７６０２号公報

ところで、ライトフィールドカメラでは、複数の方向の光を撮影できていない画像領域については、光線情報に基づいて撮影後に計算処理を行ったとしてもフォーカス位置の変更や奥行検出などを行うことはできない。つまり、フォーカス位置の変更や奥行検出が可能な範囲は、カメラと被写体との距離の他に、カメラのレンズ特性やズーム操作などに応じて異なる。
従来の技術では、撮影時点でのフォーカス位置に関する情報を表示することはできるが、撮影後の計算処理によってフォーカス位置の変更や奥行検出などが可能であるか否かを、ユーザに通知する機能がない。そのため、撮影後に計算処理を行った場合、ユーザは所望の画像が得られるかどうかを、撮影時に把握することが困難である。そこで、撮影ミスを減らす対策が必要になる。
本発明は、ピント状態や視点を指定して画像データを再構築できる画像領域を検出することで、ユーザが所望の画像を得られるかどうかを撮影時に把握できるようにすることを目的とする。

上記課題を解決するために、本発明に係る装置は、撮像された画像に係る光の強度を示す光線情報および光線の方向情報を取得して、ピント状態または視点を指定した画像データを再構築することが可能な画像処理装置であって、前記光線情報および方向情報を取得して前記画像データを生成する画像生成手段と、前記光線情報および方向情報から前記画像データの再構築を行える画像領域を検出し、第１動作状態で検出した第１画像領域と第２動作状態で検出した第２画像領域とが異なる場合、所定の表示データを生成する表示データ生成手段と、前記画像生成手段が生成した画像データおよび前記表示データ生成手段が生成した表示データを出力する出力手段を備える。

本発明によれば、ピント状態や視点を指定して画像データを再構築できる画像領域を検出することで、ユーザが所望の画像を得られるかどうかを撮影時に把握できるようになる。

図２ないし図８と併せて本発明の第１実施形態を説明するために、装置の構成例を示すブロック図である。 マイクロレンズアレイおよびイメージセンサの配置例を示す図である。 設定処理例を説明するフローチャートである。 設定画面例を示す図である。 情報表示制御例を説明するフローチャートである。 領域検出動作例を説明するフローチャートである。 生成した画像（Ａ）、および奥行マップ（Ｂ）、（Ｃ）を例示した図である。 メッセージによる表示例（Ａ）、（Ｃ）、および奥行マップによる表示例（Ｂ）を示す図である。 本発明の第２実施形態における情報表示制御例を説明するフローチャートである。 本発明の第３実施形態における情報表示制御例を説明するフローチャートである。

本発明の各実施形態について、添付図面を参照して説明する。以下では、撮像装置と画像表示装置を接続したシステムを説明するが、これらを１つの筐体内に備える装置にも本発明を適用可能である。

［第１実施形態］
図１は、本発明の第１実施形態に係る画像処理装置を含むシステムの構成例を示すブロック図である。図１（Ａ）に示すシステム構成では、撮像装置１０が通信線２０を介して画像表示装置３０に接続される例を示す。画像表示装置３０は第１実施形態に係る画像処理部および表示部を備えるが、表示部として外部表示装置を使用する形態でも構わない。
撮像装置１０は、例えば、ライトフィールドカメラである。撮像レンズ１１を通過してマイクロレンズアレイ１２に入射した被写体からの光は、イメージセンサ１３によって光電変換され、画像データとして記憶部１４に保存される。
撮像光学系を構成する撮像レンズ１１は、被写体からの光をマイクロレンズアレイ１２に投射する。撮像レンズ１１は交換可能であり、撮像装置１０の本体部に装着して使用する。ユーザは撮像レンズ１１のズーム操作により撮像倍率を変更することができる。マイクロレンズアレイ１２は、微小レンズ（マイクロレンズ）を格子状に配列して構成され、撮像レンズ１１とイメージセンサ１３の間に位置する。マイクロレンズアレイ１２を構成する各マイクロレンズは、撮像レンズ１１からの入射光を分割し、分割した光をイメージセンサ１３に出力する。撮像部を構成するイメージセンサ１３は、光電変換素子を用いた複数の画素を有する撮像素子であり、各画素にて光の強度を検出する。マイクロレンズアレイ１２を通過した光を受光するイメージセンサ１３の各画素には、各マイクロレンズによって分割した光がそれぞれ入射する。

図２は、マイクロレンズアレイ１２およびイメージセンサ１３の配置例を示す。マイクロレンズアレイ１２の各マイクロレンズは、イメージセンサ１３における複数の画素が対応するように配置される。被写体から撮像レンズ１１に入射した光は、マイクロレンズによって複数の方向に分割され、分割後の光はイメージセンサ１３の各画素にそれぞれ入射する。よって、イメージセンサ１３の各画素にて異なる方向からの光の強度（光線情報）を検出することができる。また、各マイクロレンズとイメージセンサ１３の各画素との位置関係に応じて、マイクロレンズをそれぞれ介してイメージセンサ１３の各画素に入射した光線の入射方向（方向情報）が分かる。すなわち、光の強度分布と併せて、光の進行方向の情報が検出される。
マイクロレンズアレイ１２のレンズ頂点面からの距離が異なる焦点面での像は、各マイクロレンズの光軸からの偏心量に対応した位置にあるイメージセンサ１３の画素の各出力を合成することで得られる。なお、光線は位置や方位、波長などのパラメータを用いて、平行な２平面によってパラメータ化される関数で表される。つまり、各マイクロレンズに対応する複数の画素の配置によって各画素への光の入射方向が決まっている。
以上のように、撮像装置１０は光線情報と方向情報を取得し、光線の並べ替えと計算処理（以下、再構築という）を行うことにより、ピント状態や視点を任意に指定した画像データを生成できる。

記憶部１４は、不揮発性メモリなどの書き換え可能な記憶媒体を備える。記憶部１４は、イメージセンサ１３が画素ごとに検出した光線情報および方向情報を記憶する。撮像装置１０は、通信線２０を介して画像表示装置３０と通信する通信部（不図示）を備える。通信線２０は、ネットワーク接続用の通信ケーブルや、ＨＤＭＩ（High Definition Multimedia Interface）などに準拠した通信ケーブルである。撮像装置１０は、イメージセンサ１３の各画素で検出した光線情報と、各画素に入射する光の方向情報と、撮影動作が行われたときの撮影状態の情報を、画像表示装置３０に伝送する。撮影状態を示す情報は、撮像装置１０が光線情報を取得した際の焦点距離の情報を含む。焦点距離は、ユーザが撮像レンズ１１を交換した場合や、ズーム操作を行った場合にその都度変化し、撮影状態を表すパラメータの１つである。
画像表示装置３０は、通信線２０を介して撮像装置１０から取得した情報を用いて、画像データの生成処理や情報表示制御を行う。
画像生成部３１は、撮像装置１０から光線情報と方向情報を受信し、これらの情報に基づいて画像を再構築して生成した画像データを合成部３５に出力する。画像生成部３１が生成する画像データは、例えば、近距離から遠距離までピントが合ったパンフォーカス画像のデータである。パンフォーカス画像は、近距離から遠距離までの各被写体にピントがそれぞれ合った画像を合成することで生成される。なお、不図示の操作部にて、フォーカス位置を調整する操作部材を設け、この操作部材をユーザが操作することにより、画像内のフォーカス位置を指定できるように構成してもよい。

設定部３２は、設定値を設定するためのユーザインタフェース部である。この設定値は、ユーザが光線判定部３３の判定条件について指定するための値であり、キー操作やタッチパネルなどの接触操作で設定できる。例えば、ユーザは、表示部３６に表示される設定画面を参照しながら、入力キーを操作して設定値を指定し、または変更することができる。本実施形態における設定値については、奥行検出、上下視点変更、左右視点変更、および再フォーカスの各設定値を含むものとする。奥行検出設定は、撮像装置１０から被写体までの距離を示す奥行検出結果について、その変化の通知を有効にするか、または無効にするかの設定である。上下視点変更設定は、上下方向にて視点を変更可能な領域について、その変化の通知を有効にするか、または無効にするかの設定である。左右視点変更設定は、左右方向にて視点を変更可能な領域について、その変化の通知を有効にするか、または無効にするかの設定である。再フォーカス設定は、再焦点調節によりピントを合わせたり、暈すことができる領域について、その変化の通知を有効にするか、または無効にするかの設定である。各設定においては、通知を有効にするための設定値と、通知を無効にするための設定値が用意されている。設定部３２は、奥行検出設定、上下視点変更設定、左右視点変更設定、および再フォーカス設定の各設定値を光線判定部３３に出力する。
光線判定部３３は、撮像装置１０から取得した光線情報および方向情報を用いて画像を再構築する場合に奥行検出、上下視点変更、左右視点変更、再フォーカス処理などが可能な領域の変化を判定する。光線判定部３３は、撮像装置１０から通信線２０を介して光線情報および方向情報と撮影状態の情報を受信する。次に、光線判定部３３は、受信した情報に基づいて判定処理を行い、判定結果の情報を情報表示生成部３４に出力する。なお、光線判定部３３が行う判定処理の詳細については後述する。

情報表示生成部３４は、光線判定部３３の判定結果に応じて、ユーザへの通知情報を生成する表示データ生成処理を行い、表示データを合成部３５に出力する。この通知情報は画像領域が変化したことをユーザに通知する情報であり、例えば、メッセージや画像内の奥行を示す２次元マップなどの表示データである。合成部３５は、画像生成部３１が生成した画像データと、情報表示生成部３４が生成した表示データを合成して、合成画像データを表示部３６に出力する。表示部３６は、例えば、液晶パネルやプラズマディスプレイなどの表示デバイスを有する。表示部３６は、合成部３５が出力する画像データに従って表示画面上に画像を表示する。ユーザは、画像生成部３１が生成した画像データによる画像と、情報表示生成部３４が生成した表示データによる通知情報とが重なり合った状態の合成画像を見ることができる。表示画面上に表示された画像を観察することで、ユーザは撮影状態を確認できる。

次に、画像表示装置３０の動作を説明する。
図３のフローチャートを参照して、有効性に関する設定値の設定処理例を説明する。
Ｓ５１にて、ユーザは設定部３２を使用して設定値を設定する。図４は、ユーザが設定部３２を用いて設定を行う際、表示部３６が表示する設定画面例を示す。設定項目として、奥行検出、上下視点変更、左右視点変更、再フォーカスを例示する。各設定項目については、設定部３２の入力キーの操作によって、「有効」または「無効」の設定値をそれぞれ変更できる。設定値の設定処理を終えると、図３のＳ５２に処理を進め、設定部３２は、ユーザ操作により設定された設定値を光線判定部３３に出力して、処理を終了する。

次に、図５のフローチャートを参照して、ユーザが撮像装置１０で撮影する際の、画像表示装置３０の情報表示動作を説明する。
図５のＳ６１にて光線判定部３３は、通信線２０を介して撮像装置１０から光線情報および方向情報を受信する。Ｓ６２で光線判定部３３は、通信線２０を介して撮像装置１０から撮影状態の情報を受信する。Ｓ６３で光線判定部３３は、撮影状態が変更されたか否かを判定する。撮影状態が変更されたと判定された場合、Ｓ６４に処理を進める。また、撮影状態に変更がないと判定された場合には、処理を終了する。
Ｓ６４にて光線判定部３３は、有効性に関する設定値に基づいて画像領域の検出（以下、領域検出という）を行う。図６のフローチャートを参照して、領域検出動作を説明する。図６のＳ７１で光線判定部３３は、設定部３２が出力する奥行検出の設定値について有効性を判定する。奥行検出の設定値が「有効」である場合、Ｓ７２に処理を進め、設定値が「無効」の場合にはＳ７３に処理を進める。
Ｓ７２で光線判定部３３は、光線情報および方向情報から２つ以上の異なる視点での画像データを生成する。生成した画像データ同士を比較し、画像の位置ズレを検出することで、画像の画素毎に奥行量が検出される。光線情報から生成した画像例を図７（Ａ）に示す。

図７（Ａ）には、被写体Ａ、被写体Ｂ、被写体Ｃの各像が表示されており、撮像装置１０からの距離が近いものから順番に被写体Ａ、被写体Ｂ、被写体Ｃとする。この画像を撮影した際、光線判定部３３が検出した奥行マップの一例を図７（Ｂ）に示す。図７（Ｂ）の奥行マップでは、奥行量が小さくて手前側にあるものほど白く（高輝度）表現され、奥にあるものほど黒く表現される。なお、奥行検出ができなかった画素については、黒塗りで表示される。図示の例にて被写体Ａがカメラに最も近く（被写体像ａ参照）、次に被写体Ｂが近い（被写体像ｂ参照）。被写体Ｃと背景部は黒塗りで表現されており、奥行が検出できなかったことを示す。
光線判定部３３は、撮影状態が変更された後の奥行マップについて奥行を検出可能な領域と、撮影状態が変更される前の奥行マップについて奥行量を検出可能な領域との間で変化を検出する。撮影状態が変更される前の第１動作状態における奥行マップを図７（Ｃ）に例示する。図７（Ｂ）と図７（Ｃ）を比較すると、図７（Ｃ）では、被写体Ｃが黒塗りで表現されていないこと、つまり、奥行量が検出できていることを示す。一方、図７（Ｂ）に示す第２動作状態では、被写体Ｃについて奥行量が検出できていない。すなわち、被写体の奥行を検出できる第１動作状態での領域から、奥行検出ができていない第２動作状態での領域へと変化したことが分かる。なお、奥行検出、および撮影状態が変更された前後での奥行マップの比較処理については、画像の画素毎に行ってもよいし、画像を所定のブロック毎に区分して各ブロックの代表値に基づいて行ってもよい。また、このことは、後述する上下方向や左右方向の視差検出、再フォーカス可能領域の検出、および比較処理についても同様である。

図６のＳ７３にて光線判定部３３は、設定部３２が出力する、上下方向の視点変更の設定値について有効性を判定する。上下方向の視点変更の設定値が「有効」と判定された場合、Ｓ７４に処理を進め、設定値が「無効」と判定された場合、Ｓ７５に処理を進める。
Ｓ７４で光線判定部３３は、光線情報および方向情報から上下方向にて異なる視点での画像データを生成する。生成した画像データ同士を比較して上下方向の位置ズレを検出することで画像の画素毎に上下方向の視差が検出される。光線判定部３３は、撮影状態が変更された後に上下方向の視差が検出可能な領域と、撮影状態が変更される前に上下方向の視差が検出できていた領域と間で変化を検出する。
図６のＳ７５にて光線判定部３３は、設定部３２が出力する、左右方向の視点変更の設定値について有効性を判定する。左右方向の視点変更の設定値が「有効」と判定された場合、Ｓ７６に処理を進め、設定値が「無効」と判定された場合、Ｓ７７に処理を進める。
Ｓ７６で光線判定部３３は、光線情報および方向情報から左右方向にて異なる視点での画像データを生成する。生成した画像データ同士を比較して左右方向の位置ズレを検出することで画像の画素毎に左右方向の視差が検出される。光線判定部３３は、撮影状態が変更された後に左右方向の視差を検出可能な領域と、撮影状態が変更される前に左右方向の視差が検出できていた領域との間で変化を検出する。

図６のＳ７７にて光線判定部３３は、設定部３２が出力する、再フォーカスの設定値について有効性を判定する。再フォーカスの設定値が「有効」と判定された場合、Ｓ７８に処理を進め、設定値が「無効」と判定された場合、処理を終了する。
Ｓ７８で光線判定部３３は、光線情報および方向情報から２つ以上の異なる視点での画像データを生成する。生成した画像データ同士を比較して２つの画像の位置ズレを検出することで画像の画素毎に奥行量が検出される。次に、光線判定部３３は、検出した奥行量が再フォーカス可能な範囲内にあるかどうかを判定する。判定の結果、検出した奥行量が再フォーカス可能な範囲内であれば当該画素が再フォーカス可能と判断され、また、検出した奥行量が再フォーカス可能な範囲外であれば再フォーカス不可能と判断される。
光線情報および方向情報を用いて、撮影後に画像を再構築する際には、撮影された被写体の全てに対して再フォーカス処理ができるとは限らない。つまり、撮影後に所望の被写体にピントを合わせたり、あるいは暈すためには、視差の異なる光線情報を撮影できている必要がある。視差の異なる光線情報が撮影できるかどうかについては、被写体までの距離や焦点距離に依存する。光線判定部３３は、撮影状態が変更された後の再フォーカス可能領域と、撮影状態が変更される前の再フォーカス可能領域を比較して、両者の変化を検出する。

図５のＳ６５において光線判定部３３は、図６に示すＳ７２、Ｓ７４、Ｓ７６、Ｓ７８で変化を検出した領域の画素数が、所定の閾値を超えているか否かを判定する。この閾値は、撮影ノイズによる影響を受けない値に設定されている。例えば、照度検出により撮影環境が暗いと判定された場合、撮影ノイズを拾い易いので閾値が大きい値に設定され、また撮影環境が明るい場合には撮影ノイズが小さいので閾値が小さい値に設定される。なお、設定部３２を使用した設定操作の際に、ユーザが閾値を設定できるように構成し、ユーザが任意に設定した閾値を用いて前記判定を行ってもよい。変化が検出された領域の画素数が閾値を超える場合、光線判定部３３は情報表示が必要であると判断して図５のＳ６６へ処理を進める。また、変化が検出された領域の画素数が閾値を超えない場合には図５に示す動作を終了する。
情報表示が必要と判断された場合、図５のＳ６６で表示データが生成されて表示処理が実行される。この表示データは、例えば、メッセージである。図８（Ａ）は、奥行検出可能な領域が変化した場合の情報表示例を示す。奥行検出可能な領域が変化したことを表すメッセージが、画像枠の左上に表示される。または、図８（Ｂ）に示すように、画像内での撮影対象の前後方向（奥行方向）の位置関係を示す奥行マップを表示してもよい。画像の左上に奥行マップＭＰが表示される。奥行マップＭＰは、画像内での奥行方向における位置関係を示す２次元のマップデータ（画像による地図情報）である。例えば、手前の被写体は白く表示され、遠い被写体ほど黒く表示される。黒く塗り潰されている領域は、奥行が検出できなかった領域を示す。この例では奥行量の異なる被写体像を輝度の違いで表現しているが、色相や彩度などの違いによって表現してもよい。

［変形例］
図１（Ａ）に示す構成では、撮像装置１０と画像表示装置３０を別個の装置とした例を説明したが、図１（Ｂ）に示す例のように、これらの装置を１つの筐体内に備えた構成でもよい。この場合、画像生成部３１は記憶部１４から光線情報および方向情報を取得する。また光線判定部３３は、光線情報および方向情報を記憶部１４から取得し、撮影状態を示す情報を不図示のレンズ制御部から取得する。これにより、撮像処理に加えて、撮像した画像データの再構築に係る計算処理および情報表示制御が前記と同様に実行される。なお、画像表示を外部表示装置で行う場合には、合成部３５の出力信号を外部表示装置に送出する画像出力部が設けられる。
また、前記の領域検出および情報表示制御は、コンピュータが画像処理プログラムを実行することにより実現できる。この場合、ＣＰＵ（中央演算処理装置）がメモリから画像処理プログラムを読み出して実行することにより、撮像部から光線情報および方向情報を取得して画像データを生成する画像生成ステップが実行される。ライトフィールドカメラの場合、撮像レンズ１１から各マイクロレンズを介してそれぞれ入射する光を、複数の光電変換素子で電気信号に変換することで光線情報および方向情報が得られる。ＣＰＵは、光線情報および方向情報から画像データの再構築が可能な画像領域を検出し、撮影状態が変化する前の第１動作状態で検出した第１画像領域と、撮影状態が変化した後の第２動作状態で検出した第２画像領域とを比較するステップを実行する。画像領域の検出については、奥行検出、上下方向もしくは左右方向の視点変更、再フォーカス処理のうちの１つ以上が可能な領域について判定される。第１画像領域と第２画像領域が異なる場合、検出した画像領域が変化したことをユーザに通知する表示データを生成する表示データ生成ステップが実行される。そして、画像生成ステップで生成した画像データと、表示データ生成ステップで生成した表示データを、表示部３６または外部表示装置に出力する出力ステップが実行される。

第１実施形態によれば、ユーザが撮像装置１０の撮像レンズ１１の交換や撮像倍率の変更操作を行った際、奥行検出などの領域変化を示す情報表示が行われる。よって、ユーザは奥行検出などの領域変化を容易に把握できるので、ライトフィールドカメラによる撮影を行う際にユーザの撮影ミスを低減することができる。
第１実施形態では、撮像装置１０としてのライトフィールドカメラが、マイクロレンズアレイ１２で分割した光をイメージセンサ１３で検出することで、光の強度と方向の情報が得られる。しかし、撮像装置１０の構成についてはこれに限るものではなく、例えば、多眼カメラにより方向の異なる光を検出してもよい。また、第１実施形態では、撮像装置１０のレンズの交換や撮像倍率の変化などが発生した際に情報表示動作を行う。つまり、撮影状態が変化する前の第１動作状態での領域検出結果を第１画像領域とし、また、撮影状態が変化した後の第２動作状態での領域検出結果を第２画像領域として両者の変化検出を行う形態について説明した。これに限らず、例えば、撮像装置１０の電源の投入時に、図６に示す領域検出動作および情報表示制御を行ってもよい。この場合、第２動作状態は電源の投入後の状態である。あるいは、撮像装置１０が記憶部１４に記憶した光線情報を表示するビューワモードから撮影モードに変更された時などに、図６に示す領域検出動作および情報表示制御を行ってもよい。この場合、第２動作状態はモード変更後の状態である。

［第２実施形態］
次に、本発明の第２実施形態を説明する。第２実施形態に係るシステムおよび装置の構成は第１実施形態の場合と同様である。よって、各構成要素については既に使用した符号を用いることによってそれらの詳細な説明を省略し、以下では、第１実施形態との相違点を中心に説明する。なお、このような説明の省略の仕方は後述の第３実施形態でも同様である。
撮像装置１０での動画撮影時に被写体の移動を検出する場合の動作について説明する。本実施形態に係る撮像装置１０は動画撮影機能を有しており、イメージセンサ１３は、光線の検出を、例えば、１秒間に３０回（３０Ｈｚ）の頻度で行う。検出結果である光線情報および方向情報は記憶部１４に記憶されると共に、３０Ｈｚに対応する通信周期で画像表示装置３０に伝送される。
画像表示装置３０は、撮像装置１０から光線情報および方向情報を受信すると、受信情報に基づいて画像生成部３１で画像データを生成する。生成した画像データに従って表示部３６は画像を表示する。撮像装置１０から伝送される光線情報および方向情報は３０Ｈzに対応する通信周期で受信されるので、表示部３６に表示される画像のフレームレートは３０Ｈzになる。

次に、図９のフローチャートを参照して、ユーザが撮像装置１０で撮影する際の画像表示装置３０の情報表示制御を説明する。図９に示す処理は、例えば、画像表示装置３０が撮像装置１０から光線情報および方向情報を受信する度に、すなわち、３０Ｈｚに対応する通信周期で実行される。
Ｓ８１で光線判定部３３は、通信線２０を介して撮像装置１０から光線情報および方向情報を受信する。Ｓ８２で光線判定部３３は、設定部３２によって設定された設定値に基づいて領域検出を行う。なお、領域検出の動作は、第１実施形態の場合と同様である。Ｓ８３で光線判定部３３は、設定された各項目について、検出可能な領域の大きさが減少したか否かを判定する。領域の大きさは面積や画素数などで表される。例えば、奥行検出の設定値が「有効」の場合、奥行検出可能な第２画像領域の大きさが、前回に検出した奥行検出可能な第１画像領域よりも所定の閾値以上、減少したか否かについて判定される。同様にして、上下方向の視点変更の設定値が「有効」の場合、検出した視点変更可能な第２画像領域と、前回に検出した視点変更可能な第１画像領域が比較され、前者が所定の閾値以上、減少したか否かについて判定される。このような判定は、左右方向の視点変更の設定値が「有効」の場合や、再フォーカスの設定値が「有効」の場合にも同様に行われる。

こうして、奥行検出、上下方向または左右方向の視点変更、再フォーカスの検出可能領域がそれぞれ判定され、その結果、１つでも検出可能な領域の大きさが減少した項目があった場合、情報表示が必要であると判断されてＳ８４へ進む。Ｓ８４では、ユーザに通知する表示データが生成されて表示部３６の画面上に表示される（図８参照）。また、検出可能な領域の大きさが減少した項目がなかった場合には、処理を終了する。
第２実施形態によれば、それまで奥行検出などが可能であった被写体が、その移動により検出できなくなった場合、メッセージや奥行マップが画面上に表示される。これを見て、ユーザは被写体の奥行量などが検出できなくなったことを把握できるので、撮影ミスを低減することができる。

［第３実施形態］
次に、本発明の第３実施形態を説明する。第３実施形態に係るシステムおよび装置の構成は第１実施形態の場合と同様であるため、以下では、第１実施形態との相違点を中心に説明する。
第３実施形態に係る撮像装置１０は動画撮影時に被写体の移動を検出することができる。イメージセンサ１３による光線検出は、例えば３０Ｈｚの頻度で行われ、記憶部１４は光線情報および方向情報を記憶し、３０Ｈｚに対応する通信周期で画像表示装置３０に伝送する。撮像装置１０から受信した光線情報および方向情報に基づいて画像生成部３１が画像データを生成し、表示部３６が３０Ｈzのフレームレートで画像を表示する。

次に、図１０のフローチャートを参照して、ユーザが撮像装置１０で撮影する際の画像表示装置３０の情報表示制御を説明する。なお、Ｓ９１、Ｓ９２に示す各処理は、図９のＳ８１、Ｓ８２に示す各処理と同様であるため、それらの説明を省略し、Ｓ９３以降の処理を説明する。
Ｓ９３で光線判定部３３は、設定された各項目について、検出不可能な領域の大きさが所定サイズ以上か否かを判定する。領域の大きさは面積や画素数などで表され、所定サイズ（判定用閾値）と比較される。例えば、奥行検出の設定値が「有効」の場合、奥行検出が不可能な画像領域の大きさが所定サイズ以上か否かについて判定される。同様にして、上下方向の視点変更の設定値が「有効」の場合、検出した視点変更が不可能な画像領域の大きさが所定サイズ以上か否かについて判定される。このような判定は、左右方向の視点変更の設定値が「有効」の場合も同様に行われる。また、再フォーカスの設定値が「有効」の場合、再フォーカスが不可能な画像領域の大きさが所定サイズ以上か否かについて判定される。
こうして、奥行検出、上下方向または左右方向の視点変更、再フォーカスの検出が不可能な領域がそれぞれ判定され、その結果、１つでも検出不可能な領域の大きさが所定サイズ以上であった場合、情報表示が必要であると判断されてＳ９４へ進む。Ｓ９４では、ユーザに通知する表示データが生成されて表示部３６の画面上に表示される（マップ表示例を示す図８（Ｂ）およびメッセージ表示例を示す図８（Ｃ）参照）。また、検出不可能な領域の大きさが所定サイズ以上である項目がなかった場合には、処理を終了する。

第３実施形態によれば、ピント状態または視点を指定した画像データを計算処理によって再構築できない画像領域を検出し、再構築を行えない画像領域の大きさが所定サイズ以上である場合に、所定の表示データが表示される。具体的には、奥行検出などが不可能な被写体の大きさが所定サイズ以上の場合、メッセージや奥行マップが画面上に表示される。これを見て、ユーザは被写体の奥行量などが検出できなくなったことを把握できるので、撮影ミスを低減することができる。
なお、上記所定サイズは、例えば５０画素、３０画素、１画素など、製品出荷前に予め設定されているものとするが、ユーザの操作指示に従って任意の値に設定可能な実施形態でもよい。

［その他の実施例］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０ 撮像装置
１１ 撮像レンズ
１２ マイクロレンズアレイ
１３ イメージセンサ
３０ 画像表示装置
３１ 画像生成部
３２ 設定部
３３ 光線判定部
３４ 情報表示生成部

Claims (27)

1. 撮像された画像に係る光の強度を示す光線情報および光線の方向情報を取得して、ピント状態または視点を指定した画像データを再構築することが可能な画像処理装置であって、
   前記光線情報および方向情報を取得して前記画像データを生成する画像生成手段と、
   前記光線情報および方向情報から前記画像データの再構築を行える画像領域を検出し、第１動作状態で検出した第１画像領域と第２動作状態で検出した第２画像領域とが異なる場合、所定の表示データを生成する表示データ生成手段と、
   前記画像生成手段が生成した画像データおよび前記表示データ生成手段が生成した表示データを出力する出力手段を備えることを特徴とする画像処理装置。
2. 前記表示データ生成手段は、前記光線情報および方向情報から複数の異なる視点での画像データを生成して奥行検出を行い、前記第１動作状態で奥行検出を行った第１画像領域と前記第２動作状態で奥行検出を行った第２画像領域とを比較して、前記第１画像領域と前記第２画像領域が異なる場合、前記所定の表示データを生成することを特徴とする請求項１に記載の画像処理装置。
3. 前記表示データ生成手段は、前記光線情報および方向情報から複数の異なる視点での画像データを生成して視差検出を行い、前記第１動作状態で視差検出を行った第１画像領域と前記第２動作状態で視差検出を行った第２画像領域とを比較して、前記第１画像領域と前記第２画像領域が異なる場合、前記所定の表示データを生成することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記表示データ生成手段は、前記画像領域に係るピント状態の変更を撮影後に行う再フォーカス処理に関して前記光線情報および方向情報から複数の異なる視点での画像データを生成して奥行検出を行い、前記第１動作状態にて前記再フォーカス処理が可能な第１画像領域と前記第２動作状態で前記再フォーカス処理が可能な第２画像領域とを比較して、前記第１画像領域と前記第２画像領域が異なる場合、前記所定の表示データを生成することを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記画像領域に係る奥行検出、視点変更、再フォーカス処理のうち、１つ以上の通知に係る有効性を設定する設定手段を備え、
   前記表示データ生成手段は、前記通知に係る設定値として有効を示す信号を前記設定手段から受信した場合、前記所定の表示データを生成することを特徴とする請求項４に記載の画像処理装置。
6. 前記表示データ生成手段は、前記第１画像領域の大きさに比べて前記第２画像領域の大きさが小さくなった場合、前記所定の表示データを生成することを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
7. 前記所定の表示データは、検出した前記画像領域が変化したことを通知するメッセージ、または画像内の撮影対象に係る奥行方向の位置関係を表示するマップデータであることを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
8. さらに、撮像光学系を介して被写体からの光を受光する撮像手段を備え、
   前記表示データ生成手段は、撮影状態が変化する前の前記第１動作状態で検出した前記第１画像領域と撮影状態が変化した後の前記第２動作状態で検出した前記第２画像領域とが異なる場合、検出した画像領域が変化したことを通知する表示データを生成することを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
9. 撮像された画像に係る光の強度を示す光線情報および光線の方向情報を取得して、ピント状態または視点を指定した画像データを再構築することが可能な画像処理装置であって、
   前記光線情報および方向情報を取得して前記画像データを生成する画像生成手段と、
   前記光線情報および方向情報から前記画像データの再構築を行えない画像領域を検出し、前記画像データの再構築を行えない画像領域の大きさが所定サイズ以上である場合に、所定の表示データを生成する表示データ生成手段と、
   前記画像生成手段が生成した画像データおよび前記表示データ生成手段が生成した表示データを出力する出力手段を備えることを特徴とする画像処理装置。
10. 前記表示データ生成手段は、前記光線情報および方向情報から複数の異なる視点での画像データを生成して奥行検出を行い、奥行検出が不可能な画像領域を、前記画像データの再構築を行えない画像領域として検出することを特徴とする請求項９に記載の画像処理装置。
11. 前記表示データ生成手段は、前記光線情報および方向情報から複数の異なる視点での画像データを生成して視差検出を行い、視点変更が不可能な画像領域を、前記画像データの再構築を行えない画像領域として検出することを特徴とする請求項１０に記載の画像処理装置。
12. 前記表示データ生成手段は、前記画像領域に係るピント状態の変更を撮影後に行う再フォーカス処理に関して前記光線情報および方向情報から複数の異なる視点での画像データを生成して奥行検出を行い、前記再フォーカス処理が不可能な画像領域を、前記画像データの再構築を行えない画像領域として検出することを特徴とする請求項１１に記載の画像処理装置。
13. 前記所定の表示データは、前記画像データの再構築を行えない領域を通知するメッセージ、または画像内の撮影対象に係る奥行方向の位置関係を表示するマップデータであることを特徴とする請求項９から１２のいずれか１項に記載の画像処理装置。
14. 撮像された画像に係る光の強度を示す光線情報および光線の方向情報を取得して、ピント状態または視点を指定した画像データを再構築することが可能な画像処理装置にて実行される制御方法であって、
    前記光線情報および方向情報を取得して前記画像データを生成する画像生成ステップと、
    前記光線情報および方向情報から前記画像データの再構築を行える画像領域を検出する検出ステップと、
    第１動作状態で検出した第１画像領域と第２動作状態で検出した第２画像領域とが異なる場合、所定の表示データを生成する表示データ生成ステップと、
    前記画像生成ステップで生成した画像データおよび前記表示データ生成ステップで生成した表示データを出力する出力ステップを有することを特徴とする画像処理装置の制御方法。
15. 前記表示データ生成ステップでは、前記光線情報および方向情報から複数の異なる視点での画像データを生成して奥行検出を行い、前記第１動作状態で奥行検出を行った第１画像領域と前記第２動作状態で奥行検出を行った第２画像領域とを比較して、前記第１画像領域と前記第２画像領域が異なる場合、前記所定の表示データを生成することを特徴とする請求項１４に記載の画像処理装置の制御方法。
16. 前記表示データ生成ステップでは、前記光線情報および方向情報から複数の異なる視点での画像データを生成して視差検出を行い、前記第１動作状態で視差検出を行った第１画像領域と前記第２動作状態で視差検出を行った第２画像領域とを比較して、前記第１画像領域と前記第２画像領域が異なる場合、前記所定の表示データを生成することを特徴とする請求項１４または１５に記載の画像処理装置の制御方法。
17. 前記表示データ生成ステップでは、前記画像領域に係るピント状態の変更を撮影後に行う再フォーカス処理に関して前記光線情報および方向情報から複数の異なる視点での画像データを生成して奥行検出を行い、前記第１動作状態にて前記再フォーカス処理が可能な第１画像領域と前記第２動作状態で前記再フォーカス処理が可能な第２画像領域とを比較して、前記第１画像領域と前記第２画像領域が異なる場合、前記所定の表示データを生成することを特徴とする請求項１４から１６のいずれか１項に記載の画像処理装置の制御方法。
18. 前記画像領域に係る奥行検出、視点変更、再フォーカス処理のうち、１つ以上の通知に係る有効性を設定する設定ステップをさらに備え、
    前記表示データ生成ステップでは、前記通知に係る設定値が有効を示す場合、前記所定の表示データを生成することを特徴とする請求項１７に記載の画像処理装置の制御方法。
19. 前記表示データ生成ステップでは、前記第１画像領域の大きさに比べて前記第２画像領域の大きさが小さくなった場合、前記所定の表示データを生成することを特徴とする請求項１４から１８のいずれか１項に記載の画像処理装置の制御方法。
20. 前記所定の表示データは、検出した前記画像領域が変化したことを通知するメッセージ、または画像内の撮影対象に係る奥行方向の位置関係を表示するマップデータであることを特徴とする請求項１４から１９のいずれか１項に記載の画像処理装置の制御方法。
21. 前記画像処理装置はさらに、撮像光学系を介して被写体からの光を受光する撮像手段を備えており、
    前記表示データ生成ステップでは、撮影状態が変化する前の前記第１動作状態で検出した前記第１画像領域と撮影状態が変化した後の前記第２動作状態で検出した前記第２画像領域とが異なる場合、検出した画像領域が変化したことを通知する表示データを生成することを特徴とする請求項１４から２０のいずれか１項に記載の画像処理装置の制御方法。
22. 撮像された画像に係る光の強度を示す光線情報および光線の方向情報を取得して、ピント状態または視点を指定した画像データを再構築することが可能な画像処理装置にて実行される制御方法であって、
    前記光線情報および方向情報を取得して前記画像データを生成する画像生成ステップと、
    前記光線情報および方向情報から前記画像データの再構築を行えない画像領域を検出し、前記画像データの再構築を行えない画像領域の大きさが所定サイズ以上である場合に、所定の表示データを生成する表示データ生成ステップと、
    前記画像生成ステップで生成した画像データおよび前記表示データ生成手段が生成した表示データを出力する出力ステップを備えることを特徴とする画像処理装置。
23. 前記表示データ生成ステップでは、前記光線情報および方向情報から複数の異なる視点での画像データを生成して奥行検出を行い、奥行検出が不可能な画像領域を、前記画像データの再構築を行えない画像領域として検出することを特徴とする請求項２２に記載の画像処理装置の制御方法。
24. 前記表示データ生成ステップでは、前記光線情報および方向情報から複数の異なる視点での画像データを生成して視差検出を行い、視点変更が不可能な画像領域を、前記画像データの再構築を行えない画像領域として検出することを特徴とする請求項２３に記載の画像処理装置の制御方法。
25. 前記表示データ生成ステップでは、前記画像領域に係るピント状態の変更を撮影後に行う再フォーカス処理に関して前記光線情報および方向情報から複数の異なる視点での画像データを生成して奥行検出を行い、前記再フォーカス処理が不可能な画像領域を、前記画像データの再構築を行えない画像領域として検出することを特徴とする請求項２４に記載の画像処理装置の制御方法。
26. 前記所定の表示データは、前記画像データの再構築を行えない領域を通知するメッセージ、または画像内の撮影対象に係る奥行方向の位置関係を表示するマップデータであることを特徴とする請求項２２から２５のいずれか１項に記載の画像処理装置の制御方法。
27. 請求項１４から２６のいずれか１項に記載の、画像処理装置の制御方法の各ステップをコンピュータに実行させるためのプログラム。

Images