JP2016219991A - 画像処理装置及びその制御方法、並びにプログラム - Google Patents

Abstract

【課題】合焦された被写体のＯＳＤ情報を見易く表示可能な画像処理装置を提供する。
【解決手段】取得された画像及び画像に関する情報に基づいて画像のフォーカス値を変更したフォーカス値変更画像を生成する画像生成手段１１６と、画像に含まれる被写体に関する被写体情報を格納する格納手段１０８と、変更されたフォーカス値に基づいて合焦された被写体に対応する被写体情報をフォーカス値変更画像に重畳し、重畳されたフォーカス値変更画像を表示する表示手段１１７とを備えるように構成する。
【選択図】図１

Description

本発明は、画像処理装置及びその制御方法、並びにプログラムに関し、特に、撮像後に焦点の異なる画像を生成可能な画像処理装置及びその制御方法、並びにプログラムに関する。

近年、撮影時に格納された各種情報に基づいて画像処理を行い、焦点の異なる画像を生成可能な画像処理装置としてのライトフィールドカメラが知られている。ライトフィールドカメラは、複数のマイクロレンズを含むマイクロレンズアレイを備え、撮影時に各マイクロレンズを透過して撮像素子に受光される光の強度分布情報及び当該光の進行方向情報を格納する。ライトフィールドカメラは、格納された光の強度分布情報及び光の進行方向情報に基づいて、例えば、或る被写体に焦点を合わせた（以下、「合焦された」という）画像に対して画像処理を行い、他の被写体に合焦された画像を生成可能である。

ところで、ライトフィールドカメラは、当該ライトフィールドカメラに設けられた表示部等に各種画像を表示可能であり、表示部に画像を表示する際、当該画像に含まれる被写体に関する情報を表示するＯＳＤ機能を有する。ライトフィールドカメラでは、表示された画像（以下、「表示画像」という。）に含まれる被写体のうち予め設定された設定情報に対応する被写体が検知される。また、ライトフィールドカメラでは、ＯＳＤ機能により表示される情報（以下、「ＯＳＤ情報」という。）として当該検知された被写体の名前等が表示画像に重畳され、重畳された画像（以下、「重畳画像」という。）が表示される。表示部では、複数のＯＳＤ情報が表示されても、表示画像が見難くならないように、被写体を含まない領域や合焦しない被写体を含む領域にＯＳＤ情報が表示される（例えば、特許文献１参照）。重畳画像では、検知された被写体のうち合焦された被写体に対応するＯＳＤ情報が重畳される。

特開２０１２−２３４０２２号公報

しかしながら、重畳画像では、ユーザが所望しないＯＳＤ情報が表示画像に重畳される場合がある。例えば、画像処理を行って焦点の異なる他の表示画像を生成した場合、ＯＳＤ情報に対応する被写体が当該画像処理によって合焦されなくなったにもかかわらず、当該被写体に対応するＯＳＤ情報がそのまま表示される場合がある。この場合、合焦された被写体に対応するＯＳＤ情報及び合焦されない被写体に対応するＯＳＤ情報が表示画像に混載してしまい、その結果、合焦された被写体のＯＳＤ情報が見づらくなる。

本発明の目的は、合焦された被写体のＯＳＤ情報を見易く表示可能な画像処理装置及びその制御方法、並びにプログラムを提供することにある。

上記目的を達成するために、本発明の画像処理装置は、取得された画像及び前記画像に関する情報に基づいて前記画像のフォーカス値を変更したフォーカス値変更画像を生成する画像生成手段と、前記画像に含まれる被写体に関する被写体情報を格納する格納手段と、前記変更されたフォーカス値に基づいて合焦された被写体に対応する前記被写体情報を前記フォーカス値変更画像に重畳し、前記重畳されたフォーカス値変更画像を表示する表示手段とを備えることを特徴とする。

本発明によれば、合焦された被写体のＯＳＤ情報を見易く表示することができる。

本発明の実施の形態に係るライトフィールドカメラの構成を概略的に示すブロック図である。 図１におけるマイクロレンズアレイ及びＣＣＤの構成を説明するための図である。 図２における受光素子の受光を説明するための図である。 図３の射出瞳及び受光素子群を説明するための図であり、図４（ａ）は射出瞳の分割領域を示し、図４（ｂ）はマイクロレンズに対応する受光素子群を示す。 図１のライトフィールドカメラで実行されるライトフィールドデータ生成処理の手順を示すフローチャートである。 図１のライトフィールドカメラで実行されるＯＳＤ情報表示処理の手順を示すフローチャートである。 図１における液晶パネルに表示される縮小画像の一例を示す図である。 図１における液晶パネルに表示される重畳画像を説明するための図であり、図８（ａ）は被写体８０１の被写体情報が重畳される重畳画像を示し、図８（ｂ）は被写体８０２の被写体情報が重畳される重畳画像を示し、図８（ｃ）は被写体８０１〜８０３の各々の被写体情報が重畳される重畳画像を示す。 図６のＯＳＤ情報表示処理の変形例の手順を示すフローチャートである。 図１における液晶パネルに表示される各種画像を説明するための図であり、図１０（ａ）は被写体１００２の被写体情報が重畳される重畳画像を示し、図１０（ｂ）は被写体１００３，１００４の各々の被写体情報が重畳される重畳画像を示し、図１０（ｃ）は選択メニューを示し、図１０（ｄ）は被写体１００４の被写体情報が重畳される重畳画像を示す。

以下、本発明の実施の形態を図面を参照しながら詳述する。

本実施の形態では、画像処理装置としてのライトフィールドカメラに本発明を適用した場合について説明するが、本発明の適用先はライトフィールドカメラに限られず、撮影後に焦点の異なる画像を生成可能な画像処理装置であれば本発明を適用することができる。

図１は、本発明の実施の形態に係るライトフィールドカメラ１００の構成を概略的に示すブロック図である。

図１において、ライトフィールドカメラ１００は、撮像ユニット１０１、カメラ制御部１０６、ＣＰＵ１０７、ＥＥＰＲＯＭ１０８、信号処理部１０９、データ変換部１１０、記録再生回路１１２、メモリ１１３、及びメモリカード１１４を備える。また、ライトフィールドカメラ１００は、送受信部１１５、ＯＳＤ部１１７、画像送信部１１８、タッチパネル操作部１１９、画面制御部１２１、スイッチ操作部１２２、及びElectronic View Finder（ＥＶＦ）部１２３を備える。さらに、ライトフィールドカメラ１００は、顔検出部１２４、顔認識部１２５、奥行き検出部１２６、及び焦点変更部１２７を備える。ＣＰＵ１０７は、カメラ制御部１０６、データ変換部１１０、記録再生回路１１２、ＯＳＤ部１１７、タッチパネル操作部１１９、画面制御部１２１、及びＥＶＦ部１２３とシステムバス１２８を介して互いに接続されている。また、ＣＰＵ１０７は、顔検出部１２４、顔認識部１２５、奥行き検出部１２６、及び焦点変更部１２７とシステムバス１２８を介して互いに接続されている。さらに、ＣＰＵ１０７はＥＥＰＲＯＭ１０８及びスイッチ操作部１２２と夫々接続されている。撮像ユニット１０１はカメラ制御部１０６及び信号処理部１０９と夫々接続され、信号処理部１０９はデータ変換部１１０と接続され、データ変換部１１０は記録再生回路１１２及びＯＳＤ部１１７と夫々接続されている。記録再生回路１１２は、メモリ１１３、メモリカード１１４、及び送受信部１１５と夫々接続され、ＯＳＤ部１１７は、画像送信部１１８、タッチパネル操作部１１９、及びＥＶＦ部１２３と夫々接続されている。撮像ユニット１０１は、レンズユニット１０２、マイクロレンズアレイ１０３、ＣＣＤ１０４、及びＡ／Ｄ処理部１０５を備え、データ変換部１１０はエンコーダ部１１１及びデコーダ部１１６を備え、タッチパネル操作部１１９は液晶パネル１２０を備える。

ライトフィールドカメラ１００は撮影された画像及び撮影時に格納された各種情報に基づいて焦点の異なる画像を生成するリフォーカス機能を有する。撮像ユニット１０１は被写体を撮像するためのユニットである。レンズユニット１０２は、図示しない各種レンズ、例えば、集光するための固定レンズ群、変倍レンズ群、絞り、及び補正レンズ群を備え、結像位置を補正する機能や焦点調節を行なう機能を有する。マイクロレンズアレイ１０３には後述する図２に示す複数のマイクロレンズ２０１が配置されている。ＣＣＤ１０４は、撮像素子であり、レンズユニット１０２及びマイクロレンズアレイ１０３を透過した光束を受光し、受光された光束を光電変換して撮像信号を生成する。Ａ／Ｄ処理部１０５はＣＣＤ１０４で生成された撮像信号をデジタル信号に変換して画像信号を生成する。カメラ制御部１０６はＣＰＵ１０７から送信された制御信号に基づいて撮像ユニット１０１を制御する。また、カメラ制御部１０６は、撮像ユニット１０１の各種情報、例えば、合焦情報や手ぶれ情報等を当該撮像ユニット１０１から取得し、取得された撮像ユニット１０１の各種情報をＣＰＵ１０７に送信する。ＣＰＵ１０７は、図示しないＲＯＭ、ＲＡＭ、及びタイマ等を備え、ライトフィールドカメラ１００のシステム全体を統括的に制御する。ＣＰＵ１０７は、ＲＯＭに各種処理を実行するための制御プログラムを格納し、ＲＡＭを作業領域として用い、タイマによって各種処理の実行に用いられる時間等を計測する。ＥＥＰＲＯＭ１０８はＣＰＵ１０７で用いられる各種データを格納する。本実施の形態では、ＥＥＰＲＯＭ１０８は各被写体の被写体名等を含む被写体情報を格納する。

信号処理部１０９は、Ａ／Ｄ処理部１０５で生成された画像信号に基づいて撮像画像データを生成する。エンコーダ部１１１は、図示しないライトフィールドエンコーダ及びＪＰＥＧエンコーダを備え、ＣＰＵ１０７から送信された制御信号に基づいて焦点の異なる画像を生成するためのライトフィールドデータの生成処理やＪＰＥＧ圧縮処理を行う。ライトフィールドエンコーダは各種画像、例えば、信号処理部１０９で生成された撮像画像データをライトフィールドデータにエンコードする。ライトフィールドデータには画像の焦点に関する設定値であるフォーカス値が含まれる。ＪＰＥＧエンコーダはライトフィールドデータに基づいて導出されたフォーカス面の画像を生成する。本実施の形態では、ライトフィールドデータに基づいて、撮影された画像と異なるフォーカス値の画像であるリフォーカス画像（フォーカス値変更画像）を生成可能である。記録再生回路１１２は、ダイレクトメモリーアクセス（ＤＭＡ）機能を有し、メモリ１１３及びメモリカード１１４とデータ変換部１１０とのデータ通信を行う。本実施の形態では、記録再生回路１１２は、ライトフィールドデータの生成指示が行われると、メモリ１１３やメモリカード１１４に格納された各種データをデータ変換部１１０に自動転送する。また、記録再生回路１１２は送受信部１１５とデータ通信を行う。メモリ１１３はエンコーダ部１１１でエンコードされたライトフィールドデータを一時的に格納する。メモリカード１１４は撮影された画像データや動画データを格納する。デコーダ部１１６は図示しないライトフィールドデコーダ及びＪＰＥＧデコーダを備える。ライトフィールドデコーダは、ＣＰＵ１０７によって所望のフォーカス値が設定されると、設定されたフォーカス値に基づくリフォーカス画像をデコードする。ＪＰＥＧデコーダは、ＣＰＵ１０７で設定されたアドレス情報に基づいてメモリ１１３から圧縮ＪＰＥＧデータを読み出し、読み出された圧縮ＪＰＥＧデータを、例えば、ＩＴＵ−Ｒ ＢＴ.６５６（ＣＣＩＲ６５６）等のデジタル映像信号に変換する。

ＯＳＤ部１１７は各種ＯＳＤ情報を重畳する。例えば、ＯＳＤ部１１７はリフォーカス画像に含まれる各被写体に対応する被写体情報をＯＳＤ情報として重畳する。画像送信部１１８は、デコーダ部１１６によって変換されたデジタル映像信号を外部装置、例えば、テレビジョン受像機等に送信する。タッチパネル操作部１１９に設けられる液晶パネル１２０には、各種操作ボタンや各種画像が表示され、例えば、図８に示すように、各被写体に対応する被写体情報が重畳された重畳画像が表示される。

画面制御部１２１は、タッチパネル操作部１１９とデータ通信を行い、タッチパネル操作部１１９で入力された入力情報を取得する。また、液晶パネル１２０に表示される各種画像の表示を制御する。スイッチ操作部１２２は図示しない各種操作キーを備える。ユーザは、タッチパネル操作部１１９及びスイッチ操作部１２２の操作によって各種設定を行う。本実施の形態では、例えば、ユーザのタッチパネル操作部１１９及びスイッチ操作部１２２の操作により、静止画等の撮影を行うための「撮影モード」や撮影された画像の再生を行うための「再生モード」が設定される。ＥＶＦ部１２３は被写体を除く小窓として用いられる。顔検出部１２４は画像データに顔検出処理を行って、当該画像データに含まれる人物の顔領域を検出する。例えば、顔検出部１２４は、眼、鼻、口の各端点や顔の輪郭点等の特徴点を画像データから抽出し、抽出された特徴点に基づいて被写体の顔領域及び顔の大きさを検出する。顔認識部１２５は顔検出部１２４によって検出された結果に基づいて認証対象となる顔の特徴を示す顔認証データを生成する。例えば、顔認識部１２５は、検出された顔の特徴点の位置、特徴点から導出される顔パーツの大きさ、及び各特徴点の相対距離等に基づいて顔認証データを生成する。本実施の形態では、生成された顔認証データと被写体情報とが対応付けされてＥＥＰＲＯＭ１０８に格納される。例えば、液晶パネル１２０に表示されたリフォーカス画像から顔認証データに対応、例えば、一致する被写体が検知されると、検知された被写体に対応する被写体情報が当該被写体のＯＳＤ情報として重畳される。奥行き検出部１２６はライトフィールドカメラ１００から被写体までの距離情報を検出する。焦点変更部１２７はリフォーカス画像を生成するためのフォーカス値を設定する。

図２は、図１におけるマイクロレンズアレイ１０３及びＣＣＤ１０４の構成を説明するための図である。

図２において、マイクロレンズアレイ１０３は、複数のマイクロレンズ２０１を備え、ＣＣＤ１０４と所定の隙間を介して対向する位置に配置される。図２では、光軸をＺ軸、ライトフィールドカメラ１００を光軸方向に正面から眺めたときの水平方向をＸ軸、及び当該水平方向に鉛直する方向をＹ軸として説明する。マイクロレンズアレイ１０３ではＸ軸及びＹ軸の各々に対して等間隔に複数、例えば、５個のマイクロレンズ２０１が配置される。なお、本実施の形態では、一例として、マイクロレンズ２０１がＸ軸及びＹ軸の各々に対して５個ずつ配置されたマイクロレンズアレイ１０３について説明するが、マイクロレンズアレイ１０３で配置されるマイクロレンズ２０１の個数はこれに限定されない。

また、図２において、ＣＣＤ１０４は格子状に配置された複数の受光素子２０２を備える。各マイクロレンズ２０１には所定数の受光素子２０２を含む受光素子群２０３が対応付けされており、図２では、一例として、受光素子群２０３に６×６＝３６個の受光素子２０２が含まれていることを前提とする。各マイクロレンズ２０１を透過した光束は、当該各マイクロレンズ２０１に入射した入射方向に応じて分離され、対応付けされた受光素子群に含まれる各受光素子に入射する。

図３は、図２における受光素子２０２の受光を説明するための図である。

図３では、ライトフィールドカメラ１００をＹ軸に沿って眺めた場合のレンズユニット１０２を示す射出瞳３０１、マイクロレンズアレイ１０３、及びＣＣＤ１０４を示す。図３では、一例として、マイクロレンズアレイ１０３に配置される或るマイクロレンズ２０１を透過した光束が各受光素子ｐ１〜ｐ６に入射する場合について説明する。なお、図３においても、光軸をＺ軸、ライトフィールドカメラ１００を光軸方向に正面から眺めたときの水平方向をＸ軸、及び当該水平方向に鉛直する方向をＹ軸とする。

図３において、射出瞳３０１がＸ軸方向に６分割された分割領域ａ１〜ａ６の各々を透過した各光束はマイクロレンズ２０１を透過する。マイクロレンズ２０１を透過した各光束は当該マイクロレンズ２０１に対応付けされた受光素子群２０３に含まれる受光素子ｐ１〜ｐ６の各々に入射する。例えば、分割領域ａ１を透過した光束は受光素子ｐ１に入射し、分割領域ａ２を透過した光束は受光素子ｐ２に入射し、分割領域ａ３を透過した光束は受光素子ｐ３に入射する。また、分割領域ａ４を透過した光束は受光素子ｐ４に入射し、分割領域ａ５を透過した光束は受光素子ｐ５に入射し、分割領域ａ６を透過した光束は受光素子ｐ６に入射する。なお、図３では、射出瞳３０１がＸ軸方向に６分割された分割領域を透過した光束について説明したが、当該分割領域はＸ軸方向に限らず、Ｙ軸方向においても同様に行われる。すなわち、レンズユニット１０２を正面から眺めたときの射出瞳３０１に対し、分割領域は、図４（ａ）に示すように、分割領域ａ１１〜ａ６６となる。分割領域ａ１１〜ａ６６の各々を透過した各光束は、マイクロレンズ２０１を透過して、図４（ｂ）に示すように、当該マイクロレンズ２０１に対応付けされた受光素子群２０３に含まれる受光素子ｐ１１〜ｐ６６の各々に入射する。なお、マイクロレンズアレイ１０３に配置される他のマイクロレンズ２０１でも同様に、他のマイクロレンズ２０１を透過した各光束が当該他のマイクロレンズ２０１に対応付けされた受光素子群２０３に含まれる受光素子ｐ１１〜ｐ６６の各々に入射する。受光素子ｐ１１〜ｐ６６の各々で受光された各光束に基づいてリフォーカス画像の生成等に用いられるライトフィールドデータが生成される。

図５は、図１のライトフィールドカメラ１００で実行されるライトフィールドデータ生成処理の手順を示すフローチャートである。

図５の処理は、ＣＰＵ１０７が当該ＣＰＵ１０７のＲＯＭに格納された各種制御プログラムを実行することによって行われる。

図５において、まず、ＣＰＵ１０７は、ユーザのタッチパネル操作部１１９やスイッチ操作部１２２の操作によって撮影モードが設定されたか否かを判別する（ステップＳ５０１）。ＣＰＵ１０７は、撮影モードが設定されると（ステップＳ５０１でＹＥＳ）、タッチパネル操作部１１９やスイッチ操作部１２２で撮影を開始するための撮影ボタンが押下されたか否かを判別する（ステップＳ５０２）。ＣＰＵ１０７は、撮影ボタンが押下されると（ステップＳ５０２でＹＥＳ）、ライトフィールドデータを生成する（ステップＳ５０３）。次いで、ＣＰＵ１０７は、生成されたライトフィールドデータをメモリ１１３に格納し（ステップＳ５０４）、本処理を終了する。

図６は、図１のライトフィールドカメラ１００で実行されるＯＳＤ情報表示処理の手順を示すフローチャートである。

例えば、画像処理を行ってリフォーカス画像を生成した場合、ＯＳＤ情報として重畳される被写体情報に対応する被写体が当該画像処理によって合焦されなくなったにもかかわらず、当該被写体に対応する被写体情報がそのまま表示される場合がある。この場合、合焦された被写体に対応する被写体情報及び合焦されない被写体に対応する被写体情報が重畳画像に混載してしまい、その結果、合焦された被写体の被写体情報が見づらくなる。

これに対応して、本実施の形態では、リフォーカス画像において合焦された被写体に対応する被写体情報のみが重畳された重畳画像が表示される。

図６の処理は、ＣＰＵ１０７が格納された各種制御プログラムを実行することによって行われ、液晶パネル１２０に表示される画像のＯＳＤ情報として当該画像に含まれる被写体に対応する被写体情報が重畳されることを前提とする。

図６において、まず、ＣＰＵ１０７は、ユーザのタッチパネル操作部１１９やスイッチ操作部１２２の操作によって再生モードが設定されたか否かを判別する（ステップＳ６０１）。ＣＰＵ１０７は、再生モードが設定されると（ステップＳ６０１でＹＥＳ）、メモリカード１１４に格納された各ライトフィールドデータのサムネイル表示を行う（ステップＳ６０２）。具体的に、ＣＰＵ１０７は各ライトフィールドデータに対応する図７の縮小画像７０１〜７０６を液晶パネル１２０に表示する。縮小画像７０１〜７０６の各々を示すファイル名には、図７に示すように、ライトフィールドデータであることを示す拡張子「.ｌｆ」が付与される。ＣＰＵ１０７は、メモリ１１３からライトフィールドデータを読み出し、デコーダ部１１６によって撮影時に設定されたフォーカス値に基づく画像をデコードし、当該画像が縮小された縮小画像７０１〜７０６を液晶パネル１２０に表示する。次いで、ＣＰＵ１０７は、液晶パネル１２０に表示された縮小画像７０１〜７０６からいずれか１つの縮小画像がユーザによって選択されたか否かを判別する（ステップＳ６０３）。ＣＰＵ１０７は、例えば、縮小画像７０６が選択されると（ステップＳ６０３でＹＥＳ）、縮小画像７０６に対応する画像、つまり、撮影時に設定されたフォーカス値に基づく画像を再生する（ステップＳ６０４）。その後、ＣＰＵ１０７は、再生された画像に含まれる被写体のうち合焦された被写体に対応する被写体情報が重畳された重畳画像を表示する。具体的に、図８（ａ）に示すように、合焦された被写体８０１の名前を示す「Ｂさん」が重畳された重畳画像が表示される。次いで、ＣＰＵ１０７は、ユーザのタッチパネル操作部１１９の操作によってフォーカス値の変更指示が行われたか否かを判別する（ステップＳ６０５）。本実施の形態では、例えば、液晶パネル１２０に表示される複数の被写体のうちいずれか１つの被写体をユーザがタッチした場合、ＣＰＵ１０７はフォーカス値の変更指示が行われたと判別する。一方、液晶パネル１２０に表示された複数の被写体のうちいずれの被写体もユーザがタッチしない場合、ＣＰＵ１０７はフォーカス値の変更指示が行われないと判別する。ＣＰＵ１０７は、例えば、図８（ｂ）に示すように、ユーザが被写体８０２をタッチしてフォーカス値の変更指示が行われると（ステップＳ６０５でＹＥＳ）、被写体８０２が合焦されたリフォーカス画像を生成する（ステップＳ６０６）（画像生成手段）。次いで、ＣＰＵ１０７は、図８（ｂ）に示すように、生成されたリフォーカス画像において合焦された被写体８０２に対応する被写体情報である「Ａさん」のみが重畳された重畳画像を表示し（ステップＳ６０７）、本処理を終了する。

図６の処理によれば、リフォーカス画像において合焦された被写体８０２に対応する被写体情報である「Ａさん」のみが重畳された重畳画像が表示される。これにより、重畳画像に合焦された被写体８０２以外の被写体の不要な被写体情報が表示されることなく、もって、合焦された被写体８０２の被写体情報が見易く表示される。

以上、本発明について実施の形態を用いて説明したが、本発明は上述した実施の形態に限定されるものではない。

例えば、各被写体の合焦の度合いに応じて透過度の異なる各被写体に関する被写体情報が重畳された重畳画像を表示してもよい。具体的に、図８（ｃ）に示すように、被写体８０２が合焦され、被写体８０１，８０３が合焦されない場合、ＣＰＵ１０７は被写体８０１〜８０３の各々に対応する被写体情報を取得する。その後、ＣＰＵ１０７は合焦された被写体８０２の被写体情報（例えば、「Ａさん」）の透過度を非透過に設定する。さらに、ＣＰＵ１０７は、合焦されない被写体８０１，８０３の各々の被写体情報（例えば、「Ｂさん」や「Ｃさん」）の透過度を半透過に設定し、各設定された透過度の被写体情報を重畳された重畳画像を表示する。これにより、合焦された被写体に関する被写体情報（例えば、「Ａさん」）と合焦されない被写体に関する被写体情報（例えば、「Ｂさん」や「Ｃさん」）を透過度に基づいて容易に見分けることができる。その結果、合焦された被写体の被写体情報がより見易く表示される。

また、図６の処理では、複数の合焦された被写体がリフォーカス画像に含まれる場合、上記複数の合焦された被写体に関する被写体情報から所望の被写体情報がユーザによって選択されてもよい。

図９は、図６のＯＳＤ情報表示処理の変形例の手順を示すフローチャートである。

図９の処理も、ＣＰＵ１０７が当該ＣＰＵ１０７のＲＯＭに格納された各種制御プログラムを実行することによって行われ、液晶パネル１２０に表示される画像のＯＳＤ情報として当該画像に含まれる被写体に対応する被写体情報が重畳されることを前提とする。

図９において、まず、ＣＰＵ１０７は、図６のステップＳ６０１〜Ｓ６０４と同様の処理を行う。次いで、ＣＰＵ１０７は、ユーザのタッチパネル操作部１１９の操作によってフォーカス値の変更指示が行われたか否かを判別する（ステップＳ９０１）。ステップＳ９０１では、液晶パネル１２０に表示された、フォーカス値を設定するための図１０（ａ）に示すスライドバー１００１をユーザが操作した場合、ＣＰＵ１０７はフォーカス値の変更指示が行われたと判別する。一方、液晶パネル１２０に表示されたスライドバー１００１をユーザが操作しない場合、ＣＰＵ１０７はフォーカス値の変更指示が行われないと判別する。スライドバー１００１は、フォーカス値を段階的に設定可能であり、タッチする位置が「手前」に近付くにつれて、ライトフィールドカメラ１００に近い被写体が合焦されるようにフォーカス値が設定される。また、タッチする位置が「奥」に近付くにつれて、ライトフィールドカメラ１００に遠い被写体が合焦されるようにフォーカス値が設定される。ＣＰＵ１０７は、例えば、図１０（ｂ）に示すように、被写体１００３，１００４に合焦されるフォーカス値への変更指示が行われると（ステップＳ９０１でＹＥＳ）、被写体１００３，１００４が合焦されるリフォーカス画像を生成する（ステップＳ９０２）。次いで、ＣＰＵ１０７は、リフォーカス画像において合焦されている被写体が複数の被写体であるか否かを判別する（ステップＳ９０３）。

ステップＳ９０３の判別の結果、合焦されている被写体が複数の被写体でないとき、例えば、図１０（ａ）に示すように、合焦されている被写体が被写体１００２のみであるとき、ＣＰＵ１０７は被写体１００２の被写体情報である「Ｄさん」のみを重畳する。その後、ＣＰＵ１０７は重畳された重畳画像を液晶パネル１２０に表示し（ステップＳ９０４）、本処理を終了する。

ステップＳ９０３の判別の結果、合焦されている被写体が複数の被写体であるとき、ＣＰＵ１０７は、図１０（ｃ）に示すように、ＯＳＤ情報として重畳される被写体情報を選択可能な選択メニュー１００５を表示する。例えば、リフォーカス画像において被写体１００３，１００４が合焦される場合、選択メニュー１００５には被写体１００４の被写体情報であるＥさんのみを表示する「Ｅさんのみ」が表示される。また、選択メニュー１００５には被写体１００３の被写体情報であるＦさんのみを表示する「Ｆさんのみ」や、Ｅさん及びＦさんの両方を表示する「ＥさんとＦさん」が表示される。次いで、ＣＰＵ１０７は、ユーザの選択メニュー１００５の選択に基づく被写体情報（以下、「選択被写体情報」という。）のみが重畳された重畳画像を液晶パネル１２０に表示する（ステップＳ９０５）。例えば、ユーザが選択メニュー１００５で「Ｅさんのみ」を選択した場合、図１０（ｄ）に示すように、Ｅさんのみが重畳された重畳画像が液晶パネル１２０に表示される。その後、ＣＰＵ１０７はステップＳ９０５の処理を実行した後に本処理を終了する。

図９の処理によれば、リフォーカス画像に複数の合焦された被写体１００３，１００４が含まれる場合、上記被写体１００３，１００４に対応する被写体情報（例えば、「Ｅさん」や「Ｆさん」）から所望の被写体情報（「Ｅさん」）がユーザによって選択される。これにより、ユーザが所望する被写体情報のみを選択して表示することができ、もって、ユーザの利便性を向上することができる。

本発明は、上述の実施の形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出して実行する処理でも実現可能である。また、本発明は、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ ライトフィールドカメラ
１０７ ＣＰＵ
１０８ ＥＥＰＲＯＭ
１２０ 液晶パネル
８０１，８０２，１００２〜１００４ 被写体
１００５ 選択メニュー

Claims (5)

1. 取得された画像及び前記画像に関する情報に基づいて前記画像のフォーカス値を変更したフォーカス値変更画像を生成する画像生成手段と、
   前記画像に含まれる被写体に関する被写体情報を格納する格納手段と、
   前記変更されたフォーカス値に基づいて合焦された被写体に対応する前記被写体情報を前記フォーカス値変更画像に重畳し、前記重畳されたフォーカス値変更画像を表示する表示手段とを備えることを特徴とする画像処理装置。
2. 前記表示手段は、
   各前記被写体の合焦の度合いに応じて透過度の異なる各前記被写体に関する前記被写体情報が重畳されたフォーカス値変更画像を表示することを特徴とする請求項１記載の画像処理装置。
3. 複数の前記合焦された被写体がフォーカス値変更画像に含まれる場合、前記複数の合焦された被写体に関する被写体情報から所望の合焦された被写体に関する被写体情報をユーザが選択可能な選択手段を更に備えることを特徴とする請求項１又は２記載の画像処理装置。
4. 取得された画像及び前記画像に関する情報に基づいて前記画像のフォーカス値を変更したフォーカス値変更画像を生成する画像生成ステップと、
   前記画像に含まれる被写体に関する被写体情報を格納する格納ステップと、
   前記変更されたフォーカス値に基づいて合焦された被写体に対応する前記被写体情報を前記フォーカス値変更画像に重畳し、前記重畳されたフォーカス値変更画像を表示する表示ステップとを有することを特徴とする画像処理装置の制御方法。
5. 画像処理装置の制御方法をコンピュータに実行させるプログラムであって、
   前記画像処理装置の制御方法は、
   取得された画像及び前記画像に関する情報に基づいて前記画像のフォーカス値を変更したフォーカス値変更画像を生成する画像生成ステップと、
   前記画像に含まれる被写体に関する被写体情報を格納する格納ステップと、
   前記変更されたフォーカス値に基づいて合焦された被写体に対応する前記被写体情報を前記フォーカス値変更画像に重畳し、前記重畳されたフォーカス値変更画像を表示する表示ステップとを有することを特徴とするプログラム。