JP2015088801A - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

Abstract

【課題】撮影情報に応じたレンズに関する情報をアシスト情報として提示できる画像処理装置、画像処理方法及び画像処理プログラムを提供すること。
【解決手段】画像処理装置は、画像データを取得する画像取得部１０２と、画像データに関する撮影情報を取得する撮影情報取得部１０６と、撮影情報に基づいて画像データにおける撮影シーン又は被写体を判別するシーン・被写体判別部１０８と、撮影シーン又は被写体の判別結果に応じたレンズに関するアシスト情報を検索するアシスト情報検索部１１０と、検索されたアシスト情報を表示する表示部１１４とを備える。
【選択図】図１

Description

本発明は、撮影をアシストするためのアシスト情報を提示する画像処理装置、画像処理方法及び画像処理プログラムに関する。

従来、撮影に関する種々のアシスト情報をユーザに対して提示する装置に関して各種の提案がなされている。例えば、特許文献１において提案されているシステムは、撮影により得られた画像から抽出された画像特徴量と類似する画像特徴量を有する画像をデータベースから検索し、検索した画像の構図と同じ構図に近づけるために撮像装置をどの方向に動かせば良いのかを示す情報をアシスト情報としてユーザに提示している。

特表２００９−５２１１３４号公報

ここで、写真家等によって撮影された写真には、撮影された写真がどのようなレンズでまたどのような条件で撮影されたのかが表記されていることがある。また、写真の作例を示すサンプル画像とサンプル画像を撮影するのに用いられたレンズに関する情報を関連付けてレンズを紹介するアプリケーションも知られている。これらのようなレンズに関する情報もアシスト情報として用いられ得る。特許文献１の技術は、良い写真を撮影するための要因のうちの構図に絞ったアシスト情報を提示するものである。一方、レンズを紹介するアプリケーションの場合、ユーザが撮影しようとしている際の撮影情報に応じたレンズに関する情報が必ずしも得られるとは限らない。

本発明は、前記の事情に鑑みてなされたもので、撮影情報に応じたレンズに関する情報をアシスト情報として提示できる画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。

前記の目的を達成するために、本発明の第１の態様の画像処理装置は、画像データを取得する画像取得部と、前記画像データに関する撮影情報を取得する撮影情報取得部と、前記撮影情報に基づいて前記画像データにおける撮影シーン又は被写体を判別するシーン・被写体判別部と、前記撮影シーン又は被写体の判別結果に応じたレンズに関するアシスト情報を検索するアシスト情報検索部と、前記検索されたアシスト情報を表示する表示部とを具備する。

前記の目的を達成するために、本発明の第２の態様の画像処理方法は、画像データを取得することと、前記画像データに関する撮影情報を取得することと、前記撮影情報に基づいて前記画像データにおける撮影シーン又は被写体を判別することと、前記撮影シーン又は被写体の判別結果に応じたレンズに関するアシスト情報を検索することと、前記検索されたアシスト情報を表示部に表示することとを具備する。

前記の目的を達成するために、本発明の第３の態様の画像処理プログラムは、画像データを取得する機能と、前記画像データに関する撮影情報を取得する機能と、前記撮影情報に基づいて前記画像データにおける撮影シーン又は被写体を判別する機能と、前記撮影シーン又は被写体の判別結果に応じたレンズに関するアシスト情報を検索する機能と、前記検索されたアシスト情報を表示部に表示する機能とをコンピュータに実現させる。

本発明によれば、撮影情報に応じたレンズに関する情報をアシスト情報として提示できる画像処理装置、画像処理方法及び画像処理プログラムを提供することができる。

本発明の第１実施形態に係る撮像装置の全体構成を示すブロック図である。 本発明の第１の実施形態に係るアシスト情報の表示の手順を示したフローチャートである。 本発明の第１の実施形態に係るアシスト情報の表示例を示す図である。 アシスト情報が選択された際に表示される画面の第１の例を示す図である。 アシスト情報が選択された際に表示される画面の第２の例を示す図である。 本発明の第２の実施形態に係る撮像装置の全体構成を示すブロック図である。 本発明の第２の実施形態に係るアシスト情報の表示の手順を示したフローチャートである。 本発明の第３の実施形態に係る撮像装置の全体構成を示すブロック図である。 本発明の第３の実施形態に係るアシスト情報の表示の手順を示したフローチャートである。 本発明の第３の実施形態に係るアシスト情報の第１の表示例を示す図である。 本発明の第３の実施形態に係るアシスト情報の第２の表示例を示す図である。 本発明の第４の実施形態に係る撮像装置の全体構成を示すブロック図である。

以下、図面を参照して本発明の実施形態を説明する。
［第１の実施形態］
まず、本発明の第１の実施形態について説明する。図１は、本発明の第１の実施形態に係る画像処理装置の適用例としての撮像装置の全体構成を示すブロック図である。図１に示す撮像装置１は、例えばデジタルカメラ、カメラ付き携帯電話機、スマートフォンといった各種の携帯端末機器に対して適用され得る。この撮像装置１は、制御部１０２と、画像取得部１０４と、撮影情報取得部１０６と、撮影シーン・被写体判別部１０８と、アシスト情報検索部１１０と、アシスト情報データベース（ＤＢ）１１２と、表示部１１４と、記憶部１１６と、操作部１２２とを有している。また、図１に示すように、制御部１０２と、画像取得部１０４と、撮影情報取得部１０６と、撮影シーン・被写体判別部１０８と、アシスト情報検索部１１０と、アシスト情報ＤＢ１１２と、表示部１１４と、記憶部１１６と、操作部１２２とは、バス１２４を介して互いに通信自在に接続されている。

制御部１０２は、例えばＣＰＵを有し、撮像装置１の全体の動作を制御する。例えば、制御部１０２は、画像取得部１０４による画像取得動作を制御したり、画像取得部１０４で取得される画像データに基づく画像を表示部１１４に表示させたりする。さらに、制御部１０２は、画像取得部１０４で取得される画像データに対して画像処理を施して画像ファイルを作成し、作成した画像ファイルを記憶部１１６に記憶させる。

画像取得部１０４は、画像データを取得する。画像取得部１０４は、例えば、レンズ、絞り、シャッタ、撮像素子、Ａ/Ｄ変換回路等を有する撮像部である。ここで、本実施形態におけるレンズは、例えば撮像装置１の本体に対して着脱自在に構成された交換レンズである。画像取得部１０４が撮像部である場合、画像取得部１０４は、レンズを介して入射した被写体の光学像を撮像素子においてアナログ電気信号に変換し、このアナログ電気信号をＡ/Ｄ変換回路においてデジタル信号に変換することで画像データを取得する。

撮影情報取得部１０６は、画像取得部１０４によって取得された画像データに関する撮影情報を取得する。ここでの撮影情報は、撮影時の被写体距離、画像データの輝度、色、画像特徴量、及び被写体又は撮像装置１の動き量を含む。また、画像特徴量としては、例えばＬＢＰ（Local Binary Pattern）、ＳＩＦＴ（Scale-Invariant Feature Transform）、ＳＵＲＦ(Speeded Up Robust Features)、ＯＲＢ（Oriented FAST and Rotated Brief）、ＨＳＶヒストグラム等が用いられる。

撮影シーン・被写体判別部１０８は、撮影情報取得部１０６で取得された撮影情報に基づいて画像データの撮影シーン及び主要被写体を判別する。撮影シーン・被写体判別部１０８は、例えば、背景領域の輝度が低い場合に夜景撮影シーンであると判別し、背景領域に赤色成分が多ければ夕焼けの撮影シーンであると判別し、被写体の輝度に比べて背景領域の輝度が高い場合に逆光撮影シーンであると判別する。また、撮影シーン・被写体判別部１０８は、被写体距離がレンズ毎に設定されたマクロ域に該当する場合にはマクロ撮影シーンであると判別する。さらに、撮影シーン・被写体判別部１０８は、画像データから撮影情報として抽出された画像特徴量と例えば記憶部１１６に予め記憶されている被写体別の画像特徴量との類似度を比較することにより、主要被写体を判別する。

アシスト情報検索部１１０は、撮影シーン・被写体判別部１０８における撮影シーン又は主要被写体の判別結果に応じたレンズに関するアシスト情報をアシスト情報ＤＢ１１２から検索する。アシスト情報ＤＢ１１２は、撮影シーンの種別及び被写体の種別と関連付けてレンズに関するアシスト情報を記憶している。アシスト情報は、各種の写真の作例を示す画像（サンプル画像）と各サンプル画像の撮影に用いられたレンズ関連アシスト情報とを含む情報である。また、本実施形態におけるサンプル画像は、例えば異なるレンズを用いて同一被写体又は同一撮影シーンが撮影されることにより得られたサンプル画像と、同一レンズを用いて異なる被写体又は異なる撮影シーンが撮影されることにより得られたサンプル画像と含む。さらに、レンズ関連アシスト情報は、レンズの名称（型番等でも良い）、レンズのスペック（焦点距離や開放絞り値等）、及びサンプル画像の撮影時におけるレンズに関する設定（焦点距離の設定、絞り値の設定等）の少なくとも何れかを含む。この他、レンズ関連アシスト情報は、サンプル画像の撮影時における撮像装置１の設定（シャッタ速、画像処理設定等）及びサンプル画像と同等の画像を撮影するための各種のポイントをユーザに説明するためのガイド情報等を含んでいても良い。また、アシスト情報ＤＢ１１２に記憶されているアシスト情報は、例えば撮像装置１がネットワークに接続された際に逐次更新されることが望ましい。

表示部１１４は、液晶ディスプレイや有機ＥＬディスプレイ等の表示部であり、制御部１０２の制御に従って各種の画像を表示する。また、表示部１１４は、アシスト情報検索部１１０で検索されたアシスト情報を表示する。

記憶部１１６は、例えばＲＯＭやＲＡＭを含み、撮影により得られた画像データと撮影シーン・被写体判別部１０８における被写体判別の際に用いられる被写体別の画像特徴量とを記憶する。ここで、被写体別の画像特徴量は、例えばＳＶＭ（Support Vector Machine）等を用いた機械学習により逐次更新されるようにしておくことが望ましい。また、記憶部１１６は、制御部１０２によって実行される各種のプログラムやプログラムが実行される際に使用される各種のパラメータを記録する。さらに、記憶部１１６は、画像取得部１０４によって得られた画像データや制御部１０２における画像処理中の画像データ等の各種のデータを一時的に記憶する。

操作部１２２は、ユーザが撮像装置１の各種の操作を行うための操作部である。操作部１２２は、ボタン等の機械的な操作部であっても良いし、タッチパネルを用いた操作部であっても良い。ユーザによる操作部１２２の操作によって、撮影動作の実行指示がなされたり、撮影シーンモード等の各種の設定がなされたりする。

次に、本実施形態に係る撮像装置１の動作について説明する。図２は、本実施形態に係る画像処理方法としてのアシスト情報の表示の手順を示したフローチャートである。ここで、図２は、撮影前のスルー画表示中にアシスト情報を表示させる際の手順を示している。また、図２のフローチャートの処理は、制御部１０２が主体となって行われる。

図２において、制御部１０２は、画像取得部１０４に画像データを取得させる（ステップＳ１０１）。制御部１０２からの指示を受けて画像取得部１０４は、撮像素子を駆動して被写体を撮像する。撮像素子で得られた画像信号は、Ａ/Ｄ変換回路においてデジタル信号に変換される。このデジタル信号としての画像データは、記憶部１１６に記憶される。

画像データの取得後、制御部１０２は、撮影情報取得部１０６によって撮影情報を取得させる（ステップＳ１０２）。撮影情報を取得させた後、制御部１０２は、撮影シーン・被写体判別部１０８によって画像データの撮影シーン及び主要被写体を判別させる（ステップＳ１０３）。

撮影シーン及び主要被写体の判別後、制御部１０２は、アシスト情報検索部１１０によってアシスト情報を検索させる（ステップＳ１０４）。アシスト情報の検索後、制御部１０２は、ステップＳ１０１で取得された画像データに基づいてスルー画像を表示部１１４に表示させるとともに、ステップＳ１０４で検索されたアシスト情報を表示部１１４に表示させる（ステップＳ１０５）。その後、制御部１０２は、図２の処理を終了させる。

図３は、本発明の第１の実施形態に係るアシスト情報の表示例を示す図である。ここで、図３においては、撮影シーン・被写体判別部１０８において主要被写体が“向日葵（花）”であると判別された場合のアシスト情報の表示例が示されている。主要被写体が“向日葵”であると判別された場合、図３に示すように、複数の異なるレンズを用いて撮影された向日葵のサンプル画像がそのサンプル画像を撮影するのに用いられたレンズのレンズ関連アシスト情報とともに表示部１１４に表示される。

ここで、図３の例では、マクロレンズを用いて撮影されたサンプル画像と魚眼レンズを用いて撮影されたサンプル画像とが示されている。このようなサンプル画像とレンズとの組み合わせは一例である。また、図３においては、表示部１１４の右側部にサンプル画像が表示された例が示されている。サンプル画像の表示位置は、表示部１１４の上側部、下側部、左側部であっても良い。また、図３においては、表示部１１４に２枚のサンプル画像が一度に表示された例が示されている。これに対し、３枚以上のサンプル画像が一度に表示されても良い。なお、表示部１１４の表示画面の面積が限られている等の理由により、一度に多くのサンプル画像を表示させることができない場合は、ユーザによるスクロール操作等によって表示部１１４に表示されるサンプル画像を変える等しても良い。

図４は、図３のようにして表示部１１４に表示されたアシスト情報のうちの何れかのアシスト情報が選択された際に表示される画面の第１の例を示す図である。第１の例では、アシスト情報が選択されたときに、選択されたアシスト情報に関連付けられたレンズの詳細な情報が表示される。例えば、図４は、レンズの詳細な情報として、レンズの製品名、主要な特長を示す情報、レンズのスペック（図４では焦点距離）を示す情報を表示させた例が示されている。第１の例として表示させるレンズの詳細な情報は、適宜設定され得る。表示させる情報の種類がユーザによって設定されても良い。

図５は、図３のようにして表示部１１４に表示されたアシスト情報のうちの何れかのアシスト情報が選択された際に表示される画面の第２の例を示す図である。第２の例では、アシスト情報が選択されたときに、選択されたアシスト情報に関連付けられたレンズを用いて撮影された他のサンプル画像を含むアシスト情報が表示される。第２の例として表示される他のサンプル画像は、撮影シーン・被写体判別部１０８による判別結果と異なる被写体が撮影された画像であって良い。

図３の画面の表示中においてアシスト情報が選択されたときに図４の画面に遷移させるか図５の画面に遷移させるかは、例えばユーザの操作部１２２の操作によって設定される。また、アシスト情報に階層が設けられていれば、図３の画面の表示を第１階層のアシスト情報の表示画面とし、第１階層のアシスト情報の表示画面において何れかのアシスト情報が選択された場合に第２階層のアシスト情報の表示画面としての図４の表示画面を表示させ、第２階層のアシスト情報の表示画面においてさらに何等かの操作がなされた場合に第３階層のアシスト情報の表示画面としての図５の画面を表示させるといったように表示画面の遷移を制御することも可能である。

以上説明したように本実施形態においては、スルー画表示中の撮影シーンや被写体の状況に応じた、すなわち現時点でユーザが興味を持っていると考えられる撮影シーンや被写体に応じたレンズに関するアシスト情報がユーザに提示される。このようなレンズに関するアシスト情報をユーザに提示することにより、レンズ交換によって写真撮影の際の表現の幅が広がることをユーザに知らせることができる。例えば、同一被写体又は同一撮影シーンを異なるレンズで撮影することにより得られたサンプル画像を含むアシスト情報をユーザに提示することにより、レンズの違いによる表現の違いをユーザに知らせることができる。また、異なる被写体又は撮影シーンを同一のレンズで撮影することにより得られたサンプル画像を含むアシスト情報をユーザに提示することにより、同一のレンズを用いての他の被写体や撮影シーンの撮影への興味をユーザに持たせることができる。

ここで、図２では、スルー画表示時にアシスト情報を表示させる例が示されている。これに対し、アシスト情報は、撮影の実行後の撮影結果の確認時又は画像の再生中に表示されても良い。撮影結果の確認時又は画像の再生中にアシスト情報を表示させるようにすることにより、次回以降の撮影時において、レンズを保有している場合はレンズの交換を、保有していない場合はレンズの購入をユーザに促す効果が期待される。なお、画像の再生中に図２のフローチャートの処理を実行する場合、ステップＳ１０１の処理は、単に画像データが入力されるだけの処理になる。また、ステップＳ１０２の処理は、再生中の画像が実際に撮影された際の撮影情報を取得する処理に変更される。この場合において取得される撮影情報は、画像ファイルのヘッダ等に記録されているものが用いられる。また、ステップＳ１０３の処理において、一度判別がされた画像については、画像ファイルへのヘッダ等に記録されているのでそれを読み出す。

また、表示部１１４に表示させるアシスト情報は、ネットワーク経由で取得されるようにしても良い。このようにすることで、アシスト情報ＤＢ１１２の容量の節約を図ることやメーカーが最新のレンズを発売した際に、新しいレンズの情報が表示されることからユーザは最新の情報を得ることが可能である。

［第２の実施形態］
次に、本発明の第２の実施形態について説明する。図６は、本発明の第２の実施形態に係る画像処理装置の適用例としての撮像装置の全体構成を示すブロック図である。以下、図６において図１と同様のブロックについての説明は省略する。第２の実施形態における撮像装置１は、アシスト情報表示設定部１２６をさらに有している。

アシスト情報表示設定部１２６は、例えばユーザによる操作部１２２の操作を受けてアシスト情報の表示についての条件を設定する。この条件は、例えばアシスト情報を表示させるか否かの条件及びアシスト情報を表示させるタイミングの条件である。アシスト情報を表示させるタイミングは、例えば撮影実行を指示するための操作部であるシャッタボタンが半押しされたとき、シャッタボタンが全押された場合の撮影結果の確認時、再生ボタンが押された場合の画像の閲覧時である。

次に、本実施形態に係る撮像装置１の動作について説明する。図７は、本実施形態に係る画像処理方法としてのアシスト情報の表示の手順を示したフローチャートである。ここで、図７において図２と共通の処理については説明を省略する。すなわち、ステップＳ２０１−Ｓ２０４の処理については、ステップＳ１０１−Ｓ１０４と共通の処理であるので説明を省略する。

アシスト情報検索部１１０によるアシスト情報の検索後、制御部１０２は、アシスト情報を表示させるようにアシスト情報表示設定部１２６が設定されているか否かを判定する（ステップＳ２０５）。ステップＳ２０５においてアシスト情報を表示させるようにアシスト情報表示設定部１２６が設定されていないと判定した場合に、制御部１０２は、図７の処理を終了させる。この場合、アシスト情報は表示されない。なお、アシスト情報の表示の有無にかかわらずにスルー画表示等の処理は継続される。

ステップＳ２０５においてアシスト情報を表示させるようにアシスト情報表示設定部１２６が設定されていると判定した場合に、制御部１０２は、現在、アシスト情報表示設定部１２６において設定されているアシスト情報の表示タイミングであるか否かを判定する（ステップＳ２０６）。ステップＳ２０６において現在がアシスト情報表示設定部１２６において設定されているアシスト情報の表示タイミングでないと判定した場合に、制御部１０２は、図７の処理を終了させる。この場合も、アシスト情報は表示されない。すなわち、アシスト情報を表示させるように設定されていたとしても、アシスト情報の表示タイミングでない場合にはアシスト情報は表示されない。なお、ステップＳ２０５と同様、アシスト情報の表示の有無にかかわらずにスルー画表示等の処理は継続される。

ステップＳ２０６において現在がアシスト情報の表示タイミングであると判定した場合に、制御部１０２は、ステップＳ２０１で取得された画像データに対応した画像をスルー画像として表示部１１４に表示させるとともに、ステップＳ２０４で検索されたアシスト情報を表示部１１４に表示させる（ステップＳ２０７）。その後、制御部１０２は、図７の処理を終了させる。

以上説明したように本実施形態においては、アシスト情報をさせるか否か、表示させる場合にはどのタイミングで表示させるかをユーザが任意に設定できる。これにより、ユーザにとっての使い勝手を向上させることが可能である。

［第３の実施形態］
次に、本発明の第３の実施形態について説明する。図８は、本発明の第３の実施形態に係る画像処理装置の適用例としての撮像装置の全体構成を示すブロック図である。以下、図８において図１と同様のブロックについての説明は省略する。第３の実施形態における撮像装置１は、レンズ情報取得部１２８と、アシスト情報優先度設定部１３０とをさらに有している。

レンズ情報取得部１２８は、レンズ情報を取得する。レンズ情報は、アシスト情報の優先度を設定するために用いられる情報であって、対応するレンズとユーザとの関係を示す情報である。このレンズ情報は、対応するレンズをユーザが保有しているか否かを示す情報を含む。また、対応するレンズをユーザが保有している場合、レンズ情報は、対応するレンズの購入時期を示す情報をさらに含む。また、対応するレンズをユーザが保有していてかつ撮像装置１に装着したことがある場合、レンズ情報は、対応するレンズがはじめて装着された時期を示す情報及び対応するレンズを用いて撮影された画像の枚数を示す情報をさらに含む。装着された時期を示す情報は、撮像装置１にレンズが装着された際の撮像装置１とレンズとの通信によって取得されて記憶部１１６に記憶される。一方、対応するレンズをユーザが保有しているか否かを示す情報及び対応するレンズをユーザが撮像装置１に装着したことがあるか否かを示す情報については、初期状態では、対応するレンズをユーザが保有していない旨を示す情報及び対応するレンズをユーザが撮像装置１に装着したことがない旨を示す情報が記憶部１１６に記憶されている。そして、ユーザによって対応するレンズが購入されたときは、対応するレンズをユーザが保有していない旨を示す情報が、対応するレンズをユーザが保有している旨を示す情報に更新される。このとき、レンズの購入時期を示す情報も記憶部１１６に記憶される。さらに、レンズと撮像装置１との通信が確立したときに、対応するレンズをユーザが撮像装置１に装着したことがある旨を示す情報に更新される。このとき、対応するレンズがはじめて装着された時期を示す情報も記憶部１１６に記憶される。また、対応するレンズが装着されている間に撮影が行われた場合には、撮影枚数を示す情報が更新される。

アシスト情報優先度設定部１３０は、レンズ情報取得部１２８で取得されたレンズ情報を用いてアシスト情報ＤＢ１１２に記録されているアシスト情報間の優先度を設定する。例えば、アシスト情報優先度設定部１３０は、撮像装置１に現在装着されているレンズのアシスト情報が優先的に表示されるように優先度を設定する。

次に、本実施形態に係る撮像装置１の動作について説明する。図９は、本実施形態に係る画像処理方法としてのアシスト情報の表示の手順を示したフローチャートである。ここで、図９において図２と共通の処理については説明を省略する。すなわち、ステップＳ３０１−Ｓ３０４の処理については、ステップＳ１０１−Ｓ１０４と共通の処理であるので説明を省略する。

アシスト情報検索部１１０によるアシスト情報の検索後、制御部１０２は、レンズ情報取得部１２８によってレンズ情報を取得させる（ステップＳ３０５）。レンズ情報の取得後、制御部１０２は、アシスト情報優先度設定部１３０にアシスト情報の優先度を設定させる（ステップＳ３０６）。ここで、優先度の設定条件としては、例えば撮像装置１に現在装着されているレンズのアシスト情報の優先度を高くする、購入時期が最近のレンズのアシスト情報の優先度を高くする、撮影された画像の枚数が多いレンズのアシスト情報の優先度を高くする、装着されたことがないレンズのアシスト情報の優先度を高くする、ユーザが保有しているレンズのアシスト情報の優先度を高くする、ユーザが保有していないレンズのアシスト情報の優先度を高くする、各アシスト情報の優先度を同じにする等の種々の設定条件が考えられる。これらの設定条件の何れに基づいて優先度を設定するかは、例えばユーザによって決定される。

優先度の設定後、制御部１０２は、ステップＳ３０１で取得された画像データに対応した画像をスルー画像として表示部１１４に表示させるとともに、ステップＳ３０４で検索されたアシスト情報をアシスト情報優先度設定部１３０によって設定された優先度に従って表示部１１４に表示させる（ステップＳ３０７）。その後、制御部１０２は、図９の処理を終了させる。

図１０は、本発明の第３の実施形態に係るアシスト情報の第１の表示例を示す図である。第１の表示例は、現在装着されているレンズのレンズ情報の優先度を高くするように優先度の設定条件が設定されているときの表示例である。この場合、ステップＳ３０４で検索された“向日葵”に関連するアシスト情報のうち、現在装着されているレンズのアシスト情報が優先的に表示部１１４に表示される。現在装着されているレンズのアシスト情報を優先的に表示部１１４に表示させる場合、ユーザは、現在の撮影状況に最も即したレンズのアシスト情報を見ることができる。例えば、装着しているレンズを最大に活かして撮影できる方法としてカメラと被写体の距離の情報や、アングル等の構図情報や、カメラ側で設定可能な色や明るさ、絞り等のアシスト情報を見ることができる。

図１１は、本発明の第３の実施形態に係るアシスト情報の第２の表示例を示す図である。第２の表示例は、アシスト情報の優先度を同じにするように優先度の設定条件が設定されているときの表示例である。この場合、ステップＳ３０４で検索された“向日葵”に関連するアシスト情報のうち、撮像装置１に現在装着されているレンズのアシスト情報、撮像装置１に装着されたことがあるレンズのアシスト情報、撮像装置１に装着されたことがないレンズのアシスト情報、及びユーザが保有していないレンズのアシスト情報のそれぞれが表示部１１４に表示される。

ここで、図１１の表示の場合、表示部１１４に表示されているアシスト情報のそれぞれがどのレンズ情報に基づいて表示されているアシスト情報であるかをユーザが認知できることが望ましい。このために、ユーザが保有していないレンズで撮影されたサンプル画像は、例えばグレースケールに変換する又はカラー画像の背景にグレー画像を重畳して表示させる。図１１では、アシスト情報２のサンプル画像及びアシスト情報４のサンプル画像が、ユーザが保有していないレンズで撮影されたサンプル画像である。また、ユーザが最近購入したレンズで撮影されたサンプル画像については、例えば星印を付す。図１１では、アシスト情報１のサンプル画像が、ユーザが最近購入したレンズで撮影されたサンプル画像である。もしくは、シーン、被写体の認識結果からこのシーン、被写体にはこのレンズがおすすめであるといったお勧めレンズの場合に星印をつけてもよい。このような表示により、ユーザは、サンプル画像の一覧を見た際にレンズの保有又は未保有を一目で知ることができる。したがってレンズを保有しているのに装着してない場合は、レンズの交換を促し、レンズを保有していない場合にはレンズの購入を促す。

以上説明したように本実施形態においては、レンズ情報に応じたアシスト情報の優先度を設定することにより、ユーザが望む情報を適切に提示することができる。また、現在装着されているレンズのアシスト情報だけでなく、装着されていなくとも保有されているレンズのアシスト情報、保有されていないレンズのアシスト情報をも提示することにより、ユーザに対してレンズ交換やレンズ購入を促すことができる。

ここで、第３の実施形態における撮像装置１に第２の実施形態において説明したアシスト情報表示設定部１２６を持たせるようにして、第３の実施形態で説明したようなレンズ情報に応じたアシスト情報がユーザの望むタイミングで表示されるようにしても良い。

［第４の実施形態］
次に、本発明の第４の実施形態について説明する。図１２は、本発明の第４の実施形態に係る画像処理装置の適用例としての撮像装置の全体構成を示すブロック図である。以下、図１２において図８と同様のブロックについての説明は省略する。第４の実施形態における撮像装置１は、ユーザ情報取得部１３２をさらに有している。

ユーザ情報取得部１３２は、ユーザ情報を取得する。ユーザ情報は、現在、撮像装置１を使用している者を特定するための各種情報であって、例えばユーザの属性（性別、住んでいる地域等）を示す情報、ユーザの嗜好（各サンプル画像への興味度、アシスト情報の選択履歴、よく撮影している被写体や撮影シーン等）を示す情報、撮影スキル（各レンズを用いての撮影枚数、撮影期間）を示す情報等を含む。ユーザの認証には、指紋による認証や顔認証等を用いることができ、この認証結果に応じた情報をユーザ情報取得部１３２は取得する。また、ユーザが自身でユーザ情報を入力しても良い。

第４の実施形態におけるアシスト情報の表示の手順は、図９と同様である。ただし、ステップＳ３０６の優先度の設定の際に、アシスト情報優先度設定部１３０は、レンズ情報だけでなく、ユーザ情報も考慮して優先度を設定する。例えば、日本人の女性（特に２０代から３０代の女性）は、ボケのあるふんわりした作例を好む傾向にあることが知られている。したがって、アシスト情報優先度設定部１３０は、ユーザが日本人女性の場合には、手軽に持ち運べるようにあまり長くなく、ボケのある写真がとれる明るいレンズと、そのレンズで撮影されたふんわりした雰囲気を有するサンプル画像を含むアシスト情報の優先度を高くする。また、欧米人の男性（特に３０代）は、色が鮮やかでシャープな作例を好む傾向にあること知られている。したがって、アシスト情報優先度設定部１３０は、ユーザが欧米人男性の場合には、高解像度なレンズの情報とそのレンズで撮影したシャープネスが高いサンプル画像（例えば、レンズＭＴＦの高いレンズで撮影されたサンプル画像）を含むアシスト情報の優先度を高くする。

また、アシスト情報優先度設定部１３０は、オンラインショッピング等におけるユーザによるレンズの情報の閲覧の履歴、提示された作例の選択の履歴、写真共有サイトにおけるユーザによる写真の閲覧の履歴、よく撮影される撮影シーンや被写体等の嗜好情報を元にアシスト情報の優先度を変更する。さらに、アシスト情報優先度設定部１３０は、ユーザが各レンズでどれぐらい撮影をしているか、撮影期間はどれぐらいか、撮影スキルはどの程度かといった情報を元にアシスト情報の優先度を変更する。

以上説明したように本実施形態においては、レンズ情報に加えてさらにユーザに応じたアシスト情報の優先度を設定することにより、よりユーザが望む情報を適切に提示することができる。

ここで、第４の実施形態における撮像装置１に第２の実施形態において説明したアシスト情報表示設定部１２６を持たせるようにして、第４の実施形態で説明したようなアシスト情報がユーザの望むタイミングで表示されるようにしても良い。また、第４の実施形態においてユーザ情報のみから優先度が設定されるようにしても良い。

以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。また、前述の各動作フローチャートの説明において、便宜上「まず」、「次に」等を用いて動作を説明しているが、この順で動作を実施することが必須であることを意味するものではない。

また、上述した実施形態による各処理は、制御部１０２に実行させることができるプログラムとして記憶させておくこともできる。この他、メモリカード（ＲＯＭカード、ＲＡＭカード等）、磁気ディスク（ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の外部記憶装置の記憶媒体に格納して配布することができる。そして、制御部１０２は、この外部記憶装置の記憶媒体に記憶されたプログラムを読み込み、この読み込んだプログラムによって動作が制御されることにより、上述した処理を実行することができる。

さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。

１…撮像装置、１０２…制御部、１０４…画像取得部、１０６…撮影情報取得部、１０８…撮影シーン・被写体判別部、１１０…アシスト情報検索部、１１２…アシスト情報データベース（ＤＢ）、１１４…表示部、１１６…記憶部、１２２…操作部、１２４…バス、１２６…アシスト情報表示設定部、１２８…レンズ情報取得部、１３０…アシスト情報優先度設定部、１３２…ユーザ情報取得部

Claims (12)

1. 画像データを取得する画像取得部と、
   前記画像データに関する撮影情報を取得する撮影情報取得部と、
   前記撮影情報に基づいて前記画像データにおける撮影シーン又は被写体を判別するシーン・被写体判別部と、
   前記撮影シーン又は被写体の判別結果に応じたレンズに関するアシスト情報を検索するアシスト情報検索部と、
   前記検索されたアシスト情報を表示する表示部と、
   を具備する画像処理装置。
2. 前記アシスト情報は、前記撮影シーン又は前記被写体に応じた作例を示すサンプル画像と、前記サンプル画像が撮影された際のレンズの種類、レンズのスペック、前記サンプル画像が撮影された撮像装置の設定、前記サンプル画像を撮影するためのガイド情報の少なくとも何れか１つを含むレンズ関連アシスト情報とを含む請求項１に記載の画像処理装置。
3. 前記撮影情報は、被写体距離、前記画像データの明るさ分布、前記画像データの色分布、前記画像データの画像特徴量、前記画像データにおける被写体又は画像データを撮影している撮像装置の動き量の少なくとも何れか１つを含む請求項１又は２に記載の画像処理装置。
4. 前記表示部に前記アシスト情報を表示させる際の条件を設定するアシスト情報表示設定部をさらに具備する請求項１乃至３の何れか１項に記載の画像処理装置。
5. 前記アシスト情報を表示させる際の条件は、前記アシスト情報を表示させるか否かの条件及び前記アシスト情報を表示させるタイミングの条件を含む請求項４に記載の画像処理装置。
6. 対応するレンズとユーザとの関係を示す情報であるレンズ情報を取得するレンズ情報取得部と、
   取得されたレンズ情報に応じて前記表示部に表示させる前記アシスト情報の間の優先度を設定するアシスト情報優先度設定部をさらに具備する請求項１乃至５の何れか１項に記載の画像処理装置。
7. 前記レンズ情報は、対応するレンズが前記画像データを撮影する撮像装置に装着されているか否かを示す情報、対応するレンズが前記画像データを撮影する撮像装置に装着されたことがあるか否かを示す情報、対応するレンズをユーザが保有しているか否かを示す情報の少なくとも何れかを含む請求項６に記載の画像処理装置。
8. 前記レンズ情報は、対応するレンズを購入した時期を示す情報、対応するレンズをはじめて前記撮像装置に装着した時期を示す情報、対応するレンズを用いて撮影された画像データの枚数を示す情報を含む請求項７に記載の画像処理装置。
9. 当該画像処理装置のユーザのユーザ情報を取得するユーザ情報取得部と、
   取得されたユーザ情報に応じて前記表示部に表示させる前記アシスト情報の間の優先度を設定するアシスト情報優先度設定部をさらに具備する請求項１乃至８の何れか１項に記載の画像処理装置。
10. 前記ユーザ情報は、ユーザの属性を示す情報、ユーザの嗜好を示す情報、ユーザの撮影スキルを示す情報の少なくとも何れか１つを含む請求項９に記載の画像処理装置。
11. 画像データを取得することと、
    前記画像データに関する撮影情報を取得することと、
    前記撮影情報に基づいて前記画像データにおける撮影シーン又は被写体を判別することと、
    前記撮影シーン又は被写体の判別結果に応じたレンズに関するアシスト情報を検索することと、
    前記検索されたアシスト情報を表示部に表示することと、
    を具備する画像処理方法。
12. 画像データを取得する機能と、
    前記画像データに関する撮影情報を取得する機能と、
    前記撮影情報に基づいて前記画像データにおける撮影シーン又は被写体を判別する機能と、
    前記撮影シーン又は被写体の判別結果に応じたレンズに関するアシスト情報を検索する機能と、
    前記検索されたアシスト情報を表示部に表示する機能と、
    をコンピュータに実現させるための画像処理プログラム。