JP2015103968A - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

Abstract

【課題】ユーザの撮影行為の邪魔とならない程度にアシスト情報の提示頻度を制御することが可能な画像処理装置、画像処理方法及び画像処理プログラムを提供すること。
【解決手段】画像処理装置は、画像データを取得する画像取得部１０４と、撮影情報を取得する撮影情報取得部１０６と、撮影情報に基づいて画像データにおける撮影シーン又は被写体に関する情報をシーン・被写体関連情報として判定する判定部１０８と、判定部１０８で判定されたシーン・被写体関連情報に応じたアシスト情報を検索するアシスト情報検索部１１０と、シーン・被写体関連情報の履歴情報を記憶する履歴管理部１１４と、判定部１０８で判定されたシーン・被写体関連情報とシーン・被写体関連情報の履歴情報との類似度に従って、検索されたアシスト情報の表示出力を許可するか否かを判定する出力判定部１１６と、表示出力が許可されたアシスト情報を表示する表示部１２６とを有する。
【選択図】図１

Description

本発明は、撮影行為を支援するための画像処理装置、画像処理方法及び画像処理プログラムに関する。

撮影行為を支援するためのアシスト情報を提示する技術に関する種々の提案がなされている。例えば、特許文献１において提案されている画像撮影システムは、入力されたシチュエーションキーワードとイメージキーワードに応じたサンプル画像を、その撮影条件及び撮影技法とともにユーザに提示するようにしている。また、特許文献２において提案されているカメラは、注目被写体の種類に応じて画像データの解析を行い、この解析結果から注目被写体に応じた最適な構図を示すガイド情報をユーザに提示するようにしている。

特開２００７−２３５５０８号公報 特開２０１１−２２３５９９号公報

ここで、特許文献１の技術では、ユーザが自らキーワードを入力しなければ情報が提示されない。このため、特許文献１の技術では、ユーザ自身が気づいていないような情報を提示することは困難である。また、特許文献２の技術では、画像解析の結果に応じてガイド情報が提示されるので、ユーザが気づいていないような情報が提示される可能性がある。しかしながら、特許文献２の技術では、同種の被写体が続けて撮影されるようなケースでは、繰り返し同種の情報が提示されてしまい、ユーザの撮影行為の邪魔となる可能性がある。

本発明は、前記の事情に鑑みてなされたもので、ユーザの撮影行為の邪魔とならない程度にアシスト情報の提示頻度を制御することが可能な画像処理装置、画像処理方法及び画像処理プログラムを提供することを課題とする。

前記の目的を達成するために、本発明の第１の態様の画像処理装置は、画像データを取得する画像取得部と、前記画像データに関する撮影情報を取得する撮影情報取得部と、前記撮影情報に基づいて前記画像データにおける撮影シーン又は被写体に関する情報をシーン・被写体関連情報として判定する判定部と、前記判定部で判定されたシーン・被写体関連情報に応じたアシスト情報を検索するアシスト情報検索部と、前記シーン・被写体関連情報の履歴情報を記憶する履歴管理部と、前記判定部で判定されたシーン・被写体関連情報と前記履歴管理部に記憶されている前記シーン・被写体関連情報の履歴情報との類似度が所定値よりも低い場合、前記検索されたアシスト情報の表示出力を許可し、前記判定部で判定されたシーン・被写体関連情報と前記履歴管理部に記憶されている前記シーン・被写体関連情報の履歴情報との類似度が前記所定値よりも高い場合、前記検索されたアシスト情報の表示出力を許可しないと判定する出力判定部と、前記表示出力が許可されたアシスト情報を表示する表示部とを具備する。

前記の目的を達成するために、本発明の第２の態様の画像処理方法は、画像データを取得することと、前記画像データに関する撮影情報を取得することと、前記撮影情報に基づいて前記画像データにおける撮影シーン又は被写体に関する情報をシーン・被写体関連情報として判定することと、前記判定されたシーン・被写体関連情報に応じたアシスト情報を検索することと、前記判定されたシーン・被写体関連情報と履歴管理部に記憶されているシーン・被写体関連情報の履歴情報との類似度が所定値よりも低い場合、前記検索されたアシスト情報の表示出力を許可し、前記判定されたシーン・被写体関連情報と前記履歴管理部に記憶されている前記シーン・被写体関連情報の履歴情報との類似度が前記所定値よりも高い場合、前記検索されたアシスト情報の表示出力を許可しないと判定することと、前記表示出力が許可されたアシスト情報を表示部に表示させることとを具備する。

前記の目的を達成するために、本発明の第３の態様の画像処理プログラムは、画像データを取得する機能と、前記画像データに関する撮影情報を取得する機能と、前記撮影情報に基づいて前記画像データにおける撮影シーン又は被写体に関する情報をシーン・被写体関連情報として判定する機能と、前記判定されたシーン・被写体関連情報に応じたアシスト情報を検索する機能と、前記判定されたシーン・被写体関連情報と履歴管理部に記憶されているシーン・被写体関連情報の履歴情報との類似度が所定値よりも低い場合、前記検索されたアシスト情報の表示出力を許可し、前記判定されたシーン・被写体関連情報と前記履歴管理部に記憶されている前記シーン・被写体関連情報の履歴情報との類似度が前記所定値よりも高い場合、前記検索されたアシスト情報の表示出力を許可しないと判定する機能と、前記表示出力が許可されたアシスト情報を表示部に表示させる機能とをコンピュータに実現させる。

本発明によれば、ユーザの撮影行為の邪魔とならない程度にアシスト情報の提示頻度を制御することが可能な画像処理装置、画像処理方法及び画像処理プログラムを提供することができる。

本発明の各実施形態に係る画像処理装置の適用例としての撮像装置の全体構成を示すブロック図である。 第１の実施形態に係る撮像装置の制御部によるアシスト処理に係るフローチャートを示す図である。 スルー画表示に重ねられたアシスト可能表示を示した図である。 アシスト情報の表示形態の一例を示す図である。 第２の実施形態に係る撮像装置の制御部によるアシスト処理に係るフローチャートを示す図である。 第３の実施形態に係る撮像装置の制御部によるアシスト処理に係るフローチャートを示す図である。 第４の実施形態に係る撮像装置の制御部によるアシスト処理に係るフローチャートを示す図である。

以下、図面を参照して本発明の実施形態を説明する。
［第１の実施形態］
まず、本発明の第１の実施形態について説明する。図１は、本発明の各実施形態に係る画像処理装置の適用例としての撮像装置の全体構成を示すブロック図である。図１に示す撮像装置１は、例えばデジタルカメラ、カメラ付き携帯電話機、スマートフォンといった各種の携帯端末機器に対して適用され得る。この撮像装置１は、制御部１０２と、画像取得部１０４と、撮影情報取得部１０６と、判定部１０８と、アシスト情報検索部１１０と、アシスト情報データベース（ＤＢ）１１２と、履歴管理部１１４と、出力判定部１１６と、記録部１１８と、ＲＯＭ１２０と、ＲＡＭ１２２と、操作部１２４、表示部１２６とを有している。また、図１に示すように、制御部１０２と、画像取得部１０４と、撮影情報取得部１０６と、判定部１０８と、アシスト情報検索部１１０と、アシスト情報ＤＢ１１２と、履歴管理部１１４と、出力判定部１１６と、記録部１１８と、ＲＯＭ１２０と、ＲＡＭ１２２と、操作部１２４、表示部１２６とは、バス１２８を介して互いに通信自在に接続されている。

制御部１０２は、例えばＣＰＵを有し、撮像装置１の全体の動作を制御する。例えば、制御部１０２は、画像取得部１０４による画像取得動作を制御したり、画像取得部１０４で取得される画像データに基づく画像を表示部１２６に表示させたりする。さらに、制御部１０２は、画像取得部１０４で取得される画像データに対して画像処理を施して画像ファイルを作成し、作成した画像ファイルを記録部１１８に記録する。

画像取得部１０４は、画像データを取得する。画像取得部１０４は、例えば、レンズ、絞り、シャッタ、撮像素子、Ａ/Ｄ変換回路等を有する撮像部である。画像取得部１０４が撮像部である場合、画像取得部１０４は、レンズを介して入射した被写体の光学像を撮像素子においてアナログ電気信号に変換し、このアナログ電気信号をＡ/Ｄ変換回路においてデジタル信号に変換することで画像データを取得する。

撮影情報取得部１０６は、画像取得部１０４によって取得された画像データに関する撮影情報を取得する。ここでの撮影情報は、撮影時の被写体距離、画像データの輝度、色、画像特徴量、被写体又は撮像装置１の動き量、及び撮像装置１の姿勢を含む。また、画像特徴量としては、例えばＬＢＰ（Local Binary Pattern）、ＳＩＦＴ（Scale-Invariant Feature Transform）、ＳＵＲＦ(Speeded Up Robust Features)、ＯＲＢ（Oriented FAST and Rotated Brief）、ＨＳＶヒストグラム等が用いられる。

判定部１０８は、撮影情報取得部１０６で取得された撮影情報に基づいて画像データの撮影シーン及び主要被写体を判定する。判定部１０８は、例えば、背景領域の輝度が低い場合に夜景撮影シーンであると判定し、背景領域に赤色成分が多ければ夕焼けの撮影シーンであると判定し、被写体の輝度に比べて背景領域の輝度が高い場合に逆光撮影シーンであると判定する。また、判定部１０８は、被写体距離がレンズ毎に設定されたマクロ域に該当する場合にはマクロ撮影シーンであると判定する。さらに、判定部１０８は、画像データから撮影情報として抽出された画像特徴量と例えば記録部１１８に予め記録されている被写体別の画像特徴量との類似度を比較することにより、主要被写体を判定する。

アシスト情報検索部１１０は、判定部１０８における撮影シーン又は主要被写体の判定結果（シーン・被写体関連情報）に応じたアシスト情報をアシスト情報ＤＢ１１２から検索する。アシスト情報ＤＢ１１２は、撮影シーンの種別及び被写体の種別と関連付けてアシスト情報を記憶している。アシスト情報は、各種の写真の作例を示す画像（サンプル画像）と各サンプル画像の撮影に用いられた撮影条件（例えば絞り値、シャッタ速、画像処理設定）を示す情報とを含む情報である。この他、アシスト情報は、サンプル画像と同等の画像を撮影するための構図等の各種のポイントをユーザに説明するためのガイド情報等を含んでいても良い。また、アシスト情報ＤＢ１１２に記憶されているアシスト情報は、例えば撮像装置１がネットワークに接続された際に逐次更新されることが望ましい。

履歴管理部１１４は、判定部１０８における撮影シーン及び主要被写体の判定結果の履歴（シーン・被写体関連情報履歴）を管理している。第１の実施形態の履歴管理部１１４は、判定部１０８による直前（最新）の判定結果を記憶している。

出力判定部１１６は、履歴管理部１１４において管理されている判定結果の履歴に応じてアシスト情報検索部１１０で検索されたアシスト情報を表示出力させるか否かを判定する。そして、出力判定部１１６は、アシスト情報を表示出力させると判定した場合に、アシスト可能表示を表示部１２６に表示させるように制御部１０２に通知を行う。

記録部１１８は、例えばフラッシュメモリであり、撮影により得られた画像データと撮影シーン・判定部１０８における被写体判別の際に用いられる被写体別の画像特徴量とを記録する。ここで、被写体別の画像特徴量は、例えばＳＶＭ（Support Vector Machine）等を用いた機械学習により逐次更新されるようにしておくことが望ましい。さらに、記録部１１８は、制御部１０２によって実行される各種のプログラムやプログラムが実行される際に使用される各種のパラメータを記録する。

ＲＯＭ１２０は、制御部１０２が撮像装置１の制御をするために必要なプログラムや各種のパラメータを記録する。ＲＡＭ１２２は、画像取得部１０４によって得られた画像データや制御部１０２における画像処理中の画像データ等の各種のデータを一時的に記憶する。操作部１２４は、ユーザが撮像装置１の各種の操作を行うための操作部である。操作部１２４は、ボタン等の機械的な操作部であっても良いし、タッチパネルを用いた操作部であっても良い。ユーザによる操作部１２４の操作によって、撮影動作の実行指示がなされたり、撮影シーンモード等の各種の設定がなされたりする。表示部１２６は、液晶ディスプレイや有機ＥＬディスプレイ等の表示部であり、制御部１０２の制御に従って各種の画像を表示する。また、表示部１２６は、アシスト情報検索部１１０で検索されたアシスト情報を表示したり、出力判定部１１６の判定結果に応じてアシスト許可表示を表示したりもする。

以下、第１の実施形態に係る撮像装置１の制御部１０２によるアシスト処理について説明する。図２は、第１の実施形態に係る撮像装置１の制御部１０２によるアシスト処理に係るフローチャートを示す図である。ここで、本フローチャートの処理に先立って、履歴管理部１１４は、先のアシスト処理におけるアシスト情報検索の際に判定された撮影シーンや主要被写体の種別といった判定結果の履歴情報をシーン・被写体関連情報履歴として記憶しているものとする。

図２において、制御部１０２は、画像取得部１０４に画像データを取得させる（ステップＳ１０１）。例えば、画像取得部１０４が撮像部である場合、画像取得部１０４は、被写体を撮像して画像データを取得する。画像取得の後、制御部１０２は、撮影情報取得部１０６に撮影情報を取得させる（ステップＳ１０２）。このとき、撮影情報取得部１０６は、被写体距離、画像データの輝度、色、画像特徴量といった撮影情報を取得する。

続いて、制御部１０２は、判定部１０８及びアシスト情報検索部１１０にアシスト情報を検索させる（ステップＳ１０３）。このとき、判定部１０８は、撮影情報取得部１０６で取得された撮影情報に従って、現在の取得された画像データの撮影シーンや主要被写体を判別する。そして、アシスト情報検索部１１０は、判定部１０８によって判定された撮影シーンや主要被写体に応じたアシスト情報をアシスト情報ＤＢ１１２から検索する。

次に、制御部１０２は、出力判定部１１６による判定を行わせる。このとき、出力判定部１１６は、ステップＳ１０３において得られた判定結果を示すシーン・被写体関連情報と履歴管理部１１４に記憶されている判定結果の履歴情報であるシーン・被写体関連情報履歴とが類似しているか否かを判定する（ステップＳ１０４）。ここでは、例えば撮影シーンや主要被写体を判定するために用いられた撮影情報（画像特徴量等）の類似度が所定値よりも高いかが判定される。また本実施形態では、現在のシーン・被写体関連情報と、履歴管理部１１４に記憶されている直前の、すなわち過去の１回前のシーン・被写体関連情報履歴とを比較する。

ステップＳ１０４において現在のシーン・被写体関連情報とシーン・被写体関連情報履歴との類似度が高いと判定した場合には、前回のアシスト情報と類似のアシスト情報が検索されている可能性が高い。したがって、出力判定部１１６は、アシスト情報の表示を許可しない旨を制御部１０２に通知する。このとき、制御部１０２は、図２の処理を終了させる。この場合、アシスト情報は表示されない。なお、アシスト情報の表示以外の処理は通常通り行われる。例えば、アシスト処理がスルー画表示中に行われた場合には、アシスト情報は表示されないものの、スルー画表示は継続される。

ステップＳ１０４においてシーン・被写体関連情報とシーン・被写体関情報連履歴との類似度が低いと判定した場合に、出力判定部１１６は、アシスト情報の表示を許可する旨を制御部１０２に通知する。これを受けて、制御部１０２は、表示部１２６にアシスト可能表示を行う（ステップＳ１０５）。その後、制御部１０２は、図２の処理を終了させる。

アシスト可能表示は、例えばアシスト処理がスルー画表示中に行われている場合にはスルー画表示に重ねて行われる。アシスト処理がスルー画表示中に行われていない場合には撮像装置１に設けられた図示しないインジケータを介してアシスト可能表示が行われる。図３はスルー画表示に重ねられたアシスト可能表示を示している。図３では、「ｉ」の文字を表示させているが、アシスト可能表示の表示手法は図３に限るものではない。なお、図３のようなアシスト可能表示がなされている状態でユーザ操作（例えば「ｉ」の表示をタッチする操作）がなされると、ステップＳ１０３で検索されたアシスト情報が表示される。

図４は、アシスト情報の表示形態の一例を示す図である。図４に示す例では、スルー画の表示領域と隣接する表示領域にアシスト情報が表示されている。図４のアシスト情報は、主要被写体が“向日葵”であると判定されたときのアシスト情報である。この場合、例えば向日葵のサンプル画像とともにそのサンプル画像を撮影するためのポイントをガイドするガイド情報（図では構図をガイドする情報）がアシスト情報として表示される。ここで、図４では、２つのアシスト情報が表示部１２６に同時に表示されている例が示されているが、表示部１２６に同時に表示させるアシスト情報の数は２つに限るものではない。また、表示部１２６の表示領域の面積が限られている等の理由に起因して同時に表示できないアシスト情報がある場合には、表示領域のスクロール等を利用して表示されていないアシスト情報を表示させるようにしてもよい。

なお、ユーザがアシスト情報を参照して撮影した場合とユーザがアシスト情報を参照することなく撮影した場合の何れの場合であっても、アシスト可能表示がなされた場合には、そのときのアシスト処理の際に得られたシーン・被写体関連情報が履歴管理部１１４に記憶されて履歴管理部１１４の情報が更新される。或いは、アシスト可能表示がなされたか否かに関わらず、シーン・被写体関連情報と、シーン・被写体関連情報履歴とが類似しているか否かが判定される度に履歴管理部１１４の情報が更新されるようにしてもよい。この場合、さらにアシスト情報が表示された場合には、「アシスト情報を表示した」という情報がさらに履歴として追加されてもよい。アシスト可能表示がなされた場合に履歴管理部１１４の情報が更新される方式では、アシスト可能表示がなされなかった場合に履歴管理部１１４の情報が更新されず、計算処理量を低減することができる。一方、シーン・被写体関連情報と、シーン・被写体関連情報履歴とが類似しているか否かが判定される度に履歴管理部１１４の情報が更新される方式では、アシスト可能表示がなされなかった場合にも履歴管理部１１４の情報が更新されるので、アシスト可能表示がなされなかった場合に履歴管理部１１４の情報が更新されない方式に比べて、時間的により直前のシーン・被写体関連情報履歴と類似しているか否かが判定できる。これにより、繰り返し同種の情報が提示される頻度を、履歴内の順序に加えて時間も考慮して制御することができる。

以上説明したように第１の実施形態によれば、現在のシーン・被写体関連情報と履歴管理部１１４に記憶されている直前の、すなわち過去の１回前のシーン・被写体関連情報履歴とを比較し、類似度が低い場合にのみアシスト情報を表示可能とするようにアシスト情報の表示を制御している。これにより、ユーザが同種の被写体を(連写に限らず)続けて撮影している間に、同じようなアシスト情報が連続して表示されることがなく、ユーザの撮影行為が邪魔されることがない。また、アシスト情報の表示が許可された場合にすぐにアシスト情報を表示させずに、まずアシスト可能表示を行うことにより、不意にアシスト情報が表示されてしまってユーザの撮影行為が邪魔されることも防止できる。

［第２の実施形態］
次に、本発明の第２の実施形態について説明する。説明の重複を避けるため、第１の実施形態との相違点について説明する。第２の実施形態は、直前だけでなく、予め定めた個数の過去のシーン・被写体関連情報履歴との比較によってアシスト情報の表示を制御する例である。したがって、第２の実施形態における履歴管理部１１４は、複数回前までのシーン・被写体関連情報を履歴情報として記憶している。

以下、第２の実施形態に係る撮像装置１の制御部１０２によるアシスト処理について説明する。図５は、第２の実施形態に係る撮像装置１の制御部１０２によるアシスト処理に係るフローチャートを示す図である。説明の重複を避けるため、第１の実施形態との相違点について説明する。すなわち、ステップＳ２０１−Ｓ２０３の処理は、図２のステップＳ１０１−Ｓ１０３の処理と同様である。

アシスト情報の検索後、制御部１０２は、出力判定部１１６による判定を行わせる。このとき、出力判定部１１６は、ステップＳ２０３において得られた判定結果の情報（シーン・被写体関連情報）と履歴管理部１１４に記憶されている予め定めた個数の過去の被写体関連情報の履歴情報（シーン・被写体関連情報履歴）との間に類似している情報があるか否かを判定する（ステップＳ２０４）。

ステップＳ２０４において現在のシーン・被写体関連情報と予め定めた個数の過去のシーン・被写体関連情報履歴との間に類似している情報があると判定した場合に、出力判定部１１６は、アシスト情報の表示を許可しない旨を制御部１０２に通知する。このとき、制御部１０２は、図５の処理を終了させる。この場合、アシスト情報は表示されない。一方、ステップＳ２０４においてシーン・被写体関連情報と予め定めた個数の過去のシーン・被写体関連情報履歴との間に類似している情報がないと判定した場合に、出力判定部１１６は、アシスト情報の表示を許可する旨を制御部１０２に通知する。これを受けて、制御部１０２は、表示部１２６にアシスト可能表示を行う（ステップＳ２０５）。その後、制御部１０２は、図５の処理を終了させる。
ステップＳ２０４−Ｓ２０５の処理を具体的に説明する。例えば、過去２回の判定結果を利用するとする。ここで、６回のアシスト処理における主要被写体の判定結果が、花 → 料理 → 花 → 料理 → 料理 → 花の順であったとすると、それぞれのアシスト処理におけるステップＳ２０４においては、以下のように判定がなされる。
花(○) → 料理(○) → 花(×) → 料理(×) → 料理(×) → 花(○)
○：アシスト情報の表示を許可する
×：アシスト情報の表示を許可しない
すなわち、１回目と２回目のアシスト処理において判定された主要被写体の種別は異なっているので、１回目と２回目のアシスト処理においてはアシスト情報の表示が許可される。一方、３回目のアシスト処理において判定された主要被写体の種別である「花」は、２回前の主要被写体の種別と同じであるので、３回目のアシスト処理においてはアシスト情報の表示が許可されない。同様に、４回目と５回目のアシスト処理においては２回前までに同一の種別の主要被写体があるので、４回目と５回目のアシスト処理においてはアシスト情報の表示が許可されない。最後に、６回目のアシスト処理において判定された主要被写体の種別である「花」は、２回前までの主要被写体の種別である「料理」と異なっているので、６回目のアシスト処理においてはアシスト情報の表示が許可される。

撮影の傾向として、連写でなくとも、同種の被写体が続けて撮影されることは一般的に行われ得る。この場合、同種の被写体に対するアシスト情報は複数種から都度選定するとしても、類似なものとなる可能性が高く、アシスト情報も類似したものが表示される可能性が高い。これに対し、第２の実施形態によれば、類似するシーン・被写体関連情報の連続性に基づいてアシスト情報の表示を制御することにより、同じようなアシスト情報が連続して表示されることがなく、ユーザの撮影行為が邪魔されることがない。

ここで、前述の具体例では、過去２回の判定結果を利用するとしているが、この回数に制限はない。この回数は、ユーザによって設定されるものであってもよい。

［第１の実施形態及び第２実施形態の変形例］
以下、第１及び第２の実施形態の変形例を説明する。第１及び第２の実施形態における出力判定部１１６は、現在のシーン・被写体関連情報と過去のシーン・被写体関連情報との類似度に従ってアシスト情報の表示を制御している。しかしながら、必ずしもシーン・被写体関連情報の類似度だけに従ってアシスト情報の表示を制御する必要はなく、他の情報に従ってアシスト情報の表示を制御してもよい。

例えば、前回のシーン・被写体関連情報の判定を行った時刻と現在のシーン・被写体関連情報の判定を行った時刻との差が予め定めた以上であれば、予め定めた個数の過去のシーン・被写体関連情報の中に現在のシーン・被写体関連情報と類似する情報がある場合であってもアシスト情報の類似性は低いと評価できる。したがって、この場合にはアシスト情報の表示を許可するようにしてよい。

また、例えばシーン・被写体関連情報のうちの主要被写体の種別や撮影シーンの種別が類似していても、アシスト情報が十分に異なる場合には、アシスト情報の表示を許可するようにしてよい。つまり、前回のアシスト処理の際にマクロ撮影を中心とした花のアシスト情報が検索されており、今回の主要被写体の判定結果が「花」であっても引きの構図でアートフィルタが適用された花のアシスト情報が検索されている場合には、同じ「花」という被写体種別に関するアシスト情報であっても、アシスト情報は異なっているものと評価できる。したがって、この場合には、アシスト情報の表示を許可してよい。ここで、アシスト情報の差異の判定は、例えば個々のアシスト情報に情報の種別を表現するタグを設定しておき、このタグの差異を評価することにより行われる。例えば、提示する複数のアシスト情報に付与された複数のタグをBOW(Bag of words)として取り扱うことで、それぞれのアシスト情報の差異をタグの数の差異として定量的に表現可能である。

また、第１及び第２の実施形態ではスルー画表示中にアシスト処理が行われる例を示しているが、例えば撮影直後に撮影画像を表示する際(レックビュー中)にアシスト処理が行われてもよい。つまり、この場合、画像取得部１０４は被写体の撮像を行って画像データを取得するのではなく、撮影の結果として得られた画像データを取得する。画像データの取得以降の処理は、図２又は図５で示した処理と同様に行われる。レックビュー中ならばアシスト情報が表示されても撮影行為の邪魔にはならないと同時に、撮影直後にアシスト情報が提示されるので、ユーザに再度の撮影を促す効果が期待できる。ここで、レックビューのときのほうがスルー画表示中よりもアシスト情報が表示されることによってユーザの撮影行為の邪魔となる可能性が低い。したがって、レックビュー中のアシスト処理のほうがスルー画表示中のアシスト処理よりもアシスト情報の表示頻度が高くなるように判定の閾値を設定してもよい。

［第３の実施形態］
次に、本発明の第３の実施形態について説明する。説明の重複を避けるため、第１の実施形態との相違点について説明する。第３の実施形態のアシスト処理は、主に画像データの再生中の処理を想定している。画像データを再生できるということは既に画像データが撮影されていることを意味している。この場合、再生中の画像データに対応したシーン・被写体関連情報も得られている。本実施形態においては、画像データの撮影がなされた場合には、その画像データについてのシーン・被写体関連情報を履歴管理部１１４に逐次記憶させておく。そして、画像データ毎に記憶しておいたシーン・被写体関連情報を、画像データの再生中のアシスト処理に利用する。

以下、第３の実施形態に係る撮像装置１の制御部１０２によるアシスト処理について説明する。図６は、第３の実施形態に係る撮像装置１の制御部１０２によるアシスト処理に係るフローチャートを示す図である。

図６において、制御部１０２は、画像取得部１０４に画像データを取得させる（ステップＳ３０１）。第３の実施形態において、画像取得部１０４は、再生モード中にユーザによって再生が指示された画像データを記録部１１８から取得する。画像データの取得の後、制御部１０２は、画像取得部１０４によって取得された現在の画像データのシーン・被写体関連情報を出力判定部１１６に取得させる（ステップＳ３０２）。このとき、出力判定部１１６は、現在の画像データに関連付けられたシーン・被写体関連情報を履歴管理部１１４から取得する。

続いて、制御部１０２は、現在の画像データよりも後に撮影された、すなわち撮影日時が後の画像データのシーン・被写体関連情報を出力判定部１１６に取得させる（ステップＳ３０３）。このとき、出力判定部１１６は、先のシーン・被写体関連情報に対応した画像データよりも１つ後のシーン・被写体関連情報を履歴管理部１１４から取得する。シーン・被写体関連情報の取得後、出力判定部１１６は、シーン・被写体関連情報の取得数が予め定められた規定数に達したか否かを判定する（ステップＳ３０４）。ステップＳ３０４においてシーン・被写体関連情報の取得数が規定数に達していないと判定した場合には処理がステップＳ３０３に戻る。すなわち、シーン・被写体関連情報の取得数が規定数に達するまで、ステップＳ３０３−Ｓ３０４の処理が繰り返される。

ステップＳ３０４においてシーン・被写体関連情報の取得数が規定数に達したと判定した場合に、出力判定部１１６は、現在の画像データのシーン・被写体関連情報が、現在の画像データよりも後に撮影された画像データのシーン・被写体関連情報に含まれているか否かを判定する（ステップＳ３０５）。現在のシーン・被写体関連情報が後のシーン・被写体関連情報に含まれているか否かの判定は、第２の実施形態及びその変形例に記載した種々の判定基準に従って判定される。すなわち、類似度の高いシーン・被写体関連情報がある場合には含まれていると判定される。

ステップＳ３０５において現在の画像データのシーン・被写体関連情報が、現在の画像データよりも後に撮影された画像データのシーン・被写体関連情報に含まれていると判定した場合には、再生中の画像データ（現在の画像データ）のシーン・被写体関連情報が連続した同種のシーン・被写体関連情報の終端の情報でないことを示している。このとき、出力判定部１１６は、アシスト情報の表示を許可しない旨を制御部１０２に通知する。これを受けて、制御部１０２は、図６の処理を終了させる。この場合、アシスト情報は表示されない。

ステップＳ３０５において現在の画像データのシーン・被写体関連情報が、現在の画像データよりも後に撮影された画像データのシーン・被写体関連情報に含まれていないと判定した場合には、再生中の画像データのシーン・被写体関連情報が連続した同種のシーン・被写体関連情報の終端の情報であることを示している。このとき、出力判定部１１６は、アシスト情報の表示を許可する旨を制御部１０２に通知する。これを受けて、制御部１０２は、表示部１２６にアシスト可能表示を行う（ステップＳ３０６）。その後、制御部１０２は、図６の処理を終了させる。

ステップＳ３０４−Ｓ３０５の処理を具体的に説明する。例えば、現在の画像データに対して後方２回の判定結果を利用するとする。ここで、シーン・被写体関連情報が、花 →花 → 花 → 料理 → 花 →雲 →雲の順であったとすると、ステップＳ３０４においては、以下のように判定がなされる。
花(×) → 花(×) → 花(×) → 料理(○) → 花(○) → 雲(×) → 雲(×)
○：アシスト情報の表示を許可する
×：アシスト情報の表示を許可しない
すなわち、現在の再生中の画像データが最初に撮影された画像データであるとすると、この画像データの被写体種別が「花」であるのに対し、この画像データの後方２回の画像データの被写体種別も「花」である。この場合、現在の被写体種別が後方２回の被写体種別に含まれているので、アシスト情報の表示が許可されない。また、現在の再生中の画像データが２回目に撮影された画像データであるとすると、この画像データの被写体種別が「花」であるのに対し、この画像データの次の画像データの被写体種別は「花」であり、その次の画像データの被写体種別は「料理」である。この場合、現在の被写体種別が後方２回の被写体種別に含まれているので、アシスト情報の表示が許可されない。また、現在の再生中の画像データが３回目に撮影された画像データであるとすると、この画像データの被写体種別が「花」であるのに対し、この画像データの次の画像データの被写体種別は「料理」であり、その次の画像データの被写体種別は「花」である。この場合、現在の被写体種別が後方２回の被写体種別に含まれているので、アシスト情報の表示が許可されない。また、現在の再生中の画像データが４回目に撮影された画像データであるとすると、この画像データの被写体種別が「料理」であるのに対し、この画像データの次の画像データの被写体種別は「花」であり、その次の画像データの被写体種別は「雲」である。この場合、現在の被写体種別が後方２回の被写体種別に含まれていないので、アシスト情報の表示が許可される。以後も同様にしてアシスト情報の表示の制御が行われる。

ユーザが画像を閲覧する場合は、第２の実施形態のように一連の被写体種別の冒頭でアシスト情報が表示されると、閲覧行為の妨げとなる可能性がある。これに対し、本実施形態によれば、一連の被写体種別の終端でアシスト情報を表示させるようにしているので、ユーザは一連の画像の閲覧を妨げられることなくアシスト情報を見ることができる。

ここで、本実施形態では、シーン・被写体関連情報を履歴管理部１１４から全て取得する例が示されている。これは撮影時にシーン・被写体関連情報が得られているためである。これに対し、シーン・被写体関連情報の判定は、再生モード中に行われてもよい。シーン・被写体関連情報の判定が再生時に行われる場合において、判定結果を履歴管理部１１４に記憶させておき、次回以降は履歴管理部１１４に記憶されている判定結果を取得してアシスト処理が行われるようにしてもよい。

［第３の実施形態の変形例］
以下、第３の実施形態の変形例を説明する。第１及び第２の実施形態と同様、第３の実施形態においてはシーン・被写体関連情報の類似度に応じてアシスト情報の表示を制御している。しかしながら、必ずしもシーン・被写体関連情報の類似度だけに従ってアシスト情報の表示を制御する必要はなく、他の情報に従ってアシスト情報の表示を制御してもよい。例えば、再生中の画像データの再生時間を用いることも効果的である。具体的には、シーン・被写体関連情報に基づいて類似度が高いと判定される状況、つまりアシスト情報の表示が許可されていない状況であっても、現在の画像データの再生時間が予め定めた時間よりも長い場合には、ユーザが再生中の画像について注目していると考えられるので、この画像データに関連するアシスト情報の表示が許可されるよう制御する。これにより、ユーザは関心のある画像については、それを一定時間注視(表示)することで容易にアシスト情報を見ることができる。

［第４の実施形態］
次に、本発明の第４の実施形態について説明する。説明の重複を避けるため、第１の実施形態との相違点について説明する。第４の実施形態においては、撮影情報として撮像装置１の姿勢情報が取得される。そして、撮影前後の姿勢差に応じてアシスト情報の制御が行われる。なお、姿勢情報は、例えば加速度センサを用いて取得される。

以下、第４の実施形態に係る撮像装置１の制御部１０２によるアシスト処理について説明する。図７は、第４の実施形態に係る撮像装置１の制御部１０２によるアシスト処理に係るフローチャートを示す図である。

図７において、制御部１０２は、画像取得部１０４に画像データを取得させる（ステップＳ４０１）。続いて、制御部１０２は、撮影情報取得部１０６に撮影情報としての姿勢情報を取得させる（ステップＳ４０２）。その後、制御部１０２は、画像取得部１０４で取得された画像データに基づいて表示部１２６に画像を表示させる（ステップＳ４０３）。ステップＳ４０３の表示は、スルー画表示又はレックビューである。画像の表示後、制御部１０２は、撮影情報取得部１０６に撮影情報としての姿勢情報を取得させる（ステップＳ４０４）。

続いて、制御部１０２は、出力判定部１１６による判定を行わせる。このとき、出力判定部１１６は、ステップＳ４０２において得られた姿勢情報とステップＳ４０４において得られた姿勢情報との差、すなわち画像データの取得の前後の姿勢差が予め定めた閾値以上であるか否かを判定する（ステップＳ４０５）。

ステップＳ４０５において姿勢差が閾値未満である場合、画像データの取得の前後でユーザが同一の被写体の方向に撮像装置１を向けており、撮影行為を継続していることを意味している。この場合、アシスト情報と類似度が高いと言える。したがって、出力判定部１１６は、アシスト情報の表示を許可する旨を制御部１０２に通知する。このとき、制御部１０２は、図７の処理を終了させる。この場合、アシスト情報は表示されない。

ステップＳ４０５において姿勢差が閾値以上である場合、画像データの取得の前後でユーザが異なる被写体の方向に撮像装置１を向けていることを意味している。このとき、出力判定部１１６は、アシスト情報の表示を許可する旨を制御部１０２に通知する。これを受けて、制御部１０２は、表示部１２６にアシスト可能表示を行う（ステップＳ４０６）。その後、制御部１０２は、図７の処理を終了させる。

例えば、ユーザが桜の花の撮影を連続的に行っているときには、桜を捉えようとやや上方を向いた姿勢で撮影が継続されることになる。したがって、レックビュー時であっても、撮影の姿勢との乖離は小さい。一方、一通り撮影を終えた最後の一枚については、撮影姿勢とは異なり、画面を注視しやすい、やや下方を向いた姿勢(閲覧状態)になるものと考えられる。この場合は、撮影時の姿勢と大きく異なるため、撮影状態が完了したと判断し、アシスト情報の表示を許可する。なお、第４の実施形態の場合、表示が許可されるアシスト情報は、最後に取得された（ステップＳ４０１で取得された）画像データについてのシーン・被写体関連情報に応じたアシスト情報である。

以上説明したように本実施形態によれば、ユーザは一連の撮影行為をアシスト情報によって妨げられることなく集中することができる。また、アシスト情報を閲覧するに十分な状況(閲覧状態)になってからアシスト情報の表示を許可することにより、ユーザは余裕をもってアシスト情報を見ることができる。

［第４の実施形態の変形例］
以下、第４の実施形態の変形例を説明する。第４の実施形態の場合、表示が許可されるアシスト情報は、例えば最後に取得された画像データについてのシーン・被写体関連情報に応じたアシスト情報である。これに対し、前回の閲覧状態（姿勢が変化した後）から今回の閲覧状態に至る過程で得られたシーン・被写体関連情報を統合した情報（例えば複数のアシスト情報を並べてなる情報）に基づくアシスト情報の表示を許可することも効果的である。この場合、種々の被写体を続けて撮影した後に、それら種々の被写体に関するアシスト情報をユーザは容易に取得できる。

また、カメラの姿勢のみならず、スルー画表示中やレックビュー時における画像データの取得前後の移動速度を利用して撮影状態が継続されているか否かを判定することも効果的である。移動速度は、例えば加速度センサを用いて取得することが可能である。このような変形例において、撮影情報取得部１０６は撮影情報として移動速度を取得する。そして、出力判定部１１６は、移動速度が予め定めた値以上であれば、ユーザはスルー画やレックビューを注視しておらず、次の撮影のための操作をしているものと判定してアシスト情報の表示を許可しない。

以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。また、前述の各動作フローチャートの説明において、便宜上「まず」、「次に」等を用いて動作を説明しているが、この順で動作を実施することが必須であることを意味するものではない。

また、上述した実施形態による各処理は、制御部１０２に実行させることができるプログラムとして記憶させておくこともできる。この他、メモリカード（ＲＯＭカード、ＲＡＭカード等）、磁気ディスク（ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の外部記憶装置の記憶媒体に格納して配布することができる。そして、制御部１０２は、この外部記憶装置の記憶媒体に記憶されたプログラムを読み込み、この読み込んだプログラムによって動作が制御されることにより、上述した処理を実行することができる。

さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。

１…撮像装置、１０２…制御部、１０４…画像取得部、１０６…撮影情報取得部、１０８…判定部、１１０…アシスト情報検索部、１１２…アシスト情報ＤＢ、１１４…履歴管理部、１１６…出力判定部、１１８…記録部、１２０…ＲＯＭ、１２２…ＲＡＭ、１２４…操作部、１２６…表示部、１２８…バス

Claims (12)

1. 画像データを取得する画像取得部と、
   前記画像データに関する撮影情報を取得する撮影情報取得部と、
   前記撮影情報に基づいて前記画像データにおける撮影シーン又は被写体に関する情報をシーン・被写体関連情報として判定する判定部と、
   前記判定部で判定されたシーン・被写体関連情報に応じたアシスト情報を検索するアシスト情報検索部と、
   前記シーン・被写体関連情報の履歴情報を記憶する履歴管理部と、
   前記判定部で判定されたシーン・被写体関連情報と前記履歴管理部に記憶されている前記シーン・被写体関連情報の履歴情報との類似度が所定値よりも低い場合、前記検索されたアシスト情報の表示出力を許可し、前記判定部で判定されたシーン・被写体関連情報と前記履歴管理部に記憶されている前記シーン・被写体関連情報の履歴情報との類似度が前記所定値よりも高い場合、前記検索されたアシスト情報の表示出力を許可しないと判定する出力判定部と、
   前記表示出力が許可されたアシスト情報を表示する表示部と、
   を具備する画像処理装置。
2. 前記履歴管理部は、複数の前記シーン・被写体関連情報の履歴情報を記憶しており、
   前記出力判定部は、前記判定部で判定されたシーン・被写体関連情報と前記履歴管理部に記憶されている前記シーン・被写体関連情報の履歴情報との類似度に従って類似する前記シーン・被写体関連情報の連続性を判定し、該類似するシーン・被写体関連情報の連続性に従って前記検索されたアシスト情報の表示出力を許可するか否かを判定する、
   請求項１に記載の画像処理装置。
3. 前記履歴管理部は、さらにアシスト情報の履歴情報を記憶し、
   前記出力判定部は、さらに前記アシスト情報検索部で検索されたアシスト情報と前記履歴管理部に記憶されているアシスト情報の履歴情報との類似度に従って前記検索されたアシスト情報の表示出力を許可するか否かを判定する、
   請求項１に記載の画像処理装置。
4. 前記画像データは、撮像装置による撮影によって得られた画像データであり、
   前記出力判定部は、前記画像データの撮影後の前記画像データの再生時に前記判定を行う、
   請求項１に記載の画像処理装置。
5. 前記画像データには、前記シーン・被写体関連情報が対応付けられており、
   前記履歴管理部は、複数の前記シーン・被写体関連情報の履歴情報を記憶しており、
   前記出力判定部は、前記画像取得部で取得された画像データに対応するシーン・被写体関連情報と前記画像取得部で取得された画像データよりも後に取得された画像データの前記シーン・被写体関連情報との類似度に従って、前記画像取得部で取得されたシーン・被写体関連情報が、連続して類似する前記シーン・被写体関連情報の終端であるか否かを判定し、該判定結果に従って前記検索されたアシスト情報の表示出力を許可するか否かを判定する、
   請求項１に記載の画像処理装置。
6. 前記出力判定部は、前記画像取得部で取得された画像データの再生時間が予め定めた時間よりも長いか否かを判定し、前記画像取得部で取得された画像データの再生時間が予め定めた時間よりも長いと判定した場合に、前記検索されたアシスト情報の表示出力を許可する、
   請求項５に記載の画像処理装置。
7. 前記画像データは、撮像装置による撮影によって得られる画像データであり、
   前記撮影情報取得部は、前記画像データの撮影の前後の前記撮像装置の姿勢差を前記撮影情報として取得し、
   前記出力判定部は、前記姿勢差に従って前記検索されたアシスト情報の表示出力を許可するか否かを判定する、
   請求項１に記載の画像処理装置。
8. 前記画像取得部は、前記画像データを複数回取得し、
   前記出力判定部は、前記検索されたアシスト情報の表示出力を許可する際に、複数回取得された前記画像データのそれぞれについて検索された前記アシスト情報を統合したアシスト情報の表示出力を許可する、
   請求項７に記載の画像処理装置。
9. 前記画像データは、撮像装置による撮影によって得られる画像データであり、
   前記撮影情報取得部は、前記画像データの撮影の前後の前記撮像装置の移動速度を前記撮影情報として取得し、
   前記出力判定部は、前記移動速度に従って前記検索されたアシスト情報の表示出力を許可するか否かを判定する、
   請求項１に記載の画像処理装置。
10. 前記アシスト情報は、サンプル画像データ、前記サンプル画像データの撮影条件を示す情報、前記サンプル画像データを撮影するためのガイド情報のうち少なくともひとつを含む、
    請求項１乃至９の何れか１項の画像処理装置。
11. 画像データを取得することと、
    前記画像データに関する撮影情報を取得することと、
    前記撮影情報に基づいて前記画像データにおける撮影シーン又は被写体に関する情報をシーン・被写体関連情報として判定することと、
    前記判定されたシーン・被写体関連情報に応じたアシスト情報を検索することと、
    前記判定されたシーン・被写体関連情報と履歴管理部に記憶されているシーン・被写体関連情報の履歴情報との類似度が所定値よりも低い場合、前記検索されたアシスト情報の表示出力を許可し、前記判定されたシーン・被写体関連情報と前記履歴管理部に記憶されている前記シーン・被写体関連情報の履歴情報との類似度が前記所定値よりも高い場合、前記検索されたアシスト情報の表示出力を許可しないと判定することと、
    前記表示出力が許可されたアシスト情報を表示部に表示させることと、
    を具備する画像処理方法。
12. 画像データを取得する機能と、
    前記画像データに関する撮影情報を取得する機能と、
    前記撮影情報に基づいて前記画像データにおける撮影シーン又は被写体に関する情報をシーン・被写体関連情報として判定する機能と、
    前記判定されたシーン・被写体関連情報に応じたアシスト情報を検索する機能と、
    前記判定されたシーン・被写体関連情報と履歴管理部に記憶されているシーン・被写体関連情報の履歴情報との類似度が所定値よりも低い場合、前記検索されたアシスト情報の表示出力を許可し、前記判定されたシーン・被写体関連情報と前記履歴管理部に記憶されている前記シーン・被写体関連情報の履歴情報との類似度が前記所定値よりも高い場合、前記検索されたアシスト情報の表示出力を許可しないと判定する機能と、
    前記表示出力が許可されたアシスト情報を表示部に表示させる機能と、
    をコンピュータに実現させるための画像処理プログラム。