JP2018082242A - 撮影支援装置及び撮影支援プログラム - Google Patents

Abstract

【課題】被写体の可動性に応じた撮影支援を提供すること。【解決手段】撮影支援装置１０は、被写体を含む対象画像を取得する画像取得部１１と、画像取得部１１によって取得された対象画像に含まれる被写体を認識する画像認識部１２と、画像認識部１２によって認識された被写体の可動性を判定する可動性判定部１４と、撮影を支援するための複数の指示情報を記憶する指示情報記憶部１５と、可動性判定部１４によって判定された可動性に基づいて、指示情報記憶部１５に記憶されている複数の指示情報から指示情報を選択する選択部１８と、選択部１８によって選択された指示情報を出力する出力部１９と、を備える。【選択図】図１

Description

本発明は、撮影支援装置及び撮影支援プログラムに関する。

カメラによる撮影のためのアドバイスを撮影者に提供する技術が知られている。例えば、特許文献１には、撮像範囲内の被写体の種類を認識し、被写体の種類に応じて撮影のシチュエーションを判別し、シチュエーションに対応するアドバイスを使用者（撮影者）に提供する撮像装置が記載されている。特許文献１に記載の撮像装置では、カメラの初期設定、構図、露出、及びフォーカス等のアドバイスが撮影者に提供される。

特開２０１３−１２８２５１号公報

被写体を動かすことによって、より良い写真を撮影することができる場合がある。しかしながら、特許文献１に記載の撮像装置では、被写体を動かすことは考慮されていないので、撮像装置の設定変更のようなアドバイスだけが提供される。本技術分野では、様々な手法での撮影支援を提供することが望まれている。

本発明は、被写体の可動性に応じた撮影支援を提供することが可能な撮影支援装置及び撮影支援プログラムを提供する。

本発明の一側面に係る撮影支援装置は、被写体を含む画像を取得する画像取得部と、画像取得部によって取得された画像に含まれる被写体を認識する画像認識部と、画像認識部によって認識された被写体の可動性を判定する判定部と、撮影を支援するための複数の指示情報を記憶する指示情報記憶部と、判定部によって判定された可動性に基づいて、指示情報記憶部に記憶されている複数の指示情報から指示情報を選択する選択部と、選択部によって選択された指示情報を出力する出力部と、を備える。

この撮影支援装置では、画像に含まれる被写体が認識され、認識された被写体の可動性が判定される。そして、被写体の可動性に基づいて、複数の指示情報から指示情報が選択され、選択された指示情報が出力される。例えば、被写体が可動性を有しないのであれば、撮影者が動いて構図を変更するアドバイスを提示することができる。一方、被写体が可動性を有するのであれば、撮影者が動いて構図を変更するアドバイスだけでなく、被写体を動かして被写体の配置を変更するアドバイスを提示することができる。このように、被写体の可動性に応じた撮影支援を提供することが可能となる。

本発明によれば、被写体の可動性に応じた撮影支援を提供することができる。

一実施形態に係る撮影支援装置の機能構成を示すブロック図である。 可動性情報テーブルの一例を示す図である。 指示情報管理テーブルの一例を示す図である。 履歴情報テーブルの一例を示す図である。 選択情報テーブルの一例を示す図である。 図１の撮影支援装置が行う撮影支援方法の一連の処理を示すフローチャートである。 （ａ）は図１の撮影支援装置によって提示されたアドバイスを含む画像の一例を示す図、（ｂ）は（ａ）で示されるアドバイスに従った画像を示す図である。 （ａ）は図１の撮影支援装置によって提示されたアドバイスを含む画像の別の例を示す図、（ｂ）は（ａ）で示されるアドバイスに従った画像を示す図である。 （ａ）は図１の撮影支援装置によって提示されたアドバイスを含む画像のさらに別の例を示す図、（ｂ）は（ａ）で示されるアドバイスに従った画像を示す図である。 （ａ）は図１の撮影支援装置によって提示されたアドバイスを含む画像のさらに別の例を示す図、（ｂ）は（ａ）で示されるアドバイスに従った画像を示す図である。 撮影支援プログラムを説明するための図である。 図１に示された撮影支援装置のハードウェア構成を示す図である。 （ａ）は可動性情報テーブルの別の例を示す図、（ｂ）は被写体の実際の大きさの計算方法を説明するための図である。 （ａ）は可動性情報テーブルのさらに別の例を示す図、（ｂ）は選択情報テーブルの別の例を示す図である。 指示情報管理テーブルの別の例を示す図である。 （ａ）は図１の撮影支援装置によって提示されたアドバイスを含む画像のさらに別の例を示す図、（ｂ）は（ａ）で示されるアドバイスに従った画像を示す図である。

以下、添付図面を参照しながら本発明の実施形態を詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。

図１は、一実施形態に係る撮影支援装置の機能構成を示すブロック図である。図１に示される撮影支援装置１０は、カメラモジュール等の撮像装置を用いた撮影を支援するための装置である。撮影支援装置１０は、撮像装置を内蔵した携帯端末（スマートフォン、デジタルカメラ、タブレット端末、及びノートＰＣ（Personal Computer）等）に適用されてもよく、撮像装置と通信可能な装置に適用されてもよい。本実施形態では、撮像装置を内蔵した携帯端末を用いて説明する。

撮影支援装置１０は、機能的には、画像取得部１１と、画像認識部１２と、可動性情報記憶部１３と、可動性判定部１４（判定部）と、指示情報記憶部１５と、操作情報取得部１６と、履歴情報記憶部１７と、選択部１８と、出力部１９と、を備えている。

画像取得部１１は、被写体を含む対象画像を取得するための部分である。対象画像は、後述する撮影判定又は可動性判定の判定対象となる画像である。画像取得部１１は、例えば、所定の周期で対象画像を取得する。画像取得部１１は、例えばカメラモジュールによって実現される。具体的には、画像取得部１１は、レンズ及び撮像素子等の複数の光学系の部品と、それらを駆動制御する複数の制御系の回路と、撮像素子によって取得された対象画像を表す電気信号をデジタル信号である画像信号に変換する信号処理系の回路部と、を含む。画像取得部１１により取得される対象画像（動画像の場合には各フレーム）は、例えば、各画素（ピクセル）の画素値（例えば、輝度、明度及び色彩等の画素に関する数値）を示す画像データとして取得される。対象画像は、動画像であってもよいし、静止画像であってもよい。

撮影支援装置１０がカメラ機能を有しない場合、画像取得部１１は、例えば、他の装置（例えば上述したカメラ機能を有する端末等）によって撮影された画像を当該他の装置から受け取ることにより、対象画像を取得する。例えば、画像取得部１１が他の装置から通信ネットワークを介して画像データを受信する場合、画像データの受信処理を行う部分（図１２の通信装置１００４等）が画像取得部１１として機能する。画像取得部１１は、画像データを画像認識部１２に出力する。

画像認識部１２は、画像取得部１１によって取得された対象画像を認識するための画像認識処理を実行する部分である。画像認識部１２は、画像認識処理によって、対象画像に含まれる被写体（被写体の種類）を認識する。画像認識処理は、種々の手法によって実現され得る。例えば、画像認識処理は、多層のニューラルネットワークを用いた機械学習によって行われる。この場合、認識させたい被写体の種類ごとに、当該被写体の種類に属する被写体を含む複数の画像を用いて、認識のために利用する特徴量の最適化、及び認識基準の作成が予め行われる。そして、対象画像から特徴量の抽出が行われ、抽出された特徴量によって被写体が認識される。

画像認識部１２によって認識される被写体の種類は、可動性情報記憶部１３が記憶している可動性情報における被写体の種類に応じて決定される。画像認識部１２によって認識される被写体の種類としては、例えば、人物、動物、物、及び風景が挙げられる。認識される被写体の種類は、さらに細分化されてもよい。例えば、人物は、大人、子供、及び赤ちゃん等に細分化され得る。物は、料理、車、及び建物等に細分化され得る。風景は、海、及び空等に細分化され得る。被写体の種類として、撮影者が所有する車と、撮影者が所有しない車と、が用いられてもよい。同様に、被写体の種類として、撮影者のペットが用いられてもよい。画像認識部１２は、撮影者が所有する車の画像、及び撮影者のペットの画像を用いてそれぞれ学習しておくことで、撮影者が所有する車、撮影者が所有しない車、及び撮影者のペットを認識し得る。

画像認識部１２は、対象画像における被写体の大きさ、明るさ、及び位置等を検出する。画像認識部１２は、被写体の種類、大きさ、明るさ、及び位置等を画像認識処理の結果である画像認識結果として可動性判定部１４及び選択部１８に出力する。

可動性情報記憶部１３は、複数の可動性情報を記憶する部分である。可動性情報は、被写体の可動性を示す情報である。被写体の可動性とは、被写体がアドバイスに従って動作可能であるか否かを示す被写体の性質である。例えば、被写体が自らアドバイスに従って動くことが可能であるか、被写体が撮影者によってアドバイスに従って動かされることが可能である場合、その被写体は可動性を有する。被写体が自ら動くことができず、かつ、撮影者によって被写体を動かすことができない場合、その被写体は可動性を有しない。複数の可動性情報のそれぞれは、被写体の種類と、可動性の有無を示す情報と、が対応付けられた情報である。複数の可動性情報は、可動性情報テーブルによって管理されている。

図２は、可動性情報テーブルの一例を示す図である。図２に示される可動性情報テーブルでは、「被写体の種類」として、「料理」、「家具（椅子）」、「建物」、及び「海」が含まれる。図２において、可動性の有無を示す情報は、単に「可動性」として表現されており、「可動」又は「固定」によって示される。「可動」は、可動性を有することを示し、「固定」は可動性を有しないことを示す。料理及び椅子は撮影者によって動かすことが可能であるので、可動性の有無を示す情報には、「可動」が設定されている。一方、建物及び海は動かすことができないので、可動性の有無を示す情報には、「固定」が設定されている。なお、図２では、説明の便宜上、テーブルに含まれる各情報をテキストで表しているが、実際にはテキストに限られず、コンピュータが処理可能な情報で表される。他の図面においても同様である。

可動性判定部１４は、画像認識部１２によって認識された被写体の可動性を判定する部分である。可動性判定部１４は、可動性情報記憶部１３に記憶されている可動性情報に基づいて、画像認識部１２によって認識された被写体の可動性を判定する。具体的に説明すると、可動性判定部１４は、可動性情報テーブルを参照し、画像認識部１２によって認識された被写体の種類を含む可動性情報を取得する。可動性判定部１４は、取得した可動性情報によって示される可動性（の有無）を、画像認識部１２によって認識された被写体の可動性とする。画像認識部１２によって対象画像において複数の被写体が認識された場合、可動性判定部１４は、複数の被写体のそれぞれについて可動性を判定する。可動性判定部１４は、取得した可動性情報を選択部１８に出力する。

なお、可動性判定部１４は、アドバイスが未提示である場合に、被写体の可動性を判定すればよい。具体的には、可動性判定部１４は、履歴情報記憶部１７に記憶されている履歴情報を参照し、後述の待機状態の履歴が存在するか否かを判定する。可動性判定部１４は、待機状態の履歴が存在しないと判定した場合、被写体の可動性を判定する。可動性判定部１４は、待機状態の履歴が存在すると判定した場合、被写体の可動性を判定することなく、待機状態であることを示す状態情報を選択部１８に出力する。

指示情報記憶部１５は、複数の指示情報を記憶する部分である。指示情報は、撮影を支援するための情報である。複数の指示情報のそれぞれは、アドバイスＩＤと、アドバイス種別と、提示方法と、アドバイスの内容と、が対応付けられた情報である。複数の指示情報は、指示情報管理テーブルによって管理されている。

図３は、指示情報管理テーブルの一例を示す図である。図３に示される例では、各指示情報は、「アドバイスＩＤ（Identification）」、「アドバイス種別」、「提示先」、「提示方法」、及び「内容」を含む。「アドバイスＩＤ」は、アドバイスを一意に識別するための識別情報である。「アドバイス種別」は、アドバイスの種別を示す情報である。アドバイスの種別としては、例えば、「配置」、及び「構図」が挙げられる。「配置」は、被写体の位置（配置）を変更するアドバイスを示す。「構図」は、被写体を動かすことなく画像の構成（構図）を変更するアドバイスを示す。「提示先」は、アドバイスを提示する提示先を示す情報である。アドバイスの提示先としては、例えば、撮影者、及び被写体が挙げられる。

「提示方法」は、アドバイスの提示方法を示す情報である。提示方法としては、例えば、「画面表示」、及び「音声出力」が挙げられる。「画面表示」は、例えば、携帯端末のディスプレイにアドバイスを表示する提示方法を示す。画面表示は、さらに細分化されてもよく、例えば、テキスト表示、及び図形を用いた表示等に分けられる。「音声出力」は、携帯端末の、スピーカーからアドバイスを音声で出力する提示方法を示す。「内容」は、アドバイスの内容を示す情報である。例えば、アドバイスＩＤが「１０１」の指示情報では、アドバイスの種別が「配置」であり、提示先が「撮影者」であり、提示方法が「画面表示」であり、内容が「三分割の位置に置いてみましょう」である。

三分割構図の構図に関する指示情報は、対象画像の上下方向において上下の端から３分の１の位置であり、かつ、対象画像の左右方向において左右の端から３分の１の位置に、被写体が位置するように撮像装置のアングル（撮影角度）を変えるといった具体的な内容を含んでもよい。三分割構図の配置に関する指示情報は、対象画像の上下方向において上下の端から３分の１の位置であり、かつ、対象画像の左右方向において左右の端から３分の１の位置に、被写体を配置するといった具体的な内容を含んでもよい。

履歴情報記憶部１７は、アドバイスに関する履歴情報を記憶する部分である。履歴情報記憶部１７は、例えば、図４に示される履歴情報テーブルによって履歴情報を保持している。図４に示される例では、履歴情報は、「時刻」、「アドバイスＩＤ」、及び「シャッター操作」を含む。「時刻」は、アドバイスＩＤによって示されるアドバイスを提示した時刻を示す情報である。「アドバイスＩＤ」は、提示したアドバイスを一意に識別するための識別子である。「シャッター操作」は、シャッター操作が行われたか否か、つまり撮影が行われたか否かを示す情報である。図４に示される例では、シャッター操作が行われた場合に「○」が設定され、シャッター操作が行われなかった場合に「×」が設定される。

履歴情報は、出力部１９が指示情報を出力するごとに更新される。具体的には、出力部１９から出力された指示情報のアドバイスＩＤと出力部１９から指示情報が出力された時刻とが新たな履歴として登録される。このとき、アドバイスＩＤに対応するシャッター操作は設定されない。

例えば、２０１６年１０月７日１２時２４分３６秒にアドバイスＩＤが「１０１」のアドバイスが提示され、その後撮影者がシャッター操作を行ったことがわかる。一方、２０１６年１０月７日１４時００分１２秒にアドバイスＩＤが「２０１」のアドバイスが提示されたが、撮影者はシャッター操作を行わなかったことがわかる。さらに、２０１６年１０月８日１３時１６分５７秒にアドバイスＩＤが「１０１」のアドバイスが提示されたが、シャッター操作が行われるか否かが未定である待機状態であることがわかる。

操作情報取得部１６は、操作情報を取得する部分である。操作情報取得部１６は、入力装置１００５（図１２参照）を介して受け付けた撮影者の操作に関する操作情報を取得する。操作情報としては、例えば、シャッターの操作、アプリケーションの終了操作、及び電源オフ操作に関する情報が挙げられる。操作情報取得部１６は、履歴情報記憶部１７に新しい履歴が登録されると、不図示のタイマにより経過時間の測定を開始する。この経過時間は、タイムアウト処理に用いられる。

つまり、アドバイスが提示されてから、経過時間が予め定められた時間に達すると、アドバイスが提示されたものの、シャッター操作が行われなかったと判定することができる。このため、操作情報取得部１６は、履歴情報記憶部１７の新しい履歴に対応する「シャッター操作」にシャッター操作が行われなかったことを示す情報を設定する。一方、操作情報取得部１６は、経過時間が予め定められた時間に達する前に、シャッターの操作が行われたことを示す操作情報を取得すると、履歴情報記憶部１７の新しい履歴に対応する「シャッター操作」をシャッター操作が行われたことを示す情報に設定する。操作情報取得部１６は、履歴情報記憶部１７に「シャッター操作」を設定すると、タイマを停止し、経過時間をリセットする。

選択部１８は、可動性判定部１４によって判定された可動性に基づいて、指示情報記憶部１５に記憶されている複数の指示情報から、出力対象の指示情報を選択する部分である。選択部１８は、被写体の可動性に対して選択し得る提示先及びアドバイス種別を対応付けた複数の選択情報を有している。複数の選択情報は、選択情報テーブルによって管理されている。

図５は、選択情報テーブルの一例を示す図である。図５に示される例では、各選択情報は、「可動性」、「提示先」、及び「アドバイス種別」を含む。「可動性」は、可動性の有無を示す情報である。「提示先」は、被写体の可動性に対して選択し得るアドバイスの提示先を示す情報である。「アドバイス種別」は、被写体の可動性に対して選択し得るアドバイスの種別を示す情報である。

可動性が「可動」である場合、提示先として「撮影者」が選択され、アドバイスの種別として「配置」及び「構図」が選択され得る。つまり、被写体が可動性を有する場合には、撮影者が被写体を動かすことができるので、アドバイスの種別として「配置」が採用され得る。また、被写体が可動性を有する場合でも、撮影者自身が移動したり、撮影の設定（画角、及び撮影角度等）を変更することができるので、アドバイスの種別として「構図」が選択され得る。

一方、可動性が「固定」である場合、提示先として「撮影者」が選択され、アドバイスの種別として「構図」が選択され得る。つまり、被写体が可動性を有しない場合には、撮影者が被写体を動かすことができないので、アドバイスの種別として「構図」のみが選択され得る。

選択部１８は、選択情報テーブルを参照し、可動性判定部１４から受け取った可動性情報に基づいて、アドバイスの提示先及びアドバイス種別を決定する。例えば、可動性情報が可動性を有することを示す場合には、選択部１８は、撮影者をアドバイスの提示先とし、配置及び構図をアドバイスの種別とする。可動性情報が可動性を有しないことを示す場合には、選択部１８は、撮影者をアドバイスの提示先とし、構図をアドバイスの種別とする。選択部１８は、決定したアドバイスの提示先及びアドバイス種別に基づいて、出力対象の指示情報を選択する。

つまり、選択部１８は、可動性判定部１４によって被写体が可動性を有すると判定された場合、指示情報記憶部１５に記憶されている複数の指示情報から配置又は構図に関する指示情報を出力対象の指示情報として選択する。選択部１８は、可動性判定部１４によって被写体が可動性を有しないと判定された場合、指示情報記憶部１５に記憶されている複数の指示情報から構図に関する指示情報を出力対象の指示情報として選択する。選択部１８は、出力対象の指示情報を出力部１９に出力する。

出力対象の指示情報を選択する方法について、具体的に説明する。選択部１８は、決定したアドバイスの提示先及びアドバイス種別を有する指示情報を、指示情報記憶部１５に記憶されている複数の指示情報から抽出する。１つの指示情報が抽出された場合には、選択部１８は、抽出された指示情報を出力対象の指示情報として選択する。２以上の指示情報が抽出された場合には、選択部１８は、抽出された２以上の指示情報の中からランダムに出力対象の指示情報を選択してもよい。

また、２以上の指示情報が抽出された場合に、選択部１８は、履歴情報記憶部１７に記憶されている履歴情報に基づいて、出力対象の指示情報を選択してもよい。選択部１８は、例えば、アドバイスを提示した後にシャッター操作が行われた確率である実行確率に基づいて、出力対象の指示情報を選択する。選択部１８は、アドバイスごとに、当該アドバイスを提示した後にシャッター操作が行われた回数を、当該アドバイスを提示した回数で除算し、その除算結果を当該アドバイスの実行確率とする。選択部１８は、例えば、過去の全ての履歴を用いて、実行確率を計算してもよく、予め定められた個数の最新の履歴を用いて、実行確率を計算してもよい。図４に示される例では、アドバイスＩＤが「１０１」のアドバイスの実行確率は、１００％である。アドバイスＩＤが「２０１」のアドバイスの実行確率は、３３％である。選択部１８は、例えば、実行確率が最も大きいアドバイスＩＤを有する指示情報を出力対象の指示情報として選択する。

実行確率が高いアドバイス以外のアドバイスに関する指示情報が出力対象の指示情報として選択されなくなることを防ぐために、選択部１８は、予め定められた確率εで、実行確率が最も大きいアドバイスＩＤを有する指示情報を出力対象の指示情報として選択してもよい。この場合、選択部１８は、確率（１−ε）で、実行確率が最も大きいアドバイスＩＤを有する指示情報以外の指示情報からランダムに出力対象の指示情報を選択してもよい。

選択部１８は、可動性判定部１４から複数の被写体の可動性情報を受け取ることがある。例えば、建物の前に人物及び自転車等の前景物が写っている対象画像では、建物は可動性を有しておらず、前景物は可動性を有している。このような場合、選択部１８は、例えば、可動性を有する被写体を対象として、出力対象の指示情報を選択してもよい。また、選択部１８は、可動性を有しない被写体に対して、構図のアドバイスを含む指示情報を出力対象の指示情報として選択した上で、可動性を有する被写体に対して、配置のアドバイスを含む指示情報を出力対象の指示情報として選択してもよい。

選択部１８は、可動性判定部１４から待機状態であることを示す状態情報を受け取った場合、画像認識部１２から受け取った画像認識結果に基づいて、対象画像が、提示したアドバイス通りの画像となっているか否かの撮影判定を行う。具体的には、選択部１８は、履歴情報記憶部１７を参照し、履歴情報において待機状態となっている履歴のアドバイスＩＤを抽出する。選択部１８は、抽出したアドバイスＩＤに対応する指示情報を、提示したアドバイスに関する指示情報として指示情報記憶部１５から取得する。例えば、提示したアドバイスが「三分割の位置に置いてみましょう」であった場合、選択部１８は、画像認識部１２から受け取った画像認識結果に基づいて、認識された被写体が三分割の位置にあるか否かを判定し、被写体が三分割の位置にある場合にアドバイスに従った画像が取得されたと判定する。なお、履歴情報記憶部１７の履歴情報には、アドバイスの対象となった被写体（の種類）が記憶されていてもよい。

選択部１８は、提示したアドバイスに従った対象画像が取得された場合、撮影指示に関する指示情報を出力対象の指示情報として選択する。撮影指示に関する指示情報は、提示先が撮影者であり、提示方法が画面表示又は音声出力であり、内容が「撮影を行ってください」といった情報である。つまり、選択部１８は、出力部１９によって指示情報が出力された後、出力した指示情報に従った対象画像が画像取得部１１によって取得された場合、撮影指示に関する指示情報を出力対象の指示情報として選択する。

出力部１９は、選択部１８によって選択された出力対象の指示情報を出力する部分である。出力部１９は、例えば、出力対象の指示情報を撮像装置に出力する。出力部１９は、出力装置１００６（図１２参照）によって実現される。撮影支援装置１０がカメラ機能を有しない場合、出力部１９は、例えば、他の装置（例えばカメラ機能を有する端末等）に指示情報を出力する。例えば、撮影支援装置１０が他の装置に通信ネットワークを介して出力対象の指示情報を送信する場合、出力対象の指示情報の送信処理を行う通信装置１００４（図１２参照）が出力部１９として機能する。

出力部１９は、出力対象の指示情報によって示されるアドバイスの提示方法で、アドバイスの内容を提示するための制御指示情報（制御コマンド）を生成し、制御指示情報を出力してもよい。例えば、出力対象の指示情報に含まれる提示方法が音声出力である場合、出力部１９は、音声でアドバイスの内容を出力するための制御指示情報を生成する。出力対象の指示情報に含まれる提示方法が画面表示である場合、出力部１９は、対象画像にテキストでアドバイスの内容を重畳表示するための制御指示情報を生成してもよく、アドバイスの内容を実現するための被写体の配置、及び移動方向等を示す図形を対象画像に重畳表示するための制御指示情報を生成してもよい。出力部１９は、選択部１８によって選択された出力対象の指示情報に含まれるアドバイスＩＤと、指示情報を出力した時刻と、を履歴情報記憶部１７に記憶されている履歴情報テーブルに登録する。

次に、図６を参照して、撮影支援装置１０における撮影支援方法の一連の処理を説明する。図６は、撮影支援装置１０が行う撮影支援方法の一連の処理を示すフローチャートである。ここでは、撮影支援装置１０がカメラ機能付きスマートフォンに搭載されており、撮影者がカメラ機能（カメラアプリケーション及びカメラモジュール）を利用して写真を撮影する場合を例に挙げて説明する。図６に示される一連の処理は、例えば、撮影者がカメラアプリケーションを起動することを契機として開始される。

まず、画像取得部１１が、被写体を含む対象画像を取得する（ステップＳ１１）。具体的には、撮影者がスマートフォンのカメラアプリケーションを起動した後に、レンズが向けられている方向の画像が対象画像として取得される。そして、画像取得部１１は、取得した対象画像を示す画像データを画像認識部１２に出力する。

続いて、画像認識部１２は、画像取得部１１によって取得された対象画像を認識するための画像認識処理を実行する（ステップＳ１２）。具体的には、画像認識部１２は、被写体の種類を認識し、対象画像における被写体の大きさ、明るさ、及び位置等を検出する。そして、画像認識部１２は、被写体の種類、大きさ、明るさ、及び位置等を画像認識結果として可動性判定部１４及び選択部１８に出力する。

続いて、可動性判定部１４は、履歴情報記憶部１７に記憶されている履歴情報を参照し、アドバイスが提示済みであるか否かを判定する（ステップＳ１３）。つまり、可動性判定部１４は、履歴情報記憶部１７に待機状態の履歴が記憶されているか否かを判定する。待機状態でないと判定された場合（ステップＳ１３：ＮＯ）、可動性判定部１４は、画像認識部１２によって認識された被写体の可動性を判定する（ステップＳ１４）。具体的に説明すると、可動性判定部１４は、可動性情報記憶部１３に記憶されている可動性情報テーブルを参照し、画像認識部１２によって認識された被写体の種類を含む可動性情報を取得する。そして、可動性判定部１４は、取得した可動性情報によって示される可動性（の有無）を、画像認識部１２によって認識された被写体の可動性とする。そして、可動性判定部１４は、取得した可動性情報を選択部１８に出力する。

選択部１８は、可動性判定部１４によって判定された可動性に基づいて、出力対象の指示情報を選択する（ステップＳ１５）。具体的には、選択部１８は、選択情報テーブルを参照し、可動性判定部１４から受け取った可動性情報に基づいて、アドバイスの提示先及びアドバイス種別を決定する。そして、選択部１８は、決定したアドバイスの提示先及びアドバイス種別を有する指示情報を、指示情報記憶部１５に記憶されている複数の指示情報から抽出する。このとき、１つの指示情報が抽出された場合には、選択部１８は、抽出された指示情報を出力対象の指示情報として選択する。２以上の指示情報が抽出された場合には、選択部１８は、例えば上述のように、履歴情報記憶部１７に記憶されている履歴情報に基づいて、出力対象の指示情報を選択する。そして、選択部１８は、出力対象の指示情報を出力部１９に出力する。

続いて、出力部１９は、選択部１８によって選択された出力対象の指示情報を出力する（ステップＳ１６）。これにより、指示情報に基づいてアドバイスが提示される。そして、出力部１９は、選択部１８によって選択された出力対象の指示情報に含まれるアドバイスＩＤと、指示情報を出力した時刻と、を履歴情報記憶部１７に記憶されている履歴情報テーブルに登録する（ステップＳ１７）。このとき、操作情報取得部１６は、タイマにより経過時間の測定を開始する。そして、後述するステップＳ２４が実行される。

一方、ステップＳ１３において、待機状態であると判定された場合（ステップＳ１３：ＹＥＳ）、可動性判定部１４は、被写体の可動性を判定することなく、待機状態であることを示す状態情報を選択部１８に出力する。そして、選択部１８は、可動性判定部１４から待機状態であることを示す状態情報を受け取ると、画像認識部１２から受け取った画像認識結果に基づいて、対象画像が、提示したアドバイスに従った画像となっているか否かを判定の撮影判定を行う（ステップＳ１８）。具体的には、選択部１８は、履歴情報記憶部１７を参照し、履歴情報において待機状態となっている履歴のアドバイスＩＤを抽出する。そして、選択部１８は、抽出したアドバイスＩＤに対応する指示情報を、提示したアドバイスに対応する指示情報として指示情報記憶部１５から取得する。

そして、対象画像が提示したアドバイスに従った画像であると判定された場合（ステップＳ１８：ＹＥＳ）、選択部１８は、撮影指示に関する指示情報を出力対象の指示情報として選択する（ステップＳ１９）。そして、選択部１８は、出力対象の指示情報を出力部１９に出力する。

続いて、出力部１９は、選択部１８によって選択された出力対象の指示情報を出力する（ステップＳ２０）。これにより、指示情報に基づいて撮影指示が提示される。そして、操作情報取得部１６は、経過時間が予め定められた時間に達する前に、シャッターの操作が行われたことを示す操作情報を取得すると、履歴情報記憶部１７に記憶されている待機状態の履歴における「シャッター操作」をシャッター操作が行われたことを示す情報に設定する（ステップＳ２１）。そして、操作情報取得部１６は、履歴情報記憶部１７に「シャッター操作」を設定すると、タイマを停止し、経過時間をリセットする。そして、後述するステップＳ２４が実行される。

一方、ステップＳ１８において、対象画像が提示したアドバイスに従った画像でないと判定された場合（ステップＳ１８：ＮＯ）、操作情報取得部１６は、タイマによって測定されている経過時間が所定の時間を経過したか否かを判定する（ステップＳ２２）。ステップＳ２２において、経過時間が所定の時間を経過していないと判定された場合（ステップＳ２２：ＮＯ）、後述するステップＳ２４が実行される。一方、ステップＳ２２において、経過時間が所定の時間を経過したと判定された場合（ステップＳ２２：ＹＥＳ）、操作情報取得部１６は、履歴情報記憶部１７に記憶されている待機状態の履歴における「シャッター操作」を、シャッター操作が行われなかったことを示す情報に設定し（ステップＳ２３）、タイマを停止させるとともに経過時間をリセットする。そして、後述するステップＳ２４が実行される。

続いて、撮影支援装置１０において、撮影者から撮影処理の終了を受け付けたか否かが判定される（ステップＳ２４）。具体的には、操作情報取得部１６がカメラアプリケーションの終了操作に関する操作情報を取得したか否かが判定される。ステップＳ２４において、撮影処理の終了操作を受け付けていないと判定された場合（ステップＳ２４：ＮＯ）、ステップＳ１１〜ステップＳ２４の処理が繰り返し実行され、画像取得部１１によって取得される次の対象画像に対する処理が実行される。一方、ステップＳ２４において、撮影処理の終了操作を受け付けたと判定された場合（ステップＳ２４：ＹＥＳ）、撮影支援装置１０の動作（ここでは一例としてカメラアプリケーションによる写真撮影の処理）を終了する。このようにして、撮影支援方法の一連の処理が終了する。

図７〜図１０は、撮影支援装置１０によって提示されたアドバイスを含む画像、及びアドバイスに従った画像の例を示す図である。図７に示される例では、撮影者が被写体Ｓｉ１１，Ｓｉ１２に撮像装置を向けることにより、図７の（ａ）に示される対象画像Ｇ１１が取得されたとする。そして、対象画像Ｇ１１に含まれる被写体Ｓｉ１１が海であると認識され、被写体Ｓｉ１２が雲であると認識され、いずれも可動性を有しないと判定される。そして、構図に関する指示情報が選択され、撮影者にアドバイスが提示される。例えば、図３に示されるアドバイスＩＤが「２０１」の指示情報が出力対象の指示情報として選択され、出力対象の指示情報に基づくアドバイスが撮影者に提示される。

この場合、図７の（ａ）に示されるように、破線の枠Ｆ１１が対象画像Ｇ１１に重畳表示され、枠Ｆ１１に合わせるように画角等を調整することが指示される。そして、図７の（ｂ）に示されるように、撮影者が、破線の枠Ｆ１１と一致するように画角等を調整することによって、対象画像Ｇ１２が取得される。そして、対象画像Ｇ１２がアドバイス通りの画像であるので、撮影指示が提示される。

図８に示される例では、撮影者が被写体Ｓｉ２１，Ｓｉ２２に撮像装置を向けることにより、図８の（ａ）に示される対象画像Ｇ２１が取得されたとする。そして、対象画像Ｇ２１に含まれる被写体Ｓｉ２１，Ｓｉ２２が椅子であると認識され、可動性を有すると判定される。そして、被写体Ｓｉ２１，Ｓｉ２２の可動性に対応する２以上の指示情報が抽出され、２以上の指示情報の中から、出力対象の指示情報が選択される。ここでは、構図に関する指示情報が選択され、撮影者に指示情報に基づくアドバイスが提示される。図８の（ａ）に示されるように、「広角側にズームしてみましょう」といったテキストが対象画像Ｇ２１に重畳表示される。そして、図８の（ｂ）に示されるように、撮影者が、画角を調整することによって、対象画像Ｇ２２が取得される。そして、対象画像Ｇ２２がアドバイス通りの画像であるので、撮影指示が提示される。

図９に示される例では、撮影者が被写体Ｓｉ３１，Ｓｉ３２に撮像装置を向けることにより、図９の（ａ）に示される対象画像Ｇ３１が取得されたとする。そして、対象画像Ｇ３１に含まれる被写体Ｓｉ３１，Ｓｉ３２が椅子であると認識され、可動性を有すると判定される。そして、被写体Ｓｉ３１，Ｓｉ３２の可動性に対応する２以上の指示情報が抽出され、２以上の指示情報の中から、出力対象の指示情報が選択される。ここでは、配置に関する指示情報が選択され、撮影者に指示情報に基づくアドバイスが提示される。例えば、図３に示されるアドバイスＩＤが「１０１」の指示情報が出力対象の指示情報として選択され、出力対象の指示情報に基づくアドバイスが撮影者に提示される。

この場合、図９の（ａ）に示されるように、被写体Ｓｉ３１の移動方向を示す矢印Ａ３１と、被写体Ｓｉ３２の移動方向を示す矢印Ａ３２と、被写体Ｓｉ３１の理想的な位置を示す破線の枠Ｆ３１と、被写体Ｓｉ３２の理想的な位置を示す破線の枠Ｆ３２と、が対象画像Ｇ３１に重畳表示される。そして、図９の（ｂ）に示されるように、撮影者が、被写体Ｓｉ３１，Ｓｉ３２の配置を変更し、再び被写体Ｓｉ３１，Ｓｉ３２に撮像装置を向けることにより、対象画像Ｇ３２が取得される。そして、対象画像Ｇ３２がアドバイス通りの画像であるので、撮影指示が提示される。

図１０に示される例では、撮影者が被写体Ｓｉ４１〜Ｓｉ４３に撮像装置を向けることにより、図１０の（ａ）に示される対象画像Ｇ４１が取得されたとする。そして、対象画像Ｇ４１に含まれる被写体Ｓｉ４１〜Ｓｉ４３が料理であると認識され、いずれも可動性を有すると判定される。そして、被写体Ｓｉ４１〜Ｓｉ４３の可動性に対応する２以上の指示情報が抽出され、２以上の指示情報の中から、出力対象の指示情報が選択される。ここでは、配置に関する指示情報が選択され、撮影者に指示情報に基づくアドバイスが提示される。

この場合、図１０の（ａ）に示されるように、被写体Ｓｉ４１の移動方向を示す矢印Ａ４１と、被写体Ｓｉ４２の移動方向を示す矢印Ａ４２と、被写体Ｓｉ４３の移動方向を示す矢印Ａ４３と、被写体Ｓｉ４１の理想的な構図を示す破線の枠Ｆ４１と、被写体Ｓｉ４２の理想的な構図を示す破線の枠Ｆ４２と、被写体Ｓｉ４３の理想的な構図を示す破線の枠Ｆ４３と、が対象画像Ｇ４１に重畳表示される。そして、図１０の（ｂ）に示されるように、撮影者が、被写体Ｓｉ４１〜Ｓｉ４３の配置を変更し、再び被写体Ｓｉ４１〜Ｓｉ４３に撮像装置を向けることにより、対象画像Ｇ４２が取得される。そして、対象画像Ｇ４２がアドバイス通りの画像であるので、撮影指示が提示される。

次に、図１１を参照して、コンピュータを撮影支援装置１０として機能させるための撮影支援プログラムＰについて説明する。

図１１に示されるように、撮影支援プログラムＰは、メインモジュールＰ１０、画像取得モジュールＰ１１、画像認識モジュールＰ１２、可動性判定モジュールＰ１４、操作情報取得モジュールＰ１６、選択モジュールＰ１８、及び出力モジュールＰ１９を備える。メインモジュールＰ１０は、撮影支援処理に係る処理を統括的に制御する部分である。画像取得モジュールＰ１１、画像認識モジュールＰ１２、可動性判定モジュールＰ１４、操作情報取得モジュールＰ１６、選択モジュールＰ１８、及び出力モジュールＰ１９を実行することにより実現される機能はそれぞれ、上記実施形態における画像取得部１１、画像認識部１２、可動性判定部１４、操作情報取得部１６、選択部１８、及び出力部１９の機能と同様である。

撮影支援プログラムＰは、ＣＤ−ＲＯＭ（Compact Disk Read Only Memory）、ＤＶＤ−ＲＯＭ（Digital Versatile Disk Read Only Memory）、及び半導体メモリ等の有形の記録媒体に固定的に記録された状態で提供されてもよい。または、撮影支援プログラムＰは、搬送波に重畳されたデータ信号として通信ネットワークを介して提供されてもよい。

以上説明した撮影支援装置１０及び撮影支援プログラムＰでは、対象画像に含まれる被写体が認識され、認識された被写体の可動性が判定される。そして、被写体の可動性に基づいて、複数の指示情報から出力対象の指示情報が選択され、選択された出力対象の指示情報が出力される。例えば、被写体が可動性を有しないのであれば、撮影者が動いて構図を変更するアドバイスを提示することができる。一方、被写体が可動性を有するのであれば、撮影者が動いて構図を変更するアドバイスだけでなく、被写体を動かして被写体の配置を変更するアドバイスを提示することができる。このように、被写体の可動性に応じた撮影支援を提供することが可能となる。その結果、より適切なアドバイスを提示することが可能となり、より良い写真を撮影することができる。

可動性判定部１４は、可動性情報記憶部１３に記憶されている可動性情報に基づいて、被写体の可動性を判定する。可動性情報では、被写体の種類に対して可動性の有無を示す情報が予め対応付けられているので、画像認識部１２によって被写体の種類を認識するだけで、被写体が可動性を有するか否かを判定することができる。

選択部１８は、可動性判定部１４によって被写体が可動性を有しないと判定された場合、指示情報記憶部１５に記憶されている複数の指示情報から構図に関する指示情報を出力対象の指示情報として選択する。被写体が可動性を有しない場合には、撮影者が被写体を動かすことができない。このため、構図に関する指示情報に基づいてアドバイスが提示されることにより、撮影者が画角を調整したり、撮影角度を変更する。これにより、被写体が可動性を有しない場合でも、適切な撮影支援を提供することができる。

選択部１８は、出力部１９によって指示情報が出力された後、画像取得部１１によって指示情報に従った対象画像が取得された場合、撮影指示に関する指示情報を出力対象の指示情報として選択する。このため、提示したアドバイスに従った対象画像が取得された場合には、撮影指示が提示される。これにより、対象画像がアドバイス通りになっているかどうかを撮影者が判断する必要がないので、撮影者の負荷を軽減しつつ、適切な写真を撮影することが可能となる。

なお、上記実施の形態の説明に用いたブロック図は、機能単位のブロックを示している。これらの機能ブロック（構成部）は、ハードウェア及び／又はソフトウェアの任意の組み合わせによって実現される。また、各機能ブロックの実現手段は特に限定されない。すなわち、各機能ブロックは、物理的及び／又は論理的に結合した１つの装置により実現されてもよいし、物理的及び／又は論理的に分離した２つ以上の装置を直接的及び／又は間接的に(例えば、有線及び／又は無線)で接続し、これら複数の装置により実現されてもよい。

例えば、本発明の一実施の形態における撮影支援装置１０などは、本実施形態の撮影支援装置１０の処理を行うコンピュータとして機能してもよい。図１２は、本実施形態に係る撮影支援装置１０のハードウェア構成の一例を示す図である。上述の撮影支援装置１０は、物理的には、プロセッサ１００１、メモリ１００２、ストレージ１００３、通信装置１００４、入力装置１００５、出力装置１００６、及びバス１００７などを含むコンピュータ装置として構成されてもよい。

なお、以下の説明では、「装置」という文言は、回路、デバイス、又はユニットなどに読み替えることができる。撮影支援装置１０のハードウェア構成は、図に示された各装置を１つ又は複数含むように構成されてもよいし、一部の装置を含まずに構成されてもよい。

撮影支援装置１０における各機能は、プロセッサ１００１、メモリ１００２などのハードウェア上に所定のソフトウェア（プログラム）を読み込ませることで、プロセッサ１００１が演算を行い、通信装置１００４による通信、並びに、メモリ１００２及びストレージ１００３におけるデータの読み出し及び／又は書き込みを制御することで実現される。

プロセッサ１００１は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ１００１は、周辺装置とのインターフェース、制御装置、演算装置、及びレジスタなどを含む中央処理装置（ＣＰＵ：Central Processing Unit）で構成されてもよい。例えば、撮影支援装置１０の各機能部は、プロセッサ１００１で実現されてもよい。

また、プロセッサ１００１は、プログラム（プログラムコード）、ソフトウェアモジュール及び／又はデータを、ストレージ１００３及び／又は通信装置１００４からメモリ１００２に読み出し、これらに従って各種の処理を実行する。プログラムとしては、上述の実施の形態で説明した動作の少なくとも一部をコンピュータに実行させるプログラムが用いられる。例えば、撮影支援装置１０の各機能部は、メモリ１００２に格納され、プロセッサ１００１で動作する制御プログラムによって実現されてもよい。上述の各種処理は、１つのプロセッサ１００１で実行される旨を説明してきたが、２以上のプロセッサ１００１により同時又は逐次に実行されてもよい。プロセッサ１００１は、１以上のチップで実装されてもよい。なお、プログラムは、電気通信回線を介してネットワークから送信されてもよい。

メモリ１００２は、コンピュータ読み取り可能な記録媒体であり、例えば、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable ＲＯＭ）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ＲＯＭ）、ＲＡＭ（Random Access Memory）などの少なくとも１つで構成されてもよい。メモリ１００２は、レジスタ、キャッシュ、メインメモリ（主記憶装置）などと呼ばれてもよい。メモリ１００２は、本発明の一実施の形態に係る撮影支援方法を実施するために実行可能なプログラム（プログラムコード）、ソフトウェアモジュールなどを保存することができる。

ストレージ１００３は、コンピュータ読み取り可能な記録媒体であり、例えば、ＣＤ−ＲＯＭなどの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ−ｒａｙ（登録商標）ディスク)、スマートカード、フラッシュメモリ(例えば、カード、スティック、キードライブ)、フロッピー（登録商標）ディスク、磁気ストリップなどの少なくとも１つで構成されてもよい。ストレージ１００３は、補助記憶装置と呼ばれてもよい。上述の記憶媒体は、例えば、メモリ１００２及び／又はストレージ１００３を含むデータベース、サーバその他の適切な媒体であってもよい。

通信装置１００４は、有線及び／又は無線ネットワークを介してコンピュータ間の通信を行うためのハードウェア（送受信デバイス）であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。

入力装置１００５は、外部からの入力を受け付ける入力デバイス（例えば、キーボード、マウス、マイクロフォン、スイッチ、ボタン、センサなど）である。出力装置１００６は、外部への出力を実施する出力デバイス（例えば、ディスプレイ、スピーカー、ＬＥＤランプなど）である。なお、入力装置１００５及び出力装置１００６は、一体となった構成（例えば、タッチパネル）であってもよい。

また、プロセッサ１００１及びメモリ１００２などの各装置は、情報を通信するためのバス１００７で接続される。バス１００７は、単一のバスで構成されてもよいし、装置間で異なるバスで構成されてもよい。

また、撮影支援装置１０は、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ：Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、ＦＰＧＡ（Field Programmable Gate Array）などのハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部又は全てが実現されてもよい。例えば、プロセッサ１００１は、これらのハードウェアの少なくとも１つで実装されてもよい。

以上、本実施形態について詳細に説明したが、当業者にとっては、本実施形態が本明細書中に説明した実施形態に限定されるものではないということは明らかである。本実施形態は、特許請求の範囲の記載により定まる本発明の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。したがって、本明細書の記載は、例示説明を目的とするものであり、本実施形態に対して何ら制限的な意味を有するものではない。

本明細書で説明した各態様／実施形態の処理手順、シーケンス、及びフローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本明細書で説明した方法については、例示的な順序で様々なステップの要素を提示しており、提示した特定の順序に限定されない。

入出力された情報等は特定の場所(例えば、メモリ)に保存されてもよいし、管理テーブルで管理してもよい。入出力される情報等は、上書き、更新、または追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。

判定は、１ビットで表される値（０か１か）によって行われてもよいし、真偽値（Boolean：trueまたはfalse）によって行われてもよいし、数値の比較（例えば、所定の値との比較）によって行われてもよい。

本明細書で説明した各態様／実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知（例えば、「Ｘであること」の通知）は、明示的に行うものに限られず、暗黙的（例えば、当該所定の情報の通知を行わない）ことによって行われてもよい。

ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、又はハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、及び機能などを意味するよう広く解釈されるべきである。

また、ソフトウェア、及び命令などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、ツイストペア及びデジタル加入者回線（ＤＳＬ）などの有線技術及び／又は赤外線、無線及びマイクロ波などの無線技術を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び／又は無線技術は、伝送媒体の定義内に含まれる。

本明細書で説明した情報、及び信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、及びチップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。

なお、本明細書で説明した用語及び／又は本明細書の理解に必要な用語については、同一の又は類似する意味を有する用語と置き換えてもよい。

本明細書で使用する「システム」及び「ネットワーク」という用語は、互換的に使用される。

また、本明細書で説明した情報、及びパラメータなどは、絶対値で表されてもよいし、所定の値からの相対値で表されてもよいし、対応する別の情報で表されてもよい。

本明細書で使用する「判定(determining)」、「決定(determining)」という用語は、多種多様な動作を包含する場合がある。「判定」、「決定」は、例えば、計算(calculating)、算出(computing)、処理(processing)、導出(deriving)、調査(investigating)、探索(looking up)（例えば、テーブル、データベースまたは別のデータ構造での探索）、確認(ascertaining)した事を「判定」「決定」したとみなす事などを含み得る。また、「判定」、「決定」は、受信(receiving)（例えば、情報を受信すること）、送信(transmitting)(例えば、情報を送信すること)、入力(input)、出力(output)、アクセス(accessing)（例えば、メモリ中のデータにアクセスすること）した事を「判定」「決定」したとみなす事などを含み得る。また、「判定」、「決定」は、解決(resolving)、選択(selecting)、選定(choosing)、確立(establishing)、比較(comparing)などした事を「判定」「決定」したとみなす事を含み得る。つまり、「判定」「決定」は、何らかの動作を「判定」「決定」したとみなす事を含み得る。

「接続された(connected)」、「結合された(coupled)」という用語、又はこれらのあらゆる変形は、２又はそれ以上の要素間の直接的又は間接的なあらゆる接続又は結合を意味し、互いに「接続」又は「結合」された２つの要素間に１又はそれ以上の中間要素が存在することを含むことができる。要素間の結合又は接続は、物理的なものであっても、論理的なものであっても、或いはこれらの組み合わせであってもよい。本明細書で使用する場合、２つの要素は、１又はそれ以上の電線、ケーブル及び／又はプリント電気接続を使用することにより、並びにいくつかの非限定的かつ非包括的な例として、無線周波数領域、マイクロ波領域及び光（可視及び不可視の両方）領域の波長を有する電磁エネルギーなどの電磁エネルギーを使用することにより、互いに「接続」又は「結合」されると考えることができる。

本明細書で使用する「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。

本明細書で「第１の」、「第２の」などの呼称を使用した場合においては、その要素へのいかなる参照も、それらの要素の量または順序を全般的に限定するものではない。これらの呼称は、２つ以上の要素間を区別する便利な方法として本明細書で使用され得る。したがって、第１及び第２の要素への参照は、２つの要素のみがそこで採用され得ること、または何らかの形で第１の要素が第２の要素に先行しなければならないことを意味しない。

「含む（include）」、「含んでいる（including）」、及びそれらの変形が、本明細書あるいは特許請求の範囲で使用されている限り、これら用語は、用語「備える(comprising)」と同様に、包括的であることが意図される。さらに、本明細書あるいは特許請求の範囲において使用されている用語「または（or）」は、排他的論理和ではないことが意図される。

本明細書において、文脈または技術的に明らかに1つのみしか存在しない装置である場合以外は、複数の装置をも含むものとする。

本開示の全体において、文脈から明らかに単数を示したものではなければ、複数のものを含むものとする。

図１３の（ａ）に示されるように、可動性情報は、被写体の大きさと、可動性の有無を示す情報と、が対応付けられた情報でもよい。例えば、被写体の大きさ（高さ）が所定の大きさよりも小さければ、撮影者が被写体の配置を変更することが可能であると考えられる。図１３の（ａ）の例では、１メートル未満の大きさを有する被写体は、可動性を有するとし、１メートル以上の大きさを有する被写体は、可動性を有しないとしている。可動性情報記憶部１３は、図２に示される可動性情報テーブルに代えて、図１３の（ａ）に示される可動性情報テーブルを記憶していてもよい。また、可動性情報記憶部１３は、図２に示される可動性情報テーブルに、さらに図１３の（ａ）に示される可動性情報テーブルに含まれる可動性情報を記憶していてもよい。

この場合、画像認識部１２は、被写体の実際の大きさを計算する。図１３の（ｂ）に示されるように、画像認識部１２は、焦点距離Ｄｆ、ピント距離Ｄｐ、センササイズ、及び対象画像の画素数に基づいて、被写体Ｓｉの実際の大きさを計算する。焦点距離Ｄｆは、撮像素子Ｃｓからレンズまでの距離である。画像認識部１２は、撮像装置に設定されている焦点距離Ｄｆを取得する。ピント距離Ｄｐは、焦点（ピント）を被写体Ｓｉに合わせている場合には、撮像素子Ｃｓから被写体Ｓｉまでの距離である。画像認識部１２は、撮像装置に設定されているピント距離Ｄｐを取得する。センササイズは、撮像装置の撮像素子Ｃｓの大きさ（幅Ｗｓ×高さＨｓ）であり、予め定められている。

まず、画像認識部１２は、被写体Ｓｉが位置する面であって、撮像素子Ｃｓと被写体Ｓｉとを結ぶ直線と直交する被写体面における撮影範囲の高さＨｒを計算する。具体的には、画像認識部１２は、式（１）に示されるように、焦点距離Ｄｆ、ピント距離Ｄｐ、及び高さＨｓを用いて、高さＨｒを計算する。

画像認識部１２は、対象画像の高さ方向の画素数Ｎｐｈを撮像装置から取得する。また、画像認識部１２は、対象画像における被写体の高さ方向の画素数Ｎｔｈを、対象画像を用いてカウントする。そして、画像認識部１２は、式（２）に示されるように、画素数Ｎｐｈ、画素数Ｎｔｈ、及び高さＨｒを用いて、被写体の高さＨｔを計算する。

画像認識部１２は、被写体の幅Ｗｔについても同様に計算する。具体的には、画像認識部１２は、式（３）に示されるように、焦点距離Ｄｆ、ピント距離Ｄｐ、及び幅Ｗｓを用いて、被写体面における撮影範囲の幅Ｗｒを計算する。

画像認識部１２は、対象画像の幅方向の画素数Ｎｐｗを撮像装置から取得する。また、画像認識部１２は、対象画像における被写体の幅方向の画素数Ｎｔｗを、対象画像を用いてカウントする。そして、画像認識部１２は、式（４）に示されるように、画素数Ｎｐｗ、画素数Ｎｔｗ、及び幅Ｗｒを用いて、被写体の幅Ｗｔを計算する。

可動性判定部１４は、画像認識部１２によって計算された被写体Ｓｉの実際の大きさに基づいて、被写体Ｓｉの可動性を判定する。具体的には、可動性判定部１４は、例えば、高さＨｔ及び幅Ｗｔがいずれも１メートル未満であれば、被写体Ｓｉが可動性を有すると判定し、高さＨｔ及び幅Ｗｔの少なくともいずれかが１メートル以上であれば、被写体Ｓｉが可動性を有しないと判定する。

この構成によれば、認識させたい被写体の種類を定める必要がないので、画像認識部１２による特徴量の最適化、及び認識基準の作成を省略することが可能となる。また、被写体の可動性の判定が、機械学習を用いることなく、簡易な計算で行われるので、撮影支援装置１０の処理負荷を軽減することが可能となる。

また、被写体の可動性は、さらに細分化されてもよい。例えば、「可動」が、「自立的可動」、「依存的可動」、及び「配置変更可能」に分けられてもよい。つまり、被写体の可動性には、自立的可動、依存的可動、配置変更可能、及び固定が含まれ得る。「自立的可動」は、被写体が自らアドバイス（指示情報）に従って動くことが可能であることを意味する。「依存的可動」とは、被写体が自らアドバイスに従って動くことはできないが、撮影者が誘導することによってアドバイスに従って動くことが可能であることを意味する。「配置変更可能」とは、被写体が撮影者によってアドバイスに従って動かされることが可能であることを意味する。

図１４の（ａ）に示される可動性情報テーブルでは、「被写体の種類」には、「人物」、「ペット」、「赤ちゃん」、「所有する車」、「所有しない車」、「料理」、「椅子」、「建物」、及び「海」が含まれる。「可動性」は、「自立的可動」、「依存的可動」、「配置変更可能」、又は「固定」によって示される。人物はアドバイスに従って自ら動くことができるので、人物の可動性の有無を示す情報には、「自立的可動」が設定されている。ペット及び赤ちゃんは、撮影者が呼びかけること等によって、アドバイスに従って動くことができるので、これらの可動性の有無を示す情報には、「依存的可動」が設定されている。

料理及び椅子は、自立的及び依存的には動かないが、撮影者によってアドバイスに従って移動させることが可能であるので、これらの可動性の有無を示す情報には、「配置変更可能」が設定されている。一方、建物及び海は動かすことができないので、これらの可動性の有無を示す情報には、「固定」が設定されている。また、撮影者が所有する車であれば、撮影者によってアドバイスに従って移動させることが可能であるので、所有する車の可動性の有無を示す情報には、「配置変更可能」が設定されている。しかし、撮影者が所有しない車は、撮影者によって移動させることができないので、所有しない車の可動性の有無を示す情報には、「固定」が設定されている。

この場合、例えば図１４の（ｂ）に示される選択情報テーブルが用いられる。可動性が「自立的可動」である場合、提示先として「撮影者」及び「被写体」が選択され、アドバイスの種別として「配置」及び「構図」が選択され得る。つまり、被写体が自立的可動である場合には、撮影者が被写体に指示をするか、被写体に直接アドバイスを提示することで、被写体がアドバイスに従って動くことができるので、提示先として「撮影者」及び「被写体」が採用され得る。これにより、選択部１８は、被写体が自立的可動である場合に、指示情報記憶部１５に記憶されている複数の指示情報から、撮影者又は被写体のいずれかを提示先とする指示情報を出力対象の指示情報として選択する。

可動性が「依存的可動」及び「配置変更可能」である場合、提示先として「撮影者」が選択され、アドバイスの種別として「配置」及び「構図」が選択され得る。つまり、被写体が依存的可動であるか、配置変更可能である場合には、被写体に直接アドバイスを提示しても、被写体がアドバイスに従って動くことはできないので、提示先として「撮影者」のみが採用され得る。これにより、選択部１８は、被写体が依存的可動又は配置変更可能である場合に、指示情報記憶部１５に記憶されている複数の指示情報から、撮影者を提示先とする指示情報を出力対象の指示情報として選択する。可動性が「固定」である場合、上記実施形態と同様に、提示先として「撮影者」が選択され、アドバイスの種別として「構図」が選択され得る。

また、指示情報管理テーブルの各指示情報は、「条件」をさらに含んでもよい。「条件」は、指示情報が抽出される条件を示す情報である。図１５に示される例では、アドバイスＩＤが「１０４」の指示情報には、被写体が自立的可動であり、かつ、逆光であるという条件が設定されている。この指示情報には、被写体に向けたアドバイス内容と、撮影者に向けたアドバイス内容とが設定されている。また、アドバイスＩＤが「１０５」の指示情報には、被写体が依存的可動であり、かつ、被写体が起立状態（立っている状態）であるという条件が設定されている。一方、三分割構図、黄金比構図、及び日の丸構図等の構図に関する指示情報は、被写体の種類によらず採用され得るので、これらの指示情報には、条件が設定されていない。

図１６は、撮影支援装置１０によって提示されたアドバイスを含む画像、及びアドバイスに従った画像の例を示す図である。この例では、図１４の（ａ）に示される可動性情報テーブルと、図１４の（ｂ）に示される選択情報テーブルと、図１５に示される指示情報管理テーブルと、が用いられている。撮影者が被写体Ｓｉ５１に撮像装置を向けることにより、図１６の（ａ）に示される対象画像Ｇ５１が取得されたとする。そして、対象画像Ｇ５１に含まれる被写体Ｓｉ５１が人物であると認識され、被写体の可動性が自立的可動であると判定される。また、画像認識部１２によって、対象画像Ｇ５１は逆光で撮影されたと認識される。例えば、図１５に示されるアドバイスＩＤが「１０４」の指示情報が出力対象の指示情報として選択される。

この場合、図１６の（ａ）に示されるように、被写体に向けて音声で「被写体は左に９０度回ってみましょう」のアドバイスが提示される。また、撮影者に向けて音声で「撮影者は右に９０度回ってみましょう」のアドバイスが提示される。そして、図１６の（ｂ）に示されるように、被写体が左に９０度回り、撮影者が右に９０度回ることによって、対象画像Ｇ５２が取得される。そして、画像認識部１２によって、対象画像Ｇ５２が斜光状態で撮影されたと認識される。そして、対象画像Ｇ５２がアドバイス通りの画像であるので、撮影指示が提示される。

この構成によれば、被写体が自立的可動である場合に、指示情報記憶部１５に記憶されている複数の指示情報から、撮影者又は被写体のいずれかを提示先とする指示情報が出力対象の指示情報として選択される。被写体がアドバイスに従って自ら動くことができるのであれば、撮影者にアドバイスを提示するだけでなく、被写体にアドバイスを提示ことができる。このように、被写体の可動性に応じた撮影支援を提供することが可能となる。

また、選択部１８は、撮像装置と被写体との距離（ピント距離）に応じて、出力対象の指示情報を選択してもよい。この場合、選択部１８は、ピント距離と予め定められた距離とを比較し、比較結果に応じて撮影者及び被写体のいずれかを提示先とする。具体的には、ピント距離が予め定められた距離よりも大きい場合には、音声出力が被写体に届かないおそれがあるので、選択部１８は、提示先が撮影者である指示情報を抽出（選択）する。ピント距離が予め定められた距離以下である場合には、音声出力が被写体に届くとみなすことができるので、選択部１８は、提示先が被写体である指示情報を抽出（選択）する。各指示情報が条件として、上述のようなピント距離の範囲を有してもよい。このように、撮像装置と被写体との距離を考慮することにより、より確実にアドバイスを伝えることができ、撮影ワークフローをスムーズに行うことが可能となる。

また、選択部１８は、ピント距離に応じて、提示方法を変えてもよい。例えば、ピント距離が予め定められた距離よりも大きい場合に、選択部１８は、被写体が有する携帯端末のスピーカ、又は外部のディスプレイ等に出力するようにしてもよい。これらの提示方法は、予め指示情報管理テーブルに設定されていてもよい。出力部１９が、選択部１８によって選択された出力対象の指示情報の提示方法に従って、ピント距離に応じて出力先を変更してもよい。

また、被写体の種類が人物又はペットである場合、選択部１８は、提示先が被写体であり、かつ、提示方法が音声出力である指示情報を選択してもよい。

また、被写体の種類が料理である場合、三分割構図により撮影された画像よりも、被写体を拡大して撮影された画像の方が一般的には好まれる。このため、例えば、画像認識部１２によって認識された被写体（複数の皿）のうち、メインディッシュであると想定される最も大きい皿を手前に配置し、その他の皿を背後に配置するような内容を含む指示情報が設定されてもよい。この設定情報には、例えば、被写体が料理であるという条件が設定される。

被写体の種類が赤ちゃんである場合、選択部１８は、まず、撮影者から被写体に対して指示する内容を含む指示情報を出力対象の指示情報として選択してもよい。その後、アドバイス通りに被写体が動いていないと判定されると、選択部１８は、撮影者によって被写体を動かす内容を含む指示情報を出力対象の指示情報として選択してもよい。例えば、「ハイハイさせてみましょう」といったアドバイスが撮影者に提示された後、被写体の状況に変化がなければ、撮影者による指示を理解するほどに赤ちゃんが成長していないとみなし、「このようなポーズで寝かせてみましょう」といったアドバイスが撮影者に提示される。このように、撮影者の負荷が小さい内容を含む指示情報から順に選択されることにより、撮影者の負荷を軽減することが可能となる。

なお、撮影者に被写体を動かすようにアドバイスを提示する場合、撮影者は被写体に撮像装置を向け続けながら、被写体に向けて指示をすることができる。また、撮影者に構図に関するアドバイスを提示する場合も、撮影者は被写体に撮像装置を向け続けながら、撮像装置の画角、及び撮影角度等を調整することができる。このため、被写体の姿勢及び位置等は変わり得るものの、対象画像の状況（被写体の有無及び背景）は大きく変わることはない。したがって、可動性判定部１４は、アドバイス提示済みであるか否かを判定することなく、被写体の可動性を判定してもよく、選択部１８は、出力対象の指示情報を選択してもよい。

一方、撮影者に配置に関するアドバイスを提示する場合、撮影者は被写体の配置を変えるために、撮像装置を一旦置くか、撮像装置を持って被写体に近づくと考えられる。このため、撮影者が被写体の配置変更を行っている間、撮像装置が被写体に向けられておらず、例えば、空又は地面に向けられていることがある。このため、撮影者が被写体の配置変更を行っている間は、撮影者の意図とは無関係の別の被写体が対象画像に写り込むおそれがある。この場合、無関係の被写体が認識されるので、アドバイスが提示済みか否かの判定を行うことなく可動性判定が行われると、不必要なアドバイスが提示される可能性がある。したがって、可動性判定部１４は、アドバイスが提示済みか否かの判定を行い、アドバイスが提示済み（待機状態）でない場合に、可動性判定を行うことにより、不必要なアドバイスが提示される可能性を低減することが可能となる。

また、出力部１９が指示情報を出力する際に、アドバイスの対象となる被写体に関する情報を履歴情報記憶部１７に記憶しておき、可動性判定部１４がアドバイス提示済み（待機状態）であると判定した場合に、アドバイスの対象となる被写体が認識されるまで、その他の処理を行わないようにしてもよい。

また、撮影支援装置１０は、操作情報取得部１６及び履歴情報記憶部１７を備えていなくてもよい。この場合、選択部１８は、例えば、２以上の指示情報が抽出された場合に、ランダムに出力対象の指示情報を選択すればよい。この構成によれば、撮影支援装置１０の構成を簡単化することが可能となる。

１０…撮影支援装置、１１…画像取得部、１２…画像認識部、１３…可動性情報記憶部、１４…可動性判定部（判定部）、１５…指示情報記憶部、１６…操作情報取得部、１７…履歴情報記憶部、１８…選択部、１９…出力部、Ｐ…撮影支援プログラム、Ｐ１１…画像取得モジュール、Ｐ１２…画像認識モジュール、Ｐ１４…可動性判定モジュール、Ｐ１６…操作情報取得モジュール、Ｐ１８…選択モジュール、Ｐ１９…出力モジュール。

Claims (7)

1. 被写体を含む画像を取得する画像取得部と、
   前記画像取得部によって取得された前記画像に含まれる前記被写体を認識する画像認識部と、
   前記画像認識部によって認識された前記被写体の可動性を判定する判定部と、
   撮影を支援するための複数の指示情報を記憶する指示情報記憶部と、
   前記判定部によって判定された前記可動性に基づいて、前記指示情報記憶部に記憶されている前記複数の指示情報から指示情報を選択する選択部と、
   前記選択部によって選択された前記指示情報を出力する出力部と、
   を備える撮影支援装置。
2. 被写体の種類と可動性とが対応付けられた可動性情報を記憶する可動性情報記憶部をさらに備え、
   前記判定部は、前記可動性情報記憶部に記憶されている前記可動性情報に基づいて、前記被写体の前記可動性を判定する、請求項１に記載の撮影支援装置。
3. 前記画像認識部は、前記被写体の実際の大きさを計算し、
   前記判定部は、前記被写体の実際の大きさに基づいて、前記被写体の前記可動性を判定する、請求項１又は請求項２に記載の撮影支援装置。
4. 前記選択部は、前記判定部によって前記被写体が可動性を有しないと判定された場合、前記複数の指示情報から構図に関する指示情報を選択する、請求項１〜請求項３のいずれか一項に記載の撮影支援装置。
5. 前記被写体の可動性は、前記被写体が自ら前記指示情報に従って動くことが可能であることを示す自立的可動を含み、
   前記選択部は、前記被写体が前記自立的可動である場合に、前記複数の指示情報から、撮影者又は前記被写体のいずれかを提示先とする指示情報を選択する、請求項１〜請求項４のいずれか一項に記載の撮影支援装置。
6. 前記選択部は、前記出力部によって前記指示情報が出力された後、前記画像取得部によって前記指示情報に従った画像が取得された場合、撮影指示に関する指示情報を選択する、請求項１〜請求項５のいずれか一項に記載の撮影支援装置。
7. 被写体を含む画像を取得する画像取得部と、
   前記画像取得部によって取得された前記画像に含まれる前記被写体を認識する画像認識部と、
   前記画像認識部によって認識された前記被写体の可動性を判定する判定部と、
   前記判定部によって判定された前記可動性に基づいて、指示情報記憶部に記憶されている撮影を支援するための複数の指示情報から指示情報を選択する選択部と、
   前記選択部によって選択された前記指示情報を出力する出力部と、
   してコンピュータを機能させる撮影支援プログラム。