JP2009232151A - 撮像装置、その制御方法およびプログラム - Google Patents

Abstract

【課題】視聴する際に視聴者の興味をひく撮像動画を容易に記録する。
【解決手段】アシスト画像管理テーブル記憶部２００は、撮像範囲において対象物を配置すべき位置およびサイズを表す複数の配置アシスト画像を記憶する。特定顔識別部１４０は、顔検出部１３０により検出された顔が特定顔であるか否かを識別する。操作アシスト画像生成部１６０は、配置アシスト画像により特定される対象物の位置およびサイズと、特定顔の撮像画像における位置およびサイズとの差分値に基づいて、特定顔の撮像画像における位置またはサイズを変更させるための操作アシスト画像を生成する。表示制御部１８０は、複数の配置アシスト画像のうちの１つの配置アシスト画像と操作アシスト画像とを撮像画像に重ねて表示させ、位置およびサイズの差分値が所定の範囲内になる度に、次の配置アシスト画像を所定の順序に従って順次表示させる。
【選択図】図１

Description

本発明は、撮像装置に関し、特に、人物の顔等の対象物を検出することが可能な撮像装置およびその制御方法ならびに当該方法をコンピュータに実行させるプログラムに関する。

従来、人物等の被写体を撮像して撮像画像を記録するデジタルスチルカメラやデジタルビデオカメラ等の撮像装置が普及している。また、近年では、人物の顔を検出し、この検出された顔に基づいて各種撮像パラメータを設定する撮像装置が存在する。さらに、検出された顔が特定人物の顔であるか否かを識別し、この識別された特定人物を撮影者に通知する撮像装置が提案されている。これらの撮像装置を用いて撮影を行うことにより、撮像装置の扱いに不慣れな者であっても、所望の人物を含む撮像画像を比較的綺麗に記録することができる。

ここで、例えば、旅行先の観光地で有名な建物を背景にした人物をデジタルスチルカメラで撮影する場合には、その有名な建物と人物との構図が重要となる。このため、撮像範囲内での建物と人物との位置およびサイズを考慮して撮影することが重要となるが、撮像装置の扱いに不慣れな者にとっては、これらの位置およびサイズを考慮した撮影が困難であることが考えられる。

そこで、例えば、撮像すべき被写体のフレーム内の位置およびサイズを表す目標構図データを取得し、撮像画像から検出された被写体の位置およびサイズとその目標構図データが表す被写体の位置およびサイズとを比較することにより、これらの差異を算出し、これらの差異が減少するように、ズーム倍率、撮像する向き等を案内する撮像装置が提案されている（例えば、特許文献１参照。）。
特開２００７−２５９０３５号公報（図１）

上述の従来技術によれば、静止画を撮影する場合に、撮像装置の扱いに不慣れな者であっても、適切な構図により撮像画像を記録することができる。

ここで、例えば、旅行先の観光地で特定人物をデジタルビデオカメラにより撮影する場合について考える。この場合についても、撮像範囲内での観光地の背景と特定人物との位置およびサイズを考慮して撮影することが重要である。しかしながら、上述の従来技術に示す構図（例えば、特定人物の全身）により撮像画像を記録する場合には、似たような構図の動画が連続して記録されることになる。このため、このように記録された撮像動画を視聴する場合には、似たような構図の動画が連続して再生されるため、再生時間の経過に応じて、再生中の動画に対する視聴者の興味が低減してしまうおそれがある。

そこで、本発明は、視聴する際に視聴者の興味をひく撮像動画を容易に記録することを目的とする。

本発明は、上記課題を解決するためになされたものであり、その第１の側面は、撮像範囲において対象物を配置すべき位置およびサイズを表す複数の配置アシスト画像を記憶する配置アシスト画像記憶手段と、被写体を撮像して撮像画像を生成する撮像手段と、前記撮像画像から前記対象物を検出するとともに当該対象物の前記撮像画像における位置およびサイズを検出する対象物検出手段と、前記配置アシスト画像記憶手段に記憶されている複数の配置アシスト画像のうちの１つの配置アシスト画像を前記撮像画像に重ねて表示させ、前記表示されている配置アシスト画像により特定される対象物の位置と前記検出された対象物の前記撮像画像における位置との差分値である位置差分値と、前記表示されている配置アシスト画像により特定される対象物のサイズと前記検出された対象物の前記撮像画像におけるサイズとの差分値であるサイズ差分値との双方が所定の範囲内になった場合には、前記配置アシスト画像記憶手段に記憶されている複数の配置アシスト画像のうち前記表示されている配置アシスト画像以外の配置アシスト画像を前記撮像画像に重ねて表示させる表示制御手段とを具備する撮像装置およびその制御方法ならびに当該方法をコンピュータに実行させるプログラムに関する。これにより、複数の配置アシスト画像のうちの１つの配置アシスト画像を撮像画像に重ねて表示させ、位置差分値およびサイズ差分値の双方が所定の範囲内になった場合には、複数の配置アシスト画像のうち前記表示されている配置アシスト画像以外の配置アシスト画像を撮像画像に重ねて表示させるという作用をもたらす。

また、この第１の側面において、前記表示制御手段は、前記位置差分値および前記サイズ差分値の双方が所定の範囲内になる度に前記配置アシスト画像記憶手段に記憶されている複数の配置アシスト画像を所定の順序に従って順次表示させるようにしてもよい。これにより、位置差分値およびサイズ差分値の双方が所定の範囲内になった場合には、複数の配置アシスト画像を所定の順序に従って順次表示させるという作用をもたらす。

また、この第１の側面において、前記検出された対象物が特定の対象物であるか否かを識別する特定対象物識別手段をさらに具備し、前記表示制御手段は、前記表示されている配置アシスト画像および前記識別された特定の対象物に関する前記位置差分値および前記サイズ差分値の双方が所定の範囲内になった場合に前記表示されている配置アシスト画像以外の配置アシスト画像を前記撮像画像に重ねて表示させるようにしてもよい。これにより、識別された特定の対象物に関する位置差分値およびサイズ差分値の双方が所定の範囲内になった場合に、他の配置アシスト画像を撮像画像に重ねて表示させるという作用をもたらす。

また、この第１の側面において、前記識別された特定の対象物の前記撮像画像における位置およびサイズに基づいて前記識別された特定の対象物に付す特定対象物マーカを生成する特定対象物マーカ生成手段をさらに具備し、前記表示制御手段は、前記配置アシスト画像記憶手段に記憶されている複数の配置アシスト画像のうちの１つの配置アシスト画像と前記生成された特定対象物マーカとを前記撮像画像に重ねて表示させるようにしてもよい。これにより、特定の対象物に付す特定対象物マーカを生成し、複数の配置アシスト画像のうちの１つの配置アシスト画像と、生成された特定対象物マーカとを撮像画像に重ねて表示させるという作用をもたらす。

また、この第１の側面において、対象物を識別するための複数の特定対象物識別情報を対象物毎に記憶する特定対象物識別情報記憶手段と、前記特定対象物識別情報が記憶されている複数の対象物のうちから少なくとも１つの対象物を指定する指定操作を受け付ける操作受付手段とをさらに具備し、前記特定対象物識別手段は、前記特定対象物識別情報記憶手段に記憶されている複数の特定対象物識別情報のうちの前記指定された対象物に係る特定対象物識別情報を用いて前記検出された対象物が前記特定の対象物であるか否かを識別するようにしてもよい。これにより、複数の特定対象物識別情報のうちの指定された対象物に係る特定対象物識別情報を用いて、検出された対象物が特定の対象物であるか否かを識別するという作用をもたらす。

また、この第１の側面において、前記位置差分値およびサイズ差分値を算出する差分値算出手段と、前記位置差分値およびサイズ差分値に基づいて前記検出された対象物の前記撮像画像における位置およびサイズのうちの少なくとも１つを変更させるための操作アシスト画像を生成する操作アシスト画像生成手段とをさらに具備し、前記表示制御手段は、前記配置アシスト画像記憶手段に記憶されている複数の配置アシスト画像のうちの１つの配置アシスト画像と前記生成された操作アシスト画像とを前記撮像画像に重ねて表示させるようにしてもよい。これにより、操作アシスト画像を生成し、複数の配置アシスト画像のうちの１つの配置アシスト画像と、生成された操作アシスト画像とを撮像画像に重ねて表示させるという作用をもたらす。

また、この第１の側面において、前記差分値算出手段は、前記表示されている配置アシスト画像により特定される対象物の左右方向の位置と前記検出された対象物の前記撮像画像における左右方向の位置との差分値である左右位置差分値と、前記表示されている配置アシスト画像により特定される対象物の上下方向の位置と前記検出された対象物の前記撮像画像における上下方向の位置との差分値である上下位置差分値とを前記位置差分値として算出し、前記操作アシスト画像生成手段は、前記左右位置差分値が左右位置閾値を超えた場合には前記検出された対象物の前記撮像画像における左右方向の位置を変更させるための前記操作アシスト画像である左右方向移動指示画像を生成し、前記上下位置差分値が上下位置閾値を超えた場合には前記検出された対象物の前記撮像画像における上下方向の位置を変更させるための前記操作アシスト画像である上下方向移動指示画像を生成し、前記サイズ差分値がサイズ閾値を超えた場合には前記検出された対象物の前記撮像画像におけるサイズを変更させるための操作アシスト画像であるズーム指示画像を生成するようにしてもよい。これにより、左右位置差分値が左右位置閾値を超えた場合には左右方向移動指示画像を生成し、上下位置差分値が上下位置閾値を超えた場合には上下方向移動指示画像を生成し、サイズ差分値がサイズ閾値を超えた場合にはズーム指示画像を生成するという作用をもたらす。

また、この第１の側面において、前記表示制御手段は、前記左右位置差分値が前記左右位置閾値を超えた場合または前記上下位置差分値が前記上下位置閾値を超えた場合には前記ズーム指示画像を表示させず、前記左右位置差分値が前記左右位置閾値を超えず、かつ、前記上下位置差分値が前記上下位置閾値を超えない場合であって、前記サイズ差分値が前記サイズ閾値を超えた場合には前記ズーム指示画像を表示させるようにしてもよい。これにより、左右位置差分値が左右位置閾値を超えた場合または上下位置差分値が上下位置閾値を超えた場合にはズーム指示画像を表示させず、左右位置差分値が左右位置閾値を超えず、かつ、上下位置差分値が上下位置閾値を超えない場合であって、サイズ差分値がサイズ閾値を超えた場合にはズーム指示画像を表示させるという作用をもたらす。

また、この第１の側面において、焦点距離を調整するためのズームレンズと、前記サイズ差分値に基づいて前記検出された対象物の前記撮像画像におけるサイズを変更させるために前記ズームレンズを駆動させる制御を行うズームレンズ制御手段とをさらに具備するようにしてもよい。これにより、検出された対象物の撮像画像におけるサイズを変更させるために、ズームレンズを駆動させる制御を行うという作用をもたらす。

また、この第１の側面において、前記表示制御手段は、前記ズームレンズ制御手段により前記ズームレンズが駆動されている場合にはその旨を示す操作アシスト画像を前記撮像画像に重ねて表示させるようにしてもよい。これにより、ズームレンズが駆動されている場合には、その旨を示す操作アシスト画像を撮像画像に重ねて表示させるという作用をもたらす。

また、この第１の側面において、前記ズームレンズ制御手段は、前記ズームレンズの駆動により前記撮像画像に含まれる被写体が拡大される場合には当該拡大後の撮像画像に前記検出された対象物が含まれる場合にのみ前記ズームレンズを駆動させる制御を行うようにしてもよい。これにより、ズームレンズの駆動により撮像画像に含まれる被写体が拡大される場合には、拡大後の撮像画像に、検出された対象物が含まれる場合にのみズームレンズを駆動させる制御を行うという作用をもたらす。

本発明によれば、視聴する際に視聴者の興味をひく撮像動画を容易に記録することができるという優れた効果を奏し得る。

次に本発明の実施の形態について図面を参照して詳細に説明する。

図１は、本発明の実施の形態における撮像装置１００の機能構成例を示すブロック図である。撮像装置１００は、光学系１１０と、ズームレンズ制御部１１２と、ズームレンズ駆動部１１３と、撮像部１２０と、顔検出部１３０と、特定顔識別部１４０と、特定顔識別辞書記憶部１４１と、差分値算出部１５０と、操作アシスト画像生成部１６０と、特定顔マーカ生成部１６５と、アシスト画像表示情報保持部１７０と、表示制御部１８０と、操作受付部１９０と、アシスト画像管理テーブル記憶部２００と、表示部３００とを備える。撮像装置１００は、例えば、顔検出機能およびズーム機能を備えるカムコーダ（camcorder：camera and recorder）によって実現することができる。

光学系１１０は、被写体からの光を集光する複数のレンズ（ズームレンズ１１１、フォーカスレンズ（図示せず）等）から構成され、入射された被写体からの光がこれらのレンズおよびアイリス（図示せず）を介して撮像部１２０に供給される。ズームレンズ１１１は、ズームレンズ駆動部１１３の駆動に応じて光軸方向に移動し、焦点距離を調整するレンズである。すなわち、ズームレンズ１１１により、ズーム機能が実現される。

ズームレンズ制御部１１２は、操作受付部１９０により受け付けられたズーム操作の内容に基づいて、ズームレンズ駆動部１１３を駆動させるための駆動制御信号を生成し、この駆動制御信号をズームレンズ駆動部１１３に出力するものである。

ズームレンズ駆動部１１３は、ズームレンズ制御部１１２から出力された駆動制御信号に応じてズームレンズ１１１を光軸方向に移動させるものである。

撮像部１２０は、所定の撮像パラメータに従って、被写体からの入射光を変換して撮像画像を生成するものであり、生成された撮像画像を顔検出部１３０および表示制御部１８０に出力する。すなわち、撮像部１２０において、光学系１１０を介して入射された被写体の光学像が撮像素子（図示せず）の撮像面に結像され、この結像された光学像に対応する撮像信号に対して、信号処理部（図示せず）が所定の信号処理を行うことにより、撮像画像が生成される。

顔検出部１３０は、撮像部１２０から出力された撮像画像に含まれる人物の顔を検出するものであり、検出された顔に関する顔検出情報を特定顔識別部１４０に出力する。顔検出方法として、例えば、顔の輝度分布情報が記録されているテンプレートと実画像とのマッチングによる顔検出方法（例えば、特開２００４−１３３６３７参照。）、撮影画像に含まれる肌色の部分や人間の顔の特徴量等に基づいた顔検出方法等を用いることができる。また、顔検出情報には、検出された顔を含むその周辺画像である顔画像（例えば、図２（ｂ）に示す顔画像４０１乃至４０３）と、検出された顔の撮像画像上における位置およびサイズとが含まれる。検出された顔の撮像画像上における位置は、例えば、撮像画像上における顔画像の中心位置とし、検出された顔の撮像画像上におけるサイズは、例えば、撮像画像上における顔画像の水平方向および垂直方向の長さとすることができる。この水平方向および垂直方向の長さにより、検出された顔の面積が特定される。

特定顔識別部１４０は、特定顔識別辞書記憶部１４１に記憶されている特定顔識別辞書を用いて、顔検出部１３０により検出された顔が、ユーザにより指定された特定人物の顔（特定顔）であるか否かを識別するものである。また、特定顔識別部１４０は、顔検出部１３０により検出された顔が特定顔であると識別した場合には、この特定顔の撮像画像上における位置およびサイズを差分値算出部１５０および特定顔マーカ生成部１６５に出力する。ここで、特定顔識別部１４０は、特定顔識別辞書記憶部１４１に記憶されている複数の特定顔識別辞書の中から、アシスト画像表示情報保持部１７０の辞書番号１７１（図５に示す）に保持されている辞書番号に対応する特定顔識別辞書を用いて識別処理を行う。

特定顔識別辞書記憶部１４１は、特定顔識別部１４０による特定顔識別処理に用いられる複数の特定顔識別辞書を特定顔毎に記憶するものであり、記憶されている特定顔識別辞書を特定顔識別部１４０に供給する。ここで、特定顔の識別方法として、例えば、特定人物の顔画像から抽出された特徴量に基づいた識別方法を用いることができる。すなわち、特定人物の顔画像から抽出された特徴量を特定顔識別辞書記憶部１４１に特定顔識別辞書として予め記憶しておく。そして、顔検出部１３０により検出された顔画像から特徴量が抽出され、この抽出された特徴量と、特定顔識別辞書に含まれる特徴量とが比較されることにより、これらの特徴量の類似度が算出される。そして、この算出された類似度が閾値を超えた場合に、その顔画像が特定顔であると判定される。また、特定顔の識別方法として、顔画像の特徴量を用いた識別方法以外に、例えば、判定対象となる顔画像上の２点間の輝度値の差分値を用いて判別器による識別処理を行う識別方法等を用いることができる。

アシスト画像管理テーブル記憶部２００は、配置アシスト画像および操作アシスト画像を表示部３００に表示するための各情報を記憶するものであり、記憶されている各情報を差分値算出部１５０、操作アシスト画像生成部１６０および表示制御部１８０に供給する。ここで、配置アシスト画像は、撮像範囲において、ユーザにより指定された特定顔を配置すべき位置およびサイズを表す人型画像であり、例えば、図４に示す配置アシスト画像２２２、２２５、２２８が表示される。また、操作アシスト画像は、撮像範囲において、ユーザにより指定された特定顔の位置およびサイズのうちの少なくとも１つを変更させるための画像であり、例えば、図７（ｂ）に示す左側移動指示画像４４１、上側移動指示画像４４２、ズーム指示画像４４３が表示される。なお、アシスト画像管理テーブル記憶部２００については、図３および図４を参照して詳細に説明する。

差分値算出部１５０は、特定顔識別部１４０により識別された特定顔の顔画像と、アシスト画像管理テーブル記憶部２００に記憶されている配置アシスト画像により特定される顔領域とを比較することにより、これらの位置およびサイズに関する差分値を算出するものであり、算出された各差分値を操作アシスト画像生成部１６０に出力する。具体的には、差分値算出部１５０は、特定顔識別部１４０から出力された特定顔の顔画像の撮像画像上における位置およびサイズと、アシスト画像管理テーブル記憶部２００に記憶されている配置アシスト画像により特定される顔領域の位置およびサイズとを比較することにより、撮像画像上における上下方向の位置の差分値、左右方向の位置の差分値、サイズの差分値のそれぞれを算出する。なお、これらの差分値の算出方法については、図７（ａ）を参照して詳細に説明する。

操作アシスト画像生成部１６０は、アシスト画像管理テーブル記憶部２００に記憶されている各閾値を用いて、差分値算出部１５０から出力された各差分値に基づいて、操作アシスト画像を生成するものであり、生成された操作アシスト画像を表示制御部１８０に出力する。また、操作アシスト画像生成部１６０は、差分値算出部１５０から出力された差分値が、アシスト画像管理テーブル記憶部２００に記憶されている閾値以下である場合には、その差分値に対応する操作アシスト画像を生成せずに、その差分値が閾値以下である旨を表示制御部１８０に出力する。なお、操作アシスト画像の生成については、図７（ｂ）を参照して詳細に説明する。

特定顔マーカ生成部１６５は、特定顔識別部１４０から出力された特定顔の顔画像の撮像画像上における位置およびサイズに基づいて、撮像画像における特定顔の位置を示す特定顔マーカを生成するものであり、生成された特定顔マーカを表示制御部１８０に出力する。

アシスト画像表示情報保持部１７０は、配置アシスト画像または操作アシスト画像を表示部３００に順次表示させるための各情報を保持するものであり、保持されている各情報を特定顔識別部１４０、差分値算出部１５０および表示制御部１８０に供給する。また、アシスト画像表示情報保持部１７０に保持されている各情報は、表示制御部１８０により順次書き換えられる。なお、アシスト画像表示情報保持部１７０については、図５を参照して詳細に説明する。

表示制御部１８０は、撮像部１２０から出力された撮像画像を表示部３００に順次表示させるものである。また、表示制御部１８０は、アシスト画像表示情報保持部１７０に保持されている各情報に従って、アシスト画像管理テーブル記憶部２００に記憶されている配置アシスト画像を撮像画像上に重ねて順次表示させる。さらに、表示制御部１８０は、操作アシスト画像生成部１６０から出力された操作アシスト画像と、特定顔マーカ生成部１６５から出力された特定顔マーカとを撮像画像上に重ねて表示させる。表示制御部１８０は、操作受付部１９０からの操作内容、または、表示部３００の表示状態に応じて、アシスト画像表示情報保持部１７０の内容の書換えを行う。

操作受付部１９０は、ユーザによって操作された操作内容を受け付ける操作受付部であり、受け付けられた操作内容に応じた信号をズームレンズ制御部１１２または表示制御部１８０に出力する。操作受付部１９０として、例えば、ズーム操作を行うためのＷ（ワイド）ボタンおよびＴ（テレ）ボタン、特定顔を指定するための特定顔指定ボタン、動画の記録が可能な状態にする動画記録モードの設定または解除を行うための動画記録モード設定／解除ボタン、この動画記録モードにおいてアシスト画像を表示させるアシスト画像表示モードの設定または解除を行うためのアシスト画像表示モード設定／解除ボタン等の操作部材が撮像装置１００に備えられている。ここで、Ｗボタンが押下されている状態では、ズームレンズ制御部１１２の制御に基づいて、ズームレンズ１１１がワイド端側（広角側）に移動し、Ｔボタンが押下されている状態では、ズームレンズ制御部１１２の制御に基づいて、ズームレンズ１１１がテレ端側（望遠側）に移動する。

表示部３００は、表示制御部１８０の制御に基づいて、撮像画像等の各画像を表示するものである。表示部３００は、例えば、ＬＣＤ（Liquid Crystal Display：液晶ディスプレイ）やＥＶＦ（Electronic View Finder：電子ビューファインダ）により実現することができる。なお、操作受付部１９０の一部または全部と表示部３００とをタッチパネルとして一体で構成するようにしてもよい。

図２は、本発明の実施の形態における特定顔識別辞書記憶部１４１に記憶されている特定顔識別辞書を用いてユーザにより指定された特定顔を識別する場合を概略的に示す図である。図２（ａ）には、特定顔識別辞書記憶部１４１に記憶されている特定顔識別辞書を示し、図２（ｂ）には、撮像部１２０により生成された撮像画像４００を示す。ここで、特定顔識別辞書記憶部１４１に記憶されている各特定顔識別辞書は、顔検出部１３０により検出された顔画像について、特定顔識別部１４０による特定顔識別処理を行うための判定データであるが、図２（ａ）では、特定顔識別辞書として各特定顔識別辞書に対応する顔を模式的に示す。また、図２（ａ）では、３人の顔に対応する特定顔識別辞書が特定顔識別辞書記憶部１４１に記憶されている場合を例にして示す。

図２（ａ）に示すように、特定顔識別辞書記憶部１４１には、特定顔識別辞書を識別するための辞書番号が特定顔識別辞書に関連付けて記憶されている。例えば、辞書番号として「００１」、「００２」、「００３」が付与されて記憶される。ここで、特定顔識別部１４０により特定顔識別処理が行われる場合には、特定顔識別辞書記憶部１４１に記憶されている複数の特定顔識別辞書の中から、ユーザにより指定された少なくとも１つの特定顔に係る特定顔識別辞書を用いて特定顔識別処理が行われる。すなわち、特定顔識別辞書記憶部１４１に記憶されている複数の特定顔識別辞書の中から、少なくとも１つの特定顔に係る特定顔識別辞書を指定する指定操作が操作受付部１９０により受け付けられた場合には、この指定された特定顔識別辞書に対応する辞書番号が、アシスト画像表示情報保持部１７０の辞書番号１７１（図５に示す）に記録される。そして、特定顔識別部１４０により特定顔識別処理が行われる場合には、アシスト画像表示情報保持部１７０の辞書番号１７１に記録されている辞書番号に対応する特定顔識別辞書を用いて特定顔識別処理が行われる。ここでは、アシスト画像表示情報保持部１７０の辞書番号１７１に「００１」が記録されている場合を例にして説明する。

図２（ｂ）に示す撮像画像４００には、３人の人物４１１乃至４１３が含まれている。このため、人物４１１乃至４１３の顔が顔検出部１３０により検出され、顔画像４０１乃至４０３と、これらの位置およびサイズとが特定顔識別部１４０に出力される。そして、特定顔識別部１４０は、ユーザにより指定された特定顔の辞書番号「００１」に対応する特定顔識別辞書を用いて、顔画像３０１乃至３０３について特定顔識別処理を行い、この特定顔識別処理により、ユーザにより指定された特定顔が識別される。例えば、図２（ｂ）に示すように、辞書番号「００１」に対応する特定顔識別辞書を表す特定顔と略同一である顔画像４０１が特定顔として識別される。なお、複数の特定顔を指定しておき、これらの複数の特定顔のうちの少なくとも１つの特定顔を識別するようにしてもよい。

図３は、本発明の実施の形態におけるアシスト画像管理テーブル記憶部２００に記憶されている内容を概略的に示す図である。アシスト画像管理テーブル記憶部２００には、管理番号２１０と、配置アシスト画像情報２２０と、上下移動指示画像表示閾値２３０と、左右移動指示画像表示閾値２４０と、ズーム指示画像表示閾値２５０と、待ち時間カウンタ閾値２６０とが配置アシスト画像毎に格納されている。なお、本発明の実施の形態では、３種類の配置アシスト画像を用いた例について説明する。

管理番号２１０は、複数種類の配置アシスト画像のそれぞれに付与される識別番号であり、例えば、３種類の配置アシスト画像のそれぞれに対応して管理番号１乃至３が格納される。

配置アシスト画像情報２２０は、配置アシスト画像を表示させるための情報であり、テンプレート画像、顔位置および顔サイズが含まれる。テンプレート画像は、撮像画像に重ねて表示部３００に表示される配置アシスト画像のテンプレート画像であり、例えば、管理番号２１０の「１」乃至「３」に関連付けて、「テンプレート画像Ａ」乃至「テンプレート画像Ｃ」が格納される。なお、これらのテンプレート画像については、図４を参照して詳細に説明する。ここで、撮像画像を平面座標とする場合において、配置アシスト画像の顔領域に相当する矩形の中心位置の座標が顔位置に格納される。さらに、その顔領域に相当する矩形の高さおよび幅が顔サイズに格納される。すなわち、顔位置および顔サイズには、配置アシスト画像により特定される顔領域の位置およびサイズが格納される。

上下移動指示画像表示閾値２３０は、撮像画像において特定顔の人物を上下方向に移動させるための指標となる上側移動指示画像または下側移動指示画像を表示するか否かを判定する場合に用いられる閾値である。

左右移動指示画像表示閾値２４０は、撮像画像において特定顔の人物を左右方向に移動させるための指標となる左側移動指示画像または右側移動指示画像を表示するか否かを判定する場合に用いられる閾値である。

ズーム指示画像表示閾値２５０は、撮像画像において特定顔の人物を拡大または縮小するためにズーム操作を行わせるための指標となるズーム指示画像を表示するか否かを判定する場合に用いられる閾値である。なお、上下移動指示画像表示閾値２３０、左右移動指示画像表示閾値２４０およびズーム指示画像表示閾値２５０の各閾値については、管理番号２１０の「１」乃至「３」に応じて、その値を変更するようにしてもよく、管理番号２１０の「１」乃至「３」のそれぞれについて同一の値を使用するようにしてもよい。

待ち時間カウンタ閾値２６０は、表示部３００に表示されている配置アシスト画像に特定顔が合致した後に、次の配置アシスト画像に切り換える際に用いられる閾値である。すなわち、この閾値は、配置アシスト画像に特定顔が合致してから、次の配置アシスト画像に切り換えるまでの待ち時間を示す値である。

図４は、本発明の実施の形態におけるアシスト画像管理テーブル記憶部２００に記憶されている配置アシスト画像を含むテンプレート画像の例を示す図である。本発明の実施の形態では、撮像範囲の中央部分で、撮像画像に含まれる人物の特定顔を次第に大きくするための配置アシスト画像を順次表示させる場合を例にして示す。図４（ａ）には、管理番号２１０の「１」に対応するテンプレート画像Ａ（２２１）を示し、図４（ｂ）には、管理番号２１０の「２」に対応するテンプレート画像Ｂ（２２４）を示し、図４（ｃ）には、管理番号２１０の「３」に対応するテンプレート画像Ｃ（２２７）を示す。

テンプレート画像Ａ（２２１）には配置アシスト画像２２２が含まれ、この配置アシスト画像２２２が撮像画像に重ねられて表示部３００に表示される。また、テンプレート画像Ａ（２２１）に示す矩形２２３は、配置アシスト画像２２２の顔部分に相当する領域であり、この領域により特定される位置およびサイズが、配置アシスト画像情報２２０の顔位置および顔サイズに格納される。具体的には、配置アシスト画像情報２２０の顔位置（Ｘ１，Ｙ１）には、矩形２２３の中心位置である顔位置Ｏ１が格納され、配置アシスト画像情報２２０の顔サイズ（Ｈ１，Ｗ１）には、矩形２２３の左右方向の長さ（幅）Ｗ１および上下方向の長さ（高さ）が格納される。また、テンプレート画像Ｂ（２２４）における配置アシスト画像２２５および矩形２２６の関係と、テンプレート画像Ｃ（２２７）における配置アシスト画像２２８および矩形２２９の関係とについても、テンプレート画像Ａ（２２１）における配置アシスト画像２２２および矩形２２３の関係と同様であるため、ここでの説明を省略する。ここで、例えば、配置アシスト画像２２２は、特定人物の全身が写るように記録する場合に表示される画像であり、配置アシスト画像２２５は、特定人物をバストアップで記録する場合に表示される画像であり、配置アシスト画像２２８は、特定人物の顔がアップになるように記録する場合に表示される画像である。

図５は、本発明の実施の形態におけるアシスト画像表示情報保持部１７０に保持されている内容を概略的に示す図である。アシスト画像表示情報保持部１７０には、辞書番号１７１と、管理番号１７２と、合致フラグ１７３と、待ち時間カウンタ１７４とが保持される。

辞書番号１７１は、特定顔識別辞書記憶部１４１に記憶されている複数の特定顔識別辞書の中のユーザにより指定された特定顔識別辞書に対応する辞書番号であり、図５では、特定顔識別辞書記憶部１４１に記憶されている辞書番号「００１」に対応する特定顔識別辞書が指定されている場合を示す。ここで、辞書番号１７１の内容は、操作受付部１９０からの指定操作に応じて表示制御部１８０により書換えが行われる。

管理番号１７２は、アシスト画像管理テーブル記憶部２００に記憶されている複数の管理番号の中の現在選択されている管理番号であり、図５では、アシスト画像管理テーブル記憶部２００に記憶されている管理番号「１」が現在選択されている場合を示す。

合致フラグ１７３は、管理番号１７２に格納されている管理番号に対応する配置アシスト画像（表示部３００に表示されている配置アシスト画像）に特定顔が一致したか否かを示すフラグである。ここで、配置アシスト画像に特定顔が一致する場合とは、差分値算出部１５０により算出された各差分値が、管理番号１７２に格納されている管理番号に対応してアシスト画像管理テーブル記憶部２００に記憶されている上下移動指示画像表示閾値２３０、左右移動指示画像表示閾値２４０およびズーム指示画像表示閾値２５０のそれぞれ対応する閾値以下である場合を意味する。例えば、管理番号１７２に格納されている管理番号に対応する配置アシスト画像に特定顔が一致した場合には表示制御部１８０により「１」が格納され、その配置アシスト画像に特定顔が一致していない場合には表示制御部１８０により「０」が格納される。なお、図５では、その配置アシスト画像に特定顔が一致していない場合を示す。

待ち時間カウンタ１７４は、管理番号１７２に格納されている管理番号に対応する配置アシスト画像に特定顔が一致してからの経過時間を示すカウンタである。すなわち、待ち時間カウンタ１７４には、合致フラグ１７３に「１」が格納されてからの経過時間が表示制御部１８０により格納され、この経過時間が、管理番号１７２に格納されている管理番号に対応する待ち時間カウンタ閾値２６０の値に達した場合には、管理番号１７２に格納されている管理番号が表示制御部１８０により次の番号に書き換えられ、合致フラグ１７３に「０」が格納される。

図６、図７（ｂ）、図８乃至図１４は、本発明の実施の形態における表示部３００の表示例を示す図である。また、図７（ａ）は、操作アシスト画像を表示させるための差分値を算出する算出方法を概略的に示す図である。なお、これらの表示例は、動画記録モードが設定されている場合において、モニタリング状態、または、動画記録中における表示例である。

図６（ａ）には、アシスト画像表示モードが設定されている場合において、図２（ｂ）に示す撮像画像４００が表示部３００に表示されている状態を示す。この例では、辞書番号「００１」の特定顔識別辞書がユーザにより指定されている場合において、人物４１１の顔が特定顔として識別され、この顔に特定顔マーカ４２０が付されている場合を示す。ここで、アシスト画像表示モードを設定する操作入力が操作受付部１９０により受け付けられた場合には、図６（ｂ）に示すように、アシスト画像表示情報保持部１７０の管理番号１７２に保持されている管理番号に対応するテンプレート画像に含まれる配置アシスト画像が撮像画像に重ねて表示される。例えば、図５に示すように、管理番号１７２に「１」が格納されている場合には、図４に示すテンプレート画像Ａ（２２１）に含まれる配置アシスト画像２２２が表示制御部１８０により表示部３００に表示される。

図７（ａ）には、図６（ｂ）に示す表示例の場合における配置アシスト画像２２２と、特定顔の顔画像４０１との差分値を算出する算出方法を概略的に示す。また、図７（ａ）には、図６（ｂ）に示す表示例のうちの人物４１１および位置アシスト画像２２２のみを示し、図６（ｂ）に示す撮像画像と同じ大きさの範囲を撮像範囲４３０として示す。ここで、本発明の実施の形態では、配置アシスト画像および特定顔の顔画像の差分値として、撮像画像上における配置アシスト画像情報２２０の顔位置と、特定顔の顔画像の中心位置との左右方向および上下方向の差分値と、撮像画像上における配置アシスト画像情報２２０の顔サイズにより特定される面積と、特定顔の顔画像の面積との差分値を用いる場合を例にして説明する。具体的に、撮像範囲４３０の左上角を原点（０，０）とし、左右方向をｘ軸、上下方向をｙ軸としたｘｙ平面座標上において、特定顔の顔画像４０１の中心位置を座標（Ｘ１１，Ｙ１１）とし、特定顔の顔画像４０１の上下方向の長さを高さＨ１１とし、左右方向の長さを幅Ｗ１１とする。これらの値は、顔検出部１３０により検出される。この場合に、配置アシスト画像２２２の顔位置Ｏ１（Ｘ１，Ｙ１）と、特定顔の顔画像４０１の中心位置座標（Ｘ１１，Ｙ１１）との上下方向の差分値はＪ１１であり、左右方向の差分値はＳ１１である。また、配置アシスト画像２２２の顔サイズにより特定される面積と、特定顔の顔画像４０１の面積との差分値は、「（Ｗ１×Ｈ１）−（Ｗ１１×Ｈ１１）」により求めることができる。このように、特定顔の顔画像の位置およびサイズと、配置アシスト画像により特定される顔領域の位置およびサイズとに基づいて、差分値算出部１５０が各差分値を算出する。そして、操作アシスト画像生成部１６０が、これらの差分値に基づいて操作アシスト画像を生成し、表示制御部１８０が、生成された操作アシスト画像を撮像画像に重ねて表示部３００に表示させる。

具体的には、上下方向の差分値Ｊ１１の絶対値が、管理番号２１０の「１」に対応して上下移動指示画像表示閾値２３０に格納されている「Ｊ１」の値よりも大きい場合には、移動すべき方向を示す操作アシスト画像が生成される。ここで、配置アシスト画像２２２の顔位置Ｏ１（Ｘ１，Ｙ１）を基準とした場合において、上下方向の差分値Ｊ１１の絶対値が「Ｊ１」の値よりも大きい場合に、上下方向の差分値Ｊ１１が正の値であれば、撮像装置１００を上側にチルティングすることを示す上側移動指示画像が生成され、上下方向の差分値Ｊ１１が負の値であれば、撮像装置１００を下側にチルティングすることを示す下側移動指示画像が生成される。例えば、図７（ａ）に示す例では、上下方向の差分値Ｊ１１が正の値であるため、撮像装置１００を上側にチルティングすることを示す上側移動指示画像４４２（図７（ｂ）に示す）が生成される。ここで、上側移動指示画像４４２の上下方向の長さＡＪ１１は、上下方向の差分値Ｊ１１に応じて決定される。この差分値Ｊ１１が大きくなるに応じて、上側移動指示画像４４２の上下方向の長さＡＪ１１が長くなる。そして、図７（ｂ）に示すように、上側移動指示画像４４２が撮像画像に重ねて表示部３００に表示される。ここで、チルティングは、撮影者の撮影位置を変更しない状態で、上下方向に撮像装置１００を振ることを意味する。

同様に、左右方向の差分値Ｓ１１の絶対値が、管理番号２１０の「１」に対応して左右移動指示画像表示閾値２４０に格納されている「Ｓ１」の値よりも大きい場合には、移動すべき方向を示す操作アシスト画像が生成される。ここで、配置アシスト画像２２２の顔位置Ｏ１（Ｘ１，Ｙ１）を基準とした場合において、左右方向の差分値Ｓ１１の絶対値が「Ｓ１」の値よりも大きい場合に、左右方向の差分値Ｓ１１が正の値であれば、撮像装置１００を左側にパンニングすることを示す左側移動指示画像が生成され、左右方向の差分値Ｓ１１が負の値であれば、撮像装置１００を右側にパンニングすることを示す右側移動指示画像が生成される。例えば、図７（ａ）に示す例では、左右方向の差分値Ｓ１１が正の値であるため、撮像装置１００を左側にパンニングすることを示す左側移動指示画像４４１（図７（ｂ）に示す）が生成される。ここで、左側移動指示画像４４１の左右方向の長さＡＳ１１は、左右方向の差分値Ｓ１１に応じて決定される。そして、図７（ｂ）に示すように、左側移動指示画像４４１が撮像画像に重ねて表示部３００に表示される。ここで、パンニングは、撮影者の撮影位置を変更しない状態で、水平方向に撮像装置１００を振ることを意味する。

また、配置アシスト画像２２２の顔サイズにより特定される面積と、特定顔の顔画像４０１の面積との差分値の絶対値が、管理番号２１０の「１」に対応してズーム指示画像表示閾値２５０に格納されている「Ｚ１」の値よりも大きい場合には、ズーム操作をすべき操作量を示す操作アシスト画像が生成される。ここで、配置アシスト画像２２２の顔サイズ（Ｈ１，Ｗ１）により特定される面積を基準とした場合において、面積の差分値の絶対値が「Ｚ１」の値よりも大きい場合に、その面積の差分値が正の値であれば、ズームアップ操作（拡大操作）することを示すズーム指示画像が生成され、その面積の差分値が負の値であれば、ズームダウン操作（縮小操作）することを示すズーム指示画像が生成される。例えば、図７（ａ）に示す例では、その面積の差分値が正の値であるため、ズームアップ操作（拡大操作）することを示すズーム指示画像４４３（図７（ｂ）に示す）が生成される。ここで、ズーム指示画像４４３の上下方向の長さＨＷ１１は、その面積の差分値に応じて決定される。すなわち、その面積の差分値が大きくなるに応じて、ズーム指示画像４４３の上下方向の長さＨＷ１１が長くなる。そして、図７（ｂ）に示すように、ズーム指示画像４４３が撮像画像に重ねて表示部３００に表示される。なお、図７（ｂ）では、左側移動指示画像４４１を配置アシスト画像２２２の左側に配置し、上側移動指示画像４４２を配置アシスト画像２２２の上側に配置し、ズーム指示画像４４３を配置アシスト画像２２２の右側に配置する例を示すが、他の配置とするようにしてもよい。例えば、顔が検出されていない領域に操作アシスト画像を配置するようにしてもよい。また、この例では、差分値に応じて操作アシスト画像の長さを変更する場合を示すが、例えば、差分値に応じた操作アシスト画像の太さや透過率の変更等により、ユーザに操作量を通知するようにしてもよい。

図８（ａ）には、図７（ｂ）に示す左側移動指示画像４４１に従って、ユーザにより撮像装置１００が左側にパンニングされた後の表示例を示す。図８（ａ）に示すように、左右方向の差分値Ｓ１１の絶対値が、管理番号２１０の「１」に対応して左右移動指示画像表示閾値２４０に格納されている「Ｓ１」の値の範囲内になった場合には、左側移動指示画像４４１が消去される。ここで、例えば、ユーザにより撮像装置１００が左側にパンニングされている途中でパンニング操作が中止された場合において、左右方向の差分値Ｓ１１の絶対値が「Ｓ１」の値よりも大きい場合には、左右方向の差分値Ｓ１１に応じて、左側移動指示画像４４１の長さが短縮されて表示される。なお、図８（ａ）に示す例では、上下方向の差分値および面積（サイズ）の差分値については変更がないため、図７（ｂ）と同様に、上側移動指示画像４４２およびズーム指示画像４４３が継続して表示される。

図８（ｂ）には、図８（ａ）に示す上側移動指示画像４４２に従って、ユーザにより撮像装置１００が上側にチルティングされた後の表示例を示す。図８（ｂ）に示すように、上下方向の差分値Ｊ１１の絶対値が、管理番号２１０の「１」に対応して上下移動指示画像表示閾値２３０に格納されている「Ｊ１」の値の範囲内になった場合には、上側移動指示画像４４２が消去される。ここで、例えば、ユーザにより撮像装置１００が上側にチルティングされている途中でチルティング操作が中止された場合において、上下方向の差分値Ｊ１１の絶対値が「Ｊ１」の値よりも大きい場合には、上下方向の差分値Ｊ１１に応じて、上側移動指示画像４４２の長さが短縮されて表示される。なお、図８（ｂ）に示す例では、面積の差分値については変更がないため、図８（ａ）と同様に、ズーム指示画像４４３が継続して表示される。

図９（ａ）には、図８（ｂ）に示すズーム指示画像４４３に従って、ユーザにより操作受付部１９０からズームアップ操作がされた後の表示例を示す。図９（ａ）に示すように、面積の差分値の絶対値が、管理番号２１０の「１」に対応してズーム指示画像表示閾値２５０に格納されている「Ｚ１」の値の範囲内になった場合には、ズーム指示画像４４３が消去される。ここで、例えば、ユーザにより操作受付部１９０からズームアップ操作がされている途中でズームアップ操作が中止された場合において、面積の差分値の絶対値が「Ｚ１」の値よりも大きい場合には、面積の差分値に応じて、ズーム指示画像４４３の長さが短縮されて表示される。このように、図９（ａ）に示す例では、上下左右方向およびサイズの各差分値が、管理番号２１０の「１」に対応する各閾値の範囲内になったため、左側移動指示画像４４１、上側移動指示画像４４２、ズーム指示画像４４３の全てが消去される。

図９（ｂ）には、図９（ａ）に示す表示状態で、アシスト画像表示モードを解除する操作入力が操作受付部１９０により受け付けられた後の表示例を示す。このように、アシスト画像表示モードを解除する操作入力が受け付けられた場合には、配置アシスト画像２２２が消去される。なお、左側移動指示画像４４１、上側移動指示画像４４２、ズーム指示画像４４３等の操作アシスト画像が表示されている場合には、これらの操作アシスト画像も消去される。このように、特定顔がユーザの好みの配置となった場合には、アシスト画像表示モードを解除する操作入力を行うことにより、撮像画像のみを表示させることができる。

図１０（ｂ）には、図１０（ａ）に示す表示状態で、アシスト画像表示モードを解除する操作入力がなく、一定時間（図３に示す待ち時間カウンタ閾値２６０の「Ｔ１」）が経過した後の表示例を示す。なお、図１０（ａ）に示す表示例は、図９（ａ）に示す表示例と同一である。図１０（ａ）に示すように、配置アシスト画像２２２の顔領域に特定顔が合致してから、管理番号２１０の「１」に対応して待ち時間カウンタ閾値２６０に格納されている「Ｔ１」の時間が経過した場合には、配置アシスト画像２２２が消去され、管理番号２１０の「２」に対応して配置アシスト画像情報２２０のテンプレート画像に格納されているテンプレート画像Ｂ（２２４）に含まれる配置アシスト画像２２５が撮像画像に重ねて表示部３００に表示される。すなわち、配置アシスト画像の顔領域に特定顔が合致してから一定時間が経過した場合には、管理番号２１０の順序に従って、配置アシスト画像が切り換えて表示される。そして、切り換え後の配置アシスト画像と、特定顔との各差分値が算出され、各差分値に基づいて操作アシスト画像が表示される。なお、配置アシスト画像の顔領域に特定顔が合致してから一定時間が経過した場合には、動画記録中であることを条件に、配置アシスト画像を切り換えるようにしてもよい。

図１１（ａ）には、切り換え後の配置アシスト画像と特定顔との各差分値に基づいて生成された操作アシスト画像の表示例を示す。図１１（ａ）に示す表示例では、操作アシスト画像としてズーム指示画像４５１が表示されている場合を示す。ここで、ズーム指示画像４５１の長さＨＷ２１は、図７（ａ）に示す算出方法と同様に算出された差分値により決定される。また、図１１（ａ）に示す表示例では、上下方向および左右方向の何れの差分値も閾値を超えていないため、上下方向および左右方向に移動させるための操作アシスト画像は表示されない。ここで、例えば、特定顔の人物４１１が撮像画像上の左側方向に移動した場合において、左右方向の差分値の絶対値が、管理番号２１０の「２」に対応して左右移動指示画像表示閾値２４０に格納されている「Ｓ２」の値よりも大きくなった場合には、図１１（ｂ）に示すように、左側移動指示画像４５２が表示される。なお、左側移動指示画像４５２の長さＡＳ２１は、左右方向の差分値に応じて決定される。また、ユーザにより撮像装置１００が上下左右方向に移動された場合等についても、各差分値が算出され、この各差分値に基づいて操作アシスト画像が表示される。

図１２（ａ）には、図１１（ｂ）に示す左側移動指示画像４５２に従って、ユーザにより撮像装置１００が左側にパンニングされた後の表示例を示す。図１２（ａ）に示すように、左右方向の差分値の絶対値が、管理番号２１０の「２」に対応して左右移動指示画像表示閾値２４０に格納されている「Ｓ２」の値の範囲内になった場合には、左側移動指示画像４５２が消去される。なお、図１２（ａ）に示す例では、面積の差分値については変更がないため、図１１（ｂ）と同様に、ズーム指示画像４５１が継続して表示される。

図１２（ｂ）には、図１２（ａ）に示すズーム指示画像４５１に従って、ユーザにより操作受付部１９０からズームアップ操作がされた後の表示例を示す。図１２（ｂ）に示すように、面積の差分値の絶対値が、管理番号２１０の「２」に対応してズーム指示画像表示閾値２５０に格納されている「Ｚ２」の値の範囲内になった場合には、ズーム指示画像４５１が消去される。このように、図１２（ｂ）に示す例では、上下左右方向およびサイズの各差分値が、管理番号２１０の「２」に対応する各閾値の範囲内になったため、左側移動指示画像、上側移動指示画像、ズーム指示画像の全てが消去される。

図１３（ａ）には、図１２（ｂ）に示す表示状態で、アシスト画像表示モードを解除する操作入力がなく、一定時間（図３に示す待ち時間カウンタ閾値２６０の「Ｔ２」）が経過した後の表示例を示す。図１３（ａ）に示すように、配置アシスト画像２２２の顔領域に特定顔が合致してから、管理番号２１０の「２」に対応して待ち時間カウンタ閾値２６０に格納されている「Ｔ２」の時間が経過した場合には、配置アシスト画像２２５が消去され、管理番号２１０の「３」に対応して配置アシスト画像情報２２０のテンプレート画像に格納されているテンプレート画像Ｃ（２２７）に含まれる配置アシスト画像２２８が撮像画像に重ねて表示部３００に表示される。そして、切り換え後の配置アシスト画像と、特定顔との各差分値が算出され、各差分値に基づいて操作アシスト画像が表示される。

図１３（ｂ）には、切り換え後の配置アシスト画像と特定顔との各差分値に基づいて生成された操作アシスト画像の表示例を示す。図１３（ｂ）に示す表示例では、操作アシスト画像としてズーム指示画像４６１が表示されている場合を示す。ここで、ズーム指示画像４６１の長さＨＷ３１は、図７（ａ）に示す算出方法と同様に算出された差分値により決定される。また、図１３（ｂ）に示す表示例では、上下方向および左右方向の何れの差分値も閾値を超えていないため、上下方向および左右方向に移動させるための操作アシスト画像は表示されない。

図１４（ａ）には、図１３（ｂ）に示すズーム指示画像４６１に従って、ユーザにより操作受付部１９０からズームアップ操作がされた後の表示例を示す。図１４（ａ）に示すように、面積の差分値の絶対値が、管理番号２１０の「３」に対応してズーム指示画像表示閾値２５０に格納されている「Ｚ３」の値の範囲内になった場合には、ズーム指示画像４６１が消去される。このように、図１４（ａ）に示す例では、上下左右方向およびサイズの各差分値が、管理番号２１０の「１」に対応する各閾値の範囲内になったため、左側移動指示画像、上側移動指示画像、ズーム指示画像の全てが消去される。

図１４（ｂ）には、図１４（ｂ）に示す表示状態で、アシスト画像表示モードを解除する操作入力がなく、一定時間（図３に示す待ち時間カウンタ閾値２６０の「Ｔ３」）が経過した後の表示例を示す。図１４（ｂ）に示すように、配置アシスト画像２２８の顔領域に特定顔が合致してから、管理番号２１０の「３」に対応して待ち時間カウンタ閾値２６０に格納されている「Ｔ３」の時間が経過した場合には、配置アシスト画像２２８が消去され、管理番号２１０の「１」に対応して配置アシスト画像情報２２０のテンプレート画像に格納されているテンプレート画像Ａ（２２１）に含まれる配置アシスト画像２２２が撮像画像に重ねて表示部３００に表示される。このように、現在表示されている配置アシスト画像に対応する管理番号２１０が最下端の番号「３」である場合には、管理番号２１０の最上端の番号「１」に戻るように切替えが行われる。ここで、現在表示されている配置アシスト画像に対応する管理番号２１０が最下端の番号「３」である場合には、管理番号２１０の最上端の番号「１」に戻る切替えを行わず、アシスト画像表示モードを自動で解除するようにしてもよい。

次に、本発明の実施の形態における撮像装置１００の動作について図面を参照して説明する。

図１５は、本発明の実施の形態における撮像装置１００によるアシスト画像表示処理の処理手順を示すフローチャートである。この例では、ユーザにより指定された特定顔に係る特定顔識別辞書の辞書番号が、アシスト画像表示情報保持部１７０の辞書番号１７１に格納されている場合について説明する。また、この例では、動画記録モードおよびアシスト画像表示モードがユーザにより設定されている場合について説明する。

最初に、表示制御部１８０が、アシスト画像表示情報保持部１７０の管理番号１７２を「１」に初期化し（ステップＳ９０１）、アシスト画像表示情報保持部１７０の合致フラグ１７３および待ち時間カウンタ１７４を「０」に初期化する（ステップＳ９０２）。続いて、撮像部１２０が撮像画像を生成し（ステップＳ９０３）、表示制御部１８０が、アシスト画像表示情報保持部１７０の管理番号１７２に格納されている管理番号に対応してアシスト画像管理テーブル記憶部２００に記憶されているテンプレート画像の配置アシスト画像を撮像画像に重ねて表示部３００に表示する（ステップＳ９０４）。

また、顔検出部１３０が、撮像部１２０により生成された撮像画像から顔を検出する顔検出処理を行う（ステップＳ９０５）。そして、撮像画像から顔が検出された場合には（ステップＳ９０６）、特定顔識別部１４０が、指定された特定顔に係る特定顔識別辞書を用いて、検出された顔について顔識別処理を行う（ステップＳ９０７）。そして、検出された顔が特定顔であると識別された場合には（ステップＳ９０８）、操作アシスト画像表示処理が行われる（ステップＳ９２０）。この操作アシスト画像表示処理については、図１６を参照して詳細に説明する。続いて、配置アシスト画像更新処理が行われる（ステップＳ９４０）。この配置アシスト画像更新処理については、図１７を参照して詳細に説明する。

一方、撮像画像から顔が検出されない場合（ステップＳ９０６）、または、検出された顔が特定顔であると識別されない場合には（ステップＳ９０８）、表示制御部１８０が、撮像画像に重ねて表示されている各操作アシスト画像を消去する（ステップＳ９０９）。

続いて、表示制御部１８０が、動画記録モードが解除されたか否かを判断し（ステップＳ９１０）、動画記録モードが解除されていない場合には、アシスト画像表示モードが解除されたか否かを判断する（ステップＳ９１１）。動画記録モードが解除された場合（ステップＳ９１０）、または、アシスト画像表示モードが解除された場合には（ステップＳ９１１）、アシスト画像表示処理の動作を終了する。一方、動画記録モードが解除されておらず（ステップＳ９１０）、アシスト画像表示モードが解除されていない場合には（ステップＳ９１１）、ステップＳ９０３に戻る。

図１６は、本発明の実施の形態における撮像装置１００によるアシスト画像表示処理の処理手順のうちの操作アシスト画像表示処理手順（図１５に示すステップＳ９２０の処理手順）を示すフローチャートである。

最初に、差分値算出部１５０が、アシスト画像表示情報保持部１７０の管理番号１７２に格納されている管理番号に対応してアシスト画像管理テーブル記憶部２００に記憶されている顔位置および顔サイズと、特定顔であると識別された顔画像の位置およびサイズとを比較することにより、左右方向および上下方向の差分値と、サイズの差分値とを算出する（ステップＳ９２１）。続いて、操作アシスト画像生成部１６０が、算出された上下方向の差分値が、アシスト画像表示情報保持部１７０の管理番号１７２に格納されている管理番号に対応してアシスト画像管理テーブル記憶部２００に記憶されている上下移動指示画像表示閾値２３０の値以下であるか否かを判断する（ステップＳ９２２）。算出された上下方向の差分値が上下移動指示画像表示閾値２３０の値以下でない場合には（ステップＳ９２２）、操作アシスト画像生成部１６０が、算出された上下方向の差分値に基づいて上側移動指示画像または下側移動指示画像を生成する（ステップＳ９２３）。そして、表示制御部１８０が、生成された上側移動指示画像または下側移動指示画像を撮像画像に重ねて表示部３００に表示する（ステップＳ９２４）。一方、算出された上下方向の差分値が上下移動指示画像表示閾値２３０の値以下である場合には（ステップＳ９２２）、表示制御部１８０が、現在表示されている上側移動指示画像または下側移動指示画像を消去する（ステップＳ９２５）。なお、上側移動指示画像または下側移動指示画像が表示されていない場合には、この消去処理は行わない。

続いて、操作アシスト画像生成部１６０が、算出された左右方向の差分値が、アシスト画像表示情報保持部１７０の管理番号１７２に格納されている管理番号に対応してアシスト画像管理テーブル記憶部２００に記憶されている左右移動指示画像表示閾値２４０の値以下であるか否かを判断する（ステップＳ９２６）。算出された左右方向の差分値が左右移動指示画像表示閾値２４０の値以下でない場合には（ステップＳ９２６）、操作アシスト画像生成部１６０が、算出された左右方向の差分値に基づいて左側移動指示画像または右側移動指示画像を生成する（ステップＳ９２７）。そして、表示制御部１８０が、生成された左側移動指示画像または右側移動指示画像を撮像画像に重ねて表示部３００に表示する（ステップＳ９２８）。一方、算出された左右方向の差分値が左右移動指示画像表示閾値２４０の値以下である場合には（ステップＳ９２６）、表示制御部１８０が、現在表示されている左側移動指示画像または右側移動指示画像を消去する（ステップＳ９２９）。なお、左側移動指示画像または右側移動指示画像が表示されていない場合には、この消去処理は行わない。

続いて、操作アシスト画像生成部１６０が、算出されたサイズの差分値が、アシスト画像表示情報保持部１７０の管理番号１７２に格納されている管理番号に対応してアシスト画像管理テーブル記憶部２００に記憶されているズーム指示画像表示閾値２５０の値以下であるか否かを判断する（ステップＳ９３０）。算出されたサイズの差分値がズーム指示画像表示閾値２５０の値以下でない場合には（ステップＳ９３０）、操作アシスト画像生成部１６０が、算出されたサイズの差分値に基づいてズーム指示画像を生成する（ステップＳ９３１）。そして、表示制御部１８０が、生成されたズーム指示画像を撮像画像に重ねて表示部３００に表示する（ステップＳ９３２）。一方、算出されたサイズの差分値がズーム指示画像表示閾値２５０の値以下である場合には（ステップＳ９３０）、表示制御部１８０が、現在表示されているズーム指示画像を消去する（ステップＳ９３３）。なお、ズーム指示画像が表示されていない場合には、この消去処理は行わない。

図１７は、本発明の実施の形態における撮像装置１００によるアシスト画像表示処理の処理手順のうちの配置アシスト画像更新処理手順（図１５に示すステップＳ９４０の処理手順）を示すフローチャートである。

最初に、表示制御部１８０が、アシスト画像表示情報保持部１７０の合致フラグ１７３の値を取得し（ステップＳ９４１）、合致フラグ１７３の値が「１」であるか否かを判断する（ステップＳ９４２）。合致フラグ１７３の値が「１」である場合には（ステップＳ９４２）、表示制御部１８０が、動画記録の動作中であるか否かを判断し（ステップＳ９４３）、動画記録の動作中である場合には、アシスト画像表示情報保持部１７０の待ち時間カウンタ１７４の値をインクリメントし（ステップＳ９４４）、インクリメント後の待ち時間カウンタ１７４の値が、アシスト画像表示情報保持部１７０の管理番号１７２に格納されている管理番号に対応してアシスト画像管理テーブル記憶部２００に記憶されている待ち時間カウンタ閾値２６０の値以上であるか否かを判断する（ステップＳ９４５）。待ち時間カウンタ１７４の値が待ち時間カウンタ閾値２６０の値以上である場合には（ステップＳ９４５）、表示制御部１８０が、アシスト画像表示情報保持部１７０の管理番号１７２の値に「１」を加算し（ステップＳ９４６）、アシスト画像表示情報保持部１７０の合致フラグ１７３および待ち時間カウンタ１７４を「０」に初期化する（ステップＳ９４７）。ここで、アシスト画像表示情報保持部１７０の管理番号１７２の値が最大値（例えば、図３に示す場合には「３」）となっている場合には、管理番号１７２の値に「１」を格納する（ステップＳ９４６）。

一方、動画記録の動作中でない場合（ステップＳ９４３）、または、待ち時間カウンタ１７４の値が待ち時間カウンタ閾値２６０の値以上でない場合には（ステップＳ９４５）、図１５に示すステップＳ９１０に進む。

また、合致フラグ１７３の値が「１」である場合には（ステップＳ９４２）、表示制御部１８０が、操作アシスト画像生成部１６０からの出力に基づいて、差分値算出部１５０により算出された各差分値が、アシスト画像表示情報保持部１７０の管理番号１７２に格納されている管理番号に対応してアシスト画像管理テーブル記憶部２００に記憶されている上下移動指示画像表示閾値２３０、左右移動指示画像表示閾値２４０およびズーム指示画像表示閾値２５０のそれぞれ対応する閾値以下であるか否かを判断する（ステップＳ９４８）。差分値算出部１５０により算出された各差分値が、それぞれ対応する閾値以下である場合には（ステップＳ９４８）、表示制御部１８０が、アシスト画像表示情報保持部１７０の合致フラグ１７３の値に「１」を設定する（ステップＳ９４９）。一方、差分値算出部１５０により算出された各差分値が、それぞれ対応する閾値以下でない場合には（ステップＳ９４８）、図１５に示すステップＳ９１０に進む。

以上では、上下方向および左右方向の差分値と、サイズの差分値との双方が閾値を超えている場合には、上下方向および左右方向に移動させるための操作アシスト画像と、ズーム操作をユーザに行わせるための操作アシスト画像とを同時に表示する例を示した。ここで、撮像装置１００により記録された撮像動画は、例えば、テレビジョン等の視聴装置により視聴することができる。例えば、近年、広く普及している大型のテレビジョンを用いて撮像装置１００により記録された撮像動画を視聴する場合には、広い画面上に撮像画像自体が大きく表示される。このため、撮像装置１００の表示部３００においてユーザが撮影中に見ていた撮像画像と、そのテレビジョンに表示される撮像画像とは撮像画像自体の大きさが異なる。このため、撮像装置１００の表示部３００においてユーザが撮影中に見ていた撮像画像上では、対象物の移動量（ズーム量を含む）が小さい場合でも、そのテレビジョンに表示される撮像画像上では、対象物の移動量が大きくなる場合がある。このように対象物の移動量が大きい場合に、移動している対象物に対して広い画面上を目で追うと、視聴者が見難いおそれがある。そこで、撮像動画を視聴者が見易くするため、撮像装置１００により撮像動画を記録する場合には、左右方向のパンニング、上下方向のチルティング、ズーム操作等を比較的ゆっくりと行うことが重要となる。

そこで、以下では、上下方向および左右方向の差分値と、サイズの差分値との双方が閾値を超えている場合には、上下方向および左右方向に移動させるための操作アシスト画像のみを表示させ、上下方向および左右方向の差分値が閾値以下であり、サイズの差分値が閾値を超えている場合にのみ、ズーム操作をユーザに行わせるための操作アシスト画像を表示させる例について説明する。これにより、左右方向のパンニングおよび上下方向のチルティングと、ズーム操作とを分けてユーザに行わせることができ、比較的ゆっくりとした操作を行わせることができる。

図１８および図１９は、本発明の実施の形態における表示部３００の表示例を示す図である。なお、図１８（ａ）に示す表示例は、図６（ｂ）に示す表示例と同一であり、図１９（ｂ）に示す表示例は、図９（ａ）に示す表示例と同一である。

図１８（ａ）に示すように、例えば、アシスト画像表示情報保持部１７０の管理番号１７２に保持されている管理番号「１」に対応するテンプレート画像Ａ（２２１）に含まれる配置アシスト画像２２２が撮像画像に重ねて表示される。そして、図７（ａ）に示す算出方法と同様に算出された差分値に基づいて、図１８（ｂ）に示すように、左側移動指示画像４４１および上側移動指示画像４４２が撮像画像に重ねて表示部３００に表示される。ここで、配置アシスト画像２２２の顔サイズにより特定される面積と、特定顔の顔画像４０１の面積との差分値の絶対値が、管理番号２１０の「１」に対応してズーム指示画像表示閾値２５０に格納されている「Ｚ１」の値よりも大きい場合でも、左側移動指示画像４４１および上側移動指示画像４４２の少なくとも１つが表示部３００に表示される場合には、ズーム指示画像が生成されない。

図１９（ａ）には、図１８（ｂ）に示す左側移動指示画像４４１および上側移動指示画像４４２に従って、ユーザにより撮像装置１００の左側へのパンニングおよび上側へのチルティング（左上方向への撮像装置１００の移動操作等も含む）が行われた後の表示例を示す。図１９（ａ）に示すように、左右方向の差分値Ｓ１１の絶対値が、管理番号２１０の「１」に対応する「Ｓ１」の値の範囲内になるとともに、上下方向の差分値Ｊ１１の絶対値が、管理番号２１０の「１」に対応する「Ｊ１」の値の範囲内になった場合には、左側移動指示画像４４１および上側移動指示画像４４２が消去される。そして、図７（ａ）に示す算出方法と同様に算出された差分値に基づいて、図１９（ａ）に示すように、ズーム指示画像４４３が撮像画像に重ねて表示部３００に表示される。なお、左右方向の差分値Ｓ１１の絶対値、または、上下方向の差分値Ｊ１１の絶対値の何れかが、管理番号２１０の「１」に対応する閾値の範囲内になっていない場合には、ズーム指示画像４４３は表示されない。

図１９（ｂ）には、図１９（ａ）に示すズーム指示画像４４３に従って、ユーザにより操作受付部１９０からズームアップ操作がされた後の表示例を示す。このように、撮像装置１００本体をユーザに動かせるための操作アシスト画像（左側移動指示画像４４１、上側移動指示画像４４２）と、撮像装置１００内部のズームレンズをユーザに動かせるための操作アシスト画像（ズーム指示画像４４３）とを分けて表示させることにより、これらの操作をユーザに同時にさせることを防止することができ、視聴時に見易い撮像動画を記録させることができる。

次に、本発明の実施の形態における撮像装置１００の図１８および図１９に示す動作について図面を参照して説明する。

図２０は、本発明の実施の形態における撮像装置１００によるアシスト画像表示処理の処理手順のうちの操作アシスト画像表示処理手順（図１５に示すステップＳ９２０の処理手順）を示すフローチャートである。この処理手順は、図１６に示す処理手順の変形例であり、図２０に示すステップＳ９２１乃至Ｓ９３３については、図１６に示すステップＳ９２１乃至Ｓ９３３と同一の処理手順であるため、ここでの説明を省略する。

上側移動指示画像、下側移動指示画像、左側移動指示画像または右側移動指示画像に関する表示または消去処理が行われた後に（ステップＳ９２１乃至Ｓ９２９）、操作アシスト画像生成部１６０が、算出された上下方向および左右方向の差分値が、アシスト画像表示情報保持部１７０の管理番号１７２に格納されている管理番号に対応してアシスト画像管理テーブル記憶部２００に記憶されている上下移動指示画像表示閾値２３０および左右移動指示画像表示閾値２４０の値以下であるか否かを判断する（ステップＳ９５１）。

算出された上下方向の差分値が上下移動指示画像表示閾値２３０の値以下であるとともに、算出された左右方向の差分値が左右移動指示画像表示閾値２４０の値以下である場合には（ステップＳ９５１）、ステップＳ９３０に進む。一方、算出された上下方向の差分値が上下移動指示画像表示閾値２３０の値を超えている場合、または、算出された左右方向の差分値が左右移動指示画像表示閾値２４０の値を超えている場合には（ステップＳ９５１）、表示制御部１８０が、現在表示されているズーム指示画像を消去する（ステップＳ９３３）。なお、ズーム指示画像が表示されていない場合には、この消去処理は行わない。

以上では、ズーム操作を指示するズーム指示画像を表示部３００に表示させてユーザにズーム操作を促す例について説明した。以下では、撮像装置がズーム操作を自動で行う場合について図面を参照して詳細に説明する。

図２１は、本発明の実施の形態における撮像装置５００の機能構成例を示すブロック図である。ここで、撮像装置５００は、図１に示す撮像装置１００の一部を変形したものであり、差分値算出部５０１、表示制御部５０２およびズームレンズ制御部５０３以外の構成は、図１に示す撮像装置１００と同様である。このため、これら以外の詳細な説明は省略する。また、これらの構成についても、以下では、図１に示す撮像装置１００と異なる点を中心に説明する。

差分値算出部５０１は、特定顔識別部１４０により識別された特定顔の顔画像と、アシスト画像管理テーブル記憶部２００に記憶されている配置アシスト画像により特定される顔領域とを比較することにより、これらの位置およびサイズに関する差分値を算出するものであり、算出された各差分値を操作アシスト画像生成部１６０およびズームレンズ制御部５０３に出力する。

表示制御部５０２は、撮像部１２０から出力された撮像画像における特定顔の顔画像の位置およびサイズをズームレンズ制御部５０３に出力し、ズームレンズ制御部５０３からズームレンズの自動制御を行っている旨の通知を受けると、ズームレンズの自動制御を行っている旨を示す操作アシスト画像であるズーム自動操作中画像を撮像画像に重ねて表示部３００に表示させる。

ズームレンズ制御部５０３は、差分値算出部５０１から出力されたサイズの差分値に基づいてズーム倍率を算出し、このズーム倍率に基づいてズームレンズの移動方向および移動距離を算出し、このズームレンズの移動方向に移動距離分だけズームレンズを移動させるための駆動制御信号を生成し、この駆動制御信号をズームレンズ駆動部１１３に出力するものである。ここで、ズームレンズ制御部５０３は、算出されたズームレンズの移動方向が広角側であるか否かを判断し、ズームレンズの移動方向が広角側である場合には、そのズームレンズの移動方向に移動距離分だけズームレンズを移動させるための駆動制御信号を生成する。一方、ズームレンズの移動方向が望遠側である場合には、ズームレンズ制御部５０３は、算出されたズーム倍率に基づいて、ズームレンズ移動後の撮像範囲を算出し、このズームレンズ移動後の撮像範囲と、表示制御部５０２から出力された撮像画像における特定顔の顔画像の位置およびサイズとを比較することにより、そのズームレンズ移動後の撮像範囲に、特定顔の顔画像の全部が含まれるか否かを判断する。そして、そのズームレンズ移動後の撮像範囲に、特定顔の顔画像の全部が含まれる場合には、ズームレンズ制御部５０３は、算出されたズームレンズの移動方向に移動距離分だけズームレンズを移動させるための駆動制御信号を生成し、ズームレンズの自動制御を行っている旨の通知を表示制御部５０２に出力する。なお、そのズームレンズ移動後の撮像範囲に、特定顔の顔画像の全部が含まれない場合には、ズームレンズ制御部５０３は駆動制御信号を生成しない。

図２２は、本発明の実施の形態における表示部３００に表示される撮像画像を示す図である。なお、図２２（ａ）に示す撮像画像６０１は、図６（ｂ）に示す撮像画像と同一である。例えば、図２２（ａ）に示す人物４１１の顔のサイズを位置アシスト画像２２２の顔領域のサイズに合わせるためにズームアップ操作のみを行った場合、図２２（ｂ）に示すように、人物４１１の顔の一部が撮像画像に含まれないことになる。この場合には、人物４１１の顔を検出することができない場合があるため、適切な操作アシスト画像を表示することができなくなるおそれがある。ここで、図２２（ｂ）に示す撮像画像６０２の撮像範囲に相当する範囲を、図２２（ａ）に示す撮像画像６０１に、ズームアップ後の撮像範囲６１０として示す。すなわち、図２２（ａ）に示す撮像画像６０１において、ズームアップ後の撮像範囲６１０に人物４１１の顔が含まれていない場合に、ズームアップ操作のみをすると、適切な操作アシスト画像を表示することができなくなるおそれがある。このため、この例では、ズームアップ後の撮像範囲に特定人物の顔が含まれない場合には、ズームレンズの自動制御を行わないようにする。

ここで、ズームアップ後の撮像範囲６１０は、図７（ａ）に示す配置アシスト画像２２２の顔サイズにより特定される面積（Ｗ１×Ｈ１）を基準とした場合における特定顔の顔画像４０１の面積（Ｗ１１×Ｈ１１）の割合を算出し、この割合に基づいてズーム倍率を算出し、このズーム倍率に基づいて求めることができる。ズーム倍率に基づいて求められたズームアップ後の撮像範囲６１０は、左上角の位置Ｋ１の座標（Ｘ２１，Ｙ２１）と、右下角の位置Ｋ２の座標（Ｘ２２，Ｙ２２）とにより特定することができる。すなわち、左上角の位置Ｋ１の座標（Ｘ２１，Ｙ２１）と、右下角の位置Ｋ２の座標（Ｘ２２，Ｙ２２）とにより特定される矩形のズームアップ後の撮像範囲６１０内に、特定顔の顔画像４０１の中心位置座標（Ｘ１１，Ｙ１１）、上下方向の長さＨ１１および左右方向の長さＷ１１により特定される特定顔の顔画像４０１が含まれるか否かが判断され、ズームアップ後の撮像範囲６１０内に、特定顔の顔画像４０１の全部が含まれる場合には、ズームレンズの自動制御を行う。一方、ズームアップ後の撮像範囲６１０内に、特定顔の顔画像４０１の全部が含まれない場合には、ズームレンズの自動制御を行わない。

図２３および図２４は、本発明の実施の形態における表示部３００の表示例を示す図である。なお、図２３（ａ）に示す表示例は、図６（ｂ）に示す表示例と同一である。なお、図２３（ａ）にはズームアップ後の撮像範囲６１０を矩形の点線で示すが、表示部３００には表示されないものとする。

図２３（ａ）に示すように、例えば、アシスト画像表示情報保持部１７０の管理番号１７２に保持されている管理番号「１」に対応するテンプレート画像Ａ（２２１）に含まれる配置アシスト画像２２２が撮像画像に重ねて表示される。そして、図７（ａ）に示す算出方法と同様に算出された差分値に基づいて、図２３（ａ）に示すように、左側移動指示画像４４１および上側移動指示画像４４２が撮像画像に重ねて表示部３００に表示される。ここで、配置アシスト画像２２２の顔サイズにより特定される面積と、特定顔の顔画像４０１の面積との差分値の絶対値が、管理番号２１０の「１」に対応してズーム指示画像表示閾値２５０に格納されている「Ｚ１」の値よりも大きい場合でも、ズームアップ後の撮像範囲６１０内に、特定顔の顔画像４０１の全部が含まれない場合には、ズームレンズの自動制御が行われない。

図２４（ａ）には、図２３（ｂ）に示す左側移動指示画像４４１および上側移動指示画像４４２に従って、ユーザにより撮像装置１００の左側へのパンニングおよび上側へのチルティング（上側へのチルティング量は少ない）が行われた後の表示例を示す。図２４（ａ）に示すように、左右方向の差分値Ｓ１１の絶対値が、管理番号２１０の「１」に対応する「Ｓ１」の値の範囲内になった場合には、左側移動指示画像４４１が消去される。また、ユーザにより撮像装置１００が上側にチルティングされたが、上下方向の差分値Ｊ１１の絶対値が「Ｊ１」の値よりも大きい場合には、上下方向の差分値に応じて、上側移動指示画像４４２の長さが短縮された上側移動指示画像６２１が表示される。ここで、図２４（ａ）では、ズームアップ後の撮像範囲６１０内に、特定顔の顔画像４０１の全部が含まれるため、ズームレンズの自動制御が行われる。すなわち、図７（ａ）に示す算出方法と同様に算出された差分値に基づいてズーム倍率が算出され、このズーム倍率に基づいてズームレンズ制御部５０３がズームレンズ駆動部１１３を介してズームレンズ１１１を移動させる。このように、ズームレンズの自動制御が行われている場合には、図２４（ａ）に示すように、ズーム自動操作中画像６２２が撮像画像に重ねて表示部３００に表示される。

図２４（ｂ）には、図２４（ａ）に示す上側移動指示画像６２１に従って、ユーザにより撮像装置１００が上側にチルティングされるとともに、ズームレンズの自動制御が行われた後の表示例を示す。このように、ズームレンズの自動制御を行うことにより、ユーザは、左側へのパンニングまたは上側へのチルティングを行うのみでよい。また、ズームアップ後の撮像範囲内に、特定顔の顔画像の全部が含まれない場合には、ズームレンズの自動制御を行わないため、特定顔が撮像画像からはみ出ることを防止することができる。

次に、本発明の実施の形態における撮像装置５００の動作について図面を参照して説明する。

図２５は、本発明の実施の形態における撮像装置５００によるアシスト画像表示処理の処理手順のうちの操作アシスト画像表示処理手順（図１５に示すステップＳ９２０の処理手順）を示すフローチャートである。この処理手順は、図１６に示す処理手順の変形例であり、図２５に示すステップＳ９２１乃至Ｓ９３０、Ｓ９３３については、図１６に示すステップＳ９２１乃至Ｓ９３０、Ｓ９３３と同一の処理手順であるため、ここでの説明を省略する。

上側移動指示画像、下側移動指示画像、左側移動指示画像または右側移動指示画像に関する表示または消去処理が行われた後に（ステップＳ９２１乃至Ｓ９２９）、操作アシスト画像生成部１６０が、算出されたサイズの差分値が、アシスト画像表示情報保持部１７０の管理番号１７２に格納されている管理番号に対応してアシスト画像管理テーブル記憶部２００に記憶されているズーム指示画像表示閾値２５０の値以下であるか否かを判断する（ステップＳ９３０）。そして、算出されたサイズの差分値がズーム指示画像表示閾値２５０の値以下でない場合には（ステップＳ９３０）、ズームレンズ移動処理を行う（ステップＳ９６０）。このズームレンズ移動処理については、図２６を参照して詳細に説明する。

図２６は、本発明の実施の形態における撮像装置５００によるアシスト画像表示処理の処理手順のうちのズームレンズ移動処理手順（図２５に示すステップＳ９６０の処理手順）を示すフローチャートである。

最初に、ズームレンズ制御部５０３が、算出されたサイズの差分値に基づいてズーム倍率を算出し、このズーム倍率に基づいてズームレンズの移動方向および移動距離を算出する（ステップＳ９６１）。続いて、ズームレンズ制御部５０３が、ズームレンズの移動方向が広角側であるか否かを判断し（ステップＳ９６２）、ズームレンズの移動方向が広角側である場合には、ステップＳ９６６に進む。一方、ズームレンズの移動方向が望遠側である場合には（ステップＳ９６２）、ズームレンズ制御部５０３が、算出されたズーム倍率に基づいて、ズームレンズ移動後の撮像範囲を算出する（ステップＳ９６３）。続いて、ズームレンズ制御部５０３が、算出されたズームレンズ移動後の撮像範囲と、表示制御部５０２から出力された撮像画像における特定顔の顔画像の位置およびサイズとを比較し（ステップＳ９６４）、算出されたズームレンズ移動後の撮像範囲に、特定顔の顔画像の全部が含まれるか否かを判断する（ステップＳ９６５）。

算出されたズームレンズ移動後の撮像範囲に、特定顔の顔画像の全部が含まれる場合には（ステップＳ９６５）、ズームレンズ制御部５０３が、算出されたズームレンズの移動方向にズームレンズを移動させ（ステップＳ９６６）、表示制御部５０２が、ズーム自動操作中画像を撮像画像に重ねて表示部３００に表示する（ステップＳ９６７）。このズームレンズの移動は、視聴時に見易い撮像動画を記録させるため、比較的ゆっくりと移動させるようにすることが好ましい。一方、算出されたズームレンズ移動後の撮像範囲に、特定顔の顔画像の全部が含まれない場合には（ステップＳ９６５）、図１５に示すステップＳ９４０に進む。

以上では、人型の位置アシスト画像を表示する例について説明したが、人型以外の位置アシスト画像を表示するようにしてもよい。例えば、位置アシスト画像として矩形の画像を表示し、この矩形の位置アシスト画像と、特定顔マーカの矩形とが一致させるようにすることができる。この場合には、例えば、色や太さ等により、矩形の位置アシスト画像と、特定顔マーカの矩形とを識別することができるようにする。

図２７は、本発明の実施の形態における表示部３００の表示例を示す図である。なお、図２７（ａ）および（ｂ）に示す表示例は、位置アシスト画像以外は、図６（ｂ）に示す表示例と同一である。例えば、図２７（ａ）に示すように、太さ、実線および点線等により、位置アシスト画像７０１と、特定顔マーカ４２０とを識別するようにしてもよく、図２７（ｂ）に示すように、色や透過率の変更等により、位置アシスト画像７０２と、特定顔マーカ４２０とを識別するようにしてもよい。

以上で示したように、本発明の実施の形態によれば、自分が撮影したい人物を最適な映像で容易に記録することができる。また、撮影したい人物の顔を自動識別し、その人物の顔をどのように撮ると上手く写せるかをアシスト画像によりガイドしてくれるため、このアシスト画像に従うことによって視聴時に見易く、視聴者の興味を高める動画を記録することができる。例えば、ユーザにより指定された人物４１１の顔を配置アシスト画像の顔領域の位置に移動させる場合には、配置アシスト画像とともに表示部３００に表示される左側移動指示画像、上側移動指示画像、ズーム指示画像等を見ながら、撮像装置のパンニング、チルティングまたはズーム操作を行うことができる。

また、複数の配置アシスト画像を順次表示させることにより、変化に富んでいながら、視聴する際には見易く、視聴者の興味を高める動画を記録することができる。例えば、幼稚園の学芸会においては、自分の子供の顔を適切な位置およびサイズで撮像画像内に配置するとともに、視聴者の興味を低減させないために、子供の顔の周りの状況等も被写体として適宜記録することにより、視聴する際には見易く、視聴者の興味を高める動画を記録することができる。また、ズームレンズを自動制御することにより、さらに容易に動画を記録することができる。

また、例えば、特定人物を遠距離から撮影する場合において、多数の人物から特定人物被写体を探し出さなければならない場合でも、撮像装置自体が特定人物を探し出してくれるため、動画の記録をさらに容易にすることができる。

また、動画記録中に、色々な動き（ズーム操作、パンチングの多用等）をしてしまい、視聴時に見難い動画を記録してしまうことを防止することができる。すなわち、ユーザに対して撮像装置の上手な使い方の学習機会を提供することができる。また、初心者でも簡単に見やすい動画を撮影する機会を提供することができる。これらにより、カムコーダ等の撮像装置をさらに使いやすく、魅力ある商品とすることができる。

なお、本発明の実施の形態では、説明の容易のため、比較的簡素な３種類の人型の配置アシスト画像を例にして説明したが、各種の配置アシスト画像を用いることができる。また、本発明の実施の形態では、配置アシスト画像を管理番号の順番で表示させる例について説明したが、これらの表示順序を予めユーザが指定しておき、この指定された順番で配置アシスト画像を表示させるようにしてもよい。すなわち、シナリオのようなものを作成しておき、このシナリオに従って、配置アシスト画像が遷移するようにすることができる。

なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、以下に示すように特許請求の範囲における発明特定事項とそれぞれ対応関係を有するが、これに限定されるものではなく本発明の要旨を逸脱しない範囲において種々の変形を施すことができる。

すなわち、請求項１において、配置アシスト画像記憶手段は、例えばアシスト画像管理テーブル記憶部２００に対応する。また、撮像手段は、例えば撮像部１２０に対応する。また、対象物検出手段は、例えば顔検出部１３０に対応する。また、表示制御手段は、例えば表示制御部１８０または５０２に対応する。

また、請求項３において、特定対象物識別手段は、例えば特定顔識別部１４０に対応する。

また、請求項４において、特定対象物マーカ生成手段は、例えば特定顔マーカ生成部１６５に対応する。

また、請求項５において、特定対象物識別情報記憶手段は、例えば特定顔識別辞書記憶部１４１に対応する。また、操作受付手段は、例えば操作受付部１９０に対応する。

また、請求項６において、差分値算出手段は、例えば差分値算出部１５０または５０１に対応する。また、操作アシスト画像生成手段は、例えば操作アシスト画像生成部１６０に対応する。

また、請求項９において、ズームレンズは、例えばズームレンズ１１１に対応する。また、ズームレンズ制御手段は、例えばズームレンズ制御部５０３に対応する。

また、請求項１２または１３において、撮像手順は、例えばステップＳ９０３に対応する。また、対象物検出手順は、例えばステップＳ９０５に対応する。また、表示制御手順は、例えばステップＳ９０４に対応する。

なお、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。

本発明の実施の形態における撮像装置１００の機能構成例を示すブロック図である。 本発明の実施の形態における特定顔識別辞書記憶部１４１に記憶されている特定顔識別辞書を用いてユーザにより指定された特定顔を識別する場合を概略的に示す図である。 本発明の実施の形態におけるアシスト画像管理テーブル記憶部２００に記憶されている内容を概略的に示す図である。 本発明の実施の形態におけるアシスト画像管理テーブル記憶部２００に記憶されている配置アシスト画像を含むテンプレート画像の例を示す図である。 本発明の実施の形態におけるアシスト画像表示情報保持部１７０に保持されている内容を概略的に示す図である。 本発明の実施の形態における表示部３００のアシスト画像表示モード設定時における表示例を示す図である。 操作アシスト画像を表示させるための差分値算出方法の概略的、および、本発明の実施の形態における表示部３００の操作アシスト画像の表示例を示す図である。 本発明の実施の形態における表示部３００のユーザ操作による操作アシスト画像表示の遷移に関する表示例を示す図である。 本発明の実施の形態における表示部３００のアシスト画像表示モード解除時における表示例を示す図である。 本発明の実施の形態における表示部３００の配置アシスト画像の切換時における表示例を示す図である。 本発明の実施の形態における表示部３００の操作アシスト画像表示の遷移に関する表示例を示す図である。 本発明の実施の形態における表示部３００のユーザ操作による操作アシスト画像の消去に関する表示例を示す図である。 本発明の実施の形態における表示部３００の操作アシスト画像表示の遷移に関する表示例を示す図である。 本発明の実施の形態における表示部３００の配置アシスト画像の切換時における表示例を示す図である。 本発明の実施の形態における撮像装置１００によるアシスト画像表示処理の処理手順を示すフローチャートである。 本発明の実施の形態における撮像装置１００によるアシスト画像表示処理の処理手順のうちの操作アシスト画像表示処理手順を示すフローチャートである。 本発明の実施の形態における撮像装置１００によるアシスト画像表示処理の処理手順のうちの配置アシスト画像更新処理手順を示すフローチャートである。 本発明の実施の形態における表示部３００の操作アシスト画像表示の遷移に関する表示例を示す図である。 本発明の実施の形態における表示部３００のユーザ操作による操作アシスト画像の消去に関する表示例を示す図である。 本発明の実施の形態における撮像装置１００によるアシスト画像表示処理の処理手順のうちの操作アシスト画像表示処理手順を示すフローチャートである。 本発明の実施の形態における撮像装置５００の機能構成例を示すブロック図である。 本発明の実施の形態における表示部３００に表示される撮像画像を示す図である。 本発明の実施の形態における表示部３００の操作アシスト画像表示の遷移に関する表示例を示す図である。 本発明の実施の形態における表示部３００のユーザ操作による操作アシスト画像の消去に関する表示例を示す図である。 本発明の実施の形態における撮像装置５００によるアシスト画像表示処理の処理手順のうちの操作アシスト画像表示処理手順を示すフローチャートである。 本発明の実施の形態における撮像装置５００によるアシスト画像表示処理の処理手順のうちのズームレンズ移動処理手順を示すフローチャートである。 本発明の実施の形態における表示部３００の表示例を示す図である。

符号の説明

１００、５００ 撮像装置
１１０ 光学系
１１１ ズームレンズ
１１２、５０３ ズームレンズ制御部
１１３ ズームレンズ駆動部
１２０ 撮像部
１３０ 顔検出部
１４０ 特定顔識別部
１４１ 特定顔識別辞書記憶部
１５０、５０１ 差分値算出部
１６０ 操作アシスト画像生成部
１６５ 特定顔マーカ生成部
１７０ アシスト画像表示情報保持部
１８０、５０２ 表示制御部
１９０ 操作受付部
２００ アシスト画像管理テーブル記憶部
３００ 表示部

Claims (13)

1. 撮像範囲において対象物を配置すべき位置およびサイズを表す複数の配置アシスト画像を記憶する配置アシスト画像記憶手段と、
   被写体を撮像して撮像画像を生成する撮像手段と、
   前記撮像画像から前記対象物を検出するとともに当該対象物の前記撮像画像における位置およびサイズを検出する対象物検出手段と、
   前記配置アシスト画像記憶手段に記憶されている複数の配置アシスト画像のうちの１つの配置アシスト画像を前記撮像画像に重ねて表示させ、前記表示されている配置アシスト画像により特定される対象物の位置と前記検出された対象物の前記撮像画像における位置との差分値である位置差分値と、前記表示されている配置アシスト画像により特定される対象物のサイズと前記検出された対象物の前記撮像画像におけるサイズとの差分値であるサイズ差分値との双方が所定の範囲内になった場合には、前記配置アシスト画像記憶手段に記憶されている複数の配置アシスト画像のうち前記表示されている配置アシスト画像以外の配置アシスト画像を前記撮像画像に重ねて表示させる表示制御手段と
   を具備する撮像装置。
2. 前記表示制御手段は、前記位置差分値および前記サイズ差分値の双方が所定の範囲内になる度に前記配置アシスト画像記憶手段に記憶されている複数の配置アシスト画像を所定の順序に従って順次表示させる請求項１記載の撮像装置。
3. 前記検出された対象物が特定の対象物であるか否かを識別する特定対象物識別手段をさらに具備し、
   前記表示制御手段は、前記表示されている配置アシスト画像および前記識別された特定の対象物に関する前記位置差分値および前記サイズ差分値の双方が所定の範囲内になった場合に前記表示されている配置アシスト画像以外の配置アシスト画像を前記撮像画像に重ねて表示させる
   請求項１記載の撮像装置。
4. 前記識別された特定の対象物の前記撮像画像における位置およびサイズに基づいて前記識別された特定の対象物に付す特定対象物マーカを生成する特定対象物マーカ生成手段をさらに具備し、
   前記表示制御手段は、前記配置アシスト画像記憶手段に記憶されている複数の配置アシスト画像のうちの１つの配置アシスト画像と前記生成された特定対象物マーカとを前記撮像画像に重ねて表示させる
   請求項３記載の撮像装置。
5. 対象物を識別するための複数の特定対象物識別情報を対象物毎に記憶する特定対象物識別情報記憶手段と、
   前記特定対象物識別情報が記憶されている複数の対象物のうちから少なくとも１つの対象物を指定する指定操作を受け付ける操作受付手段とをさらに具備し、
   前記特定対象物識別手段は、前記特定対象物識別情報記憶手段に記憶されている複数の特定対象物識別情報のうちの前記指定された対象物に係る特定対象物識別情報を用いて前記検出された対象物が前記特定の対象物であるか否かを識別する
   請求項３記載の撮像装置。
6. 前記位置差分値およびサイズ差分値を算出する差分値算出手段と、
   前記位置差分値およびサイズ差分値に基づいて前記検出された対象物の前記撮像画像における位置およびサイズのうちの少なくとも１つを変更させるための操作アシスト画像を生成する操作アシスト画像生成手段とをさらに具備し、
   前記表示制御手段は、前記配置アシスト画像記憶手段に記憶されている複数の配置アシスト画像のうちの１つの配置アシスト画像と前記生成された操作アシスト画像とを前記撮像画像に重ねて表示させる
   請求項１記載の撮像装置。
7. 前記差分値算出手段は、前記表示されている配置アシスト画像により特定される対象物の左右方向の位置と前記検出された対象物の前記撮像画像における左右方向の位置との差分値である左右位置差分値と、前記表示されている配置アシスト画像により特定される対象物の上下方向の位置と前記検出された対象物の前記撮像画像における上下方向の位置との差分値である上下位置差分値とを前記位置差分値として算出し、
   前記操作アシスト画像生成手段は、前記左右位置差分値が左右位置閾値を超えた場合には前記検出された対象物の前記撮像画像における左右方向の位置を変更させるための前記操作アシスト画像である左右方向移動指示画像を生成し、前記上下位置差分値が上下位置閾値を超えた場合には前記検出された対象物の前記撮像画像における上下方向の位置を変更させるための前記操作アシスト画像である上下方向移動指示画像を生成し、前記サイズ差分値がサイズ閾値を超えた場合には前記検出された対象物の前記撮像画像におけるサイズを変更させるための操作アシスト画像であるズーム指示画像を生成する
   請求項６記載の撮像装置。
8. 前記表示制御手段は、前記左右位置差分値が前記左右位置閾値を超えた場合または前記上下位置差分値が前記上下位置閾値を超えた場合には前記ズーム指示画像を表示させず、前記左右位置差分値が前記左右位置閾値を超えず、かつ、前記上下位置差分値が前記上下位置閾値を超えない場合であって、前記サイズ差分値が前記サイズ閾値を超えた場合には前記ズーム指示画像を表示させる請求項７記載の撮像装置。
9. 焦点距離を調整するためのズームレンズと、
   前記サイズ差分値に基づいて前記検出された対象物の前記撮像画像におけるサイズを変更させるために前記ズームレンズを駆動させる制御を行うズームレンズ制御手段と
   をさらに具備する請求項１記載の撮像装置。
10. 前記表示制御手段は、前記ズームレンズ制御手段により前記ズームレンズが駆動されている場合にはその旨を示す操作アシスト画像を前記撮像画像に重ねて表示させる請求項９記載の撮像装置。
11. 前記ズームレンズ制御手段は、前記ズームレンズの駆動により前記撮像画像に含まれる被写体が拡大される場合には当該拡大後の撮像画像に前記検出された対象物が含まれる場合にのみ前記ズームレンズを駆動させる制御を行う請求項９記載の撮像装置。
12. 撮像範囲において対象物を配置すべき位置およびサイズを表す複数の配置アシスト画像を記憶する配置アシスト画像記憶手段を備える撮像装置の制御方法であって、
    被写体を撮像して撮像画像を生成する撮像手順と、
    前記撮像画像から前記対象物を検出するとともに当該対象物の前記撮像画像における位置およびサイズを検出する対象物検出手順と、
    前記配置アシスト画像記憶手段に記憶されている複数の配置アシスト画像のうちの１つの配置アシスト画像を前記撮像画像に重ねて表示させ、前記表示されている配置アシスト画像により特定される対象物の位置と前記検出された対象物の前記撮像画像における位置との差分値である位置差分値と、前記表示されている配置アシスト画像により特定される対象物のサイズと前記検出された対象物の前記撮像画像におけるサイズとの差分値であるサイズ差分値との双方が所定の範囲内になった場合には、前記配置アシスト画像記憶手段に記憶されている複数の配置アシスト画像のうち前記表示されている配置アシスト画像以外の配置アシスト画像を前記撮像画像に重ねて表示させる表示制御手順と
    を具備する撮像装置の制御方法。
13. 撮像範囲において対象物を配置すべき位置およびサイズを表す複数の配置アシスト画像を記憶する配置アシスト画像記憶手段を備える撮像装置において、
    被写体を撮像して撮像画像を生成する撮像手順と、
    前記撮像画像から前記対象物を検出するとともに当該対象物の前記撮像画像における位置およびサイズを検出する対象物検出手順と、
    前記配置アシスト画像記憶手段に記憶されている複数の配置アシスト画像のうちの１つの配置アシスト画像を前記撮像画像に重ねて表示させ、前記表示されている配置アシスト画像により特定される対象物の位置と前記検出された対象物の前記撮像画像における位置との差分値である位置差分値と、前記表示されている配置アシスト画像により特定される対象物のサイズと前記検出された対象物の前記撮像画像におけるサイズとの差分値であるサイズ差分値との双方が所定の範囲内になった場合には、前記配置アシスト画像記憶手段に記憶されている複数の配置アシスト画像のうち前記表示されている配置アシスト画像以外の配置アシスト画像を前記撮像画像に重ねて表示させる表示制御手順と
    をコンピュータに実行させるプログラム。

Images