JP2015056825A - 撮像装置、その制御方法及びプログラム - Google Patents

Abstract

【課題】所望の背景と、人物と、を含む所望の構図となるように、ユーザを適切に補助することに寄与すること。
【解決手段】撮像装置は、撮像画像を生成する撮像部と、理想背景領域と、理想人物領域と、を含む構図情報を決定する構図決定部と、理想背景領域を決定時の理想背景位置を推定する位置推定部と、被写体人物を決定する被写体人物決定部と、理想背景位置に基づいて、画面移動方向を判断する画面移動方向判断部と、撮像画像内の被写体人物の位置、及び理想人物領域の位置に基づいて、被写体人物の人物移動方向を判断する人物移動方向判断部と、を備える。
【選択図】図１

Description

本発明は、撮像装置、その制御方法及びプログラムに関する。

近年、デジタルカメラ等においては、レンズの配置された面と、相対する面に表示部が配置される場合が多い。そのようなデジタルカメラ等の場合、撮影者は、表示部を見ながら、構図を調整し、撮影する。

特許文献１においては、予め、被写体の輪郭を抽出し、抽出された輪郭に基づいて、目印を設定し、表示する電子カメラが開示されている。そのため、特許文献１に開示された電子カメラにおいては、撮影代行者が、予め設定された目印を見ながら、予め設定された目印と合致するように画角等を調整し、撮影を行う。

特許文献２においては、予め所望の構図の画像を切り出した後に、所望の構図の画像と、撮像画像と、を重畳表示する撮像装置が開示されている。特許文献２に開示された撮像装置においては、所望の構図の画像と合致するように画角等を調整し、撮影を行う。

特開２０１０−１９３０５０号公報 特開２０１０−０９３４１３号公報

なお、上記先行技術文献の各開示を、本書に引用をもって繰り込むものとする。以下の分析は、本発明の観点からなされたものである。

上述の通り、デジタルカメラ等に置いては、撮影者は、表示部を見ながら、構図を調整し、撮影する場合が多い。ここで、特許文献１、２において開示された技術では、まず、所望の背景を含む撮像画像を仮撮影する必要がある。さらに、特許文献１、２において開示された技術においては、仮撮影した背景が画角に含まれるように、撮影者が、表示部を見ながら調整しなくてはいけない。また、被写体として人物を含めて撮影する場合、特許文献１、２において開示された技術においては、撮影者が、表示部を見ながら、被写体とする人物を含むように調整しなくてはいけない。そのため、特許文献１、２に開示された技術では、所望の背景と、人物と、を含む所望の構図となるように、ユーザを適切に補助することができない。

そこで、本発明は、所望の背景と、人物と、を含む所望の構図となるように、ユーザを適切に補助することに寄与する撮像装置、その制御方法及びプログラムを提供することを目的とする。

本発明の第１の視点によれば、撮像画像を生成する撮像部と、理想背景領域と、理想人物領域と、を含む構図情報を決定する構図決定部と、前記理想背景領域を決定時の理想背景位置を推定する位置推定部と、被写体人物を決定する被写体人物決定部と、前記理想背景位置に基づいて、画面移動方向を判断する画面移動方向判断部と、前記撮像画像内の前記被写体人物の位置、及び前記理想人物領域の位置に基づいて、前記被写体人物の人物移動方向を判断する人物移動方向判断部と、を備える撮像装置が提供される。

本発明の第２の視点によれば、撮像画像を生成する撮像部を備える撮像装置の制御方法であって、理想背景領域と、理想人物領域と、を含む構図情報を決定する構図情報決定工程と、前記理想背景領域を決定時の理想背景位置を推定する位置推定工程と、被写体人物を決定する被写体人物決定工程と、前記理想背景位置に基づいて、画面移動方向を判断する画面移動方向判断工程と、前記撮像画像内の前記被写体人物の位置、及び前記理想人物領域の位置に基づいて、前記被写体人物の人物移動方向を判断する人物移動方向判断工程と、を含む撮像装置の制御方法が提供される。
なお、本方法は、撮像画像を生成する撮像部を備える撮像装置という、特定の機械に結び付けられている。

本発明の第３の視点によれば、撮像画像を生成する撮像部を備える撮像装置を制御するコンピュータに実行させるプログラムであって、理想背景領域と、理想人物領域と、を含む構図情報を決定する構図情報決定処理と、前記理想背景領域を決定時の理想背景位置を推定する位置推定処理と、被写体人物を決定する被写体人物決定処理と、前記理想背景位置に基づいて、画面移動方向を判断する画面移動方向判断処理と、前記撮像画像内の前記被写体人物の位置、及び前記理想人物領域の位置に基づいて、前記被写体人物の人物移動方向を判断する人物移動方向判断処理と、を実行するプログラムが提供される。
なお、本プログラムは、コンピュータが読み取り可能な記憶媒体に記録することができる。記憶媒体は、半導体メモリ、ハードディスク、磁気記録媒体、光記録媒体等の非トランジェント（non-transient）なものとすることができる。本発明は、コンピュータプログラム製品として具現することも可能である。

本発明の各視点によれば、所望の背景と、人物と、を含む所望の構図となるように、ユーザを適切に補助することに寄与する撮像装置、その制御方法及びプログラムが提供される。

一実施形態の概要を説明するための図である。 撮像装置１の全体構成の一例を示す平面図である。 第１の実施形態に係る撮像装置１の内部構成の一例を示すブロック図である。 理想背景領域を決定する操作の一例を示す図である。 理想人物領域を決定する操作一例を示す図である。 理想人物領域の位置、大きさを変更する操作の一例を示す図である。 画面移動方向の一例を示す図である。 人物移動方向の一例を示す図である。 理想背景領域、理想人物領域を決定する処理の一例を示すフローチャートである。 予め定めた構図の撮像画像を生成する処理の一例を示すフローチャートである。 撮像画像の一例を示す図である。 第２の実施形態に係る撮像装置１ａの内部構成の一例を示すブロック図である。

初めに、図１を用いて一実施形態の概要について説明する。なお、この概要に付記した図面参照符号は、理解を助けるための一例として各要素に便宜上付記したものであり、この概要の記載はなんらの限定を意図するものではない。

上述の通り、所望の背景と、人物と、を含む所望の構図となるように、ユーザを適切に補助する撮像装置が望まれる。

そこで、一例として、図１に示す撮像装置１００を提供する。図１（ａ）は、撮像装置１００の内部構成の一例を示すブロック図である。図１（ｂ）は、撮像装置１００の処理の一例を示すフローチャートである。撮像装置１００は、撮像部１０１と、構図決定部１０２と、位置推定部１０３と、被写体人物決定部１０４と、画面移動方向判断部１０５と、人物移動方向判断部１０６と、を備える。

撮像部１０１は、撮像画像を生成する。そして、構図決定部１０２は、理想背景領域と、理想人物領域と、を含む構図情報を生成する（ステップＳ１００１）。ここで、理想背景領域とは、撮像画像において、ユーザが、所定の背景を配置したいと望む領域を意味する。また、理想人物領域とは、撮像画像において、ユーザが人物を配置したいと望む領域を意味する。

そして、位置推定部１０３は、理想背景領域を決定時の理想背景位置を推定する（ステップＳ１００２）。ここで、理想背景位置とは、理想背景領域に含まれることが望まれる物体の、実空間における位置を意味する。

また、被写体人物決定部１０４は、被写体人物を決定する（ステップＳ１００３）。ここで、被写体人物とは、撮像画像において、理想人物領域に含まれることが望まれる人物を意味する。

そして、画面移動方向判断部１０５は、理想背景位置に基づいて、画面移動方向を判断する（ステップＳ１００４）。ここで、画面移動方向とは、撮像画像において、理想背景領域内に含まれる物体が理想背景物体となるように、撮像装置１００を移動、及び／又は角度変更させる方向を意味する。なお、画面移動方向の判断時の撮像画像と、理想背景領域の決定時の撮像画像と、は異なる時刻に生成された撮像画像であるとする。

さらに、人物移動方向判断部１０６は、撮像画像内の被写体人物の位置、及び理想人物領域の位置に基づいて、被写体人物の人物移動方向を判断する（ステップＳ１００５）。ここで、人物移動方向とは、撮像画像において、被写体人物が理想人物領域内に含まれるように、被写体人物を移動させる方向を意味する。なお、人物移動方向の判断時の撮像画像と、理想人物領域の決定時の撮像画像と、は異なる時刻に生成された撮像画像であるとする。

以上より、撮像装置１００は、撮像画像において、所望の背景を所望の位置に含むように、撮像装置１００を移動させる方向を判断する。さらに、撮像装置１００は、撮像画像において、所望の被写体人物を所望の位置に含むように、被写体人物を移動させる方向を判断する。つまり、撮像装置１００は、所望の背景と、人物と、を含む所望の構図となるように、ユーザを適切に補助することに寄与する。

［第１の実施形態］
第１の実施形態について、図面を用いてより詳細に説明する。

図２は、本実施形態に係る撮像装置１の全体構成の一例を示す平面図である。図２（ａ）は、撮像装置１の前面図である。図２（ｂ）は、撮像装置１の背面図である。

撮像装置１は、撮像部１０と、表示部２０と、入力検出部３０と、を含んで構成される。なお、図２は、本実施形態に係る撮像装置１を、図２で示す形態に図示する趣旨ではない。例えば、撮像装置１は、デジタルカメラ、デジタルビデオカメラ、スマートフォン、携帯電話、ゲーム機、タブレットＰＣ（Personal Computer）、ノートＰＣ、ＰＤＡ（Personal Data Assistants；携帯情報端末）等の機器であっても良い。撮像装置１は、撮像部１０を備える装置であれば、その種類は問わない。

撮像部１０は、撮像画像を生成する。

表示部２０は、撮像画像を表示する。表示部２０は、液晶パネル、有機ＥＬ（Electro Luminescence）であっても良い。

入力検出部３０は、ユーザの操作を検出する。入力検出部３０は、表示部２０と一体化したタッチパネルであってもよい。タッチパネルには、静電容量方式を初めとして各種存在するがその方式は問わない。また、入力検出部３０は、操作キー（図示せず）等であっても良い。なお、以下の説明では、入力検出部３０は、表示部２０と一体化したタッチパネルであるとして説明する。ただし、これは、入力検出部３０を表示部２０と一体化したタッチパネルに限定する趣旨ではない。

図３は、撮像装置１の内部構成の一例を示すブロック図である。撮像装置１は、撮像部１０と、表示部２０と、入力検出部３０と、報知部４０と、記憶部５０と、制御部６０と、を含んで構成される。制御部６０は、構図決定部６１と、表示制御部６２と、背景特徴点抽出部６３と、位置推定部６４と、被写体人物決定部６５と、画面移動方向判断部６６と、人物移動方向判断部６７と、報知制御部６８と、を含んで構成される。図３には、簡単のため、本実施形態に係る撮像装置１に関係するモジュールを主に記載する。

撮像部１０は、上述の通り、撮像画像を生成する。具体的には、撮像部１０は、レンズ（図示せず）と、撮像素子（図示せず）と、を含んで構成される。まず、レンズで集光した光信号は、撮像素子の受光面で結像する。そして、撮像部１０は、撮像素子が変換した光信号に基づいて、撮像画像を生成する。

さらに、撮像部１０は、撮像部１０から画角内に存在する物体までの距離に関する情報を取得することが好ましい。そこで、撮像部１０は、２つのレンズを水平に配置した、ステレオカメラであっても良い。または、撮像部１０は、可視光カメラと、赤外線カメラと、を含んでいても良い。あるいは、撮像部１０は、可視光と、赤外線と、を入射可能な撮像素子を含んでいても良い。

報知部４０は、画面移動方向、及び人物移動方向を報知する。例えば、報知部４０は、スピーカを含んで構成されることが好ましい。報知部４０がスピーカを含む場合、撮像装置１を移動、及び／又は角度変更させる方向、被写体人を移動させる方向等を、音声を用いて、報知する。そして、ユーザは、報知部４０が出力する音声に指示に従って、撮像装置１を移動、及び／又は角度変更させることが好ましい。また、ユーザは、報知部４０が出力する音声に指示に従って、撮像部１０を向ける方向を変更することが好ましい。また、被写体人物は、報知部４０が出力する音声に従って、移動することが好ましい。

記憶部５０は、撮像装置１の動作に必要な情報を記憶する。例えば、記憶部５０は、理想背景領域、理想人物領域を記憶する。また、被写体人物決定部６５が予め登録された人物を被写体人物とする場合、記憶部５０は、１又は２以上の人物の顔画像を記憶しても良い。

制御部６０は、撮像装置１の全体を制御すると共に、図３に示す各部を制御する。制御部６０は、撮像装置１に搭載されたコンピュータに、そのハードウェアを用いて、撮像装置１の処理を実行させるコンピュータプログラムにより実現することもできる。

表示制御部６２は、表示部２０に表示する画像の画像信号を生成し、表示部２０の表示を制御する。ここで、表示制御部６２は、撮像画像を表示部２０に動画として表示することが好ましい。つまり、表示制御部６２は、各フレームの撮像画像の出力と同期して、撮像画像を表示部２０に表示することが好ましい。

構図決定部６１は、理想背景領域と、理想人物領域と、を含む構図情報を決定する。具体的には、構図決定部６１は、入力検出部３０に対するユーザの操作に基づいて、理想背景領域、及び理想人物領域を決定しても良い。なお、構図決定部６１は、理想人物領域の下限面積を決定しても良い。これは、撮像画像内において、被写体人物の面積が小さくなりすぎることを防止するためである。

そして、表示制御部６２は、透過処理（アルファブレンディング処理）によって、撮像画像の上に、理想背景領域、及び理想人物領域を色づけて重ね合わせた画像を生成する。その後、表示制御部６２は、その合成画像を表示部２０に表示させる。

また、構図決定部６１は、入力検出部３０が検出するユーザの操作に基づいて、理想背景領域、理想人物領域の少なくともいずれかの位置、大きさを変更しても良い。また、構図決定部６１は、入力検出部３０に対するユーザの操作に基づいて、理想背景領域、理想人物領域の少なくともいずれかの決定を解除しても良い。

図４は、理想背景領域を決定する操作の一例を示す図である。具体的には、図４は、ユーザが、表示部２０に表示される撮像画像２０１から、理想背景領域２０２を指で選択することを示す図である。例えば、表示部２０と一体化したタッチパネルにおいて、ユーザがタッチパネル上を接触（又は、近接）したままで、撮像画像２０１上で指を滑らせて、理想背景領域を選択しても良い。そして、構図決定部６１は、選択された領域を、理想背景領域２０２として決定する。そして、表示制御部６２は、図４に示すように、撮像画像２０１の上に理想背景領域２０２を色づけて、半透明で重ね合わせた画像を生成する。そして、表示制御部６２は、その合成画像を表示部２０に表示させる。

図５は、理想人物領域を決定する操作一例を示す図である。具体的には、図５は、ユーザが表示部２０に表示される撮像画像２０３から、理想人物領域２０４、２０５を指で選択することを示す図である。例えば、表示部２０と一体化したタッチパネルにおいて、撮像画像２０３から理想人物領域を選択するように、ユーザがタッチパネル上を接触（又は、近接）したままで、指を滑らせても良い。そして、構図決定部６１は、選択された領域を、理想背景領域２０６として決定する。そして、構図決定部６１は、図５に示すように、撮像画像２０３の上に理想背景領域２０６を色づけて、半透明で重ね合わせた画像を生成する。

ここで、図５に示すように、構図決定部６１は、ユーザの操作に基づいて、２以上の理想人物領域を決定しても良い。なお、図５において、破線で囲まれた領域２０６は、理想背景領域を示す。理想背景領域と、理想人物領域とが重なることを防止するために、理想人物領域を決定する際は、図５に示すように、構図決定部６１は、理想背景領域を撮像画像に重ね合わせた画像を、表示部２０に表示することが好ましい。

図６は、理想人物領域の位置、大きさを変更する操作の一例を示す図である。例えば、表示部２０と一体化したタッチパネルにおいて、ユーザが、図６（ａ）に示す撮像画像２２１の理想人物領域２２２上で、ピンチアウト操作、又はピンチイン操作を行ったとする。その場合、構図決定部６１は、理想人物領域２２２を拡大、又は縮小する。なお、ピンチアウト操作とは、タッチパネル上に、２本の指を接触（又は近接）させたまま、その２本の指の間隔を広げる操作を意味する。また、ピンチイン操作とは、タッチパネル上で、２本の指を接触（又は近接）させたまま、その２本の指の間隔を狭める操作を意味する。

また、表示部２０と一体化したタッチパネルにおいて、ユーザが、図６（ｂ）に示す撮像画像２２３の理想人物領域２２４上で、スライド操作を行ったとする。その場合、構図決定部６１は、理想人物領域２２４の位置を変更する。なお、スライド操作とは、タッチパネル上に、指を接触（又は近接）させたまま、その指を移動する操作を意味する。なお、図６においては、理想人物領域の位置、大きさの変更を例示するが、理想背景領域の位置、大きさを同様に変更可能であることは勿論である。

背景特徴点抽出部６３は、理想背景領域から、特徴点（以下、背景特徴点と呼ぶ）を抽出する。背景特徴点とは、撮像画像の理想背景領域に含まれる特徴点を意味する。例えば、背景特徴点抽出部６３は、理想背景領域内のエッジ、コーナー等を検出し、背景特徴点としても良い。背景特徴点抽出部６３は、周辺画素との微分（周辺画素との輝度等の変化量）に基づいて、エッジを検出しても良い。また、背景特徴点抽出部６３は、２以上のエッジの交点に基づいて、コーナーを検出しても良い。例えば、エッジ検出、コーナー検出の方法は各種あるが、その詳細は問わない。

位置推定部６４は、背景特徴点に対応する、実空間における位置を推定する。なお、以下の説明では、理想背景領域内の背景特徴点に対応する、実空間における位置を、取得背景位置と呼ぶ。そして、理想背景位置とは、理想背景領域の決定時の取得背景位置を意味する。

例えば、撮像部１０がステレオカメラの場合、位置推定部６４は、三角測量を用いて、撮像部１０から、背景特徴点までの距離を推定する。

または、撮像部１０が、可視光カメラと、赤外線カメラと、を含んでいる場合、位置推定部６４は、赤外線カメラに入射する赤外線に基づいて、撮像部１０から、背景特徴点までの距離を推定する。

または、撮像部１０が、可視光と、赤外線と、を入射可能な撮像素子を含んでいる場合、位置推定部６４は、撮像素子に入射する赤外線に基づいて、撮像部１０から、背景特徴点までの距離を推定する。なお、撮像部１０の構成は、以上の例示に限定されず、背景特徴点の実空間での位置を推定できれば、他の構成でも良く、その詳細は問わない。

被写体人物決定部６５は、撮像画像から、被写体人物を決定する。例えば、被写体人物決定部６５は、撮像画像内において、理想人物領域から所定の範囲内の人物を、被写体人物として決定しても良い。例えば、被写体人物決定部６５は、撮像画像において、理想人物領域から所定の範囲内から、目、鼻、口等の顔の特徴点を検出してもよい。そして、被写体人物決定部６５は、検出された顔の特徴点に基づいて、被写体人物を決定しても良い。

または、被写体人物決定部６５は、予め登録された顔画像に基づいて、被写体人物を決定しても良い。具体的には、被写体人物決定部６５は、予め登録された顔画像の人物を、撮像画像から検出しても良い。そして、被写体人物決定部６５は、検出された人物を被写体人物として決定しても良い。

画面移動方向判断部６６は、理想背景領域に基づいて、画面移動方向を判断する。具体的には、画面移動方向判断部６６は、理想背景位置に基づいて、画面移動方向を判断する。より具体的には、画面移動方向判断部６６は、理想背景領域内の背景特徴点に対応する、実空間における位置と、理想背景位置との相対位置に基づいて、画面移動方向を判断する。つまり、画面移動方向判断部６６は、取得背景位置と、理想背景位置との相対位置に基づいて、画面移動方向を判断する。なお、上述の通り、画面移動方向とは、撮像画像において、撮像装置１を移動、及び／又は角度変更、及び／又は角度変更させる方向を意味する。

なお、理想背景位置の算出後に、理想背景位置が撮像部１０の画角外となっても良い。なぜなら、位置推定部６４は、理想背景領域の決定時に、理想背景位置を算出する。そして、理想背景領域の決定後には、画面移動方向判断部６６は、画角内の取得背景位置と、予め算出された理想背景位置との相対関係に基づいて、画面移動方向を判断できるからである。

人物移動方向判断部６７は、理想人物領域に基づいて、被写体人物の人物移動方向を判断する。具体的には、人物移動方向判断部６７は、撮像画像において、被写体人物の位置、及び理想人物領域に基づいて、被写体人物の人物移動方向を判断する。より具体的には、人物移動方向判断部６７は、撮像画像において、被写体人物の位置と、理想人物領域との距離に基づいて、人物移動方向を判断する。

報知制御部６８は、画面移動方向、及び人物移動方向の少なくともいずれかを報知するように、報知部４０を動作させる。具体的には、報知制御部６８は、撮像装置１を移動、及び／又は角度変更させる方向、被写体人物を移動させる方向の少なくともいずれかを、ユーザに指示するように、報知部４０を動作させる。例えば、報知部４０がスピーカを含む場合、報知制御部６８は、撮像装置１を移動、及び／又は角度変更させる方向、被写体人物を移動させる方向の少なくともいずれかを、スピーカから音声出力する。

なお、記憶部５０が、被写体人物の顔画像と、被写体人物の名前と、を対応付けて記憶してもよい。その場合、報知制御部６８は、被写体人物の名前を呼びかけて、移動方向を指示する音声を、スピーカから音声出力しても良い。また、被写体人物の名前が登録されていない場合、報知制御部６８は、「撮影者側から見て右の方」等の表現を用いて、被写体人物に呼びかけて、移動方向を指示する音声を、スピーカから音声出力しても良い。

また、撮像画像において、理想背景領域と、被写体人物と、が重なった場合、報知制御部６８は、「背景に人物が重なっています」等の音声を、スピーカから音声出力しても良い。

図７は、画面移動方向の一例を示す図である。まず、構図決定部６１は、図７（ａ）に示す撮像画像２４１において、理想背景領域２４２を決定したとする。そして、背景特徴点抽出部６３は、理想背景領域２４２から、背景特徴点２４３を抽出したとする。そして、位置推定部６４は、背景特徴点２４３に対応する実空間における位置を、理想背景位置として推定する。

そして、撮像画像２４１を生成後、撮像部１０が、図７（ｂ）に示す撮像画像２４４を生成したとする。そして、背景特徴点抽出部６３は、撮像画像２４４内の理想背景領域２４５において、背景特徴点２４６を抽出したとする。

ここで、図７（ｃ）は、背景特徴点２４６に対応する取得背景位置２４７と、背景特徴点２４３に対応する理想背景位置２４８と、の相対位置を示す図である。画面移動方向判断部６６は、取得背景位置２４７と、理想背景位置２４８との相対位置に基づいて、画面移動方向を判断する。図７（ｃ）の場合、矢印２４９で示す方向（右方向）に、撮影対象を移動させることが好ましい。そこで、報知制御部６８は、矢印２４９の方向に撮像装置１を移動、及び／又は角度変更させるように指示する音声を、スピーカから音声出力しても良い。具体的には、図７（ｃ）の場合、報知制御部６８は、「カメラを、もう少し右に移動してください」、「カメラを反時計回りに回転させ、右側の背景を含めるようにしてください。」等の音声を、スピーカから音声出力しても良い。

なお、上述の通り、図７（ｂ）に示すように、理想背景位置が、撮像部１０の画角外となっても良い。なぜなら、位置推定部６４は、理想背景領域の決定時に、位置推定部６４は、理想背景位置２４８を算出する。そして、理想背景領域の決定後には、画面移動方向判断部６６は、画角内の取得背景位置２４７と、予め算出された理想背景位置２４８との相対関係に基づいて、画面移動方向を判断できるからである。

図８は、人物移動方向の一例を示す図である。まず、構図決定部６１は、図８（ａ）に示す撮像画像２５１において、理想背景領域２５２、及び理想人物領域２５３を決定したとする。そして、図８（ｂ）は、撮像部１０が撮像画像２５１を生成後に生成した、撮像画像２５４を示す。ここで、図８（ｂ）の場合、理想背景領域２５５に対応する実空間内には、理想背景位置が含まれるとする。しかし、図８（ｂ）の場合、理想人物領域２５６には、被写体人物が含まれず、理想人物領域２５６の外に、被写体人物が存在するとする。

その場合、人物移動方向判断部６７は、被写体人物が存在する位置（撮像画像２５４の右側）から、理想人物領域２５６（撮像画像２５４の左側）へ、被写体人物の移動が必要であると判断する。そこで、報知制御部６８は、図８（ｂ）に示す矢印２５７の方向（左方向）へ、被写体人物の移動を指示する音声を、スピーカから音声出力しても良い。具体的には、図８（ｂ）の場合、報知制御部６８は、被写体人物に「もう少し左へ移動してください」との音声を、スピーカから音声出力しても良い。

次に、撮像装置１の動作について説明する。

まず、理想背景領域、理想人物領域を決定する処理について説明する。

図９は、理想背景領域、理想人物領域を決定する処理の一例を示すフローチャートである。

まず、理想背景領域を決定したか否かを、構図決定部６１は判断する（ステップＳ１）。構図決定部６１が理想背景領域を決定していない場合（ステップＳ１のＮｏ分岐）には、構図決定部６１は理想背景領域を決定したか否かの判断（ステップＳ１）を繰り返す。一方、構図決定部６１が理想背景領域を決定した場合（ステップＳ１のＹｅｓ分岐）には、表示制御部６２は、理想背景領域を半透明で、表示部２０に表示させる（ステップＳ２）。

表示制御部６２が理想背景領域を半透明で、表示部２０に表示させた（ステップＳ２）後、位置推定部６４は、理想背景位置の追跡を開始する（ステップＳ３）。具体的には、背景特徴点抽出部６３は、理想背景領域から背景特徴点を抽出する。そして、位置推定部６４は、背景特徴点に基づいて、取得背景位置を算出する。そして、画面移動方向判断部６６は、取得背景位置と、理想背景位置との相対位置に基づいて、画面移動方向を判断する。その結果、撮像装置１は、各フレームで、画面移動方向を判断することで、理想背景位置の追跡を行うことができる。

ここで、構図決定部６１が理想背景領域を決定したとき、背景特徴点抽出部６３は、理想背景領域内の背景特徴点を、理想背景特徴点として抽出する。そして、位置推定部６４は、実空間において、理想背景特徴点に対応する位置を、理想背景位置として推定する。

その後のフレームにおいては、背景特徴点抽出部６３は、理想背景領域から背景特徴点を抽出する。そして、位置推定部６４は、取得背景位置と、理想背景位置との相対位置を算出する。

そして、位置推定部６４は、各フレームにおいて、取得背景位置と、理想背景位置との相対位置を算出することで、理想背景位置の追跡を行う。そのため、位置推定部６４は、理想背景位置が画角外となる場合であっても、取得背景位置と、理想背景位置との相対位置に基づいて、理想背景位置の追跡を行うことができる。

ステップＳ４において、理想背景領域を変更する操作が検出されたか否かを、構図決定部６１は判断する。理想背景領域を変更する操作が検出された場合（ステップＳ４のＹｅｓ分岐）には、ステップＳ１に戻り、処理を継続する。一方、理想背景領域を変更する操作が検出されない場合（ステップＳ４のＮｏ分岐）には、ステップＳ５に遷移する。

ステップＳ５において、理想背景領域外の位置を選択する操作が検出されたか否かを、構図決定部６１は判断する。例えば、入力検出部３０がタッチパネルである場合、理想背景領域外において、タップ操作が検出されたか否かを、構図決定部６１は判断する。なお、タップ操作とは、ユーザがタッチパネルの表面に接触した（又は近接した）直後に、表面に触れた指を離す操作を意味する。

理想背景領域外の位置を選択する操作が検出された場合（ステップＳ５のＹｅｓ分岐）には、構図決定部６１は、選択された位置に理想人物領域を決定する（ステップＳ６）。そして、ステップＳ８に遷移する。

一方、理想背景領域外の位置を選択する操作が検出されない場合（ステップＳ５のＮｏ分岐）には、理想人物領域が決定済みか否かを、構図決定部６１は判断する（ステップＳ７）。理想人物領域が決定済みである場合（ステップＳ７のＹｅｓ分岐）には、ステップＳ８に遷移する。一方、理想人物領域が決定済みではない場合（ステップＳ７のＮｏ分岐）には、ステップＳ４に戻り、処理を継続する。

ステップＳ８において、表示制御部６２は、理想人物領域を半透明で、表示部２０に表示させる。

そして、撮像装置１を移動、及び／又は角度変更させる方向、及び被写体人物を移動させる方向の指示を開始するか否かを、報知制御部６８は判断する（ステップＳ９）。報知制御部６８は、撮像装置１を移動、及び／又は角度変更させる方向、及び被写体人物を移動させる方向の指示を開始する場合（ステップＳ９のＹｅｓ分岐）には、図１０に示すステップＳ１０１に遷移する。一方、報知制御部６８は、撮像装置１を移動、及び／又は角度変更させる方向、及び被写体人物を移動させる方向の指示を開始しない場合（ステップＳ９のＮｏ分岐）には、ステップＳ４に戻り、処理を継続する。

次に、予め定めた構図の撮像画像を生成する処理について説明する。

図１０は、予め定めた構図の撮像画像を生成する処理の一例を示すフローチャートである。

ここで、撮像装置１を移動、及び／又は角度変更させる方向、及び被写体人物を移動させる方向の指示を開始する、と報知制御部６８は判断した（ステップＳ９のＹｅｓ分岐）とする。その場合、ステップＳ１０１において、画面移動方向判断部６６は、取得背景位置と、理想背景位置との相対位置に基づいて、撮像装置１を移動、及び／又は角度変更させる方向を判断する。そして、ステップＳ１０２において、報知制御部６８は、撮像装置１を移動、及び／又は角度変更させる方向を指示する。

ステップＳ１０３において、被写体人物決定部６５は、被写体人物を決定する。そして、ステップＳ１０４において、人物移動方向判断部６７は、撮像画像において、被写体領域の位置と、被写体人物の位置とに基づいて、被写体人物を移動させる方向を判断する。そして、ステップＳ１０５において、報知制御部６８は、被写体人物を移動させる方向を指示する。

ステップＳ１０６において、入力検出部３０が撮影実行の操作を検出したか否かを、制御部６０は判断する。例えば、表示制御部６２は、表示部２０にシャッターボタンのアイコン等を表示しても良い。そして、表示部２０と一体化したタッチパネル（入力検出部３０）が、シャッターボタンを押下する操作を検出した場合、入力検出部３０が撮影実行の操作を検出した、と制御部６０は判断しても良い。または、撮像装置１がシャッターボタン（図示せず）を備える場合、シャッターボタンが押下されたか否かを、制御部６０は判断しても良い。

入力検出部３０が撮影実行の操作を検出した場合（ステップＳ１０６のＹｅｓ分岐）には、撮像部１０は、予め設定したシャッタースピード等の撮影パラメータで、撮影を実行する。以下、予め設定したシャッタースピード等の撮影パラメータで、撮影された画像を、撮影画像と呼ぶ。

撮像部１０が撮影を実行した場合には、ステップＳ１０８において、表示制御部６２は、撮影された撮影画像を、表示部２０に表示させる（ステップＳ１０８）。そして、撮影画像を保存するか否かを、制御部６０は判断する（ステップＳ１０９）。例えば、撮影画像を保存するか否かを、制御部６０は、ユーザの操作に基づいて、判断しても良い。

制御部６０が撮影画像を保存すると判断する場合（ステップＳ１０９のＹｅｓ分岐）には、制御部６０は、記憶部５０に撮影画像を保存する（ステップＳ１１０）。一方、制御部６０は、撮影画像を保存しないと判断する場合（ステップＳ１０９のＮｏ分岐）には、図９に示すステップＳ４に遷移する。

図１１は、撮像画像の一例を示す図である。例えば、構図決定部６１は、図４に示す撮像画像２０１において、理想背景領域２０２を決定したとする。さらに、構図決定部６１は、図５に示す撮像画像２０３において、理想人物領域２０４、２０５を決定したとする。そして、図１１に示す破線で囲まれた領域２６１が、図４に示す理想背景領域２０２に対応するとする。また、図１１に示す破線で囲まれた領域２６２、２６３が、図５に示す理想人物領域２０４、２０５に対応するとする。

ここで、図１１に示す理想背景領域２６１内の取得背景位置と、図４の理想背景領域２０２の理想背景位置との距離の差分が所定の閾値以下であるとする。その場合、画面移動方向判断部６６は、撮像装置１の移動を指示する必要がない、と判断する。

さらに、図１１に示すように、理想人物領域２６２、２６３内に、人物が存在するとする。その場合、人物移動方向判断部６７は、被写体人物の移動を指示する必要がないと判断する。つまり、図１１に示す撮像画像２６０は、ユーザが望む構図の撮像画像である。

以上のように、本実施形態に係る撮像装置１は、予め定めた構図となるように、撮像装置１の移動、及び被写体人物の移動を指示する。従って、本実施形態に係る撮像装置１は、所望の背景と、人物と、を含む所望の構図となるように、ユーザを適切に補助することに寄与する。

また、本実施形態に係る撮像装置１は、目的の背景と、撮像部１０との相対位置に基づいて、装置を移動、及び／又は角度変更させる方向を判断する。ここで、本実施形態に係る撮像装置１は、目的の背景が画角外となった場合であっても、撮像装置１を移動、及び／又は角度変更させる方向を判断できる。そのため、本実施形態に係る撮像装置１は、自装置の位置、姿勢に依存せず、予め定めた構図となるように、撮像装置１を移動、及び／又は角度変更させることに寄与する。

また、本実施形態に係る撮像装置１は、自分撮りの場合であっても、予め定めた構図となるように、撮像装置１の移動、及び被写体人物の移動を指示する。そのため、自分撮りの場合であっても、予め定めた構図となるように、ユーザを適切に補助することに寄与する。

また、本実施形態に係る撮像装置１においては、ユーザが撮像画像を見ながら、理想背景領域、及び理想人物領域を決定し、容易に構図を決定できる。さらに、本実施形態に係る撮像装置１においては、ユーザが撮像画像を見ながら、容易に、理想背景領域、及び理想人物領域の位置、大きさを変更できる。

［第２の実施形態］
第２の実施形態について、図面を用いて説明する。

本実施形態は、撮像装置の運動情報を検出し、検出した運動情報に基づいて、撮像装置を移動、角度変更させる方向を判断する形態である。なお、本実施形態における説明では、上記の実施形態と重複する部分の説明は省略する。さらに、本実施形態における説明では、上記の実施形態と同一の構成要素には、同一の符号を付し、その説明を省略する。

図１２は、本実施形態に係る撮像装置１ａの内部構成の一例を示すブロック図である。図３に示す撮像装置１と、図１２に示す撮像装置１ａとの相違点は、図１２に示す撮像装置１ａは、背景特徴点抽出部６３を含まず、運動情報検出部７０を含む点である。なお、以下の説明では、理想背景領域の決定時の、撮像装置１ａの位置を基準装置位置と呼ぶ。さらに、以下の説明では、理想背景領域の決定時の、撮像装置１ａの姿勢を基準装置姿勢と呼ぶ。

運動情報検出部７０は、装置運動情報を検出する。ここで、装置運動情報とは、撮像装置１ａの運動に関する情報を意味する。そして、装置運動情報は、基準装置位置からの撮像装置１ａの移動量、基準装置姿勢からの撮像装置１ａの姿勢の変化量の少なくともいずれかを含むことが好ましい。そこで、運動情報検出部７０は、加速度センサ、角速度センサ等を含んで構成されることが好ましい。

本実施形態に係る画面移動方向判断部６６は、装置運動情報に基づいて、画面移動方向を判断する。具体的には、画面移動方向判断部６６は、装置運動情報に基づいて、基準装置位置、及び基準装置姿勢に対する、撮像装置１ａの位置、姿勢の変化量を算出する。

例えば、運動情報検出部７０が加速度センサを含んで構成される場合、画面移動方向判断部６６は、加速度センサの出力値に基づいて、撮像装置１ａの移動量を算出する。具体的には、画面移動方向判断部６６は、加速度センサの出力値を積分して、撮像装置１ａの移動量を算出する。

例えば、運動情報検出部７０が角速度センサを含んで構成される場合、画面移動方向判断部６６は、角速度センサの出力値に基づいて、撮像装置１ａの姿勢の変化量を算出する。具体的には、画面移動方向判断部６６は、角速度センサの出力値を積分して、撮像装置１ａの姿勢の変化量を算出する。

そして、本実施形態に係る報知制御部６８は、画面移動方向判断部６６が算出する位置、姿勢の変化量に基づいて、撮像装置１ａを移動させる方向を指示する。

以上のように、本実施形態に係る撮像装置１ａは、加速度センサ、角速度センサ等の出力値に基づいて、自装置の位置、姿勢の変化量を算出する。そして、本実施形態に係る撮像装置１ａは、自装置の位置、姿勢の変化量に基づいて、自装置を移動、及び／又は角度変更させる方向を指示する。従って、本実施形態に係る撮像装置１ａは、第１の実施形態と同様の効果を奏すると共に、より一層、適切に撮像装置１ａを移動させることに寄与する。

なお、上記した実施形態においては、タッチパネルを介して、ユーザの操作を検出し、検出した操作に基づいて、理想背景領域、理想人物領域を決定する形態について説明した。しかし、操作キーを介して、ユーザの操作を検出し、検出した操作に基づいて、理想背景領域、理想人物領域を決定しても良い。

上述の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。

（付記１）上記第１の視点に係る撮像装置の通りである。

（付記２）ユーザの操作を検出する入力検出部をさらに備え、前記構図決定部は、前記入力検出部が検出するユーザの操作に基づいて、前記理想背景領域、及び理想人物領域を決定する付記１に記載の撮像装置。

（付記３）報知部と、前記画面移動方向、及び前記人物移動方向の少なくともいずれかを報知するように、前記報知部を動作させる報知制御部と、をさらに備える付記１又は２に記載の撮像装置。

（付記４）前記理想背景領域から背景特徴点を抽出する背景特徴点抽出部をさらに備え、前記位置推定部は、前記背景特徴点に対応する、実空間における位置を推定するとともに、前記理想背景領域の決定時の、前記背景特徴点の実空間における位置を、理想背景位置として決定し、前記画面移動方向判断部は、前記理想背景位置に基づいて、前記画面移動方向を算出する付記１乃至３のいずれか一に記載の撮像装置。

（付記５）前記画面移動判断部は、前記背景特徴点の実空間における位置と、前記理想背景位置との相対位置に基づいて、前記画面移動方向を判断する付記４に記載の撮像装置。

（付記６）装置運動情報を検出する運動情報検出部をさらに備え、前記画面移動方向判断部は、前記装置運動情報に基づいて、前記画面移動方向を判断する付記１乃至５のいずれか一に記載の撮像装置。

（付記７）前記人物移動方向判断部は、前記撮像画像内の前記被写体人物の位置と、前記理想人物領域との距離に基づいて、前記人物移動方向を判断する付記１乃至６のいずれか一に記載の撮像装置。

（付記８）前記被写体人物決定部は、前記撮像画像内において、前記理想人物領域から所定の範囲内の人物を、前記被写体人物として決定する付記１乃至７のいずれか一に記載の撮像装置。

（付記９）前記被写体人物決定部は、予め登録された顔画像に基づいて、被写体人物を決定する請求項１乃至８のいずれか一に記載の撮像装置。

（付記１０）上記第２の視点に係る撮像装置の制御方法の通りである。

（付記１１）ユーザの操作を検出する工程をさらに含み、前記構図制御工程において、ユーザの操作に基づいて、前記理想背景領域、及び理想人物領域を決定する付記１０に記載の撮像装置の制御方法。

（付記１２）前記画面移動方向、及び前記人物移動方向の少なくともいずれかを報知する工程を含む付記１０又は１１に記載の撮像装置の制御方法。

（付記１３）前記理想背景領域から背景特徴点を抽出する背景特徴点抽出工程をさらに含み、前記位置推定工程において、前記背景特徴点に対応する、実空間における位置を推定するとともに、前記理想背景領域の決定時の、前記背景特徴点の実空間における位置を、理想背景位置として決定し、前記画面移動方向判断工程において、前記理想背景位置に基づいて、前記画面移動方向を算出する付記１０乃至１２のいずれか一に記載の撮像装置の制御方法。

（付記１４）前記画面移動判断工程において、前記背景特徴点の実空間における位置と、前記理想背景位置との相対位置に基づいて、前記画面移動方向を判断する付記１３に記載の撮像装置の制御方法。

（付記１５）装置運動情報を検出する工程をさらに含み、前記画面移動方向判断工程において、前記装置運動情報に基づいて、前記画面移動方向を判断する付記１０乃至１４のいずれか一に記載の撮像装置の制御方法。

（付記１６）上記第３の視点に係るプログラムの通りである。

（付記１７）ユーザの操作を検出する処理をさらに実行し、前記構図制御処理において、ユーザの操作に基づいて、前記理想背景領域、及び理想人物領域を決定する付記１６に記載のプログラム。

（付記１８）前記画面移動方向、及び前記人物移動方向の少なくともいずれかを報知する処理を実行する付記１６又は１７に記載のプログラム。

（付記１９）前記理想背景領域から背景特徴点を抽出する背景特徴点抽出処理をさらに実行し、前記位置推定処理において、前記背景特徴点に対応する、実空間における位置を推定するとともに、前記理想背景領域の決定時の、前記背景特徴点の実空間における位置を、理想背景位置として決定し、前記画面移動方向判断処理において、前記理想背景位置に基づいて、前記画面移動方向を算出する付記１６乃至１８のいずれか一に記載のプログラム。

（付記２０）前記画面移動判断処理において、前記背景特徴点の実空間における位置と、前記理想背景位置との相対位置に基づいて、前記画面移動方向を判断する付記１９に記載のプログラム。

（付記２１）装置運動情報を検出する処理をさらに実行し、前記画面移動方向判断処理において、前記装置運動情報に基づいて、前記画面移動方向を判断する付記１６乃至２０のいずれか一に記載のプログラム。

なお、引用した上述の特許文献の各開示は、本書に引用をもって繰り込むものとする。本発明の全開示（請求の範囲を含む）の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の請求の範囲の枠Ｎ内において種々の示要素（各請求項の各要素、各実施形態ないし実施例の各要素、各図面の各要素等を含む）の多様な組み合わせ、ないし、選択が可能である。すなわち、本明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、変更を含むことは勿論である。特に、本書に記載した数値範囲については、当該範囲内に含まれる任意の数値ないし小範囲が、別段の記載のない場合でも具体的に記載されているものと解釈されるべきである。

１、１ａ、１００ 撮像装置
１０、１０１ 撮像部
２０ 表示部
３０ 入力検出部
４０ 報知部
５０ 記憶部
６０ 制御部
６１、１０２ 構図決定部
６２ 表示制御部
６３ 背景特徴点抽出部
６４、１０３ 位置推定部
６５、１０４ 被写体人物決定部
６６、１０５ 画面移動方向判断部
６７、１０６ 人物移動方向判断部
６８ 報知制御部
７０ 運動情報検出部
２０１、２０３、２２１、２２３、２４１、２４４、２５１、２５４、２６０ 撮像画像
２０２、２０６、２４２、２４５、２５２、２５５、２６１ 理想背景領域
２０４、２０５、２２２、２２４、２５３、２５６、２６２、２６３ 理想人物領域
２４３、２４６ 背景特徴点
２４７ 取得背景位置
２４８ 理想背景位置
２４９ 矢印（画面移動方向）
２５７ 矢印（人物移動方向）

Claims (9)

1. 撮像画像を生成する撮像部と、
   理想背景領域と、理想人物領域と、を含む構図情報を決定する構図決定部と、
   前記理想背景領域を決定時の理想背景位置を推定する位置推定部と、
   被写体人物を決定する被写体人物決定部と、
   前記理想背景位置に基づいて、画面移動方向を判断する画面移動方向判断部と、
   前記撮像画像内の前記被写体人物の位置、及び前記理想人物領域の位置に基づいて、前記被写体人物の人物移動方向を判断する人物移動方向判断部と、
   を備える撮像装置。
2. ユーザの操作を検出する入力検出部をさらに備え、
   前記構図決定部は、前記入力検出部が検出するユーザの操作に基づいて、前記理想背景領域、及び理想人物領域を決定する請求項１に記載の撮像装置。
3. 報知部と、
   前記画面移動方向、及び前記人物移動方向の少なくともいずれかを報知するように、前記報知部を動作させる報知制御部と、
   をさらに備える請求項１又は２に記載の撮像装置。
4. 前記理想背景領域から背景特徴点を抽出する背景特徴点抽出部をさらに備え、
   前記位置推定部は、前記背景特徴点に対応する、実空間における位置を推定するとともに、前記理想背景領域の決定時の、前記背景特徴点の実空間における位置を、理想背景位置として決定し、
   前記画面移動方向判断部は、前記理想背景位置に基づいて、前記画面移動方向を算出する請求項１乃至３のいずれか一に記載の撮像装置。
5. 前記画面移動判断部は、前記背景特徴点の実空間における位置と、前記理想背景位置との相対位置に基づいて、前記画面移動方向を算出する請求項４に記載の撮像装置。
6. 装置運動情報を検出する運動情報検出部をさらに備え、
   前記画面移動方向判断部は、前記装置運動情報に基づいて、前記画面移動方向を算出する請求項１乃至５のいずれか一に記載の撮像装置。
7. 前記人物移動方向判断部は、前記撮像画像内の前記被写体人物の位置と、前記理想人物領域との距離に基づいて、前記人物移動方向を判断する請求項１乃至６のいずれか一に記載の撮像装置。
8. 撮像画像を生成する撮像部を備える撮像装置の制御方法であって、
   理想背景領域と、理想人物領域と、を含む構図情報を決定する構図情報決定工程と、
   前記理想背景領域を決定時の理想背景位置を推定する位置推定工程と、
   被写体人物を決定する被写体人物決定工程と、
   前記理想背景位置に基づいて、画面移動方向を判断する画面移動方向判断工程と、
   前記撮像画像内の前記被写体人物の位置、及び前記理想人物領域の位置に基づいて、前記被写体人物の人物移動方向を判断する人物移動方向判断工程と、
   を含む撮像装置の制御方法。
9. 撮像画像を生成する撮像部を備える撮像装置を制御するコンピュータに実行させるプログラムであって、
   理想背景領域と、理想人物領域と、を含む構図情報を決定する構図情報決定処理と、
   前記理想背景領域を決定時の理想背景位置を推定する位置推定処理と、
   被写体人物を決定する被写体人物決定処理と、
   前記理想背景位置に基づいて、画面移動方向を判断する画面移動方向判断処理と、
   前記撮像画像内の前記被写体人物の位置、及び前記理想人物領域の位置に基づいて、前記被写体人物の人物移動方向を判断する人物移動方向判断処理と、
   を実行するプログラム。

Images