JP2017184108A - 撮像装置及び撮像方法 - Google Patents

Abstract

【課題】ユーザの望む範囲内に被写体を捉えることが可能な撮像装置及び撮像方法を提供すること。【解決手段】撮像装置１００は、撮像範囲を撮像して画像を取得する撮像部１０２と、画像から撮像の対象となる対象物を検出する対象物検出部１１４４と、対象物の位置が撮像範囲の周辺部であるか否かを判定する画像範囲判定部１１４６と、対象物の移動方向を判定する移動方向判定部１１４５と、対象物の位置が撮像範囲の周辺部であるか否かの判定結果と対象物の移動方向とに応じてユーザに対する補助処理を行う撮影補助部１１４７とを備える。【選択図】図１

Description

本発明は、撮像装置及び撮像方法に関する。

撮影によって動体を捉えるための手法として、撮影の対象物を連続撮影する手法が知られている。例えば、特許文献１では、連続撮影により撮影の対象物である被写体が撮影される。この撮影中にユーザによるレリーズ操作があると時点トリガが生成される。撮影が終わると、連続撮影により得られた複数の被写体像の中で時点トリガが表す時点に最も近い時点に撮影された被写体像が表示画面の最も中央よりとなるように複数の被写体像の表示が行われる。ユーザは、レリーズタイミングを含む複数の被写体像の中から所望の被写体像を選択する。このようにして、ユーザは、連写画像や動画像から所望の望む被写体像を取得できる。

特開２００７−４９４０８号公報

動いている対象物の連続撮影時において、ユーザは慌ててしまい、撮像範囲の確認もせずに動いている対象物に合わせるようにして撮像装置を動かしてしまうことがある。この場合、連続撮影によって得られる画像の撮像範囲はユーザが望む撮像範囲になっていない可能性が生じる。

本発明は、前記の事情に鑑みてなされたもので、ユーザの望む範囲内に被写体を捉えることが可能な撮像装置及び撮像方法を提供することを目的とする。

前記の目的を達成するために、本発明の第１の態様の撮像装置は、撮像範囲を撮像して画像を取得する撮像部と、前記画像から撮像の対象となる対象物を検出する対象物検出部と、前記対象物の位置が前記撮像範囲の周辺部であるか否かを判定する画像範囲判定部と、前記対象物の移動方向を判定する移動方向判定部と、前記対象物の位置が前記撮像範囲の周辺部であるか否かの判定結果と前記対象物の移動方向とに応じてユーザに対する補助処理を行う撮影補助部とを具備する。

前記の目的を達成するために、本発明の第２の態様の撮像方法は、撮像部により、撮像範囲を撮像して画像を取得することと、前記画像から撮像の対象となる対象物を検出することと、前記対象物の位置が前記撮像範囲の周辺部であるか否かを判定することと、前記対象物の移動方向を判定することと、前記対象物の位置が前記撮像範囲の周辺部であるか否かの判定結果と前記対象物の移動方向とに応じてユーザに対する補助処理を行うことと、を具備する。

本発明によれば、ユーザの望む範囲内に被写体を捉えることが可能な撮像装置及び撮像方法を提供することができる。

本発明の一実施形態に係る撮像装置の一例としての構成を示すブロック図である。 連続撮影について説明するための図である。 部分画像の切り出しについて説明するための図である。 撮像範囲の変化について説明するための図である。 切り出し後に無効になる範囲について説明するための図である。 本発明の一実施形態に係る撮像装置のメインの処理について示すフローチャートである。 図７（ａ）は一定位置再生によって再生される動画像の例を示す図であり、図７（ｂ）は横切り再生によって再生される動画像の例を示す図である。 捕捉撮影補助処理について示すフローチャートである。 対象物の検出処理について示すフローチャートである。 位置判定処理について示すフローチャートである。 図１１（ａ）はＮＧ表示の例を示す図であり、図１１（ｂ）はＳＴＯＰ表示の例を示す図である。

以下、図面を参照して本発明の実施形態を説明する。図１は、本発明の一実施形態に係る撮像装置の一例としての構成を示すブロック図である。図１に示す撮像装置１００は、例えばデジタルカメラ、カメラ機能付き携帯電話機、スマートフォンといった各種の携帯端末機器である。図１に示す撮像装置１００は、撮像部１０２と、表示部１０４と、仮記録部１０６と、記録部１０８と、操作部１１０と、加速度検出部１１２と、制御部１１４とを有している。

撮像部１０２は、撮像光学系と、撮像素子とを有している。撮像光学系は、絞り及びレンズ等を有し、図示しない被写体からの光束を撮像素子に入射させる。撮像光学系は、フォーカスレンズを含んでいてもよく、また、ズームレンズとして構成されていてもよい。撮像素子は、例えばＣＭＯＳイメージセンサ又はＣＣＤイメージセンサを含み、被写体を撮像し、被写体に係る画像データを取得する。

表示部１０４は、例えば液晶ディスプレイや有機ＥＬディスプレイであり、撮像部１０２で取得された画像データに基づく画像等の各種の画像を表示する。

仮記録部１０６は、ＲＡＭ等の揮発性メモリであり、各種のデータを仮記録するための記録媒体である。仮記録部１０６には、例えば連続的な撮像動作の結果として得られる複数の画像データが仮記録される。

記録部１０８は、フラッシュメモリ等の不揮発性メモリであり、各種のデータを記録するための記録媒体である。記録部１０８には、例えば撮影動作の結果として得られる画像ファイルが記録される。また、記録部１０８には、撮像装置１００の制御に用いられるプログラムが記録される。

操作部１１０は、ユーザが撮像装置１００の操作をするための操作部材である。操作部１１０は、電源スイッチ、レリーズボタン等を操作部材として有している。電源スイッチは、撮像装置１００の電源のオン／オフの指示を与えるための操作部材である。レリーズボタンは、撮影開始の指示を与えるための操作部材である。また、操作部１１０は、タッチパネル等の他の操作部材を有していてもよい。

加速度検出部１１２は、撮像装置１００に発生した加速度を検出するセンサである。加速度検出部１１２は、撮像装置１００において定義される直交３軸の加速度を検出する。加速度検出部１１２により、撮像装置１００の移動が検出される。なお、撮像装置１００の移動は、加速度以外によって検出されてもよい。また、加速度検出部１１２は、結局、後述の移動方向判定部１１４５で判定するための移動方向判定用信号を出力する部分である。このため、加速度検出部１１２は、装置の移動方向判定センサ部とか、動き検知センサ部とか姿勢判定センサ部であってもよい。つまり、このブロックは、装置がどのように撮像方向を変えているかなどの情報を取得するためのもので、方位センサや気圧センサやジャイロや仰角判定センサなどで代用されてもよいし、これらが併用されてもよい。また、画面の変化などで代用可能な場合もあるが、この場合は、画像変化センサ部となる。

制御部１１４は、ＣＰＵ及びＡＳＩＣ等の制御回路であり、撮像装置１００の動作を統括的に制御する。制御部１１４は、撮像制御部１１４１としての機能と、表示制御部１１４２としての機能と、画像処理部１１４３としての機能と、対象物検出部１１４４としての機能と、移動方向判定部１１４５としての機能と、画像範囲判定部１１４６としての機能と、撮影補助部１１４７としての機能とを有している。ここで、制御部１１４の各機能は、単一のハードウェア又はソフトウェアによって実現されてもよいし、複数のハードウェア又はソフトウェアによって実現されてもよい。また、一部の機能は、制御部１１４と別個に設けられていてもよい。

撮像制御部１１４１は、撮像部１０２による被写体の撮像動作及び撮像素子からの画像データの読み出し動作を制御する。

表示制御部１１４２は、表示部１０４に各種の画像を表示するときの制御をする。

画像処理部１１４３は、撮像素子から読み出された画像データに対する各種の画像処理を行う。この画像処理は、ホワイトバランス処理、階調補正処理等を含む。また、この画像処理は、画像データから一部の部分画像データを切り出す切り出し処理を含む。

対象物検出部１１４４は、画像データから対象物を検出する。対象物は、例えばユーザが撮影しようとしている被写体である。対象物の検出は、連続的な撮像動作によって得られた複数の画像データの間の特徴量（例えば輝度）の比較によって行われる。対象物の検出は、複数の画像データの間の特徴量の比較によって行われなくてもよい。

移動方向判定部１１４５は、対象物の移動方向を検出する。対象物の移動は、例えば動きベクトルによって検出される画像データ上での対象物の移動方向と加速度検出部１１２の出力から検出される撮像装置１００の移動方向との相対方向として検出される。前述したように、加速度検出部１１２は、他のセンサで代用も可能である。

画像範囲判定部１１４６は、部分画像データの切り出し範囲を検出する。切り出し範囲は、例えば、対象物検出部１１４４で検出された対象物を中心とした矩形範囲である。この矩形範囲の大きさは、固定値であってもよいし、ユーザによって選択される値であってもよい。

撮影補助部１１４７は、画像範囲判定部１１４６で検出された切り出し範囲の中に無効部分がなくなるように、ユーザを補助する。ここで、無効部分とは、切り出し範囲を設定したときに、もとの画像データの範囲外となる部分である。また、補助は、例えば撮像装置１００を固定させる旨のアドバイスであったり、撮像部１０２の画角変更であったりする。詳細については後で説明する。

次に、本実施形態に係る撮像装置の動作を説明する。例えば、撮影者は、図２に示すように、撮像装置１００の撮像範囲を撮像範囲３０２ａで固定しながら、撮像範囲３０２ａを横切るように移動している鳥３００を連続撮影している。ここで、「連続撮影」とは、撮像部１０２を連続動作させる撮影のことであり、動画撮影であってもよいし、連写撮影であってもよい。また、図２では、複数の鳥３００が示されているが、これは鳥３００が撮像範囲３０２ａを横切っていく様子を図示したものである。

図２に示すような連続撮影であれば、撮像範囲３０２ａを横切っていく鳥３００の時系列の画像を得ることが可能である。また、時系列の画像から鳥３００の周辺部のみを切り出すこともできる。例えば、図２の切り出し範囲３０４ａを切り出すことで図３（ａ）に示すような画像を得ることができる。また、図２の切り出し範囲３０４ｂを切り出すことで図３（ｂ）に示すような部分画像を得ることができる。近年、撮像素子の高画素化が進んでいる。高画素の撮像素子であれば、それによって得られた画像の一部を切り出したとしても十分な解像度の部分画像が得られる。このため、動画から高画質の静止画を切り出したり、連写画像から必要な箇所の高画質の静止画を切り出したりすることも可能である。

しかしながら、実際には撮像範囲３０２ａで固定されたまま撮影が行われるとは限らない。例えば、撮影者が鳥３００を撮像範囲の中心に収めようとするあまりに撮像装置１００を動かしてしまうことが考えられる。この場合、図４に示すように、撮像範囲は、撮像範囲３０２ａから撮像範囲３０２ｂ及び３０２ｃといったように変化してしまう可能性がある。移動方向判定部１１４５で装置の動きを検知することができるが、装置が撮像する方向を変化させることも考慮した判定を行えばなおよい。動きが起こる前、もしくは無視できるタイミングで画像を判定したり、高速で判定して無視可能にしたりしてもよい。もちろん、装置の動きをキャンセルして、画面内の鳥の動きを判定してもよいが、装置の動きも鳥の動きも合わせて判定してもよいことは言うまでもない。図３（ａ）と同様のタイミングで同じ切り出し範囲での切り出しが行われるとすると、撮像範囲３０２ｂから切り出し範囲３０６ａの部分画像が切り出されることになる。また、図３（ｂ）と同様のタイミングで同じ切り出し範囲での切り出しが行われるとすると、撮像範囲３０２ｃから切り出し範囲３０８ａの部分画像が切り出されることになる。

ここで、切り出し範囲３０６ａでは、対象物が撮像範囲３０２ｂの周辺部に位置している。このため、切り出し範囲３０６ａの周辺部３０６ｂは、撮像範囲３０２ｂの範囲外になっている。この周辺部３０６ｂは、画像上では図５（ａ）の範囲４０２ｂで示すような無効な範囲として扱われる。同様に、切り出し範囲３０８ａでは、対象物が撮像範囲３０２ｃの周辺部に位置している。このため、切り出し範囲３０８ａの周辺部３０８ｂは、撮像範囲３０２ｃの範囲外になっている。この周辺部３０８ｂは、画像上では図５（ｂ）の範囲４０２ｃで示すような無効な範囲として扱われる。これらのような画像は、静止画として余り適切であるとは言えない。

本実施形態では、撮影の対象物を含む切り出し範囲で切り出した部分画像が適切な画像となるように、ユーザに対する撮影補助がされる。例えば、撮像範囲が適切である場合に撮像範囲を固定するようにアドバイスしたり、撮像範囲が適切になるように画角を広げたりする処理が行われる。以下、具体的な処理について説明する。

図６は、本実施形態に係る撮像装置のメインの処理について示すフローチャートである。図６の処理は、制御部１１４が主体となって行われる。また、以下の説明においては、撮像装置１００は、動作モードとして連続撮影モードと再生モードとを有しているものとする。連続撮影モードは、連続撮影（動画撮影、連写撮影等）によって得られた画像を記録部１０８に記録するためのモードである。再生モードは、連続撮影モードによって記録された画像を再生するためのモードである。勿論、撮像装置１００は、連続撮影モード及び再生モード以外のモードを動作モードとして有していてもよい。例えば、撮像装置１００は、１枚の静止画を撮影する通常撮影モードを動作モードとして有していてもよい。動作モードの設定は、例えばユーザによる操作部１１０の操作によってなされる。

図６の処理は、例えば撮像装置１００の電源がオンされることによって開始される。ステップＳ１において、制御部１１４は、撮像装置１００の動作モードが連続撮影モードであるか否かを判定する。ステップＳ１において、撮像装置１００の動作モードが連続撮影モードであると判定されたときに、処理はステップＳ２に移行する。ステップＳ１において、撮像装置１００の動作モードが連続撮影モードでない、すなわち再生モードであると判定されたときに、処理はステップＳ１０に移行する。

ステップＳ２において、制御部１１４は、スルー画表示を行う。スルー画表示において、制御部１１４は、撮像部１０２を繰り返し動作させる。そして、制御部１１４は、撮像部１０２の繰り返し動作によって逐次に得られる画像データに対して画像処理を施す。そして、制御部１１４は、画像処理された画像データに基づくスルー画を表示部１０４に逐次に表示させる。このようなスルー画表示の開始後、処理はステップＳ３に移行する。

ステップＳ３において、制御部１１４は、ユーザによって撮影開始が指示されたか否かを判定する。撮影開始の指示は、例えばレリーズボタンの押し操作又はタッチパネルの所定の箇所へのタッチ操作である。ステップＳ３において、ユーザによって撮影開始が指示されていないと判定されたときに、処理はステップＳ１に戻る。ステップＳ３において、ユーザによって撮影開始が指示されたと判定されたときに、処理はステップＳ４に移行する。

ステップＳ４において、制御部１１４は、連続撮影動作を開始する。例えば、連続撮影動作が動画撮影動作であるとすると、制御部１１４は、撮像光学系の絞りの設定及び撮像素子の露出時間等を動画撮影用の設定にする。そして、制御部１１４は、撮像部１０２の所定の動画フレームレート毎の撮像動作を開始させる。そして、制御部１１４は、それぞれの撮像動作で得られた画像データを仮記録部１０６に仮記録する。このような連続撮影動作の開始後、処理はステップＳ５に移行する。

ステップＳ５において、制御部１１４は、ユーザによって撮影終了が指示されたか否かを判定する。撮影終了の指示は、例えばレリーズボタンの再度の押し操作又はタッチパネルの所定の箇所へのタッチ操作である。ステップＳ５において、ユーザによって撮影終了が指示されていないと判定されたときに、処理はステップＳ６に移行する。ステップＳ５において、ユーザによって撮影終了が指示されたと判定されたときに、処理はステップＳ９に移行する。

ステップＳ６において、制御部１１４は、現在の連続撮影モードの設定が捕捉撮影補助を実行する設定になっているか否かを判定する。捕捉撮影補助は、ユーザに対する撮影補助であり、例えば撮像範囲が適切である場合に撮像範囲を固定するようにユーザにアドバイスしたり、撮像範囲が適切になるように画角を広げたりする処理を含む。ステップＳ６において、現在の連続撮影モードの設定が捕捉撮影補助を実行する設定になっていると判定されたときに、処理はステップＳ７に移行する。ステップＳ６において、現在の連続撮影モードの設定が捕捉撮影補助を実行する設定になっていないと判定されたときに、処理はステップＳ４に戻る。この場合、ステップＳ７の捕捉撮影補助処理が行われずに連続撮影動作が継続される。

ステップＳ７において、制御部１１４は、捕捉撮影補助処理を行う。捕捉撮影補助処理では、撮影の対象物が画像データから検出され、この対象物を含む切り出し範囲が撮像範囲内となるように補助をする処理が行われる。捕捉撮影補助処理の詳細については後で説明する。捕捉撮影補助処理の後、処理はステップＳ８に移行する。

ステップＳ８において、制御部１１４は、捕捉撮影補助処理において検出された撮影の対象物の位置情報を仮記録した画像データと関連付けて仮記録部１０６に仮記録する。その後、処理はステップＳ４に戻る。この場合、連続撮影動作が継続される。

ステップＳ９において、制御部１１４は、連続撮影動作によって得られた複数の画像データを画像ファイルとして記録部１０８に記録する。例えば、連続撮影動作が動画撮影動作であるとすると、制御部１１４は、複数の画像データから１つの動画ファイルを作成する。勿論、画像ファイルは、複数の画像データに対して個別に作成されてもよい。記録処理の後、処理はステップＳ１に戻る。

ステップＳ１０において、制御部１１４は、撮像装置１００の動作モードが再生モードであるか否かを判定する。ステップＳ１０において、撮像装置１００の動作モードが再生モードであると判定されたときに、処理はステップＳ１１に移行する。ステップＳ１０において、撮像装置１００の動作モードが再生モードでないと判定されたときに、処理はステップＳ１に戻る。

ステップＳ１１において、制御部１１４は、記録部１０８に記録されている画像ファイルの一覧を表示部１０４に表示させる。

ステップＳ１２において、制御部１１４は、表示部１０４に一覧表示された画像ファイルのうちの１つがユーザによって選択されたか否かを判定する。画像ファイルの選択は、例えばユーザによるタッチパネルの操作によって行われる。ステップＳ１２において画像ファイルの選択がなされたと判定されたときに、処理はステップＳ１３に移行する。ステップＳ１２において画像ファイルの選択がなされていないと判定されたときに、処理はステップＳ１０に戻る。

ステップＳ１３において、制御部１１４は、画像ファイルの再生モードが一定位置再生モードであるか否かを判定する。本実施形態では、画像ファイルの再生モードとして一定位置再生モードと、横切り再生モードと、通常再生モードとを有している。一定位置再生モードは、対象物の位置が同じ位置になるように動画像の複数フレームを位置合わせしてから再生する再生モードである。横切り再生モードは、画面内の横切りといった対象物の移動が再現されるように動画像の複数フレームを位置合わせしてから再生する再生モードである。通常再生モードは、位置合わせをしないで記録部１０８に記録されたままの動画像を再生する再生モードである。再生モードの設定は、例えばユーザによる操作部１１０の操作によってなされる。ステップＳ１３において、画像ファイルの再生モードが一定位置再生モードであると判定されたときには、処理はステップＳ１４に移行する。ステップＳ１４において、画像ファイルの再生モードが一定位置再生モードでないと判定されたときには、処理はステップＳ１５に移行する。

ステップＳ１４において、制御部１１４は、選択された画像ファイルの一定位置再生を行う。一定位置再生において、制御部１１４は、画像ファイルに記録されている対象物の位置情報から各フレームにおける対象物の位置を検出する。そして、制御部１１４は、検出した対象物を含む切り出し範囲の部分画像データを各フレームから切り出す。そして、切り出した各部分画像データを順次に再生する。このような一定位置再生によって再生される動画像の例を図７（ａ）に示す。図７（ａ）に示すように、一定位置再生では、例えば同じ位置で羽ばたきを繰り返す鳥の動画像を再生することが可能である。このような一定位置再生の後、処理はステップＳ１８に移行する。

ステップＳ１５おいて、制御部１１４は、画像ファイルの再生モードが横切り再生モードであるか否かを判定する。ステップＳ１５において、画像ファイルの再生モードが横切り再生モードであると判定されたときには、処理はステップＳ１６に移行する。ステップＳ１５において、画像ファイルの再生モードが横切り再生モードでないと判定されたときには、処理はステップＳ１７に移行する。

ステップＳ１６において、制御部１１４は、選択された画像ファイルの横切り再生を行う。横切り再生において、制御部１１４は、画像ファイルに記録されている対象物の位置情報から各フレームにおける対象物の位置を検出する。そして、制御部１１４は、対象物の移動軌跡を推定する。特に、鳥等は、頭部や尾を検出することにより、移動方向を推定しやすい。時間軸に従って複数回撮影した結果を判定して移動方向を判定してもよい。また、絶対的な方向でなく、画面内の方向で判定してもよい。撮像装置が止まった状態を判定して、その時の画面変化から方向推定してもよいし、撮像装置の動きを判定しつつ、それを加味して対象物の動き方向を判定してもよい。また、撮像装置の動きも鳥などの動きも分離せず、画面内における変化がどうなるかという視点で、トータルに画面内における対象物の動き方向を判定してもよい。移動軌跡の推定後、制御部１１４は、推定した軌跡上に対象物が表示されるように各フレームにおける切り出し範囲を設定しながら部分画像データを各フレームから切り出す。そして、切り出した各部分画像データを背景の画像データ（対象物を除いた画像データ）に重ねて順次に再生する。このような横切り再生によって再生される動画像の例を図７（ｂ）に示す。図７（ｂ）に示すように、横切り再生では、例えば画面内を横切っていく鳥の動きを再現した動画像を再生することが可能である。このような横切り再生の後、処理はステップＳ１８に移行する。

ステップＳ１７において、制御部１１４は、選択された画像ファイルの通常再生を行う。通常再生において、制御部１１４は、画像ファイルに記録されている各フレームを順次に再生する。このような通常再生の後、処理はステップＳ１８に移行する。

ステップＳ１８において、制御部１１４は、画像ファイルの再生を終了するか否かを判定する。例えば、ユーザによる操作部１１０の操作によって画像ファイルの再生終了が指示された場合には、画像ファイルの再生を終了すると判定される。ステップＳ１８において、画像ファイルの再生終了が指示されたと判定されたときに、処理はステップＳ１に戻る。ステップＳ１８において、画像ファイルの再生終了が指示されていないと判定されたときに、処理はステップＳ１３に戻る。

次に、捕捉撮影補助処理について説明する。図８は、捕捉撮影補助処理について示すフローチャートである。ステップＳ２１において、制御部１１４は、連続撮影によって逐次に得られる画像データにおける対象物を検出する。以下、ステップＳ２１の処理について詳細に説明する。図９は、対象物の検出処理について示すフローチャートである。ステップＳ３１において、制御部１１４は、連続撮影によって得られる画像データのうちで時間的に近い複数の画像データの特徴量（例えば輝度）を比較する。例えば、制御部１１４は、現在のフレームの画像データとその１フレーム前の画像データとを比較する。比較する画像データの数は、２つに限るものではない。また、比較する画像データの時間間隔は１フレームに限るものではない。

ステップＳ３２において、制御部１１４は、比較する画像データの間に類似する画像部分があるか否かを判定する。ここで、空を飛んでいる鳥等が対象物である場合、羽ばたきによって画像データ上での対象物の形状は時々刻々に変化する。このような時間的に形状が変化するものも同一の対象物とみなせるように、特徴量の類似度（例えば特徴量の差）がある程度の許容範囲内の画像部分については類似する画像部分であると判定されるようにする。ステップＳ３２において、比較する画像データの間に類似する画像部分があると判定されたときには、処理はステップＳ３３に移行する。ステップＳ３２において、比較する画像データの間に類似する画像部分がないと判定されたときには、図９の処理は終了する。なお、類似する画像部分の判定は、３フレーム以上の画像データについて行われてもよい。この場合、全ての画像データにおいて類似する画像部分があるときに類似する画像部分があると判定されるようにしてもよいし、複数のフレーム間での多数決によって類似する画像部分があるか否かが判定されるようにしてもよい。

ステップＳ３３において、制御部１１４は、類似する画像部分の位置情報を対象物の位置情報として画像データ毎に仮記録部１０６に記録する。その後、図９の処理は終了する。

ここで、再び図８の説明に戻る。ステップＳ２２において、制御部１１４は、対象物の位置の判定処理を行う。以下、ステップＳ２２の処理について詳細に説明する。図１０は、位置判定処理について示すフローチャートである。ステップＳ４１において、制御部１１４は、対象物検出処理で得られた対象物の位置情報から、現在のフレームにおいて、対象物が撮像範囲の周辺部にいるか否かを判定する。ステップＳ４１において、対象物が撮像範囲の周辺部にいないと判定されたときには、図１０の処理は終了する。この場合には捕捉撮影補助処理は行われない。ステップＳ４１において、対象物が撮像範囲の周辺部にいると判定されたときには、処理はステップＳ４２に移行する。

ステップＳ４２において、制御部１１４は、対象物の移動方向を判定する。そして、制御部１１４は、対象物の移動方向が撮像範囲の外に向かう方向であるか否かを判定する。ステップＳ４２において、対象物の移動方向が撮像範囲の外に向かう方向であると判定されたときには、処理はＳ４３に移行する。ステップＳ４２において、対象物の移動方向が撮像範囲の外に向かう方向でないと判定されたときには、処理はＳ４４に移行する。

ステップＳ４３において、制御部１１４は、見失い判定が確定されたとみなす。そして、制御部１１４は、見失い判定が確定されたことを示す情報を例えば仮記録部１０６に記録する。見失い判定の状態とは、ユーザが対象物を撮像範囲に捉えきれていないと判定された状態である。また、見失い判定が確定されたことを示す情報は、例えばフラグによって管理される。情報の記録後、図１０の処理は終了する。

ステップＳ４４において、制御部１１４は、対象物の移動方向が撮像範囲の中央に向かう方向であるか否かを判定する。ステップＳ４４において、対象物の移動方向が撮像範囲の中央に向かう方向であると判定されたときには、処理はＳ４５に移行する。ステップＳ４４において、対象物の移動方向が撮像範囲の外に向かう方向でないと判定されたときには、図１０の処理は終了する。

このように、対象物の動きと撮像装置の動きを考慮して、あるいはこれらを総合して、対象物の位置が撮像範囲の周辺部であるか否か、あるいは、周辺から中央に向かっているかなどを判定して、対象物が画面から外れないような前記対ユーザに対する補助処理を行う撮影補助部とを具備する撮像装置が提供できる。画面から外れなければ、または、画面内の変化がなめらかならば様々な画像表示が可能で、様々な鑑賞や検査などに利用が可能となる。

ステップＳ４５において、制御部１１４は、捕捉判定が確定されたとみなす。そして、制御部１１４は、捕捉判定が確定されたことを示す情報を例えば仮記録部１０６に記録する。捕捉判定の状態とは、ユーザが対象物を撮像範囲に捉えることができていると判定された状態である。また、捕捉判定が確定されたことを示す情報は、例えばフラグによって管理される。情報の記録後、図１０の処理は終了する。

ここで、再び図８の説明に戻る。ステップＳ２３において、制御部１１４は、見失い判定が確定されているか否かを判定する。ステップＳ２３において、見失い判定が確定されていると判定されたときに、処理はステップＳ２４に移行する。ステップＳ２３において、見失い判定が確定されていないと判定されたときに、処理はステップＳ２５に移行する。

ステップＳ２４において、制御部１１４は、見失い補助処理を行う。見失い補助処理は、対象物の部分画像を適切な切り出し範囲で切り出すことができない可能性があるときの処理である。見失い補助処理としては、例えば図１１（ａ）のように、撮像範囲に対して現在の切り出し範囲３０６ａが適切でないことを示すＮＧ表示３１４ａを表示させることが考えられる。なお、図１１（ａ）の例では、単にＮＧ表示を出すだけであるが、ＮＧ表示に加えてどちらの方向に撮像装置１００を動かせばよいかを示す表示も併せて行われるようにしてもよい。また、表示だけでなく、音声や振動といった別の手段での通知が併用されてもよい。この他、撮像光学系がズームレンズであり、現在の撮像範囲からさらに広角の撮像範囲へと画角を変更することが可能であれば、見失い補助処理として、撮像光学系の駆動によって画角を広角に変更する処理も行われ得る。見失い補助処理として、さらに、フレームレートを高速にする処理も行われ得る。これらの見失い補助処理は単独で行われてもよいし、併用されてもよい。これらのような見失い補助処理の後、図８の処理は終了する。

ステップＳ２５において、制御部１１４は、捕捉判定が確定されているか否かを判定する。ステップＳ２５において、捕捉判定が確定されていると判定されたときに、処理はステップＳ２６に移行する。ステップＳ２５において、捕捉判定が確定されていないと判定されたときに、図８の処理は終了する。

ステップＳ２６において、制御部１１４は、画像データにおける対象物の移動方向側に余白が存在しているか否かを判定する。ここでは単純に「余白」は、空等のローコントラスト領域であるとする。単純にローコントラスト領域が余白として判定されるようになっていてもよいし、空の青色といった特定の色のローコントラスト領域が余白として判定されるようになっていてもよい。さらに、「余白」の別の考え方として、対象物の移動方向に障害物がない状態であると考えることもできる。この場合には、鳥の移動軌跡上（すなわち鳥の距離と等距離）にコントラスト領域がない場合には余白が存在していると判定される。ステップＳ２６において、画像データにおける対象物の移動方向側に余白が存在していると判定されたときに、処理はステップＳ２７に移行する。ステップＳ２６において、画像データにおける対象物の移動方向側に余白が存在していないと判定されたときに、図８の処理は終了する。

ステップＳ２７において、制御部１１４は、捕捉補助処理を行う。捕捉補助処理は、対象物を含む部分画像を適切な切り出し範囲で切り出すことができるときの処理である。捕捉補助処理としては、例えば図１１（ｂ）のように、現在の撮像範囲を固定するようにユーザに通知するＳＴＯＰ表示３１４ｂを表示させることが考えられる。また、表示だけでなく、音声や振動といった別の手段での通知が併用されてもよい。画像データにおける対象物の移動方向側に対して余白のある状態でＳＴＯＰ表示が行われることにより、撮像範囲を横切っていく対象物の連続画像を取得することが可能である。これにより、撮像装置１００を固定しておくだけで、図７（ｂ）で示したような横切り再生と同等の再生を行うことが可能な動画像を取得することができる。これらのような捕捉補助処理の後、図８の処理は終了する。

以上説明したように本実施形態によれば、撮像範囲と対象物との位置関係により、対象物を含む適切な切り出し範囲での切り出しが行われるような適切な撮像範囲となるようにユーザに対する補助がなされる。近年、４Ｋ動画等の高画質な動画の撮影が可能になっている。このような高画質の動画からは、高画質の静止画を切り出すことも可能である。しかしながら、切り出し範囲に無効な範囲が存在してしまうと、切り出された静止画は良好な静止画であるとは言えない。本実施形態では、適切な切り出し範囲での切り出しが行われるようにユーザに対する補助がなされるので、ユーザは動画から容易に高品質の静止画を切り出すことが可能になる。

ここで、前述した実施形態では、主に連続撮影によって得られた画像（動画又は連写画像）から静止画が切り出される前提で説明がされている。これに対し、本実施形態の技術は、静止画撮影によって得られた画像から静止画が切り出される場合であっても適用可能である。

以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。例えば、本実施形態では動く対象物を追いながら切り出し範囲を適切にする撮影ができるので、セキュリティ用途、監視カメラ、車載カメラ等にも本実施形態の技術が適用され得るし、動く試料をテーブルで調整しながら観察する顕微鏡のようなものにも活用が可能となる。この場合は、これまで説明してきた撮像装置の動きを、観察台の動きと書き換えてもよい。さらには、本実施形態の技術は内視鏡装置等の医療分野にも適用され得る。この場合、対象物は臓器部位や病変等になるが、この場合も、対象物も撮像観察装置も動く事が多く、本願のようなユーザ補助が重要なことは言うまでもない。

また、前述の各動作フローチャートの説明において、便宜上「まず」、「次に」等を用いて動作を説明しているが、この順で動作を実施することが必須であることを意味するものではない。

また、上述した実施形態による各処理は、コンピュータである制御部１１４に実行させることができるプログラムとして記憶させておくこともできる。この他、磁気ディスク、光ディスク、半導体メモリ等の外部記憶装置の記録媒体に格納して配布することができる。そして、制御部１１４は、この外部記憶装置の記録媒体に記憶されたプログラムを読み込み、この読み込んだプログラムによって動作が制御されることにより、上述した処理を実行することができる。

さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。

１００ 撮像装置、１０２ 撮像部、１０４ 表示部、１０６ 仮記録部、１０８ 記録部、１１０ 操作部、１１２ 加速度検出部、１１４ 制御部、 １１４１ 撮像制御部、１１４２ 表示制御部、１１４３ 画像処理部、１１４４ 対象物検出部、１１４５ 移動方向判定部、１１４６ 画像範囲判定部、１１４７ 撮影補助部。

Claims (10)

1. 撮像範囲を撮像して画像を取得する撮像部と、
   前記画像から撮像の対象となる対象物を検出する対象物検出部と、
   前記対象物の位置が前記撮像範囲の周辺部であるか否かを判定する画像範囲判定部と、
   前記対象物の移動方向を判定する移動方向判定部と、
   前記対象物の位置が前記撮像範囲の周辺部であるか否かの判定結果と前記対象物の移動方向とに応じてユーザに対する補助処理を行う撮影補助部と、
   を具備する撮像装置。
2. 前記対象物を含む切り出し範囲から部分画像を切り出す画像処理部をさらに具備し、
   前記画像範囲判定部は、前記切り出し範囲の少なくとも一部が前記撮像範囲の外であるときに、前記対象物の位置が前記撮像範囲の周辺部であると判定する請求項１に記載の撮像装置。
3. 前記撮影補助部は、前記対象物の位置が前記撮像範囲の周辺部であり、かつ、前記対象物の移動方向が前記撮像範囲の外に向かう方向であるときには前記撮像範囲が適切でない旨を前記ユーザに対して通知する請求項１又は２に記載の撮像装置。
4. 前記撮像部は、前記撮像範囲を変化させるためのズームレンズを有しており、
   前記撮影補助部は、前記対象物の位置が前記撮像範囲の周辺部であり、かつ、前記対象物の移動方向が前記撮像範囲の外に向かう方向であるときには前記撮像範囲を広げるように前記撮像部を制御する請求項１乃至３の何れか１項に記載の撮像装置。
5. 前記撮影補助部は、前記対象物の位置が前記撮像範囲の周辺部であり、かつ、前記対象物の移動方向が前記撮像範囲の外に向かう方向であるときには前記撮像部のフレームレートを速くする請求項１乃至４の何れか１項に記載の撮像装置。
6. 前記撮影補助部は、前記対象物の位置が前記撮像範囲の周辺部であり、かつ、前記対象物の移動方向が前記撮像範囲の中央に向かう方向であるときには前記撮像範囲を固定するように前記ユーザに対して通知する請求項１乃至５の何れか１項に記載の撮像装置。
7. 前記撮影補助部は、前記対象物の位置が前記撮像範囲の周辺部であり、かつ、前記対象物の移動方向が前記撮像範囲の中央に向かう方向であるときであり、かつ、前記画像における前記対象物の移動方向の側に余白が存在しているときには前記撮像範囲を固定するように前記ユーザに対して通知する請求項１乃至５の何れか１項に記載の撮像装置。
8. 前記撮像部は、前記撮像範囲を連続撮影して複数の画像を取得し、
   複数の前記画像のそれぞれから前記対象物を含む部分画像を切り出す画像処理部と、
   複数の前記部分画像のそれぞれにおける前記対象物の位置を合わせて複数の前記部分画像を表示部に順次に表示する表示制御部と、
   をさらに具備する請求項１に記載の撮像装置。
9. 前記撮像部は、前記撮像範囲を連続撮影して複数の画像を取得し、
   複数の前記画像のそれぞれから前記対象物を含む部分画像を切り出す画像処理部と、
   複数の前記部分画像のそれぞれにおける前記対象物を前記対象物の移動方向に合わせて背景画像に重ねて複数の前記部分画像を表示部に順次に表示する表示制御部と、
   をさらに具備する請求項１に記載の撮像装置。
10. 撮像部により、撮像範囲を撮像して画像を取得することと、
    前記画像から撮像の対象となる対象物を検出することと、
    前記対象物の位置が前記撮像範囲の周辺部であるか否かを判定することと、
    前記対象物の移動方向を判定することと、
    前記対象物の位置が前記撮像範囲の周辺部であるか否かの判定結果と前記対象物の移動方向とに応じてユーザに対する補助処理を行うことと、
    を具備する撮像方法。