JP2014078896A - 撮像装置及び画像処理方法 - Google Patents

Abstract

【課題】自然なデジタルパンチルト動作を実現することができる撮像装置撮像装置及びその画像処理方法を提供すること。
【解決手段】本発明の一態様に係る撮像装置１は、撮像部１００と、画像切り出し部１３１と、領域移動部１３２と、移動量算出部４０１と、操作部３０６と、を備える。画像切り出し部１３１は、画像データの一部の領域を、表示部に表示する領域として切り出す。操作部３０６は、画像データ内において、切り出し領域の目標位置を指定する。移動量算出部４０１は、画像データにおける現在の切り出し領域の位置から目標位置までの距離に基づいて、画像データにおける水平方向及び垂直方向の所定時間あたりの切り出し領域の移動量を算出する。領域移動部１３２は、算出された移動量に基づいて、切り出し領域を目標位置に移動させる。
【選択図】図１

Description

本発明は撮像装置及びその画像処理方法に関するものである。

近年、撮像された画像データから切り出された一部の領域を移動させるデジタルパンチルトが知られている（例えば、特許文献１）。

従来のデジタルパンチルトでは、撮像装置は、水平方向及び垂直方向の移動を独立に制御していた。水平方向及び垂直方向それぞれの移動量を固定することにより、撮像装置は，デジタルパンチルトを用いて、機械的なパンチルトに近い動作を実現できる。

特開平９−２６１５２２号公報

しかしながら、水平方向及び垂直方向それぞれの移動量が固定されていると、画像データにおいて切り出し領域を斜めに移動させるときに、水平方向または垂直方向の一方の方向の移動が完了すると、他方の方向のみに移動させることとなる。このため、目標位置まで切り出し領域を直線的に移動させることが難しい場合があり、パンチルトの動作が不自然になってしまう場合があるという問題があった。

本発明は、このような問題を解決するためになされたものであり、自然なデジタルパンチルト動作を実現することができる撮像装置撮像装置及びその画像処理方法を提供することを目的とする。

本発明の一態様にかかる撮像装置（１）は、撮像処理により画像データを生成する撮像部（１００）と、前記画像データの一部の領域を、表示部に表示する領域として切り出す画像切り出し部（１３１）と、前記画像データ内において、前記画像切り出し部（１３１）により切り出された切り出し領域の移動先である目標位置を指定する目標位置指定部（操作部３０６）と、前記画像データにおける現在の前記切り出し領域の位置から前記目標位置指定部（操作部３０６）により指定された前記目標位置までの距離に基づいて、前記画像データにおける水平方向及び垂直方向の所定時間あたりの前記切り出し領域の移動量を算出する移動量算出部（４０１）と、前記移動量算出部（４０１）により算出された前記移動量に基づいて、前記切り出し領域を前記目標位置に移動させる領域移動部（１３２）と、を備えるものである。これにより、切り出し領域を目標位置まで直線的に移動させることができる。その結果、自然なデジタルパンチルト動作を実現することができる。
本発明の一態様にかかる画像処理方法は、撮像処理により生成された画像データの一部の領域を、表示部に表示する領域として切り出し、前記画像データ内において、切り出した切り出し領域の移動先である目標位置を指定し、前記画像データにおける現在の前記切り出し領域の位置から指定した前記目標位置までの距離に基づいて、前記画像データにおける水平方向及び垂直方向の所定時間あたりの前記切り出し領域の移動量を算出し、算出した前記移動量に基づいて、前記切り出し領域を前記目標位置に移動させるものである。これにより、切り出し領域を目標位置まで直線的に移動させることができる。その結果、自然なデジタルパンチルト動作を実現することができる。

本発明によれば、自然なデジタルパンチルト動作を実現することができる撮像装置撮像装置及びその画像処理方法を提供することができる。

実施の形態１にかかる撮像装置の構成を示すブロック図である。 実施の形態１にかかる撮像装置の動作を示すフローチャートである。 実施の形態１にかかる撮像装置の動作を説明するための図である。 実施の形態１にかかる撮像装置の動作を説明するための図である。 実施の形態１にかかる撮像装置の動作を説明するための図である。 実施の形態１にかかる撮像装置の動作を説明するための図である。 参考例にかかる撮像装置の動作を説明するための図である。 実施の形態２にかかる撮像装置の構成を示すブロック図である。 実施の形態２にかかる撮像装置の動作を示すフローチャートである。

＜実施の形態１＞
本実施の形態に係る撮像装置は、動画像を撮像して、その一部の領域をスルー画像として表示するものである。つまり、撮像装置は、撮像処理により生成された画像データの一部の領域を、スルー画像として切り出して表示する。また、撮像装置は、切り出した領域の画像データを、携帯端末装置に送信してもよい。携帯端末装置は、受信したスルー画像を表示する。なお、携帯端末装置とは、表示部を有し、撮像装置と通信可能な端末であり、例えば、携帯電話、スマートフォン、タブレットＰＣ、ノートＰＣ、ゲーム機、音楽プレーヤー等である。

＜撮像装置１の構成＞
本実施の形態に係る撮像装置について、図１を用いて説明する。図１は、本発明の実施形態にかかる撮像装置１の内部構成の例を示すブロック図である。撮像装置１は動画像を撮像することができる。なお、本発明に係る撮像装置１は、動画像を撮像できるものであれば、その形状、及び構成は特に限定されるものではない。

中央制御部４００はＣＰＵ（Central Processing Unit）、各種プログラムが格納されたＲＯＭ（Read Only Memory）、及びワークエリアとしてのＲＡＭ（Random Access Memory）等を含む半導体集積回路により構成されている。中央制御部４００をマイクロコンピュータで構成することができる。中央制御部４００は、撮像、各種画像の表示、又は後述する画像処理や画像表示等に関する撮像装置１全体の処理を統括的に制御する。

撮像装置１は、ズームレンズ１０１、フォーカスレンズ１０２、絞り１０３、及び撮像素子１０４で構成される撮像部１００を有する。ズームレンズ１０１は図示しないズームアクチュエータによって光軸ＬＡに沿って移動する。これにより、撮像される撮像画像のズーム倍率が変更する。同様に、フォーカスレンズ１０２は、図示しないフォーカスアクチュエータ（フォーカス調整部）によって光軸ＬＡに沿って移動する。絞り１０３は、図示しない絞りアクチュエータ（露光調整部）に駆動されて動作する。撮像素子１０４は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等で構成される。

撮像装置１を用いた撮像は以下の手順で行われる。撮像素子１０４はズームレンズ１０１、フォーカスレンズ１０２、及び絞り１０３を通過した光を光電変換して、被写体のアナログ画像信号を生成する。アナログ画像信号処理部１０５が、このアナログ画像信号を増幅した後、画像Ａ／Ｄ変換部１０６が、その増幅された信号をデジタル画像データに変換する。画像入力コントローラ１０７は、画像Ａ／Ｄ変換部１０６から出力されたデジタル画像データを撮像画像データとして取り込んで、バス２００を介してメインメモリ２０６に格納する。

デジタル信号処理部１０８は、バス２００を介して中央制御部４００からの指令に基づき、メインメモリ２０６に格納された撮像画像データを取り込み、所定の信号処理を施して輝度信号と色差信号とからなるデータを生成する。デジタル信号処理部１０８はまた、オフセット処理、ホワイトバランス調整処理、ガンマ補正処理、ＲＧＢ補完処理、ノイズ低減処理、輪郭補正処理、色調補正処理、光源種別判定処理等の各種デジタル補正を行う。

圧縮・伸長処理部２０１は、バス２００を介して中央制御部４００からの指示に従って、撮像画像データ及びデジタル音声データに所定の圧縮処理を施して圧縮データを生成する。また、圧縮・伸長処理部２０１は、中央制御部４００からの指示に従って、記録部の一例であるカード型記録媒体３０２に格納された圧縮データに所定形式の伸張処理を施して非圧縮データを生成する。所定の圧縮処理としては、静止画像に対してはＪＰＥＧ規格に準拠した圧縮方式を採用することができ、動画像に対してはＭＰＥＧ２規格やＡＶＣ／Ｈ．２６４規格に準拠した圧縮方式を採用することができる。

音声処理部２０２は、バス２００を介して中央制御部４００の指示に従い、マイク（不図示）等で取得された音声データに所定の処理を施す。例えば、音声データをデジタルデータに変換したり、雑音除去処理等をしたりする。

ＲＯＭ２０３はバス２００を介して中央制御部４００に接続されており、中央制御部４００が実行する制御プログラム及び制御に必要な各種データ等を格納している。フラッシュＲＯＭ２０４は、ユーザの設定情報等、撮像装置１の動作に関する各種設定情報を格納している。撮像装置１は、様々な撮像のシチュエーションに応じて、いくつかの撮像モードと、各モードにあわせた撮像条件の設定を予めフラッシュＲＯＭ２０４に記憶している。そして、ユーザは撮像を開始する前に、各モードの中から最適なモードを選択することにより、最適な撮像条件で撮像を実施することができる。例えば、特定の人物の撮像に適した「ポートレートモード」、運動会等の撮像に適した「スポーツモード」、又は夜景等の暗い場所の撮像に適した「夜景モード」等である。

メディア制御部２０７は、中央制御部４００からの指示に従って、カードＩ／Ｆ３０１を介してカード型記録媒体３０２に対してデータを書き込み、カード型記録媒体３０２に記録されたデータを読み出すよう制御する。カード型記録媒体３０２はＳＤカードやコンパクトフラッシュ（登録商標）等の外部メモリであり、撮像装置１に対して脱着可能に設けられている。

ＯＤＳミックス２０８は、ユーザが撮影条件などの各種設定を入力するために使用されるアイコン画像を適切に配置したＧＵＩ（Graphic User Interface）に係る画像（インターフェイス画像）を、液晶モニタ３０４に表示される撮像画像に重畳させる。

液晶モニタ３０４、スピーカ３０５、操作部３０６及び入出力端子３０７は入出力Ｉ／Ｆ３０３に接続されている。液晶モニタ３０４は、例えばカード型記録媒体３０２やメインメモリ２０６に一時記録された撮像画像データや各種メニュー画像データ等、各種画像データから生成された画像を表示する。液晶モニタ３０４は、撮像部１００によって取得された動画像を表示する。

スピーカ３０５は、例えばメインメモリ２０６に一時記録された音声を出力する。操作部３０６は、図示しないレリーズ・スイッチや電源スイッチを含む操作キー、十字キー、ジョイスティック、又は液晶モニタ３０４上に重畳されたタッチパネル等から構成されており、ユーザの撮像装置１への操作入力を受け付ける。入出力端子３０７は、図示しないテレビモニタやＰＣ（Personal Computer）等に接続される。操作部３０６（目標位置指定部）は、パンチルト動作の指示を中央制御部４００に入力する。パンチルト動作の指示とは、画像データにおける切り出し領域の移動先（目標位置）の座標を指定することを意味する。

無線モジュール３０９は、バス２００及び無線Ｉ／Ｆ３０８を介して、表示部を有する携帯端末装置との間で信号の送受信を行う。具体的には、無線モジュール３０９は、Ｗｉ−Ｆｉ等の無線ＬＡＮ規格に準拠した通信処理を行う。これにより、携帯端末装置との通信が可能になる。なお、例えば、携帯端末装置は、表示部を有し、撮像装置１が撮像したスルー画像を表示可能な構成である。

デジタルパンチルト処理部１３０は、画像切り出し部１３１と、領域移動部１３２と、を有する。画像切り出し部１３１は、撮像処理により得られた画像データの一部の領域を、表示部（液晶モニタ３０４や外部の携帯端末装置の表示部）に表示させる領域として切り出す（トリミング）。画像切り出し部１３１は、切り出した切り出し領域を、メインメモリ２０６に出力する。なお、画像切り出し部１３１は、切り出し領域の位置（座標）も取得し、後述する移動量算出部４０１に出力する。液晶モニタ３０４は、切り出された領域の画像データをスルー画像として表示する。

領域移動部１３２は、ユーザのパンチルト操作に基づいて、画像データにおける切り出し領域の位置を変更する。これにより、デジタルパンチルトが実現される。領域移動部１３２は、後述する移動量算出部４０１により算出された切り出し領域の移動量に基づいて、切り出し領域を移動させる。

顔検出処理部１４０は、撮像部１００が撮像した動画像に対して顔検出処理を順次行う。これにより、動画像に含まれるフレーム画像中の顔が検出される。例えば、フレーム画像から特徴を抽出して、特徴の位置や大きさに応じて顔を検出する。顔検出処理部１４０は、フレーム画像における顔座標、及び顔サイズを検出する。顔検出処理部１４０による顔検出処理は、少なくとも数フレームを有する。すなわち、顔検出処理は、動画像の数フレームに対応する時間を要する処理である。したがって、動画像の撮像中では、複数のフレーム毎に顔検出が行われることになる。

中央制御部４００は、移動量算出部４０１と、到達時間算出部４０２と、を備える。移動量算出部４０１は、画像データにおける現在の切り出し領域の座標から目標位置の座標までの距離に基づいて、画像データにおける水平方向及び垂直方向の１フレームあたりの切り出し領域の移動量を算出する。上記した通り、切り出し領域の目標位置は、操作部３０６を用いて入力される。

ここで、移動量算出部４０１の移動量の算出方法について詳細に説明する。まず、移動量算出部４０１は、次の式（１）（２）を用いて、現在の切り出し領域の座標から目標位置の座標までの距離を算出する。なお、切り出し領域の座標とは、例えば切り出し領域の中央の座標を用いることができる。また、目標位置の座標とは、目標位置に切り出し領域が移動した場合における切り出し領域の中央の座標を用いることができる。ここで、RemainingDistanceXは現在の切り出し領域の座標から目標位置の座標までの水平方向の距離であり、RemainingDistanceYは現在の切り出し領域の座標から目標位置の座標までの垂直方向の距離である。また、TargetPositionXは目標位置の水平座標（Ｘ座標）であり、TargetPositionYは目標位置の垂直座標（Ｙ座標）である。また、CurrentPositionXは現在の切り出し領域の水平座標（Ｘ座標）であり、CurrentPositionYは現在の切り出し領域の垂直座標（Ｙ座標）である。
RemainingDistanceX = ｜TargetPositionX - CurrentPositionX｜ （１）
RemainingDistanceY = ｜TargetPositionY - CurrentPositionY｜ （２）

次に、移動量算出部４０１は、算出したRemainingDistanceX、RemainingDistanceYに基づいて、切り出し領域の１フレームあたりの移動量を算出する。具体的には、移動量算出部４０１は、RemainingDistanceX、RemainingDistanceYの大小関係に応じて、次の式（３）〜（８）を用いて、切り出し領域の１フレームあたりの水平方向及び垂直方向の移動量を算出する。ここで、Stepは予め設定された１フレームあたりの移動量（基準移動量）であり、水平方向及び垂直方向で共通の値である。なお、Stepは目標位置が変化しても変動しない固定値である。また、StepX'は補正後の１フレームあたりの水平方向の移動量であり、StepY'は補正後の１フレームあたりの垂直平方向の移動量である。なお、移動量算出部４０１が算出する移動量は、所定時間あたりの移動量であればよく、複数フレーム毎の移動量であってもよいし、数ミリ秒毎の移動量であってもよい。

RemainingDistanceX > RemainingDistanceYの場合
StepX' = Step （３）
StepY' = Step * (RemainingDistanceY / RemainingDistanceX) （４）

RemainingDistanceX < RemainingDistanceYの場合
StepX' = Step * (RemainingDistanceX / RemainingDistanceY) （５）
StepY' = Step （６）

RemainingDistanceX = RemainingDistanceYの場合
StepX' = Step （７）
StepY' = Step （８）

なお、RemainingDistanceX、RemainingDistanceY、Step、StepX'、 及びStepY'は、画素数単位で規定される値である。このとき、係数(RemainingDistanceY / RemainingDistanceX)の値が整数ではなく、小数を含む場合もある。この場合、補正後の移動量StepX'、 StepY'が小数を含む値となる。そのため、小数を含む値を用いて画素を指定する必要があるが、例えば、画素の内挿処理（補間処理）を用いることにより、撮像装置１は、小数を含む値を用いて指定された画素の切り出しや表示を実現することができる。移動量算出部４０１は、算出した（補正した）水平方向及び垂直方向の移動量StepX'、StepY'を領域移動部１３２に出力する。

到達時間算出部４０２は、RemainingDistanceX、RemainingDistanceYに基づいて、切り出し領域が目標位置に到達する時間を算出する。具体的には、RemainingDistanceX / StepX'またはRemainingDistanceY / StepY'を計算することにより、切り出し領域が目
標位置に到達するまでの時間を算出する。

なお、式（３）〜（８）においては、移動量StepX'、StepY'のうち少なくとも一方は、必ず基準移動量Stepと同じである。このため、切り出し領域は、水平方向及び垂直方向のうち移動距離が長い方向には、必ず基準移動量Stepで移動する。その結果、基準移動量を補正しない場合（常に基準移動量Stepを用いて水平方向及び垂直方向に移動する場合）と比べても、移動にかかる時間が増加することはない。つまり、切り出し領域は、基準移動量を補正しない場合と同じ時間で目標位置の到達することができる。

＜撮像装置１の動作＞
続いて、本実施の形態にかかる撮像装置１の動作について、図２に示すフローチャートを参照して説明する。まず、ユーザが操作部３０６を用いて目標位置を指示する。移動量算出部４０１は、指示された目標位置の座標を取得する（ステップＳ１０１）。なお、ユーザによる目標位置の指示は、特に限定されるものではない。例えば、切り出し領域の画像が表示されている液晶モニタ３０４の一部に、撮像部１００により撮像されている画像全体を表示して、目標位置をタッチすることにより指定してもよい。また、ユーザが目標位置として設定した座標の履歴を記憶しておき、当該履歴の中から目標位置を選択してもよい。さらに、液晶モニタ３０４をスワイプすることにより、目標位置を指定してもよい。この場合、移動量算出部４０１は、スワイプの速度や量、方向に基づいて、目標位置の座標を算出すればよい。

次に、移動量算出部４０１は、現在の切り出し領域の座標（CurrentPositionX、CurrentPositionY）と、目標位置の座標（TargetPositionX、TargetPositionY）と、を用いて、上記の式（１）（２）を計算して、切り出し領域の現在の位置から目標位置までの距離（RemainingDistanceX、RemainingDistanceY）を算出する（ステップＳ１０２）。なお、現在の切り出し領域の座標は、画像切り出し部１３１から移動量算出部４０１に送られる。

移動量算出部４０１は、切り出し領域の現在の位置から目標位置までの距離を用いて、上記の式（３）〜（８）を計算して、画像データにおける水平方向及び垂直方向の移動量（StepX'、StepY'）を算出する（ステップＳ１０３）。つまり、移動量算出部４０１は、予め設定された基準移動量（Step）を式（３）〜（８）を用いて補正する。移動量算出部４０１は、補正後の移動量を領域移動部１３２に出力する。

到達時間算出部４０２は、切り出し領域が移動を開始すると、目標位置までの到達時間を算出する（ステップＳ１０４）。

領域移動部１３２は、補正後の移動量に基づいて、切り出し領域を移動させる（ステップＳ１０５）。具体的には、領域移動部１３２は、１フレーム毎に補正後の移動量に応じた画素ずつ切り出し領域の座標を水平方向及び垂直方向に移動させる。

次に、移動量算出部４０１は、切り出し領域が目標位置に到達したか否かを判定する（ステップＳ１０６）。具体的には、移動量算出部４０１は、RemainingDistanceX、RemainingDistanceYが０になったか否かを判定する。なお、ステップＳ１０６における判定は、例えば数フレーム間隔で行われる。

切り出し領域が目標位置に到達した場合（ステップＳ１０６：Ｙｅｓ）、領域移動部１３２は、切り出し領域の移動を終了する。

一方、切り出し領域が目標位置に到達していない場合（ステップＳ１０６：Ｎｏ）、移動量算出部４０１は、ステップＳ１０３において算出した水平方向及び垂直方向の移動量に応じて、切り出し領域を再び移動させる（ステップＳ１０５）。

＜切り出し領域の移動処理の具体例＞
ここで、図３〜図６を参照して、デジタルパンチルト処理部１３０及びＣＰＵ４００による切り出し領域の移動処理について具体的に説明する。図３〜図６においては、撮像部１００により撮像される撮像領域が領域７０であり、画像切り出し部１３１が切り出す領域が領域８０（スルー画像）である。撮像領域７０は撮像部１００の画角に応じたサイズである。切り出し領域８０は、液晶モニタ３０４や携帯端末装置の表示部に応じたサイズである。なお、図３〜図６における横方向が画像データの水平方向（Ｘ方向）であり、縦方向が画像データの垂直方向（Ｙ方向）であるとする。

図３においては、切り出し領域８０は、撮像領域７０の略中央部に位置している。現在の切り出し領域８０の座標は、（CurrentPositionX、CurrentPositionY）である。つまり、液晶モニタ３０４には、何も被写体が存在しない画像が表示されている。

このとき、ユーザが撮像領域７０のうち、被写体９０の位置を目標位置として指定する。つまり、切り出し領域８０の移動先が指定される。これにより、移動量算出部４０１は、指定された位置（座標）を、切り出し領域８０の移動先（目標位置）の座標（TargetPositionX、TargetPositionY）として認識する（図４参照）。

次に、移動量算出部４０１は、上記した式（１）（２）を用いて、切り出し領域８０の現在の座標から目標位置の座標までの距離（RemainingDistanceX、RemainingDistanceY）を算出する（図４参照）。

本例の場合、図４に示すようにRemainingDistanceX > RemainingDistanceYであるため、移動量算出部４０１は、上記した式（３）（４）を用いて、切り出し領域８０の移動量（StepX'、StepY'）を算出する。

領域移動部１３２は、１フレーム毎に、算出された移動量に応じた画素ずつ切り出し領域８０を移動させる。図５は、図４から例えば１０フレーム経過後の切り出し領域８０の位置を示した図である。図５に示すように、切り出し領域８０は、水平方向に10*StepX'だけ移動し、垂直方向に10*StepY'だけ移動している。このとき、水平方向の移動量StepX'は垂直方向の移動量StepY'よりも大きい値である。つまり、１フレームの間に切り出し領域８０移動する画素数は、垂直方向よりも水平方向の方が多い。言い換えると、所定時間あたりに切り出し領域８０が移動する量は、水平方向と垂直方向で異なる。

このように、切り出し領域８０の現在の座標から目標位置の座標までの距離が０になるまで、領域移動部１３２は、水平方向と垂直方向とで異なる移動量を用いて、切り出し領域８０を移動させる。これにより、撮像装置１は、切り出し領域７０の座標を目標位置の座標に近づける。図６に切り出し領域８０の移動の軌跡を示す。図６に示すように、切り出し領域８０は、現在の位置から目標位置まで直線的に移動する。

以上のように、本実施の形態にかかる撮像装置１の構成によれば、移動量算出部４０１が、画像データにおける現在の切り出し領域の座標から目標位置の座標までの距離に基づいて、画像データにおける水平方向及び垂直方向の１フレームあたりの切り出し領域の移動量を算出する。そして、領域移動部１３２は、算出された移動量に応じて、切り出し領域を移動させる。このため、領域移動部１３２は、現在の切り出し領域の座標から目標位置の座標までの水平方向及び垂直方向の距離に応じた移動量を用いて、切り出し領域を移動させることができる。その結果、目標位置まで切り出し領域が移動する際に、現在の切り出し領域の水平方向の移動と垂直方向の移動とが同じ時間（フレーム）で完了する。つまり、切り出し領域は現在の切り出し領域の位置から目標位置まで、直線的に移動することができる。その結果、自然なデジタルパンチルト動作を実現できる。

＜参考例＞
ここで、図７を用いて参考例について説明する。図７は、図６に対応する図であり、切り出し領域８０の移動の軌跡を示している。参考例にかかる撮像装置においては、切り出し領域８０の水平方向の移動量と垂直方向の移動量とが同じ値である。つまり、切り出し領域８０は、撮像領域７０上を斜めに移動する場合、Ｘ軸またはＹ軸に対して４５°の角度で移動する。そのため、図７に示すように、水平方向の移動よりも垂直方向の移動が先に完了してしまい、その後は水平方向のみの移動が行われる。

このため、液晶モニタ３０４に表示される画像は、最初は目標位置に向かって斜めに変化するが、途中から水平方向のみの変化となる。その結果、ユーザにとって不自然なデジタルパンチルト動作となってしまう。

これに対して、本実施の形態にかかる撮像装置１の動作によれば、上述の通り、現在位置から目標位置まで直線的に移動する。そのため、液晶モニタ３０４に表示される画像は、目標位置に向かって常に斜めに変化する。その結果、自然なデジタルパンチルト動作を実現できる。

＜変形例＞
本実施の形態にかかる撮像装置１の変形例について説明する。変形例にかかる撮像装置においては、切り出し領域の１フレームあたりの移動量StepX'、StepY'の算出方法が上記の実施の形態とは異なる。なお、その他の構成については上述した撮像装置１と同様であるので、説明を適宜省略する。

まず、移動量算出部４０１は、上記の式（１）（２）を用いて、現在の切り出し領域の座標から目標位置の座標までの距離を算出する。

さらに、移動量算出部４０１は、次の式（９）を用いて、現在の切り出し領域の座標から目標位置の座標までの直線距離RemainingDistanceを算出する。なお、各パラメータは、既に示した式（１）〜（８）と同様の値を意味する。
RemainingDistance = √(RemainingDistanceX² + RemainingDistanceY²) （９）

次に、移動量算出部４０１は、次の式（１０）（１１）を用いて、切り出し領域の移動量を算出する。言い換えると、移動量算出部４０１は、基準移動量Stepを、RemainingDistance、RemainingDistanceX、及びRemainingDistanceYを用いた係数によって、基準移動量Stepを補正する。
StepX' = Step * (RemainingDistanceX / RemainingDistance) （１０）
StepY' = Step * (RemainingDistanceY / RemainingDistance) （１１）

以上のように、変形例にかかる撮像装置によれば、現在の切り出し領域の座標から目標位置の座標までの直線距離RemainingDistance、水平距離RemainingDistanceX、及び垂直距離RemainingDistanceYに基づいて、切り出し領域の移動量を算出する。このため、領域移動部１３２は、現在の切り出し領域の座標から目標位置の座標までの水平方向及び垂直方向の距離に応じた移動量を用いて、切り出し領域を移動させることができる。その結果、上記の撮像装置１と同様に、自然なデジタルパンチルト動作を実現できる。

さらに、現在の切り出し領域の座標から目標位置の座標までの直線距離RemainingDistanceを用いているため、式（３）〜（８）に示したような場合分けをすることなく、移動量StepX'、StepY'を算出することができる。そのため、移動量算出フローを簡略化することができる。

一方、式（３）〜（８）に示したように、水平距離RemainingDistanceX、及び垂直距離RemainingDistanceYに基づいて場合分けをする方法では、上記の式（９）のようなルートの計算が不要となる。そのため、移動量StepX'、StepY'の計算コストを低減できる。

＜実施の形態２＞
本発明にかかる実施の形態２について説明する。本実施の形態にかかる撮像装置２のブロック図を図８に示す。撮像装置２は、図１に示した撮像装置１の構成に加えて、フォーカス・露光制御部４０３及び顔検出制御部４０４を備える。すなわち、撮像装置２は、撮像部１００において実行されるフォーカス調整、露光調整、及び顔検出処理に特徴を有する。なお、その他の構成については撮像装置１と同様であるので、説明を適宜省略する。

フォーカス・露光制御部４０３は、撮像部１００のフォーカスアクチュエータ（図示省略）がフォーカス調整を実行する領域の位置を制御する。同様に、フォーカス・露光制御部４０３は、撮像部１００の絞りアクチュエータ（図示省略）が露光調整を実行する領域の位置を制御する。ここで、領域の位置とは、撮像部１００の撮像処理により生成された画像データのうち、フォーカス調整、露光調整すべき領域の座標を意味する。また、顔検出制御部４０４は、顔検出処理部１４０が顔検出処理を実行する領域の位置を制御する。

続いて、本実施の形態にかかる撮像装置の動作について、図９に示すフローチャートを参照して説明する。まず、フォーカス・露光制御部４０３は、フォーカスアクチュエータ及び絞りアクチュエータに通常処理を実行させる（ステップＳ２０１）。ここで、通常処理とは、現在の切り出し領域に対してフォーカス調整及び露光調整を実行することを意味する。具体的には、フォーカス・露光制御部４０３は、フォーカスアクチュエータ及び絞りアクチュエータに、現在の切り出し領域に含まれる被写体に合わせて、フォーカス及び露光を調整させる。また、顔検出制御部４０４は、顔検出処理部１４０に通常処理を実行させる（ステップＳ２０１）。具体的には、顔検出制御部４０４は、顔検出処理部１４０に現在の切り出し領域に含まれる顔の検出を実行させる。

次に、フォーカス・露光制御部４０３及び顔検出制御部４０４は、切り出し領域が移動中であるか否かを判定する（ステップＳ２０２）。当該判定は、例えば、図１に示した領域移動部１３２が切り出し領域を移動させたことを、フォーカス・露光制御部４０３及び顔検出制御部４０４に通知してもよいし、フォーカス・露光制御部４０３及び顔検出制御部４０４が切り出し領域の座標の変化を検知してよい。切り出し領域が移動中でない場合（ステップＳ２０２：Ｎｏ）、フォーカスアクチュエータ、絞りアクチュエータ、及び顔検出処理部１４０は、通常処理を続ける（ステップＳ２０１）。

切り出し領域が移動中である場合（ステップＳ２０２：Ｙｅｓ）、フォーカス・露光制御部４０３及び顔検出制御部４０４は、切り出し領域が目標位置に到達するまでの時間（例えば、到達するまでにかかるフレーム数等）を取得する（ステップＳ２０３）。具体的には、フォーカス・露光制御部４０３及び顔検出制御部４０４は、図２のステップＳ１０４において、到達時間算出部４０２が算出した到達時間を取得する。

それと共に、フォーカス・露光制御部４０３及び顔検出制御部４０４は、切り出し領域の目標位置の座標を取得する（ステップＳ２０３）。具体的には、フォーカス・露光制御部４０３及び顔検出制御部４０４は、移動量算出部４０１から目標位置の座標（TargetPositionX、TargetPositionY）を取得する。

そして、フォーカス・露光制御部４０３及び顔検出制御部４０４は、目標位置の座標を中心として、切り出し領域に対応する大きさの領域（以下、単に目標位置領域と称す場合もある）の画像データを取得する（ステップＳ２０４）。つまり、フォーカス・露光制御部４０３及び顔検出制御部４０４は、目標位置に切り出し領域が到達した場合に切り出されるべき領域の画像データを取得する。例えば、フォーカス・露光制御部４０３及び顔検出制御部４０４は、取得した目標位置の画像データをメインメモリ２０６等に格納しておく。

フォーカス・露光制御部４０３は、フォーカスアクチュエータ及び絞りアクチュエータに、目標位置領域に対してフォーカス調整及び露光調整を実行させる（ステップＳ２０５）。つまり、フォーカス・露光制御部４０３は、フォーカスアクチュエータ及び絞りアクチュエータに対して、メインメモリ２０６に格納した画像データ（目標位置領域）に合わせて、フォーカス調整及び露光調整を実行させる。言い換えると、フォーカスアクチュエータ及び絞りアクチュエータは、目標位置の被写体に対してフォーカス調整及び露光調整を行う。つまり、フォーカスアクチュエータ及び絞りアクチュエータは、移動中の現在の切り出し領域の被写体に対してフォーカス調整及び露光調整を行わない。

なお、フォーカス・露光制御部４０３は、切り出し領域が目標位置に到達するまでの時間に基づいて、フォーカス調整及び露光調整を開始してもよい。例えば、フォーカス・露光制御部４０３は、フォーカス調整及び露光調整に５フレーム必要であるとする。このとき、切り出し領域が目標位置に到達するまでの時間が３０フレームだとすると、フォーカス・露光制御部４０３は、移動開始後２５フレームにおいては、移動している現在の切り出し領域の被写体に対してフォーカス及び露光を合わせる。そして、最後の５フレームにおいて、フォーカス・露光制御部４０３は、目標位置の被写体に対してフォーカス及び露光を合わせる。これにより、目標位置に到達する直前までは、現在の切り出し領域に対してフォーカス及び露光が調整される。その結果、現在の切り出し領域に適したフォーカス及び露光が、目標位置領域に適したフォーカス及び露光と大きく異なる場合であっても、移動完了の直前までは、移動中の現在の切り出し領域に合わせてフォーカス及び露光が調整される。その結果、移動中の切り出し領域の画質の低下を抑制できる。

一方、切り出し領域が目標位置に到達するまでの時間が５フレーム以下の場合、フォーカス・露光制御部４０３は、切り出し領域の移動と同時に、標位置の被写体に対してフォーカス及び露光を合わせる。

同様に、顔検出制御部４０４は、顔検出処理部１４０に、目標位置領域に対して顔認識処理を実行させる（ステップＳ２０５）。つまり、顔検出制御部４０４は、顔検出処理部１４０に対して、メインメモリ２０６に格納した画像データ（目標位置領域）に含まれる顔の検出を実行させる。言い換えると、顔検出処理部１４０は、目標位置の被写体に含まれる顔の検出を行う。つまり、顔検出処理部１４０は、移動中の現在の切り出し領域に含まれる顔の検出を行わない。

以上のように、本実施の形態にかかる撮像装置２の構成によれば、フォーカス・露光制御部４０３が、フォーカスアクチュエータ及び絞りアクチュエータに対して、目標位置領域のフォーカス調整及び露光調整を実行させる。また、目標位置領域のフォーカス調整及び露光調整は、切り出し領域が目標位置へ移動している間に実行される。そのため、切り出し領域が目標位置に到達した際には、目標位置領域にフォーカス及び露光が合っている状態となる。その結果、フォーカス及び露光が合った目標位置の画像を迅速に表示させることができる。

また、目標位置領域に含まれる顔の検出処理についても、切り出し領域が目標位置へ移動している間に実行される。その結果、目標位置の画像における顔検出の検出結果を迅速に表示されることができる。

＜参考例＞
ここで、参考例にかかる撮像装置のフォーカス調整について説明する。参考例にかかる撮像装置は、パンチルト動作中（切り出し領域の移動中）においても、切り出し領域に対してフォーカス調整を行う。そのため、撮像装置は、パンチルト動作により画像が変化する切り出し領域に対して、フォーカス調整を行うことになる。その結果、フォーカスを高精度に調整することが困難となる。なお、露光調整や顔検出処理についても同様の問題が生じる。

加えて、参考例にかかる撮像装置においては、移動中の切り出し領域に対してフォーカス調整を行っているため、切り出し領域が目標位置に到達した時点で、目標位置領域に対するフォーカス調整が開始される。そのため、切り出し領域が目標位置に到達してからフォーカス調整が完了するまでに時間がかかってしまう。

これに対して、本実施の形態にかかる撮像装置２によれば、上記のように、切り出し領域が目標位置に到達したときには、既に目標位置領域に対してフォーカスが合っている。そのため、フォーカスが合った目標位置の画像を迅速に表示させることができる。なお、移動中の切り出し領域の画像は常に変化しているため、フォーカスや露光を正確に合わせなくても、ユーザは違和感を感じない。

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。また、上記のデジタルパンチルト処理、フォーカス調整、露光調整、及び顔検出処理は、メインプロセッサのＲＯＭ等に格納されたコンピュータプログラムによって実行可能である。上述の例において、各処理をコンピュータ（プロセッサ）に行わせるための命令群を含むプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

１００ 撮像部
１３０ デジタルパンチルト処理部
１３１ 画像切り出し部
１３２ 領域移動部
１４０ 顔検出処理部
３０４ 液晶モニタ
３０６ 操作部
４００ 中央制御部
４０１ 移動量算出部
４０２ 到達時間算出部
４０３ フォーカス・露光制御部
４０４ 顔検出制御部

Claims (11)

1. 撮像処理により画像データを生成する撮像部と、
   前記画像データの一部の領域を、表示部に表示する領域として切り出す画像切り出し部と、
   前記画像データ内において、前記画像切り出し部により切り出された切り出し領域の移動先である目標位置を指定する目標位置指定部と、
   前記画像データにおける現在の前記切り出し領域の位置から前記目標位置指定部により指定された前記目標位置までの距離に基づいて、前記画像データにおける水平方向及び垂直方向の所定時間あたりの前記切り出し領域の移動量を算出する移動量算出部と、
   前記移動量算出部により算出された前記移動量に基づいて、前記切り出し領域を前記目標位置に移動させる領域移動部と、
   を備える撮像装置。
2. 前記画像データにおける水平方向の所定時間あたりの前記移動量と、垂直方向の所定時間あたりの前記移動量と、は異なる移動量である請求項１に記載の撮像装置。
3. 前記移動量算出部は、現在の前記切り出し領域の座標から前記目標位置の座標までの水平方向及び垂直方向の距離に基づいて、前記画像データにおける水平方向及び垂直方向の所定時間あたりの移動量を算出する請求項１または２に記載の撮像装置。
4. 前記移動量算出部は、予め設定された水平方向及び垂直方向の所定時間あたりの移動量である基準移動量を、現在の前記切り出し領域の位置から前記目標位置までの水平方向及び垂直方向の距離に応じた係数を用いて補正することにより、前記画像データにおける水平方向及び垂直方向の前記所定時間あたりの前記移動量を算出する請求項１〜３のいずれか一項に記載の撮像装置。
5. 前記移動量算出部は、現在の前記切り出し領域の位置から前記目標位置までの水平方向及び垂直方向の距離のうち、距離が大きい方向への前記所定時間あたりの前記移動量は、前記基準移動量のまま補正しない請求項４に記載の撮像装置。
6. 水平方向の前記基準移動量と、垂直方向の前記基準移動量と、は同じ値である請求項４または５に記載の撮像装置。
7. フォーカス及び露光の少なくとも一方を調整するフォーカス・露光調整部と、
   前記切り出し領域の移動中に、予め前記目標位置における被写体に対してフォーカス及び露光の少なくとも一方を合わせるように、前記フォーカス・露光調整部を制御するフォーカス・露光制御部と、をさらに備える請求項１〜６のいずれか一項に記載の撮像装置。
8. 前記移動量算出部が算出した前記移動量と、現在の前記切り出し領域の位置から前記領域移動部により指定された前記目標位置までの距離と、に基づいて、前記切り出し領域が前記目標位置に到達する時間を算出する到達時間算出部をさらに備え、
   前記フォーカス・露光制御部は、前記切り出し領域が前記目標位置に到達する時間に基づいて、前記フォーカス・露光調整部に、前記目標位置における前記被写体に対するフォーカス及び露光の少なくとも一方の調整を開始させる請求項７に記載の撮像装置。
9. 人の顔を検出する顔検出処理部と、
   前記切り出し領域の移動中に、予め前記目標位置における被写体に含まれる顔を検出するように、前記顔検出処理部を制御する顔検出制御部と、をさらに備える請求項１〜８のいずれか一項に記載の撮像装置。
10. 前記移動量算出部が算出した前記移動量と、現在の前記切り出し領域の座標から前記領域移動部により指定された前記目標位置の座標までの距離と、に基づいて、前記切り出し領域が前記目標位置に到達する時間を算出する到達時間算出部をさらに備え、
    前記顔検出制御部は、前記切り出し領域が前記目標位置に到達する時間に基づいて、前記顔検出処理部に、前記目標位置における前記被写体に含まれる顔の検出を開始させる請求項９に記載の撮像装置。
11. 撮像処理により生成された画像データの一部の領域を、表示部に表示する領域として切り出し、
    前記画像データ内において、切り出した切り出し領域の移動先である目標位置を指定し、
    前記画像データにおける現在の前記切り出し領域の位置から指定した前記目標位置までの距離に基づいて、前記画像データにおける水平方向及び垂直方向の所定時間あたりの前記切り出し領域の移動量を算出し、
    算出した前記移動量に基づいて、前記切り出し領域を前記目標位置に移動させる画像処理方法。

Images