JP2020161872A - 画像処理装置、画像処理方法およびプログラム - Google Patents

Abstract

【課題】画像内のオブジェクト検出に背景差分を用いる場合に、撮像画角が変動しても、画像内のオブジェクト領域を適切に表示させる。【解決手段】画像処理装置は、光学的にズーム倍率を変更するズーム操作が可能な撮像手段により出力される画像を取得する取得手段と、取得手段により取得された画像と背景画像とを比較して、当該画像からオブジェクトを検出する検出手段と、検出手段により検出されたオブジェクトの移動情報を算出する算出手段と、取得手段により取得された画像を表示させる第一の表示制御を行う第一の表示制御手段と、撮像手段においてズーム操作がなされた場合、ズーム操作の前に取得手段により取得された画像に対して、ズーム操作の前に検出手段により検出されたオブジェクトを算出手段により算出された当該オブジェクトの移動情報に基づいて配置した第一画像から、ズーム倍率の変更に応じた切り出し領域の画像を第二画像として切り出して表示させる第二の表示制御を行う第二の表示制御手段と、を備える。【選択図】 図６

Description

本発明は、画像処理装置、画像処理方法およびプログラムに関する。

従来、撮像画像内のオブジェクトを検出する画像処理技術として、背景差分が知られている。背景差分は、前景領域であるオブジェクトが存在する撮像画像と、同一画角の背景画像（背景モデル）とを比較することで、撮像画像内の前景領域を検出する技術である。ここで、背景画像は、事前に撮像した画像のうち静止物のみを含む画像である。このようなオブジェクト検知の技術は、人物のプライバシーを保護する技術に応用されている。
特許文献１には、撮像された人物のプライバシーを保護しつつ監視を行う技術が開示されている。この技術は、背景差分により検出された人物部分の画像を塗りつぶすなどして抽象化することで、撮像された人物を特定できないようにする技術である。以下、上記のように特定の領域を塗りつぶすなどして抽象化することを、「シルエット表示」と称す。

特開２０００−０００２１６号公報

上記特許文献１に記載の技術のように背景差分によるオブジェクト検知を用いた技術では、比較対象とする背景画像の画角が固定画角であることを前提としている。そのため、撮像画角が変動する操作がなされた場合、背景画像の画角と変動後の撮像画角とが異なることで、撮像画像中の大部分がオブジェクトと認識される。このとき、検出結果であるオブジェクト領域をシルエット化して表示すると、画像の大部分がシルエット表示されてしまう。
そこで、本発明は、画像内のオブジェクト検出に背景差分を用いる場合に、撮像画角が変動しても、画像内のオブジェクト領域を適切に表示させることを課題としている。

上記課題を解決するために、本発明に係る画像処理装置の一態様は、光学的にズーム倍率を変更するズーム操作が可能な撮像手段により出力される画像を取得する取得手段と、前記取得手段により取得された画像と背景画像とを比較して、当該画像からオブジェクトを検出する検出手段と、前記検出手段により検出されたオブジェクトの移動情報を算出する算出手段と、前記取得手段により取得された画像を表示させる第一の表示制御を行う第一の表示制御手段と、前記撮像手段において前記ズーム操作がなされた場合、前記ズーム操作の前に前記取得手段により取得された画像に対して、前記ズーム操作の前に前記検出手段により検出されたオブジェクトを前記算出手段により算出された当該オブジェクトの移動情報に基づいて配置した第一画像から、前記ズーム倍率の変更に応じた切り出し領域の画像を第二画像として切り出して表示させる第二の表示制御を行う第二の表示制御手段と、を備える。

本発明によれば、画像内のオブジェクト検出に背景差分を用いる場合に、撮像画角が変動しても、画像内のオブジェクト領域を適切に表示させることができる。

本発明の実施形態における撮像装置の構成を示すブロック図である。 撮像装置のハードウェア構成例である。 オブジェクト検出を説明するための図である。 オブジェクトの移動ベクトル算出を説明するための図である。 シルエット表示を説明するための図である。 撮像装置の動作を示すフローチャートである。 静止画上のオブジェクトシフトを説明するための図である。 静止画の切り出し拡大表示を説明するための図である。 静止画の露出調整を説明するための図である。

以下、添付図面を参照して、本発明を実施するための形態について詳細に説明する。
なお、以下に説明する実施の形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。

図１は、本実施形態における撮像装置１００の構成を示すブロック図である。
撮像装置１００は、撮像部１１０と、信号処理部１２０と、入力部１３０と、表示部１４０と、を備える。撮像部１１０は、光学レンズ１１１と、撮像素子１１２と、を備える。また、信号処理部１２０は、画像処理部１２１と、記憶部１１２と、レンズ制御部１２３と、を備え、画像処理部１２１は、オブジェクト検出部１２１ａと、ベクトル算出部１２１ｂと、表示制御部１２１ｃと、を備える。

光学レンズ１１１は、光学的に撮像倍率（ズーム倍率）を変更可能なズームレンズを有しており、被写体からの光を撮像素子１１２に集光する。光学レンズ１１１が有するズームレンズは、信号処理部１２３が有するレンズ制御部１２３によって制御される。ズーム倍率は、ユーザが任意に指定することができる。ユーザは、入力部１３０からズーム倍率の変更命令を入力可能であり、ユーザによって入力されたズーム倍率の変更命令が入力部１３０を介して信号処理部１２０に入力され、レンズ制御部１２３によってズームレンズが制御される。
撮像素子１１２は、ＣＣＤ（Ｃｈａｒｇｅｄ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサやＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサなどの半導体素子および周辺回路である。撮像素子１１２は、光学レンズ１１１によって集光された光を結像してデジタル信号（映像信号）に変換し、信号処理部１２０に送信する。

信号処理部１２０は、撮像部１１０から出力された撮像画像（映像）に対して画像処理を施して表示用データに加工し、表示部１４０に出力する。本実施形態では、信号処理部１２０が備える画像処理部１２１は、上記画像処理として、背景差分により撮像画像からオブジェクトを検出するオブジェクト検出処理や、検出されたオブジェクトを示すオブジェクト領域を抽象化して表示するシルエット表示を行うための抽象化処理を行う。信号処理部１２０の具体的構成については後述する。
入力部１３０は、キーボードやマウス、タッチパネルなどのユーザインターフェースを備え、ユーザが操作することで各種の指示を信号処理部１２０に対して送信することができる。ここで、ユーザからの指示は、ズーム倍率の変更を指示するズーム指示やシルエット表示の適用の指示などを含む。なお、シルエット表示については、予め適用する設定であってもよい。
表示部１４０は、信号処理部１２０から送信された表示用のデータ（画像や文字）を表示するためのディスプレイを備える。

図２は、撮像装置１００のハードウェア構成例である。
撮像装置１００は、ＣＰＵ１０１と、ＲＯＭ１０２と、ＲＡＭ１０３と、外部メモリ１０４と、撮像部１０５と、入力部１０６と、表示部１０７と、を備える。ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、外部メモリ１０４、撮像部１０５、入力部１０６および表示部１０７は、内部バス１０８に接続されている。
ＣＰＵ１０１は、撮像装置１００における動作を統括的に制御する。ＲＯＭ１０２は、ＣＰＵ１０１が処理を実行するために必要な制御プログラム等を記憶する不揮発性メモリである。なお、当該プログラムは、外部メモリ１０４に記憶されていてもよい。ＲＡＭ１０３は、ＣＰＵ１０１の主メモリ、ワークエリア等として機能する。ＣＰＵ１０１は、処理の実行に際してＲＯＭ１０２から必要なプログラム等をＲＡＭ１０３にロードし、当該プログラム等を実行することで各種の機能動作を実現する。

外部メモリ１０４は、例えば、ＨＤＤ（ハードディスクドライブ）やフラッシュメモリ、ＳＤカード等に代表される不揮発性の記憶装置であり、着脱可能な構成であってもよい。この外部メモリ１０４は、各種のプログラムや各種のデータ等の永続的な記憶領域として使用される他に、短期的な各種のデータ等の記憶領域としても使用することができる。
撮像部１０５は、図１の撮像部１１０に対応し、入力部１０６は、図１の入力部１３０に対応し、表示部１０７は、図１の表示部１４０に対応している。
なお、図１に示す撮像装置１００の信号処理部１２０が備える各要素の少なくとも一部の機能は、ＣＰＵ１０１がプログラムを実行することで実現することもできる。

以下、信号処理部１２０の構成について具体的に説明する。
画像処理部１２１が備えるオブジェクト検出部１２１ａは、撮像部１１０から取得した撮像画像に対してオブジェクト検出処理を施し、背景差分によって撮像画像内の前景領域を特定し、オブジェクトを検出する。背景差分には、撮像画角と同一画角の背景画像（背景モデル）を用い、撮像画像と背景モデルとを比較し、その差分をオブジェクト領域として検出する。ここで、背景モデルは、記憶部１２２に記憶しておくことができる。

図３（ａ）は、背景モデル２０１の一例である。背景モデル２０１は、固定画角において撮像された少なくとも２フレームの撮像画像を用いて生成され、記憶部１２２に記憶されているものとする。一方、図３（ｂ）は、撮像部１１０から取得された現在の撮像画像２０２であり、撮像画像２０２内にはオブジェクト（人物）３１１が存在する。オブジェクト検出部１２１ａは、図３（ｂ）に示す撮像画像２０２と図３（ａ）に示す撮像画像２０２と同一画角の背景モデル２０１とで対応する位置にある画素同士の輝度値の差分を計算し、当該差分が所定の閾値を超えた画素からなる領域をオブジェクトに対応する前景領域と判定する。
また、撮像画像内に存在するオブジェクトには、オブジェクトごとに移動パターンが存在するものと考えられる。そこで、オブジェクト検出部１２１ａは、背景差分によって検出されたオブジェクトの移動パターンを検出し、移動パターンが同一である領域ごとにオブジェクト領域を分類する。これにより、撮像画像内に複数のオブジェクトが存在する場合においても、適切にオブジェクト領域を検出することができる。

ベクトル算出部１２１ｂは、オブジェクト検出部１２１ａによって検出されたオブジェクトの移動ベクトルを算出する。ここで、移動ベクトルは、オブジェクトの単位フレームあたりの移動量とオブジェクトの移動方向とを示す移動情報である。例えば、移動ベクトルは、オブジェクトが撮像画角のｘｙ平面を単位フレームあたりに移動する画素数を用いて、（ｘ，ｙ）のように表すことができる。ここで、ｘｙ平面は、撮像素子１１２の撮像面である。
例えば、図４（ａ）に示す撮像画像２０３には、２つのオブジェクト（人物）３１１、３１２が存在する。ここで、オブジェクト３１１は略等速で左へ、オブジェクト３１２は略等速で右へ移動する移動パターンが得られているものとする。例えば、オブジェクト３１１が１フレーム後に左に３０画素移動している場合、オブジェクト３１１の移動ベクトル３２１は（−３０，０）と表すことができる。同様に、オブジェクト３１２が１フレーム後に右に２０画素移動している場合、オブジェクト３１２の移動ベクトル３２２は（２０，０）と表すことができる。

なお、本実施形態では、オブジェクト全体は移動せず、オブジェクトの一部のみが移動している場合には、移動ベクトルを算出しなくてもよい。例えば、図４（ｂ）に示すように、人物３１１が移動せずに腕のみを振り上げた場合、人物３１１の移動ベクトルは算出しなくてもよい。

表示制御部１２１ｃは、撮像部１１０から取得された画像を表示部１４０に表示させる表示制御を行うことができる。このとき表示制御部１２１ｃは、取得された画像（フレーム）ごとに、オブジェクト検出部１２１ａにおいて検出されたオブジェクト領域を所定の色で塗りつぶすシルエット表示を行うことができる。なお、以下の説明では、撮像部１１０から取得された画像を表示させる表示制御を、動画像表示という。
図５（ａ）は現在の撮像画像２０５を示しており、オブジェクト検出部１２１ａによりオブジェクト３１１およびオブジェクト３１２が検出されているものとする。この場合、表示制御部１２１ｃは、図５（ｂ）に示すように、オブジェクト３１１およびオブジェクト３１２をそれぞれ含むオブジェクト領域を黒く塗りつぶした画像２０６を生成して表示させる。なお、塗りつぶしの色は任意の色としてよく、半透明の塗りつぶしでもよい。また、一色での塗りつぶしに限らず、オブジェクトの輪郭を示す線であったり、特定パターンの柄、例えばドットや斜線であったりしてもよい。

さらに、本実施形態では、表示制御部１２１ｃは、撮像画角が変動する光学ズーム操作がなされた場合、動画像表示から静止画表示に切り替える。表示制御部１２１ｃは、光学ズーム操作が行われる直前の画像から、光学ズーム操作により変動する撮像画角に応じて静止画の切り出し表示を行うことで擬似的なズーム操作を実現する。さらに、表示制御部１２１ｃは、静止画上のオブジェクトを、当該オブジェクトの移動ベクトルに基づいてシフトするオブジェクトシフトを行う。
具体的には、静止画表示では、表示制御部１２１ｃは、光学ズーム操作により撮像画角が変動する前に取得された画像（静止画）から、ズーム倍率の変更に応じた切り出し領域の画像を切り出し、切り出し画像を表示部１４０に表示させる切り出し表示を行う。ズーム倍率を上げるズームイン操作が行われた場合には、表示制御部１２１ｃは、ズーム倍率に応じて静止画の一部の領域の画像を切り出し、切り出し画像を表示部１４０における表示用のサイズまで拡大して表示させる切り出し拡大表示を行う。また、このとき表示制御部１２１ｃは、光学ズーム操作前に検出された静止画上のオブジェクトを、当該オブジェクトの移動ベクトルに基づいて１フレーム分ずつシフトさせるオブジェクトシフトを行い、オブジェクト領域を所定の色で塗りつぶすシルエット表示を行う。光学ズーム操作がなされた場合の表示制御部１２１ｃの動作については後で詳述する。

記憶部１２２は、画像の切り出し表示や画像上のオブジェクトシフトに使用する静止画や、オブジェクト検出処理に使用する背景モデルなどを一時的に記憶しておくためのメモリである。
レンズ制御部１２３は、入力部１３０を介してユーザからズーム倍率の変更を指示するズーム指示を受信した場合に、光学レンズ１１１が有するズームレンズの制御を行う。具体的には、レンズ制御部１２３は、ユーザから指示された倍率に基づいて、ズームレンズを駆動するズームレンズモータ（不図示）に制御信号を送信することで倍率の制御を行う。ズームレンズモータは、レンズ制御部１２３から送信される制御信号に従ってズームレンズを光軸に沿って移動し、ズームイン、ズームアウトといった光学ズーム操作を実現する。なお、本実施形態では、レンズ制御部１２３は、ズーム倍率が線形に変化するように、ズームレンズを制御するものとする。

なお、本実施形態では、撮像装置１００が、撮像倍率を変更する光学ズーム操作がなされた場合に、静止画の切り出し表示による擬似的なズーム操作とオブジェクトシフトとを実現する画像処理装置として動作する場合について説明する。ただし、一般のパーソナルコンピュータ（ＰＣ）や他の機器等が上記の画像処理装置として動作してもよい。この場合、画像処理装置として動作するＰＣや機器は、図１に示す画像処理部１２１の機能を有する。

以下、本実施形態の撮像装置１００の動作について説明する。
図６は、光学ズーム操作がなされた場合に撮像装置１００が実行する表示制御処理のフローチャートである。この図６の処理は、ユーザによりズーム指示がなされたときに実行される。ただし、図６の処理の開始タイミングは、上記のタイミングに限らない。撮像装置１００は、ＣＰＵ１０１が必要なプログラムを読み出して実行することにより、図６に示す各処理を実現することができる。なお、以降、アルファベットＳはフローチャートにおけるステップを意味するものとする。

まずＳ１において、撮像装置１００は、ユーザによって入力部１３０を介して指定されたズーム倍率を取得し、Ｓ２に移行する。
Ｓ２では、表示制御部１２１ｃは、Ｓ１において取得されたズーム倍率から単位フレームあたりのズーム倍率を算出し、Ｓ３に移行する。
光学ズーム操作は、ズームレンズモータによってズームレンズを駆動することによって行われ、所望のズーム倍率に到達するまでに複数フレームを要する。ここで、ズーム速度（ズームレンズ駆動速度）およびフレームレートは、撮像装置１００に固有、あるいは予め一意に設定されているものとする。例えば、ユーザ指定のズーム倍率がａ倍、ズーム倍率をａ倍するのにかかる時間がｂ秒、フレームレートがｃフレーム／秒であるとすると、ズーム倍率をａ倍するまでにｂ×ｃフレーム必要となることがわかる。そのため、この場合には、単位フレームあたりのズーム倍率は、ａ÷（ｂ×ｃ）倍と算出することができる。なお、前述したように光学ズーム操作は線形に行われるものとする。

Ｓ３では、表示制御部１２１ｃは、ズーム前の静止画を表示用データとして表示部１４０に送信する。ここで、ズーム前の静止画は、Ｓ１においてズーム倍率の指定を受け付けた時点での静止画像である。表示制御部１２１ｃは、Ｓ１の直後に記憶部１２２に記憶された静止画像を表示部１４０に送信することで、ズーム前の静止画を表示部１４０に表示させる。
Ｓ４では、レンズ制御部１２３は、ズーム倍率が、Ｓ１においてユーザから指令されたズーム倍率となるように、光学レンズ１１１が有するズームレンズを制御して光学ズームを開始し、Ｓ５に移行する。

Ｓ５では、表示制御部１２１ｃは、ベクトル算出部１２１ｂにおいて算出されたオブジェクトの移動ベクトルに基づいて、Ｓ３において記憶部１２２から取得した静止画上のオブジェクトを１フレーム分シフトした静止画を生成し、Ｓ６に移行する。
Ｓ６では、表示制御部１２１ｃは、Ｓ２において算出された単位フレームあたりのズーム倍率に基づいて、Ｓ５においてオブジェクトをシフトさせた静止画から１フレーム分切り出し、表示用のサイズまで拡大してＳ７へ移行する。なお、画像の切り出し拡大操作と光学ズーム操作とは連動しており、単位フレームあたりの切り出し画像の拡大倍率と、単位フレームあたりの光学ズーム倍率とは、常に等しいものとする。
Ｓ７では、表示制御部１２１ｃは、Ｓ６において切り出し拡大された静止画を記憶部１２２に記憶するとともに、表示部１４０に送信し表示させる。

Ｓ８では、表示制御部１２１ｃは、レンズ制御部１２３において制御された光学ズームの倍率がＳ１でユーザによって指定されたズーム倍率（指定倍率）に到達しているか否かを判定する。そして、光学ズーム倍率が指定倍率に到達していない場合にはＳ５に戻り、指定倍率に到達するまで１フレームずつＳ５からＳ７の処理を繰り返す。一方、光学ズーム倍率が指定倍率に到達している場合には、Ｓ９に移行する。
Ｓ９では、レンズ制御部１２３は、光学ズームを停止し、Ｓ１０へ移行する。
Ｓ１０では、表示制御部１２１ｃは、光学ズーム停止後の固定画角で背景モデルを生成し直して更新する。なお、本実施形態では、オブジェクトの誤検知を防ぐために、光学ズーム停止後の固定画角で取得された十数枚程度のフレームを用いて背景モデルを生成するものとする。

Ｓ１１では、表示制御部１２１ｃは、背景モデルの更新が完了したか否かを判定し、完了していると判定した場合にはＳ１２に移行し、完了していないと判定した場合にはＳ５へ戻り、経過時間に応じてオブジェクトのシフトを継続する。なお、Ｓ４からＳ５に移行するフローを実行した際に、Ｓ９において光学ズームを停止させているため、Ｓ１１からＳ５へ移行した場合には、Ｓ９の処理を再度実行する必要はない。また、光学ズームは停止しており、光学ズーム操作と連動したＳ６の切り出し拡大操作も不要となる。したがって、Ｓ１１において背景モデルの更新が完了していないと判定された場合、Ｓ１１において背景モデルの更新が完了したと判定されるまで、Ｓ５からＳ１０の処理のうち、Ｓ６およびＳ９以外の処理を繰り返す。
Ｓ１２では、表示制御部１２１ｃは、表示部１４０に表示させるデータを静止画から撮像中の動画へ切り替え、図６に示す処理を終了する。

以下、図７および図８を参照して、本実施形態における静止画上でのオブジェクトシフトおよび静止画の切り出し拡大について具体的に説明する。図７（ａ）は、表示制御部１２１ｃによりオブジェクトがシルエット表示された画像２０７の一例を示している。図７（ａ）に示す画像２０７内のオブジェクト３１３については、既に移動ベクトル３２３が算出されており、その移動ベクトル３２３は（−３０，２０）であるとする。
図６のＳ４において光学ズームが開始されると、表示制御部１２１ｃは、Ｓ５において、光学ズーム前に検出された静止画上のオブジェクトを、当該オブジェクトの移動ベクトルに基づいてシフトする。光学ズームが開始される直前の静止画が図７（ａ）に示す画像２０７である場合、表示制御部１２１ｃは、光学ズームが開始されてから１フレーム後の画像として、図７（ｂ）に示す画像２０８を生成する。この図７（ｂ）に示す画像２０８では、オブジェクト３１３は、光学ズーム開始時にオブジェクト３１３が存在していた画素座標を（０，０）とした場合、画素座標（−３０，２０）の位置にシフトされている。このように、表示制御部１２１ｃは、オブジェクトの移動ベクトルに基づいて、光学ズーム操作の前に取得された静止画上でオブジェクトをシフトする。
なお、上述した図４（ｂ）に示すように、オブジェクト３１１が移動せずに腕のみを振り上げた場合、オブジェクト３１１の移動ベクトルは算出されない。そのため、オブジェクト３１１のようにオブジェクトの一部のみが移動している場合には、静止画上でのオブジェクトシフトは行われない。

次に、表示制御部１２１ｃは、Ｓ６において、オブジェクトシフトを行った静止画をＳ２で算出した単位フレームあたりのズーム倍率に基づいて切り出し、拡大して表示させる。図８（ａ）は、図７（ｂ）に等しく、光学ズームが開始されてから１フレーム後の画像２０８である。一方、図８（ｂ）は、図８（ａ）の画像２０８から、単位フレームあたりのズーム倍率に基づく領域の画像を切り出し、表示用のサイズまで拡大した画像２０９を示している。この図８（ｂ）に示す画像２０９は、図８（ａ）に示す画像２０８内の点線で囲んだ領域を切り出し、拡大した画像である。
以上のように、表示制御部１２１ｃは、光学ズーム操作がなされた場合、光学ズームが開始される直前の静止画に対して、オブジェクトの移動ベクトルに基づいて当該オブジェクトを配置することで１フレーム分ずつオブジェクトをシフトする。また、表示制御部１２１ｃは、オブジェクトをシフトした画像から、光学ズームのズーム倍率の変更に応じた領域を１フレーム分の倍率で切り出し、表示用のサイズまで拡大して表示させる。表示制御部１２１ｃは、オブジェクトをシフトし、画像を切り出し拡大表示する一連の処理を、光学ズームにおけるズーム倍率が指定倍率に到達するまで繰り返す。

背景差分によりオブジェクトを検知する場合、撮像画角が変動する操作がなされると、背景モデルの画角と変動後の撮像画角とが異なることで、撮像画像の全域がオブジェクトと認識されることになる。そのため、このとき認識されたオブジェクト領域に対して抽象化処理を行うと、画像全域がシルエット化され、表示画面の全域がシルエット表示されてしまう。
これに対して、本実施形態では、撮像画角が変動する光学ズーム操作がなされた場合、動画像表示から静止画表示に切り替え、光学ズーム前の静止画から光学ズーム倍率に応じた領域の画像を切り出し表示する。
また、光学ズーム完了時点で動画像表示に戻すと、背景差分に用いる背景モデルが更新される前の背景モデルとの差分をとることとなる。すなわち、入力画像の撮像画角が背景モデル作成時の画角と異なるため、画像全域がシルエット化されてしまう。これに対して、本実施形態では、光学ズームが完了して背景モデルが更新された後に動画像表示に戻す。したがって、光学ズーム操作中に画角の大半がシルエット表示されることを防ぐことができる。

また、本実施形態では、撮像画角が変動する光学ズーム操作がなされた場合、静止画の切り出し表示に加えて、静止画上におけるオブジェクトの位置を徐々に変更するオブジェクトシフトを行う。静止画の切り出し拡大表示のみを行う、いわゆる電子ズームでは、光学ズーム開始時から光学ズームが完了して背景モデルの更新が完了するまでの間、変化のない静止画を表示し続けることとなる。この場合、動画像表示に切替わった際に、オブジェクトが瞬間移動している、あるいは突然消滅したかのように見えてしまう。これに対して、本実施形態では、静止画上でのオブジェクトシフトを行うため、上記の問題を軽減することができる。
なお、Ｓ５におけるオブジェクトシフトおよびＳ６における切り出し拡大は、常に、光学ズーム開始時に記憶部１２２から取得した静止画に対して行い、切り出した画像上でオブジェクトシフトを行ってさらに画像の切り出しを行うものではない。

以上説明したように、本実施形態における撮像装置１００は、撮像部１１０から取得された画像と背景モデル（背景画像）とを比較する背景差分によりオブジェクトを検出し、オブジェクトの移動情報として、オブジェクトの単位フレームあたりの移動量および移動方向を示す移動ベクトルを算出する。撮像装置１００は、光学的にズーム倍率を変更するズーム操作（光学ズーム操作）が可能であり、光学ズーム操作がなされていない場合、撮像部１１０により取得された画像を表示させる表示制御である動画像表示を行う。このとき、撮像装置１００は、画像上のオブジェクトを示すオブジェクト領域に所定の画像処理を施して表示させることができる。ここで、所定の画像処理は、オブジェクト領域を抽象化して表示させるための抽象化処理を含む。

また、撮像装置１００は、光学ズーム操作がなされた場合、光学ズーム操作の前の画像（静止画）をズーム倍率に応じて切り出して表示させるとともに、当該静止画上のオブジェクトを、算出された移動ベクトルに基づいてシフトする静止画表示を行う。このとき、撮像装置１００は、まず光学ズーム操作の前の画像に対して、光学ズーム操作の前に検出されたオブジェクトを移動ベクトルに基づいて配置する。そして、撮像装置１００は、移動ベクトルに基づいてオブジェクトを配置した画像から、ズーム倍率の変更に応じた切り出し領域の画像を切り出して表示させる。

このように、撮像装置１００は、光学ズーム操作がなされた場合、ズーム倍率に応じた光学ズーム操作前の静止画の切り出し表示と、オブジェクトの移動ベクトルに基づくオブジェクトシフトとを行う。具体的には、撮像装置１００は、ズーム倍率を上げる光学ズームイン操作がなされた場合、ズーム倍率の変更に応じて静止画の一部の領域を切り出し、切り出した画像を表示用のサイズまで拡大して表示させる切り出し拡大表示とオブジェクトシフトとを行う。光学ズーム操作の前に検出されたオブジェクトを、光学ズーム操作の前の静止画上に配置して表示させるため、オブジェクト領域に画像処理を施して表示させる場合であっても、画像内のオブジェクトを適切に表示させることができる。例えば、画像内のオブジェクト領域に対して抽象化処理を行う場合には、オブジェクトのみを適切にシルエット化することができ、表示画面の全域がシルエット表示されてしまうことを防止することができる。

また、撮像装置１００は、光学ズーム操作がなされていない間に撮像部１１０により取得された複数の画像に基づいて、背景差分に用いる背景モデル（背景画像）を生成することができる。そして、撮像装置１００は、光学ズーム操作が開始されたとき、動画像表示から静止画表示に切り替え、光学ズーム操作が完了して背景モデルの生成が完了した後、静止画表示から動画像表示に切り替える。
このように、撮像装置１００は、ズーム操作が完了し、背景モデルの更新が完了した後に、動画像表示に戻すことができる。つまり、変更後の画角でのオブジェクト検出処理を適切に行うことができる状態となってから動画像表示に戻すことができる。したがって、変更後の画角でのオブジェクトのシルエット表示を適切に行うことができる。

（変形例）
上記実施形態においては、静止画表示を行っている場合に、露出制御を行うようにしてもよい。
図９（ａ）および図９（ｂ）は、静止画の一例を示している。図９（ａ）の静止画２１１と図９（ｂ）の静止画２２１とは、同一の画角を有する。撮像装置１００における撮像画像の露出は、撮像画角全域を評価枠として露光時間や絞り値などが制御されたり、ユーザの操作により任意に露光時間や絞り値などが設定されたりすることで調整される。したがって、明部を撮像した場合と暗部を撮像した場合とで、その撮像画像（撮像画角全域）の明るさに応じた露出に調整される。
表示部１４０において撮像中の動画が表示されている場合、撮像画像と表示画像との画角は等しく、表示画像の露出は適切に調整されていると言える。つまり、撮像画角全域の明るさが変動した場合、その明るさの変動に応じて露出が調整され、露出調整がなされた画像が表示されるため、表示上の画像も露出が適切に調整されていることになる。

しかしながら、光学ズーム操作がなされて静止画表示を行なっている場合、表示画像の露出は調整されない。これは、事前に撮像した静止画に対して、撮像後に露光時間や絞り値を変更することはできないためである。例えば、ズーム前の静止画が図９（ａ）に示す静止画２１１であり、白破線枠２１２で示す画角を切り出し拡大表示した場合について説明する。図９（ａ）の静止画２１１の撮像画角は明部を含み、静止画２１１の撮像時の露出調整は、その明部を含む撮像画角全域を評価枠として行われる。そのため、この静止画２１１から、白破線枠２１２で示す暗部が大半を占める画角を切り出し拡大表示した場合、表示画像としては露出が適切に調整されていない暗い画像となってしまう。

そこで、本実施形態に示すような静止画の切り出し拡大表示を行う場合には、表示画角に応じて、表示される画像の明るさが所定の明るさとなるように輝度ゲイン（デジタルゲイン）を調整するようにしてもよい。輝度ゲインを上げた場合、図９（ｂ）に示す静止画２２１のように、表示画像の露出を疑似的に調整することが可能である。そのため、露出制御された静止画２２１から白破線枠２２２で示す画角を切り出し拡大表示すれば、露出が適切に調整された表示画像を表示させることが可能となる。また、輝度ゲインの調整に限らず、表示される画像のホワイトバランスが所定のホワイトバランスとなるように色ゲインを調整するようにしてもよい。

また、上記実施形態における撮像装置１００は、ネットワークを介して別の装置、例えばクライアント装置と接続されていてもよい。さらに、この場合、撮像装置１００が有する信号処理部１２０、入力部１３０および表示部１４０は、撮像装置１００と接続されたクライアント装置が有していてもよい。
さらに、上記実施形態において、撮像素子１１２から信号処理部１２０へ送信されるデジタル信号（映像信号）は、非圧縮のＲＡＷデータであってもよいし、ＪＰＥＧなどの圧縮済みのデータであってもよい。ただし、非圧縮のＲＡＷデータが送信される場合には、信号処理部１２０において表示用のデータに圧縮する必要がある。

また、上記実施形態においては、信号処理部１２０が記憶部１２２を有する場合について説明したが、上記に限定されるものではない。記憶部１２２は、信号処理部１２０の有する画像処理部１２１との間でデータの送受信ができればよく、信号処理部１２０には含まれずに別個の構成であってもよい。
さらにまた、上記実施形態においては、光学ズーム操作がなされた場合に動画像表示から静止画表示に切り替える場合について説明した。しかしながら、光学ズーム操作がなされた場合であっても、オブジェクト検出部１２１ａにおいて撮像画像内にオブジェクトが検出されていない場合には、静止画表示に切り替えずに動画像表示を継続してもよい。この場合、画像処理部１２１においてオブジェクトのシフトや切り出し拡大といった静止画の加工処理が必要なくなり、演算処理が容易となる。また、動画像表示を継続することで、静止画表示よりも現実をより忠実に再現した画像表示を行うことができる。
また、上記実施形態では、光学ズーム操作に際し、ユーザがズーム倍率を指定する場合について説明するが、これに限らず、ズーム倍率をアナログ的に変更できるものとしてもよい。

また、上記実施形態においては、ズーム倍率は線形に変化するものとし、切り出し拡大と光学ズームの倍率は常に等しいものとする場合について説明したが、倍率変化は線形でなくてもよい。撮像装置１００がズームレンズの位置やレンズ制御の設定値から現在の光学ズーム倍率を認識することができれば、それに合わせて静止画の切り出し拡大を行うことができる。
さらに、上記実施形態においては、単位フレームあたりの切り出し拡大倍率と、単位フレームあたりの光学ズームの倍率とを異ならせてもよい。例えば、光学ズームは高速に制御し、一方で静止画切り出し拡大は背景モデルの更新が完了するまでの間に徐々に拡大倍率が変化するようにしてもよい。つまり、単位フレームあたりの切り出し拡大倍率は、単位フレームあたりの光学ズーム倍率よりも小さくてもよい。この場合、表示上は単位フレームあたりの倍率変化量が少なくなり、より自然なズーム動作に見える。なお、この場合、図６のＳ２においては、光学ズームおよび背景モデルの更新が完了するまでの総時間（総フレーム数）から、単位フレームあたりのズーム倍率を算出するようにすればよい。

さらにまた、上記実施形態においては、オブジェクトの移動ベクトルを算出する場合について説明したが、複数フレームを用いて、オブジェクトが一方向への移動ではなく、例えば右へ移動したのち左へ移動し、再度右へ移動するといった往復運動を検出するようにしてもよい。この場合、静止画上のオブジェクトのシフトにおいては、オブジェクトが往復運動となるようにシフトさせる。これにより、静止画上でオブジェクトを誤った位置に表示してしまうことを抑制し、動画像表示に切替わった際のオブジェクト位置の違いによる違和感を軽減することができる。なお、ここではオブジェクトの往復運動について説明したが、オブジェクトの旋回運動を検出するようにしてもよい。この場合にも同様に、静止画上のオブジェクトのシフトにおいては、オブジェクトが旋回運動となるようにシフトさせる。つまり、オブジェクトの移動軌跡を検出し、検出された移動軌跡に基づいてオブジェクトのシフトを行うようにしてもよい。

また、上記実施形態においては、オブジェクトシフトによって静止画上のオブジェクトの位置を徐々に移動し、切り出し画像におけるオブジェクト（オブジェクト領域）の占める割合が所定の閾値を下回った場合には、オブジェクトの位置の移動を終了するようにしてもよい。つまり、次のフレームでは、オブジェクトのシフトを行わず、静止画の切り出し拡大表示のみを行うようにしてもよい。ここで、当該閾値は０であってもよい。この場合、静止画を切り出した結果、オブジェクトがフレームアウトした場合に、次のフレームではオブジェクトのシフトを行わないようにすることができる。これにより、表示画像内に存在しないオブジェクトをシフトする処理を省くことができ、演算処理が容易になる。

さらに、上記実施形態においては、光学ズーム操作がなされて動画像表示から静止画表示に切り替わっている間、表示画面に、静止画表示を行っていることを示す情報、例えば「静止画」と表記してもよい。上記実施形態では、静止画表示中も、切り出し拡大による疑似的なズームや、経過時間に応じたオブジェクトのシフトを行うため、動画像表示ではなく静止画表示中であることをユーザが認識しづらい。表示画面に「静止画」と表記することで、ユーザは静止画表示中であることを容易に認識することができる。
また、上記実施形態においては、光学ズーム操作として、ズーム倍率を上げるズームイン操作を行う場合について説明したが、ズーム倍率を下げるズームアウトを行う場合についても同様の処理を行うことができる。ズームアウト時には、ズーム倍率の変更に応じて、ズーム前の静止画の画角よりも徐々に大きい画角の領域を切り出し、表示用のサイズまで縮小して表示させる。ただし、ズームアウト時には、撮像装置１００は静止画の外側領域の情報を有していないため、ズーム倍率の変更に応じてズーム前の静止画を縮小し、静止画の外側領域については単に塗りつぶした画像など、予め定められた画像を表示すればよい。

さらにまた、上記実施形態においては、オブジェクトの移動ベクトル算出および静止画上でのオブジェクトのシフトについて、画角のｘｙ平面を対象とした。しかしながら、オブジェクトはｘ方向、ｙ方向のみならず、ｚ方向、つまり撮像装置１００に近づいたり撮像装置１００から遠ざかったりする方向に移動することもあり得る。そこで、オブジェクトが撮像装置１００に近づく、あるいは撮像装置１００から遠ざかる場合にも、その移動ベクトルを算出し、オブジェクトのシフトに反映させるようにしてもよい。以下、オブジェクトがｚ方向に移動する場合のオブジェクトの移動ベクトル算出および静止画上でのオブジェクトのシフトについて説明する。

オブジェクトが撮像装置１００に近づく、あるいは撮像装置１００から遠ざかると、撮像画像内におけるオブジェクトの輪郭の大きさ、すなわちオブジェクト領域の大きさは変動する。具体的には、オブジェクトが撮像装置１００に近づく方向に動いている場合には、オブジェクト領域の大きさは徐々に大きくなり、一方で、オブジェクトが撮像装置１００から遠ざかる方向に動いている場合には、オブジェクト領域の大きさは徐々に小さくなる。そこで、オブジェクトの移動情報として、オブジェクトの単位フレームあたりの倍率を算出するようにしてもよい。この場合、例えばｘ方向あるいはｙ方向におけるオブジェクト領域の長さの変動分を画素数で算出し、算出したオブジェクト領域のｘ方向あるいはｙ方向の長さの変動分をオブジェクトの拡大／縮小ベクトル、すなわち倍率としてもよい。

例えば、オブジェクトが撮像装置１００に近づく方向に移動している場合に、１フレームでのオブジェクト領域のｘ方向およびｙ方向の拡大分が２０画素であれば、１フレームおきに該オブジェクトのｘ方向及びｙ方向の長さが２０画素分長くなるようにオブジェクトを拡大する。同様に、オブジェクト領域のｘ方向およびｙ方向の長さが１フレームごとに短くなる場合には、１フレームおきに該オブジェクトのｘ方向及びｙ方向の長さが短くなるようにオブジェクトを縮小する。このように、オブジェクトを拡大もしくは縮小することでも、同様にオブジェクトのシフトが可能である。
これにより、オブジェクトが撮像装置１００に近づく、あるいは撮像装置１００から遠ざかる方向（ｚ方向）に移動している場合にも、静止画上でのオブジェクトのシフトを適切に行うことができる。

なお、ここではオブジェクトのｚ方向の動き、すなわちオブジェクトが撮像装置１００に近づいているか遠ざかっているかを、撮像画像内におけるオブジェクト領域の大きさの変動量から認識する場合について説明した。しかしながら、撮像装置１００が被写体までの距離情報を取得する測距手段を有し、測距手段から取得したオブジェクトまでの距離情報に基づいて、オブジェクトのｚ方向の動きを認識するようにしてもよい。この場合、取得された距離情報に基づいてオブジェクトの単位フレームあたりの倍率を算出し、静止画上のオブジェクトの拡大および縮小を行う。測距手段によってオブジェクトまでの距離情報を取得することができれば、より簡単な演算処理で、また、より高い精度でオブジェクトの拡大および縮小を行うことができる。測距手段としては、例えばＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）センサや、撮像面位相差測距センサを使用することができる。

また、オブジェクトのシフトによって静止画上のオブジェクトの大きさを徐々に縮小し、切り出し画像におけるオブジェクト（オブジェクト領域）の占める割合が所定の閾値以下となった場合、オブジェクトの大きさの変更を終了するようにしてもよい。つまり、次のフレームでは、オブジェクトの縮小を行わないようにしてもよい。これにより、例えば解像度に対してオブジェクトが小さすぎてその詳細を認識することが困難なほどに縮小された場合に、それ以上の縮小を行わず、オブジェクトを認識可能な大きさにとどめることができる。また、オブジェクトの縮小処理を終了するため、オブジェクトをシフトする処理を省くことができ、演算処理が容易となる。
さらに、オブジェクトシフトによって静止画上のオブジェクトの大きさを徐々に拡大し、切り出し画像におけるオブジェクト（オブジェクト領域）の占める割合が所定の閾値以上となった場合、オブジェクトの大きさの変更を終了するようにしてもよい。つまり、次のフレームでは、オブジェクトの拡大を行わないようにする。なぜなら、画角に占めるオブジェクトの割合が上記の閾値以上になってしまった場合、画像からオブジェクトだけではなく、背景情報も失われてしまうためである。

また、上記実施形態においては、オブジェクト検出処理により検出されたオブジェクト領域に対して抽象化処理を施して表示させる場合について説明したが、オブジェクト領域に対して施す画像処理は、抽象化処理に限定されない。例えばオブジェクト領域を枠で囲むなど、強調表示させる処理であってもよい。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００…撮像装置、１１０…撮像部、１１１…光学レンズ、１１２…撮像素子、１２０…信号処理部、１２１…画像処理部、１２１ａ…オブジェクト検出部、１２１ｂ…ベクトル算出部、１２１ｃ…表示制御部、１２２…記憶部、１２３…レンズ制御部、１３０…入力部、１４０…表示部

Claims (20)

1. 光学的にズーム倍率を変更するズーム操作が可能な撮像手段により出力される画像を取得する取得手段と、
   前記取得手段により取得された画像と背景画像とを比較して、当該画像からオブジェクトを検出する検出手段と、
   前記検出手段により検出されたオブジェクトの移動情報を算出する算出手段と、
   前記取得手段により取得された画像を表示させる第一の表示制御を行う第一の表示制御手段と、
   前記撮像手段において前記ズーム操作がなされた場合、前記ズーム操作の前に前記取得手段により取得された画像に対して、前記ズーム操作の前に前記検出手段により検出されたオブジェクトを前記算出手段により算出された当該オブジェクトの移動情報に基づいて配置した第一画像から、前記ズーム倍率の変更に応じた切り出し領域の画像を第二画像として切り出して表示させる第二の表示制御を行う第二の表示制御手段と、を備えることを特徴とする画像処理装置。
2. 前記第一の表示制御手段および前記第二の表示制御手段は、
   前記オブジェクトを示すオブジェクト領域に、所定の画像処理を施して表示させることを特徴とする請求項１に記載の画像処理装置。
3. 前記撮像手段において前記ズーム操作がなされていない間に前記取得手段により取得された複数の画像に基づいて、前記背景画像を生成する生成手段と、
   前記撮像手段において前記ズーム操作が開始されたとき、前記第一の表示制御手段による第一の表示制御から前記第二の表示制御手段による第二の表示制御に切り替え、前記ズーム操作が完了して前記生成手段により前記背景画像の生成が完了した後、前記第二の表示制御手段による第二の表示制御から前記第一の表示制御手段による第一の表示制御に切り替える切り替え手段と、をさらに備えることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記切り替え手段は、
   前記ズーム操作の前に前記検出手段によりオブジェクトが検出されていない場合、前記撮像手段において前記ズーム操作が開始されても前記第一の表示制御手段による第一の表示制御を継続することを特徴とする請求項３に記載の画像処理装置。
5. 前記算出手段は、
   前記オブジェクトの移動情報として、前記オブジェクトの単位フレームあたりの移動量と前記オブジェクトの移動方向とを示す移動ベクトルを算出することを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記算出手段は、
   前記オブジェクトの移動情報として、前記オブジェクトの移動軌跡を算出することを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
7. 前記算出手段は、
   前記オブジェクトの移動情報として、前記オブジェクトの単位フレームあたりの倍率を算出することを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
8. 前記撮像手段から被写体までの距離情報を取得する第二の取得手段をさらに備え、
   前記算出手段は、
   前記第二の取得手段により取得された前記距離情報に基づいて、前記オブジェクトの単位フレームあたりの倍率を算出することを特徴とする請求項７に記載の画像処理装置。
9. 前記第二の表示制御手段は、
   前記撮像手段において前記ズーム倍率を上げるズーム操作がなされた場合、前記第一画像から前記ズーム倍率の変更に応じて前記第一画像の一部の領域の画像を前記第二画像として切り出し、前記第二画像を表示用のサイズまで拡大して表示させることを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。
10. 前記第二の表示制御手段は、
    前記第二画像の単位フレームあたりの拡大倍率が、前記撮像手段における単位フレームあたりのズーム倍率よりも小さいことを特徴とする請求項９に記載の画像処理装置。
11. 前記第二の表示制御手段は、
    前記撮像手段において前記ズーム倍率を下げるズーム操作がなされた場合、前記ズーム倍率の変更に応じて前記第一画像および前記第一画像の外側領域を含む画像を前記第二画像として切り出し、前記第二画像を表示用のサイズまで縮小して表示させることを特徴とする請求項１から１０のいずれか１項に記載の画像処理装置。
12. 前記第二の表示制御手段は、
    前記外側領域に対応する領域に予め定められた画像を表示させることを特徴とする請求項１１に記載の画像処理装置。
13. 前記第二の表示制御手段は、
    前記第一画像に配置する前記オブジェクトの位置を当該オブジェクトの移動情報に基づいて徐々に移動し、前記第二画像における前記オブジェクトの占める割合が第一の閾値を下回った場合、前記オブジェクトの位置の移動を終了することを特徴とする請求項１２に記載の画像処理装置。
14. 前記第二の表示制御手段は、
    前記第一画像に配置する前記オブジェクトの大きさを当該オブジェクトの移動情報に基づいて徐々に拡大し、前記第二画像における前記オブジェクトの占める割合が第二の閾値以上となった場合、前記オブジェクトの大きさの変更を終了することを特徴とする請求項１２または１３に記載の画像処理装置。
15. 前記第二の表示制御手段は、
    前記第一画像に配置する前記オブジェクトの大きさを当該オブジェクトの移動情報に基づいて徐々に縮小し、前記第二画像における前記オブジェクトの占める割合が第三の閾値以下となった場合、前記オブジェクトの大きさの変更を終了することを特徴とする請求項１２から１４のいずれか１項に記載の画像処理装置。
16. 前記第二の表示制御手段は、
    前記第二の表示制御を行っていることを示す情報を表示させることを特徴とする請求項１から１５のいずれか１項に記載の画像処理装置。
17. 前記第二の表示制御手段は、
    前記第二画像の明るさが所定の明るさとなるように輝度ゲインを調整して表示させることを特徴とする請求項１から１６のいずれか１項に記載の画像処理装置。
18. 前記第二の表示制御手段は、
    前記第二の画像のホワイトバランスが所定のホワイトバランスとなるように色ゲインを調整して表示させることを特徴とする請求項１から１７のいずれか１項に記載の画像処理装置。
19. 光学的にズーム倍率を変更するズーム操作が可能な撮像手段により出力される画像を取得するステップと、
    取得された前記画像と背景画像とを比較して、当該画像からオブジェクトを検出するステップと、
    検出された前記オブジェクトの移動情報を算出するステップと、
    取得された前記画像を表示させる第一の表示制御を行うステップと、
    前記撮像手段において前記ズーム操作がなされた場合、前記ズーム操作の前に取得された前記画像に対して、前記ズーム操作の前に検出された前記オブジェクトを当該オブジェクトの移動情報に基づいて配置した第一画像から、前記ズーム倍率の変更に応じた切り出し領域の画像を第二画像として切り出して表示させる第二の表示制御を行うステップと、を含むことを特徴とする画像処理方法。
20. コンピュータを、請求項１から１８のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images