JP2004240844A - 画像処理装置、ｒｏｉ領域制御方法、プログラム、及び、記録媒体 - Google Patents

Abstract

【課題】動画像中の注目被写体の動きに合わせて適切なＲＯＩ領域を自動的に設定する。
【解決手段】動画像の任意のフレームで、初期設定処理手段１２２によりＲＯＩ領域が初期設定される。そのフレーム以後のフレームにおいて、初期処理手段１１８により、初期設定されたＲＯＩ領域の特徴的画像が識別され、その特徴量が保存される。その後のフレームにおいて、ＲＯＩ領域設定処理手段１１４により、特徴的画像と特徴量が一致する画像の探索が行われ、探索された画像に追従させるようにＲＯＩ領域が設定される。特徴量が一致する画像の探索に失敗したフレームでは、現在設定されているＲＯＩ領域は無効とされ、ＲＯＩ処理は抑止される。
【選択図】 図１

Description

【０００１】
【発明の属する技術分野】
本発明は、動画像を処理する各種装置に係り、特に、動画像の高画質化処理されるべき領域（ＲＯＩ領域）の制御技術に関する。
【０００２】
【従来の技術】
画像は圧縮された状態で蓄積又は伝送されるのが一般的である。静止画像の圧縮にはＪＰＥＧが、動画像の圧縮にはＭＰＥＧが広く利用されているが、これに代わる新しい圧縮方式として、ＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ ＦＣＤ １５４４４−１）と、その拡張方式Ｍｏｔｉｏｎ−ＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ ＦＣＤ １５４４４−３）が注目されている。Ｍｏｔｉｏｎ−ＪＰＥＧ２０００では、時間的に連続した複数の静止画像それぞれをフレームとして動画像を扱い、個々のフレームをＪＰＥＧ２０００のアルゴリズムにより圧縮する。ＪＰＥＧ２０００については例えば非特許文献１に詳しい。
【０００３】
ＪＰＥＧ２０００には、画像全体の圧縮率を下げることなく、画像の任意の領域の圧縮率を下げる（高画質化する）ための選択的領域画質向上機能（ＲＯＩ機能）がある。ＪＰＥＧ２０００の基本仕様では、ウェーブレット係数のエントロピー符号化前に、高画質化処理されるべき領域（ＲＯＩ領域）のウェーブレット係数を上位ビット側へシフトし、その領域外のウェーブレット係数を下位ビット側へシフトする Ｍａｘ Ｓｈｉｆｔ 方式と呼ばれるＲＯＩ処理方式が規定されている。
ただし、ウェーブレット係数の量子化段階で、ＲＯＩ領域の量子化ステップを他領域の量子化ステップより細かくする方法によってもＲＯＩ領域の高画質化が可能である。同様のＲＯＩ領域の高画質化は、エントロピー符号化後の符号化データ生成段階で行うことも、また、生成された符号化データを符号状態のままで加工し再構成することにより行うこともできる。
【０００４】
このようなＲＯＩ処理の利用技術に関する公知文献は多いが、例えば特許文献１には、動画像の各フレーム上でＲＯＩ領域を選択しＭａｘ Ｓｈｉｆｔ方式でＲＯＩ処理を行う動画像符号化装置の例が記載されている。特許文献２には、ＥＶＦ（電子ビューファインダ）画面にガイダンス枠を表示させ、ガイダンス枠内領域をＲＯＩ領域として処理するデジタルカメラの例が記載されている。特許文献３には、モニタ画面上でＲＯＩ領域枠の頂点を指定することによりＲＯＩ領域を設定し、それをＲＯＩ処理するビデオカメラの例が記載されている。
【０００５】
【特許文献１】
特開２００１−１１２００４号公報
【特許文献２】
特開２００１−２３０９４７号公報
【特許文献１】
特開２００２−６４７９０号公報
【非特許文献１】
野水泰之、「次世代画像符号化方式ＪＰＥＧ２０００」、
株式会社トリケップス、２００１年２月１３日
【０００６】
【発明が解決しようとする課題】
動画像（本明細書においては、一般的な動画像のフレーム周期より長い間隔で連続撮影された静止画像の系列を含む）に対してＲＯＩ処理を適用する場合、一番の課題は、各フレームにおいて適切なＲＯＩ領域をいかに設定するかである。
しかし、特許文献１にはＲＯＩ領域の具体的な設定方法が記載されていない。特許文献２に記載されているＲＯＩ領域設定方法は、注目被写体が画像内で移動するような動画像に対応することは困難である。特許文献３に記載されているガイダンス枠を利用する方法は、ガイダンス枠に注目する被写体が入るように撮影する必要があるため、フレーミングの自由度がなく、また、カメラのパンやチルトにより注目すべき被写体がＲＯＩ領域から逸脱する不都合がある。
【０００７】
本発明は、以上の点に鑑み、動画像における注目する被写体の動きに合わせて適切なＲＯＩ領域を自動的に設定するＲＯＩ領域制御方法及び画像処理装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】
前記目的を達成するため、本発明により提供される動画像を処理する画像処理装置は、請求項１に記載されるように、動画像のＲＯＩ領域を、任意のフレームにおいて初期設定する手段と、動画像の前記任意のフレーム以後のフレームにおいて、前記初期設定されたＲＯＩ領域の特徴的画像を識別する初期処理手段と、動画像の前記初期処理手段により特徴的画像が識別されたフレームの後のフレームにおいて、前記初期処理手段で識別された特徴的画像の探索を行い、探索した特徴的画像に追従させてＲＯＩ領域を移動させるＲＯＩ領域設定処理手段とを有することを特徴とする。
【０００９】
本発明の画像処理装置のもう１つの特徴は、請求項２に記載されるように、請求項１に記載の構成において、前記ＲＯＩ領域設定処理手段は、各フレームで探索した特徴的画像の特徴量を、次フレームで前記初期処理手段により識別された特徴的画像の特徴量として用いることにある。
【００１０】
本発明の画像処理装置のもう１つの特徴は、請求項３に記載されるように、動画像のＲＯＩ領域を、任意のフレームにおいて初期設定する手段と、動画像の前記任意のフレーム以後のフレームにおいて、前記初期設定されたＲＯＩ領域の画像を保存する初期処理手段と、動画像の前記初期処理手段により画像が保存されたフレームの後のフレームにおいて、前記初期処理手段により保存された画像との差分の小さい画像領域の探索を行い、探索した画像領域に追従させてＲＯＩ領域を移動させるＲＯＩ領域設定処理手段とを有することにある。
【００１１】
本発明の画像処理装置のもう１つの特徴は、請求項４に記載されるように、請求項３に記載の構成において、前記ＲＯＩ領域設定処理手段は、各フレームで探索した画像領域の画像を、次フレームで前記初期処理手段により保存された画像として用いることにある。
【００１２】
本発明の画像処理装置のもう１つの特徴は、請求項５に記載されるように、動画像のＲＯＩ領域を、任意のフレームにおいて初期設定する手段と、動画像の前記任意のフレームの後のフレームにおいて、前フレームのＲＯＩ領域の画像との差分の小さい画像領域の探索を行い、探索した画像領域に追従させてＲＯＩ領域を移動させるＲＯＩ領域設定処理手段とを有することにある。
【００１３】
本発明の画像処理装置のもう１つの特徴は、請求項６に記載されるように、動画像のフレーム間の比較により動き領域を探索し、探索した動き領域をＲＯＩ領域として設定するＲＯＩ領域設定処理手段を有することにある。
【００１４】
本発明の画像処理装置のもう１つの特徴は、請求項７に記載されるように、請求項６に記載の構成において、前記ＲＯＩ領域設定処理手段は、ＪＰＥＧ２０００の圧縮アルゴリズムのコードブロックを最小領域単位としてフレーム間の差分を評価することにある。
【００１５】
本発明の画像処理装置のもう１つの特徴は、請求項８に記載されるように、請求項１乃至７のいずれか１項に記載の構成において、前記ＲＯＩ領域設定処理手段における探索が失敗したフレームでＲＯＩ領域が無効とされることにある。
【００１６】
本発明の画像処理装置のもう１つの特徴は、請求項９に記載されるように、請求項１乃至８のいずれか１項に記載の構成に加え、動画像を表示する表示手段を有し、ＲＯＩ領域が前記表示手段により動画像とオーバーラップさせて表示されることにある。
【００１７】
本発明の画像処理装置のもう１つの特徴は、請求項１０に記載されるように、請求項９に記載の構成において、前記ＲＯＩ領域設定処理手段における探索の失敗が前記表示手段により警告されることにある。
【００１８】
本発明の画像処理装置のもう１つの特徴は、請求項１１に記載されるように、請求項１乃至１０のいずれか１項に記載の構成に加え、動画像を撮影する撮像手段を有し、この撮像手段により撮影された動画像を処理することにある。
【００１９】
また、本発明によれば、動画像のＲＯＩ領域を制御するＲＯＩ領域制御方法が提供されるが、その特徴は、請求項１２に記載されるように、動画像の任意のフレームにおいて、ＲＯＩ領域を初期設定する初期設定処理と、動画像の前記任意のフレーム以後のフレームにおいて、前記初期設定されたＲＯＩ領域の特徴的画像を識別する初期処理と、動画像の前記初期処理により特徴的画像が識別されたフレームより後のフレームにおいて、前記初期処理で識別された特徴的画像の探索を行い、探索した特徴的画像に追従させてＲＯＩ領域を移動させるＲＯＩ領域設定処理とを有することにある。
【００２０】
本発明のＲＯＩ領域制御方法のもう１つの特徴は、請求項１３に記載されるように、請求項１２に記載の構成において、前記ＲＯＩ領域設定処理は、各フレームで探索した特徴的画像の特徴量を、次フレームで前記初期処理により識別された特徴的画像の特徴量として用いることにある。
【００２１】
本発明のＲＯＩ領域制御方法のもう１つの特徴は、請求項１４に記載されるように、動画像の任意のフレームにおいて、ＲＯＩ領域を初期設定する初期設定処理と、動画像の前記任意のフレーム以後のフレームにおいて、前記初期設定されたＲＯＩ領域の画像を保存する初期処理と、動画像の前記初期処理により画像が保存されたフレームの後のフレームにおいて、前記初期処理により保存された画像との差分の小さい画像領域の探索を行い、探索した画像領域に追従させてＲＯＩ領域を移動させるＲＯＩ領域設定処理とを有することにある。
【００２２】
本発明のＲＯＩ制御方法のもう１つの特徴は、請求項１５に記載されるように、請求項１４に記載の構成において、前記ＲＯＩ領域設定処理は、各フレームで探索した画像領域の画像を、次フレームで前記初期処理により保存された画像として用いることにある。
【００２３】
本発明のＲＯＩ領域制御方法のもう１つの特徴は、請求項１６に記載されるように、動画像の任意のフレームにおいて、ＲＯＩ領域を初期設定する初期設定処理と、動画像の前記任意のフレームの後のフレームにおいて、前フレームのＲＯＩ領域の画像との差分の小さい画像領域の探索を行い、探索した画像領域に追従させてＲＯＩ領域を移動させるＲＯＩ領域設定処理とを有することにある。
【００２４】
本発明のＲＯＩ領域制御方法のもう１つの特徴は、請求項１７に記載されるように、動画像の各フレームにおいて、前フレームとの比較により動き領域を探索し、探索した動き領域をＲＯＩ領域として設定するＲＯＩ領域設定処理を有することにある。
【００２５】
本発明のＲＯＩ領域制御方法のもう１つの特徴は、請求項１８に記載されるように、請求項１２乃至１７の構成において、前記ＲＯＩ領域設定処理における探索が失敗したフレームでは、ＲＯＩ領域を無効にすることにある。
【００２６】
【発明の実施の形態】
以下、添付図面を参照して、本発明の実施の形態を説明する。
【００２７】
図１は、本発明の実施の形態を説明するためのブロック図である。この実施の形態に係る画像処理装置は、例えば電子カメラ装置であり、動画像を撮影する撮像部１００を有する。ただし、装置自体では撮像部１００を備えず、外部の撮像装置から有線又は無線の伝送路もしくはネットワークを通じて動画像を取り込む形態の画像処理装置も、当然に本発明に包含される。
【００２８】
撮像部１００により撮影された動画像は、フレーム記憶部１０８に一時的に記憶される。この動画像は圧縮処理部１０２で圧縮され、その符号化データは画像記憶部１０４に記憶され、あるいは外部インターフェース部１０６を介して外部機器へ送られる。
【００２９】
この実施の形態においては、圧縮処理部１０２はＪＰＥＧ２０００の圧縮アルゴリズムにより動画像の各フレームを圧縮するもので、基本仕様のＭａｘ ｓｈｉｆｔ方式によるＲＯＩ処理のほか、量子化段階でのＲＯＩ処理、符号化データ形成段階でのＲＯＩ処理、符号化データの再構成によるＲＯＩ処理が可能である。なお、ＪＰＥＧ２０００は公知であるので、そのアルゴリズムの詳細については説明を割愛する。
【００３０】
操作部１１０は、ユーザが撮影に関連した操作やＲＯＩ領域の初期設定に関連した操作を行うための手段である。表示部１１２は、撮影された動画像や撮影準備中のモニタリング画像の表示、ＲＯＩ領域の初期設定などに利用される表示手段である。画像処理部１１４は画像の特徴抽出やフレーム間差分抽出などの処理を行う手段であり、制御部１１６との協働により初期処理手段１１８及びＲＯＩ領域設定処理手段１２０として機能する。制御部１１６は前記各部の動作を制御するとともに初期設定処理手段１２２としても機能する。作業用記憶部１２４は、制御部１１６、画像処理部１１４、圧縮処理部１０２などの作業用記憶域を提供するＲＡＭなどである。
【００３１】
画像処理部１１４と制御部１１６は、例えば、共通又は別個のマイクロコンピュータもしくはデジタル信号プロセッサからなり、不図示のＲＯＭなどに記憶されたプログラムに従って動作する。
【００３２】
この画像処理装置は、ＲＯＩ領域制御に関連して様々なモードを選ぶことができる。以下、個々のモード毎にＲＯＩ領域制御に関連した動作を説明する。
【００３３】
《モードＡ１》 このモードにおけるＲＯＩ領域の初期設定処理及び初期処理を説明するためのフローチャートを図２に、ＲＯＩ領域設定処理を説明するためのフローチャートを図３にそれぞれ示す。
【００３４】
まず図２を参照して説明する。ユーザによりＲＯＩ領域枠の指定を行う（ステップＳ１００）。具体的には、撮影された動画像（又はモニタリング画像）が表示部１１２の画面に表示されている状態で、操作部１１０を操作し、画面上に例えば図９（ａ）に示すような２つの頂点Ｐ１，Ｐ２を指定することにより、注目する被写体を囲むＲＯＩ領域枠Ｆを指定する。あるいは、制御部１１６の制御により表示部１１２の画面に例えば図９（ｂ）に示すような何種類かの枠Ｆ１，Ｆ２，Ｆ３を表示させ、ユーザがその１つをＲＯＩ領域枠として指定する。なお、デフォルトの１種類のＲＯＩ領域枠を自動的に指定する態様も含まれる。
【００３５】
このようにしてＲＯＩ領域枠を指定し、その完了指示を動画像の任意のフレームで操作部１１０より入力すると、制御部１１６は、指定されたＲＯＩ領域枠で囲まれた範囲を示すＲＯＩ領域情報（例えば枠の中心位置と縦横のサイズ、あるいは頂点座標など）を作業用記憶部１２４のＲＯＩ領域情報記憶域に書き込む（ステップＳ１０２）。このステップＳ１０２が、初期設定処理手段１２２によるＲＯＩ領域の初期設定処理である。
【００３６】
次のステップＳ１０４，Ｓ１０６が初期処理手段１１８による初期処理のステップである。初期処理手段１１８は、まず、フレーム記憶部１０８に記憶されているフレーム（ＲＯＩ領域が初期設定されたフレーム又はその後のフレーム）を参照し、ＲＯＩ領域情報記憶域に記憶されているＲＯＩ領域情報で示された領域（初期設定されたＲＯＩ領域）の内部の特徴的な画像の識別を行う（ステップＳ１０４）。特徴的な画像とは、それ以外の部分と識別が可能な形状、コントラスト、明るさ、色、パターンなどの特徴を持つ画像領域である。そして、識別した画像（以下、識別画像）より抽出された特徴量（例えば、主要被写体が人間であれば顔、手足、目鼻口の輪郭、位置関係など）を、作業用記憶部１２４の識別画像記憶域に書き込む（ステップＳ１０６）。
【００３７】
次に図３のフローチャートを参照する。ステップＳ１１０，Ｓ１１２，Ｓ１１４は、ＲＯＩ領域設定処理手段１２０によるＲＯＩ領域設定処理のステップである。ステップＳ１１６は制御部１１６による処理ステップである。図３に示す処理は、初期処理手段１１８により初期処理が行われたフレームの次フレーム以降の毎フレーム又は飛び飛びの各フレームで実行される。
【００３８】
ＲＯＩ領域設定処理手段１２０は、フレーム記憶部１０８上のフレームを参照し、識別画像記憶域に記憶されている識別画像の特徴量と一致するとみなし得る特徴量を持つ画像（便宜、識別画像と記す）を探索する（ステップＳ１１０）。
この画像探索は、直前のフレームで設定されたＲＯＩ領域（初期処理直後のフレームなら初期設定されたＲＯＩ領域）を起点として行うのが効率的である。このような識別画像が見つかったならば（ステップＳ１１２，Ｙｅｓ）、ＲＯＩ領域設定処理手段１１８は、識別画像の重心を計算し、その重心にＲＯＩ領域の中心を移動し、移動後のＲＯＩ領域の範囲を示すＲＯＩ領域情報でＲＯＩ領域情報記憶域を書き換えることにより、新しいＲＯＩ領域を設定する（ステップＳ１１４）。かくして、識別画像の動きにＲＯＩ領域が追従する。
【００３９】
圧縮処理部１０２においては、フレーム記憶部１０８上の各フレームの圧縮処理を実行するが、ＲＯＩ領域情報記憶域に書き込まれたＲＯＩ領域情報で示される領域に対してＲＯＩ処理を行う。このＲＯＩ処理は、前述の Ｍａｘ ｓｈｉｆｔ 方式又は量子化ステップ制御により行われるか、ＲＯＩ領域を意識せずにエントロピー符号化まで実行し、符号化データを生成する段階で行われ、あるいは、符号化データを生成後の符号加工により行われる。
【００４０】
識別画像が見つからないときには（ステップＳ１１２，Ｎｏ）、制御部１１６は、現在設定されているＲＯＩ領域を無効として圧縮処理部１０２でのＲＯＩ処理を抑止する（ステップＳ１１６）。また、ＲＯＩ領域の設定状況をユーザが確認できるようにするため、制御部１１６の制御により、ＲＯＩ領域が表示部１１２の画面に動画像とオーバーラップ表示されるが、ＲＯＩ領域が無効とされた時には、それを警告するため、画面からＲＯＩ領域が消されたり、何らかの警告マークなどが表示される（ステップＳ１１６）。
【００４１】
注目している被写体自体の動きや、ユーザのパン／チルト操作により、注目している被写体が撮影視野から外れた場合には識別画像の探索に失敗する。このような状態で前フレームで設定されたＲＯＩ領域に対してＲＯＩ処理を施しても無意味である。また、各フレームの符号量を略一定にするように圧縮処理が行われる場合には、ＲＯＩ領域をＲＯＩ処理する分だけ、それ以外の領域の圧縮率を上げることになるため、無意味なＲＯＩ処理によって逆に全体の画質が低下することにもなる。このような不都合を避けるため、識別画像の探索に失敗したフレームではＲＯＩ領域を無効にするのが好ましい。また、そのような状態であることをユーザに認知させるため、警告を発するのが好ましい。
【００４２】
なお、その被写体が人物の場合に、向きや姿勢が大きく変化し識別画像の特徴量の変動が大きいときにも同様の探索失敗が起きる可能性がある。被写体として人物の顔を重視する場合には、顔画像の集合から頭部の三次元モデルを作成し、そのモデルを回転させて画像とのマッチングをとることにより顔を認識するような手法（「映像検索のための顔画像認識技術」、平成１４年度ＮＨＫ技術研究所公開講演・研究発表会予稿集、ｐｐ．４０−４５）を、識別画像の抽出と探索に利用することもできる。この手法は人の顔以外の被写体に関しても応用可能である。このような手法によれば、注目する人の顔などの被写体の向きが変化しても識別画像の探索の失敗は起こりにくくなる。
【００４３】
《モードＡ２》 ＲＯＩ領域の初期設定処理と初期処理はモードＡ１と同様である（図２参照）。ＲＯＩ領域設定処理の内容がモードＡ１と一部異なる。
【００４４】
図４は、このモードにおけるＲＯＩ領域設定処理を説明するためのフローチャートである。このフローチャートにおいて、ステップＳ１１０〜Ｓ１１６は図３中の対応ステップと同一の処理ステップであり、ステップＳ１１８が本モードで追加された処理ステップである。
【００４５】
このステップＳ１１８において、ＲＯＩ領域設定処理手段１２０は、現フレームで探索した識別画像より抽出した特徴量で識別画像記憶域を書き換える。この書き換え後の特徴量が、次フレームでの識別画像の探索に用いられる。
【００４６】
このように、各フレームで探索した識別画像の特徴量により識別画像の特徴量を順次更新すると、モードＡ１で説明したような注目被写体の向きや撮影環境などの変化による識別画像の特徴量変動があっても、識別画像の探索の失敗が起きにくくなる。
【００４７】
《モードＢ１》 このモードにおけるＲＯＩ領域の初期設定処理及び初期処理を説明するためのフローチャートを図５に、ＲＯＩ領域設定処理を説明するためのフローチャートを図６にそれぞれ示す。
【００４８】
まず図５を参照して説明する。ユーザによりＲＯＩ領域枠の指定を行う（ステップＳ２００）。この指定方法は図２のステップ１００と同様でよい。
【００４９】
ＲＯＩ領域枠を指定し、その完了通知が動画像の任意のフレームで操作部１１０より入力すると、制御部１１６は、指定されたＲＯＩ領域枠で囲まれた範囲を示すＲＯＩ領域情報を作業用記憶部１２４のＲＯＩ領域情報記憶域に書き込む（ステップＳ２０２）。このステップＳ２０２が、初期設定処理手段１２２によるＲＯＩ領域の初期設定処理である。
【００５０】
次のステップＳ２０４が初期処理手段１１８による初期処理のステップである。初期処理手段１１８は、フレーム記憶部１０８に記憶されているフレーム（ＲＯＩ領域が初期設定されたフレーム又はその後のフレーム）より、ＲＯＩ領域情報記憶域に記憶されているＲＯＩ領域情報で示された領域（初期設定されたＲＯＩ領域）の画像を単純に切り出し、それを参照画像として作業用記憶部１２４の参照画像記憶域に書き込む。
【００５１】
次に図６のフローチャートを参照する。ステップＳ２１０，Ｓ２１２，Ｓ２１４は、ＲＯＩ領域設定処理手段１２０によるＲＯＩ領域設定処理のステップである。ステップＳ２１６は制御部１１６による処理ステップである。図６に示す処理は、初期処理手段１１８により初期処理が行われたフレームの次フレーム以降の毎フレーム又は飛び飛びの各フレームで実行される。
【００５２】
ＲＯＩ領域設定処理手段１２０は、フレーム記憶部１０８上のフレームを参照し、参照画像記憶域に記憶されている参照画像との差分が所定の閾値より小さい画像領域を探索する（ステップＳ２１０）。この画像探索は、直前のフレームで設定されたＲＯＩ領域（初期処理直後のフレームなら初期設定されたＲＯＩ領域）を起点として行うのが効率的である。このような画像領域が見つかったならば（ステップＳ２１２，Ｙｅｓ）、ＲＯＩ領域設定処理手段１１８は、その画像領域の重心を計算し、その重心にＲＯＩ領域の中心を移動し、移動後のＲＯＩ領域の範囲を示すＲＯＩ領域情報でＲＯＩ領域情報記憶域を書き換えることにより、新しいＲＯＩ領域を設定する（ステップＳ２１４）。
【００５３】
参照画像との差分の小さい画像領域が見つからないときには（ステップＳ２１２，Ｎｏ）、制御部１１６は、現在設定されているＲＯＩ領域を無効として圧縮処理部１０２でのＲＯＩ処理を抑止し、また表示部１１２の画面に表示されているＲＯＩ領域を消したり、何らかの警告マークなどを表示する（ステップＳ２１６）。
【００５４】
ここまでの説明から理解されるように、このモードでは、初期設定されたＲＯＩ領域の画像を参照画像として用い、それとの差分の小さい画像領域を探索しＲＯＩ領域を追従移動させるため、モードＡ１，Ａ２におけるような識別画像の抽出と探索のための特徴量抽出・照合の処理が不要であるため、処理が簡易になる利点がある。その反面、モードＡ１，Ａ２に比べると、注目した被写体、背景、明るさなどの撮影環境の変化による影響を受けやすくなる可能性はある。
【００５５】
《モードＢ２》 ＲＯＩ領域の初期設定処理と初期処理はモードＢ１と同様である（図５参照）。ＲＯＩ領域設定処理の内容がモードＢ１と一部異なる。
【００５６】
図７は、このモードにおけるＲＯＩ領域設定処理のフローチャートである。このフローチャートにおいて、ステップＳ２１０〜Ｓ２１６は図６中の対応ステップと同一の処理ステップであり、ステップＳ２１８が本モードで追加された処理ステップである。
【００５７】
このステップＳ２１８において、ＲＯＩ領域設定処理手段１２０は、現フレームで探索した画像領域の画像を改めて参照画像とし、参照画像記憶域を書き換える。この書き換え後の参照画像との差分の小さい画像領域が次フレームで探索される。このように、各フレームで探索した画像領域の画像を次フレームの参照画像として利用すると、被写体、背景、撮影環境などが変化しても、注目した被写体にＲＯＩ領域を追従させることができる。その反面、誤って不適切な被写体にＲＯＩ領域を追従させてしまう危険が増加する可能性はある。
【００５８】
《モードＢ３》 さらに処理が簡略なモードである。処理を図５と図６を援用して説明する。
【００５９】
図５に示すように、ＲＯＩ領域枠を指定し（ステップＳ２００）、その確定入力に応じてＲＯＩ領域の初期設定処理が行われる（ステップＳ２０２）。このモードでは、初期処理手段１１８による初期処理（ステップＳ２０４）は行われない。
【００６０】
ＲＯＩ領域の初期設定処理がなされたフレーム以降のフレームでのＲＯＩ領域設定処理は図６に示すとおりであるが、ステップＳ２１０の処理が異なる。すなわち、ＲＯＩ領域情報記憶域に記憶されているＲＯＩ領域情報で示されるＲＯＩ領域の直前フレーム上の画像を参照画像として、それとの差分の小さい画像領域を現フレームで探索する。これ以降の処理はモードＢ１と同様である。
【００６１】
このモードでは、初期処理を行わないが、各フレームで探索した画像領域の画像を次フレームの参照画像として利用するので、モードＢ２と同様、被写体、背景、撮影環境などが変化しても、注目した被写体にＲＯＩ領域を追従させることができる。
【００６２】
《モードＣ》 人の出入りなどの監視のために、比較的高速のシャッタースピードで間欠撮影する定点カメラのような画像処理装置に好適なモードであり、各フレーム中の動きのある領域を自動的にＲＯＩ領域として設定する。
【００６３】
このモードでは、初期設定処理手段１２２による初期設定処理も初期処理手段１１８による初期処理も行われない。動画像の毎フレーム又は飛び飛びのフレームで、ＲＯＩ領域設定手段１２０により図８に示すようなＲＯＩ領域設定処理が実行される。
【００６４】
ＲＯＩ領域処理手段１２０は、フレーム記憶部１０８上の現フレームと前フレームを比較して差分情報を取得し、この差分情報から動き領域を探索する（ステップＳ３１０）。動き領域が見つかったならば（ステップＳ３１２，Ｙｅｓ）、その動き領域の範囲を示す情報をＲＯＩ領域情報記憶域に書き込む（ステップＳ３１４）。つまり、動画中の動きのある部分をＲＯＩ領域として設定する。
【００６５】
動き領域が見つからないときには（ステップＳ３１２，Ｎｏ）、制御部１１６は、現在設定されているＲＯＩ領域を無効として圧縮処理部１０２でのＲＯＩ処理を抑止し、また表示部１１２の画面に表示されているＲＯＩ領域を消したり、何らかの警告マークなどを表示する（ステップＳ３１６）。
【００６６】
人の出入りなどを監視する定点カメラなどでは、人のような動きのある被写体の領域が高画質であれば、それ以外の領域は画質をかなり落としても支障はないため、このモードは極めて効果的である。
【００６７】
動き領域の探索の際に差分を評価する最小領域単位、換言すれば、動き領域探索の最小領域単位は、ＪＰＥＧ２０００の圧縮アルゴリズムにおけるコードブロックとされる。ＪＰＥＧ２０００では、画像は複数の領域に分割され、各分割領域が依存関係にない状態で圧縮されるが、その最小の分割領域がコードブロックである。そして、符号化データを構成するパケットは領域、画質、コンポーネント、解像度の各インデックスを持ち、領域、画質、コンポーネント、解像度の各パラメータで符号の取捨選択が可能である。したがって、最小の分割領域であるコードブロックを最小領域単位に選ぶと、符号化データの生成段階でのＲＯＩ処理あるいは符号化データの符号加工によるＲＯＩ処理を行う上で好都合である。
ただし、コードブロックより１段階大きい分割領域であるプリシンクトを最小領域単位に選ぶことも可能である。
【００６８】
以上、圧縮アルゴリズムとしてＪＰＥＧ２０００を想定して説明したが、これ以外の圧縮方式を用いる画像処理装置においても本発明を適用し得ることは明らかである。また、マイクロコンピュータやデジタル信号プロセッサ、パソコンなどの汎用コンピュータ上で、フローチャートを参照して説明した処理を実行するためのプログラム、換言すれば、初期設定手段、初期処理手段、ＲＯＩ領域設定処理手段の機能を実現するためのプログラムも本発明に包含される。そのようなプログラムが記録された各種記録（記憶）媒体も本発明に包含される。
【００６９】
【発明の効果】
以上の説明から明らかなように、（１）請求項１乃至１８に記載の発明によれば、注目した被写体そのものが移動したり、パン操作やチルト操作により被写体が画像内で移動しても、その動きに追従させて適切なＲＯＩ領域を自動的に設定することができ、また、ＲＯＩ領域の設定のためにフレーミングの自由度が制約されることもない。（２）請求項２、１３に記載の発明によれば、請求項１、１２に記載の発明に比べ、注目被写体の向きや撮影環境などの変化による影響を軽減することができる。（３）請求項３、１４に記載の発明によれば、請求項２、１３に記載の発明に比べ処理を簡易化できる。（４）請求項４、１５に記載の発明によれば、請求項３、１４に記載の発明に比べ、注目被写体の向きや撮影環境などの変化による影響を軽減することができる。請求項５、１６に記載の発明によれば、初期処理が不要で処理が極めて単純になる。（６）請求項６、１７に記載の発明によれば、人手による設定操作などを全く必要とせずに、移動する被写体の領域を自動的にＲＯＩ領域として設定することができるため、人の出入りなどを監視する定点カメラなどで撮影された動画像を処理する場合に極めて効果的である。（７）請求項７に記載の発明によれば、動画像の符号化データの生成段階でのＲＯＩ処理あるいは符号化データの符号加工によるＲＯＩ処理に都合の良いＲＯＩ領域を設定できる。（８）請求項８、１８に記載の発明よれば、不適切なＲＯＩ領域の設定による悪影響を回避できる。（９）請求項９に記載の発明によれば、設定されたＲＯＩ領域の適否確認が容易になる。（１０）請求項１０に記載の発明によれば、ＲＯＩ領域の自動設定が不可能な状態を容易に認知可能になる、等々の効果を得られる。
【図面の簡単な説明】
【図１】本発明の実施の形態を説明するためのブロック図である。
【図２】モードＡ１におけるＲＯＩ領域初期設定処理及び初期処理を説明するためのフローチャートである。
【図３】モードＡ１におけるＲＯＩ領域設定処理を説明するためのフローチャートである。
【図４】モードＡ２におけるＲＯＩ領域設定処理を説明するためのフローチャートである。
【図５】モードＢ１におけるＲＯＩ領域初期設定処理及び初期処理を説明するためのフローチャートである。
【図６】モードＢ１におけるＲＯＩ領域設定処理を説明するためのフローチャートである。
【図７】モードＢ２におけるＲＯＩ領域設定処理を説明するためのフローチャートである。
【図８】モードＣにおけるＲＯＩ領域設定処理を説明するためのフローチャートである。
【図９】ＲＯＩ領域枠の指定方法を説明するための図である。
【符号の説明】
１００ 撮像部
１０２ 圧縮処理部
１０８ フレーム記憶部
１１０ 操作部
１１２ 表示部
１１４ 画像処理部
１１６ 制御部
１１８ 初期処理手段
１２０ ＲＯＩ領域設定処理手段
１２２ 初期設定処理手段

Claims (20)

1. 動画像を処理する画像処理装置であって、
   動画像の高画質化処理されるべき領域（以下ＲＯＩ領域）を、任意のフレームにおいて初期設定する手段と、
   動画像の前記任意のフレーム以後のフレームにおいて、前記初期設定されたＲＯＩ領域の特徴的画像を識別する初期処理手段と、
   動画像の前記初期処理手段により特徴的画像が識別されたフレームの後のフレームにおいて、前記初期処理手段で識別された特徴的画像の探索を行い、探索した特徴的画像に追従させてＲＯＩ領域を移動させるＲＯＩ領域設定処理手段とを有することを特徴とする画像処理装置。
2. 前記ＲＯＩ領域設定処理手段は、各フレームで探索した特徴的画像の特徴量を、次フレームで前記初期処理手段により識別された特徴的画像の特徴量として用いることを特徴とする請求項１に記載の画像処理装置。
3. 動画像を処理する画像処理装置であって、
   動画像のＲＯＩ領域を、任意のフレームにおいて初期設定する手段と、
   動画像の前記任意のフレーム以後のフレームにおいて、前記初期設定されたＲＯＩ領域の画像を保存する初期処理手段と、
   動画像の前記初期処理手段により画像が保存されたフレームの後のフレームにおいて、前記初期処理手段により保存された画像との差分の小さい画像領域の探索を行い、探索した画像領域に追従させてＲＯＩ領域を移動させるＲＯＩ領域設定処理手段とを有することを特徴とする画像処理装置。
4. 前記ＲＯＩ領域設定処理手段において、各フレームで探索した画像領域の画像を、次フレームで前記初期処理手段により保存された画像として用いることを特徴とする請求項３に記載の画像処理装置。
5. 動画像を処理する画像処理装置であって、
   動画像のＲＯＩ領域を任意のフレームにおいて初期設定する手段と、
   動画像の前記任意のフレームの後のフレームにおいて、前フレームのＲＯＩ領域の画像との差分の小さい画像領域の探索を行い、探索した画像領域に追従させてＲＯＩ領域を移動させるＲＯＩ領域設定処理手段とを有することを特徴とする画像処理装置。
6. 動画像を処理する画像処理装置であって、
   動画像のフレーム間の比較により動き領域を探索し、探索した動き領域をＲＯＩ領域として設定するＲＯＩ領域設定処理手段を有することを特徴する画像処理装置。
7. 前記ＲＯＩ領域設定処理手段は、ＪＰＥＧ２０００の圧縮アルゴリズムのコードブロックを最小領域単位としてフレーム間の差分を評価することを特徴とする請求項６に記載の画像処理装置。
8. 前記ＲＯＩ領域設定処理手段における探索が失敗したフレームではＲＯＩ領域は無効とされることを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 動画像を表示する表示手段を有し、ＲＯＩ領域が前記表示手段により動画像とオーバーラップさせて表示されることを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 前記ＲＯＩ領域設定処理手段における探索の失敗が前記表示手段により警告されることを特徴とする請求項９項に記載の画像処理装置。
11. 動画像を撮影する撮像手段を有し、この撮像手段により撮影された動画像を処理することを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
12. 動画像のＲＯＩ領域の制御方法であって、
    動画像の任意のフレームにおいてＲＯＩ領域を初期設定する初期設定処理と、動画像の前記任意のフレーム以後のフレームにおいて、前記初期設定されたＲＯＩ領域の特徴的画像を識別する初期処理と、
    動画像の前記初期処理により特徴的画像が識別されたフレームより後のフレームにおいて、前記初期処理で識別された特徴的画像の探索を行い、探索した特徴的画像に追従させてＲＯＩ領域を移動させるＲＯＩ領域設定処理とを有することを特徴とするＲＯＩ領域制御方法。
13. 前記ＲＯＩ領域設定処理において、各フレームで探索した特徴的画像の特徴量を、次フレームで前記初期処理により識別された特徴的画像の特徴量として用いることを特徴とする請求項１２に記載のＲＯＩ領域制御方法。
14. 動画像のＲＯＩ領域の制御方法であって、
    動画像の任意のフレームにおいて、高画質化処理されるべき領域（以下ＲＯＩ領域）を初期設定する初期設定処理と、
    動画像の前記任意のフレーム以後のフレームにおいて、前記初期設定されたＲＯＩ領域の画像を保存する初期処理と、
    動画像の前記初期処理により画像が保存されたフレームの後のフレームにおいて、前記初期処理により保存された画像との差分の小さい画像領域の探索を行い、探索した画像領域に追従させてＲＯＩ領域を移動させるＲＯＩ領域設定処理とを有することを特徴とするＲＯＩ領域制御方法。
15. 前記ＲＯＩ領域設定処理において、各フレームで探索した画像領域の画像を、次フレームで前記初期処理により保存された画像として用いることを特徴とする請求項１４に記載のＲＯＩ領域制御方法。
16. 動画像のＲＯＩ領域の制御方法であって、
    動画像の任意のフレームにおいて、高画質化処理されるべき領域（以下ＲＯＩ領域）を初期設定する初期設定処理と、
    動画像の前記任意のフレームの後のフレームにおいて、前フレームのＲＯＩ領域の画像との差分の小さい画像領域の探索を行い、探索した画像領域に追従させてＲＯＩ領域を移動させるＲＯＩ領域設定処理とを有することを特徴とするＲＯＩ領域制御方法。
17. 動画像のＲＯＩ領域の制御方法であって、
    動画像の各フレームにおいて、前フレームとの比較により動き領域を探索し、探索した動き領域をＲＯＩ領域として設定するＲＯＩ領域設定処理を有することを特徴とするＲＯＩ領域制御方法。
18. 前記ＲＯＩ領域設定処理における探索が失敗したフレームでは、ＲＯＩ領域を無効にすることを特徴とする請求項１２乃至１７のいずれか１項に記載のＲＯＩ領域制御方法。
19. 請求項１２乃至１８のいずれか１項に記載の処理をコンピュータに実行させるプログラム。
20. 請求項１９に記載のプログラムが記録されたコンピュータが読み取り可能な記録媒体。

Images