JP2009522591A

JP2009522591A - 関心領域を追跡することによってビデオカメラの自動焦点を制御するための方法および装置

Info

Publication number: JP2009522591A
Application number: JP2008547998A
Authority: JP
Inventors: フェミチェビル; モハメドカムスベンハジマイルド; アサドイスラム
Original assignee: Nokia Oyj
Current assignee: Nokia Oyj
Priority date: 2005-12-30
Filing date: 2005-12-30
Publication date: 2009-06-11
Also published as: US8089515B2; WO2007077283A1; EP1966648A1; EP1966648A4; US20100045800A1

Abstract

本発明は、ビデオ画像処理能力を装備する電子装置（10）に関し、装置は、関心領域（region-of-interest; ROI）（T、T1-T5）を含むイメージ領域から、画像フレーム（I、FRC、FRP、FR、VFV1-VFV3、FR1-FR3、FR1'-FR3'）を生成するように構成されるカメラユニット（11）と、ROIの焦点をカメラユニット（11）に合わせるための、カメラユニットに接続して構成される調整可能な光学系（14）と、画像フレームからROI（T、T1-T5）を識別するための識別ユニット（CPU、15）と、ビデオ画像処理中に、画像フレームからROIを追跡するための追跡ユニット（CPU、16）と、光学系を調整するために、追跡ユニットによってもたらされた追跡結果に基づいてROIを分析するように構成される自動焦点ユニット（12）と、を備える。本装置は、いかなる推定量も使用せずに、生成された画像フレームにおいて、ROIの空間位置を決定するように構成される。
【選択図】図１ｂ

Description

本発明は、ビデオ画像処理能力を装備する電子装置に関し、装置は、
関心領域（region-of-interest; ROI）を含むイメージ領域から、画像フレームを生成するように構成されるカメラユニットと、
カメラユニットの焦点をROIに合わせるために、カメラユニットにされる調整可能な光学系と、
画像フレームからROIを識別するための識別ユニットと、
ビデオ画像処理中に、画像フレームからROIを追跡するための追跡ユニットと、
光学系を調整するために、追跡ユニットによってもたらされた追跡結果に基づいて、ROIを分析するように構成される自動焦点ユニットと、
を備える。

さらに、本発明は、方法および対応するプログラムにも関する。

図1において、デジタル撮像システム10'に関連して構成されるパッシブ式自動焦点システムの一般的アーキテクチャに関する従来技術の例が提示されている。一般的に言うと、自動焦点合わせとは、可能な限り鮮明な被写体Tの画像を得るまでレンズ14が前後に移動する手順である。カメラ10'から被写体までの距離に応じて、レンズ14は、画像センサ11から一定の距離を置いて、鮮明な画像Iを生成する。

より具体的には、装置10'の画像センサ11は、自動焦点ユニット12のために（画像）データIを生成する。自動焦点ユニット12は、そのデータに基づき、レンズ14の位置を調整するモータ13のためにパラメータを計算する。モータ13は、撮影した画像Iのどれがより正確であるかに基づいてレンズ14を調整する。当然ながら、その他のアーキテクチャも可能である。従来技術において、自動焦点に関する2つの主要なアプローチが存在し、1つはアクティブ式自動焦点（active auto-focus; AAF）、もう1つはパッシブ式自動焦点（passive auto-focus; PAF）である。

よりコストのかかるアクティブ式自動焦点において、カメラは、被写体の距離を検出するために、物体（または景色）の方向に信号を発して撮影する。信号は、水中の潜水艦の場合と同じように音波であってもよく、あるいは赤外線波であってもよい。反射波の時間は、距離を計算するために使用される。基本的にこれはドップラー型レーダーの原理に類似している。次に、その距離に基づき、自動焦点ユニットは、レンズを動かす方法およびレンズを動かす程度を焦点モータに伝える。

しかしながら、このAAFアプローチに関し、コストに関する問題以外にいくつかの問題が存在する。赤外線を使用する場合、被写体は、フレームの中央に存在しなくてはならない。中心にいない場合、自動焦点動作は、その他の物体から反射波を受けることによって失敗する。また、例えば、競技場の柵の後ろからユーザが写真を撮る場合、被写体の前の物体から反射ビームが生じる場合もある。景色におけるあらゆる光源となる物体により、カメラは反射波を受けることが難しくなる。

パッシブ式自動焦点（PAF）では、カメラは、画像を分析することによって被写体までの距離を決定する。画像がまず撮影され、センサによって、自動焦点専用として使用され分析される。通常は、自動焦点使用の専用センサでは、画素の数が限られている。従って、画像の一部のみが利用される場合が多い。

PAFで適用される一般的な自動焦点センサは、電荷結合素子（charge-coupled device; CCD）である。この素子は、実際の絵素のコントラストを計算するアルゴリズムに、入力を提供する。CCDは、一般的に、例えば、100または200画素の単一のストリップである。景色からの光はこのストリップに当たり、マイクロプロセッサは各画素からの値を調査する。次に、このデータは、シャープネスを縦横に確認することによって、および／またはそのコントラストを確認することによって分析される。次に、得られた結果は、フィードバックとしてレンズに送信され、シャープネスおよびコントラストを改善するようにこのレンズを調整する。従って、例えば、画像が非常に不鮮明である場合、焦点を調整するためにレンズを前に動かす必要があることが理解される。

ビデオ映像についても同一の技術を使用してもよい。しかしながら、ビデオ撮影の際、記録処理中に、関心物体を追跡し、またそれに焦点を合わせる必要があるいくつかの事例が存在する。ビデオ映像において、関心物体は動いている場合が多い。その動きは、撮影される景色と同一平面、あるいはカメラ位置に対し後方または前方に発生する場合がある。ビデオ撮影中に物体に対する焦点をいかに維持するかが課題となる。

様々な文献において、物体識別およびROI追跡処理初期化のために異なる技術が使用されている。このような問題は、ビデオシーケンスにおける関心領域（region-of-interest; ROI）追跡の初期化など、多くの用途において発生する。人間の顔を対象とする具体的事例において、前景を検出するために皮膚色情報が使用される。アプローチによっては、特徴ベースの高精度化を適用し、類似した色特徴を有する身体のその他の部分（例えば、手）から顔を区別する。このような方法は、対象物が、例えば、車、飛行機、スポーツ選手、動物などの種類である一般的事例において適用不可能である。対象物が必ずしも人間の顔などの特定の種類ではなく、いかなる物体であることも可能である場合、識別は、自動的に行なわれず、ユーザによる入力が必要となる。

実際のところ、いかなるROIベースの編集／追跡を実行するためにも、対象物を背景から区別しなくてはならない。その他の半自動の代替案では、エンドユーザからの非常に複雑な入力が必要となる。後者の案は、ＲＯＩの境界における点の選択が見込まれ、その点は、自動分割用の入力として使用される。ユーザは、さらに、分割結果を管理し、また必要に応じてフィードバックを提供することができる。このような種類のユーザ相互作用は単純なものではなく、一般的な携帯型装置のユーザにとって煩わしいと考えられ得る。このようなアプローチによって、関連するいかなる行動も面倒なものになり得る。さらに、画像／フレーム分割の問題を容易に解決する方法は未だ存在せず、最も信頼性のある方法は、高度な計算複雑性を伴う。

さらに、ROIがまず識別されると、各フレームにおけるROIの位置を決定するために追跡処理が実行される。一般的に言うと、ビデオシーケンスにおける非固定的対象物の視覚追跡は、特定の信頼性が必要とされる再マッチング問題として考えらることができる。各段階において、現在のフレームにおける領域が、対象物の前の例またはモデルにマッチングされる。

追跡問題の困難さは多くの段階に存在する。現実的には、2Dのビデオフレームに撮影された3D物体は、物体の奥行を撮影していない。平行移動、回転、変形などの時間経過による物体の変化は、2D画面において忠実に撮影されない。こういった変化を伴う物体の追跡は、困難な作業である。

まず、対象物の位置、形状、テクスチャにおける変動ならびに周囲の環境における変化により、対象物認識は非常に困難な作業となる。より厳密には、物体は、その周囲およびその他の外部要因からも影響を受け得る。このような例として、その他の物体による干渉、遮断、背景および照明条件の変化、撮影条件、カメラの動きなどが挙げられる。このような数多くある全ての要因により、関心物体に関するロバスト性および信頼性のある追跡機構が妨げられる。

次に、色、形状、またはその他の特徴に基づいて、マッチングを行なうことができる。これらの側面のうちの1つに基づく方法により、通常、一面においてはロバスト性が提供されるが、その他の事例によっては弱点が示される。最後に、形状および特徴の追跡には相当な計算負荷を伴う。ゆえに、対象物の1つ以上の多数の視覚的側面を考慮するアルゴリズムは、追跡性能を向上させることができるが、計算負荷が大きくなる。

既存の追跡方法は、色ベース、形状ベース、動きベース、またはモデルベースとして分類可能である。後者は、通常、多数の特徴、つまり、色、動き、形状、およびテクスチャ詳細に依存する。色内容を使用する方法は、通常、計算的に単純である。しかしながら、その主な欠点は、いくつかの色内容を近傍背景領域と対象物とが共有する場合に生成される誤った判定にある。このような事例において、追跡された領域は、誤って拡大または2つの別々の領域に分割され、追跡性能は低下し始める。文献において、方法に基づく形状および特徴は、通常、計算的に複雑であり、メモリ効率が悪い。複雑性の主な原因は、このような特徴のモデル化と、エッジマッチング、輪郭の表現およびマッチングなどのモデルのマッチングにある。

提案された追跡方法を検証すると、追跡ロバスト性は、通常、非常に高度な計算複雑性に関連付けられるという結論に達することができる。これは、例えば、計算能力が限られている携帯装置において実行可能なアプローチではない。従って、アルゴリズムの複雑性が低い、ロバスト性のある追跡を提供する新しい解決手段が必要とされている。

本発明は、ビデオ画像処理能力および自動焦点手段を装備する新型の電子装置、ならびにビデオ画像のための自動焦点方法を生成することを意図する。本発明に従う電子装置の特性は添付の請求項1に記載され、それに適用される方法の特性は請求項17に記載される。さらに、本発明は、プログラムに関し、その特性は添付の請求項33に記載される。

本発明は、カメラにおいて自動焦点モジュールを利用してビデオ撮影を改善するアルゴリズムについて説明する。このアプローチは、焦点制御のための最適なパラメータを識別するために、関心領域追跡技術の利用に基づいている。

本発明は、ビデオ記録処理中の物体に焦点を効果的に維持するための手段を提供する。本発明は、物体を識別し、それを追跡するためのアルゴリズムと、レンズシステムを制御するためにその追跡結果を使用する自動焦点ユニットとを含む。

本発明は、関心領域追跡技術を導入することによって、パッシブ式自動焦点レンズの性能を最適化する。これによって、関心物体を鮮明にし、また、ビデオシーケンスのビデオフレームに対して同じ大きさを有するようにする。本技術は、例えば、自動焦点ユニット内において実装可能である。ROIの追跡結果により、レンズの動きに関してより正確な更新が達成され、カメラの記録中に自動焦点合わせが自動的に行なわれる。

一実施形態によると、ビデオシーケンスにおける関心領域（ROI）の追跡は、マクロブロックベースの関心領域追跡方法を適用して実行される。この場合、2つのヒストグラムは、現在の画像フレームの現在のマクロブロックのどの画素が対象物の画素であるのか、また、どの画素が背景画素であるのかを求めるために計算されてもよい。ヒストグラムは、前フレームのROI領域および背景領域について計算される。どの領域がROIに属し、どの領域が背景に属すかという情報は、前フレームのROIマスクから達成されている。

さらに、本発明によると、現在のマクロブロック内の対象物および背景領域間に色の類似性が存在する場合に、単純な形状マッチング手順を実行することが可能になる。本発明は、追跡のロバスト性および低計算複雑性によって特徴付けられる新しいアプローチについて説明する。これらの2つの特徴は、追跡技術が、システムリソースが非常に限られている携帯装置を対象とするアプリケーションにおいて、実装可能であるか否かに関する主要な手段である。本発明に従う追跡スキームにより、形状変形、部分遮断、および環境変動に対するロバスト性が提供される一方で、確実かつ効率的な性能を有する低計算複雑性が保持される。

本発明に関する一実施形態によると、画像またはビデオフレームにおける物体または関心領域（ROI）の半自動的識別を適用することも可能になる。本解決手段によると、ROI周囲の範囲を決定することが可能であり、次に、対象物は、装置によって自動的に識別される。決定は、ユーザまたは装置によって実行されてもよい。これにより、ロバスト性のある識別が保証される一方で、エンドユーザのシステムとの相互作用が非常に単純になる。

本識別処理において、関心物体を含む決定された範囲内およびその周囲の局所的な色内容は、背景と対象物とを区別するために分析される。この処理の出力は、ROIを表現するマスクであってもよい。本発展型アルゴリズムは、計算的に非常に単純である。

本発明に従う電子装置、方法、およびプログラムの特性を示すその他の特徴は、添付の請求項により明白になり、達成される追加の利点は、説明部分において項目別に記載される。

本発明について、添付の図面を参照して、以下により詳細に検証する。ただし本発明は、以下に開示される実施形態に限定されるものではない。

近年、電子装置10の多くは、カメラ手段11を備えている。デジタルビデオカメラの他に、このような装置の例として、移動局、携帯情報端末（Personal Digital Assistant; PDA）装置、および類似の「高性能通信機器（smart communicator）」、ならびに監視カメラが挙げられる。このように、「電子装置」の概念は、非常に広義に理解されることが可能である。例えば、デジタルビデオ撮像能力を搭載または搭載可能である装置であることできる。以下において、移動局10に関連して、一例として本発明について説明する。

図1bは、本発明に関連する限り、装置10における機能の概略例を示す。装置10のカメラ手段は、機能要素またはサブモジュール11〜14を備えること可能であり、これらは、既知のように図1bに示され、また、従来技術の部分において図1aに関連して既に説明している。これらのモジュール11〜14は、ビデオ記録に関連して連続的に実行されるループアーキテクチャを形成する。本明細書において、ビデオ記録は、実際の記録処理前に実行される手段（初期化手段）と、ビデオデータの保存またはネットワークストリーミングが実行される実際の記録中に実行される手段として理解される。

カメラの機能の少なくとも一部は、データ処理手段、つまり、CPU15〜17を使用して実行されてもよい。これは、1つ以上のプロセッサユニットまたはその同等物を備えてもよい。これらの例として、画像プロセッサCPUは、自動焦点ユニット12がそれに含まれるような状態で言及されてもよい。当然ながら、自動焦点ユニット12は、メインプロセッサと通信する別個の存在であってもよい。これらのプロセッサCPU15〜17によって、プログラム30は、本発明に従う作用を実行するために、HWまたはSWレベルで実装されてもよい。

さらに、装置10は、ディスプレイ／ファインダ18も含むことが可能であり、その上で、装置10のユーザに情報を視覚化することができる。さらに、装置10は、装置10の種々の動作を制御する機能を含むプロセッサ機能CPUも備える。

本発明に従う自動焦点処理に関連する機能は、プログラム30を使用して実行可能である。プログラム30またはそれを形成するコード31は、例えば、更新可能で非揮発性の半導体メモリなどの、装置10における記憶媒体MEMに書き込み可能である。一方で、HW実装として回路CPU15〜17において直接焼き付けることも可能である。コード31は、コマンド31.1〜31.18の群から形成されて、設定シーケンスで実行され、それによって選択された処理アルゴリズムに基づきデータ処理が達成される。この場合、データ処理は、主に理解されている作用であることが可能であり、また、ビデオ記録処理の保存前に実行されるROI識別15に関連する手段であることが可能である。また、データ処理手段は、これに関連し、ROI追跡16、ビデオフレームにおけるROIの空間位置に関する決定処理17、および自動焦点処理12によって実行される手段および作用である。これらの3つの作用は、全て、実際のビデオ記録処理中に実行され、これについては、後により詳細に説明される。

次に、図2を参照して本発明についてより詳細に説明する。図2は、本発明の主要段階の例をフローチャートとして提示する。本発明の基本概念は、これらのステップまたはその実行順番に限定されないことを意図することを理解されたい。さらに、その他の付加的なステップを組み込んでもよく、および／または提示された（またはここで提示されていない）ステップの実行順番も可能であれば変更してもよい。また、その他のステップとは独立して実行されるROI追跡204（コード手段31.2,31.7）のような副次処理も存在してもよい。このROI追跡204により、16は、フレームにおける空間位置を決定するユニット17に最新のROIマスクを常時提供し、ユニット17は、座標情報を自動焦点ユニット12に提供する。

本発明に従う方法は、本発明がビデオ撮影処理に関連して適用される場合は、パッシブ式自動焦点方法の上に構築されてもよい。本方法は、基本的に、段階（レンズまたは通常は光学系14の追跡および更新）に分割される。

本発明に従う方法について一般的に説明すると、ビデオ撮影処理中に、まず、関心物体が識別される。この識別は、補助的にユーザにより実行されてもよく、あるいは装置10によって完全に自動的に実行されてもよい。関心領域は、ビデオシーケンスのフレームにおける、ユーザまたはアプリケーションによって決定された対象物である。物体Tは、カメラレンズ14の関心物となり、また、焦点は、この物体の最も鮮明な画像質を入手するように動作される。物体Tが動くと、関心領域（ROI）追跡アルゴリズム16は、それに追従し、また、フィードバックパラメータを自動焦点アクチュエータ（モータ）13に送信することによって、現在の状況に応じて後方または前方に自動焦点レンズ14を適宜動かすようにする。

所定のビデオシーケンスにおいて、ユーザは、例えば、人、動物、自転車などの、シーケンスにおける特定の物体に関心を示してもよい。ユーザが装置10のファインダ18に電源を入れる開始段階201の後、関心領域がファインダビデオにおいて識別される段階202が実行されてもよい（コード手段31.1）。この手順は、いくつかのサブ段階を含んででもよく、このサブ段階については、本明細書において後述のより厳密に説明される図5に関連してより詳細に説明する。当然ながら、その他の方法も、このROI識別処理において適用されてもよい。本発明は、これを、図5に提示される実施形態に限定しないことを意図する。

段階202においてROIが適切に識別されると、ビデオ撮影処理は、所望の目的（例えば、メモリMEMに保存する目的またはネットワークにストリーミングする目的）のためのビデオの生成を開始する（段階203）。撮影されたビデオ画像データ、つまり、ビデオフレームは、既知の要領で段階203'において処理され、その後、例えば、装置10のメモリMEMに保存される。

実行可能な記録処理と同時に、自動焦点もループ204〜213で実行されて、焦点レンズシステム14を調整し、かつ画像におる対象物を可能な限り鮮明にするようにする。このループにおける第1の段階204として、ROI追跡ユニット16によって現在のビデオフレームにおけるROIの追跡が実行される。また、このROI追跡段階204は、いくつかのサブ段階も含み、このサブ段階についても、後に実施形態としてより厳密に説明する。基本的に、これに関連するいかなる方法も使用してもよい。

ROI追跡段階204により、達成されたデータ／結果は、ROIの平面位置の決定である次の段階205において使用されてもよい（コード手段31.3、31.4）。図3において、ROIの平面位置の決定の例が提示されている。3つのフレームFR1〜FR3が提示されており、その各々は、記録処理中の異なる時間点T=t0、T1、T2を表す。フレームFR1のみが、この現在のループ周期に存在する。ここで、頭部TはROI、つまり対象物であり、X-Y面におけるその空間位置は、記録処理中に、フレームFR1〜FR3の間で変動してもよい。本段階205において、画像フレームFR1〜FR3におけるROIの新しい位置に関するXY座標が求められる。次に、本情報は、自動焦点段階210に関連して適用される。

次の段階206として、Z軸に沿ったROI (T)の空間位置が決定される（コード手段31.3、31.5）。これは、イメージ領域の奥行方向におけるROI (T)の動きを検出するように実行される（コード手段31.5）。図4は、それに関連する例を示す。3つの異なる事例が提示されており、これらの3つの事例は、前述のように異なる時点を表す。中央のフレームFR2は、初期撮影点における対象物Tの大きさを提示する。フレームは、例えば、段階202から、または記録処理中にROIの形状が変化する場合は各ループ周期から獲得されてもよい。ここで、ROIの比、つまりフレームサイズに対するROIの初期（または現在）のサイズの比を、R1と呼ぶこととする。各時点のROI比は、ROI比＝（ROI範囲）／（フレームにおける画素数）と定義されることができる。ここで、ROI範囲はROIの画素数を意味する。

段階206のサブ段階207として、追跡されたROI範囲の、ビデオフレームの大きさに対する比（＝現在のROI比）が決定され、いくつかの以前のフレームから入手した前の比（＝以前のROI比）と比較される。これに関連して、ROIの大きさに関する情報（例えば、水平および垂直寸法）を適用することも可能である。これは、ROIの形状が記録処理中に変化する場合に重要である。

サブ段階208において、連続的フレームFR1'〜FR3'の間でのZ軸における動きの程度に関する評価が実行される。これは、生成された連続的画像フレーム（FR1'〜FR3'）の間における、フレームの大きさに対するROI (T)の大きさの比を分析することによって実行される。ROIの大きさ変動結果を使用して、レンズシステム14は、確立した要領で調整される（コード手段31.6）。より厳密には、現在のROI比がR1より大きい場合（つまり、対象物が所望の位置又は元々の位置より装置10に対して近い場合）、レンズ14は、後方に動くように指示を受けなければならない。これにより、所望の又は元々の状態、つまり、フレームFR2におけるROIの大きさの比がR1である状態が得られる。この種類の状況の例は、フレームFR1'において提示される。ROI比がR1より小さい場合（つまり、対象物は、所望の又は元々の位置より装置10に対して遠い場合）、レンズ14は、前方に動くように指示を受けなければならない。これにより、所望の又は元々の状況、つまり、フレームFR2におけるROIの大きさの比がR1である状況が得られる。この状況は、フレームFR3'において提示される。

現在フレームにおけるROIの大きさの比の決定により達成される利点は、ROI追跡段階204に関連する。本発明において、まだ撮影さえされていない次の後のフレームにおけるROIのXY位置または距離を推定する代わりに、自動焦点14は、現在の測定値、つまり実現画像内容に基づいている。対象物TのZ軸決定により、その調整は、フレーム全体に対するROI範囲の比を考慮し、対象物境界とフレーム境界との間の空間を十分保つことによって、対象物の動きを非明示的に考慮する。これにより、いかなる推定も行なわずに、次のフレームにおいて焦点が合う状態を維持することが保証される。

段階209において、ROIの座標およびROIのカメラ10からの距離が自動焦点ユニット12に送信される。

段階210において、自動焦点ユニット12は、ROIから画素を抽出し、そのシャープネスおよびコントラストを分析する。これは、ROIの全範囲またはROIの少なくとも一部を使用して実行されてもよい。図3は、ROIの一部のみを分析および使用して、自動焦点12を確定する実施形態を示す。フレームFR1〜FR3の範囲において、投影四角形F1〜F4、または、通常、焦点として理解され得る範囲が存在する。それらは、フレームFR1〜FR3を全体的におよび均一に覆ってもよいことを理解されたい。ROIの大きさの比がフレームの大きさに対して適度になるように連続的に調整されるため、ROIまたはその少なくとも一部は、それを少なくとも部分的に覆う焦点点F1〜F4のうちの1つ以上の範囲に常時存在する。例えば、フレームFR2において、ROIは、F1の範囲内にあり、その範囲F1のROIに関するデータのみが、シャープネスおよびコントラスト分析において使用される。また、これにより計算出力の必要性が軽減される。

段階211において、ユニット12は、対象物Tからのレンズ14の距離を更新するために必要とされるパラメータを求める。また、自動焦点ユニット12は、Z方向における動作を使用して、レンズ14の新しい位置を更新する。

段階212において、レンズ14の位置を更新するために、自動焦点ユニット12によって決定された結果／パラメータを、アクチュエータ／モータ13に送信する。レンズ14の位置に関するこの更新は、よく知られている要領で行なわれてもよいため、本フローチャートにおいて詳細に提示されない。段階213において、記録処理の状態が、継続中であるのか、または既に終了したのかを確認する。記録処理がステップを継続中である場合、段階204のステップが実行される。そこで、現在（つまり、撮影された最新のフレーム、図3のT=t₁）フレームFR2にROI追跡処理16が行なわれる。

段階213において、記録の終了が通知されると、処理は終了し段階214に進む。

〔ROIの識別（段階202）：〕

次に、ROIの識別段階202の一実施形態に従う実行方法に関する例を説明する。図5は、主要段階202のうちのこれらのサブ段階の実行方法に関する例をフローチャートとして提示する。図1bに提示される装置10は、対応する機能15を備え、この機能15は、プロセッサCPUと、それによって実行されるプログラムコード31.1、31.16〜31.18に基づく。

ROI識別処理（図2の段階202）は、関心画像／フレームを表示する501を開始する。一般的に言うと、装置10のディスプレイ18上に、対象物、つまりROIを含む撮像景色／視野が表示される。図6aおよび6bは、ファインダ視野VFV1、VFV2（左側の画像）の例を提示する。

段階502において、ユーザは、画像VFV1、VFV2から物体T1、T2の選定について要求される。一実施形態によると、ユーザは、装置10のカメラセンサ11が、所望の景色BG1、T1、BG2、T2に向けられる際に、ディスプレイ上で閲覧中のファインダビデオフレームVFV1、VFV2において、関心物体T1、T2を選定することができる。ユーザに代わって、カメラ装置10内のアプリケーションが物体T1、T2を選定してもよい。これを実行するために、例えば、分割技術が提供されてもよい。

選定段階502に関して、ユーザは、対象物T1、T2を決定するように要求される。対象物T1、T2を決定するために、ユーザは、ディスプレイ18上に表示されるフレームVFV1、VFV2内にある対象物T1、T2の周囲で、ウィンドウを設定または長方形WIN1、WIN2を調整し、関心物体を囲むようにしてもよい。このウィンドウWIN1、WIN2決定ステップ502に関連するファインダ視野VFV1、VFV2は、図6aおよび6bの右側に提示される。図6aの例において、対象物T1、つまり関心領域は、散歩しているカップルであり、海の景色は背景BC1を表す。図6bの例において、対象物T2はボートであり、山／海の景観は背景BG2を表す。

ウィンドウWIN1、WIN2の設定は、システムの一部として含まれている場合はタッチスクリーン上で実行可能である。含まれない場合は、UIが長方形を表示し、ユーザがそれを動かして、例えば、キーパッド19のいくつかの特定のカーソルキーを使用してそのサイズを変更することができる。また、段階502で選定された物体T1、T2は、関心領域（ROI1、ROI2）とも呼ばれる。

選択された長方形またはウィンドウWIN1、WINの座標は、段階503および段階504において決定され、その座標は、読み出され、UIから識別アルゴリズムへ伝えられる。ウィンドウ座標は、例えば、決定されたウィンドウWIN1、WIN2の左上および右下の角を含んでもよい。

識別アルゴリズム段階505において、決定されたウィンドウWIN1、WIN2に関連する色の統計を分析し、その結果、決定されたウィンドウ内の物体T1、T2は自動的に識別される。選定段階502において、ユーザは、ウィンドウWIN1、WIN2を決定する際に、対象物T1、T2の周囲に安全領域を取るべきである。

図7aは、識別アルゴリズムの原理についてより詳細に説明する。ファインダフレームVFV3において決定された範囲が存在する。つまり対象物T3は、アイスホッケー選手の顔である。方法段階506において、2つのその他の長方形REC1、REC2が作成され、これらは、決定されたウィンドウWIN3（対象物T3を含む）に近い。長方形REC1、REC2は、アルゴリズム自体によって作成されてもよい（コード手段31.17）。一方の長方形REC2は、ユーザが決定したウィンドウWIN3内にあり、他方の長方形REC1は、決定されたウィンドウWIN3の外にある。作成された長方形REC1、REC2のエッジ間の空間は、その幅および長さに対し小さい。

段階507において、各長方形REC1、REC2および決定されたウィンドウWIN3について、強度ヒストグラムを計算する。これらのヒストグラムは、該当長方形の対応する輝度内容を説明する。選択された範囲WIN3、外側および内側長方形REC1、REC2にそれぞれ関連付けられたこれらのヒストグラムを、h0、h1、およびh2とする。

段階508において、選択されたウィンドウWIN3内における各画素について、ヒストグラムベースのマッチングを実行する（コード手段31.16）。マッチングの後、制御および十分に決定された要領で均一にROIの大きさを拡大するために、バイナリ拡張が行なわれる（コード手段31.18）。バイナリ拡張は、例えば、3x3ブロックの近傍画素に実行されてもよい。その他のブロックの大きさも、例えば、フレーム解像度に応じて適用されてもよい。バイナリ拡張処理の目的は、画素（ROIにおける）によるマスクのいかなる小さな「穴」も埋めることにあるが、色内容に基づいて背景において推定される。一般的に言うと、これは、現在画素の近傍を調和させる統一処理である。しかしながら、バイナリ拡張フィルタは、背景におけるROI領域を拡大しないように大きくなり過ぎないようにする。この種類の用途は、複雑性の大幅な軽減を達成するために、画素マッチングにも同時に適用可能である。

主要段階508のうちのサブ段階509として、選択された範囲WIN3内の次の画素が取り出される。段階510において、画素輝度値は、量子化された強度「q値」をもたらすヒストグラムのビンの大きさで量子化される。図7bは、外心的な長方形領域WIN3、REC1、REC2の色ヒストグラムh0〜h2の例を提示する。

段階511において、選択された範囲WIN3における各画素の状態を決定する。画素が対象物T3に属するか否かを求めるために、相対的回帰（relative recurrence）を表す比、つまり、WIN3における画素カウント数に対する、REC2内及びWIN3とREC1の間の層内との画素色の比が計算される。比（ratio）は、対応するq値毎の画素数（＝カウント数）に等しく、WIN3において画素数によって割られる各領域では、同じq値毎の画素数（＝カウント数）に等しい。

段階512においてテストを実行する。計算された比が［r1 < 閾値1かつ比r2 > 閾値2］である場合、段階513のステップを実行する。閾値2の値は［0.5、0.7］の範囲内で選択され、一方、閾値1の良好な選択は［0.05、0.25］の範囲内である。また、閾値は、WIN3の領域で割られたREC2の範囲の比ならびにWIN1およびREC1間の領域の比に基づいて選択されてもよい。全方向性拡張方法を容易かつ効率的に実行するために、両方の閾値検査が満たされる場合に、決定された範囲WIN3およびその8つの近傍画素に関する現在画素は、ROIつまり対象物T3の一部であると考えられる。ROIマスク（図6aおよび6bの画像事例を考える場合、図8a、8bにおけるM1、M2）は、現在の画素およびその近傍で適宜初期化される。段階509で始まるこれらのステップは、次の画素について繰り返され、決定された範囲WIN3の各画素がテストされるまでこのループを継続する。

段階512のテスト条件のうちの1つまたは両方が満たされない場合、決定された範囲WIN3の現在画素は、ROIつまり対象物T3の一部でないと考えられる。それは、背景に属すると決定され、さらなる作用は必要とされない。範囲WIN3においてまだテストされていない画素がある場合は、画素段階509に戻ってステップを実行する。

段階全体508が全て実行されると、段階514のステップが取られる。ここで、1つ以上の実行可能な高精度化ステップを実行することが可能である。高精度化ステップは、例えば、形態学的フィルタを適用してもよい。このフィルタを使用して、穴、小さい隔離範囲などを排除することによって物体の形状の規則性が保証されてもよい。

全てのROI識別段階が実行されると、段階515において、ビデオ撮影処理（段階204）にて動的または非動的ROIを追跡するアルゴリズムに、生成されたROIマスクを伝える。その前に、自動識別が実行され、かつ実際のビデオ記録処理を開始可能であることについて、ユーザは、UIにおいて報告を受ける。図6aおよび6bの例のROIマスクM1、M2は、図8aおよび8bの右側に提示されている。これらのM1、M2において、対象物T1、T2は白色で示され、背景BG1、BG2は黒色で示される。

上記のROI識別解決手段は、非常に重要な要因を考慮する。それは、ユーザ相互作用の簡易化であり、いかなる関連するアプリケーションも魅力的かつ快適なものにするようにする。具体的には、ユーザは、対象物T1〜T3を含む長方形WIN1〜WIN3を設定（タッチスクリーン上で）または調整（特定のカーソルキーを使用して）する。アルゴリズムは、ウィンドウWIN1〜WIN3座標をUIから読み込み、上記のような要領でROIを自動的に識別する。ユーザ相互作用の簡素化だけでなく、アルゴリズムは、選択されたウィンドウWIN1〜WIN3内で処理する色ヒストグラムと、容易な形態学的フィルタとに基づくため、アルゴリズムの計算複雑性は低くなる。さらに、識別に関する出力は、ROIの生成されたマスクM1、M2であり、これは、実際の記録処理中のいかなるROI追跡アプローチにおいても簡単に使用される。これらの全特徴により、この方法は、携帯装置の用途に適切となる。

このような上述の方法は、ROI追跡部16の初期化として実行可能であり、これについては、以下に一例として説明される。

〔関心領域追跡（段階204）：〕

次に、関心領域の追跡について説明する。上述の識別段階202の結果を利用するのは、ソフトウェアモジュールである。装置10は、このROI追跡16に関する機能を含んでもよい。また、これは、プロセッサCPUおよびプロセッサCPUによって実行されるプログラムコード31.2、31.7〜31.15によって実装されてもよい。記録ビデオから追跡された物体は、例えば、カメラ10の改良型でカスタマイズ型の自動焦点12に使用可能である。

次に、追跡手順204の例が提示される。説明される処理により、追跡ロバスト性を非常に容易なアルゴリズムに提供する能力が与えられる。

一般的に言うと、本発明に従う追跡処理は、2段階アプローチとして理解されることができる。第1のステップは、局所的色ヒストグラムの適用である。第2の段階は、局所的な範囲内の対象物つまり関心領域（ROI）と、その近傍背景領域とがいくつかの色内容を共有する場合にのみ、実行される。その場合、容易な形状マッチングが実行される（コード手段31.13）。

追跡段階204の目標は、各フレームFRC、FRP、FRにおける対象物T4、T5の現在の位置および形状を説明するROIマスクM5を決定すること、ならびに対象物T4、T5を含む追跡ウィンドウTWP、TWC、TWを出力することにある。追跡ウィンドウTWP、TWC、TWの設計（つまり、例えばサイズおよび場所）は、対象物T4、T5の動きを考慮し、次の後フレームにおいて、対象物T4、T5がウィンドウTWP、TWC、TW内にあることが見込まれるようにする。つまり、対象物T4、T5の両側における背景BG4、BG5の余白を保持するようにする。

以下に詳しく後述する主要段階204は、ユーザが図6aおよび6bに提示されるウィンドウまたは範囲、あるいは関心領域（ROI）を対象物T4、T5の周囲に決定し、関心領域の位置について提案することを前提とする。そうしなければ、ビデオフレームにおいて、選択する潜在的物体が多数存在し得える。また、事前情報がなければ、正確に対象を決めることが不可能である。

関心領域（ROI）が決定されると、次の作業は、決定されたウィンドウ内における関心物体を識別することである。種々のアルゴリズムを使用して、ROI内における物体を分割し、それをその背景から分離することができる。主要段階202と、図5に提示されるより詳細な実施形態は、これらの任務を実行する。物体が検出されると、マスクによって識別され（段階515）、そのマスクは次に説明する追跡処理204に与えられる。追跡処理204の作業は、フレームFRC、FRP、FR毎にマスクM5および追跡ウィンドウTWC、TWP、TWを更新し、物体に関する正確な情報を提供することである。追跡結果を使用して、自動焦点ユニット12のためのROIの空間位置の決定において、段階205〜212の実行を成功させてもよい。

図10a、10b、および12aを検討してみると、スキーをしている女性は、図10aおよび10bにおいて対象物T4を表し、オフィスにいる男性は、図12aにおける対象物T5であり、一方でオフィスの景色は背景BG5である。ROI追跡段階204への入力データは、フレーム毎に、前の追跡されたフレームFRP、FR（つまり、前フレームの画像内容）、現在フレームFRCの画像内容、および前フレームFRのROIマスクM5を含む。ROIマスクM5は、前フレームFRのどの部分が背景部分BG5であるか、また前フレームFRのどの部分が対象物T5であるかを決定するために必要である。従って、いくつかのフレームが、既にカメラセンサ11で生成されて（段階203、203'において）いないと、主要段階204は開始可能にならない。記録処理203、203'が開始されたところ、つまり、ROI追跡処理204の第1周期が開始されると、段階202で識別されたROIマスクは、追跡アルゴリズムに伝えられる。これらのフレームFRPおよびFRCと、最新のROIマスクとの両方ともが装置10のメモリMEMに保存される。図10aは前フレームFRPを示し、図10bは現在フレームFRCを示す。一般的に、フレームFRPおよびFRCは、必ずしも連続的ではなく、記録速度に遅れず追跡できるようにフレームが抜けていてもよい。

段階901において、追跡ウィンドウTWCは、現在フレームFRC上に投影される。追跡ウィンドウTWCは、追跡アルゴリズムによって決定された範囲であり、また、その角座標は、ループ204の各周期において更新される。追跡に関する現在のループが最初であり、次に、追跡ウィンドウTWCは、段階202で生成された識別（初期）ROIマスクに基づき生成されてもよい。

本発明において現在の追跡ウィンドウTWCは分割され、つまりマクロブロックMBに分割される。マクロブロックMBは、NxNの四角形（例えば、8x8または16x16）に属する１組の画素を表す幾何学的存在である。

一般的に言うと、第1の段階で使用される色ヒストグラム技術は、マクロブロック別に適用される。それにより良好な追跡ロバスト性が提供される。次の段階902において、現在フレームFRCの現在投影される追跡ウィンドウTWC内にあり、かつ破線で示される現在のマクロブロックMBは、前フレームFRP（前フレームFRCにおける破線の小さいブロックPMB）上に投影される。投影手段は、これに関しては、前フレームFRPにおいて、範囲PMBの位置および大きさが、現在フレームFRCの位置および大きさに対応する範囲PMBを決定することを意味する。

段階903において、前フレームFRP（図10a）において破線で示される検索ブロックSBを決定する。この検索ブロックSBは、投影されたところのマクロブロックPMBを囲む。前フレームFRPで決定された検索ブロックSBは、現在のマクロブロックMBのための検索範囲を表す。検索ブロックSBは、アルゴリズムによってそれぞれ実行された現在の追跡ウィンドウTWCの投影されたマクロブロックPMBの各々のための、それ独自のブロックである（コード手段31.8）。

検索ブロックSBは、前フレームFRPにおける投影されたマクロブロックPMBを、両方向矢印によって示される各方向に拡大することによって作成される（コード手段31.9）。拡大の距離は一定であってもよく、また、推定の動き範囲と等しくてもよい（コード手段31.10）。このような距離は、最大の動的範囲を示してもよい。それは、前の値に基づいて適応的に推定可能であり、あるいは、ビデオシーケンス（例えば16または32）内の移動の上限であるのに十分大きい一定値に設定可能である。その目的は、現在のマクロブロックMBの最適マッチングが、そのために決定された本検索ブロックSB内にあることを確実にすることにある。

次に、図12aに提示される撮像事例についてやや詳細に説明する。これは、実際の撮像状況を示す例である。実際には、図12aは、前の画像フレームFRを提示し、より具体的には、そのY成分を示す（適用される色空間がYUVである場合）。しかしながら、この成分別のFRは、これに関して、観測される実際の画像フレームとして理解されてもよい。その他の成分（UおよびV）の内容は、非常に不鮮明になり得る（特許公報で使用されるオフセット印刷機は言うまでもなく、レーザー印刷技術を使用して印刷されたとしても）。この理由により、これらのその他の（UおよびV）成分フレームは、本明細書の文面において提示されない。

図12aにおいて、2つの投影されたマクロブロックPMB1、PMB2が示され、これらは、追跡ウィンドウTWにおいてそれ独自の検索ブロックSB1、SB2を有する。ブロックPMB1、PMB2、SB1、SB2は、本図面において同じ図に提示されているが、実際は、追跡ループ段階204によって順番に追跡されることを理解されたい。従って、1つのマクロブロックは、現在の追跡ループ204中の追跡処理下にある。

段階904において、2つのヒストグラムが計算される（コード手段31.11）。これらは、背景およびROIヒストグラムである。ヒストグラムは、投影されたマクロブロックPMB、PMB1、PMB2周囲の前フレームFRP、FRにおける検索ブロックSB、SB1、SB2内の画素についてのみ計算される。これは、前フレームFRP、FRの検索ブロックSB、SB1、SB2に関するROIおよび背景ヒストグラムを作成する際に、前フレームFRP、FRにおける投影されたマクロブロックPMB、PMB1、PMB2の範囲内にあるFRP、FRの画素も考慮に入れることを意味する。

ヒストグラムは、大きい方の破線ブロックSB、SB1、SB2内の対象物および背景部分の色内容を表す。これらの背景および対象物ヒストグラムを使用して、2つの領域（対象物および背景）間の、可能な共通の色を検出することが可能になり、一方で、マクロブロック別に処理することによって、形状に関する柔軟性に効率的に対処できる。このように、生成されたヒストグラムにより、ROIおよび背景の局所的色分布が説明される。

より具体的には、ROI範囲および背景範囲である2つの範囲に関するヒストグラムが作成される。各範囲について、Y、U、およびV成分別ヒストグラムが作成される。当然ながら、その他の色空間も含めてもよく、YUVは、これに関して単なる例として使用されるだけである。これらの例として、図12aの実際の撮像状況の場合のヒストグラムは、図13a〜13fの上部に提示される。これらのヒストグラムによって、前のステップで決定された検索ブロックSB1、SB2内の対象物および背景領域の色内容が説明される。

これに従い、ループの周期毎に6つのヒストグラムが生成される。ヒストグラムH1〜H3、H4〜H6のうちの3つは、対象物領域T5、つまり前フレームFRの検索領域SB1、SB2のROIについて生成され（＝Y、U、およびV）、ヒストグラムH1'〜H3'、H4'〜H6'のうちの3つは、前フレームFRの検索領域SB1、SB2の背景領域BG5について生成される（＝Y、U、およびV）。ここで、ヒストグラムH1〜H3は、事例1の対象物領域T5に関するYUVヒストグラム、つまり、図12aの検索ブロックSB1の成分別ヒストグラムである。それに対応するように、ヒストグラムH4〜H6は、事例2の対象物領域T5に関するYUVヒストグラム、つまり、図13aの検索ブロックSB2の成分別ヒストグラムである。同様に、ヒストグラムH1'〜H3'は、検索ブロックSB1の背景部分BG5であり、ヒストグラムH4'〜H6'は背景のSB2である。検索ブロックSB1、SB2の各画素の状態（つまり、画素がROI画素であるかまたは背景画素であるか）は、前の画像フレームFRに対応する図12bに提示されるROIマスクM5から入手される。

これらの6つのヒストグラムは、以下のように作成されてもよい。前フレームFRの投影されたマクロブロック範囲PMB1、PMB2も含む、前フレームFRにおける検索ブロックSB1、SB2の画素毎に、以下に従い分析を行なう。

（i）前フレームFRの検索ブロックSB1、SB2内の各画素に関する、対応するY、U、およびV値（ROIマスクM5を適用することによってROIが既に決定されている場合）は、対応するヒストグラムのビンの大きさによって割られて、色ヒストグラムH1〜H6、H1'〜H6'におけるどのビンにこれらの値が対応するかを求めるようにする。

（ii）前フレームFRの検索ブロックSB1、SB2に関する現在の画素が、ROIマスクM5に基づき、背景画素であることが発見される場合、3つの背景ヒストグラムH1'〜H3'、H4'〜H6'は、ステップ（i）で計算された適切なビンにおいて増分される。

（iii）前フレームFRの検索ブロックSB1、SB2に関する現在の画素が、ROIマスクM5に基づき、ROI内にあることが発見される場合、つまり、前フレームFRにおけるROIの一部がSB1、SB2の内部にあることが発見される場合、3つのROIヒストグラムH1〜H3、H4〜H6は、ステップ（i）で計算された適切なビンにおいて増分される。

次に、ROIヒストグラムH1〜H6における各ビン（つまりX軸）は、色値が特定の範囲にある画素の数（Y軸）を表し、前フレームFRの検索範囲SB1、SB2における対象物領域T5に属する。同様に、背景BG5ヒストグラムH1'〜H6'は、ROIマスクM5に基づいて背景画素であると発見される前フレームFRの検索ブロックSB1、SB2内における画素数を表す。

これらの色ヒストグラムH1〜H6、H1'〜H6'に基づいて、確率ヒストグラムP1〜P6を生成することが可能になる。これらは、ROI内にある特定の色を有する各画素の確率を示す。また、確率ヒストグラムP1〜P6に基づいて、現在フレームFRCの現在のマクロブロックMBの色内容について、確率マクロブロックPMB1、PMB2を生成することが可能になる（図11bおよび11c）。

上記は、現在フレームFR、FRCの所定のマクロブロックMB、MB1、MB2における各画素が、前フレームFRP、FRにおける対応する検索ブロックSB、SB1、SB2内の背景および対象物領域に関して計算されたヒストグラムに基づいて、関心領域（ROI、T4、T5）内にあるという確率を割り当てることを意味する。

より具体的には、ROIまたは背景内にある色値Y（i,j）、U（i,j）、およびV（i,j）を含む、現在フレームの所定のマクロブロックの所定の画素の確率に関する。Y、U、およびVの確率Py、Pu、およびPvが決定される。各ビンについて、例えば、指数kを使用すると、

Py(k) = ROI_Y_hist (k) / (ROI Y_hist (k) + Background_Y_hist (k))、
Pu(k) = ROI_U_hist (k) / (ROI U_hist (k) + Background_U_hist (k))、
Pv(k) = ROI_V_hist (k) / (ROI V_hist (k) + Background_V_hist (k))、

となる。

上記の数式は、ROIに属する同様値を有する画素のカウント数を、前フレームFRの検索ブロックSB1内の同様値を有する画素の数で割ることを意味する。これは、前フレームの検索ブロックにおける色分布に基づいて確率が計算されることを意味する。次に、計算された確率は、現在フレームの現在のマクロブロックに適用される。確率は、現在のマクロブロック（MB）の画素状態、つまり現在のマクロブロックの所定の画素がROI画素または背景画素である可能性が高いかを示す（コード手段31.12）。

図11bおよび11cにおいて、形状マッチングに関する確率マクロブロックPMB1、PMB2の2つの仮説例が提示される。図10aおよび10bの撮像事例に関連することが想定できる。図11aにおいて、検索ブロックSBの仮説ROIマスクが提示され、その検索ブロックSBの中に、投影つまり決定されたマクロブロッックPMBが存在する。また、図13a〜13fにおいて、図12aの実際の撮像事例に関連する、対応する確率ヒストグラムP1〜P6が提示される（検索ブロックSB1、SB2のYUV色成分）。

段階905において、検索ブロック範囲SB1、SB2の物体および背景間の色内容差に関する調査が実行される。成分Y、U、Vのうち少なくとも1つに関するヒストグラムが互いに素である場合、つまり、各ビンについてROIまたは背景ヒストグラム値がゼロに等しい場合、段階906のステップが実行される。段階906において、そのビンに対応する現在フレームFRCにおける現在のマクロブロックMB1、MB2の全画素は、各画素の色に応じて、全て、ROI画素または背景画素として割り当てられる。より一般的には、ここで、マクロブロックの画素状態が決定される。これは、マクロブロックにおいて、ROI画素および／または背景画素の両方が存在する可能性があることを意味する。色成分のうちの1つに関するROIおよび背景ヒストグラムは、各ビンについてROIヒストグラムまたは背景ヒストグラムが空である場合に、互いに素であると言える。すなわち、両範囲のヒストグラムにおける同じビンに画素が存在する場合、互いに素な状態は有効ではない。基本的に、これは、その特定の色領域について、現在フレームのマクロブロックの全画素がROI内にあること、あるいは全画素が背景内にあることを意味する。これは、各画素について、画素が対象物または背景のどちらに属するかについて明確であるという意味を含むため、この場合、さらなる処理は必要ない。

図12aの例において、この互いに素である状態は、ヒストグラムが図13a、13c、13eに示される事例1の場合に有効である。ここで、YヒストグラムH1、H1'において、互いに素である状態は、特定のビン領域（約25〜45）において有効であることが容易にわかる。これに対応するように、確率ヒストグラムにおいて、1および0の値しか存在しない（つまり、対照となるROIおよび背景範囲に共通する色が存在することを示す1と0の間のいかなる中間値も存在しない）。

対象物およびその近傍背景領域の色が排他的である、つまり対応するヒストグラムがゼロ交差を有する上述の事例において、確率は1およびゼロになる。図11において、例えば、事例bがこの種類の状態を示す。ここで、黒色は確率1を示し、白色は確率0を意味する。また、上記は、現在のマクロブロックMB1、MB2の色ヒストグラムや、形状マッチングなどのその他の手段に基づいて、状況が明確であるため段階909が必要とされない場合に、現在のマスクが更新されることを意味する。次のステップ910において、現在フレームFRCの追跡ウィンドウTWCに未マッチングのマクロブロックが残っているかを確認し、残っている場合は、段階911において次のマクロブロックを入手し、段階902に戻る。本手順は、前フレームFRP、FRの投影された追跡ウィンドウTWC内のマクロブロック毎に実行される。

しかしながら、段階905において、領域間の成分U、Y、Vに関する全ヒストグラムが合同していると検出される場合、段階907のステップが実行される。段階907において、確率マクロブロックが構成される（互いに素／合同である状態の分析に関連してまだ構成されていない場合）。これに関する合同とは、前フレームFRおける大きい方のブロックSB1、SB2内のROIおよび背景領域が、各成分YUVの場合においていくつかの色を共有することを意味し、このことから、マクロブロックの性質は明確にならない。合同により、確率マクロブロック（図11c）および全確率ヒストグラムP4〜P6は、1未満でありかつ0を越える値を有する（合同を示すには少なくとも1つの中間値で十分である）。確率マクロブロックPmb2における黒色と白色の間の各中間色、また、確率ヒストグラムP4〜P6における各入力（Y軸）は、対象物内にある対応する画素値（X軸）の確率Pu、Py、Pvを表す。

従って、上記のアルゴリズムに関するこれらの第２の段階907および908は、検索ブロックSB2内の対象物および背景領域の間に色の類似性がある場合のみ実行される。段階907の後、形状ベースの技術が適用されてもよい。形状マッチングは、確率ドメインで実行されてもよい。段階908において、現在フレームFRCの確率マクロブロックPmb2は、前フレームFRPの検索ブロックSB内のマスク領域にマッチングされる。これは、図11aおよび11cにおいて提示される。

ROIマスクM5は、ROI形状の二値画像表現であり、画素がROI（＝対象物）である場合に値1によって示され、また、画素が背景にある場合に値0で示される。形状ベースのマッチングの他に、ROIマスクM5は、検索ブロックSBの画素が前フレームにおけるROIまたは背景に属する場合の決定に適用される。段階908で実行されるROI領域の形状ベースのマッチングは、「形表現」内、つまり0または1に等しい値を有するマスクと、0と1の間の値を有する確率マクロブロックとで適用される。この段階の最後に、誤った判定を排除することが可能であり、現在フレームのマクロブロック内の画素が背景にあるかまたは対象物内にあるかに関して決定が行なわれる。

形状ベースのマッチングにより、誤った判定の排除が達成される。一実施形態によると、ROIの形状ベースのマッチングは、絶対差の和（SAD）を最小化することによって実行されてもよい。これは、現在のマクロブロック（確率ブロック）の確率値と、ROIマスクの候補ブロックの値との間で実行される（コード手段31.14、31.15）。

段階907において、現在のマクロブロックにおける各画素の確率を求めた後の次のステップは、段階908においてROIマスクにおける最適ブロックを求めることである。従って、アルゴリズムは、ROIマスクにおいて検索を実行し、現在の確率マクロブロックに対して最も近い、つまり最少の絶対差の和を有するマクロブロックの大きさの領域を求める。すなわち、現在のマクロブロックが確率Pmb（i,j）を有し、ROIマスクが値M（i,j）を有する場合、そのマスクにおいて次式が最小値となるブロックに調査手順が実行される。

指数（i , j）は、現在のブロックの値を示している。パラメータk1およびk2は、検索を実行する際のマスクブロックの移動を示す。これらの移動は、画素毎に各方向において実行され、つまりマッチングされたマクロブロックは、ROIマスク範囲の各位置に適合される。

最適マッチングが求められると、段階909のステップが実行され、そこでマスクが更新される。ステップ910、911の後、現在フレームの次のマクロブロックのために、ループが再び初期化される。現在フレームの全てのマクロブロックが調べられると、主要段階205のステップが、決定されたROIマスクに実行される。また、現在の追跡ウィンドウは、次のループ周期で使用するために保存される。

上記のリアルタイム追跡アルゴリズムは、従来技術の部分で説明されたような全ての変動性に対して高いロバスト性を有する。同時に、計算的に効率的であり、かつメモリ効率の良い技術であるため、ビデオシーケンスを生成する現在および今後の電子装置において導入可能である。対象物および背景間の色の類似性の検出および対処に関する能力や、形状変形および部分遮断に対するロバスト性が提供される。一般的に言うと、形状マッチング、つまり確率ドメインにおけるマッチングを実行するための手段が提供される。

本発明に従うアルゴリズムは、いかなる詳細な特徴を使用せずにマッチングを実行する。これにより、位置および形状における柔軟性に対してロバスト性を提供するという点において、利点としての役割を果たすことができる。

本発明に従う自動焦点合わせ12は、例えば、パッシブ式スキームに基づく。これは、センサ11に生成される画像データが適用されることを意味する。この場合、自動焦点ユニット12は、主にシャープネスに依存し（水平および垂直方向のエッジを計算することによって）、また、コントラスト情報を使用することによって依存する。画像範囲のみが、例えば本分析に考慮されてもよい。その結果に基づき、レンズシステムのモータ13の作動は、1つ以上のレンズ14の位置を更新する。本発明に従う方法は、ROI識別部15および追跡部16を含めることによって、このような種類の自動焦点スキームにおいて使用されてもよい。当然ながら、本発明自体は、使用される自動焦点スキームに依存しないが、本発明は、異なる種類の自動焦点スキームに関連して実行されてもよい。本発明に係る追跡部16は、自動焦点ユニット12で分析する範囲の座標を示す。これは、ROIの空間位置決めユニットROI17を介して実行される。これは、これらの座標を段階205および206において決定する。また、追跡部16は、Z軸上の物体の移動に関する立体感を追加する。フレームにおけるROIの位置を事前推定することなくこのように空間対処することによって、よりロバスト性のある自動焦点が達成され、また、動的対象物に対して良好な焦点が維持される。

上記の説明および関連の図面は、単に本発明の説明だけのために意図されることを理解されたい。従って、本発明は、請求項に開示または記載される実施形態のみに限定されず、添付の請求項に定義される発明的概念に関する範囲内で可能である、本発明の多くの異なる変形および適応は、当業者にとって明らかであるだろう。

従来技術に従うパッシブ式自動焦点システムの一般的アーキテクチャに関する原理を示す。本発明に従う装置に関する原理を示し、本装置において、ROIの識別および追跡は、ROIの空間位置の決定に関連して適用される。本発明に従う方法の例を、フローチャートとして示す。景色平面におけるROI追跡の説明図を示す。 Z面におけるROI追跡の説明図を示す。本発明に従うROI識別処理の例を、フローチャートとして示す。図6aおよび6bは、関心物体を含む範囲を決定するための、ウィンドウ選択手順の例を示す。外心長方形領域に対応する色ヒストグラムを使用して、背景から対象物を色内容ベースで区別する例を示す。外心長方形領域の色ヒストグラムの例を示す。図8aおよび8bは、図6aおよび6bの実施形態に関して生成されたROIマスクの例を示す。は、本発明に従うROI追跡処理の例を、フローチャートとして示す。図10a、10bは、背景およびROIに関する、ブロック別ヒストグラム生成の原理例を示す。は、形状マッチング手順に関連するマスクブロックおよび確率マクロブロックの形状の例を示す。図12a、12bは、実際の撮像状況における例として、Y成分のマスクおよびROIマスクを示す。図13a〜13fは、図12aおよび12bで提示された実際の撮像状況からの、色成分別および確率ヒストグラムの例を示す。図13a〜13fは、図12aおよび12bで提示された実際の撮像状況からの、色成分別および確率ヒストグラムの例を示す。図13a〜13fは、図12aおよび12bで提示された実際の撮像状況からの、色成分別および確率ヒストグラムの例を示す。

Claims

ビデオ画像処理能力を装備する電子装置（10）であって、
関心領域（region-of-interest; ROI）（T、T1-T5）を含むイメージ領域から、画像フレーム（I、FRC、FRP、FR、VFV1-VFV3、FR1-FR3、FR1'-FR3'）を生成するように構成されるカメラユニット（11）と、
前記カメラユニット（11）に接続され、前記カメラユニット（11）の焦点を前記ROI（T、T1-T5）に合わせるように構成される、調整可能な光学系（14）と、
前記画像フレーム（VFV1-VFV3）からROI（T、T1-T5）を識別するための識別ユニット（CPU、15）と、
前記ビデオ画像処理中に、前記画像フレーム（FRC、FRP、FR）から前記ROI（T、T1-T5）を追跡するための追跡ユニット（CPU、16）と、
前記光学系（14）を調整するために、前記追跡ユニット（CPU、16）によってもたらされた前記追跡結果に基づいて、前記ROI（T、T1-T5）を分析するように構成される自動焦点ユニット（12）と、
を備え、
前記装置（10）は、いかなる推定量も使用せずに、前記生成された画像フレーム（FR1-FR3、FR1'-FR3'）において、前記ROI（T）の空間位置を決定するように構成されることを特徴とする、装置（10）。
前記空間位置は、前記画像フレーム（FR1-FR3）における前記ROI（T）の平面位置（XY）であることを特徴とする、請求項1に記載の電子装置（10）。
前記イメージ領域の奥行方向における前記ROI（T）の動きを検出するために、Z軸上の前記ROI（T）の前記空間位置が決定されるように構成されることを特徴とする、請求項1または2に記載の電子装置（10）。
前記ROI（T）の前記Z軸位置は、生成された連続的な画像フレーム（FR1'-FR3'）間の前記ROI（T）の大きさの違いから決定されるように構成され、前記決定に基づいて、前記光学系（14）は、既存の方式で調整されるように構成されることを特徴とする、請求項3に記載の電子装置（10）。
前記追跡ユニット（16）は、マクロブロック毎に前記ROI追跡を実行するように構成され、ここで該ROI追跡は、現在の画像フレーム（FRC）の現在のマクロブロック（MB）の画素が、前記ROI領域（T4）に属するか、または背景領域（BG4）に属するかを決定するように行われ、その決定は、前記ROI領域が既に把握されている前の画像フレーム（FRP）の色内容に基づくことを特徴とする、請求項1から4のいずれかに記載の電子装置（10）。
前記追跡ユニット（16）は、前記現在の画像フレーム（FRC）の追跡ウィンドウ（TWC）の各マクロブロック（MB）を、前記前の画像フレーム（FRP）に投影するように構成され、前記ROI領域（T4）および背景領域（BG4）の色内容を決定するために、前記マクロブロック（PMB）毎に、検索範囲（SB）が決定されるように構成されることを特徴とする、請求項5に記載の電子装置（10）。
前記現在のマクロブロック（MB）の最適マッチングが、そのために決定された前記検索範囲（SB）内にあることを確実にするために、前記検索範囲（SB）は、前記前の画像フレーム（FRP）における前記投影されたマクロブロック（PMB）を各方向において拡張することによって作成されるように構成されることを特徴とする、請求項6に記載の電子装置（10）。
前記検索範囲（SB）は、前記前の画像フレーム（FRP）における前記投影されたマクロブロック（PMB）を、推定された動的領域と等しくなる距離だけ各方向において拡張することによって作成されるように構成されることを特徴とする、請求項7に記載の電子装置（10）。
前記追跡ユニット（16）は、
前記前の画像フレーム（FRP）の前記検索範囲（SB）におけるROI領域（T4）および背景領域（BG4）を決定し、その決定は、前記前の画像フレーム（FRP）のROIマスク（M4）に基づいて行い、
前記検索範囲（SB）の前記ROI領域（T4）および前記背景領域（BG4）に関する色ヒストグラムを形成し、
前記ROI領域（T4）および背景領域（BG4）に関する前記色ヒストグラムを分析し、
前記分析の結果に基づいて、前記現在の画像フレーム（FRC）の前記現在のマクロブロック（MB）の前記画素の状態について、前記ROI領域（T4）に属するか、前記背景領域（BG4）に属するかを決定し、
この決定に基づき、前記現在のROIマスクを更新する、
ように構成されることを特徴とする、請求項5から8のいずれかに記載の電子装置（10）。
前記ROI領域（T4）および背景領域（BG4）に関する前記色ヒストグラムの前記分析は、前記現在のマクロブロック（MB）の前記画素がROI画素と背景画素のいずれであるかを示す確率に基づいて実行されるように構成されることを特徴とする、請求項9に記載の電子装置（10）。
前記前の画像フレーム（FRP）の前記検索範囲（SB）内の前記ROI領域（T4）が、前記前の画像フレーム（FRP）の前記検索範囲（SB）の前記背景領域（BG4）と、いくつかの色内容を共有することが発見された場合、前記追跡ユニット（16）は、前記以前のROIマスク（M4）内の前記検索範囲（SB）における前記現在のマクロブロック（MB）のための最適位置を求めるために、形状マッチング手順を実行するように構成されることを特徴とする、請求項9または10に記載の電子装置（10）。
前記追跡ユニット（16）は、前記形状マッチング手順に絶対差の和（Sum of Absolute Difference; SAD）方法を適用するように構成されることを特徴とする、請求項11に記載の電子装置（10）。
前記SAD方法は、確率ドメインにおいて実行されるように構成され、前記最適マッチングは、そのために決定された前記検索範囲（SB）における、前記現在のマクロブロック（MB）のために決定されるように構成されることを特徴とする、請求項12に記載の電子装置（10）。
前記識別ユニット（15）は、前記ROIを含む前記決定された範囲（WIN1、WIN2）の中央および周囲の色内容の統計に基づいて、前記ROIマスクを生成するように構成されることを特徴とする、請求項1から13に記載の電子装置（10）。
識別ユニット（15）は、前記決定された範囲（WIN3）の画素が対象物（T3）に属するか否かを決定するために、前記決定された範囲（WIN3）内およびその周囲に検索範囲（REC1、REC2）を生成し、また、これらの範囲（REC1、REC2、WIN3）間の局所的色内容を分析するように構成されることを特徴とする、請求項14に記載の電子装置（10）。
識別ユニット（15）は、前記決定された範囲（WIN3）内の画素毎に、ヒストグラムベースのマッチングと、前記ROIマスクにおける近傍画素を統合するために、バイナリ拡張処理とを実行するように構成されることを特徴とする、請求項14または15に記載の電子装置（10）。
ビデオ画像処理において、次のように：
関心領域（region-of-interest; ROI）（T、T1-T5）を含む画像フレーム（I、FRC、FRP、FR、VFV1-VFV3、FR1-FR3、FR1'-FR3'）が、イメージ領域から生成され、
前記ビデオ画像処理中にROI追跡処理を実行するために、ROI（T、T1-T5）が前記画像フレーム（VFV1-VFV3）から識別され、
前記ROI（T、T1-T5）が、前記ビデオ画像処理中に、前記画像フレーム（FRC、FRP、FR）から追跡され、
前記ROI（T、T1-T5）の前記追跡結果が、光学系（14）を調整するために、自動焦点ユニット（12）に提供され、
前記カメラユニット（11）に接続される前記光学系（14）が、前記カメラユニット（11）の焦点を前記ROI（T、T1-T5）に合わせるために調整される、
焦点を調整するため方法であって、前記画像処理において、前記生成された画像フレーム（FR1-FR3、FR1'-FR3'）における前記ROI（T）の前記空間位置は、いかなる推定量も使用せずに決定されることを特徴とする、方法。
前記空間位置は、前記画像フレーム（FR1-FR3）における前記ROI（T）の平面位置（XY）であることを特徴とする、請求項17に記載の方法。
前記イメージ領域の奥行方向における前記ROI（T）の動きを検出するために、Z軸上の前記ROI（T）の前記空間位置が決定されることを特徴とする、請求項17または18に記載の方法。
生成された連続的な画像フレーム（FR1'-FR3'）間の前記ROI（T）の大きさの違いから、前記ROI（T）の前記Z軸位置が決定され、前記決定に基づいて、前記光学系（14）は、既存の方式で調整されることを特徴とする、請求項19に記載の方法。
前記ROI追跡段階において、前記ROI追跡がマクロブロック毎に実行され、該ROI追跡において、前記現在の画像フレーム（FRC）の前記現在のマクロブロック（MB）の画素が、前記ROI領域（T4）に属するか、または前記背景領域（BG4）に属するかが決定され、その決定は、前記ROI領域が既に把握されている前記前の画像フレーム（FRP）の色内容に基づくことを特徴とする、請求項17から20のいずれかに記載の方法。
前記ROI追跡段階において、前記現在の画像フレーム（FRC）の前記追跡ウィンドウ（TWC）の各マクロブロック（MB）が前記前の画像フレーム（FRP）に投影され、前記ROI領域（T4）および背景領域（BG4）の色内容を決定するために、前記マクロブロック（PMB）毎に、検索範囲（SB）が決定されることを特徴とする、請求項21に記載の方法。
前記現在のマクロブロック（MB）の最適マッチングが、そのために決定された前記検索範囲（SB）内にあることを確実にするために、前記検索範囲（SB）は、前記前の画像フレーム（FRP）における前記投影されたマクロブロック（PMB）を各方向において拡張することによって作成されることを特徴とする、請求項22に記載の方法。
前記検索範囲（SB）は、前記前の画像フレーム（FRP）における前記投影されたマクロブロック（PMB）を、推定された動的領域と等しくなる距離だけ各方向において拡張することによって作成されることを特徴とする、請求項23に記載の方法。
前記ROI追跡段階において、
前記前の画像フレーム（FRP）の前記検索範囲（SB）において、ROI領域（T4）および背景領域（BG4）が決定され、その決定は、前記前の画像フレーム（FRP）のROIマスク（M4）に基づき、
前記検索範囲（SB）の前記ROI領域（T4）および前記背景領域（BG4）に関する色ヒストグラムが形成され、
前記ROI領域（T4）および背景領域（BG4）に関する前記色ヒストグラムが分析され、
前記分析結果に基づいて、前記現在の画像フレーム（FRC）の前記現在のマクロブロック（MB）の前記画素の状態が、前記ROI領域（T4）に属するか、前記背景領域（BG4）に属するかについて決定され、
この決定に基づき、前記現在のROIマスクが更新される、
ことを特徴とする、請求項21から24のいずれかに記載の方法。
前記ROI領域（T4）および背景領域（BG4）に関する前記色ヒストグラムの前記分析は、前記現在のマクロブロック（MB）の画素がROI画素と背景画素のいずれであるかを示す確率に基づいて実行されることを特徴とする、請求項25に記載の方法。
前記前の画像フレーム（FRP）の前記検索範囲（SB）内の前記ROI領域（T4）が、前記前の画像フレーム（FRP）の前記検索範囲（SB）の前記背景領域（BG4）と、いくつかの色内容を共有する場合、前記以前のROIマスク（M4）内の前記検索範囲（SB）内における前記現在のマクロブロック（MB）のための最適位置を求めるために、形状マッチング手順が実行されることを特徴とする、請求項25または26に記載の方法。
前記ROI追跡段階において、前記形状マッチング手順に絶対差の和（Sum of Absolute Difference; SAD）方法を適用することを特徴とする、請求項27に記載の方法。
前記SAD方法は、確率ドメインにおいて実行され、前記最適マッチングは、そのために決定された前記検索範囲（SB）における前記現在のマクロブロック（MB）のために決定されることを特徴とする、請求項28に記載の方法。
前記ROI識別段階において、前記ROIを含む前記決定された範囲（WIN1、WIN2）の中央およびその周囲の前記色内容の統計に基づいて、前記ROIマスクが生成されることを特徴とする、請求項17から29のいずれかに記載の方法。
前記ROI識別段階において、前記決定された範囲（WIN3）の画素が対象物（T3）に属するか否かを決定するために、前記決定された範囲（WIN3）内およびその周囲に検索範囲（REC1、REC2）は生成され、また、これらの範囲（REC1、REC2、WIN3）間の局所的色内容は分析されることを特徴とする、請求項30に記載の方法。
前記ROI識別段階において、前記決定された範囲（WIN3）内の画素毎に、ヒストグラムベースのマッチングは実行され、その後、前記ROIマスクにおける近傍画素を統合するために、バイナリ拡張処理が実行されることを特徴とする、請求項30または31に記載の方法。
ROI追跡結果を自動焦点ユニット（12）に提供するためのビデオ画像処理用のプログラム（30）であって、前記自動焦点ユニットは、前記光学系（14）を調整するために、前記追跡結果に基づいてROI（T、T1-T5）を分析するように構成され、前記光学系は、前記カメラユニット（11）の焦点を前記ROI（T、T1-T5）に合わせるように該カメラユニットに接続され、また、前記プログラム（30）は、記録手段手段（MEM）と、プロセッサ（CPU）によって実行可能であり、かつ前記記録手段（MEM）に書き込まれているプログラムコード（31）とを含み、プログラムコード（31）は、
カメラユニット（11）によって生成された前記画像フレーム（VFV1-VFV3）から、前記ROI（T、T1-T5）を識別するように構成される第1のコード手段（31.1）と、
前記ビデオ画像処理中に、前記画像フレーム（FRC、FRP、FR）から前記ROI（T、T1-T5）の追跡を実行するように構成される第２のコード手段（31.2）と、
を含み、
前記プログラムコード（31）は、さらに、いかなる推定量も使用せずに、前記生成された画像フレーム（FR1-FR3、FR1'-FR3'）における前記ROI（T）の前記空間位置を決定するように構成される第3のコード手段（31.3）を含むことを特徴とする、
プログラム。
前記プログラムコード（31）は、前記空間位置として、前記画像フレーム（FR1-FR3）における前記ROI（T）の平面位置（XY）を決定するように構成される、第4のコード手段（31.4）を含むことを特徴とする、請求項33に記載のプログラム（30）。
前記プログラムコード（31）は、前記イメージ領域の奥行方向における前記ROI（T）の動きを検出するために、Z軸上の前記ROI（T）の前記空間位置を決定するように構成される第5のコード手段（31.5）を含むことを特徴とする、請求項33または34に記載のプログラム（30）。
前記プログラムコード（31）は、前記生成された画像フレーム（FR1'-FR3'）間の前記ROI（T）の大きさの違いから、前記ROI（T）の前記Z軸位置を決定するように構成される第6のコード手段（31.6）を含み、前記決定に基づいて、前記光学系（14）は、既存の方式で調整されるように構成されることを特徴とする、請求項35に記載のプログラム（30）。
前記プログラムコード（31）は、マクロブロック毎に前記ROI追跡を実行するように構成されされる第7のコード手段（31.7）を含み、ここで該ROI追跡は、前記現在の画像フレーム（FRC）の前記現在のマクロブロック（MB）の画素が、前記ROI領域（T4）に属するか、または前記背景領域（BG4）に属するかを決定するように構成され、その決定は、前記ROI領域が既に把握されている前記前の画像フレーム（FRP）の色内容に基づくように構成されることを特徴とする、請求項33から36のいずれかに記載のプログラム（30）。
前記プログラムコード（31）は、前記現在の画像フレーム（FRC）の前記追跡ウィンドウ（TWC）の各マクロブロック（MB）を、前記前の画像フレーム（FRP）に投影するように構成される第8のコード手段（31.8）を含み、前記ROI領域（T4）および背景領域（BG4）の色内容を決定するために、前記マクロブロック（PMB）毎に、検索範囲（SB）は決定されるように構成されることを特徴とする、請求項37に記載のプログラム（30）。
前記プログラムコード（31）は、前記現在のマクロブロック（MB）の最適マッチングが、そのために決定された前記検索範囲（SB）内にあることを確実にするために、前記前の画像フレーム（FRP）における前記投影されたマクロブロック（PMB）を各方向において拡張することによって前記検索範囲（SB）を作成するように構成される、第9のコード手段（31.9）を含むことを特徴とする、請求項38に記載のプログラム（30）。
前記プログラムコード（31）は、前記前の画像フレーム（FRP）における前記投影されたマクロブロック（PMB）を、推定された動的領域と等しくなる距離だけ各方向において拡張することによって、前記検索範囲（SB）を作成するように構成される第10のコード手段（31.10）を含むことを特徴とする、請求項39に記載のプログラム（30）。
前記プログラムコード（31）は、
前記前の画像フレーム（FRP）の前記検索範囲（SB）におけるROI領域（T4）および背景領域（BG4）を決定し、その決定は、前記前の画像フレーム（FRP）のROIマスクに基づいて行い、
前記検索範囲（SB）の前記ROI領域（T4）および前記背景領域（BG4）に関する色ヒストグラムを形成し、
前記ROI領域（T4）および背景領域（BG4）に関する前記色ヒストグラムを分析し、
前記分析の結果に基づいて、前記現在の画像フレーム（FRC）の前記現在のマクロブロック（MB）の前記画素の状態について、前記ROI領域（T4）に属するか、前記背景領域（BG4）に属するかを決定し、
この決定に基づき、前記現在のROIマスクを更新する、
ように構成される第11のコード手段（31.11）を含むことを特徴とする、請求項37〜40のいずれかに記載のプログラム（30）。
前記プログラムコード（31）は、前記ROI領域（T4）および背景領域（BG4）に関する前記色ヒストグラムの前記分析を、前記現在のマクロブロック（MB）の画素がROI画素と背景画素のどちらかであるかを示す確率に基づいて実行するように構成される第12のコード手段（31.12）を含むことを特徴とする、請求項41に記載のプログラム（30）。
前記プログラムコード（31）は、前記前の画像フレーム（FRP）の前記検索範囲（SB）内の前記ROI領域（T4）が、前記前の画像フレーム（FRP）の前記検索範囲（SB）の前記背景領域（BG4）と、いくつかの色内容を共有することを発見し、また、前記以前のROIマスク（M4）内の前記検索範囲（SB）における前記現在のマクロブロック（MB）のための最適位置を求めるために、形状マッチング手順を実行するように構成される第13のコード手段（31.13）を含むことを特徴とする、請求項42に記載のプログラム（30）。
前記プログラムコード（31）は、前記形状マッチング手順に絶対差の和（Sum of Absolute Difference; SAD）方法を適用するように構成される第14のコード手段（31.14）を含むことを特徴とする請求項43に記載のプログラム（30）。
前記プログラムコード（31）は、確率ドメインにおいて前記SAD方法を実行するように構成される第15のコード手段（31.15）を含み、前記最適マッチングは、そのために決定された前記検索範囲（SB）における前記現在のマクロブロック（MB）のために決定されるように構成されることを特徴とする、請求項44に記載のプログラム（30）。
前記プログラムコード（31）は、前記ROIを含む前記決定された範囲（WIN1、WIN2）の中央および周囲の色内容の統計に基づいて、前記ROIマスクを生成するように構成される第16のコード手段（31.16）を含むことを特徴とする、請求項33から45のいずれかに記載のプログラム（30）。
前記プログラムコード（31）は、前記決定された範囲（WIN1、WIN2）内およびその周囲において検索範囲（REC1,REC2）を生成し、また、前記決定された範囲（WIN3）の画素が対象物（T3）に属するか否かを決定するために、これらの範囲（REC1、REC2、WIN3）間の局所的色内容を分析するように構成される第17のコード手段（31.17）を含むことを特徴とする、請求項46に記載のプログラム（30）。
前記プログラムコード（31）は、前記決定された範囲（WIN3）内の画素毎に、ヒストグラムベースのマッチングと、前記ROIマスクにおける近傍画素を統合するために、バイナリ拡張処理とを実行するように構成される第18のコード手段（31.18）を含むことを特徴とする、請求項46または47に記載のプログラム（30）。