JP2004252748A

JP2004252748A - Image processing method and image processor

Info

Publication number: JP2004252748A
Application number: JP2003043029A
Authority: JP
Inventors: Nobuyuki Matsumoto; 信幸松本; Osamu Hori; 修堀; Takashi Ida; 孝井田; Hidenori Takeshima; 秀則竹島
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2003-02-20
Filing date: 2003-02-20
Publication date: 2004-09-09

Abstract

<P>PROBLEM TO BE SOLVED: To accurately trace a target movable body in a moving image even when a change between images can not approximated by affine transformation and an area to be traced of the target movable body is a small. <P>SOLUTION: In an image processing method for tracing the target movable body in the moving image comprises a background color estimation process (step A1) for estimating a background color of the moving image, a reference histogram preparation process (step A2) for preparing a reference histogram which is a color histogram of a reference area of the target movable body by removing the estimated background color and a tracing processing process (step A3) for tracing the target movable body by color histogram matching using the reference histogram. <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、動画像中の対象動物体を追跡するための画像処理方法及び画像処理装置に関する。
【０００２】
【従来の技術】
動画像中の対象動物体を追跡する技術は、動画像中の自動車や不審者を追跡して検出する監視システムで利用されている。また、この技術は、動画像中のある物体に予め関連情報（名前，値段など）を付与しておき、画面に表示される動画像中のこの物体をユーザがマウス等を用いてポインティングすれば関連情報を画面に提示するような映像を制作するためのアンカー領域の指定などに利用される。これによって、テレビドラマを見ながら俳優が身に付けている時計をユーザがマウスでクリックしてインターネットショッピングによって購入したり、スポーツ観戦中に所望の選手のプロフィールを表示させたり、また、試合中の選手の動きを解析してチームの戦略分析等に応用することも可能になる。
【０００３】
動画像中の対象動物体の追跡技術の具体的なアルゴリズムの一つとして、Ａｆｆｉｎｅ変換推定を用いた物体追跡手法がある（例えば、特許文献１参照。）。これは、フレーム間での対象動物体の移動・変形が、Ａｆｆｉｎｅ変換であると仮定して、このＡｆｆｉｎｅ変換を表すＡｆｆｉｎｅパラメータを推定して物体を追跡する手法である。本手法について、図１０を用いて説明する。
【０００４】
参照画像に対してユーザの手入力によって参照物体領域を指定し、図１０（Ａ）に示すように、追跡に効果的な有限個の特徴点（追跡点）のみを選択する。特徴点選択は、例えば次のようにして行なう。まず、参照物体領域内に定められた間隔で特徴点候補を格子状に配置して、特徴点候補を中心に定められた大きさのブロック（例えば８×８画素）を決める。そして、特徴点候補を中心に、周囲領域においてブロックマッチングを行い、周囲領域とのブロックマッチングを行うことにより得られた類似度が低い、つまり、処理画像との追跡を行う際のブロックマッチング誤り（追跡誤り）の起こりにくいと判断される特徴点候補を選択する。
【０００５】
続いて、図１０（Ｂ）のように、参照画像に配置された特徴点を中心としたブロックと処理画像とでブロックマッチングを行い、移動ベクトルを推定する。一般に、これら移動ベクトルには外れ値が含まれている。よって、ロバスト推定により物体の変換を表すＡｆｆｉｎｅパラメータを推定し、このＡｆｆｉｎｅパラメータを用いて参照物体領域にＡｆｆｉｎｅ変換を施す。この結果、図１０（Ｃ）に示すように、処理画像での対象動物体領域の位置及び形状を推定することができる。
【０００６】
また、色ヒストグラムを用いて参照物体領域に対応する領域を処理画像中から推定するアルゴリズムもある（例えば、非特許文献１参照。）。これは、マッチングを取るための特徴量として、参照物体領域内の色ヒストグラムを用いるもので、処理画像の色ヒストグラムとの照合を取ることで物体位置を検出する方法である。
【０００７】
まず、図１１のように、画像中から参照ヒストグラムを作成するための参照物体領域４８を設定する。この設定は、参照画像においてユーザがマニュアル操作によって矩形領域や楕円領域を設定してもよいし、また、背景差分法やフレーム間差分法といった画像処理を用いて参照物体領域を自動生成してもよい。続いて、この参照物体領域の色ヒストグラムを作成する。色ヒストグラムの計算では、色空間における各軸をＱ分割した３次元色ヒストグラムを作成する。図１２では、色空間をＲＧＢ空間、Ｑ＝４分割として図示してある。参照物体領域内での各画素値が色空間内のＱ^３＝６４個の立方体それぞれに何個含まれるかを数えて、参照物体領域での色ヒストグラムを以下の式（１）として算出する。ヒストグラムの性質上、参照物体領域内の総画素数は以下の（２）となる。
【０００８】
【数１】

【０００９】
次に、以下の式（３）に示す各色ヒストグラムの要素を総画素数で割った正規化ヒストグラムを作成する。
【００１０】
【数２】

【００１１】
つまり、参照物体領域内の総画素数は１．０に正規化されている。この式（３）を参照物体領域の色ヒストグラムを表す参照ヒストグラムとする。
【００１２】
続いて、処理画像中の探索範囲内に候補物体領域を設定し、同様に候補ヒストグラムを作成する（以下に示す式（４））。ヒストグラム間のマッチング度合いを計る尺度としては、以下の式（５）に示すヒストグラムインターセクションＳ_ＨＭを用いる。
【００１３】
【数３】

【００１４】
ヒストグラムインターセクションＳ_ＨＭは、ヒストグラムが正規化されているため、０から１までの値を取り、この類似度が最大となる候補ヒストグラムを持つ候補物体領域を、処理画像中の探索範囲内で探して、参照物体領域の移動先として出力する。
【００１５】
【特許文献１】
特開２００１−１３２５９１公報
【００１６】
【特許文献２】
ＭｉｃｈａｅｌＪ．Ｓｗａｉｎ，ＤａｎａＨ．Ｂａｌｌａｒｄ著「ＣｏｌｏｒＩｎｄｅｘｉｎｇ」ＩｎｔｅｒｎａｔｉｏｎａｌＪｏｕｒｎａｌｏｆＣｏｍｐｕｔｅｒＶｉｓｉｏｎ，ｖｏｌ．７，ｎｏ．１，ｐｐ．１１−３２，１９９１．
【００１７】
【発明が解決しようとする課題】
しかしながら、Ａｆｆｉｎｅ変換推定を用いた物体追跡手法では、推定されたＡｆｆｉｎｅパラメータによって対象動物体の変形・追跡を行うために、参照画像における対象動物体から処理画像における対象動物体への変化がＡｆｆｉｎｅ変換で近似できない場合には正しい追跡を行うことができないという問題があった。また、複数のブロックマッチングを用いて物体を追跡するため、追跡領域がある程度の大きさを持つ必要もあった。
【００１８】
一方、色ヒストグラムを用いた物体追跡手法では、対象領域内の色ヒストグラムを用いて追跡を行うため、対象動物体の持つ色成分に大きな変化が生じない限り、形状に大きな変化が生じても追跡することができ、追跡領域が小さな領域の場合でも追跡できる。しかし、一般に、参照物体領域を指定する際、矩形領域や楕円領域で指定するために、参照ヒストグラムとして、対象動物体以外の色成分が反映された色ヒストグラムが作成されてしまい、追跡精度の低下を招く問題があった。
【００１９】
本発明は前記のような事情を考慮してなされたもので、画像間での変化をＡｆｆｉｎｅ変換で近似できず、追跡対象領域が小さな対象動物体を、精度良く動画像中から追跡することが可能な画像処理方法及び画像処理装置を提供することを目的とする。
【００２０】
【課題を解決するための手段】
本発明は、動画像中の対象動物体を追跡する画像処理方法において、動画像の背景色を推定する背景色推定工程と、前記背景色推定工程によって推定された背景色を除いた対象動物体の参照領域の色ヒストグラムである参照ヒストグラムを作成する参照ヒストグラム作成工程と、前記参照ヒストグラム作成工程によって作成された参照ヒストグラムを用いて、色ヒストグラムマッチングによって対象動物体を追跡する追跡処理工程とを備える。
【００２１】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について説明する。図１は本実施形態に係わる画像処理装置の機能構成を示すブロック図である。本実施形態における画像処理装置は、例えば半導体メモリ、ＣＤ−ＲＯＭ、ＤＶＤ、磁気ディスク等の記録媒体に記録された画像処理プログラムを読み込み、この画像処理プログラムによって動作が制御されるコンピュータによって実現される。本実施形態における画像処理装置では、動画像中の対象動物体を追跡するための画像処理を実行する。動画像中の対象動物体としては、例えばテレビドラマの動画像中の俳優、スポーツを撮影した動画像中の選手やボール、監視システムにおいて撮影された動画像中の自動車や不審者等がある。
【００２２】
図１に示すように、本実施形態における画像処理装置は、画像処理部１０、入力装置１２、表示装置１４、及び記憶装置１６が設けられて構成されている。
【００２３】
画像処理部１０は、入力装置１２あるいは記憶装置１６から動画像データを入力し、動画像中の対象動物体を追跡するための画像処理をする機能を有している。
【００２４】
画像処理部１０には、背景色推定部２０、参照ヒストグラム作成部２１、探索領域設定部２２、処理画像ヒストグラム生成部２３、追跡処理部２４、位置補正部２５、追跡結果出力部２６などが設けられる。
【００２５】
背景色推定部２０は、記憶装置１６から入力される参照画像データから動画像の背景色を推定する。参照画像データは、例えば処理対象とする動画像データに含まれる先頭フレームの画像データとする。背景色推定部２０は、背景色の推定方法として、動画像に含まれる参照画像に対する画素値の統計処理によって背景色を推定する方法、参照画像中の対象動物体に該当する参照領域を設定し、この参照領域の近傍領域である部分背景領域の色情報から背景色を推定する方法、参照画像に対する位置の指定を入力し、この入力した位置の画像値に基づいて背景色を推定する方法を用いることができる。
【００２６】
参照ヒストグラム作成部２１は、背景色推定部２０によって推定された背景色を動画像中から除き、対象動物体に該当する参照領域の色ヒストグラムである参照ヒストグラムを作成する。
【００２７】
探索領域設定部２２は、処理対象とする動画像データに含まれる処理画像データから、追跡の対象とする対象動物体に該当する探索領域の候補を設定する。
【００２８】
処理画像ヒストグラム生成部２３は、探索領域設定部２２によって設定された対象動物体に該当する探索領域の色ヒストグラムを作成する。
【００２９】
追跡処理部２４は、参照ヒストグラム作成部２１よって作成された参照ヒストグラムと、処理画像ヒストグラム生成部２３によって生成された色ヒストグラムとを用いた色ヒストグラムマッチングによって動画像中の対象動物体を追跡する。
【００３０】
位置補正部２５は、追跡処理部２４により追跡される対象動物体の位置を、この対象動物体の物体領域の重心へ移動して位置補正する（第２実施形態）。
【００３１】
追跡結果出力部２６は、追跡処理部２４による対象動物体についての追跡結果、あるいはさらに位置補正部２５によって位置補正された対象動物体の追跡結果を、例えば表示装置１４において表示される動画像中に出力する。
【００３２】
入力装置１２は、ユーザのマニュアル操作によって画像処理部１０に対する制御指示などを入力するためのキーボードや、マウスなどのポインティングデバイスの他、画像処理の対象とする動画像データを入力するためのビデオカメラ等の撮影手段を含む。
【００３３】
表示装置１４は、画像処理部１０による処理対象とする動画像の他、動画像中において画像処理によって追跡される対象動物体に該当する領域、参照画像における物体領域を明示する表示を行なう。
【００３４】
記憶装置１６は、画像処理の対象とする動画像データなどが記憶されるもので、動画像データには背景色推定工程において処理対象とする参照画像データ１６ａ、対象動物体の追跡対象とする処理画像データ１６ｂを含む。参照画像データ１６ａは、例えば動画像データの先頭フレームの画像を用いる。
【００３５】
（第１実施形態）
第１実施形態では、参照画像をもとに背景色を考慮した対象動物体に該当する参照ヒストグラムを作成し、この参照ヒストグラムを用いて処理画像（動画像）中の対象動物体を追跡する。
【００３６】
図２は、第１実施形態の画像処理方法の処理の流れを示すフローチャートである。
図２において、ステップＡ１は動画像（参照画像）の背景色を推定する背景色推定工程、ステップＡ２は推定された背景色を除いて対象動物体の参照領域の色ヒストグラムである参照ヒストグラムを作成する参照ヒストグラム作成工程、ステップＡ３は参照ヒストグラムを用いて色ヒストグラムマッチングによって対象動物体を追跡する追跡処理工程、ステップＡ４は動画像（処理画像）中の対象動物体に該当する領域の候補を設定する探索領域設定工程、ステップＡ５は対象動物体に該当する領域対象とした色ヒストグラムを生成する処理画像ヒストグラム生成工程である。
【００３７】
まず、動画像中の対象動物体の追跡を開始する前に、背景色推定部２０による背景色推定工程では、例えば動画像の先頭フレームの画像を参照画像として入力し、動画像中の背景色を推定する（ステップＡ１）。すなわち、後段の参照ヒストグラム作成工程において、参照ヒストグラムの作成対象とする参照領域から除く色を決定する。
【００３８】
小さな対象動物体を追跡する技術は、主にスポーツ映像中の選手・ボールの追跡や、自動車・不審者等の監視に応用される。例えば、図３（Ａ）に示すような、サッカーの様子を撮影して得られた動画像では、画像の多くの部分を占める領域がサッカーフィールドの芝生の色をしている。また、道路での自動車監視の場合でも、同様に、画像の多くの部分を路面の色が占める。このような場合、背景色推定部２０は、参照画像データをもとにして、背景色を次の（１）〜（３）に示す方法による画素値の統計処理によって求める。
【００３９】
（１）画面内の全画素の平均色、
（２）画面内の全画素の中間色（メディアン）、
（３）画面内の色ヒストグラムを取り、その最も度数が大きい色（最頻色）。
【００４０】
なお、何れの方法を用いて背景色を推定するかは、何れかの方法が予め設定されていても良いし、ユーザのマニュアル操作によって入力装置１２から入力された指示に応じて、何れかの方法が設定されるようにしても良い。
【００４１】
また、サッカーフィールドのように画像中においてある単色が背景の多くの部分を占める場合には、前述した（１）〜（３）の方法を用いることができるが、単色が背景の多くの部分を占めない画像を対象とする場合には画像中の限られた部分背景領域を対象として、次のようにして背景色を推定することもできる。
【００４２】
まず、参照画像中から例えば追跡対象とする対象動物体を含む参照物体領域を設定する。参照物体領域の設定は、例えば参照画像においてユーザが入力装置１２（マウスなど）を用いたマニュアル操作によって矩形領域や楕円領域を設定してもよいし、また、背景差分法やフレーム間差分法といった画像処理を用いて参照物体領域を自動生成してもよい。
【００４３】
図４には、サッカーの動画像において追跡する参照物体（ここではプレーヤの１人）の位置を表す参照物体領域３０が楕円領域によって設定された例を示している。背景色推定部２０は、参照物体領域３０が設定されると、参照物体領域３０からある一定の幅だけ広げた領域を図４に示すように部分背景領域３２として設定する。そして、参照物体領域３０より外側で部分背景領域３２より内側の領域に含まれる画素について、上述した統計処理によって平均色、中間色、あるいは最頻色を算出することによって背景色を求める。
【００４４】
また、ユーザが参照画像において入力装置１２（マウスなど）を用いたマニュアル操作によって、背景色の推定に参照すべき位置の指定を入力し、この指定された位置をもとに背景色を推定することもできる。
【００４５】
図５には、参照画像において、入力装置１２（マウスなど）の操作でポインタ３４を任意の位置に移動させ、例えば矩形を表す対角の２点を指定することで、背景色の推定に用いる背景指定領域３６が設定された例を示している。
【００４６】
背景色推定部２０は、前述のようにして任意に設定された背景指定領域３６に含まれる画素について、上述した統計処理によって平均色、中間色、あるいは最頻色を算出することによって背景色を求める。
【００４７】
なお、図５に示すように、背景指定領域３６を設定するだけでなく、ユーザによるマニュアル操作によって参照画像中の一点を指示させて背景色を決めることも可能である。この場合、背景色推定部２０は、ポインタ３４によって指定された位置の画素の色を背景色とする、あるいは指定された位置の周辺の数画素をもとにして背景色を算出するものとする。
【００４８】
こうして、背景色の推定に有効な領域（あるいは位置）を設定することで、参照画像中の背景色が一様でない（ある単色が多くを占めていない）場合であっても、後段の参照ヒストグラムの作成の際に参照画像から削除すべき色を決定することができる。例えばサッカーの動画像中においてサッカーフィールドの芝がはがれている箇所が多いために芝と土の色が混在している、あるいは日向の部分と日陰の部分がある場合などであっても対応することができる。
【００４９】
次に、参照ヒストグラム作成部２１による参照ヒストグラム作成工程において、背景色推定工程によって推定された背景色を除いて、対象動物体の参照領域の色ヒストグラムである参照ヒストグラムを作成する（ステップＡ２）。
【００５０】
例えば、参照ヒストグラム作成部２１は、図６に示す参照画像中で設定される参照物体領域３８の画像データをもとに、各画素値から色ヒストグラムを作成する。従来の色ヒストグラムの作成では、図７（ａ１）に示すような参照物体領域３８内の全ての画素を用いて色ヒストグラムを求めていたので、図７（ａ２）に示すような、物体色（ここではサッカープレーヤ）でない背景色を含んだ色ヒストグラムが作成されてしまう。例えば、サッカープレーヤが身につけているシャツやパンツが赤系統の色であれば赤色付近（物体色）に画素数の頻度のピークが現れ、その他にサッカーフィールドの芝による緑色付近に画素数の頻度のピークが現れる。
【００５１】
本実施形態の参照ヒストグラム作成部２１は、図７（ｂ１）に示す参照物体領域３８（図７（ａ１）と同じ）から、背景色推定工程（ステップＡ１）で推定された背景色を除いた図７（ｂ２）に示す参照物体画像を生成し、この画像をもとにして色ヒストグラムを生成する。図７（ｂ３）には、背景色を除いた参照物体画像をもとに生成される色ヒストグラムを示している。図７（ｂ３）に示すように、背景色が画像から除かれているので、色ヒストグラムでは物体色のみに画素数の頻度のピークが現れる。参照ヒストグラム作成部２１は、こうして生成した色ヒストグラムを、動画像の対象動物体を追跡するための色ヒストグラムマッチングに用いる参照ヒストグラムとして保持する。
【００５２】
これによって、参照ヒストグラムは追跡したい小物体の色成分のみを持つ色ヒストグラムとなり、対象動物体が異なる背景色を持つ領域に移動した際でも、精度良く追跡することが可能になる。
【００５３】
なお、図７（ａ２）（ｂ３）に示す色ヒストグラムは、説明を簡単にするために単純なヒストグラムを例にしているが、例えばサッカープレーヤが身につけているシャツ、パンツ、ソックスなどの色がそれぞれ異なれば、それぞれの部分に該当する色にピークが現れるヒストグラムとなる。
【００５４】
次に、追跡結果出力部２６による追跡処理工程において、参照ヒストグラム作成工程で作成された参照ヒストグラムを用いて、色ヒストグラムマッチングによって動画像（処理画像）中の対象動物体を追跡する（ステップＡ３）。
【００５５】
そのために、まず探索領域設定部２２による探索領域設定工程において、追跡する対象物体を探す処理画像データを入力し、処理画像中の探索範囲内に候補物体領域を設定する（ステップＡ４）。処理画像ヒストグラム生成部２３による処理画像ヒストグラム生成工程では、探索領域設定部２２により設定された候補物体領域について色ヒストグラム（候補ヒストグラム）を生成する。この際、処理画像ヒストグラム生成部２３は、候補物体領域中における背景色の削除は行わない。
【００５６】
追跡処理部２４は、参照画像をもとに生成した参照ヒストグラムと、処理画像ヒストグラム生成部２３により生成された候補ヒストグラムとの間で色ヒストグラムマッチングを実行する。
【００５７】
ここで、参照ヒストグラムと候補ヒストグラムの間のマッチング度合いを計る尺度としては、ヒストグラムインターセクションＳ_ＨＭを用いる（従来の技術の説明参照）。
【００５８】
追跡処理部２４は、探索領域設定部２２により複数の候補物体領域が設定される場合、各候補物体領域の候補ヒストグラムを対象として、参照ヒストグラムとのマッチングを実行する。そして、追跡処理部２４は、この類似度が最大となる候補ヒストグラムを持つ候補物体領域を、処理画像中の探索範囲内で探して、参照物体領域の移動先として対象動物体位置を出力する。
【００５９】
追跡結果出力部２６は、表示装置１４において動画像（処理画像）を表示する際に、追跡処理部２４から出力される対象動物体位置に応じて、画像中の該当する対象動物体の位置を表す、例えば矩形枠を表示する。
【００６０】
以上の処理を、処理画像について継続的に実行することで、動画像中の対象動物体を追跡することができる。
【００６１】
このようにして、動画像の背景色を除いて作成された参照ヒストグラムを用いて色ヒストグラムマッチングを行うことによって、画像間での変化をＡｆｆｉｎｅ変換で近似できず、追跡対象領域が小さな対象動物体でも、精度良く動画像中から追跡することができる。
【００６２】
（第２実施形態）
第２実施形態は、前述した第１実施形態における画像処理に、物体重心への移動による時間方向のブレ補正の処理を追加するものである。
【００６３】
図８は、本発明の第２実施形態の画像処理方法の処理の流れを示すフローチャートである。
【００６４】
図８において、ステップＢ１は動画像の背景色を推定する背景色推定工程、ステップＢ２は推定された背景色を除いて対象動物体の参照領域の色ヒストグラムである参照ヒストグラムを作成する参照ヒストグラム作成工程、ステップＢ３は参照ヒストグラムを用いて色ヒストグラムマッチングによって対象動物体位置を出力する追跡処理工程、ステップＢ４は出力された対象動物体位置を対象動物体の物体領域の重心へ移動して位置補正する位置補正工程、ステップＢ５は動画像（処理画像）中の対象動物体に該当する領域の候補を設定する探索領域設定工程、ステップＢ６は対象動物体に該当する領域対象とした色ヒストグラムを生成する処理画像ヒストグラム生成工程である。
【００６５】
なお、背景色推定工程、参照ヒストグラム作成工程、追跡処理工程、探索領域設定工程、及び処理画像ヒストグラム生成工程は、前述した第１実施形態で説明したように処理を行い、処理画像内での対象動物体位置を出力するものとして詳細な説明を省略する。
【００６６】
位置補正部２５による位置補正工程では、追跡処理部２４より出力された対象動物体位置を対象動物体の物体領域の重心へ移動して位置補正を行う（ステップＢ４）。
【００６７】
第１実施形態で説明した色ヒストグラムを用いた小物体の追跡は、対象物体の見え方やパターンの情報は用いず、色成分の割合、つまり色ヒストグラムのみを用いて追跡を行うために、物体領域の形状が大きく変化する場合でも追跡することが可能である。しかし、追跡処理に物体領域の形状情報を全く用いていないために、追跡結果を時間方向で見ると微小にブレが生じる場合がある。
【００６８】
例えば、矩形の物体領域を用いて色ヒストグラムによって追跡を行うと、図９（Ａ）に示す対象動物体領域４０が推定される。この場合に出力される対象動物体位置は矩形領域の中心４２として出力される。これは、対象としている追跡動物体からややずれた位置を指し示している。この問題に対応するために、色ヒストグラムによる追跡処理によって算出した対象動物体位置を、対象動物体の物体領域の重心位置へ移動することによって位置補正を行う。
【００６９】
対象動物体の物体領域は、次の（１）〜（３）として求めることができる。
（１）対象動物体位置に設定された追跡領域（矩形や楕円）から背景色を除いた領域、
（２）追跡領域内のヒストグラムを取り、その最頻色を持つ画素の集まり、
（３）参照ヒストグラム内に、ある頻度以上で含まれる色を持つ領域。
【００７０】
なお、（１）〜（３）の何れを物体領域とするかは、予め設定されていても良いし、ユーザのマニュアル操作によって入力装置１２から入力された指示に応じて設定されるようにしても良い。
【００７１】
例えば、対象動物体領域として背景色を除いて求めると（前述した（１）の領域）、図９（Ｂ）に示すように領域４４のようになる。この領域４４の重心位置は４６になる。位置補正部２５は、この重心位置４６を、補正した対象動物体位置として出力する。
【００７２】
追跡結果出力部２６は、表示装置１４において動画像（処理画像）を表示する際に、追跡処理部２４から出力された補正された対象動物体位置に応じて、画像中の該当する対象動物体の位置を表す表示をする。
【００７３】
以上のように、対象動物体位置を対象動物体の物体領域の重心へ移動して位置補正を行うことによって、色ヒストグラムによる追跡によって生じる時間方向への微小なブレを軽減して追跡の精度を高めることが可能になる。
【００７４】
なお、前述した説明では、動画像中から１つの対象動物体について追跡を行なうものとして説明しているが、複数の対象動物体の追跡を並行して実行するようにしても良い。この場合、各対象動物体について同様の処理を実行すれば良い。
【００７５】
また、前述した説明では、処理画像データ（対象動物体を含む動画像データ）は、記憶装置１６に記憶されているものとしているが、入力装置１２（ビデオカメラ）によって撮影された動画像データを対象とすることも可能である。この場合、入力装置１２から入力される動画像データと関連する画像、例えば予め同じ範囲で撮影された画像を参照画像として、背景色を削除した参照ヒストグラムの作成を行っておくものとする。
【００７６】
また、上述した実施形態において記載した手法は、コンピュータに実行させることのできるプログラムとして、例えば磁気ディスク（フレキシブルディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリなどの記録媒体に書き込んで各種装置に提供することができる。また、通信媒体により伝送して各種装置に提供することも可能である。本装置を実現するコンピュータは、記録媒体に記録されたプログラムを読み込み、または通信媒体を介してプログラムを受信し、このプログラムによって動作が制御されることにより、上述した処理を実行する。
【００７７】
また、本願発明は、前述した実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。更に、前記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件から幾つかの構成要件が削除されても効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
【００７８】
【発明の効果】
以上詳述したように本発明によれば、動画像の背景色を推定し、推定された背景色を除いて対象動物体の参照領域の色ヒストグラムである参照ヒストグラムを作成し、参照ヒストグラムを用いて色ヒストグラムマッチングによって対象動物体を追跡することによって、画像間での変化をＡｆｆｉｎｅ変換で近似できず、追跡対象領域が小さな対象動物体でも、精度良く動画像中から追跡できる。
【図面の簡単な説明】
【図１】本実施形態に係わる画像処理装置の機能構成を示すブロック図。
【図２】本発明の第１実施形態における画像処理方法の処理の流れを示すフローチャート。
【図３】背景色の推定方法を説明するための図。
【図４】部分背景領域より背景色を推定する方法を説明するための図。
【図５】マニュアル操作により背景色を指定する方法を説明するための図。
【図６】参照物体領域が設定された参照画像の一例を示す図。
【図７】背景色を除いた参照ヒストグラムの作成方法を示す図。
【図８】第２実施形態の画像処理方法の処理の流れを示すフローチャート。
【図９】物体領域重心への位置補正方法を説明するための図。
【図１０】Ａｆｆｉｎｅ変換推定を用いた物体追跡手法を示す図。
【図１１】色ヒストグラムを用いた物体追跡手法の処理対象とする参照画像の一例を示す図。
【図１２】ＲＧＢ色空間を表す図。
【符号の説明】
１０…画像処理部、１２…入力装置、１４…表示装置、１６…記憶装置、２０…背景色推定部、２１…参照ヒストグラム作成部、２２…探索領域設定部、２３…処理画像ヒストグラム生成部、２４…追跡処理部、２５…位置補正部、２６…追跡結果出力部、３０…参照物体領域、３２…部分背景領域、３４…ポインタ、３６…背景指定領域、３８…参照物体領域、４０…矩形の対象動物体領域、４２…対象動物体位置、４４…物体領域、４６…物体領域の重心位置。[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an image processing method and an image processing apparatus for tracking a target moving object in a moving image.
[0002]
[Prior art]
The technology for tracking a target moving object in a moving image is used in a monitoring system that tracks and detects a car or a suspicious person in the moving image. In addition, this technique is to add related information (name, price, etc.) to a certain object in a moving image in advance, and point the user to this object in the moving image displayed on the screen using a mouse or the like. It is used for specifying an anchor area for producing a video in which related information is presented on a screen. This allows the user to click on the clock worn by the actor with a mouse while watching a TV drama to purchase by Internet shopping, to display the profile of a desired player during a sports game, It is also possible to analyze the movement of players and apply it to team strategy analysis and the like.
[0003]
As one of the specific algorithms of the tracking technology of the target moving object in the moving image, there is an object tracking method using Affine transform estimation (for example, see Patent Document 1). This is a method of estimating an Affine parameter representing the Affine transformation and tracking the object, assuming that the movement / deformation of the target moving object between frames is an Affine transformation. This method will be described with reference to FIG.
[0004]
A reference object region is specified for the reference image by a user's manual input, and only a finite number of feature points (tracking points) effective for tracking are selected as shown in FIG. The feature point selection is performed, for example, as follows. First, feature point candidates are arranged in a grid at intervals determined in the reference object region, and a block (for example, 8 × 8 pixels) of a predetermined size is determined centering on the feature point candidates. Then, block matching is performed in the surrounding region around the feature point candidate, and the similarity obtained by performing block matching with the surrounding region is low, that is, a block matching error ( A feature point candidate that is determined to be unlikely to cause tracking error) is selected.
[0005]
Subsequently, as shown in FIG. 10B, block matching is performed between the block centered on the feature points arranged in the reference image and the processed image, and a motion vector is estimated. Generally, these movement vectors include outliers. Therefore, the Affine parameter representing the transformation of the object is estimated by the robust estimation, and the Affine transformation is performed on the reference object region using the Affine parameter. As a result, as shown in FIG. 10C, the position and shape of the target moving object region in the processed image can be estimated.
[0006]
There is also an algorithm for estimating a region corresponding to a reference object region from a processed image using a color histogram (for example, see Non-Patent Document 1). In this method, a color histogram in a reference object region is used as a feature amount for matching, and an object position is detected by comparing the color histogram with a color histogram of a processed image.
[0007]
First, as shown in FIG. 11, a reference object region 48 for creating a reference histogram from an image is set. This setting may be performed by a user manually setting a rectangular area or an elliptical area in the reference image, or automatically generating a reference object area using image processing such as a background difference method or an inter-frame difference method. Good. Subsequently, a color histogram of the reference object area is created. In the calculation of the color histogram, a three-dimensional color histogram in which each axis in the color space is Q-divided is created. FIG. 12 illustrates the color space as an RGB space and Q = 4 divisions. Each pixel value in the reference object area is Q in the color space. ³ = 64 cubes are counted, and a color histogram in the reference object area is calculated as the following equation (1). Due to the nature of the histogram, the total number of pixels in the reference object region is (2) below.
[0008]
(Equation 1)

[0009]
Next, a normalized histogram is created by dividing each color histogram element shown in the following equation (3) by the total number of pixels.
[0010]
(Equation 2)

[0011]
That is, the total number of pixels in the reference object area is normalized to 1.0. This equation (3) is used as a reference histogram representing the color histogram of the reference object area.
[0012]
Subsequently, a candidate object area is set within the search range in the processed image, and a candidate histogram is created in the same manner (formula (4) shown below). As a measure for measuring the degree of matching between histograms, a histogram intersection S represented by the following equation (5) is used. _HM Is used.
[0013]
[Equation 3]

[0014]
Histogram intersection S _HM Takes a value from 0 to 1 because the histogram is normalized, searches for a candidate object region having a candidate histogram with the maximum similarity in the search range in the processed image, and Output as the destination of
[0015]
[Patent Document 1]
JP 2001-132591 A
[0016]
[Patent Document 2]
Michael J. et al. Swain, Dana H .; Ballard, "Color Indexing," International Journal of Computer Vision, vol. 7, no. 1, pp. 11-32, 1991.
[0017]
[Problems to be solved by the invention]
However, in the object tracking method using the Affine transform estimation, since the deformation and tracking of the target moving object are performed using the estimated Affine parameters, the change from the target moving object in the reference image to the target moving object in the processed image is an Affine transform. If the approximation cannot be performed, correct tracking cannot be performed. In addition, since the object is tracked using a plurality of block matchings, the tracking area has to have a certain size.
[0018]
On the other hand, in the object tracking method using the color histogram, tracking is performed using the color histogram in the target area, so tracking is performed even if a large change occurs in the shape unless there is a large change in the color component of the target moving object Can be tracked even if the tracking area is a small area. However, in general, when specifying a reference object area, a color histogram reflecting color components other than the target moving object is created as a reference histogram because a rectangular area or an elliptical area is specified, and tracking accuracy is reduced. Had a problem.
[0019]
The present invention has been made in view of the above-described circumstances, and it is possible to accurately track a target moving object in which a change between images cannot be approximated by the Affine transform and a tracking target area is small from a moving image with high accuracy. An object of the present invention is to provide a possible image processing method and image processing apparatus.
[0020]
[Means for Solving the Problems]
The present invention relates to an image processing method for tracking a target moving object in a moving image, wherein a background color estimating step of estimating a background color of the moving image; and a target moving object excluding the background color estimated in the background color estimating step. A reference histogram creating step of creating a reference histogram, which is a color histogram of the reference region, and a tracking processing step of tracking the target moving object by color histogram matching using the reference histogram created by the reference histogram creating step. .
[0021]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram illustrating a functional configuration of the image processing apparatus according to the present embodiment. The image processing apparatus according to the present embodiment is realized by a computer that reads an image processing program recorded on a recording medium such as a semiconductor memory, a CD-ROM, a DVD, and a magnetic disk, and whose operation is controlled by the image processing program. . The image processing apparatus according to the present embodiment executes image processing for tracking a target moving object in a moving image. The target moving object in the moving image includes, for example, an actor in a moving image of a TV drama, a player or a ball in a moving image of a sport, a car or a suspicious person in a moving image shot in a monitoring system, and the like.
[0022]
As shown in FIG. 1, the image processing apparatus according to the present embodiment includes an image processing unit 10, an input device 12, a display device 14, and a storage device 16.
[0023]
The image processing unit 10 has a function of inputting moving image data from the input device 12 or the storage device 16 and performing image processing for tracking a target moving object in the moving image.
[0024]
The image processing unit 10 includes a background color estimation unit 20, a reference histogram creation unit 21, a search area setting unit 22, a processed image histogram generation unit 23, a tracking processing unit 24, a position correction unit 25, a tracking result output unit 26, and the like. Can be
[0025]
The background color estimation unit 20 estimates a background color of a moving image from reference image data input from the storage device 16. The reference image data is, for example, the image data of the first frame included in the moving image data to be processed. The background color estimating unit 20 sets a method of estimating a background color by statistical processing of pixel values for a reference image included in a moving image and a reference region corresponding to a target moving object in the reference image as a method of estimating the background color. A method of estimating a background color from color information of a partial background area which is a neighboring area of the reference area, a method of inputting designation of a position with respect to a reference image, and estimating a background color based on an image value at the input position Can be used.
[0026]
The reference histogram creating unit 21 removes the background color estimated by the background color estimating unit 20 from the moving image, and creates a reference histogram that is a color histogram of the reference area corresponding to the target moving object.
[0027]
The search area setting unit 22 sets a search area candidate corresponding to the target moving object to be tracked from the processed image data included in the moving image data to be processed.
[0028]
The processed image histogram generation unit 23 creates a color histogram of the search area corresponding to the target moving object set by the search area setting unit 22.
[0029]
The tracking processing unit 24 tracks the target moving object in the moving image by color histogram matching using the reference histogram created by the reference histogram creating unit 21 and the color histogram created by the processed image histogram creating unit 23.
[0030]
The position correction unit 25 corrects the position of the target moving object tracked by the tracking processing unit 24 by moving the position to the center of gravity of the object area of the target moving object (second embodiment).
[0031]
The tracking result output unit 26 displays the tracking result of the target moving object by the tracking processing unit 24 or the tracking result of the target moving object whose position is further corrected by the position correcting unit 25 in a moving image displayed on the display device 14, for example. Output to
[0032]
The input device 12 includes a keyboard and a pointing device such as a mouse for inputting a control instruction and the like to the image processing unit 10 by a user's manual operation, and a video camera for inputting moving image data to be subjected to image processing. And the like.
[0033]
The display device 14 displays a moving image to be processed by the image processing unit 10, a region corresponding to a target moving object tracked by image processing in the moving image, and an object region in the reference image.
[0034]
The storage device 16 stores moving image data to be subjected to image processing and the like. The moving image data includes reference image data 16a to be processed in the background color estimation step, processing to be tracked by the target moving object. It includes image data 16b. As the reference image data 16a, for example, the image of the first frame of the moving image data is used.
[0035]
(1st Embodiment)
In the first embodiment, a reference histogram corresponding to a target moving object in consideration of a background color is created based on a reference image, and the target moving object in a processed image (moving image) is tracked using the reference histogram.
[0036]
FIG. 2 is a flowchart illustrating a flow of processing of the image processing method according to the first embodiment.
In FIG. 2, a step A1 is a background color estimation step of estimating a background color of a moving image (reference image), and a step A2 creates a reference histogram which is a color histogram of a reference region of a target moving object excluding the estimated background color. Step A3 is a tracking processing step of tracking a target moving object by color histogram matching using the reference histogram, and Step A4 is setting a candidate of a region corresponding to the target moving object in a moving image (processed image). Step A5 is a processing image histogram generation step of generating a color histogram for an area corresponding to the target moving object.
[0037]
First, before starting the tracking of the target moving object in the moving image, in the background color estimating step by the background color estimating unit 20, for example, the image of the first frame of the moving image is input as a reference image, and the background color in the moving image is input. Is estimated (step A1). That is, in the reference histogram creation step at the subsequent stage, the color to be excluded from the reference area for which the reference histogram is created is determined.
[0038]
The technology for tracking a small target moving object is mainly applied to tracking of a player or a ball in a sports image and monitoring of a car, a suspicious person, and the like. For example, in a moving image obtained by photographing a state of soccer as shown in FIG. 3A, an area occupying a large part of the image has a soccer field lawn color. Similarly, in the case of monitoring a vehicle on a road, the color of the road surface occupies a large part of the image. In such a case, the background color estimating unit 20 obtains the background color by the statistical processing of the pixel values by the following methods (1) to (3) based on the reference image data.
[0039]
(1) average color of all pixels in the screen,
(2) intermediate color (median) of all pixels in the screen,
(3) A color histogram within the screen is obtained, and the color having the highest frequency (the most frequent color) is obtained.
[0040]
Note that which method is used to estimate the background color may be set in advance by any method, or may be set in accordance with an instruction input from the input device 12 by a user's manual operation. A method may be set.
[0041]
When a single color occupies a large portion of the background in an image such as a soccer field, the above-described methods (1) to (3) can be used. When an image that does not occupy is targeted, a background color can also be estimated for a limited partial background region in the image as follows.
[0042]
First, a reference object area including a target moving object to be tracked is set from the reference image. The reference object area may be set by, for example, setting a rectangular area or an elliptical area by a user's manual operation using the input device 12 (mouse or the like) in the reference image, or by a background difference method or an inter-frame difference method. The reference object region may be automatically generated using image processing.
[0043]
FIG. 4 shows an example in which a reference object area 30 indicating the position of a reference object (here, one of the players) to be tracked in a soccer moving image is set by an elliptical area. When the reference object region 30 is set, the background color estimating unit 20 sets a region that is widened by a certain width from the reference object region 30 as a partial background region 32 as shown in FIG. Then, for the pixels included in the region outside the reference object region 30 and inside the partial background region 32, the background color is obtained by calculating the average color, the intermediate color, or the mode color by the above-described statistical processing.
[0044]
Further, the user inputs a designation of a position to be referred to in estimating the background color by a manual operation using the input device 12 (mouse or the like) in the reference image, and estimates the background color based on the designated position. You can also.
[0045]
In FIG. 5, the reference image is used for estimating the background color by moving the pointer 34 to an arbitrary position by operating the input device 12 (mouse or the like) and specifying, for example, two diagonal points representing a rectangle. An example in which a background designation area 36 is set is shown.
[0046]
The background color estimating unit 20 obtains a background color by calculating an average color, an intermediate color, or a mode color by the above-described statistical processing for the pixels included in the background designation area 36 arbitrarily set as described above. .
[0047]
As shown in FIG. 5, in addition to setting the background designation area 36, it is also possible to specify a point in the reference image by a manual operation by the user to determine the background color. In this case, the background color estimating unit 20 uses the color of the pixel at the position specified by the pointer 34 as the background color, or calculates the background color based on several pixels around the specified position. .
[0048]
In this way, by setting an area (or position) effective for estimating the background color, even if the background color in the reference image is not uniform (a certain single color does not occupy much), the reference histogram in the subsequent stage is used. Can be determined from the reference image at the time of creation. For example, if there are many places in the soccer video where the turf of the soccer field has peeled off, the colors of the turf and the soil are mixed, or there is a case where there is a sunlit part and a shaded part Can be.
[0049]
Next, in the reference histogram creation step by the reference histogram creation unit 21, a reference histogram that is a color histogram of the reference region of the target moving object is created except for the background color estimated in the background color estimation step (step A2).
[0050]
For example, the reference histogram creating unit 21 creates a color histogram from each pixel value based on the image data of the reference object area 38 set in the reference image shown in FIG. In the conventional creation of a color histogram, a color histogram is obtained using all the pixels in the reference object area 38 as shown in FIG. 7 (a1). Here, a color histogram including a background color that is not a soccer player) is created. For example, if the shirt or pants worn by a soccer player is of a reddish color, the frequency of the number of pixels appears near red (object color), and the frequency of the number of pixels near green in soccer field grass. Appears.
[0051]
The reference histogram creation unit 21 of the present embodiment removes the background color estimated in the background color estimation step (Step A1) from the reference object area 38 (same as FIG. 7A1) shown in FIG. 7B1. A reference object image shown in FIG. 7B2 is generated, and a color histogram is generated based on this image. FIG. 7 (b3) shows a color histogram generated based on the reference object image excluding the background color. As shown in FIG. 7 (b3), since the background color has been removed from the image, the color histogram shows a peak in the frequency of the number of pixels only in the object color. The reference histogram creation unit 21 holds the color histogram thus generated as a reference histogram used for color histogram matching for tracking a target moving object of a moving image.
[0052]
As a result, the reference histogram becomes a color histogram having only the color component of the small object to be tracked, so that even when the target moving object moves to a region having a different background color, it is possible to track with high accuracy.
[0053]
The color histograms shown in FIGS. 7 (a2) and 7 (b3) are simple histograms for the sake of simplicity. For example, the colors of shirts, pants, socks, etc. worn by a soccer player may be changed. If they are different, a histogram is obtained in which peaks appear in colors corresponding to the respective portions.
[0054]
Next, in the tracking processing step by the tracking result output unit 26, the target moving object in the moving image (processed image) is tracked by color histogram matching using the reference histogram created in the reference histogram creating step (step A3). .
[0055]
For this purpose, first, in a search area setting step by the search area setting unit 22, processing image data for searching for a target object to be tracked is input, and a candidate object area is set within a search range in the processing image (step A4). In the processing image histogram generation step by the processing image histogram generation unit 23, a color histogram (candidate histogram) is generated for the candidate object area set by the search area setting unit 22. At this time, the processed image histogram generation unit 23 does not delete the background color in the candidate object area.
[0056]
The tracking processing unit 24 performs color histogram matching between the reference histogram generated based on the reference image and the candidate histogram generated by the processed image histogram generation unit 23.
[0057]
Here, as a scale for measuring the degree of matching between the reference histogram and the candidate histogram, the histogram intersection S _HM (See the description of the prior art).
[0058]
When a plurality of candidate object regions are set by the search region setting unit 22, the tracking processing unit 24 performs matching with the reference histogram for the candidate histogram of each candidate object region. Then, the tracking processing unit 24 searches for a candidate object region having the candidate histogram with the highest similarity in the search range in the processed image, and outputs the target moving object position as a destination of the reference object region.
[0059]
When displaying a moving image (processed image) on the display device 14, the tracking result output unit 26 determines the position of the corresponding target moving object in the image according to the position of the target moving object output from the tracking processing unit 24. For example, a rectangular frame is displayed.
[0060]
By continuously performing the above processing on the processed image, the target moving object in the moving image can be tracked.
[0061]
In this manner, by performing color histogram matching using the reference histogram created by removing the background color of the moving image, the change between images cannot be approximated by the Affine transform, and the target moving object having a small tracking target area However, it is possible to track a moving image with high accuracy.
[0062]
(2nd Embodiment)
In the second embodiment, a process of blur correction in the time direction due to the movement to the physical center of gravity is added to the image processing in the above-described first embodiment.
[0063]
FIG. 8 is a flowchart showing the flow of processing of the image processing method according to the second embodiment of the present invention.
[0064]
In FIG. 8, step B1 is a background color estimation step of estimating the background color of the moving image, and step B2 is a reference histogram creation for creating a reference histogram which is a color histogram of the reference area of the target moving object excluding the estimated background color. Step B3 is a tracking processing step of outputting the target moving object position by color histogram matching using the reference histogram, and Step B4 is moving the output target moving object position to the center of gravity of the object area of the target moving object to correct the position. Step B5 is a search area setting step of setting a candidate for an area corresponding to a target moving object in a moving image (processed image), and Step B6 is a step of generating a color histogram for an area corresponding to the target moving object. This is a process of generating a processed image histogram.
[0065]
The background color estimation step, the reference histogram creation step, the tracking processing step, the search area setting step, and the processed image histogram generation step perform the processing as described in the above-described first embodiment. Detailed description will be omitted as the object position is output.
[0066]
In the position correcting step by the position correcting unit 25, the position of the target moving object output from the tracking processing unit 24 is moved to the center of gravity of the object region of the target moving object to perform position correction (step B4).
[0067]
The tracking of a small object using the color histogram described in the first embodiment does not use the appearance or pattern information of the target object, but uses the ratio of the color components, that is, the tracking using only the color histogram. It is possible to track even when the shape of the region changes greatly. However, since the shape information of the object area is not used at all in the tracking process, there is a case where the tracking result is slightly blurred when viewed in the time direction.
[0068]
For example, when tracking is performed by a color histogram using a rectangular object region, the target moving object region 40 shown in FIG. 9A is estimated. The target moving object position output in this case is output as the center 42 of the rectangular area. This indicates a position slightly deviated from the target tracking object. In order to cope with this problem, the position correction is performed by moving the target moving object position calculated by the tracking process using the color histogram to the position of the center of gravity of the object region of the target moving object.
[0069]
The object region of the target moving object can be obtained as the following (1) to (3).
(1) An area obtained by removing the background color from the tracking area (rectangle or ellipse) set at the target moving object position,
(2) A histogram within the tracking area is taken, and a set of pixels having the most frequent colors is obtained.
(3) An area having a color included in the reference histogram at a certain frequency or higher.
[0070]
Note that which of (1) to (3) is set as the object area may be set in advance, or may be set according to an instruction input from the input device 12 by a manual operation of the user. Is also good.
[0071]
For example, when the target moving object region is obtained by removing the background color (the above-described region (1)), the region becomes a region 44 as shown in FIG. 9B. The position of the center of gravity of this area 44 is 46. The position correction unit 25 outputs the center-of-gravity position 46 as the corrected target moving body position.
[0072]
When displaying a moving image (processed image) on the display device 14, the tracking result output unit 26 responds to the corrected target moving object position output from the tracking processing unit 24 and displays the corresponding target moving object in the image. Display indicating the position of.
[0073]
As described above, by moving the target moving object position to the center of gravity of the object area of the target moving object and performing position correction, minute blurring in the time direction caused by tracking by the color histogram is reduced, and tracking accuracy is improved. It is possible to increase.
[0074]
In the above description, tracking is performed for one target moving object in a moving image. However, tracking of a plurality of target moving objects may be performed in parallel. In this case, the same processing may be performed for each target moving object.
[0075]
In the above description, the processing image data (moving image data including the target moving object) is stored in the storage device 16, but the moving image data shot by the input device 12 (video camera) is It is also possible to target. In this case, it is assumed that an image related to the moving image data input from the input device 12, for example, an image captured in the same range in advance is used as a reference image to create a reference histogram with a background color deleted.
[0076]
In addition, the method described in the above-described embodiment can be executed on a recording medium such as a magnetic disk (flexible disk, hard disk, etc.), an optical disk (CD-ROM, DVD, etc.), a semiconductor memory, etc. It can be written and provided to various devices. Further, it is also possible to transmit the data via a communication medium and provide the data to various devices. A computer that realizes the present apparatus reads the program recorded on the recording medium or receives the program via the communication medium, and executes the above-described processing by controlling the operation of the program.
[0077]
Further, the present invention is not limited to the above-described embodiment, and can be variously modified in an implementation stage without departing from the gist of the invention. Furthermore, the embodiments include inventions at various stages, and various inventions can be extracted by appropriately combining a plurality of disclosed constituent elements. For example, in a case where an effect can be obtained even if some components are deleted from all the components shown in the embodiment, a configuration in which the components are deleted can be extracted as an invention.
[0078]
【The invention's effect】
As described in detail above, according to the present invention, a background color of a moving image is estimated, a reference histogram which is a color histogram of a reference region of the target moving object is created by removing the estimated background color, and the reference histogram is used. By tracking the target moving object by color histogram matching, changes between images cannot be approximated by the Affine transform, and even a target moving object with a small tracking target area can be accurately tracked from within a moving image.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a functional configuration of an image processing apparatus according to an embodiment.
FIG. 2 is a flowchart illustrating a flow of processing of an image processing method according to the first embodiment of the present invention.
FIG. 3 is a diagram for explaining a method of estimating a background color.
FIG. 4 is a view for explaining a method of estimating a background color from a partial background area.
FIG. 5 is a view for explaining a method of designating a background color by a manual operation.
FIG. 6 is a diagram illustrating an example of a reference image in which a reference object area is set.
FIG. 7 is a diagram showing a method of creating a reference histogram excluding a background color.
FIG. 8 is a flowchart illustrating a flow of processing of an image processing method according to a second embodiment.
FIG. 9 is a diagram for explaining a method for correcting a position to the center of gravity of an object region.
FIG. 10 is a diagram showing an object tracking method using Affine transform estimation.
FIG. 11 is a diagram showing an example of a reference image to be processed by an object tracking method using a color histogram.
FIG. 12 is a diagram illustrating an RGB color space.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 10 ... Image processing part, 12 ... Input device, 14 ... Display device, 16 ... Storage device, 20 ... Background color estimation part, 21 ... Reference histogram creation part, 22 ... Search area setting part, 23 ... Processing image histogram generation part, Reference numeral 24: tracking processing unit, 25: position correction unit, 26: tracking result output unit, 30: reference object area, 32: partial background area, 34: pointer, 36: background designation area, 38: reference object area, 40: rectangle , Target object body position, 44 ... object area, 46 ... center of gravity position of the object area.

Claims

In an image processing method for tracking a target moving object in a moving image,
A background color estimation step of estimating the background color of the moving image;
A reference histogram creation step of creating a reference histogram that is a color histogram of a reference area of the target moving object excluding the background color estimated by the background color estimation step,
A tracking processing step of tracking a target moving object by color histogram matching using the reference histogram created in the reference histogram creating step.

2. The image processing method according to claim 1, wherein in the background color estimating step, a background color is estimated by statistical processing of pixel values for a reference image included in the moving image.

In the background color estimation step,
A step of setting a reference region corresponding to the target moving object in the reference image included in the moving image,
2. The method according to claim 1, further comprising estimating a background color from color information of a partial background area that is a neighborhood area of the reference area.

In the background color estimation step,
Inputting designation of a position with respect to a reference image included in the moving image,
A step of estimating a background color based on the image value at the position input in this step.

2. The image processing method according to claim 1, further comprising a position correction step of moving a position of the target moving object tracked by the tracking processing step to a center of gravity of an object area of the target moving object to correct the position.

In an image processing device that tracks a target moving object in a moving image,
Background color estimation means for estimating the background color of the moving image;
Reference histogram creating means for creating a reference histogram which is a color histogram of the reference area of the target moving object excluding the background color estimated by the background color estimating means,
An image processing apparatus comprising: a tracking processing unit that tracks a target moving object by color histogram matching using the reference histogram created by the reference histogram creating unit.