JP2002083306A - 画像処理装置 - Google Patents

Abstract

(57)【要約】 【課題】 輪郭線追跡の信頼性を高める。 【解決手段】 時系列に入力される入力画像系列中の各
入力画像の中から、対象輪郭線を持つ対象画像を検出す
る画像処理装置において、入力画像特徴検出手段と、輪
郭線包含領域生成手段と、輪郭線検出手段と、対象画像
検出手段と、処理ブロック要素識別手段と、参照画像特
徴量再計算部とを備え、前記輪郭線包含領域生成手段
は、目的類似性領域検出部と、輪郭線包含領域追跡部と
を具備する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は画像処理装置に関
し、例えば、画像を編集・加工したり、対象画像（画像
オブジェクト）単位に伝送するために、入力画像中から
特定の画像オブジェクトを画素単位に検出する場合など
に適用し得るものである。

【０００２】

【従来の技術】従来のこの種の画像処理装置に相当する
ものとしては、次の文献１に記載した方法がある。

【０００３】文献１：特開平６−２９２０６３号公報 この文献１の動領域検出方法では、フィールド間あるい
はフレーム間の輝度信号差から時間的な輝度変化を画素
単位に求め、輝度変化が存在する領域を画像オブジェク
ト（動領域）として検出する。

【０００４】当該動領域検出方法では、上記輝度変化の
存在を判定するために、画像の全画面または部分画面に
おける輝度信号差の平均値に応じた閾値を設定し、輝度
信号差が該閾値よりも大きい画像領域を画像オブジェク
トと判定する。

【０００５】

【発明が解決しようとする課題】しかしながら、上記の
方法では、画像を撮影するカメラが振動する場合や、画
像中の背景の一部に位置変動が見られる場合、その振動
や位置変動がわずかなものであっても、背景領域での時
間的輝度変化が大きくなるために背景領域を誤って画像
オブジェクトと判定してしまう可能性が高かった。

【０００６】換言するなら、上記の方法では、輪郭線追
跡の信頼性が低いために、画像オブジェクトの検出を高
精度かつ安定的に行うことができなかった。

【０００７】一方、画素単位ではなく複数の画素から構
成されたブロック単位で処理を行い、輪郭線を含むブロ
ックによって構成された輪郭線包含領域を用いて画像オ
ブジェクトの検出を行うことも考えられる。これによれ
ば、前記カメラの振動や前記背景の一部に位置変動が見
られる場合でも、その振動や位置変動が一定範囲内のも
のであれば輪郭線包含領域内に吸収することができるた
め、より安定的で、信頼性の高い画像オブジェクトの検
出を実行することが可能である。

【０００８】しかしながらこの方法でも、輪郭線包含領
域の生成方法によっては、画像オブジェクトやその背景
の移動、色彩変化などに適切に対応することができない
可能性がある。

【０００９】

【課題を解決するための手段】かかる課題を解決するた
めに、本発明では、時系列に入力される入力画像系列中
の各入力画像の中から、対象輪郭線を持つ対象画像を検
出する画像処理装置において、（１）前記入力画像を所
定の処理ブロックに分割し、当該入力画像中における画
像特徴量を求め、当該画像特徴量の分布状態を検出する
入力画像特徴検出手段と、（２）初期状態には、所定の
手順により、前記対象輪郭線を含む輪郭線包含処理ブロ
ックを検出して、当該輪郭線包含処理ブロックを構成単
位として輪郭線包含領域を生成する輪郭線包含領域生成
手段と、(３）当該輪郭線包含領域内における輪郭特徴
量の細密な分布状態を検査することで、前記対象輪郭線
を検出する輪郭線検出手段と、（４）検出した当該対象
輪郭線をもとに前記対象画像を検出する対象画像検出手
段と、（５）検出した当該対象画像の入力画像上の位置
に基づいて、前記処理ブロックの構成単位である処理ブ
ロック要素を、当該対象画像に属するか否か識別する処
理ブロック要素識別手段と、（６）当該識別によって、
当該対象画像に属するものとされた処理ブロック要素お
よび／または当該対象画像に属さないものとされた処理
ブロック要素をもとに前記画像特徴量を再計算して再計
算結果を出力する参照画像特徴量再計算部とを備え、
（７）前記輪郭線包含領域生成手段は、前記初期状態以
降の通常状態において、前記入力画像系列中の入力時刻
が早い先入力画像に関して前記参照画像特徴量再計算部
が求めた再計算結果と、入力時刻が遅い後入力画像に関
して前記入力画像特徴検出手段が求めた画像特徴量とを
比較し、当該後入力画像上の処理ブロックごとに画像特
徴類似判定処理を行って、類似度が所定範囲にある目的
類似性領域に属する処理ブロックを検出する目的類似性
領域検出部と、(８)前記通常状態において、当該目的類
似性領域の外周部または内周部に前記輪郭線包含領域を
生成する輪郭線包含領域追跡部とを具備することを特徴
とする。

【００１０】

【発明の実施の形態】（Ａ）実施形態 以下、本発明にかかる画像処理装置の実施形態について
説明する。

【００１１】本実施形態は、画像フレーム内で移動する
画像オブジェクトを含む入力画像フレームを処理するも
のである。

【００１２】（Ａ−１）実施形態の構成 本実施形態の画像処理装置を図１４に示す。

【００１３】図１４において、この画像処理装置は、入
力画像特徴計算部１００と、輪郭候補検出部１０１と、
矩形変換部１０２と、輪郭特徴計算部１０３と、輪郭検
出部１０４と、オブジェクト検出部１０５と、参照画像
特徴計算部１０６とを備えている。

【００１４】入力画像特徴計算部１００は入力画像デー
タＳ１００を入力して入力画像特徴データＳ１０１を出
力する部分で、輪郭候補検出部１０１は入力画像特徴デ
ータＳ１０１と参照画像特徴データＳ１０８を入力して
輪郭候補領域データＳ１０２およびＳ１０９を出力する
部分で、矩形変換部１０２は輪郭候補領域データＳ１０
２を入力して矩形データＳ１０３を出力する部分で、輪
郭特徴計算部１０３は矩形データＳ１０３を入力して輪
郭特徴データＳ１０４を出力する部分で、輪郭検出部１
０４は輪郭特徴データＳ１０４を入力して輪郭データＳ
１０５を出力する部分で、オブジェクト検出部１０５は
輪郭データＳ１０５を入力して画像オブジェクトデータ
Ｓ１０６およびＳ１０７を出力する部分で、参照画像特
徴計算部１０６は画像オブジェクトデータＳ１０７と輪
郭候補領域データＳ１０９を入力して参照画像特徴デー
タＳ１０８を出力する部分である。

【００１５】各データＳ１００〜Ｓ１０９のうち、輪郭
候補領域データＳ１０２とＳ１０９はともに同じ内容の
データであり、単にデータの供給先が異なるだけであ
る。

【００１６】同様に、画像オブジェクトデータＳ１０６
とＳ１０７は基本的に同一仕様、同一内容のデータであ
り、単にデータの供給先が相違するだけである。

【００１７】また、前記入力画像特徴計算部１００は、
本実施形態では、ＡＤ（アナログ−ディジタル）変換さ
れたカラー画像データである入力画像データＳ１００を
入力するものとし、入力画像特徴計算部１００が受け取
るこの入力画像データＳ１００には、例えば、図２
（Ａ）に示すように固定背景だけでなく画像フレーム内
で移動する画像オブジェクト２０１を含む混合画像フレ
ームであるものとする。

【００１８】この入力画像データＳ１００の入力を受け
る入力画像特徴計算部１００は、図１１に示す内部構成
を備えている。

【００１９】 （Ａ−１−１）入力画像特徴計算部の内部構成 図１１において、入力画像特徴計算部１００は、ブロッ
ク分割部３０と、画像特徴計算部３１とを備えている。

【００２０】このうちブロック分割部３０は、入力画像
データＳ１００が表示する入力画像をブロックに分割す
る機能を持つ部分である。当該ブロックは、例えば、１
６×１６画素程度の大きさのブロックであるものとす
る。

【００２１】当該ブロック分割部３０は、図２（Ａ）に
示す前記混合画像フレームからなる入力画像データＳ１
００を入力すると、それをブロックに分割して、分割結
果である分割データＤＳを画像特徴計算部３１に供給す
る。

【００２２】画像特徴計算部３１は、当該分割データＤ
Ｓをもとに所定の画像特徴を計算して、当該計算結果と
しての入力画像特徴データＳ１０１を輪郭候補検出部１
０１に出力する部分である。

【００２３】当該画像特徴としては、例えば、平均色デ
ータを用いるものとする。平均色データとは、例えばＲ
ＧＢ、ＹＭＣ等の色の３原色の階調値を示す画素単位の
画像特徴である色データの、ブロック中の全画素に関す
る平均値である。

【００２４】画像特徴計算部３１から、当該入力画像特
徴データＳ１０１を受け取る輪郭候補検出部１０１の内
部構成は、図１に示す通りである。

【００２５】（Ａ−１−２）輪郭候補検出部の内部構成 図１において、輪郭候補検出部１０１は、処理モード対
応部５０と、領域判定部５１と、フレームメモリ５２
と、探索範囲設定部５３と、高類似性ブロック抽出部５
４と、参照画像特徴メモリ５５と、外周領域生成部５６
とを備えている。

【００２６】このうち処理モード対応部５０は、処理モ
ードに応じて、受け取った入力画像特徴データＳ１０１
の供給先を、領域判定部５１とフレームメモリ５２のあ
いだで切替える部分である。この処理モードには、初期
処理モードと後続処理モードの２通りがある。

【００２７】処理モード対応部５０が処理モードを識別
する方法についてはさまざまな方法が考えられるが、例
えば、入力画像特徴データＳ１０１のなかに混入される
信号によって識別したり、入力画像特徴データＳ１０１
のシーン切替を検出することで識別したり、外部から供
給するモード切替信号ＭＳに応じて識別するようにして
もよい。

【００２８】時系列に入力される一連の入力画像フレー
ム系列（ＦＲ１，ＦＲ２，ＦＲ３，…，ＦＲＭ−１，Ｆ
ＲＭ，ＦＲＭ＋１，…，ＦＲＮ（当該Ｎは自然数で、Ｎ
が大きいほど時間的に後に入力された新しいフレームで
あることを示す））のなかで、例えば入力画像フレーム
ＦＲ１〜ＦＲＭが１つのまとまった意味を持つ部分であ
るものとすると、最初の１または複数フレームだけは前
記初期処理モードで処理し、後続の全フレームは後続処
理フレームで処理することになる。

【００２９】本実施形態では、まとまった意味を持つフ
レームのうち最初の１フレームである先頭フレームＦＲ
１だけは領域判定部５１において初期処理モードで処理
し、後続のＭ−１フレームである後続フレームＦＲ２〜
ＦＲＭについてはフレームメモリ５２等を用いた後続処
理モードで処理するものとする。

【００３０】初期処理モードの処理内容についてもさま
ざまなものが考えられるが、本実施形態では、利用者の
手作業によって設定するものとする。

【００３１】このために、前記領域判定部５１は、先頭
フレームＦＲ１を格納しておくためのメモリを備え、フ
レームＦＲ１の内容をディスプレイ装置に画面表示する
ための表示信号ＤＩを出力するとともに、画面表示され
た先頭フレームＦＲ１の画像内容に対して利用者が指定
した輪郭候補領域（その内部に、画素レベルの精度を持
つ細密な輪郭線が存在し得る領域）を示すポインティン
グ信号ＰＴを入力する機能を装備している。

【００３２】利用者は、画面表示された先頭フレームＦ
Ｒ１の画面内容を目視しながら所定のポインティングデ
バイスを操作することによって、前記ブロックと同じ幅
の帯状の入力軌跡を上書きすることで、領域判定部５１
に対して輪郭候補領域を指定することができる。

【００３３】一例として、図２（Ａ）に示す先頭フレー
ムＦＲ１が画面表示されたものとした場合、利用者は、
図２（Ｂ）の領域２０３のような輪郭候補領域を指定す
ることになる。

【００３４】なお、利用者が目視する画面内容は、各ブ
ロックを平均色データで表示した図２（Ｂ）に示すよう
な画像であってもよく、図２（Ａ）のような入力画像そ
のものであってもよい。

【００３５】前記後続処理モードにおいて、処理モード
対応部５０から後続フレーム（例えばＦＲ２〜ＦＲＭ）
の入力画像特徴データＳ１０１を受け取るフレームメモ
リ５２は、後続フレームを１フレームずつ格納するメモ
リで、当該フレームメモリ５２に格納されているフレー
ムが、高類似性ブロック抽出部５４による処理を受ける
ことになる。

【００３６】高類似性ブロック抽出部５４は、参照画像
特徴メモリ５５に格納されている参照画像特徴データＳ
１０８とフレームメモリ５２に格納されている入力画像
特徴データＳ１０１とを比較して後述する類似性検査を
実行する部分で、類似性検査の結果として得られた類似
性の高いブロック（オブジェクト領域に属するオブジェ
クト領域ブロック）を抽出し、当該ブロックを指定する
高類似性ブロック信号ＡＢを外周領域生成部５６に供給
する。

【００３７】当該類似性検査は、フレームメモリ５４に
格納されている新たな入力フレーム（例えばＦＲＸ。こ
こで、Ｘは、１＜Ｘ＜Ｍの範囲内にある任意の自然数）
上でオブジェクト領域を特定するために行う検査である
が、新たな入力フレーム上の全領域について同時に検査
するわけではなく、探索範囲設定部５３が指定する探索
範囲ごとに、逐次、検査する。

【００３８】探索範囲設定部５３は、参照画像特徴メモ
リ５５に格納されている１つ前に入力され処理されたフ
レーム（例えば、ＦＲＸ−１）の参照画像特徴データＳ
１０８の内容に応じて、当該探索範囲を指定する探索領
域指定信号ＱＥを出力する部分である。

【００３９】高類似性ブロック抽出部５４から高類似性
ブロック信号ＡＢを受け取る外周領域生成部５６は、高
類似性ブロック信号ＡＢによって供給された高類似性ブ
ロックを連結することによって生成することのできるオ
ブジェクト領域の外周に、画一的に１ブロック幅の輪郭
候補領域を生成して、当該輪郭候補領域を示す前記輪郭
候補領域データＳ１０２、Ｓ１０９を出力する部分であ
る。

【００４０】次に、当該輪郭候補検出部１０１から前記
輪郭候補領域データＳ１０２を受け取る矩形変換部１０
２は、輪郭候補領域データＳ１０２として受け取った輪
郭候補領域に矩形変換処理を施して、前記矩形データＳ
１０３を生成する部分で、図９に示す内部構成を有して
いる。

【００４１】（Ａ−１−３）矩形変換部の内部構成 図９において、当該矩形変換部１０２は、切断位置検出
部１０と、非線形変換部１１と、画像検査部１２と、補
完処理部１３とを備えている。

【００４２】矩形変換部１０２が行う矩形変換処理で
は、（図３（Ａ）の）輪郭候補領域２０３を適当な位置
で切断し、その切断線ＣＰを対向する２辺として図３
（Ｂ）の矩形データを生成する。すなわち、図３（Ａ）
の輪郭候補領域データ２０３を図３（Ｂ）の矩形データ
に変換する。

【００４３】切断線ＣＰの位置は、前記切断位置検出部
１０が検出し、検出結果としての切断位置情報ＣＩは、
輪郭候補領域データ２０３を含む輪郭候補領域データＳ
１０２とともに、前記非線形変換部１１に供給する。

【００４４】切断を実行する切断線ＣＰの位置を検出す
る方法としてはさまざまな方法が考えられるが、輪郭候
補領域データＳ１０２によって指定される図２(Ｂ）の
ような輪郭候補検出結果を、例えば、適当な間隔で水平
方向に走査して、走査線と輪郭候補領域２０３が最初に
交差したとき、左側の交点を、当該切断線ＣＰの位置と
するようにしてもよい。

【００４５】切断位置検出部１０と同様に、前記輪郭候
補検出部１０１から輪郭候補領域データＳ１０２を受け
取る画素検査部１２は、輪郭候補領域データＳ１０２が
指定する画像内容を検査して、例えば、図４（Ａ）に示
すように、輪郭候補領域２０３Ａが画像のフレーム枠Ｆ
１によって切取られ、画像フレーム内で幾何学的に閉じ
ていないこと（すなわち、内部に穴を持つ連結図形（リ
ング型のトポロジを有するドーナツ状領域）となってい
ないこと）を検出した場合、出力するフレーム交差信号
ＦＣを能動状態にする部分である。

【００４６】能動状態のフレーム交差信号ＦＣを受け取
った場合、前記補完処理部１３は、画像フレーム内に存
在しない補完領域（仮の輪郭候補領域）４０１を生成し
て、当該補完領域４０１を示す補完領域信号ＶＥを、非
線形変換部１１に供給する。反対に、非能動状態のフレ
ーム交差信号ＦＣを受け取った場合には、当該補完処理
部１３は、当該補完領域信号ＶＥを出力しない。

【００４７】補完領域４０１内の各画素の画素値は、画
像フレームＦ１で切り取られた両端の画素の画素値（す
なわち、部分領域ａの画像フレームＦ１に接触している
画素の画素値と部分領域ｈの画像フレームＦ１に接触し
ている画素の画素値）を円滑かつ緩やかに接続できるよ
うに、線形的な分布を示すように選定する。

【００４８】少なくとも、前記輪郭候補領域データＳ１
０２と切断位置情報ＣＩを受け取る非線形変換部１１
は、前記矩形変換処理を実行して、処理結果としての矩
形データＳ１０３を出力する部分である。

【００４９】非線形変換部１１が実行する矩形変換処理
では、例えば、図３（Ａ）の幾何学的に閉じた領域であ
る輪郭候補領域を構成している各部分領域（ａ、ｂ、
ｃ、ｄ、…、ｎ）を、図３（Ｂ）に示すように、（ｘ軸
方向の）底辺の長さが一定で（ｙ軸方向の）高さが異な
る矩形領域に変換し、隣接する矩形領域を相互に連結す
る。

【００５０】すなわちこの矩形変換処理では、幾何学的
に閉じた図形である図３（Ａ）の輪郭候補領域２０３
を、当該切断線ＣＰで切断して展開し、図３（Ｂ）に示
す図形に変形する。

【００５１】図３（Ａ）では、前記部分領域ａと部分領
域ｎの境界線が前記切断線ＣＰに相当する。

【００５２】図３（Ｂ）において、切断線ＣＰに沿った
方向にｘ軸を、当該ｘ軸に直交して矩形領域ａから矩形
領域ｎに向かう方向にｙ軸を設ける。当該ｙ軸は、図３
（Ａ）の矩形変換前の入力画像上では輪郭候補領域２０
３に沿った点線として示した中心線（閉曲線）ＣＬに相
当し、当該ｙ軸の方向は中心線ＣＬ上の時計回り方向に
相当するものとみることができる。

【００５３】矩形変換前の図３（Ａ）で１本の線分であ
った切断線ＣＰは、矩形変換後には、図３（Ｂ）の最上
部と最下部に配置された２本の線分（対向する２辺）と
なっている。

【００５４】部分領域には、部分領域ａのように２ブロ
ック分の面積を持つ長方形の領域、部分領域ｂのように
１ブロックの半分程度の面積を持つ三角形の領域、部分
領域ｃのように１ブロック分の面積を持つ平行四辺形の
領域、部分領域ｅのように１ブロック分の面積を持つ三
角形の領域、…、部分領域ｈのように３ブロック分の面
積を持つ長方形の領域などがある。当該矩形変換処理で
はこれらの各部分領域を底辺の長さが一定の矩形領域に
変換するために、非線形な幾何学的変換が行われること
になる。

【００５５】したがって、矩形変換後の底辺の長さが同
一の各矩形領域では、その高さが、矩形変換前の各部分
領域の面積にほぼ比例した形状となる。

【００５６】一方、前記補完処理部１３が、例えば前記
補完領域４０１を指定する補完領域信号ＶＥを出力した
場合、当該非線形変換部１１は、輪郭候補領域データＳ
１０２などによって指定される図４(Ａ）の画像フレー
ム内に存在する輪郭候補領域２０３Ａに対し、当該補完
領域４０１を付加することで、図４（Ｂ）に示す矩形デ
ータを完成させることができる。

【００５７】この補完領域（例えば４０１）は、演算量
を低減するために、画像フレーム内に存在するブロック
（図示の例では、部分領域ａと部分領域ｈの一部）を接
続する最短距離に沿った直線的な領域として生成する。

【００５８】当該非線形変換部１１から矩形データＳ１
０３を受け取る前記輪郭特徴計算部１０３は、所定の輪
郭特徴データＳ１０４を計算する部分である。

【００５９】本実施形態では、輪郭特徴データＳ１０４
として、次の式（１）〜（３）で記述される３種類のデ
ータｇ０、ｇ１、ｇ２を用いる。

【００６０】 ｇ０（ｘ，ｙ）＝｜ｐ（ｘ，ｙ）＊ｆ０｜ …（１） ｇ１（ｘ，ｙ）＝｜ｐ（ｘ，ｙ）＊ｆ１｜ …(２） ｇ２（ｘ，ｙ）＝｜ｐ（ｘ，ｙ）＊ｆ２｜ …(３） ここで、ｐ（ｘ，ｙ）は矩形上の座標（ｘ，ｙ）の画素
の持つ画素値、ｆ０、ｆ１、ｆ２は３×３のフィルタ係
数、＊は畳み込み演算を示す。

【００６１】図５は、輪郭特徴計算部１０３における輪
郭特徴データＳ１０４の計算方法を説明する図で、同図
（Ａ）は左斜め４５度方向エッジ検出フィルタｆ０を示
し、同図（Ｂ）は縦方向エッジ検出フィルタフィルタｆ
１を示し、同図（Ｃ）は右斜め４５度方向エッジ検出フ
ィルタフィルタｆ２を示している。

【００６２】図５（Ａ）に示した左斜め４５度方向エッ
ジ検出フィルタｆ０において、３×３マトリクスの対角
線上、左斜め４５度方向には「＋２」の画素値を持つ３
つの画素を配列し、その他の６画素の画素値は、「−
１」である。

【００６３】同様に、図５（Ｂ）に示した縦方向エッジ
検出フィルタｆ１において、３×３マトリクスの対角線
上、縦方向には「＋２」の画素値を持つ３つの画素を配
列し、その他の６画素の画素値は、「−１」であり、図
５（Ｃ）に示した右斜め４５度方向エッジ検出フィルタ
ｆ２において、３×３マトリクスの対角線上、右斜め４
５度方向には「＋２」の画素値を持つ３つの画素を配列
し、その他の６画素の画素値は、「−１」である。

【００６４】それぞれのエッジ検出フィルタｆ０〜ｆ２
の指定する方向に沿ったエッジ（すなわち輪郭）が存在
する場合、該当する輪郭特徴データは大きな値をとる。
例えば、前記輪郭特徴量データｇ０が大きな値をとる場
合には、図５（Ａ）に「＋２」として示した画素列の方
向（左斜め４５度）に輪郭線が存在する可能性が高いこ
とを意味する。

【００６５】縦方向と左右の斜め４５度の中間のいずれ
かの方向に輪郭線が存在した場合、ｇ０〜ｇ２のうち当
該方向に最も近い方向のフィルタｆ０〜ｆ２に対応した
輪郭特徴量データｇ０〜ｇ２が最大値を取る傾向が高
い。このため、後述するように、輪郭線を構成する画素
を３近傍から探索することによって（例えば、前記入力
画像が被写体を撮影して得た自然画像である場合などに
は、当該被写体の）実際の輪郭線の方向に対応した連結
成分を輪郭線として取り出すことができる。

【００６６】このようにわずか３種類のエッジ検出フィ
ルタｆ０〜ｆ２を用いて輪郭線が存在する可能性の高い
方向を示すことは、輪郭検出部１０４の処理を簡略化す
るために有効である。

【００６７】当該輪郭特徴データＳ１０４を受け取る輪
郭検出部１０４は、細密な輪郭線追跡を実行する部分
で、図１０に示す内部構成を備えている。

【００６８】（Ａ−１−４）輪郭検出部の内部構成 図１０において、当該輪郭検出部１０４は、矩形メモリ
２０と、演算実行部２１と、開始点・終了点設定部２２
と、対象画素設定部２３と、終了検査部２４，２５と、
評価値バッファＶと、経路バッファＲとを備えている。

【００６９】このうち矩形メモリ２０は、例えば、図３
(Ｂ）に示すような矩形内の全画素につき、輪郭特徴デ
ータを格納しているメモリである。したがって、矩形中
の各画素には、３つの輪郭特徴データｇ０〜ｇ２が対応
付けられて記憶されている。

【００７０】なお、必要になるたびに、必要とする部分
の輪郭特徴データを、輪郭検出部１０４が輪郭特徴計算
部１０３から受け取るようにしてもよい。この場合、当
該矩形メモリ２０は省略することができる。

【００７１】前記演算実行部２１は、後述する所定の手
順（図８参照）にしたがって輪郭検出（輪郭線追跡）処
理を実行する部分である。

【００７２】開始点・終了点設定部２２は、当該手順中
において、経路開始点Ｓと経路終了点Ｅの設定、変更を
行う部分である。

【００７３】当該開始点・終了点設定部２２に接続され
ている終了検査部２４は、必要なすべての画素に対し
て、経路開始点Ｓと経路終了点Ｅの設定を終え、処理が
終了したかどうかを検査する部分である。

【００７４】対象画素設定部２３は、当該手順中にい
て、対象画素の設定、変更を行う部分である。

【００７５】当該対象画素設定部２３に接続されている
終了検査部２５は、必要なすべての画素を対象画素とし
て、処理が終了したかどうかを検査する部分である。

【００７６】また、前記評価値バッファＶに対しては、
演算実行部２１によって、後述する評価値の読み書きが
行われる。同様に、経路バッファＲに対しては、当該演
算実行部２１によって、後述する経路値の読み書きが行
われる。

【００７７】当該輪郭検出部１０４の処理では、当該手
順にしたがい、画素列を矩形のほぼｙ軸方向に沿って３
近傍から連結することによって経路（細密な輪郭線の候
補（連結成分））を得て、当該経路のなかの最適経路と
して、最終的な輪郭線（輪郭データＳ１０５）を決定す
る。

【００７８】当該輪郭線データＳ１０５の入力を受ける
前記オブジェクト検出部１０５は、前記矩形変換部１０
２が実行した矩形変換の逆変換を実行することで矩形上
の輪郭線を入力画像上の輪郭線に変換し、当該輪郭線に
よって囲まれた領域を画像オブジェクトと判定し、当該
判定結果に対応する画像オブジェクトデータＳ１０６お
よびＳ１０７を出力する部分である。

【００７９】画像オブジェクトデータＳ１０７を受け取
る参照画像特徴計算部１０６は、前記輪郭候補検出部１
０１から受け取った輪郭候補領域データＳ１０２に対
し、当該画像オブジェクトデータＳ１０７を用いた処理
を実行する部分で、図１２に示す内部構成を有してい
る。

【００８０】 （Ａ−１−５）参照画像特徴計算部の内部構成 図１２において、当該参照画像特徴計算部１０６は、輪
郭候補領域格納部４０と、画像データ抽出部４１と、再
計算処理部４２とを備えている。

【００８１】このうち輪郭候補領域格納部４０は、輪郭
候補検出部１０１内の領域判定部５１または外周領域生
成部５６が出力した輪郭候補領域データＳ１０９が表示
する輪郭候補領域の内容を格納するメモリである。

【００８２】また、画素データ抽出部４１は、画像オブ
ジェクトデータＳ１０７に応じて輪郭候補領域に属する
ブロックデータＢＳ中の各画素のなかから、画像オブジ
ェクトに属する画素だけを抽出して、その画素の画素値
データＳＳを再計算処理部４２に供給する部分である。

【００８３】当該画素値データＳＳを受け取る再計算処
理部４２は、当該画素値データＳＳに基づいて平均色デ
ータを再計算し、計算結果を、参照画像特徴データＳ１
０８として前記輪郭候補検出部１０１内の参照画像特徴
メモリ５５に供給する部分である。

【００８４】当該参照画像特徴データＳ１０８は、ブロ
ック中の画像オブジェクトに属する画素の画素値だけを
用いて計算したものであるため、前記画像特徴計算部３
１で算出された輪郭候補領域ブロックの平均色データよ
りも、いっそう画像オブジェクトの輪郭付近の色に忠実
な値を取ることになる。

【００８５】ここで、前記画素データ抽出部４１に供給
される画像オブジェクトデータＳ１０７に関連する入力
画像フレームと、画素データ抽出部４１に供給されるブ
ロックデータＢＳに関連する入力画像フレームとは、同
じものであることを要する。

【００８６】例えば、前記画素データ抽出部４１に供給
される画像オブジェクトデータＳ１０６が現フレームＦ
ＲＭ−１に対応するものであるとき、画素データ抽出部
４１に供給されるブロックデータＢＳも、当該現フレー
ムＦＲＭ−１に対応したものである。

【００８７】以下、上記のような構成を有する本実施形
態の動作について説明する。

【００８８】（Ａ−２）実施形態の動作 最初に、前記入力画像特徴計算部１００が、上述したよ
うに先頭フレームＦＲ１の入力を受け、ひきつづいて逐
次、後続フレームＦＲ１，ＦＲ２，ＦＲ３，…，ＦＲＭ
−１，ＦＲＭの入力を受けるものとする。

【００８９】前記輪郭候補検出部１０１以外の各構成要
素１００、１０２〜１０６は、常に同一の動作を繰り返
せばよいが、当該輪郭候補検出部１０１だけは、上述し
た通り、先頭フレームＦＲ１を処理する初期処理モード
と、後続フレームＦＲ２〜ＦＲＭを処理する後続処理モ
ードの２通りの動作状態を取る。

【００９０】いま、入力画像データＳ１００として図２
（Ａ）に示す先頭フレームＦＲ１が入力画像特徴計算部
１００に入力されたものとする。

【００９１】当該先頭フレームＦＲ１の入力画像特徴デ
ータＳ１０１が輪郭候補検出部１０１に供給されると、
前述の初期処理モードの処理で、利用者が領域判定部５
１を介してポインティングデバイスで輪郭候補領域を指
定し、領域判定部５１から、図２（Ｂ）に示す当該輪郭
候補領域に対応した輪郭候補領域データＳ１０２が矩形
変換部１０２へ供給され、輪郭候補領域データＳ１０９
が参照画像特徴計算部１０６に供給される。

【００９２】次に、当該先頭フレームＦＲ１に対応する
輪郭候補領域データＳ１０２を入力することで、例えば
図２（Ｂ）の輪郭候補領域２０３を得た矩形変換部１０
２内では、画像検査部１２、切断位置検出部１０および
非線形変換部１１が動作し、必要に応じて補完処理部１
３が機能して、前記矩形変換処理を実行する。

【００９３】図３（Ａ）と同図(Ｂ）において、対応す
る符号を付した領域はそれぞれに対応している。すなわ
ち、図３（Ａ）の部分領域ａは図３（Ｂ）の矩形領域ａ
に対応し、図３（Ａ）の部分領域ｂは図３（Ｂ）の矩形
領域ｂに対応し、図３（Ａ）の部分領域ｃは図３（Ｂ）
の矩形領域ｃに対応し、…、図３（Ａ）の部分領域ｎは
図３（Ｂ）の矩形領域ｎに対応している。

【００９４】すなわち、当該矩形変換処理では、各部分
領域が対応関係にある各矩形領域に変換され、各矩形領
域がｙ軸方向に連結されて矩形データＳ１０３が生成さ
れる。

【００９５】当該矩形データＳ１０３を受け取った輪郭
特徴計算部１０３は、前記式（１）〜(３）で記述され
る演算処理を実行して輪郭特徴データＳ１０４（すなわ
ちｇ０〜ｇ２）を算出し、輪郭検出部１０４に供給す
る。

【００９６】輪郭検出部１０４では、図８のフローチャ
ートに示す手順にしたがって、細密な輪郭線の検出を行
う。図８のフローチャートは、Ｐ１０〜Ｐ１６の各ステ
ップから構成されている。

【００９７】図８において、ステップＰ１では、評価値
バッファＶ（ｓ，ｘ，ｙ）と経路バッファＲ（ｓ，ｘ，
ｙ）を初期化する。

【００９８】ここで、評価値バッファＶ（ｓ，ｘ，ｙ）
の記述は、（ｘ，ｙ）の部分が図６(Ａ）のｘｙ平面上
における各画素の位置を示し、(ｓ)の部分は、経路開始
点Ｓのｘ座標を示している。したがって、矩形上の座標
が同じ画素であっても、経路開始点Ｓが相違すれば評価
値バッファＶに格納される評価値は相違し得る。この
点、経路バッファＲ（ｓ，ｘ，ｙ）についても同様であ
る。

【００９９】つづくステップＰ１２では、開始点・終了
点設定部２２が図６（Ａ）に示す矩形の下端に経路開始
点Ｓを設定し、矩形の上端に経路終了点Ｅを設定する。
図６（Ａ）の矩形は、前述した図３（Ｂ）の矩形に対応
している。

【０１００】ここで、経路とは、上述した細密な輪郭線
の候補に相当する概念である。

【０１０１】また、当該経路開始点Ｓと経路終了点Ｅ
は、図３（Ａ）に示す矩形変換前の入力画像上で、前記
切断線ＣＰ（あるいはｘ軸）を挟んで縦方向または斜め
方向に隣接した画素であったことから、これらのｘ座標
は同一で、ともにｓとする。

【０１０２】次に、ステップＰ１２では、前記対象画素
設定部２３が対象画素(ｘ，ｙ)を設定し、ステップＰ１
３では、前記演算実行部２１が、図６（Ｂ）に示すよう
に、当該対象画素(ｘ，ｙ）に対して左下、真下、右下
の３画素（３近傍）を用いて次の式(４）〜(６）で記述
される演算を実行し、当該演算の結果が最大値となるｅ
につき、当該ｅの値（すなわち評価値）を前記評価値バ
ッファＶに格納するとともに、そのｉの値（すなわち経
路値）を前記経路バッファＲに格納して経路選択処理を
実行する。

【０１０３】 ｅ（ｉ＝０）＝Ｖ（ｓ，ｘ−１，ｙ−１）＋ｇ２（ｘ−１，ｙ−１）…(４ ） ｅ（ｉ＝１）＝Ｖ（ｓ，ｘ，ｙ−１）＋ｇ１（ｘ，ｙ−１）…（５） ｅ（ｉ＝２）＝Ｖ（ｓ，ｘ＋１、ｙ−１）＋ｇ０（ｘ＋１，ｙ−１）…（６ ） 例えば、図６（Ａ）において、画素ＰＸ（２，６）を当
該対象画素としているときには３つの画素ＰＸ（１，
５）、ＰＸ（２，５）、ＰＸ（３，５）が、前記３近傍
にあたり、輪郭線は右下の画素ＰＸ（３，５）から当該
画素ＰＸ（２，６）につづいているため、左斜め４５度
方向エッジ検出フィルタｆ０に対応するｇ０を含んだ式
（６）の演算結果が最大となる傾向が高まる。

【０１０４】そして、実際にこのとき、式(４）〜
（６）のなかで、式（６）の値が最大であるものとする
と、その値（評価値）が評価値バッファＶに格納される
とともに、経路値２（＝ｉ）が経路バッファＲに格納さ
れる。

【０１０５】なお、ＰＸ（ｘ，ｙ）形式の表記は、図６
のｘｙ平面上の指定した位置の１画素を指すもので、例
えば、画素ＰＸ（２，６）の場合、ｘ座標が２、ｙ座標
が６の１画素を指す。

【０１０６】ステップＰ１３につづくステップＰ１４で
は、終了検査部２５が１ライン（１つのｙ座標上に存在
する全画素）上のすべての画素を対象画素としてステッ
プＰ１３を実行したかどうか、および全ラインについて
ステップＰ１３の処理を実行したかどうかを検査する。

【０１０７】全ラインについてステップＰ１３の処理を
終了した場合には、ステップＰ１４は、Ｙｅｓ側に分岐
するが、終了していない場合にはＮｏ側に分岐する。

【０１０８】ステップＰ１４がＮｏ側に分岐した場合、
処理はステップＰ１２にもどる。

【０１０９】ステップＰ１２では、前回、前記対象画素
ＰＸ（２，６）に対してステップＰ１３の処理を行った
場合には、次は画素ＰＸ（３，６）を対象画素に設定し
てステップＰ１３の処理を行う。

【０１１０】このように、ステップＰ１２〜Ｐ１４のル
ープが繰り返されると、対象画素設定部２３によって対
象画素はＰＸ（２，６）、ＰＸ（３，６）、ＰＸ（４，
６）、ＰＸ（５，６）、ＰＸ（６，６）、ＰＸ（１，
７）、…と順次に変更され、各ラインの処理が終了する
とその上のラインについて処理されて行く。

【０１１１】一方、前記３近傍の側からみると、矩形メ
モリ２０内において３近傍画素ＰＸ（１，５）、ＰＸ
（２，５）、ＰＸ（３，５）のそれぞれには、前記式
（１）〜(３）によって算出した３つの輪郭特徴データ
ｇ０〜ｇ２が対応付けられているが、矩形メモリ２０
は、例えば、当該画素ＰＸ（３，５）については、対象
画素が画素ＰＸ（２，６）であるときには輪郭特徴デー
タｇ０を演算実行部２１に供給し、対象画素が画素ＰＸ
（３，６）であるときには輪郭特徴データｇ１を演算実
行部２１に供給し、対象画素が画素ＰＸ（４，６）であ
るときには輪郭特徴データｇ２を演算実行部２１に供給
することになる。

【０１１２】なお、前記ステップＰ１２の処理で最初に
対象画素とされる画素は、画素ＰＸ（１，１）などが属
する最下端のｙ＝１のライン内からではなく、その上
の、画素ＰＸ（２，２）などが属するｙ＝２のライン内
から選択される。

【０１１３】また、最後のｙ＝１３とｙ＝１２の両ライ
ンについて処理するときには、ステップＰ１３の内容は
それまでとは異なり、図６（Ｂ）や式(４）〜（６）に
示すような経路選択処理を行うことなく、予め設定して
ある経路終了点Ｅに対し、強制的に結合する。

【０１１４】例えば、図６（Ａ）では、画素ＰＸ（３，
１２）が画素ＰＸ（３，１３）に相当する経路終了点Ｅ
に接続されているが、これは、経路選択処理を行うこと
なく強制的に接続したものである。

【０１１５】もしも、最後の両ラインについても、それ
以前に処理した各２ラインと同様な経路選択処理を行う
ものとすると、例えば、輪郭線が入力画像上でｘ軸と斜
めに交差する場合には、経路開始点Ｓと本来の経路終了
点Ｅとが斜め方向に接続されることとなるため、経路選
択処理の結果が、ステップＰ１１で予め設定した経路終
了点Ｅと相違することも起こり得る。

【０１１６】例えば、図６（Ａ）の輪郭線６０２が入力
画像上でｘ軸と斜めに交差する場合には、経路終了点Ｅ
と経路開始点Ｓが斜め方向に接続されることとなるた
め、経路選択処理の結果として、画素ＰＸ（３，１２）
に対しｙ＝１３のライン上で接続される画素は、経路終
了点Ｅとｘ座標が１ずつ相違する画素ＰＸ（２，１３）
または画素ＰＸ（４，１３）になってしまう。

【０１１７】換言すれば、強制的に経路終了点Ｅに接続
する本実施形態では、ｘ軸との交差部分で、輪郭線の形
状に１画素程度の誤差が混入することを許容しているこ
とになる。

【０１１８】しかしながらこの誤差は、ｘ軸との交差部
分でのみ局所的に発生するものであり、その大きさも、
たかだか１画素程度であるので、実用上問題となること
はほとんどあり得ないと考えられる。

【０１１９】その一方で、この強制的な接続によって、
経路選択処理の実行回数を低減できる等、切断線ＣＰ部
分で必要とされる境界部の処理を簡略化することができ
る。

【０１２０】ところで、ステップＰ１２〜Ｐ１４の処理
においては、矩形内に、図６（Ａ）中の画素ＰＸ（１，
１）、ＰＸ（２，１）、ＰＸ（４，１）、ＰＸ（５，
１）、ＰＸ（６，１）、ＰＸ（１，２）、ＰＸ（５，
２）、ＰＸ（６，２）、ＰＸ（６，３）、ＰＸ（６，１
１）、ＰＸ（１，１２）、ＰＸ（５，１２）、ＰＸ
（６，１２）、…などのように、経路計算に必要のない
無効領域６０１が生じ得る。

【０１２１】この無効領域６０１は、輪郭線の候補とな
り得ない画素によって構成され、ｘ軸に沿って広がる傾
向を有する。ただしこの無効領域６０１は、原理的に必
ず発生するものではなく、前記エッジ検出フィルタｆ０
〜ｆ２を３種類に限定したことによって発生したもので
ある。

【０１２２】エッジ検出フィルタｆ０〜ｆ２を３種類に
限定したことによって、各対象画素に対して輪郭線が連
結し得る方向が図６（Ｂ）に示す３方向（３近傍）の画
素に限定されるからである。

【０１２３】この限定は、ｘ軸に平行な輪郭線や、ｙ軸
の負方向に伸びる部分を有する輪郭線の検出を困難に
し、８近傍（対象画素の周辺の８方向（８画素））から
輪郭線を探索する場合などに比べて、連続する数画素程
度の小さな領域内で細かく入り組んだ複雑な輪郭線を正
確に検出することを難しくするが、その一方で、輪郭特
徴計算部１０３や輪郭検出部１０４における演算量が、
８近傍から探索する場合などに比べて大幅に低減し、処
理速度を高速化できるという大きな利点をもたらす。

【０１２４】図６（Ａ）の無効領域６０１を除く、必要
なすべての画素についてステップＰ１３の処理が終了す
ると、ステップＰ１４はＹｅｓ側に分岐し、すべての経
路開始点について処理が終了したかどうかが、終了検査
部２４によって検査される（Ｐ１５）。

【０１２５】すべての経路開始点について処理が終了し
た場合には、ステップＰ１５はＹｅｓ側に分岐し、終了
していない場合にはＮｏ側に分岐する。

【０１２６】Ｎｏ側に分岐した場合には、当該ステップ
Ｐ１５につづいて、再びステップＰ１１が実行される。

【０１２７】図６（Ａ）に図示した状態は、経路開始点
Ｓを画素ＰＸ（３，１）に設定し、経路終了点を画素Ｐ
Ｘ（３，１３）に設定しているが、次に実行されるステ
ップＰ１１では、経路開始点Ｓを、例えば画素ＰＸ
（４，１）に移して（この場合、経路終了点Ｅは画素Ｐ
Ｘ（４，１３）となる）、ステップＰ１１〜Ｐ１５のル
ープが繰り返され、各繰り返しごとに、入れ子になって
いるステップＰ１２〜Ｐ１４のループが必要回数だけ実
行される。

【０１２８】そして、最下端のラインに属するすべての
画素ＰＸ（１，１）〜ＰＸ（６，１）を経路開始点とし
てステップＰ１０〜Ｐ１４の処理が終了したときに、ス
テップＰ１５はＹｅｓ側に分岐することになる。

【０１２９】このとき、前記ステップＰ１２、Ｐ１３の
処理内容および式(４）〜（６）の内容から明らかなよ
うに、経路終了点Ｅとなり得る最上ライン（ｙ＝１３の
ライン）上のすべての画素ＰＸ（１，１３）〜ＰＸ
（６，１３）のそれぞれに対応する評価値バッファＶ内
の評価値Ｖ（ｓ，Ｅ点）は、各輪郭線の候補に対応した
経路上の輪郭特徴データの総和となっている。

【０１３０】ここで、評価値Ｖ（ｓ，Ｅ点）の（Ｅ点）
は、各経路終了点Ｅの座標（ｘ，ｙ）を示している。

【０１３１】ステップＰ１５のＹｅｓ側につづいて実行
されるステップＰ１６の最適経路の特定処理では、ま
ず、当該評価値Ｖ(ｓ，Ｅ点）が最大値をとる場合のｓ
を求め、次に、経路開始点Ｓのｘ座標が当該ｓである場
合について、経路バッファＲ（ｓ，ｘ，ｙ）に書き込ま
れている経路値系列を読み出して、経路終了点Ｅから経
路開始点Ｓに向かう最適経路（すなわち輪郭線）を求
め、これを輪郭データＳ１０５とする。

【０１３２】輪郭特徴データの総和を求める際には、図
６(Ｂ）に示すように、各経路の方向に合わせて３種類
の輪郭特徴データから値が選択され、画像のエッジ方向
（輪郭線の方向）が経路の向きに一致した場合に総和値
が大きくなるように作用するから、当該最大値を示す評
価値Ｖ(ｓ，Ｅ点）が真正な輪郭線の終了点に対応して
いた場合、当該最大値を示す評価値Ｖ(ｓ，Ｅ点）とそ
れ以外の評価値Ｖ(ｓ，Ｅ点）との値の差は、通常、か
なり大きくなるものと考えられる。

【０１３３】なお、輪郭データＳ１０５には、通常、経
路終了点Ｅ（または経路開始点Ｓ）の座標と、当該経路
開始点Ｓにつづく前記経路値の情報が含まれていれば十
分である。

【０１３４】図６(Ａ）に示した輪郭線６０２は、例え
ば、経路終了点Ｅの座標(３，１３）と、当該経路終了
点Ｅから経路開始点Ｓ(３，１）に向かう経路値系列
１，２，０，０，０，１，２，２，２，１，０，１によ
って記述することができる。

【０１３５】以上の説明から明らかなように、経路バッ
ファＲは、ステップＰ１１〜Ｐ１５の処理が繰り返され
ているときには、すでに判明しているすべての経路値Ｒ
(ｓ，ｘ，ｙ）を記憶している必要があり、ステップＰ
１６の処理が開始されたときには、すべての経路値Ｒ
(ｓ，ｘ，ｙ）を記憶している必要があるため、前記無
効領域６０１の存在を考慮しなければ、基本的に４３２
（＝６×６×（１３−１）＝ｓ×ｘ×（ｙ−１））程度
のアドレス空間（同時に記憶しておく必要のある経路値
データの数）を備えている必要がある。

【０１３６】これに対し評価値バッファＶは、ステップ
Ｐ１１〜Ｐ１５の処理が繰り返されているとき、すでに
判明している評価値Ｖ(ｓ，Ｅ点）のほかには、矩形上
をｙ軸方向に累進する連続２ライン分の評価値を記憶し
ていれば十分であり、すでに処理を終えたラインの評価
値を保存しておく必要はない。

【０１３７】例えば、前記画素ＰＸ（２，６）などのｙ
＝６のライン中の画素を対象画素としてステップＰ１３
を処理しているときには、ｙ＝６のラインの画素とｙ＝
５のラインの画素について、評価値を保存している必要
があるが、それより下のｙ＝４〜ｙ＝１のラインに属す
る画素の評価値は保存しておく必要はない。

【０１３８】そして、ｙ＝６のライン中の画素を対象画
素とするステップＰ１３の処理が終了し、ｙ＝７のライ
ンから対象画素が選ばれるようになると、ｙ＝５のライ
ン中の画素に関する評価値は不要となり、ｙ＝７とｙ＝
６の連続２ラインについて評価値を保存すればよくな
る。

【０１３９】評価値バッファＶはまた、ステップＰ１６
の処理が開始されたときのために評価値Ｖ(ｓ，Ｅ点）
を記憶しておく必要があるが、前記連続２ライン分とこ
の評価値Ｖ(ｓ，Ｅ点）の分を合わせても、通常、その
アドレス空間（同時に記憶しておく必要のある評価値デ
ータの数）は、前記経路バッファＲ(ｓ，ｘ，ｙ）のア
ドレス空間よりもはるかに小さく（少なく）、例えば、
４８（＝６×２＋６×６＝ｘ×２＋ｓ×ｘ）程度であっ
てよい。

【０１４０】もちろん、アドレス空間を節約する必要が
ない場合には、評価値バッファＶのアドレス空間とし
て、前記経路バッファＲと同じ４３２（＝６×６×（１
３−１）＝ｓ×ｘ×（ｙ−１））の空間を用意するよう
にしてもよい。

【０１４１】輪郭検出部１０４から前記輪郭データＳ１
０５を受け取ったオブジェクト検出部１０５は、矩形変
換部１０２で実行した矩形変換の逆変換を実施すること
により、矩形上の輪郭データを入力画像上の輪郭データ
に変換する。

【０１４２】さらに、オブジェクト検出部１０５は、当
該輪郭データで指定される輪郭線に囲まれた領域を画像
オブジェクトと判定し、この領域情報を画像オブジェク
トデータＳ１０６として後段へ出力する。

【０１４３】図７は、オブジェクト検出部１０５の動作
を説明する図である。

【０１４４】ここでは、図２（Ｂ）に示す輪郭候補領域
２０３に対応する図７（Ａ）の輪郭候補領域７０２内に
画素レベルの精度を持った細密な輪郭線７０４が得ら
れ、当該輪郭線７０４を輪郭とする図７（Ｂ）のオブジ
ェクト７０５を示す画像オブジェクトデータＳ１０６が
出力されることになる。

【０１４５】当該オブジェクト検出部１０５が出力する
画像オブジェクトデータＳ１０６は、画像オブジェクト
の領域を示す２値データでもよいし、画像オブジェクト
の画素データ（すなわち画像オブジェクト中の各画素の
色を示す画素値）そのものでもよい。これらは、オブジ
ェクト検出部１０６の後段に接続される装置の要求に応
じて決定されるものである。

【０１４６】オブジェクト検出部１０５から出力される
画像オブジェクトデータＳ１０７は、上述したように、
基本的にこのＳ１０６と同じデータであってよいが、そ
の仕様は、参照画像特徴計算部１０６などの当該画像処
理装置内部の仕様に応じて決定されるべきものである。

【０１４７】したがって、画像オブジェクトデータＳ１
０６が例えば２値データである場合でも、本実施形態の
参照画像特徴計算部１０６はカラー画像を要求するの
で、当該画像オブジェクトデータＳ１０７としてはカラ
ー画像に対応した画素データを供給することになる。こ
の画像オブジェクトデータＳ１０６と画素データは、参
照画像特徴計算部１０６内の画素データ抽出部４１、再
計算処理部４２に供給されることになる。

【０１４８】前記先頭フレームＦＲ１に対応した画像オ
ブジェクトデータＳ１０６とＳ１０７が参照画像特徴計
算部１０６に受け取られ、処理されると、当該先頭フレ
ームＦＲ１に対する一連の処理が終了して、次に入力画
像データＳ１００として入力される後続フレームＦＲ２
の処理が開始される。

【０１４９】当該後続フレームＦＲ２に対して本実施形
態の画像処理装置の構成要素１００、１０２〜１０６が
行う処理は、前述したように先頭フレームＦＲ１に対す
る処理と同じなので、ここでは、輪郭候補検出部１０１
の後続処理モードの処理と、当該輪郭候補検出部１０１
の後続処理モードの処理と関連の強い参照画像特徴計算
部１０６の処理を中心に、後続フレームＦＲ２の処理に
ついて説明する。

【０１５０】先頭フレームＦＲ１に対する参照画像特徴
計算部１０６の処理では、まず画素データ抽出部４１
が、先頭フレームＦＲ１の画像オブジェクトデータＳ１
０７を用いて、先頭フレームＦＲ１の輪郭候補領域に属
するブロックデータＢＳ中の各画素のなかから、画像オ
ブジェクトに属する画素だけを抽出し、その画素の画素
値データＳＳを再計算処理部４２に供給する。

【０１５１】次に、再計算処理部４２は当該画素値デー
タＳＳに基づいて平均色データを再計算するが、この再
計算の結果として得られる参照画像特徴データＳ１０８
は、輪郭候補領域ブロック中の画像オブジェクトに属す
る画素の画素値だけを用いて計算したものであるため、
前記画像特徴計算部３１で算出された輪郭候補領域ブロ
ックの平均色データＳ１０１よりも、いっそう画像オブ
ジェクトの輪郭付近の色に忠実な値を取ることになる。

【０１５２】換言するなら、前記画像特徴計算部３１の
処理では、画像オブジェクトも背景画像も均等に取り扱
って各ブロックの平均色データを算出しているため、画
像オブジェクトの輪郭付近の色に関するデータを損失ま
たは劣化させてしまっているということができる。

【０１５３】翻って、この再計算処理部４２における処
理は、画像オブジェクトの輪郭付近の色に関するデータ
を回復または品質向上する処理であるととらえることが
できる。

【０１５４】画像オブジェクト内部のブロック、例えば
図１３(Ｂ)のブロックＢ１−２１内の各画素の色データ
について構成要素１０２〜１０５内でどのように取り扱
うかに関しては、以上の説明では詳しく触れていない
が、このデータは少なくとも、画像オブジェクト内部の
データに限定されているので、画像特徴計算部３１の処
理によって失われることもなく劣化することもない。

【０１５５】再計算処理部４２はまた、輪郭候補領域ブ
ロックのうち例えば、図１３(Ｃ)のブロック８０５のよ
うに画像オブジェクトに属する画素数の割合が少ない輪
郭候補領域ブロックと、ブロック８０２などの背景領域
ブロックについては、前記参照画像特徴データＳ１０８
を無効な値として出力する。画像オブジェクトに属する
画素数の割合が少ない輪郭候補領域ブロックを無効とす
るのは、これらのブロックについては、再計算しても安
定的に高い精度の画像特徴を得ることが困難であるため
である。

【０１５６】したがって、参照画像特徴データＳ１０８
の有効なデータは、画像オブジェクト内部のオブジェク
ト領域ブロックと、画像オブジェクトに属する画素数の
割合が少なくない輪郭候補領域ブロックである。

【０１５７】このうち画像オブジェクト内部のオブジェ
クト領域ブロックに関しては、例えば、前記画像オブジ
ェクトデータＳ１０６として画素データを出力する場合
なら、入力画像フレームの画素データを図示しない伝送
経路によってオブジェクト検出部１０５へ伝送すること
になるので、その画素データを画像オブジェクトデータ
Ｓ１０７内に含めるようにしてもよい。

【０１５８】しかしながら、高類似性ブロック抽出部５
４の行う類似性検査は、画素単位ではなくブロック単位
で行うので、Ｓ１０７に含めて画素データを受け取った
場合、再計算処理部４２は当該画素データからブロック
単位の平均色データを算出して、算出結果を前記参照画
像特徴データＳ１０８の一部とすることになる。

【０１５９】このような平均色データの算出処理を省略
したければ、前記画像特徴計算部３１から出力される入
力画像特徴データＳ１０１に含まれている平均色データ
をそのまま蓄積しておいて再利用するのが効率的であ
る。

【０１６０】次に、先頭フレームＦＲ１に対応する当該
参照画像特徴データＳ１０８を参照画像特徴メモリ５５
で受け取った輪郭候補検出部１０１では、初めて、前記
後続処理モードの処理が実行される。

【０１６１】後続処理モードでは、処理モード対応部５
０は入力画像特徴データＳ１０１をフレームメモリ５２
に供給するようになり、以降は、新たな先頭フレーム
（例えば、前記先頭フレームＦＲＭ＋１）が入力画像デ
ータＳ１００として供給されるまで、当該後続処理モー
ドが維持される。

【０１６２】後続処理モードで後続フレームＦＲ２を処
理するとき、前記フレームメモリ５２内には、当該後続
フレームＦＲ２に対応する入力画像特徴データＳ１０１
が格納されており、参照画像特徴メモリ５５には、前記
先頭フレームＦＲ１に対応する参照画像特徴データＳ１
０８が格納されている。

【０１６３】このとき、探索範囲設定部５３は、先頭フ
レームＦＲ１で検出された輪郭候補領域およびその近傍
領域に属するブロックを対象として前記類似性検査を実
行するように、探索領域指定信号ＱＥを出力する。

【０１６４】ここで、探索範囲設定部５３は、輪郭候補
領域およびその内部のオブジェクト領域に対応する図１
３(Ｅ)の中核領域８０７については、参照画像特徴メモ
リ５５に格納されている参照画像特徴データＳ１０８か
ら直接的に認識することができる。

【０１６５】また、近傍領域８０８は、図１３(Ｅ）に
示すように、当該中核領域８０７の外周部に１ブロック
幅で生成するものとする。近傍領域８０８の生成は、先
頭フレームＦＲ１と最初の後続フレームＦＲ２のあいだ
に画像オブジェクト８０１（これは画像オブジェクト８
０６と同一）が移動または変形したとしても、当該近傍
領域８０８の内部に捕らえることができることを期待し
て行うものである。

【０１６６】中核領域８０７と近傍領域８０８を合わせ
た領域が、探索範囲設定部５３が設定し得る探索範囲Ｑ
ＥＥとなり、前記探索領域指定信号ＱＥは、当該探索範
囲ＱＥＥに応じて出力される。

【０１６７】なお、必要に応じて、当該近傍領域８０８
は２ブロック幅以上の広い領域としてもよい。フレーム
間の時間間隔に比べて画像オブジェクトの移動速度が速
い場合などにも確実に輪郭線追跡を行うためには近傍領
域８０８を広く確保したほうがよいが、近傍領域８０８
を広く取りすぎると、類似性検査の演算量が増加する点
で不利である。

【０１６８】高類似性ブロック抽出部５４が行う類似性
検査では、後続フレームＦＲ２上に設定された前記探索
範囲ＱＥＥ内の各ブロックを、３×３個の近傍ブロック
の範囲内で、先頭フレームＦＲ１に対応する参照画像特
徴データＳ１０８上の各ブロックと比較して、平均色デ
ータの類似性が調べられる。この近傍ブロックの範囲の
広さについても、前記近傍領域８０８の広さと同様のこ
とが成り立つ。

【０１６９】前記再計算処理部４２が行う再計算によっ
て、当該参照画像データＳ１０８中の各輪郭候補領域ブ
ロックの平均色データは、画像オブジェクトの輪郭付近
の色に忠実な値を取るようになっているため、先頭フレ
ームＦＲ１と後続フレームＦＲ１の間に画像オブジェク
トがどのように動いたとしても、背景画像の色や模様の
変化（背景画像が場所に応じて異なる色を持っている場
合など）の影響を排除して、画像オブジェクトの動きに
精度良く対応することが可能である。

【０１７０】図２（Ａ）に対応する図１３（Ａ）の画像
オブジェクトが、先頭フレームＦＲ１と後続フレームＦ
Ｒ２のあいだにフレーム上で左上に移動したものとする
と、高類似性ブロック抽出部５４から受け取った高類似
性ブロック信号ＡＢによって供給された高類似性ブロッ
クを連結することにより、外周領域生成部５６は、例え
ば、図１３(Ｆ）に示すオブジェクト領域８１０を得る
ことができる。

【０１７１】このあと、当該外周領域生成部５６は、オ
ブジェクト領域８１０の外周に１ブロック幅の輪郭候補
領域８０９を生成して、当該輪郭候補領域８０９を示す
輪郭候補領域データＳ１０２とＳ１０９を、それぞれ矩
形変換部１０２と参照画像特徴計算部１０６に供給す
る。

【０１７２】後続フレームＦＲ３の処理においては、以
上の処理における先頭フレームＦＲ１に後続フレームＦ
Ｒ２が置き換わり、以上の処理における後続フレームＦ
Ｒ２に当該ＦＲ３が置き換わって、同様な処理が行われ
る。ＦＲ３以降の後続フレームについても同様である。

【０１７３】また、新たな先頭フレーム（例えばＦＲＭ
＋１）が入力画像データＳ１００として入力された場合
には、当該先頭フレームＦＲＭ＋１が前記先頭フレーム
ＦＲ１と同様に扱われ、以上と同様な処理が繰り返され
る。

【０１７４】なお、再計算処理部４２の行う再計算によ
って前記参照画像特徴データＳ１０８は画像オブジェク
トの輪郭付近の色に忠実な値を取るため、例えば、背景
画像と画像オブジェクトの画像特徴（例えば、色）が似
ている場合でも、高類似性ブロック抽出部５４は、画像
オブジェクトと背景画像を識別して、精度良く高類似性
ブロックを抽出することが可能になる。

【０１７５】（Ａ−３）実施形態の効果 以上のように本実施形態によれば、入力画像をブロック
に分割し、輪郭候補領域の検出にあたっては従来のよう
に画素単位ではなくブロック単位に画像特徴（平均色デ
ータ）を求め、当該画像特徴を利用して輪郭候補領域を
検出するため、画像を撮影するカメラが振動する場合
や、画像中の背景の一部に位置変動が見られる場合でも
安定した画像特徴が得られ、輪郭候補領域を正しく検出
することができるので、信頼性が高い。

【０１７６】また、本実施形態では、輪郭線の検出にあ
たっては、輪郭特徴分布に基づいて輪郭候補領域中の任
意の経路から最適な経路を選択するため、画素精度の細
密な輪郭線を検出することができ、画像オブジェクトの
検出精度も高い。

【０１７７】さらに本実施形態では、輪郭候補領域をい
ったん矩形領域に変換してから、輪郭線を検出するよう
にしたので、最適経路の計算にかかる処理量を抑えるこ
とができ、ソフトウエアを含む種々の形態で実施するこ
とが可能である。

【０１７８】また、本実施形態では、最適経路の計算に
際して、輪郭特徴分布を輪郭の方向別に算出された輪郭
らしさの特徴分布とし、経路方向に応じた輪郭特徴分布
に基づいて最適経路を求めるようにしたので、画像のエ
ッジ方向と輪郭線の方向が合致した場合の経路が選択さ
れるよう動作するため、画像オブジェクトを高精度に検
出することができる。

【０１７９】加えて、本実施形態では、前に入力され処
理されたフレーム（例えばＦＲＭ−１）において検出さ
れた画素精度の細密な輪郭線に基づいて画像オブジェク
ト内部の画像特徴を計算し直し、その結果に基づいて類
似性検査を実行するので、入力画像フレーム中の背景画
像と画像オブジェクトの画像特徴が類似している場合
や、入力画像フレーム中に雑音が混入した場合でも、輪
郭候補領域の検出精度を高く維持することが可能にな
る。

【０１８０】また、本実施形態では、高精度にオブジェ
クト領域を検出することができ、そのオブジェクト領域
の外周部に輪郭候補領域を生成するので、例えば、直
接、輪郭候補領域自体を検出しようとする場合などに比
べると、より輪郭候補領域検出の信頼性を向上すること
が可能である。

【０１８１】なぜならば、一般的に、背景領域ブロック
の画像特徴（例えば、平均色データ）と比較した場合、
画像オブジェクトの画像特徴だけに対応するオブジェク
ト領域ブロックの画像特徴は、画像オブジェクトと背景
画像の双方が混入した画像特徴に対応する輪郭候補領域
ブロックの画像特徴よりも、顕著な相違を示す傾向を持
つからである。

【０１８２】(Ｂ）他の実施形態 なお、上記実施形態では、図６(Ａ）の矩形は６×１３
画素の領域であったが、矩形の画素数はこれより多くて
もよく、少なくてもよい。通常は、これよりはるかに大
きな画素数になるのがふつうである。

【０１８３】また、上記実施形態では、ブロックサイズ
を１６×１６画素としたが、ブロックサイズはこれより
小さくてもよく、大きくてもよい。

【０１８４】ただし、ブロックサイズを大きくすると、
画像を撮影するカメラが振動する場合や、画像中の背景
の一部に位置変動が見られる場合などの安定度は向上す
るが、輪郭候補領域（や矩形）に含まれる画素数が増加
して演算量が増大する傾向が高まる。このため、ブロッ
クサイズは、要求される安定度や演算量の条件を考慮し
て設定する必要がある。

【０１８５】なお、ブロックの形状も、上記実施形態の
ように、必ずしも縦横の長さが同じの正方形である必要
はない。

【０１８６】さらに、上記実施形態では、画像フレーム
に対して処理を実行したが、本発明は、画像フィールド
に対する処理を行うことも可能である。

【０１８７】また、入力画像（Ｓ１００）全体の画素数
は、一例として、ディジタルテレビのように、７２０×
４８０画素などであってよい。

【０１８８】さらに、上記実施形態では、輪郭候補検出
部１０１がブロック毎の平均色を用いて輪郭候補領域を
検出する場合につき説明したが、ブロック毎の平均色の
代わりに、従来公知の他の画像特徴を用いることもでき
る。例えば、対象画像が細かい色パタンで構成される場
合には、ブロック毎の色相データのヒストグラムに特徴
的なパタンが現れやすいので、平均色の代わりに色相デ
ータのヒストグラムを用いることができる。

【０１８９】また、上記実施形態では、輪郭検出部１０
４において、矩形上の任意の画素（対象画素）への経路
を３方向（３近傍）から選択するようにしたが、より多
くの方向から選択するようにしてもよい。この場合に
は、経路方向の追加に合わせて、輪郭特徴計算部１０３
における特徴データの計算方法を変更することができ
る。選択の方向を増やすことによって、演算量は増大す
るものの、上記実施形態では正確に検出することが困難
であったｘ軸に平行な輪郭線（経路パタン）、ｙ軸の負
方向に伸びる部分を有する輪郭線、複雑に入り組んだ輪
郭線の形状も正確に検出することが可能になる。

【０１９０】なお、上記実施形態では、入力画像データ
Ｓ１００をカラー画像として説明したが、２値画像やモ
ノクロ画像でもよい。モノクロ画像の場合には、輪郭候
補検出部１０１で用いる画像特徴として平均輝度や輝度
ヒストグラムなどを用いることにより、上記実施形態と
同等の効果が得られる。

【０１９１】また、上記実施形態では、初期処理モード
の処理内容として、先頭フレームに限り、輪郭候補検出
部１０１（領域判定部５１）を用いて手動で輪郭候補領
域を指定するようにしたが、初期処理モードの処理内容
はこれに限らない。

【０１９２】例えば、画像処理装置の動作開始時に、背
景領域のみからなるフレーム（フレームＦＲ０）を入力
し、次いで、背景が固定した状態で、画像オブジェクト
が現れるような一連の動画像（フレームＦＲ１〜ＦＲ
Ｍ）を入力するものとし、輪郭候補検出部１０１内の高
類似性ブロック抽出部５４は、フレームＦＲ１〜ＦＲＭ
の各フレームに対しては、フレームＦＲ０との画像特徴
（例えば、平均色データ）の差を計算し、差が大きさに
応じて、輪郭候補領域を検出することが可能である。

【０１９３】この場合、差が大きい領域をオブジェクト
領域、差が小さい領域を背景領域、差の大きさがこれら
の中間の領域を輪郭候補領域、とみなすことができる。

【０１９４】そしてこの場合、フレームＦＲＭ＋１以降
のフレームについては背景を変化させても差し支えな
い。

【０１９５】また、上記実施形態では、目的類似性領域
をオブジェクト領域とした場合についてのみ説明した
が、本発明は、目的類似性領域を背景領域とした場合に
も適用可能である。

【０１９６】この場合には、検出された目的類似性領域
の内周部に、前記輪郭線包含領域を生成することにな
る。

【０１９７】

【発明の効果】以上詳細に説明したように、本発明によ
れば、対象輪郭線を含む輪郭線包含領域は対象輪郭線そ
のものよりも入力画像中で大きな領域を占めるので、対
象輪郭線や入力画像中のその他の領域に位置変動などが
発生したとしても、その位置変動などは輪郭線包含領域
中に吸収することができる。

【０１９８】これにより、本発明では、従来に比べて、
より安定的かつ高精度に、対象輪郭線を検出することが
可能になり、画像処理装置の信頼性が向上する。

【０１９９】加えて、本発明では、いったん目的類似性
領域を検出してから、その外周部または内周部に輪郭線
包含領域を生成するため、直接、輪郭線包含領域を検出
しようとする場合に比べて信頼性が高い。

【図面の簡単な説明】

【図１】実施形態に係る画像処理装置の輪郭候補検出部
の概略構成を示すブロック図である。

【図２】実施形態における輪郭候補検出部の動作説明図
である。

【図３】実施形態における矩形変換部の動作説明図であ
る。

【図４】実施形態における矩形変換部の動作説明図であ
る。

【図５】実施形態で使用するエッジ検出フィルタの構成
例を示す概略図である。

【図６】実施形態における輪郭検出部の動作説明図であ
る。

【図７】実施形態におけるオブジェクト検出部の動作説
明図である。

【図８】実施形態における輪郭検出部の動作説明図であ
る。

【図９】実施形態における矩形変換部の概略構成を示す
ブロック図である。

【図１０】実施形態における輪郭検出部の概略構成を示
すブロック図である。

【図１１】実施形態における入力画像特徴計算部の概略
構成を示すブロック図である。

【図１２】実施形態における参照画像特徴計算部の概略
構成を示すブロック図である。

【図１３】実施形態の動作説明図である。

【図１４】実施形態に係る画像処理装置の概略構成を示
すブロック図である。

【符号の説明】

１０…切断位置検出部、１１…非線形変換部、１２…画
像検査部、１３…補完処理部、２０…矩形メモリ、２１
…演算実行部、２２…開始点・終了点設定部、２３…対
象画素設定部、２４，２５…終了検査部、３０…ブロッ
ク分割部、３１…画像特徴計算部、４０…輪郭候補領域
格納部、４１…画素データ抽出部、４２…再計算処理
部、５０…処理モード対応部、５１…領域判定部、５２
…フレームメモリ、５３…探索範囲設定部、５４…高類
似性ブロック抽出部、５５…参照画像特徴メモリ、５６
…外周領域生成部、１００…入力画像特徴計算部、１０
１…輪郭候補検出部、１０２…矩形変換部、１０３…輪
郭特徴計算部、１０４…輪郭検出部、１０５…オブジェ
クト検出部、１０６…参照画像特徴計算部、２０１…画
像オブジェクト、２０２、７０１…背景領域、２０３、
７０２…輪郭候補領域、２０４…画像オブジェクト領
域、６０１…無効領域、７０４…輪郭線、ａ〜ｎ…部分
領域（および矩形領域）、ＰＸ(２，２）〜ＰＸ(１，
７）…画素、Ｓ…経路開始点、Ｅ…経路終了点、ｆ０…
左斜め４５度方向エッジ検出フィルタ、ｆ１…縦方向エ
ッジ検出フィルタ、ｆ２…右斜め４５度方向エッジ検出
フィルタ、Ｖ…評価値バッファ、Ｒ…経路バッファ、Ｐ
１０〜Ｐ１６…処理ステップ。

Claims (3)

【特許請求の範囲】
1. 【請求項１】 時系列に入力される入力画像系列中の各
   入力画像の中から、対象輪郭線を持つ対象画像を検出す
   る画像処理装置において、 前記入力画像を所定の処理ブロックに分割し、当該入力
   画像中における画像特徴量を求め、当該画像特徴量の分
   布状態を検出する入力画像特徴検出手段と、 初期状態には、所定の手順により、前記対象輪郭線を含
   む輪郭線包含処理ブロックを検出して、当該輪郭線包含
   処理ブロックを構成単位として輪郭線包含領域を生成す
   る輪郭線包含領域生成手段と、 当該輪郭線包含領域内における輪郭特徴量の細密な分布
   状態を検査することで、前記対象輪郭線を検出する輪郭
   線検出手段と、 検出した当該対象輪郭線をもとに前記対象画像を検出す
   る対象画像検出手段と、 検出した当該対象画像の入力画像上の位置に基づいて、
   前記処理ブロックの構成単位である処理ブロック要素
   を、当該対象画像に属するか否か識別する処理ブロック
   要素識別手段と、 当該識別によって、当該対象画像に属するものとされた
   処理ブロック要素および／または当該対象画像に属さな
   いものとされた処理ブロック要素をもとに前記画像特徴
   量を再計算して再計算結果を出力する参照画像特徴量再
   計算部とを備え、 前記輪郭線包含領域生成手段は、 前記初期状態以降の通常状態において、前記入力画像系
   列中の入力時刻が早い先入力画像に関して前記参照画像
   特徴量再計算部が求めた再計算結果と、入力時刻が遅い
   後入力画像に関して前記入力画像特徴検出手段が求めた
   画像特徴量とを比較し、当該後入力画像上の処理ブロッ
   クごとに画像特徴類似判定処理を行って、類似度が所定
   範囲にある目的類似性領域に属する処理ブロックを検出
   する目的類似性領域検出部と、 前記通常状態において、当該目的類似性領域の外周部ま
   たは内周部に前記輪郭線包含領域を生成する輪郭線包含
   領域追跡部とを具備することを特徴とする画像処理装
   置。
2. 【請求項２】 請求項１の画像処理装置において、 前記目的類似性領域検出部は、 前記先入力画像上で対象画像が存在する領域およびその
   周辺の領域に相当する前記後入力画像上の位置に、当該
   後入力画像上における前記目的類似性領域の探索範囲を
   規定する所定近傍領域を検出する近傍領域検出部を備
   え、 前記画像特徴類似判定処理は、すでに検出されている前
   記先入力画像上の目的類似性領域と当該所定近傍領域の
   あいだで実行することを特徴とする画像処理装置。
3. 【請求項３】 請求項１の画像処理装置において、 前記所定の手順では、前記入力画像特徴検出手段が検出
   した画像特徴量の分布状態をもとに各処理ブロックを識
   別することにより、前記対象輪郭線を含む輪郭線包含処
   理ブロックを検出することを特徴とする画像処理装置。