JP2001307105A - 画像処理装置およびその方法 - Google Patents

Abstract

(57)【要約】 【課題】 複数の画像のセットから関心領域を自動抽出
する技術には、動きベクトルを利用する手法、動的輪郭
モデルに基づく手法があるが、検出解像度および精度が
低い、画素単位の解像度が得られない、汎用性がないな
どの問題がある。 【解決手段】 基準の時刻に撮像された画像における初
期輪郭情報が入力されると、特徴点選出部20は、その輪
郭線上から複数の特徴点を選出し、それら特徴点間の連
結関係を記憶部25に記憶させる。対応点探索部30は、他
の時刻に撮像された被探索画像において、選出された複
数の特徴点それぞれに対応する複数の対応点を探索し、
記憶された連結関係に基づき、探索した複数の対応点間
の輪郭を抽出する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は画像処理装置および
その方法に関し、例えば、動画像または多視点画像にお
ける関心領域を抽出する画像処理装置およびその方法に
関する。

【０００２】

【従来の技術】複数枚の画像のセットから特定の関心領
域を自動抽出する代表的な技術には(1)動きベクトルを
利用する手法、(2)動的輪郭モデルに基づく手法があ
る。以下に、手法1、2それぞれに属する例を具体的に説
明する。

【０００３】［動きベクトルを用いる手法］動画像の動
き補償フレーム間予測符号化においては、入力画像を予
め定めた大きさのブロックに分割し、ブロック単位に動
き補償フレーム間予測を行うことが一般的である。これ
に対し、本特許は、予め定めた閾値より予測誤差が大き
なブロックは、異なる動きをする物体の境界を含む可能
性があるとして、そのブロックを細分割し、細分割され
た部分単位に、動き補償フレーム間予測符号化を行う手
段を有する。つまり、動きの異なる被写体間の境界部の
解像度を高めることで、符号化効率を上げようとする。

【０００４】●特許第2616552号（動画像の符号化・復
号装置） 入力画像の画素ごとに得た動きベクトルを用いて、動き
補償フレーム間予測を行う符号化・復号装置である。入
力画像から被写体領域の輪郭線データを検出する手段を
有し、画素ごとの動きベクトルを内挿演算で求める際、
その内挿演算に異なる物体の動きベクトルを用いないよ
うにして、輪郭線近傍の急峻な動きベクトルの変化をよ
り正確に再現し、符号化効率を改善しようとする。

【０００５】●特開平8-335268号（領域袖出方法） 入力動画像の前フレームで関心領域の輪郭が与えられた
として、前フレームと現フレームとの間でブロックマッ
チングを行い、輪郭上の特徴点の動きベクトルを推定す
る。次に、動きベクトルの推定結果から、現フレームに
おける輪郭の候補位置を決定する。その輪郭候補領域内
で、現フレームのグラディエントベクトル場を計算す
る。最後に、そのグラディエントベクトル場のベクトル
の大きさが大きい点を通過するような三次スプライン曲
線を生成することにより、関心領域を抽出する。

【０００６】［動的輪郭モデルに基づく手法］M. Kass,
A. Witkin, D. Terzopoulos, "Snakes: Active Contou
r Models", International Journal of Computer Visio
n, Vol. 1, No. 4, p. 321-331, 1988に記載されるSnak
esと呼ばれる動的輪郭モデルは、輪郭の形状に応じて与
えられるエネルギ（内部エネルギ）、画像の性質に応じ
て与えられるエネルギ（画像エネルギ）、および、外部
から与えられるエネルギ（外部エネルギ）の総和が最小
になるように輪郭を収縮、変形することにより、関心領
域の輪郭線を抽出する。内部エネルギは輪郭線の形状が
滑らかなほど小さな値を、画像エネルギは輪郭線上の画
像のエッジ強度が高いほど小さな値を、外部エネルギは
輪郭線が外部から与えられた点に近いほど小さな値をそ
れぞれ取るように定義される。

【０００７】

【発明が解決しようとする課題】上記の従来にはそれぞ
れ以下のような問題がある。 (1)特許第2500439号: 輪郭線の解像度が低い

【０００８】輪郭近傍でブロックサイズを小さくして解
像度を上げても、所詮、ブロック単位の解像度に過ぎ
ず、画素単位の輪郭データを正確に求めることはできな
い。また、ブロックを再分割したか否かを判別するため
の付加情報がブロックごとに発生してしまい、圧縮率を
低下させる原因になる。 (2)特許第2616552号: 輪郭検出の精度が低い

【０００９】四種類の輪郭検出方法が説明されている
が、それぞれ次の問題がある。

【００１０】前フレームと現フレームとの差分データか
ら輪郭を抽出する方法は、差分量が大きい領域は抽出で
きても、差分量が大きい領域内から輪郭線を検出するに
は、細線化など、何らかの後処理が必要になる。

【００１１】前フレームの輪郭データと現フレームの輪
郭データとの差分から輪郭を抽出する方法は、上記の方
法と同様に、差分量が大きい領域は抽出できても、差分
量が大きい領域内から輪郭線を検出するには、細線化な
ど、何らかの後処理が必要になる。

【００１２】登録された背景画像との差分から輪郭を抽
出する方法は、背景が固定されていて、汎用性がない。

【００１３】予め動きベクトルを検出し、その分布が急
激に変化する場所から輪郭を抽出する方法は、動きベク
トルを検出するブロック単位の解像度でしか輪郭線が求
まらない。 (3)特開平8-335268号: 画素単位の解像度が得られない

【００１４】輪郭データの部分部分をスプライン関数で
表現するので、画素単位の正確さで被写体の輪郭を抽出
することはできない。 (5)動的輪郭モデルに基づく手法

【００１５】第一に汎用性に乏しい。輪郭モデルの挙動
を決定するパラメータ、すなわち、内部エネルギ、画像
エネルギおよび外部エネルギの各項の重み係数を、入力
画像ごとに経験的に設定しなければならず、汎用性に欠
ける。

【００１６】第二に輪郭の初期設定に敏感である。正確
な初期位置を与えなければならず、輪郭の初期設定の精
度が低いと、上記のエネルギ分布の極小値に陥り易く、
なかなか正しい輪郭に収束しない。

【００１７】第三に計算量が多く高速処理が困難であ
る。輪郭上の一つの節点の移動方向を決定するために
は、その節点が動き得るすべての方向にある近傍点につ
いて、上記のエネルギを求め、かつ、その演算を輪郭線
上のすべての節点で行わなければならないので、処理の
高速化が難しい。

【００１８】第四に輪郭近傍の偽エッジやノイズの影響
を受け易い。エッジ強度の高い画素を選択するように画
像エネルギが定義されるので、真の輪郭線上のエッジ強
度より輪郭線近傍の偽エッジやノイズの強度が高いと、
これを誤選択してしまう。

【００１９】本発明は、上述の問題を解決するためのも
のであり、動画像または多視点画像など複数の画像に跨
がる関心領域を高速、高精度に抽出することを目的とす
る。

【００２０】

【課題を解決するための手段】本発明は、前記の目的を
達成する一手段として、以下の構成を備える。

【００２１】本発明にかかる画像処理装置は、基準の時
刻または視点で撮像された基準画像における関心領域の
輪郭が与えられると、前記関心領域の輪郭線の上または
近傍から複数の特徴点を選出する選出手段と、選出され
た複数の特徴点間の連結関係を記憶する記憶手段と、他
の時刻または異なる視点で撮像された被探索画像におい
て、前記複数の特徴点それぞれに対応する複数の対応点
を探索する探索手段と、

【００２２】前記記憶手段に記憶された連結関係に基づ
き、前記被探索画像の関心領域として前記複数の対応点
間の輪郭を抽出する抽出手段とを有することを特徴とす
る。

【００２３】本発明にかかる画像処理方法は、基準の時
刻または視点で撮像された基準画像における関心領域の
輪郭が与えられると、前記関心領域の輪郭線の上または
近傍から複数の特徴点を選出し、選出された複数の特徴
点間の連結関係を記憶し、他の時刻または異なる視点で
撮像された被探索画像において、前記複数の特徴点それ
ぞれに対応する複数の対応点を探索し、記憶した連結関
係に基づき、前記被探索画像の関心領域として前記複数
の対応点間の輪郭を抽出することを特徴とする。

【００２４】

【発明の実施の形態】以下、本発明にかかる一実施形態
の画像処理装置を図面を参照して詳細に説明する。

【００２５】なお、以下で説明する輪郭抽出により抽出
された関心領域の画像データは、例えば、周波数領域の
データに変換された後、他の領域と異なる量子化方法ま
たは量子化テーブルにより量子化され、可変長符号化さ
れるなどの画像処理が施される。

【００２６】

【第1実施形態】［構成］図1は第1実施形態の機能構成
例を示すブロック図である。

【００２７】図1において、10は入力画像内の関心領域
の輪郭を抽出する輪郭抽出部、20は抽出された輪郭上、
または、その近傍に存在する複数の特徴点を選出する特
徴点選出部、25は選出された特徴点同士の連結関係を記
憶する特徴点連結関係記憶部、30は複数の特徴点の各対
応点を、他の時刻または他の視点から撮像して得られた
画像中で探索する対応点探索部、40は入力画像を記憶す
る画像メモリ、50は新たに求まった複数の特徴点のアド
レスを一定時間保持するディレイ回路である。

【００２８】なお、本発明は、図1に示す構成をもつ装
置だけでなく、汎用のパーソナルコンピュータやワーク
ステーション上で次のステップを有するプログラムコー
ドを実行することで実現可能である。つまり、少なくと
も、画像の関心領域の輪郭を抽出する輪郭抽出ステッ
プ、抽出された輪郭線上の特徴点を選出する特徴点選出
ステップ、特徴点の連結関係をメモリに記憶させるステ
ップ、特徴点の対応点を他の画像内で探索する対応点探
索ステップ、および、対応点を輪郭抽出ステップに供給
するステップを備え、複数枚の画像に跨がる関心領域を
順次抽出するプログラムコードである。

【００２９】以下、図1の各機能構成を動作順に説明す
る。

【００３０】まず、輪郭抽出部10に、基準になる画像に
おける関心領域の初期輪郭情報が与えられる。動画や連
写画像などの時系列画像が入力される場合は、オペレー
タが初期画像内における関心領域の輪郭線上の要所要所
を指示してもよいし、時間的に連続する二枚の画像間の
差分データを用いることもできる。なお、関心領域の初
期輪郭情報を獲得する方法は、限定されるものではな
く、本発明の主旨に反しない範囲であれば、いかなる方
法でもよい。

【００３１】輪郭線上の要所要所が特徴点あるいは制御
点として与えられた際の特徴点間の輪郭抽出方法は後述
する。なお、本実施形態では、入力画像として時系列画
像を説明するが、多視点画像であっても構わない。

【００３２】特徴点選出部20は、輪郭線上またはその近
傍領域で翰郭線の特徴をよく表す点を選出する。図2は
代表点の選出方法を説明するフローチャートである。

【００３３】輪郭線を表す閉曲線のアドレスデータが入
力されると、図2に示すステップS1で、その閉曲線の形
状を解析する。ディジタル画像中の直線、曲線、閉曲線
などの線を表現する方法としてフリーマンのチェーンコ
ードが知られている。その原理を、図3および図4を参照
して説明する。図3はディジタル画像上のハート型の閉
曲線を表し、その閉曲線内部が画像の関心領域である。
図4は八方向の量子化コードを示し、輪郭線上で隣接す
る画素同士の位置関係を数値化するためのものである。
図3に示す点Aを始点として、時計回りに図中の閉曲線を
記述すると、00066000201006…になる。

【００３４】次に、ステップS2で、フリーマンのチェー
ンコードから輪郭線の向きが急峻に変化する点を選出す
る。例えば、コードが0から6、6から0、0から2、2から0
などに変化する点は、輪郭線の軌跡が90度折れ曲がって
いることを示し、容易に輪郭線のコーナを検出すること
ができる。ただし、輪郭線の軌跡が90度折れ曲がってい
る点は輪郭上には多数存在し得る。例えば、斜め45度方
向の直線は、64646464…のように細かい周期で90度の屈
曲を繰り返す。そこで、所定以下の周期で繰り返す屈曲
部からは特徴点を選出しないようにする。

【００３５】特徴点の数を適切な数に保つには、このほ
か、フリーマンのチェーンコードに間引き処理を施した
り、画像自体の解像度を低くするなどの処理が有効であ
る。図5は図3に示したディジタル画像の解像度を水平、
垂直両方向ともに1/2に低下させた様子を示している。
原画像の四画素を一画素とする粗い画素単位で、図5に
示す点A'を始点として、時計回りにフリーマンのチェー
ンコードを作成し、輪郭線の軌跡が大きく向きを変える
点を抽出する。低解像度化により、大局的に特徴的な点
は残り、不必要に細かい屈曲点は除去される。

【００３６】また、屈曲の角度が90度未満の鋭角コーナ
および135度以上の鈍角コーナはもらさず特徴点とす
る。また、閉曲線が生成されるように最低三点の特徴点
を選定する。

【００３７】特徴点連結関係記憶部25は、前記特徴点選
出部20により選出された特徴点同士の連結関係を記憶す
る。図6は、図5に示す閉曲線上から選出された九個の特
徴点を示す図で、特徴点はハッチングで示されている。
各特徴点はフリーマンのチェーンコードを作成した順
に、すなわち、A'点を始点として時計回りに、No.1から
No.9までラベリングされている。ラベリング番号が連番
の特徴点、または、最初(No.1)と最後(No.9)の特徴点
は、輪郭追跡するためのペアであることを意味する。各
特徴点に割り当てられたラベリング番号は、後段の対応
点探索部30において、現フレームの特徴点の対応点を次
フレーム内で探索した時に、そのまま引き継がれる。

【００３８】次に、図2に示すステップS3におけるラベ
リングの更新方法を、図7および図8を用いて、前後する
輪郭抽出部10、対応点探索部30などと関連付けながら説
明する。

【００３９】図7(a)はある時刻における関心領域の輪郭
線である。特徴点としては、図示された三点A、Bおよび
Cが選出されている。この輪郭線のデータは、図8(a)に
示すように、ある特徴点を先頭とした一次元の配列に格
納される。そして、選出された特徴点A、BおよびCは、
その配列順に従い、No.1、No.2およびNo.3とラベリング
される。

【００４０】図7(b)は一定時間後の関心領域の輪郭線
で、形状が変化している様子が示されている。特徴点
A、BおよびCそれぞれの対応点は、後述する対応点探索
部30によりA'、B'およびC'と求められる。輪郭抽出部10
は、その対応点A'、B'およびC'を通過点として、関心領
域の一定時間後の輪郭線を抽出する。輪郭抽出直後の輪
郭線データは、図8(b)に示すように、一定時間前の先頭
の特徴点Aをそのまま先頭とした一次元配列である。こ
こで、特徴点選出部20の働きにより、図8(b)に示す輪郭
データから新たな特徴点D、EおよびFが選出される。図8
(c)は、先頭の特徴点Dが先頭になるようにアドレスをシ
フトして表示したものである。新たな特徴点D, Eおよび
Fは、その配列順に従い、新たにNo.1、No.2およびNo.3
とラベリングされ特徴点連結関係記憶部25に記憶され
る。また、新たな特徴点D、EおよびFは、対応点探索部3
0による次の対応点探索のための新しい基準画素にな
る。

【００４１】以上説明したように、図2に示すステップS
3では、被写体の形状変化に応じて、特徴点の更新、消
去および追加の作業（ラベリングの更新）が自動的に行
われる。

【００４２】対応点探索部30は、特徴点抽出部20により
抽出された複数の特徴点に対応する各対応点を次フレー
ム内で探索する。特徴点の対応付けは、各特徴点とその
近傍画素からなるブロックを用いたブロックマッチング
で高速に行うことができる。しかし、その対応付け方法
は、ブロックマッチングに限られるものではなく、本発
明の主旨を逸脱しない範囲であれば、いかなる方法でも
よい。

【００４３】画像メモリ40は、例えばフレームメモリの
ような画像データを一時記憶する記憶装置で、輪郭抽出
部10における輪郭抽出動作は、画像メモリ40に蓄積され
た画像データを読み出しながら行われる。また、ディレ
イ回路50は、対応点探索部30において抽出された最新画
像における特徴点のアドレスデータを一時記憶し、輪郭
抽出部10が画像メモリ40から読み込む画像データに同期
させるためのものである。

【００４４】［輪郭抽出部］次に、輪郭抽出部10の内部
処理を詳細に説明する。図9は輪郭抽出部10の内部構成
例を示すブロック図である。

【００４５】エッジ抽出部90は、画像メモリ40から供給
される画像からエッジ成分を抽出する。エッジトレース
部100は、連結関係にある二点の特徴点のうち、一方の
特徴点を始点、もう一方の特徴点を終点として、エッジ
強度の大きい画素を順次追跡する。このエッジトレース
の過程で、フリーマンのチェーンコードが自動的に生成
され、後段の特徴点選出部20へエッジトレースの結果と
ともに供給される。

【００４６】エッジ抽出部90におけるエッジ抽出方法
は、SobelオペレータやLaplacianオペレータなどに代表
される空間微分処理で行ってもよいし、Prewittオペレ
ータやKirschオペレータなどのようなテンプレートマッ
チングで行ってもよい。つまり、エッジ抽出の目的が達
成できれば、いかなる手法でもよい。なお、エッジ抽出
の演算量を減らすために、エッジ抽出処理を輪郭抽出区
間と、後述する目隠しマスクで決定される輪郭追跡可能
範囲に限定することができる。さらに、エッジ抽出部90
をエッジトレース部100内に組み込み、エッジ強度を比
較する近傍画素のアドレスが決定した瞬間に、その近傍
画素に対してのみエッジ抽出を行ってもよい。

【００４７】図10はエッジトレース部100の内部処理を
最もよく表すフローチャートである。

【００４８】抽出したい輪郭区間を設定し(S110)、設定
された輪郭区間の始点を注目点の初期位置として、ま
た、終点を輪郭追跡の目標点として、両端点（始点およ
び終点）をセットする(S120)。次に、注目点と目標点と
の位置関係を算出し(S130)、注目点の近傍画素に視野制
限を加える目隠しマスクを作成し(S140)、注目点の近傍
画素からエッジ強度最大の画素を探索し(S150)、探索さ
れた輪郭画素を新しい注目点としてセットする(S160)。
そして、ステップS170で、新しい注目点が目標点と一致
するか否かを判断する。

【００４９】輪郭線データは、注目点のアドレス（座標
値）を記録することにより構築され、フリーマンのチェ
ーンコードは注目点の移動方向を逐次記録することによ
り生成される。

【００５０】次に、図10に示す各ステップの処理を詳細
に説明する。

【００５１】ステップS110における輪郭抽出区間の設定
は、輪郭追跡を行う初期画面において、オペレータがマ
ウスのようなポインティングデバイスを用いて抽出した
い輪郭区間を挟む両端点を指定することで実現される。
具体的には、オペレータが画面上のマウスカーソルを移
動して、抽出したい輪郭区間の端点近傍にマウスカーソ
ルを置き、マウスボタンを押せばよい。初期画面以降
は、対応点探索部30から供給される連結関係にある特徴
点の組により輪郭抽出区間が設定される。

【００５２】初期画面のステップS120では、マウスボタ
ンが押された瞬間、マウスカーソルが指示する位置を中
心に一定距離内にある画素の中で、最もエッジ強度の強
い画素が探索される。同様に、初期画面以降のステップ
S120では、対応点探索部30から供給される連結関係にあ
る特徴点を中心に一定距離内にある画素の中で、最もエ
ッジ強度の強い画素が探索される。探索された画素の位
置は端点と定められ、最初に指定された点が始点、次に
指定された点が終点にセットされる。なお、始点は注目
点の初期位置であり、終点は輪郭追跡における目標点で
ある。

【００５３】ステップ130では、注目点と目標点との位
置関係を算出する。具体的には、目標点を基準として、
注目点と目標点とがなす角を求める。注目点の座標を(x
0,y0)、目標点の座標を(x1,y1)とすると、二点のなす角
θは(1)式で表される。 θ = tan^-1{(y0 - y1)/(x0 - x1)} …(1) (1)式で算出される角θは、図11に示すように、45度刻
みの八方向、すなわち、方向1（-22.5から+22.5度）、
方向2（22.5から67.5度）、方向3（67.5から112.5
度）、方向4（112.5から157.5度）、方向5（157.5から1
80度、かつ、-180から-157.5度）、方向6（-157.5から-
112.5度）、方向7（-112.5から-67.5度）および方向8
（-67.5から-22.5度）の何れかに分類される。なお、
(1)式の演算はルックアップテーブルを用いて高速に実
行することができる。

【００５４】ステップS140では、上記の八方向に応じ
た、図12に示される目隠しマスクにより、輪郭線を追跡
中の注目点を中心とする近傍八画素がマスキングされ
る。図12において、注目点の位置は×印で示され、
「1」は移動可能な画素を示し、「0」は移動禁止の画
素、つまりマスキングされた画素を示す。この目隠しマ
スクは、進行可能な画素が五画素、進行禁止の画素が三
画素であり、かなり自由な輪郭線追跡を許容しつつ、確
実に目標点へ収束するような制約を与える。

【００５５】ステップS150では、ステップS140でマスキ
ングされなかった近傍画素中で、最大のエッジ強度をも
つ画素が探索される。ステップS160では、ステップS150
で探索された画素である次の注目点へ一画素移動する。

【００５６】図13は本実施形態による輪郭追跡の移動可
能な範囲を示す図である。

【００５７】輪郭の追跡可能範囲は、目標点Bに対して
後退する方向を除き、自由な追跡を許容する。注目点C
が始点Aにある瞬間、すなわち、輪郭追跡の開始時は最
大で八角形aの範囲を移動できる。しかし、注目点Cが終
点（目標点）Bに到達するまで、その八角形aの範囲内で
注目点Cを自由に移動できるわけではなく、注目点Cが例
えば八角形bの輪郭に達した後、移動できる領域は八角
形bの範囲内に限定される。このように、目標点Bに近付
くほど、移動可能範囲の八角形が漸次縮小し、確実に目
標点Bに到達するように動作する。

【００５８】ステップS170では、注目点Cが終点Bに達し
たか否かが判定される。終点Bに達していない場合は、
ステップS130に戻り、新しい注目点Cに対してステップS
130からS160の処理が繰り返され、ステップS170で注目
点Cが終点Bに達したと判定されると輪郭抽出処理が終了
する。

【００５９】本実施形態では、前記の目隠しマスクのほ
かに、補助的に後退を防止するマスクを設けている。

【００６０】図14は、輪郭線A-Bとその区間を追跡中の
注目点Cを表す図である。注目点Cが図14に示された位置
に到達した時、目標点である終点Bとの位置関係が157.5
から180度、かつ、-180から-157.5度の方向5に属するた
め、前述したように、方向5の目隠しマスクによりbおよ
びh（上下）方向、f（右）方向、c（右上）方向、並び
に、i（左下）方向への進行が許される。図14の例で
は、エッジが注目点Cの上の画素bおよび下の画素hに存
在するので、進路は上下二方向に限られる。この時、画
素hのエッジ強度が画素bのエッジ強度よりも高いと「エ
ッジ強度の大きい画素を順次追跡する」というルールお
よび目隠しマスクだけでは、輪郭追跡が前進できなくな
る。

【００６１】上記の問題に対応するために、本実施形態
においては、輪郭追跡の進行方向を制限する目隠しマス
クのほかに、輪郭追跡が過去の輪郭追跡経路に戻らない
ように、つまり後退しないように注目点Cに対して後退
防止の視野制限を補助的に加える。すなわち、注目点C
が図14に示す位置に到達した瞬間、注目点Cは画素hから
画素eへ移動してきたわけであるから、進行方向に対し
て後方にあたる画素g、hおよびiへ進まないように視野
制限する。

【００６２】なお、上記では、近傍画素を注目点Cに隣
接する八画素と説明したが、細部の輪郭追跡が必要ない
場合や、より滑らかに輪郭を抽出したい場合などは、注
目点Cから二画素以上離れた近傍画素を用いて同様に処
理することも可能である。

【００６３】このように、第1実施形態によれば、次の
効果を得ることができる。 (1)輪郭抽出処理は局部的なエッジ強度の比較になり、
特徴点の対応点探索は局部的な類似点の探索になるの
で、処理速度が速く、複数の画像から共通する関心領域
を高速に抽出することができる。 (2)輪郭抽出処理において、注目点が移動する度に視野
を制限する目隠しマスクが適宜設定されるので、自由度
の高い輪郭追跡経路を確保しつつ、確実に終点（目標
点）へ到達することができ、信頼性が高い。 (3)輪郭抽出処理における輪郭追跡の拘束条件が「目標
点に対して後退しない」だけであるから、トレース経路
の自由度が極めて高く、曲率変化の緩やかな輪郭線にお
いては目標点に背後から到達するような大回りの輪郭も
追跡可能である。その結果、輪郭抽出の始点および終点
の間を広く設定することができ、特徴点の数が少なくて
済み、対応点を探索する処理がより高速化される。 (4)新たに抽出される輪郭線の形状に基づき、毎回、新
しい特徴点を選出するので、形状変化を伴う関心領域を
抽出することができる。

【００６４】

【第2実施形態】以下、本発明にかかる第2実施形態の画
像処理装置を説明する。なお、本実施形態において、第
1実施形態と略同様の構成については、同一符号を付し
て、その詳細説明を省略する。

【００６５】図15は第2実施形態の輪郭抽出部10の詳細
な構成例を示すブロック図で、図9に示した第1実施形態
の輪郭抽出部10の構成に、エッジトレース部100に異な
る輪郭抽出特性を与える輪郭抽出特性選択部200が追加
されている。

【００６６】第1実施形態では、輪郭追跡の拘束条件を
極力緩くし、追跡経路の自由度を最大限に確保した。従
って、輪郭線のエッジ強度がその近傍のエッジやノイズ
の強度よりも相対的に大きい場合、第1実施形態の輪郭
追跡は極めて効果的である。しかし、輪郭線近傍のエッ
ジやノイズの強度が、輪郭線のエッジ強度よりも大きい
場合は、視野が広い分、トレースを誤る可能性が高くな
る。

【００６７】第2実施形態では、図12に示した目隠しマ
スク、および、図16に示す目隠しマスクの両方をもた
せ、何れかのマスクを選択的に使用する。図12に示す目
隠しマスクは、五方向の追跡が許容されるが、図16に示
す目隠しマスクの追跡可能な方向は三方向に絞られてい
る。これは、輪郭追跡に対して「目標点に対して常に近
付く」という拘束条件を与えたことに等しい。従って、
図16に示す目隠しマスクによれば、図12に示す目隠しマ
スクによる処理に比べて、輪郭追跡の経路の自由度が小
さくなる分、輪郭近くにある輪郭以外のエッジを誤検出
する可能性が小さくなり、安定性が高い。

【００６８】図17は図16に示す目隠しマスクを使用した
時の輪郭追跡可能範囲を示す図である。図17に示す範囲
aは注目点Cが始点Aにある時の、範囲bは注目点Cが範囲b
の輪郭上にある時の追跡可能範囲を示す。このように、
注目点Cが目標点Bに近付くほど、逐次追跡可能範囲が縮
小し、最後は、確実に目標点Bに到達する。

【００６９】輪郭抽出特性選択部200は、輪郭抽出部10
により得られるエッジ画像の、連結関係にある特徴点に
挟まれた部分領域におけるエッジの強度、コントラスト
および分散などに応じて、輪郭抽出特性を選択する。ま
た、異なる輪郭抽出特性で、つまり異なる目隠しマスク
を用いたエッジトレースを並行して行わせ、抽出された
輪郭線の滑らかさ、エッジ強度およびコントラストなど
をから、所望の輪郭追跡結果を選択することもできる。

【００７０】このように、第2実施形態によれば、第1実
施形態の効果に加えて、次の効果を得ることができる。 (5)より視野制限の厳しい目隠しマスクを設けることに
より、輪郭線の近くにある、輪郭線以外の強いエッジや
ノイズに惑わされ難くなり、エッジ強度の低い輪郭線、
ノイジィな画像の輪郭線などを安定に追跡することがで
きる。 (6)輪郭以外のエッジが強い時は図16に示す目隠しマス
クを、輪郭線のエッジが強い時は図12に示す目隠しマス
クを選択的に使用して、輪郭抽出特性を適応的に変化さ
せることができるので、輪郭抽出の適用範囲を拡げるこ
とができる。

【００７１】

【第3実施形態】上述した第1および第2実施形態では、
注目点の近傍画素へ二値のマスキングを行ったが、第3
実施形態では二値のマスキングだけではなく、多値の重
み付けを行って輪郭抽出特性をより滑らかに変更する。

【００７２】図18は多値の重み付けを行った方向5の目
隠しマスクの一例を示す図である。勿論、図18に示す重
み付け係数は一例であり、より細かく変化させることも
可能である。図18(a)および(c)に示す目隠しマスクはそ
れぞれ、図12および図16に示す目隠しマスクと同等であ
る。また、図18(b)に示す目隠しマスクは図12と図16に
示すものの中間的な拘束条件を有し、図18(d)に示す目
隠しマスクは図16に示すものより厳しい拘束条件を有す
る。

【００７３】従って、注目点の近傍画素における各エッ
ジ強度の大きさに明確な差がない場合、すなわち、エッ
ジが途切れている個所やコントラストが低い個所では図
18(a)や(b)に示す重み付けされた目隠しマスクを選択的
に使用することで、目標点へ向かう方向をより優先させ
た輪郭追跡を継続することができる。また、逆の特性を
もつ個所では図18(c)や(d)に示す重み付けされた目隠し
マスクを選択的に使用すればよい。

【００７４】このように、第3実施形態によれば、第1お
よび第2実施形態の効果に加えて、次の効果を得ること
ができる。 (7)エッジが明確でない個所においても目標点に向かう
ように輪郭追跡を継続することができる。 (8)異なる重み付け係数を有する目隠しマスクを複数備
え、輪郭周辺の画像の状態に応じて自由に選択すること
ができるので、あらゆる画像輪郭に対して適用可能にな
る。

【００７５】

【第4実施形態】上述した第1から第3実施形態では、始
点から終点へ向かう一方向の輪郭追跡を説明した。しか
し、一方向の輪郭追跡を行うとエッジの分岐路で誤った
方向へ進む可能性がある。そこで、第4実施形態では、
始点と終点を入れ替えて、逆向きの輪郭追跡も行う。こ
の双方向トレースの効果を図19および図20を用いて説明
する。

【００７６】図19および図20には、真の輪郭線と、その
輪郭線に重なるようにして存在する背景のエッジとが示
されている。ここでは、背景エッジの方がエッジ強度が
大きいとする。図19では、始点Aは図の下側に、終点Bは
図の上側にあり、輪郭は図の下側から上側へ追跡され
る。図19に示す方向（以下「正方向」と呼ぶ）で輪郭線
を追跡すると、トレースは、よりエッジ強度が強い背景
エッジの方向へ進み、目隠しマスクの働きにより途中で
背景エッジから離れ、図19に示すように終点Bへ向か
う。つまり、図19は典型的なエッジトレースの失敗例を
示している。

【００７７】一方、図20では、始点Aと終点Bの組み合わ
せを図19とは逆にしたので、輪郭追跡は図の上側から下
側へ図19とは逆方向に進む。従って、図19ではエッジの
分岐点であった点が、図20ではエッジの合流点に変化す
る。勿論、目隠しマスクにより目標点Bから遠ざかる方
向へトレースすることはできないので、トレースは、合
流点で背景エッジの方向へ折り返すことはなく、より強
い背景エッジが存在するにもかかわらず、正しい輪郭を
抽出することができる。

【００７８】図21は第4実施形態の処理を示すフローチ
ャートである。

【００７９】ステップS300で図10に示す輪郭追跡を行
い、ステップS301でその信頼性を評価する。この評価
は、輪郭線の滑らかさ、輪郭線上のエッジ強度の平均
値、または、輪郭線の長さ（パスレングス）などを単独
に用いて行うか、あるいは、これらを重み付き加重する
などして総合的に行う。次に、ステップS302で始点と終
点を入れ替え、ステップS303で再び図10に示す輪郭追跡
を行い、ステップS304でその信頼性を評価する。そし
て、ステップS305で両方向の輪郭追跡結果の評価結果を
比較して、より信頼性の高い輪郭追跡結果を出力する。

【００８０】このように、第4実施形態によれば、第1か
ら第3実施形態の効果に加えて、次の効果を得ることが
できる。 (9)双方向の輪郭追跡を行い、より輪郭らしい追跡結果
を選択することで、輪郭線と交わる「輪郭以外のエッ
ジ」の影響を受け難い極めて安定した輪郭追跡が実現さ
れる。 (10)第4実施形態では、エッジの分岐点に着目して双方
向の輪郭追跡の有効性を説明した。勿論「エッジの分岐
点」は逆にみれば「エッジの合流点」であるから、「目
標点に向かって進む」や「過去の進行方向に逆行しな
い」などの拘束条件を実現するマスク処理と組み合わせ
ることで「輪郭以外のエッジ」の影響を受け難い極めて
安定した輪郭追跡が実現される。しかし、第4実施形態
の双方向の輪郭追跡においてマスク処理は必須ではな
い。抽出したい輪郭部の両端点近傍に鮮明なエッジがな
い場合など、両端点近傍の輪郭追跡経路が復路と往路と
で異なり、その結果、両方向の輪郭追跡結果が全く異な
る経路になることがある。このような場合でも、双方向
の輪郭追跡結果の何れか一方は、真の輪郭線を抽出する
ので、一方向の輪郭追跡と比べて確実に有利である。

【００８１】

【第5実施形態】第1実施形態では、輪郭線上の特徴点選
出方法として、輪郭線の形状情報であるフリーマンのチ
ェーンコードを利用した。第5実施形態では、輪郭線の
形状情報のほかに、輪郭線の上または近傍の画像情報を
利用する。具体的な画像情報として輪郭線を構成する各
画素がもつエッジの強度を参照する。つまり、輪郭線の
形状情報に基づき輪郭線上の特徴点の候補を選出し、特
徴点のエッジ強度により優先付けを行う。エッジ強度の
高い特徴点ほど、次フレームでの対応点探索がより高精
度に行えるので、優先度を上げる。優先付け結果を用い
て、関心領域を抽出するシステムの処理能力に応じて定
まる特徴点数の上限個だけ、特徴点を選抜する。

【００８２】また、第5実施形態は、第1実施形態におい
て説明した、低解像度化された画像から抽出された特徴
点に対応する高解像度の原画像の画素を決定する場合に
も有用である。つまり、低解像度画像において特徴点と
して選択された「原画像の四画素からなる粗い一画素領
域」から最も信頼性の高い原画像の一画素を選択する場
合は、原画像の四画素それぞれのエッジ強度を比較すれ
ばよく、最もエッジ強度の高い画素が自動的に選択され
る。

【００８３】第5実施形態の特徴点選出方法によれば、
次の特有の効果が得られる。 (11)多くの特徴点候補から予め定められた個数の特徴点
を選抜する際の指針を与えることができる。 (12)多くの特徴点候補から信頼性の高い特徴点を選抜す
ることができる。 (13)低解像度画像の特徴点から対応する高解像度画像の
特徴点を求めることができる。

【００８４】

【第6実施形態】第1実施形態では、輪郭線の形状情報で
あるフリーマンのチェーンコードを利用して輪郭線上の
特徴点を選出する方法を説明し、第5実施形態では、輪
郭線の形状情報のほかに、輪郭線の上または近傍の画像
情報を利用する例を説明した。第6実施形態では、第4実
施形態を利用して、双方向のトレース結果から特徴点を
選出する方法を説明する。

【００８５】第4実施形態の原理を図19および図20を参
照して説明する。図19に示す正方向のトレースにおいて
は、輪郭線に交わる背景エッジの分岐点で、よりエッジ
強度の高い背景エッジのトレースが開始される。しか
し、分岐点までのトレースは正しい。一方、図20に示す
逆方向のトレースにおいては、分岐点は真の輪郭線と背
景エッジとの合流点であるから、分岐点は輪郭追跡に対
し何ら悪影響を与えない。正方向および逆方向のトレー
ス結果を比較すると、図19の始点Aと分岐点との間のト
レース結果は一致し、分岐点と図19の終点Bとの間のト
レース結果は一致しない。第6実施形態は、双方向のト
レースを行いトレース結果が一致する区間の端点を特徴
点とする。

【００８６】つまり、図19に示す分岐点を特徴点にすれ
ば、トレースの脱線を引き起こす分岐点をなくすことが
でき、信頼性の高い特徴点を選出することができる。勿
論、第6実施形態を、第1または第5実施形態と組み合わ
せれば、さらに、特徴点の信頼性を向上させることがで
きる。

【００８７】第5実施形態によれば、次の特有の効果が
得られる。 (14)輪郭線の形状やエッジ強度だけでは選出できない特
徴点を漏れなく選出することができる。とくに、背景や
関心領城内部に強いエッジが存在する場合に有効であ
る。

【００８８】

【第7実施形態】第1実施形態の対応点探索部30は、各特
徴点およびその近傍画素からなるブロックを用いるブロ
ックマッチングを単独に行う。一方、動きベクトルを検
出するLSIが開発され、画像内の綿密な動きベクトルを
リアルタイムに検出することができる。このような動き
ベクトル検出用のLSIを併用すれば、現時点で選出され
た特徴点により次フレームにおける探索範囲を限定する
ことができ、次の特有な効果を得ることができる。 (15)特徴点近傍の動きベクトルの分布から、次フレーム
における対応点探索の範囲をおおよそ限定することがで
き、対応点探索の無駄を省き、処理効率が向上するとと
もに、特徴点の誤対応を減らすことができる。

【００８９】

【発明の効果】以上説明したように、本発明によれば、
動画像または多視点画像など複数の画像にまたがる関心
領域を高速、高精度に抽出することができる。

【図面の簡単な説明】

【図１】第1実施形態の機能構成例を示すブロック図、

【図２】代表点の選出方法を説明するフローチャート、

【図３】ディジタル画像中の線を表現するフリーマンの
チェーンコードの原理を説明する図、

【図４】ディジタル画像中の線を表現するフリーマンの
チェーンコードの原理を説明する図、

【図５】図3に示すディジタル画像の解像度を水平、垂
直両方向ともに1/2に低下させた様子を示す図、

【図６】図5に示す閉曲線上から選出された九個の特徴
点を示す図、

【図７】図2に示すラベリングの更新方法を説明する
図、

【図８】図2に示すラベリングの更新方法を説明する
図、

【図９】輪郭抽出部の内部構成例を示すブロック図、

【図１０】図9に示すエッジトレース部の内部処理を最
もよく表すフローチャート、

【図１１】注目点と目標点とがなす角の分類を示す図、

【図１２】目隠しマスクの例を示す図、

【図１３】輪郭追跡の移動可能な範囲を示す図、

【図１４】輪郭線とその区間を追跡中の注目点を表す
図、

【図１５】第2実施形態の輪郭抽出部の詳細な構成例を
示すブロック図、

【図１６】目隠しマスクの他の例を示す図、

【図１７】図16に示す目隠しマスクを使用した時の輪郭
追跡可能範囲を示す図、

【図１８】多値の重み付けを行った目隠しマスクの一例
を示す図、

【図１９】双方向トレースの効果を説明する図、

【図２０】双方向トレースの効果を説明する図、

【図２１】第4実施形態の処理を示すフローチャートで
ある。

Claims (16)

【特許請求の範囲】
1. 【請求項１】 基準の時刻または視点で撮像された基準
   画像における関心領域の輪郭が与えられると、前記関心
   領域の輪郭線の上または近傍から複数の特徴点を選出す
   る選出手段と、 選出された複数の特徴点間の連結関係を記憶する記憶手
   段と、 他の時刻または異なる視点で撮像された被探索画像にお
   いて、前記複数の特徴点それぞれに対応する複数の対応
   点を探索する探索手段と、 前記記憶手段に記憶された連結関係に基づき、前記被探
   索画像の関心領域として前記複数の対応点間の輪郭を抽
   出する抽出手段とを有することを特徴とする画像処理装
   置。
2. 【請求項２】 前記選出手段は、前記被探索画像の関心
   領域を抽出するための特徴点として、前記複数の対応点
   の少なくとも一部を用いることを特徴とする請求項1に
   記載された画像処理装置。
3. 【請求項３】 前記選出手段による特徴点の選出は、前
   記関心領域の輪郭の形状情報に基づき行われることを特
   徴とする請求項1または請求項2に記載された画像処理装
   置。
4. 【請求項４】 前記選出手段による特徴点の選出は、前
   記関心領域の輪郭線の上または近傍の画像情報に基づき
   行われることを特徴とする請求項1または請求項2に記載
   された画像処理装置。
5. 【請求項５】 前記抽出手段は、前記連結関係を有する
   二つの特徴点の一方を始点、もう一方を終点として、エ
   ッジ強度の大きい画素を順次トレースすることを特徴と
   する請求項1から請求項4の何れかに記載された画像処理
   装置。
6. 【請求項６】 前記抽出手段は、前記始点および終点の
   特徴点を入れ替えて、前記トレースを双方向に行い、そ
   れらトレース結果の何れかを選択することを特徴とする
   請求項5に記載された画像処理装置。
7. 【請求項７】 前記選出手段は、前記双方向のトレース
   結果が一致する区間に基づき、新たな特徴点を選出する
   ことを特徴とする請求項6に記載された画像処理装置。
8. 【請求項８】 前記抽出手段は、トレースの注目点にお
   いて、その近傍画素のエッジ強度を比較する際に、前記
   注目点と前記終点との位置関係に応じたマスキングを前
   記近傍画素に施すことを特徴とする請求項5から請求項7
   の何れかに記載された画像処理装置。
9. 【請求項９】 前記マスキングには、前記注目点と前記
   終点とがなす角度に応じたマスクが利用されることを特
   徴とする請求項8に記載された画像処理装置。
10. 【請求項１０】 前記マスキングは、前記注目点が前記
    終点から遠ざからないように、前記トレースを視野制限
    することを特徴とする請求項8または請求項9に記載され
    た画像処理装置。
11. 【請求項１１】 前記マスキングは、前記注目点が前記
    終点に常に近付くように、前記トレースを視野制限する
    ことを特徴とする請求項8または請求項9に記載された画
    像処理装置。
12. 【請求項１２】 前記マスキングは、前記注目点がその
    軌跡に戻らないように、前記トレースを視野制限するこ
    とを特徴とする請求項8または請求項9に記載された画像
    処理装置。
13. 【請求項１３】 前記抽出手段は、異なる視野制限特性
    を有する複数組のマスクを備え、トレース区間の画像情
    報に応じて前記複数組のマスクを選択的に使用すること
    を特徴とする請求項8から請求項12の何れかに記載され
    た画像処理装置。
14. 【請求項１４】 前記抽出手段は、異なる重み付けが施
    された複数組のマスクを備え、トレース区間の画像情報
    に応じて前記複数組のマスクを選択的に使用することを
    特徴とする請求項8から請求項12の何れかに記載された
    画像処理装置。
15. 【請求項１５】 基準の時刻または視点で撮像された基
    準画像における関心領域の輪郭が与えられると、前記関
    心領域の輪郭線の上または近傍から複数の特徴点を選出
    し、 選出された複数の特徴点間の連結関係を記憶し、 他の時刻または異なる視点で撮像された被探索画像にお
    いて、前記複数の特徴点それぞれに対応する複数の対応
    点を探索し、 記憶した連結関係に基づき、前記被探索画像の関心領域
    として前記複数の対応点間の輪郭を抽出することを特徴
    とする画像処理方法。
16. 【請求項１６】 画像処理のプログラムコードが記録さ
    れた記録媒体であって、前記プログラムコードは少なく
    とも、 基準の時刻または視点で撮像された基準画像における関
    心領域の輪郭が与えられると、前記関心領域の輪郭線の
    上または近傍から複数の特徴点を選出するステップのコ
    ードと、 選出された複数の特徴点間の連結関係を記憶するステッ
    プのコードと、 他の時刻または異なる視点で撮像された被探索画像にお
    いて、前記複数の特徴点それぞれに対応する複数の対応
    点を探索するステップのコードと、 記憶した連結関係に基づき、前記被探索画像の関心領域
    として前記複数の対応点間の輪郭を抽出するステップの
    コードとを有することを特徴とする記録媒体。