JP2000251086A

JP2000251086A - 曲線生成装置及び方法、並びにプログラム提供媒体

Info

Publication number: JP2000251086A
Application number: JP11051867A
Authority: JP
Inventors: Shigehiro Shimada; 繁広嶌田; Junichi Tsukamoto; 純一塚本; Takushi Totsuka; 卓志戸塚
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1999-02-26
Filing date: 1999-02-26
Publication date: 2000-09-14
Also published as: CA2329401A1; GB2352581A; WO2000051079A1; US7079144B1; GB2352581B; GB0025323D0

Abstract

(57)【要約】【課題】二つの曲線の中間形状を作成する処理におい
て、輪郭形状が線形に動いていない場合でも輪郭上の対
応点を正確に追跡することができ、より精度の高い輪郭
形状を作成することができる曲線生成装置及び方法を提
供する。【解決手段】ステップＳ１０１でユーザが、入力とし
て開始時と終了時の二つの曲線と、それぞれの曲線につ
いて基準対応点を与える。基準対応点の数は二つの曲線
で同数でなければならない。次にステップＳ１０２で、
時間軸方向に連続している画像について、基準対応点の
追跡操作を行う。この結果、各中間段階での基準対応点
の位置を求めることができる。次にステップＳ１０３に
おいて形状の補間を行う。形状の補間計算は、二つの曲
線上の点列の座標を補間計算することで、中間形状の点
の座標を求める。次にステップＳ１０４において、ステ
ップＳ１０３で求めた補間形状をステップＳ１０２での
追跡操作で求めた基準対応点に合わせて変形する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、コンピュータ上で
画像内に含まれる対象物の輪郭形状を示す曲線を編集す
るＣＡＤ、グラフィックス、映像編集等に用いられる曲
線生成装置及び方法、並びに曲線生成方法に関するプロ
グラムを提供するプログラム提供媒体に関する。

【０００２】

【従来の技術】従来、動画像を構成する複数の画像デー
タに含まれる対象物の輪郭形状を抽出する輪郭抽出処理
は、例えばＣＡＤ、グラフィックス技術等の画像処理の
分野で用いられることが多い。これらの画像処理のう
ち、画像合成処理を行うときにおいては、対象物の輪郭
形状からキー信号を生成する処理があり、正確なキー信
号、すなわち正確な輪郭形状を生成することが重要とさ
れる。ここでキー信号とは、合成する前景物体の領域を
切り抜くための情報であり、マスクとも称される。

【０００３】上記輪郭抽出処理は、例えばオペレータが
対象物についての輪郭位置や方向等の情報を詳細に与え
て輪郭形状を作成するものがあり、インタラクティブな
操作性が必要とされている。このような輪郭抽出処理と
しては、対象物の輪郭上の複数の点を指定して各点間の
形状を作成するもの、輪郭形状を表すパラメトリック曲
線の制御点を操作するもの、輪郭形状をマウス等で直接
入力するもの等がある。これらの輪郭抽出処理の例とし
ては、「Intelligent Scissors for Image Compositio
n」（Eric N. Mortensen and William A. Barrett, Com
puter GraphicsProceedings,Annual Conference Serie
s, 1995, ACM SIGGRAPH, pp.191-198）、「画像輪郭検
出方法」（特開平4-152481号公報）、「切抜きマスク作
成方法及び装置」（特開平4-254854号公報）が知られて
いる。

【０００４】また、上記輪郭抽出処理においては、動画
像を構成する全画像について正確な輪郭形状が得ること
が必要とされる。例えば映画またはテレビ画像において
は、数秒の画像を生成するのに数百のキー信号が必要で
あり、その処理量は膨大である。そのため、映画等の分
野で用いられる上記輪郭抽出処理は、より少ない操作で
より正確な輪郭形状が作成可能なことが望まれている。
このことは、従来の輪郭抽出処理においては、動画像を
構成する各フレームについて輪郭形状を作成するのは非
常に時間と手間を要する処理であることによる。

【０００５】そこで、より簡単に輪郭形状を作成する方
法として、連続性のある動画像において開始フレームで
の輪郭形状が時間の経過により変形し、終了フレームに
おける輪郭形状に変化したものであるという前提に基づ
き、開始フレームにおける輪郭形状と終了フレームにお
ける輪郭形状から中間フレームにおける輪郭形状として
中間形状を補間処理により作成する方法が考えられた。

【０００６】この補間処理は、図３５に示すように、輪
郭形状を構成している点が開始フレームの輪郭形状と終
了フレームの輪郭形状で一対一に対応づけられている。
すなわち、開始フレームにおける輪郭形状を示す曲線を
曲線０、終了フレームにおける輪郭形状を示す曲線を曲
線１とし、開始フレームでの時刻を０、終了フレームに
おける時刻を１とし、曲線が時間的に変化するものとす
ると、時刻０における曲線を曲線０が、時刻１において
曲線１に変化したと考える事ができる。そこで、２つの
曲線の補間を行う時刻をＴとすると、曲線０上の点の座
標をＡ, 座標Ａに対応する曲線１上の点の座標をＢと置
くと、求める中間形状での点の座標ＣはＣ = Ｔ・Ａ + (１−Ｔ）・Ｂと表現することができる。従来の補間処理では、この補
間計算によって求めた点列から中間フレームにおける輪
郭を作成していた。

【０００７】また、各フレームについての輪郭形状は、
複数の３次のベジェ（Bezier）曲線から構成されるもの
とする。３次のベジェ曲線は、文献「Computer Graphic
s PRINCIPLE AND PRACTICE SECOND EDITION in C」（Fo
ley, van Dam, Feiner, Hughes, ADDISON WESLEY, 199
6, ISBN 0-201-84840-6）にあるように、Ｑ(t)=((1-t)³)M+3t((1-t)²)N+3(t²)(1-t)O+(t³)P
(0≦t≦1) で定義される。ここで、M, N, O, P は２次元平面上の
点を表す座標で、M, Pは線分の端点、N, Oは制御点であ
る。上記の式で表された３次のベジェ曲線の線分の例を
図３６に示す。図３６において実線で表された曲線が３
次のベジェ曲線であり、黒丸の点で表された M, Pが端
点であり、白丸で表された点N, Oが制御点である。

【０００８】上述のベジェ曲線を定義する式によれば、
３次のベジェ曲線の軌跡すなわち形状は図３６中で点M,
N, O,Pで表される端点および制御点の座標と、時刻tの
変化により表現される。

【０００９】図３６で示される３次のベジェ曲線の構成
単位をセグメントとすると、通常、輪郭形状を示す１本
の曲線は図３７に示すような複数のセグメントから構成
されている。ただし隣接したセグメントの端点は共有さ
れ、全体として１つの曲線を構成する。

【００１０】

【発明が解決しようとする課題】上述した従来の輪郭抽
出処理においては、時間的に前後するフレームの輪郭形
状から中間形状を求める場合、セグメントを構成する制
御点及び端点を一対一で対応させて補間を行っていた。

【００１１】しかし、時間的に前後するフレームにおい
ては、輪郭形状が線形に動いていない場合がある。

【００１２】上記方法においては、輪郭形状が非線形に
動いている場合には、輪郭形状と異なる形状が作成され
てしまっていた。

【００１３】この問題を避けるために、開始時と終了時
の形状の時間的な間隔をより狭い範囲に分割して再び処
理を行ったり、形状を手作業で修正するなどの作業を行
うことが考えられる。そのため、形状を作成するための
ユーザの手間がかかり、また手作業で修正するため時間
軸方向においては不連続に変化する形状が作成されてし
まうため、形状の細かなばたつきが発生しまうなどの問
題が起きていた。

【００１４】そこで、本発明は、上記実情に鑑みてなさ
れたものであり、二つの曲線の中間形状を作成する処理
において、輪郭形状が線形に動いていない場合でも輪郭
上の対応点を正確に追跡することができ、より精度の高
い輪郭形状を作成することのできる曲線生成装置及び方
法の提供を目的とする。

【００１５】

【課題を解決するための手段】本発明に係る曲線生成装
置は、上記課題を解決するために、第１のフレームの対
象曲線から第２のフレームにおける曲線を生成する曲線
生成装置において、第１のフレームの対象曲線上に設定
された基準対応点に対応する第２のフレームにおける対
応点を、上記第１のフレームの対象曲線を用いて求める
対応点検出手段と、上記対応点検出手段により検出され
た対応点を通る第２のフレームの曲線を生成する曲線生
成手段とを備える。

【００１６】また、本発明に係る曲線生成方法は、上記
課題を解決するために、第１のフレームの対象曲線から
第２のフレームにおける曲線を生成する曲線生成方法に
おいて、第１のフレームの対象曲線上に設定された基準
対応点に対応する第２のフレームにおける対応点を、上
記第１のフレームの対象曲線を用いて求める対応点検出
工程と、上記対応点検出工程により検出された対応点を
通る第２のフレームの曲線を生成する曲線生成工程とを
備える。

【００１７】また、本発明に係るプログラム提供媒体
は、上記課題を解決するために、第１のフレームの対象
曲線から第２のフレームにおける曲線を生成する曲線生
成処理に関するプログラムを提供するプログラム提供媒
体において、第１のフレームの対象曲線上に設定された
基準対応点に対応する第２のフレームにおける対応点
を、上記第１のフレームの対象曲線を用いて求める対応
点検出工程と、上記対応点検出工程により検出された対
応点を通る第２のフレームの曲線を生成する曲線生成工
程とからなるプログラムを提供する。

【００１８】

【発明の実施の形態】以下、本発明の実施の形態につい
て図面を参照しながら詳細に説明する。

【００１９】本発明を適用した曲線生成装置１は、例え
ば図１に示す構成とされている。この曲線生成装置１
は、演算処理部２、プログラムメモリ３、データメモリ
４、フレームメモリ５、操作入力部６、外部記憶部７と
がバス８に接続されてなる。

【００２０】プログラムメモリ３には、本発明に係る曲
線生成方法を実行するためのプログラムが記録されてい
る。すなわち、プログラムメモリ３は、第１のフレーム
の対象曲線上に設定された基準対応点に対応する第２の
フレームにおける対応点を、上記第１のフレームの対象
曲線を用いて求める対応点検出ステップと、上記対応点
検出ステップにより検出された対応点を通る第２のフレ
ームの曲線を生成する曲線生成ステップとからなる曲線
生成方法をソフトウェアプログラムとして記録してい
る。

【００２１】曲線生成装置１は、例えばキーボードやマ
ウス等からなってユーザにより操作されることで操作入
力信号を生成する操作入力部６を備える。この操作入力
部６は、操作入力信号を演算処理部２に出力する。

【００２２】演算処理部２は、操作入力部６からの操作
入力信号に従って、上述の各部を制御する制御信号を生
成する。そして、演算処理部２は、生成した制御信号を
各部に出力することにより、操作入力信号に応じた処理
を行う。すなわち、演算処理部２は、プログラムメモリ
３から逐次上記ソフトウェアプログラムを読み出して実
行し、外部記憶部７に格納された動画像を示す画像デー
タを用いて各フレームに含まれる対象物の輪郭を示す輪
郭曲線を生成するための制御を行う。

【００２３】このプログラムメモリ３からの上記ソフト
ウェアプログラムにより処理される画像データは、外部
記憶部７に格納されている。外部記憶部７は、例えば光
ディスク等の記録媒体を備え、演算処理部２からの制御
信号に応じて記録媒体に記録されている動画像を示す画
像データを演算処理部２、データメモリ４やフレームメ
モリ５に出力する。また、記録媒体に画像データを記録
する。

【００２４】外部記憶部７に格納されている画像データ
は、例えば図２に示すように、複数のフレームからなる
動画像を示すものである。ここで、上記開始フレームは
例えばフレーム１を指し、フレーム１に対する上記終了
フレームはフレーム３を指す。すなわち、この曲線生成
装置１では、上記プログラムを実行することでフレーム
１に含まれる対象物の第１の輪郭曲線とフレーム３に含
まれる上記対象物の第２の輪郭曲線を用いて、中間フレ
ームであるフレーム２についての中間曲線を生成する。

【００２５】データメモリ４には、上述の演算処理部２
により上記プログラムに従って生成される中間フレーム
の輪郭を示す輪郭曲線等が格納される。また、このデー
タメモリ４には、上記プログラムに従って演算している
ときの処理途中のデータが入力される。

【００２６】フレームメモリ５には、演算処理部２の制
御信号に従ってデータメモリ４や外部記憶部７からの１
フレーム分の画像データ等が入力される。フレームメモ
リ５には、例えば演算処理部２からの制御信号により読
み出された画像データ又は上記プログラムにより生成さ
れた中間フレームを示す輪郭曲線等が入力される。そし
て、このフレームメモリ５は、ユーザに画像や処理内容
等を表示する表示部９と接続しており、制御信号に従っ
て入力された画像データ等を表示部９に出力すること
で、表示部９に当該画像データが示す画像を表示させ
る。

【００２７】本発明の曲線生成方法を適用した上記プロ
グラムは、図３に示す処理手順で動作する。

【００２８】ステップＳ１０１でユーザが、入力として
開始時と終了時の二つの曲線と、それぞれの曲線につい
て基準対応点を与える。ここで、二つの曲線をそれぞれ
曲線Ａ、曲線Ｂとする。基準対応点の数は曲線Ａ、曲線
Ｂについて同数でなければならない。次にステップＳ１
０２で、時間軸方向に連続している画像について、基準
対応点の追跡操作を行う。この結果、各中間段階での基
準対応点の位置を求めることができる。詳細については
後述する。

【００２９】次にステップＳ１０３において形状の補間
を行う。形状の補間計算は、二つの曲線上の点列の座標
を補間計算することで、中間形状の点の座標を求める。
二つの形状の中間形状を与える変換であればどんな変換
でもよいが、ここでは本件出願人により特願平１０−２
５１４９２で開示した技術を用いる。詳細については後
述する。

【００３０】次にステップＳ１０４において、ステップ
Ｓ１０３で求めた補間形状をステップＳ１０２での追跡
操作で求めた基準対応点に合わせて変形する。

【００３１】したがって、上記演算処理部２は、上記プ
ログラムを実行することで、開始時のフレームの対象曲
線上に設定された基準対応点に対応する、中間フレーム
における対応点を、上記第１のフレームの対象曲線を用
いて求める対応点検出部と、上記対応点検出部により検
出された対応点を通る中間フレームの曲線を生成する曲
線生成部とを備えるのに等しくなる。

【００３２】特に、上記対応点検出部は、上記ステップ
Ｓ１０２で、画像追跡操作を行って、開始時のフレーム
の対象曲線上の基準対応点が中間フレームにおいて、ど
こに位置するかを検出する。

【００３３】また、上記曲線生成部は、上記ステップＳ
１０３及びＳ１０４を通して、上記対応点検出部で検出
された対応点を通る曲線を生成する。具体的には、終了
時のフレームを第３のフレームとするとき、第１のフレ
ームの対象曲線と上記第３のフレームの曲線から線形補
間によって補間曲線を求め、この補間曲線を上記対応点
検出部で検出された対応点を通る曲線に変形する。

【００３４】以下、上記図３の各ステップにおける動
作、すなわち上記演算処理部２が行う処理を詳細に説明
する。

【００３５】ステップＳ１０２では、時間軸上で連続す
る画像における基準対応点の位置を追跡する操作を行
う。画像の追跡方法としては画像上の点を追跡する方法
であればどんな方法でもよいが、ここでは例としてＳＳ
Ｄとして知られる、画像の差の絶対値和を用いて追跡す
る方法について図４を用いて説明する。図４（Ａ）に示
した追跡元フレームＦ０における基準対応点１０の周囲
の画像を追跡元画像２０とし、図４（Ｂ）に示す現在追
跡中のフレームＦ１において指定された探索範囲３０の
領域内部の座標すべてについて追跡先画像４０を作成
し、二つの画像の類似度を計算により求める。画像の類
似度を求める方法としては、二つの画像について画像領
域内の各画素値の差の絶対値和を求めて評価値とし、領
域内で最も評価値が低い座標を追跡結果とする方法を用
いる。

【００３６】ステップＳ１０３における、形状の補間計
算について以下に説明する。図５にはセグメントの数が
一致していない二つの曲線を示す。そして、第１の輪郭
曲線Ａと第２の輪郭曲線Ｂとを用いて第１の輪郭曲線Ａ
から第２の輪郭曲線Ｂに変化するときの中間曲線を生成
する一例について説明する。ここで、端点、制御点及び
３次のベジェ曲線の線分を１セグメントとすると、第１
の輪郭曲線Ａは５個のセグメントからなり、第２の輪郭
曲線Ｂは３個のセグメントからなる。そして、例えば図
６に示すように第１の輪郭曲線Ａから第２の輪郭曲線Ｂ
に変化するときの中間曲線を生成するときには、図７の
フローチャートに示す処理を行う。

【００３７】中間曲線を生成するときには、ユーザがキ
ーボード等を操作することで第１の輪郭曲線Ａと第２の
輪郭曲線Ｂとが対応する位置を示す対応点を指定する旨
の操作入力信号が入力される。

【００３８】ステップＳ１において、上述の対応点を指
定する旨の操作入力信号に応じて第１の輪郭曲線Ａ及び
第２の輪郭曲線Ｂに対応点を設定し、図８に示すように
第１の輪郭曲線Ａ及び第２の輪郭曲線Ｂを１本の直線に
展開し、閉曲線である第１の輪郭曲線Ａ及び第２の輪郭
曲線Ｂの全長を求め、第１の輪郭曲線Ａの全長をlength
Ａ、第２の輪郭曲線Ｂの全長をlengthＢとする。

【００３９】次のステップＳ２において、第１の輪郭曲
線Ａの全長lengthＡ、第２の輪郭曲線Ｂの全長lengthＢ
のサンプリング間隔を決定する。すなわち、図９のステ
ップＳ１１に示すようにlengthＡとlengthＢとの大きさ
を比較し、長さが大きい方のいずれかの曲線をサンプリ
ング間隔の定数で割ったときの長さ間隔でサンプリング
点を配置する。ここでサンプリング間隔の定数とは、こ
の中間形状を生成する処理において後述の曲線を再構成
する処理に必要な数の点が得られるサンプリング間隔の
ことである。次に、図９のステップＳ１２において、le
ngthＡ、lengthＢのうち大きさの小さい方を、ステップ
Ｓ１１で求めた区間内に含まれる点の個数で割り、サン
プリング間隔を得る。このため、常にどちらの曲線も最
大のサンプリング間隔以下のサンプリング間隔を得られ
る。

【００４０】図７に戻り、ステップＳ３において、ステ
ップＳ２で求めたサンプリング間隔で曲線Ａと曲線Ｂの
リサンプリング処理を行い、点列を作成する。この様子
を図１０に示す。サンプリング間隔が得られた図１０に
示す第１の輪郭曲線Ａ及び第２の輪郭曲線Ｂについてリ
サンプリング処理を行うわけである。ここで、１つのベ
ジェ曲線のセグメント上の点は、下記の式１Ｑ(t)=((1-t)³)M+3t((1-t)²)N+3(t²)(1-t)O+(t³)P
(0≦t≦1) を用いて、時刻ｔの関数として表現できる。ここで、M,
N, O, P は２次元平面上の点を表す座標で、M, Pは線
分の端点、N, Oは制御点である。そして、複数のセグメ
ントが連結されて構成されているベジェ曲線上の点をｔ
で表現するため、ベジェ曲線の定義を拡張してｔの整数
部分をセグメント番号、ｔの小数部分をセグメント内で
の時刻とする。つまり、ｔ=3.45の場合は、３番目のセ
グメントの、時刻0.45における曲線上の座標という事に
なる。これにより、複数のセグメントから構成されたベ
ジェ曲線上の点をｔにより表現する。

【００４１】また、図１１には図７のステップＳ３で行
うリサンプリング処理の詳細なフローチャートを示す。
リサンプリング処理を行うとき、ステップ２１におい
て、図１０中に示す第１の輪郭曲線Ａ及び第２の輪郭曲
線Ｂの対応点での時刻をTa及びTbと設定する。次のステ
ップ２２において、時刻Ta、Tbにおける第１の輪郭曲線
Ａ、第２の輪郭曲線Ｂ上での点の座標を求める。ここで
求められた各点が第１の輪郭曲線Ａ及び第２の輪郭曲線
Ｂにおけるサンプリング点となる。次のステップ２３に
おいて、時刻Ta、Tbに上述の図７のステップＳ２におい
て求めたサンプリング間隔を加える。次のステップ２４
において、時刻Ta、Tbが終端まで達して、リサンプリン
グ処理開始時の対応点まで戻ったか否かを判断する。そ
して、開始時の対応点まで戻ったと判断したら処理を終
了し、戻っていないと判断したときにはステップ２２に
戻って上述のステップＳ２２〜ステップＳ２４までの処
理を繰り返すことで、第１の輪郭曲線Ａ及び第２の輪郭
曲線Ｂにサンプリング点を再び設定し、サンプリング点
からなる点列を生成する。すなわち、図７のステップＳ
３のリサンプリング処理において、上述のサンプリング
処理よりも細かい、サンプリング点からなる第１の輪郭
曲線Ａに対応する点列及び第２の輪郭曲線Ｂに対応する
点列を生成する。

【００４２】そして、図７に戻り、ステップＳ４におい
て、前のステップＳ３で作成した二つの曲線上の点列の
座標を補間計算することで、中間形状の点列を求める。
詳細には、図１２のフローチャートに示す処理を行うこ
とで第１の輪郭曲線Ａが示す輪郭形状から第２の輪郭曲
線Ｂが示す輪郭形状に変化するときの中間形状を示す中
間曲線を生成する。この図１２のフローチャートによれ
ば、先ず、ステップＳ３１において、図７のステップＳ
３のリサンプリング処理により求められた第１の輪郭曲
線Ａに対応する点列及び第２の輪郭曲線Ｂに対応する点
列をデータメモリ４から入力する。そして、対応点から
第１の輪郭曲線Ａに対応する点列及び第２の輪郭曲線Ｂ
に対応する点列上の対応点に相当する位置のサンプリン
グ点を指定する。次のステップＳ３２において、サンプ
リング点からなる点列について２つの曲線の補間を行う
時刻をＴとし、第１の輪郭曲線Ａ上の点の座標をａ, 座
標ａに対応する第２の輪郭曲線Ｂ上の点の座標をｂとす
ると、求める中間形状を示す中間曲線での点の座標Ｃは
下記式２に示すようにＣ = Ｔ・ａ + (１−Ｔ）・ｂ（式２）となる。すなわち、上記式２を第１及び第２の輪郭曲線
に対応する点列に適用することで、第１の輪郭曲線Ａに
対応するサンプリング点と、当該第１の輪郭曲線Ａに対
応するサンプリング点に対応する第２の輪郭曲線Ｂに対
応するサンプリング点とから、中間曲線を構成するサン
プリング点の座標を決定する。次のステップＳ３３にお
いて、上述のステップＳ３２で上記式２を適用したサン
プリング点の次のサンプリング点を指定する処理を第１
の輪郭曲線Ａに対応する点列及び第２の輪郭曲線Ｂに対
応する点列について行う。次のステップＳ３４におい
て、演算処理部２は、上述のステップＳ３３で次のサン
プリング点を指定した結果、上述のステップＳ３１で中
間曲線の生成処理を開始した対応点に戻ったか否かを判
断する。そして、対応点に戻ったと判断したときには、
ステップＳ３５に進み、対応点に戻っていないと判断し
たときには、ステップＳ３３で指定したサンプリング点
についてステップＳ３２で説明した処理を行う。すなわ
ち、上述のステップＳ３のサンプリング処理で設定した
サンプリング点の全てについてステップＳ３２で説明し
た処理を行うことで、中間曲線での点の座標を上記式２
に従って決定する。ステップＳ３５において、上述のス
テップＳ３で求めたサンプリング点及びステップＳ３２
で求めた中間曲線での点の座標Ｃを用いて、特開平10-1
64436号公報や「Graphics Gems」（Andrew S.Glassner)
中の「An Algorithm for Automatically Fitting Digit
ized Curves（pp.612 - 626）で示された技術を適用す
ることで、サンプリング点からなる点列をベジェ曲線に
変換する。これにより、第１の輪郭曲線Ａに対応したサ
ンプリング点からなる点列及び第２の輪郭曲線Ｂに対応
したサンプリング点からなる点列から、曲線を再構成
し、図６に示した第１の輪郭曲線Ａから第２の輪郭曲線
Ｂに変化するときの中間形状を示す中間曲線を生成す
る。

【００４３】このような中間曲線生成処理を行う曲線生
成装置１は、図５に示すように第１の輪郭曲線Ａから第
２の輪郭曲線Ｂに変化するときの中間曲線を生成すると
き、第１の輪郭曲線Ａと第２の輪郭曲線Ｂとのセグメン
ト数が異なっていても、第１及び第２の輪郭曲線をサン
プリングして第１の輪郭曲線Ａ及び第２の輪郭曲線Ｂに
ついて同数のサンプリング点を設定して曲線を再構成す
るので、図６に示すような中間曲線を高品質かつ簡便に
生成することができる。

【００４４】ここで、図３に戻り、次のステップＳ１０
４において、ステップＳ１０３で求められた補間形状を
ステップＳ１０２で求めた基準対応点に合わせて変形さ
せる。この操作について図１３，図１４，図１５を用い
て説明する。

【００４５】先ず、図１３のステップＳ４１において、
上記図３のステップＳ１０２の画像追跡処理で求められ
た図１４のSTARTに示す基準対応点１１０、及びステッ
プＳ１０３の中間形状作成処理で求められた図１４のST
ARTに示す基準対応点１００について、開始点１１５、
終了点１１６を対応づける。ステップＳ１０３での開始
点の座標をＡ（ｅｘ１，ｅｙ１）、Ｂ（ｅｘ２、ｅｙ
２）、ステップＳ１０２での終了点の座標をＣ（ｓｘ
１，ｓｙ１）、Ｄ（ｓｘ２、ｓｙ２）とする。ステップ
Ｓ４２において、線分ＡＢを線分ＣＤに変換するような
座標変換を求める。この変換は平行移動と回転、スケー
リングの操作の組み合わせで表現できる。このような変
換をアフィン変換１２０という。

【００４６】アフィン変換の変換式は以下のようにな
る。

【００４７】点（ｘ、ｙ）をアフィン変換により点
（ｘ’，ｙ’）に変換する方法に関して、［ｘ’］＝ｓｃ＊［ｃｏｓθ−ｓｉｎθ］［ｘ−ｅｘ
１］＋［ｓｘ１］［ｙ’］＝ｓｃ＊［ｓｉｎθ−ｃｏｓθ］［ｙ−ｅｙ
１］＋［ｓｙ１］とする。

【００４８】ただし、ｓｃ＝Ｌ１／Ｌ２であり、Ｌ１＝√（（ｓｘ２−ｓｘ１）＾２＋（ｓｙ２−ｓｙ
１）＾２）Ｌ２＝√（（ｅｘ２−ｅｘ１）＾２＋（ｅｙ２−ｅｙ
１）＾２） θ＝θ２−θ１ θ１＝ａｔａｎ２（（ｓｙ２−ｓｙ１）／Ｌ１、（ｓｘ
２−ｓｘ１）／Ｌ１） θ２＝ａｔａｎ２（（ｅｙ２−ｅｙ１）／Ｌ１、（ｅｘ
２−ｅｘ１）／Ｌ２）である。

【００４９】次に、ステップＳ４３において、上記図３
のステップＳ１０２で求められた中間形状を構成する点
列に対して、ステップＳ４２で求めたアフィン変換を計
算する。その結果、ステップＳ１０３で求められた中間
形状の特徴を保持し、かつステップＳ１０２で求められ
た終了点を通る形状が作成される。次に、ステップＳ４
４において、ステップＳ４３で求められた点列を前述の
ベジュエ曲線に変換する方法を用いて、曲線に変換す
る。この処理を形状の全ての区間について行うことで、
ステップＳ１０３の中間形状作成処理で作成された形状
をステップＳ１０２で作成された基準対応点を通る形状
に変換することが可能となる。

【００５０】以上のように本発明によれば、二つの曲線
の中間形状を作成する際に、指定された基準対応点を通
過する中間形状を作成することが可能となる。また、基
準対応点を画像追跡処理で正確な位置に設定することが
できる。その結果、時間軸上で指定された画像における
求められる中間形状を高い精度で作成できるようになっ
た。これにより、従来技術の問題であった、線形補間に
よる形状と実際に求められる形状とのずれを解決でき
る。

【００５１】次に、本発明の他の具体例を説明する。図
１６には、図３に示した上記第１の実施例の条件のう
ち、ステップＳ１０３を省略すると共に、ステップＳ１
０４の部分をステップＳ１０５として別の方法で実現す
る例を示す。

【００５２】中間形状を作成する代替え手段として画像
のエッジ情報を使用して、基準対応点を通過し、エッジ
に沿う形状を自動生成する処理を行う。具体的な方法と
しては、指定された点を通る最適なパスを検出する方法
として、本件出願人による特願平０９−２０４８６２号
に開示されている経路探査方法の技術を用いる。

【００５３】先ず、上記特願平０９−２０４８６２号に
開示されている経路探査方法により曲線を生成する曲線
生成手段について説明する。

【００５４】図１７は、曲線生成手段を示すブロック図
である。曲線生成手段は２点選択手段１５１、経路探査
処理最適化手段１５２、経路探査手段１５３、曲線近似
手段１５４からなる各処理手段と、点列、画像、経路、
曲線の各データストア１６、１７、２３、１８からな
る。

【００５５】２点選択手段１５１は、点列データ格納手
段１６から連続した２点を選択して出力する。経路探査
処理最適化手段１５２は、前記選択された２点と画像デ
ータ格納手段１７からの画像データとから、経路探査方
法を最適化するパラメータを算出して経路探査手段１５
３に送る。

【００５６】経路探査手段１５３は、経路探査処理最適
化手段１５２が算出したパラメータをもとに経路探査処
理方法を決定し、上記の選択された２点を結び、画像中
の輪郭上を通過する経路を算出し、経路データ格納手段
２３に保持する。

【００５７】ここで、経路データとは、上記の２点を結
ぶ８近傍線図形を表す画素座標のリストである。経路探
査手段１５３は、図１７中に破線で示されるように、２
点選択手段１５１に制御情報を送り、次の２点を選択す
るようにする。従って、点列データ格納手段１６の各点
間について経路探査が行われ、その全てが経路データ格
納手段２３に蓄積されるようになっている。

【００５８】２点選択手段１５１が、点列の最後まで選
択し終り新しい２点を出力できなくなったとき、図１７
中に破線で示されるように曲線近似手段１５４に対して
制御情報を送り、曲線近似手段１５４の動作を促す。曲
線近似手段１５４は、経路データ格納手段２３に蓄積さ
れた経路を曲線近似し、輪郭形状を表す曲線データを作
成して曲線データ格納手段１８に保持する。

【００５９】次に、上記曲線生成手段が実行する経路探
査方法について、図１８および図１７を参照しながら説
明する。

【００６０】図１８は、上記本発明に係る経路探査方法
の基本的な処理手順を示すフローチャートである。ま
ず、ステップＳ１で、２点選択手段１５１が、点列デー
タ格納手段１６の中から連続する２点を選択して出力す
る。

【００６１】次に、ステップＳ２で、経路探査パラメー
タの最適化が行われる。点選択手段１５１により選択さ
れた２点と画像とをもとに、経路探査処理最適化手段１
５２で経路探査パラメータが算出される。

【００６２】次に、ステップＳ３で、経路探査が行われ
る。経路探査手段１５３は、第２のステップで得られた
経路探査パラメータをもとに経路探査方法を決定し、上
記の２点を結ぶ輪郭を８近傍経路の形で抽出する。

【００６３】そして、ステップＳ４で、全ての中継点間
の経路探査が終了したかどうかが判断され、終了してい
なければステップＳ１に戻り、前回選択された２点から
１点ずらした２点を選択して、ステップＳ２、ステップ
Ｓ３を繰り返す。一方、ステップＳ４で、全ての中継点
間の経路探査が終了したと判断されたときは、ステップ
Ｓ５に進む。

【００６４】ステップＳ５では、８近傍経路を近似する
輪郭曲線を生成して、処理を終了する。曲線近似手段１
５４は、経路データ格納手段２３に蓄積された経路デー
タを曲線近似して輪郭形状を表す曲線データを作成す
る。

【００６５】ここで、曲線近似手段１５４は、本願出願
人が特願平８−３０３６８７号公報「曲線生成装置及び
曲線生成方法」で開示した技術によって実現することが
できる。この技術は、座標リストを近似する曲線を得る
方法であり、いわゆる曲線近似方法の一つであり、入力
データの次数を、十分近似できる範囲で分割しながら近
似する方法によって、従来の曲線近似よりもノイズにロ
バストでかつ効率がよい方法である。

【００６６】しかし、上記曲線近似手段１５４は、一連
の座標リストを曲線近似する方法であればよく、一般的
に用いられているＢ−スプライン（spline）曲線を生成
するなどの方法により実現してもよい。

【００６７】なお、一般的な曲線近似・補間方法につい
ては、「数値計算ハンドブック」（大野豊，磯田和男，
オーム社，1990）、「コンピュータディスプレイによる
形状処理工学 [I][II]」（山口富士夫，日刊工業新聞
社，1982）、「Computer Graphics Principles and Pra
ctice」（Foly, vanDam, Feiner, and Hughes, Addison
Wesley社, 1990 ）等の文献に詳しく記載されている。

【００６８】次に、経路探査処理最適化手段１５２およ
び経路探査手段１５３について、さらに詳細に説明す
る。

【００６９】図１９は、上記曲線生成手段のうち、経路
探査を行う部分を抜き出したブロック図である。この経
路探査を行う上記曲線生成手段の特徴は、経路探査処理
最適化手段１５２を備えることにより、入力された２点
に最適化された経路探査処理を行うようにされている点
である。ここでは、経路探査処理最適化手段１５２は、
後述する２種類の経路探査パラメータを出力するように
なっている。

【００７０】図２０は、経路探査処理最適化手段１５２
の内部構成を示している。経路探査処理最適化手段１５
２は、通過コスト計算範囲決定手段１５６と通過コスト
計算決定最適化手段１５７により構成される。通過コス
ト計算範囲決定手段１５６は、選択された２点を入力と
して計算範囲パラメータを出力する。また、通過コスト
計算最適化手段１５７は、選択された２点と画像データ
とから通過コスト計算パラメータを出力する。そして、
これら２種類の経路探査パラメータは、経路探査手段１
５３に入力されて経路探査方法を決定するのに用いられ
る。

【００７１】図２１は、経路探査処理最適化手段１５２
における処理手順を示すフローチャートである。

【００７２】まず、ステップＳ１１で、通過コスト計算
パラメータの最適化が行われる。通過コスト計算最適化
手段１５７では、選択された２点（点１および点２）と
画像とから通過コスト計算パラメータが計算される。次
に、ステップＳ１２で、通過コスト計算範囲パラメータ
の最適化が行われ、処理を終了する。通過コスト計算範
囲決定手段１５６により選択された２点を入力として計
算範囲パラメータを算出する。

【００７３】図２２は、図２０中の通過コスト計算パラ
メータに関する処理を行う部分をさらに詳細に示したブ
ロック図である。

【００７４】通過コスト計算最適化手段１５７は、グラ
ディエントパラメータ決定手段１５８を備えて構成され
る。

【００７５】また、経路探査手段１５３は、通過コスト
計算手段１５９、最小コスト経路算出手段１６１、およ
び後述する通過コストマップというデータを格納するた
めの通過コストマップ格納手段１６０を備えて構成され
る。

【００７６】グラディエントパラメータ決定手段１５８
は、画像と２点を入力とし、上記２点間の輪郭を抽出す
るのに最適なグラディエントパラメータを算出し、経路
探査手段１５３の通過コスト計算手段１５９に出力す
る。

【００７７】通過コスト計算手段１５９は、画像と点１
と前記グラディエントパラメータと、図２０で示す通過
コスト計算範囲決定手段１５６が出力する計算範囲パラ
メータとを入力とし、通過コストマップを算出する。

【００７８】最小コスト経路算出手段１６１は、通過コ
ストマップと点２とを入力とし、点１と点２との間を、
輪郭をたどって連結する経路を算出する。

【００７９】図２３は、経路探査手段１５３における処
理手順を示すフローチャートである。

【００８０】まず、ステップＳ２１で、後述する通過コ
スト計算手段１５９が、通過コストマップを計算する。
次に、ステップＳ２２で、最小コスト経路算出手段１６
１が、最小コスト経路を算出する。この動作の詳細につ
いては後述する。

【００８１】図２４は、上述した通過コスト計算パラメ
ータに関する処理を行う部分の構成をさらに詳しく示し
ている。

【００８２】通過コスト計算パラメータとは、画像のグ
ラディエントを計算する上で必要な２種類のパラメータ
である。第１のパラメータは輪郭の進む方向とは垂直な
方向を示す法線ベクトルであり、第２のパラメータは輪
郭を横切る方向に観測したときの画素値の変化を示す画
素値色変化ベクトルである。

【００８３】また、経路探査手段１５３は、物体輪郭は
グラディエント強度が強いことを利用して、グラディエ
ント強度がより強いところをなるべく通過するような画
像上の経路を抽出する処理を行う。

【００８４】通過コスト計算手段１５９は、以上の処理
を行うために、グラディエント算出手段１６４と、通過
コストマップ算出手段１６５と、グラディエントデータ
格納手段２１から構成される。

【００８５】グラディエント算出手段１６４は、画像の
グラディエントを計算し、通過コストマップ算出手段１
６５は、得られたグラディエントをもとに、グラディエ
ント強度がより強いところを通過するとコストが安くな
るような通過コストマップを算出する。通過コストマッ
プ算出手段１６５には、点１の位置が入力され、通過コ
ストマップの起点は点１に設定される。

【００８６】ここで、グラディエント算出手段１６４
は、本願出願人が特願平７−１３４４２０号公報「エッ
ジ検出方法及びエッジ検出装置」で開示した技術を用い
て、必要な輪郭のグラディエント成分のみを選択的に検
出する。このグラディエント算出手段１６４により、入
力された２点間を連結するように延びる輪郭のグラディ
エントを選択的に抽出するようにグラディエントが計算
される。

【００８７】次に、上述した２種類の経路探査パラメー
タの計算過程について詳細に説明する。

【００８８】まず、通過コスト計算パラメータの計算
と、それが利用される過程について説明する。図２５
は、グラディエントパラメータ決定手段１５８における
処理手順を示すフローチャートである。ステップＳ３１
で、法線ベクトル計算手段１６２が、入力された点１と
点２を結ぶ方向に垂直な法線ベクトルを算出して出力す
る。ステップＳ３２で、画素値変化ベクトル計算手段
が、画像上の点１と点２の近傍領域において、２点を結
ぶ方向とは垂直な方向に観測したときの画像の画素値の
変化、例えば色変化方向を計算し、それを色変化ベクト
ルとして出力する。

【００８９】ここで、通過コストマップとは各画素にお
いて、最小の通過コストでその画素位置に進入する方向
が記録された情報である。

【００９０】図２６は、簡単な通過コストマップの一例
を示している。

【００９１】通過コストマップは、前記の通過コスト計
算範囲パラメータで指定された画像中の一範囲について
作成される。ここでは、ある小さな４辺形領域に作成さ
れた例を示している。

【００９２】図２６（Ａ）では、前記の各画素における
最小の通過コストでその画素位置に進入する方向を矢印
で示す。この方向は、各画素にただ一つ決まるように計
算される。各画素に記された値は、前記最小の通過コス
ト方向に従って進入したときの通過コストの累積値であ
る。この累積値は経路探査の起点となる点１を累積値０
として求められる。

【００９３】図２６（Ｂ）は、図２６（Ａ）のように通
過コストマップが得られたときに、最小コスト経路算出
手段１６１が経路を求める過程を示している。

【００９４】最小コスト経路算出手段１６１は、通過コ
ストマップと点２を入力とし、点２から通過コストマッ
プの最小の通過コスト方向を逆にたどることによって、
点１から点２にいたる最小コストの経路を求める。例え
ば、図２６（Ｂ）で示される位置（累積コストが２２）
に点２があった場合、そこから矢印をたどることにより
（図２６（Ａ）とは逆方向に書かれている）、斜線で示
されるような点１までの経路を求める。

【００９５】次に、上述したような通過コストマップを
高速に算出する手段について説明する。通過コストマッ
プの算出は、一般に最適化問題の一種として知られ、動
的計画法などを用いて計算する方法が良く知られてい
る。前述の文献「IntelligentScissors for Image Comp
osition」にも動的計画法を用いた方法が記載されてい
る。

【００９６】図２７は、動的計画法を用いた最短経路探
査アルゴリズムに関する記述の例を示している。なお、
この記述は、上記の文献「Intelligent Scissors for I
mageComposition」に記載されているものから、記号等
を一部変えたものである。

【００９７】次に、計算範囲パラメータの計算と、それ
が利用される過程について説明する。

【００９８】図２８は、図２０中の計算範囲パラメータ
に関する処理を行う部分を、さらに詳細に示すブロック
図である。

【００９９】通過コスト計算範囲決定手段１５６は、距
離算出手段１６７と計算範囲幅算出手段１６８と計算範
囲長算出手段１６９と計算範囲算出手段１７０とを備え
て構成される。

【０１００】距離算出手段１６７は、点１、点２を入力
として、その２点間の距離と２点を結ぶ方向とを算出す
る。計算範囲長算出手段１６９は、得られた２点間の距
離を入力として計算範囲長を算出する。計算範囲幅算出
手段１６８は、得られた２点間の距離を入力として計算
範囲幅を算出する。計算範囲算出手段１７０は、上記の
計算範囲長と計算範囲幅および距離算出手段１６７が出
力した２点間を結ぶ方向とをもとに、計算範囲の形状を
定める計算範囲パラメータを算出して、経路探査手段１
５３の通過コスト計算手段１５９に入力する。通過コス
ト計算手段１５９は、計算範囲パラメータで示された範
囲で、通過コストマップを算出する。

【０１０１】図２９は、図２８の通過コスト計算範囲決
定手段１５６における処理手順を示すフローチャートで
ある。

【０１０２】まず、ステップＳ４１で、距離算出手段１
６７が、点１および点２を入力として、その２点間の距
離と２点を結ぶ方向とを算出する。

【０１０３】次に、ステップＳ４２で、上記の２点間の
距離を入力として、計算範囲幅が算出される。ここで、
計算範囲幅算出手段１６８は、２点間の距離の大きさに
対する計算範囲幅の大きさの規則を、計算式あるいは参
照テーブル等の形式でその内部に持っており、その規則
に従って計算範囲幅を決定する。例えば、オペレータ
が、所望の輪郭を得るために短い間隔で詳細に中継点を
設定しようとしても、探査された経路が中継点間で蛇行
してしまい所望の輪郭の形状と異なってしまう問題は、
前記計算範囲幅を決定する規則を、２点間の距離が小さ
いほど幅が小さくなるような規則にすることにより解決
することができる。

【０１０４】このとき、短い間隔で詳細に設定された中
継点間の計算範囲幅は、非常に狭くなるように決定さ
れ、中継点をほぼ直線で結ぶように経路探査が行われ、
オペレータの所望の輪郭形状が得られる。

【０１０５】次に、ステップＳ４３で、計算範囲長算出
手段１６９が、２点間の距離から計算範囲長を計算す
る。ここで、計算範囲長は、２点間の距離よりも予め定
められたマージン長だけ長くなるように決定される。

【０１０６】最後に、ステップＳ４４で、計算範囲算出
手段１７０が、計算範囲幅と計算範囲長と２点を結ぶ方
向とから、計算範囲パラメータを計算する。ここで、計
算範囲は、入力される２点を囲み、２点を結ぶ方向に傾
いているような矩形であり、計算範囲パラメータはその
矩形の４隅の位置を示す。

【０１０７】次に、点列生成手段１２について説明す
る。

【０１０８】点列生成手段１２は、曲線を入力とし、そ
の形状を再現する点列とその点列によって再構成された
再構成曲線を出力するものである。生成された点列と再
構成曲線は、第１の実施例の構成により、その後の曲線
編集作業に用いられる。

【０１０９】図３０は、点列生成手段１２の構成例を示
すブロック図である。

【０１１０】この点列生成手段１２は、初期点列生成手
段１７１、曲線再構成手段１７２、差分検出手段１７
３、点列編集手段１４と、画像データ格納手段１７、点
列データ格納手段１６、再構成曲線データ格納手段１９
を備えて構成される。

【０１１１】初期点列生成手段１７１は、入力曲線と画
像とを入力として初期点列を生成する。初期点列は、点
列データ格納手段１６に格納される。曲線再構成手段１
７２は、点列と画像とを入力とし、点列を通過し画像上
の輪郭上を通過するような曲線を生成する。

【０１１２】差分検出手段１７３は、入力曲線と再構成
曲線とを入力とし、両者の形状の差を差分として出力す
る。点列編集手段１４は、差分検出手段１７３の出力し
た差分をもとに、点列データ格納手段１６中の点列デー
タを操作する。

【０１１３】図３１は、点列生成手段１２における処理
手順を示すフローチャートである。

【０１１４】まず、ステップＳ５１で、初期点列生成手
段１７１が入力曲線の特徴点抽出を行い、抽出された特
徴点を初期点列として点列データ格納手段１６に格納す
る。

【０１１５】上記の曲線上の特徴点抽出には、特開平８
−３３５２７０号公報記載の「動きベクトル推定方法」
に示されている特徴点抽出方法を用いることができる。
この方法は、曲線の始端から終端までの各点で微小区間
屈曲角を計算し、その総和を累積屈曲角とし、累積屈曲
角が予め定めたしきい値より大きいときに最大の微小区
間屈曲角をとる点を特徴点とするものである。さらに、
特徴点で分割された曲線に対して同様の特徴点抽出処理
を再帰的に行うようにする。

【０１１６】次に、ステップＳ５２で、曲線再構成手段
１７２が、点列から前述した本発明に係る経路探査装置
における処理と同様の処理によって再構成曲線を算出す
る。

【０１１７】次に、ステップＳ５３で、差分検出手段１
７３が、入力曲線と再構成曲線の差分を算出する。この
差分検出処理は、再構成曲線上に適当な間隔で差分検出
点をとり、その差分検出点から入力曲線までの距離を測
定して差分値とする。

【０１１８】次に、ステップＳ５４で、差分検出手段１
７３が、予め設定しておいたしきい値よりも大きい差分
値があるかどうかを調べる。もし、上記のしきい値より
大きい差分値がなければ、点列生成手段１２の処理は終
了し、その時点の点列データ格納手段１６と再構成曲線
データ格納手段１９にあるデータが出力となる。一方、
上記のしきい値より大きい差分値があれば、ステップＳ
５５に進む。

【０１１９】ステップＳ５５では、点列編集手段１４が
得られた差分をもとに点列データを編集する。差分値が
しきい値より大きいと判断された各差分検出点におい
て、その差分値検出点から一番近い入力曲線上の点に新
たな中継点をおき、点列データ格納手段１６に格納す
る。

【０１２０】ステップＳ５５の終了後は、ステップＳ５
２に戻り、ステップＳ５４で入力曲線と再構成曲線との
差分がしきい値よりも小さくなるまで処理が繰り返され
る。

【０１２１】上記の処理では、初期点列を最初は少なめ
に設定しておき、足りないところに適宜追加するように
するが、初期点列を多めに設定しておき、不必要な点を
削除するようにしてもよい。その場合には、初期点列生
成手段１７１で入力曲線を十分に折線近似できる程度に
初期点列を生成し、曲線の再構成の後に、差分検出手段
１７３で、周囲の差分値がしきい値よりも十分に小さい
中継点を選んで削除するようにする。

【０１２２】なお、図３１に示す処理手順は、より少な
い点で再構成が完了するのでその後の曲線編集しやすさ
が利点であるのに対し、後述する処理手順は、経路探査
を行う中継点間隔を小さくできるために処理時間を短く
できる利点がある。

【０１２３】そして、上記方法で得られた点列を、曲線
生成手段を用いて曲線に変換する。すなわち、上記方法
を用いて、各基準対応点間を通る中間形状を作成する際
に画像のエッジ情報を用いることで、画像中で表現され
ている形状に沿って精度の高い輪郭を作成することが可
能となった。

【０１２４】さらに、上記図１６に示した方法では、ス
テップＳ１０５で別のアルゴリズムを使って画像のエッ
ジを求め、その画像のエッジに沿った中間形状を求めて
も良い。

【０１２５】すなわち、ステップＳ１０２で画像追跡に
より求められた一組の対応点と、上記画像を用いて、エ
ッジ周囲のコントラストを最大にする色射影軸を求め、
この色射影軸を用いて画像のエッジを形成し、このエッ
ジに沿った中間形状を求める。

【０１２６】今、上記一組の対応点を代表点１，代表点
２として入力し、上記色射影軸を求める最適色射影軸計
算部の構成を図３２に示す。

【０１２７】最適色射影軸計算部３２は、代表点１及び
代表点２の近傍領域内で近傍最適色射影軸を計算する、
代表点近傍最適色射影軸計算部４１及び代表点近傍最適
色射影軸計算部４１と、上記二つの計算部４１，４１か
らの色射影軸１及び色射影軸２を用いて色射影軸を合成
する色射影軸合成部４２からなる。

【０１２８】代表点近傍最適色射影軸計算部４１では、
代表点の近傍領域内に含まれるエッジ周囲のコントラス
トを最大にする近傍最適色射影軸を求める。今、図３３
に示すように、代表点１（ｐ０）と代表点２（ｐ１）が
求められたとする。このとき、代表点近傍色射影軸計算
部４１は代表点ｐ０の近傍領域Ａ１内に含まれるエッジ
の内、コントラストが最大となる色射影軸（１）Ｂ０を
計算により求める。また、代表点近傍色射影軸計算部４
１は代表点ｐ１の近傍領域Ａ２内に含まれるエッジの
内、コントラストが最大となる色射影軸（２）Ｂ１を計
算により求める。

【０１２９】色射影軸合成部４２では、代表点１，２の
近傍領域でそれぞれ別々に求められた近傍最適色射影軸
（１）Ｂ０、近傍最適色射影軸（２）Ｂ１を合成し、更
新区間のエッジのコントラストを最大にする１本の色射
影軸を求める。ここでの合成方法は、例えば色射影軸の
平均ベクトルを合成後の軸としてよい。

【０１３０】また、最適色射影軸計算部３２は、図３４
に示す方法により最適色射影軸を求めてもよい。

【０１３１】図３４（Ａ）のように、画像のエッジ上に
アンカーポイントｐ０と隣接アンカーポイントｐ１が置
かれているとする。このとき、エッジはｐ０とｐ１を結
ぶ線分上から大きく外れている可能性があるため、線分
ｐ０ｐ１上の線分長Ｌに対し等間隔、例えばＬ／４の間
隔毎に、置かれた点ｑ０，ｑ１，ｑ２のそれぞれについ
て、ｐ０ｐ１と垂直な方向の線分上、長さＨの範囲で最
も色変化の大きな領域の探索を行う。

【０１３２】ある点ｒについての色をＣ（ｒ）とする
と、色変化ベクトルはｄＣ／ｄｒ、その大きさは｜ｄＣ
／ｄｒ｜で定義される。この値が最大値となるｒを求め
る。

【０１３３】探索の結果、図３４（Ｂ）のようにｒ０，
ｒ１，ｒ２が求められたとする。このとき、ｒ０，ｒ
１，ｒ２においてそれぞれ色変化ベクトルｄＣ／ｄｒを
求め、その平均値を最適色射影軸とする。

【０１３４】また、色変化ベクトルは以下のように求め
てもよい。ｒ０の場合、線分ｐ０ｐ１に垂直な直線上
で、ｒ０を中心に持ち、互いに距離幅ｈだけ離れた点ｓ
００，ｓ０１について、色Ｃ（ｓ００），Ｃ（ｓ０１）
を求め、その差分ベクトルΔＣ＝Ｃ（ｓ０１）−Ｃ（ｓ
００）を色変化ベクトルで代用する。ｒ１，ｒ２につい
ても同様である。

【０１３５】以上に説明した最適色射影軸を基に、通常
の輪郭閉曲線生成部が輪郭閉曲線を生成する。上記ステ
ップＳ１０５では、この輪郭閉曲線に基づいた中間形状
を作成する。

【０１３６】なお、上記図１６に示したアルゴリズムを
変形し、ステップＳ１０２での線形補間が、例えば画像
の動きが激しくてうまくいかなかったときに、ステップ
Ｓ１０５の処理を行うようにしてもよい。

【０１３７】以上説明したように、本発明によれば、従
来技術の問題であった、線形補間による形状と実際に求
められる形状とのずれを解決できる。

【０１３８】

【発明の効果】以上、本発明によれば、輪郭形状が線形
に動いていない場合でも輪郭上の対応点を正確に追跡す
ることができ、より精度の高い輪郭形状を作成すること
ができる。

【図面の簡単な説明】

【図１】本発明を適用した曲線生成装置の構成を示すブ
ロック図である。

【図２】上記曲線生成装置で処理をする対象となる複数
のフレームからなる動画像を説明するための図である。

【図３】本発明の曲線生成方法を適用したソフトウェア
プログラムにおける処理手順を示すフローチャートであ
る。

【図４】画像の追跡方法として、画像の差の絶対値和を
用いて追跡する方法を説明するための図である。

【図５】上記曲線生成装置で中間曲線を生成するときに
用いる第１の輪郭曲線Ａと第２の輪郭曲線Ｂとを説明す
るための図である。

【図６】上記曲線生成装置で生成する第１の輪郭曲線Ａ
から第２の輪郭曲線Ｂに変化するときの中間曲線を説明
するための図である。

【図７】第１の輪郭曲線Ａから第２の輪郭曲線Ｂに変化
するときの中間曲線を生成するときの演算処理部の処理
を示すフローチャートである。

【図８】サンプリング点を設定してサンプリング間隔を
決定することを説明するための図である。

【図９】第１の輪郭曲線Ａ及び第２の輪郭曲線Ｂについ
てのサンプリング間隔を決定するときの処理を示すフロ
ーチャートである。

【図１０】サンプリング間隔が得られた第１の輪郭曲線
Ａ及び第２の輪郭曲線Ｂを示す図である。

【図１１】リサンプリング処理を行うとき処理を示すフ
ローチャートである。

【図１２】サンプリング点が求められた第１の輪郭曲線
Ａが示す形状から第２の輪郭曲線Ｂが示す形状に変化す
るときの中間形状を示す中間曲線を生成するときの処理
を示すフローチャートである。

【図１３】補間形状を基準対応点に合わせて変形させる
処理手順を説明するためのフローチャートである。

【図１４】上記図１３に示したフローチャートによる処
理内で、ステップＳ４２までのを説明するための図であ
る。

【図１５】上記図１３に示したフローチャートによる処
理内で、ステップＳ４３以降を説明するための図であ
る。

【図１６】本発明の他の具体例の動作を説明するための
フローチャートである。

【図１７】特願平０９−２０４８６２号に開示されてい
る経路探査方法により曲線を生成する曲線生成手段の主
要部の構成例を示すブロック図である。

【図１８】上記経路探査方法の基本的な処理手順を示す
フローチャートである。

【図１９】上記経路探査方法に基づいて経路探査を行う
部分について説明するための図である。

【図２０】経路探査処理最適化手段の内部構成を説明す
るための図である。

【図２１】経路探査処理最適化手段における処理手順を
説明するためのフローチャートである。

【図２２】経路探査処理最適化手段の通過コスト計算パ
ラメータに関する処理を行う部分について説明するため
の図である。

【図２３】経路探査手段における処理手順を説明するた
めのフローチャートである。

【図２４】選択的グラディエント検出を利用した通過コ
スト計算パラメータに関する処理を行う部分の構成を詳
細に説明するための図である。

【図２５】通過コスト最適化手段における処理手順を説
明するためのフローチャートである。

【図２６】経路探査の通過コストマップの一例を示す図
である。

【図２７】動的計画法を用いた最短経路探査アルゴリズ
ムの一例を示す図である。

【図２８】経路探査処理最適化手段の計算範囲最適化に
関する処理を行う部分を詳細に説明するための図であ
る。

【図２９】計算範囲最適化手段における処理手順を説明
するためのフローチャートである。

【図３０】点列生成手段の構成例を示すブロック図であ
る。

【図３１】点列生成手段における処理手順を説明するた
めのフローチャートである。

【図３２】色射影軸を求める最適色射影軸計算部の具体
例の構成を示すブロック図である。

【図３３】上記最適色射影軸計算部の具体例の動作原理
を説明するための図である。

【図３４】上記最適色射影軸計算部の他の具体例の動作
原理を説明するための図である。

【図３５】従来の中間形状を生成する手法において、開
始フレームと終了フレームとから補間処理をして中間形
状を生成することを説明するための図である。

【図３６】３次のベジェ曲線の線分の例を示す図であ
る。

【図３７】輪郭形状を示す１本の曲線を複数のセグメン
トとして示した図である。

【符号の説明】

１曲線生成装置、２演算処理部

───────────────────────────────────────────────────── フロントページの続き (72)発明者戸塚卓志東京都品川区北品川６丁目７番35号ソニー株式会社内Ｆターム(参考） 5B050 AA08 BA08 BA18 EA05 EA06 EA13 EA21 EA24 FA02 5B080 AA01 AA06 BA08 FA16 5C023 AA01 AA11 AA21 AA34 AA38 BA01 BA02 BA11 BA15 BA16 CA01 CA08 DA01 DA04 DA08

Claims

【特許請求の範囲】

【請求項１】第１のフレームの対象曲線から第２のフ
レームにおける曲線を生成する曲線生成装置において、第１のフレームの対象曲線上に設定された基準対応点に
対応する第２のフレームにおける対応点を、上記第１の
フレームの対象曲線を用いて求める対応点検出手段と、上記対応点検出手段により検出された対応点を通る第２
のフレームの曲線を生成する曲線生成手段とを備えるこ
とを特徴とする曲線生成装置。
【請求項２】上記対応点検出手段は、上記第１のフレ
ームの対象曲線上に設定された基準対応点を画像追跡し
て上記第２のフレームにおける対応点を求めることを特
徴とする請求項１記載の曲線生成装置。
【請求項３】上記曲線生成手段は、上記第１のフレー
ムを開始時のフレームとし、終了時のフレームを第３の
フレームとするとき、第１のフレームの対象曲線と上記
第３のフレームの曲線から線形補間によって補間曲線を
求め、この補間曲線を上記対応点検出手段で検出された
対応点を通る曲線に変形することを特徴とする請求項１
記載の曲線生成装置。
【請求項４】上記曲線生成手段は、上記対応点検出手
段で検出された対応点を通る、画像のエッジに沿う形状
を曲線として生成することを特徴とする請求項１記載の
曲線生成装置。
【請求項５】上記曲線生成手段は、画像上の物体の輪
郭曲線を生成することを特徴とする請求項１記載の曲線
生成装置。
【請求項６】第１のフレームの対象曲線から第２のフ
レームにおける曲線を生成する曲線生成方法において、第１のフレームの対象曲線上に設定された基準対応点に
対応する第２のフレームにおける対応点を、上記第１の
フレームの対象曲線を用いて求める対応点検出工程と、上記対応点検出工程により検出された対応点を通る第２
のフレームの曲線を生成する曲線生成工程とを備えるこ
とを特徴とする曲線生成方法。
【請求項７】上記対応点検出工程は、上記第１のフレ
ームの対象曲線上に設定された基準対応点を画像追跡し
て上記第２のフレームにおける対応点を求めることを特
徴とする請求項６記載の曲線生成方法。
【請求項８】上記曲線生成工程は、上記第１のフレー
ムを開始時のフレームとし、終了時のフレームを第３の
フレームとするとき、第１のフレームの対象曲線と上記
第３のフレームの曲線から線形補間によって補間曲線を
求め、この補間曲線を上記対応点検出工程で検出された
対応点を通る曲線に変形することを特徴とする請求項６
記載の曲線生成方法。
【請求項９】上記曲線生成工程は、上記上記対応点検
出工程で検出された対応点を通る、画像のエッジに沿う
形状を曲線として生成することを特徴とする請求項６記
載の曲線生成方法。
【請求項１０】上記曲線生成工程は、画像上の物体の
輪郭曲線を生成することを特徴とする請求項６記載の曲
線生成方法。
【請求項１１】第１のフレームの対象曲線から第２の
フレームにおける曲線を生成する曲線生成処理に関する
プログラムを提供するプログラム提供媒体において、第１のフレームの対象曲線上に設定された基準対応点に
対応する第２のフレームにおける対応点を、上記第１の
フレームの対象曲線を用いて求める対応点検出工程と、上記対応点検出工程により検出された対応点を通る第２
のフレームの曲線を生成する曲線生成工程とからなるプ
ログラムを提供することを特徴とするプログラム提供媒
体。