JP3641126B2

JP3641126B2 - Image processing method and image processing apparatus

Info

Publication number: JP3641126B2
Application number: JP06543898A
Authority: JP
Inventors: 真由美湯浅
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1998-03-16
Filing date: 1998-03-16
Publication date: 2005-04-20
Anticipated expiration: 2018-03-16
Also published as: JPH11265455A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像中の対象物の輪郭を抽出する画像処理方法及びそれを用いた画像処理装置に関する。
【０００２】
【従来の技術】
従来、画像情報から物体の輪郭を抽出する方法としては、Ｓｎａｋｅｓ：ＡｃｔｉｖｅＣｏｎｔｏｕｒＭｏｄｅｌｓ（Ｍ．Ｋａｓｓ，ｅｔ．ａｌ：Ｉｎｔ．Ｊ．ＣｏｍｐｕｔｅｒＶｉｓｉｏｎ，１，３２１−３３１，１９８８）が提案されている。この方法は、複数個の離散点が有する弾性エネルギーと、画像エネルギーとの和を最小にするように離散点を移動させることにより、物体の輪郭を抽出する方法である。
【０００３】
具体的には図１１に示すように、輪郭抽出の対象とする物体２２の例えば外側に閉輪郭２３を定義する。この閉輪郭２３の弾性エネルギーは次式（１）で表される。
【０００４】
【数１】

【０００５】
式（１）において、α、βはそれぞれ弾性エネルギーの一次および二次の項の重みで、それぞれ閉輪郭２３の収縮および滑らかさに関与している。ｓは閉輪郭２３上での座標である。また画像エネルギーとしては次式（２）のＥ_image のようなエッジなどの画像の特徴を表すものが用いられる。
【０００６】
【数２】

これらのエネルギーの総和をＥ_all とすると、次式（３）のようになる。
【０００７】
【数３】

【０００８】
ただし、ｗ_image は画像エネルギーＥ_image の重みである。このＥ_all が最小になるように、閉輪郭２３を移動させることにより、対象物体２２の輪郭を抽出する。
【０００９】
しかしながら、この方式では、輪郭の初期値が対象物の輪郭に十分近くなく、また、初期値の近傍に対象物の輪郭ではない間違ったエッジが存在する場合には、近くのエッジで止まってしまうという問題点があった。
【００１０】
特に、心臓部の画像からの左室壁の輪郭を抽出することは、近年、虚血性心疾患による死亡者の増加等により、それらの疾患の診断のために、画像による心壁の動きの解析が行なわれるようになってきているため、非常に重要である。心臓部の画像から左室壁の輪郭を抽出する場合、心腔内のノイズなどの問題より、初期輪郭を適切に設定しないと高精度な輪郭抽出結果は得られないが、心臓断面の形には個人差があるため効果的な初期輪郭を少ない手間で設定することは困難である。また、エネルギー関数には多くのパラメータが含まれているが、これらのパラメータを適切に設定する必要があるという問題点があった。
【００１１】
【発明が解決しようとする課題】
このように、従来、動的輪郭モデルによる輪郭抽出方法には、各種パラメータの設定等、初期輪郭の適切な設定が難しいという問題点があった。
そこで、本発明は、上記問題点に鑑み、画像中の対象物の動的輪郭抽出の際に、精確な初期輪郭の設定が容易に行え、その結果、正確で効率的な輪郭抽出が可能となる画像処理方法およびそれを用いた画像処理装置を提供することを目的とする。
【００１２】
【課題を解決するための手段】
（１）本発明の画像処理方法は、入力された画像に対し入力された該画像中の対象物の１または複数の特徴点に基づき前記対象物の初期輪郭を生成し、前記特徴点の位置を変化させずに、前記対象物の輪郭形状の特徴量と前記画像の特徴量と必要に応じて与えられる前記初期輪郭の変化量との総和が最小になるように前記初期輪郭を変形することにより、前記画像中の対象物の輪郭を抽出することを特徴とする。
【００１３】
本発明によれば、予め指定された特徴点の位置は保存したまま、画像中の対象物の動的輪郭抽出を行うことにより、より輪郭に近い初期輪郭の設定が容易に行え、正確で効率的な輪郭抽出が可能となる。
【００１４】
（２）本発明の画像処理方法は、入力された連続する複数の画像のうちの少なくとも１つの画像に対し入力された該画像中の対象物の１または複数の特徴点に基づき他の画像中の特徴点を算出し、
前記複数の画像のうちの少なくとも１つの画像から前記特徴点に基づき前記対象物の初期輪郭を生成し、
前記特徴点の位置を変化させずに、前記対象物の輪郭形状の特徴量と前記画像の特徴量と必要に応じて与えられる前記初期輪郭の変化量との総和が最小になるように前記初期輪郭を変形することにより、前記画像中の対象物の輪郭を抽出し、この抽出された前記対象物の輪郭を後続の画像の初期輪郭とすることを特徴とする。
【００１５】
本発明によれば、入力された連続する複数の画像のうちの少なくとも１つの画像に対し入力された該画像中の対象物の１または複数の特徴点に基づき他の画像中の特徴点を算出し、また、直前の画像の輪郭抽出結果を初期輪郭として用いて、各画像から特徴点の位置は保存したまま、画像中の対象物の動的輪郭抽出を行うことにより、動画像中の対象物の動的輪郭抽出の際にも、より輪郭に近い初期輪郭の設定が容易に行え、正確で効率的な輪郭抽出が可能となる。
【００１６】
（３）上記画像処理方法において、複数のサンプル輪郭に基づきそのサンプル輪郭上の特徴点と該サンプル輪郭とを関係付ける操作量を算出し、必要に応じて調整された該操作量と前記入力された画像中の特徴点とに基づき前記対象物の初期輪郭を生成することを特徴とする。
【００１７】
本発明によれば、過去の輪郭抽出結果に基づき特徴点と輪郭とを関係付ける操作量（代表ベクトル）を予め算出しておき、この操作量を必要に応じて調整しながら、これから輪郭を抽出しようとしている画像中の対象物の１または複数の特徴点に基づき前記対象物の初期輪郭を生成することにより、より精度の高い初期輪郭を生成することができる。
【００１８】
（４）本発明の画像処理装置は、入力された画像に対し入力された該画像中の対象物の１または複数の特徴点に基づき前記対象物の初期輪郭を生成する生成手段と、
前記特徴点の位置を変化させずに、前記対象物の輪郭形状の特徴量と前記画像の特徴量と必要に応じて与えられる前記初期輪郭の変化量との総和が最小になるように前記初期輪郭を変形することにより、前記画像中の対象物の輪郭を抽出する輪郭抽出手段と、
を具備したことを特徴とする。
【００１９】
本発明によれば、予め指定された特徴点の位置は保存したまま、画像中の対象物の動的輪郭抽出を行うことにより、より輪郭に近い初期輪郭の設定が容易に行え、正確で効率的な輪郭抽出が可能となる。
【００２０】
（５）本発明の画像処理装置は、入力された連続する複数の画像のうちの少なくとも１つの画像に対し入力された該画像中の対象物の１または複数の特徴点に基づき他の画像中の特徴点を算出する算出手段と、
前記複数の画像のうちの少なくとも１つの画像から前記特徴点に基づき前記対象物の初期輪郭を生成する生成手段と、
前記特徴点の位置を変化させずに、前記対象物の輪郭形状の特徴量と前記画像の特徴量と必要に応じて与えられる前記初期輪郭の変化量との総和が最小になるように前記初期輪郭を変形することにより、前記画像中の対象物の輪郭を抽出する輪郭抽出手段と、
を具備し、
前記輪郭抽出手段で抽出された前記対象物の輪郭を後続の画像の初期輪郭とすることを特徴とする。
【００２１】
本発明によれば、入力された連続する複数の画像のうちの少なくとも１つの画像に対し入力された該画像中の対象物の１または複数の特徴点に基づき他の画像中の特徴点を算出し、また、直前の画像の輪郭抽出結果を初期輪郭として用いて、各画像から特徴点の位置は保存したまま、画像中の対象物の動的輪郭抽出を行うことにより、動画像中の対象物の動的輪郭抽出の際にも、より輪郭に近い初期輪郭の設定が容易に行え、正確で効率的な輪郭抽出が可能となる。
【００２２】
（６）上記画像処理装置において、前記生成手段は、複数のサンプル輪郭に基づきそのサンプル輪郭上の特徴点と該サンプル輪郭とを関係付ける操作量を算出し、必要に応じて調整された該操作量と前記入力された画像中の特徴点とに基づき前記対象物の初期輪郭を生成することを特徴とする。
【００２３】
本発明によれば、過去の輪郭抽出結果に基づき特徴点と輪郭とを関係付ける操作量（代表ベクトル）を予め算出しておき、この操作量を必要に応じて調整しながら、これから輪郭を抽出しようとしている画像中の対象物の１または複数の特徴点に基づき前記対象物の初期輪郭を生成することにより、より精度の高い初期輪郭を生成することができる。
【００２４】
【発明の実施の形態】
以下、本発明の実施形態について図面を参照して説明する。
（第１の実施形態）
図１は本発明の第１の実施形態に係る画像処理装置の構成例を概略的に示したものである。
【００２５】
画像入力部１は処理対象の画像を入力するものである。画像表示部２は画像入力部１で入力された画像を表示するものである。特徴点入力部３は例えばマウス、トラックボール、レバー、キーボードなどから構成され、画像入力部１で入力された対象物の特徴点の座標を入力するものである。ここでは特徴点として例えば３点を入力するものとする。また、特徴点を入力する際には、画像表示部２で表示された画像中に、その位置を直接指示するようにしてもよいし、座標値で入力するようにしてもよい。
【００２６】
初期輪郭生成部４では、入力された特徴点Ａ、Ｂ、Ｃを補間することにより、図３に示すような初期輪郭を生成するようになっている。
例えば、図１０に示すように、特徴点Ａ、Ｂ、Ｃからなる各辺ｒ１１、ｒ１２、ｒ１３のそれぞれの中点を外側に垂直に一定距離移動した点ｙ１、ｙ２、ｙ３を求め、特徴点とこれら各点を通る円弧とをつないだものを初期輪郭としてもよい。
【００２７】
また、各辺ｒ１１、ｒ１２、ｒ１３のそれぞれの中点を外側に垂直に移動する際の距離の調整は、ユーザによってなされることが望ましい。
初期輪郭生成部４で生成される初期輪郭は、図３に示すように、複数の離散点（特徴点Ａ、Ｂ、Ｃを含む）の座標値にて特定されるものである。
【００２８】
輪郭抽出部５の構成例を図２に示す。
離散点移動部７では式（４）においてＥ_all で表される全エネルギーが最小になるように初期輪郭を特定する特徴点以外の複数個の離散点を移動させる。ただし、特徴点入力部３で入力した特徴点については移動させないこととする。例えば、図３において、二重丸で表される特徴点Ａ、Ｂ、Ｃの座標値はそのままにしてそれ以外の点（黒丸で表された点）のみを移動させる。
【００２９】
【数４】

【００３０】
式（４）において、ｉは図４で表されるような複数個の離散点（特徴点を含む）の番号である。ｗ_image （ｉ）、ｗ_ext （ｉ）は重み係数である。Ｅ_int （ｉ）は初期輪郭の形状の特徴量を表す内部エネルギーであり、本実施形態では次式（５）を用いるものとする。
【００３１】
【数５】

ただし、Ｖ_i ＝（ｘ_i 、ｙ_i ）は離散点（特徴点を含む）の位置座標である。Ｅ_image （ｉ）は処理対象の画像の特徴量を表す画像エネルギーであり、ここでは式（６）を用いる。
【００３２】
【数６】

【００３３】
Ｅ_ext （ｉ）は必要に応じて付加する外部エネルギーで、具体的には、例えば、式（７）で表すことができる。すなわち、式（７）は離散点をある点Ｖ₀ から遠ざけたり、Ｖ₀ に近付けたりするエネルギーである。遠ざけるか近付けるかは係数ｋの正負によって決まる。
【００３４】
【数７】

【００３５】
エネルギーの総和が最小となるような離散点の位置を求める解法として、変分法による方法を用いる。変分法によれば式（４）が最小となるためには式（８）のような連立方程式が成り立つことが必要である。
【００３６】
【数８】

ただし、
【００３７】
【数９】

とする。
今、ｘ座標のみを考えるとすると、式（８）の連立方程式はベクトル表示で次式のように表すことができる。
【００３８】
【数１０】

ただし、
【００３９】
【数１１】

である。
この連立方程式をヤコビ法を用いて逐次近似法で解く。Ａを次式（１２）のように対角行列Ｄとそれ以外の部分Ｆに分ける。
【００４０】
【数１２】

ｎ回目の近似解をｘⁿ とすると、ｎ＋１回目の近似解ｘⁿ⁺¹ は、
【００４１】
【数１３】

となる。ただし、γは収束速度パラメータである。
【００４２】
以上の計算過程において、先に入力された特徴点については移動を行なわないものとする。
図２の離散点移動部７の構成例を図５に示す。
【００４３】
画像エネルギー算出部９、外部エネルギー算出部１０では、それぞれ式（４）におけるＥ_image （ｉ）、Ｅ_ext （ｉ）を算出する。パラメータ記憶部１２には各エネルギーの重み係数、式（１３）における行列Ｄ、Ｆの要素の値、γ等が記憶されている。次座標算出部１１では、式（１３）を用いて各離散点の次座標を計算して、離散点を移動させる。
【００４４】
離散点を移動させるごとに、図２の収束判定部８で収束条件を満たすかどうかを判定し、収束条件を満たさない場合には再び離散点移動部７で離散点の移動を行ない、収束条件を満たすまで繰り返す。
【００４５】
収束条件としては、本実施形態では式（１４）で表されるようなｎ回目の繰り返しでのエネルギーの変化量ΔＥ_all ⁿ がある一定値より小さくなったときとする。
【００４６】
【数１４】

【００４７】
図２の収束判定部８の構成例を図６に示す。エネルギー算出部１３では、式（４）のＥ_all を算出する。それをｎ回目の値Ｅ_all ⁿ として、記憶部１４に記憶しておく。そしてエネルギー比較部１５で、記憶部１４にあらかじめ記憶しておいたｎ−１回目の値Ｅ_all ^n-1 との差の絶対値ΔＥ_all ⁿ を求めて、それが一定量εより小さければ収束したと判定し、大きければ収束していないと判定する。
【００４８】
図１の出力部６では、輪郭抽出部６での輪郭抽出結果を、例えば、ディスプレイ装置に表示するようになっている。
以上説明したように、上記第１の実施形態によれば、予め指定された特徴点の位置は保存したまま、画像中の対象物の動的輪郭抽出を行うことにより、画像中の対象物の動的輪郭抽出の際に、より輪郭に近い初期輪郭の設定が容易に行え、正確で効率的な輪郭抽出が可能となる。
（第２の実施形態）
図７は、本発明の第２の実施形態に係る入力画像が動画像の場合の画像処理装置の構成例を概略的に示したものである。なお、図１と同一部分には同一符号を付し、異なる部分について説明する。すなわち、図７では、特徴点生成部１６をさらに具備している。
【００４９】
特徴点入力部３からは、入力される動画像の最初の１枚目の画像と、最後の画像に対し特徴点が入力される。特徴点が入力される動画像中の第１枚目の画像と最後の画像をここでは、代表画像と呼ぶことにする。
【００５０】
特徴点生成部１６では、代表画像以外の画像についての特徴点を生成するものである。すなわち、２枚の代表画像間に挟まれる代表画像でない各画像中の特徴点は、２枚の代表画像中の対応し合う特徴点の間で線形補間して求める。なお、特徴点の指定された画像（代表画像）は、１枚のみでも３枚以上あってもよい。代表画像が１枚のみの場合は、他の画像の特徴点についても、この指定された特徴点と同じとしてもよい。代表画像が３枚以上である場合も、上記同様、その間を線形補間して他の画像の特徴点を求めるようにしてもよい。
【００５１】
輪郭抽出の際に使用する初期輪郭は、１枚目以外については、前時相の輪郭抽出結果を利用する。輪郭抽出方法については、第１の実施形態と同様、初期輪郭上の特徴点以外の離散点を収束条件を満たすまで移動させて輪郭抽出を行えばよい。
【００５２】
以下、図７の画像処理装置の処理動作を概略的に説明する。
一枚目の画像について、
画像入力部１では目的とする画像を入力する。画像表示部２では目的とする画像を表示する。特徴点入力部３では、特徴点の座標を入力する。ここでは３点を入力するものとする。入力する手段としては、マウス、トラックボール、レバー、キーボードなどを用いる。初期輪郭生成部４では、入力された特徴点を補間することにより、初期輪郭を生成する。輪郭抽出部５については第１の実施形態と同様とする。
【００５３】
一枚目ではない代表画像について、
画像入力部１では目的とする画像を入力する。画像表示部２では目的とする画像を表示する。特徴点入力部３では、特徴点の座標を入力する。ここでは３点を入力するものとする。入力する手段としては、マウス、トラックボール、レバー、キーボードなどを用いる。輪郭抽出部５については第１の実施形態と同様とするが、初期輪郭としては、直前の画像の輪郭抽出結果を用いる。
【００５４】
代表画像ではない画像について、
画像入力部１では目的とする画像を入力する。特徴点生成部１６において、特徴点の座標を算出する。輪郭抽出部５については第１の実施形態と同様とするが、初期輪郭としては、直前の画像の輪郭抽出結果を用いる。
【００５５】
以上説明したように、上記第２の実施形態によれば、連続する複数の画像のうちの少なくとも１枚の代表画像（例えば、１枚目の画像と最後の画像）に対し入力された該画像中の対象物の１または複数の特徴点から他の画像中の特徴点を求め、複数の画像のうちの少なくとも１つの画像（例えば、１枚目の画像）から指定された特徴点に基づき該対象物の初期輪郭を生成して特徴点の位置を保存したまま該初期輪郭を変形することにより該対象物の輪郭を抽出したら、それを後続の画像の初期輪郭として用いて、以下同様に各画像から該対象物の輪郭を抽出することにより、動画像中の対象物の動的輪郭抽出の際にも、より輪郭に近い初期輪郭の設定が容易に行え、正確で効率的な輪郭抽出が可能となる。
（第３の実施形態）
本発明の第３の実施形態に係る画像処理装置は図１、図７と同様であり、初期輪郭生成部４の構成および処理動作が異なる。
【００５６】
図８は、初期輪郭生成部４の構成例を示したものでる。
特徴点記憶部１７には、図１および図７の特徴点入力部３から入力された特徴点（例えば３点）の座標データを記憶する。例えば、図９に示すように、特徴点Ａ、Ｂ、Ｃが指定されたとする。
【００５７】
代表ベクトル生成部１８では、すでに輪郭の抽出されている複数のサンプル輪郭データから、その各サンプル輪郭データ中の特徴点（その輪郭を抽出する際にユーザにより指定されたもの）と該輪郭形状とを関係付けるための操作量として代表ベクトルを生成する。すなわち、各サンプル輪郭データのそれぞれから、１または複数の隣り合う特徴点間を結んで作られる単純図形（特徴点の数により定まり、例えば、特徴点が３点であるなら３角形）の各辺（特徴点と特徴点とを結ぶ線分）上の点（特徴点と特徴点とを結ぶ線分の中点あるいは、該線分上の複数のサンプル点のそれぞれ）から該輪郭までの距離値を１次元のベクトルの集合として求める。例えば、図９において、特徴点Ａ、Ｂ、Ｃでつくられる線分ＡＢ、ＢＣ（図９中、線分ｍ１、ｍ２）の中点あるいは各線分ｍ１、ｍ２上の複数のサンプル点のそれぞれから輪郭までの距離を求め、それを１次元のベクトルで表す。その際、必要に応じて線分ｍ１、ｍ２の長さで正規化を行ってもよい。そして、例えば、複数のサンプルデータ内で対応し合う線分どうしで距離の平均値をとる、すなわち、ベクトルの平均値を求める、あるいは複数のサンプルデータベクトルに対して主成分分析を行い、第１主成分ベクトルのみを取り出すといった統計処理により、各線分を外側に広げる広げ方を定める代表ベクトルを生成する。このようにして生成された代表ベクトルは代表ベクトル記憶部１９で記憶される。
【００５８】
パラメータ入力部２０には、代表ベクトルをこれから輪郭を抽出しようとしている画像中の対象物の形状の特徴に適合させるべく、そのためにユーザにより選択された調整量としてのパラメータが入力するようになっている。このパラメータとしては、例えば、図９の特徴点を結ぶ線分ｍ１、ｍ２を外側に広げる際の広げ方の程度を定める任意の定数であってもよい。
【００５９】
パラメータ入力部２０を介してパラメータが入力されると、輪郭生成部２１では、代表ベクトル記憶部１９に記憶されている代表ベクトルに該パラメータを乗じて、初期輪郭を生成する。
【００６０】
輪郭生成部２１では、例えば、図１０に示すように、特徴点Ａ、Ｂ、Ｃからなる各辺ｒ１１、ｒ１２、ｒ１３のそれぞれの中点を代表ベクトルの向き（すなわち、各辺から外側に向く方向）へ該代表ベクトルの大きさに上記パラメータを乗じた値だけ移動した点ｙ１、ｙ２、ｙ３を求め、特徴点とこれら各点を通る円弧とをつないて初期輪郭を生成する。
【００６１】
以上説明したように、上記第３の実施形態によれば、過去の輪郭抽出結果に基づき特徴点と輪郭とを関係付ける操作量（代表ベクトル）を予め算出しておき、この操作量を必要に応じて調整しながら、これから輪郭を抽出しようとしている画像中の対象物の１または複数の特徴点に基づき前記対象物の初期輪郭を生成することにより、より精度の高い初期輪郭を生成することができる。
【００６２】
本発明は上記第１〜第３実施形態に限定されるものではない。
収束判定部８における収束条件としては、エネルギーの変化量による方法をあげたが、複数個の離散点の移動量がある一定値より小さくなったとき、あるいはこのような条件で収束しない場合もあることを考慮して、繰り返しの回数で収束させる、すなわち、ある一定回数収束演算を行なったら収束したとみなすようにすることもできる。
【００６３】
また、エネルギー最小化の方法として、変分法による方法を使用したが、他の方法、例えば動的計画法を用いても差し支えない。
また、エッジ検出方法としては、グラディエント法を用いたが、他のエッジ検出方法を用いても差し支えない。例えば、ソーベルオペレータを用いる方法、グラディエントを求めた後、２値化する方法などが考えられる。
【００６４】
また、特徴点として上記第１〜第３の実施形態では、３点の場合について示したが、それ以上あるいはそれ以下であっても差し支えない。
特に、画像入力部１から入力される処理対象の画像が、Ｘ線、ＭＲＩ、聴音波診断装置等から得られる心臓部左心室像であるとき、特徴点は、心尖部１点、弁輪部両端の２点とすることが望ましい。
【００６５】
【発明の効果】
以上説明したように、本発明によれば、画像中の対象物の動的輪郭抽出の際に、より輪郭に近い初期輪郭の設定が容易に行え、正確で効率的な輪郭抽出が可能となる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る画像処理装置の構成例を示した図。
【図２】輪郭抽出部の構成例を示した図。
【図３】入力された特徴点の一例を示した図。
【図４】複数の離散点（特徴点を含む）から構成される初期輪郭の一例を示した図。
【図５】離散点移動部の構成例を示した図。
【図６】収束判定部の構成例を示した図。
【図７】本発明の第２の実施形態に係る画像処理装置の構成例を示した図。
【図８】本発明の第３の実施形態に係る画像処理装置の初期輪郭生成部の構成例を示した図。
【図９】代表ベクトルの生成方法を説明するための図。
【図１０】初期輪郭生成方法を説明するための図。
【図１１】従来の輪郭抽出処理について説明するための図で、輪郭抽出の対象となる物体の外側に閉輪郭を定義して初期値としていた場合を示している。
【符号の説明】
１…画像入力部
２…画像表示部
３…特徴点入力部
４…初期輪郭生成部
５…輪郭抽出部
６…出力部
７…離散点移動部
８…収束判定部
９…画像エネルギー算出部
１０…外部エネルギー算出部
１１…次座標算出部
１２…記憶部
１３…エネルギー算出部
１４…記憶部
１５…エネルギー比較部
１６…特徴点生成部
１７…特徴点記憶部
１８…代表ベクトル生成部
１９…代表ベクトル記憶部
２０…パラメータ入力部
２１…輪郭生成部
２２…輪郭抽出の対象となる物体
２３…閉輪郭[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image processing method for extracting an outline of an object in an image and an image processing apparatus using the image processing method.
[0002]
[Prior art]
Conventionally, Snakes: Active Control Models (M. Kass, et.al: Int. J. Computer Vision, 1, 321-331, 1988) has been proposed as a method for extracting the outline of an object from image information. This method is a method for extracting the contour of an object by moving the discrete points so as to minimize the sum of the elastic energy of the plurality of discrete points and the image energy.
[0003]
Specifically, as shown in FIG. 11, a closed contour 23 is defined, for example, outside the object 22 to be contour extracted. The elastic energy of the closed contour 23 is expressed by the following equation (1).
[0004]
[Expression 1]

[0005]
In equation (1), α and β are the weights of the primary and secondary terms of the elastic energy, respectively, and are involved in the contraction and smoothness of the closed contour 23, respectively. s is a coordinate on the closed contour 23. As the image energy, an image energy such as an edge like E _{image in} the following formula (2) is used.
[0006]
[Expression 2]

When the sum of these energies is E _all , the following equation (3) is obtained.
[0007]
[Equation 3]

[0008]
Where w _image is the weight of the image energy E _image . The contour of the target object 22 is extracted by moving the closed contour 23 so that E _all is minimized.
[0009]
However, in this method, when the initial value of the contour is not sufficiently close to the contour of the object, and there is an incorrect edge that is not the contour of the object in the vicinity of the initial value, the contour stops at the nearby edge. There was a problem.
[0010]
In particular, extracting the contours of the left ventricular wall from the heart image is an analysis of the movement of the heart wall by images for the diagnosis of those diseases due to the increase in the number of deaths due to ischemic heart disease in recent years. Is very important because it is being carried out. When extracting the contour of the left ventricular wall from the image of the heart, due to problems such as noise in the heart chamber, an accurate contour extraction result cannot be obtained unless the initial contour is set appropriately. Since there are individual differences, it is difficult to set an effective initial contour with little effort. Moreover, although many parameters are included in the energy function, there is a problem that these parameters need to be set appropriately.
[0011]
[Problems to be solved by the invention]
As described above, conventionally, the contour extraction method using the dynamic contour model has a problem that it is difficult to appropriately set the initial contour such as setting various parameters.
Therefore, in view of the above problems, the present invention can easily set an accurate initial contour when extracting a dynamic contour of an object in an image. As a result, accurate and efficient contour extraction is possible. It is an object of the present invention to provide an image processing method and an image processing apparatus using the image processing method.
[0012]
[Means for Solving the Problems]
(1) The image processing method of the present invention generates an initial contour of the object based on one or a plurality of feature points of the object in the input image, and the position of the feature point. The initial contour is deformed so that the sum of the feature amount of the contour shape of the object, the feature amount of the image, and the amount of change of the initial contour given as necessary is minimized without changing Thus, the outline of the object in the image is extracted.
[0013]
According to the present invention, it is possible to easily set an initial contour closer to the contour, and to accurately and efficiently perform the dynamic contour extraction of the object in the image while keeping the position of the feature point designated in advance. Contour extraction is possible.
[0014]
(2) The image processing method of the present invention is based on one or a plurality of feature points of an object in an image input to at least one of a plurality of input continuous images. Calculate the feature points of
Generating an initial contour of the object based on the feature points from at least one of the plurality of images;
Without changing the position of the feature point, the initial value is such that the sum of the feature amount of the contour shape of the object, the feature amount of the image, and the change amount of the initial contour given as necessary is minimized. The contour of the object is extracted from the image by deforming the contour, and the extracted contour of the object is used as the initial contour of the subsequent image.
[0015]
According to the present invention, a feature point in another image is calculated based on one or more feature points of an object in the input image for at least one of a plurality of input continuous images. In addition, by using the contour extraction result of the immediately preceding image as the initial contour and performing the dynamic contour extraction of the object in the image while keeping the position of the feature point from each image, the target in the moving image is obtained. Also when extracting the dynamic contour of an object, an initial contour closer to the contour can be easily set, and accurate and efficient contour extraction can be performed.
[0016]
(3) In the above image processing method, an operation amount relating a feature point on the sample contour and the sample contour is calculated based on a plurality of sample contours, and the operation amount adjusted as necessary is input to the operation amount. The initial contour of the object is generated based on the feature points in the image.
[0017]
According to the present invention, an operation amount (representative vector) relating feature points and contours is calculated in advance based on past contour extraction results, and the contour is extracted from this while adjusting the operation amount as necessary. By generating the initial contour of the target object based on one or more feature points of the target object in the image to be obtained, a more accurate initial contour can be generated.
[0018]
(4) The image processing apparatus of the present invention includes a generating unit that generates an initial contour of the object based on one or a plurality of feature points of the object in the input image with respect to the input image;
Without changing the position of the feature point, the initial value is such that the sum of the feature amount of the contour shape of the object, the feature amount of the image, and the change amount of the initial contour given as necessary is minimized. Contour extracting means for extracting the contour of the object in the image by deforming the contour;
It is characterized by comprising.
[0019]
According to the present invention, it is possible to easily set an initial contour closer to the contour, and to accurately and efficiently perform the dynamic contour extraction of the object in the image while keeping the position of the feature point designated in advance. Contour extraction is possible.
[0020]
(5) The image processing apparatus according to the present invention may be used in another image based on one or more feature points of an object in the input image for at least one of a plurality of input images. Calculating means for calculating the feature point of
Generating means for generating an initial contour of the object based on the feature points from at least one of the plurality of images;
Without changing the position of the feature point, the initial value is such that the sum of the feature amount of the contour shape of the object, the feature amount of the image, and the change amount of the initial contour given as necessary is minimized. Contour extracting means for extracting the contour of the object in the image by deforming the contour;
Comprising
The contour of the object extracted by the contour extracting means is used as an initial contour of a subsequent image.
[0021]
According to the present invention, a feature point in another image is calculated based on one or more feature points of an object in the input image for at least one of a plurality of input continuous images. In addition, by using the contour extraction result of the immediately preceding image as the initial contour and performing the dynamic contour extraction of the object in the image while keeping the position of the feature point from each image, the target in the moving image is obtained. Also when extracting the dynamic contour of an object, an initial contour closer to the contour can be easily set, and accurate and efficient contour extraction can be performed.
[0022]
(6) In the image processing apparatus, the generation unit calculates an operation amount relating a feature point on the sample contour to the sample contour based on a plurality of sample contours, and the operation adjusted as necessary An initial contour of the object is generated based on the quantity and the feature point in the input image.
[0023]
According to the present invention, an operation amount (representative vector) relating feature points and contours is calculated in advance based on past contour extraction results, and the contour is extracted from this while adjusting the operation amount as necessary. By generating the initial contour of the target object based on one or more feature points of the target object in the image to be obtained, a more accurate initial contour can be generated.
[0024]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to the drawings.
(First embodiment)
FIG. 1 schematically shows a configuration example of an image processing apparatus according to the first embodiment of the present invention.
[0025]
The image input unit 1 inputs an image to be processed. The image display unit 2 displays the image input by the image input unit 1. The feature point input unit 3 includes, for example, a mouse, a trackball, a lever, a keyboard, and the like, and inputs the feature point coordinates of the object input by the image input unit 1. Here, for example, three points are input as feature points. Further, when inputting a feature point, the position may be directly indicated in the image displayed on the image display unit 2 or may be input by a coordinate value.
[0026]
The initial contour generation unit 4 generates an initial contour as shown in FIG. 3 by interpolating the input feature points A, B, and C.
For example, as shown in FIG. 10, the points y1, y2, and y3 obtained by moving the midpoints of the sides r11, r12, and r13 consisting of the feature points A, B, and C vertically by a predetermined distance are obtained. And an arc that passes through these points may be used as the initial contour.
[0027]
Further, it is desirable that the user adjusts the distance when moving the midpoint of each of the sides r11, r12, r13 vertically outward.
As shown in FIG. 3, the initial contour generated by the initial contour generation unit 4 is specified by the coordinate values of a plurality of discrete points (including feature points A, B, and C).
[0028]
A configuration example of the contour extraction unit 5 is shown in FIG.
The discrete point moving unit 7 moves a plurality of discrete points other than the feature points that specify the initial contour so that the total energy represented by E _all in Equation (4) is minimized. However, the feature points input by the feature point input unit 3 are not moved. For example, in FIG. 3, the coordinate values of the feature points A, B, and C represented by double circles are left as they are, and only the other points (points represented by black circles) are moved.
[0029]
[Expression 4]

[0030]
In Equation (4), i is the number of a plurality of discrete points (including feature points) as shown in FIG. w _image (i) and w _ext (i) are weighting factors. E _int (i) is internal energy representing the feature amount of the shape of the initial contour, and in the present embodiment, the following equation (5) is used.
[0031]
[Equation 5]

However, V _i = (x _i , y _i ) is a position coordinate of a discrete point (including a feature point). E _image (i) is image energy representing the feature amount of the image to be processed, and here, Expression (6) is used.
[0032]
[Formula 6]

[0033]
E _ext (i) is an external energy added as necessary, and can be specifically expressed by, for example, Expression (7). That is, Expression (7) is energy for moving a discrete point away from a certain point V ₀ or approaching V ₀ . Whether to move away or approach is determined by the sign of the coefficient k.
[0034]
[Expression 7]

[0035]
A variational method is used as a solution for obtaining the positions of discrete points that minimize the total energy. In order to minimize Equation (4) according to the variational method, simultaneous equations such as Equation (8) must be satisfied.
[0036]
[Equation 8]

However,
[0037]
[Equation 9]

And
If only the x-coordinate is considered now, the simultaneous equations of equation (8) can be expressed as the following equation in vector representation.
[0038]
[Expression 10]

However,
[0039]
[Expression 11]

It is.
This simultaneous equation is solved by the successive approximation method using the Jacobian method. A is divided into a diagonal matrix D and a portion F other than that as shown in the following equation (12).
[0040]
[Expression 12]

Assuming that the ^nth approximate solution is ^xn , the (n + 1) th approximate solution ^{xn + 1} is
[0041]
[Formula 13]

It becomes. Where γ is a convergence speed parameter.
[0042]
In the above calculation process, it is assumed that the previously inputted feature points are not moved.
A configuration example of the discrete point moving unit 7 of FIG. 2 is shown in FIG.
[0043]
The image energy calculation unit 9 and the external energy calculation unit 10 calculate E _image (i) and E _ext (i) in Equation (4), respectively. The parameter storage unit 12 stores a weighting coefficient for each energy, values of elements of the matrices D and F in Expression (13), γ, and the like. The next coordinate calculation unit 11 calculates the next coordinate of each discrete point using Expression (13), and moves the discrete point.
[0044]
Each time the discrete point is moved, it is determined whether or not the convergence condition is satisfied by the convergence determination unit 8 in FIG. 2. If the convergence condition is not satisfied, the discrete point is moved again by the discrete point movement unit 7. Repeat until
[0045]
As the convergence condition, in this embodiment, it is assumed that the energy change amount ΔE _all ⁿ at the n-th iteration as expressed by Expression (14) becomes smaller than a certain value.
[0046]
[Expression 14]

[0047]
A configuration example of the convergence determination unit 8 in FIG. 2 is shown in FIG. The energy calculation unit 13 calculates E _all in Equation (4). This is stored in the storage unit 14 as the ^nth value E _all ⁿ . Then, the energy comparison unit 15 obtains the absolute value ΔE _all ⁿ of the difference from the ⁿ⁻ _1th value E _all ⁿ⁻¹ stored in the storage unit 14 in advance, and converges if it is smaller than a certain amount ε. If it is larger, it is determined that it has not converged.
[0048]
In the output unit 6 of FIG. 1, the contour extraction result in the contour extraction unit 6 is displayed on, for example, a display device.
As described above, according to the first embodiment, the dynamic contour extraction of the object in the image is performed while the position of the feature point designated in advance is stored, so that the object in the image can be extracted. At the time of dynamic contour extraction, an initial contour closer to the contour can be easily set, and accurate and efficient contour extraction becomes possible.
(Second Embodiment)
FIG. 7 schematically shows a configuration example of an image processing apparatus when an input image according to the second embodiment of the present invention is a moving image. In addition, the same code | symbol is attached | subjected to FIG. 1 and an identical part, and a different part is demonstrated. That is, in FIG. 7, the feature point generation unit 16 is further provided.
[0049]
The feature point input unit 3 inputs feature points for the first image and the last image of the input moving image. Here, the first image and the last image in the moving image to which the feature points are input are referred to as representative images here.
[0050]
The feature point generation unit 16 generates feature points for images other than the representative image. That is, feature points in each image that are not representative images sandwiched between two representative images are obtained by linear interpolation between corresponding feature points in the two representative images. Note that the number of images (representative images) in which feature points are specified may be one or three or more. When there is only one representative image, the feature points of other images may be the same as the designated feature points. Even when there are three or more representative images, the feature points of other images may be obtained by linear interpolation between them as described above.
[0051]
As for the initial contour used for contour extraction, the contour extraction result of the previous time phase is used for those other than the first one. As for the contour extraction method, the contour extraction may be performed by moving discrete points other than the feature points on the initial contour until the convergence condition is satisfied, as in the first embodiment.
[0052]
Hereinafter, the processing operation of the image processing apparatus of FIG. 7 will be schematically described.
For the first image,
The image input unit 1 inputs a target image. The image display unit 2 displays a target image. The feature point input unit 3 inputs the coordinates of the feature points. Here, three points are input. As a means for inputting, a mouse, trackball, lever, keyboard or the like is used. The initial contour generation unit 4 generates an initial contour by interpolating the input feature points. The contour extraction unit 5 is the same as that in the first embodiment.
[0053]
For representative images that are not the first one,
The image input unit 1 inputs a target image. The image display unit 2 displays a target image. The feature point input unit 3 inputs the coordinates of the feature points. Here, three points are input. As a means for inputting, a mouse, trackball, lever, keyboard or the like is used. The contour extraction unit 5 is the same as that in the first embodiment, but the contour extraction result of the immediately preceding image is used as the initial contour.
[0054]
For images that are not representative images,
The image input unit 1 inputs a target image. The feature point generation unit 16 calculates the coordinates of the feature points. The contour extraction unit 5 is the same as that in the first embodiment, but the contour extraction result of the immediately preceding image is used as the initial contour.
[0055]
As described above, according to the second embodiment, the image input to at least one representative image (for example, the first image and the last image) of a plurality of consecutive images. A feature point in another image is obtained from one or more feature points of the object in the object, and the feature point is determined based on a feature point designated from at least one image (for example, the first image) of the plurality of images. Once the initial contour of the object is extracted by generating the initial contour of the object and transforming the initial contour while preserving the position of the feature points, it is used as the initial contour of the subsequent image. By extracting the contour of the object from the image, the initial contour closer to the contour can be easily set even when the dynamic contour of the target object in the moving image is extracted, and accurate and efficient contour extraction can be performed. It becomes possible.
(Third embodiment)
The image processing apparatus according to the third embodiment of the present invention is the same as that shown in FIGS. 1 and 7, and the configuration and processing operation of the initial contour generation unit 4 are different.
[0056]
FIG. 8 shows a configuration example of the initial contour generation unit 4.
The feature point storage unit 17 stores coordinate data of feature points (for example, three points) input from the feature point input unit 3 of FIGS. 1 and 7. For example, assume that feature points A, B, and C are designated as shown in FIG.
[0057]
In the representative vector generation unit 18, from a plurality of sample contour data from which contours have already been extracted, feature points in each sample contour data (specified by the user when extracting the contours) and the contour shape A representative vector is generated as an operation amount for relating. That is, each side of a simple figure (determined by the number of feature points, for example, a triangle if there are three feature points) formed from each sample contour data by connecting one or more adjacent feature points The distance value from the point (the midpoint of the line connecting the feature point to the feature point or each of a plurality of sample points on the line segment) on the (line connecting the feature point to the feature point) to the contour As a set of one-dimensional vectors. For example, in FIG. 9, from the midpoints of line segments AB and BC (line segments m1 and m2 in FIG. 9) formed by feature points A, B and C, or from each of a plurality of sample points on each line segment m1 and m2. The distance to the contour is obtained and expressed as a one-dimensional vector. In that case, you may normalize by the length of line segment m1, m2 as needed. Then, for example, an average value of distances between line segments corresponding to each other in a plurality of sample data is obtained, that is, an average value of vectors is obtained, or a principal component analysis is performed on a plurality of sample data vectors. By means of statistical processing such as extracting only the principal component vector, a representative vector that defines how to spread each line segment outward is generated. The representative vector generated in this way is stored in the representative vector storage unit 19.
[0058]
A parameter as an adjustment amount selected by the user is input to the parameter input unit 20 in order to adapt the representative vector to the feature of the shape of the object in the image from which the contour is to be extracted. Yes. This parameter may be, for example, an arbitrary constant that defines the degree of expansion when the line segments m1 and m2 connecting the feature points in FIG. 9 are expanded outward.
[0059]
When a parameter is input via the parameter input unit 20, the contour generation unit 21 multiplies the representative vector stored in the representative vector storage unit 19 by the parameter to generate an initial contour.
[0060]
In the contour generation unit 21, for example, as shown in FIG. 10, the midpoint of each of the sides r11, r12, r13 consisting of feature points A, B, C is directed to the direction of the representative vector (that is, outward from each side). Points y1, y2, and y3 that are moved in the direction) by the value obtained by multiplying the size of the representative vector by the above parameter are obtained, and an initial contour is generated by connecting the feature points and arcs passing through these points.
[0061]
As described above, according to the third embodiment, an operation amount (representative vector) relating feature points and contours is calculated in advance based on past contour extraction results, and this operation amount is required. A more accurate initial contour can be generated by generating the initial contour of the object based on one or more feature points of the object in the image from which the contour is to be extracted, while adjusting accordingly. it can.
[0062]
The present invention is not limited to the first to third embodiments.
As a convergence condition in the convergence determination unit 8, a method based on the amount of change in energy is given. However, when the amount of movement of a plurality of discrete points becomes smaller than a certain value, there are cases where the convergence does not occur under such a condition. In consideration of this, it is also possible to make it converge by the number of repetitions, that is, it can be regarded as converged after performing a certain number of convergence operations.
[0063]
Further, although the variational method is used as the energy minimizing method, other methods such as dynamic programming may be used.
In addition, although the gradient method is used as the edge detection method, other edge detection methods may be used. For example, a method using a Sobel operator, a method of binarizing after obtaining a gradient, and the like can be considered.
[0064]
Further, in the first to third embodiments, the case of three points is shown as the feature point, but it may be more or less than that.
In particular, when the image to be processed input from the image input unit 1 is a left ventricular image of the heart obtained from an X-ray, MRI, acoustic diagnosis apparatus, or the like, the feature points are one apex, annulus It is desirable to have two points at both ends.
[0065]
【The invention's effect】
As described above, according to the present invention, when an active contour is extracted from an object in an image, an initial contour closer to the contour can be easily set, and accurate and efficient contour extraction can be performed. .
[Brief description of the drawings]
FIG. 1 is a diagram illustrating a configuration example of an image processing apparatus according to a first embodiment of the present invention.
FIG. 2 is a diagram illustrating a configuration example of a contour extraction unit.
FIG. 3 is a diagram showing an example of input feature points.
FIG. 4 is a diagram showing an example of an initial contour composed of a plurality of discrete points (including feature points).
FIG. 5 is a diagram illustrating a configuration example of a discrete point moving unit.
FIG. 6 is a diagram illustrating a configuration example of a convergence determination unit.
FIG. 7 is a diagram illustrating a configuration example of an image processing apparatus according to a second embodiment of the present invention.
FIG. 8 is a diagram illustrating a configuration example of an initial contour generation unit of an image processing apparatus according to a third embodiment of the present invention.
FIG. 9 is a view for explaining a representative vector generation method;
FIG. 10 is a diagram for explaining an initial contour generation method;
FIG. 11 is a diagram for explaining a conventional contour extraction process, and shows a case where a closed contour is defined outside a target object for contour extraction and set as an initial value.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 ... Image input part 2 ... Image display part 3 ... Feature point input part 4 ... Initial contour generation part 5 ... Contour extraction part 6 ... Output part 7 ... Discrete point moving part 8 ... Convergence determination part 9 ... Image energy calculation part 10 ... External energy calculation unit 11 ... next coordinate calculation unit 12 ... storage unit 13 ... energy calculation unit 14 ... storage unit 15 ... energy comparison unit 16 ... feature point generation unit 17 ... feature point storage unit 18 ... representative vector generation unit 19 ... representative vector Storage unit 20 ... parameter input unit 21 ... contour generation unit 22 ... object 23 for contour extraction ... closed contour

Claims

A first step of inputting a captured image of the object;
A second step of inputting three or more feature points of the object with respect to the input image;
A third step of generating an initial contour of the object based on the input feature points;
Without changing the position of the feature point, the initial value is such that the sum of the feature amount of the contour shape of the object, the feature amount of the image, and the change amount of the initial contour given as necessary is minimized. A fourth step of extracting the contour of the object in the image by deforming the contour ;
Have
The third step includes
From each of a plurality of past sample contours extracted in the fourth step to points on each line segment obtained by connecting adjacent feature points input when extracting the sample contour to the sample contour Obtaining a vector indicating the direction and distance of
Statistically processing the plurality of vectors obtained from each of the plurality of sample contours, and generating a representative vector corresponding to each line segment and defining how to spread the line segment outward;
Storing the representative vector in a storage means;
A point on each line segment obtained by connecting adjacent feature points input in the second step is moved in the direction indicated by the representative vector corresponding to the line segment stored in the storage unit. Moving the indicated distance to obtain each point for generating the initial contour; and
Generating the initial contour by connecting each feature point input in the second step and an arc passing through each obtained point;
An image processing method comprising:

A first step of inputting a plurality of consecutive images of the target imaged;
A second step of inputting three or more feature points of the object for each of the first image and the last image of the plurality of inputted images;
A feature point of the object on each image sandwiched between the first image and the last image is obtained by linear interpolation between corresponding feature points on the first image and the last image. A third step;
A fourth step of generating an initial contour of the object based on the feature points on a first image of one of the plurality of images ;
The sum of the feature amount of the contour shape of the object, the feature amount of the first image, and the change amount of the initial contour given as necessary is minimized without changing the position of the feature point. A fifth step of extracting the contour of the object in the first image by deforming the initial contour ;
A sixth step of setting the extracted contour of the object as an initial contour of a subsequent image ;
Have
The fourth step includes
A direction from a point on each line segment obtained by connecting adjacent feature points input when extracting the sample contour from a plurality of past sample contours extracted in the fifth step to the sample contour And obtaining a vector indicating the distance;
Statistically processing the plurality of vectors obtained from each of the plurality of sample contours, and generating a representative vector corresponding to each line segment and defining how to spread the line segment outward;
Storing the representative vector in a storage means;
A distance indicated by the representative vector in a direction indicated by the representative vector corresponding to the line segment stored in the storage unit, with respect to a point on each line segment obtained by connecting adjacent feature points on the first image And determining each point for generating the initial contour;
Generating the initial contour by connecting each feature point on the first image and an arc passing through each obtained point;
An image processing method comprising:

An image input means for inputting a captured image of the object;
Feature point input means for inputting feature points of three or more points of the object with respect to the input image;
Initial contour generating means for generating an initial contour of the object based on the inputted feature points;
Without changing the position of the feature point, the initial value is such that the sum of the feature amount of the contour shape of the object, the feature amount of the image, and the change amount of the initial contour given as necessary is minimized. Contour extracting means for extracting the contour of the object in the image by deforming the contour ;
With
The initial contour generation means includes
From each of a plurality of past sample contours extracted by the contour extracting means, the points on each line segment obtained by connecting adjacent feature points input when extracting the sample contour to the sample contour. A vector indicating a direction and a distance is obtained, a plurality of the vectors obtained from each of the plurality of sample contours are statistically processed, and a representative vector that defines how to spread the line segment to the outside corresponding to each line segment is determined. Representative vector generating means for generating;
Storage means for storing the representative vector;
A point on each line segment obtained by connecting adjacent feature points input by the feature point input unit is moved in the direction indicated by the representative vector corresponding to the line segment stored in the storage unit. Each point for generating the initial contour is obtained by moving the distance indicated, and the initial contour is obtained by connecting each feature point input by the feature point input means and an arc passing through the obtained point. Means for generating;
The image processing apparatus comprising: a.

Image input means for inputting a plurality of consecutive images of the object,
Feature point input means for inputting three or more feature points of the object for each of the first image and the last image of the plurality of input images;
A feature point of the object on each image sandwiched between the first image and the last image is obtained by linear interpolation between corresponding feature points on the first image and the last image. Feature point generation means;
Initial contour generation means for generating an initial contour of the object based on the feature points on one first image of the plurality of images;
The sum of the feature amount of the contour shape of the object, the feature amount of the first image, and the change amount of the initial contour given as necessary is minimized without changing the position of the feature point. A contour extracting means for extracting the contour of the object in the first image by deforming the initial contour ;
With
The contour extracting means uses the extracted contour as an initial contour of a subsequent image,
The initial contour generation means includes
From each of a plurality of past sample contours extracted by the contour extracting means, the points on each line segment obtained by connecting adjacent feature points input when extracting the sample contour to the sample contour. A vector indicating a direction and a distance is obtained, a plurality of the vectors obtained from each of the plurality of sample contours are statistically processed, and a representative vector that defines how to spread the line segment to the outside corresponding to each line segment is determined. Representative vector generating means for generating;
Storage means for storing the representative vector;
A distance indicated by the representative vector in a direction indicated by the representative vector corresponding to the line segment stored in the storage unit, with respect to a point on each line segment obtained by connecting adjacent feature points on the first image Means for generating the initial contour by connecting each feature point on the first image and an arc passing through the determined points, and obtaining each point for generating the initial contour ,
The image processing apparatus characterized by comprising a.