JP2000048212A - Device and method for picture processing and recording medium - Google Patents
Device and method for picture processing and recording mediumInfo
- Publication number
- JP2000048212A JP2000048212A JP10218123A JP21812398A JP2000048212A JP 2000048212 A JP2000048212 A JP 2000048212A JP 10218123 A JP10218123 A JP 10218123A JP 21812398 A JP21812398 A JP 21812398A JP 2000048212 A JP2000048212 A JP 2000048212A
- Authority
- JP
- Japan
- Prior art keywords
- contour
- point
- setting
- updating
- outline
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Analysis (AREA)
Abstract
Description
【0001】[0001]
【発明の属する技術分野】本発明は画像処理方法及び装
置、記録媒体に関し、特に、画像全体の中から所望の対
象物が存在する特定の領域を切り出して他の画像と合成
するなどの画像編集や、例えばフィルタリングのような
画像処理を適用する範囲として抽出領域あるいは抽出領
域以外の領域に限定するような画像マスク生成などの加
工処理を行う機能を有するソフトおよび装置などに用い
て好適なものである。[0001] 1. Field of the Invention [0002] The present invention relates to an image processing method and apparatus, and a recording medium, and more particularly to image editing such as cutting out a specific area where a desired object is present from an entire image and combining it with another image. Also, it is suitable for use in software or an apparatus having a function of performing a processing process such as generation of an image mask that limits an extraction region or a region other than the extraction region as a range to which image processing such as filtering is applied. is there.
【0002】[0002]
【従来の技術】従来、画像から特定の被写体などの対象
物を切り出す処理としては、ユーザが指定した物体また
は背景上の点の画素値を含む所定範囲の色成分値を有す
る領域を選択しながら、背景の除去または抽出被写体の
領域指定を繰り返す方法があった。2. Description of the Related Art Conventionally, a process of cutting out an object such as a specific subject from an image is performed while selecting a region having a predetermined range of color component values including a pixel value of an object or a point on a background designated by a user. There has been a method of repeating the removal of the background or the designation of the area of the extracted subject.
【0003】また、抽出対象の輪郭線を含む大まかな粗
輪郭線領域または局所領域をユーザが指定し、その指定
領域内を細線化またはクラスタリングなどの処理により
対象の境界輪郭線を求めて切り出す方法もあった。In addition, a method in which a user specifies a rough rough contour region or a local region including a contour to be extracted, and obtains and cuts out a boundary contour of the target by processing such as thinning or clustering in the designated region. There was also.
【0004】[0004]
【発明が解決しようとする課題】しかしながら、上記従
来例のうち、所定範囲の色成分値を有する領域を選択し
ながら抽出対象の領域指定を行う方法は、被写体が局所
的に多くの色成分を有する領域から成る場合、あるい
は、背景と被写体との境界が低コントラストで画素値だ
けでは区別がつきにくい場合などでは、所望とする被写
体を正確に抽出するためには非常に多くの手間(色成分
選択範囲の指定と抽出対象内の点指定など)を要するな
どの問題点があった。However, of the above-mentioned prior arts, the method of designating an area to be extracted while selecting an area having a color component value within a predetermined range involves a method in which a subject locally has many color components. In the case where the image is composed of a region having the image or the boundary between the background and the object is low in contrast and it is difficult to distinguish only by the pixel value, it takes a lot of trouble (color component) to accurately extract the desired object. (For example, selection of a selection range and specification of a point in an extraction target).
【0005】また、抽出対象の輪郭線を含む大まかな粗
輪郭線を指定する方法では、粗輪郭線の幅が小さい場合
には、真の輪郭線をはみ出さないように相当の注意力を
以て粗輪郭線の設定を行わなければならないという問題
点があった。一方、粗輪郭線の幅が大きい場合には、細
線化またはクラスタリング等により対象の輪郭線を求め
ても、対象の境界が低コントラストの場合、あるいは粗
輪郭内の対象の輪郭が複雑な形状を有する場合などは真
の輪郭を抽出することが困難であるという問題点があっ
た。In the method of specifying a rough outline including the outline to be extracted, when the width of the outline is small, the coarse outline is taken with great care so as not to protrude from the true outline. There is a problem that the contour must be set. On the other hand, when the width of the rough outline is large, even if the outline of the target is obtained by thinning or clustering, if the boundary of the target has a low contrast, or if the outline of the target in the rough outline is a complex shape, There is a problem that it is difficult to extract a true outline when the image has the contour.
【0006】本発明は、このような問題を解決するため
に成されたものであり、画像中から特定の対象物を簡便
かつ正確に切り出せるようにすることを目的とする。ま
た、本発明は、このような簡便かつ正確な切り出し処理
を、どんな複雑な形状の対象物でも実現できるようにす
ることも目的としている。The present invention has been made to solve such a problem, and an object of the present invention is to enable a specific object to be easily and accurately cut out from an image. Another object of the present invention is to enable such simple and accurate cutout processing to be performed on an object having any complicated shape.
【0007】[0007]
【課題を解決するための手段】本発明の画像処理方法
は、例えば抽出すべき対象物を内部に含むように、ある
いは抽出すべき対象物内に任意形状の閉じた輪郭線を設
定する初期輪郭設定ステップと、該初期輪郭に基づいて
所定の基準点を設定する基準点設定ステップと、該初期
輪郭上の所定の点と上記基準点とを結ぶ線分を含む所定
形状の帯状領域を複数設定する帯状領域設定ステップ
と、該複数の帯状領域内の画像データに基づいて該複数
の帯状領域をそれぞれ複数の領域に分割する領域分割ス
テップと、該領域分割後の各分割点位置に基づいて輪郭
線を更新する輪郭更新ステップと、該更新後の輪郭線に
基づいて、抽出すべき対象物の輪郭形状を求める輪郭決
定ステップとから成ることを特徴とする。このように構
成した本発明によれば、例えば抽出すべき対象を大まか
に囲むようにして領域指定するだけで、抽出対象の輪郭
を段階的に精度良く求めることができる。すなわち、初
期輪郭を指定した後は輪郭の更新を指示するだけで、ほ
ぼ自動的に対象の輪郭線を求めることができる。An image processing method according to the present invention comprises an initial contour for setting a closed contour of an arbitrary shape so as to include an object to be extracted inside the object to be extracted, or within the object to be extracted. A setting step; a reference point setting step of setting a predetermined reference point based on the initial contour; and a plurality of band-shaped areas of a predetermined shape including a line segment connecting the predetermined point on the initial contour and the reference point. A band-shaped region setting step of dividing the plurality of band-shaped regions into a plurality of regions based on image data in the plurality of band-shaped regions, and a contour based on each division point position after the region division. The method is characterized by comprising a contour updating step of updating a line, and a contour determining step of obtaining a contour shape of an object to be extracted based on the updated contour line. According to the present invention configured as described above, for example, the outline of the extraction target can be obtained in a stepwise and accurate manner only by roughly specifying the region so as to roughly surround the target to be extracted. That is, after designating the initial contour, the target contour can be obtained almost automatically only by instructing the update of the contour.
【0008】本発明の他の態様では、上記基準点を初期
輪郭の重心位置、あるいは初期輪郭内の複数位置に設定
することを特徴とする。これにより、殆どの場合におい
て初期輪郭の収斂目標を抽出すべき対象の内部に自動で
設定することができる。あるいは、ユーザの任意でまた
は自動的に複数の位置に基準点を設定することにより、
細長い形状や入り組んだ形状の抽出対象についてもほぼ
自動的に対象の輪郭を求めることができる。またこの場
合、請求項6に係る発明のように、帯状領域設定ステッ
プで上記複数の基準点のうち初期輪郭上の点に最も近い
基準点を選択して帯状領域を設定するようにしても良
い。このようにすることにより、複雑な形状の精緻な輪
郭データを高い精度で自動的に求めることができる。In another aspect of the present invention, the reference point is set at the position of the center of gravity of the initial contour or at a plurality of positions within the initial contour. Thus, in most cases, the convergence target of the initial contour can be automatically set inside the target to be extracted. Alternatively, by setting reference points at a plurality of positions arbitrarily or automatically by the user,
It is possible to almost automatically determine the contour of an object to be extracted from an elongated or complicated shape. In this case, as in the invention according to claim 6, in the band-shaped area setting step, the reference point closest to the point on the initial contour may be selected from the plurality of reference points to set the band-shaped area. . This makes it possible to automatically obtain precise contour data of a complicated shape with high accuracy.
【0009】本発明のその他の態様では、帯状領域設定
ステップにおいて、初期輪郭上の点を所定間隔でサンプ
リングし、該各サンプリング点と上記基準点とを夫々結
ぶ線分をそれぞれ含む複数の帯状領域を設定することを
特徴とする。また、上記輪郭更新ステップにおいては、
輪郭線上の更新区間を設定し、設定された更新区間内の
初期輪郭上の点を含む帯状領域内の分割点位置に基づい
て、上記輪郭線を更新することを特徴とする。この場合
において、輪郭線の全体を更新するか更新区間を設定し
て更新するかを選択可能としても良い。このように、帯
状領域で定義される局所領域について所定の方向に領域
分割を行った結果を用いて輪郭を更新するので、抽出対
象とそれを取り囲む背景とを含む領域全体の情報を使っ
て背景と抽出対象とを分離するという困難な処理を伴わ
ずに、他の一般的なテクスチャセグメンテーション等に
要する演算量と比べてはるかに少ない演算量で、抽出対
象の輪郭を段階的に確定することができる。In another aspect of the present invention, in the band-shaped area setting step, points on the initial contour are sampled at predetermined intervals, and a plurality of band-shaped areas each including a line segment connecting each of the sampling points and the reference point. Is set. In the contour updating step,
An update section on the contour is set, and the contour is updated based on a division point position in a band-like area including a point on the initial contour in the set update section. In this case, it may be possible to select whether to update the entire contour or to update by setting an update section. As described above, since the contour is updated using the result obtained by dividing the local area defined by the band-shaped area in the predetermined direction, the background is extracted using the information of the entire area including the extraction target and the background surrounding the extraction target. It is possible to determine the contour of the extraction target step by step with much less computation than other general texture segmentation without the difficult process of separating the extraction target from the extraction target. it can.
【0010】本発明のその他の態様では、輪郭決定ステ
ップにおいて、更新後の輪郭線を含む太線領域内の画像
データについて輪郭追跡を行うことにより対象物の輪郭
形状を求めることを特徴とする。この輪郭追跡として
は、例えばエッジ強度の極大点またはその近傍の点であ
って、追跡により得られる境界線の形状連続性が保たれ
る点を追跡すれば良い。この場合、追跡のためのエッジ
探索範囲が太線領域内に限られているため、更新後の輪
郭線をより高い精度で高速に抽出対象に収束させること
ができる。また、このように輪郭更新処理と輪郭追跡処
理とを2段階で行うことにより、抽出対象を大まかに囲
む領域を設定するだけでも、抽出対象の輪郭を高精度に
かつ、ほぼ自動的に求めることができる。In other aspect of the present invention, in the contour determining step, and obtains the outline shape of the object by performing contour tracing for the image data of the thick line area including an outline of the updated. As the contour tracing, for example, a point that is at or near the maximum point of the edge strength and in which the shape continuity of the boundary obtained by the tracing is maintained may be tracked. In this case, since the edge search range for tracking is limited to the thick line area, the updated contour can be converged to the extraction target with higher accuracy and at high speed. In addition, by performing the outline update process and the outline tracking process in two stages, it is possible to obtain the outline of the extraction target with high accuracy and almost automatically even by simply setting an area roughly surrounding the extraction target. Can be.
【0011】本発明のその他の態様では、上記輪郭決定
ステップでは、上記更新後の輪郭線について所定の評価
関数値を求め、該評価関数値が極小となる位置に上記輪
郭線上の各点を移動させる動的輪郭処理に基づき抽出対
象の輪郭を決定することを特徴とする。動的輪郭処理
は、更新後の輪郭線をより高い精度で抽出対象の輪郭に
自動的に収束させるものであり、輪郭更新処理と動的輪
郭処理とを2段階で行うことにより、抽出対象を大まか
に囲む領域を設定するだけでも、抽出対象の輪郭を高精
度にかつ、ほぼ自動的に求めることができる。この点に
ついては輪郭更新処理と輪郭追跡処理とを2段階で行う
場合と同様である。In another aspect of the present invention, in the contour determination step, a predetermined evaluation function value is obtained for the updated contour line, and each point on the contour line is moved to a position where the evaluation function value becomes a minimum. The contour to be extracted is determined based on the active contour processing to be performed. The dynamic contour processing is to automatically converge the updated contour to the contour to be extracted with higher accuracy. By performing the contour updating processing and the dynamic contour processing in two stages, the extraction contour is determined. By simply setting a roughly surrounding area, the contour to be extracted can be obtained with high accuracy and almost automatically. This is the same as the case where the contour update processing and the contour tracking processing are performed in two stages.
【0012】ここで、上記評価関数に関しては、請求項
12に示すように、更新後の輪郭線上のサンプリング点
に関する画像特徴量と該サンプリング点に対応する外側
近傍領域について求められる画像特徴量との第1の特徴
量偏差、および上記サンプリング点に関する画像特徴量
と該サンプリング点に対応する内側近傍領域について求
められる画像特徴量との第2の特徴量偏差から得られる
第1および第2の特徴量偏差間差異を評価する項を含む
ようにしても良い。また、請求項13に示すように、更
新後の輪郭線上のサンプリング点が上記輪郭線の外側近
傍領域にある第1の確率、および上記サンプリング点が
内側近傍領域にある第2の確率を評価して得られる第1
および第2の確率間差異を評価する項を含むようにして
も良い。このように、動的輪郭処理に作用する外力の向
きを、輪郭線上の点が太線化した輪郭領域の内部領域に
属するか外部領域に属するかを所定の評価関数(または
確率モデル)に基づいて評価して行うので、抽出すべき
対象の輪郭線上により確実に収束させることができる。[0012] Here, as for the evaluation function, as described in claim 12, the image feature quantity relating to the sampling point on the updated contour line and the image feature quantity obtained for the outer neighboring area corresponding to the sampling point are determined. A first feature value deviation, and first and second feature values obtained from a second feature value deviation between the image feature value related to the sampling point and the image feature value obtained for the inner vicinity area corresponding to the sampling point. A term for evaluating the difference between deviations may be included. In addition, a first probability that the sampling point on the updated contour is in an area near the outside of the contour and a second probability that the sampling point is in an area near the inside of the contour are evaluated. The first obtained
And a second term for evaluating the difference between probabilities may be included. As described above, the direction of the external force acting on the active contour processing is determined based on a predetermined evaluation function (or probability model) as to whether a point on the contour belongs to the inner area or the outer area of the thickened contour area. Since evaluation is performed, it is possible to converge more reliably on the contour of the target to be extracted.
【0013】本発明のその他の態様では、輪郭更新ステ
ップにおいて、複数の帯状領域内の各分割点位置のう
ち、上記基準点から最も遠い分割点どうしを所定の方法
で連結して新たな輪郭線を生成することを特徴とする。
これにより、少ない演算量で段階的に抽出対象の輪郭に
収束させることができる。According to another aspect of the present invention, in the contour updating step, among the division point positions in the plurality of strip-shaped areas, the division points furthest from the reference point are connected by a predetermined method to form a new contour line. Is generated.
Thereby, it is possible to gradually converge to the contour to be extracted with a small amount of calculation.
【0014】また、本発明においては、請求項15に示
すように、上記帯状領域内において定められた分割点を
通り、上記輪郭線上の点と上記基準点とを結ぶ線分に概
ね直交する方向を有する分割境界線に接する2つの近傍
領域についての所定の特徴量と、他の帯状領域について
同様に求められる分割境界線に接する2つの近傍領域の
特徴量との一貫性評価値を求め、該評価値が最も高くな
る分割点位置どうしを所定の方法で連結して新たな輪郭
線を生成するようにしても良い。このように、複数の帯
状領域の分割点位置を選択してそれらを結ぶ輪郭線を更
新輪郭線とする際、抽出対象内部の輪郭線に沿った近傍
領域の画像特徴量が連続的であることを条件とし、例え
ば、特徴量一貫性の評価値が高い分割点を分割点位置と
して選択することにより、外側から順に分割点位置を定
めるよりも少ないステップ数で、抽出対象の輪郭線上ま
たはその近傍に輪郭線を収束させることができる。さら
に、本発明においては、請求項16に示すように、上記
輪郭更新ステップで使用する画像特徴量を、画像分割ス
テップの際に求めたものを利用するようにしても良い。
このようにすれば、上記画像特徴量を重複して求める必
要がなくなる。In the present invention, a direction passing through a division point defined in the strip-shaped region and substantially perpendicular to a line connecting the point on the contour line and the reference point is provided. A predetermined feature value of two neighboring regions that are in contact with the dividing boundary line having the following formula, and a feature evaluation value of the two neighboring regions that are in contact with the dividing boundary line that are similarly obtained for the other band-like regions. A new contour may be generated by connecting the division point positions having the highest evaluation value by a predetermined method. As described above, when selecting the division point positions of a plurality of band-shaped regions and setting the outline connecting them as the update outline, the image feature amount of the neighboring region along the outline inside the extraction target is continuous. For example, by selecting a division point having a high evaluation value of the feature amount consistency as the division point position, the number of steps is smaller than that of the division point position in order from the outside, and the number of steps is smaller than that on the extraction target contour line or in the vicinity thereof. Can be converged. Further, in the present invention, the image feature value used in the image dividing step may be used as the image feature amount used in the outline updating step.
By doing so, it is not necessary to obtain the image feature amount redundantly.
【0015】本発明のその他の態様では、上記輪郭更新
ステップは、帯状領域内において定められた分割点を通
り、輪郭線上の点と基準点とを結ぶ線分に概ね直交する
方向を有する分割境界線と、該帯状領域に隣接する帯状
領域について既に設定された上記分割点を通る分割境界
線との連続性を評価し、該連続性が所定基準値より高く
なるように上記分割点の位置を決定するようにしても良
い。このように、更新後の輪郭線形状の連続性を拘束条
件として輪郭を更新させることにより、外側から順に分
割点位置を定めるよりも少ないステップ数で、抽出対象
の輪郭線上またはその近傍に輪郭線を収束させることが
できる。In another aspect of the present invention, the contour updating step includes a dividing boundary having a direction passing through a dividing point defined in the strip-like area and substantially orthogonal to a line segment connecting a point on the contour and the reference point. Evaluate the continuity of the line and the dividing boundary line passing through the dividing point already set for the band-like region adjacent to the band-like region, and position the dividing point so that the continuity becomes higher than a predetermined reference value. It may be determined. As described above, by updating the contour using the continuity of the updated contour shape as a constraint condition, the contour line can be placed on or near the contour line to be extracted in a smaller number of steps than in the case where the division point positions are sequentially determined from the outside. Can be converged.
【0016】本発明のその他の態様では、上記輪郭更新
ステップは、設定された更新区間内の輪郭線上のサンプ
リング点およびその近傍領域の画像特徴量と類似の画像
特徴量を有する画素であって、該輪郭線上のサンプリン
グ点を含み、該画像特徴量の類似度が高い領域として連
結領域を形成する画素を背景画素として選択する選択ス
テップと、この選択ステップ後に得られる背景画素と抽
出すべき対象物との境界線を、上記更新区間における更
新後の輪郭線とする処理を行う更新区間内輪郭線の更新
ステップとを有することを特徴とする。このように、輪
郭更新ステップと、例えば所定の色範囲にある画素の属
する領域を選択するようないわゆる選択処理とを2段階
的に組み合わせることにより、抽出対象の比較的緩やか
な形状については輪郭更新ステップとそれに続く輪郭線
追跡処理または動的輪郭処理により対象の輪郭への収束
を図り、抽出対象の複雑な形状部分の輪郭形状について
は、選択処理を適用して確実に輪郭線を抽出することが
可能である。また、このように一旦(あるいは複数回に
わたって)、本発明の輪郭更新処理を適用した後、いわ
ゆる選択処理により背景領域を部分的に選択して削除す
る結果として、全体としての処理効率および抽出精度
を、それぞれを単独で行うよりも向上させることができ
る。In another aspect of the present invention, the contour updating step includes a pixel having an image characteristic amount similar to an image characteristic amount of a sampling point on a contour line in a set update section and a neighboring area thereof. A selection step of selecting, as a background pixel, a pixel that includes a sampling point on the contour line and forms a connected area as an area having a high degree of similarity of the image feature amount; a background pixel obtained after the selection step and an object to be extracted And a step of updating a contour line in an update section for performing a process of setting a boundary line with the contour line as an updated contour line in the update section. In this way, by combining the contour updating step and the so-called selection processing for selecting a region to which a pixel in a predetermined color range belongs, for example, the contour updating is performed for a relatively gentle shape to be extracted. Convergence to the target contour by step and subsequent contour tracking processing or active contour processing, and for the contour shape of the complex shape part to be extracted, apply the selection processing to reliably extract the contour line Is possible. Also, once the contour update processing of the present invention is applied (or a plurality of times), the background area is partially selected and deleted by a so-called selection processing, resulting in overall processing efficiency and extraction accuracy. Can be improved compared to performing each alone.
【0017】本発明のその他の態様では、上記領域分割
ステップでは、上記輪郭更新ステップの適用回数が増す
ほど該領域分割の解像度を上げ、また上記帯状領域設定
ステップでは、上記輪郭更新ステップの適用回数が増す
ほど上記輪郭線上のサンプリング間隔を小さくすること
を特徴とする。これにより、はじめのうちは輪郭線を粗
く更新し、対象の輪郭に近づくほど高い精度と分解能を
以て輪郭線の更新を行うこととなり、処理効率を上げる
ことができる。In another aspect of the present invention, in the area dividing step, the resolution of the area division is increased as the number of applications of the contour updating step increases, and in the band-shaped area setting step, the number of applications of the contour updating step is increased. The sampling interval on the contour line is made smaller as the number increases. As a result, the outline is initially updated coarsely, and the outline is updated with higher precision and resolution as the object approaches the target outline, thereby improving processing efficiency.
【0018】本発明のその他の態様では、抽出すべき対
象物を含む画像を入力する画像入力ステップと、任意形
状の閉じた輪郭線を設定する輪郭設定ステップと、輪郭
線の形状を所定の方法で更新する輪郭更新ステップと、
更新された輪郭線を入力画像に重畳して表示する更新結
果表示ステップと、輪郭線の更新の停止または開始を指
示する指示入力ステップと、更新後の輪郭線形状を出力
する輪郭出力ステップとからなることを特徴とする。こ
こで、上記輪郭更新ステップは、例えば、更新すべき輪
郭線上の区間を指定する更新区間設定ステップまたは更
新しない輪郭線上の区間を指定する非更新区間設定ステ
ップと、上記更新区間の輪郭形状を所定の方法で更新す
る部分的輪郭更新ステップとから成ることを特徴とす
る。これにより、抽出すべき対象物を囲むように(ある
いは対象物の領域内部に存在するように)輪郭線を設定
した後は、ユーザは順次更新され変形されていく輪郭線
を見て、適切な段階でその輪郭線の更新の停止、開始
(または再開)の指示を与えるといった簡単な指示をす
るだけでよいので、抽出対象の切り出しに要する手間が
大幅に省ける。また、抽出対象の真の輪郭線上に先に収
束した区間を除いた未確定区間の輪郭線のみを指定して
更新させることにより、段階的な処理の積み重ねにより
抽出対象の輪郭線形状を完成させることができるという
点で、着実かつ正確な切り出しが実現される。In another aspect of the present invention, an image input step of inputting an image including an object to be extracted, a contour setting step of setting a closed contour of an arbitrary shape, and a method of determining the shape of the contour by a predetermined method A contour update step to update with
An update result display step of superimposing and displaying the updated outline on the input image, an instruction input step of instructing to stop or start updating the outline, and a contour output step of outputting the updated outline shape. It is characterized by becoming. Here, the contour updating step includes, for example, an updating section setting step for specifying a section on the contour line to be updated or a non-updating section setting step for specifying a section on the contour line not to be updated. And a partial contour updating step of updating by the method of (1). Thus, after setting the contour so as to surround the object to be extracted (or so as to be present inside the area of the object), the user sees the contour that is sequentially updated and deformed, and determines an appropriate one. At this stage, it is only necessary to give a simple instruction such as giving an instruction to stop or start (or restart) the updating of the contour line, so that the labor required for cutting out the extraction target can be greatly reduced. In addition, by specifying and updating only the contour of the undetermined section excluding the section that has converged first on the true contour of the extraction target, the contour of the extraction target is completed by stepwise stacking. In this regard, steady and accurate clipping is achieved.
【0019】また、本発明の画像処理装置は、任意形状
の閉じた輪郭線を設定する初期輪郭設定手段と、上記初
期輪郭に基づいて所定の基準点を設定する基準点設定手
段と、上記初期輪郭上の所定の点と上記基準点とを結ぶ
線分を含む所定形状の帯状領域を複数設定する帯状領域
設定手段と、上記複数の帯状領域内の画像データに基づ
いて上記複数の帯状領域をそれぞれ複数の領域に分割す
る領域分割手段と、上記領域分割後の各分割点位置に基
づいて輪郭線を更新する輪郭更新手段と、上記更新後の
輪郭線に基づいて、抽出すべき対象物の輪郭形状を求め
る輪郭決定手段とからなることを特徴とする。The image processing apparatus according to the present invention further comprises: an initial contour setting means for setting a closed contour having an arbitrary shape; a reference point setting means for setting a predetermined reference point based on the initial contour; Band-shaped region setting means for setting a plurality of band-shaped regions of a predetermined shape including a line segment connecting a predetermined point on the contour and the reference point; and forming the plurality of band-shaped regions based on image data in the plurality of band-shaped regions. An area dividing means for dividing the object into a plurality of areas, an outline updating means for updating the outline based on the positions of the division points after the area division, and an object to be extracted based on the updated outline. And a contour determining means for obtaining a contour shape.
【0020】本発明の他の態様では、抽出すべき対象を
含む画像を入力する画像入力手段と、任意形状の閉じた
輪郭線を設定する輪郭設定手段と、上記輪郭線の形状を
所定の方法で更新する輪郭更新手段と、上記更新された
輪郭線を入力画像に重畳して表示する更新結果表示手段
と、上記輪郭線の更新の停止または開始を指示する指示
入力手段と、上記更新後の輪郭線形状を出力する輪郭出
力手段とからなることを特徴とする。In another aspect of the present invention, image input means for inputting an image including an object to be extracted, contour setting means for setting a closed contour having an arbitrary shape, and a method for determining the shape of the contour by a predetermined method Contour updating means for updating in the above, an update result display means for displaying the updated contour line superimposed on the input image, an instruction input means for instructing stop or start of updating of the contour line, And a contour output means for outputting a contour shape.
【0021】また、本発明のコンピュータ読み取り可能
な記録媒体は、任意形状の閉じた輪郭線を設定する初期
輪郭設定手段、上記初期輪郭に基づいて所定の基準点を
設定する基準点設定手段、上記初期輪郭上の所定の点と
上記基準点とを結ぶ線分を含む所定形状の帯状領域を複
数設定する帯状領域設定手段、上記複数の帯状領域内の
画像データに基づいて上記複数の帯状領域をそれぞれ複
数の領域に分割する領域分割手段、上記領域分割後の各
分割点位置に基づいて輪郭線を更新する輪郭更新手段、
および上記更新後の輪郭線に基づいて、抽出すべき対象
物の輪郭形状を求める輪郭決定手段としてコンピュータ
を機能させるためのプログラムを記録したことを特徴と
する。Further, the computer-readable recording medium of the present invention comprises: an initial contour setting means for setting a closed contour having an arbitrary shape; a reference point setting means for setting a predetermined reference point based on the initial contour; A band-shaped region setting means for setting a plurality of band-shaped regions of a predetermined shape including a line segment connecting a predetermined point on the initial contour and the reference point, the plurality of band-shaped regions based on image data in the plurality of band-shaped regions. Area dividing means for dividing each into a plurality of areas, contour updating means for updating a contour line based on each division point position after the area division,
And a program for causing a computer to function as contour determination means for obtaining a contour shape of an object to be extracted based on the updated contour line.
【0022】[0022]
【発明の実施の形態】(第1の実施形態)図1は、本発
明の第1の実施形態に係る被写体切り出し処理を行うた
めの画像処理装置の要部構成図である。図1において、
1は画像データ入力部、2は画像データ記憶部、3は画
像表示手段、4は指示選択手段(マウスなど)、5は画
像処理演算部である。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS (First Embodiment) FIG. 1 is a block diagram of a main part of an image processing apparatus for performing a subject cutout process according to a first embodiment of the present invention. In FIG.
1 is an image data input unit, 2 is an image data storage unit, 3 is an image display unit, 4 is an instruction selection unit (such as a mouse), and 5 is an image processing operation unit.
【0023】本実施形態においては、切り出し対象の被
写体を含む画像は、まず画像データ入力部1から読み込
まれ、画像データ記憶部2に記憶されるとともに、画像
表示手段3で表示される。上記画像データ入力部1とし
ては、スキャナ、デジタル撮像手段、あるいは画像デー
タベース等に接続した画像データ転送手段等が含まれ
る。そして、指示選択手段4を用いたユーザからの指示
に応じて、画像処理演算部5で特定の被写体を切り出す
処理が行われる。In the present embodiment, an image including a subject to be cut out is first read from the image data input unit 1, stored in the image data storage unit 2, and displayed on the image display unit 3. The image data input unit 1 includes a scanner, a digital image pickup unit, an image data transfer unit connected to an image database or the like. Then, in accordance with an instruction from the user using the instruction selecting unit 4, a process of cutting out a specific subject is performed by the image processing operation unit 5.
【0024】画像処理演算部5は、図2に示すように、
初期輪郭設定手段501、領域分割手段502、輪郭更
新手段503、輪郭決定手段504、一次記憶手段50
5、処理結果出力手段506、基準点設定手段507お
よび帯状領域設定手段508からなる。As shown in FIG. 2, the image processing operation unit 5
Initial contour setting means 501, area dividing means 502, contour updating means 503, contour determining means 504, primary storage means 50
5, a processing result output means 506, a reference point setting means 507, and a band-shaped area setting means 508.
【0025】以下、本実施形態の画像処理装置の構成を
示す図1と図2、処理フローを示す図3、および処理過
程の途中結果を示す図6に基づいて、画像処理演算部5
内の各部の処理内容を中心に説明する。Hereinafter, based on FIGS. 1 and 2 showing the configuration of the image processing apparatus of this embodiment, FIG. 3 showing the processing flow, and FIG.
The following description focuses on the processing contents of each unit in the figure.
【0026】図3において、まず最初にユーザは、図6
(a)に示すように、マウス等の指示選択手段4(以
下、マウスと記す)を用いて、画像表示手段3に表示さ
れた画像中の切り出したい対象(この場合は車)を囲む
ように、任意の形状の閉じた初期輪郭を設定する(ステ
ップS1)。具体的には、画像表示手段3上に表示され
た図示しないカーソルの位置を確認しながら、マウス4
のボタンを押して切り出し対象を囲む曲線の軌跡を描
く。Referring to FIG. 3, first, the user selects FIG.
As shown in (a), an instruction selecting means 4 such as a mouse (hereinafter referred to as a mouse) is used to surround an object to be cut out (a car in this case) in an image displayed on the image display means 3. A closed initial contour of an arbitrary shape is set (step S1). Specifically, while checking the position of a cursor (not shown) displayed on the image display means 3, the mouse 4
Press the button to draw the trajectory of the curve surrounding the cutout target.
【0027】すると、画像処理演算部5の初期輪郭設定
手段501は、その軌跡上の点を所定の間隔でサンプリ
ングして、サンプリング点間を結ぶ滑らかな曲線を生成
して初期輪郭線6とする(ステップS2)。なお、ユー
ザが切り出し対象の外側の任意の点位置においてマウス
4を複数回クリックし、それに応じて初期輪郭設定手段
501がクリックされた点どうしを直線で結ぶことによ
り初期輪郭線6を生成するようにしてもよい。Then, the initial contour setting means 501 of the image processing operation unit 5 samples points on the locus at predetermined intervals, generates a smooth curve connecting the sampling points, and sets the curve as the initial contour line 6. (Step S2). Note that the user may click the mouse 4 multiple times at an arbitrary point position outside the cutout target, and the initial contour setting means 501 may generate the initial contour line 6 by connecting the clicked points with a straight line in response to the click. It may be.
【0028】次に、基準点設定手段507は、初期輪郭
線6の重心位置を基準点7の位置として算出する(ステ
ップS3)。更に帯状領域設定手段508は、初期輪郭
線6上の点を輪郭線上に沿った長さ(行路長)が等しく
なるように所定の間隔でサンプリングし(ステップS
4)、サンプリングしたある点8と基準点7とを結ぶ線
分を中心とする所定幅(例えば10画素程度)の矩形の
帯状領域9を設定する(ステップS5)。Next, the reference point setting means 507 calculates the position of the center of gravity of the initial contour line 6 as the position of the reference point 7 (step S3). Further, the belt-shaped area setting means 508 samples points on the initial contour line 6 at predetermined intervals so that the lengths along the contour line (path length) are equal (step S).
4) A rectangular band-like area 9 having a predetermined width (for example, about 10 pixels) centering on a line connecting the sampled point 8 and the reference point 7 is set (step S5).
【0029】なお、上記ステップS4の処理の際に、重
心位置(基準点7)を中心とする極座標を設定し、角度
成分の間隔が等間隔となるようにサンプリングしてもよ
い。例えば、極座標系において角度幅が30度の間隔と
なるように、当該初期輪郭線6上の点を12点サンプリ
ングするようにしても良い。なお、帯状領域9は各サン
プリング点8と1対1に対応し、サンプリング点数と同
数あるものとする。In the process of step S4, polar coordinates centering on the position of the center of gravity (reference point 7) may be set, and sampling may be performed so that the intervals between the angle components are equal. For example, 12 points on the initial contour line 6 may be sampled so that the angle width becomes an interval of 30 degrees in the polar coordinate system. It is assumed that the strip-shaped area 9 corresponds to each sampling point 8 one by one and has the same number as the number of sampling points.
【0030】次に、領域分割手段502は、帯状領域9
内にある画像データを取得し(ステップS6)、その帯
状領域9の長手方向(基準点7とサンプリング点8とを
結ぶ線分の方向)をその画像データに基づいて分割する
(ステップS7)。図4(a)に、矩形の帯状領域9に
ついて領域分割を行った結果の境界線を示す。Next, the area dividing unit 502
Then, the longitudinal direction (the direction of the line connecting the reference point 7 and the sampling point 8) of the band-like area 9 is divided based on the image data (step S7). FIG. 4A shows a boundary line obtained as a result of region division performed on the rectangular band-like region 9.
【0031】なお、帯状領域9の形状は、矩形のほかに
所定の頂角(例えば10度程度)を有する扇形でも良
い。この場合は、その領域内のある点を通り、主として
周方向の方向成分を有する境界(複数設定可能)を定め
る。図4(b)に、扇形領域の画像データの領域分割例
を示す。矩形と扇形では境界線は直線または円弧状曲線
が代表例となるが、境界線の形状はそれらに特に限定さ
れるものではなく、主方向成分が領域の長手方向と概ね
直交していればよい。その他の点では境界線の形状は画
像データに応じて設定されればよい。The shape of the band-like region 9 may be a sector having a predetermined apex angle (for example, about 10 degrees) in addition to a rectangle. In this case, a boundary (a plurality of boundaries can be set) that passes through a certain point in the region and mainly has a circumferential direction component is determined. FIG. 4B shows an example of area division of image data of a fan-shaped area. In the case of a rectangle and a sector, a boundary line is typically a straight line or an arc-shaped curve, but the shape of the boundary line is not particularly limited thereto, as long as the main direction component is substantially orthogonal to the longitudinal direction of the region. . At other points, the shape of the boundary may be set according to the image data.
【0032】また、帯状領域9は基準点7を必ずしも内
部に含まなくてもよく、サンプリング点8の近傍につい
て設定しても良い。Further, the belt-like region 9 does not necessarily need to include the reference point 7 therein, and may be set in the vicinity of the sampling point 8.
【0033】ここで、本実施形態での領域分割につい
て、図5に示す処理フローを参照して詳しく説明する。
まず、帯状領域9の長手方向を所定の幅のブロックに分
割し(ステップS21)、各ブロックでのエッジ密度お
よび局所色成分(色相など)のヒストグラムを求める
(ステップS22)。Here, the area division in this embodiment will be described in detail with reference to the processing flow shown in FIG.
First, the longitudinal direction of the band-like region 9 is divided into blocks having a predetermined width (step S21), and a histogram of the edge density and the local color component (such as hue) in each block is obtained (step S22).
【0034】そして、上記求めたエッジ密度および局所
色相ヒストグラムに基づいて、各ブロックをテクスチャ
優位領域(エッジ密度が所定の閾値より大の領域)と無
地優位領域(エッジ密度が閾値以下の領域)とに分割
し、ラベル付けを行う(ステップS23)。さらに、同
一ラベル(テクスチャ優位または無地優位)の領域が隣
り合う場合には、それらをひとまとまりに統合する併合
処理を行う(ステップS24)。Based on the obtained edge density and local hue histogram, each block is divided into a texture dominant region (a region where the edge density is larger than a predetermined threshold) and a plain dominant region (a region where the edge density is less than the threshold). And labeling is performed (step S23). Further, when regions having the same label (texture superiority or solid color superiority) are adjacent to each other, a merging process is performed to integrate them together (step S24).
【0035】次に、各領域のラベルが無地優位領域か否
かに基づき(ステップS25)、無地優位領域について
は、局所色成分の変化量が大となる境界位置、あるいは
エッジの存在位置を境界位置として更に分割を行う(ス
テップS26)。また、テクスチャ優位領域について
も、例えば以下に述べる既存の手法を用いて更に分割を
行う(ステップS27)。最後に、その結果として得ら
れる帯状領域9内の境界線を出力する(ステップS2
8)。Next, based on whether or not the label of each area is a solid dominant area (step S25), the solid dominant area is set to a boundary position where the amount of change in the local color component is large or an edge existing position. Further division is performed as a position (step S26). Further, the texture dominant region is further divided using, for example, an existing method described below (step S27). Finally, the resulting boundary line in the belt-shaped region 9 is output (step S2).
8).
【0036】なお、上記既存のテクスチャ分割手法とし
ては、例えば共起行列の計算と分割併合アルゴリズムと
に基づく方法(Segmentation by Texture Using a Co-Oc
urrence Matrix and a Split-and-Merge Algorithm, P.
C.Chen and T.Pavlidis, Computer Graphics and Image
Processing, vol.10,pp172-182,1979)がある。また、
帯状領域9を所定の境界で分割した場合の分離度を定義
して(特開平7−93561号)、その分離度が閾値以
上となる境界(複数設定可能)を求めることにより行っ
てもよい。また、上記を例とするようなテクスチャ分割
アルゴリズム単独で、一貫して帯状領域9の分割を行っ
てもよい。As the above-mentioned existing texture division method, for example, a method based on the calculation of a co-occurrence matrix and a division / merging algorithm (Segmentation by Texture Using a Co-Oc
urrence Matrix and a Split-and-Merge Algorithm, P.
C. Chen and T. Pavlidis, Computer Graphics and Image
Processing, vol. 10, pp. 172-182, 1979). Also,
This may be performed by defining the degree of separation when the band-shaped region 9 is divided by a predetermined boundary (Japanese Patent Laid-Open No. 7-93561), and determining a boundary (a plurality of boundaries can be set) where the degree of separation is equal to or larger than a threshold. Further, the strip-like area 9 may be consistently divided by the texture division algorithm alone as in the above example.
【0037】次に、輪郭更新手段503は、それぞれの
帯状領域9の分割境界のうち、最も外側の境界位置を選
択し、選択した境界点位置を直線で結ぶことにより輪郭
線の更新を行う(ステップS8)。なお、Bスプライン
関数などを用いて、各境界線の代表点を滑らかに結ぶ補
間曲線を生成することにより更新された輪郭線としても
よい。Next, the outline updating means 503 updates the outline by selecting the outermost boundary position among the division boundaries of each band-shaped area 9 and connecting the selected boundary point positions with a straight line ( Step S8). The contour may be updated by using a B-spline function or the like to generate an interpolation curve that smoothly connects the representative points of each boundary line.
【0038】更新された輪郭線は、所定幅に太線化され
て画像表示手段3において入力画像に重ねて表示される
(ステップS9)。ユーザは、切り出すべき被写体の真
の輪郭線が更新された太線化輪郭線に全て含まれたかど
うかを見ることによって輪郭線を更に更新するかどうか
を判断し(ステップS10)、更新された輪郭線の全て
が真の輪郭線上にない場合には、輪郭線の全体を更に更
新すると判断して(ステップS11)、リターンキーを
押すなどにより全体更新の指示を送る(ステップS1
2)。The updated outline is thickened to a predetermined width and displayed on the image display means 3 so as to overlap the input image (step S9). The user determines whether or not to update the outline further by checking whether or not the true outline of the subject to be cut out is included in the updated thickened outline (step S10). Are not on the true contour line, it is determined that the entire contour line is further updated (step S11), and an instruction to update the whole is sent by pressing a return key or the like (step S1).
2).
【0039】なお、輪郭線の全体更新を自動的に行い、
画像表示手段3上で途中経過を確認した上で、ある時点
で一部更新モード(後で説明)に移行するか、または輪
郭更新を停止するときにのみ、ユーザが輪郭更新処理モ
ードの停止または処理モードの移行などの指示を送るよ
うにしても良い。Note that the entire contour line is automatically updated, and
After confirming the progress on the image display means 3, only when the user shifts to the partial update mode (to be described later) at a certain point in time or stops the outline update, the user stops the outline update processing mode or An instruction to shift the processing mode may be sent.
【0040】上記ステップS9で更新された太線化輪郭
線の一部が真の輪郭線上にあり、他の一部が真の輪郭線
上にない場合は、一部更新モードに移り、更新すべき輪
郭部分の始点と終点とを指示する(ステップS13)。
例えば、アイコンメニューから始点または終点を選んで
画像中の該当個所をクリックするような要領で行うと、
それぞれの座標が登録され、表示される。ここでは、更
新しない部分的輪郭線の始点と終点とを指示する形式で
も良い。この場合は、指定されなかった輪郭部分が後の
処理で更新される。If a part of the thickened outline updated in step S9 is on the true outline and the other part is not on the true outline, the process moves to the partial update mode and the outline to be updated is updated. A start point and an end point of the part are specified (step S13).
For example, if you select the start point or end point from the icon menu and click the corresponding point in the image,
Each coordinate is registered and displayed. Here, a format in which the start point and the end point of the partial outline that is not updated may be specified. In this case, the non-designated outline portion is updated in a later process.
【0041】図6(b)および(c)に、更新区間始点
10と更新区間終点11の位置が設定された結果の例を
示す。ただし、更新区間始点10から更新区間終点11
に向かう方向は、反時計回りのように定められている
か、ユーザの指示(マウスでドローした向きに近い方を
選ぶなど)により向きが決められるものとする。FIGS. 6B and 6C show examples of the result of setting the positions of the update section start point 10 and the update section end point 11. However, the update section start point 10 to the update section end point 11
Is determined to be counterclockwise, or the direction is determined by a user's instruction (such as selecting a direction closer to the direction drawn with a mouse).
【0042】なお、上記ステップS13における輪郭線
更新区間の設定は、背景領域が殆ど無地である場合には
自動的に行うことができる。この場合は、更新後の輪郭
線上の点であって、エッジ上にない(エッジ強度が非常
に低い)点を更新区間の始点および終点として登録すれ
ばよい。また、背景領域が殆ど無地であるか否かは、初
期輪郭線6の設定時に初期輪郭線6を太線化して得られ
る局所領域上でのエッジ密度(エッジ強度データを2値
化して得られるエッジの存在密度)の大小から判定する
ことができる。The setting of the contour update section in step S13 can be automatically performed when the background area is almost solid. In this case, points on the updated contour line that are not on the edge (the edge strength is very low) may be registered as the start point and end point of the update section. Whether or not the background region is almost plain is determined by determining the edge density (the edge obtained by binarizing the edge intensity data) on the local region obtained by thickening the initial outline 6 when the initial outline 6 is set. Can be determined from the magnitude of the existence density of
【0043】次に、図6(d)に示すように、更新され
た太線化輪郭線内に真の輪郭線が全て含まれるようにな
ったら、ユーザの指示により輪郭決定処理モードに移行
する。ここで輪郭決定手段504は、その太線化輪郭線
内の画像データを用いて切り出し対象の輪郭を抽出する
処理を行う(ステップS14)。具体的には、輪郭の連
続性を満たしながらエッジ強度が極大となるような点の
追跡を行う(特開平7−225847号など)などの処
理を行えばよい。Next, as shown in FIG. 6D, when all the true outlines are included in the updated thickened outline, the mode is shifted to the outline determination processing mode in accordance with a user's instruction. Here, the contour determining means 504 performs a process of extracting a contour to be cut out using the image data in the thickened contour line (step S14). Specifically, a process such as tracking a point at which the edge intensity is maximized while satisfying the continuity of the contour (for example, JP-A-7-225847) may be performed.
【0044】なお、太線化輸郭線の中心線が真の輪郭線
と一致していれば本処理(ステップS14)は不要であ
り、ユーザの指示により切り出し(領域分割抽出)処理
を終了すれば良いことは言うまでもない。他の方法とし
て、太線化輪郭線内部に局所探索領域を設定して、クラ
スタリングなどの方法により太線の幅方向について最も
分離度の高い境界点を選択する処理(特開平6−251
149など)を、その局所探索領域を太線の中心線に沿
って自動的に移動させながら行うことにより対象の輪郭
を抽出しても良い。また、更新された太線化輪郭線上の
サンプリング点が真の輪郭線上にある場合などにおい
て、それらのサンプリング点を順次通るような輪郭追跡
(エッジ追跡またはエッジ連結処理)を行っても良い。Note that this processing (step S14) is unnecessary if the center line of the thickened contour line coincides with the true contour, and if the cutout (region division extraction) processing is terminated by the user's instruction, Needless to say, it's good. As another method, a local search area is set inside a thickened outline, and a boundary point having the highest degree of separation in the width direction of the thick line is selected by a method such as clustering (Japanese Patent Laid-Open No. 6-251).
149) while the local search area is automatically moved along the center line of the bold line to extract the contour of the target. Further, when the sampling points on the updated thickened outline are on the true outline, contour tracking (edge tracking or edge connection processing) may be performed so as to sequentially pass those sampling points.
【0045】なお、更新後の太線化輪郭線の一部が真の
輪郭線上にある段階において、該当区間内で上記したス
テップS14の輪郭決定処理を行っても良い。また、上
記説明では、初めに設定した初期輪郭線6が順次収縮し
て切り出し対象の輪郭線上に収束するように処理するも
のであったが、同様の要領で、逆に初期輪郭線が膨張す
ることにより切り出し対象上の輪郭線上に収束するよう
に処理手順を設定しても良い。At the stage where a part of the updated thickened outline is on the true outline, the outline determination processing in step S14 described above may be performed in the corresponding section. In the above description, processing is performed such that the initially set initial contour line 6 is sequentially contracted and converged on the contour line to be cut out, but the initial contour line expands in the same manner. Accordingly, the processing procedure may be set so as to converge on the contour line on the cutout target.
【0046】すなわち、切り出し対象の内部に任意形状
の閉曲線を初期輪郭線として設定した後、その初期輪郭
線上のサンプリング点と閉曲線内部の基準点とを含む所
定の帯状領域を設定する。ただし、基準点からみて帯状
領域の先端位置はサンプリング点より常に遠方にあるも
のとする。次に、当該設定した帯状領域の領域分割を上
述の説明と同様に行い、基準点から見て最も内側にあ
り、かつサンプリング点より外側にある分割点位置を更
新輪郭線のサンプリング点位置として選択し、その更新
点間を連結して更新輪郭線を生成することを順次繰り返
せばよい。その他の処理は上述した実施形態と同様であ
る。That is, after a closed curve having an arbitrary shape is set as an initial contour inside the cutout target, a predetermined band-like area including a sampling point on the initial contour and a reference point inside the closed curve is set. However, it is assumed that the tip position of the band-shaped area is always far from the sampling point when viewed from the reference point. Next, the region division of the set band-shaped region is performed in the same manner as described above, and a division point position that is the innermost side from the reference point and that is outside the sampling point is selected as a sampling point position of the updated contour line. Then, the process of connecting the update points and generating an updated contour line may be sequentially repeated. Other processes are the same as in the above-described embodiment.
【0047】以上のように、本実施形態によれば、ユー
ザが最初に切り出し対象を囲む曲線を設定すれば、その
後は輪郭線を更新するか否か、あるいはどこを更新する
かの設定をするだけの半自動処理により、背景の画像パ
ターンの複雑さ、切り出し対象物の形状の複雑さによら
ず、少ない手数で確実かつ正確に対象の輪郭を抽出して
画像の切り出しを行うことができる。また、画像全体の
領域分割を行う既存の手法と比べ、より限定された局所
領域での領域分割の結果を用いるという点で、処理時間
を大幅に短縮することもできる。As described above, according to the present embodiment, if the user first sets the curve surrounding the target to be cut out, then the user sets whether or not to update the contour or where to update. With only the semi-automatic processing, it is possible to reliably and accurately extract a target contour with a small number of steps and cut out an image regardless of the complexity of the background image pattern and the complexity of the shape of the cut target object. Further, the processing time can be greatly reduced in that the result of region division in a more limited local region is used as compared with the existing method of dividing the entire image.
【0048】(第2の実施形態)第2の実施形態では、
ある帯状領域で輪郭線上のサンプリング点の更新位置を
決める際に、他の帯状領域の領域分割により得られる所
定の特徴量の分布に基づいて、それらの一貫性(後述す
る)を評価し、その評価値が最も高い分割位置を選ぶ。
以下、図7に示す処理フローを参照して、輪郭更新手段
503での処理について説明する。その他の処理は上述
した第1の実施形態と同様である。(Second Embodiment) In the second embodiment,
When determining the update position of the sampling point on the contour line in a certain band-like region, based on the distribution of predetermined feature amounts obtained by region division of other band-like regions, the consistency (to be described later) is evaluated. Select the division position with the highest evaluation value.
Hereinafter, the processing in the contour updating means 503 will be described with reference to the processing flow shown in FIG. Other processes are the same as those in the first embodiment.
【0049】図7において、まず、各帯状領域9におい
て各分割点位置の内側と外側の近傍領域での特徴量を夫
々求める(ステップS31)。特徴量としては、例え
ば、該当する近傍領域内でのエッジ密度および局所色相
ヒストグラムの最大頻度を与える色相値などを用いれば
よい。ただし、これら特徴量が領域分割処理で用いた特
徴量と同じである場合には改めて計算する必要はなく、
その結果を用いるようにしておけば良い。Referring to FIG. 7, first, feature amounts in the vicinity area inside and outside each division point position in each band-like area 9 are obtained (step S31). For example, a hue value that gives the maximum frequency of an edge density and a local hue histogram in a corresponding neighboring area may be used as the feature amount. However, if these features are the same as those used in the region division processing, there is no need to calculate again,
The result may be used.
【0050】次に、各帯状領域9内での各分割点位置で
の特徴量の一貫性の評価値を算出する(ステップS3
2)。以下、一般化して、k番目の帯状領域において最
も外側からj番目の分割点位置における外側近傍領域で
のm番目の特徴量を FOUT (k,j,m) 、内側近傍領域での
m番目の特徴量を FIN(k,j,m)とし、特徴量のパラメー
タ数をQ、k番目の帯状領域における分割数をJk とす
ると、その帯状領域でのj番目の分割点位置の特徴量一
貫性C(k,j)は、次の式(1) のように表される。Next, an evaluation value of the consistency of the feature amount at each division point position in each band-like area 9 is calculated (step S3).
2). Hereinafter, the m-th feature amount in the outer neighboring region at the j-th division point position from the outermost in the k-th band region is F OUT (k, j, m), and the m-th feature amount in the inner neighboring region is Let F IN (k, j, m) be the feature amount of the parameter, Q be the number of parameters of the feature amount, and J k be the number of divisions in the k-th band-like region. The quantity consistency C (k, j) is represented by the following equation (1).
【0051】[0051]
【数1】 (Equation 1)
【0052】ただし、上記式(1) において、εは微小定
数で0.01等の値が与えられ、またkは2≦k≦K−1
(Kは帯状領域の総数)とする。kの値が1のとき、上
記式(1) の第1項の分母は| Fr (K,p,q)− Fr (k,j,
m) |+εとし、kの値がKのとき、上記式(1) の第2
項の分母は| Fr (1,p,q)− Fr (k,j,m) |+εで与え
られるものとする。However, in the above equation (1), ε is a minute constant and a value such as 0.01 is given, and k is 2 ≦ k ≦ K−1
(K is the total number of band-shaped areas). When the value of k is 1, the denominator of the first term of the above equation (1) is | F r (K, p, q) −F r (k, j,
m) | + ε, and when the value of k is K, the second
The denominator of the term is given by | F r (1, p, q) −F r (k, j, m) | + ε.
【0053】このように定義される特徴量一貫性C(k,j)
は、あるk番目の帯状領域のj番目の分割点位置での内
外特徴量と、隣接する2つの他の帯状領域の分割点位置
の内外特徴量との差が小さいほど、値が大きくなる。な
お、この特徴量一貫性C(k,J)の定義としては、この他
に、次の式(2) あるいは(3) などとしても良い。The feature consistency C (k, j) defined in this way
The value increases as the difference between the inside / outside feature amount at the j-th division point position of a certain k-th band-like region and the inside / outside feature amount at the division point position of two other adjacent band-like regions decreases. In addition, as the definition of the feature quantity consistency C (k, J), the following equation (2) or (3) may be used.
【0054】[0054]
【数2】 (Equation 2)
【0055】上記式(2)は、分割点位置を順に確定して
いく場合などにおいて、特徴量一貫性C(k,j)の評価に際
しては、直前の隣接帯状領域に関する特徴量データのみ
を使うことを示す。また、式(3)において、iの範囲を
示すNk はある帯状領域について考慮する近傍の帯状領
域のインデックス値の集合を示し、Nk 内の要素はk以
外の値をとる。なお、Nk ={k−1,k+1}のとき
式(1)と同じであり、式(2)は同様に式(3)においてN
k ={k−1}となる特別なケースである。In the above equation (2), when the division point position is determined in order, for example, when evaluating the characteristic amount consistency C (k, j), only the characteristic amount data regarding the immediately preceding adjacent band-shaped region is used. Indicates that In Equation (3), N k indicating the range of i indicates a set of index values of neighboring band-like regions to be considered for a certain band-like region, and elements in N k take values other than k. Note that when N k = {k-1, k + 1}, equation (1) is the same as equation (2), and equation (2) is similar to equation (3).
This is a special case where k = {k-1}.
【0056】次に、上述のようにして求めた特徴量一貫
性C(k,j)の評価値に基づいて、各帯状領域9における最
適分割点位置をその帯状領域9での更新点位置として決
定する(ステップS33)。具体的には、k番目の帯状
領域9での最適分割位置jou t,k は、特徴量一貫性C(k,
j)の評価値が最大となるようなj、すなわち、次の式
(4) のようなjを選ぶ。Next, based on the evaluation value of the feature quantity consistency C (k, j) obtained as described above, the optimum division point position in each band-like region 9 is set as the update point position in the band-like region 9. It is determined (step S33). Specifically, the optimum division position in the k-th band-like region 9 j ou t, k, the feature quantity consistency C (k,
j that maximizes the evaluation value of j), that is, the following expression
Choose j as in (4).
【0057】[0057]
【数3】 (Equation 3)
【0058】最後に、このようにして求められた分割点
位置どうしを結ぶことにより、更新後の輪郭線の中心線
を求め(ステップS34)、その中心線を太線化するこ
とにより(ステップS35)、更新輸郭線を求める。Finally, by connecting the thus obtained dividing point positions, a center line of the updated contour is obtained (step S34), and the center line is made thick (step S35). Ask for an updated outline.
【0059】第2の実施形態のように分割点位置を選ん
で輪郭更新を行うことにより、最も外側の分割点位置を
順次選択する上記第1の実施形態と比べて、より高速か
つ確実に目的とする抽出領域の輪郭に収束させることが
できる。特に、更新後の太線化輪郭線の一部が真の輪郭
線の上にある場合に、式(3)において、次のステップで
更新すべき輪郭線の区間について、Nk が確定した分割
点位置を有する帯状領域のインデックスと最近傍のイン
デックスとの集合となるように輪郭線の更新の都度Nk
の値も更新すれば、処理の高速性と確実性の点でより効
果的である。By selecting the division point positions and updating the contour as in the second embodiment, the object can be obtained more quickly and reliably than in the first embodiment in which the outermost division point positions are sequentially selected. Can be converged to the contour of the extraction region. In particular, when a part of the thickened outline after the update is located on the true outline, in the equation (3), for the section of the outline to be updated in the next step, the division point where N k is determined Each time a contour line is updated so that it is a set of the index of the band-shaped region having the position and the nearest index, N k
Updating the value is also more effective in terms of processing speed and reliability.
【0060】なお、上式において特徴量一貫性C(k,j)の
評価値は、分割点位置の境界線の内側と外側との画像特
徴量を共に考慮しているが、いずれか一方(例えば内側
のみ)の連続性だけを考慮するように定義してもよい。In the above equation, the evaluation value of the feature amount consistency C (k, j) takes into account both the image feature amounts inside and outside the boundary line of the division point position. For example, the definition may be made so as to consider only the continuity of only the inside.
【0061】また、特徴量として帯状領域9の境界線上
の分割点位置(図8に示す各点Si)を含めることにす
ると、特徴量一貫性C(k,j)の評価値は、画像特徴量の連
続性と合わせて更新輪郭線の形状の連続性をも評価する
ように定式化することができる。すなわち、この場合は
式(3)に代えて以下の式(5) を用いる。When the position of the dividing point (each point S i shown in FIG. 8) on the boundary line of the band-like region 9 is included as the feature amount, the evaluation value of the feature amount coherence C (k, j) becomes It can be formulated so as to evaluate the continuity of the shape of the updated contour line together with the continuity of the feature amount. That is, in this case, the following equation (5) is used instead of the equation (3).
【0062】[0062]
【数4】 (Equation 4)
【0063】この場合、特徴量F(i,p,q)は境界線の内
側、外側の区別をなくし、インデックスqによって様々
な特徴量の種別を表すものとする。また近傍Nk として
は、式(1)または式(2)に相当する要素を用いればよ
い。なお、分割点位置選択のための帯状領域間の特徴量
一貫性の評価に係る尺度としては、以上の定義式に限定
されるものでないことは言うまでもない。In this case, the feature value F (i, p, q) does not distinguish between the inside and outside of the boundary, and the index q indicates various types of feature values. As the neighborhood N k , an element corresponding to Expression (1) or Expression (2) may be used. It is needless to say that the scale for evaluating the consistency of the feature amount between the strip-shaped regions for selecting the division point position is not limited to the above-described definition formula.
【0064】(第3の実施形態)第3の実施形態では、
領域分割処理での解像度を最初は粗く設定し、輪郭線の
更新回数の増加とともに解像度も増すようにする。ま
た、更新ごとに輪郭線上のサンプリング点数を増やし、
サンプリング間隔を小さくしていく。本実施形態の基準
点設定から輪郭更新までの処理を、図9に示す処理フロ
ーを参照して以下に説明する。(Third Embodiment) In the third embodiment,
The resolution in the region division processing is initially set to be coarse, and the resolution is increased as the number of updates of the contour line is increased. Also, increase the number of sampling points on the contour line every time
Reduce the sampling interval. The processing from the setting of the reference point to the update of the contour according to the present embodiment will be described below with reference to the processing flow shown in FIG.
【0065】図9において、まず、基準点設定手段50
7は、初期輸郭線6の重心位置を基準点7の位置として
算出し(ステップS41)、帯状領域設定手段508
は、輪郭線更新回数に応じて、その輪郭線上の点を輪郭
線上に沿った長さ(行路長)が等しくなるように所定の
間隔でサンプリングする(ステップS42)。In FIG. 9, first, the reference point setting means 50
7 calculates the position of the center of gravity of the initial contour line 6 as the position of the reference point 7 (step S41), and sets the band-shaped area setting means 508.
Samples the points on the contour at predetermined intervals according to the number of updates of the contour so that the lengths along the contour (path length) are equal (step S42).
【0066】具体的には、最初の分割点数をNとする
と、更新回数がMのときの分割点数はWN(M−1)等
のように設定する(Wは典型的には定数で“2”などの
値が用いられる)。また、輪郭線の周囲長をSとする
と、サンプリング間隔はS/(WN(M−1))とな
る。なお、重心位置を基準とする極座標系を設定し、角
度間隔が一定となるようにサンプリングする場合には、
その間隔は360/(WN(M−1))度である。Specifically, assuming that the initial number of division points is N, the number of division points when the number of updates is M is set to WN (M-1) or the like (W is typically a constant of "2 Is used.) Further, assuming that the perimeter of the contour is S, the sampling interval is S / (WN (M-1)). When a polar coordinate system based on the position of the center of gravity is set and sampling is performed so that the angular interval is constant,
The interval is 360 / (WN (M-1)) degrees.
【0067】次に、帯状領域設定手段508は、輪郭線
の更新回数に応じて(更新回数が多いほど解像度が上が
るように)所定の解像度の画像データを入力する(ステ
ップS43)。例えば、あらかじめ間引き補間処理など
により解像度の異なる画像データを入力画像から生成し
ておき、その中から対応する解像度の画像データを選択
して入力すれば良い。そして、各サンプリング点8と基
準点7とを結ぶ線分を中心とする帯状領域9を設定する
(ステップS44)。Next, the band-shaped area setting means 508 inputs image data of a predetermined resolution in accordance with the number of updates of the contour line (so that the higher the number of updates, the higher the resolution) (step S43). For example, image data having different resolutions may be generated in advance from an input image by a thinning-out interpolation process or the like, and image data having a corresponding resolution may be selected and input from the image data. Then, a band-like area 9 centering on a line connecting each sampling point 8 and the reference point 7 is set (step S44).
【0068】次に、領域分割手段502は、当該帯状領
域9内にある画像データを取得し(ステップS45)、
その帯状領域9の長手方向(基準点7とサンプリング点
8とを結ぶ線分の方向)を、与えられた解像度の画像デ
ータに基づいて分割する(ステップS46)。領域分割
の手法は、上述した第1の実施形態と同様で良い。Next, the area dividing means 502 obtains image data in the band-like area 9 (step S45),
The longitudinal direction of the band-like region 9 (the direction of the line connecting the reference point 7 and the sampling point 8) is divided based on the image data of the given resolution (step S46). The method of area division may be the same as in the first embodiment.
【0069】その後、輪郭更新手段503は、輪郭線の
更新を上述した第1あるいは第2の実施形態と同様に行
い(ステップS47)、更新を続行する場合には(ステ
ップS48)ステップS42に戻って上記の処理を繰り
返す。上記ステップS47で輪郭更新手段503は、例
えば最適分割点位置を第2の実施形態と同様にして選択
する。Thereafter, the contour updating means 503 updates the contour in the same manner as in the first or second embodiment (step S47), and if the update is to be continued (step S48), returns to step S42. To repeat the above processing. In step S47, the contour updating unit 503 selects, for example, the optimum division point position in the same manner as in the second embodiment.
【0070】本実施形態では、更新された太線化輪郭線
が真の輪郭線を含まない区間の指定を上記第1の実施形
態と同様に行うが、輪郭線の更新自体は常に全区間で行
うようにしても良い。このようにするのは、輪郭線が更
新される都度、新たな解像度の画像データが入力される
ので、前の解像度で太線化輪郭線内に真の輪郭線が存在
する場合でも、新たな解像度で領域分割を行うことによ
り、太線化輪郭線の中央のラインが真の輪郭線を近似す
る精度を上げることができるからである。In this embodiment, the section in which the updated thickened outline does not include the true outline is specified in the same manner as in the first embodiment, but the update of the outline itself is always performed in all the sections. You may do it. This is because the image data of the new resolution is input each time the contour is updated. Therefore, even if a true contour exists within the thickened contour at the previous resolution, the new resolution is used. This is because the accuracy of approximating the true contour with the center line of the thickened contour can be increased by performing the region division with.
【0071】この輪郭線位置の精度を上げるためのサン
プリング点と基準点とを結ぶ線分方向に概ね直交する方
向成分を有する境界線の設定に際しては、太線の幅で収
まる範囲か、またはその範囲を数倍程度拡大した範囲で
領域分割を行えば良い。When setting a boundary line having a direction component substantially perpendicular to the direction of the line segment connecting the sampling point and the reference point for improving the accuracy of the position of the contour line, the range within the width of the thick line or the range within the range May be divided in a range in which is multiplied by several times.
【0072】(第4の実施形態)第4の実施形態では、
複数の基準点7を任意に設定することができるものと
し、帯状領域9を設定する場合に基準点7が複数ある場
合は、サンプリング点8との距離が短い方を自動選択す
る。特に、切り出し対象の被写体が細長い形状や入り組
んだ形状の場合は、適切な位置に基準点7を追加設定す
ると、複雑な形状でも自動的に正しい切り出し領域の形
状を求めることができる。(Fourth Embodiment) In the fourth embodiment,
It is assumed that a plurality of reference points 7 can be arbitrarily set. If there are a plurality of reference points 7 when setting the band-like area 9, a shorter distance from the sampling point 8 is automatically selected. In particular, when the subject to be extracted has an elongated shape or a complicated shape, if the reference point 7 is additionally set at an appropriate position, the correct shape of the extraction region can be automatically obtained even for a complicated shape.
【0073】以下、基準点設定手段507での基準点設
定処理について、図10を参照して説明する。図10に
おいて、まず、初期輪郭線6を設定するときにその輪郭
に接する最小の矩形領域を考え、その縦横比から初期輪
郭で囲まれた領域の形状が縦長か横長かの判定を行う
(ステップS51)。例えば、縦横比が1以上なら横長
とする。The reference point setting process by the reference point setting means 507 will be described below with reference to FIG. In FIG. 10, first, when setting the initial contour line 6, a minimum rectangular area which is in contact with the contour is considered, and it is determined from the aspect ratio whether the shape of the area surrounded by the initial contour is portrait or landscape. S51). For example, if the aspect ratio is 1 or more, it is determined to be landscape.
【0074】次に、上述の縦横比が所定の範囲外にある
(例えば2以上か0.5以下)かどうかを判定して(ス
テップS52)、これに該当する場合は、領域形状が縦
長か横長かに応じてそれぞれ領域の中心線を縦方向また
は横方向に求める(ステップS53)。例えば、縦長領
域の場合には、縦方向の各位置において輪郭の境界点
(2点)の中点を求めることにより、中心線の曲線が求
められる。さらに、この求めた中心線上をN等分する点
をそれぞれ基準点7として求めることにより(ステップ
S54)、基準点設定処理が終了する。Next, it is determined whether the above-mentioned aspect ratio is out of the predetermined range (for example, 2 or more and 0.5 or less) (step S52). The center line of the region is obtained in the vertical direction or the horizontal direction depending on whether it is horizontally long (step S53). For example, in the case of a vertically long region, the center line curve is obtained by obtaining the midpoint of the boundary points (two points) of the contour at each position in the vertical direction. Further, the points on the obtained center line that are equally divided by N are obtained as the reference points 7 (step S54), and the reference point setting process ends.
【0075】なお、ユーザが初期輪郭線6を設定後、輪
郭線内部の適切と思われる任意の位置に基準点7を設定
しても良い。この場合は特に、設定した基準点7の位置
が分かるように、入力画像に重畳して基準点7が特異的
に表示されるようにする(基準点7の位置付近を切り出
し領域と全く異なる色や輝度で表示するなど)ことが望
ましい。After the user sets the initial contour 6, the reference point 7 may be set at an arbitrary position inside the contour that is considered appropriate. In this case, in particular, the reference point 7 is superimposed on the input image so that the reference point 7 is uniquely displayed so that the position of the set reference point 7 can be recognized. Or brightness).
【0076】(第5の実施形態)第5の実施形態では、
輪郭更新処理の後の太線化輪郭線領域内において、動的
輪郭処理(以下に説明)により切り出し領域の輪郭を決
定する。輪郭更新処理までは、上述した各実施形態の何
れかと同様であるので説明は省略する。(Fifth Embodiment) In the fifth embodiment,
In the thickened outline area after the outline update processing, the outline of the cutout area is determined by the active outline processing (described below). The process up to the outline updating process is the same as that of any of the above-described embodiments, and thus the description is omitted.
【0077】動的輪郭法(Snakes: Active Contour Mod
els, M.Kass, A.Witkin, D.Terzopoulos, Internationa
l Journal of Computer Vision, pp321-331,1988)は、
エッジ情報から物体の輪郭を抽出する方法であり、輪郭
が滑らかであることとエッジ上にあること等を拘束条件
として表したエネルギー評価関数が最小となるように輪
郭線モデルの変形を行うことにより、物体上の輪郭に収
束させるものである。太線化輪郭線の中心線上の所定の
基準点から輪郭線に沿った長さsをパラメータとして、
太線化輪郭線の中心線上の点v(s)の座標が(x(s),y(s))
で与えられるとすると、エネルギー関数は、例えば、以
下の式(6) で与えられる。The active contour method (Snakes: Active Contour Mod)
els, M. Kass, A. Witkin, D. Terzopoulos, Internationala
l Journal of Computer Vision, pp321-331, 1988)
This is a method of extracting the contour of an object from the edge information, by deforming the contour model so that the energy evaluation function that expresses that the contour is smooth and on the edge as a constraint is minimized. , Converge on the contour on the object. The length s along the contour from a predetermined reference point on the center line of the thickened contour is used as a parameter,
The coordinates of the point v (s) on the center line of the thickened outline are (x (s), y (s))
, The energy function is given by, for example, the following equation (6).
【0078】[0078]
【数5】 (Equation 5)
【0079】ここで、si は輪郭線上のi番目のサンプ
リング点位置に相当する輪郭線に沿った周囲長の値を示
す。Eint は輪郭線モデルが滑らかになろうとする内部
エネルギーであり、例えば、以下の式(7) で与えられ
る。[0079] Here, s i represents the value of the circumferential length along the outline that corresponds to the i-th sampling point position on the contour. E int is the internal energy at which the contour model tries to be smooth, and is given by, for example, the following equation (7).
【0080】[0080]
【数6】 (Equation 6)
【0081】また、Eimage はエッジに引き寄せられる
力を表すエネルギーで、例えば、以下の式(8) で与えら
れる。E image is energy representing the force attracted to the edge, and is given by the following equation (8), for example.
【0082】[0082]
【数7】 (Equation 7)
【0083】ここで、I(v(s)) は点v(s)上の画素値を表
し、α(s),β(s),wの値はユーザが設定する。ま
た、Eext (s)は外力に相当し、適宜設定されるもので
あるが、本実施形態では太線化輪郭線の内側は切り出し
対象領域、外側は背景領域であるとして以下の式(9) の
ように定義する。Here, I (v (s)) represents the pixel value on the point v (s), and the values of α (s), β (s) and w are set by the user. Further, E ext (s) corresponds to an external force and is appropriately set. In the present embodiment, the inside of the bolded outline is a cutout target area, and the outside is a background area. Is defined as
【0084】[0084]
【数8】 (Equation 8)
【0085】ここで、γは正の定数であり、Pin(I(v
(s)),Pout (I(v(s))は、太線化輪郭線の内側近傍領域
と外側近傍領域内にある局所画像の画素値のそれぞれの
平均値μin,Ns 、μout,Nsおよび分散σin,Ns 、σ
out,Nsを用いて、次の式(10)のように表される。ここ
で、Ns は点v(s)に対応して平均値、分散を求める近傍
領域を表す。Here, γ is a positive constant, and P in (I (v
(s)) and P out (I (v (s)) are the average values μ in, Ns , μ out, of the pixel values of the local image in the inner and outer neighboring regions of the thickened outline . Ns and variance σ in, Ns , σ
Using out, Ns , it is expressed as the following equation (10). Here, N s represents a neighborhood area for which an average value and a variance are obtained corresponding to the point v (s).
【0086】[0086]
【数9】 (Equation 9)
【0087】この式(10)より、式(9)は、輪郭線上のサ
ンプリング点が太線化輪郭線の内側近傍領域の画像上に
ある確率が高ければ輪郭線には外側に膨張する外力が働
き、逆に、外側近傍領域の画像上にある確率が高ければ
内側に収縮する方向の外力が働くことを意味する。ま
た、式(10)は、あるサンプリング点v(s)における画像特
徴量(画素値など)と、内側または外側の近傍領域にお
ける画像特徴量(画素値の平均値など)との差異を評価
する関数とみなすことができ、その意味においてサンプ
リング点と近傍領域に関する他の特徴量差異の評価尺度
を用いても良い。なお、式(10)において確率モデルをガ
ウシアンとしたが、他のモデルを用いても良い。From equation (10), equation (9) indicates that if there is a high probability that the sampling points on the contour are on the image in the region near the inside of the thickened contour, an external force that expands outward acts on the contour. Conversely, if the probability that the region near the outside is on the image is high, it means that an external force in the direction of contracting inward acts. Equation (10) evaluates a difference between an image feature amount (such as a pixel value) at a certain sampling point v (s) and an image feature amount (such as an average pixel value) in an inner or outer neighboring region. It can be regarded as a function, and in that sense, another evaluation scale of the feature amount difference regarding the sampling point and the neighboring area may be used. Although the probability model is Gaussian in equation (10), another model may be used.
【0088】以下、点v(s)に対応する内側・外側近傍領
域の設定の仕方について、図11を参照して説明する。
本実施形態では、中心線上の点v(s)に対応する近傍領域
として、図11(a)に示すように、太線化輪郭線領域
の外側で太線化輪郭線の法線方向に10画素程度の幅を
有し、点v(s)を通る中心線の法線と太線化輪郭線領域境
界との交点 vin、 vout を中心として太線の輪郭線方向
に長さ10画素程度の局所領域を設定する。そして、画
素値の平均値および分散は、それぞれ定義された局所領
域内の画像について求めるものとする。Hereinafter, a method of setting the inside / outside vicinity area corresponding to the point v (s) will be described with reference to FIG.
In the present embodiment, as shown in FIG. 11A, as a neighboring area corresponding to the point v (s) on the center line, about 10 pixels are arranged outside the thickened contour area in the normal direction of the thickened contour. And a local area having a width of about 10 pixels in the direction of the outline of the thick line around the intersections v in and v out of the normal line of the center line passing through the point v (s) and the boundary of the thickened outline region Set. Then, it is assumed that the average value and the variance of the pixel values are obtained for the image in the defined local region.
【0089】ただし、その近傍領域内の画素値(色相、
輝度)ヒストグラムが複数のピークを有する場合には、
図11(b)に示すように、最大ピークを与える画素値
との差が小さい(所定閾値以下)領域と、差が大きい領
域との2つに分かれるように境界を定め、それぞれの交
点が属する方の局所領域を近傍領域とする。この場合、
近傍領域の輪郭線方向の長さが非常に短い場合には、そ
の局所領域を輪郭線方向に長さが例えば10画素となる
ように拡大し、その局所領域内の画素値ヒストグラムに
基づいて図11(b)に示すのと同様の分割を行っても
よい。However, the pixel values (hue,
Brightness) histogram has multiple peaks,
As shown in FIG. 11B, a boundary is determined so as to be divided into two regions, a region having a small difference (below a predetermined threshold) from the pixel value giving the maximum peak, and a region having a large difference. The local region is defined as a nearby region. in this case,
If the length of the neighboring region in the direction of the contour is very short, the local region is enlarged in the direction of the contour so as to have a length of, for example, 10 pixels. The same division as shown in FIG. 11 (b) may be performed.
【0090】以上説明したように、帯状領域の分割処理
に基づく輪郭線更新処理の結果、得られる太線化輸郭線
の内側は切り出し領域、外側は背景領域となることが確
定してから、内側と外側の画像特徴量の違いが外力とし
て反映される(式(9),(10))動的輪郭処理を施すことに
より、抽出対象の輪郭を高い精度で自動的に得ることが
できる。As described above, as a result of the outline updating process based on the band-shaped region dividing process, it is determined that the inside of the obtained thickened contour line is a cutout region and the outside is a background region, By performing the dynamic contour processing (Equations (9), (10)) in which the difference between the image feature amounts on the outside and the outside is reflected as an external force, the contour to be extracted can be automatically obtained with high accuracy.
【0091】(第6の実施形態)第6の実施形態では、
帯状領域の分割処理に基づく輪郭線更新処理を行った後
に、更新すべき輪郭線の区間が指定されると、その区間
の輪郭線上の各点を中心として閉輪郭線の内部方向に領
域成長または選択処理を行う。(Sixth Embodiment) In the sixth embodiment,
After performing the contour update processing based on the band-shaped area division processing, when a contour section to be updated is designated, the area is grown or expanded in the inner direction of the closed contour centering on each point on the contour of the section. Perform selection processing.
【0092】ここで選択処理とは、更新区間の輪郭線上
のサンプリング点を中心とする局所領域の画素値の分布
範囲を中心として設定された許容値範囲内にある画素値
(RGB値または色相、輝度値)を有する閉輪郭線内の
画素を選択領域として抽出して得られる複数の領域のう
ち、サンプリング点と連結した領域内にあるものを背景
画素として登録することをいう。このようにして得られ
る背景と被写体との境界線は、切り出すべき領域の輪郭
線に十分近いと考えられる。Here, the selection processing means that the pixel values (RGB values or hues, This means that, among a plurality of regions obtained by extracting pixels in a closed contour having a luminance value) as a selected region, those in a region connected to a sampling point are registered as background pixels. The boundary between the background and the subject obtained in this manner is considered to be sufficiently close to the contour of the region to be cut out.
【0093】また、ここで領域成長とは、輪郭線のサン
プリング点上(あるいはその近傍)または更新区間で指
定された輪郭線を中心とする局所領域(太線化領域な
ど)の画素値(あるいは画像特徴量)に類似する画素値
または特徴量を有するサンプリング点の近傍領域を、閉
輪郭線の内部方向に向かって順次併合成長させていく処
理をいう。Here, the region growth means a pixel value (or image) of a local region (such as a bold line region) centered on the contour specified on the contour sampling point (or its vicinity) or in the update section. This is a process of sequentially increasing the combined length of a region near a sampling point having a pixel value or a feature value similar to the (feature value) toward the inside of the closed contour.
【0094】図12に、本実施形態での輪郭更新処理の
処理フローを示す。本実施形態では特に、その輪郭線上
のサンプリング点間において、太線化して得られる領域
についての局所画像データを取得し(ステップS6
1)、その取得した局所画像データに関する特徴量(色
相、輝度値など)ヒストグラムを求め(ステップS6
2)、そのピーク頻度を与える画素値(複数ある場合は
最大頻度の半分の頻度または次の頻度値を与える画素
値)を中心として、画素値選択範囲を設定する(ステッ
プS63)。FIG. 12 shows a processing flow of the outline update processing in this embodiment. In the present embodiment, in particular, local image data of a region obtained by bolding is obtained between sampling points on the contour (step S6).
1) A histogram of feature amounts (hue, luminance value, etc.) relating to the acquired local image data is obtained (step S6).
2) A pixel value selection range is set centering on the pixel value giving the peak frequency (if there is more than one, half the maximum frequency or the pixel value giving the next frequency value) (step S63).
【0095】次に、設定した選択範囲内の画素値を有す
る領域を背景画素として抽出し、上記した選択処理を行
う(ステップS64)。このとき、選択領域内に島状の
孤立領域が発生した場合には、それらを背景領域として
変換する(ステップS65)。その後、輪郭線上のサン
プリング点を含む背景領域と当該輪郭線の更新区間とか
ら成る領域の境界線から、更新区間の輪郭線を除いて新
たな輪郭線を得る(ステップS66)。Next, an area having a pixel value within the set selection range is extracted as a background pixel, and the above-described selection processing is performed (step S64). At this time, if island-shaped isolated areas occur in the selected area, they are converted as background areas (step S65). Thereafter, a new outline is obtained by removing the outline of the update section from the boundary line of the area composed of the background area including the sampling points on the outline and the update section of the outline (step S66).
【0096】これにより、更新すべき区間の輪郭線が無
地ではないテクスチャパターンを有する領域であって
も、少ない演算量で切り出し対象の正しい輪郭線を得る
ことができる。As a result, even if the contour of the section to be updated is a region having a texture pattern that is not plain, a correct contour to be cut can be obtained with a small amount of calculation.
【0097】なお、基準点の近傍領域について同様に画
素値ヒストグラムを求め、これに基づいて同様に選択画
素値範囲を求めた結果と、上記した画素値範囲とがほぼ
一致する場合には、上記した選択処理は行わないことが
望ましい。切り出すべき領域と背景との境界があいまい
で低コントラストである場合が多いからである。以上の
ように、帯状領域の領域分割に基づく輪郭線更新処理
と、選択または領域成長処理とを組み合わせることによ
り、複雑な対象の形状でも簡単に自動的に抽出すること
ができる。When the pixel value histogram is similarly obtained for the region near the reference point, and the result of similarly obtaining the selected pixel value range based on the histogram and the above-described pixel value range substantially coincides with each other, It is desirable not to perform the selected processing. This is because the boundary between the region to be extracted and the background is often ambiguous and has low contrast. As described above, by combining the outline update processing based on the area division of the belt-shaped area with the selection or area growth processing, a complicated target shape can be easily and automatically extracted.
【0098】(本発明の他の実施形態)本発明は複数の
機器(例えば、ホストコンピュータ、インタフェース機
器、リーダ、プリンタ等)から構成されるシステムに適
用しても1つの機器(例えば、パーソナルコンピュー
タ)からなる装置に適用しても良い。(Other Embodiment of the Present Invention) Even if the present invention is applied to a system composed of a plurality of devices (for example, a host computer, an interface device, a reader, a printer, etc.), one device (for example, a personal computer) ) May be applied.
【0099】また、上述した実施形態の機能を実現する
べく各種のデバイスを動作させるように、該各種デバイ
スと接続された装置あるいはシステム内のコンピュータ
に対し、上記実施形態の機能を実現するためのソフトウ
ェアのプログラムコードを供給し、そのシステムあるい
は装置のコンピュータ(CPUあるいはMPU)に格納
されたプログラムに従って上記各種デバイスを動作させ
ることによって実施したものも、本発明の範疇に含まれ
る。Further, in order to operate various devices to realize the functions of the above-described embodiment, an apparatus connected to the various devices or a computer in a system is required to realize the functions of the above-described embodiment. The present invention also includes a software program code supplied and implemented by operating the various devices according to a program stored in a computer (CPU or MPU) of the system or the apparatus.
【0100】また、この場合、上記ソフトウェアのプロ
グラムコード自体が上述した実施形態の機能を実現する
ことになり、そのプログラムコード自体、およびそのプ
ログラムコードをコンピュータに供給するための手段、
例えばかかるプログラムコードを格納した記録媒体は本
発明を構成する。かかるプログラムコードを記憶する記
録媒体としては、例えばフロッピーディスク、ハードデ
ィスク、光ディスク、光磁気ディスク、CD−ROM、
磁気テープ、不揮発性のメモリカード、ROM等を用い
ることができる。In this case, the program code of the software implements the functions of the above-described embodiment, and the program code itself and means for supplying the program code to a computer are provided.
For example, a recording medium storing such a program code constitutes the present invention. As a recording medium for storing such a program code, for example, a floppy disk, hard disk, optical disk, magneto-optical disk, CD-ROM,
A magnetic tape, a nonvolatile memory card, a ROM, or the like can be used.
【0101】また、コンピュータが供給されたプログラ
ムコードを実行することにより、上述の実施形態の機能
が実現されるだけでなく、そのプログラムコードがコン
ピュータにおいて稼働しているOS(オペレーティング
システム)あるいは他のアプリケーションソフト等の共
同して上述の実施形態の機能が実現される場合にもかか
るプログラムコードは本発明の実施形態に含まれること
は言うまでもない。When the computer executes the supplied program code, not only the functions of the above-described embodiment are realized, but also the OS (Operating System) or other operating system running on the computer. Needless to say, even when the functions of the above-described embodiments are realized in cooperation with application software or the like, such program codes are included in the embodiments of the present invention.
【0102】さらに、供給されたプログラムコードがコ
ンピュータの機能拡張ボードやコンピュータに接続され
た機能拡張ユニットに備わるメモリに格納された後、そ
のプログラムコードの指示に基づいてその機能拡張ボー
ドや機能拡張ユニットに備わるCPU等が実際の処理の
一部または全部を行い、その処理によって上述した実施
形態の機能が実現される場合にも本発明に含まれること
は言うまでもない。Further, after the supplied program code is stored in a memory provided in a function expansion board of a computer or a function expansion unit connected to the computer, the function expansion board or the function expansion unit is specified based on the instruction of the program code. It is needless to say that the present invention also includes a case where the CPU or the like provided in the first embodiment performs part or all of the actual processing, and the processing realizes the functions of the above-described embodiments.
【0103】[0103]
【発明の効果】以上説明したように本発明によれば、例
えば抽出対象を囲むように、または対象物の領域内部に
存在するように初期輪郭線を大まかに設定するだけで、
輪郭線上の限定された数のサンプリング点を、輪郭線内
の基準点方向に設定された帯状領域内で行う領域分割に
より得られる境界点位置まで更新する処理が繰り返され
るので、どんな複雑な形状でも、抽出対象の輪郭を近似
する輪郭線を少ない演算量で、ほぼ自動的に求めること
ができ、更に更新処理後の輪郭線を抽出対象物の正しい
輪郭線上に確実に収束させることができる。また、抽出
すべき対象物を囲むように、または対象物の領域内部に
存在するように輪郭線を設定した後は、ユーザは順次更
新され変形されていく輪郭線を見て、更新の停止、開始
(または再開)の指示を与えるといった簡単な指示をす
るだけで良いので、抽出対象の切り出しに要する手間を
大幅に省くことができる。As described above, according to the present invention, for example, the initial outline is roughly set so as to surround the extraction target or to exist inside the region of the target object.
Since the process of updating a limited number of sampling points on the contour line to the boundary point position obtained by region division performed in the band-shaped region set in the reference point direction in the contour line is repeated, any complicated shape A contour line approximating the contour of the extraction target can be almost automatically obtained with a small amount of calculation, and the contour line after the update processing can be surely converged on the correct contour line of the extraction target object. Further, after setting the contour so as to surround the object to be extracted or to exist inside the area of the object, the user sees the contour that is sequentially updated and deformed, and stops updating, Since it is only necessary to give a simple instruction such as giving a start (or restart) instruction, it is possible to greatly reduce the time and effort required for extracting the extraction target.
【図1】本実施形態による画像処理装置の要部構成を示
すブロック図である。FIG. 1 is a block diagram illustrating a main configuration of an image processing apparatus according to an embodiment.
【図2】図1に示した画像処理演算部の詳細構成を示す
ブロック図である。FIG. 2 is a block diagram illustrating a detailed configuration of an image processing operation unit illustrated in FIG. 1;
【図3】本発明の基本処理の流れを示すフローチャート
である。FIG. 3 is a flowchart showing a flow of basic processing of the present invention.
【図4】帯状領域とその分割結果の例を示す図である。FIG. 4 is a diagram illustrating an example of a band-shaped region and a division result thereof.
【図5】領域分割処理の流れを示すフローチャートであ
る。FIG. 5 is a flowchart illustrating a flow of a region dividing process.
【図6】本実施形態による画像処理装置の処理過程の途
中結果を示す図である。FIG. 6 is a diagram illustrating an intermediate result of a processing process of the image processing apparatus according to the present embodiment.
【図7】第2の実施形態に係る輪郭更新処理の流れを示
すフローチャートである。FIG. 7 is a flowchart illustrating a flow of a contour update process according to the second embodiment.
【図8】帯状領域の境界線上の分割点位置を示す図であ
る。FIG. 8 is a diagram showing positions of division points on a boundary line of a belt-shaped region.
【図9】第3の実施形態に係る基準点設定から輪郭更新
までの処理の流れを示すフローチャートである。FIG. 9 is a flowchart illustrating a flow of processing from setting a reference point to updating a contour according to a third embodiment.
【図10】第4の実施形態に係る基準点設定処理の流れ
を示すフローチャートである。FIG. 10 is a flowchart illustrating a flow of a reference point setting process according to a fourth embodiment.
【図11】第5の実施形態に係る輪郭線上のサンプリン
グ点に対応する内側・外側近傍領域の説明図である。FIG. 11 is an explanatory diagram of inner / outer vicinity regions corresponding to sampling points on a contour line according to a fifth embodiment.
【図12】第6の実施形態に係る輪郭更新処理の流れを
示すフローチャートである。FIG. 12 is a flowchart illustrating a flow of an outline update process according to a sixth embodiment.
1 画像データ入力部 2 画像データ記憶部 3 画像表示手段 4 指示選択手段 5 画像処理演算部 6 初期輪郭線 7 基準点 8 サンプリング点 9 帯状領域 10 更新区間始点 11 更新区間終点 501 初期輪郭設定手段 502 領域分割手段 503 輪郭更新手段 504 輪郭決定手段 505 一次記憶手段 506 処理結果出力手段 507 基準点設定手段 508 帯状領域設定手段 DESCRIPTION OF SYMBOLS 1 Image data input part 2 Image data storage part 3 Image display means 4 Instruction selection means 5 Image processing calculation part 6 Initial contour line 7 Reference point 8 Sampling point 9 Strip area 10 Update section start point 11 Update section end point 501 Initial contour setting means 502 Area dividing means 503 contour updating means 504 contour determining means 505 primary storage means 506 processing result output means 507 reference point setting means 508 band-shaped area setting means
───────────────────────────────────────────────────── フロントページの続き (72)発明者 高橋 史明 東京都大田区下丸子3丁目30番2号 キヤ ノン株式会社内 Fターム(参考) 5L096 AA02 CA24 DA01 EA04 EA35 FA06 FA15 FA35 FA41 FA60 GA19 GA34 JA11 ────────────────────────────────────────────────── ─── Continuing on the front page (72) Fumiaki Takahashi 3-30-2 Shimomaruko, Ota-ku, Tokyo F-term in Canon Inc. (Reference) 5L096 AA02 CA24 DA01 EA04 EA35 FA06 FA15 FA35 FA41 FA60 GA19 GA34 JA11
Claims (24)
の画像処理方法において、 任意形状の閉じた輪郭線を設定する初期輪郭設定ステッ
プと、 上記設定された初期輪郭に基づいて所定の基準点を設定
する基準点設定ステップと、 上記初期輪郭上の所定の点と上記基準点とを結ぶ線分を
含む所定形状の帯状領域を複数設定する帯状領域設定ス
テップと、 上記設定された複数の帯状領域内の画像データに基づい
て上記複数の帯状領域をそれぞれ複数の領域に分割する
領域分割ステップと、 上記領域分割後の各分割点位置に基づいて輪郭線を更新
する輪郭更新ステップと、 上記更新後の輪郭線に基づいて、抽出すべき対象物の輪
郭形状を求める輪郭決定ステップとからなることを特徴
とする画像処理方法。1. An image processing method for extracting a specific object from an image, comprising: an initial contour setting step of setting a closed contour of an arbitrary shape; and a predetermined reference based on the set initial contour. A reference point setting step of setting a point; a band region setting step of setting a plurality of band regions of a predetermined shape including a line segment connecting the predetermined point on the initial contour and the reference point; An area dividing step of dividing each of the plurality of band areas into a plurality of areas based on image data in the band area; a contour updating step of updating a contour line based on each division point position after the area division; A contour determining step of determining a contour shape of an object to be extracted based on the updated contour line.
出すべき対象物を内部に含むように任意形状の閉じた輪
郭線を設定することを特徴とする請求項1に記載の画像
処理方法。2. The image processing method according to claim 1, wherein in the initial contour setting step, a closed contour having an arbitrary shape is set so as to include the object to be extracted.
出すべき対象物内に任意形状の閉じた輪郭線を設定する
ことを特徴とする請求項1に記載の画像処理方法。3. The image processing method according to claim 1, wherein in the initial contour setting step, a closed contour having an arbitrary shape is set in the object to be extracted.
点を上記初期輪郭の重心位置に設定することを特徴とす
る請求項1に記載の画像処理方法。4. The image processing method according to claim 1, wherein in the reference point setting step, the reference point is set at a center of gravity of the initial contour.
点を上記初期輪郭内の複数位置に設定することを特徴と
する請求項1に記載の画像処理方法。5. The image processing method according to claim 1, wherein in the reference point setting step, the reference points are set at a plurality of positions in the initial contour.
数の基準点のうち上記初期輪郭上の点に最も近い基準点
を選択して上記帯状領域を設定することを特徴とする請
求項5に記載の画像処理方法。6. The strip-shaped area setting step, wherein the reference point closest to a point on the initial contour is selected from the plurality of reference points to set the strip-shaped area. Image processing method.
期輪郭上の点を所定間隔でサンプリングし、該各サンプ
リング点と上記基準点とを夫々結ぶ線分をそれぞれ含む
複数の帯状領域を設定することを特徴とする請求項1に
記載の画像処理方法。7. The step of setting a band-like area includes sampling points on the initial contour at predetermined intervals, and setting a plurality of band-like areas each including a line segment connecting each of the sampling points and the reference point. The image processing method according to claim 1, wherein:
新区間を設定する更新区間設定ステップと、 上記設定された更新区間内の輪郭線上の点を含む上記帯
状領域内の上記分割点位置に基づいて、上記輪郭線を更
新する更新ステップとを有することを特徴とする請求項
1に記載の画像処理方法。8. The contour updating step includes setting an updating section on the contour line, based on the position of the division point in the strip-shaped area including a point on the contour line in the set updating section. 2. The image processing method according to claim 1, further comprising an updating step of updating the outline.
の全体を更新するか上記更新区間を設定して更新するか
を選択可能であることを特徴とする請求項8に記載の画
像処理方法。9. The image processing method according to claim 8, wherein in the outline updating step, it is possible to select whether to update the entire outline or to update by setting the update section.
後の輪郭線を含む太線領域内において、該太線領域内の
画像データについて輪郭追跡を行うことにより上記対象
物の輪郭形状を求めることを特徴とする請求項1に記載
の画像処理方法。10. In the contour determining step, a contour shape of the object is obtained by performing contour tracking on image data in the thick line area including the updated contour line. The image processing method according to claim 1.
後の輪郭線について所定の評価関数値を求め、該評価関
数値が極小となる位置に上記輪郭線上の各点を移動させ
る動的輪郭処理に基づき上記対象物の輪郭形状を求める
ことを特徴とする請求項1に記載の画像処理方法。11. The contour determining step includes a step of obtaining a predetermined evaluation function value for the updated contour line, and performing a dynamic contour process for moving each point on the contour line to a position at which the evaluation function value is minimized. 2. The image processing method according to claim 1, wherein a contour shape of the object is obtained based on the object.
上のサンプリング点に関する画像特徴量と該サンプリン
グ点に対応する外側近傍領域について求められる画像特
徴量との第1の特徴量偏差、および上記サンプリング点
に関する画像特徴量と該サンプリング点に対応する内側
近傍領域について求められる画像特徴量との第2の特徴
量偏差から得られる第1および第2の特徴量偏差間差異
を評価する項を含むことを特徴とする請求項11に記載
の画像処理方法。12. The evaluation function includes a first feature amount deviation between an image feature amount related to a sampling point on the contour line after the update and an image feature amount obtained for an outer neighboring area corresponding to the sampling point; A term for evaluating a difference between the first and second feature value deviations obtained from the second feature value deviation between the image feature value related to the sampling point and the image feature value obtained for the inner vicinity area corresponding to the sampling point is included. The image processing method according to claim 11, wherein:
上のサンプリング点が上記輪郭線の外側近傍領域にある
第1の確率、および上記サンプリング点が内側近傍領域
にある第2の確率を評価して得られる第1および第2の
確率間差異を評価する項を含むことを特徴とする請求項
11に記載の画像処理方法。13. The evaluation function evaluates a first probability that a sampling point on the updated contour line is in a region near the outside of the contour and a second probability that the sampling point is in a region near the inside of the contour. 12. The image processing method according to claim 11, further comprising a term for evaluating a difference between the first and second probabilities obtained by the calculation.
の帯状領域内の各分割点位置のうち、上記基準点から最
も遠い分割点どうしを所定の方法で連結して新たな輪郭
線を生成することを特徴とする請求項1に記載の画像処
理方法。14. In the contour updating step, a new contour line is generated by connecting division points farthest from the reference point among the division point positions in the plurality of strip-shaped areas by a predetermined method. The image processing method according to claim 1, wherein:
域内において定められた分割点を通り、上記輪郭線上の
点と上記基準点とを結ぶ線分に概ね直交する方向を有す
る分割境界線に接する2つの近傍領域についての所定の
特徴量と、他の帯状領域について同様に求められる分割
境界線に接する2つの近傍領域の特徴量との一貫性評価
値を求め、該評価値が最も高くなる分割点位置どうしを
所定の方法で連結して新たな輪郭線を生成することを特
徴とする請求項1に記載の画像処理方法。15. The outline updating step is in contact with a division boundary line passing through a division point defined in the strip-shaped area and having a direction substantially orthogonal to a line segment connecting a point on the outline and the reference point. A consistency evaluation value between a predetermined feature value of the two neighboring regions and a feature value of the two neighboring regions adjacent to the dividing boundary line similarly obtained for the other band-like regions is determined, and the division value having the highest evaluation value is determined. 2. The image processing method according to claim 1, wherein the point positions are connected to each other by a predetermined method to generate a new contour line.
内において分割点位置を定めるに際し、該分割点を通
り、上記輪郭線上の点と上記基準点とを結ぶ線分に概ね
直交する方向を有する分割境界線に接する2つの近傍領
域について所定の特徴量を求め、この求めた特徴量を上
記輪郭更新ステップで利用することを特徴とする請求項
15に記載の画像処理方法。16. A division having a direction substantially perpendicular to a line segment passing through the division point and connecting a point on the contour line and the reference point when the division point position is determined in the strip-shaped region in the region division step. 16. The image processing method according to claim 15, wherein predetermined feature amounts are obtained for two neighboring regions that are in contact with the boundary line, and the obtained feature amounts are used in the contour updating step.
域内において定められた分割点を通り、上記輪郭線上の
点と上記基準点とを結ぶ線分に概ね直交する方向を有す
る分割境界線と、該帯状領域に隣接する帯状領域につい
て既に設定された上記分割点を通る分割境界線との連続
性を評価し、該連続性が所定基準値より高くなるように
上記分割点の位置を決定することを特徴とする請求項1
に記載の画像処理方法。17. The outline updating step includes: a division boundary line having a direction passing through a division point defined in the band-shaped region and substantially orthogonal to a line segment connecting a point on the outline line and the reference point; Evaluating the continuity of a strip-shaped area adjacent to the strip-shaped area with a division boundary line that has already been set and passing through the division point, and determining the position of the division point so that the continuity is higher than a predetermined reference value. Claim 1 characterized by the following:
The image processing method according to 1.
更新区間内の輪郭線上のサンプリング点およびその近傍
領域の画像特徴量と類似の画像特徴量を有する画素であ
って、該輪郭線上のサンプリング点を含み、該画像特徴
量の類似度が高い領域として連結領域を形成する画素を
背景画素として選択する選択ステップと、 上記選択ステップ後に得られる上記背景画素と上記抽出
すべき対象物との境界線を、上記更新区間における更新
後の輪郭線とする処理を行う更新区間内輪郭線の更新ス
テップとを有することを特徴とする請求項8に記載の画
像処理方法。18. The method according to claim 18, wherein the step of updating the contour includes pixels having an image feature amount similar to that of a sampling point on the contour line in the set update section and an image feature amount of an area near the sampling point. A selection step of selecting, as a background pixel, a pixel forming a connected area as a region having a high degree of similarity of the image feature amount; and a boundary line between the background pixel obtained after the selection step and the object to be extracted. 9. An image processing method according to claim 8, further comprising the step of: updating a contour line in an update section to perform the process of setting an updated contour line in the update section.
更新ステップの適用回数が増すほど該領域分割の解像度
を上げ、 上記帯状領域設定ステップでは、上記輪郭更新ステップ
の適用回数が増すほど上記輪郭線上のサンプリング間隔
を小さくすることを特徴とする請求項1に記載の画像処
理方法。19. The region dividing step, wherein the resolution of the region division is increased as the number of applications of the contour updating step is increased, and in the band-shaped region setting step, as the number of applications of the contour updating step is increased, 2. The image processing method according to claim 1, wherein the sampling interval is reduced.
る画像入力ステップと、 任意形状の閉じた輪郭線を設定する輪郭設定ステップ
と、 上記輪郭線の形状を所定の方法で更新する輪郭更新ステ
ップと、 上記更新された輪郭線を入力画像に重畳して表示する更
新結果表示ステップと、 上記輪郭線の更新の停止または開始を指示する指示入力
ステップと、 上記更新後の輪郭線形状を出力する輪郭出力ステップと
からなることを特徴とする画像処理方法。20. An image inputting step of inputting an image including an object to be extracted, a contour setting step of setting a closed contour of an arbitrary shape, and a contour updating for updating the shape of the contour by a predetermined method. An update result display step of displaying the updated outline superimposed on the input image; an instruction input step of instructing to stop or start updating the outline; and outputting the updated outline shape. An image processing method comprising:
輪郭線上の区間を指定する更新区間設定ステップまたは
更新しない輪郭線上の区間を指定する非更新区間設定ス
テップと、 上記更新区間の輪郭形状を所定の方法で更新する部分的
輪郭更新ステップとから成ることを特徴とする請求項2
0に記載の画像処理方法。21. An updating section setting step for specifying a section on a contour line to be updated or a non-updating section setting step for specifying a section on a contour line not to be updated, wherein the contour shape of the updating section is determined. 3. A partial contour updating step of updating by the method of claim 2.
0. The image processing method according to 0.
めの画像処理装置において、 任意形状の閉じた輪郭線を設定する初期輪郭設定手段
と、 上記初期輪郭に基づいて所定の基準点を設定する基準点
設定手段と、 上記初期輪郭上の所定の点と上記基準点とを結ぶ線分を
含む所定形状の帯状領域を複数設定する帯状領域設定手
段と、 上記複数の帯状領域内の画像データに基づいて上記複数
の帯状領域をそれぞれ複数の領域に分割する領域分割手
段と、 上記領域分割後の各分割点位置に基づいて輪郭線を更新
する輪郭更新手段と、 上記更新後の輪郭線に基づいて、抽出すべき対象物の輪
郭形状を求める輪郭決定手段とからなることを特徴とす
る画像処理装置。22. An image processing apparatus for extracting a specific object from an image, comprising: an initial contour setting means for setting a closed contour having an arbitrary shape; and setting a predetermined reference point based on the initial contour. Reference point setting means for setting, band-shaped area setting means for setting a plurality of band-shaped areas having a predetermined shape including a line segment connecting a predetermined point on the initial contour and the reference point, and image data in the plurality of band-shaped areas Area dividing means for dividing each of the plurality of band-shaped areas into a plurality of areas based on the following; contour updating means for updating a contour line based on each division point position after the area division; An image processing apparatus, comprising: a contour determining unit for determining a contour shape of an object to be extracted based on the contour shape.
画像入力手段と、 任意形状の閉じた輪郭線を設定する輪郭設定手段と、 上記輪郭線の形状を所定の方法で更新する輪郭更新手段
と、 上記更新された輪郭線を入力画像に重畳して表示する更
新結果表示手段と、 上記輪郭線の更新の停止または開始を指示する指示入力
手段と、 上記更新後の輪郭線形状を出力する輪郭出力手段とから
なることを特徴とする画像処理装置。23. Image input means for inputting an image including an object to be extracted, contour setting means for setting a closed contour having an arbitrary shape, and contour updating means for updating the shape of the contour by a predetermined method. Update result display means for displaying the updated outline superimposed on the input image; instruction input means for instructing to stop or start updating the outline; and outputting the updated outline shape. An image processing apparatus comprising: a contour output unit.
期輪郭設定手段、 上記初期輪郭に基づいて所定の基準点を設定する基準点
設定手段、 上記初期輪郭上の所定の点と上記基準点とを結ぶ線分を
含む所定形状の帯状領域を複数設定する帯状領域設定手
段、 上記複数の帯状領域内の画像データに基づいて上記複数
の帯状領域をそれぞれ複数の領域に分割する領域分割手
段、 上記領域分割後の各分割点位置に基づいて輪郭線を更新
する輪郭更新手段、 および上記更新後の輪郭線に基づいて、抽出すべき対象
物の輪郭形状を求める輪郭決定手段としてコンピュータ
を機能させるためのプログラムを記録したことを特徴と
するコンピュータ読み取り可能な記録媒体。24. Initial contour setting means for setting a closed contour of an arbitrary shape, reference point setting means for setting a predetermined reference point based on the initial contour, a predetermined point on the initial contour and the reference point A band-shaped region setting means for setting a plurality of band-shaped regions having a predetermined shape including a line segment connecting the plurality of band-shaped regions; a region dividing means for dividing the plurality of band-shaped regions into a plurality of regions based on image data in the plurality of band-shaped regions, A computer functions as contour updating means for updating a contour line based on each division point position after the region division, and contour determining means for obtaining a contour shape of an object to be extracted based on the updated contour line. A computer-readable recording medium on which a program for recording is recorded.
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP10218123A JP2000048212A (en) | 1998-07-31 | 1998-07-31 | Device and method for picture processing and recording medium |
EP99306096A EP0977151B1 (en) | 1998-07-31 | 1999-07-30 | Image processing apparatus, image processing method, and storage medium |
DE69937476T DE69937476T2 (en) | 1998-07-31 | 1999-07-30 | Image processing apparatus and method and storage medium |
US09/363,655 US6674902B1 (en) | 1998-07-31 | 1999-07-30 | Image processing apparatus image processing method, and storage medium |
US10/693,889 US7076099B2 (en) | 1998-07-31 | 2003-10-28 | Image processing apparatus, image processing method, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP10218123A JP2000048212A (en) | 1998-07-31 | 1998-07-31 | Device and method for picture processing and recording medium |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2000048212A true JP2000048212A (en) | 2000-02-18 |
Family
ID=16715001
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP10218123A Pending JP2000048212A (en) | 1998-07-31 | 1998-07-31 | Device and method for picture processing and recording medium |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2000048212A (en) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002049922A (en) * | 2000-08-02 | 2002-02-15 | Matsushita Electric Ind Co Ltd | Method for recognizing image |
JP2007265331A (en) * | 2006-03-30 | 2007-10-11 | Hitachi Medical Corp | Image recognition device |
JP2014211670A (en) * | 2013-04-17 | 2014-11-13 | 株式会社エム・ソフト | Image area extraction method and image area extraction system |
EP2919164A1 (en) | 2014-03-14 | 2015-09-16 | Omron Corporation | Image processing apparatus and segmentation method |
JP2016006647A (en) * | 2014-05-30 | 2016-01-14 | 富士ゼロックス株式会社 | Area determination device, area determination method, and program |
US9384558B2 (en) | 2013-09-18 | 2016-07-05 | Casi Computer Co., Ltd. | Image processing device for performing image segmentation processing |
-
1998
- 1998-07-31 JP JP10218123A patent/JP2000048212A/en active Pending
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002049922A (en) * | 2000-08-02 | 2002-02-15 | Matsushita Electric Ind Co Ltd | Method for recognizing image |
JP4578638B2 (en) * | 2000-08-02 | 2010-11-10 | パナソニック株式会社 | Image recognition method |
JP2007265331A (en) * | 2006-03-30 | 2007-10-11 | Hitachi Medical Corp | Image recognition device |
JP4644794B2 (en) * | 2006-03-30 | 2011-03-02 | 株式会社日立メディコ | Image recognition device |
JP2014211670A (en) * | 2013-04-17 | 2014-11-13 | 株式会社エム・ソフト | Image area extraction method and image area extraction system |
US9384558B2 (en) | 2013-09-18 | 2016-07-05 | Casi Computer Co., Ltd. | Image processing device for performing image segmentation processing |
EP2919164A1 (en) | 2014-03-14 | 2015-09-16 | Omron Corporation | Image processing apparatus and segmentation method |
KR20150107594A (en) | 2014-03-14 | 2015-09-23 | 오므론 가부시키가이샤 | Image processing apparatus and segmentation method |
US9280830B2 (en) | 2014-03-14 | 2016-03-08 | Omron Corporation | Image processing apparatus and segmentation method |
KR101682787B1 (en) | 2014-03-14 | 2016-12-05 | 오므론 가부시키가이샤 | Image processing apparatus and segmentation method |
JP2016006647A (en) * | 2014-05-30 | 2016-01-14 | 富士ゼロックス株式会社 | Area determination device, area determination method, and program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4392886B2 (en) | Image extraction method and apparatus | |
Lombaert et al. | A multilevel banded graph cuts method for fast image segmentation | |
JP4845715B2 (en) | Image processing method, image processing apparatus, program, and storage medium | |
EP0977151B1 (en) | Image processing apparatus, image processing method, and storage medium | |
US6816611B1 (en) | Image processing method, facial region extraction method, and apparatus therefor | |
US7324104B1 (en) | Method of centerline generation in virtual objects | |
US20060159342A1 (en) | Multilevel image segmentation | |
CN105528614B (en) | A kind of recognition methods of the cartoon image space of a whole page and automatic recognition system | |
JP5713790B2 (en) | Image processing apparatus, image processing method, and program | |
Bitter et al. | CEASAR: a smooth, accurate and robust centerline extraction algorithm | |
EP0534446A2 (en) | System with approximation means for recognizing graphical elements in a drawing | |
US6728400B1 (en) | Apparatus, method, and storage medium for setting an extraction area in an image | |
US20140047367A1 (en) | Image processing apparatus, image processing method, and program | |
US9256802B2 (en) | Object or shape information representation method | |
KR100813168B1 (en) | Method for extracting object in digital image with shape prior and system for executing the method | |
JP2000216979A (en) | Image extraction method and device and storage medium | |
JP2000048212A (en) | Device and method for picture processing and recording medium | |
JP2007141107A (en) | Image processor and its method | |
JP5566158B2 (en) | Image processing method, image processing apparatus, and program | |
US8520951B2 (en) | Image processing method, image processing apparatus, and computer readable storage medium | |
JPH05303643A (en) | Pattern matching method | |
JP4586103B2 (en) | Image extraction method and apparatus | |
JP5629483B2 (en) | Image processing method, image processing apparatus, and program | |
JPH09106458A (en) | Image processing method | |
JP2000132692A (en) | Method for extracting feature point of curve and recording medium recording the method |