JP2000020734A - 画像セグメンテーション方法 - Google Patents

Abstract

(57)【要約】 【課題】外部からの入力を即座に反映することにより操
作性のよい、高精度の輪郭抽出を行なうことが、本発明
の課題である。 【解決手段】画像を入力し１０１と、入力された画像中
で利用者が第１点を輪郭上で指定１０２し、指定後のマ
ウスの位置を検出１０３し、検出されたマウスの位置か
ら輪郭候補の検索・決定１０４を行い、決定された輪郭
候補抽出結果を表示１０５し、マウスクリックがあれ
ば、それまで決定された輪郭候補を消去１０７し、なけ
れば、輪郭候補を輪郭として決定１０８する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、デザインシミュレ
ーション等に必要な画像中から特定の部位を切り出す画
像セグメンテーション方法及びその装置に関する。

【０００２】

【従来の技術】店頭におけるプレゼンテーションシステ
ム等、画像の豊な表現力を用いたシステムの研究、開発
が盛んである。この画像情報を更に有効に利用するた
め、背景合成、物体色変更等のイメージシミュレーショ
ンが、家電製品等のデザインシミュレーションに広く用
いられている。

【０００３】これらイメージシミュレーションを行うた
めには、画像中から特定の対象物を切り出しておく必要
があり、これを画像セグメンテーション技術という。例
えば、街で撮影した車の画像から車の部分だけ分離する
ことが、画像セグメンテーション技術であり、これを郊
外の風景に埋め込むのがイメージシミュレーションであ
る。

【０００４】この画像セグメンテーション技術は、静止
画像においては、大きく二つに分けられる。第一の方法
は色情報を用いた敷居値処理を行うものであり、第２の
方法は画像のエッジの情報、すなわち、画像中の画素の
値（色、明度など）の変化する部分の情報を用いるもの
である。これらの方法は、画像中のシーンの理解や認識
のため研究されてきたものであるが、これについては、
D. H. Ballard, C. B.Brown 著 Computer Vision, Pren
tice-Hall, Inc. 刊（１９８２）第４章 Boundary Dete
ction （以下、公知例１と呼ぶ）に述べられている。基
本的には、画像中の隣接する画素間の色や画像濃度の差
の大きい所をエッジとして求め、これをつなぐことによ
り輪郭を求める。ここで、エッジという言葉は、画像中
に存在するなんらかの意味での線分であり、輪郭は画像
中に存在する物体の外形を表している、物体が画像中に
隠れず見えている場合には閉曲線になるものである。エ
ッジは輪郭上にも、それ以外にも数多く存在する。また
逆に、後に述べるエッジ検出オペレータのような通常の
画像処理の技法では、輪郭上の全てがエッジと認定され
るわけではない。

【０００５】エッジを求めるために用いられるのは次の
ようなものである。

【０００６】白黒濃淡画像の場合、ｉ，ｊ画素をａ(i,
j) で表す。ｉ方向が横方向に、ｊ方向が縦方向に対応
する。

【０００７】（１）一次微分 横方向 : a(i+1,j)-a(i,j), 縦方向 : a(i,j+1)-a(i,j), 絶対値 : (a(i+1,j)-a(i,j))の平方と(a(i,j+1)-a(i,
j))の平方の和の平方根など （２）２次微分 横方向 : a(i+1,j)-2a(i,j)+a(i-1,j), 縦方向 : a(i,j+1)-2a(i,j)+a(i,j-1), 両方向 : a(i+1,j)+a(i-1,j)+a(i,j+1)+a(i,j-1)-4a(i,
j) など、ここで最後の両方向のものを、特に、ラプラシア
ンをいうことがある。

【０００８】またここでいう一次微分や二次微分は注目
画素の周辺の積和演算であり、数学的にはある配列をカ
ーネルとするコンボリューション演算を行っていること
に相当する。ただし、上に挙げたうち、１次微分の絶対
値はコンボリューション演算の結果に対して絶対値をと
ったものであり、コンボリューション演算そのままでは
ない。このコンボリューション演算のカーネルは、ラプ
ラシアンの場合を例にとると、次のような３行３列のも
のである。

【０００９】 ０ １ ０ １ −４ １ ０ １ ０ これを下に示す、注目する画素の周辺の画素の対応する
ものと積和したものがコンボリューション演算であるこ
とはいうまでもない。

【００１０】 a(i-1,j-1) a(i,j-1) a(i+1,j-1) a(i-1,j) a(i,j) a(i+1,j) a(i-1,j+1) a(i,j+1) a(i+1,j+1) すなわち、上記ラプラシアンは下記の積和演算を行った
ものである。

【００１１】 0×a(i-1,j-1) + 1×a(i,j-1) + 0×a(i+1,j-1) + 1×a(i-1,j) + (-4)×a(i,j) + 1×a(i+1,j) + 0×a(i-1,j+1) + 1×a(i,j+1) + 0×a(i+1,j+1) この種のコンボリューション演算は３行３列のものに限
らず、自然数ｎ、ｍに対して、ｎ行ｍ列のものが存在
し、エッジ抽出に適用可能であることが知られている。

【００１２】次に、これらのエッジをつなぐ方法として
は、エッジ追跡法が一般的である。この方式は公知例２
の第１３１ページから第１３７ページに示されている。
この方法は種々考案されているが、基本的に、画像中の
対象物体の輪郭上の１点を指定し、そこから周辺にエッ
ジのある方向を探索して、これを次々繋いでいくことに
より輪郭を求めるものである。また、指定する点の方向
を利用した対話的方式もある（特開平7-121710、公知例
２）。公知例２の概要を簡単に説明すると、輪郭上の一
画素を指定し、その指定された画素から逐次的に輪郭上
の画素を決定するのに際し、該指定された画素、あるい
は、それまで逐次的に決定された最後の画素から次に決
定される画素の探索を行なう方向を外部から入力指定す
る手段を導入し、その情報を用いた輪郭探索を行うもの
としたものである。また、複雑な輪郭形状に対応するた
め、探索の方向の指示を柔軟に行えるような外部からの
指示入力機能を備えるものである。また、エッジを用い
る方法での欠点である誤ったエッジをつないでしまった
ときに、それをやり直すための、外部からの入力指示機
能を備えるものである。この手法によれば、それまで逐
次的に決定された最後の画素から次に決定される画素の
探索を行なう方向を外部から入力指定する手段を導入す
ることにより、次に探索すべきエッジの方向に関する情
報をその都度指定することが可能になり、処理に際し
て、異なる方向のエッジを検出するオペレータを選択し
て用いることが可能になり、結果的に有効なエッジ探索
が行われることになる。また、その方向指示を輪郭抽出
の進行に従って細かく指示するための外部入力きのうに
より、複雑な輪郭形状に対応できる、また、やりなおし
の指示に対応するための外部入力機能もあり、再び探索
方向を指示することにより正しい輪郭抽出が可能にな
る。

【００１３】

【発明が解決しようとする課題】上記従来技術のうち、
公知例１のエッジをつなぐ方法では、エッジの候補が多
数表れたり、とぎれたりするため、つなぎ方がうまくい
かないことが多い。また、公知例２の方法は対話処理に
より複雑な輪郭も抽出可能な方法であるが、外部からの
指示入力をマウス、テンキー、トラックボール、ジョイ
スティックなどの指示デバイスで行うことを想定した場
合に、輪郭候補の表示がマウスクリックを行った時点等
のタイミングであり、指示デバイスのその時々の動きの
情報が反映されていない点問題があった。

【００１４】

【課題を解決するための手段】上記問題点を解決する
為、エッジを用いる方式において、輪郭上の一画素を指
定し、その指定された画素から逐次的に輪郭上の画素を
決定するのに際し、（１）該指定された画素、あるい
は、それまで逐次的に決定された最後の画素から上記マ
ーカ位置により決定される位置までの次輪郭候補を探索
し決定するステップ、（２）その結果の輪郭候補を表示
するステップ、（３）マーカ位置が変動した場合には直
前に表示した輪郭候補を消去するステップ、（４）予め
指定された外部からの入力により輪郭候補を逐次的に決
定された輪郭とするステップを含む処理を行うものであ
る。

【００１５】

【発明の実施の形態】以下、本発明の１実施例である画
像セグメンテーションシステムにつき、図１から図４を
用いて説明する。最初に実施例の概要、目的を簡単に説
明しておくと、図４のように画面上に表示された画像中
の対象物（この場合は車）の輪郭を対話的に抽出するも
のである。マウス、テンキー、トラックボール、ジョイ
スティックなどの計算機用の指示デバイスを用いて、粗
いおおざっぱな外部からの入力（人手を想定）により、
輪郭付近をカーソル（マーカ）でなぞると、その付近ま
での輪郭候補がカーソルの動きに応じて表示されていく
ので、適宜、マウスクリックのような外部からの指示
（人手を想定）によって輪郭候補を決定輪郭としていく
ことにより対象物に忠実な輪郭（太線部）が抽出されて
いく。

【００１６】まず、図３は本発明の実施例のハ−ドウェ
ア構成図であって、通常のカラー画像表示が可能なワー
クステーションやパーソナルコンピュータの構成を示し
たものである。シングルバスアーキテクチャのものが示
してあるがこれに限られるものではない。また、本発明
はネットワークにより互いに接続されているコンピュー
タシステムで計算機資源を分散して実施することも可能
であり、本図面に示してあるスタンドアロンコンピュー
タに限られるものではない。この図中、演算などを主プ
ロセッサ３０１が主記憶４０２を主に利用して行う。画
像や文字などの表示はフレームバッファ３０３上に形成
されたビットマップパタンをディスプレイコントローラ
３０４が制御し、ディスプレイ３０５に表示される。画
像やプログラムなどの情報はハードディスク３０７に蓄
えられているが、画像はイメージスキャナ等の画像入力
装置３０８から入力することもできる。ハードディスク
３０７や画像入力装置は入出力プロセッサ３０６で制御
される。また、外部からの命令、指示はキーボード３０
９やマウス３１０から入力される。また、これらはシス
テムバス３１１で結合され、これを介してデータを交換
する。

【００１７】ここで、マウス３１０の機能について説明
すると、マウス３１０の位置に応じディスプレイ３０５
上に小さな矢印等のカーソル（マーカ）が表示され、マ
ウス３１０を動かすことにより、操作者はこの矢印をデ
ィスプレイ３０５の画面上で自由に動かすことができ
る。また、マウス３１０上には区別して用いることがで
きる右ボタンと左ボタンの二つがあり、これを押すと、
ディスプレイ３０５上の画面中の矢印等の先の位置情報
が得られ、本ハードウェア上での応用ソフトウェアで用
いることができる。以下、この操作を「ピックする」と
いう用語を用いることにする。また、ボタンが押されて
いる、いないかを区別することができるものとし、それ
ぞれ、マウスＯＮ、マウスＯＦＦの状態と呼ぶ。マウス
には制御方法、ボタンの数など各種あり、これに限定さ
れるものではない。また、指示デバイスはマウスに限ら
れなく、トラックボール、ジョイスティック、テンキー
などでも同様の処理が行われる。

【００１８】また、ディスプレイ３０５上に表示される
画像の質については、縦横１０００×１０００程度すな
わち１画面１００万画素程度で、赤青緑それぞれ２５６
階調で合計１６７０万色程度のものが一般的であるの
で、本発明でもこの程度の画質のものを用いる。しか
し、これに限定されるものではない。画像入力装置３０
８もこれに対応できるものを用いる。

【００１９】次に、図２は主に、図３主記憶３０２上に
形作られるところの、メモリの論理的構成図である。大
きく分けて、プログラムメモリ２０１とデータメモリ２
０２からなるが、計算機システムのオペレーションシス
テム等の部分は除外してあり、本発明に関連する部分の
み示してある。プログラムメモリは全体の処理の流れを
制御する全体制御部２０３、輪郭自動推定部２０４、輪
郭表示制御部２０５よりなる。データメモリ２０２は、
画像データ２０６、抽出される輪郭データ２０７、エッ
ジ検出に用いられるエッジ検出オペレータのコンボリュ
ーションのカーネルパタンであるところのエッジオペレ
ータのカーネルデータ２０８、作業用の領域２０９より
なる。

【００２０】図１は本発明の１実施例の処理の流れ図で
ある。

【００２１】ステップ１０１では処理対象の画像を入力
する。画像は図２画像データ２０６に格納され、その内
容は図３ディスプレイ３０５に表示される。

【００２２】ステップ１０２では、探索の開始点となる
画素Ｐ（１）をマウスピック操作により指定する。すな
わち、マウス操作でカーソルを輪郭画素の上にもってい
き、左ボタンを押す操作をする。なお、本実施例では、
点の指定は左ボタン、動作の制御（ステップ１０６な
ど）では右ボタンを用いる。

【００２３】ステップ１０３ではマウスの画像上での位
置を検出する。

【００２４】ステップ１０４ではマウス位置の入力によ
り輪郭候補の探索・検出を行う。この実施例では公知例
２の方式を用いる。

【００２５】ステップ１０５ではステップ１０４で抽出
された輪郭候補を表示する。

【００２６】ステップ１０６は分岐処理である。マウス
の右ボタンが押されている場合には輪郭候補を決定輪郭
としてステップ１０８へと進む。押されていない場合に
はステップ１０７へと進み表示した輪郭候補を消去し、
ステップ１０３へと戻る。

【００２７】

【発明の効果】本発明ではマウスの位置情報を常に利用
するので、輪郭候補の表示を即座に行うことができる効
果がある。

【図面の簡単な説明】

【図１】本発明の１実施例の処理の流れ図

【図２】本発明の１実施例のメモリー構成図

【図３】本発明の１実施例のハードウェア構成図

【図４】輪郭探索方法の説明図

【符号の説明】

１０１…画像を入力するステップ、 １０２…第１点を輪郭上で指定するステップ、 １０３…マウスの位置を検出するステップ、 １０４…輪郭候補の検索・決定を行うステップ、 １０５…輪郭候補抽出結果を表示するステップ、 １０６…マウスクリックの有無を判定するステップ、 １０７…輪郭候補を消去するステップ、 １０８…輪郭候補を輪郭として決定するステップ

Claims (4)

【特許請求の範囲】
1. 【請求項１】ディジタル的に表現されたカラーあるいは
   白黒濃淡の画像を表示する機能、その上に重畳して外部
   入力に従ってマーカを表示する機能を持つ計算機システ
   ム上で、ディジタル画像の中から特定の対象物を切り出
   す方法において、外部からの入力により輪郭上の一画素
   を指定し、その指定された画素から逐次的に輪郭上の画
   素を決定するのに際し、（１）該指定された画素、ある
   いは、それまで逐次的に決定された最後の画素から上記
   マーカ位置により決定される位置までの次輪郭候補を探
   索し決定するステップ、（２）その結果の輪郭候補を表
   示するステップ、（３）マーカ位置が変動した場合には
   直前に表示した輪郭候補を消去するステップ、（４）予
   め指定された外部からの入力により輪郭候補を逐次的に
   決定された輪郭とするステップを含むことを特徴とする
   画像セグメンテーション方法。
2. 【請求項２】上記マーカは計算機システムにおけるマウ
   ス、テンキー、トラックボール、ジョイスティックなど
   いわゆる指示デバイスの動作により計算機ディスプレイ
   上に生成されたカーソルパタンであるところの請求項第
   １の画像セグメンテーション方法。
3. 【請求項３】上記輪郭候補を探索し決定するステップ
   は、 外部からの入力により輪郭上の一画素を指定し、該指定
   された画素、および、それまで逐次的に決定された最後
   の画素から次に決定される画素の探索を行なう方向を外
   部から入力し、それに指定された方向の輪郭を、指定さ
   れた方向に探索し決定するところの請求項第１の画像セ
   グメンテーション方法。
4. 【請求項４】指定された方向の輪郭の探索は、その方向
   のエッジ成分を選択的に抽出するエッジ検出オペレータ
   を用いたエッジ画像上で行うことを特徴とする第３項の
   画像セグメンテーション方法。