JP2002222419A - 画像領域分割装置及びその方法ならびに処理プログラムが記録された記録媒体 - Google Patents

画像領域分割装置及びその方法ならびに処理プログラムが記録された記録媒体

Info

Publication number
JP2002222419A
JP2002222419A JP2001020364A JP2001020364A JP2002222419A JP 2002222419 A JP2002222419 A JP 2002222419A JP 2001020364 A JP2001020364 A JP 2001020364A JP 2001020364 A JP2001020364 A JP 2001020364A JP 2002222419 A JP2002222419 A JP 2002222419A
Authority
JP
Japan
Prior art keywords
clustering
feature amount
feature
group
setting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2001020364A
Other languages
English (en)
Inventor
Mikihiko Terajima
幹彦 寺島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Optical Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Optical Co Ltd filed Critical Olympus Optical Co Ltd
Priority to JP2001020364A priority Critical patent/JP2002222419A/ja
Publication of JP2002222419A publication Critical patent/JP2002222419A/ja
Pending legal-status Critical Current

Links

Abstract

(57)【要約】 【課題】画像の特徴量群が散逸しクラスタをはっきり形
成しないため分離しにくい場合あるいは画像の特徴量群
の性質によらず意図的にクラスタリングしたい場合に
も、精度よく所望の分割結果を得ることができるように
する。 【解決手段】画像を構成する画素の特徴量を抽出する特
徴量抽出部2と、各画素の特徴量からなる特徴量群を特
徴量に基づき特徴量空間においてクラスタリングする第
一クラスタリング部3と、クラスタリングされた各特徴
量群に対して、再クラスタリングを行う条件を設定する
クラスタリング補助情報設定部4と、設定された条件に
基づき、再クラスタリングを行うと判定された特徴量群
を特徴量に基づき特徴量空間において再度クラスタリン
グする第二クラスタリング部5と、クラスタリングされ
た特徴量群から画像を分割する演算を行う分割結果演算
部6と、分割された画像分割の結果を出力する分割結果
出力部7とを有する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、画像領域分割装置
及びその方法ならびに処理プログラムが記録された記録
媒体に関する。
【0002】
【従来の技術】画像中の各画素に対応する特徴量群を特
徴量空間でクラスタリングすることにより、画像を複数
の領域に分割(セグメンテーション)する装置が従来よ
り知られており、例えば、「コンピュータビジョン、第
五章、富永昌治、新技術コミュニケーションズ発行」に
開示されている。
【0003】図9(A)はこのような画像分割の概略を
説明するための図である。まず入力画像の各画素におい
て、さまざまな特徴量を抽出する(ステップS11)。
次に各画素において抽出された各特徴量を並べて特徴ベ
クトルとする(ステップS12)。次にこの特徴ベクト
ルをnクラスタ(例、n=4)にクラスタリングする
(ステップS13)。次に各画素に対して、クラス分類
結果のラベル(n個)を付けることにより画像を領域分
割する(ステップS14)。図9(B)は上記した画像
分割の具体例を示している。
【0004】一般には、クラスタリング手法での予め設
定されているクラスタ数が分割領域数になるが、分割結
果が所望の結果になるよう、設定クラスタ数を複数用意
し、その中から最適な結果を何らかの指標により選択す
ることが「Pattern Recognition, Vol.24, No.12, pp11
67-1186, 1991」で提案されている。
【0005】
【発明が解決しようとする課題】従来技術の、画像中の
各画素に対応する特徴量群をクラスタリングすることに
より、画像を複数の領域に分割する装置は、クラスタリ
ング手法での予め設定されているクラスタ数が分割領域
数になる。よって一般的には分割結果が所望の結果にな
るとは限らない。設定クラスタ数を複数用意し、その中
から最適な結果を何らかの指標により選択することが考
えられている(Pattern Recognition, Vol.24, No.12,
pp1167-1186, 1991)が、データの分布が明らかにクラ
スタを形成し、きれいにクラスタ毎に分離しやすくなっ
ており、かつ、クラスタ毎に分類した結果が所望の分割
結果に相当している場合にのみ効果がある。しかし、一
般には特徴量群は明らかにクラスタを形成しているとは
限らない。また、明らかにクラスタを形成していたとし
ても、そのクラスタ毎に分類した結果が所望の分割結果
に相当していない場合もある。
【0006】このことを例を用いて簡単に説明する。図
10のような山(緑からなる)と空(山沿いの薄い青と
上空の濃い青からなる)の画像を、色を示す特徴量をク
ラスタリングすることにより分割することを考える。こ
の特徴量群(例では簡単に2次元とした)が仮に図11
(A)のように分布していれば、クラスタ数が2で所望
の分割結果は図11(B)のようになり、空と山が分け
られた最適な分割結果となる。しかし、特徴量群は一般
に明らかなクラスタを形成しているとは限らず、この場
合は、過分割や過統合を引き起こす。そこで、特徴量抽
出方法を工夫し、色を識別しやすいように明らかにクラ
スタを形成するようにした結果、図12(A)のように
なったとする。特徴量空間では明らかに3個のクラスタ
なので、何らかの定量的な分類指標に従い3個に分類す
ると、分割結果では空が分断されてしまい最適といえな
い結果になる(図12(B))。一般に、クラスタリン
グ手法はデータの分布にのみ依存してしまうので、分割
結果が所望の結果になるとは限らないのである。
【0007】本発明は、上述の問題点に鑑みてなされた
ものであり、画像中の各画素に対応する特徴量群を特徴
量空間でクラスタリングすることにより、画像を複数の
領域に分割する装置に関し、画像の特徴量群が散逸しク
ラスタをはっきり形成しないため分離しにくい場合、あ
るいは画像の特徴量群の性質によらず意図的にクラスタ
リングしたい場合にも、精度よく所望の分割結果を得る
ことができる画像領域分割装置及びその方法ならびに処
理プログラムが記録された記録媒体を提供することにあ
る。
【0008】
【課題を解決するための手段】上記の目的を達成するた
めに、第1の発明は、画像を構成する画素の特徴量よ
り、この画像を複数の領域に分割する画像領域分割装置
であって、画像を構成する画素の特徴量を抽出する特徴
量抽出手段と、抽出された各画素の特徴量からなる特徴
量群を特徴量に基づき特徴量空間においてクラスタリン
グする第1のクラスタリング手段と、この第1のクラス
タリング手段によりクラスタリングされた各特徴量群に
対して、再クラスタリングを行う条件を設定する再クラ
スタリング補助情報設定手段と、この再クラスタリング
補助情報設定手段により設定された条件に基づき、再ク
ラスタリングを行うと判定された特徴量群を特徴量に基
づき特徴量空間において再度クラスタリングする第2の
クラスタリング手段と、この第2のクラスタリング手段
によりクラスタリングされた特徴量群から画像を分割す
る演算を行う分割演算手段と、この分割演算手段により
分割された画像分割の結果を出力する分割画像出力手段
とを有する。
【0009】また、第2の発明は、第1の発明に係る画
像領域分割装置において、上記第1のクラスタリング手
段は、各画素に対応した特徴量群を特徴量に基づき特徴
量空間においてクラスタリングする分類手段と、クラス
タリングされた特徴量群の代表特徴量を設定するクラス
タ代表特徴量設定手段を有し、上記再クラスタリング補
助情報設定手段は、再クラスタリングを実行するかの決
定に用いる特徴量を設定する再クラスタリング判定用特
徴量設定手段を有し、上記第2のクラスタリング手段
は、上記特徴量群の代表特徴量と上記再クラスタリング
判定用特徴量設定手段により設定された特徴量の類似度
を計算する類似度計算手段と、この計算された類似度に
基づき再クラスタリングを実行するかを決定する判定部
と、判定部の決定により再クラスタリングを行うと判定
された特徴量群を特徴量に基づき特徴量空間において再
度クラスタリングする再分類手段とを有する。
【0010】また、第3の発明は、第1の発明に係る画
像領域分割装置において、上記第1のクラスタリング手
段は、各画素に対応した特徴量群を特徴量に基づき特徴
量空間においてクラスタリングする分類手段と、クラス
タリングされた特徴量群の代表特徴量を設定するクラス
タ代表特徴量設定手段を有し、上記再クラスタリング補
助情報設定手段は、上記第1のクラスタリング手段によ
りクラスタリングされた特徴量群をさらに分割し再クラ
スタリングを行うかの決定に用いる特徴量を設定する分
割判定用特徴量設定手段を有し、上記第2のクラスタリ
ング手段は、上記特徴量群の代表特徴量と上記分割判定
用特徴量の類似度を計算する類似度計算手段と、この計
算された類似度に基づき再クラスタリングを実行するか
を決定する判定部と、判定部の決定により再クラスタリ
ングを行うと判定された特徴量群を特徴量に基づき特徴
量空間において再度クラスタリングする再分類手段とを
有する。
【0011】また、第4の発明は、第1の発明に係る画
像領域分割装置において、上記第1のクラスタリング手
段は、各画素に対応した特徴量群を特徴量に基づき特徴
量空間においてクラスタリングする分類手段と、クラス
タリングされた特徴量群の代表特徴量を設定するクラス
タ代表特徴量設定手段を有し、上記再クラスタリング補
助情報設定手段は、上記第1のクラスタリング手段によ
りクラスタリングされた特徴量群を統合し再クラスタリ
ングを行うかの決定に用いる特徴量を設定する特徴量設
定手段を有し、上記第2のクラスタリング手段は、上記
特徴量群の代表特徴量と上記統合判定用特徴量の類似度
を計算する類似度計算手段と、この計算された類似度に
基づき再クラスタリングを実行するかを決定する判定部
と、判定部の決定により再クラスタリングを行うと判定
された特徴量群を特徴量に基づき特徴量空間において再
度クラスタリングする再分類手段とを有する。
【0012】また、第5の発明は、第2〜4のいずれか
一つの発明に係る画像領域分割装置において、上記分類
手段は、自己組織化ニューラルネットワークを用いて上
記特徴量群を分類し、上記クラスタ代表特徴量設定手段
は、自己組織化ニューラルネットワークの各組織の重み
をクラスタ代表特徴量として設定する。
【0013】また、第6の発明は、第4の発明に係る画
像領域分割装置において、上記分類手段は、自己組織化
ニューラルネットワークを用いて上記特徴量群を分類
し、上記クラスタ代表特徴量設定手段は、自己組織化ニ
ューラルネットワークの各組織の重みをクラスタ代表特
徴量として設定し、上記再分類手段は上記自己組織化ニ
ューラルネットワークの隣接素子に対応するクラスタの
特徴量群を統合することにより、上記第1のクラスタリ
ング手段でクラスタリングした特徴量群を再分類する。
【0014】また、第7の発明は、画像を構成する画素
の特徴量より、この画像を複数の領域に分割する画像領
域分割方法であって、画像を構成する画素の特徴量を抽
出する特徴量抽出工程と、抽出された各画素の特徴量か
らなる特徴量群を特徴量に基づき特徴量空間においてク
ラスタリングする第1のクラスタリング工程と、この第
1のクラスタリング工程においてクラスタリングされた
各特徴量群に対して、再クラスタリングを行う条件を設
定する再クラスタリング補助情報設定工程と、この再ク
ラスタリング補助情報設定工程において設定された条件
に基づき、再クラスタリングを行うと判定された特徴量
群を特徴量に基づき特徴量空間において再度クラスタリ
ングする第2のクラスタリング工程と、この第2のクラ
スタリング工程においてクラスタリングされた特徴量群
から画像を分割する演算を行う分割演算工程と、この分
割演算工程において分割された画像分割の結果を出力す
る分割画像出力工程とを有する。
【0015】また、第8の発明は、第7の発明に係る画
像領域分割方法において、上記第1のクラスタリング工
程は、各画素に対応した特徴量群を特徴量に基づき特徴
量空間においてクラスタリングする分類工程と、クラス
タリングされた特徴量群の代表特徴量を設定するクラス
タ代表特徴量設定工程を有し、上記再クラスタリング補
助情報設定工程は、再クラスタリングを実行するかの決
定に用いる特徴量を設定する再クラスタリング判定用特
徴量設定工程を有し、上記第2のクラスタリング工程
は、上記特徴量群の代表特徴量と上記再クラスタリング
判定用特徴量設定工程において設定された特徴量の類似
度を計算する類似度計算工程と、この計算された類似度
に基づき再クラスタリングを実行するかを決定する判定
工程と、判定工程での決定により再クラスタリングを行
うと判定された特徴量群を特徴量に基づき特徴量空間に
おいて再度クラスタリングする再分類工程とを有する。
【0016】また、第9の発明は、第7の発明に係る画
像領域分割方法において、上記第1のクラスタリング工
程は、各画素に対応した特徴量群を特徴量に基づき特徴
量空間においてクラスタリングする分類工程と、クラス
タリングされた特徴量群の代表特徴量を設定するクラス
タ代表特徴量設定工程を有し、上記再クラスタリング補
助情報設定工程は、上記第1のクラスタリング工程にお
いてクラスタリングされた特徴量群をさらに分割し再ク
ラスタリングを行うかの決定に用いる特徴量を設定する
分割判定用特徴量設定工程を有し、上記第2のクラスタ
リング工程は、上記特徴量群の代表特徴量と上記分割判
定用特徴量の類似度を計算する類似度計算工程と、この
計算された類似度に基づき再クラスタリングを実行する
かを決定する判定工程と、判定工程での決定により再ク
ラスタリングを行うと判定された特徴量群を特徴量に基
づき特徴量空間において再度クラスタリングする再分類
工程とを有する。
【0017】また、第10の発明は、第7の発明に係る
画像領域分割方法において、上記第1のクラスタリング
工程は、各画素に対応した特徴量群を特徴量に基づき特
徴量空間においてクラスタリングする分類工程と、クラ
スタリングされた特徴量群の代表特徴量を設定するクラ
スタ代表特徴量設定工程を有し、上記再クラスタリング
補助情報設定工程は、上記第1のクラスタリング工程に
おいてクラスタリングされた特徴量群を統合し再クラス
タリングを行うかの決定に用いる特徴量を設定する特徴
量設定工程を有し、上記第2のクラスタリング工程は、
上記特徴量群の代表特徴量と上記統合判定用特徴量の類
似度を計算する類似度計算工程と、この計算された類似
度に基づき再クラスタリングを実行するかを決定する判
定工程と、判定工程での決定により再クラスタリングを
行うと判定された特徴量群を特徴量に基づき特徴量空間
において再度クラスタリングする再分類工程とを有す
る。
【0018】また、第11の発明は、第8〜10のいず
れか一つの発明に係る画像領域分割方法において、上記
分類工程は、自己組織化ニューラルネットワークを用い
て上記特徴量群を分類し、上記クラスタ代表特徴量設定
工程は、自己組織化ニューラルネットワークの各組織の
重みをクラスタ代表特徴量として設定する。
【0019】また、第12の発明は、第10の発明に係
る画像領域分割方法において、上記分類工程は、自己組
織化ニューラルネットワークを用いて上記特徴量群を分
類し、上記クラスタ代表特徴量設定工程は、自己組織化
ニューラルネットワークの各組織の重みをクラスタ代表
特徴量として設定し、上記再分類工程は上記自己組織化
ニューラルネットワークの隣接素子に対応するクラスタ
の特徴量群を統合することにより、上記第1のクラスタ
リング工程においてクラスタリングした特徴量群を再分
類する。
【0020】また、第13の発明は、画像を構成する画
素の特徴量より、この画像を複数の領域に分割する画像
領域分割処理をコンピュータに実行させる命令を含むプ
ログラムを格納した、コンピュータが読取り可能な記録
媒体であって、前記画像領域分割処理は、画像を構成す
る画素の特徴量を抽出する特徴量抽出工程と、抽出され
た各画素の特徴量からなる特徴量群を特徴量に基づき特
徴量空間においてクラスタリングする第1のクラスタリ
ング工程と、この第1のクラスタリング工程においてク
ラスタリングされた各特徴量群に対して、再クラスタリ
ングを行う条件を設定する再クラスタリング補助情報設
定工程と、この再クラスタリング補助情報設定工程にお
いて設定された条件に基づき、再クラスタリングを行う
と判定された特徴量群を特徴量に基づき特徴量空間にお
いて再度クラスタリングする第2のクラスタリング工程
と、この第2のクラスタリング工程においてクラスタリ
ングされた特徴量群から画像を分割する演算を行う分割
演算工程と、この分割演算工程において分割された画像
分割の結果を出力する分割画像出力工程とを有する。
【0021】また、第14の発明は、第13の発明に係
る記録媒体において、上記第1のクラスタリング工程
は、各画素に対応した特徴量群を特徴量に基づき特徴量
空間においてクラスタリングする分類工程と、クラスタ
リングされた特徴量群の代表特徴量を設定するクラスタ
代表特徴量設定工程を有し、上記再クラスタリング補助
情報設定工程は、再クラスタリングを実行するかの決定
に用いる特徴量を設定する再クラスタリング判定用特徴
量設定工程を有し、上記第2のクラスタリング工程は、
上記特徴量群の代表特徴量と上記再クラスタリング判定
用特徴量設定工程において設定された特徴量の類似度を
計算する類似度計算工程と、この計算された類似度に基
づき再クラスタリングを実行するかを決定する判定工程
と、判定工程での決定により再クラスタリングを行うと
判定された特徴量群を特徴量に基づき特徴量空間におい
て再度クラスタリングする再分類工程とを有する。
【0022】また、第15の発明は、第13の発明に係
る記録媒体において、上記第1のクラスタリング工程
は、各画素に対応した特徴量群を特徴量に基づき特徴量
空間においてクラスタリングする分類工程と、クラスタ
リングされた特徴量群の代表特徴量を設定するクラスタ
代表特徴量設定工程を有し、上記再クラスタリング補助
情報設定工程は、上記第1のクラスタリング工程におい
てクラスタリングされた特徴量群をさらに分割し再クラ
スタリングを行うかの決定に用いる特徴量を設定する分
割判定用特徴量設定工程を有し、上記第2のクラスタリ
ング工程は、上記特徴量群の代表特徴量と上記分割判定
用特徴量の類似度を計算する類似度計算工程と、この計
算された類似度に基づき再クラスタリングを実行するか
を決定する判定工程と、判定工程での決定により再クラ
スタリングを行うと判定された特徴量群を特徴量に基づ
き特徴量空間において再度クラスタリングする再分類工
程とを有する。
【0023】また、第16の発明は、第13の発明に係
る記録媒体において、上記第1のクラスタリング工程
は、各画素に対応した特徴量群を特徴量に基づき特徴量
空間においてクラスタリングする分類工程と、クラスタ
リングされた特徴量群の代表特徴量を設定するクラスタ
代表特徴量設定工程を有し、上記再クラスタリング補助
情報設定工程は、上記第1のクラスタリング工程におい
てクラスタリングされた特徴量群を統合し再クラスタリ
ングを行うかの決定に用いる特徴量を設定する特徴量設
定工程を有し、上記第2のクラスタリング工程は、上記
特徴量群の代表特徴量と上記統合判定用特徴量の類似度
を計算する類似度計算工程と、この計算された類似度に
基づき再クラスタリングを実行するかを決定する判定工
程と、判定工程での決定により再クラスタリングを行う
と判定された特徴量群を特徴量に基づき特徴量空間にお
いて再度クラスタリングする再分類工程とを有する。
【0024】また、第17の発明は、第14〜16のい
ずれか一つに係る記録媒体において、上記分類工程は、
自己組織化ニューラルネットワークを用いて上記特徴量
群を分類し、上記クラスタ代表特徴量設定工程は、自己
組織化ニューラルネットワークの各組織の重みをクラス
タ代表特徴量として設定する。
【0025】また、第18の発明は、第16の発明に係
る記録媒体において、上記分類工程は、自己組織化ニュ
ーラルネットワークを用いて上記特徴量群を分類し、上
記クラスタ代表特徴量設定工程は、自己組織化ニューラ
ルネットワークの各組織の重みをクラスタ代表特徴量と
して設定し、上記再分類工程は上記自己組織化ニューラ
ルネットワークの隣接素子に対応するクラスタの特徴量
群を統合することにより、上記第1のクラスタリング工
程においてクラスタリングした特徴量群を再分類する。
【0026】
【発明の実施の形態】まず本実施形態の概略を説明す
る。本実施形態の第1の概略に係る画像領域分割装置
は、分割すべき画像を入力する画像入力部と、画像中の
各画素に対応した特徴量群を抽出する特徴量抽出部と、
前記特徴量群をクラスタリングする第一クラスタリング
部と、前記第一クラスタリング部によってクラスタリン
グされた各クラスタ毎の特徴量群に対し、再クラスタリ
ングするかを判定するためのクラスタリング補助情報を
設定するクラスタリング補助情報設定部と、前記クラス
タリング補助情報を用いて、前記第一クラスタリング部
によってクラスタリングされた特徴量群を再度クラスタ
リングする第二クラスタリング部と、前記第二クラスタ
リング部によってクラスタリングされた特徴量群から分
割結果を演算する分割結果演算部と、分割結果を出力す
る分割結果出力部からなる。
【0027】図1を参照して、上記した第1の概略に係
る画像領域分割装置の作用および効果を説明する。先
ず、画像入力部1で、分割すべき画像aを入力する。続
いて特徴量抽出部2において、画像中の性質を示す特徴
量を、入力画像a中の各画素に対して抽出する。得られ
た特徴量群bを第一クラスタリング部3において複数の
クラスタに分類する。続いて、クラスタリングされた特
徴量群cを再クラスタリングするかを判定するために、
クラスタリング補助情報設定部4においてクラスタリン
グ補助情報dを設定する。クラスタリング補助情報dは
クラスタリングされた各々の特徴量群cに対し、再クラ
スタリング(再統合すべきか再分割すべきか)を指示す
る情報となっていればよい。第二クラスタリング部5で
は、クラスタリングされた特徴量群cをクラスタリング
補助情報dに基づき再統合あるいは再分割し、再度、複
数のクラスタに分類する。続いて分割結果演算部6で、
クラスタリングされた特徴量群eを用いて画像の分割結
果を計算する。そして分割結果出力部7にて分割結果f
を出力する。
【0028】本実施形態の第1の概略によれば、まず最
初に特徴量群の分布の性質に基づき、第一クラスタリン
グ部3において複数のクラスタに分類し、続いてクラス
タリングされた各々の特徴量群cに対し、再クラスタリ
ング(再統合すべきか再分割すべきか)を意図的に指示
することにより、再度クラスタリングを行うことができ
る。従って、画像の特徴量群が散逸しクラスタをはっき
り形成しないため分離しにくい場合でも、まず、ラフに
分類させた後で意図的に各々の特徴量群に対し、再統合
すべきか再分割すべきかを指示できるので、所望の分割
結果に近づけることが可能になる。また、画像の特徴量
群の性質によらず意図的にクラスタリングしたい場合に
も、そのようにクラスタリング補助情報dを与えること
により、精度よく所望の分割結果を得ることができる。
【0029】次に本実施形態の第2の概略に係る画像領
域分割装置は、第1の概略において、第一クラスタリン
グ部が、特徴量をクラスタに分類する分類部と、各クラ
スタ毎の代表特徴量を設定するクラスタ代表特徴量設定
部を有し、クラスタリング補助情報設定部が、再クラス
タリング判定用特徴量を設定する再クラスタリング判定
用特徴量設定部を有し、第二クラスタリング部が、前記
各クラスタ毎のクラスタ代表特徴量と前記再クラスタリ
ング判定用特徴量との類似度を計算する類似度計算部
と、その類似度に従い再クラスタリングするかどうか判
定する判定部と、その判定結果に従い前記第一クラスタ
リング部によってクラスタリングされた特徴量群を分類
する分類部を有する。
【0030】図2を参照して、上記した第2の概略に係
る画像領域分割装置の作用および効果を説明する。第2
の概略の第一クラスタリング部3は、特徴量群bをクラ
スタに分類する分類部31と、各クラスタ毎の代表特徴
量gを設定するクラスタ代表特徴量設定部32を有す
る。また、クラスタリング補助情報設定部4は、再クラ
スタリング判定用特徴量d1を設定する再クラスタリン
グ判定用特徴量設定部41を有する。また、第二クラス
タリング部5は、クラスタ代表特徴量gと再クラスタリ
ング判定用特徴量d1との類似度を計算する類似度計算
部51と、その類似度に従い再クラスタリングするかど
うかを判定する判定部52と、その判定結果に従い第一
クラスタリング部3によってクラスタリングされた特徴
量群cを分類する分類部53を有する。以下に各部の作
用をより具体的に説明する。
【0031】分類部31では、特徴量抽出部2で得られ
た特徴量群bを複数個のクラスタに分類する。クラスタ
代表特徴量設定部32では、各クラスタ毎の性質を示す
代表特徴量gを設定する。代表特徴量gは、各クラスタ
の性質を代表して示すものなら何でもよく、例えば各ク
ラスタに属する特徴量群の平均特徴量でもよいし中央特
徴量であってもよい。再クラスタリング判定用特徴量設
定部41では、クラスタリングされた各々の特徴量群c
を再クラスタリングするかを判定するために、再クラス
タリング判定用特徴量d1を設定する。この時、再クラ
スタリングした方がより所望の分割結果に近いと予想さ
れる特徴量と同一または類似した値を再クラスタリング
判定用特徴量41として設定すればよい。
【0032】続いて第二クラスタリング部5では、まず
類似度計算部51で第一クラスタリング部3で設定され
た代表特徴量gと再クラスタリング判定用特徴量設定部
41で設定された再クラスタリング判定用特徴量d1と
の類似度を計算する。そして、判定部52において再ク
ラスタリング判定用特徴量との類似度が高かった代表特
徴量gのクラスタを再クラスタリングすべきと判定す
る。類似度の判定は例えばユークリッド距離などを計算
し、ある閾値以上の場合を類似度が高いと判定すればよ
い。その他には閾値を用いずに、再クラスタリングしな
い判定を下す特徴量を再クラスタリング判定用特徴量設
定部41で設定し、その非再クラスタリング判定用特徴
量d1’と再クラスタリング判定用特徴量d1に対して
類似度が高い方の特徴量の判定(非再クラスタリングo
r再クラスタリング)を行ってもよい。判定結果に従
い、前にクラスタリングされていた特徴量群cに対し、
分類部53において再度クラスタリングを行う。最後に
第1の概略と同様、再度クラスタリングされた特徴量群
eを用いて、分割結果演算部6で画像の分割結果を計算
する。そして分割結果出力部7にて分割結果fを出力す
る。
【0033】本実施形態の第2の概略によれば、再クラ
スタリング判定用特徴量設定部41で、クラスタリング
された各々の特徴量群cを再クラスタリングするかを判
定するために、再クラスタリング判定用特徴量d1を設
定し、クラスタ代表特徴量gとの類似度を計算して再度
クラスタリングを行うかを判定するので、より精度よく
所望の分割結果を得ることができる。
【0034】次に本実施形態の第3の概略に係る画像領
域分割装置は、第1の概略において、第一クラスタリン
グ部が、特徴量をクラスタに分類する分類部と、各クラ
スタ毎の代表特徴量を設定するクラスタ代表特徴量設定
部を有し、クラスタリング補助情報設定部が、分割判定
用特徴量を設定する分割判定用特徴量設定部を有し、第
二クラスタリング部が、前記各クラスタ毎のクラスタ代
表特徴量と前記分割判定用特徴量との類似度を計算する
類似度計算部と、その類似度に従い再クラスタリングす
るかどうかを判定する判定部と、その判定結果に従い前
記第一クラスタリング部によってクラスタリングされた
特徴量群を分類する分類部を有する。
【0035】図3を参照して、上記した第3の概略に係
る画像領域分割装置の作用および効果を説明する。第3
の概略のクラスタリング補助情報設定部4は、分割判定
用特徴量d2を設定する分割判定用特徴量設定部42を
有する。分割判定用特徴量設定部42では、クラスタリ
ングされた各々の特徴量群cを再分割するかを判定する
ために、分割判定用特徴量d2を設定する。この時、分
割した方がより所望の分割結果に近いと予想される特徴
量と同一または類似した値を分割判定用特徴量として設
定すればよい。続いて第二クラスタリング部5では、ま
ず類似度計算部51で第一クラスタリング部3で設定さ
れた代表特徴量gと分割判定用特徴量設定部42で設定
された分割判定用特徴量d2との類似度を計算する。そ
して、判定部52において分割判定用特徴量d2との類
似度が高かった代表特徴量gのクラスタを分割すべきと
判定する。類似度の判定は例えばユークリッド距離など
を計算し、ある閾値以上の場合を類似度が高いと判定す
ればよい。その他には閾値を用いずに、再クラスタリン
グしない判定を下す特徴量を分割判定用特徴量設定部4
2で設定し、その非再クラスタリング判定用特徴量d
2’と分割判定用特徴量d2に対して類似度が高い判定
(非分割、非統合または分割)を行ってもよい。判定結
果に従い、前にクラスタリングされていた特徴量群cに
対し、分類部53において分割処理を行う。最後に第1
の概略と同様、再度クラスタリングされた特徴量群eを
用いて、分割結果演算部6で画像の分割結果を計算す
る。そして分割結果出力部7にて分割結果fを出力す
る。
【0036】本実施形態の第3の概略によれば、分割判
定用特徴量設定部42で分割判定用特徴量d2を設定
し、クラスタ代表特徴量gとの類似度を計算して再分割
を行うかを判定する。従って、第一クラスタリング部3
において比較的少ないクラスタ数に分類されるように設
定し、第二クラスタリング部5において必要なクラスタ
のみ再分割するようにすれば、不必要に画像が分割され
るケースが軽減される。特に風景画像のように、画像が
比較的単純な領域で成り立っているような場合に過分割
がなくなり、より良い分割が可能になる。また、第2ク
ラスタリングの分類部53で行う処理が分割処理のみな
ので、処理が容易になり、かつ、高速な処理が可能にな
る。
【0037】次に本実施形態の第4の概略に係る画像領
域分割装置は、第1の概略において、第一クラスタリン
グ部が、特徴量をクラスタに分類する分類部と、各クラ
スタ毎の代表特徴量を設定するクラスタ代表特徴量設定
部を有し、クラスタリング補助情報設定部が、統合判定
用特徴量を設定する統合判定用特徴量設定部を有し、第
二クラスタリング部が、前記各クラスタ毎のクラスタ代
表特徴量と前記統合判定用特徴量との類似度を計算する
類似度計算部と、その類似度に従い再クラスタリングす
るかどうかを判定する判定部と、その判定結果に従い前
記第一クラスタリング部によってクラスタリングされた
特徴量群を分類する分類部を有する。
【0038】図4を参照して、上記した第4の概略に係
る画像領域分割装置の作用および効果を説明する。第4
の概略に係るクラスタリング補助情報設定部4は、統合
判定用特徴量d2を設定する統合判定用特徴量設定部4
3を有する。統合判定用特徴量設定部43では、クラス
タリングされた各々の特徴量群cを再統合するかを判定
するために、統合判定用特徴量d3を設定する。この
時、統合した方がより所望の分割結果に近いと予想され
る特徴量と同一または類似した値を統合判定用特徴量と
して設定すればよい。続いて第二クラスタリング部5で
は、まず類似度計算部51で第一クラスタリング部3で
設定された代表特徴量gと統合判定用特徴量設定部43
で設定された統合判定用特徴量d3との類似度を計算す
る。そして、判定部53において統合判定用特徴量d3
との類似度が高かった代表特徴量gを統合すべきと判定
する。類似度の判定は例えばユークリッド距離などを計
算し、ある閾値以上の場合を類似度が高いと判定すれば
よい。その他には閾値を用いずに、再クラスタリングし
ない判定を下す特徴量を統合判定用特徴量設定部43で
設定し、その非再クラスタリング判定用特徴量d3’と
統合判定用特徴量d3に対して類似度が高い方の判定
(非分割、非統合または統合)を行ってもよい。判定結
果に従い、前にクラスタリングされていた特徴量群cに
対し、分類部53において統合処理を行う。最後に第1
の概略と同様、再度クラスタリングされた特徴量群eを
用いて、分割結果演算部6で画像の分割結果を計算す
る。そして分割結果出力部7にて分割結果fを出力す
る。
【0039】本実施形態の第4の概略によれば、統合判
定用特徴量設定部43で統合判定用特徴量d3を設定
し、クラスタ代表特徴量gとの類似度を計算して再統合
を行うかを判定する。従って、第一クラスタリング部3
において比較的多いクラスタ数に分類されるように設定
し、第2クラスタリング部5において必要なクラスタの
み再統合するようにすれば、抽出したい対象物が過統合
されたり、分断されるケースが軽減され、より良い分割
が可能になる。特に画像から何らかのオブジェクト(人
物、自動車など)を抽出したいケースには最適である。
また、第2クラスタリング部5の分類部53で行う処理
が統合処理のみであり、かつ統合処理は特徴量群を単純
に連結するだけの処理なので、処理がさらに容易にな
り、かつ、さらに高速な処理が可能になる。
【0040】次に本実施形態の第5の概略に係る画像領
域分割装置は、第2〜第4の概略に係る画像領域分割装
置において、前記第一クラスタリング部の分類部が自己
組織化ニューラルネットワークを用いて前記特徴量群を
分類し、前記クラスタ代表特徴量設定部が自己組織化ニ
ューラルネットワークの各素子の重みをクラスタ代表特
徴量として設定する。
【0041】図1〜図5を参照して、上記した第5の概
略に係る画像領域分割装置の作用および効果を説明す
る。第5の概略に係る第一クラスタリング部3の分類部
31では自己組織化ニューラルネットワーク(詳しく
は、「T.Kohonen, Self - Organization and Associati
ve Memory , Third Edition, Springer-Verlag, Berli
n,1989.」参照)を用いて前記特徴量群を分類する。そ
して、クラスタ代表特徴量設定部32で自己組織化ニュ
ーラルネットワークの各素子の重みをクラスタ代表特徴
量gとして設定する。自己組織化ニューラルネットワー
ク(以下、SOMと略す)について簡単に説明する。
【0042】SOMでは、1次元あるいは2次元に配列
した素子(element)群(以下、これをマップとよぶ)
を用いるが、その構成は図5のように素子群の層(map
layer)とデータを入力する入力層(input layer)から
なる。このmap layerは、図5では2次元に並ぶ素子を
示しているが1次元に並ぶ素子を用いてもよい。input
layerはmap layerの全ての素子と結合しており、入力デ
ータをmap layerの全ての素子に与えることが可能であ
る。入力データは、スカラー、ベクトルいずれでもよい
が、ここではより一般的なベクトルx(n次元)として
考える。map layerの素子i(iはマップ上の1次元座
標とし、全素子数をk個とする)は全て重みベクトルm
i(n次元)を持つとする。SOMのアルゴリズムは、
入力ベクトルxと各素子の重みベクトルmiとの類似性
から更新すべき重みベクトルを決定する<類似性マッチ
ング>と、その重みベクトルmiとその近傍の素子の重
みベクトルを入力ベクトルxの方に近付ける<更新>手
続きからなる。即ち、これらは数学的に以下のように表
現できる。
【0043】 <類似性マッチング> mc(t+1)=min|x−mi| (1) <更新> mi(t+1)=mi(t)+α(t){x(t)−mi(t)} i∈Nc mi(t+1)=mi(t) その他 (2) ここで|x−mi|はxとmiのユークリッド距離、サ
フィクスCはその距離が最も小さかった素子(勝利素
子)を意味する。Ncは勝利素子Cのmap layerでの近
傍素子を要素とする部分集合、α(t)は正の学習パラ
メータ、tは時刻または更新回数を示す。更新を繰り返
しながら、Ncとα(t)の大きさを徐々に小さくす
る。なお、α(t)は勝利素子から離れるに従い、小さ
くなるように選んでもよい。
【0044】入力ベクトルxの集合からランダムにxを
選んで逐次SOMネットワークに入力し、重みベクトル
miの更新を繰り返せば、入力ベクトルxの分布を反映
する重みベクトル群mi(1≦i≦k)が生成される。
即ち、重みベクトルmi(1≦i≦k)が入力ベクトル
xの分布を量子化したプロトタイプになっている。そし
て、ある素子の重みベクトルを更新するとき、マップ上
のその素子の近傍の素子も同時に更新するので、マップ
上で隣接する素子同士は、それぞれ、入力ベクトルの空
間上でも近いベクトルに対応するようになる。従ってS
OMは、入力データ空間の位相を反映した重み(プロト
タイプ)の集合を形成したものとなる。
【0045】第5の概略の第一クラスタリング部の分類
部31では、特徴量群bをこの自己組織化ニューラルネ
ットワークの入力xとし、入力データ空間の位相を反映
したプロトタイプの集合すなわち重みベクトル群miを
作成する。そして、クラスタ代表特徴量設定部32で自
己組織化ニューラルネットワークの各素子の重みベクト
ル群miを各クラスタのクラスタ代表特徴量gとして設
定する。自己組織化ニューラルネットワークでは、通常
のベクトル量子化方法と異なり、重み間が類似になるよ
うな拘束条件が作用するため、この方法を分類部31で
用いると、通常のベクトル量子化方法で問題となる、い
くつかの重みが空間内で発散して無駄になる問題がな
く、また、入力データ空間の位相を反映しているので、
各重みに属する入力データ数のばらつきが少ないため、
画像の分割結果として、小さな孤立領域が存在しないよ
うになる。従って、より所望の分割結果を得ることが可
能になる。
【0046】次に本実施形態の第6の概略に係る画像領
域分割装置は、第4の概略に係る画像領域分割装置にお
いて、前記第一クラスタリング部の分類部が自己組織化
ニューラルネットワークを用いて前記特徴量群を分類
し、前記クラスタ代表特徴量設定部が自己組織化ニュー
ラルネットワークの各素子の重みをクラスタ代表特徴量
として設定し、前記第二クラスタリング部の分類部が、
前記自己組織化ニューラルネットワークの隣接素子に対
応するクラスタの特徴量群を統合することにより、前記
第一クラスタリング部でクラスタリングされた特徴量群
を再分類する。
【0047】図4、図6を参照して、上記した第6の概
略に係る画像領域分割装置の作用および効果を説明す
る。第6の概略に係る第一クラスタリング部3の分類部
31では自己組織化ニューラルネットワークを用いて特
徴量群bを分類する。そして、クラスタ代表特徴量設定
部32で自己組織化ニューラルネットワークの各素子の
重みをクラスタ代表特徴量gとして設定する。そして、
第二クラスタリング部5の分類部53で、自己組織化ニ
ューラルネットワークの隣接素子に対応するクラスタの
特徴量群cを統合する。前述したように、SOMは入力
データ空間の位相を反映した重みの集合を形成するの
で、マップ上で隣接した重みは類似した特徴量となって
いる。従って、分類部53で特徴量群cを統合する場
合、統合判定用特徴量d3と類似度が高い(すなわち統
合すべき)と判定されたクラスタ代表特徴量g(第6の
概略においてはSOMの重みと同一)が属するクラスタ
を中心として、SOMのマップ上での隣接素子に対応す
るクラスタの特徴量群cを統合すればよい。なお、隣接
素子は最隣接素子のみでなく、幾つかまとめて隣接素子
として結合しても良い。
【0048】第6の概略に係る分類部53での統合処理
では、画像毎の入力データ空間の位相を反映した重みの
集合における、隣接するクラスタの特徴量群cを統合す
るため、各画素毎に画像中の性質を反映した統合ができ
る。従って、より所望の分割結果を得ることが可能にな
る。
【0049】以下、本発明の好適な実施形態を図面を参
照して詳細に説明する。
【0050】(第一の実施の形態)図1、3、7を用い
て本発明の第一の実施の形態を説明する。第一の実施の
形態は上記した第1〜第3の概略に対応する。図7
(A)のような入力画像を分割することを考える。所望
の分割結果は図7(B)のように4つの領域に分類する
ものとする。画像特徴量は色情報とする。まず、入力画
像を画像入力部1で取り込み、特徴量抽出部2で色情報
を抽出する。ここでは、例えばRGBの3成分を出力と
した3次元特徴量とする。抽出された特徴量bは第一ク
ラスタリング部3にて3つのクラスタ(青色:空に相
当、緑色:草木に対応、灰色:建造物に対応)に分類す
る。クラスタリング手法は、一般的によく利用されてい
るk-means法を用いればよい。そして、k-means法での代
表ベクトルをクラスタ代表特徴量g(ここでは3つ)と
設定する。続いてクラスタリング補助情報設定部4の分
割判定用特徴量設定部42にて、建造物に対応する灰色
を示す特徴量を分割判定用特徴量d2として設定する。
そして第2クラスタリング部5の類似度計算部51に
て、クラスタ代表特徴量gと分割判定用特徴量d2間の
類似度を計算し、判定部52にて再分割すべきかを判定
する。建造物に対応する灰色を示す特徴量を分割判定用
特徴量d2として設定してあるので、建造物から抽出さ
れたクラスタ代表特徴量gの類似度が高くなり、このク
ラスタの特徴量群cを再分割することになる。分類53
においてもk-means法を用いればよい。そして、やや濃
い灰色、やや薄い灰色の2つのクラスタに分類する。
【0051】以上の過程により4つにクラスタリングさ
れた特徴量群eを用いて分割結果演算部6で、画像の分
割結果を計算する。結果の算出方法は、クラスタ毎に識
別符号(例えばA,B,C,D)を設定し、対応する画
素にその識別符号を付ければよい。そして分割結果出力
部7にて分割結果fを出力する。分割結果fは、所望の
分割結果である図7(B)のように4つの領域に分類す
るものとなる。
【0052】上記した第一の実施の形態によれば、第一
クラスタリング部3において比較的少ないクラスタ数に
分類されるように設定し、第二クラスタリング部5にお
いて必要なクラスタのみ再分割したので、不必要に画像
が分割されるケースが軽減される。特に、画像が比較的
単純な領域で成り立っているような場合に過分割がなく
なり、より良い分割が可能になる。また、第2クラスタ
リング部5の分類部53で行う処理が分割処理のみなの
で、処理が容易になり、かつ、高速な処理が可能にな
る。
【0053】なお、画像入力部1はフロッピー(登録商
標)ディスクや、CDROMなどのメモリ媒体などから
読み出す方式の他、デジタルカメラなどから直接入力で
きるようにしてもよい。また、特徴量抽出部2、第一ク
ラスタリング部3、クラスタリング補助情報設定部4、
第二クラスタリング部5、分割結果演算部6及び、各部
を構成する構成演算部分はすべて、専用のプロセッサを
使用してもよいし、プログラムを読み込んだCPUが計
算するようにしてもよい。また分割結果出力部7では、
画像としてディスプレイ等に出力させてもよいし、情報
をメモリ等に書き出してもよい。これらの実際の構成は
以下の実施形態でもすべて同様に考えて良い。
【0054】(第二の実施の形態)図1、4、8を用い
て本発明の第二の実施の形態を説明する。第二の実施の
形態は上記した第1,第2,第4の概略が対応する。図
8(A)のような入力画像を分割することを考える。所
望の分割結果としては、図8(B)のように人の顔の肌
色部分のみが連結して抽出できるものを目標とする(そ
れ以外の領域は過統合されていても、過分割されていて
も構わないとする)。一般には肌色を正確に抽出するこ
とは難しく、照明の影響等により、図8(C)のように
人の顔と背景が連結されて分割されるようなケースが起
こりうる。以下、本実施形態により図8(B)のような
結果が得られることを説明する。
【0055】まず、入力画像を画像入力部1で取り込
み、特徴量抽出部2で色情報を抽出する。ここでは、例
えばRGBの3成分を出力とした3次元特徴量とする。
抽出された特徴量bは第一クラスタリング部3にて少し
多めの9つのクラスタに分類する。クラスタリング手法
は、一般的によく利用されているk-means法を用いれば
よい。そして、k-means法を行って得た代表ベクトルを
クラスタ代表特徴量g(ここでは9つ)と設定する。こ
の時点での分割結果は図8(C)となっている。この時
点で分割結果を出さなくてもよいが、以下の処理過程の
説明のために示してある。続いてクラスタリング補助情
報設定部4の統合判定用特徴量設定部43にて、肌色を
示す特徴量を分割判定用特徴量d3として設定する。そ
して第2クラスタリング部5の類似度計算部51にて、
クラスタ代表特徴量gと分割判定用特徴量d2間の類似
度を計算し、判定部52にて再統合すべきかを判定す
る。顔に対応する肌色を示す特徴量を統合判定用特徴量
d3として設定してあるので、顔部分から抽出されたク
ラスタ代表特徴量gの類似度が高くなり、このクラスタ
の特徴量群cを再統合することになる。
【0056】分類部53では、統合すべき特徴量群を同
一クラスタとする処理のみを行えば良い。そして、顔部
分(図中ではクラスタ2、3、4)が一つのクラスタに
統合される。以上の過程によりクラスタリングされた特
徴量群eを用いて分割結果演算部6で、画像の分割結果
を計算し、分割結果出力部7にて分割結果fを出力す
る。分割結果fは、所望の分割結果である図8(B)の
ように、人の顔の肌色部分のみが連結して抽出できるも
のとなる。
【0057】上記した第二の実施の形態によれば、第一
クラスタリング部3において比較的多いクラスタ数に分
類されるように設定し、第二クラスタリング部5におい
て必要なクラスタのみ再統合するようにしたので、抽出
したい対象物が過統合されたり、分断されるケースが軽
減され、より良い分割が可能になる。特に画像から何ら
かのオブジェクト(人物、自動車など)を抽出したいケ
ースには最適となっている。また、第2クラスタリング
部5の分類部53で行う処理が統合処理のみであり、か
つ統合処理は特徴量群を単純に連結するだけの処理なの
で、処理がさらに容易になり、かつ、さらに高速な処理
が可能になる。
【0058】(第三の実施の形態)図1、4、6、8を
用いて本発明の第三の実施の形態を説明する。第三の実
施の形態は上記した第1,第2,第4〜第6の概略が対
応する。第二の実施の形態と同様に、図8(A)のよう
な入力画像を分割することを考える。
【0059】まず、入力画像を画像入力部1で取り込
み、特徴量抽出部2で色情報を抽出する。ここでは、例
えばRGBの3成分を出力とした3次元特徴量とする。
抽出された特徴量bは第一クラスタリング部3にて少し
多めの9つのクラスタに分類する。特徴量群bを自己組
織化ニューラルネットワークの入力xとし、入力データ
空間の位相を反映したプロトタイプの集合すなわち重み
ベクトル群miを作成する。そして、クラスタ代表特徴
量設定部32で自己組織化ニューラルネットワークの各
画素の重みベクトル群miを各クラスタのクラスタ代表
特徴量gとして設定する(ここでは9個)。自己組織化
ニューラルネットワークでは、通常のベクトル量子化方
法と異なり、重み間が類似になるような拘束条件が作用
するため、この方法を分類部53で用いると、通常のベ
クトル量子化方法で問題となる、いくつかの重みが空間
内で発散して無駄になる問題がなく、また、入力データ
空間の位相を反映しているので、各重みに属する入力デ
ータ数のばらつきが少ないため、画像の分割結果とし
て、小さな孤立領域が存在しないようになる。従って、
より所望の分割結果を得ることが可能になる。
【0060】続いてクラスタリング補助情報設定部4の
統合判定用特徴量設定部43にて、肌色を示す特徴量を
分割判定用特徴量d3として設定する。そして第2クラ
スタリング部5の類似度計算部51にて、クラスタ代表
特徴量gと分割判定用特徴量d2間の類似度を計算し、
判定部52にて再統合すべきかを判定する。顔に対応す
る肌色を示す特徴量を統合判定用特徴量d3として設定
してあるので、顔部分から抽出されたクラスタ代表特徴
量gの類似度が高くなり、このクラスタの特徴量群cを
再統合することになる。
【0061】本実施形態では図6のように、判定部52
で統合すべきと判定されたクラスタ代表特徴量が属する
クラスタを中心として、SOMのマップ上での隣接素子
に対応するクラスタの特徴量群cを統合する。そして、
顔部分(図中ではクラスタ2、3、4)が一つのクラス
タに統合される。以下、第二の実施の形態と同様に分割
結果を得ることができる。
【0062】本最終結果は第二の実施の形態と同じもの
となっているが、第二の実施の形態では統合判定特徴量
d3と類似度が高くないクラスタは統合されないのに対
し、本実施形態では一つでも統合判定特徴量d3と類似
度が高いものがあれば、その隣接素子に対応するクラス
タの特徴量群cをも統合されることになる。SOMでは
画像毎の入力データ空間の位相を反映した重みの集合が
作成されているので、隣接するクラスタの特徴量群cを
統合すれば、各画素毎に画像中の性質を反映した統合が
できる。例えば、画像毎に照明条件が異なり、肌色の特
徴量が画像中の領域毎で多少ばらついていても、SOM
の隣接素子として対応できるので、同一領域として分割
することが可能になっている。従って、より所望の分割
結果を得ることが可能になっているといえる。
【0063】なお、これまでの発明の実施の形態の各構
成は、当然、各種の変形、変更が可能である。例えば、
以上の実施形態の第2クラスタリング部5で再分類する
際、クラスタリングされた特徴量群に該当する画像群か
ら別途特徴量(例えば最初に使っていなかった形情報な
ど)を抽出し統合や分割などの再分類をしてもよいし、
先験的情報(例えば、顔には目、鼻、口があるなど)を
元に統合や分割などの再分類をしてもよい。また、分割
結果の出力も、モニターに出力させるだけでなく、同一
領域に属したものをまとめて、次の画像認識処理への入
力情報としてもよい。また、実施形態で示したように、
人の顔の肌色部分のみを連結して抽出し、「顔」という
キーワードを付与し、画像の添付情報として画像検索に
有効利用してもよい。
【0064】
【発明の効果】本発明によれば、画像の特徴量群が散逸
しクラスタをはっきり形成しないため分離しにくい場
合、あるいは画像の特徴量群の性質によらず意図的にク
ラスタリングしたい場合にも、精度よく所望の分割結果
を得ることができる。
【図面の簡単な説明】
【図1】本発明の第1の概略に係る画像領域分割装置の
作用および効果を説明するための図である。
【図2】本発明の第2の概略に係る画像領域分割装置の
作用および効果を説明するための図である。
【図3】本発明の第3の概略に係る画像領域分割装置の
作用および効果を説明するための図である。
【図4】本発明の第4の概略に係る画像領域分割装置の
作用および効果を説明するための図である。
【図5】SOMにおいて用いられる、素子群の層(map
layer)とデータを入力する入力層(input layer)の構
成を示す図である。
【図6】クラスタの統合について説明するための図であ
る。
【図7】本発明の第一の実施の形態を説明するための図
である。
【図8】本発明の第二の実施の形態を説明するための図
である。
【図9】画像分割の概略を説明するための図である。
【図10】分割すべき入力画像の一例を示す図である。
【図11】(A)は特徴量群の分布を示し、(B)は分
割結果を示す図である。
【図12】特徴量抽出方法を工夫して色を識別しやすい
ように明らかにクラスタを形成するようにした結果を示
す図である。
【符号の説明】
1 画像入力部 2 特徴量抽出部 3 第一クラスタリング部 4 クラスタリング補助情報設定部 5 第二クラスタリング部 6 分割結果演算部 7 分割結果出力部 31 分類部 32 クラスタ代表特徴量設定部 41 再クラスタリング判定用特徴量設定部 42 分割判定用特徴量設定部 43 統合判定用特徴量設定部 51 類似度計算部 52 判定部 53 分類部

Claims (18)

    【特許請求の範囲】
  1. 【請求項1】 画像を構成する画素の特徴量より、この
    画像を複数の領域に分割する画像領域分割装置であっ
    て、 画像を構成する画素の特徴量を抽出する特徴量抽出手段
    と、 抽出された各画素の特徴量からなる特徴量群を特徴量に
    基づき特徴量空間においてクラスタリングする第1のク
    ラスタリング手段と、 この第1のクラスタリング手段によりクラスタリングさ
    れた各特徴量群に対して、再クラスタリングを行う条件
    を設定する再クラスタリング補助情報設定手段と、 この再クラスタリング補助情報設定手段により設定され
    た条件に基づき、再クラスタリングを行うと判定された
    特徴量群を特徴量に基づき特徴量空間において再度クラ
    スタリングする第2のクラスタリング手段と、 この第2のクラスタリング手段によりクラスタリングさ
    れた特徴量群から画像を分割する演算を行う分割演算手
    段と、 この分割演算手段により分割された画像分割の結果を出
    力する分割画像出力手段とを有することを特徴とする画
    像領域分割装置。
  2. 【請求項2】 上記第1のクラスタリング手段は、各画
    素に対応した特徴量群を特徴量に基づき特徴量空間にお
    いてクラスタリングする分類手段と、クラスタリングさ
    れた特徴量群の代表特徴量を設定するクラスタ代表特徴
    量設定手段を有し、 上記再クラスタリング補助情報設定手段は、再クラスタ
    リングを実行するかの決定に用いる特徴量を設定する再
    クラスタリング判定用特徴量設定手段を有し、 上記第2のクラスタリング手段は、上記特徴量群の代表
    特徴量と上記再クラスタリング判定用特徴量設定手段に
    より設定された特徴量の類似度を計算する類似度計算手
    段と、この計算された類似度に基づき再クラスタリング
    を実行するかを決定する判定部と、判定部の決定により
    再クラスタリングを行うと判定された特徴量群を特徴量
    に基づき特徴量空間において再度クラスタリングする再
    分類手段とを有することを特徴とする請求項1に記載の
    画像領域分割装置。
  3. 【請求項3】 上記第1のクラスタリング手段は、各画
    素に対応した特徴量群を特徴量に基づき特徴量空間にお
    いてクラスタリングする分類手段と、クラスタリングさ
    れた特徴量群の代表特徴量を設定するクラスタ代表特徴
    量設定手段を有し、 上記再クラスタリング補助情報設定手段は、上記第1の
    クラスタリング手段によりクラスタリングされた特徴量
    群をさらに分割し再クラスタリングを行うかの決定に用
    いる特徴量を設定する分割判定用特徴量設定手段を有
    し、 上記第2のクラスタリング手段は、上記特徴量群の代表
    特徴量と上記分割判定用特徴量の類似度を計算する類似
    度計算手段と、この計算された類似度に基づき再クラス
    タリングを実行するかを決定する判定部と、判定部の決
    定により再クラスタリングを行うと判定された特徴量群
    を特徴量に基づき特徴量空間において再度クラスタリン
    グする再分類手段とを有することを特徴とする請求項1
    に記載の画像領域分割装置。
  4. 【請求項4】 上記第1のクラスタリング手段は、各画
    素に対応した特徴量群を特徴量に基づき特徴量空間にお
    いてクラスタリングする分類手段と、クラスタリングさ
    れた特徴量群の代表特徴量を設定するクラスタ代表特徴
    量設定手段を有し、 上記再クラスタリング補助情報設定手段は、上記第1の
    クラスタリング手段によりクラスタリングされた特徴量
    群を統合し再クラスタリングを行うかの決定に用いる特
    徴量を設定する特徴量設定手段を有し、 上記第2のクラスタリング手段は、上記特徴量群の代表
    特徴量と上記統合判定用特徴量の類似度を計算する類似
    度計算手段と、この計算された類似度に基づき再クラス
    タリングを実行するかを決定する判定部と、判定部の決
    定により再クラスタリングを行うと判定された特徴量群
    を特徴量に基づき特徴量空間において再度クラスタリン
    グする再分類手段とを有することを特徴とする請求項1
    に記載の画像領域分割装置。
  5. 【請求項5】 上記分類手段は、自己組織化ニューラル
    ネットワークを用いて上記特徴量群を分類し、上記クラ
    スタ代表特徴量設定手段は、自己組織化ニューラルネッ
    トワークの各組織の重みをクラスタ代表特徴量として設
    定することを特徴とする請求項2〜4のいずれか一つに
    記載の画像領域分割装置。
  6. 【請求項6】 上記分類手段は、自己組織化ニューラル
    ネットワークを用いて上記特徴量群を分類し、上記クラ
    スタ代表特徴量設定手段は、自己組織化ニューラルネッ
    トワークの各組織の重みをクラスタ代表特徴量として設
    定し、上記再分類手段は上記自己組織化ニューラルネッ
    トワークの隣接素子に対応するクラスタの特徴量群を統
    合することにより、上記第1のクラスタリング手段でク
    ラスタリングした特徴量群を再分類することを特徴とす
    る請求項4に記載の画像領域分割装置。
  7. 【請求項7】 画像を構成する画素の特徴量より、この
    画像を複数の領域に分割する画像領域分割方法であっ
    て、 画像を構成する画素の特徴量を抽出する特徴量抽出工程
    と、 抽出された各画素の特徴量からなる特徴量群を特徴量に
    基づき特徴量空間においてクラスタリングする第1のク
    ラスタリング工程と、 この第1のクラスタリング工程においてクラスタリング
    された各特徴量群に対して、再クラスタリングを行う条
    件を設定する再クラスタリング補助情報設定工程と、 この再クラスタリング補助情報設定工程において設定さ
    れた条件に基づき、再クラスタリングを行うと判定され
    た特徴量群を特徴量に基づき特徴量空間において再度ク
    ラスタリングする第2のクラスタリング工程と、 この第2のクラスタリング工程においてクラスタリング
    された特徴量群から画像を分割する演算を行う分割演算
    工程と、 この分割演算工程において分割された画像分割の結果を
    出力する分割画像出力工程とを有することを特徴とする
    画像領域分割方法。
  8. 【請求項8】 上記第1のクラスタリング工程は、各画
    素に対応した特徴量群を特徴量に基づき特徴量空間にお
    いてクラスタリングする分類工程と、クラスタリングさ
    れた特徴量群の代表特徴量を設定するクラスタ代表特徴
    量設定工程を有し、 上記再クラスタリング補助情報設定工程は、再クラスタ
    リングを実行するかの決定に用いる特徴量を設定する再
    クラスタリング判定用特徴量設定工程を有し、 上記第2のクラスタリング工程は、上記特徴量群の代表
    特徴量と上記再クラスタリング判定用特徴量設定工程に
    おいて設定された特徴量の類似度を計算する類似度計算
    工程と、この計算された類似度に基づき再クラスタリン
    グを実行するかを決定する判定工程と、判定工程での決
    定により再クラスタリングを行うと判定された特徴量群
    を特徴量に基づき特徴量空間において再度クラスタリン
    グする再分類工程とを有することを特徴とする請求項7
    に記載の画像領域分割方法。
  9. 【請求項9】 上記第1のクラスタリング工程は、各画
    素に対応した特徴量群を特徴量に基づき特徴量空間にお
    いてクラスタリングする分類工程と、クラスタリングさ
    れた特徴量群の代表特徴量を設定するクラスタ代表特徴
    量設定工程を有し、 上記再クラスタリング補助情報設定工程は、上記第1の
    クラスタリング工程においてクラスタリングされた特徴
    量群をさらに分割し再クラスタリングを行うかの決定に
    用いる特徴量を設定する分割判定用特徴量設定工程を有
    し、 上記第2のクラスタリング工程は、上記特徴量群の代表
    特徴量と上記分割判定用特徴量の類似度を計算する類似
    度計算工程と、この計算された類似度に基づき再クラス
    タリングを実行するかを決定する判定工程と、判定工程
    での決定により再クラスタリングを行うと判定された特
    徴量群を特徴量に基づき特徴量空間において再度クラス
    タリングする再分類工程とを有することを特徴とする請
    求項7に記載の画像領域分割方法。
  10. 【請求項10】 上記第1のクラスタリング工程は、各
    画素に対応した特徴量群を特徴量に基づき特徴量空間に
    おいてクラスタリングする分類工程と、クラスタリング
    された特徴量群の代表特徴量を設定するクラスタ代表特
    徴量設定工程を有し、 上記再クラスタリング補助情報設定工程は、上記第1の
    クラスタリング工程においてクラスタリングされた特徴
    量群を統合し再クラスタリングを行うかの決定に用いる
    特徴量を設定する特徴量設定工程を有し、 上記第2のクラスタリング工程は、上記特徴量群の代表
    特徴量と上記統合判定用特徴量の類似度を計算する類似
    度計算工程と、この計算された類似度に基づき再クラス
    タリングを実行するかを決定する判定工程と、判定工程
    での決定により再クラスタリングを行うと判定された特
    徴量群を特徴量に基づき特徴量空間において再度クラス
    タリングする再分類工程とを有することを特徴とする請
    求項7に記載の画像領域分割方法。
  11. 【請求項11】 上記分類工程は、自己組織化ニューラ
    ルネットワークを用いて上記特徴量群を分類し、上記ク
    ラスタ代表特徴量設定工程は、自己組織化ニューラルネ
    ットワークの各組織の重みをクラスタ代表特徴量として
    設定することを特徴とする請求項8から10のいずれか
    一つに記載の画像領域分割方法。
  12. 【請求項12】 上記分類工程は、自己組織化ニューラ
    ルネットワークを用いて上記特徴量群を分類し、上記ク
    ラスタ代表特徴量設定工程は、自己組織化ニューラルネ
    ットワークの各組織の重みをクラスタ代表特徴量として
    設定し、上記再分類工程は上記自己組織化ニューラルネ
    ットワークの隣接素子に対応するクラスタの特徴量群を
    統合することにより、上記第1のクラスタリング工程に
    おいてクラスタリングした特徴量群を再分類することを
    特徴とする請求項10に記載の画像領域分割方法。
  13. 【請求項13】 画像を構成する画素の特徴量より、こ
    の画像を複数の領域に分割する画像領域分割処理をコン
    ピュータに実行させる命令を含むプログラムを格納し
    た、コンピュータが読取り可能な記録媒体であって、 前記画像領域分割処理は、 画像を構成する画素の特徴量を抽出する特徴量抽出工程
    と、 抽出された各画素の特徴量からなる特徴量群を特徴量に
    基づき特徴量空間においてクラスタリングする第1のク
    ラスタリング工程と、 この第1のクラスタリング工程においてクラスタリング
    された各特徴量群に対して、再クラスタリングを行う条
    件を設定する再クラスタリング補助情報設定工程と、 この再クラスタリング補助情報設定工程において設定さ
    れた条件に基づき、再クラスタリングを行うと判定され
    た特徴量群を特徴量に基づき特徴量空間において再度ク
    ラスタリングする第2のクラスタリング工程と、 この第2のクラスタリング工程においてクラスタリング
    された特徴量群から画像を分割する演算を行う分割演算
    工程と、 この分割演算工程において分割された画像分割の結果を
    出力する分割画像出力工程とを有することを特徴とする
    記録媒体。
  14. 【請求項14】 上記第1のクラスタリング工程は、各
    画素に対応した特徴量群を特徴量に基づき特徴量空間に
    おいてクラスタリングする分類工程と、クラスタリング
    された特徴量群の代表特徴量を設定するクラスタ代表特
    徴量設定工程を有し、 上記再クラスタリング補助情報設定工程は、再クラスタ
    リングを実行するかの決定に用いる特徴量を設定する再
    クラスタリング判定用特徴量設定工程を有し、 上記第2のクラスタリング工程は、上記特徴量群の代表
    特徴量と上記再クラスタリング判定用特徴量設定工程に
    おいて設定された特徴量の類似度を計算する類似度計算
    工程と、この計算された類似度に基づき再クラスタリン
    グを実行するかを決定する判定工程と、判定工程での決
    定により再クラスタリングを行うと判定された特徴量群
    を特徴量に基づき特徴量空間において再度クラスタリン
    グする再分類工程とを有することを特徴とする請求項1
    3に記載の記録媒体。
  15. 【請求項15】 上記第1のクラスタリング工程は、各
    画素に対応した特徴量群を特徴量に基づき特徴量空間に
    おいてクラスタリングする分類工程と、クラスタリング
    された特徴量群の代表特徴量を設定するクラスタ代表特
    徴量設定工程を有し、 上記再クラスタリング補助情報設定工程は、上記第1の
    クラスタリング工程においてクラスタリングされた特徴
    量群をさらに分割し再クラスタリングを行うかの決定に
    用いる特徴量を設定する分割判定用特徴量設定工程を有
    し、 上記第2のクラスタリング工程は、上記特徴量群の代表
    特徴量と上記分割判定用特徴量の類似度を計算する類似
    度計算工程と、この計算された類似度に基づき再クラス
    タリングを実行するかを決定する判定工程と、判定工程
    での決定により再クラスタリングを行うと判定された特
    徴量群を特徴量に基づき特徴量空間において再度クラス
    タリングする再分類工程とを有することを特徴とする請
    求項13に記載の記録媒体。
  16. 【請求項16】 上記第1のクラスタリング工程は、各
    画素に対応した特徴量群を特徴量に基づき特徴量空間に
    おいてクラスタリングする分類工程と、クラスタリング
    された特徴量群の代表特徴量を設定するクラスタ代表特
    徴量設定工程を有し、 上記再クラスタリング補助情報設定工程は、上記第1の
    クラスタリング工程においてクラスタリングされた特徴
    量群を統合し再クラスタリングを行うかの決定に用いる
    特徴量を設定する特徴量設定工程を有し、 上記第2のクラスタリング工程は、上記特徴量群の代表
    特徴量と上記統合判定用特徴量の類似度を計算する類似
    度計算工程と、この計算された類似度に基づき再クラス
    タリングを実行するかを決定する判定工程と、判定工程
    での決定により再クラスタリングを行うと判定された特
    徴量群を特徴量に基づき特徴量空間において再度クラス
    タリングする再分類工程とを有することを特徴とする請
    求項13に記載の記録媒体。
  17. 【請求項17】 上記分類工程は、自己組織化ニューラ
    ルネットワークを用いて上記特徴量群を分類し、上記ク
    ラスタ代表特徴量設定工程は、自己組織化ニューラルネ
    ットワークの各組織の重みをクラスタ代表特徴量として
    設定することを特徴とする請求項14から16のいずれ
    か一つに記載の記録媒体。
  18. 【請求項18】 上記分類工程は、自己組織化ニューラ
    ルネットワークを用いて上記特徴量群を分類し、上記ク
    ラスタ代表特徴量設定工程は、自己組織化ニューラルネ
    ットワークの各組織の重みをクラスタ代表特徴量として
    設定し、上記再分類工程は上記自己組織化ニューラルネ
    ットワークの隣接素子に対応するクラスタの特徴量群を
    統合することにより、上記第1のクラスタリング工程に
    おいてクラスタリングした特徴量群を再分類することを
    特徴とする請求項16に記載の記録媒体。
JP2001020364A 2001-01-29 2001-01-29 画像領域分割装置及びその方法ならびに処理プログラムが記録された記録媒体 Pending JP2002222419A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001020364A JP2002222419A (ja) 2001-01-29 2001-01-29 画像領域分割装置及びその方法ならびに処理プログラムが記録された記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001020364A JP2002222419A (ja) 2001-01-29 2001-01-29 画像領域分割装置及びその方法ならびに処理プログラムが記録された記録媒体

Publications (1)

Publication Number Publication Date
JP2002222419A true JP2002222419A (ja) 2002-08-09

Family

ID=18886080

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001020364A Pending JP2002222419A (ja) 2001-01-29 2001-01-29 画像領域分割装置及びその方法ならびに処理プログラムが記録された記録媒体

Country Status (1)

Country Link
JP (1) JP2002222419A (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009151350A (ja) * 2007-12-18 2009-07-09 Nec Corp 画像補正方法および画像補正装置
JP2009205040A (ja) * 2008-02-29 2009-09-10 Toshiba Corp 音素モデルクラスタリング装置、方法及びプログラム
JP2009290780A (ja) * 2008-05-30 2009-12-10 Canon Inc 画像処理装置、画像処理方法、プログラム、及び記憶媒体
JP2021500689A (ja) * 2018-07-27 2021-01-07 深▲せん▼市商▲湯▼科技有限公司Shenzhen Sensetime Technology Co., Ltd. 単眼画像深度推定方法及び装置、機器、プログラム及び記憶媒体
WO2023113437A1 (ko) * 2021-12-15 2023-06-22 연세대학교 산학협력단 메모리를 이용하는 의미론적 영상 분할 장치 및 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02267680A (ja) * 1989-04-08 1990-11-01 Ricoh Co Ltd 画像の領域分割方式
JPH04106673A (ja) * 1990-08-28 1992-04-08 Fujitsu Ltd 動画像領域分割装置
JPH06168328A (ja) * 1992-12-01 1994-06-14 Matsushita Electric Ind Co Ltd 画像信号の領域分割装置
JPH07234854A (ja) * 1994-02-23 1995-09-05 Olympus Optical Co Ltd クラスタ分類装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02267680A (ja) * 1989-04-08 1990-11-01 Ricoh Co Ltd 画像の領域分割方式
JPH04106673A (ja) * 1990-08-28 1992-04-08 Fujitsu Ltd 動画像領域分割装置
JPH06168328A (ja) * 1992-12-01 1994-06-14 Matsushita Electric Ind Co Ltd 画像信号の領域分割装置
JPH07234854A (ja) * 1994-02-23 1995-09-05 Olympus Optical Co Ltd クラスタ分類装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009151350A (ja) * 2007-12-18 2009-07-09 Nec Corp 画像補正方法および画像補正装置
JP2009205040A (ja) * 2008-02-29 2009-09-10 Toshiba Corp 音素モデルクラスタリング装置、方法及びプログラム
JP4528839B2 (ja) * 2008-02-29 2010-08-25 株式会社東芝 音素モデルクラスタリング装置、方法及びプログラム
JP2009290780A (ja) * 2008-05-30 2009-12-10 Canon Inc 画像処理装置、画像処理方法、プログラム、及び記憶媒体
JP2021500689A (ja) * 2018-07-27 2021-01-07 深▲せん▼市商▲湯▼科技有限公司Shenzhen Sensetime Technology Co., Ltd. 単眼画像深度推定方法及び装置、機器、プログラム及び記憶媒体
US11443445B2 (en) 2018-07-27 2022-09-13 Shenzhen Sensetime Technology Co., Ltd. Method and apparatus for depth estimation of monocular image, and storage medium
WO2023113437A1 (ko) * 2021-12-15 2023-06-22 연세대학교 산학협력단 메모리를 이용하는 의미론적 영상 분할 장치 및 방법

Similar Documents

Publication Publication Date Title
JP6192271B2 (ja) 画像処理装置、画像処理方法及びプログラム
US8224089B2 (en) Information processing device and information processing method, image processing device and image processing method, and computer program
US8340439B2 (en) Image conversion method and apparatus, and pattern identification method and apparatus
US8345974B2 (en) Hierarchical recursive image segmentation
WO2018218988A1 (zh) 牙颌三维数字模型的分割方法
US9519660B2 (en) Information processing apparatus, clustering method, and recording medium storing clustering program
Zhou et al. Interlinked convolutional neural networks for face parsing
EP1388804A2 (en) Method and system for face detection using pattern classifier
JP4098021B2 (ja) シーン識別方法および装置ならびにプログラム
JP7294695B2 (ja) 学習済モデルによるプログラム、情報記録媒体、分類装置、ならびに、分類方法
CN102436636A (zh) 自动分割头发的方法及其系统
CN112163599B (zh) 一种基于多尺度多层次融合的图像分类方法
JP2015099563A (ja) 画像処理装置、画像処理方法及びプログラム
CN112991269A (zh) 一种肺部ct图像的识别分类方法
Sadek et al. Automatic classification of bright retinal lesions via deep network features
Wu et al. Natural scene text detection by multi-scale adaptive color clustering and non-text filtering
CN107918773A (zh) 一种人脸活体检测方法、装置及电子设备
Lefèvre et al. Hyperspectral image classification from multiscale description with constrained connectivity and metric learning
CN107481243B (zh) 基于羊只俯视图的羊只体尺检测方法
KR101296734B1 (ko) 가우시안 혼합 모델 및 알지비 클러스터링을 이용한 오브젝트 분할방법
JP5464739B2 (ja) 画像領域分割装置、画像領域分割方法および画像領域分割プログラム
US8131077B2 (en) Systems and methods for segmenting an image based on perceptual information
JP2002222419A (ja) 画像領域分割装置及びその方法ならびに処理プログラムが記録された記録媒体
CN115578399A (zh) 一种图像处理方法及装置、存储介质
US20160098843A1 (en) Image processing apparatus and method of controlling the same

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080110

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100708

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100713

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20101109