JP2003162718A - 画像処理方法及びプログラム - Google Patents

Abstract

(57)【要約】 【課題】チューニングを必要とせず、より人間の知覚に
近いカラー画像セグメンテーションを行うことのできる
画像処理方法を提供すること。 【解決手段】先ず入力画像に含まれる全画素もしくは特
定の画素を均等色空間上で基本分類する。次に、色相に
よる分類を行う際のパラメータを自動計算する。そし
て、基本分類の結果とパラメータ計算の結果とを参照
し、色相が類似しているクラスタを併合する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、カラー画像のセグ
メンテーションを行う画像処理方法及びプログラムに関
する。

【０００２】

【従来の技術】画像平面上で知覚的に一様な色領域をな
す画素群は、均等色空間の中で稠密なクラスタを形成す
る。これを利用し、均等色空間においてクラスタリング
を行い、カラー画像のセグメンテーションを行う方法が
知られている（参考文献「コンピュータビジョン 技術
評論と将来展望、新技術コミュニケーションズ、ｐｐ．
６８−７１」）。

【０００３】人間の知覚に近いセグメンテーションを行
うためにはＣＩＥ−ＬＡＢやＣＩＥ−ＬＵＶといった表
色系を用い、均等色空間を表現するのが適しているとい
う知見がある。また、クラスタリングには、パターン認
識におけるパターン分類法として知られているｋ−ｍｅ
ａｎｓ法やＩＳＯＤＡＴＡのような手法を利用するのが
一般的である。

【０００４】実際の画像はハイライトや陰影を含んでお
り、クラスタリングにおいて同一の色相を持つ画素が別
々のクラスタに分類されてしまうことがある。そこで、
ハイライトや陰影に依存しないセグメンテーションが必
要な場合には、上記の方法により基本的なクラスタリン
グを先ず行い、これにより抽出されたクラスタの代表色
を色相差で再分類する方法が採られる。再分類において
は、色相差がしきい値以下のクラスタ同士を併合するこ
とにより、明度に違いはあるが色相は近い領域を同一の
領域として分割（セグメンテーション）する。

【０００５】

【発明が解決しようとする課題】かかるセグメンテーシ
ョン方法では、色相差によるクラスタの再分類のための
しきい値をチューニングする必要がある。この作業は、
従来、人手により行われており熟練を要する上、手間が
掛かるという問題点がある。そこで、初期設定も含めこ
のようなチューニングを必要としないで自動的にセグメ
ンテーションを行えるような画像処理技術の提供が望ま
れている。

【０００６】また、画像を一様な色領域へ分割するのみ
ならず、画像中の対象物体を他の色に置き換えたり、隠
蔽するなどといったいわゆる画像編集技術についても実
現の要請がある。かかる画像編集は、例えば映像中の残
酷なシーンを低年齢者に見せない配慮のために、画像中
の血の領域を隠蔽したり、ぼかすなどの編集を施すこと
などである。そして、ハイライトや陰影を含んだ実際の
画像では同じ血の領域であっても明度が大きく異なる場
合が多く、人間の知覚に近いセグメンテーションを行う
画像処理がこのような画像編集技術に好適であることか
らも上述した技術的課題の解決が必須である。

【０００７】

【課題を解決するための手段】本発明の画像処理方法
は、入力画像中の少なくとも一部の画素を似通った色相
を有するクラスタに分類するためのパラメータを計算す
る画像処理方法であって、前記画素の色相値を計算する
ステップと、色相を表す色相円の周上に前記画素をマッ
ピングするステップと、前記色相円を可変の分割数で分
割すると共に当該分割された色相円を可変の回転角で回
転させることにより、前記画素をクラスタリングするス
テップと、前記クラスタリングの結果に基づく評価値を
計算するステップと、前記評価値を最適化するよう前記
分割数及び回転角を変化させて前記パラメータを決定す
るステップと、を具備することを特徴とする。

【０００８】

【発明の実施の形態】以下、図面を参照しながら発明の
実施の形態を説明する。

【０００９】図１は本発明の一実施形態に係る画像処理
システムの概略構成を示すブロック図である。図１に示
すように、本実施形態の画像処理システムは、基本分類
部１０２と、パラメータ計算部１０３と、再分類部１０
４とを有する。これらの構成要素は、例えばハードディ
スク等の記憶装置から入力画像１０１を読み出して作業
メモリ１０６に一旦記憶させ、同作業メモリ１０６上で
本発明に係る画像処理を施し、その処理結果１０５を出
力するよう構成されている。このような本実施形態の画
像処理システムは、例えば汎用のコンピュータと、同コ
ンピュータ上で動作するプログラムとにより実現され
る。

【００１０】図２は、本実施形態の画像処理システムに
おけるセグメンテーション手順の一例を示すフローチャ
ートである。

【００１１】まず、入力画像１０１が作業メモリ１０６
に読み出されるとともに、このうち、処理対象の画像デ
ータが基本分類部１０２に入力される。基本分類部１０
２は、かかる画像データに対し必要に応じて表色系の変
換を行ってから、均等色空間の中で１つ以上のクラスタ
分類を行う（ステップＳ２０２）。ここで、入力画像１
０１に処理の対象となる画素を特定するための情報が付
加されている場合、分類対象となる画素を限定して処理
を行うものとする。もし、これらの付加情報がない場合
は、画像データの全ての画素が分類対象となる。

【００１２】次に、入力画像１０１はパラメータ計算部
１０３に送られる。ここでは、基本分類部１０２で得ら
れたクラスタの中で色相が近いクラスタを併合するため
の、色相差のしきい値を計算する（ステップＳ２０
３）。

【００１３】再分類部１０４では、基本分類部１０２に
おいて得られたクラスタを、パラメータ計算部１０３に
おいて得られたパラメータを用いて再分類する（ステッ
プＳ２０４）。ここまでの処理によって、カラー画像の
セグメンテーションが完了し、処理結果１０５が出力さ
れる。

【００１４】以下、基本分類部１０２、パラメータ計算
部１０３、および再分類部１０４の各々の内部処理につ
いて詳細に説明する。

【００１５】図３は、基本分類部１０２におけるクラス
タリング手順の一例を示すフローチャートである。基本
分類部１０２では、パターン認識においてよく知られて
いるｋ−ｍｅａｎｓ法などのクラスタリング手法が用い
られる。ｋ−ｍｅａｎｓ法はクラスタ数が既知である場
合に有効である。図３は、ＧＬＡ（Generalized Lloyd
Algorithm）法を基本的な枠組みとして用いた例であ
る。ＧＬＡ法は、クラスタ数の上限を指定するのみでク
ラスタリングを行える方法である。条件に応じて、これ
らの方法を使い分けてもよい。

【００１６】また、クラスタリングを行う前に、入力画
像１０１をＣＩＥ−ＬＡＢもしくはＣＩＥ−ＬＵＶのよ
うな表色系に変換しておくことが望ましい。これらの表
色系を用いることによって、人間の知覚に近いセグメン
テーションが行えるようになる。クラスタリングは、こ
れらの表色系で表される均等色空間において行うことが
好ましい。

【００１７】まず、初期値としてクラスタ数を１に設定
し、全ての画素が１つのクラスタに属するものとする
（ステップＳ３０１）。次に、ステップＳ３０２からＳ
３１２までの処理を繰り返すことによってクラスタリン
グを行う。ステップＳ３０２においては、それぞれのク
ラスタの重心を求める。画素と各クラスタの重心とのユ
ークリッド距離（これを「色差」と呼ぶ）を求め（ステ
ップＳ３０３）、距離が最小となるクラスタにその画素
を割り当てる（ステップＳ３０４）。各画素とその画素
が属するクラスタの重心との距離の総和を求め、これを
画素数で割ることにより平均二乗誤差を求める（ステッ
プＳ３０５）。ここで、現状でのクラスタの総数が設定
したしきい値Ｔ１を上回っている場合、処理の終了判定
に移行する（ステップＳ３０６）。すなわち、ステップ
Ｓ３０５において計算した平均二乗誤差の変化率としき
い値Ｔ３とを比較する（ステップＳ３０８）。平均二乗
誤差の変化率は、例えば以下の数式で定義される。

【００１８】

【数１】

【００１９】この変化率が、しきい値Ｔ３以下の場合、
クラスタリングが十分収束したものとみなして処理を終
了する。変化率がＴ３を上回る場合はステップＳ３０２
に戻る。

【００２０】一方、ステップＳ３０６においてクラスタ
の総数がしきい値Ｔ１以下であると判定されたとき、ク
ラスタの分割を行うかどうかの判定を行う。すなわち、
平均二乗誤差の変化率をしきい値Ｔ２と比較する（ステ
ップＳ３０７）。なお、本実施形態では、Ｔ２＞＝Ｔ３
のように設定する。

【００２１】平均二乗誤差の変化率がＴ２を上回る場
合、ステップＳ３０２に戻る。一方、平均二乗誤差の変
化率がＴ２を上回らない場合は、ステップＳ３０９に進
む。

【００２２】ステップＳ３０９では、各クラスタ内の分
散を計算する。分散は、クラスタの重心とクラスタに属
する画素の距離の２乗をクラスタ内の画素数で割ること
によって求める。すべてのクラスタの中での分散の最大
値がしきい値Ｔ４未満である場合に処理を終了する（ス
テップＳ３１０）。

【００２３】一方、分散の最大値がしきい値Ｔ４以上で
ある場合は、分散が最大となるクラスタを分割する。ク
ラスタを分割するためには、まずそのクラスタに主成分
分析を施す（ステップＳ３１１）。主成分分析によっ
て、図４に示すように固有ベクトルが得られる。最も分
布の広がりがある方向を示す第１主成分ベクトルに垂直
であって、かつ、クラスタの重心を通る平面の方程式を
求め、その平面でクラスタを分割する（ステップＳ３１
２）。ステップＳ３０２に戻り、終了判定条件を満たす
まで処理を繰り返す。前述したように、ハイライトや陰
影のような明度変化を多く含む画像に対して、以上のク
ラスタリング処理を行うと、ハイライトや陰影の領域を
別のクラスタとしてしまうという問題が発生する。細分
化され過ぎたクラスタ群を、同一の色相のクラスタ同士
を併合することによって再分類する方法を以下に説明す
る。

【００２４】図５は、パラメータ計算部１０３における
処理手順の一例を示すフローチャートである。まず、ス
テップＳ５０１において各画素の色相値を計算する。通
常、入力画像１０１はＲＧＢの値を画素値として持つ。
ＲＧＢ値から色相を計算するためには、ＨＳＩやＨＳＶ
といった表色系への変換式を用いてＨ成分を求める。変
換式としては、例えば、上述した参考文献（「コンピュ
ータビジョン 技術評論と将来展望、新技術コミュニケ
ーションズ、ｐｐ．６５−６６」）に紹介されている以
下の式を利用することができる。

【００２５】

【数２】

【００２６】色相の取り得る範囲は、［０，２π］であ
る。ただし、無彩色の色相は計算できないので、ステッ
プＳ５０１以降では有彩色の画素のみを対象とする。次
に、各画素の色相値を、設定した分割数と回転角によっ
てクラスタリングする。上式によって求めた色相は角度
で表現され、例えば図６に示すような円の周上に各画素
がマッピングされる。この円を、設定した分割数で分割
する。図６は分割数＝４の場合を示しており、実線によ
って４つの分割クラスタが得られている。この円を、設
定した角度で回転させると、それぞれのクラスタに分類
される画素の分類パターンが変化する。そして分割数及
び回転角を様々な値で変更し、最も当てはまりのよいク
ラスタの分割の仕方を自動的に選ぶ。

【００２７】分割数の変更方法としては、例えば最大の
分割数を設定しておき、１から順に分割数を大きくして
いく方法がある。しかし、分割数が大きくなるにつれ、
クラスタ１つあたりに含まれる色相の範囲はほとんど変
化しなくなる。そこで、例えば分割数を｛1,2,3,4,5,6,
7,8,9,10,12,15,18,24,36…｝のように段階的に増や
し、１つのクラスタに含まれる色相の範囲を一定の角度
以上で変化させていくようにすると効率がよい。

【００２８】回転角については、本実施形態では、予め
設定しておいた固定の値を用いることし、この回転角で
色相マップの円を回転させる（図６参照）。分割数の最
大値が３６のとき、１つのクラスタは１０度の範囲を持
つので、回転角を５度に設定すれば、効率よく異なった
クラスタ分類パターンを調べることが可能である。例え
ば、分割数が１０で回転角が５度のときは、合計８通り
の回転角を試すことになる。

【００２９】次にステップＳ５０２においては、全ての
分割数を試したかどうかチェックする。全ての分割数を
試した場合は、処理が終了となる。そうでない場合、分
割数を設定する（ステップＳ５０３）。ステップＳ５０
４で全ての回転角を試したかチェックする。回転角の試
行回数は分割数に依存して決定される。全ての回転角を
試した場合、ステップＳ５０２に戻る。そうでない場合
は、回転角を設定する（ステップＳ５０５）。以上のス
テップにより設定された分割数と回転角で、各画素をク
ラスタ分類する。各画素の色相値を参照して、その画素
を含むクラスタに割り当てる（ステップＳ５０６）。各
画素と割り当てられたクラスタの中心との平均二乗誤差
を計算する（ステップＳ５０７）。

【００３０】分割数を大きくすればするほど、平均二乗
誤差の値は小さくなる。しかし、それでは分類されるク
ラスタ数が増大するだけである。分割数をできるだけ小
さくし、かつ当てはまりのよいクラスタ分類を行うこと
が重要となる。そこで分割数と計算された平均二乗誤差
とから、情報量規準を計算する（ステップＳ５０８）。
情報量規準の値が最小となる分割数と回転角を更新し
（ステップＳ５０９）、ステップＳ５０４に戻る。情報
量規準は、分割数とクラスタへの当てはまりの良さを同
時に最適化するための評価値として利用できる。情報量
規準としてはＡＩＣ（Akaike Information Criterion;
赤池情報量基準）と記述長最小化原理（ＭＤＬ；Minimu
m Description Length）が最もよく利用される。それら
の計算方法を以下に示す。

【００３１】画素数をｎとし、各色相クラスタの中心と
画素との平均２乗誤差（ＬＭＳ：Least Mean Squared E
rror）が、

【数３】 で表されるとき、誤差εが平均０であって分散がσ²の
正規分布に従うと仮定すると、情報量規準ＭＤＬは、

【数４】 のようにして求めることができる。また、情報量規準Ａ
ＩＣは、

【数５】 によって求められる。ここで、Ｆは分割数＋１である。

【００３２】この計算式により、ステップＳ５０８で情
報量規準を計算する。ＡＩＣもしくはＭＤＬのどちらを
利用してもよい。この値は小さいほど、クラスタ分類が
良いということになる。

【００３３】以上の処理により、カラー画像を色相によ
ってセグメンテーションする際の、色相の分割数と回転
角を求めることができる。

【００３４】再分類部１０４では、基本分類の結果とパ
ラメータ計算の結果（最適な色相の分割数と回転角）に
基づいて、クラスタの再分類を行う。

【００３５】図７は再分類部１０４における処理の手順
の一例を示すフローチャートである。まず、基本分類に
よって得られたクラスタの代表色（例えば、クラスタの
重心）の色相を計算する（ステップＳ７０１）。次に、
この代表色を、該当する色相のクラスタへ分類する（ス
テップＳ７０２）。例えば、基本分類によって得られた
２つのクラスタの代表色が、それぞれ、同一の色相クラ
スタへ分類された場合、これらのクラスタは色相が同一
であるとみなし、クラスタを併合する（ステップＳ７０
３）。ここまでの処理により、カラー画像のセグメンテ
ーションが終了する。

【００３６】このような本発明の実施形態に係る画像処
理システムによれば、色相差によるクラスタの再分類の
ためのしきい値をチューニングする必要が不要であり、
自動的にセグメンテーションを行える。

【００３７】次に、画像中の対象物体を他の色に置き換
えたり隠蔽するための画像編集について説明する。図８
は、セグメンテーションの結果をユーザが参照して画像
を編集する際の手順を示すフローチャート、図９は、こ
の画像編集に適用されるユーザインタフェースの一例を
示す図である。

【００３８】図９に示すユーザインターフェースは、入
力画像表示領域９０４（図９（ｂ））と、代表色表示領
域９０２および各クラスタの画像上での面積占有率等を
表示する領域９０３を有するクラスタリング結果表示画
面９０１（図９（ａ））とにより構成されている。この
ようなユーザインターフェースを用いて、各クラスタの
代表色を表示する（ステップＳ８０１）。領域９０３に
表示する内容としては、各クラスタの面積占有率以外
に、代表色のＲＧＢ値や色相値を表示してもよい。ユー
ザはマウス等のポインティングデバイスを用いて、加工
したい色クラスタを選択する（ステップＳ８０２）。選
択するクラスタの数は１つでも複数でも構わない。さら
にユーザはそのクラスタに対して行う編集方法を指定す
る（ステップＳ８０３）。編集方法としては、指定した
クラスタに属する画素を除くことや、指定したクラスタ
に属する画素のみを残すなどが挙げられる。最後に、編
集結果を表示する（ステップＳ８０４）。図９（ｂ）
は、指定したクラスタに属する画素を除いて生成した画
像９０５と、指定したクラスタのみを残して生成した画
像９０６を例として示している。

【００３９】以上説明したように、本発明に係る画像処
理方法によれば、パラメータのチューニングを行わなく
とも、より人間の知覚に近いカラー画像のセグメンテー
ションを簡単かつ速やかに行うことが可能となる。これ
により、セグメンテーション結果を利用した画像編集作
業を効率化することができるようになる。

【００４０】なお、本発明は上述した実施形態に限定さ
れず種々変形して実施可能である。

【００４１】

【発明の効果】以上説明したように、本発明によれば、
チューニングを必要とせず、より人間の知覚に近いカラ
ー画像セグメンテーションを行うことのできる画像処理
方法及びプログラムを提供できる。

【図面の簡単な説明】

【図１】本発明の一実施形態に係る画像処理システムの
概略構成を示すブロック図。

【図２】上記実施形態におけるセグメンテーション手順
の一例を示すフローチャート

【図３】上記実施形態の基本分類部におけるクラスタリ
ング手順の一例を示すフローチャート

【図４】主成分分析により得られた固有ベクトルの一例
を示す図

【図５】上記実施形態のパラメータ計算部における処理
手順の一例を示すフローチャート

【図６】クラスタリングを行うための円周状の色相マッ
プを示す図

【図７】上記実施形態の再分類部における処理の手順の
一例を示すフローチャート

【図８】上記実施形態を応用した画像編集の手順を示す
フローチャート

【図９】上記画像編集に適用されるユーザインタフェー
スの一例を示す図

【符号の説明】

１０１…入力画像 １０２…基本分類部 １０３…パラメータ計算部 １０４…再分類部 １０５…処理結果 １０６…作業メモリ

───────────────────────────────────────────────────── フロントページの続き (72)発明者 堀 修 神奈川県川崎市幸区小向東芝町１番地 株 式会社東芝研究開発センター内 Ｆターム(参考） 5L096 AA02 AA06 DA02 EA45 GA41 MA07

Claims (8)

【特許請求の範囲】
1. 【請求項１】 入力画像中の少なくとも一部の画素を似
   通った色相を有するクラスタに分類するためのパラメー
   タを計算する画像処理方法であって、 前記画素の色相値を計算するステップと、 色相を表す色相円の周上に前記画素をマッピングするス
   テップと、 前記色相円を可変の分割数で分割すると共に当該分割さ
   れた色相円を可変の回転角で回転させることにより、前
   記画素をクラスタリングするステップと、 前記クラスタリングの結果に基づく評価値を計算するス
   テップと、 前記評価値を最適化するよう前記分割数及び回転角を変
   化させて前記パラメータを決定するステップと、を具備
   することを特徴とする画像処理方法。
2. 【請求項２】 前記入力画像中の少なくとも一部の画素
   をその色差に応じてクラスタリングするステップと、 前記色差に応じたクラスタリング結果を、前記パラメー
   タに基づいて再分類するステップと、を具備することを
   特徴とする請求項１に記載の画像処理方法。
3. 【請求項３】 前記再分類ステップは、第１のクラスタ
   と第２のクラスタの各々の代表色の色相差を前記パラメ
   ータと比較し、その比較結果に応じて当該第１、第２の
   クラスタ同士を併合するステップを含むことを特徴とす
   る請求項２に記載の画像処理方法。
4. 【請求項４】 前記再分類されたクラスタリング結果を
   参照し、似通った色相を有する画像中の対象物を隠蔽
   し、又は該対象物に装飾を施すことを含む画像編集ステ
   ップをさらに具備することを特徴とする請求項２又は３
   に記載の画像処理方法。
5. 【請求項５】 前記画像編集ステップは、 複数のクラスタの代表色を一覧表示するステップと、 前記複数のクラスタのうちの少なくとも一つのクラスタ
   の選択をユーザから受け付けるステップと、 選択された前記クラスタに属する画素のみから構成され
   る画像又は選択された前記クラスタに属する画素を前記
   入力画像から除いて成る画像を生成するステップと、を
   具備することを特徴とする請求項４に記載の画像処理方
   法。
6. 【請求項６】 前記評価値として、赤池情報量基準又は
   記述長最小化原理（ＭＤＬを計算することを特徴とする
   請求項１乃至３のいずれかに記載の画像処理方法。
7. 【請求項７】 入力画像中の少なくとも一部の画素を似
   通った色相を有するクラスタに分類するためのパラメー
   タを計算する画像処理プログラムであって、 コンピュータに、 前記画素の色相値を計算する手順と、 色相を表す色相円の周上に前記画素をマッピングする手
   順と、 前記色相円を可変の分割数で分割すると共に当該分割さ
   れた色相円を可変の回転角で回転させることにより、前
   記画素をクラスタリングする手順と、 前記クラスタリングの結果に基づく評価値を計算する手
   順と、 前記評価値を最適化するよう前記分割数及び回転角を変
   化させて前記パラメータを決定する手順と、を実行させ
   る画像処理プログラム。
8. 【請求項８】 前記入力画像中の少なくとも一部の画素
   をその色差に応じてクラスタリングする手順と、 前記色差に応じたクラスタリング結果を、前記パラメー
   タに基づいて再分類する手順と、をさらに具備すること
   を特徴とする請求項７に記載のプログラム。