JP2007193553A - 画像処理方法、画像処理装置および画像処理プログラム - Google Patents

Abstract

【課題】対象となる色を抽出するときに、対象色の統計的な色分布から色を抽出し、抽出した色分布から、さらに対象色と対象外の色とを的確に弁別できるようにすること。
【解決手段】本発明は、カラー画像から抽出対象となる対象領域を抽出する画像処理装置において、カラー画像の画素の分布を表現する空間で、対象領域の画素が含まれる候補となる候補範囲の中の画素を抽出する候補画素抽出部１１と、候補画素抽出部１１で抽出した候補範囲の画素の分布に対してクラスタリングを行う候補画素クラスタリング部１２と、候補画素クラスタリング部１２によるクラスタリングによって得られたクラスタに基づき対象領域を抽出するクラスタ選択部１３と備える。
【選択図】図１

Description

本発明は、カラー画像から対象となる領域を抽出する画像処理方法、画像処理装置および画像処理プログラムに関するものである。

カラー画像から対象となる領域を抽出する手法は、カラー画像における特定領域の自動色調整の前処理や、カラー画像が表すシーンを分類するための前処理などに適用されることが多い。これらの手法は、画像認識技術の分野に属するもので、大別すると、色信号のみで処理を行う方法か、パターンマッチング的に画像をサーチする方法かに分けることができる。後者の方法は膨大な処理時間を要するため、実用化では、前者の色信号のみの処理を用いる場合が多い。色信号のみの処理とは、例えば、カラー画像の画素の分布を色空間で表し、色空間内で対象となる領域の画素を特定する方法である。

色空間内の特定の範囲で、色を抽出（対象となる領域の画素を抽出）する方法のほとんどが、既存の色空間（L*a*b*、YCbCr、RGBなど）で範囲を限定する方法か、ヒストグラムで推定する方法をとっている。学術的には、L*u*v*色空間が人物の肌を抽出するのに適しているという報告や、HSV色空間が良いという報告があり、色空間で人物の肌色の分布をモデル化したものもある（非特許文献１）。

電子情報通信学会論文誌D-II Vol.J80-D-II No.7 pp.1774-1785

しかし、何千枚ものパターンを自動で行うには、既存の色空間を用いて範囲を限定した方法では限界があることも確かである。そこで、本願出願人による先願（特願２００４−３２２０１０）に記載の方法によれば、色成分の比を軸とした比の空間を用いることで、対象となる色の分布と、対象外の色の分布の境界が把握しやすくなる。これにより、既存の色空間では弁別が困難であった人物の肌色抽出も容易に行うことができる。

上記のように、従来手法では、色抽出を行うときの空間の質の違いで、抽出の難易度に差はあるが、基本的には対象色の統計的な分布に頼ることになる。しかしながら、統計的な色分布に当てはまらない場合は、対象となる色の分布が抽出できないことになる。これを回避するために、分布を広くしてしまうと、対象外の色を誤抽出してしまうことになる。このように、従来手法のみでは、抽出精度を高めるのは限界である。

上記のような問題を解決すべく、本発明では、対象となる色を抽出するときに、対象色の統計的な色分布から色を抽出し、抽出した色分布から、さらに、対象色と対象外の色とを的確に弁別できることを目的としている。

本発明は、上記目的を達成するために成されたものである。すなわち、本発明は、カラー画像から抽出対象となる対象領域を抽出する画像処理方法において、カラー画像の画素の分布を表現する空間で、対象領域の画素が含まれる候補となる候補範囲の中の画素を抽出し、候補範囲の画素の分布に対してクラスタリングを行って対象領域を抽出する画像処理方法である。

このような本発明では、カラー画像の画素の分布を表現する空間で、対象領域の画素が含まれる候補範囲の画素の分布に対してクラスタリングを行うことから、このクラスタリングによって得られたクラスタから対象領域を的確に抽出することができるようになる。

また、本発明は、カラー画像から抽出対象となる対象領域を抽出する画像処理装置において、カラー画像の画素の分布を表現する空間で、対象領域の画素が含まれる候補となる候補範囲の中の画素を抽出する候補画素抽出部と、候補画素抽出部で抽出した候補範囲の画素の分布に対してクラスタリングを行う候補画素クラスタリング部と、候補画素クラスタリング部によるクラスタリングによって得られたクラスタに基づき対象領域を抽出するクラスタ選択部と備える画像処理装置である。

このような本発明では、候補画素抽出部で抽出した候補範囲の画素の分布に対して候補画素クラスタリング部でクラスタリングを行うことから、このクラスタリングによって得られたクラスタからクラスタ選択部によって対象領域を的確に抽出できるようになる。

また、本発明は、カラー画像から抽出対象となる対象領域を抽出する処理をコンピュータによって実行する画像処理プログラムにおいて、カラー画像の画素の分布を表現する空間で、対象領域の画素が含まれる候補となる候補範囲の中の画素を抽出するステップと、候補範囲の画素の分布に対してクラスタリングを行って対象領域を抽出するステップとをコンピュータによって実行する画像処理プログラムである。

このような本発明では、カラー画像の画素の分布を表現する空間で、対象領域の画素が含まれる候補範囲の画素の分布に対してクラスタリングを行うことから、このクラスタリングによって得られたクラスタから対象領域を的確に抽出することができるようになる。

ここで、本発明において、対象領域とは、カラー画像の画像空間の中から抽出の対象となる領域であり、例えば人物の肌色、空の青、草木の緑といった同じ色の系統の領域を示す。また、候補範囲とは、対象領域の画素が含まれる所定色空間の領域であり、対象領域の画素を選択するための候補となる所定色空間内での範囲である。本発明では、この色空間内での候補範囲の中の画素をクラスタリングして、候補範囲の中から抽出対象となる画素の領域（クラスタ）を選択し、その選択されたクラスタの画素の示す画像空間の領域を対象領域として決定している。

このような本発明によれば、対象となる色を抽出するときに、対象色の統計的な色分布から色を抽出し、抽出した色分布から、さらに、対象色と対象外の色とを正確に弁別することが可能となる。

以下、本発明の実施の形態を図に基づき説明する。図１は、本実施形態に係る画像処理装置を説明するブロック図である。ここで、カラー画像の画素の分布を表す空間は、RGB、L*a*b*、ＹＣbＣｒなどの既存の色空間でもよいし、または、特願２００４−３２２０１０に記載のように、例えば、色成分を組み合わせた軸で構成した以下の式１のような空間でもよいものとする。

上記式１は、色成分どうしの比をとったものを軸とした空間である。なお、本発明では、式１のような２次元の空間に限らず、画素の分布を表すことのできる空間であれば、何次元でもよいものとする。

図１に示すように、本実施形態に係る画像処理装置は、候補画素抽出部１１、候補画素クラスタリング部１２、クラスタ選択部１３を主要構成として備えている。

このうちの候補画素抽出部１１では、上記のような空間において、図２に示すような抽出対象となる色分布の範囲（候補範囲）に入っている画素の抽出を行う（図２中破線領域参照）。候補範囲は、例えば、様々な画像から得られた対象色の分布を統計的にモデル化すればよい。

また、候補範囲は、図３に示すようにカラー画像全体の画素の分布に応じて制御することもできる。図３（ａ）は画像全体の画素分布が広範囲となる場合、図３（ｂ）は画像全体の画素分布が偏っている場合である。例えば、人物の肌を抽出する場合でも、室内を表す画像で、タングステン等の光源下での撮影により全体が赤味をおびているような画像の場合は、候補範囲の中心を赤方向にずらすなどの処理をすればよい。

このように、候補画素抽出部１１では、候補となる画素として抽出を行う。例えば、人物画像から人物の肌色を抽出する場合は、候補画素抽出部１１により、図４に示すような人物肌色の候補となる画素の抽出を行うことができる。

ここで、統計的な人物の肌色分布を当てはめた場合、図４に示すように、画像によっては人物の肌以外の肌色（図４では、木のイスの色）を抽出してしまうことがある。このとき、分布を表す空間の中で候補範囲（候補画素）が図５のようになっているとすれば、クラスタリングによって分離することができる。

つまり、カラー画像の画像空間から同系の色の画素を抽出し、この抽出された画素を所定色空間で候補範囲とした場合、同じ候補範囲内にある候補画素であっても分布のかたまり（クラスタ）が発生する。これは、同系の色の画素であっても明度や色度等のわずかな色値の相違によってクラスタ分けされるからである。

本発明では、同じ候補範囲内で発生するクラスタに着目し、候補画素の中から抽出対象となる領域（例えば、人物の肌色）だけを選択できるようにしている。具体的には、候補画素クラスタリング部１２において、図６に示すように、候補画素に対してさらにクラスタリングを行う。クラスタリングの手法は、例えば、公知の手法であるK-means法などを用いればよい。

図６に示す例では、２つのクラスタ（クラスタ１、クラスタ２）にクラスタリングしたものであるが、本発明では、クラスタの数はいくつでもいいものとする。例えば、図４に示す候補範囲の画素が、クラスタ１とクラスタ２に分けることができたとすれば、どちらかが、人物の肌色分布で、どちらかが木のイスの色分布ということになる。

クラスタ選択部１３では、上記のように分離されたクラスタの選択を行うことで、対象色を絞り込むようにしている。クラスタ選択の方法は、何通りか考えられるが、例えば、図７に示すように、画素の分布が広いものを選択すればよい。図７に示す例では、クラスタ１、２のうち分布の面積はクラスタ１の方が大きいため、このクラスタ１を選択する。例えば、人物の肌色などは、人工物の肌色に比べて分布が広い場合があるので、この選択方法は有効である。

または、図８のように画素の数で選択をしてもよい。つまり、各クラスタを構成する候補画素の数をカウントし、カウントした画素数によってクラスタの選択を行う。例えば、図８に示す例では、クラスタ１とクラスタ２とで分布の面積はほぼ等しいが、クラスタ１の方が候補画素数が多い。したがって、候補画素数の多いクラスタ１を選択する。なお、他の分布の状態を表す基準であればどのような選択でもよいものとする。

または、図９に示すように、クラスタの中心値に応じて選択してもよい。例えば、クラスタの中心となる画素の色によって判断すればよい。中心値は、画素をYCｂCrやL*a*b*で表し、明度のYやL*で判断してもよいし、色度のCbCrやa*b*で判断してもよい。明度が低い方を選択した場合は、逆光補正をしたい場合に有効である。

または、図１０に示すように、クラスタの中心値となる画素のカラー画像での位置（画像空間上の位置）によって選択することもできる。例えば、図１０（ｂ）に示すように、人物の画像であれば、人物は画像空間上の中央よりに存在することが多いので、クラスタの中心値となる画素が、画像の中央に近い方となっているクラスタを選択すればよい。図１０の場合は、クラスタ２が選択されることになる。

また、クラスタの中心どうしが近い場合は、どちらのクラスタも対象となる色となっている場合もある。このような場合は、図１１に示すように、クラスタの中心どうしの距離で判断すればよい。

例えば、所定の色空間における各クラスタの中心値を求め、中心値間の距離を算出してこれをクラスタ間の距離とする。そして、算出したクラスタ間の距離が、予め設定された値より小さければ、１つのクラスタに統合し、統合されたクラスタを選択すればよい。図１１の場合、クラスタ１とクラスタ２の距離が最も小さいので、クラスタ１とクラスタ２を統合化している。

クラスタリングを行う場合、適切なクラス数を自動で決定するのは困難であるので、クラス数は予め設定されている場合が多い。このような場合上記の方法が有効となる。

図７〜図１１で示したように、クラスタ選択１３における選択方法はいくつかあるが、本発明では、選択方法を組み合わせて適用したり、選択方法をユーザから与えられた条件に応じて自動的に設定したりすることもできる。このようなクラスタ選択を行うことで、最終的には、カラー画像から対象となる領域を的確に抽出することができる。

図１２は、本実施形態に係る画像処理方法の流れを説明する図で、カラー画像から対象領域を抽出する流れを示している。先ず、カラー画像を候補画素抽出部１１に入力し、抽出の対象となる候補画素を抽出する。ここでは人物の肌色を抽出対象としているが、同系の色をしている木のイスの色も候補画素として抽出されている。

次に、候補画素クラスタリング部１２によって候補画素の範囲（候補範囲）のクラスタリングを行い、候補範囲内の複数のクラスタ（候補クラスタ）に分類する。そして、クラスタ選択部１３で複数の候補クラスタの中から少なくとも１つを選択する。この選択の方法は、先に説明したクラスタの大きさ、候補画素数、中心値、画像位置等のうちいずれか１つ、もしくは複数の組み合わせによって決定する。このクラスタ選択によって、同系の色の中から抽出対象としている例えば人物の肌色の領域のみを的確に抽出できるようになる。

本発明は、プリンタ、複写機、複合機、ファクシミリ等の画像形成装置、プリントサーバ等の画像蓄積装置、プリンタドライバ等のソフトウェアとして実現することが可能である。

本実施形態に係る画像処理装置を説明するブロック図である。 画素の分布を表す空間での候補範囲を示す図である。 候補範囲の抽出を説明する図である。 カラー画像から候補画素の抽出を説明する図である。 候補範囲内の候補画素の分布を説明する図である。 クラスタリングを説明する図である。 クラスタの選択を説明する図（その１）である。 クラスタの選択を説明する図（その２）である。 クラスタの選択を説明する図（その３）である。 クラスタの選択を説明する図（その４）である。 クラスタの合成を説明する図（その１）である。 本実施形態に係る画像処理方法を説明する図である。

符号の説明

１１…候補画素抽出部、１２…候補画素クラスタリング部、１３…クラスタ選択部

Claims (19)

1. カラー画像から抽出対象となる対象領域を抽出する画像処理方法において、
   前記カラー画像の画素の分布を表現する空間で、前記対象領域の画素が含まれる候補となる候補範囲の中の画素を抽出し、前記候補範囲の画素の分布に対してクラスタリングを行って前記対象領域を抽出する
   ことを特徴とする画像処理方法。
2. 前記クラスタリングによって得られた前記候補範囲内の複数のクラスタのうち少なくとも１つを選択することで前記対象領域の画素の分布を表すクラスタを特定する
   ことを特徴とする請求項１記載の画像処理方法。
3. 前記カラー画像の画素の分布を表現する空間は、色空間または色成分を組み合わせた軸で構成される空間である
   ことを特徴とする請求項１または２記載の画像処理方法。
4. 前記候補範囲は、前記対象領域の画素の統計的な分布に基づく範囲である
   ことを特徴とする請求項１または２記載の画像処理方法。
5. 前記候補範囲は、前記カラー画像の画素の分布に応じて制御される
   ことを特徴とする請求項１または２記載の画像処理方法。
6. 前記候補範囲内の複数のクラスタのうち少なくとも１つのクラスタを、画素の分布状態に応じて選択する
   ことを特徴とする請求項２記載の画像処理方法。
7. 前記候補範囲内の複数のクラスタのうち少なくとも１つのクラスタを、クラスタの中心値に応じて選択する
   ことを特徴とする請求項２記載の画像処理方法。
8. 前記候補範囲内の複数のクラスタのうち少なくとも１つのクラスタを、クラスタの中心値となる画素の前記カラー画像における位置に応じて選択する
   ことを特徴とする請求項２記載の画像処理方法。
9. 前記候補範囲内の複数のクラスタの中で、クラスタどうしの中心値の関係に応じてクラスタを結合し、結合された１つのクラスタを選択する
   ことを特徴とする請求項２記載の画像処理方法。
10. カラー画像から抽出対象となる対象領域を抽出する画像処理装置において、
    前記カラー画像の画素の分布を表現する空間で、前記対象領域の画素が含まれる候補となる候補範囲の中の画素を抽出する候補画素抽出部と、
    前記候補画素抽出部で抽出した前記候補範囲の画素の分布に対してクラスタリングを行う候補画素クラスタリング部と、
    前記候補画素クラスタリング部によるクラスタリングによって得られたクラスタに基づき前記対象領域を抽出するクラスタ選択部と
    備えることを特徴とする画像処理装置。
11. 前記クラスタ選択部は、前記候補画素クラスタリング部によるクラスタリングによって得られた前記候補範囲内の複数のクラスタのうち少なくとも１つを選択することで前記対象領域の画素の分布を表すクラスタを特定する
    ことを特徴とする請求項１０記載の画像処理装置。
12. 前記カラー画像の画素の分布を表現する空間は、色空間または色成分を組み合わせた軸で構成される空間である
    ことを特徴とする請求項１０または１１記載の画像処理装置。
13. 前記候補範囲は、前記対象領域の画素の統計的な分布に基づく範囲である
    ことを特徴とする請求項１０または１１記載の画像処理装置。
14. 前記候補範囲は、前記カラー画像の画素の分布に応じて制御される
    ことを特徴とする請求項１０または１１記載の画像処理装置。
15. 前記クラスタ選択部は、前記候補画素クラスタリングによるクラスタリングによって得られた前記候補範囲内の複数のクラスタのうち少なくとも１つのクラスタを、画素の分布状態に応じて選択する
    ことを特徴とする請求項１１記載の画像処理装置。
16. 前記クラスタ選択部は、前記候補画素クラスタリングによるクラスタリングによって得られた前記候補範囲内の複数のクラスタのうち少なくとも１つのクラスタを、クラスタの中心値に応じて選択する
    ことを特徴とする請求項１１記載の画像処理装置。
17. 前記クラスタ選択部は、前記候補画素クラスタリングによるクラスタリングによって得られた前記候補範囲内の複数のクラスタのうち少なくとも１つのクラスタを、クラスタの中心値となる画素の前記カラー画像における位置に応じて選択する
    ことを特徴とする請求項１１記載の画像処理装置。
18. 前記クラスタ選択部は、前記候補画素クラスタリングによるクラスタリングによって得られた前記候補範囲内の複数のクラスタの中で、クラスタどうしの中心値の関係に応じてクラスタを結合し、結合された１つのクラスタを選択する
    ことを特徴とする請求項１１記載の画像処理装置。
19. カラー画像から抽出対象となる対象領域を抽出する処理をコンピュータによって実行する画像処理プログラムにおいて、
    前記カラー画像の画素の分布を表現する空間で、前記対象領域の画素が含まれる候補となる候補範囲の中の画素を抽出するステップと、
    前記候補範囲の画素の分布に対してクラスタリングを行って前記対象領域を抽出するステップと
    をコンピュータによって実行することを特徴とする画像処理プログラム。
    

Images