JP2004005508A - カラー画像の処理方法 - Google Patents

Abstract

【課題】画像処理の際に、計算量が少なく、汎用のコンピュータで処理でき、ノイズの影響を受けにくく、二つの色の差の少ない境界部なども容易に検出できるようにする。
【解決手段】カラー画像の各画素の色をカラーヒストグラム空間上にプロットするとともに、前記カラーヒストグラム空間上にプロットされた各点に、前記カラー画像に現れるそれぞれの色の頻度の情報を持たせ、前記カラー画像における色を前記頻度の情報に置き換えた頻度画像を作成することにより、前記カラー画像における色の頻度情報とその位置情報とを同時に取得する。
【選択図】　　　図７

Description

【０００１】
【発明の属する技術分野】
本発明はカラー画像の処理方法に関する。
【０００２】
【従来の技術】
たとえばロボットビジョンにおいて、シーンの特徴を環境に影響されずに素早く的確に認識することは重要な課題である。シーンの特徴を抽出するためには、画像におけるエッジの検出が不可欠である。
【０００３】
白黒画像すなわち濃淡画像においてエッジを検出する手法として、一次微分や二次微分を用いる差分法が知られている。これらは、画像のエッジにおいてはその画像の濃淡が大きく変化するため、近隣の画素における濃淡の差を求めることでエッジを検出しようとするものである。その他に、フーリエ変換を用いて周波数領域のフィルタ処理によりエッジを求める方法なども提案されている。
【０００４】
これに対し、近年、ＣＣＤカメラにより取得したカラー画像を用いたエッジの検出方法が多種提案されている。カラー画像を用いると、濃淡画像に比べてより高精度にエッジを検出できるのみならず、より多くの情報量を利用して、物体表面の反射境界の識別など、濃淡画像では難しかった対処を付加することが可能である。従来のカラー画像を用いたエッジの検出方法は、ＲＧＢの各成分に分けた三つの画像について処理を行った後に統合処理を行うようにするのが一般的である。
【０００５】
【発明が解決しようとする課題】
しかし、カラー画像を用いた従来のエッジ検出方法は、いずれも基本的には局所微分を求める空間オペレータを使用しており、濃淡画像に比べて検出精度は上がるが、情報量が多くなった分だけ計算量が増大して処理時間が掛かるという問題点がある。なお、濃淡画像によって処理するものでさえ、いずれもかなりの計算量を必要とするのが現状であり、カラー画像を用いるとその計算量は飛躍的に増大する。また、専用のハードウェアがないと実時間での処理が難しいという問題点がある。
【０００６】
しかも、従来のエッジ検出方法では、ノイズの影響を受けやすく、かつ、それにもかかわらず実環境では照明のゆらぎや撮像系のノイズはどうしても避けられないという問題点がある。
【０００７】
また、特に従来の微分を使用するものでは、エッジのグラジエント（微分強度）の影響を受けやすいため、二つの色の差の少ない境界部を検出しにくい、すなわち微妙な色境界の検出が難しいという問題点もある。
【０００８】
そこで本発明は、このような問題点をことごとく解決して、画像処理の際に、計算量が少なく、汎用のコンピュータで処理でき、ノイズの影響を受けにくく、二つの色の差の少ない境界部なども容易に検出できるようにすることを目的とする。
【０００９】
【課題を解決するための手段】
この目的を達成するため本発明は、カラー画像の各画素の色をカラーヒストグラム空間上にプロットするとともに、前記カラーヒストグラム空間上にプロットされた各点に、前記カラー画像に現れるそれぞれの色の頻度の情報を持たせ、前記カラー画像における色を前記頻度の情報に置き換えた頻度画像を作成することにより、前記カラー画像における色の頻度情報とその位置情報とを同時に取得するものである。
【００１０】
すなわち本発明は、カラー画像からカラーヒストグラムを作成するとともにそのカラーヒストグラムに頻度情報を持たせたうえで、その頻度情報を抽出し、前記カラー画像における色を前記頻度の情報に置き換えた頻度画像を作成することにより、前記カラー画像における色の頻度情報とその位置情報とを同時に取得するため、たとえば抽出された頻度の低い部分をエッジとして検出することで、少ない計算量で、また専用のハードウェアを必要とせずに、エッジ検出が可能であるなど、効率良く画像処理を行うことが可能である。
【００１１】
【発明の実施の形態】
カラーヒストグラムは、カラー画面を構成する各画素のたとえばＲＧＢ値をＲＧＢの直交空間にプロットするものである。本発明で利用するカラーヒストグラムは、このプロットした各点に、画素数の情報すなわち頻度を持たせる。なお、カラーヒストグラムは、ＲＧＢ以外の表色系を用いることもできる。
【００１２】
室内のような人工物の多いシーンを撮影した場合に、壁や各種の機器を構成する平面は、同じ色分布であることが通例であるため、カラーヒストグラム上で密集して存在し、画素数の情報である頻度に着目すると、この頻度が高くなる部分となる。以下、この部分を「多数領域」と称する。一方、面と面との境界や、光の反射部と影との境界や、円筒状の物体のような濃度変化の大きな局面部などは、カラーヒストグラム上でまばらに点在するだけであり、上記頻度の低い部分であると考えられる。以下、この部分を「少数領域」と称する。カラー画像をその画像に含まれる各カラー値の頻度に置き換えると、大まかには多数領域と少数領域とに分けることができる。
【００１３】
カラーヒストグラム空間上で二つの色の境界付近の画素は、両方の色成分を持つと考えられる。たとえば図２はｘ−ｙ平面における赤色と黄色との境界であるエッジの例を示す。このエッジは、ここではｙ軸の方向に存在する。カラーヒストグラムを作成すると、図２のエッジは図３のように示される。この図３のカラーヒストグラムにおいて、Ａ点とＧ点はそれぞれエッジの両側における赤色と黄色とを示し、Ｂ点〜Ｆ点は境界の色であって赤色と黄色との双方の色成分を持つことから橙色となる。図３において、各点の大きさはその頻度を表し、エッジの両側における赤色と黄色すなわちＡ点とＧ点とは、多数領域となる。これに対しエッジすなわちＢ点〜Ｆ点は、少数領域となる。
【００１４】
図４および図１は、実際の物品の画像とそのカラーヒストグラムとの具体例を示す。図４は並んだ二本の円筒状体のカラー画像の例を示すもので、一方の円筒状体は一端部が赤色を呈するとともに他端部が黄色を呈するように構成されている。他方の円筒状体は、一端部が緑色を呈するとともに他端部が青色を呈するように構成されている。図１は、図４における枠ＦＬで囲った部分についてのカラーヒストグラムを示す。図１では、円筒体の４つの色は、それぞれ原点から延びる４つのクラスタとして表示されており、これらのクラスタは多数領域に該当する。一方、赤色部と黄色部、緑色部と青色部の各境界部分は、それぞれ、赤色部と黄色部を表すクラスタ間および緑色部と青色部を表すクラスタ間に点在し、これらの点は少数領域に該当する。
【００１５】
本発明では、作成されたカラーヒストグラムから頻度情報を抽出し、この抽出された頻度の少ない部分をエッジとして検出する。このため、計算量が少なく、また専用のハードウェアを必要とせずに、汎用のコンピュータで処理できるという利点がある。
【００１６】
次に本発明におけるノイズの影響について説明する。エッジ部分を含むカラー画像におけるノイズとしては、ＣＣＤカメラのランダムノイズや照明の変動にもとづく第１のノイズと、ＣＣＤカメラからコンピュータのメモリへデータを転送するときに生じる第２のノイズとが主である。
【００１７】
図５、６は、図２に示す境界部に関し、ＲＧＢのうちの緑色成分について、図２と同様のｘ方向に沿った輝度の分布を例示する。図中、Ａ点〜Ｇ点は、図３におけるＡ点〜Ｇ点に相当する。また図中の破線は、各画素の色彩についての誤差の範囲を表す。図５は、上述の第１のノイズによって生じた誤差を示す。これに対し図６は、上述の第２のノイズによって生じた誤差を示す。
【００１８】
ここでエッジ点であるＤ点に着目すると、ＣＣＤカメラのランダムノイズや照明の変動にもとづく第１のノイズに対応する誤差ΔＮｇ１は、他のＡ点〜Ｃ点、Ｅ点〜Ｇ点と同様に発生する。これに対し、ＣＣＤカメラからコンピュータのメモリへデータを転送するときに生じる第２のノイズに対応する誤差ΔＮｇ２は、本来ならＣ点またはＥ点に対応するメモリに転送されるはずの輝度値が、Ｄ点に対応するメモリに転送されることなどによって発生するものであり、Ｄ点では大きく、Ｄ点から離れるにつれて小さくなる。したがって、Ｄ点では大きな誤差（ΔＮｇ１＋ΔＮｇ２）が発生する。なお、ＲＧＢのうちの赤色成分や青色成分についても同様のこととなる。
【００１９】
以上より、カラー画像のエッジ部分の特徴をまとめると、次のようになる。
（１）画像全体の画素数に比べてエッジ部分の色情報を持つ画素数は少なく、エッジ部分にノイズによる色変化があったとしてもそれは少数領域に属する。
【００２０】
（２）エッジ部分の画素のとり得る色範囲は他の部分の色範囲よりも広く、エッジの両側の多数領域は似かよった色情報をもつので、ノイズによる変動があったとしても色変化は少ない。
【００２１】
すなわち、カラーヒストグラム空間において少数領域に属するエッジ部分では、エッジ点の画素は色変化の範囲が広く、ノイズにより変動しているため、同じ色を持つ画素はきわめて少ない。したがって本発明によると、カラーヒストグラム上でこの少数領域を検出することで、エッジの検出を行うことができる。
【００２２】
しかし、少数領域には、撮影条件によっては、本来なら多数領域に存在するはずの画素のノイズが含まれることもある。以下、この少数領域を安定に検出する方法を説明する。
【００２３】
図７に示すように、時刻ｔに取得したカラー画像をｆ（ｔ）　とし、このｆ（ｔ）　をカラーヒストグラム空間上にプロットしたものをｈ（ｔ）　とする。このｈ（ｔ）　は、ＲＧＢそれぞれの座標値とその座標における頻度値とを持っている。ｆ（ｔ）　において、ｈ（ｔ）　の頻度が１のみの色を残し２以上の色を消去すると、最も少数領域となる部分の画像が得られることになる。この部分はエッジ部分を表しているが、ノイズの影響で、本来なら多数領域に該当する筈の画素も含まれている。
【００２４】
そこで、この多数領域に該当する筈の画素を取り除くために、まず、ｆ（ｔ）　の各画素のカラー値を、ｈ（ｔ）　より得られる頻度に置き換える。これによって、各画素の色の頻度を表す濃淡画面となる。以後、この画像を頻度画像と呼ぶ。この頻度画像をｇ（ｔ）　とすると、｛ｆ（ｔ）　、ｔ＝１、２、…、ｎ｝から得られるｎ枚の頻度画面の平均ｇｍｅａｎは、次式で表される。
【００２５】
【数１】

ある１枚の画像上で、本来なら多数領域にあるべき画素が、ノイズによる色変化で少数領域として検出されたとしても、複数枚のデータを加算平均すると、その画素へのノイズによる影響はほとんど無くなり、この画素はこれによって本来の多数領域として検出される。一方、少数領域の画素にノイズが加わった場合は、エッジ部分ではノイズにより変色した色の頻度も少数であるため、その部分の画素の頻度は小さいままであり、したがって少数領域として検出される。
【００２６】
なお、ノイズの影響が無視できる場合などにおいては、１枚の頻度画像だけで少数領域を検出できることもある。
しかし、現実問題として、上式は全体の頻度の分布を見るには適しているが、必ずしも少数領域の検出に適しているとはいえない場合もある。そこで、加算結果を加算枚数ｎ以下の値ｍで割り算し、下位のビットのみ利用する。すなわち、頻度画像ｇ（ｔ）　のｔ＝１〜ｎの合計をＧとすると、
【００２７】
【数２】

と書くことができるため、少数領域の特徴を表す画像ｇｍ　は、頻度画像ｇ（ｔ）　のビット数をｓとするとともに、０＜ｍ≦ｎとして、次式のように表すことができる。
【００２８】
ｇｍ　＝Ｇ／ｍ　　　　　　　　　　　　　［Ｇ／ｍ＜２Ｓ　−１］
ｇｍ　＝２Ｓ　−１　　　　　　　　　　　　［Ｇ／ｍ≧２Ｓ　−１］
得られた画像ｇｍ　における暗い部分は、少数領域を表す。
【００２９】
以上にもとづき、エッジを検出するためには、ｍとｎとの組み合わせにより決まる値で二値化する。通常のコントラストの画像では、エッジ部分の画素の頻度は２以下であることが多いので、この閾値をｎ／ｍ＋１〜２ｎ／ｍの範囲に設定して二値化すれば、エッジの検出を行うことができる。
【００３０】
たとえば、画像メモリが８ビットであるときには、加算結果をｍで割り算した後に、下位の８ビットのみを利用する。なお、複数枚の頻度画像を加算していくと、ｍで割り算してもその画素値が８ビットを超える場合があるが、その場合には当該画素に最大値（２５５）を割り当てる。ｍ＝１のとき、得られた８ビットの濃淡画像を２ｎの値で２値化すると、０画素の部分はｎ回の画像取り込みの間に平均の頻度が２未満である少数部分に該当する。
【００３１】
Ｇの値を加算枚数ｎ以下の値ｍで割り、下位のビットを利用する上記の方法は、限られたビット数の画像メモリで頻度情報を表示するために有効な手段であり、Ｇの値を直接調べることによっても少数領域の検出は可能である。たとえば、上記の検出例であれば、Ｇの値を２ｎで２値化してもよい。
【００３２】
【実施例】
ＲＧＢ各２５６階調で画像を取り込んだ。したがって、上述の式より、ヒストグラム加算画像の少数領域を表す式は、Ｇ／ｍが２５５（０ｘＦＦ）を超えない範囲では次式となる。
【００３３】
【数３】

日中の実験室内で、窓からの自然光により３６枚の加算平均を行って取り込んだカラー画像の例を図８に示す。この画像は、ＬＳＩの製品パッケージを対象としたものであり、図８では白黒の濃淡画像で表示している。
【００３４】
同じシーンから上式によりｎ＝２５、ｍ＝１の条件で得られた検出画像ｇｍ　を図９に示す。この図９においては、画像が明るいほど頻度が高いことを示し、頻度が２５５を超えるものは２５５として表示した。比較のために、図８のＲＧＢの各画像に従来の差分法の一つであるＳｏｂｅｌフィルタを用いた結果をＹＩＱ表色系のＹ信号に変換し、反転処理を行った結果を図１０に示す。この図１０では、暗い部分ほど差分の結果が大きいことを表している。
【００３５】
これらの結果より、Ｓｏｂｅｌフィルタを用いた手法ではエッジ両側の色の濃度差により差分の大きさが異なってくるために検出結果に対する二値化の閾値に工夫が必要であるのに対し、本発明の手法では頻度の少数部分を検出しているためエッジの両側の濃度差にはほとんど影響されずにエッジ検出が行えることが判った。また、Ｓｏｂｅｌフィルタを用いた手法では微妙な色彩変化部分が検出されないのに対し、本発明の手法によれば少し頻度が高くなり広がりを持って検出されることが判った。
【００３６】
次に、検出の精度を調べた。すなわち、図１１に示すように、雑誌（ＣＱ出版社「トランジスタ技術」誌）のカラー表紙を日中の実験室内で３６枚の加算平均により取得した画像を得た。ただし、ここでは図１１は白黒の濃淡画像で表示している。このときの照明は、窓からの自然光と蛍光灯の光とを併用した。また、同じシーンについて、本発明にもとづき、ｎ＝２５、ｍ＝１の条件で、検出画像ｇｍ　を得た。この検出画像ｇｍ　を図１２に示す。
【００３７】
図１３（ａ）は、図１２の上部の小さい文字の拡大図を示す。また図１３（ｂ）は、同じ部分についての従来のＳｏｂｅｌフィルタによる処理結果を示す。この図１３より、本発明の手法によれば細かい文字まで画素の精度で明瞭に検出できることが判る。これは、本発明によれば、特に検出対象が線画のときは、線の両側を検出するのではなく、線そのものを少数領域とみなして検出するためである。
【００３８】
次に、本発明にもとづき、エッジ検出とともに、画像における他の情報の検出も可能であることを確認した。図１４に示すように、日中の実験室内の風景を３６枚の加算平均を行って取り込んだカラー画像を得た。ただし、ここでは図１４は白黒の濃淡画像で表示した。このときの照明は蛍光灯の光および窓からの自然光で、ピントは画像中央の鳥の人形に合わせた。この図１４のシーンをｎ＝２５で取り込みｍ＝４で表示した画像を図１５に示す。この図１５より、エッジのみならず濃度変化の多い曲面などが検出されている様子がわかる。図１６は、同じシーンをｎ＝２５で取り込みｍ＝１で表示したものである。この図１６では、後方のボケ領域や曲率の小さい平面部などが多数領域として検出されている。一方、エッジや、曲率の大きな曲面である鳥の人形の表面や、鏡面反射領域などは、少数領域となっている。
【００３９】
図１７は、図１４の画像をＳｏｂｅｌフィルタにより処理した結果を、比較のために示す。ここでは、図１０の場合と同様に、暗い部分ほど差分の結果が大きいことを表している。
【００４０】
図１６における頻度の低い部分すなわち画面の暗い部分を観察すると、当該画像におけるピントの合っている箇所のエッジ情報のみを選択的に抽出できることが判った。すなわち、図１８（ａ）は図１６の画像を１．５ｎの閾値で二値化した画像であり、ピントの合っている鳥の人形の部分だけが検出されている。図１８（ｂ）は、比較のために、図１４の画像に対し中央部の人形が検出できるレベルで二値化処理を行った画像を示す。ここでは、人形の後方のピントの合っていない部分もが検出されており、どの部分のピントが合っているかを明確に検出することは不可能であった。
【００４１】
したがって本発明によると、上式における検出用パラメータｎ、ｍを変えることで、シーンのマクロな情報を抽出したり、ピントの合っている箇所を細かく検出したりすることが可能であった。すなわち、未知のシーンをカメラで撮影したときに、図１５では明度の高い面積の大きい領域は平面と認識でき、図１６では明度が低いある程度の面積を有する領域は曲面であると認識できた。さらに、この明度の低い部分について調べると、図１８のようにピントの合っている箇所のエッジ情報を検出することができた。これは、ボケのあるエッジはその幅が広くなり、これに対しピントの合っているエッジは最少の頻度を持つことにもとづくものであった。
【００４２】
ｍの値を大きくすると、ゆるやかな曲面や、陰および照明のむらなどを検出でき、逆にｍの値を小さくしていくと曲率の大きな面やエッジを検出できることが判った。これは、ちょうど人間の目の働きに似ており、シーンの必要な情報を選択的に取得できることが判った。
【００４３】
画像取得回数ｎの値は、撮影システムのノイズや照明環境に合わせて設定する必要があった。色変化の周波数の低い画像では数回程度の取り込みで十分であるが、逆に色数が多く色変化の周波数が高い画像やコントラストの高い画像では、ｎの値を大きくする必要があった。
【００４４】
【発明の効果】
本発明によると、上述のように計算量が少なく、また専用のハードウェアを必要とせずに、汎用のコンピュータで処理できるという利点がある。しかも、頻度画像を作成して、カラー画像における色の頻度情報とその位置情報とを同時に取得するため、簡単な計算だけで迅速にしかも安定して画像処理を行うことができる。
【図面の簡単な説明】
【図１】本発明にもとづく頻度情報を持つＲＢＧカラーヒストグラムの例を示す図である。
【図２】赤色と黄色との二色の境界部を例示する図である。
【図３】図２の画像のカラーヒストグラムの例を示す図である。
【図４】実際の物品のカラー画像の例を示す図である。
【図５】図２の境界部における、ＣＣＤカメラのランダムノイズや照明の変動にもとづくノイズによる誤差を示す図である。
【図６】図２の境界部における、コンピュータのメモリへデータを転送するときに生じるノイズによる誤差を示す図である。
【図７】本発明にもとづくエッジ検出手順を説明するための図である。
【図８】ＬＳＩの製品パッケージのカラー画像の例を示す図である。
【図９】図８の画像にもとづく検出画像の例を示す図である。
【図１０】図８の画像を従来の手法で処理した結果を示す図である。
【図１１】雑誌の表紙のカラー画像の例を示す図である。
【図１２】図１１の画像にもとづく検出画像の例を示す図である。
【図１３】図１２における小さい文字の拡大図、および、同じ部分について従来の手法で処理した結果を示す拡大図である。
【図１４】日中の実験室内の風景のカラー画像の例を示す図である。
【図１５】図１４の画像にもとづく検出画像の例を示す図である。
【図１６】図１５に比べ検出用パラメータを変化させたときの検出画像の例を示す図である。
【図１７】図１４の画像を従来の手法で処理した結果を示す図である。
【図１８】図１６の画像の一部を一定の閾値で二値化した図、および、図１４における同じ部分を従来の手法で二値化した図である。

Claims (1)

1. カラー画像の各画素の色をカラーヒストグラム空間上にプロットするとともに、前記カラーヒストグラム空間上にプロットされた各点に、前記カラー画像に現れるそれぞれの色の頻度の情報を持たせ、前記カラー画像における色を前記頻度の情報に置き換えた頻度画像を作成することにより、前記カラー画像における色の頻度情報とその位置情報とを同時に取得することを特徴とするカラー画像の処理方法。

Images