JP2004246717A

JP2004246717A - Image discriminator

Info

Publication number: JP2004246717A
Application number: JP2003037153A
Authority: JP
Inventors: Katsuyuki Shudo; 勝行首藤
Original assignee: Victor Company of Japan Ltd
Current assignee: Victor Company of Japan Ltd
Priority date: 2003-02-14
Filing date: 2003-02-14
Publication date: 2004-09-02
Anticipated expiration: 2023-02-14
Also published as: JP4023330B2

Abstract

<P>PROBLEM TO BE SOLVED: To discriminate colors by calculating a ratio between a ratio of each color of RGB to be discriminated and a ratio of each color of RGB input from an image and acquiring an evaluation value. <P>SOLUTION: An image discriminator having a color image signal input 12 and discriminating a subject by a calculation processor 13, based on the color information from the input 12 stores in advance R0, G0, B0 to be RGB values of specified colors, acquires specified RGB ratios C=R0/G0, D=G0/B0, E=B0/R0 from the RGB values, acquires original RGB ratios H=R1/G1, I=G1/B1, J=B1/R1 from R1, G1, B1 to be RGB values of each pixel at each pixel of the original image, and acquires ratios K1=H/C, L1=I/D, M1=J/E to be ratios between the specified RGB ratios and the original RGB ratios. If each value of the ratios K1, L1, M1 is ≤1, equations K2=K1, L2=L1, M2=M1 are satisfied, and if each value of the ratios K1, L1, M1 exceeds 1, equations K2=1/K1, L2=1/L1, M2=1/M1 are satisfied furthermore, acquires the product K2×L2×M2 as an evaluation value N, and extracts pixels having RGB values R1, G1, B1 of which the evaluation values N becomes not less than a threshold as object pixels. <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、画像識別装置に関する。
【０００２】
【従来の技術】
従来、例えば特開平４−３６９０８７号公報に記載されているような、色により物体を認識する画像識別装置が知られている。
【０００３】
【特許文献１】
特開平４−３６９０８７号公報
【０００４】
【発明が解決しようとする課題】
従来の画像識別装置は、識別精度が高くない問題点と、対象物が暗い場合に誤検出しやすい問題点があった。
【０００５】
本発明は、このような従来の技術的課題を解決するためになされたもので、色識別精度が高く、また対象物が暗い場合にも正確に色識別できる画像識別装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
請求項１の発明は、画像入力部と演算処理部とを備え、前記演算処理部は、前記画像入力部に入力された原画像から所望の対象画像を予め設定した設定色に基づいて識別する画像識別装置であって、前記演算処理部は、前記設定色のＲＧＢ値であるＲ０、Ｇ０、Ｂ０を予め記憶し、該ＲＧＢ値から設定ＲＧＢ比率Ｃ＝Ｒ０／Ｇ０、Ｄ＝Ｇ０／Ｂ０、Ｅ＝Ｂ０／Ｒ０を求め、前記原画像の画素毎に、該画素のＲＧＢ値であるＲ１、Ｇ１、Ｂ１から原ＲＧＢ比率Ｈ＝Ｒ１／Ｇ１、Ｉ＝Ｇ１／Ｂ１、Ｊ＝Ｂ１／Ｒ１を求め、前記設定ＲＧＢ比率と前記原ＲＧＢ比率との比である比率Ｋ１＝Ｈ／Ｃ、Ｌ１＝Ｉ／Ｄ、Ｍ１＝Ｊ／Ｅを求め、前記比率Ｋ１、Ｌ１、Ｍ１の各値が１以下の場合は、Ｋ２＝Ｋ１、Ｌ２＝Ｌ１、Ｍ２＝Ｍ１とし、前記比率Ｋ１、Ｌ１、Ｍ１の各値が１を超える場合は、Ｋ２＝１／Ｋ１、Ｌ２＝１／Ｌ１、Ｍ２＝１／Ｍ１とし、前記比率Ｋ２、Ｌ２、Ｍ２の積であるＫ２×Ｌ２×Ｍ２を求めてその値を評価値Ｎとし、前記評価値Ｎが所定のしきい値以上となるＲＧＢ値Ｒ１、Ｇ１、Ｂ１を有する前記画素を対象画素として抽出し、前記対象画素の分布に応じて前記対象画像を識別する識別手段を有することを特徴とするものである。
【０００７】
請求項２の発明は、画像入力部と演算処理部とを備え、前記演算処理部は、前記画像入力部に入力された原画像から所望の対象画像を予め設定した設定色に基づいて識別する画像識別装置であって、前記演算処理部は、前記設定色のＲＧＢ値であるＲ０、Ｇ０、Ｂ０を予め記憶し、該ＲＧＢ値から設定ＲＧＢ比率Ｃ＝Ｒ０／Ｇ０、Ｄ＝Ｇ０／Ｂ０、Ｅ＝Ｂ０／Ｒ０を求め、前記原画像の画素毎に、該画素のＲＧＢ値であるＲ１、Ｇ１、Ｂ１から原ＲＧＢ比率Ｈ＝Ｒ１／Ｇ１、Ｉ＝Ｇ１／Ｂ１、Ｊ＝Ｂ１／Ｒ１を求める一方、該画素の明るさ情報Ｔを求め、前記設定ＲＧＢ比率と前記原ＲＧＢ比率との比である比率Ｋ１＝Ｈ／Ｃ、Ｌ１＝Ｉ／Ｄ、Ｍ１＝Ｊ／Ｅを求め、前記比率Ｋ１、Ｌ１、Ｍ１の各値が１以下の場合は、Ｋ２＝Ｋ１、Ｌ２＝Ｌ１、Ｍ２＝Ｍ１とし、前記比率Ｋ１、Ｌ１、Ｍ１の各値が１を超える場合は、Ｋ２＝１／Ｋ１、Ｌ２＝１／Ｌ１、Ｍ２＝１／Ｍ１とし、前記比率Ｋ２、Ｌ２、Ｍ２の積であるＫ２×Ｌ２×Ｍ２を求めてその値を積Ｓとし、前記積Ｓと前記明るさ情報Ｔとの積Ｓ×Ｔを評価値Ｕとし、評価値Ｕが所定のしきい値以上となるＲＧＢ値Ｒ１、Ｇ１、Ｂ１及び前記明るさ情報Ｔを有する前記画素を対象画素として抽出し、前記対象画素の分布に応じて前記対象画像を識別する識別手段を有することを特徴とするものである。
【０００８】
ここで、前記明るさ情報Ｔには、前記画素のＲＧＢ値の和であるＦ＝Ｒ１＋Ｇ１＋Ｂ１を利用することができる。
【０００９】
【発明の実施の形態】
以下、本発明の実施の形態を図に基づいて詳説する。図１に本発明の第１の実施の形態の画像識別装置を組み込んだロボット１の概略図を示す。ロボット１の頭部２の鼻先にはビデオカメラ３が取り付けてある。ロボット１の目の部分は赤外線受光部４になっている。ロボット１の耳にはマイクロホン５が取り付けてあり、音や声を入力することが可能である。
【００１０】
頭部２はロボット１の胴体６に取り付けてある。この頭部２は、２自由度のアクチュエータを介して取り付けてあり、左右・上下に動かすことが可能である。
【００１１】
ロボット１の胴体６には４本の脚７が取り付けてある。この脚７もアクチュエータを介して取り付けてあり、歩行が可能であり、自身の姿勢も制御できる。図１において、８はスピーカ、９はしつけボタンである。なお、このロボット１の駆動機構は一般的なものであり、詳細については図示していない。
【００１２】
ロボット１の鼻先のビデオカメラ３から出力された映像情報は、原画像として後述する内部のＣＰＵ１１に送られ、このＣＰＵ１１により画像認識処理など行い、これをもとに動作などに反映させる。例えば、好きな色のボールが転がっていればこれを識別して追いかけたり、嫌いなものがあればこれから退避したりする行動をとるように設定するのである。
【００１３】
図２にロボット１の制御系のブロック図を示す。ロボット１の動作制御はＣＰＵ１１により予め組み込んであるソフトウェアプログラムを実行することによって行うものであるが、ここではＣＰＵ１１の演算処理を機能別に分けて説明する。
【００１４】
ビデオカメラ３からＣＰＵ１１の画像入力ポート１２に映像信号Ｙ（輝度）、Ｕ（色差）、Ｖ（色差）と同期信号Ｖｓ、Ｈｓが出力される。ＣＰＵ１１では、ビデオカメラ３からの同期信号Ｖｓ、Ｈｓに同期して画像入力ポート１２よりデータを取り込み、画像データ処理部１３において画像データ処理を行う。
【００１５】
この画像データ処理部１３では、入力したＹＵＶデータをＲＧＢ値に変換する等の処理を行う。このＹＵＶデータのＲＧＢ値への変換は、下記のとおりである。
【００１６】
【数１】
Ｒ＝Ｙ＋１．４０２Ｖ
Ｇ＝Ｙ−０．７１４Ｖ−０．３４４Ｕ
Ｂ＝Ｙ＋１．７７２Ｕ
画像データ処理部１３ではビデオカメラ３からの各画素のＹＵＶデータに対して画素毎にＲＧＢ値を求める。
【００１７】
次に、この画素毎のＲＧＢ値を基にして、この画素が識別対象物の色を有しているか否かを全体制御部１４で判定する。
【００１８】
そして、画像データ中に、識別対象物の色を有する画素を所定値以上の数検出した場合（この方法についての詳細は後述する）、識別対象物がビデオカメラ３の前に存在すると判断し、これに対応してロボット１の行動パターンを決定し、動作制御部１５に指示する。動作制御部１５は指示された行動パターンを実現するために各部駆動モータ２１と発音部２２を動作制御し、ロボット１を頭部２を動かしたり、脚７で歩かせたり、またほえる声をスピーカ８から出させる等の動作をさせる。
【００１９】
全体制御部１４による画像識別処理は、図３のフローチャートの手順による。予め、所望の多数の対象物それぞれについて、識別すべき色のＲＧＢ値とこのＲＧＢ値を組み合わせた比率とを求める。これらの値はＣＰＵ１１に記憶させておく（ステップＳ１）。
【００２０】
例１として、対象物が黄色のテニスボールの場合、Ｒ０＝１７６、Ｇ０＝１８９、Ｂ０＝８０とであり、各色の比率Ｃ、Ｄ、Ｅは、次の通りである。
【００２１】
【数２】
Ｃ＝Ｒ０／Ｇ０＝１７６／１８９≒０．９３１
Ｄ＝Ｇ０／Ｂ０＝１８９／８０≒２．３６
Ｅ＝Ｂ０／Ｒ０＝８０／１７６≒０．４５５
ある対象物の画像信号がビデオカメラ３からＣＰＵ１１に入力されると、ＣＰＵ１１では、入力した各画素のＲＧＢの組合せの比率を計算する。ここでは、ＲＧＢ信号は、Ｒ１＝１３０、Ｇ１＝１４３、Ｂ１＝６１であったとする。すると、各色の比率Ｈ、Ｉ、Ｊは次の演算で得る（ステップＳ２）。
【００２２】
【数３】
Ｈ＝Ｒ１／Ｇ１＝１３０／１４３≒０．９０９
Ｉ＝Ｇ１／Ｂ１＝１４３／６１≒２．３４
Ｊ＝Ｂ１／Ｒ１＝６１／１３０≒０．４６９
そして各組合せに対応したＣ−Ｈ間、Ｄ−Ｉ間、Ｅ−Ｊ間の第１の比率Ｋ１＝Ｈ／Ｃ、Ｌ１＝Ｉ／Ｄ、Ｍ１＝Ｊ／Ｅを求める。そして、この第１の比率Ｋ１、Ｌ１、Ｍ１が１を超えないように除数と被除数を設定して第２の比率Ｋ２、Ｌ２、Ｍ２を求める（ステップＳ３）。例えば、Ｋ１に関して、Ｈ＞ＣであればＫ２＝１／Ｋ１とし、Ｈ≦ＣであればＫ２＝Ｋ１として第２の比率Ｋ２を求める。Ｄ−Ｉ間、Ｅ−Ｊ間の第２の比率Ｌ２、Ｍ２についても同様である。
【００２３】
これにより、上記の例１（黄色のテニスボール）においては、次のようにしてＣ−Ｈ間、Ｄ−Ｉ間、Ｅ−Ｊ間の第２の比率Ｋ２、Ｌ２、Ｍ２を求める。
【００２４】
【数４】
Ｋ２＝Ｋ１＝Ｈ／Ｃ＝０．９０９／０．９３１≒０．９７６
Ｌ２＝Ｌ１＝Ｉ／Ｄ＝２．３４／２．３６≒０．９９１
Ｍ２＝１／Ｍ１＝Ｅ／Ｊ＝０．４５５／０．４６９≒０．９７０
次に、これらを乗算して評価値Ｎを求める（ステップＳ４）。
【００２５】
【数５】

次に、例２について示す。当例では、画素のＲＧＢ値がＲ１＝７０、Ｇ１＝１７２、Ｂ１＝１２５であり、この場合に、Ｋ２、Ｌ２、Ｍ２、Ｎの各値を求める方法を以下に説明する。
【００２６】
まず、各色の比率Ｈ、Ｉ、Ｊは次のようになる。
【００２７】
【数６】
Ｈ＝Ｒ１／Ｇ１＝７０／１７２≒０．４０７
Ｉ＝Ｇ１／Ｂ１＝１７２／１２５≒１．３８
Ｊ＝Ｂ１／Ｒ１＝１２５／７０≒１．７９
そして、各組合せに対応したＣ−Ｈ、Ｄ−Ｉ、Ｅ−Ｊの比率を求める。このときにも、比率は１を超えないように除数と被除数を決定する。
【００２８】
【数７】
Ｋ２＝Ｋ１＝Ｈ／Ｃ＝０．４０７／０．９３１≒０．４３７
Ｌ２＝Ｌ１＝Ｉ／Ｄ＝１．３８／２．３６≒０．５８５
Ｍ２＝１／Ｍ１＝Ｅ／Ｊ＝０．４５５／１．７９≒０．２５４
これらを乗算して評価値Ｎを求める。
【００２９】
【数８】

ここで、予めしきい値Ｓ１を０．７に設定していた場合、例１の画素はその評価値Ｎがしきい値よりも大きいので、その画素を所望の対象物の画像に含まれる画素として認識する（ステップＳ４，Ｓ６，Ｓ７）。この場合の判定を、「ＯＫ判定」と称する。
【００３０】
一方、例２の画素はその評価値Ｎがしきい値よりも小さいので、その画素を所望の対象物の画像に含まれない画素として認識する（ステップＳ４，Ｓ６，Ｓ８）。この場合の判定を、「ＮＧ判定」と称する。
【００３１】
以上説明した方法は、ＲＧＢの各比率をもとに計算しているので、輝度による影響を受けない。このため、画像が明るい場合でも暗い場合でも、良好な画像識別が可能である。また、各要素の比率を乗算して評価値Ｎを求めているので、色の差を大きな数値差として得られ、精度の良い識別が可能である。
【００３２】
次に、本発明の第２の実施の形態について説明する。第２の実施の形態の画像識別装置の機能構成は第１の実施の形態と共通である。そして全体制御部１４における処理機能において、第１の実施の形態における評価値Ｎを求めるステップまでの処理は共通であるので、それ以降の処理機能について以下に詳述する。
【００３３】
当実施の形態における全体制御部１４は、例えばペットロボットなど安価なカメラを画像入力手段として使用する場合のように、得られる画像信号のＳ／Ｎが良好でないときに、明るさ成分を含めて識別させることが可能になり、具体的には、評価値Ｎに明るさ情報Ｔを乗じた第２の評価値で評価する機能を備えている。
【００３４】
この明るさ情報Ｔとしては、輝度信号Ｙを使用することができる。具体的には、入力した輝度信号Ｙ値の正規化値を評価値Ｎに乗算する。つまり、輝度信号Ｙの最大値がＹＭＡＸ＝２５５である場合、Ｙ／２５５を乗算して第２の評価値Ｐを、
【数９】
Ｐ＝Ｎ×（Ｙ／２５５）
として求め（ステップＳ５）、この値を予め設定したしきい値Ｓ２と比較する（ステップＳ６）。
【００３５】
この場合、第２の評価値Ｐが１に近いほど識別したい色に近いことになる。つまり、明るく、かつＳ／Ｎ良く撮影された状態の信号でＯＫ判定となったことになる（ステップＳ６，Ｓ７）。そして暗くて、色信号がノイズに埋もれた状態で得られた値は評価が下がることになり、曖昧な値はキャンセルされる（ステップＳ６，Ｓ８）。
【００３６】
従って、良好なＳ／Ｎの色信号のみを対象にＯＫ判定するので暗い画像であっても高精度の識別が可能となる。
【００３７】
なお、この輝度信号Ｙは上述のように入力のＹ値を用いてもよいし、ビデオカメラ３からの入力がＲＧＢ信号の場合にはＹを演算により求めてもよい。また、明るさ情報ＴとしてＲ１＋Ｇ１＋Ｂ１の値を使用してもよい。
【００３８】
ＣＰＵ１１は、この方法で得られた識別結果をもとに全体の制御プログラムの流れを決め、動作制御を行う。
【００３９】
まず、上述した処理で得られた画素毎の色識別結果から、原画像に所望の対象物が含まれているか否かを判定する。この判定処理の一例を説明する。
【００４０】
所望の対象物の色であるとの判定（上述のＯＫ判定）を縦横に隣接する４つの画素において得られた場合に、この所望の対象物がカメラ前方に存在すると判定する。
【００４１】
また、所望の対象物の色であるとの判定を複数の画素領域でそれぞれ独立に得られた場合は、縦横に連続する画素数が多い方の領域を所望の対象物であると判定する。
【００４２】
この判定処理は、本画像識別装置に搭載するＣＰＵ１１の性能により、またカメラ３の受像素子の画素数により適宜に設定すべきものである。いずれの処理方法においても、ＯＫ判定により抽出した対象画素の画像上の分布に応じて対象物とする領域を識別するように設定すればよい。
【００４３】
ＣＰＵ１１は、上述のように原画像中に所望の対象物を識別すると、予め記憶した、その対象物に応じた仕草を実行するようにロボットの動作を制御する。例えば、各関節のモータ２１を制御することによってロボットを歩行させたり、首を回させたりする。また発音部２２に指示を出し、スピーカ８から鳴き声を出させたりする。この制御により、ロボットに好みのものを追いかけさせたり、危険なものから退避させたりすることが可能となる。
【００４４】
なお、本発明の技術的思想には次の画像識別処理方法、画像識別処理プログラムも含むものである。
【００４５】
（１）コンピュータに原画像を入力し、入力された原画像から所望の対象画像を予め設定した設定色に基づいて識別する画像識別方法であって、前記設定色のＲＧＢ値であるＲ０、Ｇ０、Ｂ０を予め記憶するステップと、該ＲＧＢ値から設定ＲＧＢ比率Ｃ＝Ｒ０／Ｇ０、Ｄ＝Ｇ０／Ｂ０、Ｅ＝Ｂ０／Ｒ０を求めるステップと、前記原画像の画素毎に、該画素のＲＧＢ値であるＲ１、Ｇ１、Ｂ１から原ＲＧＢ比率Ｈ＝Ｒ１／Ｇ１、Ｉ＝Ｇ１／Ｂ１、Ｊ＝Ｂ１／Ｒ１を求め、前記設定ＲＧＢ比率と前記原ＲＧＢ比率との比である比率Ｋ１＝Ｈ／Ｃ、Ｌ１＝Ｉ／Ｄ、Ｍ１＝Ｊ／Ｅを求め、前記比率Ｋ１、Ｌ１、Ｍ１の各値が１以下の場合は、Ｋ２＝Ｋ１、Ｌ２＝Ｌ１、Ｍ２＝Ｍ１とし、前記比率Ｋ１、Ｌ１、Ｍ１の各値が１を超える場合は、Ｋ２＝１／Ｋ１、Ｌ２＝１／Ｌ１、Ｍ２＝１／Ｍ１とし、前記比率Ｋ２、Ｌ２、Ｍ２の積であるＫ２×Ｌ２×Ｍ２を求めてその値を評価値Ｎとするステップと、前記評価値Ｎが所定のしきい値以上となるＲＧＢ値Ｒ１、Ｇ１、Ｂ１を有する前記画素を対象画素として抽出するステップと、前記対象画素の分布に応じて前記対象画像を識別するステップとを有する画像識別方法。
【００４６】
（２）コンピュータに原画像を入力し、入力された原画像から所望の対象画像を予め設定した設定色に基づいて識別する画像識別方法であって、前記設定色のＲＧＢ値であるＲ０、Ｇ０、Ｂ０を予め記憶するステップと、該ＲＧＢ値から設定ＲＧＢ比率Ｃ＝Ｒ０／Ｇ０、Ｄ＝Ｇ０／Ｂ０、Ｅ＝Ｂ０／Ｒ０を求めるステップと、前記原画像の画素毎に、該画素のＲＧＢ値であるＲ１、Ｇ１、Ｂ１から原ＲＧＢ比率Ｈ＝Ｒ１／Ｇ１、Ｉ＝Ｇ１／Ｂ１、Ｊ＝Ｂ１／Ｒ１を求める一方、該画素の明るさ情報Ｔを求め、前記設定ＲＧＢ比率と前記原ＲＧＢ比率との比である比率Ｋ１＝Ｈ／Ｃ、Ｌ１＝Ｉ／Ｄ、Ｍ１＝Ｊ／Ｅを求め、前記比率Ｋ１、Ｌ１、Ｍ１の各値が１以下の場合は、Ｋ２＝Ｋ１、Ｌ２＝Ｌ１、Ｍ２＝Ｍ１とし、前記比率Ｋ１、Ｌ１、Ｍ１の各値が１を超える場合は、Ｋ２＝１／Ｋ１、Ｌ２＝１／Ｌ１、Ｍ２＝１／Ｍ１とし、前記比率Ｋ２、Ｌ２、Ｍ２の積であるＫ２×Ｌ２×Ｍ２を求めてその値を積Ｓとし、前記積Ｓと前記明るさ情報Ｔとの積Ｓ×Ｔを評価値Ｕとするステップと、評価値Ｕが所定のしきい値以上となるＲＧＢ値Ｒ１、Ｇ１、Ｂ１及び前記明るさ情報Ｔを有する前記画素を対象画素として抽出するステップと、前記対象画素の分布に応じて前記対象画像として識別するステップとを有することを特徴とする画像識別方法。
【００４７】
（３）設定色のＲＧＢ値であるＲ０、Ｇ０、Ｂ０を予め記憶装置に記憶するステップと、該ＲＧＢ値から設定ＲＧＢ比率Ｃ＝Ｒ０／Ｇ０、Ｄ＝Ｇ０／Ｂ０、Ｅ＝Ｂ０／Ｒ０を求めるステップと、前記原画像の画素毎に、該画素のＲＧＢ値であるＲ１、Ｇ１、Ｂ１から原ＲＧＢ比率Ｈ＝Ｒ１／Ｇ１、Ｉ＝Ｇ１／Ｂ１、Ｊ＝Ｂ１／Ｒ１を求め、前記設定ＲＧＢ比率と前記原ＲＧＢ比率との比である比率Ｋ１＝Ｈ／Ｃ、Ｌ１＝Ｉ／Ｄ、Ｍ１＝Ｊ／Ｅを求め、前記比率Ｋ１、Ｌ１、Ｍ１の各値が１以下の場合は、Ｋ２＝Ｋ１、Ｌ２＝Ｌ１、Ｍ２＝Ｍ１とし、前記比率Ｋ１、Ｌ１、Ｍ１の各値が１を超える場合は、Ｋ２＝１／Ｋ１、Ｌ２＝１／Ｌ１、Ｍ２＝１／Ｍ１とし、前記比率Ｋ２、Ｌ２、Ｍ２の積であるＫ２×Ｌ２×Ｍ２を求めてその値を評価値Ｎとするステップと、前記評価値Ｎが所定のしきい値以上となるＲＧＢ値Ｒ１、Ｇ１、Ｂ１を有する前記画素を対象画素として抽出するステップと、前記対象画素の分布に応じて前記対象画像を識別するステップとをコンピュータに実行させる画像識別プログラム。
【００４８】
（４）設定色のＲＧＢ値であるＲ０、Ｇ０、Ｂ０を予め記憶装置に記憶するステップと、該ＲＧＢ値から設定ＲＧＢ比率Ｃ＝Ｒ０／Ｇ０、Ｄ＝Ｇ０／Ｂ０、Ｅ＝Ｂ０／Ｒ０を求めるステップと、前記原画像の画素毎に、該画素のＲＧＢ値であるＲ１、Ｇ１、Ｂ１から原ＲＧＢ比率Ｈ＝Ｒ１／Ｇ１、Ｉ＝Ｇ１／Ｂ１、Ｊ＝Ｂ１／Ｒ１を求める一方、該画素の明るさ情報Ｔを求め、前記設定ＲＧＢ比率と前記原ＲＧＢ比率との比である比率Ｋ１＝Ｈ／Ｃ、Ｌ１＝Ｉ／Ｄ、Ｍ１＝Ｊ／Ｅを求め、前記比率Ｋ１、Ｌ１、Ｍ１の各値が１以下の場合は、Ｋ２＝Ｋ１、Ｌ２＝Ｌ１、Ｍ２＝Ｍ１とし、前記比率Ｋ１、Ｌ１、Ｍ１の各値が１を超える場合は、Ｋ２＝１／Ｋ１、Ｌ２＝１／Ｌ１、Ｍ２＝１／Ｍ１とし、前記比率Ｋ２、Ｌ２、Ｍ２の積であるＫ２×Ｌ２×Ｍ２を求めてその値を積Ｓとし、前記積Ｓと前記明るさ情報Ｔとの積Ｓ×Ｔを評価値Ｕとするステップと、評価値Ｕが所定のしきい値以上となるＲＧＢ値Ｒ１、Ｇ１、Ｂ１及び前記明るさ情報Ｔを有する前記画素を対象画素として抽出するステップと、前記対象画素の分布に応じて前記対象画像として識別するステップとをコンピュータに実行させる画像識別プログラム。
【００４９】
【発明の効果】
以上のように本発明によれば、識別のしきい値をＲＧＢ信号の各比率をもとに求めているので、輝度による影響を受けずに画像識別でき、この結果、明るい場合でも暗い場合でも画像識別を良好に行うことができる。また、各要素の比率を乗算しているので、色の差が大きな数値差として得られ、精度良い識別が可能である。
【００５０】
また本発明によれば、画像中の暗い部分におけるＳ／Ｎが悪い曖昧な画像情報による評価をキャンセルすることができ、画像識別結果の信頼度を上げることができる。
【図面の簡単な説明】
【図１】本発明の１つの実施の形態の画像識別装置を搭載したロボットの斜視図。
【図２】上記実施の形態の画像識別装置の機能ブロック図。
【図３】上記実施の形態による画像識別処理のフローチャート。
【符号の説明】
１ロボット
３ビデオカメラ
１１ＣＰＵ
１２画像入力ポート
１３画像データ処理部
１４全体制御部
１５動作制御部[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an image identification device.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, there has been known an image identification apparatus for recognizing an object based on a color, as described in, for example, Japanese Patent Application Laid-Open No. 4-369087.
[0003]
[Patent Document 1]
JP-A-4-369087
[Problems to be solved by the invention]
The conventional image identification device has a problem that the identification accuracy is not high and a problem that it is easy to make an erroneous detection when the target is dark.
[0005]
The present invention has been made to solve such a conventional technical problem, and has as its object to provide an image identification device having high color identification accuracy and capable of accurately performing color identification even when an object is dark. And
[0006]
[Means for Solving the Problems]
The invention according to claim 1 includes an image input unit and an arithmetic processing unit, and the arithmetic processing unit identifies a desired target image from an original image input to the image input unit based on a preset color. In the image identification device, the arithmetic processing unit stores in advance RGB values R0, G0, and B0 of the set color, and sets a set RGB ratio C = R0 / G0, D = G0 / B0 from the RGB values. E = B0 / R0 is determined, and for each pixel of the original image, the original RGB ratio H = R1 / G1, I = G1 / B1, and J = B1 / R1 are calculated from the RGB values R1, G1, and B1 of the pixel. Then, the ratios K1 = H / C, L1 = I / D, and M1 = J / E, which are the ratios of the set RGB ratio and the original RGB ratio, are determined, and the values of the ratios K1, L1, and M1 are 1 or less. , K2 = K1, L2 = L1, M2 = M1, and the ratio K1, When the values of 1, M1 exceed 1, K2 = 1 / K1, L2 = 1 / L1, M2 = 1 / M1, and K2 × L2 × M2, which is the product of the ratios K2, L2, and M2, is obtained. The value is used as an evaluation value N, and the pixels having RGB values R1, G1, and B1 at which the evaluation value N is equal to or more than a predetermined threshold value are extracted as target pixels, and the target is extracted according to the distribution of the target pixels. It has an identification means for identifying an image.
[0007]
The invention according to claim 2 includes an image input unit and an arithmetic processing unit, wherein the arithmetic processing unit identifies a desired target image from the original image input to the image input unit based on a preset color. In the image identification device, the arithmetic processing unit stores in advance RGB values R0, G0, and B0 of the set color, and sets a set RGB ratio C = R0 / G0, D = G0 / B0 from the RGB values. E = B0 / R0 is determined, and for each pixel of the original image, the original RGB ratio H = R1 / G1, I = G1 / B1, and J = B1 / R1 are calculated from the RGB values R1, G1, and B1 of the pixel. On the other hand, the brightness information T of the pixel is obtained, and the ratios K1 = H / C, L1 = I / D, and M1 = J / E, which are the ratios of the set RGB ratio and the original RGB ratio, are obtained. When the values of K1, L1, and M1 are 1 or less, K2 = K1, L2 = L , M2 = M1, and when each value of the ratios K1, L1, M1 exceeds 1, K2 = 1 / K1, L2 = 1 / L1, M2 = 1 / M1, and the ratios K2, L2, M2 The product K2 × L2 × M2 is obtained and its value is defined as a product S. The product S × T of the product S and the brightness information T is defined as an evaluation value U. The pixel having the following RGB values R1, G1, B1 and the brightness information T is extracted as a target pixel, and an identification unit for identifying the target image in accordance with the distribution of the target pixel is provided. is there.
[0008]
Here, as the brightness information T, F = R1 + G1 + B1, which is the sum of the RGB values of the pixel, can be used.
[0009]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. FIG. 1 shows a schematic diagram of a robot 1 incorporating an image identification device according to a first embodiment of the present invention. A video camera 3 is attached to the nose of the head 2 of the robot 1. The eye portion of the robot 1 is an infrared light receiving section 4. The microphone 5 is attached to the ear of the robot 1 and can input sound and voice.
[0010]
The head 2 is attached to the body 6 of the robot 1. The head 2 is attached via an actuator having two degrees of freedom, and can be moved right and left and up and down.
[0011]
Four legs 7 are attached to the body 6 of the robot 1. The leg 7 is also attached via an actuator, is capable of walking, and can control its own posture. In FIG. 1, 8 is a speaker, and 9 is a discipline button. The driving mechanism of the robot 1 is a general one, and details thereof are not shown.
[0012]
The video information output from the video camera 3 at the tip of the nose of the robot 1 is sent as an original image to an internal CPU 11, which will be described later. The CPU 11 performs image recognition processing and the like, and reflects it in operations and the like based on this. For example, if a ball of a favorite color is rolling, it is set so as to identify and chase the ball, and if there is an object that the player does not like, it is set to take action.
[0013]
FIG. 2 shows a block diagram of a control system of the robot 1. The operation control of the robot 1 is performed by executing a software program incorporated in advance by the CPU 11. Here, the arithmetic processing of the CPU 11 will be described for each function.
[0014]
Video signals Y (luminance), U (color difference), V (color difference) and synchronization signals Vs and Hs are output from the video camera 3 to the image input port 12 of the CPU 11. The CPU 11 fetches data from the image input port 12 in synchronization with the synchronization signals Vs and Hs from the video camera 3, and performs image data processing in the image data processing unit 13.
[0015]
The image data processing unit 13 performs processing such as converting input YUV data into RGB values. The conversion of the YUV data into RGB values is as follows.
[0016]
(Equation 1)
R = Y + 1.402V
G = Y-0.714V-0.344U
B = Y + 1.772U
The image data processing unit 13 obtains an RGB value for each pixel from the YUV data of each pixel from the video camera 3.
[0017]
Next, based on the RGB values of each pixel, the overall control unit 14 determines whether or not this pixel has the color of the identification target.
[0018]
Then, when the number of pixels having the color of the object to be identified is equal to or more than a predetermined value in the image data (the details of this method will be described later), it is determined that the object to be identified exists before the video camera 3, In response to this, the action pattern of the robot 1 is determined, and the motion control unit 15 is instructed. The operation control unit 15 controls the operation of each unit driving motor 21 and the sound generation unit 22 in order to realize the instructed action pattern, and moves the robot 1 with the head 2, walks with the legs 7, and speaks a roaring voice. 8 and the like.
[0019]
The image identification processing by the overall control unit 14 is based on the procedure of the flowchart in FIG. In advance, for each of a large number of desired objects, an RGB value of a color to be identified and a ratio obtained by combining the RGB values are obtained. These values are stored in the CPU 11 (step S1).
[0020]
As an example 1, when the target object is a yellow tennis ball, R0 = 176, G0 = 189, and B0 = 80, and the ratios C, D, and E of the respective colors are as follows.
[0021]
(Equation 2)
C = R0 / G0 = 176/189 ≒ 0.931
D = G0 / B0 = 189/80 ≒ 2.36
E = B0 / R0 = 80/176 ≒ 0.455
When an image signal of a certain object is input from the video camera 3 to the CPU 11, the CPU 11 calculates the ratio of the RGB combination of each input pixel. Here, it is assumed that the RGB signals have R1 = 130, G1 = 143, and B1 = 61. Then, the ratios H, I, and J of the respective colors are obtained by the following calculation (step S2).
[0022]
[Equation 3]
H = R1 / G1 = 130/143 ≒ 0.909
I = G1 / B1 = 143/61 ≒ 2.34
J = B1 / R1 = 61/130 ≒ 0.469
Then, first ratios K1 = H / C, L1 = I / D, and M1 = J / E between CH, DI, and EJ corresponding to each combination are obtained. Then, the divisor and the dividend are set so that the first ratios K1, L1, and M1 do not exceed 1, and the second ratios K2, L2, and M2 are obtained (step S3). For example, regarding K1, K2 = 1 / K1 if H> C, and K2 = K1 if H ≦ C, and the second ratio K2 is determined. The same applies to the second ratios L2 and M2 between DI and EJ.
[0023]
Thus, in the above example 1 (yellow tennis ball), the second ratios K2, L2, and M2 between CH, DI, and EJ are determined as follows.
[0024]
(Equation 4)
K2 = K1 = H / C = 0.909 / 0.931 ≒ 0.976
L2 = L1 = I / D = 2.34 / 2.36 ≒ 0.991
M2 = 1 / M1 = E / J = 0.455 / 0.469 ≒ 0.970
Next, these are multiplied to obtain an evaluation value N (step S4).
[0025]
(Equation 5)

Next, Example 2 will be described. In this example, the RGB values of the pixel are R1 = 70, G1 = 172, and B1 = 125. In this case, a method of obtaining the respective values of K2, L2, M2, and N will be described below.
[0026]
First, the ratios H, I, and J of the respective colors are as follows.
[0027]
(Equation 6)
H = R1 / G1 = 70/172 ≒ 0.407
I = G1 / B1 = 172/125 ≒ 1.38
J = B1 / R1 = 125/70 ≒ 1.79
Then, the ratio of CH, DI, and EJ corresponding to each combination is obtained. At this time, the divisor and the dividend are determined so that the ratio does not exceed 1.
[0028]
(Equation 7)
K2 = K1 = H / C = 0.407 / 0.931 ≒ 0.437
L2 = L1 = I / D = 1.38 / 2.36 ≒ 0.585
M2 = 1 / M1 = E / J = 0.455 / 1.79 ≒ 0.254
The evaluation value N is obtained by multiplying these.
[0029]
(Equation 8)

Here, if the threshold value S1 is set to 0.7 in advance, since the evaluation value N of the pixel of Example 1 is larger than the threshold value, the pixel is included in the image of the desired object. (Steps S4, S6, S7). The determination in this case is referred to as “OK determination”.
[0030]
On the other hand, since the evaluation value N of the pixel of Example 2 is smaller than the threshold value, the pixel is recognized as a pixel not included in the image of the desired target (steps S4, S6, and S8). The determination in this case is referred to as “NG determination”.
[0031]
In the method described above, since the calculation is performed based on each ratio of RGB, the calculation is not affected by the luminance. For this reason, good image identification is possible regardless of whether the image is bright or dark. Further, since the evaluation value N is obtained by multiplying the ratio of each element, the color difference can be obtained as a large numerical difference, and identification with high accuracy is possible.
[0032]
Next, a second embodiment of the present invention will be described. The functional configuration of the image identification device according to the second embodiment is common to that of the first embodiment. In the processing functions of the overall control unit 14, the processing up to the step of obtaining the evaluation value N in the first embodiment is common, and thus the processing functions thereafter are described in detail below.
[0033]
When the S / N of the obtained image signal is not good, such as when using an inexpensive camera such as a pet robot as an image input unit, the overall control unit 14 according to the present embodiment includes a brightness component. It is possible to make the identification, and specifically, it has a function of evaluating with a second evaluation value obtained by multiplying the evaluation value N by the brightness information T.
[0034]
As the brightness information T, a brightness signal Y can be used. Specifically, the evaluation value N is multiplied by the normalized value of the input luminance signal Y value. That is, when the maximum value of the luminance signal Y is YMAX = 255, the second evaluation value P is multiplied by Y / 255,
(Equation 9)
P = N × (Y / 255)
(Step S5), and compares this value with a preset threshold value S2 (step S6).
[0035]
In this case, the closer the second evaluation value P is to 1, the closer to the color to be identified. In other words, it is determined that the signal is OK in a state where the image is captured brightly and with good S / N (steps S6 and S7). Then, the value obtained when the color signal is dark and the color signal is buried in noise is reduced in evaluation, and the ambiguous value is canceled (steps S6 and S8).
[0036]
Therefore, since the OK determination is performed only on the color signal of the good S / N, it is possible to identify the dark image with high accuracy.
[0037]
As the luminance signal Y, the Y value of the input may be used as described above, or when the input from the video camera 3 is an RGB signal, Y may be calculated. Further, the value of R1 + G1 + B1 may be used as the brightness information T.
[0038]
The CPU 11 determines the flow of the entire control program based on the identification result obtained by this method, and controls the operation.
[0039]
First, it is determined whether or not a desired object is included in the original image from the color identification result for each pixel obtained in the above-described processing. An example of this determination processing will be described.
[0040]
When it is determined that the color of the desired object is the color of the desired object (OK determination described above) at four pixels adjacent in the vertical and horizontal directions, it is determined that the desired object exists in front of the camera.
[0041]
If the determination that the color of the desired object is obtained is obtained independently for each of the plurality of pixel regions, the region in which the number of pixels that are continuous vertically and horizontally is large is determined to be the desired object.
[0042]
This determination process should be appropriately set according to the performance of the CPU 11 mounted on the image identification device and according to the number of pixels of the image receiving element of the camera 3. In any of the processing methods, a setting may be made so as to identify a region to be a target according to the distribution of target pixels extracted by the OK determination on the image.
[0043]
When the desired object is identified in the original image as described above, the CPU 11 controls the operation of the robot so as to execute a prestored gesture corresponding to the object. For example, by controlling the motor 21 of each joint, the robot is caused to walk or the neck is turned. Further, it issues an instruction to the sound generator 22 to make the speaker 8 make a cry. With this control, it is possible to cause the robot to chase a favorite thing or to evacuate a dangerous thing.
[0044]
The technical idea of the present invention includes the following image identification processing method and image identification processing program.
[0045]
(1) An image identification method for inputting an original image to a computer and identifying a desired target image from the input original image based on a preset set color, wherein the RGB values R0 and G0 of the set color are provided. , B0 in advance, obtaining the set RGB ratios C = R0 / G0, D = G0 / B0, E = B0 / R0 from the RGB values, and for each pixel of the original image, the RGB of the pixel. From the values R1, G1, and B1, original RGB ratios H = R1 / G1, I = G1 / B1, and J = B1 / R1 are obtained, and a ratio K1 = H, which is a ratio between the set RGB ratio and the original RGB ratio. / C, L1 = I / D, M1 = J / E. If the values of the ratios K1, L1, and M1 are 1 or less, K2 = K1, L2 = L1, M2 = M1, and the ratio K1 , L1, and M1 exceed 1, K2 = / K1, L2 = 1 / L1, M2 = 1 / M1, calculating K2 × L2 × M2 which is a product of the ratios K2, L2, M2, and setting the value as an evaluation value N; Extracting, as target pixels, the pixels having RGB values R1, G1, and B1 that are equal to or larger than a predetermined threshold, and identifying the target image according to the distribution of the target pixels. .
[0046]
(2) An image identification method for inputting an original image to a computer and identifying a desired target image from the input original image based on a preset setting color, wherein R0 and G0 are RGB values of the setting color. , B0 in advance, obtaining the set RGB ratios C = R0 / G0, D = G0 / B0, E = B0 / R0 from the RGB values, and for each pixel of the original image, the RGB of the pixel. While the original RGB ratios H = R1 / G1, I = G1 / B1, and J = B1 / R1 are obtained from the values R1, G1, and B1, the brightness information T of the pixel is obtained, and the set RGB ratio and the original RGB ratio are obtained. The ratios K1 = H / C, L1 = I / D, and M1 = J / E, which are ratios to the RGB ratios, are obtained. If the values of the ratios K1, L1, and M1 are 1 or less, K2 = K1, L2. = L1, M2 = M1, and the ratio K1, L1, M Is greater than 1, K2 = 1 / K1, L2 = 1 / L1, M2 = 1 / M1, and K2.times.L2.times.M2, which is the product of the ratios K2, L2, and M2, is calculated. A product S, and a product S × T of the product S and the brightness information T as an evaluation value U; and RGB values R1, G1, B1, and the evaluation value U being equal to or greater than a predetermined threshold value. An image identification method, comprising: extracting the pixel having the brightness information T as a target pixel; and identifying the target image according to a distribution of the target pixel as the target image.
[0047]
(3) storing the RGB values R0, G0, and B0 of the set color in a storage device in advance; Determining, for each pixel of the original image, an original RGB ratio H = R1 / G1, I = G1 / B1, and J = B1 / R1 from RGB values R1, G1, and B1 of the pixel; A ratio K1 = H / C, L1 = I / D, M1 = J / E, which is a ratio between the RGB ratio and the original RGB ratio, is obtained. When the values of the ratios K1, L1, and M1 are 1 or less, K2 = K1, L2 = L1, M2 = M1, and when the values of the ratios K1, L1, M1 exceed 1, K2 = 1 / K1, L2 = 1 / L1, M2 = 1 / M1, and K2 × L2 × M2 which is a product of the ratios K2, L2 and M2 is obtained, and the value is evaluated as an evaluation value N And extracting the pixels having the RGB values R1, G1, and B1 for which the evaluation value N is equal to or greater than a predetermined threshold value as target pixels, and extracting the target image according to the distribution of the target pixels. An image identification program for causing a computer to execute the identifying step.
[0048]
(4) storing the RGB values R0, G0, and B0 of the set color in a storage device in advance; Determining the original RGB ratios H = R1 / G1, I = G1 / B1, and J = B1 / R1 from the RGB values R1, G1, and B1 of each pixel of the original image. The brightness information T of the pixel is obtained, and the ratios K1 = H / C, L1 = I / D, and M1 = J / E, which are the ratios of the set RGB ratio and the original RGB ratio, are obtained. When each value of M1 is 1 or less, K2 = K1, L2 = L1, and M2 = M1. When each value of the ratios K1, L1, and M1 exceeds 1, K2 = 1 / K1, L2 = 1. / L1, M2 = 1 / M1, and K2 which is the product of the ratios K2, L2, M2 Calculating L2 × M2 and defining the value as a product S; and setting a product S × T of the product S and the brightness information T as an evaluation value U; and RGB in which the evaluation value U is not less than a predetermined threshold value. An image identification program for causing a computer to execute a step of extracting the pixel having the values R1, G1, B1, and the brightness information T as a target pixel, and a step of identifying the pixel as the target image according to the distribution of the target pixels.
[0049]
【The invention's effect】
As described above, according to the present invention, since the threshold value for identification is determined based on each ratio of the RGB signals, image identification can be performed without being affected by luminance. As a result, even when bright or dark, Image identification can be performed well. Further, since the ratio of each element is multiplied, a color difference is obtained as a large numerical difference, and identification with high accuracy is possible.
[0050]
Further, according to the present invention, it is possible to cancel the evaluation based on ambiguous image information having a poor S / N in a dark portion in an image, and to increase the reliability of the image identification result.
[Brief description of the drawings]
FIG. 1 is a perspective view of a robot equipped with an image identification device according to one embodiment of the present invention.
FIG. 2 is a functional block diagram of the image identification device according to the embodiment.
FIG. 3 is a flowchart of an image identification process according to the embodiment.
[Explanation of symbols]
1 robot 3 video camera 11 CPU
12 image input port 13 image data processing unit 14 overall control unit 15 operation control unit

Claims

An image input unit and an arithmetic processing unit are provided,
The arithmetic processing unit is an image identification device that identifies a desired target image from an original image input to the image input unit based on a preset setting color,
The arithmetic processing unit,
The RGB values R0, G0, and B0 of the set color are stored in advance, and the set RGB ratios C = R0 / G0, D = G0 / B0, and E = B0 / R0 are obtained from the RGB values.
For each pixel of the original image, an original RGB ratio H = R1 / G1, I = G1 / B1, and J = B1 / R1 are determined from RGB values R1, G1, and B1 of the pixel,
A ratio K1 = H / C, L1 = I / D, M1 = J / E, which is a ratio between the set RGB ratio and the original RGB ratio, is obtained,
When the values of the ratios K1, L1, and M1 are 1 or less, K2 = K1, L2 = L1, and M2 = M1,
When the values of the ratios K1, L1, and M1 exceed 1, K2 = 1 / K1, L2 = 1 / L1, and M2 = 1 / M1,
K2 × L2 × M2 which is a product of the ratios K2, L2, and M2 is obtained, and the obtained value is used as an evaluation value N
The pixels having the RGB values R1, G1, and B1 in which the evaluation value N is equal to or greater than a predetermined threshold value are extracted as target pixels,
An image identification apparatus, comprising: identification means for identifying the target image according to the distribution of the target pixels.

An image input unit and an arithmetic processing unit,
The arithmetic processing unit is an image identification device that identifies a desired target image from an original image input to the image input unit based on a preset color set in advance,
The arithmetic processing unit,
The RGB values R0, G0, and B0 of the set color are stored in advance, and the set RGB ratios C = R0 / G0, D = G0 / B0, and E = B0 / R0 are obtained from the RGB values.
For each pixel of the original image, the original RGB ratio H = R1 / G1, I = G1 / B1, and J = B1 / R1 are determined from the RGB values R1, G1, and B1 of the pixel, and the brightness of the pixel is determined. Ask for information T,
A ratio K1 = H / C, L1 = I / D, M1 = J / E, which is a ratio between the set RGB ratio and the original RGB ratio, is obtained,
When the values of the ratios K1, L1, and M1 are 1 or less, K2 = K1, L2 = L1, and M2 = M1,
When the values of the ratios K1, L1, and M1 exceed 1, K2 = 1 / K1, L2 = 1 / L1, and M2 = 1 / M1,
K2 × L2 × M2 which is a product of the ratios K2, L2 and M2 is obtained, and the value is defined as a product S,
A product S × T of the product S and the brightness information T is defined as an evaluation value U,
The pixels having the RGB values R1, G1, B1 and the brightness information T for which the evaluation value U is equal to or greater than a predetermined threshold value are extracted as target pixels,
An image identification apparatus, comprising: identification means for identifying the target image according to the distribution of the target pixels.