JP2004349936A

JP2004349936A - 画像認識方法及びその装置

Info

Publication number: JP2004349936A
Application number: JP2003143427A
Authority: JP
Inventors: Hiroshi Fujimoto; 寛藤本
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2003-05-21
Filing date: 2003-05-21
Publication date: 2004-12-09

Abstract

【課題】単色撮像用のＣＣＤ１５を用いた構成でありながら、対象物１２の画像認識に加えて色認識を可能とし、認識精度を向上した画像認識装置を提供する。
【解決手段】カラーマークセンサ１７の光源１８から出射する光で対象物１２を照明する。対象物１２を単色撮像用のＣＣＤ１５で撮像する。ＣＣＤ１５で撮像する対象物１２の色情報をカラーマークセンサ１７の受光素子１９で取得する。処理装置２０により、ＣＣＤ１５で撮像した画像情報から画像認識し、受光素子１９で取得した色情報から色認識する。単色のＣＣＤ１５を用いた構成でありながら、対象物１２の画像認識に加えて色認識が可能となり、認識精度が向上する。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
本発明は、対象物を撮像して画像認識する画認識方法及びその装置に関する。
【０００２】
【従来の技術】
従来、例えば、電子部品などの製造工程では、製品の異常や欠陥などの種々の判別、及び位置決めなどのために、撮像した画像を基にそれら欠陥や位置などを認識する画像認識装置が多く用いられている（例えば、特許文献１参照）。
【０００３】
図２に、従来の画像認識装置の構成を示す。この画像認識装置は、一般的に多く用いられる同軸落射照明方式を採用したもので、対象物１を撮像する撮像光軸２上にハーフミラー３を配置し、このハーフミラー３で光源４からの光を反射させて対象物１を照明し、ハーフミラー３を透過して撮像光軸２上の対象物１をカメラ５のＣＣＤ６で撮像し、このＣＣＤ６で撮像された画像情報を処理装置７で画像処理し、画像処理されたデータから対象物１の異常や欠陥または位置などを認識している。このとき、光源４にはハロゲンランプなどが用いられ、カメラ５のＣＣＤ６にはモノクロＣＣＤが用いられている。
【０００４】
処理装置７による画像処理の基本技術として、ＣＣＤ６で撮像された画像情報の２値化があり、この２値化では、濃淡処理、エッジ検出などの画像処理特有の処理を併用し、最終的には２値化したデータから面積やしきい値、重心、位置情報、寸法などを求め、これらの数値をもって認識する場合が一般的である。
【０００５】
但し、モノクロＣＣＤで撮像した画像処理からでは、製品の異常や欠陥または位置などの認識が困難な場合がある。
【０００６】
例えば、製品の正常部と異常部との境界が判然としない場合、２値化そのものが困難であったり、また、２値化できたとしても、人間の目で判定すると明らかに異常なものであるにもかかわらず、２値化後のデータ上では差が無く、認識できないことがある。具体例としては、製品に付着したしみ、汚れ、少量の異物や錆などは、２値化が困難であり、２値化できたとしも２値化後のデータに有意な差が出ない場合が多く存在する。
【０００７】
さらに、製品の正常部と異常部との境界付近に変色部などが存在する場合においても、その変色部が淡色や金属光沢を有していると、２値化後のデータに有意な差が出ず、認識できないことがある。具体例としては、レーザー溶接された製品相互にわずかな隙間が存在した場合、レーザー溶接のナゲット周辺の焼けた変色部から目視で観察すれば隙間を容易に判別できるにもかかわらず、２値化後のデータには有意な差が出ない場合が多く実例として存在する。
【０００８】
その他に、画像認識に関する重要な要素として照明があるが、製品の製造工程や保持姿勢などの制限上から、製品に対する照明装置や光源の角度や位置が制限される場合がある。このとき、一般的には補助照明装置など付加することで回避しようとするが、例えば、細長い筒状の製品の奥まった部分など、カメラ側からみて狭視界である場合は、図２に示す同軸落射照明方式を採用する以外に有効な手段がなく、２値化レベルの向上や改善は望めず、有効な認識結果を得ることが困難となっている。
【０００９】
【特許文献１】
特開平１１−９４７６３号公報（第１頁）
【００１０】
【発明が解決しようとする課題】
上述のように、従来のモノクロＣＣＤを使用した画像認識装置では、製品の異常や欠陥または位置などを、目視で容易に認識可能であっても、モノクロＣＣＤで撮像した画像情報からでは、それらが有意な差として現れず、確実に認識できない場合がある。
【００１１】
また、このような認識できない問題点を回避する技術として、カラーＣＣＤカメラの採用や、ＲＧＢの３原色に対応した３ＣＣＤ方式のカメラの採用が考えられるが、カラー化に伴ってシステムが高価になるとともに処理が高度かつ複雑となり、操作、設定なども専門的な知識が必要となるなどの弊害が生じる。また、仮に、比較的安価に導入することが可能であっても、システム構成上から対象物の変更に伴う再設定に専門のメーカーや高度な知識を持ったエンジニアに依存することが考えられ、ランニングコストを含めたライフサイクルコストを含めて考えると、結果的に高価になる。さらに、大量のデータを高速処理できないと認識に時間がかかるため、これらのシステムに見合った高度かつ高価な処理装置（記憶媒体やいわゆるＣＰＵなどを含む）を導入する必要がある。
【００１２】
本発明は、このような点に鑑みなされたもので、単色撮像用の撮像素子を用いた安価でかつ簡素な構成でありながら、対象物の画像認識に加えて、色によっても対象物を認識し、認識精度を向上できる画像認識方法及びその装置を提供することを目的とする。
【００１３】
【課題を解決するための手段】
本発明は、対象物を照明し、対象物を単色撮像用の撮像素子で撮像し、撮像素子で撮像する対象物からの光を受光素子で受光して色情報を取得し、撮像素子で撮像された画像情報から画像認識するとともに、受光素子で取得された色情報から色認識するものである。そのため、単色の撮像素子を用いた安価でかつ簡素な構成でありながら対象物の画像認識に加えて色認識が可能となり、認識精度が向上する。
【００１４】
【発明の実施の形態】
以下、本発明の一実施の形態を図１を参照して説明する。
【００１５】
画像認識装置は、撮像光軸１１上の対象物１２を撮像するカメラ１３を備えている。このカメラ１３は、レンズ１４、及びこのレンズ１４を通して撮像光軸１１上の対象物１２を撮像するモノクロを含む単色撮像用の撮像素子としてのＣＣＤ１５を有している。
【００１６】
対象物１２とカメラ１３との間の撮像光軸１１上にはハーフミラー１６が４５°の角度で配置されている。カメラ１３は、ハーフミラー１６を透過する撮像光軸１１上の対象物１２の像を撮像可能としている。
【００１７】
撮像光軸１１に対し直交する方向でハーフミラー１６の反射面１６ａに４５°角度傾いて対向する方向にカラーマークセンサ１７が配置されている。このカラーマークセンサ１７は、ハーフミラー１６に対向する光源１８及び受光素子１９を一体に備えている。光源１８は、例えば、Ｒ（赤）Ｇ（緑）Ｂ（青）の３色の発光ダイオードが用いられ、これら発光ダイオードの点灯時の光をハーフミラー１６に向けて出射してハーフミラー１６で反射する反射光で対象物１２を照明する。受光素子１９は、光の波長を検知して色を識別する色識別機能を有し、光源１８により照明されて対象物１２で反射する光をハーフミラー１６を通じて受光し、対象物１２の色情報を取得する。そして、光源１８では、ＣＣＤ１５による撮像と、受光素子１９による色情報の取得とに、それぞれ最適な照明光が得られるように、ＲＧＢの３色の発光ダイオードの点灯を適宜組み合わせてそれぞれ照明する。
【００１８】
また、カメラ１３のＣＣＤ１５及びカラーマークセンサ１７からの信号は処理装置２０に入力される。この処理装置２０では、ＣＣＤ１５で撮像された画像情報を画像処理して画像認識するとともに、受光素子１９で取得された色情報から色認識する。画像処理では、ＣＣＤ１５で撮像された画像情報を２値化し、さらに、濃淡処理、エッジ検出などの画像処理特有の処理を併用し、最終的には２値化したデータから面積やしきい値、重心、位置情報、寸法などを求め、例えば、求められた数値を予め設定（登録）されている数値と比較し、対象物１２の異常や欠陥または位置などを認識する。色認識では、受光素子１９で取得された色情報を予め設定（登録）されている色情報と比較し、良否を認識する。
【００１９】
この処理装置２０では、ＣＣＤ１５の画像情報及び受光素子１９の色情報のいずれを優先的に処理するかを規定する機能などが付加されるが、この機能は既成技術からみて特殊な処理ではなく、単純にＣＣＤ１５の画像情報と受光素子１９の色情報とを論理的に処理するか、または予め取得したデータなどから設定した数値などのある係数をかけて処理する程度で、十分な認識が可能であるため、高度な演算が不要である。
【００２０】
そして、対象物１２の異常や欠陥または位置などを認識する場合には、カラーマークセンサ１７の光源１８によって、ＣＣＤ１５による撮像と、受光素子１９による色情報の取得とに、それぞれ最適な照明光が得られるように、ＲＧＢの３色の発光ダイオードの点灯を適宜組み合わせて照明する。例えば、ＣＣＤ１５による撮像には、ＲＧＢの３色の発光ダイオードを全て点灯させた白色の光で照明し、また、受光素子１９による色情報の取得には、ＲＧＢの３色の発光ダイオードを全て点灯させた白色の光で照明する他、ＲＧＢの３色の発光ダイオードのうちの２色を点灯させた光で照明したり、ＲＧＢの３色の発光ダイオードのうちの１色つまり単色の光で照明する。なお、ＣＣＤ１５による撮像では、例えば対象物１２のエッジを認識しようとする場合、赤色などの単色の方がエッジを認識しやすい場合があり、このような場合にはＲＧＢの３色の発光ダイオードのうちの１色つまり単色の光で照明する。
【００２１】
それぞれに適した照明状態において、カメラ１３のＣＣＤ１５で対象物１２の像を撮像し、受光素子１９で対象物１２の色や状態に応じた色情報を取得する。
【００２２】
処理装置２０では、カメラ１３のＣＣＤ１５で撮像した画像情報を入力して画像処理するとともに、求められた数値を予め設定（登録）されている数値と比較し、対象物１２の異常や欠陥または位置などを認識する。また、受光素子１９で取得した色情報を入力し、この色情報を予め設定（登録）されている色情報と比較し、良否を認識する。
【００２３】
画像認識装置による認識結果の例を表１に示す。表１には色認識なしの認識例と色認識ありの認識例とを示す。
【００２４】
【表１】

【００２５】
色認識なしの認識例の場合、ＣＣＤ１５の画像情報を画像処理した処理データと予め設定されている設定データとを比較し、この比較結果のみに基づき良否を認識するもので、処理データが設定データより大きい場合には否と認識し、また、処理データが設定データより小さい場合には良と認識する。
【００２６】
色認識ありの認識例の場合、ＣＣＤ１５の画像情報を画像処理した画像データと予め設定されている設定データとを比較し、それに加えて受光素子１９で取得した色情報による色認識の反応があるか否かに基づき認識するもので、画像データが設定データより大きい場合に、色認識の反応があれば否と認識し、色認識の反応がない場合には保留と認識し、また、画像データが設定データより小さい場合に、色認識の反応があれば再処理と認識し、色認識の反応がない場合には良と認識する。
【００２７】
したがって、例えば対象物１２に付着したしみ、汚れ、少量の異物や錆などがある場合、色認識なしでは良と認識してしまうが、色認識のありでは色認識の反応があるので良とは認識せず、認識精度を向上できる。
【００２８】
このように、画像認識装置では、対象物１２を照明し、対象物１２を単色撮像用のＣＣＤ１５で撮像し、ＣＣＤ１５で撮像する対象物１２の色情報を受光素子１９で取得し、ＣＣＤ１５で撮像された画像情報から画像認識するとともに、受光素子１９で取得された色情報から色認識するため、単色撮像用のＣＣＤ１５を用いた安価でかつ簡素な構成でありながら対象物１２の画像認識に加えて色認識でき、例えば対象物１２に付着したしみ、汚れ、少量の異物や錆などを色認識でき、認識精度を向上できる。したがって、単色撮像用のＣＣＤ１５と色認識用の受光素子１９との組み合わせにより、画像認識可能とする利用範囲を拡大できる。
【００２９】
特に、単色撮像用のＣＣＤ１５にカラーマークセンサ１７を組み合わせた構成とすることで、比較的安価に構成でき、汎用性及び認識精度の高い画像認識装置を提供できる。
【００３０】
また、カメラ１３の撮像光軸１１上に配置されたハーフミラー１６を通じて、カメラ１３による撮像と、カラーマークセンサ１７の光源１８からの照明と、カラーマークセンサ１７の受光素子１９での受光とができ、光学系を小形に構成できる。さらに、カメラ１３で撮像する対象物１２の撮像位置の色情報を受光素子１９で取得できるため、画像情報と色情報との位置的な対応関係を一致させ、認識精度を向上できる。
【００３１】
なお、光源１８と受光素子１９とを一体に有するカラーマークセンサ１７に限らず、光源１８と受光素子１９とを一体に有する他の識別センサを用いても、あるいは光源１８と受光素子１９とを個々に用いてもよい。
【００３２】
また、対象物１２を照明する光源としては、前記実施の形態のようにカメラ１３による撮像と受光素子１９による色情報の取得とに共通にカラーマークセンサ１７の光源１８を用いることによって構成を簡素化できるが、カメラ１３による撮像と受光素子１９による色情報の取得とにそれぞれ適した専用の光源を個別に用いてもよい。この場合、カメラ１３で撮像する際に、カラーマークセンサ１７の光源１８では光量が不足する場合でも、別の光源によって撮像に適した光量を得られ、撮像画像を鮮明にでき、認識能力を向上できる。
【００３３】
対象物１２の照明には、カメラ１３による撮像と受光素子１９による色情報の取得とに対応して、３原色の光の組み合わせ、または単色の光を利用することができる。
【００３４】
これらの照明に用いる光源としては、発光ダイオード、３波長形の蛍光ランプ、ハロゲンランプなどが用いられる。
【００３５】
また、光源１８による照明は、光を有効に対象物１２に照射するため、例えばレンズなど光学部品を用いてもよい。
【００３６】
また、カメラ１３による撮像や、受光素子１９による受光の際に、フィルタやシャッタなどの光学部品を用いてもよい。
【００３７】
【発明の効果】
本発明によれば、対象物を照明し、対象物を単色撮像用の撮像素子で撮像し、撮像素子で撮像する対象物の色情報を受光素子で取得し、撮像素子で撮像された画像情報から画像認識するとともに、受光素子で取得された色情報から色認識するため、単色撮像用の撮像素子を用いた安価でかつ簡素な構成でありながら、対象物の画像認識に加えて色認識でき、認識精度を向上できる。
【図面の簡単な説明】
【図１】本発明の一実施の形態を示す画像認識装置の構成図である。
【図２】従来の画像認識装置の構成図である。
【符号の説明】
１１撮像光軸
１２対象物
１３カメラ
１５撮像素子としてのＣＣＤ
１６ハーフミラー
１８光源
１９受光素子
２０処理装置

Claims

対象物を照明し、
対象物を単色撮像用の撮像素子で撮像し、
撮像素子で撮像する対象物からの光を受光素子で受光して色情報を取得し、
撮像素子で撮像された画像情報から画像認識するとともに、受光素子で取得された色情報から色認識する
ことを特徴とする画像認識方法。
対象物を照明し、
対象物を撮像する撮像光軸上に配置されるハーフミラーを透過して撮像光軸上の対象物を単色撮像用の撮像素子を有するカメラで撮像し、
ハーフミラーで反射する対象物からの反射光を受光素子で受光して撮像素子で撮像する対象物の色情報を取得し、
撮像素子で撮像された画像情報から画像認識するとともに、受光素子で取得された色情報から色認識する
ことを特徴とする画像認識方法。
対象物を照明する光源と、
前記対象物を撮像する単色撮像用の撮像素子と、
この撮像素子で撮像する対象物からの光を受光して色情報を取得する受光素子と、
前記撮像素子で撮像された画像情報から画像認識するとともに、前記受光素子で取得された色情報から色認識する処理装置と
を具備していることを特徴とする画像認識装置。
対象物を照明する光源と、
前記対象物を撮像する撮像光軸上に配置されるハーフミラーと、
このハーフミラーを透過して撮像光軸上の対象物を撮像する単色撮像用の撮像素子を有するカメラと、
前記ハーフミラーで反射する対象物からの光を受光して撮像素子で撮像する対象物の色情報を取得する受光素子と、
前記撮像素子で撮像された画像情報から画像認識するとともに、前記受光素子で取得された色情報から色認識する処理装置と
を具備していることを特徴とする画像認識装置。