JP2004070394A - ワークの良否識別用カラーパターンマッチング方法 - Google Patents
ワークの良否識別用カラーパターンマッチング方法 Download PDFInfo
- Publication number
- JP2004070394A JP2004070394A JP2002224611A JP2002224611A JP2004070394A JP 2004070394 A JP2004070394 A JP 2004070394A JP 2002224611 A JP2002224611 A JP 2002224611A JP 2002224611 A JP2002224611 A JP 2002224611A JP 2004070394 A JP2004070394 A JP 2004070394A
- Authority
- JP
- Japan
- Prior art keywords
- image
- color
- matching
- plane
- master image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
【課題】良品と不良品の差異が小さい場合（例えば、ワークが同じで色違いのカプセル錠剤の場合）であっても、ワークの良・不良を正確に区別することができるカラーパターンマッチング方法を提供する。
【解決手段】カラーＴＶカメラで撮像したターゲット画像の中からマスタ画像に最もよく類似する部分画像の位置を検出し、検出した部分画像とマスタ画像との間のマッチング率を求めてワークの良否を判断するカラーパターンマッチング処理において、ターゲット画像およびマスタ画像を各々Ｒ，Ｇ，Ｂ３枚のカラープレーンから構成し、ターゲット画像の各プレーンとマスタ画像の各プレーンとの間のマッチング率ｋを特定の演算により一括して直接求め、最大マッチング率Ｋからワークの良否を識別する。
【選択図】 図４
【解決手段】カラーＴＶカメラで撮像したターゲット画像の中からマスタ画像に最もよく類似する部分画像の位置を検出し、検出した部分画像とマスタ画像との間のマッチング率を求めてワークの良否を判断するカラーパターンマッチング処理において、ターゲット画像およびマスタ画像を各々Ｒ，Ｇ，Ｂ３枚のカラープレーンから構成し、ターゲット画像の各プレーンとマスタ画像の各プレーンとの間のマッチング率ｋを特定の演算により一括して直接求め、最大マッチング率Ｋからワークの良否を識別する。
【選択図】 図４
Description
【０００１】
【発明が属する技術分野】
本発明はワーク（検査対象物）の良否の識別に有効なカラーパターンマッチング方法に関する。
【０００２】
【従来の技術】
ワーク、例えば医薬品や医療機器を包装する直前または包装直後に、指定された薬品や機器が正規の位置に正しく入っているかどうかを検査することは、医薬品や医療機器の安全上きわめて重要である。従来は検査員が目視で検査していたが、人為的ミスが発生する、全数検査が処理能力的に難しく抜き取り検査しかできないという問題があった。従来、これを画像処理で行う試みは以下のごとくである。
【０００３】
図１は、コンベア上を移動するカプセル錠剤を画像処理で検査する検査装置１を示している。検査装置１は、カプセル錠剤２を搬送するコンベア３、検査ポジションでカプセル錠剤２を撮像するモノクロＴＶカメラ４、検査ポジションでカプセル錠剤２を検出する光電センサ５および画像処理装置２９から構成されている。コンベア３上をカプセル錠剤２が流れ、これらを検査ポジションｉの位置で画像処理するものとする。
【０００４】
図２は、画像処理装置２９における画像処理を示している。あらかじめ正規のカプセル錠剤２を撮像しておき、この撮像画像の一部を切り出してマスタ画像６とし、画像処理装置２９に記憶させておく。カプセル錠剤２が検査ポジションｉにくると、モノクロＴＶカメラ４はカプセル錠剤２を撮像し、ターゲット画像７を得る。画像の取得タイミングは、光電センサ５からの信号により得る。ターゲット画像７と、マスタ画像６との間でパターンマッチングを行い、ターゲット画像中の最大マッチング率とそのときの位置を獲得する。
【０００５】
通常、マスタ画像６は、ターゲット画像７より小さいので、画像処理装置２９は、まず最初にマスタ画像６をターゲット画像７の左上隅に合わせその位置でのマッチング率を取得し、マスタ画像６を左右上下に動かしながらそれらの位置ごとに順次マッチング率を取得する。この処理を右下隅にマスタ画像６を合わせるまで行い、この中で一番大きいマッチング率が最大マッチング率で、そのときの位置がマッチング位置である。
【０００６】
このときに使用されるパターンマッチング手法にはいろいろあるが、Ｓ／Ｎ比が最も高い手法としてよく用いられるのが正規化相関法である。上の例では、各ポジションのワークが検査ポジションｉにきた時に正規化相関法によるパターンマッチングを行うと、ターゲット画像７とマスタ画像６との最大マッチング率は下表のようになる。
【０００７】
【表１】
【０００８】
ポジションｂやｆのカプセル錠剤２は最大マッチング率が低くなるので、良品と不良品とのマッチング率の識別境界を５０％〜８０％におけば、良品と不良品を分類できそうである。しかし、形が同じで色違いのカプセル錠剤２は識別できず、ポジションｈのカプセル錠剤２は良品となってしまう。そこでカラーＴＶカメラを用いてカラー情報を用いたパターンマッチングを行えば、色違いも識別できそうである。
【０００９】
図３は医薬品や医療機器の検査に限らず、一般にカラーのパターンマッチングとして知られている方法を示す。ターゲット画像８とマスタ画像９のＲ，Ｇ，Ｂの各プレーンのパターンマッチングは、ターゲット画像８のＲプレーンとマスタ画像９のＲプレーンとのパターンマッチングを行い、そのプレーン間マッチング率の最大値をＫＲ とし、同様にターゲット画像８のＧプレーンとマスタ画像９のＧプレーンとの間パターンマッチングを行い、そのプレーン間マッチング率の最大値をＫＧ とし、ターゲット画像８のＢプレーンとマスタ画像９のＢプレーンとのパターンマッチングを行い、そのプレーン間マッチング率の最大値をＫＢとし、その得られた各プレーン間マッチング率の最大値ＫＲ ，ＫＧ ，ＫＢ を用いて最大マッチング率Ｋを求めるものである。
【００１０】
これは、特開平１０−２２８３１８号公報「位置ずれ計測の方法と位置決め装置」などに記載されるように、Ｋ＝ｍａｘ（ＫＲ ，ＫＧ ，ＫＢ ）としてもよい。また、色違いの識別では、マスタ画像９との色の違いをより際だたせるために、最もプレーン間マッチング率の最大値が低い値を指標とするのがよいとも考えられ、Ｋ＝ｍｉｎ（ＫＲ ，ＫＧ ，ＫＢ ）としてもよい。また、Ｋ＝（ＫＲ ＋ＫＧ ＋ＫＢ ）／３やＫ＝（ＫＲ ・ＫＧ ・ＫＢ ）１／３という識別指標も考えられる。
【００１１】
【発明が解決しようとする課題】
さて，モノクロの正規化相関法によるパターンマッチングでは識別できないポジションｈのカプセル錠剤２に対して、カラーの、すなわち各Ｒ，Ｇ，Ｂの３枚のプレーン毎に上記の正規化相関法によるパターンマッチングを行った場合、マッチング率の最大値ＫＲ ，ＫＧ ，ＫＢ は図３のようになった。ＫＲ ，ＫＧ ，ＫＢ を用いて最大マッチング率Ｋを求めると、Ｋ＝ｍｉｎ（ＫＲ ，ＫＧ ，ＫＢ ）やＫ＝（ＫＲ ＋ＫＧ ＋ＫＢ ）／３、およびその他いずれの手法を用いてもＫは９４〜９８％の値となり、正規化相関法を各Ｒ，Ｇ，Ｂプレーンに適用したカラーパターンマッチングを行った場合でもポジションｈのカプセル錠剤２を不良品としてうまく識別できない。
【００１２】
これは、正規化相関値が、ターゲット画像８やその各Ｒ，Ｇ，Ｂプレーンの明るさの変化の影響を全く受けない性質による。上記の例では、Ｒプレーンのターゲット画像８とマスタ画像９の模様のついた部分は白や黒ではない濃度値があることを示し、ターゲット画像８とマスタ画像９とは、この図中の模様部分の濃度値は互いに異なるが正規化相関法では単に明るさの変化の影響としてとらえるため、最大正規化相関値を求めると９４％という高い値になってしまう。これはＧプレーン、Ｂプレーンにおいても同様である。特に医薬品において錠剤は単純な形が多く、各プレーンの部分領域同士では濃淡の差があっても、各プレーン同士の最大正規化相関値は１００％に近い値となり、正規化相関法を各Ｒ，Ｇ，Ｂプレーンに適用したカラーパターンマッチングでは良品と不良品の識別が困難である。
【００１３】
なお各プレーン毎の正規化相関値を求めるのではなく、各プレーン毎の濃度差の絶対値の総和を求める手法があり、これを用いれば上記ポジションｈのカプセル錠剤２では、各プレーン毎の濃度差の絶対値の総和は大きいので識別は可能である。ただこの手法をモノクロパターンマッチングに用いた場合、ターゲット画像の明るさが変わると濃度差の総和が大きくなってマッチングミスを起こしてしまうとういう問題があり、これを改善するために提案されたのが前述の正規化相関法である。これは、カラーパターンマッチングでも同様であり、ターゲット画像の明るさの変化の影響を受けてはならない。よって各プレーン毎の濃度差の絶対値の総和を求め、これをマッチング率の指標として用いる手法は使えない。
【００１４】
したがって、本発明の目的は、カラーＴＶカメラで撮像したターゲット画像の中からマスタ画像に最もよく類似する部分画像の位置を検出し、検出した部分画像とマスタ画像との間のマッチング率を求めてワークの良否を判断するパターンマッチング処理において、良品と不良品の差異が小さい場合（例えば、形が同じで色違いのカプセル錠剤の場合）であっても、ワークの良・不良を正確に区別することができるカラーパターンマッチング方法を提供することである。
【００１５】
【課題を解決するための手段】
上記目的のもとに本発明は、カラーＴＶカメラで撮像したターゲット画像の中からマスタ画像に最もよく類似する部分画像の位置を検出し、検出した部分画像とマスタ画像との間のマッチング率を求めてワークの良否を判断するカラーパターンマッチング処理において、ターゲット画像およびマスタ画像を各々Ｒ，Ｇ，Ｂ３枚のカラープレーンから構成し、ターゲット画像の各プレーンとマスタ画像の各プレーンとの間のマッチング率ｋを以下の演算により一括して直接求め、最大マッチング率Ｋからワークの良否を識別している。
【００１６】
【数２】
【００１７】
【発明の実施の形態】
図４は、本発明を用いた検査装置１０を示している。検査装置１０は、カラーＴＶカメラ１１、光源としての照明１２、カプセル錠剤等のワーク１３、ワーク１３を搬送するコンベア１４および画像処理装置１５から構成されている。画像処理装置１５は、カラーＴＶカメラ１１で撮像したワーク１３のカラー映像信号をＡ／Ｄ変換部１７により変換した後、ターゲット画像１６として記憶する画像メモリ１８、本発明のワークの良否識別用カラーパターンマッチング方法を記述したプログラム記憶媒体１９、プログラムを実行するＣＰＵ２０およびメモリ２１、マスター画像Ｆのデジタルデータを記憶するマスタ画像記憶部２２、マウス等の入出力機器２３を接続する入出力部２４、Ｄ／Ａ変換部２５を介して接続される画像表示部としてのディスプレイ２６から構成されている。
【００１８】
図５は、本発明の具体例を示している。マスタ画像Ｆは、あらかじめマスタとするワーク１３をカラーＴＶカメラ１１で撮像しておき、その部分画像をディスプレイ２６に表示された画像を見ながら、マウス等の入出力機器２３を用いて人手で切り出す。マスタ画像Ｆはマスタ画像記憶部２２に記憶される。なお、マスタ画像Ｆの総画素数は、Ｎ個とする。
【００１９】
画像処理装置１５は、ターゲット画像１６中の部分画像ｆとマスタ画像Ｆとのマッチングを行い、マッチング率を得、この部分画像ｆをターゲット画像１６中で縦横に動かしながら、最もマッチング率が高くなる位置をマッチング位置とする。ここに部分画像ｆの大きさはマスタ画像Ｆと同じ大きさである。
【００２０】
カラーＴＶカメラ１１からのワーク１３のカラー映像信号は、Ａ／Ｄ変換部１７を通って画像メモリ１８に入り、ターゲット画像１６となる。ここにＡ／Ｄ変換部１７はＲ，Ｇ，Ｂそれぞれの色用の３つのＡ／Ｄ変換手段を並列に備える。ＲはＲｅｄ（赤色）、ＧはＧｒｅｅｎ（緑色）、ＢはＢｌｕｅ（青色）である。画像メモリ１８もＲプレーン、Ｇプレーン、Ｂプレーンの３枚ある。通常は８ｂｉｔの連続したメモリ空間からなるプレーン３枚で構成されるが、２４ｂｉｔの連続したメモリ空間１枚で構成される場合もある。この場合は１バイトづつの画素３バイトがＲ，Ｇ，Ｂの順に連続したものであるが、これもＲプレーン、Ｇプレーン、Ｂプレーンの３枚のプレーンから構成されると考える。
【００２１】
なお、入出力部２４は、カラーＴＶカメラ１１からの撮像タイミングを決める光電センサ２７や、不良品を振り分けるＮＧ排出コンベア２８にも接続されている。マスタ画像Ｆとターゲット画像ｆとの間でのカラーパターンマッチングは、プログラム記憶媒体１９内のプログラムにしたがって、ＣＰＵ２０により実行される。
【００２２】
さて、本発明によるワークの良否識別用カラーパターンマッチング方法において、マッチング率は以下のように求める。
【００２３】
【数３】
【００２４】
なお従来法における各プレーン毎の最大マッチング率ＫＲ ，ＫＧ ，ＫＢ は以下のとおりである。
【００２５】
【数４】
【００２６】
従来法では各プレーン毎の最大マッチング率ＫＲ ，ＫＧ ，ＫＢ を求めた上で、これら３つのプレーン毎最大マッチング率の相互演算によってマッチング率を求めていた。このためワークの色が違っていても各プレーン毎の最大マッチング率ＫＲ ，ＫＧ ，ＫＢ が１００％に近い値となる場合があり、相互演算で得られる総合マッチング率も１００％に近い値になってしまう。これに対し、提案手法ではこのような影響はない。たとえば、形が同じで色違いのカプセル錠剤２（図１のポジションｈ ）は、表２に示すようにマッチング率３４％となる。これに対し、形が同じで色違い以外のケースでは、マッチング率はモノクロ画像の正規化相関による場合の表１とほとんど変わらない。そこで良品と不良品との識別境界を５０％〜８０％におけば、良品と不良品を正しく分類できるようになる。
【００２７】
【表２】
【００２８】
なお、本発明は医薬品や医療品の検査だけではなく、電子部品や機械部品などの工業製品中の部品検査、また印刷業界におけるカラー印刷パターンのチェックにも応用できる。
【００２９】
ちなみに、本発明の提案手法は、いわばカラー正規化相関法とよぶべきものであるが、階層化によって高速化できる。すなわち、このカラー正規化相関法の階層化による高速化では、各Ｒ，Ｇ，Ｂプレーン各々において、縦横１／２サイズのターゲット画像とマスター画像を作って、その得られた縮小画像（ターゲット画像とマスター画像）においてカラー正規化相関係数が最大となる画素を求める粗探索と、その画素に対応する縮小元の画像の対応画素の近傍の中からカラー正規化相関係数が最大になる画素を求める精探索からなる処理を数階層組み合わせることにより高速化を図ることができる。１階層あがることにより処理速度は１６倍になる。
【００３０】
なお、このような階層化処理というのは、ターゲット画像およびマスター画像（テンプレート）をそれぞれ縦横１／２づつに縮小し、その縮小した画像同士で正規化相関を行って、得られた候補点に対応する元の大きさの画像の対応点近傍画素で詳細な正規化相関を行うものである。通常この縦横１／２に縮小されたターゲットとマスターの画像で正規化相関を行うことを、１階層あがって粗探索を行うという。また、粗探索により得られた候補点（画素）から、縦横２倍の元の画像の対応点近傍で詳細な正規化相関を行って詳細な候補点を求めることを１階層さがって精探索を行うという。実用化時は１階層だけでなく、通常は２〜５階層程度の階層化を行う。これは、ピラミッドの階層に似ているのでピラミッド階層化ともいう。１つの階層化により処理速度は１６倍になり、３階層化では４０９６倍になる。通常３階層では処理速度は数ミリ秒から数十ミリ秒で十分に実用的であるが（２００２年現在、ＶＧＡサイズモノクロ画像に対する１２８×１２８サイズマスタ画像を用いたＣＰＵによる正規化相関処理）、逆に言えば、階層処理なしには数十秒〜数分かかることになる。
【００３１】
ところが、今から１０年以上前では、ＣＰＵの性能が今よりも１００倍以上遅く、ＣＰＵを用いての正規化相関の実用的な処理を行うことは難しかった。このため正規化相関の高速化は、階層化手法の適用だけでなく、その階層化手法を含めた正規化相関処理自体を論理回路で作ったハードウェアを採用して初めて実現化した。このため正規化相関法は１つのハードウェア資産となっており、従来技術のカラーのパターンマッチング（段落番号００１１）で、各プレーン毎の正規化相関によるマッチング率の最大値ＫＲ ，ＫＧ ，ＫＢ を求め、これらの各プレーン毎のマッチング率の最大値から最大マッチング率Ｋをもとめていたのは、この正規化相関法のハードウェア資産を利用するためである。ところが今日ではＣＰＵの処理能力向上に伴い、正規化相関自体が階層化処理を用いて実時間で処理できるようになったため、本提案のカラー正規化相関法もＣＰＵを用いて階層化処理を併用することにより、十分に実用的な時間で処理できる。本提案手法では、ＶＧＡサイズカラー画像に対し、１２８×１２８画素サイズマスタ画像を用いて３階層高速化を図ると、ＣＰＵ処理で、０．１秒以内で処理できる。
【発明の効果】
本発明では、カラーＴＶカメラで撮像したターゲット画像の中からマスタ画像に最もよく類似する部分画像の位置を検出し、検出した部分画像とマスタ画像のマッチング率を求め、このマッチング率によりワークの良否を判断するパターンマッチング処理において、ターゲット画像およびマスタ画像が各々Ｒ，Ｇ，Ｂ３枚のカラープレーンから構成され、ターゲット画像とマスタ画像との間の各プレーン間のマッチング率を求めてから、それらプレーン間マッチング率の相互演算によりマッチング率を得る手順を踏まず、３枚のプレーン間どうしのマッチング率を直接求めるから、従来方法の欠点つまりワークの色が違っていても各プレーン毎の最大マッチング率ＫＲ ，ＫＧ ，ＫＢ が１００％に近い値となることがなくなり、この結果、良品と不良品とを確実に区別できる。
【図面の簡単な説明】
【図１】コンベア上を移動するカプセル錠剤を画像処理で検査する検査装置の説明図である。
【図２】画像処理装置における画像処理を示す説明図である。
【図３】一般的な、カラーのパターンマッチングとして知られている方法を示す説明図である。
【図４】本発明を用いた検査装置１０の説明図である。
【図５】本発明の具体例である。
【符号の説明】
１ 検査装置
２ カプセル錠剤
３ コンベア
４ モノクロＴＶカメラ
５ 光電センサ
６ マスタ画像
７ ターゲット画像
８ ターゲット画像
９ マスタ画像
１０ 検査装置
１１ カラーＴＶカメラ
１２ 照明
１３ ワーク
１４ コンベア
１５ 画像処理装置
１６ ターゲット画像
１７ Ａ／Ｄ変換部
１８ 画像メモリ
１９ プログラム記憶媒体
２０ ＣＰＵ
２１ メモリ
２２ マスタ画像記憶部
２３ 入出力機器
２４ 入出力部
２５ Ｄ／Ａ変換器
２６ ディスプレイ
２７ 光電センサ
２８ ＮＧ排出コンベア
２９ 画像処理装置
【発明が属する技術分野】
本発明はワーク（検査対象物）の良否の識別に有効なカラーパターンマッチング方法に関する。
【０００２】
【従来の技術】
ワーク、例えば医薬品や医療機器を包装する直前または包装直後に、指定された薬品や機器が正規の位置に正しく入っているかどうかを検査することは、医薬品や医療機器の安全上きわめて重要である。従来は検査員が目視で検査していたが、人為的ミスが発生する、全数検査が処理能力的に難しく抜き取り検査しかできないという問題があった。従来、これを画像処理で行う試みは以下のごとくである。
【０００３】
図１は、コンベア上を移動するカプセル錠剤を画像処理で検査する検査装置１を示している。検査装置１は、カプセル錠剤２を搬送するコンベア３、検査ポジションでカプセル錠剤２を撮像するモノクロＴＶカメラ４、検査ポジションでカプセル錠剤２を検出する光電センサ５および画像処理装置２９から構成されている。コンベア３上をカプセル錠剤２が流れ、これらを検査ポジションｉの位置で画像処理するものとする。
【０００４】
図２は、画像処理装置２９における画像処理を示している。あらかじめ正規のカプセル錠剤２を撮像しておき、この撮像画像の一部を切り出してマスタ画像６とし、画像処理装置２９に記憶させておく。カプセル錠剤２が検査ポジションｉにくると、モノクロＴＶカメラ４はカプセル錠剤２を撮像し、ターゲット画像７を得る。画像の取得タイミングは、光電センサ５からの信号により得る。ターゲット画像７と、マスタ画像６との間でパターンマッチングを行い、ターゲット画像中の最大マッチング率とそのときの位置を獲得する。
【０００５】
通常、マスタ画像６は、ターゲット画像７より小さいので、画像処理装置２９は、まず最初にマスタ画像６をターゲット画像７の左上隅に合わせその位置でのマッチング率を取得し、マスタ画像６を左右上下に動かしながらそれらの位置ごとに順次マッチング率を取得する。この処理を右下隅にマスタ画像６を合わせるまで行い、この中で一番大きいマッチング率が最大マッチング率で、そのときの位置がマッチング位置である。
【０００６】
このときに使用されるパターンマッチング手法にはいろいろあるが、Ｓ／Ｎ比が最も高い手法としてよく用いられるのが正規化相関法である。上の例では、各ポジションのワークが検査ポジションｉにきた時に正規化相関法によるパターンマッチングを行うと、ターゲット画像７とマスタ画像６との最大マッチング率は下表のようになる。
【０００７】
【表１】
ポジションｂやｆのカプセル錠剤２は最大マッチング率が低くなるので、良品と不良品とのマッチング率の識別境界を５０％〜８０％におけば、良品と不良品を分類できそうである。しかし、形が同じで色違いのカプセル錠剤２は識別できず、ポジションｈのカプセル錠剤２は良品となってしまう。そこでカラーＴＶカメラを用いてカラー情報を用いたパターンマッチングを行えば、色違いも識別できそうである。
【０００９】
図３は医薬品や医療機器の検査に限らず、一般にカラーのパターンマッチングとして知られている方法を示す。ターゲット画像８とマスタ画像９のＲ，Ｇ，Ｂの各プレーンのパターンマッチングは、ターゲット画像８のＲプレーンとマスタ画像９のＲプレーンとのパターンマッチングを行い、そのプレーン間マッチング率の最大値をＫＲ とし、同様にターゲット画像８のＧプレーンとマスタ画像９のＧプレーンとの間パターンマッチングを行い、そのプレーン間マッチング率の最大値をＫＧ とし、ターゲット画像８のＢプレーンとマスタ画像９のＢプレーンとのパターンマッチングを行い、そのプレーン間マッチング率の最大値をＫＢとし、その得られた各プレーン間マッチング率の最大値ＫＲ ，ＫＧ ，ＫＢ を用いて最大マッチング率Ｋを求めるものである。
【００１０】
これは、特開平１０−２２８３１８号公報「位置ずれ計測の方法と位置決め装置」などに記載されるように、Ｋ＝ｍａｘ（ＫＲ ，ＫＧ ，ＫＢ ）としてもよい。また、色違いの識別では、マスタ画像９との色の違いをより際だたせるために、最もプレーン間マッチング率の最大値が低い値を指標とするのがよいとも考えられ、Ｋ＝ｍｉｎ（ＫＲ ，ＫＧ ，ＫＢ ）としてもよい。また、Ｋ＝（ＫＲ ＋ＫＧ ＋ＫＢ ）／３やＫ＝（ＫＲ ・ＫＧ ・ＫＢ ）１／３という識別指標も考えられる。
【００１１】
【発明が解決しようとする課題】
さて，モノクロの正規化相関法によるパターンマッチングでは識別できないポジションｈのカプセル錠剤２に対して、カラーの、すなわち各Ｒ，Ｇ，Ｂの３枚のプレーン毎に上記の正規化相関法によるパターンマッチングを行った場合、マッチング率の最大値ＫＲ ，ＫＧ ，ＫＢ は図３のようになった。ＫＲ ，ＫＧ ，ＫＢ を用いて最大マッチング率Ｋを求めると、Ｋ＝ｍｉｎ（ＫＲ ，ＫＧ ，ＫＢ ）やＫ＝（ＫＲ ＋ＫＧ ＋ＫＢ ）／３、およびその他いずれの手法を用いてもＫは９４〜９８％の値となり、正規化相関法を各Ｒ，Ｇ，Ｂプレーンに適用したカラーパターンマッチングを行った場合でもポジションｈのカプセル錠剤２を不良品としてうまく識別できない。
【００１２】
これは、正規化相関値が、ターゲット画像８やその各Ｒ，Ｇ，Ｂプレーンの明るさの変化の影響を全く受けない性質による。上記の例では、Ｒプレーンのターゲット画像８とマスタ画像９の模様のついた部分は白や黒ではない濃度値があることを示し、ターゲット画像８とマスタ画像９とは、この図中の模様部分の濃度値は互いに異なるが正規化相関法では単に明るさの変化の影響としてとらえるため、最大正規化相関値を求めると９４％という高い値になってしまう。これはＧプレーン、Ｂプレーンにおいても同様である。特に医薬品において錠剤は単純な形が多く、各プレーンの部分領域同士では濃淡の差があっても、各プレーン同士の最大正規化相関値は１００％に近い値となり、正規化相関法を各Ｒ，Ｇ，Ｂプレーンに適用したカラーパターンマッチングでは良品と不良品の識別が困難である。
【００１３】
なお各プレーン毎の正規化相関値を求めるのではなく、各プレーン毎の濃度差の絶対値の総和を求める手法があり、これを用いれば上記ポジションｈのカプセル錠剤２では、各プレーン毎の濃度差の絶対値の総和は大きいので識別は可能である。ただこの手法をモノクロパターンマッチングに用いた場合、ターゲット画像の明るさが変わると濃度差の総和が大きくなってマッチングミスを起こしてしまうとういう問題があり、これを改善するために提案されたのが前述の正規化相関法である。これは、カラーパターンマッチングでも同様であり、ターゲット画像の明るさの変化の影響を受けてはならない。よって各プレーン毎の濃度差の絶対値の総和を求め、これをマッチング率の指標として用いる手法は使えない。
【００１４】
したがって、本発明の目的は、カラーＴＶカメラで撮像したターゲット画像の中からマスタ画像に最もよく類似する部分画像の位置を検出し、検出した部分画像とマスタ画像との間のマッチング率を求めてワークの良否を判断するパターンマッチング処理において、良品と不良品の差異が小さい場合（例えば、形が同じで色違いのカプセル錠剤の場合）であっても、ワークの良・不良を正確に区別することができるカラーパターンマッチング方法を提供することである。
【００１５】
【課題を解決するための手段】
上記目的のもとに本発明は、カラーＴＶカメラで撮像したターゲット画像の中からマスタ画像に最もよく類似する部分画像の位置を検出し、検出した部分画像とマスタ画像との間のマッチング率を求めてワークの良否を判断するカラーパターンマッチング処理において、ターゲット画像およびマスタ画像を各々Ｒ，Ｇ，Ｂ３枚のカラープレーンから構成し、ターゲット画像の各プレーンとマスタ画像の各プレーンとの間のマッチング率ｋを以下の演算により一括して直接求め、最大マッチング率Ｋからワークの良否を識別している。
【００１６】
【数２】
【発明の実施の形態】
図４は、本発明を用いた検査装置１０を示している。検査装置１０は、カラーＴＶカメラ１１、光源としての照明１２、カプセル錠剤等のワーク１３、ワーク１３を搬送するコンベア１４および画像処理装置１５から構成されている。画像処理装置１５は、カラーＴＶカメラ１１で撮像したワーク１３のカラー映像信号をＡ／Ｄ変換部１７により変換した後、ターゲット画像１６として記憶する画像メモリ１８、本発明のワークの良否識別用カラーパターンマッチング方法を記述したプログラム記憶媒体１９、プログラムを実行するＣＰＵ２０およびメモリ２１、マスター画像Ｆのデジタルデータを記憶するマスタ画像記憶部２２、マウス等の入出力機器２３を接続する入出力部２４、Ｄ／Ａ変換部２５を介して接続される画像表示部としてのディスプレイ２６から構成されている。
【００１８】
図５は、本発明の具体例を示している。マスタ画像Ｆは、あらかじめマスタとするワーク１３をカラーＴＶカメラ１１で撮像しておき、その部分画像をディスプレイ２６に表示された画像を見ながら、マウス等の入出力機器２３を用いて人手で切り出す。マスタ画像Ｆはマスタ画像記憶部２２に記憶される。なお、マスタ画像Ｆの総画素数は、Ｎ個とする。
【００１９】
画像処理装置１５は、ターゲット画像１６中の部分画像ｆとマスタ画像Ｆとのマッチングを行い、マッチング率を得、この部分画像ｆをターゲット画像１６中で縦横に動かしながら、最もマッチング率が高くなる位置をマッチング位置とする。ここに部分画像ｆの大きさはマスタ画像Ｆと同じ大きさである。
【００２０】
カラーＴＶカメラ１１からのワーク１３のカラー映像信号は、Ａ／Ｄ変換部１７を通って画像メモリ１８に入り、ターゲット画像１６となる。ここにＡ／Ｄ変換部１７はＲ，Ｇ，Ｂそれぞれの色用の３つのＡ／Ｄ変換手段を並列に備える。ＲはＲｅｄ（赤色）、ＧはＧｒｅｅｎ（緑色）、ＢはＢｌｕｅ（青色）である。画像メモリ１８もＲプレーン、Ｇプレーン、Ｂプレーンの３枚ある。通常は８ｂｉｔの連続したメモリ空間からなるプレーン３枚で構成されるが、２４ｂｉｔの連続したメモリ空間１枚で構成される場合もある。この場合は１バイトづつの画素３バイトがＲ，Ｇ，Ｂの順に連続したものであるが、これもＲプレーン、Ｇプレーン、Ｂプレーンの３枚のプレーンから構成されると考える。
【００２１】
なお、入出力部２４は、カラーＴＶカメラ１１からの撮像タイミングを決める光電センサ２７や、不良品を振り分けるＮＧ排出コンベア２８にも接続されている。マスタ画像Ｆとターゲット画像ｆとの間でのカラーパターンマッチングは、プログラム記憶媒体１９内のプログラムにしたがって、ＣＰＵ２０により実行される。
【００２２】
さて、本発明によるワークの良否識別用カラーパターンマッチング方法において、マッチング率は以下のように求める。
【００２３】
【数３】
なお従来法における各プレーン毎の最大マッチング率ＫＲ ，ＫＧ ，ＫＢ は以下のとおりである。
【００２５】
【数４】
従来法では各プレーン毎の最大マッチング率ＫＲ ，ＫＧ ，ＫＢ を求めた上で、これら３つのプレーン毎最大マッチング率の相互演算によってマッチング率を求めていた。このためワークの色が違っていても各プレーン毎の最大マッチング率ＫＲ ，ＫＧ ，ＫＢ が１００％に近い値となる場合があり、相互演算で得られる総合マッチング率も１００％に近い値になってしまう。これに対し、提案手法ではこのような影響はない。たとえば、形が同じで色違いのカプセル錠剤２（図１のポジションｈ ）は、表２に示すようにマッチング率３４％となる。これに対し、形が同じで色違い以外のケースでは、マッチング率はモノクロ画像の正規化相関による場合の表１とほとんど変わらない。そこで良品と不良品との識別境界を５０％〜８０％におけば、良品と不良品を正しく分類できるようになる。
【００２７】
【表２】
なお、本発明は医薬品や医療品の検査だけではなく、電子部品や機械部品などの工業製品中の部品検査、また印刷業界におけるカラー印刷パターンのチェックにも応用できる。
【００２９】
ちなみに、本発明の提案手法は、いわばカラー正規化相関法とよぶべきものであるが、階層化によって高速化できる。すなわち、このカラー正規化相関法の階層化による高速化では、各Ｒ，Ｇ，Ｂプレーン各々において、縦横１／２サイズのターゲット画像とマスター画像を作って、その得られた縮小画像（ターゲット画像とマスター画像）においてカラー正規化相関係数が最大となる画素を求める粗探索と、その画素に対応する縮小元の画像の対応画素の近傍の中からカラー正規化相関係数が最大になる画素を求める精探索からなる処理を数階層組み合わせることにより高速化を図ることができる。１階層あがることにより処理速度は１６倍になる。
【００３０】
なお、このような階層化処理というのは、ターゲット画像およびマスター画像（テンプレート）をそれぞれ縦横１／２づつに縮小し、その縮小した画像同士で正規化相関を行って、得られた候補点に対応する元の大きさの画像の対応点近傍画素で詳細な正規化相関を行うものである。通常この縦横１／２に縮小されたターゲットとマスターの画像で正規化相関を行うことを、１階層あがって粗探索を行うという。また、粗探索により得られた候補点（画素）から、縦横２倍の元の画像の対応点近傍で詳細な正規化相関を行って詳細な候補点を求めることを１階層さがって精探索を行うという。実用化時は１階層だけでなく、通常は２〜５階層程度の階層化を行う。これは、ピラミッドの階層に似ているのでピラミッド階層化ともいう。１つの階層化により処理速度は１６倍になり、３階層化では４０９６倍になる。通常３階層では処理速度は数ミリ秒から数十ミリ秒で十分に実用的であるが（２００２年現在、ＶＧＡサイズモノクロ画像に対する１２８×１２８サイズマスタ画像を用いたＣＰＵによる正規化相関処理）、逆に言えば、階層処理なしには数十秒〜数分かかることになる。
【００３１】
ところが、今から１０年以上前では、ＣＰＵの性能が今よりも１００倍以上遅く、ＣＰＵを用いての正規化相関の実用的な処理を行うことは難しかった。このため正規化相関の高速化は、階層化手法の適用だけでなく、その階層化手法を含めた正規化相関処理自体を論理回路で作ったハードウェアを採用して初めて実現化した。このため正規化相関法は１つのハードウェア資産となっており、従来技術のカラーのパターンマッチング（段落番号００１１）で、各プレーン毎の正規化相関によるマッチング率の最大値ＫＲ ，ＫＧ ，ＫＢ を求め、これらの各プレーン毎のマッチング率の最大値から最大マッチング率Ｋをもとめていたのは、この正規化相関法のハードウェア資産を利用するためである。ところが今日ではＣＰＵの処理能力向上に伴い、正規化相関自体が階層化処理を用いて実時間で処理できるようになったため、本提案のカラー正規化相関法もＣＰＵを用いて階層化処理を併用することにより、十分に実用的な時間で処理できる。本提案手法では、ＶＧＡサイズカラー画像に対し、１２８×１２８画素サイズマスタ画像を用いて３階層高速化を図ると、ＣＰＵ処理で、０．１秒以内で処理できる。
【発明の効果】
本発明では、カラーＴＶカメラで撮像したターゲット画像の中からマスタ画像に最もよく類似する部分画像の位置を検出し、検出した部分画像とマスタ画像のマッチング率を求め、このマッチング率によりワークの良否を判断するパターンマッチング処理において、ターゲット画像およびマスタ画像が各々Ｒ，Ｇ，Ｂ３枚のカラープレーンから構成され、ターゲット画像とマスタ画像との間の各プレーン間のマッチング率を求めてから、それらプレーン間マッチング率の相互演算によりマッチング率を得る手順を踏まず、３枚のプレーン間どうしのマッチング率を直接求めるから、従来方法の欠点つまりワークの色が違っていても各プレーン毎の最大マッチング率ＫＲ ，ＫＧ ，ＫＢ が１００％に近い値となることがなくなり、この結果、良品と不良品とを確実に区別できる。
【図面の簡単な説明】
【図１】コンベア上を移動するカプセル錠剤を画像処理で検査する検査装置の説明図である。
【図２】画像処理装置における画像処理を示す説明図である。
【図３】一般的な、カラーのパターンマッチングとして知られている方法を示す説明図である。
【図４】本発明を用いた検査装置１０の説明図である。
【図５】本発明の具体例である。
【符号の説明】
１ 検査装置
２ カプセル錠剤
３ コンベア
４ モノクロＴＶカメラ
５ 光電センサ
６ マスタ画像
７ ターゲット画像
８ ターゲット画像
９ マスタ画像
１０ 検査装置
１１ カラーＴＶカメラ
１２ 照明
１３ ワーク
１４ コンベア
１５ 画像処理装置
１６ ターゲット画像
１７ Ａ／Ｄ変換部
１８ 画像メモリ
１９ プログラム記憶媒体
２０ ＣＰＵ
２１ メモリ
２２ マスタ画像記憶部
２３ 入出力機器
２４ 入出力部
２５ Ｄ／Ａ変換器
２６ ディスプレイ
２７ 光電センサ
２８ ＮＧ排出コンベア
２９ 画像処理装置
Claims (1)
- カラーＴＶカメラで撮像したターゲット画像の中からマスタ画像に最もよく類似する部分画像の位置を検出し、検出した部分画像とマスタ画像との間のマッチング率を求めてワークの良否を判断するカラーパターンマッチング処理において、ターゲット画像およびマスタ画像を各々Ｒ，Ｇ，Ｂ３枚のカラープレーンから構成し、ターゲット画像の各プレーンとマスタ画像の各プレーンとの間のマッチング率ｋを以下の演算により一括して直接求め、最大マッチング率Ｋからワークの良否を識別することを特徴とするカラーパターンマッチング方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002224611A JP2004070394A (ja) | 2002-08-01 | 2002-08-01 | ワークの良否識別用カラーパターンマッチング方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002224611A JP2004070394A (ja) | 2002-08-01 | 2002-08-01 | ワークの良否識別用カラーパターンマッチング方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004070394A true JP2004070394A (ja) | 2004-03-04 |
Family
ID=32012523
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002224611A Pending JP2004070394A (ja) | 2002-08-01 | 2002-08-01 | ワークの良否識別用カラーパターンマッチング方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004070394A (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013257219A (ja) * | 2012-06-13 | 2013-12-26 | Nisshin Seifun Group Inc | 表面形状測定装置及び方法 |
-
2002
- 2002-08-01 JP JP2002224611A patent/JP2004070394A/ja active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013257219A (ja) * | 2012-06-13 | 2013-12-26 | Nisshin Seifun Group Inc | 表面形状測定装置及び方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI787296B (zh) | 光學檢測方法、光學檢測裝置及光學檢測系統 | |
| JP4095860B2 (ja) | 欠陥検査方法及びその装置 | |
| US20070165939A1 (en) | Reduction of false alarms in pcb inspection | |
| JP2003500780A (ja) | 物体検査における確度に基づいた画素分類 | |
| US7916949B2 (en) | Method of inspecting granular material and inspection device for conducting that method | |
| JP6696323B2 (ja) | パターン検査装置およびパターン検査方法 | |
| US7415362B2 (en) | Image defect inspection apparatus | |
| JP2010091361A (ja) | 画像検査方法および画像検査装置 | |
| JP2000180374A (ja) | 欠陥検出方法 | |
| WO2014103617A1 (ja) | 位置合せ装置、欠陥検査装置、位置合せ方法、及び制御プログラム | |
| EP2063259A1 (en) | Method for inspecting mounting status of electronic component | |
| JP2000163579A (ja) | 外観検査方法およびその装置 | |
| Schiele et al. | Comparison of deep learning-based image segmentation methods for the detection of voids in X-ray images of microelectronic components | |
| JP2004070394A (ja) | ワークの良否識別用カラーパターンマッチング方法 | |
| JP2004125434A (ja) | 電子回路用部品の外観検査方法及び外観検査装置並びに電子回路用部品の製造方法。 | |
| JP4090775B2 (ja) | 電子回路用部品の外観検査方法及び外観検査装置並びに電子回路用部品の製造方法 | |
| JP2004163113A (ja) | 電子回路用部品の外観検査装置 | |
| JPH03108638A (ja) | 粒子凝集パターン判定方法 | |
| JP2003203218A (ja) | 外観検査装置および方法 | |
| JP4354174B2 (ja) | 電子回路用部品の製造方法 | |
| JPH03156349A (ja) | 異物検出方法 | |
| JP2000046748A (ja) | 導体パターンの検査方法およびその装置並びに多層基板の製造方法 | |
| EP3477588B1 (en) | Image processing apparatus, image processing method, and recording medium | |
| JP2004212277A (ja) | パターンを検査するための方法 | |
| TW577995B (en) | An image searching defect detector |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050701 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080617 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080825 |