JP2006260310A

JP2006260310A - 物品判別方法および物品判別装置ならびにプログラム

Info

Publication number: JP2006260310A
Application number: JP2005078259A
Authority: JP
Inventors: Masumi Ishikawa; 眞澄石川; Noritaka Ide; 徳隆井出; Shuichi Isomura; 修一磯村
Original assignee: Kyushu Institute of Technology NUC; Sumikin Recotech Co Ltd
Current assignee: Kyushu Institute of Technology NUC; Nippon Steel Slag Products Co Ltd
Priority date: 2005-03-17
Filing date: 2005-03-17
Publication date: 2006-09-28
Anticipated expiration: 2025-03-17
Also published as: JP3865316B2

Abstract

【課題】
大量の物品の中に混入した異種物品を高速かつ高精度に判別する物品判別方法および装置を提供する。
【解決手段】
形状的特徴ベクトル抽出ステップ（Step２）と、色彩的特徴ベクトル抽出ステップ（Step３）と、前記色彩的特徴ベクトルと前記形状的特徴ベクトルを合成して、判別対象物品の画像の特徴ベクトルを作成する特徴ベクトル作成ステップ（Step４）と、正準相関解析で得られた変換行列によって前記特徴ベクトルを写像して新特徴ベクトルを算出する次元圧縮ステップ（Step５）と、前記判別対象物品の画像の新特徴ベクトルと基準クラスに属するサンプル画像の新特徴ベクトルの間の距離を算出する距離算出ステップ（Step６）と、前記距離を閾値判別して、前記対象物品が前記基準クラスに属すか否かを判別する判別ステップ（Step７）とを有する。
【選択図】図４

Description

本発明は、判別対象物品の画像と基準物品の画像の類似性に基づいて、前記判別対象物品が前記基準物品と同種の物品であるか否かを判別する物品判別方法および物品判別装置ならびにプログラムに関する。

例えば、ナットの製造工場のような多品種大量生産を行う工場の出荷ラインでは、異種製品が正規製品中に混入してそのまま出荷されると、出荷先の工場で不具合を生じて工程全体を停止させてしまう危険があるので、出荷ラインの末端で検査員による目視検査を行って異種製品を排除している。また、出荷ラインに限らず、各種工業製品の製造ラインにおいては、異種物品あるいは不良品が、下流工程に流れないように、検査員を配置して異種物品等の混入を排除している。

しかしながら、目視検査は検査員のワークロードが大きく、検査員の体調や疲労の度合いによって、検査の精度が変動するので、このような検査を自動化することが求められている。そこで、画像認識技術を応用した各種の外観検査装置等が多種提案されている。

例えば、特許文献１には、供給コンベアによって１個ずつ検査位置に払い出される真珠をＣＣＤカメラで撮像した画像の重心を通る任意の軸回りの慣性モーメントの最大値、最小値および前記重心から前記画像の輪郭までの距離の最大値、最小値を算出し、その最大値と最小値の比に基づいて当該真珠の変形度を判別する検査分類装置が開示されている。

また、特許文献２には、錠剤またはカプセル剤をＣＣＤカメラで撮像した画像から輝度が他の領域と異なる領域を検出することによって、当該錠剤等の欠け、表面剥離状割れ、異物の付着等の外観異常を検出する外観検査装置が開示されている。

また、特許文献３には、コンベアによって搬送される菓子をＣＣＤカメラで撮像した画像の濃淡に基づいて当該菓子の焼き色が基準内にあるか否を判別するとともに、前記画像の輝度ヒストグラムに基づいて閾値を決定し、前記画像中の輝度が前記閾値を超える領域に異物が存在すると判断する良否判断システムが開示されている。

外観検査装置は、部品等の製造ラインの下流だけではなく、その部品等を使用する組立ラインの上流にも設置される。例えば、特許文献４には、フィーダーで供給される部品をＣＣＤカメラで撮像した画像を基準画像データと比較して照合判定する判定手段を備えた部品実装機が開示されている。

また、検査対象物品の画像を基準物品の画像と比較して、検査対象物品と基準物品の類比を判断する画像処理技術には次のようなものがある。

特許文献５には、基準クラスに属する画像の特徴ベクトルと対照クラスに属する画像の特徴ベクトルに対して正準相関分析を行って、前記特徴ベクトルをクラスに対する相関性の高い（つまり、画像を基準クラスと対照クラスに分別するのに適した）特徴ベクトルに写像する変換行列を決定し、前記変換行列によって写像された特徴ベクトルを用いて画像認識を行うことが開示されている。なお、以後本明細書では、変換行列によって写像された特徴ベクトルを「新特徴ベクトル」あるいは単に「新特徴」と呼ぶことにする。

端的に言えば、変換行列とは識別対象の特徴ベクトルの成分の内、そのクラスの特徴をよく示す成分には大きな係数を与え、そうでない成分には小さな係数を与える行列である。この変換行列は次のような手法で算出される。

識別対象をＫ個のクラスに分別する場合を想定し、ｘをｍ次元の特徴ベクトルとする。ｘのＫクラスのサンプル集合Ｃi＝｛ｘ｝（i＝１,‥‥Ｋ）が与えられると、クラス内分散行列およびクラス間分散行列は下記の式（１）および式（２）で与えられる。

ここで、特徴ベクトルｘ（ｘ∈Ｘｍ）から新特徴ベクトルｙ（ｙ∈Ｙｎ,ｎ≦ｍ)への線形変換を下記の式（３）で表すと、

変換行列［ａ_１，‥‥，ａ_ｎ］は、下記の式（４）で与えられるいわゆる判別分析の固有値問題の最大ｎ固有値に対する固有ベクトルａ_i（i＝１,‥‥ｎ）として求めることができる。

なお、有効なｎの最大値はｍｉｎ（ｍ，Ｋ−１）で抑えられる。一般に、Ｋ−１はｍより小さいから、特徴ベクトルを新特徴ベクトルに変換すると次元が小さくなる。そのため、特徴ベクトルを新特徴ベクトルに変換する操作を次元圧縮と呼んでいる。

また、非特許文献１には、高次局所自己相関関数を画像の特徴とする画像計測・認識手法が提案されている。高次自己相関関数とは参照点ｒでの対象画像の輝度をＩ(r)とする場合に、参照点ｒ周りのＮ個の変位（ａ₁,‥‥,ａ_N）に対して、下記の式（５）で定義される関数をいう。

一般に画像処理の分野では、近くの画素間の局所的な相関の方が重要であると考えられるので、次数Ｎを高々２までとして、変位を参照点ｒ周りの局所的な３×３画素の領域に限定する。このような３×３画素の領域における変位に対して与えられる高次自己相関関数を高次局所自己相関関数と呼んでいる。

３×３画素の領域における０次、１次及び２次の変位は３７通りのパターンがあるが、平行移動によって等価となるパターンを除くと、２値画像に対しては図１２に示すような２５通りのパターンが残る。

これらの２５通りのパターンについて算出した高次局所自己相関関数の値をｘ_i（i＝１,‥‥,２５)で表すと、下記の式（６）に示すような２５次元の特徴ベクトルが得られる。

なお、２値画像に対する高次局所自己相関関数の値ｘ_iは、対象画像に含まれる対応するパターンの個数を表すものである。つまり、式（６）の特徴ベクトルは、対象画像における、２５通りのパターンの出現頻度分布を表すものである。
特開平１０−１９５３４号公報特開２００４−１９８１７５号公報特開２００３−２１６９２８号公報特開２００１−２１７６００号公報特開２００１−５２１１５号公報大津展之,"パターン認識における特徴抽出に関する数理的研究,"電子技術総合研究所研究報告,Ｎｏ．８１８,ｐｐ１−１２０,１９８１

前述したように、ナットの製造工場のような多品種大量生産を行う工場の出荷ラインでは、大量のナットがコンベアに載って流れて来る。ある工場では毎分１０００個の割合で流れて来るナットを、検査員が目視検査しているが、既存の検査装置ではこのような高速の処理はできないという問題があった。

すなわち、特許文献１に記載の装置は、１個ずつ検査位置に払い出される真珠の変形度を測定して、その変形度に応じて分別を行う装置であり、かなり精度の高い分別が期待できるが、高速処理、大量処理に対応するための配慮はなされていない。

また、特許文献２に記載の装置は、かなりの高速処理が期待できるが、本来、輝度が均等に分布する領域中で輝度の異なる部分を検出したら不良品と判定するという、比較的単純な論理を用いる装置であり、サイズや形状が微妙に異なる物品を発見する用途には適していない。

また、特許文献３に記載の装置は、比較的大形の物品を対象とする検査装置であり、高速処理、大量処理に対応するための配慮はなされていない。

特許文献４に記載の装置は、パターンマッチングにより物品の判別を行う装置であり、かなり高精度の判別が期待できるが、その用途から考えて、精々毎分数十個の判別ができれば十分であり、高速処理、大量処理に対応するための配慮はなされていない。

特許文献５あるいは非特許文献１に記載の画像処理方法は高精度の画像判別を実現するものであるが、大量に流れてくる物品を高速度で判別する具体的な手段については開示されていない。

本発明は、このような事情の下でなされたものであり、大量の物品の中に混入した異種物品を高速かつ高精度に判別する物品判別方法および装置を提供することを目的とする。

本発明に係る物品判別方法の第１の構成は、判別対象物品の画像の形状的特徴ベクトルを抽出する形状的特徴ベクトル抽出ステップと、前記判別対象物品の画像の色彩的特徴ベクトルを抽出する色彩的特徴ベクトル抽出ステップと、前記色彩的特徴ベクトルと前記形状的特徴ベクトルを合成して、前記判別対象物品の画像の特徴ベクトルを作成する特徴ベクトル作成ステップと、基準クラスに属するサンプル画像の特徴ベクトルと対照クラスに属するサンプル画像の特徴ベクトルに対する正準相関解析で得られた変換行列によって前記判別対象物品の画像の特徴ベクトルを写像して新特徴ベクトルを算出する次元圧縮ステップと、前記判別対象物品の画像の新特徴ベクトルと基準クラスに属するサンプル画像の新特徴ベクトルの間の距離を算出する距離算出ステップと、前記距離を閾値判別して、前記対象物品が前記基準クラスに属すか否かを判別する判別ステップとを有するものである。

この構成によれば、形状的特徴ベクトルと色彩的特徴ベクトルを合成した特徴ベクトルを物品判別の基礎にするので、精度の高い物品判別が実現できる。

本発明に係る物品判別方法の第２の構成は、前記第１の構成において、前記形状的特徴ベクトルは前記判別対象物品の画像を２値化した２値画像について算出した高次局所自己相関関数を成分とするベクトルであることを特徴とする。

高次局所自己相関関数は、画像の形状や質感（Texture)を的確に表現でき、しかも平行移動に対して不変なので、画像中での物品の配置等に対してロバストである。そのため、この構成によれば、安定した物品判別が可能になる。

本発明に係る物品判別方法の第３の構成は、前記第１又は第２の構成において、前記色彩的特徴ベクトルは前記判別対象物品の画像に属する画素の各色成分の輝度の平均値を成分とするベクトルであることを特徴とする。

この構成によれば、前記判別対象物品の画像に属する画素の各色成分の輝度の平均値を成分とするベクトルを色彩的特徴ベクトルとするので、非常に小さいデータ量で、判別対象物品の色彩的特徴を表現でき、判別の精度向上と処理速度の高速化を両立することができる。

ここで、色成分とは、或る色空間において当該画素の色彩的特徴を表示するためのベクトルの成分である。代表的な色空間には、ＲＧＢ、ＹＵＶ、ＨＳＩなどがあるが、本発明を実施するにあたっては、判別対象物体の色彩的特徴を的確に表現できる色空間を選んで使用すればよい。また、独自の色空間を定義して使用してもよい。

本発明に係る物品判別方法の第４の構成は、前記第１乃至第３のいずれかの構成において、複数の判別対象物品を撮像手段から等距離に配列して、前記複数の判別対象物品を１の画像に撮像する撮像ステップと、前記１の画像から、前記判別対象物品が１個だけ写っている部分画像を切り出す画像切り出しステップを有することを特徴とする。

この構成によれば、複数の判別対象物品を等距離に配置しているので、複数の判別対象物品を、同時に、同精度で、判別できるので高精度かつ高速の物品判別が可能になる。

本発明に係る物品判別方法の第５の構成は、判別対象物品がＫ個（Ｋは３以上の自然数）のクラスの何れのクラスに属するかを判別する物品判別方法において、前記Ｋ個のクラスの中から、１のクラスを基準クラスに選定する基準クラス選定ステップと、前記基準クラスを除くＫ−１個のクラスの中から、１個のクラスを対照クラスに選定する対照クラス選定ステップと、前記判別対象物品について、前記第１乃至第４の何れかの構成に係る物品判別方法を実行して、前記基準クラスに属さないと判別された物品を判別対象から棄却する２クラス識別ステップを有し、基準クラスを前記１個のクラスに固定して、対照クラスを変更しながら、前記対照クラス選定ステップと前記２クラス識別ステップをＬ（ＬはＬ≦Ｋ−１を満たす自然数）回実行して、判別対象から棄却されなかった物品を当該基準クラスに属する物品とすることを特徴とする。

この構成によれば、いわゆるＫクラス識別問題を２クラス識別問題の組み合わせで解決できるので、Ｋクラス識別問題を比較的単純なハードウェアで解決できる効果がある。また、Ｋクラス識別問題をそのまま解くのと比較して消費者危険をはるかに小さくすることができる。

ちなみにＫクラス識別問題をそのまま解くのは多クラスのいずれに属するかを判定することに相当し、当該クラスに属するか否かを判定すれば良いここでの目的と比較して不必要に難しい課題を解くことになり、識別性能を劣化させることになる。

本発明に係る物品判別方法の第６の構成は、前記第５の構成において、前記対照クラス選定ステップは、前記基準クラスとの間のクラス間距離が最小になるクラスから、昇順にＬ個のクラスを対照クラスに選定することを特徴とする。

クラス間距離が最小となる基準クラスと対照クラスの間で２クラス識別を行うので、繰り返し回数Ｌを小さくしても、判定精度を確保することができる。

本発明に係る物品判別方法の第７の構成は、前記第５の構成において、前記２クラス識別ステップをＫ−１回繰り返し実行して、１個のクラスと他の全てのクラスの間で２クラス識別を行うことを特徴とする。

この構成によれば、繰り返し回数Ｌを最大にするので、判別精度を最大にすることができる。

本発明に係る物品判別方法の第８の構成は、前記第１乃至第７のいずれかの構成において、前記判別対象物品はナットであることを特徴とする。

この構成によれば、ナットを高速かつ高精度に判別して、異種ナットの混入を防ぐ効果がある。

本発明に係る物品判別装置の第１の構成は、判別対象物品の画像の形状的特徴ベクトルを抽出する形状的特徴ベクトル抽出手段と、前記判別対象物品の画像の色彩的特徴ベクトルを抽出する色彩的特徴ベクトル抽出手段と、前記色彩的特徴ベクトルと前記形状的特徴ベクトルを合成して、前記判別対象物品の画像の特徴ベクトルを作成する特徴ベクトル作成手段と、基準クラスに属するサンプル画像の特徴ベクトルと対照クラスに属するサンプル画像の特徴ベクトルに対する正準相関解析で得られた変換行列によって前記判別対象物品の画像の特徴ベクトルを写像して新特徴ベクトルを算出する次元圧縮手段と、前記判別対象物品の画像の新特徴ベクトルと基準クラスに属するサンプル画像の新特徴ベクトルの間の距離を算出する距離算出手段と、前記距離を閾値判別して、前記対象物品が前記基準クラスに属すか否かを判別する判別手段とを備えるものである。

本発明に係る物品判別装置の第２の構成は、前記第１の構成において、前記形状的特徴ベクトルは前記判別対象物品の画像を２値化した２値画像について算出した高次局所自己相関関数を成分とするベクトルであることを特徴とする。

本発明に係る物品判別装置の第３の構成は、前記第１又は第２の構成において、前記色彩的特徴ベクトルは前記判別対象物品の画像に属する画素の各色成分の輝度の平均値を成分とするベクトルであることを特徴とする。

本発明に係る物品判別装置の第４の構成は、前記第１乃至第３のいずれかの構成において、複数の判別対象物品が写った一の画像から、前記判別対象物品が１個だけ写っている部分画像を切り出す画像切り出し手段を備えることを特徴とする。

本発明に係る物品判別装置の第５の構成は、前記第１乃至第４のいずれかの構成において、前記判別対象物品はナットであることを特徴とする。

本発明に係るプログラムの構成は、前記第１乃至第８の構成に係る物品判別方法を、コンピュータに実行させることを特徴とする。

以上説明したように、本発明によれば、コンベア上の高速かつ大量に搬送されるナットのような小物品を精度良く判別して、異種物品や不良品が後工程に流出することが出来る。また、従来検査員が目視で行っていた判別作業を自動化できるので、判別作業を合理化、省力化する効果がある。

以下、本発明を実施するための最良の形態について、図面を参照しながら説明する。

図１は、本発明の実施例１に係る物品判別装置の概念的な配置図である。図１において、１は物品判別装置であり、２は判別対象のナットであり、３はナット２を搬送するコンベアである。

物品判別装置１は撮像手段４とコンピュータ５から構成される。

撮像手段４は撮像対象を光学的手段で撮像して、電気信号に変換して、コンピュータ５に出力する手段である。撮像手段４にはＣＣＤカメラ等を選ぶのが一般的だが、物品判別に要求される品質の画像が得られるならば、その形式や、撮像・信号変換の原理等は問わない。また、撮像手段４はコンベア３の側方の、コンベア３の搬送面より高い位置に配置され、ナット２がコンベア３で搬送されて撮像位置Ｐに到達したときに、ナット２を撮像する。

ナット２は、図示しない配置手段によって、１０個ずつ円弧状に配置されて搬送される。前記１０個のナット２は撮像位置Ｐに来たときに撮像手段４によって、１０個全てを１フレームに納めて撮影する。前記１０個のナットは、円弧状に配置されているので、撮影位置Ｐにおいては、撮像手段４と１０個のナット２の間の距離は全て等しい。

図２は、ナット２が撮像位置Ｐに来たときの撮像手段４とナット２の位置関係を説明する立面図であり、図１において矢印Ａで示す方向から見た図である。図２に示すように、撮像手段４はコンベア３の搬送面から２５０ｍｍの高さにあって、ナット２の中心から水平方向に２５０ｍｍ離れているので、撮像手段４からナット２までの直線距離は約３５０ｍｍになる。また、１０個のナット２は円弧状に配列されているので、撮像手段４とナット２の間の距離は１０個全てについて等しい。

なお、撮像手段４の配置は、コンベア３の側方に限られるものではない。例えば、コンベア３を跨ぐ門型の架構に撮像手段４を取り付けて、ナット２の前方正面から、ナット２を見下ろしてもよいし、撮像手段４を天井に固定して、ナット２の真上から、ナット２を撮像してもよい。

コンピュータ５には、撮像手段４から入力された画像を解析して、画像に写された物品の判別を行う手順を記述したプログラムが書き込まれている。なお、コンピュータ５は、汎用性のあるパーソナルコンピュータであっても良いし、専用のハードウェアを設計して、ボードあるいはチップにまとめてもよい。

コンピュータ５は、後述する物体判別方法を実行して、１０個のナット２の中に異種のナットが含まれているのを発見すると、判別信号を図示しない排除手段に出力する。前記排除手段は前記判別信号を受けて、前記異種のナットをコンベア３上から排除する。

図３は、物品判別装置１のモジュール構成図である。前述のように物品判別装置１は撮像手段４とコンピュータ５から構成されるが、コンピュータ５は、画像切り出しモジュール１１、特徴ベクトル抽出モジュール１２、次元圧縮モジュール１３、距離算出モジュール１４および判別モジュール１５を備える。これらの各モジュールは、各モジュールの機能を実現する手順を記述したプログラムモジュールの形でコンピュータ５の中に存在するが、それぞれのモジュールについて専用のハードウェアを用意してもよい。なお、図が煩雑になるのを防ぐために、図３においては、コンピュータの一般的な構成要素、例えばＣＰＵ、メモリー、入出力インターフェイスなどの図示は省略している。また、以後の説明において、「算出する」というのは、プログラムに記述された手順にしたがってＣＰＵが何らの演算を行うことであり、「記憶する」とはメモリーに情報を書き込むことであり、「入出力」とは入出力インターフェイスを介して情報がコンピュータ５に出入りすることを言う。また、「送信」「受信」とはモジュール間で情報が受け渡されることを言う。

図４は、本発明の実施例１に係る物品判別方法を示すフローチャートである。このフローチャートに付したステップ番号を引用しながら、実施例１に係る物品判別の手順を説明する。

〔ステップ１〕撮像手段４からコンピュータ５に入力される画像から１０枚の部分画像を切り出す操作を画像切り出しモジュール１１が実行する。撮像手段４からコンピュータ５に入力される画像は、図５（ａ）に示すように１フレームに１０個のナット２が写っている。画像切り出しモジュール１１は図５（ａ）に示す画像に属する全ての画素の輝度を閾値判別して、輝度が閾値を超える領域をナット２の画像として検出して、当該領域を中心とする所定範囲の画像を抽出して、図５（ｂ）に示す１０枚の部分画像を切り出して、特徴ベクトル抽出モジュール１２に送信する。

〔ステップ２〕まず、特徴ベクトル抽出モジュール１２は、前記各部分画像を所定の閾値で２値化して２値化画像を算出し、当該２値画像の高次局所自己相関関数を算出して、当該部分画像の２５次元の特徴ベクトルを得る。部分画像の２値化に使用する閾値（以下、２値化閾値と呼ぶ。）を決定する手順は後述する。

〔ステップ３〕次に、特徴ベクトル抽出モジュール１２は、前記２値化画像において、値が１になった画素をナット２が写っている画素として抽出し、抽出された画素の集合の輝度値の平均をＲＧＢの各成分別に算出し、当該部分画像の色特徴に基づく３次元の特徴ベクトルを得る。

〔ステップ４〕最後に、特徴ベクトル抽出モジュール１２は、前記２５次元の特徴ベクトルと色特徴に基づく３次元の特徴ベクトルを合成して２８次元の特徴ベクトルを作成し、次元圧縮モジュール１３に送信する。
〔ステップ５〕次元圧縮モジュール１３は、前記各部分画像の２８次元の特徴ベクトルを変換行列で写像して、前記各部分画像の新特徴ベクトルを算出して、距離算出モジュール１４に送信する。なお、前記変換行列を決定する手順は後述する。

〔ステップ６〕距離算出モジュール１４は、前記各部分画像の２８次元の特徴ベクトルと、事前に作成して記憶しておいた基準物品の特徴ベクトルの間のマハラノビス距離を算出して、その結果を判別モジュール１５に送信する。なお、マハラノビス距離とは２つのベクトルの類似性を評価する尺度の一種であり、下記の式（７）のｄ_ｃ(x)で定義される。

〔ステップ７〕判別モジュール１５は、前記マハラノビス距離を所定の閾値と比較して、前記マハラノビス距離が前記閾値を超えている場合に、当該部分画像に映っているナット２は、基準物品と異なる、つまり異種のナットであると判定する。なお、前記所定の閾値（以下、距離閾値と呼ぶ。）を決定する手順は後述する。

ここで、２値化閾値、距離閾値を決定する手順を説明する。物品判別装置１は、異種ナットが正規品に混入して出荷されることを防ぐものだから、２値化閾値、距離閾値は物品判別装置１の誤識別率を最小にするように最適化される。

誤識別率は、生産者危険と消費者危険の２つのカテゴリーに分けられる。生産者危険とは良品を不良品であると誤識別する確率であり、Ｐ(e|c)で表す。消費者危険とは不良品を良品であると誤識別する確率であり、Ｐ(c|e)で表す。生産者危険に対するコストをＣ_Ｐ、消費者危険に対するコストをＣ_ｃとすると、誤識別によって生じるコストの期待値Ｊは下記の式（８）で表される。

消費者危険に対するコストＣ_ｃに対する生産者危険に対するコストＣ_Ｐの比を危険比率と呼び、ｒ_ｃで表すことにすると、式（８）は式（９）のように書き換えられる。

一般に検査装置は、期待値Ｊが最小になるように設計されるが、本実施例の物品判別装置１は異種ナットの流出による後工程の不具合発生を防止することを目的としているから、Ｃ_ｃは大きな値になり、Ｃ_Ｐは小さな値になる。

さて、ここで、２値化閾値に適当な初期値を与えて、基準物品（この場合は正規品のナット）のサンプル画像および対照物品（この場合は異種ナット）のサンプル画像の新特徴ベクトルを算出して、その新特徴ベクトルを使用して識別実験を行う。この時、距離閾値についてパラメトリックスタディを行って、期待値Ｊを最小化する距離閾値の値を決定する。

なお、識別実験は次のようなCross-Validiation法で行う。
（１）基準物品と対照物品のサンプルを２００個ずつ用意して、サンプル画像を２００枚ずつ作成する。
（２）この中から、基準物品と対照物品のサンプル画像を１枚ずつ取り出して識別対象サンプルとする。
（３）残りの１９９枚の基準物品および対照物品のサンプル画像に基づいて、基準物品と対照物品の特徴ベクトルを求めて正準相関分析を行って、変換行列を算出する。
（３）前記１９９枚の基準物品のサンプル画像の新特徴ベクトルを算出して、その平均値を求める。
（４）識別対象サンプルの新特徴ベクトルを算出し、前記基準物品の新特徴ベクトルの平均値との間の距離を算出して、閾値判別する。
（５）識別対象サンプルを入れ替えながら、（２）〜（５）を繰り返す。

このようにして決定された距離閾値の最適値を使って、再度、識別実験を行って２値化閾値についてパラメトリックスタディを行って、２値化閾値の最適値Ｔ１を決定する。

図６は、危険比率ｒ_ｃを１,１０^-10,１０^-20,１０^-30に仮定したときの、２値化閾値についてのパラメトリックスタディの例を示すグラフであり、横軸には２値化閾値を、縦軸には生産者危険を取っている。図６によれば、危険比率ｒ_ｃに係わらず最も誤認識率が低くなっていることから、最適な２値化閾値は１５前後であることが分かる。

図７は、最適な２値化閾値（＝１５）を選んだときの、危険比率についてのパラメトリックスタディの例を示すグラフであり、横軸には危険比率を、縦軸には誤認識率を取り、生産者危険を実線で、消費者危険を破線で示している。図７によれば、１０^-1５が生産者危険を低く押されられる危険比率の下限であることが分かる。つまり危険比率を１０^-1５にすれば、消費者危険と生産者危険を共に低く抑えられるので、この実験例では、１０^-1５が危険比率の最適値であることが分かる。

図８は、ナット２を、撮像手段から等距離になるように円弧状に配列して撮像した場合と、撮像手段から見て横一列に配列して撮像した場合の誤認識率の違いを説明するグラフであり、横軸には危険比率を、縦軸には誤認識率を取り、生産者危険を実線で、消費者危険を破線で示している。危険比率の最適値とされた１０^-1５の近傍で両者に明らかな差があることが図８から分かる。

実施例１では、判別対象の物品が基準物品と同種の物品か否か、基準クラスに属するか否かを判別する、つまり、２クラス識別問題を取り扱う方法を説明したが、本実施例では分別対象の物品をＫ個（Ｋは３以上の自然数）のクラスに分別する方法、つまりＫクラス識別問題を取り扱う方法を説明する。なお、本実施例の方法はＫクラス識別問題をＫ−１組の２クラス識別問題に分解して、取り扱うものであり、実施例１で説明したハードウェアがそのまま使用できるので、ハードウェアの説明は省略する。

図９は、本実施例に係る物品分別方法を説明するフローチャートであり、分別対象のナットを図１０に示すａ〜ｆの６種類に分類する方法を示している。以下、図９に示したステップ番号を引用して、この物品分別方法を説明する。

〔ステップ１１〕ａ〜ｆの何れかのナットを基準クラスに設定する。

〔ステップ１２〕基準クラスに設定した種類を除く５種のナットの何れかを対照クラスに設定する。

〔ステップ１３〕分別対象物品を基準クラスと対照クラスに分別する２クラス識別を行い、基準クラスに属すると判別された物品を分別対象物品に残し、それ以外の物品を棄却する。

〔ステップ１４〕全ての５種のナットの全てを対照クラスに設定して、２クラス識別をすませていれば、ステップ１５に進み、そうでなければステップ１２に進む。

〔ステップ１５〕６種類のナットの全てが基準クラスに設定されていれば、「終了」し、そうでなければ、ステップ１３で棄却された物品を分別対象物品にして、ステップ１２に戻る。

つまり、まず分別対象の物品について、その物品がナットaであるかナットｂであるかの２クラス識別を行い、ナットａであると判別された物品を残し、他を捨てる。次に、残った物品について、その物品がナットaであるかナットｃであるかの２クラス識別を行い、ナットａであると判別された物品を残す。このように、残った物品に対して、「ナットa ｖｓ．ナットｄ」、「ナットa ｖｓ．ナットｅ」、「ナットa ｖｓ．ナットｆ」の２クラス識別を行い、最後まで残った物品がナットaのクラスに属すると判別する。更に、ナットaのクラスに属すと判別されなかった物品に対して、同様の処理を繰り返して、ナットｂ、ナットｃ、ナットｄ、ナットｅおよびナットｆのクラスに属す物品を判別する。

ここで、Ｋ−１組の２クラス識別を繰り返して、Ｋクラス識別を行った場合の識別率について説明する。今、全てのナットのクラスは正規分布であると仮定し、

と置くと、式（９）は下記の式（１１）のように書き換えられる。

ここで、μ_i、μ_jは、基準クラスと対象クラスの平均、σ_i、σ_ｊは基準クラスと対象クラスの分散、θは識別境界である。２クラス問題なので、新特徴ベクトルは１次元となるため、平均や分散はスカラーになる。Ｊをθで微分すると式（１２）が得られる。

ここで、

と置くと、識別境界θは式（１３）で与えられる。

得られたθについて消費者危険を求めると、式（１４）が得られる。

基準クラスiと他のクラスとの組み合わせを考え、どの組合わせに対しても棄却できない場合に基準クラスであると判定すると、基準クラスiのナットを正しく認識する総合的な確率は式（１５）で与えられる。

ここでＬは用いる対照クラスであり、最大でＫ−１である。Ｌを大きくすると消費者危険が小さくなり、生産者危険は大きくなる。また、ＬをＫ−１未満に設定する場合はクラス間距離ｒ_ｉｊが小さいクラスを対象クラスに選定するのが良いと考えられる。なお、クラス間距離ｒ_ｉｊは式（１６）で与えられる。

図１１は、本実施例の方法で、判別対象のナットを６種類に分別する実験を行った結果を、危険比率と誤認識率の関係についてまとめたグラフであり、横軸に危険比率を縦軸に誤認識率を取っている。図１１によれば、本実施例の方法は危険比率が１０^-５から１０^＋５の範囲で非常に高い判別精度を得られることが分かる。

〔処理時間〕最後に、本発明による物品判別に要する時間について簡単に説明する。本発明による物品判別は、大別して特徴抽出、次元圧縮および距離計算に分けられるが、特徴抽出は判別に要する計算量の大部分を占める。特徴抽出の計算量は画素数に比例して多くなり、次元圧縮および距離計算の計算量はクラス数の増加にしたがって増加する。全体の計算量に対する特徴抽出の計算量が占める割合Ｔ_eは下記の式（１７）で与えられる。

ここで、Ｘ，Ｙは縦横の画素数、Ｋは判別に用いるクラス数である。例えば、画素数を縦横１００pixで、クラス数を６個とすると、全体の約９９．６％が特徴抽出に必要な計算時間である。従って、物品判別に要する計算時間は特徴抽出に必要な計算に等しいと考えても実用上は差し支えない。

下記の表１は、本発明の方法装置による特徴抽出に要した計算時間をまとめた表である。表１によれば、６クラス分別の場合でも毎秒３８０個以上の物品の特徴を抽出できるので、本発明の方法および装置は、毎分約１０００個、つまり、毎秒１７個のナットが流れる出荷ラインに十分対応できることが分かる。

本発明の実施例１に係る物品判別装置の概念的な配置図である。撮像手段とナットの位置関係を説明する立面図である。物品判別装置のモジュール構成図である。本発明の実施例１に係る物品判別方法を示すフローチャートである。画像切り出しの手順を説明する説明図である。２値化閾値と誤認識率の関係を示すグラフである。危険比率と誤認識率の関係を示すグラフである。ナットを直列配置した場合と円弧状に配置した場合の誤認識率の違いを示すグラフである。本発明の実施例２に係る物品判別方法を示すフローチャートである。６種類のナットのサンプル画像である判別精度（誤認識率）を示すグラフである。高次局所自己相関関数のパターンを示す図である。

符号の説明

１物品判別装置
２ナット
３コンベア
４撮像手段
５コンピュータ
１１画像切り出しモジュール
１２特徴ベクトル抽出モジュール
１３次元圧縮モジュール
１４距離算出モジュール
１５判別モジュール

Claims

判別対象物品の画像の形状的特徴ベクトルを抽出する形状的特徴ベクトル抽出ステップと、
前記判別対象物品の画像の色彩的特徴ベクトルを抽出する色彩的特徴ベクトル抽出ステップと、
前記色彩的特徴ベクトルと前記形状的特徴ベクトルを合成して、前記判別対象物品の画像の特徴ベクトルを作成する特徴ベクトル作成ステップと、
基準クラスに属するサンプル画像の特徴ベクトルと対照クラスに属するサンプル画像の特徴ベクトルに対する正準相関解析で得られた変換行列によって前記判別対象物品の画像の特徴ベクトルを写像して新特徴ベクトルを算出する次元圧縮ステップと、
前記判別対象物品の画像の新特徴ベクトルと基準クラスに属するサンプル画像の新特徴ベクトルの間の距離を算出する距離算出ステップと、
前記距離を閾値判別して、前記対象物品が前記基準クラスに属すか否かを判別する判別ステップと
を有する物品判別方法。
前記形状的特徴ベクトルは前記判別対象物品の画像を２値化した２値画像について算出した高次局所自己相関関数を成分とするベクトルであることを特徴とする請求項１に記載の物品判別方法。
前記色彩的特徴ベクトルは前記判別対象物品の画像に属する画素の各色成分の輝度の平均値を成分とするベクトルであることを特徴とする請求項１又は請求項２に記載の物品判別方法。
複数の判別対象物品を撮像手段から等距離に配列して、前記複数の判別対象物品を１の画像に撮像する撮像ステップと、
前記１の画像から、前記判別対象物品が１個だけ写っている部分画像を切り出す画像切り出しステップ
を有することを特徴とする請求項１乃至請求項３の何れかに記載の物品判別方法。
判別対象物品がＫ個（Ｋは３以上の自然数）のクラスの何れのクラスに属するかを判別する物品判別方法において、
前記Ｋ個のクラスの中から、１個のクラスを基準クラスに選定する基準クラス選定ステップと、
前記基準クラスを除くＫ−１個のクラスの中から、１個のクラスを対照クラスに選定する対照クラス選定ステップと、
前記判別対象物品について、請求項１乃至請求項４の何れかの物品判別方法を実行して、前記基準クラスに属さないと判別された物品を判別対象から棄却する２クラス識別ステップを有し、
基準クラスを前記１個のクラスに固定して、対照クラスを変更しながら、前記対照クラス選定ステップと前記２クラス識別ステップをＬ（ＬはＬ≦Ｋ−１を満たす自然数）回実行して、判別対象から棄却されなかった物品を当該基準クラスに属する物品とする
ことを特徴とする物品判別方法。
前記対照クラス選定ステップは、前記基準クラスとの間のクラス間距離が最小になるクラスから、昇順にＬ個のクラスを対照クラスに選定することを特徴とする請求項５に記載の物品判別方法。
前記２クラス識別ステップをＫ−１回実行して、１個のクラスと他の全てのクラスの間で２クラス識別を行うことを特徴とする請求項５又は請求項６に記載の物品判別方法。
前記判別対象物品はナットであることを特徴とする請求項１乃至請求項７の何れかに記載の物品判別方法。
判別対象物品の画像の形状的特徴ベクトルを抽出する形状的特徴ベクトル抽出手段と、
前記判別対象物品の画像の色彩的特徴ベクトルを抽出する色彩的特徴ベクトル抽出手段と、
前記色彩的特徴ベクトルと前記形状的特徴ベクトルを合成して、前記判別対象物品の画像の特徴ベクトルを作成する特徴ベクトル作成手段と、
基準クラスに属するサンプル画像の特徴ベクトルと対照クラスに属するサンプル画像の特徴ベクトルに対する正準相関解析で得られた変換行列によって前記判別対象物品の画像の特徴ベクトルを写像して新特徴ベクトルを算出する次元圧縮手段と、
前記判別対象物品の画像の新特徴ベクトルと基準クラスに属するサンプル画像の新特徴ベクトルの間の距離を算出する距離算出手段と、
前記距離を閾値判別して、前記対象物品が前記基準クラスに属すか否かを判別する判別手段と
を備える物品判別装置。
前記形状的特徴ベクトルは前記判別対象物品の画像を２値化した２値画像について算出した高次局所自己相関関数を成分とするベクトルであることを特徴とする請求項９に記載の物品判別装置。
前記色彩的特徴ベクトルは前記判別対象物品の画像に属する画素の各色成分の輝度の平均値を成分とするベクトルであることを特徴とする請求項９又は請求項１０に記載の物品判別装置。
複数の判別対象物品を撮像した１の画像から、前記判別対象物品が１個だけ写っている部分画像を切り出す画像切り出し手段を有することを特徴とする請求項９乃至請求項１１の何れかに記載の物品判別装置。
前記判別対象物品はナットであることを特徴とする請求項９乃至請求項１２の何れかに記載の物品判別装置。
請求項１乃至請求項８の何れかに記載の物品判別方法を、コンピュータに実行させることを特徴とするプログラム。