JP2004326382A - 部品認識システム及び方法並びに部品認識用プログラム - Google Patents

Abstract

【課題】精度よく特定の部品を認識すること。
【解決手段】画像処理手段３が、特定の部品の特徴を表すパターンデータを記憶すると共に、画像データを色相，彩度，輝度のデータに変換する画像変換機能と、各変換画像データ毎にパターンデータを用いてパターンマッチングを行い当該マッチングの評価に関するデータをあらかじめ定められた評価基準に基づいてそれぞれ算出するパターンマッチング機能と、これら算出された評価データのうち最も高い評価であると判断されたデータをあらかじめ定められた許容基準と比較して当該許容基準を満たす場合に特定の部品が存在すると判断する部品認識機能と、を備えた。
【選択図】 図２

Description

【０００１】
【発明の属する技術分野】
本発明は、部品認識システムにかかり、特に、自動車などの外装部品として取り付けられた特定の部品を認識するシステムに関する。また、部品認識方法、部品認識用プログラムに関する。
【０００２】
【従来の技術】
自動車などには、種々の外装部品が取り付けられているが、これらは製造時に製造ライン上で自動的に、あるいは、手作業により取り付けられる。外装部品としては、例えば、ヘッドランプなどの各種ランプ、フロントグリル、エンブレム、デカール類（シール）などがある。
【０００３】
しかし、これら外装部品はその数が膨大であり、また、アウトソーシングなど他会社に自社製品を納入するケースが増大しており、一つの製品であっても種々のエンブレムが取り付けられることがある。従って、外装部品の付け忘れ、あるいは、取り付ける部品の仕様を誤ることもあり得る。
【０００４】
このような場合には、製造後に正常な外装部品が取り付けられているか否かを検査する必要が生じる。かかる検査は、人間が行ってもよいが、画像処理にて自動的に行う技術が開発されている。例えば、まず、車体本体を撮影して、検査対象である外装部品が取り付けられていると考えられる周辺の画像を取り込む。そして、かかる範囲内に特定の部品が存在するか否かを、パターンマッチングにて検出する。すなわち、あらかじめ特定部品の基準画像を、パターンデータとして記憶しておき、かかる基準画像とのマッチングが行われる。
【０００５】
【特許文献１】
特開平８−３０７８４号公報
【０００６】
【発明が解決しようとする課題】
しかしながら、上述したパターンマッチングによる外装部品の検出は、従来例では単純に濃淡画像（白黒）を用いたものが多く（特許文献１参照）、かかる場合には塗装色が様々な場合に検出精度が低くなる、という問題が生じる。これは、塗装色によっては、検出対象である外装部品と非常に近い明るさとなりうるので、ボディ面と対象部品とを分離し、パターンマッチングによる検出が困難となる。
【０００７】
【発明の目的】
本発明は、上記従来例の有する不都合を改善し、特に、背景色に影響を受けずに特定の部品を認識することができる、部品認識システムを提供することをその目的とする。また、検出精度の向上、検出の安定性の向上をもその目的とする。
【０００８】
【課題を解決するための手段】
そこで、本発明では、特定の部品が取り付けられる被取付部材を撮影してカラー画像データを取得する画像取得手段と、取得した画像データを演算処理する画像処理手段とを備え、この画像処理手段にて、画像データ内に特定の部品が存在するか否かを認識する部品認識システムであって、画像処理手段が、特定の部品の特徴を表すパターンデータを記憶すると共に、画像データを色相，彩度，輝度のデータに変換する画像変換機能と、各変換画像データ毎にパターンデータを用いてパターンマッチングを行い当該マッチングの評価に関するデータをあらかじめ定められた評価基準に基づいてそれぞれ算出するパターンマッチング機能と、これら算出された評価データのうち最も高い評価であると判断されたデータをあらかじめ定められた許容基準と比較して当該許容基準を満たす場合に特定の部品が存在すると判断する部品認識機能と、を備えた、という構成を採っている。
【０００９】
このような構成にすることにより、まず、撮影されて取り込まれたＲＧＢカラー画像データが、所定の変換式により色相データ、彩度データ、輝度データに変換処理される。そして、それぞれの変換画像データにおいて、あらかじめ記憶されている認識対象部品のパターンデータとのパターンマッチングが行われる。このとき、パターンマッチングによる例えば一致度を表す評価データが、あらかじめ定められた評価基準に基づいて各変換画像毎に算出される。その後、各評価データのうち最も評価の高い値が、あらかじめ定められた許容基準を満たすか否かが判断され、当該基準を満たす場合には、かかるパターンデータの部品が、画像中に存在すると判断される。従って、特定の部品が取り付けられる被取付部材の外面であって部品の取付周囲の色との関係によっては判断しにくい場合であっても、色相、彩度、輝度のいずれかを用いることで、外装部品の有無、種類を容易に識別することができる。
【００１０】
また、本発明では、上記同様に画像取得手段と画像処理手段との基本構成を備え、画像処理手段が、被取付部材の既知である色に応じてあらかじめ設定された使用画像を特定する画像特定データと、特定の部品の特徴を表すパターンデータとを記憶すると共に、画像データを色相，彩度，輝度のデータに変換する画像変換機能と、各変換画像データのうち画像特定データに基づいて特定された変換画像データにおいてパターンデータを用いてパターンマッチングを行い当該マッチングの評価に関するデータをあらかじめ定められた評価基準に基づいて算出するパターンマッチング機能と、当該算出された評価データをあらかじめ定められた許容基準と比較して当該許容基準を満たす場合に特定の部品が存在すると判断する部品認識機能と、を備えたという構成を採っている。
【００１１】
上記構成において、画像特定データは、被取付部材の既知である色に応じてあらかじめ設定された２以上の使用画像を特定するデータから成り、パターンマッチング機能は、画像特定データにて特定された各変換画像データ毎にパターンマッチングを行い、評価データをそれぞれ算出し、部品認識機能は、これら算出された評価データのうち最も高い評価であるデータをあらかじめ定められた許容基準と比較して当該許容基準を満たす場合に特定の部品が存在すると判断する、という構成にしてもよい。
【００１２】
このような構成にすることで、あらかじめ被取付部材の外面であって、部品取付箇所周囲の色が判明している場合には、かかる色に応じて当該外面色と対象部品とを区別しやすい色相、彩度、輝度のうちいずれかの変換画像データ、あるいは、２つ以上の変換画像データを用いるよう、画像特定データにて特定されている。そして、かかるデータが特定する変換画像データを用いて、上述同様にパターンマッチングを行うことで、被取付部材の色の影響を抑制して、対象部品を精度よく認識することができる。
【００１３】
さらに、本発明では、上記同様に画像取得手段と画像処理手段との基本構成を備え、画像処理手段が、取得した画像データの特徴に応じて使用画像を特定する画像特定データと、特定の部品の特徴を表すパターンデータとを記憶すると共に、画像データを色相，彩度，輝度のデータに変換する画像変換機能と、これら変換画像データ中の特定の部品が取り付けられない箇所としてあらかじめ定められた箇所の所定の範囲について当該変換画像データにおける特徴である変換画像特徴値を算出する画像特徴値算出機能と、この算出された変換画像特徴値と画像特定データとに基づいて特定された変換画像データにおいてパターンデータを用いてパターンマッチングを行い当該マッチングの評価に関するデータをあらかじめ定められた評価基準に基づいて算出するパターンマッチング機能と、当該算出された評価データをあらかじめ定められた許容基準と比較して当該許容基準を満たす場合に特定の部品が存在すると判断する部品認識機能と、を備えた、という構成を採っている。
【００１４】
このとき、上記構成において、画像特定データは、変換画像特徴値に応じて２以上の使用画像を特定するデータから成り、パターンマッチング機能は、変換画像特徴値と画像特定データとに基づいて特定された２以上の変換画像データ毎にパターンマッチングを行い当該マッチングによりあらかじめ定められた評価基準に基づいてそれぞれ評価データを算出し、部品認識機能は、これら算出された評価データのうち最も高い評価であるデータをあらかじめ定められた許容基準と比較して当該許容基準を満たす場合に特定の部品が存在すると判断する、という構成としてもよい。
【００１５】
このような構成にすることにより、被取付部材の外面であって部品が取り付けられる箇所の周囲の色が判明していない場合であっても、まず、かかる部分の色の特徴が算出される。このときの特徴とは、例えば、彩度や輝度である。そして、かかる特徴に応じて、パターンマッチングを行うことに適した変換画像データが特定される。すなわち、被取付部材の色の特徴に応じて、当該外面色と対象部品とを区別しやすい色相、彩度、輝度のうちいずれかの変換画像データ、あるいは、２つ以上の変換画像データを用いるよう、画像特定データにて設定されており、かかる変換画像データが特定される。そして、画像特定データが特定する変換画像データを用いて、上述同様にパターンマッチングを行うことで、被取付部材がいかなる色であっても、当該色の影響を抑制して、自動的に精度よく対象部品を認識することができる。
【００１６】
また、画像処理手段が、特定の部品を撮影した際における画像上の特徴を部品画像特徴値を記憶すると共に、記憶されている画像特定データは、変換画像特徴値及び部品画像特徴値に応じて認識に用いる画像を特定するデータから成り、パターンマッチング機能は、部品画像特徴値と変換画像特徴値と画像特定データとに基づいて特定された変換画像データ毎にパターンデータを用いてパターンマッチングを行う、という構成としてもよい。このとき、部品画像特徴値は、彩度や輝度に関するデータである。
【００１７】
これにより、被取付部材の色ばかりでなく、特定部品の色の特徴にも応じて、被取付部材と対象部品とを区別しやすい色相、彩度、輝度のうちいずれかの変換画像データ、あるいは、２つ以上の変換画像データを用いるよう、画像特定データにて特定されているため、パターンマッチング機能にてそのような変換画像データが特定される。そして、画像特定データが特定する変換画像データを用いて、上述同様にパターンマッチングを行うことで、より被取付部材の色の影響を抑制して、対象部品の認識精度の向上を図ることができる。
【００１８】
さらに具体的には、画像処理手段は、変換画像特徴値である彩度のあらかじめ定められたしきい値と、部品画像特徴値である彩度のあらかじめ定められたしきい値とを記憶すると共に、記憶された画像特定データは、変換画像特徴値である彩度が変換画像特徴値に対応するしきい値よりも高く、部品画像特徴値である彩度が部品画像特徴値に対応するしきい値よりも低い場合には、変換画像データのうち彩度データを用いるよう特定するデータである、こととすると望ましい。そして、同様に、画像特定データは、変換画像特徴値である彩度が変換画像特徴値に対応するしきい値よりも高く、部品画像特徴値である彩度が部品画像特徴値に対応するしきい値よりも高い場合には、変換画像データのうち色相データを用いるよう特定する。また、画像特定データは、変換画像特徴値である彩度が変換画像特徴値に対応するしきい値よりも低く、部品画像特徴値である彩度が部品画像特徴値に対応するしきい値よりも高い場合には、変換画像データのうち彩度データを用いるよう特定する。さらには、画像特定データは、変換画像特徴値である彩度が変換画像特徴値に対応するしきい値よりも低く、部品画像特徴値である彩度が部品画像特徴値に対応するしきい値よりも低い場合には、変換画像データのうち輝度データを用いるよう特定する。
【００１９】
このように、画像特定データを特定しておくことで、パターンマッチング処理時に、被取付部材と特定の部品の色に応じて、より認識しやすい変換画像データが自動的に選択されるため、容易に、さらなる認識精度の向上を図ることができる。
【００２０】
また、上記あらゆる構成において、パターンマッチング機能は、画像特定データにて特定された処理対象である変換画像データの濃淡ヒストグラムを作成して当該濃淡ヒストグラムに基づいて二値化しきい値を算出し、当該二値化しきい値にて処理対象である変換画像データを二値化して処理を行う、こととすると望ましい。このとき、画像処理手段は、画像取得手段と被取付部材との位置関係に応じた特定の部品の面積に関するデータを記憶すると共に、パターンマッチング機能は、特定部品の面積データに基づいて二値化しきい値を算出する、こととするとなお望ましい。
【００２１】
これにより、パターンマッチング処理を行う前に、二値化処理により被取付部材と特定の部品とを区別することができ、よりパターンマッチングの精度の向上を図ることができる。
【００２２】
さらに、本発明では、特定の部品が取り付けられる被取付部材を画像取得手段にて撮影して画像データを取得し、当該取得した画像データを画像処理手段にて演算処理することにより、当該画像データ内に特定の部品が存在するか否かを認識する部品認識方法であって、画像処理手段が、画像データを色相，彩度，輝度のデータに変換する画像変換工程と、これら変換画像データ中の特定の部品が取り付けられない箇所としてあらかじめ定められた箇所の所定の範囲について当該変換画像データにおける特徴である変換画像特徴値を算出する画像特徴値算出工程と、この算出された変換画像特徴値と当該変換画像特徴値に応じた使用画像があらかじめ設定されている画像特定データとに基づいて特定された変換画像データにおいて，特定の部品の特徴を表すパターンデータを用いてパターンマッチングを行い，当該マッチングの評価に関するデータをあらかじめ定められた評価基準に基づいて算出するパターンマッチング工程と、当該算出された評価データをあらかじめ定められた許容基準と比較して当該許容基準を満たす場合に特定の部品が存在すると判断する部品認識工程と、を備えたという構成の部品認識方法を提供している。
【００２３】
また、特定の部品が取り付けられる被取付部材を画像取得手段にて撮影して画像データを取得し、当該画像データ内に特定の部品が存在するか否かを認識するよう取得した画像データを演算処理する画像処理手段の動作を制御する部品認識用プログラムであって、画像データを色相，彩度，輝度のデータに変換する画像変換指令と、これら変換画像データ中の特定の部品が取り付けられない箇所としてあらかじめ定められた箇所の所定の範囲について当該変換画像データにおける特徴である変換画像特徴値を算出する画像特徴値算出指令と、この算出された変換画像特徴値と当該変換画像特徴値に応じた使用画像があらかじめ設定されている画像特定データとに基づいて特定された変換画像データにおいて，特定の部品の特徴を表すパターンデータを用いてパターンマッチングを行い，当該マッチングの評価に関するデータをあらかじめ定められた評価基準に基づいて算出するパターンマッチング指令と、当該算出された評価データをあらかじめ定められた許容基準と比較して当該許容基準を満たす場合に特定の部品が存在すると判断する部品認識指令と、を備えた、という構成の部品認識用プログラムを提供している。
【００２４】
このような構成にしても、上述同様の作用・効果を得ることができ、上述した目的を達成することができる。
【００２５】
【発明の実施の形態】
〈第１の実施形態〉
以下、本発明の第１の実施形態を、図１乃至図９を参照して説明する。図１は、本発明の構成の概略を示すブロック図である。図２は、本発明の構成を示す機能ブロック図である。図３乃至図５は、画像処理の様子を示す説明図である。図６は、システムに記憶されているデータの構造を示す説明図である。図７乃至図９は、動作を示すフローチャートである。
【００２６】
（構成）
本実施形態における部品認識システムでは、認識対象である特定の部品が取り付けられる被取付部材は、乗用車などの車両１であり、そして、特定の部品（図示せず）は、製造者やその車種を表示するエンブレム、ヘッドランプやリアコンビネーションランプなどのランプ類、ステッカーなどのデカール類等である。但し、認識対象である部品は上記のものに限定されず、さらには、当該部品が取り付けられる対象物も車両１であることに限定されない。いずれにしても、「物」の外面の撮影可能な位置に製造段階で取り付けられる部品が認識対象であれば、当該部品自体及び被取付部材は限定されない。
【００２７】
図１に示すように、部品認識システムは、認識対象である特定の部品（図示せず）が取り付けられる車両１を撮影して画像データを取得する画像取得手段としてのカメラ２と、当該カメラにて取得した画像データを演算処理する画像処理手段としてのコンピュータ３とを備えている。そして、コンピュータ３を用いて、取り込んだ画像データ内に特定の部品が存在するか否かを認識するというシステムである。以下、これを詳述する。
【００２８】
（車両）
車両１は、上述したように４輪自動車であり、コンベア７の搬送により製造ライン上を移動している。そして、製造ライン上では、当該車両１にヘッドランプ、リアコンビネーションランプ、リアエンブレム、デカール類など、各種部品が備えられ、その最終工程段階に本システムは備えられている。
【００２９】
このとき、コンベア７上には所定の間隔で上方に突出するタイヤストッパ７１が固定されて備えられていて、かかるストッパ７１にいずれかのタイヤ１１を引っかけることにより、車両１がコンベア７により搬送される。なお、図１に示す例では、車両１の前方は矢印Ａ１に示す方向である場合であって、当該矢印Ａ１方向にコンベア７が駆動している場合に、コンベア７上のタイヤストッパ７１は右前方タイヤの後方に位置することにより、車両１は前方（矢印Ａ１）方向に搬送される。
【００３０】
また、上記タイヤストッパ７１が通過したことを検出する通過検出スイッチ６が、コンベア７の横に備えられている。この通過検出スイッチ６は、例えば、タイヤストッパ７１に当接するよう備えられていて、当該ストッパ１７が通過する際にスイッチ６の接触検知部に触れることで当該スイッチ６にて検出される構成である。但し、通過検出スイッチ６はかかる構成に限定されず、タイヤストッパ７１あるいは車両１の通過を検出できるものであればよい。そして、通過検出スイッチ６は上記コンピュータ３に接続されていて、車両１が通過したことを検出した旨の信号を当該コンピュータ３に送信する。かかる検出信号を受けたコンピュータ３は、後述するようにカメラ２にて車両１を撮影するよう指令を出す。
【００３１】
（カメラ）
カメラ１は、カラー画像が取得可能なＣＣＤカメラであり、コンピュータ３にて制御されている。すなわち、コンピュータ３からの撮影指令に応じて画像を取り込み、取り込んだ画像データをコンピュータ３に送信する。なお、後述する例では、総画素数が４００万画素数のカメラを用いるが、当該カメラ２の画素数はこれに限定されない。
【００３２】
また、カメラ２は、図１に示す例は、車両１の前方と後方とを撮影するよう、２台備えられている。そして、これら２台共に、コンピュータ３の指令により撮影するようになっていて、やはり上記通過検出スイッチ６と連動している。例えば、前方のカメラ２は、ヘッドランプが取り付けられているか、あるいは、誤って別仕様のものが取り付けられていないか、ということを認識するための物であり、後方のカメラ２は、リアコンビネーションランプやリアエンブレムの取付状態を認識するものである。
【００３３】
（コンピュータ）
コンピュータ３は、カメラ２による画像の取得状況を制御すると同時に、取得した画像データを演算処理して、当該画像内に特定の部品が存在するか否かを検出するものである。そのハードウェアの構成は、一般的なコンピュータと同様に、所定の演算処理能力を有する演算装置としてのＣＰＵ４と、所定の容量の記憶能力を有する記憶装置５としてのハードディスクやメインメモリとを備えた構成と成っている。また、所定のハードディスクなどの高速に画像処理を行えるよう、大容量の画像処理用のフレームメモリを備えている。さらに、他のコンピュータと相互にデータ通信を可能とする通信装置３１も備えられている。このように、他のコンピュータ３と接続されていることにより、後述するように当該他のコンピュータ３から認識対象の変更指令を受けたり、認識対象のパターンデータの更新などを行うことができる。
【００３４】
コンピュータ３の構成を、図２の機能ブロック図を参照して詳細に説明する。コンピュータ３のＣＰＵ４には、部品認識用プログラムが組み込まれることにより、以下に説明する処理部が構築される。換言すると、各処理部による処理を実現するための指令が記述されたプログラムが組み込まれることにより実現できる。
【００３５】
そして、ＣＰＵ４に構築される各処理部は、カメラ２の画像取込状態を制御する画像取込部４１と、車両１の位置を検出する被写体位置検出部４２と、取り込んだ画像から部品を検出するために必要な部分を切り出す画像切出部４３と、画像を他のデータ形式に変換する画像変換部４４と、変換された画像のうちパターンマッチングに用いる画像を選択する使用画像選択部４５と、特定の部品についてパターンマッチングを行うパターンマッチング部４６と、パターンマッチングの結果、画像内に特定の部品が存在するか否かを判断する部品認識部４７と、である。これら各処理部を詳述すると共に、記憶装置５に記憶されているデータの内容を説明する。なお、図２では一台のコンピュータ３に各処理部及び各記憶部が構築される場合を例示しているが、これら処理部あるいは記憶部は数台のコンピュータに分散して構築されていてもよい。
【００３６】
まず、画像取込部４１は、上述した通過検出スイッチ６から車両１が通過した旨の信号を検出した際に、カメラ２に対して撮影指令を出す。そして、撮影により取得されたカラー画像データをコンピュータ３内に取り込むよう作動する。特に、取り込んだ画像データはＲＧＢデータ（三原色情報（Ｒ：赤、Ｇ：緑、Ｂ：青））から成り、かかる画像はフレームメモリ上に保持される。なお、図４（ａ）に取得した画像データの一例を示すが、後方のカメラ２にて取得した画像データは、車両の後方を写し出す画像となる。また、具体的には、縦１７０４画素、横２２７２画素のデータである。このようにカメラ２と画像取込部４１にて、画像取得手段が構成されている。
【００３７】
続いて、被写体位置検出部４２は、コンベア７上を搬送されてくる車両１の位置、特に、左右の位置は総て同じではなく、一台毎にずれを生じて搬送されてくるため、かかるずれを検出して画像データ上で修正するよう作動する。例えば、取り込み画像データ上の特徴ある部分を検出し、かかる部分の位置を認識することで、当初予定していた位置とのずれを算出する。そして、ずれが生じている場合には、画像データを前後、左右にずれている画素分だけ移動して、修正する。
【００３８】
その具体例を図３を参照して説明する。図３（ａ）は取り込んだ状態の画像を示し、図３（ｂ）は、位置のずれを検出するために用いる基準となる形状を表すデータ（位置基準形状データ）である。なお、この位置基準形状データは、二値画像にて表されていて、車両のリアウインドと車体の繋ぎ目の影になる部分を利用した形状となっている。そして、この位置基準形状データは、コンピュータ３の記憶装置５上の位置基準形状データ記憶部５１にあらかじめ記憶されている。但し、位置基準形状データは、かかる形状に限定されるものではなく、取り込み画像中の特徴ある部分の形状データであればよい。
【００３９】
そして、位置基準形状データに示す形状が、画像データ中のどの位置に存在するかを、パターンマッチング処理により検出する。なお、このとき、パターンマッチングは取り込んだ濃淡画像を用いて行い、そしてパターンマッチングの具体的な手法は、既知の技術を用いることとする。パターンマッチングの結果、特徴部分を検出したときの様子を、図３（ｃ）に示す。この図において、図３（ｂ）に示す形状（位置基準形状）と同一の形状を表す点線に示すように、位置基準形状データに表された形状の位置が検出されると、さらにある特定の位置の座標（位置補正特徴点）が調べられ、あらかじめ定められた基準座標とのずれを算出する。例えば、位置補正特徴点を位置基準形状の情報にある矩形の左下の頂点としたとき、マッチングの結果、当該特徴点が上記基準座標に対して横に１０画素、縦に７画素ずれていると検出された場合には、かかる画素ずつ、取り込んだ画像データをずらして再形成する。このようにすることで、特定の部品を含む範囲を確実に切り出すことができ、認識精度の低下を抑制することができる。
【００４０】
また、画像切出部４３は、認識すべき部品が取り付けられているであろう範囲の画像を切り出すよう作動する。その様子を図４に示す。なお、切り出す範囲を指定する座標や面積に関するデータはカメラ２と車両１の位置関係によって異なるため、撮影して画面上に表示される大きさを考慮してあらかじめ実験などにより設定したデータが記憶装置に記憶されている。また、認識すべき部品が取り付けられ得る位置も考慮されて設定されている。
【００４１】
具体的には、まず、図４（ａ）に示すように、取り込んだ状態の画像データの右半分を点線に示すように切り出す。そして、図４（ｂ）▲１▼に示すよう切り出した画像から、さらにあらかじめ定められた切り出し範囲の画像を、図４（ｂ）▲２▼、▲３▼、▲４▼に示すよう、それぞれ切り出す（矢印Ａ２，３，４参照）。なお、▲２▼はリアコンビネーションランプを、▲３▼はリアウインドウに貼られたラベルシールを、▲４▼はリアエンブレム（Ｃａｒ）を、検出するために用いる画像である。このように各部品が取り付けられていると予想される範囲を切り出すことで、処理すべき画像データ量の削減を図ることができ、処理時間の短縮化、及び、認識精度の向上を図ることができる。なお、以後の処理は、認識対象とする部品に対応した画像データそれぞれについて行われることとなる。
【００４２】
画像変換部４４は、取り込んだカラー画像データであるＲＧＢデータを、色相（Ｈ：色の種類に関する分類を示す値），彩度（Ｓ：色の鮮やかさの程度），輝度（Ｉ：色の明るさの程度）のデータに変換する画像変換（ＨＳＩ変換）機能として作動する。例えば、リアエンブレムを検出する処理を行う場合には、図４（ｂ）▲４▼の画像データをＨＳＩ変換する。従って、３つの変換画像データが形成されることとなるが、これらはそれぞれメインメモリ上に保持される。そして、これらの変換画像データのうち、いずれの画像データが認識処理に用いられるかが、使用画像選択部４５にて判断される。
【００４３】
なお、変換された画像の一例を、図５に示す。図５（ａ）はカラー画像データを切り出した状態の原画像であり、図５（ｂ）は色相画像、図５（ｃ）は彩度画像、図５（ｄ）は輝度画像に、上記図５（ａ）に示す原画像をそれぞれ変換した画像である。
【００４４】
そして、使用画像選択部４５は、上記変換画像データ中の特定の部品が取り付けられない箇所としてあらかじめ定められた箇所の所定の範囲について当該変換画像データにおける特徴である変換画像特徴値を算出する画像特徴値算出機能として作動すると共に、この変換画像特徴値に応じて実際に部品認識処理を行うために使用する変換画像を選択するよう作動する。
【００４５】
具体的には、あらかじめ認識対象である部品が取り付けられていない車両１の塗装面が写し出される座標及び範囲が定められていて、コンピュータ３の記憶装置５に記憶されている。そして、これらのデータにて指定された範囲の画像上の特徴を算出する。このとき、算出する変換画像特徴値とは、当該範囲における彩度の平均値や分散値、さらには、輝度の平均値や分散値である。なお、算出した変換画像特徴値のうち特に彩度及び輝度の平均値を画像選択時に用いるが、分散値はかかる彩度及び輝度が、測定した塗装面の範囲において全体的に一様であるのか、あるいは、ムラがあるのか、ということを判断することに用いる。従って、彩度あるいは輝度の分散値が大きい場合にはかかる塗装面の範囲にムラがあるため、正確な彩度あるいは輝度の平均値が算出できていないと判断し、測定範囲を別の範囲に移行して変換画像特徴値の算出処理を再度行うよう使用画像選択部４５は作動する。一方、分散値があらかじめ定められた範囲内に収まっていれば、そのときの平均値を変換画像特徴値として取り扱う。
【００４６】
また、上記使用画像選択部４５にて用いられるデータとして、認識すべき部品を撮影して画像データとして取り込んだときの当該画像上の特徴値（部品画像特徴値）がある。この部品画像特徴値としては、例えば、上記変換画像特徴値と同様に、彩度の平均値や分散値、さらには、輝度の平均値や分散値である。かかるデータは、あらかじめ測定されて設定されており、コンピュータ３の記憶装置５の認識対象物データ記憶部５３に記憶されている。
【００４７】
また、上記部品画像特徴値と、上述した変換画像特徴値とに基づく、最適な使用画像を特定する画像特定データが、同様に認識対象物データ記憶部５３に記憶されている。ここで、画像特定データについて、図６を参照して説明する。図６は、画像特定データのデータ構造を模式的に示したものであり、このような表に表されるデータが記憶されていることを示している。
【００４８】
本実施形態における画像特定データは、上述した変換画像特徴値と、部品画像特徴値とのマトリックスになっていて、それぞれの値に応じて使用する変換画像を指定している、というものである。このとき、変換画像特徴値及び部品画像特徴値は、それぞれの特定の範囲における彩度の平均値、輝度の平均値である。具体的には、変換画像特徴値は特定範囲が車両１の塗装面が位置する箇所に設定されているので、塗装面の彩度等であり、部品画像特徴値は、部品をあらかじめ撮影したときの彩度等である。そして、かかる値が、あらかじめ設定されたしきい値以上か、あるいは、当該しきい値よりも低いかによって使用画像が異なる。すなわち、コンピュータ３の記憶装置５には、図示しないが、算出した各特徴値の高低を判定する基準となるしきい値が記憶されている。これら各しきい値は、後述するパターンマッチング処理にて認識しやすいと実験により設定された値である。
【００４９】
そして、図６では、符号Ｈ，Ｉ，Ｓはそれぞれ使用する画像を表している。Ｈは色相画像、Ｉは輝度画像、Ｓは彩度画像を示している。例えば、塗装色の彩度が高く、かつ、輝度が高い場合であって、部品の彩度が高く、輝度が高い場合には、色相画像（Ｈ）を用いて、後のパターンマッチング処理を行うこととなる。
【００５０】
このとき、画像特徴データは、特に塗装色及び部品の輝度が低い場合であって、塗装色の彩度がしきい値よりも高くかつ部品の彩度がしきい値よりも低い場合に彩度画像を用い、また、塗装色の彩度が高くかつ部品の彩度が高い場合には色相データを用い、塗装色の彩度が低くかつ部品の彩度が高い場合には、彩度データを用いるよう設定しておくとよい。また、特に塗装色あるいは部品のいずれかの輝度が低い場合であって、塗装色の彩度が低くかつ部品の彩度が低い場合には輝度データを用いるよう設定しておくよい。このようにすることで、車両１の塗装色や部品の特性に応じて、パターンマッチングに適切な画像を自動的に選択することで、より精度のよいパターンマッチング結果が得られる。
【００５１】
ちなみに、塗装色あるいは部品の彩度が高く、かつ、輝度が高い場合には（図６の網掛け表示部分）、比較的認識しづらいと実験にて判断されているため、複数の変換画像データを使用するよう指定する指示としてもよい。さらに、塗装色及び部品の彩度が低い場合であって、かつ、共に輝度が高い場合、あるいは、共に低い場合には（図６の符号Ｃ（斜線表示部分））、さらに認識が困難となるので、２つの変換画像を用いてもよく、３つの変換画像を総て使用してもよい。但し、使用画像の指定は上記のものに限定されるものではない。
【００５２】
なお、上記使用画像選択部４５による変換画像特徴値の算出は、切り出した画像に対して行われる場合を例示したが、取り込まれた画像データからかかる特徴値を算出してもよい。かかる場合には、被写体位置検出部４２などによる処理と並列して使用画像の選択処理が行われるため、使用するコンピュータ３のＣＰＵが並列処理に適している場合には、かかる構成も有効である。
【００５３】
ここで、あらかじめ塗装色がわかっている車両１に対して処理を行う際には、かかる塗装色の特徴値、すなわち、上記変換画像特徴値が測定されて記憶装置５に記憶されている。従って、上記使用画像選択部４５では、かかる特徴値を読み出して使用画像の選択処理を行ってもよい。また、部品画像特徴値は必ずしもあらかじめ測定されて記憶されていることに限定されない。従って、塗装色の特徴値である変換画像特徴値に応じて、使用画像を特定してもよい。なお、かかる場合には、画像特定データは、変換画像特徴値にのみ応じて使用画像を特定するデータとして構成されている。
【００５４】
上述したように、使用画像選択部４５にて変換画像データに基づいて使用する変換画像が選択されると、かかる選択画像に対してパターンマッチング部４６にてパターンマッチングが行われる。パターンマッチング部４６では、特定された変換画像データにおいてパターンデータを用いてパターンマッチングを行い当該マッチングの評価に関するデータをあらかじめ定められた評価基準に基づいて算出するよう作動する。
【００５５】
パターンマッチングを行うために、まず、コンピュータ３の記憶装置５（ハードディスクやメインメモリ）内の画像特定データ記憶部５２には、検出対象である特定の部品の特徴を表すパターンデータが記憶されている。このパターンデータは、あらかじめ部品を撮影してその画像データから当該部品の特徴値を算出したものである。例えば、部品の面積や、形状の特徴を表すテンプレートデータから成る。
【００５６】
そして、上記パターンデータを用いてパターンマッチングを行うわけであるが、その前に、処理対象として選択された変換画像を二値化する。この二値化処理を行う際のしきい値は、あらかじめ車両１の塗装色と認識対象である部品との彩度や輝度などを考慮して設定しておき、コンピュータ３に記憶しておいてもよく、あるいは、使用する変換画像データにおいて濃淡ヒストグラムを作成し、当該濃淡ヒストグラムに基づいて二値化しきい値を算出してこれを用いてもよい。しきい値を算出する場合には、単に濃淡ヒストグラムの谷間となる値を選定してもよく、また、あらかじめ撮影状況に応じた部品の面積に関するデータを記憶しておき、当該面積データに基づいてしきい値を設定してもよい。面積データは、実際の面積ではなく、カメラ２とコンベア７上の車両１との距離に応じて変化するため、これを考慮して画素数で表したものを設定しておく。そして、ヒストグラムにおいて、ある階調値よりも上あるいは下に存在する画素数が部品の面積と一致する場合に、かかる階調値をしきい値と設定する。ここで、図５（ｅ），（ｆ）に、所定のしきい値にて二値化した画像の一例を示す。図５（ｅ）は彩度画像を、図５（ｆ）は輝度画像を二値化した際の画像である。なお、二値化処理はパターンマッチングの精度向上のために行う処理であって、必ずしも行われるわけではない。また、パターンマッチング前にエッジ処理が行われてもよい。
【００５７】
そして、パターンマッチングが行われると、パターンマッチングによる評価値が算出される。このとき、パターンマッチングは、例えばテンプレートとの差分を取ることにより行われ、その一致する画素数の数に対応した評価値が算出される。従って、かかる例では、テンプレートに一致する画素を評価値とするという基準が評価基準となり、一致すればするほど評価値が高くなるというものである。但し、パターンマッチングの手法及びその評価値の算出手法（評価基準）は上記のものに限定されない。そして、これらの手法は一般的に行われている手法を用いることとするため、さらなる詳細な説明は省略する。例えば、「ＭＶＴｅｃ社（独）ＨＡＬＣＯＮ ｖｅｒ．６．１」の市販ライブラリを用いる。
【００５８】
このように評価値が算出されると、部品認識部４７にて評価値の妥当性が判断される。すなわち、部品認識部４７は、算出された評価値をあらかじめ定められた許容基準と比較して当該許容基準を満たす場合に特定の部品が存在すると判断するよう作動する。従って、許容基準となる許容評価値がコンピュータ３の許容評価値記憶部５４に記憶されている。この許容評価値は、あらかじめ実験などにより特定の部品が存在すると判断できると定めた評価値である。但し、この許容評価値は、上記算出した評価値の態様に応じて、最高値である場合もあり、また、マッチングによる評価が「数値」でなければ当該許容評価値もそれに応じたデータとなる。
【００５９】
ここで、上記使用画像選択部４５にて、画像特定データに基づいて２以上の使用変換画像が選択された場合には、パターンマッチング部４６では、各特定された変換画像毎に上述したようにパターンマッチングを行い、当該マッチングによりあらかじめ定められた評価基準に基づいてそれぞれ評価値を算出する。そして、算出された各評価値はそれぞれメモリ上に保持され、部品認識部４７に渡される。
【００６０】
その後、部品認識部４７では、２以上の評価値が算出された場合には、そのうち最も高い評価値を選択して、上述したように許容基準値と比較する。このとき、評価値が高い方がパターンと一致していると判断するよう設定されている場合には、評価値が高い方が選択されるよう作動する。逆に、評価値が低い方が一致していると判断するよう設定されている場合には当該評価値が低い方が選択される。
【００６１】
そして、算出された評価値が許容評価値を満たしている場合には、正しい部品が取り付けられていると判断し、満たしていない場合には、誤った部品が取り付けられているか、あるいは部品自体が取り付けられていないと判断して、その旨を通信装置３１を介して管理者の端末（図示せず）に通知したり、ラインを制御するコンピュータ（図示せず）に通知する。
【００６２】
ここで、画像処理手段であるコンピュータ３は、通信装置３１を介して他のコンピュータ（図示せず）に接続されているが、他のコンピュータから認識対象を変更する指令を受ける。例えば、他のコンピュータは製造ラインの作動状況を管理する管理者の端末であり、当該管理者からの入力指示により、その旨の情報がコンピュータ３に送信される。例えば、ラインを流れる製造物である車両１の車種が変わり、認識する部品も変更する場合には、車両１の位置を検出するために用いる位置基準形状データや、部品自体のパターンデータも変更しうる。従って、新しい位置基準形状データやパターンデータが通信装置３１を介して受信され、各記憶部５１，５３に記憶される。その後は、かかるデータに基づいて、部品認識処理が実行される。
【００６３】
（動作）
次に、本実施形態における部品認識システムの動作を、図７乃至図９のフローチャートを参照して説明する。なお、以下に示す動作は、コンピュータ３の動作である。
【００６４】
まず、通過検出スイッチ６からの信号を監視することにより（ステップＳ１）、車両１がコンベア７を通過した旨を検知した場合には（ステップＳ１で肯定判断）、カメラ２に撮影指示を出し、車両１を撮影したカラー画像データを取り込む（ステップＳ２）。
【００６５】
続いて、記憶装置５から位置基準形状データを読み出し（ステップＳ３）、当該位置基準データとのマッチングにより、位置基準形状が存在する位置を特定する（ステップＳ４）。このとき、当該形状のうち、さらに特徴のある箇所の座標を検出する。そして、検出した座標と、あらかじめ設定されている基準位置形状の特定の座標とを比較して、実際にコンベア７上を流れる車両１の位置のずれ量を算出する（ステップＳ５）。
【００６６】
続いて、算出したずれ量分だけ、取り込んだ画像データの位置を全体的にずらし、位置を補正する（ステップＳ６）。そして、位置を補正した画像データの特定範囲を切り出し（ステップＳ７）、それぞれの画像を一時的に保存して、以後の部品認識処理に用いる（符号Ａ）。
【００６７】
続いて、特定の部品を検出する対象となる切り出し画像を、ＲＧＢデータからＨＳＩデータに変換して、それぞれの変換画像データを得る（ステップＳ１１、画像変換工程）。このとき、塗装色が既知であるか否かを表すフラグを読み出し、かかるフラグの値に応じて塗装色が既知であるか否かを判断する（ステップＳ１２）。なお、かかるフラグは、あらかじめ管理者などによりコンピュータ３に入力されている。また、塗装色が既知である場合には、かかる塗装色の彩度や輝度なども、あらかじめ管理者などによりコンピュータ３に入力され記憶されている。
【００６８】
そして、塗装色が既知である場合には（ステップＳ１２にて肯定判断）、塗装色の特徴値（変換画像特徴値）である彩度などのデータを記憶装置５から読み出す（ステップＳ１３）。一方、塗装色が不明である場合には（ステップＳ１２にて否定判断）、あらかじめ定められた塗装面が写っているであろう範囲を指定するデータを読み出して、かかる範囲の彩度や輝度などの特徴値（変換画像特徴値）を算出する（ステップＳ１４、画像特徴値算出工程）。
【００６９】
続いて、あらかじめ記憶されている部品の彩度や輝度を表す部品特徴値と、使用する変換画像を特定する画像特定データとを読み出す（ステップＳ１５）。そして、上記ステップＳ１３にて読み出したあるいはステップＳ１４で算出した変換画像特徴値と、ステップＳ１５で読み出した部品特徴値とを用いて、同じくステップＳ１５で読み出した画像特定データを参照して使用する画像を選択する（ステップＳ１６）。
【００７０】
使用する変換画像が選択されたら、かかる画像のヒストグラムからしきい値を算出したり、あらかじめ定められているしきい値を読み出し、かかるしきい値を用いて選択画像を二値化する（ステップＳ１７）。そして、検出する特定の部品に関するパターンデータを読み出して（ステップＳ１８）、二値化画像に対してパターンマッチングを行い、評価値を算出する（ステップＳ１９、パターンマッチング工程）。その後、ステップＳ１６にて使用する変換画像が２以上指定されているか否かを調べ、他の使用画像に対してパターンマッチングを行っていない画像が存在する場合には（ステップＳ２０）、かかる使用画像に対してパターンマッチングを行い、評価値を算出する（ステップＳ１９に戻る）。そして、総ての使用画像に対してパターンマッチング、及び、評価値の算出が終了したら、符号Ｂに進む。
【００７１】
続いて、算出された評価値が複数あるか否かを調べ（ステップＳ２１）、複数ある場合には（ステップＳ２１にて肯定判断）、これら評価値のうち、値が高いものを選択する（ステップＳ２２）。一方、評価値が一つしかない場合には（ステップＳ２１にて否定判断）、かかる評価値を用いる。
【００７２】
そして、許容評価値を読み出して（ステップＳ２３）、当該許容評価値と選択した評価値あるいは一つしかない評価値とを比較する（ステップＳ２４）。評価値が許容評価値の値以上である場合には（ステップＳ２４にて肯定判断）、かかる画像内に検出対象である特定の部品があると認識し（ステップＳ２５、部品認識工程）、許容評価値よりも小さい場合には（ステップＳ２４にて否定判断）、かかる特定部品が存在しないと判断する（ステップＳ２６）。
【００７３】
その後、認識結果を他のコンピュータなどに送信する（ステップＳ２６）。かかるコンピュータが管理者端末である場合には、部品の取付の誤りを迅速に認識することができ、これに対する措置を迅速に採ることができる。
【００７４】
このようにすることにより、特定の部品が取り付けられる車両１の塗装面の色と部品の色との関係によって、画像から部品を特定することが困難であっても、色相、彩度、輝度に変換した画像のいずれかを用いることで、外装部品の有無、種別を容易かつ精度よく識別することができる。従って、外装部品の付け忘れ、あるいは、種別の誤りを抑制でき、製造物の高品質化を図ることができる。
【００７５】
〈第２の実施形態〉
次に、本発明の第２の実施形態について、図１０乃至図１１を参照して説明する。図１０は、本実施形態におけるシステムの構成を示す機能ブロック図である。図１１は、動作を示すフローチャートである。
【００７６】
（構成）
本実施形態における部品認識システムは、上述した第１の実施形態とほぼ同様の構成となっている。但し、以下の点が異なる。
【００７７】
まず、図１０に示すように、コンピュータ１３０の記憶装置１５０には、図１に示す画像特定データ記憶部５２が構成されていない。すなわち、画像特定データが用意されていない。また、図１の認識対象物データ記憶部５３に代わってパターンデータ記憶部１５３が構成されている。このパターンデータ記憶部１５３に記憶されているデータは、上述した認識対象物データ記憶部５３内のパターンデータと同様に認識対象となりうる部品の特徴を表すパターンデータが記憶されているというものである。逆に言えば、認識対象物データ記憶部５３に記憶されていた部品特徴値データは本実施形態では記憶されていない。従って、そもそも画像特定データが用意されていないことから、変換画像特徴値や部品特徴値から、パターンマッチングに使用する画像を選択しない構成となっている。
【００７８】
このため、ＣＰＵ１４０には使用画像選択部４５が構築さておらず、パターンマッチング部１４６は以下のように作動する。なお、他の処理部（画像取込部１４１、被写体位置検出部１４２、画像切出部１４３、画像変換部１４４、部品認識部１４７）は、第１の実施形態にて説明したよう作動する。ここで、ＣＰＵ１４０に構築される各処理部は、かかる処理を実現するための指令が記述されたプログラムが組み込まれることにより実現できる。
【００７９】
パターンマッチング部１４６は、取り込み画像に前処理が施され、画像変換部１４４にてＨＳＩ変換された各変換画像（Ｈ：色相画像、Ｓ：彩度画像、Ｉ：輝度画像）について、それぞれパターンデータマッチングを行う。この際、パターンデータは、記憶装置１５０であるハードディスクやメインメモリ内のパターンデータ記憶部１５３から読み出す。そして、パターンマッチングを行うと共に、それぞれのマッチング結果である評価値を算出する。従って、ＨＩＳ総ての変換画像に対応して、３つの評価値が算出されることとなる。
【００８０】
そして、部品認識部１４７は、まず３つの評価のうちから最も高い値の評価値を選択する。そして、記憶装置１５０の許容評価値記憶部１５４から許容評価値を読み出し、選択された評価値と比較する。その結果、許容評価値以上の値である場合には、認識対象である特定の部品が取り付けられていると認識し、その旨をホストコンピュータなどに通知したり、自己のディスプレイに表示する。
【００８１】
なお、評価値を選択する判断基準は、最も高い値を選択することに限定されない。評価値の算出手法に対応して、かかる評価値のうち、最も評価がよいと判断される値を選択する。
【００８２】
（動作）
次に、第２の実施形態における動作を、図１１のフローチャートを参照して説明する。まず、上述したように車両１のカラー画像を取り込み（ステップＳ１０１）、取り込んだ画像データに対して前処理として位置補正や画像の切り出し処理を行う（ステップＳ１０２）。そして、切り出し画像に対してＨＳＩ変換を行い（ステップＳ１０３）、色相画像、彩度画像、輝度画像を得る。なお、これまでの処理は、上記第１の実施形態において説明した図７、図８に示すステップＳ１〜ステップＳ１１までの処理と同様なので、その詳細な説明は省略する。
【００８３】
続いて、個々の変換画像に対してパターンマッチングを行い、評価値を算出する。すなわち、まず、色相画像において二値化処理などを施した後にパターンマッチングを行って評価値を算出し（ステップＳ１０４）、その後、別の変換画像のうちパターンマッチングを行っていない画像である彩度画像においても二値化後パターンマッチングを行って評価値を算出する（ステップＳ１０５にて肯定判断の後、ステップＳ１０４に戻る）。同様に、輝度画像についても評価値の算出を行う。
【００８４】
そして、総ての変換画像の処理が終わると（ステップＳ１０５にて否定判断）、３つの評価値が算出されることとなるが、これらのうち最も高い評価が得られたデータを選択する。例えば、評価値の算出がパターンと一致していればしているほどその値が高くなるような基準にて算出される場合には、評価値のうち最も高い値を選択するよう作動する（ステップＳ１０６）。
【００８５】
そして、この選択された最高評価値と、記憶装置に記憶されている許容評価値とを比較して（ステップＳ１０７）、評価値が許容評価値の値以上である場合には（ステップＳ１０７にて肯定判断）、かかる画像内に対象部品があると認識し（ステップＳ１０８）、許容評価値よりも小さい場合には（ステップＳ１０７にて否定判断）、かかる対照部品が存在しないと判断する（ステップＳ１０９）。その後、認識結果をホストコンピュータなどの他のコンピュータに送信する（ステップＳ１１０）。
【００８６】
このようにすることにより、対照部品が取り付けられ得る車両１の塗装色がいかなる色であるかを考慮することなく、また、それを検出する処理を行うこともなく、色相、彩度、輝度の変換画像のいずれかを用いることで、外装部品の有無、種類を容易に識別することができる。
【００８７】
【発明の効果】
本発明は、以上のように構成され機能するので、これによると、ＲＧＢカラー画像データを色相データ、彩度データ、輝度データに変換処理して、かかる画像毎にパターンマッチングを行うと共に評価値を算出し、そのうち最も高い評価を得られた値を用いて認識対象部品が画像中に存在するか否か、すなわち、被取付部材に対照部品が正確に取り付けられているか否かを判断することができるため、被取付部材の色がいかなる色であるかに関わらず、外装部品の有無、種類を容易に識別することができる、という優れた効果を有する。
【００８８】
また、被取付部材の部品が取り付けられる面の画像特徴に応じて、部品認識処理に用いる変換画像を特定する構成とすることにより、認識精度の向上を図ることができると共に、処理画像数が少なくなるため、認識処理の迅速化を図ることができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態における構成の概略を示すブロック図である。
【図２】本発明の第１の実施形態における構成を示す機能ブロック図である。
【図３】図３は、画像処理の様子を示す説明図である。図３（ａ）は、取り込み画像データを示し、図３（ｂ）は位置基準形状データを示す。図３（ｃ）は位置基準形状を検索したときの様子を示す。
【図４】図４は、画像処理の様子を示す説明図である。図４（ａ）は切り出し範囲を示し、この画像からのさらなる切り出し範囲を図４（ｂ）▲１▼に示す。そして、この図からそれぞれ切り出した画像を図４（ｂ）▲２▼〜▲４▼に示す。
【図５】図５は、画像処理の様子を示す説明図である。図５（ａ）は取得した画像データから部品が取り付けられている箇所を切り出したものである。図５（ｂ）は色相画像に、図５（ｃ）は彩度画像に、図５（ｄ）は輝度画像に、図５（ａ）をそれぞれ変換したものである。図５（ｅ）は図５（ｃ）に示す画像を二値化したものであり、図５（ｆ）は図５（ｄ）に示す画像を二値化したものである。
【図６】画像特定データの構成を示す図である。
【図７】第１の実施形態における動作を示すフローチャートである。
【図８】第１の実施形態における動作を示すフローチャートであり、図７の続きを示すものである。
【図９】第１の実施形態における動作を示すフローチャートであり、図８の続きを示すものである。
【図１０】本発明の第２の実施形態における構成を示す機能ブロック図である。
【図１１】第２の実施形態における動作を示すフローチャートである。
【符号の説明】
１ 車両（被取付部材）
２ カメラ（画像取得手段）
３ コンピュータ（画像処理手段）
４ ＣＰＵ
５ 記憶装置
６ 通過検出スイッチ
７ コンベア
４１ 画像取込部
４２ 被写体位置検出部
４３ 画像切出部
４４ 画像変換部
４５ 使用画像選択部
４６ パターンマッチング部
４７ 部品認識部
５１ 位置基準形状データ記憶部
５２ 画像特定データ記憶部
５３ 認識対象物データ記憶部
５４ 許容評価値記憶部

Claims (16)

1. 特定の部品が取り付けられる被取付部材を撮影して画像データを取得する画像取得手段と、前記取得した画像データを演算処理する画像処理手段とを備え、
   この画像処理手段にて、前記画像データ内に前記特定の部品が存在するか否かを認識する部品認識システムであって、
   前記画像処理手段が、前記特定の部品の特徴を表すパターンデータを記憶すると共に、
   前記画像データを色相，彩度，輝度のデータに変換する画像変換機能と、前記各変換画像データ毎に前記パターンデータを用いてパターンマッチングを行い当該マッチングの評価に関するデータをあらかじめ定められた評価基準に基づいてそれぞれ算出するパターンマッチング機能と、これら算出された評価データのうち最も高い評価であると判断されたデータをあらかじめ定められた許容基準と比較して当該許容基準を満たす場合に前記特定の部品が存在すると判断する部品認識機能と、を備えたことを特徴とする部品認識システム。
2. 特定の部品が取り付けられる被取付部材を撮影して画像データを取得する画像取得手段と、前記取得した画像データを演算処理する画像処理手段とを備え、
   この画像処理手段にて、前記画像データ内に前記特定の部品が存在するか否かを認識する部品認識システムであって、
   前記画像処理手段が、前記被取付部材の既知である色に応じてあらかじめ設定された使用画像を特定する画像特定データと、前記特定の部品の特徴を表すパターンデータとを記憶すると共に、
   前記画像データを色相，彩度，輝度のデータに変換する画像変換機能と、前記各変換画像データのうち前記画像特定データに基づいて特定された変換画像データにおいて前記パターンデータを用いてパターンマッチングを行い当該マッチングの評価に関するデータをあらかじめ定められた評価基準に基づいて算出するパターンマッチング機能と、当該算出された評価データをあらかじめ定められた許容基準と比較して当該許容基準を満たす場合に前記特定の部品が存在すると判断する部品認識機能と、を備えたことを特徴とする部品認識システム。
3. 前記画像特定データは、前記被取付部材の既知である色に応じてあらかじめ設定された２以上の使用画像を特定するデータから成り、
   前記パターンマッチング機能は、前記画像特定データにて特定された各変換画像データ毎にパターンマッチングを行い前記評価データをそれぞれ算出し、前記部品認識機能は、これら算出された評価データのうち最も高い評価であるデータをあらかじめ定められた許容基準と比較して当該許容基準を満たす場合に前記特定の部品が存在すると判断する、ことを特徴とする請求項２記載の部品認識システム。
4. 特定の部品が取り付けられる被取付部材を撮影して画像データを取得する画像取得手段と、前記取得した画像データを演算処理する画像処理手段とを備え、
   この画像処理手段にて、前記画像データ内に前記特定の部品が存在するか否かを認識する部品認識システムであって、
   前記画像処理手段が、前記取得した画像データの特徴に応じて使用画像を特定する画像特定データと、前記特定の部品の特徴を表すパターンデータとを記憶すると共に、
   前記画像データを色相，彩度，輝度のデータに変換する画像変換機能と、これら変換画像データ中の前記特定の部品が取り付けられない箇所としてあらかじめ定められた箇所の所定の範囲について当該変換画像データにおける特徴である変換画像特徴値を算出する画像特徴値算出機能と、この算出された変換画像特徴値と前記画像特定データとに基づいて特定された前記変換画像データにおいて前記パターンデータを用いてパターンマッチングを行い当該マッチングの評価に関するデータをあらかじめ定められた評価基準に基づいて算出するパターンマッチング機能と、当該算出された評価データをあらかじめ定められた許容基準と比較して当該許容基準を満たす場合に前記特定の部品が存在すると判断する部品認識機能と、を備えたことを特徴とする部品認識システム。
5. 前記画像特定データは、前記変換画像特徴値に応じて２以上の使用画像を特定するデータから成り、
   前記パターンマッチング機能は、前記変換画像特徴値と前記画像特定データとに基づいて特定された２以上の変換画像データ毎にパターンマッチングを行い当該マッチングによりあらかじめ定められた評価基準に基づいてそれぞれ評価データを算出し、前記部品認識機能は、これら算出された評価データのうち最も高い評価であるデータをあらかじめ定められた許容基準と比較して当該許容基準を満たす場合に前記特定の部品が存在すると判断する、ことを特徴とする請求項４記載の部品認識システム。
6. 前記変換画像特徴値は、彩度に関する値であることを特徴とする請求項４又は５記載の部品認識システム。
7. 前記画像処理手段は、前記特定の部品を撮影した際における画像上の特徴を部品画像特徴値として記憶すると共に、前記記憶されている画像特定データは、前記変換画像特徴値及び前記部品画像特徴値に応じて認識に用いる画像を特定するデータから成り、
   前記パターンマッチング機能は、前記部品画像特徴値と前記前記変換画像特徴値と前記画像特定データとに基づいて特定された変換画像データ毎に前記パターンデータを用いてパターンマッチングを行う、ことを特徴とする請求項４，５又は６記載の部品認識システム。
8. 前記部品画像特徴値は、彩度に関するデータであることを特徴とする請求項７記載の部品認識システム。
9. 前記画像処理手段は、前記変換画像特徴値である彩度のあらかじめ定められたしきい値と、前記部品画像特徴値である彩度のあらかじめ定められたしきい値とを記憶すると共に、
   前記記憶された前記画像特定データは、前記変換画像特徴値である彩度が前記変換画像特徴値に対応するしきい値よりも高く、前記部品画像特徴値である彩度が前記部品画像特徴値に対応するしきい値よりも低い場合には、前記変換画像データのうち彩度データを用いるよう特定するデータであることを特徴とする請求項８記載の部品認識システム。
10. 前記画像処理手段は、前記変換画像特徴値である彩度のあらかじめ定められたしきい値と、前記部品画像特徴値である彩度のあらかじめ定められたしきい値とを記憶すると共に、
    前記記憶された前記画像特定データは、前記変換画像特徴値である彩度が前記変換画像特徴値に対応するしきい値よりも高く、前記部品画像特徴値である彩度が前記部品画像特徴値に対応するしきい値よりも高い場合には、前記変換画像データのうち色相データを用いるよう特定するデータであることを特徴とする請求項８又は９記載の部品認識システム。
11. 前記画像処理手段は、前記変換画像特徴値である彩度のあらかじめ定められたしきい値と、前記部品画像特徴値である彩度のあらかじめ定められたしきい値とを記憶すると共に、
    前記記憶された前記画像特定データは、前記変換画像特徴値である彩度が前記変換画像特徴値に対応するしきい値よりも低く、前記部品画像特徴値である彩度が前記部品画像特徴値に対応するしきい値よりも高い場合には、前記変換画像データのうち彩度データを用いるよう特定するデータであることを特徴とする請求項８，９又は１０記載の部品認識システム。
12. 前記画像処理手段は、前記変換画像特徴値である彩度のあらかじめ定められたしきい値と、前記部品画像特徴値である彩度のあらかじめ定められたしきい値とを記憶すると共に、
    前記記憶された前記画像特定データは、前記変換画像特徴値である彩度が前記変換画像特徴値に対応するしきい値よりも低く、前記部品画像特徴値である彩度が前記部品画像特徴値に対応するしきい値よりも低い場合には、前記変換画像データのうち輝度データを用いるよう特定するデータであることを特徴とする請求項８，９，１０又は１１記載の部品認識システム。
13. 前記パターンマッチング機能は、前記画像特定データにて特定された処理対象である前記変換画像データの濃淡ヒストグラムを作成して当該濃淡ヒストグラムに基づいて二値化しきい値を算出し、当該二値化しきい値にて前記処理対象である変換画像データを二値化して処理を行う、ことを特徴とする請求項４，５，６，７，８，９，１０，１１又は１２記載の部品認識システム。
14. 前記画像処理手段は、前記画像取得手段と前記被取付部材との位置関係に応じた前記特定の部品の面積に関するデータを記憶すると共に、
    前記パターンマッチング機能は、前記特定部品の面積データに基づいて前記二値化しきい値を算出する、ことを特徴とする請求項１３記載の部品認識システム。
15. 特定の部品が取り付けられる被取付部材を画像取得手段にて撮影して画像データを取得し、当該取得した画像データを画像処理手段にて演算処理することにより、当該画像データ内に前記特定の部品が存在するか否かを認識する部品認識方法であって、
    前記画像処理手段が、前記画像データを色相，彩度，輝度のデータに変換する画像変換工程と、これら変換画像データ中の前記特定の部品が取り付けられない箇所としてあらかじめ定められた箇所の所定の範囲について当該変換画像データにおける特徴である変換画像特徴値を算出する画像特徴値算出工程と、この算出された変換画像特徴値と当該変換画像特徴値に応じた使用画像があらかじめ設定されている画像特定データとに基づいて特定された前記変換画像データにおいて，前記特定の部品の特徴を表すパターンデータを用いてパターンマッチングを行い，当該マッチングの評価に関するデータをあらかじめ定められた評価基準に基づいて算出するパターンマッチング工程と、当該算出された評価データをあらかじめ定められた許容基準と比較して当該許容基準を満たす場合に前記特定の部品が存在すると判断する部品認識工程と、を備えたことを特徴とする部品認識方法。
16. 特定の部品が取り付けられる被取付部材を画像取得手段にて撮影して画像データを取得し、当該画像データ内に前記特定の部品が存在するか否かを認識するよう前記取得した画像データを演算処理する画像処理手段の動作を制御する部品認識用プログラムであって、
    前記画像データを色相，彩度，輝度のデータに変換する画像変換指令と、これら変換画像データ中の前記特定の部品が取り付けられない箇所としてあらかじめ定められた箇所の所定の範囲について当該変換画像データにおける特徴である変換画像特徴値を算出する画像特徴値算出指令と、この算出された変換画像特徴値と当該変換画像特徴値に応じた使用画像があらかじめ設定されている画像特定データとに基づいて特定された前記変換画像データにおいて，前記特定の部品の特徴を表すパターンデータを用いてパターンマッチングを行い，当該マッチングの評価に関するデータをあらかじめ定められた評価基準に基づいて算出するパターンマッチング指令と、当該算出された評価データをあらかじめ定められた許容基準と比較して当該許容基準を満たす場合に前記特定の部品が存在すると判断する部品認識指令と、を備えたことを特徴とする部品認識用プログラム。

Images