JP2023152482A - 検査装置、検査方法及び検査用コンピュータプログラム - Google Patents

Abstract

【課題】検査対象物が表されたカラー画像及び距離画像を用いた検査対象物の検査において、検査精度を向上することが可能な検査装置を提供する。
【解決手段】検査装置は、検査対象物１１が表されたカラー画像及び距離画像のそれぞれを識別器４００に入力することで、所定の検査項目について検査対象物１１が取り得る状態のそれぞれの確からしさを表す識別指標を算出し、識別指標に基づいて検査対象物１１の検査項目についての状態を判定する判定部３２を有する。識別器４００は、入力されたカラー画像に基づいて検査対象物１１の特徴を表す第１の特徴量を算出し、入力された距離画像に基づいて検査対象物１１の特徴を表す第２の特徴量を算出し、第１の特徴量と第２の特徴量を統合した統合特徴量を算出し、統合特徴量に基づいて識別指標を算出する。
【選択図】図４

Description

本発明は、例えば、検査対象物体を表す画像及び距離画像に基づいて検査する検査装置、検査方法及び検査用コンピュータプログラムに関する。

対象物体を検査するために、その対象物体をカメラにより撮影することで得られた二次元のカラー画像と、その対象物体を３Ｄカメラにより撮影することで得られた３Ｄ画像とを用いる技術が提案されている（特許文献１を参照）。

特許文献１に開示された特徴点認識システムは、ワークの第１面の可視光画像と、ワークの第１面の３Ｄ画像を合成して得られた画像を、深層学習されたアルゴリズムに従って演算処理することでワーク内における特徴点の位置情報を出力する。

特開２０２０－１８３８７６号公報

ワークが表された可視光画像と３Ｄ画像の何れか一方のみに基づいてワークが検査される場合、十分な検査精度が得られないことがある。

そこで、本発明は、検査対象物が表されたカラー画像及び距離画像を用いた検査対象物の検査において、検査精度を向上することが可能な検査装置を提供することを目的とする。

一つの実施形態によれば、検査装置が提供される。この検査装置は、検査対象物が表されたカラー画像及びその検査対象物が表された距離画像を識別器に入力することで、所定の検査項目について検査対象物が取り得る状態のそれぞれの確からしさを表す識別指標を算出し、識別指標に基づいて検査対象物の検査項目についての状態を判定する判定部を有する。そして識別器は、入力されたカラー画像に基づいて検査対象物の特徴を表す第１の特徴量を算出する第１の特徴算出部と、入力された距離画像に基づいて検査対象物の特徴を表す第２の特徴量を算出する第２の特徴算出部と、第１の特徴量と第２の特徴量を統合した統合特徴量を算出する統合部と、統合特徴量に基づいて識別指標を算出する識別部とを有する。

この検査装置は、距離画像をカラー化する前処理部をさらに有することが好ましい。

この場合において、識別器の第１の特徴算出部と第２の特徴算出部とは同じ構成を有することが好ましい。

他の実施形態によれば、検査方法が提供される。この検査方法は、検査対象物が表されたカラー画像及びその検査対象物が表された距離画像を識別器に入力することで、所定の検査項目について検査対象物が取り得る状態のそれぞれの確からしさを表す識別指標を算出し、識別指標に基づいて検査対象物の検査項目についての状態を判定する、ことを含む。そして識別器は、入力されたカラー画像に基づいて検査対象物の特徴を表す第１の特徴量を算出し、入力された距離画像に基づいて検査対象物の特徴を表す第２の特徴量を算出し、第１の特徴量と第２の特徴量を統合した統合特徴量を算出し、統合特徴量に基づいて識別指標を算出する。

さらに他の実施形態によれば、検査用コンピュータプログラムが提供される。この検査用コンピュータプログラムは、検査対象物が表されたカラー画像及びその検査対象物が表された距離画像を識別器に入力することで、所定の検査項目について検査対象物が取り得る状態のそれぞれの確からしさを表す識別指標を算出し、識別指標に基づいて検査対象物の検査項目についての状態を判定する、ことをコンピュータに実行させるための命令を含む。そして識別器は、入力されたカラー画像に基づいて検査対象物の特徴を表す第１の特徴量を算出し、入力された距離画像に基づいて検査対象物の特徴を表す第２の特徴量を算出し、第１の特徴量と第２の特徴量を統合した統合特徴量を算出し、統合特徴量に基づいて識別指標を算出する。

本開示によれば、検査装置は、検査対象物が表されたカラー画像及び距離画像を用いた検査対象物の検査において、検査精度を向上することができるという効果を奏する。

一つの実施形態による検査システムの概略構成図である。 本実施形態による検査装置のハードウェア構成図である。 検査処理に関する、プロセッサの機能ブロック図である。 本実施形態で用いられる識別器の概略構成図である。 検査処理の動作フローチャートである。

以下、図を参照しつつ、検査装置、及び、検査装置で実行される検査方法及び検査用コンピュータプログラムについて説明する。この検査装置は、検査対象物が表されたカラー画像及び距離画像のそれぞれを識別器に入力することで、検査対象物の所定の検査項目についての状態を判定する。この検査装置が使用する識別器は、検査対象物が表されたカラー画像から、検査対象物の特徴を表す第１の特徴量を算出する第１の特徴算出部と、検査対象物が表された距離画像から、検査対象物の特徴を表す第２の特徴量を算出する第２の特徴算出部とを有する。さらに、この識別器は、第１の特徴量と第２の特徴量とを統合した統合特徴量を算出する統合部と、統合特徴量に基づいて所定の検査項目に対する検査対象物が取り得る状態ごとの確からしさを表す識別指標を算出する識別部とを有する。そしてこの検査装置は、得られた識別指標に基づいて、検査対象物の所定の検査項目についての状態を判定する。このように、この検査装置は、検査対象物の検査に、その検査対象物が表されたカラー画像と距離画像の２種類の画像のそれぞれから算出された特徴量を統合した結果を使用するので、より精度の高い検査結果を得ることができる。

なお、距離画像は、画素ごとに、その画素に表された物体（本実施形態では、検査対象物の一例であるワーク）の部位までの距離に相当する値を有する画像である。例えば、距離画像では、着目する画素に表された物体の部位までの距離が大きいほど、その画素の値は大きな値となる（すなわち、その画素に表された物体の部位までの距離が大きいほど、その画素は白くなる）。なお、画素ごとに、その画素に表された物体の部位までの距離が大きいほど、その画素の値が小さくなるように距離画像は生成されてもよい。また、検査対象物に対する所定の検査項目は、検査対象物の欠陥の有無の判定、検査対象物が良品か不良品かの判定、あるいは、検査対象物が異物か否かの判定に関するものとすることができる。以下の実施形態では、検査システムにより実施される、検査対象物に対する所定の検査項目は、検査対象物の欠陥の有無の判定のためのものであり、検査対象物が取り得る状態には、欠陥有りに相当する状態と欠陥無しに相当する状態とが含まれる。

図１は、一つの実施形態による、検査装置が実装された検査システムの概略構成図である。検査システム１は、カメラ２と、３Ｄカメラ３と、検査装置４とを有する。カメラ２と３Ｄカメラ３とは、通信回線５を介して検査装置４と通信可能に接続される。そして検査システム１は、ベルトコンベヤ１０により搬送される、検査対象物の一例であるワーク１１の欠陥の有無を判定する。

カメラ２は、撮像部の一例であり、例えば、ベルトコンベヤ１０上を搬送されるワーク１１を上方から撮影可能なように、ベルトコンベヤ１０の上方を跨ぐように設けられた支持部材に対して下方を向くように取り付けられる。なお、カメラ２は、ワーク１１を側面あるいは斜め上方から撮影するように支持部材に取り付けられていてもよい。そしてカメラ２は、その撮影範囲内にワーク１１が搬送されてきたタイミングでワーク１１を撮影することで、ワーク１１が表されたカラー画像を生成する。本実施形態では、カメラ２により生成されるカラー画像は、RGB表色系で表されるものとする。ただし、カメラ２により生成されるカラー画像は、HSV表色系といった他の表色系で表されてもよい。なお、カメラ２の撮影範囲内にワーク１１が搬送されてきたタイミングは、例えば、ベルトコンベヤ１０を制御する制御装置（図示せず）から通信回線５を介して通知される。カメラ２は、ワーク１１が表されたカラー画像を生成する度に、生成したカラー画像を、通信回線５を介して検査装置４へ出力する。

３Ｄカメラ３は、立体撮像部の一例であり、カメラ２により撮影されるワーク１１の面と同じ面を撮影可能なように設置される。３Ｄカメラ３は、例えば、ベルトコンベヤ１０上を搬送されるワーク１１を上方から撮影可能なように、カメラ２が取り付けられた支持部材に対して下方を向くように取り付けられる。また、カメラ２が、ワーク１１を側面あるいは斜め上方から撮影するように支持部材に取り付けられている場合には、３Ｄカメラ３も、カメラ２と同じ方向からワーク１１を撮影するように取り付けられることが好ましい。また、カメラ２及び３Ｄカメラ３がワーク１１を撮影している間、ワーク１１が静止している場合、３Ｄカメラ３は、カメラ２がワーク１１を撮影するタイミングとは異なるタイミングにてワーク１１を撮影してもよい。

３Ｄカメラ３は、距離画像を生成可能な様々な方式の何れかのものとすることができる。例えば、３Ｄカメラ３は、Time of Flight方式のカメラとすることができる。この場合、３Ｄカメラ３は、１回の撮影で距離画像を生成することができる。そのため、３Ｄカメラ３は、その撮影範囲内にワーク１１が搬送されてきたタイミングでワーク１１を１回撮影することで、ワーク１１が表された距離画像を生成する。なお、３Ｄカメラ３の撮影範囲内にワーク１１が搬送されてきたタイミングは、例えば、ベルトコンベヤ１０を制御する制御装置（図示せず）から通信回線５を介して通知される。また、３Ｄカメラ３は、ステレオ方式のカメラであってもよい。３Ｄカメラ３がステレオ方式のカメラである場合、３Ｄカメラ３の撮影範囲内にワーク１１が搬送されてくると、３Ｄカメラ３が有する個々のカメラがそれぞれワーク１１を撮影して画像を生成する。そして個々のカメラにより生成された画像が、通信回線５を介して検査装置４へ出力される。また、カメラ２及び３Ｄカメラ３がワーク１１を撮影している間、ワーク１１が静止しているなら、３Ｄカメラ３は、構造化照明方式のカメラであってもよい。３Ｄカメラ３が構造化照明方式のカメラである場合、３Ｄカメラ３の撮影範囲内にワーク１１が搬送されてくると、３Ｄカメラ３が有する照明光源から発せられる構造化光の位相を変化させながら複数回の撮影が行われて複数の画像が生成される。そしてそれら複数の画像が通信回線５を介して検査装置４へ出力される。

検査装置４は、通信回線５を介してカメラ２及び３Ｄカメラ３と接続される。そして検査装置４は、カメラ２から受信した、ワーク１１が表されたカラー画像、及び、３Ｄカメラ３から受信した、ワーク１１が表された距離画像、あるいはその距離画像を生成するための複数の画像に基づいて、ワーク１１の欠陥の有無を判定する。

図２は、検査装置４のハードウェア構成図である。検査装置４は、通信インターフェース２１と、メモリ２２と、プロセッサ２３とを有する。さらに、検査装置４は、キーボート及び表示装置といったユーザインターフェース（図示せず）を有していてもよい。

通信インターフェース２１は、通信部の一例であり、例えば、検査装置４を通信回線５と接続するための通信インターフェース及び通信回線５を介した信号の送受信に関する処理を実行するための回路を含む。そして通信インターフェース２１は、カメラ２から通信回線５を介してカラー画像を受信して、そのカラー画像をプロセッサ２３へわたす。また、通信インターフェース２１は、３Ｄカメラ３から通信回線５を介して距離画像あるいは距離画像を生成するための複数の画像を受信して、それら画像をプロセッサ２３へわたす。さらに、通信インターフェース２１は、プロセッサ２３から受け取った、ワーク１１の欠陥の有無の判定結果を、通信回線５を介して他の機器（図示せず）へ出力してもよい。

メモリ２２は、記憶部の一例であり、例えば、読み書き可能な半導体メモリと読み出し専用の半導体メモリとを有する。さらに、メモリ２２は、半導体メモリカード、ハードディスク、あるいは光記憶媒体といった記憶媒体及びその記憶媒体にアクセスする装置を有していてもよい。

メモリ２２は、検査装置４のプロセッサ２３で実行される検査処理用のコンピュータプログラム、及び、その検査処理で利用される各種のパラメータ及びデータを記憶する。メモリ２２は、検査処理で利用される各種のパラメータとして、例えば、識別器の構成を規定するパラメータセットを記憶する。さらに、メモリ２２は、ワーク１１が表されたカラー画像及び距離画像（または距離画像を生成するために用いられる複数の画像）を一時的に記憶してもよい。さらにまた、メモリ２２は、ワーク１１の欠陥の有無の判定結果を記憶してもよい。

プロセッサ２３は、処理部の一例であり、例えば、１個または複数個のＣＰＵ及びその周辺回路を有する。プロセッサ２３は、数値演算用の演算回路またはグラフィック処理用の演算回路をさらに有していてもよい。そしてプロセッサ２３は、カメラ２から受信した、ワーク１１が表されたカラー画像をメモリ２２に保存するとともに、３Ｄカメラ３から受信した、ワーク１１が表された距離画像あるいは距離画像生成用の複数の画像をメモリ２２に保存する。さらに、プロセッサ２３は、それらカラー画像及び距離画像に基づいて、ワーク１１に対する検査処理を実行する。

図３は、検査処理に関するプロセッサ２３の機能ブロック図である。プロセッサ２３は、前処理部３１と、判定部３２とを有する。プロセッサ２３が有するこれらの各部は、例えば、プロセッサ２３上で実行されるコンピュータプログラムにより実現される機能モジュールである。あるいは、これらの各部は、プロセッサ２３の一部に実装される専用の演算回路として実装されてもよい。

前処理部３１は、３Ｄカメラ３から、距離画像を生成するための複数の画像が得られている場合には、その複数の画像から距離画像を生成する。

例えば、３Ｄカメラ３がステレオカメラである場合、前処理部３１は、そのステレオカメラが有する個々のカメラにより生成された複数の画像間でステレオマッチングを実行することでワーク１１が表された距離画像を生成する。また、３Ｄカメラ３が構造化照明方式のカメラである場合、前処理部３１は、ワーク１１に投影された構造化光の位相が異なる複数の画像を所定の演算に従って合成することでワーク１１が表された距離画像を生成する。

さらに、前処理部３１は、ワーク１１が表されたカラー画像及び距離画像に対して、第１及び第２の識別器に入力する前の所定の前処理を実行する。例えば、前処理部３１は、カラー画像の各画素の値を次式に従って変換することで、カラー画像を標準化する。
(R - 0.485*255)/(0.299*255)
(G - 0.456*255)/(0.224*255) （１）
(B - 0.406*255)/(0.225*255)
ここで、R,G,Bは、それぞれ、着目する画素における赤色成分、緑色成分、青色成分の値である。なお、標準化前におけるカラー画像の個々の画素の各色成分は、0～255の範囲の何れかの値で表されるものとする。

あるいは、前処理部３１は、カラー画像の各画素の値を次式に従って変換することで、カラー画像を標準化してもよい。
(R -μ_R)/σ_R
(G -μ_G)/σ_G （２）
(B -μ_B)/σ_B
ここで、R,G,Bは、それぞれ、着目する画素における赤色成分、緑色成分、青色成分の値である。また、μ_R,μ_G,μ_Bは、それぞれ、カラー画像全体の赤色成分の平均値、緑色成分の平均値、青色成分の平均値を表す。さらに、σ_R,σ_G,σ_Bは、それぞれ、カラー画像全体の赤色成分の標準偏差、緑色成分の標準偏差、青色成分の標準偏差を表す。

あるいはまた、前処理部３１は、カラー画像の各画素について、その画素の各色成分をその取り得る最大値(この例では、255)で除することで、カラー画像を正規化してもよい。あるいはまた、前処理部３１は、カラー画像の個々の画素の各色成分の値を所定のγ曲線に従って変換することで、カラー画像をコントラスト変換してもよい。さらにまた、前処理部３１は、カラー画像に対して、各色成分のヒストグラムを正規化する処理といった他の前処理を適用してもよい。前処理部３１は、このような前処理をカラー画像に対して適用することで、識別器に入力されるカラー画像のバラツキを軽減することができる。その結果として、前処理部３１は、識別器による、ワーク１１の欠陥の有無の識別精度を間接的に向上させることができる。

前処理部３１は、距離画像に対して、所定のカラー化処理を適用することで、距離画像をカラー化する。前処理部３１は、そのようなカラー化処理として、例えば、元の画素が白いほど、その画素を赤くし、元の画素が黒いほど、その画素を青くするような所定の色変換アルゴリズムを用いる処理を利用することができる。あるいは、前処理部３１は、入力されたモノクロ画像をカラー画像に変換するように予め学習されたモデルに距離画像を入力することで、距離画像をカラー化してもよい。前処理部３１は、そのようなモデルとして、複数の畳み込み層を有するコンボリューショナルニューラルネットワーク(CNN)型のアーキテクチャを有する、いわゆるディープニューラルネットワーク(DNN)を用いることができる。

前処理部３１は、カラー化された距離画像に対して、カラー画像に対して適用したのと同様の前処理を適用する。例えば、前処理部３１は、カラー化された距離画像を、（１）式あるいは（２）式に従って標準化する。あるいは、前処理部３１は、カラー化された距離画像に対して上記のような正規化処理を適用することで、その距離画像を正規化してもよい。あるいはまた、前処理部３１は、カラー化された距離画像に対して上記のような他の前処理を適用してもよい。前処理部３１は、このような前処理を距離画像に対して適用することで、第２の識別器に入力される距離画像のバラツキを軽減することができる。その結果として、前処理部３１は、第２の識別器による、ワーク１１の欠陥の有無の識別精度を間接的に向上させることができる。さらに、前処理部３１は、カラー化処理を距離画像に適用することで、第１の特徴算出部と第２の特徴算出部に同じ構成のDNNを用いることを可能にする。

なお、前処理部３１は、カラー画像に対して適用された前処理とは異なる前処理を、カラー化された距離画像に適用してもよい。例えば、前処理部３１は、（１）式及び（２）の一方に従ってカラー画像を標準化し、（１）式及び（２）の他方に従ってカラー化された距離画像を標準化してもよい。あるいは、前処理部３１は、（１）式または（２）式に従ってカラー画像を標準化し、上記のような正規化処理に従ってカラー化された距離画像を正規化してもよい。このように、前処理部３１は、カラー画像に適用する前処理とカラー化された距離画像に適用する前処理とを異ならせることで、それぞれの画像に適した前処理を実行することができる。

あるいは、前処理部３１は、距離画像に対して所定の前処理を施した後に、カラー化処理を施してもよい。

前処理部３１は、前処理が施されたカラー画像及び前処理が施され、かつカラー化された距離画像を判定部３２に出力する。

判定部３２は、前処理が施されたカラー画像及び前処理が施され、かつカラー化された距離画像を識別器に入力することで、所定の検査項目についてワーク１１が取り得る状態のそれぞれの確からしさを表す識別指標を算出する。本実施形態では、識別器は、識別指標として、ワーク１１の欠陥の有無のそれぞれについての確からしさを表す信頼度を算出する。なお、以下では、前処理が施されたカラー画像を、単にカラー画像と呼ぶことがある。また、前処理が施され、かつカラー化された距離画像を、単に距離画像と呼ぶことがある。

図４は、本実施形態で用いられる識別器の概略構成図である。識別器４００は、第１の特徴算出部４０１と、第２の特徴算出部４０２と、統合部４０３と、識別部４０４とを有する。

第１の特徴算出部４０１には、カラー画像CImageが入力され、第１の特徴算出部４０１は、そのカラー画像に表されたワーク１１の特徴を表す第１の特徴量f1を算出する。また、第２の特徴算出部４０２には、距離画像DImageが入力され、第２の特徴算出部４０２は、その距離画像に表されたワーク１１の特徴を表す第２の特徴量f2を算出する。そのために、第１の特徴算出部４０１及び第２の特徴算出部４０２は、それぞれ、複数の畳み込み層を有する。さらに、第１の特徴算出部４０１及び第２の特徴算出部４０２は、それぞれ、連続する何れかの二つの畳み込み層間、または最も出力側の畳み込み層の出力側に配置される、少なくとも一つのプーリング層を有してもよい。さらに、第１の特徴算出部４０１及び第２の特徴算出部４０２は、それぞれ、複数の畳み込み層よりも出力側に配置される、少なくとも一つの全結合層を有してもよい。さらにまた、第１の特徴算出部４０１及び第２の特徴算出部４０２は、それぞれ、各畳み込み層の出力側及び各全結合層の出力側に活性化層を有する。

第１の特徴算出部４０１の各畳み込み層は、入力されたカラー画像または一つ上の層から出力された特徴マップに対して畳み込み演算を実行することで特徴マップを算出する。また、プーリング層は、一つ上の層から出力された特徴マップに対して、MaxPoolingあるいはGlobal Average Poolingを実行する。さらに、全結合層は、一つ上の層から出力された特徴マップに対して全結合演算を実行する。さらに、活性化層は、一つ上の層からの出力に対してReLUあるいはMishといった活性化演算を実行する。そして第１の特徴算出部４０１は、最も出力側に配置された層から出力される演算結果を、第１の特徴量として統合部４０３へ出力する。出力される第１の特徴量には、チャネルごとに、１次元または２次元状に配置された複数の特徴変数が含まれる。なお、第１の特徴算出部４０１に、連続する二つの畳み込み層間に配置されるプーリング層が設けられる場合、プーリング層の前後で解像度の異なる複数の特徴マップが得られる。その解像度の異なる複数の特徴マップが、それぞれ、第１の特徴量として統合部４０３へ出力されてもよい。あるいは、第１の特徴算出部４０１が全結合層を有する場合には、その解像度の異なる複数の特徴マップのそれぞれが全結合層に入力されてもよい。

同様に、第２の特徴算出部４０２の各畳み込み層は、入力された距離画像または一つ上の層から出力された特徴マップに対して畳み込み演算を実行することで特徴マップを算出する。また、プーリング層は、一つ上の層から出力された特徴マップに対して、MaxPoolingあるいはGlobal Average Poolingを実行する。さらに、全結合層は、一つ上の層から出力された特徴マップに対して全結合演算を実行する。さらに、活性化層は、一つ上の層からの出力に対してReLUあるいはMishといった活性化演算を実行する。そして第２の特徴算出部４０２は、最も出力側に配置された層から出力される演算結果を、第２の特徴量として統合部４０３へ出力する。出力される第２の特徴量には、チャネルごとに、１次元または２次元状に配置された複数の特徴変数が含まれる。上記のように、第２の特徴算出部４０２に、連続する二つの畳み込み層間に配置されるプーリング層が設けられる場合、プーリング層の前後で解像度の異なる複数の特徴マップが得られる。その解像度の異なる複数の特徴マップが、それぞれ、第２の特徴量として統合部４０３へ出力されてもよい。あるいは、第２の特徴算出部４０２が全結合層を有する場合には、その解像度の異なる複数の特徴マップのそれぞれが全結合層に入力されてもよい。

特に、第２の特徴算出部４０２として、第１の特徴算出部４０１と同じ構成を有するものが用いられてもよい。本実施形態において、これら二つの特徴算出部が同じ構成を有するとは、二つの特徴算出部のそれぞれの層構成及び各層の演算の種類が同じであることを意味する。したがって、二つの特徴算出部のそれぞれの層構成及び各層の演算の種類が同じであれば、個別の学習によって異なる値となる、個々の層の演算で用いられる重み係数などは互いに異なっていてもよい。

変形例によれば、第１の特徴算出部４０１及び第２の特徴算出部４０２は、各畳み込み層の代わりに、入力されたカラー画像または距離画像に対してself attentionに基づく演算を行って特徴マップを算出する層を有していてもよい。

統合部４０３は、第１の特徴量f1と第２の特徴量f2を統合した統合特徴量fintを算出する。そのために、統合部４０３は、第１の特徴量f1と第２の特徴量f2の互いに対応する特徴変数の組ごとに、その組に含まれる特徴変数の和を算出し、算出した和を、統合特徴量fintの対応する特徴変数の値とする。なお、統合部４０３は、第１の特徴量f1と第２の特徴量f2の互いに対応する特徴変数の組ごとに、その組に含まれる特徴変数の平均値あるいは加重平均値を算出し、算出した平均値あるいは加重平均値を、統合特徴量fintの対応する特徴変数の値としてもよい。加重平均が行われる場合、第１の特徴量f1に対する重み係数と、第２の特徴量f2に対する重み係数は、例えば、事前に測定された、識別精度に対するカラー画像の寄与度と距離画像の寄与度に基づいて設定される。すなわち、識別精度に対するカラー画像の寄与度が距離画像の寄与度よりも高い場合、第１の特徴量f1に含まれる特徴変数に対する重み係数は、第２の特徴量f2に含まれる特徴変数に対する重み係数よりも大きい値に設定される。逆に、識別精度に対する距離画像の寄与度がカラー画像の寄与度よりも高い場合、第２の特徴量f2に含まれる特徴変数に対する重み係数は、第１の特徴量f1に含まれる特徴変数に対する重み係数よりも大きい値に設定されればよい。あるいは、これらの重み係数も、識別器が学習される際にその学習結果に従って決定されてもよい。

あるいは、統合部４０３は、第１の特徴量f1と第２の特徴量f2の互いに対応する特徴変数の組ごとに、その組に含まれる特徴変数のうちの最大値を特定し、特定した最大値を、統合特徴量fintの対応する特徴変数の値としてもよい。あるいはまた、統合部４０３は、第１の特徴量f1に含まれる各特徴変数と第２の特徴量f2に含まれる各特徴変数とをそれぞれ含むように、統合特徴量fintを作成してもよい。その際、第１の特徴量f1と第２の特徴量f2の互いに対応する特徴変数同士が並ぶように、統合特徴量fintは作成されてもよい。

統合部４０３は、統合特徴量fintを識別部４０４へ出力する。

識別部４０４は、統合特徴量fintに対してSoftmax演算あるいはSigmoid演算を実行することで、ワーク１１の欠陥の有無のそれぞれに対する信頼度を算出する出力層を有する。さらに、識別部４０４は、SphereFace、CosFace、あるいはArcFaceといった距離学習用の層を、Softmax演算あるいはSigmoid演算を実行する出力層よりも入力側に有してもよい。さらにまた、識別部４０４は、出力層及び距離学習用の層よりも入力側に、少なくとも一つの全結合層と、個々の全結合層の出力側に設けられる活性化層を有していてもよい。特に、第１の特徴算出部４０１と第２の特徴算出部４０２とが全結合層を有さない場合には、識別部４０４が少なくとも一つの全結合層を有することが好ましい。

識別部４０４は、統合特徴量fintが入力されると、上記の各層の演算を実行することで、識別指標として、ワーク１１の欠陥の有無のそれぞれについての信頼度を算出する。特に、出力層がsoftmax演算を行うように構成されている場合、欠陥有りについての信頼度と、欠陥無しについての信頼度との和は1となる。

識別器４００は、誤差逆伝搬法といった所定の学習アルゴリズムに従って予め学習される。識別器４００の学習に用いられる教師データには、例えば、欠陥が有るワーク１１をカメラ２と３Ｄカメラ３とで同時に撮影することで得られた、欠陥が有るワーク１１の同じ面が表されたカラー画像及び距離画像が含まれる。さらに、教師データには、欠陥が無いワーク１１をカメラ２と３Ｄカメラ３とで同時に撮影することで得られた、欠陥が無いワーク１１の同じ面が表されたカラー画像及び距離画像が含まれる。このような多数の教師データを用いて学習されることで、識別器４００は、入力されたカラー画像及び距離画像に表されたワーク１１の欠陥の有無を精度良く識別することが可能となる。

なお、識別器４００として、VGG-16、VGG-19、あるいはEfficientNetといった、既存の学習済みのDNNを流用してもよい。この場合、これら既存のDNNに含まれる各層のうち、出力層または出力層と全結合層及び全結合層の出力側に設けられる活性化層を識別部４０４とし、識別部４０４とした層以外の各層を複製して、第１の特徴算出部４０１及び第２の特徴算出部４０２とすればよい。そのため、第１の特徴算出部４０１及び第２の特徴算出部４０２は同じ構成を有するものとなる。そして上記の統合部４０３が追加されればよい。この場合、使用されるDNNはある程度学習されているので、比較的少ない数の教師データを用いた転移学習により、学習の際の演算負荷が軽減されるとともに、識別器４００によるワーク１１の欠陥の有無の識別精度がより向上する。特に、実際の工程では、欠陥が有るワーク１１はあまり存在しないため、欠陥が有るワーク１１が表された教師データを多数用意することが困難なことがある。しかし、このような転移学習を利用することで、教師データの数が少なくても、識別器４００によるワーク１１の欠陥の有無の識別精度を向上させることが可能となる。

判定部３２は、識別器から出力された、欠陥有りについての信頼度が、欠陥無しについての信頼度よりも大きい場合、ワーク１１には欠陥が有ると判定する。逆に、欠陥無しについての信頼度が、欠陥有りについての信頼度以上となる場合、判定部３２は、ワーク１１には欠陥が無いと判定する。あるいは、判定部３２は、欠陥有りについての信頼度が、所定の判定閾値よりも大きい場合、ワーク１１には欠陥が有ると判定し、欠陥有りについての信頼度が、所定の判定閾値以下である場合、ワーク１１には欠陥が無いと判定してもよい。

判定部３２は、ワーク１１の欠陥の有無の判定結果を、ユーザインターフェース（図示せず）を介してユーザに通知する。あるいは、判定部３２は、ワーク１１の欠陥の有無の判定結果を、通信インターフェース２１及び通信回線５を介して他の機器へ出力してもよい。

図５は、検査処理の動作フローチャートである。プロセッサ２３は、下記の動作フローチャートに従って検査処理を実行する。

プロセッサ２３の前処理部３１は、カラー画像に対して所定の前処理を実行する（ステップＳ１０１）。また、前処理部３１は、距離画像に対してカラー化処理及び所定の前処理を実行する（ステップＳ１０２）。なお、ステップＳ１０１の処理とステップＳ１０２の処理の順序は逆でもよく、あるいは、互いに並列に実行されてもよい。

プロセッサ２３の判定部３２は、前処理が施されたカラー画像と前処理が施され、かつ、カラー化された距離画像のそれぞれを識別器に入力する。これにより、識別器は、第１の特徴量及び第２の特徴量を算出する（ステップＳ１０３）。さらに、識別器は、第１の特徴量及び第２の特徴量を統合した統合特徴量を算出する（ステップＳ１０４）。そして識別器は、統合特徴量に基づいてワーク１１の欠陥の有無のそれぞれの信頼度を識別指標として算出する（ステップＳ１０５）。

判定部３２は、識別指標として算出されたワーク１１の欠陥の有無のそれぞれの信頼度に基づいてワーク１１の欠陥の有無を判定する（ステップＳ１０６）。そして判定部３２は、その判定結果を、ユーザインターフェースを介してユーザに通知し、あるいは、通信インターフェース２１及び通信回線５を介して他の機器へ出力する（ステップＳ１０７）。そしてプロセッサ２３は、検査処理を終了する。

以上に説明してきたように、この検査装置は、検査対象物が表されたカラー画像及び距離画像のそれぞれを識別器に入力することで、検査対象物の所定の検査項目についての状態を判定する。この検査装置が使用する識別器は、検査対象物が表されたカラー画像及び距離画像から、検査対象物の特徴を表す第１の特徴量及び第２の特徴量を算出する。そしてこの識別器は、第１の特徴量と第２の特徴量とを統合した統合特徴量に基づいて所定の検査項目に対する検査対象物が取り得る状態ごとの確からしさを表す識別指標を算出する。そしてこの検査装置は、得られた識別指標に基づいて、検査対象物の所定の検査項目についての状態を判定する。このように、この検査装置は、検査対象物の検査に、その検査対象物が表されたカラー画像と距離画像の２種類の画像のそれぞれから算出された特徴量を統合した結果を使用するので、より精度の高い検査結果を得ることができる。

変形例によれば、前処理部３１は、カラー画像及び距離画像の何れか一方のみに対して所定の前処理を実行してもよい。あるいは、前処理部３１は、距離画像に対するカラー化処理を実行しなくてもよい。あるいはまた、前処理部３１は、距離画像の生成以外の処理を行わなくてもよい。これにより、検査処理全体に対する演算量が軽減される。なお、カメラ２及び３Ｄカメラ３による、ワーク１１の撮影環境がある程度一定となることが見込まれる場合、あるいは、撮影環境のバラツキも考慮して識別器が学習されている場合には、前処理が省略されても、検査精度は維持可能である。また、距離画像に対するカラー化処理が省略される場合には、識別器が有する第１の特徴算出部と第２の特徴算出部とは異なる構成となることが好ましい。これは、第１の特徴算出部に入力されるカラー画像（R,G,Bの3チャンネル）の構造と、第２の特徴算出部に入力される距離画像(1チャンネルのみ)の構造とが異なるためである。

また、検査装置４のプロセッサ２３が有する各部の処理を実行するためのコンピュータプログラムは、半導体メモリ、磁気記録媒体または光記録媒体といった、コンピュータ読取可能な可搬性の記録媒体に記録された形で提供されてもよい。

以上のように、当業者は、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。

１ 検査システム
２ カメラ
３ ３Ｄカメラ
４ 検査装置
５ 通信回線
１０ ベルトコンベヤ
１１ ワーク
２１ 通信インターフェース
２２ メモリ
２３ プロセッサ
３１ 前処理部
３２ 判定部
４００ 識別器
４０１ 第１の特徴算出部
４０２ 第２の特徴算出部
４０３ 統合部
４０４ 識別部

Claims (5)

1. 検査対象物が表されたカラー画像及び前記検査対象物が表された距離画像を識別器に入力することで、所定の検査項目について前記検査対象物が取り得る状態のそれぞれの確からしさを表す識別指標を算出し、前記識別指標に基づいて前記検査対象物の前記検査項目についての状態を判定する判定部を有し、
   前記識別器は、
   前記カラー画像に基づいて前記検査対象物の特徴を表す第１の特徴量を算出する第１の特徴算出部と、
   前記距離画像に基づいて前記検査対象物の特徴を表す第２の特徴量を算出する第２の特徴算出部と、
   前記第１の特徴量と前記第２の特徴量を統合した統合特徴量を算出する統合部と、
   前記統合特徴量に基づいて前記識別指標を算出する識別部と、
   を有する検査装置。
2. 前記距離画像をカラー化する前処理部をさらに有する、請求項１に記載の検査装置。
3. 前記識別器の前記第１の特徴算出部と前記第２の特徴算出部とは同じ構成を有する、請求項２に記載の検査装置。
4. 検査対象物が表されたカラー画像及び前記検査対象物が表された距離画像を識別器に入力することで、所定の検査項目について前記検査対象物が取り得る状態のそれぞれの確からしさを表す識別指標を算出し、
   前記識別指標に基づいて前記検査対象物の前記検査項目についての状態を判定する、
   ことを含み、
   前記識別器は、
   前記カラー画像に基づいて前記検査対象物の特徴を表す第１の特徴量を算出し、
   前記距離画像に基づいて前記検査対象物の特徴を表す第２の特徴量を算出し、
   前記第１の特徴量と前記第２の特徴量を統合した統合特徴量を算出し、
   前記統合特徴量に基づいて前記識別指標を算出する、
   検査方法。
5. 検査対象物が表されたカラー画像及び前記検査対象物が表された距離画像を識別器に入力することで、所定の検査項目について前記検査対象物が取り得る状態のそれぞれの確からしさを表す識別指標を算出し、
   前記識別指標に基づいて前記検査対象物の前記検査項目についての状態を判定する、
   ことをコンピュータに実行させ、
   前記識別器は、
   前記カラー画像に基づいて前記検査対象物の特徴を表す第１の特徴量を算出し、
   前記距離画像に基づいて前記検査対象物の特徴を表す第２の特徴量を算出し、
   前記第１の特徴量と前記第２の特徴量を統合した統合特徴量を算出し、
   前記統合特徴量に基づいて前記識別指標を算出する、
   検査用コンピュータプログラム。

Images