JP2019101047A - 部品外観自動検査装置 - Google Patents

Abstract

【課題】小型部品の全外観の良否判別が可能な鮮明な画像を取得し、それを画像処理して良否判別を行うことが可能なコスト性能比に優れた自動検査装置を提供する。【解決手段】被検査部品の外観画像を取得し、所得した外観画像を画像処理することにより被検査部品の良否を自動判別する部品外観自動検査装置であって、画像処理において、事前に多数の良否画像データを与え、ディープラーニング技術により学習処理し、パラメータを最適化して学習バイナリファイルを作成し、様々な不良項目の内、良否判別の難しい不良項目の画像処理を学習バイナリファイルで行う。【選択図】図１０

Description

本発明は、部品の外観検査に用いる自動検査装置に関する。

目視検査の自動化は、多くの製造業において、生産性向上における最重要課題になっている。目視検査の自動化は、簡単な部品では実用化が進んでいるが、複雑な構造の部品では自動化が難しく、依然として多くの部品で目視検査が実施されている。

しかしながら、目視検査は、工数がかかる上に、人間の官能検査のため、判断基準が曖昧であり、また、品質向上のためのデータ蓄積が不可能である。そのため、生産性向上の阻害要因となっており、その自動化が強く求められている。

例えば、特許文献１には、円筒状の被検査対象物を中心軸の回りに回転させて、被検査対象物の外周面に光を照射し、ラインセンサーを用いて、被検査対象物の外周面を走査して、その反射光強度を検出し、その出力を画像処理することによって、検査対象物の外周面の欠陥を自動検査する自動外観検査装置が記載されている。

一方、最近のイメージセンサ技術や情報処理技術の目覚ましい技術革新により、従来はコスト的に不可能だった技術開発が可能になってきた。そのため、様々な目視検査の自動化に関する研究開発が活発になっている。

また、最近、ディープラーニング等のＡＩ技術の実用化が進み、簡単なオープンソースソフトウェアの普及も始まっている。このディープラーニング等のＡＩ技術は、目視検査の自動化における大きな課題である検査精度の向上のため、人間の判断機能に近づく新しい画像処理技術としてその展開が期待されている。

特開平１１−１８３３９１号公報

高付加価値部品の外観検査は、高品質が要求されるにも関わらず、構造が複雑で不良項目が多く、目視検査に勝る検査能力や検査精度を達成できる自動化技術の実用化が難しいため、現在そのほとんどが目視検査で行われている。

特に、金属の小型部品の外観不良の光学自動検査は、金属表面での光の反射や散乱が大きいため、明瞭に良否判別可能な不良傷光学画像の取得が難しい。光の散乱を避けるため、ラインスキャンカメラや縞状光源を用いる手法等があるが、目視検査に勝る検査能力（速度）や、検査精度の実現が自動検査では難しく、これまでは、簡単な構造物での簡単な検査でしか実用化されていない。

例えば、金属ベローズ等の、複雑な３次元構造で、かつ形状に微妙なバラツキがある小型高付加価値部品では、様々な角度からの外観不良を明瞭に識別することが必要であるにも関わらず、様々な角度からの外観光学画像の取得が極めて難しいため、これまで自動化は断念せざるを得なかった。

本発明は、かかる課題に鑑みなされたもので、その主な目的は、小型部品の全外観の良否判別が可能な鮮明な画像を取得し、それを画像処理して良否判別を行うことが可能なコスト性能比に優れた自動検査装置を提供することにある。

本発明に係る他の部品外観自動検査装置は、被検査部品の外観画像を取得し、所得した外観画像を画像処理することにより被検査部品の良否を自動判別する部品外観自動検査装置であって、画像処理において、事前に多数の良否画像データを与え、ディープラーニング技術により学習処理し、パラメータを最適化して学習バイナリファイルを作成し、様々な不良項目の内、良否判別の難しい不良項目の画像処理を学習バイナリファイルで行うことを特徴とする。

本発明によれば、小型部品の全外観の良否判別が可能な鮮明な画像を取得し、それを画像処理して良否判別を行うことが可能なコスト性能比に優れた自動検査装置を提供することができる。

本発明の一実施形態における部品外観自動検査装置の構成及び検査フローを示した図である。 被検査部品としての金属ベローズを示した図である。 あおり撮影技術を用いて、金属ベローズを斜め方向から撮影する方法を示した図である。 （ａ）〜（ｃ）は、斜め方向から撮影する方法を説明した図である。 （ａ）〜（ｃ）は、実際に金属ベローズを斜め方向から撮影した場合の外観画像を示した図である。 （ａ）〜（ｃ）は、実際に金属ベローズの斜め上方からの外観画像を、ターンテーブルの回転速度を変えて撮影した結果を示した図である。 ターンテーブルを高速回転させても、歪みのない外観画像を取得できるターンテーブルの構成を示した図である。 ターンテーブルの回転速度の駆動方法を示した図である。 自動検査装置における良否判定値のヒストグラムの一例を示した図である。 本発明の一実施形態における部品外観自動検査装置の画像処理の方法を示したフローチャートである。

以下、本発明の実施形態を図面に基づいて詳細に説明する。なお、本発明は、以下の実施形態に限定されるものではない。また、本発明の効果を奏する範囲を逸脱しない範囲で、適宜変更は可能である。

図１は、本発明の一実施形態における部品外観自動検査装置の構成及び検査フローを示した図である。なお、ここでは、被検査部品１１として、図２に示すような金属ベローズ２１を例示するが、これに限定されるものではない。

図１に示すように、本発明の部品外観自動検査装置は、複数の暗室１４を備え、各暗室１４内には、ターンテーブル１５が設置され、各ターンテーブル１５には、金属ベローズ２１が配置されている。金属ベローズ２１に向けて照明１２から照明光が照射され、その反射光がカメラ１３で撮像される。カメラ１３は、例えば、ラインスキャンカメラを用いることができる。

検査では、金属ベローズ２１を配置したターンテーブル１５を回転させ、各暗室１４内で、金属ベローズ２１の外観連続画像を取得する。なお、金属ベローズ２１の複数の暗室１４内への設置は、高速化のため並列で同時に行うよう制御している。

具体的には、図１に示すように、暗室１４を４個で構成し、金属ベローズ２１の外観画像として、ステージ１では、側面白黒画像、ステージ２では、斜め上白黒画像、ステージ３では、側面カラー画像、ステージ４では、逆転斜め画像を、それぞれ、４方向の角度から順次取得する。

図３は、あおり撮影技術を用いて、金属ベローズ２１を斜め方向から撮影する方法を示した図である。

図３に示すように、金属ベローズ２１は、ターンテーブル１５に固定されて回転する。そして、照明１２で光を照らし、金属ベローズ２１の側面を横方向からカメラ１３Ａで撮影する。金属ベローズ２１の内面は、斜め上方向からカメラ１３Ｂで撮影する。この時、横方向から撮影するカメラ１３Ａでは、レンズ２２Ａをカメラ１３Ａに通常通り装備する。一方、斜め上方向から撮影するカメラ１３Ｂでは、レンズ２２Ｂに角度（あおり）を付けてカメラ１３Ｂに装備する。

次に、図４を参照しながら、斜め方向から撮影する方法を説明する。

図４（ａ）は、通常の撮影方法であって、被写体３２の光は、レンズ２２を通して結像面３３に、投影像３４として結像する。

図４（ｂ）は、被写体３２を斜め方向から撮影した場合であって、被写体３２が、レンズ２２に対して並行ではない場合を示す。この場合、レンズ２２を通して、図３（ａ）と同様の結像面３３では、本来の結像面３５と位置が異なるため、本来の結像面３５と離れるほど、ぼけ３６が大きく生じる。

図４（ｃ）は、図４（ｂ）に示した場合において、本来の結像面３５に結像するように、レンズ２２とカメラに角度（あおり）を設けた場合を示す。この場合、図４（ｂ）に示すような、ぼけ３６は生じない。

なお、あおり撮影技術は、カメラでの撮影時に、あおり、チルト、スイング等の名称で使用されているものを含む。また、同様の撮影技術として、シフト、ライズ、フォール等の名称で使用される技術を用いてもよい。

図５は、実際に、金属ベローズ２１を斜め方向から撮影した場合の外観画像を示し、（ａ）があおり撮影をしない場合、（ｂ）があおり撮影をした場合の外観画像を示す。図５（ｂ）の方が、図５（ａ）よりも、鮮明な外観画像が取得できているのが分かる。

本実施形態において、ターンテーブル１５は２回転させ、１回転目と２回転目で、照明１２やカメラ１３等の画像取得条件を変え、８通りの取得条件の選択を可能にしている。これにより、多数の不良項目に対して、多数の最適な画像取得条件を選べることができる。このとき、ターンテーブル１５の回転速度は、２秒／回転〜０．５秒／回転に設定することが好ましい。

また、画像処理は、周知の背景差分法にラベリング処理を加えて行うことができる。ある画像取得条件で取得したひとつの不良画像から、複数の不良の特徴を適切な画像処理で識別することによって、複数の不良項目に分類することができる。例えば、上述した８通りの検査条件で、金属ベローズ２１の１２項目の不良項目の分類することができる。

また、高速化のため、複数の暗室１４内から得られる外観回転画像を、並列で同時に画像処理することが好ましい。

また、検査速度を高速化するには、ターンテーブル１５の回転速度を上げれば良い。しかしながら、回転速度を、２秒／回転から０．５秒／回転に上げて高速化しようとすると、ターンテーブル１５上に配置された小型部品１１(金属ベローズ２１)の位置が、回転始動時の遠心力により若干ずれてしまう。そのため、斜め上方からの取得画像が歪んだ画像になり、不良判定されるという問題がある。

図６は、実際に、金属ベローズ２１の斜め上方からの外観画像を、ターンテーブル１５の回転速度を変えて撮影した結果を示した図で、（ａ）は２秒／回転、（ｂ）は１．５秒／回転、（ｃ）は１秒／回転の場合を示す。図６（ａ）〜（ｃ）に示すように、ターンテーブル１５の回転速度を速くすると、歪んだ外観画像になってしまう。

図７は、ターンテーブル１５を高速回転させても、歪みのない外観画像を取得できるターンテーブルの構成を示した図である。

図７に示すように、ターンテーブル１５上に、金属ベローズ２１を固定する機構（固定治具）４２と、滑り止めシート４１とが設けられている。これにより、ターンテーブル１５を高速回転させても、金属ベローズ２１の位置がずれるのを防止することができる。

さらに、図８に示すように、ターンテーブル１５の回転速度を徐々に高速することが好ましい。ここで、Ａは、ターンテーブル１５の回転速度を徐々に高速にした場合で、Ｂは、ターンテーブル１５の回転速度を一定にした場合である。

このような構成を取ることにより、０．５秒／回転に高速化しても、良否判定が可能な安定な画像取得が可能になった。

ところで、自動検査装置において、特定の不良項目（例えば「傷不良」）において、外観画像に現れる影の良否判別が難しく、周知の画像処理手法（背景差分＋ラベリング処理）では、良品であっても不良と判別してしまう場合がある。

例えば、図９は、自動検査装置における良否判定値（白画素数）のヒストグラムの一例を示した図である。ここで、（ａ）に示したヒストグラムは、目視検査において不良（傷不良）と判別されたサンプルで、（ｂ）、（ｃ）に示したヒストグラムは、目視検査において良品と判別されたサンプルである。ここで、良否の判定値を１００と設定すると、（ｂ）に示したヒストグラムのサンプルは、目視検査では良品と判別されたが、自動検査では不良と判別されてしまう。これは、ｂ）の不良影は、製造工程に起因するものであるため、程度の軽いものは目視検査では良品扱いとしているためである。

そこで、本発明では、この不良影を良品と判別するため、ＡＩ（ディープラーニング）技術を導入し、効果的に良品での影の特徴を把握し良品と判別する。

図１０は、本実施形態における部品外観自動検査装置の画像処理の方法を示したフローチャートである。図７に示すように、自動検査装置で撮影した画像を読み込んだ後（ステップＳ１）、不良部位の切り出しを行い（ステップＳ２）、多数の良否画像データの登録処理を行う（ステップＳ３）。そして、短時間で学習処理ができるように、ＡＷＳ等のクラウドやＧＰＧＰＵを使用して「学習処理」し、パラメータを最適化して「学習バイナリファイル」を作成する（ステップＳ４）。その後、「傷不良」の画像処理を、このファイルで行うことにより、良否判別を行う（ステップＳ５）。このようなディープラーニング技術を導入することにより、この画像処理にかかった時間を０．２秒で、外観自動検査装置の歩留まり（直行率）を６０％から９０％に飛躍的に向上させることができた。

本発明における外観自動検査装置は、製造工程における様々な管理データを取得するセンサーと位置付けられる。そのため、今後の製造業の生産性を革新する手段として期待されているＩｏＴ技術でも、重要な役割を果たす商品として、大きな需要が期待される。

１１ 被検査部品
１２ 照明
１３ カメラ
１４ 暗室
１５ ターンテーブル
２１ 金属ベローズ（被検査部品）
２２ レンズ
３２ 被写体
３３、３５ 結像面
３４ 投影像
４１ 滑り止めシート
４２ 固定部材

Claims (1)

1. 被検査部品の外観画像を取得し、所得した外観画像を画像処理することにより前記被検査部品の良否を自動判別する部品外観自動検査装置であって、
   前記画像処理において、事前に多数の良否画像データを与え、ディープラーニング技術により学習処理し、パラメータを最適化して学習バイナリファイルを作成し、様々な不良項目の内、良否判別の難しい不良項目の画像処理を、前記学習バイナリファイルで行うことを特徴とする、部品外観自動検査装置。