JP2018180875A - 判定装置、判定方法および判定プログラム - Google Patents

Abstract

【課題】 画像中の異常箇所を特定することができる判定装置、判定方法および判定プログラムを提供する。【解決手段】 判定装置は、対象物の画像を判定対象画像として取得する撮影装置と、予め登録された登録画像と、前記判定対象画像とを対比することで、前記登録画像と前記判定対象画像との差異が閾値以上であるか否かを判定する判定部と、前記差異が閾値以上であると判定された場合に、前記登録画像および前記判定対象画像から特徴量を抽出する特徴量抽出部と、前記登録画像と前記判定対象画像との間で前記特徴量の差異が閾値以上となる領域を前記判定対象画像から抽出する領域抽出部と、前記領域抽出部が抽出した領域を前記判定対象画像に表示する表示装置と、を備える。【選択図】 図２

Description

本件は、判定装置、判定方法および判定プログラムに関する。

製品の良否を自動で判定することが望まれている。そこで、例えば、製品の良否を判定する場合に、製品を撮影することで得られた判定対象画像と、判定基準として用いられる登録画像との差異が用いられている（例えば、特許文献１参照）。

特開２０１６−１２１９８０号公報

しかしながら、上記技術では、判定対象画像中に異常箇所が含まれているか否かを判定することはできるが、画像のどの部分に異常が生じているか否かについては判定することが困難である。

１つの側面では、本発明は、画像中の異常箇所を特定することができる判定装置、判定方法および判定プログラムを提供することを目的とする。

１つの態様では、判定装置は、対象物の画像を判定対象画像として取得する撮影装置と、予め登録された登録画像と、前記判定対象画像とを対比することで、前記登録画像と前記判定対象画像との差異が閾値以上であるか否かを判定する判定部と、前記差異が閾値以上であると判定された場合に、前記登録画像および前記判定対象画像から特徴量を抽出する特徴量抽出部と、前記登録画像と前記判定対象画像との間で前記特徴量の差異が閾値以上となる領域を前記判定対象画像から抽出する領域抽出部と、前記領域抽出部が抽出した領域を前記判定対象画像に表示する表示装置と、を備える。

画像中の異常箇所を特定することができる。

（ａ）は撮影装置を用いて取得された複数の判定対象画像を例示する図であり、（ｂ）は予め取得された良品の登録画像を例示する図であり、（ｃ）は不良品と判定された判定対象画像である。 （ａ）は実施例１に係る判定装置のハードウェア構成を説明するためのブロック図であり、（ｂ）は撮影装置の模式図である。 判定プログラムの実行によって実現される各機能のブロック図である。 判定装置によって実行されるフローチャートを例示する図である。 （ａ）は登録画像を例示する図であり、（ｂ）は異常が生じている判定対象画像を例示する図である。 （ａ）は登録画像を複数の矩形領域に分割した例であり、（ｂ）は判定対象画像を複数の矩形領域に分割した例である。 （ａ）は領域抽出部によって抽出された領域を例示する図であり、（ｂ）は表示装置によって表示される画像を例示する図である。 （ａ）〜（ｄ）は特徴量として２値化処理した面積に基づいて良否判定を行う場合を例示する図である。 （ａ）〜（ｆ）は２種類の特徴量を用いて領域を抽出する場合を例示する図である。 （ａ）〜（ｆ）は２種類の特徴量を用いて抽出された領域が互いに重複する場合を例示する図である。

まず、製品などの画像を用いた良否判定の概略について説明する。製品の出荷前等に、製品に異常が生じていないか否かを自動で判断するために、撮影装置を用いて取得した画像（判定対象画像）を用いることができる。図１（ａ）は、撮影装置を用いて取得された複数の製品の判定対象画像を例示する図である。図１（ｂ）は、予め取得された良品の登録画像を例示する図である。

判定対象画像は、製品の全体または製品の特定部位の画像である。したがって、予め取得された良品の登録画像と判定対象画像とを対比することで、登録画像と判定対象画像との差異を検出し、当該差異が閾値以上であるか否かを判定することで、良否判定を行うことができる。図１（ｃ）は、不良品と判定された判定対象画像である。以上の判定を、画像処理プログラムなどで実行することで、良否判定を自動で行うことができる。

このように、良否判定を自動で行うことで、良否判定作業を簡略化することができる。しかしながら、図１（ａ）〜図１（ｃ）の判定では、判定対象画像のどの部分に異常が生じているかが提示されない。したがって、検査者は、どの製品に異常が生じているか否かを判断することはできても、当該製品のどの部分に異常が生じているか否かを判断することが困難である。そこで、以下の実施例では、判定対象画像中の異常箇所を特定することができる判定装置、判定方法および判定プログラムについて説明する。

図２（ａ）は、実施例１に係る判定装置１００のハードウェア構成を説明するためのブロック図である。図２（ａ）で例示するように、判定装置１００は、ＣＰＵ１０１、ＲＡＭ１０２、記憶装置１０３、表示装置１０４、撮影装置１０５などを備える。これらの各機器は、バスなどによって接続されている。

ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１は、中央演算処理装置である。ＣＰＵ１０１は、１以上のコアを含む。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０２は、ＣＰＵ１０１が実行するプログラム、ＣＰＵ１０１が処理するデータなどを一時的に記憶する揮発性メモリである。

記憶装置１０３は、不揮発性記憶装置である。記憶装置１０３として、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリなどのソリッド・ステート・ドライブ（ＳＳＤ）、ハードディスクドライブに駆動されるハードディスクなどを用いることができる。本実施例に係る判定プログラムは、記憶装置１０３に記憶されている。表示装置１０４は、液晶ディスプレイ、エレクトロルミネッセンスパネル等であり、後述する各処理の結果などを表示する。

図２（ｂ）は、撮影装置１０５の模式図である。撮影装置１０５は、製造装置１０６が製造した製品１０７を対象物とし、製品１０７の全体または特定部位の画像を取得する装置である。各製品１０７を同じ条件で撮影することで、判定対象画像を取得することができる。

記憶装置１０３に記憶されている判定プログラムは、実行可能にＲＡＭ１０２に展開される。ＣＰＵ１０１は、ＲＡＭ１０２に展開された判定プログラムを実行する。それにより、判定装置１００による各処理が実行される。

図３は、判定プログラムの実行によって実現される各機能のブロック図である。図３で例示するように、判定プログラムの実行によって、画像取得部１０、良否判定部２０、位置補正部３０、特徴量選択部４０、特徴量抽出部５０、領域抽出部６０、出力部７０、格納部８０などが実現される。なお、各部は、専用の回路等によって構成されていてもよい。

図４は、判定装置１００によって実行されるフローチャートを例示する図である。以下、図３および図４を参照しつつ、判定装置１００による判定処理について説明する。まず、画像取得部１０は、撮影装置１０５から、各製品の画像を判定対象画像として取得する（ステップＳ１）。次に、良否判定部２０は、格納部８０に格納されている登録画像を読み込み、機械学習で生成されたアルゴリズムを用いて各判定対象画像の良否判定を行う（ステップＳ２）。具体的には、登録画像と判定対象画像とを対比することで、登録画像と判定対象画像との差異が閾値以上であるか否かを判定する。図５（ａ）は、登録画像を例示する図である。図５（ｂ）は、異常が生じている判定対象画像を例示する図である。

位置補正部３０は、不良と判定された判定対象画像と登録画像との間で位置合わせを行い、判定対象画像の位置を補正する（ステップＳ３）。位置合わせとして、例えば、平行移動、回転移動、拡大、縮小などの補正を行うことができる。次に、特徴量選択部４０は、複数種類の特徴量から、利用する特徴量を選択する（ステップＳ４）。特徴量は、判定対象画像において登録画像との差異が大きい領域を抽出するための特徴量である。例えば、特徴量として、平均輝度、エッジ（輝度勾配変化が大きい領域）、２値化処理した面積、周波数成分のピーク、方向成分のピークなどを用いることができる。

次に、特徴量抽出部５０は、登録画像および判定対象画像を複数の領域（例えば矩形領域）に分割し、各領域について特徴量を抽出する（ステップＳ５）。図６（ａ）は、登録画像を複数の矩形領域に分割した例である。図６（ｂ）は、判定対象画像を複数の矩形領域に分割した例である。

次に、領域抽出部６０は、登録画像および判定対象画像の互いに対応する矩形領域間で、特徴量の差異が大きい領域を抽出する（ステップＳ６）。例えば、領域抽出部６０は、特徴量の差異が閾値以上の領域、周辺領域と異なる領域などを抽出する。さらに具体的には、例えば、輝度値（輝度レベル）の差異が閾値（＝１０）以上となる領域を抽出してもよい。または、領域ごとの差分平均値および標準偏差を算出し、３σ以上となる領域を抽出してもよい。領域抽出部６０は、いずれかの辺または頂点が互いに隣接する複数の矩形領域を１つのグループとして出力してもよい。

次に、出力部７０は、領域抽出部６０が抽出した領域を表示装置１０４に出力する（ステップＳ７）。それにより、表示装置１０４は、判定対象画像を表示するとともに、領域抽出部６０が抽出した領域を当該判定対象画像中に表示する。図７（ａ）は、領域抽出部６０によって抽出された領域を例示する図である。図７（ａ）の例では、互いに隣接する６個の矩形領域が１つのグループとして抽出されている。図７（ｂ）は、表示装置１０４によって表示される画像を例示する図である。

図８（ａ）〜図８（ｄ）は、特徴量として２値化処理した面積に基づいて良否判定を行う場合を例示する図である。この場合の処理を、図４のフローチャートに沿って説明する。まず、画像取得部１０は、撮影装置１０５から、各製品の画像を判定対象画像として取得する（ステップＳ１）。次に、良否判定部２０は、格納部８０に格納されている登録画像を読み込み、機械学習で生成されたアルゴリズムを用いて各判定対象画像の良否判定を行う（ステップＳ２）。図８（ａ）の左図は、登録画像を例示する図である。図８（ａ）の右図は、異常が生じている判定対象画像を例示する図である。

位置補正部３０は、不良と判定された判定対象画像と登録画像との間で位置合わせを行い、判定対象画像の位置を補正する（ステップＳ３）。次に、特徴量選択部４０は、複数種類の特徴量から、２値化処理した面積を選択する（ステップＳ４）。

次に、特徴量抽出部５０は、登録画像および判定対象画像を複数の矩形領域に分割し、各領域について特徴量を抽出する（ステップＳ５）。図８（ｂ）の左図は、登録画像を複数の矩形領域に分割した例である。図８（ｂ）の右図は、判定対象画像を複数の矩形領域に分割した例である。

次に、領域抽出部６０は、登録画像および判定対象画像の互いに対応する矩形領域間で、２値化処理した面積の差異が大きい領域を抽出する（ステップＳ６）。例えば、領域抽出部６０は、２値化処理した面積の差異が閾値以上の領域、周辺領域と異なる領域などを抽出する。領域抽出部６０は、図８（ｄ）で例示するような画像特徴分布を用いてもよい。図８（ｃ）の左図は、登録画像において２値化処理した面積の差異が大きい領域である。図８（ｃ）の右図は、判定対象画像において２値化処理した面積の差異が大きい領域である。

次に、出力部７０は、領域抽出部６０が抽出した領域を表示装置１０４に出力する（ステップＳ７）。それにより、表示装置１０４は、判定対象画像を表示するとともに、領域抽出部６０が抽出した領域を当該判定対象画像中に表示する。図８（ｃ）の例では、頂点が互いに隣接する２個の矩形領域が１つのグループとして抽出されている。

本実施例によれば、判定対象画像と登録画像とを対比することで判定対象画像と登録画像との差異が閾値以上であると判定された場合に、登録画像および判定対象画像から特徴量が抽出される。登録画像と判定対象画像との間で特徴量の差異が閾値以上となる領域が判定対象画像から抽出される。抽出された領域が判定対象画像に表示される。この構成によれば、検査者は、判定対象画像中に異常箇所が含まれているか否かを判断することができるとともに、画像のどの部分に異常が生じているか否かを判断することができる。また、判断しなければならない箇所が特定されるため、正常判断であるのか誤判断であるのか、容易に判断することができるようにもなる。

例えば、設計部門は、設計上の不具合や製造困難な箇所があった場合に、すぐに上流へフィードバックすることで、開発リードタイムを削減することができる。製品の製造作業者は、良品・不良品を容易に判断することができるとともに、不良品と誤判断された製品を救済することができる。画像処理開発者は、フィルタ設計の見直しや、画像の機械学習の必要性を容易に判断することができるようになる。品質保証部門や製造技術部門は、現場改善や不良品の流出の歯止めができるようになる。

なお、登録画像と判定対象画像とを位置合わせをしてから特徴量を抽出することで、特徴量の差異を取得する精度が向上する。

（変形例１）
実施例１では、１つの特徴量を用いて登録画像と判定対象画像との差異が大きい領域を抽出したが、それに限られない。例えば、２以上の異なる特徴量を用いて登録画像と判定対象画像との差異が大きい領域を抽出してもよい。変形例１では、２種類の特徴量を用いて登録画像と判定対象画像との差異が大きい領域を抽出する例について説明する。

図９（ａ）は、特徴量抽出部５０によって複数の矩形領域に分割された登録画像を例示する図である。図９（ｂ）および図９（ｃ）は、特徴量抽出部５０によって複数の矩形領域に分割された判定対象画像を例示する図である。図９（ｂ）では、特徴量として輝度が用いられ、登録画像との間で輝度の差異が大きい領域が抽出された例が表されている。図９（ｃ）では、特徴量としてエッジが用いられ、登録画像との間でエッジの差異が大きい領域が抽出された例が表されている。

このように、２種類の特徴量を用いた場合には、特徴量の差異が大きくなる領域が異なる場合がある。このような場合には、出力部７０は、図９（ｄ）で例示するように、両方の領域を表示装置１０４に出力してもよい。または、出力部７０は、図９（ｅ）および図９（ｆ）で例示するように、輝度に基づいて抽出された領域と、エッジに基づいて抽出された領域とを個別に表示装置１０４に出力してもよい。出力部７０は、ユーザがメニューやボタンで選択した内容に応じて、表示装置１０４に出力する領域を選択してもよい。

特徴量ごとに表示内容を変更してもよい。例えば、図９（ｄ）〜図９（ｆ）で例示するように、抽出された領域を囲む線種を、特徴量ごとに変更してもよい。または、各領域に、用いた特徴量を併せて表示してもよい。このようにすることで、どの特徴量を用いて抽出された領域であるかを検査者が視覚的に把握することができる。このような表示は、特徴量に応じて異常種別を判断することができるような場合に効果的である。なお、人の視認性の観点から、複数の特徴量として、周波数成分と明るさ（輝度）とを組み合わせることが好ましい。

本変形例によれば、２種類以上の各特徴量に基づいて抽出された領域を表示することができる。この場合、１種類の特徴量では抽出されない領域を表示できるようになる。それにより、異常発生箇所の見落としを抑制することができる。また、特徴量ごとに表示内容を変更することで、特徴量に応じて、異常種別を判断することができる。

図１０（ａ）〜図１０（ｆ）は、２種類の特徴量を用いて抽出された領域が互いに重複する場合を例示する図である。図１０（ａ）、図１０（ｃ）および図１０（ｅ）の例では、白実線で囲まれた領域は、輝度に基づいて抽出された領域である。一方、白点線で囲まれた領域は、エッジに基づいて抽出された領域である。図１０（ａ）、図１０（ｃ）および図１０（ｅ）で例示するように、輝度に基づいて抽出された領域とエッジに基づいて抽出された領域とが重複している。このような場合に、出力部７０は、図１０（ｂ）で例示するように、重複する領域（ａｎｄ領域）だけを表示装置１０４に出力してもよい。

または、出力部７０は、図１０（ｄ）で例示するように、抽出された領域の全て（ｏｒ領域）を表示装置１０４に出力してもよい。または、出力部７０は、図１０（ｆ）で例示するように、輝度に基づいて抽出された領域と、エッジに基づいて抽出された領域とを個別に表示装置１０４に出力してもよい。出力部７０は、ユーザがメニューやボタンで選択した内容に応じて、表示装置１０４に出力する領域を選択してもよい。

上記各例において、撮影装置１０５が、対象物の画像を判定対象画像として取得する撮影装置の一例として機能する。良否判定部２０が、予め登録された登録画像と、前記判定対象画像とを対比することで、前記登録画像と前記判定対象画像との差異が閾値以上であるか否かを判定する判定部の一例として機能する。特徴量抽出部５０が、前記差異が閾値以上であると判定された場合に、前記登録画像および前記判定対象画像から特徴量を抽出する特徴量抽出部の一例として機能する。領域抽出部６０が、前記登録画像と前記判定対象画像との間で前記特徴量の差異が閾値以上となる領域を前記判定対象画像から抽出する領域抽出部の一例として機能する。出力部７０および表示装置１０４が、前記領域抽出部が抽出した領域を前記判定対象画像に表示する表示装置の一例として機能する。

以上、本発明の実施例について詳述したが、本発明は係る特定の実施例に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

１０ 画像取得部
２０ 良否判定部
３０ 位置補正部
４０ 特徴量選択部
５０ 特徴量抽出部
６０ 領域抽出部
７０ 出力部
８０ 格納部
１００ 判定装置
１０４ 表示装置
１０５ 撮影装置

Claims (5)

1. 対象物の画像を判定対象画像として取得する撮影装置と、
   予め登録された登録画像と、前記判定対象画像とを対比することで、前記登録画像と前記判定対象画像との差異が閾値以上であるか否かを判定する判定部と、
   前記差異が閾値以上であると判定された場合に、前記登録画像および前記判定対象画像から特徴量を抽出する特徴量抽出部と、
   前記登録画像と前記判定対象画像との間で前記特徴量の差異が閾値以上となる領域を前記判定対象画像から抽出する領域抽出部と、
   前記領域抽出部が抽出した領域を前記判定対象画像に表示する表示装置と、を備えることを特徴とする判定装置。
2. 前記特徴量抽出部は、前記判定対象画像と前記登録画像との間で被写体の位置合わせを行い、前記判定対象画像および前記登録画像をそれぞれ複数の領域に分割し、分割によって得られた領域ごとに前記特徴量を抽出することを特徴とする請求項１記載の判定装置。
3. 前記特徴量抽出部は、複数種類の特徴量をそれぞれ抽出し、
   前記領域抽出部は、前記複数種類の特徴量のそれぞれについて差異が閾値以上となる領域を抽出し、
   前記表示装置は、前記領域抽出部が抽出した領域の少なくともいずれかを表示することを特徴とする請求項１または２に記載の判定装置。
4. 撮影装置を用いて対象物の画像を判定対象画像として取得し、
   予め登録された登録画像と、前記判定対象画像とを対比することで、前記登録画像と前記判定対象画像との差異が閾値以上であるか否かを判定部が判定し、
   前記差異が閾値以上であると判定された場合に、前記登録画像および前記判定対象画像から特徴量抽出部が特徴量を抽出し、
   前記登録画像と前記判定対象画像との間で前記特徴量の差異が閾値以上となる領域を前記判定対象画像から領域抽出部が抽出し、
   前記領域抽出部が抽出した領域を表示装置が前記判定対象画像に表示する、ことを特徴とする判定方法。
5. コンピュータに、
   予め登録された登録画像と、撮影装置が対象物を撮影することで取得された判定対象画像とを対比することで、前記登録画像と前記判定対象画像との差異が閾値以上であるか否かを判定する処理と、
   前記差異が閾値以上であると判定された場合に、前記登録画像および前記判定対象画像から特徴量を抽出する処理と、
   前記登録画像と前記判定対象画像との間で前記特徴量の差異が閾値以上となる領域を前記判定対象画像から抽出する処理と、
   表示装置に、抽出された領域を前記判定対象画像に表示させる処理と、を実行させることを特徴とする判定プログラム。

Images