JP2023097773A - 画像検査システムおよび、画像検査方法、画像検査プログラム、学習済みモデル - Google Patents

Abstract

【課題】他の軸状部品の画像検査技術を提供する。【解決手段】ワークに組み付けられた軸状部品の画像検査システムは、軸状部品を含むワークの撮像画像を取得する取得部と、撮像画像を、軸状部品の外周に設けられた溝部を検出するように予め機械学習された第１識別器に入力することで、溝部の有無を含む溝部に関する第１情報を生成する情報生成部と、第１情報に基づき、組み付けられた軸状部品の異常を判定する判定部と、を備える。【選択図】図１

Description

本開示は、画像検査システムおよび画像検査方法、画像検査プログラム、学習済みモデルに関する。

鋳造品である軸状部品の画像検査システムとして、鋳造品に形成された鋳出し文字を特定することで、鋳造品を検査する技術がある。例えば、特許文献１には、異なる波長の光を照射して鋳出し文字を撮像し、撮像した画像から波長成分を抽出した撮像画像を合成した合成画像を用いて、鋳造品を検査する技術が記載されている。

特開２０２０－１６０７８５号公報

しかし、特許文献１に記載の技術では、異なる波長を照射できる光源装置および波長成分の画像を撮像するための暗室等の撮影環境が必要となるため、検査システムの構築コストが増大する。また、鋳出し文字が形成されていない軸状部品については、検査することができない。そのため、他の軸状部品の画像検査技術が望まれていた。

本開示は、上述の課題を解決するためになされたものであり、以下の形態として実現することが可能である。

（１）本開示の一形態によれば、ワークに組み付けられた軸状部品の画像検査システムが提供される。この画像検査システムは、前記軸状部品を含む前記ワークの撮像画像を取得する取得部と、前記撮像画像を、前記軸状部品の外周に設けられた溝部を検出するように予め機械学習された第１識別器に入力することで、前記溝部の有無を含む前記溝部に関する第１情報を生成する情報生成部と、前記第１情報に基づき、組み付けられた前記軸状部品の異常を判定する判定部と、を備える。
軸状部品は、スパナによって締め付けや取り外しを行うための溝部が設けられている場合が多い。そのため、このような態様とすれば、軸状部品に鋳出し文字が形成されていない場合であっても、例えば、溝部の有無や、溝部の位置や形状等の第１情報に基づき、軸状部品の異常を判定できる。そのため、鋳出し文字が形成されていない軸状部品であっても検査できる。
（２）上記形態の画像検査システムにおいて、前記第１情報は、前記撮像画像の一部における前記溝部を含む第１物体領域の画素位置を含む情報でもよい。
このような態様とすれば、第１物体領域の画素位置を検出できる。
（３）上記形態の画像検査システムにおいて、前記判定部は、前記第１物体領域が前記撮像画像の予め定められた領域内に位置しない場合に、前記軸状部品に異常があると判定してもよい。
このような態様とすれば、第１物体領域が撮像画像の予め定められた領域内に位置しない場合に、軸状部品に異常があると判定できる。
（４）上記形態の画像検査システムにおいて、前記軸状部品は、車両が備えるステアリングシャフトに組み付けられるタイロッドエンドでもよい。
このような態様とすれば。タイロッドエンドについて画像検査を行うことができる。
（５）上記形態の画像検査システムにおいて、前記軸状部品は、フランジを有するナットによって前記ワークに組み付けられており、前記情報生成部は、前記撮像画像を、前記ナットを検出するように予め機械学習された第２識別器に入力することで、前記ナットの向きに関する第２情報を生成し、前記判定部は、前記第２情報に基づき、前記軸状部品に異常があると判定してもよい。
このような態様とすれば、ナットの取り付けが誤っている軸状部品を、異常があると判定することができる。
（６）上記形態の画像検査システムにおいて、前記第２情報は、前記撮像画像の一部における前記ナットを含む第２物体領域画素位置を含む情報でもよい。
このような態様とすれば、第２物体領域画素位置を検出できる。

なお、本開示は、種々の形態で実現することが可能であり、例えば、ワークに組み付けられた軸状部品の画像検査装置等の態様で実現することが可能である。

画像検査システムの概略構成を示す概略図である。 軸状部品の一例を示す説明図である。 撮像画像の一例である。 画像検査処理の一例を表わすフローチャートである。 異常がないと判定される場合の第１撮像画像の一例である。 異常があると判定される場合の第２撮像画像の一例である。 第２実施形態における画像検査システムの概略構成を示す概略図である。 異常がないと判定される場合の第３撮像画像の一例である。 異常があると判定される場合の第４撮像画像の一例である。

Ａ．第１実施形態：
図１は、本発明の一実施形態における画像検査システム１０の概略構成を示す概略図である。画像検査システム１０は、検査装置１００と、カメラ２００と、記憶装置３００とを備える。画像検査システム１０は、ワークに組み付けられた軸状部品の検査を行うシステムである。本実施形態において、画像検査システム１０は、ワークの撮像を行う１つのカメラ２００につき、１つの検査装置１００を備えている。

図２は、軸状部品２０の一例を示す説明図である。本実施形態において、軸状部品２０は、車両が備えるステアリングシャフトに組み付けられるタイロッドエンドである。２０は、リング部２１と溝部２２とを備える。リング部２１は、ステアリングシャフトと接合する端部と反対側の端部に設けられており、リング形状を有する。溝部２２は、軸状部品２０の軸状部分の外周であって、リング部２１の穴と同じ面方向に設けられている。溝部２２は、軸状部品２０をステアリングシャフトに組み付ける際に、スパナやレンチ等の工具を係合させる工具係合部であり、略矩形形状の横断面形状である。

検査装置１００（図１参照）は、取得部１１０と、情報生成部１２０と、判定部１３０と、出力部１４０と、を備える。検査装置１００は、中央処理装置（ＣＰＵ）や、ＲＡＭ、ＲＯＭにより構成されたコンピュータからなり、予めインストールされたプログラムをコンピュータが実行することによって、取得部１１０や情報生成部１２０、判定部１３０、出力部１４０の機能を実現する。ただし、これらの各部の機能の一部又は全部をハードウエア回路で実現してもよい。検査装置１００は、例えば、エッジコンピューティングで利用される。

取得部１１０は、カメラ２００から軸状部品２０を含むワークの撮像画像を取得する。この機能を「取得機能」ともいう。

図３は、撮像画像ｉｍｇの一例である。本実施形態において、カメラ２００は、ステアリングシャフトの両端にナット３０によってそれぞれ組み付けられたタイロッドエンドの内、ある一方の端部に組み付けられたタイロッドエンドを撮像する。本実施形態において、ナット３０は、フランジ３１を軸状部品２０と接合する側に有する。カメラ２００は、軸状部品２０が正しく組み付けられている場合において、撮像画像ｉｍｇの上下方向に溝部２２が位置するように、軸状部品２０を撮像する。カメラ２００は、例えば、軸状部品２０の至近距離で広範囲の撮像ができるように、広角レンズを備えるものを採用する。

本実施形態において、情報生成部１２０（図１参照）は、軸状部品２０の外周に設けられた溝部２２を検出するように予め機械学習された第１識別器１２１を有する。情報生成部１２０は、取得部１１０が取得した撮像画像ｉｍｇを第１識別器１２１に入力することで、溝部２２の有無を含む溝部２２に関する第１情報を生成する。この機能を「情報生成機能」ともいう。

第１識別器１２１は、取得部１１０が取得した撮像画像ｉｍｇに基づいて、撮像画像ｉｍｇの一部における溝部２２の有無を含む溝部２２に関する第１情報を出力するようコンピュータを機能させるための、第１学習済みモデルを有する。本実施形態において、第１学習済みモデルは、Ｓｉｎｇｌｅ Ｓｈｏｔ Ｍｕｌｔｉｂｏｘ Ｄｅｔｅｃｔｏｒ（ＳＳＤ）を利用した学習用プログラムにより機械学習された学習済モデルである。より具体的には、第１学習済みモデルは、５１２ｐｘ×５１２ｐｘの撮像画像ｉｍｇで学習および推論を行うＳＳＤ－５１２を利用した学習用プログラムにより機械学習された学習済モデルである。

本実施形態において、第１識別器１２１は、取得部１１０が取得した撮像画像ｉｍｇと、出力結果を記憶装置３００に記憶させる。第１識別器１２１は記憶装置３００に記憶されたデータを用いて再学習してもよい。

判定部１３０は、第１情報に基づき、組み付けられた軸状部品２０の異常を判定する。この機能を「判定機能」ともいう。

出力部１４０は、判定部１３０が判定した結果を出力する。例えば、出力部１４０は、ワークの製造ラインにおけるプログラマブルロジックコントローラ（ＰＬＣ）に判定結果を出力する。

図４は、本実施形態における、画像検査システム１０の画像検査処理の一例を表わすフローチャートである。画像検査処理は撮像画像ｉｍｇを用いて、軸状部品２０の異常を検査する処理である。この処理は、例えば、軸状部品２０をワークに組み付ける生産ラインの稼働中に繰り返し行われる処理である。

ステップＳ１００において、取得部１１０は、カメラ２００が撮像した軸状部品２０を含むワークの撮像画像ｉｍｇを取得する。この工程を「取得工程」ともいう。

ステップＳ１１０において、情報生成部１２０は、ステップＳ１００で取得した撮像画像ｉｍｇを、第１識別器１２１に入力することで、第１情報を生成する。この工程を「情報生成工程」ともいう。本実施形態において、第１情報は、撮像画像ｉｍｇの一部における溝部２２を含む第１物体領域を示す画素位置を含む情報である。情報生成部１２０は、撮像画像ｉｍｇを第１識別器１２１に入力することで、第１物体領域を検出し、第１情報を生成する。

ステップＳ１２０において、判定部１３０は、ステップＳ１１０で生成した第１情報に基づき、組み付けられた軸状部品２０の異常を判定する。この工程を「判定工程」ともいう。本実施形態において、判定部１３０は、軸状部品２０に溝部２２がある場合に異常がないと判定し、軸状部品２０に溝部２２がない場合に異常があると判定する。すなわち、判定部１３０は、第１物体領域が検出された場合に異常がないと判定し、第１物体領域が検出されない場合に異常があると判定する。

図５は、異常がないと判定される場合の第１撮像画像ｉｍｇ１の一例である。図６は、異常があると判定される場合の第２撮像画像ｉｍｇ２の一例である。図５に示す第１撮像画像ｉｍｇ１は、正しい種類の軸状部品２０が正しくワークに組み付けられているため、溝部２２を含む第１物体領域Ａ１が検出されている。そのため、判定部１３０は、異常が無いと判定する。図６に示す第２撮像画像ｉｍｇ２は、間違った種類の軸状部品２０がワークに組み付けられているおよび／または軸状部品２０が間違ってワークに組み付けられているため、第２撮像画像ｉｍｇ２に溝部２２が撮像されておらず、第１物体領域Ａ１が検出されていない。そのため、判定部１３０は、異常があると判定する。

以上で説明した本実施形態の画像検査システム１０によれば、判定部１３０は、溝部２２の有無によって軸状部品２０の検査を行っている。そのため、このような態様とすれば、軸状部品２０に鋳出し文字が形成されていない場合であっても、正しい種類の軸状部品２０が正しくワークに組み付けられているか否かの検査を行うことができる。また、カメラ２００は普通のカメラであり、画像検査システム１０は、異なる波長を照射できる光源装置および波長成分の画像を撮像するための暗室等の撮影環境を必要としない。そのため、検査システムの構築コストが増大することを抑制できる。

Ｂ．第２実施形態：
図７は、第２実施形態における画像検査システム１０Ｂの概略構成を示す概略図である。第２実施形態における検査装置１００Ｂは、情報生成部１２０が第２識別器１２２を有する点が、第１実施形態と異なり、他の構成は第１実施形態と同じである。

情報生成部１２０は、取得部１１０が取得した撮像画像ｉｍｇを、ナット３０およびフランジ３１を検出するように予め機械学習された第２識別器１２２に入力することで、撮像画像ｉｍｇの一部におけるナット３０を含む第２物体領域を検出し、ナット３０の向きに関する第２情報を生成する。本実施形態において、第２情報は、第２物体領域の画素位置を含み、軸状部品２０に対するナット３０およびフランジ３１の位置を示す情報である。

第２識別器１２２は、取得部１１０が取得した撮像画像ｉｍｇに基づいて、撮像画像ｉｍｇの一部におけるナット３０の向きに関する第２情報を出力するよう、コンピュータを機能させるための第２学習済みモデルを有する。本実施形態において、第２学習済みモデルは、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ（ＣＮＮ））を用いて、撮像画像ｉｍｇからナット３０を検出する。

本実施形態において、判定部１３０は、第２物体領域におけるナット３０の向きが予め定められた方向でない場合に、軸状部品２０に異常があると判定する。より具体的には、判定部１３０は、溝部２２が有る場合であって、かつ、第２物体領域におけるナット３０のフランジ３１の位置が、ナット３０において軸状部品２０に対向する側に検出された場合に異常がないと判定し、フランジ３１の位置が、ナット３０において軸状部品２０に対向する側と反対側に検出された場合に異常があると判定する。

図８は、異常がないと判定される場合の第３撮像画像ｉｍｇ３の一例である。図９は、異常があると判定される場合の第４撮像画像ｉｍｇ４の一例である。図８に示す第３撮像画像ｉｍｇ３は、ナット３０が正しくワークに組み付けられているため、第２物体領域Ａ２におけるフランジ３１の位置が、ナット３０において軸状部品２０に対向する側に検出されている。そのため、判定部１３０は、異常が無いと判定する。図９に示す第４撮像画像ｉｍｇ４は、ナット３０が正しくワークに組み付けられていないため、第２物体領域Ａ３におけるフランジ３１の位置がナット３０において軸状部品２０に対向する側と反対側に検出されている。そのため、判定部１３０は、異常があると判定する。

以上で説明した本実施形態の画像検査システム１０によれば、判定部１３０は、ナット３０のフランジ３１の位置によって、軸状部品２０が正しくワークに組み付けられているかを判定している。そのため、ナット３０の取り付けが誤っている軸状部品２０を、異常があると判定することができる。

Ｃ．他の実施形態：
（Ｃ１）上述した実施形態において、情報生成部１２０は、第１識別器１２１を有している。これに限らず、情報生成部１２０は、第１識別器１２１を有していなくてもよい。例えば、第１識別器１２１は、画像検査システム１０が備える、検査装置１００の外部のコンピュータであってもよい。

（Ｃ２）上述した実施形態において、情報生成部１２０は、取得部１１０から取得した撮像画像ｉｍｇを第１識別器１２１に入力している。この代わりに、取得部１１０から取得した撮像画像ｉｍｇにおける予め定められた対象領域を第１識別器１２１に入力してもよい。対象領域は、例えば、正しい軸状部品２０が、正常にワークに組み付けられた場合に、溝部２２が位置すると推定される領域である。対象領域は、軸状部品２０の種類やカメラ２００とワークとの位置関係から定められる。

（Ｃ３）上述した実施形態において、第１情報は、撮像画像ｉｍｇにおける第１物体領域Ａ１を示す画素位置を含む情報である。これに限らず、第１情報は、溝部２２の大きさや形状、数等を含む情報であってもよい。また、第１情報は、溝部２２の有無のみを示す情報でもよい。この場合、第１識別器１２１は、溝部２２の有無を出力してもよく、第１物体領域Ａ１を示す画素位置を出力してもよい。例えば、情報生成部１２０は、第１識別器１２１が第１物体領域Ａ１を示す画素位置を出力した場合に、溝部２２が有るという情報を第１情報として生成できる。また、情報生成部１２０は、第１識別器１２１が第１物体領域Ａ１が検出されなかったとして画素位置を出力しなかった場合に、溝部２２が無いという情報を第１情報として生成できる。

（Ｃ４）上述した実施形態において、判定部１３０は、溝部２２部の有無によって軸状部品２０に異常があるか否かを判定している。これに限らず、判定部１３０は、溝部２２部の位置、すなわち撮像画像ｉｍｇにおける第１物体領域Ａ１の位置が予め定められた正常領域に位置するか否かで判定してもよい。正常領域は、例えば、正しい軸状部品２０が、正常にワークに組み付けられた場合に、溝部２２が位置すると推定される領域である。正常領域は、軸状部品２０の種類やカメラ２００とワークとの位置関係から定められる。また、判定部１３０は、溝部２２の大きさや形状、数によって、軸状部品２０に異常があるか否かを判定してもよい。

（Ｃ５）上述した実施形態において、検査装置１００は、機械学習されたモデルを用いない画像解析技術を併用して画像検査を行ってもよい。例えば、判定部１３０は、第１物体領域Ａ１の画像と、予め用意された正常な軸状部品２０における溝部２２を含む画像とを用いて、既知のパターンマッチングを行い、画像検査を行うことができる。

（Ｃ６）上述した実施形態において、軸状部品２０は、車両が備えるステアリングシャフトに組み付けられるタイロッドエンドである。これに限らず、軸状部品２０は、トランスミッションのシャフトに組み付けられる軸状の部品等でもよい。

（Ｃ７）上述した第２実施形態において、第２情報は、撮像画像ｉｍｇにおける第２物体領域を示す画素位置を含む情報である。これに限らず、第２情報は、ナット３０の向きのみを示す情報でもよい。この場合、第２識別器１２２は、ナット３０の向きを出力してもよく、ナット３０とフランジ３１を示す各画素位置を出力してもよい。例えば、情報生成部１２０は、第２識別器１２２が出力した画素位置を比較して、ナット３０の向きを示す情報を第２情報として生成できる。

（Ｃ８）上述した第２実施形態において、判定部１３０は、ナット３０の向きによって軸状部品２０に異常があるか否かを判定している。これに限らず、判定部１３０は、ナット３０の位置によって軸状部品２０に異常があるか否かを判定してもよい。より具体的には、判定部１３０は、第１物体領域Ａ１が検出された場合であって、かつ、第２物体検出領域の位置が予め定められたナット領域に位置する場合に、軸状部品２０に異常がないと判定し、第２物体検出領域の位置がナット領域に位置しない場合に、軸状部品２０に異常があると判定できる。ナット領域は、例えば、正しい軸状部品２０が、正常にワークに組み付けられた場合に、ナット３０が位置すると推定される領域である。正常領域は、軸状部品２０の種類やカメラ２００とワークとナット３０との位置関係から定められる。また、判定部１３０は、フランジ３１が軸状部品２０の端部と接しているか否かによって、軸状部品２０に異常があるか否かを判定してもよい。

本開示は、上述の実施形態に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態中の技術的特徴は、上述した課題を解決するために、あるいは上述の効果の一部又は全部を達成するために、適宜、差し替えや組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜削除することが可能である。

１０、１０Ｂ…画像検査システム、２０…軸状部品、２１…リング部、２２…溝部、３０…ナット、３１…フランジ、１００、１００Ｂ…検査装置、１１０…取得部、１２０…情報生成部、１２１…第１識別器、１２２…第２識別器、１３０…判定部、１４０…出力部、２００…カメラ、３００…記憶装置

Claims (9)

1. ワークに組み付けられた軸状部品の画像検査システムであって、
   前記軸状部品を含む前記ワークの撮像画像を取得する取得部と、
   前記撮像画像を、前記軸状部品の外周に設けられた溝部を検出するように予め機械学習された第１識別器に入力することで、前記溝部の有無を含む前記溝部に関する第１情報を生成する情報生成部と、
   前記第１情報に基づき、組み付けられた前記軸状部品の異常を判定する判定部と、を備える、画像検査システム。
2. 請求項１に記載の画像検査システムであって、
   前記第１情報は、前記撮像画像の一部における前記溝部を含む第１物体領域の画素位置を含む情報である、画像検査システム。
3. 請求項２に記載の画像検査システムであって、
   前記判定部は、前記第１物体領域が前記撮像画像の予め定められた領域内に位置しない場合に、前記軸状部品に異常があると判定する、画像検査システム。
4. 請求項１から請求項３までのいずれか一項に記載の画像検査システムであって、
   前記軸状部品は、車両が備えるステアリングシャフトに組み付けられるタイロッドエンドである、画像検査システム。
5. 請求項４に記載の画像検査システムであって、
   前記軸状部品は、フランジを有するナットによって前記ワークに組み付けられており、
   前記情報生成部は、前記撮像画像を、前記ナットおよび前記フランジを検出するように予め機械学習された第２識別器に入力することで、前記ナットの向きに関する第２情報を検出し、
   前記判定部は、前記第２情報に基づき、前記ナットの向きが予め定められた方向でない場合に、前記軸状部品に異常があると判定する、画像検査システム。
6. 請求項５に記載の画像検査システムであって、
   前記第２情報は、前記撮像画像の一部における前記ナットを含む第２物体領域の画素位置を含む情報である、画像検査システム。
7. ワークに組み付けられた軸状部品の画像検査方法であって、
   前記軸状部品を含む前記ワークの撮像画像を取得する取得工程と、
   前記撮像画像を、前記軸状部品の外周に設けられた溝部を検出するように予め機械学習された第１識別器に入力することで、前記溝部の有無を含む前記溝部に関する第１情報を生成する情報生成工程と、
   前記第１情報に基づき、組み付けられた前記軸状部品の異常を判定する判定工程と、を含む、画像検査方法。
8. ワークに組み付けられた軸状部品の画像検査プログラムであって、
   前記軸状部品を含む前記ワークの撮像画像を取得する取得機能と、
   前記撮像画像を、前記軸状部品の外周に設けられた溝部を検出するように予め機械学習された第１識別器に入力することで、前記溝部の有無を含む前記溝部に関する第１情報を生成する情報生成機能と、
   前記第１情報に基づき、組み付けられた前記軸状部品の異常を判定する判定機能と、をコンピュータに実現させる画像検査プログラム。
9. 検査に使用される学習済みモデルであって、
   Ｓｉｎｇｌｅ Ｓｈｏｔ Ｍｕｌｔｉｂｏｘ Ｄｅｔｅｃｔｏｒ（ＳＳＤ）を利用した学習用プログラムにより機械学習され、
   ワークに組み付けられた軸状部品の画像に基づいて、前記軸状部品を含む前記ワークの画像における前記軸状部品の外周に設けられた溝部の有無を含む前記溝部に関する情報を出力するよう、コンピュータを機能させるための学習済みモデル。

Images