JP2019215186A

JP2019215186A - 縫い目検査装置

Info

Publication number: JP2019215186A
Application number: JP2018111251A
Authority: JP
Inventors: 高橋　健二; Kenji Takahashi; 健二高橋
Original assignee: Fanuc Corp
Current assignee: Fanuc Corp
Priority date: 2018-06-11
Filing date: 2018-06-11
Publication date: 2019-12-19
Anticipated expiration: 2038-06-11
Also published as: CN110599441A; US20190378266A1; JP6767432B2; CN110599441B; DE102019115139A1; US10984523B2

Abstract

【課題】自動的に縫製品の縫い目の画像の良否を判定することが可能な縫い目検査装置を提供すること【解決手段】本発明の縫い目検査装置１は、縫製品の縫い目の画像データを取得する画像データ取得部１１０と、画像データ取得部１１０が取得した前記縫製品の縫い目の画像データから、前記縫い目の特徴量を抽出する特徴抽出部１２０と、縫い目の特徴量に基づいて縫い目の良否判定を行う良否判定部１３０と、を備え、良否判定部１３０は、縫い目の特徴量に基づいて縫い目の良否判定を行うことを特徴とする。【選択図】図２

Description

本発明は、縫い目検査装置に関する。

工場で加工される加工品の中には、例えばカーシートのカバー部や鞄等のように、布状のワークを縫製加工した縫製品がある。縫製品には、縫い目の部分表面のデザインの一部となっているものがあり、その様な縫製品については、縫い目部分にゆがみや縫い目の長さや角度等のバラつきが無いか、作業員が一つ一つ目視により検査を行っていた。

上記したように縫製品の縫い目の検査は作業者が目視で行っていたため、作業者の熟練度や作業者の感覚、検査当日の作業員の体調等に依存し、検査レベルや検査時間を一定の水準に維持することが困難であるという課題があった。また、一定の水準の熟練度を持った作業員を確保するためには、作業員に対して縫い目の目視検査に関する訓練を施すといったコストが必要となる。

そこで本発明の目的は、自動的に縫製品の縫い目の画像の良否を判定することが可能な縫い目検査装置を提供することである。

本発明の縫い目検査装置は、カメラ等の撮像部で撮像した縫製品の画像データに対して画像処理を行うことで縫製品の縫い目を検出し、検出した縫い目について、その長さや角度等を特徴量として数値化し、該特徴量が一定の数値内に収まっているか否か、といった手法により該縫製品の縫い目の良否判定を行う。
また、本発明の他の実施形態の縫い目検査装置は、機械学習の手法を用い、縫製品の縫い目の画像に基づいて、該縫製品の縫い目の良否判定を行う。

そして、本発明の一態様は、縫製品の縫い目の良否を判定する縫い目検査装置であって、前記縫製品の縫い目の画像データを取得する画像データ取得部と、前記画像データ取得部が取得した前記縫製品の縫い目の画像データから、前記縫い目の特徴量を抽出する特徴抽出部と、前記縫い目の特徴量に基づいて縫い目の良否判定を行う良否判定部と、を備え、前記良否判定部は、前記縫い目の特徴量の内の長さ及び角度の少なくとも１つに基づいて縫い目の良否判定を行う、縫い目検査装置である。

本発明の他の態様は、縫製品の縫い目の良否を判定する縫い目検査装置であって、前記縫製品の縫い目の画像データを取得する画像データ取得部と、前記画像データ取得部が取得した前記縫製品の縫い目の画像データから、前記縫い目の特徴量を抽出する特徴抽出部と、前記縫い目の特徴量に基づいて縫い目の良否判定を行う良否判定部と、を備え、前記良否判定部は、縫製品の縫い目の特徴量と、前記縫製品について予め判定された良否結果とを教師データとした教師あり学習をした機械学習器として構成されている、縫い目検査装置である。

本発明により、従来は作業者の感覚に頼っていた縫い目の外観検査を数値化して管理する事ができ、省人化も期待できる。

一実施形態による縫い目検査装置の概略的なハードウェア構成図である。一実施形態による縫い目検査装置の概略的な機能ブロック図である。縫い目の良否判定について説明する図である。機械学習器により縫い目の良否を判定する場合の入力データについて説明する図である。特殊な縫い目の良否判定について説明する図である。

以下、本発明の実施形態を図面と共に説明する。
図１は本発明の一実施形態による縫い目検査装置の要部を示す概略的なハードウェア構成図である。本実施形態の縫い目検査装置１は、工場に設置された縫製機等の製造機械と併設されたパソコンや、工場に設置された製造機械の稼働の管理等に用いられるセルコンピュータ、ホストコンピュータ、エッジサーバ、クラウドサーバ等のコンピュータとして実装することができる。図１は、工場に設置された製造機械と併設されたコンピュータとして縫い目検査装置１を実装した場合の例を示している。

本実施形態による縫い目検査装置１が備えるＣＰＵ１１は、縫い目検査装置１を全体的に制御するプロセッサである。ＣＰＵ１１は、ＲＯＭ１２に格納されたシステム・プログラムをバス２１を介して読み出し、該システム・プログラムに従って縫い目検査装置１の全体を制御する。ＲＡＭ１３には一時的な計算データや表示データ、図示しない入力部を介してオペレータが入力した各種データ等が一時的に格納される。

不揮発性メモリ１４は、例えば図示しないバッテリでバックアップされたＳＲＡＭ等やＳＳＤ等を用い、縫い目検査装置１の電源がオフされても記憶状態が保持されるメモリとして構成される。不揮発性メモリ１４には、入力装置７１を介して入力されたデータやプログラム、ロボット２からインタフェース１９を介して取得されたデータ、撮像装置３からインタフェース２０を介して取得されたデータ等が記憶される。不揮発性メモリ１４に記憶されたデータやプログラム等は、利用時にはＲＡＭ１３に展開されても良い。また、ＲＯＭ１２には、撮像装置３から取得された画像データを画像解析のために必要とされる各種アルゴリズムや、その他の必要とされる処理を実行するためのシステム・プログラムがあらかじめ書き込まれている。

表示装置７０には、メモリ上に読み込まれた各データ、プログラム等が実行された結果として得られたデータ等がインタフェース１７を介して出力されて表示される。また、キーボードやポインティングデバイス等から構成される入力装置７１は、オペレータによる操作に基づく指令，データ等を受けてＣＰＵ１１に渡す。

撮像装置３は、カメラ等のように撮像対象の画像を撮像して画像データとして出力する機能を備える。撮像装置３による撮像動作は、ＣＰＵ１１により検査用プログラムに含まれる撮像制御用コードが実行されることによりインタフェース２０を介して出力される撮像指令により実行され、該撮像動作により取得された画像データはインタフェース２０を介してＣＰＵ１１へと渡される。
また、ロボット２は、撮像装置３が先端に取付けられた多関節ロボットであって良く、また、撮像装置３が取付けられた駆動部を撮像対象となる縫製品の位置へと移動させることができる直交ロボット等であっても良い。ロボット２の動作は、ＣＰＵ１１により検査用プログラムに含まれるロボット制御用コードが実行されることによりインタフェース１９を介して出力される制御指令により制御される。

図２は、本発明の一実施形態による縫い目検査装置１の概略的な機能ブロック図である。図２に示した各機能ブロックは、図１に示した縫い目検査装置１が備えるＣＰＵ１１がシステム・プログラムを実行し、縫い目検査装置１の各部の動作を制御することにより実現される。
本実施形態の縫い目検査装置１は、制御部１００、画像データ取得部１１０、特徴抽出部１２０、良否判定部１３０、表示部１４０を備える。

制御部１００は、不揮発性メモリ１４に記憶された検査用プログラム２００に基づいてロボット２及び撮像装置３を制御して、検査対象となる縫製品を撮像する。制御部１００は、ロボット２に取付けられた撮像装置３が、検査対象となる縫製品の撮像箇所を撮像できる位置にくるようにロボット２の各駆動部を駆動し、撮像装置３が縫製品の撮像箇所を撮像できる位置に来ると、撮像装置３に対して撮像条件の設定（露光、ピント、拡大率等の設定）と撮像動作を指令する。制御部１００は、検査用プログラム２００に従って、１つの縫製品の複数の撮像箇所を撮像するように、ロボット２、撮像装置３を制御するようにして良い。なお、制御部１００は、縫い目検査装置１にとって必須の要素ではない。たとえば、画像撮像装置などにより撮像された縫製品の画像データを図示しない外部記憶装置やネットワークを介して取得し、その取得した縫製品の画像データを用いて縫い目の検査を行うような場合、縫い目検査装置１自体が制御部１００を備える必要はない。

画像データ取得部１１０は、撮像装置３が撮像した縫製品の画像データを取得する。画像データ取得部１１０が取得する画像データは、１つの縫製品を撮像して得られた複数の画像データを１セットの画像データ群としてまとめて管理するようにしても良い。

特徴抽出部１２０は、画像データ取得部１１０が取得した画像データに対して公知の画像処理を行い、縫製品の画像の中から縫い目の特徴量を抽出する。特徴抽出部１２０は、例えばノイズ除去、エッジ抽出、予め作成したおいた縫い目パターンによるパターンマッチ等の公知の画像処理を行うことで縫製品の画像の中から縫い目の部分を特定し、特定した縫い目部分の画像から縫い目の特徴量を抽出するようにしても良い。また、特徴抽出部１２０は、縫製品の画像の中から特定した縫い目の部分について、一連の縫い目（例えば、同一方向に連続して並んでいる一連の縫い目、所定領域にまとまっている一連の縫い目等）を１セットの縫い目としてまとめた上で、該セットに含まれる縫い目の特徴量を抽出するようにしても良い。特徴抽出部１２０が抽出する縫い目の特徴量は、例えば縫い目の数や各縫い目の長さ、所定の基準軸に対する角度であって良い。また、特徴抽出部１２０が抽出する縫い目の特徴量は、例えば各縫い目の太さや面積、色、ほつれの有無等を特徴量として抽出するようにしても良い。

良否判定部１３０は、特徴抽出部１２０が抽出した縫い目の特徴量に基づいて、縫製品の縫い目の良否を判定する。良否判定部１３０は、図３に例示されるように、特徴抽出部１２０が抽出した縫い目の特徴量について、例えば予め定めた所定の長さの許容誤差の範囲外にある縫い目が予め定めた閾値以上の数ある場合に、縫製品を不良品として判定するようにしても良い。良否判定部１３０は、図３に例示されるように、特徴抽出部１２０が抽出した縫い目の特徴量について、例えば予め定めた所定の角度の許容誤差の範囲外にある縫い目が予め定めた閾値以上の数ある場合に、縫製品を不良品として判定するようにしても良い。逆に良否判定部１３０は、例えば長さや角度が許容される範囲内にある縫い目が予め定めた閾値以上ある場合に、縫製品を良品として判定するようにしても良い。また、良否判定部１３０は、１まとまりの縫い目のセットの中に、許容範囲から外れた縫い目がどれだけ存在するか、その割合等を用いて、良否判定をするようにしても良い。良否判定部１３０は、縫い目の長さや角度以外の、その他の特徴量に対して上記した判定を行うようにしても良く、また、これらの特徴量の組み合わせに基づいて、縫い目の良否を判定するようにしても良い。一般に、少なくとも角度のみ、又は長さのみを良否判定に用いることで、縫い目の見た目の良さをある程度保つことができるが、例えば長さ及び角度の両方を良否判定に用いたり、更に他の特徴量を合せて良否判定をすることで、より見た目の良い縫い目を備えた縫製品のみを良品として判定するようにすることができる。

良否判定部１３０は、１まとまりの縫い目のセットについて、縫い目の特徴量のばらつきに基づいて縫い目の良否を判定するようにしても良い。縫い目の良否は、一見したときに縫い目にまとまりがあるか無いかで判断されることがあるため、例えば長さや角度などの特徴量の分散値が予め定めた所定の閾値を超える場合に、縫製品を不良品として判定することは十分に意味がある。
一方、縫い目のほつれ等の特徴量については、１つでも有った場合には見た目が悪くなる場合があるので、数で良否を判定するようにすることが有効である。

良否判定部１３０は、１連の縫い目について、隣接する縫い目における特徴量の差分に基づいて、縫い目の良否を判定するようにしても良い。隣接する縫い目における特徴量の違いは、離れたところに位置する縫い目の間の特徴量の違いと比較して見た目に与える影響が大きい。そこで、隣接する縫い目の差分が予め定めた所定の閾値を超える縫い目の組が予め定めた閾値以上の数ある場合等に、縫製品が不良品であると判定するようにしても良い。

表示部は、良否判定部１３０が判定した補正品の縫い目の良否の判定結果を表示装置７０に表示する。表示部１４０は、良否判定部１３０の判定結果に基づいて、縫製品の縫い目の良否の判定を表示するようにしても良いし、（図３に例示されるように）具体的にどの縫い目がどの特徴量において基準から外れていたのかを示すようにしてもよい。

縫い目検査装置１の一変形例として、良否判定部１３０は、公知の機械学習器として構成しても良い。機械学習器を用いる場合、例えば簡単な構成とする場合には、教師あり学習を行う機械学習器として良否判定部１３０を構成し、縫製品の縫い目の画像について、特徴抽出部１２０により該縫い目の画像の特徴量と、予め熟練した作業者による該縫製品の縫い目の良否の判定結果とを教師データとした教師あり学習を行う。そして、良否判定部１３０は、その教師あり学習の結果に基づいて、画像データ取得部１１０が取得した縫製品の縫い目の画像について、縫い目の良否の判定を行う。

良否判定部１３０を教師あり学習を行う機械学習器として構成する場合、特徴抽出部１２０は、縫製品の縫い目の特徴量として、長さや角度などの特徴量を抽出するようにしても良いが、一方で、縫製品の画像から特定された縫い目の画像そのものを特徴量として抽出するようにしても良い。また、その際に、特徴抽出部１２０は、連続する一連の縫い目の内で、所定数の縫い目を含む縫い目の画像を特徴量として抽出するようにしても良い。良否判定部１３０として機械学習器を用いる場合、一連の縫い目全体の画像を用いて縫い目の良否を判定すると、縫い目に不良が有ると判定された場合に、どの縫い目に問題が有るのかを把握することが困難となるが、図４に例示されるように、例えば１連の縫い目全体の画像から、それぞれ１つ以上の少数の（例えば、３つの）縫い目が含まれる画像を機械学習器の入力データとして用いることで、不良と判定される原因となる箇所を特定することも可能となる。なお、良否判定部１３０を構成する機械学習器としては、例えば多層ニューラルネットを用いることができる。

以上、本発明の実施の形態について説明したが、本発明は上述した実施の形態の例のみに限定されることなく、適宜の変更を加えることにより様々な態様で実施することができる。
例えば、上記した実施形態では、撮像装置３が取り付けられているロボット２を制御して縫製品の画像を得る例を示したが、ロボット２が縫製品を把持して近傍に設置されている撮像装置３に対して縫製品の角度を変えながら該縫製品の縫い目を撮像させるように構成してもよい。

また、縫い目としては図３に例示されるもの以外にも、例えば図５に例示されるような複雑な形の縫い目を対象としても良く、その時には、それぞれの縫い目の形に合せた特徴量を用いるようにすれば良い。例えば、図５の例では、上列の縫い目と下列の縫い目について、それぞれ長さや角度を特徴量として抽出し、上列の縫い目と下列の縫い目では良否判定には異なる閾値を用いるようにすれば良い。また、図５の例では、上列の縫い目と下列の縫い目との角度差のバラつき等も良否判定の材料として用いることができる。
図５に例示した以外にも、例えば刺繍などに用いられるクロスステッチの縫い目に対して良否判定をするようにしても良い。クロスステッチの縫い目の良否を判定する場合には、例えば１つの平面エリアに施された縫い目を一連の縫い目のセットとして捉え、その縫い目のセットに対して良否の判定をするようにすれば良い。

１縫い目検査装置
２ロボット
３撮像装置
１１ＣＰＵ
１２ＲＯＭ
１３ＲＡＭ
１４不揮発性メモリ
１７，１８，１９，２０インタフェース
２１バス
７０表示装置
７１入力装置
１００制御部
１１０画像データ取得部
１２０特徴抽出部
１３０良否判定部
１４０表示部

Claims

縫製品の縫い目の良否を判定する縫い目検査装置であって、
前記縫製品の縫い目の画像データを取得する画像データ取得部と、
前記画像データ取得部が取得した前記縫製品の縫い目の画像データから、前記縫い目の特徴量を抽出する特徴抽出部と、
前記縫い目の特徴量に基づいて縫い目の良否判定を行う良否判定部と、
を備え、
前記良否判定部は、前記縫い目の特徴量に基づいて縫い目の良否判定を行う、
縫い目検査装置。
前記縫い目の特徴量は、縫い目の長さ及び角度の少なくとも１つを含む、
請求項１に記載の縫い目検査装置。
前記縫い目の特徴量は、縫い目の太さ、面積、色、ほつれの有無の少なくとも１つを含む、
請求項１に記載の縫い目検査装置。
前記良否判定部は、一連の縫い目に含まれるそれぞれの縫い目の特徴量について、許容範囲を超える特徴量が予め定めた閾値以上の数だけある場合に、縫い目が不良であると判定する、
請求項１〜３のいずれか１つに記載の縫い目検査装置。
前記良否判定部は、一連の縫い目に含まれるそれぞれの縫い目の特徴量について、該特徴量の分散値が予め定めた閾値以上である場合に、縫い目が不良であると判定する、
請求項１〜３のいずれか１つに記載の縫い目検査装置。
前記良否判定部は、一連の縫い目の中の隣接する縫い目の特徴量に差分が、予め定めた所定の閾値を超える縫い目の組が予め定めた閾値以上の数だけ有る場合に、縫い目が不良であると判定する、
請求項１〜３のいずれか１つに記載の縫い目検査装置。
縫製品の縫い目の良否を判定する縫い目検査装置であって、
前記縫製品の縫い目の画像データを取得する画像データ取得部と、
前記画像データ取得部が取得した前記縫製品の縫い目の画像データから、前記縫い目の特徴量を抽出する特徴抽出部と、
前記縫い目の特徴量に基づいて縫い目の良否判定を行う良否判定部と、
を備え、
前記良否判定部は、縫製品の縫い目の特徴量と、前記縫製品について予め判定された良否結果とを教師データとした教師あり学習をした機械学習器として構成されている、
縫い目検査装置。
前記特徴抽出部は、前記縫製品の縫い目の画像データから、前記縫い目の部分画像を特徴量として抽出する、
請求項５に記載の縫い目検査装置。