JP2023170622A - 検査支援システム - Google Patents

Abstract

【課題】自動検査装置と検査員との双方による効率的な検査の実施を可能とする検査支援システムを提供すること。【解決手段】検査支援システム１は、検査員に検査項目を通知する検査支援システムであって、自動検査項目及び手動検査項目を保持するサーバ１１と、サーバ１１から自動検査項目を取得し、良又は不良の判定を検査結果として出力する自動検査装置１２と、手動検査項目と、前記自動検査項目のうち、不良と判定され、手動で再検査する再検査項目との双方を表示する表示装置１３と、を備える。【選択図】図１

Description

本開示は、検査員に検査項目を通知する検査支援システムに関する。

製造された車両等の製品に対して、製品の不良の有無を確認する検査が実施される。例えば、車両の検査においては、検査ラインが構成され、複数の検査工程が複数の検査員により順次実施される。ここで、各検査員は、自身の実施すべき検査項目を割り当てられている。

検査員は、例えば、以下の方法で検査項目を把握している。まず、検査の対象となる車両毎の検査項目をサーバから取得し、紙面に印刷する。次に、検査項目が印刷された紙を、検査ライン上の車両に添付する。そして、検査ラインの進行に合わせ、各検査員が紙面に記載されている検査項目の検査を順次実施する。

また、特許文献１は、検査員に検査項目を通知する技術として、以下の技術を開示する。情報端末等のデータ記憶手段と通信端末を含む検査管理システムであって、当該検査管理システムは、検査対象製品についての検査項目リストのデータを工程別検査項目のデータに変換する検査項目データ変換手段を備えている。

特開２０２１－０７６８９１号公報

一方、一部の検査項目の検査については、検査ライン上に導入した自動検査装置を用いて実施することがある。この場合には、自動検査装置による検査結果次第で、その後検査員により実施すべき検査項目に差異が生じうる。

しかしながら、自動検査装置による検査の工程を導入した場合に、検査員は、自動検査装置による検査結果を反映した検査項目を効率的に把握することができない。すなわち、自動検査装置と検査員との双方による検査を行う場合には、検査員により実施する検査項目について追加や変更の管理をする必要があることから、このような処理の効率化が望まれていた。

そこで、本開示は、自動検査装置と検査員との双方による効率的な検査の実施を可能とする検査支援システムを提供することを目的とする。

本開示にかかる検査支援システムは、検査員に検査項目を通知する検査支援システムであって、自動検査項目及び手動検査項目を保持するサーバと、前記サーバから前記自動検査項目を取得し、良又は不良の判定を検査結果として出力する自動検査装置と、前記手動検査項目と、前記自動検査項目のうち、不良と判定され、手動で再検査する再検査項目との双方を表示する表示装置と、を備える。

ここで、前記表示装置は、複数の前記検査員がそれぞれ所持する複数の携帯端末であって、対象の検査員が所持する対象の携帯端末に表示される前記手動検査項目は、当該対象の検査員に割り当てられたものであり、前記対象の携帯端末に表示される前記再検査項目は、前記対象の検査員に割り当てられた前記手動検査項目に類似するものであってもよい。

また、前記自動検査装置により不良と判定されたが、再検査により良と判定された場合、前記表示装置の画面上において、前記自動検査装置により不良と判定された前記検査結果を、良の判定に修正可能としてもよい。

また、前記自動検査装置は、深層学習による画像認識によって検査を行ってもよい。

本開示によれば、自動検査装置と検査員との双方による効率的な検査の実施を可能とする検査支援システムを提供することができる。

実施の形態１にかかる検査支援システムの構成を示すブロック図である。 実施の形態１にかかる検査支援システムの検査結果表示端末による表示の一例を示す図である。 実施の形態１にかかる検査支援システムの携帯端末による表示の一例を示す図である。 実施の形態１にかかる検査支援システムによる処理の一例を示すフローチャートである。

実施の形態１
＜検査支援システムの構成＞
以下、図面を参照して実施の形態１について説明する。図１は、検査支援システム１の構成を示すブロック図である。検査支援システム１は、検査ラインにおいて、前工程状況を反映して検査項目を検査員に通知するシステムである。検査支援システム１は、例えば、車両生産ラインにおける目視検査の工程で用いられる。図１に示すように、検査支援システム１は、サーバ１１と、自動検査装置１２と、表示装置１３と、検査結果表示端末２１と、を備える。なお、本実施の形態において、表示装置１３は、複数の携帯端末２２である。

サーバ１１は、検査ラインにおいて実施される検査項目の情報を保持する。サーバ１１は、例えば、検査の対象となる車両毎の検査項目を保持している。サーバ１１は、検査項目として、自動検査装置１２により実施される自動検査項目と、検査員により実施される手動検査項目と、をそれぞれ保持する。なお、手動検査は、一例として、目視検査である。サーバ１１は、自動検査装置１２や表示装置１３と相互に通信可能に構成され、各装置に検査項目の情報を出力する。

自動検査装置１２は、検査ラインの一部に導入され、検査項目の一部の検査を自動的に実施する装置である。自動検査装置１２により実施する検査の検査項目は、サーバ１１において、自動検査項目として格納されている。自動検査装置１２は、サーバ１１に格納された自動検査項目について、検査対象が良好の状態であるか又は不良の状態であるかを判断する条件をそれぞれ記憶している。自動検査装置１２は、サーバ１１と相互に通信可能に構成され、サーバ１１より自動検査項目を取得する。自動検査装置１２は、取得した自動検査項目に基づいて、自動的に検査を実施する。自動検査装置１２は、検査対象について自動的に検査を実施し、良好の状態と判断すれば良の判定を、不良の状態と判断すれば不良の判定を出力する。

自動検査装置１２は、例えば、深層学習による画像認識を行う装置である。自動検査装置１２は、良好の状態である検査対象と不良の状態である検査対象を、多数の画像データに基づいて学習する。自動検査装置１２は、学習した結果に基づいて、検査対象を撮影した画像を解析し、当該部位が製品として良好の状態と判断すれば良の判定を、不良の状態と判断すれば不良の判定を出力する。なお、自動検査装置１２は、後述するように、不良の判定をした検査結果が検査員により良の判定に修正された場合に、修正された検査結果の情報に基づいて、当該検査における検査対象の良又は不良の状態を学習するものとしてもよい。

また、例えば、自動検査装置１２は、外部からの要求に基づいて検査の結果を出力するサーバ機能を有する。自動検査装置１２は、表示装置１３と相互に通信可能に構成される。自動検査装置１２は、表示装置１３による要求に基づいて、表示装置１３に検査の結果の情報を送信する。

表示装置１３は、手動検査項目と、自動検査項目のうち、自動検査装置１２により不良と判定され、手動で再検査する再検査項目との双方を表示する。表示装置１３は、例えば、サーバ１１及び自動検査装置１２と相互に通信可能に構成される。表示装置１３は、サーバ１１より手動検査項目を取得し、取得した手動検査項目を表示する。また、表示装置１３は、自動検査装置１２より自動検査の結果を取得し、少なくとも、自動検査において不良と判定され、検査員により手動で再検査する再検査項目を表示する。なお、表示装置１３は、自動検査装置１２より取得した検査結果を修正可能とする機能を有する。表示装置１３は、例えば、各検査員が所持する複数の携帯端末２２である。

検査結果表示端末２１は、自動検査装置１２による検査の結果を表示する端末である。検査結果表示端末２１は、例えば、検査ラインにおいて、検査員により確認可能な場所に設置される。検査結果表示端末２１は、自動検査装置１２と相互に通信可能に構成され、自動検査装置１２による良又は不良の判定結果を取得する。検査結果表示端末２１は、例えば、自動検査装置１２により自動検査を実施した全ての検査項目について、良又は不良の判定の結果を表示する。

図２を用いて、検査結果表示端末２１による表示の具体例を示す。図２は、検査結果表示端末２１による表示の一例を示す図である。図２に示すように、検査結果表示端末２１は、表示画面に、自動検査項目を自動検査項目表示１０１としてリストアップする。ここで、自動検査項目が複数であれば、図２に示すように、複数の自動検査項目表示１０１が表示画面に表示される。自動検査項目表示１０１は、検査項目の名称や検査項目の略称等の表示である。ここで、自動検査項目表示１０１は、自動検査装置１２による良又は不良の判定の結果を検査員により判別可能に表示する。例えば、自動検査項目表示１０１は、自動検査において良と判定された項目と不良と判定された項目とで、色分けして表示する。具体例として、自動検査項目表示１０１は、良と判定された項目の背景を緑色で表示し、不良と判定された項目の背景を黄色で表示する。検査員は、自動検査項目表示１０１を確認することで、自動検査装置１２による自動検査の結果を把握することができる。

なお、図２に示すように、検査結果表示端末２１は、自動検査項目表示１０１と併せて、検査種別を表す自動検査種別表示１０２を表示してもよい。自動検査種別表示１０２は、検査種別の名称や記号、検査対象等の表示である。自動検査種別表示１０２は、例えば、表示画面の最上位置に表示される。

携帯端末２２は、検査員が実施する検査項目を表示する端末である。携帯端末２２は、例えば、スマートフォンやタブレット端末である。携帯端末２２は、サーバ１１及び自動検査装置１２と通信可能に構成される。携帯端末２２は、例えば、サーバ１１及び自動検査装置１２と近距離無線通信により情報を送受信する。携帯端末２２は、サーバ１１から手動検査項目を取得する。また、携帯端末２２は、自動検査装置１２から、自動検査装置１２によって不良と判定された自動検査項目を取得する。ここで、自動検査装置１２により不良と判定された自動検査項目は、検査員による手動での再検査が必要とされる再検査項目である。携帯端末２２は、手動検査項目と、再検査項目とを表示する。

なお、携帯端末２２に表示される手動検査項目は、当該携帯端末２２を所持する対象の検査員に割り当てられたものであり、携帯端末２２に表示される再検査項目は、当該対象の検査員に割り当てられた手動検査項目に類似するものである。すなわち、携帯端末２２は、サーバ１１及び自動検査装置１２が保持する多数の検査項目の中から、当該携帯端末２２を所持する検査員が実施すべき検査項目を選択的に取得及び表示する。携帯端末２２は、例えば、サーバ１１と通信し、当該携帯端末２２を所持する対象の検査員に割り当てられた手動検査項目を取得する。また、携帯端末２２は、自動検査装置１２と通信し、自動検査装置１２により不良と判定された再検査項目について、取得した手動検査項目との類似を判定し、類似すると判定された再検査項目を取得する。携帯端末２２は、取得した手動検査項目と再検査項目との双方を表示する。これにより、携帯端末２２は、当該携帯端末２２を所持する対象の検査員に対し、手動検査項目及び再検査項目について、当該検査員に割り当てられた項目を通知する。

図３を用いて、携帯端末２２による表示の具体例を示す。図３は、携帯端末２２による表示の一例を示す図である。図３に示すように、携帯端末２２は、表示画面に、手動検査項目及び再検査項目を、手動検査項目表示２０１としてリストアップする。ここで、手動検査項目及び再検査項目が複数であれば、図３に示すように、複数の手動検査項目表示が表示画面に表示される。手動検査項目表示２０１は、検査項目の名称や検査項目の略称等の表示である。手動検査項目表示２０１は、例えば、手動検査項目と再検査項目とを検査員により判別可能に表示する。手動検査項目表示２０１は、例えば、手動検査項目の背景と再検査項目の背景とで異なる配色として表示する。

また、表示装置１３は、自動検査装置１２により不良と判定されたが、再検査により良と判定された場合、画面上において自動検査装置１２により不良と判定された検査結果を、良の判定に修正可能とする。例えば、携帯端末２２は、自動検査装置１２より取得した検査結果を検査員により修正可能とする機能を有する。すなわち、携帯端末２２は、検査員による入力を受け付ける入力手段を備えている。携帯端末２２は、例えば、検査員による入力に応じて、自動検査装置１２から取得した不良の判定を良の判定に書き換え可能なものとする。このような検査結果の修正は、例えば、自動検査装置１２によっては不良と判定された検査項目について、検査員により再検査を行い、再検査によって良と判定された場合に行われる。

＜検査支援システムによる処理の一例＞
図４を用いて、検査ラインにおける検査支援システム１による処理の一例について説明する。図４は、検査支援システム１による処理の一例を示すフローチャートである。

まず、検査ラインにおいて、自動検査装置１２による検査の工程に入ると、自動検査装置１２は、サーバ１１より自動検査項目を取得する（ステップＳ３０１）。そして、自動検査装置１２は、取得した自動検査項目に基づいて、検査対象に対する自動検査を実施する（ステップＳ３０２）。そして、検査結果表示端末２１は、自動検査装置１２より自動検査の結果を取得し、表示画面に自動検査の結果を表示する（ステップＳ３０３）。

次に、携帯端末２２は、サーバ１１より手動検査項目を取得する（ステップＳ３０４）。次に、携帯端末２２は、自動検査装置１２と通信し、自動検査項目のうち、自動検査により不良と判定され、手動による再検査が必要な再検査項目を取得する（ステップＳ３０５）。ここで、携帯端末２２は、ステップＳ３０４において取得した手動検査項目と、自動検査装置１２が保持する自動検査項目との類似を判定し、手動検査項目に類似すると判定された再検査項目を取得する。

次に、携帯端末２２は、取得した手動検査項目と再検査項目との双方を表示し（ステップＳ３０６）、検査支援システム１は、処理を終了する。なお、ステップＳ３０４乃至３０６に示す携帯端末２２による処理は、複数の携帯端末２２それぞれが実行する処理である。そして、検査員は、携帯端末２２に表示された手動検査項目及び再検査項目に基づいて、手動検査を実施する。ここで、検査員は、例えば、自動検査装置１２により不良と判定された再検査項目について、良の判定であると判断すれば、携帯端末２２の入力手段を用いて、自動検査の結果を修正してもよい。

なお、上述した例では、検査結果表示端末２１への自動検査の結果の表示（ステップＳ３０３）の後に、携帯端末２２によるサーバ１１からの手動検査項目の取得（ステップＳ３０４）を行ったが、これに限らず、携帯端末２２によるサーバ１１からの手動検査項目の取得（ステップＳ３０４）の後に、検査結果表示端末２１への自動検査の結果の表示（ステップＳ３０３）を行ってもよい。また、検査結果表示端末２１への自動検査の結果の表示（ステップＳ３０３）と、携帯端末２２によるサーバ１１からの手動検査項目の取得（ステップＳ３０４）とを同時に行ってもよい。

上述の実施形態における各構成は、ハードウェア又はソフトウェア、もしくはその両方によって構成され、１つのハードウェア又はソフトウェアから構成してもよいし、複数のハードウェア又はソフトウェアから構成してもよい。各装置の機能（処理）を、ＣＰＵ（Central Processing Unit）やメモリ等を有するコンピュータにより実現してもよい。例えば、記憶装置に実施形態における方法（例えば制御方法）を行うためのプログラムを格納し、各機能を、記憶装置に格納されたプログラムをＣＰＵで実行することにより実現してもよい。

これらのプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

上述したような検査支援システム１によれば、検査ラインにおいて、自動検査装置１２による検査の後工程を担う検査員は、自動検査装置１２による検査の結果から再検査が必要とされる項目を含め、自身が実施すべき検査項目を把握することができる。換言すると、検査支援システム１は、自動検査装置１２により検査を実施した自動検査項目であって、不良と判定され再検査の実施を要する再検査項目と、手動検査項目との双方を検査員に通知することができる。すなわち、検査支援システム１は、自動検査装置と検査員との双方による効率的な検査の実施を可能とすることができる。

また、検査支援システム１は、各検査員に対して、対象の検査員に割り当てられた一部の手動検査項目と、当該一部の手動検査項目に類似し、且つ自動検査装置１２により不良と判定され再検査の実施を要する再検査項目との双方を通知する。これにより、検査支援システム１は、各検査員に対して、各検査員が実施すべき検査項目を適切に振り分けることができる。

具体例として、車両の検査ラインにおいて、一の検査員が車両の右側面を、他の一の検査員が車両の左側面を検査する場合にあって、自動検査装置１２により車両の各側面で不良判定の検査項目が生じたものとする。このとき、検査支援システム１によれば、右側面又は左側面の手動検査項目を各検査員に振り分けて通知するとともに、手動検査項目との類似の判断から、再検査項目についても、右側面又は左側面を検査する各検査員に適切に振り分けて通知することができる。

また、検査支援システム１は、各検査員が所持する携帯端末２２を用いて、各検査員に対し、対象の検査員にそれぞれ割り当てられた検査項目を通知する。これにより、検査支援システム１は、実施すべき検査項目について各検査員が効率的に把握することができ、検査員への検査項目の通知を効率的なものとすることができる。

また、検査支援システム１は、表示装置１３において、自動検査装置１２により不良と判定された検査結果を、検査員により良の判定に修正可能としている。これにより、検査支援システム１は、検査員による検査の結果を素早く反映させることができる。また、自動検査装置１２が深層学習による画像認識を行う装置である場合に、検査員により修正された情報に基づいて、検査対象の良又は不良の状態を自動検査装置１２に学習させるものとすることもできる。

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、自動検査装置１２が、自動検査の結果を保持し、検査結果表示端末２１や携帯端末２２と通信するサーバ機能を有する例を説明したが、これに限定されない。自動検査装置１２による自動検査の結果を検査結果表示端末２１や携帯端末２２に送信する経路は、適宜設定可能である。例えば、自動検査装置１２による自動検査の結果をサーバ１１に格納する構成とし、検査結果表示端末２１や携帯端末２２がサーバ１１との通信により自動検査の結果を取得するものとしてもよい。

また、上記実施の形態では、表示装置１３が複数の携帯端末２２である例を説明したが、これに限定されない。表示装置１３は、手動検査項目及び再検査項目の双方を表示するものであればよく、その表示の方法は適宜設定可能である。例えば、表示装置１３は、検査結果表示端末２１であってもよい。すなわち、検査結果表示端末２１は、サーバ１１から手動検査項目をさらに取得可能に構成され、手動検査項目と不良と判定された自動検査項目との双方を表示するものとしてもよい。ここで、検査結果表示端末２１は、表示する検査項目を、任意の検査員に割り当てられた検査項目に絞り込んで表示する機能を有していてもよい。すなわち、検査結果表示端末２１は、対象の検査員に割り当てられた一部の手動検査項目と、当該一部の手動検査項目に類似する再検査項目との双方を表示するものとしてもよい。ただし、検査員毎に異なる検査項目を効率的に各検査員に通知するためには、各検査員が所持する携帯端末２２を表示装置１３とする構成が好適である。

また、上述した例では、携帯端末２２がサーバ１１及び自動検査装置１２より検査項目を選択的に取得する例を説明したが、これに限定されない。携帯端末２２は、例えば、サーバ１１及び自動検査装置１２から全ての検査項目を取得してもよい。携帯端末２２は、取得した全ての検査項目の情報を絞り込み、当該携帯端末２２を所持する検査員に割り当てられる検査項目を選択的に表示するものとしてもよい。ここで、携帯端末２２に表示する検査項目の選択は、検査員による携帯端末２２の操作により実現されるものであってもよい。すなわち、検査員が実施すべき検査項目を抽出して当該検査員に通知できる構成であれば、検査項目の取得或いは検査項目の表示の方法は適宜設定可能である。

また、上述した例では、携帯端末２２が、近距離無線通信によりサーバ１１及び自動検査装置１２と通信し、検査項目を取得する例を説明したが、これに限定されない。携帯端末２２、サーバ１１及び自動検査装置１２は、電気通信回線を通じて相互に情報を送受信する構成としてもよい。ここで、サーバ１１は、物理サーバに限られず、クラウドサーバであってもよい。

また、自動検査装置１２による自動検査の結果を修正可能とするため、携帯端末２２が入力手段を備える例を説明したが、自動検査の結果を修正可能とする構成は、これに限定されない。自動検査の結果を検査員により修正できるものであれば、その構成は適宜設定可能である。例えば、携帯端末２２に代えて、検査結果表示端末２１に入力手段が設けられていてもよい。または、検査結果表示端末２１及び携帯端末２２の双方に入力手段が設けられていてもよい。或いは、自動検査装置１２に、自動検査の結果を検査員により修正可能とする機能を付してもよい。

また、上述した実施の形態１において、検査支援システム１が、車両生産ラインにおける目視検査の工程で用いられる例を説明したが、これに限定されない。また、検査支援システム１における自動検査装置１２は、深層学習による画像認識を行う装置に限定されない。検査支援システム１は、目視検査以外の他の検査を行うものであっても、自動検査を行う工程を含む検査ラインにおいては任意に適用され得る。例えば、検査支援システム１は、ねじ締めのトルクを検出する自動検査装置を用いて、ねじ締めのトルク管理を行う場合においても適用され得る。

具体的に説明すると、まず、検査支援システム１において、自動検査装置が、ねじ締めのトルクを検出する装置であるものとする。この自動検査装置を用いて、例えば、作業者がねじ締めをするときに、自動検査装置によりそのトルクを検出する。このとき、締め付けのトルクが適正であるか、自動検査装置により検知することができる。自動検査装置は、締め付けのトルクが適正であれば良の判定を、適正でなければ不良の判定を出力する。そして、少なくとも自動検査装置により不良の判定が為された場合には、表示装置への表示により、当該自動検査の結果を検査員に通知する。これにより、検査員は、自動検査装置による良又は不良の判定結果に基づいて、後の工程において、ねじ締めのトルクの再検査を要するか否か、割り当てられた手動検査項目とともに把握することができる。

１ 検査支援システム
１１ サーバ
１２ 自動検査装置
１３ 表示装置
２１ 検査結果表示端末
２２ 携帯端末
１０１ 自動検査項目表示
１０２ 自動検査種別表示
２０１ 手動検査項目表示

Claims (4)

1. 検査員に検査項目を通知する検査支援システムであって、
   自動検査項目及び手動検査項目を保持するサーバと、
   前記サーバから前記自動検査項目を取得し、良又は不良の判定を検査結果として出力する自動検査装置と、
   前記手動検査項目と、前記自動検査項目のうち、不良と判定され、手動で再検査する再検査項目との双方を表示する表示装置と、
   を備える検査支援システム。
2. 前記表示装置は、複数の前記検査員がそれぞれ所持する複数の携帯端末であって、
   対象の検査員が所持する対象の携帯端末に表示される前記手動検査項目は、当該対象の検査員に割り当てられたものであり、
   前記対象の携帯端末に表示される前記再検査項目は、前記対象の検査員に割り当てられた前記手動検査項目に類似するものである、
   請求項１に記載の検査支援システム。
3. 前記自動検査装置により不良と判定されたが、再検査により良と判定された場合、
   前記表示装置の画面上において、前記自動検査装置により不良と判定された前記検査結果を、良の判定に修正可能とする、
   請求項１又は２に記載の検査支援システム。
4. 前記自動検査装置は、深層学習による画像認識によって検査を行う、
   請求項１又は２に記載の検査支援システム。

Images