JP2022135007A - 作業適正判定装置 - Google Patents

Abstract

【課題】人工知能による画像認識を用いて作業の適正判定を行う場合に、ラベル付けを含めた機械学習の手間を軽減することが可能な作業適正判定装置を提供する。【解決手段】例えば、ハーネス結線作業後の適正完了状態の嵌合コネクタ（対象体）３を学習させるにあたって嵌合コネクタ３を指差すジェスチャを所定の指標とした場合、学習の前段として、その指差しジェスチャを人工知能によって学習させる。提供される画像に指差しジェスチャが存在する場合、その画像は、ハーネス結線作業が適正に完了した状態の嵌合コネクタ３が存在する画像であるから、指差しジェスチャ、すなわち指標が存在する画像を人工知能が抽出するようにすることで、機械学習の画像抽出段階のラベル付けが人工知能によって行われる。【選択図】図４

Description

本発明は、作業適正判定装置、特に、作業が適正に行われた適正完了状態の対象体（物体）の画像を人工知能に学習させ、実際の作業後の画像中に学習された上記適正完了状態の対象体と略一致する対象体の画像が検出された場合に作業が適正に行われたと判定する作業適正判定装置に関する。

例えば、製造業において、所定の作業を行う場合に、その作業が適正に行われたか否かを判定する装置や方法に画像解析（画像認識）技術が用いられつつある。例えば、下記特許文献１に記載される発明は、標準作業（この場合は検査）と異なるイレギュラーな作業の発生事由やその内容を後で検証するために、画像解析により、そうしたイレギュラーな作業を作業者が行っていると判定された場合、作業者に装着されたウエアラブルカメラでその作業の内容を撮像するものである。また、この文献には、上記ウエアラブルカメラで撮像されたワークが標準作業である検査の該当品であるか否かを画像判定によって行うことが記載されている。

国際公開番号ＷＯ２０１８／０６２２３８Ａ１

上記特許文献１に記載される検査該当品判定は、記憶されている検査品の画像とウエアラブルカメラで撮像されたワークの画像を比較して行われるとされているが、実際にウエアラブルカメラなどで撮像されるワーク（物体、対象体）の画像は一様ではない。例えば、撮像画像中のワークの位置や向き、映り方などが変化するとそれらを広範に学習し、学習した内容から撮像画像中のワークを検出（推定）できるようにする必要が生じる。学習機能を有する人工知能（Artificial Intelligence：以下ＡＩ）では、機械学習によって、画像（動画）から物体（オブジェクト）を検出したり、その位置や形状などの状態を検出したりすることもできる。このＡＩ機能を用いて、作業が適正に行われたか否かの判定が試みられている。

製造業などにおける予め規定された作業において、その作業が適正に行われたか否かの判定は、例えば作業が完了した状態の対象体（物体）の画像を用いて行うことができる。例えば、２つのコネクタを嵌合してハーネス（配線材）を結線する作業の場合、嵌合されたコネクタの状態（形態や向き、位置など）が適正であれば、結線作業が適正に行われたと判定することができる。したがって、この適正な嵌合状態のコネクタを予めＡＩに学習させ、結線作業後の嵌合コネクタを、例えば作業者に装着されたウエアラブルカメラ（固定カメラでも可）で撮像し、その撮像画像中に、適正嵌合状態のコネクタが検出されたら結線作業が適正に行われたと判定することができる。

しかしながら、例えば、上記ウエアラブルカメラで撮像された対象体、すなわち嵌合コネクタは、現実には、画像ごとに、嵌合コネクタの画像の位置も嵌合コネクタの画像の向きも、嵌合コネクタの映り方も異なる。嵌合コネクタ映り方が変化すると、画像内の嵌合コネクタの（画像の）形状が変化する。したがって、上記作業適正判定の精度、具体的には対象体の検出精度を向上するためには、これらの対象体の状態変化を網羅すべく、動画から切り出した多量の画像（静止画像）のそれぞれで対象体を抽出して様々な映り方を学習させる必要がある。こうした学習プロセスは、いわゆる教師あり学習のラベル付けと呼ばれるが、このラベル付けは、例えば、対象体が映っている画像を抽出したり、その画像中の対象体が映っている領域を特定したりする作業を教師である人間が行わなければならず、非常に手間がかかるという問題がある。つまり、上記嵌合コネクタでいえば、膨大な画像の中から、嵌合コネクタが映っている画像を、しかも多量に人が抽出してＡＩに学習させる必要がある。

本発明は、上記課題に鑑みてなされたものであり、その目的は、人工知能による画像認識を用いて作業の適正判定を行う場合に、ラベル付けを含めた機械学習の手間を軽減することが可能な作業適正判定装置を提供することにある。

上記目的を達成するため、本発明の作業適正判定装置は、
作業が適正に完了した状態の適正完了状態の対象体の画像を人工知能に学習させ、作業後の画像中に学習された前記適正完了状態の対象体の画像と略一致する対象体の画像が検出された場合に前記作業が適正に行われたと判定する作業適正判定装置であって、
前記適正完了状態の対象体の画像の存在を示す指標の画像情報を前記人工知能に学習させる第１学習手段と、前記適正完了状態の対象体の画像及び前記指標の画像が含まれ得る画像を提供する適正画像提供手段と、前記第１学習手段による前記指標の学習後に、前記適正画像提供手段で提供された画像の中から前記指標の画像情報が存在する画像を前記人工知能に検出させ、該指標が存在する画像中の前記対象体の画像情報を前記人工知能に学習させる第２学習手段と、少なくとも前記作業後に前記対象体及び前記指標を含む領域を撮像可能な撮像手段と、前記撮像手段で撮像された画像中に学習された前記適正完了状態の対象体の画像情報と略一致する対象体の画像情報が前記人工知能によって検出された場合に前記作業が適正に行われたと判定する作業適正判定手段と、を備えたことを特徴とする。

なお、本発明にいう対象体の画像の存在を示す指標とは、画像の中に対象体の画像情報が含まれていることを示す目印であり、例えば、人の動作の他、画像中に映されているマーカやモニタ画面中のカーソルなどを広く差す。

この構成によれば、作業の適正完了状態の対象体を学習させ、実際の作業後の画像中に学習された対象体と略一致する対象体を検出して作業の適否を判定するにあたり、例えば、適正完了状態の対象体を指差している動作を指標とした場合、学習の前段として、指差し動作（の画像情報）が人工知能によって学習される。次いで、作業適正完了状態の対象体（の画像情報）を学習するにあたり、提供される画像に指差し動作が存在する場合、その画像は、作業適正完了状態の対象体が存在する画像であるから、指差し動作、すなわち指標が存在する画像を人工知能が検出する、すなわち抽出するようにすることで、機械学習の画像抽出段階のラベル付けが人工知能によって行われる。したがって、作業適正完了状態の対象体を学習させる以前に、作業適正完了状態の対象体の存在を示す指差し動作などの指標を学習させ、この指標が存在する画像を人工知能に検出・抽出させることで、人手によるラベル付けが軽減され、これによりラベル付けを含む機械学習の手間が軽減される。また、上記指標には、形態が変化しない、一定形状の指標を適用することも可能であることから、この一定形状の指標を学習させることにより、作業適正完了状態の対象体の学習を例えばルールベース型の学習とすることができ、そのようにすることにより作業適正完了状態の対象体の学習までの手間をより一層軽減することができる。

また、本発明の他の構成は、前記第１学習手段は、前記適正画像提供手段で提供された画像から前記指標の画像情報を前記人工知能に学習させることを特徴とする。

この構成によれば、上記適正完了状態の対象体の存在を示す指標として、例えば、その対象体を指差している動作が、指差し動作と作業適正完了状態の対象体を含み得る画像から人工知能で学習される。したがって、例えば、作業が適正に完了された対象体とそれを指差す動作が撮像された画像を提供すれば、指差し動作が検出された画像を人工知能が検出し、その画像から対象体の画像情報が人工知能によって学習される。

本発明の更なる構成は、前記第１学習手段は、前記適正画像提供手段で提供された画像中の前記指標の画像情報がある所定の領域又は該指標の画像情報の近傍の所定の領域を前記人工知能に学習させ、前記第２学習手段は、前記指標が存在する画像の前記所定の領域内の対象体の画像情報を前記人工知能に学習させることを特徴とする。

この構成によれば、上記指差し動作などの指標（の画像情報）と共に、その指標に係る所定の領域を人工知能に学習させ、この所定の領域内の対象体（の画像情報）を人工知能に学習させることにより、画像学習の容量（画素数など）を低減することが可能となり、これによりレベルの高くない人工知能でも対象体を高精度に学習することが可能となり、その結果、高精度の対象体検出による高精度の作業適正判定が期待できる。また、上記指差し動作などの指標が存在する画像に対し、対象体が存在する領域を特定する領域（関心領域）特定段階のラベル付けが人工知能によって行われることから、人手によるラベル付けが更に軽減され得る。

本発明の更なる構成は、前記作業適正判定手段は、前記撮像手段で撮像された画像の中から前記指標の画像情報が撮像された画像を前記人工知能によって検出させ、該指標が撮像された画像中の前記所定の領域内に学習された前記適正完了状態の対象体と略一致する対象体の画像情報が前記人工知能によって検出された場合に前記作業が適正に行われたと判定することを特徴とする。

この構成によれば、撮像された画像の中から上記指差し動作などの指標（の画像情報）を検出し、その指標が撮像された画像を用いて作業適正判定を行うようにすることで、作業適正判定のタイミングが規定されることから、例えば動画中の全ての画像に対して作業適正判定を行う場合に比べて、画像判定の処理能力（処理スピードなど）を低減することができる。また、上記指標に係る所定の領域内の対象体検出に基づいて作業適正判定を行うことで、画像判定の容量（画素数など）を低減することが可能となる。したがって、これらにより、レベルの高くない人工知能でも、高精度の対象体検出による高精度の作業適正判定を行うことができる。

本発明の更なる構成は、前記作業適正判定手段は、前記作業が不適正に行われた場合に、その旨を報知する報知手段を備えたことを特徴とする。

この構成によれば、作業が不適正に行われたことが報知されるので、量産自動車製造業などにおける不具合の発生を未然に防止することができる。

以上説明したように、本発明によれば、人工知能による作業後の対象体の画像認識を用いて作業の適正判定を行うにあたり、対象体を学習する以前に、ラベルに相当する指標を学習し、指標が存在する画像を人工知能が検出・抽出することで、ラベル付けを含めた機械学習の手間を軽減することができる。

本発明の作業適正判定装置が適用された量産自動車製造工程の一実施の形態を示す概略斜視図である。 図１の製造工程で撮像された画像の一例を示す説明図である。 作業後の対象体の存在を示す指標として行われる作業者による指差しジェスチャの説明図である。 図１の作業適正判定装置における学習の流れを示すフローチャートである。 図１の作業適正判定装置における判定の流れを示すフローチャートである。

以下に、本発明の作業適正判定装置の一実施の形態について図面を参照して詳細に説明する。図１は、この実施の形態の作業適正判定装置が適用された量産自動車製造工程の概略斜視図である。この工程は、ステーションワゴンなどの車両の艤装ラインにおいて、リヤゲート１の車室側でコネクタ３を嵌合してハーネス（配線材）４を結線する作業を含む。コネクタ３の位置は、例えば、リヤガラス２の車両上下方向やや下方である。コネクタ３の嵌合によるハーネス結線作業は、図のように、リヤゲート１を開いた状態で、リヤゲート１の下方から行う。この実施の形態の作業適正判定装置では、画像認識により、ハーネス結線作業後の画像に適正嵌合されたコネクタ３が検出できれば作業が適正に行われたと判定する。

この実施の形態の作業適正判定装置は、必要とされるアプリケーションソフト（以下、アプリケーション）をパーソナルコンピュータ（以下、ＰＣ）５にインストールして構築した。主要なアプリケーションは、画像認識可能なＡＩ搭載アプリケーションである。ＰＣ５は、いうまでもなく、高度な演算処理機能を有するコンピュータシステムであり、プログラムやデータを記憶する記憶装置や、カメラやセンサなどの外部機器の信号を入力したり、モニタやスピーカなどの外部機器に信号を出力したりするための入出力装置を備えて構成される。この実施の形態で使用されるアプリケーションは、「教師あり学習」による機械学習アプリケーションであるが、教師なし学習やディープラーニングのアプリケーションを用いることも可能である。なお、画像認識における「検出」は「推定（推論）」とも呼ばれる。

この実施の形態の作業適正判定装置は、対象体となるコネクタ３及び作業者の手の動画（画像）を取得するために、作業者に装着可能なウエアラブルカメラ（撮像手段）６を備えて構成される。このウエアラブルカメラ６の条件として、作業者の視野と略同等以上の領域を撮像可能であることが望まれる。この実施の形態では、上記コネクタ３の嵌合によるハーネス結線作業後に、嵌合されたコネクタ３を作業者が見ながら指差すジェスチャ（動作）が要求される。したがって、嵌合コネクタ３の指差しジェスチャ時、作業者には、「嵌合コネクタ」と「作業者自身の手」が見えていると考えられるので、上記ウエアラブルカメラ６は作業者の視野と同等以上の領域を撮像するように配置されればよい。この実施の形態では、作業者の視野と同等以上の領域を撮像するために、作業者の帽子の前方に設けられたひさしの上面にウエアラブルカメラ６を取付けた。なお、このウエアラブルカメラ６の画像（動画）信号は、周知の無線送受信手段（不図示）によってＰＣ５に送信される。また、ウエアラブルカメラ６の装着位置は、前記に限定されない。また、画像信号は有線でＰＣ５に送信されてもよい。また、上記嵌合コネクタ３の指差しジェスチャは、例えば作業標準書などで規定されることが望ましい。

図２には、上記ウエアラブルカメラ６によって撮像され、上記ＰＣ５で読込まれたハーネス結線作業前の画像の一例を示す。この画像は、上記開かれた上記リヤゲート１を下方から撮像したものを模式的に示したものであり、図中の中央部に映っているやや大きめの方形が上記リヤガラス２を示し、その画像やや上方に映っている小さな２つの細長い方形が嵌合されるべきコネクタ３を示し、コネクタ３の画像左右に接続されている線分がハーネス４を示す。図３には、同じくウエアラブルカメラ６によって撮像され、ＰＣ５で読込まれたハーネス結線作業後の画像の一例を示す。前述のように、ハーネス結線作業に伴ってコネクタ３が嵌合され、その嵌合されたコネクタ３が作業者の手によって指差されている。この実施の形態では、対象体である嵌合コネクタ３を学習する以前に、指差しジェスチャ（画像情報、画素情報）をＡＩ搭載アプリケーションに学習させる（第１学習手段）。具体的には、例えば、指差しジェスチャで撮像される作業者の手の形態を検出して学習させる。このような検出は、物体検出画像認識ＡＩで検出することができ、例えば畳み込みニューラルネットワークなどが適用可能である。この指差しジェスチャの学習は、学習データの画像から指差しジェスチャが存在する画像を抽出するために行われる。すなわち、ＡＩ搭載アプリケーションに指差しジェスチャが含まれる画像を抽出させる画像抽出段階のラベル付けである。

また、この実施の形態では、上記指差しジェスチャの学習に伴って、図３に破線で示すような領域をＡＩ搭載アプリケーションに学習させる。この領域は、上記指差しジェスチャによって指差され且つ嵌合コネクタ３が存在する場所である。指差しジェスチャは、対象体である嵌合コネクタ３が存在する場所を示す指標であるから、この指差しジェスチャと共に、例えば作業者の指が差している先方の領域を、例えば図に破線で示す方形領域として設定し、この領域を、嵌合コネクタ３を検出するべき場所として学習させる。すなわち、対象体である嵌合コネクタ３の存在領域を特定する領域（関心領域ともいう）特定段階のラベル付けをＡＩに行わせる。したがって、対象体である嵌合コネクタ３そのものを学習する以前に、対象体の存在を示す指差しジェスチャを指標として学習し、更に、指差しジェスチャに係る所定領域を対象体の存在する場所として学習すれば、指差しジェスチャが存在する画像を検出（抽出）し、その画像中の対象体が存在する領域を検出（特定）することが可能となるから、これらを組合せてＡＩ搭載アプリケーションに対象体学習のための高度なラベル付けを行わせることができる。

このようにして作業後の嵌合コネクタ３及び指差しジェスチャが撮像された画像が検出され、その画像の嵌合コネクタ３を学習すべき場所（領域）がラベル付けされたら、その場所に存在する嵌合コネクタ３（画像情報、画素情報）の形態（形状や位置、向きなど）をＡＩ搭載アプリケーションに学習させる（第２学習手段）。すなわち、ＡＩ搭載アプリケーションは、ハーネス結線作業後の画像から、対象体である嵌合コネクタ３が撮像されている画像を抽出し、更に嵌合コネクタ３の撮像場所を特定してから撮像されている嵌合コネクタ３を学習する。上記指差しジェスチャ（指標）、場所（領域）、嵌合コネクタ（対象体）３の学習に際しては、実際にウエアラブルカメラで撮像された動画（画像）の他、他のカメラで撮像された動画や画像、或いは、人工的に創造された動画や画像を用いて学習を行うことができる（適正画像提供手段）。

また、この実施の形態では、上記ウエアラブルカメラ６で撮像されたハーネス結線作業中及び作業後の画像に対し、上記作業後の指差しジェスチャが検出されたときに作業適正判定を行う。作業後の指差しジェスチャが検出された場合、上記と同様に、その画像中に、嵌合コネクタ３が撮像されている場所（領域）を特定（抽出）し、その場所に適正に嵌合された嵌合コネクタ３（画像情報、画素情報）が検出された場合に、ハーネス結線作業が適正に行われたものと判定する。また、ハーネス結線作業が不適切に行われたと判定された場合には、その旨を報知する。

図４は、上記ＰＣ５にインストールされたＡＩ搭載アプリケーションで行う学習の流れを示すフローチャートである。なお、このフローチャートでは、必要回数の学習を教示する教師あり学習を示しているが、上記のように教師なし学習やディープラーニングを用いてもよい。この学習の流れでは、まずステップＳ１で、上記ウエアラブルカメラ６によって撮像され、ＰＣ５で読込まれた画像（動画）から上記指差しジェスチャ（指標）及び嵌合コネクタ３が存在している場所（領域）の学習を行う。なお、学習に用いられる画像（動画）は、前述のように、上記ウエアラブルカメラ６によって撮像された画像（動画）の他、例えば、同様の領域を撮像した他の固定カメラの画像（動画）や、人工的に創造された画像（動画）を用いることも可能である。

次にステップＳ２に移行して、上記指差しジェスチャ（指標）及び場所（領域）の必要回数の学習が完了したか否かを判定し、必要回数の学習が完了した場合にはステップＳ３に移行し、そうでない場合には上記ステップＳ１に移行する。なお、必要学習回数は、例えば経験値的に設定されてもよいし、或いは、指標や領域の検出（学習）精度が所定値以上であることで判定されてもよい。

上記ステップＳ３では、上記ウエアラブルカメラ５で撮像された作業後を含む作業動画から画像を取り込む。

次にステップＳ４に移行して、上記ステップＳ３で取り込まれた画像に指差しジェスチャ（指標）が撮像されているか否かを判定し、指差しジェスチャ（指標）が撮像されている場合にはステップＳ５に移行し、そうでない場合には上記ステップＳ３に移行する。

上記ステップＳ５では、指差しジェスチャ（指標）が撮像されている画像に嵌合コネクタ３が撮像されている場所（領域）をラベル付けする。

次にステップＳ６に移行して、上記ステップＳ５でラベル付けされた場所（領域）の対象体、すなわち嵌合コネクタ（物体）３の学習を行う。

次にステップＳ７に移行して、上記嵌合コネクタ３（対象体、物体）の必要回数の学習が完了したか否かを判定し、必要回数の学習が完了した場合には復帰し、そうでない場合には上記ステップＳ３に移行する。なお、必要学習回数は、例えば経験値的に設定されてもよいし、或いは、対象体（物体）の検出（学習）精度が所定値以上であることで判定されてもよい。

図５は、上記ＰＣ５にインストールされたＡＩ搭載アプリケーションで行う作業適正判定の流れを示すフローチャートである。この作業適正判定の流れでは、まずステップＳ１１で、上記ウエアラブルカメラ６によって撮像され、ＰＣ５で読込まれたハーネス結線作業の画像（動画）に上記指差しジェスチャ（指標）を検出したか否かを判定し、指差しジェスチャ（指標）を検出した場合にはステップＳ１２に移行し、そうでない場合には復帰する。

上記ステップＳ１２では、上記指差しジェスチャ（指標）が検出された画像の嵌合コネクタ３が存在する場所（領域）を特定（抽出）し、その場所（領域）内の対象体、すなわち嵌合コネクタ（物体）３を検出する。

次にステップＳ１３に移行して、上記ステップＳ１２で作業適正完了状態の対象体、すなわち嵌合コネクタ（物体）３が検出されたか否かを判定し、嵌合コネクタ３が適正に検出された場合にはステップＳ１４に移行し、そうでない場合にはステップＳ１５に移行する。

上記ステップＳ１４では、対象体に対する所定作業が適正に行われたと判定してから復帰する。この作業適正判定に伴い、例えば、車両艤装ラインでは、作業の完了した車両を次の工程に自動搬送するなどの個別の処理を伴ってもよい。

また、上記ステップＳ１５では、対象体に対する所定作業が適正に行われなかったと判定してから復帰する。この作業不適正判定に伴い、例えば、作業が適正に行われなかった旨を、例えばディスプレイや信号灯、ブザなどを介して報知してもよい。また、例えば、車両艤装ラインでは、作業が完了しても車両を次の工程に自動搬送しないなどの個別の処理を伴ってもよい。

これらの演算処理によれば、ハーネス結線作業の画像（動画）中に指差しジェスチャ（指標）が検出されたら、その画像の嵌合コネクタ３が存在している場所（領域）を特定（抽出）し、その場所（領域）内に作業適正完了状態の対象体、すなわち嵌合コネクタ（物体）３が検出されればハーネス結線作業が適正に行われたと判定され、そうでない場合に適正に行われなかったと判定される。この嵌合コネクタ３を学習するにあたり、学習データ（教師データ）の画像中に嵌合コネクタ３の存在を示す指差しジェスチャ（指標）を学習させることにより、以降、学習データの画像のうちから指差しジェスチャ（指標）が存在している画像を検出（抽出）することができる。また、対象体である嵌合コネクタ（物体）３が存在していると考えられる指差しジェスチャ（指標）に係る場所（領域）を特定することで、嵌合コネクタ３の存在領域を限定することができ、これらにより以降の学習のためのラベル付けが行われるので、上記指差しジェスチャ（指標）が存在している画像の検出（抽出）と合わせて嵌合コネクタ３の学習のためのラベル付けを人手で行う手間が軽減される。

このように、この実施の形態の作業適正判定装置では、作業適正完了状態の嵌合ハーネス３を学習させ、実際の作業後の画像中に学習された嵌合ハーネス３と略一致する嵌合ハーネス３を検出して作業の適否を判定するにあたり、例えば、ハーネス結線作業後の嵌合コネクタ３を指差すジェスチャを所定の指標とし、学習の前段として、ＰＣ５に読込まれる画像中の指差しジェスチャがＡＩによって学習される。提供される画像に指差しジェスチャが存在する場合、その画像は、ハーネス結線作業後の嵌合コネクタ３が存在する画像であるから、指差しジェスチャ、すなわち指標が存在する画像をＡＩが抽出するようにすることで、機械学習の画像抽出段階のラベル付けがＡＩによって行われる。したがって、ハーネス結線作業後の適正完了状態の嵌合コネクタ３を学習させる以前に、嵌合コネクタ３の存在を示す指差しジェスチャなどの指標を学習させ、この指標が存在する画像をＡＩに検出・抽出させることで、人手によるラベル付けが軽減され、これによりラベル付けを含む機械学習の手間が軽減される。

また、上記指差しジェスチャなどの指標と共に、その指標に係る所定の領域をＡＩに学習させ、この所定の領域内の嵌合コネクタ３をＡＩに学習させることにより、画像学習の容量（画素数など）を低減することが可能となり、これによりレベルの高くないＡＩでも嵌合コネクタ３を高精度に学習することが可能となり、その結果、高精度の対象体検出による高精度の作業適正判定が期待できる。また、上記指差しジェスチャなどの指標が存在する画像に対し、嵌合コネクタ３が存在する領域を特定する領域特定段階のラベル付けがＡＩによって行われることから、領域特定段階のラベル付けを行う場合には、人手によるラベル付けが更に軽減される。

また、ウエアラブルカメラ６で撮像された画像の中から上記指差しジェスチャなどの指標を検出し、その指標が撮像された画像を用いて作業適正判定を行うようにすることで、作業適正判定のタイミングが規定されることから、例えば動画中の全ての画像に対して作業適正判定を行う場合に比べて、画像判定の処理能力（処理スピードなど）を低減することができる。また、上記指標に係る所定の領域内の嵌合コネクタ３検出に基づいて作業適正判定を行うことで、画像判定の容量（画素数など）を低減することが可能となる。したがって、これらにより、レベルの高くない人工知能でも、高精度の対象体検出による高精度の作業適正判定を行うことができる。

また、作業が不適正に行われた場合に、その旨を報知することにより、量産自動車製造業などにおける不具合の発生を未然に防止することができる。

以上、実施の形態に係る作業適正判定装置について説明したが、本件発明は、上記実施の形態で述べた構成に限定されるものではなく、本件発明の要旨の範囲内で種々変更が可能である。例えば、上記実施の形態では、ハーネス結線作業後に嵌合されたコネクタ３を指差すジェスチャを指標としているが、この指標は、これに限定されるものではない。例えば、対象体が、同じく嵌合されたコネクタ３である場合、嵌合されたコネクタ３を囲う方形の枠体を指標としたり、嵌合されたコネクタ３の近傍に付与されたマーカを指標としたりすることが可能である。

また、例えば、１つの工程に複数の所定作業があり、その結果、対象体も複数あるような場合にも、ＡＩ搭載アプリケーションの学習容量とハードウエアの記憶容量に余裕があれば、複数の対象体を学習記憶させることで、同様に作業適正判定を行うことができる。

また、上記実施の形態では、対象体に対する所定作業が適正に行われなかった場合に、その旨を報知するようにしているが、作業不適正を報知しなくても、例えば、車体艤装ラインにおいて作業が完了しているにも関わらず、次工程に車両が自動搬送されない場合には所定作業が適正に行われなかったと認識することができる。

また、上記実施の形態では、車体艤装ラインにおいて車両のリヤゲート１のコネクタ３を嵌合してハーネス５を結線する作業についてのみ詳述しているが、本発明の作業適正判定装置は、凡そ製造業であれば、如何なる業種の如何なる作業にも適用可能である。一例として、機械設備の保守点検作業後、その機械設備の作動状態を示す計器類を対象体としたり、燃焼装置の修理後、燃焼ガスの燃焼状態を対象体としたりすることも可能である。

また、上記実施の形態では、作業適正完了状態の対象体の存在を示す指標として、その対象体を指差すジェスチャを指標とし、この指標を機械学習させたが、この指標には、人の動作以外のマーカなどの目印を適用することも可能であり、その一例として、二次元コードなどが挙げられる。指差しジェスチャは、例えば人によって、或いは手の向きなどに応じて変化することから機械学習を必要とするのに対し、例えば二次元コードは変化のない、一定形状であることから、機械学習を必要としない。また、このような形態変化のない、一定形状の指標を第１学習段階（手段）で人工知能に学習させることにより、作業適正完了状態の対象体を学習する第２学習段階（手段）をルールベース型、すなわち指示したルールに従って学習させることも可能である。したがって、指標を学習する第１学習段階（手段）が機械学習でなくなる分、作業適正完了状態の対象体を機械学習するまでのトータルの学習の手間を更に低減することができる。また、実際の作業完了後の画像から対象体を検出する際にも、このルールベース型の検出を用いることができる。

ちなみに、例えば、上記実施の形態で学習された指差しジェスチャは、上記のコネクタ嵌合作業以外の作業における作業適正完了状態の対象体を示す指標として利用することができ、該当作業適正完了状態の対象体を指差しジェスチャで指差すようにすれば、その指差しジェスチャに係る対象体を上記図４のフローチャートのステップＳ３以降の手順で同様に学習させることができる。その他の指標についても同様である。

１ リヤゲート
３ （嵌合）コネクタ（対象体）
４ ハーネス（配線材）
５ ＰＣ（パーソナルコンピュータ）
６ ウエアラブルカメラ（撮像手段、適正画像提供手段）

Claims (5)

1. 作業が適正に完了した状態の適正完了状態の対象体の画像を人工知能に学習させ、作業後の画像中に学習された前記適正完了状態の対象体の画像と略一致する対象体の画像が検出された場合に前記作業が適正に行われたと判定する作業適正判定装置であって、
   前記適正完了状態の対象体の画像の存在を示す指標の画像情報を前記人工知能に学習させる第１学習手段と、
   前記適正完了状態の対象体の画像及び前記指標の画像が含まれ得る画像を提供する適正画像提供手段と、
   前記第１学習手段による前記指標の学習後に、前記適正画像提供手段で提供された画像の中から前記指標の画像情報が存在する画像を前記人工知能に検出させ、該指標が存在する画像中の前記対象体の画像情報を前記人工知能に学習させる第２学習手段と、
   少なくとも前記作業後に前記対象体及び前記指標を含む領域を撮像可能な撮像手段と、
   前記撮像手段で撮像された画像中に学習された前記適正完了状態の対象体の画像情報と略一致する対象体の画像情報が前記人工知能によって検出された場合に前記作業が適正に行われたと判定する作業適正判定手段と、を備えたことを特徴とする作業適正判定装置。
2. 前記第１学習手段は、前記適正画像提供手段で提供された画像から前記指標の画像情報を前記人工知能に学習させることを特徴とする請求項１に記載の作業適正判定装置。
3. 前記第１学習手段は、前記適正画像提供手段で提供された画像中の前記指標の画像情報がある所定の領域又は該指標の画像情報の近傍の所定の領域を前記人工知能に学習させ、
   前記第２学習手段は、前記指標が存在する画像の前記所定の領域内の対象体の画像情報を前記人工知能に学習させることを特徴とする請求項２に記載の作業適正判定装置。
4. 前記作業適正判定手段は、前記撮像手段で撮像された画像の中から前記指標の画像情報が撮像された画像を前記人工知能によって検出させ、該指標が撮像された画像中の前記所定の領域内に学習された前記適正完了状態の対象体と略一致する対象体の画像情報が前記人工知能によって検出された場合に前記作業が適正に行われたと判定することを特徴とする請求項３に記載の作業適正判定装置。
5. 前記作業適正判定手段は、前記作業が不適正に行われた場合に、その旨を報知する報知手段を備えたことを特徴とする請求項４に記載の作業適正判定装置。

Images