JP2019086827A - 情報処理装置、情報処理方法 - Google Patents

Abstract

【課題】 作業者が不備の作業の再実施を行ってから通常作業を再開するケースにおいても、正しく作業の実施判定を行うための技術を提供すること。【解決手段】 作業シーケンスに含まれる一連の作業を順次実施している作業者の撮影映像から作業の不備を検知する検知処理を実行する場合において、検知処理により撮影映像から作業の不備を検知すると、作業者からの指示を検知するまで検知処理を中断する。そして、該中断後に該指示を検知すると、検知処理の再開後に検知処理の対象となる対象作業を、該不備が検知された作業に基づいて特定し、該対象作業に対する検知処理を再開する。【選択図】 図１

Description

本発明は、撮影映像を用いて工程内の作業の実施判定を行うための技術に関するものである。

工場における人手による製品の組み立ては、多数の工程や作業から成り、作業の抜けやミスといった不備が発生することがある。作業の不備は製品の不良につながるため、作業不備があった場合には不備のあった作業を再実施する必要がある。しかし、組み立て後の製品をチェックするだけでは、作業の不備があったか否かを判定することは難しい。このため、作業を実施している最中に作業不備を判定し、作業者に対して再実施を促すシステムが必要とされている。

特許文献１には、組み立て作業の現場を撮影し、撮影映像から作業者の動きを分析し、作業不備を検知した場合に警告を行う技術が開示されている。作業不備の検知方法としては、通常時の作業者の動きを事前に定義しておき、該定義された動きと撮影映像から取得した動きとを比較し、差分が大きい場合に作業不備を検知する手法を用いている。このように、作業者に対して、作業実施中に警告を通知するシステムでは、警告を受けて作業者が不備のあった作業を再実施することが想定される。しかし、作業の再実施を行う場合、作業者は通常時とは異なる動きをすることになるため、通常作業時と同様の映像分析を継続すると、作業不備として誤検知されてしまうという課題がある。係る点、特許文献１では、警告発生後の作業検知処理の制御方法については開示されておらず、本課題について解決されていない。

このような課題を解決するためには、警告の発生時に処理を中断し、中断時の状態に基づいて警告解除時に処理を再開するための構成が必要になる。特許文献２には、ロボットとリストウォッチの連携によって、高齢者等のモニタ対象者の屋外・屋内での行動を連続的に監視するシステムが開示されている。モニタ対象者が屋内に居る際は、ロボットが撮影した映像を用いた行動監視を行い、モニタ対象者が外出する際は、ロボットによる監視を中断し、リストウォッチによる行動計測を行う。モニタ対象者の帰宅時には、リストウォッチが計測したデータをロボットが解析し、外出時の行動に異変があった場合は、警備会社への通報等を行った上で、ロボットによる監視を再開する。

特許文献３には、重要資産や機密情報を管理するエリアを撮影し、通常時の運用状況との差異を監視映像の解析によって検出し、警報を行う技術が開示されている。さらに、管理者による作業時には、警報を発生させないようにするために、映像解析内容に基づいて監視状態を解除する機能を備えている。具体的には、事前に設定された適正作業画像と撮影された入場者作業画像とを比較し、一致していれば監視状態を解除し、作業が終わるまで警報を発生させないように制御を行うものである。

特開２００３−１６７６１３号公報 特開２０１２−３８３３９号公報 特開２０１６−１４９１０８号公報

特許文献２および特許文献３に開示されている技術は、映像監視を一時中断し、後に再開する技術に関するものであるが、監視中断時の状態や中断中の撮影映像に依存して、監視再開後の監視処理を制御するものではない。

本発明はこのような問題に鑑みてなされたものであり、作業者が不備の作業の再実施を行ってから通常作業を再開するケースにおいても、正しく作業の実施判定を行うための技術を提供する。

本発明の一様態は、作業シーケンスに含まれる一連の作業を順次実施している作業者の撮影映像から作業の不備を検知する検知処理を実行する処理手段を備え、前記処理手段は、前記検知処理により前記撮影映像から作業の不備を検知すると、前記作業者からの指示を検知するまで前記検知処理を中断し、該中断後に該指示を検知すると、前記検知処理の再開後に前記検知処理の対象となる対象作業を、該不備が検知された作業に基づいて特定し、該対象作業に対する前記検知処理を再開することを特徴とする。

本発明の構成によれば、作業者が不備の作業の再実施を行ってから通常作業を再開するケースにおいても、正しく作業の実施判定を行うことができる。

コンピュータ装置、作業監視システムの構成例を示すブロック図。 作業監視システムの動作例を説明する図。 作業エリア及び各種のテーブルの構成例を示す図。 情報処理装置２００が行う作業の実施判定処理のフローチャート。 ステップＳ４０２における処理の詳細を示すフローチャート。 ステップＳ５１０を説明する図。 ステップＳ４０３における処理の詳細を示すフローチャート。 ステップＳ４０４における処理の詳細を示すフローチャート。 作業監視システムの動作例を説明する図。 ステップＳ４０３における処理の詳細を示すフローチャート。 ステップＳ４０４における処理の詳細を示すフローチャート。 第３の実施形態を説明する図。

以下、添付図面を参照し、本発明の実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載した構成の具体的な実施例の１つである。

［第１の実施形態］
先ず、本実施形態に係る作業監視システムの構成例について、図１（Ｂ）のブロック図を用いて説明する。図１（Ｂ）に示す如く、本実施形態に係る作業監視システムは、一連の作業を順次実施している作業者を撮像する撮像装置１００と、該撮像装置１００による該作業者の撮影映像（動画像）の解析を行う情報処理装置２００と、を有する。情報処理装置２００は、作業シーケンスに含まれる一連の作業を順次実施している作業者の撮影映像から作業の不備を検知する検知処理を実行する。このとき情報処理装置２００は、検知処理により撮影映像から作業の不備を検知すると、作業者からの指示を検知するまで検知処理を中断する。そして情報処理装置２００は、該中断後に該指示を検知すると、検知処理の再開後に検知処理の対象となる対象作業を、該不備が検知された作業に基づいて特定し、該対象作業に対する検知処理を再開する。以下の情報処理装置２００に係る動作説明は、このような動作の一例に過ぎない。

先ず、撮像装置１００について説明する。撮像装置１００は、一連の作業を順次実行している作業者を撮像するものであり、該撮像装置１００による撮影映像の各フレームの画像（撮像画像）は順次、情報処理装置２００に対して送出される。撮像装置１００は、作業者の全体を含むように撮像するようにしても良いし、該作業者の作業部位（例えば腕全体）を含むように（作業部位以外を含むことは必須ではない）撮像するようにしても良い。

次に、情報処理装置２００について説明する。取得部１０８は、撮像装置１００から送出される各フレームの撮像画像（撮像画像１０９）を取得してメモリ１９８に蓄積（バッファリング）する。

作業判定部１１０はメモリ１９８に格納されている各フレームの撮像画像を順次参照し、作業者が該作業者に割り当てられた作業工程を構成する各作業を規定の順序で実施したか否かを標準作業シーケンス１１１又は一時作業シーケンス１１２に基づき判定する。標準作業シーケンス１１１及び一時作業シーケンス１１２については後述する。

検知部１１３は、メモリ１９８に格納されている各フレームの撮像画像を順次参照して、情報処理装置２００の動作モードを切り替えるために作業者が行うジェスチャを検知する。情報処理装置２００の動作モードには、「通常モード」、「警告モード」、「待機モード」の３つがある。モード制御部１１４は、検知部１１３によるジェスチャの検知結果に応じて、情報処理装置２００の動作モードの切り替えを制御する。

通常モードにおける情報処理装置２００は、撮像装置１００による作業者の撮影映像から、作業者による作業の不備を検知する検知処理を行う。ここで、「作業の不備を検知する検知処理」とは、欠落した作業の検知や、「正しい作業が満たすべき条件」を満たさない作業の検知等、の検知を含む、作業の実施判定処理である。情報処理装置２００は、作業の不備を検知すると、情報処理装置２００の動作モードを通常モードから警告モードに移行させる。

警告モードにおける情報処理装置２００は、作業の不備の検知処理を中断し、不備が検知された作業に係る情報を作業者に報知して、不備が検知された作業の再実施を促す。作業者は情報処理装置２００から不備が検知された作業に係る情報の報知を受けると、該作業を再実施するべく、情報処理装置２００の動作モードを警告モードから待機モードに移行させるための第１のジェスチャを行う。警告モードにおける情報処理装置２００は、撮像装置１００による撮影映像から作業者による第１のジェスチャを検知すると、不備が検知された作業に係る情報の報知を中断し、情報処理装置２００の動作モードを警告モードから待機モードに移行させる。

待機モードにおける情報処理装置２００は、撮像装置１００による撮影映像から作業者による第２のジェスチャを検知する検知処理を行う。情報処理装置２００の動作モードが待機モードに移行すると、作業者は不備が検知された作業の再実施を行う。待機モードでは、情報処理装置２００は、作業の不備の検知処理を行うことなく待機状態にあるため、作業者による作業の再実施を行っても、この作業を不備の作業として検知することはない。そして作業者は作業の再実施が完了すると、情報処理装置２００の動作モードを待機モードから通常モードに移行させるための第２のジェスチャを行う。待機モードにおける情報処理装置２００が撮像装置１００による撮影映像から第２のジェスチャを検知すると、作業者が次に行うべき作業を該作業者に対して報知すると共に、情報処理装置２００の動作モードを待機モードから通常モードに移行させる。

報知制御部１１５は、上記の各種の報知の制御を行う。生成部１１６は、上記の一時作業シーケンス１１２を生成する。制御部１９９は、情報処理装置２００全体の動作制御を行う。メモリ１９８には、情報処理装置２００による各種の処理を実現するための各種のデータが保存されている。

なお、図１（Ｂ）では、撮像装置１００及び情報処理装置２００の数をそれぞれ「１」としたが、撮像装置１００及び情報処理装置２００の数は「１」に限らない。また、図１（Ｂ）では、撮像装置１００と情報処理装置２００とを別個の装置としているが、これに限らず、撮像装置１００と情報処理装置２００とを一体化させて１つの装置としても良い。

次に、本実施形態に係る作業監視システムの動作例について、図２を用いて説明する。図２（Ａ）は、作業者２０１が作業台２０３の上で、作業対象物２０４に対して組み立て作業（作業者２０１に割り当てられている作業工程）を行っている様子を示す俯瞰図である。また、作業台２０３の上方には、作業者２０１（一部若しくは全部）及び作業対象物２０４を含む映像を撮像するべく、撮像装置１００が設けられている。

通常モードでは、作業判定部１１０は、撮像装置１００による作業者２０１の撮影映像から作業者２０１による作業の不備を検知する検知処理を行う。そして、作業判定部１１０が作業の不備を検知すると、モード制御部１１４は、情報処理装置２００の動作モードを通常モードから警告モードに移行させる。警告モードでは、作業判定部１１０は作業の不備の検知処理を中断し、報知制御部１１５は、不備が検知された作業に係る情報を作業者に報知して、不備の作業の再実施を促す。図２（Ａ）では、作業対象物２０４の組み立て作業を構成する各作業のうち作業ＩＤ＝３の作業の不備が検知されたため、「作業ＩＤ３ ビス締め作業に不備がありました。作業をやり直して下さい。」という音声をスピーカから出力して、該作業の再実施を促す。このように、作業者２０１に対して不備の作業を報知することで、作業者２０１は不備の作業、つまり再実施すべき作業を把握することができる。

ここで、工場で製品を組み立てる等の組み立て作業には多数の作業工程が存在し、各作業工程は複数の作業（作業群）から構成されている。さらに、１つの作業工程を構成するそれぞれの作業には、実施の順序が規定されている。各作業者は１つの作業工程を担当しており、同一作業工程の作業を繰り返して実施しているものとする。本実施形態に係る作業監視システムは、事前に定められた特定の作業工程に対して、該作業工程を構成する各作業の実施判定を行うものである。

作業者によって行われた組み立て作業の良否を判断するには、作業の順番を加味しなければならないため、それらの発生の順序を分析する必要がある。発生順序の分析をおこなうためには、一般的には映像から抽出した作業者の動きに関するデータのシーケンスの照合が用いられる。シーケンスを照合するためには、一定長の長さが必要であり、複数の作業のまとまりを対象に照合をおこなうことになる。

本実施形態では、この「複数の作業のまとまり」を「フェーズ」と定義する。図２（Ｂ）に、作業者２０１に割り当てられた１つの作業工程の構成例を示す。図２（Ｂ）では、この１つの作業工程は、作業１、作業２、作業３、作業４、作業５、作業６、作業７、作業８、作業９、という９個の作業をこの順で行うことが規定されている作業工程である。また、作業１〜４はフェーズ１を構成しており、作業５〜６はフェーズ２を構成しており、作業７〜９はフェーズ３を構成している。

情報処理装置２００は、撮像装置１００による撮影映像における規定のイベントの発生を、フェーズの区切り（終端）として検知する。規定のイベントの発生とは、例えば、作業対象物２０４の位置及び／又は姿勢の規定の変化の発生である。例えば、図２（Ｂ）の作業工程において作業４と作業５との間で作業対象物２０４が裏返され、作業６と作業７との間で作業対象物２０４が回転される、ことが既知であったとする。このとき情報処理装置２００は、撮影映像から作業対象物２０４が裏返されたことを検知した場合には、フェーズ１の区切りがあったと判断し、撮影映像から作業対象物２０４が回転されたことを検知した場合には、フェーズ２の区切りがあったと判断する。そして情報処理装置２００は、フェーズの区切りを検知する度に、該フェーズにおける作業の不備の検知処理（フェーズ内の作業の実施判定）を行う。図２（Ｂ）の例では、情報処理装置２００は、撮影映像から作業対象物２０４が裏返されたことを検知した場合には、フェーズ１の区切りがあったと判断し、フェーズ１を構成する作業１〜４がこの順で正常に実施されたか否かの実施判定を行う。

ここで、情報処理装置２００における動作モードの切り替え例について、図２（Ｃ）を用いて説明する。通常モードにおける情報処理装置２００が撮像映像からフェーズ１の区切りを検知すると、フェーズ１を構成する作業１〜４がこの順で正常に実施されたか否かの実施判定を行う。ここで、情報処理装置２００が作業１〜４のうち作業３に作業不備があったと判断したとする。このとき情報処理装置２００は、情報処理装置２００の動作モードを通常モードから警告モードに切り替え、作業の実施判定処理を中断すると共に、作業３に不備がある旨の報知を行って、作業３の再実施を促す。作業者はこの報知を受けると、作業３を再実施するべく、情報処理装置２００の動作モードを警告モードから待機モードに移行させるための第１のジェスチャを行う。情報処理装置２００が撮影映像から第１のジェスチャを認識すると、作業３に不備がある旨の報知を中断し、情報処理装置２００の動作モードを警告モードから待機モードに移行させる。そして作業者は、作業３の再実施を行い、作業３の再実施が完了すると、情報処理装置２００の動作モードを待機モードから通常モードに移行させるための第２のジェスチャを行う。情報処理装置２００が撮影映像から第２のジェスチャを認識すると、フェーズ１の次のフェーズであるフェーズ２の先頭作業「作業５」を、作業者が次に行うべき作業として該作業者に報知する。そして情報処理装置２００は、情報処理装置２００の動作モードを待機モードから通常モードに移行させる。そして作業者は、作業５以降の作業を順次を行う。

ここで、図２（Ｃ）の例は、不備が検知された作業と関連する関連作業が同作業工程内に存在しないことを前提とするものであった。不備のあった作業に関連する他の作業（関連作業）が同作業工程内に存在する場合における情報処理装置２００の動作モードの切り替え例について、図２（Ｄ）を用いて説明する。ここで、作業Ａと関連する関連作業とは、作業Ａを実施した後に必ず実施しなければならない作業のことであり、作業の内容の特性によって予め定められているものである。例えば削り作業を再実施した後には、必ず清掃作業も再実施しなければならないというルールなどが存在する場合、「清掃作業」は「削り作業」の関連作業である。図２（Ｄ）では、作業２の関連作業が作業４であるとしている。

通常モードにおける情報処理装置２００が撮像映像からフェーズ１の区切りを検知すると、フェーズ１を構成する作業１〜４がこの順で正常に実施されたか否かの実施判定を行う。ここで、情報処理装置２００が作業１〜４のうち作業２に作業不備があったと判断したとする。このとき情報処理装置２００は、情報処理装置２００の動作モードを通常モードから警告モードに切り替え、作業の実施判定処理を中断すると共に、作業２に不備がある旨の報知を行って、作業２の再実施を促す。作業者はこの報知を受けると、作業２を再実施するべく、情報処理装置２００の動作モードを警告モードから待機モードに移行させるための第１のジェスチャを行う。情報処理装置２００が撮影映像から第１のジェスチャを認識すると、作業２に不備がある旨の報知を中断し、情報処理装置２００の動作モードを警告モードから待機モードに移行させる。そして作業者は、作業２の再実施を行い、作業２の再実施が完了すると、情報処理装置２００の動作モードを待機モードから通常モードに移行させるための第２のジェスチャを行う。

ここで、作業４は前回の通常モード時に終えているが、作業２を再実施した後には必ず再実施しなければならない作業である。然るに情報処理装置２００は撮影映像から第２のジェスチャを認識すると、作業２の関連作業である作業４を、作業者が次に行うべき作業として該作業者に報知する。そして情報処理装置２００は、情報処理装置２００の動作モードを待機モードから通常モードに移行させる。そして作業者は、作業４以降の作業を順次を行う。

次に、情報処理装置２００が行う、作業者による作業の実施判定処理について、同処理のフローチャートを示す図４を用いて説明する。なお、図４のフローチャートに従った処理の開始時点では、情報処理装置２００の動作モードは通常モードに設定されているものとする。

ステップＳ４０１では、制御部１９９は、作業者がこれから行う作業工程を特定する情報を設定する。例えば、制御部１９９は、作業者あるいは工場の管理者が不図示の操作部を操作して入力した作業工程の設定を行う。以降の処理は、この設定された処理工程について行われる。

ステップＳ４０２では、情報処理装置２００は通常モードの動作を行う。ステップＳ４０２における処理の詳細について、図５のフローチャートを用いて説明する。ステップＳ５０１では、作業判定部１１０は、メモリ１９８から蓄積順に撮像画像を読み出す。また、制御部１９９は、現在処理の対象としているフェーズのＩＤを表す変数Ｆを１に初期化する。

ステップＳ５０２では、作業判定部１１０は、ステップＳ５０１でメモリ１９８から読み出された撮像画像内で、フェーズＩＤ＝Ｆのフェーズが開始された（フェーズＩＤ＝Ｆのフェーズに切り替わった）か否かを判断する。

撮像画像内でフェーズが開始された（フェーズが切り替わった）か否かを判断するための処理には様々な処理を適用することができる。例えば事前に定義されたフェーズ切り替え判定用のテンプレート画像と、撮像画像と、のテンプレートマッチングによって、撮像画像中の作業対象物の位置や姿勢の変化の有無を判定し、該判定の結果に応じてフェーズが開始されたか否かを判断することができる。テンプレートマッチングでは、作業対象物のテンプレート画像を撮像画像上で移動させながら、テンプレート画像と、撮像画像において該テンプレート画像と重なっている部分画像と、の類似度を求める。類似度は、例えば、テンプレート画像と部分画像とで対応する画素位置の画素値の差の絶対値の総和として求めることができるが、類似度の求め方は特定の求め方に限らない。そして撮像画像上で最大の類似度を求めたテンプレート画像の位置を作業対象物の位置として求めることができる。なお、テンプレート画像として様々な姿勢の作業対象物の画像を使用し、撮像画像との類似度が最大となるテンプレート画像に対応する姿勢を、撮像画像中の作業対象物の姿勢として求めることもできる。また、類似度に閾値を設け、閾値以上の類似度が得られない場合には、撮像画像中には作業対象物は存在しないと判断することができる。

このようにして、撮像画像から作業対象物の位置や姿勢を推定することができるため、前のフレームの撮像画像について求めた作業対象物の位置や姿勢との差分を求めることで、作業対象物の位置や姿勢の変化を求めることができる。例えば、前フレームの撮像画像について求めた作業対象物の位置と現フレームの撮像画像について求めた作業対象物の位置との間の距離が閾値以上であれば、この２フレーム間で作業対象物は移動していると判断することができる。一方、この距離が閾値未満であれば、この２フレーム間で作業対象物は静止していると判断することができる。このようにして求めた作業対象物の位置や姿勢の変化等がフェーズ（ここではフェーズ１）の開始条件（現フェーズから次のフェーズへの切り替わり条件）を満たす場合には、フェーズが開始された（現フェーズから次のフェーズに切り替わった）と判断できる。開始条件には、例えば、作業対象物を規定の方向に移動させる、作業対象物を裏返す、作業対象物を出現させる、消失させる等がある。

なお、撮像画像内で規定のフェーズが開始されたか否か（現フェーズから次のフェーズ切り替わったか否か）を判断するための方法は、特定の方法に限らず、例えば、機械学習などの手法も利用可能である。

このような判断処理により、ステップＳ５０１でメモリ１９８から読み出された撮像画像内でフェーズＩＤ＝Ｆのフェーズが開始されたと判断した場合には、処理はステップＳ５０３に進む。一方、このような判断処理により、ステップＳ５０１でメモリ１９８から読み出された撮像画像内でフェーズＩＤ＝Ｆのフェーズが開始されていないと判断した場合には、処理はステップＳ５０１に戻る。

ステップＳ５０３では、作業判定部１１０は、照合用シーケンスとして標準作業シーケンス１１１を取得する。しかし作業判定部１１０は、待機モードにおいて一時作業シーケンス１１２を作成し、その後、ステップＳ８０６からステップＳ５０３に処理が移行した場合には、照合用シーケンスとして一時作業シーケンス１１２を取得する。

ステップＳ５０４では、作業判定部１１０は、メモリ１９８から蓄積順に撮像画像を読み出す。ステップＳ５０５では、作業判定部１１０は、ステップＳ５０４でメモリ１９８から読み出された撮像画像から作業者の手の領域（手領域）を抽出する。例えば、作業判定部１１０は、背景差分法により撮像画像から手領域を抽出する。背景差分法では、対象となる撮像画像と背景画像との差分画像から動体（人体）を抽出し、該抽出された人体から頭部や動体、腕などを除き、手領域を取得する。なお、手領域の抽出（取得）方法は特定の方法に限るものではなく、例えば、機械学習を利用する方法、皮膚の色領域を抽出して手領域を検知する方法、赤外線を利用した皮膚の温度領域を抽出して手領域を検知する方法もある。撮像画像から手領域を抽出するための技術については周知の技術であり、本ステップではどのような技術を用いて撮像画像から手領域を抽出しても良い。

ステップＳ５０６では、作業判定部１１０は、ステップＳ５０５で抽出した手領域が、撮像画像上の作業エリアの何れに含まれているのかを判断する。図３（Ａ）に示す如く、作業台２０３上には実領域３０１〜３０４が設定されており、情報処理装置２００は、作業者２０１の手が実領域Ｘ（実領域３０１〜３０４の何れか１つ）に位置している場合には作業Ｘが行われたと判断する。実領域３０１〜３０４内の数字はそれぞれ、該実領域のＩＤ（エリアＩＤ）である。実領域３０１〜３０４のそれぞれに対応する撮像装置１００による撮像画像上の領域（作業エリア）は、撮像装置１００の位置姿勢や画角などのパラメータに基づいて一意に規定される。作業エリアを規定する情報は、図３（Ｂ）に示す如く、該作業エリアに対応する実領域のエリアＩＤ３０５と、該作業エリアの四隅の画像座標（座標値３０６）と、を対応付けたテーブルとしてメモリ１９８に予め登録されている。然るに作業判定部１１０は、撮像画像上における手領域が、該撮像画像上で座標値３０６によって規定されるそれぞれの作業エリアの何れに含まれているのかを判断する。

そして作業判定部１１０は、手領域を含む作業エリアに対応するエリアＩＤを、図３（Ｆ）の左側に示す検知エリアシーケンス３１５に登録する。図３（Ｆ）の左側に示す如く、検知エリアシーケンス３１５にはエリアＩＤが登録順に並んでいる。図３（Ｆ）では検知エリアシーケンス３１５には、エリアＩＤが１，１，２，２，…の順に並んでいる。これは、手領域がエリアＩＤ＝１の作業エリア→エリアＩＤ＝１の作業エリア→エリアＩＤ＝２の作業エリア→エリアＩＤ＝２の作業エリア、…の順に通過していることを意味している。

また、メモリ１９８には、図３（Ｃ）に示す如く、作業に固有のＩＤである作業ＩＤ３０７ごとに、該作業ＩＤ３０７に対応する作業が行われたと判断されるために作業者の手領域が通過すべき作業エリアのエリアＩＤ３０５、該作業ＩＤ３０７に対応する作業の関連作業の作業ＩＤ（関連作業ＩＤ）３０８、該作業ＩＤ３０７の作業の名称、が対応付けて登録されている。図３（Ｃ）のテーブルでは、作業ＩＤ＝１の作業が行われたと判断されるために作業者の手領域が通過すべき作業エリアのエリアＩＤとして「１」が登録されている。つまり、手領域が実領域３０１に対応する作業エリアを通過すると、作業ＩＤ＝１に対応する作業が行われたと判断される。また、このテーブルには、作業ＩＤ＝１の作業の関連作業は存在しないため、その旨を示す情報「−」が登録されている。また、このテーブルには、作業ＩＤ＝１の作業の名称として「清掃」が登録されている。また、図３（Ｃ）のテーブルでは、作業ＩＤ＝３の作業が行われたと判断されるために作業者の手領域が通過すべき作業エリアのエリアＩＤとして「３」が登録されている。つまり、手領域が実領域３０３に対応する作業エリアを通過すると、作業ＩＤ＝３に対応する作業が行われたと判断される。また、このテーブルには、作業ＩＤ＝３の作業の関連作業は作業ＩＤ＝４の作業であるため、作業関連ＩＤとして「４」が登録されている。また、このテーブルには、作業ＩＤ＝３の作業の名称として「ビス締め」が登録されている。

ステップＳ５０７では、作業判定部１１０は、ステップＳ５０４でメモリ１９８から読み出された撮像画像について上記のステップＳ５０２と同様の処理を行うことで、該撮像画像内でフェーズが切り替わったか否かを判断する。撮像画像内でフェーズが切り替わった場合には、処理はステップＳ５０９に進み、撮像画像内でフェーズが切り替わっていない場合には、処理はステップＳ５０４に戻る。

ステップＳ５０９では、作業判定部１１０は、照合用シーケンスと検知エリアシーケンス３１５とを照合し、検知エリアシーケンス３１５が表す「手領域が通過した作業エリア」に不備がないか否かを判断する。

標準作業シーケンス１１１の構成例を図３（Ｄ）に示す。標準作業シーケンス１１１は、フェーズＩＤ３１０ごとに、該フェーズＩＤ３１０に対応するフェーズを構成する作業を実施順に並べたシーケンスである作業シーケンス３１１と、該作業シーケンス３１１におけるそれぞれの作業に対応する作業エリアのエリアＩＤ３０５のシーケンスを表すエリアシーケンス３１２と、を対応付けて管理するテーブルである。例えば、フェーズＩＤ３１０＝１のフェーズ（フェーズ１）の作業シーケンス３１１としては、フェーズ１を構成する作業１〜４のそれぞれの作業ＩＤを実施順に並べたシーケンス「１→２→３→４」が登録されている。また、フェーズＩＤ３１０＝１のフェーズ（フェーズ１）のエリアシーケンス３１２としては、作業ＩＤ＝１の作業が行われたと判断されるために作業者の手領域が通過すべき作業エリアのエリアＩＤである「１」、作業ＩＤ＝２の作業が行われたと判断されるために作業者の手領域が通過すべき作業エリアのエリアＩＤである「２」、作業ＩＤ＝３の作業が行われたと判断されるために作業者の手領域が通過すべき作業エリアのエリアＩＤである「３」、作業ＩＤ＝４の作業が行われたと判断されるために作業者の手領域が通過すべき作業エリアのエリアＩＤである「４」、をこの順に並べたシーケンスが登録されている。これは、フェーズＩＤが１以外のフェーズについても同様である。このような標準作業シーケンス１１１は予め作成されてメモリ１９８に登録されている。

一時作業シーケンス１１２の構成例を図３（Ｅ）に示す。一時作業シーケンス１１２は、フェーズＩＤ３１０に対応するフェーズにおいて実施すべき作業として情報処理装置２００が決定した作業を実施順に並べたシーケンスである作業シーケンス３１３と、該作業シーケンス３１３におけるそれぞれの作業に対応する作業エリアのエリアＩＤ３０５のシーケンスを表すエリアシーケンス３１４と、を対応付けて管理するテーブルである。一時作業シーケンス１１２は、待機モードにおいて作成され、使用後は削除される。なお、上記の図３（Ｂ）〜（Ｄ）に示したテーブルは、作業工程ごとに予め作成されてメモリ１９８に登録されているものである。

然るにステップＳ５０９では、照合用シーケンスにおいてフェーズＩＤ＝変数Ｆの値に対応するエリアシーケンス３１２（３１４）と、検知エリアシーケンス３１５と、の照合を行う。この照合には、ＤＰマッチングと呼ばれるシーケンスマッチングを利用することができる。ＤＰマッチングは、２つのデータ列（照合用シーケンスにおいてフェーズＩＤ＝変数Ｆの値に対応するエリアシーケンス３１２（３１４）、検知エリアシーケンス３１５）の類似度を測定する手法である。このようなＤＰマッチングにより、シーケンス内の部分的な伸び縮みやノイズを考慮しながら、それらの類似度を計算することができる。なお、照合方法はＤＰマッチングに限らず、他の照合方法を用いても良い。また、検知エリアシーケンス３１５は、ステップＳ５０９の完了後、削除しても良い。

ステップＳ５１０では、作業判定部１１０は、ステップＳ５０９における照合結果に基づき、フェーズＩＤ＝変数Ｆの値に対応するフェーズを構成する作業の実施に不備があったか否かを判断する。例えば図６に示す如く、エリアシーケンス「１ ２ ３ ４」と検知エリアシーケンス「１ １ ２ ２ ４ １ ４」とのＤＰマッチング結果が得られたとする。この場合、エリアシーケンスの「３」に対応するものが検知エリアシーケンスにないことが分かり、その結果、エリアＩＤ＝３に対応する作業に不備があったことが分かる。なお、作業の実施に不備があったか否かを判断するための処理には様々な処理が考えられる。

ステップＳ５１０における判断の結果、フェーズＩＤ＝変数Ｆの値に対応するフェーズを構成する作業の実施に不備があった場合には、処理はステップＳ５１１に進む。一方、フェーズＩＤ＝変数Ｆの値に対応するフェーズを構成する作業の実施に不備がなかった場合には、処理はステップＳ５１３に進む。

ステップＳ５１３では、作業判定部１１０は、変数Ｆの値＝（作業工程におけるフェーズの総数）となったか否か、すなわち、作業工程における全てのフェーズについて作業の実施判定を行ったか否かを判断する。図２（Ｂ）の場合、変数Ｆの値＝３となったか否かを判断する。この判断の結果、変数Ｆの値＝（作業工程におけるフェーズの総数）となった場合には、処理はステップＳ５０１に戻る。一方、変数Ｆの値＜（作業工程におけるフェーズの総数）の場合には、処理はステップＳ５１４に進む。なお、ステップＳ５１３において、変数Ｆの値＝（作業工程におけるフェーズの総数）となった場合には、変数Ｆの値を適当な値に初期化しても良い。ステップＳ５１４では、制御部１９９は、変数Ｆの値を１つインクリメントする。そして処理はステップＳ５０３に進む。

ステップＳ５１１では、作業判定部１１０は、図３（Ｄ）のテーブル（図３（Ｅ）のテーブル）からフェーズＩＤ＝変数Ｆの値に対応する作業シーケンス３１１（３１３）を特定する。そして作業判定部１１０は、該特定した作業シーケンス３１１（３１３）に含まれているそれぞれの作業ＩＤについて、該作業ＩＤに対応する作業の不備が検知されたか否かを表す情報（実施判定結果）が登録されたテーブルを作成する。作業ＩＤに対応するエリアＩＤは、作業シーケンス３１１（３１３）におけるそれぞれの作業ＩＤとエリアシーケンス３１２（３１４）におけるそれぞれのエリアＩＤとが１対１で対応していることから、一意に特定できる。然るに、作業ＩＤに対応するエリアＩＤが、ステップＳ５１０における照合処理で照合用シーケンスにないと判断されたエリアＩＤであれば、該作業ＩＤに対応する作業の不備が検知されたこと表す情報（実施判定結果）を登録する。一方、作業ＩＤに対応するエリアＩＤが、ステップＳ５１０における照合処理で照合用シーケンスにあったと判断されたエリアＩＤであれば、該作業ＩＤに対応する作業の不備は検知されていないこと表す情報（実施判定結果）を登録する。

例えば、照合用シーケンスとして標準作業シーケンス１１１を使用し、変数Ｆの値＝１であるとする。このとき作業判定部１１０は図３（Ｆ）の右側に示す如く、図３（Ｄ）のテーブルにおいてフェーズＩＤ＝１に対応する標準作業シーケンス１１１に含まれている作業ＩＤ３０７＝１，２，３，４の実施判定結果３１６が登録されたテーブルを作成する。実施判定結果３１６が「ＯＫ」の場合、対応する作業に不備が検知されなかったことを示している。一方、実施判定結果３１６が「ＮＧ」の場合、対応する作業に不備が検知されたことを示している。なお、作業ＩＤごとに、対応する実施判定結果を取得するための構成は特定の構成に限らない。

ステップＳ５１２では、モード制御部１１４は、情報処理装置２００の動作モードを通常モードから警告モードに移行させる。そして処理はステップＳ４０３に進む。つまり、ステップＳ４０２からステップＳ４０３への移行は、フェーズＩＤ＝変数Ｆの値に対応するフェーズを構成する作業の実施に不備があった場合に行われる。

本実施形態では、１つの作業につき１つの作業エリアを対応付けるものとしたが、１つの作業に複数の作業エリアを対応付けてもよい。この場合は、各作業に対応する作業エリアのうち、手領域を含むものと判断された作業エリアの割合を用いて作業が正しく実施されたか否かを判定することができる。また、作業の実施判定は作業エリアを用いたものに限らず、例えば、手の動きの特徴量を正しい手の動きの特徴量と比較することで、作業不備を検知してもよい。つまり、それぞれの作業に不備があったか否かを判断することができれば、そのための構成は特定の構成に限らない。

図４に戻って、ステップＳ４０３では、情報処理装置２００は警告モードの動作を行う。ステップＳ４０３における処理の詳細について、図７のフローチャートを用いて説明する。

ステップＳ７０１では、報知制御部１１５は、上記のステップＳ５１１において作成されたテーブルにおいて実施判定結果３１６が「ＮＧ」に対応する作業ＩＤを特定し、該特定した作業ＩＤに対応する作業に不備が検知された旨を報知する。作業の不備の報知を音声出力にて行う場合、音声データはすべての作業について事前に録音されているものとし、作業ＩＤに応じた音声データを再生することで、報知を行うことができる。この報知は、情報処理装置２００が警告モードとして動作する間、継続するものとする。なお、本実施形態における作業者への作業の不備の報知方法は音声通知に限らず、情報処理装置２００に接続されたランプの点灯パターンや、液晶モニタ等の表示デバイスにおける表示通知であってもよい。

ステップＳ７０２では、検知部１１３は、メモリ１９８から蓄積順に撮像画像を読み出し、該読み出した撮像画像から作業者による上記の第１のジェスチャを認識した場合には、処理はステップＳ７０３を介してステップＳ７０４に進む。一方、ステップＳ７０２で読み出した撮像画像から作業者による上記の第１のジェスチャを認識しなかった場合には、処理はステップＳ７０３を介してステップＳ７０２に進む。

ジェスチャの認識には、公知の技術を用いることができる。例えば、撮像画像から手領域や腕領域を検出し、その時系列的な動きの変化で所定のジェスチャが行われたか否かを判定することができる。１画像ごとに特徴量を算出し、時系列に沿って複数の画像の情報を蓄積していくことで、時系列的な動きの特徴を得ることができる。また、ジェスチャは画像から認識することに限らず、例えば、センサを用いて手などの部位の動きを計測し、該計測した動きが所定のジェスチャの動きにマッチしていれば、所定のジェスチャがなされたと判断しても良い。

ステップＳ７０４では、作業判定部１１０は、撮像画像からの作業の不備の検知処理（作業の実施判定処理）を中断（停止）し、ステップＳ７０５では、モード制御部１１４は、情報処理装置２００の動作モードを警告モードから待機モードに移行させる。そして処理はステップＳ４０４に進む。つまり、ステップＳ４０３からステップＳ４０４への移行は、警告モードにおいて撮像画像から第１のジェスチャを認識した場合に行われる。

図４に戻って、ステップＳ４０４では、情報処理装置２００は待機モードの動作を行う。ステップＳ４０４における処理の詳細について、図８のフローチャートを用いて説明する。

ステップＳ８０１では、検知部１１３は、メモリ１９８から蓄積順に撮像画像を読み出し、該読み出した撮像画像から作業者による上記の第２のジェスチャを認識した場合には、処理はステップＳ８０２を介してステップＳ８０３に進む。一方、ステップＳ８０１で読み出した撮像画像から作業者による上記の第２のジェスチャを認識しなかった場合には、処理はステップＳ８０２を介してステップＳ８０１に進む。ジェスチャの認識については上記の通り公知の技術を用いて行う。なお、第１のジェスチャと第２のジェスチャは同じジェスチャであっても良いし、互いに異なるジェスチャであっても良い。また、第１のジェスチャ及び第２のジェスチャは同一人物が行っても良いし、それぞれ異なる人物が行っても良い。

ステップＳ８０３では、作業判定部１１０は、上記のステップＳ５１１で作成されたテーブルにおいて実施判定結果３１６が「ＮＧ」に対応する作業ＩＤを特定し、該作業ＩＤに対応する関連作業ＩＤが図３（Ｃ）のテーブルに登録されているか否かを判断する。図３（Ｃ）の場合、実施判定結果３１６が「ＮＧ」に対応する作業ＩＤ＝１であれば、関連作業ＩＤは登録されておらず、実施判定結果３１６が「ＮＧ」に対応する作業ＩＤ＝３であれば、関連作業ＩＤ＝４が登録されている。

この判断の結果、実施判定結果３１６が「ＮＧ」に対応する作業ＩＤに対応する関連作業ＩＤが図３（Ｃ）のテーブルに登録されていれば、処理はステップＳ８０４に進み、登録されていなければ、処理はステップＳ８０５に進む。なお、図３（Ｆ）のテーブルは、ステップＳ８０３の処理の完了後に削除しても良い。

ステップＳ８０４では、生成部１１６は図３（Ｅ）に示す如く、関連作業ＩＤを先頭にし、これに後続して、図３（Ｄ）のテーブルにおいてフェーズＩＤ＝（変数Ｆの値＋１）に対応する標準作業シーケンス１１１を追加した作業シーケンス３１３を作成する。また生成部１１６は、作業シーケンス３１３に含まれるそれぞれの作業ＩＤの並び順で該作業ＩＤに対応するエリアＩＤ（図３（Ｃ）のテーブルや図３（Ｄ）のテーブルから取得）を並べたシーケンスをエリアシーケンス３１４として作成する。そして生成部１１６は、フェーズＩＤ３１０（＝変数Ｆの値＋１）と作業シーケンス３１３とエリアシーケンス３１４とを関連づけたテーブルを一時作業シーケンス１１２として生成する。

ステップＳ８０５では、報知制御部１１５は、作業者が次に行うべき作業を該作業者に対して報知する。ステップＳ８０３からステップＳ８０５に処理が進んだ場合、報知制御部１１５は、図３（Ｄ）のテーブルからフェーズＩＤ＝（変数Ｆの値＋１）に対応する作業シーケンス３１１を特定する。そして報知制御部１１５は、該特定した作業シーケンス３１１において実施順が最初の作業ＩＤと、図３（Ｃ）のテーブルにおいて該作業ＩＤに対応する作業名称と、を報知する。一方、ステップＳ８０４からステップＳ８０５に処理が進んだ場合、報知制御部１１５は、図３（Ｅ）のテーブルからフェーズＩＤ＝（変数Ｆの値＋１）に対応する作業シーケンス３１３を特定する。そして報知制御部１１５は、該特定した作業シーケンス３１３において実施順が最初の作業ＩＤと、図３（Ｃ）のテーブルにおいて該作業ＩＤに対応する作業名称と、を報知する。

このように、一時作業シーケンス１１２を作成しなかった場合には、通常モードに復帰後は標準作業シーケンス１１１を照合用シーケンスとして使用するので、標準作業シーケンス１１１において次のフェーズの先頭作業に係る情報を報知する。一方、一時作業シーケンス１１２を作成した場合には、通常モードに復帰後は一時作業シーケンス１１２を照合用シーケンスとして使用するので、一時作業シーケンス１１２において先頭作業に係る情報を報知する。報知方法は特定の方法に限らず、上記の通り、音声による報知であっても良いし、表示による報知であっても良い。また、報知する内容についても特定の内容に限らない。

ステップＳ８０６では、モード制御部１１４は、情報処理装置２００の動作モードを待機モードから通常モードに移行させる。さらに制御部１９９は、変数Ｆの値を１つインクリメントする。

そして処理はステップＳ４０２（より詳しくはステップＳ５０３）に進む。ステップＳ８０６からステップＳ５０３に処理が進んだ場合、ステップＳ５０３以降では、上記のステップＳ８０４において生成された一時作業シーケンス１１２が照合用シーケンスとして（標準作業シーケンス１１１の代わりに）取得（使用）されることになる。

このように、本実施形態によれば、作業の実施不備が報知されると、通常モードとは異なる処理を行う警告モード及び待機モードへ移行し、作業者による作業の再実施中は作業の実施判定処理を中断する。そして、作業の再実施後に、どの作業から再開すべきかを判断して作業者に報知すると共に、再実施後の作業不備も検知する。さらに、映像を用いたモード移行指示により、作業者は警告の把握や、やり直しの完了をジェスチャ等で簡単に情報処理装置２００に知らせることができる。

＜変形例＞
報知制御部１１５は、待機モードの継続時間が規定時間以上となった場合に、通常モードへの復帰を促すメッセージ（例えば、第２のジェスチャを行うよう促すメッセージ）を作業者に報知しても良い。このような構成により、作業者が通常モードへの移行を指示するためのジェスチャを忘れている場合に、該ジェスチャを促すことができる。

なお、第１の実施形態では情報処理装置２００は、待機モードの処理において、待機モードの継続時間が規定時間以上になった場合に、作業者への通知をおこなうようにしてもよい。情報処理装置２００をそのように構成した場合には、作業者が通常モードへの移行指示を忘れている場合に、モード移行指示を促すことができる。上記のケースでは、作業者はモード移行指示を忘れたまま通常作業をおこなってしまっているため、通常モード復帰時に標準シーケンスと作業者が実施する作業が整合しない状態が継続し、誤った警告が通知され続けてしまう可能性がある。このような例外的なケースを解決するために、情報処理装置２００は、作業の実施判定処理のフェーズ位置を、初期状態である「最初のフェーズ」または「作業者が指定したフェーズ」に再設定する機能を備えてもよい。モード移行指示と同様に、作業者の特定のジェスチャ等によって、再設定指示や再設定するフェーズのＩＤを受け付けるように構成できる。

また、第１の実施形態では、モードの移行指示をジェスチャによって行うものとしたが、モードの移行指示は他の方法でもって行っても良い。例えば、撮像装置１００にマーカ等の物体を撮像させ、情報処理装置２００が撮像画像中の物体を認識することで、該認識した物体の種別に応じたモードに移行させるようにしても良い。また、複数の物体を予め撮像装置１００の撮像範囲に設置しておき、作業者が該複数の物体のうち１つを指すことでモード移行を指示してもよい。この場合、情報処理装置２００は、撮像画像から作業者が指す物体を認識し、該認識した物体の種別に応じたモードに移行させる。

また、本実施形態では、モードの移行指示以外にも作業者からの指示を受け付けるよう構成することができる。例えば、作業再開に関する報知を作業者が聞き取れなかった場合に、再報知の指示を行えるようにしてもよい。この場合、情報処理装置２００は作業者からの再報知指示を検知した場合に、直前の報知内容を再度報知する。

さらに、情報処理装置２００の動作モードを作業者に報知しても良い。例えば、情報処理装置２００に接続されたランプの点灯パターンや情報処理装置２００の表示画面の表示内容によって作業者に情報処理装置２００の動作モードを報知しても良い。このような構成によれば、作業者は自身が行ったモード移行指示が正しく情報処理装置２００に検知されたのかを把握することができる。

［第２の実施形態］
以下では第１の実施形態との差分について説明し、以下で特に触れない限りは第１の実施形態と同様であるものとする。第１の実施形態では、警告モードおよび待機モードの間は作業の実施判定を中断して一切行わなかった。しかし、組み立て作業が非常に高速で行う作業の場合、情報処理装置２００があるフェーズにおける作業不備を報知した時点で、作業者は既に次のフェーズの作業を開始してしまっていることが考えられる。この場合、作業者は現在取り掛かり中である作業を終わらせてから、不備が報知された作業をやり直すことが想定される。

本実施形態は、作業者の作業完了タイミングと作業の実施判定結果の報知タイミングとのタイムラグを考慮したもので、警告モードから待機モードへの移行指示が入力されるまでに作業者が行った作業に基づいて一時作業シーケンス１１２を生成する。

ここで、本実施形態に係る作業監視システムの動作例について、図９を用いて説明する。通常モードにおける情報処理装置２００が撮像映像からフェーズ１の区切り（作業４と作業５との間）を検知すると、フェーズ１を構成する作業１〜４がこの順で正常に実施されたか否かの実施判定を行う。この実施判定により、作業３に不備があったとする。この場合、情報処理装置２００の動作モードは通常モードから警告モードに移行し、作業３の不備が作業者に対して報知され、作業３の再実施が促される。しかし、作業者は各作業を比較的短い時間で実施しており、また、撮影映像を取得してフェーズ１の作業の実施判定などの処理を行うには時間を要する。そのため、図９に示す如く、情報処理装置２００がフェーズ１の区切りを検知して作業の実施判定を行い、該実施判定により検知した作業３の不備を報知した時点で、作業者は既にフェーズ２の作業５を実施している。本実施形態ではこのような場合、作業者は作業５を終了させてから、待機モードへの移行指示を行って、作業３の再実施を行う。そして、情報処理装置２００は、通常モードに移行すると、すでに作業５は実施済みであるから、作業６からの作業再開を指示する。

本実施形態では、情報処理装置２００は警告モードにおいては図１０のフローチャートに従った処理を行う（つまり、本実施形態ではステップＳ４０３では図１０のフローチャートに従った処理を行う）。

ステップＳ１００１では、報知制御部１１５は、上記のステップＳ７０１と同様にして、作業の不備を報知する。ステップＳ１００２では、作業判定部１１０は、メモリ１９８から蓄積順に撮像画像を読み出す。ステップＳ１００２で読み出される撮像画像は、フェーズが切り替わった後の撮像画像であり、図９の場合では、作業５の開始時に対応する撮像画像である。

ステップＳ１００３では、作業判定部１１０は、上記のステップＳ５０５と同様の処理を行うことで、ステップＳ１００２で読み出された撮像画像から手領域を抽出する。ステップＳ１００４では、作業判定部１１０は、上記のステップＳ５０６と同様の処理を行うことで、ステップＳ１００３で抽出した手領域が、撮像画像上の作業エリアの何れに含まれているのかを判断する。つまり、ステップＳ１００３及びＳ１００４により、警告モードに移行してから待機モードに移行するまでの間で実施された作業を検知し、対応するエリアＩＤを検知エリアシーケンス３１５に登録することができる。ステップＳ１００５〜Ｓ１００７はそれぞれ、上記のステップＳ７０３〜Ｓ７０５と同様であるため、これらの処理に係る説明は省略する。

また本実施形態では、情報処理装置２００は待機モードにおいては図１１のフローチャートに従った処理を行う（つまり、本実施形態ではステップＳ４０４では図１１のフローチャートに従った処理を行う）。

ステップＳ１１０１は、上記のステップＳ８０１と同様であるため、このステップに係る説明は省略する。ステップＳ１１０１で読み出した撮像画像から作業者による上記の第２のジェスチャを認識した場合には、処理はステップＳ１１０２を介してステップＳ１１０３に進む。一方、ステップＳ１１０１で読み出した撮像画像から作業者による上記の第２のジェスチャを認識しなかった場合には、処理はステップＳ１１０２を介してステップＳ１１０１に進む。

ステップＳ１１０３で作業判定部１１０は、図３（Ｄ）のテーブルからフェーズＩＤ＝（変数Ｆの値＋１）に対応するエリアシーケンス３１２を取得し、該エリアシーケンス３１２と、ステップＳ１００４で生成した検知エリアシーケンス３１５と、を照合する。照合には例えば上記のＤＰマッチングを用いる。このような照合により、フェーズＩＤ＝（変数Ｆの値＋１）に対応するエリアシーケンス３１２に、ステップＳ１００４で生成した検知エリアシーケンス３１５が含まれているか否かを判断する。つまり、フェーズの切り替え検知（ステップＳ５０７）から報知（ステップＳ１００１）までの間に作業者が実施した作業が、フェーズＩＤ＝（変数Ｆの値＋１）に対応する作業シーケンス３１１に含まれているか否かを判断する。これは、フェーズの切り替え検知（ステップＳ５０７）後に、作業者が次のフェーズ（フェーズＩＤ＝（変数Ｆの値＋１）に対応するフェーズ）の一部を実施済みであるか否かの判定を行うことに等価である。例えば、ＤＰマッチングの結果、フェーズＩＤ＝（変数Ｆの値＋１）に対応するエリアシーケンス３１２の中で、ステップＳ１００４で生成した検知エリアシーケンス３１５と対応づく部分シーケンスがあるとする。このとき、該部分シーケンスに対応する作業は実施済みの作業であったと判定できる。

ステップＳ１１０３における照合の結果、フェーズＩＤ＝（変数Ｆの値＋１）に対応するエリアシーケンス３１２の中で実施済みの作業があった場合には、処理はステップＳ１１０４を介してステップＳ１１０５に進む。一方、ステップＳ１１０３における照合の結果、フェーズＩＤ＝（変数Ｆの値＋１）に対応するエリアシーケンス３１２の中で実施済みの作業がなかった場合には、処理はステップＳ１１０４を介してステップＳ１１０６に進む。

ステップＳ１００５で作業判定部１１０は、図３（Ｄ）のテーブルにおいてフェーズＩＤ＝（変数Ｆの値＋１）に対応する標準作業シーケンス１１１から、ステップＳ１００３における照合で特定した実施済みの作業に対応する作業ＩＤを削除した作業シーケンスを作業シーケンス３１３として作成する。

ステップＳ１１０６で作業判定部１１０は、上記のステップＳ５１１で作成されたテーブルにおいて実施判定結果３１６が「ＮＧ」に対応する作業ＩＤを特定し、該作業ＩＤに対応する関連作業ＩＤが図３（Ｃ）のテーブルに登録されているか否かを判断する。この判断の結果、実施判定結果３１６が「ＮＧ」に対応する作業ＩＤに対応する関連作業ＩＤが図３（Ｃ）のテーブルに登録されていれば、処理はステップＳ１１０７に進み、登録されていなければ、処理はステップＳ１１０８に進む。

ステップＳ１１０７では、生成部１１６は、ステップＳ１１０５において作業シーケンス３１３を作成した場合には、この作業シーケンス３１３の先頭に関連作業ＩＤを追加したものを改めて作業シーケンス３１３とする。また生成部１１６は、ステップＳ１１０５において作業シーケンス３１３を作成していない場合には、上記のステップＳ８０４と同様の動作を行う。すなわち生成部１１６は、関連作業ＩＤを先頭にし、これに後続して、図３（Ｄ）のテーブルにおいてフェーズＩＤ＝（変数Ｆの値＋１）に対応する標準作業シーケンス１１１を追加した作業シーケンス３１３を作成する。

そして生成部１１６は、上記のステップＳ８０４と同様にしてエリアシーケンス３１４を作成し、フェーズＩＤ３１０（＝変数Ｆの値＋１）と作業シーケンス３１３とエリアシーケンス３１４とを関連づけたテーブルを一時作業シーケンス１１２として生成する。

ステップＳ１１０８及びステップＳ１１０９はそれぞれ、上記のステップＳ８０５及びステップＳ８０６と同様である。なお、ステップＳ１１０８では、報知制御部１１５は、一時作業シーケンス１１２を作成していない場合、図３（Ｄ）のテーブルからフェーズＩＤ＝（変数Ｆの値＋１）に対応する作業シーケンス３１１を特定する。そして報知制御部１１５は、該特定した作業シーケンス３１１において実施順が最初の作業ＩＤと、図３（Ｃ）のテーブルにおいて該作業ＩＤに対応する作業名称と、を報知する。一方、一時作業シーケンス１１２を作成した場合、報知制御部１１５は、図３（Ｅ）のテーブルからフェーズＩＤ＝（変数Ｆの値＋１）に対応する作業シーケンス３１３を特定する。そして報知制御部１１５は、該特定した作業シーケンス３１３において実施順が最初の作業ＩＤと、図３（Ｃ）のテーブルにおいて該作業ＩＤに対応する作業名称と、を報知する。

このように本実施形態によれば、作業者の作業完了タイミングと作業の実施判定結果の報知タイミングとの間にタイムラグがあり、作業不備の報知までに作業者が次の作業を行ってしまった場合でも、作業再実施後の再開作業の指示を正しく行うことができる。そしてこのような構成によれば、実施済みである作業に関して、無駄なやり直しをなくすことができる。

［第３の実施形態］
第１，２の実施形態では、フェーズの切り替わりをトリガにして作業の実施判定を行っていたが、作業の実施判定を行うトリガはフェーズの切り替わりに限らない。例えば、１つの工程が短い場合や、１つの工程を１つのフェーズとして取り扱う場合などは、１つの工程が完了した時点で該工程に対する作業の実施判定を行うようにしても良い。この場合、１つの工程について１つの標準作業シーケンスが定義されており、この標準作業シーケンスが繰り返し実施されるため、一時作業シーケンスは、常にこの標準作業シーケンスに対して生成される。

１つの工程が作業１〜４で構成されている場合に、該１つの工程が完了した時点で該１つの工程に対する作業の実施判定を行う情報処理装置２００の動作について、図１２（Ａ）を用いて説明する。

図１２（Ａ）に示す如く、作業１〜４が完了した時点で作業１〜４の作業の実施判定を行ったことで、作業２に不備が検知されたとする。また、この作業２の関連作業として作業４が定義されているとする。通常モードにおいて作業２に不備が検知されると、情報処理装置２００の動作モードは警告モードに移行し、作業２に不備があるため作業者に対して作業２の再実施を促す報知を行う。作業者が待機モードへの移行指示を行うと、情報処理装置２００の動作モードは警告モードから待機モードに移行する。待機モードでは、作業者が作業２の再実施を行ってから、通常モードへの移行指示を行う。このとき情報処理装置２００は、「１，２，３，４」という作業シーケンスの先頭に関連作業である「作業４」を加えた「４，１，２，３，４」を一時作業シーケンスとして生成し、通常モードに復帰後は、この一時作業シーケンスを使用する。また、作業者への報知としては、作業４の実施指示をした後に、次の対象物に対して作業１からの作業開始を指示することができる。

また、１つの工程を構成する作業ごとに該作業の実施判定を行うようにしても良い。例えば、１つの標準作業シーケンスの先頭から作業ごとに、該作業の実施判定結果と順次照合していき、標準作業シーケンスに対応しない作業が発生した時点で実施不備と判定することができる。この場合、１つの工程に対して１つの標準作業シーケンスが定義されており、一時作業シーケンスは、標準作業シーケンスから実施判定済みの作業を切り取ったシーケンスを基準として生成することができる。

また第１，２の実施形態では、警告モードにおいては、不備が検知された作業のみの再実施を促す報知を行っていた。しかし、不備が検知された作業と関連する関連作業が存在する場合には、不備が検知された作業の再実施を促す報知に加えて該作業に関連する関連作業の再実施を促す報知を行っても良い。このような報知を行う場合における情報処理装置２００の動作について、図１２（Ｂ）を用いて説明する。

図９と同様に、作業４と作業５との間にフェーズ１の区切りがあり、作業２の関連作業として作業４が定義されているものとする。通常モードにおける情報処理装置２００が撮像映像からフェーズ１の区切り（作業４と作業５との間）を検知すると、フェーズ１を構成する作業１〜４がこの順で正常に実施されたか否かの実施判定を行う。この実施判定により、作業２に不備があったとする。作業２に不備が検知されると、情報処理装置２００の動作モードは警告モードに移行し、作業２に不備があるため作業者に対して作業２のみならず作業２の関連作業である作業４についても再実施を促す報知を行う。作業者が待機モードへの移行指示を行うと、情報処理装置２００の動作モードは警告モードから待機モードに移行する。待機モードでは、作業者が作業２及び作業４の再実施を行ってから、通常モードへの移行指示を行う。通常モードに復帰後は、次のフェーズの先頭作業である作業５から実施するので、作業者に対して作業５の実施を促す報知を行う。情報処理装置２００は、関連作業を追加した一時作業シーケンスを生成しなくてよい。本実施形態では、関連作業が正しく再実施されたかを判定することはできないが、システムの構成を単純にすることができる。

［第４の実施形態］
上記の各実施形態や各変形例において、一時作業シーケンス１１２等の情報処理装置２００が生成したデータは、不必要になったら適宜削除しても良い。上記の説明において、例えば、一時作業シーケンス１１２の代わりに標準作業シーケンス１１１を使用する場合には、一時作業シーケンス１１２は削除しても良い。逆に、削除せずに保存しておいても良い。

また、上記の各実施形態や各変形例では、作業者の撮影映像は撮像装置１００から取得するものとしたが、これに限らない。例えば、外部装置に録画済みの作業者の撮影映像が保存されている場合に、取得部１０８が該撮影映像を該外部装置から取得するようにしても良い。

また、図３に示した各種のテーブルの構成は一例に過ぎず、テーブル内の数値やテーブルの構成は図３の例に限らない。また、幾つかのテーブルを１つのテーブルに纏めても良いし、１つのテーブルを幾つかのテーブルに分けても良い。

［第５の実施形態］
図１（Ｂ）に示した情報処理装置２００中の各機能部はハードウェアで実装しても良い。しかし、取得部１０８、検知部１１３、作業判定部１１０、モード制御部１１４、報知制御部１１５、生成部１１６、制御部１９９、についてはソフトウェア（コンピュータプログラム）で実装しても良い。この場合、メモリ１９８を有し、このようなコンピュータプログラムを実行可能なプロセッサを有するコンピュータ装置は、上記の情報処理装置２００に適用可能である。情報処理装置２００に適用可能なコンピュータ装置のハードウェア構成例について、図１（Ａ）のブロック図を用いて説明する。

ＣＰＵ１０１は、ＲＯＭ１０２やＲＡＭ１０３に格納されているコンピュータプログラムやデータを用いて処理を実行する。これによりＣＰＵ１０１は、コンピュータ装置全体動作制御を行うと共に、情報処理装置２００が行うものとして上述した各処理を実行若しくは制御する。

ＲＯＭ１０２には、書換不要のコンピュータプログラムやデータ（ＢＩＯＳのコンピュータプログラムやデータなど）が格納されている。ＲＡＭ１０３は、記憶部１０４からロードされたコンピュータプログラムやデータ、通信部１０７を介して外部から受信したデータ、を格納するためのエリアを有する。更にＲＡＭ１０３は、ＣＰＵ１０１が各種の処理を実行する際に用いるワークエリアを有する。このようにＲＡＭ１０３は、各種のエリアを適宜提供することができる。

記憶部１０４は、ハードディスクドライブ装置に代表される大容量情報記憶装置である。記憶部１０４には、ＯＳ（オペレーティングシステム）や、情報処理装置２００が行うものとして上述した各処理をＣＰＵ１０１に実行若しくは制御させるためのコンピュータプログラムやデータが保存されている。

記憶部１０４に保存されているコンピュータプログラムには、上記の取得部１０８、検知部１１３、作業判定部１１０、モード制御部１１４、報知制御部１１５、生成部１１６、制御部１９９、の機能をＣＰＵ１０１に実現させるためのコンピュータプログラムが含まれている。

記憶部１０４に保存されているデータには、上記の説明において既知の情報として取り扱ったものや、メモリ１９８に保存されている情報として説明したものが含まれている。つまり、記憶部１０４に保存されているデータには、標準作業シーケンス１１１、一時作業シーケンス１１２を含む、図３の各種のテーブルも含まれている。

記憶部１０４に保存されているものとして説明したコンピュータプログラムやデータは、ＣＰＵ１０１による制御に従って適宜ＲＡＭ１０３にロードされ、ＣＰＵ１０１による処理対象となる。上記のメモリ１９８は、ＲＯＭ１０２やＲＡＭ１０３、記憶部１０４によって実装することができる。

入力部１０５は、キーボードやマウス、タッチパネル画面などのユーザインターフェースにより構成されており、ユーザが操作することで、各種の指示をＣＰＵ１０１に対して入力することができる。

出力部１０６は、例えば、情報処理装置２００による処理結果を画像や文字として表示する表示装置、上記の様々な報知を行う装置等、各種の情報の出力を行うための装置である。

通信部１０７は、ＬＡＮやインターネットなどのネットワークを介して外部機器とのデータ通信を行うためのものである。例えば、通信部１０７には上記の撮像装置１００を接続することができ、撮像装置１００による撮像画像は通信部１０７を介してＲＡＭ１０３や記憶部１０４に格納される。

上記のＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、記憶部１０４、入力部１０５、出力部１０６、通信部１０７は何れもバス１８０に接続されている。なお、図１（Ａ）に示した構成は、情報処理装置２００に適用可能なコンピュータ装置のハードウェア構成の一例に過ぎない。例えば、情報記憶装置として、ＤＶＤ−ＲＯＭ／ＲＡＭやＵＳＢメモリを使用しても良いし、入力部１０５を省いて、代わりにタッチパネル画面を介して操作入力を受け付けるようにしても良い。この場合、タッチパネル画面は、情報表示と操作受け付けの両方の機能を実現する。

なお、以上説明した各実施形態や各変形例の一部若しくは全部を適宜組み合わせて使用しても構わない。また、以上説明した各実施形態や各変形例の一部若しくは全部を選択的に使用しても構わない。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０８：取得部 １１０：作業判定部 １１３：検知部 １１４：モード制御部 １１５：報知制御部 １１６：生成部 １９８：メモリ １９９：制御部

Claims (19)

1. 作業シーケンスに含まれる一連の作業を順次実施している作業者の撮影映像から作業の不備を検知する検知処理を実行する処理手段を備え、
   前記処理手段は、
   前記検知処理により前記撮影映像から作業の不備を検知すると、前記作業者からの指示を検知するまで前記検知処理を中断し、該中断後に該指示を検知すると、前記検知処理の再開後に前記検知処理の対象となる対象作業を、該不備が検知された作業に基づいて特定し、該対象作業に対する前記検知処理を再開することを特徴とする情報処理装置。
2. 前記処理手段は、前記撮影映像から作業の不備を検知すると、第１の指示を検知するまで、該作業に係る情報の報知を行うことを特徴とする請求項１に記載の情報処理装置。
3. 前記処理手段は、前記第１の指示を検知すると前記報知を中断し、該中断後に第２の指示を検知すると、前記特定および前記検知処理の再開を行うことを特徴とする請求項２に記載の情報処理装置。
4. 前記処理手段は、前記作業シーケンスに含まれる複数の作業のうち前記不備を判定済みの作業より後の実施順に含まれる作業を前記対象作業として特定することを特徴とする請求項１乃至３の何れか１項に記載の情報処理装置。
5. 前記処理手段は、前記不備が検知された作業と関連する関連作業と、前記作業シーケンスに含まれる複数の作業のうち前記不備を判定済みの作業より後の実施順に含まれる作業と、を前記対象作業として特定することを特徴とする請求項１乃至３の何れか１項に記載の情報処理装置。
6. 前記処理手段は、前記第１の指示の後、前記第２の指示の入力までの継続時間が規定時間以上となった場合に報知をおこない、第３の指示の入力に従って、前記作業シーケンスに含まれる複数の作業のうち実施順において最初の作業または第３の指示で指定された作業より後の順の作業を前記対象作業として特定することを特徴とする請求項３に記載の情報処理装置。
7. 前記処理手段は、前記作業シーケンスに含まれる作業に対する前記検知処理を開始してから該作業の不備の報知を行うまでの間に前記作業者によって実施された作業を、前記不備を判定済みの作業より後の実施順の作業群から削除した残りの作業を、前記対象作業として特定することを特徴とする請求項１乃至３の何れか１項に記載の情報処理装置。
8. 前記処理手段は、前記不備が検知された作業と関連する関連作業と、前記作業シーケンスに含まれる作業と、を前記対象作業として特定することを特徴とする請求項１乃至３の何れか１項に記載の情報処理装置。
9. 前記処理手段は、前記第２の指示を検知すると、前記対象作業のうち実施順において先頭の作業に係る情報の報知を行うことを特徴とする請求項３に記載の情報処理装置。
10. 前記処理手段は、前記撮影映像から規定のイベントの発生を作業の区切りとして検出することを特徴とする請求項４乃至７の何れか１項に記載の情報処理装置。
11. 前記イベントは、前記作業者の作業対象となる物体の位置及び／又は姿勢の規定の変化であることを特徴とする請求項１０に記載の情報処理装置。
12. 前記第１の指示、前記第２の指示は、ジェスチャあるいはマーカのいずれか１つ以上であることを特徴とする請求項３に記載の情報処理装置。
13. 前記第１の指示、前記第２の指示は、前記撮影映像に含まれる物体の認識の結果に応じた指示であることを特徴とする請求項３に記載の情報処理装置。
14. 前記第１の指示、前記第２の指示は、前記撮影映像に含まれる複数の物体のうち指定された物体の認識の結果に応じた指示であることを特徴とする請求項３に記載の情報処理装置。
15. 前記処理手段は、撮影映像から作業者からの不備が検知された作業に係る情報の再報知の指示を判定し、前記再報知の指示に応じて、直前の報知内容を再度報知することを特徴とする請求項１乃至１４の何れか１項に記載の情報処理装置。
16. 前記処理手段は、音声、ランプの点灯パターン、表示のいずれか１つ以上を用いて、不備が検知された作業に係る情報を報知することを特徴とする請求項１乃至１５の何れか１項に記載の情報処理装置。
17. 前記処理手段は、前記情報処理装置の動作モードを作業者に報知することを特徴とする請求項１乃至１６の何れか１項に記載の情報処理装置。
18. 情報処理装置が行う情報処理方法であって、
    前記情報処理装置の処理手段が、作業シーケンスに含まれる一連の作業を順次実施している作業者の撮影映像から作業の不備を検知する検知処理を実行する処理工程を備え、
    前記処理工程では、
    前記検知処理により前記撮影映像から作業の不備を検知すると、前記作業者からの指示を検知するまで前記検知処理を中断し、該中断後に該指示を検知すると、前記検知処理の再開後に前記検知処理の対象となる対象作業を、該不備が検知された作業に基づいて特定し、該対象作業に対する前記検知処理を再開することを特徴とする情報処理方法。
19. コンピュータを、請求項１乃至１７の何れか１項に記載の処理手段として機能させるためのコンピュータプログラム。

Images