JP2017091091A - 作業情報生成装置 - Google Patents

Abstract

【課題】作業のポイントを含んだ、３次元モデルを用いた作業情報を容易に生成可能とする作業情報生成装置を提供する。
【解決手段】作業情報生成装置１０は、ウエアラブル端末２０から順次画像データ３１を取得し、取得した画像データ３１に示された作業対象物に対応する３次元モデルを特定するとともに、各画像データ３１から作業対象物の移動軌跡を特定する。又、作業情報生成装置１０は、作業対象物に対して作業する作業者の状態を作業状態として特定し、３次元モデルと移動軌跡と作業状態とを関連付けて作業情報３３を生成する。
【選択図】図１

Description

この発明は、分解、組立といった作業手順を示した作業情報を３次元モデルを用いて生成する技術に関する。

３次元モデルを用いて、分解、組立といった作業手順を示す作業情報が生成される場合がある。この場合、作業の流れに沿って、分解、組立される作業対象物の各部品の３次元モデルが指定され、分解、組立の方向が示されて、作業情報が生成される。
３次元モデルを用いて作業情報を生成するのではなく、作業の手順を映像で記録することにより作業情報を生成する方法もある。しかし、３次元モデルを用いて作業情報を生成することには、作業の手順を映像で記録することにより作業情報を生成することに比べて、以下の（１）〜（３）の利点がある。（１）周囲の設備との干渉確認といった組立性検証が可能である。（２）設計変更及び設計流用の際に部品が変わっても変更部品に関して修正するだけで済む。（３）作業手順を示すアニメーション作成に流用可能である。

また、熟練した作業者が作業を実施する際のポイントについても作業情報に盛り込んでおけば、作業情報に従い円滑に作業を行うことが可能になる。特許文献１には、教示者の動きを伝えるに当たり、教示者の動きとともに、注視している位置といった勘所も伝えることが記載されている。

特開２０１２−１６４２１３号公報

３次元モデルを用いた作業情報を生成するには、３次元モデルを操作する技術が必要であり、個々の部品について分解、組立の方向を定義するといった煩雑な作業が必要になる。また、作業のポイントを作業情報に盛り込むためには、熟練した作業員から聞き込みを行い、作業情報に追加するといった煩雑な作業が必要になる。
この発明は、作業のポイントを含んだ、３次元モデルを用いた作業情報を容易に生成可能とすることを目的とする。

この発明に係る作業情報生成装置は、
作業領域を撮像した画像データを順次取得する画像取得部と、
前記画像取得部によって取得された各画像データに示された作業対象物に対応する３次元モデルを特定するモデル特定部と、
前記各画像データから前記作業対象物の移動軌跡を特定する移動軌跡特定部と、
前記作業対象物に対して作業する作業者の状態を作業状態として特定する作業状態取得部と、
前記モデル特定部によって特定された前記３次元モデルと、前記移動軌跡特定部によって特定された前記移動軌跡と、前記作業状態取得部によって取得された作業状態とを関連付けて作業情報を生成する作業情報生成部と
を備える。

この発明では、一連の画像データから作業対象物の３次元モデル及び移動軌跡を特定して作業情報を生成する。また、作業対象物に対して作業する作業者の状態を作業状態として検出し、作業情報に含める。これにより、熟練した作業者が分解、組立といった作業を行うだけで、作業のポイントを示す作業状態を含んだ、３次元モデルを用いた作業情報を生成できる。

実施の形態１に係る作業情報生成システム１の構成図。 実施の形態１に係る作業情報生成装置１０の構成図。 実施の形態１に係る作業情報生成装置１０の動作の流れを示すフローチャート。 実施の形態１に係る作業情報生成装置１０の動作の説明図。 各部の機能がハードウェアで実現される場合の作業情報生成装置１０の構成図。 実施の形態２に係る作業情報生成システム１の構成図。 実施の形態２に係る作業情報生成装置１０の構成図。 実施の形態２に係る作業情報生成装置１０の動作の流れを示すフローチャート。

実施の形態１．
＊＊＊構成の説明＊＊＊
図１は、実施の形態１に係る作業情報生成システム１の構成図である。
作業情報生成システム１は、作業情報生成装置１０と、ウエアラブル端末２０とを備える。作業情報生成装置１０とウエアラブル端末２０とは、ネットワーク３０を介して接続されている。
作業情報生成装置１０は、ウエアラブル端末２０から画像データ３１及び作業時データ３２を取得して、分解、組立といった作業手順を示した作業情報３３を、３次元モデルを用いて生成する装置である。
ウエアラブル端末２０は、メガネ型の端末のように作業者の身に着けられる装置である。ウエアラブル端末２０は、作業者が作業している際、作業領域を撮像した画像データ３１を生成するとともに、作業対象物に対して作業する作業者と、作業対象物及び作業対象物の周辺とについての作業時データ３２を検出する装置である。ここでは、ウエアラブル端末２０は、作業領域を撮像するための撮像装置２１と、ウエアラブル端末２０の位置を検出するための位置検出装置２２と、温度を検出するための温度検出装置２３と、作業時間を検出するための時間検出装置２４とを備える。ここでは、撮像装置２１はカメラであり、位置検出装置はジャイロセンサであり、温度検出装置はサーモカメラであり、時間検出装置はタイマーである。

図２は、実施の形態１に係る作業情報生成装置１０の構成図である。
作業情報生成装置１０は、コンピュータである。
作業情報生成装置１０は、プロセッサ１１と、記憶装置１２と、通信装置１３とのハードウェアを備える。プロセッサ１１は、信号線を介して他のハードウェアと接続され、これら他のハードウェアを制御する。

作業情報生成装置１０は、機能構成として、画像取得部１１１と、モデル特定部１１２と、移動軌跡特定部１１３と、作業状態特定部１１４と、作業情報生成部１１５とを備える。画像取得部１１１と、モデル特定部１１２と、移動軌跡特定部１１３と、作業状態特定部１１４と、作業情報生成部１１５との各部の機能はソフトウェアにより実現される。
記憶装置１２には、上記各部の機能を実現するプログラムが記憶されている。このプログラムは、プロセッサ１１に読み込まれ、プロセッサ１１によって実行される。これにより、上記各部の機能が実現される。
また、記憶装置１２には、作業で使用される各部品の３次元モデル３４が予め記憶されている。３次元モデル３４は、部品を３次元で表したデータであり、少なくとも部品の形状及び大きさが表されたデータである。

プロセッサ１１は、プロセッシングを行うＩＣである。ＩＣは、Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔの略である。プロセッサ１１は、具体的には、ＣＰＵ、ＤＳＰ、ＧＰＵである。ＣＰＵは、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略である。ＤＳＰは、Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒの略である。ＧＰＵは、Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略である。
記憶装置１２は、具体的には、ＲＡＭ及びＨＤＤである。ＲＡＭは、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略である。ＨＤＤは、Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅの略である。記憶装置は、ＲＯＭ及びフラッシュメモリといった他のハードウェアで構成されてもよい。ＲＯＭは、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙの略である。
通信装置１３は、データを受信するレシーバー及びデータを送信するトランスミッターを含む装置である。通信装置１３は、具体的には、通信チップ又はＮＩＣである。ＮＩＣは、Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄの略である。

プロセッサ１１によって実現される各機能の処理の結果を示す情報とデータと信号値と変数値は、記憶装置１２、又は、プロセッサ１１内のレジスタ又はキャッシュメモリに記憶される。以下の説明では、各機能の処理の結果を示す情報とデータと信号値と変数値は、記憶装置１２に記憶されるものとして説明する。

プロセッサ１１によって実現される各機能を実現するプログラムは、記憶装置１２に記憶されているとした。しかし、このプログラムは、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ（登録商標）ディスク、ＤＶＤといった可搬記憶媒体に記憶されてもよい。

図２では、プロセッサ１１は、１つだけ示されていた。しかし、プロセッサ１１は、複数であってもよく、複数のプロセッサ１１が、各機能を実現するプログラムを連携して実行してもよい。

＊＊＊動作の説明＊＊＊
図３は、実施の形態１に係る作業情報生成装置１０の動作の流れを示すフローチャートである。
実施の形態１に係る作業情報生成装置１０の動作は、実施の形態１に係る作業情報生成方法に相当する。また、実施の形態１に係る作業情報生成装置１０の動作は、実施の形態１に係る作業情報生成プログラムの処理に相当する。
作業者は、ウエアラブル端末２０を身に着けて、作業対象物に対して一連の作業しているものとする。

ステップＳ１１の画像取得処理では、画像取得部１１１は、作業領域を撮像した画像データ３１を取得する。
具体的には、画像取得部１１１は、ウエアラブル端末２０に、撮像装置２１により作業領域を撮像して画像データ３１を順次生成させる。そして、画像取得部１１１は、ウエアラブル端末２０によって生成された画像データ３１を通信装置１３によりネットワーク３０を介して受信する。画像取得部１１１は、取得した画像データ３１を記憶装置１２に書き込む。

ステップＳ１２の状態特定処理では、作業状態特定部１１４は、作業対象物及び作業対象物の周辺の状態を作業状態として特定する。
具体的には、作業状態特定部１１４は、ウエアラブル端末２０に、位置検出装置２２と温度検出装置２３と時間検出装置２４とにより、作業対象物に対して作業する作業者と、作業対象物及び作業対象物の周辺とを示す作業時データ３２を検出させる。そして、作業状態特定部１１４は、ウエアラブル端末２０によって検出された作業時データ３２を通信装置１３によりネットワーク３０を介して受信する。作業状態取得部１１４は、直前に実行されたステップＳ１１で記憶装置１２に書き込まれた画像データ３１と、受信した作業時データ３２とから、作業対象物に対して作業する作業者の状態と、作業対象物及び前記作業対象物の周辺の状態とを作業状態３６として特定する。作業状態特定部１１４は、特定した作業状態３６を記憶装置１２に書き込む。
作業状態３６について詳しくは後述する。

ステップＳ１３の工程終了判定処理では、現在の作業工程が終了していない場合には、処理がＳ１に戻され、現在の作業工程が終了した場合には、処理がＳ４に進められる。
工程が終了したか否かは、作業者がウエアラブル端末２０に工程終了を示す情報を入力したか否かによって特定される。

ステップＳ１４のモデル特定処理では、モデル特定部１１２は、ステップＳ１１で画像取得部１１１によって取得された各画像データ３１に示された作業対象物に対応する３次元モデル３４を特定する。
具体的には、モデル特定部１１２は、ステップＳ１１で記憶装置１２に書き込まれた各画像データ３１を読み込む。そして、モデル特定部１１２は、予め記憶装置１２に記憶された３次元モデル３４から、読み込んだ各画像データ３１に示された作業対象物と類似する形状及び大きさを有する３次元モデル３４を検索する。これにより、モデル特定部１１２は、作業対象物に対応する３次元モデル３４を特定する。モデル特定部１１２は、特定した３次元モデル３４を記憶装置１２に書き込む。

ステップＳ１５の移動軌跡特定処理では、移動軌跡特定部１１３は、ステップＳ１１で画像取得部１１１によって取得された各画像データ３１から作業対象物の移動軌跡３５を特定する。
具体的には、移動軌跡特定部１１３は、ステップＳ１１で記憶装置１２に書き込まれた各画像データ３１を読み込む。そして、移動軌跡特定部１１３は、時間経過に沿った順で画像データ３１を参照して、各画像データ３１における作業対象物の位置を特定する。これにより、移動軌跡特定部１１３は、作業対象物の移動軌跡３５を特定する。移動軌跡特定部１１３は、特定した移動軌跡３５を記憶装置１２に書き込む。

ステップＳ１６の作業情報生成処理では、作業情報生成部１１５は、モデル特定部１１２によって特定された３次元モデル３４と、移動軌跡特定部１１３によって特定された移動軌跡３５と、作業状態特定部１１４によって特定された作業状態３６とを関連付けて作業情報３３を生成する。
具体的には、作業情報生成部１１５は、ステップＳ１４で記憶装置１２に書き込まれた３次元モデル３４を読み出すとともに、ステップＳ１５で記憶装置１２に書き込まれた移動軌跡３５を読み出す。そして、作業情報生成部１１５は、読み出した３次元モデル３４を移動軌跡３５に沿って移動させたアニメーションを生成する。さらに、作業情報生成部１１５は、ステップＳ１２で記憶装置１２に書き込まれた作業状態３６を読み出す。そして、作業情報生成部１１５は、読み出した作業状態３６を、アニメーションにおける各時点に追加する。作業情報生成部１１５は、この作業状態３６が追加されたアニメーションを作業情報３３とする。

ステップＳ１７の次工程判定処理では、次の工程がある場合には、処理がＳ１に戻され、次の工程がない場合には、処理が終了される。
次工程があるか否かは、作業者がウエアラブル端末２０に次の工程があることを示す情報を入力したか否かによって特定される。

図４は、実施の形態１に係る作業情報生成装置１０の動作の説明図である。
処理１がステップＳ１４に対応する処理であり、処理２がステップＳ１５に対応する処理であり、処理３〜８がステップＳ１３に対応する処理である。

処理１では、モデル特定部１１２は、撮像装置２１によって撮像され生成された画像データ３１に示された作業対象物と、予め記憶装置１２に記憶された３次元モデル３４とを照合して、作業対象物に対応する３次元モデル３４を特定する。この際、モデル特定部１１２は、移動する物を作業対象物として特定する。

処理２では、移動軌跡特定部１１３は、撮像装置２１によって撮像され生成された各画像データ３１に示された作業対象物の移動を検出して移動軌跡３５を特定する。

処理３では、作業状態特定部１１４は、位置検出装置２２により作業者の目の位置と、作業者の目線とを検出させる。作業者の目線は、作業者の顔の傾きといった情報から特定される。ウエアラブル端末２０がメガネ型の装置の場合には、作業状態特定部１１４は、作業者の目の位置を検出して、作業者の目線を特定してもよい。作業状態取得部１１４は、検出された目の位置及び目線と、撮像装置２１によって撮像され生成された画像データ３１に示された作業対象物とを照合して、作業者が作業対象物のどの位置を見ているかを示す視点を作業状態３６として特定する。
また、作業状態取得部１１４は、視点と合わせて、作業者の身体の位置及び姿勢も作業状態３６として特定する。

処理４では、作業状態取得部１１４は、撮像装置２１によって撮像され生成された画像データ３１から、作業に使用される工具を特定する。具体的には、作業状態取得部１１４は、予め記憶された工具の工具画像を画像データ３１から検索することにより、工具を特定する。そして、作業状態取得部１１４は、画像データ３１から特定した工具の位置及び形状を作業状態３６として特定する。工具の位置は、絶対的な位置であってもよいし、作業対象物に対する相対的な位置であってもよい。

処理５では、作業状態取得部１１４は、撮像装置２１によって撮像され生成された画像データ３１から、作業者の手を特定する。具体的には、作業状態取得部１１４は、予め記憶された手の手画像を画像データ３１から検索することにより、手を特定する。そして、作業状態取得部１１４は、画像データ３１から特定した手の位置及び形状を作業状態３６として特定する。この際、作業状態取得部１１４は、手の形状から指さし確認を行っていることを検出してもよい。

処理６では、作業状態取得部１１４は、撮像装置２１によって撮像され生成された画像データ３１から、作業対象物における可動部分を特定する。具体的には、作業状態取得部１１４は、時間経過に沿った順で画像データ３１を参照して、前後の画像データ３１における作業対象物の差異を特定することにより、作業対象物が稼働した部分を特定する。

処理７では、作業状態取得部１１４は、温度検出装置２３により作業対象物の温度を検出させる。そして、作業状態取得部１１４は、検出された温度から作業対象物における閾値よりも高い温度の部分を作業状態３６として特定する。閾値は、事前に設定され、記憶装置１２に記憶されているものとする。具体的には、作業者が触れると短時間で火傷する恐れのある温度が閾値として設定される。

処理８では、作業状態取得部１１４は、時間検出装置２４により工程の開始時点から工程の終了時点までの時間を検出させる。ここでは、時間検出装置２４は、作業の開始時点及び終了時点で作業者に何らかの入力をウエアラブル端末２０に対してさせることにより、工程の開始時点及び終了時点を特定する。そして、作業状態取得部１１４は検出された時間を作業状態３６として特定する。

つまり、作業状態取得部１１４は、作業者がどの位置から作業対象物のどの部分を見ているかという作業者の位置及び姿勢及び視点を作業状態３６として特定する。また、作業状態取得部１１４は、作業対象物における可動部分及び高温部分といった危険個所を作業状態３６として特定する。また、作業状態取得部１１４は、作業者の手の位置及び形状と、工具の位置及び形状といった作業内容を作業状態３６として特定する。
そして、作業情報生成部１１５は、これらの特定した作業状態３６を、３次元モデル３４を移動軌跡３５に沿って移動させたアニメーションに関連付けて作業情報３３とする。この際、作業情報生成部１１５は、アニメーション中に、作業者の位置及び姿勢及び視点、作業対象物における可動部分及び高温部分、作業者の手の位置及び形状、工具の位置及び形状を表示する。

＊＊＊実施の形態１の効果＊＊＊
以上のように、実施の形態１に係る作業情報生成システム１では、熟練した作業員が作業を行うことにより、３次元モデル３４を用いた作業情報３３が生成される。
３次元モデルを用いて作業情報３３が生成されるため、作業の手順を映像で記録することにより作業情報を生成することに比べて、以下の（１）〜（３）の利点がある。（１）周囲の設備との干渉確認など組立性検証が可能である。（２）設計変更及び設計流用の際に部品が変わっても変更部品に関して修正するだけで済む。（３）作業手順を示すアニメーション作成に流用可能である。

また、作業情報３３には、作業をする際のポイント、ノウハウとなる作業状態３６が含まれている。そのため、作業情報３３を参照することにより、他の作業員が容易に作業をすることが可能になる。

＊＊＊他の構成＊＊＊
実施の形態１では、作業情報生成装置１０の各機能がソフトウェアで実現された。しかし、変形例として、作業情報生成装置１０の各機能はハードウェアで実現されてもよい。この変形例について、実施の形態１と異なる点を説明する。

図５は、各部の機能がハードウェアで実現される場合の作業情報生成装置１０の構成図である。

各部の機能がハードウェアで実現される場合、作業情報生成装置１０は、通信装置１３と、処理回路１４とを備える。処理回路１４は、作業情報生成装置１０の各部の機能及び記憶装置１２の機能を実現する専用の電子回路である。

処理回路１４は、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックＩＣ、ＧＡ、ＡＳＩＣ、ＦＰＧＡが想定される。ＧＡは、Ｇａｔｅ Ａｒｒａｙの略である。ＡＳＩＣは、Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔの略である。ＦＰＧＡは、Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙの略である。
各部の機能を１つの処理回路１４で実現してもよいし、各部の機能を複数の処理回路１４に分散させて実現してもよい。

また、別の変形例として、一部の機能がハードウェアで実現され、他の機能がソフトウェアで実現されてもよい。つまり、作業情報生成装置１０の各部のうち、一部の機能がハードウェアで実現され、他の機能がソフトウェアで実現されてもよい。

プロセッサ１１と記憶装置１２と処理回路１４とを、総称して「プロセッシングサーキットリー」という。つまり、各部の機能は、プロセッシングサーキットリーにより実現される。すなわち、作業情報生成装置１０が図１及び図５のいずれに示した構成であっても、各部の機能はプロセッシングサーキットリーにより実現される。

実施の形態２．
実施の形態１では、作業情報３３を生成する方法について説明した。実施の形態２は、作業状態３６として特定された情報に応じて作業者に通知する点が実施の形態１と異なる。実施の形態２では、この異なる点について説明する。

＊＊＊構成の説明＊＊＊
図６は、実施の形態２に係る作業情報生成システム１の構成図である。
ウエアラブル端末２０は、図１に示す構成に加え、有毒ガス及び煙を検出する臭気検出装置２５と、作業領域の照度を検出する照度検出装置２６とを備える。

図７は、実施の形態２に係る作業情報生成装置１０の構成図である。
作業情報生成装置１０は、図２に示す機能構成に加え、通知部１１６を備える。通知部１１６の機能は、作業情報生成装置１０の他の機能と同様にソフトウェアで実現される。

＊＊＊動作の説明＊＊＊
図８は、実施の形態２に係る作業情報生成装置１０の動作の流れを示すフローチャートである。
実施の形態２に係る作業情報生成装置１０の動作は、実施の形態２に係る作業情報生成方法に相当する。また、実施の形態２に係る作業情報生成装置１０の動作は、実施の形態２に係る作業情報生成プログラムの処理に相当する。
ここでは、実施の形態１で説明した作業情報３３を生成する動作において、作業者に通知する場合を説明する。

ステップＳ２１〜Ｓ２２の処理は、図３に示すステップＳ１１〜Ｓ１２の処理と同じであり、ステップステップＳ２４〜Ｓ２８の処理は、図３に示すステップＳ１３〜Ｓ１７の処理と同じである。
ステップＳ２３では、通知部１１６は、Ｓ２２で特定された作業状態３６に応じて、作業者に通知データ３７を通知する。
具体的には、通知部１１６は、通知が必要な状態を作業状態３６が示す場合には、その内容に応じて通知データ３７をウエアラブル端末２０に出力して、ウエアラブル端末２０から音や光を出力させ、作業者にその状態を通知する。

ここでは、図４に基づき説明した作業状態３６に加え、以下の状態も作業状態３６として特定する。
作業状態取得部１１４は、臭気検出装置２５により作業領域における有毒ガス及び煙を検出させる。そして、作業状態取得部１１４は、検出された有毒ガス又は煙の濃度が閾値よりも高い場合に、有毒ガスが発生したことを作業状態３６として特定する。また、作業状態取得部１１４は、照度検出装置２６により作業領域の照度を検出させる。そして、作業状態取得部１１４は、検出された照度が閾値よりも低い場合に、照度が低いことを作業状態３６として特定する。また、作業状態取得部１１４は、撮像装置２１によって撮像され生成された画像データ３１から、作業対象物のクラックが閾値よりも大きい場合に、大きいクラックがあることを作業状態３６として特定する。
通知部１１６は、作業状態３６として、有毒ガスが発生したこと、又は、照度が低いこと、又は、大きいクラックがあることが特定された場合に、その内容に応じた通知データ３７をウエアラブル端末２０に送信して、作業者に状態を通知する。

＊＊＊実施の形態２の効果＊＊＊
以上のように、実施の形態２に係る作業情報生成システム１では、作業者に危険が及ぶ場合、及び、作業者に害がある場合に、作業者に通知をする。そのため、作業者は、危険及び害を回避することが可能となる。

＊＊＊他の構成＊＊＊
実施の形態２では、実施の形態１と同様に、作業情報生成装置１０の各部の機能がソフトウェアで実現された。しかし、実施の形態１の変形例と同様に、作業情報生成装置１０の各部の機能がハードウェアで実現されてもよい。また、作業情報生成装置１０の各部のうち、一部の機能がハードウェアで実現され、他の機能がソフトウェアで実現されてもよい。

１ 作業情報生成システム、１０ 作業情報生成装置、１１ プロセッサ、１１１ 画像取得部、１１２ モデル特定部、１１３ 移動軌跡特定部、１１４ 作業状態特定部、１１５ 作業情報生成部、１１６ 通知部、１２ 記憶装置、１３ 通信装置、１４ 処理回路、２０ ウエアラブル端末、２１ 撮像装置、２２ 位置検出装置、２３ 温度検出装置、２４ 時間検出装置、２５ 臭気検出装置、２６ 照度検出装置、３１ 画像データ、３２ 作業時データ、３３ 作業情報、３４ ３次元モデル、３５ 移動軌跡、３６ 作業状態、３７ 通知データ。

Claims (8)

1. 作業領域を撮像した画像データを順次取得する画像取得部と、
   前記画像取得部によって取得された各画像データに示された作業対象物に対応する３次元モデルを特定するモデル特定部と、
   前記各画像データから前記作業対象物の移動軌跡を特定する移動軌跡特定部と、
   前記作業対象物に対して作業する作業者の状態を作業状態として特定する作業状態特定部と、
   前記モデル特定部によって特定された前記３次元モデルと、前記移動軌跡特定部によって特定された前記移動軌跡と、前記作業状態特定部によって特定された作業状態を示す状態情報とを関連付けて作業情報を生成する作業情報生成部と
   を備える作業情報生成装置。
2. 前記作業状態特定部は、前記作業対象物に対して作業する作業者の身体の位置及び姿勢と、前記作業者の視点と、前記作業者の手の位置及び形状との少なくともいずれかを前記作業状態として特定する
   請求項１に記載の作業情報生成装置。
3. 前記作業状態特定部は、さらに、前記作業対象物及び前記作業対象物の周辺の状態を前記作業状態として特定する
   請求項１又は２に記載の作業情報生成装置。
4. 前記作業状態特定部は、前記作業対象物における閾値よりも高い温度の部分と、前記作業対象物における可動部分と、前記作業に使用される工具の位置及び形状との少なくともいずれかを前記作業状態として特定する
   請求項３に記載の作業情報生成装置。
5. 前記作業状態特定部は、さらに、前記作業対象物に対する作業時間を前記作業状態として特定する
   請求項１から４までのいずれか１項に記載の作業情報生成装置。
6. 前記作業状態特定部は、さらに、ガスと、煙と、照度と、前記作業対象物のクラックとの少なくともいずれかを前記作業状態として特定する
   請求項１から５までのいずれか１項に記載の作業情報生成装置。
7. 前記作業情報生成装置は、さらに、
   前記作業状態特定部によって特定された前記ガスと、前記煙と、前記照度と、前記クラックとの少なくともいずれかが閾値を超えた場合に、前記作業対象物に対して作業する作業者に通知する通知部
   を備える請求項６に記載の作業情報生成装置。
8. 前記作業情報生成部は、前記３次元モデルを前記移動軌跡に沿って移動させつつ、前記状態情報を示したアニメーションを前記作業情報として生成する
   請求項１に記載の作業情報生成装置。

Images