JP2023132973A - 動画像集約装置、動画像集約方法、及び動画像集約プログラム - Google Patents

Abstract

【課題】作業の認識精度を向上させることができる。
【解決手段】動画像集約装置は、作業者の作業を撮影した動画像を取得する取得部と、前記動画像に基づいて、前記作業者の骨格又は部位に関する検出情報の時系列データを検出する検出部と、検出した前記検出情報の時系列データに基づいて、複数種類の切出対象シーンの各々について、前記切出対象シーンに対応する条件を満たす作業であるかを判定する判定部と、前記複数種類の切出対象シーンの各々について設定された、切出回数又は切出時間に基づいて、前記切出対象シーンに対応する条件を満たす作業であると判定された時点を含む部分の動画像を集約した動画像を生成する生成部と、を含む。
【選択図】図３

Description

開示の技術は、動画像集約装置、動画像集約方法、及び動画像集約プログラムに関する。

特許文献１には、時刻情報を取得する時刻情報取得部と、作業者の作業状態を撮影して作業動画を取得する作業動画取得部と、作業者の作業を推定するための作業情報を取得する作業情報取得部と、前記作業情報に基づいて、作業者の前記作業を推定し、推定した前記作業の確からしさを示す信頼度を求めるとともに、前記時刻情報に基づいて、推定した前記作業ごとに、前記作業の開始時刻および終了時刻を求める作業推定部と、推定した前記作業の前記開始時刻および前記終了時刻で前記作業動画を区切り、推定した前記作業の前記開始時刻から前記終了時刻までの区間動画と、推定した前記作業と、前記作業についての前記信頼度とを紐付ける作業紐付け部と、前記信頼度が閾値未満であるか否かをユーザに判別させるための確認情報を出力する確認情報出力部と、ユーザによる指示入力を受け付ける入力部と、前記入力部による指示入力に基づいて、前記信頼度が閾値未満である区間動画を再生する動画再生部とを備えていることを特徴とする作業分析システムが開示されている。

特開２０２０－９１８０１号公報

作業の管理者が作業を撮影した動画像を閲覧する場合、複数種類のシーンの動画像を確認しようとすることが考えられる。

しかし、特許文献１記載の技術では、作業の信頼度が低い区間の動画が表示されるため、所望の複数種類のシーンの動画像を効率的に閲覧することができない。

開示の技術は、上記の点に鑑みてなされたものであり、複数種類のシーンを効率的に閲覧するための動画像を生成することができる動画像集約装置、動画像集約方法、及び動画像集約プログラムを提供することを目的とする。

開示の第１態様は、動画像集約装置であって、作業者の作業を撮影した動画像を取得する取得部と、前記動画像に基づいて、前記作業者の骨格又は部位に関する検出情報の時系列データを検出する検出部と、検出した前記検出情報の時系列データに基づいて、複数種類の切出対象シーンの各々について、前記切出対象シーンに対応する条件を満たす作業であるかを判定する判定部と、前記複数種類の切出対象シーンの各々について設定された、切出回数又は切出時間に基づいて、前記切出対象シーンに対応する条件を満たす作業であると判定された時点を含む部分の動画像を集約した動画像を生成する生成部と、を含む。

上記第１態様において、前記切出対象シーンは、作業サイクルの時間が閾値以上であるシーンを含み、前記判定部は、前記作業サイクルの時間が閾値以上であるシーンについて、検出した前記検出情報の時系列データに基づいて、作業サイクル毎に作業サイクルの時間を分析し、作業サイクルの時間が閾値以上である場合に、前記条件を満たす作業であると判定するようにしてもよい。

上記第１態様において、前記切出対象シーンは、作業者が特定の動作を行うシーンを含み、前記判定部は、前記作業者が特定の動作を行うシーンについて、検出した前記検出情報の時系列データに基づいて、前記作業者が特定の動作を行う場所に対応する位置に移動した場合に、前記条件を満たす作業であると判定するようにしてもよい。

上記第１態様において、前記特定の動作を、不良品を不良品置き場に置くこととしてもよい。

上記第１態様において、前記切出対象シーンは、前記作業で用いられる機器に関するエラーログが生じたシーンを含み、前記判定部は、更に、エラーログが生じたシーンについて、前記作業で用いられる機器に関するログが、エラーログである場合に、前記条件を満たす作業であると判定するようにしてもよい。

開示の第２態様は、動画像集約方法であって、取得部が、作業者の作業を撮影した動画像を取得し、検出部が、前記動画像に基づいて、前記作業者の骨格又は部位に関する検出情報の時系列データを検出し、判定部が、検出した前記検出情報の時系列データに基づいて、複数種類の切出対象シーンの各々について、前記切出対象シーンに対応する条件を満たす作業であるかを判定し、生成部が、前記複数種類の切出対象シーンの各々について設定された、切出回数又は切出時間に基づいて、前記切出対象シーンに対応する条件を満たす作業であると判定された時点を含む部分の動画像を集約した動画像を生成する。

開示の第３態様は、動画像集約プログラムであって、作業者の作業を撮影した動画像を取得し、前記動画像に基づいて、前記作業者の骨格又は部位に関する検出情報の時系列データを検出し、検出した前記検出情報の時系列データに基づいて、複数種類の切出対象シーンの各々について、前記切出対象シーンに対応する条件を満たす作業であるかを判定し、前記複数種類の切出対象シーンの各々について設定された、切出回数又は切出時間に基づいて、前記切出対象シーンに対応する条件を満たす作業であると判定された時点を含む部分の動画像を集約した動画像を生成することをコンピュータに実行させる。

開示の技術によれば、複数種類のシーンを効率的に閲覧するための動画像を生成することができる。

動画像集約システムの構成図である。 動画像集約装置のハードウェア構成を示す構成図である。 動画像集約装置の機能ブロック図である。 動画像集約装置の判定部の機能ブロック図である。 作業サイクルの時間を検出する方法を説明するための図である。 作業者が不良品置き場に不良品を置く動作を認識する方法を説明するための図である。 動画像集約装置の生成部の機能ブロック図である。 動画像集約処理のフローチャートである。 動画像集約処理のフローチャートである。

以下、本発明の実施形態の一例を、図面を参照しつつ説明する。なお、各図面において同一又は等価な構成要素及び部分には同一の参照符号を付与している。また、図面の寸法比率は、説明の都合上誇張されている場合があり、実際の比率とは異なる場合がある。

図１は、動画像集約システム１０の構成を示す。動画像集約システム１０は、動画像集約装置２０及びカメラ３０を備える。

動画像集約装置２０は、カメラ３０で撮影された動画像に基づいて作業者Ｗが行う作業を表す動画像を集約する。

作業者Ｗは、一例として作業台Ｔの上で、機器Ｍを用いて所定の作業を行う。作業台Ｔは、人の動作が認識できる程度の明るさを有する場所に設置される。作業により不良品が生じた場合には、作業者Ｗは不良品を不良品置き場Ｓに置くこととする。

カメラ３０は、例えばＲＧＢのカラー画像を撮影して、動画像集約装置２０へ出力する。また、カメラ３０は、作業者Ｗによる作業を認識しやすい位置に設置される。具体的には、例えば作業者Ｗの作業が作業台Ｔ等によって隠れることがない位置、不良品置き場Ｓの前に移動した作業者Ｗが他の物体等によって隠れない位置等の条件を満たす位置に設置される。本実施形態では、一例として作業者Ｗの少なくとも上半身を斜め上方から見下ろす位置にカメラ３０が設置されている場合について説明する。

なお、本実施形態では、カメラ３０が１台の場合について説明するが、複数台のカメラ３０を設けた構成としてもよい。また、本実施形態では、作業者Ｗが１人の場合について説明するが、作業者Ｗが２人以上であってもよい。

作業に用いられる機器Ｍは、エラーログを含む機器Ｍの使用に関するログを、動画像集約装置２０へ出力する。機器Ｍは、エラーが生じた場合に、エラーログを、動画像集約装置２０へ出力する。

図２は、本実施形態に係る動画像集約装置２０のハードウェア構成を示すブロック図である。図２に示すように、動画像集約装置２０は、コントローラ２１を備える。コントローラ２１は、一般的なコンピュータを含む装置で構成される。

図２に示すように、コントローラ２１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２１Ａ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２１Ｂ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２１Ｃ、及び入出力インターフェース（Ｉ／Ｏ）２１Ｄを備える。そして、ＣＰＵ２１Ａ、ＲＯＭ２１Ｂ、ＲＡＭ２１Ｃ、及びＩ／Ｏ２１Ｄがバス２１Ｅを介して各々接続されている。バス２１Ｅは、コントロールバス、アドレスバス、及びデータバスを含む。

また、Ｉ／Ｏ２１Ｄには、操作部２２、表示部２３、通信部２４、及び記憶部２５が接続されている。

操作部２２は、例えばマウス及びキーボードを含んで構成される。

表示部２３は、例えば液晶ディスプレイ等で構成される。

通信部２４は、カメラ３０等の外部装置とデータ通信を行うためのインターフェースである。

記憶部２５は、ハードディスク等の不揮発性の外部記憶装置で構成される。図２に示すように、記憶部２５は、動画像集約プログラム２５Ａ、カメラ３０によって撮影された動画像や切り出された動画像である動画像データ２５Ｂ、及び機器Ｍから出力されたログ２５Ｃ等を記憶する。

ＣＰＵ２１Ａは、コンピュータの一例である。ここでいうコンピュータとは、広義的なプロセッサを指し、汎用的なプロセッサ（例えば、ＣＰＵ）、又は、専用のプロセッサ（例えば、ＧＰＵ：Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＡＳＩＣ：Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ、ＦＰＧＡ：Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ、プログラマブル論理デバイス、等）を含むものである。

なお、動画像集約プログラム２５Ａは、不揮発性の非遷移的（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ）記録媒体に記憶して、又はネットワークを介して配布して、動画像集約装置２０に適宜インストールすることで実現してもよい。

不揮発性の非遷移的記録媒体の例としては、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、光磁気ディスク、ＨＤＤ（ハードディスクドライブ）、ＤＶＤ－ＲＯＭ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、メモリカード等が想定される。

図３は、動画像集約装置２０のＣＰＵ２１Ａの機能構成を示すブロック図である。図３に示すように、ＣＰＵ２１Ａは、機能的には、設定部４０、取得部４１、検出部４２、判定部４３、生成部４４、及び出力部４５の各機能部を備える。ＣＰＵ２１Ａは、記憶部２５に記憶された動画像集約プログラム２５Ａを読み込んで実行することにより各機能部として機能する。

設定部４０は、複数種類の切出対象シーンの各々について、切出回数又は切出時間の設定を受け付ける。

例えば、複数種類の切出対象シーンは、作業サイクルの時間が、標準作業時間である閾値以上であるシーン、不良品を不良品置き場に置くシーン、及び機器Ｍのエラーログが生じたシーンを含む。

また、表示部２３に表示された設定画面において、操作部２２の操作により、複数種類の切出対象シーンの各々について、当該切出対象シーンを何回切り出すかを示す切出回数、又は当該切出対象シーンを何分間切り出すかを示す切出時間の設定と、標準作業時間の設定とを受け付ける。

また、表示部２３に表示された設定画面において、操作部２２の操作により、新たに動画像をカメラ３０から取得するか、及び保存されている動画像から切り出すか否かに関する設定を受け付ける。

取得部４１は、カメラ３０が作業者Ｗの作業を撮影した動画像をカメラ３０から取得し、記憶部２５の動画像データ２５Ｂに格納する。

また、取得部４１は、機器Ｍからログを取得し、記憶部２５のログ２５Ｃに格納する。

検出部４２は、カメラ３０から取得した動画像に基づいて、作業者Ｗの部位又は骨格に関する検出情報の時系列データを検出する。

具体的には、部位に関する検出情報は、例えば特定の部位（右手及び左手の少なくとも一方の手）を含む範囲を表すバウンディングボックスの四隅の座標を含む。ここで、バウンディングボックスとは、検出対象の物体に外接する長方形又は正方形等の矩形形状をいう。具体的には、複数種類のサイズのアンカーボックス（長方形領域）毎に、検出対象の物体の信頼度を算出する。そして、最も信頼度の高いアンカーボックスの四隅の座標をバウンディングボックスの四隅の座標とする。このようなバウンディングボックスの検出方法としては、例えばＦａｓｔｅｒ Ｒ－ＣＮＮ（Ｒｅｇｉｏｎｓ ｗｉｔｈ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）等の公知の方法を用いることができ、例えば下記参考文献１に記載された方法を用いることができる。

（参考文献１）"Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks", Shaoqing Ren, Kaiming He, Ross Girshick, and Jian Sun.

動画像に基づいて、部位に関する検出情報を検出する方法としては、画像を入力とし、部位に関する検出情報を出力とする学習モデルを、多数の画像を教師データとして学習した検出用学習済みモデルを用いることができる。このような検出用学習済みモデルを得る学習方法としては、例えばＣＮＮ等の公知の方法を用いることができ、例えば下記参考文献２に記載された方法を用いることができる。

（参考文献２）"Understanding Human Hands in Contact at Internet Scale", pp.9869-9878, Dandan Shan1, Jiaqi Geng, Michelle Shu, David F. Fouhey, University of Michigan, Johns Hopkins University, CVPR2020.

また、骨格に関する検出情報は、作業者Ｗの体の部位及び関節等の特徴点の座標と、各特徴点を接続するリンクが定義されたリンク情報と、を含む。例えば特徴点は、作業者Ｗの目及び鼻等の顔の部位、首、肩、肘、手首、腰、膝、及び足首等の関節等を含む。

画像に基づいて骨格に関する検出情報を検出する方法としては、画像を入力とし、骨格に関する検出情報を出力とする学習モデルを、多数の画像を教師データとして学習した検出用学習済みモデルを用いることができる。このような検出用学習済みモデルを得る学習方法としては、例えばＣＮＮ（Ｒｅｇｉｏｎｓ ｗｉｔｈ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）等の公知の方法を用いることができ、例えば下記参考文献３に記載された方法を用いることができる。

（参考文献３）"OpenPose: Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields", Zhe Cao, Student Member, IEEE, Gines Hidalgo, Student Member, IEEE, Tomas Simon, Shih-En Wei, and Yaser Sheikh, IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE.

判定部４３は、検出した検出情報の時系列データ及び取得したログの時系列データに基づいて、複数種類の切出対象シーンの各々について、当該切出対象シーンに対応する条件を満たす作業であるかを判定する。

具体的には、判定部４３は、図４に示すように、周期検出部５０、時間判定部５１、動作認識部５２、動作判定部５３、及びログ判定部５４を備えている。

周期検出部５０は、検出した部位に関する検出情報の時系列データ及び骨格に関する検出情報の時系列データに基づいて、作業サイクル毎に、作業サイクルの開始時刻と終了時刻とを分析し、作業サイクルの時間を検出する。

具体的には、図５に示すように、部位に関する検出情報の時系列データ及び骨格に関する検出情報の時系列データに基づいて抽出される動作特徴量の時系列データから、ＤＴＷ（Ｄｙｎａｍｉｃ Ｔｉｍｅ Ｗａｒｐｉｎｇ：動的時間伸縮法）を用いて、周期的に出現する動作（信号）を自動で検出することにより、作業サイクルの開始時刻と終了時刻とを検出し、作業サイクルの時間を検出する。上記図５では、作業サイクルの開始時刻（２分４秒）と終了時刻（２分５４秒）とを検出し、作業サイクルの時間（５０秒）を検出する例を示している。

ＤＴＷを用いた周期推定方法については、参考文献４と同様の方法を用いればよいため、詳細な説明を省略する。

（参考文献４）浪岡保男他「ウエアラブルセンサーを用いた繰り返し作業のサイクルタイム自動計測手法」インターネット検索＜ＵＲＬ：https://www.global.toshiba/content/dam/toshiba/migration/corp/techReviewAssets/tech/review/2018/03/73_03pdf/a12.pdf＞

なお、上記では、部位に関する検出情報の時系列データ及び骨格に関する検出情報の時系列データに基づいて抽出される動作特徴量の時系列データから、DTWを用いて、周期的に出現する動作を自動で検出する場合を例に説明したが、これに限定されるものではない。部位に関する検出情報の時系列データ又は骨格に関する検出情報の時系列データから、DTWを用いて、周期的に出現する動作を自動で検出するようにしてもよい。

時間判定部５１は、作業サイクル毎に検出された作業サイクルの時間に基づいて、作業サイクルの時間が閾値以上である場合に、作業サイクルの時間が閾値以上であるシーンに対応する条件を満たす作業であると判定し、当該作業サイクルの開始時刻と終了時刻とを記録する。

動作認識部５２は、検出した部位に関する検出情報の時系列データ又は骨格に関する検出情報の時系列データに基づいて、作業者Ｗが不良品置き場Ｓに不良品を置いた動作を認識する。

具体的には、不良品置き場Ｓに対応する位置に作業者Ｗが移動したか否かに基づいて、作業者Ｗが不良品置き場Ｓに不良品を置いた動作を認識する。

例えば、図６に示すように、右手及び左手の何れかの手の座標（ｘ，ｙ）＝（50,50）が、不良品置き場Ｓのエリアの左上座標（ｘ，ｙ）＝（20,20）と右下座標（ｘ，ｙ）＝（150,150）で規定される矩形範囲内に存在する場合、不良品置き場Ｓに手があり、作業者Ｗが不良品置き場Ｓに不良品を置いた動作を行っていると認識する。

あるいは、頭の座標（ｘ，ｙ）＝（250,300）が、不良品置き場Ｓ前のエリアの左上座標（ｘ，ｙ）＝（200,200）と右下座標（ｘ，ｙ）＝（500,500）で規定される矩形範囲内に存在する場合、不良品置き場Ｓ前に作業者がいると判断し、作業者Ｗが不良品置き場Ｓに不良品を置いた動作を行っていると認識する。

なお、検出した部位に関する検出情報の時系列データ又は骨格に関する検出情報の時系列データに基づいて、事前学習済みモデルを利用して、作業者Ｗが不良品置き場Ｓに不良品を置いた動作を認識するようにしてもよい。

動作判定部５３は、作業者Ｗが不良品置き場Ｓに不良品を置いた動作を認識した場合に、作業者Ｗが不良品置き場Ｓに不良品を置いた動作を行うシーンに対応する条件を満たす作業であると判定し、当該時刻を記録する。

ログ判定部５４は、機器Ｍに関するログの時系列データに基づいて、エラーログであるか否かを判定し、エラーログである場合に、エラーログが生じたシーンに対応する条件を満たす作業であると判定し、当該時刻を記録する。

生成部４４は、複数種類の切出対象シーンの各々について設定された、切出回数又は切出時間に基づいて、当該切出対象シーンに対応する条件を満たす作業であると判定された時点を含む部分の動画像を切り出し、切り出した動画像を集約した動画像を生成する。

具体的には、生成部４４は、図７に示すように、動画像切出部６０及び動画像選択部６１を備えている。

動画像切出部６０は、複数種類の切出対象シーンの各々について、当該切出対象シーンに対応する条件を満たす作業であると判定された時点を含む部分の動画像を切り出す。

動画像選択部６１は、複数種類の切出対象シーンの各々について設定された、切出回数又は切出時間に基づいて、当該切出対象シーンについて切り出した動画像を選択し、選択した動画像を集約した動画像を生成する。

例えば、作業サイクルの時間が閾値以上であるシーンに対して、切出回数が４回と設定されている場合には、作業サイクルの時間が閾値以上であるシーンに対応する条件を満たす作業であると判定された当該作業サイクルの開始時刻から終了時刻までを切り出した動画像を４サイクル分選択し、選択した４サイクル分の動画像を結合することにより集約した動画像を生成する。

また、作業サイクルの時間が閾値以上であるシーンに対して、切出時間が４分と設定されている場合には、作業サイクルの時間が閾値以上であるシーンに対応する条件を満たす作業であると判定された当該作業サイクルの開始時刻から終了時刻までを切り出した動画像を、４分を超えない範囲で選択し、選択した動画像を結合することにより集約した動画像を生成する。

出力部４５は、切り出した動画像を集約した動画像を表示部２３に表示させたり、記憶部２５に格納させることにより出力する。

次に、動画像集約装置２０のＣＰＵ２１Ａで実行される動画像集約処理について、図８に示すフローチャートを参照して説明する。

ステップＳ１００では、ＣＰＵ２１Ａが、表示部２３に表示された設定画面において、複数種類の切出対象シーンの各々について、当該切出対象シーンを何回切り出すかを示す切出回数、又は当該切出対象シーンを何分間切り出すかを示す切出時間の設定と、標準作業時間の設定とを受け付ける。また、ＣＰＵ２１Ａが、表示部２３に表示された設定画面において、新たに動画像をカメラ３０から取得するか、及び保存されている動画像から切り出すか否かに関する設定を受け付ける。なお、ステップＳ１００における設定は、動画像集約処理を行う度に受け付けなくてもよく、定期的（例えば、１カ月に１回）に、ステップＳ１００における設定を受け付けるようにしてもよい。

ステップＳ１０２では、ＣＰＵ２１Ａが、新たに動画像を取得するか否かを判定する。新たに動画像をカメラ３０から取得すると設定されている場合には、ステップＳ１０４へ移行する。一方、新たに動画像をカメラ３０から取得しないと設定されている場合には、ステップＳ１０８へ移行する。

ステップＳ１０４では、ＣＰＵ２１Ａが、カメラ３０から作業者Ｗの作業を撮影した動画像を取得すると共に、機器Ｍに関するログの時系列データを取得する。

ステップＳ１０６では、ＣＰＵ２１Ａが、取得した動画像及びログの時系列データを、記憶部２５に記憶する。

ステップＳ１０８では、ＣＰＵ２１Ａが、保存されている動画像から切り出すか否かを判定する。保存されている動画像から切り出すと設定されている場合には、ステップＳ１１０へ進む。一方、保存されている動画像から切り出さないと設定されている場合には、ステップＳ１２６へ移行する。

ステップＳ１１０では、ＣＰＵ２１Ａが、記憶部２５から、過去に撮影した動画像を取得する。

ステップＳ１１１では、ＣＰＵ２１Ａが、上記ステップＳ１０４又はステップＳ１１０で取得した動画像に基づいて、作業者Ｗの部位又は骨格に関する検出情報の時系列データを検出する。

ステップＳ１１２では、ＣＰＵ２１Ａが、検出した部位に関する検出情報の時系列データ及び骨格に関する検出情報の時系列データに基づいて、作業サイクル毎に、作業サイクルの開始時刻と終了時刻とを分析し、作業サイクルの時間を検出する。

ステップＳ１１４では、ＣＰＵ２１Ａが、検出した部位に関する検出情報の時系列データ又は骨格に関する検出情報の時系列データに基づいて、作業者Ｗが不良品置き場Ｓに不良品を置いた動作を認識する。

ステップＳ１１６では、ＣＰＵ２１Ａが、記憶部２５から、機器Ｍに関するログの時系列データを取得し、エラーログであるか否かを判定する。

ステップＳ１１８では、ＣＰＵ２１Ａが、複数種類の切出対象シーンの各々について、当該切出対象シーンに対応する条件を満たす作業であるかを判定する。具体的には、ＣＰＵ２１Ａが、作業サイクル毎に検出された作業サイクルの時間に基づいて、作業サイクルの時間が閾値以上である場合に、作業サイクルの時間が閾値以上であるシーンに対応する条件を満たす作業であると判定し、当該作業サイクルの開始時刻と終了時刻とを記録する。ＣＰＵ２１Ａが、作業者Ｗが不良品置き場Ｓに不良品を置いた動作を認識した場合に、作業者Ｗが不良品置き場Ｓに不良品を置いた動作を行うシーンに対応する条件を満たす作業であると判定し、当該時刻を記録する。ＣＰＵ２１Ａが、エラーログである場合に、エラーログが生じたシーンに対応する条件を満たす作業であると判定し、当該時刻を記録する。

ステップＳ１２０では、ＣＰＵ２１Ａが、複数種類の切出対象シーンの各々について、当該切出対象シーンに対応する条件を満たす作業であると判定された時点を含む部分の動画像を切り出す。

ステップＳ１２２では、ＣＰＵ２１Ａが、複数種類の切出対象シーンの各々について切り出した動画像を、記憶部２５に記憶する。

ステップＳ１２４では、ＣＰＵ２１Ａが、複数種類の切出対象シーンの各々について設定された、切出回数又は切出時間に基づいて、当該切出対象シーンについて切り出した動画像を選択し、選択した動画像を集約した動画像を生成する。

ステップＳ１２６では、ＣＰＵ２１Ａが、上記ステップＳ１２４で生成された動画像を表示部２３に表示させたり、記憶部２５に格納させることにより出力する。

このように、本実施形態では、複数種類の切出対象シーンの各々について設定された、切出回数又は切出時間に基づいて、当該切出対象シーンに対応する条件を満たす作業であると判定された時点を含む部分の動画像を集約した動画像を生成する。これにより、複数種類のシーンを効率的に閲覧するための動画像を生成することができる。

なお、上記実施形態は、本発明の構成例を例示的に説明するものに過ぎない。本発明は上記の具体的な形態には限定されることはなく、その技術的思想の範囲内で種々の変形が可能である。

例えば、複数種類の切出対象シーンは、作業サイクルの時間が、標準作業時間である閾値以上であるシーン、不良品を不良品置き場に置くシーン、及び機器Ｍのエラーログが生じたシーンを含む場合を例に説明したが、これに限定されるものではない。切出対象シーンが、他の種類のシーンであってもよい。切出対象シーンは、良い作業に関するシーンであってもよい。

また、切出対象シーンの特定の動作が、不良品を不良品置き場に置く動作である場合を例に説明したが、これに限定されるものではない。不良品を不良品置き場に置く動作以外の動作を、切出対象シーンの特定の動作としてもよい。

また、上記実施形態でＣＰＵがソフトウェア（プログラム）を読み込んで実行した動画像集約処理を、ＣＰＵ以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の製造後に回路構成を変更可能なＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、及びＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等の認識の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、動画像集約処理を、これらの各種のプロセッサのうちの１つで実行してもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡ、及びＣＰＵとＦＰＧＡとの組み合わせ等）で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。

１０ 動画像集約システム
２０ 動画像集約装置
２２ 操作部
２３ 表示部
２４ 通信部
２５ 記憶部
２５Ａ 動画像集約プログラム
２５Ｂ 動画像データ
２５Ｃ ログ
３０ カメラ
４０ 設定部
４１ 取得部
４２ 検出部
４３ 判定部
４４ 生成部
４５ 出力部
５０ 周期検出部
５１ 時間判定部
５２ 動作認識部
５３ 動作判定部
５４ ログ判定部
６０ 動画像切出部
６１ 動画像選択部
Ｍ 機器
Ｓ 不良品置き場
Ｗ 作業者

Claims (7)

1. 作業者の作業を撮影した動画像を取得する取得部と、
   前記動画像に基づいて、前記作業者の骨格又は部位に関する検出情報の時系列データを検出する検出部と、
   検出した前記検出情報の時系列データに基づいて、複数種類の切出対象シーンの各々について、前記切出対象シーンに対応する条件を満たす作業であるかを判定する判定部と、
   前記複数種類の切出対象シーンの各々について設定された、切出回数又は切出時間に基づいて、前記切出対象シーンに対応する条件を満たす作業であると判定された時点を含む部分の動画像を集約した動画像を生成する生成部と、
   を含む動画像集約装置。
2. 前記切出対象シーンは、作業サイクルの時間が閾値以上であるシーンを含み、
   前記判定部は、前記作業サイクルの時間が閾値以上であるシーンについて、検出した前記検出情報の時系列データに基づいて、作業サイクル毎に作業サイクルの時間を分析し、作業サイクルの時間が閾値以上である場合に、前記条件を満たす作業であると判定する請求項１記載の動画像集約装置。
3. 前記切出対象シーンは、作業者が特定の動作を行うシーンを含み、
   前記判定部は、前記作業者が特定の動作を行うシーンについて、検出した前記検出情報の時系列データに基づいて、前記作業者が特定の動作を行う場所に対応する位置に移動した場合に、前記条件を満たす作業であると判定する請求項１又は２記載の動画像集約装置。
4. 前記特定の動作は、不良品を不良品置き場に置くことである請求項３記載の動画像集約装置。
5. 前記切出対象シーンは、前記作業で用いられる機器に関するエラーログが生じたシーンを含み、
   前記判定部は、更に、エラーログが生じたシーンについて、前記作業で用いられる機器に関するログが、エラーログである場合に、前記条件を満たす作業であると判定する請求項１～請求項４の何れか１項記載の動画像集約装置。
6. 取得部が、作業者の作業を撮影した動画像を取得し、
   検出部が、前記動画像に基づいて、前記作業者の骨格又は部位に関する検出情報の時系列データを検出し、
   判定部が、検出した前記検出情報の時系列データに基づいて、複数種類の切出対象シーンの各々について、前記切出対象シーンに対応する条件を満たす作業であるかを判定し、
   生成部が、前記複数種類の切出対象シーンの各々について設定された、切出回数又は切出時間に基づいて、前記切出対象シーンに対応する条件を満たす作業であると判定された時点を含む部分の動画像を集約した動画像を生成する
   動画像集約方法。
7. 作業者の作業を撮影した動画像を取得し、
   前記動画像に基づいて、前記作業者の骨格又は部位に関する検出情報の時系列データを検出し、
   検出した前記検出情報の時系列データに基づいて、複数種類の切出対象シーンの各々について、前記切出対象シーンに対応する条件を満たす作業であるかを判定し、
   前記複数種類の切出対象シーンの各々について設定された、切出回数又は切出時間に基づいて、前記切出対象シーンに対応する条件を満たす作業であると判定された時点を含む部分の動画像を集約した動画像を生成する
   ことをコンピュータに実行させるための動画像集約プログラム。