JP2023048309A - 設定装置、設定方法および設定プログラム - Google Patents

Abstract

【課題】工程に応じた監視領域の適切かつ簡易な設定を支援する設定方法を提供する。【解決手段】設定方法は、カメラから、作業現場と作業現場で作業している作業者とが写る設定用動画を取得するステップと、解析プログラムと同じ命令に従って、設定用動画の各フレームについて作業者の位置を検出するステップと、設定用動画が再生される第１画面を提供するステップと、第１画面に対する操作に応じて監視領域を設定するステップと、を備える。第１画面は、検出された作業者の位置を示すマークを含む。マークは、設定用動画上に重ねて表示される。【選択図】図１

Description

本開示は、設定装置、設定方法および設定プログラムに関する。

従来、工場等の作業現場に設置されたカメラによって撮像された動画を用いて、作業現場に含まれる作業工程を改善する試みが行なわれている。例えば、特開２０２０－２０４８１９号公報（特許文献１）は、天井カメラの撮像により得られる動画に対して画像解析を行なう情報処理装置を開示している。情報処理装置は、動画を画像解析することにより、各工程に対応付けられた監視領域に作業者が存在しているか否かを判定し、監視領域に作業者が存在していると判定された時間帯を示すデータを生成する。当該データから、各工程における作業時間帯が容易に把握される。

特開２０２０－２０４８１９号公報

特許文献１に開示の技術では、各工程に対して監視領域が予め設定される。ある工程に対して設定された監視領域と、当該工程において作業している作業者の位置とにずれが生じると、解析結果の精度が低下する。そのため、工程に応じた監視領域を適切かつ簡易に設定することが望まれる。

本開示は、上記の問題に鑑みてなされたものであり、その目的は、工程に応じた監視領域の適切かつ簡易な設定を支援する設定装置、設定方法および設定プログラムを提供することである。

本開示の一例によれば、設定装置は、解析プログラムに対して監視領域を設定する。解析プログラムは、複数の工程を含む作業現場を撮像するカメラから取得された解析用動画の各フレームについて作業者の位置を検出する第１命令と、複数の工程の各々に対応する監視領域と検出された作業者の位置とに基づいて監視領域に作業者が存在するか否かを判定する第２命令とを含む。設定装置は、取得部と、検出部と、提供部と、設定部と、を備える。取得部は、カメラから、作業現場と作業現場で作業している作業者とが写る設定用動画を取得する。検出部は、第１命令と同じ命令に従って、設定用動画の各フレームについて作業者の位置を検出する。提供部は、設定用動画が再生される第１画面を提供する。設定部は、第１画面に対する操作に応じて監視領域を設定する。第１画面は、検出部によって検出された位置を示すマークを含む。マークは、設定用動画上に重ねて表示される。

この開示によれば、ユーザは、第１画面において再生される設定用動画に写る作業者を見ながら、各工程の監視領域を設定できる。設定用動画には、解析プログラムの第１命令と同じ命令に従って検出された作業者の位置を示すマークが重ねて表示される。そのため、ユーザは、マークが含まれるように監視領域のサイズおよび位置を調整すればよい。これにより、ユーザは、各工程について、当該工程の作業を行なう作業者の位置に適した監視領域を簡易に設定できる。このように、設定装置は、工程に応じた監視領域の適切かつ簡易な設定を支援できる。

上述の開示において、提供部は、設定用動画と設定部によって設定された監視領域とを用いた解析プログラムによる解析結果を示す第２画面をさらに提供する。

この開示によれば、ユーザは、第２画面を確認することにより、監視領域が適切に設定されたか否かを検証できる。

上述の開示において、第２画面は、複数の工程の各々について、対応する監視領域に作業者が存在する時間帯を示す図を含む。あるいは、第２画面は、複数の工程の各々について、対応する監視領域の作業者が存在している時間のばらつきを示す箱ひげ図を含む。

この開示によれば、ユーザは、監視領域に作業者が存在する時間帯を示す図または箱ひげ図を確認することにより、監視領域が適切か否かを容易に判断できる。

上述の開示において、第２命令は、解析用動画の中から、対象フレームを含む、連続した複数のフレームを抽出する命令と、複数のフレームのうち、複数の工程の中の対象工程に対応する対象監視領域に第１命令の実行によって検出された作業者の位置が含まれるフレームの割合を算出する命令と、割合が閾値を超えることに応じて、対象フレームの撮像時刻において作業者が対象監視領域に存在すると決定する命令と、を含む。提供部は、閾値を設定するための第３画面をさらに提供する。設定部は、第３画面に対する操作に応じて、閾値をさらに設定する。

この開示によれば、閾値に応じて、解析プログラムの解析結果が変化する。ユーザは、第２画面を確認しながら、適切な閾値を設定できる。

上述の開示において、第１命令は、解析用動画の各フレームについて、作業者が写る矩形領域を検出する命令と、矩形領域の中心点を作業者の位置として決定する命令と、を含む。検出部は、第１命令と同じ命令に従って、設定用動画の各フレームについて矩形領域を検出する。第１画面は、検出部によって検出された矩形領域を示す第１枠線をさらに含む。第１枠線は、設定用動画上に重ねて表示される。

この開示によれば、ユーザは、設定用動画において作業者の写る領域を容易に把握できる。

上述の開示において、設定用動画は、第１画面において、再生、一時停止、コマ送り、コマ戻し、および時間指定のうちの選択された方式に従って表示される。

この開示によれば、ユーザは、所望の方式に従って表示される設定用動画を確認しながら、監視領域を設定できる。

上述の開示において、第１画面は、１以上の監視領域をそれぞれ示す１以上の第２枠線を含む。設定部は、１以上の第２枠線のうち指定された１つの第２枠線によって示される監視領域を編集対象の監視領域として決定し、指定された１つの第２枠線に対する操作に応じて編集対象の監視領域を編集する。

この開示によれば、ユーザは、第２枠線のサイズおよび位置を調整することにより、監視領域を容易に編集できる。

本開示の一例によれば、設定方法は、解析プログラムに対して監視領域を設定する。解析プログラムは、複数の工程を含む作業現場を撮像するカメラから取得された解析用動画の各フレームについて作業者の位置を検出する第１命令と、複数の工程の各々に対応する監視領域と検出された作業者の位置とに基づいて監視領域に作業者が存在するか否かを判定する第２命令とを含む。設定方法は、第１～第４のステップを備える。第１のステップは、カメラから、作業現場と作業現場で作業している作業者とが写る設定用動画を取得するステップである。第２のステップは、第１命令と同じ命令に従って、設定用動画の各フレームについて作業者の位置を検出するステップである。第３のステップは、設定用動画が再生される第１画面を提供するステップである。第４のステップは、第１画面に対する操作に応じて監視領域を設定するステップである。第１画面は、検出された作業者の位置を示すマークを含む。マークは、設定用動画上に重ねて表示される。

本開示の一例によれば、設定プログラムは、上記の設定方法をコンピュータに実行させる。

これらの開示によっても、工程に応じた監視領域の適切かつ簡易な設定を支援できる。

本開示によれば、工程に応じた監視領域の適切かつ簡易な設定を支援できる。

実施の形態に係る設定装置が適用されるシステムの一例を示す図である。 参考形態に係るシステムにおいて、監視領域を設定するために取得された静止画像の一例を示す図である。 従来の設定方法に従って設定された監視領域と作業者の作業位置との関係の一例を示す図である。 実施の形態に係る設定装置のハードウェア構成の一例を示す模式図である。 実施の形態に係る設定装置の機能構成の一例を示す図である。 設定画面の一例を示す図である。 解析処理開始ボタンがクリックされたことに応じて提供される画面の一例を示す図である。 閾値を設定するための画面の一例を示す図である。

本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰返さない。以下で説明される各変形例は、適宜選択的に組み合わされてもよい。

§１ 適用例
本実施の形態に係る設定装置が適用されるシステムの概略について説明する。図１は、実施の形態に係る設定装置が適用されるシステムの一例を示す図である。図１に示されるように、システム１は、設定装置１００と、カメラ２００と、表示装置３００と、入力装置３５０と、解析プログラム４００と、を備える。システム１は、工場等の生産現場である作業現場２に設けられる。

作業現場２は、複数の工程３（工程３＿１～３＿ｎ）を含む。１人以上の作業者５は、作業現場２において、複数の工程３の間を移動しながら、各工程３において作業を行なう。

カメラ２００は、作業現場２を俯瞰する位置（例えば、天井）に設置され、作業現場２を撮像する。カメラ２００は、例えば超広角カメラまたは広角カメラである。カメラ２００は、撮像により得られた動画データ（以下、単に「動画」と称する。）を出力する。

解析プログラム４００は、カメラ２００から取得された解析用動画に対する画像解析を行なうためのプログラムである。解析プログラム４００は、図示しないコンピュータ装置にインストールされ、当該コンピュータ装置のプロセッサによって実行されてもよい。あるいは、解析プログラム４００は、設定装置１００にインストールされ、設定装置１００のプロセッサによって実行されてもよい。

解析プログラム４００は、解析用動画の各フレームについて作業者の位置を検出する命令４０１と、複数の工程３の各々に対応する監視領域と検出された作業者の位置とに基づいて監視領域に作業者が存在するか否かを判定する命令４０２とを含む。監視領域は、動画上の領域であり、例えば矩形である。ただし、監視領域は、矩形には限定されず、他の形状（例えば円形、楕円形など）であってもよい。以下、監視領域が矩形である場合について説明する。

設定装置１００は、例えば汎用コンピュータであり、表示装置３００および入力装置３５０と接続される。表示装置３００は、例えば液晶ディスプレイである。入力装置３５０は、例えば、キーボード、マウス、タッチパネルなどを含む。

設定装置１００は、解析プログラム４００の実行に必要な監視領域の設定を支援する。具体的には、設定装置１００は、図１に示すステップＳ１～Ｓ４を実行する。ステップＳ１～Ｓ４は、設定装置１００のプロセッサによって実行される。

ステップＳ１において、設定装置１００は、カメラ２００から、作業現場２と作業現場２で作業している作業者５とが写る設定用動画を取得する。

ステップＳ２において、設定装置１００は、解析プログラム４００の命令４０１と同じ命令に従って、設定用動画の各フレームについて作業者５の位置を検出する。

ステップＳ３において、設定装置１００は、設定用動画が再生される設定画面３０を提供する。具体的には、設定装置１００は、表示装置３００に設定画面３０を表示させる。

ステップＳ４において、設定装置１００は、設定画面３０に対する操作に応じて監視領域を設定する。具体的には、設定画面３０には、入力装置３５０への入力に応じて、監視領域に対応する矩形の枠線３２が表示される。ユーザは、入力装置３５０を操作して、設定画面３０において枠線３２の位置およびサイズを調整する。設定装置１００は、枠線３２によって囲まれた領域を監視領域として決定し、監視領域の４つの頂点の座標を示す設定情報を生成する。解析プログラム４００は、生成された設定情報に基づいて監視領域を特定し、特定した監視領域を用いて画像解析を行なう。

設定画面３０は、ステップＳ２において検出された作業者５の位置を示すマーク３１を含む。マーク３１は、設定画面３０において、設定用動画上に重ねて表示される。

本実施の形態によれば、ユーザは、設定画面３０において再生される設定用動画に写る作業者５を見ながら、各工程３の監視領域を設定できる。設定用動画には、解析プログラム４００の命令４０１と同じ命令に従って検出された作業者５の位置を示すマーク３１が重ねて表示される。そのため、ユーザは、設定用動画に写る作業者５の様子を見ながら、作業者５が各工程３の作業を行なっているときのマーク３１が含まれるように枠線３２の位置およびサイズを調整することができる。これにより、ユーザは、各工程３について、当該工程３の作業を行なう作業者５の位置に適した監視領域を簡易に設定できる。このように、本実施の形態に係る設定装置１００は、工程３に応じた監視領域の適切かつ簡易な設定を支援できる。

§２ 具体例
＜従来の監視領域の設定方法における問題点＞
本実施の形態に係る設定装置１００の具体例を説明する前に、図２および図３を参照して、従来の監視領域の設定方法における問題点について説明する。従来、監視領域は、作業者５が作業していない時間帯にカメラ２００の撮像によって得られた静止画像を用いて設定される。

図２は、参考形態に係るシステムにおいて、監視領域を設定するために取得された静止画像の一例を示す図である。静止画像２０は、作業者５が作業していない時間帯の撮像により得られるため、作業現場２のみが写る。図２に示されるように、一般に、作業現場２には、多数の設備および各種装置が設置される。これらの設備および各種装置は、作業現場２に含まれる複数の工程の順に従って配置される。そのため、ユーザは、静止画像２０に写る設備および各種装置を確認することにより、各工程の場所を特定できる。ユーザは、特定した各工程の場所について、作業者５の作業位置を想定し、想定した作業位置に適したサイズおよび位置の枠線３２を設定する。これにより、枠線３２に囲まれた領域が監視領域として設定される。図２では、１０個の工程に対応して１０個の枠線３２がそれぞれ設定される。

作業者５が写る静止画像を用いると、作業者５によって設備および各種装置の一部が隠れてしまい、各工程の場所を精度良く特定できないと考えられる。そのため、従来、作業者５が作業していない時間帯の撮像により得られる静止画像２０を用いて監視領域が設定されていた。

しかしながら、作業者５が写らない静止画像２０を用いて監視領域が設定されるため、設定された監視領域と実際の作業位置とにずれが発生し得る。その結果、各工程において作業している時間帯が精度良く計測されないという問題が生じる。

図３は、従来の設定方法に従って設定された監視領域と作業者の作業位置との関係の一例を示す図である。図３において、マーク７１ａ，７１ｂは、解析プログラム４００の命令４０１によって検出された作業者５ａ，５ｂの位置をそれぞれ示す。図３に示されるように、連続する３つの工程に対して、３つの監視領域７２ａ～７２ｃがそれぞれ設定されている。監視領域７２ａと監視領域７２ｂとは近接している。監視領域７２ｂと監視領域７２ｃとは近接している。

マーク７１ｂは、監視領域７２ｃのほぼ中央付近に位置している。そのため、作業者５ｂが監視領域７２ｃに対応する工程において作業していることが認識される。

一方、マーク７１ａは、監視領域７２ａ，７２ｂの境界付近に位置している。そのため、作業者５ａのわずかな移動によって、作業者５ａの存在している領域の判定結果が監視領域７２ａ，７２ｂの間で変動し得る。そのため、実際には作業者５ａが監視領域７２ｂに対応する工程において作業しているにもかかわらず、作業者５ａが監視領域７２ａに対応する工程において作業していると誤って認識され得る。

このように、従来の設定方法では、設定された監視領域と実際の作業位置とにずれが発生し得る。特に、カメラ２００として超広角カメラまたは広角カメラを用いる場合、当該ずれが発生しやすい。そのため、このようなずれを解消するためには、設定された監視領域を用いた解析プログラム４００の解析結果の検証と監視領域の再設定とを繰り返し実施する必要がある。そのため、各工程に応じた監視領域を適切に設定するためには手間がかかるという問題が生じる。本実施の形態に係る設定装置１００は、このような問題を解決する。

＜設定装置のハードウェア構成＞
図４を参照して、設定装置１００のハードウェア構成について説明する。以下、解析プログラム４００がインストールされた設定装置１００を例にとり説明する。すなわち、設定装置１００は、解析プログラム４００を実行する解析装置としても動作する。

図４は、実施の形態に係る設定装置のハードウェア構成の一例を示す模式図である。図４に示されるように、設定装置１００は、典型的には、汎用的なコンピュータアーキテクチャに従う構造を有する。

具体的には、設定装置１００は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro-Processing Unit）などのプロセッサ１０１と、メモリ１０２と、ストレージ１０３と、カメラインターフェイス１０４と、表示コントローラ１０５と、入力インターフェイス１０６と、通信インターフェイス１０７と、を含む。これらの各部は、バスを介して、互いにデータ通信可能に接続される。

プロセッサ１０１は、ストレージ１０３に記憶されている各種のプログラムをメモリ１０２に展開して実行することで、本実施の形態に従う各種処理を実現する。

メモリ１０２は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）などの揮発性の記憶装置であり、ストレージ１０３から読み出されたプログラム、カメラ２００から受けた動画、処理結果、およびワークデータなどを記憶する。

ストレージ１０３は、典型的には、ハードディスクトライブなどの不揮発性の磁気記憶装置である。ストレージ１０３は、プロセッサ１０１によって実行される設定プログラム１１０および解析プログラム４００と、解析プログラム４００の実行のために使用される設定情報４１０と、を記憶する。さらに、ストレージ１０３には、カメラ２００から受けた設定用動画１２０および解析用動画１３０が格納される。なお、ストレージ１０３に格納される設定用動画１２０および解析用動画１３０の各々の個数は、１に限定されず、複数であってもよい。ストレージ１０３にインストールされる設定プログラム１１０および解析プログラム４００は、メモリカードなどに格納された状態で流通する。

設定情報４１０は、プロセッサ１０１が設定プログラム１１０を実行することにより生成され、ストレージ１０３に格納される。

カメラインターフェイス１０４は、プロセッサ１０１とカメラ２００との間のデータ伝送を仲介する。より具体的には、プロセッサ１０１からカメラインターフェイス１０４を介してカメラ２００に設定用動画１２０または解析用動画１３０の撮像指示が出力される。カメラインターフェイス１０４は、設定用動画１２０の撮像指示に応じてカメラ２００から受けた動画を設定用動画１２０としてプロセッサ１０１に出力する。カメラインターフェイス１０４は、解析用動画１３０の撮像指示に応じてカメラ２００から受けた動画を解析用動画１３０としてプロセッサ１０１に出力する。プロセッサ１０１は、設定用動画１２０および解析用動画１３０をストレージ１０３に格納する。

表示コントローラ１０５は、表示装置３００と接続されており、プロセッサ１０１からの内部コマンドに従って、各種の情報を表示するための信号を表示装置３００へ出力する。

入力インターフェイス１０６は、プロセッサ１０１とキーボード、マウス、タッチパネルなどの入力装置３５０との間のデータ伝送を仲介する。すなわち、入力インターフェイス１０６は、ユーザが入力装置３５０を操作することで与えられる操作指令を受け付ける。

通信インターフェイス１０７は、プロセッサ１０１と外部デバイスとの間のデータ伝送を仲介する。通信インターフェイス１０７は、典型的には、イーサネット（登録商標）やＵＳＢ（Universal Serial Bus）などを含む。なお、設定プログラム１１０および解析プログラム４００は、通信インターフェイス１０７を介して、配信サーバなどからダウンロードされてもよい。

上述のような汎用的なコンピュータアーキテクチャに従う構造を有するコンピュータを利用する場合には、本実施の形態に係る機能を提供するためのアプリケーションに加えて、コンピュータの基本的な機能を提供するためのＯＳ（Operating System）がインストールされていてもよい。この場合には、本実施の形態に係るプログラムは、ＯＳの一部として提供されるプログラムモジュールのうち、必要なモジュールを所定の順序およびタイミングで呼出して処理を実行するものであってもよい。すなわち、本実施の形態に係るプログラム自体は、上記のようなモジュールを含んでおらず、ＯＳと協働して処理が実行される場合もある。

なお、代替的に、設定プログラム１１０の実行により提供される機能の一部もしくは全部を専用のハードウェア回路として実装してもよい。

＜設定装置の機能構成＞
図５は、実施の形態に係る設定装置の機能構成の一例を示す図である。図５に示されるように、設定装置１００は、記憶部１０と、取得部１１と、検出部１２と、提供部１３と、設定部１４と、解析部１５と、を備える。記憶部１０は、図４に示すメモリ１０２およびストレージ１０３によって実現される。取得部１１は、カメラインターフェイス１０４と設定プログラム１１０または解析プログラム４００を実行するプロセッサ１０１とによって実現される。検出部１２は、プロセッサ１０１が設定プログラム１１０を実行することにより実現される。提供部１３は、表示コントローラ１０５と設定プログラム１１０を実行するプロセッサ１０１とによって実現される。設定部１４は、入力インターフェイス１０６と設定プログラム１１０を実行するプロセッサ１０１とによって実現される。解析部１５は、プロセッサ１０１が解析プログラム４００を実行することにより実現される。

取得部１１は、カメラ２００から設定用動画１２０および解析用動画１３０を取得する。取得部１１は、取得した設定用動画１２０および解析用動画１３０を記憶部１０に格納する。

例えば、取得部１１は、作業者５が作業現場２で作業しているときに、入力装置３５０への入力に応じて、指定された時間長さの設定用動画１２０を取得する。さらに、取得部１１は、作業現場２における作業開始から作業終了までの期間において、所定時間長さの解析用動画１３０を周期的に取得する。なお、取得部１１は、複数の解析用動画１３０の一部を設定用動画１２０として取得してもよい。

検出部１２は、解析プログラム４００の命令４０１（図１参照）と同じ命令に従って、設定用動画１２０の各フレームについて作業者５の位置を検出する。すなわち、設定プログラム１１０は、命令４０１と同じ命令を含む。検出部１２は、プロセッサ１０１が当該命令を実行することにより実現される。

具体的には、検出部１２は、公知の物体認識技術を用いて、設定用動画１２０の各フレームに対して人体（つまり作業者５）の認識処理を実行する。検出部１２は、認識された作業者５ごとに、当該作業者５が写る矩形領域を決定する。検出部１２は、決定した矩形領域の中心を作業者５の位置として検出する。検出部１２は、作業者５が写る矩形領域の４頂点の座標と、作業者５の位置の座標と、を算出する。

提供部１３は、各工程３に対応する監視領域を設定するための設定画面を提供する。設定画面には、設定用動画が再生される。提供部１３は、設定画面を表示装置３００に表示させる。

設定部１４は、設定画面に対する操作を入力装置３５０から受け付け、当該操作に応じて各工程３に対応する監視領域を設定する。設定部１４は、各工程３について設定した監視領域を示す設定情報４１０を生成し、設定情報４１０を記憶部１０に格納する。設定情報４１０は、各工程３について、当該工程３を識別する工程ＩＤと、当該工程３に対して設定された監視領域のサイズおよび位置を示す領域情報とを対応付ける。領域情報は、例えば矩形の監視領域の４頂点の座標を示す。

解析部１５は、解析用動画１３０に対して画像解析を行なう。図５に示されるように、解析部１５は、検出部１６と、判定部１７と、生成部１８と、を含む。

検出部１６は、命令４０１（図１参照）に従って、解析用動画１３０の各フレームについて作業者５の位置を検出する。命令４０１は、解析用動画１３０の各フレームについて、作業者５が写る矩形領域を検出する命令と、矩形領域の中心点を作業者の位置として決定する命令と、を含む。検出部１６は、これらの命令を実行することにより実現される。検出部１６による検出方法は、検出部１２による検出方法と同じである。そのため、詳細な説明を省略する。

判定部１７は、命令４０２（図１参照）に従って、解析用動画１３０の各フレームの撮像時刻において、複数の工程３の各々について、当該工程３に対して設定された監視領域に作業者５が存在するか否かを判定する。判定部１７は、設定情報４１０を参照して、各工程３の監視領域を特定する。

ある工程３において作業者５が作業を行なう場合、作業者５は、当該工程３に対応する監視領域に連続して滞在する。言い換えると、単に作業者５がある監視領域を通過しただけの場合、作業者５は、当該監視領域に対応する工程３において作業を行なっていない。また、解析用動画１３０のフレームによっては、作業者５が写っているにもかかわらず、検出部１２による人体の認識処理に失敗するケースも有り得る。そのため、判定部１７は、命令４０２に含まれる以下の命令（１）～（３）に従って、解析用動画１３０に含まれる対象フレームの撮像時刻において、対象の工程３に対応する対象監視領域に作業者５が存在するか否かを判定してもよい。
命令（１）：解析用動画１３０の中から、対象フレームを含む、連続した複数のフレームを抽出する。例えば、対象フレームと、対象フレームの前後５つずつのフレームとを合わせた１１個のフレームが抽出される。
命令（２）：命令（１）の実行によって複数のフレームのうち、検出部１２によって検出された作業者５の位置が対象監視領域に含まれるフレームの割合を算出する。
命令（３）：命令（２）の実行によって算出された割合が閾値を超えることに応じて、対象フレームの撮像時刻において作業者５が対象監視領域に存在すると決定する。

さらに、判定部１７は、各工程３について、当該工程３に対して設定された監視領域に作業者５が存在する１以上の時間帯の各々について時間帯情報４２０を生成する。判定部１７は、生成した時間帯情報４２０を記憶部１０に格納する。時間帯情報４２０は、工程ＩＤと開始時刻と終了時刻とを示す。

判定部１７は、各工程３について、解析用動画１３０の中から、当該工程３に対応する監視領域に作業者５が存在すると判定された、連続する複数のフレームを特定する。判定部１７は、特定した複数のフレームに対して、当該工程３を識別する工程ＩＤを示す時間帯情報４２０を生成する。時間帯情報４２０は、特定された複数のフレームのうちの１番目のフレームの撮像時刻を開始時刻として示し、かつ、特定したフレームのうちの最後のフレームの撮像時刻を終了時刻として示す。

生成部１８は、時間帯情報４２０に基づいて、各種のグラフを生成する。例えば、生成部１８は、複数の工程３の各々について、対応する監視領域に作業者５が存在する時間帯（つまり、時間帯情報４２０によって示される時間帯）を示すガントチャートを生成してもよい。あるいは、生成部１８は、複数の工程３の各々について、対応する監視領域に作業者５が存在している時間（つまり、時間帯情報４２０によって示される時間帯の長さ）のばらつきを示す箱ひげ図を生成してもよい。生成部１８によって生成されたグラフは、ユーザの要求に応じて提供される。

＜設定画面の例＞
図６は、設定画面の一例を示す図である。図６に例示される設定画面３０は、提供部１３によって提供され、表示装置３００に表示される。図６に示されるように、設定画面３０は、動画再生エリア３３と、リスト表示欄３４と、削除ボタン３５と、追加ボタン３６と、解析処理開始ボタン３７と、保存ボタン３８と、動画再生ボタン群３９と、シークバー４０と、を含む。

動画再生エリア３３には、設定用動画１２０が表示される。設定用動画１２０は、動画再生ボタン群３９またはシークバー４０への操作に応じて表示される。動画再生ボタン群３９は、再生、一時停止、コマ送り、コマ戻し、時間指定のいずれかを選択するためのボタンを含む。設定用動画１２０は、動画再生エリア３３において、再生、一時停止、コマ送り、コマ戻し、時間指定のうちの選択された方式に従って表示される。「再生」が選択された場合、設定用動画１２０が再生される。「一時停止」が選択された場合、「一時停止」が選択されたときに表示されていたフレームが維持される。「コマ送り」が選択された場合、設定用動画１２０は、各フレームを確認できる程度に遅い速度で再生される。「コマ戻し」が選択された場合、設定用動画１２０は、各フレームを確認できる程度に遅い速度で逆再生される。「時間指定」が選択された場合、設定用動画１２０のうち指定された時刻のフレームが表示される。

動画再生エリア３３には、設定用動画１２０に重ねて、作業者５の写る矩形領域を示す枠線４１と、作業者５の位置を示すマーク３１とが表示される。作業者５の写る矩形領域および作業者５の位置は、上述したように検出部１２によって検出される。図６に示す例では、作業者５ａ～５ｃに対して、枠線４１ａ～４１ｃとマーク３１ａ～３１ｃとがそれぞれ表示される。これにより、ユーザは、解析プログラム４００を実行したときに検出される各作業者５の位置を把握できる。

提供部１３は、追加ボタン３６がクリックされたことに応じて、新たな監視領域を設定するための枠線３２を動画再生エリア３３に表示するとともに、当該新たな監視領域を識別する名称をリスト表示欄３４に追加する。

提供部１３は、追加ボタン３６がクリックされたとき、リスト表示欄３４に表示済みの名称とは異なる任意の名称を新たな監視領域に付与する。提供部１３は、リスト表示欄３４に表示されている名称の編集を受け付ける。これにより、ユーザは、監視領域に対して所望の名称を付けることができる。

提供部１３は、動画再生エリア３３に表示されている１つの枠線３２が選択された状態で削除ボタン３５がクリックされたことに応じて、選択された枠線３２を動画再生エリア３３から削除する。さらに、提供部１３は、削除された枠線３２に対応する名称をリスト表示欄３４から削除する。

あるいは、リスト表示欄３４に表示されている１つの名称が選択された状態で削除ボタン３５がクリックされたことに応じて、選択された名称をリスト表示欄３４から削除する。さらに、提供部１３は、削除された名称に対応する枠線３２を動画再生エリア３３から削除する。

図６に示す例では、動画再生エリア３３に、２つの監視領域をそれぞれ設定するための２つの枠線３２ａ，３２ｂが表示されている。設定部１４は、動画再生エリア３３に表示される枠線３２のサイズおよび位置の編集操作を受け付ける。具体的には、設定部１４は、１以上の枠線３２のうち指定された１つの枠線３２によって示される監視領域を編集対象の監視領域として決定し、設定画面３０の動画再生エリア３３に対する操作に応じて編集対象の監視領域を編集する。すなわち、ユーザは、設定用動画１２０と、検出された作業者５の位置を示すマーク３１とを確認しながら、ある工程で作業している作業者５に対応するマーク３１が含まれるように枠線３２のサイズおよび位置を調整すればよい。これにより、ユーザは、工程３の作業を行なう作業者５の位置に適した監視領域を簡易に設定できる。

設定部１４は、保存ボタン３８がクリックされたことに応じて、動画再生エリア３３に表示されている各枠線３２によって囲まれた監視領域の４頂点の座標を示す領域情報を生成する。設定部１４は、各領域情報と、当該領域情報に対して入力された工程ＩＤとを対応付けた設定情報４１０を生成する。例えば、設定部１４は、工程ＩＤとして、リスト表示欄３４に表示されている名称を用いてもよい。あるいは、設定部１４は、各監視領域に対応する工程ＩＤの入力画面を表示装置３００に表示させ、入力画面への入力に応じて、各監視領域に対して工程ＩＤを設定してもよい。

提供部１３は、解析処理開始ボタン３７がクリックされたことに応じて、設定用動画１２０と設定された監視領域とを用いた解析プログラム４００による解析結果を示す画面を提供する。

具体的には、提供部１３は、解析部１５に対して、設定用動画１２０と設定された監視領域とを用いた処理を指示する。解析部１５は、設定用動画１２０を解析対象とし、監視領域を用いて画像解析を行なう。その結果、時間帯情報４２０（図５参照）が生成される。さらに、時間帯情報４２０に基づいて、工程３ごとの監視領域に作業者５が存在していると判定された時間帯を示すガントチャート、あるいは、工程３ごとの監視領域に作業者５が存在していると判定された時間帯の長さのばらつきを示す箱ひげ図が生成される。

図７は、解析処理開始ボタンがクリックされたことに応じて提供される画面の一例を示す図である。図７に示されるように、画面５０は、複数の工程３の各々について、対応する監視領域に作業者５が存在する時間帯を示すガントチャート５１を含む。さらに、画面５０は、複数の工程３の各々について、対応する監視領域に作業者５が存在している時間のばらつきを示す箱ひげ図５２を含む。なお、画面５０は、ガントチャート５１および箱ひげ図５２のうちの一方のみを含んでもよい。

ある工程で作業している作業者５の位置に応じて適切に監視領域が設定された場合、当該監視領域に作業者５が存在していると判定された時間のばらつきは小さくなる。

一方、ある工程で作業している作業者５の位置に応じて適切に監視領域が設定されない場合（例えば図３の監視領域７２ａが設定された場合）、当該監視領域に作業者５が存在していると判定された時間のばらつきが大きくなる。また、ガントチャート５１では、隣り合う２つの工程間で作業している時間帯が細かく変動する。

そのため、ユーザは、図７に示す画面を確認することにより、監視領域が適切に設定されたか否かを検証できる。

このように、ユーザは、図６に示す設定画面３０および図７に示す画面５０を見ながら、各工程３について、当該工程３の作業を行なう作業者５の位置に適した監視領域を簡易に設定できる。

＜変形例＞
上述したように、解析部１５の判定部１７は、命令４０２に含まれる命令（１）～（３）に従って、対象フレームの撮像時刻において、対象の工程３に対応する対象監視領域に作業者５が存在するか否かを判定してもよい。この場合、命令（３）の実行において使用される閾値は、監視領域に作業者５が存在している時間帯の解析に影響する。すなわち、閾値に応じて、図７に示すガントチャート５１および箱ひげ図５２が変化する。

そのため、提供部１３は、命令（３）の実行において使用される閾値を設定するための画面をさらに提供してもよい。

図８は、閾値を設定するための画面の一例を示す図である。図８に示されるように、画面６０は、閾値を入力するための入力欄６１を含む。

設定部１４は、画面６０に対する操作に応じて、閾値を設定し、設定した閾値を設定情報４１０に含める。解析プログラム４００の命令（３）は、設定情報４１０に含められた閾値を用いて実行される。

これにより、ユーザは、図７に示す画面５０に含まれるガントチャート５１および箱ひげ図５２を確認しながら、適切な閾値を設定できる。

図４および図５に示す例では、設定装置１００に解析プログラム４００がインストールされる。しかしながら、上述したように、解析プログラム４００は、設定装置１００とは異なる装置にインストールされてもよい。この場合、設定装置１００によって生成された設定情報４１０は、解析プログラム４００がインストールされた装置に伝送される。また、設定装置１００の提供部１３は、解析プログラム４００がインストールされた装置に対して、設定用動画１２０と設定された監視領域とを用いた処理を指示してもよい。そして、提供部１３は、解析プログラム４００がインストールされた装置から、解析結果である時間帯情報４２０（図５参照）を取得し、取得した時間帯情報４２０に基づいて、図７に示す画面５０を生成すればよい。

§３ 付記
以上のように、本実施の形態は以下のような開示を含む。

（構成１）
複数の工程（３）を含む作業現場（２）を撮像するカメラ（２００）から取得された解析用動画（１３０）の各フレームについて作業者（５）の位置を検出する第１命令（４０１）と、前記複数の工程（３）の各々に対応する監視領域と検出された前記作業者（５）の位置とに基づいて前記監視領域に前記作業者（５）が存在するか否かを判定する第２命令（４０２）とを含む解析プログラム（４００）に対して前記監視領域を設定する設定装置（１００）であって、
前記カメラ（２００）から、前記作業現場（２）と前記作業現場（２）で作業している前記作業者（５）とが写る設定用動画（１２０）を取得する取得部（１１，１０１，１０４）と、
前記第１命令（４０１）と同じ命令に従って、前記設定用動画（１２０）の各フレームについて前記作業者（５）の位置を検出する検出部（１２，１０１）と、
前記設定用動画（１２０）が再生される第１画面（３０）を提供する提供部（１３，１０１，１０４）と、
前記第１画面（３０）に対する操作に応じて前記監視領域を設定する設定部（１４，１０１，１０６）と、を備え、
前記第１画面（３０）は、前記検出部（１２，１０１）によって検出された位置を示すマーク（３１）を含み、
前記マーク（３１）は、前記設定用動画（１２０）上に重ねて表示される、設定装置（１００）。

（構成２）
前記提供部（１３，１０１，１０４）は、前記設定用動画（１２０）と前記設定部（１４，１０１，１０６）によって設定された前記監視領域とを用いた前記解析プログラム（４００）による解析結果を示す第２画面（５０）をさらに提供する、構成１に記載の設定装置（１００）。

（構成３）
前記第２画面（５０）は、前記複数の工程（３）の各々について、対応する前記監視領域に前記作業者（５）が存在する時間帯を示す図（５１）を含む、構成２に記載の設定装置（１００）。

（構成４）
前記第２画面（５０）は、前記複数の工程（３）の各々について、対応する前記監視領域の前記作業者（５）が存在している時間のばらつきを示す箱ひげ図（５２）を含む、構成２に記載の設定装置（１００）。

（構成５）
前記第２命令（４０２）は、
前記解析用動画（１３０）の中から、対象フレームを含む、連続した複数のフレームを抽出する命令と、
前記複数のフレームのうち、前記複数の工程（３）の中の対象工程に対応する対象監視領域に前記第１命令（４０１）の実行によって検出された作業者（５）の位置が含まれるフレームの割合を算出する命令と、
前記割合が閾値を超えることに応じて、前記対象フレームの撮像時刻において前記作業者（５）が前記対象監視領域に存在すると決定する命令と、を含み、
前記提供部（１３，１０１，１０４）は、前記閾値を設定するための第３画面（６０）をさらに提供し、
前記設定部（１４，１０１，１０６）は、前記第３画面（６０）に対する操作に応じて、前記閾値をさらに設定する、構成２から４のいずれかに記載の設定装置（１００）。

（構成６）
前記第１命令（４０１）は、
前記解析用動画（１３０）の各フレームについて、前記作業者（５）が写る矩形領域を検出する命令と、
前記矩形領域の中心点を前記作業者（５）の位置として決定する命令と、を含み、
前記検出部（１２，１０１）は、前記第１命令（４０１）と同じ命令に従って、前記設定用動画（１２０）の各フレームについて前記矩形領域を検出し、
前記第１画面（３０）は、前記検出部（１２，１０１）によって検出された前記矩形領域を示す第１枠線（４１）をさらに含み、
前記第１枠線（４１）は、前記設定用動画（１２０）上に重ねて表示される、構成１から５のいずれかに記載の設定装置（１００）。

（構成７）
前記設定用動画（１２０）は、前記第１画面（３０）において、再生、一時停止、コマ送り、コマ戻し、および時間指定のうちの選択された方式に従って表示される、構成１から５のいずれかに記載の設定装置（１００）。

（構成８）
前記第１画面（３０）は、１以上の監視領域をそれぞれ示す１以上の第２枠線（３２）を含み、
前記設定部（１４，１０１，１０６）は、前記１以上の第２枠線（３２）のうち指定された１つの第２枠線（３２）によって示される前記監視領域を編集対象の監視領域として決定し、前記指定された１つの第２枠線（３２）に対する操作に応じて前記編集対象の監視領域を編集する、構成１から７のいずれかに記載の設定装置（１００）。

（構成９）
複数の工程（３）を含む作業現場（２）を撮像するカメラ（２００）から取得された解析用動画（１３０）の各フレームについて作業者（５）の位置を検出する第１命令（４０１）と、前記複数の工程（３）の各々に対応する監視領域と検出された前記作業者（５）の位置とに基づいて前記監視領域に前記作業者（５）が存在するか否かを判定する第２命令（４０２）とを含む解析プログラム（４００）に対して前記監視領域を設定する設定方法であって、
前記カメラ（２００）から、前記作業現場（２）と前記作業現場（２）で作業している前記作業者（５）とが写る設定用動画（１２０）を取得するステップと、
前記第１命令（４０１）と同じ命令に従って、前記設定用動画（１２０）の各フレームについて前記作業者（５）の位置を検出するステップと、
前記設定用動画（１２０）が再生される第１画面（３０）を提供するステップと、
前記第１画面（３０）に対する操作に応じて前記監視領域を設定するステップと、を備え、
前記第１画面（３０）は、前記検出部（１２，１０１）によって検出された位置を示すマーク（３１）を含み、
前記マーク（３１）は、前記設定用動画（１２０）上に重ねて表示される、設定方法。

（構成１０）
複数の工程（３）を含む作業現場（２）を撮像するカメラ（２００）から取得された解析用動画（１３０）の各フレームについて作業者（５）の位置を検出する第１命令（４０１）と、前記複数の工程（３）の各々に対応する監視領域と検出された前記作業者（５）の位置とに基づいて前記監視領域に前記作業者（５）が存在するか否かを判定する第２命令（４０２）とを含む解析プログラム（４００）に対して前記監視領域を設定する設定プログラム（１１０）であって、
コンピュータ（１００，１０１）に、
前記カメラ（２００）から、前記作業現場（２）と前記作業現場（２）で作業している前記作業者（５）とが写る設定用動画（１２０）を取得するステップと、
前記第１命令（４０１）と同じ命令に従って、前記設定用動画（１２０）の各フレームについて前記作業者（５）の位置を検出するステップと、
前記設定用動画（１２０）が再生される第１画面（３０）を提供するステップと、
前記第１画面（３０）に対する操作に応じて前記監視領域を設定するステップと、を実行させ、
前記第１画面（３０）は、前記検出部（１２，１０１）によって検出された位置を示すマーク（３１）を含み、
前記マーク（３１）は、前記設定用動画（１２０）上に重ねて表示される、設定プログラム（１１０）。

本発明の実施の形態について説明したが、今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１ システム、２ 作業現場、３ 工程、５，５ａ～５ｃ 作業者、１０ 記憶部、１１ 取得部、１２，１６ 検出部、１３ 提供部、１４ 設定部、１５ 解析部、１７ 判定部、１８ 生成部、２０ 静止画像、３０ 設定画面、３１，３１ａ～３１ｃ，７１ａ，７１ｂ マーク、３２，３２ａ，３２ｂ，４１，４１ａ～４１ｃ 枠線、３３ 動画再生エリア、３４ リスト表示欄、３５ 削除ボタン、３６ 追加ボタン、３７ 解析処理開始ボタン、３８ 保存ボタン、３９ 動画再生ボタン群、４０ シークバー、５０，６０ 画面、５１ ガントチャート、５２ 箱ひげ図、６１ 入力欄、７２ａ～７２ｃ 監視領域、１００ 設定装置、１０１ プロセッサ、１０２ メモリ、１０３ ストレージ、１０４ カメラインターフェイス、１０５ 表示コントローラ、１０６ 入力インターフェイス、１０７ 通信インターフェイス、１１０ 設定プログラム、１２０ 設定用動画、１３０ 解析用動画、２００ カメラ、３００ 表示装置、３５０ 入力装置、４００ 解析プログラム、４０１，４０２ 命令、４１０ 設定情報、４２０ 時間帯情報。

Claims (10)

1. 複数の工程を含む作業現場を撮像するカメラから取得された解析用動画の各フレームについて作業者の位置を検出する第１命令と、前記複数の工程の各々に対応する監視領域と検出された前記作業者の位置とに基づいて前記監視領域に前記作業者が存在するか否かを判定する第２命令とを含む解析プログラムに対して前記監視領域を設定する設定装置であって、
   前記カメラから、前記作業現場と前記作業現場で作業している前記作業者とが写る設定用動画を取得する取得部と、
   前記第１命令と同じ命令に従って、前記設定用動画の各フレームについて前記作業者の位置を検出する検出部と、
   前記設定用動画が再生される第１画面を提供する提供部と、
   前記第１画面に対する操作に応じて前記監視領域を設定する設定部と、を備え、
   前記第１画面は、前記検出部によって検出された位置を示すマークを含み、
   前記マークは、前記設定用動画上に重ねて表示される、設定装置。
2. 前記提供部は、前記設定用動画と前記設定部によって設定された前記監視領域とを用いた前記解析プログラムによる解析結果を示す第２画面をさらに提供する、請求項１に記載の設定装置。
3. 前記第２画面は、前記複数の工程の各々について、対応する前記監視領域に前記作業者が存在する時間帯を示す図を含む、請求項２に記載の設定装置。
4. 前記第２画面は、前記複数の工程の各々について、対応する前記監視領域の前記作業者が存在している時間のばらつきを示す箱ひげ図を含む、請求項２に記載の設定装置。
5. 前記第２命令は、
   前記解析用動画の中から、対象フレームを含む、連続した複数のフレームを抽出する命令と、
   前記複数のフレームのうち、前記複数の工程の中の対象工程に対応する対象監視領域に前記第１命令の実行によって検出された作業者の位置が含まれるフレームの割合を算出する命令と、
   前記割合が閾値を超えることに応じて、前記対象フレームの撮像時刻において前記作業者が前記対象監視領域に存在すると決定する命令と、を含み、
   前記提供部は、前記閾値を設定するための第３画面をさらに提供し、
   前記設定部は、前記第３画面に対する操作に応じて、前記閾値をさらに設定する、請求項２から４のいずれか１項に記載の設定装置。
6. 前記第１命令は、
   前記解析用動画の各フレームについて、前記作業者が写る矩形領域を検出する命令と、
   前記矩形領域の中心点を前記作業者の位置として決定する命令と、を含み、
   前記検出部は、前記第１命令と同じ命令に従って、前記設定用動画の各フレームについて前記矩形領域を検出し、
   前記第１画面は、前記検出部によって検出された前記矩形領域を示す第１枠線をさらに含み、
   前記第１枠線は、前記設定用動画上に重ねて表示される、請求項１から５のいずれか１項に記載の設定装置。
7. 前記設定用動画は、前記第１画面において、再生、一時停止、コマ送り、コマ戻し、および時間指定のうちの選択された方式に従って表示される、請求項１から５のいずれか１項に記載の設定装置。
8. 前記第１画面は、１以上の監視領域をそれぞれ示す１以上の第２枠線を含み、
   前記設定部は、前記１以上の第２枠線のうち指定された１つの第２枠線によって示される前記監視領域を編集対象の監視領域として決定し、前記指定された１つの第２枠線に対する操作に応じて前記編集対象の監視領域を編集する、請求項１から７のいずれか１項に記載の設定装置。
9. 複数の工程を含む作業現場を撮像するカメラから取得された解析用動画の各フレームについて作業者の位置を検出する第１命令と、前記複数の工程の各々に対応する監視領域と検出された前記作業者の位置とに基づいて前記監視領域に前記作業者が存在するか否かを判定する第２命令とを含む解析プログラムに対して前記監視領域を設定する設定方法であって、
   前記カメラから、前記作業現場と前記作業現場で作業している前記作業者とが写る設定用動画を取得するステップと、
   前記第１命令と同じ命令に従って、前記設定用動画の各フレームについて前記作業者の位置を検出するステップと、
   前記設定用動画が再生される第１画面を提供するステップと、
   前記第１画面に対する操作に応じて前記監視領域を設定するステップと、を備え、
   前記第１画面は、検出された前記作業者の位置を示すマークを含み、
   前記マークは、前記設定用動画上に重ねて表示される、設定方法。
10. 複数の工程を含む作業現場を撮像するカメラから取得された解析用動画の各フレームについて作業者の位置を検出する第１命令と、前記複数の工程の各々に対応する監視領域と検出された前記作業者の位置とに基づいて前記監視領域に前記作業者が存在するか否かを判定する第２命令とを含む解析プログラムに対して前記監視領域を設定する設定プログラムであって、
    コンピュータに、
    前記カメラから、前記作業現場と前記作業現場で作業している前記作業者とが写る設定用動画を取得するステップと、
    前記第１命令と同じ命令に従って、前記設定用動画の各フレームについて前記作業者の位置を検出するステップと、
    前記設定用動画が再生される第１画面を提供するステップと、
    前記第１画面に対する操作に応じて前記監視領域を設定するステップと、を実行させ、
    前記第１画面は、検出された前記作業者の位置を示すマークを含み、
    前記マークは、前記設定用動画上に重ねて表示される、設定プログラム。
    

Images