JP2017175559A - 表示制御装置、システム、表示制御方法及びプログラム - Google Patents
表示制御装置、システム、表示制御方法及びプログラム Download PDFInfo
- Publication number
- JP2017175559A JP2017175559A JP2016062355A JP2016062355A JP2017175559A JP 2017175559 A JP2017175559 A JP 2017175559A JP 2016062355 A JP2016062355 A JP 2016062355A JP 2016062355 A JP2016062355 A JP 2016062355A JP 2017175559 A JP2017175559 A JP 2017175559A
- Authority
- JP
- Japan
- Prior art keywords
- event
- display
- display control
- timeline
- display unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
【課題】イベントが発生したときの状態を判断可能にタイムラインに表示することを目的とする。
【解決手段】動画像のタイムラインを表示部に表示させる第1の表示制御手段を有し、第1の表示制御手段は、動画像を解析して得られたイベントの発生頻度、又は、イベントに関する数値に応じて、タイムラインにイベントが発生したことを示す表示処理を表示部に実行させることによって課題を解決する。
【選択図】図5
【解決手段】動画像のタイムラインを表示部に表示させる第1の表示制御手段を有し、第1の表示制御手段は、動画像を解析して得られたイベントの発生頻度、又は、イベントに関する数値に応じて、タイムラインにイベントが発生したことを示す表示処理を表示部に実行させることによって課題を解決する。
【選択図】図5
Description
本発明は、表示制御装置、システム、表示制御方法及びプログラムに関する。
従来の映像監視システムでは、映像中で通過検知や置き去り検知、事前設定スケジュールに応じた録画等のイベントが発生したときに、タイムライン上にイベントに応じてアイコンを表示する表示装置があった(特許文献1参照)。また、蓄積動画枚数に応じてタイムラインの色濃度や色相を変更し、カメラの蓄積動画の分布状態を表示する表示装置があった(特許文献2参照)。
特許文献1の表示装置では、イベントが発生したときにタイムライン上にアイコンを表示することで、ユーザはイベントが発生したかどうかをタイムライン上から判断することができる。
特許文献2の表示装置では、ユーザはタイムラインの色濃度や色相を見ることで、イベント発生等で生じたカメラ撮影動画像の蓄積の分布を読み取ることができる。
特許文献1の表示装置では、イベントが発生したときにタイムライン上にアイコンを表示することで、ユーザはイベントが発生したかどうかをタイムライン上から判断することができる。
特許文献2の表示装置では、ユーザはタイムラインの色濃度や色相を見ることで、イベント発生等で生じたカメラ撮影動画像の蓄積の分布を読み取ることができる。
しかし、上述した従来技術の表示装置ではイベントが発生したときの状態がわからない。
例えば、2人以上で作業することをルールとして課している現場では、作業監視員が撮影装置を介して作業者らを監視することがある。その場合、作業者同士の距離が一定以上離れていると判定した作業者に注意を促すことがある。しかし、注意が必要かどうかはその発生した状態によって異なるため、監視者は場合に応じて2人以上で作業されていないというイベントが発生した映像を再生して確認し、注意を促すか判定しなければならない。
このような場合、イベント(上記の例であれば、2人以上で作業されていないというイベント)が発生したときの状態がわからないことが問題となる。
本発明は、イベントが発生したときの状態を判断可能にタイムラインに表示することを目的とする。
例えば、2人以上で作業することをルールとして課している現場では、作業監視員が撮影装置を介して作業者らを監視することがある。その場合、作業者同士の距離が一定以上離れていると判定した作業者に注意を促すことがある。しかし、注意が必要かどうかはその発生した状態によって異なるため、監視者は場合に応じて2人以上で作業されていないというイベントが発生した映像を再生して確認し、注意を促すか判定しなければならない。
このような場合、イベント(上記の例であれば、2人以上で作業されていないというイベント)が発生したときの状態がわからないことが問題となる。
本発明は、イベントが発生したときの状態を判断可能にタイムラインに表示することを目的とする。
本発明の表示制御装置は、動画像のタイムラインを表示部に表示させる第1の表示制御手段を有し、前記第1の表示制御手段は、前記動画像を解析して得られたイベントの発生頻度、又は、前記イベントに関する数値に応じて、前記タイムラインに前記イベントが発生したことを示す表示処理を前記表示部に実行させる。
本発明によれば、イベントが発生したときの状態を判断可能にタイムラインに表示することができる。
以下、本発明の実施形態について図面に基づいて説明する。
本明細書では、作業者に対して2人以上で作業することをルールとして課している現場で、2人以上で作業されていないという検知がされたときの結果をタイムライン上に表示する処理について説明する。
図1は、表示システムのシステム構成の一例を示す図である。表示システムは、イベント検知情報を表示する少なくとも1つの表示装置100、複数のカメラ110、複数の映像記憶装置120、複数の解析装置130、を含む。表示装置100は、表示制御装置の一例である。
カメラ110は、例えばネットワークカメラである。映像記憶装置120は、例えばHDDである。カメラ110、映像記憶装置120は、どちらか一方の数が少なくとも1以上あればよい。カメラ110と表示装置100とはネットワークを介して接続されている。映像記憶装置120は、表示装置100に組み込まれていてもよいし、ネットワークを介して表示装置100に接続されていてもよい。解析装置130は、カメラ110又は映像記憶装置120の映像を解析する装置である。解析装置130は、カメラ110又は映像記憶装置120の情報に応じて、イベント検知情報を作成する。解析装置130の数は少なくとも1以上あればよい。解析装置130は、表示装置100とネットワークを介して接続されていてもよいし、表示装置100と一体化して構成されていてもよい。また、解析装置130は、カメラ110と一体化して構成されていてもよいし、映像記憶装置120と一体化して構成されていてもよい。
表示装置100は、カメラ110又は映像記憶装置120から取得した情報を解析装置130に送信し、解析した結果を取得する。そして表示装置100は、カメラ110又は映像記憶装置120、解析装置130から受信した情報を表示する。例えば、解析装置130は、カメラ110又は映像記憶装置120から取得した映像に基づき、画像から人物を検出し、検出した人物の位置、人物の顔の向き、及び人物間の距離、の内の少なくとも何れかに基づいて、人物同士を関連付ける。解析装置130は、関連付けの結果、他の人物と関連付けを行うことができない人物が存在した場合、イベントを検知したとしてイベント検知情報を作成する。
表示システムの主たる用途は監視業務であるため、カメラ110は数十台から数百台で使用され、カメラ110で取得した映像を表示装置100に送信する場合がある。また、カメラ110は、映像記憶装置120に映像を送信し、映像記憶装置120で取得した映像を表示装置100に送信する場合がある。また、解析装置130は、イベントの種類に応じて複数台、表示システムに接続される場合がある。カメラ110や映像記憶装置120、解析装置130の追加された数に応じて、表示装置100は複数台になる場合がある。
図1は、表示システムのシステム構成の一例を示す図である。表示システムは、イベント検知情報を表示する少なくとも1つの表示装置100、複数のカメラ110、複数の映像記憶装置120、複数の解析装置130、を含む。表示装置100は、表示制御装置の一例である。
カメラ110は、例えばネットワークカメラである。映像記憶装置120は、例えばHDDである。カメラ110、映像記憶装置120は、どちらか一方の数が少なくとも1以上あればよい。カメラ110と表示装置100とはネットワークを介して接続されている。映像記憶装置120は、表示装置100に組み込まれていてもよいし、ネットワークを介して表示装置100に接続されていてもよい。解析装置130は、カメラ110又は映像記憶装置120の映像を解析する装置である。解析装置130は、カメラ110又は映像記憶装置120の情報に応じて、イベント検知情報を作成する。解析装置130の数は少なくとも1以上あればよい。解析装置130は、表示装置100とネットワークを介して接続されていてもよいし、表示装置100と一体化して構成されていてもよい。また、解析装置130は、カメラ110と一体化して構成されていてもよいし、映像記憶装置120と一体化して構成されていてもよい。
表示装置100は、カメラ110又は映像記憶装置120から取得した情報を解析装置130に送信し、解析した結果を取得する。そして表示装置100は、カメラ110又は映像記憶装置120、解析装置130から受信した情報を表示する。例えば、解析装置130は、カメラ110又は映像記憶装置120から取得した映像に基づき、画像から人物を検出し、検出した人物の位置、人物の顔の向き、及び人物間の距離、の内の少なくとも何れかに基づいて、人物同士を関連付ける。解析装置130は、関連付けの結果、他の人物と関連付けを行うことができない人物が存在した場合、イベントを検知したとしてイベント検知情報を作成する。
表示システムの主たる用途は監視業務であるため、カメラ110は数十台から数百台で使用され、カメラ110で取得した映像を表示装置100に送信する場合がある。また、カメラ110は、映像記憶装置120に映像を送信し、映像記憶装置120で取得した映像を表示装置100に送信する場合がある。また、解析装置130は、イベントの種類に応じて複数台、表示システムに接続される場合がある。カメラ110や映像記憶装置120、解析装置130の追加された数に応じて、表示装置100は複数台になる場合がある。
図2は、表示装置100のハードウェア構成の一例を示す図である。
表示装置100は、CPU201と、ROM202と、RAM203と、HDD204と、表示部205と、入力部206と、通信部207とを含む。CPU201は、ROM202に記憶された制御プログラムを読み出して各種処理を実行する。RAM203は、CPU201の主メモリ、ワークエリア等の一時記憶領域として用いられる。HDD204は、画像データや各種プログラム、各種情報を記憶する。後述する図3の表示装置100の機能構成や図4、6、8のフローチャートの処理は、CPU201がROM202又はHDD204に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。
表示部205はCPU201の制御のもと、映像のタイムラインに所定時間当たりの検知個数に応じた状態の情報やカメラ110や映像記憶装置120から取得した映像や、解析装置130から取得した単独作業検知結果等を表示する。入力部206は、キーボードやマウスを有し、ユーザによる各種操作を受け付ける。通信部207は、ネットワークを介して外部装置との通信処理を行う。カメラ110及び解析装置130のハードウェア構成は、表示装置100のハードウェア構成と同様である。但し、カメラ110は、表示装置100のハードウェア構成に加えて撮影部等を備えている。カメラ110、解析装置130の各々のCPUがカメラ110及び解析装置130の各々のメモリ等に記憶されたプログラムに基づき処理を実行することによって、カメラ110及び解析装置130の各々の機能が実現される。
表示装置100は、CPU201と、ROM202と、RAM203と、HDD204と、表示部205と、入力部206と、通信部207とを含む。CPU201は、ROM202に記憶された制御プログラムを読み出して各種処理を実行する。RAM203は、CPU201の主メモリ、ワークエリア等の一時記憶領域として用いられる。HDD204は、画像データや各種プログラム、各種情報を記憶する。後述する図3の表示装置100の機能構成や図4、6、8のフローチャートの処理は、CPU201がROM202又はHDD204に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。
表示部205はCPU201の制御のもと、映像のタイムラインに所定時間当たりの検知個数に応じた状態の情報やカメラ110や映像記憶装置120から取得した映像や、解析装置130から取得した単独作業検知結果等を表示する。入力部206は、キーボードやマウスを有し、ユーザによる各種操作を受け付ける。通信部207は、ネットワークを介して外部装置との通信処理を行う。カメラ110及び解析装置130のハードウェア構成は、表示装置100のハードウェア構成と同様である。但し、カメラ110は、表示装置100のハードウェア構成に加えて撮影部等を備えている。カメラ110、解析装置130の各々のCPUがカメラ110及び解析装置130の各々のメモリ等に記憶されたプログラムに基づき処理を実行することによって、カメラ110及び解析装置130の各々の機能が実現される。
図3は、表示装置100の機能構成の一例を示す図である。表示装置100は、機能構成として、指示受付部301と、表示処理部302と、画像記憶部303と、画像管理部304と、情報管理部305と、情報表示部306と、情報記憶部307と、を含む。指示受付部301は、入力部206を介してユーザにより入力された指示を受け付ける。表示処理部302は、表示部205への表示を制御する。画像記憶部303は、通信部207を介して各カメラ110により撮影された画像、映像記憶装置120から受信した画像の何れか又は両方をHDD204等の所定の領域に記憶する。画像管理部304は、画像記憶部303を介したHDD204等への画像の書き込みや読み出しを管理する。情報管理部305は、解析装置130で作成されたイベント検知情報を取得する。そして、情報管理部305は、情報記憶部307を介してHDD204等にイベント検知情報を書き込んだり、読み出したりする。また、情報管理部305は、カメラ110又は映像記憶装置120の情報に基づき解析装置130で解析された結果を取得し、情報表示部306を介してタイムラインにオブジェクト等を表示する。情報表示部306は、動画像のタイムラインを表示部205に表示させ、情報管理部305からの指示等に応じて、タイムラインにイベントが発生したことを示すオブジェクトを表示部205に表示させる。情報記憶部307は、情報管理部305からの指示等に応じて、イベント検知情報、オブジェクトを表示するための情報等をHDD204等の所定の領域に記憶する。以下では、説明の簡略化のため、タイムラインへの情報等の表示は、情報表示部306が処理を制御するものとして説明を行う。
<実施形態1>
以下、実施形態1による、イベント検知の一例である、2人以上で作業されていないと検知されたときの結果のうち、特に所定時間当たりに検知された個数に関する情報を情報表示部306が表示部205に表示する例を示す。
まず、イベント検知情報を取得し、情報表示部306が表示部205に表示する内容を制御する処理について、図4を用いて説明する。
S400において、情報表示部306は、画像記憶部303を介してHDD204等から新規フレームを取得する。
S401において、情報表示部306は、取得したフレームのイベント検知発生個数(2人以上で作業されていないと判定された人数)を情報管理部305等から取得する。
S402において、情報管理部305は、情報記憶部307を介してHDD204等に記憶されている前フレームのイベント検知発生個数を取得する。情報表示部306は、情報管理部305が取得した前フレームのイベント検知発生個数とS401で取得したイベント検知発生個数とを比較する。情報表示部306は、イベント検知発生個数に変化がある場合(S403/Yes)、S404に処理を進め、イベント検知発生個数に変化がない場合(S403/No)、S404の処理を行わず、S405に処理を進める。
S404において、情報表示部306は、情報管理部305にイベント検知発生個数に変化がある旨の情報を送信し、タイムライン上又はタイムライン近傍にイベント検知発生個数を表示する。ここで、タイムライン近傍とは、タイムラインから設定された距離の範囲内の領域である。
S405において、情報表示部306は、画像記憶部303を介してHDD204等の情報を参照し、処理を行ったフレームが終端フレームであるかを確認する。情報表示部306は、処理を行ったフレームが終端フレームだった場合(S405/Yes)、図4に示すフローチャートの処理を終了し、処理を行ったフレームが終端フレームではなかった場合(S405/No)、S400の処理に戻る。S400において、情報表示部306は、画像記憶部303を介してHDD204等から新規フレームを取得する。
以下、実施形態1による、イベント検知の一例である、2人以上で作業されていないと検知されたときの結果のうち、特に所定時間当たりに検知された個数に関する情報を情報表示部306が表示部205に表示する例を示す。
まず、イベント検知情報を取得し、情報表示部306が表示部205に表示する内容を制御する処理について、図4を用いて説明する。
S400において、情報表示部306は、画像記憶部303を介してHDD204等から新規フレームを取得する。
S401において、情報表示部306は、取得したフレームのイベント検知発生個数(2人以上で作業されていないと判定された人数)を情報管理部305等から取得する。
S402において、情報管理部305は、情報記憶部307を介してHDD204等に記憶されている前フレームのイベント検知発生個数を取得する。情報表示部306は、情報管理部305が取得した前フレームのイベント検知発生個数とS401で取得したイベント検知発生個数とを比較する。情報表示部306は、イベント検知発生個数に変化がある場合(S403/Yes)、S404に処理を進め、イベント検知発生個数に変化がない場合(S403/No)、S404の処理を行わず、S405に処理を進める。
S404において、情報表示部306は、情報管理部305にイベント検知発生個数に変化がある旨の情報を送信し、タイムライン上又はタイムライン近傍にイベント検知発生個数を表示する。ここで、タイムライン近傍とは、タイムラインから設定された距離の範囲内の領域である。
S405において、情報表示部306は、画像記憶部303を介してHDD204等の情報を参照し、処理を行ったフレームが終端フレームであるかを確認する。情報表示部306は、処理を行ったフレームが終端フレームだった場合(S405/Yes)、図4に示すフローチャートの処理を終了し、処理を行ったフレームが終端フレームではなかった場合(S405/No)、S400の処理に戻る。S400において、情報表示部306は、画像記憶部303を介してHDD204等から新規フレームを取得する。
以下、図5を用いて、タイムライン上又はタイムライン付近にイベント検知発生個数を表示する処理(S404)の表示方法等について説明する。画面700は表示装置100の表示部205に表示されている画面の一例である。映像701は表示部205に表示された映像の一例である。映像は、動画像の一例である。映像701は表示処理部302によって表示が制御される。表示処理部302は、映像701を、画像記憶部303を介してHDD204等より取得する。映像701は複数個表示されていてもよいし、1つだけ表示されてもよいし、表示されなくてもよい。情報702は表示処理部302が画像管理部304から取得した、映像の撮影日時の情報である。情報702は映像701と同様に複数個表示されていてもよいし、1つだけ表示されてもよいし、表示されなくてもよい。オブジェクト703はS404の処理によってタイムライン上又はタイムライン付近に表示されたイベント発生個数である。タイムライン704は情報表示部306によって表示制御される。情報表示部306は、タイムラインのイベント検知発生時刻(2人以上で作業されていないと判定された人数の変更時刻)の上部にふきだしを表示し、ふきだしの中にオブジェクト703を表示する。ふきだしを表示するのは上述の方法に限定されず、情報表示部306は、タイムラインのイベント検知発生時刻の下部であってもよく、周辺であってもよい。オブジェクト703の表示位置は、タイムラインと対応付けられる位置であればその位置は問わない。また、情報表示部306によりオブジェクト703の表示方法はふきだしでなくてもよい。情報表示部306は、オブジェクトとして、数字を示すアイコンでもよいし、数字のみを表示してもよく、イベント検知発生の数がわかればよい。
<実施形態2>
次に、実施形態2による、イベント検知の一例である、2人以上で作業されていないと検知したときの結果のうち、特に所定時間当たりに検知された頻度に関する情報を情報表示部306が表示部205に表示する例を示す。
実施形態2と実施形態1との差異は検知が発生した際の処理と表示とについてであり、この点について説明する。まず、情報表示部306で行われる処理について図6を用いて説明する。
S500において、情報表示部306は、画像記憶部303から所定期間の新規フレームを取得する。情報表示部306は、入力部206等を介してユーザによって入力された所定期間の新規フレームを取得してもよいし、HDD204等の設定ファイル等に予め設定されている所定期間の新規フレームを取得してもよい。また、情報表示部306は、画面上での最小ピクセルが表す範囲の時間を所定期間としてもよい。
そして、S501において、情報表示部306は、取得した新規フレームのイベント検知情報を、情報記憶部307を介してHDD204等から取得する。そして、情報表示部306は、取得したイベント検知情報に基づき、イベント検知発生(2人以上で作業されていないという検知の発生)があるかどうかを判定する。情報表示部306は、当該フレームにイベント検知発生がある場合(S501/Yes)、S502に処理を進め、イベント検知発生がない場合(S501/No)、S502の処理を行わず、S503に処理を進める。
S502において、情報表示部306は、イベント検知発生フレーム数(2人以上で作業されていないという検知の発生したフレーム数)を積算し、情報管理部305を介してHDD204等に記憶する。
次に、実施形態2による、イベント検知の一例である、2人以上で作業されていないと検知したときの結果のうち、特に所定時間当たりに検知された頻度に関する情報を情報表示部306が表示部205に表示する例を示す。
実施形態2と実施形態1との差異は検知が発生した際の処理と表示とについてであり、この点について説明する。まず、情報表示部306で行われる処理について図6を用いて説明する。
S500において、情報表示部306は、画像記憶部303から所定期間の新規フレームを取得する。情報表示部306は、入力部206等を介してユーザによって入力された所定期間の新規フレームを取得してもよいし、HDD204等の設定ファイル等に予め設定されている所定期間の新規フレームを取得してもよい。また、情報表示部306は、画面上での最小ピクセルが表す範囲の時間を所定期間としてもよい。
そして、S501において、情報表示部306は、取得した新規フレームのイベント検知情報を、情報記憶部307を介してHDD204等から取得する。そして、情報表示部306は、取得したイベント検知情報に基づき、イベント検知発生(2人以上で作業されていないという検知の発生)があるかどうかを判定する。情報表示部306は、当該フレームにイベント検知発生がある場合(S501/Yes)、S502に処理を進め、イベント検知発生がない場合(S501/No)、S502の処理を行わず、S503に処理を進める。
S502において、情報表示部306は、イベント検知発生フレーム数(2人以上で作業されていないという検知の発生したフレーム数)を積算し、情報管理部305を介してHDD204等に記憶する。
S503において、情報表示部306は、画像記憶部303を介してHDD204等の情報を参照し、処理を行ったフレームが所定期間終端フレームであるかを確認する。情報表示部306は、所定期間の終端フレームでなかった場合(S503/No)、S500の処理に戻る。そして、情報表示部306は、画像記憶部303を介してHDD204等から次のフレームを取得する。情報表示部306は、所定期間の終端フレームだった場合(S503/Yes)、S504に進む。
S504において、情報表示部306は、情報管理部305を介してHDD204等に記憶された積算されたフレーム数と、所定期間のフレーム数とから、イベント検知発生頻度(2人以上で作業されていないという検知の発生した頻度)を算出する。情報表示部306は、積算したイベント発生フレーム数(2人以上で作業されていないという検知の発生したフレーム数)をx、所定期間のフレーム数をyとしたとき、発生頻度z = x/yで発生頻度を算出する。
S505において、情報表示部306は、算出した発生頻度zの値と、発生頻度zの値0〜1に対応させたテクスチャ表等とを比較する。情報表示部306は、比較の結果、発生頻度zに応じたテクスチャ表のテクスチャ等でタイムライン所定期間の表示を行う。発生頻度と対応させる表はテクスチャ表でもよいし、色相表でもよいし、色濃度表であってもよい。発生頻度と対応させる表、例えば、HDD204等に記憶されているものとする。
S504において、情報表示部306は、情報管理部305を介してHDD204等に記憶された積算されたフレーム数と、所定期間のフレーム数とから、イベント検知発生頻度(2人以上で作業されていないという検知の発生した頻度)を算出する。情報表示部306は、積算したイベント発生フレーム数(2人以上で作業されていないという検知の発生したフレーム数)をx、所定期間のフレーム数をyとしたとき、発生頻度z = x/yで発生頻度を算出する。
S505において、情報表示部306は、算出した発生頻度zの値と、発生頻度zの値0〜1に対応させたテクスチャ表等とを比較する。情報表示部306は、比較の結果、発生頻度zに応じたテクスチャ表のテクスチャ等でタイムライン所定期間の表示を行う。発生頻度と対応させる表はテクスチャ表でもよいし、色相表でもよいし、色濃度表であってもよい。発生頻度と対応させる表、例えば、HDD204等に記憶されているものとする。
以下、図7を用いて発生頻度に応じた色相画像等でタイムラインの所定期間を表示する処理(S505)によって制御された情報表示部306について説明する。
画面800は表示装置100の表示部205に表示されている画面の一例を示す。映像801は表示部205に表示された映像の一例である。映像801は表示処理部302によって表示が制御される。表示処理部302は、映像801を、画像記憶部303を介してHDD204等より取得する。映像801は複数個表示されていてもよいし、1つだけ表示されてもよいし、表示されなくてもよい。情報802は表示処理部302が画像管理部304から取得した、映像の撮影日時の情報である。情報802は映像801と同様に複数個表示されていてもよいし、1つだけ表示されてもよいし、表示されなくてもよい。タイムライン803は情報表示部306によって表示制御される。タイムライン803は1以上あればよく、複数個あってもよい。表示804、805はタイムライン上にS505で表示された発生頻度に応じた表示処理の表示結果の一例である。表示804は映像801に表示されているシーンの所定期間の表示例を示す。映像801のシーンでは映像中央上部に示される2人の作業者(810、811)の距離が少し離れており、2人で作業をしていないと判定されている。しかし、次のフレームでは作業者811が身を乗り出したり、相談するために近づいたりして、作業者810と作業者811とが2人で作業をしていると判定される距離になる。このように作業者が近付いたり、離れたりする状態が継続すると、イベント検知が頻繁に、即ち所定時間当たりの予め定められた回数以上、発生する。イベント検知が頻繁に発生する場合、情報表示部306は、発生頻度に応じて、表示804を例えば薄いテクスチャとして、該当する区間のタイムライン上に表示する。情報表示部306は、作業者が一貫して1人で作業をしている場合、表示805を例えば濃いテクスチャとして、該当する区間のタイムライン上に表示する。発生頻度を示す表示は表示804、805に示すようなテクスチャでもよいし、色相でもよいし、色濃度でもよく、形式を問わない。また、情報表示部306は、タイムライン上の表示処理を変更するのではなく、該当するタイムラインの区間にテクスチャ画像や色相の画像や色濃度の画像等をかぶせて表示するようにしてもよい。
画面800は表示装置100の表示部205に表示されている画面の一例を示す。映像801は表示部205に表示された映像の一例である。映像801は表示処理部302によって表示が制御される。表示処理部302は、映像801を、画像記憶部303を介してHDD204等より取得する。映像801は複数個表示されていてもよいし、1つだけ表示されてもよいし、表示されなくてもよい。情報802は表示処理部302が画像管理部304から取得した、映像の撮影日時の情報である。情報802は映像801と同様に複数個表示されていてもよいし、1つだけ表示されてもよいし、表示されなくてもよい。タイムライン803は情報表示部306によって表示制御される。タイムライン803は1以上あればよく、複数個あってもよい。表示804、805はタイムライン上にS505で表示された発生頻度に応じた表示処理の表示結果の一例である。表示804は映像801に表示されているシーンの所定期間の表示例を示す。映像801のシーンでは映像中央上部に示される2人の作業者(810、811)の距離が少し離れており、2人で作業をしていないと判定されている。しかし、次のフレームでは作業者811が身を乗り出したり、相談するために近づいたりして、作業者810と作業者811とが2人で作業をしていると判定される距離になる。このように作業者が近付いたり、離れたりする状態が継続すると、イベント検知が頻繁に、即ち所定時間当たりの予め定められた回数以上、発生する。イベント検知が頻繁に発生する場合、情報表示部306は、発生頻度に応じて、表示804を例えば薄いテクスチャとして、該当する区間のタイムライン上に表示する。情報表示部306は、作業者が一貫して1人で作業をしている場合、表示805を例えば濃いテクスチャとして、該当する区間のタイムライン上に表示する。発生頻度を示す表示は表示804、805に示すようなテクスチャでもよいし、色相でもよいし、色濃度でもよく、形式を問わない。また、情報表示部306は、タイムライン上の表示処理を変更するのではなく、該当するタイムラインの区間にテクスチャ画像や色相の画像や色濃度の画像等をかぶせて表示するようにしてもよい。
<実施形態3>
次に、実施形態3による、イベント検知の一例である、2人以上で作業されていないと検知したときの結果のうち、特に検知対象物間の距離に関する情報を情報表示部306が表示部205に表示する例を示す。検知対象物間の距離は、イベントに関する数値の一例である。
実施形態3と実施形態1、2との差異は検知が発生した際の処理と表示とについてであり、この点について説明する。まず、情報表示部306で行われる処理について図8を用いて説明する。
S600において、情報表示部306は、画像記憶部303から新規フレームを取得する。
S601において、情報表示部306は、取得した新規フレームに対応するイベント検知情報を、情報記憶部307を介してHDD204等から取得し、イベント検知発生(2人以上で作業されていないという検知の発生)があるかどうかを判定する。情報表示部306は、当該フレームにイベント検知発生がある場合(S601/Yes)、S602に処理を進め、イベント検知発生がない場合(S601/No)、S607に処理を進める。
S602において、情報表示部306は、情報記憶部307を介してHDD204等から検知された対象(2人以上で作業していない作業者)をそれぞれ取得する。そして、情報表示部306は、情報管理部305が管理しているタイムライン情報に基づき各検知対象(2人以上で作業していない作業者)から一番近い検知対象(作業者)までの距離を示したリストを作成する。
次に、実施形態3による、イベント検知の一例である、2人以上で作業されていないと検知したときの結果のうち、特に検知対象物間の距離に関する情報を情報表示部306が表示部205に表示する例を示す。検知対象物間の距離は、イベントに関する数値の一例である。
実施形態3と実施形態1、2との差異は検知が発生した際の処理と表示とについてであり、この点について説明する。まず、情報表示部306で行われる処理について図8を用いて説明する。
S600において、情報表示部306は、画像記憶部303から新規フレームを取得する。
S601において、情報表示部306は、取得した新規フレームに対応するイベント検知情報を、情報記憶部307を介してHDD204等から取得し、イベント検知発生(2人以上で作業されていないという検知の発生)があるかどうかを判定する。情報表示部306は、当該フレームにイベント検知発生がある場合(S601/Yes)、S602に処理を進め、イベント検知発生がない場合(S601/No)、S607に処理を進める。
S602において、情報表示部306は、情報記憶部307を介してHDD204等から検知された対象(2人以上で作業していない作業者)をそれぞれ取得する。そして、情報表示部306は、情報管理部305が管理しているタイムライン情報に基づき各検知対象(2人以上で作業していない作業者)から一番近い検知対象(作業者)までの距離を示したリストを作成する。
S603において、情報表示部306は、作成したリストからリストのi番目の情報を取得する。
S604において、情報表示部306は、一定基準の距離をこえている場合、タイムライン上に距離の値を表示する。
S605において、情報表示部306は、現在参照したリストが終端であるか否かを判定する。情報表示部306は、リストが終端でない場合(S605/Yes)、S606に処理を進め、リストが終端であった場合(S605/No)、S607に処理を進める。S606において、情報表示部306は、i=i+1の処理を行う。そして、S603の処理に戻り、情報表示部306は、リストのi番目の情報を取得する。
S607において、情報表示部306は、画像記憶部303を介して取得した現在参照したフレームが終端であるかどうかを判定する。情報表示部306は、フレームが終端ではなかった場合(S607/No)、S600の処理に戻り、画像記憶部303から新規フレームを取得する。一方、情報表示部306は、フレームが終端であった場合(S607/Yes)、図8に示すフローチャートの処理を終了する。
S604において、情報表示部306は、一定基準の距離をこえている場合、タイムライン上に距離の値を表示する。
S605において、情報表示部306は、現在参照したリストが終端であるか否かを判定する。情報表示部306は、リストが終端でない場合(S605/Yes)、S606に処理を進め、リストが終端であった場合(S605/No)、S607に処理を進める。S606において、情報表示部306は、i=i+1の処理を行う。そして、S603の処理に戻り、情報表示部306は、リストのi番目の情報を取得する。
S607において、情報表示部306は、画像記憶部303を介して取得した現在参照したフレームが終端であるかどうかを判定する。情報表示部306は、フレームが終端ではなかった場合(S607/No)、S600の処理に戻り、画像記憶部303から新規フレームを取得する。一方、情報表示部306は、フレームが終端であった場合(S607/Yes)、図8に示すフローチャートの処理を終了する。
以下、図9を用いてタイムライン上に距離の値を表示する処理(S604)によって制御された情報表示部306について説明する。
画面900は表示装置100の表示部205に表示されている画面の一例を示す。映像901a、901bは表示部205に表示された映像の一例である。映像901a、901bは表示処理部302によって表示が制御される。表示処理部302は、映像901a、901bを、画像記憶部303を介してHDD204等から取得する。映像901a、901bは複数個表示されていてもよいし、1つだけ表示されてもよいし、表示されなくてもよい。情報902は表示処理部302が画像管理部304から取得した、映像の撮影日時の情報である。情報902は映像901a、901bと同様に、複数個表示されていてもよいし、1つだけ表示されてもよいし、表示されなくてもよい。タイムライン903は情報表示部306によって表示制御される。タイムライン903は1以上あればよく、複数個あってもよい。オブジェクト904、905はS604でタイムライン上にプロットされた距離の値の一例である。オブジェクト904、905では、タイムラインの縦軸方向を距離として、縦軸の最下部が情報管理部305から取得した一定基準の距離の値を示している。情報表示部306が、フレームごとに距離の値をプロットすることで、折れ線グラフのように表示した例がオブジェクト904、905である。映像901aに示したシーンは、作業者910aが入室し、画角に入ったシーンを示す。同じく、映像901bは作業者910aが室内を移動し、机に座って1人で作業をしているシーンを示す。901aから901bのシーンの間で、作業者910aは室内を移動する。そのため、他の作業者との距離が変化し、2人ペアで作業をしていないと判定された作業者910aと一番近い他の作業者との距離関係がタイムライン上にオブジェクト904、905に示すような折れ線グラフで示される。オブジェクトは、オブジェクト904、905で示した形に限らず、棒グラフのように表示してもよく、距離が判別できる表示であれば形式を問わない。また、情報表示部306は、例えば、単独作業者が複数存在する場合は、折れ線グラフ等のオブジェクトを人数分、タイムライン上に表示するようにしてもよい。
画面900は表示装置100の表示部205に表示されている画面の一例を示す。映像901a、901bは表示部205に表示された映像の一例である。映像901a、901bは表示処理部302によって表示が制御される。表示処理部302は、映像901a、901bを、画像記憶部303を介してHDD204等から取得する。映像901a、901bは複数個表示されていてもよいし、1つだけ表示されてもよいし、表示されなくてもよい。情報902は表示処理部302が画像管理部304から取得した、映像の撮影日時の情報である。情報902は映像901a、901bと同様に、複数個表示されていてもよいし、1つだけ表示されてもよいし、表示されなくてもよい。タイムライン903は情報表示部306によって表示制御される。タイムライン903は1以上あればよく、複数個あってもよい。オブジェクト904、905はS604でタイムライン上にプロットされた距離の値の一例である。オブジェクト904、905では、タイムラインの縦軸方向を距離として、縦軸の最下部が情報管理部305から取得した一定基準の距離の値を示している。情報表示部306が、フレームごとに距離の値をプロットすることで、折れ線グラフのように表示した例がオブジェクト904、905である。映像901aに示したシーンは、作業者910aが入室し、画角に入ったシーンを示す。同じく、映像901bは作業者910aが室内を移動し、机に座って1人で作業をしているシーンを示す。901aから901bのシーンの間で、作業者910aは室内を移動する。そのため、他の作業者との距離が変化し、2人ペアで作業をしていないと判定された作業者910aと一番近い他の作業者との距離関係がタイムライン上にオブジェクト904、905に示すような折れ線グラフで示される。オブジェクトは、オブジェクト904、905で示した形に限らず、棒グラフのように表示してもよく、距離が判別できる表示であれば形式を問わない。また、情報表示部306は、例えば、単独作業者が複数存在する場合は、折れ線グラフ等のオブジェクトを人数分、タイムライン上に表示するようにしてもよい。
<その他の実施形態>
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給する。そして、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給する。そして、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではない。例えば、上述した表示装置の機能構成の一部又は全てをハードウェア構成として表示装置に実装してもよい。また、上述した実施形態1、2、3をイベントの種類等に応じて、任意に組み合わせてもよいし、全て表示するようにしてもよい。
また、上述した実施形態では、イベントの一例として、前記動画像に含まれる人物のうち2人以上で作業されていない(つまり、単独で作業している)と判定された人物が検知されたことを例に説明を行ったが、これに限定されるものではない。例えば、動画像に含まれる人物のうち2人以上で作業していると判定された人物が検知されたことをイベントとしてもよい。
また、上述した実施形態では、イベントの一例として、前記動画像に含まれる人物のうち2人以上で作業されていない(つまり、単独で作業している)と判定された人物が検知されたことを例に説明を行ったが、これに限定されるものではない。例えば、動画像に含まれる人物のうち2人以上で作業していると判定された人物が検知されたことをイベントとしてもよい。
上述した各実施形態によれば、イベントが発生したときの状態を判断可能にタイムラインに表示することができる。
100 表示装置
201 CPU
204 HDD
201 CPU
204 HDD
Claims (12)
- 動画像のタイムラインを表示部に表示させる第1の表示制御手段を有し、
前記第1の表示制御手段は、前記動画像を解析して得られたイベントの発生頻度、又は、前記イベントに関する数値に応じた、前記タイムラインに前記イベントが発生したことを示す表示処理を前記表示部に実行させる表示制御装置。 - 前記イベントに関する数値とは、前記タイムラインにおける前記イベントの発生個数であり、
前記第1の表示制御手段は、前記イベントの発生個数に応じて、前記発生個数を示す数値を前記タイムラインに表示する前記表示処理を前記表示部に実行させる請求項1記載の表示制御装置。 - 前記第1の表示制御手段は、前記発生個数を示す数値を前記タイムラインの近傍に表示する前記表示処理を前記表示部に実行させる請求項2記載の表示制御装置。
- 前記イベントに関する数値とは、前記タイムラインにおける前記イベントが発生した検知対象から他の検知対象までの距離であり、
前記第1の表示制御手段は、前記距離に応じて、前記距離を示すグラフを前記タイムラインに表示する前記表示処理を前記表示部に実行させる請求項1記載の表示制御装置。 - 前記第1の表示制御手段は、前記グラフを前記タイムラインの上に、表示する前記表示処理を前記表示部に実行させる請求項4記載の表示制御装置。
- 前記第1の表示制御手段は、前記イベントの発生頻度に応じて、前記タイムラインに前記イベントが発生したことを示す、テクスチャ、又は色相、又は色濃度の異なる表示処理を前記表示部に実行させる請求項1記載の表示制御装置。
- 前記イベントとは、前記動画像に含まれる人物のうち2人以上で作業されていないと判定された人物が検知されたことをいう請求項1乃至6何れか1項記載の表示制御装置。
- 前記動画像を前記表示部に表示させる第2の表示制御手段を更に有する請求項1乃至7何れか1項記載の表示制御装置。
- 動画像のタイムラインを表示部に表示させる表示制御手段と、
前記動画像に含まれる人物の位置、人物の顔の向き、及び人物間の距離、の内の少なくとも何れかに基づいて、人物同士を関連付け、他の人物と関連付けられない人物が存在する場合はイベントとして検知する検知手段と、
を有し、
前記検知手段によって他の人物と関連付けられない人物が存在することがイベントして検知された場合、前記表示制御手段は、前記イベントの発生頻度、又は、前記イベントに関する数値に応じて、前記タイムラインに前記イベントが発生したことを示す表示処理を前記表示部に実行させるシステム。 - 動画像のタイムラインを表示する表示部に、前記動画像を解析して得られたイベントの発生頻度、又は、前記イベントに関する数値に応じた、前記タイムラインに前記イベントが発生したことを示す表示処理を実行させる表示制御工程
を有する表示制御方法。 - 動画像のタイムラインを表示部に表示させる表示制御工程と、
前記動画像に含まれる人物の位置、人物の顔の向き、及び人物間の距離、の内の少なくとも何れかに基づいて、人物同士を関連付け、他の人物と関連付けられない人物が存在する場合はイベントとして検知する検知工程と、
前記検知工程において、他の人物と関連付けられない人物が存在することをイベントして検知した場合、前記イベントの発生頻度、又は、前記イベントに関する数値に応じて、前記タイムラインに前記イベントが発生したことを示す表示処理を前記表示部に実行させる表示制御工程と
を有する表示制御方法。 - コンピュータを、請求項1乃至8何れか1項記載の表示制御装置の各手段として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016062355A JP2017175559A (ja) | 2016-03-25 | 2016-03-25 | 表示制御装置、システム、表示制御方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016062355A JP2017175559A (ja) | 2016-03-25 | 2016-03-25 | 表示制御装置、システム、表示制御方法及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2017175559A true JP2017175559A (ja) | 2017-09-28 |
Family
ID=59972252
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016062355A Pending JP2017175559A (ja) | 2016-03-25 | 2016-03-25 | 表示制御装置、システム、表示制御方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2017175559A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110625608A (zh) * | 2018-06-21 | 2019-12-31 | 卡西欧计算机株式会社 | 机器人、机器人的控制方法以及存储介质 |
-
2016
- 2016-03-25 JP JP2016062355A patent/JP2017175559A/ja active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110625608A (zh) * | 2018-06-21 | 2019-12-31 | 卡西欧计算机株式会社 | 机器人、机器人的控制方法以及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6055823B2 (ja) | 監視カメラ制御装置及び映像監視システム | |
JP6742195B2 (ja) | 情報処理装置及びその方法、コンピュータプログラム | |
US20180121739A1 (en) | Setting apparatus, output method, and non-transitory computer-readable storage medium | |
DE112016002373T5 (de) | Tracking-support-vorrichtung, tracking-support-system und tracking-support-verfahren | |
JP5319260B2 (ja) | 作業モニタリング装置 | |
US10755109B2 (en) | Monitoring system, monitoring method, and non-transitory computer-readable storage medium | |
KR101753056B1 (ko) | 표시 제어장치 및 표시방법 | |
JP6270488B2 (ja) | オペレータ監視制御装置およびオペレータ監視制御方法 | |
JP2011060058A (ja) | 撮影装置および監視システム | |
US20180204069A1 (en) | Video monitoring apparatus, method of controlling the same, computer-readable storage medium, and video monitoring system | |
EP3663969A1 (en) | Information processing apparatus, method of controlling information processing apparatus, and non-transitory computer-readable storage medium | |
JP2019200715A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP6602067B2 (ja) | 表示制御装置、表示制御方法、プログラム | |
JP4872396B2 (ja) | 画像編集装置、画像編集方法および画像編集プログラム | |
JP2023015138A (ja) | 監視カメラ管理装置、監視カメラ管理システム、監視カメラ管理方法及びプログラム | |
JP6910208B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
JP2016123004A (ja) | 撮像装置の設置支援装置、撮像装置の設置支援方法および映像記録再生装置 | |
JP2017175559A (ja) | 表示制御装置、システム、表示制御方法及びプログラム | |
JP6700706B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP6648923B2 (ja) | 制御装置、制御方法及びプログラム | |
JP7146416B2 (ja) | 情報処理装置、情報処理システム、情報処理方法、及びプログラム | |
JP6566831B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP2017028688A (ja) | 画像管理装置、画像管理方法及びプログラム | |
JP2019113976A (ja) | 動線分析システム、動線分析システムの制御方法、およびプログラム | |
JP2016220148A (ja) | 制御装置、制御方法、システム |