JP2020145652A - 連携システム、システム連携方法、および連携プログラム - Google Patents
連携システム、システム連携方法、および連携プログラム Download PDFInfo
- Publication number
- JP2020145652A JP2020145652A JP2019042671A JP2019042671A JP2020145652A JP 2020145652 A JP2020145652 A JP 2020145652A JP 2019042671 A JP2019042671 A JP 2019042671A JP 2019042671 A JP2019042671 A JP 2019042671A JP 2020145652 A JP2020145652 A JP 2020145652A
- Authority
- JP
- Japan
- Prior art keywords
- cooperation
- video
- processing
- unit
- result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Alarm Systems (AREA)
Abstract
【課題】複数のシステムを連携させる連携システムにおいて、システム連携に関するデータの演算量およびデータトラフィックの量を低減する。【解決手段】連携システムサーバ700は、撮影部により撮影された映像の映像処理結果をもとに監視を行う監視システムと、移動しながら映像を撮影する撮影機能を有する移動体の動作を管理するとともに撮影機能により撮影された映像の映像処理結果をもとに監視を行う移動体管理システムと、を連携させる。連携システムサーバ700は、監視システムおよび移動体管理システムのそれぞれから映像処理結果を取得する映像処理結果取得部702と、監視システムおよび移動体管理システムのそれぞれから取得した映像処理結果を統合することで、監視システムと移動体管理システムとの連携の統合結果を生成する連携処理結果統合部708とを有する。【選択図】図7
Description
本発明は、連携システム、システム連携方法、および連携プログラムに関する。
従来、ビルや店舗等の施設を監視する場合、監視員による巡回だけではなく、監視カメラを用いて映像を撮影、監視システムで集約し施設の状態を把握するという手段がとられている。また、監視カメラなどで撮影した映像に対して映像処理を行い、その中に映っている人物を特定する、不審な行動を検知する、映像の中に映っている物体を検出するといった手法が存在する。これにより、監視カメラで収集した映像に対して映像処理を行い、現場に人がいない状態でも、特定の人物を捜索する、不審な行動を検知するといったことが自動でできるようになってきている。
監視カメラを用いる場合は、位置が固定となっているため、あらかじめ死角が内容に設置した場合でも、パーティションといった動かすことのできる障害物によって死角が生じてしまうことがから、ロボット等の移動体を用いて監視カメラを補完するといった手法が存在している(例えば特許文献1参照)。特許文献1には、監視カメラから特定の人物を検出し、その人物がいる場所を通るように移動体の巡回経路を定め、映像の撮影を行うという技術が開示されている。
しかしながら、特許文献1に開示のような、監視カメラを用いた監視システムとロボットのような移動体を連携させた監視システムでは、あらかじめ監視システムと移動体の管理システムを連携させる前提でシステムを構築している。そのため、既存の監視システムに対して移動体管理システムを追加し、映像解析処理を連携させようとした場合、移動体管理システムと既存の監視システムとの間でデータを相互にやり取りし映像解析処理を実施することになるため、映像解析のためのデータの演算量が増大し、データトラフィックの量も増大するという問題がある。
本発明は、以上の点を考慮してなされたもので、例えば、複数のシステムを連携させる連携システムにおいて、システム連携に関するデータの演算量およびデータトラフィックの量を低減することを一つの目的とする。
かかる課題を解決するため本発明においては、例えば、連携システムは、撮影部により撮影された映像の映像処理結果をもとに監視を行う監視システムと、移動しながら映像を撮影する撮影機能を有する移動体の動作を管理するとともに該撮影機能により撮影された映像の映像処理結果をもとに監視を行う移動体管理システムと、を連携させる。連携システムは、前記監視システムおよび前記移動体管理システムのそれぞれから映像処理結果を取得する映像処理結果取得部と、前記監視システムおよび前記移動体管理システムのそれぞれから取得した映像処理結果を統合することで、前記監視システムと前記移動体管理システムとの連携の統合結果を生成する連携処理結果統合部とを有する。
本発明によれば、例えば、複数のシステムを連携させる連携システムにおいて、システム連携に関するデータの演算量およびデータトラフィックの量を低減することができる。
以下、図面に基づき、本発明の実施例を詳述する。なお、以下の説明により本発明が限定されるものではない。
本明細書における各図面は一例を示すものである。本明細書において、各図面の同一参照番号は、同一あるいは類似の構成または処理を示し、後出の実施例の説明では前出の実施例との差分のみを説明し、後出の説明が省略される場合がある。また、各実施例および各変形例は、本発明の技術思想の範囲内かつ整合する範囲内で一部または全部を組合せることができる。
以下の実施例で説明する各種情報は、テーブル形式に限定されず、適切な各種データ形式にて、揮発性または不揮発性の記憶装置の所定の記憶領域に格納される。
以下の実施例では、監視カメラを用いた施設の監視システムと、サービスロボットのような移動体を制御する移動体管理システムとの連携方法を例示する。しかし、本発明はこれに限定されず、それぞれの処理結果を統合することで情報を補完または拡張することができる複数のシステムの連携にも適用可能である。
<連携システムの概要>
図1は、実施例の監視システムと移動体管理システムとを連携させたシステムの概要構成の一例を示す図である。図1を参照して、本実施例に係る連携システムについて説明する。本実施例では、監視カメラを用いた既存の監視システムの人物差分検出処理に、ロボットシステムの異物検知処理を追加し、これらのシステムを連携システムにより連携させ、遺失物(落とし物)の落とし主を特定する例を説明する。ただし、連携させる内容はこれに限られるものではない。また、本実施例では、移動体としてサービスロボットを用いるが、これに限られるものではない。
図1は、実施例の監視システムと移動体管理システムとを連携させたシステムの概要構成の一例を示す図である。図1を参照して、本実施例に係る連携システムについて説明する。本実施例では、監視カメラを用いた既存の監視システムの人物差分検出処理に、ロボットシステムの異物検知処理を追加し、これらのシステムを連携システムにより連携させ、遺失物(落とし物)の落とし主を特定する例を説明する。ただし、連携させる内容はこれに限られるものではない。また、本実施例では、移動体としてサービスロボットを用いるが、これに限られるものではない。
図1は、ビルや商業施設といったテナント100があり、そこに複数の監視カメラ101−1〜101−n、複数の移動体102−1〜102−nが存在する概要を示す図である。これらがネットワーク110を介して、監視システムサーバ500、移動体管理サーバ600aと相互に接続される。監視システムは、監視システムサーバ500および監視カメラ101−1〜101−nを含む。移動体システムは、移動体管理サーバ600aおよび移動体102−1〜102−nを含む。また、連携システムサーバがネットワークを介して監視システムサーバ500、移動体管理サーバ600aと相互に接続される。
<連携システムの構成>
図2は、実施例の監視システムと移動体管理システムとを連携させたシステムの構成の一例を示す図である。図2は、図1と同様に、ビルや商業施設といったテナント100があり、テナント100の中に複数の監視カメラ201−1〜201−n、複数のロボット400−1〜400−nが存在していることを示している。監視システムは、監視システムサーバ500および監視カメラ201−1〜201−nを含む。ロボットシステムは、ロボットシステムサーバ600およびロボット400−1〜400−nを含む。
図2は、実施例の監視システムと移動体管理システムとを連携させたシステムの構成の一例を示す図である。図2は、図1と同様に、ビルや商業施設といったテナント100があり、テナント100の中に複数の監視カメラ201−1〜201−n、複数のロボット400−1〜400−nが存在していることを示している。監視システムは、監視システムサーバ500および監視カメラ201−1〜201−nを含む。ロボットシステムは、ロボットシステムサーバ600およびロボット400−1〜400−nを含む。
監視カメラ201−1〜201−nは、映像を蓄積するレコーダ300が接続されている。レコーダ300は、ルータ210を介してネットワーク110と接続されている。監視システムサーバ500は、ネットワーク110、ルータ210を介してレコーダ300と接続されている。ロボット400−1〜ロボット400−nは、ルータ220を介してネットワーク110と接続されている。ロボットシステムサーバ600は、ネットワーク110、ルータ220を介してロボット400−1〜ロボット400−nと接続されている。連携システムサーバ700は、ネットワーク110を介して監視システムサーバ500、ロボットシステムサーバ600と接続されている。
<レコーダの構成>
図3は、レコーダの構成の一例を示す図である。レコーダ300は、通信インターフェース部301を有し、通信インターフェース部301を介して監視カメラ201−1〜201−n(nは所定の正整数)、ルータ210と接続している。レコーダ300は、監視カメラ201−1〜201−nから映像を取得する映像取得部302と、取得した映像を保存する映像保存部303を有し、映像保存部303に映像情報307として蓄積する。また、レコーダ300は、ネットワーク110を介して監視システムサーバ500から映像取得処理の実行指示を受け付ける映像取得処理受付部304と、映像保存部303に保存されている映像情報307から指定された映像を読み出す映像取得処理部305と、映像保存部303から取得した映像を監視システムサーバ500に送信する映像送信部306を有する。
図3は、レコーダの構成の一例を示す図である。レコーダ300は、通信インターフェース部301を有し、通信インターフェース部301を介して監視カメラ201−1〜201−n(nは所定の正整数)、ルータ210と接続している。レコーダ300は、監視カメラ201−1〜201−nから映像を取得する映像取得部302と、取得した映像を保存する映像保存部303を有し、映像保存部303に映像情報307として蓄積する。また、レコーダ300は、ネットワーク110を介して監視システムサーバ500から映像取得処理の実行指示を受け付ける映像取得処理受付部304と、映像保存部303に保存されている映像情報307から指定された映像を読み出す映像取得処理部305と、映像保存部303から取得した映像を監視システムサーバ500に送信する映像送信部306を有する。
<ロボットの構成>
図4は、ロボットの構成の一例を示す図である。図4は、ロボット400−1〜400−nの構成図を示す。ロボット400−1〜400−nは同じ構成であり、ここでは代表してロボット400−1の構成を説明する。
図4は、ロボットの構成の一例を示す図である。図4は、ロボット400−1〜400−nの構成図を示す。ロボット400−1〜400−nは同じ構成であり、ここでは代表してロボット400−1の構成を説明する。
ロボット400−1は内部の通信インターフェース部401を介してルータ220と接続されている。ロボット400−1は、カメラ402で映像を取得し、マイク403で音声を取得し、データ送信部407によりネットワーク110を介して、取得した映像および音声をロボットシステムサーバ600に送信する。また、この際、取得された映像は、映像情報408に蓄積され、取得された音声は音声情報409に蓄積される。
ロボット400−1は、ネットワーク110を介してロボットシステムサーバ600からの動作指示を動作指示受付部404で受信し、受信した指示を動作指示解析部405で解析し、動作指示の解析結果に応じてロボット動作制御部406でロボットを操作する。
<監視システムサーバの構成>
図5は、監視システムサーバの構成の一例を示す図である。監視システムサーバ500は、通信インターフェース部501を介してネットワーク110と接続され、レコーダ300、連携システムサーバ700と通信を行う。監視システムサーバ500は、映像取得制御部503からの指示によりレコーダ300に映像取得処理指示を送信し、映像受信部502で映像取得処理指示に応じた映像を受信し、受信した映像を取得映像情報515として保存する。
図5は、監視システムサーバの構成の一例を示す図である。監視システムサーバ500は、通信インターフェース部501を介してネットワーク110と接続され、レコーダ300、連携システムサーバ700と通信を行う。監視システムサーバ500は、映像取得制御部503からの指示によりレコーダ300に映像取得処理指示を送信し、映像受信部502で映像取得処理指示に応じた映像を受信し、受信した映像を取得映像情報515として保存する。
監視システムサーバ500は、画面生成部507により、取得映像情報515、映像処理結果情報511、連携処理統合結果情報512をもとに所定の画面を生成し、画面出力部508によって出力装置514に、生成した所定の画面を出力する。
また、監視システムサーバ500は、映像解析処理として、ある地点の映像と別の地点の映像で映っている特定の人物に対してその人物が持っている物の差分を出力する人物差分検出処理部504と、映像に映っている人物の年齢、性別、服装を出力する人物特徴量抽出処理部505と、映像に映っている物体を検出する物体検出処理部506と有する。監視システムサーバ500は、人物差分検出処理部504、人物特徴量抽出処理部505、および物体検出処理部506の各処理結果を映像処理結果情報511として保存する。
タスク受付部509は入力装置513ないし、ネットワーク110を介した映像取得処理依頼、映像解析処理依頼、画面生成依頼、処理結果保存依頼を受け付け、タスク制御部510で前記の処理を実行する。また、監視システムサーバ500はタスク受付部509で連携システムサーバ700から受信した連携処理統合結果情報テーブル1400を連携処理統合結果情報512として保存している。
また、監視システムサーバ500は、監視システムサーバ500が管理する監視カメラ201−1〜201−nに関する情報を登録している監視カメラ情報テーブル800と、テナント地図情報900とを有する。また、監視システムサーバ500は、通信インターフェース部501を介して、入力装置513と出力装置514とが接続されている。
<ロボットシステムサーバの構成>
図6は、ロボットシステムサーバの構成の一例を示す図である。ロボットシステムサーバ600は、通信インターフェース部601を介してネットワーク110と接続され、ロボット400−1〜400−n、連携システムサーバ700と通信を行う。
図6は、ロボットシステムサーバの構成の一例を示す図である。ロボットシステムサーバ600は、通信インターフェース部601を介してネットワーク110と接続され、ロボット400−1〜400−n、連携システムサーバ700と通信を行う。
ロボットシステムサーバ600は、ロボット400−1〜400−nにより取得された映像を映像受信部602で受信し、取得映像情報616として保存する。同様に、ロボットシステムサーバ600は、ロボット400−1〜400−nにより取得された音声を音声受信部603で受信し、取得音声情報617として保存する。
ロボット動作指示生成部606は、ロボット映像処理部604からの対面者有無の情報、ロボット音声対話処理部605からの取得音声のテキスト化情報、ロボット400−1〜400−nの動作の流れを定義したロボット動作定義部612、ロボット400−1〜400−nへの音声入力に対して応答する内容を定義しているロボット対話定義部613の情報から、次にロボット400−1〜400−nに実行させる動作指示を生成する。そして、ロボット動作指示生成部606は、ロボット動作指示送信部607によりロボット400−1〜400−nに対して動作指示を送信する。
ロボットシステムサーバ600は、映像解析処理として、過去に撮影した映像に映っていなかった物体を検知する異物検知処理部608と、映像内に映っている物体を検出する物体検出処理部609とを有する。ロボットシステムサーバ600は、映像解析処理結果を映像処理結果情報614として保存する。なお、映像解析の実行有無は、ロボット動作定義部612に記述されている。
タスク受付部610は、入力装置618またはネットワーク110を介して、ロボット動作指示もしくは映像解析処理の指示を受け付ける。タスク制御部611は、タスク受付部610で受け付けたロボット動作指示もしくは映像解析処理の指示に応じた処理を実行する。
また、ロボットシステムサーバ600は、テナント地図情報900と、ロボット400−1〜400−nの稼働情報を管理するロボット情報テーブル1000とを有する。また、ロボットシステムサーバ600は、通信インターフェース部601を介して、入力装置618と出力装置619とが接続されている。
<連携システムサーバの構成>
図7は、連携システムサーバの構成の一例を示す図である。連携システムサーバ700は、通信インターフェース部701を通してネットワーク110と接続され、監視システムサーバ500、ロボットシステムサーバ600と通信を行う。
図7は、連携システムサーバの構成の一例を示す図である。連携システムサーバ700は、通信インターフェース部701を通してネットワーク110と接続され、監視システムサーバ500、ロボットシステムサーバ600と通信を行う。
映像処理結果取得部702は、定期的に監視システムサーバ500、ロボットシステムサーバ600から映像処理結果情報511、映像処理結果情報614を取得し、映像処理結果情報709として保存する。
連携処理判定部703は、映像処理結果情報709をもとに連携処理を実施するか判断を行う。連携処理依頼生成部704は、連携処理を行う場合に、監視システムサーバ500、ロボットシステムサーバ600に送信する処理依頼を生成する。連携処理依頼送信部705は、連携処理依頼を監視システムサーバ500、ロボットシステムサーバ600に送信する。連携処理依頼制御部706は、連携処理依頼を送信した連携処理情報710を管理し、映像処理結果取得部702が取得した映像処理結果情報709をもとに連携処理が終了したかを確認する。
連携処理結果統合部708は、連携処理依頼を行った結果である映像処理結果情報709を統合して、監視システムと移動体管理システムとの連携の統合結果を生成し、連携処理統合結果情報712として保存する。連携処理統合結果送信部713は、連携処理統合結果情報712を監視システムサーバ500へ送信する。
また、連携システムサーバ700は、監視システムサーバ500に接続されている監視カメラ201−1〜201−nに関する情報を含む監視カメラ情報テーブル800と、テナント地図情報900を有する。また、連携システムサーバ700は、通信インターフェース部701を介して、入力装置716と出力装置717とが接続されている。
<監視カメラ情報テーブル>
図8は、監視カメラ情報テーブルの一例を示す図である。以下において、監視カメラ201−1〜201−nを区別せずに、監視カメラ201と総称する場合がある。監視カメラ情報テーブル800が有するカラムのうち、カメラID801は、監視カメラ201を表すユニークなIDである。また、設置位置座標802は、当該監視カメラ201が設置されているテナント地図情報900上の位置座標を表す。また、撮影方向803は、当該監視カメラ201の撮影方向がいずれの方向を向いているかを、基準方向に対する角度情報を表す。
図8は、監視カメラ情報テーブルの一例を示す図である。以下において、監視カメラ201−1〜201−nを区別せずに、監視カメラ201と総称する場合がある。監視カメラ情報テーブル800が有するカラムのうち、カメラID801は、監視カメラ201を表すユニークなIDである。また、設置位置座標802は、当該監視カメラ201が設置されているテナント地図情報900上の位置座標を表す。また、撮影方向803は、当該監視カメラ201の撮影方向がいずれの方向を向いているかを、基準方向に対する角度情報を表す。
<テナント地図情報>
図9は、テナント地図情報の一例を示す図である。テナント地図情報900は、当該テナント内の設備の配置位置を示し、位置ごとに図9に示す当該テナントのXY平面視における2次元座標(X,Y)で表される形式となっている。図9の中では、例えば、左下隅が原点(0,0)であり、星印地点の座標が(1,1)である場合を例示している。
図9は、テナント地図情報の一例を示す図である。テナント地図情報900は、当該テナント内の設備の配置位置を示し、位置ごとに図9に示す当該テナントのXY平面視における2次元座標(X,Y)で表される形式となっている。図9の中では、例えば、左下隅が原点(0,0)であり、星印地点の座標が(1,1)である場合を例示している。
<ロボット情報テーブル>
図10は、ロボット情報テーブルの一例を示す図である。以下において、ロボット400−1〜400−nを区別しない場合として、ロボット400と称す。ロボット情報テーブル1000が有するカラムのうち、ロボットID1001は個別のロボット400を識別するユニークなIDであり、現在位置1002は当該ロボット400のテナント地図情報900上の現在位置の座標を表す。また、実行中動作指示1003は、当該ロボット400が現在実施中のタスクを表す。
図10は、ロボット情報テーブルの一例を示す図である。以下において、ロボット400−1〜400−nを区別しない場合として、ロボット400と称す。ロボット情報テーブル1000が有するカラムのうち、ロボットID1001は個別のロボット400を識別するユニークなIDであり、現在位置1002は当該ロボット400のテナント地図情報900上の現在位置の座標を表す。また、実行中動作指示1003は、当該ロボット400が現在実施中のタスクを表す。
<人物差分検出結果情報テーブル>
図11は、人物差分検出結果情報テーブルの一例を示す図である。人物差分検出結果情報テーブル1100は、映像処理結果情報511として人物差分検出処理部504から出力された処理結果を保存するテーブルである。
図11は、人物差分検出結果情報テーブルの一例を示す図である。人物差分検出結果情報テーブル1100は、映像処理結果情報511として人物差分検出処理部504から出力された処理結果を保存するテーブルである。
人物差分検出結果情報テーブル1100が有するカラムのうち、ID1101は人物差分検出処理部504から出力された処理結果ごとのユニークなIDを表す。また、開始時刻1102は、人物差分検出処理部504が行った差分検出対象の映像の開始時刻を表す。また、終了時刻1103は、人物差分検出処理部504が行った差分検出対象の映像の終了時刻を表す。
また、人物特徴量1104は、人物差分検出処理部504が行った差分検出対象の映像から抽出した人物特徴量である年齢、性別、服装等の特徴量を表す。また、始点カメラ1105は、人物差分検出処理部504が人物差分検出処理を行った対象の映像を取得開始した監視カメラのカメラIDを表す。また、終点カメラ1106は、人物差分検出処理部504が人物差分検出処理を行った対象の映像を取得終了した監視カメラのカメラIDを表す。また、差分物体1107は、人物差分検出処理部504による人物差分検出処理で検知された、差分検出対象の人物が所持または身に着ける等の、対象差分物体の名称を表す。
<異物検知結果情報テーブル>
図12は、異物検知結果情報テーブルの一例を示す図である。異物検知結果情報テーブル1200は、映像処理結果情報614として異物検知処理部608から出力された結果を保存するテーブルである。異物検知結果情報テーブル1200が有するカラムのうち、ID1201は、処理結果ごとのユニークなIDを表す。また、比較時刻1202は、異物検知時に比較を行った2つの時間帯の映像のうちの過去の映像の時刻を表す。また、検知時刻1203は、異物検知処理により異物検知がされた時刻を表す。また、位置1204は、異物を検知したテナント地図情報900上の座標位置を表す。また、検知物体1205は、異物検知で検知された検知物体の名称を表す。
図12は、異物検知結果情報テーブルの一例を示す図である。異物検知結果情報テーブル1200は、映像処理結果情報614として異物検知処理部608から出力された結果を保存するテーブルである。異物検知結果情報テーブル1200が有するカラムのうち、ID1201は、処理結果ごとのユニークなIDを表す。また、比較時刻1202は、異物検知時に比較を行った2つの時間帯の映像のうちの過去の映像の時刻を表す。また、検知時刻1203は、異物検知処理により異物検知がされた時刻を表す。また、位置1204は、異物を検知したテナント地図情報900上の座標位置を表す。また、検知物体1205は、異物検知で検知された検知物体の名称を表す。
<連携処理情報テーブル>
図13は、連携処理情報テーブルの一例を示す図である。連携処理情報テーブル1300は、連携処理情報710を保存するテーブルである。連携処理情報テーブル1300が有するカラムのうち、ID1301は、連携処理ごとのユニークなIDを表す。また、対象1302は、連携処理依頼を送信したシステムの名称を表す。また、依頼時刻1303は、連携処理依頼が送信された時刻を表す。また、連携情報ID1304は、連携処理依頼を生成した映像処理結果情報709のID1101(図11参照)またはID1201(図12参照)を表す。また、ステータス1305は、処理待ち、処理中、処理終了等の連携処理依頼の処理の進行状況を示すステータスを表す。
図13は、連携処理情報テーブルの一例を示す図である。連携処理情報テーブル1300は、連携処理情報710を保存するテーブルである。連携処理情報テーブル1300が有するカラムのうち、ID1301は、連携処理ごとのユニークなIDを表す。また、対象1302は、連携処理依頼を送信したシステムの名称を表す。また、依頼時刻1303は、連携処理依頼が送信された時刻を表す。また、連携情報ID1304は、連携処理依頼を生成した映像処理結果情報709のID1101(図11参照)またはID1201(図12参照)を表す。また、ステータス1305は、処理待ち、処理中、処理終了等の連携処理依頼の処理の進行状況を示すステータスを表す。
<連携処理統合結果情報テーブル>
図14は、連携処理統合結果情報テーブルの一例を示す図である。連携処理統合結果情報テーブル1400は、連携処理統合結果情報712を保存するテーブルである。本実施例では、監視システムサーバ500の人物差分検出処理結果と、ロボットシステムサーバ600の異物検知処理結果とを統合することで、落とし物と、落とし主情報とを統合した情報を生成する例を示す。
図14は、連携処理統合結果情報テーブルの一例を示す図である。連携処理統合結果情報テーブル1400は、連携処理統合結果情報712を保存するテーブルである。本実施例では、監視システムサーバ500の人物差分検出処理結果と、ロボットシステムサーバ600の異物検知処理結果とを統合することで、落とし物と、落とし主情報とを統合した情報を生成する例を示す。
連携処理統合結果情報テーブル1400が有するカラムのうち、ID1401は、連携する処理ごとのユニークなIDを表す。また、時刻1402は、人物差分検出結果情報テーブル1100から得られる落とし主が落とし物をしたと考えられる時刻を表す。また、人物特徴量1403は、人物差分検出結果情報テーブル1100から得られる落とし物をしたと考えられる人物の特徴量を表す。また、位置1404は、異物検知結果情報テーブル1200から得られる落とし物が発見されたテナント地図情報900上の位置座標を表す。また、物体1405は、落とし物として発見された物体の名称を表す。
<監視システムを用いた監視処理>
図15は、実施例の監視システムを用いた監視処理の一例を示すフローチャートである。本処理は、監視を行う間にわたって継続実行される。
図15は、実施例の監視システムを用いた監視処理の一例を示すフローチャートである。本処理は、監視を行う間にわたって継続実行される。
図15は、監視カメラ201−1〜201−n、レコーダ300、監視システムサーバ500を用いて監視を行う際のフローチャートを示す図である。
図15に示すフローチャートは、レコーダ300が実行するフロー1500−1と、監視システムサーバ500が実行するフロー1500−2とを含む。フロー1500−1は、ステップS151−1〜S153−1を含み、フロー1500−2は、ステップS151−2〜S158−2を含む。
先ず、フロー1500−1のステップS151−1では、レコーダ300の映像取得部302は、監視カメラ201−1〜201−nから映像を取得し、レコーダ300の映像保存部303で映像情報307として保存する。
他方、フロー1500−2のステップS151−2では、監視システムサーバ500のタスク受付部509は、入力装置513を介して監視員等により入力されたカメラID、時間帯、映像解析処理の有無等の指定を受け付ける。
ステップS151−2に続いてステップS152−2では、監視システムサーバ500のタスク制御部510は、タスク受付部509から、入力装置513を介して入力されたカメラID、時間帯、映像解析の有無等の指定を含む映像取得依頼を受信する。そして、タスク制御部510は、映像取得制御部503を介して、受信した映像取得依頼をテナント100上のレコーダ300に対して送信する。
フロー1500−1のステップS152−1では、レコーダ300の映像取得処理受付部304は、監視システムサーバ500から映像取得依頼を受信し、受信した映像取得依頼を映像取得処理部305に送信する。
ステップS152−1に続いてステップS153−1では、レコーダ300の映像取得処理部305は、映像取得依頼で指定されたカメラIDおよび時間帯の映像を、映像保存部303に保存されている映像情報307から取得し、映像送信部306を介して監視システムサーバ500に送信する。
フロー1500−2のステップS153−2では、監視システムサーバ500の映像受信部502は、レコーダ300から受信した映像を、取得映像情報515として保存する。ステップS153−2に続いてステップS154−2では、監視システムサーバ500の人物特徴量抽出処理部505は、映像解析を実行するか否かを確認する。人物特徴量抽出処理部505は、映像解析を実行する場合(ステップS154−2Yes)にステップS155−2に処理を移し、映像解析を実行しない場合(ステップS154−2No)にステップS157−2に処理を移す。
ステップS155−2では、人物差分検出処理部504、人物特徴量抽出処理部505、および物体検出処理部506は、図17を参照して後述する人物差分検出処理1700を実施する。ステップS155−2に続いてステップS156−2では、人物差分検出処理部504は、人物差分検出処理1700の結果を映像処理結果情報511として保存する。
ステップS156−2に続いてステップS157−2では、監視システムサーバ500の画面生成部507は、ステップS153−2で取得された映像を、ステップS156−2で保存された映像処理結果情報511が存在すればその情報とともに出力する画面を生成する。ステップS157−2に続いてステップS158−2では、画面出力部508は、ステップS157−2で生成された画面を出力装置514に出力する。
<ロボットシステムサーバを用いたロボット管理処理>
図16は、実施例のロボットシステムサーバを用いたロボット管理処理の一例を示すフローチャートである。本処理は、監視を行う間にわたって継続実行される。
図16は、実施例のロボットシステムサーバを用いたロボット管理処理の一例を示すフローチャートである。本処理は、監視を行う間にわたって継続実行される。
図16は、ロボットシステムサーバ600でロボット400−1を動作させる際のフローチャートを示す図である。ロボット400−1〜400−nは、図16に示すフローで同様に動作している。よって、図16の説明では、ロボット400−1を代表させて説明する。
図16に示すフローチャートは、ロボット400−1が実行するフロー1600−1と、ロボットシステムサーバ600が実行するフロー1600−2とを含む。フロー1600−1は、ステップS161−1〜S165−1を含み、フロー1600−2は、ステップS161−2〜S168−2を含む。
先ず、フロー1600−1のステップS161−1では、ロボット400−1は、カメラ402から映像を取得して映像情報408として保存し、マイク403から音声を取得して音声情報409として保存する。ステップS161−1に続いてステップS162−1では、ロボット400−1のデータ送信部407は、映像情報408および音声情報409をロボットシステムサーバ600に送信する。
他方、フロー1600−2のステップS161−2では、ロボットシステムサーバ600の映像受信部602は、ロボット400−1からの映像を取得して取得映像情報616として保存する。また、ロボットシステムサーバ600の音声受信部603は、ロボット400−1からの音声を取得して取得音声情報617として保存する。
ステップS161−2に続いてステップS162−2では、ロボットシステムサーバ600のロボット映像処理部604は、取得映像情報616からロボット400−1の動作指示生成に必要な対面者有無を生成し、ロボット動作指示生成部606に送信する。
ステップS162−2に続いてステップS163−2では、ロボット音声対話処理部605は、取得音声情報617からロボット400−1が取得した音声をテキストに変換した音声対話処理結果情報615を生成し、ロボット動作指示生成部606に送信する。
ステップS163−2に続いてステップS164−2では、異物検知処理部608は、ロボット動作定義部612に記述された映像解析実行の有無を判定する。異物検知処理部608は、映像解析実行が有りの場合(ステップS164−2Yes)、ステップS165−2に処理を移し、映像解析実行が無しの場合(ステップS164−2No)、ステップS167−2に処理を移す。
ステップS165−2では、異物検知処理部608および物体検出処理部609は、図18を参照して後述する異物検知処理1800を実行する。ステップS165−2に続いてステップS166−2では、異物検知処理部608は、ステップS165−2での異物検知処理結果を映像処理結果情報614として保存する。
ステップS166−2に続いてステップS165−2では、ロボット動作指示生成部606は、ロボット映像処理部604の処理結果、ロボット音声対話処理部605の処理結果、ロボット動作定義部612の情報、およびロボット対話定義部613の情報をもとにロボット動作指示を決定し、生成する。
ステップS167−2に続いてステップS168−2では、ロボット動作指示送信部607は、ステップS167−2で生成されたロボット動作指示をロボット400−1に送信する。
他方、フロー1600−1のステップS163−1では、ロボット400−1の動作指示受付部404は、ロボットシステムサーバ600からのロボット動作指示を受信する。ステップS163−1に続いてステップS164−1では、動作指示解析部405は、ステップS163−1で受信したロボット動作指示をロボット400−1が実行可能な形式に変換する。ステップS164−1に続いてステップS165−1では、ロボット動作制御部406は、実行可能な形式に変換されたロボット動作指示を動作指示解析部405から受信し、受信したロボット動作指示に従ってロボット400−1の動作を実行および制御する。
<人物差分検出処理>
図17は、人物差分検出処理の一例をフローチャートである。人物差分検出処理1700は、ある監視カメラ201に映った人物と、別の監視カメラ201に映った人物が同一人物あるかどうか判定し、同一の人物であれば、その人物の持ち物に変化があったか否かを判定する処理である。
図17は、人物差分検出処理の一例をフローチャートである。人物差分検出処理1700は、ある監視カメラ201に映った人物と、別の監視カメラ201に映った人物が同一人物あるかどうか判定し、同一の人物であれば、その人物の持ち物に変化があったか否かを判定する処理である。
先ず、ステップS1701では、人物差分検出処理部504は、映像上に映る人物の中から人物差分検出処理を実行する人物を監視者の指示もしくはシステムの自動抽出による選択を受け付ける。人物の選択については、監視カメラ201に一番近い人物といった条件や、物体検出処理部506によって検出できる特定の物品を所持している人物を指定してもよい。
続いて、ステップS1702では、人物特徴量抽出処理部505は、ステップS1701で選択された人物の年齢層、性別、服装等を人物特徴量として抽出する。続いて、ステップS1703では、人物特徴量抽出処理部505は、監視カメラ情報テーブル800およびテナント地図情報900の情報をもとに、人物特徴量抽出を行った映像を撮影した監視カメラ201に隣接する周辺の監視カメラ201の映像を取得する。
続いて、ステップS1704では、人物特徴量抽出処理部505は、ステップS1703で取得した映像からステップS1702で取得した人物特徴量に一致する人物を探索し、一致度が最も高かった人物を同一人物と判定し、この人物が映っている映像を抽出する。
続いて、ステップS1705では、人物差分検出処理部504は、ステップS1704で同一人物と判定された人物が映っている映像の時刻を確認し、ステップS151−1(図15参照)で監視者が設定した時間帯を超えているか否かを判定する。人物差分検出処理部504は、監視者が設定した時間帯を超えている場合(ステップS1705Yes)、ステップS1706に処理を移し、監視者が設定した時間帯を超えていない場合(ステップS1705No)、ステップS1703に処理を戻す。処理を戻したステップS1703では、人物差分検出処理部504は、同一人物を検出した監視カメラ201を中心にして再度処理を実行する。
ステップS1706では、物体検出処理部506は、ステップS1701で選択された人物の所持物と、ステップS1704で最終的に検出された人物の所持物とを検出する。続いて、ステップS1707では、物体検出処理部506は、ステップS1701で選択された人物の所持物と、ステップS1704で最終的に検出された人物の所持物とを比較する。
続いて、ステップS1708では、物体検出処理部506は、ステップS1707の比較結果に差分があれば、当該人物に落とし物があったと判定する。そして、物体検出処理部506は、ステップS1701で選択した人物の映像を取得した監視カメラ201のカメラIDとその映像の時刻、ステップS1704で最終的に検出した人物の映像を取得した監視カメラ201のカメラIDとその映像の時刻、ステップS1702で抽出した人物特徴量、差分として検出された物体の名称等を人物差分検出結果として、人物差分検出結果情報テーブル1100に出力する。
<異物検知処理>
図18は、異物検知処理の一例を示すフローチャートである。異物検知処理1800の説明においても、ロボット400−1を代表させて説明する。異物検知処理1800は、ロボット400−1が移動しながら取得した映像から、過去に撮影した映像に映っていなかった物体を検知する処理である。
図18は、異物検知処理の一例を示すフローチャートである。異物検知処理1800の説明においても、ロボット400−1を代表させて説明する。異物検知処理1800は、ロボット400−1が移動しながら取得した映像から、過去に撮影した映像に映っていなかった物体を検知する処理である。
先ず、ステップS1801では、異物検知処理部608は、ロボット400−1が現在位置する地点と同一の地点において、ロボット400−1により過去に撮影された映像を取得する。
続いて、ステップS1802では、物体検出処理部609は、現在映像と過去映像の双方を用いて、映像に映る物体を検出する。現在映像とは、同一地点において撮影された現在の映像であり、過去映像とは、同一地点において撮影された過去の映像である。続いて、ステップS1803では、物体検出処理部609は、ステップS1802による物体検出の結果から人物等を削除する。これにより、撮影タイミングによって常に変化する情報を除外する。
続いて、ステップS1804では、物体検出処理部609は、ステップS1802で検出した物体情報を比較し、差分を抽出する。続いて、ステップS1805では、物体検出処理部609は、ステップS1804の処理結果に含まれる差分を異物と判定し、映像上で異物が発見された時刻、異物が発見された座標位置、および異物の名称を、異物検知結果情報テーブル1200に出力する。
<連携システムサーバを用いたシステム間連携処理>
図19は、実施例の連携システムサーバを用いたシステム間連携処理の一例を示すフローチャートである。システム間連携処理1900は、図15および図16で示した監視システムとロボットシステムを連携システムサーバ700で連携させる際のフローチャートを示す。本処理は、連携の必要性が生じたときに実行される。または、本処理は、オペレーターの指示を契機として実行されてもよい。
図19は、実施例の連携システムサーバを用いたシステム間連携処理の一例を示すフローチャートである。システム間連携処理1900は、図15および図16で示した監視システムとロボットシステムを連携システムサーバ700で連携させる際のフローチャートを示す。本処理は、連携の必要性が生じたときに実行される。または、本処理は、オペレーターの指示を契機として実行されてもよい。
先ず、ステップS1901では、連携システムサーバ700の映像処理結果取得部702は、監視システムサーバ500の映像処理結果情報511、およびロボットシステムサーバ600の映像処理結果情報614から、それぞれの映像処理結果情報を定期的に取得し、映像処理結果情報709に保存する。
続いて、ステップS1902では、連携処理判定部703は、映像処理結果情報709において、監視システムサーバ500の映像処理結果情報511とロボットシステムサーバ600の映像処理結果情報614との連携処理が必要か判定する。連携処理判定部703は、連携処理が必要の場合(ステップS1902Yes)にステップS1903に処理を移し、連携処理が必要の場合(ステップS1902No)にステップS1901に処理を戻す。
ステップS1902の処理を具体的に説明する。例えば、連携処理判定部703に予め連携処理統合結果情報テーブル1400(図14参照)の項目を登録しておき、映像処理結果情報709に含まれる情報と連携処理統合結果情報テーブル1400の項目を比較する。比較の結果、情報が空白のために取得が必要となる連携処理統合結果情報712の項目を抽出する。この抽出された項目が、監視システムサーバ500の人物差分検出処理1700、またはロボットシステムサーバ600の異物検知処理1800により取得可能であり、その結果として、連携処理統合結果情報テーブル1400による映像処理結果情報709の拡張が可能である場合、連携処理が必要であると判定する。
図11、図12、および図14のテーブル例に連携処理の必要性判定について説明する。例えば、初めに取得された映像処理結果情報709が、ID1101が“A001”である人物差分検出結果情報テーブル1100のレコードであったとする。この人物差分検出結果情報テーブル1100のレコードと、連携処理統合結果情報テーブル1400の項目を比較した場合、位置1404の項目が空白となる。ロボットシステムサーバ600の異物検知処理1800により物体の位置検出が可能なため、連携処理が必要だと判定される。
また、例えば、初めに取得されたれた映像処理結果情報709が、IDが“B001”である異物検知結果情報テーブル1200のレコードであった場合も同様に、物体を落とした時刻1402、落と主の人物特徴量1403が空白となる。監視システムサーバ500の人物差分検出処理1700により情報の取得ができるため、連携が必要だと判定される。
続いて、ステップS1903では、連携処理判定部703は、ステップS1902で連携が必要と判定された映像処理結果情報709が、監視システムサーバ500から取得された映像処理結果情報、およびロボットシステムサーバ600から取得された映像処理結果情報のいずれであるかを判定する。連携処理判定部703は、監視システムサーバ500から取得された映像処理結果情報である場合(ステップS1903Yes)にステップS1904に処理を移し、ロボットシステムサーバ600から取得された映像処理結果情報である場合(ステップS1903No)にステップS1911に処理を移す。
ステップS1904では、連携処理判定部703は、監視システムサーバ500から取得された映像処理結果情報と連携可能な、ロボットシステムサーバ600から取得された映像処理結果情報が、映像処理結果情報709に格納済か否かを判定する。連携処理判定部703は、ロボットシステムサーバ600から取得された連携可能な映像処理結果情報が映像処理結果情報709に格納済である場合(ステップS1904Yes)にステップS1909に処理を移し、格納されていない場合(ステップS1904No)にステップS1905に処理を移す。
ステップS1905では、連携処理依頼生成部704は、映像処理結果情報709に含まれる始点カメラ1105、および終点カメラ1106の情報と、監視カメラ情報テーブル800、およびテナント地図情報900に基づいて、ロボット400−1〜400−nによる映像取得範囲を決定する。映像取得範囲が決定されることで、連携処理のための映像を適切に取得できる。
続いて、ステップS1906では、連携処理依頼生成部704は、ステップS1905で生成された映像取得範囲および映像処理結果情報709に含まれる差分物体1107の情報をもとに、ロボット400−1〜400−nへ異物検知を行う連携依頼処理を生成する。
続いて、ステップS1907では、連携処理依頼送信部705は、ステップS1906で生成された異物検知を行う連携処理依頼を、ロボットシステムサーバ600のタスク受付部610へ送信する。連携処理依頼送信部705は、送信した連携処理依頼を、連携処理の管理ログである連携処理情報テーブル1300に登録する。
続いて、ステップS1908では、連携処理依頼制御部706は、ステップS1901で定期的に取得される映像処理結果情報709を確認し、連携処理情報710の連携情報ID1304に対応する処理結果が得られているか否かに基づいて、該当の連携情報ID1304に対応する連携処理依頼が完了しているか否かを判定する。この判定は、ステップS1902と同様に、連携処理統合結果情報テーブル1400の項目を比較することで行われる。連携処理依頼制御部706は、処理結果が得られている場合(ステップS1908Yes)にステップS1909に処理を移し、処理結果が得られていない場合(ステップS1908No)にステップS1908を繰り返す。
以上のステップS1904〜S1908は、映像処理結果情報709が監視システムで検出された映像処理結果情報511である場合に、この映像処理結果情報511をもとに連携処理統合結果情報テーブル1400の各カラムを埋める際に不足する情報を、ロボットシステムで検出された映像処理結果情報614から取得するものである。
ステップS1909では、連携処理結果統合部708は、連携元の映像処理結果と連携処理依頼によって得られた映像処理結果とを統合し、連携処理統合結果情報712として保存する。なお、ステップS1909では、連携処理結果統合部708は、ステップS1904で連携可能な映像処理結果が存在する(ステップS1904Yes)と判定された場合には、連携元の映像処理結果と、連携可能な映像処理結果とを統合し、連携処理統合結果情報712として保存する。
続いて、ステップS1910では、連携処理統合結果送信部713は、ステップS1909による連携処理統合結果情報712を、監視システムサーバ500へ送信する。
他方、ステップS1911では、連携処理依頼生成部704は、ステップS1903による判定結果がロボットシステムサーバ600から取得された映像処理結果情報であったため、映像処理結果情報709に含まれる物体を発見した位置1204と、監視カメラ情報テーブル800およびテナント地図情報900をもとにして、対象の人物が通った可能性がある位置1204を映像取得範囲とする監視カメラ201を選定する。監視カメラ201が選定されることで映像取得範囲が決定されるので、連携処理のための映像を適切に取得できる。
続いて、ステップS1912では、連携処理依頼生成部704は、ステップS1911にて選定した監視カメラ201のカメラID801、映像処理結果情報709に含まれる比較時刻1202、検知時刻1203、および検知物体1205をもとに、連携処理依頼を生成する。この時、連携処理依頼は、比較時刻1202、および検知時刻1203を、人物差分検出処理1700(図17参照)を実施する時間帯に設定し、ステップS1701で選択する人物を、検知物体1205を所持する人物とする指定を行う。
続いて、ステップS1913では、連携処理依頼送信部705は、ステップS1912で生成された物体検出を行う連携処理依頼を、監視システムサーバ500のタスク受付部509へ送信する。連携処理依頼送信部705は、送信した連携処理依頼を、連携処理の管理ログである連携処理情報テーブル1300に登録する。
続いて、ステップS1914では、連携処理依頼制御部706は、ステップS1908と同様に、連携処理情報710の連携情報ID1304に対応する処理結果が得られているか否かに基づいて、該当の連携情報ID1304に対応する連携処理依頼が完了しているか否かを判定する。連携処理依頼制御部706は、処理結果が得られている場合(ステップS1914Yes)にステップS1909に処理を移し、処理結果が得られていない場合(ステップS1914No)にステップS1914を繰り返す。
以上のステップS1911〜S1914は、映像処理結果情報709がロボットシステムで検出された映像処理結果情報614である場合に、この映像処理結果情報614をもとに連携処理統合結果情報テーブル1400の各カラムを埋める際に不足する情報を、監視システムで検出された映像処理結果情報511から取得するものである。
<監視システムのモニタ表示画面>
図20は、実施例の監視システムのモニタ表示画面の一例を示す図である。監視システム出力画面2000は、監視システムが出力するウィンドウ全体を示す。画面2001は、レコーダ300から映像を取得する際に必要な情報を入力するための画面である。ステップS151−2(図15参照)で入力される情報である。画面2001には、カメラID、映像を取得する開始時刻から終了時刻までを指定した時間帯、映像解析処理の有無、映像解析時の人物指定条件等を入力することができる。
図20は、実施例の監視システムのモニタ表示画面の一例を示す図である。監視システム出力画面2000は、監視システムが出力するウィンドウ全体を示す。画面2001は、レコーダ300から映像を取得する際に必要な情報を入力するための画面である。ステップS151−2(図15参照)で入力される情報である。画面2001には、カメラID、映像を取得する開始時刻から終了時刻までを指定した時間帯、映像解析処理の有無、映像解析時の人物指定条件等を入力することができる。
画面2002は、画面2001から入力された取得条件に該当する、監視カメラ201またはロボット400による映像を表示する画面である。例えば、画面2002には、差分検出対象の開始時刻と終了時刻の各映像を並べて表示し、これらの映像の差分に現れる落とし主が遺失した遺失物とその遺失場所の座標位置等を明示するようにしてもよい。
画面2003は、映像解析処理の結果が表示される。画面2004は、連携処理統合結果として、落とし物情報が表示されている。画面2004には、ロボットシステムと連携することで得られた落とし物位置情報が出力される。このように表示することで、監視システムとロボットシステムとの連携結果を視覚的に認識させることができる。
<実施例の効果>
以上のように、連携システムを介して、監視システムとロボットシステムの各システムにおける処理結果を送受信することで、処理結果を算出する際に基礎となるデータの送受信を行わずにこれらのシステムを連携し、システム間のデータトラフィックの量を削減できる。また、各システムで得られた映像処理結果をもとに連携処理に必要な情報を生成することで、映像取得および映像処理を行う対象時間および対象空間の範囲を削減することができるので、連携対象の各システムおよび連携システムにおける処理量および演算量を削減することができる。
以上のように、連携システムを介して、監視システムとロボットシステムの各システムにおける処理結果を送受信することで、処理結果を算出する際に基礎となるデータの送受信を行わずにこれらのシステムを連携し、システム間のデータトラフィックの量を削減できる。また、各システムで得られた映像処理結果をもとに連携処理に必要な情報を生成することで、映像取得および映像処理を行う対象時間および対象空間の範囲を削減することができるので、連携対象の各システムおよび連携システムにおける処理量および演算量を削減することができる。
また、本実施例のように、既存の監視システムが外部から連携処理の実行依頼および連携に必要なデータを受け付けることで、既存の監視システムの構成を大幅に変更することなく、監視システムとロボットシステムの連携処理が実現可能となる。
<監視システムサーバ、ロボットシステムサーバ、連携システムサーバを実現するコンピュータ>
図21は、監視システムサーバ、ロボットシステムサーバ、連携システムサーバを実現するコンピュータの一例を示す図である。監視システムサーバ500、ロボットシステムサーバ600、連携システムサーバ700をそれぞれ実現するコンピュータ5000は、CPU(Central Processing Unit)に代表される演算装置5300、RAM(Random Access Memory)等のメモリ5400、入力装置5600(例えばキーボード、マウス、タッチパネル等)、および出力装置5700(例えば外部ディスプレイモニタに接続されたビデオグラフィックカード)が、メモリコントローラ5500を通して相互接続される。
図21は、監視システムサーバ、ロボットシステムサーバ、連携システムサーバを実現するコンピュータの一例を示す図である。監視システムサーバ500、ロボットシステムサーバ600、連携システムサーバ700をそれぞれ実現するコンピュータ5000は、CPU(Central Processing Unit)に代表される演算装置5300、RAM(Random Access Memory)等のメモリ5400、入力装置5600(例えばキーボード、マウス、タッチパネル等)、および出力装置5700(例えば外部ディスプレイモニタに接続されたビデオグラフィックカード)が、メモリコントローラ5500を通して相互接続される。
コンピュータ5000において、監視システムサーバ500、ロボットシステムサーバ600、連携システムサーバ700をそれぞれ実現するための各プログラムがI/O(Input/Output)コントローラ5200を介してSSDやHDD等の外部記憶装置5800から読み出されて、演算装置5300およびメモリ5400の協働により実行されることにより、監視システムサーバ500、ロボットシステムサーバ600、連携システムサーバ700のそれぞれが実現される。
あるいは、監視システムサーバ500、ロボットシステムサーバ600、連携システムサーバ700のそれぞれを実現するための各プログラムは、ネットワークインターフェース5100を介した通信により外部のコンピュータから取得されてもよい。あるいは、監視システムサーバ500、ロボットシステムサーバ600、連携システムサーバ700のそれぞれを実現するための各プログラムは、可搬型記憶媒体に記憶されて頒布され、この可搬型媒体から読み出されて演算装置5300およびメモリ5400の協働により実行されてもよい。
本発明は上記した実施例に限定されるものではなく、様々な変形例を含む。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加や、削除、置換、統合、もしくは分散をすることが可能である。また実施例で示した各処理は、処理効率あるいは実装効率に基づいて適宜分散または統合してもよい。
100:テナント、201−1〜201−n:監視カメラ、300:レコーダ、400−1〜400−n:ロボット、500:監視システムサーバ、600:ロボットシステムサーバ、700:連携システムサーバ、702:映像処理結果取得部、703:連携処理判定部、704:連携処理依頼生成部、705:連携処理依頼送信部、706:連携処理依頼制御部、708:連携処理結果統合部、800:監視カメラ情報テーブル、900:テナント地図情報、1000:ロボット情報テーブル、1100:人物差分検出結果情報テーブル、1200:異物検知結果情報テーブル、1300:連携処理情報テーブル、1400:連携処理統合結果情報テーブル、2000:監視システム出力画面
Claims (10)
- 撮影部により撮影された映像の映像処理結果をもとに監視を行う監視システムと、移動しながら映像を撮影する撮影機能を有する移動体の動作を管理するとともに該撮影機能により撮影された映像の映像処理結果をもとに監視を行う移動体管理システムと、を連携させる連携システムであって、
前記監視システムおよび前記移動体管理システムのそれぞれから映像処理結果を取得する映像処理結果取得部と、
前記監視システムおよび前記移動体管理システムのそれぞれから取得した映像処理結果を統合することで、前記監視システムと前記移動体管理システムとの連携の統合結果を生成する連携処理結果統合部と
を有することを特徴とする連携システム。 - 前記監視システムおよび前記移動体管理システムのそれぞれから取得した映像処理結果をもとに、前記監視システムと前記移動体管理システムとの連携処理を行うか否かを判定する連携処理判定部と、
前記連携処理を行うと判定された場合に、前記監視システムおよび前記移動体管理システムのそれぞれから取得した映像処理結果に基づいて、前記監視システムと前記移動体管理システムとの連携を、前記監視システムまたは前記移動体管理システムのいずれかを依頼先として依頼する連携処理依頼を生成する連携処理依頼生成部と、
前記連携処理依頼生成部により生成された連携処理依頼を、前記依頼先に送信する連携処理依頼送信部と
を有し、
前記連携処理結果統合部は、前記連携処理依頼に応じた連携処理結果である、前記依頼先による新たに撮影された映像の映像処理結果をもとに前記統合結果を生成する
ことを特徴とする請求項1に記載の連携システム。 - 前記連携処理判定部は、前記監視システムから取得した第1の映像処理結果および前記連携システムから取得した第2の映像処理結果をもとに、前記連携処理を行うか否かを判定し、
前記連携処理依頼生成部は、前記連携処理を行うと判定された場合に、前記第1の映像処理結果および前記第2の映像処理結果に基づいて、前記連携処理を前記監視システムに依頼する第1の連携処理依頼を生成し、
前記連携処理依頼送信部は、前記第1の連携処理依頼を前記監視システムに送信し、
前記連携処理結果統合部は、前記第1の連携処理依頼に応じた前記監視システムによる新たに撮影された映像の第3の映像処理結果を、前記第2の映像処理結果と統合して前記統合結果を生成する
ことを特徴とする請求項2に記載の連携システム。 - 前記連携処理判定部は、前記監視システムから取得した第1の映像処理結果および前記連携システムから取得した第2の映像処理結果をもとに、前記連携処理を行うか否かを判定し、
前記連携処理依頼生成部は、前記連携処理を行うと判定された場合に、前記第1の映像処理結果および前記第2の映像処理結果に基づいて、前記連携処理を前記移動体管理システムに依頼する第2の連携処理依頼を生成し、
前記連携処理依頼送信部は、前記第2の連携処理依頼を前記移動体管理システムに送信し、
前記連携処理結果統合部は、前記第2の連携処理依頼に応じた前記移動体管理システムによる新たに撮影された映像の第4の映像処理結果を、前記第1の映像処理結果と統合して前記統合結果を生成する
ことを特徴とする請求項2に記載の連携システム。 - 前記連携処理判定部は、
前記統合結果に含める項目に基づいて、前記取得した映像処理結果をもとに前記連携処理を行うか否かを判定することを特徴とする請求項2に記載の連携システム。 - 前記連携処理依頼は、前記依頼先による映像取得範囲を含むことを特徴とする請求項2に記載の連携システム。
- 前記連携処理依頼生成部は、
前記連携処理を行うと判定された場合であっても、連携可能な映像処理結果が既に存在するときには前記連携処理依頼を生成せず、
前記連携処理結果統合部は、
前記連携可能な映像処理結果をもとに前記統合結果を生成することを特徴とする請求項2に記載の連携システム。 - 前記統合結果を表示部に表示することを特徴とする請求項2に記載の連携システム。
- 撮影部により撮影された映像の映像処理結果をもとに監視を行う監視システムと、移動しながら映像を撮影する撮影機能を有する移動体の動作を管理するとともに該撮影機能により撮影された映像の映像処理結果をもとに監視を行う移動体管理システムと、を連携させる連携システムが行うシステム連携方法であって、
前記連携システムの映像処理結果取得部が、前記監視システムおよび前記連携システムのそれぞれから映像処理結果を取得し、
前記連携システムの連携処理結果統合部が、前記監視システムおよび前記連携システムのそれぞれから取得した映像処理結果を統合することで、前記監視システムと前記移動体管理システムとの連携の統合結果を生成する
各処理を含んだことを特徴とするシステム連携方法。 - 撮影部により撮影された映像の映像処理結果をもとに監視を行う監視システムと、移動しながら映像を撮影する撮影機能を有する移動体の動作を管理するとともに該撮影機能により撮影された映像の映像処理結果をもとに監視を行う移動体管理システムと、を連携させる連携プログラムにおいて、
コンピュータを、
前記監視システムおよび前記移動体管理システムのそれぞれから映像処理結果を取得する映像処理結果取得部と、
前記監視システムおよび前記移動体管理システムのそれぞれから取得した映像処理結果を統合することで、前記監視システムと前記移動体管理システムとの連携の統合結果を生成する連携処理結果統合部と
して機能させるための連携プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019042671A JP2020145652A (ja) | 2019-03-08 | 2019-03-08 | 連携システム、システム連携方法、および連携プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019042671A JP2020145652A (ja) | 2019-03-08 | 2019-03-08 | 連携システム、システム連携方法、および連携プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2020145652A true JP2020145652A (ja) | 2020-09-10 |
Family
ID=72354605
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019042671A Pending JP2020145652A (ja) | 2019-03-08 | 2019-03-08 | 連携システム、システム連携方法、および連携プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2020145652A (ja) |
-
2019
- 2019-03-08 JP JP2019042671A patent/JP2020145652A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Geraldes et al. | UAV-based situational awareness system using deep learning | |
CN103260009B (zh) | 影像监视装置、监视系统及监视系统构建方法 | |
Luo et al. | Combining deep features and activity context to improve recognition of activities of workers in groups | |
US11178386B2 (en) | Automated spatial indexing of images to video | |
JP2018032950A (ja) | 情報処理装置及びその方法、コンピュータプログラム | |
US20200242541A1 (en) | Information processing system, information processing apparatus, information processing method, and information processing program | |
AU2020254129A1 (en) | Determining position of an image capture device | |
Moßgraber et al. | An architecture for a task-oriented surveillance system: A service-and event-based approach | |
CN113010805B (zh) | 指标数据的处理方法、装置、设备及存储介质 | |
Kang et al. | Managing construction schedule by telepresence: Integration of site video feed with an active nD CAD simulation | |
JP2024012472A (ja) | 監視対象識別装置、監視対象識別システム、および、監視対象識別方法 | |
RU2013143472A (ru) | Распределенная архитектура системы видеомониторинга леса | |
JPWO2018189845A1 (ja) | 作業管理システム及び作業管理方法 | |
Kim et al. | Graph neural network-based propagation effects modeling for detecting visual relationships among construction resources | |
US20140372907A1 (en) | Gesture-based construction project collaboration system | |
CN104050241A (zh) | 远程操作接受系统、远程操作系统及程序 | |
CN114079801A (zh) | 按需将元数据叠加到视频流上以进行智能视频分析 | |
Pennisi et al. | Multi-robot surveillance through a distributed sensor network | |
JP2020145652A (ja) | 連携システム、システム連携方法、および連携プログラム | |
CN115696169A (zh) | 一种mes生产管理系统的数据获取方法 | |
JP2017027246A (ja) | 監視システム及び監視方法 | |
D'Auria et al. | Sarri: A smart rapiro robot integrating a framework for automatic high-level surveillance event detection | |
WO2022059223A1 (ja) | 映像解析システムおよび映像解析方法 | |
JP4853487B2 (ja) | 位置検出システム及び位置検出プログラム | |
KR101332820B1 (ko) | 객체 추적 시스템 및 방법, 객체관리장치 및 그 장치의 구동방법, 촬영장치 및 그 장치의 구동방법 |