JP2019022021A - モニタリングシステム - Google Patents

モニタリングシステム Download PDF

Info

Publication number
JP2019022021A
JP2019022021A JP2017137273A JP2017137273A JP2019022021A JP 2019022021 A JP2019022021 A JP 2019022021A JP 2017137273 A JP2017137273 A JP 2017137273A JP 2017137273 A JP2017137273 A JP 2017137273A JP 2019022021 A JP2019022021 A JP 2019022021A
Authority
JP
Japan
Prior art keywords
monitoring device
monitoring
data
alternative
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017137273A
Other languages
English (en)
Inventor
幸司 岡田
Koji Okada
幸司 岡田
健介 住友
Kensuke Sumitomo
健介 住友
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MegaChips Corp
Original Assignee
MegaChips Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MegaChips Corp filed Critical MegaChips Corp
Priority to JP2017137273A priority Critical patent/JP2019022021A/ja
Publication of JP2019022021A publication Critical patent/JP2019022021A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Burglar Alarm Systems (AREA)
  • Alarm Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】モニタリング装置を交換した場合であっても、交換前と同じ条件でモニタリングを継続することができる技術を提供することを課題とする。【解決手段】映像記録装置R1は、モニタリング装置M−1が有する特徴を記録する特徴データを含む管理データ57を保持する。特徴データ取得部562は、モニタリング装置M−4がモニタリング装置M−1の代替装置の候補として検出された場合、モニタリング装置M−4が有する特徴を記録する特徴データ34を取得する。判断部563は、モニタリング装置M−1,M−4の特徴データに基づいて、モニタリング装置M−4を代替装置として使用できるか否かを判断する。モニタリング装置M−4を代替装置として使用できる場合、更新部564は、モニタリング装置M−4を管理対象に含めるように管理データ57を更新する。【選択図】図4

Description

本発明は、モニタリングシステムに関し、さらに詳しくは、モニタリング装置と、モニタリング装置を管理する管理装置とを備えるモニタリングシステムに関する。
従来から、施設に対する不正侵入を防止するために、モニタリングシステムが施設内に導入されている。例えば、モニタリングシステムは、複数のモニタリング装置と、複数のモニタリング装置が取得した監視データを収集するサーバとを備える。モニタリング装置は、例えば、カメラである。特許文献1には、複数の監視カメラにより撮影された複数の映像を1つの画面に表示するために、複数の映像を合成する監視用テレビジョン装置が開示されている。
モニタリング装置が故障した場合、モニタリング装置の代替装置を用いてモニタリングを継続する必要がある。しかし、代替装置が、故障したモニタリング装置がモニタリングで使用している特徴を有していない場合、モニタリング装置が故障する前と同じモニタリング条件でモニタリングを継続することができないという問題がある。
特開平9−247650号公報
本発明の目的は、モニタリング装置を他のモニタリング装置に交換した場合であっても、モニタリング装置の交換前と同じモニタリング条件でモニタリングを継続することができるモニタリングシステムを提供することである。
上記課題を解決するため、請求項1記載の発明は、モニタリングシステムであって、所定の位置に設置された第1モニタリング装置と、前記第1モニタリング装置の識別データと、前記第1モニタリング装置が有する特徴を記録する第1特徴データとを対応付けた管理データを用いて、前記第1モニタリング装置を管理する管理装置と、を備え、前記管理装置は、前記第1モニタリング装置の代わりとなる代替装置の候補を探索する探索部と、第2モニタリング装置が前記代替装置の候補として前記探索部により検出された場合、前記第2モニタリング装置が有する特徴を記録する第2特徴データを取得する特徴データ取得部と、前記第1特徴データと前記第2特徴データとに基づいて、前記第2モニタリング装置を前記代替装置として使用できるか否かを判断する判断部と、前記判断部が前記第2モニタリング装置を前記代替装置として使用できると判断した場合、前記第1モニタリング装置の代替装置として前記第2モニタリング装置を管理対象に含めるように前記管理データを更新する更新部と、を備える。
請求項2記載の発明は、請求項1に記載のモニタリングシステムであって、前記第1特徴データは、前記第1モニタリング装置が元来有する特徴のうち、モニタリングで用いられている特徴を記録した使用中特徴データ、を含み、前記第2特徴データは、前記第2モニタリング装置が元来有する特徴を記録した固有特徴データ、を含み、前記判断部は、前記使用中特徴データと前記固有特徴データとに基づいて、前記第2モニタリング装置を前記代替装置として使用できるか否かを判断する。
請求項3記載の発明は、請求項1又は請求項2に記載のモニタリングシステムであって、前記管理装置は、さらに、前記判断部が前記第2モニタリング装置を前記代替装置として使用できると判断した場合、前記第1モニタリング装置についての設定データを取得して前記第2モニタリング装置に送信する装置管理部、を備える。
請求項4記載の発明は、請求項1ないし請求項3のいずれかに記載のモニタリングシステムであって、さらに、前記第2モニタリング装置と接続される通信端末、を備え、前記通信端末は、前記第2モニタリング装置の撮像状態を特定するアシスト情報をリアルタイムで前記第2モニタリング装置から受信するリアルタイム受信部と、前記第1モニタリング装置により予め生成され、前記所定の位置に設置された前記第1モニタリング装置の撮像状態を特定する参照データを取得する参照データ取得部と、前記アシスト情報と前記参照データとを用いて、前記第2のモニタリング装置の撮像状態を調整するためのアシスト画面を表示する調整アシスト部と、を備える。
請求項5記載の発明は、請求項4に記載のモニタリング装置であって、前記アシスト情報は、前記第2モニタリング装置により撮影された画像データ、を含み、前記参照データは、前記所定の位置に設定された前記第1モニタリング装置により予め撮影された参照画像データ、を含む。
請求項6記載の発明は、請求項5に記載のモニタリングシステムであって、前記第1モニタリング装置及び第2モニタリング装置の各々は、加速度センサ、を備え、前記アシスト情報は、前記第2モニタリング装置の加速度センサにより検出された加速度、を含み、前記参照データは、前記第1モニタリング装置の加速度センサにより検出された加速度である参照加速度データ、を含み、前記調整アシスト部は、前記参照加速度データと、前記第2モニタリング装置の加速度センサにより検出された加速度とに基づいて、前記第2モニタリング装置の上下方向の向きが適切か否かを判断し、その判断結果を前記アシスト画面に反映させる。
請求項7記載の発明は、請求項1ないし請求項3のいずれかに記載のモニタリングシステムであって、さらに、前記第2モニタリング装置は、前記第1モニタリング装置により予め生成され、前記所定の位置に設置された前記第1モニタリング装置の撮像状態を特定する参照データを取得する参照データ取得部と、前記参照データと前記第2モニタリング装置の撮像状態を特定するアシスト情報とを用いて、前記第2モニタリング装置の撮影方向及び画角を調整するためのアシスト画面を表示する調整アシスト部と、を備える
請求項8に記載の発明は、請求項7に記載のモニタリングシステムであって、前記アシスト情報は、前記第2モニタリング装置により撮影された画像データ、を含み、前記参照データは、前記所定の位置に設定された前記第1モニタリング装置により予め撮影された参照画像データ、を含む。
請求項9記載の発明は、請求項8に記載のモニタリングシステムであって、前記第1モニタリング装置及び第2モニタリング装置の各々は、加速度センサ、を備え、前記アシスト情報は、前記第2モニタリング装置の加速度センサにより検出された加速度、を含み、前記参照データは、前記第1モニタリング装置の加速度センサにより検出された加速度である参照加速度データ、を含み、前記調整アシスト部は、前記参照加速度データと、前記第2モニタリング装置の加速度センサにより検出された加速度とに基づいて、前記第2モニタリング装置の上下方向の向きが適切か否かを判断し、その判断結果を前記アシスト画面に反映させる。
請求項10記載の発明は、請求項1ないし請求項9のいずれかに記載のモニタリングシステムであって、前記管理装置と前記第2モニタリング装置とは、パブリッシュ・サブスクライブ方式の通信プロトコルを用いて通信を行う。
請求項11記載の発明は、請求項4ないし請求項6のいずれかに記載のモニタリングシステムであって、前記第2モニタリング装置と前記通信端末とは、パブリッシュ・サブスクライブ方式の通信プロトコルを用いて通信を行う。
請求項12記載の発明は、所定の位置に設置された第1モニタリング装置と接続された管理装置であって、前記第1モニタリング装置の識別データと、前記第1モニタリング装置が有する特徴を記録する第1特徴データとを対応付けた管理データを用いて、前記第1モニタリング装置を管理する管理部と、前記第1モニタリング装置の代わりとなる代替装置の候補を探索する探索部と、第2モニタリング装置が前記代替装置の候補として前記探索部により検出された場合、前記第2モニタリング装置が有する特徴を記録する第2特徴データを取得する特徴データ取得部と、前記第1特徴データと前記第2特徴データとに基づいて、前記第2モニタリング装置を前記代替装置として使用できるか否かを判断する判断部と、前記判断部が前記第2モニタリング装置を前記代替装置として使用できると判断した場合、前記第1モニタリング装置の代替装置として前記第2モニタリング装置が管理対象に含めるように、前記管理データを更新する更新部と、を備える。
請求項13記載の発明は、所定の位置に設置された第1モニタリング装置の代わりに用いられる代替用モニタリング装置であって、前記第1モニタリング装置が有する特徴を記録する第1特徴データを取得する特徴データ取得部と、取得した前記第1特徴データと、前記代替用モニタリング装置が有する特徴を記録した第2特徴データとに基づいて、前記代替用モニタリング装置が前記第1モニタリング装置の代替装置として動作できるか否かを判断する判断部と、を備える。
請求項14記載の発明は、請求項13に記載の代替用モニタリング装置であって、前記第1特徴データは、前記第1モニタリング装置が元来有する特徴のうち、モニタリングで用いられている特徴を記録した使用中特徴データ、を含み、前記第2特徴データは、前記代替用モニタリング装置が元来有する特徴を記録した固有特徴データ、を含み、前記判断部は、前記使用中特徴データと前記固有特徴データとに基づいて、前記代替用モニタリング装置が前記代替装置として動作できるか否かを判断する。
請求項15記載の発明は、請求項13又は請求項14に記載の代替用モニタリング装置であって、さらに、前記代替用モニタリング装置が前記代替装置として動作できると前記判断部が判断した場合、前記第1モニタリング装置についての設定ファイルを取得し、取得した前記設定ファイルに基づいて前記代替用モニタリング装置のモニタリング条件を変更する動作管理部、を備える。
請求項16記載の発明は、請求項13ないし請求項14のいずれかに記載の代替用モニタリング装置であって、さらに、前記第1モニタリング装置の撮像状態を特定する参照データと、前記代替用モニタリング装置から送信されるアシスト情報とに基づいて、前記代替用モニタリング装置の撮像状態を調整するためのアシスト画面を表示する通信端末に、前記アシスト情報を送信するアシスト情報送信部、を備える。
請求項17記載の発明は、請求項16に記載の代替用モニタリング装置であって、前記アシスト情報は、前記代替用モニタリング装置により撮影された画像データ、を含み、前記参照データは、前記所定の位置に設定された前記第1モニタリング装置により予め撮影された参照画像データ、を含む。
請求項18記載の発明は、請求項16又は請求項17に記載の代替用モニタリング装置であって、さらに、加速度センサ、を備え、前記アシスト情報は、前記加速度センサにより検出された加速度、を含み、前記参照データは、前記第1モニタリング装置により検出された加速度である参照加速度データ、を含む。
請求項19記載の発明は、請求項13ないし請求項15のいずれかに記載の代替用モニタリング装置であって、さらに、前記第1モニタリング装置により予め生成され、前記所定の位置に設置された前記第1モニタリング装置の撮像状態を特定する参照データを取得する参照データ取得部と、前記参照データと前記代替用モニタリング装置の撮像状態を特定するアシスト情報とを用いて、前記代替用モニタリング装置の撮影方向及び画角を調整するためのアシスト画面を表示する調整アシスト部と、を備える。
請求項20記載の発明は、請求項19に記載の代替用モニタリング装置であって、前記アシスト情報は、前記代替用モニタリング装置により撮影された画像データ、を含み、前記参照データは、前記所定の位置に設定された前記第1モニタリング装置により予め撮影された参照画像データ、を含む。
請求項21記載の発明は、請求項19又は請求項20に記載の代替用モニタリング装置であって、さらに、加速度センサ、を備え、前記アシスト情報は、前記加速度センサにより検出された加速度、を含み、前記参照データは、前記第1モニタリング装置により検出された加速度である参照加速度データ、を含み、前記調整アシスト部は、前記参照加速度データと、前記加速度センサにより検出された加速度とに基づいて、前記代替用モニタリング装置の上下方向の向きが適切か否かを判断し、その判断結果を前記アシスト画面に反映させる。
本発明によれば、モニタリング装置を他のモニタリング装置に交換した場合であっても、モニタリング装置の交換前と同じモニタリング条件でモニタリングを継続することができる。
本発明の第1の実施の形態に係るモニタリングシステムの構成を示す図である。 図1に示すネットワークに接続されたモニタリング装置の構成を示す機能ブロック図である。 図2に示すモニタリング装置が故障した場合に用いられるモニタリング装置の構成を示す機能ブロック図である。 図1に示す映像記録装置の構成を示す機能ブロック図である。 図1に示す通信端末の構成を示す機能ブロック図である。 図4に示す管理データの一例を示す図である。 図6に示す固有特徴データ及び使用中特徴データの具体例を示す図である。 図1に示すモニタリング装置がライブ用映像データを送信する場合におけるモニタリングシステムの動作を示すシーケンス図である。 図1に示すモニタリング装置が記録用映像データを送信する場合におけるモニタリングシステムの動作を示すシーケンス図である。 図1に示すモニタリング装置及び映像記録装置が互いに動作確認を行う場合におけるモニタリングシステムの動作を示すシーケンス図である。 図1に示すモニタリング装置を交換する場合におけるモニタリングシステムの動作を示すシーケンス図である。 図11に示すステップS413以降のモニタリングシステムの動作を示すシーケンス図である。 図1に示すモニタリング装置で異常が発生した場合における管理データを示す図である。 図1に示すモニタリングシステムにおいて新たなモニタリング装置が接続された場合における管理データの内容を示す図である。 図1に示すモニタリングシステムにおいて故障したモニタリング装置の代替装置が決定された場合における管理データの内容を示す図である。 図1に示すモニタリングシステムにおいて故障したモニタリング装置の代替装置がモニタリングを開始した場合における管理データの内容を示す図である。 図1に示す通信端末の動作を示すフローチャートである。 図1に示す通信端末のタッチパネルに表示されるアシスト画面の一例を示す図である。 本発明の第2の実施の形態に係るモニタリングシステムの構成を示す図である。 図19に示すネットワークに接続されたモニタリング装置が故障した場合に用いられるモニタリング装置の構成を示す機能ブロック図である。 図19に示す映像記録装置の構成を示す機能ブロック図である。 図19に示すモニタリングシステムの動作を示すシーケンス図である。 図20に示すモニタリング装置が検出されることにより更新された管理データを示す図である。 図20に示すモニタリング装置がモニタリングを開始した場合における管理データを示す図である。 図1に示すモニタリングシステムの変形例の構成を示す図である。 CPUバス構成を示す図である。
以下、図面を参照し、本発明の実施の形態を詳しく説明する。図中同一又は相当部分には同一符号を付してその説明は繰り返さない。
[第1の実施の形態]
{1.全体構成}
{1.1.モニタリングシステムの構成}
図1は、本発明の第1の実施の形態に係るモニタリングシステム100の構成を示す図である。図1に示すように、モニタリングシステム100は、映像記録装置R1と、モニタリング用端末2と、ネットワーク3と、モニタリング装置M−1〜M−4と、通信端末A1とを備える。本実施の形態では、モニタリングシステム100は、オフィスビルなどの施設内に構築される。ネットワーク3は、LAN(Local Area Network)、WAN(Wide Area Network)、VPN(Virtual Private Network)、インターネット等の各種ネットワークにより構成される。
モニタリング装置M−1〜M−3は、施設の玄関、非常口、廊下、施設内の部屋の出入口付近などに設置される。モニタリング装置M−4は、モニタリング装置M−1が故障した場合におけるモニタリング装置M−1の代替装置である。通信端末A1は、モニタリング装置M−4がモニタリング装置M−1の代替装置として用いられる場合に、モニタリング装置M−4が備えるカメラC−4の撮影方向及び画角を調整するためのアシスト装置である。
従って、図1に示すように、モニタリング装置M−4は、モニタリング装置M−1が正常に動作しているときは、ネットワーク3に接続されない。通信端末A1は、カメラC−4の撮影方向及び画角を調整するときを除いて、ネットワーク3に接続されない。
以下の説明では、特に説明のない限り、モニタリング装置M−1が正常に動作しており、モニタリング装置M−4がネットワーク3に接続されていない場合を説明する。モニタリング装置M−1が使用できなくなった場合におけるモニタリングシステム100の動作については、後述する。
モニタリング装置M−1は、カメラC−1と、イベント検出装置E−1と、外付けセンサSとを備える。カメラC−1は、モニタリング装置M−1が設置された場所の周辺領域を撮影し、映像データを生成する。カメラC−1は、映像記録装置R1のHDD(Hard Disk Drive)に記録するための記録用映像データ11Cと、ライブ表示用の映像データ(ライブ用映像データ11D)とを映像記録装置R1に送信する。イベント検出装置E−1は、イベント検出装置E−1が備えるセンサと外付けセンサSとを用いて、モニタリング装置M−1が設置された場所の周辺領域で発生するイベントを検出する。イベント検出装置E−1は、検出したイベントが記録用映像データ11Cの送信条件を満たしているか否かを判断する。送信条件が満たされていると判断された場合、モニタリング装置M−1は、記録用映像データ11Cを送信する。
モニタリング装置M−2は、カメラC−2と、イベント検出装置E−2とを備える。カメラC−2は、記録用映像データ21Cと、ライブ用映像データ21Dとを、映像記録装置R1に送信する。モニタリング装置M−3は、カメラC−3と、イベント検出装置E−3とを備える。カメラC−3は、記録用映像データ31Cと、ライブ用映像データ31Dとを、映像記録装置R1に送信する。モニタリング装置M−4は、カメラC−4と、イベント検出装置E−4とを備える。
映像記録装置R1は、ネットワーク3を介してモニタリング装置M−1〜M−3と接続され、例えば、施設内の警備室に設置される。映像記録装置R1は、記録用映像データ11C〜31Cをモニタリング装置M−1〜M−3から取得し、取得した記録用映像データ11C〜31CをHDDなどの大容量記憶装置に格納する。映像記録装置R1は、モニタリング装置M−1〜M−3のうち、オペレータにより指定されたモニタリング装置からライブ用映像データを取得してモニタに表示する。また、映像記録装置R1は、モニタリング装置M−1〜M−3を管理する管理装置としても動作する。
モニタリング用端末2は、例えば、映像記録装置R1とともに施設内の警備室に設置され、モニタリングシステム100が構築された施設をリアルタイムでモニタリングするために用いられる。モニタリング用端末2は、カメラC−1〜C−3により生成されたライブ用映像データ11D〜31Dを表示する。
通信端末A1は、モニタリング装置M−4をモニタリング装置M−1の代替装置として設置した場合に用いられる。通信端末A1は、作業員がカメラC−4の撮影方向及び画角を調整する際に、カメラC−4の撮影方向及び画角を、カメラC−1の撮影方向及び画角に一致させるためのアシスト画面を表示する。通信端末A1は、例えば、スマートフォン、タブレット端末、携帯電話などである。
{1.2.モニタリング装置M−1の構成}
図2は、図1に示すモニタリング装置M−1の構成を示す機能ブロック図である。モニタリング装置M−2〜M−3の構成は、モニタリング装置M−1の構成と同様であるため、モニタリング装置M−2,M−3の構成の説明を省略する。
(カメラC−1の構成)
カメラC−1は、撮像部101と、符号化部102と、バッファ103と、映像送信部104とを備える。
撮像部101は、図示しない光学系及び撮像素子を備え、モニタリング装置M−1が設置された場所における周辺領域を撮影して映像データ11Aを生成する。
符号化部102は、撮像部101により生成された映像データ11AをH.264などの所定の符号化方式で符号化して符号化映像データ11Bを生成する。なお、符号化部102は、図示しないマイクにより録音された音声データを符号化し、符号化された音声データを符号化映像データ11Bに多重化してもよい。
バッファ103は、符号化部102により生成された符号化映像データ11Bを一時的に格納する。バッファ103は、所定時間分の符号化映像データ11Bを格納することが可能である。バッファ103は、リングバッファであり、符号化映像データ11Bをバッファ103の先頭アドレスから順次書き込む。符号化映像データ11Bがバッファ103の終端アドレスに書き込まれた場合、新たに生成された符号化映像データ11Bが、バッファ103の先頭アドレスに上書きされる。
映像送信部104は、イベント検出装置E−1が記録用映像データ11Cの送信を決定した場合、バッファ103に記録された符号化映像データ11Bの中から、映像記録装置R1に送信すべき記録用映像データ11Cを特定する。映像送信部104は、特定した記録用映像データ11Cをバッファ103から読み出して、映像記録装置R1に送信する。
また、映像送信部104は、映像記録装置R1又はモニタリング用端末2からの要求に応じて、符号化部102から出力された符号化映像データ11Bをライブ用映像データ11Dとして送信する。ライブ用映像データ11Dは、リアルタイムで映像記録装置R1又はモニタリング用端末2に送信される。
(イベント検出装置E−1の構成)
イベント検出装置E−1は、動き検出部105と、接点入力部106と、加速度センサ107と、送信判断部108とを備える。
動き検出部105は、撮像部101により生成された映像データ11Aを解析して、映像データ11Aにおける時間的な変化を動きとして検出する。時間的な変化は、例えば、扉の開閉、人物の動きなどによって発生する。動き検出部105は、映像データ11Aから動きを検出した場合、動きが検出されたことを示す動き検出通知を送信判断部108に出力する。
接点入力部106は、モニタリング装置M−1における外部入力端子であり、外付けセンサSが有線で接続される。接点入力部106は、外付けセンサSからのセンシングデータを、送信判断部108に出力する。例えば、外付けセンサSは、モニタリング装置M−1が備えるセンサ機能(動き検出、加速度検出)を補完するために用いられる。外付けセンサSは、例えば、人感センサ、温度センサである。
なお、図1では、モニタリング装置M−2,M−3には外付けセンサSが接続されていないが、モニタリング装置M−2,M−3における接点入力部106に外付けセンサSが接続されてもよい。この場合、モニタリング装置M−2,M−3における接点入力部106に接続される外付けセンサSの種類は、モニタリング装置M−2,M−3のモニタリングの目的に応じて変更される。
加速度センサ107は、モニタリング装置M−1に加わる3軸方向の加速度を検出し、検出した加速度を予め定められた時間間隔で送信判断部108に出力する。
送信判断部108は、動き検出部105からの動き検出通知の内容、外付けセンサSからのセンシングデータの内容、又は、加速度センサにより検出された加速度に基づいて、記録用映像データ11Cを記録映像装置R1に送信するか否かを判断する。
モニタリング装置M−1は、さらに、記憶装置109と、動作管理部110とを備える。
記憶装置109は、不揮発性の記憶装置であり、例えば、フラッシュメモリである。記憶装置109は、特徴データ31と、設定ファイル41とを記憶する。
特徴データ31は、モニタリング装置M−1が有する特徴を記録したデータである。特徴データ31は、固有特徴データ311と、使用中特徴データ312とを含む。固有特徴データ311は、モニタリング装置M−1が元来有する特徴を記録したデータである。使用中特徴データ312は、モニタリング装置M−1が元来有する特徴のうち、モニタリングに用いられている特徴を記録したデータである。
設定ファイル41は、モニタリング装置M−1のモニタリング条件を設定したファイルであり、例えば、送信判断部108が記録用映像データ11Cを送信するか否かを決定するための基準が記録されている。モニタリング装置M−1は、設定ファイル41に記録された設定内容に基づいて、モニタリングを行う。映像記録装置R1のオペレータは、記憶装置109に記憶されている設定ファイル41を、ウェブブラウザなどを用いて編集することが可能である。
動作管理部110は、動作確認パケット61,71及び動作確認応答パケット62,72を用いて、映像記録装置R1と互いに動作確認を行う。動作管理部110は、記憶装置109に記憶されている特徴データ31を映像記録装置R1に送信する。また、動作管理部110は、映像記録装置R1からモニタリング条件の変更を指示された場合、モニタリング条件の変更内容を設定ファイル41に反映させる。
{1.3.モニタリング装置M−4の構成}
図3は、モニタリング装置M−4の構成を示す機能ブロック図である。図3に示すように、モニタリング装置M−4は、カメラC−4と、イベント検出装置E―4と、アシスト情報送信部111と、記憶装置112と、動作管理部113と、特徴通知部114とを備える。
カメラC−4の構成は、カメラC−1と同じである。イベント検出装置E−4の構成は、イベント検出装置E−1と同じである。このため、カメラC−4及びイベント検出装置E−4の構成についての詳細な説明を省略する。
アシスト情報送信部111は、アシスト情報211を生成して通信端末A1に送信する。アシスト情報211は、モニタリング装置M−1の代替装置としてモニタリング装置M−4を指定された場所に設置した際に、カメラC−4の撮影方向及び画角を調整するために用いられる。
記憶装置112は、不揮発性の記憶装置であり、例えば、フラッシュメモリである。記憶装置112は、設定ファイル44と、特徴データ34を記憶する。
設定ファイル44は、モニタリング装置M−4のモニタリング条件を設定したファイルである。設定ファイル44は、後述するように、故障したモニタリング装置M−1のモニタリング条件が反映されたファイルである。ただし、設定ファイル44は、設定ファイル41と同一のファイルであるとは限らない。例えば、モニタリング装置M−4が故障したモニタリング装置M−1と異なる機種である場合、モニタリング装置M−4は、設定ファイル41を自装置の仕様にあった内容に修正して、設定ファイル44を生成する。
特徴データ34は、モニタリング装置M−4が有する特徴を記録するデータであり、固有特徴データ341と、使用中特徴データ342とを含む。固有特徴データ341は、モニタリング装置M−4が元来有する特徴を記録したデータである。使用中特徴データ342は、モニタリング装置M−4が元来有する特徴のうち、モニタリングに用いられている特徴を記録したデータである。特徴データ34と、固有特徴データ341と、使用中特徴データ342の詳細については、後述する。
動作管理部113は、探索パケット81を映像記録装置R1から受信した場合、探索応答パケット82を映像記録装置R1に送信する。探索パケット81は、モニタリング装置M−1が故障した際に、映像記録装置R1がモニタリング装置M−1の代替装置の候補を探索するために用いられる。動作管理部113は、映像記録装置R1から設定ファイル41を受信した場合、受信した設定ファイル41に基づいてモニタリング装置M−4のモニタリング条件を変更する。
特徴通知部114は、映像記録装置R1の要求に応じて、固有特徴データ341を映像記録装置R1に送信する。また、特徴通知部114は、モニタリング装置M−4がモニタリングを開始した時点における使用中特徴データ342を映像記録装置R1に送信する。
{1.4.映像記録装置R1の構成}
図4は、図1に示す映像記録装置R1の構成を示す機能ブロック図である。図4に示すように、映像記録装置R1は、記録映像取得部51と、表示制御部52と、デコーダ53と、モニタ54と、HDD55と、管理部56とを備える。
記録映像取得部51は、モニタリング装置M−1〜M−3から記録用映像データ11C〜31Cを取得し、取得した記録用映像データ11C〜31CをHDD55に保存する。
表示制御部52は、モニタリング装置M−1〜M−3からのライブ映像をモニタ54に表示するための制御を行う。具体的には、モニタリング装置M−1〜M−3の中からライブ映像の表示対象を選択し、選択した表示対象のモニタリング装置に対してライブ用映像データの送信を指示する。表示制御部52は、表示対象のモニタリング装置から送信されるライブ用映像データを受信する。
デコーダ53は、表示制御部52が受信したライブ用映像データをデコードして、映像データを生成する。モニタ54は、ライブ表示画面を表示する。ライブ表示画面は、表示制御部52により生成され、表示対象のモニタリング装置の映像データを所定の表示レイアウトに従って配置した画面である。
また、表示制御部52は、オペレータの操作に応じて、HDD55に保存されている記録用映像データ11C〜31Cをモニタ54に表示する。この場合、表示制御部52は、HDD55に保存されている記録用映像データ11C〜31Cをデコーダ53にデコードさせる。
HDD55は、記録用映像データ11C〜31Cと、設定ファイル41〜43と、管理データ57と、参照画像データ511〜513と、参照加速度データ521〜523とを格納する。
設定ファイル41〜43は、モニタリング装置M−1〜M−3のモニタリング条件を記録したファイルであり、バックアップのためにHDD55に記憶される。
参照画像データ511〜513は、モニタリング装置M−1〜M−3がモニタリングを実行している間にカメラC−1〜C−3によって撮影された画像である。参照画像データ511〜513は、カメラC−1〜C−3の撮影方向及び画角を特定したデータとして用いられる。
参照加速度データ521〜523は、モニタリング装置M−1〜M−3の各々の加速度センサ107によって検出された加速度のデータである。参照加速度データ521〜523は、モニタリング装置M−1〜M−3がモニタリングを実行している間に取得される。参照加速度データ521〜523は、カメラC−1〜C−3の撮影方向を特定したデータとして用いられる。
管理データ57は、モニタリング装置M−1〜M−3の識別情報と、モニタリング装置M−1〜M−3の特徴データとを対応付けたモニタリング装置M−1〜M−3のデータベースである。管理データ57及び特徴データの詳細については後述する。
管理部56は、管理データ57を用いてモニタリング装置M−1〜M−3を管理する。管理部56は、探索部561と、特徴データ取得部562と、判断部563と、更新部564と、装置管理部565とを備える。
探索部561は、モニタリング装置M−1〜M−3のうちいずれか1つのモニタリング装置で故障が発生した場合、故障したモニタリング装置の代替装置の候補を探索する。
特徴データ取得部562は、探索部561が代替装置の候補としてモニタリング装置M−4を検出した場合、モニタリング装置M−4の特徴データ34をモニタリング装置M−4から取得する。具体的には、特徴データ取得部562は、固有特徴データ341及び使用中特徴データ342を取得する。
判断部563は、モニタリング装置M−1が故障した場合、故障したモニタリング装置M−1の特徴データ31と、モニタリング装置M−4の特徴データ34とに基づいて、モニタリング装置M−4を故障装置の代替装置として使用できるか否かを判断する。判断部563は、モニタリング装置M−1の特徴データを管理データ57に記録している。本実施の形態では、判断部563が、故障したモニタリング装置M−1の使用中特徴データ312とモニタリング装置M−4の固有特徴データ341とを用いる場合を説明するが、これに限られるものではない。
更新部564は、判断部563がモニタリング装置M−4を故障したモニタリング装置M−1の代替装置として使用できると判断した場合、モニタリング装置M−4を管理対象に含めるように管理データ57を更新する。
モニタリング装置M−4が、故障したモニタリング装置M−1の代替装置に決定された場合、装置管理部565は、モニタリング装置M−1のモニタリング条件が設定された設定ファイル41をHDD55から取得し、取得した設定ファイル41をモニタリング装置M−4に送信する。モニタリング装置M−4は、装置管理部565から送信された設定ファイル41を用いて、自装置のモニタリング条件を設定した設定ファイル44を生成する。これにより、故障したモニタリング装置M−1の設定内容が、モニタリング装置M−4に反映される。また、装置管理部565は、モニタリング装置M−1〜M−3を管理する。装置管理部565は、例えば、モニタリング装置M−1〜M−3の動作状態を確認する。
{1.5.通信端末A1の構成}
図5は、図1に示す通信端末A1の構成を示す機能ブロック図である。図5を参照して、通信端末A1は、リアルタイム受信部201と、参照データ取得部202と、調整アシスト部203と、タッチパネル204とを備える。
リアルタイム受信部201は、モニタリング装置M−4がモニタリング装置M−1の代替装置として設置された場合、モニタリング装置M−4から送信されるアシスト情報211を受信する。アシスト情報211は、ライブ用映像データ41Dと、モニタリング装置M−4の加速度センサ107により検出された加速度データとを含む。つまり、リアルタイム受信部201は、モニタリング装置M−4により撮影された画像データ(ライブ用映像データ41D)をリアルタイムに受信する。
参照データ取得部202は、映像記録装置R1のHDD55に保存されている参照画像データ511と参照加速度データ521とを取得する。
調整アシスト部203は、リアルタイム受信部201が受信したアシスト情報211と、参照データ取得部202により取得された参照画像データ511とを用いて、アシスト画面をタッチパネル204に表示する。アシスト画面は、モニタリング装置M−4のカメラC−4についての適切な撮影方向及び画角を作業員に指示するための画面である。これにより、作業員は、アシスト画面を見ながら、カメラC−4の撮影方向及び画角を、モニタリング装置M−1のカメラC−1の撮影方向及び画角に近づけることが可能となる。
{2.管理データ57の内容}
図6は、管理データ57に記録される内容の一例を示す図である。図6に示す管理データ57は、モニタリング装置M−1〜M−3の識別データと、モニタリング装置M−1〜M−3の特徴データ31〜33とを対応付けている。装置IDが、モニタリング装置M−1〜M−3の識別データに該当する。つまり、図6に示す管理データ57は、装置管理部565による管理対象がモニタリング装置M−1〜M−3であることを示している。
図6に示す管理データ57において、装置型番は、モニタリング装置M−1〜M−3の各々の機種を示す番号である。シリアル番号は、モニタリング装置M−1〜M−3を提供するメーカにより割り当てられるモニタリング装置M−1〜M−3に固有の番号である。名称は、モニタリングシステム100の管理者により割り当てられたモニタリング装置M−1〜M−3の名称である。状態は、モニタリング装置M−1〜M−3の各々の動作状況を示す。
表示枠番号は、モニタリング装置M−1〜M−3のライブ映像を映像記録装置R1のモニタ54に表示する場合おいて、モニタリング装置M−1〜M−3のライブ映像の表示位置を特定するパラメータである。記録チャネル番号は、モニタリング装置M−1〜M−3の記録用映像データ11C〜31CをHDD55に記録する場合における、記録用映像データ11C〜31Cの記録場所を特定するパラメータである。設定ファイル名は、モニタリング装置M−1〜M−3の設定ファイル41〜43の各々のファイル名を示す。映像記録装置R1における設定ファイル41〜43の保存場所は、予め設定されている。
特徴データ31は、モニタリング装置M−1が有する特徴を記録したデータである。図6に示すように、特徴データ31は、固有特徴データ311と使用中特徴データ312とを含む。
固有特徴データ311は、モニタリング装置M−1が元来有する特徴を記録したデータであり、「基本」、「カメラ」、「センサ」に分けて記録される。図6に示す例では、固有特徴データ311は、15ビットのデータである。固有特徴データ311において、「基本」、「カメラ」、「センサ」のデータは、5ビットのデータとして表現されている。
使用中特徴データ312は、モニタリング装置M−1が元来有する特徴のうち、モニタリング装置M−1がモニタリングに使用している特徴を記録したデータであり、「基本」、「カメラ」、「センサ」に分けて記録される。図6に示す例では、使用中特徴データ312は、15ビットのデータである。使用中特徴データ312において、「基本」、「カメラ」、「センサ」のデータは、5ビットのデータとして表現されている。
特徴データ32は、モニタリング装置M−2が有する特徴を記録したデータである。特徴データ33は、モニタリング装置M−3が有する特徴を記録したデータである。特徴データ32,33におけるデータ構造は、特徴データ31におけるデータ構造と同じであるため、その説明を省略する。
図7は、モニタリング装置M−1の特徴データ31に記録される内容の一例を具体的に示す図である。図7では、固有特徴データ311及び使用中特徴データ312の内容を、図6に示すようなビットデータではなく、項目ごとに具体的に記載している。固有特徴データ311及び使用中特徴データ312は、図7に示す各項目の内容をビットデータとして保持する。ビットデータの長さは、固有特徴データ311に記録される項目の数に応じて適宜変更される。
以下、図7を参照しながら、モニタリング装置M−1が元来有する特徴(固有特徴データ311に記録される内容)について説明する。
固有特徴データ311に記録されるモニタリング装置M−1の特徴は、基本、カメラ、センサに分類される。「基本」の項目には、モニタリング装置M−1の基本的な特徴として、形状、設置可能場所、使用可能な記録メディア、ネットワーク機能が設定されている。
形状は、モニタリング装置M−1の筐体の形状を示している。固有特徴データ311は、モニタリング装置M−1の筐体がドーム型であることを記録する。設置可能場所は、モニタリング装置M−1を設置可能な場所を示している。固有特徴データ311は、「屋内」及び「屋外」のどちらにでも設置可能であることが記録される。
使用可能な記録メディアは、記録用映像データ11Cを記録することができるメディアを示している。固有特徴データ311は、記録用映像データ11Cを映像記録装置R1内のHDD55に記録でき、モニタリング装置M−1が備えるSDカードに記録できないことを示す内容を記録する。ネットワーク機能は、モニタリング装置M−1が利用可能なネットワーク機能を示している。固有特徴データ311は、モニタリング装置M−1が図7に示すネットワーク機能の全てが利用可能であることを記録する。
「カメラ」の項目には、カメラC−1に関する機能として、例えば、画像圧縮方式及び解像度が設定されている。画像圧縮方式は、カメラC−1の符号化部102が対応する符号化方式を示している。固有特徴データ311は、カメラC−1が図7に示す全ての符号化方式を使用可能であることを記録する。解像度は、カメラC−1における撮像部101の解像度を示している。固有特徴データ311は、カメラC−1における撮像部101の解像度がVGAであることを記録する。
「センサ」の項目には、イベント検出装置E−1が備えるイベント検出機能が設定されている。固有特徴データ311は、動き検出、加速度センサ、接点入力の各項目が使用可能となっている。このことから、イベント検出装置E−1は、動き検出部105により検出される画像の変化、加速度センサにより検出される加速度、接点入力部から入力されるセンシングデータに基づいて、イベントを検出できることが分かる。
図7において、使用中特徴データ312は、固有特徴データ311において使用可能と記録されたモニタリング装置M−1の特徴の中で、モニタリング装置M−1がモニタリングに使用している特徴を記録する。
例えば、図7に示す固有特徴データ311の設置可能場所を参照した場合、モニタリング装置M−1は、屋内及び屋外の両者で使用可能である。一方、図7に示す使用中特徴データ312の設置可能場所を参照すると、モニタリング装置M−1は、屋外で使用中であることが分かる。
また、図7に示す固有特徴データ311の画像圧縮方式を参照した場合、モニタリング装置M−1は、JPEG、MPEG2、H.264及びH.265に対応している。一方、図7に示す使用中特徴データ312の画像圧縮方式の項目を参照すると、モニタリング装置M−1は、MPEG2を使用中であることが分かる。つまり、記録用映像データ11C及びライブ用映像データ31Dは、MPEG2方式で符号化されたデータである。
{2.モニタリングシステム100の動作}
{2.1.映像データの送信}
(記録用映像データの送信)
図8は、モニタリング装置M−1がライブ用映像データ11Dを映像記録装置R1に送信するときのモニタリング装置M−1の動作を示すシーケンス図である。
図8を参照して、映像記録装置R1は、オペレータの操作に応じて、ライブ映像の送信をモニタリング装置M−1に要求する(ステップS101)。
モニタリング装置M−1において、映像送信部104は、映像記録装置R1から送信要求を受けた場合、ライブ用映像データ11Dの送信を開始する(ステップS102)。具体的には、映像送信部104は、符号化部102からリアルタイムに出力される符号化映像データ11Bを取得し、取得した符号化映像データ11Bをライブ用映像データ11Dとして映像記録装置R1に送信する。
映像記録装置R1において、表示制御部52は、モニタリング装置M−1から受信したライブ用映像データ11Dをモニタ54に表示する(ステップS103)。このとき、表示制御部52は、モニタ54におけるライブ用映像データ11Dの表示位置を、管理データ57に記録されたモニタリング装置M−1の表示枠番号に基づいて決定する。表示制御部52は、他のモニタリング装置のライブ映像を、モニタリング装置M−1のライブ用映像データ11Dとともにモニタ54に表示してもよい。
表示制御部52は、オペレータの操作に応じて、ライブ用映像データ11Dの送信停止要求をモニタリング装置M−1に送信する(ステップS104)。モニタリング装置M−1において、映像送信部104は、映像記録装置R1の送信停止要求に応じて、ライブ用映像データ11Dの送信を停止する(ステップS105)。
(記録用映像データの送信)
図9は、モニタリング装置M−1が記録用映像データ11Cを映像記録装置R1に送信するときのモニタリング装置M−1の動作を示すシーケンス図である。
図9に示すように、モニタリング装置M−1において、イベント検出装置E−1が、イベントを検出する(ステップS201)。例えば、動き検出部105が、撮像部101により生成された映像データ11Aにおいて時間的な変化を検出する。動き検出部105は、動きが検出されたことを示す動き検出通知を送信判断部108に出力する。
イベント検出装置E−1は、動き検出通知の内容に基づいて、記録用映像データ11Cを映像記録装置R1に送信するか否かを判断する(ステップS202)。例えば、送信判断部108は、動き検出通知を受けた時刻が前回の動き検出通知を受けた時刻から所定時間を経過していた場合、記録用映像データ11Cの送信を決定する。
イベント検出装置E−1が記録用映像データ11Cの送信を決定した場合、映像送信部104は、バッファ103に記録された記録用映像データ11Cのうち、送信対象となる記録用映像データ11Cを決定する(ステップS203)。例えば、送信判断部108が、動き検出部105からの動き検出通知に基づいて、記録用映像データ11Cの送信を決定したと仮定する。この場合、映像送信部104は、送信判断部108が動き検出通知を受けた時刻(基準時刻)の5秒前の時刻から基準時刻の10秒後の時刻までの期間における記録用画像データ11Cを送信対象に決定する。
モニタリング装置M−1の映像送信部104は、ステップS203で送信対象に決定した記録用画像データ11Cを映像記録装置R1に送信する(ステップS204)。映像記録装置R1は、モニタリング装置M−1からの記録用画像データ11Cを、HDD55に格納する(ステップS205)。
{2.2.動作確認}
図10は、映像記録装置R1及びモニタリング装置M−1が互いに動作確認を行うときの動作を示すシーケンス図である。本実施の形態では、映像記録装置R1及びモニタリング装置M−1は、MQTTプロトコル(Message Queue Telemetry Transport)を用いて、互いに動作確認を行う。
(コネクションの確立)
最初に、映像記録装置R1及びモニタリング装置M−1は、コネクションAを確立する(ステップS301)。コネクションAにおいて、モニタリング装置M−1がパブリッシャであり、映像記録装置R1がサブスクライバである。MQTTプロトコルでは、情報(トピック)を供給する装置がパブリッシャと呼ばれ、情報(トピック)を購読する装置がサブスクライバと呼ばれる。コネクションAにおいて、供給される情報(トピック)は、例えば、記録用映像データ11Cや、モニタリング装置M−1の動作状況を示す動作確認応答パケットである。また、コネクションAにおいて、パブリッシャであるモニタリング装置M−1が、MQTTプロトコルにおけるブローカーとしても動作する。
ステップS301において、映像記録装置R1における装置管理部565が、コネクション確立要求をモニタリング装置M−1に送信する。モニタリング装置M−1の接続情報(IPアドレス等)は、モニタリング装置M−1のモニタリング条件が設定されている設定ファイル41(図4参照)に記録されている。モニタリング装置M−1において、動作管理部110は、映像記録装置R1からのコネクション確立要求に対する応答(ACK)を映像記録装置R1に送信する。これにより、コネクションAが確立される。
映像記録装置R1及びモニタリング装置M−1は、コネクションAとは別のコネクションBを確立する(ステップS302)。コネクションBにおいて、映像記録装置R1がパブリッシャであり、モニタリング装置M−1がサブスクライバである。コネクションBにおいて、供給される情報(トピック)は、例えば、映像記録装置R1の動作状況を示す動作確認応答パケットである。また、コネクションBにおいて、パブリッシャである映像記録装置R1が、MQTTプロトコルにおけるブローカーとしても動作する。
本実施の形態では、映像記録装置R1及びモニタリング装置M−1は、動作状況を通知するための動作確認応答パケットを受信しており、MQTTプロトコルにおけるサブスクライバとして動作する。このため、映像記録装置R1及びモニタリング装置M−1がそれぞれサブスクライバとして動作するために、2つのコネクションA,Bが確立される。
ステップS302において、モニタリング装置M−1における動作管理部110は、コネクション確立要求を映像記録装置R1に送信する。動作管理部110は、映像記録装置R1の接続情報(IPアドレス)を、ステップS301で映像記録装置R1から送信されるコネクション確立要求から取得することができる。映像記録装置R1における装置管理部565は、モニタリング装置M−1からのコネクション確立要求に対する応答(ACK)をモニタリング装置M−1に送信する。これにより、コネクションBが確立される。
(動作確認パケットの送信)
映像記録装置R1は、コネクションAを使用して、モニタリング装置M−1の動作確認を行う(ステップS303)。
具体的には、映像記録装置R1における装置管理部565が、コネクションAを介して、動作確認パケット61をモニタリング装置M−1に送信する。モニタリング装置M−1において、動作管理部110は、動作確認パケット61を映像記録装置R1から受けた場合、モニタリング装置M−1で動作異常が発生しているか否かを確認する。モニタリング装置M−1の動作異常は、例えば、撮像部101(図2参照)の故障などであり、モニタリング装置M−1がモニタリングを継続する上で支障となる状態のことである。
動作異常がない場合、動作管理部110は、通常動作であることを示す動作確認応答パケット62を映像記録装置R1に送信する。動作異常がある場合、動作管理部110は、動作異常の内容を記録した動作確認応答パケット62を映像記録装置R1に送信する。モニタリング装置M−1で動作異常があった場合における映像記録装置R1の動作については、後述する。
モニタリング装置M−1は、コネクションBを使用して、映像記録装置R1の動作確認を行う(ステップS304)。
具体的には、モニタリング装置M−1における動作管理部110は、コネクションBを介して、動作確認パケット71を映像記録装置R1に送信する。映像記録装置R1における装置管理部565は、動作確認パケット71をモニタリング装置M−1から受けた場合、動作異常があるか否かを確認する。映像記録装置R1の動作異常は、例えば、HDD55(図4参照)の記録容量が足りないなど、記録用映像データ11CのHDD55への保存又はライブ用映像データ11Dのモニタ54への表示に支障をきたす状態のことである。
動作異常がない場合、装置管理部565は、通常動作であることを示す動作確認応答パケット72をモニタリング装置M−1に送信する。一方、動作異常がある場合、装置管理部565は、動作異常の内容を記録した動作確認応答パケット72をモニタリング装置M−1に送信する。モニタリング装置M−1において、動作管理部110は、映像記録装置R1で動作異常が発生している場合、記録用映像データ11C又はライブ用映像データ11Dの送信先を、映像記録装置R1の予備機などに変更する。
映像記録装置R1によるモニタリング装置M−1の動作確認(ステップS303)と、モニタリング装置M−1による映像記録装置R1の動作確認(ステップS304)とは、一定の時間(例えば、3分間)が経過するたびに繰り返される。
(コネクションの切断)
映像記録装置R1における装置管理部565は、コネクションAを切断する場合、切断要求をモニタリング装置M−1に送信する(ステップS305)。これにより、コネクションAが切断される。モニタリング装置M−1における動作管理部110は、コネクションBを切断する場合、切断要求を映像記録装置R1に送信する(ステップS306)。これにより、コネクションBが切断される。
映像記録装置R1における装置管理部565は、モニタリング装置M−1に対する動作確認と同様に、モニタリング装置M−2,M−3に対して動作確認を行う。モニタリング装置M−2,M−3は、モニタリング装置M−1と同様に、映像記録装置R1に対して動作確認を行う。モニタリング装置M−2,M−3の動作確認についての動作は、上記と同様であるため、その説明を省略する。
{2.3.モニタリング装置M−1の交換}
図11及び図12は、モニタリング装置M−1が故障した場合において、モニタリング装置M−1をモニタリング装置M−4と交換する場合におけるモニタリングシステム100の動作を示すシーケンス図である。図13は、映像記録装置R1がモニタリング装置M−1での異常発生を認識した場合に更新された管理データ57を示す図である。
図11に示すシーケンス図は、モニタリング装置M−1で故障が発生してから、モニタリング装置M−4と映像記録装置R1との間でコネクションC,Dが確立されるまでを示している。図12に示すシーケンス図は、コネクションC,Dが確立されてから、モニタリング装置M−4と映像記録装置R1とが動作確認をするまでを示している。
なお、モニタリング装置M−4におけるカメラC−4の撮影方向及び画角の調整は、図12に示すモニタリング装置M−4による設定ファイル44の送信(ステップS417)の後に行われる。カメラC−4の撮影方向及び画角の調整の詳細については、後述する。
(モニタリング装置M−1における異常発生)
図11を参照して、映像記録装置R1及びモニタリング装置M−1は、動作確認を一定の時間間隔で繰り返し実行する(ステップS401)。ステップS401の処理は、図10に示すステップS303,S304と同様の処理である。モニタリング装置M−1がモニタリングを通常通り行っている場合、管理データ57には、図6に示す内容が記録されている。
動作確認応答パケット62がモニタリング装置M−1での異常発生を示す通知を含む場合、映像記録装置R1の装置管理部565は、モニタリング装置M−1で異常が発生したことを認識する(ステップS402)。装置管理部565は、モニタリング装置M−1で異常が発生したことを管理データ57に記録する。
ここで、モニタリング装置M−1の撮像部101において異常が発生した場合を例にして説明する。この場合、動作確認応答パケット62は、撮像部101での異常発生を示す通知を含む。装置管理部565は、異常発生を示す通知に基づいて、管理データ57を図6に示す内容から図13に示すに内容に更新する。図13に示すように、管理データ57において、モニタリング装置M−1の状態が「通常」から「撮像部異常」に変更されている。
モニタリング装置M−1において異常が発生した場合、装置管理部565は、モニタリング装置M−1に対して復旧を指示する。例えば、装置管理部565は、モニタリング装置M−1に対して再起動を指示する。再起動によってモニタリング装置M−1の異常が解消された場合、映像記録装置R1とモニタリング装置M−1とは、動作確認(ステップS401)を再び繰り返し実行する。
再起動によってもモニタリング装置M−1の異常が解消されない場合、装置管理部565は、モニタリング装置M−1で異常が発生したことを映像記録装置R1のオペレータに通知する(ステップS403)。例えば、装置管理部565は、モニタリング装置M−1で異常が発生したこと及びモニタリング装置M−1の交換を促すメッセージをモニタ54に表示する。
ステップS403の結果、モニタリング装置M−1をモニタリング装置M−4に置き換える作業が、モニタリングシステム100を保守する作業員によって開始される。
なお、装置管理部565は、モニタリング装置M−1から動作確認応答パケット62を受信することができない場合、モニタリング装置M−1で通信異常が発生したと判断してもよい。装置管理部565は、例えば、動作確認応答パケット62をモニタリング装置M−1から受信することができない回数が所定回数連続して発生した場合、モニタリング装置M−1で通信異常が発生したと判断することができる。
(モニタリング装置M−4の検出)
映像記録装置R1における探索部561は、モニタリング装置M−1の代替装置の候補を探索するために、探索パケット81の送信を開始する(ステップS404)。探索パケット81は、MQTTプロトコルではなく、UDP(User Datagram Protocol)プロトコルによりネットワーク3にブロードキャストされる。
モニタリング装置M−1がモニタリング装置M−4に交換する作業が終了することにより、モニタリング装置M−4が、ネットワーク3に接続する(ステップS405)。
モニタリング装置M−4は、ネットワーク3に接続された時点で、映像記録装置R1からの探索パケット81を受信することが可能となる。モニタリング装置M−4における動作管理部113は、映像記録装置R1からの探索パケット81を受信した場合、探索応答パケット82を映像記録装置R1に送信する(ステップS406)。探索応答パケット82は、モニタリング装置M−4の接続情報(IPアドレスなど)、モニタリング装置M−4の装置型番、モニタリング装置M−4のシリアル番号を含む。
(モニタリング装置M−4の登録)
映像記録装置R1において、探索部561は、モニタリング装置M−4からの探索応答パケット82を受信する。これにより、探索部561は、モニタリング装置M−4をモニタリング装置M−1の代替装置の候補として検出したと判断する(ステップS407)。探索部561は、探索パケット81の送信を停止する。
探索部561がモニタリング装置M−4を検出した場合、特徴データ取得部562が、モニタリング装置M−4の固有特徴データ341の送信をモニタリング装置M−4に要求する(ステップS408)。
モニタリング装置M−4の記憶装置112(図3参照)には、モニタリング装置M−4の特徴データ34が予め格納されている。特徴データ34において、固有特徴データ341には、モニタリング装置M−4が元来有する特徴が記録されている。モニタリング装置M−4は、ネットワーク3に接続された時点でモニタリングに用いられていない。このため、使用中特徴データ342には、モニタリング装置M−4の全ての特徴が「未使用」と記録されている。
モニタリング装置M−4において、特徴通知部114は、映像記録装置R1からの固有特徴データ341の送信要求に応じて、記憶装置112からモニタリング装置M−4の固有特徴データ341を読み出す。特徴通知部114は、読み出した固有特徴データ341を映像記録装置R1に送信する(ステップS409)。
映像記録装置R1において、特徴データ取得部562は、モニタリング装置M−4から送信された固有特徴データ341を取得する。更新部564は、ステップS406で送信された探索応答パケット82の内容と、ステップS409で送信されたモニタリング装置M−4の固有特徴データ341を用いて、モニタリング装置M−4に関するデータを図13に示す管理データ57に追加する(ステップS410)。
図14は、ステップS410により、モニタリング装置M−4に関するデータが追加された管理データ57を示す図である。
モニタリング装置M−4がモニタリング装置M−1の代替装置の候補として検出されている。このため、図14に示すように、更新部564は、モニタリング装置M−4のレコードとして、行番号が「0004」に設定されたレコードを管理データ57に追加する。
モニタリング装置M−4のレコードには、モニタリング装置M−4に関するデータが記録される。具体的には、モニタリング装置M−4からの探索応答パケット82に含まれる装置型番及びシリアル番号が、モニタリング装置M−4のレコードに記録される。モニタリング装置M−4の固有特徴データ341が、モニタリング装置M−4のレコードにおける固有特徴データの欄に記録される。モニタリング装置M−4の型番は、モニタリング装置M−1の型番と異なる。このため、モニタリング装置M−4の固有特徴データ341は、モニタリング装置M−1の固有特徴データ311と異なる。
ステップS410が実行された時点では、モニタリング装置M−4のレコードは、装置ID、使用中特徴データ、名称、表示枠番号、記録チャネル番号及び設定ファイル名を記録していない。また、モニタリング装置M−4のレコードにおいて、モニタリング装置M−4の状態が「未登録」に設定されている。これらの理由は、モニタリング装置M−4が、モニタリング装置M−1の代替装置に決定されていないためである。
(代替装置の決定)
判断部563は、ステップS410において更新部564により更新された管理データ57(図14参照)を用いて、モニタリング装置M−4をモニタリング装置M−1の代替装置として使用できるか否かを決定する(ステップS411)。具体的には、判断部563は、異常が発生したモニタリング装置M−1の使用中特徴データ312を、ステップS407で検出されたモニタリング装置M−4の固有特徴データ341と比較する。判断部563は、比較結果に基づいて、モニタリング装置M−4が元来有する特徴がモニタリング装置M−1でモニタリングに使用されていた特徴を含んでいるか否かを判断する。
モニタリング装置M−4が元来有する特徴がモニタリング装置M−1でモニタリングに使用されていた特徴を含んでいない場合、判断部563は、ステップS407で検出したモニタリング装置M−4を異常が発生したモニタリング装置M−1の代替装置として使用できないことを決定する。この場合、探索部561は、異常が発生したモニタリング装置M−1の代替装置の候補の探索を再開するために、探索パケット81の送信を開始する(ステップS404)。探索部561は、モニタリング装置M−4以外の装置から探索応答パケット82を受信した場合、この装置を代替装置の候補を検出できたと判断する。
一方、モニタリング装置M−4が元来有する特徴がモニタリング装置M−1でモニタリングに使用されていた特徴を含んでいる場合、判断部563は、ステップS407で検出されたモニタリング装置M−4を、異常が発生したモニタリング装置M−1の代替装置に決定する。この場合、更新部564は、異常が発生したモニタリング装置M−1に代えて、モニタリング装置M−4を管理対象に含めるように、管理データ57を更新する(ステップS412)。
図15は、モニタリング装置M−4がモニタリング装置M−1の代替装置に決定された場合において、更新部564により更新された管理データ57を示す図である。
図15を参照して、更新部564は、モニタリング装置M−4の使用中特徴データ342を、モニタリング装置M−4のレコードに登録する。登録された使用中特徴データ342は、モニタリング装置M−1の使用中特徴データ312と同じ内容を有する。
モニタリング装置M−4は、モニタリング装置M−1の代替装置であるため、モニタリング装置M−1の名称、表示枠番号、記録チャネル番号を引き継ぐ。つまり、更新部564は、モニタリング装置M−1のレコードに記録されているモニタリング装置M−1の名称、表示枠番号及び記録チャネル番号を、モニタリング装置M−4のレコードに記録する。また、更新部564は、モニタリング装置M−4のレコードにおいて、モニタリング装置M−1の設定ファイル41のファイル名を記録しない。詳細については後述するが、モニタリング装置M−4の設定ファイル44が、ステップS417においてモニタリング装置M−4から送信されるためである。
ステップS412が実行された時点で、モニタリング装置M−4のレコードの状態の項目は、「未登録」のままである。この理由は、ステップS412が実行された時点で、モニタリング装置M−1の設定ファイル41の内容がモニタリング装置M−4に反映されておらず、モニタリング装置M−4が、モニタリング装置M−1と同じ条件でモニタリングをすることができないためである。
(モニタリング装置M−4の設定)
上述のように、モニタリング装置M−4がモニタリング装置M−1の代替装置に決定された場合、図11におけるステップS413と、図12におけるステップS414〜S416により、モニタリング装置M−1のモニタリング条件がモニタリング装置M−4に反映される。以下、詳しく説明する。
図11を参照して、モニタリング装置M−4と映像記録装置R1とは、MQTTプロトコルに基づくコネクションC,Dを確立する(ステップS413)。コネクションCでは、モニタリング装置M−4がパブリッシャであり、映像記録装置R1がサブスクライバである。コネクションDでは、映像記録装置R1がパブリッシャであり、モニタリング装置M−4がサブスクライバである。ステップS413は、映像記録装置R1の通信先がモニタリング装置M−4である点を除き、ステップS301,S302(図10参照)と同じであるため、その詳細な説明を省略する。
図12を参照して、映像記録装置R1において、装置管理部565は、コネクションDを介して、HDD55に記憶されているモニタリング装置M−1の設定ファイル41を、モニタリング装置M−4に送信する(ステップS414)。図12に示していないが、モニタリング装置M−4において、動作管理部113は、設定ファイル41を受信した場合、設定ファイル41の送信に対する応答(ACK)を送信する。
動作管理部113は、映像記録装置R1から受信した設定ファイル41を、モニタリング装置M−4が有する特徴に合うように修正して、設定ファイル44を生成する(ステップS415)。動作管理部113は、ステップS415で生成した設定ファイル44を記憶装置112に保存する。
例えば、モニタリング装置M−4が、モニタリング装置M−1と異なる機種である場合、ステップS414で受信した設定ファイル41をそのまま使用することができない。この場合、動作管理部113は、自装置(モニタリング装置M−4)の仕様に合わせて、設定ファイル41を修正する。
モニタリング装置M−4が、モニタリング装置M−1が有していない新たな特徴を有している場合、この新たな特徴がモニタリングにおいてどのように用いられるかを、モニタリング装置M−4のモニタリング条件として設定する必要がある。例えば、モニタリング装置M−4が、モニタリング装置M−1が有していない新たな特徴として映像のコントラスト調整機能を有している場合がある。この場合、動作管理部113は、コントラスト調整機能を使用する条件を設定ファイル41に追加する。コントラスト調整機能の使用条件として、例えば、カメラC−4が逆光の条件下で撮影した場合などが挙げられる。
モニタリング装置M−4が、モニタリング装置M−1の特徴を有していない場合がある。この場合、動作管理部113は、モニタリング装置M−4が有していない特徴についての条件を設定ファイル41から削除する。
動作管理部113は、ステップS414で受信した設定ファイル41を変更しなくてもよい場合、受信した設定ファイル41をそのまま設定ファイル44として記憶装置112に保存する。
そして、動作管理部113は、記憶装置112に保存された設定ファイル44に基づいて、モニタリング装置M−4のモニタリング条件を変更する(ステップS416)。設定ファイル44には、モニタリング装置M−1のモニタリング条件が反映されているため、モニタリング装置M−4は、モニタリング装置M−1のモニタリング条件と同じ条件でモニタリングを行うことができる。
なお、ステップS416では、モニタリング装置M−4のモニタリング条件のうち、カメラC−4の撮影方向及び画角は変更されない。カメラC−4の撮影方向及び画角の調整については、後述する。
モニタリング装置M−4のモニタリング条件が変更された後に、動作管理部113は、コネクションCを介して、記憶装置112に記憶されている設定ファイル44を映像記録装置R1に送信する(ステップS417)。設定ファイル44は、モニタリング装置M−1の設定ファイル41を修正したファイルであり、設定ファイル41と同一のファイルであるとは限らない。このため、設定ファイル44は、バックアップのために映像記録装置R1に送信される。映像記録装置R1において、装置管理部565は、モニタリング装置M−4から送信された設定ファイル44をHDD55に保存する。
モニタリング装置M−4における特徴通知部114は、記憶装置112に記憶された設定ファイル44の内容に基づいて、記憶装置112に記憶されている使用中特徴データ342を更新する(ステップS418)。動作管理部113は、コネクションCを介して、更新された使用中特徴データ342を映像記録装置R1に送信する(ステップS419)。
映像記録装置R1において、特徴データ取得部562は、ステップS419で送信された使用中特徴データ342を取得する。更新部564は、図15に示す管理データ57の使用中特徴データ342を、ステップS419で送信された使用中特徴データ342に置き換える。
上述のように、モニタリング装置M−4の設定ファイル44は、モニタリング装置M−1の設定ファイル41と同一の内容を有するとは限らないため、モニタリング装置M−4がモニタリングで使用する特徴が、モニタリング装置M−1でモニタリングに使用されていた特徴に一致しない場合がある。管理データ57に記録されている使用中特徴データ342の内容を、モニタリング装置M−4が実際にモニタリングで使用している特徴に一致させるために、モニタリング装置M−4は、更新された使用中特徴データ342を映像記録装置R1に送信する。
映像記録装置R1において、特徴データ取得部562が更新された使用中特徴データ342を取得することにより、更新部564は、モニタリング装置M−4がモニタリング装置M−1の代替装置としてモニタリングを開始できると判断する。更新部564は、管理データ57を、図15に示す内容から図16に示す内容に更新する。具体的には、図16に示すように、更新部564は、モニタリング装置M−4のレコードの状態の項目を、「正常」に変更する。更新部564は、ステップS417(図11参照)でモニタリング装置M−4から送信された設定ファイル44のファイル名を、モニタリング装置M−4のレコードに記録する。また、更新部564は、モニタリング装置M−1のレコードにおいて、装置IDを除く全ての項目のデータを削除する。
その後、モニタリング装置M−4は、後述するように、カメラC−4の撮影方向及び画角を調整する。モニタリング装置M−4は、カメラC−4の撮影方向及び画角の調整終了を映像記録装置R1に通知した後に、モニタリングを開始する。映像記録装置R1及びモニタリング装置M−4は、コネクションC,Dを使用して、互いの動作確認を繰り返し実行する(ステップS418)。
{2.4.カメラC−4の撮影方向及び画角の調整}
上述のように、モニタリング装置M−4が、モニタリング装置M−1の代替装置としてネットワーク3に接続された場合、モニタリング装置M−1のモニタリング条件がモニタリング装置M−4に反映される。
しかし、モニタリング装置M−4のカメラC−4の撮影方向及び画角については、モニタリング装置M−4を設置した作業員が行う場合がある。例えば、カメラC−4が、撮影方向を自動で調整する機能、又は、画角を自動で調整する機能を有していない場合、モニタリング装置M−4を設置した作業員が、カメラC−4の撮影方向及び画角を手動で調整する必要がある。
作業員は、通信端末A1に表示される調整アシスト画面を参照することにより、カメラC−4の撮影方向及び画角を、モニタリング装置M−1におけるカメラC−1の撮影方向及び画角に容易に一致させることができる。以下、通信端末A1に表示される調整アシスト画面を用いたカメラC−4の撮影方向及び画角の調整について説明する。
(通信端末A1の動作)
図17は、図1に示す通信端末A1の動作を示すフローチャートである。以下、図17を参照しながら、通信端末A1の動作について説明する。
モニタリング装置M−4が映像記録装置R1と動作確認を開始した後に(図11のステップS418)、作業員は、通信端末A1を操作して、通信端末A1をネットワーク3に接続させる(ステップS501)。
通信端末A1において、参照データ取得部202は、映像記録装置R1(図4参照)のHDD55に保存されている参照画像データ511及び参照加速度データ521を取得する(ステップS502)。参照画像データ511は、モニタリング装置M−1がモニタリングしている間にカメラC−1によって撮影された静止画像である。参照加速度データ521は、モニタリング装置M−1が備える加速度センサ107によって検出された加速度のデータである。参照加速度データ521における加速度は、モニタリング装置M−1がモニタリングする間に検出される。
図17に示していないが、通信端末A1とモニタリング装置M−4とは、MQTTプロトコルに基づくコネクションを確立する。ここで確立されるコネクションにおいて、モニタリング装置M−4が、アシスト情報211をトピックとして送信するためにパブリッシャとして動作し、通信端末A1がサブスクライバとして動作する。
リアルタイム受信部201は、通信端末A1とモニタリング装置M−4との間に確立されたコネクションを介して、アシスト情報211の送信をモニタリング装置M−4に要求する(ステップS503)。アシスト情報211は、カメラC−4によって生成されたライブ用映像データ41Dと、モニタリング装置M−4の加速度センサ107により検出された加速度とを含む。リアルタイム受信部201は、アシスト情報211を受信するまで(ステップS504においてYes)、待機する。
モニタリング装置M−4において、アシスト情報送信部111は、通信端末A1からアシスト情報211の送信要求を受け付けた場合、通信端末A1とモニタリング装置M−4との間に確立されたコネクションを介して、アシスト情報211の送信を開始する。アシスト情報211は、通信端末A1からの送信停止の要求があるまで、継続して送信される。つまり、アシスト情報送信部111は、ライブ用映像データ41Dと、モニタリング装置M−4の加速度センサ107により検出された加速度をリアルタイムに通信端末A1に送信する。
通信端末A1において、リアルタイム受信部201がモニタリング装置M−4からのアシスト情報211を受信した場合(ステップS504においてYes)、調整アシスト部203が、アシスト情報211を用いてアシスト画面をタッチパネル204に表示する(ステップS505)。アシスト画面の表示内容の詳細については、後述する。
アシスト情報211に含まれるライブ用映像データ41Dが、リアルタイムに送信されている。このため、タッチパネル204に表示されるアシスト画面において、カメラC−4により撮影された映像がリアルタイムに表示される。アシスト情報211に含まれる加速度(モニタリング装置M−4の加速度センサ107により検出された加速度)の使用方法については、後述する。
作業員は、タッチパネル204に表示されたアシスト画面を見ながら、カメラC−4の撮影方向及び画角を手動で調整する。例えば、作業員は、モニタリング装置M−4の筐体の向きを手動で変えることにより、カメラC−4の撮影方向を調整する。作業員は、カメラC−4に設けられた画角調整用のダイヤルを回すことにより、カメラC−4の画角を調整する。
作業員は、カメラC−4の撮影方向及び画角の調整が終了した場合、タッチパネル204を操作して、アシスト画面の表示終了を通信端末A1に指示する。アシスト画面の表示終了を指示するための具体的な操作については、後述する。通信端末A1において、アシスト画面の表示終了が指示された場合(ステップS506においてYes)、リアルタイム受信部201は、アシスト情報211の送信停止をモニタリング装置M−4に要求して、図17に示す処理を終了する。モニタリング装置M−4において、アシスト情報送信部111は、アシスト情報211の送信停止の要求を受けた場合、アシスト情報211の送信を停止する。
(アシスト画面の内容)
図18は、通信端末A1のタッチパネル204に表示されるアシスト画面220の一例を示す図である。
図18を参照して、アシスト画面220は、映像表示領域221を含む。映像表示領域221には、ライブ用映像データ41Dと、参照画像データ511の輪郭画像とが表示される。参照画像データ511の輪郭画像は、ライブ用映像データ41Dの上に配置される。図18では、ライブ用映像データ41Dを実線で示し、参照画像データ511の輪郭画像を破線で示している。作業員は、映像表示領域221を参照することによって、モニタリング装置M−4におけるカメラC−4の撮影方向及び画角を、モニタリング装置M−1におけるカメラC−1の撮影方向及び画角に一致させるように、カメラC−4の撮影方向及び画角を調整することができる。
アシスト画面220は、水平角調整インジケータ222と、俯角調整インジケータ223と、左方向指示アイコン224と、右方向指示アイコン225と、下方向指示アイコン226と、上方向指示アイコン227と、拡大指示アイコン228と、縮小指示アイコン229と、手動調整指示アイコン223aと、調整終了ボタン223bとを含む。
手動調整指示アイコン223aは、モニタリング装置M−4を設置した作業者に対して、カメラC−4の撮影方向と画角の大まかな調整を手動で行うことを指示するアイコンである。手動調整指示アイコン223aがアシスト画面220に表示されている場合、手動調整指示アイコン223a及び調整終了ボタン223bを除く他の全てのインタフェース(水平角調整インジケータ222等)は、アシスト画面220に表示されない。調整終了ボタン223bは、カメラC−4の撮影方向及び画角の調整終了を通信端末A1に指示するためのインタフェースである。
調整アシスト部203は、ライブ用映像データ41Dと参照画像データ511との類似度をリアルタイムで演算している。本実施の形態では、類似度は、その値が大きくなるほど、ライブ用映像データ41Dと参照画像データ511とが一致している可能性が高いことを示す。調整アシスト部203は、類似度が所定の閾値を超えた場合、手動調整指示アイコン223aをアシスト画面から消去し、微調整のためのインタフェースをアシスト画面220に表示する。微調整のためのインタフェースは、図18において表示されているインタフェースのうち、手動調整指示アイコン223aを除く全てのインタフェースである。調整終了ボタン223bは、継続してアシスト画面220に表示される。
以下、微調整のためのインタフェースを用いたカメラC−4の撮影方向及び画角の調整について、カメラC−4が俯角及び水平角を個別に調整する機種である場合を例に説明する。
調整アシスト部203は、最初に、俯角調整インジケータ223と、下方向指示アイコン226と、上方向指示アイコン227とを表示する。つまり、調整アシスト部203は、カメラC−4の俯角の微調整を作業員に最初に実行させる。
俯角調整インジケータ223は、モニタリング装置M−1のカメラC−1の俯角と、モニタリング装置M−4のカメラC−4の俯角とが一致している度合いを示す。監視装置M−1,M−4における加速度センサ107は、互いに直行する3軸の方向の加速度を検出することができる。調整アシスト部203は、モニタリング装置M−4の加速度から各軸方向における重力方向の加速度成分を抽出し、参照加速度データ521からモニタリング装置M−1の各軸方向における重力方向の加速度成分を抽出する。調整アシスト部203は、モニタリング装置M−4における各軸方向の重力方向の加速度成分をモニタリング装置M−1における各軸方向の重力方向の加速度成分と比較する。調整アシスト部203は、モニタリング装置M−4における重力方向の加速度成分とモニタリング装置M−1における重力方向の加速度成分との差が小さいほど、俯角調整インジケータ223の値を100%に近づける。作業員は、俯角調整インジケータ223を参照することにより、モニタリング装置M−4のカメラC−4の俯角の調整を終了してもよいか否かを容易に判断できる。
下方向指示アイコン226及び上方向指示アイコン227は、カメラC−4の上下方向における移動方向を指示するためのアイコンである。図18では、下方向指示アイコン226及び上方向指示アイコン227の両者を表示しているが、実際には、アシスト画面220は、下方向指示アイコン226及び上方向指示アイコン227のうちいずれか一方のアイコンを表示する。
調整アシスト部203は、モニタリング装置M−4における重力方向の加速度とモニタリング装置M−1における重力方向の加速度との比較結果に基づいて、カメラC−4を上下方向のどちらの方向に向ければよいかを判断する。調整アシスト部203は、判断結果に基づいて、下方向指示アイコン226及び上方向指示アイコン227のうちいずれか一方を、アシスト画面220に表示する。
俯角調整インジケータ223の値が所定の閾値(例えば、95%)を超えた場合、調整アシスト部203は、俯角の調整が終了したと判断し、俯角の調整終了を作業員に通知する。調整アシスト部203は、続いて、カメラC−4の水平角の微調整を作業員に実行させる。具体的には、調整アシスト部203は、水平角調整インジケータ222と、左方向指示アイコン224と、右方向指示アイコン225とをアシスト画面220に表示する。
水平角調整インジケータ222は、モニタリング装置M−1におけるカメラC−1の水平角とモニタリング装置M−4におけるカメラC−4の水平角とが一致している度合いを示す。調整アシスト部203は、ライブ用映像データ41Dの輪郭画像と、参照画像データ511の輪郭画像とを比較し、2つの輪郭画像の一致度合いを算出する。調整アシスト部203は、一致度合いが大きいほど、水平角調整インジケータ222の値を100%に近づける。
左方向指示アイコン224及び右方向指示アイコン225は、カメラC−4を左右方向のうちどちらの方向に向ければよいかを指示するアイコンである。図18では、左方向指示アイコン224及び右方向指示アイコン225の両者が、アシスト画面220に表示されている。しかし、実際には、左方向指示アイコン224及び右方向指示アイコン225のうちいずれか一方のアイコンが、水平角調整インジケータ222とともにアシスト画面220に表示される。
調整アシスト部203は、ライブ用映像データ41Dの輪郭画像と、参照画像データ511の輪郭画像との比較結果に基づいて、カメラC−4を左右方向のどちらの方向に向ければよいかを判断する。調整アシスト部203は、判断結果に基づいて、左方向指示アイコン224及び右方向指示アイコン225のうちいずれか一方を、アシスト画面220に表示する。調整アシスト部203は、2つの輪郭画像の一致度合いが所定の値を超えた場合、水平方向の調整を終了してもよいことを通知する。
ここで、カメラC−4の俯角を、水平角よりも先に調整する理由を説明する。カメラC−4の俯角の調整を終了する前に2つの輪郭画像の一致度合いを算出した場合、この一致度合いは、2つの輪郭画像の垂直方向のずれと、2つの輪郭画像の水平方向のずれとの両者を包含することになる。調整アシスト部203は、2つの輪郭画像の一致度合いが2つの輪郭画像の垂直方向のずれを含まないようにするために、カメラC−4の俯角の調整が終了した後に、2つの輪郭画像の一致度合いを算出して、水平角調整インジケータ222の表示内容を決定する。作業員は、水平角調整インジケータ222を参照することにより、モニタリング装置M−4におけるカメラC−4の方位角の調整を終了してもよいか否かを容易に判断できる。
調整アシスト部203は、カメラC−4の水平角の調整終了を作業員に通知した後に、カメラC−4の画角の微調整を作業員に実行させる。具体的には、調整アシスト部203は、拡大指示アイコン228及び縮小指示アイコン229をアシスト画面220に表示する。
拡大指示アイコン228及び縮小指示アイコン229は、カメラC−4の画角を大きくすればよいか、小さくすればよいかを指示するためのアイコンである。調整アシスト部203は、ライブ用映像データ41Dの輪郭画像と、参照画像データ511の輪郭画像との比較結果に基づいて、モニタリング装置M−1におけるカメラC−1の画角とモニタリング装置M−4におけるカメラC−4の画角との一致度合いを算出する。調整アシスト部203は、算出した画角の一致度合いに基づいて、拡大指示アイコン228及び縮小指示アイコン229のうちいずれか一方のアイコンをアシスト画面220に表示する。作業員は、アシスト画面220に表示される拡大指示アイコン228又は縮小指示アイコン229に基づいて、カメラC−4の画角を容易に調整できる。調整アシスト部203は、画角の一致度合いが所定の値を超えた場合、画角の調整を終了してもよいことを通知してもよい。
作業者は、カメラC−4の撮影方向及び画角の調整が終了した場合、アシスト画面220に表示されている調整終了ボタン223bをタップする。調整終了ボタン223bがタップされた場合、通信端末A1は、撮影方向及び画角の調整終了をモニタリング装置M−4に通知する。モニタリング装置M−4は、調整終了が通信端末A1から通知された場合、モニタリングを開始する。
ここまで、カメラC−4の俯角及び水平角を個別に調整する例を説明した。しかし、カメラC−4の撮影方向を上下方向及び左右方向に同時に移動させることができるように、カメラC−4が固定されている場合がある。この場合、カメラC−4の撮影方向を上下方向のみに移動させたり、左右方向のみに移動させたりすることは困難である。従って、カメラC−4を撮影方向を上下方向及び左右方向に同時に移動させることができる場合、俯角調整のためのインタフェース及び水平角調整のためのインタフェースの両者を、手動調整が終了したタイミングで同時に表示してもよい。
{3.モニタリングシステム100の効果}
以上説明したように、映像記録装置R1は、モニタリング装置M−1で故障が発生した場合、モニタリング装置M−1の代替装置の候補としてモニタリング装置M−4を検出する。モニタリング装置M−4の固有特徴データ341をモニタリング装置M−1の使用中特徴データ312と比較する。映像記録装置R1は、その比較結果に基づいて、検出したモニタリング装置M−4をモニタリング装置M−1の代替装置として使用できるか否かを判断する。この結果、モニタリング装置M−1のモニタリング条件を引き継ぐことのできないモニタリング装置が、モニタリング装置M−1の代替装置として使用されることを防ぐことができ、モニタリングシステム100におけるモニタリング条件が意図せず変更されることを防ぐことができる。
映像記録装置R1は、モニタリング装置M−4の固有特徴データ341をモニタリング装置M−1の使用中特徴データ312と比較する。その比較結果に基づいて、モニタリング装置M−4が元来有する特徴が、モニタリング装置M−1がモニタリングで使用している特徴を包含すると判断された場合、モニタリング装置M−4が、モニタリング装置M−1の代替装置として決定される。モニタリング装置M−1が元来有する特徴と、モニタリング装置M−4が元来有する特徴とが一致しない場合であっても、モニタリング装置M−4をモニタリング装置M−1の代替装置として決定することができるため、モニタリング装置M−1の代替装置を容易に選定することができる。
映像記録装置R1は、モニタリング装置M−4をモニタリング装置M−1の代替装置に決定した場合、モニタリング装置M−1のモニタリング条件が設定された設定ファイル41をモニタリング装置M−4に送信する。モニタリング装置M−4は、映像記録装置R1から送信された設定ファイル41に基づいて、自装置におけるモニタリング条件を設定する。この結果、モニタリング装置M−1のモニタリング条件と異なるモニタリング条件がモニタリング装置M−4に設定されることを防ぐことができる。
通信端末A1は、モニタリング装置M−1の代替装置としてモニタリング装置M−4が設置された場合、モニタリング装置M−4におけるカメラC−4の撮影方向及び画角を調整するためのアシスト画面220を表示する。作業員は、アシスト画面220を参照することで、カメラC−4の撮影方向及び画角がモニタリング装置M−1におけるカメラC−1の撮影方向及び画角と一致するように、カメラC−4の撮影方向及び画角を容易に調整することができる。
通信端末A1は、モニタリング装置M−1における重力方向の加速度と、モニタリング装置M−4における重力方向の加速度とを比較することにより、モニタリング装置M−4におけるカメラC−4の撮影方向の俯角が適切で否かを判断する。これにより、カメラC−4の俯角を、モニタリング装置M−1のカメラC−4の俯角に合わせることが容易となる。また、カメラC−4の俯角を決定した上でカメラC−4の水平角を決定することができるため、カメラC−4の撮影方向を決定する作業を簡略化することができる。
[第2の実施の形態]
{1.モニタリングシステム200の構成}
{1.1.全体構成}
図19は、本発明の第2の実施の形態に係るモニタリングシステム200の構成を示す図である。図19を参照して、モニタリングシステム200は、モニタリング装置M−1〜M−3,M−5と、映像記録装置R2と、モニタリング用端末2と、通信端末A1とを備える。
映像記録装置R2は、記録用映像データ11C〜31Cをモニタリング装置M−1〜M−3から取得し、取得した記録用映像データ11C〜31CをHDDに保存する。映像記録装置R2は、モニタリング装置M−1〜M−3のうち、オペレータにより指定されたモニタリング装置からライブ用映像データ11D〜31Dを取得してモニタに表示する。
モニタリング装置M−5は、モニタリング装置M−1が故障した場合に、モニタリング装置M−1の代替装置として使用される。モニタリング装置M−5は、送信条件を満たすイベント検出した場合、記録用映像データ51Cを映像記録装置R2に送信する。モニタリング装置M−5は、映像記録装置R2の要求に応じて、ライブ用映像データ51Dを映像記録装置R2に送信する。
上記第1の実施の形態では、映像記録装置R1が、モニタリング装置M−4を、故障したモニタリング装置M−1の代替装置として使用できるか否かを判断した。これに対して、本実施の形態では、モニタリング装置M―5が、故障したモニタリング装置M−1の代替装置として動作できるか否かを判断する。
{1.2.モニタリング装置M−5の構成}
図20は、図19に示すモニタリング装置M−5の構成を示す機能ブロック図である。図20を参照して、モニタリング装置M−5は、カメラC−5と、イベント検出装置E−5と、記憶装置151と、動作管理部152と、特徴データ取得部153と、判断部154と、アシスト情報送信部155を備える。
カメラC−5の構成は、図2に示すカメラC−1と同じである。イベント検出装置E−5の構成は、図2に示すイベント検出装置E−1と同じである。アシスト情報送信部155は、図3に示すアシスト情報送信部111と同じである。このため、カメラC−5、イベント検出装置E−5、アシスト情報送信部155についての詳細な説明を省略する。
(記憶装置151)
記憶装置151は、不揮発性の記憶装置であり、例えば、フラッシュメモリである。記憶装置151は、特徴データ35と、設定ファイル45とを保存する。
特徴データ35は、モニタリング装置M−5が有する特徴を記録したデータである。特徴データ35は、固有特徴データ351と、使用中特徴データ352とを含む。固有特徴データ351は、モニタリング装置M−5が元来有する特徴を記録したデータである。使用中特徴データ352は、モニタリング装置M−5が元来有する特徴のうち、モニタリングに用いられている特徴を記録したデータである。
設定ファイル45は、モニタリング装置M−5のモニタリング条件を記録したファイルである。設定ファイル45は、動作管理部152がモニタリング装置M−1の設定ファイル41を修正することにより生成される。
動作管理部152は、探索パケット81を映像記録装置R2から受信した場合、探索応答パケット82を映像記録装置R2に送信する。動作管理部152は、映像記録装置R2から設定ファイル41を受信した場合、受信した設定ファイル41に基づいてモニタリング装置M−5のモニタリング条件を変更する。
特徴データ取得部153は、動作管理部152が探索応答パケット82を映像記録装置R2に送信した場合、モニタリング装置M−1の特徴データ31を映像記録装置R2から取得する。
判断部154は、故障したモニタリング装置M−1の特徴データ31と、モニタリング装置M−5の特徴データ35とに基づいて、モニタリング装置M−5を故障装置の代替装置として使用できるか否かを判断する。本実施の形態では、判断部154が、故障したモニタリング装置M−1の使用中特徴データ312とモニタリング装置M−5の固有特徴データ351とを用いる場合を説明するが、これに限られるものではない。
{1.3.映像記録装置R2の構成}
図21は、図19に示す映像記録装置R2の構成を示す機能ブロック図である。図21を参照して、映像記録装置R2は、映像記録装置R1が備える管理部56(図4参照)に代えて、管理部56Aを備える。このため、管理部56Aを除く映像記録装置R2のその他の構成についての詳細な説明を省略する。
管理部56Aは、管理部56が備える特徴データ取得部562に代えて、特徴データ送信部566を備える。また、管理部56Aは、判断部563を備えない。これらの点を除き、管理部56Aは、管理部56と同様の構成を有する。
特徴データ送信部566は、モニタリング装置M−1の特徴データ34の送信要求をモニタリング装置M−5から受けた場合、モニタリング装置M−1の特徴データ34をモニタリング装置M−5に送信する。特徴データ送信部566以外の管理部56Aの構成については、上記第1の実施の形態と同じであるため、その説明を省略する。
{2.モニタリングシステム200の動作}
{2.1.代替装置の候補の探索}
映像記録装置R2は、モニタリング装置M−1が故障したと判断した場合、モニタリング装置M−1における故障発生と、モニタリング装置M−1の交換を促すメッセージをモニタ54に表示する。メッセージが映像記録装置R2のモニタ54に表示されるまでのモニタリングシステム200の動作は、上記第1の実施の形態と同様であるため、その説明を省略する。
図22は、モニタリングシステム200の動作を示すシーケンス図である。図22を参照して、映像記録装置R2において、探索部561は、故障したモニタリング装置M−1の代替装置を探索するために、探索パケット81の送信を開始する(ステップS601)。モニタリング装置M−5において、動作管理部152は、映像記録装置R2により送信された探索パケット81を受けた場合、探索応答パケット82を映像記録装置R2に送信する(ステップS602)。ステップS601,S602は、図11に示すステップS404,S406と同じ処理である。
{2.2.管理データ57の更新}
映像記録装置R2において、探索部561が探索応答パケット82を受けた場合、更新部564は、モニタリング装置M−1の代替装置の候補が検出されたと判断して、管理データ57を更新する(ステップS603)。ステップS603は、図11に示すステップS407と同様の処理である。
図23は、ステップS603で更新された管理データ57を示す図である。図23に示すように、更新部564は、モニタリング装置M−5のレコードとして、行番号が「0004」に設定されたレコードを管理データ57に追加する。モニタリング装置M−5からの探索応答パケット82に含まれる装置型番及びシリアル番号が、モニタリング装置M−5のレコードに記録される。ステップS603の時点で、モニタリング装置M−5が、モニタリング装置M−1の代替装置として動作するか否かが未定であるため、モニタリング装置M−5のレコードにおいて、状態は「未登録」と記録される。装置型番、シリアル番号及び状態以外のデータは、ステップS603の実行時点では、モニタリング装置M−5のレコードに記録されない。
つまり、ステップS603の実行時点では、モニタリング装置M−5の固有特徴データ351及び使用中特徴データ352は、モニタリング装置M−5のレコードに記録されない。映像記録装置R2は、モニタリング装置M−5が故障したモニタリング装置M−1の代替装置として動作できるか否かを判断しないため、特徴データ35をステップS603の処理の実行時点で取得する必要がないためである。
{2.3.コネクションの確立}
図22を参照して、モニタリング装置M−5と映像記録装置R2とは、MQTTプロトコルに基づくコネクションE,Fを確立する(ステップS604)。コネクションEでは、モニタリング装置M−5がパブリッシャであり、映像記録装置R2がサブスクライバである。コネクションFでは、映像記録装置R2がパブリッシャであり、モニタリング装置M−5がサブスクライバである。ステップS604は、ステップS301,S302(図10参照)と同じ処理であるため、その詳細な説明を省略する。
{2.4.動作判断}
モニタリング装置M−5において、特徴データ取得部153は、故障したモニタリング装置M−1の代替装置として動作可能か否かを判断するために、モニタリング装置M−1の使用中特徴データ312を取得する(ステップS605〜S606)。
具体的には、特徴データ取得部153は、故障したモニタリング装置M−1の使用中特徴データ312の送信を、コネクションFを介して要求する(ステップS605)。モニタリング装置M−5は、ネットワーク3に接続してからコネクションE,Fの確立までにおいて、故障したモニタリング装置M−1を特定するデータを保持していない。このため、特徴データ取得部153は、ステップS605において、映像記録装置R2が故障したと判断した装置の使用中特徴データの送信を要求する。
映像記録装置R2において、特徴データ送信部566は、特徴データ取得部153の要求を受けた場合、故障したモニタリング装置M−1の使用中データ312をHDD55から読み出す。特徴データ送信部566は、その読み出した使用中特徴データ312を、コネクションFを介してモニタリング装置M−5に送信する(ステップS606)。モニタリング装置M−5における特徴データ取得部153は、その送信された使用中特徴データ312を取得する。
モニタリング装置M−5において、特徴データ取得部153は、その取得した使用中特徴データ312を、判断部154に出力する。判断部154は、使用中特徴データ312が入力された場合、モニタリング装置M−5の固有特徴データ351を記憶装置151から読み出す。
判断部154は、固有特徴データ351を使用中特徴データ312と比較し、その比較結果に基づいて、モニタリング装置M−5が故障したモニタリング装置M−1の代替装置として動作できるか否かを決定する(ステップS607)。ステップS607は、図11に示すステップS411と同じ処理であるため、その詳細な説明を省略する。
モニタリング装置M−5が元来有する特徴がモニタリング装置M−1でモニタリングに使用されていた特徴を含んでいない場合、判断部154は、モニタリング装置M−5が故障したモニタリング装置M−1の代替装置として動作できないと判断する。この場合、モニタリング装置M−5と映像記録装置R2とは、図22に示されていない以下の処理を実行する。
モニタリング装置M−5において、動作管理部152は、判断部154の判断結果を、コネクションFを介して映像記録装置R2に送信する。モニタリング装置M−5と映像記録装置R2とは、コネクションE,Fを切断する。映像記録装置R2は、故障したモニタリング装置M−1の代替装置の候補の探索を再開する。
一方、モニタリング装置M−5が元来有する特徴がモニタリング装置M−1でモニタリングに使用されていた特徴を含んでいる場合、判断部154は、モニタリング装置M−5が故障したモニタリング装置M−1の代替装置として動作できると判断する。この場合、モニタリング装置M−5は、故障したモニタリング装置M−1のモニタリング条件と同じ条件でモニタリングを実行するために、ステップS608〜S611を実行する。
モニタリング装置M−5において、動作管理部152は、故障したモニタリング装置M−1の設定ファイル41の送信を、コネクションFを介して要求する(ステップS608)。モニタリング装置M−5は、上述のように、モニタリング装置M−1を特定するデータを保持していない。このため、動作管理部152は、映像記録装置R2が故障したと判断した装置(モニタリング装置M−1)の設定ファイルの送信を要求する。
映像記録装置R2において、装置管理部565は、動作管理部152の要求を受けた場合、故障したモニタリング装置M−1の設定ファイル41をHDD55から読み出す。装置管理部565は、その読み出した設定ファイル41を、コネクションFを介してモニタリング装置M−5に送信する(ステップS609)。
モニタリング装置M−5において、動作管理部152は、映像記録装置R2から送信された設定ファイル41を受ける。動作管理部152は、設定ファイル41を修正することにより、モニタリング装置M−5の設定ファイル45を生成する(ステップS610)。ステップS610は、図12に示すステップS415と同じ処理であるため、その詳細な説明を省略する。
動作管理部152は、ステップS610で生成した設定ファイル45に基づいて、モニタリング装置M−5のモニタリング条件を変更する(ステップS611)。これにより、モニタリング装置M−5は、撮影方向及び画角を除いて、故障したモニタリング装置M−1のモニタリング条件と同じ条件でモニタリングを行うことができる。
{2.5.設定ファイルのバックアップ}
動作管理部152は、ステップS610で生成した設定ファイル45を、コネクションEを介して映像記録装置R2に送信する(ステップS612)。映像記録装置R2において、装置管理部565は、動作管理部152により送信された設定ファイル45をHDD55に保存する。これにより、モニタリング装置M−5の設定ファイル45が、映像記録装置R2にバックアップされる。
動作管理部152は、ステップS610で生成した設定ファイル45の内容に基づいて、記憶装置151に保存されているモニタリング装置M−5の使用中特徴データ352を更新する(ステップS613)。動作管理部152は、記憶装置151に保存されているモニタリング装置M−5の特徴データ35を、コネクションEを介して送信する(ステップS614)。ステップS614で送信される特徴データ35は、ステップS613で更新された使用中特徴データ352を含む。
映像記録装置R2において、装置管理部565が、ステップS614で送信された特徴データ35を受ける。装置管理部565は、ステップS612で送信された設定ファイル45と、ステップS614で送信された特徴データ35とを受けることにより、モニタリング装置M−5が故障したモニタリング装置M−1の代替装置として動作すると判断する。
更新部564は、装置管理部565の判断に基づいて、管理データ57を更新する(ステップS615)。ステップS615により、管理データ57は、図23に示す内容から、図24に示す内容に更新される。具体的には、更新部564は、ステップS614で送信された特徴データ35を、図23に示す管理データ57におけるモニタリング装置M−5のレコードに記録する。更新部564は、HDD55に保存された設定ファイル45のファイル名を、図23に示す管理データ57におけるモニタリング装置M−5のレコードに記録する。更新部564は、モニタリング装置M−5のレコードにおける状態を「正常」変更する。モニタリング装置M−5のレコードにおいて、名称、表示枠番号及び記録チャネル番号は、モニタリング装置M−1の設定内容を引き継ぐ。
モニタリング装置M−5は、カメラC−5の撮影方向及び画角を調整する。モニタリング装置M−5の撮影方向及び画角の調整は、上記実施の形態と同様であるため、その説明を省略する。
モニタリング装置M−5は、図22に示していないが、カメラC−4の撮影方向及び画角の調整終了を映像記録装置R2に通知し、モニタリングを開始する。その後、モニタリング装置M−5と映像記録装置R2とは、コネクションE,Fを使用して、互いの動作確認を繰り返し実行する。(ステップS616)。
{3.モニタリングシステム200の効果}
以上説明したように、モニタリング装置M−5は、故障したモニタリング装置M−1の使用中特徴データ312を映像記録装置R2から取得し、取得した使用中特徴データ312をモニタリング装置M−5の固有特徴データ351と比較する。モニタリング装置M−5は、その比較結果に基づいて、モニタリング装置M−5が故障したモニタリング装置M−1の代替装置として動作できるか否かを判断する。この結果、モニタリング装置M−1のモニタリング条件を引き継ぐことのできないモニタリング装置が、モニタリング装置M−1の代替装置として使用されることを防ぐことができ、モニタリングシステム200におけるモニタリング条件が意図せず変更されることを防ぐことができる。
また、モニタリング装置M−1が元来有する特徴と、モニタリング装置M−5が元来有する特徴とが一致しない場合であっても、モニタリング装置M−5をモニタリング装置M−1の代替装置として決定することができるため、モニタリング装置M−1の代替装置を容易に選定することができる。
モニタリング装置M−5は、故障したモニタリング装置M−1の代替装置として動作する場合、モニタリング装置M−1のモニタリング条件が設定された設定ファイル41を取得する。モニタリング装置M−5は、取得した設定ファイル41に基づいて、モニタリング装置M−5のモニタリング条件を設定する。この結果、モニタリング装置M−1のモニタリング条件と異なるモニタリング条件がモニタリング装置M−5に設定されることを防ぐことができる。
[変形例1]
上記実施の形態では、動作確認及びモニタリング装置の交換時において、MQTTプロトコルが用いられる例を説明した。しかし、モニタリング装置及び映像記録装置R1は、動作確認及びモニタリング装置の交換時において、MQTTプロトコル以外のプロトコルを用いてもよい。具体的には、映像記録装置R1が、メッセージを送信するパブリッシャ及びメッセージを受信するサブスクライバの両者として動作することができ、かつ、モニタリング装置M−4がパブリッシャ及びサブスクライバとして動作することができるプロトコルであればよい。具体的には、モニタリング装置及び映像記録装置R1は、双方向に通信することができるプロトコルを用いて通信することができればよい。このとき、モニタリング装置と映像記録装置R1とが双方向で通信する場合に用いられるコネクションの数は、特に限定されない。モニタリング装置M−1がモニタリング装置M−5と交換される場合も同様である。
[変形例2]
上記実施の形態では、モニタリングシステム100,200が、通信端末A1を備える例を説明したが、これに限られない。モニタリングシステム100,200は、通信端末A1を備えなくてもよい。この場合であっても、映像記録装置R1は、モニタリング装置M−1をモニタリング装置M−4と交換する場合において、モニタリング装置M−4が元来有する特徴がモニタリング装置M−1で使用している特徴を包含しているか否かを判断することができるため、モニタリングシステム100におけるモニタリング条件が意図せず変更されることを防ぐことができる。モニタリング装置M−1がモニタリング装置M−5と交換される場合も同様である。
[変形例3]
上記実施の形態では、映像記録装置R1が、図11に示すステップS411において、モニタリング装置M−1の使用中特徴データ312をモニタリング装置M−4の固有特徴データ341と比較する例を説明したが、これに限られない。映像記録装置R1において、判断部563は、モニタリング装置M−1の固有特徴データ311をモニタリング装置M−4の固有特徴データ341と比較して、モニタリング装置M−4が、モニタリング装置M−1が元来有する特徴を包含しているか否かを判断してもよい。つまり、判断部563は、モニタリング装置M−1が有する特徴を記録するデータと、モニタリング装置M−4が有する特徴を記録するデータとに基づいて、モニタリング装置M−4をモニタリング装置M−1の代替装置として使用できるか否かを判断すればよい。同様に、モニタリング装置M−5は、モニタリング装置M−1の固有特徴データ311をモニタリング装置M−5の固有特徴データ351と比較してもよい。
[変形例4]
上記実施の形態では、モニタリング装置M−4がモニタリング装置M−1の代替装置に決定された場合、装置管理部565が、モニタリング装置M−1の設定ファイル41をモニタリング装置M−4に送信する例を説明したが、これに限られない。装置管理部565は、モニタリング装置M−1の設定ファイル41をモニタリング装置M−4に送信しなくてもよい。例えば、通信端末A1が、通信端末A1が備えるフラッシュメモリに保存されている設定ファイル41を、モニタリング装置M−4に送信してもよい。モニタリング装置M−1がモニタリング装置M−5と交換される場合も同様である。
[変形例5]
上記第1の実施の形態では、映像記録装置R1が管理部56を備える例を説明したが、これに限られない。映像記録装置R1が管理部56を備えていなくてもよい。映像記録装置R1とは別の管理装置が、管理部56を備えるとともに、ネットワーク3に接続されていればよい。上記第実施の形態においても、映像記録装置R2とは別の管理装置が、管理部57Aを備えるとともに、ネットワーク3に接続されていてもよい。
[変形例6]
上記実施の形態では、モニタリング装置M−1が故障した場合、映像記録装置R1が、探索パケット81をブロードキャストする例を説明した。しかし、モニタリング装置M−1の代替装置であるモニタリング装置M−4は、モニタリング装置M−1が送信する探索パケット81に対応していない場合がある。この場合、モニタリング装置M−4は、探索パケット81を受信することができない。映像記録装置R1は、モニタリング装置M−4が探索パケット81を受信できるようにするために、モニタリング装置M−4が対応するプロコトルを事前に特定してもよい。
具体的には、モニタリング装置M−1が故障した場合、映像記録装置R1は、モニタリング装置M−1の代わりに用いられるモニタリング装置M−4のメーカ名及び機種名の入力を受け付ける。映像記録装置R1は、モニタリング装置のメーカ名と、モニタリング装置の機種名と、モニタリング装置が対応しているプロトコルとを対応付けたプロトコルデータを保持している。映像記録装置R1は、プロトコルデータを参照して、入力されたモニタリング装置M−4及び機種名に対応する少なくとも1つのプロトコルを特定する。探索部561(図4参照)は、特定された少なくとも1つのプロトコルの各々に準拠する探索パケット81をブロードキャストする。
これにより、モニタリング装置M−4は、探索部561によりブロードキャストされる探索パケット81を受信することができる。モニタリング装置M−4は、2つ以上のプロトコルのうちいずれか1つのプロトコルに準拠した探索応答パケット82を映像記録装置R1に送信する。
なお、映像記録装置R1は、モニタリング装置M−4のメーカ名及び機種名とともに、モニタリング装置M−4の接続情報(IPアドレスなど)の入力を受け付けてもよい。この場合、探索部561は、探索パケット81をブロードキャストしなくてもよい。探索部561は、入力されたモニタリング装置M−4の接続情報に基づいて、探索パケット81の宛先をモニタリング装置M−4に設定して、モニタリング装置M−4に送信する。また、映像記録装置R1は、モニタリング装置M−1〜M−3の各々のプロトコルを、上記と同様に特定してもよい。
上記第2の実施の形態においても、映像記録装置R2は、モニタリング装置M−5が探索パケット81を受信できるようにするために、モニタリング装置M−5が対応するプロコトルを事前に特定してもよい。
[変形例7]
上記実施の形態では、映像記録装置R1が、固有特徴データ311及び使用中特徴データ312をモニタリング装置M−1から取得する例を説明したが、これに限られない。映像記録装置R1は、モニタリング装置M−1以外の装置から固有特徴データ311を取得し、取得した固有特徴データ311とHDD55に記憶されている設定ファイル41とに基づいて、使用中特徴データ312を生成する。
図25は、変形例7に係るモニタリングシステム100Aの構成を示す図である。図25に示すように、モニタリングシステム100Aは、図1に示すモニタリングシステム100が備える構成に加えて、特徴サーバCSを備える。特徴サーバCSは、ネットワーク3に接続されており、映像記録装置R1と通信する。
特徴サーバCSは、特徴データベースDを有する。特徴データベースDは、モニタリング装置M−1〜M−4を含む様々なモニタリング装置の固有特徴データを保存している。また、特徴データベースDにおいて、固有特徴データは、モニタリング装置のメーカ名及び機種名と対応付けられている。
モニタリングシステム100Aにおいて、映像記録装置R1は、モニタリング装置M−1のメーカ名及び機種名の入力を受け付ける。映像記録装置R1の特徴データ取得部562は、特徴データベースDを参照して、モニタリング装置M−1のメーカ名及び機種名に対応する固有特徴データを、モニタリング装置M−1の固有特徴データ311として特徴サーバCSから取得する。更新部564は、取得された固有特徴データ311を管理データ57に記録する。
また、映像記録装置R1の装置管理部565は、取得した固有特徴データ311と、HDD55に記録されたモニタリング装置M−1の設定ファイル41とに基づいて、モニタリング装置M−1の使用中特徴データ312を生成する。更新部564は、生成された使用中特徴データ312を管理データ57に記録する。
図25に示す例では、映像記録装置R1は、固有特徴データ311を特徴サーバCSから取得しているが、映像記録装置R1は、特徴データベースDをHDD55に保存しておいてもよい。この場合、映像記録装置R1は、特徴サーバCSから特徴データベースDを取得してもよいし、USB(Universal Serial Bus)メモリ等の記憶媒体から特徴データベースDを取得してもよい。また、映像記録装置R1は、モニタリング装置M−4の固有特徴データ341をモニタリング装置M−4以外の装置から取得してもよい。
[変形例8]
上記第1の実施の形態では、通信端末A1を用いて、カメラC−4の撮影方向及び画角を調整する例を説明したが、これに限られない。モニタリングシステム100は、通信端末A1を用いずにカメラC−4の撮影方向及び画角を調整してもよい。上記第2の実施の形態についても同様である。
例えば、モニタリング装置M−4が、図5に示すリアルタイム受信部201と、参照データ取得部202と、調整アシスト部203を備えていてもよい。この場合、モニタリング装置M−4がアシスト画面220を生成する。モニタリング装置M−4は、モニタリング装置M−4とNTSC(National Television System Committee)ケーブルにより接続されたモニタに、生成したアシスト画面を出力する。作業者は、モニタに表示されたアシスト画面220の表示に従って、カメラC−4の撮影方向及び画角を手動で調整する。なお、モニタとモニタリング装置M−4とを接続するケーブルは、NTSCケーブルでなくてもよく、アシスト画面の映像信号をモニタリング装置M−4からモニタに出力することができるケーブルであればよい。
[変形例9]
上記実施の形態において、カメラC−4の撮影方向及び画角の調整終了の指示に用いられる調整終了ボタン223bが通信端末A1に表示されるアシスト画面220に表示される例を説明したが、これに限られない。アシスト画面220が調整終了ボタン223bを表示しなくてもよい。この場合、モニタリング装置M−4は、カメラC−4に予め設けられているボタン(例えば、初期化ボタン)が長押しされた場合に、カメラC−4の撮影方向及び画角の調整が終了したと判断すればよい。あるいは、モニタリング装置M−4は、カメラC−4の手動操作が所定の時間継続して行われなかった場合、カメラC−4の撮影方向及び画角の調整が終了したと判断してもよい。上記第2の実施の形態についても同様である。
[変形例10]
上記実施の形態において、映像記録装置R1,R2がHDD55を備える例を説明したが、これに限られない。映像記録装置R1,R2は、HDD55に代えて、SSDを備えてもよい。また、映像記録装置R1,R2は、HDD55及びSSDの両者を備えてもよい。この場合、HDD55が、記録用映像データを保存し、SSDが、設定ファイル41〜44及び管理データ57を保存するようにしてもよい。つまり、映像記録装置R1は、HDD55に記憶されている各種データを、複数の記憶装置に分散して保存してもよい。
[その他の変形例]
また、上記実施形態で説明したモニタリング装置M−1〜M−5及び映像記録装置R1,R2において、各ブロックは、LSIなどの半導体装置により個別に1チップ化されても良いし、一部又は全部を含むように1チップ化されても良い。なお、ここでは、LSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。
また、集積回路化の手法はLSIに限るものではなく、専用回路又は汎用プロセサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。
また、上記各実施形態の各機能ブロックの処理の一部または全部は、プログラムにより実現されるものであってもよい。そして、上記各実施形態の各機能ブロックの処理の一部または全部は、コンピュータにおいて、中央演算装置(CPU)により行われる。また、それぞれの処理を行うためのプログラムは、ハードディスク、ROMなどの記憶装置に格納されており、ROMにおいて、あるいはRAMに読み出されて実行される。
また、上記実施形態の各処理をハードウェアにより実現してもよいし、ソフトウェア(OS(オペレーティングシステム)、ミドルウェア、あるいは、所定のライブラリとともに実現される場合を含む。)により実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。
例えば、上記実施形態(変形例を含む)の各機能部を、ソフトウェアにより実現する場合、図26に示したハードウェア構成(例えば、CPU、ROM、RAM、入力部、出力部等をバスBusにより接続したハードウェア構成)を用いて、各機能部をソフトウェア処理により実現するようにしてもよい。
また、上記実施形態における処理方法の実行順序は、必ずしも、上記実施形態の記載に制限されるものではなく、発明の要旨を逸脱しない範囲で、実行順序を入れ替えることができるものである。
前述した方法をコンピュータに実行させるコンピュータプログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体は、本発明の範囲に含まれる。ここで、コンピュータ読み取り可能な記録媒体としては、例えば、フレキシブルディスク、ハードディスク、CD−ROM、MO、DVD、DVD−ROM、DVD−RAM、大容量DVD、次世代DVD、半導体メモリを挙げることができる。
上記コンピュータプログラムは、上記記録媒体に記録されたものに限られず、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク等を経由して伝送されるものであってもよい。
また、文言「部」は、「サーキトリー(circuitry)」を含む概念であってもよい。サーキトリーは、ハードウェア、ソフトウェア、あるいは、ハードウェアおよびソフトウェアの混在により、その全部または一部が、実現されるものであってもよい。
なお、本発明の具体的な構成は、前述の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。
100,200 モニタリングシステム
M−1〜M−5 モニタリング装置
C−1〜C−5 カメラ
E−1〜E−5 イベント検出装置
R1,R2 映像記録装置
A1 通信端末
107 加速度センサ
201 リアルタイム受信部
202 参照データ取得部
203 調整アシスト部
561 探索部
562 特徴データ取得部
563 判断部
564 更新部
565 装置管理部

Claims (21)

  1. 所定の位置に設置された第1モニタリング装置と、
    前記第1モニタリング装置の識別データと、前記第1モニタリング装置が有する特徴を記録する第1特徴データとを対応付けた管理データを用いて、前記第1モニタリング装置を管理する管理装置と、を備え、
    前記管理装置は、
    前記第1モニタリング装置の代わりとなる代替装置の候補を探索する探索部と、
    第2モニタリング装置が前記代替装置の候補として前記探索部により検出された場合、前記第2モニタリング装置が有する特徴を記録する第2特徴データを取得する特徴データ取得部と、
    前記第1特徴データと前記第2特徴データとに基づいて、前記第2モニタリング装置を前記代替装置として使用できるか否かを判断する判断部と、
    前記判断部が前記第2モニタリング装置を前記代替装置として使用できると判断した場合、前記第1モニタリング装置の代替装置として前記第2モニタリング装置を管理対象に含めるように前記管理データを更新する更新部と、を備えるモニタリングシステム。
  2. 請求項1に記載のモニタリングシステムであって、
    前記第1特徴データは、
    前記第1モニタリング装置が元来有する特徴のうち、モニタリングで用いられている特徴を記録した使用中特徴データ、を含み、
    前記第2特徴データは、
    前記第2モニタリング装置が元来有する特徴を記録した固有特徴データ、を含み、
    前記判断部は、前記使用中特徴データと前記固有特徴データとに基づいて、前記第2モニタリング装置を前記代替装置として使用できるか否かを判断するモニタリングシステム。
  3. 請求項1又は請求項2に記載のモニタリングシステムであって、
    前記管理装置は、さらに、
    前記判断部が前記第2モニタリング装置を前記代替装置として使用できると判断した場合、前記第1モニタリング装置についての設定ファイルを取得して前記第2モニタリング装置に送信する装置管理部、を備えるモニタリングシステム。
  4. 請求項1ないし請求項3のいずれかに記載のモニタリングシステムであって、さらに、
    前記第2モニタリング装置と接続される通信端末、を備え、
    前記通信端末は、
    前記第2モニタリング装置の撮像状態を特定するアシスト情報をリアルタイムで前記第2モニタリング装置から受信するリアルタイム受信部と、
    前記第1モニタリング装置により予め生成され、前記所定の位置に設置された前記第1モニタリング装置の撮像状態を特定する参照データを取得する参照データ取得部と、
    前記アシスト情報と前記参照データとを用いて、前記第2のモニタリング装置の撮像状態を調整するためのアシスト画面を表示する調整アシスト部と、を備えるモニタリングシステム。
  5. 請求項4に記載のモニタリング装置であって、
    前記アシスト情報は、前記第2モニタリング装置により撮影された画像データ、を含み、
    前記参照データは、前記所定の位置に設定された前記第1モニタリング装置により予め撮影された参照画像データ、を含むモニタリングシステム。
  6. 請求項5に記載のモニタリングシステムであって、
    前記第1モニタリング装置及び第2モニタリング装置の各々は、
    加速度センサ、を備え、
    前記アシスト情報は、前記第2モニタリング装置の加速度センサにより検出された加速度、を含み、
    前記参照データは、前記第1モニタリング装置の加速度センサにより検出された加速度である参照加速度データ、を含み、
    前記調整アシスト部は、前記参照加速度データと、前記第2モニタリング装置の加速度センサにより検出された加速度とに基づいて、前記第2モニタリング装置の上下方向の向きが適切か否かを判断し、その判断結果を前記アシスト画面に反映させる、モニタリングシステム。
  7. 請求項1ないし請求項3のいずれかに記載のモニタリングシステムであって、さらに、
    前記第2モニタリング装置は、
    前記第1モニタリング装置により予め生成され、前記所定の位置に設置された前記第1モニタリング装置の撮像状態を特定する参照データを取得する参照データ取得部と、
    前記参照データと前記第2モニタリング装置の撮像状態を特定するアシスト情報とを用いて、前記第2モニタリング装置の撮影方向及び画角を調整するためのアシスト画面を表示する調整アシスト部と、を備えるモニタリングシステム。
  8. 請求項7に記載のモニタリングシステムであって、
    前記アシスト情報は、前記第2モニタリング装置により撮影された画像データ、を含み、
    前記参照データは、前記所定の位置に設定された前記第1モニタリング装置により予め撮影された参照画像データ、を含むモニタリングシステム。
  9. 請求項8に記載のモニタリングシステムであって、
    前記第1モニタリング装置及び第2モニタリング装置の各々は、
    加速度センサ、を備え、
    前記アシスト情報は、前記第2モニタリング装置の加速度センサにより検出された加速度、を含み、
    前記参照データは、前記第1モニタリング装置の加速度センサにより検出された加速度である参照加速度データ、を含み、
    前記調整アシスト部は、前記参照加速度データと、前記第2モニタリング装置の加速度センサにより検出された加速度とに基づいて、前記第2モニタリング装置の上下方向の向きが適切か否かを判断し、その判断結果を前記アシスト画面に反映させる、モニタリングシステム。
  10. 請求項1ないし請求項9のいずれかに記載のモニタリングシステムであって、
    前記管理装置と前記第2モニタリング装置とは、パブリッシュ・サブスクライブ方式の通信プロトコルを用いて通信を行うモニタリングシステム。
  11. 請求項4ないし請求項6のいずれかに記載のモニタリングシステムであって、
    前記第2モニタリング装置と前記通信端末とは、パブリッシュ・サブスクライブ方式の通信プロトコルを用いて通信を行うモニタリングシステム。
  12. 所定の位置に設置された第1モニタリング装置と接続された管理装置であって、
    前記第1モニタリング装置の識別データと、前記第1モニタリング装置が有する特徴を記録する第1特徴データとを対応付けた管理データを用いて、前記第1モニタリング装置を管理する管理部と、
    前記第1モニタリング装置の代わりとなる代替装置の候補を探索する探索部と、
    第2モニタリング装置が前記代替装置の候補として前記探索部により検出された場合、前記第2モニタリング装置が有する特徴を記録する第2特徴データを取得する特徴データ取得部と、
    前記第1特徴データと前記第2特徴データとに基づいて、前記第2モニタリング装置を前記代替装置として使用できるか否かを判断する判断部と、
    前記判断部が前記第2モニタリング装置を前記代替装置として使用できると判断した場合、前記第1モニタリング装置の代替装置として前記第2モニタリング装置が管理対象に含めるように、前記管理データを更新する更新部と、を備える管理装置。
  13. 所定の位置に設置された第1モニタリング装置の代わりに用いられる代替用モニタリング装置であって、
    前記第1モニタリング装置が有する特徴を記録する第1特徴データを取得する特徴データ取得部と、
    取得した前記第1特徴データと、前記代替用モニタリング装置が有する特徴を記録した第2特徴データとに基づいて、前記代替用モニタリング装置が前記第1モニタリング装置の代替装置として動作できるか否かを判断する判断部と、を備える代替用モニタリング装置。
  14. 請求項13に記載の代替用モニタリング装置であって、
    前記第1特徴データは、
    前記第1モニタリング装置が元来有する特徴のうち、モニタリングで用いられている特徴を記録した使用中特徴データ、を含み、
    前記第2特徴データは、
    前記代替用モニタリング装置が元来有する特徴を記録した固有特徴データ、を含み、
    前記判断部は、前記使用中特徴データと前記固有特徴データとに基づいて、前記代替用モニタリング装置が前記代替装置として動作できるか否かを判断する代替用モニタリング装置。
  15. 請求項13又は請求項14に記載の代替用モニタリング装置であって、さらに、
    前記代替用モニタリング装置が前記代替装置として動作できると前記判断部が判断した場合、前記第1モニタリング装置についての設定ファイルを取得し、取得した前記設定ファイルに基づいて前記代替用モニタリング装置のモニタリング条件を変更する動作管理部、を備える代替用モニタリング装置。
  16. 請求項13ないし請求項15のいずれかに記載の代替用モニタリング装置であって、さらに、
    前記第1モニタリング装置の撮像状態を特定する参照データと、前記代替用モニタリング装置から送信されるアシスト情報とに基づいて、前記代替用モニタリング装置の撮像状態を調整するためのアシスト画面を表示する通信端末に、前記アシスト情報を送信するアシスト情報送信部、を備える代替用モニタリング装置。
  17. 請求項16に記載の代替用モニタリング装置であって、
    前記アシスト情報は、前記代替用モニタリング装置により撮影された画像データ、を含み、
    前記参照データは、前記所定の位置に設定された前記第1モニタリング装置により予め撮影された参照画像データ、を含む代替用モニタリング装置。
  18. 請求項16又は請求項17に記載の代替用モニタリング装置であって、さらに、
    加速度センサ、を備え、
    前記アシスト情報は、前記加速度センサにより検出された加速度、を含み、
    前記参照データは、前記第1モニタリング装置により検出された加速度である参照加速度データ、を含む、代替用モニタリング装置。
  19. 請求項13ないし請求項15のいずれかに記載の代替用モニタリング装置であって、さらに、
    前記第1モニタリング装置により予め生成され、前記所定の位置に設置された前記第1モニタリング装置の撮像状態を特定する参照データを取得する参照データ取得部と、
    前記参照データと前記代替用モニタリング装置の撮像状態を特定するアシスト情報とを用いて、前記代替用モニタリング装置の撮影方向及び画角を調整するためのアシスト画面を表示する調整アシスト部と、を備える代替用モニタリング装置。
  20. 請求項19に記載の代替用モニタリング装置であって、
    前記アシスト情報は、前記代替用モニタリング装置により撮影された画像データ、を含み、
    前記参照データは、前記所定の位置に設定された前記第1モニタリング装置により予め撮影された参照画像データ、を含む代替用モニタリング装置。
  21. 請求項19又は請求項20に記載の代替用モニタリング装置であって、さらに、
    加速度センサ、を備え、
    前記アシスト情報は、前記加速度センサにより検出された加速度、を含み、
    前記参照データは、前記第1モニタリング装置により検出された加速度である参照加速度データ、を含み、
    前記調整アシスト部は、前記参照加速度データと、前記加速度センサにより検出された加速度とに基づいて、前記代替用モニタリング装置の上下方向の向きが適切か否かを判断し、その判断結果を前記アシスト画面に反映させる、代替用モニタリング装置。



JP2017137273A 2017-07-13 2017-07-13 モニタリングシステム Pending JP2019022021A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017137273A JP2019022021A (ja) 2017-07-13 2017-07-13 モニタリングシステム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017137273A JP2019022021A (ja) 2017-07-13 2017-07-13 モニタリングシステム

Publications (1)

Publication Number Publication Date
JP2019022021A true JP2019022021A (ja) 2019-02-07

Family

ID=65354950

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017137273A Pending JP2019022021A (ja) 2017-07-13 2017-07-13 モニタリングシステム

Country Status (1)

Country Link
JP (1) JP2019022021A (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010021920A (ja) * 2008-07-14 2010-01-28 Panasonic Corp カメラシステム及びレコーダ
JP2015226324A (ja) * 2014-05-26 2015-12-14 アクシス アーベー 交換用カメラの自動構成
WO2016125366A1 (ja) * 2015-02-05 2016-08-11 株式会社リコー 画像処理装置、画像処理システムおよび画像処理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010021920A (ja) * 2008-07-14 2010-01-28 Panasonic Corp カメラシステム及びレコーダ
JP2015226324A (ja) * 2014-05-26 2015-12-14 アクシス アーベー 交換用カメラの自動構成
WO2016125366A1 (ja) * 2015-02-05 2016-08-11 株式会社リコー 画像処理装置、画像処理システムおよび画像処理方法

Similar Documents

Publication Publication Date Title
US9973675B2 (en) Transmission apparatus, reception apparatus, communication system, and recording medium
US10044923B2 (en) Apparatus and method for information processing and program
US7811009B2 (en) Camera and control method therefor, and camera cradle system
KR20120130936A (ko) 감시 시스템
JP5915484B2 (ja) 撮像装置および撮像方法
KR101753056B1 (ko) 표시 제어장치 및 표시방법
US11196913B2 (en) Control apparatus, method for controlling same, and non-transitory computer-readable storage medium
EP3116222B1 (en) Data transmission system, terminal device, program, and method
JP3996495B2 (ja) ディジタル・カメラおよびその制御方法
JP2006108730A (ja) 撮影システム及び方法
US8581990B2 (en) Image processing apparatus, controlling method thereof, and recording medium
US20200322537A1 (en) Image capturing apparatus, client apparatus, method for controlling image capturing apparatus, method for controlling client apparatus, and non-transitory computer-readable storage medium
JP2019022021A (ja) モニタリングシステム
JP2012231457A (ja) 記録制御装置、情報機器、情報記録システム、およびプログラム
JP6524732B2 (ja) 通信装置、通信システム、通信装置の制御方法およびプログラム
JP6959783B2 (ja) モニタリングシステム
JP4983628B2 (ja) 監視装置、監視方法、及び監視プログラム
US20230007174A1 (en) Image pickup signal processing apparatus, image pickup signal processing method, and storage medium
JP2019129494A (ja) 映像送信装置、情報処理装置、システム、情報処理方法及びプログラム
KR100699087B1 (ko) 동적 ptz 프로토콜 관리가 가능한 ptz 제어 방법 및장치
CN110312076B (zh) 建立云台与摄影设备的无线连接的方法、装置及云台
JP6529635B2 (ja) 撮像装置、撮像方法、及びプログラム
JP2014236395A (ja) 撮像装置、クライアント装置、撮像システム、撮像装置の制御方法、クライアント装置の制御方法、および撮像システムの制御方法
JP2012178755A (ja) 監視カメラ装置、監視カメラ制御装置
JP2015127880A (ja) 情報処理装置、情報処理方法及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20181207

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200626

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20200702

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20200716

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20200703

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20200820

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20200820

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20200821

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210528

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210615

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20211214