JP2007235668A - 映像監視システム - Google Patents

Abstract

【課題】制御データと映像データとを絶対時間を介して関連づけてデータを共有化することにより制御データに関連づけた映像データを自動的に保存して再利用できるようにする。
【解決手段】データ作成装置１と、データ記憶装置２と、データ応用装置３とを備え、データ作成装置１は、絶対時間の時刻情報取得部１３と、制御部への制御データ取得部１８と、特定の場所の事象の検知データ取得部１７と、制御データおよび検知データに対して時刻情報を関連づけた制御系データを作成する制御系データ作成部１９と、特定の場所の周辺における継続的な状況から取得された動画像・静止画・音声を含む映像系データ取得部１６と、取得された映像系データに基づいて種々の映像処理を行なって処理後の映像系データを作成して出力する映像系データ作成部１１と、映像処理後の映像系データに対して時刻情報をメタデータとして作成するメタデータ作成部１２とを備える。
【選択図】図１

Description

本発明は、映像監視システムに関し、特に、交通機関やエレベータの運転制御装置、スーパマーケットやコンビニエンスストア等の店舗の防犯装置、道路管理・積雪監視・災害監視等の各種の監視制御装置などの運転・監視制御装置と絶対時間で同期させて使用することのできる映像監視システムに関する。

現代の社会においては、防犯や災害等の監視や、交通機関やエレベータの運転あるいは建物等への出入りを監視するために映像監視システムが導入されている。これらの映像監視システムは、一般的にはビデオカメラ等の監視カメラを建物、乗り物、エレベータ、ビルの玄関ホール等に設置して、できるだけ広域の範囲で画像を撮影して、その画像をビデオテープやＤＶＤ（Digital Versatile Disk）等の記録媒体に一定期間保存しておくものであり、防犯や異常事態の監視のために不特定多数の人間が集まる場所に設けられるようになってきている。以下、不特定多数の人の利用する施設の一例としてエレベータを用いて説明する。

従来のエレベータにおける映像監視システムにおいては、エレベータのかご内での犯罪の発生時や地震等の災害発生時や、事故や故障等の発生の際に、管理者がエレベータの詳細な情報を得ることを目的として、エレベータのかご内や乗り場等にカメラを設置して映像情報を取得する映像監視システムが導入されている。これらの映像監視システムにより撮影された映像情報は、専用線や情報ネットワークを経由して遠隔地にある遠隔監視センタや集中管理センタ等に伝送され、遠隔監視センタ内の蓄積装置に保存される場合と、エレベータが設置された施設内の蓄積装置に保存される場合とがある。

しかしながら、何れの場合においても、これらの映像系データは、エレベータ等の制御系データ（運転状態など）や各種のセンサデータ（振動・重量センサの検出値など）とのデータとの関連付けがなされていない。したがって、現状においては、センサデータを含む制御系データと、音声や静止画像を含む映像系データとは、それぞれ独立したデータとして個別に管理されている。

このため、制御系データと映像系データとの両方を収集しているエレベータ管理システムおいても、特定のセンサデータが取得された時点での映像データを検索したり、また、ある映像データが取得された時点でのエレベータ運転データやセンサデータの頭出しをしたりするといった機能をコンピュータにより自動的に行なわせることができず、このような機能を実現するには制御系データと映像系データとの対応関係を把握している人間による操作が必要となっている。したがって、エレベータ事故や故障の診断を遠隔監視センタで行なおうとしても、制御系データと映像系データを相互に対応させた組み合わせに関する細かい状況を人間・コンピュータ共に遠隔からは把握することができず、詳細なエレベータのかごの周辺の状況を把握するためには、保守員を現場に派遣して直接現場の状況を確認する必要があった。

また、現場に派遣された保守員であっても、事故や故障の発生の瞬間にどのような事象が実際に生じていたのかを現場の制御盤等で取得することができる制御系データだけで状況を把握することは困難であり、故障の原因を究明するにはハードウェアとソフトウェアの両面を細かく調査する必要があり、手間と時間を要していた。

上述したように、制御データと映像データとを関連づけて用いていないという問題の対応策としては、従来、特許文献１に開示されたエレベータの映像監視装置がある。この映像監視装置は、エレベータの動作状態に変化があった時にエレベータのかご室内の映像データをこのときの動作状態と組み合わせて映像データ蓄積メモリに記録する監視映像記録手段を備えている。このような引用文献１に記載されたエレベータの映像監視装置は、映像データを作成した後に、エレベータの動作状態にリンクさせてかご内の映像を検証するために所望の映像データを容易に抽出するようにした（請求項１参照）ものである。

このような引用文献１によれば、エレベータの動作状態に変化があったときに、エレベータのかご室内の映像データをそのときの動作状態と組み合わせて映像データ蓄積手段に記録することにより、後からエレベータの動作状態を検証する際に、映像データを用いてそのときの変化のあった動作状態を監視することを可能にしている。
特開２００２−３１０４号公報

しかしながら、上述した従来のエレベータの映像監視装置は、エレベータの動作状態に何らかの変化（出来事・イベント）が発生した際の映像データに、変化のあった動作状態をコード化してこの動作状態コードを文字情報として映像データの記録エリアに記録しておくものであり（特許文献１の請求項２ないし４参照）、エレベータの動作状態に変化がなければ映像データに動作状態の記録は残らない。よって、エレベータの動作状態とは無関係の映像は記録して保存することができないばかりでなく、文字情報化された動作状態コードを映像データの記録エリアに記録できたとしても、映像データに映された事象の発生と事象に起因する動作状態の対応や解析は人間の手や目を介して行なわなければならないという問題があった。

また、エレベータのように、動作状態の変化を例えば振動センサの検出値等により検出可能な場合には、映像データの中に文字化された動作状態コードとして記録しておくことが可能であるが、例えば建物のエントランスやエレベータホール等に設けられた防犯カメラにより取得された映像データの場合、ビルを管理する制御データやエレベータの管制データ等には発生した事象が検出されず、このため映像データの記録エリアには何らの事象も記録されないため、後から映像データの検索が不可能であるという問題もある。

一方で、近年の技術の進歩に従って、電波時計が実用化され、福島局（４０ｋＨｚ）と九州局（６０ｋＨｚ）から日本全国に送信されている標準（時刻）電波により、絶対的な時刻を提供する技術は提案されているが、ビデオカメラの分野において映像データに記録する時刻は、人間の手を介して設定された不正確な時刻がそのまま記録されているのが現状である。映像データをデジタル的に処理して保存する映像技術も提案されているが、単に画像をデジタル処理するだけであり、一見デジタル表示のような不正確なアナログ計時を防犯カメラやビデオカメラの撮像画面の一隅に表示する技術が用いられているだけであり、特定の地域における標準時刻を絶対時間として映像を管理したり、制御データと映像データを一元化して管理したりする技術は、少なくとも映像監視システムの分野では提案されていない。

本発明は上記種々の問題に鑑みてこれらの課題を解決するためになされたものであり、監視対象における特定の動作状態や事象の変化とは無関係に制御データと映像データとを関連づけて記録や保存ができると共に、絶対時間を介してデータを共有化することにより制御データに関連づけた映像データの保存を自動的に行なうことのできる映像監視システムを提供することを目的とする。

上記課題を解決するため、本発明の基本構成としての第１構成に係る映像監視システムは、絶対時間の時刻情報を取得する時刻情報取得部と、特定の場所における環境を制御する制御部へ供給される制御データを取得する制御データ取得部と、前記特定の場所の前記環境に設けられた各種センサにより検知された振動・温度・接触を含む事象の検知データを取得する検知データ取得部と、前記制御データおよび前記検知データに対して前記時刻情報を関連づけた制御系データを作成する制御系データ作成部と、前記特定の場所の周辺における継続的な状況から取得された動画像・静止画・音声を含む映像系データを取得する映像系データ取得部と、前記映像系データ取得部により取得された前記映像系データに基づいて種々の映像処理を行なって処理後の映像系データを作成して出力する映像系データ作成部と、前記映像処理後の前記映像系データに対して前記時刻情報取得部により取得された前記時刻情報をメタデータとして作成するメタデータ作成部とを備えるデータ作成装置と、前記映像系データ取得部により取得された前記映像系データと前記メタデータ作成部により作成された前記メタデータとを保持する映像系データ保持部と、前記制御データ取得部と前記検知データ取得部によりそれぞれ取得された前記制御データと前記検知データとを保持する制御系データ保持部とを備えるデータ記憶装置と、前記制御系データ保持部に保持された前記制御データおよび前記検知データをそれぞれ表示可能な制御系データ表示部と、前記制御系データにおける前記制御データの特定の制御内容または前記検知データの特定の事象を制御系部分データとして選択可能な制御系データ選択部と、前記映像系データを再生可能な映像系データ再生部と、前記映像系データにおける時系列および撮像領域の少なくとも一部分を映像系部分データとして選択可能な映像系データ選択部と、前記制御系データ選択部および前記映像系データ選択部によりそれぞれ選択された前記制御系部分データおよび前記映像系部分データの前記時刻情報および前記メタデータに基づいてそれぞれの部分データの時刻を解析する時刻解析部と、前記制御系部分データと前記映像系部分データとを前記時刻解析部により解析された絶対時間としての前記時刻情報を用いて相互に関連づけて出力可能なユーザインターフェース部とを備えるデータ応用装置と、を備えることを特徴とする。

ここで、メタデータとは、データについての情報を記述したデータである。膨大なデータの山の中から目的のデータを探し出す手助けとするために作成される。例えば、インタネット上にある膨大な情報も、現実には、単純なキーワード検索しかできないため、壮大なゴミの山と称されることもあるが、個々の情報にメタデータを付けることにより、よりデータの性質を的確に反映した検索が可能となる。特に、画像データなどは、そのままでは単純なキーワード検索を行うこともできないため、メタデータの恩恵を大きく受けることになるが、本明細書では特に、映像データの取得された時刻を絶対時間データにより記述したものをメタデータとして用いている。

本発明の第２構成に係る映像監視ステムは、第１構成に係るものにおいて、前記データ作成装置は、前記映像系データ取得部により取得された前記映像系データの画像信号や音声信号の特徴量に基づいて前記映像系データから映像または音声の特徴を前記映像系部分抽出する特徴抽出部と、前記映像系データに関連する内容をテキストにより記述するテキスト記述部と、をさらに備えると共に、前記メタデータ作成部は、前記特徴抽出部により抽出された前記特徴としての映像系部分データに前記メタデータを関連付けると共に前記テキスト記述部により記述された前記テキストを含むテキストデータに対しても前記メタデータを関連付けることを特徴とする。

本発明の第３構成に係る映像監視システムは、第１および第２構成の何れかに記載のものにおいて、前記データ作成装置は所定の演算処理能力を有する計算機を備えると共に前記時刻情報取得部が取得する前記絶対時間としての時刻情報は特定の地域における標準時刻であり、前記制御系データ作成部は前記標準時刻に基づいて前記計算機の演算処理能力を用いて制御系データを作成すると共に前記メタデータ生成部は前記時刻情報取得部が取得した前記標準時刻を用いて映像系データ用のメタデータを作成し、前記データ応用装置は所定の演算処理能力を有する計算機を備えると共に前記時刻解析部により解析される前記制御系部分データおよび前記映像系部分データの前記時刻情報も前記絶対時間としての前記標準時刻であることを特徴とする。

本発明の第４構成に係る映像監視システムは、第１ないし第３構成の何れかに記載のものにおいて、前記データ作成装置は、前記制御部としてのエレベータおよびエスカレータを含む人員搬送設備や自動改札機を含む構内設備の駆動または管理を制御する制御データを取得する前記制御データ取得部と、前記構内設備の周囲から種々の物理量を検知するセンサを含む前記検知データ取得部と、前記構内設備の設置場所の周囲の映像・音声を含む前記映像系データを取得する前記映像系データ取得部と、前記映像系データに対して前記時刻情報取得部により取得された前記時刻情報をメタデータとして作成するメタデータ作成部と、を備えると共に、前記データ記憶装置および前記データ応用装置は、前記人員搬送設備や前記構内設備の駆動または管理を制御する前記制御部を統合管理する管理センタに設けられると共に前記データ応用装置は、所定時間が経過するたびに前記データ記憶装置から前記映像系データ保持部に保持された前記映像系データを読み出すと共に前記制御系データ保持部に保持された前記制御系データを読み出すデータ自動読出し部と、該データ自動読出し部により読み出された前記制御系データを解析して絶対時間で管理された該制御系データに変化が発生した前記絶対時間を特定する時間特定部と、該時間特定部により特定された前記絶対時間に対応する前記メタデータが付された前記映像系データにおける前記映像系部分データのみを圧縮して編集する映像系データ圧縮部と、を備えることを特徴とする。

本発明の第５構成に係る映像監視システムは、第１ないし第４構成の何れかに記載のものにおいて、前記データ作成装置は前記特定の場所としてのエレベータ設置施設に設けられて、エレベータの昇降を制御する前記制御データと各種センサより検知された前記検知データを含む前記絶対時間により時間管理された前記制御系データと、エレベータのかご内およびエレベータホールを含むエレベータの周辺に設置された前記映像系データ作成部としての監視カメラから取得された前記映像系データを前記メタデータと共に作成し、前記データ応用装置は前記エレベータを集中管理するエレベータ監視センタに設置された計算機内に設けられると共に前記データ記憶装置は前記エレベータ設置施設および前記エレベータ監視センタの少なくとも一方に設けられて、前記データ作成装置、前記データ記憶装置、前記データ応用装置はオンライン接続されていることを特徴とする。

本発明の第６構成に係る映像監視システムは、第５構成に記載のものにおいて、前記エレベータ監視センタは、複数のエレベータ設置施設における複数のエレベータを集中管理すると共に、前記複数のエレベータ設置施設から離隔された場所から遠隔操作によりそれぞれのエレベータの運行を制御する前記制御データと各種センサからの前記検知データを前記監視カメラからの前記映像系データとの時間的関連づけに基づいて管理することを特徴とする。

本発明の第７構成に係る映像監視システムは、第１ないし第３構成の何れかに記載のものにおいて、前記データ作成装置は、商品販売および役務提供を行なう店舗に設けられ、前記店舗に設置された金銭登録機を含む前記制御データ取得部と、前記店舗入り口の自動ドアを含む前記検知データ取得部と、前記店舗内外に設置された監視カメラおよび集音マイクを含む前記映像系データ取得部と、を備え、前記データ応用装置は前記データ作成装置が設置された複数の店舗を警備する警備会社に設けられ、前記データ記憶装置は前記複数の店舗のそれぞれの店舗および前記警備会社の何れか一方に設けられていることを特徴とする。

本発明の第８構成に係る映像監視システムは、第１ないし第３構成の何れかに記載のものにおいて、前記データ作成装置はビデオカメラまたはテレビチューナに接続可能なデジタルビデオ録画システムに設けられ、前記データ記憶装置は前記デジタルビデオ録画システムで用いられる前記制御データと前記映像系データとを格納して保存する映像サーバを含み、前記データ応用装置は前記映像サーバに保存された前記映像系データを前記デジタルビデオ録画システムの制御データおよび前記メタデータと関連づけて前記映像系データの時系列の情報の頭出しを行なう頭出しシステムを含むことを特徴とする。

本発明の第９構成に係る映像監視システムは、第１ないし第３構成の何れかに記載のものにおいて、前記データ作成装置は機械製造工場の生品組み立てラインに設けられ、ライン駆動装置を制御する制御データを取得する前記制御データ取得部と、ラインの複数箇所に取り付けられて前記検知データを取得するセンサを含む前記検知データ取得部と、前記ラインの周辺を撮影する監視カメラを含む前記映像系データ取得部と、前記センサがライン停止を検出するたびに前記メタデータとしての前記絶対時間を作成する前記メタデータ作成部と、を備え、前記データ記憶装置および前記データ応用装置は前記工場内のライン集中監視センタに設けられ、前記ラインの停止時の前記制御系データと前記映像系データとを関連づけて利用可能とすることを特徴とする。

本発明の第１０構成に係る映像監視システムは、第１ないし第３構成の何れかに記載のものにおいて、前記データ作成装置は、ビデオカメラの撮像方向および焦点距離を調節する駆動装置を制御する制御データを取り込む制御データ取得部と、降雨・降雪計および風向・風力計の測定値を検知データとして取り込む検知データ取得部と、道路における車両の運行状況を撮像する映像系データ取得部と、を少なくとも備える道路監視装置として適用され、前記データ記憶装置および前記データ応用装置は、所定の地域の道路状況を監視する道路監視センタに設けられ、複数の前記道路監視装置からの制御系データと映像系データをそれぞれ制御系データ保持装置および映像系データ保持装置にそれぞれ保持すると共に、前記制御系データのうちの前記検知データの検知量が急峻に変化した場合の絶対時間を前記映像系データにおける前記メタデータの絶対時間と関連づけて利用可能とすることを特徴とする。

本発明は、監視対象における特定の動作状態や事象の変化とは無関係に制御データと映像データとを絶対時間により関連づけて記録や保存ができると共に絶対時間を介してデータを共有化することにより制御データに関連づけた映像データの保存を自動的に行なうことのできる映像監視システムを提供することができる。

以下、添付図面を参照しながら本発明に係る映像監視システムの実施形態について詳細に説明する。

［第１実施形態］
まず、図１を用いて、本発明の基本構成としての第１実施形態に係る映像監視システムについて説明する。図１において、第１実施形態の映像監視システムは、データ作成装置１と、データ記憶装置２と、データ応用装置３とを備える。

データ作成装置１は、絶対時間の時刻情報を取得する時刻情報取得部１３と、特定の場所における環境を制御する制御部へ供給される制御データを取得する制御データ取得部１８と、特定の場所の環境に設けられた各種センサ（図示されず）により検知された振動・温度・接触を含む事象の検知データを取得する検知データ取得部１７と、制御データおよび検知データに対して時刻情報を関連づけた制御系データを作成する制御系データ作成部１９とを備える。制御系データ作成部１９は、検知データを整形するセンサデータ整形機能１４と、生後データを整形する制御データ整形機能１５とを備えている。

さらに、データ作成装置１は、特定の場所の周辺における継続的な状況から取得された動画像・静止画・音声を含む映像系データを取得する映像系データ取得部１６と、映像系データ取得部１６により取得された映像系データに基づいて種々の映像処理を行なって処理後の映像系データを作成して出力する映像系データ作成部１１と、映像処理後の映像系データに対して時刻情報取得部１３により取得された時刻情報をメタデータとして作成するメタデータ作成部１２とを備える。

データ記憶装置２は、映像系データ取得部１６により取得された映像系データ２１１とメタデータ作成部１２により作成されたメタデータ２１２とを保持する映像系データ保持部２１と、制御データ取得部１８と検知データ取得部１７によりそれぞれ取得された制御データと検知データとを含む制御系データ２２１を保持する制御系データ保持部２２とを備えている。

データ応用装置３は、制御系データ保持部２２に保持された制御データおよび検知データを含む制御系データ２２１をそれぞれ表示可能な制御系データ表示部３５と、制御系データ２２１における制御データの特定の制御内容または検知データの特定の事象を制御系部分データとして選択可能な制御系データ選択部３４と、映像データ２１１とメタデータ２１２を含む映像系データを再生可能な映像系データ再生部３１と、映像系データにおける時系列および撮像領域の少なくとも一部分を映像系部分データとして選択可能な映像系データ選択部３２と、制御系データ選択部３４および映像系データ選択部３２によりそれぞれ選択された前記制御系部分データおよび前記映像系部分データの時刻情報およびメタデータ２１２に基づいて、それぞれの部分データの時刻を解析する時刻解析部３３と、制御系部分データと前記映像系部分データとを時刻解析部３３により解析された絶対時間としての時刻情報を用いて相互に関連づけて出力可能なユーザインターフェース部３６とを備えている。

以上の構成により、第１実施形態による映像監視システムは、監視カメラ等の設置されたエレベータのホール周辺や、かご内部、エスカレータの周囲や鉄道の駅の改札口付近やホーム等の特定の場所において、利用者や混雑状況等を撮影して映像データ２１１を保存する際に、同時にメタデータ２１２を作成して保存しておくと共に、エレベータの昇降駆動、かごドアの開閉、エスカレータの運行駆動、自動改札機の制御、電車の接近やホームへの接近や停車を制御する運行管理システム等の管理制御システムを制御する制御データや、各種のセンサ等により得られる検知データを絶対時間により時刻と関連づけながら管理する制御系データ２２１も保存しておくようにしている。

映像系データ２１１をメタデータ２１２と共に絶対時間により管理可能とすることにより、既にコンピュータ等により絶対時間で管理されている制御データやセンサデータを含む制御系データ２２１との間で関連づけの媒介物として絶対時間を利用して映像系データを応用することが可能となる。絶対時間は、電波時計の発達により福島局と九州局より発信されている日本標準時刻情報を利用することにより、容易に取得することが可能であるので、図１においては、時刻情報取得部１３を１つ設けてデータ作成装置１を同じブロックで囲んでいるが、映像系データ作成部１１やメタデータ作成部１２はビデオカメラ等の取付け現場に設けて電波時計を搭載して取得した絶対時刻情報のメタデータ２１２を用いて映像系データ２１１の時間処理を行ない、制御系データ２２１は集中管理センタ内やエレベータの取付け建屋の制御盤に付随して設けるようにしてもよい。

要は、基本構成としての第１実施形態の映像監視システムにおいては、映像系データに対しても絶対時間による時刻情報との関連づけの処理をすることにより、絶対時間による時刻管理がされていることの多い制御系データの制御データや検知データの記録と映像系データによる映像記録とを関連づけて事象の発生を確定することを可能としている。なお以下に説明する第２ないし第１０実施形態においては、監視カメラの設置場所や制御措置の制御対象を具体的な装置を例にとって説明する。本発明の映像監視システムを適用する対象は極めて広範囲にわたっている。

［第２実施形態］
図２を参照しながら、第２実施形態に係る映像監視ステムについて説明する。この第２実施形態は、第１実施形態に係る映像監視ステムにおいて、データ作成装置１が映像系データ取得部としてのカメラ等１６により取得された前記映像系データを映像処理する映像系データ作成部としての映像系データ作成機能１１と、メタデータを作成するメタデータ作成部としてのメタデータ作成機能１２と、に加えて特徴抽出機能１２１とテキスト記述機能１２２とを備えている。

図２において、特徴抽出部としての特徴抽出機能１２１は、時刻取得機能１３により取得された絶対時間としての標準時刻を用いてメタデータの画像信号や音声信号の特徴量に基づいて前記映像系データから映像または音声の特徴を映像系部分で抽出する。テキスト記述部としてのテキスト記述機能１２２は、映像系データに関連する内容をテキストにより記述する。メタデータ作成機能１２は、特徴抽出機能１２１により抽出された特徴としての映像系部分データにメタデータを関連付けると共に、テキスト記述機能１２２により記述されたテキストを含むテキストデータに対してもメタデータを関連付けている。

第２実施形態の映像監視システムは、第１実施形態のデータ作成装置１の構成に、映像系データの映像の画像信号や音声信号の特徴量から、映像系データの内容の特徴を計算機が自動的に抽出する特徴抽出機能１２１と、監視センタ等に常駐する監視者などの人間が映像系データの内容をテキスト（文字）により記述するテキスト記述機能１２２を付加した構成を備えている。図２におけるメタデータ作成機能１２は、映像系データと時刻情報との関連を記述するだけでなく、前記特徴抽出機能１２１とテキスト記述機能１２２から得られた映像系データの内容をメタデータ中に記述する機能を有している。

第２実施形態の動作を説明する。このような映像監視システムにおける映像系データ作成機能１１により映像系データが作成される際に、特徴抽出機能１２１を備えるシステムにおいては、映像系データの映像の画像信号や音声信号の特徴量から、映像系データの内容における特徴データを計算により自動的に抽出する処理が行なわれる。また、テキスト記述機能１２２を備えるシステムにおいては、ユーザ（人間）により、映像系データの作成後に映像系データの内容をテキストで記述する処理が行なわれる。

メタデータ作成機能１２では、第１実施形態で作成される映像系データと時刻情報との関連だけでなく、映像系データの内容を示す情報もメタデータ中に記述することになる。この第２実施形態によりメタデータ２１２中には、映像系データの特徴を示す情報が内包されることになり、図１におけるデータ応用装置３の映像系データの選択機能３２において、時刻情報や人間の直接指定によるデータ選択以外の選択方法として、メタデータのテキスト検索や、パターン認識技術による特徴検索により所望のデータを検索できるという特有の効果が得られるようになる。

［第３実施形態］
第３実施形態に係る映像監視システムは、第１および第２実施形態を説明した図１および図２を参照しながら説明する。第３実施形態におけるデータ作成装置１は、所定の演算処理能力を有する計算機を備える。また、時刻情報取得部１３が取得する絶対時間としての時刻情報は特定の地域における標準時刻であり、例えば日本においては、日本標準時刻であり、イギリスにおいてはグリニッジ世界標準時刻であり、米国においては、東海岸時間ゾーン、中央時間ゾーン、山岳時間ゾーン、太平洋時間ゾーン、アラスカ時間ゾーンなどの各時間ゾーンにおける標準時刻を用いれば、制御系データと映像系データとを同一の標準時刻により一元的に制御および管理することができる。

制御系データ作成部１９は、この計算機が置かれた何れかの標準時刻に基づいて計算機の演算処理能力を用いて制御系データ２２１を作成する。メタデータ生成部１２は、時刻情報取得部１３が取得した標準時刻を用いて映像系データ２１１用のメタデータ２１２を作成する。データ応用装置３においても、所定の演算処理能力を有する計算機を備えると共に、時刻解析部３３により解析される制御系部分データおよび映像系部分データの時刻情報も絶対時間としての前記標準時刻である。

また、上述した説明の中でも述べたように、時刻データの標準時間は、本特許では現実の時間という絶対的な尺度により、映像データに時間的な物差しを与える。このため、時刻メタデータに保存する現実時間は、システム内で一意な物でなくてはならない。同じシステム上で利用される映像データＡとＢにおいて、実際には全く同じ時間にＡもＢも録画されているのに、時刻メタデータに記載された現実時間が両者で異なるようなことがあってはならない。システム内で統一された時刻を与える為には、「１．時間情報が載せられた標準電波を使う」「２．システム内で同一の時刻サーバから時刻情報を取得する」といった仕組みが考えられる。個々の設備が物理的に離れたシステムでは上記１が、同一の情報ネットワーク内に構築されるようなシステムでは上記２の仕組みが有効である。

［第４実施形態］
以上の第１ないし第３実施形態においては、制御系データにより制御される制御システムがどのような環境を制御するものであるかについては特に限定してないが、以下の実施形態においては、映像監視システムが適用される特定の場所や制御システムがより具体的に限定されている。本発明の第４実施形態に係る映像監視システムは、第１ないし第３実施形態の構成をより具体的にした構成を有しており、図３ないし図９に示されている。

図３において、データ作成装置としての第１ブロック１は、制御部としてのエレベータおよびエスカレータを含む人員搬送設備や自動改札機を含む構内設備の駆動または管理を制御する制御データを取得する制御データ取得部としてのエレベータ制御機能１８を備える。検知データ取得部は、構内設備の周囲から種々の物理量を検知するセンサ１７を含んでいる。映像系データ取得部は、構内設備の設置場所の周囲の映像・音声を含む前記映像系データを取得するカメラ１６である。映像系データ作成部は映像系データ作成機能１１として示されている。メタデータ作成部は、映像系データに対して時刻情報取得部により取得された時刻情報をメタデータとして作成するメタデータ作成機能１２を備える。

さらに、データ記憶装置としての第２ブロック２およびデータ応用装置としての第３ブロック３は、人員搬送設備や前記構内設備の駆動または管理を制御する前記制御部を統合管理する管理センタ（図示せず）に設けられている。また、データ応用装置としての第３ブロック３は、所定時間が経過するたびにデータ記憶装置としての第２ブロック２から映像系データ保持部としての映像系データ保持機能２１に保持された映像系データを読み出す映像系データ再生機能３１を有すると共に、制御系データ保持部としての制御系データ保持機能２２に保持された制御系データを読み出すデータ自動読出し部としての制御系データ表示機能３５を備える。

また、このデータ自動読出し部により読み出された制御系データを解析して絶対時間で管理された該制御系データに変化が発生した絶対時間を特定する時間特定部としての時刻解析機能３３が設けられ、この時間特定部としての時刻解析機能３３により特定された絶対時間に対応するメタデータが付された映像系データにおける映像系部分データのみを圧縮して編集する図示されない映像系データ圧縮部が図示されない計算機内に備えられていても良い。以下、より詳細に説明する。

図３は、本発明の第４実施形態に係るエレベータ映像監視システムのブロック構成図である。このシステムは、大きく分けると３つの機能ブロックから構成される。データ作成装置としての第１ブロック１は、映像系データと制御系データを保存するための機能である。第１ブロック１は、カメラ１６等から取得した動画や音声、静止画などの情報のデータ化を行なう映像系データ作成部１１と、作成された映像系データと時刻情報を元に、映像系データの時刻情報を記載したメタデータを作成するメタデータ生成機能１２と、エレベータ制御機能１８またはセンサ１７から取得したセンサデータを保存用フォーマットに整形するセンサデータ整形機能１４および制御データ整形機能１５と、データが収集された時刻情報を保持し、メタデータ生成機能１２とセンサデータ整形機能１４，制御データ整形機能１５に対して該当する時刻情報を与える時刻情報取得機能１３を備えている。

データ記憶装置としての第２ブロック２は、第１ブロック１で生成された各データを映像監視システムが保持するための機能である。第２ブロック２は、映像系データとそのメタデータを保持する映像系データ保持機能２１と、制御系データと、制御系データに含まれる時刻情報または制御系データとは別個に整形される時刻情報（映像系データのメタデータと同様のメタデータ）を保持する制御系データ保持機能２２とから構成される。

第３ブロック３は、第１ブロックで生成され、第２ブロックに保持された各データを用いて、エレベータの監視および診断を行なうための機能群である。第３ブロック３は、制御系データの内容をユーザに提示する制御系データ表示機能３５と、制御系データから詳細に調査したい部分をユーザが選択するために用いられる制御系データ選択機能３４と、映像系データを再生する映像系データ再生機能３１と、映像系データから詳細に調査したい部分をユーザが選択するために用いられる映像系データ選択機能３２と、各々の選択機能３１および３２により選択された映像系データや制御系データから選択された部分データの時刻情報を元に、他種類データの目的時刻部分の情報をメタデータまたは時刻情報から選択する時刻解析機能３３と、制御系データ表示機能３５・制御系データ選択機能３４・映像系データ再生機能３１・映像系データ選択機能３２をユーザが使用するために、ユーザが直接操作するユーザインターフェース３６とから構成される。

第４実施形態によりエレベータ映像監視システムにおいて、各機能ブロックは、その設置場所をエレベータ設置施設内、遠隔監視センタ内、またはその両方に設置することができる。１つの構成としては、機能ブロック１，２をエレベータが設置された施設内に配置し、機能ブロック３を遠隔監視センタ内の計算機上に構築する構成が考えられる。また、映像系データ保持機能２１は、映像系データとメタデータを一括してあるいは一体として取り扱うデータベース機能を備えることも可能である。また、機能ブロック１，２をエレベータが設置された施設内に配置し、機能ブロック３を保守員の有するメインテナンス用の端末上に備える構成も考えられる。また、機能ブロック１，２をエレベータが設置された施設内に配置し、機能ブロック３を遠隔監視センタ内の計算機上に構築すると共に、映像系保持機能２１を遠隔監視センタ内の計算機上にも構築し、現場施設側の映像系データ保持機能２１から遠隔監視センタ側の映像系データ保持機能２１に映像系データを転送する構成も可能である。

また、機能ブロック１，２をエレベータが設置された施設内に配置し、機能ブロック３を遠隔監視センタ内の計算機上に構築する。また、制御系データ保持機能２２を遠隔監視センタ内の計算機上にも構築し、現場施設側の制御系データ保持機能２２から遠隔監視センタ側の制御系データ保持機能２２に対して制御系データを転送する構成も可能である。同様に、機能ブロック１，２をエレベータ側に構築し、遠隔監視センタ内の計算機上にも機能ブロック２を構築し、現場施設側の機能ブロック２から遠隔監視センタ内の機能ブロック２にデータを転送する構成とすることも可能である。

次に、第４実施形態のエレベータの映像監視システムの動作について説明する。まず、システム全体の概要について説明する。エレベータ映像監視システムにおいて、エレベータ映像を取得する機能部位は、映像系データ（映像、音声、静止画像データ等）を取得すると共に、その映像系データの内容を説明するメタデータを、映像系データとは別に映像系データの撮影と並行して生成する。メタデータは、人間の操作を介してマニュアルで作成され、またはシステム内の編集機能等を用いて自動的に作成され、映像系データに関する情報が記載される。具体的には、映像系データ中の部位（時間的な部位）が撮影された時刻の情報と、その時刻に対応した映像系データ中の時間的な部分情報がメタデータ中に記載される。

また、エレベータの映像監視システムは、エレベータの運転状態に関する制御データやエレベータの各所に備えられたセンサの検知データを取得し、データ記憶装置としての機能ブロック２に保持する。これらの運転状態に関するデータやセンサデータ（以下、制御系データとする）は、最新のエレベータの状態を示す状態データと過去のエレベータ状態を示す履歴データの２種類に分類される。履歴データは、そのデータが取得された時刻を示す時刻情報を含む形式で保持される。

エレベータの映像監視システムは、これらの映像系データ用のメタデータと制御系データに添付された時刻情報とを用いて、時刻情報から該当時刻における映像系データと制御系データの特定部分を検出できる機能を有する。また逆に、映像系データと制御系データの特定部分を指定することにより、その特定部分に該当する時刻情報を映像系データ用メタデータと制御系データとから抽出することができる。このように、制御系データと映像系データを共に取得して保持する機能を備えるエレベータの映像監視システムは、絶対時間即ち標準時刻の時刻情報という共通の要素を用いて、映像系データと制御系データとを機械的に関連づけることができる。

次に、エレベータ映像監視システムの各部がどのように機能するかについて図４ないし図６を参照しながら説明する。まず、第１ブロック１のカメラ等１６から取得した動画・音声・静止画などの信号を、例えば、映像であるならば、動画像専門家グループ（以下、ＭＰＥＧ―Moving Picture Expert Group―）の規格であるＭＰＥＧ１，ＭＰＥＧ２，ＭＰＥＧ４や、音声であるならばＷＡＶ形式のようなデジタルデータに加工する。図４においてメタデータ生成機能１２は上記のように生成された映像系データ（デジタルデータ）２１１と、時刻取得機能１３から取得したデータの撮影時刻とから、映像系データの時間情報を説明するメタデータ２１２を生成する。メタデータ中では、そのメタデータが対応する映像系データの名前（例えば、http://elevator-east-8-12-25-1/video0-00.mpg）と映像系データのどのシーンがどの時刻に撮影されたかの対応関係が記述される。例えば、映像系データの先頭から７分２秒３０フレーム地点が時刻２００５年８月９日０時０分０秒０フレームに撮影されたといったような関係が記述される。

図５に映像系データに対応したメタデータの例を示す。ここでは、メタデータのフォーマットとしてからＭＰＥＧ７を利用している。図５中の符号６１でこのメタデータに対応する映像系データの名前を指定している。符号６２と６３では、映像系データ中のシーンと撮影時刻の対応関係が記述されている。符号６４と６５でも、６２と６３同様に映像系データ中のシーンと撮影時刻の対応関係が記述されている。このようなメタデータに映像系データと撮影時間の対応関係を記述することにより映像系データの本体を改変することなく、データと時刻との対応関係を正確に記録することができる。

一方、図４において、センサデータ整形機能１４と制御データ整形機能１５では、エレベータ制御機能１８やセンサ１７から取得したエレベータの制御情報やセンサ情報を保存用のデータフォーマットに整形する。この段階で保存用データ本体は、時刻取得機能１３から取得した時刻情報を含む制御系データ２２１の形に整形される。また、データ本体に時刻情報を含ませず、映像系データと同様にデータの外部にメタデータの形式で時刻情報を対応付ける構成も可能である。このようにして、映像系データと制御系データの双方について、それぞれの取得時間情報が参照元データとの関連づけができた形式でシステムに記録される。第１ブロック１はエレベータの設置された施設に構築される。

図３に示される第２ブロック２は、エレベータの設置される施設に配設される場合と、遠隔監視センタに構築される場合、もしくは双方に配置される場合がある。何れの場合でも、第２ブロック２の各機能は、データ本体とメタデータを一括して（一体として）取り扱うデータベース機能を有している。このデータベース機能は、映像系データファイルとは別に存在するメタデータを、あたかも映像系データと一体となっているかのように取り扱うことが可能であり、映像系データを移動させればメタデータも移動し、映像系データを削除すればメタデータも削除される。また、映像系データ保持機能２１および制御データ保持機能２２の各機能は、別個の場所に設置された同一の機能に対してデータのコピーや移動が可能であり、例えばエレベータ設置施設に設けられた映像系データ保持機能２１から遠隔監視センタ内の映像系データ保持機能２１に対して映像系データおよびメタデータのコピーを送ることも可能である。

図６に示す第３ブロック３には２通りの使用形態がある。１つは制御系データを元に同時刻の映像系データを表示する場合であり、もう１つは映像系データを元に同時刻の制御系データを表示する場合である。２つの場合の実施手順を以下に説明する。

第３ブロック３の第１の使用形態は、エレベータの定期点検の際に、この映像監視システムを用いてエレベータ制御システムやセンサデータなどの制御系データのチェックが行なわれる。その際、図６に示すように、制御系データ表示機能３５によりチェックを行なっているときに何らかの異常を示すデータが確認されたとする。その場合、図６に示すように、ユーザ３７は制御系データ選択機能３４を用いて詳細な情報（該当時刻の映像系データ表示）確認を行なうために制御系データの部分指定を行なう。部分指定が行なわれると、システムの時刻解析機能３３は、制御系データ中の該当部分の時刻データを読み出して、この読み出した該当部分の時刻データを映像系データ選択機能３２に伝達する。映像系データ選択機能３２では、受け取った時刻情報を用いて、映像系データのメタデータの該当時刻の検索を行なう。同時刻を含むメタデータが検索されると、映像系データ選択機能３２は該当する映像系データと、データ中の再生開始時間情報を映像系データ再生機能３１に伝達する。

この再生開始時間情報を受けて、映像系データ再生機能３１は、制御系データの指定部分と同時刻に撮影されて取得された映像系データをユーザ３７に対して再生提供する。以上の手順をまとめると、図７に示すように、（１）ユーザ３７はエレベータの制御系データ２２１に対してその目的部分を指定し、（２）該当部分の映像系データ２１１が再生される。このような手順により映像監視システムは制御系データを元に同時刻の映像系データの表示を実現することができる。

また、この制御系データから映像系データを表示する仕組みを利用することにより、以下のような構成を有するエレベータ映像監視システムにおける下記の機能を実現できる。すなわち、センサデータの異常を検出すると、遠隔監視センタに通報を行なう機能を備えるエレベータ制御システムを含むエレベータ映像監視システムにおいて、エレベータのセンサが異常を検出すると、異常センサデータの通報を受けた遠隔監視センタで、システムは自動的にセンサ異常時刻の時刻タグが記録された映像系データを瞬時に頭出しして、遠隔監視センタのユーザ３７に対してセンサ情報と、その時点での映像情報を同時に提示する。この機能により、遠隔監視センタのユーザは、現場の状況を遠方からでも遠隔操作により瞬時に把握することができる。

次に、第２ブロック３の第２の使用形態について説明する。エレベータの遠隔監視などの際には、エレベータから伝送された映像情報のリアルタイム監視が行なわれる場合がある。この際、映像系データ再生機能３１による監視中に、エレベータの故障や災害・事故の発生を示すような映像が画面上で確認されたとする。その場合、ユーザ３７は、図６の映像系データ選択機能３２を用いて、詳細な情報（該当時刻の制御系データ）の確認を行なうため、図８に示すような映像系データ２１１の部分指定を行なう。部分指定が行なわれると、映像監視システムの時刻解析機能３３は、映像系メタデータ２１２の中の該当部分の時刻情報を読み出して、この時刻情報を図６に示される制御系データ選択機能３４に伝達する。

制御系データ選択機能３４では、受け取った時刻情報を用いて制御系データの該当部分の検索を行ない、同時刻を含む制御系データが検索されると、制御系データ選択機能３４は該当する制御系データの該当時刻部分の情報を制御系データ表示機能３５に伝達する。この該当時刻部分の提供を受けて、制御系データ表示機能３５は、映像系データの指定部分と同時刻に取得された制御系データを表示する。この手順が図８に示されている。以上の手順により、映像監視システムは、映像系データを元に同時刻の制御系データの表示を実現する。

この第４実施形態による映像監視システムの利用方法と、この映像監視システムにより得られる効果を以下に説明する。例えば、定期点検時に制御系データの状態データに異常が発見された場合、保守員または遠隔監視センタの監視員などのユーザは、図９の左側に示すように、表示装置の画面４１に制御系データの履歴データを表示させて、チェックを行なう。その結果、ある時刻の履歴データに異常が発生したことを示す記録が発見された場合には、そのユーザが履歴データをＧＵＩ（Graphic User Interface）等により指定することにより、映像監視ステムはまず履歴データから時刻情報を抽出する。その後、映像系データの時刻を表示するメタデータを履歴データの該当時刻情報を用いて検索し、映像系データの該当時刻に関する情報を得る。図９の右側に示すように、映像系データの該当時刻の部分映像系データが表示画面４２に表示される。このようにして、ユーザは履歴データの目的の部分を指定することにより、当該時刻に実際に発生した事象を記録した映像系データを直ちに視聴することができ、異常発生時の現場の詳細な状況を遠方からでも把握することができる。

また、例えば、遠隔監視センタにおける映像系データを常時監視しているときに、映像によりエレベータの異常が発見された場合（例えば、突然画面が揺れた後にかご内が真っ暗となったような場合など）、監視センタのユーザが映像系データの該当部分をＧＵＩ等で指定すると、映像監視システムはまず映像系データのメタデータから指定部分の時刻情報を抽出する。次に、制御系データを時刻情報を用いて検索して、映像系データで指定した時刻における制御系データをディスプレイに表示する。このようにして、ユーザは映像系データにより異変を発見すると、その瞬間のエレベータの運転状態やセンサの反応を瞬時に確認でき、異常発見時の状況を詳細に把握できる。

また、第１ないし第３の機能ブロックのそれぞれは、その設置場所（エレベータ設置施設内か、遠隔監視センタ内か、もしくはその両方か）によりシステムの実現する機能やメリットが変化することになる。制御系データを作成する機能と、映像系データを作成する機能が分離しているため、何れか一方のみが存在する施設においても、他方の設備を追加することにより、他方の機能ブロックの機能を実現することが可能となる。

また、機能ブロック１，２をエレベータが設置された施設内に配置し、機能ブロック３を遠隔監視センタ内の計算機上に構築することにより、通常時は運転データの映像データが施設内に蓄積され、メインテナンスの際には遠隔監視センタから蓄積された運転データの映像データを呼び出してエレベータ運転履歴から異常や異変などの変化が起きた時点の映像系データを確認したり、逆に映像系データを見ながら設備の制御系データを確認したりすることができる。

また、機能ブロック１，２をエレベータが設置された施設内に設置し、機能ブロック３を保守員の所持するメインテナンス用端末上に構築することにより、通常時は運転データや映像データが施設内に蓄積され、メインテナンスの際には現場に派遣された保守員が蓄積された運転データや映像系データを呼び出して、エレベータの運転履歴から異常や異変などの変化が生じた時点での映像情報を確認したり、映像系データから異常時の制御系データを確認したりすることができる。

また、機能ブロック１，２をエレベータが設置された施設内に配置し、機能ブロック３を遠隔監視センタ内の計算機上に構築し、映像系データ保持機能を遠隔監視センタ内の計算機上にも構築し、現場施設側の映像系データ保持機能から遠隔監視センタ側の映像系データ保持機能に映像系データを転送する構成とすることにより、遠隔監視センタで映像系データを頻繁に使用する場合に、その都度、現場から監視センタへのデータ転送を行なう無駄を省くことができ、また、データ保存容量を大きくすることが容易な遠隔監視センタ側で長時間にわたりデータを蓄積することが可能となる。

また、機能ブロック１，２をエレベータが設置されている施設内に配置し、機能ブロック３を遠隔監視センタ内の計算機上に構築し、また、制御系データ保持機能を遠隔監視センタの計算機上にも構築し、現場施設側の制御系保持機能から遠隔監視センタ内の制御系データ保持機能に制御系データを転送する構成とすることにより、遠隔監視センタで他のエレベータからのデータ等と併せて総合的なデータ解析を行なうことが容易となる。またデータ保存容量を大きくすることが容易な遠隔監視センタ側で長時間にわたりデータを蓄積することも可能となる。

また、機能ブロック１，２をエレベータが設置された施設側に配置し、機能ブロック３を保守員の所持するメインテナンス用の端末上に構築し、遠隔監視センタ内の計算機上にも機能ブロック２を構築して現場施設側の機能ブロック２から遠隔監視センタ側の機能ブロック２にデータを転送することにより、保守員がエレベータの故障診断等を行なう際にエレベータ設置施設内の機能ブロック２では保存されていない大容量データまたは過去の履歴データを調査したくなった場合に、保守員のメインテナンス用端末から遠隔監視センタ側の機能ブロック２にアクセスして、遠隔地からの操作により映像系データや制御系データの大容量データや過去の履歴データを取得することが可能となる。

映像系データ保持機能は、映像系データとそのメタデータとを一括して一体的に取り扱うデータベース機能を持たせることにより、映像系データファイルとは別に存在するメタデータ情報をあたかも映像系データと一体となっているかのように取り扱うことが可能であり、映像系データを移動させればメタデータも移動し、映像系データを削除すればメタデータも削除される。これにより、カメラと映像系データ作成機能１１とを有する既存のエレベータ制御システムにおいて、メタデータ生成機能１２と時刻取得機能１３，映像系データ保持機能２１を後から追加することにより、上述の機能を実現できる。つまり、映像系データとメタデータを一括して取り扱えるため、映像系データ作成機能１１を改造しなくてもエレベータ映像監視システムの機能を実現することができる。

［第５実施形態］
上述した第４実施形態に係る映像監視システムは、エレベータ制御システムに取り付けられたものであり、以下の第５および第６実施形態のように説明することもできる。本発明の第５実施形態に係る映像監視システムは、データ作成装置１は、特定の場所としてのエレベータ設置施設に設けられて、エレベータの昇降を制御する制御データと各種センサより検知された前記検知データを含む絶対時間により時間管理された制御系データと、エレベータのかご内およびエレベータホールを含むエレベータの周辺に設置された映像系データ作成部としての監視カメラ１６から取得された映像系データ２１１をメタデータ２１２と共に作成し、データ応用装置３はエレベータを集中管理するエレベータ監視センタに設置された計算機内に設けられると共に、前記データ記憶装置はエレベータ設置施設およびエレベータ監視センタの少なくとも一方に設けられて、データ作成装置、前記データ記憶装置、前記データ応用装置はオンライン接続されている。

［第６実施形態］
また、本発明の第６実施形態に係る映像監視システムにおいて、エレベータ監視センタは、複数のエレベータ設置施設における複数のエレベータを集中管理すると共に、前記複数のエレベータ設置施設から離隔された場所から遠隔操作によりそれぞれのエレベータの運行を制御する制御データと各種センサからの検知データを監視カメラからの映像系データとの時間的関連づけに基づいて管理している。

［第７実施形態］
上記第４ないし第６実施形態は、本発明に係る映像監視システムをエレベータに適用した実施形態であったが、本発明は、スーパマーケットやコンビニエンスストアにおける防犯システムにも適用できる。すなわち、第７実施形態に係る映像監視システムは、データ作成装置は、商品販売および役務提供を行なう店舗に設けられ、前記店舗に設置された金銭登録機を含む前記制御データ取得部と、前記店舗入り口の自動ドアを含む前記検知データ取得部と、前記店舗内外に設置された監視カメラおよび集音マイクを含む前記映像系データ取得部と、を備え、前記データ応用装置は前記データ作成装置が設置された複数の店舗を警備する警備会社に設けられ、前記データ記憶装置は前記複数の店舗のそれぞれの店舗および前記警備会社の何れか一方に設けられている。

スーパマーケットや、コンビニエンスストア等の店舗における防犯システムに適用される第７実施形態を詳細に説明する。上記のような店舗においては、各商品がＲＦＩＤタグ（微小な無線チップによるタグ）により管理されており、店舗の出入り口にＲＦＩＤリーダ（検出器）が設置されるような構成の店舗があるとする。ここで、万引き犯が商品をレジで購入手続きせずに、そのまま（ＲＦＩＤタグがついたまま）商品を店外に持ち出そうとすると、店の出入り口のＲＦＩＤリーダは、購入手続きがされていない商品が店外に持ち出されるのを認識できる。ここで、店舗入り口に監視カメラが設置されているとして、この映像系システムに本特許の仕組みが取り入れられていれば、ＲＦＩＤリーダが不正な持ち出しを発見した時刻の映像データを情報システムが自動的に頭出しすることができ、犯行の証拠映像を簡単に入手することができる。

ＲＦＩＤが犯行を認識した時点で録画を開始するような従来の仕組みでは、犯人が素早く店を出た場合、ＲＦＩＤによる検出から録画開始までの間に犯人がカメラ撮影範囲から外に出てしまい録画が間に合わず、犯人が店を出る瞬間の映像が録画できない可能性が高い。

また、本第７実施形態のように映像データを時刻データと紐付けしない従来のシステムの仕組み（映像中に時刻のアナログ映像を挿入するような仕組み）では、映像上の時刻情報を人間しか認識できず、情報システムが自動的に犯行の瞬間を頭出しするようなことができない。

［第８実施形態］
本発明の第８実施形態に係る映像監視システムにおいては、データ作成装置はビデオカメラまたはテレビチューナに接続可能なデジタルビデオ録画システムに設けられ、前記データ記憶装置は前記デジタルビデオ録画システムで用いられる前記制御データと前記映像系データとを格納して保存する映像サーバを含み、前記データ応用装置は前記映像サーバに保存された前記映像系データを前記デジタルビデオ録画システムの制御データおよび前記メタデータと関連づけて前記映像系データの時系列の情報の頭出しを行なう頭出しシステムを含んでいても良い。

デジタルビデオカメラなどにおける頭出しシステムに適用される第８実施形態に係る映像監視システムについて詳細に説明する。デジタルビデオカメラに本発明の仕組み（映像データと並行して、時刻データをメタデータで保存する仕組み）が取り入れられると、映像サーバ等に保存された沢山の映像データから、見たい時刻の映像を簡単に頭出しする仕組みが構築できる。

例えば、家庭用デジタルビデオカメラにおいて、上記の仕組みが搭載されていると仮定する。このデジタルビデオカメラで録画した、子供の成長過程を収めた沢山の映像データをホームサーバに保管しているとして、後から「２００６年５月３０日の１５時の映像が見たい」場合、サーバ上でこの時刻を検索条件として検索を行えば、ちょうどその時刻に録画された映像データを、時刻メタデータを用いて頭出しすることができる。

家庭用ビデオにおいては、録画中にポーズボタンを押して、一時録画を中断することが多い。従来のビデオでは、録画開始・録画終了時刻は映像データ本体に記録されるが、一つの映像データ中で一時録画停止を行う場合、データの途中で現実時間とデータ先頭からの録画時間の進行に、一時停止時点でずれが生じるため、一時停止→録画再開後の映像データ位置を実時間で頭出しすることができなくなる。これに対して上記の仕組みにより、録画の一時停止位置・録画再開位置で時刻メタデータに記述を行えば（録画の一時停止・再開の都度、時刻メタデータ中に、映像データの先頭位置からの経過時間と、現実時間との対応関係を記録する）、一時停止を行ってもメタデータ中で現実時間と映像データ位置の対応を完全に保持することができるため、従来は難しかった録画途中で中断があり、データ中で現実時間が飛び飛びに収められるようなデータにおいても、時刻から頭出しを機械が正確に行なうことができる。この仕組みは家庭用ビデオカメラに限らず、録画中に中断・再開が多発するようなシステムにおいて有効である。

［第９実施形態］
本発明の第９実施形態に係る映像監視システムにおいて、データ作成装置は機械製造工場の生品組み立てラインに設けられ、ライン駆動装置を制御する制御データを取得する前記制御データ取得部と、ラインの複数箇所に取り付けられて前記検知データを取得するセンサを含む前記検知データ取得部と、前記ラインの周辺を撮影する監視カメラを含む前記映像系データ取得部と、前記センサがライン停止を検出するたびに前記メタデータとしての前記絶対時間を作成する前記メタデータ作成部と、を備え、前記データ記憶装置および前記データ応用装置は前記工場内のライン集中監視センタに設けられ、前記ラインの停止時の前記制御系データと前記映像系データとを関連づけて利用可能とするように構成してもよい。

第９実施形態に係る工場の自動組み立てラインにおける映像監視システムについて、さらに説明する。制御系システムのセンサが何らかのイベント（事象）を検出する毎に、時刻メタデータ中に「映像データの先頭位置からの経過時間」「現実時間」「イベントの種類」をセットにして保存すれば、後から「イベントの種類」の情報を用いて、映像の頭出しを行なうことができる。

例えば、工場の製品自動組み立てラインの映像監視システムにおいて、センサが「ライン停止」を検出する毎に、時刻メタデータに上記の「映像データの先頭位置からの経過時間」「現実時間」「イベントの種類（この場合「ライン停止」）」を記録しておけば、後から「ラインが停止した瞬間の映像データを全て検索する」といったことが可能となり、その際の現実時間をコンピュータが簡単に把握することができる。

これに対し、従来の仕組みでは、（１）センサによるイベントごとに録画を開始する、（２）常時録画しつつ、画面上に現実時間の映像を埋め込むことになるため、上述した商品防犯ビデオの例と同様の理由で適切に録画ができず、コンピュータによる頭出しが困難であり、またイベント名による検索も不可能である。

［第１０実施形態］
本発明の第１０実施形態に係る映像監視システムにおいては、前記データ作成装置は、ビデオカメラの撮像方向および焦点距離を調節する駆動装置を制御する制御データを取り込む制御データ取得部と、降雨・降雪計および風向・風力計の測定値を検知データとして取り込む検知データ取得部と、道路における車両の運行状況を撮像する映像系データ取得部と、を少なくとも備える道路監視装置として適用され、前記データ記憶装置および前記データ応用装置は、所定の地域の道路状況を監視する道路監視センタに設けられ、複数の前記道路監視装置からの制御系データと映像系データをそれぞれ制御系データ保持装置および映像系データ保持装置にそれぞれ保持すると共に、前記制御系データのうちの前記検知データの検知量が急峻に変化した場合の絶対時間を前記映像系データにおける前記メタデータの絶対時間と関連づけて利用可能とするように構成されている。

第１０実施形態による道路の積雪状況の映像監視システムを詳細に説明する。道路上の積雪状況のような、変化が瞬間的に起こるのではなく、ゆっくり変化が起こるような状況を映像により監視するシステムにおいては、リアルタイムに積雪状況の変化を映像を用いて監視しても、１秒、１分単位では目に見える変化は起こらないため、状況変化がどのように起こっているかを捉えることは難しい。このような変化がゆっくりとしている系においては、例えば１５分ごと、３０分ごとの状況変化を見比べることによって、初めて状況変化の傾向を把握することができる。このような１５分、３０分ごとの変化なら、人間の目でも、コンピュータによる映像認識技術によっても、変化を認識することができるため本発明を効果的に適用できる。

このような道路状況監視を行なう映像およびセンサシステムに本特許の仕組みを適用する。例えば、３０分に１回、道路映像の録画を１分間だけ行い、時刻メタデータに映像内時間と現実時間の対応関係を記録する。そして、記録する毎に、時刻メタデータ中の３０分前の現実時間から当時の録画映像を頭出しし、現在の映像との比較をコンピュータによる映像解析により行ない、変化の幅がしきい値を超えるようであれば警報を出す、といった仕組みが簡便に実現可能となる。このシステムの場合、１日の映像は計４８分の映像データとして保存され、映像データ内時間1分間隔ごとに現実時間との対応関係が時刻メタデータに保存されることにより、例えば３時間単位の状況変化の履歴なども簡単に頭出しすることができるとともに、ひたすら録画を続ける系に比べ、映像データの量を低減することができる。

また、単に３０分ごとに１分データを録画する様な、機械的スケジューリングによる従来の映像監視システムに比べて、例えば、風量センサが異常値を検出した際には緊急に録画を行なうようなフレキシブルな録画運用を行なっても、時刻メタデータにより、現実時間と映像データ内時間の対応関係が完全に保持できているので、定常監視と緊急時監視の仕組みを同一の映像監視システムに収めることができる。

なお、全ての実施形態に共通して適用できることとして、映像データ保存量の低減のための仕組みが挙げられる。本発明の仕組みを用いて映像データを常時保存するようなシステム（例えばエレベータかご内監視映像）では、映像データが時間と共にどんどん増えるため、全ての映像を永続的に保存することは困難である。このようなシステムでは、例えば全ての映像データを録画後1日間は全て保存しておき、その後は重要な部分だけを残して何事も起こらなかった部分の映像データは廃棄するような仕組みが必要となる。従来はこの保存すべきデータの選択を人間の手による選択に任せていた為、明らかな事故発生などの誰の目にも明確で、事故発生が消去時間までに明らかとなった場合でしかデータを残すことができなかった。また人力による保存操作の手間が多くかかっていた。

これに対して、本発明の仕組みを用いて、重要なイベントが発生した時点で、時刻メタデータに映像内時刻と現実時間の対応関係を記録する仕組みがあれば、データ記録後１日が経過した場合に、時刻メタデータに記述のある時間の前後１分の映像データだけ保存や時刻メタデータに記述のある時間同士に挟まれた間の映像データだけ保存を情報システムが人間の手を介さずに自動的に行なうことができ、例えば映像データの録画後１ヶ月が経ってから、事故に繋がる異変が生じていたことを把握した際に、その時のデータを頭出しする、といったことが可能となる。人間により保存データを取捨選択するようなシステムでは、このような用途には適用できない。

第１実施形態に係る映像監視ステムの構成を示すブロック図。 第２実施形態に係る映像監視ステムの構成を示すブロック図。 第４実施形態に係る映像監視ステムの構成を示すブロック図。 第４ないし第６実施形態の映像監視システムを示すブロック図。 第４実施形態の動作を説明するためのメタデータの構成図。 第４実施形態の動作を説明するための説明図。 第４実施形態の動作を説明するための説明図。 第４実施形態の動作を説明するための説明図。 第４実施形態の動作を説明するための説明図。

符号の説明

１ データ作成装置
２ データ記憶装置
３ データ応用装置
１１ 映像系データ作成部
１２ メタデータ作成部
１３ 時刻情報取得部
１６ 映像データ取得部
１７ 検知データ取得部
１８ 制御データ取得部
１９ 制御系データ作成部
２１ 映像系データ保持部
２２ 制御系データ保持部
３１ 映像系データ再生部
３２ 映像系データ選択部
３３ 時刻解析部
３４ 制御系データ選択部
３５ 制御系データ表示部
３６ ユーザインターフェース

Claims (10)

1. 絶対時間の時刻情報を取得する時刻情報取得部と、特定の場所における環境を制御する制御部へ供給される制御データを取得する制御データ取得部と、前記特定の場所の前記環境に設けられた各種センサにより検知された振動・温度・接触を含む事象の検知データを取得する検知データ取得部と、前記制御データおよび前記検知データに対して前記時刻情報を関連づけた制御系データを作成する制御系データ作成部と、前記特定の場所の周辺における継続的な状況から取得された動画像・静止画・音声を含む映像系データを取得する映像系データ取得部と、前記映像系データ取得部により取得された前記映像系データに基づいて種々の映像処理を行なって処理後の映像系データを作成して出力する映像系データ作成部と、前記映像処理後の映像系データに対して前記時刻情報取得部により取得された前記時刻情報をメタデータとして作成するメタデータ作成部と、前記映像系データ取得部により取得された前記映像系データに対して前記時刻情報取得部により取得された前記時刻情報をメタデータとして作成するメタデータ作成部と、を備えるデータ作成装置と、
   前記映像系データ取得部により取得された前記映像系データと前記メタデータ作成部により作成された前記メタデータとを保持する映像系データ保持部と、前記制御データ取得部と前記検知データ取得部によりそれぞれ取得された前記制御データと前記検知データとを保持する制御系データ保持部と、を備えるデータ記憶装置と、
   前記制御系データ保持部に保持された前記制御データおよび前記検知データをそれぞれ表示可能な制御系データ表示部と、前記制御系データにおける前記制御データの特定の制御内容または前記検知データの特定の事象を制御系部分データとして選択可能な制御系データ選択部と、前記映像系データを再生可能な映像系データ再生部と、前記映像系データにおける時系列および撮像領域の少なくとも一部分を映像系部分データとして選択可能な映像系データ選択部と、前記制御系データ選択部および前記映像系データ選択部によりそれぞれ選択された前記制御系部分データおよび前記映像系部分データの前記時刻情報および前記メタデータに基づいてそれぞれの部分データの時刻を解析する時刻解析部と、前記制御系部分データと前記映像系部分データとを前記時刻解析部により解析された絶対時間としての前記時刻情報を用いて相互に関連づけて出力可能なユーザインターフェース部とを備えるデータ応用装置と、
   を備えることを特徴とする映像監視システム。
2. 前記データ作成装置は、前記映像系データ取得部により取得された前記映像系データの画像信号や音声信号の特徴量に基づいて前記映像系データから映像または音声の特徴を前記映像系部分抽出する特徴抽出部と、前記映像系データに関連する内容をテキストにより記述するテキスト記述部と、をさらに備えると共に、前記メタデータ作成部は、前記特徴抽出部により抽出された前記特徴としての映像系部分データに前記メタデータを関連付けると共に前記テキスト記述部により記述された前記テキストを含むテキストデータに対しても前記メタデータを関連付けることを特徴とする請求項１に記載の映像監視ステム。
3. 前記データ作成装置は所定の演算処理能力を有する計算機を備えると共に前記時刻情報取得部が取得する前記絶対時間としての時刻情報は特定の地域における標準時刻であり、前記制御系データ作成部は前記標準時刻に基づいて前記計算機の演算処理能力を用いて制御系データを作成すると共に前記メタデータ生成部は前記時刻情報取得部が取得した前記標準時刻を用いて映像系データ用のメタデータを作成し、
   前記データ応用装置は所定の演算処理能力を有する計算機を備えると共に前記時刻解析部により解析される前記制御系部分データおよび前記映像系部分データの前記時刻情報も前記絶対時間としての前記標準時刻であることを特徴とする請求項１および請求項２の何れかに記載の映像監視システム。
4. 前記データ作成装置は、前記制御部としてのエレベータおよびエスカレータを含む人員搬送設備や自動改札機を含む構内設備の駆動または管理を制御する制御データを取得する前記制御データ取得部と、前記構内設備の周囲から種々の物理量を検知するセンサを含む前記検知データ取得部と、前記構内設備の設置場所の周囲の映像・音声を含む前記映像系データを取得する前記映像系データ取得部と、前記映像系データに対して前記時刻情報取得部により取得された前記時刻情報をメタデータとして作成するメタデータ作成部と、を備え、
   前記データ記憶装置および前記データ応用装置は、前記人員搬送設備や前記構内設備の駆動または管理を制御する前記制御部を統合管理する管理センタに設けられると共に前記データ応用装置は、所定時間が経過するたびに前記データ記憶装置から前記映像系データ保持部に保持された前記映像系データを読み出すと共に前記制御系データ保持部に保持された前記制御系データを読み出すデータ自動読出し部と、該データ自動読出し部により読み出された前記制御系データを解析して絶対時間で管理された該制御系データに変化が発生した前記絶対時間を特定する時間特定部と、該時間特定部により特定された前記絶対時間に対応する前記メタデータが付された前記映像系データにおける前記映像系部分データのみを圧縮して編集する映像系データ圧縮部と、を備えることを特徴とする請求項１ないし請求項３の何れかに記載の映像監視システム。
5. 前記データ作成装置は前記特定の場所としてのエレベータ設置施設に設けられて、エレベータの昇降を制御する前記制御データと各種センサより検知された前記検知データを含む前記絶対時間により時間管理された前記制御系データと、エレベータのかご内およびエレベータホールを含むエレベータの周辺に設置された前記映像系データ作成部としての監視カメラから取得された前記映像系データを前記メタデータと共に作成し、前記データ応用装置は前記エレベータを集中管理するエレベータ監視センタに設置された計算機内に設けられると共に前記データ記憶装置は前記エレベータ設置施設および前記エレベータ監視センタの少なくとも一方に設けられて、前記データ作成装置、前記データ記憶装置、前記データ応用装置はオンライン接続されていることを特徴とする請求項１ないし請求項４の何れかに記載の映像監視システム。
6. 前記エレベータ監視センタは、複数のエレベータ設置施設における複数のエレベータを集中管理すると共に、前記複数のエレベータ設置施設から離隔された場所から遠隔操作によりそれぞれのエレベータの運行を制御する前記制御データと各種センサからの前記検知データを前記監視カメラからの前記映像系データとの時間的関連づけに基づいて管理することを特徴とする請求項５に記載の映像監視システム。
7. 前記データ作成装置は、商品販売および役務提供を行なう店舗に設けられ、前記店舗に設置された金銭登録機を含む前記制御データ取得部と、前記店舗入り口の自動ドアを含む前記検知データ取得部と、前記店舗内外に設置された監視カメラおよび集音マイクを含む前記映像系データ取得部と、を備え、
   前記データ応用装置は前記データ作成装置が設置された複数の店舗を警備する警備会社に設けられ、前記データ記憶装置は前記複数の店舗のそれぞれの店舗および前記警備会社の何れか一方に設けられていることを特徴とする請求項１ないし請求項３の何れかに記載の映像監視システム。
8. 前記データ作成装置はビデオカメラまたはテレビチューナに接続可能なデジタルビデオ録画システムに設けられ、前記データ記憶装置は前記デジタルビデオ録画システムで用いられる前記制御データと前記映像系データとを格納して保存する映像サーバを含み、前記データ応用装置は前記映像サーバに保存された前記映像系データを前記デジタルビデオ録画システムの制御データおよび前記メタデータと関連づけて前記映像系データの時系列の情報の頭出しを行なう頭出しシステムを含むことを特徴とする請求項１ないし請求項３の何れかに記載の映像監視システム。
9. 前記データ作成装置は機械製造工場の生品組み立てラインに設けられ、ライン駆動装置を制御する制御データを取得する前記制御データ取得部と、ラインの複数箇所に取り付けられて前記検知データを取得するセンサを含む前記検知データ取得部と、前記ラインの周辺を撮影する監視カメラを含む前記映像系データ取得部と、前記センサがライン停止を検出するたびに前記メタデータとしての前記絶対時間を作成する前記メタデータ作成部と、を備え、
   前記データ記憶装置および前記データ応用装置は前記工場内のライン集中監視センタに設けられ、前記ラインの停止時の前記制御系データと前記映像系データとを関連づけて利用可能とすることを特徴とする請求項１ないし請求項３の何れかに記載の映像監視システム。
10. 前記データ作成装置は、ビデオカメラの撮像方向および焦点距離を調節する駆動装置を制御する制御データを取り込む制御データ取得部と、降雨・降雪計および風向・風力計の測定値を検知データとして取り込む検知データ取得部と、道路における車両の運行状況を撮像する映像系データ取得部と、を少なくとも備える道路監視装置として適用され、
    前記データ記憶装置および前記データ応用装置は、所定の地域の道路状況を監視する道路監視センタに設けられ、複数の前記道路監視装置からの制御系データと映像系データをそれぞれ制御系データ保持装置および映像系データ保持装置にそれぞれ保持すると共に、前記制御系データのうちの前記検知データの検知量が急峻に変化した場合の絶対時間を前記映像系データにおける前記メタデータの絶対時間と関連づけて利用可能とすることを特徴とする請求項１ないし請求項３の何れかに記載の映像監視システム。

Images