JP2007067896A - 監視映像音声記録再生装置、監視映像音声記録装置及び監視映像音声再生装置 - Google Patents

Abstract

【課題】監視領域の映像・音声データを収録する監視システムの監視映像音声記録再生装置において、記録済の映像データを高速再生やスロー再生等の特殊モードで再生する際に音声情報を視覚的に確認できるようにする。
【解決手段】各ネットワークカメラから通信回線１を介して伝送される映像・音声データをハードディスク４７に記録する際に、音声解析部４６が受信音声バッファ４４の音声データを音声認識アルゴリズムと衝撃音判定アルゴリズムで解析し、認識結果としての発声音の文字情報又は「衝撃音」の文字情報を生成させる。データ記録部４５は前記文字情報を受信映像バッファ４３の映像データに対応させてハードディスク４７に記録する。映像データの特殊モードでの再生時には音声再生がなされないが、前記文字情報を映像と共に表示させることで、再生映像における音声状況を視覚的に確認できる。
【選択図】図２

Description

本発明は監視システムに適用される監視映像音声記録再生装置、監視映像音声記録装置及び監視映像音声再生装置に係り、監視対象領域に配備されたネットワークカメラがマイクロホンも備えており、ネットワークカメラから通信回線を介して伝送された映像と音声を記録・再生する装置に関する。

近年、様々な業種の企業や家庭におけるセキュリティや防犯対策の要請の高まりから各種方式の監視システムが広範に普及しているが、工場や店舗等で用いられている監視システムではネットワーク構成が採用されている場合が多く、複数の監視場所に設置した各監視カメラの映像データを通信回線を介して集中監視装置へ伝送し、集中監視装置で各監視カメラから得られた映像を記録・表示させるようになっている。

そして、従来はアナログの通信回線を用いた監視システムが多かったが、最近では、高速通信網の整備拡充によってデータ伝送速度が飛躍的に向上しており、ネットワークカメラと称されるマイクロホンも備えた高機能なカメラ装置を用いると共に、イーサネット（登録商標）等のＬＡＮ（Local Area Network）やブロードバンド方式の広域網を利用して、映像信号と音声信号を圧縮符号化したデジタル信号を集中監視装置へ伝送し、集中監視装置で映像と音声を記録・表示させると共に、同装置からネットワークカメラ側へ指示コマンドを送信して撮像範囲等を自在に制御できるような監視システムも多数実施されている（例えば、下記特許文献１，２）。尚、集中監視装置の構成は、通信回線に対してネットワークレコーダと映像・音声再生用端末とが接続されたものになっている場合もある。
特開２０００−０８３２４１号公報 特開２００２−３００５６９号公報

ところで、前記集中監視装置は映像・音声データの記録機能と再生機能を備えており、各ネットワークカメラ側から伝送された映像・音声データを一旦ハードディスク装置等の記憶手段に記録しておき、その記録済データを適宜読み出して再生するが、映像を高速再生やスロー再生や逆転再生等の特殊モードで再生させる場合には一般のＶＴＲやＤＶＤプレーヤ等と同様に音声再生が不可能となり、同モードの設定中は収録した音声の内容を確認できない。従って、特殊モードでの映像再生時に音声を確認する必要が生じた場合には、該当する時間帯の映像データに戻して通常再生モードで再生させることにより音声を聴取することになるが、作業が非常に煩雑になり、また確認作業が頻繁に生じると長時間を要して非効率である。また、集中監視装置では複数のネットワークカメラから伝送された映像をマルチ画面表示させて確認作業の効率化が図られることがあるが、各画面の表示映像の音声が同時に再生されるため、音声が混ざって内容を把握することが困難になる。

そこで、本発明は、音声データを解析して得られる文字情報を再生映像に付加的に表示させることにより、常に音声の内容を確認しながら映像を監視できる監視映像音声記録再生装置、監視映像音声記録装置及び監視映像音声再生装置を提供することを目的として創作された。

本発明は、監視場所に設置されたネットワークカメラと通信回線を介して接続されており、前記ネットワークカメラがカメラ部で撮像した監視領域の映像データとマイクロホン部で収音した音声データとを受信して記憶手段に記録し、また前記記憶手段から映像データと音声データを読み出して再生する監視映像音声記録再生装置において、受信した音声データを音声認識アルゴリズムと衝撃音判定アルゴリズムとで解析し、前記音声認識アルゴリズムで解析可能であった場合には認識された文字情報を生成し、前記衝撃音判定アルゴリズムで衝撃音と判定された場合には衝撃音検出情報を生成する音声データ解析手段と、前記音声データ解析手段が生成した文字情報又は衝撃音検出情報を解析対象となった音声データと同一時間帯の映像データに対応させて前記記憶手段に記録する文字情報記録手段と、前記記憶手段の映像データの読み出しに際して、映像データに前記文字情報又は前記衝撃音検出情報が対応付けられている場合には、それら情報も併せて読み出すデータ読み出し手段と、前記データ読み出し手段が読み出した映像データにより表示再生される映像と共に、同時に読み出した前記文字情報又は前記衝撃音検出情報を表示させる表示制御手段とを具備したことを特徴とする監視映像音声記録再生装置に係る。

本発明の監視映像音声記録再生装置では、音声データ解析手段が受信音声データを音声認識アルゴリズムと衝撃音判定アルゴリズムで解析し、その結果としての文字情報又は衝撃音検出情報を得るが、その情報は文字情報記録手段により同一時間帯の映像データに対応させて記憶手段に記録される。映像の再生に際しては、データ読み出し手段が映像データと共に前記文字情報等を読み出し、表示制御手段が映像と共にその情報も表示させる。従って、高速再生やスロー再生等の特殊モードで映像を再生している場合において、音声が再生されなくとも、表示された文字情報等から音声の内容を確認することができる。尚、衝撃音検出情報は「衝撃音」の文字情報のほか、衝撃音検出の事実を示す記号等であってもよい。

尚、前記監視映像音声記録再生装置は記録機能と再生機能とを併有した構成になっているが、各機能別に独立した装置として構成してもよい。その場合、記録側については、カメラ部とマイクロホン部とを備えたネットワークカメラと通信回線を介して接続されており、前記ネットワークカメラが前記カメラ部で撮像した映像データと前記マイクロホン部で収音した音声データとを受信して記憶手段に記録する監視映像音声記録装置において、前記受信した音声データを音声認識アルゴリズムと衝撃音判定アルゴリズムとで解析し、前記音声認識アルゴリズムで解析可能であった場合には認識された文字情報を生成し、前記衝撃音判定アルゴリズムで衝撃音と判定された場合には衝撃音検出情報を生成する音声データ解析手段と、前記音声データ解析手段が生成した文字情報又は衝撃音検出情報を解析対象となった音声データと同一時間帯の映像データに対応させて前記記憶手段に記録する文字情報記録手段とを具備したことを特徴とする監視映像音声記録装置として構成できる。また、再生側については、前記監視映像音声記録装置と接続されており、前記監視映像音声記録装置の記憶手段に記録された映像データと音声データとを再生する監視映像音声再生装置において、前記記憶手段の映像データの読み出しに際して、映像データに前記文字情報又は前記衝撃音検出情報が対応付けられている場合には、それら情報も併せて読み出すデータ読み出し手段と、前記データ読み出し手段が読み出した映像データにより表示再生される映像と共に、同時に読み出した前記文字情報又は前記衝撃音検出情報を表示させる表示制御手段とを具備したことを特徴とする監視映像音声再生装置として構成できる。

本発明の監視映像音声記録再生装置によれば、映像と音声を収録して表示させる方式の監視システムにおいて、映像を高速再生やスロー再生等の特殊モードで再生させる場合にも本来の再生音声を文字情報や衝撃音検出情報によって視覚的に確認でき、監視データの閲覧作業の精細化と効率化が図れる。また、マルチ画面表示方式で複数のネットワークカメラの監視映像を通常再生モードで再生させる場合や、マルチ画面表示方式で単一のネットワークカメラの区分された複数の時間帯の監視映像を通常再生モードで再生させる場合には、音声が混ざって内容を聴取し難くなるが、本発明によれば各画面の映像に文字情報等を付加することでその問題点を解消できる。

以下、本発明の監視映像音声記録再生装置、監視映像音声記録装置及び監視映像音声再生装置に係る実施形態を図面に基づいて詳細に説明する。先ず、図１はイーサネット（登録商標）規格のＬＡＮを用いた監視システムのネットワーク構成図であり、通信回線１に対して各監視場所に配備されたネットワークカメラ２-1〜4が接続されていると共に、集中監視室側に設置された監視映像音声記録再生装置３が接続されている。また、この実施形態ではネットワークプロトコルとしてＴＣＰ／ＩＰ（Transmission Control Protocol／Internet Protocol）が用いられているものとする。

各ネットワークカメラ２-1〜4は、カメラ部２cとマイクロホン部２mとからなり、カメラ部２cで撮像した監視対象領域の映像データとマイクロホン部２mで収音した音声データとをそれぞれ符号化圧縮した後、通信回線１を介して監視映像音声記録再生装置３側へ伝送する。ここで、監視映像音声記録再生装置３はネットワークレコーダ４と再生端末装置５とからなり、それらはネットワークに対しては独立した端末として接続されている。尚、ネットワークレコーダ４と再生端末装置５は、それぞれ監視映像音声の記録装置と再生装置に相当する。

各ネットワークカメラ２-1〜4とネットワークレコーダ４と再生端末装置５とはＴＣＰ／ＩＰに基づいて通信してイーサネット（登録商標）規格のフレームでデータ伝送を行う。その場合、データリンク層ではイーサネット（登録商標）・アドレス［ＭＡＣ（Media Access Control）アドレス］を用い、ネットワーク層ではＩＰアドレスを用いるため、両階層の中間にＩＰアドレスをイーサネット（登録商標）・アドレスに変換するためのＡＲＰ（Address Resolution Protocol）プロトコルや、その逆の変換を行うためのＲＡＲＰ（Reverse Address Resolution Protocol）プロトコルが設けられており、各ネットワークカメラ２-1〜4とネットワークレコーダ４と再生端末装置５とはＡＲＰプロトコルとＲＡＲＰプロトコルを実行することにより、それぞれ他機のＩＰアドレスとＭＡＣアドレスを知ることができる。

ネットワークカメラ２-1〜4は、イーサネット（登録商標）規格のフレームの［宛先フィールド］にネットワークレコーダ４と再生端末装置５の各ＩＰアドレスから求めた各ＭＡＣアドレスを、［送信元フィールド］に自機のＩＰアドレスに対応するＭＡＣアドレスを書き込むと共に、［データフィールド］に映像データと音声データの圧縮符号化データと日時データをそれぞれ書き込んで通信回線１へ出力する。尚、映像データの圧縮符号化方式としてはＪＰＥＧ（Joint Photographic Experts Group）やＭＰＥＧ（Moving Picture Experts Group）等の方式が採用され、音声圧縮符号化方式としてはＧ.７１１やＧ.７２６等の方式が採用される。以降、特別に断らない限り、「映像データ」又は「音声データ」と言うときは圧縮符号化されたデータを意味することとする。

ネットワークレコーダ４は、各ネットワークカメラ２-1〜4から伝送されたフレームを通信回線１から取り込んで映像データと音声データを内蔵ハードディスクに記録し、また、再生端末装置５からデータ指定を伴うデータ転送要求がなされることに基づいて映像データと音声データをハードディスクから読み出し、通信回線１を介して再生端末装置５へ出力する。具体的には、ネットワークレコーダ４は図２に示すような構成を有しており、通信Ｉ／Ｆ４１が通信回線１から各ネットワークカメラ２-1〜4の送信フレームを受信すると、宛先フィールドと送信元フィールドを確認してそのフレームを受信フレーム処理部４２へ取り込み、受信フレーム処理部４２がデータフィールドの映像データと音声データを分離し、映像データを受信画像バッファ４３へ、音声データを受信音声バッファ４４へそれぞれ出力する。また、前記の映像データと音声データには、日時データと共に送信元フィールドのＭＡＣアドレスから求めたＩＰアドレスがそれぞれ付加記録され、以降、各データにはその日時データとネットワークカメラ２-1〜4に対応するＩＰアドレスとが付加された状態で転送される。

ところで、受信画像バッファ４３と受信音声バッファ４４はそれぞれ一定データ量の映像データと音声データが書き込まれる度にデータ記録部４５へ読み出されるが、音声解析部４６は受信音声バッファ４４の音声データを取り込んで解析を行う。この実施形態では、受信画像バッファ４３と受信音声バッファ４４が約５秒間分のデータをバッファするものとし、音声解析部４６が５秒間の音声データを解析単位として、図３に示す手順により文字情報を生成させ、それをデータ記録部４５へ出力する。

先ず、音声解析部４６は、受信音声バッファ４４の全ての音声データ（約５秒間分の音声データ）を取り込んで復号し、復号されたデータについて音声認識アルゴリズムによる解析を行う（S1〜S3）。そして、その解析によって音声認識が可能な場合には、前記音声データについての認識結果である文字情報が生成され、その文字情報をデータ記録部４５へ出力する（S4〜S6）。一方、音声認識が不可能な場合には衝撃音判定アルゴリズムによる解析を行い、衝撃音であると判定されると、「衝撃音」の文字情報を生成させてデータ記録部４５へ出力する（S4→S7〜S10）。尚、音声認識アルゴリズムとしては音声信号波形に対するパターンマッチング等の一般的方法が適用でき、衝撃音判定アルゴリズムとしては、所定閾値レベル以上の音声信号が一定期間集中的に存在しているか否かを解析する方法や、音声信号の時間波形を周波数スペクトルに分解して発声音とは異なる特徴が存在するか否かを解析する方法等が適用できる。

図２に戻って、データ記録部４５は、受信画像バッファ４３の映像データに対応付けて音声解析部４６が出力した文字情報をハードディスク４７に記録する。そして、このようにしてネットワークレコーダ４のハードディスク４７には各ネットワークカメラ２-1〜4が送信した映像データと音声データと文字情報とが長時間に亘って記録・蓄積されてゆくが、再生端末装置５から通信回線１を介してネットワークカメラ２-Xを特定するＩＰアドレスと期間とを指定したデータ転送要求フレームを受信すると、ネットワークレコーダ４はハードディスク４７から指定されたネットワークカメラ２-Xに係る指定期間のデータを順次読み出して再生端末装置５へ送信する。

そして、その場合の動作は次のようになる。先ず、通信Ｉ／Ｆ４１が通信回線１からデータ転送要求フレームを受信すると、それを受信フレーム処理部４２へ取り込み、受信フレーム処理部４２はフレーム内容を分析してデータ転送要求があったことと、同要求で指定されている条件（ＩＰアドレス及び期間）とをコマンド処理部４８へ通知する。コマンド処理部４８ではその通知に基づいてデータ読出部４９へ指定条件での読み出しを指示すると共に、送信フレーム処理部５０へデータ転送要求元である再生端末装置５のＩＰアドレスを転送しておく。そして、データ読出部４９は、指定されたネットワークカメラ２-Xに係る指定期間の映像データと音声データとをハードディスク４７から読み出し、それぞれを送信画像バッファ５１と送信音声バッファ５２へ出力する。また、データ読出部４９は前記映像データに対応付けられている文字情報も読み出して送信フレーム処理部５０へ出力する。送信フレーム処理部５０では、送信画像バッファ５１と送信音声バッファ５２からそれぞれ映像データと音声データを読出し、イーサネット（登録商標）規格のフレームの［データフィールド］に各バッファ５１，５２から読み出した映像データと音声データと予めデータ読出部４９から受けている文字情報とを書き込み、［宛先フィールド］を再生端末装置５のＩＰアドレスに対応するＭＡＣアドレスとし、［送信元フィールド］をネットワークレコーダ４のＩＰアドレスに対応するＭＡＣアドレスとした送信フレームを組み立てて通信回線１へ出力する。

次に、再生端末装置５は２つのモードでの再生機能を備えており、通常は各ネットワークカメラ２-1〜4から伝送されるフレームを通信回線１から選択的に取り込んで各ネットワークカメラ２-1〜4が担当する監視対象領域のリアルタイムな映像と音声を再生するが、過去に記録された各ネットワークカメラ２-1〜4による映像・音声を確認する必要が生じた場合には、上記のようにネットワークレコーダ４へカメラ番号と期間を指定したデータ転送要求フレームを伝送し、ネットワークレコーダ４から記録済の映像データと音声データを受信して映像・音声を再生する。

そして、この実施形態の再生端末装置５においては、ネットワークレコーダ４の映像データと音声データを復号して再生する際に、モニタ画面５aに監視対象領域の映像と共に同時に受信した文字情報も表示させるという特徴を備えている。例えば、音声解析部４６において音声認識アルゴリズムによる解析が可能であった場合（図３のステップS4〜S6）には、図４に示すような表示画面となる。この例では、モニタ５aの表示画面に映像領域と文字領域とＧＵＩ（Graphical User Interface）領域とが構成されており、文字領域に前記文字情報（この場合は「金を出せ」の文字）が表示されている。一方、図５は、音声認識アルゴリズムによる解析が不可能で、衝撃音判定アルゴリズムによって衝撃音と判定された場合（図３のステップS4→S7〜S10）の表示画面であり、文字領域に「衝撃音」の文字が表示されている。

ところで、再生端末装置５はネットワークレコーダ４に対してデータ転送要求フレームを送信する際に高速再生やスロー再生や逆転再生等の特殊モードでの再生条件を指定することができ、ネットワークレコーダ４は指定再生条件に基づく速度や順序で映像データと音声データをハードディスク４７から読み出して再生端末装置５へ送信することになる。その場合、従来の監視システムにおける再生端末装置とネットワークレコーダの構成では、再生端末装置が指定した再生条件で映像の再生を行うと、一般のＶＴＲやＤＶＤプレーヤ等と同様に音声再生が不可能になる。例えば、監視対象領域の状況をより詳細に確認するためにスロー再生を行っている時には、侵入者と警備員がどの時点でどのような会話を交わしたかを知ることが必要な場合があるが、スロー再生であるために会話の内容を知ることができない。しかし、この実施形態によれば映像データと音声データに対応させて音声解析部４６で解析した文字情報が付加されているため、前記特殊モードでの再生であっても図４や図５のように音声認識に基づく文字や衝撃音判定による「衝撃音」の文字を表示させることができ、映像がスロー再生中や高速再生中であっても音声の内容や衝撃音の発生状態であることを確認できる。

尚、以上の実施形態では、再生端末装置５が単一のネットワークカメラ２-Xによる映像と音声と文字情報を再生する場合について説明したが、データ転送要求フレームで複数のネットワークカメラ２-1〜4を指定し、ネットワークレコーダ４から時分割方式で各ネットワークカメラ２-1〜4に係るフレームを受信して、各監視対象領域の映像をマルチ画面方式で表示させることも可能である。また、ネットワークレコーダ４が、ハードディスク４７に蓄積されている単一のネットワークカメラ２-Xの一定時間分のフレームを複数期間に分割し、各期間毎に先頭又は末尾のフレームから順に時分割方式で再生端末装置５へ送信し、再生端末装置５が各期間の映像をマルチ画面方式で表示させることも可能であり、その方式によればネットワークレコーダ４が蓄積した映像と音声の閲覧時間を大幅に短縮できる。

しかし、前記のようにマルチ画面方式で映像を再生させる場合において通常再生モードを選択していると、各画面に係る複数の音声が混合した状態でスピーカから出力され、結果的に各画面毎の音声を聴き取ることが困難になる。この問題に対しても、前記実施形態と同様に、各画面の映像に対応させて音声を文字情報で表示させるようにすれば、各画面に表示されている映像の状況下での会話のやりとりや衝撃音の発声を確認できる。即ち、例えば、４０分間の映像を１０分間毎に４分割してマルチ画面方式で再生を行うと、図６に示すように４つの映像を同時に表示させることができるが、音声が存在した状況下の映像には発声音の文字情報や「衝撃音」の文字が併せて表示される。その表示がない場合には、時刻１１：１１での扉が開いた際の衝撃音と時刻１１：２１での「金を出せ」の発声音が同時に再生されて双方が聴きづらくなるが、図６のマルチ画面表示によれば、映像と音声を視覚的に確認してゆくことができ、効率的な閲覧が可能になる。また、その場合には音声再生をオフ状態にしておけばよい。

本発明は監視システムにおける集中監視室等に設置される監視映像音声記録再生装置に適用できる。

実施形態に係る監視映像音声記録再生装置が適用されている監視システムのネットワーク構成図である。 ネットワークレコーダのブロック図である。 音声解析部の動作手順を示すフローチャートである。 音声解析部で音声認識が可能であった場合におけるモニタの表示画面である。 音声解析部で衝撃音と判定された場合におけるモニタの表示画面である。 マルチ画面方式の表示状態におけるモニタの表示画面である。

符号の説明

１…通信回線、２-1〜4…ネットワークカメラ、２c…カメラ部、２m…マイクロホン、４…ネットワークレコーダ、５…再生端末装置、５a…モニタ画面、４１…通信Ｉ／Ｆ、４２…受信フレーム処理部、４３…受信画像バッファ、４４…受信音声バッファ、４５…データ記録部、４６…音声解析部、４７…ハードディスク、４８…コマンド処理部、４９…データ読出部、５０…送信フレーム処理部、５１…送信画像バッファ、５２…送信音声バッファ。

Claims (3)

1. カメラ部とマイクロホン部とを備えたネットワークカメラと通信回線を介して接続されており、前記ネットワークカメラが前記カメラ部で撮像した映像データと前記マイクロホン部で収音した音声データとを受信して記憶手段に記録し、また前記記憶手段から映像データと音声データとを読み出して再生する監視映像音声記録再生装置において、
   前記受信した音声データを音声認識アルゴリズムと衝撃音判定アルゴリズムとで解析し、前記音声認識アルゴリズムで解析可能であった場合には認識された文字情報を生成し、前記衝撃音判定アルゴリズムで衝撃音と判定された場合には衝撃音検出情報を生成する音声データ解析手段と、
   前記音声データ解析手段が生成した文字情報又は衝撃音検出情報を解析対象となった音声データと同一時間帯の映像データに対応させて前記記憶手段に記録する文字情報記録手段と、
   前記記憶手段の映像データの読み出しに際して、映像データに前記文字情報又は前記衝撃音検出情報が対応付けられている場合には、それら情報も併せて読み出すデータ読み出し手段と、
   前記データ読み出し手段が読み出した映像データにより表示再生される映像と共に、同時に読み出した前記文字情報又は前記衝撃音検出情報を表示させる表示制御手段と
   を具備したことを特徴とする監視映像音声記録再生装置。
2. カメラ部とマイクロホン部とを備えたネットワークカメラと通信回線を介して接続されており、前記ネットワークカメラが前記カメラ部で撮像した映像データと前記マイクロホン部で収音した音声データとを受信して記憶手段に記録する監視映像音声記録装置において、
   前記受信した音声データを音声認識アルゴリズムと衝撃音判定アルゴリズムとで解析し、前記音声認識アルゴリズムで解析可能であった場合には認識された文字情報を生成し、前記衝撃音判定アルゴリズムで衝撃音と判定された場合には衝撃音検出情報を生成する音声データ解析手段と、
   前記音声データ解析手段が生成した文字情報又は衝撃音検出情報を解析対象となった音声データと同一時間帯の映像データに対応させて前記記憶手段に記録する文字情報記録手段と
   を具備したことを特徴とする監視映像音声記録装置。
3. 請求項２の監視映像音声記録装置と接続されており、前記監視映像音声記録装置の記憶手段に記録された映像データと音声データとを再生する監視映像音声再生装置において、
   前記記憶手段の映像データの読み出しに際して、映像データに前記文字情報又は前記衝撃音検出情報が対応付けられている場合には、それら情報も併せて読み出すデータ読み出し手段と、
   前記データ読み出し手段が読み出した映像データにより表示再生される映像と共に、同時に読み出した前記文字情報又は前記衝撃音検出情報を表示させる表示制御手段と
   を具備したことを特徴とする監視映像音声再生装置。
   

Images