JP2010010967A - 撮影装置、その制御方法及びコンピュータプログラム - Google Patents

Abstract

【課題】撮影装置における検知・認識精度を向上させる。
【解決手段】監視環境の音声を集音する集音手段と、監視環境の映像を撮影する撮影手段と、集音手段、撮影手段、及び監視環境の状態を測定するセンサが収集したデータの変化に基づいて監視環境の状態の変化を検知する検知手段と、集音手段が収集した音声データと撮影手段が収集した映像データとについて、状態の変化を認識する認識処理を行う認識処理手段とを備える。認識処理手段は、検知手段による検知結果に基づいて起動し、認識処理に使用する認識データベースを選択することを特徴とする。
【選択図】図２

Description

本発明は撮影技術に関し、特に監視のための撮影技術に関する。

治安等の問題をはじめ、遠隔地の様子を見たいという潜在的な要求や、カメラのこれまでにない使い方について技術的にも様々な観点から検討されつつある。

例えば、インターネットに代表されるネットワーク環境の普及及び高速化を背景として、遠隔地の映像を見るようないわゆるネットワークカメラが増えてきている。また、音声処理・画像処理の処理能力が向上し、高度な音声検知処理や音声認識処理、高度な映像検知処理や映像認識処理の技術が検討されつつある。上記に鑑み、音声・映像を用いて認識・検知するための様々な技術が提案されている。

特許文献１では、動きないし音量の閾値を用いて状態の変化を検知する技術が提案されている。特許文献２では、入力音声の認識結果から発言者を推定し、発言者に対応してあらかじめ設定した撮影条件に沿って自動的にクローズアップする技術が提案されている。特許文献３では、ネットワークに接続された複数の音声認識装置を用いて、入力音声を全ての認識装置に送り、認識結果のスコアが最高の音声認識装置の結果を採用する技術が提案されている。特許文献４では、ローカルに小語彙用、リモートに大語彙用の音声認識装置をもつ複数の音声認識エンジンが存在する場合に、どちらのエンジンを利用するかをユーザが明示的に指定することにより音声認識エンジンを決定する技術が提案されている。
特開平８−２９７７９２号公報 特開平１１−３４１３３４号公報 特開２００２−１１６７９６号公報 特開２００２−１８２８９６号公報

しかしながら、監視等の利用では無人の状況で動作させることが多く、検知処理や認識処理性能が向上したとはいえ、まだまだ検知・認識の機能として、無人の状況で使うには要求を満足させるには処理負荷や精度の面で不十分な場合が少なくない。

上記課題を鑑み、本発明に係る撮影装置は、
監視環境の音声を集音する集音手段と、
前記監視環境の映像を撮影する撮影手段と、
前記集音手段、前記撮影手段、及び前記監視環境の状態を測定するセンサが収集したデータの変化に基づいて前記監視環境の状態の変化を検知する検知手段と、
前記集音手段が収集した音声データと前記撮影手段が収集した映像データとについて、前記状態の変化を認識する認識処理を行う認識処理手段と
を備え、
前記認識処理手段は、前記検知手段による検知結果に基づいて起動し、前記認識処理に使用する認識データベースを選択する
ことを特徴とする。

本発明により、検知・認識能力を向上させると共に、撮影装置の限られた処理能力であっても、不要な処理を実行せず、精度の高い検知・認識ができるようになる。

本発明の実施形態について、添付の図面を参照しつつ詳細に説明する。

＜第１の実施形態＞
図１は本実施形態におけるシステム構成図の一例である。撮影装置１０１、映像音声蓄積装置１０２、センサ１０５、及び操作端末１０３は、ネットワーク１０４を介して接続される。撮影装置１０１は監視環境の映像の撮影や音声の集音を行う。映像音声蓄積装置１０２は撮影装置１０１から送信された映像・音声を必要に応じて蓄積する。操作端末１０３は撮影装置１０１から送信された映像・音声の閲覧や撮影装置１０１の操作等を行う。操作端末１０３は撮影装置１０１で状態の変化を検知した場合に異常検知通知の受信も行う。なお、撮影装置１０１で検知・認識された状態の変化に関連する情報も、映像音声蓄積装置１０２において、映像・音声と共に蓄積される。センサ１０５は例えば窓ガラスセンサやドアセンサであり、監視環境の状態を測定して、収集した測定結果を撮影装置１０１に出力する。ネットワーク１０４はＬＡＮやＷＡＮのようなＩＰ網を想定しているが、専用の通信網等の映像・音声を通信するために十分は回線が確保できればどのようなものであってもかまわない。また、撮影装置１０１、映像音声蓄積装置１０２、センサ１０５、及び操作端末１０３は、それぞれ複数がネットワーク１０４に接続されていてもかまわない。この場合、通信相手を特定して通信できれば良い。

また、撮影装置１０１は検知した状態の変化を操作端末１０３及び映像音声蓄積装置１０２に送信しているが、撮影装置１０１の内部に保持してもよい。その場合、管理者は定期的に撮影装置１０１に保持されたデータをネットワーク経由で又は直接に取得する。

図２は本実施形態における撮影装置１０１の機能ブロック図の一例である。音声入力部２０１はマイク等から入力された音声信号をＡ／Ｄ変換する。音声圧縮部２０２はＡ／Ｄ変換された音声信号を圧縮する。映像撮像部２１１は撮像素子から入力された映像信号をＡ／Ｄ変換する。映像圧縮部２１２は、Ａ／Ｄ変換された映像信号を圧縮する。映像音声圧縮データ統合部２１０は映像の圧縮データと音声の圧縮データとを統合する。さらに、通信処理部２２４は統合されたデータをネットワーク１０４に送信できる形態に変換して、映像音声蓄積装置１０２や操作端末１０３に対して送信する。統合されたデータを受信した映像音声蓄積装置１０２や操作端末１０３は、それぞれ蓄積や表示等を行う。なお、音声圧縮部２０２による音声圧縮方式としては、Ｇ．７１１、Ｇ．７２２、Ｇ．７２３等が考えられる。また、映像圧縮部２１２による映像圧縮方式としては、Ｍｏｔｉｏｎ−ＪＰＥＧやＭＰＥＧ−２、Ｈ．２６４等が考えられる。これらは例示であり、他の圧縮方式であったとしても、本発明は適用可能である。

音声検知部２０３は、集音した音声を用いて、事前に設定された条件に基づいて音や声の状態の変化の発生を検知する。音声検知部２０３は、音声圧縮部２０２における圧縮処理過程において音声検知を行うか、又は圧縮音声データを用いて音声検知処理を行う。例えば、以下のような条件で音声の状態の変化を検知する。
・音声の大きさが事前に設定した以上のレベルになる。
・音声における特定の周波数成分の一定時間内におけるレベルの総和が事前に設定した以上のレベルになる。
音声検知部２０３では、音声圧縮処理過程における音声検知、又は圧縮音声データを用いた音声検知がより高精度でできることが重要である。音声検知部２０３は検知した音声状態の変化を分析処理部２２２に通知する。

映像検知部２１３は、撮影した映像を用いて、不審者の侵入や異常な動き、滞留の有無、持ち去りなどの事前に設定された条件に基づいて映像上の状態の変化が発生したことを検知する。映像検知部２１３は、映像圧縮部２１２における圧縮処理過程において映像検知を行うか、又は圧縮映像データを用いて映像検知処理を行う。例えば、以下のような条件で映像の状態の変化を検知する。
・特定のＤＣＴ（Discrete Cosine Transform）成分のＤＣＴ係数が事前に設定した以上の値になる。
・ＤＣＴ成分ごとにＤＣＴ係数のフレーム間の差分をとり、一定時間内の差分和の積算の一定以上の値になる。
・動きベクトル成分の絶対値の和が特定の大きさ以上の値になる。
映像検知部２１３では、映像圧縮処理過程における映像検知、又は圧縮映像データを用いた映像検知がより高精度でできることが重要である。映像検知部２１３は検知した映像の状態の変化を分析処理部２２２に通知する。

音声一時記憶部２０４は、音声入力部２０１からの出力である圧縮されていないデジタル音声データを一時的にバッファリングする。バッファリングはＦＩＦＯ（先入れ先出し）で行い、常に一定時間分（例えば１０秒）の最新音声データを保持する。基本的には、音声検知の対象となった時点の前後の音声を常に記憶しておく。

映像一時記憶部２１４は、映像撮像部２１１からの出力である圧縮されていないデジタル映像データを一時的にバッファリングする。バッファリングはＦＩＦＯで行い、常に一定時間（例えば１０秒）の期間の最新映像データを保持する。基本的には、映像検知の対象となった時点の前後の映像を常に記憶しておく。

音声認識処理部２０５は、音声一時記憶部２０４に保持されている非圧縮音声データに基づいて音声認識・弁別処理（以下、単に音声認識処理という）を行う。例えば、集音した音声が、大人又は子供の声であるか、男性又は女性の声であるか、ドアの音であるか、ガラスの割れる音であるか、自動車のエンジン音であるか等の音声検知部２０３で認識できないような認識処理を行う。また、音声による高度な人物特定処理や行動特定処理のような高度な認識処理を行ってもよい。この場合には、人物、自動車等の認識分野によって、使用する音声認識処理アルゴリズム及び音声認識処理データベース２２６を切り替えることになる。いずれにしても、あらかじめ設定した認識対象と一致する音声パターンを認識した場合に音声認識したとみなす。なお、あらかじめ設定する認識対象は、もちろん複数であってもよいし、ある一定の範囲としてもよい。例えば、男性の声で特定の言葉を認識した場合に異常を認識したと判断してもよいし、単純に子供の泣き声を認識した場合に異常を認識したと判断してもよい。音声認識処理部２０５は音声の認識結果を分析処理部２２２に通知する。音声認識処理データベース２２６には、認識処理に適した各種データベースを用意する。例えば、特定の人物を認識するためのデータや、自動車であることを認識するためのデータ等を用意する。

映像認識処理部２１５は、映像一時記憶部２１４に保持されている非圧縮映像データに基づいて映像認識・弁別処理（以下、単に映像認識処理という）を行う。例えば、人の特定の動作であるか、人物の顔であるか、猫や犬といった特定の動物であるか、自動車等の物体であるかというような映像検知部で認識できないような認識処理を行う。また、映像による高度な人物特定やエンジン音からの車種特定のような高度な認識処理を行ってもよい。人物特定である場合には、誰の顔であるか、未知の人であるか、というような弁別をする。この場合には、人物、自動車等の認識分野によって映像認識処理アルゴリズム及び映像認識処理データベース２２７を切り替えることになる。いずれにしても、あらかじめ設定した認識対象と一致する映像パターンを認識した場合に異常を認識したとみなす。なお、あらかじめ設定する認識対象は、もちろん複数であってもよいし、ある一定の範囲としてもよい。例えば、特定の人物若しくは未知の人物の顔を認識した場合に異常を認識したと判断してもよいし、単に人物を認識した場合に異常を認識したと判断してもよい。映像認識処理部２１５は像の認識結果を分析処理部２２２に通知する。映像認識処理データベース２２７には、認識処理に適した各種データベースを用意する。例えば、特定の人物を認識するためのデータや、自動車であることを認識するためのデータ等を用意する。

センサ処理部２３１は、人感センサやドアセンサ等のセンサからのトリガ入力を受け付けて、トリガ発生時刻と共に、分析処理部２２２に通知する。

分析処理部２２２は、センサ処理部２３１、音声検知部２０３、音声認識処理部２０５、映像検知部２１３及び映像認識処理部２１５の処理結果に応じて、適切な検知処理及び認識処理を実行する。詳細は後述する。以下、音声検知部２０３、音声認識処理部２０５、映像検知部２１３及び映像認識処理部２１５をまとめて検知・認識処理部と表すこともある。

さらに、分析処理部２２２は、検知・認識処理部の処理結果を表す適切な形のコマンドを生成するため、コマンド生成部２２３に検知・認識結果と時刻情報等の情報を渡す。コマンド生成部２２３は、これらの情報から通知コマンドを生成し、通信処理部２２４から映像音声蓄積装置１０２及び操作端末１０３に送信する。通知コマンドは、検知した事実を通知するためのコマンドであり、検知時刻、認識した対象物などの情報を含む。

ＰＴＺ制御部２２５は撮影装置１０１のＰＴＺを制御する。ここで、ＰＴＺとは、撮影装置１０１のパン・チルト角度及びズーム倍率のことである。ＰＴＺを適切に設定することで、特定の対象の認識性を高めることができる。

図３は本実施形態における撮影装置１０１のハードウェア構成図の一例である。マイクロプロセッサであるＣＰＵ３０１は、ＲＯＭ３０３、ハードディスク（ＨＤ）３０５に記憶されたプログラムやデータなどに基づき、撮影装置１０１を制御する。

ＲＡＭ３０２は、ＣＰＵ３０１のワークエリアとして機能し、ＲＯＭ３０３やＨＤ３０５等に格納されたプログラムを読み出す。

ＲＯＭ３０３、ＨＤ３０５には、後述するフローチャートに示されるような、ＣＰＵ３０１により実行されるプログラムなどが記憶されている。また、図２に示す映像認識処理データベース２２７や映像認識処理データベース２２７も記憶されている。

通信装置３０６は図２に示す通信処理部２２４として機能し、ネットワーク１０４に接続される。映像素子３０７は図２に示す映像撮像部２１１として機能し、撮影装置１０１の周辺の映像を撮影する。マイク３０８は図２に示す音声入力部２０１として機能し、撮影装置１０１の周辺の音声を集音する。センサ３０９は人感センサやドアセンサ等であり、撮影装置１０１の周辺の変化を検知して、図２に示すセンサ処理部２３１にトリガを出力する。センサ３０９は撮影装置１０１にトリガを出力できれば、撮影装置１０１の外部に位置していても良い。以上の構成要素はバス３０４を介して接続される。

図４から図９までのフローチャートを用いて撮影装置１０１の処理について説明する。これらのフローチャートはＲＡＭ３０２に読み出されたコンピュータプログラムをＣＰＵ３０１が実行することで処理される。

図４は撮影装置１０１の初期動作の一例を説明するフローチャートである。

ステップＳ４０１で、分析処理部２２２はセンサ処理部２３１に対して動作の開始を指示する。指示を受けたセンサ処理部２３１はセンサ３０９を用いて測定を開始する。

ステップＳ４０２で、分析処理部２２２は音声検知部２０３に対して動作の開始を指示する。指示を受けた音声検知部２０３は、幅広い検知ができるデフォルトの設定で検知処理を開始する。例えば、音量が一定音量以上になったことのみの検知する。初期動作においては音声認識処理部２０５の動作は開始しない。

ステップＳ４０３で、分析処理部２２２は映像検知部２１３に対して動作の開始を指示する。指示を受けた映像検知部２１３は、幅広い検知ができるデフォルトの設定で検知処理を開始する。例えば、動きが一定の動き量となったことのみの検知する。初期動作においては映像認識処理部２１５の動作が開始しない。

なお、上記のステップＳ４０１からステップＳ４０３までは任意の順番に実行しても良いし、並列に実行してもかまわない。

図５はセンサ処理部がイベントを検知した場合の撮影装置１０１の処理の一例を説明するフローチャートである。

ステップＳ５０１で、分析処理部２２２は検知した検知結果であるイベントに基づいてＰＴＺ制御部２２５を制御し、ＰＴＺ設定を変更する。例えば、センサ３０９の一つである窓ガラスセンサがイベントを検知した場合には、該当する窓ガラスを注視するようにＰＴＺ設定を行う。また、ＰＴＺ設定に合わせて、マイク３０８の方向や感度を調整しても良い。

ステップＳ５０２で、分析処理部２２２は検知したイベントに基づいて各検知・認識処理部の設定を変更する。分析処理部２２２には、センサ３０９が検知したイベントの組み合わせに応じた、音声検知処理パラメータ、映像検知処理パラメータ、音声認識処理データベース２２６及び映像認識処理データベース２２７の適切な設定を予め規定しておく。この設定に沿って最適な音声検知、映像検知、音声認識処理、及び映像認識処理を実行する。

例えば、窓ガラスセンサがイベントを検知した場合には、窓を破って不審者が入ってくる可能性が高いので、不審者を前提とした映像・音声の検知・認識処理をできるように各検知・認識処理部を最適に設定する。また、ドアセンサがイベントを検知し、かつ、ＩＤカード認識センサが正規のＩＤカードを認識した場合には、既知の人物が現れる可能性が高いので、映像・音声の認識データベースとして既知の人物のものを用いる。また、重量センサが一定の閾値の超過を検知した場合には、自動車が車庫に入った可能性が高いので、この方向に撮影装置を向け、音声検知・認識処理はエンジン音を検知・認識し、映像検知・認識処理は自動車を検知できるように各検知認識処理部を最適に設定する。

ステップＳ５０３で、各検知・認識処理部は設定された処理内容に基づいて処理を開始する。

図６は音声検知部２０３が状態の変化を検知した場合の撮影装置１０１の処理の一例を説明するフローチャートである。

ステップＳ６０１で、分析処理部２２２は音声認識処理部２０５に対して動作の開始を指示する。また、状態の変化の検知時刻を記憶する。

ステップＳ６０２で、分析処理部２２２は検知した検知結果に基づいて、音声検知処理パラメータ、音声認識処理データベース２２６を選択する。例えば、検知した音声が人の声の場合には、最も近い音声認識処理パラメータ、音声認識処理データベース２２６を選択する。

ステップＳ６０３で、音声認識処理部２０５は、音声一時記憶部２０４に保持されている非圧縮データに対して認識処理を実行する。したがって、音声検知時刻の少し前の時刻から認識処理を開始することになる。

図７は音声認識処理部２０５が音声を認識した場合の撮影装置１０１の処理の一例を説明するフローチャートである。

ステップＳ７０１で、分析処理部２２２は、音声認識処理部２０５による音声認識処理の結果に応じて、映像認識処理パラメータ、映像認識処理データベース２２７を選択する。例えば、特定の人物であることが認識できた場合には、その人物に応じた映像検知、映像認識処理ができるような選択を行う。

ステップＳ７０２で、分析処理部２２２は、音声認識処理部２０５の認識処理結果を、認識対象の非圧縮データと発生時刻とに合わせて、映像音声蓄積装置１０２及び操作端末１０３に送信する。

図８は映像検知部２１３が状態の変化を検知した場合の撮影装置１０１の処理の一例を説明するフローチャートである。

ステップＳ８０１で、分析処理部２２２は映像認識処理部２１５に対して動作の開始を指示する。また、状態の変化の検知時刻を記憶する。

ステップＳ８０２で、分析処理部２２２は検知結果に基づいて、映像検知処理パラメータ、映像認識処理データベース２２７を選択する。例えば、検知した映像が人の形の場合には、最も近い映像認識処理パラメータ、映像認識処理データベース２２７を選択する。

ステップＳ８０３で、映像認識処理部２１５は、映像一時記憶部２１４に保持されている非圧縮データに対して認識処理を実行する。したがって、映像検知時刻の少し前の時刻の映像から認識処理を開始することになる。

図９は映像認識処理部２１５が映像を認識した場合の撮影装置１０１の処理の一例を説明するフローチャートである。

ステップＳ９０１で、分析処理部２２２は、映像認識処理部２１５による映像認識処理の結果に応じて、音声認識処理パラメータ、音声認識処理データベース２２６を選択する。例えば、特定の人物であることが認識できた場合には、その人物に応じた音声検知、音声認識処理ができるような選択を行う。

ステップＳ９０２で、分析処理部２２２は、映像認識の結果を、認識対象の非圧縮データと発生時刻とに合わせて、映像音声蓄積装置１０２及び操作端末１０３に送信する。

図５から図９までで説明したセンサ検知、音声検知、音声認識処理、映像検知、及び映像認識処理については、映像音声蓄積装置１０２及び操作端末１０３に対してデータを配信中であるか否かに関わらず処理を実行するものとする。

以上のように、センサ検知、音声検知、音声認識、映像検知、及び映像認識を、それまでの処理結果に応じて、最適な処理に切り替えていくことで、検知・認識精度を向上させることができる。また、一般的に処理負荷の重い音声認識処理、映像認識処理を常に起動するのではなく、必要に応じて起動することで、撮影装置内の処理負荷を軽くすることが可能である。

＜第２の実施形態＞
第１の実施形態において、音声認識処理部２０５と映像認識処理部２１５とは、各検知部による異常検知直後に起動するようになっている。しかし、映像一時記憶部２１４と音声一時記憶部２０４との容量が十分にあれば、映像・音声の異常検知後の映像・音声の認識処理は、時間軸に沿ってリアルタイムで必ずしも実行する必要はなく、時間をかけて非同期に処理してもかまわない。

本実施形態では、異常検知した場合に、検知前後の映像一時記憶部２１４と音声一時記憶部２０４とにおける非圧縮の映像・音声データを部分的に削除不可にしておく。そして、撮影装置１０１が低負荷である間に、認識処理を行う。この場合の処理は、リアルタイム処理（ストリーム処理）でなくてもかまわない。こうすることで、認識処理部はより安価に構成することが可能となる。

＜第３の実施形態＞
第１の実施形態では、認識処理部を撮影装置１０１の内部に備えている。認識処理部において行われる人物特定処理や、会話の内容把握や解析処理のような処理は、一般に高負荷である。そこで、図１０のように、認識処理部を撮影装置１０１の外部に備えることで、撮影装置１０１の処理負荷を軽減しても良い。図１０は認識処理部を別の装置にした場合のシステム構成図の一例である。認識処理装置１００５と撮影装置１０１とはネットワーク１０４を介して接続される。

本実施形態における撮影装置１０１の動作は基本的に第１の実施形態と同様である。すなわち、図２に示す映像撮像部２１１及び音声入力部２０１から取り込んだ映像・音声データは、映像圧縮部２１２及び音声圧縮部２０２で圧縮され、映像音声圧縮データ統合部２１０において統合される。検知内容である統合されたデータは、通信処理部２２４から映像音声蓄積装置１０２及び操作端末１０３に通常の映像・音声圧縮ストリームとして送信される。

さらに、本実施形態では、映像検知時及び音声検知時には、音声一時記憶部２０４及び映像一時記憶部２１４に蓄積されている非圧縮の映像・音声データを、通常の映像・音声圧縮ストリームとは別のデータとして認識処理装置１００５に送信する。

そして、撮影装置１０１は外部の認識処理部からの応答である認識処理結果を受信して、検知部の動作を変更する。

一般に、人物認識処理や会話の内容把握といった認識処理の多くは、圧縮データを対象にせず非圧縮データを対象としている。したがって、認識処理をする際に、映像・音声データのデコード処理が不要になる。また、一般に映像・音声データはロスレス圧縮でない限り、圧縮によってデータの一部は省略されることになる。したがって、一旦圧縮したデータを用いて認識処理すると、圧縮によるデータロスが認識処理に悪影響を与えることがありうる。しかしながら、非圧縮データを別装置に送信して処理させることで、こういった悪影響を取り除ける。なお、認識処理装置１００５を操作端末１０３や映像音声蓄積装置１０２と統合することもできる。

圧縮によるデータロスが認識処理に悪影響を与えないのであれば、バンド幅を効率的に使えるように、映像・音声を圧縮して送ってもよい。この場合の圧縮方法は、通常の撮影装置の映像・音声配信での圧縮ストリームとは異なる送り方になる。

＜その他の実施形態＞
なお、本発明は、複数の機器（例えばホストコンピュータなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。

また、本発明の目的は、前述した機能を実現するコンピュータプログラムのコードを記録した記憶媒体を、システムに供給し、そのシステムがコンピュータプログラムのコードを読み出し実行することによっても達成される。この場合、記憶媒体から読み出されたコンピュータプログラムのコード自体が前述した実施形態の機能を実現し、そのコンピュータプログラムのコードを記憶した記憶媒体は本発明を構成する。また、そのプログラムのコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した機能が実現される場合も含まれる。

さらに、以下の形態で実現しても構わない。すなわち、記憶媒体から読み出されたコンピュータプログラムコードを、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込む。そして、そのコンピュータプログラムのコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行って、前述した機能が実現される場合も含まれる。

本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するコンピュータプログラムのコードが格納されることになる。

本発明の第１、第２の実施形態におけるシステム構成図の一例である。 本発明の実施形態における撮影装置１０１の機能ブロック図の一例である。 本発明の実施形態における撮影装置１０１のハードウェア構成図の一例である。 本発明の実施形態における撮影装置１０１の初期動作の一例を説明するフローチャートである。 本発明の実施形態におけるセンサ処理部がイベントを検知した場合の撮影装置１０１の処理の一例を説明するフローチャートである。 本発明の実施形態における音声検知部２０３が異常を検知した場合の撮影装置１０１の処理の一例を説明するフローチャートである。 本発明の実施形態における音声認識処理部２０５が音声を認識した場合の撮影装置１０１の処理の一例を説明するフローチャートである。 本発明の実施形態における映像検知部２１３が異常を検知した場合の撮影装置１０１の処理の一例を説明するフローチャートである。 本発明の実施形態における映像認識処理部２１５が映像を認識した場合の撮影装置１０１の処理の一例を説明するフローチャートである。 本発明の第３の実施形態における認識処理部を別の装置にした場合のシステム構成図の一例である。

符号の説明

１０１ 撮影装置
１０２ 映像音声蓄積装置
１０３ 操作端末
１０４ ネットワーク

Claims (9)

1. 監視環境の音声を集音する集音手段と、
   前記監視環境の映像を撮影する撮影手段と、
   前記集音手段、前記撮影手段、及び前記監視環境の状態を測定するセンサが収集したデータの変化に基づいて前記監視環境の状態の変化を検知する検知手段と、
   前記集音手段が収集した音声データと前記撮影手段が収集した映像データとについて、前記状態の変化を認識する認識処理を行う認識処理手段と
   を備え、
   前記認識処理手段は、前記検知手段による検知結果に基づいて起動し、前記認識処理に使用する認識データベースを選択する
   ことを特徴とする撮影装置。
2. 前記検知手段は、該検知手段による検知結果又は前記認識処理手段による認識処理結果に基づいて、前記監視環境の状態の変化の検知に使用するパラメータを調整することを特徴とする請求項１に記載の撮影装置。
3. 前記検知手段が前記監視環境の状態の変化を検知した期間の前記映像データと前記音声データとを保持する保持手段をさらに備え、
   前記認識処理手段は、前記保持手段に保持されたデータを用いて、前記検知手段による状態の変化の検知とは非同期に前記認識処理を行うことを特徴とする請求項１又は２に記載の撮影装置。
4. 前記検知手段は、前記撮影手段が収集した映像データに基づく前記監視環境の状態の変化の検知を、該データに含まれるＤＣＴ係数又は動きベクトルの変化に基づいて行うことを特徴とする請求項１乃至３のいずれか１項に記載の撮影装置。
5. 前記検知手段による検知結果と前記認識処理手段による認識処理結果とを送信する通信手段をさらに備える請求項１乃至４のいずれか１項に記載の撮影装置。
6. 監視環境の音声を集音する集音手段と、
   前記監視環境の映像を撮影する撮影手段と、
   前記集音手段、前記撮影手段、及び前記監視環境の状態を測定するセンサが収集したデータの変化に基づいて前記監視環境の状態の変化を検知する検知手段と、
   前記検知手段が前記監視環境の状態の変化を検知した期間の前記データと検知内容とを、前記状態の変化を認識する認識処理を行う認識処理装置に送信し、該送信に対する応答を受信する通信手段と
   を備え、
   前記通信手段は、前記検知手段による検知結果に基づいて前記送信を行い、
   前記検知手段は、前記応答の内容に基づいて、前記監視環境の状態の変化の検知に使用するパラメータを調整する
   ことを特徴とする撮影装置。
7. 監視環境の音声を集音する集音手段と、
   前記監視環境の映像を撮影する撮影手段と
   を備える撮影装置の制御方法であって、
   検知手段が、前記集音手段、前記撮影手段、及び前記監視環境の状態を測定するセンサが収集したデータの変化に基づいて前記監視環境の状態の変化を検知する検知工程と、
   認識処理手段が、前記集音手段が収集した音声データと前記撮影手段が収集した映像データとについて、前記状態の変化を認識する認識処理を行う認識処理工程と
   を備え、
   前記認識処理工程において、前記認識処理手段は、前記検知工程における検知結果に基づいて起動され、前記認識処理に使用する認識データベースを選択する
   ことを特徴とする撮影装置の制御方法。
8. 監視環境の音声を集音する集音手段と、
   前記監視環境の映像を撮影する撮影手段と
   を備える撮影装置の制御方法であって、
   検知手段が、前記集音手段、前記撮影手段、及び前記監視環境の状態を測定するセンサが収集したデータの変化に基づいて前記監視環境の状態の変化を検知する検知工程と、
   通信手段が、前記検知工程において前記監視環境の状態の変化を検知した期間の前記データと検知内容とを、前記検知工程における検知結果に基づいて前記状態の変化を認識する認識処理を行う認識処理装置に送信し、該送信に対する応答を受信する通信工程と、
   前記検知手段が、前記応答の内容に基づいて、前記監視環境の状態の変化の検知に使用するパラメータを調整する調整工程と
   を備えることを特徴とする撮影装置の制御方法。
9. コンピュータを請求項１乃至６のいずれか１項に記載の撮影装置として機能させるためのコンピュータプログラム。