JP2014086913A - 映像解析装置 - Google Patents

Abstract

【課題】明るさが変化する状況であっても、映像からイベントの発生を正しく検出する。
【解決手段】映像解析装置１の映像入力部１１は映像データを取り込み、符号化部１２は取り込まれた映像データを符号化する。映像解析部１３は、符号化された映像データを構成する各フレームデータが示すピクチャの複雑度指標値を算出する。環境判定部１４は、判定対象のピクチャの複雑度指標値と、判定対象のピクチャより過去のピクチャの複雑度指標値との比率に基づいてイベントの発生の有無を判定し、判定結果を出力する。
【選択図】図１

Description

本発明は、映像解析装置に関する。

近年、ブロードバンドサービスの普及に伴い、カメラ映像を用いたサービスが数多く展開されている。これらのサービスでは、カメラで撮影し、符号化した映像を受信者側で復号化することによって、監視、遠隔地の高齢者見守り、ＴＶ（テレビ）電話等を実現している。監視、見守りという観点では、カメラ映像に赤外線センサや照度センサ等を併用することで発生イベントの有無を自動的に検知し、高機能化したものも存在する。この場合はセンサが必要となり、価格面、システムとしての故障率、カメラとセンサの連動面（汎用性）で課題が残る。これに対し、特許文献１の映像監視システムでは、カメラのみで、センサを用いずにイベント発生の監視を実現している。また、従来のＴＶ電話では、カメラとマイクのみを用いることが一般的である。

図１６は、特許文献１に記載されるような従来の映像監視システムの動作を示す図である。従来技術では、映像入力装置が映像を撮像して取り込み、取り込んだ映像を符号化した映像データを情報量監視装置に送信する。情報量監視装置は、映像データの情報量あるいは量子化レベルがある閾値を超えた場合にイベントが発生したことを通知する。しかしＩＳＯ（国際標準化機構）感度が明るさにより自動的に変化するカメラを用いる場合は、明るさが一定値以下になると感度が高まり、イベントが発生していないにもかかわらず、ノイズが増加することで、映像データの各フレームにおける情報量あるいは量子化レベルの絶対値は変化するため、誤判定をしてしまう。

特許第４６９８２６０号公報

特許文献１では、映像データの各フレームにおける情報量あるいは量子化レベルの絶対値により判定を行うため、環境の変化に対応できない。つまり、時間軸情報が判定に関与しないため、例えば夕暮れのように明るさ環境が時刻とともに大きく変化する環境では正常に判定ができず、実用面から考えると現実的ではない。現在の多くのカメラは、ある一定の暗さになるとＩＳＯ感度が自動的に高くなるよう制御され、カメラ感度が高まることでカメラノイズが大きくなり、映像情報量や量子化レベルといった絶対値は変化するため、何もイベントが起きていないにも関わらず、警報が誤通知されることが考えられる。

また、ＴＶ電話等の主に屋内で使用されるケースを想定すると、照明のオン／オフ等が日常的に行われており、例えば、動きの有無をイベントとして検知したい場合に、明るさを考慮しないシステムでは明るさが変わっただけでイベント、つまり動きがあったと判定してしまうことが考えられる。一方、明るさを考慮すると、明るさが変わっただけでは動きがあったと判定しないため、イベントの誤判定を抑止できる。なお、ＴＶ電話に適用するメリットは、自身と通話先（対向）とは通常ＴＶ電話接続されていないが、対向で人や物の動きがあった場合や、明るさが変化した場合等には自身側に通知されるようにすることで、通話の不成立を低減することができ、コミュニケーションのきっかけ作り（推進）に役立てることができる点である。

本発明は上述のような事情に鑑みてなされたもので、明るさが変化する状況であっても、映像からイベントの発生を正しく検出する映像解析装置を提供する。

上述した課題を解決するために、本発明は、符号化された映像データを構成するフレームデータが示すピクチャの複雑度指標値を算出する映像解析部と、判定対象の前記ピクチャの前記複雑度指標値と、判定対象の前記ピクチャより過去の前記ピクチャの前記複雑度指標値との比率に基づいてイベントの発生の有無を判定する環境判定部と、を備えることを特徴とする映像解析装置である。

また本発明は、上述した映像解析装置であって、判定対象の前記映像データと同期する音声データから判定対象の前記ピクチャに対応した時間における特定の種類の音の有無を判定する音情報付与部と、前記環境判定部によるイベントの発生の有無の判定結果を、前記音情報付与部による音の有無の判定結果に基づいて修正する環境判定高精度化部とを更に備える、ことを特徴とする。

また本発明は、上述した映像解析装置であって、判定対象の前記ピクチャが得られた時刻を示す時刻情報を出力する時刻情報付与部と、前記環境判定部が判定対象の前記ピクチャについて判定したイベントの発生の有無の判定結果が前記時刻情報により示される時刻に対応して予め記憶していた環境と整合しない場合、判定対象の前記ピクチャと時間的に隣接した所定数の前記ピクチャの判定結果に基づいて判定対象の前記ピクチャについての前記判定結果を修正する環境判定高精度化部とを更に備える、ことを特徴とする。

また本発明は、上述した映像解析装置であって、前記環境判定部によるイベントの発生の有無の判定結果を記憶する判定結果記憶部と、前記環境判定部が判定対象の前記ピクチャについて判定したイベントの発生の有無の判定結果を、前記判定結果記憶部に記憶されている過去の前記判定結果に基づいて修正する環境判定高精度化部とを更に備える、ことを特徴とする。

また本発明は、上述した映像解析装置であって、所定時間内における前記環境判定部によるイベントの発生の有無の複数の判定結果を集約して出力する判定結果集約部を更に備える、ことを特徴とする。

また本発明は、上述した映像解析装置であって、前記環境判定部は、照度の変化の有無を判定する、ことを特徴とする。

また本発明は、上述した映像解析装置であって、前記環境判定部は、輝度の変化の有無を判定する、ことを特徴とする。

また本発明は、上述した映像解析装置であって、前記環境判定部は、動きの有無を判定する、ことを特徴とする。

本発明によれば、明るさが変化する状況であっても、映像からイベントの発生を正しく検出することができる。

本発明の第１の実施形態における映像解析装置の構成を示す概略ブロック図である。 同実施形態における映像解析装置の処理フローを示す図である。 第２の実施形態における映像解析装置の構成を示す概略ブロック図である。 同実施形態における映像解析装置の処理フローを示す図である。 第３の実施形態における映像解析装置の構成を示す概略ブロック図である。 同実施形態における映像解析装置の処理フローを示す図である。 第４の実施形態における映像解析装置の構成を示す概略ブロック図である。 同実施形態における映像解析装置の処理フローを示す図である。 第５の実施形態における映像解析装置の構成を示す概略ブロック図である。 同実施形態における映像解析装置の処理フローを示す図である。 第６の実施形態における映像解析装置の構成を示す概略ブロック図である。 第７の実施形態における映像解析装置の構成を示す概略ブロック図である。 第８の実施形態における映像解析装置の構成を示す概略ブロック図である。 第９の実施形態における映像解析装置の構成を示す概略ブロック図である。 第１０の実施形態における映像解析装置の構成を示す概略ブロック図である。 従来の映像監視システムの動作を示す図である。

以下、本発明の実施形態について、図面を参照して説明する。

［第１の実施形態］
図１は、本発明の第１の実施形態における映像解析装置１の構成を示す概略ブロック図である。同図に示すように、映像解析装置１は、映像入力部１１、符号化部１２、映像解析部１３、及び環境判定部１４を備えて構成される。

映像入力部１１は、映像データを取り込む。符号化部１２は、映像入力部が取り込んだ映像データを符号化する。映像解析部１３は、映像データを構成する各フレームデータが示すピクチャの複雑度指標値を計算する。複雑度指標値は、例えば各ピクチャにおける発生符号量、量子化パラメータ、量子化ステップ値のいずれか、または、２以上の任意の組み合わせ等が挙げられる。また、符号化方式としてはＭＰＥＧ（Moving Picture Experts Group）２やＨ２６４、ＨＥＶＣ（High Efficiency Video Coding；高効率動画像圧縮符号化）等のフレーム間予測を行う方式をはじめ、ＪＰＥＧ（Joint Photographic Experts Group）、ＪＰＥＧ２０００、Ｍｏｔｉｏｎ ＪＰＥＧ等の画面内予測を行う方式があげられる。以下では、ＭＰＥＧ２等のフレーム間予測方式を例に説明する。

環境判定部１４は、異なるフレームの映像符号化情報の変化から環境を判定する。なお、環境判定部１４は、この判定をピクチャのタイプ毎に実施する。例えば、ＭＰＥＧ２では、Ｉ（Intra）ピクチャ、Ｐピクチャ（Predictive）ピクチャ、Ｂ（Bi-directional predictive）ピクチャ、階層Ｂピクチャなどの種類のピクチャがある。環境判定部１４は、Ｉピクチャは過去のＩピクチャと比較し、Ｐピクチャは過去のＰピクチャと比較する。また、Ｂピクチャ、階層Ｂピクチャ等も同様に、同タイプの過去のピクチャと比較する。

図２は、映像解析装置１の処理フローを示す図である。映像入力部１１が、映像データを取り込むと（ステップＳ１１０）、符号化部１２は、ステップＳ１１０において取り込まれた映像データを符号化する（ステップＳ１２０）。映像解析部１３は、符号化された映像データを構成する各フレームのピクチャの複雑度指標値を計算する（ステップＳ１３０）。

次に、環境判定部１４は、映像解析部１３による現在と過去のフレームの映像解析結果を用いて環境を判定する（ステップＳ１４０）。例えば、環境判定部１４は、環境の変化の判定対象である現在のフレームの映像符号化情報Ｘ（Ｎ）、及び過去のフレームの映像符号化情報Ｘ（Ｎ−１）を用いて環境を判定する。ここで、映像符号化情報Ｘ（Ｎ）は、Ｎ番目のフレームデータが示す現ピクチャの複雑度指標値の絶対値であり、映像符号化情報Ｘ（Ｎ−１）は、現ピクチャより１つ前のＮ−１番目のフレームデータが示すピクチャの複雑度指標値の絶対値である。なお、Ｎ番目のフレームと比較する対象を、Ｎ−１番目のフレームに変えてＮ−ａ番目（ａは２以上の整数）のフレームとすることでも同様の効果を奏する。また、この判定はピクチャのタイプ毎に実施する。
環境判定部１４は、例えば以下のように環境状態を判定する。

（１）環境判定部１４は、「Ｘ（Ｎ）／Ｘ（Ｎ−１）＜Ｔｈ１」、または、「Ｔｈ２＜Ｘ（Ｎ）／Ｘ（Ｎ−１）」である場合、「環境に変化があった（イベント発生）」と判定する（ステップＳ１５０）。
（２）環境判定部１４は、「Ｔｈ２＜Ｘ（Ｎ）／Ｘ（Ｎ−１）＜Ｔｈ１」である場合、「環境に変化がない（イベント発生なし）」と判定する（ステップＳ１６０）。

なお、判定の時間軸粒度は、各ピクチャタイプ間隔とし、例えば３０ｆｐｓ（フレーム毎秒）のカメラの映像データであり、Ｉピクチャの間隔が３０フレームの場合は、１秒とすることができる。なお、このピクチャタイプ間隔は、符号化部１２の設定により決定される。環境判定部１４は、判定結果を出力する。

［第２の実施形態］
図３は、本発明の第２の実施形態における映像解析装置１ａの構成を示す概略ブロック図である。本実施形態では、図１に示す第１の実施形態における環境判定部１４を、照度の変化の判定を行う照度判定部１４ａとした構成である。

図４は、映像解析装置１ａの処理フローを示す図である。ステップＳ１１０〜ステップＳ１３０までの処理は、図２に示す第１の実施形態の映像解析装置１の処理フローと同様である。

映像解析装置１ａの照度判定部１４ａは、映像解析部１３による映像解析結果を用いて、明るさの変化を判定する（ステップＳ１４０ａ）。例えば、照度判定部１４ａは、Ｎ番目のフレームデータが示す現Ｉピクチャの複雑度指標値の絶対値Ｘｉ（Ｎ）と、（Ｎ−１）番目のフレームデータが示す現Ｉピクチャよりも１つ前のＩピクチャの複雑度指標値の絶対値Ｘｉ（Ｎ−１）との比率Ｘｉ（Ｎ）／Ｘｉ（Ｎ−１）を用いて、以下のように照度判定を行う。

（１）照度判定部１４ａは、「Ｘｉ≧Ｔｈ１かつ（Ｔｈ２＜Ｘｉ（Ｎ）／Ｘｉ（Ｎ−１）またはＸｉ（Ｎ）/Ｘｉ（Ｎ−１）＜Ｔｈ３）」である場合、「ある一定以上の明るさから、大きい明るさ変化あり」と判定する（ステップＳ１５０ａ）。
（２）照度判定部１４ａは、「Ｘｉ≧Ｔｈ１かつＴｈ３＜Ｘｉ（Ｎ）／Ｘｉ（Ｎ−１）＜Ｔｈ２」である場合、「ある一定以上の明るさから、小さい明るさ変化あり」と判定する（ステップＳ１６０ａ）。
（３）照度判定部１４ａは、「Ｘｉ＜Ｔｈ１」である場合、「暗い」と判定する（ステップＳ１７０ａ）。

なお、Ｔｈ１、Ｔｈ２、Ｔｈ３は予め設定され、Ｔｈ２、Ｔｈ３は、以下の（条件Ａ１）及び（条件Ａ２）を満たす値である。

（条件Ａ１）Ｔｈ２＞１
（条件Ａ２）Ｔｈ３＜１

［第３の実施形態］
図５は、本発明の第３の実施形態における映像解析装置１ｂの構成を示す概略ブロック図である。本実施形態では、図１に示す第１の実施形態における環境判定部１４を、輝度の変化の判定を行う輝度判定部１４ｂとした構成である。

図６は、映像解析装置１ｂの処理フローを示す図である。ステップＳ１１０〜ステップＳ１３０までの処理は、図２に示す第１の実施形態の映像解析装置１の処理フローと同様である。

映像解析装置１ｂの輝度判定部１４ｂは、映像解析部１３による映像解析結果を用いて、「大きい輝度変化あり」、「小さい輝度変化あり」、「輝度変化なし」等の輝度変化を判定する（ステップＳ１４０ｂ）。例えば、輝度判定部１４ｂは、現Ｉピクチャの複雑度指標値の絶対値Ｘｉ（Ｎ）と現ピクチャよりも１つ前のＩピクチャの複雑度指標値の絶対値Ｘｉ（Ｎ−１）との比率Ｘｉ（Ｎ）／Ｘｉ（Ｎ−１）、ならびに、現在から所定時間前まで（例えば、過去１秒間）のフレームにおける輝度値の平均値Ａを用いて、以下のように輝度変化判定を行う。

（１）輝度判定部１４ｂは、「（Ｔｈ１＜Ｘｉ（Ｎ）／Ｘｉ（Ｎ−１）またはＸｉ（Ｎ）／Ｘｉ（Ｎ−１）＜Ｔｈ２）かつＴｈ５＜Ａ」である場合、「ある一定の輝度値Ｔｈ５から大きい輝度変化あり」と判定する（ステップＳ１５０ｂ）。
（２）輝度判定部１４ｂは、「（Ｔｈ３＜Ｘｉ（Ｎ）／Ｘｉ（Ｎ−１）またはＸｉ（Ｎ）／Ｘｉ（Ｎ−１）＜Ｔｈ４）かつＴｈ６＜Ａ」である場合、「ある一定の輝度値Ｔｈ６から小さい輝度変化あり」と判定する（ステップＳ１６０ｂ）。
（３）輝度判定部１４ｂは、（１）及び（２）以外の場合、「輝度変化なし」と判定する（ステップＳ１７０ｂ）。

Ｔｈ１からＴｈ６は予め設定され、以下の（条件Ｂ１）〜（条件Ｂ６）を満たす値である。

（条件Ｂ１）Ｔｈ１＞１
（条件Ｂ２）Ｔｈ２＜１
（条件Ｂ３）１＜Ｔｈ３＜Ｔｈ１
（条件Ｂ４）Ｔｈ２＜Ｔｈ４＜１
（条件Ｂ５）０≦Ｔｈ５≦２５５（上限は輝度のビット深度による。２５５は８ビットの場合である。）
（条件Ｂ６）０≦Ｔｈ６≦２５５（上限は輝度のビット深度による。２５５は８ビットの場合である。）

なお、輝度と同様に色差（色）についても同様の判定式で、色変化のあり、なし等を判定することが可能である。

［第４の実施形態］
図７は、本発明の第４の実施形態における映像解析装置１ｃの構成を示す概略ブロック図である。本実施形態では、図１に示す第１の実施形態における環境判定部１４を、動きの有無の判定を行う動き判定部１４ｃとした構成である。

図８は、映像解析装置１ｃの処理フローを示す図である。ステップＳ１１０〜ステップＳ１３０までの処理は、図２に示す第１の実施形態の映像解析装置１の処理フローと同様である。

映像解析装置１ｃの動き判定部１４ｃは、映像解析部１３による映像解析結果を用いて、「大きい動きあり」、「小さい動きあり」、「動きなし」等の動きの変化を判定する（ステップＳ１４０ｃ）。例えば、動き判定部１４ｃは、Ｎ番目のフレームデータが示す現Ｐピクチャの複雑度指標値の絶対値Ｘｐ（Ｎ）と、（Ｎ−１）番目のフレームデータが示す現Ｐピクチャよりも１つ前のＰピクチャの複雑度指標値の絶対値Ｘｐ（Ｎ−１）との比率Ｘｐ（Ｎ）／Ｘｐ（Ｎ−１）を用いて、以下のように動き判定を行う。

（１）動き判定部１４ｃは、「Ｔｈ１＜Ｘｐ（Ｎ）／Ｘｐ（Ｎ−１）またはＸｐ（Ｎ）／Ｘｐ（Ｎ−１）＜Ｔｈ２）」である場合、「大きい動きあり」と判定する（ステップＳ１５０ｃ）。
（２）動き判定部１４ｃは、「Ｔｈ３＜Ｘｐ（Ｎ）／Ｘｐ（Ｎ−１）またはＸｐ（Ｎ）／Ｘｐ（Ｎ−１）＜Ｔｈ４」である場合、「小さい動きあり」と判定する（ステップＳ１６０ｃ）。
（３）動き判定部１４ｃは、（１）または（２）以外の場合、「動きなし」と判定する（ステップＳ１７０ｃ）。

Ｔｈ１からＴｈ４は予め設定され、以下の（条件Ｃ１）〜（条件Ｃ４）を満たす値である。

（条件Ｃ１）Ｔｈ１＞１
（条件Ｃ２）Ｔｈ２＜１
（条件Ｃ３）１＜Ｔｈ３＜Ｔｈ１
（条件Ｃ４）Ｔｈ２＜Ｔｈ４＜１

［第５の実施形態］
図９は、本発明の第５の実施形態における映像解析装置１ｄの構成を示す概略ブロック図である。本実施形態では、図１に示す第１の実施形態における環境判定部１４を、色変化の判定を行う色判定部１４ｄとした構成である。

図１０は、映像解析装置１ｄの処理フローを示す図である。ステップＳ１１０〜ステップＳ１３０までの処理は、図２に示す第１の実施形態の映像解析装置１の処理フローと同様である。

映像解析装置１ｄの色判定部１４ｄは、映像解析部１３による映像解析結果を用いて、「大きい色変化あり」、「小さい色変化あり」、「色変化なし」等の色変化を判定する（ステップＳ１４０ｄ）。例えば、色判定部１４ｄは、現在から所定時間前まで（例えば、過去１秒間）のフレームにおける色の平均値Ａおよび、現Ｉピクチャの複雑度指標値の絶対値Ｘｉ（Ｎ）と現Ｉピクチャよりも１つ前のＩピクチャの複雑度指標値の絶対値Ｘｉ（Ｎ−１）との比率Ｘｉ（Ｎ）/Ｘｉ（Ｎ−１）を用いて、以下のように色変化を判定する。

（１）色判定部１４ｄは、「Ｔｈ１＜Ｘｉ（Ｎ）／Ｘｉ（Ｎ−１）またはＸｉ（Ｎ）／Ｘｉ（Ｎ−１）＜Ｔｈ２）かつＴｈ５＜Ａ」である場合、「大きい色変化あり」と判定する。
（２）色判定部１４ｄは、「（Ｔｈ３ ＜Ｘｉ（Ｎ）／Ｘｉ（Ｎ−１）またはＸｉ（Ｎ）／Ｘｉ（Ｎ−１）＜Ｔｈ４）かつＴｈ６＜Ａ」である場合、「小さい色変化あり」と判定する。
（３）色判定部１４ｄは、（１）及び（２）以外の場合、「色変化なし」と判定する。

Ｔｈ１からＴｈ６は予め設定され、Ｔｈ１からＴｈ４は、以下の（条件Ｄ１）〜（条件Ｄ４）を満たす値である。
（条件Ｄ１）Ｔｈ１＞１
（条件Ｄ２）Ｔｈ２＜１
（条件Ｄ３）１＜Ｔｈ３＜Ｔｈ１
（条件Ｄ４）Ｔｈ２＜Ｔｈ４＜１

［第６の実施形態］
図１１は、本発明の第６の実施形態における映像解析装置１ｅの構成を示す概略ブロック図である。本実施形態の映像解析装置１ｅは、図１に示す第１の実施形態の映像解析装置１に、音情報付与部１５及び環境判定高精度化部１６を追加した構成である。ただし、本実施形態の映像データ入力部１１には、映像データと同期する音声データも入力される。本実施形態の環境判定部１４は、例えば、第４の実施形態の動き判定部１４ｃと同様に動作するが、第２の実施形態の照度判定部１４ａ、第３の実施形態の輝度判定部１４ｂ、または第５の実施形態の色判定部１４ｄと同様に動作してもよい。音情報付与部１５は、前記映像データと同期する音声データからピクチャに対応した時間における特定の種類の音の有無を判断し、その判断結果を示す音情報を環境判定部１４における環境判定結果に付加して環境判定高精度化部１６に出力する。音情報付与部１５は、特定の種類の音の有無を、その種類に対応した特徴の音があるか否かによって判断する。例えば、特定の種類の音が人の声であれば、人の声がとりうる周波数と一致した周波数特徴を示す音が検出されたか否かによって、人の声の有無を判断する。環境判定高精度化部１６は、音情報が示す音の有無によって、環境判定結果を修正する。

例えば、環境判定高精度化部１６は、環境判定部１４による環境判定結果が「環境に変化あり」であっても、音情報がある特定種類の「音がない」を示す場合、実際は何ら環境が変化していないと判定し、「環境に変化がない」といった環境判定結果に補正する。一方、環境判定部１４による環境判定結果が「環境に変化あり」を示し、かつ、音情報が「音がある」を示す場合、確度の高い「環境に変化あり」という結果が得られる。このように環境判定結果と音情報を組み合わせることでノイズ等による誤判定を抑制し、判定結果を高精度化することが可能となる。

なお、環境判定部１４の環境判定結果と音情報付与部１５の音の有無の判断結果に関し、輝度等（映像）による環境判定結果と音の有無の判断結果との優先度を適用サービスによって適宜変更するようにしてもよい。これにより、例えば、環境判定高精度化部１６は、あるサービスでは音の有無の判断結果を優先して環境判定部１４による環境判定結果を修正して最終的な環境判定結果とし、あるサービスでは環境判定部１４による輝度変化等についての環境判定結果を優先してそのまま最終的な環境判定結果とすることが可能である。

［第７の実施形態］
図１２は、本発明の第７の実施形態における映像解析装置１ｆの構成を示す概略ブロック図である。本実施形態の映像解析装置１ｆは、図１に示す第１の実施形態の映像解析装置１に時刻情報付与部１７及び環境判定高精度化部１８を追加した構成である。本実施形態の環境判定部１４は、例えば、第２の実施形態の照度判定部１４ａと同様に動作するが、第３の実施形態の輝度判定部１４ｂ、第４の実施形態の動き判定部１４ｃ、または第５の実施形態の色判定部１４ｄと同様に動作してもよい。時刻情報付与部１７は、環境判定部１４から出力された環境判定結果に現在の時刻を示す時刻情報を付加して環境判定高精度化部１８に出力する。時刻情報は、例えば、ｈｈ（時間）：ｍｍ（分）：ｓｓ（秒）により示され、現在のピクチャが得られた時刻を表す。環境判定高精度化部１８は、環境の変化の判定対象であるピクチャについて環境判定部１４が判定した環境判定結果を、時刻情報が示す時刻に対応して予め記憶していた環境と整合するかを判断する。環境判定高精度化部１８は、整合しないと判断した場合、判定対象のピクチャに隣接した所定数のピクチャの判定結果に基づいて、環境判定部１４による環境判定結果を修正する。

例えば、通常は２２時に消灯され、翌６時に点灯されるような屋内環境で入退室管理や消灯確認の用途として映像解析装置１ｆが使用される場合を考える。この場合、環境判定高精度化部１８は、２２時から翌６時までの時間における環境が「暗い」という環境情報を記憶しておく。２２時の消灯時刻に環境判定部１４が「暗い」と判定した場合、環境判定高精度化部１８は、時刻情報付与部１７により付与された時刻情報が示す「２２時」に対応した環境が「暗い」であることが環境情報として記述されていることから、「暗い」と改めて判定する。一方、２３時頃になんらかのノイズ等で環境判定部１４が一瞬「ある一定以上の明るさから、大きい明るさ変化あり」と判定しても、時刻情報が示す「２３時」に対応した環境が「暗い」であることが環境情報として記述されており、かつ前後の時刻の環境判定結果が「暗い」であれば、環境判定高精度化部１８は、環境判定部１４による環境判定結果「ある一定以上の明るさから、大きい明るさ変化あり」を誤判定とし、前後の時刻の環境判定結果を優先して「暗い」と判定する。このように、明暗の変化の判定結果と時刻情報を組み合わせることでノイズ等による誤判定を抑制し、判定結果を高精度化することが可能となる。

同様にして、環境判定高精度化部１８は、例えば、環境判定部１４により「環境に変化があった」と判定された場合でも、時刻情報を組み合わせ、その時刻における通常の環境や、前後の時刻の環境判定結果と異なるときには、環境判定結果を「環境に変化がない」に修正することができる。

なお、環境判定部１４の環境判定結果と時刻情報付与部１７の時刻情報とに関し、映像による環境判定結果と、時刻情報に対応した環境との優先度を適用サービスによって適宜変更するようにしてもよい。これにより、例えば、環境判定高精度化部１８は、あるサービスでは時刻情報に対応した環境を優先して環境判定部１４による環境判定結果を修正して最終的な環境判定結果とし、あるサービスでは環境判定部１４による環境判定結果を優先してそのまま最終的な環境判定結果とすることが可能である。

［第８の実施形態］
図１３は、本発明の第８の実施形態における映像解析装置１ｇの構成を示す概略ブロック図である。本実施形態の映像解析装置１ｇは、図１に示す第１の実施形態の映像解析装置１に判定結果記憶部２１及び環境判定高精度化部２２を追加した構成である。本実施形態の環境判定部１４は、例えば、第２の実施形態の照度判定部１４ａ、第３の実施形態の輝度判定部１４ｂ、第４の実施形態の動き判定部１４ｃ、または第５の実施形態の色判定部１４ｄと同様に動作する。判定結果記憶部２１は、環境判定部１４による環境判定結果を時系列に記憶する。環境判定高精度化部２２は、判定結果記憶部２１に記憶されている直近の所定回分の環境判定結果に基づいて、環境判定部１４による現在の環境判定結果を修正する。

例えば、第７の実施形態と同様に、通常は２２時に消灯され、翌６時に点灯されるような屋内環境で入退室管理や消灯確認の用途として映像解析装置１ｇが使用される場合を考える。環境判定部１４が照度判定部１４ａと同様の機能を有しており、一定時間の間ずっと「暗い」と判定していた状態で、一回だけノイズ等で「ある一定以上の明るさから、大きい明るさ変化あり」と判定したとする。環境判定高精度化部２２は、判定結果記憶部２１に記憶されている過去４回の環境判定結果が「暗い」を示している場合、５回中４回は「暗い」と判定されたため、一度の「ある一定以上の明るさから、大きい明るさ変化あり」という環境判定結果は誤判定とし、「暗い」に補正する。このように映像解析装置１ｇは、過去の環境判定結果を記憶しておき、この累積した環境判定結果を用いて現在の環境判定結果がノイズによるものであるかを判断して修正するため、判定精度を高めることができる。

［第９の実施形態］
図１４は、本発明の第９の実施形態における映像解析装置１ｈの構成を示す概略ブロック図である。本実施形態の映像解析装置１ｈは、図１に示す第１の実施形態の映像解析装置１に判定結果集約部２３及び判定結果送出部２４を追加した構成である。
判定結果集約部２３は、環境判定部１４による複数の環境判定結果を集約する。判定結果送出部２４は、判定結果集約部２３が集約した環境判定結果を外部に出力する。
例えば、環境判定部１４が１秒間隔で環境判定を行っており、環境判定結果が５秒以内に変化した場合、あるいは、環境判定結果が５秒間同じであった場合に、判定結果集約部２３は、環境判定結果を判定結果送出部２４に出力する。これにより、判定結果送出部２４は、環境判定結果が変わった場合は直ちに、また、環境判定結果が変わらない場合には５秒に１回、出力用データを外部に出力する。よって、外部への環境判定結果の送出回数を減らすことができる。例えば、外部への出力先がネットワークである場合、通信帯域を削減することができる。

［第１０の実施形態］
図１５は、本発明の第１０の実施形態における映像解析装置１ｊの構成を示す概略ブロック図である。上述した第１の実施形態〜第９の実施形態は、適宜組み合わせることが可能であるが、同図に示す映像解析装置１ｊは、第２の実施形態の映像解析装置１ａに、第３の実施形態の動き判定部１４ｃ、第６の実施形態の音情報付与部１５、第７の実施形態の時刻情報付与部１７、第８の実施形態の判定結果記憶部２１、環境判定高精度化部２５、ならびに、第９の実施形態の判定結果集約部２３及び判定結果送出部２４を追加した構成である。環境判定高精度化部２５は、第７の実施形態の環境判定高精度化部１８の機能と第８の実施形態の環境判定高精度化部２２の機能を有する。

この構成により、映像解析装置１ｊは、所定時間間隔で、照度判定部１４ａにより照度の変化を判定し、動き判定部１４ｃにより動きの変化を判定する。時刻情報付与部１７は、照度判定部１４ａによる照度変化判定結果と動き判定部１４ｃによる動き変化判定結果に時刻情報を付与し、判定結果記憶部２１は、時刻情報が付与された照度変化判定結果及び動き変化判定結果を記憶する。環境判定高精度化部２５は、現在の照度変化判定結果及び動き変化判定結果を時刻情報に基づいて修正し、さらに、判定結果記憶部２１に記憶されている過去の照度変化判定結果及び動き変化判定結果により修正して判定結果集約部２３に出力する。判定結果集約部２３は、所定回数分の照度変化判定結果及び動き変化判定結果が環境判定高精度化部２５から出力されると、それらの照度変化判定結果及び動き変化判定結果を集約した出力用データを判定結果送出部２４に出力する。これにより、判定結果送出部２４は、環境判定の時間間隔よりも長い時間間隔で、照度変化及び動き変化についての判定結果を示す出力用データを外部に出力する。

上記処理により判定精度を高めるとともに、より細分化された結果を得ることが可能になる。特に、使用するケースを限定し、精度や細分化された結果を得たい場合には、非常に有益な効果をもたらすことができる。

上述した実施形態の映像解析装置は、時間軸方向の変化を考慮し、屋内外での様々な環境において、センサ等の機器を用いずに、カメラの映像符号化情報のみを用いて符号化された映像を復号化する必要なく、屋内外の環境の変化、例えば、明暗、輝度、色変化、動きなどが変化するイベント発生を検知する。これを利用することによって、高機能な監視、見守り、コミュニケーション推進機能を実現することが可能となる。よって、高機能な監視や見守りサービス、コミュニケーション推進などを、低コスト、高信頼、高汎用的、高精度に実現することができる。

上述した映像解析装置１、１ａ、１ｂ、１ｃ、１ｄ、１ｅ、１ｆ、１ｇ，１ｈ、１ｊは、内部にコンピュータシステムを有している。そして、本実施形態の映像解析装置１，１ａ、１ｂ、１ｃ、１ｄ、１ｅ、１ｆ、１ｇ，１ｈ、１ｊが備える各部の動作の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータシステムが読み出して実行することによって、上記処理が行われる。なお、ここでいう「コンピュータシステム」とは、ＣＰＵ及び各種メモリやＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

１、１ａ、１ｂ、１ｃ、１ｄ、１ｅ、１ｆ、１ｇ、１ｈ、１ｊ 映像解析装置
１１ 映像入力部
１２ 符号化部
１３ 映像解析部
１４ 環境判定部
１４ａ 照度判定部
１４ｂ 輝度判定部
１４ｃ 動き判定部
１４ｄ 色判定部
１５ 音情報付与部
１６ 環境判定高精度化部
１７ 時刻情報付与部
１８ 環境判定高精度化部
２１ 判定結果記憶部
２２ 環境判定高精度化部
２３ 判定結果集約部
２４ 判定結果送出部
２５ 環境判定高精度化部

Claims (8)

1. 符号化された映像データを構成するフレームデータが示すピクチャの複雑度指標値を算出する映像解析部と、
   判定対象の前記ピクチャの前記複雑度指標値と、判定対象の前記ピクチャより過去の前記ピクチャの前記複雑度指標値との比率に基づいてイベントの発生の有無を判定する環境判定部と、
   を備えることを特徴とする映像解析装置。
2. 判定対象の前記映像データと同期する音声データから判定対象の前記ピクチャに対応した時間における特定の種類の音の有無を判定する音情報付与部と、
   前記環境判定部によるイベントの発生の有無の判定結果を、前記音情報付与部による音の有無の判定結果に基づいて修正する環境判定高精度化部とを更に備える、
   ことを特徴とする請求項１に記載の映像解析装置。
3. 判定対象の前記ピクチャが得られた時刻を示す時刻情報を出力する時刻情報付与部と、
   前記環境判定部が判定対象の前記ピクチャについて判定したイベントの発生の有無の判定結果が前記時刻情報により示される時刻に対応して予め記憶していた環境と整合しない場合、判定対象の前記ピクチャと時間的に隣接した所定数の前記ピクチャの判定結果に基づいて判定対象の前記ピクチャについての前記判定結果を修正する環境判定高精度化部とを更に備える、
   ことを特徴とする請求項１に記載の映像解析装置。
4. 前記環境判定部によるイベントの発生の有無の判定結果を記憶する判定結果記憶部と、
   前記環境判定部が判定対象の前記ピクチャについて判定したイベントの発生の有無の判定結果を、前記判定結果記憶部に記憶されている過去の前記判定結果に基づいて修正する環境判定高精度化部とを更に備える、
   ことを特徴とする請求項１に記載の映像解析装置。
5. 所定時間内における前記環境判定部によるイベントの発生の有無の複数の判定結果を集約して出力する判定結果集約部を更に備える、
   ことを特徴とする請求項１から請求項４のいずれか１項に記載の映像解析装置。
6. 前記環境判定部は、照度の変化の有無を判定する、
   ことを特徴とする請求項１から請求項５のいずれか１項に記載の映像解析装置。
7. 前記環境判定部は、輝度の変化の有無を判定する、
   ことを特徴とする請求項１から請求項５のいずれか１項に記載の映像解析装置。
8. 前記環境判定部は、動きの有無を判定する、
   ことを特徴とする請求項１から請求項５のいずれか１項に記載の映像解析装置。

Images