JP2006109251A - 画像認証方法及び画像認証装置 - Google Patents

Abstract

【課題】 プライバシー保護及びセキュリティ確保を両立させながら、撮像装置やその監視対象に発生する異常を確実に検出する。
【解決手段】 監視端末１３は、監視対象の撮像を行うネットワークカメラ（撮像装置）１１から、正常な状態時に撮像画像を受信し、正常な状態の撮像画像を基準画像として基準画像記憶部２９に記憶する。また、正常な状態時において取得される複数の撮像画像のそれぞれの画像特徴量と基準画像の画像特徴量との差分値を計算して、この差分値を基準変動量として基準変動保持部２６に保持する。実際の監視の際には、変動計算部２５が、撮像装置からリアルタイムに取得する撮像画像の画像特徴量と基準画像の画像特徴量との差分値を計算し、この計算結果と基準変動量との比較を行う。このとき、差分値が基準変動量を上回る状態が検出された場合には、異常判断部２７は、異常が発生したと判断し、通知部２８から外部に異常検出が通知される。
【選択図】 図２

Description

本発明は、画像認証技術に関し、特に、撮像装置によって監視対象を撮像した撮像画像（監視画像）を参照して、異常な状態の検出を行う監視システムにおける画像認証方法及び画像認証装置に関する。

従来、静止画や動画などの撮像を行うための撮像装置（カメラ）によって監視対象の撮像を行い、その撮像画像をモニタに表示して監視したり、ＶＴＲ（Video Tape Recorder）やディスクレコーダに記録したりすることが可能な監視システムが広く用いられている。

このような映像監視システムでは、監視の目をごまかすために、様々な偽装が行われる可能性がある。例えば、犯罪者などの偽装者が、監視対象が撮像されないように撮像装置の撮像位置や撮像方向を変えてしまい、その間に監視対象に対する犯罪などを行うケースが考えられる。また、撮像装置の撮像方向（カメラのレンズ前方）に、監視対象の被写体が写っている写真などを置いたり、撮像装置の撮像位置を変えて監視対象によく似た別の被写体を撮像したりすることによって、監視対象の撮像を妨げるとともに、監視者の目を欺くような被写体の偽装を行うケースも考えられる。

一方、プライバシーの問題から、監視画像がどのように撮像、閲覧、保存されるかということへの意識が高まっており、例えば、監視画像の撮像、保存は行うものの、通常は監視画像の閲覧は行わないようにし、監視対象に関して何らかの事件が発生した場合にのみ、監視画像の閲覧を行うようにするという運用が求められている。しかしながら、このような監視システムの運用では、事件発生後に録画画像（保存された監視画像）を閲覧することとなり、事後的に事件の確認はできるものの、監視対象の異常をリアルタイムに発見することは困難である。

また、例えば、下記の特許文献１には、監視対象の異常状態を検知することが可能な監視装置が開示されている。この監視装置では、図１０に示すように、監視対象を撮像し続ける撮像装置の画像において、正常動作状態の場合の監視対象の画像（デフォルト画像ＤＧ）と、各時刻で得られる監視対象の画像（サンプリング画像ＳＧ１〜ＳＧ８）との比較を行う。そして、デフォルト画像ＤＧと任意の時刻のサンプリング画像（例えば、サンプリング画像ＳＧ６）とが異なることを検出した後から、所定時間だけ同じ状態のサンプリング画像（例えば、サンプリング画像ＳＧ６〜ＳＧ８）が継続した場合には、監視対象や撮像装置に異常が発生していると判断する。
特開２００１−５４１００号公報（図４、段落００１５〜００２６）

しかしながら、特許文献１に開示されている技術によれば、異なる画像（サンプリング画像ＳＧ６）が入力された後、所定時間だけ同じ画像（サンプリング画像ＳＧ６〜ＳＧ８）が継続した場合に異常が検出されるので、例えば、撮像装置の向きや撮像方向を変えただけで、その後も動きのある画像が撮像される場合（すなわち、サンプリング画像ＳＧ６〜ＳＧ８が異なる画像となる場合）には、異常を検出することができないという課題がある。

また、特許文献１に開示されている技術によれば、特に、フレームレートが低い撮像装置などが用いられており、例えば、撮像されていない間に、正常な状態の撮像画像を含む偽装用写真などが撮像装置の前に設置された場合（例えば、サンプリング画像ＳＧ５〜ＳＧ６の間に偽装用写真が設置された場合）には、偽装用写真を撮像している撮像画像（サンプリング画像ＳＧ６以降）がデフォルト画像ＤＧと同一と判断され、異常を検出することができないという課題がある。

また、これらの課題を解決する際には、上述のように、プライバシー保護及びセキュリティ確保の両方を考慮する必要がある。

上記課題に鑑み、本発明は、プライバシー保護及びセキュリティ確保を両立させながら、撮像装置やその監視対象に発生する異常を確実に検出することが可能な画像認証方法及び画像認証装置を提供することを目的とする。

上記目的を達成するため、本発明によれば、所定の場所に固定設置されて監視対象の撮像を行う撮像装置による撮像画像に基づいて、前記撮像装置及び前記監視対象の少なくとも一方に発生する異常を検出するための監視システムにおける画像認証方法であって、
前記監視対象が正常な状態のときに撮像された前記撮像画像を、基準画像として記憶する基準画像記憶ステップと、
前記監視対象が正常な状態のときに撮像された前記撮像画像の画像特徴量と、前記基準画像の画像特徴量との差分値に基づいて、基準変動量を生成する基準変動生成ステップと、
前記基準変動生成ステップで生成された前記基準変動量を保持する基準変動保持ステップと、
前記撮像装置による前記監視対象の監視を行うために、前記撮像装置から前記監視対象の前記撮像画像を取得する画像取得ステップと、
前記監視対象の監視の際に前記画像取得ステップで取得された前記撮像画像の画像特徴量と、前記基準画像記憶ステップで記憶された前記基準画像の画像特徴量との差分値を計算する変動計算ステップと、
前記変動計算ステップで計算された前記差分値と、前記基準変動保持ステップで保持されている前記基準変動量との比較を行い、前記変動計算ステップで計算された前記差分値が前記基準変動量を上回った場合に、前記撮像装置及び前記監視対象の少なくとも一方に異常が発生したと判断する異常判断ステップと、
前記異常判断ステップで異常が発生したと判断された場合、異常発生の報知を行う通知ステップとを、
有する画像認証方法が提供される。

また、上記目的を達成するため、本発明によれば、所定の場所に固定設置されて監視対象の撮像を行う撮像装置による撮像画像に基づいて、前記撮像装置及び前記監視対象の少なくとも一方に発生する異常を検出するための監視システムにおける画像認証方法であって、
前記監視対象が正常な状態のときに撮像された、時間的に連続する少なくとも２枚の前記撮像画像を取得する基準画像取得ステップと、
前記基準画像取得ステップで取得された前記２枚の撮像画像のそれぞれの画像特徴量の差分値に基づいて、基準変動量を生成する基準変動生成ステップと、
前記基準変動生成ステップで生成された前記基準変動量を保持する基準変動保持ステップと、
前記撮像装置による前記監視対象の監視を行うために、前記撮像装置から前記監視対象の前記撮像画像を取得する画像取得ステップと、
前記監視対象の監視の際に前記画像取得ステップで取得された、時間的に連続する２枚の前記撮像画像のそれぞれの画像特徴量の差分値を計算する変動計算ステップと、
前記変動計算ステップで計算された前記差分値と、前記基準変動保持ステップで保持された前記基準変動量との比較を行い、前記変動計算ステップで計算された前記差分値が前記基準変動量を下回った状態が所定時間以上継続した場合に、前記撮像装置及び前記監視対象の少なくとも一方に異常が発生したと判断する異常判断ステップと、
前記異常判断ステップで異常が発生したと判断された場合、異常発生の報知を行う通知ステップとを、
有する画像認証方法が提供される。

また、上記目的を達成するため、本発明によれば、所定の場所に固定設置されて監視対象の撮像を行う撮像装置による撮像画像に基づいて、前記撮像装置及び前記監視対象の少なくとも一方に発生する異常を検出するための監視システムにおける画像認証装置であって、
前記監視対象が正常な状態のときに撮像された前記撮像画像を、基準画像として記憶する基準画像記憶手段と、
前記監視対象が正常な状態のときに撮像された前記撮像画像の画像特徴量と、前記基準画像の画像特徴量との差分値に基づいて生成される基準変動量を保持する基準変動保持手段と、
前記撮像装置による前記監視対象の監視を行うために、前記撮像装置から前記監視対象の前記撮像画像を取得する画像取得手段と、
前記監視対象の監視の際に前記画像取得手段によって取得された前記撮像画像の画像特徴量と、前記基準画像記憶手段に記憶されている前記基準画像の画像特徴量との差分値を計算する変動計算手段と、
前記変動計算手段によって計算された前記差分値と、前記基準変動保持手段によって保持されている前記基準変動量との比較を行い、前記変動計算手段によって計算された前記差分値が前記基準変動量を上回った場合に、前記撮像装置及び前記監視対象の少なくとも一方に異常が発生したと判断する異常判断手段と、
前記異常判断手段によって異常が発生したと判断された場合、異常発生の報知を行う通知手段とを、
有する画像認証装置が提供される。

また、上記目的を達成するため、本発明によれば、所定の場所に固定設置されて監視対象の撮像を行う撮像装置による撮像画像に基づいて、前記撮像装置及び前記監視対象の少なくとも一方に発生する異常を検出するための監視システムにおける画像認証装置であって、
前記監視対象が正常な状態のときに撮像された、時間的に連続する少なくとも２枚の前記撮像画像を取得し、前記２枚の撮像画像のそれぞれの画像特徴量の差分値に基づいて生成される基準変動量を保持する基準変動保持手段と、
前記撮像装置による前記監視対象の監視を行うために、前記撮像装置から前記監視対象の前記撮像画像を取得する画像取得手段と、
前記監視対象の監視の際に前記画像取得手段によって取得された、時間的に連続する２枚の前記撮像画像のそれぞれの画像特徴量の差分値を計算する変動計算手段と、
前記変動計算手段によって計算された前記差分値と、前記基準変動保持手段によって保持されている前記基準変動量との比較を行い、前記変動計算手段によって計算された前記差分値が前記基準変動量を下回った状態が所定時間以上継続した場合に、前記撮像装置及び前記監視対象の少なくとも一方に異常が発生したと判断する異常判断手段と、
前記異常判断手段によって異常が発生したと判断された場合、異常発生の報知を行う通知手段とを、
有する画像認証装置が提供される。

本発明の画像認証方法及び画像認証装置は、上記の構成を有しており、人間が撮像画像を監視していなくても、撮像装置の位置や撮像方向が変わったり、撮像装置のレンズが覆われたりするなどの方法で監視の目を欺く偽装を検出して、所定の方法で異常検出の報知（通知）を行うことが可能であり、プライバシー保護及びセキュリティ確保を両立させながら、撮像装置やその監視対象に発生する異常を確実に検出することができる。

また、本発明の画像認証方法及び画像認証装置は、上記の構成を有しており、人間が撮像画像を監視していなくても、撮像装置のレンズ前方に監視対象の被写体と同じ画像の写真などを置いたり、撮像装置の位置を変えて監視対象の被写体に酷似する別の被写体を撮像したりするなどの方法で監視の目を欺く偽装を検出して、所定の方法で異常検出の報知（通知）を行うことが可能であり、プライバシー保護及びセキュリティ確保を両立させながら、撮像装置やその監視対象に発生する異常を確実に検出することができる。

以下、図面を参照しながら、本発明の第１及び第２の実施の形態における画像認証方法及び画像認証装置について説明する。

＜第１の実施の形態＞
まず、本発明の第１の実施の形態における画像認証方法及び画像認証装置について説明する。図１は、本発明の第１の実施の形態における画像認証方法及び画像認証装置が適用される監視システムの一例を示す図である。

図１に示す監視システムは、ネットワークカメラ（撮像装置）１１及び監視端末（画像認証装置）１３が、ネットワーク１２に接続されており、ネットワークカメラ１１において撮像された撮像画像が、ネットワーク１２を通じた通信を介して、監視端末１３に供給されるように構成されている。なお、ネットワークカメラ１１は、動画や静止画の撮像が可能な撮像装置であり、撮像した動画や静止画を、インターネットなどのネットワーク１２を通じた画像伝送用のフォーマットに圧縮して、リアルタイムに監視端末１３に供給することが可能である。

また、図２は、本発明の第１の実施の形態に係る監視端末（画像認証装置）の内部構成の一例を示すブロック図である。図２に示す監視端末１３は、本発明に係る画像認証装置を実現するものであり、ＮＩＣ（Network Interface Card：ネットワークインタフェースカード）２１、画像伸長部２２、画像表示部２３、画像保存部２４、変動計算部２５、時計部２５ａ、基準変動保持部２６、異常判断部２７、通知部２８、基準画像記憶部２９を有している。

以下に、図２に示す監視端末１３の構成要素について説明する。ＮＩＣ２１は、ネットワーク１２に接続されており、ネットワークカメラ１１との通信（主に、ネットワークカメラ１１からの撮像画像の受信）を可能とするものである。

また、画像伸長部２２は、ネットワークカメラ１１から受信した、ネットワーク伝送用に圧縮されている撮像画像の伸長（復号）を行うことによって、ネットワークカメラ１１で撮像された元の撮像画像への復元を行う機能を有している。なお、画像伸長部２２における画像伸長方式は、ネットワークカメラ１１から送られてくる画像フォーマットに依存しており、例えば、ＪＰＥＧ（Joint Photographic Coding Experts Group）方式により圧縮された静止画や、ＭＰＥＧ（Motion Picture Experts Group）方式などにより圧縮された動画の伸長を行うことが可能である。

また、画像表示部２３は、例えば、液晶ディスプレイなどの画像表示を行うモニタである。また、画像保存部２４は、例えば、ハードディスクやＤＶＤ−ＲＡＭ（Digital Versatile Disk Random Access Memory）などの任意のデジタルデータ記録媒体によって実現可能であり、ネットワークカメラ１１によって撮像された撮像画像を画像データとして保存するための機能を有している。

また、変動計算部２５は、画像伸長部２２で伸長されたネットワークカメラ１１による撮像画像に関し、画像伸長部２２より受け取る最新の撮像画像と、基準画像記憶部２９に記憶された基準画像との変動量の計算を行う機能を有している。また、時計部２５ａは、現在時刻を出力することが可能な時計機能を有している。時計部２５ａから出力される現在時刻は、例えば、変動計算部２５が、基準画像記憶部２９に記憶されている複数の基準画像の中から、どの基準画像を読み出すのかを決定する際に参照される。

また、基準変動保持部２６は、正常な状態（具体的には、監視対象や撮像装置に問題が発生していない状態）における変動計算部２５の計算結果を、正常な状態を示す指標として利用可能な基準変動量として保持するための機能を有している。

また、異常判断部２７は、変動計算部２５の計算結果と、基準変動保持部２６に保持されている基準変動量との比較を行うことによって、現在の状態が、正常な状態から逸脱した状態（異常な状態）となっていないかを判断する機能を有している。

また、通知部２８は、異常判断部２７によって異常な状態が検知された場合に、異常な状態を通知するための動作を行う機能を有している。なお、異常な状態の通知は、任意の方法で実現可能であり、例えば、画像表示部２３への警告表示や警告音声の報知、所定のメールアドレスあての警告メールの送信などを始めとして、その他の一般的な警告報知機能を利用することが可能である。

また、基準画像記憶部２９は、正常な状態を示す指標となる基準画像を記憶する機能を有している。なお、基準画像記憶部２９に記憶されている基準画像は、現在の撮像画像との比較の基準として用いられるとともに、正常な状態／異常な状態を判断するための基準変動量Ｄａの算出基準としても利用される。

次に、図２に示す監視端末１３における動作について説明する。監視端末１３は、大きく分けて、監視画像から異常な状態を検出するための基準となる基準変動量Ｄａの算出動作と、上述の動作で算出された基準変動量を利用した監視動作の２つの動作を行う。以下、上述の基準変動量Ｄａの算出動作及び監視動作について、順に説明する。

まず、基準変動量Ｄａの算出動作について説明する。図３は、本発明の第１の実施の形態における監視端末（画像認証装置）の基準変動量の算出動作の一例を示すフローチャートである。

まず、監視端末１３は、正常な状態のときにネットワークカメラ１１によって撮像される撮像画像を取得し、この撮像画像を基準画像として基準画像記憶部２９に格納する（ステップＳ１０１）。基準画像は、移動する人や自動車などの被写体が写っていない静的な画像であることが望ましい。基準画像の取得方法としては、映像の記録を長期間行って移動する人や自動車の写っていない画像を抽出する方法や、その他の任意の方法を利用することが可能である。

なお、ここでは、時刻によって照明や日照などの条件が変わることを考慮して、毎正時に撮像される撮像画像を基準画像として取得した場合について説明する。すなわち、ステップＳ１０１において、毎正時の撮像画像が、基準画像として基準画像記憶部２９に記憶されたものとして（すなわち、２４個の基準画像が基準画像記憶部２９に記憶されたものとして）、以下の説明を行う。

次に、平常時（正常な状態の場合）における撮像画像から、平常時の撮像画像と基準画像との差分値（平常時の変動量Ｄ_tの値）を算出する（ステップＳ１０２）。平常時の変動量Ｄ_tの値は、例えば、以下のような式Ａによって求めることが可能である。

・時刻ｔの撮像画像に係る画像データをＰ_t
・基準画像に係る画像データをＰ_r
・画像データＰ_tのサイズをＬ×Ｍ
・画像データＰ_tの画素座標（ｌ，ｍ）の輝度をＸ（Ｐ_t）_lm
（ただし、ｌ＝１〜Ｌ、ｍ＝１〜Ｍ）
とすると、
時刻ｔにおける撮像画像と基準画像との変動量Ｄ_tは、
Ｄ_t＝｛Σ_l（Σ_m（Ｘ（Ｐ_r）_lm・Ｘ（Ｐ_t）_lm）²｝／（Ｌ×Ｍ） … 式Ａ

上述の式Ａは、変動量Ｄ_tとして、時刻ｔにおける平常時の撮像画像と基準画像との間の対応する各画素に関して、輝度の差の２乗平均値を利用した場合の式であり、時刻ｔにおける平常時の撮像画像と基準画像との間で、輝度に大きな違いがあるほど、変動量Ｄ_tの値も大きくなる。なお、ここでは、輝度とは、ＲＧＢの各要素の値の平均値を指しており、例えば、１画素当たりのＲＧＢの３つのデータがそれぞれ８ビットで表現され、すべての値が最大値の場合には、輝度の値は２５５となる。

なお、上記の式Ａは、変動量を計算する際に各画素の輝度の差の２乗平均値を用いているが、本発明は、この算出方法に限定されるものではなく、例えば、画面全体の明るさ（輝度の画面内平均値）や、画像全体のコントラスト（輝度の画面内平均値に対する各画素の平均値からの分散）、ＲＧＢの各要素の画面内平均値の大小関係など、様々な特徴量に基づく変動量の算出方法の適用が可能である。

このようにして算出される変動量Ｄ_tの値は、例えば、２４時間継続して測定され、蓄積される（ステップＳ１０３）。なお、時刻ｔにおける平常時の撮像画像との比較に用いられる基準画像は、時刻ｔに最も近い正時の基準画像であることが望ましい。以上の動作によって、２４時間分の毎正時の基準画像に基づいて、各時刻ｔにおける平常時の撮像画像に係る変動量Ｄ_tの値が算出される。そして、これらの変動量Ｄ_tの値から、正常な状態における最大変動量を予測して、この値に基づく基準変動量Ｄａを生成し、基準変動保持部２６に保持する（ステップＳ１０４）。なお、ステップＳ１０４の処理における基準変動量Ｄａの決定方法としては、例えば、最大変動量の１２０％を基準変動量Ｄａとして設定する。

また、各時刻ｔや各時間帯（例えば、１時間ごと）に依存した基準変動量Ｄａを求めることによって、より精度の高い基準変動量Ｄａの評価を行うことも可能である。この場合には、例えば、より長い期間（例えば、１ヶ月分）に係る基準画像の取得を行い、各時刻ｔや各時間帯における１ヶ月分の変動を考慮して、最大変動量の予測を行うようにすることも可能である。

次に、上述の基準変動量Ｄａの算出動作によって算出された基準変動量Ｄａ及び基準画像に基づいて行われる監視動作について説明する。図４は、本発明の第１の実施の形態における監視端末（画像認証装置）の監視動作の一例を示すフローチャートである。なお、上述の基準変動量Ｄａの算出動作と監視動作はそれぞれ独立した動作であり、例えば、上述の基準変動量Ｄａの算出動作によって得られた結果と同等のデータを別の方法で監視端末１３に設定することによって、監視端末１３が、上述の基準変動量Ｄａの算出動作を行わずに、監視動作のみを行うようにすることも可能である。

監視の際には、まず、監視端末１３の変動計算部２５が、ネットワークカメラ１１で撮像された撮像画像を取得するとともに、時計部２５ａから現在時刻を取得する（ステップＳ２０１）。また、変動計算部２５は、ステップＳ２０１で取得された現在時刻に最も近い時刻の基準画像を基準画像記憶部２９から読み出す（ステップＳ２０２）。例えば、現在時刻が午前１０時３４分の場合には、変動計算部２５によって、午前１１時の基準画像が基準画像記憶部２９から読み出される。

そして、変動計算部２５は、現在の撮像画像（ステップＳ２０１で取得された撮像画像）と、ステップＳ２０２で読み出された基準画像との比較を行って、現在の時刻における変動量Ｄ_tを算出し（ステップＳ２０３）、その算出結果を異常判断部２７に出力する。異常判断部２７は、基準変動保持部２６に保持されている基準変動量Ｄａを読み出して（ステップＳ２０４）、この基準変動量Ｄａと、現在の時刻における変動量Ｄ_tとを比較する（ステップＳ２０５）。

このステップＳ２０５では、例えば、基準変動量Ｄａと、現在の時刻における変動量Ｄ_tとの単純な大小の比較が行われる。そして、現在の時刻における変動量Ｄ_tが基準変動量Ｄａを上回った場合（変動量Ｄ_t＞基準変動量Ｄａ）には、ネットワークカメラ１１から取得された撮像画像に、平常とは異なる大きな変動が見られ、監視対象やネットワークカメラ１１に何らかの異常が発生していると判断される（ステップＳ２０６）。

このように、変動量Ｄ_tが基準変動量Ｄａよりも大きくなった場合に、何らかの異常が発生していると判断することができるという考え方は、以下の考え方に基づいている。一般に、監視画像には、背景として動かない部分と、人や自動車などの移動する被写体とが存在しており、通常は、移動する被写体は、画面全体から見ると、それほど大きな面積を占めることはない。すなわち、正常な状態では、監視画像の変動量は、あまり大きな値を取らないとことが一般的である。したがって、撮像画像に関する変動量が、所定の閾値である基準変動量Ｄａを上回った場合には、被写体の移動ではなく、撮像装置の位置や撮像方向が変えられたり、撮像装置のレンズが覆われたりするなどの何らかの異常が発生していると判断することが可能である。

異常判断部２７において、異常な状態であると判断された場合には、異常検出信号が通知部２８に供給され、通知部２８において、異常の通知が行われる（ステップＳ２０７）とともに、ステップＳ２０１に戻り、継続して監視動作が行われる。一方、ステップＳ２０５で、現在の時刻における変動量Ｄ_tが基準変動量以下の場合には、そのままステップＳ２０１に戻り、継続して監視動作が行われる。なお、再び撮像画像に係る監視動作を行うためにステップＳ２０１に戻るタイミング（すなわち、撮像画像を取得する周期）は任意である。この周期としては、例えば、ネットワークカメラ１１から供給される動画のフレームレートなどに依存して設定されてもよく、また、監視端末１３の処理能力に応じて、任意の周期（例えば、１秒ごと）に設定されてもよい。

また、図５は、本発明の第１の実施の形態における監視端末（画像認証装置）によって算出される変動量の一例を示すグラフである。このグラフの縦軸は、現在の撮像画像に関する変動量、横軸は、時刻の変化を示している。このグラフに示されているように、現在の撮像画像に関する変動量は、時刻の変化と共に変動し、所定の基準変動量を超えた場合には、異常な状態が検出される。なお、このグラフでは、基準変動量が一定の値を示す点線で図示されているが、上述のように、各時刻や各時間帯において、異なる基準変動量が設定されてもよい。

以上、説明したように、本発明の第１の実施の形態によれば、あらかじめ撮像画像の基準画像（平常時の撮像画像）に関する変動量から最大の変動量を予測して、正常な状態における基準変動量を設定し、撮像画像の監視の際には、監視時に取得された撮像画像に関する変動量と基準変動量との比較を行うことによって、基準変動量を上回る変動量が検出された場合に、異常な状態が発生していると判断することが可能となる。

これにより、人間が監視画像を常に閲覧していなくても、監視端末１３が、撮像装置の位置や撮像方向の変化や、その他の監視の目をごまかすような偽装を検出して、警告を行うことが可能となり、プライバシー保護及びセキュリティ確保の両立を図りながら、監視動作の自動化を実現することが可能となる。また、変動量が所定の最大変動量よりも小さい場合には、正常な状態であると判断できるようにすることによって、平常時に考えられる正常な被写体の動きを、誤って異常と検出しないようにすることが可能となる。

＜第２の実施の形態＞
次に、本発明の第２の実施の形態における画像認証方法及び画像認証装置について説明する。本発明の第２の実施の形態では、上述の第１の実施の形態と比較して、監視端末１３の構成が異なっている。図６は、本発明の第２の実施の形態に係る監視端末（画像認証装置）の内部構成の一例を示すブロック図である。なお、図２に図示された監視端末１３の構成要素と同一の機能を有する構成要素に関しては、同一の符号を付すとともに、その説明を省略する。

図６に示す監視端末１３は、本発明に係る画像認証装置を実現するものであり、ＮＩＣ２１、画像伸長部２２、画像表示部２３、画像保存部２４、変動計算部２５、基準変動保持部２６、異常判断部２７、通知部２８、前回画像記憶部３０を有している。

以下に、図６に示す監視端末１３に関し、図２に示す監視端末１３内の構成要素とは異なる構成要素について説明する。図６に示す監視端末１３は、ネットワークカメラ１１から取得した最新の撮像画像の１つ前に取得した撮像画像を保持するための前回画像記憶部３０を有しており、変動計算部２５が、最新の撮像画像と１つ前の撮像画像との間における変動量の計算を行った後、最新の撮像画像を１つ前の撮像画像として前回画像記憶部３０に記憶できるように構成されている。すなわち、図６に示す監視端末１３は、現在の状態と直前の状態との比較を行い、異常な状態の検出を行うように構成されている。

したがって、図２に示す監視端末１３（上述の第１の実施の形態に係る監視端末）では、変動計算部２５が、ネットワークカメラ１１から取得した撮像画像と、基準画像記憶部２９に記憶されている基準画像との比較を行うことによって、変動量の計算を行うように構成されているが、この第２の実施の形態では、変動計算部２５が、ネットワークカメラ１１から取得した最新の撮像画像と、前回画像記憶部３０に記憶されている１つ前の撮像画像との比較を行うことによって、変動量の計算を行うように構成されていると言える。

次に、図６に示す監視端末１３における動作について説明する。上述の第１の実施の形態と同様、この第２の実施の形態における監視端末１３も、大きく分けて、監視画像から異常な状態を検出するための基準となる基準変動量Ｄａの算出動作と、上述の動作で算出された基準変動量を利用した監視動作の２つの動作を行う。以下、上述の基準変動量Ｄａの算出動作及び監視動作について、順に説明する。

まず、基準変動量Ｄａの算出動作について説明する。図７は、本発明の第２の実施の形態における監視端末（画像認証装置）の基準変動量の算出動作の一例を示すフローチャートである。

まず、監視端末１３は、正常な状態のときにネットワークカメラ１１によって撮像される撮像画像を一定の周期で取得し（ステップＳ３０１）、一定の周期で取得された撮像画像のうち、時系列的に隣り合う撮像画像（すなわち、ある撮像画像と、その１つ前の撮像画像）間の差分値（平常時の変動量Ｄ_tの値）を算出する（ステップＳ３０２）。平常時の変動量Ｄ_tの値は、例えば、以下のような式Ｂによって求めることが可能である。

・時刻ｔの撮像画像に係る画像データをＰ_t
・基準画像に係る画像データをＰ_r
・画像データＰ_tのサイズをＬ×Ｍ
・画像データＰ_tの画素座標（ｌ，ｍ）の輝度をＸ（Ｐ_t）_lm
（ただし、ｌ＝１〜Ｌ、ｍ＝１〜Ｍ）
とすると、
時刻ｔにおける撮像画像と、１つ前（ここでは時刻ｔ−１と記載する）の撮像画像との変動量Ｄ_tは、
Ｄ_t＝｛Σ_l（Σ_m（Ｘ（Ｐ_t-1）_lm・Ｘ（Ｐ_t）_lm）²｝／（Ｌ×Ｍ） … 式Ｂ

上述の式Ｂは、変動量Ｄ_tとして、時刻ｔにおける平常時の撮像画像と、その１つ前の撮像画像との間の対応する各画素に関して、輝度の差の２乗平均値を利用した場合の式であり、時刻ｔにおける平常時の撮像画像と、１つ前の撮像画像との間で、輝度に大きな違いがあるほど、変動量Ｄ_tの値も大きくなる。なお、ここでは、輝度とは、ＲＧＢの各要素の値の平均値を指しており、例えば、１画素当たりのＲＧＢの３つのデータがそれぞれ８ビットで表現され、すべての値が最大値の場合には、輝度の値は２５５となる。

なお、上記の式Ｂは、変動量を計算する際に各画素の輝度の差の２乗平均値を用いているが、本発明は、この算出方法に限定されるものではなく、例えば、画面全体の明るさ（輝度の画面内平均値）や、画像全体のコントラスト（輝度の画面内平均値に対する各画素の平均値からの分散）、ＲＧＢの各要素の画面内平均値の大小関係など、様々な特徴量に基づく変動量の算出方法の適用が可能である。

上述のようにして算出された変動量Ｄ_tの値は、正常な状態において起こり得る変動量を示す指標として用いることができる。監視端末１３は、ステップＳ３０２で算出された変動量Ｄ_tの値から基準変動量Ｄａを定め、この基準変動量Ｄａを基準変動保持部２６に保持する。なお、ステップＳ３０３の処理における基準変動量Ｄａの決定方法としては、例えば、変動量Ｄ_tの７０％を基準変動量Ｄａとして設定する方法などが可能である。

なお、基準変動量の精度を向上させるために、例えば、複数の変動量Ｄ_tを取得して、その平均値を利用したり、各時刻ｔや各時間帯（例えば、１時間ごと）、曜日などに依存した基準変動量Ｄａを求めるようにしたりすることも可能である。

例えば、商店街などでは、平日の夕方が最も変動量Ｄ_tが大きくなり、午前中や夜間は小さくなることが考えられる。このような場合には、被写体の移動が激しい平日の午後の基準変動量Ｄａを大きな値に設定し、被写体の移動が少ない午前中や夜間の基準変動量Ｄａを小さな値に設定するなど、監視対象の様々な条件や状況に応じた基準変動量のＤａを設定することが可能である。また、特に、正常な状態であっても変動量Ｄ_tの値が小さい監視場所や時間帯（例えば、夜間）などの条件下では、他の監視機能などと連動して、例えば、赤外線センサによって人間の存在が確認された場合に、本発明に係る画像認証方法が動作されるようにしてもよい。

次に、上述の基準変動量Ｄａの算出動作によって算出された基準変動量Ｄａ及び基準画像に基づいて行われる監視動作について説明する。図８は、本発明の第２の実施の形態における監視端末（画像認証装置）の監視動作の一例を示すフローチャートである。なお、上述の基準変動量Ｄａの算出動作と監視動作はそれぞれ独立した動作であり、例えば、上述の基準変動量Ｄａの算出動作によって得られた結果と同等のデータを別の方法で監視端末１３に設定することによって、監視端末１３が、上述の基準変動量Ｄａの算出動作を行わずに、監視動作のみを行うようにすることも可能である。

監視の際には、まず、監視端末１３の変動計算部２５が、ネットワークカメラ１１で撮像された最新の撮像画像を取得する（ステップＳ４０１）。また、変動計算部２５は、前回画像記憶部３０に記憶されている撮像画像を読み出す（ステップＳ４０２）。なお、前回画像記憶部３０に記憶されている撮像画像は、ステップＳ４０１で取得された最新の撮像画像の１つ前の撮像画像であり、後述のステップＳ４１０で前回画像記憶部３０に記憶される。

そして、変動計算部２５は、最新の撮像画像（ステップＳ４０１で取得された撮像画像）と、ステップＳ４０２で読み出された１つ前の撮像画像との比較を行って、現在の時刻における変動量Ｄ_tを算出し（ステップＳ４０３）、その算出結果を異常判断部２７に出力する。異常判断部２７は、基準変動保持部２６に保持されている基準変動量Ｄａを読み出して（ステップＳ４０４）、この基準変動量Ｄａと、最新の撮像画像に関する変動量Ｄ_t（ステップＳ４０３で算出された変動量Ｄ_t）とを比較する（ステップＳ４０５）。

このステップＳ４０５では、例えば、基準変動量Ｄａと、最新の撮像画像に関する変動量Ｄ_tとの単純な大小の比較が行われる。このとき、最新の撮像画像に関する変動量Ｄ_tが基準変動量を下回っていない場合には、最新の撮像画像に係る監視は終了となり、変動計算部２５は、最新の撮像画像を１つ前の撮像画像として前回画像記憶部３０に保存し（ステップＳ４１０）、再びステップＳ４０１に戻って、新たな最新の撮像画像に係る監視動作を開始する。

一方、最新の撮像画像に関する変動量Ｄ_tが基準変動量を下回った場合（変動量Ｄ_t＜基準変動量Ｄａ）には、異常判断部２７は、所定のタイマをスタートさせるとともに、変動計算部２５が、最新の撮像画像を１つ前の撮像画像として前回画像記憶部３０に保存し（ステップＳ４１０）、再びステップＳ４０１に戻って、新たな最新の撮像画像に係る監視動作を開始する。なお、このタイマは、最新の撮像画像に関する変動量Ｄ_tが基準変動量を下回った状態が、所定時間（例えば、５秒）以上続くかどうかを計測するために用いられるものである。

そして、新たな撮像画像に関して、ステップＳ４０１〜Ｓ４０５の処理によって、再び変動量Ｄ_tの計算及び基準変動量Ｄａとの比較が行われ、最新の撮像画像に関する変動量Ｄ_tが基準変動量を下回った状態が所定の時間以上継続した場合（ステップＳ４０６で『はい』）には、ネットワークカメラ１１から取得された撮像画像に、平常では考えられない変動の少なさが見られ、監視対象やネットワークカメラ１１に何らかの異常が発生していると判断される（ステップＳ４０７）。なお、所定時間以上経過する前に、最新の撮像画像に関する変動量Ｄ_tが基準変動量以上の状態となった場合には、タイマはリセットされる。

このように、変動量Ｄ_tが基準変動量Ｄａを下回った場合に、何らかの異常が発生していると判断することができるという考え方は、以下の考え方に基づいている。一般に、監視画像には、移動する被写体の動きや、その他の様々な条件（照明の変化など）などによる変動要因が存在している。すなわち、正常な状態では、監視画像の変動量は、常に、所定の閾値以上の値を取ることが一般的である。したがって、撮像画像に関する変動量が、所定の閾値を下回る状態が、所定時間以上続いた場合には、例えば、撮像装置のレンズが覆われたり、監視対象の被写体が写っている写真などが置かれたりするなど、何らかの異常が発生していると判断することが可能である。

また、異常判断部２７において、異常な状態であると判断された場合には、異常検出信号が通知部２８に供給され、通知部２８において、異常の通知が行われる（ステップＳ４０９）とともに、ステップＳ４１０を経てステップＳ４０１に戻り、継続して監視動作が行われる。

また、図９は、本発明の第２の実施の形態における監視端末（画像認証装置）によって算出される変動量の一例を示すグラフである。このグラフの縦軸は、時系列的に連続する２つの撮像画像に関する変動量、横軸は、時刻の変化を示している。このグラフに示されているように、現在の撮像画像に関する変動量は、時刻の変化と共に変動し、所定の基準変動量を下回る状態が、例えば５秒以上続いた場合に、異常な状態が検出される。なお、このグラフでは、基準変動量が一定の値を示す点線で図示されているが、上述のように、各時刻や各時間帯において、異なる基準変動量が設定されてもよい。

以上、説明したように、本発明の第２の実施の形態によれば、あらかじめ正常な状態の撮像画像に関して、時系列的に連続する２つの撮像画像間の変動量を算出して、この算出結果から正常な状態における基準変動量を設定し、撮像画像の監視の際には、監視時に取得された撮像画像に関して、時系列的に連続する２つの撮像画像間の変動量を算出して、基準変動量との比較を行うことによって、基準変動量を下回る変動量が検出された状態が所定時間以上続く場合に、異常な状態が発生していると判断することが可能となる。

これにより、人間が監視画像を常に閲覧していなくても、監視端末１３が、撮像装置の撮像方向に、監視対象の被写体が写っている写真などを置かれたり、撮像装置の撮像位置を変えて監視対象によく似た別の被写体を撮像したりするような被写体の偽装を検出して、警告を行うことが可能となり、プライバシー保護及びセキュリティ確保の両立を図りながら、監視動作の自動化を実現することが可能となる。

なお、上述の第１及び第２の実施の形態における監視端末１３の構成要素を、ハードウェア及びソフトウェアの組み合わせによって実現することが可能である。また、監視端末１３は、通常のパーソナルコンピュータなどによって実現可能であり、特に、例えば、変動計算部２５や時計部２５ａ、異常判断部２７などを、ＣＰＵ（Central Proccessing Unit：中央演算処理装置）によって実行可能なプログラムにより実現することが可能である。

本発明に係る画像認証方法及び画像認証装置は、プライバシー保護及びセキュリティ確保を両立させながら、撮像装置やその監視対象に発生する異常を確実に検出することができるという効果を有しており、画像認証技術に適用可能であり、特に、撮像装置によって監視対象を撮像した撮像画像（監視画像）を参照して、異常な状態の検出を行う監視システムに適用可能である。

本発明の第１の実施の形態における画像認証方法及び画像認証装置が適用される監視システムの一例を示す図である。 本発明の第１の実施の形態に係る監視端末（画像認証装置）の内部構成の一例を示すブロック図である。 本発明の第１の実施の形態における監視端末（画像認証装置）の基準変動量の算出動作の一例を示すフローチャートである。 本発明の第１の実施の形態における監視端末（画像認証装置）の監視動作の一例を示すフローチャートである。 本発明の第１の実施の形態における監視端末（画像認証装置）によって算出される変動量の一例を示すグラフである。 本発明の第２の実施の形態に係る監視端末（画像認証装置）の内部構成の一例を示すブロック図である。 本発明の第２の実施の形態における監視端末（画像認証装置）の基準変動量の算出動作の一例を示すフローチャートである。 本発明の第２の実施の形態における監視端末（画像認証装置）の監視動作の一例を示すフローチャートである。 本発明の第２の実施の形態における監視端末（画像認証装置）によって算出される変動量の一例を示すグラフである。 従来の技術に係る画像認証動作の一例を示す模式図である。

符号の説明

１１ ネットワークカメラ（撮像装置）
１２ ネットワーク
１３ 監視端末（画像認証装置）
２１ ＮＩＣ
２２ 画像伸長部
２３ 画像表示部
２４ 画像保存部
２５ 変動計算部
２５ａ 時計部
２６ 基準変動保持部
２７ 異常判断部
２８ 通知部
２９ 基準画像記憶部
３０ 前回画像記憶部

Claims (4)

1. 所定の場所に固定設置されて監視対象の撮像を行う撮像装置による撮像画像に基づいて、前記撮像装置及び前記監視対象の少なくとも一方に発生する異常を検出するための監視システムにおける画像認証方法であって、
   前記監視対象が正常な状態のときに撮像された前記撮像画像を、基準画像として記憶する基準画像記憶ステップと、
   前記監視対象が正常な状態のときに撮像された前記撮像画像の画像特徴量と、前記基準画像の画像特徴量との差分値に基づいて、基準変動量を生成する基準変動生成ステップと、
   前記基準変動生成ステップで生成された前記基準変動量を保持する基準変動保持ステップと、
   前記撮像装置による前記監視対象の監視を行うために、前記撮像装置から前記監視対象の前記撮像画像を取得する画像取得ステップと、
   前記監視対象の監視の際に前記画像取得ステップで取得された前記撮像画像の画像特徴量と、前記基準画像記憶ステップで記憶された前記基準画像の画像特徴量との差分値を計算する変動計算ステップと、
   前記変動計算ステップで計算された前記差分値と、前記基準変動保持ステップで保持されている前記基準変動量との比較を行い、前記変動計算ステップで計算された前記差分値が前記基準変動量を上回った場合に、前記撮像装置及び前記監視対象の少なくとも一方に異常が発生したと判断する異常判断ステップと、
   前記異常判断ステップで異常が発生したと判断された場合、異常発生の報知を行う通知ステップとを、
   有する画像認証方法。
2. 所定の場所に固定設置されて監視対象の撮像を行う撮像装置による撮像画像に基づいて、前記撮像装置及び前記監視対象の少なくとも一方に発生する異常を検出するための監視システムにおける画像認証方法であって、
   前記監視対象が正常な状態のときに撮像された、時間的に連続する少なくとも２枚の前記撮像画像を取得する基準画像取得ステップと、
   前記基準画像取得ステップで取得された前記２枚の撮像画像のそれぞれの画像特徴量の差分値に基づいて、基準変動量を生成する基準変動生成ステップと、
   前記基準変動生成ステップで生成された前記基準変動量を保持する基準変動保持ステップと、
   前記撮像装置による前記監視対象の監視を行うために、前記撮像装置から前記監視対象の前記撮像画像を取得する画像取得ステップと、
   前記監視対象の監視の際に前記画像取得ステップで取得された、時間的に連続する２枚の前記撮像画像のそれぞれの画像特徴量の差分値を計算する変動計算ステップと、
   前記変動計算ステップで計算された前記差分値と、前記基準変動保持ステップで保持された前記基準変動量との比較を行い、前記変動計算ステップで計算された前記差分値が前記基準変動量を下回った状態が所定時間以上継続した場合に、前記撮像装置及び前記監視対象の少なくとも一方に異常が発生したと判断する異常判断ステップと、
   前記異常判断ステップで異常が発生したと判断された場合、異常発生の報知を行う通知ステップとを、
   有する画像認証方法。
3. 所定の場所に固定設置されて監視対象の撮像を行う撮像装置による撮像画像に基づいて、前記撮像装置及び前記監視対象の少なくとも一方に発生する異常を検出するための監視システムにおける画像認証装置であって、
   前記監視対象が正常な状態のときに撮像された前記撮像画像を、基準画像として記憶する基準画像記憶手段と、
   前記監視対象が正常な状態のときに撮像された前記撮像画像の画像特徴量と、前記基準画像の画像特徴量との差分値に基づいて生成される基準変動量を保持する基準変動保持手段と、
   前記撮像装置による前記監視対象の監視を行うために、前記撮像装置から前記監視対象の前記撮像画像を取得する画像取得手段と、
   前記監視対象の監視の際に前記画像取得手段によって取得された前記撮像画像の画像特徴量と、前記基準画像記憶手段に記憶されている前記基準画像の画像特徴量との差分値を計算する変動計算手段と、
   前記変動計算手段によって計算された前記差分値と、前記基準変動保持手段によって保持されている前記基準変動量との比較を行い、前記変動計算手段によって計算された前記差分値が前記基準変動量を上回った場合に、前記撮像装置及び前記監視対象の少なくとも一方に異常が発生したと判断する異常判断手段と、
   前記異常判断手段によって異常が発生したと判断された場合、異常発生の報知を行う通知手段とを、
   有する画像認証装置。
4. 所定の場所に固定設置されて監視対象の撮像を行う撮像装置による撮像画像に基づいて、前記撮像装置及び前記監視対象の少なくとも一方に発生する異常を検出するための監視システムにおける画像認証装置であって、
   前記監視対象が正常な状態のときに撮像された、時間的に連続する少なくとも２枚の前記撮像画像を取得し、前記２枚の撮像画像のそれぞれの画像特徴量の差分値に基づいて生成される基準変動量を保持する基準変動保持手段と、
   前記撮像装置による前記監視対象の監視を行うために、前記撮像装置から前記監視対象の前記撮像画像を取得する画像取得手段と、
   前記監視対象の監視の際に前記画像取得手段によって取得された、時間的に連続する２枚の前記撮像画像のそれぞれの画像特徴量の差分値を計算する変動計算手段と、
   前記変動計算手段によって計算された前記差分値と、前記基準変動保持手段によって保持されている前記基準変動量との比較を行い、前記変動計算手段によって計算された前記差分値が前記基準変動量を下回った状態が所定時間以上継続した場合に、前記撮像装置及び前記監視対象の少なくとも一方に異常が発生したと判断する異常判断手段と、
   前記異常判断手段によって異常が発生したと判断された場合、異常発生の報知を行う通知手段とを、
   有する画像認証装置。
   

Images