JP2010231402A - 監視装置の画像表示方法及び画像表示システム - Google Patents

Abstract

【課題】監視カメラに映った人物と蓄積した人物との顔認証を行うことで、監視員に人物の確認作業を容易に行わせることができる監視装置の画像表示方法及び画像表示システムを提供する。
【解決手段】監視カメラに写った画像のうちの人物の画像とデータベースに蓄積した人物の画像との照合を行う監視装置における画像の表示方法であって、監視カメラの画像を画像処理装置に取り込む取込工程と、取込工程で監視カメラから取り込んだ画像のうちの人物の画像に基づいてデータベースを参照し、データベースに蓄積された人物から監視カメラから取り込んだ画像に写った人物に類似した人物を抽出する照合工程と、照合工程の照合の結果によりデータベースから抽出された人物の複数の異なる画像を読み出す画像読出工程と、画像読出工程で読み出された複数の画像と監視カメラにより撮像された人物の画像とを表示装置に表示させる表示工程とを含む。
【選択図】図１

Description

本発明は、監視カメラに映った人物を画像処理装置に取り込み、画像処理装置により表示装置に表示させるとともに、データベースに蓄積した人物との顔認証を行う監視装置の画像表示方法及び画像表示システムに関する。

近年、入退室管理システムなどの認証システムとして顔認証システムが注目されている。顔認証システムは、カメラにより人物の顔を撮影して、予め登録された顔画像と比較して、本人確認を行うシステムである。

この顔認証システムを利用して、撮影された画像から不審者や犯罪者を検知することが試みられている。例えば、大型店舗や多くの人が訪れる施設において、監視カメラにより通行人を撮影した画像などから人物の顔画像を抽出し、抽出された顔画像を不審者や犯罪者の顔画像が予め登録されたデータベースの顔画像と比較して、不審者や犯罪者を検知しようというものである。

しかしながら、大型店舗や多くの人が訪れる施設において通行人を撮影した画像などから抽出される顔画像は、必ずしも正面の顔画像ではない。むしろ、上下左右にずれた方向から撮影された顔画像が多くなる。また、十分な大きさの顔画像が得られるとは限らない。以上のとおり、顔認証を行うのに良好な顔画像が常に得られるとは限らない。

このため、単純に従来からの顔認証システムにより不審者や犯罪者を検知しようとしても、検知漏れや誤検知のおそれが高くなってしまう。また、顔認証システムにおける検知方法の改良により、検知漏れや誤検知のおそれを低減させることが期待できるものの、精度の高い検知を行うことは容易ではなかった。

そこで、顔認証システムを単独で使用するのではなく、監視カメラで撮影された人物の顔画像と、顔認証システムにより該当する不審者や犯罪者として判断された候補者の顔画像とを表示させ、監視員による撮影された人物と候補者が同一人物であるかを確認する手法が提案されている。

なお、顔画像を用いて、人物を認証するための人物認証装置としては、ＩＣカードなど認証用記録媒体に人物画像データを圧縮して記録し、認証時に記録媒体から人物画像データを読み出してモニタに表示させ、視認比較により人物認証を行うものが存在する（例えば、特許文献１参照）。

特開昭６２−２２２３６４号公報

しかし、従来のこの種の警備システムでは、顔認証によりデータベースから抽出される候補者の顔画像は、通常、正面画像であり、監視カメラにより撮影される人物の顔画像が正面画像でない場合には、監視員の人物の確認作業によっても人物の確認は困難となる。

本発明は、上記の点に鑑みてなされたもので、監視員に人物の確認作業を容易、迅速、かつ、確実に行わせることができる監視装置の画像表示方法及び画像表示システムを提供することを目的とする。

本発明は、監視カメラに映った画像を画像処理装置に取り込み、画像処理装置により表示装置に表示させるとともに、監視カメラに写った画像のうちの人物の画像とデータベースに蓄積した人物の画像との照合を行い、監視カメラに写った人物の照合を行う監視装置の画像表示方法であって、監視カメラの画像を画像処理装置に取り込む取込工程と、画像処理装置により、取込工程で監視カメラから取り込んだ画像のうちの人物の画像に基づいてデータベースを参照し、データベースに蓄積された人物から監視カメラから取り込んだ画像に写った人物に類似した人物を抽出する照合手順と、画像処理装置により、照合手順の照合の結果、データベースから抽出された人物の複数の異なる画像を読み出す画像読出手順と、画像処理装置により、画像読出手順で読み出された複数の画像と監視カメラにより撮像された人物の画像とを表示装置に表示させる表示手順とを含むものである。

本発明の表示手順は、表示装置に表示する複数の画像に隣接して監視カメラの画像を表示する。

また、本発明において、人物の画像は、顔の画像であり、データベースは、人物の異なる複数の向きの顔の画像を蓄積している。

また、本発明の監視システムは、画像を撮影する監視カメラと、画像を表示する表示装置と、少なくとも、各人物の異なる複数の画像を蓄積したデータベースと、監視カメラで撮影した画像を取り込み、監視カメラから取り込んだ画像のうちの人物の画像に基づいてデータベースを参照し、データベースに蓄積された人物から監視カメラから取り込んだ画像に写った人物に類似した人物を抽出し、照合手順の照合の結果、データベースから抽出された人物の複数の異なる画像を読み出し、データベースから読み出された複数の画像を表示装置に表示させる画像処理装置とを含む。

本発明の画像処理装置は、表示装置に表示する複数の画像に隣接して監視カメラの画像を表示する。

本発明の監視システムにおいて、人物の画像は、顔の画像であり、データベースは、人物の異なる複数の向きの顔の画像を蓄積している。

本発明によれば、データベースから監視カメラにより撮像された人物と類似する候補者の複数の異なる画像を読み出し、読み出された複数の画像と監視カメラにより撮像された人物の画像とを表示装置に表示させることにより、監視員が監視カメラにより撮像された人物画像に類似したアングルからの画像に対応する画像をデータベースから読み出されて表示された画像と認識して、確認を行うことができるため、監視員による監視カメラにより撮像された人物の確認作業を容易、迅速、かつ、確実に行うことができる。

本発明の一実施例のシステム構成図である。 画像処理装置１２０のブロック構成図である。 データベース１３０のデータ構成図である。 画像処理装置１２０の処理フローチャートである。 表示装置１４０に表示される画面の一例を示す図である。

図１は本発明の一実施例のシステム構成図を示す。

本実施例の監視装置１００は、監視カメラ１１０、画像処理装置１２０、データベース１３０、表示装置１４０、入力装置１５０を含む構成とされている。

監視カメラ１１０は、例えば、ＣＣＤカメラなどから構成されており、一又は複数の監視場所に設置される。監視カメラ１１０は、監視場所の周囲を撮影して、撮影した画像の画像データを作成する。監視カメラ１１０で撮影された画像データは、画像処理装置１２０に送信される。

図２は画像処理装置１２０のブロック構成図を示す。

画像処理装置１２０は、例えば、コンピュータシステムなどから構成されており、通信部１２１、処理部１２２、記憶部１２３、インタフェース１２４を含む構成とされている。

通信部１２１は、例えば、ＬＡＮ（Local Area Network）などの通信回線を通して、監視カメラ１１０及びデータベース１３０との通信を行う。

処理部１２２は、記憶部１２３などに予めインストールされた候補者抽出処理プログラムに基づいて監視カメラ１１０から取得した人物の顔画像を用いて監視カメラ１１０に撮像された人物に類似した候補者を抽出する処理を行う。

記憶部１２３は、ＲＡＭ、ＲＯＭ、ハードディスクドライブ、可換式ディスクドライブなどを含む構成とされており、顔認証用画像処理プログラム、監視カメラ１１０からの画像などを記憶する。また、処理部１２２の作業用記憶領域としても用いられる。

インタフェース１２４は、例えば、ＵＳＢインタフェースなどを含み、表示装置１４０に画像データを供給し、表示装置１４０に顔画像などを表示させる。

データベース１３０には、ハードディスクドライブなどの記憶装置を含み構成とされており、少なくとも監視対象となる人物の顔画像が蓄積されている。蓄積される顔画像は、同一人物に対して複数方向から撮像した複数の顔画像を含む。

図３は、データベース１３０のデータ構成図を示す。

データベース１３０は、例えば、画像データ部１３１及び経歴部１３２などを含む構成とされている。

画像データ部１３１を図３（Ａ）に示す。画像データ部１３１は、ＩＤ毎に左上向き、正面上向き、右上向き、左向き、正面、右向き、左下向き、正面下向き、右下向きからの顔画像データ、及び、顔画像データの更新日時、画像サイズなどの情報を含む構成とされている。なお、画像データ部１３１には、一つのＩＤ、すなわち、同一人物について複数の画像サイズＳ１、Ｓ２、Ｓ３の画像が登録されている。

経歴データ部１３２には、ＩＤ毎に氏名、経歴、備考などの人物に関する情報が登録されている。

表示装置１４０は、例えば、ＬＣＤ（Liquid Crystal Display）、ＣＲＴ（Cathode Ray Tube）などから構成されており、画像処理装置１２０からの指示により顔確認用の画面を表示する。

入力装置１５０は、マウス、キーボードなどを含み、監視者により操作されて、画像処理装置１２０に命令を与える。

次に、画像処理装置１２０の処理動作について説明する。

図４は、画像処理装置１２０の処理フローチャートを示す。

画像処理装置１２０は、ステップＳ１−１で監視カメラ１１０から画像を取得する。画像処理装置１２０は、ステップＳ１−２で監視カメラ１１０から取得した画像に撮像されている人物に類似した候補者を抽出する候補者抽出処理を行う。

候補者抽出処理では、まず、監視カメラ１１０から取得した画像から顔画像を検知する。顔画像の検知は、画像から人物の顔にある様々な特徴点を認識し、顔画像を検知する。なお、顔画像検知により、撮像方向なども検知することができる。検知した顔画像の画像サイズ、撮像方向などを考慮して、データベース１３０の画像データ部１３１に記憶された顔画像と比較し、類似する候補者を抽出する。なお、ここで、候補者抽出処理で行われる顔画像検知処理は、一般に広く認識されている一般的な技術であるので、その詳細な説明は省略する。

画像処理装置１２０は、ステップＳ１−３で候補者が抽出されると、ステップＳ１−４で警報を出力する。画像処理装置１２０は、ステップＳ１−５で監視者の入力装置１５０の操作により、候補者画像を表示する旨の指示あると、ステップＳ１−６でデータベース１３０より、一人の候補者の異なる方向から撮影された複数の顔画像データを読み出す。

次に、画像処理装置１２０は、ステップＳ１−７でデータベース１３０から読み出された複数の顔画像データを表示装置１４０に表示させる。

画像処理装置１２０は、ステップＳ１−８で、監視者による入力部１５０の操作により顔画像のサイズの変更の指示があると、ステップＳ１−６に戻って異なる顔画像サイズの異なる方向から撮影された複数の顔画像データを読み出し、ステップＳ１−７でデータベース１３０から読み出された複数の顔画像データを表示装置１４０に表示させる。

さらに、画像処理装置１２０は、ステップＳ１−８でサイズ変更の指示がない場合に、ステップＳ１−９で、監視者による入力部１５０の操作により他の候補者の表示の指示があると、ステップＳ１−６で他の候補者の異なる方向から撮影された複数の顔画像データを読み出し、ステップＳ１−７でデータベース１３０から読み出された複数の顔画像データを表示装置１４０に表示させる。

また、画像処理装置１２０は、更に、ステップＳ１−９で、他の候補者の画像表示の指示がない場合に、ステップＳ１−１０で監視者による入力部１５０の操作により候補者の顔画像の表示の終了の指示があると、処理を終了する。

次に、ステップＳ１−６で表示装置１４０に表示される画面について説明する。

図５は表示装置１４０に表示される画面の一例を示す図である。

表示装置１４０に表示される画面１４１は、監視カメラ画像表示部１４２と候補者顔画像表示部１４３とを含む構成とされている。

監視カメラ画像表示部１４２には、監視カメラ１１０からの画像から抽出された人物の顔画像が表示される。監視カメラ画像表示部１４２に表示される画像は、静止画像であっても、動画像であってもよい。候補者顔画像表示部１４３は、例えば、９つの顔画像表示領域１４３−１〜１４３−９から構成されており、監視カメラ画像表示部１４２に隣接して表示される。

顔画像表示領域１４３−１には、データベース１３０から抽出された候補者の左上向きの顔画像が表示される。顔画像表示領域１４３−２には、データベース１３０から抽出された候補者の正面上向きの顔画像が表示される。顔画像表示領域１４３−３には、データベース１３０から抽出された候補者の右上向きの顔画像が表示される。

顔画像表示領域１４３−４には、データベース１３０から抽出された候補者の左向きの顔画像が表示される。顔画像表示領域１４３−５には、データベース１３０から抽出された候補者の正面の顔画像が表示される。顔画像表示領域１４３−６には、データベース１３０から抽出された候補者の右向きの顔画像が表示される。

顔画像表示領域１４３−７には、データベース１３０から抽出された候補者の左下向きの顔画像が表示される。顔画像表示領域１４３−８には、データベース１３０から抽出された候補者の正面下向きの顔画像が表示される。顔画像表示領域１４３−９には、データベース１３０から抽出された候補者の右下向きの顔画像が表示される。

このように、監視カメラ１１０で撮像されている顔画像に隣接して、監視カメラ１１０で撮像されている顔画像に類似する候補者の異なる方向から撮影された複数の顔画像を表示することにより、監視者が監視カメラ１１０で撮像されている顔画像の向きに対応する候補者の顔画像を容易に認識できる。これによって、監視カメラ１１０で撮像されている顔画像の人物がデータベース１３０に登録されている人物であるのか否かを容易、かつ、確実に判断することができる。

また、例えば、候補者顔画像表示部１４３に表示された複数の顔画像のうち、監視カメラ１１０により撮影された画像の人物が向いている方向に対応する顔画像をクリックすると、クリックされた顔画像が拡大表示されるようにしてもよい。これにより、監視カメラ画像表示部１４２に表示されている顔画像と同程度のサイズで顔画像を表示でき、監視員が的確な判断を行うことが可能となる。

なお、データベース１３０には、複数の方向から撮影された指名手配写真、あるいは犯行時に撮影された画像に基づいて生成された同一人物の異なる向きの複数の顔画像が、指名手配情報などとともに照合用顔画像データとして登録されている。

このとき、データベース１３０への顔画像の登録は、画像処理装置１２０を用いて監視カメラ１１０により撮影された画像を用いて登録するようにしてもよい。例えば、画像処理装置１２０により犯行現場に設置された監視カメラ１１０により撮影された映像から顔画像を検知し、顔画像を抽出する。次に、抽出した顔画像を、例えば、左上向き、正面上向き、右上向き、左向き、正面、右向き、左下向き、正面下向き、右下向きの９方向に分類するとともに、画像サイズを判定する。

抽出した顔画像を方向及び画像サイズにより分類し、更新日時とともに画像データ部１３１に登録する。また、画像データ部１３１と関連付けて、人物の経歴などの人物に関する情報を経歴データ部１３２に登録する。

なお、画像処理装置１２０は、監視カメラ１１０で撮像された画像により、データベース１３０の顔画像を更新するようにしてもよい。顔画像の更新は、例えば、所定の更新条件を満たした場合に行うようにする。また、未登録者の場合でも、未登録者として自動的に登録し、様々な顔の向きや大きさの顔画像からなるデータベースを構築するようにしてもよい。これによって、未登録者の追跡や、出現時間、訪問回数の分析などを行なうことができる。

施設内に設置されたカメラで撮影された画像をもとに、画像中の人物の顔認証を行い、指名手配写真や指名手配情報に合致する人物が検出された場合に、撮影された画像と、該当する人物の異なる向きの顔画像とを、監視員が確認する画面上に表示する。

公共の施設を歩行する歩行者を監視カメラ１１０により撮像し、顔認証を行う場合、出入管理などに利用される顔認証の場合とは異なり、照合用画像、監視カメラ１１０により撮影される画像とも、良好な状態の画像を利用できるとは限らない。よって、顔認証を高い精度で行うことができない。

よって、このような場合には、検出漏れを防ぐために顔認証の判断基準を甘く設定し、顔認証により抽出された候補者の顔画像を監視員が確認する作業を行う。このとき、本実施例によれば、監視員が監視カメラ１１０により撮像された画像とほぼ同じ方向を向いた候補者の顔画像を容易に認識でき、確認作業を行うことができる。よって、監視員の確認作業を迅速、かつ、確実に行うことができる。

また、本実施例では、左上向き、正面上向き、右上向き、左向き、正面、右向き、左下向き、正面下向き、右下向きの９方向の顔画像をデータベース１３０に登録し、表示装置１４０に表示するようにしたが、正面上向き、右向き、正面、左向き、正面下向きの５方向の顔画像、右向き、正面、左向きの３方向の顔画像など、少ない顔画像で対応してもよい。これにより、データベース１３０の顔画像データの記憶容量を低減できる。また、表示装置１４０に表示する顔画像のサイズを大きくすることができる。

なお、データベース１３０から抽出された異なる方向の複数の顔画像の表示も図５の形式に限定されるものではなく、例えば、監視者の入力装置１５０の操作により、異なる方向の複数の顔画像のうち所定の顔画像を選択すると、選択された顔画像が他の方向の顔画像より大きく表示するようにしてもよい。

また、例えば、監視者の入力装置１５０の操作により、異なる方向の複数の顔画像のうち所定の顔画像を選択すると、選択された顔画像を候補者表示部１４３の中央、すなわち、図５の顔画像表示領域１４３−５に選択された顔画像を表示するようにしてもよい。

さらに、例えば、監視者の入力装置１５０の操作により、異なる方向の複数の顔画像のうち所定の顔画像を選択すると、選択された顔画像が候補者表示部１４３の中央、すなわち、図５の顔画像表示領域１４３−５に、他の方向の顔画像より大きいサイズで表示するようにしてもよい。

また、例えば、監視者の入力装置１５０の操作により、異なる方向の複数の顔画像のうち所定の顔画像を選択すると、選択された顔画像が候補者表示部１４３に全面表示されるようにしてもよい。

さらに、本実施例では、顔画像を表示する例について説明したが、体型の画像をデータベース化しておき、監視カメラ１１０に撮像された人物の体型画像を抽出し、表示するとともに、データベースから類似した体型の候補者の異なる方向からの複数の体型画像を抽出し、撮像された人物の体型画像に隣接して表示するようにしてもよい。

本発明は上記実施例に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変形例が考えられることは言うまでもない。

１００ 監視装置
１１０ 監視カメラ
１２０ 画像処理装置
１２１ 通信部、１２２ 処理部、１２３ 記憶部、１２４ インタフェース
１３０ データベース
１３１ 画像データ部、１３２ 経歴データ部
１４０ 表示装置
１４１ 画面、１４２ 監視カメラ画像表示部、１４３ 候補者顔画像表示部
１４３−１〜１４３−９ 顔画像表示領域

Claims (6)

1. 監視カメラに映った画像を画像処理装置に取り込み、該画像処理装置により表示装置に表示させるとともに、前記監視カメラに写った画像のうちの人物の画像とデータベースに蓄積した人物の画像との照合を行い、前記監視カメラに写った人物の照合を行う監視装置の画像表示方法であって、
   前記監視カメラの画像を前記画像処理装置に取り込む取込工程と、
   前記画像処理装置により、前記取込工程で前記監視カメラから取り込んだ画像のうちの人物の画像に基づいて前記データベースを参照し、前記データベースに蓄積された人物から前記監視カメラから取り込んだ画像に写った人物に類似した人物を抽出する照合手順と、
   前記画像処理装置により、前記照合手順の照合の結果前記データベースから抽出された人物の複数の異なる画像を読み出す画像読出手順と、
   前記画像処理装置により、前記画像読出手順で読み出された複数の画像と前記監視カメラにより撮像された人物の画像とを前記表示装置に表示させる表示手順とを含む監視装置の画像表示方法。
2. 前記表示手順は、前記表示装置に表示する前記複数の画像に隣接して前記監視カメラの画像を表示する請求項１記載の監視装置の画像表示方法。
3. 前記人物の画像は、顔の画像であり、
   前記データベースは、前記人物の異なる複数の向きの顔の画像を蓄積している請求項１又は２記載の監視装置の画像表示方法。
4. 画像を撮影する監視カメラと、
   画像を表示する表示装置と、
   少なくとも、各人物の異なる複数の画像を蓄積したデータベースと、
   前記監視カメラで撮影した画像を取り込み、前記監視カメラから取り込んだ画像のうちの人物の画像に基づいて前記データベースを参照し、前記データベースに蓄積された人物から前記監視カメラから取り込んだ画像に写った人物に類似した人物を抽出し、前記照合手順の照合の結果、前記データベースから抽出された人物の複数の異なる画像を読み出し、前記データベースから読み出された複数の画像を前記表示装置に表示させる画像処理装置とを含む監視システム。
5. 前記画像処理装置は、前記表示装置に表示する前記複数の画像に隣接して前記監視カメラの画像を表示する請求項４記載の監視システム。
6. 前記人物の画像は、顔の画像であり、
   前記データベースは、前記人物の異なる複数の向きの顔の画像を蓄積している請求項４又は５記載の監視システム。

Images