JP2003046911A

JP2003046911A - 監視記録装置及びその方法

Info

Publication number: JP2003046911A
Application number: JP2002146159A
Authority: JP
Inventors: Yuji Takada; 雄二高田; Shogo Hamazaki; 省吾濱崎; Hideaki Matsuo; 英明松尾; Kazuyuki Imagawa; 和幸今川; Masabumi Yoshizawa; 正文吉澤
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2001-05-22
Filing date: 2002-05-21
Publication date: 2003-02-14

Abstract

(57)【要約】【課題】撮影後に、オペレータが、目的の人物を容易
に検索できる監視記録装置を提供する。【解決手段】カメラが撮影した画像から人物の顔画
像、全身画像を抽出し、全身画像から身長を求め、顔画
像（ベストショット）などの検索情報を、記録媒体の画
像と関連付けて、データベースに記録し、後で、記録媒
体を検索するときの、インデックスとして活用する。顔
画像をサムネイルで一覧表示し、サムネイル画面で、目
的の人物を、簡単に検索できるようにする。目的の人物
の動画などと併せて表示する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、カメラで人物の出
入りを監視する監視記録装置及びその方法に関するもの
である。

【０００２】

【従来の技術】例えば銀行など、保護すべき対象がある
設備では、監視カメラを設置し、出入りする人物の監視
が行われている。従来の監視記録装置であって、画像を
長時間記録できるものとして、タイム・ラプス・ビデオ
がある。タイム・ラプス・ビデオは、カメラからの画像
を圧縮し、ＶＨＳビデオテープ等に長時間記録する装置
である。

【０００３】この装置では、記録するデータ量を減らす
ため、カメラから入力された画像を、一定フレーム間隔
で、間引いて記録しており、また、画質のレベルを下げ
ている。このため、同一の長さのビデオテープにであっ
ても、比較的、長時間の記録が可能である。

【０００４】また、ＭＰＥＧ等の画像圧縮技術を用い
て、画像を圧縮し長時間記録することも行われている。

【０００５】

【発明が解決しようとする課題】しかしながら、タイム
・ラプス・ビデオでは、画質のレベルを下げているた
め、記録された画像が見づらくなり、進入した特定人物
が判別できない場合がある。また、間引いて記録してい
るため、肝心の瞬間が、たまたま間引いた時間内にある
ときは、進入した人物が、全くテープに記録されていな
いこともある。

【０００６】以上の問題点に加え、従来の監視記録装置
では、カメラ画像を、単純にだら撮りしたものにすぎな
い。したがって、記録が済んだ後に、オペレータが、記
録された、長大な画像記録から、目的のシーンあるいは
目的の人物を捜し出すことは、きわめて大変な作業とな
る。

【０００７】例えば、膨大の数の入場者が、次々に進入
してきているとき、オペレータが、長大な画像記録か
ら、目的の人物を検索するためには、記録されている映
像を全て見ながら探さなければならず、煩雑きわまりな
い。

【０００８】そこで本発明は、撮影後に、オペレータ
が、目的の人物を容易に検索できる監視記録装置及びそ
の関連技術を提供することを目的とする。

【０００９】

【課題を解決するための手段】本発明の監視記録装置
は、対象空間を撮影するカメラと、カメラが撮影した画
像を記録媒体に録画し、この記録媒体から画像を再生す
る録画再生手段と、カメラが撮影した画像から人物の要
部画像を抽出する要部画像抽出手段と、要部画像を含む
検索情報を記録する検索情報記録手段とを備える。

【００１０】この構成により、オペレータは、撮影後
に、目的の人物を容易に検索できる。

【００１１】

【発明の実施の形態】請求項１記載の監視記録装置は、
対象空間を撮影するカメラと、カメラが撮影した画像を
記録媒体に録画し、この記録媒体から画像を再生する録
画再生手段と、カメラが撮影した画像から人物の要部画
像を抽出する要部画像抽出手段と、要部画像を含む検索
情報を記録する検索情報記録手段とを備える。

【００１２】この構成により、オペレータは、検索情報
を活用して、目的の画像を容易に見つけだすことができ
る。

【００１３】請求項２記載の監視記録装置では、要部画
像には、人物の顔画像が含まれている。

【００１４】この構成により、オペレータは、人物の顔
画像をたよりに、直感的、かつ容易に検索できる。

【００１５】請求項３記載の監視記録装置では、要部画
像には、人物の全身画像が含まれている。

【００１６】この構成により、オペレータは、人物の全
身画像をたよりに、身体的特徴あるいは衣服などから、
容易に検索できる。

【００１７】請求項４記載の監視記録装置では、要部画
像抽出手段が抽出した要部画像に基づいて、人物の特徴
を検出する人物特徴検出手段を備え、検索情報には、こ
の人物の特徴が含まれている。

【００１８】この構成により、オペレータは、人物の特
徴をたよりに、容易に検索できる。

【００１９】請求項５記載の監視記録装置では、人物の
特徴には、人物の身長が含まれている。

【００２０】この構成により、オペレータは、人物の身
長をたよりに、容易に検索できる。

【００２１】請求項６記載の監視記録装置では、人物の
顔画像から、ベストショットを選択するベストショット
選択手段を備え、検索情報には、ベストショットの顔画
像が含まれる。

【００２２】この構成により、見やすい顔画像で、容易
に、検索できる。

【００２３】請求項７記載の監視記録装置では、表示手
段と、表示手段における表示画像を生成する表示画像生
成手段とを備え、表示画像生成手段は、人物の顔画像を
サムネイルで一覧表示するサムネイル画面を生成する。

【００２４】この構成により、オペレータは、サムネイ
ル画面で、容易に、目的の人物を絞り込める。

【００２５】請求項８記載の監視記録装置では、表示画
像生成手段は、サムネイル画面において指示された特定
のサムネイルに係る詳細情報画面を生成し、この詳細情
報画面には、人物の要部画像と、人物の特徴と、人物を
撮影した時間とが、含まれている。

【００２６】この構成により、オペレータは、顔画像の
サムネイル画面で人物を絞り込み、その人物に関する詳
細な情報を一覧できるため、効率のよい検索が可能とな
る。

【００２７】請求項９記載の監視記録装置では、録画再
生手段は、要部画像抽出手段が人物の要部画像を抽出で
きた区間内のみ、画像を記録媒体に録画する。

【００２８】この構成により、人物が撮影されていな
い、単なる背景だけなど、無駄な画像は記録されず、記
録媒体を有意義に活用できる。

【００２９】請求項１０記載の監視記録装置は、対象空
間を、少なくともステレオ視で撮影するカメラと、カメ
ラが撮影した画像を記録媒体に録画し、この記録媒体か
ら画像を再生する録画再生手段と、対象空間への人物の
進入を検知する検出壁を設定する検出壁設定手段と、こ
の検出壁に人物が衝突したかどうかを検出する衝突検出
手段とを備え、検出壁は、カメラの位置関係に依存す
る、複数のボクセルから構成された仮想の壁であり、し
かも、この検出壁の厚さは、対象空間の奥行きに対し
て、十分小さく設定されている。

【００３０】この構成により、重要な部分のみを監視
し、計算量を削減して、高速化とシステム資源の節約
を、一度に達成できる。しかも、もともと監視記録装置
に備えられているカメラのみで、人物の進入を検出で
き、特別なセンサーを設けるなどの、追加的設備は必要
ではない。

【００３１】請求項１１記載の監視記録装置では、要部
画像抽出手段は、衝突検出手段が人物の衝突を検出して
から、人物の要部画像の抽出を行い、検索情報には、衝
突検出手段が人物の衝突を検出した時間が含まれてい
る。

【００３２】この構成により、人物が検出壁に衝突する
までの無駄な抽出処理を省略できるし、オペレータは、
人物の衝突を検出した時間を、キーにして、一層容易
に、画像を検索できる。

【００３３】請求項１２記載の監視記録装置では、録画
再生手段は、衝突検出手段が人物の衝突を検出してか
ら、カメラが撮影した画像の録画を開始する。

【００３４】この構成により、人物が検出壁に衝突する
までの、無駄な録画を無くし、記録媒体の容量を、有効
活用できるし、検索時に、記録媒体をシークする時間も
短縮できる。

【００３５】以下図面を参照しながら、本発明の実施の
形態を説明する。まず、図１は、本発明の一実施の形態
における監視記録装置のブロック図である。

【００３６】図１に示すように、この装置は、第１カメ
ラ１及び第２カメラ２の、２台のカメラを有する。ここ
で、本形態では、カメラによるステレオ視が可能で有れ
ば十分であり、３台以上のカメラを使用しても良いし、
ステレオカメラ１台だけで構成しても良い。これらのカ
メラ１，２としては、設置位置や各種パラメータが既知
のものを用いる。これらのカメラ１，２の位置関係など
については、後に詳述する。

【００３７】制御手段４は、図１に示す各要素を制御
し、第１カメラ１、第２カメラ２が撮影するカメラ画像
は、インターフェイス３を経由して、制御手段４に入力
される。

【００３８】タイマ５は、現在の日付及び時間の情報を
制御手段４に与える。入力手段６は、キーボードやマウ
スなどからなり、後述する検出壁情報や、記録の開始／
終了、検索情報など、オペレータがこの装置に情報を入
力するために使用される。

【００３９】表示手段７は、ＬＣＤやＣＲＴ等からな
り、オペレータに必要な画像を表示する。なお、表示手
段７の表示画像は、表示画像生成手段８が後述する要領
で作成する。

【００４０】録画再生手段９は、記録媒体９０に読み書
きを行い、動画像を保存・再生する。典型的には、記録
媒体９０は、ＤＶＤあるいはＤＶＣ等の、大容量のデジ
タル録再媒体であり、録画再生手段９は、この媒体をド
ライブするプレーヤである。記録媒体再生における、頭
出し、早送り等、の操作時間を考慮すると、このよう
な、大容量のデジタル録再媒体を用いるのが有利である
が、操作時間にこだわらないのであれば、ＶＨＳ等のア
ナログ媒体を用いても良い。記録のフォーマットは、任
意であるが、ＭＰＥＧのように、画像を圧縮するものの
方が、見た目の画質を落とさず、長時間録画できるた
め、望ましい。

【００４１】記憶手段１０は、制御手段４等の手段によ
って、読み書きされるメモリ、ハードディスクなどから
なり、検出壁情報、顔画像（群）、全身画像（群）、人
物特徴、開始／終了時間などの、情報を記憶する。

【００４２】検出壁設定手段１１は、後述する検出壁を
設定する。また、衝突検出手段１２は、人物が、その検
出壁に衝突したか否かを検出する。

【００４３】要部画像抽出手段１３は、カメラ１，２が
撮影した画像から、人物の特徴を示す、要部画像を抽出
する。本形態では、要部画像は、顔画像と全身画像であ
る。

【００４４】人物特徴検出手段１４は、人物の特徴を検
出する。本形態では、全身画像から、人物の身長を求
め、人物の特徴としている。また、身長から体重を推定
しても良い。さらに、この種の特徴としては、性別、年
齢層、体型、肌や髪の毛の色、瞳の色なども考えられ
る。

【００４５】ベストショット選択手段１５は、要部画像
抽出手段１３が抽出する要部画像から、人物の特徴を最
もよく示すベストショットを選択する。本形態では、ベ
ストショット選択手段１５は、顔画像が何枚かあるとき
に、顔が正面を向いているものを選び、これをベストシ
ョットとしている。しかし、このベストショットとして
は、顔の特徴を捉えやすい画像であれば、任意に選択し
て差し支えない。

【００４６】そして、記憶手段１０が記憶する情報のう
ち、顔画像（ベストショット）、全身画像、人物特徴、
開始／終了時間など、後に、記憶手段１０の動画を検索
する際に、インデックスとして、活用できる情報が、動
画検索情報として、データベース１７に記録される。ま
た、データベースエンジン１６は、制御手段４の制御下
において、データベース１７を検索したり、データベー
ス１７に情報を登録したりする。

【００４７】ここで、本形態では、データベース１７
が、請求項における、「検索情報記録手段」に対応す
る。なお、記録媒体９０のフォーマットが許せば、特別
にデータベースやデータベースエンジンを設けずに、記
録媒体９０そのものに、動画検索情報を記録しても良
い。

【００４８】この場合、請求項における、「記録媒体」
と「検索情報記録手段」とが、一体的に構成されている
形態となるが、このようにしても、本発明に包含され
る。

【００４９】以上、請求項における、「記録媒体」と
「検索情報記録手段」とが、一体的に構成されている形
態と、別体に構成されている形態との、２つの形態を述
べた。いずれの形態をとるにせよ、典型的には、ＭＰＥ
Ｇ７によるなどして、メタデータ（バイナリでもよい
し、アスキーでもよい）で、検索情報や、カメラ１、２
が撮影した、動画像、静止画、あるいは、その他必要な
データ（以下、「引用データ」という）を引用するとよ
い。

【００５０】このとき、メタデータと引用データは、同
一の記録媒体上にあってもよいし、なくてもよい。例え
ば、引用データは、メタデータが存在する記録媒体か
ら、ネットワーク経由で、引用されるようにしてもよ
い。

【００５１】ここで、ＭＰＥＧ７によれば、メタデータ
において、記述子（descriptor）を用い、引用データ
を、カテゴリ分けし、検索情報を分類しながら、相互に
関連するものを、まとめて、スマートに、引用すること
ができる。このようにしても、本発明に包含される。

【００５２】次に、図２を参照しながら、本形態におけ
る、検出壁について説明する。いま、対象空間２０の１
つの壁面２１に、出入り口が設けられており、この出入
り口には、ドア２２、２３が開閉自在に取り付けられて
いる。そして、この本形態の監視記録装置は、この出入
り口を介して、対象空間２０内に入ってくる（矢印Ｎ方
向）人物の動向を監視するものとする。

【００５３】したがって、第１カメラ１、第２カメラ２
は、壁面２１側に向けて設置されており、その位置関係
やパラメータは、既知となっている。

【００５４】このとき、本形態では、ドア２２、２３の
やや前方に、検出壁２４を設ける。検出壁２４は、仮想
の薄い壁であり、この例では、壁面２１と平行に形成さ
れている。そして、検出壁２４の内部は、小さな、多数
のボクセル２５で満たされている。検出壁２４は、検出
する際の処理量を少なくするために、極力薄くする。例
えば、図示しているように、ボクセル１つ分だけとす
る。なお、検出壁２４の厚さを、ボクセル２個以上にし
てもよいが、少なくとも、対象空間２０の奥行き（矢印
Ｎ方向の長さ）に対して、十分小さく設定する。

【００５５】上述したように、本例では、２つの、相異
なる、視点を持つように、カメラ１，２がセットされて
おり、これらのカメラ１，２は、互いに異なる方向から
壁面２１側を撮影する。

【００５６】ここで、人物が、壁面２１の出入り口か
ら、対象空間２０内に入ると、各カメラ１，２の画像面
には、人物のシルエットが撮影される。そして、人物
が、対象空間２０内に進んで、検出壁２４に衝突する
と、この衝突は、次の要領で、検出することができる。
なお、検出壁２４は、仮想の壁であるから、人物は、検
出壁２４に衝突しても、何ら進行を妨げられることはな
く、衝突したこと自体に気づかずに、検出壁２４を通過
できる。

【００５７】ここで、検出壁２４を構成する、各ボクセ
ルが人物と重なり合うか否かという点は、次の原理で、
判定できる。

【００５８】人物と重なっていない、ボクセルは、カメ
ラ１，２のうちの、少なくとも１つのカメラ画像におい
て、人物像の外にある。また、人物と重なっているボク
セルは、全てのカメラ画像において、人物像の内にあ
る。

【００５９】つまり、あるボクセルが、全てのカメラ画
像において、人物像内にあれば、そのボクセルは、人物
と重なっていることになる。逆に、いずれかのカメラ画
像において、ボクセルが、人物像外にあれば、そのボク
セルは、人物に重なっていないことになる。

【００６０】したがって、衝突検出手段１２は、検出壁
２４を構成するボクセル２５のうち、カメラ１，２の画
像の両方で、人物像内にある、ボクセルが、１つ以上存
在すれば、人物が検出壁２４に衝突したと、判定する。

【００６１】逆に、衝突検出手段１２は、検出壁２４を
構成するボクセル２５のうち、カメラ１，２の画像の両
方で、人物内にある、ボクセルが、１つもないとき、人
物は検出壁２４に衝突していないと、判定する。

【００６２】このように、ボクセルから構成される、薄
い検出壁２４によって、人物が、対象空間２０に入って
きた事実を、とらえることができる。また、上述したよ
うに、検出壁２４を極力薄く構成することにより、衝突
検出手段１２が検討すべき、ボクセルの個数を少なくす
ることができ、その結果、演算量を削減して高速な処理
を実現でき、また、システム資源の負担を軽くすること
ができる。

【００６３】しかも、監視画像を撮影するカメラ（もと
もと装備されているもの）だけで、人物の進入を検出す
ることができ、例えば、人物の通過を検知する赤外線セ
ンサーのように、カメラとは別の要素を、追加的に設け
る必要はない。

【００６４】なお、図２では、平面状の検出壁２４を示
したが、検出壁２４は、ボクセル単位であれば、任意の
形状に構成することができるものであって、例えば、曲
面にしたり、折り曲げ部を形成したり、階段状にした
り、あるいは、２つ以上の面で囲むような形状にしたり
するなど、監視によって保護すべき対象の如何にあわせ
て、自由自在に変更できる。

【００６５】因みに、このように、自在な包囲網で、保
護すべき対象を取り囲むことは、上記の赤外線センサー
などでは、非常に困難である。

【００６６】次に、図３を参照しながら、要部画像抽出
手段１３について、詳しく説明する。上述したように、
本形態では、要部画像抽出手段１３は、カメラ１，２が
撮影した画像から、人物の特徴を示す、要部画像（顔画
像、全身画像）を抽出する。

【００６７】この撮影画像は、例えば、図３（ａ）に示
すようなものである。図３（ａ）では、背面にドア２
２，２３が写っており、その前であって、画像の左側の
位置に、女性の像が写っている。

【００６８】ここで、本形態では、要部画像抽出手段１
３は、図３（ａ）に示すように、横長で小さな楕円から
なる、第１テンプレートＴ１（顔検出用）と、縦長で大
きな楕円からなる、第２テンプレートＴ２（顔以外検出
用）との、２つのテンプレートを使用する。そして、要
部画像抽出手段１３は、撮影画像と、これらのテンプレ
ートＴ１，Ｔ２との、相関を計算する、常法のテンプレ
ートマッチングを行い、撮影画像において、最大の相関
となる箇所を求める。

【００６９】その結果、図３（ａ）に示すように、十分
なマッチング（適宜、閾値と比較すればよい）がとれた
ら、要部画像抽出手段１３は、テンプレートＴ１付近の
画像を、図３（ｂ）に示すように、切り出して、顔画像
とする。また、テンプレートＴ１及びテンプレートＴ２
付近の画像を、図３（ｃ）のように、切り出して、全身
画像とする。

【００７０】なお、要部画像としては、顔画像のみで
も、実用上十分である。また、撮影画像から、顔などを
抽出する手法は、上述のものに限られない。このほか
に、例えば、顔部品を検出によるものや、肌色領域の抽
出によるものなど、任意に選択できる。

【００７１】また、人物特徴検出手段１４は、図３
（ｃ）に示すように、要部画像抽出手段１３が抽出し
た、全身画像の高さＨをもって、撮影された人物の身長
とする。この高さＨは、カメラ１，２等の幾何学的位置
は、既知であるから、全身画像の、画素数から容易に求
めることができる。

【００７２】次に、図４を参照しながら、ベストショッ
ト選択手段１５による、ベストショットの選択について
説明する。

【００７３】上述したように、本形態では、ベストショ
ット選択手段１５は、顔画像が何枚かあるときに、顔が
正面を向いているものを選び、これをベストショットと
する。これは、通常、人の顔は、正面を向いたとき、そ
の個性が最もあらわれるからである。

【００７４】また、ある人物の顔画像が何枚かあり得る
のは、後述するように、人物が検出壁２４に衝突してか
ら撮影されなくなるまでには、通常、ある程度の時間が
経過するものであり、その間に、何フレームかの画像が
得られるためである。そして、ベストショット選択手段
１５は、これらの画像から、最も良く人物が写っている
画像を選択する。

【００７５】本形態では、顔向きの判定を行う。具体的
には、ベストショット選択手段１５は、図４に示すよう
に、標準的な正面顔のテンプレートを持ち、要部画像抽
出手段１３が切り出した顔画像と、このテンプレートと
のマッチングをとる。そして、最大のマッチングとなっ
た、ショットの顔画像を、ベストショットとする。

【００７６】別の顔向き判定として、ベストショット選
択手段１５が、色空間において、肌色領域にある、画素
の数が最大のものを、ベストショットするようにしても
よい。

【００７７】あるいは、顔向き判定でなく、時間でベス
トショットを定めることもできる。ここで、人間の歩く
速度は、常識的に知ることができるので、人物が検出壁
２４に衝突した後、最も良くカメラ１，２に写るまで
の、時間は、だいたい推測できる。したがって、ベスト
ショット選択手段１５が、この時間を、もとに、ベスト
ショットを決定するようにしても良い。

【００７８】次に、図５を参照しながら、本形態におけ
る監視記録装置の撮影及び記録の流れを説明する。

【００７９】まず、ステップ１において、制御手段４は
記憶手段１０をクリアし、検出壁設定手段１１によっ
て、検出壁２４の設定を行う（ステップ２）。ここで
は、制御手段４は、オペレータに対し、入力手段６から
検出壁情報を入力するように、求めても良いし、予め、
この情報が既知であるならば、外部記憶手段などからロ
ードするようにしても良い。

【００８０】次に、ステップ３において、制御手段４
は、第１カメラ１、２からの画像入力を開始する。そし
て、制御手段４は、衝突検出手段１２に、現在、検出壁
２４に人物が衝突したかどうか検出させ、衝突検出手段
１２は、検出結果を制御手段４に戻す。

【００８１】衝突が検出されなければ、制御手段４は、
ステップ１６へ処理を移し、入力手段６から記録終了の
指示が入力されていないことを確認して、ステップ３へ
戻る。

【００８２】衝突が検出されると、ステップ５におい
て、制御手段４は、タイマ５から現在の日時情報を得
て、記憶手段１０へ開始時間として、この日時情報を格
納する。

【００８３】次に、ステップ６において、制御手段４
は、撮影画像を要部画像抽出手段１３へ渡し、要部画像
の抽出を命ずる。これを受けて、要部画像抽出手段１３
は、撮影画像から、顔画像と全身画像との抽出を試み
る。

【００８４】このとき、抽出が成功したら（ステップ
７）、要部画像抽出手段１３は、記憶手段１０に、顔画
像と全身画像とを、追加し（ステップ８）、制御手段４
に抽出に成功した旨、通知する。制御手段４は、この通
知を受けると、録画再生手段９に、撮影画像を動画像と
して記録するように、指示する。その結果、記録媒体９
０に動画像が蓄積されてゆく。

【００８５】一方、ステップ７における、抽出が失敗し
たとき（例えば、人物がカメラの視野から出てしまった
場合など）には、制御手段４は、ステップ１０にて、記
憶手段１０に要部画像が格納されているかどうかチェッ
クする。

【００８６】格納されていれば、制御手段４は、人物の
撮影が一段落したものとして、次の処理を行う。まず、
ステップ１１にて、タイマ５から現在の日時情報を得
て、記憶手段１０へ終了時間として、この日時情報を格
納する。

【００８７】また、ステップ１２にて、制御手段４は、
記憶手段１０の全身画像を人物特徴検出手段１４に渡
し、人物特徴としての、身長を計算させ、その結果を、
記憶手段１０に格納する。さらに、ステップ１３にて、
制御手段４は、ベストショット選択手段１５にベストシ
ョットを選択させ、選択結果を得る。

【００８８】そして、以上の処理が終了したら、制御手
段４は、ステップ１４にて、ベストショットの顔画像、
全身画像、開始時間、終了時間、人物特徴など、動画を
検索する上で有用な情報（動画検索情報）を、データベ
ースエンジン１６を用いて、データベース１７に登録す
る。

【００８９】登録が済んだら、ステップ１５において、
制御手段４は、記憶手段１０の情報のうち、動画検索情
報をクリアし、ステップ１６へ処理を移し、次の処理に
備える。

【００９０】なお、ステップ１０において、要部画像が
記憶手段１０に無いときは、人物でないものが検出壁２
４に衝突したものとして、制御手段４は、ステップ１６
へ処理を移し、次の処理に備える。

【００９１】以上において、ステップ１１からステップ
１３は、自由に順番を入れ替えることができる。

【００９２】このようにすると、記憶手段１０には、衝
突が確認されてから、人物が写っている間のみの動画像
が記録されることが理解されよう。つまり、誰も写って
いない無駄な記録はされず、効率的な運用ができる。し
かも、データベース１７には、動画検索情報が格納さ
れ、これをインデックスとして活用することにより、容
易に重要なシーンのみを、検索及び再生できる。

【００９３】次に、図６及び図７を用いて、監視結果の
検索の流れを説明する。まず、図６に示すように、この
検索では、表示画像生成手段８が、検索画面（図７
（ａ））、サムネイル画面（図７（ｂ））及び詳細情報
画面（図７（ｃ））の、３種類の画面を、状況に応じて
生成し、表示手段７に表示する。

【００９４】そして、これらの画面は、図６に示してい
るように、オペレータが、入力手段６を用いて、各種ボ
タンをクリックすることにより、遷移する。

【００９５】まず、図７（ａ）に示す、検索画面では、
上述した、動画検索情報（データベース１７に登録され
ている）を入力する。図の例では、日時と身長とを入力
しているが、これは一例であって、適宜、変更して良
い。

【００９６】そして、動画検索情報が入力され、検索開
始ボタンがクリックされると、制御手段４は、データベ
ースエンジン１６に、この動画検索情報に該当する件を
検索させ、検索結果が表示画像生成手段８に渡される。

【００９７】すると、表示画像生成手段８は、該当する
件の顔画像（ベストショットである）から、サムネイル
を作り、図７（ｂ）に示すように、サムネイルのリスト
を表示する。

【００９８】なお、人物候補が多く、全てのサムネイル
画像を、一度に表示できない場合には、次画面と前画面
ボタンを画面上に表示する。そして、ポインタでクリッ
クすると、残りのサムネイル画像を、一覧表示する。

【００９９】オペレータは、このリストから、顔画像を
たよりに、見てみたいデータを探し、希望するサムネイ
ルをクリックする。

【０１００】すると、制御手段４は、入力手段６から入
力された情報によって、表示画像生成手段８に希望され
たサムネイルを知らせる。表示画像生成手段８は、この
知らせを受けると、図７（ｃ）のような、詳細情報画面
を表示する。本例では、このとき、希望されたサムネイ
ルに対応する動画検索情報から、顔画像（ベストショッ
ト）、全身画像、開始時間、人物特徴（身長）が引き出
され、表示される。また、この開始時間から、記録媒体
９０の該当する動画があわせて表示される。

【０１０１】なお、図示している表示形態は、例示であ
り、適宜わかりやすく変更して良い。

【０１０２】ここで、本例では、最初に検索画面で検索
を行ったが、データベース１７に登録されているデータ
が少ないなどの場合には、検索の工程を省略し、全デー
タをサムネイル画面で表示し、目的の人物を選択するよ
うにしても良い。

【０１０３】また、サムネイル画面で、サムネイル画像
と撮影時間とを、併せて表示したが、撮影時間以外に
も、データベース１７に登録されうる、他の人物の特
徴、例えば、性別や年齢等を表示してもよい。

【０１０４】図示しているように、動画像を併せて表示
すると、目的の人物と同時に進入した人数、人物など、
付帯する状況を把握することができ、例えば、共犯者な
ども調べやすい。

【０１０５】

【発明の効果】請求項１または１５記載の発明によれ
ば、検索情報を活用して、目的の画像を、スムーズにか
つ短時間で、発見できる。

【０１０６】請求項８または２２記載の発明によれば、
オペレータは、顔画像のサムネイル画面で人物を絞り込
んで、詳細な情報も参照できる。

【０１０７】請求項９または２３記載の発明によれば、
記録媒体を有意義に活用し、実質的な記録可能時間を延
長できる。

【０１０８】請求項１０または２４記載の発明によれ
ば、高速かつ追加設備なしに、人物の進入を検出でき
る。

【０１０９】請求項１１、１２、２５または２６記載の
発明によれば、人物が検出壁に衝突することをトリガと
して、合理的な処理を実現でき、検索の容易性を一層向
上できる。

【図面の簡単な説明】

【図１】本発明の一実施の形態における監視記録装置の
ブロック図

【図２】同検出壁の説明図

【図３】（ａ）同カメラ画像の例示図（ｂ）同顔画像の例示図（ｃ）同全身画像の例示図

【図４】同顔向き判定用テンプレートの例示図

【図５】同監視記録装置のフローチャート

【図６】同表示画面の状態遷移図

【図７】（ａ）同検索画面の例示図（ｂ）同サムネイル画面の例示図（ｃ）同詳細情報画面の例示図

【符号の説明】

１第１カメラ２第２カメラ３インターフェイス４制御手段５タイマ６入力手段７表示手段８表示画像生成手段９録画再生手段１０記憶手段１１検出壁設定手段１２衝突検出手段１３要部画像抽出手段１４人物特徴検出手段１５ベストショット選択手段１６データベースエンジン１７データベース２０対象空間２１壁面２２、２３ドア２４検出壁９０記録媒体

───────────────────────────────────────────────────── フロントページの続き (72)発明者松尾英明大阪府門真市大字門真1006番地松下電器産業株式会社内 (72)発明者今川和幸大阪府門真市大字門真1006番地松下電器産業株式会社内 (72)発明者吉澤正文大阪府門真市大字門真1006番地松下電器産業株式会社内Ｆターム(参考） 5B057 AA19 BA02 BA11 CH11 DA08 DC01 5C052 AA01 AB04 AC08 CC11 DD10 5C053 FA06 FA11 FA22 FA23 GA11 GB37 HA29 LA01 LA05 LA06 5C054 AA05 CA04 CC02 EA05 EA07 EG01 FA02 FC15 FE25 FF03 GB05 HA19

Claims

【特許請求の範囲】

【請求項１】対象空間を撮影するカメラと、前記カメラが撮影した画像を記録媒体に録画し、この記
録媒体から画像を再生する録画再生手段と、前記カメラが撮影した画像から人物の要部画像を抽出す
る要部画像抽出手段と、前記要部画像を含む検索情報を記録する検索情報記録手
段とを備えた、監視記録装置。
【請求項２】前記要部画像には、人物の顔画像が含まれ
ている、請求項１記載の監視記録装置。
【請求項３】前記要部画像には、人物の全身画像が含ま
れている、請求項１または２記載の監視記録装置。
【請求項４】前記要部画像抽出手段が抽出した要部画像
に基づいて、人物の特徴を検出する人物特徴検出手段を
備え、前記検索情報には、この人物の特徴が含まれている、請
求項１から３記載の監視記録装置。
【請求項５】前記人物の特徴には、人物の身長が含まれ
ている、請求項４記載の監視記録装置。
【請求項６】人物の顔画像から、ベストショットを選択
するベストショット選択手段を備え、前記検索情報には、ベストショットの顔画像が含まれ
る、請求項１から５記載の監視記録装置。
【請求項７】表示手段と、前記表示手段における表示画
像を生成する表示画像生成手段とを備え、前記表示画像生成手段は、人物の要部画像を一覧表示す
るサムネイル画面を生成する、請求項１から６記載の監
視記録装置。
【請求項８】前記表示画像生成手段は、サムネイル画面
において指示された特定のサムネイルに係る詳細情報画
面を生成し、この詳細情報画面には、人物の要部画像
と、人物の特徴と、人物を撮影した時間とが、含まれて
いる、請求項７記載の監視記録装置。
【請求項９】前記録画再生手段は、前記要部画像抽出手
段が人物の要部画像を抽出できた区間内のみ、画像を記
録媒体に録画する、請求項１から８記載の監視記録装
置。
【請求項１０】対象空間を、少なくともステレオ視で撮
影するカメラと、前記カメラが撮影した画像を記録媒体に録画し、この記
録媒体から画像を再生する録画再生手段と、対象空間への人物の進入を検知する検出壁を設定する検
出壁設定手段と、この検出壁に人物が衝突したかどうかを検出する衝突検
出手段とを備え、前記検出壁は、前記カメラの位置関係に依存する、複数
のボクセルから構成された仮想の壁であり、しかも、こ
の検出壁の厚さは、対象空間の奥行きに対して、十分小
さく設定されている、監視記録装置。
【請求項１１】前記要部画像抽出手段は、前記衝突検出
手段が人物の衝突を検出してから、人物の要部画像の抽
出を行い、前記検索情報には、前記衝突検出手段が人物
の衝突を検出した時間が含まれている、請求項１０記載
の監視記録装置。
【請求項１２】前記録画再生手段は、前記衝突検出手段
が人物の衝突を検出してから、前記カメラが撮影した画
像の録画を開始する、請求項１０または１１記載の監視
記録装置。
【請求項１３】対象空間を撮影するカメラと、前記カメラが撮影した画像を記録媒体に録画し、この記
録媒体から画像を再生する録画再生手段と、前記カメラが撮影した画像から対象物の要部画像を抽出
する要部画像抽出手段と、前記要部画像を含む検索情報を記録する検索情報記録手
段とを備えた、監視記録装置。
【請求項１４】カメラで対象空間を撮影し、その画像を
記録媒体に録画する監視記録方法であって、カメラが撮影した画像から対象物の要部画像を抽出し、
この要部画像を含む検索情報を、カメラが撮影した画像
と関連付けて、記録する、監視記録方法。
【請求項１５】カメラで対象空間を撮影し、その画像を
記録媒体に録画する監視記録方法であって、カメラが撮影した画像から人物の要部画像を抽出し、こ
の要部画像を含む検索情報を、カメラが撮影した画像と
関連付けて、記録する、監視記録方法。
【請求項１６】前記要部画像には、人物の顔画像が含ま
れている、請求項１５記載の監視記録方法。
【請求項１７】前記要部画像には、人物の全身画像が含
まれている、請求項１５または１６記載の監視記録方
法。
【請求項１８】前記要部画像に基づいて、人物の特徴を
検出し、前記検索情報に、この人物の特徴を含める、請
求項１５から１７記載の監視記録方法。
【請求項１９】前記人物の特徴には、人物の身長が含ま
れている、請求項１８記載の監視記録方法。
【請求項２０】人物の顔画像から、ベストショットを選
択し、前記検索情報に、ベストショットの顔画像を含め
る、請求項１６記載の監視記録方法。
【請求項２１】人物の要部画像を一覧表示するサムネイ
ル画面を、表示する、請求項１５から２０記載の監視記
録方法。
【請求項２２】サムネイル画面において指示された特定
のサムネイルに係る、人物の要部画像と、人物の特徴
と、人物を撮影した時間とを含めた、詳細情報画面を表
示する、請求項２１記載の監視記録方法。
【請求項２３】人物の要部画像を抽出できた区間内の
み、画像を記録媒体に録画する、請求項１５から２２記
載の監視記録方法。
【請求項２４】少なくともステレオ視で、カメラで対象
空間を撮影し、その画像を記録媒体に録画する監視記録
方法であって、カメラの位置関係に依存する複数のボクセルから構成さ
れ、かつ、厚さが、対象空間の奥行きに対して、十分小
さい、仮想の検出壁を設け、この検出壁に人物が衝突したかどうかを検出することに
より、対象空間への人物の進入を検知する、監視記録方
法。
【請求項２５】検出壁に人物が衝突したことを検出して
から、人物の要部画像の抽出を行い、検出壁に人物が衝
突した時間を、検索情報に含める、請求項２４記載の監
視記録方法。
【請求項２６】検出壁に人物が衝突したことを検出して
から、カメラが撮影した画像の録画を開始する、請求項
２４または２５記載の監視記録方法。