JP2001268657A - 遠隔監視方法、装置、および遠隔監視プログラムを記録した記録媒体 - Google Patents

遠隔監視方法、装置、および遠隔監視プログラムを記録した記録媒体

Info

Publication number
JP2001268657A
JP2001268657A JP2000078556A JP2000078556A JP2001268657A JP 2001268657 A JP2001268657 A JP 2001268657A JP 2000078556 A JP2000078556 A JP 2000078556A JP 2000078556 A JP2000078556 A JP 2000078556A JP 2001268657 A JP2001268657 A JP 2001268657A
Authority
JP
Japan
Prior art keywords
image
group
person
histogram
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000078556A
Other languages
English (en)
Other versions
JP3538112B2 (ja
Inventor
Yoshinori Kusachi
良規 草地
Kouichi Katou
晃市 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2000078556A priority Critical patent/JP3538112B2/ja
Publication of JP2001268657A publication Critical patent/JP2001268657A/ja
Application granted granted Critical
Publication of JP3538112B2 publication Critical patent/JP3538112B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Abstract

(57)【要約】 【課題】 特定領域内に存在する人物の挙動を、遠隔地
からユーザが容易に取り出せるようにする。 【解決手段】 店1内に設置された監視カメラ群4の映
像が画像処理装置5に送られる。監視カメラ映像は画像
処理され、画像データベース6に蓄積される。管理室2
にいるユーザはユーザインタフェース8を通して迷子の
服装特徴や予想位置等の必要情報を入力する。ユーザイ
ンタフェース8では、前記情報を解析し、画像検索装置
7に送信する。画像検索装置7では、前記解析された情
報と画像データベース6のデータベースのインデックス
を比較し、前記解析された情報に合致する画像をユーザ
インタフェース8に送信し、ユーザインタフェース8で
はその画像を表示する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、特定区域内に存在
する人物の遠隔監視を目的とした遠隔監視方法および装
置に関する。
【0002】
【従来の技術】ビル内や店内等の特定区域における監視
カメラシステムの役割は、不審人物の監視、犯罪の
証拠確保、顧客の行動分析等、大きく分けて3つの目
的がある。
【0003】従来の監視システムでは、複数の監視カメ
ラ映像を監視室にある複数モニタに写し、警備員が膨大
な画像情報から不審人物を抽出し、同時にその行動を分
析することで、不審人物の監視を行っていた。また、
監視カメラ映像をすべてビデオテープで保存し、犯罪
の証拠確保を行っていた。さらに、保存された監視カメ
ラ映像から手作業で情報の繋ぎあわせを行い、顧客の
行動分析を実現していた。
【0004】
【発明が解決しようとする課題】上述した従来の方法
は、単なる画像情報の提示および蓄積であり、必ずしも
効率がよいとはいえず、以下のような問題点があった。
【0005】警備員は、複数のモニタから不審人物を抽
出しながら、不審人物の行動を監視するという作業を長
時間に渡り継続的に行うため、苦痛が大きく、見落とし
等が発生する。
【0006】後から特定人物の行動を分析する場合、ビ
デオテープを1本1本人間がチェックする必要があり、
人的・時間的コストが高い。
【0007】本発明の目的は、監視者が膨大な情報から
注視すべき情報を容易に取り出すことができる遠隔監視
方法、装置、および遠隔監視プログラムを記録した記録
媒体を提供することにある。
【0008】
【課題を解決するための手段】上記目的を達成するため
に、本発明は、1つまたは複数のカメラを特定区域内に
配備し、これらカメラで撮影された画像群から人物の特
徴を抽出し、人物特徴と撮影時間と撮影場所と画像群を
画像データベースに蓄え、指定された時間帯、区域、人
物の特徴に応じて画像データベースを検索し、条件に合
致する画像群をモニタに表示するものである。
【0009】本発明の実現のためには、以下の要件を満
たす画像データベース作成手法および検索手法が必要で
ある。 要件1.検索が速いこと。 要件2.検索の自由度が高いこと。 要件3.検索の見落としがないこと。
【0010】そのため以下の手段を用いる。 1.要件1および要件2を実現するため、画像データベ
ースのインデックスとして、人物情報、時間情報、
空間情報、を用いる。具体的には、1つまたは複数の
固定カメラ画像に対し、各時刻において背景画像と原画
像の差分から人物領域画像を作成し、前記人物画像にお
ける画素値の度数分布である全体ヒストグラム群を作成
し、人物領域画像群を分割して各部領域画像群を作成
し、各部領域画像群における画素値の度数分布である各
部ヒストグラム群を複数作成し、全体ヒストグラム群と
各部ヒストグラム群を合わせたヒストグラム群を人物
情報とする。また、移動物体が抽出された時刻を時間
情報、移動物体が抽出されたカメラ番号を空間情報と
して画像データベースを作成する。 2.要件1および要件2を実現するために、検索の際に
は、入力された検索範囲から該当するカメラの番号であ
るカメラ番号を計算し、入力された人物特徴を用いて複
数視点からの人物領域画像群を作成し、人物領域画像群
における画素値の度数分布である全体ヒストグラム群を
作成し、人物領域画像群を分割して各部領域画像群を作
成し、各部領域画像における画素値の度数分布である各
部ヒストグラム群を作成し、全体ヒストグラム群に付加
し、入力された時刻範囲および前記検索カメラ番号およ
びヒストグラム群を用いて、入力された画像の画像デー
タベースに含まれる各画像との一致度を計算し、該一致
度が設定された閾値以上の画像群を出力として表示す
る。 3.要件2を実現するために、一致度の閾値を低めに設
定する。
【0011】以上の手段1〜3により、以下の3つの作
用が得られる。 1.1つまたは複数のカメラを特定区域内に配備し、こ
れらカメラで撮影された画像群に対しあらかじめ特徴抽
出処理を行い、特徴と撮影時間と撮影場所と画像群を画
像データベースに蓄え、指定された時間帯、区域、人物
の特徴に応じて画像データベースを検索し、条件に合致
する画像群をモニタに表示するため、監視者は膨大な情
報から注視すべき情報を容易に素早く取り出すことがで
きる。そのため、監視者の苦痛を和らげ、見落としの発
生率を下げることができる。また、後から必要な情報を
効率よく検索でき、特定人物の行動分析を低い人的・時
間的コストで実現できる。 2.1つまたは複数のカメラ画像に対し、各時刻におい
て背景画像と原画像の差分から人物領域画像を作成し、
前記人物画像における画素値の度数分布である全体ヒス
トグラム群を作成し、人物領域画像群を分割して各部領
域画像群を作成し、各部領域画像における画素値の度数
分布である各部ヒストグラム群を作成し、全体ヒストグ
ラム群と各部ヒストグラム群を合わせたヒストグラム群
を人物情報とし、移動物体が抽出された時刻を時間
情報、移動物体が抽出されたカメラ番号を空間情報と
して画像データベースを作成するため、高速かつ自由度
の高い検索が可能な画像データベースを作成することが
できる。 3.検索の際には、入力された検索範囲から該当するカ
メラの番号であるカメラ番号を計算し、入力された人物
特徴を用いて複数視点からの人物領域画像群を作成し、
人物領域画像群における画素値の度数分布である全体ヒ
ストグラム群を作成し、人物領域画像群を分割して各部
領域画像群を作成し、各部領域画像における画素値の度
数分布である各部ヒストグラム群を作成し、全体ヒスト
グラム群に付加し、入力された時刻範囲および検索カメ
ラ番号およびヒストグラム群を用いて、画像データベー
スに含まれる各画像との一致度を計算し、該一致度が低
めに設定された閾値以上の画像群を出力として表示する
ため、要件1〜3を満たす画像検索を実現できる。
【0012】
【発明の実施の形態】次に、本発明の実施の形態につい
て図面を参照して説明する。
【0013】図1は本発明の一実施形態の遠隔監視装置
を店内の迷子探しシステムに適用した例を示している。
店1内の商品棚3の間に監視カメラ41〜45が設置され
ている。一方、管理室2内には画像処理装置5、画像デ
ータベース6、画像検索装置7、ユーザインタフェース
8が設置されている。これら画像処理装置5、画像デー
タベース6、画像検索装置7、ユーザインタフェース8
は遠隔監視装置を構成している。
【0014】本システムは概略の動作は次のようにな
る。まず、店1内に設置された監視カメラ群4の映像が
画像処理装置5に送られる。監視カメラ映像は画像処理
され、画像データベース6に蓄積される。管理室2にい
るユーザはユーザインタフェース8を通して迷子の服装
特徴や予想位置等の必要情報を入力する。ユーザインタ
フェース8では、前記情報を解析し、画像検索装置7に
送信する。画像検索装置7では、前記解析された情報と
画像データベース6のデータベースのインデックスを比
較し、前記解析された情報に合致する画像をユーザイン
タフェース8に送信し、ユーザインタフェース8ではそ
の画像を表示する。
【0015】次に、各装置の詳細を説明する。
【0016】画像処理装置5は、図2に示すように、入
力部10と原画像蓄積部11とカメラ番号蓄積部12と
時間蓄積部13と背景画像作成部14と背景画像蓄積部
15と差分画像作成部16と人物領域画像作成部17と
人物領域蓄積部18と各部領域画像群作成部19とヒス
トグラム群作成部20とヒストグラム群蓄積部21と出
力部22で構成されている。
【0017】入力部10は監視カメラ群4から監視カメ
ラ画像(原画像)101とカメラ番号102と(撮像)
時間103を入力し、それぞれ原画像蓄積部11、カメ
ラ番号蓄積部12、時間蓄積部13に格納する。背景画
像作成部14は原画像101から背景画像104を作成
し、背景画像蓄積部15に格納する。差分画像作成部1
6は原画像101と背景画像104の差分を計算し、差
分画像105を作成する。人物領域画像作成部17は差
分画像105から人物領域画像106を作成し、人物領
域蓄積部18に格納する。各部領域画像群作成部19は
人物領域画像106を分割して各部領域画像111をN
(N≧2)個作成する。ヒストグラム群作成部20は人
物領域画像106から全体ヒストグラム群107を作成
し、また各部領域画像から各部ヒストグラム群115を
作成し、全体ヒストグラム群107と合せてヒストグラ
ム群119としてヒストグラム群蓄積部21に保存す
る。出力部22は原画像101、カメラ番号102、時
間103、ヒストグラム群119を画像データベース6
に送信する。
【0018】図3は画像処理装置5の処理の流れを示し
ている。まず、監視カメラ群4からの監視カメラ画像1
01とカメラ番号102と撮影時間103が入力部10
に入力され、次の処理が行なわれる。 (ステップ30) 原画像101を原画像蓄積部11
へ、カメラ番号102をカメラ番号蓄積部12へ、撮影
時間103を時間蓄積部13へ送り、それぞれ保存す
る。図4は原画像101の一例を示している。原画像1
01には、人物9と商品棚3が写っている。 (ステップ31) 背景画像作成部14で、現時刻が背
景更新条件に合致すれば、背景画像104を作成し、背
景画像蓄積部15へ送り、保存する。図5は図4の原画
像101に対する背景画像104であり、商品棚3のみ
が写っている。背景更新条件は例えば、「現時刻が60
の倍数」というように設定する。背景画像104の作成
は次のように行う。例えば、原画像101の各画素に対
し、時系列の画素値からヒストグラムを作成し、そのピ
ークにおける画素値を背景画像104の画素値とするこ
とにより作成する。これにより、背景画像104から一
時的に現われる(出現頻度が低くなる)人物領域を除去
することができる。 (ステップ32) 差分画像作成部16で、原画像10
1と背景画像104の差分を計算し、差分画像105を
作成する。図6は図4の原画像101に対する差分画像
105であり、人物9のみが写っている。 (ステップ33) 人物領域画像作成部17で、差分画
像105から連結領域面積がある閾値よりも大きい領域
を抽出することで人物領域画像106(図7)を作成
し、人物領域蓄積部18に送信し、保存する。 (ステップ34) ヒストグラム群作成部20で、人物
領域画像106から全体ヒストグラム群107を作成
し、ヒストグラム群蓄積部21に送信し、保存する。図
8は全体ヒストグラム群107の構成例を示している。
各画素値をR(赤)、G(緑)、B(青)値に分解し、
R値の度数分布であるRヒストグラム108、G値の度
数分布であるGヒストグラム109、B値の度数分布で
あるBヒストグラム110を作成し、これらのヒストグ
ラム群で全体ヒストグラム群107を構成する。 (ステップ35) 各部領域画像作成部19で、人物領
域画像106を分割して各部領域画像111をN個作成
する。例えば、人物領域画像106をY軸方向にN等分
することによって各部領域画像群111を作成する。図
9は人物領域画像106を3等分して作成した各部領域
画像群111の構成を示しており、各部領域画像A11
2、各部領域画像B113、各部領域画像114Cによ
り構成されている。また、n=1とする。 (ステップ36) ヒストグラム群作成部20で、ステ
ップ34と同様にして各部領域画像112,113,1
14から各部のR値,G値,B値のヒストグラム群11
5を作成し、ヒストグラム群蓄積部21に送信し、全体
ヒストグラム群107とあわせてヒストグラム群119
として保存する。図10は図9の各部領域画像群111
から作成した各部ヒストグラム群115の構成を示して
おり、A部ヒストグラム群116、B部ヒストグラム群
117、C部ヒストグラム群118により構成されてお
り、例えばn=1のときA部(各部領域画像112)の
ヒストグラム群が作成され、n=2のときB部(各部領
域画像113)のヒストグラム群が作成され、n=3の
ときC部(各部領域画像114)のヒストグラム群が作
成される。また、n=n+1とする。 (ステップ37) N≧nならばステップ36へ、それ
以外であればステップ38へいく。 (ステップ38) 原画像101、カメラ番号102、
時間103と、全体ヒストグラム群107と各部ヒスト
グラム群115の両者を含んだヒストグラム群119を
出力部22を介して画像データベース6に送信する。
【0019】図11は画像データベース6に蓄積される
データのデータ形式を示している。カメラ番号102と
時間103とヒストグラム群119と原画像へのポイン
タ120を画像データベース6のインデックス121と
して保存する。原画像101は独立に保存する。画像デ
ータベース6は、画像の要求があった場合、データベー
スのインデックス121と原画像101を共に要求先に
提供する。また、データベースのインデックスの要求が
あった場合、データベースのインデックス121のみを
提供する。さらに、データベースのインデックスの要求
があり、かつ、すべてのデータベースのインデックスを
提供した後であれば、「END」を返す。これにより、
高速、かつ自由度の高い検索が可能な画像データベース
6を作成することができる。
【0020】図12はユーザインタフェース8の画面の
一例を示しており、以下のような特徴を持つ。 ○検索領域入力画面(図12(1))より検索領域20
1を入力できる。 ○時間範囲入力画面(図12(2))より時間範囲20
2を入力できる。 ○人物特徴入力画面(図12(3))より人物の服装の
色などを指定することにより、人物特徴モデル203を
構築することができる。 ○検索結果表示画面(図12(4))より検索結果映像
204を見ることができる。
【0021】図13は、ユーザインタフェース8の内部
機構を示しており、検索領域入力部40と時間範囲入力
部41と人物特徴モデル入力部42と検索条件変換部4
3とデータ蓄積部44とヒストグラム群作成部45と各
部領域画像群作成部46と出力部47と入力部48と検
索結果表示部49で構成されている。
【0022】検索領域入力部40は検索領域201を、
時間範囲入力部41は時間範囲202を、人物特徴モデ
ル入力部42は人物特徴モデル203をそれぞれ入力す
る。検索条件変換部43はデータ蓄積部44に蓄積され
ている地図情報122と検索領域201から対象となる
カメラ番号(U)123を計算し、データ蓄積部44に
保存し、時間範囲202も時間範囲(U)124として
データ蓄積部44に保存し、人物特徴モデル203から
多視点人物画像126をM個(M≧2)作成し、データ
蓄積部44に保存する。ヒストグラム群作成部45は各
多視点人物画像126に対して全体ヒストグラム群
(U)125を作成し、データ蓄積部44に保存する。
各部領域画像群作成部46は各多視点人物画像126に
対して各部領域画像をN個作成し、データ蓄積部44に
保存する。出力部47はカメラ番号(U)123、時間
範囲(U)124、ヒストグラム群(U)125を画像
検索装置7に出力する。入力部48は画像検索装置7か
ら原画像101、カメラ番号102、時間103を入力
し、検索結果表示部49で表示する。
【0023】図14はユーザインタフェース8の処理の
流れを示す図である。まず、検索領域入力部40で検索
領域201が、時間範囲入力部41で時間範囲202
が、人物特徴モデル入力部42で人物特徴モデル203
が入力され、次の処理が実行される。 (ステップ50) 検索条件変換部40で、データ蓄積
部44から地図情報122を受信し、地図情報122と
検索領域201から対象となるカメラ番号(U)123
を計算し、データ蓄積部44に送信し、保存する。図1
2の場合、カメラ番号(U)123={1,5}とな
る。ただし、この地図情報122は、検索領域入力画面
(図12(1))に表示される情報であり、この例では
店1内の平面図と監視カメラ4の位置関係を表わした情
報であるが、種々の監視区域に合わせて、その平面図と
監視カメラ4の位置を設定することができる。 (ステップ51) 検索条件変換部43で、時間範囲2
02を時間範囲(U)124とし、データ蓄積部44に
送信し、保存する。図12の場合、時間範囲(U)12
4={12<t<24}となる。tは時間を表す変数で
ある。 (ステップ52) 検索条件変換部43で、人物特徴モ
デル203から多視点人物画像126をM個作成し、デ
ータ蓄積部44に送信し、保存する。また、空集合であ
るヒストグラム群(U)125を作成する。例えば図1
5のように上から見た人物画像127、横からみた人物
画像128、正面から見た人物映像129の3つを多視
点人物画像群126とする。この場合、M=3である。
また、m=1とする。 (ステップ53) ヒストグラム群作成部45で、各多
視点人物画像126に対し、ステップ34と同様にして
全体ヒストグラム群(U)を作成、ヒストグラム群
(U)125に付加して、データ蓄積部44に送信し、
保存する。また、m=m+1とする。 (ステップ54) 各部領域画像群作成部46で、ステ
ップ35と同様にして各多視点人物画像126に対して
各部領域画像をN個作成する。また、n=1とする。 (ステップ55) ヒストグラム群作成部45で、各部
領域画像から各部ヒストグラム群(U)を作成し、デー
タ蓄積部44に送信し、ヒストグラム群(U)125に
付加して保存する。 (ステップ56) N≧nならばステップ55へ、それ
以外であればステップ57へ。 (ステップ57) M≧mならばステップ53へ、それ
以外であればステップ58へ。 (ステップ58) カメラ番号(U)123、時間範囲
(U)124、ヒストグラム群(U)125を出力部4
7を介して画像検索装置7に出力する。 (ステップ59) 画像検索装置7の出力結果であるカ
メラ番号102、時間103、原画像101を入力部4
8を介して受信し、検索結果表示部49で表示する。
【0024】以上の機能を有するユーザインタフェース
8により、ユーザは所望する画像の条件を自由に設定
し、それを閲覧できる。
【0025】図16に示すように、画像検索装置7は入
力部60とカメラ番号照合部61と時間照合部62とヒ
ストグラム群照合部63とデータ蓄積部64と一致度計
算部65と結果インタフェース部66で構成されてい
る。
【0026】入力部60はユーザインタフェース8から
カメラ番号(U)123、時間範囲(U)124、ヒス
トグラム群(U)125を入力し、画像データベース6
からカメラ番号102、時間103、ヒストグラム群1
19を入力する。カメラ番号照合部61はカメラ番号
(U)123とカメラ番号102を比較し、カメラ番号
比較結果Cをデータ蓄積部64に保存する。時間照合部
62は時間範囲(U)124と時間103を比較し、時
間比較結果Tをデータ蓄積部64に保存する。ヒストグ
ラム照合部63はヒストグラム群(U)125とヒスト
グラム群119を比較し、ヒストグラム群比較結果Hを
データ蓄積部64に保存する。一致度計算部66は比較
結果C,T,Hから一致度dを計算する。結果インタフ
ェース部66は一致度d>閾値Dならば、画像データベ
ース6に原画像101を要求し、カメラ番号102、時
間103とともにユーザインタフェース8に送信する。
【0027】図17は画像検索装置7の処理を示す流れ
図である。まず、ユーザインタフェース8から入力部6
0に、カメラ番号(U)123、時間範囲(U)12
4、ヒストグラム群(U)125が入力され、次の処理
が実行される。 (ステップ70) 画像データベース6からデータベー
スのインデックス121を取り出し、「END」なら終
了、それ以外ならばステップ71へ。 (ステップ71) カメラ番号照合部61でカメラ番号
(U)123とカメラ番号102を比較し、カメラ番号
比較結果Cをデータ蓄積部64に送信して保存する。カ
メラ番号比較結果Cは例えば、一致した場合C=1、一
致しなかった場合C=0と定義できる。 (ステップ72) 時間照合部62で時間範囲(U)1
24と時間103を比較し、時間比較結果Tをデータ蓄
積部64に送信して保存する。時間比較結果Tは例え
ば、時間範囲(U)に時間が含まれる場合、T=1、含
まれない場合T=0と定義できる。 (ステップ73) ヒストグラム群照合部63でヒスト
グラム群(U)125とヒストグラム群119を比較
し、ヒストグラム群比較結果Hをデータ蓄積部64に送
信して保存する。ヒストグラム群(U)125とヒスト
グラム群119の比較は、例えば次のように行う。ヒス
トグラム群119の全体ヒストグラム群をAHと表し、
ヒストグラム群(U)のM個の全体ヒストグラム群をA
HU(m)と表し、AHとAHU(m)の各比較結果
を、A(m)=Rヒストグラムの差分累積値+Bヒスト
グラムの差分累積値+Gヒストグラムの差分累積値、と
定義する。ただし、mは1以上M以下の整数である。同
様にして、ヒストグラム群の119のN個の各部ヒスト
グラム群をP(n)と表し、ヒストグラム群(U)のM
×N個の各部ヒストグラム群PU(m,n)と表し、P
(n)とPU(m,n)の比較結果を、H(m,n)=
Rヒストグラムの差分累積値+Bヒストグラムの差分累
積値+Gヒストグラムの差分累積値、と定義する。ただ
し、nは1以上N以下の整数である。そして
【0028】
【数1】 と定義する。さらに、ヒストグラム群比較結果HをH
(1)〜H(m)の最小値と定義する。 (ステップ74) 一致度計算部65で一致度dを計算
する。一致度dは例えばd=C×T/Hと定義できる。 (ステップ75) 一致度計算部65で、d>ある閾値
Dならばステップ76へ、それ以外であればステップ7
0へ。このとき、検索の見落としがないように、ある閾
値Dは低めに設定しておく。 (ステップ76) 結果インタフェース部66で、画像
データベース6に原画像101を要求し、カメラ番号1
02、時間103とともにユーザインタフェース8に送
信する。ステップ70へ。
【0029】以上の画像検索により、画像条件に一致す
る画像を画像データベース6から高速かつ自由に検索す
ることができ、迷子の現在位置を高速に予測することが
できる。
【0030】図18は画像処理装置5をパソコン等のコ
ンピュータ上で実施する場合のブロック図である。入力
装置80は図2中の入力部10に相当する。記憶装置8
1,82,83,84,85,86はそれぞれ図2中の
原画像蓄積部11、カメラ番号蓄積部12、時間蓄積部
13、背景画像蓄積部15、人物領域蓄積部18、ヒス
トグラム群蓄積部21に相当し、記憶装置87はハード
ディスクである。出力装置88は図2中の出力部22に
相当する。記録媒体89は図3中のステップ30〜38
からなる画像処理プログラムが記録された、フロッピィ
・ディスク、CD−ROM、光磁気ディスク等の記録媒
体である。データ処理装置90はCPU、各種インタフ
ェース等を含み、記録媒体89から画像処理プログラム
を記憶装置87に読み込んで実行する。
【0031】なお、画像検索装置7、ユーザインタフェ
ース8も同様に、パソコン等のコンピュータ上で実行で
きる。
【0032】
【発明の効果】以上説明したように本発明によれば、特
定区域内に配備された1つまたは複数のカメラで撮影さ
れた画像群に対し特徴抽出処理を行い、特徴と撮影時間
と撮影場所と画像群をデータベースに蓄え、指定された
時間帯、区域、人物の特徴に基づいて画像データベース
を検索し、条件に合致する画像群をモニタに表示するこ
とにより、監視者は膨大な情報から注視すべき情報を容
易に取り出すことができ、そのため、監視者の苦痛を和
らげ、見落としの発生率を下げることができ、また、後
から必要な情報を効率よく検索でき、特定人物の行動分
析を低い人的・時間的コストで実現できる。
【図面の簡単な説明】
【図1】本発明の一実施形態を示すシステム構成図であ
る。
【図2】画像処理装置5の構成を示す図である。
【図3】画像処理装置5の処理の流れを示す図である。
【図4】原画像101の一例を示す図である。
【図5】背景画像104の一例を示す図である。
【図6】差分画像105の一例を示す図である。
【図7】人物領域画像106を示す図である。
【図8】全体ヒストグラム群107を示す図である。
【図9】各部領域画像群111を示す図である。
【図10】各部ヒストグラム群115を示す図である。
【図11】画像データベース6のデータ形式を説明する
図である。
【図12】ユーザインタフェース8の画面構成の一例を
示す図である。
【図13】ユーザインタフェース8の内部構成を示す図
である。
【図14】ユーザインタフェース8の処理の流れを示す
図である。
【図15】人物画像群を説明する図である。
【図16】画像検索装置7の構成を示す図である。
【図17】画像検索装置7の処理の流れを示す図であ
る。
【図18】画像処理装置5をコンピュータ上で実施する
場合のブロック図である。
【符号の説明】
1 店 2 管理室 3 商品棚 4 監視カメラ群 41〜45 監視カメラ 5 画像処理装置 6 画像データベース 7 画像検索装置 8 ユーザインタフェース 9 人物 10 入力部 11 原画像蓄積部 12 カメラ番号蓄積部 13 時間蓄積部 14 背景画像作成部 15 背景画像蓄積部 16 差分画像作成部 17 人物領域画像作成部 18 人物領域蓄積部 19 各部領域画像作成部 20 ヒストグラム作成部 21 ヒストグラム蓄積部 22 出力部 30〜38 ステップ 40 検索領域入力部 41 時間範囲入力部 42 人物特徴モデル入力部 43 検索条件変換部 44 データ蓄積部 45 ヒストグラム群作成部 46 各部領域画像群作成部 47 出力部 48 入力部 49 検索結果表示部 50〜59 ステップ 60 入力部 61 カメラ番号照合部 62 時間照合部 63 ヒストグラム群照合部 64 データ蓄積部 65 一致度計算部 66 結果インタフェース部 70〜76 ステップ 101 原画像 102 カメラ番号 103 時間 104 背景画像 105 差分画像 106 人物領域画像 107 全体ヒストグラム群 108 Rヒストグラム 109 Gヒストグラム 110 Bヒストグラム 111 各部領域画像群 112 各部領域画像A 113 各部領域画像B 114 各部領域画像C 115 各部ヒストグラム群 116 A部ヒストグラム群 117 B部ヒストグラム群 118 C部ヒストグラム群 119 ヒストグラム群 120 原画像へのポインタ 121 データベースのインデックス 122 地図情報 123 カメラ番号(U) 124 時間範囲(U) 125 ヒストグラム群(U) 126 多視点人物画像 127 上から見た人物映像 128 横から見た人物映像 129 正面から見た人物映像 201 検索領域 202 時間範囲 203 人物特徴モデル 204 検索結果
───────────────────────────────────────────────────── フロントページの続き Fターム(参考) 5B075 ND12 PQ02 PR06 QM08 QP05 5C054 CH08 FC01 FC05 FC12 FC15 FC16 GB05 GB12 GB15 GD03 GD09 HA18 5C087 AA02 AA03 BB74 DD05 EE14 FF01 FF04 GG02 GG10 GG19 GG20 GG66 GG70 GG83 5K048 BA03 BA10 BA51 DA02 EB11 EB15 FB02 FC01 HA01 HA02

Claims (11)

    【特許請求の範囲】
  1. 【請求項1】 特定区域内に配備された1つまたは複数
    のカメラで、該特定区域内に存在する人物を遠隔地から
    監視する方法であって、 前記カメラで撮影された画像群から人物の特徴を抽出
    し、前記人物特徴と撮影時間と撮影場所と前記画像群を
    画像データベースに蓄える画像処理ステップと、 時間帯、検索範囲、人物特徴を入力する検索条件入力ス
    テップと、 入力された時間帯、検索範囲、人物特徴を基に前記画像
    データベースの検索処理を行う画像検索ステップと、 検索処理の結果、条件に合致する画像を表示する検索結
    果表示ステップを有する遠隔監視方法。
  2. 【請求項2】 前記画像処理ステップは、 各時刻において、現時刻が設定された背景更新条件を満
    たす場合に各カメラでの背景画像を作成または更新する
    ステップと、 各時刻において、現時刻の映像である原画像と前記背景
    画像との画素毎の差である差分画像を作成するステップ
    と、 各時刻において、前記差分画像から連結領域面積がある
    閾値よりも大きい領域を抽出することで人物領域画像を
    作成するステップと、 前記人物領域画像における画素値の度数分布である全体
    ヒストグラム群を作成するステップと、 前記人物領域画像を分割して各部領域画像群を作成する
    ステップと、 前記各部領域画像における画素値の度数分布である各部
    ヒストグラム群を作成するステップと、 前記全体ヒストグラム群と前記各部ヒストグラム群を合
    わせたヒストグラム群を出力するステップと、 前記原画像と、当該原画像を撮影したカメラのカメラ番
    号と、撮影時刻と、前記ヒストグラム群を前記画像デー
    タベースに保存するステップを含む、請求項1記載の方
    法。
  3. 【請求項3】 前記検索条件入力ステップは、 入力された検索範囲から該当するカメラの番号であるカ
    メラ番号を計算するステップと、 入力された人物特徴を用いて複数視点からの人物領域画
    像群を作成するステップと、 前記人物領域画像群の各人物領域画像における画素値の
    度数分布である全体ヒストグラム群を作成するステップ
    と、 各人物領域画像を分割して各部領域画像群を作成するス
    テップと、 前記各部領域画像における画素値の度数分布である各部
    ヒストグラム群を作成し、前記全体ヒストグラム群に付
    加するステップと、 前記カメラ番号、前記時間帯、前記全体ヒストグラム群
    を前記画像検索ステップに出力するステップを含む、請
    求項2記載の方法。
  4. 【請求項4】 前記画像検索ステップは、 前記カメラ番号、前記時間帯、前記ヒストグラム群と前
    記画像データベースに保存されているデータを比較し、
    入力された人物特徴の前記画像データベースに含まれる
    各画像との一致度を計算するステップと、 前記一致度が設定された閾値よりも高い画像を出力する
    ステップを有する、請求項3記載の方法。
  5. 【請求項5】 特定区域内複数地点の画像を撮影する1
    つまたは複数のカメラで、該特定区域内に存在する人物
    を遠隔地から監視する装置であって、 画像データベースと、 前記カメラで撮影された画像から人物の特徴を抽出し、
    前記人物特徴と撮影時間と撮影場所と前記画像群を前記
    画像データベースに蓄える画像処理手段と、 時間帯、検索範囲、人物特徴を入力し、また検索条件に
    合致する画像を表示するユーザインタフェース手段と、 入力された時間帯、検索範囲、人物特徴を基に前記画像
    データベースを検索し、検索結果を前記ユーザインタフ
    ェース手段に出力する画像検索手段を有する遠隔監視装
    置。
  6. 【請求項6】 前記画像処理手段は、 各時刻において、現時刻が設定された背景更新条件を満
    たす場合に各カメラでの背景画像を作成または更新する
    手段と、 各時刻において、現時刻の映像である原画像と前記背景
    画像との画素毎の差である差分画像を生成する手段と、 各時刻において、前記差分画像から連結領域面積がある
    閾値よりも大きい領域を抽出することで人物領域画像を
    作成する手段と、 前記人物領域画像における画素値の度数分布である全体
    ヒストグラム群を作成する手段と、 前記人物領域画像を分割して各部領域画像群を作成する
    手段と、 前記各部領域画像における画素値の度数分布である各部
    ヒストグラム群を作成する手段と、 前記全体ヒストグラム群と前記各部ヒストグラム群を合
    わせたヒストグラム群を出力する手段と、 前記原画像、当該原画像を撮影したカメラのカメラ番
    号、撮影時間、前記ヒストグラム群を前記画像データベ
    ースに保存する手段を含む、請求項5記載の装置。
  7. 【請求項7】 前記ユーザインタフェース手段は、 入力された検索範囲から該当するカメラの番号であるカ
    メラ番号を計算する手段と、 入力された人物特徴を用いて複数視点からの人物領域画
    像群を作成する手段と、 前記人物領域画像群の各人物領域画像における画素値の
    度数分布である全体ヒストグラム群を作成する手段と、 各人物領域画像を分割して各部領域画像群を作成する手
    段と、 前記各部領域画像群における画素値の度数分布である各
    部ヒストグラム群を複数作成し、前記全体ヒストグラム
    群に付加する手段と、 前記カメラ番号、前記時間帯、前記全体ヒストグラム群
    を前記画像検索手段に出力する手段を含む、請求項6記
    載の装置。
  8. 【請求項8】 前記画像検索手段は、 前記カメラ番号、前記時間帯、前記ヒストグラム群と前
    記画像データベースに保存されているデータを比較し、
    入力された人物特徴の前記画像データベースに含まれる
    各画像との一致度を計算する手段と、 前記一致度が設定された閾値よりも高い画像を前記ユー
    ザインタフェース手段に出力する手段を有する、請求項
    7記載の装置。
  9. 【請求項9】 特定区域内に配備された1つまたは複数
    のカメラで撮影された画像群から人物の特徴を抽出する
    画像処理プログラムであって、 各時刻において、現時刻が設定された背景更新条件を満
    たす場合に各カメラでの背景画像を作成または更新する
    手順と、 各時刻において、現時刻の映像である原画像と前記背景
    画像との画素毎の差である差分画像を作成する手順と、 各時刻において、前記差分画像から連結領域面積がある
    閾値よりも大きい領域を抽出することで人物領域画像を
    作成する手順と、 前記人物領域画像における画素値の度数分布である全体
    ヒストグラム群を作成する手順と、 前記人物領域画像を分割して各部領域画像群を作成する
    手順と、 前記各部領域画像における画素値の度数分布である各部
    ヒストグラム群を作成する手順と、 前記全体ヒストグラム群と前記各部ヒストグラム群を合
    わせたヒストグラム群を出力する手順と、 前記原画像、当該原画像を撮影したカメラのカメラ番
    号、撮影時間と、前記ヒストグラム群を前記画像データ
    ベースに保存する手順をコンピュータに実行させるため
    の画像処理プログラムを記録した記録媒体。
  10. 【請求項10】 特定区域内に配備された1つまたは複
    数のカメラで該特定区域内の特定人物を遠隔監視する遠
    隔監視装置に用いられるユーザインタフェースプログラ
    ムであって、 入力された検索範囲から該当するカメラの番号であるカ
    メラ番号を計算する手順と、 入力された人物特徴を用いて複数視点からの人物領域画
    像群を作成する手順と、 前記人物領域画像群の各人物領域画像における画素値の
    度数分布である全体ヒストグラム群を作成する手順と、 各人物領域画像を分割して各部分領域画像群を作成する
    手順と、 前記各部領域画像における画素値の度数分布である各部
    ヒストグラム群を作成し、前記全体ヒストグラム群に付
    加する手順と、 前記カメラ番号と、入力された時間帯と、前記全体ヒス
    トグラム群を画像検索プログラムに出力する手順と、 前記画像検索プログラムから検索結果を受け取り、カメ
    ラ番号、時間、原画像を表示する手順をコンピュータに
    実行させるためのユーザインタフェースプログラムを記
    録した記録媒体。
  11. 【請求項11】 請求項10記載のユーザインタフェー
    スプログラムからカメラ番号、時間範囲、ヒストグラム
    群を入力する手順と、 前記カメラ番号、前記時間帯、前記ヒストグラム群と前
    記画像データベースに保存されているデータを比較し、
    入力された人物特徴の前記画像データベースに含まれる
    各画像との一致度を計算する手順と、 前記一致度が設定された閾値よりも高い画像を前記ユー
    ザインタフェースプログラムに出力する手順をコンピュ
    ータに実行させるための画像検索プログラムを記録した
    記録媒体。
JP2000078556A 2000-03-21 2000-03-21 遠隔監視方法、装置、および遠隔監視プログラムを記録した記録媒体 Expired - Fee Related JP3538112B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000078556A JP3538112B2 (ja) 2000-03-21 2000-03-21 遠隔監視方法、装置、および遠隔監視プログラムを記録した記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000078556A JP3538112B2 (ja) 2000-03-21 2000-03-21 遠隔監視方法、装置、および遠隔監視プログラムを記録した記録媒体

Publications (2)

Publication Number Publication Date
JP2001268657A true JP2001268657A (ja) 2001-09-28
JP3538112B2 JP3538112B2 (ja) 2004-06-14

Family

ID=18595949

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000078556A Expired - Fee Related JP3538112B2 (ja) 2000-03-21 2000-03-21 遠隔監視方法、装置、および遠隔監視プログラムを記録した記録媒体

Country Status (1)

Country Link
JP (1) JP3538112B2 (ja)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6585521B1 (en) * 2001-12-21 2003-07-01 Hewlett-Packard Development Company, L.P. Video indexing based on viewers' behavior and emotion feedback
WO2003100658A1 (fr) * 2002-05-24 2003-12-04 Iwane Laboratories,Ltd. Dispositif d'enregistrement/recherche de situation
JP2006094293A (ja) * 2004-09-27 2006-04-06 Hitachi Software Eng Co Ltd 差分画像検出システムおよび差分画像検出方法
CN100334598C (zh) * 2002-11-26 2007-08-29 东芝照明技术株式会社 卖场计划支持系统
JP2009246799A (ja) * 2008-03-31 2009-10-22 Secom Co Ltd 画像監視装置
JP2009290798A (ja) * 2008-05-30 2009-12-10 Hitachi Ltd 映像検索装置及び映像検索方法
JP2012048477A (ja) * 2010-08-26 2012-03-08 Canon Inc 画像処理装置、画像処理方法及びプログラム
US8280195B2 (en) 2006-03-24 2012-10-02 Nec Corporation Video data indexing system, video data indexing method and program
CN102881100A (zh) * 2012-08-24 2013-01-16 济南纳维信息技术有限公司 基于视频分析的实体店面防盗监控方法
WO2016147770A1 (ja) * 2015-03-19 2016-09-22 日本電気株式会社 監視システム及び監視方法
JP2020047110A (ja) * 2018-09-20 2020-03-26 パナソニック株式会社 人物検索システムおよび人物検索方法
JP2020047259A (ja) * 2019-07-11 2020-03-26 パナソニックi−PROセンシングソリューションズ株式会社 人物検索システムおよび人物検索方法
JP7280450B2 (ja) 2020-04-11 2023-05-23 オープン スペース ラブズ インコーポレイテッド ウォークスルービデオの画像検索

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0991429A (ja) * 1995-09-26 1997-04-04 Nippon Telegr & Teleph Corp <Ntt> 顔領域抽出方法
JPH0991492A (ja) * 1995-09-22 1997-04-04 Oki Electric Ind Co Ltd 紙幣入出金装置
JPH09293082A (ja) * 1996-04-26 1997-11-11 Toshiba Corp 画像検索装置及び画像検索方法
JPH09330404A (ja) * 1996-06-10 1997-12-22 Nippon Telegr & Teleph Corp <Ntt> 物体検出装置
JPH10301948A (ja) * 1997-04-25 1998-11-13 Nippon Telegr & Teleph Corp <Ntt> 画像および映像検索方法
JPH11175730A (ja) * 1997-12-05 1999-07-02 Omron Corp 人間検出追跡システム
JP2000030033A (ja) * 1998-07-09 2000-01-28 Matsushita Electric Ind Co Ltd 人物検出方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0991492A (ja) * 1995-09-22 1997-04-04 Oki Electric Ind Co Ltd 紙幣入出金装置
JPH0991429A (ja) * 1995-09-26 1997-04-04 Nippon Telegr & Teleph Corp <Ntt> 顔領域抽出方法
JPH09293082A (ja) * 1996-04-26 1997-11-11 Toshiba Corp 画像検索装置及び画像検索方法
JPH09330404A (ja) * 1996-06-10 1997-12-22 Nippon Telegr & Teleph Corp <Ntt> 物体検出装置
JPH10301948A (ja) * 1997-04-25 1998-11-13 Nippon Telegr & Teleph Corp <Ntt> 画像および映像検索方法
JPH11175730A (ja) * 1997-12-05 1999-07-02 Omron Corp 人間検出追跡システム
JP2000030033A (ja) * 1998-07-09 2000-01-28 Matsushita Electric Ind Co Ltd 人物検出方法

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6585521B1 (en) * 2001-12-21 2003-07-01 Hewlett-Packard Development Company, L.P. Video indexing based on viewers' behavior and emotion feedback
WO2003100658A1 (fr) * 2002-05-24 2003-12-04 Iwane Laboratories,Ltd. Dispositif d'enregistrement/recherche de situation
CN100334598C (zh) * 2002-11-26 2007-08-29 东芝照明技术株式会社 卖场计划支持系统
JP2006094293A (ja) * 2004-09-27 2006-04-06 Hitachi Software Eng Co Ltd 差分画像検出システムおよび差分画像検出方法
US8280195B2 (en) 2006-03-24 2012-10-02 Nec Corporation Video data indexing system, video data indexing method and program
JP2009246799A (ja) * 2008-03-31 2009-10-22 Secom Co Ltd 画像監視装置
JP2009290798A (ja) * 2008-05-30 2009-12-10 Hitachi Ltd 映像検索装置及び映像検索方法
US8818096B2 (en) 2010-08-26 2014-08-26 Canon Kabushiki Kaisha Apparatus and method for detecting subject from image
JP2012048477A (ja) * 2010-08-26 2012-03-08 Canon Inc 画像処理装置、画像処理方法及びプログラム
CN102881100A (zh) * 2012-08-24 2013-01-16 济南纳维信息技术有限公司 基于视频分析的实体店面防盗监控方法
WO2016147770A1 (ja) * 2015-03-19 2016-09-22 日本電気株式会社 監視システム及び監視方法
JPWO2016147770A1 (ja) * 2015-03-19 2017-12-28 日本電気株式会社 監視システム及び監視方法
JP2020047110A (ja) * 2018-09-20 2020-03-26 パナソニック株式会社 人物検索システムおよび人物検索方法
US11030463B2 (en) 2018-09-20 2021-06-08 Panasonic I-Pro Sensing Solutions Co., Ltd. Systems and methods for displaying captured videos of persons similar to a search target person
US11527071B2 (en) 2018-09-20 2022-12-13 i-PRO Co., Ltd. Person search system and person search method
JP2020047259A (ja) * 2019-07-11 2020-03-26 パナソニックi−PROセンシングソリューションズ株式会社 人物検索システムおよび人物検索方法
JP7235612B2 (ja) 2019-07-11 2023-03-08 i-PRO株式会社 人物検索システムおよび人物検索方法
JP7280450B2 (ja) 2020-04-11 2023-05-23 オープン スペース ラブズ インコーポレイテッド ウォークスルービデオの画像検索
US11734338B2 (en) 2020-04-11 2023-08-22 Open Space Labs, Inc. Image search in walkthrough videos

Also Published As

Publication number Publication date
JP3538112B2 (ja) 2004-06-14

Similar Documents

Publication Publication Date Title
US9141184B2 (en) Person detection system
JP5358083B2 (ja) 人物画像検索装置及び画像検索装置
US9208226B2 (en) Apparatus and method for generating evidence video
CN105164695B (zh) 用于探测视频数据中的高兴趣事件的系统和方法
CN101778260B (zh) 一种基于结构化描述的视频监控管理方法及系统
TWI747341B (zh) 檔案應用方法及裝置、儲存媒體
JP3538112B2 (ja) 遠隔監視方法、装置、および遠隔監視プログラムを記録した記録媒体
WO2017212813A1 (ja) 画像検索装置、画像検索システム及び画像検索方法
US9092699B2 (en) Method for searching for objects in video data received from a fixed camera
CN107408119B (zh) 图像检索装置、系统以及方法
CN110263613A (zh) 监控视频处理方法及装置
KR102183473B1 (ko) 영상 모니터링 방법 및 장치
WO2022001925A1 (zh) 行人追踪方法和设备,及计算机可读存储介质
WO2021135138A1 (zh) 一种目标运动轨迹构建方法、设备以及计算机存储介质
CN111222373A (zh) 一种人员行为分析方法、装置和电子设备
JP2010140425A (ja) 画像処理システム
KR20180015101A (ko) 소스 비디오 내에서 관심 동영상을 추출하는 장치 및 방법
JP2006093955A (ja) 映像処理装置
JP5865584B2 (ja) 特定人物検知システムおよび検知方法
US10783365B2 (en) Image processing device and image processing system
Shah et al. Video Stitching with Localized 360o Model for Intelligent Car Parking Monitoring and Assistance System
KR101170676B1 (ko) 얼굴 인식 기반의 얼굴 검색 시스템 및 그 방법
JP2004126711A (ja) 人物捜索システム
JP2004064438A (ja) 監視システム及び監視方法
KR20090000177A (ko) 실시간 이미지 검색 기능을 이용한 지능형 감시 방법 및시스템

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20031215

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040310

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040318

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080326

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090326

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090326

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100326

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110326

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees