JP2003087771A

JP2003087771A - 監視システム及び方法

Info

Publication number: JP2003087771A
Application number: JP2001271162A
Authority: JP
Inventors: Takahiro Watanabe; 孝弘渡辺
Original assignee: Oki Electric Industry Co Ltd
Current assignee: Oki Electric Industry Co Ltd
Priority date: 2001-09-07
Filing date: 2001-09-07
Publication date: 2003-03-20
Also published as: US20030048926A1

Abstract

(57)【要約】【課題】監視画像から人物の検出、追跡及び行動認識を
行って各人物の行動テーブルを作成し、該行動テーブル
から特定の行動を行った人物を検索し、検索された人物
が再度来店した時に検出するようにすることによって、
様々な分野において様々な特定人物の検出を行うことが
できるようにする。【解決手段】監視画像に映った人物の行動を認識し、該
行動に基づいて記録事項を編集加工可能な形態で作成し
て人物行動テーブル１５に記録する記録部１１と、前記
人物行動テーブル１５に記録された記録事項に基づいて
特定人物を検索し、該人物の情報、及び、前記人物を検
索する項目が記録された特定人物テーブルを作成する特
定部２１と、前記特定人物テーブルに情報が記録された
人物を監視画像から検出する検出部３１とを有する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、監視システム及び
方法に関するものである。

【０００２】

【従来の技術】従来、コンビニエンスストア、スーパー
マーケット、デパート等の商店、銀行、信用金庫等の金
融機関、ホテル、旅館等の宿泊施設、玄関ホール、エレ
ベータ等の建物内部のような施設に監視カメラ等を配設
し、撮影した画像をリアルタイムでモニターしたり記録
することによって、前記施設の様子を監視する監視シス
テムが提供されている。

【０００３】ここで、前記施設が、例えば、商店の店舗
である場合、店舗内の人物の様子を監視することが重要
であるが、監視カメラが撮影する監視画像に人物が映っ
ていないことが多い。そのため、監視画像から万引き等
を行う可能性がある人物、すなわち、被疑者を検出する
ために、監視カメラからの監視画像をＶＴＲに一旦（た
ん）録画し、その該ＶＴＲの画像から被疑者検出手段に
よって疑義が生じた人物を被疑者候補として自動的に検
出する。次に、領域指定手段によって、その被疑者領域
を監視画像から監視者が自分自身で指定し、その指定さ
れた被疑者領域の特徴を抽出し、該特徴に基づいてその
被疑者が再度来店した時に監視画像から被疑者を検出す
るようになっている。

【０００４】なお、前記被疑者検出手段においては、店
舗に入店後にキャッシュレジスタを通らないで退店した
移動体が被疑者候補として定義づけられており、該定義
に従って被疑者候補が検出される（特開平１０−６６０
５５号公報参照）。

【０００５】

【発明が解決しようとする課題】しかしながら、前記従
来の監視システムの被疑者検出手段においては、店舗に
入店後にキャッシュレジスタを通らないで退店した移動
者が被疑者候補として定義づけられて、検出されるよう
になっている。ところが、このような被疑者候補の定義
であると、万引きを行った可能性がある被疑者候補を常
に検出することができるとは限らない。例えば、商品Ａ
と商品Ｂとを手に取り、商品Ｂだけの勘定を済ませてそ
のまま立ち去り、結果として商品Ａの万引きを行った人
物の場合等は、被疑者候補として検出されることがな
い。

【０００６】また、このような定義に当てはまる被疑者
候補から監視者が目視で被疑者を確認する場合でも、こ
のような被疑者候補の数が非常に多いので、目視で被疑
者を確認するために監視者が多大の労力を費やす必要が
ある。

【０００７】さらに、監視画像に死角があると、来店者
が商品を手に取ったかどうかを監視者の目視でも確認す
ることができない場合があるので、被疑者検出手段にお
いて常に正しく自動的に被疑者を検出することは困難で
ある。

【０００８】また、前記領域指定手段においては、監視
者が監視画像中から被疑者領域を指定しなければならな
いので、監視者の労力を要してしまう。

【０００９】さらに、監視画像から来店者である店舗内
の人物の万引きを行った可能性の情報だけでなく、様々
な情報、例えば、購買傾向や平均購買金額等の情報を得
ることができると、各来店者毎に適切に応接したりサー
ビスを提供することができるようになり、様々な分野に
おいて応用することができる。例えば、銀行やホテルな
どでＶＩＰユーザを検出して、ＶＩＰユーザ向けに特別
なサービス（一般の行列に並ばせないなど）を提供した
り、レンタルビデオ店や本屋などで、来店者の嗜（し）
好傾向に合わせた新作情報などの店内放送を行うサービ
スなどを提供することができる。ところが、前記従来の
監視システムにおいては、万引き等を行った被疑者の検
出だけしか行うことができない。

【００１０】本発明は、前記従来の監視システムの問題
点を解決して、監視画像から人物の検出、追跡及び行動
認識を行って各人物の行動テーブルを作成し、該行動テ
ーブルから特定の行動を行った人物を検索し、検索され
た人物が再度来店した時に検出するようにすることによ
って、様々な分野において様々な特定人物の検出を行う
ことができる監視システム及び方法を提供することを目
的とする。

【００１１】

【課題を解決するための手段】そのために、本発明の監
視システムにおいては、監視画像に映った人物の行動を
認識し、該行動に基づいて記録事項を編集加工可能な形
態で作成して人物行動テーブルに記録する記録部と、前
記人物行動テーブルに記録された記録事項に基づいて特
定人物を検索し、該人物の情報、及び、前記人物を検索
する項目が記録された特定人物テーブルを作成する特定
部と、前記特定人物テーブルに情報が記録された人物を
監視画像から検出する検出部とを有する。

【００１２】本発明の他の監視システムにおいては、監
視画像に映った人物の行動を認識し、該行動に基づいて
記録事項を編集加工可能な形態で作成して人物行動テー
ブルに記録する記録部、前記記録事項を含む情報の送信
及び受信を行う第１の送受信部、及び、前記監視画像に
映った特定人物を検出する検出部を備えるクライアント
部と、前記情報の送信及び受信を行う第２の送受信部、
前記記録事項が編集加工可能な形態で記録される人物行
動テーブルを格納するデータベース部、及び、前記人物
行動テーブルに記録された記録事項に基づいて特定人物
を検索し、該人物の情報、及び、前記人物を検索する項
目を出力する特定部を備えるサーバ部とを有し、前記ク
ライアント部とサーバ部とがネットワークを介して接続
され、必要な情報を通信することによって特定人物の検
出を行う。

【００１３】本発明の更に他の監視システムにおいて
は、監視画像を含む情報の送信及び受信を行う第１の送
受信部、及び、前記監視画像に映った特定人物を検出す
る検出部を備えるクライアント部と、前記監視画像を含
む情報の送信及び受信を行う第２の送受信部、前記監視
画像に映った人物の行動を認識し、該行動に基づいて記
録事項を編集加工可能な形態で作成して人物行動テーブ
ルに記録する記録部、前記人物行動テーブル及び前記監
視画像を格納するデータベース部、並びに、前記人物行
動テーブルに記録された記録事項に基づいて特定人物を
検索し、該人物の情報、及び、前記人物を検索する項目
を出力する特定部を備えるサーバ部とを有し、前記クラ
イアント部とサーバ部とがネットワークを介して接続さ
れ、必要な情報を通信することによって特定人物の検出
を行う。

【００１４】本発明の更に他の監視システムにおいて
は、監視画像を含む情報の送信及び受信を行う第１の送
受信部、及び、前記監視画像に映った特定人物を検出し
た結果を出力する検出結果出力部を備えるクライアント
部と、前記監視画像を含む情報の送信及び受信を行う第
２の送受信部、前記監視画像に映った人物の行動を認識
し、該行動に基づいて記録事項を編集加工可能な形態で
作成する記録部、前記記録事項が編集加工可能な形態で
記録される人物行動テーブル、監視画像、及び、検出す
べき特定人物の情報が記録される特定人物テーブルを格
納するデータベース部、前記人物行動テーブルに記録さ
れた記録事項に基づいて特定人物を検索し、該人物の情
報、及び、前記人物を検索する項目を出力する特定部、
並びに、前記監視画像に映った特定人物を前記特定人物
テーブルに記録された情報に基づいて検出する特定人物
検出部を備えるサーバ部とを有し、前記クライアント部
とサーバ部とがネットワークを介して接続され、必要な
情報を通信することによって特定人物の検出を行う。

【００１５】本発明の更に他の監視システムにおいて
は、さらに、前記記録部は、前記監視画像から人物を検
出して追跡する検出・追跡部、前記人物の姿勢と行動と
を認識する姿勢・行動認識部、及び、該姿勢・行動認識
部の認識結果を編集加工可能な形態に加工する行動記録
作成部を備える。

【００１６】本発明の更に他の監視システムにおいて
は、さらに、前記特定部は、前記人物行動テーブルに記
録された記録事項に基づいて特定人物を検索する特定人
物検索部、及び、検索するための人物情報の入出力を行
う入出力部を備える。

【００１７】本発明の更に他の監視システムにおいて
は、さらに、前記検出部は、前記特定人物テーブルに情
報が記録されている特定人物を前記監視画像から検出す
るための特定人物検出部、及び、検出された結果を表示
する検出結果出力部を備える。

【００１８】本発明の更に他の監視システムにおいて
は、さらに、前記第１の送受信部は、前記特定人物に関
する情報を含む情報の入出力を行う入出力部、及び、前
記情報を前記ネットワークを介して前記サーバ部と通信
する情報送受信部を備える。

【００１９】本発明の更に他の監視システムにおいて
は、さらに、前記第１及び第２の送受信部は、画像通信
を行う機能を備える。

【００２０】本発明の更に他の監視システムにおいて
は、さらに、前記データベース部は、クライアント部毎
の前記人物行動テーブルを備える。

【００２１】本発明の更に他の監視システムにおいて
は、さらに、前記データベース部は、クライアント部毎
の前記人物行動テーブル及び画像データベースを備え
る。

【００２２】本発明の更に他の監視システムにおいて
は、さらに、前記データベース部は、クライアント部毎
の前記人物行動テーブル、画像データベース、及び、特
定人物テーブルを備える。

【００２３】本発明の更に他の監視システムにおいて
は、さらに、前記人物行動テーブルは、前記人物の顔貌
（ぼう）、全身像、行動、位置する場所及び時刻を含
む。

【００２４】本発明の更に他の監視システムにおいて
は、さらに、前記特定人物テーブルは、前記人物行動テ
ーブルに記録された記録事項及び前記人物が分類される
項目を含む。

【００２５】本発明の更に他の監視システムにおいて
は、さらに、前記検出結果出力部は、検出された人物が
分類される項目が画像、音声、警告音のいずれか一つ、
又は、画像、音声、警告音の組合せによって識別するこ
とができるように出力する。

【００２６】本発明の監視方法においては、クライアン
ト部において、監視画像に映った人物の行動を認識し、
該行動に基づいて記録事項を編集加工可能な形態で作成
し、前記記録事項を記録するとともにサーバ部に送信
し、該サーバ部において、前記記録事項を記録するとと
もに該記録事項に基づいて特定人物を検索して、その検
索された特定人物の情報を前記クライアント部に送信
し、該クライアント部において、前記特定人物の情報に
基づいて前記特定人物を前記監視画像から検出する。

【００２７】本発明の他の監視方法においては、クライ
アント部において、監視画像をサーバ部に送信し、該サ
ーバ部において、前記監視画像に映った人物の行動を認
識し、該行動に基づいて記録事項を編集加工可能な形態
で作成し、前記記録事項を記録するとともに該記録事項
に基づいて特定人物を検索して、その検索された特定人
物の情報を前記クライアント部に送信し、該クライアン
ト部において、前記特定人物の情報に基づいて前記特定
人物を前記監視画像から検出する。

【００２８】本発明の監視プログラムにおいては、コン
ピュータを、監視画像に映った人物の行動を認識し、該
行動に基づいて記録事項を編集加工可能な形態で作成し
て人物行動テーブルに記録する記録部、前記記録事項を
含む情報の送信及び受信を行う第１の送受信部、及び、
前記監視画像に映った特定人物を検出する検出部を備え
るクライアント部、並びに、前記情報の送信及び受信を
行う第２の送受信部、前記記録事項が編集加工可能な形
態で記録される人物行動テーブルを格納するデータベー
ス部、及び、前記人物行動テーブルに記録された記録事
項に基づいて特定人物を検索し、該人物の情報、及び、
前記人物を検索する項目を出力する特定部を備えるサー
バ部として機能させ、前記クライアント部とサーバ部と
が必要な情報を通信することによって特定人物の検出を
行うようにする。

【００２９】本発明の他の監視プログラムにおいては、
コンピュータを、監視画像を含む情報の送信及び受信を
行う第１の送受信部、及び、前記監視画像に映った特定
人物を検出する検出部を備えるクライアント部、並び
に、前記監視画像を含む情報の送信及び受信を行う第２
の送受信部、前記監視画像に映った人物の行動を認識
し、該行動に基づいて記録事項を編集加工可能な形態で
作成して人物行動テーブルに記録する記録部、前記人物
行動テーブル及び前記監視画像を格納するデータベース
部、並びに、前記人物行動テーブルに記録された記録事
項に基づいて特定人物を検索し、該人物の情報、及び、
前記人物を検索する項目を出力する特定部を備えるサー
バ部として機能させ、前記クライアント部とサーバ部と
が必要な情報を通信することによって特定人物の検出を
行うようにする。

【００３０】

【発明の実施の形態】以下、本発明の実施の形態につい
て図面を参照しながら詳細に説明する。

【００３１】図１は本発明の第１の実施の形態における
監視システムの構成を示すブロック図である。

【００３２】図において、１０は監視場所を撮影するた
めの監視カメラ、１１は該監視カメラ１０によって撮影
された監視画像から人物の行動を認識して記録する記録
部、２１は該記録部１１の結果から検出すべき人物を特
定する特定部、３１は監視画像と特定部２１の結果とか
ら特定人物を検出する検出部である。

【００３３】ここで、前記監視カメラ１０は、一般に、
工業用の監視カメラを使用するが、監視画像として動画
を撮影する機能を有するものであれば、放送局用のテレ
ビカメラであっても、家庭用のビデオカメラであっても
よく、いかなる形態のものであってもよい。また、前記
監視カメラ１０は、例えば、コンビニエンスストア、ス
ーパーマーケット、デパート、ホームセンタ、ショッピ
ングセンタ等の商業施設、銀行、信用金庫等の金融機
関、鉄道の駅、鉄道車両、地下道、バス、飛行場等の交
通機関、劇場、テーマパーク、遊園地等の娯楽施設、ホ
テル、旅館等の宿泊施設、食堂、レストラン等の飲食施
設、学校、官庁等の公共施設、個人住宅、集合住宅等の
住宅施設、一般の建造物における玄関ホール、エレベー
タ等の建物内部、工事現場、工場等の作業施設等に配設
されるが、その他いかなる施設や場所に配設されてもよ
い。

【００３４】なお、本実施の形態においては、前記監視
カメラ１０がコンビニエンスストアのような商店に配設
された例について説明する。

【００３５】まず、前記記録部１１について説明する。

【００３６】図２は本発明の第１の実施の形態における
記録部の構成を示すブロック図である。

【００３７】図に示されるように、前記記録部１１は、
監視カメラ１０によって撮影された監視画像から各人物
を検出・追跡するための検出・追跡部１２、検出・追跡
された各人物の姿勢と行動とを認識する姿勢・行動認識
部１３、各人物の姿勢と行動とを記録する行動記録作成
部１４、及び、人物行動テーブル１５を有する。そし
て、該行動記録作成部１４によって作成された各人物の
行動記録が人物行動テーブル１５に記録されるようにな
っている。

【００３８】次に、前記特定部２１について説明する。

【００３９】図３は本発明の第１の実施の形態における
特定部の構成を示すブロック図である。

【００４０】図に示されるように、前記特定部２１は、
特定すべき人物の特徴情報の入力、検索結果の出力を行
う入出力部２３、特定すべき人物の特徴情報に一致する
人物を人物行動テーブル１５から検索する特定人物検索
部２２、及び、特定人物テーブル２４を有する。そし
て、該特定人物検索部２２によって検索された特定すべ
き人物の特徴が特定人物テーブル２４に記録されるよう
になっている。

【００４１】次に、前記検出部３１について説明する。

【００４２】図４は本発明の第１の実施の形態における
検出部の構成を示すブロック図である。

【００４３】図に示されるように、前記検出部３１は、
監視画像から特定人物テーブル２４に記録された人物を
検出する特定人物検出部３２、及び、該特定人物検出部
３２の結果を表示する検出結果出力部３３によって構成
される。

【００４４】また、本実施の形態において前記監視シス
テムは、図示されない表示部を有する。該表示部は、Ｃ
ＲＴ、液晶ディスプレイ、プラズマディスプレイ等の表
示画面を備え、前記行動記録作成部１４において作成さ
れた人物行動テーブル１５、特定人物テーブル２４等を
前記表示画面に表示する。ここで、該表示画面は、通
常、監視カメラ１０によって撮影された画像が表示され
る表示画面であるが、別の表示画面であってもよい。な
お、前記表示画面は、テレビ受像器、パーソナルコンピ
ュータ等の他の装置の表示画面であってもよい。この場
合、前記表示部は、画像信号を前記他の装置に送信し
て、人物行動テーブル１５、特定人物テーブル２４等を
表示させる。なお、前記表示画面に表示される画像は、
動画であっても静止画であってもよい。

【００４５】さらに、前記監視システムは、図示されな
い記憶手段を有する。該記憶手段は、半導体メモリ、磁
気ディスク、磁気テープ、光ディスク、光磁気ディスク
等から成り、前記行動記録作成部１４の作成した人物行
動テーブル１５、特定人物テーブル２４等のデータ、前
記監視カメラ１０の撮影した画像等を格納する。なお、
前記記憶手段は、前記監視システムと別個に構成された
ものであってもよい。例えば、前記監視カメラ１０の撮
影した画像を格納するための記憶手段として、一般に使
用されているビデオテープレコーダを前記監視システム
に接続して使用することもできる。

【００４６】次に、前記構成の監視システムの動作につ
いて説明する。

【００４７】図５は本発明の第１の実施の形態における
人物領域動画像の例を示す図、図６は本発明の第１の実
施の形態における人物領域射影ヒストグラムの例を示す
第１の図、図７は本発明の第１の実施の形態における人
物領域射影ヒストグラムの例を示す第２の図、図８は本
発明の第１の実施の形態における人物領域射影ヒストグ
ラムの例を示す第３の図、図９は本発明の第１の実施の
形態における人物行動テーブルの例を示す図、図１０は
本発明の第１の実施の形態における特定人物テーブルの
例を示す図、図１１は本発明の第１の実施の形態におけ
る監視システムの監視画像の例を示す図である。

【００４８】まず、記録部１１の動作について説明す
る。

【００４９】この場合、監視カメラ１０によって監視す
べき場所の画像を撮影し、その画像を記録部１１に送
る。次に、記録部１１においては、監視画像中の各人物
の行動を人物行動テーブル１５に記録する。

【００５０】このとき、前記検出・追跡部１２は、前記
監視カメラ１０から送信された監視画像を処理し、該監
視画像に映っている人物の検出・追跡処理を行い、前記
人物について監視画像から切り出した人物領域動画像、
及び、前記監視画像の人物領域の追跡結果から得られる
軌跡情報を出力する。

【００５１】ここで、前記検出・追跡処理は公知であ
り、本実施の形態においては、いかなる形態の検出・追
跡処理であってもよく、例えば、連続画像間でオプティ
カルフロー等の動き情報を利用して移動物体を検出し、
その動きの特徴から人物の判定及び追跡を行う手法など
も利用することができる。ここでは、差分・二値化処理
を利用する検出・追跡処理について説明する。

【００５２】まず、人物が映っていない背景画像と入力
された入力画像とで差分・二値化処理を行って変化領域
を抽出する。そして、該変化領域の形状、大きさ、テク
スチャ等の特徴量を利用して、前記変化領域が人物か否
かを判定することによって、人物の検出を行う。続い
て、前記特徴量を利用した対応付けを行い、人物領域の
追跡を行う。

【００５３】そして、このような人物の検出・追跡処理
によって、前記検出・追跡部１２においては、図５に示
されるように、ある人物について入力画像から切り出し
た人物領域動画像、及び、前記入力画像の人物領域の追
跡結果から得られる軌跡情報（例えば、監視画像中にお
ける人物領域の重心の移動の軌跡等）を得ることができ
る。前記人物領域動画像及び軌跡情報は出力されて姿勢
・行動認識部１３に送信される。

【００５４】さらに、該姿勢・行動認識部１３は、前記
検出・追跡部１２から送信された人物領域動画像と軌跡
情報とから前記人物の姿勢及び行動の認識を行い、前記
軌跡情報に基づいて前記人物が移動中であるか又は停止
中であるかを判定し、それぞれの状態に応じて前記人物
の姿勢及び行動の認識を行う。

【００５５】まず、前記人物が移動中である場合、少な
くとも移動の開始位置及び終了位置、並びに、移動の開
始時刻及び終了時刻を必ず認識する。ここで、前記移動
の開始位置は、停止状態から変化した位置（停止中から
移動を開始した位置）、又は、監視画像中にその人物が
現れた画像中の位置を表すものである。

【００５６】また、前記移動の開始位置及び終了位置、
並びに、移動の開始時刻及び終了時刻の他にも、移動の
速度に基づいて該移動が歩行であるか又は走行であるか
を分類して認識したり、移動中の動作を認識したりする
ことができる。なお、前記歩行であるか又は走行である
かの分類については、歩行と走行との二つに分類するだ
けでなく、速さに応じて、例えば、歩行１、歩行２、
…、走行１、走行２、…等に細分化することができる。
また、移動中の動作の認識については、後述される動作
認識手法等を利用する。

【００５７】次に、停止中である場合は、停止位置、停
止時間、姿勢、動作について認識処理を行う。まず、停
止位置は、前記移動の終了位置と一致するもので、画像
中の位置の情報を示すものである。また、姿勢について
の認識処理においては、主に「立ち姿勢」、「かがみ姿
勢」及び「座り姿勢」の三つの姿勢を認識して姿勢情報
とし、前記三つの姿勢に当てはまらない姿勢は「その他
の姿勢」として姿勢情報とする。ただし、該姿勢情報に
は、前記三つの姿勢以外にも必要に応じて「横たわり姿
勢」などを加えることもできる。

【００５８】ここで、姿勢の認識処理は、人物領域の形
状特徴を利用する。本実施の形態においては、人物領域
の外接矩（く）形縦横比、人物領域のＸ軸射影ヒストグ
ラム、人物領域のＹ軸射影ヒストグラムの三つの特徴を
用いる。

【００５９】一般に、「立ち姿勢」の人物を正面から捉
えた場合、該人物の人物領域に外接する矩形の縦と横と
の割合である外接矩形縦横比は図６（ａ）のように示さ
れ、人物領域の縦方向の射影であるＸ軸射影ヒストグラ
ムは図６（ｂ）のように示され、人物領域の横方向の射
影であるＹ軸射影ヒストグラムは図６（ｃ）のように示
される。

【００６０】また、「立ち姿勢」の人物を横から捉えた
場合、該人物の人物領域の外接矩形縦横比は図７（ａ）
のように示され、人物領域の縦方向の射影であるＸ軸射
影ヒストグラムは図７（ｂ）のように示され、人物領域
の横方向の射影であるＹ軸射影ヒストグラムは図７
（ｃ）のように示される。

【００６１】さらに、「かがみ姿勢」の人物を横から捉
えた場合、該人物の人物領域の外接矩形縦横比は図８
（ａ）のように示され、人物領域の縦方向の射影である
Ｘ軸射影ヒストグラムは図８（ｂ）のように示され、人
物領域の横方向の射影であるＹ軸射影ヒストグラムは図
８（ｃ）のように示される。

【００６２】このように、人物領域の外接矩形縦横比、
Ｘ軸射影ヒストグラム及びＹ軸射影ヒストグラムは、人
物の姿勢によって特徴が異なるので、前記人物領域の外
接矩形縦横比、Ｘ軸射影ヒストグラム及びＹ軸射影ヒス
トグラムの特徴に基づいて前記人物の姿勢を認識するこ
とができる。すなわち、あらかじめ、各姿勢に対応する
前記人物領域の外接矩形縦横比、Ｘ軸射影ヒストグラム
及びＹ軸射影ヒストグラムを姿勢認識用モデルとして記
憶手段に格納しておき、前記姿勢認識用モデルと比較す
ることによって、監視画像に映った人物の姿勢を認識す
ることができる。

【００６３】なお、図６及び７に示されるように、同じ
姿勢であっても向きによって前記人物領域の外接矩形縦
横比、Ｘ軸射影ヒストグラム及びＹ軸射影ヒストグラム
の形状が異なるので、前記姿勢認識用モデルは各向き毎
に用意する必要がある。また、向き毎の姿勢認識用モデ
ルに基づいて、前記人物の姿勢とともに向きも認識する
ことができるので、該向きも前記姿勢情報に加えること
ができる。

【００６４】次に、動作についての認識処理において
は、まず、前記姿勢の認識処理において得られた姿勢情
報と該姿勢情報を得るために利用した人物領域の形状特
徴とを利用して人物の上半身領域を検出する。そして、
該上半身領域について動作認識処理を行う。ここで、前
記動作認識処理としては、例えば、ジェスチャ固有空間
を用いて、あらかじめ登録した複数のテンプレート画像
と、入力された人物領域画像とを比較して相違度を求
め、該相違度に基づいて、腕などの一部分の一致度を算
出する手法（特開平１０−３５４４号公報参照）を利用
する。これにより、人物の上半身、特に腕の動作を認識
することができる。なお、このような手法によって認識
されなかった動作は、その他の動作として分類される。

【００６５】続いて、姿勢・行動認識部１３において
は、前記人物の姿勢及び前記人物のいる場所に基づい
て、前記人物の行動を特定する。すなわち、姿勢及び場
所によって絞り込むことで、認識された動作がどのよう
な行動を意味するのかを特定する。

【００６６】この場合、監視カメラ１０によって撮影さ
れる範囲はあらかじめ定められているので、該範囲と人
物の移動の開始位置及び終了位置とによって、人物が行
動をとっている場所を特定することができる。そして、
人物の姿勢及び行動の認識結果によって、前記人物の行
動を特定することができる。例えば、コンビニエンスス
トアのような商店の場合であれば、商店の入口から本や
雑誌を販売している書籍部まで歩行するという行動、前
記書籍部において立ち読みするという行動等を特定する
ことができる。

【００６７】このように、姿勢・行動認識部１３におい
ては、検出・追跡部１２から送信される人物領域動画像
と軌跡情報とから、監視画像に映る各人物の姿勢及び行
動の認識を行い、検出された各人物毎に、「いつ」、
「どこで」、「何をしたか」という認識結果を得ること
ができる。そして、前記認識結果及び人物領域動画像は
出力され、行動記録作成部１４に送信される。

【００６８】そして、該行動記録作成部１４は、前記姿
勢・行動認識部１３から送信される前記人物の姿勢及び
行動の認識結果と人物領域動画像とから、図９に示され
るような人物行動テーブル１５を作成する。図９に示さ
れるような人物行動テーブルは、検出された各人物毎
に、「いつ」、「どこで」、「何をしたか」をテキスト
データによって記述するようになっており、場所や行動
が変化する度に記録されるようになっている。

【００６９】この場合、前記姿勢・行動認識部１３の認
識結果から、人物が行動をとっている場所を記録するこ
とができる。そして、移動の開始時刻及び終了時刻によ
って、前記人物が特定の場所にいた時刻や経過時間を記
録することができ、さらに前記人物の行動も記録するこ
とができる。例えば、コンビニエンスストアのような商
店の場合であれば、図９に示されるように、人物０００
０１が、商店の入口から本や雑誌を販売している書籍部
まで移動したこと、それぞれの場所にいた時刻、経過時
間、それぞれの場所での行動を記録することができる。

【００７０】ここで、前記場所、行動等のテーブルに含
まれる記録事項は、編集したり加工したりすることが可
能なテキストデータの形態で記録されるので、後で必要
に応じて編集したり加工したりすることによって、種々
の用途に利用することができる。例えば、キーワード検
索によって、所望の記録事項を容易に見つけ出したり、
所望の観点に基づいて記録事項を分類したり、統計デー
タを作成したりすることもできる。

【００７１】なお、前記記録事項を記録する形態は、テ
キストデータ以外であっても、編集加工可能なものであ
れば、いかなるものであってもよい。また、記録事項の
全てが必ずしも編集加工可能な形態で記録されていなく
てもよい。

【００７２】そして、行動記録作成部１４においては、
必要に応じて送られてくる人物領域動画像から人物の顔
領域を検出し、その動画像中で最も正面を向いている顔
画像を選び出し、前記人物の特徴を表す顔のデータ、す
なわち、顔貌として、図９に示されるように、人物行動
テーブル中に記録事項として記録する。なお、前記顔貌
も、図９に示されるように、画像データの形態で記録さ
れてもよいし、顔形や顔つきを丸顔、面長、切れ長の目
等のように言葉で表現されたテキストデータの形態で記
録されてもよい。また、人物の顔画像の対応を行う顔画
像テーブルを作成したりすることもできる。

【００７３】その結果、人物行動テーブル１５には、図
９に示されるように、監視画像中の各人物が、監視範囲
内において、「いつ」、「どこで」、「何をしたか」の
情報がテキストデータによって記録され、更に各人物の
顔画像も記録される。

【００７４】なお、人物行動テーブル１５は必ずしもテ
キストデータで記録する必要はなく、人物行動テーブル
１５の内容を検索することができる形態であればいかな
るものであってもよい。また、人物行動テーブル１５に
記録される内容についても、常にすべての項目を記録す
る必要はなく、状況に応じて記録する項目、例えば、
「何をしたか」の情報を省いたりすることもできる。

【００７５】さらに、記録される顔画像は正面を向いた
顔画像を選択して記録してもよいが、すべての顔画像を
記録してもよい。また、顔画像だけでなく、各人物の全
身像を合わせて記録するようにしてもよい。

【００７６】このようにして、記録部１１は、監視画像
が監視カメラ１０から入力され続ける限り、画像中の各
人物の行動、及び、顔画像や全身画像などを人物行動テ
ーブル１５に記録し続けるようになっている。

【００７７】そして、人物行動テーブル１５に所定の人
数以上の、又は、所定の期間以上の人物の行動が記録さ
れると、特定部２１において、検出したい人物の情報が
入出力部２３を介して入力される。すると、特定人物検
索部２２において、前記情報に一致する人物が人物行動
テーブル１５から検索される。

【００７８】次に、前記構成の監視システムの全体的な
動作について説明する。ここでは、例えば、万引きを行
った可能性がある人物、すなわち、万引き被疑者を検出
する場合の動作について説明する。

【００７９】まず、監視者は、商品の陳列状況や売上げ
情報等に基づいて、万引きされた商品を特定し、次い
で、該商品が万引きされたと思われる時間を推定する。

【００８０】なお、前記監視者は、例えば、商店の店
員、店主、警備担当者等であり、監視システムを操作す
る者である。

【００８１】この場合、前記時間、すなわち、万引き推
定時間は、例えば、Ｘ時〜Ｙ時のように指定される。そ
して、前記万引き推定時間において、前記商品が陳列さ
れている付近に立ち寄った人物を検索するための検索項
目が入出力部２３から前記監視者によって入力される。
すると、特定人物検索部２２は、人物行動テーブル１５
にアクセスし、該人物行動テーブル１５の記録事項を前
記検索項目に従って検索することによって、万引き被疑
者を検索する。そして、その結果は一旦入出力部２３に
出力される。

【００８２】このとき、前記検索の結果として、多数の
被疑者が検索された場合、別の検索項目、例えば、別の
日に万引きが行われた可能性がある商品の陳列場所及び
時間を検索項目として指定し、ａｎｄ（アンド）条件で
検索することによって、前記被疑者を絞り込むことがで
きる。また、最初に検索された被疑者の全来店記録を参
照したりすることによっても、絞り込むことができる。
これにより、万引き被疑者を特定人物として特定するこ
とができる。

【００８３】また、万引き被疑者を特定するため以外に
も、平均購買金額が高額な人物や、特定の種類の商品を
買う傾向がある人物を検索して、特定人物として特定す
ることもできる。そして、特定人物として特定するため
の観点を特定人物が分類される項目として、図１０に示
されるように、特定人物テーブル２４に格納することが
できる。

【００８４】このようにして、様々な条件で検索して特
定された特定人物の記録事項は最終結果として、特定人
物テーブル２４に書き込まれる。該特定人物テーブル２
４は、図１０に示されるように、特定人物が分類される
項目毎に、該項目に属する特定人物の記録事項を格納し
ている。そして、前記特定人物テーブル２４に記録され
る記録事項としての特定人物の情報は、人物行動テーブ
ル１５の記録事項から抽出されたものであってもよい。
さらに、前記人物行動テーブル１５の記録事項である顔
画像や全身画像を解析し、該顔画像や全身画像の特徴量
を言葉で記述したテキストデータを、特定人物を特定す
るために必要な新しい記録事項として、入出力部２３を
介して書き加えてもよい。

【００８５】さらに、該入出力部２３を介して、特定人
物の情報を特定人物テーブル２４に直接書き込むことも
でき、また、特定人物テーブル２４に書き込まれた記録
事項を直接削除することもできる。

【００８６】このように、前記特定部２１においては、
人物行動テーブル１５の記録事項を検索項目に従って検
索し、特定人物を特定する。そして、特定された該特定
人物の情報が記録事項として特定人物テーブル２４に書
き込まれる。

【００８７】次に、検出部３１においては、特定人物テ
ーブル２４に書き込まれた特定人物を監視画像中から検
出する。

【００８８】まず、特定人物検出部３２は、前記記録部
１１の検出・追跡部１２と同様に、監視画像から人物の
人物領域を検出・追跡する。そして、検出された人物領
域の特徴が特定人物テーブル２４に書き込まれた特定人
物の特徴と一致するかどうかを調べる。例えば、特定人
物の顔画像が、該特定人物の特徴として特定人物テーブ
ル２４に書き込まれていると、該特定人物テーブル２４
中の顔画像と、監視画像中の人物領域における顔画像と
が一致するか否かを比較して判定する。

【００８９】そして、前記特定人物テーブル２４中の顔
画像と監視画像中の人物領域における顔画像とが一致す
ると判定された場合、該当する特定人物が分類される項
目、例えば、万引き被疑者であるか、高額購買者である
か等と共に、検出結果として検出結果出力部３３から出
力する。該検出結果は、図１１に示されるように、監視
画像中に検出された人物が分類される項目の注釈を付け
て表示することもでき、また、音声や警告音などによっ
て出力することもでき、さらに、これらを組み合わせる
こともできる。

【００９０】このように、本実施の形態においては、記
録部１１において、各人物の行動を人物行動テーブル１
５に記録し、特定部２１において、前記人物行動テーブ
ル１５の記録事項に基づいて、監視画像から万引き被疑
者のように特定したい人物を検索し、該特定人物の記録
事項を特定人物が分類される項目毎に特定人物テーブル
２４に書き込み、検出部３１において、その特定人物テ
ーブル２４の記録事項に基づいて特定人物を検出するよ
うになっている。

【００９１】そのため、検索項目を入力すると人物行動
テーブル１５の記録事項に基づいて検索が行われるの
で、万引き被疑者のような特定人物を高い精度で検索し
て特定することができる。

【００９２】また、監視者が検索項目を入力するだけ
で、特定人物を高い精度で検索して特定し、検出部３１
において、特定人物テーブル２４の記録事項に基づい
て、前記特定人物を検出することができる。そのため、
監視画像を目視して被疑者を確認する必要がなく、ま
た、監視画像中から特定人物領域を指定するための物体
領域を指定する必要もないので、監視者の労力を低減す
ることができ、省力化することができる。

【００９３】さらに、監視画像から特定人物の項目、例
えば、万引き被疑者であるか、高額購買者であるか等を
複数設定することができるので、様々な対応を行うこと
ができる。

【００９４】次に、本発明の第２の実施の形態について
説明する。なお、第１の実施の形態と同じ構造を有する
もの及び同じ動作については、その説明を省略する。

【００９５】図１２は本発明の第２の実施の形態におけ
る監視システムの構成を示すブロック図、図１３は本発
明の第２の実施の形態における記録部の構成を示すブロ
ック図、図１４は本発明の第２の実施の形態における検
出部の構成を示すブロック図である。

【００９６】前記第１の実施の形態においては、監視カ
メラ１０が単数の場合について説明したが、本実施の形
態においては、人物を３次元的に撮影するために、監視
カメラ１０が複数となっている。この場合、監視カメラ
１０は、複数台の監視カメラ１０−１、１０−２、…、
１０−ｎによって構成される。該複数台の監視カメラ１
０−１、１０−２、…、１０−ｎによって同じ場所を撮
影することにより、監視画像中の人物を３次元的に捉え
て追跡したり、複数台の監視カメラ１０−１、１０−
２、…、１０−ｎによって異なる場所を撮影し、かつ、
広域にわたって人物を追跡したりすることによって、各
人物についてより多くの情報を得ることができるように
なっている。

【００９７】また、図１３に示されるように、記録部４
１は、複数台の監視カメラ１０−１、１０−２、…、１
０−ｎによって撮影された監視画像から各人物を３次元
的に検出して追跡するための検出・追跡部４２を有す
る。

【００９８】さらに、図１４に示されるように、検出部
５１は、複数台の監視カメラ１０−１、１０−２、…、
１０−ｎによって撮影された監視画像から特定人物テー
ブル２４に記録された人物を検出する特定人物検出部５
２を有する。

【００９９】次に、前記構成の監視システムの動作につ
いて説明する。

【０１００】まず、複数台の監視カメラ１０−１、１０
−２、…、１０−ｎによって異なる角度から撮影された
監視画像が検出・追跡部４２に送られると、該検出・追
跡部４２においては異なる角度から撮影された画像を利
用して人物の検出及び追跡を行う（信学技報、ＰＲＭＵ
９９−１５０号（１９９７年１１月発行）「非同期多視
点画像を用いた複数人物追跡の安定化」（Ｈｏｗａｒｄ
Ｙａｎｇ他）参照）。

【０１０１】続いて、人物が検出された後は、姿勢・行
動認識部１３において各人物の姿勢と行動とが認識さ
れ、行動記録作成部１４において各人物の行動記録が人
物行動テーブル１５に記録される。この場合、人物行動
テーブル１５に記録される顔画像又は全身画像は、異な
る方向から撮影された複数の画像が記録される。

【０１０２】また、特定部２１においては、前記第１の
実施の形態と同様の処理が行われる。ただし、特定人物
テーブル２４の人物データは異なる角度から撮影された
顔画像等が記録されている。

【０１０３】そして、検出部５１においては、異なる角
度から撮影された監視画像から特定人物テーブル２４の
人物データを用いて特定人物の検出を行う。

【０１０４】このように、本実施の形態においては、複
数台の監視カメラ１０−１、１０−２、…、１０−ｎに
よって撮影された異なる角度の監視画像から各人物の情
報を得ることができるので、特定人物の検出を高精度に
行うことができる。

【０１０５】次に、本発明の第３の実施の形態について
説明する。なお、第１及び第２の実施の形態と同じ構造
を有するもの及び同じ動作については、その説明を省略
する。

【０１０６】図１５は本発明の第３の実施の形態におけ
る監視システムの構成を示すブロック図、図１６は本発
明の第３の実施の形態における記録部の構成を示すブロ
ック図、図１７は本発明の第３の実施の形態における送
受信部の構成を示すブロック図、図１８は本発明の第３
の実施の形態における検出部の構成を示すブロック図、
図１９は本発明の第３の実施の形態におけるデータベー
ス部の構成を示すブロック図、図２０は本発明の第３の
実施の形態における特定部の構成を示すブロック図であ
る。

【０１０７】本実施の形態において監視システムは、コ
ンピュータとしてのクライアントから成るクライアント
部６０、及び、コンピュータとしてのサーバから成るサ
ーバ部９０を有する。

【０１０８】ここで、前記クライアント部６０は、ＣＰ
Ｕ、ＭＰＵ等の演算手段、磁気ディスク、半導体メモリ
等の記憶手段、キーボード等の入力手段、ＣＲＴ、液晶
ディスプレイ等の表示手段、通信インターフェイス等を
備えるコンピュータである。該クライアント部６０は、
例えば、専用機、パーソナルコンピュータ、携帯情報端
末等であるが、ＰＤＡ（ＰｅｒｓｏｎａｌＤｉｇｉｔ
ａｌＡｓｓｉｓｔａｎｔ）、携帯電話機等であっても
よく、商店に配設されるレジスター機、ＰＯＳ（Ｐｏｉ
ｎｔｏｆＳａｌｅｓ）端末、キオスク端末等であっ
てもよく、金融機関のＡＴＭ機、ＣＤ機等であってもよ
く、いかなる形態のものであってもよい。

【０１０９】また、前記サーバ部９０は、ＣＰＵ、ＭＰ
Ｕ等の演算手段、磁気ディスク、半導体メモリ等の記憶
手段、キーボード等の入力手段、ＣＲＴ、液晶ディスプ
レイ等の表示手段、通信インターフェイス等を備えるコ
ンピュータであり、例えば、汎（はん）用コンピュー
タ、ワークステーション等であるが、パーソナルコンピ
ュータであってもよく、いかなる形態のものであっても
よい。そして、前記サーバ部９０は、独立して構成され
るものであってもよく、複数のコンピュータを有機的に
結合した分散型サーバであってもよく、金融機関やＰＯ
Ｓシステムのホストコンピュータのような大型のコンピ
ュータと一体的に構成されたものであってもよく、大型
のコンピュータ内に構築された複数のシステムの中の１
つであってもよい。

【０１１０】この場合、クライアント部６０とサーバ部
９０とがネットワーク７０によって接続されていて、サ
ーバ部９０には複数のクライアント部６０を接続するこ
とができるようになっている。なお、前記ネットワーク
７０は、有線又は無線のいかなる通信回線網であっても
よく、例えば、公衆通信回線網、専用通信回線網、イン
ターネット、イントラネット、ＬＡＮ（ＬｏｃａｌＡ
ｒｅａＮｅｔｗｏｒｋ）、ＷＡＮ（ＷｉｄｅＡｒｅ
ａＮｅｔｗｏｒｋ）、衛星通信回線網、携帯電話回線
網、ＣＳ放送網等であってもよく、また、複数種類の回
線網を適宜組み合わせたものであってもよい。

【０１１１】なお、機能的には、サーバ部９０が前記第
１及び第２の実施の形態において説明した特定部２１の
機能を有し、複数のクライアント部６０からの情報を一
括して管理・処理することができるようになっている。

【０１１２】また、クライアント部６０は、記録部６
１、第１の送受信部としての送受信部７１及び検出部８
１を有し、サーバ部９０は、第２の送受信部としての送
受信部９１、データベース部１０１及び特定部１１１を
有する。

【０１１３】そして、前記記録部６１は、図１６に示さ
れるように、検出・追跡部１２、姿勢・行動認識部１
３、行動記録作成部６４及び人物行動テーブル１５を有
し、前記送受信部７１は、図１７に示されるように、入
出力部７２及び情報送受信部７３を有し、前記検出部８
１は、図１８に示されるように、特定人物検出部３２、
検出結果出力部３３及び特定人物テーブル８２を有す
る。

【０１１４】また、前記データベース部１０１は、図１
９に示されるように、複数の人物行動テーブル１０１−
１、１０１−２、…、１０１−ｎを有し、前記特定部１
１１は、図２０に示されるように、特定人物検索部１１
２及び入出力部２３によって構成される。

【０１１５】次に、前記構成の監視システムの動作につ
いて説明する。

【０１１６】図１５に示されるように、本実施の形態に
おける監視システムは、クライアント部６０とサーバ部
９０とがネットワーク７０によって接続された構成にな
っていて、クライアント部６０は前記第１及び第２の実
施の形態における記録部１１、４１及び検出部３１、５
１の機能を有し、サーバ部９０は特定部２１の機能を有
する。そして、前記クライアント部６０は、通常、複数
の場所に分散して設置される。例えば、異なる小売店
や、大型の小売店の異なる販売場所等である。大まかな
処理の流れとして、各クライアント部６０で検出された
各人物の情報は、サーバ部９０に送信され、サーバ部９
０に蓄積されるようになっている。

【０１１７】そして、あるクライアント部６０が、特定
人物として特定したい人物の情報、例えば、Ｘ時〜Ｙ時
に書籍部にいた人や、○月×日に書籍部で万引きを行っ
た可能性がある人、すなわち、万引き被疑者の情報を送
信すると、サーバ部９０は該情報に基づいて前記被疑者
を特定する。そして、前記サーバ部９０は、前記クライ
アント部６０に前記被疑者の情報を送信する。すると、
前記クライアント部６０は、前記被疑者の情報に基づい
て、監視画像中から前記被疑者を検出する。

【０１１８】このように、異なる場所に設置された複数
のクライアント部６０から送信されてくる情報を一つの
サーバ部９０に集めて特定人物を特定することによっ
て、特定人物の特定を、より正確に行うことができる。
また、必要に応じてある一つのクライアント部６０で検
出すべき特定人物の情報を複数のクライアント部６０に
送信することによって、別の場所でも前記特定人物を検
出することができる。

【０１１９】次に、前記クライアント部６０の動作につ
いて説明する。

【０１２０】まず、記録部６１は、前記第１の実施の形
態における記録部１１とほぼ同様の処理を行う。ただ
し、記録部６１においては、行動記録作成部６４で作成
された画像中の各人物の行動等に関する記録事項は人物
行動テーブル１５にだけ送信されるのではなく、送受信
部７１にも送信される。また、後述されるように、画像
中の各人物の行動等に関する記録事項はサーバ部９０に
も記録されることになるので、行動人物テーブル１５が
記録部６１の中に含まれなくてもよい。

【０１２１】次に、記録部６１から送信される画像中の
各人物の行動、及び、顔画像や全身画像などは、送受信
部７１における情報送受信部７３で受信される。該情報
送受信部７３は、クライアント部６０とサーバ部９０と
の間の情報の通信を処理する機能を有し、受信した前記
画像中の各人物の行動等に関する記録事項をネットワー
ク７０を介してサーバ部９０に送信する。

【０１２２】また、前記情報送受信部７３は、入出力部
７２が送信した特定人物として特定したい人物の情報、
例えば、Ｘ時〜Ｙ時に書籍部にいた人や、○月×日に書
籍部で万引きを行った可能性がある人、すなわち、万引
き被疑者の情報も受信し、サーバ部９０に送信する。さ
らに、前記情報送受信部７３は、サーバ部９０から送信
される検出すべき特定人物の情報を受信すると、検出部
８１に送信するようになっている。なお、前記入出力部
７２は、前記第１の実施の形態における入出力部２３と
同様の動作を行う。

【０１２３】続いて、検出部８１は、前記第１の実施の
形態における検出部３１と同様に、特定部２１で特定さ
れた特定人物の検出を行う。ただし、本実施の形態にお
いては、特定部１１１がサーバ部９０に配設されている
ので、図１８に示されるように、特定人物テーブル８２
が検出部８１に配設される。そして、特定人物テーブル
８２に記録されている特定人物を特定人物検出部３２に
よって検出し、その検出結果を検出結果出力部３３から
出力する。また、前記特定人物テーブル８２に記録され
ている人物情報はサーバ部９０から受信する。

【０１２４】次に、前記サーバ部９０の動作について説
明する。

【０１２５】まず、送受信部９１は、ネットワーク７０
を介してクライアント部６０から送信される情報を受信
し、該情報を内容毎にデータベース部１０１及び特定部
１１１に送信する。ここで、クライアント部６０から送
信されてきた情報が画像中の各人物の行動等に関する記
録事項である場合、前記情報はデータベース部１０１に
送信され、前記情報が検出したい人物の情報である場
合、前記情報は特定部１１１に送信される。また、送受
信部９１は、特定部１１１から受信した検出すべき特定
人物の情報をクライアント部６０に送信する。

【０１２６】ここで、データベース部１０１は、図１９
に示されるように、複数の人物行動テーブル１０１−
１、１０１−２、…、１０１−ｎを有し、人物行動テー
ブル１０１−１、１０１−２、…、１０１−ｎのそれぞ
れは、クライアント部６０のそれぞれに対応するように
なっている。そして、それぞれの人物行動テーブル１０
１−１、１０１−２、…、１０１−ｎには、クライアン
ト部６０で撮影された監視画像中の各人物が、監視範囲
内において、「いつ」、「どこで」、「何をしたか」の
情報がテキストデータによって記録され、更に各人物の
顔画像も記録される。

【０１２７】また、特定部１１１は、前記第１の実施の
形態における特定部２１とほぼ同様の動作を行う。ただ
し、本実施の形態において、特定人物テーブル８２は、
検出部８１に配設され、特定部１１１に配設されていな
い。さらに、前記第１の実施の形態において、特定人物
の情報は、入出力部２３を介して送受信するようになっ
ているが、本実施の形態において、特定人物の情報は、
クライアント部６０の送受信部７１から特定人物検索部
１１２に送信されるようになっている。そして、特定部
１１１の入出力部２３は、サーバ部９０において検出す
べき人物の情報を入出力する場合や、クライアント部６
０から要求がなくても、サーバ部９０において特定の人
物、例えば、不審な動作を行った人物等を自発的に検出
する場合などに利用される。

【０１２８】このようにして、複数のクライアント部６
０と一つのサーバ部９０とが情報のやり取りを行いなが
ら特定人物の検出を行う。

【０１２９】このように、本実施の形態においては、各
クライアント部６０において記録部６１及び検出部８１
の機能を、サーバ部９０において特定部１１１の機能を
実現することによって、一つのクライアント部６０だけ
で行っていた人物の特定を、より正確に行うことができ
る。

【０１３０】また、必要に応じてある一つのクライアン
ト部６０で検出すべき特定人物の情報を複数のクライア
ント部６０に送信することによって、別の場所でもその
人物を検出することができる。したがって、指名手配者
など広い地域範囲に存在する多数の小売店で検出したい
場合、万引き被疑者や高額購買者をチェーン店組織に属
するすべての小売店で検出したい場合などにも応用する
ことができる。

【０１３１】また、クライアント部６０とサーバ部９０
とで機能を分担したことによって、それぞれを異なる者
が別々に管理することができる。その結果、クライアン
ト部６０が配設される小売店等を運営する者は、サーバ
部９０を管理運営する者に対して所定の料金を支払うこ
とによって、サーバ部９０の管理作業等を行うことな
く、サーバ部９０の提供するサービスを受けることがで
きる。例えば、サーバ部９０を管理運営する者として、
人物を特定するためのノウハウを有する者、すなわち、
専門家がいれば、クライアント部６０が配設される小売
店等においては、専門家が不要となる。

【０１３２】次に、本発明の第４の実施の形態について
説明する。なお、第１〜３の実施の形態と同じ構造を有
するもの及び同じ動作については、その説明を省略す
る。

【０１３３】図２１は本発明の第４の実施の形態におけ
る監視システムの構成を示すブロック図、図２２は本発
明の第４の実施の形態における送受信部の構成を示すブ
ロック図、図２３は本発明の第４の実施の形態における
記録部の構成を示すブロック図、図２４は本発明の第４
の実施の形態におけるデータベース部の構成を示すブロ
ック図である。

【０１３４】本実施の形態における監視システムにおい
ては、前記第３の実施の形態における監視システムと同
様に、コンピュータとしてのクライアントから成るクラ
イアント部１２０と、コンピュータとしてのサーバから
成るサーバ部１３０とがネットワーク７０によって接続
されている。ただし、本実施の形態において、クライア
ント部１２０は記録部６１を有しておらず、サーバ部１
３０が記録部１３１を有する。

【０１３５】そして、クライアント部１２０は第１の送
受信部としての送受信部１２１及び検出部８１を有し、
サーバ部１３０は第２の送受信部としての送受信部１５
１、記録部１３１、データベース部１４１及び特定部１
１１を有する。

【０１３６】また、送受信部１２１は、図２２に示され
るように、入出力部１２２及び情報送受信部１２３を有
し、記録部１３１は、図２３に示されるように、検出・
追跡部１２、姿勢・行動認識部１３及び行動記録作成部
１４を有し、データベース部１４１は、図２４に示され
るように、複数の画像データベース１４１−１、１４１
−２、…、１４１−ｎ及び複数の人物行動テーブル１４
２−１、１４２−２、…、１４２−ｎを有する。

【０１３７】次に、前記構成の監視システムの動作につ
いて説明する。なお、本実施の形態の監視システムにお
いては、前記第３の実施の形態においてクライアント部
６０の記録部６１が行う処理を、クライアント部１２０
でなくサーバ部１３０の記録部１３１において行うよう
になっている。そして、それ以外の動作については、前
記第３の実施の形態と同様なので、本実施の形態におけ
る監視システムの動作については、前記第３の実施の形
態における監視システムの動作と異なる点だけについて
説明する。

【０１３８】ここで、前記第３の実施の形態において
は、クライアント部６０とサーバ部９０との間で人物の
行動等に関する記録事項が通信されるようになっている
が、本実施の形態においては画像が送信されるようにな
っている。その結果、クライアント部１２０における送
受信部１２１の構成は、前記第３の実施の形態における
送受信部７１の構成と同様であるが、画像を送受信する
ための機能としてＪＰＥＧやＭＰＥＧ４などの画像エン
コード・デコードの機能が含まれる。ただし、画像エン
コード・デコードの方法はどのようなものでもよい。

【０１３９】また、送受信部１２１は、前記第３の実施
の形態と同様に、入出力部１２２から送信されてくる検
出したい人物の情報をサーバ部１３０に送信したり、サ
ーバ部１３０から受信した検出すべき特定人物の情報を
検出部８１に送信したりする機能も有している。

【０１４０】一方、サーバ部１３０における送受信部１
５１は、クライアント部１２０における送受信部１２１
と同様の画像エンコード・デコード機能を有している。
前記送受信部１２１から受信した画像は、前記送受信部
１５１によってデコードされ、記録部１３１に送信され
る。また、送受信部１５１は、前記第３の実施の形態に
おける送受信部９１と同様に、クライアント部１２０か
ら受信した検出したい人物の情報を特定部１１１に送信
する。

【０１４１】そして、記録部１３１においては、図２３
に示されるように、前記第３の実施の形態におけるクラ
イアント部６０の記録部６１と同様に、画像中の各人物
の姿勢・行動を認識して各人物の行動等に関する記録事
項をデータベース部１４１に出力する。該データベース
部１４１は、図２４に示されるように、各クライアント
部１２０に対応した人物行動テーブル１４２−１、１４
２−２、…、１４２−ｎ及び画像データベース１４１−
１、１４１−２、…、１４１−ｎを有し、各クライアン
ト部１２０から送信された人物の行動等に関する記録事
項及び画像データを対応する人物行動テーブル１４２−
１、１４２−２、…、１４２−ｎ及び画像データベース
１４１−１、１４１−２、…、１４１−ｎに格納する。
そして、各画像データベース１４１−１、１４１−２、
…、１４１−ｎに蓄積された画像データは、特定部１１
１等で特定人物を検索する場合にも利用され、更にクラ
イアント部１２０側から特定の日時の画像データを参照
したい要求があった場合などに、前記画像データを送受
信部１５１でエンコードしてクライアント部１２０に送
信する。

【０１４２】なお、検出部８１、特定部１１１等は、前
記第３の実施の形態と同様の処理を行い、特定人物を検
出する。

【０１４３】このように、本実施の形態においては、ク
ライアント部１２０からサーバ部１３０に画像を送信
し、サーバ部１３０において一括して人物の行動等に関
する記録事項及び画像の蓄積・管理を行うことができる
ので、各クライアント部１２０における前記記録事項及
び画像の管理等の手間を省くことができる。

【０１４４】また、サーバ部１３０だけに記録部１３１
が配設されているので、バージョンアップ等のメンテナ
ンスを非常に簡単に行うことができる。さらに、クライ
アント部１２０は構成が簡素化されているので、設備コ
ストを低くすることができる。そのため、一定の費用で
あれば、より多くの場所にクライアント部１２０を配設
することができる。

【０１４５】さらに、クライアント部１２０とサーバ部
１３０とで機能を分担したことによって、それぞれを異
なる者が別々に管理することができる。その結果、クラ
イアント部１２０が配設される小売店等を運営する者
は、サーバ部１３０を管理運営する者に対して所定の料
金を支払うことにより、サーバ部１３０の管理作業等を
行うことなく、サーバ部１３０の提供するサービスを受
けることができる。例えば、人物を特定するための主な
作業、及び、監視画像の蓄積と管理とをサーバ部１３０
を管理運営する者が受け持つことができる。

【０１４６】次に、本発明の第５の実施の形態について
説明する。なお、第１〜４の実施の形態と同じ構造を有
するもの及び同じ動作については、その説明を省略す
る。

【０１４７】図２５は本発明の第５の実施の形態におけ
る監視システムの構成を示すブロック図、図２６は本発
明の第５の実施の形態におけるデータベース部の構成を
示すブロック図である。

【０１４８】この場合、本実施の形態における監視シス
テムは、前記第３及び第４の実施の形態における監視シ
ステムと同様に、クライアント部１５０とサーバ部１６
０とがネットワーク７０によって接続されている。ただ
し、本実施の形態においてはクライアント部１５０は、
検出部８１に代えて検出結果出力部３３を有し、サーバ
部１６０は特定人物検出部３２を有する。

【０１４９】そして、クライアント部１５０は、送受信
部１２１及び検出結果出力部３３を有し、サーバ部１６
０は、送受信部１５１、記録部１３１、データベース部
１６１、特定部１１１及び特定人物検出部３２を有す
る。

【０１５０】また、前記データベース部１６１は、図２
６に示されるように、複数の画像データベース１６１−
１、１６１−２、…、１６１−ｎ、複数の人物行動テー
ブル１６２−１、１６２−２、…、１６２−ｎ及び特定
人物テーブル１６３−１、１６３−２、…、１６３−ｎ
を有する。

【０１５１】次に、前記構成の特定人物検出装置の動作
について説明する。

【０１５２】この場合、前記第４の実施の形態における
検出部８１が行う処理の主なものは、本実施の形態にお
いては、サーバ部１６０で行われるようになっている。
そのために、サーバ部１６０は、特定人物の検出を行う
特定人物検出部３２及び特定人物テーブル１６３−１、
１６３−２、…、１６３−ｎを有し、クライアント部１
５０は検出結果を出力するための検出結果出力部３３を
有する。そして、それ以外の動作については、前記第４
の実施の形態と同様なので、本実施の形態における監視
システムの動作については、前記第４の実施の形態にお
ける監視システムの動作と異なる点だけについて説明す
る。

【０１５３】ここで、前記第４の実施の形態において
は、特定人物の検出がクライアント部１２０側で行われ
るようになっているが、本実施の形態においては、サー
バ部１６０側で行われるようになっている。これは、監
視画像がサーバ部１６０に送信されるので、該監視画像
を処理することによって特定人物を検出することができ
るからである。ただし、検出結果は、ネットワーク７０
を介してクライアント部１５０に送信され、検出結果出
力部３３によって出力される。

【０１５４】また、サーバ部１６０は、各クライアント
部１５０に対応した特定人物テーブル１６３−１、１６
３−２、…、１６３−ｎを作成する必要がある。そのた
め、データベース部１６１は、各クライアント部１５０
に対応した複数の特定人物テーブル１６３−１、１６３
−２、…、１６３−ｎを有し、特定人物検出部３２が前
記特定人物テーブル１６３−１、１６３−２、…、１６
３−ｎを参照して特定人物を検出するようになってい
る。

【０１５５】なお、前述された以外の点においては、前
記第３の実施の形態と同様の処理が行われ、特定人物の
検出が行われる。

【０１５６】このように、本実施の形態においては、特
定人物の検出までをサーバ部１６０において行うように
なっているので、クライアント部１５０は、画像を撮影
するための監視カメラ１０、画像及び情報の送受信をサ
ーバ部１６０との間で行うための送受信部１２１、及
び、結果を出力するための検出結果出力部３３だけ有す
る。したがって、バージョンアップ等のメンテナンスを
より簡単に行うことができる。さらに、クライアント部
１５０は構成が簡素化されているので、設備コストを低
くすることができる。そのため、一定の費用であれば、
より多くの場所にクライアント部１５０を配設すること
ができる。

【０１５７】また、クライアント部１５０とサーバ部１
６０とで機能を分担したことによって、それぞれを異な
る者が別々に管理することができる。その結果、クライ
アント部１５０が配設される小売店等を運営する者は、
サーバ部１６０を管理運営する者に対して所定の料金を
支払うことにより、サーバ部１６０の管理作業等を行う
ことなく、サーバ部１６０の提供するサービスを受ける
ことができる。

【０１５８】なお、前記第１〜第５の実施の形態におい
ては、監視システムがコンビニエンスストア等の小売店
で利用されることを想定して説明したが、本発明の監視
システムは、小売店での利用に限定されるものではな
く、デパート、ショッピングセンタ等の商業施設、銀
行、信用金庫等の金融機関、鉄道の駅、鉄道車両、地下
道、バス、飛行場等の交通機関、劇場、テーマパーク、
遊園地等の娯楽施設、ホテル、旅館等の宿泊施設、食
堂、レストラン等の飲食施設、学校、官庁等の公共施
設、個人住宅、集合住宅等の住宅施設、一般の建造物に
おける玄関ホール、エレベータ等の建物内部、工事現
場、工場等の作業施設等のいかなる施設や場所に配設さ
れてもよい。

【０１５９】さらに、本発明の監視システムは、万引き
の被疑者や指名手配者等の要注意人物の検出だけでな
く、高額購買者等の特定の消費行動パターンを示す消費
者を検出することによって、個々の消費者の消費行動を
分析することもできる。さらに、鉄道の駅等の交通機関
において特定の設備を利用する乗客を検出したり、娯楽
施設において特定の遊技施設を利用する利用者を検出し
たり、工事現場等において特定の作業を行う作業者を検
出したりすることによって、乗客、利用者、作業員等の
行動パターンを分析することができる。

【０１６０】また、前記第１〜第３の実施の形態におけ
る監視システムに監視画像を録画するための録画装置を
接続することもでき、更にその録画装置の制御を記録部
１１、４１、６１における検出・追跡部１２の人物検出
・追跡結果や姿勢・行動認識部１３の結果に基づいて制
御することもできる。例えば、人物が存在するときだけ
録画を行うように制御することができる。

【０１６１】そして、前記第３〜第５の実施の形態にお
ける監視カメラ１０を、前記第２の実施の形態における
複数台の監視カメラ１０−１、１０−２、…、１０−ｎ
に置き換えて利用することもできる。また、一部のクラ
イアント部だけを複数台の監視カメラ１０−１、１０−
２、…、１０−ｎに置き換えて利用することもできる。
さらに、前記第３〜第５の実施の形態においては、サー
バ部も複数にすることができる。この場合、一つのサー
バ部の処理量を分散させることができる。また、クライ
アント部も常に複数存在する必要はなく、一つだけでも
よい。

【０１６２】なお、本発明は前記実施の形態に限定され
るものではなく、本発明の趣旨に基づいて種々変形させ
ることが可能であり、それらを本発明の範囲から排除す
るものではない。

【０１６３】

【発明の効果】以上詳細に説明したように、本発明によ
れば、監視画像から人物の行動テーブルを作成し、該行
動テーブルに基づいて人物を検索し、検出するので、様
々な分野において様々な特定人物の検出を容易に行うこ
とができる。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態における監視システ
ムの構成を示すブロック図である。

【図２】本発明の第１の実施の形態における記録部の構
成を示すブロック図である。

【図３】本発明の第１の実施の形態における特定部の構
成を示すブロック図である。

【図４】本発明の第１の実施の形態における検出部の構
成を示すブロック図である。

【図５】本発明の第１の実施の形態における人物領域動
画像の例を示す図である。

【図６】本発明の第１の実施の形態における人物領域射
影ヒストグラムの例を示す第１の図である。

【図７】本発明の第１の実施の形態における人物領域射
影ヒストグラムの例を示す第２の図である。

【図８】本発明の第１の実施の形態における人物領域射
影ヒストグラムの例を示す第３の図である。

【図９】本発明の第１の実施の形態における人物行動テ
ーブルの例を示す図である。

【図１０】本発明の第１の実施の形態における特定人物
テーブルの例を示す図である。

【図１１】本発明の第１の実施の形態における監視シス
テムの監視画像の例を示す図である。

【図１２】本発明の第２の実施の形態における監視シス
テムの構成を示すブロック図である。

【図１３】本発明の第２の実施の形態における記録部の
構成を示すブロック図である。

【図１４】本発明の第２の実施の形態における検出部の
構成を示すブロック図である。

【図１５】本発明の第３の実施の形態における監視シス
テムの構成を示すブロック図である。

【図１６】本発明の第３の実施の形態における記録部の
構成を示すブロック図である。

【図１７】本発明の第３の実施の形態における送受信部
の構成を示すブロック図である。

【図１８】本発明の第３の実施の形態における検出部の
構成を示すブロック図である。

【図１９】本発明の第３の実施の形態におけるデータベ
ース部の構成を示すブロック図である。

【図２０】本発明の第３の実施の形態における特定部の
構成を示すブロック図である。

【図２１】本発明の第４の実施の形態における監視シス
テムの構成を示すブロック図である。

【図２２】本発明の第４の実施の形態における送受信部
の構成を示すブロック図である。

【図２３】本発明の第４の実施の形態における記録部の
構成を示すブロック図である。

【図２４】本発明の第４の実施の形態におけるデータベ
ース部の構成を示すブロック図である。

【図２５】本発明の第５の実施の形態における監視シス
テムの構成を示すブロック図である。

【図２６】本発明の第５の実施の形態におけるデータベ
ース部の構成を示すブロック図である。

【符号の説明】

１１、４１、６１、１３１記録部１２、４２検出・追跡部１３姿勢・行動認識部１４、６４行動記録作成部１５人物行動テーブル２１、１１１特定部２２、１１２特定人物検索部２３、７２、１２２入出力部２４、８２特定人物テーブル３１、５１、８１検出部３２、５２特定人物検出部３３検索結果出力部６０、１２０、１５０クライアント部７０ネットワーク７１、９１、１２１、１５１送受信部７３、１２３情報送受信部９０、１３０、１６０サーバ部１０１、１４１、１６１データベース部

───────────────────────────────────────────────────── フロントページの続きＦターム(参考） 5C054 AA01 CA04 CC02 CH01 DA07 DA08 EA01 EA07 FA01 FA02 FA04 FC12 FC16 FF03 GA01 GB01 GB05 GB18 GD03 HA14 HA18 5C084 AA02 AA03 AA09 AA13 BB31 CC17 DD11 EE01 FF27 GG07 GG09 GG20 GG43 GG52 GG78 HH02 HH03 HH10 HH12 HH13 5C087 AA02 AA03 AA19 AA32 AA37 AA44 BB03 BB11 BB74 DD05 DD23 EE07 EE14 FF01 FF02 FF04 GG02 GG10 GG20 GG23 GG66 GG67

Claims

【特許請求の範囲】

【請求項１】（ａ）監視画像に映った人物の行動を認
識し、該行動に基づいて記録事項を編集加工可能な形態
で作成して人物行動テーブルに記録する記録部と、
（ｂ）前記人物行動テーブルに記録された記録事項に基
づいて特定人物を検索し、該人物の情報、及び、前記人
物を検索する項目が記録された特定人物テーブルを作成
する特定部と、（ｃ）前記特定人物テーブルに情報が記
録された人物を監視画像から検出する検出部とを有する
ことを特徴とする監視システム。
【請求項２】（ａ）監視画像に映った人物の行動を認
識し、該行動に基づいて記録事項を編集加工可能な形態
で作成して人物行動テーブルに記録する記録部、（ｂ）
前記記録事項を含む情報の送信及び受信を行う第１の送
受信部、及び、（ｃ）前記監視画像に映った特定人物を
検出する検出部を備えるクライアント部と、（ｄ）前記
情報の送信及び受信を行う第２の送受信部、（ｅ）前記
記録事項が編集加工可能な形態で記録される人物行動テ
ーブルを格納するデータベース部、及び、（ｆ）前記人
物行動テーブルに記録された記録事項に基づいて特定人
物を検索し、該人物の情報、及び、前記人物を検索する
項目を出力する特定部を備えるサーバ部とを有し、
（ｇ）前記クライアント部とサーバ部とがネットワーク
を介して接続され、必要な情報を通信することによって
特定人物の検出を行うことを特徴とする監視システム。
【請求項３】（ａ）監視画像を含む情報の送信及び受
信を行う第１の送受信部、及び、（ｂ）前記監視画像に
映った特定人物を検出する検出部を備えるクライアント
部と、（ｃ）前記監視画像を含む情報の送信及び受信を
行う第２の送受信部、（ｄ）前記監視画像に映った人物
の行動を認識し、該行動に基づいて記録事項を編集加工
可能な形態で作成して人物行動テーブルに記録する記録
部、（ｅ）前記人物行動テーブル及び前記監視画像を格
納するデータベース部、並びに、（ｆ）前記人物行動テ
ーブルに記録された記録事項に基づいて特定人物を検索
し、該人物の情報、及び、前記人物を検索する項目を出
力する特定部を備えるサーバ部とを有し、（ｇ）前記ク
ライアント部とサーバ部とがネットワークを介して接続
され、必要な情報を通信することによって特定人物の検
出を行うことを特徴とする監視システム。
【請求項４】（ａ）監視画像を含む情報の送信及び受
信を行う第１の送受信部、及び、（ｂ）前記監視画像に
映った特定人物を検出した結果を出力する検出結果出力
部を備えるクライアント部と、（ｃ）前記監視画像を含
む情報の送信及び受信を行う第２の送受信部、（ｄ）前
記監視画像に映った人物の行動を認識し、該行動に基づ
いて記録事項を編集加工可能な形態で作成する記録部、
（ｅ）前記記録事項が編集加工可能な形態で記録される
人物行動テーブル、監視画像、及び、検出すべき特定人
物の情報が記録される特定人物テーブルを格納するデー
タベース部、（ｆ）前記人物行動テーブルに記録された
記録事項に基づいて特定人物を検索し、該人物の情報、
及び、前記人物を検索する項目を出力する特定部、並び
に、（ｇ）前記監視画像に映った特定人物を前記特定人
物テーブルに記録された情報に基づいて検出する特定人
物検出部を備えるサーバ部とを有し、（ｈ）前記クライ
アント部とサーバ部とがネットワークを介して接続さ
れ、必要な情報を通信することによって特定人物の検出
を行うことを特徴とする監視システム。
【請求項５】前記記録部は、前記監視画像から人物を
検出して追跡する検出・追跡部、前記人物の姿勢と行動
とを認識する姿勢・行動認識部、及び、該姿勢・行動認
識部の認識結果を編集加工可能な形態に加工する行動記
録作成部を備える請求項１〜４のいずれか１項に記載の
監視システム。
【請求項６】前記特定部は、前記人物行動テーブルに
記録された記録事項に基づいて特定人物を検索する特定
人物検索部、及び、検索するための人物情報の入出力を
行う入出力部を備える請求項１〜４のいずれか１項に記
載の監視システム。
【請求項７】前記検出部は、前記特定人物テーブルに
情報が記録されている特定人物を前記監視画像から検出
するための特定人物検出部、及び、検出された結果を表
示する検出結果出力部を備える請求項１〜３のいずれか
１項に記載の監視システム。
【請求項８】前記第１の送受信部は、前記特定人物に
関する情報を含む情報の入出力を行う入出力部、及び、
前記情報を前記ネットワークを介して前記サーバ部と通
信する情報送受信部を備える請求項２〜４のいずれか１
項に記載の監視システム。
【請求項９】前記第１及び第２の送受信部は、画像通
信を行う機能を備える請求項３又は４に記載の監視シス
テム。
【請求項１０】前記データベース部は、クライアント
部毎の前記人物行動テーブルを備える請求項２に記載の
監視システム。
【請求項１１】前記データベース部は、クライアント
部毎の前記人物行動テーブル及び画像データベースを備
える請求項３に記載の監視システム。
【請求項１２】前記データベース部は、クライアント
部毎の前記人物行動テーブル、画像データベース、及
び、特定人物テーブルを備える請求項４に記載の監視シ
ステム。
【請求項１３】前記人物行動テーブルは、前記人物の
顔貌、全身像、行動、位置する場所及び時刻を含む請求
項２〜４のいずれか１項に記載の監視システム。
【請求項１４】前記特定人物テーブルは、前記人物行
動テーブルに記録された記録事項及び前記人物が分類さ
れる項目を含む請求項２〜４のいずれか１項に記載の監
視システム。
【請求項１５】前記検出結果出力部は、検出された人
物が分類される項目が画像、音声、警告音のいずれか一
つ、又は、画像、音声、警告音の組合せによって識別す
ることができるように出力する請求項４又は７に記載の
監視システム。
【請求項１６】（ａ）クライアント部において、監視
画像に映った人物の行動を認識し、該行動に基づいて記
録事項を編集加工可能な形態で作成し、前記記録事項を
記録するとともにサーバ部に送信し、（ｂ）該サーバ部
において、前記記録事項を記録するとともに該記録事項
に基づいて特定人物を検索して、その検索された特定人
物の情報を前記クライアント部に送信し、（ｃ）該クラ
イアント部において、前記特定人物の情報に基づいて前
記特定人物を前記監視画像から検出することを特徴とす
る監視方法。
【請求項１７】（ａ）クライアント部において、監視
画像をサーバ部に送信し、（ｂ）該サーバ部において、
前記監視画像に映った人物の行動を認識し、該行動に基
づいて記録事項を編集加工可能な形態で作成し、前記記
録事項を記録するとともに該記録事項に基づいて特定人
物を検索して、その検索された特定人物の情報を前記ク
ライアント部に送信し、（ｃ）該クライアント部におい
て、前記特定人物の情報に基づいて前記特定人物を前記
監視画像から検出することを特徴とする監視方法。
【請求項１８】（ａ）コンピュータを、（ｂ）監視画
像に映った人物の行動を認識し、該行動に基づいて記録
事項を編集加工可能な形態で作成して人物行動テーブル
に記録する記録部、前記記録事項を含む情報の送信及び
受信を行う第１の送受信部、及び、前記監視画像に映っ
た特定人物を検出する検出部を備えるクライアント部、
並びに、（ｃ）前記情報の送信及び受信を行う第２の送
受信部、前記記録事項が編集加工可能な形態で記録され
る人物行動テーブルを格納するデータベース部、及び、
前記人物行動テーブルに記録された記録事項に基づいて
特定人物を検索し、該人物の情報、及び、前記人物を検
索する項目を出力する特定部を備えるサーバ部として機
能させ、（ｄ）前記クライアント部とサーバ部とが必要
な情報を通信することによって特定人物の検出を行うよ
うにする監視プログラム。
【請求項１９】（ａ）コンピュータを、（ｂ）監視画
像を含む情報の送信及び受信を行う第１の送受信部、及
び、前記監視画像に映った特定人物を検出する検出部を
備えるクライアント部、並びに、（ｃ）前記監視画像を
含む情報の送信及び受信を行う第２の送受信部、前記監
視画像に映った人物の行動を認識し、該行動に基づいて
記録事項を編集加工可能な形態で作成して人物行動テー
ブルに記録する記録部、前記人物行動テーブル及び前記
監視画像を格納するデータベース部、並びに、前記人物
行動テーブルに記録された記録事項に基づいて特定人物
を検索し、該人物の情報、及び、前記人物を検索する項
目を出力する特定部を備えるサーバ部として機能させ、
（ｄ）前記クライアント部とサーバ部とが必要な情報を
通信することによって特定人物の検出を行うようにする
監視プログラム。