JP2002092601A - 画像処理装置および画像処理方法 - Google Patents

Abstract

(57)【要約】 【課題】人物の挙動および顔画像を収集して対応付ける
ことで、画像により信頼性の高い画像監視を行なうこと
ができる画像処理装置を提供する。 【解決手段】画像入力部101,102,103は人物を撮影して
入力する。変化検出部104,106は、入力された画像から
変化の有無を検出する。画像記録部107,110は、この変
化検出結果にしたがって、画像入力部101,103で入力さ
れた画像を記録する。顔検出部105および顔画像認識部1
08は、画像入力部102で入力された画像から人物を特定
する。画像記録部109は、この人物特定結果にしたがっ
て、画像入力部102で入力された画像を記録する。画像
合成部112は、上記人物特定結果にしたがって、画像記
録部107,110に記録されている各画像を対応付ける。画
像表示部113は、この対応付けられた各画像を表示す
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、たとえば、セキュ
リティ管理などにおいて、人物の挙動および顔画像によ
り人物の行動を監視する画像処理装置および画像処理方
法に関する。

【０００２】

【従来の技術】最近、人物の顔画像を認識し、あるい
は、人物の挙動を捉えてセキュリティ管理などに応用す
る方法が提案されている。たとえば、特開平５−２３３
７８３号公報には、テレビカメラで顔画像を捉え、あら
かじめ登録してある基準パターンと照合することによ
り、顔画像を認識するパターン認識装置の技術が開示さ
れている。

【０００３】また、人物の挙動については、特開平９−
９３５３３号公報に、画像変化分のみを抽出して表示す
る画像抽出装置と監視装置および画像伝送装置の技術が
開示されている。

【０００４】

【発明が解決しようとする課題】ところが、従来の技術
では、顔画像を認識するだけでは人の挙動を把握でき
ず、画像監視として不充分であるという問題がある。ま
た、人物の動きを検知して変化のある部分の画像を伝送
する画像監視装置では、顔がはっきり映らず、だれの動
きか分からないという問題がある。

【０００５】そこで、本発明は、人物の挙動および顔画
像を収集して対応付けることで、画像により信頼性の高
い画像監視を行なうことができる画像処理装置および画
像処理方法を提供することを目的とする。

【０００６】

【課題を解決するための手段】本発明の画像処理装置
は、人物を撮影してその画像を入力する少なくとも１つ
以上の画像入力手段と、この画像入力手段により入力さ
れた画像から画像の変化の有無を検出する少なくとも１
つ以上の変化検出手段と、この変化検出手段の変化検出
結果にしたがって、前記画像入力手段により入力された
画像を記録する第１の画像記録手段と、前記画像入力手
段により入力された画像から人物を特定する人物特定手
段と、この人物特定手段の特定結果にしたがって、その
特定結果および前記画像入力手段により入力された画像
を記録する第２の画像記録手段と、前記人物特定手段の
特定結果にしたがって、前記第１および第２の画像記録
手段に記録されている各画像を対応付ける画像処理手段
と、この画像処理手段により対応付けられた各画像を可
視像として出力する画像出力手段とを具備している。

【０００７】また、本発明の画像処理装置は、人物を撮
影してその画像を入力する少なくとも１つ以上の画像入
力手段と、この画像入力手段により入力された画像から
画像の変化の有無を検出する少なくとも１つ以上の変化
検出手段と、この変化検出手段の変化検出結果にしたが
って、前記画像入力手段により入力された画像を記録す
る第１の画像記録手段と、人物を特定する情報を獲得す
る人物特定情報獲得手段と、この人物特定情報獲得手段
により獲得した人物を特定する情報にしたがって、その
人物特定情報および前記画像入力手段により入力された
画像を記録する第２の画像記録手段と、前記人物特定情
報獲得手段により獲得した人物を特定する情報にしたが
って、前記第１および第２の画像記録手段に記録されて
いる各画像を対応付ける画像処理手段と、この画像処理
手段により対応付けられた各画像を可視像として出力す
る画像出力手段とを具備している。

【０００８】また、本発明の画像処理装置は、人物を撮
影してその画像を入力する少なくとも１つ以上の画像入
力手段と、この画像入力手段により入力された画像から
画像の変化の有無を検出する少なくとも１つ以上の変化
検出手段と、この変化検出手段の変化検出結果にしたが
って、前記画像入力手段により入力された画像を記録す
る第１の画像記録手段と、前記画像入力手段により入力
された画像から人物を特定する人物特定手段と、この人
物特定手段の特定結果にしたがって、その特定結果およ
び前記画像入力手段により入力された画像を記録する第
２の画像記録手段と、画像を検索するための検索情報を
入力する検索情報入力手段と、この検索情報入力手段に
より入力された検索情報にしたがって、対応する画像を
前記第１および第２の画像記録手段からそれぞれ検索
し、この検索した各画像を対応付ける画像処理手段と、
この画像処理手段により対応付けられた各画像を可視像
として出力する画像出力手段とを具備している。

【０００９】また、本発明の画像処理装置は、前記人物
特定手段は、前記画像入力手段により入力された画像か
ら人物の顔パターンを検出し、この検出した顔パターン
を基準パターンと照合することにより人物を特定するこ
とを特徴とする。

【００１０】また、本発明の画像処理方法は、人物を撮
影してその画像を入力する第１のステップと、この第１
のステップにより入力された画像から画像の変化の有無
を検出する第２のステップと、この第２のステップの変
化検出結果にしたがって、前記第１のステップにより入
力された画像を記録する第３のステップと、前記第１の
ステップにより入力された画像から人物を特定する第４
のステップと、この第４のステップの特定結果にしたが
って、その特定結果および前記第１のステップにより入
力された画像を記録する第５のステップと、前記第４の
ステップの特定結果にしたがって、前記第３および第５
のステップで記録された各画像を対応付ける第６のステ
ップと、この第６のステップにより対応付けられた各画
像を可視像として出力する第７のステップとを具備して
いる。

【００１１】また、本発明の画像処理方法は、人物を撮
影してその画像を入力する第１のステップと、この第１
のステップにより入力された画像から画像の変化の有無
を検出する第２のステップと、この第２のステップの変
化検出結果にしたがって、前記第１のステップにより入
力された画像を記録する第３のステップと、人物を特定
する情報を獲得する第４のステップと、この第４のステ
ップにより獲得した人物を特定する情報にしたがって、
その人物特定情報および前記第１のステップにより入力
された画像を記録する第５のステップと、前記第４のス
テップにより獲得した人物を特定する情報にしたがっ
て、前記第３および第５のステップで記録された各画像
を対応付ける第６のステップと、この第６のステップに
より対応付けられた各画像を可視像として出力する第７
のステップとを具備している。

【００１２】また、本発明の画像処理方法は、人物を撮
影してその画像を入力する第１のステップと、この第１
のステップにより入力された画像から画像の変化の有無
を検出する第２のステップと、この第２のステップの変
化検出結果にしたがって、前記第１のステップにより入
力された画像を記録する第３のステップと、前記第１の
ステップにより入力された画像から人物を特定する第４
のステップと、この第４のステップの特定結果にしたが
って、その特定結果および前記第１のステップにより入
力された画像を記録する第５のステップと、画像を検索
するための検索情報を入力する第６のステップと、この
第６のステップにより入力された検索情報にしたがっ
て、対応する画像を前記第３および第５のステップで記
録された各画像から検索し、この検索した各画像を対応
付ける第７のステップと、この第７のステップにより対
応付けられた各画像を可視像として出力する第８のステ
ップとを具備している。

【００１３】

【発明の実施の形態】以下、本発明の実施の形態につい
て図面を参照して説明する。

【００１４】まず、第１の実施の形態について説明す
る。

【００１５】図１は、第１の実施の形態に係る画像処理
装置の構成を概略的に示すものである。この画像処理装
置は、人物を撮影してその画像を入力する画像入力手段
としての画像入力部１０１，１０２，１０３、画像入力
部１０１により入力された画像から画像の変化の有無を
検出する変化検出手段としての変化検出部１０４、画像
入力部１０２により入力された画像から人物の顔パター
ンを検出する人物特定手段としての顔検出部１０５、画
像入力部１０３により入力された画像から画像の変化の
有無を検出する変化検出手段としての変化検出部１０
６、変化検出部１０４の変化検出結果にしたがって、画
像入力部１０１により入力された動画像あるいは静止画
像などを記録する第１の画像記録手段としての画像記録
部１０７、顔検出部１０５で検出された顔パターンに基
づき顔画像を認識する人物特定手段としての顔画像認識
部１０８、顔画像認識部１０８の認識結果にしたがっ
て、画像入力部１０２により入力された動画像あるいは
静止画像などを記録する第２の画像記録手段としての画
像記録部１０９、変化検出部１０６の変化検出結果にし
たがって、画像入力部１０３により入力された動画像あ
るいは静止画像などを記録する第１の画像記録手段とし
ての画像記録部１１０、人物の通行を制御するドア２０
１を開閉制御するドア制御部１１１、画像記録部１０
７，１０９，１１０に記録されている画像を関連付けて
１つの画像に合成する画像処理手段としての画像合成部
１１２、および、画像合成部１１２で合成された画像を
表示する画像出力手段としての画像表示部１１３から構
成されている。

【００１６】以下、各部について詳細に説明する。

【００１７】画像入力部１０１、画像入力部１０２、画
像入力部１０３は、たとえば、図２に示すように設置さ
れ、人物Ｐがドア２０１を通過する状態を画像として捉
える。この場合、画像入力部１０１は人物Ｐの進行方向
に対する後方の変化を捉え、画像入力部１０２は人物Ｐ
の顔画像を捉え、画像入力部１０３は人物Ｐの進行方向
に対する前方の変化を捉えるように、それぞれの視野が
設定されている。画像入力部１０１，１０２，１０３か
ら出力される各画像は、通常のテレビカメラで捉えるこ
とができるもので、たとえば、図３に示すような、横方
向に５１２画素、縦方向に５１２画素、各画素８ビット
の階調を持つ構造で、１秒間に３０枚出力される画像デ
ータである。

【００１８】変化検出部１０４，１０６は、それぞれ画
像入力部１０１，１０３から出力される画像に変化があ
れば、それを検出するもので、たとえば、図４に示すよ
うに構成されている。すなわち、画像入力部１０１，１
０３から出力される１枚のフレーム画像がフレーム記憶
部４０１に記憶される。フレーム間差分計算部４０２
は、フレーム記憶部４０１に記憶されている画像データ
と、現在の画像データとの同じ位置の画素値の差を求め
る。閾値処理部４０３は、その画素値の差について、一
定値以上で「１」、それ以外で「０」という値に変換す
る。変化判定部４０４では、閾値処理部４０３の出力を
画像内で累積することにより、変化の有無を判定する。

【００１９】顔検出部１０５は、画像入力部１０２から
出力される画像データ内の顔パターンを検出する。この
顔パターン検出処理は、たとえば、図５に示すような処
理手順で実行される。以下、図５の処理手順について説
明する。

【００２０】まず、サイズｓやｙ，ｘ座標などの初期化
を行なう（ステップ５０１〜５０３）。次に、あらかじ
め用意されたサイズの異なる複数の標準顔パターンｇｓ
（ｉ，ｊ）を用いて、入力画像ｆ（ｘ，ｙ）内の局所領
域との相関Ｍｓ（ｘ，ｙ）を、座標（ｘ，ｙ）をずらし
ながら下記数１にしたがって計算する（ステップ５０
４）。ここで、サイズの異なる標準顔パターンｇｓ
（ｉ，ｊ）は、決められたサイズであらかじめ収集した
顔パターンを平均するなどして作成される。

【００２１】

【数１】

【００２２】次に、求めた相関Ｍｓ（ｘ，ｙ）が一定の
閾値ＴＨＲ以上であれば（ステップ５０５）、顔パター
ンを検出したものとして、その結果を出力する（ステッ
プ５０６）。この画像探索を、図６に模式的に示すよう
に、標準顔パターンｇｓ（ｉ，ｊ）のサイズＳを変更し
ながら実施する。図５のステップ５０７〜５１２がその
処理である。

【００２３】なお、図６において、符号６０１，６０
３，６０５は画像入力部１０２が出力する画像全体を示
し、符号６０２，６０４，６０６は標準顔パターンを示
している。

【００２４】顔画像認識部１０８は、たとえば、図７に
示すように、顔パターン記憶部７０１、類似度計算部７
０２、および、閾値処理部７０３から構成されている。
すなわち、顔検出部１０５から出力される顔領域の画像
データを正規化した後、顔パターン記憶部７０１に記憶
してある標準顔パターン（基準パターン）と照合して、
最も近い標準顔パターンを選ぶことで顔画像の認識を行
なう。類似度計算部７０２で実行される処理は、図８に
示すような処理手順で実行される。以下、図８の処理手
順について説明する。

【００２５】まず、顔検出部１０５にて検出された顔パ
ターンの範囲に対して、あらかじめ定められた縦および
横画素の画像に大きさを正規化する（ステップ８０
１）。次に、カテゴリｃの初期設定を行なった後（ステ
ップ８０２）、顔パターン記憶部７０１内にあらかじめ
用意してあるカテゴリｃの顔パターン（辞書パターン）
ｒｃ（ｉ，ｊ）と、正規化した顔パターン（入力画像）
ｈ（ｘ，ｙ）との類似度Ｓｉｍｃ（ｘ，ｙ）を、下記数
２のように相関を求めることで計算する（ステップ８０
３）。

【００２６】

【数２】

【００２７】ここで、顔パターン記憶部７０１に記憶さ
れている辞書パターンとなる基準の顔パターンｒｃ
（ｉ，ｊ）は、たとえば、図９に示すようなデータ構造
を持っており、類似度計算部７０２は、類似度Ｓｉｍｃ
（ｘ，ｙ）の最も高いカテゴリ名を出力する（ステップ
８０４〜８０８）。

【００２８】カテゴリｃの顔パターンｒｃ（ｉ，ｊ）
は、個人ごとにあらかじめ顔パターンを収集して、たと
えば、複数収集した顔パターンの平均パターンとして求
める。また、複数収集した顔パターンの変動成分を考慮
して、混合類似度法や複合類似度法、局所相関法などの
他の手法で、顔パターンの認識を実施してもよい。

【００２９】ドア制御部１１１は、顔画像認識部１０８
で実行される顔の認識処理おいて、あらかじめ登録され
ている辞書データと対応付けられた場合に、ドア２０１
を開放して、人物Ｐに対して通行の許可を行なう。

【００３０】画像記録部１０７，１１０は、それぞれ変
化検出部１０４，１０６から出力される変化検出結果に
したがって、画像入力部１０１，１０３から出力される
動画像または静止画像を記録する。また、画像記録部１
０９は、顔画像認識部１０８から出力される顔画像の認
識結果にしたがって、画像入力部１０２から出力される
動画像または静止画像を記録する。

【００３１】画像記録部１０７、画像記録部１０９およ
び画像記録部１１０が記録する画像の関係を図１０に模
式的に示す。図１０において、人物Ｐがドア２０１を通
過する状態を、画像入力部１０１、画像入力部１０２、
画像入力部１０３が画像データとしてとらえ、対応する
画像記録部１０７が変化を検出した期間Ｍ１、画像記録
部１０９が顔画像を検出および認識した期間Ｍ０、画像
記録部１１０が変化を検出した期間Ｍ２の動画像または
静止画像を記録することになる。

【００３２】画像記録部１０７、画像記録部１０９およ
び画像記録部１１０は、たとえば、図１１に示すような
記録フォーマットで記録を行なう。図示のように、それ
ぞれデータの種類として、日付に関する情報“Ｄａｔ
ｅ”、時間に関する情報“Ｔｉｍｅ”、人物Ｐの属性番
号“ＩＤ”、設置場所“Ｐｌａｃｅ”、検出内容“Ｄｅ
ｔｅｃｔ”、抽出した部分画像“Ｖｉｄｅｏ”という枠
組（フレーム）が存在し、当てはまるデータが記録され
ていく。

【００３３】画像合成部１１２は、画像記録部１０７、
画像記録部１０９、画像記録部１１０に記録されている
画像を関連付けて、１つの画像に合成する。画像合成部
１１２で実行される処理は、たとえば、図１２に示すよ
うな処理手順で実行される。以下、図１２の処理手順に
ついて説明する。

【００３４】まず、画像記録部１０９の記録内容をチェ
ックし、顔画像の検出結果が存在するまで待つ（ステッ
プ１２０１）。顔画像の検出に関係する画像を含むデー
タが存在する場合、顔画像の検出結果が得られた時間ｔ
と、画像記録部１０９に記録されている画像Ｍ０を読出
す（ステップ１２０２）。

【００３５】次に、画像記録部１０７および画像記録部
１１０の記録内容を探索し、時刻ｔとの差がｄ以下の時
間のデータを抽出し、その画像の部分を画像Ｍ０に結合
する（ステップ１２０３）。この場合、時間の経過に関
する関係に基づき結合され、図２に示す配置では、たと
えば、画像記録部１０７に記録されている変化検出画像
Ｍ１、続いて画像記録部１０９に記録されている顔検出
画像Ｍ０、画像記録部１１０に記録されている変化検出
画像Ｍ２という順番で画像が結合される。

【００３６】その後、結合された画像は、画像表示部１
１３によって表示出力される（ステップ１２０４）。画
像表示部１１３では、画像合成部１１２で合成された画
像が、たとえば、図１３に示すように人物Ｐの挙動およ
び顔画像として表示される。なお、図中、Ｐ１は１人目
の画像を示し、Ｐ２は２人目の画像を示している。

【００３７】以上説明したように、第１の実施の形態に
よれば、人物の挙動および顔画像を複数収集して、対応
付けることで、画像により信頼性の高い画像監視を行な
うことができる。

【００３８】次に、第２の実施の形態について説明す
る。

【００３９】図１４は、第２の実施の形態に係る画像処
理装置の構成を概略的に示すものである。この画像処理
装置は、画像入力部１０１，１０２，１０３、変化検出
部１０４，１０６、画像記録部１０７，１０９，１１
０、ドア制御部１１１、画像合成部１１２、画像表示部
１１３、および、人物を特定する情報を獲得する人物特
定情報獲得手段としてのＩＤ入力部１４０１から構成さ
れている。

【００４０】以下、各部について詳細に説明するが、そ
のうち、ＩＤ入力部１４０１以外は第１の実施の形態と
同様であるので説明を省略する。

【００４１】ＩＤ入力部１４０１は、たとえば、図１５
に示すように、ドア２０１の近傍に設置され、人物Ｐを
特定するためのＩＤ（識別情報）を入力することによ
り、人物Ｐを特定して通行の許可を行なうためのもので
あり、たとえば、テンキー入力によるパスワード方式、
磁気カード、無線カード、ＩＣカード、バーコードによ
るデータ読取り照合など、人物Ｐを特定できるものであ
れば、どのような手段であってもよい。

【００４２】ＩＤ入力部１４０１は、人物Ｐがあらかじ
め登録している人物であることを確認すると、その確認
結果を画像記録部１０９に送ることにより、そのとき画
像入力部１０２から出力される画像を画像記録部１０９
が記録するとともに、ドア制御部１１１に人物の確認結
果を出力する。

【００４３】画像記録部１０７および画像記録部１１０
は、それぞれ変化検出部１０４および変化検出部１０６
から出力される変化検出結果にしたがって、画像入力部
１０１および画像入力部１０３から出力される動画像ま
たは静止画像を記録する。画像合成部１１２は、画像記
録部１０７、画像記録部１０９、画像記録部１１０に記
録されている画像を関連付けて、１つの画像に合成す
る。

【００４４】画像表示部１１３では、画像合成部１１２
で合成された画像が、たとえば、図１３に示すように人
物Ｐの挙動および顔画像として表示される。

【００４５】以上説明したように、第２の実施の形態に
よれば、ＩＤ入力および照合で通行を許可された人物の
挙動および顔画像を複数収集して、対応付けることで、
画像により信頼性の高い画像監視を行なうことができ
る。

【００４６】次に、第３の実施の形態について説明す
る。

【００４７】図１６は、第３の実施の形態に係る画像処
理装置の構成を概略的に示すものである。この画像処理
装置は、画像入力部１０１，１０２，１０３、変化検出
部１０４、顔検出部１０５、変化検出部１０６、画像記
録部１０７、顔画像認識部１０８、画像記録部１０９，
１１０、ドア制御部１１１、画像合成部１６０２、画像
表示部１１３、および、画像を検索するための検索情報
を入力する検索情報入力手段としての検索情報入力部１
６０１から構成されている。

【００４８】以下、各部について詳細に説明するが、そ
のうち、検索情報入力部１６０１および画像合成部１６
０２以外は第１の実施の形態と同様であるので説明を省
略する。

【００４９】検索情報入力部１６０１は、たとえば、監
視実施者が監視したい人物の識別情報であるＩＤ「Ｎ」
を検索情報として入力する。画像合成部１６０２は、検
索情報入力部１６０１から入力された検索対象Ｎに対し
て、画像記録部１０７、画像記録部１０９、画像記録部
１１０に記録されているデータを抽出し、かつ、関連付
けて、１つの画像に合成する。画像合成部１６０２で実
行される処理は、たとえば、図１７に示すような処理手
順で実行される。以下、図１７の処理手順について説明
する。

【００５０】まず、人物のＩＤ「Ｎ」を検索情報として
入力する（１７０１）。次に、画像記録部１０９の記録
内容をチェックし、顔画像の認識結果がＩＤ「Ｎ」であ
るデータが存在する場合に、顔画像の検出結果が得られ
た時間ｔと、画像記録部１０９に記録されている画像Ｍ
０を読出す（１７０２）。

【００５１】次に、画像記録部１０７および画像記録部
１１０の記録内容を検索し、時刻ｔとの差がｄ以下の時
間のデータを抽出し、画像の部分を画像Ｍ０に結合する
（１７０３）。その場合、時間の経過に関する関係に基
づき結合され、図２に示す配置では、たとえば、画像記
録部１０７に記録されている変化検出画像Ｍ１、続いて
画像記録部１０９に記録されている顔画像検出画像Ｍ
０、画像記録部１１０に記録されている変化検出画像Ｍ
２という順番で画像が結合される。その後、結合された
画像は、画像表示部１１３に表示される（１７０４）。

【００５２】画像表示部１１３では、画像合成部１６０
２で合成された画像が、たとえば、図１３に示すように
人物Ｐの挙動および顔画像として表示される。

【００５３】なお、上記例では、人物を特定するＩＤ
（識別情報）により画像記録部内のデータを検索した
が、図１１に示す他のデータの種類、日付に関する情報
“Ｄａｔｅ”、時間に関する情報“Ｔｉｍｅ”、設置場
所“Ｐｌａｃｅ”、検出内容“Ｄｅｔｅｃｔ”で検索し
ても、本発明の趣旨を何ら変えるものではない。

【００５４】以上説明したように、第３の実施の形態に
よれば、人物の挙動および顔画像を複数収集して、必要
な情報を抽出し、対応付けることで、効率よく画像監視
することができる。

【００５５】なお、前記実施の形態では、画像入力部、
変化検出部および画像記録部をそれぞれ複数設けた場合
について説明したが、必ずしも複数設ける必要はなく、
少なくとも１つ以上設ければよい。

【００５６】また、前記実施の形態では、画像合成部で
合成した画像を画像表示部で表示出力する場合について
説明したが、プリンタなどによりプリントアウトするよ
うにしてもよい。

【００５７】

【発明の効果】以上詳述したように本発明によれば、人
物の挙動および顔画像を収集して対応付けることで、画
像により信頼性の高い画像監視を行なうことができる画
像処理装置および画像処理方法を提供できる。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態に係る画像処理装置
の構成を概略的に示すブロック図。

【図２】画像入力部の配置例を説明するための模式図。

【図３】画像入力部が出力する画像データの形態の一例
を示す図。

【図４】変化検出部の構成を概略的に示すブロック図。

【図５】顔検出部が実行する処理手順を示すフローチャ
ート。

【図６】顔検出部の処理を模式的に示す図。

【図７】顔画像認識部の構成を概略的に示すブロック
図。

【図８】類似度計算部が実行する処理手順を示すフロー
チャート。

【図９】顔パターン記憶部が記憶する辞書パターンの構
造を示す図。

【図１０】画像記録部が記録する画像の関係を模式的に
示す図。

【図１１】画像記録部の記録フォーマット例を示す図。

【図１２】画像合成部が実行する処理手順を示すフロー
チャート。

【図１３】画像表示部の表示画像例を模式的に示す図。

【図１４】本発明の第２の実施の形態に係る画像処理装
置の構成を概略的に示すブロック図。

【図１５】画像入力部およびＩＤ入力部の配置例を説明
するための模式図。

【図１６】本発明の第３の実施の形態に係る画像処理装
置の構成を概略的に示すブロック図。

【図１７】画像合成部が実行する処理手順を示すフロー
チャート。

【符号の説明】

Ｐ……人物 １０１，１０２，１０３……画像入力部（画像入力手
段） １０４，１０６……変化検出部（変化検出手段） １０５……顔検出部（人物特定手段） １０７……画像記録部（第１の画像記録手段） １０９……画像記録部（第２の画像記録手段） １１０……画像記録部（第１の画像記録手段） １０８……顔画像認識部（人物特定手段） １１２，１６０２……画像合成部（画像処理手段） １１３……画像表示部（画像出力手段） １４０１……ＩＤ入力部（人物特定情報獲得手段） １６０１……検索情報入力部（検索情報入力手段）

───────────────────────────────────────────────────── フロントページの続き (72)発明者 助川 寛 神奈川県川崎市幸区柳町70番地 株式会社 東芝柳町事業所内 (72)発明者 横井 謙太朗 神奈川県川崎市幸区柳町70番地 株式会社 東芝柳町事業所内 Ｆターム(参考） 5B057 AA19 BA02 CA01 CA08 CA12 CA16 CB01 CB08 CB12 CB16 CC01 CE09 CE20 DA08 DA12 DC34 5L096 BA02 CA02 HA02 JA05

Claims (11)

【特許請求の範囲】
1. 【請求項１】 人物を撮影してその画像を入力する少な
   くとも１つ以上の画像入力手段と、 この画像入力手段により入力された画像から画像の変化
   の有無を検出する少なくとも１つ以上の変化検出手段
   と、 この変化検出手段の変化検出結果にしたがって、前記画
   像入力手段により入力された画像を記録する第１の画像
   記録手段と、 前記画像入力手段により入力された画像から人物を特定
   する人物特定手段と、 この人物特定手段の特定結果にしたがって、その特定結
   果および前記画像入力手段により入力された画像を記録
   する第２の画像記録手段と、 前記人物特定手段の特定結果にしたがって、前記第１お
   よび第２の画像記録手段に記録されている各画像を対応
   付ける画像処理手段と、 この画像処理手段により対応付けられた各画像を可視像
   として出力する画像出力手段と、 を具備したことを特徴とする画像処理装置。
2. 【請求項２】 人物を撮影してその画像を入力する少な
   くとも１つ以上の画像入力手段と、 この画像入力手段により入力された画像から画像の変化
   の有無を検出する少なくとも１つ以上の変化検出手段
   と、 この変化検出手段の変化検出結果にしたがって、前記画
   像入力手段により入力された画像を記録する第１の画像
   記録手段と、 人物を特定する情報を獲得する人物特定情報獲得手段
   と、 この人物特定情報獲得手段により獲得した人物を特定す
   る情報にしたがって、その人物特定情報および前記画像
   入力手段により入力された画像を記録する第２の画像記
   録手段と、 前記人物特定情報獲得手段により獲得した人物を特定す
   る情報にしたがって、前記第１および第２の画像記録手
   段に記録されている各画像を対応付ける画像処理手段
   と、 この画像処理手段により対応付けられた各画像を可視像
   として出力する画像出力手段と、 を具備したことを特徴とする画像処理装置。
3. 【請求項３】 前記人物特定情報獲得手段は、人物を特
   定する情報があらかじめ記録されている携帯可能記録媒
   体から前記人物を特定する情報を読取る読取手段である
   ことを特徴とする請求項２記載の画像処理装置。
4. 【請求項４】 前記人物特定情報獲得手段は、当該人物
   が人物を特定する情報を入力するキーボードであること
   を特徴とする請求項２記載の画像処理装置。
5. 【請求項５】 人物を撮影してその画像を入力する少な
   くとも１つ以上の画像入力手段と、 この画像入力手段により入力された画像から画像の変化
   の有無を検出する少なくとも１つ以上の変化検出手段
   と、 この変化検出手段の変化検出結果にしたがって、前記画
   像入力手段により入力された画像を記録する第１の画像
   記録手段と、 前記画像入力手段により入力された画像から人物を特定
   する人物特定手段と、 この人物特定手段の特定結果にしたがって、その特定結
   果および前記画像入力手段により入力された画像を記録
   する第２の画像記録手段と、 画像を検索するための検索情報を入力する検索情報入力
   手段と、 この検索情報入力手段により入力された検索情報にした
   がって、対応する画像を前記第１および第２の画像記録
   手段からそれぞれ検索し、この検索した各画像を対応付
   ける画像処理手段と、 この画像処理手段により対応付けられた各画像を可視像
   として出力する画像出力手段と、 を具備したことを特徴とする画像処理装置。
6. 【請求項６】 前記人物特定手段は、前記画像入力手段
   により入力された画像から人物の顔パターンを検出し、
   この検出した顔パターンを基準パターンと照合すること
   により人物を特定することを特徴とする請求項１または
   請求項５記載の画像処理装置。
7. 【請求項７】 前記画像処理手段は、時間にしたがって
   各画像を結合することにより各画像を対応付けることを
   特徴とする請求項１、請求項２、請求項５のいずれか１
   つに記載の画像処理装置。
8. 【請求項８】 人物を撮影してその画像を入力する第１
   のステップと、 この第１のステップにより入力された画像から画像の変
   化の有無を検出する第２のステップと、 この第２のステップの変化検出結果にしたがって、前記
   第１のステップにより入力された画像を記録する第３の
   ステップと、 前記第１のステップにより入力された画像から人物を特
   定する第４のステップと、 この第４のステップの特定結果にしたがって、その特定
   結果および前記第１のステップにより入力された画像を
   記録する第５のステップと、 前記第４のステップの特定結果にしたがって、前記第３
   および第５のステップで記録された各画像を対応付ける
   第６のステップと、 この第６のステップにより対応付けられた各画像を可視
   像として出力する第７のステップと、 を具備したことを特徴とする画像処理方法。
9. 【請求項９】 人物を撮影してその画像を入力する第１
   のステップと、 この第１のステップにより入力された画像から画像の変
   化の有無を検出する第２のステップと、 この第２のステップの変化検出結果にしたがって、前記
   第１のステップにより入力された画像を記録する第３の
   ステップと、 人物を特定する情報を獲得する第４のステップと、 この第４のステップにより獲得した人物を特定する情報
   にしたがって、その人物特定情報および前記第１のステ
   ップにより入力された画像を記録する第５のステップ
   と、 前記第４のステップにより獲得した人物を特定する情報
   にしたがって、前記第３および第５のステップで記録さ
   れた各画像を対応付ける第６のステップと、 この第６のステップにより対応付けられた各画像を可視
   像として出力する第７のステップと、 を具備したことを特徴とする画像処理方法。
10. 【請求項１０】 人物を撮影してその画像を入力する第
    １のステップと、 この第１のステップにより入力された画像から画像の変
    化の有無を検出する第２のステップと、 この第２のステップの変化検出結果にしたがって、前記
    第１のステップにより入力された画像を記録する第３の
    ステップと、 前記第１のステップにより入力された画像から人物を特
    定する第４のステップと、 この第４のステップの特定結果にしたがって、その特定
    結果および前記第１のステップにより入力された画像を
    記録する第５のステップと、 画像を検索するための検索情報を入力する第６のステッ
    プと、 この第６のステップにより入力された検索情報にしたが
    って、対応する画像を前記第３および第５のステップで
    記録された各画像から検索し、この検索した各画像を対
    応付ける第７のステップと、 この第７のステップにより対応付けられた各画像を可視
    像として出力する第８のステップと、 を具備したことを特徴とする画像処理方法。
11. 【請求項１１】 前記第４のステップは、前記第１のス
    テップにより入力された画像から人物の顔パターンを検
    出し、この検出した顔パターンを基準パターンと照合す
    ることにより人物を特定することを特徴とする請求項８
    または請求項１０記載の画像処理方法。