JP2016012209A - 人物監視装置、人物監視システム、人物監視方法及びコンピュータプログラム - Google Patents

Abstract

【課題】人物情報の初期登録を行う必要が無く、かつ人物Ｂの監視に係る無駄な通知を低減することができる人物監視装置を提供する。【解決手段】人物監視装置１は、撮像装置２が人物Ｂを撮像して得た画像データに基づいて、該人物Ｂの顔特徴量を抽出する特徴量抽出部を備え、人物Ｂを監視する。人物監視装置１は、特徴量抽出部にて抽出された顔特徴量に係る人物情報をデータベースに登録する登録部と、抽出された顔特徴量に係る人物情報が前記データベースに登録されているか否かを判定する判定部と、該判定部が否と判定した場合、未登録人物Ｂの存在を携帯通信機器３へ通知する未登録人物通知部と、該未登録人物通知部が未登録人物Ｂの存在を通知した場合、未登録人物Ｂの登録を受け付ける受付部とを備え、前記登録部は、前記受付部にて未登録人物Ｂの登録を受け付けた場合、特徴量抽出部にて抽出された顔特徴量に係る人物情報を前記データベースに登録する。【選択図】図１

Description

本発明は、撮像装置が人物を撮像して得た画像データに基づいて、該人物を監視する人物監視装置、人物監視システム、人物監視方法及びコンピュータプログラムに関する。

撮像装置により人物の顔を撮像し、不審者の侵入を監視する侵入者監視システムがある（例えば、特許文献１）。例えば、侵入者監視システムは、出入りを許可された人物の顔特徴量を予め記憶した顔情報記憶部を備える。侵入監視システムは、撮像装置が人物を撮像して得た画像データの解析によって得られた顔特徴量と、顔情報記憶部が予め記憶する顔特徴量とが一致するか否かを判断することにより、不審者の侵入を判定する。

特開２０１０−２１１５１４号公報

しかしながら、従来技術においては、予め正規の人物を撮像して顔特徴量を登録する必要があり、初期登録作業が煩わしいという問題があった。
また、監視対象の人物の数が少ない場合、初期登録を行わないで侵入者の監視を行うことも考えられる。しかし、人物が所定の撮像範囲に侵入する都度、人物の侵入が通知されることになるため、その都度対応しなければならないという煩わしさがある。
本発明は斯かる事情に鑑みてなされたものであり、顔特徴量に係る人物情報の初期登録を行う必要が無く、かつ人物の監視に係る無駄な通知を低減することができる人物監視装置、人物監視システム、人物監視方法及びコンピュータプログラムを提供することにある。

本発明の一態様に係る人物監視装置は、撮像装置が人物を撮像して得た画像データを取得する取得部と、該取得部が取得した画像データに基づいて、該人物の顔特徴量を抽出する特徴量抽出部とを備え、該特徴量抽出部にて抽出された顔特徴量に基づいて人物を監視する人物監視装置であって、前記特徴量抽出部にて抽出された顔特徴量に係る人物情報をデータベースに登録する登録部と、前記特徴量抽出部にて抽出された顔特徴量に係る人物情報が前記データベースに登録されているか否かを判定する判定部と、該判定部が否と判定した場合、未登録人物の存在を外部通信機器へ通知する未登録人物通知部と、該未登録人物通知部が未登録人物の存在を通知した場合、未登録人物の登録を受け付ける受付部とを備え、前記登録部は、前記受付部にて未登録人物の登録を受け付けた場合、前記特徴量抽出部にて抽出された顔特徴量に係る人物情報を前記データベースに登録する。

本発明の一態様に係る人物監視システムは、撮像装置と、前記人物監視装置とを備え、該人物監視装置は、前記撮像装置が人物を撮像して得た画像データを該撮像装置から取得する。

本発明の一態様に係る人物監視方法は、人物を撮像して得た画像データに基づいて、該人物の顔特徴量を抽出し、抽出された顔特徴量に基づいて人物を監視する人物監視方法であって、顔特徴量に係る人物情報が登録されるデータベースに、抽出された顔特徴量に係る人物情報が登録されているか否かを判定するステップと、否と判定した場合、未登録人物の存在を外部通信機器へ通知するステップと、未登録人物の存在を通知した場合、未登録人物の登録を受け付けるステップと、未登録人物の登録を受け付けた場合、抽出された顔特徴量に係る人物情報を前記データベースに登録するステップとを備える。

本発明の一態様に係るコンピュータプログラムは、コンピュータに、人物を撮像して得た画像データに基づいて、該人物の顔特徴量を抽出させ、抽出された顔特徴量に基づいて人物を監視させるコンピュータプログラムであって、前記コンピュータを、画像データに基づいて、該人物の顔特徴量を抽出する特徴量抽出部と、顔特徴量に係る人物情報が登録されるデータベースに、該特徴量抽出部にて抽出された顔特徴量に係る人物情報が登録されているか否かを判定する判定部と、該判定部が否と判定した場合、未登録人物の存在を外部通信機器へ通知する未登録人物通知部と、該未登録人物通知部が未登録人物の存在を通知した場合、未登録人物の登録を受け付ける受付部と、該受付部にて未登録人物の登録を受け付けた場合、前記特徴量抽出部にて抽出された顔特徴量に係る人物情報を前記データベースに登録する登録部として機能させる。

上記発明によれば、顔特徴量に係る人物情報の初期登録を行う必要が無く、かつ人物の監視に係る無駄な通知を低減することができる人物監視装置、人物監視システム、人物監視方法及びコンピュータプログラムを提供することが可能である。

本発明の実施形態１に係る人物監視システムの一構成例を示す概念図である。 本発明の実施形態１に係る人物監視装置の一構成例を示すブロック図である。 撮像装置の処理手順を示すフローチャートである。 人物監視装置の処理手順を示すフローチャートである。 行動パターンＤＢのレコードレイアウト例を示す概念図である。 顔特徴量ＤＢのレコードレイアウト例を示す概念図である。 本発明の実施形態２に係る人物監視システムの一構成例を示す概念図である。 実施形態２に係る人物監視装置の処理手順を示すフローチャートである。 実施形態２に係る行動パターンＤＢのレコードレイアウト例を示す概念図である。 本発明の実施形態３に係る人物監視システムの一構成例を示す概念図である。 実施形態３に係る行動パターンＤＢのレコードレイアウト例を示す概念図である。

［本発明の実施形態の説明］
最初に本発明の実施態様を列記して説明する。以下に記載する実施形態の少なくとも一部を任意に組み合わせてもよい。
本発明の一態様に係る人物監視装置は、
（１）撮像装置が人物を撮像して得た画像データを取得する取得部と、該取得部が取得した画像データに基づいて、該人物の顔特徴量を抽出する特徴量抽出部とを備え、該特徴量抽出部にて抽出された顔特徴量に基づいて人物を監視する人物監視装置であって、前記特徴量抽出部にて抽出された顔特徴量に係る人物情報をデータベースに登録する登録部と、前記特徴量抽出部にて抽出された顔特徴量に係る人物情報が前記データベースに登録されているか否かを判定する判定部と、該判定部が否と判定した場合、未登録人物の存在を外部通信機器へ通知する未登録人物通知部と、該未登録人物通知部が未登録人物の存在を通知した場合、未登録人物の登録を受け付ける受付部とを備え、前記登録部は、前記受付部にて未登録人物の登録を受け付けた場合、前記特徴量抽出部にて抽出された顔特徴量に係る人物情報を前記データベースに登録する。

本態様によれば、人物監視装置は、人物を撮像して得た画像データに基づいて、該人物の顔特徴量を特徴量抽出部によって抽出し、抽出された顔特徴量を用いて人物を監視する。人物監視装置のデータベースには顔特徴量に係る人物情報が登録される。人物情報は、顔特徴量によって人物を一意に特定するための情報である。ただし、データベースには人物の顔特徴量に係る人物情報は予め登録されていない。
未登録の人物情報に係る顔特徴量が抽出された場合、未登録人物通知部が未登録の人物の存在を外部通信機器へ通知し、受付部は未登録人物の登録を受け付ける。そして、受付部が未登録人物の登録を受け付けた場合、特徴量抽出部にて抽出された顔特徴量に係る人物情報がデータベースに登録される。
従って、人物監視装置を使用するに当たり、データベースに特定の人物の人物情報を予め登録する必要は無い。ユーザは未登録の人物情報に係る顔特徴量が抽出される都度、必要に応じて人物情報をデータベースに登録することができる。例えば、頻繁に撮像される人物の顔特徴量に係る人物情報はデータベースに登録し、希に撮像される人物の顔特徴量に係る人物情報はデータベースに登録しないようにすることができる。
また、画像データから抽出された顔特徴量に係る人物情報がデータベースに登録済みである場合、未登録人物の存在は外部通信機器に通知されない。従って、人物が撮像される都度、外部通信機器に通知が行われることは無く、ユーザが煩わしさを覚えることは無い。

（２）人物情報に係る通知条件を受け付ける通知条件受付部と、該通知条件受付部が受け付けた通知条件を人物情報に対応付けて登録する通知条件登録部と、前記特徴量抽出部にて抽出された顔特徴量に係る人物情報及び前記データベースに登録された通知条件に基づいて、該通知条件を満たすか否かを判定する通知条件判定部と、該通知条件判定部が通知条件を満たすと判定した場合、外部通信機器へ通知を行う通知部とを備える構成が好ましい。

本態様によれば、人物情報に係る通知条件を通知条件受付部が受け付け、受け付けた通知条件はデータベースに登録される。通知条件判定部は、画像データから抽出された顔特徴量に係る人物情報と、データベースに登録されている通知条件とに基づいて、通知条件を満たすか否かを判定する。通知条件を満たすと判定された場合、通知部は外部通信機器へ通知を行う。

（３）前記撮像装置が人物を撮像したときの時間情報を取得する時間情報取得部を備え、前記登録部は、前記特徴量抽出部にて抽出された顔特徴量に係る人物情報と、前記時間情報取得部にて取得された時間情報とを対応付けて登録するようにしてあり、更に、前記特徴量抽出部にて抽出された顔特徴量に係る人物情報が前記データベースに登録されていると前記判定部が判定した場合、前記時間情報取得部にて取得された時間情報が、前記人物情報に対応付けて前記データベースに登録されている時間情報に対応しているか否かを判定する時間判定部と、該時間判定部が否と判定した場合、未登録時間における人物の存在を外部通信機器へ通知する未登録時間通知部と、該未登録時間通知部が未登録時間における人物の存在を通知した場合、前記人物が存在する時間情報の登録を受け付ける人物存在時間受付部とを備え、前記登録部は、前記人物存在時間受付部にて時間情報の登録を受け付けた場合、前記特徴量抽出部にて抽出された顔特徴量に係る人物情報に前記時間情報取得部にて取得された時間情報を対応付けて前記データベースに登録する構成が好ましい。

本態様によれば、人物監視装置のデータベースには人物の顔特徴量に係る人物情報と、該人物が撮像されたときの時間情報とが対応付けて登録される。データベースに登録された人物情報に対応する人物が撮像されたときの時間情報と、該人物情報に対応付けてデータベースに登録されている時間情報とが対応していない場合、未登録時間通知部は、未登録の時間における人物の存在を外部通信機器へ通知する。つまり、未登録時間通知部は、顔特徴量に係る人物情報がデータベースに登録されている人物ではあっても、データベースに登録されていない時間に該人物が存在する場合、未登録の行動パターンであるとして、外部通信機器へ通知する。
そして、人物存在時間受付部は、未登録の時間情報の登録を受け付ける。未登録の時間情報の登録を受け付けた場合、時間情報取得部にて取得された時間情報は顔特徴量に係る人物情報に対応付けてデータベースに登録される。
従って、人物監視装置を使用するに当たり、データベースに特定の人物の顔特徴量に係る人物情報及び時間情報を予め登録する必要は無い。ユーザは未登録時間に顔特徴量が抽出される都度、必要に応じて時間情報をデータベースに登録することができる。例えば、頻繁に人物が撮像される時間を示す時間情報はデータベースに登録し、希に人物が撮像される時間を示す時間情報はデータベースに登録しないようにすることができる。
また、画像データから抽出された顔特徴量に係る人物情報がデータベースに登録済みであって、撮像されたときの時間情報と、該人物情報に対応付けてデータベースに登録されている時間情報とが対応している場合、人物の存在は外部通信機器に通知されない。従って、特定の時間に人物が撮像される都度、外部通信機器に通知が行われることは無く、ユーザが煩わしさを覚えることは無い。

（４）人物情報及び時間情報に係る通知条件を受け付ける通知条件受付部と、該通知条件受付部が受け付けた通知条件を前記顔特徴量に係る人物情報及び時間情報に対応付けて登録する通知条件登録部と、前記特徴量抽出部にて抽出された顔特徴量に係る人物情報、前記時間情報取得部にて取得された時間情報及び前記データベースに登録された通知条件に基づいて、該通知条件を満たすか否かを判定する通知条件判定部と、該通知条件判定部が通知条件を満たすと判定した場合、外部通信機器へ通知を行う通知部とを備える構成が好ましい。

本態様によれば、人物情報及び時間情報に係る通知条件を通知条件受付部が受け付け、受け付けた通知条件はデータベースに登録される。通知条件判定部は、画像データから抽出された顔特徴量に係る人物情報と、時間情報取得部にて取得された時間情報と、データベースに登録されている通知条件とに基づいて、通知条件を満たすか否かを判定する。通知条件を満たすと判定された場合、通知部は外部通信機器へ通知を行う。

本発明の一態様に係る人物監視システムは、
（５）撮像装置と、前記（１）〜（４）のいずれか一つに記載の人物監視装置とを備え、該人物監視装置は、前記撮像装置が人物を撮像して得た画像データを該撮像装置から取得する。

本態様によれば、撮像装置が人物を撮像し、人物監視装置は該撮像装置が撮像して得た画像データを取得し、人物の監視を行う。本態様の人物監視システムは、本態様（１）の人物監視装置と同様の作用を有する。

（６）前記撮像装置は車両に設けられており、前記人物監視装置は、前記撮像装置が撮像を行ったときの前記車両の位置情報を取得する位置情報取得部を備え、前記位置情報取得部にて取得された位置情報を顔特徴量に係る人物情報に対応付けて前記データベースに登録するようにしてあり、更に、前記特徴量抽出部にて抽出された顔特徴量に係る人物情報が前記データベースに登録されていると前記判定部が判定した場合、前記位置情報取得部にて取得された位置情報が、前記人物情報に対応付けて前記データベースに登録されている位置情報に対応しているか否かを判定する位置判定部と、該位置判定部が否と判定した場合、未登録位置における人物の存在を外部通信機器へ通知する未登録位置通知部と、該未登録位置通知部が未登録位置における人物の存在を通知した場合、前記人物が存在する位置情報の登録を受け付ける位置受付部とを備え、前記登録部は、前記位置受付部にて位置情報の登録を受け付けた場合、前記特徴量抽出部にて抽出された顔特徴量に係る人物情報に前記位置情報取得部が取得した位置情報を対応付けて前記データベースに登録する構成が好ましい。

本態様によれば、撮像装置は車両に設けられており、人物監視システムは車両に出入りする人物を監視することができる。
人物監視装置のデータベースには人物の顔特徴量に係る人物情報と、該人物が撮像されたときの位置情報とが対応付けて登録される。データベースに登録された人物情報に対応する人物が撮像されたときの位置情報と、該人物情報に対応付けてデータベースに登録されている位置情報とが対応していない場合、未登録位置通知部は、未登録位置における人物の存在を外部通信機器へ通知する。つまり、未登録位置通知部は、顔特徴量に係る人物情報がデータベースに登録されている人物ではあっても、データベースに登録されていない位置に該人物が存在する場合、未登録の行動パターンであるとして、外部通信機器へ通知する。
そして、未登録位置受付部は、未登録の位置情報の登録を受け付ける。未登録の位置情報の登録を受け付けた場合、位置情報取得部が取得した位置情報は顔特徴量に係る人物情報に対応付けてデータベースに登録される。
従って、人物監視装置を使用するに当たり、データベースに特定の人物の顔特徴量に係る人物情報及び位置情報を予め登録する必要は無い。ユーザは未登録位置で顔特徴量が抽出される都度、必要に応じて位置情報をデータベースに登録することができる。例えば、頻繁に人物が撮像される位置を示す位置情報はデータベースに登録し、希に人物が撮像される位置を示す位置情報はデータベースに登録しないようにすることができる。
また、画像データから抽出された顔特徴量に係る人物情報がデータベースに登録済みであって、撮像されたときの位置情報と、該人物情報に対応付けてデータベースに登録されている位置情報とが対応している場合、人物の存在は外部通信機器に通知されない。従って、特定の位置で人物が撮像される都度、外部通信機器に通知が行われることは無く、ユーザが煩わしさを覚えることは無い。

（７）人物監視システムは、前記撮像装置は家屋に設けられている構成が好ましい。

本態様によれば、撮像装置は家屋に設けられており、人物監視システムは家屋に出入りする人物を監視することができる。

本発明の一態様に係る人物監視方法は、
（８）人物を撮像して得た画像データに基づいて、該人物の顔特徴量を抽出し、抽出された顔特徴量に基づいて人物を監視する人物監視方法であって、顔特徴量に係る人物情報が登録されるデータベースに、抽出された顔特徴量に係る人物情報が登録されているか否かを判定するステップと、否と判定した場合、未登録人物の存在を外部通信機器へ通知するステップと、未登録人物の存在を通知した場合、未登録人物の登録を受け付けるステップと、未登録人物の登録を受け付けた場合、抽出された顔特徴量に係る人物情報を前記データベースに登録するステップとを備える。

本態様に係る人物監視方法は、本態様（１）の人物監視装置と同様の作用を有する。

本発明の一態様に係るコンピュータプログラムは、
（９）コンピュータに、人物を撮像して得た画像データに基づいて、該人物の顔特徴量を抽出させ、抽出された顔特徴量に基づいて人物を監視させるコンピュータプログラムであって、前記コンピュータを、画像データに基づいて、該人物の顔特徴量を抽出する特徴量抽出部と、顔特徴量に係る人物情報が登録されるデータベースに、該特徴量抽出部にて抽出された顔特徴量に係る人物情報が登録されているか否かを判定する判定部と、該判定部が否と判定した場合、未登録人物の存在を外部通信機器へ通知する未登録人物通知部と、該未登録人物通知部が未登録人物の存在を通知した場合、未登録人物の登録を受け付ける受付部と、該受付部にて未登録人物の登録を受け付けた場合、前記特徴量抽出部にて抽出された顔特徴量に係る人物情報を前記データベースに登録する登録部として機能させる。

本態様に係るコンピュータプログラムは、コンピュータを、本態様（１）の人物監視装置として機能させることができる。
なお、上述の人物監視装置は、コンピュータを備えて構成され、人物監視装置の各機能は、前記コンピュータの記憶装置に記憶されたコンピュータプログラムが前記コンピュータのＣＰＵによって実行されることで発揮される。前記コンピュータプログラムは、ＣＤ−ＲＯＭなどの記録媒体に記憶させることができる。

［本発明の実施形態の詳細］
本発明の実施形態１に係る人物監視システムの具体例を、以下に図面を参照しつつ説明する。なお、本発明はこれらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。また以下に記載する実施形態の少なくとも一部を任意に組み合わせてもよい。

（実施形態１）
図１は本発明の実施形態１に係る人物監視システムの一構成例を示す概念図である。本実施形態１に係る人物監視システムは、屋内の人物Ｂを撮像することにより人物Ｂを監視するシステムである。人物監視システムは、通信網Ｎに接続された人物監視装置１と、屋内に設置された撮像装置２と、特定のユーザＡが所有する携帯通信機器３とを備える。

撮像装置２は撮像部２１及び通信処理部２２を備える。撮像部２１は、例えば、人物Ｂが出入りする家屋の出入り口付近が撮像範囲に含まれるような姿勢で、屋内の適宜箇所に設置されている。撮像素子は例えばＣＣＤであり、レンズで集光し、結像した人物Ｂの画像を電気信号に変換する。撮像素子は、マイコンの制御に従って１秒当たりに例えば３０フレームの画像を撮像する。撮像素子で変換された電気信号は、例えばデジタルの画像データに変換され、該画像データは通信処理部２２へ出力される。通信処理部２２は図示しない時計を有している。時計は、現在の年月日、時刻及び曜日を計時している。通信処理部２２は、撮像部２１から出力された画像データに、該人物Ｂを撮像した時刻又は時間帯、及び曜日を示す時間情報を付加する。本実施形態においては、人物Ｂを撮像した時刻又は時間帯を示す情報を時刻情報と呼び、人物Ｂを撮像した時刻又は時間帯に加え、曜日等を含む情報を時間情報と呼ぶ。時間情報は、人物Ｂの行動パターンを時間的に区別するための情報であり、時間情報の具体的内容は行動パターンの区別の仕方によって適宜設定すれば良い。例えば、平日と、土日及び祝日とを時間的に区別したい場合、時間情報として、人物Ｂを撮像した時間帯に、平日と、土日及び祝日との別を示す情報を加えれば良い。また、季節によって行動パターンが変化するような場合、人物Ｂを撮像した時間帯に、季節を示す情報を加えれば良い。更に、時間帯の区別のみで足りる場合、人物Ｂを撮像した時間帯を示す情報を時間情報とすれば良い。
そして、通信処理部２２は時間情報が付加された画像情報を、通信網Ｎを介して人物監視装置１へ送信する。通信処理装置は、画像データに時間情報を付加せず、画像データ及び時間情報を各別に人物監視装置１へ送信するように構成しても良い。

携帯通信機器３は、通信機能を有する携帯電話、スマートフォン、タブレット端末、その他の通信機器である。本実施形態１に係る携帯通信機器３はメールを受信する機能を有している。

図２は本発明の実施形態１に係る人物監視装置１の一構成例を示すブロック図である。人物監視装置１は、例えば、該人物監視装置１の各構成部の動作を制御するＣＰＵ（Central Processing Unit）等の制御部１１を備えたコンピュータである。制御部１１には、バスを介して、ＲＯＭ１２、ＲＡＭ１３、通信部１４、記憶部１５及び時計部１６が接続されている。

ＲＯＭ１２は、ＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）等の不揮発性メモリであり、コンピュータの初期動作に必要な制御プログラムを記憶している。

ＲＡＭ１３は、ＤＲＡＭ（Dynamic RAM）、ＳＲＡＭ（Static RAM）等のメモリであり、制御部１１の演算処理を実行する際にＲＯＭ１２及び記憶部１５から読み出された制御プログラム及び後述のコンピュータプログラム４１、又は制御部１１の演算処理によって生ずる各種データを一時記憶する。

通信部１４は、撮像装置２の通信機及び携帯通信機器３との間で各種情報を送受信するためのインタフェースであり、通信部１４による各種情報の送受信は制御部１１によって制御される。例えば、通信部１４は、撮像装置２から送信された画像データを受信する。また通信部１４は、人物Ｂ及び該人物Ｂの行動パターンの登録に係る情報、人物Ｂの監視に係る情報を携帯通信機器３との間で送受信する。

時計部１６は年月日及び時刻を計時している。また時計部１６はカレンダー情報を有しており、制御部１１は該時計部１６から現在の年月日、時刻及び曜日などの時間情報を取得することができる。

記憶部１５は、ＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）、フラッシュメモリ等の不揮発性メモリである。記憶部１５は、制御部１１が人物監視装置１の各構成部の動作を制御することにより、人物Ｂの監視に係る処理を実行するためのコンピュータプログラム４１を記憶している。本実施形態１に係るコンピュータプログラム４１は、記録媒体４にコンピュータ読み取り可能に記録されている態様でも良い。記憶部１５は、図示しない読出装置によって記録媒体４から読み出されたコンピュータプログラム４１を記憶する。記録媒体４はＣＤ（Compact Disc）−ＲＯＭ、ＤＶＤ（Digital Versatile Disc）−ＲＯＭ、ＢＤ（Blu-ray （登録商標）Disc）等の光ディスク、フレキシブルディスク、ハードディスク等の磁気ディスク、磁気光ディスク、半導体メモリ等である。また、図示しない通信網Ｎに接続されている図示しない外部コンピュータから本実施形態１に係るコンピュータプログラム４１をダウンロードし、記憶部１５に記憶させても良い。制御部１１は、コンピュータプログラム４１が記録された記録媒体４又は記憶部１５から、コンピュータプログラム４１をＲＡＭ１３に読み出し、実行することにより、コンピュータを人物監視装置１として機能させる。
また、記憶部１５は、行動パターンＤＢ１５ａ及び顔特徴量ＤＢ１５ｂを記憶している。行動パターンＤＢ１５ａ及び顔特徴量ＤＢ１５ｂの詳細は後述する。

図３は撮像装置２の処理手順を示すフローチャートである。撮像装置２の撮像部２１は撮像を行い（ステップＳ１１）、撮像装置２の通信処理部２２は撮像して得た画像データを入力する。そして、通信処理部２２は、画像データに基づいて、被写体の動き検出処理を実行し、画像データに係る画像中に動いている被写体が存在するか否かを判定する（ステップＳ１２）。人物Ｂは撮像範囲を移動するため、人物Ｂが撮像範囲に入った場合、該人物Ｂは、画像データに係る画像中に動いている被写体として撮像される。従って、動き検出を行うことによって、人物Ｂ等の被写体が含まれる画像データを検出することができる。動いている被写体が存在しないと判定した場合（ステップＳ１２：ＮＯ）、通信処理部２２は処理をステップＳ１１へ戻す。動いている被写体が存在すると判定した場合（ステップＳ１２：ＹＥＳ）、通信処理部２２は、撮像部２１が撮像を行った時刻を計時し、計時して得た時刻又は時間帯、並びに曜日を含む時間情報を画像データに付加する（ステップＳ１３）。そして、通信処理部２２は、時間情報が付加された画像データを、通信網Ｎを介して人物監視装置１へ送信し（ステップＳ１４）、処理をステップＳ１１へ戻す。なお、上述したように、通信処理装置は画像データ及び時間情報を各別に人物監視装置１へ送信しても良い。

図４は人物Ｂの監視に係る人物監視装置１の処理手順を示すフローチャートである。人物監視装置１の制御部１１は、以下の処理を定期的に実行することにより、人物Ｂの監視を行う。制御部１１は、外部から送信されたデータを通信部１４にて受信する（ステップＳ３１）。次いで、制御部１１は、受信したデータが撮像装置２から送信された画像データであるか否かを判定する（ステップＳ３２）。画像データであると判定した場合（ステップＳ３２：ＹＥＳ）、制御部１１は受信した画像データから顔画像を特定し、特定した顔画像から顔特徴量を抽出する（ステップＳ３３）。そして制御部１１は、画像データから時間情報を抽出する（ステップＳ３４）。時間情報が画像データと別に送信されている場合、制御部１１は、ステップＳ３１で時間情報を受信する。

次いで制御部１１は、抽出された顔特徴量に対応する人物識別子が行動パターンＤＢ１５ａに登録済みであるか否かを判定する（ステップＳ３５）。人物識別子は、顔特徴量によって一意に特定された人物を示す情報である。ここで行動パターンＤＢ１５ａ及び顔特徴量ＤＢ１５ｂの構成を説明する。

図５は、行動パターンＤＢ１５ａのレコードレイアウト例を示す概念図である。行動パターンＤＢ１５ａは、レコードを識別する番号、人物識別子、行動パターン情報、通知条件及び通知先に係る情報を対応付けて格納するデータベースである。
「人物識別子」列は、画像データから抽出された顔特徴量によって特定される人物を示す識別子を格納する。
行動パターンの「曜日」列は、人物Ｂを撮像した日の曜日を示した曜日情報を格納する。
行動パターンの「時刻情報」列は、人物Ｂを撮像した時刻又は該時刻の属する時間帯を示す情報を格納する。時間帯の区分けは予め設定されたものである。
行動パターンの「付加情報」列は、人物Ｂを撮像した日時の情報を補足するための情報を格納する。
例えば、人物Ｂを撮像した日時として月曜日の８時〜９時が格納された場合であっても、翌日である火曜日の８時頃に同一人物Ｂが撮像された場合、後述するように未登録の行動パターンを有する人物Ｂが撮像されたとして、その旨が携帯通信機器３へ通知される。しかし、付加情報として、平日は同時間帯に前記人物Ｂが撮像され得ることを示す情報を格納することによって、斯かる月曜日の行動パターンを、月曜日〜金曜日の行動パターンに拡張することができる。
また、人物Ｂを撮像した日時として月曜日の８時〜９時が格納された場合であっても、該人物Ｂの行動の内容によっては、前記人物Ｂが撮像され得る時間帯が変動することがある。例えば、幼稚園から子供を連れて自宅に帰る時間帯である１４時〜１５時の時間帯で母親の人物Ｂが撮像されたとしても、翌日は買い物等を行う等の事情によって１５時〜１６時頃に帰宅することもあり得る。このような場合、１４時〜１５時の時間帯で当該人物Ｂを登録したとしても、他の時間帯で該人物Ｂが撮像された場合、未登録の行動パターンを有する人物Ｂが撮像されたとして、その旨が携帯通信機器３へ通知される。しかし、付加情報として、撮像された時間帯をより幅広い時間帯に前記人物Ｂが撮像され得ることを示す情報を格納することによって、登録された時間帯１４時〜１５時を、より幅広い時間帯、例えば１３時〜１６時等に拡張することができる。
なお、付加情報による上述した時間情報の拡張方法は一例であり、時間情報の拡張方法は特に限定されない。

「通知条件」列は、人物Ｂの存否に応じて、所定の通知を携帯通信機器３へ行う条件を示した情報を格納する。例えば、通知の条件としては、行動パターンＤＢ１５ａに登録された人物識別子及び行動パターン情報に合致した場合に、携帯通信機器３へ通知を行うという条件、行動パターンＤＢ１５ａに登録された人物識別子が、登録された時間帯に撮像されなかった場合に通知を行うという条件、行動パターンＤＢ１５ａに登録された人物識別子及び行動パターン情報に合致した場合は通知を行わないという条件などが挙げられる。
「通知先」列は、「通知条件」列に格納された条件に合致した場合に、通知を行う通知先の情報を格納する。例えば、ユーザＡの携帯通信機器３の電子メールアドレス等を格納する。

図６は、顔特徴量ＤＢ１５ｂのレコードレイアウト例を示す概念図である。顔特徴量ＤＢ１５ｂは、人物識別子と、該人物識別子に対応する人物Ｂの顔特徴量を対応付けて格納するデータベースである。
「人物識別子」列は、画像データから抽出された顔特徴量によって特定される人物を示す情報を格納しており、行動パターンＤＢ１５ａの人物識別子に紐付けされている。
「顔特徴量」列は、当該人物識別子に対応する人物Ｂの画像から抽出される顔特徴量を格納する。本願の顔特徴量は、人物を識別するためのものであり、画像データから互いに類似の顔特徴量が抽出された場合、該顔特徴量を有する各画像データにおける人物Ｂは同一人物である。本実施形態における人物情報は、人物識別子及び顔特徴量で構成される。

ステップＳ３５において登録済みで無いと判定した場合（ステップＳ３５：ＮＯ）、制御部１１は、人物情報が登録されていない未登録人物Ｂが存在することを示す情報を通信部１４にて、特定の携帯通信機器３へ送信する（ステップＳ３６）。例えば、制御部１１は、画像データのサムネイル画像を生成し、生成したサムネイル画像を通信部１４にて携帯通信機器３へ送信する。未登録人物Ｂの存在を通知する通知先を示す情報、例えば携帯通信機器３の電子メールアドレスは記憶部１５が予め記憶している。

ステップＳ３５において、登録済みであると判定した場合（ステップＳ３５：ＹＥＳ）、制御部１１は、ステップＳ３４で抽出した時間情報と、ステップＳ３３で抽出された顔特徴量に対応する人物識別子に対応付けて行動パターンＤＢ１５ａに登録されている時間情報とが一致しているか否かを判定する（ステップＳ３７）。具体的には、制御部１１は、ステップＳ３３で抽出された顔特徴量に類似の顔特徴量に対応付けられた人物識別子を顔特徴量ＤＢ１５ｂに基づいて特定する。そして、制御部１１は、特定された人物識別子に対応付けられた時間情報を行動パターンＤＢ１５ａに基づいて特定する。次いで、制御部１１は、ステップＳ３４で抽出した時間情報と、特定された時間情報とが一致しているか否かを判定する。
なお、行動パターンＤＢ１５ａに登録されている行動パターン情報に付加情報が登録されている場合、制御部１１は、該付加情報によって拡張された時間情報を用いて、ステップＳ３７の判定処理を行う。時間情報が一致していると判定した場合（ステップＳ３７：ＹＥＳ）、制御部１１は、判定結果を一時記憶する（ステップＳ３９）。判定結果としては、画像データから抽出された登録済みの人物の人物識別子及び行動パターン情報を一時記憶すれば良い。また、該人物識別子及び行動パターンに対応する番号を一時記憶しても良い。
時間情報が一致していないと判定した場合（ステップＳ３７：ＮＯ）、制御部１１は、未登録の行動パターンであることを示す情報を通信部１４にて、特定の携帯通信機器３へ送信する（ステップＳ３８）。例えば、制御部１１は、画像データのサムネイル画像を生成し、生成したサムネイル画像及び撮像した時刻又は時間帯、曜日を示す時間情報を通信部１４にて携帯通信機器３へ送信する。

ステップＳ３６又はステップＳ３８の処理を終えた場合、制御部１１は、通知先の携帯通信機器３を通じて、人物登録、即ちステップＳ３３で抽出した顔特徴量に係る人物情報の登録を受け付け（ステップＳ４０）、合わせてステップＳ３４で抽出した時間情報及び付加情報を含む行動パターンの登録を受け付ける（ステップＳ４１）。例えば、制御部１１はステップＳ３６又はステップＳ３８にて送信したサムネイル画像によって表示された未登録の人物Ｂ又は未登録の行動パターンを登録するか否かを確認する確認画面を携帯通信機器３に表示させ、登録の要否を受け付けることができる。また、制御部１１は、時間情報を補足する情報として付加情報を、携帯通信機器３を通じて受け付ける。付加情報は、例えばステップＳ３４で抽出された時間情報を拡張するための情報である。

次いで、制御部１１は人物登録及び行動パターン登録を行う（ステップＳ４２）。つまり、制御部１１は、通知先の携帯通信機器３を通じて受け付けた人物情報及び行動パターン情報を行動パターンＤＢ１５ａ及び顔特徴量ＤＢ１５ｂに登録する。
人物情報としては、ステップＳ３３で抽出した顔特徴量を顔特徴量ＤＢ１５ｂに登録し、該顔特徴量によって特定される人物を示す人物識別子を行動パターンＤＢ１５ａに登録する。行動パターン情報はステップＳ３４で抽出した時間情報、ステップＳ４１で受け付けた付加情報を含む。

そして、制御部１１は、携帯通信機器３を通じて通知条件を受け付け（ステップＳ４３）、受け付けた通知条件を行動パターンＤＢ１５ａに登録する（ステップＳ４４）。通知条件は、行動パターンＤＢ１５ａに登録された人物識別子及び行動パターンに対応する人物Ｂが撮像された際に通知を行うか否か、該人物Ｂが撮像されなかった際に通知を行うか否かといった情報である。

ステップＳ３９又はステップＳ４４の処理を終えた場合、又はステップＳ３２において受信したデータが画像データで無いと判定された場合（ステップＳ３２：ＮＯ）、制御部１１は、行動パターンＤＢ１５ａに登録されている通知条件を満たすか否かを判定する（ステップＳ４５）。通知条件を満たすか否かの判定は、ステップＳ３３及びステップＳ３４にて抽出された顔特徴量及び時間情報、又はステップＳ３９で一時記憶した過去一定期間に撮像した人物Ｂの人物識別子及び時間情報と、行動パターンＤＢ１５ａ及び顔特徴量ＤＢ１５ｂに登録された情報とに基づいて、行われる。具体的には、行動パターンに合致する場合に通知を行うことを示す通知条件に関しては、該通知条件に対応付けられた人物識別子及び行動パターンと、ステップＳ３３及びステップＳ３４にて抽出された顔特徴量に対応する人物識別子及び時間情報とが一致している場合、前記通知条件は満たされていると判定される。行動パターンに合致しない場合に通知を行うことを示す通知条件に関しては、該通知条件に対応付けられた人物識別子及び行動パターンが、ステップＳ３９で一時記憶した過去一定期間に撮像した人物Ｂの人物識別子及び時間情報のいずれとも一致している場合、前記通知条件は満たされていると判定される。

通知条件を満たさないと判定した場合（ステップＳ４５：ＮＯ）、制御部１１は処理を終える。通知条件を満たすと判定した場合（ステップＳ４５：ＹＥＳ）、制御部１１は、携帯通信機器３へ通知を行い（ステップＳ４６）、処理を終える。

実施形態１に係る人物監視システム、人物監視装置１、人物監視方法及びコンピュータプログラム４１によれば、人物情報の初期登録を行う必要が無く、かつ人物Ｂの監視に係る無駄な通知を低減することができる。
行動パターンＤＢ１５ａに登録されていない人物識別子に対応する人物Ｂが撮像された場合、その旨が携帯通信機器３へ通知され、人物監視装置１は人物Ｂの登録の要否を受け付ける。同様に、行動パターンＤＢ１５ａ及び顔特徴量ＤＢ１５ｂに登録されている人物Ｂであっても、未登録の行動パターンで該人物Ｂが撮像された場合、その旨が携帯通信機器３へ通知され、人物監視装置１は人物Ｂの行動パターンの登録の要否を受け付ける。
ユーザＡは、人物Ｂ及び行動パターンの登録を所望する場合、登録操作を行うことにより、人物Ｂの人物情報及び行動パターン情報を行動パターンＤＢ１５ａ及び顔特徴量ＤＢ１５ｂに都度登録を行うことができる。
画像データから抽出された人物Ｂの顔特徴量に対応する人物識別子と、該人物Ｂの行動パターンが行動パターンＤＢ１５ａ及び顔特徴量ＤＢ１５ｂに登録済みである場合、未登録人物Ｂの存在は携帯通信機器３に通知されない。従って、人物Ｂが撮像される都度、携帯通信機器３に通知が行われることは無く、ユーザＡが煩わしさを覚えることは無い。
このように本願によれば、人物情報の初期登録を行う必要は無く、人物監視システムを使用しながら必要に応じて、人物Ｂの人物情報及び行動パターンを行動パターンＤＢ１５ａ及び顔特徴量ＤＢ１５ｂに登録することができる。

また、本実施形態１に係る撮像装置２は家屋に設けられているため、家屋における人物Ｂを監視することができる。

更に、人物情報及び行動パターンに対応付けて通知条件を設定することができ、ユーザ所望の条件で所望の携帯通信機器３へ通知を行うことができる。
例えば、行動パターンＤＢ１５ａに登録された人物識別子に対応する人物Ｂが登録された時間情報に係る時間帯で撮像された場合に通知を行うといった通知条件を設定することにより、特定の時間帯に特定の人物Ｂが存在することを確認することができる。
また、行動パターンＤＢ１５ａに登録された人物識別子に対応する人物Ｂが登録された時間情報に係る時間帯に存在しない場合に通知を行うことにより、特定の人物Ｂが特定の時間帯に存在しないことの異常を確認することができる。

（実施形態２）
図７は本発明の実施形態２に係る人物監視システムの一構成例を示す概念図である。実施形態２に係る人物監視システムは、実施形態１と同様、人物監視装置１及び撮像装置２０２及び携帯通信機器３を備える。ただし、実施形態２に係る撮像装置２０２は車両Ｃに搭載されており、人物Ｂを撮像した位置、つまり車両Ｃの位置情報を行動パターンに含む点が実施形態１と異なる。以下では主に斯かる相違点を説明する。その他の構成及び作用効果は実施形態１と同様であるため、対応する箇所には同様の符号を付して詳細な説明を省略する。

実施形態２に係る人物監視システムを構成する撮像装置２０２は、車両Ｃに搭載されている。撮像装置２０２は撮像部２２１及び通信処理部２２２を有する。撮像部２２１は車両Ｃの運転席に座った人物Ｂの顔が撮像範囲に入るような位置及び姿勢で車内に取り付けられている。通信処理部２２２は車両Ｃの適宜箇所に設置されており、撮像部２２１が撮像して得た画像データが入力するように接続されている。また、通信処理部２２２は、車両Ｃに搭載されたカーナビゲーション装置５と車内通信線を介して接続されており、カーナビゲーション装置５との間で情報を送受信するように構成されている。
カーナビゲーション装置５は、自身の位置、言い換えると車両Ｃ又は車両Ｃに乗車した人物Ｂの位置を検出する位置検出部を備える。位置検出部はＧＰＳ受信機を有している。ＧＰＳ受信機は、人工衛星（ＧＰＳ衛星）と共にＧＰＳシステムを構成しており、位置検出部は人工衛星からの電波を受信し、自身の位置情報を取得する。カーナビゲーション装置５は、通信処理部２２２の求めに応じて、位置検出部が検出した位置情報を通信処理部２２２へ出力する。通信処理部２２２は、撮像部２２１から出力された画像データに、該人物Ｂを撮像した時刻又は時間帯、及び曜日を示す時間情報と、カーナビゲーション装置５から取得した位置情報とを付加する。そして、通信処理部２２２は時間情報及び位置情報が付加された画像情報を、通信網Ｎを介して人物監視装置１へ送信する。なお、通信処理装置は、画像データに、時間情報及び位置情報のいずれか一方又は両方を付加せず、個別に人物監視装置１へ送信するように構成しても良い。

図８は実施形態２に係る人物監視装置１の処理手順を示すフローチャートである。人物監視装置１の第１制御部１１は、実施形態１におけるステップＳ３１〜３６と同様の処理をステップＳ２３１〜２３６において実行する。つまり、制御部１１は通信部１４にてデータを受信し（ステップＳ２３１）、受信したデータが画像データであるか否かを判定する（ステップＳ２３２）。受信したデータが画像データであると判定した場合（ステップＳ２３２：ＹＥＳ）、制御部１１は、受信した画像データから人物Ｂの顔特徴量を抽出し（ステップＳ２３３）、画像データから時間情報を抽出する（ステップＳ２３４）。そして、制御部１１は、抽出された顔特徴量に対応する人物識別子が行動パターンＤＢ２１５ａに登録済みであるか否かを判定する（ステップＳ２３５）。

図９は実施形態２に係る行動パターンＤＢ２１５ａのレコードレイアウト例を示す概念図である。実施形態２に係る行動パターンＤＢ２１５ａは、実施形態１と同様、番号、人物識別子、行動パターン情報、通知条件及び通知先を対応付けて格納するデータベースであり、行動パターン情報として時刻情報及び付加情報に加え位置情報を格納している。
「位置情報」列は、人物Ｂが撮像された位置情報を格納している。位置情報は例えば緯度及び経度の情報である。

顔特徴量に対応する人物識別子が行動パターンＤＢ２１５ａに登録されていると判定した場合（ステップＳ２３５：ＹＥＳ）、制御部１１は、ステップＳ２３１で受信した画像データから位置情報を抽出する（ステップＳ２３７）。
次いで、制御部１１は、ステップＳ２３４で抽出した時間情報及びステップＳ２３７で抽出した位置情報と、ステップＳ２３３で抽出された顔特徴量に対応する人物識別子に対応付けて行動パターンＤＢ２１５ａに登録されている行動位置情報の時間情報とが一致しているか否かを判定する（ステップＳ２３８）。なお、行動パターンＤＢ２１５ａに登録されている行動パターン情報に付加情報が登録されている場合、制御部１１は、該付加情報によって拡張された時間情報を用いて、ステップＳ２３８の判定処理を行う。時間情報及び位置情報が一致していると判定した場合（ステップＳ２３８：ＹＥＳ）、制御部１１は、検出された登録済みの人物Ｂ及び行動パターン、つまりステップＳ２３２で受信した画像データに含まれる人物Ｂに係る登録済みの人物識別子、時間情報及び位置情報を判定結果として一時記憶する（ステップＳ２４０）。

時間情報が一致していないと判定した場合（ステップＳ２３８：ＮＯ）、制御部１１は、未登録の行動パターンであることを示す情報を通信部１４にて、特定の携帯通信機器３へ送信する（ステップＳ２３９）。例えば、制御部１１は、画像データのサムネイル画像を生成し、生成したサムネイル画像と、撮像した時刻又は時間帯、曜日を示す時間情報と、位置情報とを通信部１４にて携帯通信機器３へ送信する。

以下、制御部１１はステップＳ４０〜ステップＳ４６と同様の処理をステップＳ２４１〜２４７において実行する。但し、行動パターン情報に位置情報が含まれている点が異なる。具体的には、ステップＳ２３６又はステップＳ２３９の処理を終えた場合、制御部１１は、通知先の携帯通信機器３を通じて、ステップＳ２３３で抽出した顔特徴量に係る人物情報の登録を受け付ける（ステップＳ２４１）。また、行動パターン情報として、ステップＳ２３４で抽出した時間情報、ステップＳ２３７で抽出した位置情報、及び付加情報の登録を受け付ける（ステップＳ２４２）。

次いで、制御部１１は通知先の携帯通信機器３を通じて受け付けた人物情報及び行動パターン情報を行動パターンＤＢ２１５ａ及び顔特徴量ＤＢ１５ｂに登録する（ステップＳ２４３）。人物情報としては、ステップＳ２３３で抽出した顔特徴量を顔特徴量ＤＢ１５ｂに登録し、該顔特徴量によって特定される人物を示す人物識別子を行動パターンＤＢ２１５ａに登録する。行動パターン情報にはステップＳ２３４で抽出した時間情報、ステップＳ２３７で抽出した位置情報、ステップＳ２４２で受け付けた付加情報が含まれる。

そして、制御部１１は、携帯通信機器３を通じて通知条件を受け付け（ステップＳ２４４）、受け付けた通知条件を行動パターンＤＢ２１５ａに登録する（ステップＳ２４５）。

ステップＳ２４５又はステップＳ２４０の処理を終えた場合、又はステップＳ２３２において受信したデータが画像データで無いと判定された場合（ステップＳ２３２：ＮＯ）、制御部１１は、行動パターンＤＢ２１５ａに登録されている通知条件を満たすか否かを判定する（ステップＳ２４６）。通知条件を満たさないと判定した場合（ステップＳ２４６：ＮＯ）、制御部１１は処理を終える。通知条件を満たすと判定した場合（ステップＳ２４６：ＹＥＳ）、制御部１１は、携帯通信機器３へ通知を行い（ステップＳ２４７）、処理を終える。

実施形態２に係る人物監視システム、人物監視装置１、人物監視方法及びコンピュータプログラム４１にあっては、撮像装置２０２は車両Ｃに設けられているため、人物監視システムは車両Ｃに出入りする人物Ｂを監視することができる。

また、行動パターンＤＢ２１５ａに登録されている人物Ｂであっても、未登録の行動パターン、即ち未登録の時間及び位置で該人物Ｂが撮像された場合、その旨が携帯通信機器３へ通知され、人物監視装置１は人物Ｂの行動パターンの登録の要否を受け付ける。
ユーザＡは、人物Ｂ及び行動パターンの登録を所望する場合、登録操作を行うことにより、人物Ｂの人物情報と、行動パターン情報に係る時間情報及び位置情報とを行動パターンＤＢ２１５ａ及び顔特徴量ＤＢ１５ｂに都度登録を行うことができる。
画像データから抽出された人物Ｂの顔特徴量に対応する人物識別子と、該人物Ｂが撮像されたときの時間及び位置に係る行動パターン情報が行動パターンＤＢ２１５ａに登録済みである場合、未登録人物Ｂの存在は携帯通信機器３に通知されない。従って、人物Ｂが撮像される都度、携帯通信機器３に通知が行われることは無く、ユーザＡが煩わしさを覚えることは無い。
このように本願によれば、人物Ｂの初期登録を行う必要は無く、人物監視システムを使用しながら必要に応じて、人物Ｂの人物情報と、行動パターン情報に係る時間情報及び位置情報を行動パターンＤＢ２１５ａ及び顔特徴量ＤＢ１５ｂに登録することができる。

（実施形態３）
図１０は本発明の実施形態３に係る人物監視システムの一構成例を示す概念図である。実施形態３に係る人物監視システムは、実施形態２と同様、人物監視装置１及び撮像装置３０２及び携帯通信機器３を備える。ただし、実施形態３に係る撮像装置３０２は複数の撮像部を備えており、行動パターンＤＢ３１５ａ（図１１参照）に複数の人物識別子が対応付けて登録されている点が実施形態２と異なる。以下では主に斯かる相違点を説明する。その他の構成及び作用効果は実施形態１及び２と同様であるため、対応する箇所には同様の符号を付して詳細な説明を省略する。

実施形態３に係る人物監視システムを構成する撮像装置３０２は、例えば、第１撮像部３２１ａ及び第２撮像部３２１ｂと、通信処理部３２２とを有する。第１撮像部３２１ａは車両Ｃの運転席に座った人物Ｂの顔が撮像範囲に入るような位置及び姿勢で車内に取り付けられている。第２撮像部３２１ｂは車両Ｃの助手席に座った人物Ｂの顔が撮像範囲に入るような位置及び姿勢で車内に取り付けられている。

図１１は実施形態３に係る行動パターンＤＢ３１５ａのレコードレイアウト例を示す概念図である。実施形態３に係る行動パターンＤＢ３１５ａは、実施形態１と同様、番号、運転席人物識別子及び助手席人物識別子、曜日、行動パターン情報、通知条件及び通知先に係る情報を対応付けて格納するデータベースである。
「運転席人物識別子」列は、運転席に座っている人物Ｂを撮像して得られた該人物Ｂの顔特徴量によって特定される人物を示す情報を格納する。「助手席人物識別子」列は、助手席に座っている人物Ｂを撮像して得られた該人物Ｂの顔特徴量によって特定される人物を示す情報を格納する。

人物Ｂの監視方法は実施形態２と同様であり、人物識別子が複数である点のみが異なる。実施形態３で取り扱う人物識別子は、運転席の人物Ｂの人物識別子と、助手席の人物Ｂの人物識別子とである。従って、ステップＳ２３２における顔特徴量の抽出処理、人物情報が行動パターンＤＢ３１５ａ及び顔特徴量ＤＢ１５ａに登録済みであるか否かの判定処理、人物情報の登録処理、通知条件の判定処理等は、運転席及び助手席の人物情報の双方について行う。
例えば、運転席に一の人物Ｂが存在する状態と、運転席に該一の人物Ｂが存在し、助手席に他の人物Ｂが存在する状態は異なる状態である。
より具体的には、７時〜８時の時間帯において運転席及び助手席にそれぞれ人物識別子「Ｘ」及び「Ｚ」の人物Ｂが存在し、車両Ｃの位置座標が「ｘｘ３，ｙｙ３」である場合、通知条件に合致するため、車外のユーザＡの携帯通信機器３へ通知が行われる。しかし、助手席に人物識別子「Ｚ」の人物Ｂが存在していない場合、通知条件に合致しないため、携帯通信機器３へ通知が行われない。従って、車外のユーザＡは、車両Ｃに普段と異なる人物Ｂが乗車している等の異常を知ることができる。

今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

１ 人物監視装置
２，２０２，３０２ 撮像装置
３ 携帯通信機器
４ 記録媒体
５ カーナビゲーション装置
１１ 制御部
１２ ＲＯＭ
１３ ＲＡＭ
１４ 通信部
１５ 記憶部
１５ａ，２１５ａ，３１５ａ 行動パターンＤＢ
１５ｂ 顔特徴量ＤＢ
１６ 時計部
２１，２２１ 撮像部
２２，２２２，３２２ 通信処理部
４１ コンピュータプログラム
３２１ａ 第１撮像部
３２１ｂ 第２撮像部
Ａ ユーザ
Ｂ 人物
Ｃ 車両
Ｎ 通信網

Claims (9)

1. 撮像装置が人物を撮像して得た画像データを取得する取得部と、該取得部が取得した画像データに基づいて、該人物の顔特徴量を抽出する特徴量抽出部とを備え、該特徴量抽出部にて抽出された顔特徴量に基づいて人物を監視する人物監視装置であって、
   前記特徴量抽出部にて抽出された顔特徴量に係る人物情報をデータベースに登録する登録部と、
   前記特徴量抽出部にて抽出された顔特徴量に係る人物情報が前記データベースに登録されているか否かを判定する判定部と、
   該判定部が否と判定した場合、未登録人物の存在を外部通信機器へ通知する未登録人物通知部と、
   該未登録人物通知部が未登録人物の存在を通知した場合、未登録人物の登録を受け付ける受付部と
   を備え、
   前記登録部は、
   前記受付部にて未登録人物の登録を受け付けた場合、前記特徴量抽出部にて抽出された顔特徴量に係る人物情報を前記データベースに登録する人物監視装置。
2. 人物情報に係る通知条件を受け付ける通知条件受付部と、
   該通知条件受付部が受け付けた通知条件を人物情報に対応付けて登録する通知条件登録部と、
   前記特徴量抽出部にて抽出された顔特徴量に係る人物情報及び前記データベースに登録された通知条件に基づいて、該通知条件を満たすか否かを判定する通知条件判定部と、
   該通知条件判定部が通知条件を満たすと判定した場合、外部通信機器へ通知を行う通知部と
   を備える請求項１に記載の人物監視装置。
3. 前記撮像装置が人物を撮像したときの時間情報を取得する時間情報取得部を備え、
   前記登録部は、
   前記特徴量抽出部にて抽出された顔特徴量に係る人物情報と、前記時間情報取得部にて取得された時間情報とを対応付けて登録するようにしてあり、
   更に、
   前記特徴量抽出部にて抽出された顔特徴量に係る人物情報が前記データベースに登録されていると前記判定部が判定した場合、前記時間情報取得部にて取得された時間情報が、前記人物情報に対応付けて前記データベースに登録されている時間情報に対応しているか否かを判定する時間判定部と、
   該時間判定部が否と判定した場合、未登録時間における人物の存在を外部通信機器へ通知する未登録時間通知部と、
   該未登録時間通知部が未登録時間における人物の存在を通知した場合、前記人物が存在する時間情報の登録を受け付ける人物存在時間受付部と
   を備え、
   前記登録部は、
   前記人物存在時間受付部にて時間情報の登録を受け付けた場合、前記特徴量抽出部にて抽出された顔特徴量に係る人物情報に前記時間情報取得部にて取得された時間情報を対応付けて前記データベースに登録する請求項１に記載の人物監視装置。
4. 人物情報及び時間情報に係る通知条件を受け付ける通知条件受付部と、
   該通知条件受付部が受け付けた通知条件を前記顔特徴量に係る人物情報及び時間情報に対応付けて登録する通知条件登録部と、
   前記特徴量抽出部にて抽出された顔特徴量に係る人物情報、前記時間情報取得部にて取得された時間情報及び前記データベースに登録された通知条件に基づいて、該通知条件を満たすか否かを判定する通知条件判定部と、
   該通知条件判定部が通知条件を満たすと判定した場合、外部通信機器へ通知を行う通知部と
   を備える請求項３に記載の人物監視装置。
5. 撮像装置と、請求項１〜請求項４のいずれか一つに記載の人物監視装置とを備え、該人物監視装置は、前記撮像装置が人物を撮像して得た画像データを該撮像装置から取得する人物監視システム。
6. 前記撮像装置は車両に設けられており、
   前記人物監視装置は、
   前記撮像装置が撮像を行ったときの前記車両の位置情報を取得する位置情報取得部を備え、
   前記位置情報取得部にて取得された位置情報を顔特徴量に係る人物情報に対応付けて前記データベースに登録するようにしてあり、
   更に、
   前記特徴量抽出部にて抽出された顔特徴量に係る人物情報が前記データベースに登録されていると前記判定部が判定した場合、前記位置情報取得部にて取得された位置情報が、前記人物情報に対応付けて前記データベースに登録されている位置情報に対応しているか否かを判定する位置判定部と、
   該位置判定部が否と判定した場合、未登録位置における人物の存在を外部通信機器へ通知する未登録位置通知部と、
   該未登録位置通知部が未登録位置における人物の存在を通知した場合、前記人物が存在する位置情報の登録を受け付ける位置受付部と
   を備え、
   前記登録部は、
   前記位置受付部にて位置情報の登録を受け付けた場合、前記特徴量抽出部にて抽出された顔特徴量に係る人物情報に前記位置情報取得部が取得した位置情報を対応付けて前記データベースに登録する
   請求項５に記載の人物監視システム。
7. 前記撮像装置は家屋に設けられている
   請求項５に記載の人物監視システム。
8. 人物を撮像して得た画像データに基づいて、該人物の顔特徴量を抽出し、抽出された顔特徴量に基づいて人物を監視する人物監視方法であって、
   顔特徴量に係る人物情報が登録されるデータベースに、抽出された顔特徴量に係る人物情報が登録されているか否かを判定するステップと、
   否と判定した場合、未登録人物の存在を外部通信機器へ通知するステップと、
   未登録人物の存在を通知した場合、未登録人物の登録を受け付けるステップと、
   未登録人物の登録を受け付けた場合、抽出された顔特徴量に係る人物情報を前記データベースに登録するステップと
   を備える人物監視方法。
9. コンピュータに、人物を撮像して得た画像データに基づいて、該人物の顔特徴量を抽出させ、抽出された顔特徴量に基づいて人物を監視させるコンピュータプログラムであって、
   前記コンピュータを、
   画像データに基づいて、該人物の顔特徴量を抽出する特徴量抽出部と、
   顔特徴量に係る人物情報が登録されるデータベースに、該特徴量抽出部にて抽出された顔特徴量に係る人物情報が登録されているか否かを判定する判定部と、
   該判定部が否と判定した場合、未登録人物の存在を外部通信機器へ通知する未登録人物通知部と、
   該未登録人物通知部が未登録人物の存在を通知した場合、未登録人物の登録を受け付ける受付部と、
   該受付部にて未登録人物の登録を受け付けた場合、前記特徴量抽出部にて抽出された顔特徴量に係る人物情報を前記データベースに登録する登録部と
   して機能させるためのコンピュータプログラム。

Images