JP2018120644A - Identification apparatus, identification method, and program - Google Patents
Identification apparatus, identification method, and program Download PDFInfo
- Publication number
- JP2018120644A JP2018120644A JP2018091740A JP2018091740A JP2018120644A JP 2018120644 A JP2018120644 A JP 2018120644A JP 2018091740 A JP2018091740 A JP 2018091740A JP 2018091740 A JP2018091740 A JP 2018091740A JP 2018120644 A JP2018120644 A JP 2018120644A
- Authority
- JP
- Japan
- Prior art keywords
- identification
- person
- information
- face
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
Description
本発明は、識別装置、識別方法およびプログラムに関する。 The present invention relates to an identification device, an identification method, and a program.
人物の在室状況や室内への入退出管理、遠隔地からの見守り等を行うために、各種センサや会員証等のＩＤカードを用いて人物を認識（識別）する機器や手法が提案されている。
例えば、特許文献１には、顔認証装置を用いた顔認証において、特定のユーザの認証の都度、顔画像データを顔画像データベースに蓄積していき、新たな顔認証の場合は、カメラにより撮像された新たな顔画像データが顔データベースに蓄積されているいずれかの顔画像データに対応する否かを判定し、判定の結果、対応していると認証されたときは、この新たな画像データを顔画像データベースに登録することが記載されている。
また、特許文献２には、ユーザが入場用ゲートに近づくまでにカメラにより撮像されたＮ枚のユーザの顔画像の複数の特徴量を合成して顔認証に用いる特徴量を生成し、顔認証処理を行うことが記載されている。
Devices and methods for recognizing (identifying) people using ID cards such as various sensors and membership cards have been proposed in order to manage the person's occupancy status, indoor entry / exit management, monitoring from a remote location, etc. Yes.
For example, in
Further,
しかしながら、特許文献１に記載の顔認証データベース管理装置では、撮像装置の設置場所、向き、等の設置状態や、撮影範囲内の照度の変動、等の設置環境の変動により、顔画像の認識精度が低下することがあった。また、設置状態、撮影範囲内の照度に応じた顔画像データを取得し、更新するまでに多くの時間を要するために、即座に運用を開始できないことがあった。
特許文献２に記載の顔認証装置も、カメラの設置状態や設置環境が変化する場合には、顔画像の認識精度が低下することがあった。また、カメラの設置場所を変更する場合には、ユーザの操作入力を受け付ける操作入力装置の移設を要するため、設置場所の変更には適さない。また、認証を行う際にユーザの操作入力が要求されるため、ユーザに対する利便性が損なわれていた。
However, in the face authentication database management device described in
Also in the face authentication device described in
本発明は、上記の点を鑑みてなされたもので、利便性を損なわずに精度よく人物を識別することができる識別装置、識別方法およびプログラムを提供する。 The present invention has been made in view of the above points, and provides an identification device, an identification method, and a program capable of accurately identifying a person without impairing convenience.
本発明は上記の課題を解決するためになされたものであり、本発明の一態様は、少なくとも１つの撮像部が撮像した映像から前記映像が表す人物、動物および物体のうち少なくとも１つの対象を検出する対象検出部と、前記映像から算出した少なくとも１つの特徴量に基づいて前記対象の状態を検出する情報検出部と、を備え、前記情報検出部は、前記特徴量と予め第１の識別データベースに登録された特徴量とに基づいて対象を識別し、対象の識別に成功したとき、前記特徴量を第２の識別データベースに登録する識別装置である。 SUMMARY An advantage of some aspects of the invention is that at least one target among a person, an animal, and an object represented by the video is picked up from a video captured by at least one imaging unit. A target detection unit for detecting, and an information detection unit for detecting the state of the target based on at least one feature amount calculated from the video, wherein the information detection unit first identifies the feature amount in advance. An identification device that identifies a target based on a feature amount registered in a database and registers the feature amount in a second identification database when the target is successfully identified.
本発明によれば、利便性を損なわずに精度よく人物を識別することができる。 According to the present invention, a person can be accurately identified without impairing convenience.
（第１の実施形態）
以下、図面を参照しながら本発明の第１の実施形態について詳しく説明する。
本実施形態に係る人物識別装置１１は、内蔵された撮像装置が撮像した画像から検出した人物の位置、行動の情報を認識し、認識した情報を撮像装置が設置された宅内又は遠隔地に設置された情報表示端末装置２１に送信する。送信された情報は、見守り、子守り、侵入者の監視、防犯、その他のセキュリティ管理、宅内における電子機器の監視、制御、等、様々な用途に用いることができる。しかし、本発明の実施形態は、これらの用途を必ずしも必須の構成とするものではない。
(First embodiment)
Hereinafter, a first embodiment of the present invention will be described in detail with reference to the drawings.
The
〔見守りシステム〕
次に、本実施形態に係る人物識別装置１１を応用した見守りシステムについて説明する。
図１は、本発明の第１の実施形態に係る人物識別装置１１を用いた見守りシステムの一例の概念図である。この見守りシステムは、人物識別システム１（後述）の一形態であり、４台の人物識別装置１１と２台の情報表示端末装置２１を含んで構成される。４台の人物識別装置１１は、それぞれ人物識別装置１１−１〜１１−４と呼ぶことにより区別され、２台の情報表示端末装置２１は、それぞれ情報表示端末装置２１−１、２１−２と呼ぶことにより区別することがある。
[Monitoring system]
Next, a monitoring system to which the
FIG. 1 is a conceptual diagram of an example of a watching system using the
人物識別装置１１（１１−１〜１１−４）は、それぞれ被写範囲内の被写体を表す映像を撮像し、撮影された映像から人物の有無を検出し、検出された人物が誰であるか、どの位置にいるか、どのような行動をしているか、等、人物の状態に関する情報（以下、「認識情報」と呼ぶ）を認識（取得）する。
人物識別装置１１（１１−１〜１１−４）は、それぞれ撮像した映像を表す映像データと、認識した認識情報を情報表示端末装置２１に送信する。人物識別装置１１が送信するデータは、認識情報のみでもよいし、映像データのみでもよいし、その両方でもよい。
情報表示端末装置２１は、人物識別装置１１から映像データ及び認識情報を受信し、受信した映像データが表す映像や認識情報を表示する表示部を備える。これにより、ユーザは、人物の検出の有無、検出された人物である在室者の状態を把握することができる。
Each of the person identification devices 11 (11-1 to 11-4) captures a video representing a subject in the captured range, detects the presence or absence of a person from the captured video, and who is the detected person. It recognizes (acquires) information relating to the state of the person (hereinafter referred to as “recognition information”) such as in which position and what action it is taking.
The person identification device 11 (11-1 to 11-4) transmits video data representing each captured video and the recognized recognition information to the information display terminal device 21. The data transmitted by the
The information display terminal device 21 includes a display unit that receives video data and recognition information from the
図１は、４台の人物識別装置１１−１〜１１−４が設置された家屋の宅内の平面図と、宅内で用いられている情報表示端末装置２１−１と、家屋から離れた遠隔地に設置された情報表示端末装置２１−２を示す。その家屋は、玄関、廊下、階段、洗面所、ダイニングルーム、居間、及び和室を有する。図１に示す例では、廊下、和室、居間、ダイニングルームの一角（コーナー）に、それぞれ人物識別装置１１−１、１１−２、１１−３、１１−４が設置されている。人物識別装置１１−１〜１１−４にそれぞれ内蔵された撮像装置の水平画角の中線である光学軸の方向が、人物識別装置１１−１〜１１−４のそれぞれが設置された角で交差された部屋の２つの壁面の間の二等分線の方向であってもよい。従って、撮像装置の水平画角が９０°以上である場合に、各撮像装置は、それぞれの部屋の水平方向の全体を撮像できる。
なお、各撮像装置の垂直方向の位置及び向きについては、人物識別装置１１−１〜１１−４が天井に接するように設置された場合、光学軸が水平方向から所定角度（例えば、３０°または真下を示す９０°）だけ下向きであればよい。また、人物識別装置１１−１〜１１−４が床に接するように設置された場合、光学軸が水平方向から所定角度（例えば、３０°）だけ上向きであればよい。さらに、人物識別装置１１−１〜１１−４がテーブルや棚などの設置物上等、人の身長程度の高さに設置された場合、光学軸が水平となるように設置されてもよい。なお、人物識別装置１１−１が、廊下の角のうち、玄関の対角に設置されているのは、玄関から入室する入室者を確実に撮影するためである。
FIG. 1 shows a plan view of a house in which four person identification devices 11-1 to 11-4 are installed, an information display terminal device 21-1 used in the house, and a remote place away from the house. The information display terminal device 21-2 installed in is shown. The house has an entrance, hallway, stairs, washroom, dining room, living room, and Japanese-style room. In the example shown in FIG. 1, person identification devices 11-1, 11-2, 11-3, and 11-4 are installed in corners of the hallway, Japanese-style room, living room, and dining room, respectively. The direction of the optical axis, which is the middle line of the horizontal angle of view of the imaging device incorporated in each of the person identification devices 11-1 to 11-4, is the angle at which each of the person identification devices 11-1 to 11-4 is installed. It may be the direction of the bisector between the two wall surfaces of the intersected room. Therefore, when the horizontal angle of view of the imaging device is 90 ° or more, each imaging device can capture the entire horizontal direction of each room.
As for the vertical position and orientation of each imaging device, when the person identification devices 11-1 to 11-4 are installed in contact with the ceiling, the optical axis is set at a predetermined angle (for example, 30 ° or It only needs to be downward by 90 °). Further, when the person identification devices 11-1 to 11-4 are installed so as to be in contact with the floor, the optical axis only has to be upward by a predetermined angle (for example, 30 °) from the horizontal direction. Furthermore, when the person identification devices 11-1 to 11-4 are installed at a height similar to the height of a person, such as on an installation such as a table or a shelf, the optical axes may be installed so as to be horizontal. The reason why the person identification device 11-1 is installed at the opposite corner of the hallway among the corners of the hallway is to surely photograph a person entering the room through the entrance.
図１に示す例では、人物識別装置１１−２、１１−４によって、和室にいる在室者１の認識情報とダイニングルームにいる在室者２の認識情報が、情報表示端末装置２１−１、２１−２に伝送される。これにより、情報表示端末装置２１−１、２１−２のユーザである見守り者１、２は、在室者１の状態と在室者２の状態を把握することができる。また、人物識別装置１１−３によって、居間にいる見守り者１の認識情報が情報表示端末装置２１−２に伝送されることで、遠隔地にいる見守り者２は、見守り者１の状態も把握することができる。
その他、人物識別装置１１−１は、玄関からの入室者を検出し、検出した入室者が予め登録した登録者であるか否かを判定し、入退出の時刻や登録者であるか否かを示す情報を検出した入室者の認識情報に含めてもよい。これにより、見守り者１、２は、予め登録した登録者の外出、帰宅の有無、それらの時刻を把握することができる。また、人物識別装置１１−１は、未登録者である不審者の入室が検出された場合、直ちにその旨を示す認識情報を情報表示端末装置２１−２に伝送してもよい。人物識別装置１１−１は、さらに、認識情報に追加して不審者の入室を検出した前後の時間に収録された映像を示す映像データを伝送してもよい。
また、人物識別装置１１−１は、人物識別装置１１−１〜１１−４でそれぞれ取得された認識情報を組合せ、見守り者や不審者がいつどの部屋をどのような順序で移動したかを示す情報（入退出の時刻や、どの登録者であるかまたは登録者であるか否かを示す情報など）を検出した入室者の認識情報に含めてもよい。
In the example shown in FIG. 1, the identification information of the
In addition, the person identification device 11-1 detects a person entering the room from the entrance, determines whether or not the detected person who entered the room is a registrant registered in advance, and whether or not it is a time of entry / exit or a registrant. May be included in the recognition information of the detected occupant. Thereby, the
Further, the person identification device 11-1 combines the recognition information respectively acquired by the person identification devices 11-1 to 11-4 to indicate when and in what order the watcher and the suspicious person have moved. Information (such as the time of entry / exit, information indicating which registrant is or whether or not a registrant, etc.) may be included in the recognition information of the detected occupant.
なお、人物識別装置１１（１１−１〜１１−４）の位置、方向は、内蔵する撮影部により撮影される映像が室内の全体を網羅することで、各部屋の在室者がその画角内に極力含まれる位置であれば、いかなる位置、方向であってもよい。例えば、天井、壁面に設置されてもよいし、それらに設置される照明器具や空調装置に内蔵されてもよい。
また、人物識別装置１１の個数は、４台に限られず、３台以下であってもよいし、５台以上であってもよい。人物識別装置１１の位置は、これに限られたものではなく、洗面所や浴室、屋外の車庫、庭園、等、見守りが必要と考えられる場所であれば、屋内、屋外を問わず、いかなる位置であってもよい。
Note that the position and direction of the person identification device 11 (11-1 to 11-4) are determined so that the image captured by the built-in imaging unit covers the entire room, so that the occupants in each room have their angle of view. Any position and direction may be used as long as the position is included as much as possible. For example, you may install in a ceiling and a wall surface, and may be incorporated in the lighting fixture and air conditioner which are installed in them.
Further, the number of
また、情報表示端末装置２１（２１−１、２１−２）は、ユーザによる操作入力を受け付ける操作入力部とユーザを被写体として撮像する撮像部を備えていてもよい。操作入力部は、撮像されたユーザの動作（ジェスチャ）に基づいて非接触で操作入力を受け付けるジェスチャ入力が可能であってもよい。その場合、情報表示端末装置２１には、その位置を基準とする予め設定された領域であって、ユーザによる操作を受け付ける操作可能領域が予め設定されている。操作可能領域は、例えば、情報表示端末装置２１の中心部からユーザの手の位置までの手前方向の距離である操作可能距離の上限（例えば、３ｍ）である。従って、操作入力部は、操作可能距離の上限よりも遠くに離れたユーザによる操作を受け付けない。但し、操作可能領域の左右方向は、例えば、撮像部の画角内に設定されてもよい。この場合には、左右方向の設定は不要となる。 Moreover, the information display terminal device 21 (21-1, 21-2) may include an operation input unit that receives an operation input by the user and an imaging unit that images the user as a subject. The operation input unit may be capable of performing a gesture input that accepts an operation input in a non-contact manner based on a captured user action (gesture). In this case, the information display terminal device 21 is set in advance with an area that is set in advance with reference to the position and that can be operated by the user. The operable area is, for example, the upper limit (for example, 3 m) of the operable distance that is the distance in the front direction from the center of the information display terminal device 21 to the position of the user's hand. Therefore, the operation input unit does not accept an operation by a user far away from the upper limit of the operable distance. However, the left-right direction of the operable region may be set within the angle of view of the imaging unit, for example. In this case, setting in the left-right direction is not necessary.
〔人物識別システム〕
次に、本実施形態に係る人物識別システム１の構成について説明する。
図２は、本実施形態に係る人物識別システム１の構成を示すブロック図である。
人物識別システム１は、人物識別装置１１−１〜１１−４、情報表示端末装置２１−１、２１−２、及びサーバー装置３１を含んで構成される。人物識別装置１１−１〜１１−４、情報表示端末装置２１−１、２１−２、及びサーバー装置３１は、ネットワーク４１に接続され互いにデータを送信及び受信することができる。
[Person identification system]
Next, the configuration of the
FIG. 2 is a block diagram showing a configuration of the
The
ネットワーク４１は、ローカルエリアネットワーク（ＬＡＮ：Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、広域ネットワーク（ＷＡＮ：Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）のいずれか、又は両者を含んで構成されることができるが、これに限定されない。例えば、情報表示端末装置２１−１が、人物識別装置１１−１〜１１−４と同一の建造物内（宅内）にあり、情報表示端末装置２１−２が、その建造物から予め定めた距離内にある場合には、ＬＡＮを用いて接続されるようにしてもよい。
ＬＡＮは、例えば、ＩＥＥＥ（Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｅｌｅｃｔｒｉｃａｌ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃｓ Ｅｎｇｉｎｅｅｒｓ）８０２．３、ＩＥＥＥ８０２．１１、ＩＥＥＥ８０２．１５．１等、いずれの通信規格で規定された方式でもよい。
サーバー装置３１は、統合顔識別ＤＢ（ＤＢ：Ｄａｔａｂａｓｅ）を記憶した記憶部を備える。統合顔識別ＤＢについては、後述する。
The
The LAN may be a system defined by any communication standard, such as IEEE (Institut of Electrical and Electronics Engineers) 802.3, IEEE 802.11, IEEE 802.15.1, or the like.
The
情報表示端末装置２１−１、２１−２は、人物識別装置１１−１〜１１−４から受信した認識情報に基づく表示用データを生成し、生成した表示用データを表示部（図示せず）に出力するデータ処理部（図示せず）を備えてもよい。このデータ処理部は、認識情報を文字で表示するための表示用データを生成してもよいし、イラストで表示するための表示用データを生成してもよい。また、データ処理部は、認識情報に含まれるテキストデータについてテキスト音声合成処理を行って音声データに変換し、変換した音声データを音声再生部（例えば、スピーカ）に出力してもよい。また、データ処理部は、認識情報に所定の緊急情報が含まれているか否かを判定し、含まれていると判定したとき、さらにユーザの注意を促す情報を表すデータを表示部、音声再生部、又は刺激提示部（例えば、バイブレータ）に出力してもよい。その場合、ユーザの注意を促す情報として、フラッシュ、警告音、又はバイブレーションが、認識情報とともに表示又は提示される。また、データ処理部は、認識情報に所定の緊急情報（在室者の所定の状態、等）が含まれているか否かを判定し、含まれていると判定したとき、その認識情報の送信元の人物識別装置１１−１〜１１−４のいずれかから受信した映像データを表示部に出力してもよい。これにより、ユーザである見守り者は、在室者の容態や安否等の状態を、映像を視ることによって確認することができる。 The information display terminal devices 21-1 and 21-2 generate display data based on the recognition information received from the person identification devices 11-1 to 11-4, and display the generated display data on a display unit (not shown). A data processing unit (not shown) for outputting to the computer may be provided. The data processing unit may generate display data for displaying the recognition information with characters, or display data for displaying with the illustration. In addition, the data processing unit may perform text-to-speech synthesis processing on the text data included in the recognition information to convert it into speech data, and output the converted speech data to a speech reproduction unit (for example, a speaker). Further, the data processing unit determines whether or not the predetermined emergency information is included in the recognition information. When it is determined that the recognition information is included, the data processing unit further displays data representing information for prompting the user's attention. Or a stimulus presentation unit (for example, a vibrator). In that case, flash, warning sound, or vibration is displayed or presented together with the recognition information as information for prompting the user's attention. In addition, the data processing unit determines whether or not the emergency information (predetermined state of the occupant) is included in the recognition information. Video data received from any of the original person identification devices 11-1 to 11-4 may be output to the display unit. Thereby, the watcher who is a user can confirm conditions, such as a condition of a resident, safety, by seeing an image | video.
また、情報表示端末装置２１−１、２１−２は、人物識別装置１１−１〜１１−４とＷＡＮを用いて接続されるようにしてもよい。情報表示端末装置２１−１、２１−２は、人物識別装置１１−１〜１１−４から認識情報や映像データを受信し、受信した認識情報や、映像データが示す映像を上述したように表示する。
ＷＡＮは、公衆通信網、インターネット、あるいはそれらの組み合わせであってもよい。公衆通信網は、光回線、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）などの固定網でもよいし、ＩＭＴ−２０００（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｍｏｂｉｌｅ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ ２０００）、ＬＴＥ−Ａｄｖａｎｃｅｄ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ Ａｄｖａｎｃｅｄ）などの移動網でもよい。
これにより、いずれかの情報表示端末装置、例えば、情報表示端末装置２１−２のユーザである見守り者２には、人物識別装置１１−１〜１１−４から離れた遠隔地に所在する場合であっても、認識情報や映像が伝達される。
Further, the information display terminal devices 21-1 and 21-2 may be connected to the person identification devices 11-1 to 11-4 using a WAN. The information display terminal devices 21-1 and 21-2 receive the recognition information and video data from the person identification devices 11-1 to 11-4 and display the received recognition information and the video indicated by the video data as described above. To do.
The WAN may be a public communication network, the Internet, or a combination thereof. The public communication network may be an optical line, a fixed network such as ADSL (Asymmetric Digital Subscriber Line), IMT-2000 (International Mobile Telecommunication 2000), or LTE-Advanced (Long Advanced Mobile Network).
As a result, the
なお、情報表示端末装置２１は、映像を撮像する撮像部を備え、撮像部が撮像した映像を示す映像データを人物識別装置１１に送信してもよい。
また、人物識別装置１１は、映像を表示する表示部に接続され、情報表示端末装置２１から受信した映像データを表示部に出力してもよい。これにより、人物識別装置１１と情報表示端末装置２１との間で双方向の映像通信（いわゆる、テレビ電話）が可能になる。
人物識別装置１１に接続される表示部は、ディスプレイ単体でもよいし、ディスプレイが組み込まれた電子機器、例えば、テレビジョン受信装置、携帯電話機（スマートフォンを含む）、タブレット端末装置、パーソナルコンピュータ、などでもよい。
Note that the information display terminal device 21 may include an imaging unit that captures video, and may transmit video data indicating the video captured by the imaging unit to the
The
The display unit connected to the
人物識別装置１１−１〜１１−４が備える顔識別ＤＢ１〜４のそれぞれは、予め識別対象の人物を登録者として、各登録者の身体の一部である顔面の特徴を示す特徴データから形成されるデータ群が体系的に構成されたものである。登録者数は、１名であってもよいが、通例、２名以上である。これらの顔識別ＤＢ１〜４を合わせて基本顔識別ＤＢと呼ぶことがある。
人物識別装置１１は、撮像された映像から、画像処理によって人物の顔の特徴量を抽出し、人物の顔を識別する。人物識別装置１１は、顔映像から算出した両目や鼻、口の位置情報、顔の輪郭情報などの特徴量を算出し、基本顔識別ＤＢに予め登録しておいた、これらの特徴量と比較して、算出した特徴量と高い類似度を示す特徴量を検索することにより、撮像した人物がどの登録者であるか識別することができる。人物識別装置１１は、例えば、基本顔識別ＤＢの特徴量と算出した特徴量の類似度として、同一の顔の部位を表す特徴量（例えば目の位置）間の差分を特徴量毎に算出し、それらの差分が最小となる基本顔識別ＤＢ上の人物を撮影映像上の人物であると判定する。人物識別装置１１は、識別した人物を示す情報を含む認識情報を、情報表示端末装置２１−１、２１−２に送信する。なお、人物の顔を識別する方法は、上述した方法に限定されず、人の顔を識別できる方法であれば、特徴量または類似度の算出方法はどのような方法が用いられてもよい。
Each of the
The
また、人物識別装置１１−１〜１１−４の記憶部には、基本顔識別ＤＢとは別に設置状態に応じた顔識別ＤＢを記憶している。設置状態に応じた顔識別ＤＢとは、人物識別装置１１−１〜１１−４の空間的状態（設置位置、向き、等）、撮影環境（明るさ、等）の設置状態毎の各登録者の登録データから形成されるデータ群が体系的に構成されたものである。そのため、人物識別装置１１−１〜１１−４の設置状態に応じた顔識別ＤＢは、同一の登録者についても人物識別装置１１−１〜１１−４の設置状態によって登録データの詳細が異なる。そのため、一旦設置された人物識別装置１１が撤去され、再度設置する場合には、設置状態に応じた顔識別ＤＢを復元し、再利用することになる。また、人物識別装置１１は、必ずしも元の位置や向きに設置されるとは限らず、別個の位置や向きや、新たな位置や向きに設置されることがある。また、その都度、撮影環境が異なることがある。
そこで、サーバー装置３１が、各人物識別装置１１で記憶されている設置状態に応じた顔識別ＤＢを一括して記憶する。
In addition to the basic face identification DB, a face identification DB corresponding to the installation state is stored in the storage unit of the person identification devices 11-1 to 11-4. The face identification DB corresponding to the installation state means each registrant for each installation state of the spatial state (installation position, orientation, etc.) and photographing environment (brightness, etc.) of the person identification devices 11-1 to 11-4. The data group formed from the registered data is systematically structured. Therefore, the details of the registration data of the face identification DB corresponding to the installation state of the person identification devices 11-1 to 11-4 differ depending on the installation state of the person identification devices 11-1 to 11-4 for the same registrant. Therefore, when the
Therefore, the
サーバー装置３１の統合顔識別ＤＢは、基本顔識別ＤＢと各人物識別装置１１で記憶されている設置状態に応じた顔識別ＤＢによって形成される。人物識別装置１１は、自装置の設置状態に応じた顔識別ＤＢをサーバー装置３１に要求し、要求した顔識別ＤＢをサーバー装置３１からダウンロードする。なお、初めて人物識別装置１１が設置された場合など、人物識別装置１１に顔識別ＤＢが登録されていない場合は、人物識別装置１１は、基本顔識別ＤＢについても、サーバー装置３１からダウンロードしてもよい。人物識別装置１１が、自装置の設置状態に応じた顔識別ＤＢを要求するタイミングは、例えば、撤去後再度設置される場合や、保守管理等に伴う交換により使用開始される場合、等である。一般に、設置状態に応じた顔識別ＤＢの情報量は多量であるが、サーバー装置３１からダウンロードすることで、新たに設置状態に応じた顔識別ＤＢをその都度生成する必要がなくなり、容易に復旧することができる。また、復旧にかかる時間を短縮することができる。
The integrated face identification DB of the
なお、ネットワーク４１の構成は、上述した例に限られない。サーバー装置３１は、人物識別装置１１−１〜１１−４と同一の建造物内のＬＡＮに接続されていてもよい。また、人物識別装置１１−１〜１１−４、情報表示端末装置２１−１、２１−２及びサーバー装置３１は、個別にＷＡＮに接続されてもよい。装置間でデータを送受信することができれば、ネットワーク４１は、いかなる構成を有してもよい。また、人物識別装置１１−１〜１１−４のいずれかは、サーバー装置３１と一体化して構成されてもよい。
Note that the configuration of the
〔人物識別装置〕
次に、本実施形態に係る人物識別装置１１の構成について説明する。
図３は、本実施形態に係る人物識別装置１１の構成を示すブロック図である。
人物識別装置１１は、撮像部１１０、映像解析部１１１、情報ＤＢ１２０、データ変換部１３０、伝送制御部１４０、及び設置情報取得部１５０を含んで構成される。
[Person identification device]
Next, the configuration of the
FIG. 3 is a block diagram illustrating a configuration of the
The
撮像部１１０は、映像を撮像し、撮像した映像を表す映像データを映像解析部１１１に出力する。撮像部１１０は、例えば、被写体から入射された光を焦点に集光するレンズを備えた光学系とレンズの焦点に位置して集光された光を電気信号に変換する撮像素子を備える撮像ユニットを含むカメラである。撮像素子は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）素子、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）素子である。撮像部１１０が備える撮像ユニットは、１個であってもよいし、２個以上であってもよい。２個以上の撮像ユニット間で、それぞれの撮像領域（画角）を分担することで、より広い領域を撮像することや、ある被写体（例えば、家具）によって遮られる領域（オクルージョン領域）を減少することが可能となる。
The
映像解析部１１１は、撮像部１１０から入力された映像データを解析することにより、映像データが表す映像から被写体である人物やその人物の顔を検出し、検出した人物を識別し、また、その人物がとる行動を検知する。映像解析部１１１は、映像データを解析する際、情報ＤＢ１２０に記憶された各種のデータを参照する。各種のデータには、映像解析部１１１における人物、顔の検出に用いられる人物、顔、等のテンプレート、人物の識別に用いられる特徴量データ（つまり、基本顔識別ＤＢ、設置状態に応じた顔識別ＤＢ）、行動の検出に用いるためのモーション情報、等がある。映像解析部１１１は、人物や顔の検出の有無、検出した人物、顔、識別した人物、検知した行動、のいずれか又はそれらの組み合わせを表す認識情報を生成し、生成した認識情報をデータ変換部１３０に出力する。映像解析部１１１は、認識情報の生成に用いた映像データを、その認識情報とともにデータ変換部１３０に出力してもよい。
また、映像解析部１１１は、映像データを解析する際、さらに、設置情報取得部１５０から入力された設置情報を参照してもよい。映像解析部１１１は、設置情報を認識情報に付加してデータ変換部１３０に出力してもよい。
The
The
情報ＤＢ１２０は、映像解析部１１１で用いられる各種のデータを記憶する記憶媒体（メモリ）を含んで構成される記憶部である。また、情報ＤＢ１２０には、映像解析部１１１で生成された中間データ、参照された過去の映像データを一時的に記憶されてもよい。
また、映像解析部１１１が生成した認識情報を情報表示端末装置２１で表示するための情報、例えば、表示用フォーマット、等が記憶され、その情報が認識情報とともに情報表示端末装置２１に送信されてもよい。表示用フォーマットには、例えば、認識された人物について検知された行動を情報表示端末装置２１の表示部に表示する際の態様、位置、文字、等を指定する情報が含まれてもよい。
The
In addition, information for displaying the recognition information generated by the
データ変換部１３０は、映像解析部１１１から入力された認識情報、映像データを所定のブロック単位のデータブロックに変換する。データブロックの形式は、情報表示端末装置２１との間の通信方式に適合した形式であればよい。データ変換部１３０は、変換したデータブロックを伝送制御部１４０に出力する。
伝送制御部１４０は、データ変換部１３０から入力されたデータブロックを、ネットワーク４１を介して情報表示端末装置２１に送信する。なお、伝送制御部１４０は、データブロックを、人物識別装置１１に内蔵又は人物識別装置１１に接続された記憶媒体（図示せず）に記憶してもよい。この記憶媒体は、光学ディスク、ＨＤＤ(Ｈａｒｄ−Ｄｉｓｋ
Ｄｒｉｖｅ)、半導体メモリ、等のいずれでもよい。伝送制御部１４０は、例えば、通信インタフェース、データ入出力インタフェースである。
The
The
Drive), a semiconductor memory, or the like. The
設置情報取得部１５０は、撮像部１１０の設置状態を示す設置情報を取得し、取得した設置情報を映像解析部１１１に出力する。設置情報取得部１５０は、例えば、撮像部１１０の高さ、向きを検知する、赤外線センサ、測距センサ、加速度センサ、ジャイロセンサ、電子コンパス等を備え、撮像部１１０の位置や向きを検出してもよい。
また、設置情報取得部１５０は、撮像部１１０の周囲、例えば被写範囲の明るさを検知する輝度センサを備えてもよいし、撮像部１１０から入力された映像データに基づいて明るさを検知してもよい。設置情報取得部１５０は、撮像部１１０の周囲の天候を検知する気象センサ、気温を計測する温度センサ、湿度を計測する湿度センサ、等を備えてもよい。これらのセンサで検出された信号は、設置情報を示す。
なお、設置情報取得部１５０は、これらの設置情報を他の機器から入力されてもよいし、ユーザによる操作入力に応じて入力されてもよい。
The installation
In addition, the installation
The installation
〔映像解析部〕
次に、本実施形態に係る映像解析部１１１の構成について説明する。
図４は、本実施形態に係る映像解析部１１１の構成を示すブロック図である。
映像解析部１１１は、ユーザ情報検出部１１２、モーション検出部１１３、行動認識部１１４、人物検出部１１５、及び動きベクトル検出部１１６を含んで構成される。
[Video Analysis Department]
Next, the configuration of the
FIG. 4 is a block diagram illustrating a configuration of the
The
映像解析部１１１は、情報ＤＢ１２０に記憶された顔識別ＤＢを参照して、撮像部１１０から入力された映像データが示す映像から、後述する画像処理方法を用いて人物の顔を検出する。顔の検出に成功した場合、被写体として人物を検出したと判定する。映像解析部１１１は、異なる撮像時刻間で映像に変化があった領域を人物の領域であると判定してもよい。映像解析部１１１は、人物の顔の検出結果と、撮像時刻が互いに異なる複数の映像から検出した被写体の動きを示す動き情報とから、その人物の顔の位置を追跡する。映像解析部１１１は、人物の有無を示す情報を認識情報の一部としてデータ変換部１３０に出力し、情報ＤＢ１２０に記憶する。また、映像解析部１１１は、撮像部１１０から入力された映像データに基づいて、及び追跡した人物の位置、動き量の検出、人物の性別や年齢等の属性の推定、人物が誰であるかの識別、人物の顔が向いている方向や表情の推定、を行う。映像解析部１１１が、検出、推定した情報を認識情報の一部としてデータ変換部１３０に出力し、情報ＤＢ１２０に記憶する。
また、映像解析部１１１は、検出した人物が行っている行動、例えば、ジェスチャ等のモーションを検出し、検出した行動を表す情報を認識情報の一部としてデータ変換部１３０に出力し、情報ＤＢ１２０に記憶する。映像解析部１１１の機能構成については、後述する。
The
In addition, the
〔動きベクトル検出部〕
次に、動きベクトル検出部１１６が行う処理について説明する。
動きベクトル検出部１１６は、撮像部１１０から入力された現在の映像データが示す映像と、情報ＤＢ１２０から読み取った所定のフレーム数の過去の映像データが示す映像から、被写体が動いた領域を検出する。動きベクトル検出部１１６は、撮像ユニット毎に現在のフレームの画素毎の画素値と、過去のフレームの対応する画素の画素値との差分値が予め定めた閾値よりも大きい領域を、動いた領域として検出する。動きベクトル検出部１１６は、検出した動いた領域と、その領域の重心座標、移動量ならびに移動方向（動きベクトル）を追跡情報（動きベクトル情報）として、人物検出部１１５及びモーション検出部１１３に出力する。また、動きベクトル検出部１１６は、これらの情報を認識情報としてデータ変換部１３０に出力してもよいし、情報ＤＢ１２０に記憶してもよい。
[Motion vector detector]
Next, processing performed by the motion
The motion
動きベクトル検出部１１６は、映像データの他、後述の人物検出部１１５から入力される人物情報を参照して映像内で動いた領域を検出してもよい（図示せず）。動きベクトル検出部１１６は、映像データを用いて検出した動いた領域が、人物情報に含まれる位置情報を基準に予め定めた閾値の範囲（領域）内にある場合に、人物が動いたと判定する。動きベクトル検出部１１６は、人物が動いたと判定した領域、その領域の重心座標、移動量ならびに移動方向（動きベクトル）を追跡情報（動きベクトル情報）として、モーション検出部１１３に入力する。また、動きベクトル検出部１１６は、これらの情報を検出情報としてデータ変換部１３０に出力し、情報ＤＢ１２０に記憶してもよい。このように、映像データから検出した領域と人物が検出されたことを示す人物情報を参照することで、人物以外の被写体の動きを検出することを避けることができ、例えば、見守り対象の人物の動きベクトル情報を抽出して、情報表示端末装置２１に送信することができる。
The motion
なお、動きベクトル検出部１１６が動いた領域を検出する方法は、上述した方法に限定されない。動きベクトル検出部１１６は、例えば、縦と横の画素数が８×８や１６×１６などの所定の大きさの領域（マクロブロック）の単位で現在のフレームのマクロブロックに対応する領域が過去のフレームのどこにあるかを探索してもよい。対応する領域を探索する際、例えば、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅｓ）等の類似度を示す指標を用いることができる。そして、動きベクトル検出部１１６は、過去のフレームで探索した領域から、現在のフレームの対応する領域までの移動量と移動方向を定める。
Note that the method of detecting the region in which the motion
〔人物検出部〕
次に、人物検出部１１５が行う処理について説明する。
人物検出部１１５は、撮像部１１０から入力された映像データと、動きベクトル検出部１１６から入力された動きベクトル情報とに基づいて検出された人物の顔面の画像を表す領域を検出する。顔の検出に成功した場合に、人物検出部１１５は、人物が室内に入室したと判定する。
人物検出部１１５は、検出した領域における代表点（例えば、重心点）の２次元座標や、その領域の上端、下端、左端、右端の２次元座標を表す２次元顔面領域情報を生成する。なお、撮像部１１０が複数の撮像ユニットを備える場合には、撮像ユニット毎に２次元顔面領域情報を生成し、生成した２次元顔面領域情報が示す２次元座標を組合せ、室内の３次元空間座標系の３次元座標に変換して、３次元の顔位置情報を生成してもよい。顔面の領域を検出するために、人物検出部１１５は、例えば予め設定した顔面の色彩（例えば、肌色）を表す色信号値の範囲にある画素を、入力された画像信号から抽出する。
(Person detection unit)
Next, processing performed by the
The
The
なお、人物検出部１１５は、予め人間の顔面を表す濃淡（モノクロ）画像信号を記憶した記憶部を備えるようにしてもよい。そこで、人物検出部１１５は、記憶部から読み出した濃淡画像信号と入力された画像信号との相関値を複数の画素を含む画像ブロック毎に算出し、算出した相関値が予め定めた閾値よりも大きい画像ブロックを顔面の領域と検出する。
その他、人物検出部１１５は、入力された画像信号に基づいて顔の特徴量（例えば、Ｈａａｒ−Ｌｉｋｅ特徴量）を算出し、算出した特徴量に基づいて機械学習（例えば、Ａｄａｂｏｏｓｔアルゴリズム）を行い、学習したデータベースと入力映像の特徴量から顔面の領域を検出してもよい。人物検出部１１５が顔面の領域を検出する方法は、上述の方法に限られず、入力された映像データから顔面の領域を検出する方法であれば、いかなる方法を用いてもよい。また、映像中に人物がいる場合でも、必ずしも顔が撮影されるとは限らないため、動きベクトル検出部１１６から入力される動きベクトル情報を用いて、動いた領域に人物がいると判定してもよい。さらに、顔面の領域情報と動きベクトルを組み合わせて人物を検出してもよい。動きベクトル情報と顔面の領域情報とを照合しながら、検出した人物を追跡し、次のフレームでの人物検出精度の向上や顔検出範囲を特定することにより計算量の削減が可能となる。
また、人物を検出する方法は、顔を検出する方法だけに限られない。人物検出部１１５は、ＨＯＧ（Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）を用いて、人物の身体のシルエットを特徴量として抽出し、抽出した特徴量を学習（例えばＡｄａｂｏｏｓｔアルゴリズムやＳＶＭなど）することによって、人物を識別してもよい。
The
In addition, the
Further, the method for detecting a person is not limited to the method for detecting a face. The
人物検出部１１５が画像上の顔を検出する方法はこれには限られない。人物検出部１１５は、入力された映像データから、顔の特性に関する特徴量、例えば、性別や年齢を表す特徴量や、顔の向いている向き、笑い、怒り、泣き、等の表情に係る特徴量（例えば、特徴点の座標、長さ、方向）など、を算出し、情報ＤＢ１２０に予め記憶した特徴量データを参照して、顔と類似していると判定された領域を顔領域として検出してもよい。
また、人物検出部１１５は、情報ＤＢ１２０に予め記憶した特徴量データを参照して、入力された映像データから、顔が表されている顔領域と、その顔の向いている向きを検出してもよい。ここで、情報ＤＢ１２０には、各方向（上、下、横、等）を向いた顔を表す映像から算出した特徴量を示す特徴量データを記憶しておく。
人物検出部１１５は、検出又は識別した人物の顔に関する情報を人物情報として、ユーザ情報検出部１１２およびモーション検出部１１３に出力する。また、人物検出部１１５は、映像データが示す映像から顔が検出された領域を抽出し、この抽出した領域の映像を示す切出映像データをユーザ情報検出部１１２およびモーション検出部１１３に出力する。
なお、上述の切出映像データとなる映像を抽出した領域は、その映像に検出された顔領域が含まれるように抽出されていればよく、抽出した領域の大きさは、例えば、人物の身体全体が含まれる大きさのように、どのような大きさであってもよい。人物検出部１１５は、人物情報及び切出映像データを検出情報としてデータ変換部１３０、行動認識部１１４に出力し、情報ＤＢ１２０に記憶してもよい。また、人物検出部１１５は、人物情報に、算出した特徴量を人物情報に含めて出力することにより、ユーザ情報検出部１１２での処理に利用できるようにしてもよい。
The method by which the
In addition, the
The
It should be noted that the area from which the video to be the cutout video data is extracted may be extracted so that the detected face area is included in the video, and the size of the extracted area is, for example, the body of a person It may be any size, such as a size that includes the whole. The
〔ユーザ情報検出部〕
次に、ユーザ情報検出部１１２の構成について説明する。
ユーザ情報検出部１１２は、属性推定部１１２０、表情推定部１１２１、人物識別部１１２２、位置検出部１１２３、及び人体部位検出部１１２４を含んで構成される。この構成により、ユーザ情報検出部１１２は、ユーザである撮像された人物の状態を検出し、検出した人物の状態を示す検出情報として後述する情報を行動認識部１１４に出力する。検出情報には、後述するように人体の特徴量を示す特徴量情報が含まれることがある。
[User information detector]
Next, the configuration of the user
The user
属性推定部１１２０は、人物検出部１１５から入力された切出映像データから情報ＤＢ１２０に予め記憶された特徴量データを参照し、人物情報が示す人物の属性、例えば、年齢、性別を推定する。属性の推定に先立ち、前述の顔の特徴量を学習する際、年齢別や性別毎に特徴量を予め分類して学習データベースを生成しておく。属性推定部１１２０は、映像から抽出した特徴量とこれら学習データベースに含まれる特徴量との類似度を算出することによって、属性を推定する。属性推定部１１２０は、推定した属性を示す属性情報を行動認識部１１４に出力する。
表情推定部１１２１は、人物検出部１１５から入力された切出映像データから情報ＤＢ１２０に予め記憶された特徴量データを参照し、人物情報が示す人物の表情、例えば、笑い、泣き、怒り、等を推定する。表情の推定に先立ち、前述の属性推定部１１２０と同様に、表情毎に顔の特徴量を予め分類して学習データベースを生成しておく。表情推定部１１２１は、映像から抽出した特徴量とこれら学習データベースに含まれる特徴量との類似度を算出することによって、表情を推定する。表情推定部１１２１は、推定した表情を示す表情情報を行動認識部１１４に出力する。
The
The facial
人物識別部１１２２は、前述の方法を用いて、人物検出部１１５から入力された切出映像データが示す映像から顔器官（口、目、等）の表示領域を特定し、特定した顔器官の表示領域毎の特徴量を算出する。人物識別部１１２２は、算出した特徴量と情報ＤＢ１２０に予め記憶された人物（登録者）毎の特徴量データが示す特徴量とを比較し、算出した特徴量との類似性を示す指標値が予め定めた指標値の閾値よりも類似性が高く、類似性が最も高いことを示す特徴量に係る人物を定める。そのような人物の特定に失敗した場合には、人物識別部１１２２は、映像が示す人物が未知の人物であると定める。人物識別部１１２２は、定めた人物を示す人物識別情報を行動認識部１１４に出力する。
Using the above-described method, the
位置検出部１１２３は、撮像部１１０から入力された映像データが示す映像のうち、人物検出部１１５から入力された切出映像データが示す顔領域と照合して、顔領域が表されている表示位置を検出する。位置検出部１１２３は、検出した表示位置と、人物識別部１１２２で検出した顔器官の表示領域とに基づいて撮像部１１０の向きを算出する。位置検出部１１２３は、表示位置と算出した顔の向きとを示す位置情報を行動認識部１１４に出力する。
人体部位検出部１１２４は、撮像部１１０から入力された映像データが示す映像から人体の部位（頭、腕、手、足、胴体、等）の表示領域を検出する。人体部位検出部１１２４は、検出した部位毎の表示領域に基づいて、部位毎の代表点（例えば、重心点）を位置として算出し、大きさ（長さ、幅、等）を算出する。人体の部位の検出を行う際、人体部位検出部１１２４は、前述の人物検出部１１５と同様に、人体の各部位毎に前述のＨＯＧ特徴量を算出し、各部位毎に学習を行うことで、入力映像が表す人体の一部分が人体のどの部位に属するかの推定を行う。人体部位検出部１１２４は、定めた部位毎の位置と大きさを示す人体部位情報を行動認識部１１４に出力する。
The
The human body
〔モーション検出部〕
次に、モーション検出部１１３が行う処理について説明する。
モーション検出部１１３は、撮像部１１０から入力される複数の映像データと、人物検出部１１５から入力される人物情報と、動きベクトル検出部１１６から入力される動きベクトル情報から、検出した人のモーション（動作、行動）を検出する。例えば、モーション検出部１１３は、人物情報から求めた顔の３次元位置情報が示す鉛直方向の座標が、予め定めた閾値の座標よりも高い位置を示す場合、その人物が立っていると判定する。
また、情報ＤＢ１２０に人物毎に特徴量データと身長を示す身長情報を対応付けて予め記憶しておき、モーション検出部１１３は、識別情報が示す人物の身長情報を情報ＤＢ１２０から読み取り、読み取った身長情報が示す身長と撮像部１１０の位置に基づいて、立っていると判断するための顔の３次元座標の範囲を設定してもよい。モーション検出部１１３は、設定した範囲内に顔の位置が含まれるか否かにより、その人物が立っているか否かを判定することができる。
[Motion detector]
Next, processing performed by the
The
Further, the feature data and the height information indicating the height are stored in advance in the
また、モーション検出部１１３は、人物情報から求めた顔の３次元位置情報が示す鉛直方向の座標が、床の高さよりも高い位置であって、予め定めた閾値の座標よりも低い位置を示す場合、その人物が寝ている（又は倒れている）と判定する。なお、被写範囲内にベッド、ソファー、等の家具が設置されている場合には、床に代えて、それらの家具の表面の高さに基づいて閾値を設定してもよい。また、モーション検出部１１３は、立っている状態でも、寝ている状態でもない場合、その人物が座っていると判定する。モーション検出部１１３は、判定したモーションを示すモーション情報を行動認識部１１４に出力する。
In addition, the
また、モーション検出部１１３は、人物検出部１１５から入力された人物情報、動きベクトル検出部１１６から入力された動きベクトル、位置検出部１１２３から入力された位置情報、人体部位検出部１１２４から入力された人体部位情報に基づき、検出された人物が室内に在室しているか否か、動いているか否かを判定してもよい。モーション検出部１１３は、室内に在室し、かつ、動いていると判定した場合、検出し人物が起きていると判定してもよい。また、モーション検出部１１３は、起きていると判定した人物が、寝ていると判定された場合、もしくは、寝ていると判定された時間が予め定めた時間の閾値よりも長い時間継続した場合、倒れていると判定してもよい。このような場合には、体調の急変が予想されるため、モーション検出部１１３は、判定した情報をモーション情報として行動認識部１１４に出力する。
In addition, the
また、モーション検出部１１３は、人物検出部１１５から入力された人物情報、動きベクトル検出部１１６から入力された動きベクトル情報、位置検出部１１２３から入力された位置情報、人体部位検出部１１２４から入力された人体部位情報に基づき、検出された人物の部位、例えば、手、足、顔の位置の変動を検出する。モーション検出部１１３は、検出した変動に基づき、ジャンプ等の行動や、予め定めた身体の形や動きのパターンであるジェスチャを検出してもよい。モーション検出部１１３は、検出した行動やジェスチャを示すモーション情報を行動認識部１１４に出力する。
なお、モーション検出部１１３は、上述したモーションに限られず、その他のモーションを検出してもよいし、これらのモーションの組み合わせを検出してもよい。
Also, the
The
〔行動認識部〕
次に、行動認識部１１４が行う処理について説明する。
行動認識部１１４は、撮像部１１０から入力された映像データ、ユーザ情報検出部１１２もしくは人物検出部１１５から入力された検出情報、モーション検出部１１３から入力されたモーション情報に基づいて、検出された人物の行動を認識する。行動認識部１１４は、認識した行動を示す認識情報を情報ＤＢ１２０に記憶し、認識情報にユーザ情報検出部１１２から入力された検出情報を付加して認識情報としてデータ変換部１３０に出力する。また、行動認識部１１４は、撮像部１１０から入力された映像データをデータ変換部１３０に出力する。
[Behavior Recognition Department]
Next, processing performed by the
The
行動認識部１１４は、例えば、人物が被写範囲である部屋に入室したか否か、入室した入室者が立っているか、座っているか、寝ているか、部屋のどこに位置し、どの方向を向いているか、等を判定する。また、行動認識部１１４は、入室者の位置と向いている方向と、室内に設置されている設置物の位置と範囲に基づいて、入室者の行動を判定してもよい。例えば、行動認識部１１４は、入室者がテレビジョン放送を視聴している、調理をしている、食事をしている、等の行動を判定することができる。
For example, the
人物識別装置１１が表示部（図示せず）に接続されている場合には、行動認識部１１４は、判定した行動を示す認識情報を表示部に出力して、表示させるようにしてもよい。また、行動認識部１１４は、現在判定した行動を示す認識情報を表示部にリアルタイムに出力してもよいし、情報ＤＢ１２０に記憶した過去の認識情報のうち、ユーザによる操作入力に応じて指示された行動情報を出力してもよい。
また、情報表示端末装置２１に、行動認識部１１４が判定した行動を示す認識情報が送信されることで、情報表示端末装置２１の表示部にその行動が表示される。これにより、例えば、見守り者が、室内の人物の有無やその行動を把握することができる。
また、行動認識部１１４は、判定した行動を示す認識情報を、ネットワーク４１に接続された所定のサーバー装置３１に記憶してもよい。そして、情報表示端末装置２１は、サーバー装置３１から、任意の時点で入力された操作入力に応じてサーバー装置３１から認識情報を読み取り、読みとった認識情報を表示部に出力してもよい。
例えば、行動認識部１１４が、見守り者が関心を有する領域として、浴室や洗濯機設置室を被写範囲に含む映像データに基づいて判定した、小児の行動が情報表示端末装置２１に表示される。見守り者である保護者は、その行動を把握することで閉じ込めや溺れ事故を予防することができる。また、保護者は、調理台でのコンロやストーブのいたずらの有無を把握することで、火災を未然に防ぐことができる。
When the
In addition, the recognition information indicating the action determined by the
Further, the
For example, the
その他、行動認識部１１４は、セキュリティの監視にも応用することができる。例えば、行動認識部１１４は、人物識別部１１２２から入力された人物識別情報が未知の人物であって、その人物が所定の人物の入室ではないと判定してもよい。その場合、情報表示端末装置２１において、表示部が未知の人物の入室を示す情報（警告文字や情報、警告音、未知の人物画像など）を表示することによって、見守り者は、窃盗犯、その他の不法侵入者を検出することができる。
In addition, the
また、行動認識部１１４は、予め定めたジェスチャ、予め定めた人物の行動を認識し、情報ＤＢ１２０に予め記憶した制御コマンドデータを参照して、認識したジェスチャや行動に対応した制御コマンドを特定してもよい。制御コマンドデータは、予め定めた人物の行動もしくはジェスチャと、制御コマンドとが対応付けて形成される。制御コマンドは、制御対象となる対象機器に対して所定の動作を行うことを指示する信号である。そして、行動認識部１１４は、特定した制御コマンドを、対象機器に送信する。これにより、制御コマンドで指示される対象機器の動作を制御するようにしてもよい。さらに、行動認識部１１４は、予め定めたジェスチャや、予め定めた人物の行動を認識し、緊急を要する状態を検出した場合は、情報表示端末装置２１に対し、緊急情報を送信してもよい。これにより、在室者は、体調が悪くなった場合や怪我をした場合などの緊急を要する場合に、予め定めたジェスチャを示すことで、見守り者に対し救護を求めることが可能になる。また、前述の緊急を要する場合の行動を人物識別装置１１が認識することで、在室者が意識不明の場合のように、在室者からの緊急通報操作がない場合でも、人物識別装置１１が見守り者に対し救護を求めることを示す情報を提供することが可能となる。
In addition, the
〔基本顔識別ＤＢ〕
次に、情報ＤＢ１２０に記憶される基本顔識別ＤＢについて説明する。
図５は、基本顔識別ＤＢの一構成例を示す概念図である。
図５に示す基本顔識別ＤＢは、１人の人物（登録者ＩＤ１）の基本顔識別ＤＢである。基本顔識別ＤＢには、各人物について撮像部１１０の方向を基準とした顔の向き毎の特徴量を示すデータから形成されている。ユーザ情報検出部１１２は、例えば、前述の画像処理を用いて撮像部１１０が撮像した映像から顔の特徴量を算出し、算出した特徴量を情報ＤＢ１２０に記憶する。特徴量として、例えば、検出された人物の顔から特定された目、鼻、口等の器官の領域について、それらの領域間もしくは特徴点の位置関係等を示すデータが含まれる。撮像部１１０の撮影方向が固定されている場合であっても、撮像部１１０と被写体である人物の向きとの関係は、必ずしも一定しておらず、常に変化する可能性がある。そのため、これらの位置関係を表す特徴量を予め登録しておき、人物識別部１１２２は、人物を識別する際、登録した特徴量に基づいて位置関係による類似度を判定してもよい。これにより、人物識別装置１１をいかなる場所に設置されても一定の認識精度が保たれる。
[Basic face identification DB]
Next, the basic face identification DB stored in the
FIG. 5 is a conceptual diagram illustrating a configuration example of the basic face identification DB.
The basic face identification DB shown in FIG. 5 is a basic face identification DB of one person (registrant ID 1). The basic face identification DB is formed from data indicating the feature amount for each face direction with respect to the direction of the
図５に示す例では、人物の顔の正面から、その正面、上向き、下向き、左向き、右向き、左斜めに首をかしげた方向である左傾き、右斜めに首をかしげた方向である右傾きの各方向について撮像された映像に基づく特徴量から基本顔識別ＤＢが形成されていることを示す。顔の向きは、これには限定されず、顔の各器官が表れる方向であれば、いかなる方向について得られた映像データから算出された特徴量が用いられてもよい。また、顔の向きは、各人物について少なくとも１つあればよく、いくつあってもよい。また、特徴量を算出するために用いる映像データは、他の撮像装置で撮像された映像データであってもよい。 In the example shown in FIG. 5, from the front of the person's face, the front, upward, downward, leftward, rightward, left tilt which is the direction where the neck is slanted to the left, and right tilt which is the direction where the neck is slanted to the right The basic face identification DB is formed from the feature amount based on the video imaged in each direction. The direction of the face is not limited to this, and a feature amount calculated from video data obtained in any direction may be used as long as each face organ appears. Moreover, the direction of the face may be at least one for each person, and may be any number. The video data used for calculating the feature amount may be video data captured by another imaging device.
なお、ユーザ情報検出部１１２は、上述したように、撮像部１１０から入力された映像データを用いて、複数の方向、位置のそれぞれについて人物の顔について算出した特徴量を体系的に情報ＤＢ１２０に記憶して基本顔識別ＤＢを生成する他、情報ＤＢ１２０に予め生成した基本顔識別ＤＢに記憶してもよい。また、ユーザ情報検出部１１２は、サーバー装置３１に記憶しておいた統合顔識別ＤＢから、設置した人物識別装置１１に対応する基本顔識別ＤＢをダウンロードしてもよい。人物識別装置１１を運用開始する前に、基本顔識別ＤＢを取得することができれば、いかなる登録方法でもよい。
As described above, the user
〔設置状態に応じた顔識別ＤＢ〕
なお、図１に示すように、宅内において人物識別装置１１を各部屋に固定して設置することは、室内の美観、設置のための労力、家具等の設置物の移動による撮像環境の変化を鑑みると、不都合なことがある。人物識別装置１１は、必ずしも恒常的に利用されるのではなく、一時的に利用されることがある。例えば、訪問介護において、介護士が介護者宅において、介護者を直接目視で介護できない場合（例えば、清掃中）に、人物識別装置１１を応用することが考えられる。例えば、図１の和室にいる在室者１の映像を人物識別装置１１−２が取得し、見守り者１が、情報表示端末装置２１−１が表示する認識情報、映像を確認しながら清掃をする場合などである。かかる利用状況を想定すると、人物識別装置１１は簡便に設置でき、一時的な移動や、手足やその他の物体が接触することにより設置位置が変わっても問題なく利用できる方が、利用者の利便性が向上することがある。
[Face identification DB according to installation status]
As shown in FIG. 1, the installation of the
これらを実現するため、前述の基本顔識別ＤＢを利用することで、人物識別装置１１がいかなる設置状態・撮影環境においても、一定の識別精度を得ることができる。しかし、人物識別装置１１の設置状態、撮影環境は、様々であるため、基本顔識別ＤＢに頼った人物の識別では識別精度に限界がある。そのため、人物識別装置の設置状況、環境、等の設置状態に応じた顔識別ＤＢを情報ＤＢ１２０に記憶し、該設置状態に応じた顔識別ＤＢを人物の識別に用いることで、識別精度をさらに向上させることができる。
In order to realize these, by using the basic face identification DB described above, the
図６は、設置状態に応じた顔識別ＤＢの一構成例を示す概念図である。
設置状態に応じた顔識別ＤＢは、人物毎に基本顔識別ＤＢと対応付けて形成されている。図６に示す例は、それぞれの登録者ＩＤに対応付けて、左方に基本顔識別ＤＢ、右方に設置位置に応じた顔識別ＤＢを並べて示すものである。右方に示す顔識別ＤＢは、所定の鉛直方向の位置よりも高い位置（例えば、天井）に撮像部１１０が設置され、上方から斜め下方に撮像した在室者を表す映像を用いて生成した設置状態に応じた顔識別ＤＢである。顔の向きは、それぞれ上方からの正面、少し左向き（弱左）、少し右向き（弱右）、大きく左向き（強左）、大きく右向き（強右）である。ユーザ情報検出部１１２は、顔の向き毎に撮影された映像から顔の特徴量を算出し、算出した特徴量を情報ＤＢ１２０に記憶することで、設置状態に応じた顔識別ＤＢが形成される。また、顔の向きは、これには限定されず、顔の器官が表される方向であれば、いかなる方向について得られた映像データから算出された特徴量が用いられてもよい。また、顔の向きは、各人物について少なくとも１つあればよく、いくつあってもよい。また、特徴量を算出するために用いる映像データは、他の撮像装置で撮像された映像データであってもよい。また、右方に示す設置状態に応じた顔識別ＤＢの特徴量は、左方に示す基本顔識別ＤＢに基づいて生成されうる。
FIG. 6 is a conceptual diagram showing a configuration example of the face identification DB according to the installation state.
The face identification DB corresponding to the installation state is formed in association with the basic face identification DB for each person. The example shown in FIG. 6 shows the basic face identification DB on the left side and the face identification DB corresponding to the installation position side by side in association with each registrant ID. The face identification DB shown on the right side is generated by using an image representing an occupant imaged at an upper position (for example, a ceiling) higher than a predetermined vertical position (for example, the ceiling) and imaged obliquely downward from above. It is a face identification DB according to the installation state. The face orientations are front from above, slightly left (weak left), slightly right (weak right), largely left (strong left), and greatly right (strong right). The user
ユーザ情報検出部１１２の人物識別部１１２２は、設置状態に応じた顔識別ＤＢも参照して、撮像部１１０から入力された映像データが示す映像から上述したように顔の特徴量を算出する。ユーザ情報検出部１１２は、算出した特徴量と、情報ＤＢ１２０に記憶した設置状態に応じた顔識別ＤＢを形成する人物毎の特徴量との類似性を示す指標値を算出し、算出した指標値に基づいて人物を識別する。これにより、基本顔識別ＤＢを用いる場合よりも識別率を向上させることができる。
The
設置状態に応じた顔識別ＤＢを登録する際、ユーザ情報検出部１１２の人物識別部１１２２は、基本顔識別ＤＢを用いて人物の識別に成功した場合、算出した特徴量のうち、位置検出部１１２３が検出した顔の位置、向き、表情推定部１１２１が推定した表情、等によって指示される設置状態に応じた顔識別ＤＢに含まれていない特徴量を特定する。人物識別部１１２２は、特定した特徴量を、その設置状態に応じた顔識別ＤＢに記憶する。この処理を、以下の説明では「自動登録」と呼ぶことがある。位置検出部１１２３が検出した顔の位置、向きも撮像部１１０の設置状態を示す設置情報の一種である。また、人物識別部１１２２は、設置情報取得部１５０から入力された撮像部１１０の向き及び位置を示す設置情報と対応付けて特定した特徴量を、その設置状態に応じた顔識別ＤＢに記憶してもよい。
なお、人物の識別の成否は、算出した特徴量に対応する特徴量が、基本顔識別ＤＢまたは設置状態に応じた顔識別ＤＢに記憶されている特徴量に存在するか否かによって判定される。算出した特徴量に対応する特徴量とは、例えば、算出した特徴量と記憶されている特徴量との類似性を示す指標値が、予め定めた指標値の閾値よりも類似性が高いことを示す特徴量である。
When registering the face identification DB according to the installation state, the
The success or failure of person identification is determined based on whether or not the feature quantity corresponding to the calculated feature quantity exists in the feature quantity stored in the basic face identification DB or the face identification DB corresponding to the installation state. . The feature value corresponding to the calculated feature value is, for example, that the index value indicating the similarity between the calculated feature value and the stored feature value is higher in similarity than the threshold value of a predetermined index value. This is a feature amount.
また、顔の向き、位置の他、表情が異なる特徴量を、設置位置に応じた顔識別ＤＢに含めて登録するのは、異常な状況のもとで、表情が変化する場合でも確実に人物を識別するためである。異常な状況での表情には、例えば、検出された人物が転倒して痛みを訴える表情、泣いている表情、睡眠中の表情、等がある。
このように、撮像部１１０と人物との位置関係の例として、上方から見た顔の向き、位置、表情、等の設置状態に応じた特徴量から形成された設置状態に応じた顔識別ＤＢが形成される。この設置状態に応じた顔識別ＤＢを用いることで、設置状態に応じた顔画像に係る特徴量を用いて人物の識別が行えるため、人物識別率が向上する。
In addition to facial orientation and position, features with different facial expressions are registered and included in the face identification DB according to the installation position, even if the facial expression changes under abnormal circumstances. It is for identifying. Expressions in an abnormal situation include, for example, an expression in which a detected person falls and complains of pain, a crying expression, a sleeping expression, and the like.
As described above, as an example of the positional relationship between the
なお、人物識別部１１２２は、記憶された特徴量の数（登録数）が予め定めた最大登録数に達した時に、特徴量の記憶を終了してもよいし、予め定めた顔の向き、位置等について全て登録された場合に特徴量の記憶を終了してもよい。また、登録された時刻から、所定の時間よりも時間が経過した場合に、記憶された特徴量は消去されてもよいし、新しい特徴量の値で更新されてもよい。
The
このように、人物識別部１１２２は、自装置（人物識別装置１１）の設置状況や環境に応じて、基本顔識別ＤＢと設置位置に応じた顔識別ＤＢを、人物毎に情報ＤＢ１２０に記憶する。これに対し、人物識別装置１１を設置する設置状態毎に、様々な顔の方向や大きさ、位置の特徴量や、照度や人物の位置に応じて影などの影響により明るさが変動する等の撮影環境で撮影した映像から算出した特徴量などを全て登録して顔識別ＤＢを形成することができる。したがって、様々な設置状態で設置される人物識別装置１１の顔識別ＤＢを全て１つの共通のデータベースに集積する場合と比較して、顔識別ＤＢのサイズを大幅に削減できるという効果がある。これは、搭載メモリ量削減につながるため、人物識別装置１１をできるだけ小さく、経済的に提供することが可能となる。また、人物識別装置１１の設置状態に合わせ最適化された顔識別ＤＢを人物の識別に用いることで、人物識別精度の低下が抑制される。
As described above, the
また、人物識別部１１２２は、基本顔識別ＤＢを用いて人物の識別に成功した場合に、その映像データから算出した特徴量を設置状態に応じた顔識別ＤＢに記憶する。人物識別部１１２２は、次回の人物の識別より、設置状態に応じた顔識別ＤＢに登録した特徴量を、基本顔識別ＤＢの特徴量より優先して人物の識別処理に用いることにより、人物の識別率が向上する。また、人物識別部１１２２は、算出した特徴量と顔識別ＤＢを形成する各特徴量とのマッチングを行う際、人物の識別に成功した段階で処理を打ち切ってもよい。
その場合には、人物識別の処理量を削減することができる。これにより、人物の識別率向上と処理量削減を両立することができる。なお、上述では設置状態に応じた顔識別ＤＢに登録した特徴量が次回の人物の識別に用いられる場合を例としているが、これには限られない。所定の数の特徴量が設置状態に応じた顔識別ＤＢに登録された段階で、次回の人物の識別処理から、設置状態に応じた顔識別ＤＢに登録した特徴量を優先して人物識別処理に用いてもよい。
In addition, when the
In that case, the processing amount of person identification can be reduced. Thereby, it is possible to achieve both improvement of the person identification rate and reduction of the processing amount. In the above description, the feature amount registered in the face identification DB corresponding to the installation state is used as an example for the next person identification, but is not limited thereto. At a stage where a predetermined number of feature quantities are registered in the face identification DB corresponding to the installation state, the person identification process is given priority over the feature quantity registered in the face identification DB corresponding to the installation state from the next person identification process. You may use for.
〔複数人登録者の顔識別ＤＢへの登録〕
上述では、在室者が１人の場合の基本顔識別ＤＢと設置状態に応じた顔識別ＤＢの登録について説明したが、在室者は１人とは限らず、複数人の場合もある。
図７は、設置状態に応じた顔識別ＤＢの他の構成例を示す概念図である。
図７は、在室者の登録者数が複数人（ｎ０人、ｎ０は１よりも大きい整数）の場合の顔識別ＤＢを示している。１行目の登録者ＩＤ１については、前述と同様である。２行目に示す２人目の登録者（登録者ＩＤ２）は、登録者ＩＤ１の顔識別ＤＢに続けて登録者ＩＤ２の基本顔識別ＤＢと、設置状態に応じた顔識別ＤＢとが対応付けて登録されている。同様に３人目以降の登録者ＩＤのそれぞれについて順次、基本顔識別ＤＢと、設置状態に応じた顔識別ＤＢとが対応付けて登録される。
図７に示すように、設置状態に応じた顔識別ＤＢが、どの登録者ＩＤの在室者についても上方と表されているは、撮像部１１０が天井等、床面よりも十分に高い位置に設置され、在室者の映像を見下ろすように撮影したためである。また、登録者ＩＤ毎に顔の向きが異なるのは、登録者毎に自動登録される顔の向きや位置、タイミングが様々となるためである。
[Registration in face identification DB of multiple registrants]
In the above description, the registration of the basic face identification DB when the number of people in the room is one and the face identification DB according to the installation state has been described. However, the number of people in the room is not limited to one, and there may be a plurality of people.
FIG. 7 is a conceptual diagram illustrating another configuration example of the face identification DB according to the installation state.
FIG. 7 shows the face identification DB when the number of registered occupants is plural (n0 people, where n0 is an integer larger than 1). The registrant ID1 in the first line is the same as described above. The second registrant (registrant ID 2) shown in the second row associates the face identification DB of registrant ID1 with the basic face identification DB of registrant ID2 and the face identification DB corresponding to the installation state. It is registered. Similarly, the basic face identification DB and the face identification DB corresponding to the installation state are sequentially registered in association with each of the third and subsequent registrant IDs.
As shown in FIG. 7, the face identification DB corresponding to the installation state is shown as being upward for any resident of any registrant ID, but the
〔処理フロー〕
次に、本実施形態に係る人物識別処理について説明する。人物識別処理には、認識情報伝送処理と顔識別ＤＢ登録処理が含まれる。
図８は、本実施形態に係る人物識別処理を示すフローチャートである。
[Processing flow]
Next, the person identification process according to the present embodiment will be described. The person identification processing includes recognition information transmission processing and face identification DB registration processing.
FIG. 8 is a flowchart showing person identification processing according to the present embodiment.
（ステップＳ１０１）ユーザ情報検出部１１２は、上述したように、人物及びその向き毎に、撮像部１１０が撮像した映像から算出した特徴量から形成される基本顔識別ＤＢを情報ＤＢ１２０に記録する。その後、ステップＳ１０２に進む。
（ステップＳ１０２）撮像部１１０は、映像を撮影し、映像解析部１１１は、撮像部１１０から現在の映像を表す映像データと、情報ＤＢ１２０から過去の映像を表す映像データを取得する。その後、ステップＳ１０３に進む。
(Step S101) As described above, the user
(Step S <b> 102) The
（ステップＳ１０３）動きベクトル検出部１１６は、撮像部１１０、情報ＤＢ１２０から取得した映像データが示す時刻の異なるフレーム映像間で、画素値に変化があった領域を動いた領域として検出し、検出した領域の移動量を算出する。動きベクトル検出部１１６は、算出した移動量ならびに移動方向（移動ベクトル）、動いた領域の重心座標を示す動きベクトル情報を人物検出部１１５及びモーション検出部１１３に出力する。また、動きベクトル検出部１１６は現在のフレーム映像を示す映像信号を情報ＤＢ１２０に記憶する。
人物検出部１１５は、撮像部１１０から取得された映像データと動きベクトル検出部１１６から入力された動きベクトルを用いて、映像データが表す映像から人物の画像を表す領域を検出する。人物検出部１１５は、検出した人物の顔に関する情報を人物情報として、ユーザ情報検出部１１２及びモーション検出部１１３に出力する。
なお、人物検出部１１５が行う処理が動きベクトル検出部１１６が行う処理よりも先に行われてもよいし、両処理が同時に行われてもよい。その後、ステップＳ１０４に進む。
(Step S103) The motion
The
Note that the process performed by the
（ステップＳ１０４）ユーザ情報検出部１１２は、撮像部１１０から入力された映像データと、人物検出部１１５が生成した人物情報とに基づき、情報ＤＢ１２０に記憶した情報ＤＢのデータを参照して、その人物の状態を検出し、検出した状態を示す検出情報を生成する。例えば、ユーザ情報検出部１１２は、その人物の属性、表情を推定し、それぞれ属性情報、表情情報を生成する。また、ユーザ情報検出部１１２は、その人物の位置を示す位置情報を生成する。また、ユーザ情報検出部１１２は、撮像部１１０から入力された映像データと、人物検出部１１５が生成した人物情報とに基づき、情報ＤＢ１２０に記憶した情報ＤＢのデータを参照して、その人物の人体の部位を検出し、検出した部位毎の位置や大きさを示す人体部位情報を生成する。また、ユーザ情報検出部１１２は、情報ＤＢ１２０に記憶した顔識別ＤＢ（基本顔識別ＤＢと、情報ＤＢ１２０に形成されている場合は設置状態に応じた顔識別ＤＢ）を参照して入力された映像データが示す人物が登録者のだれであるかを識別し、識別した人物を示す人物識別情報を生成する。ユーザ情報検出部１１２は、これらの生成した情報を検出情報として行動認識部１１４に出力する。その後、ステップＳ１０５に進む。
(Step S104) The user
（ステップＳ１０５）モーション検出部１１３は、撮像部１１０から入力される映像データ、人物検出部１１５から入力される人物情報、及び動きベクトル検出部１１６から入力された動きベクトル情報に基づき、検出された人物の動作を検出し、検出した動作を示すモーション情報を行動認識部１１４に出力する。その後、ステップＳ１０６に進む。
（ステップＳ１０６）行動認識部１１４は、撮像部１１０から入力された映像データ、ユーザ情報検出部から入力された検出情報、モーション検出部１１３から入力されたモーション情報に基づいて、検出された人物の行動に関する行動情報を認識する。行動認識部１１４は、認識した行動情報と入力された検出情報を認識情報としてデータ変換部１３０に出力する。その後、ステップＳ１０７に進む。
（ステップ１０７）ユーザ情報検出部１１２の人物識別部１１２２は、識別した人物と同じ人物を示す登録者ＩＤに対応付けられた顔識別ＤＢを情報ＤＢ１２０から検索し、検索した顔識別ＤＢから設置状態に応じた顔識別ＤＢを読み出す。次に、ステップＳ１０８に進む。
(Step S105) The
(Step S106) The
(Step 107) The
（ステップ１０８）人物識別部１１２２は、人物の識別のために顔の特徴量を算出し、人物識別に成功した顔の特徴量に対応する特徴量を、ステップＳ１０７で読み出した設置状態に応じた顔識別ＤＢにおいて特定する。人物識別部１１２２は、位置検出部１１２３が算出した顔の向き、位置が、特定した特徴量に対応する顔の向き、位置と照合し、それぞれ対応するか否かを判定する。対応するとは、一致する場合と、予め定めた範囲内にある場合とを含む。対応すると判定された場合（ステップＳ１０８ ＮＯ）、ステップＳ１１０に進み、対応していないと判定された場合（ステップＳ１０８ ＹＥＳ）、ステップＳ１０９に進む。
(Step 108) The
（ステップＳ１０９）人物識別部１１２２は、識別に成功した顔の特徴量が、ステップＳ１０７で検索した登録者ＩＤの設置状態に応じた顔識別ＤＢ内に登録されていないと判定された場合、その特徴量を設置状態に応じた顔識別ＤＢに新たに登録する。その後、ステップＳ１１０に進む。 (Step S109) When it is determined that the feature amount of the face that has been successfully identified is not registered in the face identification DB corresponding to the installation state of the registrant ID searched in Step S107, The feature amount is newly registered in the face identification DB corresponding to the installation state. Then, it progresses to step S110.
（ステップＳ１１０）人物識別部１１２２は、上述したステップＳ１０３−Ｓ１０８において生成した検出情報、設置位置に応じた顔識別ＤＢ（登録された顔の特徴量を含む）を情報ＤＢ１２０に保存する。これらの情報は、繰り返されるステップＳ１０３−Ｓ１０８において使用されることがある。その後、ステップＳ１１１に進む。
(Step S110) The
（ステップＳ１１１）データ変換部１３０は、映像解析部１１１から入力された認識情報を伝送可能な単位のブロックデータに変換し、変換したブロックデータを伝送制御部１４０に出力する。ブロックデータはバイナリ形式のデータフォーマットでもよいし、アスキー形式のテキストデータであってもよい。そして、ステップＳ１１２に進む。
（ステップＳ１１２）伝送制御部１４０は、データ変換部１３０から入力されたブロックデータを、ネットワーク４１を介して情報表示端末装置２１に送信する。伝送制御部１４０が現在の映像データから検出された認識情報の全てを伝送し終えた後、ステップＳ１１３に進む。
(Step S <b> 111) The
(Step S <b> 112) The
（ステップＳ１１３）人物識別装置１１は、本処理を終了するか否かを判定する。例えば、電源ＯＦＦ、見守り終了、等が操作入力に応じて指示された場合、人物識別装置１１は、本処理を終了すると判定し、指示されない場合、本処理を継続すると判定する。継続すると判定された場合（ステップＳ１１３ ＮＯ）、ステップＳ１０２に進み、次の時刻の映像データを取得する。終了すると判定された場合（ステップＳ１１３ ＹＥＳ）、本処理を終了する。
(Step S113) The
なお、ステップＳ１０４において、ユーザ情報検出部１１２の人物識別部１１２２は、上述したように人物検出部１１５で検出された領域の映像から特徴量を算出し、情報ＤＢ１２０に記憶された人物毎の基本顔識別ＤＢに含まれる特徴量のそれぞれ、及び設置状態に対応した顔識別ＤＢ（形成されている場合）に含まれる特徴量のそれぞれと照合する。
人物識別部１１２２は、算出した特徴量とこれら顔識別ＤＢに含まれる特徴量との類似度を示す指標値を算出し、算出した指標値が最も小さい特徴量を対応する特徴量として特定する。人物識別部１１２２は、特定した特徴量が予め定めた特徴量の最低値よりも低い特徴量が発見されたとき、識別に成功したと判定し、発見できなかったとき、識別に失敗したと判定してもよい。人物識別部１１２２は、特定した特徴量を含む顔識別ＤＢに対応する登録者ＩＤを特定することにより、人物を識別する。
また、ステップＳ１０８における設置位置に応じた顔識別ＤＢ内に登録されている顔の特徴量と対応するか否かの判定には、顔の位置や向きの他、顔の大きさや撮影映像の明るさ、顔の色合い、解像度など、異なる撮影状況や環境の要素が考慮されてもよい。
In step S104, the
The
In addition, in step S108, in determining whether or not it corresponds to the facial feature amount registered in the face identification DB according to the installation position, in addition to the position and orientation of the face, the size of the face and the brightness of the captured video are included. In addition, different shooting conditions and environmental factors such as facial color and resolution may be considered.
以上、説明したように、本実施形態に係る人物識別装置１１によれば、予め登録した基本顔識別ＤＢを備え、識別した人物の状態に対応した特徴量から形成される設置状態に応じた顔識別ＤＢを人物識別装置に記憶し、撮像された映像から算出した特徴量に基づいて、基本顔識別ＤＢ及び設置状態に応じた顔識別ＤＢを参照して人物を識別する。これにより、人物識別装置１１の設置位置や撮影環境が使用の都度、変わる場合でも顔識別精度の低下を抑制することができるので、撮像装置の設置や利用者の認証方法との利便性と両立することができる。また、人物識別装置１１は、人物の識別において用いられる、設置状態に応じた顔識別ＤＢが、人物の識別に最小限かつ最適化されるので、その情報量を減少することができる。さらに、顔識別ＤＢの情報量が減少することから、検出した人物の顔の特徴量と対応するか否かを判定するための処理量が削減されるため、処理速度が向上するという効果がある。処理量を削減することにより、より経済的（安価）なプロセッサの導入や消費電力の低下に貢献することが可能である。
As described above, according to the
（第２の実施形態）
次に、本発明の第２の実施形態に係る人物識別システム１ａ（図示せず）について説明する。上述した実施形態と同一の構成については、同一の符号を付して説明を援用する。
人物識別システム１ａは、人物識別システム１（図２）において、人物識別装置１１に代えて人物識別装置１１ａを備え、サーバー装置３１は、次に説明する統合顔識別ＤＢを記憶している。
(Second Embodiment)
Next, a person identification system 1a (not shown) according to the second embodiment of the present invention will be described. About the same structure as embodiment mentioned above, the same code | symbol is attached | subjected and description is used.
The person identification system 1a includes a
〔統合顔識別ＤＢ〕
図９は、本実施形態に係る統合顔識別ＤＢの一構成例を示す概念図である。
本実施形態に係る統合顔識別ＤＢも、図２に示す統合顔識別ＤＢと同様に登録者ＩＤと対応付けた基本顔識別ＤＢと、設置状態に応じた顔識別ＤＢの組を含んで形成される。但し、図９に示す設置状態に応じた顔識別ＤＢは、個々の人物識別装置１１ａの設置状態に応じた顔識別ＤＢを含んで形成される。個々の人物識別装置１１ａには、カメラＩＤが割り当てられ、それぞれの人物識別装置１１ａの設置状態に応じた顔識別ＤＢは、そのカメラＩＤと対応付けられている。
カメラＩＤは、それぞれの人物識別装置１１ａに接続された撮像部１１０の識別情報である。なお、以下の説明では、それぞれの人物識別装置１１ａの設置状態に応じた顔識別ＤＢを個別顔識別ＤＢと呼ぶことがある。また、個別顔識別ＤＢから形成される設置状態に応じた顔識別ＤＢを全体顔識別ＤＢと呼ぶことがある。図９に示す全体顔識別ＤＢは、それぞれのカメラＩＤと対応付けられた個別顔識別ＤＢを含む点で、図７に示す設置位置に応じた顔識別ＤＢとは異なる。
[Integrated face identification DB]
FIG. 9 is a conceptual diagram illustrating a configuration example of the integrated face identification DB according to the present embodiment.
Similarly to the integrated face identification DB shown in FIG. 2, the integrated face identification DB according to the present embodiment is formed including a set of a basic face identification DB associated with a registrant ID and a face identification DB corresponding to the installation state. The However, the face identification DB corresponding to the installation state shown in FIG. 9 is formed including the face identification DB corresponding to the installation state of each
The camera ID is identification information of the
図９に示す例では、統合顔識別ＤＢは、ｎ１人の登録者の基本顔識別ＤＢと全体顔識別ＤＢを含む。登録者ＩＤ１、ＩＤ２にそれぞれ対応する全体顔識別ＤＢは、それぞれカメラＩＤ１、ＩＤ２、ＩＤ３にそれぞれ対応する個別顔識別ＤＢを含んで形成される。登録者ＩＤ３に対応する全体顔識別ＤＢは、カメラＩＤ４に対応する個別顔識別ＤＢを含んで構成される。登録者ＩＤｎ１に対応する全体顔識別ＤＢは、カメラＩＤ１０、１１からｘまでのそれぞれについて個別顔識別ＤＢを含んで構成される。個別顔識別ＤＢ間で、同一のカメラＩＤは、同一の撮像部１１０を意味し、撮像部１１０の位置、向きが固定されていれば、その位置、向きが同一であることを意味する。例えば、登録者ＩＤ１、ＩＤ２の個別顔識別ＤＢには、その向きが上方である共通のカメラＩＤ１を用いて取得した映像に基づいて算出された特徴量を含む。また、カメラＩＤが同一でも、登録者ＩＤが異なる場合は、顔の特徴量を算出するために用いられる映像の撮影タイミングや顔の位置などが異なるため、顔の向きが一致するとは限らない。このように、統合顔識別ＤＢは、登録者ＩＤ毎に、基本顔識別ＤＢと、カメラＩＤ毎の個別顔識別ＤＢを含んで形成される全体顔識別ＤＢとが対応付けて形成される。カメラＩＤの数は、人物識別が必要となる登録者に対応する人物識別装置１１ａに接続された撮像部１１０の数であればよい。
また、同一のカメラＩＤで指定される撮像部１１０であっても、設置位置や向きが異なる場合は、それぞれ個別顔識別ＤＢも異なることになる。そのため、同一の登録者ＩＤ及び同一のカメラＩＤについて、設置位置や向き等の設置状態がそれぞれ異なる個別顔識別ＤＢが含まれるように全体顔識別データが形成されてもよい。
In the example shown in FIG. 9, the integrated face identification DB includes a basic face identification DB and an entire face identification DB of n1 registrants. The whole face identification DB corresponding to each of the
Even in the case of the
以上に説明したように、登録者ＩＤ毎に、基本顔識別ＤＢと、カメラＩＤ毎の個別顔識別ＤＢから形成される全体顔識別ＤＢとの組を含んで、統合顔識別ＤＢが形成される。他方、人物識別装置１１ａは、情報ＤＢ１２０において更新され、設置状態に応じた顔識別ＤＢを、識別した人物の登録者ＩＤならびに撮像部１１０のカメラＩＤを対応付けてサーバー装置３１に送信する顔識別ＤＢ処理部１２１ａ（後述）を備える。なお、基本顔識別ＤＢと設置状態に応じた顔識別ＤＢの総称に限らず、これらの組も、単に顔識別ＤＢと呼ぶことがある。
As described above, an integrated face identification DB is formed for each registrant ID including a set of a basic face identification DB and an entire face identification DB formed from the individual face identification DB for each camera ID. . On the other hand, the
サーバー装置３１は、人物識別装置１１ａから受信した登録者ＩＤと基本顔識別ＤＢを対応付け、さらにカメラＩＤと設置状態に応じた顔識別ＤＢ（個別顔識別ＤＢ）を記憶することにより統合顔識別ＤＢを形成する。そして、顔識別ＤＢ処理部１２１ａは、サーバー装置３１に記憶された統合顔識別ＤＢから、自装置に対応する顔識別ＤＢをダウンロードし、ダウンロードした顔識別ＤＢを情報ＤＢ１２０に記憶する。そのため、人物識別装置１１ａや撮像部１１０を一時的に取り外す場合や移設する場合、故障等により交換、修理する場合などにおいても、迅速に自装置にとり最適化された顔識別ＤＢを取得することにより初期化することができる。取得した顔識別ＤＢを人物の識別処理に用いることにより、人物の識別率低下を抑制し、かつ利便性が向上することが可能になる。
The
〔顔識別ＤＢ情報〕
次に、サーバー装置３１に記憶される顔識別ＤＢ情報について説明する。顔識別ＤＢ情報は、人物識別装置１１ａに対応する顔識別ＤＢを形成する顔識別ＤＢを検索する際に、統合顔識別ＤＢに含まれる個々の顔識別ＤＢにアクセスするための管理情報である。
[Face identification DB information]
Next, the face identification DB information stored in the
図１０は、本実施形態に係る顔識別ＤＢ情報の一構成例を示す概念図である。
図１０の左欄は、顔識別ＤＢ情報の先頭から格納されるデータの順序と内容を示す。格納される情報は、いずれもバイナリ形式のデータである。格納する各情報（以下、フィールド）には、先頭から順に登録者エントリ数、１人目の登録者（０）の顔識別ＤＢ情報、２人目の登録者（１）の顔識別ＤＢ情報の順に記録され、登録者エントリ数（ｎ＋１人）分の情報が記録される。また、各行について、フィールド名、サイズ、内容は、それぞれデータの名称、そのデータの情報量（単位：Ｂｙｔｅ）、内容は、そのデータが表す事物を示す。
FIG. 10 is a conceptual diagram illustrating a configuration example of face identification DB information according to the present embodiment.
The left column of FIG. 10 shows the order and contents of data stored from the top of the face identification DB information. The stored information is all binary format data. In each stored information (hereinafter referred to as a field), the number of registrant entries, the face identification DB information of the first registrant (0), and the face identification DB information of the second registrant (1) are recorded in order from the top. Then, information for the number of registrant entries (n + 1) is recorded. For each row, the field name, size, and content indicate the name of the data, the information amount (unit: Byte) of the data, and the content indicates the thing represented by the data.
（登録者エントリ数）
図１０の左欄第２行のフィールドに格納された登録者エントリ数は、統合顔識別ＤＢに登録された顔識別ＤＢのエントリ数（登録者数を表す）を示す。エントリ数の記録領域は１Ｂｙｔｅの固定長であり、０から２５５までのいずれかの値が格納される。
（登録者ＩＤ）
１人目の登録者エントリの第１行のフィールドに格納された登録者ＩＤは、登録者毎にユニーク（一意）に割り当てたＩＤを示す。この登録者ＩＤによって人物が区別される。
登録者ＩＤの記録領域は１Ｂｙｔｅの固定長であり、０から２５５までのいずれかの値が格納される。
（オフセットエントリ数）
１人目の登録者エントリの第２行のフィールドに格納されたオフセットエントリ数は、後述する顔識別ＤＢ情報オフセットのエントリ数である。オフセットエントリ数の記憶領域は、１Ｂｙｔｅの固定長であり、０から２５５までのいずれかの値が格納される。図１０に示す例では、オフセットエントリ数は、ｍ０＋１個である。
(Number of registrant entries)
The number of registrant entries stored in the second column field in the left column of FIG. 10 indicates the number of entries in the face identification DB registered in the integrated face identification DB (representing the number of registrants). The recording area for the number of entries has a fixed length of 1 byte, and any value from 0 to 255 is stored.
(Registrant ID)
The registrant ID stored in the first row field of the first registrant entry indicates an ID uniquely assigned to each registrant. A person is distinguished by this registrant ID.
The recording area of the registrant ID has a fixed length of 1 byte, and any value from 0 to 255 is stored.
(Number of offset entries)
The number of offset entries stored in the second row field of the first registrant entry is the number of entries in the face identification DB information offset described later. The storage area for the number of offset entries has a fixed length of 1 byte, and stores any value from 0 to 255. In the example shown in FIG. 10, the number of offset entries is m0 + 1.
（顔識別ＤＢ情報オフセット）
１人目の登録者エントリの第３行のフィールドに格納された顔識別ＤＢ情報オフセットは、登録者ＩＤの顔識別ＤＢにアクセスするための情報や付加情報が格納されている各顔識別ＤＢ情報へアクセスするための情報である。顔識別ＤＢ情報オフセットのエントリである各オフセット情報は、顔識別ＤＢ情報の先頭（登録者エントリ数フィールドの先頭）からアクセス先の各顔識別ＤＢ情報へのオフセット値が格納され、登録者ＩＤに基づきアクセス先の各顔識別ＤＢ情報を特定することが可能になる。顔識別ＤＢ情報オフセットにおいて、オフセットを算出する基準の位置は、顔識別ＤＢ情報の先頭に限定されるものではなく、顔識別ＤＢ情報の末尾など予め定めた基準位置であれば、いかなる位置であってもよい。顔識別ＤＢ情報オフセットの記憶領域は、１エントリ当たり２Ｂｙｔｅであり、オフセットエントリ数分の領域からなる可変長領域である。１エントリには、０から６５５３５までのいずれかの値が格納される。
(Face identification DB information offset)
The face identification DB information offset stored in the field of the third row of the first registrant entry is transferred to each face identification DB information storing information for accessing the face identification DB of the registrant ID and additional information. This is information for access. Each offset information that is an entry of the face identification DB information offset stores an offset value from the head of the face identification DB information (the head of the registrant entry number field) to each face identification DB information of the access destination, and the registrant ID. Based on this, it becomes possible to specify each face identification DB information of the access destination. In the face identification DB information offset, the reference position for calculating the offset is not limited to the top of the face identification DB information, and any position can be used as long as it is a predetermined reference position such as the end of the face identification DB information. May be. The face identification DB information offset storage area is 2 bytes per entry, and is a variable-length area composed of areas corresponding to the number of offset entries. One entry stores any value from 0 to 65535.
図１０の右欄は、それぞれのオフセット情報で指定される登録者ＩＤ毎の顔識別ＤＢにアクセスするための情報や付加情報が格納されている各顔識別データ管理情報にアクセスするための情報を示す。
（カメラＩＤ）
オフセット情報が指している第１行のフィールドに格納されたカメラＩＤは、人物識別装置又は撮像部１１０にユニークに割り当てられた固有のＩＤである。例えば、カメラＩＤが０とは基本顔識別ＤＢに関する情報であることを示し、カメラＩＤが１以上の値とは、設置状態に応じた顔識別ＤＢに関する情報であることを示す。カメラＩＤの記憶領域は、１Ｂｙｔｅの固定長であり、０から２５５までのいずれかの値が格納される。
The right column in FIG. 10 shows information for accessing the face identification DB for each registrant ID specified by each offset information and information for accessing each face identification data management information in which additional information is stored. Show.
(Camera ID)
The camera ID stored in the first row field pointed to by the offset information is a unique ID uniquely assigned to the person identification device or the
（付加情報エントリ数）
オフセット情報が指している第２行のフィールドに格納された付加情報エントリ数は、顔識別ＤＢにアクセスするための付加情報である後述する顔識別データ管理情報のエントリ数である。付加情報エントリ数の記憶領域は、１Ｂｙｔｅの固定長であり、０から２５５までのいずれかの値が格納される。
（顔識別データ付加情報）
オフセット情報が指している第３行のフィールドに格納された顔識別データ付加情報は、個々の顔識別ＤＢに付加される付加情報である顔識別データ管理情報である。顔識別データ付加情報の記憶領域は、１エントリ当たり２６Ｂｙｔｅであり、付加情報エントリ数分の領域からなる可変長領域である。
(Number of additional information entries)
The number of additional information entries stored in the field of the second row pointed to by the offset information is the number of entries of face identification data management information to be described later, which is additional information for accessing the face identification DB. The storage area for the number of additional information entries has a fixed length of 1 byte, and stores any value from 0 to 255.
(Face identification data additional information)
The face identification data additional information stored in the field of the third row pointed to by the offset information is face identification data management information which is additional information added to each face identification DB. The storage area for the face identification data additional information is 26 bytes per entry, and is a variable-length area composed of areas corresponding to the number of additional information entries.
〔顔識別データ管理情報〕
次に、顔識別データ管理情報の一例について説明する。
図１１は、顔識別データ管理情報の一例を示す図である。
また、図１２は、顔の向き、カメラの向き、撮影環境の例を示す図である。
顔識別データ管理情報は、顔の向き、顔位置ｘ、ｙ、顔サイズ横、顔サイズ縦、顔の大きさ横、顔の大きさ縦、顔との距離、顔の明るさ、カメラの向き、カメラ位置、撮影環境、顔識別データアドレス、及び顔識別データサイズを含んで形成される。
[Face identification data management information]
Next, an example of face identification data management information will be described.
FIG. 11 is a diagram illustrating an example of face identification data management information.
FIG. 12 is a diagram illustrating an example of face orientation, camera orientation, and shooting environment.
The face identification data management information includes face orientation, face position x, y, face size horizontal, face size vertical, face size horizontal, face size vertical, face distance, face brightness, camera orientation , Camera position, shooting environment, face identification data address, and face identification data size.
（顔の向き）
第２行のフィールドに格納された顔の向きは、人物識別装置１１ａの撮像部１１０であるカメラに対する人物の顔の向きを表すＩＤである。顔の向きの記憶領域は、１Ｂｙｔｅの固定長であり、０から２５５までの値が格納される。格納されるＩＤは、図１２（ａ）に示すＩＤのいずれかである。例えば、ＩＤが０とは正面、ＩＤが１とは右向きを示す。
なお、顔の向きの種類はこれに限定されるものではなく、カメラと顔の関係を表すものであればどのようなものであってもよい。
(Face orientation)
The face orientation stored in the field of the second row is an ID representing the face orientation of the person relative to the camera that is the
Note that the type of face orientation is not limited to this, and any type may be used as long as it represents the relationship between the camera and the face.
（顔位置ｘ）
第３行のフィールドに格納された顔位置ｘは、撮像部１１０から入力された映像データ（撮影画像）から算出された顔の位置を示す水平方向の座標（ｘ座標）である。顔位置ｘの記憶領域は、２Ｂｙｔｅの固定長であり、０から６５５３５までの値が格納される。
（顔位置ｙ）
第４行のフィールドに格納された顔位置ｙは、撮像部１１０から入力された映像データ（撮影画像）から算出された顔の位置を示す垂直方向の座標（ｙ座標）である。顔位置ｙの記憶領域は、２Ｂｙｔｅの固定長であり、０から６５５３５までのいずれかの値が格納される。
(Face position x)
The face position x stored in the field of the third row is a horizontal coordinate (x coordinate) indicating the position of the face calculated from the video data (captured image) input from the
(Face position y)
The face position y stored in the field of the fourth row is a vertical coordinate (y coordinate) indicating the face position calculated from the video data (captured image) input from the
（顔サイズ横）
第５行のフィールドに格納された顔サイズ横は、撮像部１１０から入力された映像データ（撮影画像）における顔領域の水平方向（横方向）の大きさ（幅）をピクセル数で表した値である。顔サイズ横の記憶領域は、２Ｂｙｔｅの固定長であり、０から６５５３５までのいずれかの値が格納される。
（顔サイズ縦）
第６行のフィールドに格納された顔サイズ縦は、撮像部１１０から入力された映像データ（撮影画像）における顔領域の垂直方向（縦方向）の大きさ（高さ）をピクセル数で表したものである。顔サイズ縦の記憶領域は、２Ｂｙｔｅの固定長であり、０から６５５３５までのいずれかの値が格納される。
(Next to face size)
The face size horizontal stored in the field of the fifth row is a value representing the size (width) of the face area in the horizontal direction (horizontal direction) in the video data (captured image) input from the
(Face size length)
The face size length stored in the field of the sixth row represents the size (height) of the face area in the vertical direction (vertical direction) in the video data (captured image) input from the
（顔の大きさ横）
第７行のフィールドに格納された顔の大きさ横は、撮像部１１０から入力された映像データ（撮影画像）が表す人物の顔の水平方向（横方向）の大きさ（幅）を表す値（例えば、単位はｃｍ）である。顔の大きさ横の記憶領域は、１Ｂｙｔｅ固定長であり、０から２５５までのいずれかの値が格納される。
（顔の大きさ縦）
第８行のフィールドに格納された顔の大きさ縦は、撮像部１１０から入力された映像データ（撮影画像）が表す人物の顔の垂直方向（縦方向）の大きさ（高さ）を表す値（例えば、単位はｃｍ）である。顔の大きさ縦の記憶領域は、１Ｂｙｔｅの固定長であり、０から２５５までのいずれかの値が格納される。
(Beside face size)
The horizontal size of the face stored in the field of the seventh row is a value representing the horizontal size (width) of the human face represented by the video data (captured image) input from the
(Face size length)
The vertical size of the face stored in the field of the eighth row represents the vertical size (height) of the human face represented by the video data (captured image) input from the
（顔との距離）
第９行のフィールドに格納された顔との距離は、撮像部１１０（カメラ）と被写体である人物の顔との距離を表す値（例えば、単位はｃｍ）である。顔との距離の記憶領域は、２Ｂｙｔｅ固定長であり、０から６５５３５までのいずれかの値が格納される。
（顔の明るさ）
第１０行のフィールドに格納された顔の明るさは、撮像部１１０から入力された映像データが示す撮像画像上の顔領域の平均輝度値である。撮像画像を形成するピクセル毎の輝度値が１Ｂｙｔｅで表現されている場合、顔の明るさの記憶領域は、１Ｂｙｔｅ固定長であり、０から２５５までのいずれかの値が格納される。なお、顔の明るさの記憶領域の大きさは、必ずしも１Ｂｙｔｅに限られず、ピクセル毎の輝度値の情報量に応じて定められてもよい。また、撮像画像がカラー画像である場合には、色信号値の種類毎に顔の明るさの記憶領域が設けられてもよい。
(Distance from face)
The distance from the face stored in the field of the ninth row is a value (for example, the unit is cm) representing the distance between the imaging unit 110 (camera) and the face of the person who is the subject. The storage area for the distance to the face has a fixed length of 2 bytes, and stores any value from 0 to 65535.
(Face brightness)
The brightness of the face stored in the field of the 10th row is an average luminance value of the face area on the captured image indicated by the video data input from the
（カメラの向き）
第１１行のフィールドに格納されたカメラの向きは、水平方向に対する人物識別装置１１ａの撮像部１１０であるカメラの向きを示すＩＤである。カメラの向きの記憶領域は、１Ｂｙｔｅの固定長であり、０から２５５までのいずれかの値が格納される。格納されるＩＤは、図１２（ｂ）に示すＩＤのいずれかである。例えば、ＩＤが０とは、水平方向に対し平行（水平）を表し、ＩＤが１とは、水平方向に対し下向きなど、水平方向に対するカメラの向きを表す。なお、カメラの向きの種類はこれに限定されるものではなく、カメラの向きを表すものであればどのようなものであってもよい。さらに、カメラの向きの基準方向は水平方向に限られず、垂直方向や斜め方向など、カメラの向きが一意に特定できれば、どのような向きが基準であってもよい。
なお、人物識別装置１１ａは、加速度センサやジャイロセンサなどの水平方向に対するカメラの向きを検出するセンサを備え、センサが検出した向きを示す情報が格納されてもよい。また、ユーザの操作入力により指示されたカメラの向きが格納されてもよい。
(Camera direction)
The orientation of the camera stored in the field of the eleventh row is an ID indicating the orientation of the camera that is the
Note that the
（カメラ位置）
第１２行のフィールドに格納されたカメラ位置は、人物識別装置を設置した床面からの高さを示すカメラの設置情報（例えば、単位はｃｍ）を示す。カメラ位置の記憶領域は、２Ｂｙｔｅの固定長であり、０から６５５３５までのいずれかの値が格納される。なお、カメラ位置の基準は床に限定されるものではなく、天井や台など、人物識別装置１１ａの設置位置が一意に特定できれば、どのような位置が基準であってもよい。
なお、人物識別装置１１ａは、ＧＰＳなどの３次元のカメラ位置を検出するセンサを備え、センサが検出した位置を示す情報が格納されてもよい。また、人物識別装置１１ａは、ユーザの操作入力により指示されたカメラ位置を格納してもよい。
(Camera position)
The camera position stored in the field of the twelfth row indicates camera installation information (for example, the unit is cm) indicating the height from the floor on which the person identification device is installed. The camera position storage area has a fixed length of 2 bytes, and stores any value from 0 to 65535. The camera position reference is not limited to the floor, and any position may be used as long as the installation position of the
Note that the
（撮影環境）
第１３行のフィールドに格納された撮影環境は、人物識別装置が撮影する周囲の状態を示すフラグを示す。撮影環境の記憶領域は、１Ｂｙｔｅの固定長であり、ビットごとに、異なる撮影環境の要素が示される。例えば、０ビット目のビット値０が屋内、ビット値１が屋外であることを示す。１ビット目のビット値０が明るい状態、ビット値１が暗い状態であることを示す。２ビット目のビット値０が降雨なし、ビット値１が降雨ありを示す。
格納されるフラグは、図１２（ｃ）に示すビット位置毎の値のいずれかである。フラグはビットごとに設定できるため、２種類以上の撮影環境の要素を同時に設定することが可能である。なお、撮影環境の種類はこれに限定されるものではなく、気温、湿度、気圧、天気などであってもよい。
なお、撮影環境の検出は、人物識別装置１１ａは、映像データから撮影環境を判定する処理部、明るさセンサ、降雨センサなどの周囲の環境をセンシングする各種センサを備え、取得された情報が格納されてもよい。また、ユーザの操作入力により指示された情報が格納されてもよい。
(Shooting environment)
The shooting environment stored in the field of the thirteenth row indicates a flag indicating the surrounding state of shooting by the person identification device. The storage area of the shooting environment has a fixed length of 1 byte, and a different shooting environment element is indicated for each bit. For example, the
The stored flag is one of the values for each bit position shown in FIG. Since the flag can be set for each bit, two or more types of shooting environment elements can be set simultaneously. Note that the type of shooting environment is not limited to this, and may be temperature, humidity, atmospheric pressure, weather, or the like.
For detecting the shooting environment, the
（顔識別データアドレス）
第１４行のフィールドに格納された顔識別データアドレスは、基本顔識別ＤＢや、特定のカメラＩＤに対応した設置状態に応じた顔識別ＤＢに記録されている１つの顔の特徴量へアクセスするためのアドレスまたはオフセット値を示す。顔識別データアドレスの記憶領域は、４Ｂｙｔｅの固定長であり、０から０ｘＦＦＦＦＦＦＦＦまでのいずれかの値が格納される。
（顔識別データサイズ）
第１５行のフィールドに格納された顔識別データサイズは、基本顔識別ＤＢや、特定のカメラＩＤに対応する設置状態に応じた顔識別ＤＢに記録されている１つの顔の特徴量のサイズを示す。顔識別データサイズの記憶領域は、４Ｂｙｔｅの固定長であり、０から０ｘＦＦＦＦＦＦＦＦまでのいずれかの値を格納する。
なお、これら付加情報である顔識別データ管理情報の一部又は全部として、人物識別装置１１ａのユーザ情報検出部１１２において検出された検出情報、設置情報取得部１５０において取得された設置情報が充てられてもよい。
(Face identification data address)
The face identification data address stored in the field of the 14th row accesses the feature quantity of one face recorded in the basic face identification DB or the face identification DB corresponding to the installation state corresponding to a specific camera ID. Indicates the address or offset value for The storage area of the face identification data address has a fixed length of 4 bytes and stores any value from 0 to 0xFFFFFFFF.
(Face identification data size)
The size of the face identification data stored in the field of the fifteenth row is the size of the feature quantity of one face recorded in the basic face identification DB or the face identification DB corresponding to the installation state corresponding to a specific camera ID. Show. The face identification data size storage area has a fixed length of 4 bytes, and stores any value from 0 to 0xFFFFFFFF.
Note that the detection information detected by the user
以上に説明した、顔識別ＤＢ情報を統合顔識別ＤＢとともにサーバー装置３１に記録しておくことにより、登録者ＩＤ毎の顔識別ＤＢへのアクセスや顔識別ＤＢの更新が容易に行えるようになる。そのため、データ処理速度が向上し、利便性が向上する。
By recording the face identification DB information described above together with the integrated face identification DB in the
〔人物識別装置の構成〕
次に、人物識別装置１１ａの構成について説明する。
図１３は、本実施形態に係る人物識別装置１１ａの構成を示すブロック図である。
人物識別装置１１ａは、撮像部１１０、映像解析部１１１、情報ＤＢ１２０、データ変換部１３０、伝送制御部１４０、設置情報取得部１５０及び顔識別ＤＢ処理部１２１ａを含んで構成される。
[Configuration of person identification device]
Next, the configuration of the
FIG. 13 is a block diagram showing the configuration of the
The
顔識別ＤＢ処理部１２１ａは、更新された設置状態に対応した顔識別ＤＢを情報ＤＢ１２０から読み出し、読み出した設置状態に対応した顔識別ＤＢを、カメラＩＤ、識別された人物の登録者ＩＤ、検出された検出情報とともに、伝送制御部１４０を介してサーバー装置３１に送信する。検出情報は、付加情報として顔識別ＤＢに対応付けられる。
サーバー装置３１は、顔識別ＤＢ処理部１２１ａから受信した設置状態に対応した顔識別ＤＢを、カメラＩＤ、登録者ＩＤと対応付けて、上述した領域に格納することにより統合顔認識ＤＢを更新する。
上述したように、設置状態に対応した顔識別ＤＢは、映像解析部１１１の人物識別部１１２２が人物の識別に成功した場合、識別に用いられた特徴量が算出されたその人物の特徴量に置き換えられることにより、更新される。顔識別ＤＢ処理部１２１ａにより、情報ＤＢ１２０に格納された顔識別ＤＢと、統合顔認識ＤＢに含まれる顔識別ＤＢとが整合する。
The face identification
The
As described above, the face identification DB corresponding to the installation state is stored in the feature amount of the person whose feature amount used for the identification is calculated when the
なお、顔識別ＤＢ処理部１２１ａは、人物識別装置１１ａで行われる、その他の処理（例えば、人物検出、人物識別処理等）への影響を与えない時間帯や、それらの処理の負荷量が所定の負荷量よりも低い場合に、サーバー装置３１への送信を行ってもよい。その他の処理に影響を与えない時間帯とは、撮像部１１０が撮像した映像から人物が検出されないときである。例えば、次のような場合がある。夜間において照明が用いられていない場合など、撮像部１１０が撮像された映像の明るさが所定の明るさよりも暗い場合、人物検出部１１５が撮像された映像から人物を検出しないとき、動きベクトル検出部１１６が撮像された映像から動いている領域（物体）を検出しないとき、などがある。
Note that the face identification
これにより、情報ＤＢ１２０に登録された顔識別ＤＢをもって、人物識別処理に支障をきたさず、サーバー装置３１に形成された統合顔識別ＤＢ内の対応する顔識別ＤＢが更新される。
なお、送信対象の顔識別ＤＢは、情報ＤＢ１２０に登録された顔識別ＤＢの全体でもよいし、設置状態に応じた顔識別ＤＢ内の更新された特徴量のみであってもよい。これにより、更新に必要なデータ量と更新時間とを削減することができる。
As a result, the face identification DB registered in the
Note that the face identification DB to be transmitted may be the entire face identification DB registered in the
〔統合顔識別ＤＢからの顔識別ＤＢの抽出〕
自装置の顔識別ＤＢを更新又は再構築する場合、顔識別ＤＢ処理部１２１ａは、カメラＩＤを付加した顔識別ＤＢ要求信号をサーバー装置３１に送信する。サーバー装置３１は、人物識別装置１１ａから受信した顔識別ＤＢ要求信号に付加されたカメラＩＤに対応した顔識別ＤＢを統合顔識別ＤＢから抽出し、抽出した顔識別ＤＢを人物識別装置１１ａに送信する。これにより、顔識別ＤＢ処理部１２１ａは、自装置の顔識別ＤＢをダウンロードすることができる。
[Extraction of face identification DB from integrated face identification DB]
When updating or reconstructing the face identification DB of the own device, the face identification
図１４は、ダウンロードされた顔識別ＤＢの一例を示す概念図である。
図１４が示す顔識別ＤＢは、図９に示す統合顔識別ＤＢのうち、カメラＩＤが１である人物識別装置１１ａのカメラＩＤ１に対応する部分から形成される。登録者数は、ｎ２名であり、各登録者ＩＤに基本顔識別ＤＢと設置位置に応じた顔識別ＤＢとが対応付けられている。
設置位置に応じた顔識別ＤＢを形成する特徴量に対応する向きは、全て上方である。これは、カメラＩＤの向きが人物に対して上方であることによる。
ここで、サーバー装置３１は、統合顔識別ＤＢ（図９）からカメラＩＤ１に対応する設置位置に対応した顔識別ＤＢが存在する登録者ＩＤを検索する。サーバー装置３１は、発見された登録者ＩＤに対応する基本顔識別ＤＢと設置位置に応じた顔識別ＤＢを抽出する。登録者ＩＤ毎に基本顔識別ＤＢと設置位置に応じた顔識別ＤＢの組を対応付けることで、人物識別装置１１ａに記憶された顔識別ＤＢが再現される。
これにより、人物識別装置１１ａは、一旦取り外された場合や移設（移動）などの後、再度設置された場合でも、取り外しや移設（移動）前の顔識別ＤＢを利用できるため、即座に、取り外しや移設（移動）前と同じ認識精度にて人物識別処理を開始することが可能となる。また、前述の統合顔識別ＤＢから人物識別装置１１ａにダウンロードされた顔識別ＤＢは、カメラＩＤ１を例にしたが、別のカメラＩＤに係る人物識別装置１１ａにおいても同様に形成される。さらに、人物識別装置１１ａにダウンロードされた顔識別ＤＢは、複数の人物識別装置１１ａ間で共通の基本顔識別ＤＢと、それぞれの人物識別装置１１ａの撮像部１１０の設置状態に応じた顔識別ＤＢから形成される。
FIG. 14 is a conceptual diagram illustrating an example of a downloaded face identification DB.
The face identification DB shown in FIG. 14 is formed from a portion corresponding to the
The orientations corresponding to the feature amounts forming the face identification DB corresponding to the installation position are all upward. This is because the direction of the camera ID is upward with respect to the person.
Here, the
As a result, the
なお、顔識別ＤＢ処理部１２１ａは、さらに特定の登録者ＩＤを付加した顔識別ＤＢ要求信号をサーバー装置３１に送信してもよい。サーバー装置３１は、受信した顔識別ＤＢ要求信号に付加されたカメラＩＤ及び登録者ＩＤに対応した顔識別ＤＢを統合顔識別ＤＢから抽出し、抽出した顔識別ＤＢを人物識別装置１１ａに送信する。これにより、顔識別ＤＢ処理部１２１ａは、自装置及び特定の登録者の顔識別ＤＢをダウンロードし、更新することができる。
顔識別ＤＢは、更新されたものであっても、登録者ＩＤが同一であれば、複数の人物識別装置１１ａ間で共通の基本顔識別ＤＢと、それぞれの人物識別装置１１ａの撮像部１１０の設置状態に応じた顔識別ＤＢから形成される。
Note that the face identification
Even if the face identification DB is updated, if the registrant ID is the same, the basic face identification DB common to the plurality of
なお、顔識別ＤＢ処理部１２１ａは、さらに差分情報を付加した顔識別ＤＢ要求信号をサーバー装置３１に送信してもよい。差分情報は、情報ＤＢ１２０に記憶された顔識別ＤＢを形成する特徴量のうち、統合顔識別ＤＢの対応する顔識別ＤＢを形成する特徴量との差分を示す情報である。サーバー装置３１は、受信した顔識別ＤＢ要求信号に付加された差分情報に対応した特徴量を統合顔識別ＤＢから抽出し、抽出した特徴量を人物識別装置１１ａに送信する。これにより、顔識別ＤＢ処理部１２１ａは、差分情報で指定される特徴量をダウンロードし、この特徴量をもって情報ＤＢ１２０に記憶した顔識別ＤＢを更新することができる。これにより、更新に要するデータ量と更新時間を削減することができる。
The face identification
〔処理フロー〕
次に、本実施形態に係る人物識別装置１１ａが行う人物識別処理について説明する。
図１５は、本実施形態に係る人物識別処理を示すフローチャートである。
図１５に示す処理は、ステップＳ１０２からＳ１１３と、ステップＳ２０１−Ｓ２０３を有する。
[Processing flow]
Next, a person identification process performed by the
FIG. 15 is a flowchart showing person identification processing according to the present embodiment.
The process illustrated in FIG. 15 includes steps S102 to S113 and steps S201 to S203.
（ステップＳ２０１）顔識別ＤＢ処理部１２１ａは、カメラＩＤを付加した顔識別ＤＢ要求信号をサーバー装置３１に送信し、サーバー装置３１から自装置の顔識別ＤＢをダウンロードする。顔識別ＤＢ要求信号を送信するタイミングは、例えば、取り外し、移設、保守点検等により再設置した後に人物識別装置１１ａが起動するときである。その後、ステップＳ１０２に進む。
そして、ステップＳ１０２からステップＳ１１２までの処理を実行し、ステップＳ１１２の処理が終了した後、ステップＳ２０２に進む。
(Step S <b> 201) The face identification
Then, the processes from step S102 to step S112 are executed, and after the process of step S112 is completed, the process proceeds to step S202.
（ステップＳ２０２）顔識別ＤＢ処理部１２１ａは、撮像部１１０から入力された映像データ、人物検出部１１５から入力された人物情報、動きベクトル検出部１１６から入力された動きベクトル情報のいずれか又はそれらの組み合わせに基づいて人物が検出されたか否かを判定する。人物が検出されていないと判定された場合には（ステップＳ２０２ ＮＯ）、ステップＳ２０３に進む。人物が検出されたと判定された場合には（ステップＳ２０２ ＹＥＳ）、ステップＳ１１３に進む。
(Step S202) The face identification
（ステップＳ２０３）顔識別ＤＢ処理部１２１ａは、更新された設置状態に対応した顔識別ＤＢを情報ＤＢ１２０から読み出し、読み出した設置状態に対応した顔識別ＤＢを、カメラＩＤ、識別された人物の登録者ＩＤとともに、伝送制御部１４０を介してサーバー装置３１に送信する。サーバー装置３１は、受信したカメラＩＤ、登録者ＩＤ、及び設置状態に対応した顔識別ＤＢに基づいて統合顔識別ＤＢを更新する。その後、ステップＳ１１３に進む。
(Step S203) The face identification
以上、説明したように、本実施形態によれば、人物識別装置１１ａの設置状況や撮影環境に応じて最適化された顔識別ＤＢが人物識別装置１１ａ内で更新され、更新した顔識別ＤＢを人物識別装置１１ａで行われる他の処理に支障をきたさない時にサーバー装置３１に送信することができる。種々の原因により、人物識別装置１１ａを再設置した後に動作するときに、サーバー装置３１の統合顔識別ＤＢから自装置の顔識別ＤＢをダウンロードすることができる。そのため、即座に人物識別装置を使用することができ、再設置後の人物識別処理における識別率が再設置前と同等に保たれる。
As described above, according to the present embodiment, the face identification DB optimized in accordance with the installation state of the
（第３の実施形態）
次に、本実施形態の第３の実施形態に係る人物識別システム１ｂ（図示せず）について説明する。上述した実施形態と同一の構成について同一の符号を付することにより、説明を援用する。
人物識別システム１ｂは、人物識別システム１ａと同様に、人物識別装置１１ａ、情報表示端末装置２１、及びサーバー装置３１を含んで構成される。サーバー装置３１は、上述した統合顔識別ＤＢを記憶している。
(Third embodiment)
Next, a person identification system 1b (not shown) according to a third embodiment of the present embodiment will be described. The description is incorporated by giving the same reference numerals to the same configurations as those in the above-described embodiment.
Similar to the person identification system 1a, the person identification system 1b includes a
本実施形態では、サーバー装置３１は、人物識別装置１１ａから受信した付加情報を参照して、撮像部１１０の設置状態、例えば、登録者の顔の向き又はカメラの設置位置を特定し、特定した設置状態に対応する特徴量を有する設置状態に応じた顔識別ＤＢを検索する。サーバー装置３１は、検索した顔識別ＤＢを人物識別装置１１ａに送信する。
人物識別装置１１ａの顔識別ＤＢ処理部１２１ａは、サーバー装置３１から受信した顔識別ＤＢを、その登録者ＩＤと対応付けて設置状態に応じた顔識別ＤＢとして情報ＤＢ１２０に記憶する。
In the present embodiment, the
The face identification
図９を参照してサーバー装置３１の処理の具体例を説明する。但し、撮像部１１０のカメラＩＤが５（図示せず）であり、天井付近に設置され、人物が撮影される顔の向きが上方である場合を仮定する。
その場合、サーバー装置３１は、人物識別装置１１ａから受信した付加情報が示す顔の向きが上方であることを特定する。サーバー装置３１は、上方に対応する特徴量を有する設置状態に応じた顔識別ＤＢとして、登録者ＩＤ１及びカメラＩＤ１及びカメラＩＤ３、登録者ＩＤ２及びカメラＩＤ１及びカメラＩＤ３に対応付けられたものを選択し、人物識別装置１１ａに送信する。これにより、選択した設置状態に応じた顔識別ＤＢとして、登録者ＩＤ１及びカメラＩＤ１及びカメラＩＤ３、登録者ＩＤ２及びカメラＩＤ１及びカメラＩＤ３に対応付けられたものが人物識別装置１１ａにダウンロードされる。なお、サーバー装置３１は、前記選択した設置状態に応じた顔識別ＤＢのうち、登録者ＩＤ１、ＩＤ２のいずれか一方に対応するものを送信してもよいし、人物識別装置１１ａから受信した登録者ＩＤと一致する登録者ＩＤに対応するもののみを送信してもよい。さらに、サーバー装置３１は、前記選択した設置状態に応じた顔識別ＤＢのうち、カメラＩＤ１、ＩＤ３のいずれか一方に対応するものを送信してもよい。
これにより、人物識別装置１１ａの情報ＤＢ１２０には、撮像部１１０の向きに応じた顔識別ＤＢが再現される。
A specific example of the processing of the
In this case, the
As a result, the face identification DB corresponding to the orientation of the
なお、人物識別装置１１ａがサーバー装置３１に記録されている統合顔識別ＤＢから、そのカメラＩＤに対応する設置状態に応じた顔識別ＤＢをダウンロードするためには、第２の実施形態に係るサーバー装置３１には、カメラＩＤと対応付けた設置状態に応じた顔識別ＤＢが存在していなければならない。そのため、設置状態に応じた顔識別ＤＢをダウンロードするには、少なくとも１回は、事前にカメラＩＤに対応する設置状態に応じた顔識別ＤＢを統合顔識別ＤＢに記録されていなければならない。または、サーバー装置３１に、カメラＩＤと対応付けた設置状態に応じた顔識別ＤＢが存在していない場合は、人物識別装置１１ａがサーバー装置３１から基本顔識別ＤＢをダウンロードし、人物識別装置１１ａは、設置状態に応じた顔識別ＤＢを初めから登録し直す必要がある。
さらに、人物識別装置１１ａは、設置中であっても他の物体と接触した場合、脱落した場合等、撮像部１１０の位置や向きが変化することがあり、人物識別における識別率が低下することがある。
In order to download the face identification DB corresponding to the installation state corresponding to the camera ID from the integrated face identification DB recorded in the
Furthermore, the position and orientation of the
これに対し、本実施形態では、撮像部１１０の設置状態、例えば、向きが変化した場合や、自装置のカメラＩＤに対応する設置状態に応じた顔識別ＤＢが存在しない場合でも、人物識別装置１１ａは、その向きの設置状態に応じた顔識別ＤＢを取得することができる。そのため、人物識別装置１１ａは、この設置状態に応じた顔識別ＤＢを人物識別に用いることで、識別率の低下を防ぐことができる。
On the other hand, in this embodiment, even when the installation state of the
なお、上述ではサーバー装置３１は、人物識別装置１１ａの撮像部１１０と人物との位置関係が全て対応する特徴量を有する顔識別ＤＢを送信すべきものとして選択する場合を例にとったが、これには限られない。例えば、その位置関係のうち少なくとも１つが対応する特徴量を有する顔識別ＤＢを選択してもよい。
また、上述ではサーバー装置３１が、人物識別装置１１ａの撮像部１１０と人物との位置関係に対応する顔識別ＤＢの全てを送信すべきものとして選択する場合を例にとったが、これには限られない。例えば、サーバー装置３１は、上述により選択された顔識別ＤＢにおいて、人物識別装置１１ａから受信した差分情報で指定される特徴量に対応した特徴量のみを人物識別装置１１ａに送信してもよい。そして、顔識別ＤＢ処理部１２１ａは、差分情報で指定された特徴量をサーバー装置３１から受信した特徴量に置き換えることにより、情報ＤＢ１２０に記憶した顔識別ＤＢを更新する。これにより、更新に必要なデータ量と更新時間とを削減することができる。
In the above description, the
In the above description, the
上述したように、人物識別装置１１、１１ａは、撮影された映像を示す映像データから、人物を識別するとともに、その人物の顔や行動を検出し、検出された認識情報を情報表示端末装置２１に送信する。そのため、小児や高齢者等の見守り、不審者の侵入の検出、家電機器の操作等、様々なアプリケーションに適用することが可能になる。また、本実施形態では人物の識別対象とする場合を例にして説明したが、動物、その他の物体を識別対象としてもよい。
As described above, the
なお、撮像部１１０は、映像データを映像解析部１１１に送信することができれば、人物識別装置１１、１１ａと別体であってもよい。送信方法は、いかなる伝送方式を用いることができ、有線であっても、無線であってもよい。
なお、映像解析部１１１は、撮像部１１０から入力された映像データに代え、記憶媒体に記憶された映像データや、ネットワーク４１に接続された任意のサーバー装置に記憶された映像データを用いてもよい。
The
Note that the
なお、本発明は次の態様で実施することができる。
（１）少なくとも１つの撮像部が撮像した映像から前記映像が表す人物を検出する人物検出部と、前記映像から算出した特徴量に基づいて前記人物の状態を検出する情報検出部と、を備え、前記情報検出部は、前記特徴量と予め第１の識別データベースに登録された特徴量とに基づいて人物を識別し、人物の識別に成功したとき、前記特徴量を第２の識別データベースに登録する人物識別装置。
In addition, this invention can be implemented with the following aspect.
(1) A person detection unit that detects a person represented by the video from a video captured by at least one imaging unit, and an information detection unit that detects the state of the person based on a feature amount calculated from the video. The information detection unit identifies a person based on the feature quantity and the feature quantity registered in the first identification database in advance, and when the person identification is successful, the feature quantity is stored in the second identification database. Person identification device to be registered.
（２）前記情報検出部は、さらに前記第２の識別データベースに登録された特徴量を用いて人物を識別する（１）の人物識別装置。 (2) The person identification device according to (1), wherein the information detection unit further identifies a person using a feature amount registered in the second identification database.
（３）前記情報検出部は、前記第１の識別データベースに登録された特徴量よりも前記第２の識別データベースに登録された特徴量を優先して用いて人物を識別する（２）の人物識別装置。 (3) The information detection unit identifies the person by using the feature quantity registered in the second identification database with priority over the feature quantity registered in the first identification database. Identification device.
（４）前記情報検出部は、前記撮像部の設置状態を示す設置情報を取得し、人物の識別に成功し、かつ、前記算出した特徴量との間で前記第２の識別データベースに登録された前記人物の特徴量のうち、顔に関する特徴量の少なくとも１つが対応していない場合、前記算出した特徴量と前記設置情報とを前記第２の識別データベースに対応づけて登録する（１）から（３）のいずれかの人物識別装置。 (4) The information detection unit acquires installation information indicating an installation state of the imaging unit, succeeds in identifying a person, and is registered in the second identification database with the calculated feature amount. If at least one of the feature quantities of the person does not correspond to the face, the calculated feature quantity and the installation information are registered in association with the second identification database (1). The person identification device according to any one of (3).
（５）前記設置情報は、前記撮像部の高さ、向き、明るさ、天候、気温、湿度のうち少なくとの１つを表す情報である（４）の人物識別装置。 (5) The person identification device according to (4), wherein the installation information is information representing at least one of height, direction, brightness, weather, temperature, and humidity of the imaging unit.
（６）前記第１の識別データベースと前記第２の識別データベースの少なくとも一方の識別データベースと、前記撮像部の識別情報とを対応付けてサーバー装置に送信する識別データベース処理部、を備える（１）から（５）のいずれかの人物識別装置。 (6) An identification database processing unit that associates at least one of the first identification database and the second identification database with the identification information of the imaging unit and transmits the identification information to the server device (1). To (5).
（７）前記識別データベース処理部は、前記人物検出部が人物を検出しないとき、前記少なくとも一方の識別データベースを前記サーバー装置に送信する（６）の人物識別装置。 (7) The person identification device according to (6), wherein the identification database processing unit transmits the at least one identification database to the server device when the person detection unit does not detect a person.
（８）前記識別データベース処理部は、前記撮像部の識別情報に対応する少なくとも一方の識別データベースを、前記サーバー装置から受信する（６）または（７）の人物識別装置。 (8) The person identification device according to (6) or (7), wherein the identification database processing unit receives at least one identification database corresponding to the identification information of the imaging unit from the server device.
（９）前記識別データベース処理部は、前記撮像部と前記人物との位置関係が対応する特徴量を含む少なくとも一方の識別データベースを前記サーバー装置から受信する（６）または（７）の人物識別装置。 (9) The person identification device according to (6) or (7), wherein the identification database processing unit receives at least one identification database including a feature amount corresponding to a positional relationship between the imaging unit and the person from the server device. .
（１０）人物識別装置における人物識別方法において、少なくとも１つの撮像部が撮像した映像から前記映像が表す人物を検出する人物検出過程と、前記映像から算出した特徴量に基づいて前記人物の状態を検出するユーザ情報検出過程と、を有し、前記ユーザ情報検出過程は前記特徴量と予め第１の識別データベースに登録された特徴量とに基づいて人物を識別し、人物の識別に成功したとき、前記特徴量を第２の識別データベースに登録する人物識別方法。 (10) In a person identification method in a person identification device, a person detection process for detecting a person represented by the image from an image captured by at least one imaging unit, and the state of the person based on a feature amount calculated from the image A user information detection process to detect, when the user information detection process identifies a person based on the feature quantity and a feature quantity registered in the first identification database in advance, and the person is successfully identified A person identification method for registering the feature quantity in a second identification database.
（１１）人物識別装置のコンピュータに、少なくとも１つの撮像部が撮像した映像から前記映像が表す人物を検出する人物検出手順、前記映像から算出した特徴量に基づいて前記人物の状態を検出するユーザ情報検出手順を実行させるプログラムであって、前記ユーザ情報検出手順は、前記特徴量と予め第１の識別データベースに登録された特徴量とに基づいて人物を識別し、ユーザの識別に成功したとき、人物の識別に成功したとき、前記特徴量を第２の識別データベースに登録するプログラム。 (11) A person detecting procedure for detecting a person represented by the video from video captured by at least one imaging unit in a computer of the person identification device, and a user detecting the state of the person based on a feature amount calculated from the video A program for executing an information detection procedure, wherein the user information detection procedure identifies a person based on the feature quantity and a feature quantity registered in advance in the first identification database, and succeeds in identifying the user. A program for registering the feature quantity in the second identification database when the person is successfully identified.
また、上述した実施形態における人物識別装置１１、１１ａの一部、例えばユーザ情報検出部１１２、モーション検出部１１３、行動認識部１１４、人物検出部１１５、動きベクトル検出部１１６、データ変換部１３０、伝送制御部１４０をコンピュータで実現するようにしても良い。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、人物識別装置に内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバーやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
また、上述した実施形態における人物識別装置の一部、または全部を、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現しても良い。人物識別装置の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化しても良い。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いても良い。
また、本発明の各構成要素は、任意に取捨選択することができ、取捨選択した構成を具備する発明も本発明に含まれるものである。
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
In addition, some of the
Further, part or all of the person identification device in the above-described embodiment may be realized as an integrated circuit such as an LSI (Large Scale Integration). Each functional block of the person identification device may be individually made into a processor, or a part or all of them may be integrated into a processor. Further, the method of circuit integration is not limited to LSI, and may be realized by a dedicated circuit or a general-purpose processor. Further, in the case where an integrated circuit technology that replaces LSI appears due to progress in semiconductor technology, an integrated circuit based on the technology may be used.
Each component of the present invention can be arbitrarily selected, and an invention having a selected configuration is also included in the present invention.
As described above, the embodiment of the present invention has been described in detail with reference to the drawings. However, the specific configuration is not limited to the above, and various design changes and the like can be made without departing from the scope of the present invention. It is possible to
本発明は、人物識別装置、セキュリティカメラとして利用可能である。 The present invention can be used as a person identification device and a security camera.
１、１ａ、１ｂ…人物識別システム、
１１、１１ａ（１１−１〜１１−４）…人物識別装置、
１１０…撮像部、１１１…映像解析部、１１２…ユーザ情報検出部、
１１２０…属性推定部、１１２１…表情推定部、１１２２…人物識別部、
１１２３…位置検出部、１１２４…人体部位検出部、
１１３…モーション検出部、１１４…行動認識部、１１５…人物検出部、
１１６…動きベクトル検出部、
１２０…情報ＤＢ、１２１ａ…顔識別ＤＢ処理部、
１３０…データ変換部、１４０…伝送制御部、１５０…設置情報取得部、
２１（２１−１、２１−２）…情報表示端末装置、３１…サーバー装置、
４１…ネットワーク
1, 1a, 1b ... person identification system,
11, 11a (11-1 to 11-4) ... person identification device,
110 ... Imaging unit, 111 ... Video analysis unit, 112 ... User information detection unit,
1120 ... attribute estimation unit, 1121 ... facial expression estimation unit, 1122 ... person identification unit,
1123: position detection unit, 1124 ... human body part detection unit,
113 ... motion detection unit, 114 ... behavior recognition unit, 115 ... person detection unit,
116 ... a motion vector detection unit,
120 ... information DB, 121a ... face identification DB processing unit,
130 ... Data conversion unit, 140 ... Transmission control unit, 150 ... Installation information acquisition unit,
21 (21-1, 21-2) ... Information display terminal device, 31 ... Server device,
41 ... Network
Claims (9)
前記映像から算出した少なくとも１つの特徴量に基づいて前記対象の状態を検出する情報検出部と、を備え、
前記情報検出部は、前記特徴量と予め第１の識別データベースに登録された特徴量とに基づいて対象を識別し、
対象の識別に成功したとき、前記特徴量を第２の識別データベースに登録する
識別装置。 A target detection unit that detects at least one target among a person, an animal, and an object represented by the video from a video captured by at least one imaging unit;
An information detection unit that detects the state of the target based on at least one feature amount calculated from the video,
The information detection unit identifies a target based on the feature amount and a feature amount registered in the first identification database in advance,
An identification device that registers the feature quantity in a second identification database when the object is successfully identified.
前記特徴量を前記対象の状態を示す付加情報と対応付けて前記第２の識別データベースに登録する請求項１に記載の識別装置。 The information detection unit
The identification device according to claim 1, wherein the feature amount is registered in the second identification database in association with additional information indicating the state of the target.
請求項１または請求項２に記載の識別装置。 Identification that transmits additional information indicating the installation state of the imaging unit to a server device and receives at least one of the first identification database and the second identification database according to the installation state from the server device The identification device according to claim 1, further comprising a database processing unit.
請求項３に記載の識別装置。 The information detection unit acquires installation information representing at least one of height, direction, brightness, weather, temperature, and humidity of the imaging unit as the installation state, and associates the feature amount with the installation information. The identification device according to claim 3, wherein the identification device is registered in the second identification database.
請求項１から請求項４のいずれか一項に記載の識別装置。 The information detection unit identifies a target by using a feature quantity registered in the second identification database with priority over a feature quantity registered in the first identification database. The identification device according to any one of the above.
前記識別データベース処理部は、前記対象検出部が対象を検出しないとき、前記少なくとも一方の識別データベースを前記サーバー装置に送信する
請求項１から請求項５のいずれか一項に記載の識別装置。 An identification database processing unit that associates at least one of the first identification database and the second identification database with the identification information of the imaging unit and transmits the identification information to a server device;
The identification device according to any one of claims 1 to 5, wherein the identification database processing unit transmits the at least one identification database to the server device when the target detection unit does not detect a target.
請求項６に記載の識別装置。 The identification device according to claim 6, wherein the identification database processing unit receives the at least one identification database corresponding to the identification information of the imaging unit from the server device.
前記映像から算出した少なくとも１つの特徴量に基づいて前記対象の状態を検出する情報検出過程と、を有し、
前記情報検出過程は、前記特徴量と予め第１の識別データベースに登録された特徴量とに基づいて対象を識別し、
対象の識別に成功したとき、前記特徴量を第２の識別データベースに登録する
識別方法。 In the identification method in the identification device, a target detection process of detecting at least one target among a person, an animal, and an object represented by the video from a video captured by at least one imaging unit;
An information detection process for detecting the state of the target based on at least one feature amount calculated from the video,
The information detection process identifies an object based on the feature amount and a feature amount registered in the first identification database in advance,
An identification method for registering the feature quantity in a second identification database when the identification of an object is successful.
前記映像から算出した少なくとも１つの特徴量に基づいて前記対象の状態を検出する情報検出手順と、を有し、
前記情報検出手順は、前記特徴量と予め第１の識別データベースに登録された特徴量とに基づいて対象を識別し、
対象の識別に成功したとき、前記特徴量を第２の識別データベースに登録する
プログラム。 A target detection procedure for detecting at least one target among a person, an animal, and an object represented by the video from a video captured by at least one imaging unit in a computer of the identification device;
An information detection procedure for detecting the state of the target based on at least one feature amount calculated from the video,
The information detection procedure identifies a target based on the feature quantity and a feature quantity registered in the first identification database in advance,
A program for registering the feature quantity in a second identification database when the object is successfully identified.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018091740A JP2018120644A (en) | 2018-05-10 | 2018-05-10 | Identification apparatus, identification method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018091740A JP2018120644A (en) | 2018-05-10 | 2018-05-10 | Identification apparatus, identification method, and program |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014162468A Division JP6339445B2 (en) | 2014-08-08 | 2014-08-08 | Person identification device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2018120644A true JP2018120644A (en) | 2018-08-02 |
Family
ID=63045356
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018091740A Pending JP2018120644A (en) | 2018-05-10 | 2018-05-10 | Identification apparatus, identification method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2018120644A (en) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020161018A (en) * | 2019-03-28 | 2020-10-01 | 綜合警備保障株式会社 | Security system, management device, mobile terminal and security method |
| WO2020194488A1 (en) * | 2019-03-26 | 2020-10-01 | 株式会社資生堂 | Device, method, program, and system for determining three-dimensional shape of face |
| CN111914746A (en) * | 2020-07-31 | 2020-11-10 | 安徽华速达电子科技有限公司 | Method and system for relieving load of face recognition equipment |
| JP2020186572A (en) * | 2019-05-14 | 2020-11-19 | トヨタホーム株式会社 | Lock/unlock control system for building |
| WO2021000829A1 (en) * | 2019-07-03 | 2021-01-07 | 平安科技（深圳）有限公司 | Multi-dimensional identity information identification method and apparatus, computer device and storage medium |
| JP2021026744A (en) * | 2019-08-09 | 2021-02-22 | 日本テレビ放送網株式会社 | Information processing device, image recognition method, and learning model generation method |
| JP2021103462A (en) * | 2019-12-25 | 2021-07-15 | トヨタ自動車株式会社 | Information processing device, information processing method, and program |
| US11210528B2 (en) | 2018-10-18 | 2021-12-28 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method, system, and storage medium to determine staying time of a person in predetermined region |
| WO2023282033A1 (en) * | 2021-07-09 | 2023-01-12 | パナソニックＩｐマネジメント株式会社 | Image processing device, image processing method, and program |
| JP7234324B1 (en) | 2021-09-28 | 2023-03-07 | 三菱電機インフォメーションシステムズ株式会社 | NOTIFICATION RECEIVING DEVICE, NOTIFICATION METHOD AND NOTIFICATION RECEIVING PROGRAM |
| JP7455889B2 (en) | 2022-04-08 | 2024-03-26 | 楽天グループ株式会社 | Image evaluation device, image processing system, user terminal, image evaluation method, and image evaluation program |
| JP7491057B2 (en) | 2019-08-20 | 2024-05-28 | 富士通株式会社 | Target search device and method, electronic device |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006085289A (en) * | 2004-09-14 | 2006-03-30 | Fuji Photo Film Co Ltd | Facial authentication system and facial authentication method |
| JP2006331247A (en) * | 2005-05-30 | 2006-12-07 | Konica Minolta Photo Imaging Inc | Id card reissue system |
| JP2009003898A (en) * | 2007-06-25 | 2009-01-08 | Omron Corp | Monitoring system, monitoring method, information processing device, and program |
| JP2009245338A (en) * | 2008-03-31 | 2009-10-22 | Secom Co Ltd | Face image collating apparatus |
| JP2013167986A (en) * | 2012-02-15 | 2013-08-29 | Hitachi Ltd | Image recognition system and image recognition method |
-
2018
- 2018-05-10 JP JP2018091740A patent/JP2018120644A/en active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006085289A (en) * | 2004-09-14 | 2006-03-30 | Fuji Photo Film Co Ltd | Facial authentication system and facial authentication method |
| JP2006331247A (en) * | 2005-05-30 | 2006-12-07 | Konica Minolta Photo Imaging Inc | Id card reissue system |
| JP2009003898A (en) * | 2007-06-25 | 2009-01-08 | Omron Corp | Monitoring system, monitoring method, information processing device, and program |
| JP2009245338A (en) * | 2008-03-31 | 2009-10-22 | Secom Co Ltd | Face image collating apparatus |
| JP2013167986A (en) * | 2012-02-15 | 2013-08-29 | Hitachi Ltd | Image recognition system and image recognition method |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11210528B2 (en) | 2018-10-18 | 2021-12-28 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method, system, and storage medium to determine staying time of a person in predetermined region |
| WO2020194488A1 (en) * | 2019-03-26 | 2020-10-01 | 株式会社資生堂 | Device, method, program, and system for determining three-dimensional shape of face |
| JP7347950B2 (en) | 2019-03-28 | 2023-09-20 | 綜合警備保障株式会社 | Security systems, management devices, mobile terminals and security methods |
| JP2020161018A (en) * | 2019-03-28 | 2020-10-01 | 綜合警備保障株式会社 | Security system, management device, mobile terminal and security method |
| JP2020186572A (en) * | 2019-05-14 | 2020-11-19 | トヨタホーム株式会社 | Lock/unlock control system for building |
| JP7179675B2 (en) | 2019-05-14 | 2022-11-29 | トヨタホーム株式会社 | Building lock/unlock control system |
| WO2021000829A1 (en) * | 2019-07-03 | 2021-01-07 | 平安科技（深圳）有限公司 | Multi-dimensional identity information identification method and apparatus, computer device and storage medium |
| JP2021026744A (en) * | 2019-08-09 | 2021-02-22 | 日本テレビ放送網株式会社 | Information processing device, image recognition method, and learning model generation method |
| JP7491057B2 (en) | 2019-08-20 | 2024-05-28 | 富士通株式会社 | Target search device and method, electronic device |
| JP2021103462A (en) * | 2019-12-25 | 2021-07-15 | トヨタ自動車株式会社 | Information processing device, information processing method, and program |
| JP7294121B2 (en) | 2019-12-25 | 2023-06-20 | トヨタ自動車株式会社 | Information processing device, information processing method, and program |
| US11783586B2 (en) | 2019-12-25 | 2023-10-10 | Toyota Jidosha Kabushiki Kaisha | Information processing apparatus, information processing method and program medium |
| CN111914746A (en) * | 2020-07-31 | 2020-11-10 | 安徽华速达电子科技有限公司 | Method and system for relieving load of face recognition equipment |
| CN111914746B (en) * | 2020-07-31 | 2024-05-03 | 安徽华速达电子科技有限公司 | Method and system for relieving load of face recognition equipment |
| WO2023282033A1 (en) * | 2021-07-09 | 2023-01-12 | パナソニックＩｐマネジメント株式会社 | Image processing device, image processing method, and program |
| JP7234324B1 (en) | 2021-09-28 | 2023-03-07 | 三菱電機インフォメーションシステムズ株式会社 | NOTIFICATION RECEIVING DEVICE, NOTIFICATION METHOD AND NOTIFICATION RECEIVING PROGRAM |
| JP2023048165A (en) * | 2021-09-28 | 2023-04-07 | 三菱電機インフォメーションシステムズ株式会社 | Notification reception device, notification reception method, and notification reception program |
| JP7455889B2 (en) | 2022-04-08 | 2024-03-26 | 楽天グループ株式会社 | Image evaluation device, image processing system, user terminal, image evaluation method, and image evaluation program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2018120644A (en) | Identification apparatus, identification method, and program | |
| JP6339445B2 (en) | Person identification device | |
| JP6411373B2 (en) | Recognition data transmission device, recognition data recording device, and recognition data recording method | |
| CN110535732B (en) | Equipment control method and device, electronic equipment and storage medium | |
| US8644614B2 (en) | Image processing apparatus, image processing method, and storage medium | |
| CN110647797B (en) | Visitor detection method and device | |
| JP2008040781A (en) | Subject verification apparatus and subject verification method | |
| JP4797517B2 (en) | Monitoring device and method, and program | |
| Jansi et al. | Detection of fall for the elderly in an indoor environment using a tri-axial accelerometer and Kinect depth data | |
| JP6757009B1 (en) | Computer program, object identification method, object identification device and object identification system | |
| CN110599710A (en) | Reminding method and related equipment | |
| JP2012208610A (en) | Face image authentication apparatus | |
| JP3835771B2 (en) | Communication apparatus and communication method | |
| WO2013069565A1 (en) | Imaging/recording device | |
| JP6048630B1 (en) | Behavior detection device, behavior detection method, and monitored person monitoring device | |
| CN114859749B (en) | Intelligent home management method and system based on Internet of things | |
| JP6941950B2 (en) | Image providing system, image providing method, and image providing program | |
| WO2020022371A1 (en) | Robot, method for controlling robot, and control program | |
| JP2024045460A (en) | Information processing system, information processing device, information processing method, and program | |
| CN112052765A (en) | Intelligent furniture with protection function for old people and control method thereof | |
| WO2019150954A1 (en) | Information processing device | |
| JP5989505B2 (en) | Message management apparatus, message presentation apparatus, message presentation system, message management apparatus, message presentation apparatus control method, control program, and recording medium | |
| CN115118536B (en) | Sharing method, control device and computer readable storage medium | |
| US20220319232A1 (en) | Apparatus and method for providing missing child search service based on face recognition using deep-learning | |
| JP2005199373A (en) | Communication device and communication method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180510 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190510 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190514 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20191203 |