JP2021158568A

JP2021158568A - Information processing system, information processing device, information processing method, and program

Info

Publication number: JP2021158568A
Application number: JP2020057959A
Authority: JP
Inventors: 祐哉佃; Yuya Tsukuda
Original assignee: Linkray Marketing Corp
Current assignee: Linkray Marketing Corp
Priority date: 2020-03-27
Filing date: 2020-03-27
Publication date: 2021-10-07

Abstract

To recognize the behavior of a person.SOLUTION: An imaging apparatus 100 transmits captured images to an information processing device 200. The information processing device 200 extracts an image of the face of a person out of the images transmitted from the imaging apparatus 100, analyzes the feature of the face from the extracted image of the face, calculates a feature amount indicating the analyzed feature, determines the state of the person whose face image has been extracted, on the basis of the image transmitted from the imaging apparatus 100, and stores the calculated feature amount and the state information indicating the determined state in association with each other.SELECTED DRAWING: Figure 1

Description

本発明は、情報処理システム、情報処理装置、情報処理方法およびプログラムに関する。 The present invention relates to an information processing system, an information processing device, an information processing method and a program.

近年、特許文献１に記載されているような顔認証処理が様々な場面で用いられている。また、街中には防犯カメラや監視カメラ等の撮像装置が多くの場所に設置されている。このような撮像装置が撮像した画像に基づいて、顔認証処理を用いて人物の識別を行うことも考えられている。 In recent years, face recognition processing as described in Patent Document 1 has been used in various situations. In addition, imaging devices such as security cameras and surveillance cameras are installed in many places in the city. It is also considered to identify a person by using a face recognition process based on an image captured by such an imaging device.

特開２００９−５４０５２号公報JP-A-2009-54052

しかしながら、上述した技術においては、そのときの人物の識別ができるに過ぎず、人物の動向を認識することはできないという問題点がある。 However, the above-mentioned technique has a problem that the person can only be identified at that time and the movement of the person cannot be recognized.

本発明の目的は、人物の動向を認識することができる情報処理システム、情報処理装置、情報処理方法およびプログラムを提供することにある。 An object of the present invention is to provide an information processing system, an information processing device, an information processing method and a program capable of recognizing the movement of a person.

本発明の情報処理システムは、
撮像装置と、情報処理装置とを有し、
前記撮像装置は、
撮像部と、
前記撮像部が撮像した画像を前記情報処理装置へ送信する送信部とを有し、
前記情報処理装置は、
前記撮像装置から送信されてきた画像から人物の顔の画像を抽出する抽出部と、
前記抽出部が抽出した顔の画像から該顔の特徴を解析して、該解析した特徴を示す特徴量を算出する特徴量算出部と、
前記抽出部が顔の画像を抽出した人物の状態を、前記撮像装置から送信されてきた画像に基づいて判定する状態判定部と、
前記特徴量算出部が算出した特徴量と、前記状態判定部が判定した状態を示す状態情報とを対応付けて記憶する記憶部とを有する。 The information processing system of the present invention
It has an image pickup device and an information processing device.
The image pickup device
Imaging unit and
It has a transmission unit that transmits an image captured by the image pickup unit to the information processing device.
The information processing device
An extraction unit that extracts an image of a person's face from an image transmitted from the image pickup device, and an extraction unit.
A feature amount calculation unit that analyzes the facial features from the face image extracted by the extraction unit and calculates a feature amount indicating the analyzed features, and a feature amount calculation unit.
A state determination unit that determines the state of a person from whom the extraction unit has extracted a face image based on an image transmitted from the image pickup apparatus, and a state determination unit.
It has a storage unit that stores the feature amount calculated by the feature amount calculation unit and the state information indicating the state determined by the state determination unit in association with each other.

また、本発明の情報処理装置は、
撮像装置から送信されてきた画像から人物の顔の画像を抽出する抽出部と、
前記抽出部が抽出した顔の画像から該顔の特徴を解析して、該解析した特徴を示す特徴量を算出する特徴量算出部と、
前記抽出部が顔の画像を抽出した人物の状態を、前記撮像装置から送信されてきた画像に基づいて判定する状態判定部と、
前記特徴量算出部が算出した特徴量と、前記状態判定部が判定した状態を示す状態情報とを対応付けて記憶する記憶部とを有する。 Further, the information processing apparatus of the present invention is
An extraction unit that extracts an image of a person's face from an image transmitted from an image pickup device,
A feature amount calculation unit that analyzes the facial features from the face image extracted by the extraction unit and calculates a feature amount indicating the analyzed features, and a feature amount calculation unit.
A state determination unit that determines the state of a person from whom the extraction unit has extracted a face image based on an image transmitted from the image pickup apparatus, and a state determination unit.
It has a storage unit that stores the feature amount calculated by the feature amount calculation unit and the state information indicating the state determined by the state determination unit in association with each other.

また、本発明の情報処理方法は、
撮像装置から送信されてきた画像から人物の顔の画像を抽出する処理と、
前記抽出した顔の画像から該顔の特徴を解析して、該解析した特徴を示す特徴量を算出する処理と、
前記顔の画像を抽出した人物の状態を、前記撮像装置から送信されてきた画像に基づいて判定する処理と、
前記算出した特徴量と、前記判定した状態を示す状態情報とを対応付けてデータベースに記憶させる処理とを行う。 Moreover, the information processing method of the present invention
The process of extracting the image of a person's face from the image transmitted from the image pickup device, and
A process of analyzing the facial features from the extracted facial image and calculating a feature amount indicating the analyzed features.
A process of determining the state of a person from whom an image of a face has been extracted based on an image transmitted from the image pickup apparatus, and a process of determining the state of the person.
A process of associating the calculated feature amount with the state information indicating the determined state and storing it in the database is performed.

また、本発明のプログラムは、
コンピュータに実行させるためのプログラムであって、
撮像装置から送信されてきた画像から人物の顔の画像を抽出する手順と、
前記抽出した顔の画像から該顔の特徴を解析して、該解析した特徴を示す特徴量を算出する手順と、
前記顔の画像を抽出した人物の状態を、前記撮像装置から送信されてきた画像に基づいて判定する手順と、
前記算出した特徴量と、前記判定した状態を示す状態情報とを対応付けてデータベースに記憶させる手順とを実行させる。 In addition, the program of the present invention
It ’s a program that you want your computer to run.
The procedure for extracting an image of a person's face from the image transmitted from the image pickup device, and
A procedure for analyzing the facial features from the extracted facial image and calculating a feature amount indicating the analyzed features, and
A procedure for determining the state of a person from whom an image of a face has been extracted based on an image transmitted from the imaging device, and a procedure for determining the state of the person.
The procedure of associating the calculated feature amount with the state information indicating the determined state and storing it in the database is executed.

本発明においては、人物の動向を認識することができる。 In the present invention, the movement of a person can be recognized.

本発明の情報処理システムの第１の実施の形態を示す図である。It is a figure which shows the 1st Embodiment of the information processing system of this invention. 図１に示した撮像装置の内部構成の一例を示す図である。It is a figure which shows an example of the internal structure of the image pickup apparatus shown in FIG. 図１に示した情報処理装置の内部構成の一例を示す図である。It is a figure which shows an example of the internal structure of the information processing apparatus shown in FIG. 図３に示した記憶部が記憶する特徴量と状態情報との対応付けの一例を示す図である。It is a figure which shows an example of the correspondence between the feature amount stored in the storage part shown in FIG. 3 and the state information. 図１に示した撮像装置の設置状態の一例を示す図である。It is a figure which shows an example of the installation state of the image pickup apparatus shown in FIG. 図５に示す位置に設置された撮像装置が撮像した画像の一例を示す図である。It is a figure which shows an example of the image taken by the image pickup apparatus installed at the position shown in FIG. 図１に示した情報処理装置における情報処理方法の一例を説明するためのフローチャートである。It is a flowchart for demonstrating an example of the information processing method in the information processing apparatus shown in FIG. 本発明の情報処理システムの第２の実施の形態を示す図である。It is a figure which shows the 2nd Embodiment of the information processing system of this invention. 図８に示した撮像装置の内部構成の一例を示す図である。It is a figure which shows an example of the internal structure of the image pickup apparatus shown in FIG. 図８に示した情報処理装置の内部構成の一例を示す図である。It is a figure which shows an example of the internal structure of the information processing apparatus shown in FIG. 図１０に示した記憶部が記憶する特徴量と状態情報と位置情報との対応付けの一例を示す図である。It is a figure which shows an example of the correspondence between the feature amount stored in the storage part shown in FIG. 10, state information, and position information. 図１０に示した記憶部が記憶する撮像装置識別情報と位置情報との対応付けの一例を示す図である。It is a figure which shows an example of the correspondence between the image pickup apparatus identification information and the position information stored in the storage part shown in FIG. 図８に示した情報処理装置における情報処理方法の一例を説明するためのフローチャートである。It is a flowchart for demonstrating an example of the information processing method in the information processing apparatus shown in FIG. 本発明の情報処理システムの第３の実施の形態を示す図である。It is a figure which shows the 3rd Embodiment of the information processing system of this invention. 図１４に示した情報処理装置の内部構成の一例を示す図である。It is a figure which shows an example of the internal structure of the information processing apparatus shown in FIG. 図１４に示した情報処理装置における情報処理方法の一例を説明するためのフローチャートである。It is a flowchart for demonstrating an example of the information processing method in the information processing apparatus shown in FIG.

以下に、本発明の実施の形態について図面を参照して説明する。
（第１の実施の形態）
図１は、本発明の情報処理システムの第１の実施の形態を示す図である。本形態における情報処理システムは図１に示すように、撮像装置１００と、情報処理装置２００とを有する。撮像装置１００と情報処理装置２００とは、通信ネットワーク３００を介して接続されている。通信ネットワーク３００は、一般的な通信ネットワークである。なお、撮像装置１００と情報処理装置２００とは、直接接続されているものであっても良い。また、この接続は、無線を用いるものであっても良いし、有線を用いるものであっても良い。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
(First Embodiment)
FIG. 1 is a diagram showing a first embodiment of the information processing system of the present invention. As shown in FIG. 1, the information processing system in this embodiment includes an image pickup device 100 and an information processing device 200. The image pickup apparatus 100 and the information processing apparatus 200 are connected via a communication network 300. The communication network 300 is a general communication network. The image pickup apparatus 100 and the information processing apparatus 200 may be directly connected to each other. Further, this connection may be wireless or wired.

撮像装置１００は、街中の所望の場所に設置されている。特に、撮像装置１００は、広告業者が設置した広告の周辺を撮像できる位置に設置されている。また、撮像装置１００は、広告業者が設置した広告に掲載された商品等を販売している店舗の周辺や店舗内の様子を撮像できる位置に設置されている。撮像装置１００は、複数存在するものであっても良い。 The image pickup apparatus 100 is installed at a desired location in the city. In particular, the imaging device 100 is installed at a position where the periphery of the advertisement installed by the advertising company can be imaged. Further, the image pickup device 100 is installed at a position where an image can be taken of the surroundings of the store selling the products and the like posted in the advertisement installed by the advertisement company and the inside of the store. A plurality of image pickup devices 100 may exist.

情報処理装置２００は、一般的なＰＣ（ＰｅｒｓｏｎａｌＣｏｍｐｕｔｅｒ）等であっても良く、外部から受信（入力）した情報について所定の処理を行う演算装置である。情報処理装置２００の設置場所については特に規定せず、本システムを管理する管理者が操作しやすい場所であっても良い。また、情報処理装置２００は、所定の場所に固定されているものであっても良いし、移動通信端末のように移動可能なものであっても良い。 The information processing device 200 may be a general PC (Personal Computer) or the like, and is an arithmetic device that performs predetermined processing on information received (input) from the outside. The installation location of the information processing device 200 is not particularly specified, and the location may be a location that is easy for the administrator who manages the system to operate. Further, the information processing device 200 may be fixed at a predetermined place or may be movable like a mobile communication terminal.

図２は、図１に示した撮像装置１００の内部構成の一例を示す図である。図１に示した撮像装置１００は図２に示すように、撮像部１１０と、送信部１２０とを有する。なお、図２には、図１に示した撮像装置１００が具備する構成要素のうち、本形態に関わる主要な構成要素のみを示した。 FIG. 2 is a diagram showing an example of the internal configuration of the image pickup apparatus 100 shown in FIG. As shown in FIG. 2, the image pickup apparatus 100 shown in FIG. 1 has an image pickup unit 110 and a transmission unit 120. Note that FIG. 2 shows only the main components related to the present embodiment among the components included in the image pickup apparatus 100 shown in FIG.

撮像部１１０は、被写体を撮像するカメラである。撮像部１１０が撮像する画像は、静止画であっても良いし、動画であっても良い。送信部１２０は、撮像部１１０が撮像した画像を情報処理装置２００へ送信する。 The image pickup unit 110 is a camera that captures a subject. The image captured by the imaging unit 110 may be a still image or a moving image. The transmission unit 120 transmits the image captured by the image pickup unit 110 to the information processing device 200.

図３は、図１に示した情報処理装置２００の内部構成の一例を示す図である。図１に示した情報処理装置２００は図３に示すように、抽出部２１０と、特徴量算出部２２０と、状態判定部２３０と、記憶部２４０とを有する。なお、図３には、図１に示した情報処理装置２００が具備する構成要素のうち、本形態に関わる主要な構成要素のみを示した。 FIG. 3 is a diagram showing an example of the internal configuration of the information processing apparatus 200 shown in FIG. As shown in FIG. 3, the information processing apparatus 200 shown in FIG. 1 includes an extraction unit 210, a feature amount calculation unit 220, a state determination unit 230, and a storage unit 240. Note that FIG. 3 shows only the main components related to the present embodiment among the components included in the information processing apparatus 200 shown in FIG.

抽出部２１０は、撮像装置１００から通信ネットワーク３００を介して送信されてきた画像から人物の顔の画像を抽出する。抽出部２１０が人物の顔の画像を抽出する方法は特に規定しない。 The extraction unit 210 extracts an image of a person's face from an image transmitted from the image pickup apparatus 100 via the communication network 300. The method by which the extraction unit 210 extracts an image of a person's face is not particularly specified.

特徴量算出部２２０は、抽出部２１０が抽出した顔の画像から、その顔の特徴を解析して、解析した特徴を示す特徴量を算出する。この特徴量は、顔の特徴を数値化した値であって、例えば、顔の形状や大きさ、目・鼻・口・耳等の顔を構成するものの位置や形状等を数値化した値である。特徴量算出部２２０が顔の特徴量を算出する方法は、顔認証技術で一般的に用いられている方法であっても良く、特に規定しない。 The feature amount calculation unit 220 analyzes the facial features from the facial image extracted by the extraction unit 210, and calculates the feature amount indicating the analyzed features. This feature amount is a numerical value of facial features, for example, a numerical value of the shape and size of the face, the position and shape of things constituting the face such as eyes, nose, mouth, and ears. be. The method for calculating the feature amount of the face by the feature amount calculation unit 220 may be a method generally used in the face recognition technique, and is not particularly specified.

状態判定部２３０は、抽出部２１０が顔の画像を抽出した人物の状態を、撮像装置１００から通信ネットワーク３００を介して送信されてきた画像に基づいて判定する。このとき、状態判定部２３０は、人物の顔の向きを状態として判定する。または、状態判定部２３０は、人物の視線の向きを状態として判定する。また、状態判定部２３０は、抽出部２１０が顔の画像を抽出した人物が商品等を購入した動作を判定する。この商品等を購入した動作の判定には、あらかじめ記憶された商品等を購入するときの人物の画像を学習データとして用いて判定する方法が用いられる。 The state determination unit 230 determines the state of the person from whom the extraction unit 210 has extracted the face image based on the image transmitted from the image pickup apparatus 100 via the communication network 300. At this time, the state determination unit 230 determines the orientation of the person's face as the state. Alternatively, the state determination unit 230 determines the direction of the line of sight of the person as the state. In addition, the state determination unit 230 determines the operation in which the person who extracted the face image from the extraction unit 210 purchased the product or the like. In the determination of the operation of purchasing the product or the like, a method of determining the operation of purchasing the product or the like, which is stored in advance, is used by using the image of the person when the product or the like is purchased as learning data.

記憶部２４０は、特徴量算出部２２０が算出した特徴量と状態判定部２３０が判定した状態を示す状態情報とを対応付けて記憶するデータベースである。 The storage unit 240 is a database that stores the feature amount calculated by the feature amount calculation unit 220 and the state information indicating the state determined by the state determination unit 230 in association with each other.

図４は、図３に示した記憶部２４０が記憶する特徴量と状態情報との対応付けの一例を示す図である。図３に示した記憶部２４０には図４に示すように、特徴量と状態情報とが対応付けられて記憶されている。このような対応付けにより、どのような特徴量の顔を持った人物がどのような行動を行っていたのかを認識することができる。 FIG. 4 is a diagram showing an example of associating the feature amount stored in the storage unit 240 shown in FIG. 3 with the state information. As shown in FIG. 4, the storage unit 240 shown in FIG. 3 stores the feature amount and the state information in association with each other. With such an association, it is possible to recognize what kind of action the person with what kind of feature amount of face was performing.

図５は、図１に示した撮像装置１００の設置状態の一例を示す図である。図１に示した撮像装置１００は図５に示すように広告業者が設置した広告４００の周辺を撮像できる位置に設置されている。このように撮像装置１００を設置することで、撮像装置１００が撮像した画像に含まれる人物の広告４００に対する状態を情報処理装置２００が判定することができる。 FIG. 5 is a diagram showing an example of an installed state of the image pickup apparatus 100 shown in FIG. As shown in FIG. 5, the image pickup apparatus 100 shown in FIG. 1 is installed at a position where the periphery of the advertisement 400 installed by the advertiser can be imaged. By installing the image pickup device 100 in this way, the information processing device 200 can determine the state of the person included in the image captured by the image pickup device 100 with respect to the advertisement 400.

図６は、図５に示す位置に設置された撮像装置１００が撮像した画像の一例を示す図である。図６に示すように、撮像装置１００が撮像した撮像画像５００に２人の人物５１０，５２０が含まれる場合、人物５１０の顔は、撮像装置１００（撮像部１１０）の方を向いている。一方、人物５２０の顔は、撮像装置１００（撮像部１１０）の方を向いていない。このように、撮像装置１００が図６に示した撮像画像５００を撮像した場合、状態判定部２３０は、人物５１０の顔は撮像装置１００（撮像部１１０）の方を向いており、人物５２０の顔は撮像装置１００（撮像部１１０）の方を向いていないと判定する。図６に示した例では、状態判定部２３０は、人物５１０，５２０の顔の向きを状態として判定しているが、そのほかに、目の向きや体の向き、顔の表情、撮像装置１００（撮像部１１０）の方を向いていた時間等を状態として判定するものであっても良い。状態判定部２３０が顔の表情を状態として判定するものである場合は、状態判定部２３０は、あらかじめ設定された喜怒哀楽等を示す様々な顔のパターンを学習データとして用いて判定する。 FIG. 6 is a diagram showing an example of an image captured by the image pickup apparatus 100 installed at the position shown in FIG. As shown in FIG. 6, when the captured image 500 captured by the imaging device 100 includes two persons 510 and 520, the face of the person 510 faces the imaging device 100 (imaging unit 110). On the other hand, the face of the person 520 does not face the imaging device 100 (imaging unit 110). In this way, when the image pickup device 100 captures the captured image 500 shown in FIG. 6, the state determination unit 230 has the face of the person 510 facing the image pickup device 100 (imaging unit 110), and the face of the person 520 is facing the image pickup device 100 (imaging unit 110). It is determined that the face is not facing the image pickup apparatus 100 (imaging unit 110). In the example shown in FIG. 6, the state determination unit 230 determines the orientation of the faces of the persons 510 and 520 as the state, but in addition, the orientation of the eyes, the orientation of the body, the facial expression, and the image pickup device 100 ( The time when the image pickup unit 110) is facing may be determined as a state. When the state determination unit 230 determines the facial expression as a state, the state determination unit 230 determines using various facial patterns indicating emotions and sorrows set in advance as learning data.

以下に、図１に示した情報処理装置２００における情報処理方法について説明する。図７は、図１に示した情報処理装置２００における情報処理方法の一例を説明するためのフローチャートである。 The information processing method in the information processing apparatus 200 shown in FIG. 1 will be described below. FIG. 7 is a flowchart for explaining an example of the information processing method in the information processing apparatus 200 shown in FIG.

撮像装置１００が撮像を行い、撮像された画像が撮像装置１００から送信されてくると、抽出部２１０は撮像装置１００から送信されてきた画像を取得する（ステップＳ１）。続いて、抽出部２１０は、取得した画像から人物の顔の画像を抽出する（ステップＳ２）。すると、特徴量算出部２２０は、抽出部２１０が抽出した顔の画像からその顔の特徴を解析して、解析した特徴を示す特徴量を算出する（ステップＳ３）。また、状態判定部２３０は、顔の画像を抽出した人物の状態を、撮像装置１００から送信されてきた画像に基づいて判定する（ステップＳ４）。ここで、ステップＳ２，Ｓ３の処理と、ステップＳ４の処理とは、どちらを先に行っても良く、その順序は特に規定しない。続いて、記憶部２４０は、特徴量算出部２２０が算出した特徴量と、状態判定部２３０が判定した状態を示す状態情報とを対応付けて記憶する（ステップＳ５）。 When the image pickup device 100 takes an image and the captured image is transmitted from the image pickup device 100, the extraction unit 210 acquires the image transmitted from the image pickup device 100 (step S1). Subsequently, the extraction unit 210 extracts an image of a person's face from the acquired image (step S2). Then, the feature amount calculation unit 220 analyzes the facial features from the facial image extracted by the extraction unit 210, and calculates the feature amount indicating the analyzed features (step S3). Further, the state determination unit 230 determines the state of the person from whom the face image is extracted based on the image transmitted from the image pickup apparatus 100 (step S4). Here, either the process of steps S2 and S3 and the process of step S4 may be performed first, and the order thereof is not particularly specified. Subsequently, the storage unit 240 stores the feature amount calculated by the feature amount calculation unit 220 and the state information indicating the state determined by the state determination unit 230 in association with each other (step S5).

なお、撮像装置１００を１つの広告の周辺に複数設置し、複数の方向から広告の周辺を撮像するものであっても良い。こうすることで、撮像装置１００の撮像範囲に存在する人物の顔の特徴量算出とその人物の状態の判定とをより正確に行うことができる。また、このシステム専用に撮像装置１００を設置するのではなく、すでに街中（屋外や屋内）に設置されている防犯カメラや監視カメラ等が撮像した画像を情報処理装置２００が取得して上述した処理を行うものであっても良い。 It should be noted that a plurality of image pickup devices 100 may be installed around one advertisement to image the periphery of the advertisement from a plurality of directions. By doing so, it is possible to more accurately calculate the feature amount of the face of the person existing in the imaging range of the image pickup apparatus 100 and determine the state of the person. Further, instead of installing the image pickup device 100 exclusively for this system, the information processing device 200 acquires an image captured by a security camera, a surveillance camera, or the like already installed in the city (outdoor or indoor) and performs the above-mentioned processing. It may be the one that does.

このように、本形態においては、撮像した人物の顔の特徴量を算出し、撮像した人物の状態を判定し、それぞれを対応付けて記憶する。そのため、人物の動向を認識することができる。
（第２の実施の形態）
図８は、本発明の情報処理システムの第２の実施の形態を示す図である。本形態における情報処理システムは図８に示すように、複数の撮像装置１０１−１〜１０１−ｎ（ｎは自然数）と、情報処理装置２０１とを有する。撮像装置１０１−１〜１０１−ｎと情報処理装置２０１とは、通信ネットワーク３００を介して接続されている。通信ネットワーク３００は、一般的な通信ネットワークである。なお、撮像装置１０１−１〜１０１−ｎと情報処理装置２０１とは、直接接続されているものであっても良い。また、この接続は、無線を用いるものであっても良いし、有線を用いるものであっても良い。 As described above, in the present embodiment, the feature amount of the face of the imaged person is calculated, the state of the imaged person is determined, and the respective states are stored in association with each other. Therefore, the movement of the person can be recognized.
(Second Embodiment)
FIG. 8 is a diagram showing a second embodiment of the information processing system of the present invention. As shown in FIG. 8, the information processing system in this embodiment includes a plurality of image pickup devices 101-1 to 101-n (n is a natural number) and an information processing device 201. The image pickup apparatus 101-1 to 101-n and the information processing apparatus 201 are connected to each other via the communication network 300. The communication network 300 is a general communication network. The image pickup apparatus 101-1 to 101-n and the information processing apparatus 201 may be directly connected to each other. Further, this connection may be wireless or wired.

撮像装置１０１−１〜１０１−ｎは、街中の所望の場所に設置されている。特に、撮像装置１０１−１〜１０１−ｎは、広告業者が設置した広告の周辺を撮像できる位置に設置されている。また、撮像装置１０１−１〜１０１−ｎは、広告業者が設置した広告に掲載された商品等を販売している店舗の周辺や店舗内の様子を撮像できる位置に設置されている。 The imaging device 101-1-101-n is installed at a desired location in the city. In particular, the imaging device 101-1-101-n is installed at a position where the periphery of the advertisement installed by the advertising company can be imaged. Further, the image pickup device 101-1-101-n is installed at a position where an image can be taken of the surroundings of the store or the inside of the store that sells the products and the like posted in the advertisement set by the advertisement company.

情報処理装置２０１は、一般的なＰＣ等であっても良く、外部から受信（入力）した情報について所定の処理を行う演算装置である。情報処理装置２０１の設置場所については特に規定せず、本システムを管理する管理者が操作しやすい場所であっても良い。また、情報処理装置２０１は、所定の場所に固定されているものであっても良いし、移動通信端末のように移動可能なものであっても良い。 The information processing device 201 may be a general PC or the like, and is an arithmetic device that performs predetermined processing on information received (input) from the outside. The installation location of the information processing device 201 is not particularly specified, and the location may be a location that is easy for the administrator who manages the system to operate. Further, the information processing device 201 may be fixed at a predetermined place or may be movable like a mobile communication terminal.

図９は、図８に示した撮像装置１０１−１の内部構成の一例を示す図である。図８に示した撮像装置１０１−１は図９に示すように、撮像部１１０と、送信部１２１と、位置情報取得部１３１とを有する。なお、図９には、図８に示した撮像装置１０１−１が具備する構成要素のうち、本形態に関わる主要な構成要素のみを示した。図８に示した撮像装置１０１−２〜１０１−ｎの内部構成は、図９に示す撮像装置１０１−１の内部構成と同様のものである。撮像部１１０は、第１の実施の形態におけるものと同じものである。 FIG. 9 is a diagram showing an example of the internal configuration of the image pickup apparatus 101-1 shown in FIG. As shown in FIG. 9, the image pickup apparatus 101-1 shown in FIG. 8 includes an image pickup unit 110, a transmission unit 121, and a position information acquisition unit 131. Note that FIG. 9 shows only the main components related to the present embodiment among the components included in the image pickup apparatus 101-1 shown in FIG. The internal configuration of the imaging device 101-2-101-n shown in FIG. 8 is the same as the internal configuration of the imaging device 101-1 shown in FIG. The imaging unit 110 is the same as that in the first embodiment.

位置情報取得部１３１は、撮像装置１０１−１が設置されている位置を示す位置情報を取得する。位置情報の取得方法は、ＧＰＳ（ＧｌｏｂａｌＰｏｓｉｔｉｏｎｉｎｇＳｙｓｔｅｍ）機能を用いて取得する方法であっても良いし、設置されたときに外部から設定されて装置内部のメモリに記憶しておく方法であっても良い。 The position information acquisition unit 131 acquires position information indicating the position where the image pickup apparatus 101-1 is installed. The position information may be acquired by using the GPS (Global Positioning System) function, or may be set from the outside when installed and stored in the memory inside the device. Is also good.

送信部１２１は、撮像部１１０が撮像した画像に、位置情報取得部１３１が取得した位置情報を付加して、情報処理装置２０１へ送信する。画像への位置情報の付加方法は特に規定しない。例えば、送信部１２１は、送信部１２１が情報処理装置２０１へ画像を送信するための送信フレームのヘッダ部分やペイロードの未使用部分に位置情報を含めて、送信するものであっても良い。なお、情報処理装置２０１が、撮像装置１０１−１〜１０１−ｎの設置位置をあらかじめ記憶している場合は、送信部１２１は、撮像部１１０が撮像した画像に撮像装置１０１−１〜１０１−ｎそれぞれ固有に付与された撮像装置識別情報を付加して、情報処理装置２０１へ送信する。ここで、画像への撮像装置識別情報の付加方法は特に限定しない。 The transmission unit 121 adds the position information acquired by the position information acquisition unit 131 to the image captured by the image pickup unit 110, and transmits the image to the information processing device 201. The method of adding the position information to the image is not particularly specified. For example, the transmission unit 121 may transmit the position information including the position information in the header portion of the transmission frame or the unused portion of the payload for the transmission unit 121 to transmit the image to the information processing device 201. When the information processing device 201 stores the installation position of the image pickup device 101-1-101-n in advance, the transmission unit 121 displays the image captured by the image pickup unit 110 with the image pickup device 101-1-101-. n The imaging device identification information uniquely assigned to each n is added and transmitted to the information processing device 201. Here, the method of adding the image pickup device identification information to the image is not particularly limited.

図１０は、図８に示した情報処理装置２０１の内部構成の一例を示す図である。図８に示した情報処理装置２０１は図１０に示すように、抽出部２１１と、特徴量算出部２２０と、状態判定部２３０と、記憶部２４１と、行動ログ算出部２５１と、評価部２６１と、比較部２７１と、人物特定部２８１とを有する。なお、図１０には、図８に示した情報処理装置２０１が具備する構成要素のうち、本形態に関わる主要な構成要素のみを示した。特徴量算出部２２０および状態判定部２３０それぞれは、第１の実施の形態におけるものと同じものである。 FIG. 10 is a diagram showing an example of the internal configuration of the information processing apparatus 201 shown in FIG. As shown in FIG. 10, the information processing device 201 shown in FIG. 8 includes an extraction unit 211, a feature amount calculation unit 220, a state determination unit 230, a storage unit 241 and an action log calculation unit 251 and an evaluation unit 261. And a comparison unit 271 and a person identification unit 281. Note that FIG. 10 shows only the main components related to the present embodiment among the components included in the information processing device 201 shown in FIG. Each of the feature amount calculation unit 220 and the state determination unit 230 is the same as that in the first embodiment.

抽出部２１１は、第１の実施の形態における抽出部２１０が具備する機能に加えて、撮像装置１０１−１〜１０１−ｎから画像とともに送信されてくる位置情報を抽出する。例えば、画像と位置情報とが所定の送信フレームに含まれて送信されてくる場合、抽出部２１１はその送信フレームの中から位置情報を抽出する。また、撮像装置１０１−１〜１０１−ｎから画像とともに撮像装置識別情報が送信されてきた場合、抽出部２１１は、撮像装置識別情報を抽出（取得）する。 In addition to the functions provided by the extraction unit 210 in the first embodiment, the extraction unit 211 extracts the position information transmitted from the image pickup apparatus 101-1 to 101-n together with the image. For example, when the image and the position information are included in a predetermined transmission frame and transmitted, the extraction unit 211 extracts the position information from the transmission frame. Further, when the image pickup device identification information is transmitted from the image pickup device 101-1 to 101-n together with the image, the extraction unit 211 extracts (acquires) the image pickup device identification information.

記憶部２４１は、特徴量算出部２２０が算出した特徴量と状態判定部２３０が判定した状態を示す状態情報と抽出部２１１が抽出した位置情報とを対応付けて記憶するデータベースである。図１１は、図１０に示した記憶部２４１が記憶する特徴量と状態情報と位置情報との対応付けの一例を示す図である。図１０に示した記憶部２４１には図１１に示すように、特徴量と状態情報と位置情報とが対応付けられて記憶されている。このような対応付けにより、どのような特徴量の顔を持った人物がどのような行動を行っていたのか、さらにその行動を行っていた位置を認識することができる。 The storage unit 241 is a database that stores the feature amount calculated by the feature amount calculation unit 220, the state information indicating the state determined by the state determination unit 230, and the position information extracted by the extraction unit 211 in association with each other. FIG. 11 is a diagram showing an example of the correspondence between the feature amount stored in the storage unit 241 shown in FIG. 10, the state information, and the position information. As shown in FIG. 11, the storage unit 241 shown in FIG. 10 stores the feature amount, the state information, and the position information in association with each other. By such an association, it is possible to recognize what kind of action the person with what kind of feature amount of face was performing, and further, the position where the action was performed.

また、記憶部２４１は、撮像装置識別情報と、その撮像装置識別情報があらかじめ付与されている撮像装置が設置されている位置を示す位置情報とをあらかじめ対応付けて記憶するものであっても良い。図１２は、図１０に示した記憶部２４１が記憶する撮像装置識別情報と位置情報との対応付けの一例を示す図である。図１０に示した記憶部２４１には図１２に示すように、撮像装置識別情報と位置情報とがあらかじめ対応付けられて記憶されている。このような対応付けを用いることで、撮像装置１０１−１〜１０１−ｎから画像とともに撮像装置識別情報が送信されてくれば、その画像を送信してきた撮像装置１０１−１〜１０１−ｎの設置位置を判定することができる。 Further, the storage unit 241 may store the image pickup device identification information in advance in association with the position information indicating the position where the image pickup device to which the image pickup device identification information is attached is installed. .. FIG. 12 is a diagram showing an example of associating the image pickup device identification information stored in the storage unit 241 shown in FIG. 10 with the position information. As shown in FIG. 12, the storage unit 241 shown in FIG. 10 stores the image pickup device identification information and the position information in advance in association with each other. By using such an association, if the image pickup device identification information is transmitted from the image pickup device 101-1 to 101-n together with the image, the image pickup device 101-1 to 101-n that has transmitted the image is installed. The position can be determined.

比較部２７１は、撮像装置１０１−１〜１０１−ｎから送信されてきた画像からそれぞれ抽出された顔の画像から解析された特徴量を互いに比較する。ここで、撮像装置１０１−１〜１０１−ｎから送信されてきた画像から抽出部２１０がそれぞれ抽出した顔の画像から特徴量算出部２２０が解析した特徴量は、第１の実施の形態における処理と同様の処理を用いて、状態判定した状態を示す状態情報と対応付けられて記憶部２４０に記憶されている。そのため、比較部２７１は、記憶部２４１に記憶されている複数の特徴量を互いに比較する。 The comparison unit 271 compares the features analyzed from the facial images extracted from the images transmitted from the image pickup apparatus 101-1 to 101-n with each other. Here, the feature amount analyzed by the feature amount calculation unit 220 from the face image extracted by the extraction unit 210 from the image transmitted from the image pickup apparatus 101-1 to 101-n is the processing in the first embodiment. Using the same processing as in, it is stored in the storage unit 240 in association with the state information indicating the state in which the state has been determined. Therefore, the comparison unit 271 compares a plurality of feature quantities stored in the storage unit 241 with each other.

人物特定部２８１は、比較部２７１における比較の結果、特徴量が互いに一致した人物を同一人物であると特定する。人物特定部２８１は、特定した人物の特徴量と状態情報と位置情報との対応付けに、所定の識別情報を付与しても良い。例えば、互いに一致した特徴量に「Ａ００１」という識別情報を付与し、「Ａ００１」の識別情報が付与された特徴量と対応付けられた状態情報および位置情報は、「Ａ００１」の識別情報が付与された特徴量が算出された人物の状態を示す状態情報およびその状態を行った位置を示す位置情報であることを示すものであっても良い。この識別情報は、記憶部２４１に記憶されている特徴量と状態情報と位置情報との対応付けにさらに対応付けられて記憶されても良い。 As a result of the comparison in the comparison unit 271, the person identification unit 281 identifies the persons whose feature amounts match each other as the same person. The person identification unit 281 may add predetermined identification information to the correspondence between the feature amount of the specified person, the state information, and the position information. For example, the identification information of "A001" is given to the feature amounts that match each other, and the identification information of "A001" is given to the state information and the position information associated with the feature amount to which the identification information of "A001" is given. It may indicate that the calculated feature amount is the state information indicating the calculated state of the person and the position information indicating the position where the state is performed. This identification information may be further associated with the correspondence between the feature amount, the state information, and the position information stored in the storage unit 241 and stored.

行動ログ算出部２５１は、画像を送信してきた、つまり、その画像に含まれる人物を撮像した撮像装置１０１−１〜１０１−ｎが設置されている位置を示す位置情報と、人物の顔の特徴量とに基づいて、その特徴量の人物の行動ログを算出する。具体的には、行動ログ算出部２５１は、人物特定部２８１が特定した人物の位置情報に基づいて、その人物の行動ログを算出する。行動ログ算出部２５１は、記憶部２４１に記憶されている特徴量が互いに同じであって、人物特定部２８１が同一人物であると特定した特徴量と対応付けられた位置情報を追跡することで、その特定された人物の移動経路を算出する。このように、行動ログ算出部２５１は、人物特定部２８１が特定した人物が、どのような経路を移動したかを行動ログとして算出する。 The action log calculation unit 251 has transmitted the image, that is, the position information indicating the position where the image pickup device 101-1-101-n that imaged the person included in the image is installed, and the features of the person's face. Based on the amount, the action log of the person with the feature amount is calculated. Specifically, the action log calculation unit 251 calculates the action log of the person based on the position information of the person specified by the person identification unit 281. The action log calculation unit 251 tracks the position information associated with the feature amount stored in the storage unit 241 and the feature amount stored in the storage unit 241 is the same as each other and the person identification unit 281 identifies that the person is the same person. , Calculate the movement route of the identified person. In this way, the action log calculation unit 251 calculates what kind of route the person specified by the person identification unit 281 has moved as an action log.

評価部２６１は、行動ログ算出部２５１が算出した行動ログと人物の状態情報とに基づいて、評価を行う。つまり、評価部２６１は、行動ログに示された経路における人物の状態から、その人物がどこにいたときにどのような行動をしたかに基づいて、評価を行う。例えば、特定された人物が、ある広告が設置された位置からその広告に掲載された商品が販売されている店舗へ移動した行動ログが算出され、その広告が設置された場所では広告を見るという行動を行った状態が判定され、その店舗にいるときは広告に掲載された商品を購入したという行動を行った状態が判定された場合、評価部２６１はその広告の広告効果が高いという評価を行う。評価部２６１は、評価の結果を示す情報を出力する。評価部２６１は、評価の結果示す情報を表示するものであっても良いし、印刷するものであっても良いし、他の装置へ送信するものであっても良い。また、評価の結果を示す情報は、その結果に応じた数値であっても良いし、その結果に応じた文章で表現されるものであっても良い。 The evaluation unit 261 evaluates based on the action log calculated by the action log calculation unit 251 and the state information of the person. That is, the evaluation unit 261 evaluates based on the state of the person in the route shown in the action log and what kind of action the person took when he / she was. For example, an action log is calculated in which a specified person moves from the position where an advertisement is installed to the store where the product posted in the advertisement is sold, and the advertisement is viewed at the place where the advertisement is installed. When the state of taking action is determined and the state of taking action of purchasing the product posted in the advertisement when in the store is determined, the evaluation unit 261 evaluates that the advertising effect of the advertisement is high. conduct. The evaluation unit 261 outputs information indicating the evaluation result. The evaluation unit 261 may display the information indicating the evaluation result, print it, or transmit it to another device. Further, the information indicating the evaluation result may be a numerical value corresponding to the result or may be expressed by a sentence corresponding to the result.

以下に、図８に示した情報処理装置２０１における情報処理方法について説明する。図１３は、図８に示した情報処理装置２０１における情報処理方法の一例を説明するためのフローチャートである。 The information processing method in the information processing apparatus 201 shown in FIG. 8 will be described below. FIG. 13 is a flowchart for explaining an example of the information processing method in the information processing apparatus 201 shown in FIG.

撮像装置１０１−１〜１０１−ｎが撮像を行い、撮像された画像が撮像装置１０１−１〜１０１−ｎから送信されてくると、抽出部２１１は撮像装置１０１−１〜１０１−ｎから送信されてきた画像を取得する（ステップＳ１１）。続いて、抽出部２１１は、取得した画像から人物の顔の画像を抽出する（ステップＳ１２）。すると、特徴量算出部２２０は、抽出部２１１が抽出した顔の画像からその顔の特徴を解析して、解析した特徴を示す特徴量を算出する（ステップＳ１３）。また、状態判定部２３０は、顔の画像を抽出した人物の状態を、撮像装置１０１−１〜１０１−ｎから送信されてきた画像に基づいて判定する（ステップＳ１４）。また、抽出部２１１は、撮像装置１０１−１〜１０１−ｎから画像とともに送信されてきた位置情報を抽出する（ステップＳ１５）。ここで、ステップＳ１２，Ｓ１３の処理と、ステップＳ１４の処理と、ステップＳ１５の処理とは、いずれを先に行っても良く、その順序は特に規定しない。続いて、記憶部２４１は、特徴量算出部２２０が算出した特徴量と、状態判定部２３０が判定した状態を示す状態情報と、抽出部２１１が抽出した位置情報とを対応付けて記憶する（ステップＳ１６）。 When the image pickup device 101-1-101-n takes an image and the captured image is transmitted from the image pickup device 101-1-101-n, the extraction unit 211 transmits the image from the image pickup device 101-1-101-n. The image that has been created is acquired (step S11). Subsequently, the extraction unit 211 extracts an image of a person's face from the acquired image (step S12). Then, the feature amount calculation unit 220 analyzes the facial features from the facial image extracted by the extraction unit 211, and calculates the feature amount indicating the analyzed features (step S13). Further, the state determination unit 230 determines the state of the person from whom the face image is extracted based on the image transmitted from the image pickup apparatus 101-1-101-n (step S14). Further, the extraction unit 211 extracts the position information transmitted together with the image from the image pickup apparatus 101-1 to 101-n (step S15). Here, the processing of steps S12 and S13, the processing of step S14, and the processing of step S15 may be performed first, and the order thereof is not particularly specified. Subsequently, the storage unit 241 stores the feature amount calculated by the feature amount calculation unit 220, the state information indicating the state determined by the state determination unit 230, and the position information extracted by the extraction unit 211 in association with each other ( Step S16).

その後、比較部２７１は、記憶部２４１に記憶されている複数の特徴量を互いに比較し、特徴量が互いに一致するものがあるかどうかを判定する（ステップＳ１７）。記憶部２４１に記憶されている複数の特徴量に互いに一致するものがある場合、人物特定部２８１は、特徴量が互いに一致した人物を同一人物であると特定する（ステップＳ１８）。すると、行動ログ算出部２５１は、人物特定部２８１が特定した人物の位置情報に基づいて、その人物の行動ログを算出する（ステップＳ１９）。続いて、評価部２６１は、行動ログ算出部２５１が算出した行動ログと人物の状態情報とに基づいて、評価を行い、その評価結果を出力する（ステップＳ２０）。 After that, the comparison unit 271 compares a plurality of feature amounts stored in the storage unit 241 with each other, and determines whether or not there is one whose feature amounts match each other (step S17). When there are a plurality of feature quantities stored in the storage unit 241 that match each other, the person identification unit 281 identifies the persons whose feature quantities match each other as the same person (step S18). Then, the action log calculation unit 251 calculates the action log of the person based on the position information of the person specified by the person identification unit 281 (step S19). Subsequently, the evaluation unit 261 performs an evaluation based on the action log calculated by the action log calculation unit 251 and the state information of the person, and outputs the evaluation result (step S20).

なお、このシステム専用に撮像装置１０１−１〜１０１−ｎを設置するのではなく、すでに街中（屋外や屋内）に設置されている防犯カメラや監視カメラ等が撮像した画像を情報処理装置２０１が取得して上述した処理を行うものであっても良い。 It should be noted that the information processing device 201 does not install the image pickup device 101-1-101-n exclusively for this system, but instead uses the information processing device 201 for images captured by security cameras, surveillance cameras, etc. that are already installed in the city (outdoors or indoors). It may be acquired and the above-mentioned processing is performed.

このように、複数の撮像装置それぞれが撮像した顔の特徴量が互いに一致するものを同一人物であると特定し、撮像した複数の撮像装置の位置情報に基づいて、特定した人物の行動ログを算出する。算出した行動ログとその人物の状態とに基づいて、評価を行い、その評価結果を出力する。そのため、広告を見た利用者の広告効果を容易に評価することができる。
（第３の実施の形態）
図１４は、本発明の情報処理システムの第３の実施の形態を示す図である。本形態における情報処理システムは図１４に示すように、複数の撮像装置１０１−１〜１０１−ｎ（ｎは自然数）と、情報処理装置２０２と、位置情報システム６０２とを有する。撮像装置１０１−１〜１０１−ｎと情報処理装置２０２と位置情報システム６０２とは、通信ネットワーク３００を介して接続されている。通信ネットワーク３００は、一般的な通信ネットワークである。なお、撮像装置１０１−１〜１０１−ｎと情報処理装置２０１とは、直接接続されているものであっても良い。また、この接続は、無線を用いるものであっても良いし、有線を用いるものであっても良い。撮像装置１０１−１〜１０１−ｎは、第２の実施の形態におけるものと同じである。 In this way, those whose facial features that are captured by each of the plurality of imaging devices match each other are identified as the same person, and the action log of the identified person is recorded based on the position information of the plurality of imaging devices that have been imaged. calculate. Evaluation is performed based on the calculated action log and the state of the person, and the evaluation result is output. Therefore, the advertising effectiveness of the user who sees the advertisement can be easily evaluated.
(Third Embodiment)
FIG. 14 is a diagram showing a third embodiment of the information processing system of the present invention. As shown in FIG. 14, the information processing system in this embodiment includes a plurality of image pickup devices 101-1 to 101-n (n is a natural number), an information processing device 202, and a position information system 602. The image pickup device 101-1 to 101-n, the information processing device 202, and the position information system 602 are connected to each other via the communication network 300. The communication network 300 is a general communication network. The image pickup apparatus 101-1 to 101-n and the information processing apparatus 201 may be directly connected to each other. Further, this connection may be wireless or wired. The imaging device 101-1-101-n is the same as that in the second embodiment.

位置情報システム６０２は、人物を識別するための人物識別情報とその人物の存在位置を示す存在位置情報とを対応付けて管理するシステムである。位置情報システム６０２は、利用者が所持する移動通信端末に具備された位置検出機能を用いて、移動通信端末の位置を示す位置情報を取得し、取得した位置情報を存在位置情報として、その移動通信端末に登録された利用者識別情報（人物識別情報）と対応付けて記憶する。例えば、位置情報システム６０２は、ＧＰＳ（ＧｌｏｂａｌＰｏｓｉｔｉｏｎｉｎｇＳｙｓｔｅｍ）であっても良い。また、位置情報システム６０２は、設置されている位置が識別可能な機器にて読み取られた利用者識別情報（人物識別情報）を、その機器が設置された位置を示す位置情報を存在位置情報として対応付けて記憶する。例えば、位置情報システム６０２は、利用者が移動通信端末等を用いて決済を行うＰＯＳ（ＰｏｉｎｔＯｆｓａｌｅＳｙｓｔｅｍ）であっても良い。 The position information system 602 is a system that manages the person identification information for identifying a person and the existence position information indicating the existence position of the person in association with each other. The position information system 602 acquires the position information indicating the position of the mobile communication terminal by using the position detection function provided in the mobile communication terminal possessed by the user, and uses the acquired position information as the existing position information to move the position information. It is stored in association with the user identification information (person identification information) registered in the communication terminal. For example, the position information system 602 may be a GPS (Global Positioning System). Further, the position information system 602 uses the user identification information (person identification information) read by the device capable of identifying the installed position as the existing position information, and the position information indicating the position where the device is installed. Store in association with each other. For example, the location information system 602 may be a POS (Point Of sale System) in which a user makes a payment using a mobile communication terminal or the like.

情報処理装置２０２は、一般的なＰＣ等であっても良く、外部から受信（入力）した情報について所定の処理を行う演算装置である。情報処理装置２０２の設置場所については特に規定せず、本システムを管理する管理者が操作しやすい場所であっても良い。また、情報処理装置２０２は、所定の場所に固定されているものであっても良いし、移動通信端末のように移動可能なものであっても良い。 The information processing device 202 may be a general PC or the like, and is an arithmetic device that performs predetermined processing on information received (input) from the outside. The installation location of the information processing device 202 is not particularly specified, and may be a location that is easy for the administrator who manages this system to operate. Further, the information processing device 202 may be fixed at a predetermined place or may be movable like a mobile communication terminal.

図１５は、図１４に示した情報処理装置２０２の内部構成の一例を示す図である。図１４に示した情報処理装置２０２は図１５に示すように、抽出部２１１と、特徴量算出部２２０と、状態判定部２３０と、記憶部２４１と、行動ログ算出部２５２と、評価部２６２と、比較部２７１と、人物特定部２８１とを有する。なお、図１５には、図１４に示した情報処理装置２０２が具備する構成要素のうち、本形態に関わる主要な構成要素のみを示した。特徴量算出部２２０および状態判定部２３０それぞれは、第１の実施の形態におけるものと同じものである。抽出部２１１、記憶部２４１、比較部２７１および人物特定部２８１それぞれは、第２の実施の形態におけるものと同じものである。 FIG. 15 is a diagram showing an example of the internal configuration of the information processing apparatus 202 shown in FIG. As shown in FIG. 15, the information processing apparatus 202 shown in FIG. 14 includes an extraction unit 211, a feature amount calculation unit 220, a state determination unit 230, a storage unit 241 and an action log calculation unit 252, and an evaluation unit 262. And a comparison unit 271 and a person identification unit 281. Note that FIG. 15 shows only the main components related to the present embodiment among the components included in the information processing device 202 shown in FIG. Each of the feature amount calculation unit 220 and the state determination unit 230 is the same as that in the first embodiment. The extraction unit 211, the storage unit 241 and the comparison unit 271 and the person identification unit 281 are the same as those in the second embodiment.

行動ログ算出部２５２は、第２の実施の形態における行動ログ算出部２５１が具備する機能に加えて、位置情報システム６０２から存在位置情報を取得し、画像を送信してきた、つまり、その画像に含まれる人物を撮像した撮像装置１０１−１〜１０１−ｎが設置されている位置を示す位置情報と存在位置情報とを比較する。行動ログ算出部２５２は、位置情報と一致する存在位置情報がある場合、その存在位置情報と、その存在位置情報と対応付けられた人物識別情報とを位置情報システム６０２から取得する。行動ログ算出部２５２は、取得した存在位置情報と人物識別情報とに基づいて、その人物の行動ログを算出する。具体的には、行動ログ算出部２５２は、人物特定部２８１が特定した人物の位置情報に基づいて、その人物の行動ログを算出する。行動ログ算出部２５２は、記憶部２４１に記憶されている特徴量が互いに同じであって、人物特定部２８１が同一人物であると特定した特徴量と対応付けられた位置情報を追跡することで、その特定された人物の移動経路を算出する。さらに、行動ログ算出部２５２は、算出した移動経路と一致する移動経路が算出される存在位置情報と対応付けられている位置情報システム６０２から人物識別情報を取得する。行動ログ算出部２５２は、取得した人物識別情報と対応付けられているさらなる存在位置情報を位置情報システム６０２から取得し、取得した存在位置情報に基づいて、その人物の移動経路をログ情報として算出する。つまり、行動ログ算出部２５２は、位置情報システム６０２を用いることで、撮像装置１０１−１〜１０１−ｎが撮像していない範囲についても、特定した人物の行動ログを算出する。例えば、行動ログ算出部２５２が撮像装置１０１−１〜１０１−ｎが撮像した画像からは、特定した人物の移動をＡ地点からＢ地点への移動しか算出できなくても、Ａ地点からＢ地点への移動が位置情報システム６０２から取得できた人物をこの人物であると特定することで、位置情報システム６０２からＢ地点からＣ地点への移動が取得できた場合は、この特定した人物の行動ログとして、Ａ地点からＢ地点への移動に加えてＣ地点への移動についても算出することができる。 The action log calculation unit 252 has acquired the existence position information from the position information system 602 and transmitted an image to the image, in addition to the function provided by the action log calculation unit 251 in the second embodiment. The position information indicating the position where the image pickup device 101-1-101-n that imaged the included person is installed is compared with the existence position information. When there is existence position information that matches the position information, the action log calculation unit 252 acquires the existence position information and the person identification information associated with the existence position information from the position information system 602. The action log calculation unit 252 calculates the action log of the person based on the acquired existence position information and the person identification information. Specifically, the action log calculation unit 252 calculates the action log of the person based on the position information of the person specified by the person identification unit 281. The action log calculation unit 252 tracks the position information associated with the feature amount stored in the storage unit 241 and the feature amount stored in the storage unit 241 is the same as each other and the person identification unit 281 identifies that the person is the same person. , Calculate the movement route of the identified person. Further, the action log calculation unit 252 acquires the person identification information from the position information system 602 in which the movement route matching the calculated movement route is calculated and associated with the existence position information. The action log calculation unit 252 acquires further existence position information associated with the acquired person identification information from the position information system 602, and calculates the movement route of the person as log information based on the acquired existence position information. do. That is, the action log calculation unit 252 uses the position information system 602 to calculate the action log of the specified person even in the range not captured by the image pickup device 101-1 to 101-n. For example, even if the action log calculation unit 252 can only calculate the movement of the specified person from the point A to the point B from the image captured by the image pickup device 101-1-101-n, the movement from the point A to the point B can be calculated. By identifying the person whose movement to the position information system 602 can be obtained from the position information system 602, and when the movement from the position information system 602 to the point B to the point C can be obtained, the action of this specified person As a log, it is possible to calculate the movement to the C point in addition to the movement from the A point to the B point.

評価部２６２は、第２の実施の形態における評価部２６１が具備する機能に加えて、優遇処理を行う機能を具備する。優遇処理は、行動ログ算出部２５２が算出した行動ログと人物の状態情報とに基づいて、その人物に優遇を与える処理である。実際には、評価部２６２は人物そのものに優遇を与えるのではなく、例えば、その人物が保有するポイントに所定の数のポイントを加算したり、その人物の次回の買い物時に所定の金額を割引き（値引き）する処理を行ったり、その人物に対して他のサービスを提供するための仕組みを構築したりする。評価部２６２は、行動ログ算出部２５２が算出した行動ログと人物の状態情報とに基づいて、例えば、撮像した画像から特定された人物が、ある広告が設置された位置からその広告に掲載された商品が販売されている店舗へ移動した行動ログが算出され、その広告が設置された場所では広告を見るという行動を行ったことが判定され、その店舗にいるときは広告に掲載された商品を購入したという行動を行ったことが判定された場合、その人物に対してその商品またはその商品を販売している店舗における優遇処理を行う。また、例えば、評価部２６２は、特定された人物が見たと判定された広告に掲載されている商品を、その人物が複数購入したという状態が判定された場合、商品を１つ購入するときよりも高い優遇処理や評価を行うものであっても良い。また、評価部２６２は、特定された人物が見たと判定された広告に掲載されている商品を、その人物が店舗で手に取って購入を検討しただけという状態が判定された場合、商品を１つ購入する場合よりも低い優遇処理や評価を行うものであっても良い。また、評価部２６２は、特定された人物が広告の周辺にいながらも広告を見ないという状態が判定された場合、この広告に対する評価は最も低い値とするものであっても良い。また、評価部２６２は、広告を見たと判定された人物の数や、広告を見たと判定された人物がその広告に掲載されている商品を購入した割合に基づいて、評価を行うものであっても良い。 The evaluation unit 262 has a function of performing preferential treatment in addition to the function of the evaluation unit 261 in the second embodiment. The preferential treatment is a process of giving preferential treatment to the person based on the action log calculated by the action log calculation unit 252 and the state information of the person. In reality, the evaluation unit 262 does not give preferential treatment to the person itself, for example, adds a predetermined number of points to the points held by the person, or discounts a predetermined amount at the next shopping of the person ( (Discount) processing or building a mechanism to provide other services to the person. Based on the action log calculated by the action log calculation unit 252 and the state information of the person, the evaluation unit 262, for example, a person identified from the captured image is posted on the advertisement from the position where the advertisement is installed. The action log of moving to the store where the product is sold is calculated, it is determined that the action of viewing the advertisement was performed at the place where the advertisement was installed, and when the product is in that store, the product posted in the advertisement If it is determined that the person has purchased the item, the person is given preferential treatment at the item or the store that sells the item. Further, for example, when it is determined that the person has purchased a plurality of products posted in the advertisement determined to have been seen by the specified person, the evaluation unit 262 may purchase one product. May be given a high preferential treatment or evaluation. In addition, the evaluation unit 262 determines that the person has just picked up the product in the advertisement determined to have been seen by the specified person at the store and considered purchasing the product. It may be given a lower preferential treatment or evaluation than the case of purchasing one. Further, when the evaluation unit 262 determines that the specified person is in the vicinity of the advertisement but does not see the advertisement, the evaluation unit 262 may set the evaluation for this advertisement to the lowest value. In addition, the evaluation unit 262 evaluates based on the number of people who are determined to have seen the advertisement and the ratio of the persons who are determined to have seen the advertisement to purchase the products posted in the advertisement. You may.

以下に、図１４に示した情報処理装置２０２における情報処理方法について説明する。図１６は、図１４に示した情報処理装置２０２における情報処理方法の一例を説明するためのフローチャートである。 The information processing method in the information processing apparatus 202 shown in FIG. 14 will be described below. FIG. 16 is a flowchart for explaining an example of the information processing method in the information processing apparatus 202 shown in FIG.

撮像装置１０１−１〜１０１−ｎが撮像を行い、撮像された画像が撮像装置１０１−１〜１０１−ｎから送信されてくると、抽出部２１１は撮像装置１０１−１〜１０１−ｎから送信されてきた画像を取得する（ステップＳ３１）。続いて、抽出部２１１は、取得した画像から人物の顔の画像を抽出する（ステップＳ３２）。すると、特徴量算出部２２０は、抽出部２１１が抽出した顔の画像からその顔の特徴を解析して、解析した特徴を示す特徴量を算出する（ステップＳ３３）。また、状態判定部２３０は、顔の画像を抽出した人物の状態を、撮像装置１０１−１〜１０１−ｎから送信されてきた画像に基づいて判定する（ステップＳ３４）。また、抽出部２１１は、撮像装置１０１−１〜１０１−ｎから画像とともに送信されてくる位置情報を抽出する（ステップＳ３５）。ここで、ステップＳ３２，Ｓ３３の処理と、ステップＳ３４の処理と、ステップＳ３５の処理とは、いずれを先に行っても良く、その順序は特に規定しない。続いて、記憶部２４１は、特徴量算出部２２０が算出した特徴量と、状態判定部２３０が判定した状態を示す状態情報と、抽出部２１１が抽出した位置情報とを対応付けて記憶する（ステップＳ３６）。 When the image pickup device 101-1-101-n takes an image and the captured image is transmitted from the image pickup device 101-1-101-n, the extraction unit 211 transmits the image from the image pickup device 101-1-101-n. The image that has been created is acquired (step S31). Subsequently, the extraction unit 211 extracts an image of a person's face from the acquired image (step S32). Then, the feature amount calculation unit 220 analyzes the facial features from the facial image extracted by the extraction unit 211, and calculates the feature amount indicating the analyzed features (step S33). Further, the state determination unit 230 determines the state of the person from whom the face image is extracted based on the image transmitted from the image pickup apparatus 101-1 to 101-n (step S34). Further, the extraction unit 211 extracts the position information transmitted together with the image from the image pickup apparatus 101-1 to 101-n (step S35). Here, the processing of steps S32 and S33, the processing of step S34, and the processing of step S35 may be performed first, and the order thereof is not particularly specified. Subsequently, the storage unit 241 stores the feature amount calculated by the feature amount calculation unit 220, the state information indicating the state determined by the state determination unit 230, and the position information extracted by the extraction unit 211 in association with each other ( Step S36).

その後、比較部２７１は、記憶部２４１に記憶されている複数の特徴量を互いに比較し、特徴量が互いに一致するものがあるかどうかを判定する（ステップＳ３７）。記憶部２４１に記憶されている複数の特徴量に互いに一致するものがある場合、人物特定部２８１は、特徴量が互いに一致した人物を同一人物であると特定する（ステップＳ３８）。すると、行動ログ算出部２５２は、人物特定部２８１が特定した人物の位置情報に基づいて、その人物の行動ログを算出する（ステップＳ３９）。 After that, the comparison unit 271 compares a plurality of feature amounts stored in the storage unit 241 with each other, and determines whether or not there is one whose feature amounts match each other (step S37). When there are a plurality of feature quantities stored in the storage unit 241 that match each other, the person identification unit 281 identifies the persons whose feature quantities match each other as the same person (step S38). Then, the action log calculation unit 252 calculates the action log of the person based on the position information of the person specified by the person identification unit 281 (step S39).

すると、行動ログ算出部２５２は、位置情報システム６０２から存在位置情報を取得し、ステップＳ３９で算出した行動ログ（位置情報）と存在位置情報とを比較して、互いに一致するものがあるかどうかを判定する（ステップＳ４０）。位置情報システム６０２にステップＳ３９で算出した行動ログ（位置情報）と一致する存在位置情報がある場合、行動ログ算出部２５２は、その存在位置情報と対応付けられた人物識別情報を位置情報システム６０２から取得する（ステップＳ４１）。続いて、評価部２６２は、行動ログ算出部２５２が取得した人物識別情報が付与された人物に対して優遇処理を行う（ステップＳ４２）。また、評価部２６２は、行動ログ算出部２５２が算出した行動ログと人物の状態情報とに基づいて、評価を行い、その評価結果を出力する（ステップＳ４３）。 Then, the action log calculation unit 252 acquires the existence position information from the position information system 602, compares the action log (position information) calculated in step S39 with the existence position information, and determines whether there is something that matches each other. Is determined (step S40). When the position information system 602 has existence position information that matches the action log (position information) calculated in step S39, the action log calculation unit 252 uses the person identification information associated with the existence position information in the position information system 602. Obtained from (step S41). Subsequently, the evaluation unit 262 performs preferential processing on the person to which the person identification information acquired by the action log calculation unit 252 is given (step S42). Further, the evaluation unit 262 performs an evaluation based on the action log calculated by the action log calculation unit 252 and the state information of the person, and outputs the evaluation result (step S43).

このように、複数の撮像装置それぞれが撮像した顔の特徴量が互いに一致するものを同一人物であると特定し、撮像した複数の撮像装置の位置情報に基づいて、特定した人物の行動ログを算出する。算出した行動ログと外部のシステムである位置情報システムに記憶されている存在位置情報とを比較し、互いに一致したものをその人物の移動経路として追加して行動ログとして算出する。算出した行動ログとその人物の状態とに基づいて、優遇処理を実行し、評価を行い、その評価結果を出力する。そのため、広告を見た利用者の広告効果を容易に評価することができる。さらに、撮像装置１０１−１〜１０１−ｎが撮像していない範囲についても、特定した人物の行動ログを算出して評価を行うことができる。 In this way, those whose facial features that are captured by each of the plurality of imaging devices match each other are identified as the same person, and the action log of the identified person is recorded based on the position information of the plurality of imaging devices that have been imaged. calculate. The calculated action log is compared with the existence position information stored in the position information system which is an external system, and the ones that match each other are added as the movement route of the person and calculated as the action log. Based on the calculated action log and the state of the person, preferential treatment is executed, evaluation is performed, and the evaluation result is output. Therefore, the advertising effectiveness of the user who sees the advertisement can be easily evaluated. Further, it is possible to calculate and evaluate the action log of the specified person even in the range not captured by the imaging device 101-1-101-n.

なお、上述した状態情報は、その人物の顔の表情であっても良い。顔の表情は、抽出部２１１が抽出した顔の画像から特徴量算出部２２０が判定するものであっても良い。この場合、例えば、満足そうな顔をしていることが判定された場合、高い評価を判定し、険しい顔をしていることが判定された場合、低い評価を判定するものであっても良い。また、上述した状態情報は、Ｗｅｂの閲覧状況であっても良い。Ｗｅｂの閲覧状況は位置情報システム６０２の人物識別情報に基づいて、例えば、そのログイン情報等から判定するものであっても良い。この場合、例えば、広告に掲載されている商品やサービスが含まれるＷｅｂページを閲覧している状態が判定された場合、高い評価を判定するものであっても良い。 The state information described above may be a facial expression of the person. The facial expression may be determined by the feature amount calculation unit 220 from the facial image extracted by the extraction unit 211. In this case, for example, if it is determined that the face looks satisfactory, a high evaluation may be determined, and if it is determined that the face is steep, a low evaluation may be determined. .. Further, the above-mentioned state information may be a Web browsing status. The browsing status of the Web may be determined based on the person identification information of the location information system 602, for example, from the login information or the like. In this case, for example, when it is determined that a Web page including a product or service posted in an advertisement is being browsed, a high evaluation may be determined.

以上、各構成要素に各機能（処理）それぞれを分担させて説明したが、この割り当ては上述したものに限定しない。また、構成要素の構成についても、上述した形態はあくまでも例であって、これに限定しない。 In the above, each component has been assigned to each function (process), but this allocation is not limited to the above. Further, the above-described form is merely an example of the configuration of the component elements, and the present invention is not limited to this.

上述した各構成要素が行う処理は、目的に応じてそれぞれ作製された論理回路で行うようにしても良い。また、処理内容を手順として記述したコンピュータプログラム（以下、プログラムと称する）を、各構成要素を具備した装置（例えば、情報処理装置２００，２０１，２０２。以下、情報処理装置と称する）にて読取可能な記録媒体に記録し、この記録媒体に記録されたプログラムを情報処理装置に読み込ませ、実行するものであっても良い。情報処理装置にて読取可能な記録媒体とは、フロッピー（登録商標）ディスク、光磁気ディスク、ＤＶＤ（ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｃ）、ＣＤ（ＣｏｍｐａｃｔＤｉｓｃ）、Ｂｌｕ−ｒａｙ（登録商標）Ｄｉｓｃ、ＵＳＢ（ＵｎｉｖｅｒｓａｌＳｅｒｉａｌＢｕｓ）メモリなどの移設可能な記録媒体の他、情報処理装置に内蔵されたＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）等のメモリやＨＤＤ（ＨａｒｄＤｉｓｃＤｒｉｖｅ）等を指す。この記録媒体に記録されたプログラムは、情報処理装置に設けられたＣＰＵにて読み込まれ、ＣＰＵの制御によって、上述したものと同様の処理が行われる。ここで、ＣＰＵは、プログラムが記録された記録媒体から読み込まれたプログラムを実行するコンピュータとして動作するものである。 The processing performed by each of the above-described components may be performed by a logic circuit manufactured according to the purpose. Further, a computer program (hereinafter, referred to as a program) in which the processing contents are described as a procedure is read by a device (for example, information processing devices 200, 201, 202; hereinafter, referred to as an information processing device) including each component. The program may be recorded on a possible recording medium, and the program recorded on the recording medium may be read by an information processing apparatus and executed. The recording media that can be read by the information processing device are floppy (registered trademark) disc, magneto-optical disc, DVD (Digital Versaille Disc), CD (Compact Disc), Blu-ray (registered trademark) Disc, and USB (Universal Serial). Bus) In addition to a transferable recording medium such as a memory, it refers to a memory such as a ROM (Read Only Memory) and a RAM (Random Access Memory) built in an information processing apparatus, an HDD (Hard Disk Drive), and the like. The program recorded on the recording medium is read by a CPU provided in the information processing device, and the same processing as described above is performed under the control of the CPU. Here, the CPU operates as a computer that executes a program read from a recording medium in which the program is recorded.

１００，１０１−１〜１０１−ｎ撮像装置
１１０撮像部
１２０，１２１送信部
１３１位置情報取得部
２００〜２０２情報処理装置
２１０，２１１抽出部
２２０特徴量算出部
２３０状態判定部
２４０，２４１記憶部
２５１，２５２行動ログ算出部
２６１，２６２評価部
２７１比較部
２８１人物特定部
３００通信ネットワーク
４００広告
５００撮像画像
５１０，５２０人物
６０２位置情報システム 100,101-1101-n Imaging unit 110 Imaging unit 120,121 Transmission unit 131 Position information acquisition unit 200 to 202 Information processing device 210,211 Extraction unit 220 Feature amount calculation unit 230 Status determination unit 240,241 Storage unit 251 , 252 Action log calculation unit 261,262 Evaluation unit 271 Comparison unit 281 Person identification unit 300 Communication network 400 Advertisement 500 Captured image 510,520 Person 602 Location information system

Claims

It has an image pickup device and an information processing device.
The image pickup device
Imaging unit and
It has a transmission unit that transmits an image captured by the image pickup unit to the information processing device.
The information processing device
An extraction unit that extracts an image of a person's face from an image transmitted from the image pickup device, and an extraction unit.
A feature amount calculation unit that analyzes the facial features from the face image extracted by the extraction unit and calculates a feature amount indicating the analyzed features, and a feature amount calculation unit.
A state determination unit that determines the state of a person from whom the extraction unit has extracted a face image based on an image transmitted from the image pickup apparatus, and a state determination unit.
An information processing system having a storage unit that stores a feature amount calculated by the feature amount calculation unit and a state information indicating a state determined by the state determination unit in association with each other.

In the information processing system according to claim 1,
The state determination unit is an information processing system that determines the orientation of the person's face as the state.

In the information processing system according to claim 1 or 2.
The state determination unit is an information processing system that determines the direction of the line of sight of the person as the state.

In the information processing system according to any one of claims 1 to 3,
The information processing device
An action log calculation unit that calculates an action log of the person based on position information indicating a position where an imaging device that images the person is installed and a feature amount of the face of the person.
An information processing system having an evaluation unit that evaluates based on the action log calculated by the action log calculation unit and the state information of the person, and outputs information indicating the result of the evaluation.

In the information processing system according to claim 4,
There are a plurality of the imaging devices,
The information processing device
A comparison unit that compares the features analyzed from the facial images extracted from the images transmitted from the plurality of image pickup devices with each other, and a comparison unit.
As a result of comparison in the comparison unit, it has a person identification unit that identifies a person whose feature amounts match each other as the same person.
The action log calculation unit is an information processing system that calculates an action log of the person based on the position information of the person specified by the person identification unit.

In the information processing system according to claim 4 or 5.
The action log calculation unit receives the existence position information that matches the position information from a position information system that manages the person identification information for identifying the person and the existence position information indicating the existence position of the person in association with each other. An information processing system that acquires the person identification information associated with the existence position information and calculates an action log of the person based on the acquired existence position information and the person identification information.

In the information processing system according to claim 6,
The location information system is an information processing system that is a GPS (Global Positioning System).

In the information processing system according to claim 6,
The location information system is an information processing system that is a POS (Point Of sale System).

In the information processing system according to any one of claims 4 to 8.
The evaluation unit is an information processing system that evaluates advertising effectiveness.

An extraction unit that extracts an image of a person's face from an image transmitted from an image pickup device,
A feature amount calculation unit that analyzes the facial features from the face image extracted by the extraction unit and calculates a feature amount indicating the analyzed features, and a feature amount calculation unit.
A state determination unit that determines the state of a person from whom the extraction unit has extracted a face image based on an image transmitted from the image pickup apparatus, and a state determination unit.
An information processing device having a storage unit that stores a feature amount calculated by the feature amount calculation unit and a state information indicating a state determined by the state determination unit in association with each other.

The process of extracting the image of a person's face from the image transmitted from the image pickup device, and
A process of analyzing the facial features from the extracted facial image and calculating a feature amount indicating the analyzed features.
A process of determining the state of a person from whom an image of a face has been extracted based on an image transmitted from the image pickup apparatus, and a process of determining the state of the person.
An information processing method for performing a process of associating the calculated feature amount with the state information indicating the determined state and storing it in a database.

On the computer
The procedure for extracting an image of a person's face from the image transmitted from the image pickup device, and
A procedure for analyzing the facial features from the extracted facial image and calculating a feature amount indicating the analyzed features, and
A procedure for determining the state of a person from whom an image of a face has been extracted based on an image transmitted from the imaging device, and a procedure for determining the state of the person.
A program for executing a procedure of associating the calculated feature amount with the state information indicating the determined state and storing it in the database.