JP2016045742A - Information processing device and program - Google Patents

Information processing device and program Download PDF

Info

Publication number
JP2016045742A
JP2016045742A JP2014169913A JP2014169913A JP2016045742A JP 2016045742 A JP2016045742 A JP 2016045742A JP 2014169913 A JP2014169913 A JP 2014169913A JP 2014169913 A JP2014169913 A JP 2014169913A JP 2016045742 A JP2016045742 A JP 2016045742A
Authority
JP
Japan
Prior art keywords
person
unit
registered
dictionary
authentication
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014169913A
Other languages
Japanese (ja)
Other versions
JP6289308B2 (en
Inventor
西川 泰司
Taiji Nishikawa
泰司 西川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba TEC Corp
Original Assignee
Toshiba TEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba TEC Corp filed Critical Toshiba TEC Corp
Priority to JP2014169913A priority Critical patent/JP6289308B2/en
Publication of JP2016045742A publication Critical patent/JP2016045742A/en
Application granted granted Critical
Publication of JP6289308B2 publication Critical patent/JP6289308B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

PROBLEM TO BE SOLVED: To provide an information processing device and program with which it is possible to determine that a person who gets into frame again after having gotten out of frame is the same person.SOLUTION: The information processing device comprises input means, detection means, authentication means, and registration means. The input means accepts input of image-capture data captured by an image-capturing unit. The detection means detects a person from the image-capture data accepted by the input means. The authentication means authenticates whether or not the person detected by the detection means is the one who is registered in a dictionary in which the persons included in the image-capture data captured by the image-capturing unit in the past are registered. When the authentication means authenticates that the person is the previously registered one, the registration means registers the image-capture data captured by the image-capturing unit as addition to the person in the dictionary.SELECTED DRAWING: Figure 7

Description

本発明の実施形態は、情報処理装置およびプログラムに関する。   Embodiments described herein relate generally to an information processing apparatus and a program.

従来、カメラで撮像された画像に含まれる人物の顔を認証する人物認証システムが提案されている。人物認証システムは、連続した一連の撮像データ内において、検出した同一人物の顔画像が複数のフレームにわたって連続して映っている場合に、同一人物であると判断する。   2. Description of the Related Art Conventionally, a person authentication system that authenticates a person's face included in an image captured by a camera has been proposed. The person authentication system determines that the same person is the same person when the detected face images of the same person are continuously reflected over a plurality of frames in a series of continuous imaging data.

しかしながら、従来の人物認証システムは、連続した一連の撮像データから、検出した人物の顔画像がフレームアウトしてしまうと、既に検出した人物を別人であると判断して新たな識別情報を割り当ててしまう。そのため、従来の人物認証システムは、フレームアウトした人物が、再度フレームインしたとしても同一人物であると判断することができなかった。よって、従来の人物認証システムは、特定人物を継続して追跡することができなかった。また、同様の理由により、従来の人物認証システムは、複数のカメラによる人物追跡もできなかった。   However, in the conventional person authentication system, when a face image of a detected person is out of frame from a series of continuous imaging data, the already detected person is determined to be another person and new identification information is assigned. End up. For this reason, the conventional person authentication system cannot determine that the person who is out of the frame is the same person even if the person enters the frame again. Thus, the conventional person authentication system cannot continuously track a specific person. For the same reason, the conventional person authentication system cannot track a person using a plurality of cameras.

本発明が解決しようとする課題は、フレームアウトした後、再度フレームインした人物を同一人物であると判断をすることができる情報処理装置およびプログラムを提供することである。   The problem to be solved by the present invention is to provide an information processing apparatus and program capable of determining that a person who has been framed in again after being out of frame is the same person.

実施形態の情報処理装置は、入力手段と、検出手段と、認証手段と、登録手段と、を備える。前記入力手段は、撮像部が撮像した撮像データの入力を受け付ける。前記検出手段は、前記入力手段が入力を受け付けた撮像データから人物を検出する。前記認証手段は、前記検出手段が検出した人物が、前記撮像部が過去に撮像した撮像データに含まれていた人物が登録された辞書に登録された人物であるか否かを認証する。前記登録手段は、前記認証手段が事前に登録された人物であると認証した場合に、前記辞書の当該人物に前記撮像部が撮像した撮像データを追加登録する。   The information processing apparatus according to the embodiment includes an input unit, a detection unit, an authentication unit, and a registration unit. The input unit receives input of imaging data captured by the imaging unit. The detection means detects a person from the imaging data received by the input means. The authentication unit authenticates whether the person detected by the detection unit is a person registered in a dictionary in which a person included in imaging data captured by the imaging unit in the past is registered. When the authentication unit authenticates that the person is registered in advance, the registration unit additionally registers imaging data captured by the imaging unit to the person in the dictionary.

図1は、人物認証システムの構成を概略的に示した説明図である。FIG. 1 is an explanatory diagram schematically showing the configuration of the person authentication system. 図2は、人物認証システムを店舗に設置した場合の一例を示す説明図である。FIG. 2 is an explanatory diagram showing an example when the person authentication system is installed in a store. 図3は、サーバ装置のハードウェア構成を示すブロック図である。FIG. 3 is a block diagram illustrating a hardware configuration of the server apparatus. 図4は、人物認証辞書のデータ構成の一例を示す説明図である。FIG. 4 is an explanatory diagram showing an example of the data configuration of the person authentication dictionary. 図5は、カメラのハードウェア構成を示すブロック図である。FIG. 5 is a block diagram illustrating a hardware configuration of the camera. 図6は、人物認証システムの機能構成を示すブロック図である。FIG. 6 is a block diagram showing a functional configuration of the person authentication system. 図7は、人物認証処理の流れを示すフローチャートである。FIG. 7 is a flowchart showing the flow of the person authentication process. 図8は、除外処理の流れを示すフローチャートである。FIG. 8 is a flowchart showing the flow of the exclusion process.

以下、添付図面を参照して実施形態の情報処理装置及びプログラムを詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。   Hereinafter, an information processing apparatus and a program according to embodiments will be described in detail with reference to the accompanying drawings. In addition, this invention is not limited by this embodiment.

図1は、人物認証システム1の構成を概略的に示した説明図である。図1に示すように人物認証システム1は、サーバ装置10と、用途の異なる2種類のカメラ20a、20bとを備える。カメラ20aは、後述する人物認証辞書D(図3参照)に登録された人物であるか否かを顔認証し、人物認証辞書D(図3参照)に登録するための動画像を撮像する用途で使用される。一方、カメラ20bは、人物認証辞書D(図3参照)に登録された人物を人物認証の対象外とするための動画像を撮像する用途で使用される。そして、人物認証システム1は、それぞれ一台以上のカメラ20a、20bを備え、所定領域を撮像する。ここで、サーバ装置10と、カメラ20a、20bとは、LAN(Local Area Network)30で接続される。LAN30は、有線であってもよいし、無線であってもよい。また、LAN30は、各種公衆網であってもよい。   FIG. 1 is an explanatory diagram schematically showing the configuration of the person authentication system 1. As shown in FIG. 1, the person authentication system 1 includes a server device 10 and two types of cameras 20a and 20b having different uses. The camera 20a performs face authentication as to whether or not the person is registered in a person authentication dictionary D (see FIG. 3) described later, and captures a moving image for registration in the person authentication dictionary D (see FIG. 3). Used in. On the other hand, the camera 20b is used for capturing a moving image for excluding a person registered in the person authentication dictionary D (see FIG. 3) from the person authentication target. The person authentication system 1 includes one or more cameras 20a and 20b, respectively, and images a predetermined area. Here, the server apparatus 10 and the cameras 20 a and 20 b are connected by a LAN (Local Area Network) 30. The LAN 30 may be wired or wireless. The LAN 30 may be various public networks.

サーバ装置10は、カメラ20a、20bが撮像した動画像から人物を認証し、動画像から人物認証情報を抽出する情報処理装置である。そして、サーバ装置10は、抽出した人物認証情報を人物ごとに記憶する。その際、サーバ装置10は、その人物の人物認証情報を記憶しているか否かを判定する。その人物の人物認証情報を記憶している場合には、サーバ装置10は、その人物の人物識別情報に対応付けて人物認証情報を記憶する。一方、その人物の人物認証情報を記憶していない場合には、サーバ装置10は、その人物の人物認証情報を新規に記憶する。なお、サーバ装置10は、クラスタ化された複数の情報処理装置であってもよい。   The server apparatus 10 is an information processing apparatus that authenticates a person from a moving image captured by the cameras 20a and 20b and extracts person authentication information from the moving image. Then, the server device 10 stores the extracted person authentication information for each person. At that time, the server device 10 determines whether or not the person authentication information of the person is stored. When the person authentication information of the person is stored, the server device 10 stores the person authentication information in association with the person identification information of the person. On the other hand, when the person authentication information of the person is not stored, the server device 10 newly stores the person authentication information of the person. The server device 10 may be a plurality of clustered information processing devices.

次に、人物認証システム1をスーパーマーケットなどの店舗Mに設置した場合を例に説明する。ここで、図2は、人物認証システム1を店舗Mに設置した場合の一例を示す説明図である。   Next, a case where the person authentication system 1 is installed in a store M such as a supermarket will be described as an example. Here, FIG. 2 is an explanatory diagram showing an example when the person authentication system 1 is installed in the store M.

図2に示す店舗Mは、大別すると、バックヤードM1と、売り場M2と、出入り口M3とを有する。バックヤードM1は、商品倉庫や、商品のパッケージングや、商品の発注などの店舗運営に関する業務を行う場所である。また、バックヤードM1には、サーバ装置10が設置される。   The store M shown in FIG. 2 roughly includes a backyard M1, a sales floor M2, and an entrance M3. The backyard M1 is a place where operations relating to store operations such as a product warehouse, product packaging, and product ordering are performed. The server device 10 is installed in the backyard M1.

売り場M2は、商品を販売する場所である。また、売り場M2には、店舗Mを回遊する人物を撮像するカメラ20aと、人物が購入対象とする商品の売上登録をするPOS(Point Of Sale)端末40と、商品を陳列する棚50とが設けられる。人物は、店舗Mに来店すると売り場M2を回遊し、購入対象の商品を選択する。その際に、カメラ20aは、人物を撮像する。そして、サーバ装置10は、カメラ20aが撮像した動画像に含まれる人物を認証し、その人物ごとに撮像したカメラ20aの識別情報と、撮像時刻とを記録する。これにより、人物ごとに行動を追跡することができる。図2に示す店舗Mには、5台のカメラ20aと、3台のPOS端末40と、4組の棚50とが記載されているが、各個数は、これに限らず、任意の個数を設定してよい。   The sales floor M2 is a place where products are sold. In addition, the sales floor M2 includes a camera 20a that captures a person traveling around the store M, a POS (Point Of Sale) terminal 40 for registering sales of products that the person purchases, and a shelf 50 that displays the products. Provided. When the person visits the store M, the person goes around the sales floor M2 and selects a product to be purchased. At that time, the camera 20a images a person. And the server apparatus 10 authenticates the person included in the moving image imaged by the camera 20a, and records the identification information of the camera 20a imaged for each person and the imaging time. Thereby, action can be tracked for every person. In the store M shown in FIG. 2, five cameras 20a, three POS terminals 40, and four sets of shelves 50 are described. May be set.

出入り口M3は、売り場M2に出入りする人物の出入り口である。また、出入り口M3は、売り場M2から退出する人物の顔を撮像する方向に向けられたカメラ20bを有する。サーバ装置10は、カメラ20aが人物の顔を撮像すると、既に人物認証情報があるか否かを判定する。その際、来店したことのある全ての人物認証情報と比較するとサーバ装置10の処理負担が大きくなる。そこで、売り場M2から退出する人物を除外することで、処理負担の増大を抑えることができる。なお、出入り口M3は、売り場M2に入場する人物の顔を撮像する方向に向けてカメラ20aを設置してもよい。これにより、来店した全ての人物の顔を認証することができる。   The entrance / exit M3 is an entrance / exit of a person entering / exiting the sales floor M2. Further, the entrance / exit M3 includes a camera 20b directed in a direction for capturing an image of the face of a person leaving the sales floor M2. When the camera 20a captures a person's face, the server apparatus 10 determines whether there is already person authentication information. In that case, the processing load of the server apparatus 10 becomes large compared with all the person authentication information that has visited the store. Therefore, by excluding persons who leave the sales floor M2, an increase in processing load can be suppressed. In addition, you may install the camera 20a toward the direction which images the face of the person who enters the sales floor M2 in the entrance / exit M3. This makes it possible to authenticate the faces of all persons who have visited the store.

次に、実施形態の人物認証システム1が有する各部について説明する。   Next, each part which the person authentication system 1 of embodiment has is demonstrated.

まず、サーバ装置10のハードウェア構成を説明する。図3は、サーバ装置10のハードウェア構成を示すブロック図である。サーバ装置10は、人物認証システム1を制御する情報処理装置である。図3に示すように、サーバ装置10は、CPU(Central Processing Unit)11と、メモリ12と、記憶部13と、ネットワークインターフェース14と、表示部15と、入力部16と、時計部17とを備える。   First, the hardware configuration of the server device 10 will be described. FIG. 3 is a block diagram illustrating a hardware configuration of the server device 10. The server device 10 is an information processing device that controls the person authentication system 1. As shown in FIG. 3, the server device 10 includes a CPU (Central Processing Unit) 11, a memory 12, a storage unit 13, a network interface 14, a display unit 15, an input unit 16, and a clock unit 17. Prepare.

CPU11は、サーバ装置10の全体を制御する。メモリ12は、データを一時的に記憶する。記憶部13は、CPU11からの命令で読み書きが可能であり、プログラムやデータ等を記憶する。また、記憶部13は、人物認証プログラムP1と、人物認証辞書Dとを記憶する。   The CPU 11 controls the entire server device 10. The memory 12 temporarily stores data. The storage unit 13 is readable and writable by commands from the CPU 11 and stores programs, data, and the like. The storage unit 13 also stores a person authentication program P1 and a person authentication dictionary D.

人物認証プログラムP1は、カメラ20a、20bが撮像した動画像から人物を認証し、認証した人物の人物認証情報を人物認証辞書Dに記憶させるプログラムである。   The person authentication program P1 is a program for authenticating a person from moving images captured by the cameras 20a and 20b and storing the person authentication information of the authenticated person in the person authentication dictionary D.

人物認証辞書Dは、カメラ20aが過去に撮像した動画像から認証した人物ごとに人物認証情報を記憶する。ここで、図4は、人物認証辞書Dのデータ構成の一例を示す説明図である。人物認証辞書Dは、人物識別情報に対応付けられた1以上の人物認証情報を有する。人物識別情報は、人物ごとに割り振られた、人物を識別可能な識別情報である。人物認証情報は、動画像から抽出した人物の認証に関する情報である。なお、人物認証情報は、人物の顔の正面が向けられた動画像を代表するフレーム画像から抽出した人物の認証に関する情報であってもよい。   The person authentication dictionary D stores person authentication information for each person authenticated from a moving image captured by the camera 20a in the past. Here, FIG. 4 is an explanatory diagram illustrating an example of a data configuration of the person authentication dictionary D. The person authentication dictionary D has one or more person authentication information associated with the person identification information. The person identification information is identification information assigned to each person and capable of identifying the person. The person authentication information is information related to person authentication extracted from the moving image. The person authentication information may be information related to person authentication extracted from a frame image representing a moving image with the front of the person faced.

そして、人物認証情報は、動画像と、特徴量と、カメラ識別情報と、撮像時刻とを有する。動画像は、その人物を認証した動画像である。動画像は、人物の顔の正面が向けられた動画像を代表するフレーム画像であってもよい。特徴量は、人物を認証したフレーム画像から抽出した、その人物の特徴量である。ここで、人物の特徴量とは、人物の顔から抽出された特徴量や、人物の服飾から抽出された特徴量などである。服飾の特徴量とは、例えば、人物が着ている服の色などである。カメラ識別情報は、動画像を撮像したカメラ20aを識別する識別情報である。撮像時刻は、カメラ20aが動画像を撮像した時刻である。   The person authentication information includes a moving image, a feature amount, camera identification information, and an imaging time. The moving image is a moving image obtained by authenticating the person. The moving image may be a frame image representing a moving image in which the front of a person's face is directed. The feature amount is a feature amount of the person extracted from the frame image in which the person is authenticated. Here, the feature amount of a person is a feature amount extracted from a person's face, a feature amount extracted from a person's clothing, or the like. The feature amount of clothes is, for example, the color of clothes worn by a person. The camera identification information is identification information for identifying the camera 20a that captured the moving image. The imaging time is the time when the camera 20a captures a moving image.

ネットワークインターフェース14は、LAN30に接続される。なお、LAN30は、各種公衆網であってもよい。表示部15は、各種情報を表示するディスプレイなどである。入力部16は、キーボードやマウスなどの入力装置から入力された情報を制御する。または、入力部16は、表示部15に積層されたタッチパネル入力された情報を制御する。時計部17は、時間を計時する。   The network interface 14 is connected to the LAN 30. The LAN 30 may be various public networks. The display unit 15 is a display that displays various types of information. The input unit 16 controls information input from an input device such as a keyboard or a mouse. Alternatively, the input unit 16 controls information input from the touch panel stacked on the display unit 15. The clock unit 17 measures time.

次に、カメラ20a、20bについて説明する。図5は、カメラ20a、20bのハードウェア構成を示すブロック図である。カメラ20aと、カメラ20bとは、用途は異なるが、機能及び構成は同一である。なお、カメラ20aと、カメラ20bとは、用途が異なることから、機能及び構成が異なっていてもよい。よって、下記にて、カメラ20aを例に説明する。   Next, the cameras 20a and 20b will be described. FIG. 5 is a block diagram illustrating a hardware configuration of the cameras 20a and 20b. Although the camera 20a and the camera 20b have different uses, the functions and configurations are the same. Since the camera 20a and the camera 20b have different uses, functions and configurations may be different. Therefore, the camera 20a will be described below as an example.

カメラ20aは、カメラ20aが設置された所定領域を撮像し、撮像した動画像などの撮像データをサーバ装置10に送信する撮像装置である。図5に示すように、カメラ20aは、CPU21と、メモリ22と、記憶部23と、ネットワークインターフェース24と、撮像部25と、時計部26とを備える。   The camera 20 a is an imaging device that captures an image of a predetermined area where the camera 20 a is installed and transmits imaging data such as a captured moving image to the server device 10. As shown in FIG. 5, the camera 20 a includes a CPU 21, a memory 22, a storage unit 23, a network interface 24, an imaging unit 25, and a clock unit 26.

CPU21は、カメラ20aの全体を制御する。メモリ22は、データを一時的に記憶する。記憶部23は、CPU21からの命令で読み書きが可能であり、プログラムやデータ等を記憶する。ネットワークインターフェース24は、LAN30に接続される。時計部26は、時間を計時する。   The CPU 21 controls the entire camera 20a. The memory 22 temporarily stores data. The storage unit 23 can be read and written by commands from the CPU 21 and stores programs, data, and the like. The network interface 24 is connected to the LAN 30. The clock unit 26 measures time.

撮像部25は、カメラ20aの撮像範囲内に存在する人物や物体等の被写体を撮像し、カラー画像情報を収集する。例えば、撮像部25は、被写体表面で反射される光を受光素子で検知し、可視光を電気信号に変換する。受光素子とは、例えば、CMOS(Complementary Metal Oxide Semiconductor)やCCD(Charge Coupled Device)などである。そして、撮像部25は、その電気信号をデジタルデータに変換することにより、撮像範囲に対応する1フレームのカラー画像情報を生成する。この1フレーム分のカラー画像情報には、例えば、この1フレームに含まれる各画素にRGB(Red Green Blue)値が対応付けられた色情報と、この1フレームに含まれる各画素に輝度値が対応付けられた輝度情報とが含まれる。   The imaging unit 25 captures a subject such as a person or an object existing within the imaging range of the camera 20a, and collects color image information. For example, the imaging unit 25 detects light reflected from the subject surface with a light receiving element, and converts visible light into an electrical signal. The light receiving element is, for example, a complementary metal oxide semiconductor (CMOS) or a charge coupled device (CCD). And the imaging part 25 produces | generates the color image information of 1 frame corresponding to an imaging range by converting the electrical signal into digital data. The color image information for one frame includes, for example, color information in which RGB (Red Green Blue) values are associated with each pixel included in the one frame, and a luminance value for each pixel included in the one frame. And associated luminance information.

撮像部25は、次々に検知される可視光から連続する複数フレームのカラー画像情報を生成することで動画像を生成する。なお、撮像部25によって生成されるカラー画像情報は、各画素のRGB値をビットマップに配置したカラー画像として出力されても良い。   The imaging unit 25 generates a moving image by generating color image information of a plurality of continuous frames from visible light detected one after another. Note that the color image information generated by the imaging unit 25 may be output as a color image in which the RGB values of each pixel are arranged in a bitmap.

次に、実施形態にかかる人物認証システム1が有する特徴的な機能について説明する。図6は、人物認証システム1の機能構成を示すブロック図である。   Next, characteristic functions of the person authentication system 1 according to the embodiment will be described. FIG. 6 is a block diagram showing a functional configuration of the person authentication system 1.

カメラ20a、20bのCPU21は、メモリ22や記憶部23に記憶された制御プログラムに従って動作することで、撮像制御部211と、送信部212として機能する。   The CPUs 21 of the cameras 20 a and 20 b function as the imaging control unit 211 and the transmission unit 212 by operating according to the control program stored in the memory 22 or the storage unit 23.

撮像制御部211は、カメラ20a、20bの撮像部25を制御して、カメラ20a、20bが設置された所定領域の動画像を撮像する。また、撮像制御部211は、撮像部25が撮像した撮像時刻を計時する。   The imaging control unit 211 controls the imaging unit 25 of the cameras 20a and 20b to capture a moving image of a predetermined area where the cameras 20a and 20b are installed. Further, the imaging control unit 211 measures the imaging time when the imaging unit 25 images.

送信部212は、撮像制御部211が撮像した動画像と、撮像時刻とをサーバ装置10に順次送信する。この時、送信部212は、1フレーム画像ごとに動画像を送信してもよいし、複数フレーム画像ごとに動画像を送信してもよい。ここで、フレーム画像とは、動画像の1コマごとのカラー画像情報を示す。   The transmission unit 212 sequentially transmits the moving image captured by the imaging control unit 211 and the imaging time to the server device 10. At this time, the transmission unit 212 may transmit a moving image for each frame image, or may transmit a moving image for each of a plurality of frame images. Here, the frame image indicates color image information for each frame of a moving image.

サーバ装置10のCPU11は、メモリ12や記憶部13に記憶された制御プログラムに従って動作することで、受信部111と、顔検出部112と、特徴量抽出部113と、類似度算出部114と、類似度判定部115と、登録部116と、除外部117として機能する。   The CPU 11 of the server device 10 operates according to the control program stored in the memory 12 or the storage unit 13, thereby receiving the reception unit 111, the face detection unit 112, the feature amount extraction unit 113, the similarity calculation unit 114, It functions as a similarity determination unit 115, a registration unit 116, and an exclusion unit 117.

入力手段である受信部111は、カメラ20a、20bから送信された動画像と、撮像時刻とを順次受信する。これにより、受信部111は、動画像などの撮像データの入力を受け付ける。   The receiving unit 111 as input means sequentially receives the moving images transmitted from the cameras 20a and 20b and the imaging time. Thereby, the receiving unit 111 receives input of imaging data such as a moving image.

検出手段である顔検出部112は、受信部111が受信した動画像から、動画像に含まれる人物の顔を検出する。また、顔検出部112は、検出した人物ごとに、新規な人物識別情報を割り当てる。具体的には、顔検出部112は、フレーム画像の輝度情報を利用して顔の領域を示す座標を求める。なお、顔領域を求める方法は、どのような方法を用いてもよい。検出手法の一例としては、予め用意されたテンプレートを、入力された画像データ内で移動させながら相関値を求めることで、最も高い相関値を与える位置を顔領域として検出する手法などである。または、固有空間法や部分空間法を利用した顔抽出法等を用いる手法を適用してもよい。また、検出する顔領域の形状は、任意の形状で良いし、顔の向きや大きさの検出結果によって顔領域の形状を異ならせても良い。   The face detection unit 112 serving as detection means detects a human face included in the moving image from the moving image received by the receiving unit 111. Further, the face detection unit 112 assigns new person identification information for each detected person. Specifically, the face detection unit 112 obtains coordinates indicating the face area using luminance information of the frame image. Note that any method may be used as a method of obtaining the face area. As an example of the detection method, there is a method of detecting a position that gives the highest correlation value as a face region by obtaining a correlation value while moving a template prepared in advance in input image data. Alternatively, a method using a face extraction method using an eigenspace method or a subspace method may be applied. The shape of the face area to be detected may be any shape, and the shape of the face area may be varied depending on the detection result of the face orientation and size.

ところで、カメラ20a、20bなどで撮像された動画像の場合、検出された同一人物の顔が、連続した一連のフレーム画像にわたって連続して映っていることが想定される。このため、これらを同一人物として対応付けできるように人物の顔の追跡処理を行う必要がある。この追跡処理の実現手法は、オプティカルフローを用いて検出した顔が、次のフレームでどの位置に存在するかを推定し、対応付ける手法等を利用する。この追跡処理は、同一人物として対応付けられた顔領域が顔検出部112により検出されず、追跡終了の判定が行われるまで継続される。   By the way, in the case of moving images captured by the cameras 20a, 20b, etc., it is assumed that the detected face of the same person is continuously shown over a series of consecutive frame images. For this reason, it is necessary to perform tracking processing of a person's face so that they can be associated as the same person. As a method for realizing the tracking process, a method of estimating and associating a position where the face detected using the optical flow exists in the next frame is used. This tracking process is continued until the face area associated with the same person is not detected by the face detection unit 112 and the tracking end is determined.

特徴量抽出部113と、類似度算出部114と、類似度判定部115とは、人物認証辞書Dに登録された人物であるか否かを認証する。   The feature amount extraction unit 113, the similarity calculation unit 114, and the similarity determination unit 115 authenticate whether or not the person is registered in the person authentication dictionary D.

まず、特徴量抽出部113は、顔検出部112が検出した顔の人物の特徴量を抽出する。さらに詳しくは、特徴量抽出部113は、追跡処理により複数のフレーム画像にわたって検出された顔領域から、フレーム画像ごとに目、鼻、口などの顔の特徴点を検出する。そして、特徴量抽出部113は、特徴点ごとに特徴量を抽出する。特徴量は、特徴点の形状、表面の色合い、凹凸状況等の外観の特徴をパラメータ化したものである。なお、設定等によって検出すべき顔の特徴点は任意に変更することができる。また、特徴量抽出部113における顔の特徴点の検出方法は、どのような方法を用いてもよく、公知の技術を用いるものとする。   First, the feature quantity extraction unit 113 extracts the feature quantity of the face person detected by the face detection unit 112. More specifically, the feature amount extraction unit 113 detects facial feature points such as eyes, nose, and mouth for each frame image from face areas detected over a plurality of frame images by the tracking process. Then, the feature amount extraction unit 113 extracts a feature amount for each feature point. The feature amount is a parameterization of appearance features such as the shape of feature points, the color of the surface, and unevenness. The feature points of the face to be detected can be arbitrarily changed by setting or the like. In addition, any method may be used as a method for detecting facial feature points in the feature quantity extraction unit 113, and a known technique is used.

また、特徴量抽出部113は、顔検出部112が検出した人物の服飾から特徴量を抽出する。特徴量抽出部113は、人物の衣服や、装身具などの服飾から色を特徴量として抽出する。これにより、人物認証辞書Dに登録された人物であるか否かの判定に、人物の服飾も加味される。よって、認証精度を高めることができる。   Further, the feature amount extraction unit 113 extracts feature amounts from the person's clothing detected by the face detection unit 112. The feature amount extraction unit 113 extracts a color as a feature amount from clothes such as a person's clothes and accessories. As a result, the clothes of the person are added to the determination as to whether or not the person is registered in the person authentication dictionary D. Therefore, authentication accuracy can be increased.

類似度算出部114は、特徴量抽出部113が抽出した特徴量と、人物認証辞書Dに登録された人物ごとの特徴量とを比較し、人物ごとの類似度を算出する。ここで、類似度は、カメラ20a、20bが撮像した人物の特徴量と、人物認証辞書Dに登録された各人物の特徴量とを比較し、両特徴量がどの程度類似しているかを示す値(類似度)であればよい。   The similarity calculation unit 114 compares the feature amount extracted by the feature amount extraction unit 113 with the feature amount for each person registered in the person authentication dictionary D, and calculates the similarity for each person. Here, the similarity indicates how much the two feature quantities are similar by comparing the feature quantity of the person imaged by the cameras 20a and 20b with the feature quantity of each person registered in the person authentication dictionary D. Any value (similarity) may be used.

類似度判定部115は、類似度が閾値以上の人物が人物認証辞書Dに登録されているか否かを判定する。さらに詳しくは、類似度判定部115は、類似度算出部114が算出した類似度のうち、その類似度が所定の閾値以上の場合に、該当する人物の人物認証情報が人物認証辞書Dに登録されていると判定する。一方、類似度が閾値未満の場合には、類似度判定部115は、該当する人物の人物認証情報が人物認証辞書Dに登録されていないと判定する。そして、閾値以上の人物認証情報が複数ある場合には、類似度判定部115は、最も類似度の高い人物を、カメラ20a、20bが撮像した人物として判定する。   The similarity determination unit 115 determines whether or not a person whose similarity is greater than or equal to a threshold is registered in the person authentication dictionary D. More specifically, the similarity determination unit 115 registers the person authentication information of the corresponding person in the person authentication dictionary D when the similarity is equal to or greater than a predetermined threshold among the similarities calculated by the similarity calculation unit 114. It is determined that On the other hand, when the similarity is less than the threshold, the similarity determination unit 115 determines that the person authentication information of the corresponding person is not registered in the person authentication dictionary D. If there are a plurality of pieces of person authentication information equal to or greater than the threshold, the similarity determination unit 115 determines the person with the highest similarity as the person captured by the cameras 20a and 20b.

なお、閾値以上の人物認証情報が複数ある場合には、類似度判定部115は、判定不可と判定し、後段の処理から除外してもよい。閾値以上の類似度の人物認証情報が複数ある場合には、カメラ20a、20bが撮像した動画像が不鮮明である可能性がある。信頼性の低い不鮮明な動画像を除外することにより、類似度判定部115は、信頼性を担保することができる。また、所定の閾値は、任意の値を設定することができるものとする。   When there are a plurality of pieces of person authentication information equal to or greater than the threshold, the similarity determination unit 115 may determine that determination is impossible and exclude it from subsequent processing. When there are a plurality of pieces of person authentication information having a degree of similarity equal to or greater than the threshold, the moving images captured by the cameras 20a and 20b may be unclear. By excluding unclear moving images with low reliability, the similarity determination unit 115 can ensure reliability. Further, it is assumed that an arbitrary value can be set as the predetermined threshold.

登録部116は、カメラ20aが撮像した動画像に係る人物認証情報を人物認証辞書Dに登録する。さらに詳しくは、登録部116は、類似度を判定した動画像と、特徴量抽出部113が抽出した特徴量と、動画像を送信したカメラ20aの識別情報と、カメラ20aが動画像を撮像した撮像時刻とを人物認証情報として人物認証辞書Dに登録する。   The registration unit 116 registers the person authentication information related to the moving image captured by the camera 20a in the person authentication dictionary D. More specifically, the registration unit 116 captures the moving image from which the similarity is determined, the feature amount extracted by the feature amount extraction unit 113, the identification information of the camera 20a that transmitted the moving image, and the camera 20a. The imaging time is registered in the person authentication dictionary D as person authentication information.

登録手段である登録部116が行う登録には、新規登録と、追加登録とがある。類似度判定部115が閾値以上の人物の人物認証情報が人物認証辞書Dに登録されていないと判定した場合に、登録部116は、顔検出部112が割り当てた新規な人物識別情報を用いて、人物認証情報を人物認証辞書Dに新規登録する。   The registration performed by the registration unit 116 as a registration unit includes new registration and additional registration. When the similarity determination unit 115 determines that person authentication information of a person equal to or greater than the threshold is not registered in the person authentication dictionary D, the registration unit 116 uses the new person identification information assigned by the face detection unit 112. The person authentication information is newly registered in the person authentication dictionary D.

一方、類似度判定部115が閾値以上の人物の人物認証情報が人物認証辞書Dに登録されていると判定した場合に、登録部116は、該当する人物の人物識別情報を有する人物認証情報に、今回の撮像に係る人物認証情報を対応付けて追加登録する。このように、登録部116は、追加登録することにより、該当する人物識別情報の人物認証情報が増加する。これにより、類似度算出部114は、複数の人物認証情報と比較することができるため、判定結果の信頼性を向上させることができる。   On the other hand, when the similarity determination unit 115 determines that person authentication information of a person with a threshold value or more is registered in the person authentication dictionary D, the registration unit 116 adds the person authentication information having the person identification information of the corresponding person. The person authentication information related to the current imaging is additionally registered in association with each other. As described above, the registration unit 116 performs additional registration to increase the person authentication information of the corresponding person identification information. Thereby, since the similarity calculation part 114 can compare with several person authentication information, it can improve the reliability of a determination result.

除外手段である除外部117は、人物認証辞書Dの所定の人物を、類似度算出部114の対象から除外する。これにより、除外された人物は、類似度が算出されなくなる。従って、除外部117は、処理負担を軽減することができる。除外部117は、カメラ20bが撮像した動画像に含まれる人物に該当する人物認証情報が人物認証辞書Dに登録されている場合又は、所定時間が経過した人物認証情報がある場合に、類似度の算出対象から除外する。   The exclusion unit 117 serving as an exclusion unit excludes a predetermined person in the person authentication dictionary D from the target of the similarity calculation unit 114. Thereby, the similarity is not calculated for the excluded person. Therefore, the exclusion unit 117 can reduce the processing load. When the person authentication information corresponding to the person included in the moving image captured by the camera 20b is registered in the person authentication dictionary D, or when there is person authentication information after a predetermined time, the excluding unit 117 has a similarity degree. Are excluded from the calculation target.

まず、カメラ20bが撮像した動画像に含まれる人物に該当する人物認証情報が人物認証辞書Dに登録されている場合について説明する。カメラ20aが売り場M2にいない人物を撮像することはない。従って、除外部117は、売り場M2から退出する人物を除外することで、サーバ装置10の処理負担を軽減することができる。ここで、図2に戻り、カメラ20bは、売り場M2から退出する人物の顔を撮像する方向に向けられている。よって、カメラ20bは、売り場M2から退出する人物を撮像することができる。そして、撮像された動画像に含まれる人物の顔を検出し、特徴量を抽出し、類似度を算出し、類似度を判定することで認証された退出した人物を、除外部117は、類似度の算出対象から除外する。   First, a case where person authentication information corresponding to a person included in a moving image captured by the camera 20b is registered in the person authentication dictionary D will be described. The camera 20a does not capture a person who is not in the sales floor M2. Therefore, the exclusion unit 117 can reduce the processing load on the server device 10 by excluding persons who leave the sales floor M2. Here, referring back to FIG. 2, the camera 20b is directed in a direction to image the face of a person leaving the sales floor M2. Therefore, the camera 20b can capture an image of a person leaving the sales floor M2. Then, the exclusion unit 117 detects the person's face included in the captured moving image, extracts the feature amount, calculates the similarity, and determines the similarity to determine the retired person. Exclude from degree calculation target.

次に、所定時間が経過した人物認証情報がある場合について説明する。除外部117は、所定時間が経過した人物認証情報の人物を類似度の算出対象から除外する。さらに詳しくは、人物が売り場M2を回遊する時間には限度がある。よって、除外部117は、売り場M2にはいないと考えられるので類似度の算出対象から、所定時間が経過した人物認証情報の人物を除外する。これにより、除外部117は、カメラ20bが売り場M2から退出する人物の顔を撮像することができなかった場合でも、類似度の算出対象から除外することができる。または、除外部117は、撮像できても人物認証辞書Dに含まれる人物であると判定できなかった場合であっても、類似度の算出対象から除外することができる。なお、所定時間の起算点は、問わない。一例としては、人物認証辞書Dに人物認証情報が最初に登録された時や、人物認証辞書Dに人物認証情報が最後に登録された時などである。   Next, a case where there is person authentication information for which a predetermined time has elapsed will be described. The excluding unit 117 excludes the person whose personal authentication information has passed a predetermined time from the similarity calculation target. More specifically, there is a limit to the time for a person to travel around the sales floor M2. Therefore, since the exclusion unit 117 is considered not to exist in the sales floor M2, the exclusion unit 117 excludes the person whose personal authentication information has passed a predetermined time from the similarity calculation target. Accordingly, the exclusion unit 117 can exclude from the similarity calculation target even when the camera 20b cannot capture the face of the person leaving the sales floor M2. Alternatively, even if the exclusion unit 117 can capture an image but cannot determine that the person is included in the person authentication dictionary D, it can be excluded from the similarity calculation target. The starting point for the predetermined time is not limited. An example is when the person authentication information is first registered in the person authentication dictionary D or when the person authentication information is registered last in the person authentication dictionary D.

次に、上述した実施形態にかかるサーバ装置10のCPU11が制御プログラムに従って実行する人物認証処理について説明する。実施形態にかかるサーバ装置10は、カメラ20aが撮像した動画像を用いて、人物認証処理を実行する。   Next, a person authentication process executed by the CPU 11 of the server device 10 according to the above-described embodiment according to the control program will be described. The server apparatus 10 according to the embodiment executes person authentication processing using a moving image captured by the camera 20a.

図7は、サーバ装置10のCPU11が制御プログラムに従って実行する人物認証処理の流れを示すフローチャートである。   FIG. 7 is a flowchart showing the flow of person authentication processing executed by the CPU 11 of the server device 10 according to the control program.

まず、サーバ装置10のCPU11(受信部111)は、カメラ20aが撮像した動画像を受信する(ステップS11)。   First, the CPU 11 (reception unit 111) of the server device 10 receives a moving image captured by the camera 20a (step S11).

次いで、サーバ装置10のCPU11(顔検出部112)は、受信した動画像から顔を検出することができるか否かを判定する(ステップS12)。顔を検出することができない場合に(ステップS12;No)、サーバ装置10のCPU11(受信部111)は、ステップS11に戻り、動画像を受信する。   Next, the CPU 11 (face detection unit 112) of the server device 10 determines whether or not a face can be detected from the received moving image (step S12). When a face cannot be detected (step S12; No), the CPU 11 (reception unit 111) of the server device 10 returns to step S11 and receives a moving image.

一方、顔を検出することができた場合に(ステップS12;Yes)、サーバ装置10のCPU11(顔検出部112)は、検出した顔に新規な人物識別情報を割り当てる(ステップS13)。   On the other hand, when the face can be detected (step S12; Yes), the CPU 11 (face detection unit 112) of the server device 10 assigns new person identification information to the detected face (step S13).

次いで、サーバ装置10のCPU11(受信部111)は、受信した動画像を保存する(ステップS14)。次いで、サーバ装置10のCPU11(顔検出部112)は、受信した動画像から検出された顔がフレームアウトしたか否かを判定する(ステップS15)。   Next, the CPU 11 (reception unit 111) of the server device 10 stores the received moving image (step S14). Next, the CPU 11 (face detection unit 112) of the server device 10 determines whether or not the face detected from the received moving image is out of frame (step S15).

検出された顔がフレームアウトしていない場合に(ステップS15;No)、サーバ装置10のCPU11は、ステップS14に戻り、受信している動画像を保存する。   When the detected face is not out of frame (step S15; No), the CPU 11 of the server device 10 returns to step S14 and stores the received moving image.

一方、検出された顔がフレームアウトした場合に(ステップS15;Yes)、サーバ装置10のCPU11(特徴量抽出部113、類似度算出部114、類似度判定部115)は、検出した顔の人物が、人物認証辞書Dに登録された同一人物であるか否かの認証処理を実行する(ステップS16)。さらに詳しくは、サーバ装置10のCPU11は、検出された顔や服飾から特徴量を抽出する。サーバ装置10のCPU11は、抽出した特徴量と、人物認証辞書Dに登録された人物認証情報の特徴量とを比較して類似度を算出する。そして、サーバ装置10のCPU11は、算出された類似度を基に、人物認証辞書Dに登録された人物であるか否かを認証する。   On the other hand, when the detected face is out of frame (step S15; Yes), the CPU 11 (feature amount extraction unit 113, similarity calculation unit 114, similarity determination unit 115) of the server device 10 detects the person of the detected face. Is an authentication process for determining whether or not the same person is registered in the person authentication dictionary D (step S16). More specifically, the CPU 11 of the server device 10 extracts feature amounts from the detected face and clothing. The CPU 11 of the server device 10 compares the extracted feature quantity with the feature quantity of the person authentication information registered in the person authentication dictionary D to calculate the similarity. Then, the CPU 11 of the server device 10 authenticates whether or not the person is registered in the person authentication dictionary D based on the calculated similarity.

次いで、サーバ装置10のCPU11は、人物認証により、検出した顔の人物と同一人物が、人物認証辞書Dに登録されていると認証されたか否かを判定する(ステップS17)。検出した顔の人物と同一人物が、人物認証辞書Dに登録されていると認証された場合に(ステップS17;Yes)、サーバ装置10のCPU11(登録部116)は、人物認証辞書Dの該当する人物識別情報に人物認証情報を追加登録する(ステップS18)。   Next, the CPU 11 of the server device 10 determines whether or not the same person as the detected face person has been registered in the person authentication dictionary D by person authentication (step S17). When it is authenticated that the same person as the detected face person is registered in the person authentication dictionary D (step S17; Yes), the CPU 11 (registration unit 116) of the server device 10 corresponds to the person authentication dictionary D. The person authentication information is additionally registered in the person identification information to be executed (step S18).

一方、検出した顔の人物と同一人物が、人物認証辞書Dに登録されていると認証されなかった場合に(ステップS17;No)、サーバ装置10のCPU11(登録部116)は、ステップS13で割り当てられた人物識別情報を用いて人物認証辞書Dに人物認証情報を新規登録する(ステップS19)。   On the other hand, when it is not authenticated that the same person as the detected face person is registered in the person authentication dictionary D (step S17; No), the CPU 11 (registration unit 116) of the server device 10 in step S13. The person authentication information is newly registered in the person authentication dictionary D using the assigned person identification information (step S19).

以上により、サーバ装置10のCPU11は、人物認証処理を終了する。   As described above, the CPU 11 of the server device 10 ends the person authentication process.

次に、上述した実施形態にかかるサーバ装置10のCPU11が制御プログラムに従って実行する除外処理について説明する。   Next, an exclusion process executed by the CPU 11 of the server device 10 according to the above-described embodiment according to the control program will be described.

図8は、サーバ装置10のCPU11が制御プログラムに従って実行する除外処理の流れを示すフローチャートである。   FIG. 8 is a flowchart showing the flow of exclusion processing executed by the CPU 11 of the server device 10 according to the control program.

まず、サーバ装置10のCPU11(除外部117)は、人物認証辞書Dに登録された人物認証情報が所定時間を経過したか否かを判定する(ステップS21)。所定時間を経過している場合に(ステップS21;Yes)、サーバ装置10のCPU11(除外部117)は、該当する人物認証情報の人物を類似度の算出対象から除外する(ステップS22)。   First, the CPU 11 (exclusion unit 117) of the server device 10 determines whether or not the person authentication information registered in the person authentication dictionary D has passed a predetermined time (step S21). When the predetermined time has passed (step S21; Yes), the CPU 11 (exclusion unit 117) of the server device 10 excludes the person of the corresponding person authentication information from the similarity calculation target (step S22).

一方、所定時間を経過していない場合に(ステップS21;No)、サーバ装置10のCPU11(顔検出部112)は、カメラ20bが撮像し、受信した動画像から顔を検出することができるか否かを判定する(ステップS23)。   On the other hand, if the predetermined time has not elapsed (step S21; No), can the CPU 11 (face detection unit 112) of the server device 10 detect the face from the moving image captured by the camera 20b and received? It is determined whether or not (step S23).

カメラ20bが撮像し、受信した動画像から顔が検出されない場合に(ステップS23;No)、サーバ装置10のCPU11は、ステップS21に戻る。   When the face is not detected from the moving image captured by the camera 20b and received (step S23; No), the CPU 11 of the server device 10 returns to step S21.

一方、カメラ20bが撮像し、受信した動画像から顔を検出した場合に(ステップS23;Yes)、サーバ装置10のCPU11(特徴量抽出部113、類似度算出部114、類似度判定部115)は、検出した顔の人物が、人物認証辞書Dに登録された同一人物であるか否かの認証処理を実行する(ステップS24)。さらに詳しくは、サーバ装置10のCPU11は、検出された顔や服飾の特徴量を抽出する。サーバ装置10のCPU11は、抽出した特徴量と、人物認証辞書Dに登録された人物認証情報の特徴量とを比較して類似度を算出する。そして、サーバ装置10のCPU11は、算出された類似度を基に、人物認証辞書Dに登録された人物であるか否かを認証する。   On the other hand, when a face is detected from the received moving image captured by the camera 20b (step S23; Yes), the CPU 11 of the server device 10 (feature amount extraction unit 113, similarity calculation unit 114, similarity determination unit 115). Performs an authentication process as to whether or not the detected face person is the same person registered in the person authentication dictionary D (step S24). More specifically, the CPU 11 of the server device 10 extracts the detected face and clothing feature quantities. The CPU 11 of the server device 10 compares the extracted feature quantity with the feature quantity of the person authentication information registered in the person authentication dictionary D to calculate the similarity. Then, the CPU 11 of the server device 10 authenticates whether or not the person is registered in the person authentication dictionary D based on the calculated similarity.

次いで、サーバ装置10のCPU11(類似度判定部115)は、人物認証により、検出した顔の人物と同一人物が、人物認証辞書Dに登録されていると認証されたか否かを判定する(ステップS25)。検出した顔の人物と同一人物が、人物認証辞書Dに登録されていると認証されなかった場合に(ステップS25;No)、サーバ装置10のCPU11は、人物識別情報を除外せずに、一連の消去処理を終了する。   Next, the CPU 11 (similarity determination unit 115) of the server device 10 determines whether or not it is authenticated by person authentication that the same person as the detected face person is registered in the person authentication dictionary D (step). S25). When it is not authenticated that the same person as the detected face person is registered in the person authentication dictionary D (step S25; No), the CPU 11 of the server device 10 does not exclude the person identification information, and continues. The erasing process ends.

一方、検出した顔の人物と同一人物が、人物認証辞書Dに登録されていると認証された場合に(ステップS25;Yes)、サーバ装置10のCPU11(除外部117)は、該当する人物認証情報の人物を認証処理から除外する(ステップS22)。   On the other hand, when it is authenticated that the same person as the detected face person is registered in the person authentication dictionary D (step S25; Yes), the CPU 11 (exclusion unit 117) of the server device 10 performs the corresponding person authentication. The person of information is excluded from the authentication process (step S22).

以上により、サーバ装置10のCPU11は、除外処理を終了する。   Thus, the CPU 11 of the server device 10 ends the exclusion process.

以上のように、本実施形態のサーバ装置10によれば、サーバ装置10のCPU11は、カメラ20aが撮像した動画像を受信し、動画像に含まれる人物の顔を検出する。そして、サーバ装置10のCPU11は、検出した人物が、過去に撮像した動画像に含まれていた人物の人物認証情報を登録した人物認証辞書Dに登録された人物であるか否かを認証する。サーバ装置10のCPU11は、検出した人物が、人物認証辞書Dに登録された人物であると認証した場合に、人物認証辞書Dに動画像から抽出した人物認証情報を追加登録する。よって、サーバ装置10のCPU11は、フレームアウトした後、再度フレームインした人物を同一人物であると判断をすることができる。   As described above, according to the server device 10 of the present embodiment, the CPU 11 of the server device 10 receives the moving image captured by the camera 20a and detects a human face included in the moving image. Then, the CPU 11 of the server device 10 authenticates whether or not the detected person is a person registered in the person authentication dictionary D in which person authentication information of a person included in a moving image captured in the past is registered. . When the CPU 11 of the server device 10 authenticates that the detected person is a person registered in the person authentication dictionary D, the CPU 11 additionally registers the person authentication information extracted from the moving image in the person authentication dictionary D. Therefore, the CPU 11 of the server device 10 can determine that the person who has been framed out and then framed in again is the same person.

また、人物認証辞書Dの人物認証情報には、撮像したカメラ20aを識別可能なカメラ識別情報と、撮像時刻が記録される。そして、複数のカメラ20aによって撮像された場合であっても、同一人物の場合には、人物認証辞書Dの同一の人物識別情報に対応付けて人物認証情報が登録される。従って、人物の行動履歴を追跡することもできる。   In addition, in the person authentication information of the person authentication dictionary D, camera identification information that can identify the captured camera 20a and an imaging time are recorded. And even if it is a case where it is a case where it picturizes with a plurality of cameras 20a, in the case of the same person, person authentication information is registered in association with the same person identification information of person authentication dictionary D. Accordingly, it is possible to track the action history of a person.

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。   Although several embodiments of the present invention have been described, these embodiments are presented by way of example and are not intended to limit the scope of the invention. These novel embodiments can be implemented in various other forms, and various omissions, replacements, and changes can be made without departing from the scope of the invention. These embodiments and modifications thereof are included in the scope and gist of the invention, and are included in the invention described in the claims and the equivalents thereof.

なお、上述の実施形態において、サーバ装置10は、カメラ20a、20bが撮像し、順次送信された動画像を受信部111が受信することによって、動画像の入力を受け付けている。しなしながら、動画像の入力方式はこれに限らない。動画像は、カメラ20a、20bが過去に撮像し、撮りためられた動画ファイルなどであってもよい。   In the above-described embodiment, the server device 10 accepts the input of a moving image when the receiving unit 111 receives the moving images sequentially captured by the cameras 20a and 20b. However, the moving image input method is not limited to this. The moving image may be a moving image file captured by the cameras 20a and 20b in the past.

上記実施形態や変形例の各装置で実行されるプログラムは、各装置が備える記憶媒体(ROM又は記憶部)に予め組み込んで提供するものとするが、これに限らないものとする。例えば、インストール可能な形式又は実行可能な形式のファイルでCD−ROM、フレキシブルディスク(FD)、CD−R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。さらに、記憶媒体は、コンピュータ或いは組み込みシステムと独立した媒体に限らず、LANやインターネット等により伝達されたプログラムをダウンロードして記憶又は一時記憶した記憶媒体も含まれる。   The program executed by each device of the above-described embodiment or modification is provided by being incorporated in advance in a storage medium (ROM or storage unit) included in each device, but is not limited thereto. For example, an installable or executable file is recorded on a computer-readable recording medium such as a CD-ROM, a flexible disk (FD), a CD-R, or a DVD (Digital Versatile Disk). You may comprise. Furthermore, the storage medium is not limited to a medium independent of a computer or an embedded system, but also includes a storage medium in which a program transmitted via a LAN, the Internet, or the like is downloaded and stored or temporarily stored.

また、上記実施形態や変形例の各装置で実行されるプログラムをインターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよいし、インターネット等のネットワーク経由で提供又は配布するように構成してもよい。   Further, the program executed by each device of the above-described embodiment or modification may be stored on a computer connected to a network such as the Internet and provided by being downloaded via the network, or the Internet It may be configured to be provided or distributed via a network.

1 人物認証システム
10 サーバ装置
11 CPU
111 受信部
112 顔検出部
113 特徴量抽出部
114 類似度算出部
115 類似度判定部
116 登録部
117 除外部
13 記憶部
D 人物認証辞書
20a、20b カメラ
21 CPU
211 撮像制御部
212 送信部
DESCRIPTION OF SYMBOLS 1 Person authentication system 10 Server apparatus 11 CPU
DESCRIPTION OF SYMBOLS 111 Reception part 112 Face detection part 113 Feature-value extraction part 114 Similarity calculation part 115 Similarity determination part 116 Registration part 117 Exclusion part 13 Memory | storage part D Person authentication dictionary 20a, 20b Camera 21 CPU
211 Imaging control unit 212 Transmission unit

特開2013−65119号公報JP2013-65119A

Claims (6)

撮像部が撮像した撮像データの入力を受け付ける入力手段と、
前記入力手段が入力を受け付けた撮像データから人物を検出する検出手段と、
前記検出手段が検出した人物が、前記撮像部が過去に撮像した撮像データに含まれていた人物が登録された辞書に登録された人物であるか否かを認証する認証手段と、
前記認証手段が事前に登録された人物であると認証した場合に、前記辞書の当該人物に前記撮像部が撮像した撮像データを追加登録する登録手段と、
を備える情報処理装置。
Input means for receiving input of imaging data captured by the imaging unit;
Detecting means for detecting a person from imaging data received by the input means;
Authentication means for authenticating whether the person detected by the detection means is a person registered in a dictionary in which a person included in imaging data captured by the imaging unit in the past is registered;
A registration unit for additionally registering the imaging data captured by the imaging unit to the person in the dictionary when the authentication unit authenticates the person registered in advance;
An information processing apparatus comprising:
前記登録手段は、前記認証手段が前記辞書に登録されていないと判定した場合に、前記撮像部が撮像した撮像データを新規登録する、
請求項1に記載の情報処理装置。
The registration unit newly registers the imaging data captured by the imaging unit when it is determined that the authentication unit is not registered in the dictionary.
The information processing apparatus according to claim 1.
前記認証手段は、前記検出手段が検出した人物の服飾と、前記辞書に登録された人物の服飾とを比較して認証する、
請求項1又は2に記載の情報処理装置。
The authentication means authenticates the person's clothes detected by the detection means by comparing the person's clothes registered in the dictionary.
The information processing apparatus according to claim 1 or 2.
前記辞書の所定の人物を前記認証手段の対象から除外する除外手段を更に備えた、
請求項1乃至3の何れか一項に記載の情報処理装置。
Further comprising an exclusion means for excluding a predetermined person in the dictionary from the object of the authentication means;
The information processing apparatus according to any one of claims 1 to 3.
前記除外手段は、前記登録手段が前記撮像データを登録してから所定の時間が経過した人物を前記認証手段の対象から除外する、
請求項4に記載の情報処理装置。
The excluding unit excludes a person who has passed a predetermined time from the registration unit registering the imaging data from the object of the authentication unit;
The information processing apparatus according to claim 4.
コンピュータを、
撮像部が撮像した撮像データの入力を受け付ける入力手段と、
前記入力手段が入力を受け付けた撮像データから人物を検出する検出手段と、
前記検出手段が検出した人物が、過去に前記撮像部が撮像した撮像データに含まれる人物が登録された辞書に登録された人物であるか否かを認証する認証手段と、
前記認証手段が事前に登録された人物であると認証した場合に、前記辞書の当該人物に前記撮像部が撮像した撮像データを追加登録する登録手段と、
として機能させるためのプログラム。
Computer
Input means for receiving input of imaging data captured by the imaging unit;
Detecting means for detecting a person from imaging data received by the input means;
Authentication means for authenticating whether or not the person detected by the detection means is a person registered in a dictionary in which a person included in imaging data captured by the imaging unit in the past is registered;
A registration unit for additionally registering the imaging data captured by the imaging unit to the person in the dictionary when the authentication unit authenticates the person registered in advance;
Program to function as.
JP2014169913A 2014-08-22 2014-08-22 Information processing apparatus and program Active JP6289308B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014169913A JP6289308B2 (en) 2014-08-22 2014-08-22 Information processing apparatus and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014169913A JP6289308B2 (en) 2014-08-22 2014-08-22 Information processing apparatus and program

Publications (2)

Publication Number Publication Date
JP2016045742A true JP2016045742A (en) 2016-04-04
JP6289308B2 JP6289308B2 (en) 2018-03-07

Family

ID=55636244

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014169913A Active JP6289308B2 (en) 2014-08-22 2014-08-22 Information processing apparatus and program

Country Status (1)

Country Link
JP (1) JP6289308B2 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022058833A (en) * 2018-12-07 2022-04-12 日本電気株式会社 Information processing system, information processing apparatus, information processing method, and program
JP2023115087A (en) * 2018-12-07 2023-08-18 日本電気株式会社 Information processing apparatus, information processing method, and program
JP7334512B2 (en) 2019-07-08 2023-08-29 日本電気株式会社 Verification method, verification device, and program
JP7435837B2 (en) 2018-12-27 2024-02-21 日本電気株式会社 Information processing system, information processing device, information processing method, and program

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009245338A (en) * 2008-03-31 2009-10-22 Secom Co Ltd Face image collating apparatus
JP2009265922A (en) * 2008-04-24 2009-11-12 Toshiba Tec Corp Person flow line tracing system
JP2010055594A (en) * 2008-07-31 2010-03-11 Nec Software Kyushu Ltd Traffic line management system and program
JP2013196043A (en) * 2012-03-15 2013-09-30 Glory Ltd Specific person monitoring system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009245338A (en) * 2008-03-31 2009-10-22 Secom Co Ltd Face image collating apparatus
JP2009265922A (en) * 2008-04-24 2009-11-12 Toshiba Tec Corp Person flow line tracing system
JP2010055594A (en) * 2008-07-31 2010-03-11 Nec Software Kyushu Ltd Traffic line management system and program
JP2013196043A (en) * 2012-03-15 2013-09-30 Glory Ltd Specific person monitoring system

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022058833A (en) * 2018-12-07 2022-04-12 日本電気株式会社 Information processing system, information processing apparatus, information processing method, and program
JP7298729B2 (en) 2018-12-07 2023-06-27 日本電気株式会社 Information processing system, information processing device, information processing method, and program
JP2023115087A (en) * 2018-12-07 2023-08-18 日本電気株式会社 Information processing apparatus, information processing method, and program
JP7371806B2 (en) 2018-12-07 2023-10-31 日本電気株式会社 Information processing device, information processing method, and program
JP7435837B2 (en) 2018-12-27 2024-02-21 日本電気株式会社 Information processing system, information processing device, information processing method, and program
US11928181B2 (en) 2018-12-27 2024-03-12 Nec Corporation Information processing apparatus, information processing method, and program
US11934483B2 (en) 2018-12-27 2024-03-19 Nec Corporation Information processing apparatus, information processing method, and program
JP7334512B2 (en) 2019-07-08 2023-08-29 日本電気株式会社 Verification method, verification device, and program

Also Published As

Publication number Publication date
JP6289308B2 (en) 2018-03-07

Similar Documents

Publication Publication Date Title
US10839227B2 (en) Queue group leader identification
US9626551B2 (en) Collation apparatus and method for the same, and image searching apparatus and method for the same
US11023908B2 (en) Information processing apparatus for performing customer gaze analysis
JP5567853B2 (en) Image recognition apparatus and method
JP5450089B2 (en) Object detection apparatus and object detection method
US10152633B2 (en) Line-of-sight detection device and line-of-sight detection method
JP6589321B2 (en) System, search method and program
JP2019109709A (en) Image processing apparatus, image processing method and program
JP6822482B2 (en) Line-of-sight estimation device, line-of-sight estimation method, and program recording medium
WO2016107638A1 (en) An image face processing method and apparatus
Galdi et al. FIRE: Fast Iris REcognition on mobile phones by combining colour and texture features
JP6289308B2 (en) Information processing apparatus and program
JP2016134803A (en) Image processor and image processing method
JP6803525B2 (en) Face detection device, face detection system equipped with this, and face detection method
JP6157165B2 (en) Gaze detection device and imaging device
US20160203454A1 (en) Information processing apparatus and method for recognizing specific person by the same
JP2019040306A (en) Information processing device, information processing program, and information processing method
CN107231519B (en) Video processing apparatus and control method
JP6631962B2 (en) Monitoring device and monitoring system
JP2016045743A (en) Information processing apparatus and program
JP2019040592A (en) Information processing device, information processing program, and information processing method
JP2017073071A (en) Identity determination program, identity determination device, and identity determination method
JP6944020B2 (en) Information processing device
JP2020086961A (en) Image analysis device, imaging device, image analysis method, and program
JP7103443B2 (en) Information processing equipment, information processing methods, and programs

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20160201

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160715

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170519

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170627

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170825

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180116

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180206

R150 Certificate of patent or registration of utility model

Ref document number: 6289308

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150