JP2011039994A - Component detector, component detection method, program, and recording medium - Google Patents

Component detector, component detection method, program, and recording medium Download PDF

Info

Publication number
JP2011039994A
JP2011039994A JP2009189402A JP2009189402A JP2011039994A JP 2011039994 A JP2011039994 A JP 2011039994A JP 2009189402 A JP2009189402 A JP 2009189402A JP 2009189402 A JP2009189402 A JP 2009189402A JP 2011039994 A JP2011039994 A JP 2011039994A
Authority
JP
Japan
Prior art keywords
component
identification target
component detection
teacher data
attribute
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009189402A
Other languages
Japanese (ja)
Other versions
JP5431830B2 (en
Inventor
Kazuya Ueki
一也 植木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Solution Innovators Ltd
Original Assignee
NEC Solution Innovators Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Solution Innovators Ltd filed Critical NEC Solution Innovators Ltd
Priority to JP2009189402A priority Critical patent/JP5431830B2/en
Publication of JP2011039994A publication Critical patent/JP2011039994A/en
Application granted granted Critical
Publication of JP5431830B2 publication Critical patent/JP5431830B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a component detector for accurately and easily detecting a component even when there is a part hidden in an image to be identified. <P>SOLUTION: The component detector includes: a target image acquiring means 111 for acquiring an image to be identified, a target region detecting means 121 for detecting a region to be identified from the target image by referring to a region extracting model created from region teacher data 141 obtained in advance, and a component detecting means 122 for detecting a component included in the target region by referring to a component extracting model created from component teacher data 142 obtained in advance. <P>COPYRIGHT: (C)2011,JPO&INPIT

Description

本発明は、部品検出装置、部品検出方法、プログラムおよび記録媒体に関する。   The present invention relates to a component detection apparatus, a component detection method, a program, and a recording medium.

画像から特定の顔部品を検出するシステムは、テレビ会議やテレビ電話等の各種の画像通信、データベース検索、ビル監視等のセキュリティシステム、顔による照合システム等、多方面に亘り利用されている。例えば、人物の顔画像から目、眉、鼻孔、口等の顔部品を抽出する方法が提案されている(例えば、特許文献1参照)。しかしながら、前記顔部品が隠れていると抽出が困難となったり、また、類似の顔部品が画像中に存在すると誤検出がされたりするという問題があった。   A system for detecting a specific facial part from an image is used in various fields such as various image communication such as a video conference and a video phone, a database search, a security system such as building monitoring, and a face matching system. For example, a method for extracting facial parts such as eyes, eyebrows, nostrils, and mouth from a human face image has been proposed (see, for example, Patent Document 1). However, there is a problem that extraction is difficult when the face part is hidden, and erroneous detection is performed when a similar face part exists in the image.

近年、セキュリティ上の要請から、現金自動預け払い機(ATM)や販売時点情報管理(POS)システムを搭載したセルフレジの操作において、サングラス、マスク、帽子等を外すよう、呼びかけや掲示がなされたりしているが、無人の場合や時間帯によっては、必ずしも効果は上がっていない。そこで、サングラス等を着用している操作者を検出し、音声による警告や、着用中の操作の制限を行うことのできるシステムが求められている。また、防犯カメラによって撮影された大量の映像アーカイブの中から、サングラス等を着用している犯罪者と思しき人物を探索することのできるシステムが求められている。   In recent years, due to security demands, calls and notices have been made to remove sunglasses, masks, hats, etc. in the operation of self-checkout machines equipped with automatic teller machines (ATMs) and point-of-sale information management (POS) systems. However, the effect is not necessarily improved depending on the unmanned case and time zone. Therefore, there is a need for a system that can detect an operator wearing sunglasses or the like, and can perform a warning by voice or limit an operation while wearing. There is also a need for a system that can search for a person who appears to be a criminal wearing sunglasses or the like from a large number of video archives taken by a security camera.

特開平10−307923号公報Japanese Patent Laid-Open No. 10-307923

しかしながら、例えば、顔の検出を、目を抽出することによって行う場合、(1)識別対象画像中から画像処理により目を抽出する、(2)目が抽出できなかった場合は、サングラスを抽出する、(3)サングラスも抽出できなかった場合は、帽子を抽出する等、目が隠れている場合に、隠れの原因毎に段階的に可能性のあるものを探していくアルゴリズムを構築する必要があり、煩雑である。   However, for example, when face detection is performed by extracting eyes, (1) eyes are extracted from the identification target image by image processing, and (2) sunglasses are extracted when eyes cannot be extracted. (3) If sunglasses cannot be extracted, it is necessary to construct an algorithm that searches for possible items for each cause of hiding when the eyes are hidden, such as extracting a hat. Yes, it is complicated.

そこで、本発明は、識別対象画像中に隠れている部品がある場合でも、部品を高精度かつ容易に検出可能な部品検出装置、部品検出方法、プログラムおよび記録媒体を提供することを目的とする。   Therefore, an object of the present invention is to provide a component detection apparatus, a component detection method, a program, and a recording medium that can detect a component with high accuracy and easily even when there is a component hidden in the identification target image. .

前記目的を達成するために、本発明の部品検出装置は、識別対象画像を取得する識別対象画像取得手段と、
予め取得した識別対象領域教師データから作成される識別対象領域抽出モデルを参照して、前記識別対象画像から識別対象領域を検出する識別対象領域検出手段と、
予め取得した部品教師データから作成される部品抽出モデルを参照して、前記識別対象領域に含まれる部品を検出する部品検出手段とを含むことを特徴とする。
In order to achieve the above object, the component detection apparatus of the present invention includes an identification target image acquisition unit that acquires an identification target image;
An identification target area detecting means for detecting an identification target area from the identification target image with reference to an identification target area extraction model created from the identification target area teacher data acquired in advance;
And a component detection unit that detects a component included in the identification target region with reference to a component extraction model created from component teacher data acquired in advance.

本発明の部品検出方法は、識別対象画像を取得する識別対象画像取得工程と、
予め取得した識別対象領域教師データから作成される識別対象領域抽出モデルを参照して、前記識別対象画像から識別対象領域を検出する識別対象領域検出工程と、
予め取得した部品教師データから作成される部品抽出モデルを参照して、前記識別対象領域に含まれる部品を検出する部品検出工程とを含むことを特徴とする。
The component detection method of the present invention includes an identification target image acquisition step of acquiring an identification target image,
An identification target area detection step of detecting an identification target area from the identification target image with reference to an identification target area extraction model created from the identification target area teacher data acquired in advance;
A component detection step of detecting a component included in the identification target region with reference to a component extraction model created from component teacher data acquired in advance.

本発明のプログラムは、前記本発明の部品検出方法をコンピュータに実行させることを特徴とする。   The program of the present invention causes a computer to execute the component detection method of the present invention.

本発明の記録媒体は、前記本発明のプログラムを記録していることを特徴とする。   The recording medium of the present invention records the program of the present invention.

本発明によれば、識別対象画像中に隠れている部品がある場合でも、部品を高精度かつ容易に検出可能な部品検出装置、部品検出方法、プログラムおよび記録媒体を提供することができる。   According to the present invention, it is possible to provide a component detection apparatus, a component detection method, a program, and a recording medium that can detect a component with high accuracy and easily even when there is a component hidden in the identification target image.

図1(A)は、本発明の部品検出方法の一例を示すフローチャートであり、図1(B)は、本発明の部品検出装置の一例を示すブロック図である。FIG. 1A is a flowchart showing an example of the component detection method of the present invention, and FIG. 1B is a block diagram showing an example of the component detection apparatus of the present invention. 図2(A)は、本発明の部品検出方法のその他の例を示すフローチャートであり、図2(B)は、本発明の部品検出装置のその他の例を示すブロック図である。FIG. 2A is a flowchart showing another example of the component detection method of the present invention, and FIG. 2B is a block diagram showing another example of the component detection apparatus of the present invention. 図3(A)は、本発明の部品検出方法のさらにその他の例を示すフローチャートであり、図3(B)は、本発明の部品検出装置のさらにその他の例を示すブロック図である。FIG. 3A is a flowchart showing still another example of the component detection method of the present invention, and FIG. 3B is a block diagram showing still another example of the component detection apparatus of the present invention. 図4は、本発明における識別対象領域教師データの取得の一例について説明するための図である。FIG. 4 is a diagram for explaining an example of acquisition of identification target area teacher data according to the present invention. 図5(A)〜(C)は、本発明における部品教師データの取得例について説明するための図である。FIGS. 5A to 5C are diagrams for explaining an example of acquisition of component teacher data in the present invention. 図6(A)および(B)は、本発明の識別対象領域検出工程の一例について説明するための図である。6A and 6B are diagrams for explaining an example of the identification target region detection step of the present invention. 図7(A)〜(C)は、本発明の部品検出工程の例について説明するための図である。7A to 7C are diagrams for explaining an example of the component detection step of the present invention. 図8は、本発明の部品検出装置を用いた部品検出システムの一例の構成を示すブロック図である。FIG. 8 is a block diagram showing a configuration of an example of a component detection system using the component detection apparatus of the present invention.

つぎに、本発明の部品検出装置、部品検出方法、プログラムおよび記憶媒体について、例をあげて説明する。ただし、本発明は、下記の例に限定されない。   Next, the component detection apparatus, component detection method, program, and storage medium of the present invention will be described with examples. However, the present invention is not limited to the following examples.

(実施形態1)
図1に、本実施形態における部品検出方法のフローチャート(同図(A))および部品検出装置のブロック図(同図(B))を示す。図1(B)に示すとおり、本実施形態の部品検出装置は、識別対象画像取得手段111、演算手段120、出力手段131およびデータ記憶手段140を主要な構成部材として含む。前記データ記憶手段140には、予め取得した識別対象領域教師データ141および部品教師データ142が格納されており、前記演算手段120は、識別対象領域検出手段121および部品検出手段122を含む。前記識別対象領域検出手段121は、前記識別対象領域教師データ141と接続している。前記部品検出手段122は、前記部品教師データ142と接続している。前記識別対象画像取得手段111としては、例えば、CCD(Charge Coupled Device)カメラ、CMOS(Complementary Metal Oxide Semiconductor)カメラ、イメージスキャナ等があげられる。前記演算手段120としては、例えば、中央処理装置(CPU)等があげられる。前記出力手段131としては、例えば、映像により出力するモニター(例えば、液晶ディスプレイ(LCD)、ブラウン管(CRT)ディスプレイ等の各種画像表示装置等)、印刷により出力するプリンター、音声により出力するスピーカー等があげられる。前記出力手段131は、任意の構成部材であり、本発明の部品検出装置に含まれていなくてもよいが、含まれていることが好ましい。前記データ記憶手段140としては、例えば、ランダムアクセスメモリ(RAM)、読み出し専用メモリ(ROM)、ハードディスク(HD)、光ディスク、フロッピー(登録商標)ディスク(FD)等があげられる。前記データ記憶手段140は、装置内蔵型であってもよいし、外部記憶装置のような外付け型であってもよい。前記識別対象画像取得手段、前記演算手段、前記出力手段および前記データ記憶手段については、後述の実施形態2、3および5においても同様である。
(Embodiment 1)
FIG. 1 shows a flowchart of the component detection method according to the present embodiment (FIG. 1A) and a block diagram of the component detection apparatus (FIG. 1B). As shown in FIG. 1B, the component detection apparatus of this embodiment includes an identification target image acquisition unit 111, a calculation unit 120, an output unit 131, and a data storage unit 140 as main components. The data storage unit 140 stores identification target area teacher data 141 and component teacher data 142 acquired in advance, and the calculation unit 120 includes an identification target region detection unit 121 and a component detection unit 122. The identification target area detection unit 121 is connected to the identification target area teacher data 141. The component detection unit 122 is connected to the component teacher data 142. Examples of the identification target image acquisition unit 111 include a CCD (Charge Coupled Device) camera, a CMOS (Complementary Metal Oxide Semiconductor) camera, and an image scanner. Examples of the arithmetic unit 120 include a central processing unit (CPU). Examples of the output means 131 include a monitor that outputs video (for example, various image display devices such as a liquid crystal display (LCD) and a cathode ray tube (CRT) display), a printer that outputs by printing, a speaker that outputs by sound, and the like. can give. The output means 131 is an arbitrary component and may not be included in the component detection apparatus of the present invention, but is preferably included. Examples of the data storage means 140 include a random access memory (RAM), a read-only memory (ROM), a hard disk (HD), an optical disk, a floppy (registered trademark) disk (FD), and the like. The data storage unit 140 may be a device built-in type or an external type such as an external storage device. The identification target image acquisition unit, the calculation unit, the output unit, and the data storage unit are the same in the second, third, and fifth embodiments described later.

本発明において、識別対象領域は、特に限定されず、例えば、人物、人物の頭部、動物、乗用車等、いかなるものであってもよい。   In the present invention, the identification target area is not particularly limited, and may be any person such as a person, a person's head, an animal, and a passenger car.

本発明において、部品も、前記識別対象領域に含まれるものであれば、特に限定されず、いかなるものであってもよい。例えば、前記識別対象領域が人物である場合、前記部品としては、例えば、頭部、胴体、左手、右手、左脚、右脚等があげられる。例えば、前記識別対象領域が人物の頭部である場合、前記部品としては、例えば、左目、右目、鼻、口、左眉、右眉、左耳、右耳等があげられる。例えば、前記識別対象領域が動物である場合、前記部品としては、例えば、頭部、胴体、脚部、尻尾等があげられる。例えば、前記識別対象領域が乗用車である場合、前記部品としては、例えば、車体、タイヤ等があげられる。   In the present invention, the component is not particularly limited as long as it is included in the identification target region, and any component may be used. For example, when the identification target region is a person, examples of the component include a head, a torso, a left hand, a right hand, a left leg, and a right leg. For example, when the identification target region is a human head, examples of the component include a left eye, a right eye, a nose, a mouth, a left eyebrow, a right eyebrow, a left ear, and a right ear. For example, when the identification target region is an animal, examples of the component include a head, a trunk, a leg, and a tail. For example, when the identification target region is a passenger car, examples of the component include a vehicle body and a tire.

以下、前記識別対象領域が人物の頭部(以下、単に「頭部」ということがある)であり、前記部品が、左目、右目、鼻および口の4つである場合を例にとり、本実施形態の部品検出装置および部品検出方法について、さらに詳細に説明する。   Hereinafter, the present embodiment will be described by taking as an example the case where the identification target area is a human head (hereinafter, simply referred to as “head”) and the parts are four of a left eye, a right eye, a nose, and a mouth. The component detection device and the component detection method of the embodiment will be described in more detail.

この例の部品検出方法は、図1(B)の部品検出装置を用いて、例えば、つぎのようにして実施する。   The component detection method of this example is implemented as follows using the component detection apparatus of FIG. 1 (B), for example.

まず、前記部品検出方法の実施に先立ち、機械学習(パターン認識)の技術を用いて学習を行う。具体的には、まず、学習用画像の前記識別対象領域(頭部)に識別対象領域教師データ141を付与する。この例において、前記識別対象領域教師データ141としては、例えば、頭部の位置、大きさ、向き等の教師データがあげられる。具体的には、例えば、図4に示すように、まず、学習用画像10の頭部にラベリング11を付すことで、前記頭部の位置および大きさの教師データを付与する。さらに、例えば、1度単位での向きデータ(例えば、左向き3度)、8方向に準じた向きデータ(例えば、斜め左)等の前記頭部の向きの教師データを付与する。前記頭部の位置、大きさ、向き等の教師データは、例えば、キーボード、マウス等の従来公知の入力手段を用いて、人が入力することで付与する。検出精度を考慮すると、前記学習用画像10の数は多いほど好ましく、多数用意した学習用画像10に、多数の頭部の位置、大きさおよび向き等の識別対象領域教師データ141を付与することが好ましい。   First, prior to the implementation of the component detection method, learning is performed using a machine learning (pattern recognition) technique. Specifically, first, identification target area teacher data 141 is given to the identification target area (head) of the learning image. In this example, the identification target area teacher data 141 includes teacher data such as the position, size, and orientation of the head. Specifically, for example, as shown in FIG. 4, first, by attaching a labeling 11 to the head of the learning image 10, teacher data of the position and size of the head is given. Furthermore, teacher data of the head orientation such as orientation data in units of 1 degree (for example, 3 degrees to the left) and orientation data in accordance with 8 directions (for example, diagonally left) is given. Teacher data such as the position, size, and orientation of the head is given by a person using a conventionally known input means such as a keyboard and a mouse. In consideration of detection accuracy, the number of learning images 10 is preferably as large as possible, and identification target region teacher data 141 such as the position, size, and orientation of a large number of heads is assigned to a large number of learning images 10 prepared. Is preferred.

つぎに、識別対象領域教師データ141が付与された識別対象領域(頭部)に含まれる顔部品(左目、右目、鼻および口)に部品教師データ142を付与する。この例において、前記部品教師データ142としては、例えば、左目、右目、鼻および口のそれぞれの位置および隠れの有無等の教師データがあげられる。具体的には、例えば、図5(A)に示すように、まず、図4における頭部のラベリング11に含まれる左目、右目、鼻および口のそれぞれに○でラベリング12a〜15aを付すことで、前記左目、前記右目、前記鼻および前記口のそれぞれの位置の教師データ(例えば、(x,y)座標)およびそれらに隠れが無いとの教師データを付与する。なお、例えば、図5(B)に示すように、前記左目および前記右目がサングラスで隠れている場合、前記左目および前記右目のそれぞれに×でラベリング12bおよび13bを付すことで、前記左目および前記右目のそれぞれの位置の教師データ(例えば、(x,y)座標)およびそれらに隠れが有るとの教師データを付与する。この場合において、前記鼻および前記口のラベリングおよび教師データの付与については、前述の図5(A)に示した場合と同様である。また、例えば、図5(C)に示すように、前記鼻および前記口がマスクで隠れている場合、前記鼻および前記口のそれぞれに×でラベリング14bおよび15bを付すことで、前記鼻および前記口のそれぞれの位置の教師データ(例えば、(x,y)座標)およびそれらに隠れが有るとの教師データを付与する。この場合において、前記左目および前記右目のラベリングおよび教師データの付与については、前述の図5(A)に示した場合と同様である。前記左目、前記右目、前記鼻および前記口のそれぞれの位置および隠れの有無等の教師データは、例えば、キーボード、マウス等の従来公知の入力手段を用いて、人が入力することで付与する。   Next, the part teacher data 142 is assigned to the face parts (left eye, right eye, nose and mouth) included in the identification target area (head) to which the identification target area teacher data 141 is assigned. In this example, examples of the component teacher data 142 include teacher data such as the positions of the left eye, the right eye, the nose and the mouth, and the presence / absence of hiding. Specifically, for example, as shown in FIG. 5 (A), first, labeling 12a to 15a is attached with ○ to each of the left eye, right eye, nose and mouth included in the head labeling 11 in FIG. , Teacher data (for example, (x, y) coordinates) of the positions of the left eye, the right eye, the nose and the mouth, and teacher data indicating that they are not hidden. For example, as shown in FIG. 5 (B), when the left eye and the right eye are hidden by sunglasses, the left eye and the right eye are labeled by adding labeling 12b and 13b to each of the left eye and the right eye. Teacher data (for example, (x, y) coordinates) at each position of the right eye and teacher data indicating that they are hidden are assigned. In this case, the labeling of the nose and the mouth and the provision of teacher data are the same as those shown in FIG. Also, for example, as shown in FIG. 5C, when the nose and the mouth are hidden by a mask, the nose and the mouth can be obtained by attaching labeling 14b and 15b with x to the nose and the mouth, respectively. Teacher data (for example, (x, y) coordinates) at each position of the mouth and teacher data indicating that they are hidden are given. In this case, the labeling of the left eye and the right eye and the assignment of teacher data are the same as those shown in FIG. Teacher data such as the position of each of the left eye, the right eye, the nose and the mouth and the presence / absence of hiding are given by a person using a conventionally known input means such as a keyboard and a mouse.

つぎに、図1(A)および(B)に示すように、前記識別対象画像取得手段111により、識別対象画像を取得する(ステップS11)。   Next, as shown in FIGS. 1A and 1B, an identification target image is acquired by the identification target image acquisition unit 111 (step S11).

つぎに、図1(A)および(B)に示すように、前記識別対象領域検出手段121により、予め取得した前記識別対象領域教師データ141から作成される識別対象領域抽出モデルを参照して、前記識別対象画像から識別対象領域データを検出する(ステップS21)。この例において、前記識別対象領域データとしては、例えば、頭部の位置、大きさ、向き等のデータがあげられる。前記頭部の位置、大きさ、向きのデータの詳細は、前記頭部の位置、大きさ、向きの教師データと同様である。具体的には、例えば、図6(A)に示すように、予め取得した前記識別対象領域教師データ141から作成される識別対象領域抽出モデルを参照して、前記識別対象画像20の左上端から水平方向に、それを順に下の行に向かって探索するいわゆるラスタスキャンで、頭部を探索する。頭部を検出できなかった場合には、図6(B)に示すように、前記識別対象画像20の取得サイズを変えて、予め取得した前記識別対象領域教師データ141から作成される識別対象領域抽出モデルを参照して、前記ラスタスキャンで、頭部を探索する。前記取得サイズの変更を、頭部が検出されるまで繰り返すことで、前記頭部の位置、大きさ、向き等のデータを検出する。   Next, as shown in FIGS. 1 (A) and 1 (B), the identification target area extraction model created from the identification target area teacher data 141 acquired in advance by the identification target area detection means 121 is referred to. Identification target area data is detected from the identification target image (step S21). In this example, examples of the identification target area data include data such as the position, size, and orientation of the head. Details of the position, size, and orientation data of the head are the same as the teacher data for the position, size, and orientation of the head. Specifically, for example, as shown in FIG. 6A, with reference to the identification target region extraction model created from the identification target region teacher data 141 acquired in advance, from the upper left end of the identification target image 20 The head is searched by a so-called raster scan in which it is searched in the horizontal direction in order toward the lower row. If the head cannot be detected, as shown in FIG. 6B, the identification target area created from the identification target area teacher data 141 acquired in advance by changing the acquisition size of the identification target image 20 With reference to the extracted model, the head is searched by the raster scan. By repeating the change of the acquisition size until the head is detected, data such as the position, size, and orientation of the head is detected.

つぎに、図1(A)および(B)に示すように、前記部品検出手段122により、予め取得した前記部品教師データ142から作成される部品抽出モデルを参照して、前記識別対象領域に含まれる顔部品のデータを検出する(ステップS22)。この例において、前記顔部品データとしては、例えば、左目、右目、鼻および口のそれぞれの位置および隠れの有無等のデータがあげられる。前記左目、前記右目、前記鼻および前記口のそれぞれの位置および隠れの有無のデータの詳細は、前記左目、前記右目、前記鼻および前記口のそれぞれの位置および隠れの有無の教師データと同様である。具体的には、例えば、図7(A)に示すように、予め取得した前記部品教師データ142から作成される部品抽出モデルを参照して、左目、右目、鼻および口をそれぞれ検出する。ついで、前記左目、前記右目、前記鼻および前記口のそれぞれに○でラベリング22a〜25aを付し、前記左目、前記右目、前記鼻および前記口のそれぞれの位置のデータ(例えば、(x,y)座標)およびそれらに隠れが無いとのデータを検出する。なお、例えば、図7(B)に示すように、前記左目および前記右目がサングラスで隠れている場合、前記左目および前記右目のそれぞれに×でラベリング22bおよび23bを付し、前記左目および前記右目のそれぞれの位置のデータ(例えば、(x,y)座標)およびそれらに隠れが有るとのデータを検出する。この場合において、前記鼻および前記口のデータの検出については、前述の図7(A)に示した場合と同様である。また、例えば、図7(C)に示すように、前記鼻および前記口がマスクで隠れている場合、前記鼻および前記口のそれぞれに×でラベリング24bおよび25bを付し、前記鼻および前記口のそれぞれの位置のデータ(例えば、(x,y)座標)およびそれらに隠れが有るとのデータを検出する。この場合において、前記左目および前記右目のデータの検出については、前述の図7(A)に示した場合と同様である。   Next, as shown in FIGS. 1A and 1B, the component detection unit 122 refers to a component extraction model created from the component teacher data 142 acquired in advance, and is included in the identification target region. The detected face part data is detected (step S22). In this example, the face part data includes, for example, data of the positions of the left eye, right eye, nose and mouth, and the presence / absence of hiding. The details of the data on the positions of the left eye, the right eye, the nose and the mouth and the presence / absence of hiding are the same as the teacher data on the positions of the left eye, the right eye, the nose and the mouth and the presence / absence of the hiding. is there. Specifically, for example, as shown in FIG. 7A, the left eye, the right eye, the nose, and the mouth are detected with reference to the part extraction model created from the part teacher data 142 acquired in advance. Then, the left eye, the right eye, the nose and the mouth are labeled with a circle 22a to 25a, respectively, and the position data of the left eye, the right eye, the nose and the mouth (for example, (x, y ) Coordinates) and data that they are not hidden are detected. For example, as shown in FIG. 7B, when the left eye and the right eye are hidden by sunglasses, the left eye and the right eye are labeled with x and labeled 22b and 23b, respectively. Data of each position (for example, (x, y) coordinates) and data indicating that they are hidden are detected. In this case, the detection of the data of the nose and the mouth is the same as the case shown in FIG. Further, for example, as shown in FIG. 7C, when the nose and the mouth are hidden by a mask, labeling 24b and 25b are attached to the nose and the mouth with x, respectively, and the nose and the mouth Data of each position (for example, (x, y) coordinates) and data indicating that they are hidden are detected. In this case, the detection of the data for the left eye and the right eye is the same as that shown in FIG.

つぎに、図1(A)および(B)に示すように、前記出力手段131により、前記識別対象領域データおよび前記顔部品データのうち、少なくとも前記顔部品データを出力する(ステップS31)。出力される前記識別対象領域データとしては、例えば、頭部の位置(例えば、(x,y)座標)、大きさ、向きのデータ等があげられる。出力される前記顔部品データとしては、例えば、左目および右目に隠れが有るとのデータ等があげられる。前記出力工程S31は、任意の工程であり、本発明の部品検出方法に含まれていなくてもよいが、含まれていることが好ましい。   Next, as shown in FIGS. 1A and 1B, the output unit 131 outputs at least the face part data among the identification target region data and the face part data (step S31). Examples of the identification target region data to be output include head position (for example, (x, y) coordinates), size, and orientation data. Examples of the face part data to be output include data indicating that the left eye and the right eye are hidden. The output step S31 is an optional step and may not be included in the component detection method of the present invention, but is preferably included.

前述のように、本実施形態の部品検出装置および部品検出方法では、その実施に先立ち、機械学習(パターン認識)の技術を用いて、識別対象領域教師データおよび部品教師データを予め取得しておき、それらから作成される識別対象領域抽出モデルおよび部品抽出モデルを参照して識別対象領域データおよび顔部品データの検出を行う。このため、本実施形態の部品検出装置および部品検出方法によれば、識別対象領域データおよび顔部品データを高精度かつ容易に検出可能である。前述のとおり、本実施形態では、前記部品教師データに左目等の顔部品が隠れているものを含ませているため、識別対象画像において、前記顔部品が隠れている場合においても、前記顔部品データを高精度かつ容易に検出可能である。これらについては、後述の実施形態2および3においても同様である。   As described above, in the component detection apparatus and component detection method of this embodiment, prior to the implementation, the identification target region teacher data and the component teacher data are acquired in advance using a machine learning (pattern recognition) technique. Then, the identification target area data and the face part data are detected with reference to the identification target area extraction model and the part extraction model created from them. For this reason, according to the component detection apparatus and component detection method of the present embodiment, it is possible to easily detect the identification target area data and the facial component data with high accuracy. As described above, in the present embodiment, since the part teacher data includes a face part such as a left eye that is hidden, the face part is hidden even when the face part is hidden in the identification target image. Data can be detected with high accuracy and ease. The same applies to later-described Embodiments 2 and 3.

本実施形態では、前記学習用画像および前記識別対象画像として、一人の人物の画像を用いたが、本発明はこれに限定されない。前記学習用画像に二人以上の人物の画像を含ませ、機械学習(パターン認識)の技術を用いて、識別対象領域教師データおよび部品教師データを予め取得しておくことで、前記識別対象画像が二人以上の人物の画像であっても、それぞれの人物の識別対象領域データおよび部品データを高精度かつ容易に検出可能である。これについては、後述の実施形態2および3においても同様である。   In the present embodiment, an image of one person is used as the learning image and the identification target image, but the present invention is not limited to this. By including images of two or more persons in the learning image and using the machine learning (pattern recognition) technique, the identification target region teacher data and the component teacher data are acquired in advance, thereby the identification target image. Even if it is an image of two or more persons, it is possible to easily detect the identification target area data and the component data of each person with high accuracy. The same applies to later-described Embodiments 2 and 3.

前述のとおり、本発明においては、前記学習用画像および前記識別対象画像として、例えば、人物の画像を用いてもよい。前記学習用画像に二人の人物が重なり、脚が三本に見える画像を含ませ、機械学習(パターン認識)の技術を用いて、識別対象領域教師データおよび部品教師データを予め取得しておくことで、前記識別対象画像が二人の人物が重なり、脚が三本に見える画像であっても、前記三本の脚のうちの一本を、動物の尻尾であると誤検出するようなことがない。これについては、後述の実施形態2および3においても同様である。   As described above, in the present invention, for example, a person image may be used as the learning image and the identification target image. The learning image includes an image in which two persons are overlapped and three legs are seen, and identification target region teacher data and component teacher data are acquired in advance using a machine learning (pattern recognition) technique. Thus, even if the identification target image is an image in which two persons overlap and the legs look three, one of the three legs is erroneously detected as the tail of an animal. There is nothing. The same applies to later-described Embodiments 2 and 3.

(実施形態2)
つぎに、図2に、属性認識を含む例のフローチャート(同図(A))およびブロック図(同図(B))を示す。同図において、図1と同一部分には、同一符号を付している。同図(B)に示すように、本実施形態の部品検出装置は、さらに、前記データ記憶手段140に、属性認識用教師データ143が格納され、前記演算手段120が、属性認識手段123を含む点を除き、図1(B)に示す部品検出装置と同様の構成である。前記属性認識手段123は、前記属性認識用教師データ143と接続している。
(Embodiment 2)
Next, FIG. 2 shows a flowchart (FIG. 2A) and a block diagram (FIG. 2B) of an example including attribute recognition. In this figure, the same parts as those in FIG. As shown in FIG. 5B, in the component detection apparatus of the present embodiment, attribute recognition teacher data 143 is further stored in the data storage unit 140, and the calculation unit 120 includes an attribute recognition unit 123. Except for this point, the configuration is the same as that of the component detection apparatus shown in FIG. The attribute recognition unit 123 is connected to the attribute recognition teacher data 143.

以下、実施形態1と同様に、前記識別対象領域が頭部であり、前記部品が左目、右目、鼻および口の4つである場合を例にとり、本実施形態の部品検出装置および部品検出方法について、さらに詳細に説明する。   Hereinafter, in the same manner as in the first embodiment, the component detection apparatus and the component detection method according to the present embodiment are described by taking, as an example, the case where the identification target region is the head and the components are the left eye, right eye, nose, and mouth. Will be described in more detail.

この例の部品検出方法は、図2(B)の部品検出装置を用いて、例えば、つぎのようにして実施される。   The component detection method of this example is implemented as follows using the component detection apparatus of FIG. 2 (B), for example.

まず、前記部品検出方法の実施に先立ち、機械学習(パターン認識)の技術を用いて学習を行う。具体的には、まず、実施形態1と同様にして、学習用画像の識別対象領域(頭部)に識別対象領域教師データ141を付与する。   First, prior to the implementation of the component detection method, learning is performed using a machine learning (pattern recognition) technique. Specifically, first, similarly to the first embodiment, the identification target area teacher data 141 is given to the identification target area (head) of the learning image.

つぎに、実施形態1と同様にして、識別対象領域教師データ141が付与された識別対象領域(頭部)に含まれる顔部品(左目、右目、鼻および口)に部品教師データ142を付与する。   Next, in the same manner as in the first embodiment, the part teacher data 142 is assigned to the facial parts (left eye, right eye, nose and mouth) included in the identification target area (head) to which the identification target area teacher data 141 is assigned. .

つぎに、前記識別対象領域教師データ141に属性を付与することで、属性認識用教師データ143を取得する。この例において、前記属性としては、例えば、被り物(例えば、帽子、フード等)の有無、眼鏡の有無、サングラスの有無、マスクの有無、性別、推定年齢等があげられる。前記属性は、例えば、キーボード、マウス等の従来公知の入力手段を用いて、人が付与する。   Next, attribute recognition teacher data 143 is acquired by assigning an attribute to the identification target region teacher data 141. In this example, the attributes include, for example, the presence / absence of a cover (eg, hat, hood, etc.), the presence / absence of glasses, the presence / absence of sunglasses, the presence / absence of a mask, gender, estimated age, and the like. The attribute is given by a person using conventionally known input means such as a keyboard and a mouse.

つぎに、図2(A)および(B)に示すように、実施形態1と同様にして、前記識別対象画像取得手段111により、識別対象画像を取得する(ステップS11)。   Next, as shown in FIGS. 2A and 2B, the identification target image is acquired by the identification target image acquisition unit 111 in the same manner as in the first embodiment (step S11).

つぎに、図2(A)および(B)に示すように、実施形態1と同様にして、前記識別対象領域検出手段121により、予め取得した前記識別対象領域教師データ141から作成される識別対象領域抽出モデルを参照して、前記識別対象画像から識別対象領域データを検出する(ステップS21)。   Next, as shown in FIGS. 2A and 2B, as in the first embodiment, the identification target created from the identification target area teacher data 141 acquired in advance by the identification target area detection unit 121. With reference to the region extraction model, identification target region data is detected from the identification target image (step S21).

つぎに、図2(A)および(B)に示すように、実施形態1と同様にして、前記部品検出手段122により、予め取得した前記部品教師データ142から作成される部品抽出モデルを参照して、前記識別対象領域に含まれる顔部品のデータを検出する(ステップS22)。   Next, as shown in FIGS. 2A and 2B, the component extraction model created from the component teacher data 142 acquired in advance by the component detection unit 122 is referred to as in the first embodiment. Then, the data of the face part included in the identification target area is detected (step S22).

つぎに、図2(A)および(B)に示すように、予め取得した前記属性認識用教師データ143から作成される属性抽出モデルを参照して、前記顔部品の属性を認識する(ステップS23)。前記属性は、前記識別対象領域教師データ141に付与したものと同じである。   Next, as shown in FIGS. 2A and 2B, the attribute of the face part is recognized with reference to the attribute extraction model created from the attribute recognition teacher data 143 acquired in advance (step S23). ). The attribute is the same as that given to the identification target area teacher data 141.

つぎに、図2(A)および(B)に示すように、前記出力手段131により、前記識別対象領域データ、前記顔部品データおよび前記属性のうち、少なくとも前記顔部品データを出力する(ステップS31)。出力される前記識別対象領域データおよび顔部品データは、実施形態1と同様である。出力される前記属性としては、例えば、被り物が無い、眼鏡が無い、マスクが無い等の属性があげられる。前記出力工程S31は、任意の工程であり、本発明の部品検出方法に含まれていなくてもよいが、含まれていることが好ましい。   Next, as shown in FIGS. 2A and 2B, the output unit 131 outputs at least the face part data among the identification target area data, the face part data, and the attribute (step S31). ). The output identification target area data and face part data are the same as those in the first embodiment. Examples of the output attribute include attributes such as no cover, no glasses, and no mask. The output step S31 is an optional step and may not be included in the component detection method of the present invention, but is preferably included.

実施形態1における各顔部品の隠れの有無は、前記教師データの取得および前記データの検出に加え、もしくは代えて、本実施形態における前記属性の付与および前記属性の認識で判定してもよい。これについては、後述の実施形態3においても同様である。   Whether or not each face part is hidden in the first embodiment may be determined by adding the attribute and recognizing the attribute in the present embodiment in addition to or instead of acquiring the teacher data and detecting the data. The same applies to the third embodiment described later.

前述のように、本実施形態の部品検出装置および部品検出方法では、その実施に先立ち、機械学習(パターン認識)の技術を用いて取得した識別対象領域教師データに属性を付与した属性認識用教師データを予め取得しておき、それから作成される属性抽出モデル参照して属性を認識する。このため、本実施形態の部品検出装置および部品検出方法によれば、属性を高精度かつ容易に認識可能である。これについては、後述の実施形態3においても同様である。   As described above, in the component detection apparatus and the component detection method of the present embodiment, the attribute recognition teacher in which attributes are added to the identification target region teacher data acquired using the machine learning (pattern recognition) technique prior to the implementation. Data is acquired in advance, and attributes are recognized with reference to an attribute extraction model created therefrom. For this reason, according to the component detection apparatus and component detection method of this embodiment, an attribute can be recognized with high accuracy and easily. The same applies to the third embodiment described later.

本実施形態の部品検出装置および部品検出方法を用いれば、例えば、左目および右目に隠れが有るとの顔部品データが検出され、サングラスが有るとの属性が認識された場合に、サングラスを外すよう音声により警告したり、着用中の操作の制限を行うことのできるシステムを構築できる。また、本実施形態の部品検出装置および部品検出方法を用いれば、例えば、鼻に隠れが無く、口に隠れが有るとの顔部品データが検出され、マスクが有るとの属性が認定された場合に、マスクで鼻まで覆うよう音声により警告することのできるシステムを構築できる。さらに、本実施形態の部品検出装置および部品検出方法を用いれば、例えば、左目、右目、鼻および口に隠れが有るとの顔部品データが検出され、サングラスおよびマスクが有るとの属性が認識される識別対象画像の抽出により、犯罪者と思しき人物を探索するシステムを構築できる。これらについては、後述の実施形態3においても同様である。   Using the component detection apparatus and the component detection method of this embodiment, for example, when face component data indicating that there is a hiding in the left eye and the right eye is detected, and an attribute indicating that sunglasses is present is recognized, the sunglasses are removed. It is possible to construct a system that can warn by voice and limit operations while wearing. Further, when the component detection device and the component detection method of the present embodiment are used, for example, face component data indicating that there is no hiding in the nose and hiding in the mouth is detected, and an attribute that there is a mask is recognized. In addition, it is possible to construct a system capable of warning by voice so as to cover the nose with a mask. Furthermore, using the component detection apparatus and the component detection method of the present embodiment, for example, facial component data indicating that the left eye, right eye, nose and mouth are hidden is detected, and the attribute indicating that sunglasses and a mask are present is recognized. A system for searching for a person who seems to be a criminal can be constructed by extracting an identification target image. The same applies to Embodiment 3 described later.

本実施形態では、属性認識用教師データの取得および属性の認識を、それぞれ、部品教師データの取得および顔部品データの検出の後に行ったが、本発明はこれに限定されず、属性認識用教師データの取得および属性の認識を、それぞれ、部品教師データの取得および顔部品データの検出と同時に行ってもよい。   In this embodiment, the acquisition of attribute recognition teacher data and the recognition of attributes are performed after the acquisition of component teacher data and the detection of face component data, respectively, but the present invention is not limited to this, and the teacher for attribute recognition Data acquisition and attribute recognition may be performed simultaneously with acquisition of part teacher data and detection of face part data, respectively.

(実施形態3)
つぎに、図3に、位置合わせ(アライメント)を含む例のフローチャート(同図(A))およびブロック図(同図(B))を示す。同図において、図1および2と同一部分には、同一符号を付している。同図(B)に示すように、本実施形態の部品検出装置は、さらに、前記演算手段120が、アライメント手段124を含む点を除き、図2(B)に示す部品検出装置と同様の構成である。
(Embodiment 3)
Next, FIG. 3 shows a flowchart (FIG. 3A) and a block diagram (FIG. 3B) of an example including alignment (alignment). In this figure, the same parts as those in FIGS. 1 and 2 are denoted by the same reference numerals. As shown in FIG. 2B, the component detection apparatus of the present embodiment further has the same configuration as the component detection apparatus shown in FIG. 2B except that the calculation unit 120 includes an alignment unit 124. It is.

以下、実施形態1および2と同様に、前記識別対象領域が頭部であり、前記部品が左目、右目、鼻および口の4つである場合を例にとり、本実施形態の部品検出装置および部品検出方法について、さらに詳細に説明する。   Hereinafter, as in Embodiments 1 and 2, the case where the identification target region is the head, and there are four parts, ie, the left eye, the right eye, the nose, and the mouth, is taken as an example. The detection method will be described in further detail.

この例の部品検出方法は、図3(B)の部品検出装置を用いて、例えば、つぎのようにして実施される。   The component detection method of this example is implemented as follows using the component detection apparatus of FIG. 3 (B), for example.

まず、前記部品検出方法の実施に先立ち、機械学習(パターン認識)の技術を用いて学習を行う。具体的には、まず、実施形態1および2と同様にして、学習用画像の識別対象領域(頭部)に識別対象領域教師データ141を付与する。   First, prior to the implementation of the component detection method, learning is performed using a machine learning (pattern recognition) technique. Specifically, first, similarly to the first and second embodiments, the identification target area teacher data 141 is assigned to the identification target area (head) of the learning image.

つぎに、実施形態1および2と同様にして、識別対象領域教師データ141が付与された識別対象領域(頭部)に含まれる顔部品(左目、右目、鼻および口)に部品教師データ142を付与する。   Next, in the same manner as in the first and second embodiments, the part teacher data 142 is applied to the face parts (left eye, right eye, nose and mouth) included in the identification target area (head) to which the identification target area teacher data 141 is assigned. Give.

つぎに、前記顔部品から位置合わせの基準となる基準顔部品(例えば、左目および右目)を選択した後、前記基準顔部品を所定の位置に固定してアライメント教師データを取得する。前記基準顔部品は、前記顔部品の中から少なくとも一つを選択すればよく、例えば、鼻、口等であってもよい。   Next, after selecting a reference face part (for example, left eye and right eye) as a reference for alignment from the face parts, the reference face part is fixed at a predetermined position, and alignment teacher data is acquired. The reference face part may be at least one selected from the face parts, and may be, for example, a nose or a mouth.

つぎに、前記アライメント教師データに属性を付与することで、属性認識用教師データ143を取得する。前記属性およびその付与方法は、実施形態2と同様である。   Next, attribute recognition teacher data 143 is acquired by assigning an attribute to the alignment teacher data. The attributes and the method for giving them are the same as those in the second embodiment.

つぎに、図3(A)および(B)に示すように、実施形態1および2と同様にして、前記識別対象画像取得手段111により、識別対象画像を取得する(ステップS11)。   Next, as shown in FIGS. 3A and 3B, the identification target image is acquired by the identification target image acquisition unit 111 in the same manner as in the first and second embodiments (step S11).

つぎに、図3(A)および(B)に示すように、実施形態1および2と同様にして、前記識別対象領域検出手段121により、予め取得した前記識別対象領域教師データ141から作成される識別対象領域抽出モデルを参照して、前記識別対象画像から識別対象領域データを検出する(ステップS21)。   Next, as shown in FIGS. 3A and 3B, similarly to Embodiments 1 and 2, the identification target area detection unit 121 creates the identification target area teacher data 141 acquired in advance. With reference to the identification target region extraction model, identification target region data is detected from the identification target image (step S21).

つぎに、図3(A)および(B)に示すように、実施形態1および2と同様にして、前記部品検出手段122により、予め取得した前記部品教師データ142から作成される部品抽出モデルを参照して、前記識別対象領域に含まれる顔部品のデータを検出する(ステップS22)。   Next, as shown in FIGS. 3A and 3B, in the same manner as in the first and second embodiments, a component extraction model created from the component teacher data 142 acquired in advance by the component detector 122 is obtained. Referring to the facial part data included in the identification target area, the data is detected (step S22).

つぎに、図3(A)および(B)に示すように、前記顔部品から位置合わせの基準となる基準顔部品(例えば、左目および右目)を選択した後、前記基準顔部品を所定の位置に固定してアライメント画像を作成する(ステップS24)。前記基準顔部品は、前記顔部品の中から少なくとも一つを選択すればよく、例えば、鼻、口等であってもよい。検出精度および検出速度を考慮すると、予め取得した前記アライメント教師データと同じ条件で、前記アライメント画像を作成することが好ましい。   Next, as shown in FIGS. 3A and 3B, after selecting a reference face part (for example, left eye and right eye) as a reference for alignment from the face part, the reference face part is moved to a predetermined position. To create an alignment image (step S24). The reference face part may be at least one selected from the face parts, and may be, for example, a nose or a mouth. In consideration of detection accuracy and detection speed, it is preferable to create the alignment image under the same conditions as the alignment teacher data acquired in advance.

つぎに、図3(A)および(B)に示すように、予め取得した前記属性認識用教師データ143から作成される属性抽出モデルを参照して、前記顔部品の属性を認識する(ステップS23)。前記属性は、前記アライメント教師データに付与したものと同じである。   Next, as shown in FIGS. 3A and 3B, the attribute of the face part is recognized with reference to the attribute extraction model created from the attribute recognition teacher data 143 acquired in advance (step S23). ). The attribute is the same as that given to the alignment teacher data.

つぎに、図3(A)および(B)に示すように、前記出力手段131により、前記識別対象領域データ、前記顔部品データおよび前記属性のうち、少なくとも前記顔部品データを出力する(ステップS31)。出力される前記識別対象領域データ、顔部品データおよび属性は、実施形態1および2と同様である。前記出力工程S31は、任意の工程であり、本発明の部品検出方法に含まれていなくてもよいが、含まれていることが好ましい。   Next, as shown in FIGS. 3A and 3B, the output unit 131 outputs at least the face part data among the identification target area data, the face part data, and the attribute (step S31). ). The output identification target area data, face part data, and attributes are the same as those in the first and second embodiments. The output step S31 is an optional step and may not be included in the component detection method of the present invention, but is preferably included.

前述のように、本実施形態の部品検出装置および部品検出方法では、その実施に先立ち、機械学習(パターン認識)の技術を用いて取得した識別対象領域教師データに位置合わせ(アライメント)を行った後、属性を付与した属性認識用教師データを予め取得しておき、それから作成される属性抽出モデルを参照して属性を認識する。このため、本実施形態の部品検出装置および部品検出方法によれば、属性をより高精度かつ迅速に認識可能である。   As described above, in the component detection apparatus and component detection method of the present embodiment, prior to the implementation, alignment (alignment) is performed on the identification target region teacher data acquired using the machine learning (pattern recognition) technique. After that, attribute recognition teacher data to which the attribute is given is acquired in advance, and the attribute is recognized with reference to the attribute extraction model created therefrom. For this reason, according to the component detection apparatus and component detection method of this embodiment, an attribute can be recognized more accurately and rapidly.

(実施形態4)
本実施形態のプログラムは、前述の部品検出方法を、コンピュータ上で実行可能なプログラムである。または、本実施形態のプログラムは、例えば、記録媒体に記録されてもよい。前記記録媒体としては、特に限定されず、例えば、読み出し専用メモリ(ROM)、ハードディスク(HD)、光ディスク、フロッピー(登録商標)ディスク(FD)等があげられる。
(Embodiment 4)
The program of this embodiment is a program that can execute the above-described component detection method on a computer. Or the program of this embodiment may be recorded on a recording medium, for example. The recording medium is not particularly limited, and examples thereof include a read only memory (ROM), a hard disk (HD), an optical disk, a floppy (registered trademark) disk (FD), and the like.

(実施形態5)
図8に、本発明の部品検出装置を用いた部品検出システムの一例の構成を示す。図示のとおり、この部品検出システムは、識別対象画像取得手段111a、111b、111cと、出力手段131a、131b、131cと、通信インターフェイス150a、150b、150cと、サーバ170とを備える。前記識別対象画像取得手段111aおよび出力手段131aは、通信インターフェイス150aに接続されている。前記識別対象画像取得手段111a、出力手段131aおよび通信インターフェイス150aは、場所Xに設置されている。前記識別対象画像取得手段111bおよび出力手段131bは、通信インターフェイス150bに接続されている。前記識別対象画像取得手段111b、出力手段131bおよび通信インターフェイス150bは、場所Yに設置されている。前記識別対象画像取得手段111cおよび出力手段131cは、通信インターフェイス150cに接続されている。前記識別対象画像取得手段111c、出力手段131cおよび通信インターフェイス150cは、場所Zに設置されている。そして、通信インターフェイス150a、150b、150cと、前記サーバ170とが、回線網160を介して接続されている。
(Embodiment 5)
FIG. 8 shows a configuration of an example of a component detection system using the component detection apparatus of the present invention. As illustrated, the component detection system includes identification target image acquisition units 111a, 111b, and 111c, output units 131a, 131b, and 131c, communication interfaces 150a, 150b, and 150c, and a server 170. The identification target image acquisition unit 111a and the output unit 131a are connected to a communication interface 150a. The identification target image acquisition unit 111a, the output unit 131a, and the communication interface 150a are installed in the place X. The identification target image acquisition unit 111b and the output unit 131b are connected to a communication interface 150b. The identification target image acquisition unit 111b, the output unit 131b, and the communication interface 150b are installed in the place Y. The identification target image obtaining unit 111c and the output unit 131c are connected to a communication interface 150c. The identification target image obtaining unit 111c, the output unit 131c, and the communication interface 150c are installed in the place Z. The communication interfaces 150a, 150b, and 150c are connected to the server 170 via the line network 160.

この部品検出システムでは、前記サーバ170側に、識別対象領域取得手段および部品検出手段を有し、前記サーバ170に識別対象領域教師データおよび部品教師データが格納される。例えば、場所Xで前記識別対象画像取得手段111aを用いて取得された識別対象画像を、サーバ170に送信し、前記サーバ170側で、識別対象領域および部品を検出する。また、検出された識別対象領域および部品のうち、少なくとも部品を、前記出力手段131aにより出力する。   In this component detection system, the server 170 side has an identification target region acquisition unit and a component detection unit, and the identification target region teacher data and the component teacher data are stored in the server 170. For example, the identification target image acquired by using the identification target image acquisition unit 111a at the location X is transmitted to the server 170, and the identification target region and parts are detected on the server 170 side. In addition, at least the component of the detected identification target area and component is output by the output unit 131a.

本実施形態の部品検出システムによれば、識別対象画像取得手段および出力手段を現場に設置し、サーバ等は他の場所に設置して、オンラインによる識別対象領域および部品の検出等が可能である。そのため、装置の設置に場所を取ることがなく、メンテナンスも容易である。また、各設置場所が離れている場合であっても、一箇所での集中管理や遠隔操作が可能となる。本実施形態の部分検出システムは、前述の実施形態2の属性認識および実施形態3の位置合わせ(アライメント)に対応したものであってもよい。   According to the component detection system of the present embodiment, the identification target image acquisition unit and the output unit are installed in the field, and the server or the like is installed in another place, so that the identification target region and the component can be detected online. . Therefore, the installation of the apparatus does not take a place, and maintenance is easy. Further, even when the installation locations are separated, centralized management and remote operation can be performed at one location. The partial detection system of the present embodiment may correspond to the attribute recognition of the second embodiment and the alignment (alignment) of the third embodiment.

10 学習用画像
11、12a、13a、14a、15a、12b、13b、14b、15b、22a、23a、24a、25a、22b、23b、24b、25b ラベリング
20 識別対象画像
111 識別対象画像取得手段
120 演算手段
121 識別対象領域検出手段
122 部品検出手段
123 属性認識手段
124 アライメント手段
131 出力手段
140 データ記憶手段
141 識別対象領域教師データ
142 部品教師データ
143 属性認識用教師データ
10 Learning images 11, 12a, 13a, 14a, 15a, 12b, 13b, 14b, 15b, 22a, 23a, 24a, 25a, 22b, 23b, 24b, 25b Labeling 20 Discrimination target image 111 Discrimination target image acquisition means 120 Calculation Means 121 Identification target area detection means 122 Component detection means 123 Attribute recognition means 124 Alignment means 131 Output means 140 Data storage means 141 Identification target area teacher data 142 Part teacher data 143 Attribute recognition teacher data

Claims (16)

識別対象画像を取得する識別対象画像取得手段と、
予め取得した識別対象領域教師データから作成される識別対象領域抽出モデルを参照して、前記識別対象画像から識別対象領域を検出する識別対象領域検出手段と、
予め取得した部品教師データから作成される部品抽出モデルを参照して、前記識別対象領域に含まれる部品を検出する部品検出手段とを含むことを特徴とする部品検出装置。
An identification target image acquisition means for acquiring an identification target image;
An identification target area detecting means for detecting an identification target area from the identification target image with reference to an identification target area extraction model created from the identification target area teacher data acquired in advance;
A component detection apparatus comprising: a component detection unit configured to detect a component included in the identification target region with reference to a component extraction model created from component teacher data acquired in advance.
さらに、
予め取得した属性認識用教師データから作成される属性抽出モデルを参照して、前記部品の属性を認識する属性認識手段を含むことを特徴とする請求項1記載の部品検出装置。
further,
2. The component detection apparatus according to claim 1, further comprising attribute recognition means for recognizing an attribute of the component by referring to an attribute extraction model created from attribute recognition teacher data acquired in advance.
さらに、
前記部品から位置合わせの基準となる基準部品を選択した後、前記基準部品を所定の位置に固定してアライメント画像を作成するアライメント手段を含み、
前記アライメント画像を用いて、前記属性認識手段により、前記部品の属性を認識することを特徴とする請求項2記載の部品検出装置。
further,
After selecting a reference part as a reference for alignment from the parts, including an alignment means for creating an alignment image by fixing the reference part at a predetermined position,
The component detection apparatus according to claim 2, wherein the attribute of the component is recognized by the attribute recognition unit using the alignment image.
予め取得したアライメント教師データと同じ条件で、前記アライメント画像を作成することを特徴とする請求項3記載の部品検出装置。 The component detection apparatus according to claim 3, wherein the alignment image is created under the same conditions as the alignment teacher data acquired in advance. 前記識別対象領域が、人物であることを特徴とする請求項1から4のいずれか一項に記載の部品検出装置。 The component detection apparatus according to claim 1, wherein the identification target region is a person. 前記識別対象領域が、人物の頭部であることを特徴とする請求項1から4のいずれか一項に記載の部品検出装置。 The component detection apparatus according to claim 1, wherein the identification target region is a human head. 前記部品が、左目、右目、鼻、口、左眉、右眉、左耳および右耳からなる群から選択される少なくとも一つを含むことを特徴とする請求項6記載の部品検出装置。 The component detection apparatus according to claim 6, wherein the component includes at least one selected from the group consisting of a left eye, a right eye, a nose, a mouth, a left eyebrow, a right eyebrow, a left ear, and a right ear. 識別対象画像を取得する識別対象画像取得工程と、
予め取得した識別対象領域教師データから作成される識別対象領域抽出モデルを参照して、前記識別対象画像から識別対象領域を検出する識別対象領域検出工程と、
予め取得した部品教師データから作成される部品抽出モデルを参照して、前記識別対象領域に含まれる部品を検出する部品検出工程とを含むことを特徴とする部品検出方法。
An identification target image acquisition step of acquiring an identification target image;
An identification target area detection step of detecting an identification target area from the identification target image with reference to an identification target area extraction model created from the identification target area teacher data acquired in advance;
A component detection method comprising: detecting a component included in the identification target region with reference to a component extraction model created from component teacher data acquired in advance.
さらに、
予め取得した属性認識用教師データから作成される属性抽出モデルを参照して、前記部品の属性を認識する属性認識工程を含むことを特徴とする請求項8記載の部品検出方法。
further,
9. The component detection method according to claim 8, further comprising an attribute recognition step of recognizing the attribute of the component with reference to an attribute extraction model created from attribute recognition teacher data acquired in advance.
さらに、
前記部品から位置合わせの基準となる基準部品を選択した後、前記基準部品を所定の位置に固定してアライメント画像を作成するアライメント工程を含み、
前記アライメント画像を用いて、前記属性認識工程において、前記部品の属性を認識することを特徴とする請求項9記載の部品検出方法。
further,
After selecting a reference component that is a reference for alignment from the component, including an alignment step of fixing the reference component at a predetermined position and creating an alignment image,
The component detection method according to claim 9, wherein the attribute of the component is recognized in the attribute recognition step using the alignment image.
予め取得したアライメント教師データと同じ条件で、前記アライメント画像を作成することを特徴とする請求項10記載の部品検出方法。 The component detection method according to claim 10, wherein the alignment image is created under the same conditions as the alignment teacher data acquired in advance. 前記識別対象領域が、人物であることを特徴とする請求項8から11のいずれか一項に記載の部品検出方法。 The component detection method according to claim 8, wherein the identification target region is a person. 前記識別対象領域が、人物の頭部であることを特徴とする請求項8から11のいずれか一項に記載の部品検出方法。 The component detection method according to claim 8, wherein the identification target region is a human head. 前記部品が、左目、右目、鼻、口、左眉、右眉、左耳および右耳からなる群から選択される少なくとも一つを含むことを特徴とする請求項13記載の部品検出方法。 The component detection method according to claim 13, wherein the component includes at least one selected from the group consisting of a left eye, a right eye, a nose, a mouth, a left eyebrow, a right eyebrow, a left ear, and a right ear. 請求項8から14のいずれか一項に記載の部品検出方法をコンピュータに実行させることを特徴とするプログラム。 A program for causing a computer to execute the component detection method according to any one of claims 8 to 14. 請求項15記載のプログラムを記録していることを特徴とする記録媒体。 A recording medium on which the program according to claim 15 is recorded.
JP2009189402A 2009-08-18 2009-08-18 Component detection apparatus, component detection method, program, and recording medium Active JP5431830B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009189402A JP5431830B2 (en) 2009-08-18 2009-08-18 Component detection apparatus, component detection method, program, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009189402A JP5431830B2 (en) 2009-08-18 2009-08-18 Component detection apparatus, component detection method, program, and recording medium

Publications (2)

Publication Number Publication Date
JP2011039994A true JP2011039994A (en) 2011-02-24
JP5431830B2 JP5431830B2 (en) 2014-03-05

Family

ID=43767661

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009189402A Active JP5431830B2 (en) 2009-08-18 2009-08-18 Component detection apparatus, component detection method, program, and recording medium

Country Status (1)

Country Link
JP (1) JP5431830B2 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012203592A (en) * 2011-03-24 2012-10-22 Nec Corp Image processing system, face information storage method, image processing device and method for controlling the same, and control program
JPWO2017043314A1 (en) * 2015-09-09 2018-01-18 日本電気株式会社 Guidance acquisition device
CN111027490A (en) * 2019-12-12 2020-04-17 腾讯科技(深圳)有限公司 Face attribute recognition method and device and storage medium
JP2020177557A (en) * 2019-04-22 2020-10-29 キヤノン株式会社 Information processor, information processing method, and program
WO2021192225A1 (en) * 2020-03-27 2021-09-30 日本電気株式会社 Teaching data conversion device, teaching data conversion method, and non-temporary storage medium
JP2022048881A (en) * 2020-09-15 2022-03-28 クリスタルメソッド株式会社 Information processing device and information processing method

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0991432A (en) * 1995-09-28 1997-04-04 Nippon Telegr & Teleph Corp <Ntt> Method for extracting doubtful person
JP2009176054A (en) * 2008-01-24 2009-08-06 Takumi Vision株式会社 Face image normalization system and normalization method
JP2010003117A (en) * 2008-06-20 2010-01-07 Toyota Central R&D Labs Inc Object deciding device and program

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0991432A (en) * 1995-09-28 1997-04-04 Nippon Telegr & Teleph Corp <Ntt> Method for extracting doubtful person
JP2009176054A (en) * 2008-01-24 2009-08-06 Takumi Vision株式会社 Face image normalization system and normalization method
JP2010003117A (en) * 2008-06-20 2010-01-07 Toyota Central R&D Labs Inc Object deciding device and program

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012203592A (en) * 2011-03-24 2012-10-22 Nec Corp Image processing system, face information storage method, image processing device and method for controlling the same, and control program
US11501567B2 (en) 2015-09-09 2022-11-15 Nec Corporation Guidance acquisition device, guidance acquisition method, and program
JPWO2017043314A1 (en) * 2015-09-09 2018-01-18 日本電気株式会社 Guidance acquisition device
US10509950B2 (en) 2015-09-09 2019-12-17 Nec Corporation Guidance acquisition device, guidance acquisition method, and program
US10706266B2 (en) 2015-09-09 2020-07-07 Nec Corporation Guidance acquisition device, guidance acquisition method, and program
US11861939B2 (en) 2015-09-09 2024-01-02 Nec Corporation Guidance acquisition device, guidance acquisition method, and program
JP2020177557A (en) * 2019-04-22 2020-10-29 キヤノン株式会社 Information processor, information processing method, and program
WO2020217812A1 (en) * 2019-04-22 2020-10-29 キヤノン株式会社 Image processing device that recognizes state of subject and method for same
CN111027490A (en) * 2019-12-12 2020-04-17 腾讯科技(深圳)有限公司 Face attribute recognition method and device and storage medium
CN111027490B (en) * 2019-12-12 2023-05-30 腾讯科技(深圳)有限公司 Face attribute identification method and device and storage medium
JPWO2021192225A1 (en) * 2020-03-27 2021-09-30
WO2021192225A1 (en) * 2020-03-27 2021-09-30 日本電気株式会社 Teaching data conversion device, teaching data conversion method, and non-temporary storage medium
JP2022048881A (en) * 2020-09-15 2022-03-28 クリスタルメソッド株式会社 Information processing device and information processing method

Also Published As

Publication number Publication date
JP5431830B2 (en) 2014-03-05

Similar Documents

Publication Publication Date Title
JP5594791B2 (en) Attribute determination method, attribute determination apparatus, program, recording medium, and attribute determination system
Shreve et al. Macro-and micro-expression spotting in long videos using spatio-temporal strain
JP5569990B2 (en) Attribute determination method, attribute determination apparatus, program, recording medium, and attribute determination system
JP5203281B2 (en) Person detection device, person detection method, and person detection program
JP5431830B2 (en) Component detection apparatus, component detection method, program, and recording medium
JP6814673B2 (en) Movement route prediction device and movement route prediction method
JP5523900B2 (en) Person search device, person search method, and person search program
WO2015165365A1 (en) Facial recognition method and system
KR20190001066A (en) Face verifying method and apparatus
JP2014182480A (en) Person recognition device and method
JP5787686B2 (en) Face recognition device and face recognition method
WO2020195732A1 (en) Image processing device, image processing method, and recording medium in which program is stored
JP5718632B2 (en) Part recognition device, part recognition method, and part recognition program
JP2014016968A (en) Person retrieval device and data collection device
KR20210030060A (en) Event monitoring system and method based on face image
US9064172B2 (en) System and method for object detection
JP2017174343A (en) Customer attribute extraction device and customer attribute extraction program
US20190347473A1 (en) Suspiciousness degree estimation model generation device
KR101350882B1 (en) Server for analysing video
JP2005149145A (en) Object detecting device and method, and computer program
JP2010257450A (en) Device, method, and program for retrieving person
JP2010244090A (en) Person information extraction device, person information extraction method, and person information extraction program
JP2012049774A (en) Video monitoring device
JP6022625B2 (en) Part recognition device, part recognition method, and part recognition program
WO2022230022A1 (en) Image processing device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120711

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130513

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130516

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130712

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130822

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131021

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131111

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131205

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5431830

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350