JP2008310392A - Person attribute discrimination device and method thereof - Google Patents
Person attribute discrimination device and method thereof Download PDFInfo
- Publication number
- JP2008310392A JP2008310392A JP2007154921A JP2007154921A JP2008310392A JP 2008310392 A JP2008310392 A JP 2008310392A JP 2007154921 A JP2007154921 A JP 2007154921A JP 2007154921 A JP2007154921 A JP 2007154921A JP 2008310392 A JP2008310392 A JP 2008310392A
- Authority
- JP
- Japan
- Prior art keywords
- face
- image
- person
- attribute
- front face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
Description
本発明は、人物属性識別装置及びその方法に関し、さらに詳しくは、人物を撮影してその人物の属性（性別、年代など）を識別する人物属性識別装置及びその方法に関する。 The present invention relates to a person attribute identification apparatus and method, and more particularly to a person attribute identification apparatus and method for photographing a person and identifying the attribute (gender, age, etc.) of the person.
特開平１１−１７５７２４号公報（特許文献１）及び特開２００６−３２３５０７号公報（特許文献２）には、人物を撮影した写真画像、特に顔画像に基づいてその人物の性別や年代などの属性を識別する人物属性識別装置が記載されている。しかしながら、いずれの装置も人物の属性を正しく識別できる割合（以下、「識別率」という。）は１００％ではなく、その向上は常に要求されている。 In JP-A-11-175724 (Patent Document 1) and JP-A-2006-323507 (Patent Document 2), attributes such as gender and age of a person based on a photographic image obtained by photographing a person, particularly a face image. Describes a person attribute identification device for identifying. However, the rate at which each device can correctly identify a person's attributes (hereinafter referred to as “identification rate”) is not 100%, and improvement is always required.
識別率を向上させる最も単純な方法として、同一人物を異なる角度で撮影した写真画像をできる限り多数用意し、これらの写真画像に基づいて属性を識別するという方法が考えられる。しかしながら、用意する写真画像の枚数を増加させることは、それらを記憶しておくために大容量のＦＩＦＯ(First-In First-Out)メモリを用意しなければならないなどの問題があり、好ましくない。
本発明の目的は、用意する写真画像の枚数を増加させることなく、識別率を向上させることが可能な人物属性識別装置及びその方法を提供することである。 An object of the present invention is to provide a person attribute identification apparatus and method capable of improving the identification rate without increasing the number of photographic images to be prepared.
本発明による人物属性識別装置は、撮影手段と、左右反転手段と、属性判定手段とを備える。撮影手段は、人物を撮影して正写真画像を生成する。左右反転手段は、撮影手段により生成された正写真画像を左右反転して反転写真画像を生成する。属性判定手段は、撮影手段により生成された正写真画像及び左右反転手段により生成された反転写真画像に基づいて人物の属性を判定する。 The personal attribute identification device according to the present invention includes a photographing unit, a left / right reversing unit, and an attribute determining unit. The photographing unit photographs a person and generates a normal photograph image. The left / right reversing unit generates a reversed photo image by horizontally reversing the normal photograph image generated by the photographing unit. The attribute determining unit determines the attribute of the person based on the normal photograph image generated by the photographing unit and the reverse photograph image generated by the left / right reversing unit.
本発明によれば、正写真画像を左右反転し、正写真画像と異なる反転写真画像を生成するので、用意する写真画像の枚数を増加させなくても、人物の属性を判定するのに用いる写真画像の枚数を実質的に倍増させ、その結果、識別率を向上させることができる。 According to the present invention, since the normal photo image is reversed left and right to generate a reverse photo image different from the normal photo image, the photo used to determine the attribute of the person without increasing the number of photo images to be prepared The number of images can be substantially doubled, and as a result, the identification rate can be improved.
好ましくは、人物属性識別装置はさらに、顔検出手段と、顔画像抽出手段とを備える。顔検出手段は、撮影手段により生成された正写真画像及び左右反転手段により生成された反転写真画像の中から人物の顔が写っている領域を顔画像として検出する。顔画像抽出手段は、顔検出手段により検出された顔画像を抽出する。属性判定手段は、顔画像抽出手段により抽出された顔画像に基づいて人物の属性を判定する。 Preferably, the person attribute identification device further includes a face detection unit and a face image extraction unit. The face detection means detects, as a face image, an area in which a person's face is shown from the normal photograph image generated by the photographing means and the reverse photograph image generated by the left-right reversing means. The face image extraction unit extracts the face image detected by the face detection unit. The attribute determination unit determines the attribute of the person based on the face image extracted by the face image extraction unit.
この場合、人物の属性を判定するのに顔画像のみを用いるので、上記よりも識別率を向上させることができる。 In this case, since only the face image is used to determine the attribute of the person, the identification rate can be improved as compared with the above.
好ましくは、人物属性識別装置はさらに、正面顔尤度算出手段と、正面顔選択手段とを備える。正面顔尤度算出手段は、顔画像抽出手段により抽出された顔画像に基づいて正面顔尤度を算出する。正面顔選択手段は、顔画像抽出手段により抽出された顔画像の中から正面顔尤度算出手段により算出された正面顔尤度の高い上位所定枚数の顔画像を選択する。属性判定手段は、正面顔選択手段により選択された顔画像に基づいて人物の属性を判定する。 Preferably, the person attribute identification device further includes a front face likelihood calculating unit and a front face selecting unit. The front face likelihood calculating means calculates the front face likelihood based on the face image extracted by the face image extracting means. The front face selecting means selects a predetermined number of face images having a high front face likelihood calculated by the front face likelihood calculating means from the face images extracted by the face image extracting means. The attribute determination unit determines the attribute of the person based on the face image selected by the front face selection unit.
この場合、人物の属性を判定するのに正面顔又はそれに近い顔が写っている顔画像のみを用いるので、上記よりも識別率を向上させることができる。 In this case, only the face image showing the front face or a face close to it is used to determine the attributes of the person, so that the identification rate can be improved more than the above.
本発明による人物属性識別方法は上記人物属性識別装置の動作方法に相当する。上記人物属性識別装置は、人物属性識別プログラムをコンピュータにインストールすることにより生産される。 The person attribute identification method according to the present invention corresponds to the operation method of the person attribute identification device. The person attribute identification device is produced by installing a person attribute identification program in a computer.
以下、図面を参照し、本発明の実施の形態を詳しく説明する。図中同一又は相当部分には同一符号を付してその説明は繰り返さない。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. In the drawings, the same or corresponding parts are denoted by the same reference numerals and description thereof will not be repeated.
図１を参照して、本発明の実施の形態による人物属性識別装置１０は、カメラ１２と、画像キャプチャ装置１４と、ＦＩＦＯメモリ１６と、左右反転部１８と、顔検出部２０と、顔画像抽出部２２と、正面顔尤度算出部２４と、メモリ２６と、正面顔選択部２８と、属性判定部３０とを備える。 Referring to FIG. 1, a person attribute identification device 10 according to an embodiment of the present invention includes a camera 12, an image capture device 14, a FIFO memory 16, a left / right reversing unit 18, a face detection unit 20, and a face image. An extraction unit 22, a front face likelihood calculation unit 24, a memory 26, a front face selection unit 28, and an attribute determination unit 30 are provided.
カメラ１２は人物を撮影する。画像キャプチャ装置１４は、カメラ１２で撮影された人物の画像を所定時間ごとにキャプチャして複数の写真画像（以下、「正写真画像」という。）を連続的に生成する。ＦＩＦＯメモリ１６は、画像キャプチャ装置１４から出力された正写真画像を順次記憶する。 The camera 12 photographs a person. The image capture device 14 captures images of a person photographed by the camera 12 every predetermined time, and continuously generates a plurality of photographic images (hereinafter referred to as “normal photographic images”). The FIFO memory 16 sequentially stores the normal photographic images output from the image capture device 14.
左右反転部１８は、ＦＩＦＯメモリ１６から順次読み出された正写真画像を左右反転して反転写真画像を生成する。顔検出部２０は、上記正写真画像及び反転写真画像の中から人物の顔が写っている領域を顔画像として検出する。顔画像抽出部２２は、正又は反転写真画像の中から、顔検出部２０により検出された顔画像を抽出する（切り出す）。 The left / right reversing unit 18 reverses the right and left photographic images sequentially read from the FIFO memory 16 to generate a reversed photographic image. The face detection unit 20 detects, as a face image, an area in which a person's face is captured from the normal photograph image and the reverse photograph image. The face image extraction unit 22 extracts (cuts out) the face image detected by the face detection unit 20 from the normal or inverted photograph image.
正面顔尤度算出部２４は、顔画像抽出部２２により抽出された顔画像に基づいて正面顔尤度を算出する。正面顔尤度は、撮影されている顔が正面顔である可能性を表し、正面顔の場合は１００％に近い高い値になるが、横顔、下向き顔、上向き顔等の場合は低い値になる。 The front face likelihood calculating unit 24 calculates the front face likelihood based on the face image extracted by the face image extracting unit 22. The frontal face likelihood represents the possibility that the face being photographed is a frontal face, and has a high value close to 100% for a frontal face, but has a low value for a side face, a downward face, an upward face, etc. Become.
メモリ２６は、顔画像抽出部２２により抽出された顔画像を正面顔尤度算出部２４により算出された正面顔尤度と対応付けて記憶する。正面顔選択部２８は、メモリ２６に記憶された正面顔尤度を参照し、メモリ２６に記憶された顔画像の中から正面顔尤度の高い上位Ｆ枚の顔画像を選択する。属性判定部３０は、正面顔選択部２８により選択された顔画像に基づいて人物の属性、具体的には性別及び年代を判定する。 The memory 26 stores the face image extracted by the face image extraction unit 22 in association with the front face likelihood calculated by the front face likelihood calculation unit 24. The front face selection unit 28 refers to the front face likelihood stored in the memory 26 and selects the top F face images having the highest front face likelihood from the face images stored in the memory 26. The attribute determination unit 30 determines a person's attributes, specifically gender and age, based on the face image selected by the front face selection unit 28.
次に、人物属性識別装置１０の動作を説明する。ここでは、カメラ１２で同一人物が撮影され、その結果、画像キャプチャ装置１４により合計Ｔ枚の正写真画像が得られたものとする。 Next, the operation of the person attribute identification device 10 will be described. Here, it is assumed that the same person is photographed by the camera 12, and as a result, a total of T regular photograph images are obtained by the image capture device.
図２を参照して、処理対象の画像番号を示す変数ｔを「１」に初期化し（Ｓ１）、正又は反転写真画像を示す変数ｍを「１」に初期化する（Ｓ２）。 Referring to FIG. 2, a variable t indicating an image number to be processed is initialized to “1” (S1), and a variable m indicating a normal or reverse photograph image is initialized to “1” (S2).
続いて、変数ｍが「１」か否かを判定し（Ｓ３）、ｍ＝１の場合（Ｓ３でＹＥＳ）、次の顔検出処理（Ｓ５）に進むが、ｍ≠１（ｍ＝２）の場合（Ｓ３でＮＯ）、正写真画像を左右反転して反転写真画像を生成する（Ｓ４）。たとえば図３（ａ）に示されるような正写真画像Ｐ１〜Ｐ４が与えられた場合、図３（ｂ）に示されるような反転写真画像Ｒ１〜Ｒ４がそれぞれ生成される。 Subsequently, it is determined whether or not the variable m is “1” (S3). If m = 1 (YES in S3), the process proceeds to the next face detection process (S5), but m ≠ 1 (m = 2). In this case (NO in S3), the normal photo image is reversed left and right to generate a reverse photo image (S4). For example, when normal photograph images P1 to P4 as shown in FIG. 3A are given, inverted photograph images R1 to R4 as shown in FIG. 3B are generated.
続いて、正又は反転写真画像の中から人物の顔が写っている領域を顔画像として検出する（Ｓ５）。通常、写真画像の中に顔が写っている場合もあれば、顔が全く写っていない場合もある。また、顔が写っていても、その位置及び大きさは様々である。そのため、写真画像の中から様々な位置及び大きさのパッチを切り出し、その部分の画像に基づいて顔尤度を算出する。顔尤度は、その画像が顔である可能性を表す。そして、顔尤度が所定のしきい値を超えているパッチを顔が写っている顔画像と特定する。たとえば図３（ｃ）に示されるように、顔画像ＦＰ２〜ＦＰ４，ＦＲ２〜ＦＲ４が特定される。本例では写真画像Ｐ１，Ｒ１には顔が写っていないので、これらの中には顔画像は特定されていない。詳細については、特開２００６−３２３５０７号公報（特許文献２）の記載をここに援用する。 Subsequently, an area in which a person's face is reflected is detected as a face image from the normal or reverse photograph image (S5). Usually, there may be a face in the photographic image, or there may be no face at all. Even if a face is shown, its position and size are various. Therefore, patches of various positions and sizes are cut out from the photographic image, and the face likelihood is calculated based on the image of that portion. The face likelihood represents the possibility that the image is a face. Then, a patch whose face likelihood exceeds a predetermined threshold is identified as a face image showing the face. For example, as shown in FIG. 3C, face images FP2 to FP4 and FR2 to FR4 are specified. In this example, since no face is shown in the photographic images P1 and R1, no face image is specified in these images. For details, the description of JP 2006-323507 A (Patent Document 2) is incorporated herein.
続いて、正又は反転写真画像の中から、その検出された顔画像を抽出する（Ｓ６）。たとえば図３（ｄ）に示されるように、顔画像ＦＰ２〜ＦＰ４，ＦＲ２〜ＦＲ４が抽出される。 Subsequently, the detected face image is extracted from the normal or reverse photograph image (S6). For example, as shown in FIG. 3D, face images FP2 to FP4 and FR2 to FR4 are extracted.
続いて、抽出された顔画像に基づいて正面顔尤度を算出する（Ｓ７）。正面顔尤度は、その顔が正面である可能性を表す。正面顔尤度と上記顔検出処理（Ｓ５）における顔尤度とでは、尤度の算出に用いる学習サンプルが異なる。具体的には図４に示されるように、顔尤度の算出のためには、正面顔か否かに関係なく、顔が写っている画像は陽性（＋１）サンプルとして学習され、顔が写っていない画像は陰性（−１）サンプルとして学習される。一方、正面顔尤度の算出のためには、正面顔が写っている画像は陽性（＋１）サンプルとして学習され、正面顔が写っていない画像は陰性（−１）サンプルとして学習される。なお、顔が写っていない画像は学習されない。 Subsequently, the front face likelihood is calculated based on the extracted face image (S7). The front face likelihood represents the possibility that the face is the front face. The learning sample used for calculating the likelihood differs between the front face likelihood and the face likelihood in the face detection process (S5). Specifically, as shown in FIG. 4, for the calculation of the face likelihood, regardless of whether it is a front face or not, the image showing the face is learned as a positive (+1) sample and the face is shown. The missing image is learned as a negative (-1) sample. On the other hand, for calculating the front face likelihood, an image showing the front face is learned as a positive (+1) sample, and an image not showing the front face is learned as a negative (−1) sample. Note that an image without a face is not learned.
ここでは上記顔検出処理（Ｓ５）における顔尤度と異なる方法で正面顔尤度を算出しているが、正面顔が多い場合には顔検出処理（Ｓ５）で算出した顔尤度をそのまま正面顔尤度として用いてもよい。この場合、算出処理にかかる負荷を低減することができる。 Here, the front face likelihood is calculated by a method different from the face likelihood in the face detection process (S5), but when there are many front faces, the face likelihood calculated in the face detection process (S5) is directly used as the front face likelihood. It may be used as face likelihood. In this case, the load on the calculation process can be reduced.
続いて、変数ｍをインクリメントし（Ｓ８）、ｍ＞２の場合、つまり正及び反転写真画像の両方に対して上記ステップＳ５〜Ｓ７の処理を終えた場合（Ｓ９でＹＥＳ）、次のステップＳ１０に進む。一方、ｍ＞２でない場合、つまり正写真画像に対してしか上記ステップＳ５〜Ｓ７の処理を終えていない場合（Ｓ９でＮＯ）、上記ステップＳ３に戻り、反転写真画像に対して上記ステップＳ５〜Ｓ７の処理を行う。 Subsequently, the variable m is incremented (S8), and when m> 2, that is, when the processing of steps S5 to S7 is completed for both the positive and reverse photographic images (YES in S9), the next step S10 Proceed to On the other hand, if m> 2 is not satisfied, that is, if the processing of steps S5 to S7 is completed only for the normal photograph image (NO in S9), the process returns to step S3, and the steps S5 to S5 are performed for the reversed photograph image. The process of S7 is performed.
続いて、変数ｔをインクリメントし（Ｓ１０）、ｔ＞Ｔの場合、つまりＴ枚全ての正写真画像に対して上記ステップＳ４〜Ｓ７の処理を終えた場合（Ｓ１１でＹＥＳ）、次のステップＳ１２に進む。一方、ｔ＞Ｔでない場合、つまりまだＴ枚全ての写真画像に対して上記ステップＳ４〜Ｓ７の処理を終えていない場合（Ｓ１１でＮＯ）、上記ステップＳ２に戻り、次の正写真画像に対して上記ステップＳ４〜Ｓ７の処理を行う。 Subsequently, the variable t is incremented (S10), and when t> T, that is, when the processing of steps S4 to S7 is completed for all T regular photograph images (YES in S11), the next step S12 is performed. Proceed to On the other hand, if t> T is not true, that is, if the processing in steps S4 to S7 has not been completed for all T photo images (NO in S11), the process returns to step S2 and the next normal photo image is processed. Steps S4 to S7 are performed.
以上の結果、２×（Ｔ−ｋ）枚の顔画像とその正面顔尤度とが得られる。ここで、ｋは顔が全く写っていない正写真画像の枚数である。 As a result, 2 × (T−k) face images and the front face likelihood are obtained. Here, k is the number of regular photo images in which no face is shown.
続いて、２×（Ｔ−ｋ）枚の顔画像のうち以下の処理対象となる顔画像を示す変数ｉを「１」に初期化する（Ｓ１２）。ｉ番目の顔画像の正面顔尤度が上位Ｆ枚以内か否かを判定する（Ｓ１３）。正面顔尤度が上位Ｆ枚以内の場合（Ｓ１３でＹＥＳ）、その顔画像を選択し（Ｓ１４）、正面顔尤度が上位Ｆ枚以内でない場合（Ｓ１３でＮＯ）、その顔画像を選択しない（Ｓ１４をスキップ）。 Subsequently, a variable i indicating a face image to be processed below among 2 × (T−k) face images is initialized to “1” (S12). It is determined whether or not the front face likelihood of the i-th face image is within the top F (S13). If the front face likelihood is within the top F (YES at S13), the face image is selected (S14), and if the front face likelihood is not within the top F (NO at S13), the face image is not selected. (S14 is skipped).
続いて、変数ｉをインクリメントし（Ｓ１５）、ｉ＞２（Ｔ−ｋ）の場合、つまり全ての顔写真画像に対して上記ステップＳ１３〜Ｓ１４の処理を終えた場合（Ｓ１６でＹＥＳ）、次のステップＳ１７に進む。一方、ｉ＞２（Ｔ−ｋ）でない場合、つまりまだ全ての顔画像に対して上記ステップＳ１３〜Ｓ１４の処理を終えていない場合（Ｓ１６でＮＯ）、上記ステップＳ１３に戻り、次の顔画像に対して上記ステップＳ１３〜Ｓ１４の処理を行う。 Subsequently, the variable i is incremented (S15), and when i> 2 (T−k), that is, when the processing of steps S13 to S14 is completed for all face photograph images (YES in S16), the next The process proceeds to step S17. On the other hand, if i> 2 (T−k) is not satisfied, that is, if the processes of steps S13 to S14 have not been completed for all the face images (NO in S16), the process returns to step S13 to return to the next face image. The above steps S13 to S14 are performed.
ここで選択される顔画像には、正面顔が写っている場合もあるが、正面顔に近い顔が写っているだけで、正面顔が写っていない場合もある。撮影状況によっては正面顔が写っている顔画像が１枚もない場合もあるからである。顔検出処理（Ｓ５）と正面顔尤度算出処理（Ｓ７）とを別々に行っているのは、そのような撮影状況でも識別率をできる限り高く維持するためである。たとえばＦ＝３の場合、図３（ｄ）に示される顔画像ＦＰ２〜ＦＰ４，ＦＲ２〜ＦＲ４の中から、図３（ｅ）に示される上位３枚の顔画像ＦＰ３，ＦＲ３，ＦＰ２が選択される。 The face image selected here may include a front face, but may include only a face close to the front face and no front face. This is because there may be no face image showing the front face depending on the shooting situation. The reason why the face detection process (S5) and the front face likelihood calculation process (S7) are performed separately is to maintain the identification rate as high as possible even in such a shooting situation. For example, when F = 3, the top three face images FP3, FR3, and FP2 shown in FIG. 3 (e) are selected from the face images FP2 to FP4 and FR2 to FR4 shown in FIG. 3 (d). The
最後に、選択された顔画像に基づいて人物の属性を判定する（Ｓ１４）。具体的には図５に示されるように、Ｆ枚の顔画像の各々に基づいて各クラス（たとえば男性、女性、１０代、２０代、３０代、４０代、５０代、６０代）の尤度Ｌ１１，Ｌ２１，…，ＬＦ１，Ｌ１２，Ｌ２２，…，ＬＦ２，…，Ｌ１８，Ｌ２８，…，ＬＦ８を算出し、各クラスの平均尤度／Ｌ１…／Ｌ８（＝尤度の合計／Ｆ）を算出する。そして、平均尤度が最大のクラスを最尤クラスとして選択し、最尤クラスを人物の属性と決定する。詳細については、特開２００６−３２３５０７号公報（特許文献２）の記載をここに援用する。 Finally, the attribute of the person is determined based on the selected face image (S14). Specifically, as shown in FIG. 5, the likelihood of each class (for example, male, female, teenager, 20, teenager, 30s, 40s, 50s, 60s) based on each of the F face images. degrees L 11, L 21, ..., L F1, L 12, L 22, ..., L F2, ..., L 18, L 28, ..., and calculates the L F8, the average likelihood of each class / L 1 ... / L 8 (= total likelihood / F) is calculated. Then, the class having the maximum average likelihood is selected as the maximum likelihood class, and the maximum likelihood class is determined as the attribute of the person. For details, the description of JP 2006-323507 A (Patent Document 2) is incorporated herein.
一般に、人物の顔は概ね左右対称であるが、厳密には左右非対称である。したがって、正写真画像を左右反転させた反転写真画像には、もとの人物と非常によく似た別の人物が写っていると評価することができるが、両人物の性別や年代は同じと評価することができる。 In general, a person's face is generally symmetric, but strictly speaking, it is asymmetric. Therefore, it can be evaluated that another person very similar to the original person is reflected in the inverted photograph image obtained by reversing the normal photograph image, but the sex and age of both persons are the same. Can be evaluated.
本発明の実施の形態によれば、正写真画像を左右反転し、正写真画像と異なる反転写真画像を生成するので、用意する写真画像の枚数を増加させなくても、人物の属性を判定するのに用いる写真画像の枚数を実質的に倍増させ、その結果、識別率を向上させることができる。また、人物の属性を判定するのに顔画像のみを用いるので、識別率をより向上させることができる。さらに、人物の属性を判定するのに正面顔又はそれに近い顔が写っている顔画像のみを用いるので、識別率をより向上させることができる。 According to the embodiment of the present invention, since the normal photo image is reversed left and right to generate a reverse photo image different from the normal photo image, the attribute of the person is determined without increasing the number of the photo images to be prepared. The number of photographic images used for the above can be substantially doubled, and as a result, the identification rate can be improved. In addition, since only the face image is used to determine the attribute of the person, the identification rate can be further improved. Furthermore, since only the face image showing the front face or a face close thereto is used to determine the attribute of the person, the identification rate can be further improved.
上記実施の形態は撮影により得られた写真画像を最初に左右反転しているが、写真画像の中から顔を検出して顔画像を抽出した後、その顔画像を左右反転するように変更してもよい。この場合、顔画像はもとの写真画像よりも小さいので、左右反転処理にかかる負荷を低減することができる。また、顔が写っていない画像が反転されることはないので、左右反転処理の結果が無駄になることはない。 In the above embodiment, the photographic image obtained by shooting is first reversed horizontally, but after detecting a face from the photographic image and extracting the face image, the face image is changed so as to be reversed left and right. May be. In this case, since the face image is smaller than the original photographic image, it is possible to reduce the load on the left-right reversing process. In addition, since the image without the face is not reversed, the result of the left / right reversal process is not wasted.
なお、人物属性識別装置１０は典型的には自動販売機に装着されるが、コンビニエンスストア、ファストフード、レストランなどのレジに設置されてもよい。 The person attribute identification device 10 is typically mounted on a vending machine, but may be installed at a cash register such as a convenience store, fast food, or a restaurant.
以上、本発明の実施の形態を説明したが、上述した実施の形態は本発明を実施するための例示に過ぎない。よって、本発明は上述した実施の形態に限定されることなく、その趣旨を逸脱しない範囲内で上述した実施の形態を適宜変形して実施することが可能である。 While the embodiments of the present invention have been described above, the above-described embodiments are merely examples for carrying out the present invention. Therefore, the present invention is not limited to the above-described embodiment, and can be implemented by appropriately modifying the above-described embodiment without departing from the spirit thereof.
１０ 人物属性識別装置
１２ カメラ
１４ 画像キャプチャ装置
１８ 左右反転部
２０ 顔検出部
２２ 顔画像抽出部
２４ 正面顔尤度算出部
２８ 正面顔選択部
３０ 属性判定部
DESCRIPTION OF SYMBOLS 10 Person attribute identification device 12 Camera 14 Image capture device 18 Left-right inversion part 20 Face detection part 22 Face image extraction part 24 Front face likelihood calculation part 28 Front face selection part 30 Attribute determination part
Claims (7)
前記撮影手段により生成された正写真画像を左右反転して反転写真画像を生成する左右反転手段と、
前記撮影手段により生成された正写真画像及び前記左右反転手段により生成された反転写真画像に基づいて前記人物の属性を判定する属性判定手段とを備えたことを特徴とする人物属性識別装置。 Photographing means for photographing a person and generating a normal photograph image;
A left-right reversing means for reversing a right photographic image generated by the photographing means to generate a reversed photographic image;
A person attribute identification apparatus comprising: an attribute determination unit that determines an attribute of the person based on a normal photograph image generated by the photographing unit and a reverse photograph image generated by the left-right reversing unit.
前記撮影手段により生成された正写真画像及び前記左右反転手段により生成された反転写真画像の中から前記人物の顔が写っている領域を顔画像として検出する顔検出手段と、
前記顔検出手段により検出された顔画像を抽出する顔画像抽出手段とを備え、
前記属性判定手段は、前記顔画像抽出手段により抽出された顔画像に基づいて前記人物の属性を判定する、ことを特徴とする人物属性識別装置。 The person attribute identification device according to claim 1, further comprising:
A face detecting means for detecting, as a face image, an area in which the face of the person is reflected from the normal photograph image generated by the photographing means and the reversed photograph image generated by the left-right reversing means;
A face image extracting means for extracting the face image detected by the face detecting means,
The person attribute identification device characterized in that the attribute determination means determines the attribute of the person based on the face image extracted by the face image extraction means.
前記顔画像抽出手段により抽出された顔画像に基づいて正面顔尤度を算出する正面顔尤度算出手段と、
前記顔画像抽出手段により抽出された顔画像の中から前記正面顔尤度算出手段により算出された正面顔尤度の高い上位所定枚数の顔画像を選択する正面顔選択手段とを備え、
前記属性判定手段は、前記正面顔選択手段により選択された顔画像に基づいて前記人物の属性を判定する、ことを特徴とする人物属性識別装置。 The personal attribute identification device according to claim 2, further comprising:
A front face likelihood calculating means for calculating a front face likelihood based on the face image extracted by the face image extracting means;
A front face selecting means for selecting a top predetermined number of face images having a high front face likelihood calculated by the front face likelihood calculating means from the face images extracted by the face image extracting means;
The person attribute identification device characterized in that the attribute determination means determines the attribute of the person based on the face image selected by the front face selection means.
前記撮影ステップにより生成された正写真画像を左右反転して反転写真画像を生成する左右反転ステップと、
前記撮影ステップにより生成された正写真画像及び前記左右反転ステップにより生成された反転写真画像に基づいて前記人物の属性を判定する属性判定ステップとを備えたことを特徴とする人物属性識別方法。 A shooting step of shooting a person to generate a positive photo image;
A left-right reversing step for generating a reversed photo image by reversing the right photo image generated by the photographing step;
A person attribute identification method comprising: an attribute determination step for determining an attribute of the person based on a normal photograph image generated by the photographing step and a reverse photograph image generated by the left-right reversal step.
前記撮影ステップにより生成された正写真画像及び前記左右反転ステップにより生成された反転写真画像の中から前記人物の顔が写っている領域を顔画像として検出する顔検出ステップと、
前記顔検出ステップにより検出された顔画像を抽出する顔画像抽出ステップとを備え、
前記属性判定ステップは、前記顔画像抽出ステップにより抽出された顔画像に基づいて前記人物の属性を判定する、ことを特徴とする人物属性識別方法。 The person attribute identification method according to claim 4, further comprising:
A face detection step of detecting, as a face image, a region in which the face of the person is reflected from the normal photo image generated by the photographing step and the reverse photo image generated by the left-right reversal step;
A face image extraction step of extracting the face image detected by the face detection step,
The person attribute identification method characterized in that the attribute determination step determines the attribute of the person based on the face image extracted by the face image extraction step.
前記顔画像抽出ステップにより抽出された顔画像に基づいて正面顔尤度を算出する正面顔尤度算出ステップと、
前記顔画像抽出ステップにより抽出された顔画像の中から前記正面顔尤度算出ステップにより算出された正面顔尤度の高い上位所定枚数の顔画像を選択する正面顔選択ステップとを備え、
前記属性判定ステップは、前記正面顔選択ステップにより選択された顔画像に基づいて前記人物の属性を判定する、ことを特徴とする人物属性識別方法。 The person attribute identifying method according to claim 5, further comprising:
A front face likelihood calculating step for calculating a front face likelihood based on the face image extracted by the face image extracting step;
A front face selection step of selecting a top predetermined number of face images having a high front face likelihood calculated by the front face likelihood calculation step from the face images extracted by the face image extraction step;
The person attribute identification method characterized in that the attribute determination step determines the attribute of the person based on the face image selected in the front face selection step.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007154921A JP2008310392A (en) | 2007-06-12 | 2007-06-12 | Person attribute discrimination device and method thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007154921A JP2008310392A (en) | 2007-06-12 | 2007-06-12 | Person attribute discrimination device and method thereof |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2008310392A true JP2008310392A (en) | 2008-12-25 |
Family
ID=40237965
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007154921A Pending JP2008310392A (en) | 2007-06-12 | 2007-06-12 | Person attribute discrimination device and method thereof |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2008310392A (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011193325A (en) * | 2010-03-16 | 2011-09-29 | Kddi Corp | Digital photo display device having display, system, and program |
| WO2018096661A1 (en) * | 2016-11-25 | 2018-05-31 | 日本電気株式会社 | Image generation device, face verification device, image generation method, and recording medium in which program is stored |
| US20180165832A1 (en) * | 2016-12-13 | 2018-06-14 | Fujitsu Limited | Face direction estimation device and face direction estimation method |
| JP2021009645A (en) * | 2019-07-03 | 2021-01-28 | Ａｗｌ株式会社 | Attribute recognition system, learning server, and attribute recognition program |
-
2007
- 2007-06-12 JP JP2007154921A patent/JP2008310392A/en active Pending
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011193325A (en) * | 2010-03-16 | 2011-09-29 | Kddi Corp | Digital photo display device having display, system, and program |
| WO2018096661A1 (en) * | 2016-11-25 | 2018-05-31 | 日本電気株式会社 | Image generation device, face verification device, image generation method, and recording medium in which program is stored |
| JPWO2018096661A1 (en) * | 2016-11-25 | 2019-10-17 | 日本電気株式会社 | Image generating apparatus, image generating method, and program |
| US10846838B2 (en) | 2016-11-25 | 2020-11-24 | Nec Corporation | Image generation device, image generation method, and storage medium storing program |
| US10878549B2 (en) | 2016-11-25 | 2020-12-29 | Nec Corporation | Image generation device, image generation method, and storage medium storing program |
| US11620739B2 (en) | 2016-11-25 | 2023-04-04 | Nec Corporation | Image generation device, image generation method, and storage medium storing program |
| US20180165832A1 (en) * | 2016-12-13 | 2018-06-14 | Fujitsu Limited | Face direction estimation device and face direction estimation method |
| JP2018097573A (en) * | 2016-12-13 | 2018-06-21 | 富士通株式会社 | Computer program for estimating orientation of face, device for estimating orientation of face, and method of estimating orientation of face |
| US10740923B2 (en) | 2016-12-13 | 2020-08-11 | Fujitsu Limited | Face direction estimation device and face direction estimation method for estimating the direction of a face represented on an image |
| JP2021009645A (en) * | 2019-07-03 | 2021-01-28 | Ａｗｌ株式会社 | Attribute recognition system, learning server, and attribute recognition program |
| US11544960B2 (en) | 2019-07-03 | 2023-01-03 | AWL, Inc. | Attribute recognition system, learning server and non-transitory computer-readable recording medium |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10523894B2 (en) | Automated selection of keeper images from a burst photo captured set | |
| TWI380223B (en) | Image processing apparatus and image processing method | |
| US8432357B2 (en) | Tracking object selection apparatus, method, program and circuit | |
| JP4642128B2 (en) | Image processing method, image processing apparatus and system | |
| US20120300092A1 (en) | Automatically optimizing capture of images of one or more subjects | |
| JP5699432B2 (en) | Image processing device | |
| TW201627917A (en) | Method and device for face in-vivo detection | |
| JP2010500687A (en) | Real-time face detection in digital image acquisition device | |
| JP2008262447A (en) | Image processor, photographing system, blinking state detection method, blinking state detection program and storage medium recording same program | |
| US20110179052A1 (en) | Pattern identification apparatus and control method thereof | |
| JP2007272685A (en) | Automatic trimming method, device and program | |
| WO2014074959A1 (en) | Real-time face detection using pixel pairs | |
| TWI522930B (en) | Method for recognizing images in real time in mobile terminal and mobile terminal thereof | |
| JP2015215741A (en) | Subject detection device, subject detection method and program | |
| JP2011095862A (en) | Apparatus and method for processing image and program | |
| JP2008310392A (en) | Person attribute discrimination device and method thereof | |
| JP2019517079A (en) | Shape detection | |
| JP2012103859A (en) | Image processing device, image processing method, and image processing program | |
| JP6373446B2 (en) | Program, system, apparatus and method for selecting video frame | |
| WO2017017898A1 (en) | Movement direction determination method and movement direction determination device | |
| JP2014021901A (en) | Object detection device, object detection method and program | |
| EP2998928A1 (en) | Apparatus and method for extracting high watermark image from continuously photographed images | |
| EP3217320A1 (en) | Person verification system and person verification method | |
| JP2008211534A (en) | Face detecting device | |
| JP2007140695A (en) | Suspicious face detection system, suspicious face detection method and suspicious face detection program |