JP2008287704A - Face image detection device, face image detection method and photographing device - Google Patents

Face image detection device, face image detection method and photographing device Download PDF

Info

Publication number
JP2008287704A
JP2008287704A JP2008071856A JP2008071856A JP2008287704A JP 2008287704 A JP2008287704 A JP 2008287704A JP 2008071856 A JP2008071856 A JP 2008071856A JP 2008071856 A JP2008071856 A JP 2008071856A JP 2008287704 A JP2008287704 A JP 2008287704A
Authority
JP
Japan
Prior art keywords
image data
face
reduced
image
face image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008071856A
Other languages
Japanese (ja)
Inventor
Toshinobu Hatano
敏信 秦野
Hironori Yatsuyama
博記 八山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Original Assignee
Panasonic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp filed Critical Panasonic Corp
Priority to JP2008071856A priority Critical patent/JP2008287704A/en
Priority to US12/103,236 priority patent/US8064655B2/en
Publication of JP2008287704A publication Critical patent/JP2008287704A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a face image detection device, capable of accurately detecting a face image position without increasing the detection time of the face image position and the power consumption needed for detecting the face image position. <P>SOLUTION: The face image detection device for detecting a face image position using input image data comprises a reduced and rotated image data formation part 104 which reduces and rotates the input image data by 360×i/n °(n is an integer of 2 or more, i=0 to n-1) to form n-pieces of reduced and rotated image data at every 360/n°; and a face detection part 106 which detects the face image position for the n-pieces of reduced rotated image data. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、例えば、ディジタルカメラで人物画像を撮影する時に使用する顔検出機能の速度と精度とを向上させるための技術に関し、特に、ディジタルカメラ及びパーソナルコンピュータなどの画像記録装置に備えられる顔画像検出装置に関する。   The present invention relates to a technique for improving the speed and accuracy of a face detection function used when, for example, a human camera takes a human image, and in particular, a face image provided in an image recording apparatus such as a digital camera or a personal computer. The present invention relates to a detection device.

人の顔の位置検出技術は、監視システムはもとより民生ディジタルスチルカメラなどで用いられてきている。ディジタルカメラの高速化と高画質化の技術向上と普及とは目覚ましいものがある。例えば、ディジタルカメラにおける人物(特に、顔)へのオートフォーカス機能、自動露光補正機能、及び顔認識による個人認証などでも、ディジタルスチルカメラの性能の向上とともに、顔位置検出技術が実用展開されてきている。この他、ディジタルビデオにおける画像検索、インデクシング及び画像アルバム整理などにおいて、動画又は静止画から人物を抽出するための技術としても、顔位置検出技術は有用で、その応用展開は幅広い。   Human face position detection technology has been used not only in surveillance systems but also in consumer digital still cameras and the like. There is a remarkable increase in technology and spread of high-speed and high-quality digital cameras. For example, in an autofocus function for a person (especially a face) in a digital camera, an automatic exposure correction function, and personal authentication based on face recognition, the performance of the digital still camera has been improved and a face position detection technique has been put into practical use. Yes. In addition, the face position detection technique is useful as a technique for extracting a person from a moving image or a still image in image search, indexing, and image album organization in digital video, and its application development is wide.

顔の向きに拘わらず位置検出精度を向上できる顔位置検出技術として、特許文献1のような従来技術がある。特許文献1では、一つの顔を位置検出する際に正面向きの顔画像に関するパラメータを使用せず、正面顔画像を左半分と右半分とに分け、左右それぞれの顔画像に関する二組のパラメータを使用して、顔画像の位置を検出する。これにより、正面以外の横向きの顔であっても位置検出率が向上する。
特開2006−72770号公報
As a face position detection technique capable of improving the position detection accuracy regardless of the face orientation, there is a conventional technique such as Patent Document 1. In Patent Document 1, when detecting the position of one face, the front face image parameter is not used, the front face image is divided into a left half and a right half, and two sets of parameters relating to the left and right face images are set. Use to detect the position of the face image. As a result, the position detection rate is improved even for a sideways face other than the front face.
JP 2006-72770 A

しかしながら、特許文献1では、上述のように二組のパラメータを使用して顔画像の位置を検出しているため、1枚の入力画像から顔画像の位置を検出するためには、パラメータの組毎に、パラメータの組と入力画像との参照比較処理を実行する必要がある。つまり、2回の参照比較処理を実行する必要がある。このため、それに伴う顔画像位置の検出時間、顔画像位置検出に要する電力消費の増大などの課題がある。   However, in Patent Document 1, since the position of the face image is detected using two sets of parameters as described above, in order to detect the position of the face image from one input image, a set of parameters is used. It is necessary to execute a reference comparison process between a set of parameters and an input image every time. That is, it is necessary to execute the reference comparison process twice. For this reason, there are problems such as the detection time of the face image position and the increase in power consumption required for detecting the face image position.

また、特許文献1では、人が左右を向いた場合には精度良く顔画像の位置を検出することはできるが、ディジタルカメラの光軸を中心軸として顔画像が回転する場合には、精度良く顔画像の位置を検出することができないという課題もある。   Further, in Patent Document 1, the position of a face image can be detected with high accuracy when a person turns to the left or right. However, when the face image rotates with the optical axis of the digital camera as the central axis, it is possible to accurately There is also a problem that the position of the face image cannot be detected.

本発明は、上述の課題を解決するためになされたものであり、顔画像位置の検出時間及び顔画像位置検出に要する電力消費を増大させることなく、顔画像の位置を精度良く検出することができる顔画像検出装置を提供することを目的とする。   The present invention has been made to solve the above-described problems, and can accurately detect the position of a face image without increasing the detection time of the face image and the power consumption required for detecting the face image position. An object of the present invention is to provide a face image detection device capable of performing the above.

本発明に係る顔画像検出装置は、入力画像データを用いて顔画像の位置を検出する顔画像検出装置であって、前記入力画像データを縮小して、360×i/n(nは2以上の整数:i=0〜n−1)度回転させた360/n度おきのn枚の縮小回転画像データを作成する縮小回転画像データ作成手段と、前記n枚の縮小回転画像データを対象として顔画像の位置を検出する顔検出手段とを備えることを特徴とする。   A face image detection apparatus according to the present invention is a face image detection apparatus that detects the position of a face image using input image data, and reduces the input image data to 360 × i / n (n is 2 or more). Integer: i = 0 to n-1) Reduced rotated image data creating means for creating n reduced rotated image data every 360 / n degrees rotated, and the n reduced rotated image data as targets. And face detection means for detecting the position of the face image.

この構成によると、入力画像データを縮小させ、かつ複数の角度に回転させた複数の縮小回転画像データから顔画像の位置が検出される。このため、精度良く顔画像の位置を検出することができる。また、縮小回転画像データは、入力画像データを縮小させたものである。このため、高速に顔画像の位置を検出することができ、消費電力を削減することができる。   According to this configuration, the position of the face image is detected from a plurality of reduced rotated image data obtained by reducing the input image data and rotating the input image data at a plurality of angles. For this reason, the position of the face image can be detected with high accuracy. The reduced rotation image data is obtained by reducing the input image data. For this reason, the position of the face image can be detected at high speed, and the power consumption can be reduced.

好ましくは、前記顔検出手段は、少なくとも360/n度の範囲内の傾きの顔画像の位置を検出することができる手法を用いて、前記n枚の縮小回転画像データを対象として顔画像の位置を検出することを特徴とする。   Preferably, the face detecting means uses a technique capable of detecting the position of a face image having an inclination within a range of at least 360 / n degrees, and the position of the face image with respect to the n pieces of reduced rotated image data. Is detected.

顔検出手段は、360/n度の範囲内の傾きの顔画像の位置を検出することができるため、n枚の縮小回転画像データから顔画像の位置を検出することにより、360度の傾きに対しても顔画像の位置を検出することができる。   Since the face detection means can detect the position of the face image having an inclination within a range of 360 / n degrees, the face detection means detects the position of the face image from n pieces of reduced rotation image data, and thereby the inclination is 360 degrees. In contrast, the position of the face image can be detected.

さらに好ましくは、上述の顔画像検出装置は、さらに、前記n枚の縮小回転画像データのうち、前記顔検出手段で顔画像の位置が検出された縮小回転画像データを特定する縮小回転画像データ特定手段と、前記縮小回転画像データ特定手段で特定された前記縮小回転画像データの前記入力画像データに対する回転角度θに基づいて、360/n度おきのn個の角度設定値の中から、(−θ)の傾きを有する顔画像の位置検出に用いられる1つの角度設定値を選択する角度設定値選択手段とを備え、前記顔検出手段は、さらに、前記角度設定値選択手段で選択された前記1つの角度設定値を用いて、前記入力画像データを対象として顔画像の位置を検出することを特徴とする。   More preferably, the above-described face image detection device further specifies reduced rotation image data specifying the reduced rotation image data in which the position of the face image is detected by the face detection unit among the n reduced rotation image data. Based on the rotation angle θ of the reduced rotated image data specified by the reduced rotated image data specifying means with respect to the input image data, out of n angle setting values every 360 / n degrees (− angle setting value selecting means for selecting one angle setting value used for position detection of a face image having an inclination of θ), and the face detecting means is further selected by the angle setting value selecting means. The position of the face image is detected for the input image data using one angle setting value.

n個の角度設定値のいずれかを用いて入力画像データに対する顔画像位置検出処理を行っているので、精度の高い顔画像位置検出を実現することができる。例えば、画像に占める顔の割合が小さい場合には、複数の縮小回転画像データより顔画像の大まかな傾きを判定した後に、入力画像データから顔画像の位置検出を行うことができる。これにより、最適な角度設定値を用いて顔画像位置検出処理を行うことができ、精度良く顔画像の位置が検出される。   Since the face image position detection process is performed on the input image data using any of the n angle setting values, highly accurate face image position detection can be realized. For example, when the ratio of the face to the image is small, the position of the face image can be detected from the input image data after determining the rough inclination of the face image from a plurality of reduced rotation image data. Thereby, the face image position detection process can be performed using the optimum angle setting value, and the position of the face image is detected with high accuracy.

さらに好ましくは、前記角度設定値選択手段は、さらに、前記縮小回転画像データ特定手段で特定された前記縮小回転画像データが複数の場合には、複数の縮小回転画像データそれぞれの前記入力画像データに対する複数の回転角度θに基づいて、360/n度おきのn個の角度設定値の中から、(−θ)の傾きを有する顔画像の位置検出に用いられる複数の角度設定値を選択し、前記顔検出手段は、さらに、前記縮小回転画像データ特定手段で特定された前記縮小回転画像データが複数の場合には、前記角度設定値選択手段で選択された前記複数の角度設定値の中から1つの角度設定値を順番に取り出し、取り出された前記1つの角度設定値を用いて、前記入力画像データを対象として顔画像の位置を検出することを特徴とする。   More preferably, when there are a plurality of the reduced rotated image data specified by the reduced rotated image data specifying means, the angle setting value selecting means further corresponds to the input image data for each of the plurality of reduced rotated image data. Based on a plurality of rotation angles θ, a plurality of angle setting values used for position detection of a face image having an inclination of (−θ) are selected from n angle setting values every 360 / n degrees, The face detection unit may further include, when there are a plurality of the reduced rotated image data specified by the reduced rotated image data specifying unit, from among the plurality of angle setting values selected by the angle setting value selecting unit. One angle set value is taken out in order, and the position of the face image is detected for the input image data using the taken out one angle set value.

顔検出手段により顔画像の位置が検出できる許容角度と略同じ傾き角度を有する顔画像が存在する場合には、2つの縮小回転画像データが特定される場合があるが、そのような場合には、特定された2つの縮小回転画像データに対応する2つの角度設定値を交互に切り替えながら、1つの角度設定値に基づいて顔画像の位置検出を行うことができる。これにより、精度良く顔画像の位置を検出することができる。   If there is a face image having an inclination angle substantially the same as the allowable angle at which the position of the face image can be detected by the face detection means, two reduced rotation image data may be specified. In such a case, The position of the face image can be detected based on one angle setting value while alternately switching the two angle setting values corresponding to the two specified reduced rotation image data. Thereby, the position of the face image can be detected with high accuracy.

さらに好ましくは、前記顔検出手段は、前記縮小回転画像データ特定手段で前記縮小回転画像データが特定されない場合には、再度、前記n枚の縮小回転画像データを対象として顔画像の位置を検出することを特徴とする。   More preferably, the face detecting means detects the position of the face image again for the n pieces of reduced rotated image data when the reduced rotated image data is not specified by the reduced rotated image data specifying means. It is characterized by that.

特定される縮小回転画像データが無くなった場合には、顔画像の傾きが変化したか、入力画像データ内に顔画像が存在しないかのどちらかと判断して、再度、n枚の縮小回転画像データを対象として顔画像の位置検出が行われる。これにより、例えば、動画撮影時や、静止画撮影時であっても被写体が動いたり撮影者が手元を動かしたりすることにより顔画像の位置及び傾きが変化する場合であっても、顔画像の変化に追随して、高速に精度良く顔画像の位置を検出することができる。   When the specified reduced rotation image data is lost, it is determined whether the inclination of the face image has changed or there is no face image in the input image data, and n reduced rotation image data are again obtained. The position of the face image is detected for. Thus, for example, even when shooting a movie or still image, even if the position and inclination of the face image changes due to the subject moving or the photographer moving the hand, Following the change, the position of the face image can be detected at high speed and with high accuracy.

さらに好ましくは、前記顔検出手段は、所定の角度の傾きを有する顔画像の位置検出に用いられる予め定められた1つの角度設定値を用いて、前記n枚の縮小回転画像データを対象として顔画像の位置を検出し、前記顔画像検出装置は、さらに、前記n枚の縮小回転画像データのうち、前記顔検出手段で顔画像の位置が検出された縮小回転画像データを特定する縮小回転画像データ特定手段を備え、前記顔検出手段は、さらに、前記縮小回転画像データ特定手段で特定された前記縮小回転画像データが複数の場合には、前記予め定められた1つの角度設定値を用いて、前記縮小回転画像データ特定手段で特定された複数の前記縮小回転画像データを対象として顔画像の位置を検出することを特徴とする。   More preferably, the face detection means uses the predetermined angle setting value used for detecting the position of a face image having a predetermined angle of inclination as a target for the n pieces of reduced rotated image data. The face image detection device detects a position of the image, and the face image detection device further specifies a reduced rotation image data that specifies the reduced rotation image data from which the position of the face image is detected by the face detection unit among the n reduced rotation image data. The face detection means further includes a predetermined angle setting value when there are a plurality of the reduced rotated image data specified by the reduced rotated image data specifying means. The position of the face image is detected for a plurality of the reduced rotated image data specified by the reduced rotated image data specifying means.

顔検出手段により顔画像の位置検出ができる許容角度と略同じ傾き角度を有する顔画像が存在する場合には、2つの縮小回転画像データが特定される場合があるが、そのような場合には、特定された2つの縮小回転画像データから顔画像の位置検出を行うことができる。   If there is a face image having an inclination angle substantially the same as the allowable angle at which the position of the face image can be detected by the face detection means, two reduced rotation image data may be specified. In such a case, The position of the face image can be detected from the two specified reduced rotation image data.

さらに好ましくは、前記顔検出手段は、所定の角度の傾きを有する顔画像の位置検出に用いられる予め定められた1つの角度設定値を用いて、前記n枚の縮小回転画像データを対象として顔画像の位置を検出することを特徴とする。   More preferably, the face detection means uses the predetermined angle setting value used for detecting the position of a face image having a predetermined angle of inclination as a target for the n pieces of reduced rotated image data. It is characterized by detecting the position of an image.

1つの角度設定値を用いて顔画像の位置検出を行うため、高速に顔画像の位置を検出することができ、消費電力を削減することができる。   Since the position of the face image is detected using one angle setting value, the position of the face image can be detected at high speed, and power consumption can be reduced.

さらに好ましくは、前記縮小回転画像データ作成手段は、さらに、前記n枚の縮小回転画像データを含む1枚の顔検出用画像を作成し、前記顔検出手段は、前記1枚の顔検出用画像を対象として顔画像の位置を検出することを特徴とする。   More preferably, the reduced rotation image data creation unit further creates one face detection image including the n pieces of reduced rotation image data, and the face detection unit includes the one face detection image. The position of the face image is detected for the target.

一括して複数の傾きの顔画像を含む1枚の顔検出用画像データに対して、顔画像位置検出処理を行うことができる。このため、高速に顔画像の位置を検出することができる。これに伴い、顔画像検出装置の消費電力を削減することができる。   Face image position detection processing can be performed on one piece of face detection image data including face images with a plurality of inclinations at once. For this reason, the position of the face image can be detected at high speed. Accordingly, the power consumption of the face image detection device can be reduced.

なお、本発明は、このような特徴的な手段を備える顔画像検出装置として実現することができるだけでなく、顔画像検出装置に含まれる特徴的な手段をステップとする顔画像検出方法として実現したり、顔画像検出方法に含まれる特徴的なステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、CD−ROM(Compact Disc-Read Only Memory)等の記録媒体やインターネット等の通信ネットワークを介して流通させることができるのは言うまでもない。   Note that the present invention can be realized not only as a face image detection apparatus including such characteristic means but also as a face image detection method using the characteristic means included in the face image detection apparatus as a step. Alternatively, it can be realized as a program that causes a computer to execute characteristic steps included in the face image detection method. Needless to say, such a program can be distributed via a recording medium such as a CD-ROM (Compact Disc-Read Only Memory) or a communication network such as the Internet.

また、顔画像検出装置を搭載する撮影装置としても実現することができる。   Further, it can also be realized as a photographing device equipped with a face image detection device.

本発明によれば、画像中の人物の顔に傾きがある場合の顔画像の位置検出においても、位置検出速度の向上、消費電力の軽減、さらには位置検出精度の向上を実現できる。例えば、赤ん坊が抱っこされた構図などでも高速で精度の高い、安定した顔画像位置検出が行える。また、人物や顔へのオートフォーカス機能や、自動露光補正機能を高精度に動作させることができるディジタルカメラを提供することができる。   According to the present invention, it is possible to improve position detection speed, reduce power consumption, and improve position detection accuracy even in face image position detection when the face of a person in the image is inclined. For example, even with a composition in which a baby is held, high-speed and high-accuracy and stable face image position detection can be performed. In addition, it is possible to provide a digital camera capable of operating an autofocus function for a person or face and an automatic exposure correction function with high accuracy.

以下、本発明の実施の形態に係る顔画像検出装置について、図面を参照しながら説明する。   Hereinafter, a face image detection apparatus according to an embodiment of the present invention will be described with reference to the drawings.

図1は、本発明の実施の形態に係る顔画像検出装置の構成を示すブロック図である。
顔画像検出装置100は、A/D(Analog to Digital)変換器101と、顔画像検出部111と、CPU(Central Processing Unit)102とを含む。
FIG. 1 is a block diagram showing a configuration of a face image detection apparatus according to an embodiment of the present invention.
The face image detection apparatus 100 includes an A / D (Analog to Digital) converter 101, a face image detection unit 111, and a CPU (Central Processing Unit) 102.

A/D変換器101は、入力画像のアナログの画像データ信号をディジタルの画像データ信号に変換する処理部である。なお、A/D変換器101の内部に設けられたDSP(Digital Signal Processor)が、ディジタルの画像データ信号を、規格信号であるREC601の画像データ信号、REC656の画像データ信号、又は汎用入力フォーマットにあわせた画像データ信号に変換した後に出力してもよい。   The A / D converter 101 is a processing unit that converts an analog image data signal of an input image into a digital image data signal. Note that a DSP (Digital Signal Processor) provided in the A / D converter 101 converts a digital image data signal into a standard signal REC601 image data signal, REC656 image data signal, or a general-purpose input format. You may output, after converting into the combined image data signal.

顔画像検出部111は、A/D変換器101より出力される画像データ信号(入力画像データ)から、入力画像データに含まれる顔画像の位置を検出する処理部であり、輝度信号抽出部103と、縮小回転画像データ作成部104と、メモリ105と、顔検出部106と、CPUインタフェース部107とを含む。   The face image detection unit 111 is a processing unit that detects the position of the face image included in the input image data from the image data signal (input image data) output from the A / D converter 101, and the luminance signal extraction unit 103. A reduced rotation image data creation unit 104, a memory 105, a face detection unit 106, and a CPU interface unit 107.

輝度信号抽出部103は、入力画像データから輝度信号を抽出し、輝度信号データを作成する処理部である。   The luminance signal extraction unit 103 is a processing unit that extracts luminance signals from input image data and creates luminance signal data.

縮小回転画像データ作成部104は、輝度信号抽出部103で抽出された輝度信号データに対し、フィルタ処理と縮小リサイズ処理とを行いながら、顔画像位置検出で用いる規定サイズのデータ(以下、「顔検出用画像データ」という。)をメモリ105に書き込む処理部である。   The reduced rotation image data creation unit 104 performs data filtering processing and reduction resizing processing on the luminance signal data extracted by the luminance signal extraction unit 103, and data of a prescribed size used for face image position detection (hereinafter referred to as “face”). This is a processing section that writes “detection image data”) into the memory 105.

メモリ105は、輝度信号抽出部103で抽出された入力画像データの輝度信号データと、縮小回転画像データ作成部104で作成された顔検出用画像データとを格納するための記憶装置である。   The memory 105 is a storage device for storing the luminance signal data of the input image data extracted by the luminance signal extraction unit 103 and the face detection image data generated by the reduced rotation image data generation unit 104.

顔検出部106は、メモリ105に格納された輝度信号データ又は顔検出用画像データにアクセスして、顔画像の位置、大きさ及び傾きを検出する処理部である。顔検出部106には、左右に傾きのない状態での顔画像位置等の検出に最適な4種類の顔検出用パラメータが記憶されており、そのうちの1種類の顔検出用パラメータに基づいて、顔画像位置等の検出が行われる。顔検出部106の処理は、公知の技術を用いることができ、本願の主眼ではないため、その詳細な説明については、ここでは繰り返さない。なお、顔検出用パラメータとは、一般的な顔画像における輝度の分布を数値化したパラメータのことである。顔検出部106に記憶されている4種類の顔検出用パラメータとは、顔画像の傾きを示す角度設定値が0度、90度、180度及び270度としたときの顔検出用パラメータを示す。例えば、角度設定値が90度の顔検出用パラメータは、90度傾いている顔画像の位置を検出するのに最適な顔検出用パラメータのことである。   The face detection unit 106 is a processing unit that accesses the luminance signal data or the face detection image data stored in the memory 105 and detects the position, size, and inclination of the face image. The face detection unit 106 stores four types of face detection parameters that are optimal for detecting the face image position and the like in a state where there is no left-right tilt. Based on one of the types of face detection parameters, Detection of the face image position and the like is performed. Since the processing of the face detection unit 106 can use a known technique and is not the main point of the present application, detailed description thereof will not be repeated here. The face detection parameter is a parameter obtained by quantifying the luminance distribution in a general face image. The four types of face detection parameters stored in the face detection unit 106 indicate face detection parameters when the angle setting values indicating the inclination of the face image are 0 degrees, 90 degrees, 180 degrees, and 270 degrees. . For example, a face detection parameter having an angle setting value of 90 degrees is a face detection parameter that is optimal for detecting the position of a face image tilted by 90 degrees.

CPUインタフェース部107は、CPU102からの命令を受けて、輝度信号抽出部103、縮小回転画像データ作成部104及び顔検出部106のシステム動作を制御する処理部である。   The CPU interface unit 107 is a processing unit that receives a command from the CPU 102 and controls system operations of the luminance signal extraction unit 103, the reduced rotation image data creation unit 104, and the face detection unit 106.

CPU102は、CPUインタフェース部107を介して、顔画像検出部111のシステム動作を制御する処理部であり、機能的に(CPU102上で制御プログラムを実行することにより実現される処理部として)縮小回転画像データ特定部108と、角度設定値選択部109と、顔画像位置判定部110とを含む。   The CPU 102 is a processing unit that controls the system operation of the face image detection unit 111 via the CPU interface unit 107, and is functionally reduced (as a processing unit realized by executing a control program on the CPU 102). An image data specifying unit 108, an angle setting value selection unit 109, and a face image position determination unit 110 are included.

縮小回転画像データ特定部108は、縮小回転画像データ作成部104でリサイズされたデータのうち、顔検出部106において顔画像の位置が検出されたデータを特定する処理部である。   The reduced rotated image data specifying unit 108 is a processing unit that specifies data in which the position of the face image is detected by the face detecting unit 106 among the data resized by the reduced rotated image data creating unit 104.

角度設定値選択部109は、顔検出部106での顔画像位置検出に用いられる角度設定値を含む顔検出用パラメータを設定する処理部である。   The angle setting value selection unit 109 is a processing unit that sets a face detection parameter including an angle setting value used for face image position detection in the face detection unit 106.

顔画像位置判定部110は、顔検出部106で検出された顔画像の位置と、縮小回転画像データ特定部108で特定されたデータと入力画像データとの位置に関する対応関係とから、入力画像データにおける顔画像の位置を判定する。   The face image position determination unit 110 inputs the input image data from the position of the face image detected by the face detection unit 106 and the correspondence relationship between the data specified by the reduced rotation image data specifying unit 108 and the input image data. The position of the face image at is determined.

次に、顔画像検出装置100の動作について説明する。
輝度信号抽出部103は、入力画像データが得られる毎に、入力画像データから、顔画像位置検出に使用する輝度信号を抽出し、輝度信号データを作成する。
Next, the operation of the face image detection apparatus 100 will be described.
Every time input image data is obtained, the luminance signal extraction unit 103 extracts a luminance signal used for face image position detection from the input image data, and creates luminance signal data.

図2は、顔画像検出装置100の、CPU102、縮小回転画像データ作成部104、メモリ105、顔検出部106及びCPUインタフェース部107の動作を示すフローチャートである。   FIG. 2 is a flowchart showing operations of the CPU 102, the reduced rotation image data creation unit 104, the memory 105, the face detection unit 106, and the CPU interface unit 107 of the face image detection apparatus 100.

なお、以降の説明で、S4〜S9の処理、S10〜S16の処理、S10とS18〜S22の処理がそれぞれ1フレーム期間(例えば、1/30秒)内で行われる。   In the following description, the processing of S4 to S9, the processing of S10 to S16, and the processing of S10 and S18 to S22 are each performed within one frame period (for example, 1/30 seconds).

輝度信号抽出部103から出力される輝度信号は、任意のサイズの入力画像データの輝度信号データである。このため、縮小回転画像データ作成部104は、輝度信号データを顔検出部106で規定する任意のサイズに変換するために、フィルタ処理と縮小リサイズ処理を行った輝度データ(顔検出用画像データ)を作成し、メモリ105に顔検出用画像データを規定サイズで書き込む(S4)。   The luminance signal output from the luminance signal extraction unit 103 is luminance signal data of input image data having an arbitrary size. For this reason, the reduced rotation image data creation unit 104 performs luminance processing (face detection image data) on which filtering processing and reduction resizing processing are performed in order to convert the luminance signal data into an arbitrary size specified by the face detection unit 106. And the face detection image data is written to the memory 105 in a prescribed size (S4).

顔検出部106は、メモリ105に格納された顔検出用画像データにアクセスして、顔画像の位置、大きさ及び傾きを検出する(S6)。   The face detection unit 106 accesses the image data for face detection stored in the memory 105, and detects the position, size, and inclination of the face image (S6).

ここで、顔検出部106には、左右に傾きのない状態での顔画像位置検出に最適な1種類の顔検出用パラメータが設定されており、この顔検出用パラメータを用いた顔画像位置検出処理では左右それぞれ45度まで傾いた顔画像の位置を検出可能(以下、「傾き許容角度が45度である」と記す)であるものとする。この場合、S4の処理において、縮小回転画像データ作成部104は、入力画像データの輝度信号データ(以下、「オリジナル画像データ」という。)を、顔検出用画像データの規定サイズの1/n(n=4)以下に縮小し、縮小画像データを作成する。また、縮小回転画像データ作成部104は、縮小画像データを、360/n(n=4)、すなわち90度ずつ回転させることにより得られる4枚の縮小回転画像データを貼り合わせた1枚の顔検出用画像データを生成する。このために、縮小回転画像データ作成部104は、縮小画像データを90度ずつ回転させながら顔検出用画像データの規定サイズアドレス内で4つの縮小回転画像データのマッピングを行い、4枚の縮小回転画像データをメモリ105へ高速書き込みする。メモリ105に書き込まれるデータ量は、顔検出用画像データの規定サイズ1枚分である。このため、4枚の縮小回転画像データを書き込む場合もオリジナル画像データをそのまま書き込む場合と同じデータ量となり、電力増加は軽微である。   Here, the face detection unit 106 is set with one type of face detection parameter that is optimal for face image position detection in a state where there is no left-right tilt, and face image position detection using this face detection parameter. In the processing, it is assumed that the position of the face image tilted up to 45 degrees on each of the left and right sides can be detected (hereinafter referred to as “tilt allowable angle is 45 degrees”). In this case, in the process of S4, the reduced rotation image data creation unit 104 uses the luminance signal data of the input image data (hereinafter, referred to as “original image data”) as 1 / n (the specified size of the face detection image data). n = 4) Reduced to below to create reduced image data. Further, the reduced rotation image data creation unit 104 has one face obtained by pasting together the four reduced rotation image data obtained by rotating the reduction image data by 360 / n (n = 4), that is, by 90 degrees. Image data for detection is generated. For this purpose, the reduced rotation image data creation unit 104 performs mapping of the four reduced rotation image data within the specified size address of the face detection image data while rotating the reduced image data by 90 degrees, and performs four reduction rotations. Image data is written to the memory 105 at high speed. The amount of data written to the memory 105 is one specified size of face detection image data. For this reason, when writing the four pieces of reduced rotated image data, the data amount is the same as when writing the original image data as it is, and the power increase is slight.

図3は、オリジナル画像データの一例を示す図である。オリジナル画像データ201は、被写体として赤ん坊を撮像した画像データであり、被写体の顔の傾き角度は60度であり、顔検出部106における顔画像位置検出処理の傾き許容角度を超えているものとする。   FIG. 3 is a diagram illustrating an example of original image data. The original image data 201 is image data obtained by imaging a baby as a subject, the tilt angle of the subject's face is 60 degrees, and exceeds the allowable tilt angle of the face image position detection process in the face detection unit 106. .

図4は、顔検出用画像データの一例を示す図である。顔検出用画像データ202の規定サイズは、オリジナル画像データ201の画像サイズと同じであるものとする。顔検出用画像データ202には、規定サイズに収まるように、4枚の縮小回転画像データ203〜206が張り合わされた画像データである。縮小回転画像データ203は、オリジナル画像データ201に対して0度回転している。縮小回転画像データ204はオリジナル画像データ201に対して180度回転している。縮小回転画像データ205はオリジナル画像データ201に対して時計回りに270度回転している。縮小回転画像データ206はオリジナル画像データ201に対して時計回りに90度回転している。   FIG. 4 is a diagram illustrating an example of image data for face detection. It is assumed that the prescribed size of the face detection image data 202 is the same as the image size of the original image data 201. The face detection image data 202 is image data in which four pieces of reduced rotation image data 203 to 206 are pasted so as to fit within a specified size. The reduced rotation image data 203 is rotated by 0 degrees with respect to the original image data 201. The reduced rotation image data 204 is rotated 180 degrees with respect to the original image data 201. The reduced rotation image data 205 is rotated 270 degrees clockwise with respect to the original image data 201. The reduced rotation image data 206 is rotated 90 degrees clockwise with respect to the original image data 201.

S6の処理において、顔検出部106は、メモリ105から4種類の画像を貼り合わせた規定サイズに収まった1枚の顔検出用画像データ202を読み出し、顔画像位置検出処理を実行する。この処理により、4種類の画像情報に対する顔画像位置検出処理を一括して行うことができる。オリジナル画像データ201のように顔の左右の傾きが45度を超える顔画像位置検出が不可能な画像についても、90度ずつ回転した4種類の縮小画像に対して顔画像位置検出処理が実行される。このため、顔の左右の傾きが±45度以内の縮小回転画像データ205において、顔画像205aの位置、大きさ及び傾きが検出される。   In the process of S <b> 6, the face detection unit 106 reads out one piece of face detection image data 202 within a specified size obtained by pasting four types of images from the memory 105, and executes face image position detection processing. By this processing, face image position detection processing for four types of image information can be performed collectively. Even for an image in which the face image position cannot be detected, such as the original image data 201, whose face tilt exceeds 45 degrees, face image position detection processing is performed on four types of reduced images rotated by 90 degrees. The For this reason, the position, size, and inclination of the face image 205a are detected in the reduced rotation image data 205 in which the right / left inclination of the face is within ± 45 degrees.

次に、縮小回転画像データ特定部108は、4種類の縮小回転画像データのうち、顔検出部106で顔画像位置が検出された縮小回転画像データを特定する(S8)。例えば、図4に示した顔検出用画像データ202では、縮小回転画像データ205が、顔画像位置が検出された縮小回転画像データとして特定される。4種類の縮小回転画像データの配置は、予め定められているため、オリジナル画像データ上での検出された顔画像の位置より縮小回転画像データが特定される。   Next, the reduced rotation image data specifying unit 108 specifies the reduced rotation image data from which the face image position is detected by the face detection unit 106 among the four types of reduced rotation image data (S8). For example, in the face detection image data 202 shown in FIG. 4, the reduced rotation image data 205 is specified as the reduced rotation image data from which the face image position is detected. Since the arrangement of the four types of reduced rotation image data is predetermined, the reduced rotation image data is specified from the position of the detected face image on the original image data.

顔画像位置判定部110は、特定された縮小回転画像データにおける顔画像の位置から、オリジナル画像データ上での顔画像の位置、大きさ及び傾きを検出する(S9)。縮小回転画像データとオリジナル画像データとの画像データの対応関係は、縮小回転画像データ作成部104での縮小回転画像データのメモリ書き込み時に分かっている。また、縮小率も予め分かっている。このため、これらの情報より、オリジナル画像データ上での顔画像の位置及び大きさは算出することができる。また、縮小回転画像データ作成時の回転角度も分かっているため、縮小回転画像データにおける顔画像の傾きから、オリジナル画像データ上での顔画像の傾きも算出することができる。   The face image position determination unit 110 detects the position, size, and inclination of the face image on the original image data from the position of the face image in the specified reduced rotation image data (S9). The correspondence between the reduced rotation image data and the original image data is known when the reduced rotation image data creation unit 104 writes the reduced rotation image data in the memory. The reduction rate is also known in advance. Therefore, the position and size of the face image on the original image data can be calculated from these pieces of information. Further, since the rotation angle at the time of creating the reduced rotation image data is also known, the inclination of the face image on the original image data can be calculated from the inclination of the face image in the reduced rotation image data.

顔画像位置が検出された縮小回転画像データが1つの場合には(S10でYES)、角度設定値選択部109は、縮小回転画像データ特定部108で特定された縮小回転画像データより、顔検出部106での顔画像位置検出処理に用いられる角度設定値を特定することにより、その角度設定値を含む顔検出用パラメータを特定する(S12)。   When there is one reduced rotation image data from which the face image position is detected (YES in S10), the angle setting value selection unit 109 detects the face from the reduced rotation image data specified by the reduction rotation image data specification unit 108. By specifying the angle setting value used for the face image position detection process in the unit 106, the face detection parameter including the angle setting value is specified (S12).

4種類の縮小回転画像のいずれか一つで顔画像位置が検出されたとき、メモリ105への書き込み制御にてメモリ105内にマッピングした各々の縮小回転画像の回転角度の情報から、人物の傾き構図を判定することができる。図3及び図4に示した例では、オリジナル画像データ201を反時計回りに90度回転した縮小回転画像データ205において顔画像205aの位置が検出されるため、オリジナル画像データ201における被写体の顔画像201aはフレーム内で時計回りにおよそ90度回転していると判断できる。よって、角度設定値選択部109は、角度設定値を90度と特定し、当該角度設定値を顔検出部106に出力する。これにより、顔検出部106で次に顔画像位置検出に用いられる角度設定値を含む顔検出用パラメータが特定される。   When the face image position is detected in any one of the four types of reduced rotation images, the inclination of the person is determined based on the rotation angle information of each reduced rotation image mapped in the memory 105 by the write control to the memory 105. The composition can be determined. In the example shown in FIGS. 3 and 4, since the position of the face image 205a is detected in the reduced rotation image data 205 obtained by rotating the original image data 201 by 90 degrees counterclockwise, the face image of the subject in the original image data 201 is detected. 201a can be determined to be rotated approximately 90 degrees clockwise within the frame. Therefore, the angle setting value selection unit 109 specifies the angle setting value as 90 degrees, and outputs the angle setting value to the face detection unit 106. As a result, the face detection unit 106 specifies the face detection parameters including the angle setting value used for the next face image position detection.

顔検出部106は、その角度設定値を含む顔検出用パラメータを用いて、メモリ105に格納されたオリジナル画像データにアクセスして、顔画像の位置、大きさ及び傾きを検出する(S14)。上述の例では、角度設定値が90度と特定されている。このため、顔検出部106は、角度設定値90度を含む顔検出用パラメータを用いて、図3に示したオリジナル画像データ201にアクセスして、顔画像201aの位置、大きさ及び傾きを検出する。なお、メモリ105に格納されているオリジナル画像データは順次更新される。このため、顔検出部106は、最新のオリジナル画像データから顔画像位置の検出を行う。   The face detection unit 106 accesses the original image data stored in the memory 105 using the face detection parameter including the angle setting value, and detects the position, size, and inclination of the face image (S14). In the above example, the angle setting value is specified as 90 degrees. Therefore, the face detection unit 106 accesses the original image data 201 shown in FIG. 3 using the face detection parameters including the angle setting value 90 degrees, and detects the position, size, and inclination of the face image 201a. To do. Note that the original image data stored in the memory 105 is sequentially updated. Therefore, the face detection unit 106 detects the face image position from the latest original image data.

顔検出部106は、顔画像位置が検出される間は、オリジナル画像データ201から顔画像の位置を検出する(S16でNO、S14)。   While the face image position is detected, the face detection unit 106 detects the position of the face image from the original image data 201 (NO in S16, S14).

顔画像位置が検出されなくなった場合には(S16でYES)、S4以降の処理が繰り返し実行される。   If the face image position is no longer detected (YES in S16), the processes after S4 are repeatedly executed.

S10の処理で複数の縮小回転画像データから顔画像位置が検出された場合には(S10でNO)、縮小回転画像データ作成部104は、縮小回転画像データ特定部108が特定した複数の縮小回転画像データのみが顔検出用画像データの規定サイズに収まるように、輝度信号抽出部103より出力される輝度信号データにフィルタ処理と縮小リサイズ処理を施し、顔検出用画像データを作成する。縮小回転画像データ作成部104は、作成した顔検出用画像データをメモリ105に書き込む(S18)。例えば、図4に示す顔検出用画像データ202のうち、縮小回転画像データ203及び205から顔画像の位置が検出されたものとすると、縮小回転画像データ作成部104は、図5に示すような、顔検出用画像データの規定サイズ内に2種類の縮小回転画像データ213及び215をマッピングした顔検出用画像データ211を作成する。   When a face image position is detected from a plurality of reduced rotation image data in the process of S10 (NO in S10), the reduced rotation image data creation unit 104 specifies a plurality of reduction rotations specified by the reduction rotation image data specifying unit 108. The luminance signal data output from the luminance signal extraction unit 103 is subjected to filter processing and reduction / resize processing so that only the image data fits within the specified size of the face detection image data, thereby generating face detection image data. The reduced rotation image data creation unit 104 writes the created face detection image data in the memory 105 (S18). For example, if the position of the face image is detected from the reduced rotation image data 203 and 205 in the face detection image data 202 shown in FIG. 4, the reduced rotation image data creation unit 104 has a configuration as shown in FIG. Then, face detection image data 211 is created by mapping two types of reduced rotation image data 213 and 215 within the prescribed size of the face detection image data.

顔検出部106は、S18の処理でメモリ105に格納された顔検出用画像データにアクセスして、顔画像の位置、大きさ及び傾きを検出する(S20)。   The face detection unit 106 accesses the face detection image data stored in the memory 105 in the process of S18, and detects the position, size, and inclination of the face image (S20).

顔画像位置判定部110は、特定された縮小回転画像データにおける顔画像の位置から、オリジナル画像データ上での顔画像の位置、大きさ及び傾きを検出する(S21)。例えば、顔検出用画像データ211の縮小回転画像データ215より顔画像205aの位置が検出され、顔215aの傾きが時計回りに330度(反時計回りに30度)と求められたものとする。このとき、顔215aが含まれる縮小回転画像データ215はオリジナル画像データ201に対して時計回りに270度回転している。このため、オリジナル画像データ201における顔画像201aの傾きは、時計回りに60(=330−270)度と算出される。   The face image position determination unit 110 detects the position, size, and inclination of the face image on the original image data from the position of the face image in the specified reduced rotation image data (S21). For example, it is assumed that the position of the face image 205a is detected from the reduced rotation image data 215 of the face detection image data 211, and the inclination of the face 215a is determined to be 330 degrees clockwise (30 degrees counterclockwise). At this time, the reduced rotation image data 215 including the face 215 a is rotated 270 degrees clockwise with respect to the original image data 201. Therefore, the inclination of the face image 201a in the original image data 201 is calculated as 60 (= 330-270) degrees clockwise.

顔検出部106は、顔画像の位置が検出される間は、顔検出用画像データから顔画像の位置を検出する(S22でNO、S18、S20)。   While the position of the face image is detected, the face detection unit 106 detects the position of the face image from the face detection image data (NO in S22, S18, S20).

顔画像の位置が検出されなくなった場合には(S22でYES)、S4以降の処理が繰り返し実行される。   When the position of the face image is no longer detected (YES in S22), the processes after S4 are repeatedly executed.

以上説明したように、本実施の形態によると、顔の傾き許容角度以上の傾きを持つ顔画像についても、複数種の顔検出用パラメータを用いずに、1種類の顔検出用パラメータを用いて高速に位置検出することができる。つまり、顔検出用画像データ内で顔画像位置の検出を行った後、顔検出用パラメータを1つに限定した上で顔画像の位置を検出していることより、顔画像位置の検出速度を向上させることができる。このため、顔画像検出装置100の消費電力量を軽減することができる。   As described above, according to the present embodiment, even for a face image having an inclination greater than the allowable inclination of the face, a single type of face detection parameter is used instead of a plurality of types of face detection parameters. The position can be detected at high speed. In other words, after detecting the face image position in the face detection image data, the face image position is detected after limiting the face detection parameter to one, so that the detection speed of the face image position is increased. Can be improved. For this reason, the power consumption of the face image detection apparatus 100 can be reduced.

また、90度おきの4種類の顔検出用パラメータのいずれかを用いてオリジナル画像データデータに対する顔画像位置検出処理を行っているので、精度の高い顔画像位置検出を実現することができる。例えば、オリジナル画像データに占める顔画像の割合が小さい場合には、縮小回転画像データを貼り合わせた顔検出用画像データより顔画像の大まかな傾きを判定した後に、顔検出用画像データではなくオリジナル画像データから顔画像の位置を検出することができる。これにより、精度良く顔画像の位置が検出される。   Further, since the face image position detection process is performed on the original image data data using any of the four types of face detection parameters every 90 degrees, it is possible to realize highly accurate face image position detection. For example, when the ratio of the face image in the original image data is small, after determining the rough inclination of the face image from the face detection image data pasted with the reduced rotation image data, the original image instead of the face detection image data is determined. The position of the face image can be detected from the image data. Thereby, the position of the face image is detected with high accuracy.

また、顔検出用パラメータを1種類に限定した顔画像位置の検出処理中において、検出される顔画像位置の個数が0個となった場合には、顔画像の傾きが変化したか、入力画像データ内に顔画像が存在しないかのどちらかと判断して、顔検出用画像データの作成処理以降の処理が再度繰り返される。これにより、例えば、動画撮影時や、静止画撮影時であっても被写体が動いたり撮影者が手元を動かしたりすることにより顔画像の位置及び傾きが変化する場合であっても、顔画像の変化に追随して、高速に精度良く顔画像の位置を検出することができる。   In addition, during the face image position detection process in which the face detection parameters are limited to one type, if the number of detected face image positions becomes 0, the inclination of the face image has changed, or the input image It is determined whether there is no face image in the data, and the processing after the generation processing of the face detection image data is repeated again. Thus, for example, even when shooting a movie or still image, even if the position and inclination of the face image changes due to the subject moving or the photographer moving the hand, Following the change, the position of the face image can be detected at high speed and with high accuracy.

また、顔検出用画像データは、顔画像の位置検出で用いる規定サイズのデータである。このため、メモリ105へのデータ書き込み及び顔検出部106の動作を高速に行なうことができる。これにより、顔画像検出装置100の消費電力量を軽減することができる。   The face detection image data is data of a prescribed size used for position detection of the face image. Therefore, data writing to the memory 105 and the operation of the face detection unit 106 can be performed at high speed. Thereby, the power consumption of the face image detection apparatus 100 can be reduced.

また、顔検出部106における傾き許容角度と略同じ傾き角度を有する顔画像が存在する場合には、2つの縮小回転画像データから顔画像位置が検出される場合があるが、そのような場合であっても、精度良く顔画像の位置及び傾きを検出することができる。   In addition, when there is a face image having an inclination angle substantially the same as the allowable inclination angle in the face detection unit 106, the face image position may be detected from the two reduced rotation image data. In such a case, Even if it exists, the position and inclination of the face image can be detected with high accuracy.

以上、本発明の実施の形態に係る顔画像検出装置について説明したが、本発明は、この実施の形態に限定されるものではない。   The face image detection apparatus according to the embodiment of the present invention has been described above, but the present invention is not limited to this embodiment.

例えば、図2に示した顔画像検出装置100の動作において、複数の縮小回転画像データから顔画像位置が検出された場合には、顔検出用画像データから顔画像位置の検出を行っていたが、オリジナル画像データから顔画像位置の検出を行うようにしてもよい。この場合には、角度設定値選択部109が、複数の縮小回転画像データに対応する複数の角度設定値を特定することにより、それらの角度設定値を含む複数種の顔検出用パラメータを特定する。顔検出部106は、特定された複数種の顔検出用パラメータの中から1種類の顔検出用パラメータを順番に取り出し、取り出された1種類の顔検出用パラメータを用いて、オリジナル画像データを対象として顔画像の位置を検出する。これにより、精度良く顔画像の位置を検出することができる。   For example, in the operation of the face image detection apparatus 100 shown in FIG. 2, when the face image position is detected from a plurality of reduced rotation image data, the face image position is detected from the face detection image data. The face image position may be detected from the original image data. In this case, the angle setting value selection unit 109 specifies a plurality of angle setting values corresponding to the plurality of reduced rotation image data, thereby specifying a plurality of types of face detection parameters including the angle setting values. . The face detection unit 106 sequentially extracts one type of face detection parameter from the specified types of face detection parameters, and uses the one type of face detection parameter thus extracted as a target for original image data. The position of the face image is detected. Thereby, the position of the face image can be detected with high accuracy.

また、上述の実施の形態では、傾き許容角度が45度であるため、輝度信号データを縮小した画像データを90(=45×2)度ずつ回転させながら4回のメモリ書き込み動作により顔検出用画像データを作成していた。しかし、傾き許容角度が45度以外であっても本発明を適用することができるのは言うまでもない。例えば、傾き許容角度が90度の場合には、輝度信号データを縮小した画像データを180(=90×2)度ずつ回転させながら、2回のメモリ書き込み動作により顔検出用画像データを作成するようにしてもよい。図6は、図3に示したオリジナル画像データ201を縮小した画像データを180度ずつ回転させながら、2回のメモリ書き込み動作により作成した顔検出用画像データ207の一例を示す図である。顔検出部106は、この顔検出用画像データ207を対象として顔画像位置の検出を行う。これにより、2つの縮小回転画像データのうちのいずれかから顔画像位置が検出される。   In the above-described embodiment, since the allowable tilt angle is 45 degrees, the image data for which the luminance signal data is reduced is rotated by 90 (= 45 × 2) degrees, and the face is detected by four memory writing operations. I was creating image data. However, it goes without saying that the present invention can be applied even if the allowable tilt angle is other than 45 degrees. For example, when the allowable tilt angle is 90 degrees, image data for face detection is generated by two memory writing operations while rotating the image data obtained by reducing the luminance signal data by 180 (= 90 × 2) degrees. You may do it. FIG. 6 is a diagram showing an example of face detection image data 207 created by two memory write operations while rotating the image data obtained by reducing the original image data 201 shown in FIG. 3 by 180 degrees. The face detection unit 106 detects the face image position for the face detection image data 207. Thereby, the face image position is detected from one of the two reduced rotation image data.

なお、本実施の形態に係る顔画像検出装置100は、一般的なディジタルスチルカメラやディジタルムービーカメラなどのディジタルカメラに搭載することができる。   The face image detection apparatus 100 according to the present embodiment can be mounted on a digital camera such as a general digital still camera or digital movie camera.

図7は、顔画像検出装置100を搭載したディジタルスチルカメラの外観の一例を示す図である。図8は、顔画像検出装置100を搭載したディジタルスチルカメラの構成の一例を示す図である。ディジタルスチルカメラ300は、レンズ301と、イメージセンサ302と、CDS/AGC回路303と、A/D変換器101と、顔画像検出装置100と、表示装置304と、記録媒体305と、タイミングジェネレータ306とを含む。   FIG. 7 is a diagram illustrating an example of the appearance of a digital still camera equipped with the face image detection device 100. FIG. 8 is a diagram showing an example of the configuration of a digital still camera equipped with the face image detection device 100. As shown in FIG. The digital still camera 300 includes a lens 301, an image sensor 302, a CDS / AGC circuit 303, an A / D converter 101, a face image detection device 100, a display device 304, a recording medium 305, and a timing generator 306. Including.

レンズ301で集められた光は、イメージセンサ302により画素信号に変換される。CDS/AGC回路303は、イメージセンサ302より出力される画素信号に対して相関二重サンプリングを施すとともに、自動ゲイン調整処理を行い、画像データ信号を出力する。タイミングジェネレータ306は、イメージセンサ302に対して、所定時間間隔で駆動パルスを発生させる。表示装置304は、オリジナル画像データ及びオリジナル画像データ上で検出された顔画像の位置を表示する表示装置であり、例えば、LCD(Liquid Crystal Display)などである。記録媒体は、オリジナル画像データを記録する記録装置である。   The light collected by the lens 301 is converted into a pixel signal by the image sensor 302. The CDS / AGC circuit 303 performs correlated double sampling on the pixel signal output from the image sensor 302, performs automatic gain adjustment processing, and outputs an image data signal. The timing generator 306 causes the image sensor 302 to generate drive pulses at predetermined time intervals. The display device 304 is a display device that displays original image data and the position of a face image detected on the original image data, and is, for example, an LCD (Liquid Crystal Display). The recording medium is a recording device that records original image data.

このような顔画像検出装置100をディジタルカメラに搭載することにより、ユーザは、精度の高い安定した顔画像位置検出機能を利用した人物撮影をすることができる。   By mounting such a face image detection device 100 on a digital camera, the user can take a picture of a person using a highly accurate and stable face image position detection function.

また、本発明の技術を用いることにより、顔画像のみならず、顔に含まれる目の位置及び視線等を精度良く検出したりすることができる。   Further, by using the technique of the present invention, it is possible to accurately detect not only the face image but also the position and line of sight of the eyes included in the face.

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。   The embodiment disclosed this time should be considered as illustrative in all points and not restrictive. The scope of the present invention is defined by the terms of the claims, rather than the description above, and is intended to include any modifications within the scope and meaning equivalent to the terms of the claims.

本発明に係る顔画像検出装置によると、1回の顔画像位置検出動作で、全ての傾きの顔画像の位置を検出することができる。したがって、例えば、赤ん坊が抱っこされた構図や寝顔の斜め構図での顔画像位置を高速に安定して検出ことができる。このため、本発明は、人物(顔)へのオートフォーカス機能や、自動露光補正機能を高速で高精度に動作させることができるディジタルカメラ等の撮像装置に適用することができる。   According to the face image detecting apparatus according to the present invention, the position of the face image of all inclinations can be detected by one face image position detecting operation. Therefore, for example, a face image position in a composition in which a baby is held or an oblique composition of a sleeping face can be detected stably at high speed. Therefore, the present invention can be applied to an imaging apparatus such as a digital camera capable of operating the autofocus function for a person (face) and the automatic exposure correction function at high speed and with high accuracy.

図1は、本発明の実施の形態に係る顔画像検出装置の構成を示すブロック図である。FIG. 1 is a block diagram showing a configuration of a face image detection apparatus according to an embodiment of the present invention. 図2は、顔画像検出装置の動作を示すフローチャートである。FIG. 2 is a flowchart showing the operation of the face image detection apparatus. 図3は、オリジナル画像データの一例を示す図である。FIG. 3 is a diagram illustrating an example of original image data. 図4は、顔検出用画像データの一例を示す図である。FIG. 4 is a diagram illustrating an example of image data for face detection. 図5は、顔検出用画像データの一例を示す図である。FIG. 5 is a diagram illustrating an example of image data for face detection. 図6は、顔検出用画像データの一例を示す図である。FIG. 6 is a diagram illustrating an example of image data for face detection. 図7は、顔画像検出装置を搭載したディジタルスチルカメラの外観の一例を示す図である。FIG. 7 is a diagram showing an example of the appearance of a digital still camera equipped with a face image detection device. 図8は、顔画像検出装置を搭載したディジタルスチルカメラの構成の一例を示す図である。FIG. 8 is a diagram showing an example of the configuration of a digital still camera equipped with a face image detection device.

符号の説明Explanation of symbols

100 顔画像検出装置
101 A/D変換器
102 CPU
103 輝度信号抽出部
104 縮小回転画像データ作成部
105 メモリ
106 顔検出部
107 CPUインタフェース部
108 縮小回転画像データ特定部
109 角度設定値選択部
110 顔画像位置判定部
111 顔画像検出部
DESCRIPTION OF SYMBOLS 100 Face image detection apparatus 101 A / D converter 102 CPU
DESCRIPTION OF SYMBOLS 103 Luminance signal extraction part 104 Reduction rotation image data preparation part 105 Memory 106 Face detection part 107 CPU interface part 108 Reduction rotation image data specific part 109 Angle setting value selection part 110 Face image position determination part 111 Face image detection part

Claims (12)

入力画像データを用いて顔画像の位置を検出する顔画像検出装置であって、
前記入力画像データを縮小して、360×i/n(nは2以上の整数:i=0〜n−1)度回転させた360/n度おきのn枚の縮小回転画像データを作成する縮小回転画像データ作成手段と、
前記n枚の縮小回転画像データを対象として顔画像の位置を検出する顔検出手段と
を備えることを特徴とする顔画像検出装置。
A face image detection device for detecting a position of a face image using input image data,
The input image data is reduced to create n pieces of reduced rotated image data every 360 / n degrees rotated by 360 × i / n (n is an integer of 2 or more: i = 0 to n−1) degrees. Reduced rotation image data creation means;
A face image detection apparatus comprising: a face detection unit that detects a position of a face image with respect to the n pieces of reduced rotation image data.
さらに、
前記n枚の縮小回転画像データのうち、前記顔検出手段で顔画像の位置が検出された縮小回転画像データを特定する縮小回転画像データ特定手段と、
前記顔検出手段で検出された前記顔画像の位置と、前記入力画像データと前記縮小回転画像データとの位置に関する対応関係とから、前記入力画像データにおける顔画像の位置を判定する顔画像位置判定手段とを備える
ことを特徴とする請求項1に記載の顔画像検出装置。
further,
Reduced rotation image data specifying means for specifying reduced rotation image data in which the position of the face image is detected by the face detection means among the n reduced rotation image data;
Face image position determination for determining the position of the face image in the input image data from the position of the face image detected by the face detection means and the correspondence relationship between the positions of the input image data and the reduced rotated image data The face image detection apparatus according to claim 1, further comprising: means.
前記顔検出手段は、少なくとも360/n度の範囲内の傾きの顔画像の位置を検出することができる手法を用いて、前記n枚の縮小回転画像データを対象として顔画像の位置を検出する
ことを特徴とする請求項1に記載の顔画像検出装置。
The face detection means detects the position of the face image with respect to the n pieces of reduced rotation image data using a technique capable of detecting the position of a face image having an inclination within a range of at least 360 / n degrees. The face image detection apparatus according to claim 1.
さらに、
前記n枚の縮小回転画像データのうち、前記顔検出手段で顔画像の位置が検出された縮小回転画像データを特定する縮小回転画像データ特定手段と、
前記縮小回転画像データ特定手段で特定された前記縮小回転画像データの前記入力画像データに対する回転角度θに基づいて、360/n度おきのn個の角度設定値の中から、(−θ)の傾きを有する顔画像の位置検出に用いられる1つの角度設定値を選択する角度設定値選択手段とを備え、
前記顔検出手段は、さらに、前記角度設定値選択手段で選択された前記1つの角度設定値を用いて、前記入力画像データを対象として顔画像の位置を検出する
ことを特徴とする請求項1に記載の顔画像検出装置。
further,
Reduced rotation image data specifying means for specifying reduced rotation image data in which the position of the face image is detected by the face detection means among the n reduced rotation image data;
Based on the rotation angle θ of the reduced rotated image data specified by the reduced rotated image data specifying means with respect to the input image data, out of n angle setting values every 360 / n degrees, (−θ) Angle setting value selection means for selecting one angle setting value used for detecting the position of a face image having an inclination,
The face detection means further detects a position of a face image with respect to the input image data using the one angle setting value selected by the angle setting value selection means. The face image detection apparatus described in 1.
前記角度設定値選択手段は、さらに、前記縮小回転画像データ特定手段で特定された前記縮小回転画像データが複数の場合には、複数の縮小回転画像データそれぞれの前記入力画像データに対する複数の回転角度θに基づいて、360/n度おきのn個の角度設定値の中から、(−θ)の傾きを有する顔画像の位置検出に用いられる複数の角度設定値を選択し、
前記顔検出手段は、さらに、前記縮小回転画像データ特定手段で特定された前記縮小回転画像データが複数の場合には、前記角度設定値選択手段で選択された前記複数の角度設定値の中から1つの角度設定値を順番に取り出し、取り出された前記1つの角度設定値を用いて、前記入力画像データを対象として顔画像の位置を検出する
ことを特徴とする請求項4に記載の顔画像検出装置。
The angle setting value selection unit further includes a plurality of rotation angles of the plurality of reduced rotation image data with respect to the input image data when there are a plurality of the reduced rotation image data specified by the reduced rotation image data specifying unit. Based on θ, a plurality of angle setting values used for position detection of a face image having an inclination of (−θ) are selected from n angle setting values every 360 / n degrees,
The face detection unit may further include, when there are a plurality of the reduced rotated image data specified by the reduced rotated image data specifying unit, from among the plurality of angle setting values selected by the angle setting value selecting unit. 5. The face image according to claim 4, wherein one angle setting value is sequentially extracted, and the position of the face image is detected with respect to the input image data, using the extracted angle setting value. Detection device.
前記顔検出手段は、前記縮小回転画像データ特定手段で前記縮小回転画像データが特定されない場合には、再度、前記n枚の縮小回転画像データを対象として顔画像の位置を検出する
ことを特徴とする請求項4に記載の顔画像検出装置。
The face detecting means detects the position of the face image again with respect to the n pieces of reduced rotated image data when the reduced rotated image data is not specified by the reduced rotated image data specifying means. The face image detection apparatus according to claim 4.
前記顔検出手段は、所定の角度の傾きを有する顔画像の位置検出に用いられる予め定められた1つの角度設定値を用いて、前記n枚の縮小回転画像データを対象として顔画像の位置を検出し、
前記顔画像検出装置は、さらに、前記n枚の縮小回転画像データのうち、前記顔検出手段で顔画像の位置が検出された縮小回転画像データを特定する縮小回転画像データ特定手段を備え、
前記顔検出手段は、さらに、前記縮小回転画像データ特定手段で特定された前記縮小回転画像データが複数の場合には、前記予め定められた1つの角度設定値を用いて、前記縮小回転画像データ特定手段で特定された複数の前記縮小回転画像データを対象として顔画像の位置を検出する
ことを特徴とする請求項1に記載の顔画像検出装置。
The face detection means determines the position of the face image with respect to the n pieces of reduced rotation image data using one predetermined angle setting value used for position detection of a face image having a predetermined angle of inclination. Detect
The face image detection device further includes reduced rotation image data specifying means for specifying reduced rotation image data in which the position of the face image is detected by the face detection means among the n reduced rotation image data.
The face detection means further uses the predetermined one angle setting value when there are a plurality of the reduced rotated image data specified by the reduced rotated image data specifying means. The face image detection apparatus according to claim 1, wherein the position of the face image is detected with respect to the plurality of reduced rotation image data specified by the specifying means.
前記顔検出手段は、前記縮小回転画像データ特定手段で特定された前記縮小回転画像データが複数の場合には、前記縮小回転画像データ特定手段で特定された複数の前記縮小回転画像データを拡大し、前記予め定められた1つの角度設定値を用いて、拡大された前記複数の前記縮小回転画像データを対象として顔画像の位置を検出する
ことを特徴とする請求項7に記載の顔画像検出装置。
The face detecting means enlarges the plurality of reduced rotated image data specified by the reduced rotated image data specifying means when there are a plurality of the reduced rotated image data specified by the reduced rotated image data specifying means. 8. The face image detection according to claim 7, wherein a position of a face image is detected with respect to the plurality of reduced rotated image data enlarged using the one predetermined angle setting value. apparatus.
前記顔検出手段は、所定の角度の傾きを有する顔画像の位置検出に用いられる予め定められた1つの角度設定値を用いて、前記n枚の縮小回転画像データを対象として顔画像の位置を検出する
ことを特徴とする請求項1に記載の顔画像検出装置。
The face detection means determines the position of the face image with respect to the n pieces of reduced rotation image data using one predetermined angle setting value used for position detection of a face image having a predetermined angle of inclination. The face image detecting device according to claim 1, wherein the face image detecting device is detected.
前記縮小回転画像データ作成手段は、さらに、前記n枚の縮小回転画像データを含む1枚の顔検出用画像を作成し、
前記顔検出手段は、前記1枚の顔検出用画像を対象として顔画像の位置を検出する
ことを特徴とする請求項1に記載の顔画像検出装置。
The reduced rotated image data creating means further creates one face detection image including the n reduced rotated image data,
The face image detection apparatus according to claim 1, wherein the face detection unit detects a position of a face image with respect to the one face detection image.
被写体を撮影する撮影装置であって、
被写体を撮影して画像データを出力する撮影手段と、
前記撮影手段で撮影された入力画像データを縮小して、360×i/n(nは2以上の整数:i=0〜n−1)度回転させた360/n度おきのn枚の縮小回転画像データを作成する縮小回転画像データ作成手段と、
前記n枚の縮小回転画像データを対象として顔画像の位置を検出する顔検出手段と
を備えることを特徴とする撮影装置。
An imaging device for imaging a subject,
Photographing means for photographing a subject and outputting image data;
The input image data photographed by the photographing means is reduced, and reduced by 360 / n degrees every 360 × i / n (n is an integer of 2 or more: i = 0 to n−1) degrees. Reduced rotation image data creation means for creating rotation image data;
An imaging apparatus comprising: a face detection unit that detects a position of a face image with respect to the n pieces of reduced rotation image data.
入力画像データを用いて顔画像の位置を検出する顔画像検出方法であって、
前記入力画像データを縮小して、360×i/n(nは2以上の整数:i=0〜n−1)度回転させた360/n度おきのn枚の縮小回転画像データを作成する縮小回転画像データ作成ステップと、
前記n枚の縮小回転画像データを対象として顔画像の位置を検出する顔検出ステップと
を含むことを特徴とする顔画像検出方法。
A face image detection method for detecting a position of a face image using input image data,
The input image data is reduced to create n pieces of reduced rotated image data every 360 / n degrees rotated by 360 × i / n (n is an integer of 2 or more: i = 0 to n−1) degrees. Reduced rotation image data creation step;
A face detection step of detecting a position of the face image with respect to the n pieces of reduced rotation image data.
JP2008071856A 2007-04-20 2008-03-19 Face image detection device, face image detection method and photographing device Pending JP2008287704A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2008071856A JP2008287704A (en) 2007-04-20 2008-03-19 Face image detection device, face image detection method and photographing device
US12/103,236 US8064655B2 (en) 2007-04-20 2008-04-15 Face image detection device, face image detection method and imaging apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2007111301 2007-04-20
JP2008071856A JP2008287704A (en) 2007-04-20 2008-03-19 Face image detection device, face image detection method and photographing device

Publications (1)

Publication Number Publication Date
JP2008287704A true JP2008287704A (en) 2008-11-27

Family

ID=40147336

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008071856A Pending JP2008287704A (en) 2007-04-20 2008-03-19 Face image detection device, face image detection method and photographing device

Country Status (1)

Country Link
JP (1) JP2008287704A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9250698B2 (en) 2012-11-19 2016-02-02 Sony Corporation Image processing apparatus, image processing method, image capture apparatus and computer program
JP2020149540A (en) * 2019-03-15 2020-09-17 株式会社東芝 Image recognition device, image recognition method, and image recognition program

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005210288A (en) * 2004-01-21 2005-08-04 Fuji Photo Film Co Ltd Imaging device and method, and program
JP2006072770A (en) * 2004-09-02 2006-03-16 Sanyo Electric Co Ltd Face detection device and face direction estimation device
JP2006350704A (en) * 2005-06-16 2006-12-28 Fujifilm Holdings Corp Learning method of discriminator, and face discrimination method, device, and program
JP2007102401A (en) * 2005-10-03 2007-04-19 Fujifilm Corp Face direction specification method, face discrimination method and device and program

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005210288A (en) * 2004-01-21 2005-08-04 Fuji Photo Film Co Ltd Imaging device and method, and program
JP2006072770A (en) * 2004-09-02 2006-03-16 Sanyo Electric Co Ltd Face detection device and face direction estimation device
JP2006350704A (en) * 2005-06-16 2006-12-28 Fujifilm Holdings Corp Learning method of discriminator, and face discrimination method, device, and program
JP2007102401A (en) * 2005-10-03 2007-04-19 Fujifilm Corp Face direction specification method, face discrimination method and device and program

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9250698B2 (en) 2012-11-19 2016-02-02 Sony Corporation Image processing apparatus, image processing method, image capture apparatus and computer program
JP2020149540A (en) * 2019-03-15 2020-09-17 株式会社東芝 Image recognition device, image recognition method, and image recognition program
JP7005546B2 (en) 2019-03-15 2022-01-21 株式会社東芝 Image recognition device, image recognition method and image recognition program
US11475541B2 (en) 2019-03-15 2022-10-18 Kabushiki Kaisha Toshiba Image recognition apparatus

Similar Documents

Publication Publication Date Title
US11562470B2 (en) Unified bracketing approach for imaging
CN104113703B (en) Image processing apparatus and image processing method
JP5106142B2 (en) Electronic camera
JP6071545B2 (en) IMAGING DEVICE, IMAGE PROCESSING DEVICE AND ITS CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM
JP2006245726A (en) Digital camera
JP7405131B2 (en) Image processing device, image processing method, program
JP2007135115A (en) Image processor, image processing method, program for image processing method and recording medium with record of program for image processing method
JP2008129554A (en) Imaging device and automatic focusing control method
JP7491297B2 (en) Information processing device, information processing method, and program
JP2014099832A (en) Camera
JP2011015091A (en) Image capture apparatus
JP2005348212A (en) Imaging apparatus
JP2013138413A (en) Imaging apparatus
JP2007134754A (en) Photographing apparatus and program
WO2017104102A1 (en) Imaging device
US20080260213A1 (en) Face image detection device, face image detection method and imaging apparatus
JP2008287704A (en) Face image detection device, face image detection method and photographing device
JP5332668B2 (en) Imaging apparatus and subject detection program
JP5653509B2 (en) Image processing apparatus and image processing method
JP5696525B2 (en) Imaging apparatus, imaging method, and program
JP5441747B2 (en) Imaging apparatus and image processing method
JP5543636B2 (en) Imaging device
JP6262958B2 (en) Imaging apparatus and control method thereof
JP2017204666A (en) Imaging device
JP5948960B2 (en) Camera, image processing apparatus and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110301

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120113

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120424

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20120821