JP2007241477A - Image processor - Google Patents

Image processor Download PDF

Info

Publication number
JP2007241477A
JP2007241477A JP2006060263A JP2006060263A JP2007241477A JP 2007241477 A JP2007241477 A JP 2007241477A JP 2006060263 A JP2006060263 A JP 2006060263A JP 2006060263 A JP2006060263 A JP 2006060263A JP 2007241477 A JP2007241477 A JP 2007241477A
Authority
JP
Japan
Prior art keywords
face
inclination
detection
information
difference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006060263A
Other languages
Japanese (ja)
Inventor
隆比古 ▲桑▼原
Takahiko Kuwabara
Sukeji Kato
典司 加藤
Hitoshi Ikeda
仁 池田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd filed Critical Fuji Xerox Co Ltd
Priority to JP2006060263A priority Critical patent/JP2007241477A/en
Priority to US11/508,317 priority patent/US20070206093A1/en
Publication of JP2007241477A publication Critical patent/JP2007241477A/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image processor for expanding applications by outputting continuous results. <P>SOLUTION: This image processor is configured to detect an object by a plurality of different detection processing from applied image data, and to estimate the inclination of an object from a predetermined reference position based on the difference of the detection results of the object respectively detected by the plurality of detection processing. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、撮像された画像データから、顔などの対象物の傾きを検出する画像処理装置に関する。   The present invention relates to an image processing apparatus that detects the inclination of an object such as a face from captured image data.

近年、動画像や静止画像の中から顔の領域を検出する技術が実用化されつつある。こうした現状の下、さらに検出した顔の向きや視線の方向を特定して、撮像された人物の注目している方向を検出することで、種々の制御や、マーケティング情報を獲得しようとする要望が高まっている。   In recent years, a technique for detecting a face region from a moving image or a still image has been put into practical use. Under such circumstances, there is a demand to acquire various control and marketing information by specifying the detected face direction and the direction of the line of sight and detecting the direction in which the imaged person is paying attention. It is growing.

なお、動画像や静止画像中から検出された顔の画像について、所定の顔の向きごと（例えば１５度ごと）のサンプルの画像データ（テンプレート）を用い、このテンプレートと撮像された画像とをマッチングすることで顔の向きを推定する技術が開発されている（例えば特許文献１）
特開２００３−１４１５５１号公報 It should be noted that with respect to a face image detected from a moving image or a still image, sample image data (template) for each predetermined face orientation (for example, every 15 degrees) is used to match this template with a captured image. Thus, a technique for estimating the orientation of the face has been developed (for example, Patent Document 1).
JP 2003-141551 A

しかしながら、上記従来の技術では、テンプレートとのマッチング処理を行うために、テンプレートに登録されている顔の向きごとの角度から推定結果を得るため、離散的な結果が得られるに過ぎず、利用分野が限られてしまうという問題点があった。   However, in the above conventional technique, in order to perform the matching process with the template, the estimation result is obtained from the angle for each face direction registered in the template, so that only a discrete result is obtained. There was a problem that was limited.

本発明は上記実情に鑑みて為されたもので、連続的な結果が出力できるようにして利用分野を拡大できる画像処理装置を提供することを、その目的の一つとする。   The present invention has been made in view of the above circumstances, and an object thereof is to provide an image processing apparatus capable of expanding a field of use so that continuous results can be output.

また、本発明の別の目的の一つは、顔の向きを推定する際の照明の変化に対するロバスト性を高めることにある。   Another object of the present invention is to improve robustness against changes in illumination when estimating the orientation of a face.

上記従来例の問題点を解決するための本発明は、画像処理装置であって、所与の画像データから、互いに異なる検出処理によって対象物を検出する複数の検出手段と、前記複数の検出手段の各々によって検出された対象物の検出結果の差に基づいて、前記対象物の所定基準位置からの傾きを推定する傾き推定手段と、を含み、前記推定された傾きを表す情報を所定処理に供することを特徴としている。ここで前記対象物は、人物の顔であってもよい。   The present invention for solving the problems of the above conventional example is an image processing apparatus, and a plurality of detection means for detecting an object from given image data by different detection processes, and the plurality of detection means Inclination estimation means for estimating the inclination of the object from a predetermined reference position based on the difference in the detection results of the objects detected by each of the information, the information representing the estimated inclination is subjected to a predetermined process It is characterized by providing. Here, the object may be a human face.

また、本発明の一態様に係る画像処理方法は、所与の画像データから、互いに異なる検出処理によって対象物を検出する複数の検出手段を用い、前記複数の検出手段の各々によって検出された対象物の検出結果の差を特定する工程と、前記特定された差から対象物の所定基準位置からの傾きを推定する工程と、を実行し、前記推定された傾きを表す情報を所定処理に供することを特徴としている。   In addition, an image processing method according to an aspect of the present invention uses a plurality of detection units that detect a target object from given image data by different detection processes, and the targets detected by each of the plurality of detection units. A step of identifying a difference between detection results of the object and a step of estimating a tilt of the object from a predetermined reference position from the identified difference, and providing information representing the estimated tilt to a predetermined process It is characterized by that.

さらに本発明の別の態様に係るプログラムは、コンピュータに、所与の画像データから、互いに異なる検出処理によって対象物を検出する複数の検出手順を実行させ、前記複数の検出手順の各々によって検出された対象物の検出結果の差に基づいて、前記対象物の所定基準位置からの傾きを推定させて、当該推定された傾きを表す情報を出力させることを特徴としている。   Furthermore, a program according to another aspect of the present invention causes a computer to execute a plurality of detection procedures for detecting an object from given image data by different detection processes, and is detected by each of the plurality of detection procedures. The inclination of the object from the predetermined reference position is estimated based on the difference between the detection results of the objects, and information representing the estimated inclination is output.

本発明の実施の形態について図面を参照しながら説明する。本発明の実施の形態に係る画像処理装置は、図１に例示するように、撮像部１１、制御部１２、記憶部１３、及び出力部１４を含んで構成される。   Embodiments of the present invention will be described with reference to the drawings. The image processing apparatus according to the embodiment of the present invention includes an imaging unit 11, a control unit 12, a storage unit 13, and an output unit 14, as illustrated in FIG.

撮像部１１は、ＣＣＤ等の撮像素子を含み、撮像素子にて撮像した画像のデータを制御部１２に出力する。制御部１２は、ＣＰＵ等のプログラム制御デバイスであり、記憶部１３に格納されているプログラムに従って動作する。この制御部１２は、撮像部１１から入力される画像データを処理の対象として、互いに異なる複数の検出処理によって対象物を検出し、各検出処理の結果の差に基づいて、対象物の所定基準位置からの傾きを推定する処理を行う。この処理については後に詳しく述べる。   The imaging unit 11 includes an imaging device such as a CCD, and outputs data of an image captured by the imaging device to the control unit 12. The control unit 12 is a program control device such as a CPU, and operates according to a program stored in the storage unit 13. The control unit 12 uses the image data input from the imaging unit 11 as a processing target, detects the target through a plurality of different detection processes, and determines a predetermined reference for the target based on the difference between the results of the detection processes. A process for estimating the inclination from the position is performed. This process will be described in detail later.

記憶部１３は、ＲＡＭやＲＯＭ等の記憶素子やハードディスク等を含んで構成される。この記憶部１３には、制御部１２によって実行されるプログラムが格納されている。また、この記憶部１３は、制御部１２のワークメモリとしても動作する。   The storage unit 13 includes a storage element such as a RAM and a ROM, a hard disk, and the like. The storage unit 13 stores a program executed by the control unit 12. The storage unit 13 also operates as a work memory for the control unit 12.

出力部１４は、制御部１２が推定した対象物の傾きの情報を出力する。この出力部１４は、例えばディスプレイ装置であり、対象物の傾きの情報を表示出力する。また、別の例では、この出力部１４は、データロガーであり、制御部１２が対象物の傾きの推定結果を出力するごとに、そのタイミングで、図示しない時計部（カレンダチップなど）から日時の情報を取得し、当該日時の情報と推定結果を表す情報とを記憶部１３に蓄積して格納する。   The output unit 14 outputs information on the tilt of the object estimated by the control unit 12. The output unit 14 is a display device, for example, and displays and outputs information on the tilt of the object. In another example, the output unit 14 is a data logger, and every time the control unit 12 outputs the estimation result of the inclination of the object, the date and time from a clock unit (not shown) such as a calendar chip is output at that timing. The information on the date and time and the information indicating the estimation result are accumulated and stored in the storage unit 13.

ここで本実施の形態の制御部１２の具体的な処理の内容について説明する。本実施の形態の制御部１２は、撮像部１１にて撮像された画像データから対象物として、人物の顔部分を検出し、その人物の顔が、撮像部１１に対して正面向きを基準位置として、左右方向へどの程度傾いているか（首を振っているか）を検出する。   Here, the content of the specific process of the control part 12 of this Embodiment is demonstrated. The control unit 12 according to the present embodiment detects a face portion of a person as an object from the image data captured by the image capturing unit 11, and the person's face is in front of the image capturing unit 11 as a reference position. It is detected how much it is inclined in the left-right direction (whether it is shaking its head).

具体的な例として、制御部１２の実行する処理により、本実施の形態の画像処理装置は、機能的に、図２に示すように、画像変換部２１と、第１顔特定処理部２２と、第２顔特定処理部２３と、傾き判定部２４とを含んで構成される。   As a specific example, the processing performed by the control unit 12 causes the image processing apparatus according to the present embodiment to functionally include an image conversion unit 21, a first face identification processing unit 22, as illustrated in FIG. 2. The second face identification processing unit 23 and the inclination determination unit 24 are configured.

画像変換部２１は、撮像部１１から入力される画像データを処理対象として、当該画像データをグレイスケールの画像データに変換して、第１顔特定処理部２２に出力する。またこの画像変換部２１は、処理対象となった画像データを色相の成分を含む色空間の画像データ（色相データ）に変換して、第２顔特定処理部２３に出力する。   The image conversion unit 21 converts the image data input from the imaging unit 11 as a processing target into grayscale image data, and outputs the grayscale image data to the first face identification processing unit 22. The image conversion unit 21 converts the image data to be processed into image data (hue data) in a color space including a hue component, and outputs the image data to the second face identification processing unit 23.

なお、本実施の形態では、第１顔特定処理部２２が対象物の輪郭ないし、対象物上の特徴部分の輪郭に基づいて対象物を検出するのに対し、第２顔特定処理部２３は、対象物の色によって対象物を検出する。   In the present embodiment, the first face identification processing unit 22 detects the object based on the contour of the object or the contour of the characteristic part on the object, whereas the second face identification processing unit 23 The object is detected by the color of the object.

つまり、第１顔特定処理部２２は、グレイスケールの画像データから明暗のパターンを用いて顔部分を特定する処理を実行する。この処理は、予めサンプルとなる顔画像を学習して得られたデータベースを用い、画像データ中の顔部分を認識するパターンマッチングの方法を採用し得る。ここでは、たとえば、Rotation Invariant NeuralNetwork-Based Face Detection, H.A. Rowley, S. Baluja, and T. Kanade,Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition,1998, pp.38-44などを用いればよい。   In other words, the first face identification processing unit 22 performs a process of identifying a face portion using a light / dark pattern from grayscale image data. This processing can employ a pattern matching method for recognizing a face portion in image data using a database obtained by learning a face image as a sample in advance. Here, for example, using Rotation Invariant Neural Network-Based Face Detection, HA Rowley, S. Baluja, and T. Kanade, Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 1998, pp. 38-44 Good.

また第１顔特定処理部２２は、認識した顔部分の画像からさらに所定の顔部品（目、鼻、口など）に関わる座標の情報を出力する。この座標の情報としては、例えば両目の中間点などがある。第１顔特定処理部２２は、この座標の情報を第１基準点情報として傾き判定部２４に出力する。   Further, the first face identification processing unit 22 further outputs coordinate information related to a predetermined face part (eyes, nose, mouth, etc.) from the recognized face part image. The coordinate information includes, for example, an intermediate point between both eyes. The first face identification processing unit 22 outputs this coordinate information to the inclination determination unit 24 as first reference point information.

なお、第１顔特定処理部２２が、顔部分や、顔部品の位置を検出する方法は、パターンマッチングの手法を用いる方法に限られず、第１顔特定処理部２２は、画素の濃淡値の縦、横、右斜め、左斜めといった四方向のエッジ勾配の情報を用いる、四方向面特徴を用いた検出方法を用いて、顔部分や顔部品などの位置を検出することとしてもよい。   Note that the method by which the first face identification processing unit 22 detects the position of the face part or the face part is not limited to the method using the pattern matching method, and the first face identification processing unit 22 determines the pixel gray value. It is also possible to detect the position of a face part, a facial part, etc. using a detection method using four-way surface features that uses information on edge gradients in four directions such as vertical, horizontal, right diagonal, and left diagonal.

さらに、第１顔特定処理部２２は、顔領域の基準点として、上述のように顔部品に基づく位置に代えて、顔部分に外接する矩形領域の座標情報を用い、当該矩形領域内の所定位置（例えば矩形領域内の中心座標、または矩形領域の上辺から矩形領域高さの１／４の位置で、かつ左右の中心位置など）を基準点として定め、当該基準点を表す第１基準点情報を傾き判定部２４に出力してもよい。   Further, the first face identification processing unit 22 uses the coordinate information of the rectangular area circumscribing the face portion as a reference point of the face area, instead of the position based on the face part as described above, and uses a predetermined area in the rectangular area. A first reference point that defines a position (for example, the center coordinates in the rectangular area, or a position that is ¼ the height of the rectangular area from the upper side of the rectangular area and the center position on the left and right) as a reference point Information may be output to the inclination determination unit 24.

第２顔特定処理部２３は、画像変換部２１が出力する色相データのうち、予め顔部分の色相（肌色の色相）として定められている色相となっている部分を特定する。具体的な処理の例は次のようになる。すなわち、予め複数の人物の顔画像から得られた肌の色の情報から、肌の色とされる色相のヒストグラム（肌色ヒストグラム）を生成して記憶部１３に格納しておく。そして色相データの各画素について、当該画素の色相に対応する肌色ヒストグラムにおける頻度値を関連づける。そして色相データに対応する頻度値のマップを得る。この頻度値のマップは、肌色らしさを表す２次元のマップとなる。次に、頻度値のマップのうち、予め定めたしきい値以上の頻度値となっている領域を顔領域として抽出する。また、この抽出した顔領域から、肌色の重心（頻度値を、座標値（ベクトル値）に乗じて得たベクトル値を総和し、総和に係る画素数で除したベクトル値）を演算し、その演算結果を、第２基準点情報として傾き判定部２４に出力する。   The second face identification processing unit 23 identifies a portion of the hue data output from the image conversion unit 21 that has a hue that is determined in advance as the hue of the face portion (skin color hue). A specific example of processing is as follows. That is, a hue histogram (skin color histogram) that is a skin color is generated in advance from skin color information obtained from a plurality of human face images, and stored in the storage unit 13. For each pixel of the hue data, the frequency value in the skin color histogram corresponding to the hue of the pixel is associated. A map of frequency values corresponding to the hue data is obtained. This frequency value map is a two-dimensional map representing the skin color. Next, an area having a frequency value equal to or higher than a predetermined threshold is extracted as a face area from the frequency value map. Further, from this extracted face region, the skin color centroid (vector value obtained by multiplying the frequency value by the coordinate value (vector value) and dividing by the number of pixels related to the sum) is calculated, The calculation result is output to the inclination determination unit 24 as second reference point information.

なお、ここでは肌色ヒストグラムを予め生成しておく場合を例としたが、肌の色の個人差が大きいことに配慮し、第１顔特定処理部２２にて特定した顔部分に対応する画素値（色相データの画素値）を用いて肌色ヒストグラムを生成してもよい。この場合、第１顔特定処理部２２における顔検出の精度に配慮して、検出した顔部分の輪郭線を所定画素数ずつ外側（顔から外側）へ拡張して、当該拡張した領域に対応する画素値を用いて肌色ヒストグラムを生成してもよい。   Here, the case where the skin color histogram is generated in advance is taken as an example. However, the pixel value corresponding to the face portion specified by the first face specifying processing unit 22 is considered in consideration of large individual differences in the skin color. A skin color histogram may be generated using (pixel value of hue data). In this case, in consideration of the accuracy of face detection in the first face identification processing unit 22, the outline of the detected face part is expanded outward (by a predetermined number of pixels) to correspond to the expanded region. A skin color histogram may be generated using pixel values.

傾き判定部２４は、第１顔特定処理部２２が出力する第１基準点情報と、第２顔特定処理部２３が出力する第２基準点情報とを用いて撮像された人物の顔の向きを判定する。すなわちここでは第１顔特定処理部２２が顔そのものや、顔部品の輪郭から定められる第１基準点情報を出力し、第２顔特定処理部２３が顔の色に基づく顔の中心の座標を表す第２基準点情報を出力している。   The inclination determination unit 24 uses the first reference point information output from the first face identification processing unit 22 and the second reference point information output from the second face identification processing unit 23 to capture the orientation of the person's face. Determine. That is, here, the first face identification processing unit 22 outputs the first reference point information determined from the face itself and the contour of the face part, and the second face identification processing unit 23 calculates the coordinates of the center of the face based on the face color. The second reference point information is output.

そこで傾き判定部２４は、これら第１基準点情報が表す座標と、第２基準点情報が表す座標との差（相対情報）を用いて傾きを演算する。すなわち、目の間の中心位置Ｐは例えば図３に示すように首の角度が左右方向に変化したときに、当該首の向きの方向へ移動するのに対し、顔の色の重心Ｑは、その水平方向の位置は、顔が正面（撮像部１１の方向）を向いているときには、目の間の中心位置の水平方向の位置と大きく変わらないが、首が左右に振れるに従って、目の間の中心位置から水平方向にずれていくと推定される。   Therefore, the inclination determination unit 24 calculates an inclination using a difference (relative information) between the coordinates represented by the first reference point information and the coordinates represented by the second reference point information. That is, the center position P between the eyes moves in the direction of the neck when the neck angle changes in the left-right direction as shown in FIG. The horizontal position is not significantly different from the horizontal position of the center position between the eyes when the face is facing the front (in the direction of the imaging unit 11), but as the neck swings left and right, It is estimated that the center position is shifted in the horizontal direction.

同様に、首の方向が上下方向に変化したときにも、これら第１基準点情報と第２基準点情報とが表す各座標位置の垂直方向のずれも併せて変化することになると推定される。   Similarly, when the direction of the neck changes in the vertical direction, it is estimated that the vertical shift of each coordinate position represented by the first reference point information and the second reference point information also changes. .

そこで、本実施の形態では、予め顔の傾き（例えば左右方向角度）と、上記相対情報との相関関数を実験的に得ておく。この相関関数は、複数のサンプルについて測定した結果を多項式で近似し、その多項式の係数を最小自乗法で最適化する方法によって得てもよいし、ニューラルネットワークなどの機械学習の方式を用いてもよい。   Therefore, in the present embodiment, a correlation function between the inclination of the face (for example, the horizontal angle) and the relative information is experimentally obtained in advance. This correlation function may be obtained by approximating the results measured for a plurality of samples with a polynomial and optimizing the coefficients of the polynomial by the method of least squares, or by using a machine learning method such as a neural network. Good.

例えば、第１基準点情報と第２基準点情報とが表す各座標位置の水平方向の差（左右方向の相対情報）に対する左右方向の顔の傾きを表す角度の値とを実験的に定めた例を図４に示す。図４においては、実際に顔の角度を５度ごとに変えたときの左右方向の相対情報を、複数のサンプルを用いて測定し、各角度での平均値を塗りつぶした四角で表し、各角度での測定結果の分散から推定される誤差範囲をバーで表す。また、これらの情報を直線で近似した結果を、実線で示している。なお、直線で近似するのではなく、より高次の多項式で近似し、または折れ線で近似して相関関数を得てもよい。   For example, the angle value representing the tilt of the face in the left-right direction with respect to the horizontal difference (relative information in the left-right direction) of each coordinate position represented by the first reference point information and the second reference point information was experimentally determined. An example is shown in FIG. In FIG. 4, the relative information in the left-right direction when the face angle is actually changed every 5 degrees is measured using a plurality of samples, and the average value at each angle is represented by a filled square. The error range estimated from the variance of the measurement results at is represented by a bar. The result of approximating these pieces of information with a straight line is shown by a solid line. Instead of approximating with a straight line, a correlation function may be obtained by approximating with a higher order polynomial or approximating with a polygonal line.

傾き判定部２４は、第１顔特定処理部２２が出力する第１基準点情報と、第２顔特定処理部２３が出力する第２基準点情報との差を演算し、当該演算で得られた相対情報に対応する傾き角度の値を実験的に得られた相関関数によって求める。そして、当該求めた傾き角度の値を出力する。   The inclination determination unit 24 calculates a difference between the first reference point information output from the first face identification processing unit 22 and the second reference point information output from the second face identification processing unit 23, and is obtained by the calculation. The value of the inclination angle corresponding to the relative information is obtained by a correlation function obtained experimentally. Then, the value of the obtained inclination angle is output.

なお相対情報を演算する際は、例えば第１基準点情報と第２基準点情報との水平方向の座標値の差から得られる首の左右方向の傾きを表す相対情報（水平相対情報）と、第１基準点情報と第２基準点情報との垂直方向の座標値の差から得られる首の上下方向の傾きを表す相対情報（垂直相対情報）とを個別に演算し、これらの水平相対情報と垂直相対情報とのそれぞれについて予め実験的に得ておいた相関関数（それぞれ水平相関関数、垂直相関関数と呼ぶ）を用いて、水平方向の顔の傾き（首振りの角度）と、垂直方向の顔の傾きとを個別に求めてもよい。   Note that when calculating the relative information, for example, relative information (horizontal relative information) indicating the horizontal tilt of the neck obtained from the difference in the horizontal coordinate values between the first reference point information and the second reference point information, Relative information (vertical relative information) representing the vertical tilt of the neck obtained from the difference in vertical coordinate values between the first reference point information and the second reference point information is individually calculated, and the horizontal relative information is obtained. Using the correlation function (each called horizontal correlation function and vertical correlation function) obtained experimentally in advance for each of the vertical relative information and the vertical relative information, the horizontal face inclination (swing angle) and the vertical direction The face inclination may be obtained individually.

本実施の形態によると、撮像部１１にて人物が撮像されると、制御部１２が、その顔のうち、特徴部分である２つの目の輪郭を検出し、左目と右目の中心点の座標を表す第１基準点情報を生成し、また、予め定められた肌色ヒストグラムを用いて、肌色の重心位置を検出して、当該重心位置を表す第２基準点情報を生成する。そして、これら第１基準点情報と第２基準点情報とがそれぞれ表す座標位置の差（相対情報）を生成する。   According to the present embodiment, when a person is imaged by the imaging unit 11, the control unit 12 detects the contours of the two eyes that are characteristic parts of the face, and coordinates of the center points of the left eye and the right eye The first reference point information indicating the center of gravity of the skin color is detected using a predetermined skin color histogram, and the second reference point information indicating the center of gravity position is generated. Then, a difference (relative information) between coordinate positions represented by the first reference point information and the second reference point information is generated.

また制御部１２は、予め相対情報と、顔の角度の情報とを関連づける相関関数を実験的に決定して記憶しており、この相関関数を用いて、生成した相対情報に対応する顔の角度の情報を取得する。そして、当該取得した顔の角度の情報を出力する。   In addition, the control unit 12 experimentally determines and stores a correlation function that correlates the relative information and the face angle information in advance, and uses this correlation function to store the face angle corresponding to the generated relative information. Get information about. And the information of the acquired face angle is output.

これにより例えば、店舗内の商品陳列棚に撮像部１１を配置しておけば、陳列された商品の位置との関係によって顧客がどの商品に注目したかを知ることができる。本実施の形態では、連続的な角度の値が検出されるため、どの商品に注目しているかの検出の精度を向上できる。また、本実施の形態のように顔の角度の検出に用いる場合、照明の向きが変化しても、顔の角度を安定的に検出でき、ロバスト性を向上できる。   Thus, for example, if the imaging unit 11 is arranged on a merchandise display shelf in a store, it is possible to know which product the customer has paid attention to in relation to the position of the displayed merchandise. In the present embodiment, since continuous angle values are detected, it is possible to improve the accuracy of detecting which product is being focused on. Further, when used for detecting the face angle as in this embodiment, the face angle can be detected stably even when the illumination direction changes, and the robustness can be improved.

また、実際のセールスの結果をＰＯＳ（ポイントオブセールス）などから取得して比較することで、注目しているが売れていない商品や、注目はされないが売れている商品などといった分類をすることもできる。   In addition, by acquiring and comparing actual sales results from POS (Point of Sales), etc., it is possible to classify products that are attracting attention but not sold, and products that are not attracting attention but are sold. it can.

さらに、顔の画像から例えば四方向面特徴から得られる顔部品間の相対位置から人物の性別や年齢といった属性を判定して、検出結果に併せて記録することで、どのような性別、年齢層の人物がどのような商品に注目するかなどの統計処理に供することができる。   Furthermore, by determining attributes such as the gender and age of a person from the relative position between facial parts obtained from, for example, four-way surface features from the face image and recording it together with the detection result, what gender and age group It can be used for statistical processing such as what kind of products the person of interest pays attention to.

なお、ここまでの説明では、対象物として人物の顔を例として説明したが、例えば自動車の向きなども同様にして推定することができる。例えば、画像データのエッジから車の輪郭を取得するとともに、別途、ヘッドライトの位置を検出し、これらの輪郭とヘッドライトの位置との検出結果の差から車の進行方向を推定するなどの処理を行うことができる。   In the above description, the face of a person is described as an example of the target object. However, for example, the direction of a car can be estimated in the same manner. For example, the vehicle contour is obtained from the edge of the image data, and the position of the headlight is separately detected, and the traveling direction of the vehicle is estimated from the difference in the detection result between the contour and the headlight position. It can be performed.

本実施の形態によると、複数の検出方法による検出結果間の関係と、対象物の傾きとの間に相関があることに着目して、相関関係を表す相関関数を推定して当該相関関数によって対象物の傾きを推定するので、傾きを連続的な値として検出でき、利用分野を拡大できる。   According to the present embodiment, paying attention to the fact that there is a correlation between the relationship between the detection results by the plurality of detection methods and the inclination of the object, the correlation function representing the correlation is estimated and the correlation function is used. Since the inclination of the object is estimated, the inclination can be detected as a continuous value, and the field of use can be expanded.

本発明の実施の形態に係る画像処理装置の構成例を表すブロック図である。It is a block diagram showing the example of a structure of the image processing apparatus which concerns on embodiment of this invention. 本発明の実施の形態に係る画像処理装置の例を表す機能ブロック図である。It is a functional block diagram showing the example of the image processing apparatus which concerns on embodiment of this invention. 本発明の実施の形態に係る画像処理装置が検出する基準情報間の差と、顔の向きとの関係を例示する説明図である。It is explanatory drawing which illustrates the relationship between the difference between the reference information which the image processing apparatus which concerns on embodiment of this invention detects, and the direction of a face. 本発明の実施の形態に係る画像処理装置が傾きの検出に用いる相関関数の例を表す説明図である。It is explanatory drawing showing the example of the correlation function which the image processing apparatus which concerns on embodiment of this invention uses for the detection of inclination.

符号の説明Explanation of symbols

１１ 撮像部、１２ 制御部、１３ 記憶部、１４ 出力部、２１ 画像変換部、２２ 第１顔特定処理部、２３ 第２顔特定処理部、２４ 傾き判定部。   DESCRIPTION OF SYMBOLS 11 Image pick-up part, 12 Control part, 13 Storage part, 14 Output part, 21 Image conversion part, 22 1st face specific process part, 23 2nd face specific process part, 24 Inclination determination part

Claims (4)

所与の画像データから、互いに異なる検出処理によって対象物を検出する複数の検出手段と、
前記複数の検出手段の各々によって検出された対象物の検出結果の差に基づいて、前記対象物の所定基準位置からの傾きを推定する傾き推定手段と、
を含み、
前記推定された傾きを表す情報を所定処理に供することを特徴とする画像処理装置。 A plurality of detection means for detecting an object from given image data by different detection processes;
An inclination estimation means for estimating an inclination of the object from a predetermined reference position based on a difference in detection results of the object detected by each of the plurality of detection means;
Including
An image processing apparatus characterized in that information representing the estimated inclination is subjected to a predetermined process. 請求項１に記載の画像処理装置であって、
前記対象物は、人物の顔であることを特徴とする画像処理装置。 The image processing apparatus according to claim 1,
The image processing apparatus according to claim 1, wherein the object is a human face. 所与の画像データから、互いに異なる検出処理によって対象物を検出する複数の検出手段を用い、
前記複数の検出手段の各々によって検出された対象物の検出結果の差を特定する工程と、
前記特定された差から対象物の所定基準位置からの傾きを推定する工程と、
を実行し前記推定された傾きを表す情報を所定処理に供することを特徴とする画像処理方法。 Using a plurality of detection means for detecting an object from given image data by different detection processes,
Identifying a difference in detection results of the object detected by each of the plurality of detection means;
Estimating an inclination of the object from a predetermined reference position from the identified difference;
The image processing method is characterized in that the information representing the estimated inclination is executed for a predetermined process. コンピュータに、
所与の画像データから、互いに異なる検出処理によって対象物を検出する複数の検出手順を実行させ、
前記複数の検出手順の各々によって検出された対象物の検出結果の差に基づいて、前記対象物の所定基準位置からの傾きを推定させて、当該推定された傾きを表す情報を出力させることを特徴とするプログラム。
On the computer,
A plurality of detection procedures for detecting an object from given image data by different detection processes;
Estimating the inclination of the object from a predetermined reference position based on a difference in detection results of the object detected by each of the plurality of detection procedures, and outputting information representing the estimated inclination. A featured program.
JP2006060263A 2006-03-06 2006-03-06 Image processor Pending JP2007241477A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2006060263A JP2007241477A (en) 2006-03-06 2006-03-06 Image processor
US11/508,317 US20070206093A1 (en) 2006-03-06 2006-08-23 Image processing apparatus, method for image processing, computer readable medium, and computer data signal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006060263A JP2007241477A (en) 2006-03-06 2006-03-06 Image processor

Publications (1)

Publication Number Publication Date
JP2007241477A true JP2007241477A (en) 2007-09-20

Family

ID=38471102

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006060263A Pending JP2007241477A (en) 2006-03-06 2006-03-06 Image processor

Country Status (2)

Country Link
US (1) US20070206093A1 (en)
JP (1) JP2007241477A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018128895A (en) * 2017-02-09 2018-08-16 富士電機機器制御株式会社 Support system, support apparatus, support method, and program
WO2018235628A1 (en) * 2017-06-23 2018-12-27 オムロン株式会社 Monitoring assistance system, control method therefor, and program
WO2019003859A1 (en) * 2017-06-27 2019-01-03 オムロン株式会社 Monitoring system, control method therefor, and program

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4458131B2 (en) 2007-08-23 2010-04-28 ソニー株式会社 Image imaging apparatus and imaging method
JP4458151B2 (en) 2007-11-06 2010-04-28 ソニー株式会社 Automatic imaging apparatus, automatic imaging control method, image display system, image display method, display control apparatus, display control method
JP5935308B2 (en) 2011-12-13 2016-06-15 富士通株式会社 User detection device, method and program
JP6265640B2 (en) * 2013-07-18 2018-01-24 キヤノン株式会社 Image processing apparatus, imaging apparatus, image processing method, and program

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60217470A (en) * 1984-04-13 1985-10-31 Hitachi Ltd System for estimating shape of cube from image pickup object picture
JP3143038B2 (en) * 1994-11-18 2001-03-07 株式会社日立製作所 Automatic focusing method and apparatus, and three-dimensional shape detection method and apparatus
WO1997047943A1 (en) * 1996-06-14 1997-12-18 Kabushiki Kaisya Saginomiya Seisakusyo Wheel alignment measuring instrument and wheel alignment measuring
JP3533308B2 (en) * 1997-02-10 2004-05-31 株式会社ニデック Ophthalmic equipment
US7298412B2 (en) * 2001-09-18 2007-11-20 Ricoh Company, Limited Image pickup device, automatic focusing method, automatic exposure method, electronic flash control method and computer program

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018128895A (en) * 2017-02-09 2018-08-16 富士電機機器制御株式会社 Support system, support apparatus, support method, and program
JP7011801B2 (en) 2017-02-09 2022-01-27 株式会社アットソリューションズ Support systems, support devices, support methods and programs
WO2018235628A1 (en) * 2017-06-23 2018-12-27 オムロン株式会社 Monitoring assistance system, control method therefor, and program
JP2019008515A (en) * 2017-06-23 2019-01-17 オムロン株式会社 Watching support system and method for controlling the same
WO2019003859A1 (en) * 2017-06-27 2019-01-03 オムロン株式会社 Monitoring system, control method therefor, and program
JP2019008638A (en) * 2017-06-27 2019-01-17 オムロン株式会社 Watching support system and method for controlling the same

Also Published As

Publication number Publication date
US20070206093A1 (en) 2007-09-06

Similar Documents

Publication Publication Date Title
US20210191524A1 (en) Information processing device and method, program and recording medium for identifying a gesture of a person from captured image data
JP6525453B2 (en) Object position estimation system and program thereof
KR102109941B1 (en) Method and Apparatus for Vehicle Detection Using Lidar Sensor and Camera
JP6125188B2 (en) Video processing method and apparatus
JP5812599B2 (en) Information processing method and apparatus
US9881204B2 (en) Method for determining authenticity of a three-dimensional object
JP6700752B2 (en) Position detecting device, position detecting method and program
US9811742B2 (en) Vehicle-surroundings recognition device
JP5493108B2 (en) Human body identification method and human body identification device using range image camera
US20230410321A1 (en) Information processing apparatus, control method, and program
JP2004054376A (en) Method and device for estimating group attribute
US10063843B2 (en) Image processing apparatus and image processing method for estimating three-dimensional position of object in image
JP2007241477A (en) Image processor
JP2007042072A (en) Tracking apparatus
EP3241151A1 (en) An image face processing method and apparatus
JP6822482B2 (en) Line-of-sight estimation device, line-of-sight estimation method, and program recording medium
KR20100138202A (en) System and method of tracking object using different kind camera
JP6410450B2 (en) Object identification device, object identification method, and program
CN101383005A (en) Method for separating passenger target image and background by auxiliary regular veins
CN108369739B (en) Object detection device and object detection method
JP4821355B2 (en) Person tracking device, person tracking method, and person tracking program
JP2010039617A (en) Object tracking device and program
US11544926B2 (en) Image processing apparatus, method of processing image, and storage medium
JP6221283B2 (en) Image processing apparatus, image processing method, and image processing program
JP6606340B2 (en) Image detection apparatus, image detection method, and program

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20071113

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20071115