KR100901690B1 - Apparatus of inputting face picture to recognizing expression of face and operating method - Google Patents

Apparatus of inputting face picture to recognizing expression of face and operating method Download PDF

Info

Publication number
KR100901690B1
KR100901690B1 KR1020070118371A KR20070118371A KR100901690B1 KR 100901690 B1 KR100901690 B1 KR 100901690B1 KR 1020070118371 A KR1020070118371 A KR 1020070118371A KR 20070118371 A KR20070118371 A KR 20070118371A KR 100901690 B1 KR100901690 B1 KR 100901690B1
Authority
KR
South Korea
Prior art keywords
face
light source
image
ultrasonic
correction
Prior art date
Application number
KR1020070118371A
Other languages
Korean (ko)
Other versions
KR20090051913A (en
Inventor
김대희
박수준
박선희
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020070118371A priority Critical patent/KR100901690B1/en
Publication of KR20090051913A publication Critical patent/KR20090051913A/en
Application granted granted Critical
Publication of KR100901690B1 publication Critical patent/KR100901690B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/06—Systems determining the position data of a target
    • G01S15/08—Systems for measuring distance only

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Acoustics & Sound (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 표정 인식을 위한 얼굴 영상 입력 장치 및 그의 동작 방법에 관한 것으로, 사용자 신체에 장착된 초음파 발신부로부터 발신되는 초음파 신호를 수신하는 초음파 수신부; 상기 초음파 신호를 분석하여 상기 사용자가 얼굴 영상 획득 구역내에 위치하는지를 판단하는 거리 측정부; 상기 사용자가 얼굴 영상 획득 구역내에 위치하면, 상기 얼굴 영상 획득 구역을 촬영하여 상기 사용자의 얼굴 영상을 획득하는 영상 획득부; 및 상기 얼굴 영상을 광원별 선형변환행렬을 통해 변환한 후 기준 광원 보정행렬을 통해 보정하여 광원별 얼굴 보정 영상들을 획득하고, 상기 광원별 얼굴 보정 영상들 중에서 기준 얼굴 비율과 가장 유사한 얼굴 검출 비율을 가지는 하나의 얼굴 보정 영상만을 출력하는 영상 처리부를 포함하여 구성되며, 이에 의하여 시스템 자원이 불필요하게 낭비되는 것을 방지하고 시스템 동작의 효율을 증대시킬 뿐만 아니라 촬영된 얼굴 영상을 D65(데이 라이트) 광원 하에서의 색상 값으로 보정하여 표정 인식을 위한 작업이 보다 정확하게 수행되도록 할 수 있다. The present invention relates to a face image input apparatus for facial expression recognition and an operation method thereof, comprising: an ultrasonic receiver configured to receive an ultrasonic signal transmitted from an ultrasonic transmitter mounted on a user's body; A distance measuring unit configured to analyze the ultrasound signal to determine whether the user is located in a face image acquisition area; An image acquisition unit configured to acquire a face image of the user by photographing the face image acquisition zone when the user is located in a face image acquisition zone; And converting the face image through a linear conversion matrix for each light source, and correcting it through a reference light correction matrix to obtain face correction images for each light source, and extracting a face detection ratio most similar to a reference face ratio among the face correction images for each light source. It includes an image processing unit for outputting only one face correction image, thereby preventing unnecessary waste of system resources and increasing the efficiency of the system operation, as well as the captured face image under the D65 (daylight) light source. By correcting the color value, the operation for recognizing the facial expression can be performed more accurately.

얼굴 영상, 영상 입력, 표정 인식, 이미지 처리 Face image, image input, facial recognition, image processing

Description

표정 인식을 위한 얼굴 영상 입력 장치 및 그의 동작 방법{Apparatus of inputting face picture to recognizing expression of face and operating method}Apparatus of inputting face picture to recognizing expression of face and operating method}

본 발명은 사용자의 표정 인식을 위한 얼굴 영상 입력 장치 및 그의 동작 방법에 관한 것으로, 더욱 상세하게는 광원의 종류에 상관없이 얼굴의 정면이 찍힌 사진만을 정확하게 선택하여 제공할 수 있도록 하는 표정 인식을 위한 얼굴 영상 입력 장치 및 그의 동작 방법에 관한 것이다. The present invention relates to a face image input device for recognizing a user's facial expression and a method of operating the same. More particularly, the present invention relates to a face recognition apparatus capable of accurately selecting and providing only a photograph of a face in front of a face regardless of the type of light source. A facial image input device and a method of operating the same.

본 발명은 정보통신부 및 정보통신연구진흥원의 IT원천기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 2006-S-007-02, 과제명: 유비쿼터스 건강관리용 모듈 시스템].The present invention is derived from a study performed as part of the IT source technology development project of the Ministry of Information and Communication and the Ministry of Information and Communication Research and Development [Task Management No .: 2006-S-007-02, Task Name: Ubiquitous Health Management Module System].

근래에 들어, 사람의 얼굴 영상으로부터 표정을 인식하는 이미지 처리 시스템이 개발되어 상용화되고 있다. In recent years, image processing systems for recognizing facial expressions from human face images have been developed and commercialized.

이러한 표정 인식 작업을 처리하기 위해서는 사람의 정면 얼굴이 필요하나, 종래에는 이와 같이 사람의 정면 얼굴이 촬영되었는지를 능동적으로 확인할 수 있도록 하는 수단이 전혀 없었다. In order to process such a facial recognition task, a front face of a person is required, but conventionally, there is no means for actively checking whether a front face of a person is photographed.

이에 잘못된 방향의 얼굴(예를 들어, 측면 얼굴)이 촬영되더라도, 이를 감지하지 못하고 표정 인식 작업을 모두 처리한 후 원하는 값을 획득하지 못하고서야 잘못된 방향의 얼굴이 촬영되었음을 알 수 있었다. Therefore, even if a face in the wrong direction (eg, a side face) was photographed, it could not be detected, and after processing all the facial recognition tasks, it was found that the face in the wrong direction was not obtained.

따라서 잘못된 입력 데이터에 대한 불필요한 이미지 처리 작업이 수행되어, 시스템 자원이 불필요하게 낭비되고 시스템 동작의 효율성이 저하는 문제가 있었다. Therefore, unnecessary image processing for wrong input data is performed, which unnecessarily wastes system resources and decreases the efficiency of system operation.

또한 얼굴의 정면이 촬영된다하더라도 이때에 사용된 광원의 종류에 따라 얼굴 영역을 정확하게 인식하지 못하는 경우도 발생한다. In addition, even when the front of the face is photographed, the face region may not be correctly recognized depending on the type of light source used at this time.

즉, 광원의 종류에 따라 얼굴의 피부색이 여러 가지 색으로 표현될 수 있어, 얼굴 영역임에도 불구하고 이를 인식하지 못하는 경우가 빈번히 발생한다. That is, the skin color of the face may be expressed in various colors according to the type of the light source, and even though it is a face region, it is frequently not recognized.

상기와 같은 문제를 해결하기 위해, 본 발명에서는 표정 인식 작업과 같이 사람의 정면 얼굴이 필요한 이미지 처리 작업을 수행하는 경우, 사람의 정면 얼굴이 촬영되었는지를 능동적으로 확인하고 이에 따라 촬영된 영상의 입력 여부를 선택할 수 있도록 하는 얼굴 영상 입력 장치 및 그의 동작 방법을 제공하고자 한다. In order to solve the above problems, in the present invention, when performing an image processing task that requires a front face of a person, such as facial expression recognition, actively checking whether a front face of a person is photographed and inputting the captured image accordingly. It is an object of the present invention to provide a face image input device and a method of operating the same.

또한 얼굴 영상 촬영시 사용되는 광원 종류에 상관없이, 촬영된 얼굴 영상을 D65(데이 라이트) 광원 하에서의 색상 값으로 보정하여 표정 인식을 위한 작업이 보다 정확하게 수행될 수 있도록 하는 얼굴 영상 입력 장치 및 그의 동작 방법을 제공하고자 한다. In addition, regardless of the type of light source used for capturing a face image, the face image input device and its operation for correcting a facial expression input by correcting the photographed face image with color values under a D65 (day light) light source can be performed more accurately. To provide a method.

본 발명의 제1 측면에 따르면 상기와 같은 문제점을 해결하기 위한 수단으로써, 사용자 신체에 장착된 초음파 발신부로부터 발신되는 초음파 신호를 수신하는 초음파 수신부; 상기 초음파 신호를 분석하여 상기 사용자가 얼굴 영상 획득 구역내에 위치하는지를 판단하는 거리 측정부; 상기 사용자가 얼굴 영상 획득 구역내에 위치하면, 상기 얼굴 영상 획득 구역을 촬영하여 상기 사용자의 얼굴 영상을 획득하는 영상 획득부; 및 상기 얼굴 영상을 광원별 선형변환행렬을 통해 변환한 후 기준 광원 보정행렬을 통해 보정하여 광원별 얼굴 보정 영상들을 획득하고, 상기 광원별 얼굴 보정 영상들 중에서 기준 얼굴 비율과 가장 유사한 얼굴 검출 비율을 가지는 하나의 얼굴 보정 영상만을 출력하는 영상 처리부를 포함하는 얼굴 영상 입력 장치를 제공한다. According to a first aspect of the present invention as a means for solving the above problems, an ultrasonic receiver for receiving an ultrasonic signal transmitted from the ultrasonic transmitter mounted on the user's body; A distance measuring unit configured to analyze the ultrasound signal to determine whether the user is located in a face image acquisition area; An image acquisition unit configured to acquire a face image of the user by photographing the face image acquisition zone when the user is located in a face image acquisition zone; And converting the face image through a linear conversion matrix for each light source, and correcting it through a reference light correction matrix to obtain face correction images for each light source, and extracting a face detection ratio most similar to a reference face ratio among the face correction images for each light source. The apparatus provides a face image input apparatus including an image processor which outputs only one face correction image.

상기 영상 처리부는 스펙트로포토메타를 통해 광원별 색상 차트 측정값을 획득하고 카메라를 통해 광원별 색상 차트 영상을 획득한 후, 광원별 선형변환행렬을 획득하는 광원별 선형변환행렬 획득부; 상기 얼굴 영상을 상기 광원별 선형변환행렬 각각을 통해 변환하는 영상 변환부; 상기 영상 변환부를 통해 변환된 얼굴 영상을 상기 기준 광원 보정행렬을 통해 보정하여 상기 광원별 얼굴 보정 영상들을 획득하는 영상 보정부; 상기 광원별 얼굴 보정 영상들 각각의 얼굴 영역을 검출하여 광원별 얼굴 검출 비율을 계산하는 얼굴 검출 비율 계산부; 및 기준 얼굴 비율을 사전에 설정한 후, 상기 광원별 얼굴 보정 영상들 중에서 상기 기준 얼굴 비율과 가장 유사한 얼굴 검출 비율을 가지는 하나의 얼굴 보정 영상만을 출력하는 영상 출력 결정부를 포함하는 것을 특징으로 한다. The image processing unit obtains a color chart measurement value for each light source through a spectrophotometer, and obtains a color chart image for each light source through a camera, and then obtains a linear conversion matrix for each light source for obtaining a linear conversion matrix for each light source; An image converter for converting the face image through each of the linear transformation matrices for each light source; An image corrector configured to correct the face image converted by the image converter through the reference light source correction matrix to obtain face corrected images for each light source; A face detection ratio calculator for detecting a face region of each of the face correction images for each light source and calculating a face detection ratio for each light source; And an image output determination unit configured to preset only a reference face ratio and output only one face correction image having a face detection ratio most similar to the reference face ratio among the face correction images for each light source.

그리고 이때의 영상 출력 결정부는 상기 기준 얼굴 비율과 가장 유사한 얼굴 검출 비율을 가지는 얼굴 보정 영상이 없으면, 상기 얼굴 보정 영상 모두를 폐기하는 기능을 더 포함한다. The image output determination unit may further include a function of discarding all of the face correction images if there is no face correction image having the face detection ratio most similar to the reference face ratio.

상기 초음파 수신부는 사용자의 얼굴 영상을 획득하고자 하는 장치 또는 장소에 설치되는 다수개의 초음파 수신 센서를 구비하고, 상기 초음파 수신 센서를 통해 수신되는 상기 초음파 신호를 상기 거리 측정부가 인식할 수 있는 신호 형태로 변환하여 출력하는 것을 특징으로 한다. The ultrasonic receiver includes a plurality of ultrasonic receiving sensors installed in a device or a place for acquiring a face image of a user, and the ultrasonic signal received through the ultrasonic receiving sensor in the form of a signal that the distance measuring unit can recognize. It is characterized by outputting the converted.

그리고 상기 기준 광원은 D65 광원인 것을 특징으로 한다. The reference light source is characterized in that the D65 light source.

본 발명의 다른 측면에 따르면 상기와 같은 문제점을 해결하기 위한 수단으 로써, 사용자의 위치를 알려주는 초음파 신호를 수신 및 분석하여 사용자가 얼굴 영상 획득 구역내에 위치하는지를 확인하는 단계; 사용자가 얼굴 영상 획득 구역내에 위치하면, 사용자의 얼굴을 촬영하여 얼굴 영상을 획득하는 단계; 상기 얼굴 영상을 광원별 선형변환행렬을 통해 변환한 후 기준 광원 보정행렬을 통해 보정하여 광원별 얼굴 보정 영상들을 획득하는 단계; 및 상기 광원별 얼굴 보정 영상들 중에서 기준 얼굴 비율과 가장 유사한 얼굴 검출 비율을 가지는 하나의 얼굴 보정 영상만을 출력하는 단계를 포함하는 얼굴 영상 입력 장치의 동작 방법을 제공한다. According to another aspect of the present invention as a means for solving the above problems, the step of receiving and analyzing the ultrasonic signal indicating the location of the user to determine whether the user is located in the face image acquisition area; If the user is located in the face image acquisition area, photographing the user's face to obtain a face image; Acquiring face correction images for each light source by converting the face image through a linear conversion matrix for each light source and then correcting it through a reference light correction matrix; And outputting only one face correction image having a face detection ratio most similar to a reference face ratio among the face correction images for each light source.

상기 사용자가 얼굴 영상 획득 구역내에 위치하는지를 확인하는 단계는 사용자의 위치를 알려주는 초음파 신호를 수신하는 단계; 및 하기의 수학식에 따라 사용자와의 거리를 측정하여, 사용자가 얼굴 영상 획득 구역내에 위치하는지를 확인하는 단계를 포함하는 것을 특징으로 하며, 이때의 수학식은 x =

Figure 112007083218700-pat00001
이고, 상기 x는 사용자와의 거리이고, 상기 d1은 제1 초음파 수신 센서와 상기 초음파 발신부간의 거리이고, 상기 d2는 제2 초음파 수신 센서와 상기 초음파 발신부간의 거리이고, 상기 d는 상기 제1 초음파 수신 센서(또는 상기 제2 초음파 수신 센서)와 상기 제1 초음파 수신 센서와 상기 제2 초음파 수신 센서의 중심점간의 거리이다. The step of confirming whether the user is located in the face image acquisition area comprises the steps of: receiving an ultrasound signal indicating the location of the user; And by measuring the distance to the user according to the following equation, characterized in that it comprises a step of determining whether the user is located in the face image acquisition area, wherein the equation is x =
Figure 112007083218700-pat00001
X is a distance from a user, d1 is a distance between a first ultrasonic receiving sensor and the ultrasonic transmitting unit, d2 is a distance between a second ultrasonic receiving sensor and the ultrasonic transmitting unit, and d is the first 1 is the distance between the ultrasonic receiving sensor (or the second ultrasonic receiving sensor) and the center point of the first ultrasonic receiving sensor and the second ultrasonic receiving sensor.

상기 광원별 얼굴 보정 영상들을 획득하는 단계는 상기 얼굴 영상을 광원별 선형변환행렬을 통해 변환하는 단계; 및 상기 변환된 얼굴 영상을 하기의 수학식에 따라 보정하여 상기 광원별 얼굴 보정 영상들을 획득하는 단계를 포함하는 것을 특 징으로 하고, 이때의 수학식은

Figure 112007083218700-pat00002
,
Figure 112007083218700-pat00003
,
Figure 112007083218700-pat00004
.
Figure 112007083218700-pat00005
, 그리고
Figure 112007083218700-pat00006
이고, 상기 [MD65]-1은 D65 광원의 보정 행렬이고, 상기 [MA], [MD65], [MF2], [MF7], [MF11] 각각은 A, D65, F2, F7 및 F11 광원 각각의 선형변환행렬이고, 상기 [RF,GF,BF]은 얼굴 영상, 상기 [RA',GA',BA'], [RD65',GD65',BD65'], [RF2',GF2',BF2'], [RF7',GF7',BF7'], [RF11',GF11',BF11'] 각각은 A, D65, F2, F7 및 F11 광원 각각의 얼굴 보정 영상이다. The acquiring face correction images for each light source may include converting the face image through a linear transformation matrix for each light source; And correcting the converted face image according to the following equation to obtain face correction images for each light source.
Figure 112007083218700-pat00002
,
Figure 112007083218700-pat00003
,
Figure 112007083218700-pat00004
.
Figure 112007083218700-pat00005
, And
Figure 112007083218700-pat00006
And wherein [M D65 ] −1 is A correction matrix of a D65 light source, wherein [M A ], [M D65 ], [M F2 ], [M F7 ], and [M F11 ] are linear transformation matrices of A, D65, F2, F7, and F11 light sources, respectively. , [R F , G F , B F ] is a face image, [RA ', GA', BA '], [RD65', GD65 ', BD65'], [RF2 ', GF2', BF2 '], [RF7 ', GF7', BF7 '], [RF11', GF11 ', and BF11'] are face correction images of A, D65, F2, F7, and F11 light sources, respectively.

상기 하나의 얼굴 보정 영상만을 출력하는 단계는 상기 광원별 얼굴 보정 영상들 각각을 CIE L*C*h 좌표계로 변환한 후, 피부색 범위 내에 속하는 색상을 가지는 얼굴 영역을 검출하여 광원별 얼굴 검출 비율을 계산하는 단계; 및 상기 광원별 얼굴 보정 영상들 중에서 상기 기준 얼굴 비율과 가장 유사한 얼굴 영역 검출 비율을 가지는 하나의 얼굴 보정 영상만을 선택하여 출력하는 단계를 포함하는 것을 특징으로 한다. The step of outputting only one face correction image may include converting each of the face correction images for each light source into a CIE L * C * h coordinate system, and then detecting a face region having a color within the skin color range to determine a face detection ratio for each light source. Calculating; And selecting and outputting only one face correction image having a face area detection ratio most similar to the reference face ratio among the face correction images for each light source.

이와 같이 본 발명의 얼굴 영상 입력 장치 및 그의 동작 방법은 사람의 정면 얼굴이 촬영된 영상만을 표정 인식을 위한 작업을 위한 입력 데이터로 제공하여, 시스템 자원이 불필요하게 낭비되는 것을 방지하고 시스템 동작의 효율을 증대시킨다. 뿐만 아니라 얼굴 영상 촬영시 사용되는 광원 종류에 상관없이, 촬영된 얼굴 영상을 D65(데이 라이트) 광원 하에서의 색상 값으로 보정하여 표정 인식을 위한 작업이 보다 정확하게 수행될 수 있도록 한다. As such, the face image input device and its operation method of the present invention provide only the image of the face of the person photographed as input data for a task for facial expression recognition, thereby preventing unnecessary waste of system resources and efficiency of system operation. To increase. In addition, irrespective of the type of light source used when photographing a face image, the photographed face image is corrected to a color value under a D65 (day light) light source so that an operation for facial expression recognition can be performed more accurately.

이하 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있는 바람직한 실시 예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시 예에 대한 동작 원리를 상세하게 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. DETAILED DESCRIPTION Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. However, in describing in detail the operating principle of the preferred embodiment of the present invention, if it is determined that the detailed description of the related known function or configuration may unnecessarily obscure the subject matter of the present invention, the detailed description thereof will be omitted.

또한, 도면 전체에 걸쳐 유사한 기능 및 작용을 하는 부분에 대해서는 동일한 도면 부호를 사용한다.In addition, the same reference numerals are used for parts having similar functions and functions throughout the drawings.

도1은 본 발명의 바람직한 실시예에 따른 표정 인식을 위한 얼굴 영상 입력 장치의 구성도를 도시한 도면이다. 1 is a diagram illustrating a configuration of a face image input apparatus for facial expression recognition according to an exemplary embodiment of the present invention.

도1을 참조하면, 얼굴 영상 입력 장치는 초음파 발신부(100), 초음파 수신부(210), 거리 측정부(220), 영상 획득부(230) 및 영상 처리부(240)를 구비한다. Referring to FIG. 1, the face image input apparatus includes an ultrasound transmitter 100, an ultrasound receiver 210, a distance measurer 220, an image acquirer 230, and an image processor 240.

바람직하게, 초음파 발신부(100)는 사용자의 신체에 장착 가능한 형태의 장 치로 구현되도록 하고, 초음파 수신부(210), 거리 측정부(220), 영상 획득부(230) 및 영상 처리부(240)는 하나의 회로 또는 모듈로써 구현되도록 한다. Preferably, the ultrasonic transmitter 100 is implemented as a device that can be mounted on the user's body, the ultrasonic receiver 210, the distance measuring unit 220, the image acquisition unit 230 and the image processor 240 To be implemented as a circuit or module.

이하 각 구성요소의 기능을 살펴보면 다음과 같다. Looking at the function of each component as follows.

초음파 발신부(100)는 사용자의 신체에 장착되어 사용자의 위치를 통보하기 위한 초음파 신호를 발생하여 송출한다. The ultrasonic transmitter 100 is mounted on the user's body and generates and transmits an ultrasonic signal for notifying the user's position.

초음파 수신부(210)는 도2에 도시된 바와 같이 사용자의 얼굴 영상을 획득하고자 하는 장치 또는 장소에 설치되어 초음파 발신부(100)로부터 송출되는 초음파를 수신하는 다수개의 초음파 수신 센서(211,212)를 구비하고, 이들을 통해 수신되는 초음파 신호를 거리 측정부(220)가 인식할 수 있는 신호 형태로 변환하여 출력한다. As illustrated in FIG. 2, the ultrasound receiver 210 includes a plurality of ultrasound reception sensors 211 and 212 installed at a device or a place for acquiring a face image of a user and receiving ultrasounds transmitted from the ultrasound transmitter 100. Then, the ultrasonic signals received through them are converted into a signal form that the distance measuring unit 220 can recognize and output.

거리 측정부(220)는 초음파 수신부(210)를 통해 수신된 초음파 신호로부터 사용자와 초음파 수신부(210)의 거리를 계산하여 사용자가 얼굴 영상 획득 구역내에 위치하는지를 판단하고, 판단 결과를 영상 획득부(230)에 통보한다.The distance measuring unit 220 calculates the distance between the user and the ultrasonic receiving unit 210 from the ultrasonic signal received through the ultrasonic receiving unit 210 to determine whether the user is located in the face image acquisition area, and determines the image obtaining unit ( 230).

영상 획득부(230)는 도2에 도시된 바와 같이 사용자의 얼굴 영상을 획득하고자 하는 장치 또는 장소에 설치되는 카메라(231)를 구비하고, 거리 측정부(220)가 사용자가 얼굴 영상 획득 구역내에 위치함을 통보하면 카메라(231)를 통해 얼굴 영상 획득 구역을 촬영한다. 즉, 얼굴 영상 획득 구역에 위치하는 사용자의 얼굴 영상을 획득한다. As illustrated in FIG. 2, the image acquisition unit 230 includes a camera 231 installed in a device or a place where a user's face image is to be acquired, and the distance measuring unit 220 is located within a face image acquisition area. When notifying of the location, the camera 231 photographs a face image acquisition area. That is, the face image of the user located in the face image acquisition area is acquired.

영상 처리부(240)는 영상 획득부(230)를 통해 획득된 얼굴 영상을 광원별 선 형변환행렬([MA], [MD65], [MF2], [MF7], [MF11])을 통해 변환한 후, D65(데이라이트) 광원 기준으로 보정하여 광원별 얼굴 보정 영상들을 획득한다. 그리고 나서 광원별 얼굴 보정 영상들 중에서 기준 얼굴 비율과 가장 유사한 얼굴 검출 비율을 가지는 하나의 얼굴 보정 영상을 선택하고, 이를 표정인식을 위한 입력 데이터로써 출력한다. The image processor 240 may convert the face image acquired by the image acquirer 230 into linear conversion matrices for each light source ([M A ], [M D65 ], [M F2 ], [M F7 ], and [M F11 ]). After conversion through the D65 (daylight) light source correction by obtaining a face correction image for each light source. Then, one face correction image having a face detection ratio most similar to the reference face ratio is selected from the face correction images for each light source, and output as input data for facial recognition.

이때, 기준 얼굴 비율은 표정 인식 작업을 원활히 수행할 수 있도록 하는 얼굴 영역을 정의하기 위한 값으로, 일반적으로 정면 얼굴이 촬영되었을 때에 전체 영상 대비 얼굴 영역의 비율이다. In this case, the reference face ratio is a value for defining a face region for smoothly performing a facial expression recognition operation. Generally, the reference face ratio is a ratio of the face region to the entire image when the front face is photographed.

또한, 본 발명에서 사용하는 여러 가지 광원은 사용자의 생활환경과 유사한 광원들로, 국제 조명 위원회(CIE)에서 규정한 A(백열등) 광원, D65(데이라이트) 광원, F2(백색 형광등) 광원, F7(주광색 형광등) 광원, F11(삼파장 형광등) 광원이 적용된다. In addition, the various light sources used in the present invention are light sources similar to the living environment of the user, such as A (incandescent) light source, D65 (day light) light source, F2 (white fluorescent light) light source, F7 as defined by the International Illumination Commission (CIE). (Daylight fluorescent light) light source and F11 (three wavelength fluorescent light) light source are applied.

도3은 본 발명의 거리 측정부간의 거리 측정 방법을 설명하기 위한 도면이다. 3 is a view for explaining a distance measuring method between the distance measuring unit of the present invention.

도3에서, 초음파 발신부(100)는 목걸이 형태의 장치로 구현되어 사용자의 목에 장착되고, 두 개의 초음파 수신 센서(211,212)는 도2에서와 같이 디스플레이 장치의 전면 패널의 양측에 이격되어 설치된다고 가정한다. In Figure 3, the ultrasonic transmitter 100 is implemented as a necklace-shaped device is mounted on the user's neck, two ultrasonic receiving sensors (211, 212) are installed on both sides of the front panel of the display device as shown in Figure 2 Assume that

이에 사용자가 초음파 발신부(100)를 목에 걸고 디스플레이 장치의 앞을 지나가면, 두 개의 초음파 수신 센서(211,212)는 초음파 발신부(100)가 발생하는 초 음파를 수신한다. Accordingly, when the user hangs the ultrasonic transmitter 100 on the neck and passes in front of the display device, the two ultrasonic receivers 211 and 212 receive ultrasonic waves generated by the ultrasonic transmitter 100.

그러면 거리 측정부(220)는 이하의 수학식을 사용하여 초음파 발신부(100)와의 거리, 즉 사용자와의 거리(x)를 계산한다. Then, the distance measuring unit 220 calculates the distance from the ultrasonic transmitter 100, that is, the distance x with the user, by using the following equation.

Figure 112007083218700-pat00007
x =
Figure 112007083218700-pat00007
x =

여기서, d1은 제1 초음파 수신 센서(211)와 초음파 발신부(100)간의 거리이고, d2는 제2 초음파 수신 센서(212)와 초음파 발신부(100)간의 거리이고, d는 제1 초음파 수신 센서(211)(또는 제2 초음파 수신 센서(212))와 제1 초음파 수신 센서(211)와 제2 초음파 수신 센서(212)의 중심점(c)간의 거리이다. Here, d1 is the distance between the first ultrasonic receiving sensor 211 and the ultrasonic transmitting unit 100, d2 is the distance between the second ultrasonic receiving sensor 212 and the ultrasonic transmitting unit 100, d is the first ultrasonic receiving. The distance between the sensor 211 (or the second ultrasonic receiving sensor 212), and the center point c of the first ultrasonic receiving sensor 211 and the second ultrasonic receiving sensor 212.

상기의 계산 결과, 디스플레이 장치의 중심점(c)과 초음파 발신부(100)의 거리(x)가 사전에 설정된 거리 이내이면, 사용자가 현재 얼굴 영상 획득 구역내에 위치한다고 판단하고 영상 획득부(230)에 통보하여, 영상 획득부(230)가 얼굴 영상 획득 구역이내에 위치하는 사용자의 얼굴을 촬영하도록 한다. As a result of the calculation, if the center point c of the display device and the distance x between the ultrasonic transmitter 100 are within a preset distance, it is determined that the user is located in the current face image acquisition zone, and the image acquirer 230 The image acquisition unit 230 photographs the face of the user located within the face image acquisition area.

도4는 본 발명의 영상 처리부(240)의 상세 구성도를 도시한 도면이다. 4 is a diagram showing a detailed configuration of the image processing unit 240 of the present invention.

도4에 도시된 바와 같이, 영상 처리부(240)는 광원별 선형변환행렬 획득부(241), 영상 변환부(242), 영상 보상부(243), 얼굴 검출 비율 계산부(244) 및 영상 출력 결정부(245)를 구비한다. As shown in FIG. 4, the image processor 240 includes a linear conversion matrix acquisition unit 241 for each light source, an image converter 242, an image compensator 243, a face detection ratio calculator 244, and an image output. The determination unit 245 is provided.

이하 각 구성요소의 기능을 살펴보면 다음과 같다. Looking at the function of each component as follows.

광원별 선형변환행렬 획득부(241)는 스펙트로포토메타(spectrophotometer)를 사용하여 스펙트로포토메타에서 제공하는 광원별 세팅값으로 기준 색상 차트(예를 들어, Macbeth color checker)를 측정하여, 광원별 색상 차트 측정값([XA,YA,ZA], [XD65,YD65,ZD65], [XF2,YF2,ZF2], [XF7,YF7,ZF7], [XF11,YF11,ZF11])을 획득한다. The linear conversion matrix acquisition unit 241 for each light source measures a reference color chart (for example, a Macbeth color checker) using a spectrophotometer as a setting value for each light source provided by the spectrophotometer, and determines the color for each light source. Chart measurements ([X A , Y A , Z A ], [X D65 , Y D65 , Z D65 ], [X F2 , Y F2 , Z F2 ], [X F7 , Y F7 , Z F7 ], [X F11 , Y F11 , Z F11 ]).

그리고 카메라(231)를 이용하여 광원의 종류를 바꿔가면서 상기의 기준 색상 차트를 순차적으로 촬영하여, 광원별 색상 차트 영상([RA,GA,BA], [RD65,GD65,BD65], [RF2,GF2,BF2], [RF7,GF7,BF7], [RF11,GF11,BF11])을 획득한 후, 이하의 수학식에 따라 광원별 선형변환행렬([MA], [MD65], [MF2], [MF7], [MF11])을 획득한다.The reference color chart is sequentially taken while changing the type of light source using the camera 231, and color chart images for each light source ([R A , G A , B A ], [R D65 , G D65 , B D65 ], [R F2 , G F2 , B F2 ], [R F7 , G F7 , B F7 ], [R F11 , G F11 , B F11 ]), and then linear by light source according to the following equation. Obtain a transformation matrix [M A ], [M D65 ], [M F2 ], [M F7 ], [M F11 ]).

Figure 112007083218700-pat00008
,
Figure 112007083218700-pat00008
,

Figure 112007083218700-pat00009
,
Figure 112007083218700-pat00009
,

Figure 112007083218700-pat00010
,
Figure 112007083218700-pat00010
,

Figure 112007083218700-pat00011
,
Figure 112007083218700-pat00011
,

Figure 112007083218700-pat00012
,
Figure 112007083218700-pat00012
,

여기서, [MA], [MD65], [MF2], [MF7], [MF11] 각각은 A(백열등), D65(데이라이트), F2(백색 형광등), F7(주광색 형광등) 및 F11(삼파장 형광등) 광원 각각의 선형변환행렬이고, [XA,YA,ZA], [XD65,YD65,ZD65], [XF2,YF2,ZF2], [XF7,YF7,ZF7], [XF11,YF11,ZF11] 각각은 A, D65, F2, F7 및 F11 광원 각각의 색상 차트 측정값이고, [RA,GA,BA], [RD65,GD65,BD65], [RF2,GF2,BF2], [RF7,GF7,BF7], [RF11,GF11,BF11] 각각은 A, D65, F2, F7 및 F11 광원 각각의 색상 차트 영상이다.[M A ], [M D65 ], [M F2 ], [M F7 ], [M F11 ] are each A (incandescent lamp), D65 (daylight), F2 (white fluorescent lamp), F7 (daylight fluorescent lamp) and F11 (Three-wavelength fluorescent lamp) linear conversion matrix of each light source, [X A , Y A , Z A ], [X D65 , Y D65 , Z D65 ], [X F2 , Y F2 , Z F2 ], [X F7 , Y F7 , Z F7 ], [X F11 , Y F11 , Z F11 ] are each color chart measurements of A, D65, F2, F7 and F11 light sources, [R A , G A , B A ], [R D65 , G D65 , B D65 ], [R F2 , G F2 , B F2 ], [R F7 , G F7 , B F7 ], [R F11 , G F11 , B F11 ] are each A, D65, F2, F7 And a color chart image of each of the F11 light sources.

영상 변환부(242)는 영상 획득부(230)로부터 전송되는 얼굴 영상(RF,GF,BF)을 광원별 선형변환행렬 획득부(241)를 통해 획득된 광원별 선형변환행렬([MA], [MD65], [MF2], [MF7], [MF11])에 따라 변환하여 광원별 [X,Y,Z] 좌표값으로 변환한다. 즉, 5개의 선형변환행렬([MA], [MD65], [MF2], [MF7], [MF11])을 이용하여 하나의 얼굴 영상(RF,GF,BF)으로부터 5개의 [X,Y,Z] 좌표값을 획득한다. The image converter 242 may convert the face images R F , G F , and B F transmitted from the image acquirer 230 through the linear transformation matrix for each light source obtained through the linear transformation matrix acquisition unit 241 for each light source. M A ], [M D65 ], [M F2 ], [M F7 ], and [M F11 ]) to convert to [X, Y, Z] coordinate values for each light source. That is, one face image (R F , G F , B F ) using five linear transformation matrices ([M A ], [M D65 ], [M F2 ], [M F7 ], [M F11 ]) is used. Five [X, Y, Z] coordinate values are obtained from

영상 보정부(243)는 영상 변환부(242)를 통해 획득된 광원별 [X,Y,Z] 좌표값 각각을 이하의 수학식에서와 같이 D65 보정 행렬([MD65]-1)을 통해 D65 광원 하에서의 얼굴 영상으로 보정한다. The image correcting unit 243 stores each of the [X, Y, Z] coordinate values for each light source obtained through the image converting unit 242 through the D65 correction matrix ([M D65 ] −1 ) as shown in the following equation. Correct with face image under light source.

이와 같이 D65 보정 행렬([MD65]-1)을 통해 얼굴 영상을 보정하는 것은, 표정 인식을 위한 입력 데이터로 사용되는 영상은 일반적으로 D65 광원 하에 촬영되는 영상이기 때문이다. The correction of the face image through the D65 correction matrix [M D65 ] −1 is because an image used as input data for facial expression recognition is generally an image photographed under a D65 light source.

Figure 112007083218700-pat00013
,
Figure 112007083218700-pat00013
,

Figure 112007083218700-pat00014
,
Figure 112007083218700-pat00014
,

Figure 112007083218700-pat00015
.
Figure 112007083218700-pat00015
.

Figure 112007083218700-pat00016
,
Figure 112007083218700-pat00016
,

Figure 112007083218700-pat00017
,
Figure 112007083218700-pat00017
,

여기서, [MD65]-1은 D65 광원의 보정 행렬이고, [MA], [MD65], [MF2], [MF7], [MF11] 각각은 A, D65, F2, F7, F11 광원 각각의 선형변환행렬이고, [RF,GF,BF]은 얼굴 영상, [RA',GA',BA'], [RD65',GD65',BD65'], [RF2',GF2',BF2'], [RF7',GF7',BF7'], [RF11',GF11',BF11'] 각각은 A, D65, F2, F7, F11 광원 각각의 얼굴 보정 영상이다.Where [M D65 ] -1 is A correction matrix of the D65 light source, and each of [M A ], [M D65 ], [M F2 ], [M F7 ], and [M F11 ] is a linear transformation matrix of each of A, D65, F2, F7, and F11 light sources, [R F , G F , B F ] is for face image, [RA ', GA', BA '], [RD65', GD65 ', BD65'], [RF2 ', GF2', BF2 '], [RF7'] , GF7 ', BF7'], [RF11 ', GF11', BF11 '] are face correction images of A, D65, F2, F7, and F11 light sources, respectively.

얼굴 검출 비율 계산부(244)는 영상 보정부(243)를 통해 획득된 광원별 얼굴 보정 영상([RA',GA',BA'], [RD65',GD65',BD65'], [RF2',GF2',BF2'], [RF7',GF7',BF7'], [RF11',GF11',BF11'] ) 각각을 CIE L*C*h 좌표계로 변환한 후, 피부색 범위를 검출하여 광원별 얼굴 검출 비율을 계산한다.The face detection ratio calculation unit 244 is a face correction image for each light source obtained through the image correction unit 243 ([RA ', GA', BA '], [RD65', GD65 ', BD65'], [RF2 ']). , GF2 ', BF2'], [RF7 ', GF7', BF7 '], [RF11', GF11 ', BF11']) are converted to CIE L * C * h coordinate system, and then the skin color range is detected Calculate the star face detection rate.

이때, 얼굴 영역의 검출 기준이 되는 피부색 범위는 사전에 설정 및 변경될 수 있는 값으로, 이를 설정하는 방법은 이하의 도6에서 보다 상세히 설명하기로 한다.At this time, the skin color range that is a detection criterion of the face region is a value that can be set and changed in advance, and a method of setting the same will be described in detail with reference to FIG. 6.

영상 출력 결정부(245)는 광원별 얼굴 보정 영상 중에서 기준 얼굴 비율과 가장 유사한 얼굴 검출 비율을 가지는 얼굴 보정 영상을 하나만 선택하고, 이를 표정 인식 작업의 입력 데이터로써 출력한다. 반면, 기준 얼굴 비율로부터 설정된 범위 이내의 얼굴 검출 비율을 갖는 얼굴 보정 영상이 없으면, 영상 출력 결정부(245)는 사용자의 얼굴이 정면으로 찍히지 않았음을 확인하고, 현재 획득된 얼굴 보정 영상 모두를 폐기한다. The image output determination unit 245 selects only one face correction image having the face detection ratio most similar to the reference face ratio among the face correction images for each light source, and outputs it as input data of the facial expression recognition operation. On the other hand, if there is no face correction image having a face detection ratio within the set range from the reference face ratio, the image output determining unit 245 confirms that the user's face is not taken in front and displays all of the currently acquired face correction images. Discard.

도5는 본 발명의 표정 인식을 위한 얼굴 영상 입력 장치의 동작 방법을 설명하기 위한 흐름도이다. 5 is a flowchart illustrating a method of operating a face image input apparatus for facial expression recognition according to the present invention.

먼저, 초음파 수신부(210)는 초음파 발신기(100)로부터 발신되는 초음파를 주기적으로 수신하고(S1), 거리 측정부(220)는 초음파 수신부(210)를 통해 수신되는 초음파를 분석하여 사용자와 초음파 수신부(210)와의 거리를 측정한다(S2). First, the ultrasonic receiver 210 periodically receives the ultrasonic wave transmitted from the ultrasonic transmitter 100 (S1), and the distance measuring unit 220 analyzes the ultrasonic wave received through the ultrasonic receiver 210 to analyze the ultrasonic wave. Measure the distance to 210 (S2).

단계 S2를 통해 측정된 거리가 설정 거리 이내, 즉 사용자가 얼굴 영상 획득 구역내에 위치되면(S3), 초음파 수신부(210)는 사용자의 얼굴을 촬영하여 얼굴 영상을 획득한다(S4).If the distance measured through the step S2 is within the set distance, that is, the user is located in the face image acquisition area (S3), the ultrasound receiver 210 captures the user's face to obtain a face image (S4).

단계 S4를 통해 획득된 얼굴 영상을 광원별 선형변환행렬([MA], [MD65], [MF2], [MF7], [MF11])을 이용하여 광원별 [X,Y,Z] 좌표계로 변환한 후, 이들을 다시 D65(데이라이트) 광원의 보정 행렬([MD65]-1)을 통해 보정하여 광원별 얼굴 보정 영상을 획득한다(S5).The face image obtained through the step S4 is obtained by using the linear transformation matrix for each light source ([M A ], [M D65 ], [M F2 ], [M F7 ], [M F11 ]). Z] after the conversion to the coordinate system, these are again corrected through the correction matrix ([M D65 ] −1 ) of the D65 (daylight) light source to obtain a face correction image for each light source (S5).

그리고 광원별 얼굴 보정 영상 각각을 CIE L*C*h 좌표계로 변환한 후, 피부색 범위내에 속하는 색상을 가지는 얼굴 영역을 검출하여 광원별 얼굴 검출 비율을 계산한다(S6).After each face correction image for each light source is converted into a CIE L * C * h coordinate system, a face area having a color within the skin color range is detected to calculate a face detection ratio for each light source (S6).

광원별 얼굴 보정 영상들 중에서 기준 얼굴 비율과 가장 유사한 얼굴 영역 검출 비율을 가지는 하나의 영상만을 선택한다(S7). Among the face correction images for each light source, only one image having the face area detection ratio most similar to the reference face ratio is selected (S7).

그리고 단계 S7을 통해 하나의 얼굴 보정 영상이 선택되었으면(S8), 이를 표 정 인식 작업을 수행하기 위한 입력 데이터로써 출력한다(S9). If one face correction image is selected in step S7 (S8), the face correction image is output as input data for performing a target recognition operation (S9).

반면 단계 S7을 통해 아무런 영상도 선택되지 못하였으면, 현재 획득된 보정된 얼굴 영상 모두는 다음의 작업을 수행하기에 적합한 데이터가 아님을 확인하고, 이들 모두를 폐기하고 단계 S1로 재진입하여 준다(S10).On the other hand, if no image is selected in step S7, it is confirmed that all of the currently acquired corrected face images are not suitable data for performing the following operations, and discard all of them and reenter the process in step S1 (S10). ).

도6은 본 발명의 얼굴 영상 입력 장치의 광원별 선형변환행렬 획득 방법을 설명하기 위한 흐름도로, 이는 바람직하게는 광원별 선형변환행렬을 통해 얼굴 영상을 변환하는 단계(S5) 이전에 수행되도록 한다. FIG. 6 is a flowchart illustrating a method for acquiring a linear transformation matrix for each light source of the face image input apparatus of the present invention, which is preferably performed before the step S5 of converting the facial image through the linear transformation matrix for each light source. .

먼저, 얼굴 영상 입력 장치는 스펙트로포토메타(spectrophotometer)를 사용하여 스펙트로포토메타에서 제공하는 광원별 세팅값으로 Macbeth color checker를 측정하여, 광원별 색상 차트 측정값([XA,YA,ZA], [XD65,YD65,ZD65], [XF2,YF2,ZF2], [XF7,YF7,ZF7], [XF11,YF11,ZF11])을 획득한다(S11). First, the face image input device uses a spectrophotometer to measure the Macbeth color checker with the light source-specific setting values provided by the spectrophotometer to measure the color chart for each light source ([X A , Y A , Z A]. ], [X D65 , Y D65 , Z D65 ], [X F2 , Y F2 , Z F2 ], [X F7 , Y F7 , Z F7 ], [X F11 , Y F11 , Z F11 ]). S11).

얼굴 영상 입력 장치는 카메라(231)를 이용하여 광원의 종류를 바꿔가면서 동일한 색상 차트를 순차적으로 촬영하여, 광원별 색상 차트 영상([RA,GA,BA], [RD65,GD65,BD65], [RF2,GF2,BF2], [RF7,GF7,BF7], [RF11,GF11,BF11])을 획득한다(S12). The face image input apparatus sequentially photographs the same color chart while changing the type of light source using the camera 231, and displays the color chart images ([R A , G A , B A ], [R D65 , G D65) for each light source. , B D65 ], [R F2 , G F2 , B F2 ], [R F7 , G F7 , B F7 ], [R F11 , G F11 , B F11 ]) are obtained (S12).

그리고 앞서 설명한 수학식1에 따라 광원별 색상 차트 측정값과 색상 차트 영상간의 광원별 선형변환행렬([MA], [MD65], [MF2], [MF7], [MF11])을 획득한다(S13).Then, the linear conversion matrix for each light source between the color chart measurement value for each light source and the color chart image ([M A ], [M D65 ], [M F2 ], [M F7 ], [M F11 ]) according to Equation 1 described above. To obtain (S13).

도7은 본 발명의 얼굴 영상 입력 장치의 피부색 범위 설정 방법을 설명하기 위한 흐름도로, 이는 광원별 얼굴 검출 비율을 계산하는 단계(S6) 이전에 수행되도 록 한다. 7 is a flowchart illustrating a method for setting a skin color range of the face image input apparatus of the present invention, which is performed before the step S6 of calculating a face detection ratio for each light source.

먼저, 얼굴 영상 입력 장치는 카메라(231)를 이용하여 D65 광원 하에서 피부색 샘플을 촬영하여 피부색 샘플 영상을 획득한다(S21). First, the face image input apparatus acquires a skin color sample image by photographing a skin color sample under a D65 light source using the camera 231 (S21).

단계 S21을 통해 획득된 피부색 샘플 영상을 D65 광원의 선형변환행렬([MD65])을 통해 변환하여 피부색 샘플 영상에 대한 [X,Y,Z] 좌표계를 획득한 후(S22), 이를 다시 CIE L*C*h 좌표계로 변환한다(S23). After converting the skin color sample image acquired through the step S21 through the linear transformation matrix ([M D65 ]) of the D65 light source to obtain the [X, Y, Z] coordinate system for the skin color sample image (S22), this is again CIE Convert to L * C * h coordinate system (S23).

그리고 색상 값을 이용하여 0°~360° 사이의 피부색 범위를 결정한다(S24). Then, using the color value to determine the skin color range between 0 ° ~ 360 ° (S24).

이상에서 설명한 본 발명은 전술한 실시 예 및 첨부된 도면에 의해 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위내에서 여러 가지 치환, 변형 및 변경할 수 있다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 당업자에게 있어 명백할 것이다. The present invention described above is not limited to the above-described embodiments and the accompanying drawings, and it is common in the art that various substitutions, modifications, and changes can be made without departing from the technical spirit of the present invention. It will be apparent to those skilled in the art.

도1은 본 발명의 바람직한 실시예에 따른 표정 인식을 위한 얼굴 영상 입력 장치의 구성도를 도시한 도면, 1 is a block diagram of a facial image input apparatus for facial expression recognition according to an embodiment of the present invention;

도2는 본 발명의 초음파 수신부 및 영상 획득부의 구현예를 도시한 도면, 2 is a view showing an embodiment of an ultrasonic receiver and an image acquisition unit of the present invention;

도3은 본 발명의 거리 측정부간의 거리 측정 방법을 설명하기 위한 도면, 3 is a view for explaining a distance measuring method between the distance measuring unit of the present invention;

도4는 본 발명의 영상 처리부의 상세 구성도를 도시한 도면, 4 is a diagram showing a detailed configuration of an image processing unit according to the present invention;

도5는 본 발명의 표정 인식을 위한 얼굴 영상 입력 장치의 동작 방법을 설명하기 위한 흐름도, 5 is a flowchart illustrating a method of operating a face image input apparatus for facial expression recognition according to the present invention;

도6은 본 발명의 얼굴 영상 입력 장치의 광원별 선형변환행렬 획득 방법을 설명하기 위한 흐름도, 그리고6 is a flowchart illustrating a method for obtaining a linear transformation matrix for each light source of the face image input apparatus according to the present invention;

도7은 본 발명의 얼굴 영상 입력 장치의 피부색 범위 설정 방법을 설명하기 위한 흐름도이다.7 is a flowchart illustrating a method for setting a skin color range of a face image input apparatus according to the present invention.

Claims (16)

사용자 신체에 장착된 초음파 발신부로부터 발신되는 초음파 신호를 수신하는 초음파 수신부;An ultrasonic receiver for receiving an ultrasonic signal transmitted from an ultrasonic transmitter mounted on a user's body; 상기 초음파 신호를 분석하여 상기 사용자가 얼굴 영상 획득 구역내에 위치하는지를 판단하는 거리 측정부;A distance measuring unit configured to analyze the ultrasound signal to determine whether the user is located in a face image acquisition area; 상기 사용자가 얼굴 영상 획득 구역내에 위치하면, 상기 얼굴 영상 획득 구역을 촬영하여 상기 사용자의 얼굴 영상을 획득하는 영상 획득부; 및An image acquisition unit configured to acquire a face image of the user by photographing the face image acquisition zone when the user is located in a face image acquisition zone; And 상기 얼굴 영상을 광원별 선형변환행렬을 통해 변환한 후 기준 광원 보정행렬을 통해 보정하여 광원별 얼굴 보정 영상들을 획득하고, 상기 광원별 얼굴 보정 영상들 중에서 기준 얼굴 비율과 가장 유사한 얼굴 검출 비율을 가지는 하나의 얼굴 보정 영상만을 출력하는 영상 처리부를 포함하는 얼굴 영상 입력 장치.The face image is converted through a linear conversion matrix for each light source and then corrected through a reference light correction matrix to obtain face correction images for each light source, and among the face correction images for each light source, a face detection ratio most similar to a reference face ratio is obtained. Face image input device comprising an image processing unit for outputting only one face correction image. 제1항에 있어서, 상기 영상 처리부는 The image processing apparatus of claim 1, wherein the image processor 스펙트로포토메타를 통해 광원별 색상 차트 측정값을 획득하고 카메라를 통해 광원별 색상 차트 영상을 획득한 후, 광원별 선형변환행렬을 획득하는 광원별 선형변환행렬 획득부;A linear conversion matrix acquisition unit for acquiring a color chart measurement value for each light source through a spectrophotometer and a color conversion image for each light source through a camera, and then obtaining a linear conversion matrix for each light source; 상기 얼굴 영상을 상기 광원별 선형변환행렬 각각을 통해 변환하는 영상 변환부;An image converter for converting the face image through each of the linear transformation matrices for each light source; 상기 영상 변환부를 통해 변환된 얼굴 영상을 상기 기준 광원 보정행렬을 통해 보정하여 상기 광원별 얼굴 보정 영상들을 획득하는 영상 보정부;An image corrector configured to correct the face image converted by the image converter through the reference light source correction matrix to obtain face corrected images for each light source; 상기 광원별 얼굴 보정 영상들 각각의 얼굴 영역을 검출하여 광원별 얼굴 검출 비율을 계산하는 얼굴 검출 비율 계산부; 및 A face detection ratio calculator for detecting a face region of each of the face correction images for each light source and calculating a face detection ratio for each light source; And 기준 얼굴 비율을 사전에 설정한 후, 상기 광원별 얼굴 보정 영상들 중에서 상기 기준 얼굴 비율과 가장 유사한 얼굴 검출 비율을 가지는 하나의 얼굴 보정 영상만을 출력하는 영상 출력 결정부를 포함하는 것을 특징으로 하는 얼굴 영상 입력 장치.And a face image output determining unit configured to output only one face correction image having a face detection ratio most similar to the reference face ratio among the face correction images for each light source after setting a reference face ratio in advance. Input device. 제2항에 있어서, 상기 광원별 선형변환행렬 획득부는 The linear transformation matrix acquiring unit according to claim 2, wherein 하기의 수학식에 따라 상기 광원별 선형변환행렬을 획득하는 것을 특징으로 하는 얼굴 영상 입력 장치.The face image input apparatus, wherein the linear transformation matrix for each light source is obtained according to the following equation.
Figure 112007083218700-pat00018
,
Figure 112007083218700-pat00018
,
Figure 112007083218700-pat00019
,
Figure 112007083218700-pat00019
,
Figure 112007083218700-pat00020
,
Figure 112007083218700-pat00020
,
Figure 112007083218700-pat00021
, 그리고
Figure 112007083218700-pat00021
, And
Figure 112007083218700-pat00022
이고
Figure 112007083218700-pat00022
ego 상기 [MA], [MD65], [MF2], [MF7], [MF11] 각각은 A(백열등), D65(데이라이트), F2(백색 형광등), F7(주광색 형광등), F11(삼파장 형광등) 광원 각각의 선형변환행렬이고, 상기 [XA,YA,ZA], [XD65,YD65,ZD65], [XF2,YF2,ZF2], [XF7,YF7,ZF7], [XF11,YF11,ZF11] 각각은 A, D65, F2, F7 및 F11 광원 각각의 색상 차트 측정값이고, 상기 [RA,GA,BA], [RD65,GD65,BD65], [RF2,GF2,BF2], [RF7,GF7,BF7], [RF11,GF11,BF11] 각각은 A, D65, F2, F7 및 F11 광원 각각의 색상 차트 영상임.[M A ], [M D65 ], [M F2 ], [M F7 ], and [M F11 ] are each A (incandescent lamp), D65 (day light), F2 (white fluorescent lamp), F7 (daylight fluorescent lamp), and F11. (Three-wavelength fluorescent lamp) is a linear conversion matrix of each light source, wherein [X A , Y A , Z A ], [X D65 , Y D65 , Z D65 ], [X F2 , Y F2 , Z F2 ], [X F7 , Y F7 , Z F7 ], [X F11 , Y F11 , Z F11 ] are the color chart measurements of each of A, D65, F2, F7 and F11 light sources, and [R A , G A , B A ], [ R D65 , G D65 , B D65 ], [R F2 , G F2 , B F2 ], [R F7 , G F7 , B F7 ], [R F11 , G F11 , B F11 ] are each A, D65, F2, Color chart image of each of F7 and F11 light sources. 제2항에 있어서, 상기 영상 보정부는 The display apparatus of claim 2, wherein the image corrector 하기의 수학식에 따라 상기 광원별 얼굴 보정 영상들을 획득하는 것을 특징으로 하는 얼굴 영상 입력 장치.Face image input device characterized in that to obtain the face correction image for each light source according to the following equation.
Figure 112007083218700-pat00023
,
Figure 112007083218700-pat00023
,
Figure 112007083218700-pat00024
,
Figure 112007083218700-pat00024
,
Figure 112007083218700-pat00025
.
Figure 112007083218700-pat00025
.
Figure 112007083218700-pat00026
, 그리고
Figure 112007083218700-pat00026
, And
Figure 112007083218700-pat00027
이고
Figure 112007083218700-pat00027
ego 상기 [MD65]-1은 D65 광원의 보정 행렬이고, 상기 [MA], [MD65], [MF2], [MF7], [MF11] 각각은 A, D65, F2, F7 및 F11 광원 각각의 선형변환행렬이고, 상기 [RF,GF,BF]은 얼굴 영상, 상기 [RA',GA',BA'], [RD65',GD65',BD65'], [RF2',GF2',BF2'], [RF7',GF7',BF7'], [RF11',GF11',BF11'] 각각은 A, D65, F2, F7 및 F11 광원 각각의 얼굴 보정 영상임.[M D65 ] -1 is A correction matrix of a D65 light source, wherein [M A ], [M D65 ], [M F2 ], [M F7 ], and [M F11 ] are linear transformation matrices of A, D65, F2, F7, and F11 light sources, respectively. , [R F , G F , B F ] is a face image, [RA ', GA', BA '], [RD65', GD65 ', BD65'], [RF2 ', GF2', BF2 '], [RF7 ', GF7', BF7 '], [RF11', GF11 ', BF11'] are face correction images of A, D65, F2, F7 and F11 light sources, respectively. 제2항에 있어서, 상기 영상 출력 결정부는 The image output determiner of claim 2, wherein the image output determiner comprises: 상기 기준 얼굴 비율로부터 설정된 범위 이내의 얼굴 검출 비율을 갖는 얼굴 보정 영상이 없으면, 상기 얼굴 보정 영상 모두를 폐기하는 기능을 더 구비하는 것을 특징으로 하는 얼굴 영상 입력 장치.And if there is no face correction image having a face detection ratio within a range set from the reference face ratio, discarding all of the face correction images. 제1항에 있어서, 상기 초음파 발신부는 The method of claim 1, wherein the ultrasonic transmitting unit 사용자의 신체에 장착가능한 장치 형태로 구현되는 것을 특징으로 하는 얼굴 영상 입력 장치.Face image input device, characterized in that implemented in the form of a device that can be mounted on the user's body. 제1항에 있어서, 상기 초음파 수신부는 The method of claim 1, wherein the ultrasonic receiver 사용자의 얼굴 영상을 획득하고자 하는 장치 또는 장소에 설치되는 다수개의 초음파 수신 센서를 구비하고, 상기 초음파 수신 센서를 통해 수신되는 상기 초음파 신호를 상기 거리 측정부가 인식할 수 있는 신호 형태로 변환하여 출력하는 것을 특징으로 하는 얼굴 영상 입력 장치.And a plurality of ultrasonic receiving sensors installed at a device or a place for acquiring a face image of a user, and converting the ultrasonic signals received through the ultrasonic receiving sensor into a signal form that the distance measuring unit can recognize. Face image input device, characterized in that. 제7항에 있어서, 상기 거리 측정부는 The method of claim 7, wherein the distance measuring unit 하기의 수학식을 이용하여 상기 초음파 발신부와 상기 얼굴 영상 입력 장치간의 거리(x)를 측정하는 것을 특징으로 하는 얼굴 영상 입력 장치.And a distance (x) between the ultrasound transmitter and the face image input apparatus is measured using the following equation. x =
Figure 112007083218700-pat00028
x =
Figure 112007083218700-pat00028
 상기 d1은 제1 초음파 수신 센서와 상기 초음파 발신부간의 거리이고, 상기 d2는 제2 초음파 수신 센서와 상기 초음파 발신부간의 거리이고, 상기 d는 상기 제1 초음파 수신 센서(또는 상기 제2 초음파 수신 센서)와 상기 제1 초음파 수신 센서와 상기 제2 초음파 수신 센서의 중심점간의 거리임.The d1 is the distance between the first ultrasonic receiving sensor and the ultrasonic transmitter, the d2 is the distance between the second ultrasonic receiving sensor and the ultrasonic transmitting unit, and the d is the first ultrasonic receiving sensor (or the second ultrasonic receiving unit). Sensor) and a center point of the first ultrasonic receiving sensor and the second ultrasonic receiving sensor. 제1항에 있어서, 상기 기준 광원은 The method of claim 1, wherein the reference light source D65 광원인 것을 특징으로 하는 얼굴 영상 입력 장치.A face image input device, characterized in that the light source D65. 사용자의 위치를 알려주는 초음파 신호를 수신 및 분석하여 사용자가 얼굴 영상 획득 구역내에 위치하는지를 확인하는 단계;Receiving and analyzing an ultrasonic signal indicative of a user's location to determine whether the user is located in a face image acquisition area; 사용자가 얼굴 영상 획득 구역내에 위치하면, 사용자의 얼굴을 촬영하여 얼굴 영상을 획득하는 단계;If the user is located in the face image acquisition area, photographing the user's face to obtain a face image; 상기 얼굴 영상을 광원별 선형변환행렬을 통해 변환한 후 기준 광원 보정행렬을 통해 보정하여 광원별 얼굴 보정 영상들을 획득하는 단계; 및 Acquiring face correction images for each light source by converting the face image through a linear conversion matrix for each light source and then correcting it through a reference light correction matrix; And 상기 광원별 얼굴 보정 영상들 중에서 기준 얼굴 비율과 가장 유사한 얼굴 검출 비율을 가지는 하나의 얼굴 보정 영상만을 출력하는 단계를 구비하는 얼굴 영상 입력 장치의 동작 방법.And outputting only one face correction image having a face detection ratio most similar to a reference face ratio among the face correction images for each light source. 제10항에 있어서, 상기 사용자가 얼굴 영상 획득 구역내에 위치하는지를 확인하는 단계는 The method of claim 10, wherein checking whether the user is located within a face image acquisition area is 사용자의 위치를 알려주는 초음파 신호를 수신하는 단계; 및 Receiving an ultrasonic signal indicative of the location of the user; And 하기의 수학식에 따라 사용자와의 거리를 측정하여, 사용자가 얼굴 영상 획득 구역내에 위치하는지를 확인하는 단계를 포함하는 것을 특징으로 하는 얼굴 영상 입력 장치의 동작 방법.And determining whether the user is located in the face image acquisition area by measuring a distance to the user according to the following equation. x =
Figure 112007083218700-pat00029
x =
Figure 112007083218700-pat00029
 상기 x는 사용자와의 거리이고, 상기 d1은 제1 초음파 수신 센서와 상기 초음파 발신부간의 거리이고, 상기 d2는 제2 초음파 수신 센서와 상기 초음파 발신부간의 거리이고, 상기 d는 상기 제1 초음파 수신 센서(또는 상기 제2 초음파 수신 센서)와 상기 제1 초음파 수신 센서와 상기 제2 초음파 수신 센서의 중심점간의 거리임.X is a distance from a user, d1 is a distance between a first ultrasonic receiving sensor and the ultrasonic transmitting unit, d2 is a distance between a second ultrasonic receiving sensor and the ultrasonic transmitting unit, and d is the first ultrasonic wave. A distance between a receiving sensor (or the second ultrasonic receiving sensor) and a center point of the first ultrasonic receiving sensor and the second ultrasonic receiving sensor. 제10항에 있어서, 상기 광원별 얼굴 보정 영상들을 획득하는 단계는 The method of claim 10, wherein the acquiring face correction images for each light source comprises: 상기 얼굴 영상을 광원별 선형변환행렬을 통해 변환하는 단계; 및Converting the face image through a linear transformation matrix for each light source; And 상기 변환된 얼굴 영상을 하기의 수학식에 따라 보정하여 상기 광원별 얼굴 보정 영상들을 획득하는 단계를 포함하는 것을 특징으로 하는 얼굴 영상 입력 장치의 동작 방법.And correcting the converted face image according to the following equation to obtain face correction images for each light source.
Figure 112007083218700-pat00030
,
Figure 112007083218700-pat00030
,
Figure 112007083218700-pat00031
,
Figure 112007083218700-pat00031
,
Figure 112007083218700-pat00032
.
Figure 112007083218700-pat00032
.
Figure 112007083218700-pat00033
, 그리고
Figure 112007083218700-pat00033
, And
Figure 112007083218700-pat00034
이고
Figure 112007083218700-pat00034
ego 상기 [MD65]-1은 D65 광원의 보정 행렬이고, 상기 [MA], [MD65], [MF2], [MF7], [MF11] 각각은 A(백열등), D65(데이라이트), F2(백색 형광등), F7(주광색 형광등), F11(삼파장 형광등) 광원 각각의 선형변환행렬이고, 상기 [RF,GF,BF]은 얼굴 영상, 상기 [RA',GA',BA'], [RD65',GD65',BD65'], [RF2',GF2',BF2'], [RF7',GF7',BF7'], [RF11',GF11',BF11'] 각각은 A, D65, F2, F7 및 F11 광원 각각의 얼굴 보정 영상임.[M D65 ] -1 is D65 is a correction matrix of a light source, wherein [M A ], [M D65 ], [M F2 ], [M F7 ], and [M F11 ] are A (incandescent), D65 (daylight), F2 (white fluorescent lamp), Linear conversion matrix of F7 (daylight fluorescent) and F11 (three wavelength fluorescent) light source, [R F , G F , B F ] is a face image, [RA ', GA', BA '], [RD65', GD65 ', BD65'], [RF2 ', GF2', BF2 '], [RF7', GF7 ', BF7'], [RF11 ', GF11', BF11 '] are each A, D65, F2, F7 and F11 Face correction image of each light source. 제10항에 있어서, The method of claim 10, 상기 광원별 얼굴 보정 영상들을 획득하는 단계 이전에, Before acquiring face correction images for each light source, 하기의 수학식에 따라 상기 광원별 선형변환행렬을 획득하는 단계를 더 포함하는 것을 특징으로 하는 얼굴 영상 입력 장치의 동작 방법.And acquiring the linear transformation matrix for each light source according to the following equation.
Figure 112009027468415-pat00035
,
Figure 112009027468415-pat00035
,
Figure 112009027468415-pat00036
,
Figure 112009027468415-pat00036
,
Figure 112009027468415-pat00037
,
Figure 112009027468415-pat00037
,
Figure 112009027468415-pat00038
, 그리고
Figure 112009027468415-pat00038
, And
Figure 112009027468415-pat00039
이고
Figure 112009027468415-pat00039
ego 상기 [MA], [MD65], [MF2], [MF7], [MF11] 각각은 A, D65, F2, F7 및 F11 광원 각각의 선형변환행렬이고, 상기 [XA,YA,ZA], [XD65,YD65,ZD65], [XF2,YF2,ZF2], [XF7,YF7,ZF7], [XF11,YF11,ZF11] 각각은 A, D65, F2, F7 및 F11 광원 각각의 색상 차트 측정값이고, 상기 [RA,GA,BA], [RD65,GD65,BD65], [RF2,GF2,BF2], [RF7,GF7,BF7], [RF11,GF11,BF11] 각각은 A, D65, F2, F7 및 F11 광원 각각의 색상 차트 영상임.[M A ], [M D65 ], [M F2 ], [M F7 ], and [M F11 ] are each linear conversion matrices of A, D65, F2, F7 and F11 light sources, and [X A , Y A , Z A ], [X D65 , Y D65 , Z D65 ], [X F2 , Y F2 , Z F2 ], [X F7 , Y F7 , Z F7 ], [X F11 , Y F11 , Z F11 ] Are color chart measurements of A, D65, F2, F7 and F11 light sources, respectively, [R A , G A , B A ], [R D65 , G D65 , B D65 ], [R F2 , G F2 , B F2 ], [R F7 , G F7 , B F7 ], [R F11 , G F11 , B F11 ] are each color chart images of A, D65, F2, F7 and F11 light sources. 제10항에 있어서, 상기 하나의 얼굴 보정 영상만을 출력하는 단계는The method of claim 10, wherein outputting only one face correction image is performed. 상기 광원별 얼굴 보정 영상들 각각을 CIE L*C*h 좌표계로 변환한 후, 피부색 범위내에 속하는 색상을 가지는 얼굴 영역을 검출하여 광원별 얼굴 검출 비율을 계산하는 단계; 및 Converting each of the face correction images for each light source into a CIE L * C * h coordinate system and calculating a face detection ratio for each light source by detecting a face region having a color within a skin color range; And 상기 광원별 얼굴 보정 영상들 중에서 상기 기준 얼굴 비율과 가장 유사한 얼굴 영역 검출 비율을 가지는 하나의 얼굴 보정 영상만을 선택하여 출력하는 단계를 포함하는 것을 특징으로 하는 얼굴 영상 입력 장치의 동작 방법.And selecting and outputting only one face correction image having a face area detection ratio most similar to the reference face ratio among the face correction images for each light source. 제14항에 있어서,The method of claim 14, 상기 광원별 얼굴 검출 비율을 계산하는 단계 이전에, 기준 광원 하에서 피부색 샘플을 촬영하여 피부색 샘플 영상을 획득하는 단계;Before the step of calculating the face detection ratio for each light source, taking a skin color sample under a reference light source to obtain a skin color sample image; 상기 피부색 샘플 영상을 상기 기준 광원의 선형변환행렬을 통해 변환하여 [X,Y,Z] 좌표계를 획득한 후, CIE L*C*h 좌표계로 변환하는 단계; 및 Converting the skin color sample image through a linear transformation matrix of the reference light source to obtain a [X, Y, Z] coordinate system, and then converting the skin color sample image into a CIE L * C * h coordinate system; And 색상 값을 이용하여 0°~360° 사이의 상기 피부색 범위를 결정하는 단계를 더 구비하는 것을 특징으로 하는 얼굴 영상 입력 장치의 동작 방법.And determining the skin color range between 0 ° and 360 ° by using a color value. 제10항에 있어서, The method of claim 10, 상기 광원별 얼굴 보정 영상들을 획득하는 단계 이후에, After acquiring face correction images for each light source, 상기 광원별 얼굴 보정 영상들 중에서 상기 기준 얼굴 비율로부터 설정된 범위 이내의 얼굴 검출 비율을 갖는 얼굴 보정 영상이 없으면, 상기 광원별 얼굴 보정 영상들을 모두 폐기하는 단계를 더 구비하는 것을 특징으로 하는 얼굴 영상 입력 장치의 동작 방법.If there is no face correction image having a face detection ratio within a range set from the reference face ratio among the face correction images for each light source, discarding all of the face correction images for each light source. How the device works.
KR1020070118371A 2007-11-20 2007-11-20 Apparatus of inputting face picture to recognizing expression of face and operating method KR100901690B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070118371A KR100901690B1 (en) 2007-11-20 2007-11-20 Apparatus of inputting face picture to recognizing expression of face and operating method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070118371A KR100901690B1 (en) 2007-11-20 2007-11-20 Apparatus of inputting face picture to recognizing expression of face and operating method

Publications (2)

Publication Number Publication Date
KR20090051913A KR20090051913A (en) 2009-05-25
KR100901690B1 true KR100901690B1 (en) 2009-06-08

Family

ID=40859829

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070118371A KR100901690B1 (en) 2007-11-20 2007-11-20 Apparatus of inputting face picture to recognizing expression of face and operating method

Country Status (1)

Country Link
KR (1) KR100901690B1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020007646A (en) * 2000-07-18 2002-01-29 류정열 Apparatus for adjusting angle of mirrors automatically in a motor vehicle
KR20060032409A (en) * 2004-10-12 2006-04-17 삼성전자주식회사 Method and apparatus of generating avata for representing state of health
KR20060079832A (en) * 2005-04-15 2006-07-06 정재영 Humanoid robot using emotion expression based on the embedded system
KR20060110466A (en) * 2005-04-20 2006-10-25 주식회사 메디슨 Method and system for estimating motion from continuous images

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020007646A (en) * 2000-07-18 2002-01-29 류정열 Apparatus for adjusting angle of mirrors automatically in a motor vehicle
KR20060032409A (en) * 2004-10-12 2006-04-17 삼성전자주식회사 Method and apparatus of generating avata for representing state of health
KR20060079832A (en) * 2005-04-15 2006-07-06 정재영 Humanoid robot using emotion expression based on the embedded system
KR20060110466A (en) * 2005-04-20 2006-10-25 주식회사 메디슨 Method and system for estimating motion from continuous images

Also Published As

Publication number Publication date
KR20090051913A (en) 2009-05-25

Similar Documents

Publication Publication Date Title
JP4883517B2 (en) Three-dimensional measuring apparatus, three-dimensional measuring method, and three-dimensional measuring program
US8724855B2 (en) Biometric information measurement apparatus and method using user terminal
US9760808B2 (en) Image processing system, server device, image pickup device and image evaluation method
US9542758B2 (en) Image processing apparatus and light source identification method
US20190246000A1 (en) Apparatus and method for processing three dimensional image
CN112214106A (en) High-precision anti-interference VR system and operation method
KR20120007734A (en) Distance measuring module and display device including the same, distance measuring method of display device
CN109341542A (en) Method and its monitoring device based on digital signal sequences length identification fracture width
TWI576093B (en) Hemoglobin and hematocrit analyzer and analyzing method thereof
KR20190071310A (en) Themal image surveillance system and method of amending body temperature in thermal image using radar measuring distance
JP5652882B2 (en) Scoliosis screening system, scoliosis determination program used therefor, and terminal device
CN104720814A (en) Non-contact height automatic measuring system and non-contact height automatic measuring method
WO2021111747A1 (en) Image processing device, monitoring system, and image processing method
KR100901690B1 (en) Apparatus of inputting face picture to recognizing expression of face and operating method
EP3185552A1 (en) Method, apparatus and computer program product for testing a video system
CN112672137A (en) Method for obtaining depth image, structured light system and electronic device
CN113227719A (en) Measurement system, measurement device, measurement method, and program
CN106124748A (en) Routine urinalysis detection sensor for mobile terminal
CN112444302A (en) Image acquisition equipment, water level detection equipment, method and storage medium
KR100659902B1 (en) Point of care test apparatus
TW201705047A (en) Image-type board counting device and method rapidly providing accurate quantity information through the real-time operation on the image information and the distance information
KR100765251B1 (en) Method for adjusting white valance value and digital imaging device using the same
KR20090022033A (en) Measurement system
KR102467927B1 (en) Fever Suspect Detection Apparatus And Method Thereof
JP2005016964A (en) Field corrected data generating apparatus

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee