KR102216505B1 - Face tracking camera module and method - Google Patents

Face tracking camera module and method Download PDF

Info

Publication number
KR102216505B1
KR102216505B1 KR1020150143511A KR20150143511A KR102216505B1 KR 102216505 B1 KR102216505 B1 KR 102216505B1 KR 1020150143511 A KR1020150143511 A KR 1020150143511A KR 20150143511 A KR20150143511 A KR 20150143511A KR 102216505 B1 KR102216505 B1 KR 102216505B1
Authority
KR
South Korea
Prior art keywords
image
facial
tracking
facial area
unit
Prior art date
Application number
KR1020150143511A
Other languages
Korean (ko)
Other versions
KR20170043880A (en
Inventor
박영서
박영귀
Original Assignee
삼성전기주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전기주식회사 filed Critical 삼성전기주식회사
Priority to KR1020150143511A priority Critical patent/KR102216505B1/en
Publication of KR20170043880A publication Critical patent/KR20170043880A/en
Application granted granted Critical
Publication of KR102216505B1 publication Critical patent/KR102216505B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/335—
    • H04N5/374—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

본 발명의 일 실시 예에 따른 안면 추적 카메라 모듈은 렌즈를 통해 제1 이미지를 획득하는 카메라부; 상기 제1 이미지 상에서 사용자의 안면 영역을 추적하고, 상기 안면 영역을 나타내는 상기 제1 이미지 상의 좌표를 출력하는 추적부; 상기 출력된 좌표를 이용하여 안면 영역을 포함하는 윈도우를 추출하는 추출부; 및 상기 추출된 윈도우를 평면 이미지로 보정하는 보정부를 포함할 수 있다.A face tracking camera module according to an embodiment of the present invention includes a camera unit for acquiring a first image through a lens; A tracking unit that tracks a user's facial area on the first image and outputs coordinates on the first image representing the facial area; An extraction unit for extracting a window including a facial area by using the output coordinates; And a correction unit correcting the extracted window into a flat image.

Description

안면 추적 카메라 모듈 및 방법 {FACE TRACKING CAMERA MODULE AND METHOD}Face tracking camera module and method {FACE TRACKING CAMERA MODULE AND METHOD}

본 발명은 안면 추적 카메라 모듈 및 방법에 관한 것이다.
The present invention relates to a facial tracking camera module and method.

화상 통신 기술의 발전과 함께 이동 통신 단말기, 노트북 PC, 및 데스크탑 PC와 같은 전자기기에 카메라 모듈을 장착하여 화상 회의(conference call), 화상 통화 등의 화상 통신 서비스가 제공되고 있다.With the development of video communication technology, video communication services such as a conference call and a video call are provided by mounting a camera module in electronic devices such as mobile communication terminals, notebook PCs, and desktop PCs.

이러한 화상 통신 서비스에서 일반적으로 사용자 및 상대방은 서로의 얼굴을 보면서 통화하고자 하므로, 사용자는 사용자의 얼굴을 화면 가운데에 위치시킬 수 있도록 촬상 방향을 조절하기를 원한다.In such a video communication service, since the user and the other party generally want to make a call while looking at each other's faces, the user wants to adjust the imaging direction so that the user's face is located in the center of the screen.

수동으로 카메라 모듈 또는 전자기기의 위치를 조작하는 방법 이외에 이러한 조절을 자동화하기 위한 방법으로 모터를 이용한 기계식 촬상 방향 조절 방법을 고려할 수 있으나, 카메라 모듈의 크기에는 일정한 제약이 있으므로 적용이 어렵다.In addition to a method of manually manipulating the position of a camera module or electronic device, a mechanical imaging direction adjustment method using a motor may be considered as a method for automating such adjustment, but the size of the camera module is limited, so it is difficult to apply.

참고로, 본 발명과 관련된 선행기술로는 특허문헌 1이 있다.
For reference, there is Patent Document 1 as a prior art related to the present invention.

한국 공개특허공보 제2004-0079499호Korean Patent Application Publication No. 2004-0079499

본 발명의 일 실시 예에 따르면, 확대된 범위의 이미지를 획득하고 이미지 상에서 안면(顔面)이 한쪽으로 치우칠 경우 안면을 이미지의 중앙에 오도록 추출된 이미지를 제공하는 안면 추적 카메라 모듈이 제공된다.
According to an embodiment of the present invention, there is provided a face tracking camera module that obtains an image of an enlarged range and provides an extracted image so that the face is in the center of the image when the face is skewed to one side on the image.

본 발명의 일 실시 예에 따른 안면 추적 카메라 모듈은 렌즈를 통해 제1 이미지를 획득하는 카메라부; 상기 제1 이미지 상에서 사용자의 안면 영역을 추적하고, 상기 안면 영역을 나타내는 상기 제1 이미지 상의 좌표를 출력하는 추적부; 상기 출력된 좌표를 이용하여 상기 제1 이미지의 일부 영역들에 각각 대응하고 기설정된 복수의 윈도우들 중 상기 안면 영역을 포함하는 윈도우를 추출하는 추출부; 및 상기 복수의 윈도우들 각각에 대응되는 복수의 보정 프로세스들 중 상기 추출된 윈도우에 대응하는 보정 프로세스를 이용하여 상기 추출된 윈도우를 평면 이미지로 보정하는 보정부를 포함할 수 있다.A face tracking camera module according to an embodiment of the present invention includes a camera unit for acquiring a first image through a lens; A tracking unit that tracks a user's facial area on the first image and outputs coordinates on the first image representing the facial area; An extraction unit for extracting a window including the facial area from among a plurality of preset windows, respectively, corresponding to partial areas of the first image by using the output coordinates; And a correction unit correcting the extracted window into a flat image by using a correction process corresponding to the extracted window among a plurality of correction processes corresponding to each of the plurality of windows.

또한, 본 발명의 일 실시 예에 따른 안면 추적 방법은 렌즈를 통해 제1 이미지를 획득하는 단계; 상기 제1 이미지 상에서 사용자의 안면 영역을 추적하고, 상기 안면 영역을 나타내는 상기 제1 이미지 상의 좌표를 출력하는 단계; 상기 출력된 좌표를 이용하여 상기 제1 이미지의 일부 영역들에 각각 대응하고 기설정된 복수의 윈도우들 중 상기 안면 영역을 포함하는 윈도우를 추출하는 단계; 및 상기 복수의 윈도우들 각각에 대응되는 복수의 보정 프로세스들 중 상기 추출된 윈도우에 대응하는 보정 프로세스를 이용하여 상기 추출된 윈도우를 평면 이미지로 보정하는 단계를 포함할 수 있다.In addition, a method for tracking a face according to an embodiment of the present invention includes obtaining a first image through a lens; Tracking the user's facial area on the first image and outputting coordinates on the first image representing the facial area; Extracting a window including the facial area from among a plurality of preset windows each corresponding to partial areas of the first image using the output coordinates; And correcting the extracted window into a flat image using a correction process corresponding to the extracted window among a plurality of correction processes corresponding to each of the plurality of windows.

본 발명의 일 실시 예에 따른 안면 추적 카메라 모듈 및 안면 추적 방법은 확대된 범위의 이미지를 획득할 수 있고, 카메라의 촬상 방향을 조절하지 않고 안면을 이미지의 중앙에 오도록 추출된 이미지를 제공할 수 있는 효과를 가진다.
The face tracking camera module and the face tracking method according to an embodiment of the present invention can obtain an image of an enlarged range, and provide an extracted image so that the face is in the center of the image without adjusting the imaging direction of the camera. Has an effect.

도 1은 본 발명의 일 실시 예에 따른 안면 추적 카메라 모듈의 블록도이다.
도 2는 본 발명의 다른 실시 예에 따른 안면 추적 카메라 모듈의 블록도이다.
도 3은 본 발명의 일 실시 예에 따른 안면 추적 방법을 나타내는 흐름도이다.
도 4는 윈도우를 추출하는 동작 및 방법을 설명하기 위한 도면이다.
도 5는 안면 영역을 추적하는 동작 및 방법을 설명하기 위한 도면이다.1 is a block diagram of a face tracking camera module according to an embodiment of the present invention.
2 is a block diagram of a face tracking camera module according to another embodiment of the present invention.
3 is a flowchart illustrating a face tracking method according to an embodiment of the present invention.
4 is a diagram illustrating an operation and method of extracting a window.
5 is a diagram for explaining an operation and method of tracking a facial area.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 형태들을 설명한다.Hereinafter, preferred embodiments of the present invention will be described with reference to the accompanying drawings.

그러나, 본 발명의 실시형태는 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 이하 설명하는 실시 형태로 한정되는 것은 아니다. 또한, 본 발명의 실시형태는 당해 기술분야에서 평균적인 지식을 가진 자에게 본 발명을 더욱 완전하게 설명하기 위해서 제공되는 것이다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다.However, the embodiments of the present invention may be modified into various other forms, and the scope of the present invention is not limited to the embodiments described below. In addition, embodiments of the present invention are provided in order to more completely explain the present invention to those with average knowledge in the art. It is to be understood that the various embodiments of the present invention are different from each other, but need not be mutually exclusive.

또한, 어떤 구성 요소를 '포함'한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있다는 것을 의미한다.
In addition, "including" a certain component means that other components may be further included, rather than excluding other components unless specifically stated to the contrary.

도 1은 본 발명의 일 실시 예에 따른 안면 추적 카메라 모듈의 블록도이다.1 is a block diagram of a face tracking camera module according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 일 실시 예에 따른 안면 추적 카메라 모듈은 카메라부(110), 추적부(120), 추출부(130), 및 보정부(140)를 포함한다.
Referring to FIG. 1, a face tracking camera module according to an embodiment of the present invention includes a camera unit 110, a tracking unit 120, an extraction unit 130, and a correction unit 140.

카메라부(110)는 렌즈를 포함하고 제1 이미지를 획득할 수 있다. 예를 들어, 카메라부(110)는 광각렌즈를 통해 더 넓은 범위를 촬상할 수 있다. 또한, 카메라부(110)는 광각렌즈와 이격되어 배치된 이미지 센서를 더 포함하여 광학영상을 전기 신호로 변환시켜 제1 이미지를 획득할 수 있다. 이러한 이미지 센서로는 전하 결합 소자Charge Coupled Device)와 시모스(complementary Metal-Oxide-Semiconductor) 이미지 센서가 사용될 수 있다.
The camera unit 110 may include a lens and may acquire a first image. For example, the camera unit 110 may capture a wider range of images through a wide-angle lens. In addition, the camera unit 110 may further include an image sensor disposed to be spaced apart from the wide-angle lens to convert the optical image into an electrical signal to obtain a first image. As such an image sensor, a charge coupled device and a complementary metal-oxide-semiconductor (Semiconductor) image sensor may be used.

추적부(120)는 상기 제1 이미지 상에서 사용자의 안면 영역을 추적하고, 상기 안면 영역을 나타내는 제1 이미지 상의 좌표를 추출부(130)에 출력할 수 있다.The tracking unit 120 may track the user's facial area on the first image and may output coordinates on the first image representing the facial area to the extraction unit 130.

예를 들어, 추적부(120)는 제1 이미지를 이용하여 사용자의 안면 영역을 확정하고, 제1 이미지의 이전 프레임과 현재 프레임을 비교하여 안면 영역의 중심점 또는 안면 영역 윤곽을 이동을 감지할 수 있다.For example, the tracking unit 120 may determine the user's facial area by using the first image, and detect movement of the center point of the facial area or the facial area contour by comparing the previous frame and the current frame of the first image. have.

또한, 추적부(120)는 DVS(dynamic vision sensor)가 출력하는 제2 이미지를 이용하여 안면 영역을 추적할 수 있고, 이에 대하여는 도 2를 참조하여 서술하기로 한다.
In addition, the tracking unit 120 may track the facial area using a second image output from a dynamic vision sensor (DVS), which will be described with reference to FIG. 2.

추출부(130)는 추적부(120)가 출력하는 좌표를 이용하여 안면 영역을 포함하는 윈도우를 추출할 수 있다. 본 실시 예에서 윈도우는 제1 이미지의 일부 영역에 대응하는 이미지를 의미한다. The extraction unit 130 may extract a window including the facial area using coordinates output from the tracking unit 120. In this embodiment, a window means an image corresponding to a partial area of the first image.

또한, 추출부(130)는 제1 이미지의 일부 영역들에 각각 대응하는 복수의 윈도우들 중 하나를 안면 영역을 포함하는 윈도우로 추출할 수 있다. 상기 복수의 윈도우들은 윈도우 추출 과정을 단순화 하기 위해 각각 제1 이미지의 일부 영역에 대응되도록 기설정될 수 있다.Also, the extraction unit 130 may extract one of a plurality of windows respectively corresponding to partial regions of the first image as a window including the facial region. Each of the plurality of windows may be preset to correspond to a partial region of the first image in order to simplify the window extraction process.

추출부(130)가 상기 복수의 윈도우들 중 하나를 안면 영역을 포함하는 윈도우로 추출하는 경우, 추출부(130)는 안면 영역을 포함하고 상기 안면 영역이 상대적으로 중심에 위치하는 윈도우를 선택할 수 있다.
When the extraction unit 130 extracts one of the plurality of windows as a window including the facial area, the extraction unit 130 may select a window including the facial area and in which the facial area is relatively centered. have.

보정부(140)는 추출부(130)가 추출한 윈도우를 평면 이미지로 보정 할 수 있다. 상기 윈도우는 카메라부(110)가 획득한 제1 이미지의 일부 영역이고, 제1 이미지는 렌즈에 의한 왜곡현상을 보인다. 보정부(140)는 이러한 왜곡을 보정 프로세스에 의해 평면 이미지로 보정할 수 있고, 일 예로 상기 보정 프로세스는 정사영(orthographic projection) 투영 기법에 의한 연산일 수 있다.The correction unit 140 may correct the window extracted by the extraction unit 130 into a flat image. The window is a partial area of the first image acquired by the camera unit 110, and the first image shows a distortion phenomenon caused by a lens. The correction unit 140 may correct such distortion into a planar image by a correction process. For example, the correction process may be an operation using an orthographic projection projection technique.

또한, 추출부(130)가 상기 복수의 윈도우들 중 하나를 안면 영역을 포함하는 윈도우로 추출하는 경우, 보정부(140)는 추출된 윈도우에 대응하는 보정 프로세스를 이용하여 추출된 이미지를 보정할 수 있다. 이를 위해, 보정부(140)는 상기 복수의 원도우들 각각에 대응하는 보정 프로세스를 구비할 수 있다.In addition, when the extraction unit 130 extracts one of the plurality of windows as a window including the facial region, the correction unit 140 corrects the extracted image using a correction process corresponding to the extracted window. I can. To this end, the correction unit 140 may include a correction process corresponding to each of the plurality of windows.

이에 따라, 본 발명의 일 실시 예에 따른 안면 추적 카메라 모듈은 이미지 처리에 있어 향상된 속도를 제공할 수 있다.
Accordingly, the face tracking camera module according to an embodiment of the present invention may provide an improved speed in image processing.

한편, 본 발명의 실시 예에서 사용되는 '~부' 라는 용어는 소프트웨어 또는 FPGA(field-programmable gate array) 또는 ASIC과 같은 하드웨어 구성요소를 의미할 수 있고, '~부' 는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부' 는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다.
Meanwhile, the term'~ unit' used in an embodiment of the present invention may refer to software or hardware components such as field-programmable gate array (FPGA) or ASIC, and'~ unit' is an addressable storage device. It may be configured to be in a medium or may be configured to reproduce one or more processors. Thus, as an example,'~ unit' refers to components such as software components, object-oriented software components, class components, and task components, processes, functions, properties, and procedures. , Subroutines, segments of program code, drivers, firmware, microcode, circuitry, data, database, data structures, tables, arrays, and variables.

도 2는 본 발명의 다른 실시 예에 따른 안면 추적 카메라 모듈의 블록도이다.2 is a block diagram of a face tracking camera module according to another embodiment of the present invention.

도 2를 참조하면, 본 발명의 다른 실시 예에 따른 안면 추적 카메라 모듈은 카메라부(210), 추적부(220), 추출부(230), 및 보정부(240)를 포함하고, 도 1에서 서술한 카메라 모듈에 추가로 DVS(dynamic vision sensor, 250)를 포함한다.
Referring to FIG. 2, a face tracking camera module according to another embodiment of the present invention includes a camera unit 210, a tracking unit 220, an extraction unit 230, and a correction unit 240, and in FIG. In addition to the described camera module, a dynamic vision sensor (DVS) 250 is included.

DVS는 프레임 별로 연속적으로 촬상되는 이미지를 분석하고, 분석된 프레임의 조도 정보를 프레임 메모리(미도시)에 저장할 수 있다. 상기 DVS는 프레임 메모리에 저장된 이전 프레임의 조도 정보와 현재 프레임의 조도 정보를 비교하여 물체의 동작을 감지할 수 있다.The DVS may analyze images continuously captured for each frame, and store illumination information of the analyzed frames in a frame memory (not shown). The DVS may detect the motion of an object by comparing the illumination information of the previous frame and the illumination information of the current frame stored in the frame memory.

DVS는 프레임에 대한 조도 변화 정보를 픽셀 좌표를 포함하는 이벤트 신호로 처리 할 수 있으므로 조도 정보를 포함하는 제2 이미지를 고속으로 출력할 수 있다.
Since DVS can process the luminance change information for a frame as an event signal including pixel coordinates, a second image including luminance information can be output at high speed.

또한, 추적부(220)는 DVS(dynamic vision sensor)가 출력하는 제2 이미지를 이용하여 안면 영역을 추적할 수 있다. 예를 들어, 추적부(220)는 제2 이미지를 이용하여 사용자의 안면 영역을 확정하고, 제2 이미지의 이전 프레임과 현재 프레임을 비교하여 안면 영역의 중심점 또는 안면 영역 윤곽을 이동을 감지할 수 있다.In addition, the tracking unit 220 may track the facial area using a second image output from a dynamic vision sensor (DVS). For example, the tracking unit 220 may determine the user's facial area using the second image, and detect movement of the center point of the facial area or the facial area contour by comparing the previous frame and the current frame of the second image. have.

따라서, 본 실시 예에 따른 안면 추적 카메라 모듈 및 안면 추적 방법은 고속의 모션 감지를 가능하게 하는 DVS를 사용하여 지연 시간을 최소화한 실시간 안면 추적이 가능한 효과를 가진다.
Accordingly, the face tracking camera module and the face tracking method according to the present embodiment have the effect of enabling real-time face tracking with a minimum delay time by using DVS enabling high-speed motion detection.

이외의 구성은 도 1에서 서술한 구성과 실질적으로 동일하므로 도 1을 참조하여 이해될 수 있다.
Other configurations are substantially the same as those described in FIG. 1, and thus may be understood with reference to FIG. 1.

도 3은 본 발명의 일 실시 예에 따른 안면 추적 방법을 나타내는 흐름도이다.3 is a flowchart illustrating a face tracking method according to an embodiment of the present invention.

도 3을 참조하면, 본 실시 예에 따른 안면 추적 방법은 렌즈를 통해 제1 이미지를 획득하는 것으로 시작된다(S310). 여기서 상기 렌즈는 상대적으로 넓은 범위를 촬상할 수 있는 광각렌즈일 수 있다. Referring to FIG. 3, the method of tracking a face according to the present embodiment begins with acquiring a first image through a lens (S310). Here, the lens may be a wide-angle lens capable of capturing a relatively wide range.

다음으로, 추적부(120, 도 1)는 상기 제1 이미지 상에서 사용자의 안면 영역을 추적하고(S320), 안면 영역을 나타내는 제1 이미지 상의 좌표를 출력할 수 있다(S330). 여기서, 사용자의 안면 영역을 추적하기 위해 제1 이미지가 이용될 수 있고, 물체의 운동을 감지하는 DVS(dynamic vision sensor)가 출력하는 제2 이미지가 이용될 수 도 있다.
Next, the tracking unit 120 (FIG. 1) may track the user's facial area on the first image (S320), and output coordinates on the first image indicating the facial area (S330). Here, a first image may be used to track the user's facial area, and a second image output by a dynamic vision sensor (DVS) that detects motion of an object may be used.

한편, 상기 좌표를 출력하기 전에, 상기 추적부는 안면 영역이 제1 이미지 범위에 포함되는지 판단할 수 있고(S322), 상기 안면 영역이 제1 이미지 범위에서 벗어나는 경우 이상 신호를 출력할 수 있다(S324).
Meanwhile, before outputting the coordinates, the tracking unit may determine whether the facial area is included in the first image range (S322), and when the facial area is out of the first image range, may output an abnormal signal (S324). ).

상기 출력된 좌표를 입력 받은 추출부(130, 도 1)는 상기 출력된 좌표를 이용하여 안면 영역을 포함하는 윈도우를 추출할 수 있다(S340). 이때, 상기 윈도우는 상기 제1 이미지의 일부 영역들에 각각 대응하는 복수의 윈도우들 중 하나가 될 수 있다.The extraction unit 130 (FIG. 1) receiving the output coordinates may extract a window including the facial area by using the output coordinates (S340). In this case, the window may be one of a plurality of windows respectively corresponding to partial regions of the first image.

이후, 보정부(140, 도 1)는 상기 추출된 윈도우를 평면 이미지로 보정할 수 있다. 여기서, 상기 보정부는 추출된 윈도우에 대응하는 보정 프로세스를 이용하여 상기 추출된 윈도우를 평면 이미지로 보정할 수 있다(350).
Thereafter, the correction unit 140 (FIG. 1) may correct the extracted window into a flat image. Here, the correction unit may correct the extracted window into a flat image using a correction process corresponding to the extracted window (350 ).

도 4는 윈도우를 추출하는 동작 및 방법을 설명하기 위한 도면이다.4 is a diagram illustrating an operation and method of extracting a window.

도 4를 참조하면, 추출부(130, 도 1)는 제1 이미지(410)의 일부 영역들에 각각 대응하는 복수의 윈도우들(410-1 내지 410-4) 중 하나를 안면 영역을 포함하는 윈도우로 추출할 수 있다.Referring to FIG. 4, the extraction unit 130 (FIG. 1) includes one of a plurality of windows 410-1 to 410-4 respectively corresponding to partial regions of the first image 410 including a facial region. You can extract it with Windows.

도 4에서는 4개의 윈도우를 가정하여 도시하였으나 복수의 윈도우는 안면 영역 추적의 정확도 향상 및 추출 처리 속도를 고려하여 기설정될 수 있다.In FIG. 4, four windows are assumed, but the plurality of windows may be preset in consideration of improvement in accuracy of facial area tracking and extraction processing speed.

상기 추출부는 안면 영역을 포함하고 상기 안면 영역이 상대적으로 중심에 위치하는 윈도우(420-4)를 선택하여 추출할 수 있고, 보정부(140, 도 1)는 추출된 윈도우(430)를 평면 이미지(440)로 보정하여 출력할 수 있다.
The extraction unit may select and extract a window 420-4 including a facial area and the facial area is located at a relatively center, and the correction unit 140 (FIG. 1) refers to the extracted window 430 as a flat image. It can be corrected to (440) and output.

도 5는 안면 영역을 추적하는 동작 및 방법을 설명하기 위한 도면이다.5 is a diagram for explaining an operation and method of tracking a facial area.

도 5를 참조하면, 추적부(220, 도 2)는 DVS(dynamic vision sensor)가 출력하는 제2 이미지(515)를 이용하여 안면 영역을 추적할 수 있다. Referring to FIG. 5, the tracking unit 220 (FIG. 2) may track a facial area using a second image 515 output from a dynamic vision sensor (DVS).

예를 들어, 상기 추적부는 제2 이미지(515)를 이용하여 사용자의 안면 영역을 확정하고, 제2 이미지의 이전 프레임과 현재 프레임을 비교하여 안면 영역의 중심점 또는 안면 영역 윤곽을 이동을 감지할 수 있다.For example, the tracking unit may determine the user's facial area using the second image 515 and detect movement of the center point of the facial area or the facial area contour by comparing the previous frame and the current frame of the second image. have.

또한, 추출부(230, 도2)는 감지된 안면 영역의 좌표를 제1 이미지(510)에 좌표 매칭하여 안면 영역을 포함하는 윈도우(520)를 추출할 수 있다.In addition, the extraction unit 230 (FIG. 2) may extract the window 520 including the facial area by matching the coordinates of the detected facial area with the first image 510.

이후, 보정부(240, 도 2)는 추출된 윈도우(530)를 평면 이미지(540)로 보정하여 출력할 수 있다.
Thereafter, the correction unit 240 (FIG. 2) may correct and output the extracted window 530 as a flat image 540.

이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니고 후술하는 특허청구범위에 의해 한정되며, 본 발명의 구성은 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 그 구성을 다양하게 변경 및 개조할 수 있다는 것을 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 쉽게 알 수 있다.
The present invention described above is not limited by the above-described embodiments and the accompanying drawings, but is limited by the claims to be described later, and the configuration of the present invention is varied within the scope not departing from the technical spirit of the present invention. It can be easily understood by those of ordinary skill in the art that the present invention can be changed and modified.

110: 카메라부
120: 추적부
130: 추출부
140: 보정부110: camera unit
120: tracking unit
130: extraction unit
140: correction unit

Claims (12)

렌즈를 통해 제1 이미지를 획득하는 카메라부;
물체의 운동을 감지하여, 제2 이미지를 출력하는 DVS(dynamic vision sensor);
상기 DVS가 출력하는 제2 이미지를 이용하여 사용자의 안면 영역을 추적하고, 상기 안면 영역을 나타내는 상기 제2 이미지 상의 좌표를 출력하는 추적부;
상기 출력된 제2 이미지 상의 좌표를 상기 제1 이미지에 좌표 매칭하여 상기 제1 이미지의 일부 영역들에 각각 대응하고, 기설정된 복수의 윈도우들 중 상기 안면 영역을 포함하는 윈도우를 추출하는 추출부; 및
상기 복수의 윈도우들 각각에 대응되는 복수의 보정 프로세스들 중 상기 추출된 윈도우에 대응하는 보정 프로세스를 이용하여 상기 추출된 윈도우를 평면 이미지로 보정하는 보정부
를 포함하는 안면 추적 카메라 모듈.
A camera unit that acquires a first image through a lens;
A dynamic vision sensor (DVS) that senses motion of an object and outputs a second image;
A tracking unit that tracks a user's facial area using the second image output from the DVS and outputs coordinates on the second image representing the facial area;
An extractor configured to match the coordinates on the output second image with the first image to correspond to partial regions of the first image, respectively, and extract a window including the facial region from among a plurality of preset windows; And
A correction unit correcting the extracted window into a flat image using a correction process corresponding to the extracted window among a plurality of correction processes corresponding to each of the plurality of windows
Facial tracking camera module comprising a.
 제1항에 있어서, 상기 카메라부는
광각렌즈를 통해 상기 제1 이미지를 획득하는 안면 추적 카메라 모듈.
The method of claim 1, wherein the camera unit
A face tracking camera module that acquires the first image through a wide-angle lens.
 삭제delete 삭제delete 삭제delete 제1항에 있어서
상기 추적부는 상기 안면 영역이 상기 제1 이미지의 범위에서 벗어나는 경우 이상 신호를 출력하는 안면 추적 카메라 모듈.
According to claim 1
The tracking unit is a facial tracking camera module that outputs an abnormal signal when the facial area is out of the range of the first image.
 렌즈를 통해 제1 이미지를 획득하는 단계;
물체의 운동을 감지하여, 제2 이미지를 출력하는 단계;
상기 제2 이미지를 이용하여 사용자의 안면 영역을 추적하고, 상기 안면 영역을 나타내는 상기 제2 이미지 상의 좌표를 출력하는 단계;
상기 출력된 제2 이미지 상의 좌표를 상기 제1 이미지에 좌표 매칭하여 상기 제1 이미지의 일부 영역들에 각각 대응하고, 기설정된 복수의 윈도우들 중 상기 안면 영역을 포함하는 윈도우를 추출하는 단계; 및
상기 복수의 윈도우들 각각에 대응되는 복수의 보정 프로세스들 중 상기 추출된 윈도우에 대응하는 보정 프로세스를 이용하여 상기 추출된 윈도우를 평면 이미지로 보정하는 단계
를 포함하는 안면 추적 방법.
Obtaining a first image through the lens;
Detecting motion of the object and outputting a second image;
Tracking a user's facial area using the second image, and outputting coordinates on the second image representing the facial area;
Matching coordinates on the output second image with the first image to correspond to partial regions of the first image, respectively, and extracting a window including the facial region from among a plurality of preset windows; And
Correcting the extracted window to a flat image using a correction process corresponding to the extracted window among a plurality of correction processes corresponding to each of the plurality of windows
Facial tracking method comprising a.
 제7항에 있어서, 상기 획득하는 단계는
광각렌즈를 통해 상기 제1 이미지를 획득하는 단계인 안면 추적 방법.
The method of claim 7, wherein the obtaining step
A facial tracking method comprising the step of acquiring the first image through a wide-angle lens.
 삭제delete 삭제delete 삭제delete 제7항에 있어서,
상기 안면 영역이 상기 제1 이미지의 범위에서 벗어나는 경우 이상 신호를 출력하는 단계를 더 포함하는 안면 추적 방법.

The method of claim 7,
The facial tracking method further comprising outputting an abnormal signal when the facial area is out of the range of the first image.
KR1020150143511A 2015-10-14 2015-10-14 Face tracking camera module and method KR102216505B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150143511A KR102216505B1 (en) 2015-10-14 2015-10-14 Face tracking camera module and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150143511A KR102216505B1 (en) 2015-10-14 2015-10-14 Face tracking camera module and method

Publications (2)

Publication Number Publication Date
KR20170043880A KR20170043880A (en) 2017-04-24
KR102216505B1 true KR102216505B1 (en) 2021-02-17

Family

ID=58704221

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150143511A KR102216505B1 (en) 2015-10-14 2015-10-14 Face tracking camera module and method

Country Status (1)

Country Link
KR (1) KR102216505B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220139689A (en) 2021-04-08 2022-10-17 김영수 An artificial intelligence camera holder

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10812711B2 (en) 2018-05-18 2020-10-20 Samsung Electronics Co., Ltd. Semantic mapping for low-power augmented reality using dynamic vision sensor
US10795435B2 (en) 2018-07-19 2020-10-06 Samsung Electronics Co., Ltd. System and method for hybrid eye tracker

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02127877A (en) * 1988-11-08 1990-05-16 Casio Comput Co Ltd Electronic still camera provided with fisheye lens
KR100469727B1 (en) 2003-03-07 2005-02-02 삼성전자주식회사 Communication terminal and method capable of displaying face image of user at the middle part of screen
KR101570694B1 (en) * 2009-11-06 2015-11-20 엘지전자 주식회사 Apparatus for displaying image and method for operating the same
KR101223606B1 (en) * 2011-03-31 2013-01-21 경북대학교 산학협력단 System for intelligently monitoring image for monitoring elevator

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220139689A (en) 2021-04-08 2022-10-17 김영수 An artificial intelligence camera holder

Also Published As

Publication number Publication date
KR20170043880A (en) 2017-04-24

Similar Documents

Publication Publication Date Title
US9692995B2 (en) Flare detection and mitigation in panoramic images
JP5906028B2 (en) Image processing apparatus and image processing method
US10805539B2 (en) Anti-shake method for camera and camera
EP3320676B1 (en) Image capturing apparatus and method of operating the same
US20220222830A1 (en) Subject detecting method and device, electronic device, and non-transitory computer-readable storage medium
CN106600548B (en) Fisheye camera image processing method and system
US20130147910A1 (en) Mobile device and image capturing method
JP2020514891A (en) Optical flow and sensor input based background subtraction in video content
KR102216505B1 (en) Face tracking camera module and method
US10116865B2 (en) Image processing apparatus and image processing method for calculating motion vector between images with different in-focus positions
US9160928B2 (en) Image capture apparatus sensing image capturing condition, image processing method, and storage medium
US20130050530A1 (en) Image capturing device and image processing method thereof
US10129449B2 (en) Flash band, determination device for detecting flash band, method of controlling the same, storage medium, and image pickup apparatus
US7835552B2 (en) Image capturing apparatus and face area extraction method
US10965877B2 (en) Image generating method and electronic apparatus
KR101610512B1 (en) Stereoscopic camera and method for operating the same
WO2012147368A1 (en) Image capturing apparatus
JP2007049266A (en) Picture imaging apparatus
JP6172973B2 (en) Image processing device
CN113016002A (en) Selective distortion or distortion correction in images from cameras with wide-angle lenses
KR20150000911A (en) Auto mapping method and apparatus of screen and image
WO2021226821A1 (en) Systems and methods for detection and display of whiteboard text and/or an active speaker
JP2009021929A (en) Imaging apparatus and imaging method
JP6592881B2 (en) Surface detection method, surface detection device, and imaging device
KR102125775B1 (en) Image generating method by compensating excluded pixel data and image generating device therewith

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant