KR102171332B1 - Apparatus, method and computer readable medium having computer program recorded for facial image correction - Google Patents

Apparatus, method and computer readable medium having computer program recorded for facial image correction Download PDF

Info

Publication number
KR102171332B1
KR102171332B1 KR1020130108334A KR20130108334A KR102171332B1 KR 102171332 B1 KR102171332 B1 KR 102171332B1 KR 1020130108334 A KR1020130108334 A KR 1020130108334A KR 20130108334 A KR20130108334 A KR 20130108334A KR 102171332 B1 KR102171332 B1 KR 102171332B1
Authority
KR
South Korea
Prior art keywords
face
image
recognized
distortion
contour
Prior art date
Application number
KR1020130108334A
Other languages
Korean (ko)
Other versions
KR20150029317A (en
Inventor
김상훈
Original Assignee
에스케이플래닛 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이플래닛 주식회사 filed Critical 에스케이플래닛 주식회사
Priority to KR1020130108334A priority Critical patent/KR102171332B1/en
Publication of KR20150029317A publication Critical patent/KR20150029317A/en
Application granted granted Critical
Publication of KR102171332B1 publication Critical patent/KR102171332B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Ophthalmology & Optometry (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 얼굴 영상 보정 장치, 방법 및 컴퓨터 프로그램이 기록된 기록매체에 관한 것으로서, 특히 영상에서 인식된 얼굴의 윤곽에 기준 얼굴 윤곽을 정합시켜 인식된 얼굴의 삼차원 형태 정보를 획득한 후 이를 기반으로 영상의 정면 방향에 대한 얼굴의 왜곡 정도를 판단하며 판단된 왜곡 정도에 따라 인식된 얼굴이 정면 방향으로 향하도록 영상을 변환함으로써 단말의 기울기 정보와 같은 부가 정보 없이 사용자 얼굴이 항상 정면을 바라보는 것으로 영상을 표시하도록 하여 영상 통화시나 화상 채팅시에 자연스러운 통화 환경을 제공하며, 인식된 얼굴에서 파악된 눈동자의 위치에 대해 정면 방향과 일치 여부를 확인하고 일치 여부에 따른 보정 정도를 판단하며 판단된 보정 정도에 따라 파악된 눈동자의 위치를 이동시킴으로써 눈동자의 시선을 영상의 정면 방향과 일치시키도록 하여 영상 통화시나 화상 채팅시에 더욱 자연스러운 통화 환경을 제공한다.The present invention relates to a facial image correction apparatus, a method, and a recording medium in which a computer program is recorded, and in particular, after acquiring three-dimensional shape information of a recognized face by matching a reference facial contour with the contour of a face recognized in an image, By determining the degree of distortion of the face with respect to the front direction of the image, and converting the image so that the recognized face faces in the front direction according to the determined degree of distortion, the user's face is always facing the front without additional information such as tilt information of the terminal. It provides a natural call environment during video calls or video chat by displaying video, checks whether the position of the pupils identified in the recognized face matches the front direction, determines the degree of correction according to the match, and determines the correction By moving the position of the identified pupil according to the degree, the eyes of the pupil are aligned with the front direction of the video, thereby providing a more natural call environment during a video call or video chat.

Description

얼굴 영상 보정 장치, 방법 및 컴퓨터 프로그램이 기록된 기록매체{Apparatus, method and computer readable medium having computer program recorded for facial image correction}Facial image correction apparatus, method and computer program recorded recording medium {Apparatus, method and computer readable medium having computer program recorded for facial image correction}

본 발명은 얼굴 영상 보정 장치, 방법 및 컴퓨터 프로그램이 기록된 기록매체에 관한 것으로서, 특히 영상 통화시나 화상 채팅시에 카메라에 의해 촬영되는 사용자의 얼굴 영상에서 얼굴의 기울어진 각도나 시선의 각도를 바로잡아 정면을 주시하는 얼굴로 변환함으로써 상대방의 화면에 사용자 얼굴이 정면 영상으로 표시되도록 하는 얼굴 영상 보정 장치, 방법 및 컴퓨터 프로그램이 기록된 기록매체에 관한 것이다.The present invention relates to a facial image correction apparatus, a method, and a recording medium in which a computer program is recorded. In particular, in a user's face image captured by a camera during a video call or video chatting, the inclined angle of the face or the angle of the gaze is directly The present invention relates to a facial image correction apparatus, a method, and a recording medium in which a computer program is recorded so that a user's face is displayed as a front image on the other's screen by converting it into a face that looks at the front.

영상 통화 서비스는 음성 통화시에 영상을 동시에 제공하는 서비스로서, 일반적인 영상 통화시에는 스마트 폰의 화면이나 사용자 컴퓨터의 모니터를 통해 카메라로 촬영되는 상대방의 얼굴을 보며 통화를 진행한다.The video call service is a service that simultaneously provides video during a voice call. In a general video call, a call is made while viewing the face of the other party photographed by a camera through a screen of a smartphone or a monitor of a user computer.

종래에는, 이러한 영상 통화시에 카메라가 장착된 위치나 사용자의 얼굴과 카메라와의 거리 또는 각도에 따라 사용자의 얼굴이 왜곡되어 보이는 경우가 자주 발생하였다.Conventionally, in such a video call, the user's face is often distorted according to the location where the camera is mounted or the distance or angle between the user's face and the camera.

가령, 사용자 컴퓨터의 모니터 상단 일 측에 영상 통화를 위한 카메라가 장착된 경우에, 카메라와 사용자 얼굴과의 거리나 각도로 인해 사용자의 시선이 상대방 통화자를 응시하지 않고 다른 방향으로 향하는 것처럼 보이거나 사용자의 얼굴의 하관이 두드러져 보이는 등 얼굴 영상의 왜곡이 심하였다.For example, if a camera for video calling is mounted on one side of the monitor of the user's computer, the user's gaze appears to be pointing in a different direction without staring at the other party due to the distance or angle between the camera and the user's face. The image of the face was distorted, such as the lower canal of the face of the woman was prominent.

또는, 카메라가 장착된 스마트 폰이나 스마트 단말을 통해 영상 통화를 진행하는 경우에도 스마트 폰이 장착된 거치 형태나 사용자가 바라보는 방향에 의해 얼굴의 좌우가 상대방에게 비대칭적으로 보이거나 시선이 얼굴 방향과 다른 곳을 보는 것처럼 화면에 나타나는 경우도 발생하였다.Or, even when making a video call through a smart phone or smart terminal equipped with a camera, the left and right sides of the face appear asymmetrical to the other party or the gaze is in the direction of the face depending on the mounting type or the direction the user is looking at. There was also a case where it appeared on the screen as if looking at a different place.

한국공개특허 제10-2009-0061226호 [명칭: 휴대 단말기의 영상 통화 방법 및 장치]Korean Patent Laid-Open Patent No. 10-2009-0061226 [Name: Video call method and apparatus for portable terminal]

전술한 문제점을 개선하기 위한 본 발명 실시 예의 목적은 기준 얼굴 윤곽을 영상에서 인식된 얼굴의 윤곽에 정합시켜 인식된 얼굴의 삼차원 형태 정보를 획득한 후 이를 기반으로 영상의 정면 방향에 대한 얼굴의 왜곡 정도를 판단하며 판단된 왜곡 정도에 따라 인식된 얼굴이 정면 방향으로 향하도록 영상을 변환함으로써 단말의 기울기 정보와 같은 부가 정보 없이 사용자 얼굴이 항상 정면을 바라보는 것으로 영상을 표시하도록 하는 데 있다.An object of an embodiment of the present invention for improving the above-described problem is to obtain the three-dimensional shape information of the recognized face by matching the reference facial contour with the contour of the face recognized in the image, and then distortion of the face with respect to the front direction of the image. The purpose is to determine the degree and convert the image so that the recognized face faces in the front direction according to the determined degree of distortion, so that the user's face always faces the image without additional information such as tilt information of the terminal.

본 발명 실시 예의 다른 목적은 인식된 얼굴에서 파악된 눈동자의 위치에 대해 정면 방향과 일치 여부를 확인하고 일치 여부에 따른 보정 정도를 판단하며 판단된 보정 정도에 따라 파악된 눈동자의 위치를 이동시킴으로써 눈동자의 시선을 영상의 정면 방향과 일치시키도록 하는 데 있다.Another object of the present invention is to check whether the position of the pupil identified in the recognized face matches the front direction, determine the degree of correction according to the match, and move the position of the identified pupil according to the determined degree of correction. It is to make the gaze of the image match the front direction of the image.

본 발명 실시 예의 또 다른 목적은 얼굴의 왜곡 보정 또는 시선 보정을 수행함과 동시에 영상에서 변환으로 인해 발생하는 공간 영역을 없애거나 얼굴 영역을 확대하는 보정을 수행함으로써 얼굴의 왜곡 보정으로 인해 발생하는 영상에서의 빈 영역을 없애고 얼굴을 확대하여 화면에 표시하도록 하는 데 있다.Another object of an embodiment of the present invention is to correct the distortion of the face or correct the line of sight, and at the same time perform correction to remove a spatial region caused by transformation or enlarge the face region. The idea is to remove the blank area of the screen and enlarge the face to display it on the screen.

상기와 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 얼굴 영상 보정 장치는 카메라로부터 촬영되는 영상을 입력받는 영상 입력부; 입력받는 영상에서 얼굴(face)을 인식한 후, 인식된 얼굴의 윤곽에 기준 얼굴 윤곽을 정합(fitting)시켜 인식된 얼굴의 삼차원 형태 정보를 획득하는 얼굴 정합부; 획득된 삼차원 형태 정보를 기반으로, 영상의 정면 방향에 대한 인식된 얼굴의 왜곡 정도를 판단하는 왜곡 판단부; 및 판단된 왜곡 정도에 따라, 인식된 얼굴이 정면 방향을 향하도록 영상을 변환시키는 영상 변환부;를 포함한다.In order to achieve the above object, an apparatus for correcting a face image according to an embodiment of the present invention includes an image input unit receiving an image captured from a camera; A face matching unit for acquiring three-dimensional shape information of the recognized face by recognizing a face in an input image and then fitting a reference facial contour to the recognized face contour; A distortion determination unit that determines a degree of distortion of a recognized face with respect to a front direction of the image based on the obtained 3D shape information; And an image conversion unit converting the image so that the recognized face faces the front direction according to the determined degree of distortion.

본 발명과 관련된 일 예로서 왜곡 판단부는 판단된 왜곡 정도를 기반으로 인식된 얼굴에 대한 왜곡 보정율을 결정하고, 이때 영상 변환부는 결정된 왜곡 보정율을 적용하여 해당 영상을 변환시킬 수 있다.As an example related to the present invention, the distortion determination unit may determine a distortion correction rate for a recognized face based on the determined degree of distortion, and at this time, the image conversion unit may convert the image by applying the determined distortion correction rate.

본 발명과 관련된 일 예로서 얼굴 정합부는 삼차원(3 Dimension)의 얼굴 윤곽 모델을 인식된 얼굴의 윤곽에 정합시켜 인식된 얼굴의 삼차원 형태 정보를 획득하고, 영상 변환부는 삼차원의 얼굴 윤곽 모델로 파악되는 인식된 얼굴의 왜곡 각도를 삼차원의 각 방향별로 보정하여 인식된 얼굴이 정면 방향을 향하도록 할 수 있다.As an example related to the present invention, the face matching unit obtains three-dimensional shape information of the recognized face by matching a three-dimensional face contour model with the recognized face contour, and the image conversion unit is recognized as a three-dimensional face contour model. The recognized face distortion angle can be corrected for each three-dimensional direction so that the recognized face faces the front direction.

본 발명과 관련된 일 예로서 얼굴 정합부는 AAM(Active Apearance Model) 또는 ASM(Active Shape Model) 기반의 얼굴 윤곽 모델을 이용하여 인식된 얼굴의 삼차원 형태 정보를 획득할 수 있으며, 이때 영상 변환부는 얼굴 윤곽 모델로 파악되는 인식된 얼굴에 원근변환(Perspective transform)을 적용하여 보정할 수 있다.As an example related to the present invention, the face matching unit may acquire three-dimensional shape information of the recognized face by using an Active Apearance Model (AAM) or an Active Shape Model (ASM)-based facial contour model. In this case, the image conversion unit It can be corrected by applying a perspective transform to a recognized face identified as a model.

본 발명의 일 실시 예에 따른 얼굴 영상 보정 장치는 인식된 얼굴에서 눈동자의 위치를 파악한 후, 파악된 눈동자의 위치에 대해 정면 방향과 일치 여부를 확인하고 일치 여부에 따른 보정 정도를 판단하는 시선 판단부;를 더 포함하며, 영상 변환부는 판단된 보정 정도에 따라 파악된 눈동자의 위치를 이동시켜 눈동자의 시선을 정면 방향과 일치시킬 수 있다.The facial image correction apparatus according to an embodiment of the present invention determines the position of the pupil in the recognized face, and then checks whether the position of the identified pupil matches the front direction, and determines the degree of correction according to the match. The image conversion unit may further include, and may match the eye line of the pupil with the front direction by moving the position of the identified pupil according to the determined correction degree.

본 발명과 관련된 일 예로서 영상 변환부는 영상에서 변환으로 인해 발생하는 공간 영역을 없애거나 얼굴 영역을 확대하는 보정을 수행할 수 있다.As an example related to the present invention, the image conversion unit may perform correction of removing a spatial region caused by transformation from an image or enlarging a face region.

본 발명의 일 실시 예에 따른 얼굴 영상 보정 장치는 변환된 영상을 화면에 표시하는 영상 표시부;를 더 포함할 수도 있다.The apparatus for correcting a face image according to an embodiment of the present invention may further include an image display unit that displays the converted image on a screen.

상기와 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 얼굴 영상 보정 방법은 얼굴 정합부가 입력받는 영상에서 인식된 얼굴의 윤곽에 기준 얼굴 윤곽을 정합(fitting)시켜 인식된 얼굴의 삼차원 형태 정보를 획득하는 획득 단계; 왜곡 판단부가 획득된 삼차원 형태 정보를 기반으로, 영상의 정면 방향에 대한 인식된 얼굴의 왜곡 정도를 판단하는 판단 단계; 및 영상 변환부가 판단된 왜곡 정도에 따라, 인식된 얼굴이 정면 방향을 향하도록 영상을 변환시키는 변환 단계;를 포함한다.In the face image correction method according to an embodiment of the present invention for achieving the above object, three-dimensional shape information of a face recognized by fitting a reference face outline with a face outline recognized in an image received by the face matching unit An acquisition step of acquiring; A determination step of determining a degree of distortion of the recognized face with respect to the front direction of the image, based on the 3D shape information obtained by the distortion determination unit; And a conversion step of converting the image so that the recognized face faces the front direction according to the determined degree of distortion by the image conversion unit.

본 발명의 일 실시 예에 따른 얼굴 영상 보정 방법은 시선 판단부가 인식된 얼굴에서 눈동자의 위치를 파악한 후, 파악된 눈동자의 위치에 대해 정면 방향과 일치 여부를 확인하고 일치 여부에 따른 보정 정도를 판단하는 단계;를 더 포함할 수 있으며, 이때 변환 단계는 영상 변환부가 판단된 보정 정도에 따라 파악된 눈동자의 위치를 이동시켜 눈동자의 시선을 정면 방향과 일치시키는 것이 바람직하다.In the face image correction method according to an embodiment of the present invention, after the gaze determination unit determines the position of the pupil in the recognized face, checks whether the position of the identified pupil matches the front direction, and determines the degree of correction according to the match. It may further include the step of converting; in this case, it is preferable that the image conversion unit moves the position of the identified pupil according to the determined correction degree to match the eye's line of sight with the front direction.

본 발명과 관련된 일 예로서 변환 단계는 영상 변환부가 입력되는 영상에서 변환으로 인해 발생하는 공간 영역을 없애거나 얼굴 영역을 확대하는 보정을 수행하는 것을 더 포함할 수 있다.As an example related to the present invention, the transforming step may further include performing correction of removing a spatial region caused by transformation or enlarging a face region from an input image by the image converter.

본 발명의 실시예에 따른 컴퓨터 프로그램이 기록된 기록매체에는 상술한 실시예에 따른 얼굴 영상 보정 방법을 수행하는 컴퓨터 프로그램이 저장될 수 있다.In the recording medium on which the computer program according to the embodiment of the present invention is recorded, a computer program for performing the facial image correction method according to the above-described embodiment may be stored.

본 발명에 따르면, 기준 얼굴 윤곽을 영상에서 인식된 얼굴의 윤곽에 정합시켜 인식된 얼굴의 삼차원 형태 정보를 획득한 후 이를 기반으로 영상의 정면 방향에 대한 얼굴의 왜곡 정도를 판단하며 판단된 왜곡 정도에 따라 인식된 얼굴이 정면 방향으로 향하도록 영상을 변환함으로써 단말의 기울기 정보와 같은 부가 정보 없이 사용자 얼굴이 항상 정면을 바라보는 것으로 영상을 표시하도록 하여 영상 통화시나 화상 채팅시에 자연스러운 통화 환경을 제공하는 효과가 있다.According to the present invention, after acquiring three-dimensional shape information of the recognized face by matching the reference facial contour with the contour of the face recognized in the image, based on this, the degree of distortion of the face in the front direction of the image is determined, and the determined degree of distortion By converting the image so that the recognized face faces in the front direction, the image is displayed as the user's face always facing the front without additional information such as tilt information of the terminal, providing a natural call environment during video calls or video chat. There is an effect.

또한, 인식된 얼굴에서 파악된 눈동자의 위치에 대해 정면 방향과 일치 여부를 확인하고 일치 여부에 따른 보정 정도를 판단하며 판단된 보정 정도에 따라 파악된 눈동자의 위치를 이동시킴으로써 눈동자의 시선을 영상의 정면 방향과 일치시키도록 하여 영상 통화시나 화상 채팅시에 더욱 자연스러운 통화 환경을 제공하는 효과가 있다.In addition, by checking whether the position of the pupil identified in the recognized face coincides with the front direction, determining the degree of correction according to the match, and moving the position of the identified pupil according to the determined degree of correction, By matching the front direction, there is an effect of providing a more natural call environment during a video call or video chat.

또한, 얼굴의 왜곡 보정 또는 시선 보정을 수행함과 동시에 영상에서 변환으로 인해 발생하는 공간 영역을 없애거나 얼굴 영역을 확대하는 보정을 수행함으로써 얼굴의 왜곡 보정으로 인해 발생하는 영상에서의 빈 영역을 없애고 얼굴을 확대하여 화면에 표시하도록 하여 통화시에 통화 집중도 및 몰입도를 높이는 효과가 있다.In addition, by performing distortion correction or gaze correction of the face and at the same time, removing the spatial region caused by transformation from the image or performing correction to enlarge the face region, removes blank regions in the image caused by facial distortion correction and By enlarging and displaying on the screen, there is an effect of increasing call concentration and immersion during a call.

도 1은 본 발명의 일 실시 예에 따른 얼굴 영상 보정 장치의 블록도.
도 2는 본 발명의 일 실시 예에 따른 얼굴 영상 보정 방법의 순서도.
도 3은 본 발명의 일 실시 예에 따른 시선 보정 단계의 순서도.
도 4는 본 발명의 일 실시 예에 따른 왜곡 판단 단계의 순서도.
도 5는 본 발명의 일 실시 예에 따른 영상 통화의 예시도.
도 6은 본 발명의 일 실시 예에 따른 영상 변환의 예시도.
도 7은 본 발명의 일 실시 예에 따른 시선 보정의 예시도.
도 8은 본 발명의 일 실시 예에 따른 기준 얼굴 윤곽의 예시도.1 is a block diagram of an apparatus for correcting a face image according to an embodiment of the present invention.
2 is a flow chart of a method for correcting a face image according to an embodiment of the present invention.
3 is a flow chart of a gaze correction step according to an embodiment of the present invention.
4 is a flowchart of a distortion determination step according to an embodiment of the present invention.
5 is an exemplary diagram of a video call according to an embodiment of the present invention.
6 is an exemplary diagram of image conversion according to an embodiment of the present invention.
7 is an exemplary view of eye line correction according to an embodiment of the present invention.
8 is an exemplary view of a reference facial contour according to an embodiment of the present invention.

상기한 바와 같은 본 발명을 첨부된 도면들과 실시 예들을 통해 상세히 설명하도록 한다. 후술 될 상세한 설명에서는 상술한 기술적 과제를 이루기 위한 본 발명의 대표적인 실시 예를 설명할 것이다.The present invention as described above will be described in detail through the accompanying drawings and embodiments. In the detailed description to be described later, a representative embodiment of the present invention for achieving the above-described technical problem will be described.

도 1은 본 발명의 일 실시 예에 따른 얼굴 영상 보정 장치(100)의 블록도다.1 is a block diagram of a facial image correction apparatus 100 according to an exemplary embodiment.

본 발명의 일 실시 예에 따른 얼굴 영상 보정 장치(100)는 스마트 폰, 스마트 단말과 같이 카메라가 장착된 사용자 장치에서 영상 통화시에 왜곡되는 얼굴 영상을 보정하여 제공하는데 적용될 수 있다.The face image correction apparatus 100 according to an embodiment of the present invention may be applied to correct and provide a face image distorted during a video call in a user device equipped with a camera, such as a smart phone or a smart terminal.

또는, 본 발명의 일 실시 예에 따른 얼굴 영상 보정 장치(100)는 퍼스널 컴퓨터, 화상 통화 장치와 같은 사용자 장치에 적용되어 영상 통화시에 카메라와의 거리나 각도에 따라 왜곡되는 얼굴 영상을 보정하는 데 적용될 수도 있다.Alternatively, the facial image correction apparatus 100 according to an embodiment of the present invention is applied to a user device such as a personal computer and a video call device to correct a face image that is distorted according to a distance or angle to a camera during a video call. May be applied to.

도 1에 도시된 바와 같이, 영상 보정 장치(100)는 영상입력부(110), 얼굴 정합부(120), 시선 판단부(130), 왜곡 판단부(140), 영상 변화부(150) 및 영상 표시부(160)을 포함한다. As shown in FIG. 1, the image correction apparatus 100 includes an image input unit 110, a face matching unit 120, a gaze determination unit 130, a distortion determination unit 140, an image change unit 150, and an image And a display unit 160.

도 1에 도시된 영상 보정 장치(100)의 구성 요소 모두가 필수 구성 요소인 것은 아니며, 도 1에 도시된 구성 요소보다 많은 구성 요소에 의해 영상 보정 장치(100)이 구현될 수도 있고, 그보다 적은 구성 요소에 의해서도 영상 보정 장치(100)이 구현될 수도 있다.Not all of the components of the image correction apparatus 100 shown in FIG. 1 are essential components, and the image correction apparatus 100 may be implemented by more components than those shown in FIG. 1, or less. The image correction apparatus 100 may also be implemented by a component.

본 발명의 일 실시 예에 따른 얼굴 영상 보정 장치(100)는 영상 입력부(110)를 통해 카메라로부터 촬영되는 영상을 입력받는다.The face image correction apparatus 100 according to an embodiment of the present invention receives an image captured from a camera through the image input unit 110.

바람직한 실시 예로서, 영상 입력부(110)는 영상 통화시에 사용자의 얼굴이 포함된 영상을 카메라로부터 입력받을 수 있다.As a preferred embodiment, the image input unit 110 may receive an image including a user's face from a camera during a video call.

이후, 본 발명의 일 실시 예에 따른 얼굴 영상 보정 장치(100)의 얼굴 정합부(120)는 입력받는 영상에서 사용자의 얼굴을 인식한다.Thereafter, the face matching unit 120 of the facial image correction apparatus 100 according to an embodiment of the present invention recognizes a user's face from an input image.

이때, 얼굴 정합부(120)는 기준 얼굴 윤곽을 인식된 얼굴의 윤곽에 정합(fitting)시켜 인식된 얼굴에 대한 삼차원 형태 정보를 획득한다.In this case, the face matching unit 120 obtains 3D shape information on the recognized face by fitting the reference facial contour to the recognized facial contour.

바람직한 실시 예로서, 얼굴 정합부(120)는 도 8에 도시된 바와 같은 삼차원의 기준 얼굴 윤곽을 인식된 얼굴의 윤곽에 정합시킨 후, 인식된 얼굴의 윤곽과 기준 얼굴 윤곽을 비교하여 얼굴 전체의 형태(shape)뿐만 아니라, 눈, 코, 입과 같은 특정 부분에 대한 삼차원 형태 정보를 획득할 수 있다.As a preferred embodiment, the face matching unit 120 matches the three-dimensional reference facial contour as shown in FIG. 8 to the recognized facial contour, and then compares the recognized facial contour and the reference facial contour to In addition to the shape, it is possible to obtain 3D shape information for specific parts such as eyes, nose, and mouth.

예를 들어, 얼굴 정합부(120)는 얼굴 윤곽의 정합을 통해 이차원 정보인 상기 입력받는 영상에서 인식된 얼굴의 전체 윤곽 및 눈, 코, 입과 같은 특정 부분 등의 좌표를 삼차원 정보인 기준 얼굴 윤곽의 각 좌표로 매핑한 후 기준 얼굴 윤곽과의 좌표 차이를 통해 인식된 얼굴의 삼차원 형태 정보를 획득할 수 있다.For example, the face matching unit 120 determines the overall contour of the face recognized in the input image, which is two-dimensional information, and coordinates of specific parts such as eyes, nose, and mouth through the matching of the face contour, as a reference face, which is three-dimensional information. After mapping to each coordinate of the contour, three-dimensional shape information of the recognized face may be obtained through a difference in coordinates with the reference facial contour.

더욱 바람직하게는, 얼굴 정합부(120)는 AAM(Active Apearance Model) 또는 ASM(Active Shape Model) 기반의 얼굴 윤곽 모델을 이용하여 인식된 얼굴의 삼차원 형태 정보를 획득할 수 있다.More preferably, the face matching unit 120 may acquire three-dimensional shape information of a recognized face using a face contour model based on an Active Apearance Model (AAM) or an Active Shape Model (ASM).

예를 들어, 본 발명의 일 실시 예에 따른 얼굴 영상 보정 장치(100)는 AAM(Active Apearance Model)을 이용하여 다양한 기준 얼굴 윤곽 모델을 구성한 후 상황에 따라 적합한 기준 얼굴 윤곽 모델을 적용하여 입력되는 영상 내 얼굴을 실시간으로 인식하도록 하며 조명의 변화, 자세의 변화 또는 표정 변화에 따른 인식 오차를 줄일 수 있게 구성될 수 있다.For example, the facial image correction apparatus 100 according to an embodiment of the present invention configures various reference facial contour models using an Active Apearance Model (AAM), and then applies an appropriate reference facial contour model according to the situation. It can be configured to recognize a face in an image in real time and to reduce a recognition error due to a change in lighting, a change in a posture, or a change in an expression.

이후, 본 발명의 일 실시 예에 따른 얼굴 영상 보정 장치(100)의 왜곡 판단부(140)는 얼굴 정합부(120)로부터 획득된 삼차원 형태 정보를 기반으로, 영상의 정면 방향에 대한 인식된 얼굴의 왜곡 정도를 판단한다.Thereafter, the distortion determination unit 140 of the facial image correction apparatus 100 according to an embodiment of the present invention is based on the three-dimensional shape information obtained from the face matching unit 120, based on the recognized face in the front direction of the image. Judge the degree of distortion.

예를 들어, 왜곡 판단부(140)는 인식된 얼굴의 전체 윤곽과 인식된 얼굴의 눈, 코, 입과 같은 특정 부위의 크기, 위치, 분포에 따라 인식된 얼굴의 회전 여부, 기울어진 정도나 카메라와의 거리 또는 촬영 각도 등을 파악할 수 있다.For example, the distortion determination unit 140 may determine whether or not the recognized face is rotated, the degree of inclination, depending on the size, position, and distribution of the entire contour of the recognized face and the size, location, and distribution of the recognized face's eyes, nose, and mouth. You can determine the distance to the camera or the shooting angle.

왜곡 판단부(140)는 이와 같이 인식된 얼굴의 회전 여부, 기울어진 각도 또는 카메라와의 거리나 촬영 각도 등을 기반으로 인식된 얼굴의 정면 방향에 대한 왜곡 정도를 판단할 수 있게 된다.The distortion determination unit 140 may determine the degree of distortion in the front direction of the recognized face based on whether or not the recognized face is rotated, an inclined angle, or a distance from a camera or a photographing angle.

이후, 영상 변환부(150)는 왜곡 판단부(140)에서 판단된 왜곡 정도에 따라 인식된 얼굴이 정면 방향을 향하도록 영상을 조정하여 변환시킨다.Thereafter, the image conversion unit 150 adjusts and converts the image so that the recognized face faces the front direction according to the degree of distortion determined by the distortion determination unit 140.

바람직한 실시 예로서, 영상 변환부(150)는 상기 AAM 또는 ASM 기반의 얼굴 윤곽 모델로 파악된 삼차원 형태 정보를 기반으로 영상의 얼굴에 원근변환(Perspective transform)을 적용하여 변환할 수 있다.As a preferred embodiment, the image conversion unit 150 may apply a perspective transform to a face of an image based on the three-dimensional shape information identified by the AAM or ASM-based facial contour model to transform the image.

예를 들어, 얼굴 정합부(120)가 삼차원(3 Dimension)의 얼굴 윤곽 모델을 인식된 얼굴의 윤곽에 정합시켜 인식된 얼굴의 삼차원 형태 정보를 획득한 후, 영상 변환부(150)가 삼차원의 얼굴 윤곽 모델로 파악되는 인식된 얼굴의 왜곡 각도를 삼차원의 각 방향별로 보정하여 인식된 얼굴이 정면 방향을 향하도록 조정하여 변환할 수 있다.For example, after the face matching unit 120 obtains three-dimensional shape information of the recognized face by matching a three-dimensional face contour model to the recognized face contour, the image conversion unit 150 The distortion angle of the recognized face identified by the face contour model may be corrected for each three-dimensional direction, and the recognized face may be adjusted to face the front direction for conversion.

이때, 영상 변환부(150)가 영상을 조정하는 방식은 인식된 얼굴의 각도를 조정하여 변환하거나 촬영 각도에 의해 인식된 얼굴의 상,하 밸런스가 왜곡되는 경우를 조정하여 변환하는 등 왜곡 판단부(140)에서 판단한 왜곡 정도에 따라 다양한 영상의 조정 방식이 적용될 수 있다.At this time, the method of adjusting the image by the image conversion unit 150 is a distortion determination unit that adjusts and converts the image by adjusting the angle of the recognized face or by adjusting the case where the upper and lower balance of the face recognized by the shooting angle is distorted. Various image adjustment methods may be applied according to the degree of distortion determined at (140).

또한, 영상 변환부(150)가 영상을 변환하는 방식도 산출된 왜곡 정도에 따라 원근변환(Perspective transform)을 적용하여 변환하거나, 보간법(interpolation)을 적용하여 변환하거나 또는 영상의 부분적 확대, 축소를 통해 변환하는 등 다양한 실시 예가 있을 수 있음에 유의한다.In addition, the method of transforming the image by the image conversion unit 150 is transformed by applying a perspective transform according to the calculated degree of distortion, or by applying an interpolation method, or partially expanding or reducing an image. Note that there may be various embodiments such as conversion through.

더욱 바람직한 실시 예로는, 변환 처리 속도의 신속성을 위해, 왜곡 판단부(140)는 판단된 왜곡 정도를 기반으로 인식된 얼굴에 대한 왜곡 보정율을 결정한 후 영상 변환부(150)는 왜곡 판단부(140)에서 결정된 왜곡 보정율을 적용하여 해당 영상을 일괄 변환시킬 수도 있다.In a more preferred embodiment, in order to speed up the conversion processing speed, the distortion determination unit 140 determines a distortion correction rate for the recognized face based on the determined distortion degree, and then the image conversion unit 150 determines the distortion determination unit ( 140) may be applied to convert the corresponding image at once.

이와 같이, 본 발명의 일 실시 예에 따른 얼굴 영상 보정 장치(100)는 기준 얼굴 윤곽을 영상에서 인식된 얼굴의 윤곽에 정합시켜 인식된 얼굴의 삼차원 형태 정보를 획득한 후 이를 기반으로 영상의 정면 방향에 대한 얼굴의 왜곡 정도를 판단하며 판단된 왜곡 정도에 따라 인식된 얼굴이 정면 방향으로 향하도록 영상을 변환함으로써 단말의 기울기 정보와 같은 부가 정보 없이 사용자 얼굴이 항상 정면을 바라보는 것으로 영상을 표시하도록 할 수 있어 영상 통화시나 화상 채팅시에 자연스러운 통화 환경을 제공하게 된다.In this way, the facial image correction apparatus 100 according to an embodiment of the present invention acquires three-dimensional shape information of the recognized face by matching the reference facial contour with the contour of the face recognized in the image. By determining the degree of distortion of the face with respect to the direction, and converting the image so that the recognized face faces in the front direction according to the determined degree of distortion, the image is displayed as the user's face always facing the front without additional information such as tilt information of the terminal. As a result, a natural call environment is provided during video calls or video chats.

더불어, 영상 변환부(150)는 영상에서 변환으로 인해 발생하는 공간 영역을 없애거나 얼굴 영역을 확대하는 보정을 수행할 수 있다.In addition, the image conversion unit 150 may perform correction to remove a spatial region caused by transformation from an image or enlarge a face region.

바람직한 실시 예로서, 영상 변환부(150)는 인식된 얼굴이 영상의 가운데에 오도록 영상에 기하변환(geometric transformation)을 적용하여 변환시킬 수 있다.As a preferred embodiment, the image conversion unit 150 may transform the image by applying a geometric transformation to the image so that the recognized face is in the center of the image.

이처럼, 본 발명의 일 실시 예에 따른 얼굴 영상 보정 장치(100)는 영상 변환부(150)를 통해 얼굴의 왜곡 보정 또는 시선 보정을 수행함과 동시에 영상에서 변환으로 인해 발생하는 공간 영역을 없애거나 얼굴 영역을 확대하는 보정을 수행함으로써 얼굴의 왜곡 보정으로 인해 발생하는 영상에서의 빈 영역을 없애고 얼굴을 확대하여 화면에 표시하게 되어 사용자로 하여금 통화시에 통화 집중도 및 몰입도를 높이는 장점이 있다.As such, the facial image correction apparatus 100 according to an embodiment of the present invention performs distortion correction or gaze correction of a face through the image conversion unit 150, and at the same time, removes a spatial region caused by transformation from an image or By performing the correction to enlarge the area, the blank area in the image caused by the correction of the distortion of the face is removed, and the face is enlarged and displayed on the screen, thereby increasing the concentration and immersion of a call during a call.

한편, 본 발명의 일 실시 예에 따른 얼굴 영상 보정 장치(100)는 인식된 얼굴에서 눈동자의 위치를 파악한 후, 파악된 눈동자의 위치에 대해 정면 방향과 일치 여부를 확인하고 일치 여부에 따른 보정 정도를 판단하는 시선 판단부(130)를 더 포함할 수 있다.Meanwhile, the facial image correcting apparatus 100 according to an embodiment of the present invention determines whether the position of the pupil in the recognized face is matched with the front direction, and the degree of correction according to the match. It may further include a gaze determination unit 130 for determining.

이때, 영상 변환부(150)는 판단된 보정 정도에 따라 파악된 눈동자의 위치를 이동시켜 눈동자의 시선을 사용자의 얼굴과 같은 방향인 정면 방향과 일치시킬 수 있게 된다.In this case, the image conversion unit 150 may move the position of the identified pupil according to the determined correction degree to match the eye line of the pupil with the front direction, which is the same direction as the user's face.

예를 들어, 카메라의 방향이 사용자의 정면 얼굴과 정확히 일치하지 않아 사용자의 눈동자 위치가 다른 방향을 향하는 경우에는, 시선 판단부(130)가 눈동자의 위치를 인식하여 시선이 얼굴 방향과 일치하지 않는다고 판단하면, 영상 변환부(150)가 영상에서 인식된 눈동자 영역을 정면 방향으로 이동시켜 방향을 일치시키는 조정을 수행할 수 있다.For example, if the camera's direction does not exactly match the user's front face and the user's pupil position faces in a different direction, the gaze determination unit 130 recognizes the position of the pupil and the gaze does not coincide with the face direction. Upon determination, the image conversion unit 150 may perform adjustment to match the direction by moving the pupil region recognized in the image in the front direction.

이처럼, 본 발명의 일 실시 예에 따른 얼굴 영상 보정 장치(100)는 인식된 얼굴에서 파악된 눈동자의 위치에 대해 정면 방향과 일치 여부를 확인하고 일치 여부에 따른 보정 정도를 판단하며, 판단된 보정 정도에 따라 파악된 눈동자의 위치를 이동시킴으로써 눈동자의 시선을 영상의 정면 방향과 일치시켜 영상 통화시나 화상 채팅시에 더욱 자연스러운 통화 환경을 제공하게 된다.As described above, the facial image correction apparatus 100 according to an embodiment of the present invention checks whether the position of the pupil identified in the recognized face matches the front direction, determines the degree of correction according to the match, and determines the correction. By moving the identified position of the pupil according to the degree, the eyes of the pupil are matched with the front direction of the video, thereby providing a more natural call environment during a video call or video chat.

한편, 본 발명의 일 실시 예에 따른 얼굴 영상 보정 장치(100)는 변환된 영상을 화면에 표시하는 영상 표시부(160)를 더 포함할 수도 있다.Meanwhile, the facial image correction apparatus 100 according to an embodiment of the present invention may further include an image display unit 160 that displays the converted image on the screen.

또한, 도시하지는 않았으나, 본 발명의 일 실시 예에 따른 얼굴 영상 보정 장치(100)는 카메라부, 통화 음성, 음향을 출력하는 음향부, 사용자 입력 인터페이스를 구비한 사용자 입력부 등을 더 포함할 수 있으나 이러한 기능부는 필수 구성 요소가 아님에 유의하며, 상기 기능부는 본 발명의 일 실시 예에 따른 얼굴 영상 보정 장치(100)가 적용되는 사용자 장치나 단말에 포함될 수 있다.In addition, although not shown, the facial image correction apparatus 100 according to an embodiment of the present invention may further include a camera unit, a call voice, an audio unit that outputs sound, a user input unit having a user input interface, and the like. Note that this functional unit is not an essential component, and the functional unit may be included in a user device or terminal to which the facial image correction apparatus 100 according to an embodiment of the present invention is applied.

도 5는 본 발명의 일 실시 예에 따른 영상 통화의 예시도다.5 is an exemplary diagram of a video call according to an embodiment of the present invention.

도 5를 참조하면, 본 발명의 일 실시 예에 따른 얼굴 영상 보정 장치(100)는 카메라(51)가 장착된 스마트 폰(50)이나 스마트 단말에 포함될 수 있다.Referring to FIG. 5, the apparatus 100 for correcting a face image according to an embodiment of the present invention may be included in a smart phone 50 or a smart terminal equipped with a camera 51.

또한, 본 발명의 일 실시 예에 따른 얼굴 영상 보정 장치(100)는 영상 통화시에 카메라(51)의 촬영 각도(5)나 카메라(51)와 사용자 눈동자(2)와의 시선 각도 차이(4, 6)에 의해 발생할 수 있는 사용자 얼굴(1)의 왜곡 영상을 정면을 바라보는 영상으로 변환하여 제공한다.In addition, the facial image correction apparatus 100 according to an exemplary embodiment of the present invention includes a photographing angle 5 of the camera 51 or a difference in gaze angle 4 between the camera 51 and the user's pupil 2 during a video call. The distorted image of the user's face 1 that may be caused by 6) is converted into an image facing the front and provided.

도 6은 본 발명의 일 실시 예에 따른 영상 변환의 예시도다.6 is an exemplary diagram of image conversion according to an embodiment of the present invention.

도 6a를 참조하면, 본 발명의 일 실시 예에 따른 얼굴 영상 보정 장치(100)는 카메라를 통해 입력되는 입력 영상 내 사용자의 얼굴 윤곽(10)에 기준 얼굴 윤곽을 정합(fitting)시켜 사용자 얼굴이 정면 방향에 대해 어느 정도 기울어졌는지, 각도에 따라 영상에서 왜곡이 발생하는지를 판단한다.Referring to FIG. 6A, the facial image correction apparatus 100 according to an embodiment of the present invention matches a reference facial contour to the user's facial contour 10 in an input image input through a camera, so that the user's face is It is determined how much it is inclined with respect to the front direction and whether distortion occurs in the image according to the angle.

바람직한 실시 예로서, 본 발명의 일 실시 예에 따른 얼굴 영상 보정 장치(100)는 도 8과 같은 삼차원 기준 얼굴 윤곽 모델을 영상에서 인식된 얼굴에 정합시켜 왜곡 정도를 판별할 수 있다.As a preferred embodiment, the facial image correction apparatus 100 according to an embodiment of the present invention may determine the degree of distortion by matching a three-dimensional reference facial contour model as shown in FIG. 8 to a face recognized in an image.

이때, 인식된 얼굴의 외곽뿐만 아니라 사용자의 눈, 코, 입과 같은 부분의 윤곽도 기준 얼굴 윤곽 모델을 통해 정합도를 산출하는데 이용함으로써 왜곡 정도를 판별하는 데 이용될 수 있다.In this case, the contours of parts such as eyes, nose, and mouth of the user as well as the recognized face may be used to calculate the degree of matching through the reference face contour model, thereby determining the degree of distortion.

이후, 도 6b를 참조하면, 본 발명의 일 실시 예에 따른 얼굴 영상 보정 장치(100)는 시선을 보정(11, 12)한다.Thereafter, referring to FIG. 6B, the facial image correction apparatus 100 according to an embodiment of the present invention corrects (11, 12) gaze.

바람직한 실시 예로서, 도 7a에 도시된 바와 같이, 본 발명의 일 실시 예에 따른 얼굴 영상 보정 장치(100)는 인식된 얼굴에서 눈동자의 위치(11)를 파악한다.As a preferred embodiment, as shown in FIG. 7A, the facial image correction apparatus 100 according to an embodiment of the present invention detects the position 11 of the pupil in the recognized face.

이때, 도 7b에 도시된 바와 같이, 파악된 눈동자의 위치(11)에 대해 정면 방향과 일치하는지 여부를 확인한 후, 일치 여부에 따른 보정 정도를 판단하게 된다.At this time, as shown in FIG. 7B, after checking whether the identified pupil position 11 coincides with the front direction, the degree of correction according to the coincidence is determined.

이후, 도 7c 및 도 7d에 도시된 바와 같이, 판단된 보정 정도에 따라 파악된 눈동자의 위치(12)를 이동시켜 눈동자의 시선을 얼굴의 정면 방향과 일치시킨다.Thereafter, as shown in FIGS. 7C and 7D, the position 12 of the pupil identified according to the determined correction degree is moved to match the eye line of the pupil with the front direction of the face.

다시, 도 6c를 참조하면, 본 발명의 일 실시 예에 따른 얼굴 영상 보정 장치(100)는 영상에서 인식된 얼굴의 왜곡을 보정(13)한다.Referring again to FIG. 6C, the facial image correction apparatus 100 according to an exemplary embodiment corrects (13) distortion of a face recognized in an image.

바람직한 실시 예로서, 본 발명의 일 실시 예에 따른 얼굴 영상 보정 장치(100)는 기준 얼굴 윤곽 모델과의 정합을 통해 산출된 왜곡 보정율을 적용한 원근 변환을 통해 얼굴 영상의 왜곡을 보정(13)할 수 있다.As a preferred embodiment, the facial image correction apparatus 100 according to an embodiment of the present invention corrects the distortion of the face image through perspective transformation applying a distortion correction rate calculated through matching with a reference face contour model (13). can do.

종래의 얼굴 영상 보정 장치는 왜곡 정도를 미리 계산된 고정된 값으로 수행하거나 얼굴의 왜곡 정도를 사용자 단말의 기울기로 계산하여 왜곡 보정을 수행하였다.The conventional facial image correction apparatus performs distortion correction by calculating the degree of distortion as a fixed value calculated in advance or calculating the degree of distortion of the face as the slope of the user terminal.

따라서, 종래의 얼굴 영상 보정 장치는 예를 들어, 사용자 단말을 이용하여 얼굴보다 높은 위치에서 얼굴을 촬영하거나 또는 얼굴보다 낮은 위치에서 얼굴을 촬영하는 경우와 같이 사용자 단말의 높낮이가 사용자 얼굴의 높낮이와 다른 상황에서는 얼굴의 왜곡을 보정할 수 없었다.Therefore, in the conventional facial image correction apparatus, the height of the user terminal is equal to the height of the user's face, such as when photographing a face from a position higher than the face using the user terminal or photographing a face from a position lower than the face. In other situations, the distortion of the face could not be corrected.

또한, 종래의 얼굴 영상 보정 장치는 사용자 단말의 기울기만으로 얼굴의 왜곡 정도를 판단하므로 사람의 자세에 따른 변화나, 렌즈의 차이, 원치 않는 형태의 보정 등에서 한계가 있다. 이것은 사람의 얼굴 형태 정보 없이 왜곡 보정을 하기 때문이다.In addition, since the conventional facial image correction apparatus determines the degree of distortion of the face only by the tilt of the user terminal, there are limitations in changes according to a person's posture, differences in lenses, and correction of unwanted shapes. This is because distortion correction is performed without information on the shape of a human face.

반면, 본 발명의 일 실시 예에 따른 얼굴 영상 보정 장치(100)는 영상에서 검출된 사람의 얼굴 형태 정보(10: shape)로 계산된 유동적 값으로 왜곡 보정(예를 들어, 원근 변환)을 수행한다.On the other hand, the facial image correction apparatus 100 according to an embodiment of the present invention performs distortion correction (eg, perspective transformation) with a fluid value calculated from the human face shape information 10 (shape) detected in the image. do.

즉, 본 발명의 일 실시 예에 따른 얼굴 영상 보정 장치(100)는 영상에서 검출된 사람의 얼굴 형태 정보(10: shape)를 이용하여 왜곡 정도를 계산하고 계산된 왜곡 정도를 기반으로 하는 왜곡 보정을 수행한다.That is, the facial image correction apparatus 100 according to an embodiment of the present invention calculates the degree of distortion by using the human face shape information 10 (shape) detected in the image, and corrects the distortion based on the calculated degree of distortion. Perform.

따라서, 본 발명의 일 실시 예에 따른 얼굴 영상 보정 장치(100)는 사용자 단말의 위치, 예를 들어 얼굴보다 낮은 위치에서 촬영했을 때에 발생된 얼굴의 왜곡(도 6a와 같이 이마가 좁아 보이며 턱은 넓어 보이는 현상 등)을 보정할 수 있다.Therefore, the facial image correction apparatus 100 according to an embodiment of the present invention is a distortion of the face generated when photographing at a position of the user terminal, for example, from a position lower than the face (the forehead looks narrow and the chin is Phenomena that appear wider) can be corrected.

또한, 본 발명의 일 실시 예에 따른 얼굴 영상 보정 장치(100)는 영상에서 검출된 사람의 얼굴의 형태 정보를 기준으로 왜곡 보정을 하므로 사람의 얼굴 형태 및 자세에 관계없이 최적의 왜곡 보정이 가능한 장점이 있다.In addition, since the facial image correction apparatus 100 according to an embodiment of the present invention corrects distortion based on the shape information of the human face detected in the image, optimal distortion correction is possible regardless of the shape and posture of the human face. There is an advantage.

더욱 바람직한 실시 예로서, 도 6c 및 도 6d에 도시된 바와 같이, 본 발명의 일 실시 예에 따른 얼굴 영상 보정 장치(100)는 촬영된 영상에 원근변환을 적용하면서 발생된 홀(14: hole)을 최소화하며 얼굴이 영상의 가운데에 오도록 영상에 기하 변환(geometric transformation)을 적용하여 보정하는 구성을 제공한다.As a more preferred embodiment, as shown in FIGS. 6C and 6D, the facial image correction apparatus 100 according to an exemplary embodiment of the present invention includes a hole 14 generated while applying perspective transformation to a captured image. It provides a configuration that minimizes and corrects the face by applying geometric transformation to the image so that the face is in the center of the image.

예를 들어, 본 발명의 일 실시 예에 따른 얼굴 영상 보정 장치(100)의 영상 변환부(150)는 영상에서 변환으로 인해 발생하는 공간 영역(14)을 영상의 부분적 확대(15 -> 16)를 통해 없애거나 또는 영상 중 얼굴 영역이 포함된 영역을 확대하는 보정을 수행한 후 제공할 수 있다.For example, the image conversion unit 150 of the facial image correction apparatus 100 according to an embodiment of the present invention partially enlarges the image in the spatial region 14 generated by the transformation (15 -> 16). It may be provided after correction of removing through or enlarging a region including a face region in the image.

이처럼, 본 발명의 일 실시 예에 따른 얼굴 영상 보정 장치(100)는 영상 통화 시 AAM(Active Appearance Model) 기반으로 얼굴 형태 정보(shape)를 검출한 후 이를 기반으로 얼굴의 왜곡 또는 시선을 보정하여 렌즈 왜곡이나 원근 왜곡에 따른 영상의 왜곡을 없애며 사용자의 자세 변화 또는 렌즈의 차이 등으로 인한 왜곡 또는 시선을 자연스럽게 보정할 수 있어 사용자의 편의성을 향상시키며 사용 만족도를 제고시킬 수 있다.As described above, the facial image correction apparatus 100 according to an embodiment of the present invention detects face shape information (shape) based on Active Appearance Model (AAM) during a video call, and then corrects facial distortion or gaze based on this. Since distortion of the image due to lens distortion or perspective distortion is eliminated, distortion or gaze caused by a change in a user's posture or lens difference can be naturally corrected, improving user convenience and enhancing user satisfaction.

도 2는 본 발명의 일 실시 예에 따른 얼굴 영상 보정 방법의 순서도다.2 is a flowchart of a method for correcting a face image according to an embodiment of the present invention.

도 2를 참조하면, 본 발명의 일 실시 예에 따른 얼굴 영상 보정 방법에서 영상 입력부(110)는 카메라로부터 촬영되는 영상을 입력받는다(S10).Referring to FIG. 2, in the method for correcting a face image according to an embodiment of the present invention, the image input unit 110 receives an image photographed from a camera (S10).

이후, 얼굴 정합부(120)는 입력받는 영상에서 인식된 얼굴의 윤곽에 기준 얼굴 윤곽을 정합(fitting)시켜 인식된 얼굴의 삼차원 형태 정보를 획득한다(S20).Thereafter, the face matching unit 120 acquires three-dimensional shape information of the recognized face by fitting a reference facial contour with the contour of the face recognized in the input image (S20).

이후, 시선 판단부(130)는 인식된 얼굴에서 눈동자의 위치를 파악한 후, 파악된 눈동자의 위치에 대해 정면 방향과 일치 여부를 확인하고 일치 여부에 따른 보정 정도를 판단하고 그 보정 정도에 따라 눈동자의 위치를 이동시켜 시선의 보정을 수행한다(S30).Thereafter, the gaze determination unit 130 determines the position of the pupil in the recognized face, then checks whether the position of the identified pupil matches the front direction, determines the degree of correction according to the match, and determines the degree of correction according to the degree of correction. By moving the position of the gaze correction is performed (S30).

또한, 왜곡 판단부(140)는 획득된 삼차원 형태 정보를 기반으로 영상의 정면 방향에 대한 인식된 얼굴의 왜곡 정도를 판단한다(S35).In addition, the distortion determination unit 140 determines the degree of distortion of the recognized face with respect to the front direction of the image based on the obtained 3D shape information (S35).

이후, 영상 변환부(150)는 판단된 왜곡 정도에 따라 인식된 얼굴이 정면 방향을 향하도록 영상을 변환시킨다(S40).Thereafter, the image conversion unit 150 converts the image so that the recognized face faces the front direction according to the determined degree of distortion (S40).

바람직한 실시 예로서, 본 발명의 일 실시 예에 따른 얼굴 영상 보정 방법은 영상 변환부(150)가 입력되는 영상에서 변환으로 인해 발생하는 공간 영역을 없애거나 얼굴 영역을 확대하는 보정을 수행하는 단계(S50)를 더 포함할 수 있다.As a preferred embodiment, in the face image correction method according to an embodiment of the present invention, the image conversion unit 150 performs correction of removing a spatial region caused by transformation or enlarging a face region from an input image ( S50) may be further included.

도 3은 본 발명의 일 실시 예에 따른 시선 보정 단계(S30)의 순서도다.3 is a flowchart of a line of sight correction step S30 according to an embodiment of the present invention.

시선 보정의 바람직한 실시 예로서, 도 3을 참조하면, 본 발명의 일 실시 예에 따른 시선 보정 단계(S30)에서 시선 판단부(130)는 인식된 얼굴에서 눈 부위를 검출하며 눈 부위에서 눈동자의 위치를 파악할 수 있다(S31).As a preferred embodiment of the gaze correction, referring to FIG. 3, in the gaze correction step S30 according to an embodiment of the present invention, the gaze determination unit 130 detects an eye area from the recognized face and The location can be determined (S31).

이후, 시선 판단부(130)는 인식된 얼굴에서 눈동자가 식별되는지 확인한 후 정면을 응시하는 눈동자의 위치를 계산한다(S32, S33).Thereafter, the gaze determination unit 130 checks whether the pupil is identified from the recognized face and then calculates the position of the pupil gazing at the front (S32, S33).

이후, 영상 변환부(150)는 파악된 눈동자의 위치를 계산된 위치로 이동시켜 눈동자의 시선을 정면 방향과 일치시킨다(S34).Thereafter, the image conversion unit 150 moves the identified pupil position to the calculated position so that the pupil's gaze matches the front direction (S34).

도 4는 본 발명의 일 실시 예에 따른 왜곡 판단 단계(S35)의 순서도다.4 is a flowchart of a distortion determination step S35 according to an embodiment of the present invention.

왜곡 판단의 바람직한 실시 예로서, 도 4를 참조하면, 본 발명의 일 실시 예에 따른 왜곡 판단 단계(S35)에서 왜곡 판단부(140)는 인식된 얼굴에서 획득된 삼차원 형태 정보를 기반으로 영상의 정면 방향에 대한 인식된 얼굴의 왜곡 정도를 판단한다(S36).As a preferred embodiment of the distortion determination, referring to FIG. 4, in the distortion determination step S35 according to an embodiment of the present invention, the distortion determination unit 140 determines the image based on the 3D shape information acquired from the recognized face. The degree of distortion of the recognized face with respect to the front direction is determined (S36).

이후, 영상의 정면 방향에 대해 왜곡이 발생된 얼굴이라면 왜곡 판단부(140)는 상기 판단된 왜곡 정도를 기반으로 상기 인식된 얼굴에 대한 왜곡 보정율을 결정한다(S37, S38).Thereafter, if the face is distorted in the front direction of the image, the distortion determination unit 140 determines a distortion correction rate for the recognized face based on the determined degree of distortion (S37, S38).

영상 변환부(150)는 왜곡 판단부(140)를 통해 결정된 왜곡 보정율을 적용하여 영상을 변환시킬 수 있다.The image conversion unit 150 may convert an image by applying a distortion correction rate determined through the distortion determination unit 140.

본 발명의 실시예에 따른 얼굴 영상 보정 방법은 컴퓨터 프로그램으로 작성 가능하며, 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 또한, 해당 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 정보저장매체(computer readable media)에 저장되고, 컴퓨터나 본 발명의 실시예에 따른 얼굴 영상 보정 장치, 사용자 장치 등에 의하여 읽혀지고 실행됨으로써 얼굴 영상 보정 방법을 구현할 수 있다. The method for correcting a face image according to an embodiment of the present invention can be written in a computer program, and codes and code segments constituting the computer program can be easily inferred by a computer programmer in the art. In addition, the computer program is stored in a computer readable media, and is read and executed by a computer, a facial image correction device, a user device, etc. Can be implemented.

정보저장매체는 자기 기록매체, 광 기록매체 및 캐리어 웨이브 매체를 포함한다. 본 발명의 실시예에 따른 얼굴 영상 보정 방법을 구현하는 컴퓨터 프로그램은 얼굴 영상 보정 장치, 사용자 장치 등의 내장 메모리에 저장 및 설치될 수 있다. 또는, 본 발명의 실시예에 따른 얼굴 영상 보정 방법을 구현하는 컴퓨터 프로그램을 저장 및 설치한 스마트 카드 등의 외장 메모리가 인터페이스를 통해 얼굴 영상 보정 장치, 사용자 장치 등에 장착될 수도 있다.Information storage media include magnetic recording media, optical recording media, and carrier wave media. A computer program implementing the method for correcting a face image according to an embodiment of the present invention may be stored and installed in an internal memory such as a face image correction device or a user device. Alternatively, an external memory such as a smart card storing and installing a computer program for implementing a face image correction method according to an embodiment of the present invention may be mounted on a face image correction device or a user device through an interface.

이상에서는 본 발명에 따른 바람직한 실시 예들에 대하여 도시하고 또한 설명하였다. 그러나 본 발명은 상술한 실시 예에 한정되지 아니하며, 특허 청구의 범위에서 첨부하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능할 것이다.In the above, preferred embodiments according to the present invention have been illustrated and described. However, the present invention is not limited to the above-described embodiments, and any person with ordinary knowledge in the technical field to which the present invention pertains without departing from the gist of the present invention appended in the claims will be able to implement various modifications. .

본 발명은 영상 통화시나 화상 채팅시에 카메라에 의해 촬영되는 사용자의 얼굴 영상에서 얼굴의 기울어진 각도나 시선의 각도를 바로잡아 정면을 주시하는 얼굴로 변환함으로써 상대방의 화면에 사용자 얼굴이 정면 영상으로 표시되도록 한 것으로, 영상 통화시나 화상 채팅시에 자연스러운 통화 환경을 제공할 수 있어 영상 통화 서비스 분야, 화상 채팅 서비스 분야, 영상 서비스 제공 분야 등에서 광범위하게 이용할 수 있다.The present invention corrects the inclined angle of the face or the angle of the gaze from the face image of the user photographed by the camera during a video call or video chat, and converts the face to a front-facing face. As a display, it is possible to provide a natural call environment during a video call or a video chat, and thus can be widely used in a video call service field, a video chat service field, and a video service provision field.

1: 사용자 11, 12: 눈동자
14: 공간(Hole) 15: 배경
50: 사용자 장치 51: 카메라
100: 얼굴 영상 보정 장치 110: 영상 입력부
120: 얼굴 정합부 130: 시선 판단부
140: 왜곡 판단부 150: 영상 변환부
160: 영상 표시부1: user 11, 12: pupil
14: Hall 15: Background
50: user device 51: camera
100: face image correction device 110: image input unit
120: face matching unit 130: gaze determination unit
140: distortion determination unit 150: image conversion unit
160: image display unit

Claims (11)

화상통화나 화상채팅을 위해 카메라로부터 촬영되는 영상을 입력받는 영상 입력부;
상기 영상에서 얼굴(face)을 인식한 후, 영상에서 인식된 얼굴의 윤곽에 복수로 마련된 기준 얼굴 윤곽 모델 중 적합한 기준 얼굴 윤곽을 정합(fitting)시켜, 상기 인식된 얼굴의 전체 윤곽 및 눈, 코, 입을 포함하는 특정 부분의 좌표를 삼차원 정보인 기준 얼굴 윤곽의 각 좌표로 매핑한 후 기준 얼굴 윤곽과의 좌표 차이를 통해 상기 인식된 얼굴의 삼차원 형태 정보를 획 득하는 얼굴 정합부;
상기 획득된 삼차원 형태 정보를 기반으로, 상기 영상의 정면 방향에 대한 왜곡 정도를 판단하는 왜곡 판단부; 및
상기 판단된 왜곡 정도에 따라, 상기 인식된 얼굴이 상기 정면 방향을 향하도록, 얼굴 형태 정보로 계산된 유동적 값으로 원근을 변환시키는 구성을 포함하여 상기 영상을 변환시키고, 상기 변환으로 인해 발생하는 공간 영역을 부분적 확대를 통해 없애거나 얼굴 영역이 포함된 영역을 확대하여 보정을 수행하여 공간 영역을 보정하는 영상 변환부;를 포함하되,
상기 인식된 얼굴에서 눈동자의 위치를 파악한 후, 정면을 응시하는 눈동자의 위치를 계산하는 시선 판단부;를 더 포함하며,
상기 영상 변환부는 상기 판단된 보정 정도에 따라 상기 파악된 눈동자의 위치를 상기 시선 판단부에서 계산된 위치로 이동시키는 것을 특징으로 하는 얼굴 영상 보정 장치.An image input unit for receiving an image captured from a camera for a video call or video chat;
After recognizing a face in the image, a suitable reference facial contour among a plurality of reference facial contour models provided in a plurality of reference facial contour models is matched to the contour of the face recognized in the image, And a face matching unit for acquiring three-dimensional shape information of the recognized face through a coordinate difference with the reference face contour after mapping the coordinates of a specific part including the mouth to each coordinate of the reference face contour, which is three-dimensional information;
A distortion determination unit that determines a degree of distortion in a front direction of the image based on the obtained 3D shape information; And
In accordance with the determined degree of distortion, the image is transformed, including a configuration for transforming the perspective into a fluid value calculated as face shape information so that the recognized face faces the front direction, and the space generated by the transformation Including; an image conversion unit for correcting a spatial area by performing correction by removing the area through partial enlargement or by expanding the area including the face area;
Further comprising; a gaze determination unit for calculating the position of the pupil gazing at the front after grasping the position of the pupil in the recognized face; and
Wherein the image conversion unit moves the determined position of the pupil to the position calculated by the gaze determination unit according to the determined correction degree. 제 1항에 있어서,
상기 왜곡 판단부는 상기 판단된 왜곡 정도를 기반으로 상기 인식된 얼굴에 대한 왜곡 보정율을 결정하고,
상기 영상 변환부는 상기 결정된 왜곡 보정율을 적용하여 상기 영상을 변환시키는 것을 특징으로 하는 얼굴 영상 보정 장치.The method of claim 1,
The distortion determination unit determines a distortion correction rate for the recognized face based on the determined degree of distortion,
And the image conversion unit converts the image by applying the determined distortion correction rate. 제 1항에 있어서,
상기 얼굴 정합부는 삼차원(3 Dimension)의 얼굴 윤곽 모델을 상기 인식된 얼굴의 윤곽에 정합시켜 상기 인식된 얼굴의 삼차원 형태 정보를 획득하고,
상기 영상 변환부는 상기 삼차원의 얼굴 윤곽 모델로 파악되는 상기 인식된 얼굴의 왜곡 각도를 상기 삼차원의 각 방향별로 보정하여 상기 인식된 얼굴이 상기 정면 방향을 향하도록 하는 것을 특징으로 하는 얼굴 영상 보정 장치.The method of claim 1,
The face matching unit obtains three-dimensional shape information of the recognized face by matching a three-dimensional face contour model with the recognized face contour,
And the image conversion unit corrects a distortion angle of the recognized face recognized by the three-dimensional face contour model for each of the three-dimensional directions so that the recognized face faces the front direction. 제 1항에 있어서,
상기 얼굴 정합부는 AAM(Active Apearance Model) 또는 ASM(Active Shape Model) 기반의 얼굴 윤곽 모델을 이용하여 상기 인식된 얼굴의 삼차원 형태 정보를 획득하고,
상기 영상 변환부는 상기 얼굴 윤곽 모델로 파악되는 상기 인식된 얼굴에 원근변환(Perspective transform)을 적용하여 보정하는 것을 특징으로 하는 얼굴 영상 보정 장치.The method of claim 1,
The face matching unit acquires three-dimensional shape information of the recognized face using a facial contour model based on an Active Apearance Model (AAM) or an Active Shape Model (ASM),
And the image conversion unit corrects by applying a perspective transform to the recognized face identified as the face contour model. 삭제delete 삭제delete 삭제delete 얼굴 정합부가 화상통화나 화상채팅을 위해 입력받는 영상에서 인식된 얼굴의 윤곽에 복수로 마련된 기준 얼굴 윤곽 모델 중 적합한 기준 얼굴 윤곽을 정합(fitting)시켜, 상기 인식된 얼굴의 전체 윤곽 및 눈, 코, 입을 포함하는 특정 부분의 좌표를 삼차원 정보인 기준 얼굴 윤곽의 각 좌표로 매핑한 후 기준 얼굴 윤곽과의 좌표 차이를 통해 상기 인식된 얼굴의 삼차원 형태 정보를 획득하는 획득 단계;
왜곡 판단부가 상기 획득된 삼차원 형태 정보를 기반으로, 상기 영상의 정면 방향에 대한 상기 인식된 얼굴의 왜곡 정도를 판단하는 판단 단계;
영상 변환부가 상기 판단된 왜곡 정도에 따라, 상기 인식된 얼굴이 상기 정면 방향을 향하도록, 얼굴 형태 정보로 계산된 유동적 값으로 원근을 변환시키는 구성을 포함하여 상기 영상을 변환시키고, 상기 변환으로 인해 발생하는 공간 영역을 부분적 확대를 통해 없애거나 얼굴 영역이 포함된 영역을 확대하여 보정을 수행하여 공간 영역을 보정하는 변환 단계;
시선 판단부가 상기 인식된 얼굴에서 눈동자의 위치를 파악한 후, 정면을 응시하는 눈동자의 위치를 계산하는 단계;를 더 포함하며,
상기 변환 단계는 상기 영상 변환부가 상기 판단된 보정 정도에 따라 상기 파악된 눈동자의 위치를 상기 시선 판단부에서 계산된 위치로 이동시키는 것을 특징으로 하는 얼굴 영상 보정 방법.The face matching unit fits a suitable reference facial contour among a plurality of reference facial contour models provided on the contour of the face recognized in the image received for video call or video chat, and the entire contour of the recognized face, eyes, and nose. And an acquisition step of mapping the coordinates of a specific part including the mouth to each coordinate of the reference face contour, which is three-dimensional information, and then obtaining three-dimensional shape information of the recognized face through a difference in coordinates with the reference face contour;
A determination step of determining, by a distortion determination unit, a degree of distortion of the recognized face with respect to the front direction of the image based on the obtained 3D shape information;
The image conversion unit converts the image by converting the perspective into a fluid value calculated as face shape information so that the recognized face faces the front direction according to the determined degree of distortion. A transformation step of correcting the spatial region by performing correction by removing the generated spatial region through partial enlargement or by enlarging the region including the face region;
After the gaze determination unit grasping the position of the pupil in the recognized face, calculating a position of the pupil gazing at the front; further comprising,
In the transforming step, the image conversion unit moves the identified pupil position to the position calculated by the gaze determination unit according to the determined correction degree. 삭제delete 삭제delete ◈청구항 11은(는) 설정등록료 납부시 포기되었습니다.◈◈ Claim 11 was abandoned upon payment of the set registration fee. 제8항에 있어서,
얼굴 영상 보정 방법을 수행하는 컴퓨터 프로그램이 기록된 기록매체.
The method of claim 8,
A recording medium on which a computer program that performs a facial image correction method is recorded.
KR1020130108334A 2013-09-10 2013-09-10 Apparatus, method and computer readable medium having computer program recorded for facial image correction KR102171332B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130108334A KR102171332B1 (en) 2013-09-10 2013-09-10 Apparatus, method and computer readable medium having computer program recorded for facial image correction

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130108334A KR102171332B1 (en) 2013-09-10 2013-09-10 Apparatus, method and computer readable medium having computer program recorded for facial image correction

Publications (2)

Publication Number Publication Date
KR20150029317A KR20150029317A (en) 2015-03-18
KR102171332B1 true KR102171332B1 (en) 2020-10-28

Family

ID=53023835

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130108334A KR102171332B1 (en) 2013-09-10 2013-09-10 Apparatus, method and computer readable medium having computer program recorded for facial image correction

Country Status (1)

Country Link
KR (1) KR102171332B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102409988B1 (en) 2021-11-03 2022-06-16 주식회사 클레온 Method and apparatus for face swapping using deep learning network
WO2023058874A1 (en) * 2021-10-08 2023-04-13 삼성전자 주식회사 Method for providing image and electronic device supporting same

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102317021B1 (en) 2015-06-26 2021-10-25 삼성전자주식회사 Display apparatus and image correction method thereof

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005081101A (en) * 2003-09-11 2005-03-31 Nissan Diesel Motor Co Ltd System and methodology for detecting visual axis direction
JP2007006016A (en) * 2005-06-22 2007-01-11 Sharp Corp Imaging equipment

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0690445A (en) * 1992-09-09 1994-03-29 Hitachi Ltd Video input/output device
KR101460130B1 (en) 2007-12-11 2014-11-10 삼성전자주식회사 A method of video communication in a portable terminal and an apparatus thereof
KR101977638B1 (en) * 2012-02-29 2019-05-14 삼성전자주식회사 Method for correcting user’s gaze direction in image, machine-readable storage medium and communication terminal

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005081101A (en) * 2003-09-11 2005-03-31 Nissan Diesel Motor Co Ltd System and methodology for detecting visual axis direction
JP2007006016A (en) * 2005-06-22 2007-01-11 Sharp Corp Imaging equipment

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023058874A1 (en) * 2021-10-08 2023-04-13 삼성전자 주식회사 Method for providing image and electronic device supporting same
KR102409988B1 (en) 2021-11-03 2022-06-16 주식회사 클레온 Method and apparatus for face swapping using deep learning network

Also Published As

Publication number Publication date
KR20150029317A (en) 2015-03-18

Similar Documents

Publication Publication Date Title
AU2015348151B2 (en) Real-time visual feedback for user positioning with respect to a camera and a display
US10284817B2 (en) Device for and method of corneal imaging
JP5632100B2 (en) Facial expression output device and facial expression output method
US8957943B2 (en) Gaze direction adjustment for video calls and meetings
US11627007B2 (en) Mobile information terminal
JP6330036B2 (en) Image processing apparatus and image display apparatus
CN105989577B (en) Image correction method and device
CN110288716B (en) Image processing method, device, electronic equipment and storage medium
CN111010560B (en) Anti-distortion adjusting method and device for head-mounted display equipment and virtual reality system
US10987198B2 (en) Image simulation method for orthodontics and image simulation device thereof
KR102171332B1 (en) Apparatus, method and computer readable medium having computer program recorded for facial image correction
CN107436681A (en) Automatically adjust the mobile terminal and its method of the display size of word
CN105812709A (en) Method for realizing virtual camera by using cameras
CN108764135B (en) Image generation method and device and electronic equipment
CN115601316A (en) Image processing method, image processing device, electronic equipment and computer readable storage medium
CN110443200B (en) Position adjusting method and device of electronic equipment
KR102195068B1 (en) User terminal with Line-of-sight Matching function and method using the same
TW201727540A (en) Eye recognition method and system
CN114531560A (en) Video call method and device
CN116489500A (en) Image processing method and device

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant