CN104574321A - 图像修正方法、图像修正装置和视频系统 - Google Patents

图像修正方法、图像修正装置和视频系统 Download PDF

Info

Publication number
CN104574321A
CN104574321A CN201510045283.6A CN201510045283A CN104574321A CN 104574321 A CN104574321 A CN 104574321A CN 201510045283 A CN201510045283 A CN 201510045283A CN 104574321 A CN104574321 A CN 104574321A
Authority
CN
China
Prior art keywords
image
eye areas
facial image
actual facial
sample image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510045283.6A
Other languages
English (en)
Other versions
CN104574321B (zh
Inventor
张丽杰
武乃福
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201510045283.6A priority Critical patent/CN104574321B/zh
Publication of CN104574321A publication Critical patent/CN104574321A/zh
Priority to PCT/CN2015/079165 priority patent/WO2016119339A1/zh
Priority to US14/891,943 priority patent/US9824428B2/en
Application granted granted Critical
Publication of CN104574321B publication Critical patent/CN104574321B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993—Evaluation of the quality of the acquired pattern
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H04N7/144—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display camera and display on the same optical axis, e.g. optically multiplexing the camera and display for eye to eye contact
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Data Mining & Analysis (AREA)
  • Ophthalmology & Optometry (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Probability & Statistics with Applications (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种图像修正方法、图像修正装置和视频系统，所述图像修正方法包括：获取实际人脸图像；获取与所述实际人脸图像相匹配的目标样图像；根据所述目标样图像对所述实际人脸图像的眼睛区域进行修正，以使得修正后的所述实际人脸图像的眼睛区域的朝向和所述目标样图像的眼睛区域的朝向相符。发明可以使得接收到的人脸图像中眼睛区域的瞳孔部分是朝向摄像头观看的，从而实现对等交流，提高感官体验。

Description

图像修正方法、图像修正装置和视频系统
技术领域
本发明涉及显示技术领域，具体涉及一种图像修正方法、图像修正装置和视频系统。
背景技术
在如今人们的生活中，视频传输技术得到了广泛的应用，例如，视频聊天。但是在视频传输的过程中，因为摄像头取景位置的不同，导致双方在视频交流中容易发生视觉不对等的现象。如人们在聊天时，眼睛是看向显示屏的，而摄像头的取景位置通常是在显示屏的一侧，因此，看到的对方图像始终没有在看自己，从而降低了感官体验。
发明内容
本发明的目的在于提供一种图像修正方法、图像修正装置和视频系统，以使得用户可以进行视觉上的对等交互。
为了实现上述目的，本发明提供一种图像修正方法，包括：
获取实际人脸图像；
获取与所述实际人脸图像相匹配的目标样本图像；
根据所述目标样本图像对所述实际人脸图像的眼睛区域进行修正，以使得修正后的所述实际人脸图像的眼睛区域的朝向和所述目标样本图像的眼睛区域的朝向相符。
优选地，获取与所述实际人脸图像相匹配的目标样本图像的步骤包括：
获取所述实际人脸图像的特征信息；
分别计算所述实际人脸图像的特征信息与样本库中每张预设样本图像的特征信息的匹配度，当一张预设样本图像与所述实际人脸图像之间的匹配度大于预设值时，将所述预设样本图像设定为所述目标样本图像。
优选地，所述特征信息包括眼睛区域的中心坐标、眼睛的宽高比、眼球的直径、左眼中心与鼻子之间的距离和右眼中心与鼻子之间的距离之比、左眼中心与嘴巴之间的距离和右眼中心与嘴巴之间的距离之比中的任意一者或任意几者的组合。
优选地，获取与所述实际人脸图像相匹配的目标样本图像的步骤和根据所述目标样本图像对所述实际人脸图像的眼睛区域进行修正，以使得修正后的所述实际人脸图像的眼睛区域的朝向和所述目标样本图像的眼睛区域的朝向相符的步骤之间还包括：
获取所述实际人脸图像中眼睛区域的瞳孔部分的中心坐标和所述目标样本图像中眼睛区域的瞳孔部分的中心坐标；
判断所述实际人脸图像中眼睛区域的瞳孔部分的中心坐标与所述目标样本中眼睛区域的瞳孔部分的中心坐标之间的距离，当所述距离大于预定值时，执行根据所述目标样本图像对所述实际人脸图像的眼睛区域进行修正，以使得修正后的所述实际人脸图像的眼睛区域的朝向和所述目标样本图像的眼睛区域的朝向相符的步骤。
优选地，所述图像修正方法还包括在获取实际人脸图像的步骤之前进行的：
采集多张人脸图像作为预设样本图像，在每张预设样本图像中，被采集者的眼睛区域的朝向正对摄像头；
获取并存储每张预设样本图像的特征信息，以形成所述样本库。
优选地，所述图像修正方法还包括在获取并存储每张预设样本图像的特征信息的步骤之后进行的：
按照预定规则将所述预设样本图像划分为多个类别；
分别计算所述实际人脸图像的特征信息与样本库中每张预设样本图像的特征信息的匹配度的步骤包括：
确定所述实际人脸图像所对应的预设样本图像的类别；
计算所述实际人脸图像的特征信息与其对应的预设样本图像的类别中每张预设样本图像的特征信息的匹配度。
优选地，所述预定规则包括最大似然分类法。
优选地，所述图像修正方法还包括在获取实际人脸图像的步骤之前进行的：
在所述摄像头的视野范围内设立坐标轴；
在所述视野范围内设置预定坐标范围；
当所述实际人脸图像中眼睛区域的中心坐标值超出所述预定坐标范围时，将所述预定坐标的边界值设置为所述实际人脸图像中眼睛区域的中心的实际坐标值。
优选地，根据所述目标样本图像对所述实际人脸图像的眼睛区域进行修正，以使得修正后的所述实际人脸图像的眼睛区域的朝向和所述目标样本图像的眼睛区域的朝向相符的步骤包括：
获取所述实际人脸图像中眼睛区域的特征点的信息和相对应的目标样本图像中与所述实际人脸图像中眼睛区域的特征点对应的目标特征点的信息；
计算所述实际人脸图像中眼睛区域的特征点与相对应的目标特征点之间的映射关系；
根据所述映射关系计算所述实际人脸图像中眼睛区域的各点修正后的位置。
相应地，本发明还提供一种图像修正装置，包括；
实际图像获取模块，用于获取实际人脸图像；
目标样本图像获取模块，用于获取与所述实际人脸图像相匹配的目标样本图像；
处理模块，用于根据所述目标样本图像对所述实际人脸图像的眼睛区域进行修正，以使得修正后的所述实际人脸图像的眼睛区域的朝向和所述目标样本图像的眼睛区域的朝向相符。
优选地，所述目标样本图像获取模块包括：
特征信息获取单元，用于获取所述实际人脸图像的特征信息；
匹配度计算单元，用于分别计算所述实际人脸图像的特征信息与样本库中每张预设样本图像的特征信息之间的匹配度，当一张预设样本图像与所述实际人脸图像之间的匹配度大于预设值时，将所述预设样本图像设定为所述目标样本图像。
优选地，所述特征信息包括眼睛区域的中心坐标、眼睛的宽高比、眼球的直径、左眼中心与鼻子之间的距离和右眼中心与鼻子之间的距离之比、左眼中心与嘴巴之间的距离和右眼中心与嘴巴之间的距离之比中的任意一者或任意几者的组合。
优选地，所述图像修正装置还包括：
坐标获取模块，用于将获取的所述实际人脸图像的眼睛区域的瞳孔部分的中心坐标与所述目标样本中眼睛区域的瞳孔部分的中心坐标；
判断模块，用于判断所述实际人脸图像中眼睛区域的瞳孔部分的中心坐标与所述目标样本中眼睛区域的瞳孔部分的中心坐标之间的距离；当所述距离大于预定值时，所述处理模块能够根据所述目标样本图像对所述实际人脸图像的眼睛区域进行修正，以使得修正后的所述实际人脸图像的眼睛区域的朝向和所述目标样本图像的眼睛区域的朝向相符。
优选地，特征信息获取单元能够获取预设样本图像的特征信息；所述图像修正装置还包括：
样本图像采集模块，用于采集多张人脸图像作为预设样本图像，在每张预设样本图像中，被采集者的眼睛区域的朝向正对所述样本图像采集模块；
存储模块，用于存储每张预设样本图像的特征信息，以形成所述样本库。
优选地，所述图像修正装置还包括：
分类模块，用于按照预定规则将所述预设样本图像划分为多个类别；
所述目标样本图像获取模块还包括：
归类单元，用于确定所述实际人脸图像所对应的预设样本图像的类别；
所述匹配度计算单元能够分别计算所述实际人脸图像的特征信息与其对应的预设样本图像的类别中每张预设样本图像的特征信息之间的匹配度。
优选地，所述预定规则包括最大似然分类法。
优选地，所述图像修正装置还包括：
预定位模块，用于在摄像头的视野范围内设立坐标轴并在所述视野范围内设置预定坐标范围；
当所述实际人脸图像中眼睛区域的中心坐标值超出所述预定坐标范围时，将所述预定坐标的边界值设置为所述实际人脸图像中眼睛区域的中心的实际坐标值。
优选地，所述处理模块包括：
特征点获取单元，用于获取所述实际人脸图像中眼睛区域的特征点和相对应的目标样本图像中与所述实际人脸图像中眼睛区域的特征点匹配的目标特征点的信息；
映射计算单元，用于计算所述实际人脸图像中眼睛区域的特征点与相对应的目标特征点之间的映射关系；
修正单元，用于根据所述映射关系计算所述实际人脸图像中眼睛区域的各点修正后的位置。
相应地，本发明还提供一种视频系统，包括本发明提供的上述图像修正装置。
本发明的图像修正方法可以对所述人脸图像的眼睛区域进行修正，使得修正后的人脸图像的眼睛区域的朝向和所述目标样本图像的眼睛区域的朝向相同，均是正视摄像头的。在使用视频系统中的双方中，第一方的摄像头采集到的人脸图像传输至第二方，第二方可以使用所述图像修正方法获取对方的实际人脸图像，并对其眼睛区域进行修正再显示，使得修正后的眼睛区域的瞳孔部分是正视第一方的摄像头的，即对于第二方而言，第一方使用者是朝向第二方观看的，从而提高用户的视觉感受。
附图说明
附图是用来提供对本发明的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明，但并不构成对本发明的限制。在附图中：
图1是本发明的实施方式中图像修正方法的流程示意图；
图2是实际人脸图像的示意图；
图3是实际人脸图像的眼睛区域的示意图；
图4是实际人脸图像的眼睛区域和目标样本图像的眼睛区域的示意图；
图5是本发明的实施方式中图像修正装置的结构示意图。
其中，附图标记为：10、实际图像获取模块；20、目标样本图像获取模块；21、特征信息获取单元；22、匹配度获取单元；23、归类单元；30、判断模块；40、处理模块；41、特征点获取单元；42、映射计算单元；43、修正单元；50、样本图像采集模块；60、存储模块；70、分类模块；80、预定位模块；90、坐标获取模块。
具体实施方式
以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。
作为本发明的一方面，提供一种图像修正方法，如图1所示，包括：
获取实际人脸图像；
获取与所述实际人脸图像相匹配的目标样本图像；
根据所述目标样本图像对所述实际人脸图像的眼睛区域进行修正，以使得修正后的所述实际人脸图像的眼睛区域的朝向和所述目标样本图像的眼睛区域的朝向相符。
应当理解的是，在上述获取实际人脸图像的步骤中，获取到的图像为人脸图像的每个像素点的坐标和灰度值。本发明的图像修正方法应用于对人脸图像的修正，尤其对人脸图像中的眼睛区域进行修正。需要说明的是，本发明中的“眼睛区域”是指眼眶内的部分(包括黑眼球和白眼球)，所述“眼睛区域的朝向”可以理解为黑眼球的瞳孔部分的朝向，且当利用摄像头进行图像采集时，目标样本图像中眼睛区域的朝向是正对所述摄像头的。所述“与所述实际人脸图像相匹配的目标样本图像”其目的是在于找到与所述实际人脸图像在拍摄角度和拍摄距离均相同的目标样本图像。
在本发明中，目标样本图像和所述人脸图像相匹配，即，两张人脸图像的拍摄角度和拍摄距离是分别相对应的，且目标样本图像中眼睛区域是正视摄像头的，因此，本发明的图像修正方法对所述实际人脸图像进行修正后，使得修正后的人脸图像的眼睛区域的朝向和所述目标样本图像的眼睛区域的朝向相同，均是正视摄像头的。在使用视频系统中的双方中，第一方的摄像头采集到的人脸图像传输至第二方，第二方可以使用所述图像修正方法获取对方的实际人脸图像，并对其眼睛区域进行修正后再显示，使得修正后的眼睛区域，具体可以是瞳孔部分是正视第一方的摄像头的，即对于第二方而言，第一方使用者是朝向第二方观看的，从而提高用户的视觉感受。
本发明对所述实际人脸图像的眼睛区域进行修正是指，结合所述实际人脸图像的眼睛区域的信息和目标样本图像的眼睛区域的信息来得到修正后的人脸图像，使得修正后的人脸图像的瞳孔部中心坐标与目标样本图像瞳孔中心坐标对应相同；黑眼球部分各个点的坐标和所述目标样本图像的黑眼球部分各个点的坐标相对应，而修正后的人脸图像的黑眼球部分的灰度值不变，从而使得调节后的人脸图像从视觉上看，其瞳孔部分是正对摄像头的。
为了使得修正后的人脸图像在视觉上更加连贯，所述实际人脸图像可以是实时获取的。
在使用所述图像修正方法的交互系统中，可以存储有多张预设样本图像，对所述实际人脸图像进行修正时，将其中与所述实际人脸图像最匹配的样本图像作为目标样本图像。作为本发明的一种具体实施方式，获取与所述实际人脸图像相匹配的目标样本图像的步骤可以包括：
获取所述实际人脸图像的特征信息；
分别计算所述实际人脸图像的特征信息与样本库中每张预设样本图像的特征信息的匹配度，当一张预设样本图像与所述实际人脸图像之间的匹配度大于预设值时，将所述预设样本图像设定为所述目标样本图像。
所述特征信息为能够表示人脸的位置和采集角度的信息。具体地，如图2和图3所示，所述特征信息包括眼睛区域的中心坐标(包括左眼区域的中心坐标和右眼区域的中心坐标，如图2中的O1和O2)、眼睛的宽高比W/H(图3所示)、眼球的直径D、左眼中心与鼻子之间的距离L_en和右眼中心与鼻子之间的距离R_en之比k_en、左眼中心与嘴巴之间的距离L_em和右眼中心与嘴巴之间的距离R_em之比k_em中的任意一者或任意几者的组合。优选地，获取实际人脸图像的特征信息时，对上述几种具体的特征信息同时进行获取，从而确定人脸的准确位置和采集角度。
所述眼睛区域的中心坐标用于确定人脸的眼睛区域在摄像头所采集的图像中的位置，用于确定所述实际人脸图像的眼睛区域中心坐标的坐标系应与用于确定目标样本图像的眼睛区域的中心坐标的坐标系相对应。当所述实际人脸图像的眼睛区域中心坐标与目标样本图像的眼睛区域的中心坐标一致时，所述实际人脸图像的眼睛区域在脸部的相对位置与在目标样本图像的眼睛区域在脸部的相对位置一致。应当理解的是，这里眼睛区域的中心是眼眶所形成的类椭圆形的中心，并不是黑眼球或瞳孔的中心。
当上述特征信息确定后，可以确定出被拍摄的人脸的姿势和摄像头相对眼睛的位置。例如，当检测到左眼中心与鼻子之间的距离L_en与右眼中心与鼻子之间的距离R_en相等、左眼中心与嘴巴之间的距离L_em和右眼中心与嘴巴之间的距离相等、且左眼中心和右眼中心的坐标均为标准坐标值时，则摄像头位于两眼中心的前方；当检测到k_en和k_em均大于1，且左眼中心和右眼中心的横坐标大于标准横坐标，左眼中心和右眼中心的纵坐标均为标准纵坐标时，则摄像头是从人脸前方靠左侧的位置进行拍摄的；当检测到k_en和k_em均大于1，k_em大于k_en，左眼中心和右眼中心的横坐标均大于标准横坐标、纵坐标均大于标准纵坐标，则摄像头从人脸前方靠左下方的位置进行拍摄的。
计算所述实际人脸图像的特征信息与预设样本图像的特征信息的匹配度时，可以分别计算两张图像的每种具体的特征信息的匹配度，当每种具体的特征信息的匹配度均大于阈值时，表明该预设样本图像为与所述实际人脸图像相匹配的目标样本图像。即，将所述实际人脸图像与样本图像的眼睛区域的中心坐标、眼睛的宽高比W/H、眼球的直径D、左眼中心与鼻子之间的距离L_en和右眼中心与鼻子之间的距离R_en之比k_en、左眼中心与嘴巴之间的距离L_em和右眼中心与嘴巴之间的距离R_em之比k_em进行一一对比。
本发明中可以采用边缘检测的方法检测出眼眶的部分边缘点，并根据人眼的椭圆形的特点，利用霍夫变换(hough变换)计算眼睛区域对应的椭圆形进而计算出眼睛区域的中心坐标。
本发明中的图像修正方法用于对所述实际图像的眼睛区域进行修正，以使得眼睛区域的朝向与目标样本图像的眼睛区域的朝向相同。而对于某些实际图像而言，其眼睛区域的朝向与目标样本图像的眼睛区域的朝向是相符的，因此可以不对这些实际图像进行修正。具体地，获取与所述实际人脸图像相匹配的目标样本图像的步骤和根据所述目标样本图像对所述实际人脸图像的眼睛区域进行修正，以使得修正后的所述实际人脸图像的眼睛区域的朝向和所述目标样本图像的眼睛区域的朝向相符的步骤之间还包括：
获取所述实际人脸图像中眼睛区域的瞳孔部分的中心坐标和所述目标样本图像中眼睛区域的瞳孔部分的中心坐标；
判断所述实际人脸图像中眼睛区域的瞳孔部分的中心坐标与所述目标样本中眼睛区域的瞳孔部分的中心坐标之间的距离，当所述距离大于预定值时，执行根据所述目标样本图像对所述实际人脸图像的眼睛区域进行修正，以使得修正后的所述实际人脸图像的眼睛区域的朝向和所述目标样本图像的眼睛区域的朝向相符的步骤。
当实际人脸图像中的眼睛区域的瞳孔部分的中心坐标与所述目标样本中眼睛区域的瞳孔部分的中心坐标的距离小于预定值，实际人脸图像中的瞳孔部分在人眼区域的位置与目标样本图像中的瞳孔部分在眼睛区域的位置是相符的，这时，可以判断出实际人脸图像中的眼睛区域的朝向和目标样本图像中眼睛区域的朝向是相符的，不需要对实际人脸图像进行修正。在这里预定值可以是在0～0.5毫米之间进行选择，当然可以根据实际图像大小对预定值进行选择，这里不做限制。
进一步地，所述图像修正方法还包括在获取实际人脸图像的步骤之前进行的：
采集多张人脸图像作为预设样本图像，在每张预设样本图像中，被采集者的眼睛区域的朝向正对摄像头；
获取并存储每张预设样本图像的特征信息，以形成所述样本库。
多张人脸图像可以为对不同的人脸进行采集得到的图像，且摄像头可以在不同的距离、不同的角度对人脸进行图像采集。在所述修正方法中，通过将所述实际人脸图像的特征信息与预设样本图像的特征信息进行对比后，选择一张与所述实际人脸图像相匹配的预设样本图像作为目标样本图像，该目标样本图像中对应的人脸的位置、角度与所述实际人脸图像的对应的人脸的位置、角度均一致，即目标样本图像的特征信息与实际人脸图像的特征信息的匹配度大于预设值。
本领域技术人员可以理解的是，对图像进行存储时是以灰度值的形式进行存储，特征信息也是以数值方式进行存储的，为了节省存储空间的占用，可以对图像的灰度值和特征信息进行归一化处理。
为了从多张预设样本图像中快速地找到与所述实际人脸图像相匹配的目标样本图像，优选地，图像修正方法还包括在获取并存储每张预设样本图像的步骤之后进行的：
按照预定规则将对所述多张预设样本图像划分为多个类别；
当多张预设样本图像被分为多个类别后，分别计算所述实际人脸图像的特征信息与样本库中每张预设样本图像的特征信息的匹配度的步骤可以包括：
确定所述实际人脸图像所对应的预设样本图像的类别；
计算所述实际人脸图像的特征信息与其对应的预设样本图像的类别中每张预设样本图像的特征信息的匹配度。
如上文中所述，特征信息可以包括多个不同的信息：眼睛区域的中心坐标、眼睛的宽高比、眼球的直径、左眼中心与鼻子之间的距离和右眼中心与鼻子之间的距离之比、左眼中心与嘴巴之间的距离和右眼中心与嘴巴之间的距离之比。相应地，分类时，可以先根据眼睛区域的中心坐标将所有的样本图像分为A个大类，A个大类中的每类的眼睛区域的中心坐标的范围不同；然后根据眼睛的宽高比将A个大类再次进行分类，得到B个小类，该B个类别中的每个类别的眼睛区域的中心坐标的范围互不相同，且眼睛的宽高比的范围也互不相同；再根据眼睛的高度对B个类别再一次分类，得到C个类别，以此类推。最终得到M个类别的预设样本图像，任意两个类别的预设样本图像至少有一个具体特征信息的范围时不同的，如，至少眼睛的宽高比的范围不同，或至少眼睛区域的中心坐标范围不同。
需要说明的是，在M个类别的预设样本图像中，每个类别中可以包括有多个样本图像，当所述实际人脸图像的各个具体的特征信息处于第N个类别的样本图像的各个具体的特征信息的范围中，且第N个类别中存在多张预设样本图像与所述实际人脸图像的匹配度大于预设值时，将匹配度最高的预设样本图像作为所述目标样本图像。
具体地，上述预定规则可以包括最大似然分类法。例如，当将眼睛的宽高比在1.5～2之间且眼球直径在1.0～1.2之间的预设样本图像划分为第一大类，同时样本库中不存在符合条件的预设样本图像时，最大似然分类法可以将眼睛的宽高比在1.45～2之间且眼球直径在1.0～1.2之间的预设样本图像划入该类中。
可以理解的是，当实际人脸图像中的黑眼球偏离摄像头的角度α较大时(如稍微侧脸时)，对眼睛区域的瞳孔部分的朝向进行调节时，需要将黑眼球偏转一个较大的角度α才能达到瞳孔直视摄像头的目的。但是在实际生活中，人眼视觉有一定的范围，即，黑眼球可以转动一定的角度，但是当黑眼球转过的角度过大时，眼睛区域内只能露出眼球的一小部分。为了防止在修正过程中将黑眼球转动过大的角度，所述图像修正方法还包括在获取实际人脸图像的步骤之前进行的：
在所述摄像头的视野范围内设立坐标轴；
在所述视野范围内设置预定坐标范围；
当所述实际人脸图像中眼睛区域的中心坐标值超出所述预定坐标范围时，将所述预定坐标的边界值设置为所述实际人脸图像中眼睛区域的中心的实际坐标值。
所述预定范围可以根据摄像头的视野范围和人脸距离摄像头的距离确定，可以理解的是，所述预定范围小于摄像头所能拍摄的范围。例如，摄像头所拍摄的图像为30cm*20cm的图像，那么可以将所述预定范围设置为20cm*10cm，即，以整个图像中心为坐标原点，当人眼中心(如左眼区域的中心坐标)的横坐标小于-10cm，如-11cm时将人眼中心的实际横坐标设置为-10cm，这样在修正的时候，左眼区域的中心则会少移动1cm，降低了修正难度，同理当人眼中心的横坐标大于10cm将人眼中心的实际横坐标设置为10cm。
在本发明中，根据所述目标样本图像对所述实际人脸图像的眼睛区域进行修正，以使得修正后的所述实际人脸图像的眼睛区域的朝向和所述目标样本图像的眼睛区域的朝向相符的步骤可以包括：
获取所述实际人脸图像中眼睛区域的特征点的信息和相对应的目标样本图像中与所述实际人脸图像中眼睛区域的特征点对应的目标特征点的信息；
计算所述实际人脸图像中眼睛区域的特征点与相对应的目标特征点之间的映射关系；
根据所述映射关系计算所述实际人脸图像中眼睛区域的各点修正后的位置。
所述实际人脸图像中眼睛区域的特征点可以为眼睛区域内黑眼球的部分边缘点，目标样本图像中的与所述实际人脸图像中的眼睛区域的特征点相对应的目标特征点即为目标样本图像的黑眼球的部分边缘点。根据人眼的黑眼球的圆形特点，所述实际人脸图像中的特征点在黑眼球上的位置与目标样本图像中的目标特征点在黑眼球上的位置相同，所述实际人脸图像中特征点和目标样本图像中的目标特征点的信息均可以包括坐标信息和灰度值。由于目标样本图像中的瞳孔是正视摄像头的，所述实际人脸图像中的瞳孔不一定是正视摄像头的，因此所述实际人脸图像中特征点和目标样本图像中的目标特征点的坐标信息、灰度值可以均不相同。如图4中所示，a为待修正的实际人脸图像的眼睛区域，其中特征点A位于黑眼球的正左方，图4中b为目标样本图像中的眼睛区域，其中目标特征点A’同样位于黑眼球的正左方，则特征点A和目标特征点A’相对应，但是A和A’的坐标和灰度值并不相同。
在所述实际人脸图像中的眼睛区域可以选取多个特征点，根据特征点和相应的目标特征点的实际坐标值和灰度值计算出特征点和相应的目标特征点之间的映射关系，从而利用该映射关系计算出待修正的所述实际人脸图像中眼睛区域的各个像素点所对应的目标点在目标样本图像中的坐标位置。例如所述映射关系为：目标样本图像中的目标特征点的位置比待修正的所述实际人脸图像中的特征点的位置靠右2mm，那么根据该映射关系对图像进行修正时，可以将该点像素点的灰度值修正为该像素点左侧2mm处的像素点的灰度值，而将该点像素点的灰度值右移至2mm处，从而使得视觉效果为黑眼球向右移动了2mm，以使得修正后的人脸图像的瞳孔部分和目标样本图像中瞳孔部分位置一致，从而使得修正后的人脸图像的瞳孔部分和目标样本图像中的瞳孔部分的朝向一致，均是正视摄像头的。
作为本发明的另一方面，提供一种图像修正装置，包括；
实际图像采集模块10，用于获取实际人脸图像；
目标样本图像获取模块20，用于获取与所述实际人脸图像相匹配的目标样本图像；
处理模块40，用于根据所述目标样本图像对所述实际人脸图像的眼睛区域进行修正，以使得修正后的所述实际人脸图像的眼睛区域的朝向和所述目标样本图像的眼睛区域的朝向相符。
所述图像修正装置中可以预先存储有多张预设样本图像，目标样本图像获取模块20可以将多张预设样本图像分别与实际人脸图像进行对比，从而选择出与所述实际人脸图像匹配的目标样本图像。预设样本图像和所述实际人脸图像是否匹配可以通过对比两种图像的特征信息进行判断。具体地，目标样本图像获取模块20包括：
特征信息获取单元21，用于获取所述实际人脸图像的特征信息；
匹配度计算单元22，用于分别计算所述实际人脸图像的特征信息与样本库中每张预设样本图像的特征信息之间的匹配度，当一张预设样本图像与所述实际人脸图像之间的匹配度大于预设值时，将所述预设样本图像设定为所述目标样本图像。
如上文中所述，所述特征信息包括眼睛区域的中心坐标(图中的O1和O2)、眼睛的宽高比W/H、眼球的直径D、左眼中心与鼻子之间的距离L_en和右眼中心与鼻子之间的距离R_en之比k_en、左眼中心与嘴巴之间的距离L_em和右眼中心与嘴巴之间的距离R_em之比k_em中的任意一者或任意几者的组合。
为了判断所述实际人脸图像是否需要修正，进一步地，所述图像修正装置还包括：
坐标获取模块90，用于将获取的所述实际人脸图像的眼睛区域的瞳孔部分的中心坐标与所述目标样本中眼睛区域的瞳孔部分的中心坐标；
判断模块30，用于判断所述实际人脸图像中眼睛区域的瞳孔部分的中心坐标与所述目标样本中眼睛区域的瞳孔部分的中心坐标之间的距离，当所述距离大于预定值时，处理模块40可以根据所述目标样本图像对所述实际人脸图像的眼睛区域进行修正，以使得修正后的所述实际人脸图像的眼睛区域的朝向和所述目标样本图像的眼睛区域的朝向相符。判断模块30判断所述实际人脸图像中眼睛区域的瞳孔部分的中心坐标与所述目标样本中眼睛区域的瞳孔部分的中心坐标的距离小于预定值，不需要对实际人脸图像进行修正。
进一步地，特征信息获取单元21也可以获取预设样本图像的特征信息，所述图像修正装置还包括：
样本图像采集模块50，用于采集多张人脸图像作为预设样本图像，在每张预设样本图像中，被采集者的眼睛区域的朝向正对样本图像采集模块50；
存储模块60，用于存储每张预设样本图像的特征信息，以形成所述样本库。
其中，利用样本图像采集模块50采集预设样本图像的过程可以在获取实际人脸图像之前进行。当人们实际图像获取模块10进行获取图像之前，存储模块60内已经存储了多张预设样本图像。
为了从多张预设样本图像中快速地找到与所述实际人脸图像相匹配的目标样本图像，进一步地，所述图像修正装置还可以包括：
分类模块70，用于按照预定规则将所述多张预设样本图像划分为多个类别；
目标样本图像获取模块20还包括：归类单元23，用于确定所述实际人脸图像所对应的预设样本图像的类别；当归类单元23确定所述实际人脸图像对应于第N个类别的预设样本图像时(即所述实际人脸图像的特征信息与第N个类别的预设样本图像的特征信息的范围相对应)，匹配度计算单元22能够分别计算所述实际人脸图像的特征信息与其对应的预设样本图像的类别中每张预设样本图像的特征信息之间的匹配度。
具体地，如上文所述，所述预定规则包括最大似然分类法。
如图5所示，所述图像修正装置还可以包括：
预定位模块80，用于在摄像头的视野范围内设立坐标轴并在所述视野范围内设置预定坐标范围；
当所述实际人脸图像中眼睛区域的中心坐标值超出所述预定坐标范围时，将所述预定坐标的边界值设置为所述实际人脸图像中眼睛区域的中心的实际坐标值。
在包括图像修正装置的视频系统中，第一方的摄像头可以采集一副包括实际人脸图像和背景图像的整体图像，第二方的图像修正装置中的实际图像获取模块可以接收到第一方的摄像头所采集的整体图像。所述预定坐标范围是设置在所述整体图像上的。
预定位模块80可以根据所述预定坐标范围确定眼睛区域的实际坐标，处理模块40对人脸图像的眼睛区域的瞳孔的朝向进行调节时，可以直接从预定位模块80内调取所述眼睛区域的中心的实际坐标值。
具体地，处理模块40可以包括：
特征点获取单元41，用于获取所述实际人脸图像中眼睛区域的特征点和相对应的目标样本图像中与所述实际人脸图像中眼睛区域的特征点匹配的目标特征点的信息；
映射计算单元42，用于计算所述实际人脸图像中眼睛区域的特征点与相对应的目标特征点之间的映射关系；
修正单元43，用于根据所述映射关系计算所述实际人脸图像中眼睛区域的各点修正后的位置。
作为本发明的再一方面，提供一种视频系统，包括上述图像修正装置。例如，使用该视频系统的双方中，第一方的摄像头采集到第一方使用者的每帧实际人脸图像，并利用网络传输至第二方的图像修正装置中，第二方的图像修正装置中的实际图像获取模块可以获取第一方的摄像头所采集的实际人脸图像，并对实际人脸图像进行判断和修正，使得修正后的人脸图像的眼睛区域的朝向都是正对摄像头的，从而对于第二方使用者而言，对方和自己在交流过程中，眼睛始终是看向自己的，从而达到对等交流的效果，提高感官体验度。
上述为对本发明提供的图像修正方法、图像修正装置和交互系统的描述，图像修正装置中可以预先存储有多张预设样本图像，预设样本图像的眼睛区域的朝向均是正对摄像头的，因此，利用上述图像修正方法对人脸图像进行修正时，可以获取与实际人脸图像相匹配的目标样本图像，并判断实际人脸图像眼睛区域的朝向是否与目标样本图像的眼睛区域的朝向相符，当实际人脸图像的眼睛区域的朝向与目标样本图像的眼睛区域的朝向不相符时，对实际人脸图像的眼睛区域进行修正，从而使得修正后的人脸图像眼睛区域的朝向与目标样本图像的眼睛区域的朝向相符，达到正对摄像头的效果，进而使得使用者在使用交互系统进行交流时，看到对方图像时朝向自己观看的，提高视觉感受。
可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。

Claims (19)

1.一种图像修正方法，其特征在于，包括：
获取实际人脸图像；
获取与所述实际人脸图像相匹配的目标样本图像；
根据所述目标样本图像对所述实际人脸图像的眼睛区域进行修正，以使得修正后的所述实际人脸图像的眼睛区域的朝向和所述目标样本图像的眼睛区域的朝向相符。
2.根据权利要求1所述的图像修正方法，其特征在于，获取与所述实际人脸图像相匹配的目标样本图像的步骤包括：
获取所述实际人脸图像的特征信息；
分别计算所述实际人脸图像的特征信息与样本库中每张预设样本图像的特征信息的匹配度，当一张预设样本图像与所述实际人脸图像之间的匹配度大于预设值时，将所述预设样本图像设定为所述目标样本图像。
3.根据权利要求2所述的图像修正方法，其特征在于，所述特征信息包括眼睛区域的中心坐标、眼睛的宽高比、眼球的直径、左眼中心与鼻子之间的距离和右眼中心与鼻子之间的距离之比、左眼中心与嘴巴之间的距离和右眼中心与嘴巴之间的距离之比中的任意一者或任意几者的组合。
4.根据权利要求2所述的图像修正方法，其特征在于，获取与所述实际人脸图像相匹配的目标样本图像的步骤和根据所述目标样本图像对所述实际人脸图像的眼睛区域进行修正，以使得修正后的所述实际人脸图像的眼睛区域的朝向和所述目标样本图像的眼睛区域的朝向相符的步骤之间还包括：
获取所述实际人脸图像中眼睛区域的瞳孔部分的中心坐标和所述目标样本图像中眼睛区域的瞳孔部分的中心坐标；
判断所述实际人脸图像中眼睛区域的瞳孔部分的中心坐标与所述目标样本中眼睛区域的瞳孔部分的中心坐标之间的距离，当所述距离大于预定值时，执行根据所述目标样本图像对所述实际人脸图像的眼睛区域进行修正，以使得修正后的所述实际人脸图像的眼睛区域的朝向和所述目标样本图像的眼睛区域的朝向相符的步骤。
5.根据权利要求1至4中任意一项所述的图像修正方法，其特征在于，所述图像修正方法还包括在获取实际人脸图像的步骤之前进行的：
采集多张人脸图像作为预设样本图像，在每张预设样本图像中，被采集者的眼睛区域的朝向正对摄像头；
获取并存储每张预设样本图像的特征信息，以形成所述样本库。
6.根据权利要求5所述的图像修正方法，其特征在于，所述图像修正方法还包括在获取并存储每张预设样本图像的特征信息的步骤之后进行的：
按照预定规则将所述预设样本图像划分为多个类别；
分别计算所述实际人脸图像的特征信息与样本库中每张预设样本图像的特征信息的匹配度的步骤包括：
确定所述实际人脸图像所对应的预设样本图像的类别；
计算所述实际人脸图像的特征信息与其对应的预设样本图像的类别中每张预设样本图像的特征信息的匹配度。
7.根据权利要求6所述的图像修正方法，其特征在于，所述预定规则包括最大似然分类法。
8.根据权利要求1至4中任意一项所述的图像修正方法，其特征在于，所述图像修正方法还包括在获取实际人脸图像的步骤之前进行的：
在所述摄像头的视野范围内设立坐标轴；
在所述视野范围内设置预定坐标范围；
当所述实际人脸图像中眼睛区域的中心坐标值超出所述预定坐标范围时，将所述预定坐标的边界值设置为所述实际人脸图像中眼睛区域的中心的实际坐标值。
9.根据权利要求1至4中任意一项所述的图像修正方法，其特征在于，根据所述目标样本图像对所述实际人脸图像的眼睛区域进行修正，以使得修正后的所述实际人脸图像的眼睛区域的朝向和所述目标样本图像的眼睛区域的朝向相符的步骤包括：
获取所述实际人脸图像中眼睛区域的特征点的信息和相对应的目标样本图像中与所述实际人脸图像中眼睛区域的特征点对应的目标特征点的信息；
计算所述实际人脸图像中眼睛区域的特征点与相对应的目标特征点之间的映射关系；
根据所述映射关系计算所述实际人脸图像中眼睛区域的各点修正后的位置。
10.一种图像修正装置，其特征在于，包括；
实际图像获取模块，用于获取实际人脸图像；
目标样本图像获取模块，用于获取与所述实际人脸图像相匹配的目标样本图像；
处理模块，用于根据所述目标样本图像对所述实际人脸图像的眼睛区域进行修正，以使得修正后的所述实际人脸图像的眼睛区域的朝向和所述目标样本图像的眼睛区域的朝向相符。
11.根据权利要求10所述的图像修正装置，其特征在于，所述目标样本图像获取模块包括：
特征信息获取单元，用于获取所述实际人脸图像的特征信息；
匹配度计算单元，用于分别计算所述实际人脸图像的特征信息与样本库中每张预设样本图像的特征信息之间的匹配度，当一张预设样本图像与所述实际人脸图像之间的匹配度大于预设值时，将所述预设样本图像设定为所述目标样本图像。
12.根据权利要求11所述的图像修正装置，其特征在于，所述特征信息包括眼睛区域的中心坐标、眼睛的宽高比、眼球的直径、左眼中心与鼻子之间的距离和右眼中心与鼻子之间的距离之比、左眼中心与嘴巴之间的距离和右眼中心与嘴巴之间的距离之比中的任意一者或任意几者的组合。
13.根据权利要求10至12中任意一项所述的图像修正装置，其特征在于，所述图像修正装置还包括：
坐标获取模块，用于将获取的所述实际人脸图像的眼睛区域的瞳孔部分的中心坐标与所述目标样本中眼睛区域的瞳孔部分的中心坐标；
判断模块，用于判断所述实际人脸图像中眼睛区域的瞳孔部分的中心坐标与所述目标样本中眼睛区域的瞳孔部分的中心坐标之间的距离；当所述距离大于预定值时，所述处理模块能够根据所述目标样本图像对所述实际人脸图像的眼睛区域进行修正，以使得修正后的所述实际人脸图像的眼睛区域的朝向和所述目标样本图像的眼睛区域的朝向相符。
14.根据权利要求10至12中任意一项所述的图像修正装置，其特征在于，特征信息获取单元能够获取预设样本图像的特征信息；所述图像修正装置还包括：
样本图像采集模块，用于采集多张人脸图像作为预设样本图像，在每张预设样本图像中，被采集者的眼睛区域的朝向正对所述样本图像采集模块；
存储模块，用于存储每张预设样本图像的特征信息，以形成所述样本库。
15.根据权利要求14所述的图像修正装置，其特征在于，所述图像修正装置还包括：
分类模块，用于按照预定规则将所述预设样本图像划分为多个类别；
所述目标样本图像获取模块还包括：
归类单元，用于确定所述实际人脸图像所对应的预设样本图像的类别；
所述匹配度计算单元能够分别计算所述实际人脸图像的特征信息与其对应的预设样本图像的类别中每张预设样本图像的特征信息之间的匹配度。
16.根据权利要求15所述的图像修正装置，其特征在于，所述预定规则包括最大似然分类法。
17.根据权利要求10至12中任意一项所述的图像修正装置，其特征在于，所述图像修正装置还包括：
预定位模块，用于在摄像头的视野范围内设立坐标轴并在所述视野范围内设置预定坐标范围；
当所述实际人脸图像中眼睛区域的中心坐标值超出所述预定坐标范围时，将所述预定坐标的边界值设置为所述实际人脸图像中眼睛区域的中心的实际坐标值。
18.根据权利要求10至12中任意一项所述的图像修正装置，其特征在于，所述处理模块包括：
特征点获取单元，用于获取所述实际人脸图像中眼睛区域的特征点和相对应的目标样本图像中与所述实际人脸图像中眼睛区域的特征点匹配的目标特征点的信息；
映射计算单元，用于计算所述实际人脸图像中眼睛区域的特征点与相对应的目标特征点之间的映射关系；
修正单元，用于根据所述映射关系计算所述实际人脸图像中眼睛区域的各点修正后的位置。
19.一种视频系统，其特征在于，包括权利要求10至18中任意一项所述的图像修正装置。
CN201510045283.6A 2015-01-29 2015-01-29 图像修正方法、图像修正装置和视频系统 Active CN104574321B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201510045283.6A CN104574321B (zh) 2015-01-29 2015-01-29 图像修正方法、图像修正装置和视频系统
PCT/CN2015/079165 WO2016119339A1 (zh) 2015-01-29 2015-05-18 图像修正方法、图像修正装置和视频系统
US14/891,943 US9824428B2 (en) 2015-01-29 2015-05-18 Image correction method, image correction apparatus and video system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510045283.6A CN104574321B (zh) 2015-01-29 2015-01-29 图像修正方法、图像修正装置和视频系统

Publications (2)

Publication Number Publication Date
CN104574321A true CN104574321A (zh) 2015-04-29
CN104574321B CN104574321B (zh) 2018-10-23

Family

ID=53090302

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510045283.6A Active CN104574321B (zh) 2015-01-29 2015-01-29 图像修正方法、图像修正装置和视频系统

Country Status (3)

Country Link
US (1) US9824428B2 (zh)
CN (1) CN104574321B (zh)
WO (1) WO2016119339A1 (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016119339A1 (zh) * 2015-01-29 2016-08-04 京东方科技集团股份有限公司 图像修正方法、图像修正装置和视频系统
CN106161933A (zh) * 2016-06-30 2016-11-23 维沃移动通信有限公司 一种图像处理方法及移动终端
CN108416747A (zh) * 2018-02-27 2018-08-17 平安科技（深圳）有限公司 元素位置修正方法、装置、计算机设备及存储介质
CN108491775A (zh) * 2018-03-12 2018-09-04 维沃移动通信有限公司 一种图像修正方法及移动终端
CN108604378A (zh) * 2015-11-30 2018-09-28 斯纳普公司 视频流的图像分割和修改
CN108965767A (zh) * 2018-07-26 2018-12-07 吴铁 一种改善人与人视频交互体验的视频处理方法及系统
CN108985245A (zh) * 2018-07-25 2018-12-11 深圳市飞瑞斯科技有限公司 眼部位置的确定方法、装置、计算机设备和存储介质
CN109587035A (zh) * 2018-10-24 2019-04-05 北京三快在线科技有限公司 会话界面的头像展示方法、装置、电子设备及存储介质
CN110020578A (zh) * 2018-01-10 2019-07-16 广东欧珀移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN110163806A (zh) * 2018-08-06 2019-08-23 腾讯科技（深圳）有限公司 一种图像处理方法、装置以及存储介质
CN110544317A (zh) * 2019-08-29 2019-12-06 联想(北京)有限公司 图像处理方法、装置、电子设备和可读存储介质
CN111093027A (zh) * 2019-12-31 2020-05-01 联想(北京)有限公司 一种显示方法及电子设备
CN111401459A (zh) * 2020-03-24 2020-07-10 谷元(上海)文化科技有限责任公司 一种动画人物形态变化视觉捕捉系统

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150015680A (ko) * 2013-08-01 2015-02-11 씨제이씨지브이 주식회사 특징점의 생성을 이용한 이미지 보정 방법 및 장치
RU2596062C1 (ru) 2015-03-20 2016-08-27 Автономная Некоммерческая Образовательная Организация Высшего Профессионального Образования "Сколковский Институт Науки И Технологий" Способ коррекции изображения глаз с использованием машинного обучения и способ машинного обучения
ES2912310T3 (es) 2016-01-05 2022-05-25 Reald Spark Llc Corrección de la mirada en imágenes multivista
CN107368775A (zh) * 2017-04-21 2017-11-21 阿里巴巴集团控股有限公司 一种虹膜识别过程中的预览方法及装置
EP3665553B1 (en) 2017-08-08 2023-12-13 RealD Spark, LLC Adjusting a digital representation of a head region
US11017575B2 (en) 2018-02-26 2021-05-25 Reald Spark, Llc Method and system for generating data to provide an animated visual representation
CN110942422A (zh) * 2018-09-21 2020-03-31 北京市商汤科技开发有限公司 一种图像处理方法、装置和计算机存储介质
CN110458121B (zh) * 2019-08-15 2023-03-14 京东方科技集团股份有限公司 一种人脸图像生成的方法及装置
JP7451242B2 (ja) * 2020-03-13 2024-03-18 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
CN111428707B (zh) * 2020-06-08 2020-11-10 北京三快在线科技有限公司 图形识别码的识别方法、装置、存储介质及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101059836A (zh) * 2007-06-01 2007-10-24 华南理工大学 一种人眼定位及人眼状态识别方法
CN102483854A (zh) * 2009-09-11 2012-05-30 皇家飞利浦电子股份有限公司 图像处理系统
CN103310186A (zh) * 2012-02-29 2013-09-18 三星电子株式会社 校正图像中用户的注视方向的方法和便携式终端
CN103426195A (zh) * 2013-09-09 2013-12-04 天津常青藤文化传播有限公司 生成裸眼观看三维虚拟动画场景的方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100307854B1 (ko) * 1999-11-10 2001-11-02 전병우 단일카메라를 이용한 시선 맞춤 보정 방법 및 그 장치
US6806898B1 (en) * 2000-03-20 2004-10-19 Microsoft Corp. System and method for automatically adjusting gaze and head orientation for video conferencing
JP4966816B2 (ja) * 2007-10-25 2012-07-04 株式会社日立製作所 視線方向計測方法および視線方向計測装置
US8897553B2 (en) * 2011-12-13 2014-11-25 The Nielsen Company (Us), Llc Image comparison using color histograms
KR101979669B1 (ko) * 2012-07-13 2019-05-17 삼성전자주식회사 이미지 내 사용자의 시선 보정 방법, 기계로 읽을 수 있는 저장 매체 및 통신 단말
JP5949319B2 (ja) * 2012-08-21 2016-07-06 富士通株式会社 視線検出装置及び視線検出方法
KR20140090538A (ko) * 2013-01-09 2014-07-17 삼성전자주식회사 디스플레이 장치 및 제어 방법
CN105474633B (zh) * 2013-06-17 2019-07-09 瑞尔D斯帕克有限责任公司 控制定向背光的光源
CN103345619A (zh) 2013-06-26 2013-10-09 上海永畅信息科技有限公司 视频聊天中的人眼自然对视自适应矫正方法
JPWO2015136908A1 (ja) * 2014-03-13 2017-04-06 パナソニックＩｐマネジメント株式会社 視線検出装置
KR20150119621A (ko) * 2014-04-16 2015-10-26 삼성전자주식회사 디스플레이 장치 및 그의 이미지 합성 방법
EP3134847A1 (en) * 2014-04-23 2017-03-01 Google, Inc. User interface control using gaze tracking
CN104574321B (zh) 2015-01-29 2018-10-23 京东方科技集团股份有限公司 图像修正方法、图像修正装置和视频系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101059836A (zh) * 2007-06-01 2007-10-24 华南理工大学 一种人眼定位及人眼状态识别方法
CN102483854A (zh) * 2009-09-11 2012-05-30 皇家飞利浦电子股份有限公司 图像处理系统
CN103310186A (zh) * 2012-02-29 2013-09-18 三星电子株式会社 校正图像中用户的注视方向的方法和便携式终端
CN103426195A (zh) * 2013-09-09 2013-12-04 天津常青藤文化传播有限公司 生成裸眼观看三维虚拟动画场景的方法

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9824428B2 (en) 2015-01-29 2017-11-21 Boe Technology Group Co., Ltd. Image correction method, image correction apparatus and video system
WO2016119339A1 (zh) * 2015-01-29 2016-08-04 京东方科技集团股份有限公司 图像修正方法、图像修正装置和视频系统
US11961213B2 (en) 2015-11-30 2024-04-16 Snap Inc. Image segmentation and modification of a video stream
US11663706B2 (en) 2015-11-30 2023-05-30 Snap Inc. Image segmentation and modification of a video stream
CN108604378A (zh) * 2015-11-30 2018-09-28 斯纳普公司 视频流的图像分割和修改
CN108604378B (zh) * 2015-11-30 2023-04-18 斯纳普公司 视频流的图像分割和修改
CN106161933B (zh) * 2016-06-30 2019-05-17 维沃移动通信有限公司 一种图像处理方法及移动终端
CN106161933A (zh) * 2016-06-30 2016-11-23 维沃移动通信有限公司 一种图像处理方法及移动终端
CN110020578A (zh) * 2018-01-10 2019-07-16 广东欧珀移动通信有限公司 图像处理方法、装置、存储介质及电子设备
US11386699B2 (en) 2018-01-10 2022-07-12 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Image processing method, apparatus, storage medium, and electronic device
CN108416747A (zh) * 2018-02-27 2018-08-17 平安科技（深圳）有限公司 元素位置修正方法、装置、计算机设备及存储介质
CN108416747B (zh) * 2018-02-27 2020-07-10 平安科技（深圳）有限公司 元素位置修正方法、装置、计算机设备及存储介质
CN108491775A (zh) * 2018-03-12 2018-09-04 维沃移动通信有限公司 一种图像修正方法及移动终端
CN108985245A (zh) * 2018-07-25 2018-12-11 深圳市飞瑞斯科技有限公司 眼部位置的确定方法、装置、计算机设备和存储介质
CN108965767A (zh) * 2018-07-26 2018-12-07 吴铁 一种改善人与人视频交互体验的视频处理方法及系统
CN110163806A (zh) * 2018-08-06 2019-08-23 腾讯科技（深圳）有限公司 一种图像处理方法、装置以及存储介质
CN110163806B (zh) * 2018-08-06 2023-09-15 腾讯科技（深圳）有限公司 一种图像处理方法、装置以及存储介质
CN109587035A (zh) * 2018-10-24 2019-04-05 北京三快在线科技有限公司 会话界面的头像展示方法、装置、电子设备及存储介质
CN109587035B (zh) * 2018-10-24 2020-08-07 北京三快在线科技有限公司 会话界面的头像展示方法、装置、电子设备及存储介质
CN110544317A (zh) * 2019-08-29 2019-12-06 联想(北京)有限公司 图像处理方法、装置、电子设备和可读存储介质
CN111093027A (zh) * 2019-12-31 2020-05-01 联想(北京)有限公司 一种显示方法及电子设备
CN111401459A (zh) * 2020-03-24 2020-07-10 谷元(上海)文化科技有限责任公司 一种动画人物形态变化视觉捕捉系统

Also Published As

Publication number Publication date
US20160358318A1 (en) 2016-12-08
US9824428B2 (en) 2017-11-21
CN104574321B (zh) 2018-10-23
WO2016119339A1 (zh) 2016-08-04

Similar Documents

Publication Publication Date Title
CN104574321A (zh) 图像修正方法、图像修正装置和视频系统
CN110147744B (zh) 一种人脸图像质量评估方法、装置及终端
WO2023071884A1 (zh) 注视检测方法、电子设备的控制方法及相关设备
CN104331168B (zh) 显示调整方法和电子设备
CN106372629B (zh) 一种活体检测方法和装置
CN109690553A (zh) 执行眼睛注视跟踪的系统和方法
CN105787884A (zh) 一种图像处理方法及电子设备
CN106780389B (zh) 一种基于坐标转换的鱼眼图像校正方法及装置
CN111543934A (zh) 一种视力检测方法、装置、电子产品及存储介质
CN102831392A (zh) 一种远距离虹膜跟踪与采集装置及其方法
KR20150117553A (ko) 시선 추적 방법, 장치 및 컴퓨터 판독가능한 기록 매체
EP3641298A1 (en) Method and device for capturing target object and video monitoring device
CN110123257A (zh) 一种视力检测方法、装置、视力检测仪及计算机存储介质
CN105763829A (zh) 一种图像处理方法及电子设备
US20140111630A1 (en) Systems and methods for iris detection and gaze estimation
WO2019062056A1 (zh) 一种智能投影方法、系统及智能终端
WO2023071882A1 (zh) 人眼注视检测方法、控制方法及相关设备
CN109766007A (zh) 一种显示设备的注视点补偿方法及补偿装置、显示设备
CN109981972A (zh) 一种机器人的目标跟踪方法、机器人及存储介质
US20200125166A1 (en) User-specific eye tracking calibration for near-eye-display (ned) devices
CN113673319B (zh) 异常姿态检测方法、装置、电子装置和存储介质
CN113568595B (zh) 基于ToF相机的显示器组件的控制方法、装置、设备和介质
CN109376595B (zh) 基于人眼注意力的单目rgb摄像头活体检测方法及系统
CN110443147B (zh) 一种坐姿识别方法、系统和存储介质
EP3051386A1 (en) Eye tracking system and method

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant