CN108513668A - 图片处理方法和装置 - Google Patents

图片处理方法和装置 Download PDF

Info

Publication number
CN108513668A
CN108513668A CN201680075523.XA CN201680075523A CN108513668A CN 108513668 A CN108513668 A CN 108513668A CN 201680075523 A CN201680075523 A CN 201680075523A CN 108513668 A CN108513668 A CN 108513668A
Authority
CN
China
Prior art keywords
glasses
straight line
image
slope
lens area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680075523.XA
Other languages
English (en)
Other versions
CN108513668B (zh
Inventor
秦超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN108513668A publication Critical patent/CN108513668A/zh
Application granted granted Critical
Publication of CN108513668B publication Critical patent/CN108513668B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/32—Normalisation of the pattern dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Ophthalmology & Optometry (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)
  • Eyeglasses (AREA)
  • Image Analysis (AREA)

Abstract

一种图片处理方法和装置，通过检测待处理图片中人脸佩戴的眼镜的类型，眼镜的类型为近视眼镜或远视眼镜(101)；并确定眼镜的镜片区域(102)，根据眼镜的类型确定镜片区域的形变模型，该形变模型用于表示眼镜对镜片区域内的图像的形变(103)，然后根据形变模型对镜片区域内的图像进行恢复，以消除眼镜对镜片区域内的图像产生的形变(104)。通过消除眼镜对镜片区域内的图像产生的形变，使得待处理图片更加接近真实的图片，更加美观。

Description

图片处理方法和装置 技术领域
本发明实施例涉及图像处理技术，尤其涉及一种图片处理方法和装置。
背景技术
目前，全球有一半左右的人近视，近视的人中，很多人选择佩戴框架眼镜。佩戴框架眼镜拍出的照片，眼部区域会被镜片折射缩小，而且越靠近眼镜边缘，形变越大，使得脸部的轮廓收缩明显，与镜片未覆盖区域的脸部轮廓，出现明显的转折。
目前手机上有各种人像美化软件，美化软件仅能提供亮眼、祛黑眼圈、眼睛放大等功能。眼睛放大功能仅仅能放大眼球部分，越靠近眼睛中心，放大的越明显，尤其是瞳孔部分。但是，美化软件并不能使整个眼镜区域复原，脸部轮廓还是转折的，而且眼球的位置还要手动选取。
发明内容
本发明实施例提供一种图片处理方法和装置，能够消除眼镜对镜片区域内的图像产生的形变，使得图片更加接近真实的图片，更加美观。
本发明第一方面提供一种图片处理方法，包括：检测待处理图片中人脸佩戴的眼镜的类型，眼镜的类型为近视眼镜或远视眼镜，确定所述眼镜的镜片区域，根据所述眼镜的类型确定所述镜片区域的形变模型，所述形变模型用于表示所述镜片区域内的图像的形变，根据所述形变模型对所述镜片区域内的图像进行恢复，以消除所述眼镜对所述镜片区域内的图像产生的形变。通过消除眼镜对镜片区域内的图像产生的形变，使得待处理图片更加接近真实的图片，更加美观。
在一个可能的实现中，检测所述待处理图片中的人脸图像，确定所述人脸图像的眼睛位置，根据所述人脸图像的眼睛位置提取所述人脸图像的眼镜轮廓，提取所述眼镜轮廓内的纹理特征，根据所述纹理特征确定所述眼镜的类型。
在一个可能的实现中，检测所述待处理图片中的人脸图像，确定所述人脸图像的眼睛位置，根据所述人脸图像的眼睛位置提取所述人脸图像的脸部轮廓特征，根据所述脸部轮廓特征确定所述眼镜的类型。
在一个可能的实现中，根据所述脸部轮廓特征确定所述眼镜的类型，具体为：当所述脸部轮廓向内偏移时，确定所述眼镜的类型为近视眼镜；当所述脸部轮廓向外偏移时，确定所述眼镜的类型为远视眼镜。
在一个可能的实现中，根据所述人脸图像的眼镜轮廓内的纹理特征确定所述眼镜的类型，具体为：根据所述眼镜轮廓内的纹理特征判断所述眼镜轮廓内的纹理是否紧密，当所述眼镜轮廓内的纹理紧密时，确定所述眼镜的类型为近视眼镜，当所述眼镜轮廓内的纹理不紧密时，确定所述眼镜的类型为远视眼镜。
在一个可能的实现中，所述确定所述眼镜的镜片区域，具体为：确定所述待处理图片中人脸的位置，根据所述人脸的肤色特征提取人脸的脸部轮廓特征，根据所述脸部轮廓特征检测所述人脸中眼睛周围的脸部轮廓的转折点，当所述脸部轮廓中检测到超过眼睛高度的转折点时，确定所述转折点间的轮廓为镜片的边框，所述镜片的边框内的区域为所述眼镜的镜片区域。或者，检测所述待处理图片中人脸和眼睛的位置，根据所述人脸和眼睛的位置检测眼睛周围的颜色差别和边缘轮廓，根据所述眼睛周围颜色差别和边缘轮廓确定所述眼镜的边框，所述眼镜的边框内的区域为所述眼镜的镜片区域。
在一个可能的实现中，所述根据所述眼镜的类型确定所述镜片区域的形变模型，具体为：
当所述眼镜的类型为近视眼镜时，确定镜片的光心位置；
经过所述光心、人脸在所述镜片内部的第一轮廓线以及所述人脸在所述镜片外部的第二轮廓线做多条直线；
分别计算每条直线的映射斜率，所述映射斜率为所述形变模型的参数，所述映射斜率大于1；
所述根据所述形变模型对所述镜片区域内的图像进行恢复，包括：
根据每条直线的映射斜率计算每条直线上的每个像素点变形前的位置；
判断每个像素点变形前的位置是否超出所述镜片的边框；
当任一像素点变形前的位置没有超出所述镜片的边框，则保留所述像素点；
当任一像素点变形前的位置超出所述镜片的边框，则丢弃所述像素点；
对保留的所有像素点变形后的位置进行插值和平滑处理，得到所述镜片区域内的图像恢复后的图像。
当所述眼镜的类型为远视眼镜时，确定镜片的光心位置；
经过所述光心、人脸在所述镜片内部的第一轮廓线以及所述人脸在所述镜片外部的第二轮廓线做多条直线；
分别计算每条直线的映射斜率，所述映射斜率为所述形变模型的参数，所述映射斜率小于1；
所述根据所述形变模型对所述镜片区域内的图像进行恢复，包括：
根据每条直线的映射斜率计算每条直线上的任意一个像素点变形前的位置；
根据所述镜片区域内的所有像素点变形前的位置得到第一图像，所述第一图像与所述镜片的边框之间具有空白区间；
使用所述镜片区域外的像素或所述第一图像内的像素填补所述空白区间；
对所述第一图像的像素点和所述空白区间的像素点进行插值和平滑处理，得到所述镜片区域内的图像恢复后的图像。
在一个可能的实现中，所述多条直线的斜率相同。
在一个可能的实现中，所述多条直线的斜率不相同，所述分别计算每条直线的映射斜率，包括：
计算第一直线的斜率，所述第一直线为所述多条直线中的任意一条直线；
计算与第一直线相邻的第二直线的斜率；
根据所述第一直线的斜率与第二直线的斜率计算斜率的变化率；
根据所述斜率的变化率和第一直线的斜率计算其他直线的斜率。
本发明第二方面提供一种图片处理装置，包括：存储器和处理器，所述存储器用于存储指令，所述处理器用于执行所述存储器中存储的指令以 执行如下方法：
检测待处理图片中人脸佩戴的眼镜的类型，所述眼镜的类型为近视眼镜或远视眼镜；
确定所述眼镜的镜片区域；
根据所述眼镜的类型确定所述镜片区域的形变模型，所述形变模型用于表示所述眼镜对所述镜片区域内的图像的形变；
根据所述形变模型对所述镜片区域内的图像进行恢复，以消除所述眼镜对所述镜片区域内的图像产生的形变。
在一个可能的实现中，在检测待处理图片中的人脸佩戴的眼镜的类型时，所述处理器具体用于：
检测所述待处理图片中的人脸图像，确定所述人脸图像的眼睛位置；
根据所述人脸图像的眼睛位置提取所述人脸图像的眼镜轮廓特征；
提取所述人脸图像的眼镜轮廓内的纹理特征，根据所述人脸图像的眼镜轮廓内的纹理特征确定所述眼镜的类型。
或者，检测所述待处理图片中的人脸图像，确定所述人脸图像的眼睛位置；
根据所述人脸图像的眼睛位置提取所述人脸图像的脸部轮廓特征；
根据所述脸部轮廓特征确定所述眼镜的类型。
在一个可能的实现中，当所述脸部轮廓向内偏移时，确定所述眼镜的类型为近视眼镜，当所述脸部轮廓向外偏移时，确定所述眼镜的类型为远视眼镜。
在一个可能的实现中，当所述眼镜轮廓内的纹理紧密时，确定所述眼镜的类型为近视眼镜，当所述眼镜轮廓内的纹理不紧密时，确定所述眼镜的类型为远视眼镜。
在一个可能的实现中，当确定所述眼镜的镜片区域时，所述处理器具体用于：确定所述待处理图片中人脸的位置，根据所述人脸的肤色特征提取人脸的脸部轮廓特征，根据所述脸部轮廓特征检测所述人脸中眼睛周围的脸部轮廓的转折点，当所述脸部轮廓中检测到超过眼睛高度的转折点时，确定所述转折点间的轮廓为镜片的边框，所述镜片的边框内的区域为所述眼镜的镜片区域。或者，检测所述待处理图片中人脸和眼睛的位置，根据 所述人脸和眼睛的位置检测眼睛周围的颜色差别和边缘轮廓，根据所述眼睛周围颜色差别和边缘轮廓确定所述眼镜的边框，所述眼镜的边框内的区域为所述眼镜的镜片区域。
在一个可能的实现中，当根据眼镜的类型确定所述镜片区域的形变模型时，所述处理器具体用于：
当所述眼镜的类型为近视眼镜时，确定镜片的光心位置；
经过所述光心、人脸在所述镜片内部的第一轮廓线以及所述人脸在所述镜片外部的第二轮廓线做多条直线；
分别计算每条直线的映射斜率，所述映射斜率为所述形变模型的参数，所述映射斜率大于1；
根据每条直线的映射斜率计算每条直线上的每个像素点变形前的位置；
判断每个像素点变形前的位置是否超出所述镜片的边框；
当任一像素点变形前的位置没有超出所述镜片的边框，则保留所述像素点；
当任一像素点变形前的位置超出所述镜片的边框，则丢弃所述像素点；
对保留的所有像素点变形后的位置进行插值和平滑处理，得到所述镜片区域内的图像恢复后的图像。
或者，当所述眼镜的类型为远视眼镜时，确定镜片的光心位置；
经过所述光心、人脸在所述镜片内部的第一轮廓线以及所述人脸在所述镜片外部的第二轮廓线做多条直线；
分别计算每条直线的映射斜率，所述映射斜率为所述形变模型的参数，所述映射斜率小于1；
根据每条直线的映射斜率计算每条直线上的任意一个像素点变形前的位置；
根据所述镜片区域内的所有像素点变形前的位置得到第一图像，所述第一图像与所述镜片的边框之间具有空白区间；
使用所述镜片区域外的像素或所述第一图像内的像素填补所述空白区间；
对所述第一图像的像素点和所述空白区间的像素点进行插值和平滑 处理，得到所述镜片区域内的图像恢复后的图像。
在一个可能的实现中，所述多条直线的斜率相同。
在一个可能的实现中，所述多条直线的斜率不相同，所述处理器具体用于：
计算第一直线的斜率，所述第一直线为所述多条直线中的任意一条直线；
计算与第一直线相邻的第二直线的斜率；
根据所述第一直线的斜率与第二直线的斜率计算斜率的变化率；
根据所述斜率的变化率和第一直线的斜率计算其他直线的斜率。
本发明实施例提供一种图片处理方法和装置，通过检测待处理图片中人脸佩戴的眼镜的类型，并确定眼镜的镜片区域，根据眼镜的类型确定镜片区域的形变模型，形变模型用于表示眼镜对镜片区域内的图像的形变，然后根据形变模型对镜片区域内的图像进行恢复，以消除眼镜对镜片区域内的图像产生的形变。通过消除眼镜对镜片区域内的图像产生的形变，使得待处理图片更加接近真实的图片，更加美观。
附图说明
图1为本发明实施例一提供的图片处理方法的流程图；
图2a为具有明显边框眼镜的示意图；
图2b为具有不明显边框眼镜的示意图；
图3为本发明实施例二提供的眼镜类型的检测方法的流程图；
图4为本发明实施例三提供的镜片区域的确定方法的流程图；
图5为边框明显的眼镜的镜片区域的检测示意图；
图6为本发明实施例四提供的镜片区域的确定方法的流程图；
图7为边框不明显的眼镜的镜片区域的检测示意图；
图8为本发明实施例五提供的确定镜片区域的形变模型的方法的流程图；
图9为近视眼镜的镜片变形的示意图；
图10为远视眼镜的镜片变形的示意图；
图11为本发明实施例六提供的图片处理装置的结构示意图；
图12为本发明实施例七提供的图片处理装置的结构示意图
具体实施方式
图1为本发明实施例一提供的图片处理方法的流程图，本实施例的方法由图像处理装置执行，该图像处理装置具体可以为智能手机、平板电脑、台式电脑等，如图1所示，本实施例的方法包括以下步骤：
步骤101、检测待处理图片中人脸佩戴的眼镜的类型，眼镜的类型为近视眼镜或远视眼镜。
通过图像检测可以检测出待处理图片中的人脸图像，进而可以检测出人脸是否佩戴眼镜，如果人脸佩戴眼镜，进一步能够检测出眼镜的类型，常见的眼镜类型为近视眼镜和远视眼镜。近视眼镜会将镜片区域内的图像缩小，远视眼镜会将镜片区域内的图像放大，因此，本实施例中针对不同类型的眼镜对镜片区域内的图像的恢复方法有所不同。
步骤102、确定眼镜的镜片区域。
眼镜主要分为两种：一种是边框明显的眼镜，一种是边框不明显的眼镜。图2a为具有明显边框的眼镜，图2b为具有不明显边框的眼镜。图2a中的眼镜的整个镜片都被外边框包围了，且外边框一般颜色较深、边框较粗，容易进行检测和分辨。图2b中的眼镜只有镜片的上部被边框包围，镜片下部边缘裸露，且边框较细，不容易检测和分辨。因此，本实施例中可以针对两种不同边框的眼镜分别采用不同的方法确定镜片区域。
步骤103、根据眼镜的类型确定镜片区域的形变模型，该形变模型用于表示眼镜对镜片区域内的图像的形变。
不同的眼镜类型的形变模型不同，近视眼镜主要将镜片区域的图像进行了缩小，因此，形变模型表示镜片区域内图像的缩小比例。远视眼镜主要将镜片区域内的图像进行了放大，因此，形变模型表示镜片区域内图像的放大比例。影响镜片区域内的图像的变形程度主要有以下三个因素：(1)像素点距离镜片的光心的距离，形变是以镜片的光心为中心向外辐射，像素点距离光心越远，则形变程度越大。(2)像素点距离镜片所在平面的距离，人脸为立体结构，人脸上的不同像素点与镜片所在平面的距离不同，像素点距离镜片所在平面的距离越大，形变程度越大。(3)镜片度数大 小，对于同一个像素点，镜片度数越高，形变程度越大，像素点变形后的位置距离变形前的位置越远。
本实施例中，镜片区域内的形变模型可以包含一维函数或二维函数，并且镜片区域内的形变模型可以包括一个或多个函数。
步骤104、根据形变模型对镜片区域内的图像进行恢复，以消除眼镜对镜片区域内的图像产生的形变。
对于近视眼镜，由于镜片对图像进行了缩小，因此在对图像进行恢复时，需要根据形变模型对镜片区域内的像素点进行放大，使得镜片区域内的图像整体向外(即向远离光心的方向)移动，移动后的像素点可能超出镜片的边框，丢弃超出镜片边框的像素点，保留没有超出镜片边框的像素点，对于保留的所有像素点进行插值和平滑处理，得到镜片区域内的图像恢复后的图像。通过对镜片区域内的图像进行放大，使得镜片区域内的图像与镜片区域外的图像十分接近，看起来相当于没有带近视眼镜时的效果。
对于远视眼镜，由于镜片对图像进行了放大，因此在对图像进行恢复时，需要根据形变模型对镜片区域内的像素点进行缩小，使得镜片区域内的图像整体向内(即向光心方向)移动，移动后的像素点与镜片的边框之间会出现空白区间，空白区间内没有像素点，因此，需要对空白区间进行像素填充，可以使用镜片区域外的像素或镜片区域内的图像变形后的像素填补空白区间，在填补空白区间后，对于镜片区域内的所有像素点进行插值和平滑处理，得到镜片区域内的图像恢复后的图像。通过对镜片区域内的图像进行缩小，使得镜片区域内的图像与镜片区域外的图像十分接近，看起来相当于没有带远视眼镜时的效果。
本实施例，通过检测待处理图片中人脸佩戴的眼镜的类型，并确定眼镜的镜片区域，根据眼镜的类型确定镜片区域的形变模型，形变模型用于表示眼镜对镜片区域内的图像的形变，然后根据形变模型对镜片区域内的图像进行恢复，以消除眼镜对镜片区域内的图像产生的形变。通过消除眼镜对镜片区域内的图像产生的形变，使得待处理图片更加接近真实的图片，更加美观。
下面采用几个具体的实施例，对图1所示方法实施例的技术方案进行详细说明。
在上述实施例一的基础上，本发明实施例二提供一种眼镜类型的检测方法，主要用于对实施例一中步骤101进行详细描述，图3为本发明实施例二提供的眼镜类型的检测方法的流程图，如图3所示，本实施例的方法可以包括以下步骤：
步骤201、检测待处理图片中的人脸图像，确定人脸图像的眼睛位置。
可以采用已有的方法检测人脸图像和眼睛位置，此处不再赘述。
步骤202、根据人脸图像的眼睛位置提取人脸图像的眼镜轮廓特征。
步骤203、提取人脸图像的眼镜轮廓内的纹理特征，根据人脸图像的眼镜轮廓内的纹理特征确定眼镜的类型。
具体可以根据眼镜轮廓内的纹理特征判断眼镜轮廓内的纹理是否紧密，当眼镜轮廓内的纹理紧密时，确定眼镜的类型为近视眼镜，当眼镜轮廓内的纹理不紧密时，确定眼镜的类型为远视眼镜。这是由于近视眼镜对镜片区域内的图像进行了缩小，所以眼镜轮廓内的纹理紧密，远视眼镜对镜片区域内的图像进行了放大，所以眼镜轮廓内的纹理稀疏，从而根据眼镜轮廓内的纹理是否紧密可以确定眼镜的类型。在确定眼镜轮廓内的纹理是否紧密时，可以将眼镜轮廓内的纹理与眼镜轮廓外的纹理进行比较，当眼镜轮廓内的纹理比眼镜轮廓外的纹理紧密时，确定眼镜轮廓内的纹理紧密，当眼镜轮廓内的纹理比眼镜轮廓外的纹理稀疏时，确定眼镜轮廓内的纹理不紧密。
当然，还可以通过其他方式确定眼镜类型，例如，在另一种实现方式中，先检测待处理图片中的人脸图像，确定人脸图像的眼睛位置，根据人脸图像的眼睛位置提取人脸图像的脸部轮廓特征，根据人脸图像的脸部轮廓特征确定眼镜的类型。具体的，当脸部轮廓向内偏移时，确定眼镜的类型为近视眼镜，当脸部轮廓向外偏移时，确定眼镜的类型为远视眼镜。
在上述实施例一的基础上，本发明实施例三提供一种镜片区域的确定方法，主要用于对实施例一中步骤102进行详细描述，本实施例主要针对的是边框明显的眼镜，图4为本发明实施例三提供的镜片区域的确定方法的流程图，如图4所示，本实施例的方法可以包括以下步骤：
步骤301、检测待处理图片中人脸和眼睛的位置。
步骤302、根据人脸和眼睛的位置检测眼睛周围的颜色差别和边缘轮 廓。
步骤303、根据眼睛周围颜色差别和边缘轮廓确定眼镜的边框，眼镜的边框内的区域为眼镜的镜片区域。
由于眼镜边框的颜色与皮肤的颜色差别较大，根据眼睛周围的颜色差别可以区别开眼镜边框和皮肤，进一步根据边缘轮廓确定眼镜的边框。图5为边框明显的眼镜的镜片区域的检测示意图，如图5所示，不仅能够检测出镜片区域，还可以检测出镜片的外边框和内边框。
在上述实施例一的基础上，本发明实施例四提供一种镜片区域的确定方法，主要用于对实施例一中步骤102进行详细描述，本实施例主要针对的是边框不明显的眼镜，图6为本发明实施例四提供的镜片区域的确定方法的流程图，如图6所示，本实施例的方法可以包括以下步骤：
步骤401、确定待处理图片中人脸的位置。
步骤402、根据人脸的肤色特征提取人脸的脸部轮廓特征。
通过肤色相似度计算，可以将肤色区域和非肤色区域区别开，从而获取到人脸的脸部轮廓特征。
步骤403、根据脸部轮廓特征检测人脸中眼睛周围的脸部轮廓的转折点。
对于边框不明显的眼镜，无法利用眼镜周围的颜色差别确定眼镜边框，本实施例中获取眼镜周围脸部轮廓的转折点，根据眼睛周围的脸部轮廓的转折点确定眼镜边框。具体可以采用Sobel算子，Canny算子、Robbert算子、Laplacian算子或Prewitt算子等检测眼睛周围的脸部轮廓的边缘线。对于边缘线的方向，可通过Hough变换进行形状拟合，然后再求出拟合后的边缘线的方向。根据边缘线的方向判断人脸轮廓是否具有转折点，当边缘线的方向不连续时，确定脸部轮廓具有转折点，当边缘线的方向连续时，确定脸部轮廓不具有转折点。
步骤404、当脸部轮廓中检测到超过眼睛高度的转折点时，确定转折点间的轮廓为镜片的边框，边框内的区域为眼镜的镜片区域。
当人脸佩戴眼镜时，眼镜会将人脸轮廓遮挡，导致人脸轮廓中具有转折点，所以当人脸中检测到超过眼睛高度的转折点时说明人脸佩戴眼镜。图7为边框不明显的眼镜的镜片区域的检测示意图，如图7所示，人脸佩 戴边框不明显的眼镜，边框不明显的眼镜高于眼睛高度的一侧具有边框，低于眼睛高度的一侧不具有边框，由于眼镜将人脸轮廓遮挡了，导致脸部两侧高于眼睛位置的脸部轮廓有转折点，因此可以确定转折点间的轮廓为镜片的边框。
在上述实施例一的基础上，本发明实施例五提供一种确定镜片区域的形变模型的方法，主要用于对实施例一中步骤103进行详细描述，图8为本发明实施例五提供的确定镜片区域的形变模型的方法的流程图，如图8所示，本实施例的方法可以包括以下步骤：
步骤501、当眼镜的类型为近视眼镜时，确定镜片的光心位置。
光心可以是镜片的中心位置，通常光心与眼睛瞳孔的中心重合，因此，光心也可以是瞳孔的中心位置。根据镜片的光学特征，通过镜片光心的光线不会改变方向，而通过镜片其他区域的光线，都会被折射而改变方向。
步骤502、经过光心、人脸在镜片内部的第一轮廓线以及人脸在镜片外部的第二轮廓线做多条直线。
步骤503、分别计算每条直线的映射斜率，映射斜率为形变模型的参数，映射斜率大于1。
图9为近视眼镜的镜片变形的示意图，如图9所示，O表示光心，f表示第一轮廓线，g表示第二轮廓线，p表示过光心、第一轮廓线和第二轮廓线的任意直线，本实施例以第一直线p为例说明如何计算直线p上的像素点的映射斜率，当然第一直线也可以为图9所示的q直线，A为第一直线p与第一轮廓线f的交点，B为第一直线p与第二轮廓线g的交点。
在确定第一直线后，可以计算出第一直线上的像素点的一维形变函数，该一维形变函数的参数可以为第一直线的斜率。以图9所示例子为例，图9中坐标系的原点对应光心O位置，X轴表示镜片内的图像变形后的尺寸，Y轴表示镜片内的图像变形前的尺寸。在X轴方向上，向原点左右扩展表示沿p直线方向距离光心O的距离。图中直线OP1和OP2表示镜片内的图像的形变尺寸(图上尺寸)到实际尺寸的映射关系，OP1和OP2的斜率相同，且斜率大于1，该直线OP1应该满足的约束条件是：OP1等于镜片外的脸部轮廓边缘上的任意像素点与对应的镜片内的脸部边缘上的像素点的尺寸的比值，例如，OB与OA的比值。图中OA表示光心O到第一 轮廓线f的第一距离，OB表示光心O到第二轮廓线g的第二距离，OA在变形后的尺寸为OA’，经过直线OP1的映射后，在纵轴上得出其变形前的尺寸OB’，同理可以得到第一直线p上其他的点形变前的尺寸。由于镜片是中心对称的，OP2可由OP1镜像得到，图9中斜率为1的虚线表示平光镜形变函数，平光镜不会对像素点产生形变。
可选的，本实施例中，多条直线的斜率可以相同，也可以不同。当多条直线的斜率相同时，在确定第一直线的斜率后，即得到了所有直线的斜率。当多条直线的斜率不相同时，一种方法中，过光心做直线q，由镜片的中心对称性，采用与直线p相同的方法得到直线q的斜率，同理可以求得所有过光心的直线的斜率，从而根据直线的斜率可以得到镜片区域内任意一个像素点复原后位置。实际中，过光心的直线都间隔很小的角度，因此可以求出有限条直线的斜率。
另一种方法中，在计算出第一直线的斜率后，根据第一直线的斜率与相邻直线的斜率计算斜率的变化率，根据斜率的变化率和第一直线的斜率计算其他直线的斜率，从而得到镜片区域内有限条直线的斜率。
在计算出每条直线的斜率后，根据直线的斜率对镜片区域内的图像进行恢复，具体的：先根据每条直线的映射斜率计算每条直线上的每个像素点变形前的位置，然后判断每个像素点变形前的位置是否超出镜片的边框，当任一像素点变形前的位置没有超出镜片的边框，则保留该像素点，当任一像素点变形前的位置超出镜片的边框，则丢弃该像素点，对保留的所有像素点变形后的位置进行插值和平滑处理，得到镜片区域内的图像恢复后的图像。
可选的，镜片形变模型可以用极坐标表示，则形变模型p(x,θ)＝P(f(x),g(θ))，其中，g(θ))＝θ，f(x)＝h(x)x，x表示像素点到光心的距离，θ表示两条直线之间的夹角，h(x)即是图中通过光心的一个截面的形变参数。
实施例五以近视眼镜为例进行说明，确定近视眼镜的镜片区域的形变模型的方法与确定远视眼镜的镜片区域的形变模型的方法类似。图10为远视眼镜的镜片变形的示意图，如图10所示，O表示光心，过光心做了两条直线m和直线n，直线m与眼镜边框的交点为P1和P2，直线n与眼 镜边框的交点为P3和P4。图10中X轴表示镜片内的图像变形后的尺寸，Y轴表示镜片内的图像变形前的尺寸，OM1和OM2表示镜片内的图像的形变尺寸到实际尺寸的映射关系，OM1和OM2的斜率相同，与近视眼镜不同的是，OM1和OM2的斜率小于1，因此，在远视眼镜中，如图10所示，像素点F’形变后的位置为F，OA1表示像素点F形变后的尺寸，经过OM1映射后得到像素点F未变形前的实际尺寸OA2。
对于远视眼镜，在确定计算出每条直线的斜率后，根据每条直线的映射斜率计算每条直线上的任意一个像素点变形前的位置，根据镜片区域内的所有像素点变形前的位置得到第一图像，第一图像与镜片的边框之间具有空白区间，使用镜片区域外的像素或第一图像内的像素填补该空白区间，对第一图像的像素点和空白区间的像素点进行插值和平滑处理，得到镜片区域内的图像恢复后的图像。
需要说明的是，本发明实施例的方法可以用在拍摄完照片后，对静态的图片进行后处理，也可以用在拍摄照片前的预览或者视频的录制过程中，实时对戴眼镜的人脸进行处理，直接展示或者存储眼镜区域恢复后的视频流。对于处理的图像，上述实施例虽然以图像包括一个人脸为例进行说明，但是本发明实施例的应用场景不限于只包含一个人脸的图像，也可以用于包含多个人脸的图像。多人脸处理与单人脸的处理区别在于第一步的检测中，若检测出一个人脸，则进行一个人脸的复原处理；若检测出多个人脸，则对检测出的每一个人脸，用处理一个人脸的方法，分别进行独立的处理。
图11为本发明实施例六提供的图片处理装置的结构示意图，如图11所示，本实施例的图片处理装置包括：
检测模块11，用于检测待处理图片中人脸佩戴的眼镜的类型，所述眼镜的类型为近视眼镜或远视眼镜；
镜片确定模块12，用于确定所述眼镜的镜片区域；
形变确定模块13，用于根据所述眼镜的类型确定所述镜片区域的形变模型，所述形变模型用于表示所述眼镜对所述镜片区域内的图像的形变；
形变恢复模块14，用于根据所述形变模型对所述镜片区域内的图像进行恢复，以消除所述眼镜对所述镜片区域内的图像产生的形变。
可选的，所述检测模块11具体用于：
检测所述待处理图片中的人脸图像，确定所述人脸图像的眼睛位置；
根据所述人脸图像的眼睛位置提取所述人脸图像的眼镜轮廓特征；
提取所述人脸图像的眼镜轮廓内的纹理特征，根据所述人脸图像的眼镜轮廓内的纹理特征确定所述眼镜的类型。
或者，检测所述待处理图片中的人脸图像，确定所述人脸图像的眼睛位置；
根据所述人脸图像的眼睛位置提取所述人脸图像的脸部轮廓特征；
根据所述脸部轮廓特征确定所述眼镜的类型。
可选的，根据所述脸部轮廓特征确定所述眼镜的类型，具体为：当所述脸部轮廓向内偏移时，确定所述眼镜的类型为近视眼镜，当所述脸部轮廓向外偏移时，确定所述眼镜的类型为远视眼镜。
可选的，根据所述人脸图像的眼镜轮廓内的纹理特征确定所述眼镜的类型，具体为：根据所述眼镜轮廓内的纹理特征判断所述眼镜轮廓内的纹理是否紧密，当所述眼镜轮廓内的纹理紧密时，确定所述眼镜的类型为近视眼镜；当所述眼镜轮廓内的纹理不紧密时，确定所述眼镜的类型为远视眼镜。
可选的，所述镜片确定模块12具体用于：
确定所述待处理图片中人脸的位置；
根据所述人脸的肤色特征提取人脸的脸部轮廓特征；
根据所述脸部轮廓特征检测所述人脸中眼睛周围的脸部轮廓的转折点；
当所述脸部轮廓中检测到超过眼睛高度的转折点时，确定所述转折点间的轮廓为镜片的边框，所述镜片的边框内的区域为所述眼镜的镜片区域。
可选的，形变确定模块13具体用于：
当所述眼镜的类型为近视眼镜时，确定镜片的光心位置；
经过所述光心、人脸在所述镜片内部的第一轮廓线以及所述人脸在所述镜片外部的第二轮廓线做多条直线；
分别计算每条直线的映射斜率，所述映射斜率为所述形变模型的参数，所述映射斜率大于1；
相应的，形变恢复模块14具体用于：
根据每条直线的映射斜率计算每条直线上的每个像素点变形前的位置；
判断每个像素点变形前的位置是否超出所述镜片的边框；
当任一像素点变形前的位置没有超出所述镜片的边框，则保留所述像素点；
当任一像素点变形前的位置超出所述镜片的边框，则丢弃所述像素点；
对保留的所有像素点变形后的位置进行插值和平滑处理，得到所述镜片区域内的图像恢复后的图像。
可选的，形变确定模块13具体用于：
当所述眼镜的类型为远视眼镜时，确定镜片的光心位置；
经过所述光心、人脸在所述镜片内部的第一轮廓线以及所述人脸在所述镜片外部的第二轮廓线做多条直线；
分别计算每条直线的映射斜率，所述映射斜率为所述形变模型的参数，所述映射斜率小于1；
相应的，形变恢复模块14具体用于：
根据每条直线的映射斜率计算每条直线上的任意一个像素点变形前的位置；
根据所述镜片区域内的所有像素点变形前的位置得到第一图像，所述第一图像与所述镜片的边框之间具有空白区间；
使用所述镜片区域外的像素或所述第一图像内的像素填补所述空白区间；
对所述第一图像的像素点和所述空白区间的像素点进行插值和平滑处理，得到所述镜片区域内的图像恢复后的图像。
可选的，所述多条直线的斜率相同。
可选的，所述多条直线的斜率不相同，形变确定模块13具体用于：
计算第一直线的斜率，所述第一直线为所述多条直线中的任意一条直线；
计算与第一直线相邻的第二直线的斜率；
根据所述第一直线的斜率与第二直线的斜率计算斜率的变化率；
根据所述斜率的变化率和第一直线的斜率计算其他直线的斜率。
本实施例的装置，可用于执行实施例一至实施例五的方法，具体实现方式和技术效果类似，这里不再赘述。
需要说明的是，应理解以上图片处理装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是，或者也可以不是物理上分开的，作为单元显示的部件可以是，或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
图12为本发明实施例七提供的图片处理装置的结构示意图，如图12所示，本实施例的图片处理装置包括处理器21和存储器22，存储器22通过总线与处理器21连接并通信，存储器22用于存储指令，所述处理器21用于执行所述存储器22中存储的指令，以使所述图片处理装置执行上述方法实施例一至实施例五的方法，具体实现方式和技术效果类似，这里不再赘述。
可选的，所述图片处理装置还可以包括发送器和接收器，发送器用于向其他设备发送数据，接收器用于接收其他设备发送的数据。
可以理解，上述提及的处理器可以是中央处理器(CPU)，通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)，现场可编程门阵列(FPGA)或者其他可编程逻辑器件、晶体管逻辑器件，硬件部件或者其任意组合。其可以实现或执行结合本发明公开内容所描述的各种示例性的逻辑方框，模块和电路。所述处理器也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等等。
本发明实施例所述的总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(Peripheral Component，PCI)总线或扩展工业标准体系结构(Extended Industry Standard Architecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，本发明附图中的总线并不限定仅有一根总线或一种类型的总线。

Claims (20)

  1. 一种图片处理方法，其特征在于，包括：
    检测待处理图片中人脸佩戴的眼镜的类型，所述眼镜的类型为近视眼镜或远视眼镜；
    确定所述眼镜的镜片区域；
    根据所述眼镜的类型确定所述镜片区域的形变模型，所述形变模型用于表示所述眼镜对所述镜片区域内的图像的形变；
    根据所述形变模型对所述镜片区域内的图像进行恢复，以消除所述眼镜对所述镜片区域内的图像产生的形变。
  2. 根据权利要求1所述的方法，其特征在于，所述检测待处理图片中人脸佩戴的眼镜的类型，包括：
    检测所述待处理图片中的人脸图像，确定所述人脸图像的眼睛位置；
    根据所述人脸图像的眼睛位置提取所述人脸图像的眼镜轮廓；
    提取所述眼镜轮廓内的纹理特征，根据所述纹理特征确定所述眼镜的类型。
  3. 根据权利要求1所述的方法，其特征在于，所述检测待处理图片中人脸佩戴的眼镜的类型，包括：
    检测所述待处理图片中的人脸图像，确定所述人脸图像的眼睛位置；
    根据所述人脸图像的眼睛位置提取所述人脸图像的脸部轮廓特征；
    根据所述脸部轮廓特征确定所述眼镜的类型。
  4. 根据权利要求3所述的方法，其特征在于，所述根据所述脸部轮廓特征确定所述眼镜的类型，包括：
    当所述脸部轮廓向内偏移时，确定所述眼镜的类型为近视眼镜；
    当所述脸部轮廓向外偏移时，确定所述眼镜的类型为远视眼镜。
  5. 根据权利要求2所述的方法，其特征在于，所述根据所述纹理特征确定所述眼镜的类型，包括：
    根据所述眼镜轮廓内的纹理特征判断所述眼镜轮廓内的纹理是否紧密；
    当所述眼镜轮廓内的纹理紧密时，确定所述眼镜的类型为近视眼镜；
    当所述眼镜轮廓内的纹理不紧密时，确定所述眼镜的类型为远视眼镜。
  6. 根据权利要求1-5任一项所述的方法，其特征在于，所述确定所述眼镜的镜片区域，包括：
    确定所述待处理图片中人脸的位置；
    根据所述人脸的肤色特征提取人脸的脸部轮廓特征；
    根据所述脸部轮廓特征检测所述人脸中眼睛周围的脸部轮廓的转折点；
    当检测到超过眼睛高度的转折点时，确定所述转折点间的轮廓为镜片的边框，所述镜片的边框内的区域为所述眼镜的镜片区域。
  7. 根据权利要求1-6任一项所述的方法，其特征在于，所述根据所述眼镜的类型确定所述镜片区域的形变模型，包括：
    当所述眼镜的类型为近视眼镜时，确定镜片的光心位置；
    经过所述光心、人脸在所述镜片内部的第一轮廓线以及所述人脸在所述镜片外部的第二轮廓线做多条直线；
    分别计算每条直线的映射斜率，所述映射斜率为所述形变模型的参数，所述映射斜率大于1；
    所述根据所述形变模型对所述镜片区域内的图像进行恢复，包括：
    根据每条直线的映射斜率计算每条直线上的每个像素点变形前的位置；
    判断每个像素点变形前的位置是否超出所述镜片的边框；
    像素点变形前的位置没有超出所述镜片的边框，则保留所述像素点；
    像素点变形前的位置超出所述镜片的边框，则丢弃所述像素点；
    对保留的所有像素点变形后的位置进行插值和平滑处理，得到所述镜片区域内的图像恢复后的图像。
  8. 根据权利要求1-6任一项所述的方法，其特征在于，所述根据所述眼镜的类型确定所述镜片区域的形变模型，包括：
    当所述眼镜的类型为远视眼镜时，确定镜片的光心位置；
    经过所述光心、人脸在所述镜片内部的第一轮廓线以及所述人脸在所述镜片外部的第二轮廓线做多条直线；
    分别计算每条直线的映射斜率，所述映射斜率为所述形变模型的参数，所述映射斜率小于1；
    所述根据所述形变模型对所述镜片区域内的图像进行恢复，包括：
    根据每条直线的映射斜率计算每条直线上的任意一个像素点变形前的位置；
    根据所述镜片区域内的所有像素点变形前的位置得到第一图像，所述第一图像与所述镜片的边框之间具有空白区间；
    使用所述镜片区域外的像素或所述第一图像内的像素填补所述空白区间；
    对所述第一图像的像素点和所述空白区间的像素点进行插值和平滑处理，得到所述镜片区域内的图像恢复后的图像。
  9. 根据权利要求7或8所述的方法，其特征在于，所述多条直线的斜率相同。
  10. 根据权利要求7或8所述的方法，其特征在于，所述多条直线的斜率不相同，所述分别计算每条直线的映射斜率，包括：
    计算第一直线的斜率，所述第一直线为所述多条直线中的任意一条直线；
    计算与第一直线相邻的第二直线的斜率；
    根据所述第一直线的斜率与第二直线的斜率计算斜率的变化率；
    根据所述斜率的变化率和第一直线的斜率计算其他直线的斜率。
  11. 一种图片处理装置，其特征在于，包括：存储器和处理器，所述存储器用于存储指令，所述处理器用于执行所述存储器中存储的指令以执行如下方法：
    检测待处理图片中人脸佩戴的眼镜的类型，所述眼镜的类型为近视眼镜或远视眼镜；
    确定所述眼镜的镜片区域；
    根据所述眼镜的类型确定所述镜片区域的形变模型，所述形变模型用于表示所述眼镜对所述镜片区域内的图像的形变；
    根据所述形变模型对所述镜片区域内的图像进行恢复，以消除所述眼镜对所述镜片区域内的图像产生的形变。
  12. 根据权利要求11所述的装置，其特征在于，所述处理器具体用于：
    检测所述待处理图片中的人脸图像，确定所述人脸图像的眼睛位置；
    根据所述人脸图像的眼睛位置提取所述人脸图像的眼镜轮廓；
    提取所述眼镜轮廓内的纹理特征，根据所述纹理特征确定所述眼镜的类型。
  13. 根据权利要求11所述的装置，其特征在于，所述处理器具体用于：
    检测所述待处理图片中的人脸图像，确定所述人脸图像的眼睛位置；
    根据所述人脸图像的眼睛位置提取所述人脸图像的脸部轮廓特征；
    根据所述脸部轮廓特征确定所述眼镜的类型。
  14. 根据权利要求13所述的装置，其特征在于，所述处理器具体用于：
    当所述脸部轮廓向内偏移时，确定所述眼镜的类型为近视眼镜；
    当所述脸部轮廓向外偏移时，确定所述眼镜的类型为远视眼镜。
  15. 根据权利要求12所述的装置，其特征在于，所述处理器具体用于：
    根据所述眼镜轮廓内的纹理特征判断所述眼镜轮廓内的纹理是否紧密；
    当所述眼镜轮廓内的纹理紧密时，确定所述眼镜的类型为近视眼镜；
    当所述眼镜轮廓内的纹理不紧密时，确定所述眼镜的类型为远视眼镜。
  16. 根据权利要求11-15任一项所述的装置，其特征在于，所述处理器具体用于：
    确定所述待处理图片中人脸的位置；
    根据所述人脸的肤色特征提取人脸的脸部轮廓特征；
    根据所述脸部轮廓特征检测所述人脸中眼睛周围的脸部轮廓的转折点；
    当检测到超过眼睛高度的转折点时，确定所述转折点间的轮廓为镜片的边框，所述镜片的边框内的区域为所述眼镜的镜片区域。
  17. 根据权利要求11-16任一项所述的装置，其特征在于，所述处理器具体用于：
    当所述眼镜的类型为近视眼镜时，确定镜片的光心位置；
    经过所述光心、人脸在所述镜片内部的第一轮廓线以及所述人脸在所述镜片外部的第二轮廓线做多条直线；
    分别计算每条直线的映射斜率，所述映射斜率为所述形变模型的参数，所述映射斜率大于1；
    根据每条直线的映射斜率计算每条直线上的每个像素点变形前的位置；
    判断每个像素点变形前的位置是否超出所述镜片的边框；
    像素点变形前的位置没有超出所述镜片的边框，则保留所述像素点；
    像素点变形前的位置超出所述镜片的边框，则丢弃所述像素点；
    对保留的所有像素点变形后的位置进行插值和平滑处理，得到所述镜片区域内的图像恢复后的图像。
  18. 根据权利要求11-16任一项所述的装置，其特征在于，所述处理器具体用于：
    当所述眼镜的类型为远视眼镜时，确定镜片的光心位置；
    经过所述光心、人脸在所述镜片内部的第一轮廓线以及所述人脸在所述镜片外部的第二轮廓线做多条直线；
    分别计算每条直线的映射斜率，所述映射斜率为所述形变模型的参数，所述映射斜率小于1；
    根据每条直线的映射斜率计算每条直线上的任意一个像素点变形前的位置；
    根据所述镜片区域内的所有像素点变形前的位置得到第一图像，所述第一图像与所述镜片的边框之间具有空白区间；
    使用所述镜片区域外的像素或所述第一图像内的像素填补所述空白区间；
    对所述第一图像的像素点和所述空白区间的像素点进行插值和平滑处理，得到所述镜片区域内的图像恢复后的图像。
  19. 根据权利要求17或18所述的装置，其特征在于，所述多条直线的斜率相同。
  20. 根据权利要求17或18所述的装置，其特征在于，所述多条直线的斜率不相同，所述处理器具体用于：
    计算第一直线的斜率，所述第一直线为所述多条直线中的任意一条直线；
    计算与第一直线相邻的第二直线的斜率；
    根据所述第一直线的斜率与第二直线的斜率计算斜率的变化率；
    根据所述斜率的变化率和第一直线的斜率计算其他直线的斜率。
CN201680075523.XA 2016-12-29 2016-12-29 图片处理方法和装置 Active CN108513668B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2016/113217 WO2018119938A1 (zh) 2016-12-29 2016-12-29 图片处理方法和装置

Publications (2)

Publication Number Publication Date
CN108513668A true CN108513668A (zh) 2018-09-07
CN108513668B CN108513668B (zh) 2020-09-08

Family

ID=62706588

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680075523.XA Active CN108513668B (zh) 2016-12-29 2016-12-29 图片处理方法和装置

Country Status (3)

Country Link
US (1) US11055829B2 (zh)
CN (1) CN108513668B (zh)
WO (1) WO2018119938A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111107281A (zh) * 2019-12-30 2020-05-05 维沃移动通信有限公司 图像处理方法、装置、电子设备及介质
CN113486714A (zh) * 2021-06-03 2021-10-08 荣耀终端有限公司 一种图像的处理方法及电子设备

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018119938A1 (zh) * 2016-12-29 2018-07-05 华为技术有限公司 图片处理方法和装置
CN109145875B (zh) * 2018-09-28 2021-04-20 深圳市一心视觉科技有限公司 一种人脸图像中的黑框眼镜去除方法及装置
US11694574B2 (en) * 2019-08-08 2023-07-04 Lenovo (Singapore) Pte. Ltd. Alteration of accessibility settings of device based on characteristics of users
KR20210059060A (ko) * 2019-11-13 2021-05-25 삼성디스플레이 주식회사 검출 장치
DE102021108142A1 (de) * 2021-03-31 2022-10-06 Bundesdruckerei Gmbh Verfahren und Vorrichtung zur Erzeugung eines brillenlosen dreidimensionalen Modells des Kopfes einer bebrillten Person
CN113591720A (zh) * 2021-08-02 2021-11-02 广州小鹏自动驾驶科技有限公司 车道偏离检测方法、装置及计算机存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1173926A (zh) * 1995-02-02 1998-02-18 弗盖弗拉克斯公司 金属眼镜架
EP1306068A2 (en) * 2001-10-24 2003-05-02 Cesar C. Dr. Carriazo Aspherical positioning ring
WO2012069980A2 (en) * 2010-11-22 2012-05-31 Svip 9 Llc Eyewear device and system
CN102542255A (zh) * 2011-12-06 2012-07-04 Tcl集团股份有限公司 一种人脸图像校正的方法、装置及系统
CN103323945A (zh) * 2013-06-17 2013-09-25 清华大学 一种透射反射式波前阵面控制装置
US20130265543A1 (en) * 2012-04-04 2013-10-10 Canon Kabushiki Kaisha Image processing apparatus and method thereof
CN103376662A (zh) * 2012-04-22 2013-10-30 上海微电子装备有限公司 一种非对称像差补偿装置
CN104306102A (zh) * 2014-10-10 2015-01-28 上海交通大学 针对视觉障碍患者的头戴式视觉辅助系统
CN104408426A (zh) * 2014-11-27 2015-03-11 小米科技有限责任公司 人脸图像眼镜去除方法及装置
CN104992417A (zh) * 2015-06-30 2015-10-21 上海交通大学 基于Kinect的人脸视频目光修正方法及系统
CN105205779A (zh) * 2015-09-15 2015-12-30 厦门美图之家科技有限公司 一种基于图像变形的眼部图像处理方法、系统及拍摄终端
CN106131409A (zh) * 2016-07-12 2016-11-16 京东方科技集团股份有限公司 图像处理方法及装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU1459801A (en) * 1999-11-04 2001-05-14 Stefano Soatto System for selecting and designing eyeglass frames
DE10106562B4 (de) 2001-02-13 2008-07-03 Rodenstock Gmbh Verfahren zur Demonstration des Einflusses einer bestimmten Brillenfassung und der in diese Brillenfassung eingesetzten optischen Gläser
DE10313275A1 (de) * 2003-03-24 2004-10-14 Rodenstock Gmbh Verfahren zum Berechnen eines individuellen Progressivglases
DE102006036800A1 (de) * 2006-08-07 2008-02-14 Carl Zeiss Meditec Ag Vorrichtung zur individuellen Therapieplanung und positionsgenauen Modifikation eines optischen Elements
CN102163289B (zh) 2011-04-06 2016-08-24 北京中星微电子有限公司 人脸图像中眼镜的去除方法和装置、佩戴方法和装置
TW201445457A (zh) * 2013-05-29 2014-12-01 Univ Ming Chuan 虛擬眼鏡試戴方法及其裝置
WO2014203440A1 (ja) * 2013-06-19 2014-12-24 パナソニックＩｐマネジメント株式会社 画像表示装置および画像表示方法
CN103353663B (zh) * 2013-06-28 2016-08-10 北京智谷睿拓技术服务有限公司 成像调整装置及方法
CN103424891B (zh) * 2013-07-31 2014-12-17 北京智谷睿拓技术服务有限公司 成像装置及方法
US10330958B2 (en) * 2015-04-10 2019-06-25 Bespoke, Inc. Systems and methods for creating eyewear with multi-focal lenses
FR3053509B1 (fr) * 2016-06-30 2019-08-16 Fittingbox Procede d’occultation d’un objet dans une image ou une video et procede de realite augmentee associe
US9977248B1 (en) * 2016-12-21 2018-05-22 PhantaField, Inc. Augmented reality display system
WO2018119938A1 (zh) * 2016-12-29 2018-07-05 华为技术有限公司 图片处理方法和装置

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1173926A (zh) * 1995-02-02 1998-02-18 弗盖弗拉克斯公司 金属眼镜架
EP1306068A2 (en) * 2001-10-24 2003-05-02 Cesar C. Dr. Carriazo Aspherical positioning ring
WO2012069980A2 (en) * 2010-11-22 2012-05-31 Svip 9 Llc Eyewear device and system
CN102542255A (zh) * 2011-12-06 2012-07-04 Tcl集团股份有限公司 一种人脸图像校正的方法、装置及系统
US20130265543A1 (en) * 2012-04-04 2013-10-10 Canon Kabushiki Kaisha Image processing apparatus and method thereof
CN103376662A (zh) * 2012-04-22 2013-10-30 上海微电子装备有限公司 一种非对称像差补偿装置
CN103323945A (zh) * 2013-06-17 2013-09-25 清华大学 一种透射反射式波前阵面控制装置
CN104306102A (zh) * 2014-10-10 2015-01-28 上海交通大学 针对视觉障碍患者的头戴式视觉辅助系统
CN104408426A (zh) * 2014-11-27 2015-03-11 小米科技有限责任公司 人脸图像眼镜去除方法及装置
CN104992417A (zh) * 2015-06-30 2015-10-21 上海交通大学 基于Kinect的人脸视频目光修正方法及系统
CN105205779A (zh) * 2015-09-15 2015-12-30 厦门美图之家科技有限公司 一种基于图像变形的眼部图像处理方法、系统及拍摄终端
CN106131409A (zh) * 2016-07-12 2016-11-16 京东方科技集团股份有限公司 图像处理方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111107281A (zh) * 2019-12-30 2020-05-05 维沃移动通信有限公司 图像处理方法、装置、电子设备及介质
CN113486714A (zh) * 2021-06-03 2021-10-08 荣耀终端有限公司 一种图像的处理方法及电子设备

Also Published As

Publication number Publication date
WO2018119938A1 (zh) 2018-07-05
CN108513668B (zh) 2020-09-08
US11055829B2 (en) 2021-07-06
US20190340732A1 (en) 2019-11-07

Similar Documents

Publication Publication Date Title
CN108513668A (zh) 图片处理方法和装置
CN105930821B (zh) 一种人眼识别跟踪的方法及将其应用于裸眼3d显示的装置
KR102390781B1 (ko) 얼굴 표정 추적
CA3043204C (en) Apparatus and method for a dynamic "region of interest" in a display system
CN109993115B (zh) 图像处理方法、装置及可穿戴设备
RU2672502C1 (ru) Устройство и способ для формирования изображения роговицы
US20160078680A1 (en) Technologies for adjusting a perspective of a captured image for display
US9342877B2 (en) Scaling a three dimensional model using a reflection of a mobile device
CN104834901A (zh) 一种基于双目立体视觉的人脸检测方法、装置及系统
US9292927B2 (en) Adaptive support windows for stereoscopic image correlation
KR101628493B1 (ko) 안경 착용자의 시선 추적 장치 및 그 방법
CN111582005A (zh) 图像处理方法、装置、计算机可读介质及电子设备
WO2017080410A1 (zh) 一种识别图像中瞳孔的方法和装置
WO2019237838A1 (zh) 可穿戴设备的参数调整方法、装置、穿戴设备及存储介质
US10642353B2 (en) Non-transitory computer-readable storage medium, information processing apparatus, and information processing method
KR20210052570A (ko) 분리가능한 왜곡 불일치 결정
CN112183200B (zh) 一种基于视频图像的眼动追踪方法和系统
CN112101261B (zh) 人脸识别方法、装置、设备及存储介质
TWI603225B (zh) 液晶顯示器顯示視角的調整方法和裝置
JP5799776B2 (ja) 情報表示装置及びプログラム
CN112929638A (zh) 眼部定位方法、装置及多视点裸眼3d显示方法、设备
JP2017173455A (ja) 情報処理装置、情報処理方法及びプログラム
CN115861077A (zh) 一种全景图像的确定方法、装置、设备及存储介质
JP6244885B2 (ja) 画像処理装置、画像処理方法、及びプログラム
US20220019791A1 (en) Pupil ellipse-based, real-time iris localization

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant