CN111062328B - 一种图像处理方法、装置及智能机器人 - Google Patents
一种图像处理方法、装置及智能机器人 Download PDFInfo
- Publication number
- CN111062328B CN111062328B CN201911309036.7A CN201911309036A CN111062328B CN 111062328 B CN111062328 B CN 111062328B CN 201911309036 A CN201911309036 A CN 201911309036A CN 111062328 B CN111062328 B CN 111062328B
- Authority
- CN
- China
- Prior art keywords
- face
- image
- glasses
- face image
- facial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Abstract
本发明实施例涉及电子信息技术领域，公开了一种图像处理方法、装置及智能机器人，该方法通过获取待处理人脸图像；识别所述待处理人脸图像中的人脸是否佩戴眼镜；若否，提取所述待处理人脸图像中的脸部区域，作为脸部图像；识别所述脸部图像的脸部姿态、眼部的位置以及眼部尺寸；根据所述脸部姿态，调整眼镜素材图像的姿态，以及，根据所述眼部尺寸，调整所述眼镜素材图像的大小；结合所述眼部位置，将调整后的眼镜素材图像和所述人脸图像进行像素加权求和，获得戴眼镜的人脸图像。通过上述方式，能够使眼镜图像与人脸姿态相匹配，并能模拟镜片的透明和反光，从而自然地将人脸图像戴上眼镜，不会对图像产生干扰。
Description
技术领域
本发明实施例涉及电子信息技术领域，尤其涉及一种图像处理方法、装置及智能机器人。
背景技术
人脸识别是指基于人的脸部特征信息进行身份识别的一种生物识别技术，其广泛应用于移动支付、门禁等技术领域。
而随着科学技术的发展，人工智能算法也得了极大的发展，越来越多的企业将人工智能算法应用到人脸识别之中，而眼镜对人工智能算法的识别结果具有很大的影响，一方面，现有的人脸识别模型大多以未佩戴眼镜的人脸图像作为训练数据，从而对佩戴眼镜的人脸识别效果较差；另一方面，当用户在进行人脸识别注册时未佩戴眼镜，而检测时却佩戴了眼镜，出现无法识别的故障，需要用户摘下眼镜。因此，在人脸识别等应用中，需要先对人脸图像进行处理，以消除眼镜对识别结果的影响。
但是，本发明发明人在实现本发明实施例的过程中，发现：目前，大多是通过去除眼镜的方式对录入的图像进行图像处理，然而去除眼镜算法不能完全去除眼镜像素，往往给图像留下或者带来新的噪声，从而影响后续的识别性能。
发明内容
本发明实施例主要解决的技术问题是提供一种图像处理方法、装置及智能机器人，能够使眼镜图像与人脸姿态相匹配，并能模拟镜片的透明和反光，从而自然地将人脸图像戴上眼镜，不会对图像产生干扰。
为解决上述技术问题，本发明实施例采用以下技术方案：
为解决上述技术问题，第一方面，本发明实施例中提供给了一种图像处理方法，包括：
获取待处理人脸图像；
识别所述待处理人脸图像中的人脸是否佩戴眼镜；
若否，提取所述待处理人脸图像中的脸部区域，作为脸部图像；
识别所述脸部图像的脸部姿态、眼部的位置以及眼部尺寸；
根据所述脸部姿态，调整眼镜素材图像的姿态，以及，根据所述眼部尺寸，调整所述眼镜素材图像的大小；
结合所述眼部位置，将调整后的眼镜素材图像和所述人脸图像进行像素加权求和，获得戴眼镜的人脸图像。
在一些实施例中，所述眼镜素材图像包括镜框部分和镜片部分；
所述结合所述眼部位置，将调整后的眼镜素材图像和所述人脸图像进行像素加权求和，获得戴眼镜的人脸图像的步骤，进一步包括：
根据所述眼部位置，确定所述人脸图像中处于镜框下的区域和所述人脸图像中处于镜片下的区域；
将所述镜框部分的像素与所述人脸图像中处于镜框下的区域的像素进行像素加权；
将所述镜片部分的像素与所述人脸图像中处于镜片下的区域的像素进行像素加权，获得戴眼镜的人脸图像。
在一些实施例中，所述识别所述脸部图像的脸部姿态的步骤，进一步包括：
根据预设三维变换模型，预测所述脸部图像对应的3DMM系数；
根据所述3DMM系数，将所述脸部图像转换为三维的脸部模型；
根据所述三维的脸部模型，确定脸部姿态。
在一些实施例中，所述脸部姿态包括相机的旋转角和平移量，
所述根据所述三维的脸部模型，确定脸部姿态的步骤，进一步包括：
从所述三维的脸部模型中提取若干关键点的第一三维坐标；
获取所述若干关键点在预设三维标准正脸模型中的第二三维坐标；
根据所述第一三维坐标和第二三维坐标，计算相机的旋转角和平移向量。
在一些实施例中，所述提取所述待处理人脸图像中的脸部区域，作为脸部图像的步骤，进一步包括：
根据预设目标检测器，确定所述待处理人脸图像中包含有脸部的人脸框；
将所述人脸框所包含的图像作为所述脸部图像。
在一些实施例中，所述识别所述脸部图像中眼部的位置的步骤，进一步包括：
获取所述脸部图像的左内眼角和右内眼角的坐标；
将所述左内眼角和右内眼角的坐标作为所述眼部的位置。
在一些实施例中，所述识别所述脸部图像中眼部大小的步骤，进一步包括：
获取所述脸部图像的一眼睛的内眼角和外眼角的距离；
将所述距离作为所述眼部大小。
为解决上述技术问题，第二方面，本发明实施例中提供了一种图像处理的装置，包括：
第一获取模块，用于获取获取待处理人脸图像；
第一识别模块，用于识别所述待处理人脸图像中的人脸是否佩戴眼镜；
提取模块，用于若所述待处理人脸图像中的人脸未佩戴眼镜，提取所述待处理人脸图像中的脸部区域，作为脸部图像；
第二识别模块，用于识别所述脸部图像的脸部姿态、眼部的位置以及眼部尺寸；
调整模块，用于根据所述脸部姿态，调整眼镜素材图像的姿态，以及，根据所述眼部尺寸，调整所述眼镜素材图像的大小；
加权模块，用于结合所述眼部位置，将调整后的眼镜素材图像和所述人脸图像进行像素加权求和，以向所述人脸图像添加眼镜。
为解决上述技术问题，第三方面，本发明实施例提供了一种智能机器人，包括：
图像获取模块，用于获取待处理人脸图像；
至少一个处理器，与所述图像获取模块连接；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上第一方面所述的方法。
为解决上述技术问题，第四方面，本发明实施例提供了一种包含程序代码的计算机程序产品，当所述计算机程序产品在电子设备上运行时，使得所述电子设备执行如上第一方面所述的方法。
本发明实施例的有益效果：区别于现有技术的情况，本发明实施例提供的一种图像处理方法、装置及智能机器人，该方法通过获取待处理人脸图像；识别所述待处理人脸图像中的人脸是否佩戴眼镜；若所述待处理人脸图像中的人脸未佩戴眼镜，提取所述待处理人脸图像中的脸部区域，作为脸部图像；识别所述脸部图像的脸部姿态、眼部的位置以及眼部尺寸；根据所述脸部姿态，调整眼镜素材图像的姿态，以及，根据所述眼部尺寸，调整所述眼镜素材图像的大小；结合所述眼部位置，将调整后的眼镜素材图像和所述人脸图像进行像素加权求和，获得戴眼镜的人脸图像。本发明实施例提供的方法，根据人脸姿态调整眼镜图像的姿态，结合像素加权的方式添加眼镜，能够使眼镜图像与人脸姿态相匹配，并能模拟镜片的透明和反光，从而自然地将人脸图像戴上眼镜，不会对图像产生干扰。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
图1是本发明实施例的图像处理方法的实施例的应用环境的示意图；
图2是本发明实施例提供的一种图像处理方法的流程图；
图3是图2所示方法中步骤300的一子流程图；
图4是图2所示方法的步骤400中识别所述脸部图像的脸部姿态的一子流程图；
图5是图4所示方法的步骤430a的一子流程图；
图6是图2所示方法的步骤400中识别所脸部图像的眼部的位置的一子流程图；
图7是图2所示方法的步骤400中识别所述脸部图像的眼部大小的一子流程图；
图8是图2所示方法中步骤600的一子流程图；
图9是本发明实施例提供的一种图像处理的装置的结构示意图；
图10是本发明实施例提供的执行上述图像处理方法的智能机器人的硬件结构示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
需要说明的是，如果不冲突，本发明实施例中的各个特征可以相互结合，均在本申请的保护范围之内。另外，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。此外，本文所采用的“第一”、“第二”、“第三”等字样并不对数据和执行次序进行限定，仅是对功能和作用基本相同的相同项或相似项进行区分。
除非另有定义，本说明书所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本说明书中在本发明的说明书中所使用的术语只是为了描述具体的实施方式的目的，不是用于限制本发明。本说明书所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。
此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
请参阅图1，为应用于本发明的图像处理方法的实施例的示例性系统结构示意图。如图1所示，该系统结构包括：图像获取装置20和图像处理装置10。
所述图像获取装置20和所述图像处理10装置通信连接，所述通信连接可以是有线连接，例如：光纤电缆，也可以是无线通信连接，例如：WIFI连接、蓝牙连接、4G无线通信连接，5G无线通信连接等等。
图像获取装置20可获取待处理人脸图像，所述待处理人脸图像为单幅人脸图像，所述人脸图像又分为佩戴眼镜的人脸图像和未佩戴眼镜的人脸图像。所述待处理人脸图像可由人工收集好后，存储于所述图像获取装置20。当然，所述待处理人脸图像可由所述图像获取装置20直接获取，即所述图像获取装置20可为摄像机。所述摄像机为能够录制视频的装置，例如：具有拍摄功能的手机、录像机或摄像头等。
所述图像处理装置10是能够按照程序运行，自动、高速处理海量数据的设备，其通常是由硬件系统和软件系统所组成，例如：计算机、智能手机等等。图像处理装置10可以是本地设备，其直接与所述图像获取装置20连接；也可以是云设备，例如：云服务器、云主机、云服务平台、云计算平台等，云设备通过网络与所述获取装置连接，并且两者通过预定的通信协议通信连接，在一些实施例，该通信协议可以是TCP/IP、NETBEUI和IPX/SPX等协议。
可以理解的是：所述图像处理装置10和图像获取装置20也可以集成在一起，作为一体式的设备，又或者，图像获取装置20和图像处理装置10集成于智能机器人上，作为智能机器人的部件，以对获取的图像进行处理，例如，为了减少眼镜对人脸识别结果的影响，将未佩戴眼镜的用户自然地佩戴上眼镜。
在一些具体的应用场景中，例如人脸打卡或人脸解锁等，用户在事先录入人脸图像时佩戴了眼镜，但在之后的日常打卡或解锁中，当用户未佩戴眼镜时，可能会出现无法打卡或解锁的问题，因此，需要先对用户未佩戴眼镜的图像进行添加眼镜，模拟用户戴上眼镜，然后再与事先录入的人脸图像进行对比，以识别用户，顺利打卡或解锁。此时，所述摄像机可为人脸打卡机或手机前端配置的摄像头。
本发明实施例提供了一种应用于上述应用环境的图像处理方法，该方法可被上述图像处理装置执行，请参阅图2，该方法包括：
步骤100：获取待处理人脸图像。
所述待处理人脸图像为单幅人脸图像，所述人脸图像又分为佩戴眼镜的人脸图像和未佩戴眼镜的人脸图像。在本发明实施例中，所述原训练集可由人工收集，也可以通过如上图1所述的图像获取装置直接获取，所述图像获取装置可为摄像机和各种终端产品的前置摄像头等。
步骤200：识别所述待处理人脸图像中的人脸是否佩戴眼镜，若所述待处理人脸图像未佩戴眼镜，则执行步骤300。
由于所述待处理人脸图像是由摄像机和各终端产品的前置摄像头等采取的，用户是否佩戴眼镜具有随机性，例如可能根据妆容或场合决定是否佩戴眼镜。因此，首先对待处理人脸图像进行检测，识别所述待处理人脸图像中的人脸是否佩戴眼镜，以进行下一步的处理，其中，所述识别过程可利用现有图像识别算法，提取眼镜特征，然后进行识别，例如采用卷积神经网络等算法进行识别。
步骤300：提取所述待处理人脸图像中的脸部区域，作为脸部图像。
由于所述待处理人脸图像中包括用户脸部、用户身体以及背景图像，为了确定脸部姿势，首先需要提取出二维的脸部图像，即提取所述待处理人脸图像中的脸部区域，作为脸部图像，以进行下一步的处理。
为了提取出脸部图像，需要先识别出人脸，然后定位脸部位置，在一些实施例中，请参阅图3，所述步骤300进一步包括：
步骤310：根据预设目标检测器，确定所述待处理人脸图像中包含有脸部的人脸框。
目标检测器能够解决检测目标类别的分类问题和预测目标边框位置的回归问题，可采用one-stage和two-stage这两类目标检测算法。
其中，所述two-stage目标检测算法先生成一系列作为样本的候选框，在通过卷积神经网络进行样本分类和定位，即首先对一张图片先进行区域提取，选取有物体的区域作为候选图片，同时抑制掉大量的负样本，例如背景等，然后再把上述候选图片作为子图，对这些子图进行具体类别的分类以及定位。
而one-stage目标检测算法直接将目标边框定位的问题转化为回归问题处理，不需要预先生成候选框，计算速度快。在一些实施例中，通过one-stage目标检测算法训练所述预设目标检测器，可通过如下步骤：
(1)准备训练集，所述训练集包括含有人脸的图像以及对应的标注文件，其中标注文件标注的信息包含目标类别和目标框(ground truth)的信息。
(2)确定训练集中图片的先验框；
在不同尺度的特征层直接进行密集采样生成先验框，所述先验框的尺寸不同，长宽比为1:1。
(3)确定与ground truth匹配的先验框；
所述匹配即为先验框与ground的重叠度。其中，用定位准确率(IOU，intersection-over-union)来表征先验框(priors anchor)与原标记框(ground truth)的重叠度。所述IOU为先验框与ground truth的交集与并集的比值，最理想情况是完全重叠，即比值为1。利用如下公式可计算IOU，根据经验阈值设定其阈值为0.5。
其中，area(P)代表先验框；area(G)代表原标记框。
与ground truth匹配的先验框为正样本，若一个先验框没有与任何ground truth进行匹配，那么该先验框只能与背景匹配，则为负样本。
确定与ground truth匹配的先验框的具体步骤如下：
①按照上述公式计算先验框的IOU值。
②根据计算得到的IOU值和预设的IOU阈值，确定先验框中的正样本和负样本。
可选地，若IOU>0.5，则判定为正样本，其余情况判定为背景即负样本。
③去除置信度小的负样本，以此平衡正负样本的数量。
由于提取出的绝大部分先验框为负样本，导致了负样本不平衡。具体地，本实施例中去除置信度小的负样本的过程如下：对样本IOU值进行升序排列，去除IOU值低的负样本，最终使正负样本的比例保持在预设比例。可选地，正负样本比例接近1:3。
(4)确定SSD模型的损失函数。
本实施例的损失函数为位置回归误差与分类误差的加权和，如下公式所示，对于位置回归误差采用SmoothL1 loss拟合，对于分类误差，采用Softmax loss拟合。
其中，pi表示网络预测第i个先验框是人脸框的概率(probability)。pi *表示的是这个框类别的真实值(ground-truth label),如果是人脸框，那么pi *等于1，否则等于0。Lcls()表示Softmax loss拟合的二分类误差。ti表示的是人脸框位置回归的预测值，ti *代表真实人脸框的位置。Lreg()表示SmoothL1 loss拟合的位置回归误差，pi *Lreg()表示只有当先验框是人脸框时才计算回归误差，否则对于不是人脸的框，只计算分类误差。N表示匹配到的先验框数量，λ是权重参数。
可选地，本实施例在训练目标检测器的过程中采用水平翻转、随机裁剪、颜色扭曲以及随机采样块域等数据增扩技术来进行数据扩增处理。
(5)确定训练参数，得到所述预设目标检测器。
根据所述预设目标检测器，确定所述待处理人脸图像中包含有脸部的人脸框，可通过如下步骤：
(1)获取所述待处理人脸图像的预测框；
将所述待处理人脸图像输入所述预设目标检测器，获得所述预测框，所述预测框为人脸边界框的预测值。
根据所述预设目标检测器，对所述预测框的类别置信度进行判断；
所述预测框的类别是指预测框中是否包含人脸。
(3)提取出置信度大于第一预设阈值的预测框作为人脸框。
(4)解码所述人脸框，获取所述人脸框的位置参数。
具体地，解码人脸框，是通过先验框和预测框根据相应公式进行解码，从而得到人脸框的位置。所述公式如下：
bcx＝dwlcx+dcx,bcy＝dylcy+dcy
bw＝dwexp(lw),bh＝dhexp(lh)
其中，bcx,bcy表示真实人脸框中心(center)的x，y坐标，bw,bh表示人脸框的宽度和高度。d表示先验框的值，l表示的是网络输出的预测值，即通过预测值将密集采样的先验框进行变换，就可以得到人脸框的真实位置。
步骤320：将所述人脸框所包含的图像作为所述脸部图像。
所述二维的脸部图像为人脸框中的脸部图像，作为识别脸部姿态、眼部的位置以及眼部尺寸的图像。
步骤400：识别所述脸部图像的脸部姿态、眼部的位置以及眼部尺寸。
所述脸部姿态是指所述脸部图像相对于标准正脸的做出的空间变化，例如侧脸、扭头、仰望等，调整脸部姿态时，脸部需要相对于标准正脸做出相对运动，所述相对运动即为脸部图像相对于标准正脸的空间变化，其中，所述标准正脸是由相机正对脸部拍摄的。在拍摄时，脸部姿态的调整也可是脸部相对于相机的相对运动，例如，拍摄前，相机正对人脸，相机不动，人脸相对于相机做出调整，此时，相机的坐标为标准正脸的坐标。由于脸部和相机的运动是相对的，可以理解的是，所述脸部姿态也可以是相机相对于标准正脸做出的相对运动，即相机的旋转角和平移量。
在计算脸部姿态的传统方法中，一般通过检测人脸关键点，对检测到的关键点与标准正脸的关键点位置信息进行比对，拟合出脸部姿态，但是这种方法对人脸表情及脸型信息敏感，且在侧脸角度较大时获得准确的关键点位置比较困难。
因此为了提高脸部姿态计算的准确度，更好地贴合眼镜，减少眼镜信息对面部特征的干扰，在本实施例中，从二维的脸部图像获取所述脸部姿势是通过重建3D人脸模型实现的，也即，由所述3D人脸模型，获取3D人脸相对于标准3D正脸的三维坐标变化，即获取脸部姿态。
在一些实施步骤，请参阅图4，所述识别所述脸部图像的脸部姿态的步骤，具体包括：
步骤410a：根据预设三维变换模型，预测所述脸部图像对应的3DMM系数。
所述三维变换模型是Basel面部模型(Basel face model，简称BFM)，所述3DMM系数是基于所述三维变换模型重建的3D人脸系数，通过人脸平均形状模型与不同形变系数、表情系数的线性组合，可以生成不同人脸模型，所述人脸模型如下公式所示：
其中，表示平均脸部形状模型，si表示形状变化的PCA部分(PCA，PrincipleComponent Analysis，主成分分析)，αi表示对应系数，ei表示人脸表情的部分，βi表示不同表情分量对应的系数。其中，平均形状/>和身份分量si是由所述三维变换模型训练得到，表情分量ei是由三维人脸表情数据库(FaceWarehouse)训练得到。
可选的，在本实施例中采用现有数据集300W-LP作为训练集，训练所述预设三维变换模型，其中，300W-LP数据集具有不同角度人脸的3DMM系数标记。
将所述二维的脸部图像输入所述预设三维变换模型，得到所述二维的脸部图像对应的3DMM系数。
步骤420a：根据所述3DMM系数，将所述脸部图像转换为三维的脸部模型。
将所述3DMM系数代入所述三维变换模型，生成所述二维的脸部图像对应的三维的脸部模型，即可将所述二维的脸部图像转换为三维的脸部模型。
步骤430a：根据所述三维的脸部模型，确定脸部姿态。
在人脸三维模型中，人脸以密集点云的方式呈现在空间中，每个点都对应一个三维坐标，所述脸部模型的人脸密集点云坐标是由所述标准正脸密集点云坐标的空间变化而得到的，即为所述脸部姿态。可以理解的是，所述脸部模型的人脸密集点云坐标相对于标准正脸密集点云坐标的空间变化，即为相机的相对于标准正脸的相对运动，具体的，为相机的旋转角和平移量。
在一些实施例中，请参阅图5，所述步骤430a进一步包括：
步骤431a：从所述三维的脸部模型中提取若干关键点的第一三维坐标。
所述关键点可为所述三维变换模型(BFM模型)中的68个3D关键点，当然所述关键点也可为自定义的点集合，所述第一三维坐标即为关键点在脸部模型中的三维坐标，可从上述三维的脸部模型的人脸密集点云坐标中直接提取。
步骤432a：获取所述若干关键点在预设三维标准正脸模型中的第二三维坐标。
所述预设三维标准正脸模型可通过卷积神经网络训练得到，即通过卷积神经网络，将二维标准正脸图像重新生成三维标准正脸模型，具体地，在一些实施例中，将二维标准正脸图像的人脸部分裁剪出来并将其缩放到256*256的图像，然后将缩放后的图像输入预设卷积神经网络，通过所述预设卷积神经网络计算得到所述标准正脸图像的3DMM系数，从而得到所述二维正脸图像对应的三维标准正脸模型，最后从所述三维标准正脸模型的3D人脸密集点云坐标中提取所述若干关键点的三维坐标，即为所述第二三维坐标。
需要说明的是，所述三维标准正脸模型也可为其它的重建3D人脸模型训练得到，例如肌肉模型、正交视图建模、多线索三维人脸重建发、通用人脸模型、VRNet或PRNet等。
步骤433a：根据所述第一三维坐标和第二三维坐标，计算相机的旋转角和平移向量。
在本实施例中，采用SVD分解算法对所述第一三维坐标和第二三维坐标进行分解，即用迭代最近点(Iterative Closest Point,ICP)求解,得到相机的旋转角和平移向量。具体地，将第一三维坐标表示为y＝{y1,y2,y3....,yn},将第二三维坐标表示为x＝{x1,x2,x3....xn},则有变换关系：yi＝Rxi+t，其中R为旋转矩阵，t为平移向量。
进一步，可通过线性代数求解出R和t，构建如下误差函数：
通过最小二乘法，使得误差最小时，求解所述误差函数，即可得到R和t。
旋转矩阵R表示的是相机绕x,y,z轴三个方向的旋转角度，即相机的旋转角，绕x轴方向的旋转角度即为翻滚角(Roll)，绕y轴方向的旋转角度即为俯仰角(Pitch)，绕z轴方向的旋转角度即为偏航角(Yaw)。
通过计算出所述相机的旋转角和平移向量，即可得到所述脸部姿态。
所述眼部位置是指用户眼部在所述脸部图像中的坐标。在一些实施例中，请参阅图6，所述识别所述脸部图像中眼部的位置的步骤，进一步包括：
步骤410b:获取所述脸部图像的左内眼角和右内眼角的坐标。
可通过现有图像识别算法，提取眼部特征，计算左内眼角和右内眼角在所述脸部图像中的坐标。
步骤420b:将所述左内眼角和右内眼角的坐标作为所述眼部的位置。
左内眼角和右内眼角的坐标能定位眼部的位置，因此，将所述左内眼角和右内眼角的坐标作为所述眼部的位置。
所述眼部尺寸是指用户眼部在所述脸部图像中呈现出的大小。在一些实施例中，请参阅图7，所述识别所述脸部图像中眼部大小的步骤，进一步包括：
步骤410c：获取所述脸部图像的一眼睛的内眼角和外眼角的距离。
步骤420c：将所述距离作为所述眼部大小。
步骤500：根据所述脸部姿态，调整眼镜素材图像的姿态，以及，根据所述眼部尺寸，调整所述眼镜素材图像的大小。
所述根据所述脸部姿态，调整眼镜素材图像的姿态，是指将所述眼镜素材图像中的眼镜按上述偏航角、俯仰角和翻滚角进行旋转，与脸部保持相同的姿态，以使眼镜的姿态能与脸部姿态匹配，以避免眼镜信息对面部特征造成干扰。
所述根据所述眼部尺寸，调整所述眼镜素材图像的大小，是指利用内外眼角的距离信息调整所述眼镜素材图像中的眼镜的尺度大小，使眼镜的大小与脸部的眼睛特征相匹配，以避免眼镜信息对面部特征造成干扰。
步骤600：结合所述眼部位置，将调整后的眼镜素材图像和所述人脸图像进行像素加权求和，获得戴眼镜的人脸图像。
所述眼镜素材图像包括一个眼镜框，由于实际生活中，眼镜款式的样式多变，所述眼镜素材图像可有多张，从而集合成眼镜素材图像库。在进行图像处理时，可从眼镜素材图像库中根据实际需求选择一张眼镜素材图像进行处理，以避免因眼镜款式单一对待处理人脸图像的后续识别产生影响。
所述像素加权求和是指将两个像素灰度值进行加权融合，生成一个新像素灰度值，用于图像融合。例如，参加融合的两幅原图像分别为A、B，图像大小均为M*N，融合图像为F，则像素加权求和为：
F(m,n)＝αA(m,n)+βB(m,n)
其中，m,n分别为图像中像素的行号和列号，α,β为权重系数。在融合处理时，将图像A中对应位置(m,n)处像素灰度值与图像B中对应位置(m,n)处像素灰度值按权重系数α,β进行加权求和，得到融合图像F在位置(m,n)处的像素灰度值。
结合所述眼部位置，将调整后的眼镜素材图像和所述人脸图像进行像素加权求和，即将眼镜素材图像与对应的人脸图像区域进行像素加权融合，获得戴眼镜的人脸图像。
为了模拟出实际眼镜的透明和反光，不对眼部特征造成干扰，在一些实施例中，请参阅图8，所述眼镜素材图像包括镜框部分和镜片部分，所述步骤600进一步包括：
步骤610：根据所述眼部位置，确定所述人脸图像中处于镜框下的区域和所述人脸图像中处于镜片下的区域。
由于像素加权是两个对应区域的像素灰度值的加权计算，此外，镜框部分和镜片部分的特征不同，镜片是透明(例如近视眼镜)或半透明的(例如墨镜)，若镜片和镜框的加权值一样，则镜片会覆盖眼部特征，对图像造成干扰。因此，根据所述眼部位置，确定所述人脸图像中处于镜框下的区域和所述人脸图像中处于镜片下的区域，以便下一步进行像素加权融合处理。
步骤620：将所述镜框部分的像素与所述人脸图像中处于镜框下的区域的像素进行像素加权。
在确定好人脸图像中处于镜框下的区域后，将所述镜框部分的像素与所述人脸图像中处于镜框下的区域的像素进行像素加权，是指将所述镜框部分的像素与对应位置的所述人脸图像中处于镜框下的区域的像素一一对应进行像素加权，其中，所述镜框部分的像素权重值为1，所述人脸图像中处于镜框下的区域的像素的权重值为0，从而模拟成实际的镜框效果。
步骤630：将所述镜片部分的像素与所述人脸图像中处于镜片下的区域的像素进行像素加权，获得戴眼镜的人脸图像。
在确定好人脸图像中处于镜片下的区域后，将所述镜片部分的像素与所述人脸图像中处于镜片下的区域的像素进行像素加权，是指将所述镜片部分的像素与对应位置的所述人脸图像中处于镜片下的区域的像素一一对应进行像素加权。其中，所述镜片部分的像素权重值大于0小于1，所述人脸图像中处于镜框下的区域的像素的权重值大于0小于1，从而模拟成实际的镜片效果，例如透明和反光等，镜片的透明度越高，则镜片部分的像素权重值越小。
通过上述方式，可模拟出实际眼镜的透明和反光，不对眼部特征造成干扰，从而更加自然地将人脸图像戴上眼镜。
在本发明实施例中，通过获取待处理人脸图像；识别所述待处理人脸图像中的人脸是否佩戴眼镜；若否，提取所述待处理人脸图像中的脸部区域，作为脸部图像；识别所述脸部图像的脸部姿态、眼部的位置以及眼部尺寸；根据所述脸部姿态，调整眼镜素材图像的姿态，以及，根据所述眼部尺寸，调整所述眼镜素材图像的大小；结合所述眼部位置，将调整后的眼镜素材图像和所述人脸图像进行像素加权求和，获得戴眼镜的人脸图像。本发明实施例提供的方法，根据人脸姿态调整眼镜图像的姿态，结合像素加权的方式添加眼镜，能够使眼镜图像与人脸姿态相匹配，并能模拟镜片的透明和反光，从而自然地将人脸图像戴上眼镜，不会对图像产生干扰。
本发明实施例还提供了一种图像处理的装置，请参阅图9，其示出了本申请实施例提供的一种图像处理的装置30的结构，该装置包括：第一获取模块31、第一识别模块32、提取模块33、第二识别模块34、调整模块35和加权模块36。
其中，第一获取模块31，用于获取获取待处理人脸图像。第一识别模块32，用于识别所述待处理人脸图像中的人脸是否佩戴眼镜。提取模块33，用于若所述待处理人脸图像中的人脸未佩戴眼镜，提取所述待处理人脸图像中的脸部区域，作为脸部图像。第二识别模块34，用于识别所述脸部图像的脸部姿态、眼部的位置以及眼部尺寸。调整模块35，用于根据所述脸部姿态，调整眼镜素材图像的姿态，以及，根据所述眼部尺寸，调整所述眼镜素材图像的大小。加权模块36，用于结合所述眼部位置，将调整后的眼镜素材图像和所述人脸图像进行像素加权求和，以向所述人脸图像添加眼镜。
在一些实施例中，所述眼镜素材图像包括镜框部分和镜片部分。所述加权模块36具体用于根据所述眼部位置，确定所述人脸图像中处于镜框下的区域和所述人脸图像中处于镜片下的区域；将所述镜框部分的像素与所述人脸图像中处于镜框下的区域的像素进行像素加权；将所述镜片部分的像素与所述人脸图像中处于镜片下的区域的像素进行像素加权，获得戴眼镜的人脸图像。
在一些实施例中，所述第二识别模块34还包括预测单元、转换单元和确定单元(图未示)。所述预测单元，用于根据预设三维变换模型，预测所述脸部图像对应的3DMM系数。所述转换单元，用于根据所述3DMM系数，将所述脸部图像转换为三维的脸部模型。所述确定子单元，用于根据所述三维的脸部模型，确定脸部姿态。
在一些实施例中，所述脸部姿态包括相机的旋转角和平移量，所述确定单元具体用于从所述三维的脸部模型中提取若干关键点的第一三维坐标；获取所述若干关键点在预设三维标准正脸模型中的第二三维坐标；根据所述第一三维坐标和第二三维坐标，计算相机的旋转角和平移向量。
在一些实施例中，所述提取模块33具体用于根据预设目标检测器，确定所述待处理人脸图像中包含有脸部的人脸框；将所述人脸框所包含的图像作为所述脸部图像。
在一些实施例中，所述第二识别模块34还具体用于获取所述脸部图像的左内眼角和右内眼角的坐标；将所述左内眼角和右内眼角的坐标作为所述眼部的位置。
在一些实施例中，所述第二识别模块34还具体用于获取所述脸部图像的一眼睛的内眼角和外眼角的距离；将所述距离作为所述眼部大小。
本发明实施例中，该图像处理的装置30通过第一获取模块31获取待处理人脸图像；第一识别模块32识别所述待处理人脸图像中的人脸是否佩戴眼镜；若所述待处理人脸图像中的人脸未佩戴眼镜，提取模块33提取所述待处理人脸图像中的脸部区域，作为脸部图像；第二识别模块34识别所述脸部图像的脸部姿态、眼部的位置以及眼部尺寸；调整模块35根据所述脸部姿态，调整眼镜素材图像的姿态，以及，根据所述眼部尺寸，调整所述眼镜素材图像的大小；加权模块36结合所述眼部位置，将调整后的眼镜素材图像和所述人脸图像进行像素加权求和，获得戴眼镜的人脸图像。本发明实施例提供的装置，根据人脸姿态调整眼镜图像的姿态，结合像素加权的方式添加眼镜，能够使眼镜图像与人脸姿态相匹配，并能模拟镜片的透明和反光，从而自然地将人脸图像戴上眼镜，不会对图像产生干扰。
本发明实施例还提供了一种智能机器人，请参阅图10，所述智能机器人40包括：图像获取模块41，用于获取待处理人脸图像；至少一个处理器42，与所述图像获取模块41连接；以及，与所述至少一个处理器42通信连接的存储器43，图10中以一个处理器为例。
所述存储器43存储有可被所述至少一个处理器42执行的指令，所述指令被所述至少一个处理器42执行，以使所述至少一个处理器42能够执行上述图2至图8所述的图像处理方法。所述处理器42和所述存储器43可以通过总线或者其他方式连接，图10中以通过总线连接为例。
存储器43作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本申请实施例中的图像处理方法的程序指令/模块，例如，附图9所示的各个模块。处理器42通过运行存储在存储器43中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例图像处理方法。
存储器43可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据图像处理的装置的使用所创建的数据等。此外，存储器43可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器43可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至图像处理的装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述一个或者多个模块存储在所述存储器43中，当被所述一个或者多个处理器执行时，执行上述任意方法实施例中的图像处理方法，例如，执行以上描述的图2至图8的方法步骤，实现图9中的各模块的功能。
上述产品可执行本申请实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本申请实施例所提供的方法。
本申请实施例还提供了一种包含程序代码的计算机程序产品，当所述计算机程序产品在电子设备上运行时，使得所述电子设备执行上述任一方法实施例中图像处理方法，例如，执行以上描述的图2至图8的方法步骤，实现图9中各模块的功能。
本发明实施例的有益效果：区别于现有技术的情况，本发明实施例提供的一种图像处理方法、装置及智能机器人，该方法通过获取待处理人脸图像；识别所述待处理人脸图像中的人脸是否佩戴眼镜；若否，提取所述待处理人脸图像中的脸部区域，作为脸部图像；识别所述脸部图像的脸部姿态、眼部的位置以及眼部尺寸；根据所述脸部姿态，调整眼镜素材图像的姿态，以及，根据所述眼部尺寸，调整所述眼镜素材图像的大小；结合所述眼部位置，将调整后的眼镜素材图像和所述人脸图像进行像素加权求和，获得戴眼镜的人脸图像。本发明实施例提供的方法，根据人脸姿态调整眼镜图像的姿态，结合像素加权的方式添加眼镜，能够使眼镜图像与人脸姿态相匹配，并能模拟镜片的透明和反光，从而自然地将人脸图像戴上眼镜，不会对图像产生干扰。
需要说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
通过以上的实施方式的描述，本领域普通技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random Access Memory,RAM)等。
需要说明的是，本发明的说明书及其附图中给出了本发明的较佳的实施例，但是，本发明可以通过许多不同的形式来实现，并不限于本说明书所描述的实施例，这些实施例不作为对本发明内容的额外限制，提供这些实施例的目的是使对本发明的公开内容的理解更加透彻全面。并且，上述各技术特征继续相互组合，形成未在上面列举的各种实施例，均视为本发明说明书记载的范围；进一步地，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。
Claims (8)
1.一种图像处理方法，其特征在于，包括：
获取待处理人脸图像；
识别所述待处理人脸图像中的人脸是否佩戴眼镜；
若否，提取所述待处理人脸图像中的脸部区域，作为脸部图像；
识别所述脸部图像的脸部姿态、眼部位置以及眼部大小；
根据所述脸部姿态，调整眼镜素材图像的姿态，以及，根据所述眼部大小，调整所述眼镜素材图像的大小，所述眼镜素材图像包括镜框部分和镜片部分；
结合所述眼部位置，将调整后的眼镜素材图像和所述人脸图像进行像素加权求和，获得戴眼镜的人脸图像；
所述结合所述眼部位置，将调整后的眼镜素材图像和所述人脸图像进行像素加权求和，获得戴眼镜的人脸图像的步骤，具体包括：
根据所述眼部位置，确定所述人脸图像中处于镜框下的区域和所述人脸图像中处于镜片下的区域；
将所述镜框部分的像素与所述人脸图像中处于镜框下的区域的像素进行像素加权；
将所述镜片部分的像素与所述人脸图像中处于镜片下的区域的像素进行像素加权，获得戴眼镜的人脸图像。
2.根据权利要求1所述的图像处理方法，其特征在于，所述识别所述脸部图像的脸部姿态的步骤，进一步包括：
根据预设三维变换模型，预测所述脸部图像对应的3DMM系数；
根据所述3DMM系数，将所述脸部图像转换为三维的脸部模型；
根据所述三维的脸部模型，确定脸部姿态。
3.根据权利要求2所述的图像处理方法，其特征在于，所述脸部姿态包括相机的旋转角和平移量，
所述根据所述三维的脸部模型，确定脸部姿态的步骤，进一步包括：
从所述三维的脸部模型中提取若干关键点的第一三维坐标；
获取所述若干关键点在预设三维标准正脸模型中的第二三维坐标；
根据所述第一三维坐标和第二三维坐标，计算相机的旋转角和平移向量。
4.根据权利要求1所述的图像处理方法，其特征在于，所述提取所述待处理人脸图像中的脸部区域，作为脸部图像的步骤，进一步包括：
根据预设目标检测器，确定所述待处理人脸图像中包含有脸部的人脸框；
将所述人脸框所包含的图像作为所述脸部图像。
5.根据权利要求1所述的图像处理方法，其特征在于，所述识别所述脸部图像中眼部位置的步骤，进一步包括：
获取所述脸部图像的左内眼角和右内眼角的坐标；
将所述左内眼角和右内眼角的坐标作为所述眼部位置。
6.根据权利要求1所述的图像处理方法，其特征在于，所述识别所述脸部图像中眼部大小的步骤，进一步包括：
获取所述脸部图像的一眼睛的内眼角和外眼角的距离；
将所述距离作为所述眼部大小。
7.一种图像处理的装置，其特征在于，包括：
第一获取模块，用于获取待处理人脸图像；
第一识别模块，用于识别所述待处理人脸图像中的人脸是否佩戴眼镜；
提取模块，用于若所述待处理人脸图像中的人脸未佩戴眼镜，提取所述待处理人脸图像中的脸部区域，作为脸部图像；
第二识别模块，用于识别所述脸部图像的脸部姿态、眼部位置以及眼部大小；
调整模块，用于根据所述脸部姿态，调整眼镜素材图像的姿态，以及，根据所述眼部大小，调整所述眼镜素材图像的大小，所述眼镜素材图像包括镜框部分和镜片部分；
加权模块，用于结合所述眼部位置，将调整后的眼镜素材图像和所述人脸图像进行像素加权求和，以向所述人脸图像添加眼镜；
所述加权模块还用于所述结合所述眼部位置，将调整后的眼镜素材图像和所述人脸图像进行像素加权求和，获得戴眼镜的人脸图像的步骤，具体包括：
根据所述眼部位置，确定所述人脸图像中处于镜框下的区域和所述人脸图像中处于镜片下的区域；
将所述镜框部分的像素与所述人脸图像中处于镜框下的区域的像素进行像素加权；
将所述镜片部分的像素与所述人脸图像中处于镜片下的区域的像素进行像素加权，获得戴眼镜的人脸图像。
8.一种智能机器人，其特征在于，包括：
图像获取模块，用于获取待处理人脸图像；
至少一个处理器，与所述图像获取模块连接；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1-6任意一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911309036.7A CN111062328B (zh) | 2019-12-18 | 2019-12-18 | 一种图像处理方法、装置及智能机器人 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911309036.7A CN111062328B (zh) | 2019-12-18 | 2019-12-18 | 一种图像处理方法、装置及智能机器人 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111062328A CN111062328A (zh) | 2020-04-24 |
| CN111062328B true CN111062328B (zh) | 2023-10-03 |
Family
ID=70302178
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911309036.7A Active CN111062328B (zh) | 2019-12-18 | 2019-12-18 | 一种图像处理方法、装置及智能机器人 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111062328B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111612823A (zh) * | 2020-05-21 | 2020-09-01 | 云南电网有限责任公司昭通供电局 | 一种基于视觉的机器人自主跟踪方法 |
| CN111626193A (zh) * | 2020-05-26 | 2020-09-04 | 北京嘀嘀无限科技发展有限公司 | 一种面部识别方法、面部识别装置及可读存储介质 |
| CN111723755B (zh) * | 2020-07-19 | 2022-09-06 | 南京甄视智能科技有限公司 | 人脸识别底库的优化方法与系统 |
| CN112766215A (zh) * | 2021-01-29 | 2021-05-07 | 北京字跳网络技术有限公司 | 人脸融合方法、装置、电子设备及存储介质 |
| CN115509351B (zh) * | 2022-09-16 | 2023-04-07 | 上海仙视电子科技有限公司 | 一种感官联动情景式数码相框交互方法与系统 |
| CN116228763B (zh) * | 2023-05-08 | 2023-07-21 | 成都睿瞳科技有限责任公司 | 用于眼镜打印的图像处理方法及系统 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000020580A (ja) * | 1998-07-02 | 2000-01-21 | Fine System Kikaku Kk | 眼鏡レイアウト及びレンズ選択作業サポートシステム |
| JP2000131647A (ja) * | 1998-10-28 | 2000-05-12 | Seiko Epson Corp | 照明装置およびそれを用いた投写型表示装置 |
| JP2009301843A (ja) * | 2008-06-12 | 2009-12-24 | Toshiba Corp | 転写装置、有機電界発光表示装置の製造方法 |
| CN103400119A (zh) * | 2013-07-31 | 2013-11-20 | 南京融图创斯信息科技有限公司 | 基于人脸识别技术的混合显示眼镜交互展示方法 |
| CN104335103A (zh) * | 2012-05-30 | 2015-02-04 | 依视路国际集团（光学总公司） | 用于为佩戴者提供个性化眼镜片光学系统的方法 |
| CN106775535A (zh) * | 2016-12-26 | 2017-05-31 | 温州职业技术学院 | 一种基于边缘检测的眼镜镜片虚拟试戴装置及方法 |
| CN107077751A (zh) * | 2014-11-28 | 2017-08-18 | 维尤姆技术有限公司 | 隐形眼镜虚拟试戴方法、装置及实施该方法的计算机程序 |
| CN108319943A (zh) * | 2018-04-25 | 2018-07-24 | 北京优创新港科技股份有限公司 | 一种提高戴眼镜条件下人脸识别模型性能的方法 |
| CN109063539A (zh) * | 2018-06-08 | 2018-12-21 | 平安科技（深圳）有限公司 | 眼镜虚拟佩戴方法、装置、计算机设备及存储介质 |
| CN109727097A (zh) * | 2018-12-29 | 2019-05-07 | 上海堃承信息科技有限公司 | 一种配镜方法、装置与系统 |
| CN109983501A (zh) * | 2016-06-30 | 2019-07-05 | 试戴盒子公司 | 一种隐藏图像或视频中的对象的方法和相关的增强现实方法 |
| CN110163806A (zh) * | 2018-08-06 | 2019-08-23 | 腾讯科技（深圳）有限公司 | 一种图像处理方法、装置以及存储介质 |
| CN110298319A (zh) * | 2019-07-01 | 2019-10-01 | 北京字节跳动网络技术有限公司 | 图像合成方法和装置 |
-
2019
- 2019-12-18 CN CN201911309036.7A patent/CN111062328B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000020580A (ja) * | 1998-07-02 | 2000-01-21 | Fine System Kikaku Kk | 眼鏡レイアウト及びレンズ選択作業サポートシステム |
| JP2000131647A (ja) * | 1998-10-28 | 2000-05-12 | Seiko Epson Corp | 照明装置およびそれを用いた投写型表示装置 |
| JP2009301843A (ja) * | 2008-06-12 | 2009-12-24 | Toshiba Corp | 転写装置、有機電界発光表示装置の製造方法 |
| CN104335103A (zh) * | 2012-05-30 | 2015-02-04 | 依视路国际集团（光学总公司） | 用于为佩戴者提供个性化眼镜片光学系统的方法 |
| CN103400119A (zh) * | 2013-07-31 | 2013-11-20 | 南京融图创斯信息科技有限公司 | 基于人脸识别技术的混合显示眼镜交互展示方法 |
| CN107077751A (zh) * | 2014-11-28 | 2017-08-18 | 维尤姆技术有限公司 | 隐形眼镜虚拟试戴方法、装置及实施该方法的计算机程序 |
| CN109983501A (zh) * | 2016-06-30 | 2019-07-05 | 试戴盒子公司 | 一种隐藏图像或视频中的对象的方法和相关的增强现实方法 |
| CN106775535A (zh) * | 2016-12-26 | 2017-05-31 | 温州职业技术学院 | 一种基于边缘检测的眼镜镜片虚拟试戴装置及方法 |
| CN108319943A (zh) * | 2018-04-25 | 2018-07-24 | 北京优创新港科技股份有限公司 | 一种提高戴眼镜条件下人脸识别模型性能的方法 |
| CN109063539A (zh) * | 2018-06-08 | 2018-12-21 | 平安科技（深圳）有限公司 | 眼镜虚拟佩戴方法、装置、计算机设备及存储介质 |
| CN110163806A (zh) * | 2018-08-06 | 2019-08-23 | 腾讯科技（深圳）有限公司 | 一种图像处理方法、装置以及存储介质 |
| CN109727097A (zh) * | 2018-12-29 | 2019-05-07 | 上海堃承信息科技有限公司 | 一种配镜方法、装置与系统 |
| CN110298319A (zh) * | 2019-07-01 | 2019-10-01 | 北京字节跳动网络技术有限公司 | 图像合成方法和装置 |
Non-Patent Citations (2)
| Title |
|---|
| MIND THE AI+;黄巍伟;《中国物业管理》;42-43 * |
| 虚拟眼镜试戴中镜片染色算法的设计与实现;陈清华;《温州职业技术学院学报》;59-65 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111062328A (zh) | 2020-04-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111062328B (zh) | 一种图像处理方法、装置及智能机器人 | |
| CN111328396B (zh) | 用于图像中的对象的姿态估计和模型检索 | |
| KR102591552B1 (ko) | 눈 포즈 측정을 사용한 눈꺼풀 형상 추정 | |
| Tompson et al. | Real-time continuous pose recovery of human hands using convolutional networks | |
| Ansari et al. | Nearest neighbour classification of Indian sign language gestures using kinect camera | |
| WO2020103700A1 (zh) | 一种基于微表情的图像识别方法、装置以及相关设备 | |
| CN107871098B (zh) | 人脸特征点的获取方法和装置 | |
| CN108629336B (zh) | 基于人脸特征点识别的颜值计算方法 | |
| KR101612605B1 (ko) | 얼굴 특징점 추출 방법 및 이를 수행하는 장치 | |
| CN109684969B (zh) | 凝视位置估计方法、计算机设备及存储介质 | |
| CN111274916A (zh) | 人脸识别方法和人脸识别装置 | |
| US20220148333A1 (en) | Method and system for estimating eye-related geometric parameters of a user | |
| CN109241890B (zh) | 面部图像校正方法、装置及存储介质 | |
| CN113506367B (zh) | 一种三维人脸模型训练方法、三维人脸重建方法及相关装置 | |
| CN112200056B (zh) | 人脸活体检测方法、装置、电子设备及存储介质 | |
| CN112651380A (zh) | 人脸识别方法、人脸识别装置、终端设备及存储介质 | |
| CN113591763A (zh) | 人脸脸型的分类识别方法、装置、存储介质及计算机设备 | |
| CN114549557A (zh) | 一种人像分割网络训练方法、装置、设备及介质 | |
| CN115205933A (zh) | 面部表情识别方法、装置、设备及可读存储介质 | |
| CN114005149A (zh) | 一种目标角度检测模型的训练方法及装置 | |
| CN112115790A (zh) | 人脸识别方法、装置、可读存储介质和电子设备 | |
| KR20220145412A (ko) | 머리 특징부의 치수 및 거리를 결정하기 위한 컴퓨터 구현 방법 및 장치 | |
| CN117079339A (zh) | 动物虹膜识别方法、预测模型训练方法、电子设备及介质 | |
| Guo et al. | Hand gesture recognition and interaction with 3D stereo camera | |
| CN111753736A (zh) | 基于分组卷积的人体姿态识别方法、装置、设备和介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |