CN106952217A - 面向智能机器人的面部表情增强方法和装置 - Google Patents
面向智能机器人的面部表情增强方法和装置 Download PDFInfo
- Publication number
- CN106952217A CN106952217A CN201710098430.5A CN201710098430A CN106952217A CN 106952217 A CN106952217 A CN 106952217A CN 201710098430 A CN201710098430 A CN 201710098430A CN 106952217 A CN106952217 A CN 106952217A
- Authority
- CN
- China
- Prior art keywords
- image
- key point
- expression
- amimia
- face image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000008921 facial expression Effects 0.000 title claims abstract description 56
- 238000000034 method Methods 0.000 title claims abstract description 39
- 230000014509 gene expression Effects 0.000 claims abstract description 75
- 206010053238 Amimia Diseases 0.000 claims abstract description 74
- 230000002708 enhancing effect Effects 0.000 claims abstract description 44
- 230000001815 facial effect Effects 0.000 claims abstract description 34
- 239000000284 extract Substances 0.000 claims abstract description 6
- 239000011159 matrix material Substances 0.000 claims description 19
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 17
- 230000009466 transformation Effects 0.000 claims description 16
- 238000001514 detection method Methods 0.000 claims description 11
- 230000008859 change Effects 0.000 claims description 8
- 230000003321 amplification Effects 0.000 claims description 6
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 4
- 230000006870 function Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 210000003128 head Anatomy 0.000 description 2
- 230000001965 increasing effect Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 235000014676 Phragmites communis Nutrition 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/02—Affine transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Manipulator (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明提供一种面向智能机器人的面部表情增强方法，其包括以下步骤：获取用户的当前面部图像；检测当前面部图像中的关键点，并进行标记；基于所保存的用户的无表情面部三维模型和所述当前面部图像中的关键点提取相对于当前面部图像的关键点的表情增强点的参考位置；根据所述参考位置生成表情增强的面部图像。通过智能机器人对用户面部表情进行夸大处理，从而起到了日常生活中常见的哈哈镜的作用，丰富了智能机器人的功能并增强了智能机器人的娱乐性。本发明的表情增强方案可应用到各类智能机器人中。
Description
技术领域
本发明涉及智能机器人领域，具体地说，涉及一种面向智能机器人的面部表情增强方法和装置。
背景技术
随着科技技术的发展进步，人工智能的应用领域已经深入到人们生活的方方面面。当前的陪伴型智能机器人在人机交互方面已经逐步地可以替代人类的部分功能，与用户进行交谈。然而，智能机器人除了具有能够替代人类进行一些交互的功能之外，事实上还可以模拟许多娱乐设施给用户带来多种体验。针对这方面的深入应用，科技人员还在做努力尝试。
发明内容
本发明的目的在于提供能够利用智能机器人来模拟哈哈镜效果的的技术方案。为此，本发明提供了一种面向智能机器人的面部表情增强方法。该方法包括以下步骤：
获取用户的当前面部图像；
检测当前面部图像中的关键点，并进行标记；
基于所保存的用户的无表情面部三维模型和所述当前面部图像中的关键点提取相对于当前面部图像的关键点的表情增强点的参考位置；
根据所述参考位置生成表情增强的面部图像。
在一个实施例中，根据本发明的面向智能机器人的面部表情增强方法，，在根据所述参考位置生成表情增强的面部图像的步骤中，所述方法还包括：
基于所述当前面部图像中的关键点建立当前面部图像的表情未增强的三角模型；
基于所述表情增强点的参考位置建立相对于当前面部图像的表情增强的三角模型；
将所述表情未增强的三角模型与表情增强的三角模型进行比对获得三角形仿射变换矩阵阵列；以及
结合所述三角形仿射变换矩阵阵列对最初获取的当前面部图像进行逐三角形仿射变换以得到所述表情增强的面部图像。
在一个实施例中，根据本发明的面向智能机器人的面部表情增强方法，在获取用户的当前面部图像的步骤之前，所述方法还包括：
获取用户的无表情图像；
检测所述无表情图像的关键点并进行标记；以及
基于所述无表情图像的关键点进行三维建模，并保存所得到的用户的无表情面部三维模型。
在一个实施例中，根据本发明的面向智能机器人的面部表情增强方法，
在未检测到所述无表情图像的关键点时，提示进行手动标记面部图像的关键点，且
在检测到所述无表情图像的关键点并已进行了标记之后，提示进行手动微量调整所述关键点。
在一个实施例中，根据本发明的面向智能机器人的面部表情增强方法，
将所述无表情面部图像中的关键点和所述当前面部图像中的关键点之间的差异放大预设的增强系数倍，以获取面部表情变动向量；以及
将所述面部表情变动向量叠加到所述当前面部图像中的关键点上以获取相对于当前面部图像的关键点的表情增强点的参考位置。
根据本发明的另一个方面，还提供了一种面向智能机器人的面部表情增强装置。所述装置包括：
当前面部图像获取单元，其用以获取用户的当前面部图像；
关键点检测单元，其用以检测当前面部图像中的关键点，并进行标记；
表情增强点位置提取单元，其用以基于所保存的用户的无表情面部三维模型和所述当前面部图像中的关键点提取相对于当前面部图像的关键点的表情增强点的参考位置；
表情增强图像生成单元，其用以根据所述参考位置生成表情增强的面部图像。
在一个实施例中，根据本发明的面向智能机器人的面部表情增强装置，在表情增强图像生成单元中还包括：
用以基于所述当前面部图像中的关键点建立当前面部图像的表情未增强的三角模型的第一子单元；
用以基于所述表情增强点的参考位置建立相对于当前面部图像的表情增强的三角模型的第二子单元；
用以将所述表情未增强的三角模型与表情增强的三角模型进行比对获得三角形仿射变换矩阵阵列的第三子单元；以及
用以结合所述三角形仿射变换矩阵阵列对最初获取的当前面部图像进行逐三角形仿射变换以得到所述表情增强的面部图像的第四子单元。
在一个实施例中，根据本发明的面向智能机器人的面部表情增强装置，所述装置还包括：
用以获取用户的无表情图像的第五子单元；
用以检测所述无表情图像的关键点并进行标记的第六子单元；以及
用以基于所述无表情图像的关键点进行三维建模，并保存所得到的用户的无表情面部三维模型的第七子单元。
在一个实施例中，根据本发明的面向智能机器人的面部表情增强装置，所述装置还包括：
在未检测到所述无表情图像的关键点时，提示进行手动标记面部图像的关键点的第八子单元，以及
在检测到所述无表情图像的关键点并已进行了标记之后，提示进行手动微量调整所述关键点的第九子单元。
在一个实施例中，根据本发明的面向智能机器人的面部表情增强装置，所述装置还包括
用以将所述无表情面部图像中的关键点和所述当前面部图像中的关键点之间的差异放大预设的增强系数倍，以获取面部表情变动向量的第十子单元；以及
用以将所述面部表情变动向量叠加到所述当前面部图像中的关键点上以获取相对于当前面部图像的关键点的表情增强点的参考位置的第十一子单元。
本发明的有利之处在于，通过智能机器人对用户面部表情进行夸大处理，从而起到了日常生活中常见的哈哈镜的作用，丰富了智能机器人的功能并增强了智能机器人的娱乐性。本发明的表情增强方案可应用到各类智能机器人中。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例共同用于解释本发明，并不构成对本发明的限制。在附图中：
图1为根据本发明的一个实施例的面向智能机器人的面部表情增强方法的总体流程图；
图2显示了根据本发明的一个实施例的用以获取表情增强的面部图像的详细流程图；
图3显示了根据本发明的一个实施例的用以获取无表情面部三维模型的流程图；
图4显示了根据本发明的一个实施例的对面部特征进行关键点标记的示意图；
图5显示了根据本发明的一个实施例的用以面部检测并进行关键点标记的流程图；
图6显示了根据本发明的一个实施例的进行面部表情增强的方法的详细流程图；
图7显示了根据本发明的一个实施例的无表情二维图像和当前面部有表情图像获得表情增强的面部图像的示意图；
图8显示了根据本发明的一个实施例的用以面向智能机器人的面部表情增强装置的结构框图；以及
图9显示了根据本发明的另一个一个实施例的用以面向智能机器人的面部表情增强装置的关于生成无表情面部三维模型的单元的结构框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，以下结合附图对本发明实施例作进一步地详细说明。
如图1所示，本发明的面向智能机器人的面部表情增强方法开始于步骤S101。在步骤S101中，智能机器人获取用户的当前面部图像。智能机器人获取用户的当前面部图像可以通过用户以自拍的形式利用摄像头捕捉用户当前的头像，尤其是当前头像中的面部表情的二维图片。
在步骤S102中，智能机器人对获取的用户当前面部图像进行检测，主要是检测当前面部图像中的关键点，并进行标记。一般地，智能机器人可以通过机器学习类算法标记出二维图片上人脸五官特征的关键点位置。针对每个关键点分配固定编号。例如，左内测眼角的编号可以分配为39。检测的关键点的数量越多对面部图像的特征识别会越精确，但同时带来计算量大的缺点。本发明考虑了位置因素，选取一种折衷的方式来确定关键点的数量，优选为70个关键点。
对于脸型轮廓在面部表情变化方面没有太多改变的情况，可以将关键点设置的比较稀疏，能够大致反映出轮廓即可。而对于嘴部、眼部和眉毛特征部分，它们在面部表情有变化时，改变比较大，因此优选将这些部位的关键点设置的较密。例如，针对嘴部的关键点可以设置多达20个关键点来表示。如图4左部某实际的面部图像所示，其中显示了对面部图像标记关键点的情形。
在步骤S103中，基于所保存的用户的无表情面部三维模型和当前面部图像中的关键点提取相对于当前面部图像的关键点的表情增强点的参考位置。当智能机器人将当前面部二维图像中的关键点标记完后，接下来可通过例如搜索引擎从存储库中搜索预先保存的该用户的无表情面部三维模型。基于该模型以及之前标记的关键点来进一步提取表情增强点的参考位置。具体地说，首先通过计算基于无表情三维模型可以获得当前面部图像相对于无表情图像的面部特征发生变化的那些部位。然后将这些变化的趋势进行放大，得到表情增强点的参考位置。
所保存的用户的无表情面部三维模型可以是在用户此次操作之前就已经形成的，并存储在存储库的特定位置。也可以是用户在本次操作时现场获取的。一般地，如果在搜索库中未找到预先保存的三维模型，智能机器人可以提示用户现场拍摄无表情图片，然后并行处理生成无表情面部三维模型。这时会花费多一些时间对现场获取的无表情图片进行处理。针对无表情面部三维模型的现场获取，后面将会详细描述。
最后，在步骤S104中，智能机器人根据表情增强点的参考位置来生成表情增强的面部图像。
以上为本发明方法的总体流程，其中，具体的实现细节下面将会结合其他附图进一步说明。
如图2所示，在根据参考位置生成表情增强的面部图像的步骤中，面向智能机器人的面部表情增强方法还包括：
步骤S201，基于所述当前面部图像中的关键点建立当前面部图像的表情未增强的三角模型；
步骤S202基于所述表情增强点的参考位置建立相对于当前面部图像的表情增强的三角模型；
步骤S203，将所述表情未增强的三角模型与表情增强的三角模型进行比对获得三角形仿射变换矩阵阵列；以及
步骤S203结合所述三角形仿射变换矩阵阵列对最初获取的当前面部图像进行逐三角形仿射变换以得到所述表情增强的面部图像。
针对以上步骤的实施细节后面将结合图6进一步说明。
在数学和计算几何领域，平面上的点集P的Delaunay三角化是一种三角剖分DT(P)，使得在P中没有点严格处于DT(P)中任意一个三角形外接圆的内部。而Delaunay三角化最大化了此三角剖分中三角形的最小角。如图4右部所示，其中显示了对某标准人脸二维图片70个关键点做Delaunay三角化得到的三角形集合。可以看出，关键点标记的多的地方形成的三角形数量较多。
如图3所示，其中显示了智能机器人生成无表情面部的三维模型的方法流程图。在获取用户的当前面部图像的步骤之前，智能机器人还需要例如通过用户现场自拍或者寻找图片库中的用户的图像，来获取用户的无表情图像，步骤S301。
接下来，在步骤S302中，智能机器人检测用户的无表情图像的关键点并进行标记，该步骤的实现与智能机器人处理用户的当前有表情图像的操作基本相同。例如，智能机器人可以通过机器学习类算法标记出二维图片上人脸五官特征的关键点位置。针对每个关键点分配固定编号。
在步骤S303中，基于无表情图像的关键点进行三维建模，并保存所得到的用户的无表情面部三维模型。目前已有很多实际中可应用的三维建模的技术，可以根据需要采用任何一种来进行建模，本发明对此不作任何限制。
如图3所示的这些步骤可以在用户通过自拍模式拍摄当前面部图像的操作之前的一个时刻进行，也可以在与此操作无关的其他之前的任意时候完成，并保存在特定位置。当启动面部增强应用时，智能机器人会优先搜索特定位置中是否已保存有针对当前用户的无表情面部三维模型。如果有，则直接与其对比而生成表情增强图片，如果没有则需要提示用户进行现场拍摄，以获取无表情图片，然后生成对应的三维模型。
如图5所示，其中显示了智能机器人处理用户的无表情面部标准图片的详细过程。用户首先例如通过自拍的方式上传无表情标准图片，步骤S501。智能机器人检测图片中的面部特征，步骤S502。接下来，智能机器人会判断上述步骤中检测的面部特征是否完全，或者说是否检测到无表情图像中的面部特征关键点，步骤S503。如果判断的结果是否，即未检测到无表情图像中的面部特征关键点时，智能机器人会提示用户进行手动标记面部图像的关键点，步骤S506。用户可自己在显示屏幕上进行关键点标记，标记的方法和原理与自动标记类似。如果判断的结果是检测到人脸，则智能机器人自动对面部特征中的关键点进行标记，步骤S504。接下来，智能机器人可以询问是否需要微量调节自动标记好的关键点，步骤S505。如果用户对机器人自动标记的关键点在数量或位置上不满意，可以通过选择进入到步骤S506进行进一步手动添加或修改。最后，在步骤S507中，最终标记了面部二维图像中的关键点。
图6显示了根据本发明的一个实施例的进行面部表情增强的方法的详细流程图。
智能机器人的摄像头持续对用户面部拍摄得到图像，并对图像进行面部检测，并按照上述介绍的进行面部关键点的检测和标记。在标记了70关键点之后，智能机器人一方面根据这些关键点的信息建立三角模型，另一方面求解PnP(Perspective-n-Point)问题。PnP(Perspective-n-Point)问题可表示为，在已知三维点集P1(三维模型中的关键点)、二维点集P2和摄像头内参矩阵C的情况下，求解刚体变换矩阵R，使得P1×R×C-P2的值最小化的问题。也就是如何旋转P1才能使它从相机的角度看上去与P2吻合的问题。这里，在N维欧几里德空间中，把一个几何物体作旋转、平移的运动，称之为刚体变换。三维空间中的刚体变换可由一个3×3的矩阵R来描述。当相机或摄像头从不同角度拍摄表情固定的人脸时，人脸视为在相机坐标系内做刚体变换。
如图6所示，三维点集P1来自预先得到的人脸无表情三维模型(其中含70个关键点)，二维点集P2来自当前人脸二维图片中的70个关键点。求解PnP的函数在openCV中可以找到，利用其中的solvePnP函数得到刚体变换矩阵R。
基于刚体变换矩阵R和面部无表情三维模型中已标记的70个关键点得到针对当前面部图像的70个无表情点的参考位置。
接下来，如图所示，将先前已经标记好的当前面部的70个关键点的位置信息与所得到的当前面部图像的70个无表情点的参考位置对比，获得差异。该差异用面部表情的变动向量来表现。然后，将面部表情变动向量与预设的面部表情增强系数相乘。换句话说，也就是将无表情面部图像中的关键点和当前面部图像中的关键点之间的差异放大预设的增强系数倍。这样便得到了面部表情增强变动向量。
然后，将面部表情变动向量叠加到当前面部图像中的关键点上以获取相对于当前面部图像的关键点的表情增强点的参考位置。这里可以将70个关键点区分为51个表情增强点和29个与表情变化无关的外接边缘点来分别获取参考位置信息。
接下来，根据当前面部图像的70个表情增强点的参考位置获得表情增强三角模型。获得三角模型的方法可以与针对无表情面部图片中的关键点建立三角模型的步骤相同或者不同，均可采用现有的三角模型的建立技术。
然后，基于当前面部的三角模型和相对于当前面部的表情增强的三角模型得到三角形仿射变换矩阵阵列。这样，便可以根据得到的三角形仿射变换矩阵阵列结合最初获得的用户当前面部图片生成所需要的满足哈哈镜效果的面部表情增强的二维图片。
最后，智能机器人通过多模态的方式输出该表情增强图片给用户。
为解释说明，本发明以举例方式提供了图7来显示根据本发明方法进行面部表情增强的示意性过程。在图7中，左上部中显示的图片表示的是用户的无表情面部图片，该图片作为标准图片用以获取面部无表情三维模型以及关键点集合。右上部显示的图片表示的是用户现场拍摄的做出一定表情的面部图片。智能机器人根据上述两个图片的信息进行处理得到第三张表情较为夸张的图片，如下部所示。
由于本发明的方法描述的是在计算机系统中实现的。该计算机系统例如可以设置在机器人的控制核心处理器中。例如，本文所述的方法可以实现为能以控制逻辑来执行的软件，其由机器人控制系统中的CPU来执行。本文所述的功能可以实现为存储在非暂时性有形计算机可读介质中的程序指令集合。当以这种方式实现时，该计算机程序包括一组指令，当该组指令由计算机运行时其促使计算机执行能实施上述功能的方法。可编程逻辑可以暂时或永久地安装在非暂时性有形计算机可读介质中，例如只读存储器芯片、计算机存储器、磁盘或其他存储介质。除了以软件来实现之外，本文所述的逻辑可利用分立部件、集成电路、与可编程逻辑设备(诸如，现场可编程门阵列(FPGA)或微处理器)结合使用的可编程逻辑，或者包括它们任意组合的任何其他设备来体现。所有此类实施例旨在落入本发明的范围之内。
因此，根据本发明的另一个方面，还提供了一种面向智能机器人的面部表情增强装置800，其包括：当前面部图像获取单元801、关键点检测单元802、表情增强点位置提取单元803和表情增强图像生成单元804。
当前面部图像获取单元801用以获取用户的当前面部图像。例如，通过启用其他关联应用启动摄像头来拍摄用户当前的图像。该图像可以是有表情的也可以是无表情的。针对是否具有表情，智能机器人可通过内部基准面部图像进行比对来进行标记。
关键点检测单元802用以检测当前面部图像中的关键点，并进行标记。
表情增强点位置提取单元803用以基于存储库805中所保存的用户的无表情面部三维模型和当前面部图像中的关键点提取相对于当前面部图像的关键点的表情增强点的参考位置。用户的无表情面部三维模型可以是预先保存在特定位置中，也可以是现场获取的。
表情增强图像生成单元804用以根据参考位置生成表情增强的面部图像。
在一个实施例中，表情增强图像生成单元804还包括：
用以基于当前面部图像中的关键点建立当前面部图像的表情未增强的三角模型的第一子单元804a；
用以基于表情增强点的参考位置建立相对于当前面部图像的表情增强的三角模型的第二子单元804b；
用以将表情未增强的三角模型与表情增强的三角模型进行比对获得三角形仿射变换矩阵阵列的第三子单元804c；以及
用以结合三角形仿射变换矩阵阵列对最初获取的当前面部图像进行逐三角形仿射变换以得到表情增强的面部图像的第四子单元804d。
在一个实施例中，如图9所示，根据本发明的面向智能机器人的面部表情增强装置800还包括无表情面部三维模型获取单元900，其包括：
用以获取用户的无表情图像的第五子单元901；
用以检测所述无表情图像的关键点并进行标记的第六子单元902；以及
用以基于所述无表情图像的关键点进行三维建模，并保存所得到的用户的无表情面部三维模型的第七子单元903。
在一个实施例中，无表情面部三维模型获取单元900还包括：
在未检测到所述无表情图像的关键点时，提示进行手动标记面部图像的关键点的第八子单元904，以及
在检测到所述无表情图像的关键点并已进行了标记之后，提示进行手动微量调整所述关键点的第九子单元905。
在一个实施例中，根据本发明的面向智能机器人的面部表情增强装置800的表情增强图像生成单元804还包括：
用以将所述无表情面部图像中的关键点和所述当前面部图像中的关键点之间的差异放大预设的增强系数倍，以获取面部表情变动向量的第十子单元；以及
用以将所述面部表情变动向量叠加到所述当前面部图像中的关键点上以获取相对于当前面部图像的关键点的表情增强点的参考位置的第十一子单元。
应该理解的是，本发明所公开的实施例不限于这里所公开的特定结构、处理步骤或材料，而应当延伸到相关领域的普通技术人员所理解的这些特征的等同替代。还应当理解的是，在此使用的术语仅用于描述特定实施例的目的，而并不意味着限制。
说明书中提到的“一个实施例”或“实施例”意指结合实施例描述的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，说明书通篇各个地方出现的短语“一个实施例”或“实施例”并不一定均指同一个实施例。
虽然本发明所公开的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所公开的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。
Claims (10)
1.一种面向智能机器人的面部表情增强方法，其特征在于，所述方法包括以下步骤：
获取用户的当前面部图像；
检测当前面部图像中的关键点，并进行标记；
基于所保存的用户的无表情面部三维模型和所述当前面部图像中的关键点提取相对于当前面部图像的关键点的表情增强点的参考位置；
根据所述参考位置生成表情增强的面部图像。
2.如权利要求1所述的面向智能机器人的面部表情增强方法，其特征在于，在根据所述参考位置生成表情增强的面部图像的步骤中，所述方法还包括：
基于所述当前面部图像中的关键点建立当前面部图像的表情未增强的三角模型；
基于所述表情增强点的参考位置建立相对于当前面部图像的表情增强的三角模型；
将所述表情未增强的三角模型与表情增强的三角模型进行比对获得三角形仿射变换矩阵阵列；以及
结合所述三角形仿射变换矩阵阵列对最初获取的当前面部图像进行逐三角形仿射变换以得到所述表情增强的面部图像。
3.如权利要求1所述的面向智能机器人的面部表情增强方法，其特征在于，在获取用户的当前面部图像的步骤之前，所述方法还包括：
获取用户的无表情图像；
检测所述无表情图像的关键点并进行标记；以及
基于所述无表情图像的关键点进行三维建模，并保存所得到的用户的无表情面部三维模型。
4.如权利要求3所述的面向智能机器人的面部表情增强方法，其特征在于，
在未检测到所述无表情图像的关键点时，提示进行手动标记面部图像的关键点，且
在检测到所述无表情图像的关键点并已进行了标记之后，提示进行手动微量调整所述关键点。
5.如权利要求3或4所述的面向智能机器人的面部表情增强方法，其特征在于，
将所述无表情面部图像中的关键点和所述当前面部图像中的关键点之间的差异放大预设的增强系数倍，以获取面部表情增强变动向量；以及
将所述面部表情变动向量叠加到所述当前面部图像中的关键点上以获取相对于当前面部图像的关键点的表情增强点的参考位置。
6.一种面向智能机器人的面部表情增强装置，其特征在于，所述装置包括：
当前面部图像获取单元，其用以获取用户的当前面部图像；
关键点检测单元，其用以检测当前面部图像中的关键点，并进行标记；
表情增强点位置提取单元，其用以基于所保存的用户的无表情面部三维模型和所述当前面部图像中的关键点提取相对于当前面部图像的关键点的表情增强点的参考位置；
表情增强图像生成单元，其用以根据所述参考位置生成表情增强的面部图像。
7.如权利要求6所述的面向智能机器人的面部表情增强装置，其特征在于，在表情增强图像生成单元中还包括：
用以基于所述当前面部图像中的关键点建立当前面部图像的表情未增强的三角模型的第一子单元；
用以基于所述表情增强点的参考位置建立相对于当前面部图像的表情增强的三角模型的第二子单元；
用以将所述表情未增强的三角模型与表情增强的三角模型进行比对获得三角形仿射变换矩阵阵列的第三子单元；以及
用以结合所述三角形仿射变换矩阵阵列对最初获取的当前面部图像进行逐三角形仿射变换以得到所述表情增强的面部图像的第四子单元。
8.如权利要求6所述的面向智能机器人的面部表情增强装置，其特征在于，所述装置还包括：
用以获取用户的无表情图像的第五子单元；
用以检测所述无表情图像的关键点并进行标记的第六子单元；以及
用以基于所述无表情图像的关键点进行三维建模，并保存所得到的用户的无表情面部三维模型的第七子单元。
9.如权利要求8所述的面向智能机器人的面部表情增强装置，其特征在于，所述装置还包括：
在未检测到所述无表情图像的关键点时，提示进行手动标记面部图像的关键点的第八子单元，以及
在检测到所述无表情图像的关键点并已进行了标记之后，提示进行手动微量调整所述关键点的第九子单元。
10.如权利要求8或9所述的面向智能机器人的面部表情增强装置，其特征在于，所述装置还包括
用以将所述无表情面部图像中的关键点和所述当前面部图像中的关键点之间的差异放大预设的增强系数倍，以获取面部表情变动向量的第十子单元；以及
用以将所述面部表情变动向量叠加到所述当前面部图像中的关键点上以获取相对于当前面部图像的关键点的表情增强点的参考位置的第十一子单元。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710098430.5A CN106952217B (zh) | 2017-02-23 | 2017-02-23 | 面向智能机器人的面部表情增强方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710098430.5A CN106952217B (zh) | 2017-02-23 | 2017-02-23 | 面向智能机器人的面部表情增强方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106952217A true CN106952217A (zh) | 2017-07-14 |
| CN106952217B CN106952217B (zh) | 2020-11-17 |
Family
ID=59466451
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710098430.5A Active CN106952217B (zh) | 2017-02-23 | 2017-02-23 | 面向智能机器人的面部表情增强方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106952217B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109102559A (zh) * | 2018-08-16 | 2018-12-28 | Oppo广东移动通信有限公司 | 三维模型处理方法和装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103093490A (zh) * | 2013-02-02 | 2013-05-08 | 浙江大学 | 基于单个视频摄像机的实时人脸动画方法 |
| CN104616347A (zh) * | 2015-01-05 | 2015-05-13 | 掌赢信息科技（上海）有限公司 | 一种表情迁移方法、电子设备及系统 |
| CN106327482A (zh) * | 2016-08-10 | 2017-01-11 | 东方网力科技股份有限公司 | 一种基于大数据的面部表情的重建方法及装置 |
| CN106446779A (zh) * | 2016-08-29 | 2017-02-22 | 深圳市软数科技有限公司 | 身份识别方法和装置 |
-
2017
- 2017-02-23 CN CN201710098430.5A patent/CN106952217B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103093490A (zh) * | 2013-02-02 | 2013-05-08 | 浙江大学 | 基于单个视频摄像机的实时人脸动画方法 |
| CN104616347A (zh) * | 2015-01-05 | 2015-05-13 | 掌赢信息科技（上海）有限公司 | 一种表情迁移方法、电子设备及系统 |
| CN106327482A (zh) * | 2016-08-10 | 2017-01-11 | 东方网力科技股份有限公司 | 一种基于大数据的面部表情的重建方法及装置 |
| CN106446779A (zh) * | 2016-08-29 | 2017-02-22 | 深圳市软数科技有限公司 | 身份识别方法和装置 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109102559A (zh) * | 2018-08-16 | 2018-12-28 | Oppo广东移动通信有限公司 | 三维模型处理方法和装置 |
| CN109102559B (zh) * | 2018-08-16 | 2021-03-23 | Oppo广东移动通信有限公司 | 三维模型处理方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106952217B (zh) | 2020-11-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Lassner et al. | Unite the people: Closing the loop between 3d and 2d human representations | |
| Mueller et al. | Real-time hand tracking under occlusion from an egocentric rgb-d sensor | |
| CN109636831B (zh) | 一种估计三维人体姿态及手部信息的方法 | |
| CN109074660B (zh) | 单目相机实时三维捕获和即时反馈的方法和系统 | |
| Ionescu et al. | Iterated second-order label sensitive pooling for 3d human pose estimation | |
| WO2021093453A1 (zh) | 三维表情基的生成方法、语音互动方法、装置及介质 | |
| Hinterstoisser et al. | Model based training, detection and pose estimation of texture-less 3d objects in heavily cluttered scenes | |
| Varanasi et al. | Temporal surface tracking using mesh evolution | |
| CN111652123B (zh) | 图像处理和图像合成方法、装置和存储介质 | |
| WO2012169251A1 (ja) | 画像処理装置、情報生成装置、画像処理方法、情報生成方法、制御プログラムおよび記録媒体 | |
| Schmaltz et al. | Region-based pose tracking with occlusions using 3d models | |
| Vretos et al. | 3D facial expression recognition using Zernike moments on depth images | |
| CN106919899A (zh) | 基于智能机器人的模仿人脸表情输出的方法和系统 | |
| CN108629294A (zh) | 基于变形图的人体与人脸网格模板拟合方法 | |
| He et al. | Challencap: Monocular 3d capture of challenging human performances using multi-modal references | |
| Lepetit | Recent advances in 3d object and hand pose estimation | |
| US11120624B2 (en) | Three-dimensional head portrait generating method and electronic device | |
| JP2006107145A (ja) | 顔形状モデリングシステムおよび顔形状モデリング方法 | |
| CN104361573B (zh) | 融合颜色信息和全局信息的sift特征匹配算法 | |
| CN106952217A (zh) | 面向智能机器人的面部表情增强方法和装置 | |
| Wei et al. | Occluded pedestrian detection based on depth vision significance in biomimetic binocular | |
| Nguyen et al. | High resolution 3d content creation using unconstrained and uncalibrated cameras | |
| Li et al. | Ecnet: Effective controllable text-to-image diffusion models | |
| Wang et al. | A Visual SLAM Algorithm Based on Image Semantic Segmentation in Dynamic Environment | |
| Yue et al. | Synthesis of silhouettes and visual hull reconstruction for articulated humans |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |