CN106919906A - 一种图像互动方法及互动装置 - Google Patents

Abstract

本发明的图像互动方法及互动装置，用于解决活照片模式下无法形成高效实时交互动画的技术问题。互动方法包括：第一部分：建立照片与控制人的相应五官位置的映射联系；第二部分：识别控制人五官移动的位置偏差数据，作为照片相应位置变化的依据，形成照片的表情变化效果。利用在相似坐标空间内建立相似特征的转换模型，将主动变化的特征数据作为控制信号完成静止画面的被动变化，形成新颖视觉效果。

Description

一种图像互动方法及互动装置

技术领域

本发明涉及计算机图形处理领域，特别涉及图形的人机交互处理。

背景技术

对于让静止人物图像活动起来，通常是采用计算机动画处理。针对脸部特写的活动，美术设计人员需要提前做好脸部特写的图片模型，然后形成连续的序列帧画面，或者是对头脸部建模，绑定好骨头或肌肉，按帧率进行拉伸、纹理贴图、实时渲染，形成序列帧画面。以上处理方法需要确定的人物或脸部特写。

在现有人机交互行为中，需要实现在移动终端上实现活照片模式，主要特点是首先在移动终端屏幕上呈现获得的静止的脸部特写，通常为一张照片中的部分图像，然后利用移动终端摄像头捕捉操作者的面部变化，并识别为一种具体表情，在移动终端摄屏幕上控制脸部特写做出相应的变化。

上述计算机动画处理方法处理活照片模式存在技术缺陷。首先无法为随机获得的脸部特写预先形成各种表情的序列帧画面用于实时调用切换。即使在获得具体表情数据后能够实时生成脸部特写表情的序列帧画面，也会对移动终端的处理能力要求过高，造成系统反应延迟，以及过高的能耗，只能通过减低图像分辨率的方式衰减表情细节，降低表情质量。

发明内容

有鉴于此，本发明实施例提供了一种图像互动方法及互动装置，用于解决活照片模式下无法形成高效实时交互动画的技术问题。

本发明的图像互动方法，包括：

第一部分：建立照片与控制人的相应五官位置的映射联系；

第二部分：识别控制人五官移动的位置偏差数据，作为照片相应位置变化的依据，形成照片的表情变化效果。

所述第一部分：

识别照片中的脸部特写；

识别脸部特写中的五官关键点位；

利用五官关键点位构建表情网格，划分脸部特写的纹理图案；

捕捉控制人初始面部，识别初始面部的五官初始关键部位；

将五官初始关键部位与五官关键点位形成映射联系；

所述第二部分：

捕捉控制人的后续面部，识别后续面部的五官后续关键部位，形成五官后续关键部位与五官初始关键部位的偏差数据；

利用偏差数据拉伸相应五官关键点位涉及的网格；

更新表情网格，根据表情网格对脸部特写的纹理图案进行渲染，形成序列帧中的一帧画面；

重复第二部分，形成序列帧画面，在屏幕中脸部特写位置播放，形成表情变化。

所述利用五官关键点位构建表情网格，划分脸部特写的纹理图案包括：

利用五官关键点位构建覆盖脸部特写的连续二维网格；

关联每个网格与覆盖的局部脸部特写的特征数据。

所述将五官初始关键部位与五官关键点位形成映射联系包括：

控制人的五官初始关键部位通过距离矢量矩阵变化，与脸部特写中相应的五官关键点位关联；关联的映射策略包括：

将控制人的五官初始关键部位向脸部特写中的五官关键点位进行一对一的关联；或将控制人的五官初始关键部位向脸部特写中的五官关键点位进行多对一的关联。

所述捕捉控制人的后续面部，识别后续面部的五官后续关键部位，形成五官后续关键部位与五官初始关键部位的偏差数据包括：

捕捉相邻后续面部的相应五官后续关键部位的相对偏差数据，形成相应五官后续关键部位间的附加偏差数据。

所述利用偏差数据拉伸相应五官关键点位涉及的网格包括：

体现在偏差数据中的五官关键点位围成的网格的拉伸；

包含偏差数据中的五官关键点位的网格的拉伸。

所述更新表情网格，根据表情网格对脸部特写的纹理图案进行渲染，形成序列帧中的一帧画面包括：

控制更新表情网格的频率与捕捉控制人连续的后续面部的频率成比例关系，优选1:1、5:1～1:10。

本发明的图像互动装置，包括：

映射装置，用于建立照片与控制人的相应五官位置的映射联系；

识别控制装置，用于识别控制人五官移动的位置偏差数据，作为照片相应位置变化的依据，形成照片的表情变化效果。

所述映射装置包括：

照片轮廓识别模块，用于识别照片中的脸部特写；

关键点位识别模块，用于识别脸部特写中的五官关键点位；

表情网格生成模块，用于利用五官关键点位构建表情网格，划分脸部特写的纹理图案；

控制人初始表情识别模块，用于捕捉控制人初始面部，识别初始面部的五官初始关键部位；

映射模块，用于将五官初始关键部位与五官关键点位形成映射联系。

所述识别控制装置包括：

控制人表情数据生成模块，用于捕捉控制人的后续面部，识别后续面部的五官后续关键部位，形成五官后续关键部位与五官初始关键部位的偏差数据；

表情网格变化生成模块，用于利用偏差数据拉伸相应五官关键点位涉及的网格；

表情网格渲染模块，用于更新表情网格，根据表情网格对脸部特写的纹理图案进行渲染，形成序列帧中的一帧画面；

表情生成模块，用于循环调用控制人表情数据生成模块、表情网格变化生成模块和表情网格渲染模块，形成序列帧画面，在屏幕中脸部特写位置播放，形成表情变化。

所述表情网格生成模块包括：

连续二维网格生成子模块，用于利用五官关键点位构建覆盖脸部特写的连续二维网格；

纹理网格划分子模块，用于关联每个网格与覆盖的局部脸部特写的特征数据。

所述映射模块包括：

第一关联子模块，用于通过距离矢量矩阵变化，使控制人的五官初始关键部位与脸部特写中相应的五官关键点位关联；

第二关联子模块，用于将控制人的五官初始关键部位向脸部特写中的五官关键点位进行一对一的关联；

第三关联子模块，用于将控制人的五官初始关键部位向脸部特写中的五官关键点位进行多对一的关联。

所述控制人表情数据生成模块包括：

附加偏差生成子模块，用于捕捉相邻后续面部的相应五官后续关键部位的相对偏差数据，形成相应五官后续关键部位间的附加偏差数据。

所述主要网格拉伸子模块，用于拉伸体现在偏差数据中的五官关键点位围成的网格；

次要网格拉伸子模块，用于拉伸包含偏差数据中的五官关键点位的网格。

所述更新频率子模块，用于控制更新表情网格的频率与捕捉控制人连续的后续面部的频率形成比例关系。

本发明的图像互动方法与互动装置，利用对脸部特写的网格化形成五官关键点位的关联坐标点，利用控制人的五官初始关键部位替换五官关键点位，通过对五官后续关键部位的识别，利用形成的偏差数据调整网格的变化，网格变化后渲染形成的帧序列图像形成表情效果，避免了现有技术中的非实时人工处理和实时建模渲染复杂度。利用本发明实施例的图像互动方法，可以快速形成对任意图像中脸部特写的互动过程，使得活照片模式得以推广。

附图说明

图1为本发明一种图像互动方法实施例的处理流程图。

图2为本发明一种图像互动装置实施例的架构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图纸中的步骤编号仅用于作为该步骤的附图标记，不表示执行顺序。

本发明基本的图像互动方法，包括：

第一部分：建立照片与控制人的相应五官位置的映射联系；

第二部分：识别控制人五官移动的位置偏差数据，作为照片相应位置变化的依据，形成照片的表情变化效果。

本发明基本的图像互动方法利用在相似坐标空间内建立相似特征的转换模型，将主动变化的特征数据作为控制信号完成静止画面的被动变化，形成新颖视觉效果。

图1为本发明一种图像互动方法实施例的处理流程图。如图1所示，本发明实施例的图像互动方法，

第一部分包括：

步骤10：识别照片中的脸部特写；

步骤20：识别脸部特写中的五官关键点位；

步骤30：利用五官关键点位构建表情网格，划分脸部特写的纹理图案；

步骤40：捕捉控制人初始面部，识别初始面部的五官初始关键部位；

步骤50：将五官初始关键部位与五官关键点位形成映射联系；

第二部分包括：

步骤60：捕捉控制人的后续面部，识别后续面部的五官后续关键部位，形成五官后续关键部位与五官初始关键部位的偏差数据；

步骤70：利用偏差数据拉伸相应五官关键点位涉及的网格；

步骤80：更新表情网格，根据表情网格对脸部特写的纹理图案进行渲染，形成序列帧中的一帧画面；

步骤90：重复第二部分的步骤60、步骤70和步骤80，形成序列帧画面，在屏幕中脸部特写位置播放，形成表情变化。

本发明实施例的图像互动方法，利用对脸部特写的网格化形成五官关键点位的关联坐标点，利用控制人的五官初始关键部位替换五官关键点位，通过对五官后续关键部位的识别，利用形成的偏差数据调整网格的变化，网格变化后渲染形成的帧序列图像形成表情效果，避免了现有技术中的非实时人工处理和实时建模渲染复杂度。利用本发明实施例的图像互动方法，可以快速形成对任意图像中脸部特写的互动过程，使得活照片模式得以推广。

在本发明一实施例的图像互动方法中，步骤10中，包括对照片中单独面部轮廓、包括单独头面部轮廓或单独头部轮廓的识别。头部、面部或头面部可以采用现有的识别过程和方法。头部、面部或头面部可以存在识别过程和方法可容忍的扭曲或歪曲。

在本发明一实施例的图像互动方法中，步骤20中，五官关键点位包括但不限于五官轮廓、五官的颧骨最高点、眉骨最高点、内眼角、外眼角、嘴角、内侧眉尖、外侧眉尖、鼻准、鼻孔和瞳孔等具体关键特征位置。识别可以采用现有的识别过程和方法。

在本发明一实施例的图像互动方法中，步骤30中，包括：

利用五官关键点位构建覆盖脸部特写的连续二维网格，形成表情网格。二维网格的每个顶点为一个五官关键点位。每个网格与覆盖的局部脸部特写的面积、形状、纹理、明暗度等局部脸部特写特征相对应。

在本发明一实施例的图像互动方法中，步骤40中，控制人初始面部指采用摄像部件捕捉的第一帧可有效识别五官初始关键部位的控制人面部图像。五官初始关键部位包括但不限于面部轮廓、五官轮廓、五官的颧骨最高点、眉骨最高点、内眼角、外眼角、嘴角、内侧眉尖、外侧眉尖、鼻准、鼻孔和瞳孔等具体关键特征位置。控制人面部可以存在识别过程和方法可容忍的扭曲或歪曲。

在本发明一实施例中，控制人的五官初始关键部位与照片中脸部特写的五官关键点位受不同识别过程或方法的影响可能会存在数量上和种类上的差异，即同一类型的五官关键特征可以存在一个或一组点标记。例如鼻头，可以是由一个点标记，也可以由围成圆形的若干个点标记。

在本发明一实施例的图像互动方法中，步骤50中包括：

控制人的五官初始关键部位通过距离矢量矩阵变化，与脸部特写中相应的五官关键点位关联。距离矢量矩阵变化包括旋转、平移、缩放等处理过程，关联包括相互包括、相互覆盖、相互叠加、相互对应等关联关系。

在本发明一实施例中，在控制人的五官初始关键部位与脸部特写中的五官关键点位之间根据映射策略形成相应的关联。映射策略包括：

将控制人的五官初始关键部位向脸部特写中的五官关键点位进行一对一的关联；

或将控制人的五官初始关键部位向脸部特写中的五官关键点位进行多对一的关联。

不同的映射策略可以调和照片的脸部特写和捕捉的控制人面部的分辨率，也可以调和照片的拟人形象的脸部特写和捕捉的控制人面部的偏离度。

在本发明一实施例的图像互动方法中，步骤60中还包括：

捕捉相邻后续面部的相应五官后续关键部位的相对偏差数据，形成相应五官后续关键部位间的附加偏差数据。附加偏差数据可以作为偏差数据的组成部分，提供五官后续关键部位间的微小差异数据，对于高清表情的表现具有促进作用。

在本发明一实施例的图像互动方法中，附加偏差数据的利用可以采用如下步骤：

捕捉到控制人的五官后续关键部位后，把这些关键部位经过矩阵的旋转平移和缩放，映射到识别图片中，此时的控制人的人脸关键部位和图片中人脸关键点会大致重合，然后用控制人的五官关键部位替换图片中的五官关键点。由于控制人的人脸关键部位是每一帧实时都生成的，且与上一帧数据出现偏差，所以会拉伸关键部位涉及的网格。

在本发明一实施例的图像互动方法中，步骤70中，包括体现在偏差数据中的五官关键点位围成的网格的拉伸，以及包含偏差数据中的五官关键点位的网格的拉伸。这样的拉伸可以在保证表情主要动作到位的同时，形成与控制人表情一致的面部过渡动作，避免表情生硬。

在本发明一实施例的图像互动方法中，步骤80中，控制更新表情网格的频率与捕捉控制人连续的后续面部的频率成一定的比例关系，如1:1、5:1～1:10。在本发明一实施例中，这种比例关系与附加偏差数据中的数值正相关，可以有效控制表情变化剧烈程度与渲染处理资源间的平衡。

本发明实施例的图像互动方法可以适应较高分辨率的照片中的脸部特写与相对较低分辨率的控制人表情间的互动适配，从分辨率、捕捉频率、表情剧烈程度和面部差异几方面满足活照片模式的实际应用。

与基本的图像互动方法相应的图像互动装置，包括：

映射装置，用于建立照片与控制人的相应五官位置的映射联系；

识别控制装置，用于识别控制人五官移动的位置偏差数据，作为照片相应位置变化的依据，形成照片的表情变化效果。

图2为本发明一种图像互动装置实施例的架构示意图。如图2所示，本发明实施例的图像互动装置中，映射装置包括：

照片轮廓识别模块100，用于识别照片中的脸部特写；

关键点位识别模块200，用于识别脸部特写中的五官关键点位；

表情网格生成模块300，用于利用五官关键点位构建表情网格，划分脸部特写的纹理图案；

控制人初始表情识别模块400，用于捕捉控制人初始面部，识别初始面部的五官初始关键部位；

映射模块500，用于将五官初始关键部位与五官关键点位形成映射联系；

识别控制装置包括：

控制人表情数据生成模块600，用于捕捉控制人的后续面部，识别后续面部的五官后续关键部位，形成五官后续关键部位与五官初始关键部位的偏差数据；

表情网格变化生成模块700，用于利用偏差数据拉伸相应五官关键点位涉及的网格；

表情网格渲染模块800，用于更新表情网格，根据表情网格对脸部特写的纹理图案进行渲染，形成序列帧中的一帧画面；

表情生成模块900，用于循环调用控制人表情数据生成模块600、表情网格变化生成模块700和表情网格渲染模块800，形成序列帧画面，在屏幕中脸部特写位置播放，形成表情变化。

在本发明一实施例的图像互动装置中，照片轮廓识别模块100进一步用于对照片中单独面部轮廓、包括单独头面部轮廓或单独头部轮廓的识别。

在本发明一实施例的图像互动装置中，关键点位识别模块200主要识别五官轮廓、五官的颧骨最高点、眉骨最高点、内眼角、外眼角、嘴角、内侧眉尖、外侧眉尖、鼻准、鼻孔和瞳孔等具体关键特征位置。

在本发明一实施例的图像互动装置中，表情网格生成模块300包括：

连续二维网格生成子模块310，用于利用五官关键点位构建覆盖脸部特写的连续二维网格；

纹理网格划分子模块320，用于关联每个网格与覆盖的局部脸部特写的特征数据。

在本发明一实施例的图像互动装置中，控制人初始表情识别模块400进一步用于识别摄像部件捕捉的第一帧可有效识别五官初始关键部位的控制人面部图像。主要识别面部轮廓、五官轮廓、五官的颧骨最高点、眉骨最高点、内眼角、外眼角、嘴角、内侧眉尖、外侧眉尖、鼻准、鼻孔和瞳孔等具体关键特征位置。

在本发明一实施例的图像互动装置中，映射模块500包括：

第一关联子模块510，用于通过距离矢量矩阵变化，使控制人的五官初始关键部位与脸部特写中相应的五官关键点位关联。

第二关联子模块520，用于将控制人的五官初始关键部位向脸部特写中的五官关键点位进行一对一的关联。

第三关联子模块530，用于将控制人的五官初始关键部位向脸部特写中的五官关键点位进行多对一的关联。

在本发明一实施例的图像互动装置中，控制人表情数据生成模块600包括：

附加偏差生成子模块610，用于捕捉相邻后续面部的相应五官后续关键部位的相对偏差数据，形成相应五官后续关键部位间的附加偏差数据。

在本发明一实施例的图像互动装置中，表情网格变化生成模块700包括：

主要网格拉伸子模块710，用于拉伸体现在偏差数据中的五官关键点位围成的网格。

次要网格拉伸子模块720，用于拉伸包含偏差数据中的五官关键点位的网格。

在本发明一实施例的图像互动装置中，表情网格渲染模块800包括：

更新频率子模块810，用于控制更新表情网格的频率与捕捉控制人连续的后续面部的频率形成比例关系。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换等，均应包含在本发明的保护范围之内。

Claims (16)

1.一种图像互动方法，包括：

第一部分：建立照片与控制人的相应五官位置的映射联系；

第二部分：识别控制人五官移动的位置偏差数据，作为照片相应位置变化的依据，形成照片的表情变化效果。

2.如权利要求1所述的图像互动方法，其特征在于，所述第一部分：

识别照片中的脸部特写；

识别脸部特写中的五官关键点位；

利用五官关键点位构建表情网格，划分脸部特写的纹理图案；

捕捉控制人初始面部，识别初始面部的五官初始关键部位；

将五官初始关键部位与五官关键点位形成映射联系。

3.如权利要求2所述的图像互动方法，其特征在于，所述第二部分：

捕捉控制人的后续面部，识别后续面部的五官后续关键部位，形成五官后续关键部位与五官初始关键部位的偏差数据；

利用偏差数据拉伸相应五官关键点位涉及的网格；

更新表情网格，根据表情网格对脸部特写的纹理图案进行渲染，形成序列帧中的一帧画面；

重复第二部分，形成序列帧画面，在屏幕中脸部特写位置播放，形成表情变化。

4.如权利要求3所述的图像互动方法，其特征在于，所述利用五官关键点位构建表情网格，划分脸部特写的纹理图案包括：

利用五官关键点位构建覆盖脸部特写的连续二维网格；

关联每个网格与覆盖的局部脸部特写的特征数据。

5.如权利要求3所述的图像互动方法，其特征在于，所述将五官初始关键部位与五官关键点位形成映射联系包括：

控制人的五官初始关键部位通过距离矢量矩阵变化，与脸部特写中相应的五官关键点位关联；关联的映射策略包括：

将控制人的五官初始关键部位向脸部特写中的五官关键点位进行一对一的关联；或将控制人的五官初始关键部位向脸部特写中的五官关键点位进行多对一的关联。

6.如权利要求3所述的图像互动方法，其特征在于，所述捕捉控制人的后续面部，识别后续面部的五官后续关键部位，形成五官后续关键部位与五官初始关键部位的偏差数据包括：

捕捉相邻后续面部的相应五官后续关键部位的相对偏差数据，形成相应五官后续关键部位间的附加偏差数据。

7.如权利要求3所述的图像互动方法，其特征在于，所述利用偏差数据拉伸相应五官关键点位涉及的网格包括：

体现在偏差数据中的五官关键点位围成的网格的拉伸；

包含偏差数据中的五官关键点位的网格的拉伸。

8.如权利要求3所述的图像互动方法，其特征在于，所述更新表情网格，根据表情网格对脸部特写的纹理图案进行渲染，形成序列帧中的一帧画面包括：

控制更新表情网格的频率与捕捉控制人连续的后续面部的频率成比例关系，优选1:1、5:1～1:10。

9.一种图像互动装置，包括：

映射装置，用于建立照片与控制人的相应五官位置的映射联系；

识别控制装置，用于识别控制人五官移动的位置偏差数据，作为照片相应位置变化的依据，形成照片的表情变化效果。

10.如权利要求9所述的图像互动装置，其特征在于，所述映射装置包括：

照片轮廓识别模块，用于识别照片中的脸部特写；

关键点位识别模块，用于识别脸部特写中的五官关键点位；

表情网格生成模块，用于利用五官关键点位构建表情网格，划分脸部特写的纹理图案；

控制人初始表情识别模块，用于捕捉控制人初始面部，识别初始面部的五官初始关键部位；

映射模块，用于将五官初始关键部位与五官关键点位形成映射联系。

11.如权利要求10所述的图像互动装置，其特征在于，所述识别控制装置包括：

控制人表情数据生成模块，用于捕捉控制人的后续面部，识别后续面部的五官后续关键部位，形成五官后续关键部位与五官初始关键部位的偏差数据；

表情网格变化生成模块，用于利用偏差数据拉伸相应五官关键点位涉及的网格；

表情网格渲染模块，用于更新表情网格，根据表情网格对脸部特写的纹理图案进行渲染，形成序列帧中的一帧画面；

表情生成模块，用于循环调用控制人表情数据生成模块、表情网格变化生成模块和表情网格渲染模块，形成序列帧画面，在屏幕中脸部特写位置播放，形成表情变化。

12.如权利要求11所述的图像互动装置，其特征在于，所述表情网格生成模块包括：

连续二维网格生成子模块，用于利用五官关键点位构建覆盖脸部特写的连续二维网格；

纹理网格划分子模块，用于关联每个网格与覆盖的局部脸部特写的特征数据。

13.如权利要求11所述的图像互动装置，其特征在于，所述映射模块包括：

第一关联子模块，用于通过距离矢量矩阵变化，使控制人的五官初始关键部位与脸部特写中相应的五官关键点位关联；

第二关联子模块，用于将控制人的五官初始关键部位向脸部特写中的五官关键点位进行一对一的关联；

第三关联子模块，用于将控制人的五官初始关键部位向脸部特写中的五官关键点位进行多对一的关联。

14.如权利要求11所述的图像互动装置，其特征在于，所述控制人表情数据生成模块包括：

附加偏差生成子模块，用于捕捉相邻后续面部的相应五官后续关键部位的相对偏差数据，形成相应五官后续关键部位间的附加偏差数据。

15.如权利要求11所述的图像互动装置，其特征在于，所述主要网格拉伸子模块，用于拉伸体现在偏差数据中的五官关键点位围成的网格；

次要网格拉伸子模块，用于拉伸包含偏差数据中的五官关键点位的网格。

16.如权利要求11所述的图像互动装置，其特征在于，所述更新频率子模块，用于控制更新表情网格的频率与捕捉控制人连续的后续面部的频率形成比例关系。