CN111325823A - 人脸纹理图像的获取方法、装置、设备及存储介质 - Google Patents

Abstract

本申请提供了一种人脸纹理图像的获取方法、装置、设备及存储介质。所述方法包括：获取目标对象的三维人脸模型的点云和该目标对象的n种头部姿态的人脸图像；通过柱形展开计算点云中的三维数据点的索引信息；获取点云中的三维数据点与人脸图像上的像素点之间的映射关系；分别从n个人脸图像中获取与头部姿态相对应的图像区域，得到n个有效区域；根据索引信息和映射关系，生成n个有效区域分别对应的区域纹理图像；对n个区域纹理图像进行图像融合，生成目标对象的人脸纹理图像。本申请能够针对任意重建得到的三维人脸模型，生成相应的人脸纹理图像，从而有助于提升三维人脸模型的纹理渲染效果，且能够提升最终生成的人脸纹理图像的真实性。

Description

人脸纹理图像的获取方法、装置、设备及存储介质

技术领域

本申请实施例涉及人工智能的计算机视觉技术领域，特别涉及一种人脸纹理图像的获取方法、装置、设备及存储介质。

背景技术

3D(3Dimensions，三维)人脸重建是指从一张或多张2D(2Dimensions，二维)图像中重建出人脸的3D模型。

在一些相关技术中，通过拍摄获取目标对象的一张或多张人脸图像，对这些人脸图像进行分析处理，生成该目标对象的三维人脸模型的点云；然后，对于点云中的每一个点，从人脸图像中找到与该点对应的像素点，并将该像素点的颜色作为这个点的颜色。三维人脸模型上的每个三角形面片的颜色，就由组成这个三角形面片的三个点的平均颜色决定。

但是，采用上述相关技术渲染生成的带纹理的三维人脸模型，各个区域的颜色变化大，效果粗糙。

发明内容

本申请实施例提供了一种人脸纹理图像的获取方法、装置、设备及存储介质，能够针对任意重建得到的三维人脸模型，生成相应的人脸纹理图像，从而有助于提升三维人脸模型的纹理渲染效果。所述技术方案如下：

一方面，本申请实施例提供了一种人脸纹理图像的获取方法，所述方法包括：

获取目标对象的三维人脸模型的点云，以及所述目标对象的n种头部姿态对应的n个人脸图像，所述n为正整数；

通过柱形展开计算所述点云中的三维数据点在所述目标对象的人脸纹理图像上对应的像素点坐标，得到所述三维数据点的索引信息；

获取所述三维数据点与所述人脸图像上的像素点之间的映射关系；

分别从所述n个人脸图像中获取与头部姿态相对应的图像区域，得到n个有效区域；

对于所述n个有效区域中的第i个有效区域，根据所述映射关系获取所述第i个有效区域中的像素点对应的目标三维数据点，所述i为小于等于所述n的正整数；

根据所述索引信息获取所述目标三维数据点在所述第i个有效区域对应的区域纹理图像上的目标像素点；

对所述目标像素点进行渲染，生成所述第i个有效区域对应的区域纹理图像；其中，所述目标像素点的像素值根据所述第i个有效区域中的像素点的像素值确定；

对所述n个区域纹理图像进行图像融合，生成所述目标对象的所述人脸纹理图像。

另一方面，本申请实施例提供了一种人脸纹理图像的获取装置，所述装置包括：

数据获取模块，用于获取目标对象的三维人脸模型的点云，以及所述目标对象的n种头部姿态对应的n个人脸图像，所述n为正整数；

索引生成模块，用于通过柱形展开计算所述点云中的三维数据点在所述目标对象的人脸纹理图像上对应的像素点坐标，得到所述三维数据点的索引信息；

映射获取模块，用于获取所述三维数据点与所述人脸图像上的像素点之间的映射关系；

区域获取模块，用于分别从所述n个人脸图像中获取与头部姿态相对应的图像区域，得到n个有效区域；

像素点映射模块，用于对于所述n个有效区域中的第i个有效区域，根据所述映射关系获取所述第i个有效区域中的像素点对应的目标三维数据点，所述i为小于等于所述n的正整数；

数据点索引模块，用于根据所述索引信息获取所述目标三维数据点在所述第i个有效区域对应的区域纹理图像上的目标像素点；

像素点渲染模块，用于对所述目标像素点进行渲染，生成所述第i个有效区域对应的区域纹理图像；其中，所述目标像素点的像素值根据所述第i个有效区域中的像素点的像素值确定；

纹理图生成模块，用于对所述n个区域纹理图像进行图像融合，生成所述目标对象的所述人脸纹理图像。

再一方面，本申请实施例提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述人脸纹理图像的获取方法。

可选地，所述计算机设备为终端或服务器。

再一方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述人脸纹理图像的获取方法。

还一方面，本申请实施例提供了一种计算机程序产品，所述计算机程序产品被处理器执行时，用于实现上述人脸纹理图像的获取方法。

本申请实施例提供的技术方案可以包括如下有益效果：

通过基于目标对象的三维人脸模型的点云和n种头部姿态对应的n个人脸图像，生成该点云中的三维数据点的索引信息，以及该点云中的三维数据点与人脸图像上的像素点之间的映射关系，然后结合上述索引信息和映射关系，生成目标对象的人脸纹理图像；对于任意基于人脸图像重建生成的三维人脸模型，也即对于拓扑结构并非预先确定的三维人脸模型，能够自动生成该三维人脸模型对应的人脸纹理图像以及点云的索引信息(或称为uv索引)，基于该索引信息采用人脸纹理图像对三维人脸模型进行纹理渲染，有助于提升三维人脸模型的纹理渲染效果，使得纹理渲染效果更加平滑细致。

而且，通过生成点云中的三维数据点的索引信息，以及该点云中的三维数据点与人脸图像上的像素点之间的映射关系，以点云为桥梁，确定出人脸图像中像素点与人脸纹理图像中像素点之间的映射关系，从而确定出人脸纹理图像中各个像素点的像素值，算法简单，计算量小。

而且，通过确定人脸图像中的有效区域，基于有效区域的像素值，确定该有效区域对应的区域纹理图像的像素值，再对各个区域纹理图像进行融合，得到最终的人脸纹理图像，能够从不同头部姿态的人脸图像中，获取最真实的区域纹理来生成最终的人脸纹理图像，提升最终生成的人脸纹理图像的真实性，使其与目标对象的真实肤色更加接近。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请提供的人脸纹理图像的获取流程的框架图；

图2是本申请一个实施例提供的人脸纹理图像的获取方法的流程图；

图3是本申请示出的目标对象在4种头部姿态下的人脸图像的示意图；

图4是本申请示出的三维人脸模型在三维坐标系下的俯视图；

图5是本申请示出的点云在人脸图像上的透视投影结果的示意图；

图6是本申请另一个实施例提供的人脸纹理图像的获取方法的流程图；

图7是本申请示出的人脸图像中的有效区域的示意图；

图8是本申请示出的各个有效区域对应的区域纹理图像的示意图；

图9是本申请示出的融合生成的人脸纹理图像的示意图；

图10是本申请示出的三维人脸模型的示意图；

图11是本申请一个实施例提供的人脸纹理图像的获取装置的框图；

图12是本申请另一个实施例提供的人脸纹理图像的获取装置的框图；

图13是本申请一个实施例提供的计算机设备的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

AI(Artificial Intelligence，人工智能)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

计算机视觉技术(Computer Vision，CV)：计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR(Optical Character Recognition，光学字符识别)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。

随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。

本申请实施例提供的方案涉及3D人脸重建技术领域，利用计算机视觉技术对目标对象的人脸图像进行分析处理，构建出目标对象的三维人脸模型，并可以生成该目标对象的人脸纹理图像，通过该人脸纹理图像对上述三维人脸模型进行渲染，生成带纹理的三维人脸模型。

结合参考图1，其示出了本申请提供的人脸纹理图像的获取流程的框架图。从该流程中可以看出，输入数据包括目标对象的三维人脸模型的点云11，以及该目标对象的n种头部姿态对应的n个人脸图像12，n为正整数，输出数据包括该目标对象的人脸纹理图像13。在获取目标对象的三维人脸模型的点云11和该目标对象的n个人脸图像12之后，一方面生成点云11中的三维数据点的索引信息，该索引信息包括三维数据点在目标对象的人脸纹理图像13上对应的像素点坐标，另一方面获取点云11中的三维数据点与各个人脸图像12上的像素点之间的映射关系。然后，根据上述索引信息和映射关系，生成目标对象的人脸纹理图像13。

可选地，如图1所示，在得到目标对象的人脸纹理图像13之后，可以采用该人脸纹理图像13对该目标对象的三维人脸模型进行渲染，生成目标对象的带纹理的三维人脸模型14。

本申请实施例提供的方法流程，各步骤的执行主体可以是诸如手机、平板电脑、多媒体播放设备、可穿戴设备等终端，也可以是服务器。为了便于说明，在下述方法实施例中，仅以各步骤的执行主体为计算机设备为例，进行介绍说明，所述计算机设备可以是任何具备计算和存储能力的电子设备，如上文介绍的终端或服务器。

下面，将结合几个实施例对本申请技术方案进行详细的介绍说明。

请参考图2，其示出了本申请一个实施例提供的人脸纹理图像的获取方法的流程图。该方法可以包括如下几个步骤(201～204)：

步骤201，获取目标对象的三维人脸模型的点云，以及该目标对象的n种头部姿态对应的n个人脸图像，n为正整数。

目标对象可以是任意一个人，该目标对象可以是真人，也可以是机器人或者其它占有一定空间体积的立体人物，本申请实施例对此不作限定。目标对象的人脸图像是指包含该目标对象的人脸的RGB图像(或称为彩色图像)，该RGB图像可以通过摄像头对目标对象进行拍摄得到。RGB图像的每个像素值采用R(红)、G(绿)、B(蓝)三个通道的颜色分量来表示。可选地，在拍摄获取目标对象的RGB图像时，还可以获取与每个RGB图像对应的深度图像，深度图像是指将从摄像头到目标对象所处场景中各点的距离值作为像素值的图像。深度图像也称为距离影像。深度图像直接反映了物体可见表面的几何形状。深度图像类似于灰度图像，只是深度图像的每个像素值是摄像头距离物体的实际距离。目标对象的RGB图像和深度图像可以是配准的，两者的像素点之间具有一对一的对应关系。

目标对象的RGB图像和深度图像可以是采用3D摄像头拍摄得到的两张图像，相较于普通2D摄像头仅能够拍摄RGB图像，3D摄像头除了能够拍摄RGB图像之外，还能够拍摄深度图像。其中，3D摄像头可以包括彩色摄像头和深度传感器，彩色摄像头用于拍摄RGB图像，深度传感器用于采集深度信息以生成深度图像。

上述n个人脸图像可以是目标对象在n种头部姿态下的人脸图像。

在一个示例中，n的取值为1，例如获取目标对象在正脸姿态下的人脸图像。

在另一个示例中，为了提升3D人脸重建的准确性，n的取值大于1，例如上述n种头部姿态包括正脸姿态、右边侧脸姿态(如右侧45度姿态)、左边侧脸姿态(如左侧45度姿态)和抬头姿态。

计算机设备获取目标对象在哪些头部姿态下的人脸图像，可以预先进行设定。示例性地，如图3所示，获取目标对象在4种头部姿态下的人脸图像：右边侧脸姿态、正脸姿态、左边侧脸姿态和抬头姿态。

可选地，通过固定用于采集目标对象的人脸图像的相机位置，目标对象转动头部，由相机采集目标对象的多个不同头部姿态的人脸图像。例如，目标对象转动头部的全过程的图像，都会被相机采集并保存下来。出于效率的考虑，不需要采集的全部图像进行计算，因为很多数据是重复的，目标对象转动头部的全过程中会采集几百个人脸图像，如果这几百个人脸图像全部用于计算会很浪费计算资源。因此，通过筛选图像从这几百个人脸图像中筛选出几个具有代表性的人脸图像用于后续的计算即可。当然，在一些其它示例中，也可以保持目标对象的头部不动，通过调整相机位置，来采集目标对象的多个不同头部姿态的人脸图像。

在一种可能的实现方式中，获取目标对象的多个候选的人脸图像；从该多个候选的人脸图像中筛选出质量合格的目标图像；从目标图像中选取n种头部姿态下的人脸图像。其中，质量不合格(例如眨眼、运动模糊等)的人脸图像会被剔除，保留质量合格的目标图像，然后在这些质量合格的目标图像中按照头部姿态选出n个人脸图像。

目标对象的三维人脸模型是指基于该目标对象在上述n种头部姿态下的人脸图像(可选地还包括深度图像)，重构出的该目标对象的人脸的三维模型。该三维人脸模型包括点云和三角形拓扑。点云包括多个三维数据点，三维数据点是指三维立体空间中的一个点，每个三维数据点在三维立体空间中可以采用一个(x，y，z)的三维坐标来表示。邻近的三个三维数据点可以连接形成一个三角形拓扑(或称为三角形面片)。一个三维人脸模型就由点云和三角形拓扑组成。

步骤202，生成点云中的三维数据点的索引信息，该索引信息包括三维数据点在目标对象的人脸纹理图像上对应的像素点坐标。

可选地，该索引信息也可以称为uv索引，点云中的每个三维数据点的uv索引，是指该三维数据点在人脸纹理图像上对应的像素点坐标(u，v)。

可选地，通过柱形展开计算点云中的三维数据点在目标对象的人脸纹理图像上对应的像素点坐标，得到三维数据点的索引信息。在示例性实施例中，本步骤包括如下几个子步骤：

1、获取点云中的三维数据点在三维坐标系中的三维坐标；

在构建好的三维人脸模型对应的三维坐标系中，可以获取点云中的三维数据点在三维坐标系中的三维坐标，该三维坐标可以表示为(x，y，z)。

可选地，在获取上述三维坐标之前，先构建三维人脸模型对应的三维坐标系。三维坐标系可以包括x、y和z轴，且两两互相垂直。可选地，x轴为水平方向上的坐标轴，如其可以是从左眼到右眼的方向；y轴为竖直方向上的坐标轴，如其可以是从眉心到嘴巴的方向；z轴为深度方向上的坐标轴，如其可以是从后脑勺到鼻尖的方向。如图4所示，其示出了从三维人脸模型40的头顶向下俯视观察得到的图41，从该俯视图视角可以明显的看到x轴方向和z轴方向。

2、根据三维数据点的三维坐标，通过柱形展开计算三维数据点在人脸纹理图像上对应的像素点坐标，得到索引信息。

在本实施例中，可以将三维人脸模型当成一个圆柱体，从圆柱顶面到地面的方向即为从三维人脸模型的头顶向下俯视的方向。通过柱形展开可以计算出各个三维数据点(x，y，z)在人脸纹理图像上对应的像素点坐标(u，v)。可选地，该计算公式可以如下所示：

通过上述公式，即可以将一个三维人脸模型通过柱形展开得到一个平面二维的uv索引。

步骤203，获取点云中的三维数据点与人脸图像上的像素点之间的映射关系。

当人脸图像包括n个时，需要分别获取点云中的三维数据点与每个人脸图像上的像素点之间的映射关系，也即获取n组映射关系。

在示例性实施例中，对于n个人脸图像中的第i个人脸图像，采用透视投影将点云中的三维数据点投影到第i个人脸图像上，得到三维数据点在第i个人脸图像上对应的像素点坐标作为第i组映射关系；其中，上述映射关系包括n组，且n组映射关系中的第i组映射关系与第i个人脸图像相对应，i为小于等于n的正整数。

由于每个人脸图像对应的头部姿态已知，因此可以根据该头部姿态对点云进行旋转、平移等处理，再根据相机参数透视投影到与该头部姿态对应的人脸图像上。透视投影模型可以采用如下公式表示：

xc＝K*(R|T)*P；

其中，R表示旋转参数，T表示平移参数，K表示相机参数，为已知量。P是点云的三维数据点，通过上面的公式，可以将该三维数据点投影到二维的人脸图像上，从而计算出该三维数据点在人脸图像上对应的像素点坐标(在上述公式中以xc表示)。

如图5所示，图示51示出了点云在正脸姿态的人脸图像上的透视投影结果，图示52示出了点云在左边侧脸姿态的人脸图像上的透视投影结果，图示53示出了点云在右边侧脸姿态的人脸图像上的透视投影结果，图示54示出了点云在抬头姿态的人脸图像上的透视投影结果。在上述各个图示中，细小的黑点即为点云投影在人脸图像上对应的点。

步骤204，根据索引信息和映射关系，生成目标对象的人脸纹理图像。

经过上述步骤203生成了点云中的三维数据点与每个人脸图像上的像素点之间的映射关系，同时结合步骤202中生成的索引信息，可以得到点云中的三维数据点与人脸纹理图像上的像素点之间的映射关系，结合上述两方面信息，可以得到人脸纹理图像上的每个像素点与每个人脸图像上的像素点之间的映射关系。因此，对于人脸纹理图像上的任意一个像素点(记为目标像素点)来说，可以获取该目标像素点在n个人脸图像上对应的像素点的像素值，然后综合上述n个像素值计算得到该目标像素点的像素值；在计算出人脸纹理图像上的各个像素点的像素值之后，即可以渲染生成目标对象的人脸纹理图像。

综上所述，本申请实施例提供的技术方案中，通过基于目标对象的三维人脸模型的点云和n种头部姿态对应的n个人脸图像，生成该点云中的三维数据点的索引信息，以及该点云中的三维数据点与人脸图像上的像素点之间的映射关系，然后结合上述索引信息和映射关系，生成目标对象的人脸纹理图像；对于任意基于人脸图像重建生成的三维人脸模型，也即对于拓扑结构并非预先确定的三维人脸模型，能够自动生成该三维人脸模型对应的人脸纹理图像以及点云的索引信息(或称为uv索引)，基于该索引信息采用人脸纹理图像对三维人脸模型进行纹理渲染，有助于提升三维人脸模型的纹理渲染效果，使得纹理渲染效果更加平滑细致。

而且，通过生成点云中的三维数据点的索引信息，以及该点云中的三维数据点与人脸图像上的像素点之间的映射关系，以点云为桥梁，确定出人脸图像中像素点与人脸纹理图像中像素点之间的映射关系，从而确定出人脸纹理图像中各个像素点的像素值，算法简单，计算量小。

请参考图6，其示出了本申请另一个实施例提供的人脸纹理图像的获取方法的流程图。该方法可以包括如下几个步骤(601～606)：

步骤601，获取目标对象的三维人脸模型的点云，以及该目标对象的n种头部姿态对应的n个人脸图像，n为正整数。

步骤602，通过柱形展开计算点云中的三维数据点在目标对象的人脸纹理图像上对应的像素点坐标，得到三维数据点的索引信息。

步骤603，获取点云中的三维数据点与人脸图像上的像素点之间的映射关系。

上述步骤601-603与图2实施例中的步骤201-203相同或类似，具体可参见图2实施例中的介绍说明，此处不再赘述。

步骤604，分别从n个人脸图像中获取与头部姿态相对应的图像区域，得到n个有效区域。

当人脸图像的数量n大于1时，由于会生成n组映射关系，每组映射关系结合索引信息都可以生成一张目标对象的人脸纹理图像，需要对该多张人脸纹理图像进行多视角融合，最终生成一张融合后的人脸纹理图像。

第i个人脸图像中的有效区域，是指根据该第i个人脸图像对应的头部姿态确定的用于融合生成最终的人脸纹理图像的区域。可选地，分别从各个人脸图像中检测得到人脸关键点(如眉毛、眼睛、嘴唇、人脸轮廓等人脸关键部位上的关键点)；根据人脸关键点的位置和预定义的规则，分别获取每个人脸图像中的有效区域。

以确定第i个人脸图像中的有效区域为例，在从该第i个人脸图像中检测得到人脸关键点之后，以鼻尖点为中心画一个圆，该圆的大小是由所有的人脸关键点中距离鼻尖点的距离最大值决定的，也即该圆是以鼻尖点为圆心包含检测出的所有人脸关键点的最小圆。然后，从该圆形区域中选取一个包含在当前头部姿态下完整可见的人脸部位的区域，作为有效区域。示例性地，如果该第i个人脸图像是正脸姿态的人脸图像，那么可以直接将该圆包含的区域确定为有效区域；如果该第i个人脸图像是左边侧脸姿态的人脸图像，那么生成一条经过左眼左侧眼角、左侧嘴角以及下巴中心位置这3个关键点的线条，该线条与上述圆相交所形成的包含左边侧脸的区域作为有效区域；如果该第i个人脸图像是右边侧脸姿态的人脸图像，那么生成一条经过右眼右侧眼角、右侧嘴角以及下巴中心位置这3个关键点的线条，该线条与上述圆相交所形成的包含右边侧脸的区域作为有效区域；如果该第i个人脸图像是抬头姿态的人脸图像，那么将左侧嘴角、右侧嘴角、左脸颊轮廓点、右脸颊轮廓点以及上述圆围合而成的，包含下巴部分的区域作为有效区域。

例如，如图7所示，第一行图示示出了各个人脸图像的关键点定位结果，第二行图示示出了各个人脸图像的有效区域。其中，正脸姿态的人脸图像71中的有效区域75包括目标对象的整个脸部区域；左边侧脸姿态的人脸图像72中的有效区域76包括目标对象的左侧脸部区域；右边侧脸姿态的人脸图像73中的有效区域77包括目标对象的右侧脸部区域；抬头姿态的人脸图像74中的有效区域78包括目标对象的下巴部分区域。

步骤605，根据索引信息和映射关系，生成n个有效区域分别对应的区域纹理图像。

对于n个有效区域中的第i个有效区域，根据映射关系获取第i个有效区域中的像素点对应的目标三维数据点，i为小于等于n的正整数；根据索引信息获取目标三维数据点在第i个有效区域对应的区域纹理图像上的目标像素点；对目标像素点进行渲染，生成第i个有效区域对应的区域纹理图像；其中，目标像素点的像素值根据第i个有效区域中的像素点的像素值确定。

例如，如图8所示，图8中(a)部分示出了正脸姿态的人脸图像中的有效区域对应的区域纹理图像81，图8中(b)部分示出了左边侧脸姿态的人脸图像中的有效区域对应的区域纹理图像82，图8中(c)部分示出了右边侧脸姿态的人脸图像中的有效区域对应的区域纹理图像83，图8中(d)部分示出了抬头姿态的人脸图像中的有效区域对应的区域纹理图像84。

步骤606，对n个区域纹理图像进行图像融合，生成目标对象的人脸纹理图像。

在生成n个有效区域分别对应的区域纹理图像之后，由于n个有效区域拼合形成完整人脸，因此可以对上述n个区域纹理图像进行拼合，生成目标对象的人脸纹理图像。

由于各个头部姿态下的光照条件可能有所不同，导致各个人脸图像之间的颜色存在一定的差异，如正脸明显偏白。此时，如果直接将n个区域纹理图像进行拼合生成目标对象的人脸纹理图像，拼接位置处会出现明显的分界线。为了得到更加平滑结果，可以采用如下步骤对n个区域纹理图像进行图像融合：

1、计算n个区域纹理图像的平均颜色；

2、将n个区域纹理图像的颜色变换为平均颜色，得到n个变换后的区域纹理图像；

3、对n个变换后的区域纹理图像进行拼合，生成人脸纹理图像。

可选地，在计算上述n个区域纹理图像的平均颜色时，可以分别计算每一个区域纹理图像的像素值均值，然后再将上述n个像素值均值进一步求平均，得到最终的平均颜色。在计算每一个区域纹理图像的像素值均值时，可以从该区域纹理图像中采样获取若干个像素点的像素值，计算该采样获取的各个像素点的像素值的平均值，作为该区域纹理图像的像素值均值。可选地，从区域纹理图像的有效区域中采样获取若干个像素点的像素值，这有助于获取更加真实的肤色。

当然，在一些其它示例中，也可以从n个区域纹理图像中分别采样获取若干个像素点的像素值，然后计算该采样获取的各个像素点的像素值的平均值，作为n个区域纹理图像的平均颜色。或者，也可以用一个预定义的颜色作为平均颜色。

在得到平均颜色之后，分别将每个区域纹理图像的颜色变换为平均颜色，得到n个变换后的区域纹理图像，然后再对n个变换后的区域纹理图像进行拼合，生成人脸纹理图像，这样就可以使得最终生成的人脸纹理图像中的肤色更加平滑自然，不会出现明显的分界线。示例性地，如图9所示，其示出了对图8中的各个区域纹理图像进行融合，生成的目标对象的人脸纹理图像91的示意图。

可选地，还可以采用拉普拉斯金字塔融合的方式，对上述n个区域纹理图像进行由粗到细(coarse-to-fine)地融合，提升图像融合效果。

可选地，在得到目标对象的人脸纹理图像之后，可以采用该人脸纹理图像对该目标对象的三维人脸模型进行渲染，生成目标对象的带纹理的三维人脸模型，该过程可以包括如下步骤：

根据索引信息，获取三维数据点在目标对象的人脸纹理图像上对应像素点的像素值；

根据三维数据点的像素值，渲染三维人脸模型，生成带纹理的三维人脸模型。

对于点云中的每一个三维数据点，可以根据该三维数据点对应的uv索引，获取该三维数据点在目标对象的人脸纹理图像上对应像素点的像素值，作为该三维数据点的像素值。另外，三维人脸模型中的每一个三角形面片的像素值，可以采用该三角形面片的三个顶点的像素值的平均值来表示。这样，就可以渲染生成该目标对象的带纹理的三维人脸模型。

综上所述，本申请实施例提供的技术方案中，通过分别从n个人脸图像中获取与头部姿态相对应的图像区域，根据索引信息和映射关系，生成n个有效区域分别对应的区域纹理图像，然后对n个区域纹理图像进行图像融合，生成目标对象的人脸纹理图像，从而能够生成一张覆盖目标对象的各个脸部区域的完整的人脸纹理图像。

而且，通过确定人脸图像中的有效区域，基于有效区域的像素值，确定该有效区域对应的区域纹理图像的像素值，再对各个区域纹理图像进行融合，得到最终的人脸纹理图像，能够从不同头部姿态的人脸图像中，获取最真实的区域纹理来生成最终的人脸纹理图像，提升最终生成的人脸纹理图像的真实性，使其与目标对象的真实肤色更加接近。

另外，通过计算n个区域纹理图像的平均颜色，将n个区域纹理图像的颜色变换为平均颜色，得到n个变换后的区域纹理图像，然后对n个变换后的区域纹理图像进行拼合，生成人脸纹理图像，这样就可以使得最终生成的人脸纹理图像中的肤色更加平滑自然，不会出现明显的分界线。另外，通过计算平均颜色来对区域纹理图像进行颜色校正，在消除拼接痕迹的同时，算法简单高效，且能够尽可能地保留目标对象的真实肤色。

在示例性实施例中，通过如下方式构建目标对象的三维人脸模型：

1、获取n个人脸图像分别对应的头部姿态信息和关键点信息；

头部姿态信息用于指示人脸图像中目标对象头部的姿态角，关键点信息用于指示人脸图像中目标对象的各个人脸关键点的位置，人脸关键点可以包括眉毛、眼睛、嘴唇等人脸关键部位上的关键点。

以获取n个人脸图像中的第i个人脸图像对应的头部姿态信息和关键点信息为例，首先获取该第i个人脸图像(即RGB图像)中的关键点，然后根据第i个人脸图像对应的深度图像，获取该第i个人脸图像对应的关键点信息，该第i个人脸图像对应的关键点信息包括关键点的三维位置信息，然后根据该第i个人脸图像对应的关键点信息，确定该第i个人脸图像对应的头部姿态信息，i为小于或等于n的正整数。

首先可以采用相关的人脸关键点定位算法，从RGB图像中定位出人脸的关键点(也称为landmark点)，然后通过该关键点和对应的深度图像，可以得到关键点的三维位置信息，包括在RGB图像中的横纵坐标位置以及深度值。同一关键点的位置在各个人脸图像中是一一对应的，例如鼻尖这一关键点的位置在各个人脸图像中是一一对应的。在得到各个关键点的三维位置信息之后，可以通过最小二乘等方式计算出粗略的头部姿态信息，该粗略的头部姿态信息可以通过ICP(Iterative Closest Point，迭代最近点)等方式进一步进行优化，得到最终的头部姿态信息。另外，由于人脸图像是在目标对象转头的情况下拍摄的，因此图像中会存在肩部等不动的地方，在获取头部姿态信息和关键点信息时，可以先把图像中脸部区域以外的区域扣除，以提升信息获取的精度。

2、根据n个人脸图像分别对应的头部姿态信息和关键点信息，融合得到目标对象的点云；

在得到n个人脸图像各自对应的头部姿态信息和关键点信息之后，可以采用surfel(面元)模型对上述信息进行融合处理，得到目标对象的点云。

3、根据目标对象的点云，生成目标对象的三维人脸模型。

之后，对目标对象的点云进行后处理，如泊松重建，拉普拉斯平滑，去噪，降采样等一系列操作，生成目标对象的三维人脸模型。如图10所示，其示出了对图3所示的目标对象的人脸图像进行重建后，生成的该目标对象的三维人脸模型的几个不同角度的视图。左侧图示11是正脸角度的视图，中间图示12是朝右角度的视图，右侧图示13是朝左角度的视图。

在一种可能的应用场景中，在生成目标对象的带纹理的三维人脸模型之后，可以驱动该三维人脸模型做出不同的表情，如张嘴、闭嘴、眨眼等不同的脸部动作效果。

以语音互动场景为例，在确定待播放的语音信息之后，可以获取与该语音信息对应的表情序列，该表情序列包括至少一个表情；在播放语音信息的过程中，按照表情序列中包含的各个表情的顺序，依次显示目标对象在各个表情下的带纹理的三维人脸模型。其中，语音信息与表情序列之间的映射关系可以预先存储，在确定出待播放的语音信息之后，可以根据上述映射关系，找到与该语音信息对应的表情序列。例如，可以存储每个发音与表情之间的映射关系，在确定出待播放的语音信息之后，可以确定出该语音信息对应的发音序列，该发音序列中包括至少一个按序排列的发音，获取每个发音对应的表情，即可得到与该语音信息对应的表情序列。

通过上述方式，实现了一种基于三维人脸重建得到的模型进行语音交互的方案，且能够根据实时播放的语音，显示相匹配的表情，更加逼真。

下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。

请参考图11，其示出了本申请一个实施例提供的人脸纹理图像的获取装置的框图。该装置具有实现上述方法示例的功能，所述功能可以由硬件实现，也可以由硬件执行相应的软件实现。该装置可以是上文介绍的计算机设备，也可以设置在计算机设备中。该装置1100可以包括：数据获取模块1101、索引生成模块1102、映射获取模块1103、区域获取模块1104、像素点映射模块1105、数据点索引模块1106、像素点渲染模块1107和纹理图生成模块1108。

数据获取模块1101，用于获取目标对象的三维人脸模型的点云，以及所述目标对象的n种头部姿态对应的n个人脸图像，所述n为正整数。

索引生成模块1102，用于通过柱形展开计算所述点云中的三维数据点在所述目标对象的人脸纹理图像上对应的像素点坐标，得到所述三维数据点的索引信息。

映射获取模块1103，用于获取所述三维数据点与所述人脸图像上的像素点之间的映射关系。

区域获取模块1104，用于分别从所述n个人脸图像中获取与头部姿态相对应的图像区域，得到n个有效区域。

像素点映射模块1105，用于对于所述n个有效区域中的第i个有效区域，根据所述映射关系获取所述第i个有效区域中的像素点对应的目标三维数据点，所述i为小于等于所述n的正整数。

数据点索引模块1106，用于根据所述索引信息获取所述目标三维数据点在所述第i个有效区域对应的区域纹理图像上的目标像素点。

像素点渲染模块1107，用于对所述目标像素点进行渲染，生成所述第i个有效区域对应的区域纹理图像；其中，所述目标像素点的像素值根据所述第i个有效区域中的像素点的像素值确定。

纹理图生成模块1108，用于对所述n个区域纹理图像进行图像融合，生成所述目标对象的所述人脸纹理图像。

综上所述，本申请实施例提供的技术方案中，通过基于目标对象的三维人脸模型的点云和n种头部姿态对应的n个人脸图像，生成该点云中的三维数据点的索引信息，以及该点云中的三维数据点与人脸图像上的像素点之间的映射关系，然后结合上述索引信息和映射关系，生成目标对象的人脸纹理图像；对于任意基于人脸图像重建生成的三维人脸模型，也即对于拓扑结构并非预先确定的三维人脸模型，能够自动生成该三维人脸模型对应的人脸纹理图像以及点云的索引信息(或称为uv索引)，基于该索引信息采用人脸纹理图像对三维人脸模型进行纹理渲染，有助于提升三维人脸模型的纹理渲染效果，使得纹理渲染效果更加平滑细致。

而且，通过生成点云中的三维数据点的索引信息，以及该点云中的三维数据点与人脸图像上的像素点之间的映射关系，以点云为桥梁，确定出人脸图像中像素点与人脸纹理图像中像素点之间的映射关系，从而确定出人脸纹理图像中各个像素点的像素值，算法简单，计算量小。

而且，通过确定人脸图像中的有效区域，基于有效区域的像素值，确定该有效区域对应的区域纹理图像的像素值，再对各个区域纹理图像进行融合，得到最终的人脸纹理图像，能够从不同头部姿态的人脸图像中，获取最真实的区域纹理来生成最终的人脸纹理图像，提升最终生成的人脸纹理图像的真实性，使其与目标对象的真实肤色更加接近。

在示例性实施例中，如图12所示，所述纹理图生成模块1108，包括：

颜色计算单元1108a，用于计算所述n个区域纹理图像的平均颜色；

颜色变换单元1108b，用于将所述n个区域纹理图像的颜色变换为所述平均颜色，得到n个变换后的区域纹理图像；

纹理图生成单元1108c，用于对所述n个变换后的区域纹理图像进行拼合，生成所述人脸纹理图像。

在示例性实施例中，所述颜色计算单元1108a，用于对于所述n个区域纹理图像中的第i个区域纹理图像，从所述第i个区域纹理图像的所述有效区域中采样获取至少一个像素点的像素值，计算得到所述第i个区域纹理图像的像素值均值，所述i为小于等于所述n的正整数；根据所述n个区域纹理图像的像素值均值，计算得到所述n个区域纹理图像的平均颜色。

在示例性实施例中，所述区域获取模块1104，用于对于所述n个人脸图像中的第i个人脸图像，从所述第i个人脸图像中检测得到人脸关键点；根据所述人脸关键点的位置和预定义的规则，获取所述第i个人脸图像中的有效区域。

在示例性实施例中，所述映射获取模块1103，用于对于所述n个人脸图像中的第i个人脸图像，采用透视投影将所述三维数据点投影到所述第i个人脸图像上，得到所述三维数据点在所述第i个人脸图像上对应的像素点坐标作为第i组映射关系；其中，所述映射关系包括n组，且所述n组映射关系中的第i组映射关系与所述第i个人脸图像相对应，所述i为小于等于所述n的正整数。

在示例性实施例中，所述索引生成模块1102，用于获取所述点云中的三维数据点在三维坐标系中的三维坐标；根据所述三维数据点的三维坐标，通过柱形展开计算所述三维数据点在所述人脸纹理图像上对应的像素点坐标，得到所述索引信息。

在示例性实施例中，如图12所示，所述装置1100还包括：像素值获取模块1109和模型渲染模块1110。

像素值获取模块1109，用于根据所述索引信息，获取所述三维数据点在所述人脸纹理图像上对应像素点的像素值。

模型渲染模块1110，用于根据所述三维数据点的像素值，渲染所述三维人脸模型，生成带纹理的三维人脸模型。

在示例性实施例中，所述n种头部姿态包括：正脸姿态、右边侧脸姿态、左边侧脸姿态和抬头姿态。

在示例性实施例中，所述数据获取模块1101，用于获取所述n个人脸图像分别对应的头部姿态信息和关键点信息，所述头部姿态信息用于指示所述人脸图像中所述目标对象头部的姿态角，所述关键点信息用于指示所述人脸图像中所述目标对象的各个人脸关键点的位置；根据所述n个人脸图像分别对应的头部姿态信息和关键点信息，融合得到所述目标对象的三维人脸模型的点云。

需要说明的是，上述实施例提供的装置，在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的装置与方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

请参考图13，其示出了本申请一个实施例提供的计算机设备的结构示意图。

具体来讲：

所述计算机设备1300包括CPU(Central Processing Unit，中央处理单元)1301、包括RAM(Random Access Memory，随机存取存储器)1302和ROM(Read Only Memory，只读存储器)1303的系统存储器1304，以及连接系统存储器1304和中央处理单元1301的系统总线1305。所述计算机设备1300还包括帮助计算机内的各个器件之间传输信息的基本I/O(Input/Output输入/输出)系统1306，和用于存储操作系统1313、应用程序1314和其他程序模块1315的大容量存储设备1307。

所述基本输入/输出系统1306包括有用于显示信息的显示器1308和用于用户输入信息的诸如鼠标、键盘之类的输入设备1309。其中所述显示器1308和输入设备1309都通过连接到系统总线1305的输入输出控制器1310连接到中央处理单元1301。所述基本输入/输出系统1306还可以包括输入输出控制器1310以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入输出控制器1310还提供输出到显示屏、打印机或其他类型的输出设备。

所述大容量存储设备1307通过连接到系统总线1305的大容量存储控制器(未示出)连接到中央处理单元1301。所述大容量存储设备1307及其相关联的计算机可读介质为计算机设备1300提供非易失性存储。也就是说，所述大容量存储设备1307可以包括诸如硬盘或者CD-ROM(Compact Disc Read-Only Memory，只读光盘)驱动器之类的计算机可读介质(未示出)。

不失一般性，所述计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、EPROM(Erasable Programmable Read Only Memory，可擦除可编程只读存储器)、闪存或其他固态存储其技术，CD-ROM或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知所述计算机存储介质不局限于上述几种。上述的系统存储器1304和大容量存储设备1307可以统称为存储器。

根据本申请的各种实施例，所述计算机设备1300还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即计算机设备1300可以通过连接在所述系统总线1305上的网络接口单元1311连接到网络1312，或者说，也可以使用网络接口单元1311来连接到其他类型的网络或远程计算机系统(未示出)。

所述存储器还包括至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、至少一段程序、代码集或指令集存储于存储器中，且经配置以由一个或者一个以上处理器执行，以实现上述人脸纹理图像的获取方法。

在示例性实施例中，还提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或所述指令集在被计算机设备的处理器执行时以实现上述人脸纹理图像的获取方法。

可选地，该计算机可读存储介质可以包括：ROM、RAM、SSD(Solid State Drives，固态硬盘)或光盘等。其中，随机存取记忆体可以包括ReRAM(Resistance Random AccessMemory，电阻式随机存取记忆体)和DRAM(Dynamic Random Access Memory，动态随机存取存储器)。

在示例性实施例中，还提供一种计算机程序产品，所述计算机程序产品被计算机设备的处理器执行时，用于实现上述人脸纹理图像的获取方法。

应当理解的是，在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。另外，本文中描述的步骤编号，仅示例性示出了步骤间的一种可能的执行先后顺序，在一些其它实施例中，上述步骤也可以不按照编号顺序来执行，如两个不同编号的步骤同时执行，或者两个不同编号的步骤按照与图示相反的顺序执行，本申请实施例对此不作限定。

以上所述仅为本申请的示例性实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (12)

1.一种人脸纹理图像的获取方法，其特征在于，所述方法包括：

获取目标对象的三维人脸模型的点云，以及所述目标对象的n种头部姿态对应的n个人脸图像，所述n为正整数；

通过柱形展开计算所述点云中的三维数据点在所述目标对象的人脸纹理图像上对应的像素点坐标，得到所述三维数据点的索引信息；

获取所述三维数据点与所述人脸图像上的像素点之间的映射关系；

分别从所述n个人脸图像中获取与头部姿态相对应的图像区域，得到n个有效区域；

对于所述n个有效区域中的第i个有效区域，根据所述映射关系获取所述第i个有效区域中的像素点对应的目标三维数据点，所述i为小于等于所述n的正整数；

根据所述索引信息获取所述目标三维数据点在所述第i个有效区域对应的区域纹理图像上的目标像素点；

对所述目标像素点进行渲染，生成所述第i个有效区域对应的区域纹理图像；其中，所述目标像素点的像素值根据所述第i个有效区域中的像素点的像素值确定；

对所述n个区域纹理图像进行图像融合，生成所述目标对象的所述人脸纹理图像。

2.根据权利要去1所述的方法，其特征在于，所述对所述n个区域纹理图像进行图像融合，生成所述目标对象的所述人脸纹理图像，包括：

计算所述n个区域纹理图像的平均颜色；

将所述n个区域纹理图像的颜色变换为所述平均颜色，得到n个变换后的区域纹理图像；

对所述n个变换后的区域纹理图像进行拼合，生成所述人脸纹理图像。

3.根据权利要求2所述的方法，其特征在于，所述计算所述n个区域纹理图像的平均颜色，包括：

对于所述n个区域纹理图像中的第i个区域纹理图像，从所述第i个区域纹理图像的所述有效区域中采样获取至少一个像素点的像素值，计算得到所述第i个区域纹理图像的像素值均值，所述i为小于等于所述n的正整数；

根据所述n个区域纹理图像的像素值均值，计算得到所述n个区域纹理图像的平均颜色。

4.根据权利要求1所述的方法，其特征在于，所述分别从所述n个人脸图像中获取与头部姿态相对应的图像区域，得到n个有效区域，包括：

对于所述n个人脸图像中的第i个人脸图像，从所述第i个人脸图像中检测得到人脸关键点；

根据所述人脸关键点的位置和预定义的规则，获取所述第i个人脸图像中的有效区域。

5.根据权利要求1所述的方法，其特征在于，所述获取所述三维数据点与所述人脸图像上的像素点之间的映射关系，包括：

对于所述n个人脸图像中的第i个人脸图像，采用透视投影将所述三维数据点投影到所述第i个人脸图像上，得到所述三维数据点在所述第i个人脸图像上对应的像素点坐标作为第i组映射关系；

其中，所述映射关系包括n组，且所述n组映射关系中的第i组映射关系与所述第i个人脸图像相对应，所述i为小于等于所述n的正整数。

6.根据权利要求1所述的方法，其特征在于，所述通过柱形展开计算所述点云中的三维数据点在所述目标对象的人脸纹理图像上对应的像素点坐标，得到所述三维数据点的索引信息，包括：

获取所述点云中的三维数据点在三维坐标系中的三维坐标；

根据所述三维数据点的三维坐标，通过柱形展开计算所述三维数据点在所述人脸纹理图像上对应的像素点坐标，得到所述索引信息。

7.根据权利要求1至6任一项所述的方法，其特征在于，所述对所述n个区域纹理图像进行图像融合，生成所述目标对象的所述人脸纹理图像之后，还包括：

根据所述索引信息，获取所述三维数据点在所述人脸纹理图像上对应像素点的像素值；

根据所述三维数据点的像素值，渲染所述三维人脸模型，生成带纹理的三维人脸模型。

8.根据权利要求1至6任一项所述的方法，其特征在于，所述n种头部姿态包括：正脸姿态、右边侧脸姿态、左边侧脸姿态和抬头姿态。

9.根据权利要求1至6任一项所述的方法，其特征在于，所述获取目标对象的三维人脸模型的点云，包括：

获取所述n个人脸图像分别对应的头部姿态信息和关键点信息，所述头部姿态信息用于指示所述人脸图像中所述目标对象头部的姿态角，所述关键点信息用于指示所述人脸图像中所述目标对象的各个人脸关键点的位置；

根据所述n个人脸图像分别对应的头部姿态信息和关键点信息，融合得到所述目标对象的三维人脸模型的点云。

10.一种人脸纹理图像的获取装置，其特征在于，所述装置包括：

数据获取模块，用于获取目标对象的三维人脸模型的点云，以及所述目标对象的n种头部姿态对应的n个人脸图像，所述n为正整数；

索引生成模块，用于通过柱形展开计算所述点云中的三维数据点在所述目标对象的人脸纹理图像上对应的像素点坐标，得到所述三维数据点的索引信息；

映射获取模块，用于获取所述三维数据点与所述人脸图像上的像素点之间的映射关系；

区域获取模块，用于分别从所述n个人脸图像中获取与头部姿态相对应的图像区域，得到n个有效区域；

像素点映射模块，用于对于所述n个有效区域中的第i个有效区域，根据所述映射关系获取所述第i个有效区域中的像素点对应的目标三维数据点，所述i为小于等于所述n的正整数；

数据点索引模块，用于根据所述索引信息获取所述目标三维数据点在所述第i个有效区域对应的区域纹理图像上的目标像素点；

像素点渲染模块，用于对所述目标像素点进行渲染，生成所述第i个有效区域对应的区域纹理图像；其中，所述目标像素点的像素值根据所述第i个有效区域中的像素点的像素值确定；

纹理图生成模块，用于对所述n个区域纹理图像进行图像融合，生成所述目标对象的所述人脸纹理图像。

11.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至9任一项所述的方法。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至9任一项所述的方法。

Images