CN109658365A - 图像处理方法、装置、系统和存储介质 - Google Patents

Abstract

本发明公开了一种图像处理方法、装置、系统和存储介质。该方法包括：确定物体对象的三维模型和通过图像采集设备获取的物体对象的原始纹理图像的映射关系；选择用于三维模型的第一视角，确定原始纹理图像中与第一视角相关联的纹理图像子集；使用图像分割方法，对纹理图像子集进行拼接，得到与第一视角对应的拼接纹理图像；利用映射关系，将与第一视角对应的拼接纹理图像映射到三维模型。根据本发明实施例提供的图像处理方法，可以提高3D纹理贴图的精度和美观度，通过全自动的方法来节约时间成本。

Description

图像处理方法、装置、系统和存储介质

技术领域

本发明涉及计算机技术领域，尤其涉及图像处理方法、装置、系统和存储介质。

背景技术

三维(Three Dimensional，3D)纹理贴图广泛应用于计算机图形学的各个领域，以增加3D物体的真实感。3D纹理贴图是可以大幅度提高3D图像真实性的3D图像处理技术，使用这项技术可以减少纹理衔接错误，提高变换视角观察物体的真实性。

现有的3D纹理贴图多通过人工方法完成，人工方法难以保证3D纹理贴图的精度，且时间成本高。

发明内容

本发明实施例提供一种图像处理方法、装置、系统和存储介质，可以提高3D纹理贴图的精度，节约时间成本。

根据本发明实施例的一方面，提供一种图像处理方法，包括：

确定物体对象的三维模型和通过图像采集设备获取的所述物体对象的原始纹理图像的映射关系；

选择用于三维模型的第一视角，确定原始纹理图像中与第一视角相关联的纹理图像子集；

使用图像分割方法，对纹理图像子集进行拼接，得到与第一视角对应的拼接纹理图像；

利用映射关系，将与第一视角对应的拼接纹理图像映射到三维模型。

根据本发明实施例的另一方面，提供一种图像处理装置，包括：

映射关系确定模块，用于确定物体对象的三维模型和通过图像采集设备获取的所述物体对象的原始纹理图像的映射关系；

视角选择模块，用于选择用于三维模型的第一视角，确定原始纹理图像中与第一视角相关联的纹理图像子集；

图像拼接模块，用于使用图像分割方法，对纹理图像子集进行拼接，得到与第一视角对应的拼接纹理图像；

图像映射模块，用于利用映射关系，将与第一视角对应的拼接纹理图像映射到三维模型。

根据本发明实施例的再一方面，提供一种图像处理系统，包括：存储器和处理器；该存储器用于存储程序；该处理器用于读取存储器中存储的可执行程序代码以执行上述的图像处理方法。

根据本发明实施例的又一方面，提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当指令在计算机上运行时，使得计算机执行上述各方面的图像处理方法。

根据本发明实施例中的图像处理方法、装置、设备和存储介质，可以保证纹理贴图质量的同时，极大节约人力成本。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是示出根据本发明实施例的多拍摄视角下进行图像处理的基本原理示意图；

图2是示出根据本发明一实施例的图像处理方法的流程图；

图3是示出根据本发明示例性实施例的图像处理方法的处理过程示意图；

图4是示出根据本发明另一实施例的图像处理方法的流程图；

图5是示出根据本发明一实施例提供的图像处理装置的结构示意图；

图6是示出可以实现根据本发明实施例的图像处理方法和装置的计算设备的示例性硬件架构的结构图。

具体实施方式

下面将详细描述本发明的各个方面的特征和示例性实施例，为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细描述。应理解，此处所描述的具体实施例仅被配置为解释本发明，并不被配置为限定本发明。对于本领域技术人员来说，本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明更好的理解。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制条件的情况下，由语句“包括……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。

在本发明实施例中，增强现实(Augmented Reality，简称AR)技术可以通过系统自身携带的拍摄终端捕获真实世界的影像视频，使用图像配准等技术，估计出影像视频中虚拟物体的三维姿态，进而将虚拟物体或场景放置到真实环境中预定的位置，最后通过摄像机镜头的视角将场景渲染出来，其中，三维姿态用于描述物体的三维坐标和偏转角度。

在本发明实施例中，虚拟现实(Virtual Reality，简称VR)技术是一种计算机仿真系统，在该系统中可以创建和体验虚拟世界。本质上，该系统利用计算机生成一种模拟环境，该模拟环境包括多源信息融合的交互式的三维动态视景和对实体行为的系统仿真，可以达到沉浸式体验。

在上述实施例中，增强现实技术和虚拟现实技术需要使用三维场景时，可以包括以下步骤：

首先，构建物体对象的三维模型。

在本发明实施例中，可以通过多种方式构建物体的三维模型。

在一个实施例中，采用可以进行三维扫描的仪器设备，例如三维扫描仪对实际物体对象进行三维建模。作为一个示例，可以利用三维扫描仪向真实场景中的物体对象投射结构光，获取真实场景中物体对象的多个点数据，这些点数据构成点云数据，基于点云数据可以构建点云模型，实现对该物体的三维形态建模，得到物体对象的三维模型。其中，点云数据可以包括该物体对象的颜色信息、深度信息以及通过三维坐标表示的几何位置信息，通过物体对象的几何位置信息可以得到该物体对象的三维尺寸。

在一个实施例中，可以利用物体对象的视频或图片进行三维重建，以得到该物体对象的三维模型。

在一个实施例中，还可以通过例如三维建模渲染和动画制作软件3D Max、计算机动画和建模软件Maya或三维模型设计软件Meshmixer等建模软件来创建物体对象的三维模型。

其次，利用构建的物体对象的三维模型进行三维纹理贴图。

作为一个示例，当利用三维扫描仪对实际物体对象进行三维建模时，可以在获取的点云模型的基础进行三维纹理贴图。具体来说，可以通过表面重建的方法，将点云模型转化为多边形网状模型，该多边形网状模型中的每个多边形可以唯一确定一个多边形平面，为每个多边形平面贴上位置对应的纹理图像中的纹理，就可以完成纹理图像到多边形网络模型的纹理映射。

本领域技术人员都理解到，可以使用各种实现方式来完成多边形网状模型的建立。例如，可以使用三角形、矩形、五边形、六边正菱形等方式来构建。为了简化描述起见，本文下述的多个实施例以三角网格模型为例来阐述该多边形网状模型的具体建立方式。但该描述并不能被解读为限制本方案的范围或实施可能性，三角网格模型以外的其他多边形网状模型的处理方法与对三角网格模型的处理方法保持一致。

具体来说，可以对点云模型的点云数据进行三角化，得到三角网格模型，三角网格模型中的每个三角形都可以唯一的确定一个平面即三角面片，为每个三角面片贴上位置对应的纹理图像中的纹理，就可以完成纹理图像到三角网络模型的纹理映射。

本领域技术人员也可以理解到，可以通过多种方式获得到用于物体对象的纹理图像，例如，使用预先存储的通用纹理图像(例如，金属纹理图像模板、木质纹理图像模板、等)，预先为物体对象准备的纹理图像(例如，预先采集的)，实时拍摄到的物体对象的表面图像(例如，实时采集设备采集到的)。在本发明实施例中，纹理图像中的纹理可以包括场景彩色和场景亮度等信息。

在该实施例中，点云模型和三角网格模型是根据三维场景构建的三维模型在进行三维纹理贴图的过程中，不同阶段的不同展现形式，在本发明实施例的下述描述中，三角网格模型可以称为是三维网格模型。

通过上述实施例可知，本发明实施例的图像处理方法，在进行三维纹理贴图时，可以通过纹理图像与三维模型的映射关系，为三维模型中的每个三角面片贴上对应的纹理。

在本发明实施例中，利用图像采集设备采集目标建模对象的图像，从而根据采集的目标建模对象的图像，进一步得到该目标建模对象的图像中的原始纹理。

在一个实施例中，图像采集设备可以包括相机、摄像头等。

由于图像采集设备基于相同的成像原理采集目标建模对象的图像，以获取该目标建模对象的图像中的纹理。为了便于理解，本发明实施例以图像采集设备是相机为例，介绍如何通过图像采集设备参数，建立待进行纹理贴图的三维模型和纹理图像之间的映射关系。

图1示出了根据本发明实施例的多拍摄视角下进行图像处理的基本原理示意图。首先结合图1，详细描述通过图像采集设备参数建立物体对象的三维模型和纹理图像间对应关系的方法。

如图1所示，作为一个示例，可以通过使用同一个相机，并通过改变相机参数，在不同的相机位置环绕物体进行拍摄。

作为另外一个示例，也可以在环绕物体的位置设置一定数量的相机，通过不同位置的相机分别对物体进行拍摄，采集物体图像。

通过调整相机参数环绕实际物体拍摄照片，相机参数包括相机内参数和相机外参数。相机内参数是与相机自身特性相关的参数，例如相机焦距、像素大小和光心位置等，相机外参数是相机在世界坐标系中的参数，例如相机位置和旋转方向，即相机外参数确定了相机在三维空间中的位置参数和朝向。

在本发明实施例中，为确定空间物体表面特征点与该特征点在纹理图像中对应点的位置关系，需要建立相机成像的几何模型，该几何模型可以表示为相机参数，通过相机参数可以确定空间物体使用的三维坐标系与纹理图像使用的相机图像坐标系的映射关系，通过相机参数将一个三维空间的点映射到图像空间，或者，将一个图像空间的点映射到三维空间。

在一个实施例中，物体在三维场景中的运动可以表示为刚体运动，其运动过程中物体不会发生形变，仅包含旋转和平移两部分，旋转部分称为旋转分量，平移部分称为位移分量。

根据针孔摄像机成像模型，真实场景中的三维点通过投影变换映射到图像上的二维点，该变换过程可以表示为：

p＝[R t]P (1)

在上述公式(1)中，P表示该物体上的特征点在真实场景中的三维坐标，矩阵K表征摄像机镜头焦距和成像焦点的内参数矩阵；[R t]是根据物体的三维姿态扩展成的3×4矩阵，R表示旋转分量，使用一个3×3矩阵表示虚拟物体在AR系统中的旋转方向，t为位移分量，通过矩阵[x y z 1]^T表示物体在三维场景中的三维坐标，p＝[x y 1]^T是图像上特征点的对应点的二维齐次像素坐标。

通过上述公式(1)，可以建立物体在三维场景中的三维坐标与图像上的二维点坐标之间的映射关系，即三维模型和纹理图像的映射关系，矩阵[R t]可以称为是相机的外参数。

通过上述实施例中的图像处理方法，可以利用图像采集设备建立物体对象的三维模型，并基于图像采集设备的参数，建立该三维模型和物体对象的纹理图像的映射关系。

在图1中，通过图像采集设备例如相机，拍摄物体对象以采集该物体对象的图像时，对于被摄物体表面的一个面片，该面片的反射光线中，存在一束可以垂直入射相机镜头的射线，将该垂直入射相机镜头的射线，称为是相机镜头的入射线。

继续参考图1，在一个实施例中，相机镜头的入射线的延长线与该被摄物体表面的面片形成交点X，该交点X可以作为相机拍摄该面片的拍摄视点。

当相机位于相机位置1时，相机与视点的连线与该视点所在面片的法向矢量的夹角，也即相机的入射线与该面片法向矢量的夹角，可以作为相机在相机位置1采集物体图像时的拍摄视角。

使用相机拍摄物体表面的面片时，如果拍摄视角满足一定的夹角限制条件时，可以获得该物体表面的面片的较为清晰的图像，从而获得该物体表面的面片的较为清晰的纹理。

在一个实施例中，可以将满足该夹角限制条件的拍摄视角，作为相机拍摄物体表面的面片的第一视角。

作为一个示例，该夹角限制条件可以是相机与拍摄视点的连线与该视点所在面片的法向矢量的夹角，预设的夹角阈值例如45°或30°。预设的夹角阈值越小，拍摄得到的图像和纹理质量越高。

由于通过相机拍摄的物体图像涉及不同的拍摄位置、拍摄视角，以及不同拍摄视角之间的图像色彩差异、光照差异，为了获得更好的拼图效果，需要对相机拍摄的未经处理的原始纹理图像进行拍摄视角分析、不同拍摄视角之间色彩差异和光照差异的平衡，以及拼缝优化等操作，上述操作很难通过传统的二维图像拼接技术进行解决，而人工手动完成的时间成本高且准确度难以保证。

因此，本发明实施例提供一种图像处理方法、装置、系统和存储介质，可以节省人工和时间成本，提高纹理贴图准确度。

下面结合图2，详细描述利用本发明实施例的图像处理方法对物体对象的三维模型进行纹理贴图的过程。

图2示出了根据本发明一实施例的图像处理方法的流程图。如图2所示，在一个实施例中，图像处理方法可以包括以下步骤：

步骤S01，确定物体对象的纹理图像和该物体对象的三维模型之间的映射关系。

具体地，可以通过上述公式(1)确定纹理图像和三维模型之间的映射关系。

步骤S02，选择用于三维模型的第一视角，确定原始纹理图像中与该第一视角相关联的纹理图像子集。

在该步骤中，可以通过下面的方法选择用于三维模型的第一视角。

首先，计算三维模型中的三角面片的法向量。

在本发明实施例中，法线(Normal)是到达三维模型的三角面片的一条垂线，法线同时是一个向量，简称法向量。可以通过该三角面片的两个向量，并求出该两个向量的外积得到该三角面片的法向量。

在一个实施例中，每个三角面片的三个顶点分别记为pt1、pt2和pt3，该三角面片的两个向量是点pt1到点pt2之间的连线向量，以及点pt2到点pt3之间的连线向量。

作为一个示例，可以通过下述公式(2)计算三维模型中三角面片的法向量：

Normal_face＝Vect_pt1→pt2×Vect_pt2→pt3 (2)

在上述公式(2)中，Vect_pt1→pt2表示点pt1到点pt2之间的连线向量，Vect_pt2→pt3表示点pt2到点pt3之间的连线向量，Vect_pt1→pt2×Vect_pt2→pt3表示Vect_pt1→pt2与Vect_pt2→pt3的外积，从而得到垂直于这两条向量的向量，即该三角面片的法向量Normal_face。

其次，确定对三维模型的三角面片进行拍摄时的第一视角。

在一个实施例中，当图像采集设备的拍摄位置与三维模型的三角面片正面相对，认为在该相机拍摄位置下对该三维模型的三角面片拍摄的纹理图像较为清晰。

在另一个实施例中，对于三维模型的一个三角面片，可以将该三角面片的法向量作为第一法向量；获取相机的当前位置，将相机在当前位置的入射线与该第一法向量之间的夹角满足夹角限制条件时，将该满足夹角限制条件的夹角作为该三维模型的第一视角。

作为一个示例，夹角限制条件为：该相机在当前位置的入射线与该第一法向量之间的夹角小于等于45°，在该示例中，当相机拍摄位置与三维模型的三角面片正面相对时，用于该三维模型的第一视角为0°。

步骤S03，根据选择的第一视角，确定纹理图像中与第一视角对应的纹理图像子集。

在本发明实施例中，为了得到该三角面片的清晰的纹理图像，可以将与第一视角对应的纹理图像作为纹理图像子集。

在该步骤中，根据纹理图像子集所包括的图像，可以确定每个纹理图像子集所包括的图像的边界，从而确定纹理图像子集所包括的图像之间的重叠区域，可以将该重叠区域作为纹理图像子集所包括的图像之间的拼接区域。

作为一个示例，可以通过马尔科夫随机场算法，确定纹理图像子集所包括的图像之间的拼接区域。

作为一个示例，本发明实施例中图像分割的方法可以是区域生长算法、洪水填充算法(Flood Fill Algorithm)和图割算法(Graph Cut Algorithm)中的一种或多种。

在该示例中，洪水填充算法是一种在多维空间中确定连通区域的算法，可以用于纹理图像中的区域填充或区域颜色替换；它从纹理图像中选取一个特征点作为种子点，由种子点出发，采用一定的规则判断种子点周围的像素点是否与种子点一致或类似，以确定该点是否属于种子点所在的填充区域，实现图像的区域填充或扩展。

在该示例中，区域生长算法可以根据备选纹理图像间像素的相似性和连通性对图像进行分割；图割算法可以基于颜色统计采样的方法对图像进行分割。

步骤S04，对纹理图像子集所包括的图像间的拼接区域进行融合，得到与第一视角对应的拼接纹理图像。

在本发明实施例中，当对三维模型的拍摄视角满足夹角限制条件时，认为该相机位置获取的纹理图像具有较好的清晰度。

因此，可以构建纹理图像子集所包括的图像的清晰度函数，基于清晰度函数对纹理图像子集所包括的图像的清晰度与拍摄视角的关系进行选择优化。

在本发明实施例中，当根据拍摄视角对原始纹理图像进行分割，得到的纹理图像子集所包括的图像之间的拼接区域面积越小，认为该拍摄视角获取的纹理图像具有较好的完整度。

因此，可以利用纹理图像子集所包括的图像之间的拼接区域在待处理面片上的投影的面积，构建纹理图像子集所包括的图像的完整度函数，完整度函数是对纹理图像子集所包括的图像的完整度与该拼接区域的面积的关系进行计算获得的。

在一个实施例中，可以根据清晰度函数和完整度函数，对纹理图像子集所包括的图像进行梯度优化。

在一个实施例中，可以通过下述公式(3)表示对纹理图像子集所包括的图像进行融合的神经网络：

E＝min(E_data+E_smooth) (3)

在上述公式(3)中，E_data表示纹理图像子集所包括的图像的清晰度函数，E_smooth表示纹理图像子集所包括的图像的完整度函数，利用E_data和E_smooth对纹理图像子集所包括的图像进行融合，以获得清晰度和完整度较高的纹理图像子集所包括的图像。

根据本发明实施例的图像处理方法，可以通过构建对纹理图像子集所包括的图像进行融合的神经网络，并根据拍摄视角和拼接区域的面积对该神经网络进行训练，得到清晰度和完整度较高的纹理图像。

步骤S05，利用三维模型和纹理图像的映射关系，将与第一视角对应的拼接纹理图像映射到三维模型。

通过三维模型和纹理图像的映射关系，将拼接纹理图像映射到三维模型的对应位置，实现对该三维模型的三维纹理贴图。

在一个实施例中，为了获得三维模型完整的纹理模型，在将拼接纹理图像映射到三维模型的过程中，迭代计算多次第一视角，得到多个拼接纹理图像，直到得到三维模型完整的纹理模型。

在一些实施例中，本发明实施例的图像处理方法，还可以包括：

步骤S06，利用图像编辑与融合技术，对纹理模型进行光线均衡化的处理，得到光线均匀的三维纹理模型。

在一个实施例中，保持纹理图像子集所包括的图像中的像素的梯度，利用基于泊松方程的图像编辑与融合技术的算法，将拼接区域的图像与纹理图像子集所包括的图像的差异例如颜色差异，平滑地分散到由多个纹理图像子集所包括的图像组成的整个图像中，使得纹理图像子集所包括的图像之间的拼接区域变得不易察觉，拼接区域处图像的色调和光照与整个图像相一致，从而使得纹理图像子集所包括的图像得到全局的光线均衡化的效果，获得光线均匀的纹理贴图，使得纹理贴图后的三维模型具有良好的视觉效果。

根据本发明实施例的图像处理方法，可以选择用于三维模型的拍摄视角，并基于选择的拍摄视角对纹理图像进行分割和纹理融合，以获得高质量的纹理贴图，同时可以大大节约人力成本。

下面结合图3，以具体物体对象是雕塑为例，描述该图像处理方法的具体实现方式。应理解，该描述不应被解读为限制本方案的范围或实施可能性，对于雕塑以外的具体物体对象的图像处理方法，与结合图3描述的图像处理方法的具体实现方式保持一致。

图3示出了根据本发明示例性实施例的图像处理方法的处理过程示意图。结合图3和本发明实施例的图像处理方法，可以对该图像处理方法的处理过程进行示意性的效果展示。

在该示例性实施例中，图像处理方法可以包括如下步骤：

如图3中步骤S11所示，构建雕塑的三维模型。

在该步骤中，根据本发明上述实施例中构建物体对象的三维模型的方法，可以选择使用建模软件对该雕塑进行三维建模。

作为一个示例，可以使用三维模型设计软件Meshmixer等建模软件对该雕塑进行三维建模，得到该雕塑的三维模型。在该示例中，该雕塑的三维模型可以为多边形网状模型。

如图3中步骤S12所示，确定用于该雕塑的三维模型的拍摄视角。

在该步骤中，可以将确定的用于该雕塑的三维模型的拍摄视角，作为用于该雕塑模型的第一视角，并通过上述实施例中选择用于三维模型的第一视角的方法，得到满足本发明实施例中夹角限制条件的第一视角。

作为一个示例，如图3所示，当图像采集设备(图中未示出)的入射线与该三维模型的多边形面片的法向矢量之间的夹角，满足本发明实施例中夹角限制条件时，选择该夹角作为用于该雕塑的三维模型的拍摄视角。

作为一个具体的示例，该第一视角可以是小于等于45度的拍摄角度，例如0度。当第一视角为0度时，表示图像采集设备与三维模型的多边形面片正对。

如图3中步骤S13所示，获取与选择的拍摄视角相关联的纹理图像中的纹理图像子集。

在图3中，示意性地示出了与选择的拍摄视角相关联的纹理图像中的纹理图像子集。如图3所示，当选择的拍摄视角满足本发明实施例中夹角限制条件时，可以获得较为清晰的与选择的拍摄视角相关联的纹理图像子集。

如图3中S14、S15和S16所示，对该拼接区域进行纹理融合，纹理图像映射，以及对纹理图像映射后的纹理模型进行光照均衡化处理。

具体地，步骤S14，确定与拍摄视角相关联的纹理图像子集所包括的图像之间的拼接区域，对该拼接区域进行纹理融合。

作为一个示例，可以利用上述公式(3)所示的对纹理图像子集所包括的图像进行融合的神经网络，对纹理图像子集所包括的图像进行融合，以获得清晰度和完整度较高的纹理图像子集所包括的图像。

在该实施例中，迭代计算多次第一视角，可以得到多个拼接纹理图像块，将多个拼接纹理图像块之间的拼接区域进行纹理融合，可以得到获得清晰度和完整度较高的融合后的纹理图像。

具体地，步骤S15，利用该雕塑的三维模型和该雕塑的纹理图像的映射关系，将融合后的纹理图像映射到三维模型，得到雕塑的三维模型的纹理模型。

具体地，步骤S16，使用本发明上述实施例中的图像编辑与融合技术，对纹理模型进行光线均衡化的处理，得到光线均匀的纹理模型。

在图3中，示意性地示出了经光线均衡化的处理得到的光线均匀的纹理模型，经过光线均衡化处理，纹理贴图后的三维模型具有良好的视觉效果。

在该实施例中，整个图像处理过程不需要人工参与，通过全自动的三维纹理贴图方法节约时间成本，使雕塑实体呈现更加真实的视觉效果，提高3D纹理贴图的精度和美观度，并节约时间成本。

图4示出了根据本发明另一实施例的图像处理方法的流程图。如图4所示，本发明实施例中的图像处理方法400包括以下步骤：

步骤S410，基于图像采集设备的参数，建立物体对象的三维模型和物体对象的原始纹理图像的映射关系。

在一个实施例中，可以通过上述公式(1)建立三维模型和原始纹理图像的映射关系。

步骤S420，选择用于三维模型的第一视角，确定原始纹理图像中与第一视角相关联的纹理图像子集。

在一个实施例中，步骤S420可以包括以下步骤：

步骤S421，获取三维模型的多边形面片作为待处理面片，获得待处理面片的法向矢量。

步骤S422，当图像采集设备与拍摄视点的连线与待处理面片的法向矢量之间的夹角满足阈值条件时，将夹角作为三维模型的第一视角。

步骤S423，将原始纹理图像中，与图像采集设备的第一视角对应的图像，作为与第一视角相关联的纹理图像子集。

通过上述步骤S421-S423，可以确定与第一视角相关联的纹理图像子集，与第一视角相关联的纹理图像子集所包括的图像，具有较高的清晰度。

步骤S430，使用图像分割方法，对纹理图像子集进行拼接，得到与第一视角对应的拼接纹理图像。

在一个实施例中，步骤S430可以包括以下步骤：

步骤S431，使用图像分割的方法，将纹理图像子集所包括的图像之间的重叠区域，作为纹理图像子集所包括的图像之间的拼接区域。

步骤S432，对纹理图像子集所包括的图像之间的拼接区域进行纹理融合，得到与第一视角对应的拼接纹理图像。

在一个实施例中，步骤S432具体可以包括：

步骤S432-01，构建纹理图像子集所包括的图像的清晰度函数，基于清晰度函数，对纹理图像子集所包括的图像的清晰度与第一视角的关系进行选择优化。

步骤S432-02，构建纹理图像子集所包括的图像的完整度函数，完整度函数是对纹理图像子集所包括的图像的完整度与拼接区域的面积的关系进行计算获得的。

步骤S432-03，根据清晰度函数和完整度函数，对纹理图像子集所包括的图像进行梯度优化，使纹理图像子集所包括的图像之间的拼接区域进行纹理融合，得到与第一视角对应的拼接纹理图像。

作为一个示例，可以通过上述公式(3)构建对纹理图像子集所包括的图像之间的拼接区域进行融合的神经网络模型，将清晰度函数和完整度函数共同作为该神经网络模型的训练函数，对神经网络模型进行训练，从而对纹理图像子集所包括的图像之间的拼接区域进行纹理融合，保证三维纹理贴图的精度。

步骤S440，利用该映射关系，将与第一视角对应的拼接纹理图像映射到三维模型。

在一个实施例中，图像处理方法400还可以包括：

在将拼接纹理图像映射到三维模型的过程中，迭代计算多次第一视角，得到多个拼接纹理图像，直到得到三维模型完整的纹理模型。

在该实施例中，图像处理方法400还可以包括：

利用图像编辑与融合技术，对纹理模型进行光线均衡化的处理，得到光线均匀的纹理模型。

在该实施例中，通过全局的光线均衡化处理，可以获得光线均匀的纹理贴图，使得三维贴图后的三维模型具有良好的视觉效果。

根据本发明实施例的图像处理方法，整个图像处理过程不需要人工参与，可以提高3D纹理贴图的精度和美观度，并节约时间成本。

下面结合附图，详细介绍根据本发明实施例的图像处理装置。

图5示出了根据本发明一实施例提供的图像处理装置的结构示意图。如图5所示，图像处理装置500包括：

映射关系确定模块510，用于确定物体对象的三维模型和通过图像采集设备获取的物体对象的原始纹理图像的映射关系；

视角选择模块520，用于选择用于三维模型的第一视角，确定原始纹理图像中与第一视角相关联的纹理图像子集；

图像拼接模块530，用于使用图像分割方法，对纹理图像子集进行拼接，得到与第一视角对应的拼接纹理图像；

图像映射模块540，用于利用映射关系，将与第一视角对应的拼接纹理图像映射到三维模型。

根据本发明实施例的图像处理装置，可以提高3D纹理贴图的精度，节约时间成本。

在一个实施例中，视角选择模块530可以包括：

法向量计算单元，用于获取三维模型的多边形面片作为待处理面片，获得待处理面片的法向矢量；

第一视角确定单元，用于当图像采集设备的入射线与待处理面片的法向矢量之间的夹角满足阈值条件时，将该夹角作为三维模型的第一视角；

纹理图像子集获取单元，用于将原始纹理图像中，与图像采集设备的第一视角对应的图像，作为与第一视角相关联的纹理图像子集。

在该实施例中，视角选择模块可以自动对图像采集设备的拍摄位置进行拍摄视角分析，确定满足夹角限制条件的拍摄视角，根据选择的拍摄视角，可以获得与选择的拍摄视角对应的较清晰的纹理图像子集。

在一个实施例中，图像拼接模块540具体可以包括：

拼接区域确定模块，用于使用图像分割的方法，将纹理图像子集所包括的图像之间的重叠区域，作为纹理图像子集所包括的图像之间的拼接区域；

纹理融合模块，用于对纹理图像子集所包括的图像之间的拼接区域进行纹理融合，得到与第一视角对应的拼接纹理图像。

在一个实施例中，纹理融合模块具体可以包括：

清晰度函数构建单元，用于构建纹理图像子集所包括的图像的清晰度函数，基于清晰度函数，对纹理图像子集所包括的图像的清晰度与第一视角的关系进行选择优化；

完整度函数构建单元，用于构建纹理图像子集所包括的图像的完整度函数，完整度函数是对纹理图像子集所包括的图像的完整度与拼接区域的面积的关系进行计算获得的；

梯度优化单元，用于根据清晰度函数和完整度函数，对纹理图像子集所包括的图像进行梯度优化，使纹理图像子集所包括的图像之间的拼接区域进行纹理融合，得到与第一视角对应的拼接纹理图像。

为了获得完整的三维纹理模型，在本发明实施例中，图像处理装置500还用于：

在将拼接纹理图像映射到三维模型的过程中，迭代计算多次第一视角，得到多个拼接纹理图像，直到得到三维模型完整的纹理模型.。

在该实施例中，图像处理装置500还可以包括：光线均衡模块，用于利用图像编辑与融合技术，对纹理模型进行光线均衡化的处理，得到光线均匀的纹理模型。

在该实施例中，对三维纹理模型进行光纤均衡化处理后，可以使三维纹理贴图后的三维模型具有良好的视觉效果，增强用户视觉体验。

根据本发明实施例的图像处理装置的其他细节与以上结合图1描述的根据本发明实施例的图像处理方法类似，在此不再赘述。

图6是示出能够实现根据本发明实施例的图像处理方法和装置的计算设备的示例性硬件架构的结构图。

如图6所示，计算设备600包括输入设备601、输入接口602、中央处理器603、存储器604、输出接口605、以及输出设备606。其中，输入接口602、中央处理器603、存储器604、以及输出接口605通过总线610相互连接，输入设备601和输出设备606分别通过输入接口602和输出接口605与总线610连接，进而与计算设备600的其他组件连接。

具体地，输入设备601接收来自外部(例如，图像采集设备)的输入信息，并通过输入接口602将输入信息传送到中央处理器603；中央处理器603基于存储器604中存储的计算机可执行指令对输入信息进行处理以生成输出信息，将输出信息临时或者永久地存储在存储器604中，然后通过输出接口605将输出信息传送到输出设备606；输出设备606将输出信息输出到计算设备600的外部供用户使用。

也就是说，图6所示的计算设备也可以被实现为图像处理系统，该图像处理系统包括：存储有计算机可执行指令的存储器；以及处理器，该处理器在执行计算机可执行指令时可以实现结合图1至图5描述的图像处理方法和装置。这里，处理器可以与图像采集设备通信，从而基于来自图像处理的相关信息执行计算机可执行指令，从而实现结合图1至图5描述的图像处理方法和装置。

本发明实施例提出了一种高效、全自动的高质量的图像处理方法，可以在保证三维纹理贴图质量的同时，极大地节约人力成本。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品或计算机可读存储介质的形式实现。所述计算机程序产品或计算机可读存储介质包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。

以上所述，仅为本发明的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本发明的保护限制条件并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术限制条件内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护限制条件之内。

Claims (14)

1.一种图像处理方法，包括：

确定物体对象的三维模型和通过图像采集设备获取的所述物体对象的原始纹理图像的映射关系；

选择用于所述三维模型的第一视角，确定所述原始纹理图像中与所述第一视角相关联的纹理图像子集；

使用图像分割方法，对所述纹理图像子集进行拼接，得到与所述第一视角对应的拼接纹理图像；

利用所述映射关系，将所述与第一视角对应的拼接纹理图像映射到所述三维模型。

2.根据权利要求1所述的图像处理方法，其中，所述选择用于所述三维模型的第一视角，确定所述原始纹理图像中与所述第一视角相关联的纹理图像子集，包括：

获取所述三维模型的多边形面片作为待处理面片，获得所述待处理面片的法向矢量；

当所述图像采集设备的入射线与所述待处理面片的法向矢量之间的夹角满足阈值条件时，将所述夹角作为所述三维模型的第一视角；

将所述原始纹理图像中，与所述图像采集设备的所述第一视角对应的图像，作为与所述第一视角相关联的纹理图像子集。

3.根据权利要求1所述的图像处理方法，其中，所述使用图像分割方法，对所述纹理图像子集进行拼接，得到与所述第一视角对应的拼接纹理图像，包括：

使用图像分割的方法，将所述纹理图像子集所包括的图像之间的重叠区域，作为所述纹理图像子集所包括的图像之间的拼接区域；

对所述纹理图像子集所包括的图像之间的拼接区域进行纹理融合，得到与所述第一视角对应的拼接纹理图像。

4.根据权利要求3所述的图像处理方法，其中，所述对所述纹理图像子集所包括的图像之间的拼接区域进行纹理融合，得到与所述第一视角对应的拼接纹理图像，包括：

构建所述纹理图像子集所包括的图像的清晰度函数，基于所述清晰度函数，对所述纹理图像子集所包括的图像的清晰度与所述第一视角的关系进行选择优化；

构建所述纹理图像子集所包括的图像的完整度函数，所述完整度函数是对所述纹理图像子集所包括的图像的完整度与所述拼接区域的面积的关系进行计算获得的；

根据所述清晰度函数和所述完整度函数，对所述纹理图像子集所包括的图像进行梯度优化，使所述纹理图像子集所包括的图像之间的拼接区域进行纹理融合，得到与所述第一视角对应的拼接纹理图像。

5.根据权利要求1所述的图像处理方法，还包括：

在将拼接纹理图像映射到所述三维模型的过程中，迭代计算多次第一视角，得到多个拼接纹理图像，直到得到所述三维模型完整的纹理模型。

6.根据权利要求5所述的图像处理方法，还包括：

利用图像编辑与融合技术，对所述纹理模型进行光线均衡化的处理，得到光线均匀的纹理模型。

7.一种图像处理装置，包括：

映射关系确定模块，用于确定物体对象的三维模型和通过图像采集设备获取的所述物体对象的原始纹理图像的映射关系；

视角选择模块，用于选择用于所述三维模型的第一视角，确定所述原始纹理图像中与所述第一视角相关联的纹理图像子集；

图像拼接模块，用于使用图像分割方法，对所述纹理图像子集进行拼接，得到与所述第一视角对应的拼接纹理图像；

图像映射模块，用于利用所述映射关系，将所述与第一视角对应的拼接纹理图像映射到所述三维模型。

8.根据权利要求7所述的图像处理装置，其中，所述视角选择模块包括：

法向量计算单元，用于获取所述三维模型的多边形面片作为待处理面片，获得所述待处理面片的法向矢量；

第一视角确定单元，用于当所述图像采集设备的入射线与所述待处理面片的法向矢量之间的夹角满足阈值条件时，将所述夹角作为所述三维模型的第一视角；

纹理图像子集获取单元，用于将所述原始纹理图像中，与所述图像采集设备的所述第一视角对应的图像，作为与所述第一视角相关联的纹理图像子集。

9.根据权利要求7所述的图像处理装置，其中，所述图像拼接模块，包括：

拼接区域确定模块，用于使用图像分割的方法，将所述纹理图像子集所包括的图像之间的重叠区域，作为所述纹理图像子集所包括的图像之间的拼接区域；

纹理融合模块，用于对所述纹理图像子集所包括的图像之间的拼接区域进行纹理融合，得到与所述第一视角对应的拼接纹理图像。

10.根据权利要求9所述的图像处理装置，其中，所述纹理融合模块，包括：

清晰度函数构建单元，用于构建所述纹理图像子集所包括的图像的清晰度函数，基于所述清晰度函数，对所述纹理图像子集所包括的图像的清晰度与所述第一视角的关系进行选择优化；

完整度函数构建单元，用于构建所述纹理图像子集所包括的图像的完整度函数，所述完整度函数是对所述纹理图像子集所包括的图像的完整度与所述拼接区域的面积的关系进行计算获得的；

梯度优化单元，用于根据所述清晰度函数和所述完整度函数，对所述纹理图像子集所包括的图像进行梯度优化，使所述纹理图像子集所包括的图像之间的拼接区域进行纹理融合，得到与所述第一视角对应的拼接纹理图像。

11.根据权利要求7所述的图像处理装置，所述图像处理装置还用于：

在将拼接纹理图像映射到所述三维模型的过程中，迭代计算多次第一视角，得到多个拼接纹理图像，直到得到所述三维模型完整的纹理模型。

12.根据权利要求11所述的图像处理装置，还包括：

光线均衡模块，用于利用图像编辑与融合技术，对所述纹理模型进行光线均衡化的处理，得到光线均匀的纹理模型。

13.一种图像处理系统，其特征在于，包括存储器和处理器；

所述存储器用于储存有可执行程序代码；

所述处理器用于读取所述存储器中存储的可执行程序代码以执行权利要求1至6任一项所述的图像处理方法。

14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括指令，当所述指令在计算机上运行时，使得计算机执行如权利要求1-6任意一项所述的图像处理方法。