CN116778066B - 数据处理方法、装置、设备及介质 - Google Patents

Abstract

本公开实施例涉及一种数据处理方法、装置、设备及介质，其中该方法包括：获取目标物体的多个纹理图像和三维模型；确定多个纹理图像中基准纹理图像与三维模型之间的目标转换关系；基于目标转换关系确定初始深度，并基于初始深度和基准纹理图像确定重建深度；确定重建深度在三维模型中的关联三维点，并对重建深度以及关联三维点进行联合优化，确定优化后的目标深度和目标相机位姿；基于目标深度和目标相机位姿确定重建模型与三维模型之间的三维映射关系，并基于三维映射关系将多个纹理图像对三维模型进行纹理贴图。本公开实施例提升重建结果的精度和鲁棒性，并且重建的同时进行三维模型和重建模型的对齐，相对相关技术流程简化，提升了计算效率。

Description

数据处理方法、装置、设备及介质

技术领域

本公开涉及三维技术领域，尤其涉及一种数据处理方法、装置、设备及介质。

背景技术

在部分三维扫描过程中由于设备等原因得到的三维模型无纹理信息，为了解决该问题，相关技术中，可以获取三维模型的高质量多视角图像，通过运动结构（StructureFrom Motion，SFM）算法离线重建出物体的三维（3d）数据，再通过带尺度的3d点云配准算法实现离线重建数据与模型数据的配准，进而得到高质量多视角模型图像与扫描的三维模型的对应关系，完成纹理贴图。但是上述方案存在耗时久、容易失败、重建结果精度较差的问题。

发明内容

为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种数据处理方法、装置、设备及介质。

本公开实施例提供了一种数据处理方法，所述方法包括：

获取目标物体的多个纹理图像和三维模型；

确定所述多个纹理图像中基准纹理图像与所述三维模型之间的目标转换关系；

基于所述目标转换关系确定初始深度，并基于所述初始深度和所述基准纹理图像确定重建深度；

确定所述重建深度在所述三维模型中的关联三维点，并对所述重建深度以及所述关联三维点进行联合优化，确定优化后的目标深度和目标相机位姿；

基于所述目标深度和所述目标相机位姿确定重建模型与所述三维模型之间的三维映射关系，并基于所述三维映射关系将所述多个纹理图像对所述三维模型进行纹理贴图。

本公开实施例还提供了一种数据处理装置，所述装置包括：

获取模块，用于获取目标物体的多个纹理图像和三维模型；

关系模块，用于确定所述多个纹理图像中基准纹理图像与所述三维模型之间的目标转换关系；

深度模块，用于基于所述目标转换关系确定初始深度，并基于所述初始深度和所述基准纹理图像确定重建深度；

优化模块，用于确定所述重建深度在所述三维模型中的关联三维点，并对所述重建深度以及所述关联三维点进行联合优化，确定优化后的目标深度和目标相机位姿；

贴图模块，用于基于所述目标深度和所述目标相机位姿确定重建模型与所述三维模型之间的三维映射关系，并基于所述三维映射关系将所述多个纹理图像对所述三维模型进行纹理贴图。

本公开实施例还提供了一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现如本公开实施例提供的数据处理方法。

本公开实施例还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行如本公开实施例提供的数据处理方法。

本公开实施例提供的技术方案与现有技术相比具有如下优点：本公开实施例提供的数据处理方案，获取目标物体的多个纹理图像和三维模型；确定多个纹理图像中基准纹理图像与三维模型之间的目标转换关系；基于目标转换关系确定初始深度，并基于初始深度和基准纹理图像确定重建深度；确定重建深度在三维模型中的关联三维点，并对重建深度以及关联三维点进行联合优化，确定优化后的目标深度和目标相机位姿；基于目标深度和目标相机位姿确定重建模型与三维模型之间的三维映射关系，并基于三维映射关系将多个纹理图像对三维模型进行纹理贴图。采用上述方案，确定基准纹理图像与三维模型的转换关系之后可以确定初始深度，之后在三维重建的过程中基于该初始深度确定重建深度并在对优化过程中使用已有的三维模型作为约束进行优化，能够降低重建过程中的变形问题，提升重建结果的精度和鲁棒性，并且重建的同时进行三维模型和重建模型的对齐，相对相关技术流程简化，提升了计算效率。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本公开实施例提供的一种数据处理方法的流程示意图；

图2为本公开实施例提供的另一种数据处理方法的流程示意图；

图3为本公开实施例提供的一种数据处理装置的结构示意图；

图4为本公开实施例提供的一种电子设备的结构示意图。

具体实施方式

为了能够更清楚地理解本公开的上述目的、特征和优点，下面将对本公开的方案进行进一步描述。需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本公开，但本公开还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本公开的一部分实施例，而不是全部的实施例。

为了解决三维模型缺少纹理信息的该问题，相关技术中需要基于SFM算法进行三维重建进而完成纹理贴图，但是基于SFM算法的稀疏重建过程耗时久，对特征不丰富或者存在重复特征的模型容易稀疏重建错误，进而导致算法失败，一旦算法失败算法只能重新采图运行，具有一定的不确定性，重复的操作过程导致效率较低；另外，相对于扫描的三维模型，基于SFM算法的稀疏重建结果在精度和尺度上都有比较大的差异，两个模型的对齐过程比较困难，导致精度较低。综上，相关技术中存在耗时久、容易失败、重建结果精度较差的问题。

为了解决上述问题，本公开实施例提供了一种数据处理方法，下面结合具体的实施例对该方法进行介绍。

图1为本公开实施例提供的一种数据处理方法的流程示意图，该方法可以由数据处理装置执行，其中该装置可以采用软件和/或硬件实现，一般可集成在电子设备中。如图1所示，该方法包括：

步骤101、获取目标物体的多个纹理图像和三维模型。

其中，目标物体可以是进行三维扫描以实现三维可视化的物体，可以是任意物体，具体不限。纹理图像可以是通过高质量的图像采集设备对目标物体进行拍摄得到，图像采集设备可以为彩色相机、单反相机、手机、平板等，具体不限，本公开实施例将图像采集设备称为相机。三维模型可以是通过结构光扫描设备对目标物体扫描得到的模型，结构光扫描设备可以为三维扫描仪，例如激光扫描仪、白光扫描仪或跟踪三维扫描仪等，具体不限。

数据处理装置可以获取目标物体的三维模型，以及目标物体的多个纹理图像，该三维模型可以是缺少纹理或纹理信息较差等需要进行纹理贴图的模型。

在一些实施例中，获取目标物体的多个纹理图像和三维模型之后，数据处理方法还可以包括：对多个纹理图像依次进行图像分割、特征提取和特征匹配，得到特征匹配关系。

特征匹配关系可以理解为针对两个纹理图像确定相同特征点的数量，当相同特征点的数量超过阈值或者采用欧式距离匹配成功时可以视为这两个纹理图像具有特征匹配关系，通过特征匹配处理可以将多个纹理图像中两两纹理图像建立特征匹配关系。

具体地，数据处理装置可以利用图像分割算法，对多个纹理图像依次进行图像分割，得到每个纹理图像的包括主体区域的前景图像；之后针对各前景图像进行特征提取和特征匹配，得到特征匹配关系，此处特征提取和特征匹配的具体方式不限，例如特征提取可以通过Harris角点检测算法、Sift斑点检测算法、Orb特征检测算法等实现，特征匹配可以通过基于FLANN的匹配算法、暴力匹配算法等。

可选的，数据处理装置还可以基于多个纹理图像的特征匹配关系构建特征图谱，该特征图谱包括节点和边，每个节点表示一个纹理图像，每个边表示连接的两个纹理图像具有特征匹配关系。

此外，基于多个纹理图像的EXIF信息还可以确定上述图像采集设备的内参，后续称为相机内参，EXIF信息可以包括图像的属性信息，例如可以包括焦距和主点等。

上述确定多个纹理图像对应的特征匹配关系、相机内参，可以为后续三维重建做好数据准备。

步骤102、确定多个纹理图像中基准纹理图像与三维模型之间的目标转换关系。

其中，基准纹理图像可以是一个在后续处理中用作标准的图像，该基准纹理图像的确定可以通过多种方式，例如可以将多个纹理图像中的任意一个确定为基准纹理图像。目标转换关系可以指基准纹理图像的图像坐标系与三维模型的坐标系之间的转换关系，也可以理解为基准纹理图像中的像素点与三维模型的三维点之间的对应关系，该第一转换关系可以包括基准纹理图像转换至三维模型的旋转矩阵和平移矩阵，旋转矩阵体现了旋转关系，平移矩阵体现了平移关系。

示例性的，图2为本公开实施例提供的另一种数据处理方法的流程示意图，如图2所示，在一种可行的实施方式中，步骤102可以包括如下步骤：

步骤201、确定基准纹理图像。

数据处理装置可以响应于对多个纹理图像的选择操作，确定基准纹理图像，也即接收用户对多个纹理图像选择操作，将选择操作对应的纹理图像确定为基准纹理图像；或者，将多个纹理图像中具有特征匹配关系最多的纹理图像确定为基准纹理图像，其中特征匹配关系可以理解为针对两个纹理图像确定相同特征点的数量，当相同特征点的数量超过阈值或者采用欧式距离匹配成功时可以视为这两个纹理图像具有特征匹配关系，针对每个纹理图像确定具有的特征匹配关系的数量，也即与该纹理图像具有特征匹配关系的其他纹理图像的数量，将数量最多的纹理图像确定为基准纹理图像。

可选的，数据处理装置可以上述特征图谱将邻近边数量最多的节点所对应的纹理图像确定为基准纹理图像。

步骤202、响应于对三维模型的操作指令，确定基准纹理图像与三维模型之间的第一转换关系。

其中，操作指令可以包括对三维模型的旋转、放大、缩小和平移等指令。第一转换关系可以指基准纹理图像的图像坐标系与三维模型的坐标系之间的转换关系。

数据处理装置可以根据用户在三维工具中对三维模型的操作指令，使得三维模型与基准纹理图像的主体轮廓对齐，进而可以通过操作的参数确定基准纹理图像和三维模型之间的第一转换关系，操作的参数可以包括移动尺寸、缩放倍数和旋转角度等。

步骤203、基于第一转换关系确定三维模型的投影图像，对投影图像和基准纹理图像进行轮廓对齐，得到第一对应关系。

投影图像可以是以上述第一转换关系为基础，将三维模型根据已有的相机参数投影到二维的相平面上的图像，此处相机参数可以是上述基准纹理图像对应的相机参数，也即拍摄该基准纹理图像的相机的内参信息。第一对应关系可以是基准纹理图像与投影图像这两个二维图像的像素点之间的对应关系。

数据处理装置可以通过上述第一转换关系对三维模型进行投影，例如可以通过开放式图形库（Open Graphics Library，Open GL）对三维模型进行三维至二维的投影，得到投影图像；之后可以将基准纹理图像与对应的投影图像进行图像对齐，得到第一对应关系，此处图像对齐的方式不限，例如可以通过提取两个图像的轮廓，进行轮廓对齐来实现图像对齐；或者可以基于两个图像的感兴趣区域（Region Of Interest，ROI）实现图像对齐，仅为示例。

步骤204、基于基准纹理图像、第一对应关系，利用PNP算法确定基准纹理图像与三维模型之间的目标转换关系。

其中，PNP（Perspective-N-Point）算法可以是求解二维到三维点对的物体运动定位问题，解决的是根据图像中特征点的二维像素坐标和其对应的三维空间坐标来估计相机在参考坐标系中的位姿，解算得到图像坐标系相对三维空间坐标系的转换关系。

数据处理装置在确定上述第一转换关系（基准和三维）和第一对应关系（基准和投影）之后，可以从基准纹理图像中提取多个特征点的二维坐标、基于第一对应关系确定多个特征点在投影图像中的二维坐标，进而根据投影图像投影时的关系确定多个特征点对应的三维点的坐标，将多个特征点的二维坐标和对应三维点的坐标、相机的内参输入PNP算法中进行计算，可以确定基准纹理图像与三维模型之间的目标转换关系。

通过在第一转换关系的基础上，增加三维模型投影后的图像与基准纹理图像的二维对齐，进而基于该二维对齐的关系可以确定更加精确的基准纹理图像与三维模型之间的转换关系，优化了对齐状态，有助于提升后续重建结果的准确性。

步骤103、基于目标转换关系确定初始深度，并基于初始深度和基准纹理图像确定重建深度。

其中，初始深度可以是通过上述三维模型获取的与基准纹理图像对应的深度信息。重建深度可以是通过三维重建算法确定的深度信息，公开实施例以三维重建算法为SFM算法为例进行说明。

数据处理装置可以根据上述目标转换关系、相机内参/>和基准纹理图像上的像素点位置/>，输入公式/>中，可以确定三维模型上的三维点的坐标/>，进而从三维点的坐标/>中提取得到基准纹理图像对应的深度信息作为初始深度，之后可以基于该初始深度和基准纹理图像，利用三维重建算法进行三维重建，确定重建深度。

在一些实施例中，基于初始深度和基准纹理图像确定重建深度，可以包括：确定预设图像范围内基准纹理图像的关联图像，其中，预设图像范围包括多个纹理图像的至少部分；基于初始深度、基准纹理图像与关联图像之间的特征匹配关系，利用PNP算法，确定关联图像对应的相机位姿；基于关联图像对应的相机位姿、相机内参，采用对极几何算法确定重建深度。

其中，预设图像范围可以是多个纹理图像中确定的至少一个纹理图像，例如可以包括多个纹理图像的全部，也可以只包括一个，该预设图像范围不包括基准纹理图像。关联图像可以是与基准纹理图像之间匹配度最高的纹理图像，本公开实施例可以将将预设图像范围内与基准纹理图像具有特征匹配关系并且相同特征点数量最多的纹理图像确定为基准纹理图像的关联图像，也即可以根据上述特征图谱由于与基准纹理图像相邻的纹理图像即为与基准纹理图像具有特征匹配关系的纹理图像，此时可以将与基准纹理图像相邻的纹理图像中相同特征点数量最多的一个确定为关联图像；关联图像还可以为与基准纹理图像相似度最大的纹理图像。相机位姿可以是关联图像拍摄时相机的位置和方向，即为相机外参。

数据处理装置可以先确定预设图像范围内基准纹理图像的关联图像，之后由于基准纹理图像已知上述初始深度，基于基准纹理图像和关联图像之间的特征匹配关系可以确定关联图像与三维模型之间的转换关系，之后可以通过PNP算法计算确定关联图像的相机位姿；对极几何算法可以用于根据两个图像之间多组二维像素点对来估计相机运动，本公开实施例可以在已知相机位姿、相机内参以及基准纹理图像和关联图像之间的特征匹配关系的基础上，利用对极几何算法确定重建深度。

步骤104、确定重建深度在三维模型中的关联三维点，并对重建深度以及关联三维点进行联合优化，确定优化后的目标深度和目标相机位姿。

其中，关联三维点可以是基于上述目标转换关系将重建深度映射到三维模型中的三维点。目标深度可以是经过优化后的精确性较高的重建深度，目标相机位姿可以是经过优化后的最终确定的相机位姿。

在一些实施例中，确定重建深度在三维模型中的关联三维点，可以包括：基于目标转换关系确定重建深度与三维模型之间的第一对应关系；基于第一对应关系确定重建深度在三维模型对应的关联三维点。

数据处理装置可以根据重建深度与基准纹理图像的对应关系，以及基准纹理图像与三维模型的目标转换关系，确定重建深度与三维模型之间的第一对应关系，该第一对应关系可以是每个重建深度与三维模型的三维点的对应关系；基于该第一对应关系可以将重建深度在三维模型对应的三维点确定为关联三维点。

在一些实施例中，对重建深度以及关联三维点进行联合优化，确定优化后的目标深度和目标相机位姿，可以包括：利用最小化重投影误差算法求解重建深度对应的第一投影误差以及关联三维点对应的第二投影误差，将第一投影误差和第二投影误差均为最小时的重建深度确定为优化后的目标深度并将此时的相机位姿确定为优化后的目标相机位姿。

最小化重投影误差算法，又称光束平差（Bundle Adjustment，BA）算法，通过最小化重投影误差来同时优化三维点和相机位姿。

数据处理装置对重建深度和关联三维点进行联合优化时，可以确定重建深度投影到相机坐标系的像素点与基准纹理图像对应的像素点之间的误差，称为第一投影误差，确定关联三维点投影到相机坐标系的像素点与基准纹理图像对应的像素点之间的误差，称为第二投影误差，利用最小化重投影误差算法通过改变重建深度和相机位姿，使得上述第一投影误差和第二投影误差均为最小，将此时的重建深度确定为优化后的目标深度，将此时的相机位姿确定为优化后的目标相机位姿。

上述联合优化过程使用重建深度在三维模型的关联三维点的投影误差对重建深度的投影误差进行限制，也即使用已有的三维模型作为约束，使其不过分优化，降低重建过程的变形问题，通过联合优化过程可以得到更精确的相机位姿和重建深度。

在一些实施例中，重建深度、目标深度和目标相机位姿的确定的执行次数为预设数量，每次执行时预设图像范围增加一个纹理图像，直到预设图像范围中的图像数量等于预设数量停止执行。也即上述步骤103和步骤104可以重复执行多次，具体的执行次数可以为预设数量，该预设数量小于或等于多个纹理图像的总数量，具体数量可以根据实际情况设置，例如预设数量可以为5。步骤103和步骤104每次执行时可以在预设图像范围内增加一个纹理图像，并且目标转换关系也是上一次执行经过优化的，重复执行，直到预设图像范围中的纹理图像的图像数量等于上述预设数量时则停止，此时认为目标深度和目标相机位姿的优化满足要求，可以停止优化，之后可以利用最小化投影误差算法进行全局优化。

步骤105、基于目标深度和目标相机位姿确定重建模型与三维模型之间的三维映射关系，并基于三维映射关系将多个纹理图像对三维模型进行纹理贴图。

三维映射关系可以是重建模型和三维模型这两个三维模型之间三维点的对应关系。

数据处理装置在确定目标深度和目标相机位姿之后即可得到重建模型，进而可以确定该重建模型与三维模型之间的三维映射关系；之后可以利用纹理贴图算法，例如纹理融合（TextureFusion）技术框架，将多个纹理图像贴图到三维模型。

在一些实施例中，在上述步骤105之后，数据处理方法还可以包括：基于重建模型和三维模型之间的三维映射关系，确定多个纹理图像与三维模型的纹理映射关系；基于纹理映射关系将多个纹理图像对三维模型进行纹理贴图。

其中，纹理映射关系可以包括上述每个纹理图像与三维模型之间的映射关系，也即每个纹理图像中的像素点与三维模型的三维点之间的对应关系，该纹理映射关系可以是采用多个纹理图像对三维模型进行纹理贴图的依据。

数据处理装置在确定重建模型和三维模型之间的三维映射关系之后即可实现这两个模型的对齐，之后可以基于该三维映射关系以及每个纹理图像与重建模型之间的转换关系，可以确定每个纹理图像与三维模型的对应关系，也即纹理映射关系；之后可以基于纹理映射关系，利用纹理贴图算法采用多个纹理图像对三维模型进行贴图处理，具体贴图过程中针对三维模型的每个网格面片可以基于纹理映射关系得到最佳的纹理图像，进行纹理映射。

本方案可以在流程的初始阶段对齐基准纹理图像和三维模型，以此为基础进行基于投影图像进一步优化，得到基准纹理图像和三维在模型更加精准的转换关系；之后在三维重建过程中不同于传统的SFM，使用已有的三维模型作为约束进一步降低重建过程的变形等问题，重建的质量更高，重建过程的误匹配、离群点过滤等流程可以更加精确，同时进行扫描的三维模型与重建模型的精对齐相对现有技术在流程上做了简化了，降低了使用成本，提高了操作效率。

本公开实施例在不需要用户重复标定相机内参的情况下，通过简单的操作逻辑实现较为准确的先扫描后贴图算法逻辑，在准确性，计算效率和对不同纹理特征的鲁棒性上均优于已有算法。

本公开实施例提供的数据处理方案，获取目标物体的多个纹理图像和三维模型；确定多个纹理图像中基准纹理图像与三维模型之间的目标转换关系；基于目标转换关系确定初始深度，并基于初始深度和基准纹理图像确定重建深度；确定重建深度在三维模型中的关联三维点，并对重建深度以及关联三维点进行联合优化，确定优化后的目标深度和目标相机位姿；基于目标深度和目标相机位姿确定重建模型与三维模型之间的三维映射关系，并基于三维映射关系将多个纹理图像对三维模型进行纹理贴图。采用上述方案，确定基准纹理图像与三维模型的转换关系之后可以确定初始深度，之后在三维重建的过程中基于该初始深度确定重建深度并在对优化过程中使用已有的三维模型作为约束进行优化，能够降低重建过程中的变形问题，提升重建结果的精度和鲁棒性，并且重建的同时进行三维模型和重建模型的对齐，相对相关技术流程简化，提升了计算效率。

图3为本公开实施例提供的一种数据处理装置的结构示意图，该装置可由软件和/或硬件实现，一般可集成在电子设备中。如图3所示，该装置包括：

获取模块301，用于获取目标物体的多个纹理图像和三维模型；

关系模块302，用于确定所述多个纹理图像中基准纹理图像与所述三维模型之间的目标转换关系；

深度模块303，用于基于所述目标转换关系确定初始深度，并基于所述初始深度和所述基准纹理图像确定重建深度；

优化模块304，用于确定所述重建深度在所述三维模型中的关联三维点，并对所述重建深度以及所述关联三维点进行联合优化，确定优化后的目标深度和目标相机位姿；

贴图模块305，用于基于所述目标深度和所述目标相机位姿确定重建模型与所述三维模型之间的三维映射关系，并基于所述三维映射关系将所述多个纹理图像对所述三维模型进行纹理贴图。

可选的，所述装置还包括预处理模块，用于：获取目标物体的多个纹理图像和三维模型之后，

对所述多个纹理图像依次进行图像分割、特征提取和特征匹配，得到特征匹配关系。

可选的，关系模块302用于：

确定所述基准纹理图像；

响应于对所述三维模型的操作指令，确定所述基准纹理图像与所述三维模型之间的第一转换关系；

基于所述第一转换关系确定所述三维模型的投影图像，对所述投影图像和所述基准纹理图像进行轮廓对齐，得到第一对应关系；

基于所述基准纹理图像、所述第一对应关系，利用PNP算法确定所述基准纹理图像与所述三维模型之间的目标转换关系。

可选的，关系模块302用于：

响应于对所述多个纹理图像的选择操作，确定所述基准纹理图像；

或者，将所述多个纹理图像中具有特征匹配关系最多的纹理图像确定为所述基准纹理图像。

可选的，深度模块303用于：

确定预设图像范围内所述基准纹理图像的关联图像；

基于所述初始深度、所述基准纹理图像与所述关联图像之间的特征匹配关系，利用PNP算法，确定所述关联图像对应的相机位姿；

基于所述关联图像对应的相机位姿、相机内参，采用对极几何算法确定所述重建深度。

可选的，所述预设图像范围包括所述多个纹理图像的至少部分，并且所述重建深度、所述目标深度和所述目标相机位姿的确定的执行次数为预设数量，每次执行时所述预设图像范围增加一个纹理图像，直到所述预设图像范围中的图像数量等于所述预设数量停止执行，所述预设数量小于或等于所述多个纹理图像的总数量。

可选的，深度模块303用于：

将所述预设图像范围内与所述基准纹理图像具有特征匹配关系并且相同特征点数量最多的纹理图像确定为所述基准纹理图像的关联图像。

可选的，优化模块304包括第一单元，用于：

基于所述目标转换关系确定所述重建深度与所述三维模型之间的第一对应关系；

基于所述第一对应关系确定所述重建深度在所述三维模型对应的关联三维点。

可选的，优化模块304包括第二单元，用于：

利用最小化重投影误差算法求解所述重建深度对应的第一投影误差以及所述关联三维点对应的第二投影误差，将所述第一投影误差和所述第二投影误差均为最小时的重建深度确定为优化后的所述目标深度并将此时的相机位姿确定为优化后的目标相机位姿。

本公开实施例所提供的数据处理装置可执行本公开任意实施例所提供的数据处理方法，具备执行方法相应的功能模块和有益效果。

图4为本公开实施例提供的一种电子设备的结构示意图。如图4所示，电子设备400包括一个或多个处理器401和存储器402。

处理器401可以是中央处理单元（CPU）或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备400中的其他组件以执行期望的功能。

存储器402可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器（RAM）和/或高速缓冲存储器（cache）等。所述非易失性存储器例如可以包括只读存储器（ROM）、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器401可以运行所述程序指令，以实现上文所述的本公开的实施例的数据处理方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。

在一个示例中，电子设备400还可以包括：输入装置403和输出装置404，这些组件通过总线系统和/或其他形式的连接机构（未示出）互连。

此外，该输入装置403还可以包括例如键盘、鼠标等等。

该输出装置404可以向外部输出各种信息，包括确定出的距离信息、方向信息等。该输出装置404可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图4中仅示出了该电子设备400中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备400还可以包括任何其他适当的组件。

除了上述方法和设备以外，本公开的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本公开实施例所提供的数据处理方法。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本公开实施例所提供的数据处理方法。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅是本公开的具体实施方式，使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下，在其它实施例中实现。因此，本公开将不会被限制于本文所述的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (11)

1.一种数据处理方法，其特征在于，包括：

获取目标物体的多个纹理图像和三维模型；

确定所述多个纹理图像中基准纹理图像与所述三维模型之间的目标转换关系；

基于所述目标转换关系确定初始深度，并基于所述初始深度和所述基准纹理图像确定重建深度；

确定所述重建深度在所述三维模型中的关联三维点，并对所述重建深度以及所述关联三维点进行联合优化，确定优化后的目标深度和目标相机位姿；

基于所述目标深度和所述目标相机位姿确定重建模型与所述三维模型之间的三维映射关系，并基于所述三维映射关系将所述多个纹理图像对所述三维模型进行纹理贴图；

所述初始深度是通过上述三维模型获取的与基准纹理图像对应的深度信息，所述重建深度是通过三维重建算法确定的深度信息；

所述关联三维点是基于上述目标转换关系将重建深度映射到三维模型中的三维点；

对所述重建深度以及所述关联三维点进行联合优化，确定优化后的目标深度和目标相机位姿，包括：

利用最小化重投影误差算法求解所述重建深度对应的第一投影误差以及所述关联三维点对应的第二投影误差，将所述第一投影误差和所述第二投影误差均为最小时的重建深度确定为优化后的所述目标深度并将此时的相机位姿确定为优化后的目标相机位姿。

2.根据权利要求1所述的方法，其特征在于，获取目标物体的多个纹理图像和三维模型之后，所述方法还包括：

对所述多个纹理图像依次进行图像分割、特征提取和特征匹配，得到特征匹配关系。

3.根据权利要求1所述的方法，其特征在于，确定所述多个纹理图像中基准纹理图像与所述三维模型之间的目标转换关系，包括：

确定所述基准纹理图像；

响应于对所述三维模型的操作指令，确定所述基准纹理图像与所述三维模型之间的第一转换关系；

基于所述第一转换关系确定所述三维模型的投影图像，对所述投影图像和所述基准纹理图像进行轮廓对齐，得到第一对应关系；

基于所述基准纹理图像、所述第一对应关系，利用PNP算法确定所述基准纹理图像与所述三维模型之间的目标转换关系。

4.根据权利要求3所述的方法，其特征在于，确定所述基准纹理图像，包括：

响应于对所述多个纹理图像的选择操作，确定所述基准纹理图像；

或者，将所述多个纹理图像中具有特征匹配关系最多的纹理图像确定为所述基准纹理图像。

5.根据权利要求1所述的方法，其特征在于，基于所述初始深度和所述基准纹理图像确定重建深度，包括：

确定预设图像范围内所述基准纹理图像的关联图像；

基于所述初始深度、所述基准纹理图像与所述关联图像之间的特征匹配关系，利用PNP算法，确定所述关联图像对应的相机位姿；

基于所述关联图像对应的相机位姿、相机内参，采用对极几何算法确定所述重建深度。

6.根据权利要求5所述的方法，其特征在于，所述预设图像范围包括所述多个纹理图像的至少部分，并且所述重建深度、所述目标深度和所述目标相机位姿的确定的执行次数为预设数量，每次执行时所述预设图像范围增加一个纹理图像，直到所述预设图像范围中的图像数量等于所述预设数量停止执行，所述预设数量小于或等于所述多个纹理图像的总数量。

7.根据权利要求5所述的方法，其特征在于，所述确定预设图像范围内所述基准纹理图像的关联图像，包括：

将所述预设图像范围内与所述基准纹理图像具有特征匹配关系并且相同特征点数量最多的纹理图像确定为所述基准纹理图像的关联图像。

8.根据权利要求1所述的方法，其特征在于，确定所述重建深度在所述三维模型中的关联三维点，包括：

基于所述目标转换关系确定所述重建深度与所述三维模型之间的第一对应关系；

基于所述第一对应关系确定所述重建深度在所述三维模型对应的关联三维点。

9.一种数据处理装置，其特征在于，包括：

获取模块，用于获取目标物体的多个纹理图像和三维模型；

关系模块，用于确定所述多个纹理图像中基准纹理图像与所述三维模型之间的目标转换关系；

深度模块，用于基于所述目标转换关系确定初始深度，并基于所述初始深度和所述基准纹理图像确定重建深度；

优化模块，用于确定所述重建深度在所述三维模型中的关联三维点，并对所述重建深度以及所述关联三维点进行联合优化，确定优化后的目标深度和目标相机位姿；

贴图模块，用于基于所述目标深度和所述目标相机位姿确定重建模型与所述三维模型之间的三维映射关系，并基于所述三维映射关系将所述多个纹理图像对所述三维模型进行纹理贴图；

所述初始深度是通过上述三维模型获取的与基准纹理图像对应的深度信息，所述重建深度是通过三维重建算法确定的深度信息；所述关联三维点是基于上述目标转换关系将重建深度映射到三维模型中的三维点；

优化模块包括第二单元，用于：

利用最小化重投影误差算法求解所述重建深度对应的第一投影误差以及所述关联三维点对应的第二投影误差，将所述第一投影误差和所述第二投影误差均为最小时的重建深度确定为优化后的所述目标深度并将此时的相机位姿确定为优化后的目标相机位姿。

10.一种电子设备，其特征在于，所述电子设备包括：

处理器；

用于存储所述处理器可执行指令的存储器；

所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述权利要求1-8中任一所述的数据处理方法。

11.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-8中任一所述的数据处理方法。