CN116758205B - 数据处理方法、装置、设备及介质 - Google Patents

数据处理方法、装置、设备及介质 Download PDF

Info

Publication number
CN116758205B
CN116758205B CN202311070640.5A CN202311070640A CN116758205B CN 116758205 B CN116758205 B CN 116758205B CN 202311070640 A CN202311070640 A CN 202311070640A CN 116758205 B CN116758205 B CN 116758205B
Authority
CN
China
Prior art keywords
dimensional
relation
image
dimensional model
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311070640.5A
Other languages
English (en)
Other versions
CN116758205A (zh
Inventor
刘雨
江腾飞
贾勇杰
赵斌涛
张健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shining 3D Technology Co Ltd
Original Assignee
Shining 3D Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shining 3D Technology Co Ltd filed Critical Shining 3D Technology Co Ltd
Priority to CN202311070640.5A priority Critical patent/CN116758205B/zh
Publication of CN116758205A publication Critical patent/CN116758205A/zh
Application granted granted Critical
Publication of CN116758205B publication Critical patent/CN116758205B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/529—Depth or shape recovery from texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Image Generation (AREA)

Abstract

本公开实施例涉及一种数据处理方法、装置、设备及介质，其中该方法包括：获取目标物体的多个纹理图像和三维模型；基于多个纹理图像确定重建模型；确定多个纹理图像中基准纹理图像与三维模型之间的目标转换关系；基于目标转换关系确定三维模型的第一投影图像，对第一投影图像和基准纹理图像进行对齐，得到二维对应关系；将二维对应关系进行三维映射和配准计算，得到重建模型和三维模型之间的三维映射关系。本公开实施例通过投影图像和基准纹理图像的对齐极大提升了重建模型和三维模型之间的对齐准确性，进而提升了后续纹理贴图的准确性。

Description

数据处理方法、装置、设备及介质
技术领域
本公开涉及三维技术领域，尤其涉及一种数据处理方法、装置、设备及介质。
背景技术
在部分三维扫描过程中由于设备等原因得到的三维模型无纹理信息，为了解决该问题，相关技术中，可以获取三维模型的高质量多视角图像，通过运动结构（StructureFrom Motion，SFM）算法离线重建出物体的三维（3d）数据，再通过带尺度的3d点云配准算法实现重建数据与模型数据的对齐，进而得到高质量多视角模型图像与扫描的三维模型的对应关系，完成纹理贴图。但是上述方案中重建数据与模型数据的对齐过程需要手动选择对应点，准确性较低，导致对齐的准确性较低。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种数据处理方法、装置、设备及介质。
本公开实施例提供了一种数据处理方法，所述方法包括：
获取目标物体的多个纹理图像和三维模型；
基于所述多个纹理图像确定重建模型；
确定所述多个纹理图像中基准纹理图像与所述三维模型之间的目标转换关系；
基于所述目标转换关系确定所述三维模型的第一投影图像，对所述第一投影图像和所述基准纹理图像进行对齐，得到二维对应关系；
将所述二维对应关系进行三维映射和配准计算，得到所述重建模型和所述三维模型之间的三维映射关系。
本公开实施例还提供了一种数据处理装置，所述装置包括：
获取模块，用于获取目标物体的多个纹理图像和三维模型；
重建模块，用于基于所述多个纹理图像确定重建模型；
第一关系模块，用于确定所述多个纹理图像中基准纹理图像与所述三维模型之间的目标转换关系；
第二关系模块，用于基于所述目标转换关系确定所述三维模型的第一投影图像，对所述第一投影图像和所述基准纹理图像进行对齐，得到二维对应关系；
映射模块，用于将所述二维对应关系进行三维映射和配准计算，得到所述重建模型和所述三维模型之间的三维映射关系。
本公开实施例还提供了一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现如本公开实施例提供的数据处理方法。
本公开实施例还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行如本公开实施例提供的数据处理方法。
本公开实施例提供的技术方案与现有技术相比具有如下优点：本公开实施例提供的数据处理方案，获取目标物体的多个纹理图像和三维模型；基于多个纹理图像确定重建模型；确定多个纹理图像中基准纹理图像与三维模型之间的目标转换关系；基于目标转换关系确定三维模型的第一投影图像，对第一投影图像和基准纹理图像进行对齐，得到二维对应关系；将二维对应关系进行三维映射和配准计算，得到重建模型和三维模型之间的三维映射关系。采用上述技术方案，在确定重建模型之后基于一个基准纹理图像和三维模型之间得转换关系可以得到第一投影图像，将基准纹理图像和第一投影图像对齐进而映射到三维，得到重建模型和三维模型之间的三维映射关系，通过投影图像和基准纹理图像的对齐极大提升了重建模型和三维模型之间的对齐准确性，进而提升了后续纹理贴图的准确性。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本公开实施例提供的一种数据处理方法的流程示意图；
图2为本公开实施例提供的另一种数据处理方法的流程示意图；
图3为本公开实施例提供的一种数据处理装置的结构示意图；
图4为本公开实施例提供的一种电子设备的结构示意图。
具体实施方式
为了能够更清楚地理解本公开的上述目的、特征和优点，下面将对本公开的方案进行进一步描述。需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本公开，但本公开还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本公开的一部分实施例，而不是全部的实施例。
为了解决三维模型缺少纹理信息的该问题，相关技术中，通过将三维重建的重建数据与模型数据的对齐，进而得到高质量多视角模型图像与扫描的三维模型的对应关系，完成纹理贴图，对齐过程中手动选择对应点的方式进行重建数据与模型数据的初步对齐，在此基础上进一步通过带尺度的迭代算法实现对齐。但是上述方案中，重建数据的质量相对较差，模型表面存在大量的离群点数据，给手动选点的准确性带来挑战，并且稀疏点的选择过程本身比较复杂，很难准确选择需要的点，存在穿透等问题，造成对齐的准确性较低。
为了解决上述问题，本公开实施例提供了一种数据处理方法，下面结合具体的实施例对该方法进行介绍。
图1为本公开实施例提供的一种数据处理方法的流程示意图，该方法可以由数据处理装置执行，其中该装置可以采用软件和/或硬件实现，一般可集成在电子设备中。如图1所示，该方法包括：
步骤101、获取目标物体的多个纹理图像和三维模型。
其中，目标物体可以是进行三维扫描以实现三维可视化的物体，可以是任意物体，具体不限。纹理图像可以是通过高质量的图像采集设备对目标物体进行拍摄得到，图像采集设备可以为彩色相机、单反相机、手机、平板等，具体不限。三维模型可以是通过结构光扫描设备对目标物体扫描得到的模型，结构光扫描设备可以为三维扫描仪，例如激光扫描仪、白光扫描仪或跟踪三维扫描仪等，具体不限。
数据处理装置可以获取目标物体的三维模型，以及目标物体的多个纹理图像，该三维模型可以是缺少纹理或纹理信息较差等需要进行纹理贴图的模型。
步骤102、基于多个纹理图像确定重建模型。
数据处理装置可以采用三维重建算法对上述多个纹理图像进行三维重建，得到对应的重建模型，同时还可以确定每个纹理图像与该重建模型之间的转换关系。
上述三维重建算法可以包括多种，本公开实施例以该三维重建算法为SFM算法为例，SFM算法可以是通过多张二维图片来重建三维场景的算法，具体过程可以包括：对多个纹理图像进行特征点提取；两两图像匹配和几何校验；多张纹理图像特征点跟踪；至少两个纹理图像进行三角化处理；进行全局优化。
步骤103、确定多个纹理图像中基准纹理图像与三维模型之间的目标转换关系。
其中，基准纹理图像可以是一个在后续处理中用作标准的图像，该基准纹理图像的确定可以通过多种方式，例如可以将多个纹理图像中的任意一个确定为基准纹理图像。目标转换关系可以指基准纹理图像的图像坐标系与三维模型的坐标系之间的转换关系，也可以理解为基准纹理图像中的像素点与三维模型的三维点之间的对应关系，该第一转换关系可以包括基准纹理图像转换至三维模型的旋转矩阵和平移矩阵，旋转矩阵体现了旋转关系，平移矩阵体现了平移关系。
示例性的，图2为本公开实施例提供的另一种数据处理方法的流程示意图，如图2所示，在一种可行的实施方式中，步骤103可以包括如下步骤：
步骤201、确定基准纹理图像。
数据处理装置可以响应于对多个纹理图像的选择操作，确定基准纹理图像，也即接收用户对多个纹理图像选择操作，将选择操作对应的纹理图像确定为基准纹理图像；或者，将多个纹理图像中具有特征匹配关系最多的纹理图像确定为基准纹理图像，其中特征匹配关系可以理解为针对两个纹理图像确定相同特征点的数量，当相同特征点的数量超过阈值或者采用欧式距离匹配成功时可以视为这两个纹理图像具有特征匹配关系，针对每个纹理图像确定具有的特征匹配关系的数量，也即与该纹理图像具有特征匹配关系的其他纹理图像的数量，将数量最多的纹理图像确定为基准纹理图像。
可选的，数据处理装置可以基于多个纹理图像的特征匹配关系构建特征图谱，该特征图谱包括节点和边，每个节点表示一个纹理图像，每个边表示连接的两个纹理图像具有特征匹配关系，此时可以根据该特征图谱将邻近边数量最多的节点所对应的纹理图像确定为基准纹理图像。
步骤202、响应于对三维模型的操作指令，确定基准纹理图像与三维模型之间的第一转换关系。
其中，操作指令可以包括对三维模型的旋转、放大、缩小和平移等指令。第一转换关系可以指基准纹理图像的图像坐标系与三维模型的坐标系之间的转换关系。
数据处理装置可以根据用户在三维工具中对三维模型的操作指令，使得三维模型与基准纹理图像的主体轮廓对齐，进而可以通过操作的参数确定基准纹理图像和三维模型之间的第一转换关系，操作的参数可以包括移动尺寸、缩放倍数和旋转角度等。
步骤202之后可以执行步骤203或者，步骤204和步骤205。
步骤203、将第一转换关系确定为目标转换关系。
步骤204、基于第一转换关系确定三维模型的第二投影图像，对第二投影图像和基准纹理图像进行对齐，得到第一对应关系。
第二投影图像可以是以上述第一转换关系为基础，将三维模型根据已有的相机参数投影到二维的相平面上的图像，此处相机参数可以是上述基准纹理图像对应的相机参数，也即拍摄该基准纹理图像的相机的内参信息。第一对应关系可以是基准纹理图像与第二投影图像这两个二维图像的像素点之间的对应关系。
数据处理装置可以通过上述第一转换关系对三维模型进行投影，例如可以通过开放式图形库（Open Graphics Library，Open GL）对三维模型进行三维至二维的投影，得到第二投影图像；之后可以将基准纹理图像与对应的第二投影图像进行图像对齐，得到第一对应关系，此处图像对齐的方式不限，例如可以通过提取两个图像的轮廓，进行轮廓对齐来实现图像对齐；或者可以基于两个图像的感兴趣区域（Region Of Interest，ROI）实现图像对齐，仅为示例。
步骤205、基于基准纹理图像、第一对应关系，利用PNP算法确定基准纹理图像与三维模型之间的目标转换关系。
其中，PNP（Perspective-N-Point）算法可以是求解二维到三维点对的物体运动定位问题，解决的是根据图像中特征点的二维像素坐标和其对应的三维空间坐标来估计相机在参考坐标系中的位姿，解算得到图像坐标系相对三维空间坐标系的转换关系。
数据处理装置在确定上述第一转换关系（基准和三维）和第一对应关系（基准和投影）之后，可以从基准纹理图像中提取多个特征点的二维坐标、基于第一对应关系确定多个特征点在投影图像中的二维坐标，进而根据投影图像投影时的关系确定多个特征点对应的三维点的坐标，将多个特征点的二维坐标和对应三维点的坐标、相机的内参输入PNP算法中进行计算，可以确定基准纹理图像与三维模型之间的目标转换关系。
通过在第一转换关系的基础上，增加三维模型投影后的图像与基准纹理图像的二维对齐，进而基于该二维对齐的关系可以确定更加精确的基准纹理图像与三维模型之间的转换关系，优化了对齐状态，提升关系确定的准确性。
步骤104、基于目标转换关系确定三维模型的第一投影图像，对第一投影图像和基准纹理图像进行对齐，得到二维对应关系。
第一投影图像可以是以目标转换关系为基础，将三维模型根据已有的相机参数投影到二维的相平面上的图像，此处相机参数可以是上述基准纹理图像对应的相机参数，也即拍摄该基准纹理图像的相机的内参信息。二维对应关系可以是第一投影图像和基准纹理图像之间的像素点之间的对应关系。
数据处理装置可以通过目标转换关系对三维模型进行投影，例如可以通过开放式图形库（Open Graphics Library，Open GL）对三维模型进行三维至二维的投影，得到第一投影图像；之后可以将基准纹理图像与该第一投影图像进行图像对齐，得到二维对应关系。
在一些实施例中，对第一投影图像和基准纹理图像进行对齐，得到二维对应关系，可以包括：对第一投影图像和基准纹理图像分别进行轮廓提取，得到投影轮廓和基准轮廓；将投影轮廓和基准轮廓对齐，得到二维对应关系。
数据处理装置可以对第一投影图像和基准纹理图像分别进行图像分割，得到投影主体区域和基准主体区域，具体分割时可以通过掩膜（mask）实现，将主体区域记为1，非主体区域记为0，得到第一投影图像对应的投影主体区域的数据以及基准主体区域的数据；之后可以对投影主体区域进行轮廓提取得到投影轮廓以及对基准主体区域进行轮廓提取得到基准轮廓；将投影轮廓和基准轮廓进行二维图像层面的对齐，得到二维对应关系，例如基于用户操作指令调整基准轮廓使基准轮廓与投影轮廓对齐，基于调整的偏移量可以确定二维对应关系。
投影区域记为1，非投影区域记为0，得到投影mask数据。
步骤105、将二维对应关系进行三维映射和配准计算，得到重建模型和三维模型之间的三维映射关系。
数据处理模型在对第一投影图像和基准纹理图像进行对齐，得到二维对应关系之后，可以基于基准纹理图像与重建模型之间的第二转换关系、目标转换关系，将二维对应关系扩充到重建模型和三维模型上，得到重建模型和三维模型之间的三维对应关系，也即根据第二转换关系可以将基准纹理图像映射到重建模型，根据目标转换关系可以将第一投影图像映射到三维模型，进而可以得到重建模型和三维模型之间的三维对应关系；之后可以利用配准算法对三维对应关系进行计算，得到三维映射关系，该三维映射关系可以是重建模型和三维模型这两个三维模型之间三维点的对应关系。
其中配准算法可以是输入两组点云，输出一个变换关系，使得两组点云的重合程度尽可能高的算法，此处变换关系可以包括旋转关系和平移关系，本公开实施例的配准算法可以采用最近点迭代（Iterative Closest Point，ICP）算法，ICP算法通过找到两组点云集合中距离最近的点对，根据估计的变换关系来计算距离最近点对经过变换之后的误差，经过不断的迭代直至误差小于某一阈值或者达到迭代次数来确定最终的变换关系。
数据处理装置可以上述三维对应关系为基础，利用配准算法进行计算，例如带尺度的ICP算法进行计算，计算过程可以采用解析法，得到满足三维对应点信息的位姿和尺度信息，也即得到三维映射关系，此处的尺度信息可以是重建模型和三维模型之间的缩放关系，位姿可以是重建模型对应坐标系和三维模型对应坐标系之间的变换关系，该变换关系包括旋转关系和平移关系。
在一些实施例中，在上述步骤105之后，数据处理方法还可以包括：基于重建模型和三维模型之间的三维映射关系，确定多个纹理图像与三维模型的纹理映射关系；基于纹理映射关系将多个纹理图像对三维模型进行纹理贴图。
其中，纹理映射关系可以包括上述每个纹理图像与三维模型之间的映射关系，也即每个纹理图像中的像素点与三维模型的三维点之间的对应关系，该纹理映射关系可以是采用多个纹理图像对三维模型进行纹理贴图的依据。
数据处理装置在确定重建模型和三维模型之间的三维映射关系之后即可实现这两个模型的对齐，之后可以基于该三维映射关系以及每个纹理图像与重建模型之间的转换关系，可以确定每个纹理图像与三维模型的对应关系，也即纹理映射关系；之后可以基于纹理映射关系，利用纹理贴图算法采用多个纹理图像对三维模型进行贴图处理，具体贴图过程中针对三维模型的每个网格面片可以基于纹理映射关系得到最佳的纹理图像，进行纹理映射。
本方案中通过确定基准纹理图像和三维模型的转换关系，之后将将基准纹理图像与三维模型基于该转换关系确定的投影图像进行二维对齐，进而映射到重建模型和三维模型的三维对齐，相较于相关技术更容易对齐，并且提高了整体对齐精度。
本公开实施例提供的数据处理方案，获取目标物体的多个纹理图像和三维模型；基于多个纹理图像确定重建模型；确定多个纹理图像中基准纹理图像与三维模型之间的目标转换关系；基于目标转换关系确定三维模型的投影图像，对投影图像和基准纹理图像进行对齐，得到二维对应关系；将二维对应关系进行三维映射和配准计算，得到重建模型和三维模型之间的三维映射关系。采用上述技术方案，在确定重建模型之后基于一个基准纹理图像和三维模型之间得转换关系可以得到投影图像，通过将基准纹理图像和投影图像对齐进而映射到三维，得到重建模型和三维模型之间的三维映射关系，通过投影图像和基准纹理图像的对齐极大提升了重建模型和三维模型之间的对齐准确性，进而提升了后续纹理贴图的准确性。
图3为本公开实施例提供的一种数据处理装置的结构示意图，该装置可由软件和/或硬件实现，一般可集成在电子设备中。如图3所示，该装置包括：
获取模块301，用于获取目标物体的多个纹理图像和三维模型；
重建模块302，用于基于所述多个纹理图像确定重建模型；
第一关系模块303，用于确定所述多个纹理图像中基准纹理图像与所述三维模型之间的目标转换关系；
第二关系模块304，用于基于所述目标转换关系确定所述三维模型的第一投影图像，对所述第一投影图像和所述基准纹理图像进行对齐，得到二维对应关系；
映射模块305，用于将所述二维对应关系进行三维映射和配准计算，得到所述重建模型和所述三维模型之间的三维映射关系。
可选的，第一关系模块303包括：
确定单元，用于确定所述基准纹理图像；
操作单元，用于响应于对所述三维模型的操作指令，确定所述基准纹理图像与所述三维模型之间的第一转换关系，将所述第一转换关系确定为所述目标转换关系。
可选的，第一关系模块303用于：
基于所述第一转换关系确定所述三维模型的第二投影图像，对所述第二投影图像和所述基准纹理图像进行对齐，得到第一对应关系；
基于所述基准纹理图像、所述第一对应关系利用PNP算法，确定所述基准纹理图像与所述三维模型之间的目标转换关系。
可选的，确定单元用于：
响应于对所述多个纹理图像的选择操作，确定所述基准纹理图像；
或者，将所述多个纹理图像中具有特征匹配关系最多的纹理图像确定为所述基准纹理图像。
可选的，第二关系模块304用于：
对所述第一投影图像和所述基准纹理图像分别进行轮廓提取，得到投影轮廓和基准轮廓；
将所述投影轮廓和所述基准轮廓对齐，得到所述二维对应关系。
可选的，映射模块305用于：
基于所述基准纹理图像与所述重建模型之间的第二转换关系、所述目标转换关系，将所述二维对应关系扩充到所述重建模型和所述三维模型上，得到所述重建模型和所述三维模型之间的三维对应关系；
利用配准算法对所述三维对应关系进行计算，得到所述三维映射关系。
可选的，所述装置还包括贴图模块，用于：
基于所述重建模型和所述三维模型之间的三维映射关系，确定所述多个纹理图像与所述三维模型的纹理映射关系；
基于所述纹理映射关系将所述多个纹理图像对所述三维模型进行纹理贴图。
本公开实施例所提供的数据处理装置可执行本公开任意实施例所提供的数据处理方法，具备执行方法相应的功能模块和有益效果。
图4为本公开实施例提供的一种电子设备的结构示意图。如图4所示，电子设备400包括一个或多个处理器401和存储器402。
处理器401可以是中央处理单元（CPU）或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备400中的其他组件以执行期望的功能。
存储器402可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器（RAM）和/或高速缓冲存储器（cache）等。所述非易失性存储器例如可以包括只读存储器（ROM）、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器401可以运行所述程序指令，以实现上文所述的本公开的实施例的数据处理方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。
在一个示例中，电子设备400还可以包括：输入装置403和输出装置404，这些组件通过总线系统和/或其他形式的连接机构（未示出）互连。
此外，该输入装置403还可以包括例如键盘、鼠标等等。
该输出装置404可以向外部输出各种信息，包括确定出的距离信息、方向信息等。该输出装置404可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然，为了简化，图4中仅示出了该电子设备400中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备400还可以包括任何其他适当的组件。
除了上述方法和设备以外，本公开的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本公开实施例所提供的数据处理方法。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本公开实施例所提供的数据处理方法。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本公开的具体实施方式，使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下，在其它实施例中实现。因此，本公开将不会被限制于本文所述的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (9)

1.一种数据处理方法，其特征在于，包括：
获取目标物体的多个纹理图像和三维模型；
基于所述多个纹理图像确定重建模型；
确定所述多个纹理图像中基准纹理图像与所述三维模型之间的目标转换关系；
基于所述目标转换关系确定所述三维模型的第一投影图像，对所述第一投影图像和所述基准纹理图像进行对齐，得到二维对应关系；
将所述二维对应关系进行三维映射和配准计算，得到所述重建模型和所述三维模型之间的三维映射关系；
将所述二维对应关系进行三维映射和配准计算，得到所述重建模型和所述三维模型的三维映射关系，包括：
基于所述基准纹理图像与所述重建模型之间的第二转换关系、所述目标转换关系，将所述二维对应关系扩充到所述重建模型和所述三维模型上，得到所述重建模型和所述三维模型之间的三维对应关系；
利用配准算法对所述三维对应关系进行计算，得到所述三维映射关系。
2.根据权利要求1所述的方法，其特征在于，确定所述多个纹理图像中基准纹理图像与所述三维模型之间的目标转换关系，包括：
确定所述基准纹理图像；
响应于对所述三维模型的操作指令，确定所述基准纹理图像与所述三维模型之间的第一转换关系，将所述第一转换关系确定为所述目标转换关系。
3.根据权利要求1所述的方法，其特征在于，确定所述多个纹理图像中基准纹理图像与所述三维模型之间的目标转换关系，包括：
确定所述基准纹理图像；
响应于对所述三维模型的操作指令，确定所述基准纹理图像与所述三维模型之间的第一转换关系；
基于所述第一转换关系确定所述三维模型的第二投影图像，对所述第二投影图像和所述基准纹理图像进行对齐，得到第一对应关系；
基于所述基准纹理图像、所述第一对应关系，利用PNP算法确定所述基准纹理图像与所述三维模型之间的目标转换关系。
4.根据权利要求2所述的方法，其特征在于，确定所述基准纹理图像，包括：
响应于对所述多个纹理图像的选择操作，确定所述基准纹理图像；
或者，将所述多个纹理图像中具有特征匹配关系最多的纹理图像确定为所述基准纹理图像。
5.根据权利要求1所述的方法，其特征在于，对所述第一投影图像和所述基准纹理图像进行对齐，得到二维对应关系，包括：
对所述第一投影图像和所述基准纹理图像分别进行轮廓提取，得到投影轮廓和基准轮廓；
将所述投影轮廓和所述基准轮廓对齐，得到所述二维对应关系。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
基于所述重建模型和所述三维模型之间的三维映射关系，确定所述多个纹理图像与所述三维模型的纹理映射关系；
基于所述纹理映射关系将所述多个纹理图像对所述三维模型进行纹理贴图。
7.一种数据处理装置，其特征在于，包括：
获取模块，用于获取目标物体的多个纹理图像和三维模型；
重建模块，用于基于所述多个纹理图像确定重建模型；
第一关系模块，用于确定所述多个纹理图像中基准纹理图像与所述三维模型之间的目标转换关系；
第二关系模块，用于基于所述目标转换关系确定所述三维模型的第一投影图像，对所述第一投影图像和所述基准纹理图像进行对齐，得到二维对应关系；
映射模块，用于将所述二维对应关系进行三维映射和配准计算，得到所述重建模型和所述三维模型之间的三维映射关系；
映射模块用于：基于所述基准纹理图像与所述重建模型之间的第二转换关系、所述目标转换关系，将所述二维对应关系扩充到所述重建模型和所述三维模型上，得到所述重建模型和所述三维模型之间的三维对应关系；利用配准算法对所述三维对应关系进行计算，得到所述三维映射关系。
8.一种电子设备，其特征在于，所述电子设备包括：
处理器；
用于存储所述处理器可执行指令的存储器；
所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述权利要求1-6中任一所述的数据处理方法。
9.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-6中任一所述的数据处理方法。
CN202311070640.5A 2023-08-24 2023-08-24 数据处理方法、装置、设备及介质 Active CN116758205B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311070640.5A CN116758205B (zh) 2023-08-24 2023-08-24 数据处理方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311070640.5A CN116758205B (zh) 2023-08-24 2023-08-24 数据处理方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN116758205A CN116758205A (zh) 2023-09-15
CN116758205B true CN116758205B (zh) 2024-01-26

Family

ID=87961369

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311070640.5A Active CN116758205B (zh) 2023-08-24 2023-08-24 数据处理方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN116758205B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109389665A (zh) * 2018-08-24 2019-02-26 先临三维科技股份有限公司 三维模型的纹理获取方法、装置、设备和存储介质
CN110599578A (zh) * 2019-07-29 2019-12-20 深圳市易尚展示股份有限公司 一种真实感三维彩色纹理重建方法
CN112348939A (zh) * 2020-11-18 2021-02-09 北京沃东天骏信息技术有限公司 用于三维重建的纹理优化方法及装置
CN114782647A (zh) * 2022-02-28 2022-07-22 商汤国际私人有限公司 一种模型重建方法、装置、设备及存储介质
CN115187715A (zh) * 2022-06-30 2022-10-14 先临三维科技股份有限公司 贴图方法、装置、设备及存储介质
CN115546379A (zh) * 2022-11-29 2022-12-30 思看科技(杭州)股份有限公司 一种数据处理方法、装置和计算机设备
CN115601490A (zh) * 2022-11-29 2023-01-13 思看科技（杭州）股份有限公司（Cn） 基于纹理映射的纹理图像前置置换方法、装置和存储介质
WO2023029893A1 (zh) * 2021-08-31 2023-03-09 北京字跳网络技术有限公司 纹理映射方法、装置、设备及存储介质
CN116363290A (zh) * 2021-12-28 2023-06-30 复旦大学 一种用于大规模场景三维重建的纹理贴图生成方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109658515B (zh) * 2017-10-11 2022-11-04 阿里巴巴集团控股有限公司 点云网格化方法、装置、设备及计算机存储介质
CN109949899B (zh) * 2019-02-28 2021-05-28 未艾医疗技术(深圳)有限公司 图像三维测量方法、电子设备、存储介质及程序产品
CN113643412B (zh) * 2021-07-14 2022-07-22 北京百度网讯科技有限公司 虚拟形象的生成方法、装置、电子设备及存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109389665A (zh) * 2018-08-24 2019-02-26 先临三维科技股份有限公司 三维模型的纹理获取方法、装置、设备和存储介质
CN110599578A (zh) * 2019-07-29 2019-12-20 深圳市易尚展示股份有限公司 一种真实感三维彩色纹理重建方法
CN112348939A (zh) * 2020-11-18 2021-02-09 北京沃东天骏信息技术有限公司 用于三维重建的纹理优化方法及装置
WO2023029893A1 (zh) * 2021-08-31 2023-03-09 北京字跳网络技术有限公司 纹理映射方法、装置、设备及存储介质
CN116363290A (zh) * 2021-12-28 2023-06-30 复旦大学 一种用于大规模场景三维重建的纹理贴图生成方法
CN114782647A (zh) * 2022-02-28 2022-07-22 商汤国际私人有限公司 一种模型重建方法、装置、设备及存储介质
CN115187715A (zh) * 2022-06-30 2022-10-14 先临三维科技股份有限公司 贴图方法、装置、设备及存储介质
CN115546379A (zh) * 2022-11-29 2022-12-30 思看科技(杭州)股份有限公司 一种数据处理方法、装置和计算机设备
CN115601490A (zh) * 2022-11-29 2023-01-13 思看科技（杭州）股份有限公司（Cn） 基于纹理映射的纹理图像前置置换方法、装置和存储介质

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Patch-based facial texture super-resolution by fitting 3D face models;Chengchao Qu等;Machine Vision and Applications;全文 *
一种面向造像类文物的真三维模型精细重建方法;夏国芳等;敦煌研究;全文 *
三维实体表面纹理的模型重建;戴立玲;丁立军;卢章平;;江苏大学学报(自然科学版)(S1);全文 *
三维建模系统的综述;徐则中;庄燕滨;;测绘通报(02);全文 *
多视高分辨率纹理图像与双目三维点云的映射方法;杜瑞建;葛宝臻;陈雷;;中国光学(05);全文 *

Also Published As

Publication number Publication date
CN116758205A (zh) 2023-09-15

Similar Documents

Publication Publication Date Title
JP6007602B2 (ja) 画像処理方法、画像処理装置、スキャナ及びコンピュータプログラム
US10872227B2 (en) Automatic object recognition method and system thereof, shopping device and storage medium
JP2023540917A (ja) ３次元再構成及び関連インタラクション、測定方法及び関連装置、機器
CN109598744B (zh) 一种视频跟踪的方法、装置、设备和存储介质
JP7312685B2 (ja) 複数の３ｄポイントクラウドを使用して物理的オブジェクトの関節運動可能な部分を識別するための装置及び方法
CN113689578B (zh) 一种人体数据集生成方法及装置
CN109919971B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
KR20200044676A (ko) 활성 깊이 센싱을 위한 방법 및 장치 그리고 이의 교정방법
US10169891B2 (en) Producing three-dimensional representation based on images of a person
US10839599B2 (en) Method and device for three-dimensional modeling
US9147279B1 (en) Systems and methods for merging textures
CN109376698B (zh) 人脸建模方法和装置、电子设备、存储介质、产品
CN113643414B (zh) 一种三维图像生成方法、装置、电子设备及存储介质
JP7219561B2 (ja) 車載環境認識装置
CN111062966A (zh) 基于l-m算法和多项式插值对相机跟踪进行优化的方法
JP2019012360A (ja) 情報処理装置、プログラム及び情報処理方法
CN114519681A (zh) 自动标定方法及装置、计算机可读存储介质、终端
CN116758205B (zh) 数据处理方法、装置、设备及介质
KR100362171B1 (ko) 영상 특징점 매칭을 이용한 변환 행렬 추정 장치, 방법 및 그 기록매체와 그를 이용한 모자이크 영상 생성 장치, 방법 및 그 기록매체
CN110378948B (zh) 3d模型重建方法、装置及电子设备
CN115937002B (zh) 用于估算视频旋转的方法、装置、电子设备和存储介质
JP7118729B2 (ja) 情報処理装置、情報処理方法及びプログラム
Kumara et al. Real-time 3D human objects rendering based on multiple camera details
CN116778066B (zh) 数据处理方法、装置、设备及介质
CN112669388B (zh) 激光雷达与摄像装置的标定方法及装置、可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant