CN112348939A - 用于三维重建的纹理优化方法及装置 - Google Patents

用于三维重建的纹理优化方法及装置 Download PDF

Info

Publication number
CN112348939A
CN112348939A CN202011290387.0A CN202011290387A CN112348939A CN 112348939 A CN112348939 A CN 112348939A CN 202011290387 A CN202011290387 A CN 202011290387A CN 112348939 A CN112348939 A CN 112348939A
Authority
CN
China
Prior art keywords
key frame
frame image
image
projection
dimensional model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011290387.0A
Other languages
English (en)
Inventor
杜峰
严庆安
郭复胜
刘享军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Wodong Tianjun Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Wodong Tianjun Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Wodong Tianjun Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN202011290387.0A priority Critical patent/CN112348939A/zh
Publication of CN112348939A publication Critical patent/CN112348939A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Image Generation (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请公开了一种用于三维重建的纹理优化方法及装置。方法的一具体实施方式包括：获取三维模型以及与三维模型对应的至少一帧关键帧图像；投影三维模型，得到与至少一帧关键帧图像一一对应的投影图像；将至少一帧关键帧图像中的每帧关键帧图像，与所对应的投影图像进行图像对齐，得到至少一帧对齐后关键帧图像；根据至少一帧对齐后关键帧图像，确定三维模型的纹理信息。本申请提供了一种用于三维重建的纹理优化方法，提高了三维模型的纹理信息的清晰度，提升了三维模型质量。

Description

用于三维重建的纹理优化方法及装置
技术领域
本申请实施例涉及计算机技术领域，具体涉及一种用于三维重建的纹理优化方法及装置。
背景技术
三维重建技术是计算机图像学和计算机视觉领域中的重要技术。随着电子商务的不断发展，对物品进行三维展示的需求也不断增加，而纹理映射在物品的展示中起着重要的作用。近年来，各种消费级深度摄像头不断出现，基于深度图像的三维重建技术得到了快速发展。但在很多情况下，基于三维重建技术得到的三维模型的纹理信息比较模糊。
发明内容
本申请实施例提出了一种用于三维重建的纹理优化方法及装置。
第一方面，本申请实施例提供了一种用于三维重建的纹理优化方法，包括：获取三维模型以及与三维模型对应的至少一帧关键帧图像；投影三维模型，得到与至少一帧关键帧图像一一对应的投影图像；将至少一帧关键帧图像中的每帧关键帧图像，与所对应的投影图像进行图像对齐，得到至少一帧对齐后关键帧图像；根据至少一帧对齐后关键帧图像，确定三维模型的纹理信息。
在一些实施例中，上述将至少一帧关键帧图像中的每帧关键帧图像，与所对应的投影图像进行图像对齐，得到至少一帧对齐后关键帧图像，包括：针对于至少一帧关键帧图像中的每帧关键帧图像，执行如下操作：基于光流法，确定该关键帧图像与对应于该关键帧图像的投影图像之间的偏移信息；根据偏移信息，调整该关键帧图像，得到该关键帧图像对应的对齐后关键帧图像。
在一些实施例中，上述基于光流法，确定该关键帧图像与对应于该关键帧图像的投影图像之间的偏移信息，包括：确定该关键帧图像和对应于该关键帧图像的投影图像各自的感兴趣区域；根据感兴趣区域，裁剪该关键帧图像和对应于该关键帧图像的投影图像，分别得到裁剪后关键帧图像和裁剪后投影图像；基于光流法，确定裁剪后关键帧图像与裁剪后投影图像之间的偏移信息；以及
上述根据偏移信息，调整该关键帧图像，得到该关键帧图像对应的对齐后关键帧图像，包括：根据裁剪后关键帧图像与裁剪后投影图像之间的偏移信息，调整裁剪后关键帧图像，得到对齐后裁剪图像；以对齐后裁剪图像作为对齐后关键帧图像的感兴趣区域，得到该关键帧图像对应的对齐后关键帧图像。
在一些实施例中，上述投影三维模型，得到与至少一帧关键帧图像一一对应的投影图像，包括：针对于至少一帧关键帧图像中的每帧关键帧图像，执行如下操作：确定该关键帧图像对应的相机姿态信息、相机内参信息；根据相机内参信息确定投影信息；根据相机姿态信息和投影信息，得到三维模型对应于该关键帧图像的投影图像。
在一些实施例中，上述根据至少一帧对齐后关键帧图像，确定三维模型的纹理信息，包括：根据反投影关系，将至少一帧对齐后关键帧图像映射至三维模型，确定三维模型的纹理信息。
第二方面，本申请实施例提供了一种用于三维重建的纹理优化装置，包括：获取单元，被配置成获取三维模型以及与三维模型对应的至少一帧关键帧图像；投影单元，被配置成投影三维模型，得到与至少一帧关键帧图像一一对应的投影图像；对齐单元，被配置成将至少一帧关键帧图像中的每帧关键帧图像，与所对应的投影图像进行图像对齐，得到至少一帧对齐后关键帧图像；确定单元，被配置成根据至少一帧对齐后关键帧图像，确定三维模型的纹理信息。
在一些实施例中，对齐单元，进一步被配置成：针对于至少一帧关键帧图像中的每帧关键帧图像，执行如下操作：基于光流法，确定该关键帧图像与对应于该关键帧图像的投影图像之间的偏移信息；根据偏移信息，调整该关键帧图像，得到该关键帧图像对应的对齐后关键帧图像。
在一些实施例中，对齐单元，进一步被配置成：确定该关键帧图像和对应于该关键帧图像的投影图像各自的感兴趣区域；根据感兴趣区域，裁剪该关键帧图像和对应于该关键帧图像的投影图像，分别得到裁剪后关键帧图像和裁剪后投影图像；基于光流法，确定裁剪后关键帧图像与裁剪后投影图像之间的偏移信息；根据裁剪后关键帧图像与裁剪后投影图像之间的偏移信息，调整裁剪后关键帧图像，得到对齐后裁剪图像；以对齐后裁剪图像作为对齐后关键帧图像的感兴趣区域，得到该关键帧图像对应的对齐后关键帧图像。
在一些实施例中，投影单元，被配置成：针对于至少一帧关键帧图像中的每帧关键帧图像，执行如下操作：确定该关键帧图像对应的相机姿态信息、相机内参信息；根据相机内参信息确定投影信息；根据相机姿态信息和投影信息，得到三维模型对应于该关键帧图像的投影图像。
在一些实施例中，确定单元，被配置成：根据反投影关系，将至少一帧对齐后关键帧图像映射至三维模型，确定三维模型的纹理信息。
第三方面，本申请实施例提供了一种计算机可读介质，其上存储有计算机程序，其中，程序被处理器执行时实现如第一方面任一实现方式描述的方法。
第四方面，本申请实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，其上存储有一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如第一方面任一实现方式描述的方法。
本申请实施例提供的用于三维重建的纹理优化方法及装置，通过获取三维模型以及与三维模型对应的至少一帧关键帧图像；投影三维模型，得到与至少一帧关键帧图像一一对应的投影图像；将至少一帧关键帧图像中的每帧关键帧图像，与所对应的投影图像进行图像对齐，得到至少一帧对齐后关键帧图像；根据至少一帧对齐后关键帧图像，确定三维模型的纹理信息，从而提供了一种用于三维重建的纹理优化方法，提高了三维模型的纹理信息的清晰度，提升了三维模型质量。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本申请的一个实施例可以应用于其中的示例性系统架构图；
图2是根据本申请用于三维重建的纹理优化方法的一个实施例的流程图；
图3是根据本实施例的用于三维重建的纹理优化方法的应用场景的示意图；
图4是根据本申请的用于三维重建的纹理优化方法的又一个实施例的流程图；
图5是根据本申请的用于三维重建的纹理优化装置的一个实施例的结构图；
图6是适于用来实现本申请实施例的计算机系统的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了可以应用本申请的用于三维重建的纹理优化方法及装置的示例性架构100。
如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。终端设备101、102、103之间通信连接构成拓扑网络，网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
终端设备101、102、103可以是支持网络连接从而进行数据交互和数据处理的硬件设备或软件。当终端设备101、102、103为硬件时，其可以是支持网络连接，信息交互、显示、处理等功能的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中。其可以实现成例如用来提供分布式服务的多个软件或软件模块，也可以实现成单个软件或软件模块。在此不做具体限定。
服务器105可以是提供各种服务的服务器，例如针对于从终端设备101、102、103获取的三维模型以及与三维模型对应的关键帧图像，对三维模型的纹理信息进行优化的后台处理服务器。后台处理服务器获取三维模型以及与三维模型对应的至少一帧关键帧图像；投影三维模型，得到与至少一帧关键帧图像一一对应的投影图像；将至少一帧关键帧图像中的每帧关键帧图像，与所对应的投影图像进行图像对齐，得到至少一帧对齐后关键帧图像；根据至少一帧对齐后关键帧图像，确定三维模型的纹理信息。可选的，后台处理服务器可以将优化纹理信息后的三维模型反馈给终端设备，以供终端设备显示。作为示例，服务器105可以是云端服务器。
需要说明的是，服务器可以是硬件，也可以是软件。当服务器为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务的软件或软件模块)，也可以实现成单个软件或软件模块。在此不做具体限定。
还需要说明的是，本公开的实施例所提供的用于三维重建的纹理优化方法可以由服务器执行，也可以由终端设备执行，还可以由服务器和终端设备彼此配合执行。相应地，用于三维重建的纹理优化装置包括的各个部分(例如各个单元、子单元、模块、子模块)可以全部设置于服务器中，也可以全部设置于终端设备中，还可以分别设置于服务器和终端设备中。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。当用于三维重建的纹理优化方法运行于其上的电子设备不需要与其他电子设备进行数据传输时，该系统架构可以仅包括用于三维重建的纹理优化方法运行于其上的电子设备(例如服务器或终端设备)。
继续参考图2，示出了用于三维重建的纹理优化方法的一个实施例的流程200，包括以下步骤：
步骤201，获取三维模型以及与三维模型对应的至少一帧关键帧图像。
本实施例中，用于三维重建的纹理优化方法的执行主体(例如图1中的服务器或终端设备)可以通过有线连接方式或者无线连接方式从远程，或从本地获取三维模型以及与三维模型对应的至少一帧关键帧图像。
其中，三维模型可以是基于三维重建技术所生成的任意物品的三维模型。作为示例，在电商领域，三维模型可以是在线商家所卖的物品的三维模型。与三维模型对应的至少一帧关键帧图像，例如可以是通过三维重建技术生成三维模型的过程中所依据的图像。
可以理解，本实施例所获取的三维模型是纹理信息比较模糊的三维模型。
步骤202，投影三维模型，得到与至少一帧关键帧图像一一对应的投影图像。
本实施例中，上述执行主体可以投影三维模型，得到与至少一帧关键帧图像一一对应的投影图像。
作为示例，上述执行主体可以通过Open GL(Open Graphics Library，开放式图形库)对三维模型进行三维至二维的投影，得到至少一帧关键帧图像一一对应的投影图像。
作为又一示例，上述执行主体可以通过投影模型对三维模型进行投影，得到与至少一帧关键帧图像一一对应的投影图像。其中，投影模型表征三维模型与投影图像之间的对应关系。
在本实施例的一些可选的实现方式中，上述执行主体可以通过如下方式实现上述步骤202：
针对于至少一帧关键帧图像中的每帧关键帧图像，执行如下操作：
第一，确定该关键帧图像对应的相机姿态信息、相机内参信息。
其中，该关键帧图像对应的相机姿态信息、相机内参信息，为拍摄该关键帧图像时的相机的相机姿态信息、相机内参信息。其中，相机内参信息可以通过如下矩阵表示：
Figure BDA0002783615420000071
其中，fx、fy表征相机的焦距，cx、cy表征相机的光心。
相机姿态信息可以通过如下矩阵表示：
Figure BDA0002783615420000072
其中，r0-r8用于表征相机的方向信息，t0-t2用于表征相机的位置信息。
第二，根据相机内参信息确定投影信息。
具体的，上述执行主体可以通过如下投影矩阵表征投影信息：
Figure BDA0002783615420000073
其中，width和height分别表征图像的宽和高，far、near分别表征相机可观测的最远和最近距离。
第三，根据相机姿态信息和投影信息，得到三维模型对应于该关键帧图像的投影图像。
具体的，可以通过如下公式得到投影图像：
Position＝P*V*M
其中，P表征投影矩阵，V表征相机姿态信息，M表征三维模型中的点，Position表征投影得到的投影图像中的点。
步骤203，将至少一帧关键帧图像中的每帧关键帧图像，与所对应的投影图像进行图像对齐，得到至少一帧对齐后关键帧图像。
本实施例中，上述执行主体将至少一帧关键帧图像中的每帧关键帧图像，与所对应的投影图像进行图像对齐，得到至少一帧对齐后关键帧图像。
作为示例，上述执行主体可通过基于待配准图像灰度信息的配准方法、基于待配准图像灰度信息的配准方法、基于待配准图像特征信息的配准方法中的一种或多种方法，实现每帧关键帧图像，与所对应的投影图像之间的图像对齐。
在本实施例的一些可选的实现方式中，上述执行主体可以通过如下方式执行上述步骤203：
针对于至少一帧关键帧图像中的每帧关键帧图像，执行如下操作：
第一、基于光流法，确定该关键帧图像与对应于该关键帧图像的投影图像之间的偏移信息。
光流可以表征连续两帧图像之间运动时造成的目标的移动信息，体现在该关键帧图像与对应于该关键帧图像的投影图像之间，可以表征偏移信息。
第二、根据偏移信息，调整该关键帧图像，得到该关键帧图像对应的对齐后关键帧图像。
根据偏移信息，上述执行主体可以调整关键帧图像，使关键帧图像的纹理信息与所对应的投影图像的纹理信息一致。
在本实施例的一些可选的实现方式中，为了提高信息处理速度，上述执行主体可以基于图像的ROI(region of interest，感兴趣区域)实现图像的对齐。
具体的，针对于上述第一步骤，上述执行主体确定该关键帧图像和对应于该关键帧图像的投影图像各自的感兴趣区域；根据感兴趣区域，裁剪该关键帧图像和对应于该关键帧图像的投影图像，分别得到裁剪后关键帧图像和裁剪后投影图像；基于光流法，确定裁剪后关键帧图像与裁剪后投影图像之间的偏移信息。
针对于上述第二步骤，上述执行主体根据裁剪后关键帧图像与裁剪后投影图像之间的偏移信息，调整裁剪后关键帧图像，得到对齐后裁剪图像；以对齐后裁剪图像作为对齐后关键帧图像的感兴趣区域，得到该关键帧图像对应的对齐后关键帧图像。
其中，以对齐后裁剪图像作为感兴趣区域，得到该关键帧图像对应的对齐后关键帧图像，可以类比于针对感兴趣区域进行裁剪得到裁剪后关键帧图像的反向过程。
步骤204，根据至少一帧对齐后关键帧图像，确定三维模型的纹理信息。
本实施例中，上述执行主体可以根据至少一帧对齐后关键帧图像，确定三维模型的纹理信息。
作为示例，上述执行主体可以基于三维重建技术，通过对齐后关键帧图像调整三维模型的纹理信息，得到优化纹理信息后的三维模型。
在本实施例的一些可选的实现方式中，上述执行主体可以根据反投影关系，将至少一帧对齐后关键帧图像映射至三维模型，确定三维模型的纹理信息。
具体的，对于模型上每一点d＝(x,y,z)，其对应的关键帧图像为Ii，关键帧图像为Ii对应的相机姿态信息为Vi。
假设相机空间中的一点的坐标为(xc,yc,zc)，则：
Figure BDA0002783615420000091
由此可以得到该点在关键帧中的投影坐标为：
Figure BDA0002783615420000092
根据这种投影关系，可以得到三维模型中的每个点在对应关键帧图像中的坐标，从而实现纹理映射。
继续参见图3，图3是根据本实施例的用于三维重建的纹理优化方法的应用场景的一个示意图300。在图3的应用场景中，用户301通过终端设备302将一款汽车玩具的三维模型303以及与三维模型对应的关键帧图像3041、3042、3043发送至服务器308。服务器308在获取三维模型303以及与三维模型对应的关键帧图像3041、3042、3043后，投影三维模型，得到与关键帧图像3041、3042、3043一一对应的投影图像3051、3052、3053；将关键帧图像3041、3042、3043，与所对应的投影图像3051、3052、3053进行图像对齐，得到对齐后关键帧图像3061、3062、3063；根据对齐后关键帧图像3061、3062、3063，确定三维模型的纹理信息，得到优化纹理信息后的三维模型307。
本公开的上述实施例提供的方法，通过获取三维模型以及与三维模型对应的至少一帧关键帧图像；投影三维模型，得到与至少一帧关键帧图像一一对应的投影图像；将至少一帧关键帧图像中的每帧关键帧图像，与所对应的投影图像进行图像对齐，得到至少一帧对齐后关键帧图像；根据至少一帧对齐后关键帧图像，确定三维模型的纹理信息，从而提供了一种用于三维重建的纹理优化方法，提高了三维模型的纹理信息的清晰度，提升了三维模型质量。而且，可以理解，本申请的纹理信息优化过程中，计算复杂度较低，能够被部署与算力有限的移动设备中，扩展了本申请的适用范围。
继续参考图4，示出了根据本申请的用于三维重建的纹理优化方法的另一个实施例的示意性流程400，包括以下步骤：
步骤401，获取三维模型以及与三维模型对应的至少一帧关键帧图像。
步骤402，投影三维模型，得到与至少一帧关键帧图像一一对应的投影图像。
步骤403，针对于至少一帧关键帧图像中的每帧关键帧图像，执行如下操作：
步骤4031，确定该关键帧图像和对应于该关键帧图像的投影图像各自的感兴趣区域。
步骤4032，根据感兴趣区域，裁剪该关键帧图像和对应于该关键帧图像的投影图像，分别得到裁剪后关键帧图像和裁剪后投影图像。
步骤4033，基于光流法，确定裁剪后关键帧图像与裁剪后投影图像之间的偏移信息。
步骤4034，根据裁剪后关键帧图像与裁剪后投影图像之间的偏移信息，调整裁剪后关键帧图像，得到对齐后裁剪图像。
步骤4035，以对齐后裁剪图像作为对齐后关键帧图像的感兴趣区域，得到该关键帧图像对应的对齐后关键帧图像。
步骤404，根据反投影关系，将至少一帧对齐后关键帧图像映射至三维模型，确定三维模型的纹理信息。
从本实施例中可以看出，与图2对应的实施例相比，本实施例中的用于三维重建的纹理优化方法的流程400具体说明了基于感兴趣区域进行图像对齐的过程。如此，本实施例提高了信息处理速度。
继续参考图5，作为对上述各图所示方法的实现，本公开提供了一种用于三维重建的纹理优化装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图5所示，用于三维重建的纹理优化装置包括：包括：获取单元501，被配置成获取三维模型以及与三维模型对应的至少一帧关键帧图像；投影单元502，被配置成投影三维模型，得到与至少一帧关键帧图像一一对应的投影图像；对齐单元503，被配置成将至少一帧关键帧图像中的每帧关键帧图像，与所对应的投影图像进行图像对齐，得到至少一帧对齐后关键帧图像；确定单元504，被配置成根据至少一帧对齐后关键帧图像，确定三维模型的纹理信息。
在本实施例的一些可选的实现方式中，对齐单元503，进一步被配置成：针对于至少一帧关键帧图像中的每帧关键帧图像，执行如下操作：基于光流法，确定该关键帧图像与对应于该关键帧图像的投影图像之间的偏移信息；根据偏移信息，调整该关键帧图像，得到该关键帧图像对应的对齐后关键帧图像。
在本实施例的一些可选的实现方式中，对齐单元503，进一步被配置成：确定该关键帧图像和对应于该关键帧图像的投影图像各自的感兴趣区域；根据感兴趣区域，裁剪该关键帧图像和对应于该关键帧图像的投影图像，分别得到裁剪后关键帧图像和裁剪后投影图像；基于光流法，确定裁剪后关键帧图像与裁剪后投影图像之间的偏移信息；根据裁剪后关键帧图像与裁剪后投影图像之间的偏移信息，调整裁剪后关键帧图像，得到对齐后裁剪图像；以对齐后裁剪图像作为对齐后关键帧图像的感兴趣区域，得到该关键帧图像对应的对齐后关键帧图像。
在本实施例的一些可选的实现方式中，投影单元502，被配置成：针对于至少一帧关键帧图像中的每帧关键帧图像，执行如下操作：确定该关键帧图像对应的相机姿态信息、相机内参信息；根据相机内参信息确定投影信息；根据相机姿态信息和投影信息，得到三维模型对应于该关键帧图像的投影图像。
在本实施例的一些可选的实现方式中，确定单元504，被配置成：根据反投影关系，将至少一帧对齐后关键帧图像映射至三维模型，确定三维模型的纹理信息。
本实施例中，用于三维重建的纹理优化装置中的获取单元获取三维模型以及与三维模型对应的至少一帧关键帧图像；投影单元投影三维模型，得到与至少一帧关键帧图像一一对应的投影图像；对齐单元将至少一帧关键帧图像中的每帧关键帧图像，与所对应的投影图像进行图像对齐，得到至少一帧对齐后关键帧图像；确定单元根据至少一帧对齐后关键帧图像，确定三维模型的纹理信息，从而提供了一种用于三维重建的纹理优化装置，提高了三维模型的纹理信息的清晰度，提升了三维模型质量。
下面参考图6，其示出了适于用来实现本申请实施例的设备(例如图1所示的设备101、102、103、105)的计算机系统600的结构示意图。图6示出的设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图6所示，计算机系统600包括处理器(例如CPU，中央处理器)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM603中，还存储有系统600操作所需的各种程序和数据。处理器601、ROM602以及RAM603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被处理器601执行时，执行本申请的方法中限定的上述功能。
需要说明的是，本申请的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，程序设计语言包括面向目标的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在客户计算机上执行、部分地在客户计算机上执行、作为一个独立的软件包执行、部分在客户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到客户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本申请各种实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器，包括获取单元、投影单元、对齐单元和确定单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，对齐单元还可以被描述为“将至少一帧关键帧图像中的每帧关键帧图像，与所对应的投影图像进行图像对齐，得到至少一帧对齐后关键帧图像的单元”。
作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该装置执行时，使得该计算机设备：获取三维模型以及与三维模型对应的至少一帧关键帧图像；投影三维模型，得到与至少一帧关键帧图像一一对应的投影图像；将至少一帧关键帧图像中的每帧关键帧图像，与所对应的投影图像进行图像对齐，得到至少一帧对齐后关键帧图像；根据至少一帧对齐后关键帧图像，确定三维模型的纹理信息。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (12)

1.一种用于三维重建的纹理优化方法，包括：
获取三维模型以及与所述三维模型对应的至少一帧关键帧图像；
投影所述三维模型，得到与所述至少一帧关键帧图像一一对应的投影图像；
将所述至少一帧关键帧图像中的每帧关键帧图像，与所对应的投影图像进行图像对齐，得到至少一帧对齐后关键帧图像；
根据所述至少一帧对齐后关键帧图像，确定所述三维模型的纹理信息。
2.根据权利要求1所述的方法，其中，所述将所述至少一帧关键帧图像中的每帧关键帧图像，与所对应的投影图像进行图像对齐，得到至少一帧对齐后关键帧图像，包括：
针对于所述至少一帧关键帧图像中的每帧关键帧图像，执行如下操作：
基于光流法，确定该关键帧图像与对应于该关键帧图像的投影图像之间的偏移信息；
根据所述偏移信息，调整该关键帧图像，得到该关键帧图像对应的对齐后关键帧图像。
3.根据权利要求2所述的方法，其中，所述基于光流法，确定该关键帧图像与对应于该关键帧图像的投影图像之间的偏移信息，包括：
确定该关键帧图像和对应于该关键帧图像的投影图像各自的感兴趣区域；
根据感兴趣区域，裁剪该关键帧图像和对应于该关键帧图像的投影图像，分别得到裁剪后关键帧图像和裁剪后投影图像；
基于光流法，确定所述裁剪后关键帧图像与所述裁剪后投影图像之间的偏移信息；以及
所述根据所述偏移信息，调整该关键帧图像，得到该关键帧图像对应的对齐后关键帧图像，包括：
根据所述裁剪后关键帧图像与所述裁剪后投影图像之间的偏移信息，调整所述裁剪后关键帧图像，得到对齐后裁剪图像；
以所述对齐后裁剪图像作为所述对齐后关键帧图像的感兴趣区域，得到该关键帧图像对应的所述对齐后关键帧图像。
4.根据权利要求1所述的方法，其中，所述投影所述三维模型，得到与所述至少一帧关键帧图像一一对应的投影图像，包括：
针对于所述至少一帧关键帧图像中的每帧关键帧图像，执行如下操作：
确定该关键帧图像对应的相机姿态信息、相机内参信息；
根据所述相机内参信息确定投影信息；
根据所述相机姿态信息和所述投影信息，得到所述三维模型对应于该关键帧图像的投影图像。
5.根据权利要求1所述的方法，其中，所述根据所述至少一帧对齐后关键帧图像，确定所述三维模型的纹理信息，包括：
根据反投影关系，将所述至少一帧对齐后关键帧图像映射至所述三维模型，确定所述三维模型的纹理信息。
6.一种用于三维重建的纹理优化装置，包括：
获取单元，被配置成获取三维模型以及与所述三维模型对应的至少一帧关键帧图像；
投影单元，被配置成投影所述三维模型，得到与所述至少一帧关键帧图像一一对应的投影图像；
对齐单元，被配置成将所述至少一帧关键帧图像中的每帧关键帧图像，与所对应的投影图像进行图像对齐，得到至少一帧对齐后关键帧图像；
确定单元，被配置成根据所述至少一帧对齐后关键帧图像，确定所述三维模型的纹理信息。
7.根据权利要求6所述的装置，其中，所述对齐单元，进一步被配置成：
针对于所述至少一帧关键帧图像中的每帧关键帧图像，执行如下操作：基于光流法，确定该关键帧图像与对应于该关键帧图像的投影图像之间的偏移信息；根据所述偏移信息，调整该关键帧图像，得到该关键帧图像对应的对齐后关键帧图像。
8.根据权利要求7所述的装置，其中，所述对齐单元，进一步被配置成：
确定该关键帧图像和对应于该关键帧图像的投影图像各自的感兴趣区域；根据感兴趣区域，裁剪该关键帧图像和对应于该关键帧图像的投影图像，分别得到裁剪后关键帧图像和裁剪后投影图像；基于光流法，确定所述裁剪后关键帧图像与所述裁剪后投影图像之间的偏移信息；根据所述裁剪后关键帧图像与所述裁剪后投影图像之间的偏移信息，调整所述裁剪后关键帧图像，得到对齐后裁剪图像；以所述对齐后裁剪图像作为所述对齐后关键帧图像的感兴趣区域，得到该关键帧图像对应的所述对齐后关键帧图像。
9.根据权利要求6所述的装置，其中，所述投影单元，被配置成：
针对于所述至少一帧关键帧图像中的每帧关键帧图像，执行如下操作：
确定该关键帧图像对应的相机姿态信息、相机内参信息；根据所述相机内参信息确定投影信息；根据所述相机姿态信息和所述投影信息，得到所述三维模型对应于该关键帧图像的投影图像。
10.根据权利要求6所述的装置，其中，所述确定单元，被配置成：
根据反投影关系，将所述至少一帧对齐后关键帧图像映射至所述三维模型，确定所述三维模型的纹理信息。
11.一种计算机可读介质，其上存储有计算机程序，其中，所述程序被处理器执行时实现如权利要求1-5中任一所述的方法。
12.一种电子设备，包括：
一个或多个处理器；
存储装置，其上存储有一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-5中任一所述的方法。
CN202011290387.0A 2020-11-18 2020-11-18 用于三维重建的纹理优化方法及装置 Pending CN112348939A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011290387.0A CN112348939A (zh) 2020-11-18 2020-11-18 用于三维重建的纹理优化方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011290387.0A CN112348939A (zh) 2020-11-18 2020-11-18 用于三维重建的纹理优化方法及装置

Publications (1)

Publication Number Publication Date
CN112348939A true CN112348939A (zh) 2021-02-09

Family

ID=74364132

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011290387.0A Pending CN112348939A (zh) 2020-11-18 2020-11-18 用于三维重建的纹理优化方法及装置

Country Status (1)

Country Link
CN (1) CN112348939A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116758205A (zh) * 2023-08-24 2023-09-15 先临三维科技股份有限公司 数据处理方法、装置、设备及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104952075A (zh) * 2015-06-16 2015-09-30 浙江大学 面向激光扫描三维模型的多图像自动纹理映射方法
CN107392984A (zh) * 2017-07-26 2017-11-24 厦门美图之家科技有限公司 一种基于人脸图像生成动画的方法及计算设备
CN109242873A (zh) * 2018-08-22 2019-01-18 浙江大学 一种基于消费级彩色深度相机对物体进行360度实时三维重建的方法
WO2019179200A1 (zh) * 2018-03-22 2019-09-26 深圳岚锋创视网络科技有限公司 多目相机的三维重建方法、vr相机和全景相机
CN110300292A (zh) * 2018-03-22 2019-10-01 深圳光峰科技股份有限公司 投影畸变校正方法、装置、系统及存储介质
US20200211205A1 (en) * 2018-12-26 2020-07-02 Nike, Inc. Resilient Dynamic Projection Mapping System and Methods

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104952075A (zh) * 2015-06-16 2015-09-30 浙江大学 面向激光扫描三维模型的多图像自动纹理映射方法
CN107392984A (zh) * 2017-07-26 2017-11-24 厦门美图之家科技有限公司 一种基于人脸图像生成动画的方法及计算设备
WO2019179200A1 (zh) * 2018-03-22 2019-09-26 深圳岚锋创视网络科技有限公司 多目相机的三维重建方法、vr相机和全景相机
CN110300292A (zh) * 2018-03-22 2019-10-01 深圳光峰科技股份有限公司 投影畸变校正方法、装置、系统及存储介质
CN109242873A (zh) * 2018-08-22 2019-01-18 浙江大学 一种基于消费级彩色深度相机对物体进行360度实时三维重建的方法
US20200211205A1 (en) * 2018-12-26 2020-07-02 Nike, Inc. Resilient Dynamic Projection Mapping System and Methods

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
姜翰青;王博胜;章国锋;鲍虎军;: "面向复杂三维场景的高质量纹理映射", 计算机学报, no. 12, 15 December 2015 (2015-12-15) *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116758205A (zh) * 2023-08-24 2023-09-15 先临三维科技股份有限公司 数据处理方法、装置、设备及介质
CN116758205B (zh) * 2023-08-24 2024-01-26 先临三维科技股份有限公司 数据处理方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
CN108492364B (zh) 用于生成图像生成模型的方法和装置
CN110517214B (zh) 用于生成图像的方法和装置
CN106846497B (zh) 应用于终端的呈现三维地图的方法和装置
US10970938B2 (en) Method and apparatus for generating 3D information
CN110033423B (zh) 用于处理图像的方法和装置
EP3872764A1 (en) Method and apparatus for constructing map
CN109255337B (zh) 人脸关键点检测方法和装置
CN109118456B (zh) 图像处理方法和装置
CN110263209B (zh) 用于生成信息的方法和装置
CN109754464B (zh) 用于生成信息的方法和装置
CN110059623B (zh) 用于生成信息的方法和装置
CN115147265B (zh) 虚拟形象生成方法、装置、电子设备和存储介质
CN108597034B (zh) 用于生成信息的方法和装置
CN114998406A (zh) 一种自监督多视图深度估计方法、装置
CN112348939A (zh) 用于三维重建的纹理优化方法及装置
WO2024060708A1 (zh) 目标检测方法和装置
US20210390713A1 (en) Systems and methods for performing motion transfer using a learning model
CN110189364B (zh) 用于生成信息的方法和装置，以及目标跟踪方法和装置
CN109816791B (zh) 用于生成信息的方法和装置
CN112308950A (zh) 视频生成方法及装置
US8872832B2 (en) System and method for mesh stabilization of facial motion capture data
CN108256477B (zh) 一种用于检测人脸的方法和装置
CN112880675B (zh) 用于视觉定位的位姿平滑方法、装置、终端和移动机器人
CN111311712B (zh) 视频帧处理方法和装置
CN114581523A (zh) 一种用于单目3d目标检测的标注数据确定方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination