CN113596432B - 可变视角的3d视频制作方法、装置、设备及存储介质 - Google Patents

可变视角的3d视频制作方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113596432B
CN113596432B CN202110873276.0A CN202110873276A CN113596432B CN 113596432 B CN113596432 B CN 113596432B CN 202110873276 A CN202110873276 A CN 202110873276A CN 113596432 B CN113596432 B CN 113596432B
Authority
CN
China
Prior art keywords
grid
sequence
registration
point cloud
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110873276.0A
Other languages
English (en)
Other versions
CN113596432A (zh
Inventor
孙晓斐
唐浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Tishi Technology Co ltd
Original Assignee
Chengdu Tishi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Tishi Technology Co ltd filed Critical Chengdu Tishi Technology Co ltd
Priority to CN202110873276.0A priority Critical patent/CN113596432B/zh
Publication of CN113596432A publication Critical patent/CN113596432A/zh
Application granted granted Critical
Publication of CN113596432B publication Critical patent/CN113596432B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/324—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Abstract

本发明公开了一种可变视角的3D视频制作方法，包括：利用各结构光传感器分别采集目标物体的RGB图像和深度图像；利用全局优化得到的系统标定参数基于各RGB图像和各深度图像进行点云生成，得到各帧点云；对各帧点云进行网格重建，得到初始网格序列；结合几何约束和投影图像约束对初始网格序列中各幅网格进行网格对齐注册，得到各注册网格组；对各注册网格组进行纹理映射，得到纹理贴图，以利用纹理贴图对目标物体进行可变视角的3D视频制作。应用本发明所提供的可变视角的3D视频制作方法，较大地降低了对存储空间的需求，降低了系统算力要求，使得可视化效果更加精细。本发明还公开了一种装置、设备及存储介质，具有相应技术效果。

Description

可变视角的3D视频制作方法、装置、设备及存储介质
技术领域
本发明涉及图像处理技术领域，特别是涉及一种可变视角的3D视频制作方法、装置、设备及计算机可读存储介质。
背景技术
传统视频每一帧是一幅图像，仅能从拍摄角度对目标进行观察。3D(Three-Dimensional)视频可以从任意角度进行观察，为观众提供沉浸式体验。
现有的可变视角的3D视频制作方法为对目标物体生成点云，并对点云进行网格重建之后，基于重建得到的网格生成纹理图像，从而完成可变视角的3D视频制作。视频渲染过程需要大量的存储空间，对系统算力要求高，可视化效果不佳。
综上所述，如何有效地解决现有的可变视角的3D视频制作方法耗费大量存储空间，对系统算力要求高，可视化效果不佳等问题，是目前本领域技术人员急需解决的问题。
发明内容
本发明的目的是提供一种可变视角的3D视频制作方法，该方法较大地降低了对存储空间的需求，降低了系统算力要求，使得可视化效果更加精细；本发明的另一目的是提供一种可变视角的3D视频制作装置、设备及计算机可读存储介质。
为解决上述技术问题，本发明提供如下技术方案：
一种可变视角的3D视频制作方法，包括：
利用各结构光传感器分别采集目标物体的RGB图像和深度图像；
利用全局优化得到的系统标定参数基于各所述RGB图像和各所述深度图像进行点云生成，得到各帧点云；
对各帧所述点云进行网格重建，得到初始网格序列；
结合几何约束和投影图像约束对所述初始网格序列中各幅网格进行网格对齐注册，得到各注册网格组；
对各所述注册网格组进行纹理映射，得到纹理贴图，以利用所述纹理贴图对所述目标物体进行可变视角的3D视频制作。
在本发明的一种具体实施方式中，在得到各帧点云之后，对各帧所述点云进行网格重建之前，还包括：
利用ICP算法对相邻的各帧点云进行拼接，得到拼接点云集合；
对各帧所述点云进行网格重建，得到初始网格序列，包括：
按照所述拼接点云集合中各帧所述点云的拼接顺序对各帧所述点云进行网格重建，得到初始网格序列；其中，所述初始网格序列中各幅网格的排列顺序与所述拼接点云集合中各帧所述点云的拼接顺序对应一致。
在本发明的一种具体实施方式中，结合几何约束和投影图像约束对所述初始网格序列中各幅网格进行网格对齐注册，得到各注册网格组，包括：
按照所述初始网格序列中各幅网格的排列顺序，对当前相邻两幅网格进行网格对齐注册；
结合所述几何约束和所述投影图像约束计算注册完成后当前相邻两幅网格的注册误差；
判断所述注册误差是否小于所述预设误差值；
若是，则将当前相邻两幅网格划分至同一注册网格组；
若否，则将当前相邻两幅网格划分至不同注册网格组；
将当前相邻两幅网格中排序靠后的网格确定为初始帧；
判断是否对初始网格序列中各幅网格均注册完毕；
若是，则统计得到各所述注册网格组；
若否，则执行所述按照所述初始网格序列中各幅网格的排列顺序，对当前相邻两幅网格进行网格对齐注册的步骤。
在本发明的一种具体实施方式中，结合所述几何约束和所述投影图像约束计算注册完成后当前相邻两幅网格的注册误差，包括：
利用所述几何约束计算注册完成后当前相邻两幅网格的最近邻点对距离、形变相似度以及关键对应点间距；
利用所述投影图像约束计算注册完成后当前相邻两幅网格的像素差；
对所述最近邻点对距离、所述形变相似度、所述关键对应点间距以及所述像素差进行加权求和，得到所述注册误差。
在本发明的一种具体实施方式中，在得到拼接点云集合之后，按照所述拼接点云集合中各帧所述点云的拼接顺序对各帧所述点云进行网格重建之前，还包括：
对所述拼接点云集合进行均匀采样，以去除冗余顶点。
一种可变视角的3D视频制作装置，包括：
图像采集模块，用于利用各结构光传感器分别采集目标物体的RGB图像和深度图像；
点云生成模块，用于利用全局优化得到的系统标定参数基于各所述RGB图像和各所述深度图像进行点云生成，得到各帧点云；
网格重建模块，用于对各帧所述点云进行网格重建，得到初始网格序列；
网格注册模块，用于结合几何约束和投影图像约束所述初始网格序列中各幅网格进行网格对齐注册，得到各注册网格组；
视频制作模块，用于对各所述注册网格组进行纹理映射，得到纹理贴图，以利用所述纹理贴图对所述目标物体进行可变视角的3D视频制作。
在本发明的一种具体实施方式中，还包括：
点云拼接模块，用于在得到各帧点云之后，对各帧所述点云进行网格重建之前，利用ICP算法对相邻的各帧点云进行拼接，得到拼接点云集合；
所述网格重建模块具体为按照所述拼接点云集合中各帧所述点云的拼接顺序对各帧所述点云进行网格重建，得到初始网格序列的模块；其中，所述初始网格序列中各幅网格的排列顺序与所述拼接点云集合中各帧所述点云的拼接顺序对应一致。
在本发明的一种具体实施方式中，所述网格注册模块包括：
网格注册子模块，用于按照所述初始网格序列中各幅网格的排列顺序，对当前相邻两幅网格进行网格对齐注册；
误差计算子模块，用于结合所述几何约束和所述投影图像约束计算注册完成后当前相邻两幅网格的注册误差；
第一判断子模块，用于判断所述注册误差是否小于所述预设误差值；
第一网格组划分子模块，用于当确定所述注册误差小于所述预设误差值时，将当前相邻两幅网格划分至同一注册网格组；
第二网格组划分子模块，用于当确定所述注册误差大于等于所述预设误差值时，将当前相邻两幅网格划分至不同注册网格组；
初始帧确定子模块，用于将当前相邻两幅网格中排序靠后的网格确定为初始帧；
第二判断子模块，用于判断是否对初始网格序列中各幅网格均注册完毕；
网格组统计子模块，用于当确定对初始网格序列中各幅网格均注册完毕时，统计得到各所述注册网格组；
重复执行子模块，用于当确定对初始网格序列中各幅网格未注册完毕时，执行所述按照所述初始网格序列中各幅网格的排列顺序，对当前相邻两幅网格进行网格对齐注册的步骤。
一种可变视角的3D视频制作设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如前所述可变视角的3D视频制作方法的步骤。
一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如前所述可变视角的3D视频制作方法的步骤。
本发明所提供的可变视角的3D视频制作方法，利用各结构光传感器分别采集目标物体的RGB图像和深度图像；利用全局优化得到的系统标定参数基于各RGB图像和各深度图像进行点云生成，得到各帧点云；对各帧点云进行网格重建，得到初始网格序列；结合几何约束和投影图像约束对初始网格序列中各幅网格进行网格对齐注册，得到各注册网格组；对各注册网格组进行纹理映射，得到纹理贴图，以利用纹理贴图对目标物体进行可变视角的3D视频制作。
由上述技术方案可知，通过在进行系统参数标定时，对系统参数进行全局优化，利用全局优化后的系统参数基于目标物体的RGB图像和深度图像生成各帧点云，并对各帧点云进行网格重建，得到初始网格序列之后，结合几何约束和投影图像约束对各幅网格进行网格对齐注册，保证了每个注册网格组中各幅网格的拓扑一致性，较大地降低了对存储空间的需求，降低了系统算力要求，使得可视化效果更加精细。
相应的，本发明还提供了与上述可变视角的3D视频制作方法相对应的可变视角的3D视频制作装置、设备和计算机可读存储介质，具有上述技术效果，在此不再赘述。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中可变视角的3D视频制作方法的一种实施流程图；
图2为本发明实施例中可变视角的3D视频制作方法的另一种实施流程图；
图3为本发明实施例中一种可变视角的3D视频制作装置的结构框图；
图4为本发明实施例中一种可变视角的3D视频制作设备的结构框图；
图5为本实施例提供的一种可变视角的3D视频制作设备的具体结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见图1，图1为本发明实施例中可变视角的3D视频制作方法的一种实施流程图，该方法可以包括以下步骤：
S101：利用各结构光传感器分别采集目标物体的RGB图像和深度图像。
预先设置多个结构光传感器，由多个结构光传感器搭建得到可变视角的3D视频构建系统，每个结构光传感器主要包括深度传感器(如100万像素深度传感器)、RGB色彩模式摄像头(如1200万像素RGB摄像头)以及外部同步引脚。深度传感器用于深度图像采集；RGB色彩模式摄像头用于RGB图像采集；外部同步引脚用于多个结构光传感器的传感器数据流同步，通过外部同步引脚将多台结构光传感器相连，完成系统搭建。当需要对目标物体进行可变视角的3D视频制作时，利用各结构光传感器分别采集目标物体的RGB图像和深度图像，得到多个RGB图像和多个深度图像。
目标物体可以为任意一个待可变视角的3D视频制作的物体，如可以为人体、植物、建筑物等。
S102：利用全局优化得到的系统标定参数基于各RGB图像和各深度图像进行点云生成，得到各帧点云。
在对系统搭建完成之后，对各结构光传感器进行参数标定，即对系统内单个结构光传感器相机参数进行标定，并对结构光传感器间的参数进行标定。单个结构光传感器标定主要包括红外线(Infrared Radiation，IR)相机内参标定，RGB相机内参标定，IR和RGB相机的外参标定，以及深度标定。结构光传感器间标定主要是其之间的外参标定。并对多个结构光传感器相机参数进行全局联合优化，从而较大地提高了标定精度。
在利用各结构光传感器分别采集目标物体的RGB图像和深度图像之后，利用全局优化得到的系统标定参数基于各RGB图像和各深度图像进行点云生成，得到各帧点云。可以生成带颜色的点云，如当目标物体为人体时，点云生成过程可以包括：利用结构光传感器中IR和RGB的外参信息，将深度图像转化到RGB图像坐标系；利用人体分割算法检测深度图上的人体，去除RGB图像和深度图像上的非人体部分，减少点云噪音；使用RGB相机内参将深度图映射为带颜色的点云。
S103：对各帧点云进行网格重建，得到初始网格序列。
在生成各帧点云之后，对各帧点云进行网格重建，得到初始网格序列。如可以采用泊松重建(Poisson Surface Reconstruction)获得具有水密性的网格，从而得到初始网格序列。
泊松重建的核心思想是点云代表了物体表面的位置，其法向量代表了内外的方向。通过隐式地拟合一个由物体派生的指示函数，可以给出一个平滑的物体表面的估计。
S104：结合几何约束和投影图像约束对初始网格序列中各幅网格进行网格对齐注册，得到各注册网格组。
在对各帧点云进行网格重建，得到初始网格序列之后，由于得到的初始网格序列是非对齐的，需要大量的存储空间。因此，可以预先设置通过结合几何约束和投影图像约束双方面约束进行网格注册。结合几何约束和投影图像约束对初始网格序列中各幅网格进行网格对齐注册，得到各注册网格组。通过进行网格对齐注册，获得具有拓扑一致性的网格序列，减小对存储的需求。
S105：对各注册网格组进行纹理映射，得到纹理贴图，以利用纹理贴图对目标物体进行可变视角的3D视频制作。
在通过对初始网格序列中各幅网格进行网格对齐注册，得到各注册网格组之后，对各注册网格组进行纹理映射，得到纹理贴图，如UV纹理贴图，利用纹理贴图对目标物体进行可变视角的3D视频制作，从而使得系统输出包括目标物体对应的各注册网格组以及相应的纹理贴图，并可以将各注册网格组以及相应的纹理贴图存储在一个文件中，通过系统包含的可视化软件可以任意视角进行视频播放。本发明实施所提供的可变视角的3D视频构建系统易于搭建，成本较低，降低了系统算力要求，使得可视化效果更加精细。
由上述技术方案可知，通过在根据目标物体的RGB图像和深度图像生成各帧点云，并对各帧点云进行网格重建，得到初始网格序列之后，根据预先设置的注册精度阈值对各幅网格进行网格对齐注册，保证了每个注册网格组中各幅网格的拓扑一致性，较大地降低了对存储空间的需求，降低了系统算力要求，使得可视化效果更加精细。
需要说明的是，基于上述实施例，本发明实施例还提供了相应的改进方案。在后续实施例中涉及与上述实施例中相同步骤或相应步骤之间可相互参考，相应的有益效果也可相互参照，在下文的改进实施例中不再一一赘述。
参见图2，图2为本发明实施例中可变视角的3D视频制作方法的另一种实施流程图，该方法可以包括以下步骤：
S201：利用各结构光传感器分别采集目标物体的RGB图像和深度图像。
S202：利用全局优化得到的预置系统标定参数基于各RGB图像和各深度图像进行点云生成，得到各帧点云。
系统标定主要包括标定板制作，图像采集，单结构光传感器内参数标定，结构光传感器间参数标定等几个步骤，标定系统可以采用张正友相机标定法，系统标定包括如下几个主要流程：
(1)标定板制作
标定板可采用国际棋盘格作为模板，使用广告KT板，陶瓷或玻璃制作均可。标定板的尺寸可以根据实际情况进行设定，如人体网格重建需要的视场较大，为了保证重建精度，需保证标定板的尺寸大于800mm。
(2)标定数据采集
使用多个结构光传感器同步采集标定板的IR图像，RGB图像以及深度图像。采集过程中，标定板的位姿需要满足：
1)相邻的两个结构光传感器采集到的包含相同时刻的标定板的图像张数>20；
2)每个结构光传感器采集到的包含标定板的图像张数>30。
(3)单结构光传感器相机参数标定
对系统中的每个结构光传感器，标定步骤如下：
1、选择包含完整标定板的RGB图像，进行棋盘格角点定位，计算RGB相机内参；
2、标定IR相机的内参；
IR相机内参的标定过程可以包括：
1)提取包含完整标定板的IR图像，使用限制对比度自适应直方图均衡(CLAHE)算法进行图像增强；
2)基于图像增强后的IR图像进行棋盘格角点定位，计算IR相机内参。
3、从采集到的RGB和IR图像集合中，选择包含相同时刻标定板的RGB和IR图像构成标定图像集合，通过标定图像集合计算IR和RGB相机的外参；
4、深度标定；
深度标定包括以下步骤：
1)选择包含标定板的IR图片，通过标定的IR相机内参进行畸变校正；
2)根据IR图像棋盘格角点位置提取标定板像素区域；
3)使用IR图像中棋盘格角点位置，结合深度图像以及相机参数，获得角点对应的3D坐标，使用角点位置和对应的3D坐标，利用opencv中solvePnPRansac位姿估计算法求标定板旋转平移矩阵；
4)计算摄像机原点到标定板的真实距离，即由步骤3)得到的标定板旋转平移矩阵获得原点到标定板的距离；
5)通过步骤2)得到的标定板像素区域，提取深度图中的对应区域，通过相机参数得到该区域对应的3D点云，进行平面拟合，获得原点到标定板的测量距离；
6)线性拟合测量距离到真实距离。
(4)结构光传感器间参数标定
在进行外参标定时，不同结构光传感器通过RGB相机标定外参。标定步骤如下：
构造相对外参上三角矩阵RP∈N×N，其中，N表示相机总个数，矩阵元素RPij＝(Rij，tij)(0≤i＜j＜N)表示相机Camerai与相机Cameraj之间的外参变换矩阵，外参变换矩阵包括外参旋转矩阵Rij和外参平移矩阵tij。
构造上三角相机图像矩阵M∈Rn×n，对于每个元素Mij表示相机Camerai和相机Cameraj同时捕获到的包含标定板的图像集合，提取Mij角点像素坐标向量其中，/>表示相机Camerai的角点坐标信息，表示相机Cameraj的角点坐标信息。标定板角点3D坐标向量 表示相机Camerai标定板角点3D坐标，/>表示相机Cameraj标定板角点3D坐标，s表示向量长度。
系统标定参数的全局优化过程可以包括：
根据相对外参矩阵P计算世界坐标系下的相机初始位姿P0＝{Posei＝(RWi，twi)，0≤i＜N}，其中，RWi为相机初始位姿旋转矩阵，twi为相机初始位姿平移矩阵，设置已定位相机集合为T，选择相机Camera0的相机坐标系作为世界坐标系，将Camera0加入T中，设定新添加的相机标号为i，对于所有不在T中的相机Cameraj计算Mij中CornerVec的长度，选择长度最大的相机记为Camerak，根据Pik计算相机Camerak在世界坐标系下的位姿，将Camerak添加到T中，重复该过程，直到所有相机均在T中。
根据相机初始位姿P0计算标定板上角点的世界坐标系下的位置l表示检测到角点的图像个数，N表示相机总个数。
对第j帧中的N张图片计算标定板面积{Areasi，0≤i＜N}，选择面积最大的相机编号A，通过P0[A]计算该标定板角点3D坐标在世界坐标系下的位置
全局优化外参矩阵相机初始位姿P0，相机内参矩阵Intrinsics以及角点世界坐标系位置C，使得在所有相机上的重投影误差最小。
对于世界坐标系下一点X＝(x，y，z)，在相机Camerai相机图片中的像素坐标为其中Ri，ti由相机位姿P0[i]得到，Ki，Di由Intrinsicsi得到。
目标函数如下：
其中，C为角点在世界坐标系下的位置，Intrinsics为由N个相机的内参构成的相机内参矩阵，P是N个相机在世界坐标系下的位姿，V是该3D点可见的相机列表。要优化的变量{C，Intrinsics，P}初始化为前面步骤求得的初始值。
优化过程如下：
1、初始化Params＝(C，Intrinsics，P)；
2、优化f(Params)计算导数f′(Params)；
3、如果|f′(Params)|＜σ，程序结束；
4、更新参数Params＝Params-lr*f′(Params)，lr表示学习率，返回步骤2；
优化过程中，σ为阈值，当导数的模长小于该值时，结束运行。
S203：利用ICP算法对相邻的各帧点云进行拼接，得到拼接点云集合。
在生成各帧点云之后，将多个结构光摄像头得到的点云融合成一幅点云，利用ICP算法对相邻的各帧点云进行拼接，得到拼接点云集合。利用ICP算法对相邻的各帧点云进行拼接的步骤可以包括：
(1)计算两幅点云之间的最近点对应其中pi和qi为两幅点云中的顶点，Nc为对应点对的个数；
(2)最小化基于最近点对应的代价函数，更新当前变换矩阵；
对得到的多幅点云C1，…，CM，根据其在空间中的相对位置，构造邻接矩阵A∈{0，1}M×M，用来表示点云之间的对齐关系。点云Ch和Ck之间的对齐误差是：
是Nh个最近点对应，全局对齐误差是将每一对视角相加：
函数的解g1，…，gM＝argmin(E)是对齐M幅点云的绝对相机位置。这是一个非线性最小二乘优化，使用Ceres Solver进行求解。
在上述代价函数中，d(p，q)衡量两个顶点之间的距离，依赖于两个相机的绝对坐标位置gh＝(RCh，tch)和gk＝(RCk，tck)，
d(p，q)＝(1-σ)dg(p，q)+σdc(p，q)；
dg(p，q)＝((RCh·p+tch)-(RCk·q+tck))T·(RCk·nq)；
dc(p，q)＝Cq(RCk -1(RChp+tch-tck))-Cp(p)；
其中，RCi表示绝对坐标旋转矩阵，tci表示绝对坐标平移矩阵，i∈{h，k}，dg(·)为点到平面的几何能量项，nq为顶点q处的法线，dc(·)为颜色约束项，Cp(p)为顶点p的颜色，Cq(·)为顶点q的切平面上预计算的连续颜色函数，σ为一个常数，RCk -1表示绝对坐标旋转矩阵的逆。
S204：对拼接点云集合进行均匀采样，以去除冗余顶点。
在利用ICP算法对相邻的各帧点云进行拼接，得到拼接点云集合，即，将多个结构光传感器的点云变换到世界坐标系后，对融合后的点云执行均匀采样，去除冗余的顶点，从而使得拼接点云集合得到简化。
S205：按照拼接点云集合中各帧点云的拼接顺序对各帧点云进行网格重建，得到初始网格序列。
其中，初始网格序列中各幅网格的排列顺序与拼接点云集合中各帧点云的拼接顺序对应一致。
在去除冗余顶点之后，按照拼接点云集合中各帧点云的拼接顺序对各帧点云进行网格重建，得到初始网格序列，从而使得初始网格序列中各幅网格的排列顺序与拼接点云集合中各帧点云的拼接顺序对应保持一致。
S206：按照初始网格序列中各幅网格的排列顺序，对当前相邻两幅网格进行网格对齐注册。
在得到初始网格序列之后，按照初始网格序列中各幅网格的排列顺序，对当前相邻两幅网格进行网格对齐注册。对于一个网格序列{Mi，i∈(0，…，n)}，网格注册从第一帧开始，依次向后一帧进行注册。通过按照初始网格序列中各幅网格的排列顺序进行网格对齐注册，保证了网格注册的高效有序进行。
S207：结合几何约束和投影图像约束计算注册完成后当前相邻两幅网格的注册误差。
在对当前相邻两幅网格进行网格对齐注册完成后，结合几何约束和投影图像约束计算注册完成后当前相邻两幅网格的注册误差。
在本发明的一种具体实施方式中，步骤S207可以包括以下步骤：
步骤一：利用几何约束计算注册完成后当前相邻两幅网格的最近邻点对距离、形变相似度以及关键对应点间距；
步骤二：利用投影图像约束计算注册完成后当前相邻两幅网格的像素差；
步骤三：对最近邻点对距离、形变相似度、关键对应点间距以及像素差进行加权求和，得到注册误差。
为方便描述，可以将上述几个步骤结合起来进行说明。
利用几何约束计算注册完成后当前相邻两幅网格的最近邻点对距离、形变相似度以及关键对应点间距，利用投影图像约束计算注册完成后当前相邻两幅网格的像素差。预先设置最近邻点对距离、形变相似度、关键对应点间距以及像素差的权重值，对最近邻点对距离、形变相似度、关键对应点间距以及像素差进行加权求和，得到注册误差。
注册算法采用带图像约束的非刚性迭代最近点算法。假设模板S＝(VS，ES)，其中VS表示n个顶点，ES表示边。每个顶点的变换矩阵为Xi∈R3×4，则所有顶点的变换矩阵为X＝[X1，…，Xn]T∈R3×4n，该算法要优化的代价函数为：
E＝Ed(X)+αEs(X)+βEl(X)+EI(X)；
上述公式中，
其中，Ed(X)约束最近邻点对的距离，Es(X)约束模板网格相邻顶点的形变相似度，El(X)约束关键对应点之间的距离，EI(X)表示渲染图像约束项，α和β为超参数，α控制模板网格的刚性程度，β控制关键点对的约束程度。Xi为变换矩阵为X第i个元素，表示模板网格中第i个顶点的变换矩阵，Xj表示变换矩阵为X第j个元素，l表示扫描网格中3D关键点坐标，vi是模板中的第i个顶点，wi为该顶点的权重，dist2(x，y)表示顶点x和顶点y的欧氏距离，表示顶点Xivi在扫描网格上的最近点，G＝diag(1，1，1，γ)其中γ为超参数，来权衡旋转和平移的权重，/>为对应的关键点。
对于渲染图像约束项EI(X)，首先在网格所在空间构建views个虚拟相机，然后将模板网格和目标网格渲染到多个虚拟相机上，比较渲染图像的相似度。函数Renderi(S)将带纹理的网格S渲染成视角i的图像。函数：
σ(I0，I1)＝fIOU(I0，I1)||I0-I1||；
首先通过函数fIOU(·)对两幅图像求像素的交集，然后求图像相交部分的像素差。
S208：判断注册误差是否小于预设误差值，若是，则执行步骤S209，若否，则执行步骤S210。
预先设置注册误差阈值，在计算得到注册完成后当前相邻两幅网格的注册误差之后，判断注册误差是否小于预设误差值，若是，则说明当前相邻两幅网格具有相同的拓扑结构，执行步骤S209，若否，则说明当前相邻两幅网格具有不同的拓扑结构，执行步骤S210。
S209：将当前相邻两幅网格划分至同一注册网格组。
当确定注册误差小于预设误差值时，说明当前相邻两幅网格具有相同的拓扑结构，将当前相邻两幅网格划分至同一注册网格组。
S210：将当前相邻两幅网格划分至不同注册网格组。
当确定注册误差大于等于预设误差值时，说明当前相邻两幅网格具有不同的拓扑结构，将当前相邻两幅网格划分至不同注册网格组。
S211：将当前相邻两幅网格中排序靠后的网格确定为初始帧。
在对当前相邻两幅网格完成注册网格组的划分之后，将当前相邻两幅网格中排序靠后的网格确定为初始帧。
S212：判断是否对初始网格序列中各幅网格均注册完毕，若否，则执行步骤S206，若是，则执行步骤S213。
判断是否对初始网格序列中各幅网格均注册完毕，若否，则针对初始网格序列中其余的网格执行步骤S206，若是，则执行步骤S213。
S213：统计得到各注册网格组。
在确定初始网格序列中各幅网格均注册完毕之后，对划分得到的各注册网格组进行统计操作，得到各注册网格组。
S214：对各注册网格组进行纹理映射，得到纹理贴图，以利用纹理贴图对目标物体进行可变视角的3D视频制作。
在统计得到各注册网格组之后，对各注册网格组进行纹理映射，得到纹理贴图，利用纹理贴图对目标物体进行可变视角的3D视频制作。
得到的对齐后的各注册网格组可以表示为GI＝{G0，…，Gm}＝{{M0，…}，…，{…，Mn}}，纹理映射分为两部分进行，模型参数化以及UV纹理图生成。
采用UVAtlas进行模型参数化。UVAtlas是微软开源的用于创建并打包纹理图集的工具。该工具将网格进行分割，然后每一部分网格对应于2D图像上的一片区域，工具输出每个网格上每个顶点对应的2D图像上的图像坐标。对于GI中的每一组的首帧进行参数化，获得参数模型PI＝{P0，…，Pm}。
对于一组网格和对应的纹理坐标{M，P}生成纹理贴图的算法如下：
1、对于M上的每一个顶点vi，计算其可见的相机列表Vi。
相机可见列表计算如下：
1)记k个相机产生的点云在世界坐标系下为{points0，…，pointsk-1}，对每个电晕去除边界；
2)对于顶点vi，计算其到每个相机的点云的最短距离，如果最短距离小于给定阈值，则将该相机加入可见相机列表。
2、对于网格中的每个三角形，通过3个顶点的可见相机列表判断该三角形的可见相机列表。根据三角形在可见相机中的投影面积选择最优可见相机。
3、遍历网格中的每个三角形，获取其在最优相机列表中每个相机中的2D投影图片，将其累加入UV纹理图中对应的三角区域。
4、对UV图上累加的像素值求平均，输出纹理贴图。
相应于上面的方法实施例，本发明还提供了一种可变视角的3D视频制作装置，下文描述的可变视角的3D视频制作装置与上文描述的可变视角的3D视频制作方法可相互对应参照。
参见图3，图3为本发明实施例中一种可变视角的3D视频制作装置的结构框图，该装置可以包括：
图像采集模块31，用于利用各结构光传感器分别采集目标物体的RGB图像和深度图像；
点云生成模块32，用于利用全局优化得到的系统标定参数基于各RGB图像和各深度图像进行点云生成，得到各帧点云；
网格重建模块33，用于对各帧点云进行网格重建，得到初始网格序列；
网格注册模块34，用于结合几何约束和投影图像约束对初始网格序列中各幅网格进行网格对齐注册，得到各注册网格组；
视频制作模块35，用于对各注册网格组进行纹理映射，得到纹理贴图，以利用纹理贴图对目标物体进行可变视角的3D视频制作。
由上述技术方案可知，通过在根据目标物体的RGB图像和深度图像生成各帧点云，并对各帧点云进行网格重建，得到初始网格序列之后，根据预先设置的注册精度阈值对各幅网格进行网格对齐注册，保证了每个注册网格组中各幅网格的拓扑一致性，较大地降低了对存储空间的需求，降低了系统算力要求，使得可视化效果更加精细。
在本发明的一种具体实施方式中，该装置还可以包括：
点云拼接模块，用于在得到各帧点云之后，对各帧点云进行网格重建之前，利用ICP算法对相邻的各帧点云进行拼接，得到拼接点云集合；
网格重建模块33具体为按照拼接点云集合中各帧点云的拼接顺序对各帧点云进行网格重建，得到初始网格序列的模块；其中，初始网格序列中各幅网格的排列顺序与拼接点云集合中各帧点云的拼接顺序对应一致。
在本发明的一种具体实施方式中，网格注册模块34包括：
网格注册子模块，用于按照初始网格序列中各幅网格的排列顺序，对当前相邻两幅网格进行网格对齐注册；
误差计算子模块，用于结合几何约束和投影图像约束计算注册完成后当前相邻两幅网格的注册误差；
第一判断子模块，用于判断注册误差是否小于所述预设误差值；
第一网格组划分子模块，用于当确定注册误差小于预设误差值时，将当前相邻两幅网格划分至同一注册网格组；
第二网格组划分子模块，用于当确定注册误差大于等于所述预设误差值时，将当前相邻两幅网格划分至不同注册网格组；
初始帧确定子模块，用于将当前相邻两幅网格中排序靠后的网格确定为初始帧；
第二判断子模块，用于判断是否对初始网格序列中各幅网格均注册完毕；
网格组统计子模块，用于当确定对初始网格序列中各幅网格均注册完毕时，统计得到各注册网格组；
重复执行子模块，用于当确定对初始网格序列中各幅网格未注册完毕时，执行按照初始网格序列中各幅网格的排列顺序，对当前相邻两幅网格进行网格对齐注册的步骤。
在本发明的一种具体实施方式中，误差计算子模块包括：
距离及相似度计算单元，用于利用几何约束计算注册完成后当前相邻两幅网格的最近邻点对距离、形变相似度以及关键对应点间距；
像素差计算单元，用于利用投影图像约束计算注册完成后当前相邻两幅网格的像素差；
误差计算单元，用于对最近邻点对距离、形变相似度、关键对应点间距以及像素差进行加权求和，得到注册误差。
在本发明的一种具体实施方式中，该装置还可以包括：
均匀采样模块，用于在得到拼接点云集合之后，按照拼接点云集合中各帧点云的拼接顺序对各帧点云进行网格重建之前，对拼接点云集合进行均匀采样，以去除冗余顶点。
相应于上面的方法实施例，参见图4，图4为本发明所提供的可变视角的3D视频制作设备的示意图，该设备可以包括：
存储器332，用于存储计算机程序；
处理器322，用于执行计算机程序时实现上述方法实施例的可变视角的3D视频制作方法的步骤。
具体的，请参考图5，图5为本实施例提供的一种可变视角的3D视频制作设备的具体结构示意图，该可变视角的3D视频制作设备可因配置或性能不同而产生比较大的差异，可以包括处理器(central processing units，CPU)322(例如，一个或一个以上处理器)和存储器332，存储器332存储有一个或一个以上的计算机应用程序342或数据344。其中，存储器332可以是短暂存储或持久存储。存储在存储器332的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对数据处理设备中的一系列指令操作。更进一步地，处理器322可以设置为与存储器332通信，在可变视角的3D视频制作设备301上执行存储器332中的一系列指令操作。
可变视角的3D视频制作设备301还可以包括一个或一个以上电源326，一个或一个以上有线或无线网络接口350，一个或一个以上输入输出接口358，和/或，一个或一个以上操作系统341。
上文所描述的可变视角的3D视频制作方法中的步骤可以由可变视角的3D视频制作设备的结构实现。
相应于上面的方法实施例，本发明还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时可实现如下步骤：
利用各结构光传感器分别采集目标物体的RGB图像和深度图像；利用全局优化得到的系统标定参数基于各RGB图像和各深度图像进行点云生成，得到各帧点云；对各帧点云进行网格重建，得到初始网格序列；结合几何约束和投影图像约束对初始网格序列中各幅网格进行网格对齐注册，得到各注册网格组；对各注册网格组进行纹理映射，得到纹理贴图，以利用纹理贴图对目标物体进行可变视角的3D视频制作。
该计算机可读存储介质可以包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
对于本发明提供的计算机可读存储介质的介绍请参照上述方法实施例，本发明在此不做赘述。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置、设备及计算机可读存储介质而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的技术方案及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (6)

1.一种可变视角的3D视频制作方法，其特征在于，包括：
利用各结构光传感器分别采集目标物体的RGB图像和深度图像；
利用全局优化得到的系统标定参数基于各所述RGB图像和各所述深度图像进行点云生成，得到各帧点云；
利用ICP算法对相邻的各帧点云进行拼接，得到拼接点云集合；
按照所述拼接点云集合中各帧所述点云的拼接顺序对各帧所述点云进行网格重建，得到初始网格序列；其中，所述初始网格序列中各幅网格的排列顺序与所述拼接点云集合中各帧所述点云的拼接顺序对应一致；
按照所述初始网格序列中各幅网格的排列顺序，对当前相邻两幅网格进行网格对齐注册；
结合几何约束和投影图像约束计算注册完成后当前相邻两幅网格的注册误差；
判断所述注册误差是否小于预设误差值；
若是，则将当前相邻两幅网格划分至同一注册网格组；
若否，则将当前相邻两幅网格划分至不同注册网格组；
将当前相邻两幅网格中排序靠后的网格确定为初始帧；
判断是否对初始网格序列中各幅网格均注册完毕；
若是，则统计得到各注册网格组；
若否，则执行所述按照所述初始网格序列中各幅网格的排列顺序，对当前相邻两幅网格进行网格对齐注册的步骤；
对各所述注册网格组进行纹理映射，得到纹理贴图，以利用所述纹理贴图对所述目标物体进行可变视角的3D视频制作。
2.根据权利要求1所述的可变视角的3D视频制作方法，其特征在于，结合所述几何约束和所述投影图像约束计算注册完成后当前相邻两幅网格的注册误差，包括：
利用所述几何约束计算注册完成后当前相邻两幅网格的最近邻点对距离、形变相似度以及关键对应点间距；
利用所述投影图像约束计算注册完成后当前相邻两幅网格的像素差；
对所述最近邻点对距离、所述形变相似度、所述关键对应点间距以及所述像素差进行加权求和，得到所述注册误差。
3.根据权利要求1至2任一项所述的可变视角的3D视频制作方法，其特征在于，在得到拼接点云集合之后，按照所述拼接点云集合中各帧所述点云的拼接顺序对各帧所述点云进行网格重建之前，还包括：
对所述拼接点云集合进行均匀采样，以去除冗余顶点。
4.一种可变视角的3D视频制作装置，其特征在于，包括：
图像采集模块，用于利用各结构光传感器分别采集目标物体的RGB图像和深度图像；
点云生成模块，用于利用全局优化得到的系统标定参数基于各所述RGB图像和各所述深度图像进行点云生成，得到各帧点云；
点云拼接模块，用于利用ICP算法对相邻的各帧点云进行拼接，得到拼接点云集合；
网格重建模块，用于按照所述拼接点云集合中各帧所述点云的拼接顺序对各帧所述点云进行网格重建，得到初始网格序列；其中，所述初始网格序列中各幅网格的排列顺序与所述拼接点云集合中各帧所述点云的拼接顺序对应一致；
网格注册模块，所述网格注册模块包括：
网格注册子模块，用于按照所述初始网格序列中各幅网格的排列顺序，对当前相邻两幅网格进行网格对齐注册；
误差计算子模块，用于结合几何约束和投影图像约束计算注册完成后当前相邻两幅网格的注册误差；
第一判断子模块，用于判断所述注册误差是否小于预设误差值；
第一网格组划分子模块，用于当确定所述注册误差小于所述预设误差值时，将当前相邻两幅网格划分至同一注册网格组；
第二网格组划分子模块，用于当确定所述注册误差大于等于所述预设误差值时，将当前相邻两幅网格划分至不同注册网格组；
初始帧确定子模块，用于将当前相邻两幅网格中排序靠后的网格确定为初始帧；
第二判断子模块，用于判断是否对初始网格序列中各幅网格均注册完毕；
网格组统计子模块，用于当确定对初始网格序列中各幅网格均注册完毕时，统计得到各注册网格组；
重复执行子模块，用于当确定对初始网格序列中各幅网格未注册完毕时，执行所述按照所述初始网格序列中各幅网格的排列顺序，对当前相邻两幅网格进行网格对齐注册的步骤；
视频制作模块，用于对各所述注册网格组进行纹理映射，得到纹理贴图，以利用所述纹理贴图对所述目标物体进行可变视角的3D视频制作。
5.一种可变视角的3D视频制作设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至3任一项所述可变视角的3D视频制作方法的步骤。
6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至3任一项所述可变视角的3D视频制作方法的步骤。
CN202110873276.0A 2021-07-30 2021-07-30 可变视角的3d视频制作方法、装置、设备及存储介质 Active CN113596432B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110873276.0A CN113596432B (zh) 2021-07-30 2021-07-30 可变视角的3d视频制作方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110873276.0A CN113596432B (zh) 2021-07-30 2021-07-30 可变视角的3d视频制作方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN113596432A CN113596432A (zh) 2021-11-02
CN113596432B true CN113596432B (zh) 2024-04-30

Family

ID=78252817

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110873276.0A Active CN113596432B (zh) 2021-07-30 2021-07-30 可变视角的3d视频制作方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113596432B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106709947A (zh) * 2016-12-20 2017-05-24 西安交通大学 一种基于rgbd相机的三维人体快速建模系统
CN110166757A (zh) * 2018-02-15 2019-08-23 Jjk控股有限公司 用计算机实现的压缩数据的方法、系统、存储介质
WO2019199510A1 (en) * 2018-04-11 2019-10-17 Interdigital Vc Holdings, Inc. A method and apparatus for encoding/decoding a point cloud representing a 3d object
CN110363858A (zh) * 2019-06-18 2019-10-22 新拓三维技术(深圳)有限公司 一种三维人脸重建方法及系统
WO2021115071A1 (zh) * 2019-12-12 2021-06-17 中国科学院深圳先进技术研究院 单目内窥镜图像的三维重建方法、装置及终端设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109658515B (zh) * 2017-10-11 2022-11-04 阿里巴巴集团控股有限公司 点云网格化方法、装置、设备及计算机存储介质
US11461933B2 (en) * 2019-10-02 2022-10-04 Samsung Electronics Co., Ltd. Decision-making rules for attribute smoothing

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106709947A (zh) * 2016-12-20 2017-05-24 西安交通大学 一种基于rgbd相机的三维人体快速建模系统
CN110166757A (zh) * 2018-02-15 2019-08-23 Jjk控股有限公司 用计算机实现的压缩数据的方法、系统、存储介质
WO2019199510A1 (en) * 2018-04-11 2019-10-17 Interdigital Vc Holdings, Inc. A method and apparatus for encoding/decoding a point cloud representing a 3d object
CN110363858A (zh) * 2019-06-18 2019-10-22 新拓三维技术(深圳)有限公司 一种三维人脸重建方法及系统
WO2021115071A1 (zh) * 2019-12-12 2021-06-17 中国科学院深圳先进技术研究院 单目内窥镜图像的三维重建方法、装置及终端设备

Also Published As

Publication number Publication date
CN113596432A (zh) 2021-11-02

Similar Documents

Publication Publication Date Title
CN110363858B (zh) 一种三维人脸重建方法及系统
CN109872397B (zh) 一种基于多目立体视觉的飞机零件的三维重建方法
CN104240289B (zh) 一种基于单个相机的三维数字化重建方法及系统
CN114399554B (zh) 一种多相机系统的标定方法及系统
CN110458932B (zh) 图像处理方法、装置、系统、存储介质和图像扫描设备
CN107358633A (zh) 一种基于三点标定物的多相机内外参标定方法
CN109325995B (zh) 基于人手参数模型的低分辨率多视角手部重建方法
CN115937461B (zh) 多源融合模型构建及纹理生成方法、装置、介质及设备
CN116309880A (zh) 基于三维重建的物体位姿确定方法、装置、设备及介质
CN112862736B (zh) 一种基于点的实时三维重建与优化方法
CN112132971B (zh) 三维人体建模方法、装置、电子设备和存储介质
CN113643436A (zh) 一种深度数据拼接融合方法及装置
CN111553969B (zh) 一种基于梯度域的纹理映射方法、介质、终端和装置
CN113596432B (zh) 可变视角的3d视频制作方法、装置、设备及存储介质
CN116402904A (zh) 一种基于激光雷达间和单目相机的联合标定方法
CN116797733A (zh) 实时三维物体动态重建方法
CN116758219A (zh) 基于神经网络的区域感知多视角立体匹配三维重建方法
Tylecek et al. Depth map fusion with camera position refinement
CN114998496A (zh) 一种基于场景航拍图及稀疏点云的正射影像快速生成方法
CN114913297A (zh) 一种基于mvs稠密点云的场景正射影像生成方法
Bushnevskiy et al. Multimode camera calibration
CN114863021A (zh) 一种基于三维重建场景的仿真数据集分析方法及系统
Zollhöfer et al. Low-Cost Real-Time 3D Reconstruction of Large-Scale Excavation Sites using an RGB-D Camera.
CN115033998B (zh) 一种面向机械零部件的个性化2d数据集构建方法
Han et al. 3D reconstruction of dense model based on the sparse frames using RGBD camera

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant