CN116310153A - 单视图彩色三维点云重建方法、系统、存储介质及计算机 - Google Patents

单视图彩色三维点云重建方法、系统、存储介质及计算机 Download PDF

Info

Publication number
CN116310153A
CN116310153A CN202310602036.6A CN202310602036A CN116310153A CN 116310153 A CN116310153 A CN 116310153A CN 202310602036 A CN202310602036 A CN 202310602036A CN 116310153 A CN116310153 A CN 116310153A
Authority
CN
China
Prior art keywords
point cloud
image
color
shape
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310602036.6A
Other languages
English (en)
Other versions
CN116310153B (zh
Inventor
李波
魏啸林
刘彬
陈伟峰
赵旭
熊小环
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangxi Ruichuang Technology Co ltd
Nanchang Hangkong University
Lenovo New Vision Nanchang Artificial Intelligence Industrial Research Institute Co Ltd
Original Assignee
Jiangxi Ruichuang Technology Co ltd
Nanchang Hangkong University
Lenovo New Vision Nanchang Artificial Intelligence Industrial Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangxi Ruichuang Technology Co ltd, Nanchang Hangkong University, Lenovo New Vision Nanchang Artificial Intelligence Industrial Research Institute Co Ltd filed Critical Jiangxi Ruichuang Technology Co ltd
Priority to CN202310602036.6A priority Critical patent/CN116310153B/zh
Publication of CN116310153A publication Critical patent/CN116310153A/zh
Application granted granted Critical
Publication of CN116310153B publication Critical patent/CN116310153B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Generation (AREA)

Abstract

本发明提供一种单视图彩色三维点云重建方法、系统、存储介质及计算机，该方法包括：利用图像编辑器对兴趣图像进行图像编辑得到形状隐编码及颜色隐编码；基于扩散模型和形状隐编码进行点云重建得到目标点云，并根据颜色隐编码进行颜色预估得到目标点云中各点云的点云颜色；根据目标点云的相机参数得到采样点位置，并基于目标点云及点云颜色计算出各采样点位置的体密度和辐射度渲染出预测点云图像；对预测点云图像的点云颜色及点云形状进行优化及结果微调实现真实物体图像的三维点云重建。本发明以单张视图作为条件，利用扩散模型重建出粗略的物体点云形状及生成颜色，解决现有网络生成质量不高、训练比较困难的问题。

Description

单视图彩色三维点云重建方法、系统、存储介质及计算机
技术领域
本发明涉及图像处理技术领域，特别涉及一种单视图彩色三维点云重建方法、系统、存储介质及计算机。
背景技术
三维形状重建是计算机图形学和计算机视觉的一个基本研究课题。在过去的几十年里，点云由于其简单性和紧凑性，一直是一种流行的三维形状表示。虽然近年来三维扫描硬件取得了很大的发展，但它不能满足工业的需求。一方面，扫描大量的真实模型既费钱又费时。另一方面，在很多情况下，设计师想生成一些现实世界中可能不存在的新颖的三维形状。因此，三维形状的重建或生成仍然是计算机视觉的一个重要研究问题。
重建工作在日常使用环境中面对的条件往往较为极端，用户经常希望只拍摄一张图片就直接可以重建出质量较高的三维形状，现有方法在这个要求上还有所欠缺。单视图会天然地造成信息缺失问题，非深度学习方法很难处理。而现有的从单视图中重建点云的深度学习方法解决这个问题的思路是给模型加入一定的生成能力，从而使图像空间到物体点云空间的跨越更加容易。但是，现有方法使用的网络基本为自编码网络和生成对抗网络，它们普遍存在生成质量不高、训练比较困难等问题。同时为了增加点云重建精度，现有方法大都会使用重投影把三维点云再重新转化为二维掩码或者深度图像。这种类光栅化的方法经常会导致多个点被投影到一个像素上，造成较大误差。这个问题是由光栅化的原理导致的，现有方法针对其提出的改进思路只能缓解而不能解决。另一方面，现在基于单视图的点云重建方法几乎都没有考虑颜色问题，但是色彩是人类感知的重要一环，对于三维重建的质量至关重要。
发明内容
基于此，本发明的目的是提供一种单视图彩色三维点云重建方法、系统、存储介质及计算机，以至少解决上述相关技术中的不足。
本发明提出一种单视图彩色三维点云重建方法，包括：
获取任一兴趣图像，并利用图像编辑器对所述兴趣图像进行图像编辑，以得到形状隐编码以及颜色隐编码；
基于扩散模型和所述形状隐编码进行点云重建，以得到具有目标形状的目标点云，并根据所述颜色隐编码为所述点云重建进行颜色预估，以得到所述目标点云中各点云的点云颜色；
根据所述目标点云所对应的相机参数得到采样点位置，并基于所述目标点云以及所述目标点云中各点云的点云颜色计算出各采样点位置的体密度和辐射度，以渲染出对应的预测点云图像；
以真实物体图像作为约束，对所述预测点云图像的点云颜色以及点云形状进行优化，并对优化后的预测点云图像进行结果微调，以实现所述真实物体图像的三维点云重建。
进一步的，获取任一兴趣图像，并利用图像编辑器对所述兴趣图像进行图像编辑，以得到形状隐编码以及颜色隐编码的步骤包括：
以ResNet50网络为核心架构构建图像编码器，并获取用户选取的任一张感兴趣的图像；
利用所述图像编码器对所述感兴趣的图像进行图像编辑，以得到形状隐编码以及颜色隐编码。
进一步的，基于扩散模型和所述形状隐编码进行点云重建，以得到具有目标形状的目标点云，并根据所述颜色隐编码为所述点云重建进行颜色预估，以得到所述目标点云中各点云的点云颜色的步骤包括：
定义条件扩散模型的反向扩散算法，并以所述形状隐编码为条件，通过所述条件扩散模型进行反向扩散获取具有目标形状的目标点云；
以所述颜色隐编码为条件，为所述条件扩散模型的反向扩散过程中每一步预估出的点云形状进行颜色预测，以得到所述目标点云中各点云的点云颜色。
进一步的，以真实物体图像作为约束，对所述预测点云图像的点云颜色以及点云形状进行优化的步骤包括：
对所述扩散模型的逆向过程中每一步预测出的噪声误差进行限制，并利用所述预测点云图像和所述真实物体图像之间的误差进行约束，从而实现对所述预测点云图像的点云状态以及点云颜色的优化。
进一步的，对优化后的预测点云图像进行结果微调，以实现所述真实物体图像的三维点云重建的步骤包括：
计算所述预测点云图像的点云中每个点与其他点之间的距离，以得到对应的离群点；
对所述离群点进行剪枝，并同步增加所述预测点云图像中的点云数量，以实现所述真实物体图像的三维点云重建。
进一步的，所述反向扩散算法的表达式为：
Figure SMS_1
；
式中，
Figure SMS_8
表示反向扩散算法，由形状隐编码/>
Figure SMS_10
和第/>
Figure SMS_18
时刻的点云/>
Figure SMS_6
作为条件，得到第/>
Figure SMS_15
时刻的点云/>
Figure SMS_11
的分布，其中，/>
Figure SMS_17
是神经网络参数，/>
Figure SMS_3
表示第/>
Figure SMS_13
时刻的点云，/>
Figure SMS_2
表示第/>
Figure SMS_12
时刻的点云，/>
Figure SMS_5
是由/>
Figure SMS_19
参数化的神经网络实现的估计平均值，
Figure SMS_9
为时间步长，/>
Figure SMS_16
为和时间相关的超参数，/>
Figure SMS_4
表示一个高斯分布，/>
Figure SMS_14
表示兴趣图像，/>
Figure SMS_7
表示形状隐编码。
本发明还提出一种单视图彩色三维点云重建系统，包括：
图像编辑模块，用于获取任一兴趣图像，并利用图像编辑器对所述兴趣图像进行图像编辑，以得到形状隐编码以及颜色隐编码；
点云处理模块，用于基于扩散模型和所述形状隐编码进行点云重建，以得到具有目标形状的目标点云，并根据所述颜色隐编码为所述点云重建进行颜色预估，以得到所述目标点云中各点云的点云颜色；
图像渲染模块，用于根据所述目标点云所对应的相机参数得到采样点位置，并基于所述目标点云以及所述目标点云中各点云的点云颜色计算出各采样点位置的体密度和辐射度，以渲染出对应的预测点云图像；
点云重建模块，用于以真实物体图像作为约束，对所述预测点云图像的点云颜色以及点云形状进行优化，并对优化后的预测点云图像进行结果微调，以实现所述真实物体图像的三维点云重建。
进一步的，所述图像编辑模块包括：
图像获取单元，用于以ResNet50网络为核心架构构建图像编码器，并获取用户选取的任一张感兴趣的图像；
图像编辑单元，用于利用所述图像编码器对所述感兴趣的图像进行图像编辑，以得到形状隐编码以及颜色隐编码。
进一步的，所述点云处理模块包括：
第一点云处理单元，用于定义条件扩散模型的反向扩散算法，并以所述形状隐编码为条件，通过所述条件扩散模型进行反向扩散获取具有目标形状的目标点云；
第二点云处理单元，用于以所述颜色隐编码为条件，为所述条件扩散模型的反向扩散过程中每一步预估出的点云形状进行颜色预测，以得到所述目标点云中各点云的点云颜色。
进一步的，所述点云重建模块包括：
点云优化单元，用于对所述扩散模型的逆向过程中每一步预测出的噪声误差进行限制，并利用所述预测点云图像和所述真实物体图像之间的误差进行约束，从而实现对所述预测点云图像的点云状态以及点云颜色的优化。
进一步的，所述点云重建模块还包括：
点云距离计算单元，用于计算所述预测点云图像的点云中每个点与其他点之间的距离，以得到对应的离群点；
点云重建单元，用于对所述离群点进行剪枝，并同步增加所述预测点云图像中的点云数量，以实现所述真实物体图像的三维点云重建。
本发明还提出一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述的单视图彩色三维点云重建方法。
本发明还提出一种计算机，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的单视图彩色三维点云重建方法。
与现有技术相比，本发明的有益效果是：以单张视图作为条件，利用扩散模型重建出粗略的物体点云形状，并生成颜色，解决了现有网络生成质量不高、训练比较困难的问题。为了提高物体点云细节和色彩真实感，利用类神经辐射场的方法对重建的粗略点云进行重渲染，把渲染图片和原图片进行对比来优化点云形状和颜色，以增强效果；能够在数据集中没有点云颜色的情况下端到端地优化点云形状和颜色，而不需要带颜色的点云作为真值，也不需要分多步训练，实现和使用方便。
附图说明
图1为本发明第一实施例中单视图彩色三维点云重建方法的流程图；
图2为图1中步骤S101的详细流程图；
图3为本发明第一实施例中单视图彩色三维点云重建的工作流程图；
图4为图1中步骤S102的详细流程图；
图5为图1中步骤S104的详细流程图；
图6为本发明第一实施例中单视图彩色三维点云重建方法的结果示意图；
图7为本发明第二实施例中单视图彩色三维点云重建系统的结构框图；
图8为本发明第三实施例中计算机的结构框图。
如下具体实施方式将结合上述附图进一步说明本发明。
具体实施方式
为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的若干实施例。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容更加透彻全面。
需要说明的是，当元件被称为“固设于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及／或”包括一个或多个相关的所列项目的任意的和所有的组合。
实施例一
请参阅图1，所示为本发明第一实施例中的单视图彩色三维点云重建方法，所述方法具体包括步骤S101至S104：
S101，获取任一兴趣图像，并利用图像编辑器对所述兴趣图像进行图像编辑，以得到形状隐编码以及颜色隐编码；
进一步的，请参阅图2，所述步骤S101具体包括步骤S1011~S1012：
S1011，以ResNet50网络为核心架构构建图像编码器，并获取用户选取的任一张感兴趣的图像；
S1012，利用所述图像编码器对所述感兴趣的图像进行图像编辑，以得到形状隐编码以及颜色隐编码。
如图3所示的工作流程图，本实施例实现基于扩散模型和神经辐射场的单视图彩色三维点云重建的步骤如下：
基于扩散模型的点云重建：扩散模型可以从一团噪声点云中进行去噪从而生成各种各样的形状，而以图像作为条件来引导去噪方向就可以重建出特定的形状。其中，用户选取一张感兴趣的图片
Figure SMS_20
作为条件。以ResNet50网络作为图像编码器的核心架构，将图像/>
Figure SMS_21
输入图像编码器得到一个形状隐编码/>
Figure SMS_22
；
进一步的，由于图像中天然包含着颜色信息，但是以往的方法往往只关注于形状而忽略了颜色。而如何将图像中的二维色彩映射回三维物体亦是一个颇具挑战性的问题，本实施例中使用图像颜色编码去调制三维点云。
具体的，同样以上述图片
Figure SMS_23
作为条件，以ResNet50作为图像编码器的核心架构，将图像/>
Figure SMS_24
输入图像编码器得到一个颜色隐编码/>
Figure SMS_25
。
S102，基于扩散模型和所述形状隐编码进行点云重建，以得到具有目标形状的目标点云，并根据所述颜色隐编码为所述点云重建进行颜色预估，以得到所述目标点云中各点云的点云颜色；
进一步的，请参阅图4，所述步骤S102具体包括步骤S1021~S1022：
S1021，定义条件扩散模型的反向扩散算法，并以所述形状隐编码为条件，通过所述条件扩散模型进行反向扩散获取具有目标形状的目标点云；
S1022，以所述颜色隐编码为条件，为所述条件扩散模型的反向扩散过程中每一步预估出的点云形状进行颜色预测，以得到所述目标点云中各点云的点云颜色。
在具体实施时，定义条件扩散模型的反向扩散过程公式：
Figure SMS_26
；
式中，
Figure SMS_32
表示反向扩散算法，由形状隐编码/>
Figure SMS_37
和第/>
Figure SMS_44
时刻的点云/>
Figure SMS_29
作为条件，得到第/>
Figure SMS_35
时刻的点云/>
Figure SMS_41
的分布，其中，/>
Figure SMS_47
是神经网络参数，/>
Figure SMS_33
表示第/>
Figure SMS_38
时刻的点云，/>
Figure SMS_43
表示第/>
Figure SMS_49
时刻的点云，/>
Figure SMS_30
是由/>
Figure SMS_36
参数化的神经网络实现的估计平均值，
Figure SMS_42
为时间步长，/>
Figure SMS_46
为和时间相关的超参数，/>
Figure SMS_31
表示一个高斯分布，初始分布/>
Figure SMS_39
设置为标准正态分布/>
Figure SMS_45
，/>
Figure SMS_50
为点云中点的数量，/>
Figure SMS_27
表示兴趣图像，/>
Figure SMS_34
表示形状隐编码，将上述的形状隐编码/>
Figure SMS_40
为条件，本发明将一组从/>
Figure SMS_48
采样的点通过反向马尔可夫链来获得具有目标形状的点云/>
Figure SMS_28
。
进一步的，以颜色隐编码
Figure SMS_51
为条件，为反向扩散过程中每一步预估出的点云形状进行颜色预测，最终可以得到点云/>
Figure SMS_52
的每个点的颜色/>
Figure SMS_53
。
S103，根据所述目标点云所对应的相机参数得到采样点位置，并基于所述目标点云以及所述目标点云中各点云的点云颜色计算出各采样点位置的体密度和辐射度，以渲染出对应的预测点云图像；
在具体实施时，在数据集中并不包含真实的点云颜色，因此需要对上述得到的点云颜色进行优化，本实施例采用类神经辐射场的可微渲染方法来解决此问题，即渲染出预测点云的图像。其中，根据已知图片
Figure SMS_54
的相机参数/>
Figure SMS_55
得到在空间中的采样点位置。具体来说，可以看作是相机沿着图像中的每个像素都发出了一条光线，采样即是在这些光线上进行。一个像素的辐射度可以通过使一条光线穿过像素，沿光线在空间/>
Figure SMS_56
处采样/>
Figure SMS_57
个着色点，并使用体积密度累积辐射度来计算。其计算公式定义如下：
Figure SMS_58
；
其中，
Figure SMS_60
表示体透过率；/>
Figure SMS_63
和/>
Figure SMS_65
是/>
Figure SMS_61
处每个着色点/>
Figure SMS_64
的体积密度和辐射度，/>
Figure SMS_66
表示一根光线上采样点的数量，/>
Figure SMS_67
表示在着色点/>
Figure SMS_59
的体透过率，/>
Figure SMS_62
是相邻着色样本之间的距离，也就是说，只要知道了每个采样的着色点处的体密度和辐射度，神经辐射场就可以渲染出此时视角的一张图像；
进一步的，根据上述得到的目标点云
Figure SMS_68
及其每个点的颜色/>
Figure SMS_69
，得到到每个采样点处的体密度和辐射度。具体来说，给定任何空间位置/>
Figure SMS_70
，本实施例查询它周围的/>
Figure SMS_71
个相邻点云，记作/>
Figure SMS_72
。那么此处的/>
Figure SMS_73
定义为：
Figure SMS_74
；
其中
Figure SMS_75
为任意空间位置，/>
Figure SMS_76
表示和/>
Figure SMS_77
相邻的/>
Figure SMS_78
个点云，/>
Figure SMS_79
表示2范数。类似的，此处的/>
Figure SMS_80
制定为：
Figure SMS_81
；
其中，
Figure SMS_82
为在上一个环节中得到的点云颜色，为/>
Figure SMS_83
中第/>
Figure SMS_84
个点的颜色，基于上述步骤渲染出此时点云的一张图片/>
Figure SMS_85
。
S104，以真实物体图像作为约束，对所述预测点云图像的点云颜色以及点云形状进行优化，并对优化后的预测点云图像进行结果微调，以实现所述真实物体图像的三维点云重建。
进一步的，请参阅图5，所述步骤S104具体包括步骤S1041~S1043：
S1041，对所述扩散模型的逆向过程中每一步预测出的噪声误差进行限制，并利用所述预测点云图像和所述真实物体图像之间的误差进行约束，从而实现对所述预测点云图像的点云状态以及点云颜色的优化；
S1042，计算所述预测点云图像的点云中每个点与其他点之间的距离，以得到对应的离群点；
S1043，对所述离群点进行剪枝，并同步增加所述预测点云图像中的点云数量，以实现所述真实物体图像的三维点云重建。
在具体实施时，扩散模型自身的损失以及预测点云和真实点云之间的Chamfer距离都可以对点云形状进行约束。同时，根据上述得到的预测点云图像，再以真实物体图像作为约束就可以对点云形状和颜色进行优化。
具体的，对于扩散模型的逆向过程对其每一步预测出的噪声误差进行限制，以保证最终点云形状的准确性。因此，目标函数如下：
Figure SMS_86
；
其中，
Figure SMS_88
为神经网络，/>
Figure SMS_91
代表时刻，/>
Figure SMS_92
为扩散模型前向过程加入的真实噪声，/>
Figure SMS_89
是形状隐编码，/>
Figure SMS_90
表示L2损失，/>
Figure SMS_93
表示第/>
Figure SMS_94
时刻的点云结果，/>
Figure SMS_87
表示期望。
进一步的，为了进一步增加点云质量，需要对生成点云和真实点云之间的误差进行约束。目标函数如下：
Figure SMS_95
；
其中，
Figure SMS_96
为预测出的点云，/>
Figure SMS_97
为真实点云，/>
Figure SMS_98
表示chamfer距离。
进一步的，对于点云颜色的优化，需要渲染出的图像
Figure SMS_99
和原始图像/>
Figure SMS_100
之间的误差进行限制，其目标函数如下：
Figure SMS_101
；
在反向扩散过程中的每一个时刻
Figure SMS_102
，都会渲染出一张图像/>
Figure SMS_103
。
计算上述点云中每个点和其他点的距离，找到离群点，直接对离群点进行剪枝，同时为了防止点云中点数量的减少，需要对点进行同步增加。获得增加点位置的详细步骤如下：计算每个点和周围最近N个点距离的平均值，那么平均值越小的点则可以认为它处在区域的点密度越大；将所有的点以距离大小升序排列，根据剪掉点的数量获取序列中前面相同数量的点；将这些点加上一个微小的扰动即是需要加入点云的新点。
最终结果如图6所示，第一列为输入的单视图，即参考图像，第二列到第五列是逆扩散过程中的重建点云及其颜色，第六列是由第五列的点云通过类神经辐射场方法渲染出的图片。可以看出，本实施例可以成功地重建处单视图目标图像中的点云形状且能很好的将原图像中的物体颜色自然映射到三维物体上去。
综上，本发明上述实施例当中的单视图彩色三维点云重建方法，以单张视图作为条件，利用扩散模型重建出粗略的物体点云形状，并生成颜色，解决了现有网络生成质量不高、训练比较困难的问题。为了提高物体点云细节和色彩真实感，利用类神经辐射场的方法对重建的粗略点云进行重渲染，把渲染图片和原图片进行对比来优化点云形状和颜色，以增强效果；能够在数据集中没有点云颜色的情况下端到端地优化点云形状和颜色，而不需要带颜色的点云作为真值，也不需要分多步训练，实现和使用方便。
实施例二
本发明另一方面还提出一种单视图彩色三维点云重建系统，请查阅图7，所示为本发明第二实施例中的单视图彩色三维点云重建系统，包括：
图像编辑模块11，用于获取任一兴趣图像，并利用图像编辑器对所述兴趣图像进行图像编辑，以得到形状隐编码以及颜色隐编码；
进一步的，所述图像编辑模块11包括：
图像获取单元，用于以ResNet50网络为核心架构构建图像编码器，并获取用户选取的任一张感兴趣的图像；
图像编辑单元，用于利用所述图像编码器对所述感兴趣的图像进行图像编辑，以得到形状隐编码以及颜色隐编码。
点云处理模块12，用于基于扩散模型和所述形状隐编码进行点云重建，以得到具有目标形状的目标点云，并根据所述颜色隐编码为所述点云重建进行颜色预估，以得到所述目标点云中各点云的点云颜色；
进一步的，所述点云处理模块12包括：
第一点云处理单元，用于定义条件扩散模型的反向扩散算法，并以所述形状隐编码为条件，通过所述条件扩散模型进行反向扩散获取具有目标形状的目标点云；
第二点云处理单元，用于以所述颜色隐编码为条件，为所述条件扩散模型的反向扩散过程中每一步预估出的点云形状进行颜色预测，以得到所述目标点云中各点云的点云颜色。
图像渲染模块13，用于根据所述目标点云所对应的相机参数得到采样点位置，并基于所述目标点云以及所述目标点云中各点云的点云颜色计算出各采样点位置的体密度和辐射度，以渲染出对应的预测点云图像；
点云重建模块14，用于以真实物体图像作为约束，对所述预测点云图像的点云颜色以及点云形状进行优化，并对优化后的预测点云图像进行结果微调，以实现所述真实物体图像的三维点云重建。
进一步的，所述点云重建模块14包括：
点云优化单元，用于对所述扩散模型的逆向过程中每一步预测出的噪声误差进行限制，并利用所述预测点云图像和所述真实物体图像之间的误差进行约束，从而实现对所述预测点云图像的点云状态以及点云颜色的优化。
进一步的，所述点云重建模块14还包括：
点云距离计算单元，用于计算所述预测点云图像的点云中每个点与其他点之间的距离，以得到对应的离群点；
点云重建单元，用于对所述离群点进行剪枝，并同步增加所述预测点云图像中的点云数量，以实现所述真实物体图像的三维点云重建。
上述各模块、单元被执行时所实现的功能或操作步骤与上述方法实施例大体相同，在此不再赘述。
本发明实施例所提供的单视图彩色三维点云重建系统，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，系统实施例部分未提及之处，可参考前述方法实施例中相应内容。
实施例三
本发明还提出一种计算机，请参阅图8，所示为本发明第三实施例中的计算机，包括存储器10、处理器20以及存储在所述存储器10上并可在所述处理器20上运行的计算机程序30，所述处理器20执行所述计算机程序30时实现上述的单视图彩色三维点云重建方法。
其中，存储器10至少包括一种类型的存储介质，所述存储介质包括闪存、硬盘、多媒体卡、卡型存储器（例如，SD或DX存储器等）、磁性存储器、磁盘、光盘等。存储器10在一些实施例中可以是计算机的内部存储单元，例如该计算机的硬盘。存储器10在另一些实施例中也可以是外部存储装置，例如插接式硬盘，智能存储卡（Smart Media Card, SMC），安全数字（Secure Digital, SD）卡，闪存卡（Flash Card）等。进一步地，存储器10还可以既包括计算机的内部存储单元也包括外部存储装置。存储器10不仅可以用于存储安装于计算机的应用软件及各类数据，还可以用于暂时地存储已经输出或者将要输出的数据。
其中，处理器20在一些实施例中可以是电子控制单元 (Electronic ControlUnit，简称ECU，又称行车电脑)、中央处理器（Central Processing Unit, CPU）、控制器、微控制器、微处理器或其他数据处理芯片，用于运行存储器10中存储的程序代码或处理数据，例如执行访问限制程序等。
需要指出的是，图8示出的结构并不构成对计算机的限定，在其它实施例当中，该计算机可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
本发明实施例还提出一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述的单视图彩色三维点云重建方法。
本领域技术人员可以理解，在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机存储介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机存储介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机存储介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM），只读存储器（ROM），可擦除可编辑只读存储器（EPROM或闪速存储器），光纤装置，以及便携式光盘只读存储器（CDROM）。另外，计算机存储介质甚至可以是可在其上打印所述程序的纸或其他合适的存储介质，因为可以例如通过对纸或其他存储介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或它们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种单视图彩色三维点云重建方法，其特征在于，包括：
获取任一兴趣图像，并利用图像编辑器对所述兴趣图像进行图像编辑，以得到形状隐编码以及颜色隐编码；
基于扩散模型和所述形状隐编码进行点云重建，以得到具有目标形状的目标点云，并根据所述颜色隐编码为所述点云重建进行颜色预估，以得到所述目标点云中各点云的点云颜色；
根据所述目标点云所对应的相机参数得到采样点位置，并基于所述目标点云以及所述目标点云中各点云的点云颜色计算出各采样点位置的体密度和辐射度，以渲染出对应的预测点云图像；
以真实物体图像作为约束，对所述预测点云图像的点云颜色以及点云形状进行优化，并对优化后的预测点云图像进行结果微调，以实现所述真实物体图像的三维点云重建。
2.根据权利要求1所述的单视图彩色三维点云重建方法，其特征在于，获取任一兴趣图像，并利用图像编辑器对所述兴趣图像进行图像编辑，以得到形状隐编码以及颜色隐编码的步骤包括：
以ResNet50网络为核心架构构建图像编码器，并获取用户选取的任一张感兴趣的图像；
利用所述图像编码器对所述感兴趣的图像进行图像编辑，以得到形状隐编码以及颜色隐编码。
3.根据权利要求1所述的单视图彩色三维点云重建方法，其特征在于，基于扩散模型和所述形状隐编码进行点云重建，以得到具有目标形状的目标点云，并根据所述颜色隐编码为所述点云重建进行颜色预估，以得到所述目标点云中各点云的点云颜色的步骤包括：
定义条件扩散模型的反向扩散算法，并以所述形状隐编码为条件，通过所述条件扩散模型进行反向扩散获取具有目标形状的目标点云；
以所述颜色隐编码为条件，为所述条件扩散模型的反向扩散过程中每一步预估出的点云形状进行颜色预测，以得到所述目标点云中各点云的点云颜色。
4.根据权利要求1所述的单视图彩色三维点云重建方法，其特征在于，以真实物体图像作为约束，对所述预测点云图像的点云颜色以及点云形状进行优化的步骤包括：
对所述扩散模型的逆向过程中每一步预测出的噪声误差进行限制，并利用所述预测点云图像和所述真实物体图像之间的误差进行约束，从而实现对所述预测点云图像的点云状态以及点云颜色的优化。
5.根据权利要求1所述的单视图彩色三维点云重建方法，其特征在于，对优化后的预测点云图像进行结果微调，以实现所述真实物体图像的三维点云重建的步骤包括：
计算所述预测点云图像的点云中每个点与其他点之间的距离，以得到对应的离群点；
对所述离群点进行剪枝，并同步增加所述预测点云图像中的点云数量，以实现所述真实物体图像的三维点云重建。
6.根据权利要求3所述的单视图彩色三维点云重建方法，其特征在于，所述反向扩散算法的表达式为：
Figure QLYQS_1
；
式中，
Figure QLYQS_9
表示反向扩散算法，由形状隐编码/>
Figure QLYQS_3
和第/>
Figure QLYQS_14
时刻的点云/>
Figure QLYQS_11
作为条件，得到第
Figure QLYQS_19
时刻的点云/>
Figure QLYQS_8
的分布，其中，/>
Figure QLYQS_18
是神经网络参数，/>
Figure QLYQS_10
表示第/>
Figure QLYQS_17
时刻的点云，
Figure QLYQS_2
表示第/>
Figure QLYQS_12
时刻的点云，/>
Figure QLYQS_6
是由/>
Figure QLYQS_13
参数化的神经网络实现的估计平均值，
Figure QLYQS_7
为时间步长，/>
Figure QLYQS_15
为和时间相关的超参数，/>
Figure QLYQS_4
表示一个高斯分布， />
Figure QLYQS_16
表示兴趣图像，/>
Figure QLYQS_5
表示形状隐编码。
7.一种单视图彩色三维点云重建系统，其特征在于，包括：
图像编辑模块，用于获取任一兴趣图像，并利用图像编辑器对所述兴趣图像进行图像编辑，以得到形状隐编码以及颜色隐编码；
点云处理模块，用于基于扩散模型和所述形状隐编码进行点云重建，以得到具有目标形状的目标点云，并根据所述颜色隐编码为所述点云重建进行颜色预估，以得到所述目标点云中各点云的点云颜色；
图像渲染模块，用于根据所述目标点云所对应的相机参数得到采样点位置，并基于所述目标点云以及所述目标点云中各点云的点云颜色计算出各采样点位置的体密度和辐射度，以渲染出对应的预测点云图像；
点云重建模块，用于以真实物体图像作为约束，对所述预测点云图像的点云颜色以及点云形状进行优化，并对优化后的预测点云图像进行结果微调，以实现所述真实物体图像的三维点云重建。
8.根据权利要求7所述的单视图彩色三维点云重建系统，其特征在于，所述图像编辑模块包括：
图像获取单元，用于以ResNet50网络为核心架构构建图像编码器，并获取用户选取的任一张感兴趣的图像；
图像编辑单元，用于利用所述图像编码器对所述感兴趣的图像进行图像编辑，以得到形状隐编码以及颜色隐编码。
9.一种存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至5任一所述的单视图彩色三维点云重建方法。
10.一种计算机，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一所述的单视图彩色三维点云重建方法。
CN202310602036.6A 2023-05-26 2023-05-26 单视图彩色三维点云重建方法、系统、存储介质及计算机 Active CN116310153B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310602036.6A CN116310153B (zh) 2023-05-26 2023-05-26 单视图彩色三维点云重建方法、系统、存储介质及计算机

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310602036.6A CN116310153B (zh) 2023-05-26 2023-05-26 单视图彩色三维点云重建方法、系统、存储介质及计算机

Publications (2)

Publication Number Publication Date
CN116310153A true CN116310153A (zh) 2023-06-23
CN116310153B CN116310153B (zh) 2023-08-01

Family

ID=86783733

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310602036.6A Active CN116310153B (zh) 2023-05-26 2023-05-26 单视图彩色三维点云重建方法、系统、存储介质及计算机

Country Status (1)

Country Link
CN (1) CN116310153B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3468182A1 (en) * 2017-10-06 2019-04-10 InterDigital VC Holdings, Inc. A method and apparatus for encoding a point cloud representing three-dimensional objects
CN114863573A (zh) * 2022-07-08 2022-08-05 东南大学 一种基于单目rgb-d图像的类别级6d姿态估计方法
CN115690324A (zh) * 2022-11-15 2023-02-03 广州中思人工智能科技有限公司 一种基于点云的神经辐射场重建优化方法及装置
US20230103385A1 (en) * 2021-09-28 2023-04-06 The 38Th Research Institute Of China Electronics Technology Group Corporation 3d reconstruction method and apparatus

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3468182A1 (en) * 2017-10-06 2019-04-10 InterDigital VC Holdings, Inc. A method and apparatus for encoding a point cloud representing three-dimensional objects
US20230103385A1 (en) * 2021-09-28 2023-04-06 The 38Th Research Institute Of China Electronics Technology Group Corporation 3d reconstruction method and apparatus
CN114863573A (zh) * 2022-07-08 2022-08-05 东南大学 一种基于单目rgb-d图像的类别级6d姿态估计方法
CN115690324A (zh) * 2022-11-15 2023-02-03 广州中思人工智能科技有限公司 一种基于点云的神经辐射场重建优化方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
信寄遥;陈成军;李东年;: "基于RGB-D相机的多视角机械零件三维重建", 计算技术与自动化, no. 03 *
张博文;苏志祁;杨柳斌;张海峰;李宏玉;张立清;: "基于单目多视图三维重建方法的料堆体积测算", 烧结球团, no. 03 *

Also Published As

Publication number Publication date
CN116310153B (zh) 2023-08-01

Similar Documents

Publication Publication Date Title
Bi et al. Deep reflectance volumes: Relightable reconstructions from multi-view photometric images
CN108205803B (zh) 图像处理方法、神经网络模型的训练方法及装置
US10475165B2 (en) Kernel-predicting convolutional neural networks for denoising
Weiss et al. Volumetric isosurface rendering with deep learning-based super-resolution
KR101933860B1 (ko) 증강 현실에 대한 방사 전달 샘플링을 위한 장치 및 방법
US20220335636A1 (en) Scene reconstruction using geometry and reflectance volume representation of scene
Zimmer et al. Path‐space motion estimation and decomposition for robust animation filtering
KR20170005823A (ko) 필터링된 코어스 픽셀 쉐이딩을 위한 방법 및 장치
Yan et al. Fast 4D sheared filtering for interactive rendering of distribution effects
Weiss et al. Differentiable direct volume rendering
US8824834B2 (en) Adaptive sampling guided by multilateral filtering
US10832374B2 (en) Image decomposition and path-space motion estimation
WO2020104498A1 (en) Neural network systems for decomposing video data into layered representations
DE102021130031A1 (de) Erscheinungsbildgesteuerte automatische dreidimensionale modellierung
US11403807B2 (en) Learning hybrid (surface-based and volume-based) shape representation
CN115272565A (zh) 一种头部三维模型的重建方法及电子设备
CN110827341A (zh) 一种图片深度估计方法、装置和存储介质
CN116310153B (zh) 单视图彩色三维点云重建方法、系统、存储介质及计算机
US20210390665A1 (en) Gpu-based lens blur rendering using depth maps
US10922872B2 (en) Noise reduction on G-buffers for Monte Carlo filtering
EP3276577B1 (en) Hölder adaptive image synthesis
CN116883231B (zh) 鱼眼相机的图像数据生成方法、装置、设备及存储介质
CN117252787B (zh) 图像重新照明方法、模型训练方法、装置、设备及介质
CN115861401B (zh) 一种双目与点云融合深度恢复方法、装置和介质
CN117292041B (zh) 一种语义感知多视角三维人体重建方法、装置及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant