CN116310153A - 单视图彩色三维点云重建方法、系统、存储介质及计算机 - Google Patents
单视图彩色三维点云重建方法、系统、存储介质及计算机 Download PDFInfo
- Publication number
- CN116310153A CN116310153A CN202310602036.6A CN202310602036A CN116310153A CN 116310153 A CN116310153 A CN 116310153A CN 202310602036 A CN202310602036 A CN 202310602036A CN 116310153 A CN116310153 A CN 116310153A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- image
- color
- shape
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000003860 storage Methods 0.000 title claims abstract description 19
- 238000009792 diffusion process Methods 0.000 claims abstract description 63
- 238000005070 sampling Methods 0.000 claims abstract description 18
- 239000003086 colorant Substances 0.000 claims abstract description 10
- 238000009877 rendering Methods 0.000 claims abstract description 8
- 238000012545 processing Methods 0.000 claims description 14
- 238000004422 calculation algorithm Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 9
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 238000009826 distribution Methods 0.000 claims description 7
- 238000005457 optimization Methods 0.000 claims description 6
- 238000013138 pruning Methods 0.000 claims description 6
- 230000000452 restraining effect Effects 0.000 claims description 5
- 230000036962 time dependent Effects 0.000 claims description 3
- 238000012549 training Methods 0.000 abstract description 6
- 230000006870 function Effects 0.000 description 6
- 230000005855 radiation Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 3
- 230000001537 neural effect Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 210000005036 nerve Anatomy 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000002834 transmittance Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- Architecture (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Image Generation (AREA)
Abstract
本发明提供一种单视图彩色三维点云重建方法、系统、存储介质及计算机,该方法包括:利用图像编辑器对兴趣图像进行图像编辑得到形状隐编码及颜色隐编码;基于扩散模型和形状隐编码进行点云重建得到目标点云,并根据颜色隐编码进行颜色预估得到目标点云中各点云的点云颜色;根据目标点云的相机参数得到采样点位置,并基于目标点云及点云颜色计算出各采样点位置的体密度和辐射度渲染出预测点云图像;对预测点云图像的点云颜色及点云形状进行优化及结果微调实现真实物体图像的三维点云重建。本发明以单张视图作为条件,利用扩散模型重建出粗略的物体点云形状及生成颜色,解决现有网络生成质量不高、训练比较困难的问题。
Description
技术领域
本发明涉及图像处理技术领域,特别涉及一种单视图彩色三维点云重建方法、系统、存储介质及计算机。
背景技术
三维形状重建是计算机图形学和计算机视觉的一个基本研究课题。在过去的几十年里,点云由于其简单性和紧凑性,一直是一种流行的三维形状表示。虽然近年来三维扫描硬件取得了很大的发展,但它不能满足工业的需求。一方面,扫描大量的真实模型既费钱又费时。另一方面,在很多情况下,设计师想生成一些现实世界中可能不存在的新颖的三维形状。因此,三维形状的重建或生成仍然是计算机视觉的一个重要研究问题。
重建工作在日常使用环境中面对的条件往往较为极端,用户经常希望只拍摄一张图片就直接可以重建出质量较高的三维形状,现有方法在这个要求上还有所欠缺。单视图会天然地造成信息缺失问题,非深度学习方法很难处理。而现有的从单视图中重建点云的深度学习方法解决这个问题的思路是给模型加入一定的生成能力,从而使图像空间到物体点云空间的跨越更加容易。但是,现有方法使用的网络基本为自编码网络和生成对抗网络,它们普遍存在生成质量不高、训练比较困难等问题。同时为了增加点云重建精度,现有方法大都会使用重投影把三维点云再重新转化为二维掩码或者深度图像。这种类光栅化的方法经常会导致多个点被投影到一个像素上,造成较大误差。这个问题是由光栅化的原理导致的,现有方法针对其提出的改进思路只能缓解而不能解决。另一方面,现在基于单视图的点云重建方法几乎都没有考虑颜色问题,但是色彩是人类感知的重要一环,对于三维重建的质量至关重要。
发明内容
基于此,本发明的目的是提供一种单视图彩色三维点云重建方法、系统、存储介质及计算机,以至少解决上述相关技术中的不足。
本发明提出一种单视图彩色三维点云重建方法,包括:
获取任一兴趣图像,并利用图像编辑器对所述兴趣图像进行图像编辑,以得到形状隐编码以及颜色隐编码;
基于扩散模型和所述形状隐编码进行点云重建,以得到具有目标形状的目标点云,并根据所述颜色隐编码为所述点云重建进行颜色预估,以得到所述目标点云中各点云的点云颜色;
根据所述目标点云所对应的相机参数得到采样点位置,并基于所述目标点云以及所述目标点云中各点云的点云颜色计算出各采样点位置的体密度和辐射度,以渲染出对应的预测点云图像;
以真实物体图像作为约束,对所述预测点云图像的点云颜色以及点云形状进行优化,并对优化后的预测点云图像进行结果微调,以实现所述真实物体图像的三维点云重建。
进一步的,获取任一兴趣图像,并利用图像编辑器对所述兴趣图像进行图像编辑,以得到形状隐编码以及颜色隐编码的步骤包括:
以ResNet50网络为核心架构构建图像编码器,并获取用户选取的任一张感兴趣的图像;
利用所述图像编码器对所述感兴趣的图像进行图像编辑,以得到形状隐编码以及颜色隐编码。
进一步的,基于扩散模型和所述形状隐编码进行点云重建,以得到具有目标形状的目标点云,并根据所述颜色隐编码为所述点云重建进行颜色预估,以得到所述目标点云中各点云的点云颜色的步骤包括:
定义条件扩散模型的反向扩散算法,并以所述形状隐编码为条件,通过所述条件扩散模型进行反向扩散获取具有目标形状的目标点云;
以所述颜色隐编码为条件,为所述条件扩散模型的反向扩散过程中每一步预估出的点云形状进行颜色预测,以得到所述目标点云中各点云的点云颜色。
进一步的,以真实物体图像作为约束,对所述预测点云图像的点云颜色以及点云形状进行优化的步骤包括:
对所述扩散模型的逆向过程中每一步预测出的噪声误差进行限制,并利用所述预测点云图像和所述真实物体图像之间的误差进行约束,从而实现对所述预测点云图像的点云状态以及点云颜色的优化。
进一步的,对优化后的预测点云图像进行结果微调,以实现所述真实物体图像的三维点云重建的步骤包括:
计算所述预测点云图像的点云中每个点与其他点之间的距离,以得到对应的离群点;
对所述离群点进行剪枝,并同步增加所述预测点云图像中的点云数量,以实现所述真实物体图像的三维点云重建。
进一步的,所述反向扩散算法的表达式为:
式中,表示反向扩散算法,由形状隐编码/>和第/>时刻的点云/>作为条件,得到第/>时刻的点云/>的分布,其中,/>是神经网络参数,/>表示第/>时刻的点云,/>表示第/>时刻的点云,/>是由/>参数化的神经网络实现的估计平均值,为时间步长,/>为和时间相关的超参数,/>表示一个高斯分布,/>表示兴趣图像,/>表示形状隐编码。
本发明还提出一种单视图彩色三维点云重建系统,包括:
图像编辑模块,用于获取任一兴趣图像,并利用图像编辑器对所述兴趣图像进行图像编辑,以得到形状隐编码以及颜色隐编码;
点云处理模块,用于基于扩散模型和所述形状隐编码进行点云重建,以得到具有目标形状的目标点云,并根据所述颜色隐编码为所述点云重建进行颜色预估,以得到所述目标点云中各点云的点云颜色;
图像渲染模块,用于根据所述目标点云所对应的相机参数得到采样点位置,并基于所述目标点云以及所述目标点云中各点云的点云颜色计算出各采样点位置的体密度和辐射度,以渲染出对应的预测点云图像;
点云重建模块,用于以真实物体图像作为约束,对所述预测点云图像的点云颜色以及点云形状进行优化,并对优化后的预测点云图像进行结果微调,以实现所述真实物体图像的三维点云重建。
进一步的,所述图像编辑模块包括:
图像获取单元,用于以ResNet50网络为核心架构构建图像编码器,并获取用户选取的任一张感兴趣的图像;
图像编辑单元,用于利用所述图像编码器对所述感兴趣的图像进行图像编辑,以得到形状隐编码以及颜色隐编码。
进一步的,所述点云处理模块包括:
第一点云处理单元,用于定义条件扩散模型的反向扩散算法,并以所述形状隐编码为条件,通过所述条件扩散模型进行反向扩散获取具有目标形状的目标点云;
第二点云处理单元,用于以所述颜色隐编码为条件,为所述条件扩散模型的反向扩散过程中每一步预估出的点云形状进行颜色预测,以得到所述目标点云中各点云的点云颜色。
进一步的,所述点云重建模块包括:
点云优化单元,用于对所述扩散模型的逆向过程中每一步预测出的噪声误差进行限制,并利用所述预测点云图像和所述真实物体图像之间的误差进行约束,从而实现对所述预测点云图像的点云状态以及点云颜色的优化。
进一步的,所述点云重建模块还包括:
点云距离计算单元,用于计算所述预测点云图像的点云中每个点与其他点之间的距离,以得到对应的离群点;
点云重建单元,用于对所述离群点进行剪枝,并同步增加所述预测点云图像中的点云数量,以实现所述真实物体图像的三维点云重建。
本发明还提出一种存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述的单视图彩色三维点云重建方法。
本发明还提出一种计算机,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述的单视图彩色三维点云重建方法。
与现有技术相比,本发明的有益效果是:以单张视图作为条件,利用扩散模型重建出粗略的物体点云形状,并生成颜色,解决了现有网络生成质量不高、训练比较困难的问题。为了提高物体点云细节和色彩真实感,利用类神经辐射场的方法对重建的粗略点云进行重渲染,把渲染图片和原图片进行对比来优化点云形状和颜色,以增强效果;能够在数据集中没有点云颜色的情况下端到端地优化点云形状和颜色,而不需要带颜色的点云作为真值,也不需要分多步训练,实现和使用方便。
附图说明
图1为本发明第一实施例中单视图彩色三维点云重建方法的流程图;
图2为图1中步骤S101的详细流程图;
图3为本发明第一实施例中单视图彩色三维点云重建的工作流程图;
图4为图1中步骤S102的详细流程图;
图5为图1中步骤S104的详细流程图;
图6为本发明第一实施例中单视图彩色三维点云重建方法的结果示意图;
图7为本发明第二实施例中单视图彩色三维点云重建系统的结构框图;
图8为本发明第三实施例中计算机的结构框图。
如下具体实施方式将结合上述附图进一步说明本发明。
具体实施方式
为了便于理解本发明,下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的若干实施例。但是,本发明可以以许多不同的形式来实现,并不限于本文所描述的实施例。相反地,提供这些实施例的目的是使对本发明的公开内容更加透彻全面。
需要说明的是,当元件被称为“固设于”另一个元件,它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件,它可以是直接连接到另一个元件或者可能同时存在居中元件。本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
实施例一
请参阅图1,所示为本发明第一实施例中的单视图彩色三维点云重建方法,所述方法具体包括步骤S101至S104:
S101,获取任一兴趣图像,并利用图像编辑器对所述兴趣图像进行图像编辑,以得到形状隐编码以及颜色隐编码;
进一步的,请参阅图2,所述步骤S101具体包括步骤S1011~S1012:
S1011,以ResNet50网络为核心架构构建图像编码器,并获取用户选取的任一张感兴趣的图像;
S1012,利用所述图像编码器对所述感兴趣的图像进行图像编辑,以得到形状隐编码以及颜色隐编码。
如图3所示的工作流程图,本实施例实现基于扩散模型和神经辐射场的单视图彩色三维点云重建的步骤如下:
基于扩散模型的点云重建:扩散模型可以从一团噪声点云中进行去噪从而生成各种各样的形状,而以图像作为条件来引导去噪方向就可以重建出特定的形状。其中,用户选取一张感兴趣的图片作为条件。以ResNet50网络作为图像编码器的核心架构,将图像/>输入图像编码器得到一个形状隐编码/>;
进一步的,由于图像中天然包含着颜色信息,但是以往的方法往往只关注于形状而忽略了颜色。而如何将图像中的二维色彩映射回三维物体亦是一个颇具挑战性的问题,本实施例中使用图像颜色编码去调制三维点云。
S102,基于扩散模型和所述形状隐编码进行点云重建,以得到具有目标形状的目标点云,并根据所述颜色隐编码为所述点云重建进行颜色预估,以得到所述目标点云中各点云的点云颜色;
进一步的,请参阅图4,所述步骤S102具体包括步骤S1021~S1022:
S1021,定义条件扩散模型的反向扩散算法,并以所述形状隐编码为条件,通过所述条件扩散模型进行反向扩散获取具有目标形状的目标点云;
S1022,以所述颜色隐编码为条件,为所述条件扩散模型的反向扩散过程中每一步预估出的点云形状进行颜色预测,以得到所述目标点云中各点云的点云颜色。
在具体实施时,定义条件扩散模型的反向扩散过程公式:
式中,表示反向扩散算法,由形状隐编码/>和第/>时刻的点云/>作为条件,得到第/>时刻的点云/>的分布,其中,/>是神经网络参数,/>表示第/>时刻的点云,/>表示第/>时刻的点云,/>是由/>参数化的神经网络实现的估计平均值,为时间步长,/>为和时间相关的超参数,/>表示一个高斯分布,初始分布/>设置为标准正态分布/>,/>为点云中点的数量,/>表示兴趣图像,/>表示形状隐编码,将上述的形状隐编码/>为条件,本发明将一组从/>采样的点通过反向马尔可夫链来获得具有目标形状的点云/>。
S103,根据所述目标点云所对应的相机参数得到采样点位置,并基于所述目标点云以及所述目标点云中各点云的点云颜色计算出各采样点位置的体密度和辐射度,以渲染出对应的预测点云图像;
在具体实施时,在数据集中并不包含真实的点云颜色,因此需要对上述得到的点云颜色进行优化,本实施例采用类神经辐射场的可微渲染方法来解决此问题,即渲染出预测点云的图像。其中,根据已知图片的相机参数/>得到在空间中的采样点位置。具体来说,可以看作是相机沿着图像中的每个像素都发出了一条光线,采样即是在这些光线上进行。一个像素的辐射度可以通过使一条光线穿过像素,沿光线在空间/>处采样/>个着色点,并使用体积密度累积辐射度来计算。其计算公式定义如下:
其中,表示体透过率;/>和/>是/>处每个着色点/>的体积密度和辐射度,/>表示一根光线上采样点的数量,/>表示在着色点/>的体透过率,/>是相邻着色样本之间的距离,也就是说,只要知道了每个采样的着色点处的体密度和辐射度,神经辐射场就可以渲染出此时视角的一张图像;
S104,以真实物体图像作为约束,对所述预测点云图像的点云颜色以及点云形状进行优化,并对优化后的预测点云图像进行结果微调,以实现所述真实物体图像的三维点云重建。
进一步的,请参阅图5,所述步骤S104具体包括步骤S1041~S1043:
S1041,对所述扩散模型的逆向过程中每一步预测出的噪声误差进行限制,并利用所述预测点云图像和所述真实物体图像之间的误差进行约束,从而实现对所述预测点云图像的点云状态以及点云颜色的优化;
S1042,计算所述预测点云图像的点云中每个点与其他点之间的距离,以得到对应的离群点;
S1043,对所述离群点进行剪枝,并同步增加所述预测点云图像中的点云数量,以实现所述真实物体图像的三维点云重建。
在具体实施时,扩散模型自身的损失以及预测点云和真实点云之间的Chamfer距离都可以对点云形状进行约束。同时,根据上述得到的预测点云图像,再以真实物体图像作为约束就可以对点云形状和颜色进行优化。
具体的,对于扩散模型的逆向过程对其每一步预测出的噪声误差进行限制,以保证最终点云形状的准确性。因此,目标函数如下:
进一步的,为了进一步增加点云质量,需要对生成点云和真实点云之间的误差进行约束。目标函数如下:
计算上述点云中每个点和其他点的距离,找到离群点,直接对离群点进行剪枝,同时为了防止点云中点数量的减少,需要对点进行同步增加。获得增加点位置的详细步骤如下:计算每个点和周围最近N个点距离的平均值,那么平均值越小的点则可以认为它处在区域的点密度越大;将所有的点以距离大小升序排列,根据剪掉点的数量获取序列中前面相同数量的点;将这些点加上一个微小的扰动即是需要加入点云的新点。
最终结果如图6所示,第一列为输入的单视图,即参考图像,第二列到第五列是逆扩散过程中的重建点云及其颜色,第六列是由第五列的点云通过类神经辐射场方法渲染出的图片。可以看出,本实施例可以成功地重建处单视图目标图像中的点云形状且能很好的将原图像中的物体颜色自然映射到三维物体上去。
综上,本发明上述实施例当中的单视图彩色三维点云重建方法,以单张视图作为条件,利用扩散模型重建出粗略的物体点云形状,并生成颜色,解决了现有网络生成质量不高、训练比较困难的问题。为了提高物体点云细节和色彩真实感,利用类神经辐射场的方法对重建的粗略点云进行重渲染,把渲染图片和原图片进行对比来优化点云形状和颜色,以增强效果;能够在数据集中没有点云颜色的情况下端到端地优化点云形状和颜色,而不需要带颜色的点云作为真值,也不需要分多步训练,实现和使用方便。
实施例二
本发明另一方面还提出一种单视图彩色三维点云重建系统,请查阅图7,所示为本发明第二实施例中的单视图彩色三维点云重建系统,包括:
图像编辑模块11,用于获取任一兴趣图像,并利用图像编辑器对所述兴趣图像进行图像编辑,以得到形状隐编码以及颜色隐编码;
进一步的,所述图像编辑模块11包括:
图像获取单元,用于以ResNet50网络为核心架构构建图像编码器,并获取用户选取的任一张感兴趣的图像;
图像编辑单元,用于利用所述图像编码器对所述感兴趣的图像进行图像编辑,以得到形状隐编码以及颜色隐编码。
点云处理模块12,用于基于扩散模型和所述形状隐编码进行点云重建,以得到具有目标形状的目标点云,并根据所述颜色隐编码为所述点云重建进行颜色预估,以得到所述目标点云中各点云的点云颜色;
进一步的,所述点云处理模块12包括:
第一点云处理单元,用于定义条件扩散模型的反向扩散算法,并以所述形状隐编码为条件,通过所述条件扩散模型进行反向扩散获取具有目标形状的目标点云;
第二点云处理单元,用于以所述颜色隐编码为条件,为所述条件扩散模型的反向扩散过程中每一步预估出的点云形状进行颜色预测,以得到所述目标点云中各点云的点云颜色。
图像渲染模块13,用于根据所述目标点云所对应的相机参数得到采样点位置,并基于所述目标点云以及所述目标点云中各点云的点云颜色计算出各采样点位置的体密度和辐射度,以渲染出对应的预测点云图像;
点云重建模块14,用于以真实物体图像作为约束,对所述预测点云图像的点云颜色以及点云形状进行优化,并对优化后的预测点云图像进行结果微调,以实现所述真实物体图像的三维点云重建。
进一步的,所述点云重建模块14包括:
点云优化单元,用于对所述扩散模型的逆向过程中每一步预测出的噪声误差进行限制,并利用所述预测点云图像和所述真实物体图像之间的误差进行约束,从而实现对所述预测点云图像的点云状态以及点云颜色的优化。
进一步的,所述点云重建模块14还包括:
点云距离计算单元,用于计算所述预测点云图像的点云中每个点与其他点之间的距离,以得到对应的离群点;
点云重建单元,用于对所述离群点进行剪枝,并同步增加所述预测点云图像中的点云数量,以实现所述真实物体图像的三维点云重建。
上述各模块、单元被执行时所实现的功能或操作步骤与上述方法实施例大体相同,在此不再赘述。
本发明实施例所提供的单视图彩色三维点云重建系统,其实现原理及产生的技术效果和前述方法实施例相同,为简要描述,系统实施例部分未提及之处,可参考前述方法实施例中相应内容。
实施例三
本发明还提出一种计算机,请参阅图8,所示为本发明第三实施例中的计算机,包括存储器10、处理器20以及存储在所述存储器10上并可在所述处理器20上运行的计算机程序30,所述处理器20执行所述计算机程序30时实现上述的单视图彩色三维点云重建方法。
其中,存储器10至少包括一种类型的存储介质,所述存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、磁性存储器、磁盘、光盘等。存储器10在一些实施例中可以是计算机的内部存储单元,例如该计算机的硬盘。存储器10在另一些实施例中也可以是外部存储装置,例如插接式硬盘,智能存储卡(Smart Media Card, SMC),安全数字(Secure Digital, SD)卡,闪存卡(Flash Card)等。进一步地,存储器10还可以既包括计算机的内部存储单元也包括外部存储装置。存储器10不仅可以用于存储安装于计算机的应用软件及各类数据,还可以用于暂时地存储已经输出或者将要输出的数据。
其中,处理器20在一些实施例中可以是电子控制单元 (Electronic ControlUnit,简称ECU,又称行车电脑)、中央处理器(Central Processing Unit, CPU)、控制器、微控制器、微处理器或其他数据处理芯片,用于运行存储器10中存储的程序代码或处理数据,例如执行访问限制程序等。
需要指出的是,图8示出的结构并不构成对计算机的限定,在其它实施例当中,该计算机可以包括比图示更少或者更多的部件,或者组合某些部件,或者不同的部件布置。
本发明实施例还提出一种存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述的单视图彩色三维点云重建方法。
本领域技术人员可以理解,在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机存储介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,“计算机存储介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机存储介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机存储介质甚至可以是可在其上打印所述程序的纸或其他合适的存储介质,因为可以例如通过对纸或其他存储介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或它们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种单视图彩色三维点云重建方法,其特征在于,包括:
获取任一兴趣图像,并利用图像编辑器对所述兴趣图像进行图像编辑,以得到形状隐编码以及颜色隐编码;
基于扩散模型和所述形状隐编码进行点云重建,以得到具有目标形状的目标点云,并根据所述颜色隐编码为所述点云重建进行颜色预估,以得到所述目标点云中各点云的点云颜色;
根据所述目标点云所对应的相机参数得到采样点位置,并基于所述目标点云以及所述目标点云中各点云的点云颜色计算出各采样点位置的体密度和辐射度,以渲染出对应的预测点云图像;
以真实物体图像作为约束,对所述预测点云图像的点云颜色以及点云形状进行优化,并对优化后的预测点云图像进行结果微调,以实现所述真实物体图像的三维点云重建。
2.根据权利要求1所述的单视图彩色三维点云重建方法,其特征在于,获取任一兴趣图像,并利用图像编辑器对所述兴趣图像进行图像编辑,以得到形状隐编码以及颜色隐编码的步骤包括:
以ResNet50网络为核心架构构建图像编码器,并获取用户选取的任一张感兴趣的图像;
利用所述图像编码器对所述感兴趣的图像进行图像编辑,以得到形状隐编码以及颜色隐编码。
3.根据权利要求1所述的单视图彩色三维点云重建方法,其特征在于,基于扩散模型和所述形状隐编码进行点云重建,以得到具有目标形状的目标点云,并根据所述颜色隐编码为所述点云重建进行颜色预估,以得到所述目标点云中各点云的点云颜色的步骤包括:
定义条件扩散模型的反向扩散算法,并以所述形状隐编码为条件,通过所述条件扩散模型进行反向扩散获取具有目标形状的目标点云;
以所述颜色隐编码为条件,为所述条件扩散模型的反向扩散过程中每一步预估出的点云形状进行颜色预测,以得到所述目标点云中各点云的点云颜色。
4.根据权利要求1所述的单视图彩色三维点云重建方法,其特征在于,以真实物体图像作为约束,对所述预测点云图像的点云颜色以及点云形状进行优化的步骤包括:
对所述扩散模型的逆向过程中每一步预测出的噪声误差进行限制,并利用所述预测点云图像和所述真实物体图像之间的误差进行约束,从而实现对所述预测点云图像的点云状态以及点云颜色的优化。
5.根据权利要求1所述的单视图彩色三维点云重建方法,其特征在于,对优化后的预测点云图像进行结果微调,以实现所述真实物体图像的三维点云重建的步骤包括:
计算所述预测点云图像的点云中每个点与其他点之间的距离,以得到对应的离群点;
对所述离群点进行剪枝,并同步增加所述预测点云图像中的点云数量,以实现所述真实物体图像的三维点云重建。
7.一种单视图彩色三维点云重建系统,其特征在于,包括:
图像编辑模块,用于获取任一兴趣图像,并利用图像编辑器对所述兴趣图像进行图像编辑,以得到形状隐编码以及颜色隐编码;
点云处理模块,用于基于扩散模型和所述形状隐编码进行点云重建,以得到具有目标形状的目标点云,并根据所述颜色隐编码为所述点云重建进行颜色预估,以得到所述目标点云中各点云的点云颜色;
图像渲染模块,用于根据所述目标点云所对应的相机参数得到采样点位置,并基于所述目标点云以及所述目标点云中各点云的点云颜色计算出各采样点位置的体密度和辐射度,以渲染出对应的预测点云图像;
点云重建模块,用于以真实物体图像作为约束,对所述预测点云图像的点云颜色以及点云形状进行优化,并对优化后的预测点云图像进行结果微调,以实现所述真实物体图像的三维点云重建。
8.根据权利要求7所述的单视图彩色三维点云重建系统,其特征在于,所述图像编辑模块包括:
图像获取单元,用于以ResNet50网络为核心架构构建图像编码器,并获取用户选取的任一张感兴趣的图像;
图像编辑单元,用于利用所述图像编码器对所述感兴趣的图像进行图像编辑,以得到形状隐编码以及颜色隐编码。
9.一种存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现如权利要求1至5任一所述的单视图彩色三维点云重建方法。
10.一种计算机,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至5任一所述的单视图彩色三维点云重建方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310602036.6A CN116310153B (zh) | 2023-05-26 | 2023-05-26 | 单视图彩色三维点云重建方法、系统、存储介质及计算机 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310602036.6A CN116310153B (zh) | 2023-05-26 | 2023-05-26 | 单视图彩色三维点云重建方法、系统、存储介质及计算机 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116310153A true CN116310153A (zh) | 2023-06-23 |
CN116310153B CN116310153B (zh) | 2023-08-01 |
Family
ID=86783733
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310602036.6A Active CN116310153B (zh) | 2023-05-26 | 2023-05-26 | 单视图彩色三维点云重建方法、系统、存储介质及计算机 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116310153B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117893691A (zh) * | 2024-02-05 | 2024-04-16 | 哈尔滨工业大学 | 基于三平面特征表示和视角条件扩散模型的结构智能三维重构方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3468182A1 (en) * | 2017-10-06 | 2019-04-10 | InterDigital VC Holdings, Inc. | A method and apparatus for encoding a point cloud representing three-dimensional objects |
CN114863573A (zh) * | 2022-07-08 | 2022-08-05 | 东南大学 | 一种基于单目rgb-d图像的类别级6d姿态估计方法 |
CN115690324A (zh) * | 2022-11-15 | 2023-02-03 | 广州中思人工智能科技有限公司 | 一种基于点云的神经辐射场重建优化方法及装置 |
US20230103385A1 (en) * | 2021-09-28 | 2023-04-06 | The 38Th Research Institute Of China Electronics Technology Group Corporation | 3d reconstruction method and apparatus |
-
2023
- 2023-05-26 CN CN202310602036.6A patent/CN116310153B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3468182A1 (en) * | 2017-10-06 | 2019-04-10 | InterDigital VC Holdings, Inc. | A method and apparatus for encoding a point cloud representing three-dimensional objects |
US20230103385A1 (en) * | 2021-09-28 | 2023-04-06 | The 38Th Research Institute Of China Electronics Technology Group Corporation | 3d reconstruction method and apparatus |
CN114863573A (zh) * | 2022-07-08 | 2022-08-05 | 东南大学 | 一种基于单目rgb-d图像的类别级6d姿态估计方法 |
CN115690324A (zh) * | 2022-11-15 | 2023-02-03 | 广州中思人工智能科技有限公司 | 一种基于点云的神经辐射场重建优化方法及装置 |
Non-Patent Citations (2)
Title |
---|
信寄遥;陈成军;李东年;: "基于RGB-D相机的多视角机械零件三维重建", 计算技术与自动化, no. 03 * |
张博文;苏志祁;杨柳斌;张海峰;李宏玉;张立清;: "基于单目多视图三维重建方法的料堆体积测算", 烧结球团, no. 03 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117893691A (zh) * | 2024-02-05 | 2024-04-16 | 哈尔滨工业大学 | 基于三平面特征表示和视角条件扩散模型的结构智能三维重构方法 |
CN117893691B (zh) * | 2024-02-05 | 2024-08-20 | 哈尔滨工业大学 | 基于三平面特征表示和视角条件扩散模型的结构智能三维重构方法 |
Also Published As
Publication number | Publication date |
---|---|
CN116310153B (zh) | 2023-08-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Bi et al. | Deep reflectance volumes: Relightable reconstructions from multi-view photometric images | |
CN108205803B (zh) | 图像处理方法、神经网络模型的训练方法及装置 | |
US10475165B2 (en) | Kernel-predicting convolutional neural networks for denoising | |
Weiss et al. | Volumetric isosurface rendering with deep learning-based super-resolution | |
KR101933860B1 (ko) | 증강 현실에 대한 방사 전달 샘플링을 위한 장치 및 방법 | |
US20220335636A1 (en) | Scene reconstruction using geometry and reflectance volume representation of scene | |
Zimmer et al. | Path‐space motion estimation and decomposition for robust animation filtering | |
Weiss et al. | Differentiable direct volume rendering | |
Yan et al. | Fast 4D sheared filtering for interactive rendering of distribution effects | |
CN116310153B (zh) | 单视图彩色三维点云重建方法、系统、存储介质及计算机 | |
US10832374B2 (en) | Image decomposition and path-space motion estimation | |
US8824834B2 (en) | Adaptive sampling guided by multilateral filtering | |
CN112529776B (zh) | 图像处理模型的训练方法、图像处理方法及装置 | |
US20240169479A1 (en) | Video generation with latent diffusion models | |
EP3857457A1 (en) | Neural network systems for decomposing video data into layered representations | |
CN110827341A (zh) | 一种图片深度估计方法、装置和存储介质 | |
CN117292041B (zh) | 一种语义感知多视角三维人体重建方法、装置及介质 | |
CN115861401B (zh) | 一种双目与点云融合深度恢复方法、装置和介质 | |
US10922872B2 (en) | Noise reduction on G-buffers for Monte Carlo filtering | |
KR20220154782A (ko) | 복수의 이미지의 정렬 훈련 | |
CN116883231B (zh) | 鱼眼相机的图像数据生成方法、装置、设备及存储介质 | |
CN117252787B (zh) | 图像重新照明方法、模型训练方法、装置、设备及介质 | |
US20230252714A1 (en) | Shape and appearance reconstruction with deep geometric refinement | |
CN118570100A (zh) | 一种基于神经辐射场的视频漂浮伪影去除方法和系统 | |
Bergman | Learning Priors for Neural Scene Representations |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |