CN116051736A - 一种三维重建方法、装置、边缘设备和存储介质 - Google Patents

一种三维重建方法、装置、边缘设备和存储介质 Download PDF

Info

Publication number
CN116051736A
CN116051736A CN202211703540.7A CN202211703540A CN116051736A CN 116051736 A CN116051736 A CN 116051736A CN 202211703540 A CN202211703540 A CN 202211703540A CN 116051736 A CN116051736 A CN 116051736A
Authority
CN
China
Prior art keywords
cloud data
dimensional
point cloud
visible light
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211703540.7A
Other languages
English (en)
Inventor
宋力争
殷保才
李华清
张圆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
iFlytek Co Ltd
Original Assignee
iFlytek Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by iFlytek Co Ltd filed Critical iFlytek Co Ltd
Priority to CN202211703540.7A priority Critical patent/CN116051736A/zh
Publication of CN116051736A publication Critical patent/CN116051736A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects

Abstract

本申请公开了一种三维重建方法、装置、边缘设备和存储介质,该方法包括:获取可见光相机和深度相机对目标对象同步拍摄到的可见光图像和深度图像;基于可见光图像进行稀疏重建,得到稀疏点云数据;其中,稀疏点云数据包含可见光图像中特征点反投影后的第一三维点;基于深度图像在稀疏点云数据中筛选第一三维点,得到第一目标点云数据;至少基于第一目标点云数据进行稠密重建,得到目标对象的三维模型。通过上述方式,本申请能够提高三维重建的效率和精度。

Description

一种三维重建方法、装置、边缘设备和存储介质
技术领域
本申请涉及图像处理技术领域,特别是涉及一种三维重建方法、装置、边缘设备和存储介质。
背景技术
随着工业技术不断更新,计算机视觉得以快速发展,给人们的生活带来很多便利。利用摄像机获取周围场景的二维信息已经无法满足科技发展的需求,人们更需要从图片中获取场景的空间感、距离信息。因此,如何获取周围世界的三维信息慢慢成为很多研究者的研究热点。
发明内容
本申请主要解决的技术问题是提供一种三维重建方法、装置、边缘设备和存储介质,能够提高三维重建的效率和精度。
为解决上述技术问题,本申请采用的一个技术方案是:提供一种三维重建方法,该方法包括:获取可见光相机和深度相机对目标对象同步拍摄到的可见光图像和深度图像;基于可见光图像进行稀疏重建,得到稀疏点云数据;其中,稀疏点云数据包含可见光图像中特征点反投影后的第一三维点;基于深度图像在稀疏点云数据中筛选第一三维点,得到第一目标点云数据;至少基于第一目标点云数据进行稠密重建,得到目标对象的三维模型。
为解决上述技术问题,本申请采用的另一个技术方案是:提供一种三维重建装置,该装置包括图像获取模块、稀疏重建模块、点云筛选模块和稠密重建模块;图像获取模块用于获取可见光相机和深度相机对目标对象同步拍摄到的可见光图像和深度图像;稀疏重建模块用于基于可见光图像进行稀疏重建,得到稀疏点云数据;其中,稀疏点云数据包含可见光图像中特征点反投影后的第一三维点;点云筛选模块用于基于深度图像在稀疏点云数据中筛选第一三维点,得到第一目标点云数据;稠密重建模块用于至少基于第一目标点云数据进行稠密重建,得到目标对象的三维模型。
为解决上述技术问题,本申请采用的另一个技术方案是:提供一种图像处理装置,该装置包括相互耦接的存储器和处理器,存储器中存储有程序指令,处理器用于执行程序指令以实现上述的三维重建方法。
为解决上述技术问题,本申请采用的另一个技术方案是:提供一种边缘设备,该边缘设备包括上述的图像处理装置以及分别与图像处理装置连接的可见光相机和深度相机;其中,可见光相机用于拍摄可见光图像,深度相机与可见光相机同步拍摄深度图像,图像处理装置用于基于可见光图像和深度图像对拍摄对象进行三维重建。
为解决上述技术问题,本申请采用的另一个技术方案是:提供一种计算机可读存储介质,该计算机可读存储介质有能够被处理器运行的程序指令,程序指令用于实现上述的三维重建方法。
上述技术方案,基于深度图像在稀疏点云数据中筛选第一三维点,得到第一目标点云数据,并至少基于第一目标点云数据进行稠密重建,得到目标对象的三维模型。故,会结合深度图像对稀疏点云数据进行筛选,以筛选出精度较高的稀疏点云数据,从而使得至少基于稀疏点云数据进行稠密重建得到的目标对象的三维模型的精度较高。
附图说明
图1是本申请提供的三维重建方法一实施例的流程示意图;
图2是本申请提供的筛选符合要求的第二三维点一实施例的流程示意图;
图3是图1所示步骤S13一实施例的流程示意图;
图4是本申请提供的三维重建装置一实施例的结构示意图;
图5是本申请提供的图像处理装置一实施例的结构示意图;
图6是本申请提供的计算机可读存储介质一实施例的结构示意图;
图7是本申请提供的边缘设备一实施例的结构示意图。
具体实施方式
下面结合说明书附图,对本申请实施例的方案进行详细说明。
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、接口、技术之类的具体细节,以便透彻理解本申请。
本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。此外,本文中的“多”表示两个或者多于两个。另外,本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合,例如,包括A、B、C中的至少一种,可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
请参阅图1,图1是本申请提供的三维重建方法一实施例的流程示意图。需注意的是,若有实质上相同的结果,本实施例并不以图1所示的流程顺序为限。如图1所示,本实施例包括:
步骤S11:获取可见光相机和深度相机对目标对象同步拍摄到的可见光图像和深度图像。
本实施例的方法用于对目标对象进行三维重建。其中,本文所述的目标对象包括但不限于物体、人、空间环境等,即,本申请提供的三维重建方法能够对某一物体、某一空间等实现三维重建。另外,本申请提供的三维重建方法具有可应用的领域包括但不限于扫地机器人、陪伴机器人、教学机器人、自动驾驶等,在此不做具体限定。
本实施方式中,获取可见光相机和深度相机对目标对象同步拍摄到的可见光图像和深度图像,以使得后续完成基于可见光相机和深度相机同步拍摄到的可见光图像和深度图像完成对目标对象的三维重建,提高了三维重建的效率和精度。其中,可见光相机包括但不限于普通相机、广角相机、鱼眼相机等,深度相机包括但不限于iTof深度相机等,在此不做具体限定。
在一实施方式中,可见光相机为单目可见光相机。需要说明的是,在可见光相机为单目可见光相机时,单目可见光相机和深度相机需要在多个不同视角下同步对目标对象进行拍摄,即,后续是基于单目可见光相机和深度相机同步拍摄到的可见光图像和深度图像完成多个视角的目标对象三维重建;另外,后续基于单目可见光相机采集到的多视角可见光图像进行三维重建的效率高,所以能够整体提高三维重建的效率。
在一实施方式中,可见光相机和深度相机对目标对象同步拍摄到的可见光图像和深度图像,具体可以从本地存储或者云端存储中获取得到。当然,在其他实施方式中,可见光相机和深度相机对目标对象同步拍摄到的可见光图像和深度图像,也可以是利用可见光相机和深度相机实时对目标对象进行拍摄而得到的,在此不做具体限定。
步骤S12:基于可见光图像进行稀疏重建,得到稀疏点云数据。
本实施方式中,基于可见光图像进行稀疏重建,得到稀疏点云数据其中,稀疏点云数据包含可见光图像中特征点反投影后的第一三维点。也就是说,利用可见光相机拍摄到的可见光图像能够进行目标对象的稀疏重建,从而得到包含可见光图像中特征点反投影后的第一三维点的稀疏点云数据。
在一实施方式中,可见光相机为单目相机,此时基于多视角的可见光图像进行目标对象的稀疏重建,流程简单,重建效率高。具体地,对各可见光图像进行图像特征提取;其中,不对图像特征提取算法进行限定,如尺度不变特征转换(SIFT,Scale InvariantFeature Transform)算法、加速稳健(SURF,Speeded-Up Robust Features)算法等;SIFT特征对旋转、尺度缩放、亮度变化等保持不变性,是一种非常稳定的局部特征,但实时性不高,并且对于边缘光滑目标的特征点提取能力较弱。然后,利用sfm算法恢复单目可见光相机的内参、外参,并由三角化原理算出三维点的坐标,从而得到稀疏点云数据;其中,sfm是一个估计相机参数及三维点位置的算法。
步骤S13:基于深度图像在稀疏点云数据中筛选第一三维点,得到第一目标点云数据。
由于基于可见光图像进行稀疏重建而得到的稀疏点云数据的精度不高,从而使得基于稀疏点云数据进行稠密重建而得到的目标对象的三维模型的精度不高。另外,深度相机对目标对象拍摄到的深度图像的精度较高。
所以,为了提高后续得到的目标对象的三维模型的精度,本实施方式中,基于深度图像在稀疏点云数据中筛选第一三维点,得到第一目标点云数据。也就是说,利用深度图像对稀疏点云数据进行筛选,从而从稀疏点云数据中筛选出精度较高的点,进而能够使得后续至少基于筛选出来的精度较高的点进行稠密重建而得到的三维模型的精度较高。
在一实施方式中,直接利用深度图像中的第二三维点在稀疏点云数据中筛选第一三维点,得到第一目标点云数据。即便可见光相机和深度相机对目标对象是在同一位置同步对目标对象拍摄而得到可见光图像和深度图像的,但是考虑到可见光相机和深度相机的拍摄位置还是可能会存在些许的差异。所以,为了提高基于深度图像在稀疏点云数据中筛选得到的第一目标点云数据的准确性,在其他实施方式中,会对深度图像中的第二三维点先进行筛查,然后利用筛查得到的第二三维点在稀疏点云数据中筛选第一三维点而得到第一目标点云数据。
步骤S14:至少基于第一目标点云数据进行稠密重建,得到目标对象的三维模型。
本实施方式中,至少基于第一目标点云数据进行稠密重建,得到目标对象的三维模型。由于第一目标点云数据是基于深度图像在稀疏点云数据中筛选后得到的,所以第一目标点云数据的精度较高,所以至少基于第一目标点云数据进行稠密重建而得到的目标对象的三维模型的精度较高。
在一实施方式中,直接基于第一目标点云数据进行稠密重建,得到目标对象的三维模型。当然,在其他实施方式中,也可基于第一目标点云数据和深度图像进行稠密重建,得到目标对象的三维模型,即,融合第一目标点云数据和深度图像的点云数据进行稠密重建,得到目标对象的三维模型。在一具体实施方式中,为了提高构建的目标对象的三维模型的精度,会从深度图像中的各第二三维点筛选得到第二目标点云数据,此时具体为基于第一目标点云数据和第二目标点云数据进行稠密重建而得到目标对象的三维模型。
上述实施方式中,基于深度图像在稀疏点云数据中筛选第一三维点,得到第一目标点云数据,并至少基于第一目标点云数据进行稠密重建,得到目标对象的三维模型。故,会结合深度图像对稀疏点云数据进行筛选,以筛选出精度较高的稀疏点云数据,从而使得至少基于稀疏点云数据进行稠密重建得到的目标对象的三维模型的精度较高。
请参阅图2,图2是本申请提供的筛选符合要求的第二三维点一实施例的流程示意图。需注意的是,若有实质上相同的结果,本实施例并不以图1所示的流程顺序为限。如图2所示,在获取可见光相机和深度相机对目标对象同步拍摄到的可见光图像和深度图像之后,以及在基于深度图像在稀疏点云数据中筛选第一三维点,得到第一目标点云数据之前,具体包括如下子步骤:
步骤S21:获取深度图像中第二三维点在可见光相机的成像平面上的投影位置。
考虑到可见光相机和深度相机的拍摄位置还是可能会存在些许的差异,所以深度相机对目标对象拍摄到的深度图像中的部分第二三维点无法与可见光图像对应。所以,本实施方式中,会先获取深度图像中第二三维点在可见光相机的成像平面上的投影位置,以便于后续剔除不合要求的第二三维点。
步骤S22:选择投影位置位于可见光相机的成像平面上的第二三维点,得到第二目标点云数据。
本实施方式中,选择投影位置位于可见光相机的成像平面上的第二三维点,得到第二目标点云数据。投影位置位于可见光相机的成像平面上的第二三维点,是能够与可见光图像对应的第二三维点,所以将其保留;各投影位置位于可见光相机的成像平面上的第二三维点构成第二目标点云数据。
此时,基于深度图像在稀疏点云数据中筛选第一三维点得到第一目标点云数据,具体为:基于第二点云数据在稀疏点云数据中筛选第一三维点,得到第一目标点云数据。由于是利用经过筛选后的深度图像中的第二三维点在稀疏点云数据中筛选第一三维点而得到的第一目标点云数据,所以第一点云数据的精度高,从而使得后续至少基于第一目标点云数据进行稠密重建而得到的目标对象的三维模型的精度较高。
请参阅图3,图3是图1所示步骤S13一实施例的流程示意图。需注意的是,若有实质上相同的结果,本实施例并不以图3所示的流程顺序为限。如图3所示,本实施例中,会从深度图像中的各第二三维点筛选得到第二目标点云数据,基于第二点云数据在稀疏点云数据中筛选第一三维点,具体包括:
步骤S31:将第二目标点云数据中第二三维点投影到稀疏点云数据所在坐标系,得到第三三维点。
由于通过可见光相机的可见光图像稀疏重建而得到的稀疏点云数据与通过深度相机的深度图像得到的第二目标点云数据所在的坐标系不同,无法直接利用第二目标点云数据在稀疏点云数据中筛选第一三维点。所以,本实施方式中,先将第二目标点云数据中的第二三维点投影到稀疏点云数据所在的坐标系,得到第三三维点;也就是说,将第二目标点云数据中的各点转换到稀疏点云数据所在的坐标系进行表示。
步骤S32:对于各个第三三维点,选择位于第三三维点的第一预设范围内的第一三维点,作为候选三维点,并基于候选三维点的深度值与第三三维点的深度值,确定是否将候选三维点归入第一目标点云数据。
本实施方式中,对于各个第三三维点,选择位于第三三维点的第一预设范围内的第一三维点,作为候选三维点。其中,不对第三三维点的第一预设范围进行限定,可根据实际使用需要具体设置。如,第三三维点的第一预设范围为以第三三维点为圆心、第一阈值为半径的球形区域范围,第一阈值的大小不进行限定。
举例来说,以第三三维点为圆心且第一阈值为半径的球形区域范围为第一预设范围为例;由于第一三维点A、第一三维点B和第一三维点D在球形区域范围内,第一三维点C不在球形区域范围内,所以将第一三维点A、第一三维点B和第一三维点D作为候选三维点。
另外,本实施方式中,还基于候选三维点的深度值与第三三维点的深度值,确定是否将候选三维点归入第一目标点云数据。也就是说,对于各第三三维点,会先筛选出位于第三三维点的第一预设范围内的第一三维点作为候选三维点,然后再进一步通过候选三维点和第三三维点的深度值确定是否将候选三维点归入第一目标点云数据。
在一实施方式中,可通过确定候选三维点的深度值与对应的第三三维点的深度值之差的绝对值是否位于第二预设范围内,确定是否将候选三维点归入第一目标点云数据。具体地,响应于候选三维点的深度值与对应的第三三维点的深度值之差的绝对值位于第二预设范围内,将候选三维点归入第一目标点云数据;响应于候选三维点的深度值与对应的第三三维点的深度值之差的绝对值位于第二预设范围外,确定暂不将候选三维点归入第一目标点云数据。也就是说,在确定候选三维点的深度值与对应的第三三维点的深度值之差的绝对值位于第二预设范围内时,确定该候选三维点的精度较高,则将其归入第一目标点云数据;而在确定候选三维点的深度值与对应的第三三维点的深度值之差的绝对值不位于第二预设范围内时,只能确定该候选三维点对应该第三三维点是精度不高,对于其他的第三三维点可能是精度较高的,所以确定暂不归入第一目标点云数据。
其中,不对第二预设范围进行限定,可根据实际使用需要具体设置。需要说明的是,第二预设范围也可以是一个固定的阈值,阈值大小在此不做限定。
在一具体实施方式中,在存在暂未归入第一目标点云数据的第一三维点时,会响应于在对目标对象拍摄过程中产生的第三三维点,对新的第三三维点和暂未归入第一目标点云数据的第一三维点,重新执行选择位于第三三维点的第一预设范围内的第一三维点,作为候选三维点的步骤及其后续步骤,以确定是否归入第一目标点云数据,直至拍摄结束。
请参阅图4,图4是本申请提供的三维重建装置一实施例的结构示意图。三维重建装置40包括图像获取模块41、稀疏重建模块42、点云筛选模块43和稠密重建模块44。图像获取模块41用于获取可见光相机和深度相机对目标对象同步拍摄到的可见光图像和深度图像;稀疏重建模块42用于基于可见光图像进行稀疏重建,得到稀疏点云数据;其中,稀疏点云数据包含可见光图像中特征点反投影后的第一三维点;点云筛选模块43用于基于深度图像在稀疏点云数据中筛选第一三维点,得到第一目标点云数据;稠密重建模块44用于至少基于第一目标点云数据进行稠密重建,得到目标对象的三维模型。
其中,点云筛选模块43还用于在获取可见光相机和深度相机对目标对象同步拍摄到的可见光图像和深度图像之后,以及在基于深度图像在稀疏点云数据中筛选第一三维点,得到第一目标点云数据之前,具体包括:获取深度图像中第二三维点在可见光相机的成像平面上的投影位置;选择投影位置位于可见光相机的成像平面上的第二三维点,得到第二目标点云数据;点云筛选模块43用于基于深度图像在稀疏点云数据中筛选第一三维点,得到第一目标点云数据,具体包括:基于第二目标点云数据在稀疏点云数据中筛选第一三维点,得到第一目标点云数据。
其中,点云筛选模块43用于基于第二目标点云数据在稀疏点云数据中筛选第一三维点,得到第一目标点云数据,具体包括:将第二目标点云数据中第二三维点投影到稀疏点云数据所在坐标系,得到第三三维点;对于各个第三三维点,选择位于第三三维点的第一预设范围内的第一三维点,作为候选三维点,并基于候选三维点的深度值与第三三维点的深度值,确定是否将候选三维点归入第一目标点云数据。
其中,点云筛选模块43用于基于候选三维点的深度值与第三三维点的深度值,确定是否将候选三维点归入第一目标点云数据,具体包括:检测候选三维点与第三三维点两者深度值之差的绝对值是否位于第二预设范围内;响应于绝对值位于第二预设范围内,将候选三维点归入第一目标点云数据;响应于绝对值位于第二预设范围外,确定暂不将候选三维点归入第一目标点云数据。
其中,点云筛选模块43用于在存在暂未归入第一目标点云数据的第一三维点时,具体包括:响应于在对目标对象拍摄过程中产生新的第三三维点,对新的第三三维点和暂未归入第一目标点云数据的第一三维点,重新执行选择位于第三三维点的第一预设范围内的第一三维点,作为候选三维点的步骤以及后续步骤,以确定是否归入第一目标点云数据,直至拍摄结束。
其中,稠密重建模块44用于至少基于第一目标点云数据进行稠密重建,得到目标对象的三维模型,具体包括:基于第一目标点云数据和第二目标点云数据进行稠密重建,得到目标对象的三维模型。
请参阅图5,图5是本申请提供的图像处理装置一实施例的结构示意图。图像处理装置50包括相互耦接的存储器51和处理器52,处理器52用于执行存储器51中存储的程序指令,以实现上述任一三维重建方法实施例的步骤。在一个具体的实施场景中,图像处理装置50可以包括但不限于:微型计算机、服务器,此外,图像处理装置50还可以包括笔记本电脑、平板电脑等移动设备,在此不做限定。
具体而言,处理器52用于控制其自身以及存储器51以实现上述任一三维重建方法实施例的步骤。处理器52还可以称为CPU(Central Processing Unit,中央处理单元)。处理器52可能是一种集成电路芯片,具有信号的处理能力。处理器52还可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application SpecificIntegrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外,处理器52可以由集成电路芯片共同实现。
请参阅图6,图6是本申请提供的计算机可读存储介质一实施例的结构示意图。本申请实施例的计算机可读存储介质60存储有程序指令61,该程序指令61被执行时实现本申请三维重建方法任一实施例以及任意不冲突的组合所提供的方法。其中,该程序指令61可以形成程序文件以软件产品的形式存储在上述计算机可读存储介质60中,以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施方式方法的全部或部分步骤。而前述的计算机可读存储介质60包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质,或者是计算机、服务器、手机、平板等终端设备。
请参阅图7,图7是本申请提供的边缘设备一实施例的结构示意图。本申请还提供一种边缘设备70,该边缘设备70包括上述的图像处理装置50以及分别与图像处理装置50连接的可见光相机71和深度相机72;其中,可见光相机71用于拍摄可见光图像,深度相机72与可见光相机71同步拍摄深度图像,图像处理装置50用于基于可见光图像和深度图像对拍摄对象进行三维重建。
若本申请技术方案涉及个人信息,应用本申请技术方案的产品在处理个人信息前,已明确告知个人信息处理规则,并取得个人自主同意。若本申请技术方案涉及敏感个人信息,应用本申请技术方案的产品在处理敏感个人信息前,已取得个人单独同意,并且同时满足“明示同意”的要求。例如,在摄像头等个人信息采集装置处,设置明确显著的标识告知已进入个人信息采集范围,将会对个人信息进行采集,若个人自愿进入采集范围即视为同意对其个人信息进行采集;或者在个人信息处理的装置上,利用明显的标识/信息告知个人信息处理规则的情况下,通过弹窗信息或请个人自行上传其个人信息等方式获得个人授权;其中,个人信息处理规则可包括个人信息处理者、个人信息处理目的、处理方式以及处理的个人信息种类等信息。
以上所述仅为本申请的实施方式,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种三维重建方法,其特征在于,包括:
获取可见光相机和深度相机对目标对象同步拍摄到的可见光图像和深度图像;
基于所述可见光图像进行稀疏重建,得到稀疏点云数据;其中,所述稀疏点云数据包含所述可见光图像中特征点反投影后的第一三维点;
基于所述深度图像在所述稀疏点云数据中筛选所述第一三维点,得到第一目标点云数据;
至少基于所述第一目标点云数据进行稠密重建,得到所述目标对象的三维模型。
2.根据权利要求1所述的方法,其特征在于,在所述获取可见光相机和深度相机对目标对象同步拍摄到的可见光图像和深度图像之后,以及在所述基于所述深度图像在所述稀疏点云数据中筛选所述第一三维点,得到第一目标点云数据之前,所述方法还包括:
获取所述深度图像中第二三维点在所述可见光相机的成像平面上的投影位置;
选择所述投影位置位于所述可见光相机的成像平面上的第二三维点,得到第二目标点云数据;
所述基于所述深度图像在所述稀疏点云数据中筛选所述第一三维点,得到第一目标点云数据,包括:
基于所述第二目标点云数据在所述稀疏点云数据中筛选所述第一三维点,得到所述第一目标点云数据。
3.根据权利要求2所述的方法,其特征在于,所述基于所述第二目标点云数据在所述稀疏点云数据中筛选所述第一三维点,得到所述第一目标点云数据,包括:
将所述第二目标点云数据中所述第二三维点投影到所述稀疏点云数据所在坐标系,得到第三三维点;
对于各个所述第三三维点,选择位于所述第三三维点的第一预设范围内的第一三维点,作为候选三维点,并基于所述候选三维点的深度值与所述第三三维点的深度值,确定是否将所述候选三维点归入所述第一目标点云数据。
4.根据权利要求3所述的方法,其特征在于,所述基于所述候选三维点的深度值与所述第三三维点的深度值,确定是否将所述候选三维点归入所述第一目标点云数据,包括:
检测所述候选三维点与所述第三三维点两者深度值之差的绝对值是否位于第二预设范围内;
响应于所述绝对值位于所述第二预设范围内,将所述候选三维点归入所述第一目标点云数据;
响应于所述绝对值位于所述第二预设范围外,确定暂不将所述候选三维点归入所述第一目标点云数据。
5.根据权利要求3或4所述的方法,其特征在于,在存在暂未归入所述第一目标点云数据的第一三维点时,所述方法还包括:
响应于在对所述目标对象拍摄过程中产生新的第三三维点,对所述新的第三三维点和暂未归入所述第一目标点云数据的第一三维点,重新执行所述选择位于所述第三三维点的第一预设范围内的第一三维点,作为候选三维点的步骤以及后续步骤,以确定是否归入所述第一目标点云数据,直至拍摄结束。
6.根据权利要求2所述的方法,其特征在于,所述至少基于所述第一目标点云数据进行稠密重建,得到所述目标对象的三维模型,包括:
基于所述第一目标点云数据和所述第二目标点云数据进行稠密重建,得到所述目标对象的三维模型。
7.一种三维重建装置,其特征在于,所述装置包括:
图像获取模块,用于获取可见光相机和深度相机对目标对象同步拍摄到的可见光图像和深度图像;
稀疏重建模块,用于基于所述可见光图像进行稀疏重建,得到稀疏点云数据;其中,所述稀疏点云数据包含所述可见光图像中特征点反投影后的第一三维点;
点云筛选模块,用于基于所述深度图像在所述稀疏点云数据中筛选所述第一三维点,得到第一目标点云数据;
稠密重建模块,用于至少基于所述第一目标点云数据进行稠密重建,得到所述目标对象的三维模型。
8.一种图像处理装置,其特征在于,所述装置包括相互耦接的存储器和处理器,所述存储器中存储有程序指令,所述处理器用于执行所述程序指令以实现权利要求1至6任一项所述的三维重建方法。
9.一种边缘设备,其特征在于,所述边缘设备包括如权利要求8所述的图像处理装置以及分别与所述图像处理装置连接的可见光相机和深度相机;
其中,所述可见光相机用于拍摄可见光图像,所述深度相机与所述可见光相机同步拍摄深度图像,所述图像处理装置用于基于所述可见光图像和所述深度图像对拍摄对象进行三维重建。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质有能够被处理器运行的程序指令,所述程序指令用于实现权利要求1至6任一项所述的三维重建方法。
CN202211703540.7A 2022-12-23 2022-12-23 一种三维重建方法、装置、边缘设备和存储介质 Pending CN116051736A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211703540.7A CN116051736A (zh) 2022-12-23 2022-12-23 一种三维重建方法、装置、边缘设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211703540.7A CN116051736A (zh) 2022-12-23 2022-12-23 一种三维重建方法、装置、边缘设备和存储介质

Publications (1)

Publication Number Publication Date
CN116051736A true CN116051736A (zh) 2023-05-02

Family

ID=86114098

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211703540.7A Pending CN116051736A (zh) 2022-12-23 2022-12-23 一种三维重建方法、装置、边缘设备和存储介质

Country Status (1)

Country Link
CN (1) CN116051736A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117173463A (zh) * 2023-08-30 2023-12-05 北京长木谷医疗科技股份有限公司 一种基于多分类稀疏点云的骨关节模型重建方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117173463A (zh) * 2023-08-30 2023-12-05 北京长木谷医疗科技股份有限公司 一种基于多分类稀疏点云的骨关节模型重建方法及装置

Similar Documents

Publication Publication Date Title
Jörgensen et al. Monocular 3d object detection and box fitting trained end-to-end using intersection-over-union loss
CN107852533B (zh) 三维内容生成装置及其三维内容生成方法
US10311595B2 (en) Image processing device and its control method, imaging apparatus, and storage medium
CN110568447A (zh) 视觉定位的方法、装置及计算机可读介质
CN111107337B (zh) 深度信息补全方法及其装置、监控系统和存储介质
US9323989B2 (en) Tracking device
US20230394832A1 (en) Method, system and computer readable media for object detection coverage estimation
JP2016212784A (ja) 画像処理装置、画像処理方法
CN115035235A (zh) 三维重建方法及装置
WO2021005977A1 (ja) 三次元モデル生成方法及び三次元モデル生成装置
CN110443228B (zh) 一种行人匹配方法、装置、电子设备及存储介质
Pan et al. Depth map completion by jointly exploiting blurry color images and sparse depth maps
Liang et al. Reduced-complexity data acquisition system for image-based localization in indoor environments
JP6429466B2 (ja) 画像処理装置およびその制御方法、撮像装置、プログラム
CN116051736A (zh) 一种三维重建方法、装置、边缘设备和存储介质
US9392146B2 (en) Apparatus and method for extracting object
CN111738061A (zh) 基于区域特征提取的双目视觉立体匹配方法及存储介质
JP4675368B2 (ja) 物体位置推定装置、物体位置推定方法、物体位置推定プログラムおよびそのプログラムを記録した記録媒体
JP2018049396A (ja) 形状推定方法、形状推定装置および形状推定プログラム
CN112036342A (zh) 单证抓拍方法、设备及计算机存储介质
CN111862106A (zh) 基于光场语义的图像处理方法、计算机装置、及存储介质
CN111862098A (zh) 基于光场语义的个体匹配方法、装置、设备和介质
Chugunov et al. Shakes on a plane: Unsupervised depth estimation from unstabilized photography
US20240054747A1 (en) Image processing apparatus, image processing method, and storage medium
JP2019045993A (ja) 画像処理装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination