CN114972645A - 一种三维重建方法、装置、计算机设备及存储介质 - Google Patents

一种三维重建方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN114972645A
CN114972645A CN202210589283.2A CN202210589283A CN114972645A CN 114972645 A CN114972645 A CN 114972645A CN 202210589283 A CN202210589283 A CN 202210589283A CN 114972645 A CN114972645 A CN 114972645A
Authority
CN
China
Prior art keywords
image
signal
dimensional
target
videos
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210589283.2A
Other languages
English (en)
Inventor
汪伊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Sensetime Technology Co Ltd
Original Assignee
Shenzhen Sensetime Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Sensetime Technology Co Ltd filed Critical Shenzhen Sensetime Technology Co Ltd
Priority to CN202210589283.2A priority Critical patent/CN114972645A/zh
Publication of CN114972645A publication Critical patent/CN114972645A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2008Assembling, disassembling

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本公开提供了一种三维重建方法、装置、计算机设备及存储介质,其中,该方法包括:获取针对目标场景采集的多个视频、以及与多个所述视频分别对应的信号数据;其中,所述信号数据是在采集所述视频时捕捉的位于所述目标场景内的目标信号源的信号得到的;每个视频包括多帧图像;基于所述信号数据,从所述多个视频中确定多个关联图像对;基于所述关联图像对,对所述目标场景进行三维重建,得到所述目标场景的三维模型。

Description

一种三维重建方法、装置、计算机设备及存储介质
技术领域
本公开涉及计算机视觉技术领域,具体而言,涉及一种三维重建方法、装置、计算机设备及存储介质。
背景技术
基于视觉的三维重建是指通过输入图像集合,恢复出每一张图像的位置姿态参数以及表示所拍摄场景三维结构的点云。基于视觉的三维重建广泛应用于三维数字化,高精度地图构建与增强现实领域。而基于视觉的三维重建过程中在构建大型场景时,易受重复场景影响导致重建错误。
发明内容
本公开实施例至少提供一种三维重建方法、装置、计算机设备及存储介质。
第一方面,本公开实施例提供了一种三维重建方法,包括:
获取针对目标场景采集的多个视频、以及与多个所述视频分别对应的信号数据;其中,所述信号数据是在采集所述视频时捕捉的位于所述目标场景内的目标信号源的信号得到的;每个视频包括多帧图像;
基于所述信号数据,从所述多个视频中确定多个关联图像对;
基于所述关联图像对,对所述目标场景进行三维重建,得到所述目标场景的三维模型。
这样,能够通过多个视频分别对应的信号数据,确定多个关联图像对;由于关联图像对中的两帧图像分别对应的信号数据,能够表征该两帧图像对应的信号距离满足预设距离条件,因此在基于关联图像对对目标场景进行三维重建时,实现了利用不同图像之间的信号距离,来监督三维重建过程,因此在具有大量重复场景的目标场景中,也能够降低由于不同位置的重复场景对于三维重建效果的影响,减少三维重建过程中的重建错误。
一种可选的实施方式中,
所述基于所述信号数据,从所述多个视频中确定多个关联图像对,包括:
提取多个视频中各帧图像的特征数据;
基于不同图像的特征数据之间的相似度,确定多个备选图像对;每个备选图像对中包括第一图像和第二图像;
基于多个备选图像对中第一图像和第二图像分别对应的信号数据,从所述备选图像对中,筛选所述关联图像对。
这样,通过基于图像特征信息进行备选图像对初选,可以提高后续基于信号数据从备选图像对中筛选关联图像对的效率,再通过每个备选图像对中第一图像和第二图像分别对应的信号数据从备选图像对中筛选关联图像对,更加精准的剔除了图片特征相似但并非同一场景的备选图像对。
一种可选的实施方式中,所述基于多个备选图像对中第一图像和第二图像分别对应的信号数据,从所述备选图像对中,筛选所述关联图像对,包括:
针对多个备选图像对中的每个备选图像对,基于所述每个备选图像对中第一图像对应信号数据,以及所述每个备选图像对中第二图像对应信号数据,确定所述第一图像与所述第二图像之间的信号距离;
响应于所述第一图像和所述第二个之间的信号距离小于预设距离阈值,将所述备选图像对确定为所述关联图像对。
这样,通过在三维重建的图像数据中加入相同或临近时刻的信号观测,使得在通过关联图像对进行三维重建过程中,通过比较图像对信号数据之间的距离,判断图片对表征的是否为同一场景或临近场景,降低了相似场景对于三维重建的影响。
一种可选的实施方式中,所述信号数据包括:与所述目标视频中各帧图像分别对应的信号源标识信息;
所述基于所述每个备选图像对中第一图像对应信号数据,以及所述每个备选图像对中第二图像对应信号数据,确定所述第一图像与所述第二图像之间的信号距离,包括:
基于所述第一图像对应信号源标识信息、以及所述第二图像对应的信号源标识信息,确定所述第一图像和所述第二图像对应的共有信号源的数量;
基于所述数量,确定所述第一图像和所述第二图像对应的信号距离;其中,所述信号距离和所述共有信号源的数量成负相关。
这样,通过对两个图像对应信号数据的共有信号源信息,表征两个图像之间的信号距离,判断两个信号数据的距离,从而对关联图像对筛选进行快速简单的筛选,提升三维重建的效率。
一种可选的实施方式中,所述信号数据包括:与所述目标视频中各帧图像分别对应的信号强度信息、以及信号源标识信息;
所述基于所述每个备选图像对中第一图像对应信号数据,以及所述每个备选图像对中第二图像对应信号数据,确定所述第一图像与所述第二图像之间的信号距离,包括:
基于所述第一图像对应的信号源标识、和所述第二图像对应的信号源标识,确定所述第一图像和第二图像对应的共有信号源、和非共有信号源;
基于所述第一图像和所述第二图像分别对应的信号强度信息,确定所述共有信号源的强度差异;
基于所述强度差异、以及非共有信号源对应的预设信号距离,确定所述第一图像和所述第二图像之间的信号距离。
这样,能够更加准确的确定两帧图像之间的信号距离,提升三维重加过程中的数据精度,减少了相似场景对于三维重建的干扰。
一种可选的实施方式中,所述基于所述关联图像对,对所述目标场景进行三维重建,得到所述目标场景的三维模型,包括:
针对多个视频中的每个视频,基于所述每个视频中的多帧图像进行三维重建,得到所述每个视频对应的三维子模型;
基于所述关联图像对,将多个所述视频分别对应的三维子模型进行拼接处理,得到所述目标场景的三维模型。
这样,可以通过关联图像对判断出多段视频之间的关联关系,以进行三维模型的拼接,基于关联图像对的三位模型拼接提升了三维重建的准确率。
一种可选的实施方式中,所述基于所述关联图像对,将多个所述视频分别对应的三维子模型进行拼接处理,得到所述目标场景的三维模型,包括:
针对每两个视频,确定该两个视频之间是否存在目标关联图像对;所述目标关联图像对中的第一关联图像和第二关联图像分别属于该两个视频;
响应于该两个视频之间存在所述目标关联图像对,基于该两个视频之间的目标关联图像对,确定该两个视频分别对应的三维子模型之间的转换关系信息,并基于所述转换关系信息,将该两个视频分别对应的三维子模型进行拼接处理;
基于多个视频分别对应的拼接结果,得到所述目标场景的三维模型。
这样,基于同一关联图像对中属于不同段视频的两个图像,可以进行两个三维子模型转换关系的确定,使得三维子模型的拼接效果更好。
一种可选的实施方式中,所述基于该两个视频之间的目标关联图像对,确定该两个视频分别对应的三维子模型之间的转换关系信息,并基于所述转换关系信息,将该两个视频分别对应的三维子模型进行拼接处理,包括:
执行下述至少一个迭代周期:
从所述目标关联图像对中,确定当前迭代周期对应的第一目标关联图像对;
基于所述第一目标关联图像对,确定该两个视频分别对应的三维子模型之间的当前转换关系信息;
基于所述当前转换关系信息,将该两个视频分别对应的三维子模型进行拼接处理,得到当前迭代周期对应的拼接模型;
基于所述目标关联图像对中,除所述第一目标关联图像对外的其他目标关联图像对所表征的物理位置,对所述拼接模型进行拼接正确性验证;
响应于拼接正确性验证通过,将所述当前迭代周期对应的拼接模型作为将该两个视频分别对应的三维子模型进行拼接处理的结果模型,并结束迭代过程;
响应于正确性验证未通过,进入下一迭代周期;
若所有目标关联图像对依次作为第一目标关联图像对均未通过拼接正确性验证,表征该两个视频分别对应的三维子模型之间不具备拼接关系。
这样,以迭代判断的方式对两段视频中全部的相关联图像对进行拼接正确性检查,有效避免了模型拼接中的错误,提升三维重建的效果。
一种可选的实施方式中,所述基于所述关联图像对,对所述目标场景进行三维重建,得到所述目标场景的三维模型,包括:
遍历所述关联图像对中的每个关联图像对,并基于遍历到的关联图像对进行三维重建,得到与所述遍历到的关联图像对对应的三维模型;
将多个关联图像对分别对应的三维模型进行融合处理,得到所述目标场景的三维模型。
这样,通过关联图像之间的关联关系,将多段视频对应的三维子模型进行拼接得到目标场景对应的三维模型,可以降低重复场景对于目标场景三维模型重建的影响。
一种可选的实施方式中,所述基于遍历到的关联图像对进行三维重建,得到与所述遍历到的关联图像对对应的三维模型,包括:
基于遍历到的关联图像对中,第一图像和第二图像分别对应的相机位姿、以及所述第一图像和所述第二图像进行三维重建,得到第一三维模型;
基于所述第一图像、第二图像、所述第一图像和所述第二图像分别对应的相机位姿、以及所述第一三维模型,确定所述第一三维模型的重投影误差;以及
基于所述第一图像和所述第二图像分别对应的信号数据、以及与所述信号数据对应的目标信号源的信号源位置,确定所述第一图像和所述第二图像之间的信号距离误差;
基于所述重投影误差和所述信号距离误差,对所述第一图像和第二图像分别对应的相机位姿、以及与所述目标信号源的信号源位置进行校准,得到所述第一图像和第二图像分别对应的目标位姿、以及所述目标信号源的目标位置;
基于所述第一图像、第二图像、以及所述目标位姿进行三维重建,得到所述遍历到的关联图像对对应的三维模型。
这样,通过重投影误差函数以及信号距离误差函数,可以同时优化信号源的位置,三维点位置与相机位置,从而可以避免重建错误并得到三维重建包含相机位置姿态与三维点数据。
一种可选的实施方式中,还包括:基于多个关联图像分别对应的目标信号源的目标位置,构建信号源地图。
这样,可以融合信号信息与视觉三维重建,同时构建信号源地图与三维重建。
第二方面,本公开实施例还提供一种三维重建装置,包括:
获取模块,用于获取针对目标场景采集的多个视频、以及与多个所述视频分别对应的信号数据;其中,所述信号数据是在采集所述视频时捕捉的位于所述目标场景内的目标信号源的信号得到的;每个视频包括多帧图像;
处理模块,用于基于所述信号数据,从所述多个视频中确定多个关联图像对;
重建模块,用于基于所述关联图像对,对所述目标场景进行三维重建,得到所述目标场景的三维模型。
一种可选的实施方式中,所述处理模块,在基于所述信号数据,从所述多个视频中确定多个关联图像对时,用于:
提取多个视频中各帧图像的特征数据;
基于不同图像的特征数据之间的相似度,确定多个备选图像对;每个备选图像对中包括第一图像和第二图像;
基于多个备选图像对中第一图像和第二图像分别对应的信号数据,从所述备选图像对中,筛选所述关联图像对。
一种可选的实施方式中,所述处理模块,在基于多个备选图像对中第一图像和第二图像分别对应的信号数据,从所述备选图像对中,筛选所述关联图像对时,用于:
针对多个备选图像对中的每个备选图像对,基于所述每个备选图像对中第一图像对应信号数据,以及所述每个备选图像对中第二图像对应信号数据,确定所述第一图像与所述第二图像之间的信号距离;
响应于所述第一图像和所述第二个之间的信号距离小于预设距离阈值,将所述备选图像对确定为所述关联图像对。
一种可选的实施方式中,所述信号数据包括:与所述目标视频中各帧图像分别对应的信号源标识信息;
所述处理模块,在基于所述每个备选图像对中第一图像对应信号数据,以及所述每个备选图像对中第二图像对应信号数据,确定所述第一图像与所述第二图像之间的信号距离时,用于:
基于所述第一图像对应信号源标识信息、以及所述第二图像对应的信号源标识信息,确定所述第一图像和所述第二图像对应的共有信号源的数量;
基于所述数量,确定所述第一图像和所述第二图像对应的信号距离;其中,所述信号距离和所述共有信号源的数量成负相关。
一种可选的实施方式中,所述信号数据包括:与所述目标视频中各帧图像分别对应的信号强度信息、以及信号源标识信息;
所述处理模块,在基于所述每个备选图像对中第一图像对应信号数据,以及所述每个备选图像对中第二图像对应信号数据,确定所述第一图像与所述第二图像之间的信号距离时,用于:
基于所述第一图像对应的信号源标识、和所述第二图像对应的信号源标识,确定所述第一图像和第二图像对应的共有信号源、和非共有信号源;
基于所述第一图像和所述第二图像分别对应的信号强度信息,确定所述共有信号源的强度差异;
基于所述强度差异、以及非共有信号源对应的预设信号距离,确定所述第一图像和所述第二图像之间的信号距离。
一种可选的实施方式中,所述重建模块,在基于所述关联图像对,对所述目标场景进行三维重建,得到所述目标场景的三维模型时,用于:
针对多个视频中的每个视频,基于所述每个视频中的多帧图像进行三维重建,得到所述每个视频对应的三维子模型;
基于所述关联图像对,将多个所述视频分别对应的三维子模型进行拼接处理,得到所述目标场景的三维模型。
一种可选的实施方式中,所述重建模块,在基于所述关联图像对,将多个所述视频分别对应的三维子模型进行拼接处理,得到所述目标场景的三维模型时,用于:
针对每两个视频,确定该两个视频之间是否存在目标关联图像对;所述目标关联图像对中的第一关联图像和第二关联图像分别属于该两个视频;
响应于该两个视频之间存在所述目标关联图像对,基于该两个视频之间的目标关联图像对,确定该两个视频分别对应的三维子模型之间的转换关系信息,并基于所述转换关系信息,将该两个视频分别对应的三维子模型进行拼接处理;
基于多个视频分别对应的拼接结果,得到所述目标场景的三维模型。
一种可选的实施方式中,所述重建模块,在基于该两个视频之间的目标关联图像对,确定该两个视频分别对应的三维子模型之间的转换关系信息,并基于所述转换关系信息,将该两个视频分别对应的三维子模型进行拼接处理时,用于:
执行下述至少一个迭代周期:
从所述目标关联图像对中,确定当前迭代周期对应的第一目标关联图像对;
基于所述第一目标关联图像对,确定该两个视频分别对应的三维子模型之间的当前转换关系信息;
基于所述当前转换关系信息,将该两个视频分别对应的三维子模型进行拼接处理,得到当前迭代周期对应的拼接模型;
基于所述目标关联图像对中,除所述第一目标关联图像对外的其他目标关联图像对所表征的物理位置,对所述拼接模型进行拼接正确性验证;
响应于拼接正确性验证通过,将所述当前迭代周期对应的拼接模型作为将该两个视频分别对应的三维子模型进行拼接处理的结果模型,并结束迭代过程;
响应于正确性验证未通过,进入下一迭代周期;
若所有目标关联图像对依次作为第一目标关联图像对均未通过拼接正确性验证,表征该两个视频分别对应的三维子模型之间不具备拼接关系。
一种可选的实施方式中,所述重建模块,在基于所述关联图像对,对所述目标场景进行三维重建,得到所述目标场景的三维模型时,用于:
遍历所述关联图像对中的每个关联图像对,并基于遍历到的关联图像对进行三维重建,得到与所述遍历到的关联图像对对应的三维模型;
将多个关联图像对分别对应的三维模型进行融合处理,得到所述目标场景的三维模型。
一种可选的实施方式中,所述重建模块,在基于遍历到的关联图像对进行三维重建,得到与所述遍历到的关联图像对对应的三维模型时,用于:
基于遍历到的关联图像对中,第一图像和第二图像分别对应的相机位姿、以及所述第一图像和所述第二图像进行三维重建,得到第一三维模型;
基于所述第一图像、第二图像、所述第一图像和所述第二图像分别对应的相机位姿、以及所述第一三维模型,确定所述第一三维模型的重投影误差;以及
基于所述第一图像和所述第二图像分别对应的信号数据、以及与所述信号数据对应的目标信号源的信号源位置,确定所述第一图像和所述第二图像之间的信号距离误差;
基于所述重投影误差和所述信号距离误差,对所述第一图像和第二图像分别对应的相机位姿、以及与所述目标信号源的信号源位置进行校准,得到所述第一图像和第二图像分别对应的目标位姿、以及所述目标信号源的目标位置;
基于所述第一图像、第二图像、以及所述目标位姿进行三维重建,得到所述遍历到的关联图像对对应的三维模型。
一种可选的实施方式中,所述重建模块还用于:基于多个关联图像分别对应的目标信号源的目标位置,构建信号源地图。
第三方面,本公开可选实现方式还提供一种计算机设备,处理器、存储器,所述存储器存储有所述处理器可执行的机器可读指令,所述处理器用于执行所述存储器中存储的机器可读指令,所述机器可读指令被所述处理器执行时,所述机器可读指令被所述处理器执行时执行上述第一方面,或第一方面中任一种可能的实施方式中的步骤。
第四方面,本公开可选实现方式还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被运行时执行上述第一方面,或第一方面中任一种可能的实施方式中的步骤。
关于上述三维重建装置、计算机设备、及计算机可读存储介质的效果描述参见上述三维重建方法的说明,这里不再赘述。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,而非限制本公开的技术方案。
为使本公开的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,此处的附图被并入说明书中并构成本说明书中的一部分,这些附图示出了符合本公开的实施例,并与说明书一起用于说明本公开的技术方案。应当理解,以下附图仅示出了本公开的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种三维重建方法的流程图;
图2示出了本公开实施例所提供的一种重复场景的具体示例;
图3示出了本公开实施例所提供的一种受重复场景影响导致三维重建错误的具体示例;
图4示出了本公开实施例所提供的一种融合信号数据后三维重建正确的具体示例;
图5示出了本公开实施例所提供的一种信号源与信号数据之间相对位置关系的具体实例;
图6示出了本公开实施例所提供的另一种信号源与信号数据之间相对位置关系的具体示例;
图7示出了本公开实施例所提供的一种三点定位法原理的示意图;
图8示出了本公开实施例所提供的一种二维图像与三维物体间投影关系的具体示例;
图9示出了本公开实施例所提供的一种三维重建装置的示意图;
图10示出了本公开实施例所提供的一种计算机设备的示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例中附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。通常在此处描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此,以下对本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围,而是仅仅表示本公开的选定实施例。基于本公开的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本公开保护的范围。
经研究发现,基于视觉的三维重建在构建大型场景时,易受重复场景影响导致重建错误。例如大型机场、体育场、以及仓库等场景易出现重复相似结构,仅凭肉眼都难以区分;也即,由于建筑的设计方案可能是实际位置完全不同的两处场景,但确实十分相似。在基于图像对目标场景进行三维重建,重建出相机位置和姿态信息如图3所示,这就会出现各场景相机位置姿态信息错乱的情况(正确应为图4所示)。
基于上述研究,本公开提供了一种三维建模方法,通过在三维重建的图像数据中加入相同或临近时刻的信号观测,使得在通过关联图像对进行三维重建过程中,通过关联图像对信号数据之间的距离的监督,判断图片对表征的是否为同一场景或临近场景,降低了相似场景对于三维重建的影响,增强视觉三维重建的鲁棒性。
另外,本公开实施例还能够融合信号观测、以及图像观测,利用通过视觉三维重建构建的准确的相机位置姿态信息,实现自动化的准确恢复信号源的定位位置。同时完成了视觉三维重建与场景中布设的信号源位置的解算,简化了算法流程提升了效率。
针对以上方案所存在的缺陷,均是发明人在经过实践并仔细研究后得出的结果,因此,上述问题的发现过程以及下文中本公开针对上述问题所提出的解决方案,都应该是发明人在本公开过程中对本公开做出的贡献。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
为便于对本实施例进行理解,首先对本公开实施例所公开的一种三维重建方法进行详细介绍,本公开实施例所提供的三维重建方法的执行主体一般为具有一定计算能力的计算机设备,该计算机设备例如包括:终端设备或服务器或其它处理设备,终端设备可以为用户设备(User Equipment,UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字助理(Personal Digital Assistant,PDA)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中,该三维重建方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
参见图1所示,为本公开实施例提供的三维重建方法的流程图,所述方法包括步骤S101~S103,其中:
S101:获取针对目标场景采集的多个视频、以及与多个所述视频分别对应的信号数据;其中,所述信号数据是在采集所述视频时捕捉的位于所述目标场景内的目标信号源的信号得到的;每个视频包括多帧图像。
S102:基于所述信号数据,从所述多个视频中确定多个关联图像对。
S103:基于所述关联图像对,对所述目标场景进行三维重建,得到所述目标场景的三维模型。
在本公开实例中,获取针对目标场景采集的多个视频、以及与多个所述视频分别对应的信号数据后,基于所述信号数据,确定多个关联图像对,并基于所述关联图像对,对所述目标场景进行三维重建,得到所述目标场景的三维模型。在该过程中,由于关联图像对中的两帧图像分别对应的信号数据,能够表征该两帧图像对应的信号距离满足预设距离条件,因此在基于关联图像对对目标场景进行三维重建时,实现了利用不同图像之间的信号距离,来监督三维重建过程,因此在具有大量重复场景的目标场景中,也能够降低由于不同位置的重复场景对于三维重建效果的影响,减少三维重建过程中的重建错误。
下面针对上述S101~S103分别加以说明。
针对上述S101:在本公开实例中,所述目标场景可以是具有如图2所示多种重复场景的大型场所,包括但不限于体育场、机场、仓库等。以体育场为例,在大型体育场中通常会在观众席中设置有多个出口,而这些出口附近的布局十分相似,即使是人类不通过出口附近的标识也很难分清,而基于视觉的三维重建对于这类特征相似的场景更是难以分辨。
此外,本方法也可以是其它的类型的场景,关于具体的场景类型此处不做限定,通过本方法进行的三维重建,其准确度以及效率都可以得提升。
在具体实施中,对于目标场景对应的视频的采集可以通过摄像机、录像机、手机等具有视频采集功能的设备来实现。而对于目标场景视频的拍摄方式,可以是测试人员手持拍摄设备在目标场景内移动,并在移动时获得;多个测试人员同时进行或一个测试人员单独进行均可,只要可以完整的覆盖整个目标场景即可;另外,也可以利用机器人承载拍摄设备在目标场景内移动时获得视频。
在目标场景中预先部署有多个目标信号源,因为每个信号源发出的信号能覆盖的面积是有限的,所以不同信号源之间的间距将会被事先进行设置以确保多个信号源所发出的信号可以覆盖整个目标场景。
示例性的,对于信号的类型,可以根据所需进行三维场景种类的不同采用特点不同的信号类型,本公开并不做限定,例如在一些空旷的大型场景可以选用覆盖范围较广的信号类型、在一些室内等密集多径场所可以选用截获能力低,定位精度高的信号类型。适用于本公开的信号类型可以包括但不限于:行动热点(Wi-Fi)、蓝牙(bluetooth)、超带宽(Ultra Wide Band,UWB)等。
信号源能够发出信号。在获取多个所述视频分别对应的视频时,还可以在采集所述视频时捕捉的位于所述目标场景内的目标信号源的信号得到与各个视频分别对应的信号数据。
对于信号的采集,本公开同样并不做限定,例如可以采用信号采集器来进行信号的采集,所述信号采集器是一种具有现场实时数据采集、处理功能的自动化设备。具备实时采集、自动存储、即时显示、即时反馈、自动处理、自动传输功能。为现场数据的真实性、有效性、实时性、可用性提供了保证。采集器内装有操作系统,内置无线通讯模块(WIFI,GPRS或Bluetooth)。
示例性的,视频的采集和信号的采集可以是同时进行的,这样两者在采集时是一一对应的,在视频的采集和信号的采集结束后可以通过视频中图像的时间戳与信号数据的时间戳可以将图像信息与信号数据对应起来。其中,目标场景的完全覆盖需要多段视频,每段视频包括了多帧图像,每帧图像都有其对应的信号数据。
针对上述S102:本公开实施例提供一种基于所述信号数据,从所述多个视频中确定多个关联图像对的具体方式,包括下述步骤21~步骤23:
步骤21:提取多个视频中各帧图像的特征数据;
步骤22:基于不同图像的特征数据之间的相似度,确定多个备选图像对;每个备选图像对中包括第一图像和第二图像;
步骤23:基于多个备选图像对中第一图像和第二图像分别对应的信号数据,从所述备选图像对中,筛选所述关联图像对。
针对步骤21:特征是某一类对象区别于其他类对象的相应(本质)特点或特性,或是这些特点和特性的集合。特征是通过测量或处理能够抽取的数据。对于图像而言,每一幅图像都具有能够区别于其他类图像的自身特征,有些是可以直观地感受到的自然特征,如亮度、边缘、纹理和色彩等;有些则是需要通过变换或处理才能得到的,如矩、直方图以及主成份等。
某一类对象的多个或多种特性组合在一起,形成一个特征向量来代表该类对象,如果只有单个数值特征,则特征向量为一个一维向量,如果是n个特性的组合,则为一个n维特征向量。该类特征向量常常作为识别系统的输入。实际上,一个n维特征就是位于n维空间中的点,而识别分类的任务就是找到对这个n维空间的一种划分。例如,要区分3种不同的花朵,可以选择其花瓣长度和花瓣宽度作为特征,这样就以1个2维特征代表1个植物对象,比如(5.1,3.5),如果再加上叶片长度和叶片宽度,则每个花朵对象由一个4维特征向置表示,如(5.1,3.5,1.4,0.2)。
另外,也可以利用神经网络对视频中的各帧图像进行特征提取,得到各帧图像分别对应的特征数据。
在具体实施中,本公开旨在将视觉信息与信号数据的融合,所以对于图像特征数据的提取方法并不限定,只要可以将多个视频中各帧图像的特征数据成功的提取出用于后续处理即可。例如,基于形状特征的提取方法、基于空间关系的特征提取方法、基于纹理特征的提取方法等。
针对步骤22:在得到多个视频中各帧图像的特征数据后,可以基于不同图像的特征数据之间的相似度,进行多个备选图像对的确定。其中,多个备选图像对中的每个所述备选图像对都包括了第一图像和第二图像,这两个图像的特征数据是相似的。本公开对于图像相似度的计算方法并不做限定,例如,可以通过结构相似性度量、余弦相似度、直方图、以及互信息(Mutual Information)等方法确定两张图片是否相似。
示例性的,在确定多个备选图像对后,每个备选图像对中的第一图像和第二图像,都是基于特征数据相似度计算得到的最相似的两个图像,但值得注意的是,此时的第一图像和第二图像,虽然特征数据十分相似但并不意味着他们所表述的是同一处或相邻的场景;例如,在目标场景为机场的情况下,不同的图像表征的可能是机场中的1号登机口和13号登机口,或如图2所示的大型体育场中的东门和西门。
针对步骤23:可以通过使用图像对中第一图像和第二图像分别对应的信号数据对备选图像对进行筛选得到多个关联图像对。
其中,所述关联图像对中的两个图片不仅特征数据相似,两者对应的实际表述场景也相同或相近。
一种可选的实施方式中,本公开实施例还提供一种基于多个备选图像对中第一图像和第二图像分别对应的信号数据,从所述备选图像对中,筛选所述关联图像对的具体方式,包括下述步骤231~步骤232:
步骤231:针对多个备选图像对中的每个备选图像对,基于所述每个备选图像对中第一图像对应信号数据,以及所述每个备选图像对中第二图像对应信号数据,确定所述第一图像与所述第二图像之间的信号距离。
步骤232:响应于所述第一图像和所述第二个之间的信号距离小于预设距离阈值,将所述备选图像对确定为所述关联图像对。
在具体实施中,两个图像对应信号数据的距离可以表征两个信号数据的采集地点是否相近。其中信号距离的确定是基于接收信号强度(Received Signal Strength,RSS),有时也称接收信号强度指示(Received Signal Strength Indication,RSSI),是无线传输层用来判定链接质量的重要指标。通常情况下,RSS用功率表示,单位是瓦特(W)。但无线信号能量较弱,通常在毫瓦(mW)级别。因此普遍的做法是将信号的能量以1mW为基准,以对数形式表示信号强度,即RSSI,单位为dBm(Decibel-milliwatts):分贝毫瓦。所以在无线信号中,1mW就是0dBm,能量小于1mW的信号RSSI为负数,能量大于1mW的信号RSSI为正数。信号强度RSSI与距离相关,直观上来看,距离越远,信号强度是越低的。
在具体实施中,信号测量装置可以反映出在测量处多个信号源分别对应的信号强度。需要注意的是,单凭一个信号源的信号强度是无法确定多个信号数据的信号距离的,因为根据信号强度所能得到的并不是信号数据相对于信号源的具体位置,而是范围信息,例如,可以知道该信号数据与信号源的距离是10m,但无法确定方向,可能是东南方向的10m处,也可能是西南方向的10m处。在本公开实施例中,采用了多个信号源协同测距的方式进行多个信号源信号距离的确定。
示例性的,信号采集地点有A、B两处,两处地点均被信号源1、信号源2、信号源3覆盖的情况下,若在A处测得信号源1的信号强度是-10dBm、信号源2的信号强度是-15dBm、信号源3的信号强度是-12dBm,而在B处测得信号源1的信号强度是-10dBm、信号源2的信号强度是-14dBm、信号源3的信号强度是-12dBm,根据预设的信号数据相近的判断条件就可以确定信号采集地点A、B是相近。
在具体实施中,例如可以采用下述A或B中任一种方式确定信号距离:
A:所述信号数据包括:与所述目标视频中各帧图像分别对应的信号源标识信息。
在具体实施中,所述目标视频中各帧图像都有其对应的信号数据。当在一个地点检测到了信号,那该信号一定是某一信号源发出的。此外,每个地点检测到的信号也可以是来自于多个信号源。某个信号数据来源于哪些信号源是可以通过信号采集装置直接确定的。
所述基于所述每个备选图像对中第一图像对应信号数据,以及所述每个备选图像对中第二图像对应信号数据,确定所述第一图像与所述第二图像之间的信号距离,包括:
基于所述第一图像对应信号源标识信息、以及所述第二图像对应的信号源标识信息,确定所述第一图像和所述第二图像对应的共有信号源的数量;
在具体实施中,如上文所述,每处信号采集地点采集到的信号数据中包括了信号源标识信息,即在该采集地点处可以检测到哪些信号源发射来的信号数据。
示例性的,所述第一图像的图像拍摄地点即信号数据采集地点为A,所述第二图像对应的信号数据采集地点为B,A处采集到的信号数据中的信号源标识有信号源1、信号源3、信号源6,而B处采集到的信号数据中的信号源标识有信号源1、信号源3、信号源12,那么信号源1和信号源3就是所述第一图像与所述第二图像的共有信号源,此时共有信号源的数量为2。
基于所述数量,确定所述第一图像和所述第二图像对应的信号距离;其中,所述信号距离和所述共有信号源的数量成负相关。
示例性的,当两处信号数据采集地点的共有信号源数量越多,说明两处的信号数据采集地点越接近,而两处的共有信号源数量越少,则说明两处信号数据采集地点距离很远,没有关联性。
B:所述信号数据包括:与所述目标视频中各帧图像分别对应的信号强度信息、以及信号源标识信息;
所述基于所述每个备选图像对中第一图像对应信号数据,以及所述每个备选图像对中第二图像对应信号数据,确定所述第一图像与所述第二图像之间的信号距离,包括:
基于所述第一图像对应的信号源标识、和所述第二图像对应的信号源标识,确定所述第一图像和第二图像对应的共有信号源、和非共有信号源;基于所述第一图像和所述第二图像分别对应的信号强度信息,确定所述共有信号源的强度差异;
基于所述强度差异、以及非共有信号源对应的预设信号距离,确定所述第一图像和所述第二图像之间的信号距离。
在具体实施中,示例性的,若第一图像的信号源标识信息中包括了:信号源1、信号源2、信号源3,而第二图像的信号源标识信息中包括了:信号源1、信号源2、信号源4,那么信号源1和信号源2就是所述第一图像和所述第一图像分别对应的信号数据中的共有信号源,而信号源3和信号源4就是所述第一图像和所述第一图像分别对应的信号数据中的非共有信号源。
对于每个图像对应的信号强度信息,可以通过在一定时间范围内的加权拟合得到。以蓝牙信号为例,信号采集装置对于蓝牙信号数据的接收并不是即时的而会有一定的延迟。
示例性的,若想得到一段200秒视频中第100秒时的图像(若每秒有多帧图像则可以取其中一帧)对应于某一信号源的信号强度信息,由于信号接收存在延迟,为了使信号强度信息更易于采集,可以将所述200秒视频中的第91-109秒区间内采集到的信号数据进行加权拟合以表征出第100时的信号强度信息。例如,若设置91-100秒内采集到的信号强度权重系数为0.1-1.0、100-109秒内采集到的信号强度权重系数为1.0-0.1,若在第100秒时采集到的信号强度信息为20dBm、在第92秒时采集到的信号强度信息为23dBm、在第101秒时采集到的信号强度信息为25dBm、其他时刻未采集到信号数据,则可加权拟合出第100秒时的图像对应于某一信号源的信号强度信息;又例如,若设置91-100秒内采集到的信号强度权重系数为0.1-1.0、100-109秒内采集到的信号强度权重系数为1.0-0.1,若在第92秒时采集到的信号强度信息为19dBm、在第104秒时采集到的信号强度信息为22dBm、在第101秒时采集到的信号强度信息为18dBm、其他时刻未采集到信号数据,则可加权拟合出第100秒时的图像对应于某一信号源的信号强度信息。关于数据的加权拟合算法本公开不做限定,作为数据处理方式,只要是可以对上数据进行加权拟合的算法都可以被使用。
在具体实施中,对于共有信号源的强度差异,上述示例说明了某一图像对应于某一信号源的信号强度信息,基于该方法可以求出该图像所匹配的信号数据中包括的全部信号源的信号强度信息,同样利用数据的加权拟合即可得到两个图像的共有信号源强度差异。
示例性的,如图5所示,第一图像和第二图像的共有信号源是信号源1、信号源2、信号源13,图中每个信号源的信号覆盖范围用圆圈表示。第一图像的对应的信号数据中,信号源1的强度是30dBm、信号源2的强度是40dBm、信号源13的强度是15dBm,而第二图像的对应的信号数据中,信号源1的强度是29dBm、信号源2的强度是16dBm、信号源13的强度是40dBm,以上是信号数据强度信息。基于每个信号源对应的信号数据强度信息,可以确定对于同一个共有信号源而言,所述第一图像和所述第二图像的信号强度差异,例如基于上述数据可以确定,对于信号源1所述第一图像和所述第二图像的信号强度差异为1dBm,对于信号源2所述第一图像和所述第二图像的信号强度差异为24dBm、对于信号源13所述第一图像和所述第二图像的信号强度差异为25dBm。那么,可以对每一信号源的信号强度差异数据进行加权,由图5可知,所述第一图像和所述第二图像相对于信号源1的信号强度几乎相等,但两者实际的信号采样位置并不接近,即在共有信号源有多个的情况下,为了更加准确的信号距离,若某一信号源在两处的信号强度差异较小,则可赋予其较低的权;若某一信号源在两处的信号强度差异较大,则可赋予其较大的权重。基于所得的信号强度差异数据以及该信号强度差异所属的信号源所占权重,可以加权拟合出所述第一图像和所述第二图像总的信号强度差异。
在具体实施中,当确定第一图像和第二图像的信号强度差异后可以基于预先设置的信号强度差异阈值进行两个图像关联性的判断,若两个图像的信号强度差异大于预设的阈值,则将两个图像视为不关联;若两个图像的信号强度差异小于预设的阈值,则将两个图像视为关联。
在具体实施中,非公有信号源可以进行信号距离的判断。
示例性的,如图6所示,信号源1和信号源2是所述第一图像和所述第二图像的非共有信号源,在进行信号源在目标场景中的布置时,可以对信号源之间的距离进行事先确定,若两个信号源相距较远,则在其信号覆盖范围内的信号数据也相距较远。
通过上述102公开的方法可以基于多个图像对中第一图像和第二图像分别对应的信号数据,从所述备选图像对中,筛选所述关联图像对。
其中,所述关联图像对中的图像是信号距离相近,即图像实际拍摄距离相近的图像。
针对上述S103:本公开实施例还提供一种基于所述关联图像对,对所述目标场景进行三维重建,得到所述目标场景的三维模型的具体方法,包括:
针对多个视频中的每个视频,基于所述每个视频中的多帧图像进行三维重建,得到所述每个视频对应的三维子模型;
基于所述关联图像对,将多个所述视频分别对应的三维子模型进行拼接处理,得到所述目标场景的三维模型。
在具体实施中,基于图像的三维重建的目标是从一幅或多幅二维图像中推断出物体和场景的三维几何和结构,从二维图像中推断出缺少的的维数。对于具体的三维重建算法本公开不做限定,本公开旨在公开一种三维重建的优化方法。
在具体实施中,如上文所述,为了提高视频数据获取效率,对于目标场景视频的获取并不是利用一整段视频完整拍摄目标场景,而是同时进行关于目标场景的多段视频拍摄。在多段视频中,每段视频中的场景是连续的,同一段视频中的多帧图像描述的是相同或相邻的目标场景片段。在进行三维重建时,可以对每一段视频均进行三维重建,得到每段视频中采集到的部分目标场景对应的三维子模型,而通过上述S102中得到的关联图像对,可以确定出每段视频之间的关联关系。例如视频片段A中的最后一帧图像是所述关联图像对中的第一图像,而视频片段B中的第一帧图像是同一关联图像对中的所述第二图像,那么同一关联图像中来来自不同视频段的两个图像所对应的三维子模型就可以进行拼接。
示例性的,通过图像序列重建内部已经三角化出的三维点与数据关联的二维点进行PNP(Perspective-n-Point)计算出图像序列与图像序列之间的三维变化,包含三维的旋转R与三维的平移t。将该三维变换作用到其中一组图像序列即可将两组图像序列的三维重建拼接在一起。
其中,PNP是求解3D到2D点对运动的方法,目的是求解相机坐标系相对世界坐标系的位姿。它描述了已知n个3D点的坐标(相对世界坐标系)以及这些点的像素坐标时,如何估计相机的位姿(即求解世界坐标系到相机坐标系的旋转矩阵R和平移向量t)。
一种可选的实施方式中,除了通过对多段视频对应三维模型进行拼接来得到目标场景的三维模型外,还可以根据所述关联图像对,将多段视频中的每帧图像,拼接成可以完整描述目标场景的图像集,对该图像集进行三维重建。
在具体实施中,一组关联图像对可以描述同一个场景或相邻近的场景,而通过对全部关联图像对所描述画面的拼接则可以得到能够描述整个目标场景的图像,该图像所描述的画面类似为全景照片。
一种可选的实施方式中,本公开实施例还提供一种所述基于所述关联图像对,将多个所述视频分别对应的三维子模型进行拼接处理,得到所述目标场景的三维模型的具体方法,包括:
针对每两个视频,确定该两个视频之间是否存在目标关联图像对;所述目标关联图像对中的第一关联图像和第二关联图像分别属于该两个视频;响应于该两个视频之间存在所述目标关联图像对,基于该两个视频之间的目标关联图像对,确定该两个视频分别对应的三维子模型之间的转换关系信息,并基于所述转换关系信息,将该两个视频分别对应的三维子模型进行拼接处理;基于多个视频分别对应的拼接结果,得到所述目标场景的三维模型。
示例性的,在多组关联图像对中的每一组中都有两个相关联的图像,它们分别是第一图像和第二图像,这两个图像可能来自于同一段视频,也可能来自于不同段的视频,例如,若一段视频由1000帧图像组成(在具体实施中可以抽样出其中的几十或几百张执行本公开中的三维重建方法),这1000帧图像可以构成500组关联图像对,但由于同一段视频所表征的场景大概率是相似的或连续的,所以可能其中的498组关联图像对中的所述第一图像和所述第二图像都来自于同一段视频,而第1000帧图像和第1帧图像可以与其它段视频中的某一帧图像构成一组关联图像段,那此类的关联图像对就是我们所需要的。
一段视频对应的三维子模型是通过该段视频中的每帧图像中的信息进行三维重建的,即每一帧图像中的信息都可以在重建后的三维子模型中找到对应的位置。当通过一组关联图像对将两段视频相关联起来后,由于图像之间的关联关系,第一图像在重建后的三维子模型中的对应的位置可以与第二图像在重建后的三维子模型中的对应的位置进行模型的拼接。
其中,由于两段视频在拍摄时的相机参数可能并不相同所以两段视频对应模型的拼接需要先确定这两个三维子模型之间的转换关系。
示例性的,空间坐标转换的实质是用公共点的2套坐标和非公共点的1套坐标推估非公共点的另1套坐标。坐标转换过程通常分2步,先由公共点坐标解算转换参数,再由转换参数转换非公共点。转换参数通常分为旋转、平移和尺度参数,其中旋转参数的确定是坐标转换的核心。传统的三维坐标转换模型是用3个旋转角作为旋转参数,建立的模型是非线性的,常需要用泰勒级数展开的方法将模型线性化,计算比较繁杂。在小角度旋转情况下,可对旋转矩阵作近似处理,得到线性模型,如常用的布尔莎模型。针对大旋角的坐标转换问题,多采用罗德里格矩阵表示旋转矩阵的坐标转换方法,仅有3个旋转参数,计算过程无需线性化,且能适用大旋角转换。本公开对于坐标转换算法并不做限定,通过坐标转换,可以将待拼接的两个三维子模型转换至同一坐标系下,这样才可以进行模型的拼接。
在将全部视频对应的三维子模型进行拼接后就可以得到目标场景的三维重建结果。
一种可选的实施方式中,本公开实施例还提供一种基于该两个视频之间的目标关联图像对,确定该两个视频分别对应的三维子模型之间的转换关系信息,并基于所述转换关系信息,将该两个视频分别对应的三维子模型进行拼接处理的具体方法,包括:
执行下述至少一个迭代周期:
从所述目标关联图像对中,确定当前迭代周期对应的第一目标关联图像对;
基于所述第一目标关联图像对,确定该两个视频分别对应的三维子模型之间的当前转换关系信息;
基于所述当前转换关系信息,将该两个视频分别对应的三维子模型进行拼接处理,得到当前迭代周期对应的拼接模型;
基于所述目标关联图像对中,除所述第一目标关联图像对外的其他目标关联图像对所表征的物理位置,对所述拼接模型进行拼接正确性验证;
在具体实施中,两段视频中能够匹配成功的关联图像对数量可能为多组,那么在进行三维子模型的拼接过程中,为了保证最终三维模型拼接结果的准确性,可以先以其中一组关联图像对对应的三维坐标转换关系进行三维模型的拼接,而在两个三维子模型拼接处的多组关联图像对则可以通过三点定位法确定图像的实际拍摄位置,并将同组关联图像对中第一图像和第二图像的实际拍摄位置的距离与信号距离进行比较,若两种距离相近,则可视为拼接正确。
其中,如图7所示,所述三点定位法需要三个点,这三个点一般为信号源或信号基站,需要进行定位的一般为信号接收端的位置。通过测量信号接收端和信号发射端的距离,将其作为这三个圆的半径,画图,最终求得三圆的交点,交点即为终端位置,达到定位效果。图中A、B、C三点为三个信号源,而O点为需要进行定位的信号接收端。
示例性的,通过三点定位法可以得到信号接收端的实际物理位置,那么同一组关联图像对中的第一图像和第二图像的物理距离就可以确定,而基于上市S102中公开的信号距离确定方法又可以得到两个图像的信号距离,将所述物理距离和所述信号距离进行比对,若两个距离相近则可视为拼接正确。
响应于拼接正确性验证通过,将所述当前迭代周期对应的拼接模型作为将该两个视频分别对应的三维子模型进行拼接处理的结果模型,并结束迭代过程。
在具体实施中,若两段视频中的全部图像中能够匹配成功的关联图像对有n组,那么需要进行上述拼接正确性检测的其他关联图像对就有n-1组。
示例性的,当n-1组关联图像对全部通过拼接正确性检测后,可视为两段视频对应的三维子模型之间的拼接是正确的,可以输出该拼接结果。
响应于正确性验证未通过,进入下一迭代周期。
若所有目标关联图像对依次作为第一目标关联图像对均未通过拼接正确性验证,表征该两个视频分别对应的三维子模型之间不具备拼接关系。
在具体实施中,上述对于三维模型拼接的正确性验证是基于事先确定的三维坐标转换关系进行的,即最初的第一目标关联图像对,但因为确定好的三维坐标转换关系本身可能并不准确,所以若在某一坐标转换关系下未通过正确性验证,则可以更换当前的三维坐标转换关系再进行上述验证。最后在多个三维坐标转换关系中找到可以通过正确性验证那个关系后,即可得到三维重建包含相机位置姿态(R,t)与三维点(x,y,z)数据。基于准确相机位置与其对应的信号数据进行三点定位即可计算出准确的信号源位置地图。
示例性的,若目标关联图像对有n组,基于其中一组确定的三维坐标转换关系,即三维坐标转换矩阵为A,在基于A进行三维模型间的拼接后,发现剩余n-1组目标关联图像对无法通过正确性检验,则可重新基于n组目标关联图像对其中的一组确定出新的三维坐标转换关系矩阵B,再重新对其他n-1组目标关联图像对进行正确性检验。若基于n组目标关联图像对确定的n中三维坐标转化矩阵都无法通过正确性检验,那么说明进行拼接的两段视频没有关联关系。
一种可选的实施方式中,本公开实施例还提供另外一种基于所述关联图像对,对所述目标场景进行三维重建,得到所述目标场景的三维模型的具体方式,包括:
遍历所述关联图像对中的每个关联图像对,并基于遍历到的关联图像对进行三维重建,得到与所述遍历到的关联图像对对应的三维模型;
将多个关联图像对分别对应的三维模型进行融合处理,得到所述目标场景的三维模型。
示例性的,若目标场景对应了n段视频,而基于S102所述方法得到的关联图像对有m组,则对m组关联图像对进行遍历,针对每个遍历到的图像对,可以进行一次三维重建,得到与该对关联图像对对应的三维子模型。然后再根据图像对之间是否具有相同图像,对不同关联图像对分别对应的三维模型进行拼接,最终得到的目标场景的三维重建结果。
一种可选的实施方式中,所述基于遍历到的关联图像对进行三维重建,得到与所述遍历到的关联图像对对应的三维模型,包括:
基于遍历到的关联图像对中,第一图像和第二图像分别对应的相机位姿、以及所述第一图像和所述第二图像进行三维重建,得到第一三维模型;
基于所述第一图像、第二图像、所述第一图像和所述第二图像分别对应的相机位姿、以及所述第一三维模型,确定所述第一三维模型的重投影误差;以及
基于所述第一图像和所述第二图像分别对应的信号数据、以及与所述信号数据对应的目标信号源的信号源位置,确定所述第一图像和所述第二图像之间的信号距离误差;
其中,如图8所示,第一次投影指的就是相机在拍照的时候三维空间点投影到图像上,然后利用这些图像对一些特征点进行三角定位(triangulation)即利用几何信息构建三角形来确定三维空间点的位置。
最后利用计算得到的三维点的坐标(非真实的)和我们计算得到的相机矩阵(非真实的)进行第二次投影,也就是重投影。
重投影误差是指的真实三维空间点在图像平面上的投影(也就是图像上的像素点)和重投影(计算得到的虚拟的像素点)的差值,因为种种原因计算得到的值和实际情况不会完全相符,也就是这个差值不可能恰好为0,此时也就需要将这些差值的和最小化获取最优的相机参数及三维空间点的坐标。
而位姿是世界坐标系到相机坐标系的变换,包括了旋转与平移。位姿本质上是变换矩阵,即在变换矩阵的作用下使得世界坐标系转变为相机坐标系。上述位姿描述可知,物体的位置和姿态是根据参考坐标系唯一确定的,当在不同参考坐标系进行同一物体位姿描述时,位姿表示也会随之发生变化。因此需要用到坐标变换将物体在不同参考坐标系下的描述关联起来。不同坐标系之间的坐标变换包括:平移变换、旋转变换以及复合变换。
在具体实施中,重投影误差的误差函数如下:
Figure BDA0003666866530000171
其中,Ereproject为重投影误差,m为三维点数量,n为图像数量,P为重投影函数,x为重投影的三维点,R、t为当前图像的旋转与平移。u、v为当前特征点的二维观测。
示例性的,在通过上述方法得到重投影误差后可以得到二维点投影至三维点的位移偏差量,基于位移偏差量对应的坐标偏差可以对世界坐标系与相机坐标系之间变换矩阵进行优化,以达到更加准确的坐标转换效果。而对于最小化重投影误差的方法,可以通过最小二值法等数学方法,本公开旨在于信号数据与视觉信息的结合,所以对此不做限定。
为了避免由于视觉信息关联错误导致的重复场景重建错误,将每个图像对应的信号数据也作为观测加入到整体的误差函数中进行计算。
在具体实施中,信号距离误差函数如下:
Figure BDA0003666866530000172
其中,ESignalDistance为信号距离误差,m为信号点数量,n为图像对数量,i与j代表有数据关联的图像对,Ts,i与Ts,j为当前图像对于信号s的相对位姿。该位姿的初始指可以通过三角测量获得,Ti,j为关联图像对中的两张图像相对位姿。通过该最小化误差函数,即可优化信号点的三维位置。具体的优化方法与重投影误差的最小化方法相同,皆为利用数学工具进行最小化。
基于所述重投影误差和所述信号距离误差,对所述第一图像和第二图像分别对应的相机位姿、以及与所述目标信号源的信号源位置进行校准,得到所述第一图像和第二图像分别对应的目标位姿、以及所述目标信号源的目标位置。
示例性的,在三维重建过程中可以根据一段视频中相邻的两帧图像、以及两帧图像分别对应的位姿,重建三维场景,然后将三维场景在对应位姿下,进行重投影,并根据重投影的结果、和原始图像,确定重投影误差;同时,根据两帧图像分别对应的信号数据,确定信号距离误差;利用重投影和误差、和信号距离误差,进行信号源位置、三维点位置、以及相机位置的优化。
最终的优化误差可以是这两个误差的加权和。通过该优化方式可以同时优化信号源的位置,三维点位置与相机位置。从而可以避免重建错误并得到三维重建包含相机位置姿态与三维点数据。
基于所述第一图像、第二图像、以及所述目标位姿进行三维重建,得到所述遍历到的关联图像对对应的三维模型。
一种可选的实施方式中,还包括:基于多个关联图像分别对应的目标信号源的目标位置,构建信号源地图。
在具体实施中,通过上方法进行信号源位置的优化后无需重新计算信号源位置,因为基于使用的优化算法可以直接输出优化后的各个信号源的具体位置,基于多个信号源位置可进行信号源地图的构建。
其中,所述信号源地图可以利用于更加精准的信号定位。
本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一发明构思,本公开实施例中还提供了与三维重建方法对应的三维重建装置,由于本公开实施例中的装置解决问题的原理与本公开实施例上述三维重建方法相似,因此装置的实施可以参见方法的实施,重复之处不再赘述。
参照图9所示,为本公开实施例提供的一种三维重建装置的示意图,所述装置包括:获取模块91、处理模块92、重建模块93;其中,
所述获取模块91,用于获取针对目标场景采集的多个视频、以及与多个所述视频分别对应的信号数据;其中,所述信号数据是在采集所述视频时捕捉的位于所述目标场景内的目标信号源的信号得到的;每个视频包括多帧图像;
所述处理模块92,用于基于所述信号数据,从所述多个视频中确定多个关联图像对;
所述重建模块93,用于基于所述关联图像对,对所述目标场景进行三维重建,得到所述目标场景的三维模型。
一种可选的实施方式中,所述处理模块92,在基于所述信号数据,从所述多个视频中确定多个关联图像对时,用于:
提取多个视频中各帧图像的特征数据;
基于不同图像的特征数据之间的相似度,确定多个备选图像对;每个备选图像对中包括第一图像和第二图像;
基于多个备选图像对中第一图像和第二图像分别对应的信号数据,从所述备选图像对中,筛选所述关联图像对。
一种可选的实施方式中,所述处理模块92,在基于多个备选图像对中第一图像和第二图像分别对应的信号数据,从所述备选图像对中,筛选所述关联图像对时,用于:
针对多个备选图像对中的每个备选图像对,基于所述每个备选图像对中第一图像对应信号数据,以及所述每个备选图像对中第二图像对应信号数据,确定所述第一图像与所述第二图像之间的信号距离;
响应于所述第一图像和所述第二个之间的信号距离小于预设距离阈值,将所述备选图像对确定为所述关联图像对。
一种可选的实施方式中,所述信号数据包括:与所述目标视频中各帧图像分别对应的信号源标识信息;
所述处理模块92,在基于所述每个备选图像对中第一图像对应信号数据,以及所述每个备选图像对中第二图像对应信号数据,确定所述第一图像与所述第二图像之间的信号距离时,用于:
基于所述第一图像对应信号源标识信息、以及所述第二图像对应的信号源标识信息,确定所述第一图像和所述第二图像对应的共有信号源的数量;
基于所述数量,确定所述第一图像和所述第二图像对应的信号距离;其中,所述信号距离和所述共有信号源的数量成负相关。
一种可选的实施方式中,所述信号数据包括:与所述目标视频中各帧图像分别对应的信号强度信息、以及信号源标识信息;
所述处理模块92,在基于所述每个备选图像对中第一图像对应信号数据,以及所述每个备选图像对中第二图像对应信号数据,确定所述第一图像与所述第二图像之间的信号距离时,用于:
基于所述第一图像对应的信号源标识、和所述第二图像对应的信号源标识,确定所述第一图像和第二图像对应的共有信号源、和非共有信号源;
基于所述第一图像和所述第二图像分别对应的信号强度信息,确定所述共有信号源的强度差异;
基于所述强度差异、以及非共有信号源对应的预设信号距离,确定所述第一图像和所述第二图像之间的信号距离。
一种可选的实施方式中,所述重建模块93,在基于所述关联图像对,对所述目标场景进行三维重建,得到所述目标场景的三维模型时,用于:
针对多个视频中的每个视频,基于所述每个视频中的多帧图像进行三维重建,得到所述每个视频对应的三维子模型;
基于所述关联图像对,将多个所述视频分别对应的三维子模型进行拼接处理,得到所述目标场景的三维模型。
一种可选的实施方式中,所述重建模块93,在基于所述关联图像对,将多个所述视频分别对应的三维子模型进行拼接处理,得到所述目标场景的三维模型时,用于:
针对每两个视频,确定该两个视频之间是否存在目标关联图像对;所述目标关联图像对中的第一关联图像和第二关联图像分别属于该两个视频;
响应于该两个视频之间存在所述目标关联图像对,基于该两个视频之间的目标关联图像对,确定该两个视频分别对应的三维子模型之间的转换关系信息,并基于所述转换关系信息,将该两个视频分别对应的三维子模型进行拼接处理;
基于多个视频分别对应的拼接结果,得到所述目标场景的三维模型。
一种可选的实施方式中,所述重建模块93,在基于该两个视频之间的目标关联图像对,确定该两个视频分别对应的三维子模型之间的转换关系信息,并基于所述转换关系信息,将该两个视频分别对应的三维子模型进行拼接处理时,用于:
执行下述至少一个迭代周期:
从所述目标关联图像对中,确定当前迭代周期对应的第一目标关联图像对;
基于所述第一目标关联图像对,确定该两个视频分别对应的三维子模型之间的当前转换关系信息;
基于所述当前转换关系信息,将该两个视频分别对应的三维子模型进行拼接处理,得到当前迭代周期对应的拼接模型;
基于所述目标关联图像对中,除所述第一目标关联图像对外的其他目标关联图像对所表征的物理位置,对所述拼接模型进行拼接正确性验证;
响应于拼接正确性验证通过,将所述当前迭代周期对应的拼接模型作为将该两个视频分别对应的三维子模型进行拼接处理的结果模型,并结束迭代过程;
响应于正确性验证未通过,进入下一迭代周期;
若所有目标关联图像对依次作为第一目标关联图像对均未通过拼接正确性验证,表征该两个视频分别对应的三维子模型之间不具备拼接关系。
一种可选的实施方式中,所述重建模块93,在基于所述关联图像对,对所述目标场景进行三维重建,得到所述目标场景的三维模型时,用于:
遍历所述关联图像对中的每个关联图像对,并基于遍历到的关联图像对进行三维重建,得到与所述遍历到的关联图像对对应的三维模型;
将多个关联图像对分别对应的三维模型进行融合处理,得到所述目标场景的三维模型。
一种可选的实施方式中,所述重建模块93,在基于遍历到的关联图像对进行三维重建,得到与所述遍历到的关联图像对对应的三维模型时,用于:
基于遍历到的关联图像对中,第一图像和第二图像分别对应的相机位姿、以及所述第一图像和所述第二图像进行三维重建,得到第一三维模型;
基于所述第一图像、第二图像、所述第一图像和所述第二图像分别对应的相机位姿、以及所述第一三维模型,确定所述第一三维模型的重投影误差;以及
基于所述第一图像和所述第二图像分别对应的信号数据、以及与所述信号数据对应的目标信号源的信号源位置,确定所述第一图像和所述第二图像之间的信号距离误差;
基于所述重投影误差和所述信号距离误差,对所述第一图像和第二图像分别对应的相机位姿、以及与所述目标信号源的信号源位置进行校准,得到所述第一图像和第二图像分别对应的目标位姿、以及所述目标信号源的目标位置;
基于所述第一图像、第二图像、以及所述目标位姿进行三维重建,得到所述遍历到的关联图像对对应的三维模型。
一种可选的实施方式中,所述重建模块93还用于:基于多个关联图像分别对应的目标信号源的目标位置,构建信号源地图。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明,这里不再详述。
本公开实施例还提供了一种计算机设备,如图10所示,为本公开实施例提供的计算机设备结构示意图,包括:
处理器101和存储器102;所述存储器102存储有处理器101可执行的机器可读指令,处理器101用于执行存储器102中存储的机器可读指令,所述机器可读指令被处理器101执行时,处理器101执行下述步骤:
获取针对目标场景采集的多个视频、以及与多个所述视频分别对应的信号数据;其中,所述信号数据是在采集所述视频时捕捉的位于所述目标场景内的目标信号源的信号得到的;每个视频包括多帧图像;
基于所述信号数据,从所述多个视频中确定多个关联图像对;
基于所述关联图像对,对所述目标场景进行三维重建,得到所述目标场景的三维模型。
上述存储器102包括内存1021和外部存储器1022;这里的内存1021也称内存储器,用于暂时存放处理器101中的运算数据,以及与硬盘等外部存储器1022交换的数据,处理器101通过内存1021与外部存储器1022进行数据交换。
上述指令的具体执行过程可以参考本公开实施例中所述的三维重建方法的步骤,此处不再赘述。
本公开实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述方法实施例中所述的三维重建方法的步骤。其中,该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例还提供一种计算机程序产品,该计算机程序产品承载有程序代码,所述程序代码包括的指令可用于执行上述方法实施例中所述的三维重建方法的步骤,具体可参见上述方法实施例,在此不再赘述。
其中,上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中,所述计算机程序产品具体体现为计算机存储介质,在另一个可选实施例中,计算机程序产品具体体现为软件产品,例如软件开发包(Software Development Kit,SDK)等等。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统和装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。在本公开所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本公开各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上所述实施例,仅为本公开的具体实施方式,用以说明本公开的技术方案,而非对其限制,本公开的保护范围并不局限于此,尽管参照前述实施例对本公开进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本公开揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围,都应涵盖在本公开的保护范围之内。因此,本公开的保护范围应所述以权利要求的保护范围为准。

Claims (14)

1.一种三维重建方法,其特征在于,包括:
获取针对目标场景采集的多个视频、以及与多个所述视频分别对应的信号数据;其中,所述信号数据是在采集所述视频时捕捉的位于所述目标场景内的目标信号源的信号得到的;每个视频包括多帧图像;
基于所述信号数据,从所述多个视频中确定多个关联图像对;
基于所述关联图像对,对所述目标场景进行三维重建,得到所述目标场景的三维模型。
2.根据权利要求1所述的方法,其特征在于,所述基于所述信号数据,从所述多个视频中确定多个关联图像对,包括:
提取多个视频中各帧图像的特征数据;
基于不同图像的特征数据之间的相似度,确定多个备选图像对;每个备选图像对中包括第一图像和第二图像;
基于多个备选图像对中第一图像和第二图像分别对应的信号数据,从所述备选图像对中,筛选所述关联图像对。
3.根据权利要求2所述的方法,其特征在于,所述基于多个备选图像对中第一图像和第二图像分别对应的信号数据,从所述备选图像对中,筛选所述关联图像对,包括:
针对多个备选图像对中的每个备选图像对,基于所述每个备选图像对中第一图像对应信号数据,以及所述每个备选图像对中第二图像对应信号数据,确定所述第一图像与所述第二图像之间的信号距离;
响应于所述第一图像和所述第二个之间的信号距离小于预设距离阈值,将所述备选图像对确定为所述关联图像对。
4.根据权利要求3所述的方法,其特征在于,所述信号数据包括:与所述目标视频中各帧图像分别对应的信号源标识信息;
所述基于所述每个备选图像对中第一图像对应信号数据,以及所述每个备选图像对中第二图像对应信号数据,确定所述第一图像与所述第二图像之间的信号距离,包括:
基于所述第一图像对应信号源标识信息、以及所述第二图像对应的信号源标识信息,确定所述第一图像和所述第二图像对应的共有信号源的数量;
基于所述数量,确定所述第一图像和所述第二图像对应的信号距离;其中,所述信号距离和所述共有信号源的数量成负相关。
5.根据权利要求3所述的方法,其特征在于,所述信号数据包括:与所述目标视频中各帧图像分别对应的信号强度信息、以及信号源标识信息;
所述基于所述每个备选图像对中第一图像对应信号数据,以及所述每个备选图像对中第二图像对应信号数据,确定所述第一图像与所述第二图像之间的信号距离,包括:
基于所述第一图像对应的信号源标识、和所述第二图像对应的信号源标识,确定所述第一图像和第二图像对应的共有信号源、和非共有信号源;
基于所述第一图像和所述第二图像分别对应的信号强度信息,确定所述共有信号源的强度差异;
基于所述强度差异、以及非共有信号源对应的预设信号距离,确定所述第一图像和所述第二图像之间的信号距离。
6.根据权利要求2-5任一项所述的方法,其特征在于,所述基于所述关联图像对,对所述目标场景进行三维重建,得到所述目标场景的三维模型,包括:
针对多个视频中的每个视频,基于所述每个视频中的多帧图像进行三维重建,得到所述每个视频对应的三维子模型;
基于所述关联图像对,将多个所述视频分别对应的三维子模型进行拼接处理,得到所述目标场景的三维模型。
7.根据权利要求6所述的方法,其特征在于,所述基于所述关联图像对,将多个所述视频分别对应的三维子模型进行拼接处理,得到所述目标场景的三维模型,包括:
针对每两个视频,确定该两个视频之间是否存在目标关联图像对;所述目标关联图像对中的第一关联图像和第二关联图像分别属于该两个视频;
响应于该两个视频之间存在所述目标关联图像对,基于该两个视频之间的目标关联图像对,确定该两个视频分别对应的三维子模型之间的转换关系信息,并基于所述转换关系信息,将该两个视频分别对应的三维子模型进行拼接处理;
基于多个视频分别对应的拼接结果,得到所述目标场景的三维模型。
8.根据权利要求7所述的方法,其特征在于,所述基于该两个视频之间的目标关联图像对,确定该两个视频分别对应的三维子模型之间的转换关系信息,并基于所述转换关系信息,将该两个视频分别对应的三维子模型进行拼接处理,包括:
执行下述至少一个迭代周期:
从所述目标关联图像对中,确定当前迭代周期对应的第一目标关联图像对;
基于所述第一目标关联图像对,确定该两个视频分别对应的三维子模型之间的当前转换关系信息;
基于所述当前转换关系信息,将该两个视频分别对应的三维子模型进行拼接处理,得到当前迭代周期对应的拼接模型;
基于所述目标关联图像对中,除所述第一目标关联图像对外的其他目标关联图像对所表征的物理位置,对所述拼接模型进行拼接正确性验证;
响应于拼接正确性验证通过,将所述当前迭代周期对应的拼接模型作为将该两个视频分别对应的三维子模型进行拼接处理的结果模型,并结束迭代过程;
响应于正确性验证未通过,进入下一迭代周期;
若所有目标关联图像对依次作为第一目标关联图像对均未通过拼接正确性验证,表征该两个视频分别对应的三维子模型之间不具备拼接关系。
9.根据权利要求2-8任一项所述的方法,其特征在于,所述基于所述关联图像对,对所述目标场景进行三维重建,得到所述目标场景的三维模型,包括:
遍历所述关联图像对中的每个关联图像对,并基于遍历到的关联图像对进行三维重建,得到与所述遍历到的关联图像对对应的三维模型;
将多个关联图像对分别对应的三维模型进行融合处理,得到所述目标场景的三维模型。
10.根据权利要求9所述的方法,其特征在于,所述基于遍历到的关联图像对进行三维重建,得到与所述遍历到的关联图像对对应的三维模型,包括:
基于遍历到的关联图像对中,第一图像和第二图像分别对应的相机位姿、以及所述第一图像和所述第二图像进行三维重建,得到第一三维模型;
基于所述第一图像、第二图像、所述第一图像和所述第二图像分别对应的相机位姿、以及所述第一三维模型,确定所述第一三维模型的重投影误差;以及
基于所述第一图像和所述第二图像分别对应的信号数据、以及与所述信号数据对应的目标信号源的信号源位置,确定所述第一图像和所述第二图像之间的信号距离误差;
基于所述重投影误差和所述信号距离误差,对所述第一图像和第二图像分别对应的相机位姿、以及与所述目标信号源的信号源位置进行校准,得到所述第一图像和第二图像分别对应的目标位姿、以及所述目标信号源的目标位置;
基于所述第一图像、第二图像、以及所述目标位姿进行三维重建,得到所述遍历到的关联图像对对应的三维模型。
11.根据权利要求10所述的方法,其特征在于,还包括:基于多个关联图像分别对应的目标信号源的目标位置,构建信号源地图。
12.一种三维重建装置,其特征在于,包括:
获取模块,用于获取针对目标场景采集的多个视频、以及与多个所述视频分别对应的信号数据;其中,所述信号数据是在采集所述视频时捕捉的位于所述目标场景内的目标信号源的信号得到的;每个视频包括多帧图像;
处理模块,用于基于所述信号数据,从所述多个视频中确定多个关联图像对;
重建模块,用于基于所述关联图像对,对所述目标场景进行三维重建,得到所述目标场景的三维模型。
13.一种计算机设备,其特征在于,包括:处理器、存储器,所述存储器存储有所述处理器可执行的机器可读指令,所述处理器用于执行所述存储器中存储的机器可读指令,所述机器可读指令被所述处理器执行时,所述处理器执行如权利要求1至11任一项所述的三维重建方法的步骤。
14.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被计算机设备运行时,所述计算机设备执行如权利要求1至11任意一项所述的三维重建方法的步骤。
CN202210589283.2A 2022-05-27 2022-05-27 一种三维重建方法、装置、计算机设备及存储介质 Pending CN114972645A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210589283.2A CN114972645A (zh) 2022-05-27 2022-05-27 一种三维重建方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210589283.2A CN114972645A (zh) 2022-05-27 2022-05-27 一种三维重建方法、装置、计算机设备及存储介质

Publications (1)

Publication Number Publication Date
CN114972645A true CN114972645A (zh) 2022-08-30

Family

ID=82955395

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210589283.2A Pending CN114972645A (zh) 2022-05-27 2022-05-27 一种三维重建方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN114972645A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115713616A (zh) * 2022-11-18 2023-02-24 北京城市网邻信息技术有限公司 一种房源空间模型生成方法、装置、终端设备及存储介质
CN116486008A (zh) * 2023-04-12 2023-07-25 荣耀终端有限公司 一种三维重建方法、显示方法及电子设备

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115713616A (zh) * 2022-11-18 2023-02-24 北京城市网邻信息技术有限公司 一种房源空间模型生成方法、装置、终端设备及存储介质
CN115713616B (zh) * 2022-11-18 2023-10-31 北京城市网邻信息技术有限公司 一种房源空间模型生成方法、装置、终端设备及存储介质
CN116486008A (zh) * 2023-04-12 2023-07-25 荣耀终端有限公司 一种三维重建方法、显示方法及电子设备
CN116486008B (zh) * 2023-04-12 2023-12-12 荣耀终端有限公司 一种三维重建方法、显示方法及电子设备

Similar Documents

Publication Publication Date Title
CN111199564B (zh) 智能移动终端的室内定位方法、装置与电子设备
Whelan et al. Deformation-based loop closure for large scale dense RGB-D SLAM
CN113592989B (zh) 一种三维场景的重建系统、方法、设备及存储介质
Golparvar-Fard et al. Evaluation of image-based modeling and laser scanning accuracy for emerging automated performance monitoring techniques
Zhang et al. A UAV-based panoramic oblique photogrammetry (POP) approach using spherical projection
CN114972645A (zh) 一种三维重建方法、装置、计算机设备及存储介质
CN110443850B (zh) 目标对象的定位方法及装置、存储介质、电子装置
CN113132717A (zh) 数据处理方法、终端和服务器
CN108759788A (zh) 无人机影像定位定姿方法及无人机
Castillo-Carrión et al. SIFT optimization and automation for matching images from multiple temporal sources
CN109870106A (zh) 一种基于无人机图片的建筑物体积测量方法
Özdemir et al. A multi-purpose benchmark for photogrammetric urban 3D reconstruction in a controlled environment
CN111563961B (zh) 一种变电站的三维建模方法和相关装置
CN112802126A (zh) 一种标定方法、装置、计算机设备和存储介质
CN111489416A (zh) 隧道轴线拟合方法及在超欠挖方量计算上的应用
Liang et al. Reduced-complexity data acquisition system for image-based localization in indoor environments
Kaiser et al. Automatic co-registration of photogrammetric point clouds with digital building models
CN111899279A (zh) 一种目标对象的运动速度检测方法及装置
CN111325828A (zh) 一种基于三目相机的三维人脸采集方法及装置
CN112270748B (zh) 基于图像的三维重建方法及装置
KR102376921B1 (ko) 토지현황 분석을 위한 데이터베이스 구축 장치 및 방법
CN115164769A (zh) 一种基于倾斜摄影技术的三维不动产测算方法
Li et al. Low-cost 3D building modeling via image processing
CN108475413A (zh) 一致地编辑光场数据
Gutiérrez et al. A blender-based simulation tool for visible light positioning with portable devices

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination