CN113436318A - 场景重建方法、装置、电子设备和计算机存储介质 - Google Patents

场景重建方法、装置、电子设备和计算机存储介质 Download PDF

Info

Publication number
CN113436318A
CN113436318A CN202110737624.1A CN202110737624A CN113436318A CN 113436318 A CN113436318 A CN 113436318A CN 202110737624 A CN202110737624 A CN 202110737624A CN 113436318 A CN113436318 A CN 113436318A
Authority
CN
China
Prior art keywords
scene
acquisition
point cloud
information
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110737624.1A
Other languages
English (en)
Inventor
李文哲
刘浩敏
韩殿飞
蔺颖
薛方
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN202110737624.1A priority Critical patent/CN113436318A/zh
Publication of CN113436318A publication Critical patent/CN113436318A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本公开实施例提出了一种场景重建方法、装置、电子设备和计算机存储介质中,该方法包括:获取至少两个图像采集设备采集的场景中物体图像和至少一个传感器采集的所述物体的采集信息;基于所述场景中物体图像和所述物体的采集信息,得到所述场景中物体的三维点云数据;基于所述场景中物体的三维点云数据进行场景重建,得到重建的三维场景模型。

Description

场景重建方法、装置、电子设备和计算机存储介质
技术领域
本公开涉及计算机视觉处理技术,尤其涉及一种场景重建方法、装置、电子设备和计算机存储介质。
背景技术
目前,随着实体经济数字化的推进,对于现实场景物体的数字化的需求越来越大;相关技术难以满足大规模场景数字化的需求,在相关技术中,可以采用激光雷达设备实现三维(3-Dimension,3D)场景重建;然而,由于激光雷达设备成本较高,导致数据采集成本较高;并且激光雷达设备比较重,数据采集的便捷性较差。
发明内容
本公开实施例提供场景重建的技术方案。
本公开实施例提供了一种场景重建方法,所述方法包括:
获取至少两个图像采集设备采集的场景中物体图像和至少一个传感器采集的所述物体的采集信息;
基于所述场景中物体图像和所述物体的采集信息,得到所述场景中物体的三维点云数据;
基于所述场景中物体的三维点云数据进行场景重建,得到重建的三维场景模型。
在一些实施例中,所述基于所述场景中物体图像和所述物体的采集信息,得到所述场景中物体的三维点云数据,包括:
对所述场景中物体图像进行降采样处理,得到降采样处理后的物体图像;
对所述降采样处理后的物体图像和所述物体的采集信息进行同步处理,得到同步处理后的物体图像和同步处理后所述物体的采集信息;
根据所述同步处理后的物体图像和同步处理后所述物体的采集信息,得到所述场景中物体的三维点云数据。
在一些实施例中,所述方法还包括:
根据所述重建的三维场景模型中三维点云数据的分布情况,确定所述重建的三维场景模型中各区域的三维点云数据的有效性。
在一些实施例中,所述方法还包括:
根据所述重建的三维场景模型中各区域的三维点云数据的有效性,确定出场景中的目标区域,所述目标区域的三维点云数据的有效性不满足预设的有效性要求;
生成针对所述目标区域的数据采集指令,所述采集指令用于指示所述至少两个图像采集设备和所述至少一个传感器采集所述目标区域的数据。
在一些实施例中,所述采集信息包括以下至少之一:位置信息、姿态信息、深度信息、红外热成像信息、声音信息。
在一些实施例中,所述方法还包括:
将所述重建的三维场景模型进行可视化显示。
在一些实施例中,所述至少两个图像采集设备和所述至少一个传感器是基于同一时钟信号进行数据采集的器件。
在一些实施例中,所述至少一个传感器的数量大于1。
本公开实施例还提出了一种场景重建装置,所述装置包括:获取模块、第一处理模块和第二处理模块;其中,
获取模块,用于获取至少两个图像采集设备采集的场景中物体图像和至少一个传感器采集的所述物体的采集信息;
第一处理模块,用于基于所述场景中物体图像和所述物体的采集信息,得到所述场景中物体的三维点云数据;
第二处理模块,用于基于所述场景中物体的三维点云数据进行场景重建,得到重建的三维场景模型。
本公开实施例还提供了一种电子设备,包括处理器和用于存储能够在处理器上运行的计算机程序的存储器;其中,
所述处理器用于运行所述计算机程序以执行上述任意一种场景重建方法。
本公开实施例还提供了一种计算机存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述任意一种场景重建方法。
本公开实施例中,获取至少两个图像采集设备采集的场景中物体图像和至少一个传感器采集的所述物体的采集信息;基于所述场景中物体图像和所述物体的采集信息,得到所述场景中物体的三维点云数据;基于所述场景中物体的三维点云数据进行场景重建,得到重建的三维场景模型。
可以看出,本公开实施例中可以利用图像采集设备和传感器替代激光雷达,实现三维场景重建;与相关技术中采用激光雷达进行三维场景重建的方案相比,降低了数据采集成本,并增加了数据采集的便捷性,从而,降低了三维场景重建的成本并增加了三维场景重建的便捷性。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,而非限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,这些附图示出了符合本公开的实施例,并与说明书一起用于说明本公开的技术方案。
图1为本公开实施例的场景重建方法的流程图;
图2为本公开实施例的应用场景的一个示例性的架构示意图;
图3为本公开实施例的应用场景的另一个示例性的架构示意图;
图4为本公开实施例的场景重建装置的结构示意图;
图5为本公开实施例的电子设备的结构示意图。
具体实施方式
在相关技术中,虽然可以采用激光雷达设备实现三维(3-Dimension,3D)场景重建;然而,激光雷达设备成本较高并且激光雷达设备比较重,由激光雷达采集的数据需要后续离线重构后才可以验证数据的有效性,并不能实时验证激光雷达采集的数据的有效性。
针对上述技术问题,提出本公开实施例的技术方案。
以下结合附图及实施例,对本公开进行进一步详细说明。应当理解,此处所提供的实施例仅仅用以解释本公开,并不用于限定本公开。另外,以下所提供的实施例是用于实施本公开的部分实施例,而非提供实施本公开的全部实施例,在不冲突的情况下,本公开实施例记载的技术方案可以任意组合的方式实施。
需要说明的是,在本公开实施例中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的方法或者装置不仅包括所明确记载的要素,而且还包括没有明确列出的其他要素,或者是还包括为实施方法或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个......”限定的要素,并不排除在包括该要素的方法或者装置中还存在另外的相关要素(例如方法中的步骤或者装置中的单元,例如的单元可以是部分电路、部分处理器、部分程序或软件等等)。
例如,本公开实施例提供的场景重建方法包含了一系列的步骤,但是本公开实施例提供的场景重建方法不限于所记载的步骤,同样地,本公开实施例提供的场景重建装置包括了一系列模块,但是本公开实施例提供的装置不限于包括所明确记载的模块,还可以包括为获取相关信息、或基于信息进行处理时所需要设置的模块。
本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。
本公开实施例可以应用于终端和/或服务器组成的核心控制系统中,并可以与众多其它通用或专用计算系统环境或配置一起操作。这里,终端可以是瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统,等等,服务器可以是服务器计算机系统小型计算机系统﹑大型计算机系统和包括上述任何系统的分布式云计算技术环境,等等。
终端、服务器等电子设备可以包括用于执行指令的程序模块。通常,程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等,它们可以执行特定的任务。计算机系统/服务器可以在分布式云计算环境中实施,分布式云计算环境中,任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中,程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
本公开的一些实施例中提出了一种场景重建方法,可以应用于工业场景、通讯场景、景区场景等需要数字化处理的场景中。
图1为本公开实施例的场景重建方法的流程图,如图1所示,该流程可以包括:
步骤101:获取至少两个图像采集设备采集的场景中物体图像和至少一个传感器采集的物体的采集信息。
本公开实施例中,图像采集设备可以是摄像机或其它设备,图像采集设备可以针对场景采集至少一幅物体图像,示例性地,图像采集设备可以采集视频数据,视频数据是由多个连续帧图像组成的。可以理解地,基于至少两个图像采集设备采集的场景中物体图像,可以确定场景中物体的深度信息。
在实际应用中,参照图2,可以由云端平台201向核心控制系统202下发第一采集指令,核心控制系统202可以根据第一采集指令控制图像采集设备203进行图像采集;可以将图像采集设备203采集的图像存储于存储单元204中;存储单元可以是易失性存储器(volatile memory),例如随机存取存储器(Random Access Memory,RAM);或者非易失性存储器(non-volatile memory),例如只读存储器(Read Only Memory,ROM),快闪存储器(flash memory),硬盘(Hard Disk Drive,HDD)或固态硬盘(Solid-State Drive,SSD);或者上述种类的存储器的组合。
本公开实施例中,上述采集信息可以是包括以下至少之一:位置信息、姿态信息、深度信息、红外热成像信息、声音信息;相应地,上传至少一个传感器可以包括以下至少之一:惯性测量单元(Inertial Measurement Unit,IMU)、全球定位系统(GlobalPositioning System,GPS)芯片、实时动态测量(Real Time Kinematic,RTK)传感器、地磁传感器、双目视觉传感器、红外热成像仪、声音传感器;需要说明的是,上述记载的内容仅仅是对采集信息和传感器的示例性说明,本公开实施例并不局限于此。
在实际应用中,参照图2,可以由云端平台201向核心控制系统202下发第二采集指令,核心控制系统202可以根据第二采集指令控制传感器205采集相应的数据;可以将传感器205采集的采集信息存储于存储单元204中。
步骤102:基于场景中物体图像和物体的采集信息,得到场景中物体的三维点云数据。
可以理解地,由于场景中物体图像可以反映物体的尺寸、形状、位置等信息,而物体的采集信息可以反映物体的位置、姿态、深度、热辐射等信息中的至少之一,因而,结合场景中物体图像和物体的采集信息,有利于准确地生成物体的三维点云数据。
步骤103:基于场景中物体的三维点云数据进行场景重建,得到重建的三维场景模型。
本公开实施例中,重建的三维模型可以包括场景中物体的三维点云数据和物体的数字化模型,这里,物体的数字化模型用于反映物体的位置、形状、尺寸等信息。
在实际应用中,步骤101至步骤103可以利用电子设备中的处理器实现,上述处理器可以为特定用途集成电路(Application Specific Integrated Circuit,ASIC)、数字信号处理器(Digital Signal Processor,DSP)、数字信号处理装置(Digital SignalProcessing Device,DSPD)、可编程逻辑装置(Programmable Logic Device,PLD)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、中央处理器(Central ProcessingUnit,CPU)、控制器、微控制器、微处理器中的至少一种。
可以看出,本公开实施例可以利用图像采集设备和传感器替代激光雷达,实现三维场景重建;与相关技术中采用激光雷达进行三维场景重建的方案相比,降低了数据采集成本,并增加了数据采集的便捷性,从而,降低了三维场景重建的成本并增加了三维场景重建的便捷性。
在一些实施例中,上述基于场景中物体图像和物体的采集信息,得到场景中物体的三维点云数据的实现方式,可以包括:对场景中物体图像进行降采样处理,得到降采样处理后的物体图像;对降采样处理后的物体图像和物体的采集信息进行同步处理,得到同步处理后的物体图像和同步处理后物体的采集信息;根据同步处理后的物体图像和同步处理后的物体的采集信息,得到场景中物体的三维点云数据。
这里,在场景中物体图像为多帧图像的情况下,可以对场景中物体图像进行降采样处理;示例性地,参照图2,在场景中多帧物体图像组成视频数据的情况下,核心控制系统可以对该视频数据进行降采样处理,得到降采样处理后的物体图像;降采样处理后的物体图像可以包括至少一帧图像。
考虑到降采样处理过程有可能造成一定的时延,因而,在对场景中物体图像进行降采样处理后,可以对降采样处理后的物体图像和物体的采集信息进行同步处理,使得同步处理后的物体图像和同步处理后物体的采集信息处于时间同步状态。
示例性地,参照图2,核心控制系统202可以基于场景中物体的三维点云数据进行场景重建。核心控制系统202还可以采用即时定位与地图构建(SimultaneousLocalization And Mapping,SLAM)方法构建场景地图。
可以看出,本公开实施例中可以通过对场景中物体图像进行降采样处理,降低得到场景中物体的三维点云数据的运算量,从而,降低了场景重建所需的运算量,有利于提高三维场景重建的实时性。
在一些实施例中,可以根据重建的三维场景模型中三维点云数据的分布情况,确定重建的三维场景模型中各区域的三维点云数据的有效性。
可以理解地,由于场景中不同物体与图像采集设备的距离存在差异,并且,场景中不同物体与传感器的位置关系也存在差异,因而,可能导致重建的三维场景模型中不同区域的点云数据的分布情况存在差异,重建的三维场景模型中不同区域的三维点云数据的点云密度存在差异。
示例性地,可以针对重建的三维场景模型中各区域,标记三维点云数据的有效性;即,在重建的三维场景模型中第一区域的三维点云数据的点云密度大于或等于设定密度的情况下,可以标记第一区域的三维点云数据为有效的点云数据;在重建的三维场景模型中第二区域的三维点云数据的点云密度小于设定密度的情况下,可以标记第二区域的三维点云数据为无效的点云数据。
结合上述记载的内容可以看出,通过对场景中物体图像进行降采样处理,可以提高三维场景重建的实时性,进而,也有利于实时确定重建的三维场景模型中各区域的三维点云数据的有效性,可以提高三维场景重建的效率,并提高对三维点云数据进行有效性验证的效率。
在一些实施例中,可以根据重建的三维场景模型中各区域的三维点云数据的有效性,确定出场景中的目标区域,目标区域的三维点云数据的有效性不满足预设的有效性要求;生成针对目标区域的数据采集指令,采集指令用于指示至少两个图像采集设备和至少一个传感器采集所述目标区域的数据。
本公开实施例中,在目标区域的三维点云数据的点云密度小于设定密度的情况下,可以认为目标区域的三维点云数据为无效的点云数据,即,目标区域的三维点云数据的有效性不满足预设的有效性要求;在这种情况下,可以认为目标区域的点云较为稀疏,不利于针对目标区域进行精确地三维场景重建。
在实际应用中,核心控制系统在确定出场景中的目标区域后,可以向至少两个图像采集设备和至少一个传感器发送数据采集指令,在数据采集指令中可以携带目标区域的位置信息,这样,至少两个图像采集设备和至少一个传感器的持有者可以控制图像采集设备和传感器移动至目标区域,从而采集目标区域的相应数据。
示例性地,云端平台可以采用云任务管理的模式生成针对整个场景的数据采集任务,该数据采集任务包括使用图像采集设备采集图像的任务和使用传感器采集物体的采集信息的任务;核心控制系统可以通过与云端平台的交互,获取整个场景的数据采集任务,并根据场景中的目标区域,生成指示图像采集设备和传感器对目标区域进行断点续采的指令。
示例性地,在图像采集设备为多个或传感器为多个的情况下,本公开实施例可以基于云端平台的云任务管理的模式,实现多个图像采集设备或多个传感器同步完成整个场景的数据采集任务,可以提高同一任务并发采集的效率。
可以看出,本公开实施例可以针对目标区域进行数据重新采集,由于针对目标区域的重新采集的数据提供了关于目标区域的更多的信息,因而,有利于使重新得到的目标区域的三维点云数据的有效性满足预设的有效性要求。
在一些实施例中,可以将重建的三维场景模型进行可视化显示。
参照图2,核心控制系统202可以将重建的三维场景模型通过显示器206进行实时显示。可以看出,本公开实施例通过将重建的三维场景模型进行可视化显示,便于用户直观地了解重建的三维场景模型,结合三维场景的实时重建,可以达到三维场景数据的“所见即所采”的效果。
示例性地,核心控制系统202还可以标记各区域的点云数据的有效性后,得到有效性标记结果;核心控制系统202还可以将有效性标记结果通过显示器206进行显示。
示例性地,参照图2,核心控制系统202还可以将通过SLAM方法构建的场景地图通过显示器206进行显示。
示例性地,参照图2,核心控制系统202还可以将重建的三维场景模型、通过SLAM方法构建的场景地图等数据与云端平台201进行数据同步。
在一些实施例中,上述至少两个图像采集设备和至少一个传感器是基于同一时钟信号进行数据采集的器件。
在实际应用中,可以采用高性能的同一工程主控芯片生成时钟信号,并向上述至少两个图像采集设备和至少一个传感器发送同一时钟信号,由上述至少两个图像采集设备和至少一个传感器的数据采集过程是基于同一时钟信号实现的,因而,可以较为容易地实现至少两个图像采集设备和至少一个传感器的数据同步。
在一些实施例中,所述至少一个传感器的数量大于1。
如此,本公开实施例可以针对多个图像采集设备和多个传感器,实现采集的数据的时间同步。
本公开实施例可以应用于大规模场景的三维重建,项目管理方可以利用云端平台的云任务管理的模式,实现三维场景重建任务的创建,并通过核心控制系统分配至相应的图像采集设备用户或传感器用户;图像采集设备用户或传感器用户可以在账号登录后接收相应的采集任务,启动图像采集设备或传感器进行数据采集,多个图像采集设备和多个传感器可以初始化当前位置,并根据当前位置实时进行同步数据采集。
下面结合附图对本公开实施例的一个应用场景的架构进行说明。
参照图3,可以由多个图像采集设备采集视频数据,并且可以有多个传感器采集物体的采集信息;该视频数据包括多帧物体图像。图3中,video1至video6表示6个不同的图像采集设备,多个传感器包括IMU、GPS芯片、RTK传感器和地磁传感器等。
在得到视频数据和物体的采集信息,可以将视频数据和物体的采集信息同步存储到数据库(Data Base,DB)中。
在利用多个图像采集设备采集视频数据后,可以对视频数据进行降采样处理,得到低分辨率视频,然后将低分辨率视频与采集信息进行同步处理,得到同步处理后的物体图像和同步处理后物体的采集信息。
参照图3,可以根据同步处理后的物体图像和同步处理后物体的采集信息,进行三维场景模型的重建,得到重建的三维场景模型。在进行三维场景模型重建的过程中,还可以标记三维场景模型中三维点云数据的有效性,得到数据有效性标记结果,并且可以将数据有效性标记结果保存在数据库中。
参照图3,还可以可视化显示三维场景模型以及数据有效性标记结果。
本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
在前述实施例提出的场景重建方法的基础上,本公开实施例提出了一种场景重建装置。
图4为本公开实施例的场景重建装置的组成结构示意图,如图4所示,该装置可以包括获取模块401、第一处理模块402和第二处理模块403;其中,
获取模块401,用于获取至少两个图像采集设备采集的场景中物体图像和至少一个传感器采集的所述物体的采集信息;
第一处理模块402,用于基于所述场景中物体图像和所述物体的采集信息,得到所述场景中物体的三维点云数据;
第二处理模块403,用于基于所述场景中物体的三维点云数据进行场景重建,得到重建的三维场景模型。
在一些实施例中,所述第一处理模块402,用于基于所述场景中物体图像和所述物体的采集信息,得到所述场景中物体的三维点云数据,包括:
对所述场景中物体图像进行降采样处理,得到降采样处理后的物体图像;
对所述降采样处理后的物体图像和所述物体的采集信息进行同步处理,得到同步处理后的物体图像和同步处理后所述物体的采集信息;
根据所述同步处理后的物体图像和同步处理后的所述物体的采集信息,得到所述场景中物体的三维点云数据。
在一些实施例中,所述第二处理模块403,还用于根据所述重建的三维场景模型中三维点云数据的分布情况,确定所述重建的三维场景模型中各区域的三维点云数据的有效性。
在一些实施例中,所述第二处理模块403,还用于:
根据所述重建的三维场景模型中各区域的三维点云数据的有效性,确定出场景中的目标区域,所述目标区域的三维点云数据的有效性不满足预设的有效性要求;
生成针对所述目标区域的数据采集指令,所述采集指令用于指示所述至少两个图像采集设备和所述至少一个传感器采集所述目标区域的数据。
在一些实施例中,所述采集信息包括以下至少之一:位置信息、姿态信息、深度信息、红外热成像信息、声音信息。
在一些实施例中,所述第二处理模块403,还用于将所述重建的三维场景模型进行可视化显示。
在一些实施例中,所述至少两个图像采集设备和所述至少一个传感器是基于同一时钟信号进行数据采集的器件。
在一些实施例中,所述至少一个传感器的数量大于1。
实际应用中,获取模块401、第一处理模块402和第二处理模块403均可以利用电子设备中的处理器实现,上述处理器可以为ASIC、DSP、DSPD、PLD、FPGA、CPU、控制器、微控制器、微处理器中的至少一种。
另外,在本实施例中的各功能模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。
所述集成的单元如果以软件功能模块的形式实现并非作为独立的产品进行销售或使用时,可以存储在一个计算机可读取存储介质中,基于这样的理解,本实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或processor(处理器)执行本实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
具体来讲,本实施例中的一种场景重建方法对应的计算机程序指令可以被存储在光盘,硬盘,U盘等存储介质上,当存储介质中的与一种场景重建方法对应的计算机程序指令被一电子设备读取或被执行时,实现前述实施例的任意一种场景重建方法。
基于前述实施例相同的技术构思,参见图5,其示出了本公开实施例提供的一种电子设备5,可以包括:存储器501和处理器502;其中,
所述存储器501,用于存储计算机程序和数据;
所述处理器502,用于执行所述存储器中存储的计算机程序,以实现前述实施例的任意一种场景重建方法。
在实际应用中,上述存储器501可以是易失性存储器,例如RAM;或者非易失性存储器,例如ROM,快闪存储器,硬盘或固态硬盘;或者上述种类的存储器的组合,并向处理器502提供指令和数据。
上述处理器502可以为ASIC、DSP、DSPD、PLD、FPGA、CPU、控制器、微控制器、微处理器中的至少一种。可以理解地,对于不同的设备,用于实现上述处理器功能的电子器件还可以为其它,本公开实施例不作具体限定。
在一些实施例中,本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法,其具体实现可以参照上文方法实施例的描述,为了简洁,这里不再赘述。
上文对各个实施例的描述倾向于强调各个实施例之间的不同之处,其相同或相似之处可以互相参考,为了简洁,本文不再赘述
本申请所提供的各方法实施例中所揭露的方法,在不冲突的情况下可以任意组合,得到新的方法实施例。
本申请所提供的各产品实施例中所揭露的特征,在不冲突的情况下可以任意组合,得到新的产品实施例。
本申请所提供的各方法或设备实施例中所揭露的特征,在不冲突的情况下可以任意组合,得到新的方法实施例或设备实施例。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
上面结合附图对本发明的实施例进行了描述,但是本发明并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本发明的启示下,在不脱离本发明宗旨和权利要求所保护的范围情况下,还可做出很多形式,这些均属于本发明的保护之内。

Claims (11)

1.一种场景重建方法,其特征在于,所述方法包括:
获取至少两个图像采集设备采集的场景中物体图像和至少一个传感器采集的所述物体的采集信息;
基于所述场景中物体图像和所述物体的采集信息,得到所述场景中物体的三维点云数据;
基于所述场景中物体的三维点云数据进行场景重建,得到重建的三维场景模型。
2.根据权利要求1所述的方法,其特征在于,所述基于所述场景中物体图像和所述物体的采集信息,得到所述场景中物体的三维点云数据,包括:
对所述场景中物体图像进行降采样处理,得到降采样处理后的物体图像;
对所述降采样处理后的物体图像和所述物体的采集信息进行同步处理,得到同步处理后的物体图像和同步处理后所述物体的采集信息;
根据所述同步处理后的物体图像和同步处理后的所述物体的采集信息,得到所述场景中物体的三维点云数据。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
根据所述重建的三维场景模型中三维点云数据的分布情况,确定所述重建的三维场景模型中各区域的三维点云数据的有效性。
4.根据权利要求3所述的方法,其特征在于,所述方法还包括:
根据所述重建的三维场景模型中各区域的三维点云数据的有效性,确定出场景中的目标区域,所述目标区域的三维点云数据的有效性不满足预设的有效性要求;
生成针对所述目标区域的数据采集指令,所述采集指令用于指示所述至少两个图像采集设备和所述至少一个传感器采集所述目标区域的数据。
5.根据权利要求1至4任一项所述的方法,其特征在于,所述采集信息包括以下至少之一:位置信息、姿态信息、深度信息、红外热成像信息、声音信息。
6.根据权利要求1至5任一项所述的方法,其特征在于,所述方法还包括:
将所述重建的三维场景模型进行可视化显示。
7.根据权利要求1至6任一项所述的方法,其特征在于,所述至少两个图像采集设备和所述至少一个传感器是基于同一时钟信号进行数据采集的器件。
8.根据权利要求7所述的方法,其特征在于,所述至少一个传感器的数量大于1。
9.一种场景重建装置,其特征在于,所述装置包括:获取模块、第一处理模块和第二处理模块;其中,
获取模块,用于获取至少两个图像采集设备采集的场景中物体图像和至少一个传感器采集的所述物体的采集信息;
第一处理模块,用于基于所述场景中物体图像和所述物体的采集信息,得到所述场景中物体的三维点云数据;
第二处理模块,用于基于所述场景中物体的三维点云数据进行场景重建,得到重建的三维场景模型。
10.一种电子设备,其特征在于,包括处理器和用于存储能够在处理器上运行的计算机程序的存储器;其中,
所述处理器用于运行所述计算机程序以执行权利要求1至8任一项所述的方法。
11.一种计算机存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至8任一项所述的方法。
CN202110737624.1A 2021-06-30 2021-06-30 场景重建方法、装置、电子设备和计算机存储介质 Pending CN113436318A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110737624.1A CN113436318A (zh) 2021-06-30 2021-06-30 场景重建方法、装置、电子设备和计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110737624.1A CN113436318A (zh) 2021-06-30 2021-06-30 场景重建方法、装置、电子设备和计算机存储介质

Publications (1)

Publication Number Publication Date
CN113436318A true CN113436318A (zh) 2021-09-24

Family

ID=77758275

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110737624.1A Pending CN113436318A (zh) 2021-06-30 2021-06-30 场景重建方法、装置、电子设备和计算机存储介质

Country Status (1)

Country Link
CN (1) CN113436318A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023082922A1 (zh) * 2021-11-15 2023-05-19 北京有竹居网络技术有限公司 用于非连续观测情况下物体定位的方法、装置和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106296801A (zh) * 2015-06-12 2017-01-04 联想(北京)有限公司 一种建立物体三维图像模型的方法及电子设备
CN108335353A (zh) * 2018-02-23 2018-07-27 清华-伯克利深圳学院筹备办公室 动态场景的三维重建方法、装置和系统、服务器、介质
CN109767452A (zh) * 2018-12-24 2019-05-17 深圳市道通智能航空技术有限公司 一种目标定位方法和装置、无人机
US20190188906A1 (en) * 2017-12-18 2019-06-20 Parthiv Krishna Search And Rescue Unmanned Aerial System
WO2020039166A1 (en) * 2018-08-23 2020-02-27 Sony Interactive Entertainment Inc. Method and system for reconstructing colour and depth information of a scene
CN111344746A (zh) * 2017-11-22 2020-06-26 华为技术有限公司 一种利用可重构混合成像系统的动态场景的三维3d重建方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106296801A (zh) * 2015-06-12 2017-01-04 联想(北京)有限公司 一种建立物体三维图像模型的方法及电子设备
CN111344746A (zh) * 2017-11-22 2020-06-26 华为技术有限公司 一种利用可重构混合成像系统的动态场景的三维3d重建方法
US20190188906A1 (en) * 2017-12-18 2019-06-20 Parthiv Krishna Search And Rescue Unmanned Aerial System
CN108335353A (zh) * 2018-02-23 2018-07-27 清华-伯克利深圳学院筹备办公室 动态场景的三维重建方法、装置和系统、服务器、介质
WO2020039166A1 (en) * 2018-08-23 2020-02-27 Sony Interactive Entertainment Inc. Method and system for reconstructing colour and depth information of a scene
CN109767452A (zh) * 2018-12-24 2019-05-17 深圳市道通智能航空技术有限公司 一种目标定位方法和装置、无人机

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
董建伟 等: "基于多视图立体视觉的煤场三维建模方法研究", 《燕山大学学报》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023082922A1 (zh) * 2021-11-15 2023-05-19 北京有竹居网络技术有限公司 用于非连续观测情况下物体定位的方法、装置和存储介质

Similar Documents

Publication Publication Date Title
US10740980B2 (en) System and method of generating virtual reality data from a three-dimensional point cloud
CN112074797A (zh) 用于将虚拟对象锚定到物理位置的系统和方法
Bradley et al. Image-based reconstruction and synthesis of dense foliage
US9361731B2 (en) Method and apparatus for displaying video on 3D map
EP3448020B1 (en) Method and device for three-dimensional presentation of surveillance video
CA2568617A1 (en) Digital 3d/360 degree camera system
CN112270736B (zh) 增强现实处理方法及装置、存储介质和电子设备
CN110111241B (zh) 用于生成动态图像的方法和装置
CN102831816B (zh) 一种提供实时场景地图的装置
CN114549289A (zh) 图像处理方法、装置、电子设备和计算机存储介质
CN113436318A (zh) 场景重建方法、装置、电子设备和计算机存储介质
JP2016194783A (ja) 画像管理システム、通信端末、通信システム、画像管理方法、及びプログラム
JP2016194784A (ja) 画像管理システム、通信端末、通信システム、画像管理方法、及びプログラム
JP2016070884A (ja) 映像データ処理方法、映像データ処理装置及び映像データ処理プログラム
CN114089836B (zh) 标注方法、终端、服务器和存储介质
CN114187344A (zh) 一种地图构建方法、装置及设备
Kim et al. Vision-based all-in-one solution for augmented reality and its storytelling applications
JP6652253B2 (ja) 三次元被写体形状推定装置
CN113597603A (zh) 数据处理方法、装置、设备及存储介质
CN112070903A (zh) 虚拟对象的展示方法、装置、电子设备及计算机存储介质
US20190116214A1 (en) Method and system for taking pictures on real time dynamic basis
Chen et al. The power of indoor crowd: Indoor 3D maps from the crowd
Etzold et al. MIPos: towards mobile image positioning in mixed reality web applications based on mobile sensors
CN112033284B (zh) 存储器、基于监控视频的交互测量方法、系统和设备
CN109348132B (zh) 全景拍摄方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210924

RJ01 Rejection of invention patent application after publication