CN112819956A - 一种三维地图构建方法、系统及服务器 - Google Patents
一种三维地图构建方法、系统及服务器 Download PDFInfo
- Publication number
- CN112819956A CN112819956A CN202011612249.XA CN202011612249A CN112819956A CN 112819956 A CN112819956 A CN 112819956A CN 202011612249 A CN202011612249 A CN 202011612249A CN 112819956 A CN112819956 A CN 112819956A
- Authority
- CN
- China
- Prior art keywords
- dimensional
- initial
- target object
- dimensional map
- acquiring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000010276 construction Methods 0.000 title claims abstract description 20
- 238000000034 method Methods 0.000 claims abstract description 32
- 230000015654 memory Effects 0.000 claims description 28
- 238000004590 computer program Methods 0.000 claims description 17
- 230000006870 function Effects 0.000 claims description 15
- 230000004044 response Effects 0.000 claims description 12
- 238000003860 storage Methods 0.000 claims description 11
- 238000012937 correction Methods 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 13
- 238000013527 convolutional neural network Methods 0.000 description 8
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 230000003993 interaction Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Remote Sensing (AREA)
- Computer Graphics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种三维地图构建方法、系统及服务器,其中,所述方法包括:获取包含目标物体的平面图像;获取根据所述平面图像对所述目标物体进行三维重构得到的对应三维实景模型;将所述三维实景模型应用至初始三维地图对应位置中,并展示修正后的三维地图。本申请提供的技术方案,能够提高地图的构建精度。
Description
技术领域
本发明涉及数据处理技术领域,特别涉及一种三维地图构建方法、系统及服务器。
背景技术
为了使得机器人能够规划行走路径,通常需要准确地构建地图。目前,可以通过激光雷达或者视觉成像技术构建三维地图。然而,这些方式在构建三维地图时,可能会存在一些不足。例如,通常只能获取拍摄时物体可见部分的三维信息,无法感知被遮挡部分的三维信息,由此会导致地图构建不完整。鉴于此,现有技术中的自移动机器人,尤其是家庭服务类机器人,构建的地图仍以二维平面为主,而针对三维地图的构建,一般只是一个简单的户型图,里面的物体三维信息较简单,并非是三维实景地图。
发明内容
本申请的目的在于提供一种三维地图构建方法、系统及服务器,能够构建三维实景地图。
为实现上述目的,本申请一方面提供一种地图构建方法,所述方法包括:获取包含目标物体的平面图像;获取根据所述平面图像对所述目标物体进行三维重构得到的对应三维实景模型;将所述三维实景模型应用至初始三维地图对应位置中,并展示修正后的三维地图。
为实现上述目的,本申请另一方面还提供一种三维地图构建系统,所述系统包括:平面图像获取单元,用于获取包含目标物体的平面图像;三维实景模型获取单元,用于获取根据所述平面图像对所述目标物体进行三维重构得到的对应三维实景模型;地图修正单元,用于将所述三维实景模型应用至初始三维地图对应位置中,并展示修正后的三维地图。
为实现上述目的,本申请另一方面还提供一种终端设备,所述终端设备包括存储器和处理器,所述存储器用于存储计算机程序,所述计算机程序被所述处理器执行时,用于实现以下功能:获取包含目标物体的平面图像;获取根据所述平面图像对所述目标物体进行三维重构得到的对应三维实景模型;将所述三维实景模型应用至初始三维地图对应位置中,并展示修正后的三维地图。
为实现上述目的,本申请另一方面还提供计算机存储介质,所述计算机存储介质用于存储计算机程序,所述计算机程序被处理器执行时,用于实现以下功能:获取包含目标物体的平面图像;获取根据所述平面图像对所述目标物体进行三维重构得到的对应三维实景模型;将所述三维实景模型应用至初始三维地图对应位置中,并展示修正后的三维地图。
由上可见,本申请一个或者多个实施方式提供的技术方案,构建的初始三维地图中只有物体简单的三维信息,而没有物体的实景图,此外还可能存在图像不太准确的一部分物体,或者遗漏成像的物体。对此,用户可以拍摄物体的实景照片,利用该实景图片对物体进行三维实景重构获得对应的三维实景模型,将三维实景模型应用至初始三维地图中,从而构建出三维实景地图,并且可以对初始三维地图中原先的成像结果进行修正或者补足,进而得到更加准确的三维地图。
附图说明
为了更清楚地说明本发明实施方式中的技术方案,下面将对实施方式描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施方式中地图构建方法的步骤示意图;
图2是本发明一个应用场景中的手机交互示意图;
图3是本发明另一个应用场景中的手机交互示意图;
图4是本发明实施方式中地图构建系统的功能模块示意图;
图5是本发明实施方式中服务器的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合本申请具体实施方式及相应的附图对本申请技术方案进行清楚、完整地描述。显然,所描述的实施方式仅是本申请一部分实施方式,而不是全部的实施方式。基于本申请中的实施方式,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式,都属于本申请保护的范围。
自移动机器人可以与用户的终端设备(例如智能手机、智能音箱、智能可穿戴设备等)保持通信连接,可以从用户的终端设备处获取数据,并对数据进行处理之后,将处理结果展示于自移动机器人的显示屏中或者将处理结果反馈给用户的终端设备。如果自移动机器人本身的运算能力不够强,那么用户的终端设备可以与云端的服务器进行数据交互。服务器可以对用户的终端设备发来的数据进行处理,得到的处理结果可以反馈给自移动机器人进行显示或者播报,也可以反馈给用户的终端设备。以下通过服务器、自移动机器人和用户的终端设备所构成的系统进行方案的阐述。
自移动机器人可以包括一个或多个处理器和一个或多个存储计算机程序的存储器,以及一个或多个传感器。一个或多个传感器可以用于在行进过程中采集自移动机器人自身的数据和与其周围环境有关的数据。例如,自移动机器人上可以安装摄像头(图像传感器),通过摄像头可以采集行进过程中的图像数据。此外,自移动机器人还可以包括音视频组件、电源组件等组件。在实际应用中,该自移动机器人可以根据实现功能的不同,被制作为产品咨询机器人、路径引导机器人、扫地机器人、擦窗机器人等产品。
请参阅图1,本申请一个实施方式提供的三维地图构建方法,可以包括以下多个步骤。
S1:获取包含目标物体的平面图像。
在本实施方式中,自移动机器人可以基于激光雷达技术,或者SLAM(SimultaneousLocalization and Mapping,即时定位与地图构建)技术构建初始三维地图。在构建初始三维地图的过程中,通过目标检测技术,可以构建出环境中物体的三维轮廓,并在初始三维地图中使用包含所述三维轮廓信息的物体块对所述物体进行表示。这样,构建的初始三维地图中可以包括表征不同物体的各个物体块。
在一个实施方式中,目标检测技术不但能够用物体块表征不同的物体,还能够对物体的类型进行识别,从而生成各个物体的类别信息。该类别信息例如可以是床、门、过道、沙发、茶几等可能出现的物体的类别。生成的类别信息可以标注于对应的物体块上。当然,在展示初始三维地图时,类别信息可以不显性地展示出来,而是通过与物体块相绑定的方式存储于初始三维地图的数据中。当用户点击其中的某个物体块时,可以在初始三维地图中查看到相绑定的类别信息。这样,通过标注类别信息的方式,可以更好地让用户理解初始三维地图中物体的分布情况。
然而上述构建的初始三维地图中只有物体的三维轮廓,而没有物体的实景图,此外还可能存在图像不太准确的一部分物体,或者遗漏成像的物体。鉴于此,可以对初始三维地图进行调整,从而完善地图构建的构成。
在本实施方式中,当用户想要在初始三维地图中针对某一物体块构建其三维实景图时,可以用终端设备拍摄包含物体块对应的目标物体的平面图像;或者想要使用目标物体对初始三维地图中原有的某一物体进行更换时,可以用终端设备拍摄包含该目标物体的平面图像。例如,用户在用户终端内查看初始三维地图时,想要在初始三维地图中构建衣柜的三维实景图,用户可以拍摄该衣柜的实景照片,该实景照片就可以作为包含衣柜的平面图像。又例如,用户在查看初始三维地图时,发现地图中遗漏了一个床头柜。那么用户可以拍摄该床头柜的实景照片,从而得到包含床头柜的平面图像。再例如,用户想看一下商场里一个沙发放在自己家中的样子,那么用户可以拍摄该沙发的实景照片,从而得到包含沙发的平面图像。
在一个实施方式中,响应于对重构功能的启动,用户利用终端设备去拍摄包含目标物体的平面图像,从而可以获取包含目标物体的平面图像。
在另一个实施方式中,自移动机器人将初始三维地图发送给客户端,在客户端展示初始三维地图,响应于用户对初始三维地图中目标位置的操作,客户端弹出图像拍摄界面,用户去拍摄包含目标物体的平面图像,从而可以获取包含目标物体的平面图像。
在另一个实施方式中,也可以是自移动机器人可以响应于重构功能的启动或者响应于用户对初始三维地图中目标位置的操作,移动到目标位置处对目标位置处的物体进行拍摄,从而可以获取包含目标物体的平面图像。
此外,在另一个实施方式中,客户端、自移动机器人或者与自移动机器人保持通信的服务器可以维护平面图像的图库,该平面图像的图库中可以包含各种物体的平面图像。当自移动机器人在客户端或者自移动机器人端向用户展示初始三维地图后,可以响应于重构功能的启动或者响应于用户对初始三维地图中目标位置的操作,在客户端或者自移动机器人端弹出图库,并可以响应于用户对图库中的平面图像的选择,获取包含目标物体的平面图像。其中,响应于用户对初始三维地图中目标位置的操作,自移动机器人可以展示目标位置处物体的类别信息。类别信息可以是构建初始三维地图时生成的,该类别信息可以与初始三维地图中的物体相绑定。由于初始三维地图中目标位置处的物体块仅有轮廓信息,因此用户可以根据其类别信息获知初始三维地图中目标位置处的物体为哪一类物体,从而可以快速选择包含目标物体的平面图像。
响应于重构功能的启动,利用终端设备或自移动机器人去拍摄包含目标物体的平面图像。此后在接收到服务器反馈的目标物体对应的三维实景模型后,用户在初始三维地图中选择放置所述三维实景模型的位置,在对应位置处添加对应的三维实景模型。响应于用户对初始三维地图中目标位置的操作,拍摄包含目标物体的平面图像,同时可以确定目标物体在初始三维地图中的位置信息。例如,用户可以在初始三维地图中,通过区域选择的方式,选定目标物体所在的位置。这样,在接收到服务器反馈的目标物体对应的三维实景模型后,可以根据目标物体在初始三维地图中的位置信息,在位置信息表征的位置处添加对应的三维实景模型。
需要说明的是,上述的目标物体,可以是初始三维地图对应环境中的物体,也可以是初始三维地图对应环境外的物体。例如,上述的目标物体可以是室内三维地图中已经存在的一个沙发,也可以是室内三维地图中不存在的一张床,后续需要将这张床添加至室内三维地图中。
S3:获取根据所述平面图像对所述目标物体进行三维重构得到的对应三维实景模型。
在本实施方式中,在获取包含目标物体的平面图像后,可以将所述平面图像发送至服务器,从而交由服务器对该平面图像进行处理。具体地,服务器接收到该平面图像时,可以识别该平面图像中目标物体所属的类别,然后可以从预设模型库中确定与所述类别相匹配的三维模型,该三维模型便可以作为目标物体对应的初始三维模型。在实际应用中,平面图像在上传至服务器时,可以一并上传对应的类别信息。这样,服务器通过解析平面图像对应的类别信息,从而可以获知平面图像中目标物体所属的类别,进而可以根据类别信息为目标物体选择对应的初始三维模型。
在本实施方式中,预设模型库中包括按类别进行划分的多个三维模型,这些三维模型例如可以是椭球、长方体等。不同的类别都可以具备自身对应的三维模型。举例来说,方形床、床头柜、冰箱都可以对应长方体的三维模型(根据实际应用场景,可以继续细分为尺寸大小不同的多个长方体),圆形沙发、圆床等可以对应椭球的三维模型。根据目标物体所属的类别,可以在预设模型库中选择一个三维模型,作为该目标物体对应的初始三维模型。
在本实施方式中,初始三维模型只能表征目标物体的一个大概轮廓,但依然无法准确地表征目标物体的实际形状。因此,需要对初始三维模型进行形变处理,使得形变处理后的三维模型能够更加接近真实的目标物体的形状。
在本实施方式中,可以将MSAK R-CNN网络和图卷积神经网络进行结合,从而对平面图像和初始三维模型进行处理,最终得到符合目标物体实际形状的三维实景模型。
服务器首先可以将目标物体从平面图像的背景中抽离出来。具体地,服务器可以从平面图像中识别出包含目标物体的区域图像,并生成该区域图像的掩码信息(MASK),然后,利用该掩码信息可以去除区域图像中的背景,从而得到仅包含目标物体的平面图像。在实际应用中,可以将平面图像输入MASK R-CNN网络中,该网络可以是一个包含两阶段流程处理的框架。其中,第一个阶段可以针对平面图像中的目标物体生成锚框信息,并基于该锚框信息从平面图像中得到一个或者多个提议区域(proposals),这些提议区域中都可能包含的物体,这些提取区域可以视为包含物体的区域图像。当然,在实际应用中,用户在拍摄目标物体的平面图像时,可以尽量保证平面图像中只包含该目标物体,这样可以将提议区域限缩在包含目标物体的区域图像中。第二个阶段可以对提议区域进行分类,并生成对应的边界框和掩码信息。这样,利用掩码信息,便可以去除区域图像中背景因素的影响,得到不包含背景因素,仅包含目标物体的平面图像。
在本实施方式中,得到仅包含目标物体的平面图像后,可以将该平面图像输入到CNN(Convolutional Neural Networks,卷积神经网络)中,CNN通过卷积核对平面图像进行卷积处理,从而可以得到平面图像对应的图像特征。为了利用该二维的图像特征对初始三维模型进行形变处理,可以设计一个投影层,借助于该投影层,可以将二维的图像特征应用至初始三维模型中。
初始三维模型可以视为由一个个三角形切片组成,三角形切片的每个顶点可以具备初始坐标和顶点信息。在实际应用中,针对初始三维模型中的各个顶点,可以确定所述顶点在投影层中的投影,并获取该投影对应的图像特征。然后,基于各个顶点的初始坐标和对应的图像特征,可以对各个顶点的坐标进行更新,从而得到形变后的三维模型。具体地,首先可以利用相机坐标系的内在矩阵,将各个顶点的三维坐标投影至图像特征图上,然后每个顶点投影对应的图像特征,可以通过二维的图像特征中对应位置的双线性差值来表示。然后,可以利用图卷积神经网络,将各个顶点的顶点信息沿着网格边缘进行传播,从而不断地更新每个顶点的图像特征。最终,通过更新后的顶点的图像特征对顶点的初始坐标进行修正,从而可以得到修正后的顶点的坐标。顶点的坐标发生改变,体现到三维模型上就是初始三维模型发生了形变。这样,通过结合MASK R-CNN和图卷积神经网络,可以对初始三维模型进行形变处理,从而生成与目标物体的形状相匹配的三维实景模型。
需要说明的是,以上描述的是在服务器中对目标物体进行三维重构。但随着硬件的不断升级,自移动机器人本身也可以具备较强的数据处理功能,因此上述的三维重构过程,也完全可以在自移动机器人本地进行。
S5:将所述三维实景模型应用至初始三维地图对应位置中,并展示修正后的三维地图。
在本实施方式中,服务器在生成三维实景模型后,便可以将该三维实景模型反馈给用户的终端设备,从而在初始三维地图中应用该三维实景模型。
在一个实施方式中,用户在拍摄包含目标物体的平面图像时,可以在初始三维地图中确定目标物体的区域信息。例如,用户可以在初始三维地图中,通过区域选择的方式,选定目标物体所在的位置。这样,当用户的终端设备向服务器上传包含目标物体的平面图像时,针对该目标物体的区域信息也会被一并上传至服务器中。当服务器生成目标物体对应的三维实景模型之后,可以直接将该三维实景模型添加至区域信息表征的位置处。
在另一个实施方式中,用户在上传目标物体的平面图像时,可能并没有确定目标物体的区域信息。因此,服务器生成三维实景模型之后,也无法知晓应当如何将该三维实景模型添加至初始三维地图中。鉴于此,服务器可以将三维实景模型反馈给用户的终端设备。用户可以在终端设备中向三维实景模型下达各种操控指令,从而将三维实景模型在初始三维地图中拖拽、旋转,并最终可以将三维实景模型添加至初始三维地图中的适当位置处。
在一个实施方式中,在向初始三维地图添加三维实景模型时,对应区域中可能已经存在初始模型,此时,可以直接将初始模型删除,并添加对应的三维实景模型。或者,可以向用户展示用于表征是否替换初始模型的提示信息。当接收到用户下达的替换指令时,可以将初始模型删除,并添加对应的三维实景模型。
在一个实施方式中,服务器可以对用户上传的多张平面图像进行批量处理,从而生成多个三维实景模型。例如,用户可能需要对初始三维地图中的两个或者多个目标物体进行重构,因此可以连续拍摄多张平面图像上传至服务器中。服务器在对各个平面图像中的目标物体进行识别,并分别生成对应的三维重构图像后,可以向用户的终端设备反馈这些三维实景模型。
在一个实施方式中,考虑到同一个实景环境中可能存在相同的多个物体,那么在构建三维地图时,无需对每个物体都进行上述的三维重构过程,而是只需要对其中一个物体进行三维重构即可。具体地,对其中的一个物体进行三维重构,得到三维实景模型后,可以将该三维实景模型应用至初始三维地图对应位置中。然后,可以继续将该三维实景模型应用至其它的相同物体对应的位置处。这样,响应于用户的操作,可以将该三维实景模型放置于新的目标位置,从而避免了对相同物体的多次重构过程,既节省了计算资源,又加快了三维地图的构建效率。
在一个具体应用场景中,请参阅图2,初始三维地图在用户的手机中展示之后,用户可以通过手势点击其中的一个衣柜物体块,表示想要对该物体块进行三维实景重构。在点击了该物体块之后,手机APP可以记录该衣柜在初始三维地图中的区域信息。然后,手机APP可以调用摄像头,弹出图像拍摄的界面。用户在对实景的衣柜进行拍摄之后,可以将衣柜的平面图像发送至手机APP的云端服务器。云端服务器接收到手机APP发来的数据后,可以根据衣柜的类别信息,选用长方体作为初始三维模型。经过MASK R-CNN和图卷积神经网络的处理,可以将长方体最终处理为符合衣柜形状的三维实景模型。云端服务器可以将三维实景模型反馈给手机APP,手机APP根据衣柜的区域信息,可以直接将该三维实景模型添加至衣柜所在的位置处。后续如果想看一下商场里一个衣柜放在家中的效果,可以通过手势点击地图中已经建立好的原衣柜的三维实景模型,表示想要对该处物体进行替换。在点击了该三维实景模型之后,手机APP可以记录该三维实景模型在初始三维地图中的区域信息。然后,手机APP可以调用摄像头,弹出图像拍摄的界面。用户在对新的衣柜进行拍摄之后,可以将新衣柜的平面图像发送至手机APP的云端服务器。云端服务器对新衣柜进行三维重构,获得新衣柜的三维重构模型,云端服务器将三维实景模型反馈给手机APP,手机APP根据纪录的原衣柜的区域信息,将该新衣柜的三维实景模型添加至原衣柜所在的位置处。由于在该位置处具备原始的衣柜成像结果,因此手机APP中可以弹出提示信息“是否覆盖原来的衣柜”。若用户选择“是”,则可以删除原先的成像结果,并在对应位置添加三维实景模型。若用户选择“否”,可以根据用户选择的别的位置信息,将新衣柜的三维立体模型放置在对应的位置处。
在另一个具体应用场景中,请参阅图3,用户在查看了初始三维地图后,发现其中缺少了沙发的成像结果。此时,用户可以点击界面中的“三维重构”按键。该按键被触发后,手机APP便可以调用手机的摄像头,并进入拍摄图像的界面。用户在对实景的沙发进行拍摄之后,点击“发送图片”。这样,沙发的平面图像被发送至云端服务器。云端服务器接收到手机APP发来的数据后,可以根据沙发的类别信息,选用L型的结构体作为初始三维模型。经过MASK R-CNN和图卷积神经网络的处理,可以将L型的结构体最终处理为符合沙发形状的三维实景模型。云端服务器可以将三维实景模型反馈给手机APP。用户在手机APP中可以操控该三维实景模型,通过对该三维实景模型进行拖拽、旋转之后,可以将沙发的三维实景模型添加至初始三维地图的合适位置处。
请参阅图4,本申请还提供一种地图构建系统,所述系统包括:
平面图像获取单元,用于获取包含目标物体的平面图像;
三维实景模型获取单元,用于获取根据所述平面图像对所述目标物体进行三维重构得到的对应三维实景模型;
地图修正单元,用于将所述三维实景模型应用至初始三维地图对应位置中,并展示修正后的三维地图。
请参阅图5,本申请一个实施方式还提供一种终端设备,所述终端设备包括存储器和处理器,所述存储器用于存储计算机程序,所述计算机程序被所述处理器执行时,用于实现以下功能:
获取包含目标物体的平面图像;
获取根据所述平面图像对所述目标物体进行三维重构得到的对应三维实景模型;
将所述三维实景模型应用至初始三维地图对应位置中,并展示修正后的三维地图。
本申请还提供一种计算机存储介质,所述计算机存储介质用于存储计算机程序,所述计算机程序被处理器执行时,用于实现以下功能:
获取包含目标物体的平面图像;
获取根据所述平面图像对所述目标物体进行三维重构得到的对应三维实景模型;
将所述三维实景模型应用至初始三维地图对应位置中,并展示修正后的三维地图。
在本实施方式中,所述存储器可以包括用于存储信息的物理装置,通常是将信息数字化后再以利用电、磁或者光学等方法的媒体加以存储。该存储器可以包括:利用电能方式存储信息的装置,如RAM、ROM等;利用磁能方式存储信息的装置,如硬盘、软盘、磁带、磁芯存储器、磁泡存储器、U盘;利用光学方式存储信息的装置,如CD或DVD。当然,还有其他方式的存储器,例如量子存储器、石墨烯存储器等等。
在本实施方式中,所述处理器可以按任何适当的方式实现。例如,所述处理器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application SpecificIntegrated Circuit,ASIC)、可编程逻辑控制器和嵌入微控制器的形式等等。
本说明书中的各个实施方式均采用递进的方式描述,各个实施方式之间相同相似的部分互相参见即可,每个实施方式重点说明的都是与其他实施方式的不同之处。
由上可见,本申请一个或者多个实施方式提供的技术方案,构建的初始三维地图中只有物体简单的三维信息,而没有物体的实景图,此外还可能存在图像不太准确的一部分物体,或者遗漏成像的物体。对此,用户可以拍摄物体的实景照片,利用该实景图片对物体进行三维实景重构获得对应的三维实景模型,将三维实景模型应用至初始三维地图中,从而构建出三维实景地图,并且可以对初始三维地图中原先的成像结果进行修正或者补足,进而得到更加准确的三维地图。
本领域内的技术人员应明白,本发明的实施方式可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施方式、完全软件实施方式、或结合软件和硬件方面的实施方式的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施方式的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上所述仅为本申请的实施方式而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
Claims (13)
1.一种三维地图构建方法,其特征在于,所述方法包括:
获取包含目标物体的平面图像;
获取根据所述平面图像对所述目标物体进行三维重构得到的对应三维实景模型;
将所述三维实景模型应用至初始三维地图对应位置中,并展示修正后的三维地图。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在获取包含目标物体的平面图像后,将所述平面图像发送至服务器,服务器根据所述平面图像对所述目标物体进行三维重构,得到对应的三维实景模型。
3.根据权利要求1所述的方法,其特征在于,所述获取包含目标物体的平面图像,还包括:
拍摄包含目标物体的平面图像,获取包含目标物体的平面图像;
或者响应于用户的操作,弹出图库,响应于对图库中的平面图像的选择,获取包含目标物体的平面图像。
4.根据权利要求3所述的方法,其特征在于,所述将所述三维实景模型应用至初始三维地图对应位置中,包括:
响应于用户对初始三维地图中目标位置的操作,将所述三维实景模型添加至初始三维地图中。
5.根据权利要求3所述的方法,其特征在于,所述目标物体为初始三维地图对应环境中的物体或初始三维地图对应环境外的物体。
6.根据权利要求1所述的方法,其特征在于,所述获取包含目标物体的平面图像,还包括:
展示初始三维地图,响应于用户对初始三维地图中目标位置的操作,弹出图像拍摄界面,拍摄包含所述目标物体的平面图像,获取包含目标物体的平面图像;
或者展示初始三维地图,响应于用户对初始三维地图中目标位置的操作,弹出图库,响应于对图库中的平面图像的选择,获取包含目标物体的平面图像。
7.根据权利要求6所述的方法,其特征在于,所述方法还包括:
响应于用户对初始三维地图中目标位置的操作,展示所述目标位置处物体的类别信息。
8.根据权利要求6所述的方法,其特征在于,所述方法还包括:
响应于用户对初始三维地图中目标位置的操作,确定所述目标物体在所述初始三维地图中的位置信息。
9.根据权利要求8所述的方法,其特征在于,将所述三维实景模型应用至所述初始三维地图对应位置中,包括:
在接收到所述目标物体对应的三维实景模型后,根据所述目标物体在所述初始三维地图中的位置信息,在所述位置信息表征的位置处添加所述三维实景模型。
10.根据权利要求1所述的方法,其特征在于,所述方法还包括:
将所述三维实景模型应用至所述初始三维地图对应位置中后,响应于用户的操作,将所述三维实景模型放置于新的目标位置。
11.一种三维地图构建系统,其特征在于,所述系统包括:
平面图像获取单元,用于获取包含目标物体的平面图像;
三维实景模型获取单元,用于获取根据所述平面图像对所述目标物体进行三维重构得到的对应三维实景模型;
地图修正单元,用于将所述三维实景模型应用至初始三维地图对应位置中,并展示修正后的三维地图。
12.一种终端设备,其特征在于,所述终端设备包括存储器和处理器,所述存储器用于存储计算机程序,所述计算机程序被所述处理器执行时,用于实现以下功能:
获取包含目标物体的平面图像;
获取根据所述平面图像对所述目标物体进行三维重构得到的对应三维实景模型;
将所述三维实景模型应用至初始三维地图对应位置中,并展示修正后的三维地图。
13.一种计算机存储介质,其特征在于,所述计算机存储介质用于存储计算机程序,所述计算机程序被处理器执行时,用于实现以下功能:
获取包含目标物体的平面图像;
获取根据所述平面图像对所述目标物体进行三维重构得到的对应三维实景模型;
将所述三维实景模型应用至初始三维地图对应位置中,并展示修正后的三维地图。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011612249.XA CN112819956A (zh) | 2020-12-30 | 2020-12-30 | 一种三维地图构建方法、系统及服务器 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011612249.XA CN112819956A (zh) | 2020-12-30 | 2020-12-30 | 一种三维地图构建方法、系统及服务器 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112819956A true CN112819956A (zh) | 2021-05-18 |
Family
ID=75855466
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011612249.XA Pending CN112819956A (zh) | 2020-12-30 | 2020-12-30 | 一种三维地图构建方法、系统及服务器 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112819956A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114677468A (zh) * | 2022-05-27 | 2022-06-28 | 深圳思谋信息科技有限公司 | 基于逆向建模的模型修正方法、装置、设备和存储介质 |
CN115049792A (zh) * | 2022-08-15 | 2022-09-13 | 广东新禾道信息科技有限公司 | 一种高精度地图构建处理方法及系统 |
WO2024179137A1 (zh) * | 2023-03-02 | 2024-09-06 | 北京石头创新科技有限公司 | 三维彩色地图构建方法及装置、存储介质、电子设备 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5729471A (en) * | 1995-03-31 | 1998-03-17 | The Regents Of The University Of California | Machine dynamic selection of one video camera/image of a scene from multiple video cameras/images of the scene in accordance with a particular perspective on the scene, an object in the scene, or an event in the scene |
CN107084740A (zh) * | 2017-03-27 | 2017-08-22 | 宇龙计算机通信科技(深圳)有限公司 | 一种导航方法和装置 |
CN108564647A (zh) * | 2018-03-30 | 2018-09-21 | 王乐陶 | 一种建立虚拟三维地图的方法 |
CN109087393A (zh) * | 2018-07-23 | 2018-12-25 | 汕头大学 | 一种构建三维地图的方法 |
CN110161527A (zh) * | 2019-05-30 | 2019-08-23 | 华中科技大学 | 一种基于rfid和激光雷达的三维地图重构系统及方法 |
CN110415347A (zh) * | 2019-07-22 | 2019-11-05 | 高新兴科技集团股份有限公司 | 三维实景地图与二维平面地图融合方法、装置及电子设备 |
CN110930506A (zh) * | 2019-10-11 | 2020-03-27 | 深圳市道通智能航空技术有限公司 | 三维地图生成方法、移动装置和计算机可读存储介质 |
CN111583405A (zh) * | 2020-05-09 | 2020-08-25 | 王军 | 一种基于地理位置的三维虚拟地图可视化引擎技术及装置 |
-
2020
- 2020-12-30 CN CN202011612249.XA patent/CN112819956A/zh active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5729471A (en) * | 1995-03-31 | 1998-03-17 | The Regents Of The University Of California | Machine dynamic selection of one video camera/image of a scene from multiple video cameras/images of the scene in accordance with a particular perspective on the scene, an object in the scene, or an event in the scene |
CN107084740A (zh) * | 2017-03-27 | 2017-08-22 | 宇龙计算机通信科技(深圳)有限公司 | 一种导航方法和装置 |
CN108564647A (zh) * | 2018-03-30 | 2018-09-21 | 王乐陶 | 一种建立虚拟三维地图的方法 |
CN109087393A (zh) * | 2018-07-23 | 2018-12-25 | 汕头大学 | 一种构建三维地图的方法 |
CN110161527A (zh) * | 2019-05-30 | 2019-08-23 | 华中科技大学 | 一种基于rfid和激光雷达的三维地图重构系统及方法 |
CN110415347A (zh) * | 2019-07-22 | 2019-11-05 | 高新兴科技集团股份有限公司 | 三维实景地图与二维平面地图融合方法、装置及电子设备 |
CN110930506A (zh) * | 2019-10-11 | 2020-03-27 | 深圳市道通智能航空技术有限公司 | 三维地图生成方法、移动装置和计算机可读存储介质 |
CN111583405A (zh) * | 2020-05-09 | 2020-08-25 | 王军 | 一种基于地理位置的三维虚拟地图可视化引擎技术及装置 |
Non-Patent Citations (2)
Title |
---|
周智: "基于双目视觉的移动机器人室内三维地图构建方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 02, 15 February 2018 (2018-02-15), pages 138 - 2183 * |
杨朝岚: "基于Kinect的移动机器人室内环境三维重建", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 06, 15 June 2016 (2016-06-15), pages 138 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114677468A (zh) * | 2022-05-27 | 2022-06-28 | 深圳思谋信息科技有限公司 | 基于逆向建模的模型修正方法、装置、设备和存储介质 |
CN114677468B (zh) * | 2022-05-27 | 2022-09-20 | 深圳思谋信息科技有限公司 | 基于逆向建模的模型修正方法、装置、设备和存储介质 |
CN115049792A (zh) * | 2022-08-15 | 2022-09-13 | 广东新禾道信息科技有限公司 | 一种高精度地图构建处理方法及系统 |
CN115049792B (zh) * | 2022-08-15 | 2022-11-11 | 广东新禾道信息科技有限公司 | 一种高精度地图构建处理方法及系统 |
WO2024179137A1 (zh) * | 2023-03-02 | 2024-09-06 | 北京石头创新科技有限公司 | 三维彩色地图构建方法及装置、存储介质、电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112819956A (zh) | 一种三维地图构建方法、系统及服务器 | |
CN109891365B (zh) | 虚拟现实和跨设备体验 | |
CN114119839B (zh) | 三维模型重建与图像生成方法、设备以及存储介质 | |
CN109887003B (zh) | 一种用于进行三维跟踪初始化的方法与设备 | |
EP4394554A1 (en) | Method for determining and presenting target mark information and apparatus | |
CN115330966B (zh) | 户型图生成方法、系统、设备及存储介质 | |
WO2017181699A1 (zh) | 一种三维展现监控视频的方法及装置 | |
JP7285834B2 (ja) | 三次元再構成方法および三次元再構成装置 | |
US20240078703A1 (en) | Personalized scene image processing method, apparatus and storage medium | |
CN117157674A (zh) | 用于第三方应用的增强现实内容中的面部合成 | |
CN117321640A (zh) | 包括面部合成的交互式增强现实内容 | |
CN108846899B (zh) | 提高用户对房源中每个功能间的面积感知的方法及系统 | |
CN115375860B (zh) | 点云拼接方法、装置、设备及存储介质 | |
CN108846900B (zh) | 提高用户在房源虚拟三维空间图中的空间感的方法及系统 | |
CN115330652B (zh) | 点云拼接方法、设备及存储介质 | |
CN117099134A (zh) | 用于广告的增强现实内容中的面部合成 | |
CN117157677A (zh) | 增强现实内容中头部转向的面部合成 | |
KR20230162096A (ko) | 얼굴 표정의 선택을 사용한 온라인 커뮤니티를 위한 콘텐츠에서의 얼굴 합성 | |
CN114332417A (zh) | 一种多人场景交互的方法、设备、存储介质及程序产品 | |
WO2023216526A1 (zh) | 标定信息确定方法、装置及电子设备 | |
CN117099133A (zh) | 叠加的增强现实内容中的面部合成 | |
WO2016184285A1 (zh) | 物品图像处理方法、装置和系统 | |
WO2014159486A1 (en) | Panorama packet | |
CN114385934A (zh) | 一种对多个ar地图进行联合查询的系统 | |
CN112511815B (zh) | 图像或视频生成方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information |
Address after: 210038 west side of the 5th and 6th floor, building C2, Hongfeng Science Park, Nanjing Economic and Technological Development Zone, Nanjing City, Jiangsu Province Applicant after: Krypton (Nanjing) Technology Co.,Ltd. Address before: 210038 west side of the 5th and 6th floor, building C2, Hongfeng Science Park, Nanjing Economic and Technological Development Zone, Nanjing City, Jiangsu Province Applicant before: Nanjing Kewo Robot Technology Co., Ltd |
|
CB02 | Change of applicant information |