CN113643422B - 一种信息展示方法及装置 - Google Patents

一种信息展示方法及装置 Download PDF

Info

Publication number
CN113643422B
CN113643422B CN202110776035.4A CN202110776035A CN113643422B CN 113643422 B CN113643422 B CN 113643422B CN 202110776035 A CN202110776035 A CN 202110776035A CN 113643422 B CN113643422 B CN 113643422B
Authority
CN
China
Prior art keywords
point cloud
dimensional point
view
plane
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110776035.4A
Other languages
English (en)
Other versions
CN113643422A (zh
Inventor
王明晖
符思涛
谢日旭
赵铮
魏晓林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sankuai Online Technology Co Ltd
Original Assignee
Beijing Sankuai Online Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sankuai Online Technology Co Ltd filed Critical Beijing Sankuai Online Technology Co Ltd
Priority to CN202110776035.4A priority Critical patent/CN113643422B/zh
Publication of CN113643422A publication Critical patent/CN113643422A/zh
Application granted granted Critical
Publication of CN113643422B publication Critical patent/CN113643422B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本说明书公开了一种信息展示方法及装置,通过三维重建获取重建场景的三维点云以及采集设备的各采集位姿。基于各采集位姿,初始化得到初始平面,并将三维点云与采集位姿投影到该初始平面,并分别确定各采集位姿对应的第一视图,以及三维点云对应的第二视图,以将两个视图以正交视角同步展示,并响应于用户的操作,对该初始平面的角度进行调整,重新确定第一视图与第二视图,以根据正交视角的展示结果确认目标平面。能够通过整体的采集位姿,确定准确度较高的初始平面,并且,以正交视角展示的双视图能够通过采集位姿以及三维点云的分布情况体现初始平面的准确度。使得用户能够基于双视图对初始平面进行调整,以准确确定目标平面。

Description

一种信息展示方法及装置
技术领域
本说明书涉及图像处理技术领域,尤其涉及一种信息展示方法及装置。
背景技术
目前,在一些通过视觉三维重建技术构建平面地图的方法中,需要基于重建场景的若干帧图像,提取特征点,以重建得到该重建场景的三维点云。将得到的三维点云投影到目标平面后,才能进一步处理得到该重建场景的平面地图。为了使得到的平面地图足够准确,则需要准确确定目标平面,以将三维点云精准投影到目标平面中。若确定出的目标平面不准确,则在向目标平面上投影三维点云时,会发生仿射形变,使得投影到该目标平面中的点云变形,导致最终得到的平面地图不准确。
在现有技术中,通常通过随机抽样一致(Random Sample Consensus,RANSAC)算法确定目标平面,这要求在目标平面中或其附近分布有大量的三维点云,且目标平面中或其附近分布的三维点云远多于其他平面中或附近分布的三维点云。
但由于通常地面上纹路较少,且没有装饰,使得在对重建场景的图像进行特征提取时得到的地面上的特征点较少,重建得到的地面对应的三维点云也相应较少,不会有大量三维点云分布在地面上或地面附近。而墙壁上多有装饰性物品(如,壁灯、装饰画、海报等),例如在商场内,墙面上的装饰十分丰富,不同店铺门面的装潢也各不相同,从墙面上能够提取到更多的特征点,重建得到的墙面对应的三维点云也更多,且远多于地面对应的三维点云。
在这种情况下,若通过上述现有技术确定目标平面,则会由于地面上或地面附近分布的三维点云较少而无法确定出目标平面,使得最终无法确定平面地图。或由于墙面上的三维点云的干扰,导致平面确定错误,导致确定出的平面地图误差较大。
发明内容
本说明书提供一种信息展示方法及装置,以部分的解决现有技术存在的上述问题。
本说明书采用下述技术方案:
本说明书提供了一种信息展示方法,包括:
获取预先采集的重建场景的若干帧图像,对所述重建场景进行三维重建,得到所述重建场景的三维点云以及各帧图像对应的采集设备的采集位姿;
根据所述采集设备的各采集位姿,通过平面初始化算法,确定初始平面;
将各采集位姿投影到所述初始平面中,确定第一视图,将所述三维点云投影到所述初始平面中,确定第二视图;
将所述第一视图与所述第二视图以正交视角进行展示,并响应于用户的操作,对所述初始平面的角度进行调整,重新确定第一视图与第二视图,以根据正交视角的展示结果确认所述三维点云的目标平面。
可选地,将所述第一视图与所述第二视图以正交视角进行展示之后,所述方法还包括:
针对所述第二视图的每个位置,确定处于该位置的三维点的数量,并根据各位置对应的三维点的数量,确定将所述三维点云投影到所述初始平面后的点云聚集程度;
根据所述点云聚集程度向所述用户展示提示信息,所述提示信息用于提示所述用户当前初始平面的准确度。
可选地,针对所述第二视图的每个位置,确定处于该位置的三维点云的数量,并根据各位置对应的三维点云的数量,确定将所述三维点云投影到所述初始平面后的点云聚集程度,具体包括:
确定所述第二视图中存在所述三维点云的各位置,作为目标位置;
针对每个目标位置的横坐标,确定该横坐标对应的三维点的数量,作为该横坐标的第一数量;
针对每个目标位置的纵坐标,确定该纵坐标对应的三维点的数量,作为该纵坐标的第二数量;
根据各第一数量以及各第二数量,确定将所述三维点云投影到所述初始平面后的点云聚集程度。
可选地,根据各第一数量以及各第二数量,确定将所述三维点云投影到所述初始平面后的点云聚集程度,具体包括:
根据各目标位置的坐标,确定所述三维点云对应的横坐标维度,以及纵坐标维度;
根据所述横坐标维度以及各第一数量,确定横向平均数,并根据所述纵坐标维度以及各第二数量,确定纵向平均数;
根据所述横坐标维度、各第一数量以及所述横向平均数,确定所述三维点云的横向方差;
根据所述纵坐标维度、各第二数量以及所述纵向平均数,确定所述三维点云的纵向方差;
根据所述横向方差以及所述纵向方差,确定将所述三维点投影到所述初始平面后的点云聚集程度。
可选地,所述方法还包括:
当确定出目标平面时,将所述三维点云投影到所述目标平面中,确定初始二维点云;
对所述初始二维点云进行降噪处理,确定最终二维点云以及所述重建场景的平面地图。
可选地,对所述初始二维点云进行降噪处理,具体包括:
将所述目标平面划分为若干区域;
针对每个区域,确定该区域对应的二维点云的密度;
根据各区域对应的二维点云的密度以及预设的密度阈值,从所述二维点云中删除离散的二维点,以对所述二维点云进行降噪处理。
可选地,对所述初始平面的角度进行调整,重新确定第一视图与第二视图,以根据正交视角的展示结果确认所述三维点云的目标平面,具体包括:
对所述初始平面的角度进行调整,调整所述初始平面与所述三维点云的相对位置关系;
确定调整后的所述初始平面;
将所述三维点云重新投影到调整后的所述初始平面,重新确定第一视图与第二视图的展示结果;
根据所述初始平面与所述三维点云在不同相对位置关系下,以正交视角展示的展示结果,确认所述三维点云的目标平面。
本说明书提供了一种信息展示装置,包括:
重建模块,用于获取预先采集的重建场景的若干帧图像,对所述重建场景进行三维重建,得到所述重建场景的三维点云以及各帧图像对应的采集设备的采集位姿;
初始化模块,用于根据所述采集设备的各采集位姿,通过平面初始化算法,确定初始平面;
投影模块,用于将各采集位姿投影到所述初始平面中,确定第一视图,将所述三维点云投影到所述初始平面中,确定第二视图;
展示模块,用于将所述第一视图与所述第二视图以正交视角进行展示,并响应于用户的操作,对所述初始平面的角度进行调整,重新确定第一视图与第二视图,以根据正交视角的展示结果确认所述三维点云的目标平面。
本说明书提供了一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述信息展示方法。
本说明书提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述信息展示方法。
本说明书采用的上述至少一个技术方案能够达到以下有益效果:
在本说明书提供的信息展示方法中,通过三维重建获取重建场景的三维点云以及采集设备的各采集位姿。基于各采集位姿,初始化得到初始平面,并将三维点云与采集位姿投影到该初始平面,并分别确定各采集位姿对应的第一视图,以及三维点云对应的第二视图,以将两个视图以正交视角同步展示,并响应于用户的操作,对该初始平面的角度进行调整,重新确定第一视图与第二视图,以根据正交视角的展示结果确认目标平面。
从上述方法中可以看出,本方法能够通过整体的采集位姿,确定准确度较高的初始平面,并且,以正交视角展示的双视图能够通过采集位姿以及三维点云的分布情况体现初始平面的准确度。使得用户能够基于双视图对初始平面进行调整,以准确确定目标平面。
附图说明
此处所说明的附图用来提供对本说明书的进一步理解,构成本说明书的一部分,本说明书的示意性实施例及其说明用于解释本说明书,并不构成对本说明书的不当限定。在附图中:
图1为本说明书中一种信息展示方法的流程示意图;
图2为本说明书提供的一种采集位姿的示意图;
图3为本说明书提供的一种视图的正交展示示意图;
图4为本说明书提供的一种点云分布对比示意图;
图5为本说明书提供的一种视图的正交展示示意图;
图6为本说明书提供的一种坐标维度示意图;
图7a与图7b为本说明书提供的一种点云分布示意图;
图8为本说明书提供的一种信息展示装置示意图;
图9为本说明书提供的一种电子设备的结构示意图。
具体实施方式
为使本说明书的目的、技术方案和优点更加清楚,下面将结合本说明书具体实施例及相应的附图对本说明书技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本说明书一部分实施例,而不是全部的实施例。基于本说明书中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本说明书保护的范围。
以下结合附图,详细说明本说明书各实施例提供的技术方案。
图1为本说明书中一种信息展示方法的流程示意图,具体包括以下步骤:
S100:获取预先采集的重建场景的若干帧图像,对所述重建场景进行三维重建,得到所述重建场景的三维点云以及各帧图像对应的采集设备的采集位姿。
在本说明书中,该信息展示方法可由服务器执行。
由于在构建重建场景的二维地图时,需要将重建场景的三维点云投影到二维平面中,而三维点云是基于视觉三维重建技术得到的。因此,在本说明书中,首先则需要获取重建场景的若干帧图像,根据重建场景的若干帧图像进行三维重建。
在本说明书一个或多个实施例中,该重建场景的图像可由采集人员持采集设备预先采集或由自动采集设备(如,无人驾驶设备上设置的采集设备)预先采集。
在本说明书一个或多个实施例中,该服务器首先可获取预先采集的重建场景的若干帧图像,并对该重建场景进行三维重建,得到该重建场景的三维点云以及各帧图像对应的采集位姿。其中,该采集位姿至少包括采集设备的位置以及姿态。该采集位姿为在该重建场景的坐标系中的位姿,即该采集位姿与该三维点云处于相同的坐标系。
在本说明书一个或多个实施例中,可采用现有的三维重建算法对该重建场景进行三维重建,例如,可以采用运动恢复结构(Structure from Motion,SFM)算法。当然也可以使用其他算法,能够重建得到该重建场景对应的三维点云并能够还原采集各帧图像时的采集设备位姿即可。
在本说明书一个或多个实施例中,该服务器在恢复采集设备的各采集位姿时,可根据该采集设备的内参和外参,基于该采集设备采集的该重建场景的图像中各特征点对应的三维点的位置,以及各特征点在图像中的位置,确定采集各帧图像时的采集位姿。至于具体怎样确定采集设备的采集位姿已经是较为成熟的技术,本说明书在此不作详细阐述。
在本说明书一个或多个实施例中,该服务器还可以通过视觉即时定位与地图构建技术(Visual Simultaneous Localization and Mapping,VSLAM)中单目相机位姿求解的方法来恢复各采集设备的采集位姿,即基于连续采集的相邻两帧图像或包含若干相同特征点的图像来确定采集位姿。当然也可以通过其他的恢复采集位姿的方法,本说明书在此不做限制。
在本说明书中,当由采集人员持采集设备对重建场景进行图像采集时,该采集人员可以是专业的采集人员。在采集人员专门到重建场景中进行一次或多次图像采集,得到足够的图像后,该服务器则可根据采集人员采集到的重建场景的图像进行三维重建。或者,为了节约采集成本,该采集人员也可以是多个非专业的采集人员,例如,可以是因为某些原因需要到访该采集场景的采集人员(例如,配送员、消费者等),当根据多个非专业采集人员采集的图像,积累到足够的重建场景的图像后,该服务器可将配送员、消费者等用户在需要重建场景的区域内采集的图像,作为进行三维重建以确定平面地图所需的图像,可节省专门采集图像的成本。
S102:根据所述采集设备的各采集位姿,通过平面初始化算法,确定初始平面。
在本说明书一个或多个实施例中,当由专业采集人员进行图像采集时,由于采集人员的身高固定,且出于个人习惯,通常其采集高度处于相同或相近的高度。当由自动采集设备对重建场景进行图像采集时,由于没有采集人员在现场协助,自动采集设备一般是被预先设置好的,其参数和位置一般是固定的,距离地面的高度也是固定的。
因此,不论是由专业采集人员持采集设备对该重建场景进行图像采集,还是由自动采集设备进行图像采集,采集设备距离地面的高度都是固定的或浮动较小的,则通过三维重建还原的该采集设备在采集各帧图像时的位姿,会分布于该重建场景的地面附近或与地面平行的平面附近。
而当由多个非专业采集人员进行图像采集时,虽然不同采集人员的身高不同,但大多数人的身高相差较少波动较小,不同采集人员对应的采集高度较为接近,且身高突出与身高较低的人都并不常见,即使在采集人员中存在身高突出与身高较低的人,使得采集高度的最高值与最低值间落差较大时,但通常这两类人处于少数,则其采集高度对应的采集位姿则为众采集位姿中的少量的离散点,并不会影响初始平面的准确度。因此,根据采集设备的位姿,可确定出一个平行于地面的二维平面,且不会受墙面中任何三维点云的干扰,确定出的二维平面的准确性足够高。
于是,在本说明书一个或多个实施例中,该服务器在得到采集设备位姿后,可根据该采集设备的各采集位姿,通过平面初始化算法,确定初始平面,即初步确定的,还未经过调整的目标平面的初始平面。
其中,该平面初始化算法至少包括随机抽样一致算法以及最小二乘法。该服务器可通过随机抽样一致算法或最小二乘法来确定初始平面。当然,也可以通过其他现有的能够根据已知位置点来确定平面的算法,可根据需要设置。至于具体怎样通过随机抽样一致算法或最小二乘法确定平面已是较为成熟的技术,本说明书在此不做赘述。
由于在根据采集设备的采集位姿确定初始平面时,是根据采集位姿的高度关系,或者说是依赖采集位姿的共面关系来确定的,因此,该服务器具体可根据采集设备的位置,通过平面初始化算法确定初始平面。
如上所述,在各采集位姿中,由于采集人员的身高差异,导致该采集设备的采集位姿中存在离散点。
因此,在本说明书一个或多个实施例中,该服务器还可以在通过平面初始化算法,确定初始平面时,根据平面初始化算法确定离散的采集位姿,并将其删除。
S104:将各采集位姿投影到所述初始平面中,确定第一视图,将所述三维点云投影到所述初始平面中,确定第二视图。
在本说明书中,由于根据采集设备的各采集位姿确定出的初始平面已足够准确,因此当确定出初始平面时,该服务器可将该重建场景的三维点云投影到该初始平面中。但避免初始平面确定失误,为了使最终得到的平面地图更准确,因此,在得到初始平面后,还可以对初始平面进行调整。
在本说明书一个或多个实施例中,该服务器在确定出初始平面后,可将该采集场景的各采集位姿投影到该初始平面中,确定第一视图,并将该三维点云投影到该初始平面中,确定第二视图。即,将采集位姿与三维点云进行预投影,以确定第一视图以及第二视图,使得能够在后续基于第一视图和第二视图确定投影效果,并基于投影效果对初始平面进行调整。
其中,该第一视图用于展示将各采集位姿投影到初始平面后,各采集位姿在该初始平面中的分布情况。用户可根据该第一视图展示的各采集位姿与初始平面的位置关系,判断确定出的初始平面是否准确。当初始平面确定准确时,该重建场景的各采集位姿中,应全部或大部分分布于该初始平面中。该第二视图用于展示将该采集场景的三维点云投影到初始平面后,该采集场景的三维点云在该初始平面中的分布情况。便于后续步骤中,用户根据第一视图与第二视图展示的分布情况,即展示结果,判断初始平面与该三维点云间的相对位置关系是否准确。即以第一视图与第二视图展示的展示结果对应的二者间的相对位置关系,将该三维点云向该初始平面投影的角度是否准确。
S106:将所述第一视图与所述第二视图以正交视角进行展示,并响应于用户的操作,对所述初始平面的角度进行调整,重新确定第一视图与第二视图,以根据正交视角的展示结果确认所述三维点云的目标平面。
在本说明书一个或多个实施例中,该服务器在确定出第一视图以及第二视图之后,可将该第一视图与该第二视图以正交视角进行正交展示。其中,正交展示的该第一视图以及该第二视图可用于判断初始平面与该三维点云间的相对位置关系是否准确。该服务器在对第一视图与第二视图以正交视角进行展示之后,若用户根据正交视角展示的展示结果确定该初始平面与该三维点云间的相对位置关系不准确,例如,通过第二视图确定投影存在仿射形变,则可通过交互界面触发对初始平面的调整操作。该服务器则可响应于用户的操作,对该初始平面的角度进行调整,重新确定第一视图与第二视图,以根据正交视角的展示结果确认该三维点云的目标平面。
在本说明书一个或多个实施例中,在以正交视角对第一视图与第二视图进行展示时,由于第一视图用于判断确定出的初始平面是否准确,而当初始平面确定准确时,大部分采集位姿分布于该初始平面中,则可从侧面观察大部分采集位姿是否共面,以判断大部分采集位姿是否分布于该初始平面中。因此,该第一视图对应的视角可以是该初始平面的侧视视角。则第二视图可以是与该侧视视角正交的俯视视角。基于正交视角对该第一视图与第二视图进行展示的展示结果,当确定出的该初始平面足够准确时,在该第二视图以俯视视角展示的三维点云中,同一面墙壁上的三维点应汇聚在同一条线段上,厚度相同的墙壁对应的线段的粗细相同,即点云厚度相同。当确定出的该初始平面不准确时,在该第二视图展示的三维点云中,同一面墙壁上的三维点会以面的方式分布,而非线段。
在本说明书一个或多个实施例中,该服务器在对该初始平面的角度进行调整,以确认该三维点云的目标平面时,具体的,该服务器可先对该初始平面的角度进行调整,调整该初始平面与改三维点云的相对位置关系,并确定调整后的初始平面。之后,该服务器可将该三维点云重新投影到调整后的初始平面,并重新确定第一视图与第二视图的展示结果。以根据该初始平面与该三维点云在不同相对位置关系下,以正交视角展示的展示结果,确认该三维点云的目标平面。
在本说明书一个或多个实施例中,该服务器可确定该三维点云与各采集位姿所处的共同坐标系对应的在水平方向上的平面,作为关联平面,即,将对该重建场景进行三维重建时的坐标系对应的水平方向上的平面。在对该初始平面的角度进行调整时,该服务器可对该初始平面与该关联平面间的角度进行调整,以使该初始平面处于正确的角度,使得该初始平面与该三维点云处于正确的相对位置关系,进一步使得将该三维点云投影到该初始平面后,不会发生仿射形变。当用户确定将该三维点云投影到该初始平面后不存在仿射形变时,该用户则可通过交互界面发送平面确定信息,该服务器则可确定该初始平面当前的角度即准确的角度,并确定处于当前角度的该初始平面为目标平面,以输出该目标平面。
在本说明书一个或多个实施例中,当用户确定将三维点云投影到调整后的初始平面后仍存在仿射形变时,该服务器可继续响应于用户的操作,重复上述对该初始平面的角度进行调整的过程。即重复将第一视图与第二视图以正交视角进行展示,并响应于用户的操作,对该初始平面的角度进行调整,以及重新确定第一视图与第二视图,以根据正交视角的展示结果确认三维点云的目标平面的过程。
在本说明书一个或多个实施例中,该服务器在输出目标平面时,可输出目标平面对应的平面方程参数,当然也可以以其他形式输出目标平面,可根据需要设置,本说明书在此不做限制。
由于运动与位置都是相对的,在通过调整初始平面的角度以调整该初始平面与三维点云的相对位置关系时,调整初始平面也可视为对三维点云的调整。且由于该三维点云与各采集位姿处于相同的坐标系中,当调整初始平面的角度时,第一视图中的各采集位姿以及第二视图中的三维点云会同步变化。
由于在基于用户的操作对初始平面的角度进行调整后,该三维点云与初始平面间的相对位置发生变化,因此,对初始平面的角度进行调整的过程,也相当于将三维点云重新投影到调整后的初始平面的过程,也是更新该第一视图以及该第二视图,重新确定第一视图与第二视图的展示结果的过程。
图2为本说明书提供的一种采集位姿的示意图。该图为重建场景的俯视图,该重建场景为商场。图中的各矩形表示商场以及商场内的各店铺,灰色填充圆形表示采集位姿。L1、L2、L3、L4表示将可以从第一视图观察的采集位姿的四个位置。从L1位置观察到的采集位姿分布情况与从L2位置观察到的应是相同或对称的,从L3位置观察到的采集位姿分布情况与从L4位置观察到的也是相同或对称的。
图3为本说明书提供的一种视图的正交展示示意图。如图,图中上部分较大矩形表示第一视图,下部分较大矩形表示第二视图。在第一视图中,展示了从L2位置观察到的采集位姿的分布情况,可见,采集位姿分布在同一条直线上,采集位姿共面。说明根据采集位姿确定出的该初始平面准确。但由第二视图可见,将三维点云投影到该初始平面上后,发生了仿射形变。由于仿射形变,L1与L3位置对应的两面墙壁上的三维点云厚度远大于L2与L4位置对应的两面墙壁上的三维点云厚度。L1与L3位置对应的两面墙壁上的三维点云以面的形式分布。说明虽然该初始平面确定准确,但该初始平面与三维点云的相对位置关系不准确,此时,该服务器则可响应于用户的操作,调整该初始平面的角度。
图4为本说明书提供的一种点云分布对比示意图。如图,图中示出了未发生仿射形变和发生仿射形变的两种情况分别对应的墙面上的三维点的分布对比。图中的灰色圆形表示三维点云。可见,在未发生仿射形变时,墙面上的三维点分布在一条线段上,在发生了仿射形变时,墙面上的三维点分布在一个面上。
在本说明书一个或多个实施例中,该服务器在将第一视图与第二视图以正交视角展示后,该用户可根据第一视图与第二视图展示的内容,确定目标平面。例如,当根据第一视图与第二视图展示的内容,确定该初始平面不准确时,该用户可对该初始平面进行调整。该服务器则可根据用户对初始平面的调整操作,更新该初始平面,并更新将采集位姿及该重建场景的三维点云投影到该初始平面后的分布情况,即更新第一视图以及第二视图展示的采集位姿以及该重建场景的三维点云的分布情况。
图5为本说明书提供的一种视图的正交展示示意图。该图为用户调整后的正交展示示意图。如图,在第一视图中,采集位姿分布在同一条水平直线上,位姿共面。在第二视图中,基于用户的调整,消除了仿射形变的影响,该重建场景的三维点云准确投影到调整后的水平面上。
基于图1所示的信息展示方法,通过三维重建获取重建场景的三维点云以及采集设备的各采集位姿。基于位置已知且大部分共面的采集位姿,初始化得到初始平面,并将三维点云与采集位姿投影到该初始平面,并分别确定各采集位姿对应的第一视图,以及三维点云对应的第二视图,以将两个视图以正交视角同步展示,协助用户调整初始平面,以确认目标平面。
从上述方法中可以看出,本方法能够通过与地面平行的相机位姿,确定准确度较高的初始平面,并且,以正交视角展示的双视图能够通过采集位姿以及三维点云的分布情况体现初始平面的准确度。使得用户能够基于双视图对初始平面进行调整,以准确确定目标平面。
在确定出用于投影的目标平面后,该服务器则可将该重建场景的三维点云投影到该目标平面中,以得到该重建场景的初始平面地图以及该平面地图中的二维点云。由于在该重建场景的三维点云中可能存在一些噪点,例如,地面上的三维点云,则投影到该目标平面后的二维点云中也会存在对应的噪点。而二维地图需要展现该重建场景的内部结构,需清晰展现墙壁与各区域(如商场内的各店铺),显然,地面上的三维点云并非重建二维地图所需的点云。
因此,在本说明书一个或多个实施例中,在将第一视图与第二视图以正交视角进行展示之后,在确定出目标平面时,该服务器可将该重建场景的三维点云投影到该目标平面中,以确定初始二维点云。之后,该服务器可对该初始二维点云进行降噪处理,确定最终二维点云以及所述重建场景的平面地图。
在本说明书一个或多个实施例中,该服务器在对该初始二维点云进行降噪处理时,可将该目标平面划分为若干区域,并针对每个区域,根据该区域内二维点云的数量以及该区域的面积,确定该区域对应的二维点云的密度。根据各区域对应的二维点云的密度以及预设的密度阈值,从该二维点云中删除离散的二维点,以对该二维点云进行降噪处理。由于噪点为少数点云,且分布稀疏,因此,该服务器可针对每个区域,判断该区域的二维点云的密度是否大于预设的密度阈值,若是,则确定该区域中的二维点云为噪点,并将其删除。若否,则确定其为非噪点,将其保留。
另外,为了减少用户在基于第一视图和第二视图调整初始平面时,用户的视觉误差对确定出的目标平面的准确性的影响,使确定出的目标平面更准确,该服务器还可以向用户展示提示信息,作为用户调整初始平面以及确定目标平面的依据之一。因此,在本说明书步骤S106中将第一视图与第二视图以正交视角进行展示之后,该服务器还可以确定提示信息,提示该用户将该三维点云投影到该初始平面上后的点云聚集程度。
在本说明书一个或多个实施例中,该服务器可以根据存在三维点云的位置点,确定点云聚集程度。
在本说明书一个或多个实施例中,该服务器可根据将三维点云投影到该初始平面后,该初始平面上各位置对应的三维点云的数量,确定该三维点云对应的分布指标。并根据确定出的分布指标确定该三维点云的点云聚集程度。其中,该分布指标与该点云聚集程度的大小正相关。分布指标越大,则表示该三维点云的聚集程度越高。其中,该分布指标可以是方差、中位数等。
具体的,该服务器可针对第二视图中该初始平面上的每个位置,确定处于该位置的三维点的数量,作为该位置对应的三维点的数量,并根据各位置对应的三维点的数量,确定将该重建场景的三维点云投影到初始平面后的点云聚集程度。以根据该点云聚集程度向用户展示提示信息。
其中,该提示信息用于提示用户当前初始平面的准确度。例如,该服务器可以直接将点云聚集程度作为提示信息进行展示,或者,也可以将该点云聚集程度与其对应的初始平面的角度作为提示信息进行展示。再或者,该服务器也可以根据该点云聚集程度与预设的点云聚集值的差值,确定当前的初始平面的准确等级,并将准确等级作为提示信息进行展示,当然该提示信息也可以是其他内容,本说明书在此不做限制。
在本说明书一个或多个实施例中,该服务器在得到该初始平面上每个位置对应的三维点的数量后,可根据各位置对应的三维点数量的多少,对其进行排序,以确定各位置对应的三维点数量中的中位数。当基于用户的操作调整该初始平面的角度,以得到初始平面在不同角度上的展示结果后,该服务器可根据各个角度的展示结果对应的三维点数量中的中位数,确定中位数最高的角度对应的初始平面,并根据该最高的中位数及其对应的初始平面的角度,确定提示信息并展示,以提示用户该角度对应的初始平面可能为目标平面。
在本说明书一个或多个实施例中,该服务器在得到每个位置对应的三维点的数量后,可根据各位置对应的三维点数量,确定三维点数量对应的方差,并根据确定出的方差,确定点云聚集程度,以确定提示信息。
在本说明书一个或多个实施例中,该点云聚集程度即该重建场景的三维点云的整体聚集程度。当确定出的初始平面足够准确时,该重建场景的三维点云整体具有聚集性,当确定出的初始平面与三维点云的相对位置不准确,导致投影存在仿射形变时,该重建场景的三维点云整体较为离散。因此,三维点云的整体聚集程度能够体现初始平面的准确性。该服务器可基于点云聚集程度确定提示信息并展示给用户,能够使得确定出的目标平面更准确,进一步使得基于目标平面以及二维点云得到的该重建场景的二维地图更准确。
在本说明书一个或多个实施例中,该服务器在确定将该重建场景的三维点云投影到初始平面后的点云聚集程度时,还可以在该初始平面上建立平面坐标系,并分别根据横坐标对应的三维点的数量以及纵坐标对应的三维点的数量,确定点云聚集程度。
具体的,该服务器可确定该第二视图中初始平面上存在三维点云的各位置,作为目标位置。并针对每个目标位置的横坐标,确定该横坐标对应的三维点的数量,作为该横坐标的第一数量。之后,该服务器可针对每个目标位置的纵坐标,确定纵坐标为该纵坐标的三维点的数量,作为该纵坐标的第二数量。并根据该第一数量以及该第二数量,确定将该三维点云投影到该初始平面后的点云聚集程度。
在本说明书一个或多个实施例中,在确定将三维点投影到该初始平面后的点云聚集程度时,该服务器具体可根据各目标位置的坐标,确定该重建场景的三维点云对应的横坐标维度,以及纵坐标维度。其中,该横坐标维度表示,在该初始平面中,该重建场景的三维点云涉及的横坐标轴方向上的坐标长度。该纵坐标维度表示,在该初始平面中,该重建场景的三维点云涉及的纵坐标轴方向上的坐标长度。
图6为本说明书提供的一种坐标维度示意图。如图,标有刻度的矩形表示该第二视图展示的初始平面,该第二视图中由若干矩形构成的几何体表示该重建场景的三维点云。图中,横向虚线间的刻度对应的纵坐标长度表示该重建场景的三维点云对应的纵坐标维度。纵向虚线间的刻度对应的横坐标长度表示该重建场景的三维点云对应的横坐标维度。
在本说明书一个或多个实施例中,在确定出横坐标纬度以及纵坐标维度之后,该服务器可根据该横坐标维度以及各第一数量,确定横向平均数,并根据该纵坐标维度以及各第二数量,确定纵向平均数。然后根据该横坐标维度、各第一数量以及该横向平均数,确定该三维点云的横向方差。并根据该纵坐标维度、各第二数量以及该纵向平均数,确定该三维点云的纵向方差。最后,根据该横向方差以及该纵向方差,确定将三维点投影到该初始平面后的点云聚集程度。
其中,该横向方差与该三维点云的横向聚集程度正相关,该纵向方差与该三维点云的纵向聚集程度正相关。
在本说明书一个或多个实施例中,该服务器可结合该横向方差与该纵向方差,综合确定点云聚集程度。例如,可将该横向方差与该纵向方差求和,用其和值表示点云聚集程度。该横向方差与该纵向方差的和与该三维点云的整体聚集程度正相关。
在本说明书一个或多个实施例中,该服务器还可以在响应于用户的操作调整初始平面的角度时,从初始平面在不同角度上的展示结果中,确定使横向方差与纵向方差都最大的角度,作为提示角度,并根据该提示角度即其对应的横向方差以及纵向方差,确定提示信息,以提示该用户该提示角度可能为目标平面对应的角度。
在本说明书一个或多个实施例中,可通过平面方程参数表示三维点云、初始平面或目标平面在其共同坐标系中的位置以及角度。当然也可以通过其他方法表示,本说明书在此不做限制。
在本说明书中,通过分别确定横向方差以及纵向方差,能够确定该三维点云在第二视图的横坐标方向和纵坐标方向的聚集程度,以体现该初始平面的准确度。当在横坐标方向发生仿射形变越大时,该横向方差则越大,当在纵坐标方向发生仿射形变越大时,该纵向方差则越大。如图7a与图7b所示。
图7a与图7b为本说明书提供的一种点云分布示意图。如图,图7a左侧表示初始平面足够准确,将三维点云进行投影时未发生仿射形变的点云分布示意图。图7a右侧表示初始平面角度不准确,将三维点云进行投影时,在横坐标方向发生仿射形变的点云分布示意图。图7b左侧表示初始平面足够准确,将三维点云进行投影时未发生仿射形变的点云分布示意图。图7b右侧表示初始平面角度不准确,将三维点云进行投影时,在纵坐标方向发生仿射形变的点云分布示意图。其中,灰色圆形表示发生仿射形变后投影位置错误的三维点云。
在本说明书一个或多个实施例中,由于用户在调整初始平面的角度时,第一视图中的各采集位姿与第二视图中的三维点云会变化,为了使用户能够明确旋转后的三维点云与方向的对应关系,该服务器可在该第二视图中标注正北方向。该服务器可根据该采集设备在采集各帧图像时记录的磁力计数据,确定正北方向。
在本说明书一个或多个实施例中,在步骤S106中,该服务器还可以在确定初始平面角度准确,投影不存在仿射形变时,直接输出第二视图作为该重建场景的二维地图,即平面地图。
在本说明书一个或多个实施例中,由于磁力计数据可能存在误差,因此,该服务器可将各磁力计数据求平均值或中位数等,来确定正北方向。
在本说明书一个或多个实施例中,该服务器可记录采集每一帧图像时的磁力计数据,也可以记录其中几帧图像的磁力计数据,例如该采集设备采集图像的帧率为1秒10帧,该采集设备可记录每秒的磁力计数据,具体可根据需要设置,本说明书在此不做限制。
在本说明书一个或多个实施例中,该服务器在确定提示信息时,还可以根据初始平面在不同角度上的展示结果,确定各角度对应的三维点云在该初始平面上所占的面积,并根据不同角度对应的面积,确定点云聚集程度,以根据该点云聚集程度确定提示信息。其中,该三维点云在不同角度的该初始平面上所占的面积与点云聚集程度负相关。
在本说明书一个或多个实施例中,该服务器在确定出点云聚集程度后,还可以不确定提示信息,在响应于用户的操作对该初始平面的角度进行调整后,可直接确定目标平面。例如可将多个角度展示的初始平面中,三维点数量中位数最高、三维点数量方差最高或点云占用面积最小的角度对应的平面作为目标平面。
以上为本说明书的一个或多个实施例提供的信息展示方法,基于同样的思路,本说明书还提供了相应的信息展示装置,如图8所示。
图8为本说明书提供的一种信息展示装置示意图,该装置包括:
重建模块200,用于获取预先采集的重建场景的若干帧图像,对所述重建场景进行三维重建,得到所述重建场景的三维点云以及各帧图像对应的采集设备的采集位姿;
初始化模块201,用于根据所述采集设备的各采集位姿,通过平面初始化算法,确定初始平面;
投影模块202,用于将各采集位姿投影到所述初始平面中,确定第一视图,将所述三维点云投影到所述初始平面中,确定第二视图;
展示模块203,用于将所述第一视图与所述第二视图以正交视角进行展示,并响应于用户的操作,对所述初始平面的角度进行调整,重新确定第一视图与第二视图,以根据正交视角的展示结果确认所述三维点云的目标平面。
可选地,所述展示模块203,用于针对所述第二视图的每个位置,确定处于该位置的三维点的数量,并根据各位置对应的三维点的数量,确定将所述三维点云投影到所述初始平面后的点云聚集程度,根据所述点云聚集程度向所述用户展示提示信息,所述提示信息用于提示所述用户当前初始平面的准确度。
可选地,所述展示模块203,用于确定所述第二视图中存在所述三维点云的各位置,作为目标位置,针对每个目标位置的横坐标,确定该横坐标对应的三维点的数量,作为该横坐标的第一数量,针对每个目标位置的纵坐标,确定该纵坐标对应的三维点的数量,作为该纵坐标的第二数量,根据各第一数量以及各第二数量,确定将所述三维点云投影到所述初始平面后的点云聚集程度。
可选地,所述展示模块203,用于根据各目标位置的坐标,确定所述三维点云对应的横坐标维度,以及纵坐标维度,根据所述横坐标维度以及各第一数量,确定横向平均数,并根据所述纵坐标维度以及各第二数量,确定纵向平均数,根据所述横坐标维度、各第一数量以及所述横向平均数,确定所述三维点云的横向方差,根据所述纵坐标维度、各第二数量以及所述纵向平均数,确定所述三维点云的纵向方差,根据所述横向方差以及所述纵向方差,确定将所述三维点投影到所述初始平面后的点云聚集程度。
所述装置还包括:
平面地图确定模块204,用于当确定出目标平面时,将所述三维点云投影到所述目标平面中,确定初始二维点云,对所述初始二维点云进行降噪处理,确定最终二维点云以及所述重建场景的平面地图。
可选地,所述平面地图确定模块204,用于将所述目标平面划分为若干区域,针对每个区域,确定该区域对应的二维点云的密度根据各区域对应的二维点云的密度以及预设的密度阈值,从所述二维点云中删除离散的二维点,以对所述二维点云进行降噪处理。
可选地,所述展示模块203,用于对所述初始平面的角度进行调整,调整所述初始平面与所述三维点云的相对位置关系,确定调整后的所述初始平面;
将所述三维点云重新投影到调整后的所述初始平面,重新确定第一视图与第二视图的展示结果,根据所述初始平面与所述三维点云在不同相对位置关系下,以正交视角展示的展示结果,确认所述三维点云的目标平面。
本说明书还提供了一种计算机可读存储介质,该存储介质存储有计算机程序,计算机程序可用于执行上述图1提供的信息展示方法。
本说明书还提供了图9所示的电子设备的结构示意图。如图9所示,在硬件层面,该电子设备包括处理器、内部总线、内存以及非易失性存储器,当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行,以实现上述图1提供的信息展示方法。
当然,除了软件实现方式之外,本说明书并不排除其他实现方式,比如逻辑器件抑或软硬件结合的方式等等,也就是说以下处理流程的执行主体并不限定于各个逻辑单元,也可以是硬件或逻辑器件。
在20世纪90年代,对于一个技术的改进可以很明显地区分是硬件上的改进(例如,对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而,随着技术的发展,当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此,不能说一个方法流程的改进就不能用硬件实体模块来实现。例如,可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray,FPGA))就是这样一种集成电路,其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上,而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且,如今,取代手工地制作集成电路芯片,这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现,它与程序开发撰写时所用的软件编译器相类似,而要编译之前的原始代码也得用特定的编程语言来撰写,此称之为硬件描述语言(Hardware Description Language,HDL),而HDL也并非仅有一种,而是有许多种,如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等,目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚,只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中,就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现,例如,控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit,ASIC)、可编程逻辑控制器和嵌入微控制器的形式,控制器的例子包括但不限于以下微控制器:ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320,存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道,除了以纯计算机可读程序代码方式实现控制器以外,完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件,而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至,可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的,计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便,描述以上装置时以功能分为各种单元分别描述。当然,在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本说明书的实施例可提供为方法、系统或计算机程序产品。因此,本说明书可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本说明书的实施例而已,并不用于限制本说明书。对于本领域技术人员来说,本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本说明书的权利要求范围之内。

Claims (10)

1.一种信息展示方法,其特征在于,包括:
获取预先采集的重建场景的若干帧图像,对所述重建场景进行三维重建,得到所述重建场景的三维点云以及各帧图像对应的采集设备的采集位姿;
根据所述采集设备的各采集位姿,通过平面初始化算法,确定初始平面;
将各采集位姿投影到所述初始平面中,确定第一视图,将所述三维点云投影到所述初始平面中,确定第二视图;
将所述第一视图与所述第二视图以正交视角进行展示,并响应于用户的操作,对所述初始平面的角度进行调整,重新确定第一视图与第二视图,以根据正交视角的展示结果确认所述三维点云的目标平面。
2.如权利要求1所述的方法,其特征在于,将所述第一视图与所述第二视图以正交视角进行展示之后,所述方法还包括:
针对所述第二视图的每个位置,确定处于该位置的三维点的数量,并根据各位置对应的三维点的数量,确定将所述三维点云投影到所述初始平面后的点云聚集程度;
根据所述点云聚集程度向所述用户展示提示信息,所述提示信息用于提示所述用户当前初始平面的准确度。
3.如权利要求2所述的方法,其特征在于,针对所述第二视图的每个位置,确定处于该位置的三维点的数量,并根据各位置对应的三维点的数量,确定将所述三维点云投影到所述初始平面后的点云聚集程度,具体包括:
确定所述第二视图中存在所述三维点云的各位置,作为目标位置;
针对每个目标位置的横坐标,确定该横坐标对应的三维点的数量,作为该横坐标的第一数量;
针对每个目标位置的纵坐标,确定该纵坐标对应的三维点的数量,作为该纵坐标的第二数量;
根据各第一数量以及各第二数量,确定将所述三维点云投影到所述初始平面后的点云聚集程度。
4.如权利要求3所述的方法,其特征在于,根据各第一数量以及各第二数量,确定将所述三维点云投影到所述初始平面后的点云聚集程度,具体包括:
根据各目标位置的坐标,确定所述三维点云对应的横坐标维度,以及纵坐标维度;
根据所述横坐标维度以及各第一数量,确定横向平均数,并根据所述纵坐标维度以及各第二数量,确定纵向平均数;
根据所述横坐标维度、各第一数量以及所述横向平均数,确定所述三维点云的横向方差;
根据所述纵坐标维度、各第二数量以及所述纵向平均数,确定所述三维点云的纵向方差;
根据所述横向方差以及所述纵向方差,确定将所述三维点投影到所述初始平面后的点云聚集程度。
5.如权利要求1所述的方法,其特征在于,所述方法还包括:
当确定出目标平面时,将所述三维点云投影到所述目标平面中,确定初始二维点云;
对所述初始二维点云进行降噪处理,确定最终二维点云以及所述重建场景的平面地图。
6.如权利要求5所述的方法,其特征在于,对所述初始二维点云进行降噪处理,具体包括:
将所述目标平面划分为若干区域;
针对每个区域,确定该区域对应的二维点云的密度;
根据各区域对应的二维点云的密度以及预设的密度阈值,从所述二维点云中删除离散的二维点,以对所述二维点云进行降噪处理。
7.如权利要求1所述的方法,其特征在于,对所述初始平面的角度进行调整,重新确定第一视图与第二视图,以根据正交视角的展示结果确认所述三维点云的目标平面,具体包括:
对所述初始平面的角度进行调整,调整所述初始平面与所述三维点云的相对位置关系;
确定调整后的所述初始平面;
将所述三维点云重新投影到调整后的所述初始平面,重新确定第一视图与第二视图的展示结果;
根据所述初始平面与所述三维点云在不同相对位置关系下,以正交视角展示的展示结果,确认所述三维点云的目标平面。
8.一种信息展示装置,其特征在于,包括:
重建模块,用于获取预先采集的重建场景的若干帧图像,对所述重建场景进行三维重建,得到所述重建场景的三维点云以及各帧图像对应的采集设备的采集位姿;
初始化模块,用于根据所述采集设备的各采集位姿,通过平面初始化算法,确定初始平面;
投影模块,用于将各采集位姿投影到所述初始平面中,确定第一视图,将所述三维点云投影到所述初始平面中,确定第二视图;
展示模块,用于将所述第一视图与所述第二视图以正交视角进行展示,并响应于用户的操作,对所述初始平面的角度进行调整,重新确定第一视图与第二视图,以根据正交视角的展示结果确认所述三维点云的目标平面。
9.一种计算机可读存储介质,其特征在于,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述权利要求1~7任一项所述的方法。
10.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现上述权利要求1~7任一项所述的方法。
CN202110776035.4A 2021-07-09 2021-07-09 一种信息展示方法及装置 Active CN113643422B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110776035.4A CN113643422B (zh) 2021-07-09 2021-07-09 一种信息展示方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110776035.4A CN113643422B (zh) 2021-07-09 2021-07-09 一种信息展示方法及装置

Publications (2)

Publication Number Publication Date
CN113643422A CN113643422A (zh) 2021-11-12
CN113643422B true CN113643422B (zh) 2023-02-03

Family

ID=78416985

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110776035.4A Active CN113643422B (zh) 2021-07-09 2021-07-09 一种信息展示方法及装置

Country Status (1)

Country Link
CN (1) CN113643422B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114120414B (zh) * 2021-11-29 2022-11-01 北京百度网讯科技有限公司 图像处理方法、装置、电子设备和介质
CN117745956A (zh) * 2024-02-20 2024-03-22 之江实验室 一种基于位姿引导的图像生成方法、装置、介质及设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018119889A1 (zh) * 2016-12-29 2018-07-05 深圳前海达闼云端智能科技有限公司 三维场景定位方法和装置
CN110889349A (zh) * 2019-11-18 2020-03-17 哈尔滨工业大学 一种基于vslam的稀疏三维点云图的视觉定位方法
CN112269851A (zh) * 2020-11-16 2021-01-26 Oppo广东移动通信有限公司 地图数据更新方法、装置、存储介质与电子设备
CN112419501A (zh) * 2020-12-10 2021-02-26 中山大学 一种地空异构协同地图构建方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018119889A1 (zh) * 2016-12-29 2018-07-05 深圳前海达闼云端智能科技有限公司 三维场景定位方法和装置
CN110889349A (zh) * 2019-11-18 2020-03-17 哈尔滨工业大学 一种基于vslam的稀疏三维点云图的视觉定位方法
CN112269851A (zh) * 2020-11-16 2021-01-26 Oppo广东移动通信有限公司 地图数据更新方法、装置、存储介质与电子设备
CN112419501A (zh) * 2020-12-10 2021-02-26 中山大学 一种地空异构协同地图构建方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
《Online Structure Analysis for Real-Time Indoor Scene Reconstruction》;YIZHONG ZHANG 等;《ACM Transactions on Graphics》;20151031;第34卷(第5期);正文第159-171页 *
《SLAM室内三维重建技术综述》;危双丰等;《测绘科学》;20180720;第43卷(第7期);正文第15-26页 *
D. Ferna'ndez 等.《3D Candidate Selection Method for Pedestrian Detection on Non-Planar Roads》.《Proceedings of the 2007 IEEE Intelligent Vehicles Symposium》.2007,正文第1162-1167页. *

Also Published As

Publication number Publication date
CN113643422A (zh) 2021-11-12

Similar Documents

Publication Publication Date Title
US10893250B2 (en) Free-viewpoint photorealistic view synthesis from casually captured video
US20230410337A1 (en) Method and system for scene image modification
CN108805917B (zh) 空间定位的方法、介质、装置和计算设备
CN113643422B (zh) 一种信息展示方法及装置
US9519968B2 (en) Calibrating visual sensors using homography operators
US8532367B2 (en) System and method for 3D wireframe reconstruction from video
US9305371B2 (en) Translated view navigation for visualizations
AU2014240990B2 (en) Smooth draping layer for rendering vector data on complex three dimensional objects
US20150062117A1 (en) System and method for determining the extent of a plane in an augmented reality environment
JP6500355B2 (ja) 表示装置、表示プログラム、および表示方法
US11417065B2 (en) Methods and systems for reprojection in augmented-reality displays
CN113689578B (zh) 一种人体数据集生成方法及装置
CN111238450B (zh) 视觉定位方法及装置
CN112733641B (zh) 物体尺寸测量方法、装置、设备及存储介质
CN108028904B (zh) 移动设备上光场增强现实/虚拟现实的方法和系统
WO2023093279A1 (zh) 图像处理方法、装置、设备、存储介质及计算机程序产品
CN114041111A (zh) 笔迹绘制方法、装置、电子设备、介质和程序产品
US11494961B2 (en) Sticker generating method and apparatus, and medium and electronic device
WO2014159486A1 (en) Panorama packet
CN108665525B (zh) 基于引擎的虚拟摄像机视场角的计算方法、存储介质
CN115937299B (zh) 在视频中放置虚拟对象的方法及相关设备
CN113168712A (zh) 从多个图像中选择互补图像以用于3d几何提取的系统和方法
CN115965519A (zh) 一种模型处理方法、装置、设备及介质
CN118097339B (zh) 一种基于低空摄影测量的深度学习样本增强方法和装置
CN116188633B (zh) 一种仿真遥感影像生成的方法、装置、介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant