CN116029952A - 点云评测方法及其相关设备 - Google Patents
点云评测方法及其相关设备 Download PDFInfo
- Publication number
- CN116029952A CN116029952A CN202210893852.2A CN202210893852A CN116029952A CN 116029952 A CN116029952 A CN 116029952A CN 202210893852 A CN202210893852 A CN 202210893852A CN 116029952 A CN116029952 A CN 116029952A
- Authority
- CN
- China
- Prior art keywords
- target
- point cloud
- evaluated
- targets
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Abstract
本申请提供一种点云评测方法及其相关设备,涉及数字技术领域,该方法包括:针对同一场景获取待评测点云和真值点云;根据靶标对应的待评测靶标点云,确定缩放比例;将靶标对应的待评测靶标点云和靶标对应的真值靶标点云进行对齐,获取初始对齐矩阵;根据初始对齐矩阵,将待评测点云和真值点云进行配准,确定目标变换矩阵;输出评测结果。本申请通过在场景中增加具有唯一识别性的靶标,来确定缩放比例,从而实现评测时结合点云尺度的目的。
Description
技术领域
本申请涉及数字技术领域,尤其涉及一种点云评测方法及其相关设备。
背景技术
三维激光扫描仪在诸多领域应用广泛,利用激光扫描仪获取点云并进行建模是还原被扫描物体细节特征的重要手段之一,其具有成本低、周期短等诸多优势。
但在进行点云建模的过程之前,点云的获取阶段就有可能存在测量误差,因此,需要对获取阶段获取的点云进行评测,以提高获取的点云数据的准确度。
然而,由于点云无法评估尺度,以及点云配准时的初值无法确定是否真实,影响了点云的配准效果,进而影响了点云的评测效果。对于这一问题,亟需一种新的方法进行解决。
发明内容
本申请提供一种点云评测方法及其相关设备,通过在场景中增加具有唯一识别性的靶标,来确定缩放比例,从而实现评测时结合点云尺度的目的。
为达到上述目的,本申请采用如下技术方案:
第一方面,提供一种点云评测方法,该方法包括:针对同一场景,获取待评测点云和真值点云,所述场景中设置有多个靶标,所述靶标具有唯一识别性;
根据靶标对应的待评测靶标点云,确定缩放比例;
将所述靶标对应的待评测靶标点云、所述缩放比例和所述靶标对应的真值靶标点云,获取初始对齐矩阵,所述待评测点云包括所述待评测靶标点云,所述真值点云包括靶标对应的真值靶标点云;
根据所述初始对齐矩阵,将其他待评测点云和其他真值点云进行配准,确定目标变换矩阵;
输出评测结果,所述评测结果包括所述缩放比例和所述目标变换矩阵。
本申请实施例提供了一种点云评测方法,通过在真实场景中布置多个具有唯一识别性的靶标,从而可以确定待评测靶标点云确定对应的缩放比例,并将该缩放比例作为待评测点云的尺度。由此,根据靶标对应的待评测靶标点云、缩放比例和靶标对应的真值靶标点云可以获取到带尺度的初始对齐矩阵,进而根据初始对齐矩阵,可以确定目标变换矩阵并输出。
在第一方面一种可能的实现方式中,针对同一场景,获取待评测点云和真值点云,包括:
针对所述场景,获取图像序列,所述图像序列包括多帧第一图像;
根据所述图像序列,获取所述待评测点云;
针对所述场景,获取所述真值点云。
在该实现方法中,可以针对同一场景获取待评测点云和真值点云。
在第一方面一种可能的实现方式中,所述方法还包括:
测量所述场景中任意两个靶标之间的距离,作为所述两个靶标对应的第一距离。
在该实现方式中,可以测量得到靶标之间的真实距离为第一距离。
在第一方面一种可能的实现方式中,根据靶标对应的待评测靶标点云,确定缩放比例,包括:
根据所述多帧第一图像,确定包含有靶标的第一图像为第二图像,所述第二图像包括的靶标为目标靶标;
将所述目标靶标和所述第二图像进行匹配;
根据所述第二图像,确定所述目标靶标对应的待评测靶标点云的位置为目标靶标位置;
确定两个目标靶标对应的目标靶标位置之间的距离,为所述两个目标靶标对应的第二距离;
确定所述两个目标靶标对应的第二距离和所述两个目标靶标对应的第一距离的比值为所述缩放比例。
在该实现方式中,可以根据包括有目标靶标的第二图像,确定出目标靶标对应的待评测靶标点云之间的第二距离,也即点云之间的距离,然后将该第二距离与真实场景中的第一距离进行相比,得到的缩放比例即为点云的尺度。
在第一方面一种可能的实现方式中,将所述靶标对应的待评测靶标点云、所述缩放比例和所述靶标对应的真值靶标点云,获取初始对齐矩阵,包括:
根据所述缩放比例和所述靶标对应的待评测靶标点云,获取所述靶标对应的已缩放靶标点云;
将所述目标靶标对应的已缩放靶标点云和所述目标靶标对应的真值靶标点云进行对齐,获取初始对齐矩阵。
在本申请实施例中,初始对齐矩阵通常包括位置变换矩阵和姿态变换矩阵。
在该实现方式中,将靶标对应的待评测靶标点云与缩放比例相乘,得到的已缩放靶标点云即为与真值点云统一为一个尺度后的点云坐标,在此基础上,可以将已缩放靶标点云和真值靶标点云进行对齐,从而获取初始对齐矩阵。
第二方面,提供了一种评测装置,该装置包括用于执行以上第三方面或第三方面的任意可能的实现方式中各个步骤的单元。
第三方面,提供了一种电子设备,包括处理器和存储器;存储器,用于存储可在处理器上运行的计算机程序;处理器,用于执行如第一方面或第一方面的任意可能的实现方式中提供的点云评测方法。
第四方面,提供了一种芯片,包括:处理器,用于从存储器中调用并运行计算机程序,使得安装有芯片的设备执行如第一方面或第一方面的任意可能的实现方式中提供的点云评测方法。
第五方面,提供了一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,计算机程序包括程序指令,程序指令当被处理器执行时,使处理器执行如第一方面或第一方面的任意可能的实现方式中提供的点云评测方法。
第六方面,提供了一种计算机程序产品,计算机程序产品包括存储了计算机程序的计算机可读存储介质,计算机程序使得计算机执行如第一方面或第一方面的任意可能的实现方式中提供的点云评测方法。
本申请实施例提供了一种点云评测方法及其相关设备,通过在实际场景中设置可以识别的靶标,从而可以通过确定第一图像是否包含目标靶标,识别目标靶标,以及将识别出的目标靶标与包含该目标靶标的第一图像进行匹配;然后,根据匹配关系,可以自动确定出目标靶标所对应的待评测靶标点云的位置,再根据目标靶标的点云之间的距离和目标靶标在实际场景中的距离的比值,简单快捷地确定出缩放比例。相对于上一个方法,由于这一点云评测方法确定缩放比例的过程全部可以自动化进行,因此,效率相对更高。
后续可以利用该缩放比例确定目标靶标缩放后的已缩放靶标点云,进而快速的确定出目标靶标对应的已缩放靶标点云和真值点云之间的初始对齐矩阵,并利用该初始对齐矩阵进行配准。
此外,在同一场景可以多次按照不同的路线和不同的方式构建待评测点云,同一场景的真值点云可以进行复用,作为多个待评测点云数据集的真值进行评估。
附图说明
图1为本申请实施例提供的应用场景的示意图;
图2为相关技术中的一种点云评测方法的流程示意图;
图3为本申请实施例提供的一种点云评测方法的流程示意图;
图4为本申请实施例提供的另一种点云评测方法的流程示意图;
图5为本申请实施例提供的又一种点云评测方法的流程示意图;
图6为本申请实施例提供的又一种点云评测方法的流程示意图;
图7为本申请实施例提供的电子设备的硬件结构示意图;
图8为本申请实施例提供的电子设备的软件结构示意图;
图9为本申请实施例提供的一种点云评测装置的结构示意图;
图10为本申请实施例提供的一种芯片的结构示意图。
具体实施方式
下面将结合附图,对本申请中的技术方案进行描述。
在本申请实施例的描述中,除非另有说明,“/”表示或的意思,例如,A/B可以表示A或B;本文中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,在本申请实施例的描述中,“多个”是指两个或多于两个。
以下,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。
首先,对本申请实施例中的部分用语进行解释说明,以便于本领域技术人员理解。
1、点云(point cloud),是指在一个三维坐标系统中的一组向量的集合。扫描资料以点的形式记录,每一个点包含了丰富的信息,例如包括位置信息(三维坐标x、y、z)、颜色信息、强度信息、分类值、时间等等。点云可由激光扫描仪获取,其中,激光扫描仪在指定场景下向固定位置发射探测信号,再将接收到的反射信号与发射的探测信号进行比较,进行处理后得到点云。
2、三维场景的重建,三维场景的重建即是基于一个三维场景(简称为场景)的图像序列,通过三维重建技术推导出该三维场景的三维信息,从而还原出该三维场景的过程。
例如,摄像机通过获取场景A的图像序列,该图像序列中包括至少两帧二维图像,任一帧图像中可以包括场景A的信息,电子设备可以基于三维重建技术对该图像序列进行分析,推导出该场景A的三维信息,从而还原出被拍摄的场景A。
3、摄像机位姿,摄像机的位姿用于指示摄像机拍摄图像时,该摄像机的摄像机坐标系相对于世界坐标系的位置以及姿态,或者,摄像机相对于世界坐标系的位置以及姿态,也可以被称为绝对位姿。摄像机的位姿中包括的该摄像机的摄像机坐标系相对于世界坐标系的姿态,可以利用旋转矩阵来表示,记为R。摄像机的位姿中包括的该摄像机的摄像机坐标系相对于世界坐标系的位置,可以用平移矩阵来表示,记为T,由此,摄像机的位姿可以利用矩阵R,T来表示。
其中,世界坐标系作为一个参考坐标系,其由原点、X轴、Y轴以及Z轴组成。世界坐标系可以用于描述场景在真实世界中的位置,对于场景中的任意一点来说,可以在世界坐标系中确定出该点对应的三维信息,记为(x,y,z),其中x表示该点沿X轴上的位移,y表示该点沿Y轴的位移,z表示该点沿Z轴的位移。该场景中的若干个点相对于该世界坐标系中的三维信息可以作为该场景的三维点集合,则在同一世界坐标系下,该场景中的若干个点的三维信息可以从简得到该场景。
摄像机的位姿包括6个参数,分别是三个位置参数以及三个姿态参数。其中,三个位置参数可以为摄像机相对世界坐标系的X轴的距离,Y轴的距离以及Z轴的距离。三个姿态参数可以为摄像机相对于世界坐标系的X轴的旋转角度,相对于世界坐标系的Y轴的旋转角度以及相对于世界坐标系的Z轴的旋转角度。
以上是对本申请实施例所涉及名词的简单介绍,以下不再赘述。
首先,先对本申请实施例提供的应用场景进行介绍。
图1示出了本申请实施例提供的一个应用场景的示意图。
通常来说,电子设备可以进行多视角的拍摄以获取场景的图像序列,这样,可以从图像序列中获取场景的多个视角的信息,以提高场景重建的准确性。如图1中的(a)所示,建筑物P为被拍摄的场景,图标Q1表示电子设备的摄像机拍摄该场景时的位姿,电子设备的摄像机可以通过图标Q1对应的位姿拍摄建筑物P。如图1中的(b)所示,该多帧图像为电子设备针对场景进行多视角拍摄所获取的图像。
应理解,图1中的(a)中示意了多个图标,此处仅标注了一个图标Q1以作解释,其他类似的形状也为图标,此处不再一一标注。
针对同一场景,电子设备的摄像机在拍摄该场景时,对应的位姿不同,摄像机拍摄该场景的视角不同,获取到的图像中该场景呈现的内容也就不同。电子设备可以按照图1中的(a)所示的摄像机的位姿获取图1中的(b)所示的图像序列,该图像序列中包括多帧图像,每帧图像对应为建筑物P在一个视角下的图像。
基于图1中的(b)所示的全部或部分图像重建出的三维场景如图1中的(c)所示,这里所指的三维场景可以用该三维场景对应的稀疏的三维点云集合表示,该三维点云集合包括该三维场景对应的若干个三维点云。
应理解,上述仅为一种三维点云的应用场景的示例,其还可以应用于以下场景,例如:障碍物检测、障碍物分类识别、运动物体跟踪、高精度点云地图构建、高精度定位、可行驶区域识别等,本申请实施例对此不进行限定。
结合上述场景可知,点云数据的准确性会直接影响到三维点云重建后的场景的准确性,因此,通常在利用三维点云重建之前,还需要利用点云评测方法对获取到的点云进行评测,以确定获取的点云是否准确,在不准确时偏差的参数是多少。然后,将这些评测时产生的数据作为评测结果输出,以提供给重建时的三维点云进行使用,使得重建中可以依据该参数进行调整,进而使得重建的场景的准确性得以提高。
下面先对相关技术提供的点云评测方法进行简单介绍,图2示出了相关技术提供的一种点云评测方法。如图2所示,该评测方法应用于包括待评测摄像机的电子设备,该评测方法10可以包括以下S11至S18。
S11、针对某一场景,电子设备利用待评测摄像机采集图像序列。
其中,该图像序列包括多帧按照采集顺序排列的图像。
S12、根据图像序列,获取待评测点云与待评测摄像机位姿。
其中,待评测摄像机指的是采集图像序列的摄像机。待评测摄像机位姿包括待评测摄像机的位置参数t和姿态参数r。
此时,在电子设备中可以设置三维重建算法,或者也可以称为从运动恢复结构(structure from motion)算法。然后,根据采集的图像序列,利用三维重建算法来进行计算,从而确定出待评测点云和每帧图像对应的位姿,也即待评测摄像机位姿。
S13、获取待评测摄像机光心位置,并转换为待评测摄像机光心点云。
应理解,待评测摄像机光心位置指的是待评测摄像机成像时,光线通过待评测摄像机镜头汇聚于一点,该点即为待评测摄像机的光心。
S14、针对同一场景,获取真值点云与真值摄像机位姿。
通常是利用高精度地图采集设备来进行采集,以得到真值点云和真值摄像机位姿。真值摄像机位姿包括真值摄像机的位置参数t和姿态参数r。
S15、获取真值摄像机光心位置,并转换为真值摄像机光心点云。
应理解,真值摄像机光心位置指的是真值摄像机成像时,光线通过真值摄像机镜头汇聚镜头汇聚于一点,该点即为真值摄像机的光心。
S16、将待评测摄像机光心点云和真值摄像机光心点云进行对齐,得到变换矩阵,并将该变换矩阵作为点云配准的初始对齐矩阵。
其中,由于待评测摄像机光心点云和真值摄像机光心点云分别包括位置参数和姿态参数,相应地,确定出的该变换矩阵通常包括位置变换矩阵和姿态变换矩阵。
应理解,对齐指的是将待评测摄像机光心点云和真值摄像机光心点云统一到同一位置和姿态,对齐也可以称为配准。两者之间的变化量即可用初始对齐矩阵来进行表示。
S17、根据初始对齐矩阵,将待评测点云和真值点云进行3次相似变换配准,确定目标变换矩阵。相似变换配准指的是ICP(iterative closest point)配准。
其中,根据初始对齐矩阵进行变换配准时,通常是对待评测点云中除了待评测摄像机光心点云的其他点云和真值点云中除了真值摄像机光心点云之外的其他点云进行变换配准。此处以3次相似变换为例进行说明,具体次数可以根据需要进行设置。
S18、输出评测结果。
此处,输出的评测结果即为迭代后的目标变换矩阵,通常包括位置变换矩阵和姿态变换矩阵。
在上述评测方法中,相关技术在对待评测点云进行评测时,由于无法获取待评测点云的真实尺度,或者说由于点云是无尺度的数据,所以无法真实评估点云尺度。
另外,由于待评测点云和真值点云所使用的坐标系不一致,其在尺寸大小、空间位置和姿态上存在差异,因此,需要对两者进行匹配对准,从而使得待评测点云和真值点云在空间中完全重合。但在上述过程中,点云配准所使用的初始对齐矩阵需要通过待评测摄像机光心点云和真值摄像机光心点云对齐来获取,当不知道真值摄像机光心点云时,就没有办法获取到初始对齐矩阵,由此可见,初始对齐矩阵的获取非常依赖真值摄像机光心点云的准确性。而且,若真值摄像机光心点云不准确,则会影响后续待评测点云的配准效果,进而影响待评测点云的评测效果。基于上述两种原因,亟需提供一种新的点云评测方法,以解决上述问题。
有鉴于此,本申请实施例提供了一种点云评测方法,通过在真实场景中布置多个具有唯一识别性的靶标,从而可以通过识别采集到的第一图像中所包含的靶标,来确定靶标之间在构建的虚拟场景中的距离,进而将该距离与靶标之间在真实场景的距离进行相比,确定出的比值即可作为待评测靶标点云和真值靶标点云之间的缩放比例,并将该缩放比例作为待评测点云的尺度。
下面结合图3和图4,对本申请实施例提供的一种点云评测方法进行详细介绍。
图3示出了本申请实施例提供的一种点云评测方法,应用于包括待评测摄像机的电子设备,该方法包括以下S21至S30。
S21、在场景中布置n个靶标,靶标具有唯一识别性。n为大于或等于4的整数。
其中,该场景即为需重建的真实场景。可以在该场景中的一个位置处设置多个靶标,也可以在多个位置中的每个位置处仅设置一个靶标,具体设置的数量和位置可以根据需要进行布置,本申请实施例对此不进行任何限制。例如,结合图1中的(a)所示的建筑物P,可以在每个顶点位置处设置一个靶标。
该靶标具有唯一识别性指的是该靶标可以被识别,而且是具有唯一性的。例如,该靶标可以为ARUCO码,当然,也可以为其他形式的标识码,例如为带有数字的红色图形,本申请实施例对此不进行任何限制。其中,ARUCO码是一个合成的正方形标记,由宽的黑色边框和确定其标识符(identity document,id)的内部二进制矩阵组成。
S22、测量任意两个靶标之间的距离,作为该两个靶标对应的第一距离。
应理解,第一距离即为两个靶标在真实场景中的真实距离。
例如,可以利用激光测距仪(laser rangefinder)或全站仪来测量任意两个靶标之间的第一距离,当然,也可以利用其他测量方式,本申请实施例对此不进行任何限制。
激光测距仪是利用调制激光的某个参数实现对目标的距离测量的仪器。激光测距仪测量范围为3.5~5000米。
全站仪,即全站型电子测距仪(electronic total station),是一种集光、机、电为一体的高技术测量仪器,是集水平角、垂直角、距离(斜距、平距)、高差测量功能于一体的测绘仪器系统。
S23、针对该场景,采集多帧第一图像。
其中,第一图像的数量可以根据需要进行采集,比如10帧,20帧等,具体可以根据需要进行采集,本申请实施例对此不进行任何限制。
在此基础上,为了获取场景中更多的信息,用户可以利用摄像机从多个角度来采集第一图像,这样,多帧第一图像可以覆盖更多的内容。应理解,该多帧第一图像为位于RGB域的二维图像。
需要说明的是,为了便于后续根据该多帧第一图像进行三维重建,该多帧第一图像可以按照采集顺序匹配对应的序号,并按序号进行储存,形成图像序列。
还需要说明的是,该多帧第一图像构成的图像序列也可以理解为视频,视频中对应的多帧图像即可作为图像序列中包括的多帧第一图像。
S24、根据多帧第一图像,获取待评测点云。
在本申请实施例中,可以根据多帧第一图像,利用三维重建算法构建待评测点云。
应理解,根据多帧图像通过三维重建算法构建待评测点云指的是:基于拍摄三维场景时得到的二维图像,也即多帧第一图像,还原出该三维场景,然后,基于还原出的三维场景确定待评测点云。
其中,三维重建算法例如可以为SFM(struction from motion)方法,当然也可以为其他算法,本申请实施例对此不进行任何限制。
应理解,SFM方法通常可以为:先使用两帧图像进行重建,计算出一个初始的点云,然后检查其他图像中哪一帧与已有点云中的点匹配最多,将其添加进重建中,如此类推,不断添加后续的图像;再使用计算好的对应点对确定基础矩阵,通过基础矩阵确定本征矩阵,通过本征矩阵确定两个视角之间的运动,即确定旋转矩阵R和平移矩阵T。在计算出旋转矩阵R和平移矩阵T之后,使用光学三角法对所有的点进行重建。
在该步骤中,根据多帧第一图像,利用SFM方法获取待评测点云的同时,还可以获取到拍摄第一图像的待评测摄像机位姿。
S25、根据靶标对应的待评测靶标点云,确定缩放比例(scale)。
根据多帧第一图像可以确定出多个点,因此,需要从中先确定出靶标对应的待评测靶标点云。应理解,待评测靶标点云为待评测点云中靶标对应的点云。
可选地,如图4所示,上述S25可以包括以下S251至S254。
S251、在多帧第一图像中,查找包含有靶标的第一图像为第二图像,该第二图像包括的靶标为目标靶标。
应理解,由于在拍摄第一图像的过程中,摄像机会从多个角度对场景进行拍摄,这样,有的角度有可能对应拍摄到的是没有包含靶标的第一图像,因此,需要先对多帧第一图像的内容进行筛选,筛选出包括有靶标的第一图像来作为第二图像。
此处,用户可以通过手动查找的方式,从多帧第一图像中确定出包含有靶标的第一图像,并将其作为第二图像,并将第二图像包括的靶标作为目标靶标。
应理解,第二图像中包含的靶标为目标靶标,1帧第二图像中可以包括一个或多个目标靶标,具体包括的靶标的数量需要根据第二图像来进行确定。相对的,第二图像中未包括的靶标不是目标靶标。
S252、查找目标靶标对应的待评测靶标点云的位置为目标靶标位置。
根据多帧第一图像,利用SFM算法获取待评测点云时,可以同时获取每帧第一图像对应的位姿,也即每帧第一图像对应的待评测摄像机位姿。这样,从多帧第一图像中确定出包括有目标靶标的第二图像时,可以同时确定出包括有目标靶标的第二图像所对应的待评测摄像机位姿。
基于此,可以先确定目标靶标在多张第一图像中的二维坐标;然后,通过将目标靶标在多张第一图像中的二维坐标和待评测摄像机位姿进行三角化后,得到目标靶标对应的待评测靶标点云的三维坐标,该三维坐标也可称为目标靶标对应的待评测靶标点云的位置。
需要说明的是,三角化指的是在给定的一组散乱的点云中,将各点云以三角形相互连接,形成一张三角网格。其实质是以三角网格反应点云与其临近点云间的拓扑连接关系。
此处,用户可以通过手动查找的方式,从构建出的所有待评测点云的位置中,找出目标靶标对应的待评测靶标点云的位置,并将其作为目标靶标位置。
S253、确定两个目标靶标对应的目标靶标位置之间的距离,为该两个目标靶标之间的第二距离。
应理解,该两个目标靶标对应的第二距离,即为两个目标靶标在构建的虚拟场景中的距离。该两个目标靶标为所有目标靶标中的任意两个目标靶标。
S254、确定该两个目标靶标对应的第二距离和第一距离的比值,该比值为缩放比例。
应理解,确定缩放比例,也即确定两个目标靶标对应的虚拟场景中的距离与真实场景中的距离的比值。换句话说,缩放比例反映的是虚拟数据与真实数据之间的缩放比例。
示例性的,若从多帧第一图像中确定出图像P1包括靶标b1,图像P2包括靶标b2,则可以将该图像P1和图像P2均称为第二图像,靶标b1和靶标b2均称为目标靶标。然后,可以确定靶标b1对应的点云的三维坐标为目标靶标位置c1,靶标b2对应的点云的三维坐标为目标靶标位置c2,靶标b1和靶标b2之间的距离,也即目标靶标位置c1和目标靶标位置c2之间的距离即为第二距离d2;此时,靶标b1和靶标b2在场景中还对应有指示实际距离的第一距离d1。由此,根据该第二距离d2和第一距离d1,确定出的第二距离d2和第一距离d1的比值,即为缩放比例。
在此基础上,为了提高缩放比例的准确度,可以重复执行上述S253和S254多次,每次选择不同的两个目标靶标进行计算,确定出多个缩放比例后,求其平均值将其作为任意一个待评测点云可适用的缩放比例。或者,也可以确定多个缩放比例中的中值来作为任意一个待评测点云可适用的缩放比例。当然,还可以利用其他方式来确定缩放比例,本申请实施例对此不进行任何限制。
S26、根据缩放比例和靶标对应的待评测靶标点云,获取靶标对应的已缩放靶标点云。
例如,可以将靶标对应的待评测点云的三维坐标值分别与缩放比例相乘,相乘后的三维坐标值即为靶标带尺度的三维坐标值,也即已缩放靶标点云。
S27、针对该同一场景,获取真值点云,并从中确定靶标对应的真值靶标点云。
可以利用真值采集设备采集真值点云。例如,可以为高精度地图采集设备。真值靶标点云即采集的真值点云中,靶标所对应的点云。
S28、选择将部分已缩放靶标点云和部分真值靶标点云进行对齐,获取初始对齐矩阵。
用户可通过Cloud Compare软件,手动选择部分已缩放靶标点云和部分真值靶标点云进行对齐,进而获取初始对齐矩阵。其中,Cloud Compare为一种三维点云编辑和处理软件,可用来对稠密的三维点云进行直接比较。当然,也可以利用其他软件或其他方式进行对齐,本申请实施例对此不进行任何限制。
应理解,初始对齐矩阵通常包括位置变换矩阵和姿态变换矩阵。
S29、根据初始对齐矩阵,将其他待评测点云和其他真值点云进行多次相似变换配准,确定目标变换矩阵。
相似变换配准指的是利用ICP配准方法进行配准。ICP配准主要包括两个计算步骤,第一,在每次迭代时,寻找最近邻的点云位置;第二,计算该次迭代的变换矩阵并计算尺度比。多次迭代后的变换矩阵即为目标变换矩阵。
其中,根据初始对齐矩阵进行多次相似变换配准时,其他待评测点云指的是除了获取初始对齐矩阵的已缩放靶标点云之外的另一部分待评测点云,其他真值点云指的是除了用于获取初始对齐矩阵的真值靶标点云之外的另一部分真值点云。
S30、输出评测结果。
其中,该评测结果即为缩放比例和目标变换矩阵,该目标变换矩阵包括位置变换矩阵和姿态变换矩阵。
上述仅为一种示例,步骤编号的顺序不代表其执行顺序,S27可以与S24同时执行,或者,还可以以其他顺序进行执行,具体顺序可以根据需要进行调整,本申请实施例对此不进行任何限制。
在本申请实施例提供的上述点云评测方法中,由于在实际场景中设置了靶标,从而可以根据靶标对应的点云之间的距离和靶标在实际场景中的距离,便捷地确定出重建场景与真实场景的缩放比例。同时,将部分与缩放比例相乘后的已缩放靶标点云和部分真值靶标点云进行对齐,来获取对应的初始对齐矩阵,并利用该初始对齐矩阵进行多次配准,来获取目标变换矩阵。
相对于现有技术,本申请实施例提供的评测方法不需要获取真值摄像机位姿,从而在处理过程中不会特别依赖于初值;另外本申请实施例提供的评测方法增加了确定缩放比例的过程,使得获取的评测结果带有尺度,更准确。后续在应用时,将构建的点云数据与缩放比例相乘,然后再与目标变换矩阵相乘,即可以得到准确的用于重构场景的点云数据。
虽然上述评测方法相对于现有技术已经提高了评测的效果,但是,受限于用户查找靶标的准确度,确定目标靶标对应的待评测靶标点云时,精度稍微有些不高。另外,计算缩放比例和进行对齐的步骤,由于需要用户手动操作,效率相对较低,而且容易出错,影响后续结果。对此,本申请实施例还提供了另一种点云评测方法,以简化操作,提高精度和效率。
下面结合图5和图6,对本申请实施例提供的另一种点云评测方法进行详细介绍。
图5示出了本申请实施例提供的一种点云评测方法,该方法30包括以下S31至S40。
S31、在场景中布置n个靶标,靶标具有唯一识别性。n为大于或等于4的整数。
S32、测量任意两个靶标之间的距离,作为该两个靶标对应的第一距离。
S33、针对该场景,采集多帧第一图像。
S34、根据多帧第一图像,获取待评测点云。
针对S31~S34的介绍,可以参考上述S21~S24中的描述,在此不再赘述。
S35、根据靶标对应的待评测靶标点云,确定缩放比例。
可选地,如图6所示,上述S35可以包括以下S351至S355。
S351、根据多帧第一图像,确定包含有靶标的第一图像为第二图像,该第二图像包括的靶标为目标靶标。
应理解,在拍摄第一图像的过程中,摄像机会从多个角度对场景进行拍摄,这样,有的角度有可能对应拍摄到的是没有包含靶标的第一图像,因此,需要先对多帧第一图像的内容进行筛选,筛选出包括有靶标的第一图像来作为第二图像。
此处,由于靶标的具有唯一标识性,当靶标为ARUCO码时,可以利用电子设备扫描第一图像,识别第一图像中是否包括ARUCO码以确定第一图像中是否含有靶标,从而可以将包含有靶标的第一图像确定为第二图像,并将第二图像中包括的靶标作为目标靶标。
应理解,第二图像中包含的靶标为目标靶标,1帧第二图像中可以包括一个或多个目标靶标,具体包括的靶标的数量需要根据第二图像来进行确定。相对的,第二图像中未包括的靶标不是目标靶标。
S352、将目标靶标和第二图像进行匹配。
还应理解,由于摄像机在拍摄时,会变化角度进行拍摄,由此,可能会将同一靶标重复拍摄,也就是说,在多帧包括靶标的第二图像中,可能存在靶标重复的情况。由于靶标具有唯一识别性,因此,可以识别靶标后,确定目标靶标与第二图像的映射关系,将具有映射关系的第二图像和目标靶标进行匹配。
例如,当靶标为ARUCO码时,由于靶标的ARUCO码具有唯一识别性,由此,通过识别ARUCO码,可以将第二图像中的靶标进行区分。比如,图像P3包括两个靶标,图像P4包括三个靶标,通过识别每个靶标对应的ARUCO码,可以确定到图像P3包括的两个靶标分别为靶标b1和靶标b2,由此,可以将靶标b1和靶标b2与图像P3进行匹配;图像P4包括的三个靶标分别为靶标b1、靶标b3和靶标b4,由此,可以将靶标b1、靶标b3和靶标b4与图像P4进行匹配。其中,图像P3和图像P4拍摄到了同一个靶标b1。
S353、根据第二图像,确定目标靶标对应的待评测靶标点云的位置为目标靶标位置。
根据多帧第一图像,利用SFM算法获取待评测点云时,可以同时获取每帧第一图像对应的位姿,也即每帧第一图像对应的待评测摄像机位姿。这样,从多帧第一图像中确定出有目标靶标的第二图像时,可以同时确定出包括有目标靶标的第二图像所对应的待评测摄像机位姿。
基于此,可以先确定目标靶标在多张第一图像中的二维坐标;然后,通过将目标靶标在多张第一图像中的二维坐标和待评测摄像机位姿进行三角化后,得到目标靶标对应的待评测靶标点云的三维坐标,该三维坐标也可称为目标靶标对应的待评测靶标点云的位置。
需要说明的是,三角化指的是在给定的一组散乱的点云中,将各点云以三角形相互连接,形成一张三角网格。其实质是以三角网格反应点云与其临近点云间的拓扑连接关系。
此处,由于目标靶标与第二图像进行了匹配,所以电子设备根据第二图像与目标靶标的匹配关系,可以自动从构建出的所有待评测点云的位置中,确定出第二图像包括的每个目标靶标所对应的待评测靶标点云的位置。
可选地,在本申请实施例中,为了提高准确度,可以对确定出的目标靶标的待评测靶标点云进行误差(bundle adjustment,BA)优化。
例如,可以利用非线性优化方法进行误差优化。其中,非线性优化方法通过确定要优化的目标函数为重投影误差,通过迭代优化的方法最小化目标函数,对应的待评测摄像机位姿和点云的位置即为优化后的待评测摄像机的位姿和点云。
S354、确定两个目标靶标对应的目标靶标位置之间的距离,为该两个目标靶标对应的第二距离。
应理解,该两个目标靶标对应的第二距离,即为两个目标靶标在构建的虚拟场景中的距离。该两个目标靶标为所有目标靶标中的任意两个目标靶标。
S355、确定该两个目标靶标对应的第二距离和该两个目标靶标对应的第一距离的比值,该比值为缩放比例。
应理解,由于上述已经确定出任意两个靶标对应的第一距离,由此,可以从中筛选出该两个目标靶标所对应的第一距离。
应理解,确定缩放比例,也即确定两个目标靶标对应的虚拟场景中的距离与真实场景中的距离的比值。换句话说,缩放比例反映的是虚拟数据与真实数据之间的缩放比例。
在此基础上,为了提高缩放比例的准确度,可以重复执行上述S254和S255多次,每次选择不同的两个目标靶标进行计算,确定出多个缩放比例后,求其平均值将其作为任意一个待评测点云可适用的缩放比例。或者,也可以确定多个缩放比例中的中值来作为任意一个待评测点云可适用的缩放比例。当然,还可以利用其他方式来确定缩放比例,本申请实施例对此不进行任何限制。
S36、根据缩放比例和靶标对应的待评测靶标点云,获取靶标对应的已缩放靶标点云。
例如,可以将靶标对应的待评测点云的三维坐标值分别与缩放比例相乘,相乘后的三维坐标值即为靶标带尺度的三维坐标值,也即已缩放靶标点云。
S37、针对该同一场景,获取真值点云,并从中确定靶标对应的真值靶标点云。
可以利用真值采集设备采集真值点云。例如,可以为高精度地图采集设备。真值靶标点云即采集的真值点云中,靶标所对应的点云。
S38、将目标靶标对应的已缩放靶标点云和目标靶标对应的真值靶标点云进行对齐,获取初始对齐矩阵。
应理解,将针对同一目标靶标,电子设备可以将目标靶标对应的已缩放靶标点云的三维坐标和对应的真值靶标点云的三维坐标进行对齐。
S39、根据初始对齐矩阵,将其他待评测点云和其他真值点云进行多次相似变换处理,确定目标变换矩阵。
针对相似变换配准的描述,可以参考上述S29的内容,在此不再赘述。
其中,根据初始对齐矩阵进行多次相似变换配准时,其他待评测点云指的是除了获取初始对齐矩阵的目标靶标对应的已缩放靶标点云之外的另一部分待评测点云,其他真值点云指的是除了用于获取初始对齐矩阵的目标靶标对应的真值靶标点云之外的另一部分真值点云。
S40、输出评测结果。
其中,该评测结果可以包括缩放比例和目标变换矩阵,目标变换矩阵包括位置变换矩阵和姿态变换矩阵。
在上述本申请实施例提供的点云评测方法中,由于在实际场景中设置了可以识别的靶标,从而可以通过确定第一图像是否包含目标靶标,识别目标靶标,以及将识别出的目标靶标与包含该目标靶标的第一图像进行匹配;然后,根据匹配关系,可以自动确定出目标靶标所对应的待评测靶标点云的位置,再根据目标靶标的点云之间的距离和目标靶标在实际场景中的距离的比值,简单快捷地确定出缩放比例。相对于上一个方法,由于这一点云评测方法确定缩放比例的过程全部可以自动化进行,因此,效率相对更高。
后续可以利用该缩放比例确定目标靶标缩放后的已缩放靶标点云,进而快速的确定出目标靶标对应的已缩放靶标点云和真值点云之间的初始对齐矩阵,并利用该初始对齐矩阵进行配准。
此外,在同一场景可以多次按照不同的路线和不同的方式构建待评测点云,同一场景的真值点云可以进行复用,作为多个待评测点云数据集的真值进行评估。
相对于现有技术,本申请实施例提供的评测方法不需要获取真值摄像机位姿,从而在处理过程中不会特别依赖于初值;另外本申请实施例提供的评测方法增加了确定缩放比例的过程,使得获取的评测结果带有尺度,更准确。后续在应用时,将构建的点云数据与缩放比例相乘,然后再与目标变换矩阵相乘,即可以得到准确的用于重构场景的点云数据。
上述为本申请实施例提供的两种点云评测方法,下面对本申请实施例提供的相关设备进行说明。
下面先介绍本申请实施例中涉及的电子设备。请参阅图7,图7是本申请实施例提供的电子设备100的结构示意图。
电子设备100可以是手机、智慧屏、平板电脑、可穿戴电子设备(例如智能眼镜、智能手环、智能手表等)、车载电子设备、增强现实(augmented reality,AR)设备、虚拟现实(virtual reality,VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personalcomputer,UMPC)、上网本、个人数字助理(personal digital assistant,PDA)、投影仪等等,本申请实施例对电子设备100的具体类型不作任何限制。
电子设备100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriber identification module,SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器180M等。
可以理解的是,本发明实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中,电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
其中,控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
在本申请实施例中,处理器110可以执行上述所述的点云评测方法,获取评测结果。
在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。
充电管理模块140用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。在一些有线充电的实施例中,充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中,充电管理模块140可以通过电子设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时,还可以通过电源管理模块141为电子设备100供电。
电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121,外部存储器,显示屏194,摄像头193,和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量,电池循环次数,电池健康状态(漏电,阻抗)等参数。在其他一些实施例中,电源管理模块141也可以设置于处理器110中。在另一些实施例中,电源管理模块141和充电管理模块140也可以设置于同一个器件中。
电子设备100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,LNA)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中,移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后,被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A,受话器170B等)输出声音信号,或通过显示屏194显示图像或视频。在一些实施例中,调制解调处理器可以是独立的器件。在另一些实施例中,调制解调处理器可以独立于处理器110,与移动通信模块150或其他功能模块设置在同一个器件中。
无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
在一些实施例中,电子设备100的天线1和移动通信模块150耦合,天线2和无线通信模块160耦合,使得电子设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications,GSM),通用分组无线服务(general packet radio service,GPRS),码分多址接入(codedivision multiple access,CDMA),宽带码分多址(wideband code division multipleaccess,WCDMA),时分码分多址(time-division code division multiple access,TD-SCDMA),长期演进(long term evolution,LTE),BT,GNSS,WLAN,NFC,FM,和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioning system,GPS),全球导航卫星系统(global navigation satellite system,GLONASS),北斗卫星导航系统(beidounavigation satellite system,BDS),准天顶卫星系统(quasi-zenith satellitesystem,QZSS)和/或星基增强系统(satellite based augmentation systems,SBAS)。
电子设备100通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像,视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。在一些实施例中,电子设备100可以包括1个或N个显示屏194,N为大于1的正整数。
显示屏194可以用于显示由用户输入的信息或提供给用户的信息以及各种图形用户界面(graohical user interface,GUI)。示例性的,显示屏194可以显示照片、视频、网页或者文件等。示例性的,显示器194可以显示如图1所示的图形用户界面和如图3所示的图形用户界面。其中,如图1中的(a)所示的图形用户界面上包括状态栏21、天气和运动、健康信息显示区域22,以及应用的图标,例如浏览器图标23等。状态栏21包括运营商名称(例如中国移动)、移动网络(例如5G)、时间和剩余电量。
电子设备100可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,电子设备100可以包括1个或N个摄像头193,N为大于1的正整数。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当电子设备100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样,电子设备100可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,MPEG)1,MPEG2,MPEG3,MPEG4等。
NPU为神经网络(neural-network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令,从而执行电子设备100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据,电话本等)等。
此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。
电子设备100可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音乐播放,录音等。
音频模块170用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中,音频模块170可以设置于处理器110中,或将音频模块170的部分功能模块设置于处理器110中。
扬声器170A,也称“喇叭”,用于将音频电信号转换为声音信号。电子设备100可以通过扬声器170A收听音乐,或收听免提通话。
受话器170B,也称“听筒”,用于将音频电信号转换成声音信号。当电子设备100接听电话或语音信息时,可以通过将受话器170B靠近人耳接听语音。
麦克风170C,也称“话筒”,“传声器”,用于将声音信号转换为电信号。当拨打电话或发送语音信息时,用户可以通过人嘴靠近麦克风170C发声,将声音信号输入到麦克风170C。电子设备100可以设置至少一个麦克风170C。在另一些实施例中,电子设备100可以设置两个麦克风170C,除了采集声音信号,还可以实现降噪功能。在另一些实施例中,电子设备100还可以设置三个,四个或更多麦克风170C,实现采集声音信号,降噪,还可以识别声音来源,实现定向录音功能等。
耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130,也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform,OMTP)标准接口,美国蜂窝电信工业协会(cellular telecommunications industry association of the USA,CTIA)标准接口。
上文详细描述了电子设备100的硬件系统,下面介绍电子设备100的软件系统。
图8是本申请实施例的电子设备100的软件结构框图。
电子设备100的软件系统可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构。本申请实施例以分层架构的Android系统为例,示例性说明电子设备100的软件结构。
分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,将Android系统分为四层,从上至下分别为应用程序层,应用程序框架层,安卓运行时(Android runtime)和系统库,以及内核层。
应用程序层可以包括一系列应用程序包。
如图8所示,应用程序包可以包括相机,图库,日历,通话,地图,导航,WLAN,蓝牙,音乐,视频,短信息等应用程序。
应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface,API)和编程框架。应用程序框架层包括一些预先定义的函数。
如图8所示,应用程序框架层可以包括窗口管理器,内容提供器,视图系统,电话管理器,资源管理器,通知管理器等。
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕等。
内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。所述数据可以包括视频,图像,音频,拨打和接听的电话,浏览历史和书签,电话簿等。
视图系统包括可视控件,例如显示文字的控件,显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如,包括短信通知图标的显示界面,可以包括显示文字的视图以及显示图片的视图。
电话管理器用于提供电子设备100的通信功能。例如通话状态的管理(包括接通,挂断等)。
资源管理器为应用程序提供各种资源,比如本地化字符串,图标,图片,布局文件,视频文件等等。
通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。比如通知管理器被用于告知下载完成,消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知,例如后台运行的应用程序的通知,还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息,发出提示音,电子设备振动,指示灯闪烁等。
Android Runtime包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。
核心库包含两部分:一部分是java语言需要调用的功能函数,另一部分是安卓的核心库。
应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。
系统库可以包括多个功能模块。例如:表面管理器(surface manager),媒体库(Media Libraries),三维图形处理库(例如:OpenGL ES),2D图形引擎(例如:SGL)等。
表面管理器用于对显示子系统进行管理,并且为多个应用程序提供了2D和3D图层的融合。
媒体库支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。媒体库可以支持多种音视频编码格式,例如:MPEG4,H.264,MP3,AAC,AMR,JPG,PNG等。
三维图形处理库用于实现三维图形绘图,图像渲染,合成,和图层处理等。
2D图形引擎是2D绘图的绘图引擎。
内核层是硬件和软件之间的层。内核层至少包含显示驱动,摄像头驱动,音频驱动,传感器驱动。
下面介绍本申请实施例提供的一种用于实现上述点云评测方法的点云评测装置300。图9是本申请实施例提供的点云评测装置300的示意图。
如图9所示,点云评测装置300包括获取单元310和处理单元320。
其中,获取单元310用于针对同一场景,获取待评测点云和真值点云,场景中设置有多个靶标,靶标具有唯一识别性。
处理单元320用于根据靶标对应的待评测靶标点云,确定缩放比例。
处理单元320还用于将靶标对应的待评测靶标点云、缩放比例和靶标对应的真值靶标点云,获取初始对齐矩阵,待评测点云包括待评测靶标点云,真值点云包括靶标对应的真值靶标点云;根据初始对齐矩阵,将其他待评测点云和其他真值点云进行配准,确定目标变换矩阵;输出评测结果,评测结果包括缩放比例和目标变换矩阵。
需要说明的是,上述点云评测装置300以功能单元的形式体现。这里的术语“单元”可以通过软件和/或硬件形式实现,对此不作具体限定。
例如,“单元”可以是实现上述功能的软件程序、硬件电路或二者结合。所述硬件电路可能包括应用特有集成电路(application specific integrated circuit,ASIC)、电子电路、用于执行一个或多个软件或固件程序的处理器(例如共享处理器、专有处理器或组处理器等)和存储器、合并逻辑电路和/或其它支持所描述的功能的合适组件。
因此,在本申请的实施例中描述的各示例的单元,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
本申请实施例还提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机指令;当所述计算机可读存储介质在点云评测装置300上运行时,使得该点云评测装置300执行前述所示的点云评测方法。
所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或者数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriberline,DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可以用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如,软盘、硬盘、磁带),光介质、或者半导体介质(例如固态硬盘(solidstate disk,SSD))等。
本申请实施例还提供了一种包含计算机指令的计算机程序产品,当其在点云评测装置300上运行时,使得点云评测装置300可以执行前述所示的点云评测方法。
图10为本申请实施例提供的一种芯片的结构示意图。图10所示的芯片可以为通用处理器,也可以为专用处理器。该芯片包括处理器401。其中,处理器401用于支持点云评测装置300执行前述所示的技术方案。
可选的,该芯片还包括收发器402,收发器402用于接受处理器401的控制,用于支持点云评测装置300执行前述所示的技术方案。
可选的,图10所示的芯片还可以包括:存储介质403。
需要说明的是,图10所示的芯片可以使用下述电路或者器件来实现:一个或多个现场可编程门阵列(field programmable gate array,FPGA)、可编程逻辑器件(programmable logic device,PLD)、控制器、状态机、门逻辑、分立硬件部件、任何其他适合的电路、或者能够执行本申请通篇所描述的各种功能的电路的任意组合。
上述本申请实施例提供的电子设备、点云评测装置300、计算机存储介质、计算机程序产品、芯片均用于执行上文所提供的方法,因此,其所能达到的有益效果可参考上文所提供的方法对应的有益效果,在此不再赘述。
应理解,上述只是为了帮助本领域技术人员更好地理解本申请实施例,而非要限制本申请实施例的范围。本领域技术人员根据所给出的上述示例,显然可以进行各种等价的修改或变化,例如,上述检测方法的各个实施例中某些步骤可以是不必须的,或者可以新加入某些步骤等。或者上述任意两种或者任意多种实施例的组合。这样的修改、变化或者组合后的方案也落入本申请实施例的范围内。
还应理解,上文对本申请实施例的描述着重于强调各个实施例之间的不同之处,未提到的相同或相似之处可以互相参考,为了简洁,这里不再赘述。
还应理解,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
还应理解,本申请实施例中,“预先设定”、“预先定义”可以通过在设备(例如,包括电子设备)中预先保存相应的代码、表格或其他可用于指示相关信息的方式来实现,本申请对于其具体的实现方式不做限定。
还应理解,本申请实施例中的方式、情况、类别以及实施例的划分仅是为了描述的方便,不应构成特别的限定,各种方式、类别、情况以及实施例中的特征在不矛盾的情况下可以相结合。
还应理解,在本申请的各个实施例中,如果没有特殊说明以及逻辑冲突,不同的实施例之间的术语和/或描述具有一致性、且可以相互引用,不同的实施例中的技术特征根据其内在的逻辑关系可以组合形成新的实施例。
最后应说明的是:以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何在本申请揭露的技术范围内的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。
Claims (8)
1.一种点云评测方法,其特征在于,包括:
针对同一场景,获取待评测点云和真值点云,所述场景中设置有多个靶标,所述靶标具有唯一识别性;
根据靶标对应的待评测靶标点云,确定缩放比例;
将所述靶标对应的待评测靶标点云、所述缩放比例和所述靶标对应的真值靶标点云,获取初始对齐矩阵,所述待评测点云包括所述待评测靶标点云,所述真值点云包括靶标对应的真值靶标点云;
根据所述初始对齐矩阵,将其他待评测点云和其他真值点云进行配准,确定目标变换矩阵;
输出评测结果,所述评测结果包括所述缩放比例和所述目标变换矩阵。
2.根据权利要求1所述的点云评测方法,其特征在于,针对同一场景,获取待评测点云和真值点云,包括:
针对所述场景,获取图像序列,所述图像序列包括多帧第一图像;
根据所述图像序列,获取所述待评测点云;
针对所述场景,获取所述真值点云。
3.根据权利要求2所述的点云评测方法,其特征在于,所述方法还包括:
测量所述场景中任意两个靶标之间的距离,作为所述两个靶标对应的第一距离。
4.根据权利要求3所述的点云评测方法,其特征在于,根据靶标对应的待评测靶标点云,确定缩放比例,包括:
根据所述多帧第一图像,确定包含有靶标的第一图像为第二图像,所述第二图像包括的靶标为目标靶标;
将所述目标靶标和所述第二图像进行匹配;
根据所述第二图像,确定所述目标靶标对应的待评测靶标点云的位置为目标靶标位置;
确定两个目标靶标对应的目标靶标位置之间的距离,为所述两个目标靶标对应的第二距离;
确定所述两个目标靶标对应的第二距离和所述两个目标靶标对应的第一距离的比值为所述缩放比例。
5.根据权利要求1至4中任一项所述的点云评测方法,其特征在于,将所述靶标对应的待评测靶标点云、所述缩放比例和所述靶标对应的真值靶标点云,获取初始对齐矩阵,包括:
根据所述缩放比例和所述靶标对应的待评测靶标点云,获取所述靶标对应的已缩放靶标点云;
将所述目标靶标对应的已缩放靶标点云和所述目标靶标对应的真值靶标点云进行对齐,获取初始对齐矩阵。
6.一种电子设备,其特征在于,包括处理器和存储器;
所述存储器,用于存储可在所述处理器上运行的计算机程序;
所述处理器,用于执行如权利要求1至5中任一项所述的点云评测方法。
7.一种芯片,其特征在于,包括:处理器,用于从存储器中调用并运行计算机程序,使得安装有所述芯片的设备执行如权利要求1至5中任一项所述的点云评测方法。
8.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时,使所述处理器执行如权利要求1至5中任一项所述的点云评测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210893852.2A CN116029952B (zh) | 2022-07-27 | 2022-07-27 | 点云评测方法及其相关设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210893852.2A CN116029952B (zh) | 2022-07-27 | 2022-07-27 | 点云评测方法及其相关设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116029952A true CN116029952A (zh) | 2023-04-28 |
CN116029952B CN116029952B (zh) | 2023-10-20 |
Family
ID=86090095
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210893852.2A Active CN116029952B (zh) | 2022-07-27 | 2022-07-27 | 点云评测方法及其相关设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116029952B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118071583A (zh) * | 2024-04-17 | 2024-05-24 | 法奥意威(苏州)机器人系统有限公司 | 缩放比例计算方法、装置、电子设备及可读存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102393183A (zh) * | 2011-04-19 | 2012-03-28 | 程效军 | 基于控制网的海量点云快速配准方法 |
US20140232859A1 (en) * | 2011-09-27 | 2014-08-21 | Leica Geosystems Ag | Measuring system and method for marking a known target point in a coordinate system |
CN112541971A (zh) * | 2020-12-25 | 2021-03-23 | 深圳市慧鲤科技有限公司 | 点云地图构建方法及装置、电子设备和存储介质 |
CN113205560A (zh) * | 2021-05-06 | 2021-08-03 | Oppo广东移动通信有限公司 | 多深度相机的标定方法、装置、设备及存储介质 |
CN114565648A (zh) * | 2022-02-28 | 2022-05-31 | 上海商汤临港智能科技有限公司 | 重建车位评测方法、装置、设备及存储介质 |
-
2022
- 2022-07-27 CN CN202210893852.2A patent/CN116029952B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102393183A (zh) * | 2011-04-19 | 2012-03-28 | 程效军 | 基于控制网的海量点云快速配准方法 |
US20140232859A1 (en) * | 2011-09-27 | 2014-08-21 | Leica Geosystems Ag | Measuring system and method for marking a known target point in a coordinate system |
CN112541971A (zh) * | 2020-12-25 | 2021-03-23 | 深圳市慧鲤科技有限公司 | 点云地图构建方法及装置、电子设备和存储介质 |
CN113205560A (zh) * | 2021-05-06 | 2021-08-03 | Oppo广东移动通信有限公司 | 多深度相机的标定方法、装置、设备及存储介质 |
CN114565648A (zh) * | 2022-02-28 | 2022-05-31 | 上海商汤临港智能科技有限公司 | 重建车位评测方法、装置、设备及存储介质 |
Non-Patent Citations (1)
Title |
---|
康国华 等: "基于点云中心的激光雷达与相机联合标定方法研究", 仪器仪表学报, no. 12, pages 1 - 2 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118071583A (zh) * | 2024-04-17 | 2024-05-24 | 法奥意威(苏州)机器人系统有限公司 | 缩放比例计算方法、装置、电子设备及可读存储介质 |
CN118071583B (zh) * | 2024-04-17 | 2024-07-19 | 法奥意威(苏州)机器人系统有限公司 | 缩放比例计算方法、装置、电子设备及可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN116029952B (zh) | 2023-10-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114119758B (zh) | 获取车辆位姿的方法、电子设备和计算机可读存储介质 | |
CN115439606A (zh) | 三维重建方法、图形界面、系统及相关装置 | |
CN112087649B (zh) | 一种设备搜寻方法以及电子设备 | |
CN116029952B (zh) | 点云评测方法及其相关设备 | |
CN114283195B (zh) | 生成动态图像的方法、电子设备及可读存储介质 | |
WO2022206595A1 (zh) | 一种图像处理方法以及相关设备 | |
CN114827442B (zh) | 生成图像的方法和电子设备 | |
WO2023216957A1 (zh) | 一种目标定位方法、系统和电子设备 | |
CN116708751B (zh) | 一种拍照时长的确定方法、装置和电子设备 | |
CN114390195B (zh) | 一种自动对焦的方法、装置、设备及存储介质 | |
WO2022227875A1 (zh) | 三维成像方法、装置、设备及存储介质 | |
CN115686182B (zh) | 增强现实视频的处理方法与电子设备 | |
CN117880645A (zh) | 一种图像处理的方法、装置、电子设备及存储介质 | |
CN114812381B (zh) | 电子设备的定位方法及电子设备 | |
CN114078083A (zh) | 头发变换模型生成方法和装置、头发变换方法和装置 | |
CN116437293B (zh) | 地理围栏的建立方法、服务器及通信系统 | |
CN117635466B (zh) | 图像增强方法、装置、电子设备及可读存储介质 | |
CN116761082B (zh) | 图像处理方法及装置 | |
CN116703741B (zh) | 一种图像对比度的生成方法、装置和电子设备 | |
CN117714861B (zh) | 图像处理方法及电子设备 | |
CN117714859B (zh) | 离焦量获取方法、装置、电子设备及可读存储介质 | |
CN117689796B (zh) | 一种渲染处理方法及电子设备 | |
CN117714860B (zh) | 图像处理方法及电子设备 | |
CN112783993B (zh) | 基于数字地图的多个授权空间的内容同步方法 | |
CN117688195A (zh) | 一种图片推荐方法及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |