一种图像处理方法、装置、以及计算机存储介质
技术领域
本申请涉及计算机技术领域,具体涉及一种图像处理方法、装置、以及计算机存储介质。
背景技术
激光雷达是通过发射激光束探测目标的位置速度等特征量的雷达系统,其工作原理是向目标发射探测信号,然后将接收到的从目标反射回来的信号与发射信号进行比较,得到关于目标的参数信息,从而实现对目标的探测、跟踪、以及识别。
鉴于激光雷达在空间信息获取上的优势,在无人驾驶领域应用广泛,但当无人驾驶的载体上包括至少一个激光雷达时,为了提升目标探测的准确性,需要对多个激光雷达之间进行标定。目前对多个激光雷达之间进行标定的方法通常需要借助专用的标定设备,如球状标定物等,通过这种方法进行多激光雷达之间的标定准备周期长且效率较低。
发明内容
本申请实施例提供一种图像处理方法、装置、以及计算机存储介质,可以提升多激光雷达之间标定的效率。
本申请实施例提供一种图像处理方法,包括:
确定激光雷达载体对应的基准测量区域,所述基准测量区域包括若干基准测量平面;
基于所述激光雷达载体对应的主激光雷达和副激光雷达,对所述基准测量区域进行测量,得到所述主激光雷达对应的主点云图像、以及所述副激光雷达对应的副点云图像;
从所述基准测量区域对应的若干基准测量平面中,确定目标基准测量平面;
分别对所述主点云图像和所述副点云图像中目标基准测量平面对应的点云数据进行平面拟合,得到所述主点云图像对应的主拟合平面、以及所述副点云图像对应的副拟合平面;
对齐所述主拟合平面与所述副拟合平面,以便实现所述主激光雷达与所述副激光雷达之间的标定。
相应的,本申请实施例还提供一种图像处理装置,包括:
区域确定模块,用于确定激光雷达载体对应的基准测量区域,所述基准测量区域包括若干基准测量平面;
测量模块,用于基于所述激光雷达载体对应的主激光雷达和副激光雷达,对所述基准测量区域进行测量,得到所述主激光雷达对应的主点云图像、以及所述副激光雷达对应的副点云图像;
平面确定模块,用于从所述基准测量区域对应的若干基准测量平面中,确定目标基准测量平面;
拟合模块,用于分别对所述主点云图像和所述副点云图像中目标基准测量平面对应的点云数据进行平面拟合,得到所述主点云图像对应的主拟合平面、以及所述副点云图像对应的副拟合平面;
对齐模块,用于对齐所述主拟合平面与所述副拟合平面,以便实现所述主激光雷达与所述副激光雷达之间的标定。
可选的,在一些实施例中,所述拟合模块可以包括确定子模块、第一拟合子模块和第二拟合子模块,如下:
确定子模块,用于确定所述主点云图像中目标基准测量平面对应的点云数据;
第一拟合子模块,用于基于所述点云数据的分布情况,对所述点云数据进行平面拟合,得到所述主点云图像对应的主拟合平面;
第二拟合子模块,用于对所述副点云图像中目标基准测量平面对应的点云数据进行平面拟合,得到所述副点云图像对应的副拟合平面。
则此时,所述第一拟合子模块,具体可以用于当所述点云数据分布稀疏时,从所述点云数据中选取若干选定点,基于所述选定点,确定所述主点云图像对应的主拟合平面。
则此时,所述第一拟合子模块,具体可以用于当所述点云数据分布密集,且所述点云数据的分布范围满足第一分布条件时,在所述主点云图像中确定框选所述点云数据的平面区域,基于所述平面区域,确定所述主点云图像对应的主拟合平面。
则此时,所述第一拟合子模块,具体可以用于当所述点云数据分布密集,且所述点云数据的分布范围满足第二分布条件时,从所述点云数据的若干点中确定目标基准点,在所述主点云图像中,确定所述目标基准点对应的搜索区域,将所述搜索区域中满足拟合条件的点更新为目标基准点,返回执行在所述主点云图像中,确定所述目标基准点对应的搜索区域的步骤,直至确定出所述主点云图像对应的主拟合平面。
可选的,在一些实施例中,所述图像处理装置还可以包括返回模块,所述返回模块具体可以用于返回执行从所述基准测量区域对应的若干基准测量平面中,确定目标基准测量平面的步骤,直至将所述基准测量区域中若干基准测量平面都拟合完毕,得到所述主点云图像中若干基准测量平面对应的主拟合平面、以及所述副点云图像中若干基准测量平面对应的副拟合平面。
可选的,在一些实施例中,所述图像处理装置还可以包括扫描模块,所述扫描模块具体可以用于分别获取所述主激光雷达和所述副激光雷达对同一物体扫描后的第一扫描数据和第二扫描数据,当所述第一扫描数据和所述第二扫描数据之间的差异不小于预设阈值时,返回执行从所述基准测量区域对应的若干基准测量平面中,确定目标基准测量平面的步骤。
则此时,所述对齐模块,具体可以用于基于所述主拟合平面和所述副拟合平面,获取所述主激光雷达的测量坐标系与所述副激光雷达的测量坐标系之间的变换关系,从所述主激光雷达的测量坐标系和所述副激光雷达的测量坐标系中,确定作为变换基准的基准坐标系,基于所述变换关系、以及所述基准坐标系,对齐所述主激光雷达的测量坐标系和所述副激光雷达的测量坐标系,以便实现所述主激光雷达和所述副激光雷达之间的标定。
此外,本申请实施例还提供一种存储介质,所述存储介质存储有多条指令,所述指令适于处理器进行加载,以执行本申请实施例提供的任一种图像处理方法中的步骤。
本申请实施例可以确定激光雷达载体对应的基准测量区域,基准测量区域包括若干基准测量平面,基于激光雷达载体对应的主激光雷达和副激光雷达,对基准测量区域进行测量,得到主激光雷达对应的主点云图像、以及副激光雷达对应的副点云图像,从基准测量区域对应的若干基准测量平面中,确定目标基准测量平面,分别对主点云图像和副点云图像中目标基准测量平面对应的点云数据进行平面拟合,得到主点云图像对应的主拟合平面、以及副点云图像对应的副拟合平面,对齐主拟合平面与副拟合平面,以便实现主激光雷达与副激光雷达之间的标定。该方案可以结合激光雷达载体的周围环境完成激光雷达的标定,从而提升多激光雷达之间标定的效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的图像处理系统的场景示意图;
图2是本申请实施例提供的图像处理方法的第一流程图;
图3是本申请实施例提供的图像处理方法的第二流程图;
图4是本申请实施例提供的图像处理方法的第三流程图;
图5是本申请实施例提供的图像处理方法的第四流程图;
图6是本申请实施例提供的基准测量区域示意图;
图7是本申请实施例提供的一种平面拟合方法示意图;
图8是本申请实施例提供的图像处理装置的结构示意图;
图9是本申请实施例提供的网络设备的结构示意图。
具体实施方法
请参照图式,其中相同的组件符号代表相同的组件,本申请的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本申请具体实施例,其不应被视为限制本申请未在此详述的其它具体实施例。
在以下的说明中,本申请的具体实施例将参考由一部或多部计算机所执行的步骤及符号来说明,除非另有述明。因此,这些步骤及操作将有数次提到由计算机执行,本文所指的计算机执行包括了由代表了以一结构化型式中的数据的电子信号的计算机处理单元的操作。此操作转换该数据或将其维持在该计算机的内存系统中的位置处,其可重新配置或另外以本领域测试人员所熟知的方法来改变该计算机的运作。该数据所维持的数据结构为该内存的实体位置,其具有由该数据格式所定义的特定特性。但是,本申请原理以上述文字来说明,其并不代表为一种限制,本领域测试人员将可了解到以下所述的多种步骤及操作亦可实施在硬件当中。
本文所使用的术语“模块”可看作为在该运算系统上执行的软件对象。本文所述的不同组件、模块、引擎及服务可看作为在该运算系统上的实施对象。而本文所述的装置及方法可以以软件的方法进行实施,当然也可在硬件上进行实施,均在本申请保护范围之内。
本申请中的术语“第一”、“第二”和“第三”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或模块的过程、方法、系统、产品或设备没有限定于已列出的步骤或模块,而是某些实施例还包括没有列出的步骤或模块,或某些实施例还包括对于这些过程、方法、产品或设备固有的其它步骤或模块。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
本申请实施例提供一种图像处理方法,该图像处理方法的执行主体可以是本申请实施例提供的图像处理装置,或者集成了该图像处理装置的网络设备,其中该图像处理装置可以采用硬件或者软件的方法实现。其中,网络设备可以是智能手机、平板电脑、掌上电脑、笔记本电脑、或者台式电脑等设备。网络设备包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或者多个服务器构成的云。
本申请实施例提供的图像处理方法可以应用于无人驾驶领域,其中,无人驾驶是指不需要测试驾驶员执行物理性驾驶操作的情况下,能够对车辆行使任务进行指导与决策,并代替测试驾驶员的操控行为,使车辆完成安全行使的功能。无人驾驶系统中的列车完全在基于通信的控制系统下运行,使得原本需要人工参与的作业得以在无人的状态下自动进行。
请参阅图1,图1为本申请实施例提供的图像处理方法的应用场景示意图,以图像处理装置集成在网络设备中为例,网络设备可以确定激光雷达载体对应的基准测量区域,基准测量区域包括若干基准测量平面,基于激光雷达载体对应的主激光雷达和副激光雷达,对基准测量区域进行测量,得到主激光雷达对应的主点云图像、以及副激光雷达对应的副点云图像,从基准测量区域对应的若干基准测量平面中,确定目标基准测量平面,分别对主点云图像和副点云图像中目标基准测量平面对应的点云数据进行平面拟合,得到主点云图像对应的主拟合平面、以及副点云图像对应的副拟合平面,对齐主拟合平面与副拟合平面,以便实现主激光雷达与副激光雷达之间的标定。
请参阅图2,图2为本申请实施例提供的图像处理方法的流程示意图,具体通过如下实施例进行说明:
201、确定激光雷达载体对应的基准测量区域。
其中,激光雷达载体可以为能够承载激光雷达的物体,激光雷达载体上不仅可以包括单个激光雷达,还可以包括由若干激光雷达组成的激光雷达系统。比如,安装有激光雷达的各种交通工具都可以称为激光雷达载体。
其中,测量区域可以为激光雷达能够进行测量的区域,激光雷达可以通过对测量区域进行测量,得到测量区域对应的点云图像。当点云图像的用途不同时,可以相应的选择不同类型的测量区域进行测量,比如,当需要进行不同激光雷达之间的标定时,测量区域可以确定为空间中三个互相垂直的平面。
在实际应用中,当需要进行不同激光雷达之间的标定时,为了方便后续平面对齐等步骤,可以将包括若干基准测量平面的测量区域,作为激光雷达载体对应的基准测量区域。其中,该基准测量平面可以为位于基准测量区域中的刚性平面,对该基准测量平面的大小和类型等可以不进行限定,如为了提升雷达标定的准确性,基准测量平面可以确定为墙面、地面等不易发生弯曲的平面。
在一实施例中,该图像处理方法可以应用于各类车载多激光雷达系统中,由于车载多激光雷达系统中包括至少一个激光雷达,因此需要对多激光雷达之间进行标定。为了提升该图像处理方法的使用灵活性,因此可以将基准测量区域确定为实际应用中容易得到的,且准确性满足要求的区域,比如,可以将空间中三个互相垂直的平面作为基准测量平面,由基准测量平面组成的区域为基准测量区域。如图6所示,可以将墙面A、墙面B、以及地面C作为基准测量平面,包括墙面A、墙面B、以及地面C的区域作为基准测量区域。
其中,由于选择的基准测量区域为墙面地面等实际应用中易得的区域,因此,该图像处理方法无需特意准备基准测量区域,而能够结合激光雷达载体周围环境随时进行多激光雷达的标定。
在一实施例中,本申请实施例对基准测量区域中基准测量平面的数目不进行限制,可以根据实际应用情况的差异,选择包括不同数目基准测量平面的基准测量区域,比如,在需要降低计算量且对准确性要求不高的情况下,可以将基准测量区域中基准测量平面的数目调小;又比如,在需要提高准确性的情况下,还可以将基准测量区域中基准测量平面的数目调大;又比如,当激光雷达载体所在地仅存在两个适用于激光雷达标定的基准测量平面时,也可以将包括这两个基准测量平面的区域作为基准测量区域,等等。
在一实施例中,为了提升该图像处理方法的灵活性,基准测量区域中包括的基准测量平面还可以不是互相垂直的平面,比如,当激光雷达载体所在地中不存在互相垂直的平面时,可以将非互相垂直且不共面的平面作为基准测量平面进行激光雷达的标定。
202、基于激光雷达载体对应的主激光雷达和副激光雷达,对基准测量区域进行测量,得到主激光雷达对应的主点云图像、以及副激光雷达对应的副点云图像。
其中,点云图像是在同一空间参考系下表达目标空间分布和目标表面特性的海量点集合,点云图像可以通过测量仪器进行测量得到。比如,点云图像可以为通过激光雷达测量得到的图像,点云图像中包括经过扫描后得到的若干个点,这些点描述了激光雷达所测量目标物体的信息。
其中,由于激光雷达载体上包括多个激光雷达,因此可以根据激光雷达种类、激光雷达在激光雷达载体上的分布位置等,将其分为主激光雷达和副激光雷达。比如,可以将车载激光雷达系统中的n线激光雷达确定为主激光雷达,将位于激光雷达载体左侧的m线激光雷达确定为副激光雷达。
在一实施例中,激光雷达载体上主激光雷达和副激光雷达的数目可以不作限制,比如,也可以将车载激光雷达系统中的n线激光雷达确定为主激光雷达,将位于激光雷达载体两侧的多个m线激光雷达确定为副激光雷达。
在实际应用中,比如,当激光雷达载体上包括作为主激光雷达的n线激光雷达、以及位于激光雷达载体左侧作为副激光雷达的m线激光雷达时,可以将如图6所示的区域作为基准测量区域,该基准测量区域中包括墙面A、墙面B、以及地面C。然后分别通过主激光雷达和副激光雷达对基准测量区域进行测量,得到主激光雷达测量后得到的主点云图像、以及副激光雷达测量后得到的副点云图像。
在一实施例中,由于激光雷达载体上的激光雷达未必都位于激光雷达载体的同侧,此时部分激光雷达可能无法对基准测量区域进行测量,如位于激光雷达载体右侧的激光雷达无法对位于激光雷达载体左侧的基准测量区域进行测量,或者即便能够进行测量,效果也不好。此时,可以将激光雷达能够测量到的区域确定为基准测量区域,也即,基准测量区域的数目可以不止一个。
比如,当激光雷达载体上包括作为主激光雷达的n线激光雷达、位于激光雷达载体左侧作为第一副激光雷达的m线激光雷达、以及位于激光雷达载体右侧作为第二副激光雷达的m线激光雷达时,可以将如图6所示的区域作为第一基准测量区域,该第一基准测量区域位于激光雷达载体左侧,包括墙面A、墙面B、以及地面C,并且确定第二基准测量区域,该第二基准测量区域位于激光雷达载体右侧,包括墙面A’、墙面B’、以及地面C’。
然后分别通过主激光雷达和第一副激光雷达对第一基准测量区域进行测量,得到主激光雷达测量后得到的第一主点云图像、以及第一副激光雷达测量后得到的第一副点云图像。并且,通过主激光雷达和第二副激光雷达对第二基准测量区域进行测量,得到主激光雷达测量后得到的第二主点云图像、以及第二副激光雷达测量后得到的第二副点云图像。
203、从基准测量区域对应的若干基准测量平面中,确定目标基准测量平面。
在实际应用中,比如,如图6所示,当基准测量区域中包括墙面A、墙面B、以及地面C三个基准测量平面时,可以从中选择一个基准测量平面作为目标基准测量平面进行后续步骤。
在一实施例中,由于在实际应用情况下,地面容易获得并且特征明显,因此通常会选择包括地面的基准测量区域,此时,可以首先将地面对应的基准测量平面作为目标基准测量平面,能够提高后续平面拟合步骤的准确性。
204、分别对主点云图像和副点云图像中目标基准测量平面对应的点云数据进行平面拟合,得到主点云图像对应的主拟合平面、以及副点云图像对应的副拟合平面。
在实际应用中,比如,当基准测量区域中包括墙面A、墙面B、以及地面C三个基准测量平面,且将地面C确定为目标基准测量平面时,此时已经获取到主激光雷达测量后得到的主点云图像、以及副激光雷达测量后得到的副点云图像。其中,主点云图像中包括对地面C测量后得到的若干点,副点云图像中也包括对地面C测量后得到的若干点。此时可以通过平面拟合方法,对主点云图像中地面C对应的点进行拟合,拟合得到主点云图像中地面C对应的主拟合平面,并对副点云图像中地面C对应的点进行拟合,拟合得到副点云图像中地面C对应的副拟合平面。
在一实施例中,由于点云图像中的点云数据分布情况各异,因此,可以根据点云图像中点云数据的分布情况决定用适宜的方法进行平面拟合。具体地,步骤“分别对所述主点云图像和所述副点云图像中目标基准测量平面对应的点云数据进行平面拟合,得到所述主点云图像对应的主拟合平面、以及所述副点云图像对应的副拟合平面”,可以包括:
确定所述主点云图像中目标基准测量平面对应的点云数据;
基于所述点云数据的分布情况,对所述点云数据进行平面拟合,得到所述主点云图像对应的主拟合平面;
对所述副点云图像中目标基准测量平面对应的点云数据进行平面拟合,得到所述副点云图像对应的副拟合平面。
在实际应用中,比如,当基准测量区域中包括墙面A、墙面B、以及地面C三个基准测量平面,且将地面C确定为目标基准测量平面时,此时已经获取到主激光雷达测量后得到的主点云图像,那么可以从主点云图像中确定出地面C对应的点云数据。然后通过对地面C对应点云数据分布情况的判断,选择合适的方法对点云数据进行平面拟合,得到主点云图像对应的主拟合平面。并且,从已经获取到的副激光雷达测量后得到的副点云图像中确定出地面C对应的点云数据,然后通过对地面C对应点云数据分布情况的判断,选择合适的方法对点云数据进行平面拟合,得到副点云图像对应的副拟合平面。
在一实施例中,当点云数据分布稀疏时,可以通过点选的方法拟合平面。具体地,步骤“基于所述点云数据的分布情况,对所述点云数据进行平面拟合,得到所述主点云图像对应的主拟合平面”,可以包括:
当所述点云数据分布稀疏时,从所述点云数据中选取若干选定点;
基于所述选定点,确定所述主点云图像对应的主拟合平面。
在实际应用中,比如,当基准测量区域中包括墙面A、墙面B、以及地面C三个基准测量平面,且将地面C确定为目标基准测量平面时,此时已经获取到主激光雷达测量后得到的主点云图像,那么可以从主点云图像中确定出地面C对应的点云数据。如图7所示,通过对地面C对应点云数据的分析,当发现点云数据分布稀疏时,可以直接从主点云图像中地面C对应点中选取三个不共线的点作为选定点,并根据选出的选定点进行平面拟合,得到主拟合平面。
在一实施例中,可以不对点云图像中选定点的数目进行限定,比如,为了提升点云图像中平面拟合的准确性,也可以将选定点的数目调大。
在一实施例中,可以通过计算点云图像中每单位面积的区域里点的数目,进行点云分布稀疏或者密集的判定。当点云图像中每单位面积区域里点的数目超过预设值时,可以认为点云分布密集;当点云图像中每单位面积区域里点的数目没超过预设值时,可以认为点云分布稀疏。其中,本申请实施例中对点云分布密集或者稀疏的判定方法不作限定。
在一实施例中,为了提升点云图像中平面拟合的准确性,当点云图像中目标基准测量平面对应点云数据的分布较为密集,并且分布范围较广时,可以通过框选等的方法进行平面拟合。具体地,步骤“基于所述点云数据的分布情况,对所述点云数据进行平面拟合,得到所述主点云图像对应的主拟合平面”,可以包括:
当所述点云数据分布密集,且所述点云数据的分布范围满足第一分布条件时,在所述主点云图像中确定框选所述点云数据的平面区域;
基于所述平面区域,确定所述主点云图像对应的主拟合平面。
其中,第一分布条件可以为一种对点云数据分布范围进行判定的条件,比如,第一分布条件可以为点云数据的分布范围广泛,因此,当点云数据的分布范围满足分布条件时,可以说明此时点云数据的分布范围广泛。比如,由于点云分布密度太低的区域可以进行忽略,因此可以根据点云数据的分布密度确定点云数据的分布范围。将点云数据分布密度超过预设密度的区域识别为点云数据的分布区域,当分布区域的面积超过预设面积时,可以认为点云数据分布范围较广,满足第一分布条件;相应地,当分布区域的面积没超过预设面积时,可以认为点云数据分布范围较窄,不满足第一分布条件。其中,本申请实施例不对判定点云数据分布范围是否满足第一分布条件的方法进行限定。
在实际应用中,比如,当基准测量区域中包括墙面A、墙面B、以及地面C三个基准测量平面,且将地面C确定为目标基准测量平面时,此时已经获取到主激光雷达测量后得到的主点云图像,那么可以从主点云图像中确定出地面C对应的点云数据。通过对地面C对应点云数据的分析,当发现点云数据分布密集,并且分布范围满足第一分布条件时,可以通过框选的方法,使得点云图像中尽可能多的点分布于框选得到的平面区域内,并根据该平面区域确定主点云图像对应的主拟合平面。
在一实施例中,框选得到平面区域的形状可能有多种,比如,可以通过规则的矩形框或者圆形框的方法进行点云图像中点的框选,又比如,还可以通过人工框选的方法,使得点云图像中尽可能多的点分布于框选后得到的不规则平面区域内。
在一实施例中,由于当点云数据分布较窄时,使用框选的方法拟合平面不够准确,因此,为了提升平面拟合的准确性,可以通过搜索区域过滤点云数据的过滤方法,进行平面拟合。具体地,步骤“基于所述点云数据的分布情况,对所述点云数据进行平面拟合,得到所述主点云图像对应的主拟合平面”,可以包括:
当所述点云数据分布密集,且所述点云数据的分布范围满足第二分布条件时,从所述点云数据的若干点中确定目标基准点;
在所述主点云图像中,确定所述目标基准点对应的搜索区域;
将所述搜索区域中满足拟合条件的点更新为目标基准点;
返回执行在所述主点云图像中,确定所述目标基准点对应的搜索区域的步骤,直至确定出所述主点云图像对应的主拟合平面。
其中,第二分布条件可以为一种对点云数据分布范围进行判定的条件,比如,第二分布条件可以包括点云数据的分布范围狭窄、或者在点云图像的操作界面视角中存在点云数据被其他点云数据遮挡等情况。
在实际应用中,比如,当基准测量区域中包括墙面A、墙面B、以及地面C三个基准测量平面,且将地面C确定为目标基准测量平面时,此时已经获取到主激光雷达测量后得到的主点云图像,那么可以从主点云图像中确定出地面C对应的点云数据。通过对地面C对应点云数据的分析,当发现点云数据分布密集,并且分布范围满足第二分布条件时,可以从地面C对应的点云数据中,选定一个符合平面拟合要求的点作为目标基准点,然后根据该目标基准点在点云图像中所在的位置,确定搜索区域,并且在位于搜索区域内的点云数据中,确定若干符合平面拟合要求的点,将这些点更新为目标基准点。然后继续根据目标基准点确定搜索区域、以及目标基准点,最后基于获取到的多个目标基准点进行平面拟合,得到主点云图像对应的主拟合平面。
在一实施例中,搜索区域的形状可以有多种,比如,搜索区域可以为以目标基准点为圆心,预设尺寸为半径的圆形区域,其中,搜索区域的方向可以通过人工观察进行确定,如可以在点云图像中定义坐标系,当点云数据大多分布于xoy方向时,可以将搜索区域的方向定义为xoy方向。其中,搜索区域还可以为人工标定的形状不规则的区域。
在一实施例中,点云数据的分布满足第二分布条件的情况可以不仅限于狭长区域,还可以表示点云图像中由于其他点云数据的遮挡,而呈现出的点云数据分布范围狭窄的情况,等等。
在一实施例中,在每次确定搜索区域时,可以根据点云图像中点云数据的分布情况对搜索区域的方向进行调整。比如,当激光雷达载体为车辆时,可以将车辆车头方向设置为x轴正方向,将车辆所在地面垂直向上的法向量方向设置为z轴正方向,将位于车辆左侧且与x轴、z轴都垂直的方向设置为y轴正方向。当点云图像中点云数据的分布情况接近于垂直地面的平面时,可以减少搜索区域在y轴方向的搜索范围,增加搜索区域在x轴、z轴方向的搜索范围。又如当点云图像中点云数据的分布情况接近于垂直地面的平面时,可以减少搜索区域在z轴方向的搜索范围,增加搜索区域在x轴、y轴方向的搜索范围。
在一实施例中,本申请实施例不限于仅通过一种方法进行主点云图像中主拟合平面的拟合步骤,比如,当需要获取主点云图像对应的主拟合平面时,可以根据实际情况,灵活地选择通过点选方法、框选方法、以及过滤方法进行平面的拟合,也即在一次确定拟合平面的过程中,可以灵活地使用多种方法进行平面拟合,如可以先利用过滤方法确定出多个目标基准点,再利用点选方法拟合平面;又如还可以先利用框选方法确定出多个目标基准点,再利用点选方法拟合平面,等等。
比如,当基准测量区域中包括墙面A、墙面B、以及地面C三个基准测量平面,且将地面C确定为目标基准测量平面时,此时已经获取到主激光雷达测量后得到的主点云图像,那么可以从主点云图像中确定出地面C对应的点云数据。通过对地面C对应点云数据的分析,当发现点云数据分布密集,并且分布范围满足第二分布条件时,可以从地面C对应的点云数据中,选定一个符合平面拟合要求的点作为目标基准点,然后根据该目标基准点在点云图像中所在的位置,确定搜索区域,然后可以通过点选方法,在位于搜索区域内的点云数据中,确定若干符合平面拟合要求的点,并基于这些符合平面拟合要求的点进行平面拟合。
在一实施例中,由于每张点云图像中包括多个基准测量平面对应的点云数据,因此可以进行多次平面拟合操作。具体地,步骤“分别对所述主点云图像和所述副点云图像中目标基准测量平面对应的点云数据进行平面拟合,得到所述主点云图像对应的主拟合平面、以及所述副点云图像对应的副拟合平面”之后,还可以包括:
返回执行从所述基准测量区域对应的若干基准测量平面中,确定目标基准测量平面的步骤,直至将所述基准测量区域中若干基准测量平面都拟合完毕,得到所述主点云图像中若干基准测量平面对应的主拟合平面、以及所述副点云图像中若干基准测量平面对应的副拟合平面。
在实际应用中,比如,当基准测量区域中包括墙面A、墙面B、以及地面C三个基准测量平面,且将地面C确定为目标基准测量平面后,已经获取到主点云图像中地面C对应的主拟合平面、以及副点云图像中地面C对应的副拟合平面。然后可以重新确定目标基准测量平面,如将墙面A确定为目标基准测量平面,并获取到主点云图像中墙面A对应的主拟合平面、以及副点云图像中墙面A对应的副拟合平面。然后可以继续重新确定目标基准测量平面,如将墙面B确定为目标基准测量平面,并获取到主点云图像中墙面B对应的主拟合平面、以及副点云图像中墙面B对应的副拟合平面。
在一实施例中,为了提升本申请实施例中图像处理方法的灵活性,根据点云图像中的点云数据进行平面拟合的方法不仅限于以上叙述的三种方法,还可以采用如Universal-RANSAC、或者最小二乘法等平面拟合的方法进行平面拟合。
205、对齐主拟合平面与副拟合平面,以便实现主激光雷达与副激光雷达之间的标定。
在实际应用中,比如,当基准测量区域中包括墙面A、墙面B、以及地面C三个基准测量平面时,可以获取到主点云图像中地面C对应的主拟合平面、副点云图像中地面C对应的副拟合平面、主点云图像中墙面A对应的主拟合平面、副点云图像中墙面A对应的副拟合平面、主点云图像中墙面B对应的主拟合平面、以及副点云图像中墙面B对应的副拟合平面。
可以通过计算使得主点云图像中地面C对应的主拟合平面与副点云图像中地面C对应的副拟合平面相互平行;主点云图像中墙面A对应的主拟合平面与副点云图像中墙面A对应的副拟合平面相互平行;主点云图像中墙面B对应的主拟合平面与副点云图像中墙面B对应的副拟合平面相互平行。当点云图像中所有的基准测量平面对应的拟合平面都相互平行后,并根据平面方程完成平移计算后,则完成主激光雷达与副激光雷达之间的标定。
在一实施例中,由于多激光雷达系统的标定过程为:选定一个激光雷达的坐标系作为基准坐标系,并将其他激光雷达的测量数据都统一到基准坐标系下,因此多激光雷达系统的标定可以视为多个坐标系之间的变换过程。具体地,步骤“对齐所述主拟合平面与所述副拟合平面,以便实现所述主激光雷达与所述副激光雷达之间的标定”,可以包括:
基于所述主拟合平面和所述副拟合平面,获取所述主激光雷达的测量坐标系与所述副激光雷达的测量坐标系之间的变换关系;
从所述主激光雷达的测量坐标系和所述副激光雷达的测量坐标系中,确定作为变换基准的基准坐标系;
基于所述变换关系、以及所述基准坐标系,对齐所述主激光雷达的测量坐标系和所述副激光雷达的测量坐标系,以便实现所述主激光雷达和所述副激光雷达之间的标定。
在实际应用中,比如,可以分别确定主激光雷达的测量坐标系
、以及副激光雷达
的测量坐标系
,并将主激光雷达的测量坐标系确定为基准坐标系。由于基准坐标系
和
测量坐标系
之间的变换关系可以如下:
其中,
为
的旋转变换矩阵,表示基准坐标系
和测量坐标系
之间的相对旋转
角,包含绕y轴旋转的偏航角(yaw)、绕x轴旋转的俯仰角(pitch)、和绕z轴旋转的翻滚角
(roll)三个变量。
其中,
为
的平移变换矩阵,表示基准坐标系
和测量坐标系
之间的相对
平移变换量,包含x轴、y轴和z轴三个方向上的平移数值。
因此,只要根据已经获取到的多个拟合平面,计算出
和
的数值,就能够得到基
准坐标系
和测量坐标系
之间具体的变换关系,然后将副激光雷达的测量数据都统一到
基准坐标系下,就完成了主激光雷达和副激光雷达之间的标定。
在一实施例中,比如,已经获取到主点云图像中地面C对应的主拟合平面
、副点
云图像中地面C对应的副拟合平面
、主点云图像中墙面A对应的主拟合平面
、副点云图
像中墙面A对应的副拟合平面
、主点云图像中墙面B对应的主拟合平面
、以及副点云图
像中墙面B对应的副拟合平面
后,可以首先通过主拟合平面
和副拟合平面
进行
的计算。此时,可以分别获取主拟合平面
对应的法向量
、以及副拟合平
面
对应的法向量
,通过罗德里格旋转公式(Rodrigues' rotation
formula),
的计算公式可以如下:
其中:
通过上述公式可以求得
,然后可以相应地通过主拟合平面
和副拟合平面
进行
的计算,通过主拟合平面
和副拟合平面
进行
的计算。根据公式
可
以对最终的
进行求解。
然后,可以通过主拟合平面
、主拟合平面
、主拟合平面
、副拟合平面
、
副拟合平面
、以及副拟合平面
进行
的计算。此时,可以分别获取主拟合平面
对应
的平面方程
、主拟合平面
对应的平面方程
、以及主拟合平面
对应的平面方程
,那么
的计算公式可以如下:
其中,
、
、以及
分别为副激光雷达对应的副拟合平面的平面方程中的
常
量。
在一实施例中,为了提升激光雷达标定准确性,对主激光雷达和副激光雷达之间进行标定后,还可以对标定进行质量评估。具体地,步骤“对齐所述主拟合平面与所述副拟合平面,以便实现所述主激光雷达与所述副激光雷达之间的标定”之后,还可以包括:
分别获取所述主激光雷达和所述副激光雷达对同一物体扫描后的第一扫描数据和第二扫描数据;
当所述第一扫描数据和所述第二扫描数据之间的差异不小于预设阈值时,返回执行从所述基准测量区域对应的若干基准测量平面中,确定目标基准测量平面的步骤。
在实际应用中,比如,当激光雷达载体为车辆时,对主激光雷达和副激光雷达之间
标定完毕,得到和的数值后,可以将车辆停放在一空旷地域,并在车辆上激光雷达的检测范
围内放置一物体,分别通过主激光雷达和副激光雷达对该物体进行扫描,根据雷达与物体
之间的距离信息获取激光雷达针对物体的点云信息,将主激光雷达获取到的数据记为
,
副激光雷达获取到的数据记为
。此时可以定义如下公式成立:
其中,
表示副激光雷达扫描到的物体在主激光雷达的测量坐标系下形成的点集。
可以通过确定
点集中每一个点与其在
点集中最近点之间的距离,对两激光雷
达之间的标定进行质量评估,其中,质量评价函数的公式可以如下:
其中,
与
表示
点集中每一个点与
点集中与其欧式距离最近的点形成的目标
点集,
表示目标点集中所有对应点之间欧式距离平方的均值。
通过上述质量评价函数公式计算得到
值后,当
值小于预设阈值时,可以认为
此时两激光雷达之间的标定已经达到了标定要求;当
值不小于预设阈值时,可以认为此
时两激光雷达之间的标定没有达到标定要求,还需要重复平面对齐的步骤,因此,此时可以
返回执行从基准测量区域对应的若干基准测量平面中,确定目标基准测量平面的步骤。
由上可知,本申请实施例可以确定激光雷达载体对应的基准测量区域,基准测量区域包括若干基准测量平面,基于激光雷达载体对应的主激光雷达和副激光雷达,对基准测量区域进行测量,得到主激光雷达对应的主点云图像、以及副激光雷达对应的副点云图像,从基准测量区域对应的若干基准测量平面中,确定目标基准测量平面,分别对主点云图像和副点云图像中目标基准测量平面对应的点云数据进行平面拟合,得到主点云图像对应的主拟合平面、以及副点云图像对应的副拟合平面,对齐主拟合平面与副拟合平面,以便实现主激光雷达与副激光雷达之间的标定。该方案可以利用激光雷达载体的周围环境随时完成激光雷达之间的标定,对多激光雷达之间共有区域范围要求较低,不需要专门的标定设备,对标定人员要求不高,并且步骤清晰、效率高、结果准确。当需要更改激光雷达的相对位置时,也能够极大的提升效率。
根据前面实施例所描述的方法,以下将以该图像处理装置具体集成在网络设备举例作进一步详细说明。
参考图3,本申请实施例图像处理方法的具体流程可以如下:
301、网络设备确定第一基准测量区域和第二基准测量区域。
在实际应用中,比如,当车辆上安装有作为主激光雷达的n线激光雷达、位于车辆左侧作为第一副激光雷达的m线激光雷达、以及位于车辆右侧作为第二副激光雷达的m线激光雷达时,由于车辆左右侧都安装有激光雷达,因此可以分别在车辆左侧确定第一基准测量区域,在车辆右侧确定第二基准测量区域,以便位于车辆左侧的第一副激光雷达和主激光雷达可以对位于车辆左侧的第一基准测量区域进行测量,位于车辆右侧的第二副激光雷达和主激光雷达可以对位于车辆右侧的第二基准测量区域进行测量。
其中,第一基准测量区域中可以包括基准测量平面A、基准测量平面B、以及基准测量平面C,第二基准测量区域中可以包括基准测量平面A’、基准测量平面B’、以及基准测量平面C’,其中,基准测量平面可以选取为实际应用中易得的地面或者墙面,等等。
302、网络设备获取第一主点云图像、第二主点云图像、第一副点云图像和第二副点云图像。
在实际应用中,比如,可以获取主激光雷达对第一基准测量区域和第二基准测量区域测量得到的第一主点云图像和第二主点云图像、第一副激光雷达对第一基准测量区域测量得到的第一副点云图像、以及第二副激光雷达对第二基准测量区域测量得到的第二副点云图像。
303、网络设备获取第一主点云图像中基准测量平面A对应的主拟合平面
、以及
第一副点云图像中基准测量平面A对应的副拟合平面
,并对齐两平面。
在实际应用中,比如,如图5所示,可以根据第一主点云图像中基准测量平面A对应
点云数据的分布情况,确定进行平面拟合的方法。如图7所示,当第一主点云图像中基准测
量平面A对应点云数据分布稀疏时,可以从基准测量平面A对应点云数据中选取不在同一直
线上的三个点,并根据选取出的点拟合平面,得到第一主点云图像中基准测量平面A对应的
主拟合平面
。
当第一主点云图像中基准测量平面A对应点云数据分布较为密集,且点云数据的
分布范围较为狭长,或者由于操作界面视角中被其他点云遮挡时,可以从基准测量平面A对
应点云数据中选取目标基准点,然后根据所选的目标基准点在空间的分布区域,手动输入
过滤规则,以目标基准点为起点,设置搜索范围,并将搜索范围中满足搜索要求的点加入点
集合并成为新的目标基准点,然后继续以新的目标基准点为起点,设置搜索范围并确定满
足搜索要求的点,最终得到多个目标基准点,根据多个目标基准点拟合平面,得到第一主点
云图像中基准测量平面A对应的主拟合平面
。
当第一主点云图像中基准测量平面A对应点云数据分布较为密集,且点云数据的
分布范围较为宽广时,可以直接在第一主点云图像中进行框选,使得尽可能多的点云数据
分布在框选确定的平面上,进而根据框选得到的平面进行平面拟合,得到第一主点云图像
中基准测量平面A对应的主拟合平面
。
其中,获取到第一主点云图像中基准测量平面A对应的主拟合平面
之后,可以通
过与获取主拟合平面
相似的方法,获取第一副点云图像中基准测量平面A对应的副拟合
平面
。如图4所示,获取到第一主点云图像中基准测量平面A对应的主拟合平面
、以及
第一副点云图像中基准测量平面A对应的副拟合平面
之后,可以对主拟合平面
、以及副
拟合平面
进行对齐,当主拟合平面
、以及副拟合平面
之间完成对齐时,可以进行后续
步骤;当主拟合平面
、以及副拟合平面
之间未完成对齐时,可以重新对两个平面进行对
齐,直至两个平面之间完成对齐。
304、网络设备获取第一主点云图像中基准测量平面B对应的主拟合平面
、以及
第一副点云图像中基准测量平面B对应的副拟合平面
,并对齐两平面。
在实际应用中,可以根据点云图像中基准测量平面B对应点云数据的分布情况,确
定进行平面拟合的方法,并获取到第一主点云图像中基准测量平面B对应的主拟合平面
、
以及第一副点云图像中基准测量平面B对应的副拟合平面
。
其中,获取到第一主点云图像中基准测量平面B对应的主拟合平面
、以及第一副
点云图像中基准测量平面B对应的副拟合平面
之后,可以对主拟合平面
、以及副拟合平
面
进行对齐,当主拟合平面
、以及副拟合平面
之间完成对齐时,可以进行后续步骤;
当主拟合平面
、以及副拟合平面
之间未完成对齐时,可以重新对两个平面进行对齐,直
至两个平面之间完成对齐。
305、网络设备获取第一主点云图像中基准测量平面C对应的主拟合平面
、以及
第一副点云图像中基准测量平面C对应的副拟合平面
,并对齐两平面。
在实际应用中,可以根据点云图像中基准测量平面C对应点云数据的分布情况,确
定进行平面拟合的方法,并获取到第一主点云图像中基准测量平面C对应的主拟合平面
、
以及第一副点云图像中基准测量平面C对应的副拟合平面
。
其中,获取到第一主点云图像中基准测量平面C对应的主拟合平面
、以及第一副
点云图像中基准测量平面C对应的副拟合平面
之后,可以对主拟合平面
、以及副拟合平
面
进行对齐,当主拟合平面
、以及副拟合平面
之间完成对齐时,可以进行后续步骤;
当主拟合平面
、以及副拟合平面
之间未完成对齐时,可以重新对两个平面进行对齐,直
至两个平面之间完成对齐。
其中,可以分别确定主激光雷达的测量坐标系
、以及副激光雷达的测量坐标系
,并将主激光雷达的测量坐标系确定为基准坐标系。由于基准坐标系
和测量坐标系
之间的变换关系可以如下:
其中,
为
的旋转变换矩阵,表示基准坐标系
和测量坐标系
之间的相对旋转
角,包含绕y轴旋转的偏航角(yaw)、绕x轴旋转的俯仰角(pitch)、和绕z轴旋转的翻滚角
(roll)三个变量。
其中,
为
的平移变换矩阵,表示基准坐标系
和测量坐标系
之间的相对平
移变换量,包含x轴、y轴和z轴三个方向上的平移数值。
因此,只要根据已经获取到的多个拟合平面,计算出
和
的数值,就能够得到基
准坐标系
和测量坐标系
之间具体的变换关系,然后将副激光雷达的测量数据都统一到
基准坐标系下,就完成了主激光雷达和副激光雷达之间的标定。
其中,已经获取到第一主点云图像中基准测量平面A对应的主拟合平面
、第一
副点云图像中基准测量平面A对应的副拟合平面
、第一主点云图像中基准测量平面B对
应的主拟合平面
、第一副点云图像中基准测量平面B对应的副拟合平面
、第一主点云图
像中基准测量平面C对应的主拟合平面
、以及第一副点云图像中基准测量平面C对应的副
拟合平面
,可以首先通过主拟合平面
和副拟合平面
进行
的计算。此时,可以分别
获取主拟合平面
对应的法向量
、以及副拟合平面
对应的法向量
,通过罗德里格旋转公式(Rodrigues' rotation formula),
的计算公
式可以如下:
其中:
通过上述公式可以求得
,然后可以相应地通过主拟合平面
和副拟合平面
进行
的计算,通过主拟合平面
和副拟合平面
进行
的计算。根据公式
可以对最终的
进行求解。
然后,可以通过主拟合平面
、主拟合平面
、主拟合平面
、副拟合平面
、副
拟合平面
、以及副拟合平面
进行
的计算。此时,可以分别获取主拟合平面
对应的
平面方程
、主拟合平面
对应的平面方程
、以及主拟合平面
对应的平面方程
,那么
的计算公式可以如下:
其中,
、
、以及
分别为副激光雷达对应的副拟合平面的平面方程中的
常
量。
306、网络设备实现主激光雷达与第一副激光雷达之间的标定。
在实际应用中,求解出两测量坐标系之间旋转平移变换矩阵后,可以将第一副激光雷达的测量数据统一到主激光雷达的基准坐标系下,完成主激光雷达与第一副激光雷达之间的标定。
对主激光雷达和第一副激光雷达之间标定完毕,得到
和
的数值后,可以将车辆
停放在一空旷地域,并在车辆上激光雷达的检测范围内放置一物体,分别通过主激光雷达
和第一副激光雷达对该物体进行扫描,根据雷达与物体之间的距离信息获取激光雷达针对
物体的点云信息,将主激光雷达获取到的数据记为
,第一副激光雷达获取到的数据记为
。此时可以定义如下公式成立:
其中,
表示第一副激光雷达扫描到的物体在主激光雷达的测量坐标系下形成的点
集。
可以通过确定
点集中每一个点与其在
点集中最近点之间的距离,对两激光雷
达之间的标定进行质量评估,其中,质量评价函数的公式可以如下:
其中,
与
表示
点集中每一个点与
点集中与其欧式距离最近的点形成的目标
点集,
表示目标点集中所有对应点之间欧式距离平方的均值。
通过上述质量评价函数公式计算得到
值后,当
值小于预设阈值时,可以认为
此时两激光雷达之间的标定已经达到了标定要求;当
值不小于预设阈值时,可以认为此
时两激光雷达之间的标定没有达到标定要求,还需要重复平面对齐的步骤,因此,此时可以
返回网络设备获取第一主点云图像中基准测量平面A对应的主拟合平面
、以及第一副点
云图像中基准测量平面A对应的副拟合平面
,并对齐两平面的步骤。
307、网络设备获取第二主点云图像中基准测量平面A’对应的主拟合平面
、以及
第二副点云图像中基准测量平面A’对应的副拟合平面
,并对齐两平面。
在实际应用中,可以根据点云图像中基准测量平面A’对应点云数据的分布情况,
确定进行平面拟合的方法,并获取到第二主点云图像中基准测量平面A’对应的主拟合平面
、以及第二副点云图像中基准测量平面A’对应的副拟合平面
。
其中,获取到第二主点云图像中基准测量平面A’对应的主拟合平面
、以及第二
副点云图像中基准测量平面A’对应的副拟合平面
之后,可以对主拟合平面
、以及副
拟合平面
进行对齐,当主拟合平面
、以及副拟合平面
之间完成对齐时,可以进行后
续步骤;当主拟合平面
、以及副拟合平面
之间未完成对齐时,可以重新对两个平面进
行对齐,直至两个平面之间完成对齐。
308、网络设备获取第二主点云图像中基准测量平面B’对应的主拟合平面
、以及
第二副点云图像中基准测量平面B’对应的副拟合平面
,并对齐两平面。
在实际应用中,可以根据点云图像中基准测量平面B’对应点云数据的分布情况,
确定进行平面拟合的方法,并获取到第二主点云图像中基准测量平面B’对应的主拟合平面
、以及第二副点云图像中基准测量平面B’对应的副拟合平面
。
其中,获取到第二主点云图像中基准测量平面B’对应的主拟合平面
、以及第二
副点云图像中基准测量平面B’对应的副拟合平面
之后,可以对主拟合平面
、以及副拟
合平面
进行对齐,当主拟合平面
、以及副拟合平面
之间完成对齐时,可以进行后续
步骤;当主拟合平面
、以及副拟合平面
之间未完成对齐时,可以重新对两个平面进行对
齐,直至两个平面之间完成对齐。
309、网络设备获取第二主点云图像中基准测量平面C’对应的主拟合平面
、以及
第二副点云图像中基准测量平面C’对应的副拟合平面
,并对齐两平面。
在实际应用中,可以根据点云图像中基准测量平面C’对应点云数据的分布情况,
确定进行平面拟合的方法,并获取到第二主点云图像中基准测量平面C’对应的主拟合平面
、以及第二副点云图像中基准测量平面C’对应的副拟合平面
。
其中,获取到第二主点云图像中基准测量平面C’对应的主拟合平面
、以及第二
副点云图像中基准测量平面C’对应的副拟合平面
之后,可以对主拟合平面
、以及副拟
合平面
进行对齐,当主拟合平面
、以及副拟合平面
之间完成对齐时,可以进行后续
步骤;当主拟合平面
、以及副拟合平面
之间未完成对齐时,可以重新对两个平面进行
对齐,直至两个平面之间完成对齐。
310、网络设备实现主激光雷达与第二副激光雷达之间的标定。
在实际应用中,求解出两测量坐标系之间旋转平移变换矩阵后,可以将第二副激光雷达的测量数据统一到主激光雷达的基准坐标系下,完成主激光雷达与第二副激光雷达之间的标定。
其中,完成主激光雷达与第二副激光雷达之间的标定后,可以通过质量评价函数
公式计算得到
值,当
值小于预设阈值时,可以认为此时两激光雷达之间的标定已经达
到了标定要求;当
值不小于预设阈值时,可以认为此时两激光雷达之间的标定没有达到
标定要求,还需要重复平面对齐的步骤,因此,此时可以返回网络设备获取第二主点云图像
中基准测量平面A’对应的主拟合平面
、以及第二副点云图像中基准测量平面A’对应的
副拟合平面
,并对齐两平面的步骤。
由上可知,本申请实施例可以通过网络设备确定第一基准测量区域和第二基准测
量区域,获取第一主点云图像、第二主点云图像、第一副点云图像和第二副点云图像,获取
第一主点云图像中基准测量平面A对应的主拟合平面
、以及第一副点云图像中基准测量
平面A对应的副拟合平面
,并对齐两平面,获取第一主点云图像中基准测量平面B对应的
主拟合平面
、以及第一副点云图像中基准测量平面B对应的副拟合平面
,并对齐两平
面,获取第一主点云图像中基准测量平面C对应的主拟合平面
、以及第一副点云图像中基
准测量平面C对应的副拟合平面
,并对齐两平面,实现主激光雷达与第一副激光雷达之
间的标定,获取第二主点云图像中基准测量平面A’对应的主拟合平面
、以及第二副点云
图像中基准测量平面A’对应的副拟合平面
,并对齐两平面,获取第二主点云图像中基准
测量平面B’对应的主拟合平面
、以及第二副点云图像中基准测量平面B’对应的副拟合
平面
,并对齐两平面,获取第二主点云图像中基准测量平面C’对应的主拟合平面
、以
及第二副点云图像中基准测量平面C’对应的副拟合平面
,并对齐两平面,实现主激光雷
达与第二副激光雷达之间的标定。该方案可以利用激光雷达载体的周围环境随时完成激光
雷达之间的标定,对多激光雷达之间共有区域范围要求较低,不需要专门的标定设备,对标
定人员要求不高,并且步骤清晰、效率高、结果准确。当需要更改激光雷达的相对位置时,也
能够极大的提升效率。
为了更好地实施以上方法,本申请实施例还可以提供一种图像处理装置,该图像处理装置具体可以集成在网络设备中,该网络设备可以包括服务器、终端等,其中,终端可以包括:手机、平板电脑、笔记本电脑或个人计算机(PC,Personal Computer)等。
例如,如图8所示,该图像处理装置可以包括区域确定模块81、测量模块82、平面确定模块83、拟合模块84和对齐模块85,如下:
区域确定模块81,用于确定激光雷达载体对应的基准测量区域,所述基准测量区域包括若干基准测量平面;
测量模块82,用于基于所述激光雷达载体对应的主激光雷达和副激光雷达,对所述基准测量区域进行测量,得到所述主激光雷达对应的主点云图像、以及所述副激光雷达对应的副点云图像;
平面确定模块83,用于从所述基准测量区域对应的若干基准测量平面中,确定目标基准测量平面;
拟合模块84,用于分别对所述主点云图像和所述副点云图像中目标基准测量平面对应的点云数据进行平面拟合,得到所述主点云图像对应的主拟合平面、以及所述副点云图像对应的副拟合平面;
对齐模块85,用于对齐所述主拟合平面与所述副拟合平面,以便实现所述主激光雷达与所述副激光雷达之间的标定。
在一实施例中,所述拟合模块84可以包括确定子模块841、第一拟合子模块842和第二拟合子模块843,如下:
确定子模块841,用于确定所述主点云图像中目标基准测量平面对应的点云数据;
第一拟合子模块842,用于基于所述点云数据的分布情况,对所述点云数据进行平面拟合,得到所述主点云图像对应的主拟合平面;
第二拟合子模块843,用于对所述副点云图像中目标基准测量平面对应的点云数据进行平面拟合,得到所述副点云图像对应的副拟合平面。
在一实施例中,所述第一拟合子模块842可以具体用于:
当所述点云数据分布稀疏时,从所述点云数据中选取若干选定点;
基于所述选定点,确定所述主点云图像对应的主拟合平面。
在一实施例中,所述第一拟合子模块842可以具体用于:
当所述点云数据分布密集,且所述点云数据的分布范围满足第一分布条件时,在所述主点云图像中确定框选所述点云数据的平面区域;
基于所述平面区域,确定所述主点云图像对应的主拟合平面。
在一实施例中,所述第一拟合子模块842可以具体用于:
当所述点云数据分布密集,且所述点云数据的分布范围满足第二分布条件时,从所述点云数据的若干点中确定目标基准点;
在所述主点云图像中,确定所述目标基准点对应的搜索区域;
将所述搜索区域中满足拟合条件的点更新为目标基准点;
返回执行在所述主点云图像中,确定所述目标基准点对应的搜索区域的步骤,直至确定出所述主点云图像对应的主拟合平面。
在一实施例中,所述图像处理装置还可以包括返回模块88,所述返回模块88可以具体用于:
返回执行从所述基准测量区域对应的若干基准测量平面中,确定目标基准测量平面的步骤,直至将所述基准测量区域中若干基准测量平面都拟合完毕,得到所述主点云图像中若干基准测量平面对应的主拟合平面、以及所述副点云图像中若干基准测量平面对应的副拟合平面。
在一实施例中,所述图像处理装置还可以包括扫描模块87,所述扫描模块87可以具体用于:
分别获取所述主激光雷达和所述副激光雷达对同一物体扫描后的第一扫描数据和第二扫描数据;
当所述第一扫描数据和所述第二扫描数据之间的差异不小于预设阈值时,返回执行从所述基准测量区域对应的若干基准测量平面中,确定目标基准测量平面的步骤。
在一实施例中,所述对齐模块85可以具体用于:
基于所述主拟合平面和所述副拟合平面,获取所述主激光雷达的测量坐标系与所述副激光雷达的测量坐标系之间的变换关系;
从所述主激光雷达的测量坐标系和所述副激光雷达的测量坐标系中,确定作为变换基准的基准坐标系;
基于所述变换关系、以及所述基准坐标系,对齐所述主激光雷达的测量坐标系和所述副激光雷达的测量坐标系,以便实现所述主激光雷达和所述副激光雷达之间的标定。
具体实施时,以上各个单元可以作为独立的实体来实现,也可以进行任意组合,作为同一或若干个实体来实现,以上各个单元的具体实施可参见前面的方法实施例,在此不再赘述。
由上可知,本申请实施例可以通过区域确定模块81确定激光雷达载体对应的基准测量区域,基准测量区域包括若干基准测量平面,通过测量模块82基于激光雷达载体对应的主激光雷达和副激光雷达,对基准测量区域进行测量,得到主激光雷达对应的主点云图像、以及副激光雷达对应的副点云图像,通过平面确定模块83从基准测量区域对应的若干基准测量平面中,确定目标基准测量平面,通过拟合模块84分别对主点云图像和副点云图像中目标基准测量平面对应的点云数据进行平面拟合,得到主点云图像对应的主拟合平面、以及副点云图像对应的副拟合平面,通过对齐模块85对齐主拟合平面与副拟合平面,以便实现主激光雷达与副激光雷达之间的标定。该方案可以利用激光雷达载体的周围环境随时完成激光雷达之间的标定,对多激光雷达之间共有区域范围要求较低,不需要专门的标定设备,对标定人员要求不高,并且步骤清晰、效率高、结果准确。当需要更改激光雷达的相对位置时,也能够极大的提升效率。
本申请实施例还提供一种网络设备,该网络设备可以集成本申请实施例所提供的任一种图像处理装置。
例如,如图9所示,其示出了本申请实施例所涉及的网络设备的结构示意图,具体来讲:
该网络设备可以包括一个或者一个以上处理核心的处理器91、一个或一个以上计算机可读存储介质的存储器92、电源93和输入单元94等部件。本领域技术人员可以理解,图9中示出的网络设备结构并不构成对网络设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
处理器91是该网络设备的控制中心,利用各种接口和线路连接整个网络设备的各个部分,通过运行或执行存储在存储器92内的软件程序和/或模块,以及调用存储在存储器92内的数据,执行网络设备的各种功能和处理数据,从而对网络设备进行整体监控。可选的,处理器91可包括一个或多个处理核心;优选的,处理器91可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器91中。
存储器92可用于存储软件程序以及模块,处理器91通过运行存储在存储器92的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器92可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据网络设备的使用所创建的数据等。此外,存储器92可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器92还可以包括存储器控制器,以提供处理器91对存储器92的访问。
网络设备还包括给各个部件供电的电源93,优选的,电源93可以通过电源管理系统与处理器91逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源93还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该网络设备还可包括输入单元94,该输入单元94可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出,网络设备还可以包括显示单元等,在此不再赘述。具体在本实施例中,网络设备中的处理器91会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器92中,并由处理器91来运行存储在存储器92中的应用程序,从而实现各种功能,如下:
确定激光雷达载体对应的基准测量区域,基准测量区域包括若干基准测量平面,基于激光雷达载体对应的主激光雷达和副激光雷达,对基准测量区域进行测量,得到主激光雷达对应的主点云图像、以及副激光雷达对应的副点云图像,从基准测量区域对应的若干基准测量平面中,确定目标基准测量平面,分别对主点云图像和副点云图像中目标基准测量平面对应的点云数据进行平面拟合,得到主点云图像对应的主拟合平面、以及副点云图像对应的副拟合平面,对齐主拟合平面与副拟合平面,以便实现主激光雷达与副激光雷达之间的标定。
以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
由上可知,本申请实施例可以确定激光雷达载体对应的基准测量区域,基准测量区域包括若干基准测量平面,基于激光雷达载体对应的主激光雷达和副激光雷达,对基准测量区域进行测量,得到主激光雷达对应的主点云图像、以及副激光雷达对应的副点云图像,从基准测量区域对应的若干基准测量平面中,确定目标基准测量平面,分别对主点云图像和副点云图像中目标基准测量平面对应的点云数据进行平面拟合,得到主点云图像对应的主拟合平面、以及副点云图像对应的副拟合平面,对齐主拟合平面与副拟合平面,以便实现主激光雷达与副激光雷达之间的标定。该方案可以利用激光雷达载体的周围环境随时完成激光雷达之间的标定,对多激光雷达之间共有区域范围要求较低,不需要专门的标定设备,对标定人员要求不高,并且步骤清晰、效率高、结果准确。当需要更改激光雷达的相对位置时,也能够极大的提升效率。
本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。
为此,本申请实施例提供一种计算机设备,其中存储有多条指令,该指令能够被处理器进行加载,以执行本申请实施例所提供的任一种图像处理方法中的步骤。例如,该指令可以执行如下步骤:
确定激光雷达载体对应的基准测量区域,基准测量区域包括若干基准测量平面,基于激光雷达载体对应的主激光雷达和副激光雷达,对基准测量区域进行测量,得到主激光雷达对应的主点云图像、以及副激光雷达对应的副点云图像,从基准测量区域对应的若干基准测量平面中,确定目标基准测量平面,分别对主点云图像和副点云图像中目标基准测量平面对应的点云数据进行平面拟合,得到主点云图像对应的主拟合平面、以及副点云图像对应的副拟合平面,对齐主拟合平面与副拟合平面,以便实现主激光雷达与副激光雷达之间的标定。
以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
其中,该存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、磁盘或光盘等。
由于该存储介质中所存储的指令,可以执行本申请实施例所提供的任一种图像处理方法中的步骤,因此,可以实现本申请实施例所提供的任一种图像处理方法所能实现的有益效果,详见前面的实施例,在此不再赘述。
以上对本申请实施例所提供的一种图像处理方法、装置、以及计算机存储介质进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方法进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方法及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。