CN116540252A - 基于激光雷达的速度确定方法、装置、设备及存储介质 - Google Patents
基于激光雷达的速度确定方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN116540252A CN116540252A CN202310819844.8A CN202310819844A CN116540252A CN 116540252 A CN116540252 A CN 116540252A CN 202310819844 A CN202310819844 A CN 202310819844A CN 116540252 A CN116540252 A CN 116540252A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- cloud image
- speed
- target object
- bounding box
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000004364 calculation method Methods 0.000 claims abstract description 18
- 238000006073 displacement reaction Methods 0.000 claims description 49
- 230000008859 change Effects 0.000 claims description 38
- 238000004590 computer program Methods 0.000 claims description 9
- 230000000694 effects Effects 0.000 abstract description 2
- 238000004891 communication Methods 0.000 description 14
- 238000012545 processing Methods 0.000 description 10
- 230000008901 benefit Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000003993 interaction Effects 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000000691 measurement method Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000001154 acute effect Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/50—Systems of measurement based on relative movement of target
- G01S17/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Image Analysis (AREA)
Abstract
本申请提供一种基于激光雷达的速度确定方法、装置、设备及存储介质。该方法包括:根据当前点云图像的图像信息和历史点云图像的图像信息,确定目标对象的包围框中至少两个物理位置所对应的运动速度;当前点云图像和历史点云图像中均含有目标对象,图像信息包括图像采集时间和图像中目标对象的包围框尺寸信息;根据目标对象的包围框中至少两个物理位置所对应的运动速度,确定目标对象的观测速度;获取目标对象在历史点云图像中的历史预测速度;根据观测速度和历史预测速度,确定目标对象在当前点云图像中的预测速度。本申请通过计算观测速度,提高了速度预测的稳定性和精度,具有良好的测速效果。
Description
技术领域
本申请涉及自动驾驶技术领域,尤其涉及一种基于激光雷达的速度确定方法、装置、设备及存储介质。
背景技术
激光雷达作为一种重要的传感器,在自动驾驶感知系统中具有广泛的应用。激光雷达生成的点云图像中可以显示出车辆等目标对象的朝向角和几何尺寸等相关信息,通过点云图像中目标对象的相关信息,可以预测目标对象的运动速度。
若速度预测的误差较大,则会影响道路行驶的安全。因此,需要基于激光雷达,对目标对象的速度进行精确的确定。
发明内容
本申请提供一种基于激光雷达的速度确定方法、装置、设备及存储介质,用以提高自动驾驶中确定运动目标速度的精度。
第一方面,本申请提供一种基于激光雷达的速度确定方法,包括:
根据当前点云图像的图像信息和历史点云图像的图像信息,确定目标对象的包围框中至少两个物理位置所对应的运动速度;其中,所述当前点云图像和所述历史点云图像中均含有所述目标对象,所述图像信息包括图像的采集时间和图像中目标对象的包围框的尺寸信息;所述物理位置为所述包围框中预先设定的图像坐标点;
根据所述目标对象的包围框中至少两个物理位置所对应的运动速度,确定所述目标对象的观测速度;
获取所述目标对象在所述历史点云图像中的历史预测速度;
根据所述观测速度和历史预测速度,确定所述目标对象在所述当前点云图像中的预测速度。
第二方面,本申请提供一种基于激光雷达的速度确定装置,包括:
运动速度确定模块,用于根据当前点云图像的图像信息和历史点云图像的图像信息,确定目标对象的包围框中至少两个物理位置所对应的运动速度;其中,所述当前点云图像和所述历史点云图像中均含有所述目标对象,所述图像信息包括图像的采集时间和图像中目标对象的包围框的尺寸信息;所述物理位置为所述包围框中预先设定的图像坐标点;
观测速度确定模块,用于根据所述目标对象的包围框中,至少两个物理位置所对应的运动速度,确定所述目标对象的观测速度;
历史预测速度确定模块,用于获取所述目标对象在所述历史点云图像中的历史预测速度;
预测速度确定模块,用于根据所述观测速度和历史预测速度,确定所述目标对象在所述当前点云图像中的预测速度。
第三方面,本申请提供一种电子设备,包括:处理器,以及与所述处理器通信连接的存储器;
所述存储器存储计算机执行指令;
所述处理器执行所述存储器存储的计算机执行指令,以实现如本申请第一方面所述的基于激光雷达的速度确定方法。
第四方面,本申请提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如本申请第一方面所述的基于激光雷达的速度确定方法。
第五方面,本申请提供一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现本申请第一方面所述的基于激光雷达的速度确定方法。
本申请提供的一种基于激光雷达的速度确定方法、装置、设备及存储介质,通过确定当前点云图像的采集时间、历史点云图像的采集时间、当前点云图像中目标对象的包围框的尺寸信息以及历史点云图像中目标对象的包围框的尺寸信息,计算包围框中多个物理位置所对应的运动速度。对多个运动速度进行综合考率,得到目标对象的观测速度。确定历史点云图像中,已经计算过目标对象所对应的预测速度,作为历史预测速度。对观测速度和历史预测速度进行结合,确定当前点云图像中,目标对象的预测速度。解决了现有技术中,目标对象的速度预测存在错误的问题。通过确定观测速度,并结合观测速度和历史预测速度,实现了对预测速度的精确计算,有效提高速度预测的精度,保证道路行驶的安全。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
图1为本申请实施例提供的一种基于激光雷达的速度确定方法的流程示意图;
图2为本申请实施例提供的一种基于激光雷达的速度确定方法的流程示意图;
图3为本申请实施例提供的目标对象的角点速度投影示意图;
图4为本申请实施例提供的一种基于激光雷达的速度确定装置的结构框图;
图5为本申请实施例提供的一种电子设备的结构框图;
图6为本申请实施例提供的一种电子设备的结构框图。
通过上述附图,已示出本申请明确的实施例,后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围,而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施例方式作进一步地详细描述。
应当明确,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本申请保护的范围。
下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请的描述中,需要理解的是,术语“第一”、“第二”、“第三 ”等仅用于区别类似的对象,而不必用于描述特定的顺序或先后次序,也不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本申请中的具体含义。此外,在本申请的描述中,除非另有说明,“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
需要注意的是,由于篇幅所限,本申请说明书没有穷举所有可选的实施方式,本领域技术人员在阅读本申请说明书后,应该能够想到,只要技术特征不互相矛盾,那么技术特征的任意组合均可以构成可选的实施方式。下面对各实施例进行详细说明。
激光雷达生成的点云可以为自动驾驶的感知系统提供环境中目标对象的包围框,得到包围框的朝向角和几何尺寸等相关信息。通过激光雷达所提供的点云的相关信息,可以预测道路上的车辆等目标对象的行驶速度,从而提前对道路上的情况进行应对,保障道路行驶安全。
当前市场上已有的基于激光雷达的速度测量方法主要依赖于中心点离散差分方法,这类方法的原理简单直观,但是精度和包围框的检测质量强相关,鲁棒性和场景泛化性较差,在面对形状不规则的车辆时具有较大的测量误差。导致速度预测的精度较低,影响道路上的行驶安全。
本申请提供的一种基于激光雷达的速度确定方法、装置、设备及存储介质,旨在解决现有技术的如上技术问题。
下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图,对本申请的实施例进行描述。
图1是根据本申请实施例提供的一种基于激光雷达的速度确定方法的流程示意图,该方法可以由一种基于激光雷达的速度确定装置执行。如图1所示,该方法包括以下步骤:
S101、根据当前点云图像的图像信息和历史点云图像的图像信息,确定目标对象的包围框中至少两个物理位置所对应的运动速度;其中,当前点云图像和历史点云图像中均含有目标对象,图像信息包括图像的采集时间和图像中目标对象的包围框的尺寸信息;物理位置为包围框中预先设定的图像坐标点。
示例性地,道路上可以存在运动车辆和行人等对象,作为目标对象。还可以在道路上安排一辆车辆,作为自车。自车上安装有激光雷达,激光雷达可以实时或定时对道路进行扫描,生成多帧点云图像。每帧点云图像中可以包括一个或多个对象所对应的点云。
获取当前时间采集的点云图像,作为当前点云图像。从当前点云图像中识别出目标对象,例如,要预测道路上行驶的车辆的速度,则目标对象是道路上的车辆。若当前点云图像中存在多辆车辆,每辆车辆都可以是目标对象,各个目标对象分别对应有自己的预测速度。例如,道路上行驶有一辆红车和一辆蓝车,想要预测红车的行驶速度,则红车为目标对象。基于预设的图像识别算法,从当前点云图像中识别出该红车。目标对象在当前点云图像中被预设形状的包围框进行框选。历史点云图像中也含有目标对象,也采用预设形状的包围框对历史点云图像中的目标对象进行框选。例如,历史点云图像是含义目标对象的,当前点云图像的上一帧点云图像。
对于目标对象的包围框,可以预设一个或多个物理位置。物理位置不一定是点云数据的位置,可以是包围框中预先设定的任意图像坐标点。例如,可以是包围框的中心点。
本实施例中,物理位置包括中心点、质心点和角点中的至少两项。
获取当前点云图像的采集时间和历史点云图像的采集时间,根据当前点云图像的采集时间、历史点云图像的采集时间、当前点云图像中目标对象的包围框的尺寸信息以及历史点云图像中目标对象的包围框的尺寸信息,计算出每一个物理位置的运动速度。例如,可以根据当前点云图像的采集时间和历史点云图像的采集时间,确定当前点云图像和历史点云图像之间的采集时间的时间差。根据当前点云图像中目标对象的包围框中物理位置的坐标和历史点云图像中目标对象的包围框中物理位置的坐标,确定物理位置的位移距离。根据时间差和位移距离,进行速度计算,将计算出的速度,确定为物理位置的运动速度。
在计算目标对象的位移距离时,可以根据包围框的尺寸信息,确定当前点云图像中目标对象的包围框中任一点的坐标和历史点云图像中目标对象的包围框中对应点的坐标,得到该点的位移距离,作为目标对象的位移距离。
本实施例中,该方法还包括:获取当前点云图像,采用预设形状的包围框对当前点云图像中的目标对象进行框选;将当前点云图像的采集时间和当前点云图像中目标对象的包围框的尺寸信息,确定为当前点云图像的图像信息;获取历史点云图像,将历史点云图像的采集时间和历史点云图像中目标对象的包围框的尺寸信息,确定为历史点云图像的图像信息。
具体的,在通过图像识别算法识别出目标对象后,采用预设形状的包围框对目标对象进行框选。例如,包围框可以是平面的矩形框,也可以是立方体框。包围框中含有目标对象的点云。本实施例中,对预设的图像识别算法不做具体限定。
确定当前点云图像中目标对象的包围框的尺寸信息,尺寸信息可以表示包围框的大小和位置,即,可以确定当前点云图像中目标对象的包围框的大小和位置。例如,尺寸信息可以包括包围框的面积和周长等,若包围框为多边形,则尺寸信息还可以包括包围框上角点的坐标;若包围框为圆形,则尺寸信息还可以包括包围框的圆心坐标等。角点为包围框上的转折点,例如,包围框为矩形,则角点可以有四个,分别为矩形的四个直角所在的点。
当前点云图像可以是激光雷达的第一帧点云图像,也可以是第一帧之后的点云图像。若当前点云图像不是第一帧点云图像,即,在采集当前点云图像时,存在已经采集过的历史点云图像,则可以获取含有目标对象的历史点云图像。历史点云图像可以是一帧或多帧,可以将距离当前点云图像的采集时间最近的,含有目标对象的点云图像,确定为历史点云图像。
本实施例中,历史点云图像是含有目标对象,且采集时间与当前点云图像的采集时间最近的点云图像。即,历史点云图像可能不是在当前点云图像之前,最新采集的点云图像,而是在含有目标对象的点云图像中,与当前点云图像的采集时间最近的点云图像。在识别到当前点云图像中的目标对象后,查看各帧已经采集过的点云图像中是否存在目标对象,若是,则将存在目标对象的点云图像确定为历史点云图像。若有多张点云图像中存在目标对象,则将这些点云图像中,采集时间最晚的点云图像确定为历史点云图像。在确定历史点云图像中是否存在目标对象时,可以将当前点云图像中目标对象的包围框由雷达坐标系转换为世界坐标系,以及将历史点云图像中的包围框由雷达坐标系转换为世界坐标系。然后通过预设的匈牙利匹配算法将目标对象与历史点云图像中的对象进行匹配,从而确定出历史点云图像。
历史点云图像是已经采集过的点云图像,在历史时间采集到历史点云图像后,也会对历史点云图像进行目标对象的识别。因此,在确定历史点云图像后,可以直接获取到历史点云图像中目标对象的包围框。在每次采集到当前点云图像后,都会对当前点云图像上的包围框的尺寸信息进行存储。因此,可以直接获取历史点云图像中,框选住目标对象的包围框的尺寸信息。
本实施例中,该方法还包括:若当前点云图像为第一帧含有目标对象的点云图像,则确定目标对象的预测速度为预设的初始值。
具体的,若不存在含有目标对象的历史点云图像,则确定当前点云图像为第一帧含有目标对象的点云图像。第一帧含有目标对象的点云图像可能是激光雷达的第一帧点云图像,也可能不是第一帧点云图像。
预先设置一个预测速度的初始值,例如,初始值可以是0。若确定当前点云图像为第一帧含有目标对象的点云图像,则将该初始值赋值给目标对象,即,确定目标对象的预测速度为预设的初始值。本实施例可以对目标对象进行跟踪,不断地预测目标对象的速度,如果第一次发现了目标对象,可以对目标对象进行初始化。例如,将目标对象的状态量设置为初始值,并初始化状态量的协方差等。状态量可以包括包围框的中心点坐标和预测速度等,初始值可以是零向量,初始化的协方差可以是单位矩阵。
这样设置的有益效果在于,对第一次检测到的目标对象进行初始化设置,便于后续再次检测到目标对象时进行计算,避免数据混乱,提高计算的效率和精度。
本实施例中,从已经采集过的点云图像中获取当前点云图像的上一帧点云图像,为第一点云图像;确定第一点云图像的包围框中的对象,若第一点云图像的包围框中的对象为目标对象,则确定第一点云图像为历史点云图像。
具体的,若当前点云图像不是第一帧出现目标对象的点云图像,则可以先从采集过的点云图像中获取当前点云图像的上一帧点云图像,作为第一点云图像,即,获取采集时间距离当前时间最近的历史点云图像。在第一点云图像上,已经采用了包围框对图像上的对象进行框选,确定第一点云图像的包围框中的对象。例如,第一点云图像上有一辆车和一个行人,则第一点云图像上可以有两个包围框,分别框住了车辆和行人。
判断第一点云图像的包围框中的对象与当前点云图像中的目标对象是否一致,例如,通过预设的匈牙利匹配算法将目标对象与第一点云图像中的各个对象进行匹配,对第一点云图像中的每个对象,都可以得到一个匹配分数。若存在匹配分数超过预设的分数阈值,则确定第一点云图像的包围框中的对象与目标对象一致;若不超过,则确定第一点云图像的包围框中的对象与目标对象不一致。若确定第一点云图像的包围框中的对象与目标对象一致,则确定第一点云图像是距离当前点云图像最近的且含有目标对象的点云图像,即第一点云图像就是历史点云图像。
这样设置的有益效果在于,可以快速找到历史点云图像,保证历史点云图像中的对象就是目标对象,提高速度预测的效率。
本实施例中,若第一点云图像的包围框中的对象与目标对象不一致,则获取第一点云图像的上一帧点云图像,为第二点云图像;确定第二点云图像的包围框中的对象,若第二点云图像的包围框中的对象与目标对象一致,则确定第二点云图像为历史点云图像。
具体的,若确定第一点云图像的包围框中的对象与目标对象不一致,则确定第一点云图像不是历史点云图像,需要继续从采集过的点云图像中进行查找。从采集过的点云图像中获取第一点云图像的上一帧点云图像,作为第二点云图像,即,第二点云图像是当前点云图像的上一帧的上一帧点云图像。继续确定第二点云图像的包围框中的对象,判断第二点云图像的包围框中的对象与目标对象是否一致。若是,则确定第二点云图像是历史点云图像;若否,则再查找第二点云图像的上一帧点云图像,直至找到含有目标对象的点云图像。若直至到采集时间最早的点云图像中都没有目标对象,则确定当前点云图像是第一次出现目标对象的点云图像,确定在当前点云图像中,目标对象的预测速度为预设的初始值。
这样设置的有益效果在于,可以按照时间顺序依次查找历史点云图像,避免遗漏采集时间更近的历史点云图像,提高历史点云图像的确定精度,进而提高当前点云图像中,目标对象的速度预测精度。
S102、根据目标对象的包围框中至少两个物理位置所对应的运动速度,确定目标对象的观测速度。
示例性地,在得到各个物理位置所对应的运动速度后,可以根据多个运动速度,确定出一个观测速度。例如,可以确定多个运动速度的平均值或中值,作为观测速度。也可以从多个运动速度中,选择其中一个运动速度,作为观测速度。
在得到观测速度后,还可以确定当前点云图像中目标对象的包围框中的点云数量和历史点云图像中目标对象的包围框中的点云数量。确定点云数量的变化比率,例如,可以将当前点云图像中目标对象的包围框中的点云数量和历史点云图像中目标对象的包围框中的点云数量进行相减,得到点云数量的差值。将点云数量的差值除以当前点云图像中目标对象的包围框中的点云数量,得到点云数量的变化比率。在查找历史点云图像时,采用了匈牙利匹配算法,计算出了当前点云图像中的目标对象与历史点云图像中的目标对象之间的匹配分数。将匹配分数和点云数量的变化比率进行比较,选择较小值,作为更新质量这一参数,并进行存储。更新质量可以作为衡量当前点云图像的速度更新质量的指标,便于后续使用。
S103、获取目标对象在历史点云图像中的历史预测速度。
示例性地,在确定出每一帧当前点云图像的预测速度后,都会将预测速度和对应的点云图像进行关联存储。在每得到新的当前点云图像后,前一时刻采集的当前点云图像都可能变为历史点云图像,各历史点云图像上的对象的预测速度都进行过了计算和存储。因此,可以直接查找预先存储的与历史点云图像上的目标对象所对应的预测速度,作为历史预测速度。
S104、根据观测速度和历史预测速度,确定目标对象在当前点云图像中的预测速度。
示例性地,在得到观测速度和历史预测速度后,可以对观测速度和历史预测速度进行计算,将计算出的结果,确定为当前点云图像中,目标对象的预测速度。将当前点云图像中,目标对象的预测速度进行存储。例如,可以计算观测速度和历史预测速度的平均值,作为目标对象的预测速度。
为了减小观测噪声对目标对象速度测量造成的影响,本实施例可以采用卡尔曼滤波器作为速度更新方法。在卡尔曼滤波器中,对于行人和车辆等目标对象,可以使用匀速运动模型和匀加速运动模型进行状态量的预测,状态量可以包括包围框中心点的坐标位置和预测速度。由于卡尔曼滤波器为工程上的经典滤波方法,本实施例不进行卡尔曼滤波器的详细展开。
本实施例中,在得到预测速度后,可以将预测速度与历史预测速度进行相减,得到速度变化量。根据速度变化量对预测速度进行调整,例如,可以将速度变化量与预先存储的更新质量相乘,作为速度增益。根据速度增益和历史预测速度,计算出新的预测速度,实现对预测速度的调整。还可以增加一个增益判断条件,在得到速度增益后,判断速度增益是否满足增益判断条件。若是,则根据速度增益和历史预测速度,计算出新的预测速度;若否,则对速度增益进行调整,得到新的速度增益,再根据新的速度增益和历史预测速度,得到新的预测速度。例如,增益判断条件中可以预设一个增益阈值,判断速度增益是否大于增益阈值,若是,则确定速度增益不满足增益判断条件;若否,则确定速度增益满足增益判断条件。可以预设速度增益的调整公式,例如,当速度增益不满足增益判断条件时,可以根据速度增益的调整公式,对速度增益进行适当减小,得到新的速度增益。
本实施例中,根据观测速度和历史预测速度,确定目标对象在当前点云图像中的预测速度,包括:若在当前点云图像之前,含有目标对象的点云图像有至少两帧,或者观测速度小于预设的速度阈值,则根据观测速度和历史预测速度,基于预设的加权计算公式,确定目标对象在当前点云图像中的预测速度。
具体的,在根据观测速度和历史预测速度计算预测速度时,若确定当前点云图像不是第一帧出现目标对象的点云图像,则一定存在至少一帧含有目标对象的点云图像。预先设置一个速度阈值,例如,速度阈值为2.8m/s。再预设一个加权计算公式,加权计算公式用于根据观测速度和历史预测速度,计算预测速度。例如,可以预设观测速度和历史预测速度的权重,将观测速度和历史预测速度进行加权求和。
若在当前点云图像之前,含有目标对象的点云图像有至少两帧,或者观测速度小于预设的速度阈值,则根据观测速度和历史预测速度,基于预设的加权计算公式,计算出当前点云图像中,目标对象的预测速度。即,在当前点云图像至少是第三次出现目标对象的点云图像,或者观测速度小于速度阈值时,正常参与卡尔曼滤波更新预测速度的状态量,即,根据观测速度和历史预测速度,确定当前点云图像中,目标对象的预测速度。
这样设置的有益效果在于,目标对象出现的次数不同,预测速度的确定方式也不同,实现对不同时刻目标对象的预测速度进行精确计算,提高预测速度的确定精度。
本实施例中,该方法还包括:若在当前点云图像之前,含有目标对象的点云图像只有一帧,且观测速度等于或大于预设的速度阈值,则将目标对象的观测速度,确定为目标对象的预测速度。
具体的,若当前点云图像是第二帧出现目标对象的点云图像,即在当前点云图像之前,含有目标对象的点云图像只有一帧,且同时满足观测速度等于或大于预设的速度阈值,则不需要根据观测速度和历史预测速度,计算目标对象的预测速度。将目标对象的观测速度,赋值给当前点云图像中,目标对象的预测速度,即根据观测速度,确定目标对象的预测速度。确保滤波器被正确初始化,同时将目标对象的状态量协方差设置为单位矩阵。
只有在含有目标对象的点云图像只有一帧,且观测速度等于或大于预设的速度阈值时,直接将目标对象的观测速度,确定为目标对象的预测速度。其他情况均是根据观测速度和历史预测速度,确定当前点云图像中,目标对象的预测速度。
这样设置的有益效果在于,分情况对预测速度进行确定,有效提高预测速度的确定精度。
本申请实施例提供的一种基于激光雷达的速度确定方法,通过确定当前点云图像的采集时间、历史点云图像的采集时间、当前点云图像中目标对象的包围框的尺寸信息以及历史点云图像中目标对象的包围框的尺寸信息,计算包围框中多个物理位置所对应的运动速度。对多个运动速度进行综合考量,得到目标对象的观测速度。确定历史点云图像中,已经计算过目标对象所对应的预测速度,作为历史预测速度。对观测速度和历史预测速度进行结合,确定当前点云图像中,目标对象的预测速度。解决了现有技术中,目标对象的速度预测存在错误的问题。通过确定观测速度,并结合观测速度和历史预测速度,实现对预测速度的精确计算,有效提高速度预测的精度,保证道路行驶的安全。
图2为本申请实施例提供的一种基于激光雷达的速度确定方法的流程示意图,该实施例是在上述实施例基础上的可选实施例。如图2示,该方法包括以下步骤:
S201、根据当前点云图像的图像信息和历史点云图像的图像信息,确定目标对象的包围框中至少两个物理位置所对应的运动速度;其中,物理位置包括中心点、质心点和角点。
示例性地,根据当前点云图像的采集时间和历史点云图像的采集时间,确定当前点云图像和历史点云图像的采集时间的时间差。即,获取当前点云图像的采集时间和历史点云图像的采集时间,将当前点云图像的采集时间和历史点云图像的采集时间相减,得到当前点云图像的采集时间和历史点云图像的采集时间之间的时间差。
本实施例中,尺寸信息可以包括包围框的质心点坐标,确定当前点云图像中目标对象的包围框的质心点坐标,和历史点云图像中目标对象的包围框的质心点坐标,根据这两个质心点坐标以及时间差,确定质心点的运动速度。
可以先根据当前点云图像中目标对象的包围框的质心点坐标和历史点云图像中目标对象的包围框的质心点坐标,确定质心点的位移距离。例如,将当前点云图像中目标对象的包围框的质心点坐标和历史点云图像中目标对象的包围框的质心点坐标相减,得到质心点的位移距离。再根据质心点的位移距离和时间差,确定质心点的运动速度。例如,将质心点的位移距离与时间相除。质心点的运动速度可以反映出当前点云图像中目标对象的包围框中的点云的整体运动趋势。
在确定质心点时,可以确定包围框中所有点云的坐标,坐标包括x轴的坐标值和y轴的坐标值。计算包围框中所有点云的x轴坐标的平均值,和y轴坐标的平均值,将x轴坐标的平均值和y轴坐标的平均值,确定为质心点的坐标。
本实施例中,尺寸信息还可以包括包围框的中心点坐标,获取当前点云图像中目标对象的包围框的中心点坐标和历史点云图像中目标对象的包围框的中心点坐标。根据当前点云图像中目标对象的包围框的中心点坐标、历史点云图像中目标对象的包围框的中心点坐标以及时间差,确定中心点的运动速度。
具体的,可以先根据当前点云图像中目标对象的包围框的中心点坐标和历史点云图像中目标对象的包围框的中心点坐标,确定中心点的位移距离。例如,将当前点云图像中目标对象的包围框的中心点坐标和历史点云图像中目标对象的包围框的中心点坐标相减,得到中心点的位移距离。再根据中心点的位移距离和时间差,确定目标对象的中心点速度。例如,将中心点的位移距离与时间差相除。
在确定中心点时,可以遍历包围框中的所有点云。预设一个参考坐标点,例如,参考指标点可以是坐标轴的原点。确定包围框中的各个点云与参考坐标点之间的距离,找到与参考坐标点距离最近的点云和距离最远的点云。根据距离最近的点云和距离最远的点云,确定包围框的中心点。例如,与参考坐标点距离最近的点云为,与参考坐标点距离最远的点云为/>,中心点的计算公式可以是/>。
质心点的运动速度和中心点的运动速度都是向量的表现形式,在得到质心点的运动速度和中心点的运动速度后,确定质心点的运动速度和中心点的运动速度之间的夹角。预先设置一个夹角阈值,例如,夹角阈值为90゜。若质心点的运动速度和中心点的运动速度之间的夹角大于预设的夹角阈值,即钝角时,则认为算出的中心点的运动速度不可信,保留质心点的运动速度,将中心点的运动速度置为0m/s。若质心点的运动速度和中心点的运动速度之间的夹角小于或等于预设的夹角阈值,即锐角或直角时,则保留计算出的质心点的运动速度和中心点的运动速度。
本实施例中,物理位置为角点,包围框上包括至少三个角点,角点用于表示包围框的转折点;根据当前点云图像的图像信息和历史点云图像的图像信息,确定目标对象的包围框中至少两个物理位置所对应的运动速度,包括:从至少三个角点中确定目标角点,根据当前点云图像的图像信息和历史点云图像的图像信息,确定目标角点的位移速度;确定当前点云图像的包围框中预设点的坐标和历史点云图像的包围框中预设点的坐标,得到预设点的位移方向;根据目标角点的位移速度在位移方向上的投影,确定目标角点的运动速度。
具体的,尺寸信息还可以包括包围框的角点坐标,包围框的形状为多边形,包括至少三个角点,角点用于表示包围框的转折点。例如,包围框为三角形,则有三个角点;包围框为四边形,则有四个角点。从多个角点中选择一个角点作为目标角点,两个包围框的目标角点的位置相对应。例如,两个包围框的目标角点都是靠近车头左前方的角点。确定当前点云图像中的目标角点,即确定了历史点云图像中的目标角点。可以预设当前点云图像上的坐标原点,例如,坐标原点可以是安装有激光雷达的自车所在的点。确定各个角点与坐标原点之间的距离,选择与坐标原点距离最近的角点,作为目标角点。即,确定目标对象距离自车位置最近的角点,这样的好处是保证了最近点变化的平稳性。最近点的确定可以是找到离坐标原点欧式距离最近的角点。
确定当前点云图像中目标对象的包围框中目标角点的坐标和历史点云图像中目标对象的包围框中所对应的目标角点的坐标,将当前点云图像中目标对象的包围框中目标角点的坐标和历史点云图像中目标对象的包围框中目标角点的坐标相减,得到当前点云图像中目标对象的包围框中目标角点和历史点云图像中目标对象的包围框中目标角点之间的位移距离。将目标角点的位移距离除以时间差,得到当前点云图像中,目标角点的位移速度。这样设置的有益效果在于,确定距离自车最近的角点作为目标角点,保证目标角点作为最近点的变化的平稳性,即角点运动速度的平稳性。有效减小计算误差,提高计算精度。
在得到目标角点的位移速度后,需要对目标角点的位移速度进行进一步处理,才能得到目标角点的运动速度。
确定当前点云图像中目标对象的包围框中预设点的坐标和历史点云图像中目标对象的包围框中预设点的坐标,预设点可以是包围框的中心点或质心点等。使用当前点云图像中目标对象的包围框的预设点减去历史点云图像中目标对象的包围框的预设点,得到预设点的位移方向。将预设点的位移方向,确定为目标角点的运动速度的投影方向。将计算出来的目标角点的位移速度在投影方向上进行投影,即确定目标角点的位移速度在位移方向上的投影,将投影量确定为当前点云图像中,目标对象的运动速度。图3为目标角点的速度投影示意图。图3中,历史点云图像中目标对象的包围框302中的预设点303指向当前点云图像中目标对象的包围框301中的预设点303的方向,为预设点303的位移方向。历史点云图像中目标对象的包围框302中的目标角点304指向当前点云图像中目标对象的包围框301中的目标角点304的方向,为目标角点304的位移方向。历史点云图像中目标对象的包围框302中的预设点303所指的实线箭头方向,以及当前点云图像中目标对象的包围框301中的预设点303所指的实线箭头方向为目标对象的运动方向。将两个目标角点304之间所表示的位移速度向量投影在两个预设点303所表示的位移方向上,得到目标角点的运动速度。
这样设置的有益效果在于,通过进行投影,能够计算出和预设点的运动方向一致的位移速度分量,从而利用位移方向更好地约束速度变化,提高计算的稳定性。
本实施例中,确定当前点云图像的包围框中预设点的坐标和历史点云图像的包围框中预设点的坐标,包括:确定当前点云图像的包围框和历史点云图像的包围框之间的尺寸变化幅度;其中,尺寸变化幅度包括长度变化幅度和宽度变化幅度中的至少一项;若尺寸变化幅度满足预设的幅度阈值条件,则确定预设点为包围框的中心点;确定当前点云图像的包围框的中心点的坐标和历史点云图像的包围框的中心点的坐标。
具体的,根据当前点云图像中目标对象的包围框和历史点云图像中目标对象的包围框的尺寸信息,确定当前点云图像中目标对象的包围框和历史点云图像中目标对象的包围框之间的尺寸变化幅度。例如,可以确定当前点云图像中目标对象的包围框和历史点云图像中目标对象的包围框的面积变化幅度,作为尺寸变化幅度。采用当前点云图像中目标对象的包围框和历史点云图像中目标对象的包围框的面积差值,除以当前点云图像中目标对象的包围框的面积,得到面积变化幅度。
尺寸信息中还可以包括包围框的长度和宽度,尺寸变化幅度可以包括长度变化幅度和宽度变化幅度等。确定当前点云图像中目标对象的包围框的长度和宽度,以及历史点云图像中目标对象的包围框的长度和宽度。可以将当前点云图像中目标对象的包围框与历史点云图像中目标对象的包围框的长度差值,除以当前点云图像中目标对象的包围框的长度,得到长度变化幅度;将当前点云图像中目标对象的包围框与历史点云图像中目标对象的包围框的宽度差值,除以当前点云图像中目标对象的包围框的宽度,得到宽度变化幅度。预先设置幅度阈值条件,例如,幅度阈值条件中可以设置有幅度阈值,若尺寸变化幅度等于或大于预设的幅度阈值,则认为尺寸变化幅度不满足幅度阈值条件。幅度阈值可以是0.1。可以设置一个幅度阈值条件,也可以针对长度变化幅度和宽度变化幅度分别设置一个幅度阈值条件。
判断尺寸变化幅度是否满足预设的幅度阈值条件,若是,则确定预设点为包围框的中心点,即确定当前点云图像中目标对象的包围框的中心点的坐标和历史点云图像中目标对象的包围框的中心点的坐标。将当前点云图像中目标对象的包围框的中心点的坐标减去历史点云图像中目标对象的包围框中心点的坐标,得到中心点的位移方向。例如,如果长度和宽度的变化幅度均小于0.1的幅度阈值,则说明检测结果变化平稳,此时使用当前点云图像中目标对象的包围框的中心点坐标减去历史点云图像中目标对象的包围框的中心点坐标作为投影方向。
这样设置的有益效果在于,通过进行变化幅度的判断,可以确定目标对象的识别是否稳定,计算出和中心点运动方向一致的角点的运动速度分量,利用位移方向更好地约束速度的变化,提高预测速度的确定精度。
本实施例中,该方法还包括:若尺寸变化幅度不满足预设的幅度阈值条件,则确定预设点为包围框的质心点;确定当前点云图像的包围框的质心点的坐标和历史点云图像的包围框的质心点的坐标。
具体的,若尺寸变化幅度不满足预设的幅度阈值条件,例如,长度变化幅度不满足幅度阈值条件,或者宽度变化幅度不满足幅度阈值条件,则确定预设点为包围框的质心点。获取当前点云图像中目标对象的包围框的质心点的坐标和历史点云图像中目标对象的包围框的质心点的坐标,将当前点云图像中目标对象的包围框中的质心点坐标减去历史点云图像中目标对象的包围框中的质心点坐标,得到质心点的位移方向。
这样设置的有益效果在于,分情况确定预设点,提高确定预设点的灵活性,计算出和目标对象质心点运动方向一致的角点的运动速度的分量,利用位移方向更好地约束速度变化,提高预测速度的确定精度。
本实施例中,对质心点的运动速度、中心点的运动速度和角点的运动速度这三者的计算顺序不做具体限定。
S202、根据质心点的运动速度、中心点的运动速度以及角点的运动速度,确定目标对象的观测速度。
示例性地,在得到质心点的运动速度、中心点的运动速度以及角点的运动速度后,根据这三种速度,确定目标对象的观测速度。例如,可以计算这三种速度的平均值,作为观测速度。
由于连续两帧点云图像的间隔时间较短,速度变化应当具有连续性,因此利用已有的历史点云图像的预测速度和当前计算出来的三种速度计算增益。在这三种计算出的增益中,挑选出最小值的增益所对应的速度,将其作为观测速度。即,可以从质心速度、中心点速度以及角点速度中,挑选一个数值作为观测速度。还可以通过当前点云图像中目标对象的包围框和历史点云图像中目标对象的包围框中点云数量的变化情况,计算出点云数量的变化比率。并将变化比率和匹配时的匹配分数进行比较,选择较小的那个值保存为更新质量,便于后续使用。
本实施例利用包围框的质心点、中心点以及最近的角点确定观测速度,同时根据运动速度的增益和点云数量变化评估三种速度的质量,选择最优的速度作为观测速度,逐帧完成目标对象的预测速度的更新。广泛适用于各种速度测量场景,大幅度提高了速度预测的稳定性和精度,对于不同场景和不同车辆类型均有良好的测速效果,具有高效、高精度和鲁棒性强等特点,极大地提升了车辆自动驾驶的感知能力。
S203、获取目标对象在历史点云图像中的历史预测速度。
示例性地,本步骤可以参见上述步骤S103,不再赘述。
S204、根据观测速度和历史预测速度,确定目标对象在当前点云图像中的预测速度。
示例性地,本步骤可以参见上述步骤S104,不再赘述。
本申请实施例提供的一种基于激光雷达的速度确定方法,通过确定当前点云图像的采集时间、历史点云图像的采集时间、当前点云图像中目标对象的包围框的尺寸信息以及历史点云图像中目标对象的包围框的尺寸信息,计算包围框中多个物理位置所对应的运动速度。对多个运动速度进行综合考量,得到目标对象的观测速度。确定历史点云图像中,已经计算过目标对象所对应的预测速度,作为历史预测速度。对观测速度和历史预测速度进行结合,确定当前点云图像中,目标对象的预测速度。解决了现有技术中,目标对象的速度预测存在错误的问题。通过确定观测速度,并结合观测速度和历史预测速度,实现对预测速度的精确计算,有效提高速度预测的精度,保证道路行驶的安全。
图4为本申请实施例提供的一种基于激光雷达的速度确定装置的结构框图。为了便于说明,仅示出了与本公开实施例相关的部分。参照图4,该装置包括:运动速度确定模块401、观测速度确定模块402、历史预测速度确定模块403和预测速度确定模块404。
运动速度确定模块401,用于根据当前点云图像的图像信息和历史点云图像的图像信息,确定目标对象的包围框中至少两个物理位置所对应的运动速度;其中,所述当前点云图像和所述历史点云图像中均含有所述目标对象,所述图像信息包括图像的采集时间和图像中目标对象的包围框的尺寸信息;所述物理位置为所述包围框中预先设定的图像坐标点;
观测速度确定模块402,用于根据所述目标对象的包围框中至少两个物理位置所对应的运动速度,确定所述目标对象的观测速度;
历史预测速度确定模块403,用于获取目标对象在所述历史点云图像中的历史预测速度;
预测速度确定模块404,用于根据所述观测速度和历史预测速度,确定所述目标对象在所述当前点云图像中的预测速度。
一个示例中,该装置还包括:
当前图像获取模块,用于获取当前点云图像,采用预设形状的包围框对所述当前点云图像中的目标对象进行框选;
信息确定模块,用于将所述当前点云图像的采集时间和所述当前点云图像中目标对象的包围框的尺寸信息,确定为所述当前点云图像的图像信息;
历史图像获取模块,用于获取历史点云图像,将所述历史点云图像的采集时间和所述历史点云图像中目标对象的包围框的尺寸信息,确定为所述历史点云图像的图像信息。
一个示例中,物理位置包括中心点、质心点和角点中的至少两项。
一个示例中,物理位置为角点,所述包围框上包括至少三个角点,所述角点用于表示包围框的转折点;
运动速度确定模块401,包括:
位移速度确定单元,用于从至少三个角点中确定目标角点,根据当前点云图像的图像信息和历史点云图像的图像信息,确定所述目标角点的位移速度;
位移方向确定单元,用于确定所述当前点云图像的包围框中预设点的坐标和所述历史点云图像的包围框中预设点的坐标,得到所述预设点的位移方向;
角点速度确定单元,用于根据所述目标角点的位移速度在所述位移方向上的投影,确定所述目标角点的运动速度。
一个示例中,位移方向确定单元,具体用于:
确定所述当前点云图像的包围框和所述历史点云图像的包围框之间的尺寸变化幅度;其中,所述尺寸变化幅度包括长度变化幅度和宽度变化幅度中的至少一项;
若所述尺寸变化幅度满足预设的幅度阈值条件,则确定所述预设点为包围框的中心点;
确定所述当前点云图像的包围框的中心点的坐标和所述历史点云图像的包围框的中心点的坐标。
一个示例中,位移方向确定单元,还具体用于:
若所述尺寸变化幅度不满足预设的幅度阈值条件,则确定所述预设点为包围框的质心点;
确定所述当前点云图像的包围框的质心点的坐标和所述历史点云图像的包围框的质心点的坐标。
一个示例中,预测速度确定模块404,具体用于:
若在当前点云图像之前,含有所述目标对象的点云图像有至少两帧,或者所述观测速度小于预设的速度阈值,则根据所述观测速度和历史预测速度,基于预设的加权计算公式,确定目标对象在所述当前点云图像中的预测速度。
一个示例中,该装置还包括:
速度赋值模块,用于若在当前点云图像之前,含有所述目标对象的点云图像只有一帧,且所述观测速度等于或大于预设的速度阈值,则将所述目标对象的观测速度,确定为所述目标对象的预测速度。
一个示例中,该装置还包括:
初始化模块,用于若所述当前点云图像为第一帧含有目标对象的点云图像,则确定所述目标对象的预测速度为预设的初始值。
图5为本申请实施例提供的一种电子设备的结构框图。如图5所示,电子设备包括:存储器51,处理器52;存储器51;用于存储处理器52可执行指令的存储器。
其中,处理器52被配置为执行如上述实施例提供的方法。
电子设备还包括接收器53和发送器54。接收器53用于接收其他设备发送的指令和数据,发送器54用于向外部设备发送指令和数据。
图6是根据一示例性实施例示出的一种电子设备的结构框图,该设备可以是移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理或机器人等。
设备600可以包括以下一个或多个组件:处理组件602,存储器604,电源组件606,多媒体组件608,音频组件610,输入/输出(I/ O)接口612,传感器组件614,以及通信组件616。
处理组件602通常控制设备600的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件602可以包括一个或多个处理器620来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件602可以包括一个或多个模块,便于处理组件602和其他组件之间的交互。例如,处理组件602可以包括多媒体模块,以方便多媒体组件608和处理组件602之间的交互。
存储器604被配置为存储各种类型的数据以支持在设备600的操作。这些数据的示例包括用于在设备600上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器604可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电源组件606为设备600的各种组件提供电力。电源组件606可以包括电源管理系统,一个或多个电源,及其他与为设备600生成、管理和分配电力相关联的组件。
多媒体组件608包括在所述设备600和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件608包括一个前置摄像头和/或后置摄像头。当设备600处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件610被配置为输出和/或输入音频信号。例如,音频组件610包括一个麦克风(MIC),当设备600处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器604或经由通信组件616发送。在一些实施例中,音频组件610还包括一个扬声器,用于输出音频信号。
I/ O接口612为处理组件602和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件614包括一个或多个传感器,用于为设备600提供各个方面的状态评估。例如,传感器组件614可以检测到设备600的打开/关闭状态,组件的相对定位,例如所述组件为设备600的显示器和小键盘,传感器组件614还可以检测设备600或设备600一个组件的位置改变,用户与设备600接触的存在或不存在,设备600方位或加速/减速和设备600的温度变化。传感器组件614可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件614还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件614还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
通信组件616被配置为便于设备600和其他设备之间有线或无线方式的通信。设备600可以接入基于通信标准的无线网络,如WiFi,2G或3G,或它们的组合。在一个示例性实施例中,通信组件616经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件616还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,设备600可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述方法。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器604,上述指令可由设备600的处理器620执行以完成上述方法。例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
一种非临时性计算机可读存储介质,当该存储介质中的指令由终端设备的处理器执行时,使得终端设备能够执行上述终端设备的基于激光雷达的速度确定方法。
本申请还公开了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现如本实施例中所述的方法。
本申请以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本申请的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或电子设备上执行。
在本申请的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据电子设备)、或者包括中间件部件的计算系统(例如,应用电子设备)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和电子设备。客户端和电子设备一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-电子设备关系的计算机程序来产生客户端和电子设备的关系。电子设备可以是云电子设备,又称为云计算电子设备或云主机,是云计算服务体系中的一项主机产品,以解决了传统物理主机与VPS服务("Virtual Private Server",或简称 "VPS")中,存在的管理难度大,业务扩展性弱的缺陷。电子设备也可以为分布式系统的电子设备,或者是结合了区块链的电子设备。应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本申请公开的技术方案所期望的结果,本文在此不进行限制。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本申请的真正范围和精神由下面的权利要求书指出。
应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求书来限制。
Claims (12)
1.一种基于激光雷达的速度确定方法,其特征在于,包括:
根据当前点云图像的图像信息和历史点云图像的图像信息,确定目标对象的包围框中至少两个物理位置所对应的运动速度;其中,所述当前点云图像和所述历史点云图像中均含有所述目标对象,所述图像信息包括图像的采集时间和图像中目标对象的包围框的尺寸信息;所述物理位置为所述包围框中预先设定的图像坐标点;所述物理位置包括中心点、质心点和角点中的至少两项;
在所述目标对象的包围框中至少两个物理位置所对应的运动速度中,确定所述目标对象的观测速度;
获取所述目标对象在所述历史点云图像中的历史预测速度;
根据所述观测速度和历史预测速度,确定所述目标对象在所述当前点云图像中的预测速度。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取当前点云图像,采用预设形状的包围框对所述当前点云图像中的目标对象进行框选;
将所述当前点云图像的采集时间和所述当前点云图像中目标对象的包围框的尺寸信息,确定为所述当前点云图像的图像信息;
获取历史点云图像,将所述历史点云图像的采集时间和所述历史点云图像中目标对象的包围框的尺寸信息,确定为所述历史点云图像的图像信息。
3.根据权利要求1所述的方法,其特征在于,所述物理位置为角点,所述包围框上包括至少三个角点,所述角点用于表示包围框的转折点;
根据当前点云图像的图像信息和历史点云图像的图像信息,确定目标对象的包围框中至少两个物理位置所对应的运动速度,包括:
从至少三个角点中确定目标角点,根据当前点云图像的图像信息和历史点云图像的图像信息,确定所述目标角点的位移速度;
确定所述当前点云图像的包围框中预设点的坐标和所述历史点云图像的包围框中预设点的坐标,得到所述预设点的位移方向;
根据所述目标角点的位移速度在所述位移方向上的投影,确定所述目标角点的运动速度。
4.根据权利要求3所述的方法,其特征在于,确定所述当前点云图像的包围框中预设点的坐标和所述历史点云图像的包围框中预设点的坐标,包括:
确定所述当前点云图像的包围框和所述历史点云图像的包围框之间的尺寸变化幅度;其中,所述尺寸变化幅度包括长度变化幅度和宽度变化幅度中的至少一项;
若所述尺寸变化幅度满足预设的幅度阈值条件,则确定所述预设点为包围框的中心点;
确定所述当前点云图像的包围框的中心点的坐标和所述历史点云图像的包围框的中心点的坐标。
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
若所述尺寸变化幅度不满足预设的幅度阈值条件,则确定所述预设点为包围框的质心点;
确定所述当前点云图像的包围框的质心点的坐标和所述历史点云图像的包围框的质心点的坐标。
6.根据权利要求1所述的方法,其特征在于,根据所述观测速度和历史预测速度,确定所述目标对象在所述当前点云图像中的预测速度,包括:
若在当前点云图像之前,含有所述目标对象的点云图像有至少两帧,或者所述观测速度小于预设的速度阈值,则根据所述观测速度和历史预测速度,基于预设的加权计算公式,确定所述目标对象在所述当前点云图像中的预测速度。
7.根据权利要求6所述的方法,其特征在于,所述方法还包括:
若在当前点云图像之前,含有所述目标对象的点云图像只有一帧,且所述观测速度等于或大于预设的速度阈值,则将所述目标对象的观测速度,确定为所述目标对象的预测速度。
8.根据权利要求1-7中任一项所述的方法,其特征在于,所述方法还包括:
若所述当前点云图像为第一帧含有目标对象的点云图像,则确定所述目标对象的预测速度为预设的初始值。
9.一种基于激光雷达的速度确定装置,其特征在于,包括:
运动速度确定模块,用于根据当前点云图像的图像信息和历史点云图像的图像信息,确定目标对象的包围框中至少两个物理位置所对应的运动速度;其中,所述当前点云图像和所述历史点云图像中均含有所述目标对象,所述图像信息包括图像的采集时间和图像中目标对象的包围框的尺寸信息;所述物理位置为所述包围框中预先设定的图像坐标点;所述物理位置包括中心点、质心点和角点中的至少两项;
观测速度确定模块,用于在所述目标对象的包围框中至少两个物理位置所对应的运动速度中,确定所述目标对象的观测速度;
历史预测速度确定模块,用于获取所述目标对象在所述历史点云图像中的历史预测速度;
预测速度确定模块,用于根据所述观测速度和历史预测速度,确定所述目标对象在所述当前点云图像中的预测速度。
10.一种电子设备,其特征在于,包括:处理器,以及与所述处理器通信连接的存储器;
所述存储器存储计算机执行指令;
所述处理器执行所述存储器存储的计算机执行指令,以实现如权利要求1-8中任一项所述的基于激光雷达的速度确定方法。
11.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如权利要求1-8任一项所述的基于激光雷达的速度确定方法。
12.一种计算机程序产品,其特征在于,包括计算机程序,该计算机程序被处理器执行时实现权利要求1-8中任一项所述的基于激光雷达的速度确定方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310819844.8A CN116540252B (zh) | 2023-07-06 | 2023-07-06 | 基于激光雷达的速度确定方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310819844.8A CN116540252B (zh) | 2023-07-06 | 2023-07-06 | 基于激光雷达的速度确定方法、装置、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116540252A true CN116540252A (zh) | 2023-08-04 |
CN116540252B CN116540252B (zh) | 2023-09-26 |
Family
ID=87449204
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310819844.8A Active CN116540252B (zh) | 2023-07-06 | 2023-07-06 | 基于激光雷达的速度确定方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116540252B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114026463A (zh) * | 2020-05-15 | 2022-02-08 | 百度时代网络技术(北京)有限公司 | 基于部分点云的行人速度估计方法 |
CN114623824A (zh) * | 2022-02-07 | 2022-06-14 | 北京三快在线科技有限公司 | 一种确定障碍物速度的方法及装置 |
CN114708585A (zh) * | 2022-04-15 | 2022-07-05 | 电子科技大学 | 一种基于注意力机制的毫米波雷达与视觉融合的三维目标检测方法 |
CN114815912A (zh) * | 2021-01-28 | 2022-07-29 | 北京猎户星空科技有限公司 | 云台控制方法、装置和机器人设备 |
CN114966736A (zh) * | 2022-05-26 | 2022-08-30 | 苏州轻棹科技有限公司 | 一种基于点云数据进行目标速度预测的处理方法 |
CN116165652A (zh) * | 2021-11-25 | 2023-05-26 | 中国移动通信有限公司研究院 | 一种目标跟踪方法、装置及通信设备 |
CN116309685A (zh) * | 2023-05-19 | 2023-06-23 | 北京航天时代光电科技有限公司 | 基于视频拼接的多摄像机协同游泳运动测速方法及系统 |
RU2798739C1 (ru) * | 2022-12-27 | 2023-06-23 | Автономная некоммерческая организация высшего образования "Университет Иннополис" | Способ трекинга объектов на этапе распознавания для беспилотных автомобилей |
-
2023
- 2023-07-06 CN CN202310819844.8A patent/CN116540252B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114026463A (zh) * | 2020-05-15 | 2022-02-08 | 百度时代网络技术(北京)有限公司 | 基于部分点云的行人速度估计方法 |
CN114815912A (zh) * | 2021-01-28 | 2022-07-29 | 北京猎户星空科技有限公司 | 云台控制方法、装置和机器人设备 |
CN116165652A (zh) * | 2021-11-25 | 2023-05-26 | 中国移动通信有限公司研究院 | 一种目标跟踪方法、装置及通信设备 |
CN114623824A (zh) * | 2022-02-07 | 2022-06-14 | 北京三快在线科技有限公司 | 一种确定障碍物速度的方法及装置 |
CN114708585A (zh) * | 2022-04-15 | 2022-07-05 | 电子科技大学 | 一种基于注意力机制的毫米波雷达与视觉融合的三维目标检测方法 |
CN114966736A (zh) * | 2022-05-26 | 2022-08-30 | 苏州轻棹科技有限公司 | 一种基于点云数据进行目标速度预测的处理方法 |
RU2798739C1 (ru) * | 2022-12-27 | 2023-06-23 | Автономная некоммерческая организация высшего образования "Университет Иннополис" | Способ трекинга объектов на этапе распознавания для беспилотных автомобилей |
CN116309685A (zh) * | 2023-05-19 | 2023-06-23 | 北京航天时代光电科技有限公司 | 基于视频拼接的多摄像机协同游泳运动测速方法及系统 |
Non-Patent Citations (1)
Title |
---|
张耀威 等: "基于图像与点云的三维障碍物检测", 计算机工程与设计, no. 04 * |
Also Published As
Publication number | Publication date |
---|---|
CN116540252B (zh) | 2023-09-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9865062B2 (en) | Systems and methods for determining a region in an image | |
US9953506B2 (en) | Alarming method and device | |
JP2021509515A (ja) | 測距方法、知能制御方法及び装置、電子機器ならびに記憶媒体 | |
US20210158560A1 (en) | Method and device for obtaining localization information and storage medium | |
CN109725329B (zh) | 一种无人车定位方法及装置 | |
EP3038345A1 (en) | Auto-focusing method and auto-focusing device | |
CN112291473B (zh) | 对焦方法、装置及电子设备 | |
US20220345621A1 (en) | Scene lock mode for capturing camera images | |
CN111860373B (zh) | 目标检测方法及装置、电子设备和存储介质 | |
CN110570465A (zh) | 实时定位与地图构建方法、装置及计算机可读存储介质 | |
CN114252886A (zh) | 障碍物的轮廓确定方法、装置、设备及存储介质 | |
CN110633336B (zh) | 激光数据搜索范围的确定方法、装置及存储介质 | |
CN110769162B (zh) | 电子设备及对焦方法 | |
CN116540252B (zh) | 基于激光雷达的速度确定方法、装置、设备及存储介质 | |
CN112148815B (zh) | 一种基于共享地图的定位方法及装置、电子设备和存储介质 | |
CN113065392A (zh) | 一种机器人的跟踪方法和装置 | |
WO2019233299A1 (zh) | 地图构建方法、装置及计算机可读存储介质 | |
CN113532468B (zh) | 一种导航方法和相关设备 | |
CN116934840A (zh) | 目标检测方法、装置、电子设备、存储介质和程序产品 | |
CN115015955B (zh) | 运动信息的确定方法、装置、设备、存储介质和程序产品 | |
US20240212199A1 (en) | Method and device for drawing spatial map, camera equipment and storage medium | |
CN110060355B (zh) | 界面显示方法、装置、设备及存储介质 | |
EP3889637A1 (en) | Method and device for gesture detection, mobile terminal and storage medium | |
CN117974772A (zh) | 视觉重定位方法、装置及存储介质 | |
CN117710779A (zh) | 稳定性系数的确定方法、装置、电子设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |