CN111539326B - 运动信息的确定方法、确定装置、存储介质和处理器 - Google Patents
运动信息的确定方法、确定装置、存储介质和处理器 Download PDFInfo
- Publication number
- CN111539326B CN111539326B CN202010328574.7A CN202010328574A CN111539326B CN 111539326 B CN111539326 B CN 111539326B CN 202010328574 A CN202010328574 A CN 202010328574A CN 111539326 B CN111539326 B CN 111539326B
- Authority
- CN
- China
- Prior art keywords
- moving body
- determining
- image
- point cloud
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本申请提供了一种运动信息的确定方法、确定装置、存储介质和处理器,该确定方法包括:采集同时显示有连续多帧3D点云的图像;根据图像确定图像中的各移动体的运动信息,运动信息包括运动轨迹,移动体为移动的人或物。该方法根据多帧3D点云确定移动体在图像上的对应各帧的位置,从而确定移动体的运动轨迹,即周边环境中移动的人或物的运动轨迹,便于交通工具进行规避,避免通过计算点云数据确定周边环境移动体的运动轨迹,简化了确定方法,提高了激光雷达确定移动体的运动轨迹的效率。
Description
技术领域
本申请涉及点云数据领域,具体而言,涉及一种运动信息的确定方法、确定装置、存储介质和处理器。
背景技术
现有技术中,无人驾驶领域中,需要通过自动驾驶汽车上方安装的激光雷达获取该车周围的情况,包括需要识别出该车周围的具体的运动物体和具体的静止物体,后续根据目标车辆周围的情况来确定自动驾驶汽车的行驶策略。
现有技术中,激光雷达确定物体的运动轨迹的方法通过点云数据计算目标物体与雷达的距离和角度,根据多个距离和角度确定目标物体的运动轨迹,点云数据较多导致计算过程较为复杂,效率较低。
在背景技术部分中公开的以上信息只是用来加强对本文所描述技术的背景技术的理解,因此,背景技术中可能包含某些信息,这些信息对于本领域技术人员来说并未形成在本国已知的现有技术。
发明内容
本申请的主要目的在于提供一种运动信息的确定方法、确定装置、存储介质和处理器,以解决现有技术中激光雷达确定物体的运动轨迹的方法效率较低的问题。
根据本发明实施例的一个方面,提供了一种运动信息的确定方法,包括:采集同时显示有连续多帧3D点云的图像;根据所述图像确定所述图像中的各移动体的运动信息,所述运动信息包括运动轨迹,所述移动体为移动的人或物。
进一步地,根据所述图像确定所述图像中的各移动体的运动信息,包括:根据所述图像,确定各所述移动体的大小;根据所述移动体的大小确定所述移动体在所述图像上的对应各帧的位置;根据所述移动体在所述图像上的对应各帧的位置,确定所述移动体的运动轨迹。
进一步地,根据所述移动体的大小确定所述移动体在所述图像上的对应各帧的位置,包括:根据所述移动体的大小确定所述移动体的中心在所述图像上的对应各帧的位置。
进一步地,根据所述移动体的大小确定所述移动体的中心在所述图像上的对应各帧的位置,包括:根据所述移动体的大小确定所述移动体在所述图像上的对应各帧的第一边界位置和第二边界位置,所述第二边界位置指向所述第一边界位置的方向与所述移动体的移动方向相同;根据所述移动体在所述图像上的对应各帧的所述第一边界位置和所述第二边界位置,确定所述移动体在所述图像上的对应各帧的位置。
进一步地,在采集同时显示有连续多帧3D点云的图像之后,在根据所述图像确定所述图像中的各移动体的运动信息之前,所述方法还包括:根据所述图像识别所述图像中的所述移动体和静止体,所述静止体为静止的人或者物。
进一步地,所述图像包括多个3D点云区域,根据所述图像识别所述图像中的所述移动体和静止体,包括:根据所述3D点云区域中点的疏密程度,识别所述3D点云区域对应的物或人为所述移动体或所述静止体。
进一步地,根据所述3D点云区域中点的疏密程度,识别所述3D点云区域对应的物或人为所述移动体或所述静止体,包括:在所述3D点云区域中点的平均密度小于预定阈值的情况下,确定所述3D点云区域对应的物或人为所述移动体;在所述3D点云区域中点的平均密度大于或者等于所述预定阈值的情况下,确定所述3D点云区域对应的物或人为所述静止体。
进一步地,根据所述3D点云区域中点的疏密程度,识别所述3D点云区域对应的物或人为所述移动体或所述静止体,包括:判断所述3D点云区域是否包括第一区域和第二区域,所述第一区域具有第一点密度,所述第二区域具有第二点密度,且所述第一点密度大于所述第二点密度,所述第一区域和所述第二区域相邻;在所述3D点云区域包括所述第一区域和所述第二区域的情况下,确定所述3D点云区域对应的物或人为所述移动体;在所述3D点云区域不包括所述第一区域和所述第二区域的情况下,确定所述3D点云区域对应的物或人为所述静止体。
进一步地,根据所述图像确定所述图像中的各移动体的运动信息之后,所述方法还包括:根据各所述移动体的运动信息,确定目标车辆的运动轨迹。
进一步地,根据各所述移动体的运动轨迹,确定目标车辆的运动轨迹,包括:利用各所述移动体的运动信息进行机器训练,得到训练模型;根据所述目标车辆的起始地以及目的地,采用所述训练模型确定所述目标车辆的运动轨迹。
进一步地,所述移动体包括目标车辆,根据所述图像确定所述图像中的各移动体的运动信息之后,所述方法还包括:根据各所述移动体的运动轨迹确定所述目标车辆在预定帧的运动轨迹是否合理。
进一步地,根据各所述移动体的运动轨迹确定所述目标车辆在预定帧的运动轨迹是否合理,包括:获取所述目标车辆在所述图像中的对应所述预定帧的位置;根据所述目标车辆在所述图像中的对应所述预定帧的位置,确定所述目标车辆在所述预定帧与周围的所述移动体以及静止体之间的距离;在所述距离大于预定阈值的情况下,确定所述目标车辆在预定帧的所述运动轨迹合理。
根据本发明实施例的另一个方面,提供了一种运动信息的确定装置,包括:采集单元,用于采集同时显示有连续多帧3D点云的图像;确定单元,用于根据所述图像确定所述图像中的各移动体的运动信息,所述运动信息包括运动轨迹,所述移动体为移动的人或物。
根据本发明实施例的再一个方面,提供了一种存储介质,所述存储介质包括存储的程序,其中,所述程序执行任意一种所述的方法。
根据本发明实施例的又一个方面,提供了一种处理器,所述处理器用于运行程序,其中,所述程序运行时执行任意一种所述的方法。
在本发明实施例中,上述确定方法中,首先采集同时显示有连续多帧3D点云的图像,然后根据该图像确定图像中的各移动体的运动信息,运动信息包括运动轨迹,移动体为移动的人或物。该方法根据多帧3D点云确定移动体在图像上的对应各帧的位置,从而确定移动体的运动轨迹,即周边环境中移动的人或物的运动轨迹,便于交通工具进行规避,避免通过计算点云数据确定周边环境移动体的运动轨迹,简化了确定方法,提高了激光雷达确定移动体的运动轨迹的效率。
附图说明
构成本申请的一部分的说明书附图用来提供对本申请的进一步理解,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1示出了根据本申请的一种实施例的运动信息的确定方法的流程图;以及
图2示出了根据本申请的一种实施例的运动信息的确定装置的示意图。
具体实施方式
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应该理解的是,当元件(诸如层、膜、区域、或衬底)描述为在另一元件“上”时,该元件可直接在该另一元件上,或者也可存在中间元件。而且,在说明书以及权利要求书中,当描述有元件“连接”至另一元件时,该元件可“直接连接”至该另一元件,或者通过第三元件“连接”至该另一元件。
正如背景技术中所说的,现有技术中的激光雷达确定物体的运动轨迹的方法效率较低,为了解决上述问题,本申请的一种典型的实施方式中,提供了一种运动信息的确定方法、确定装置、存储介质和处理器。
根据本申请的实施例,提供了一种运动信息的确定方法。
图1是根据本申请实施例的运动信息的确定方法的流程图。如图1所示,该方法包括以下步骤:
步骤S101,采集同时显示有连续多帧3D点云的图像;
步骤S102,根据上述图像确定上述图像中的各移动体的运动信息,上述运动信息包括运动轨迹,上述移动体为移动的人或物。
上述确定方法中,首先采集同时显示有连续多帧3D点云的图像,然后根据该图像确定图像中的各移动体的运动信息,运动信息包括运动轨迹,移动体为移动的人或物。该方法根据多帧3D点云确定移动体在图像上的对应各帧的位置,从而确定移动体的运动轨迹,即周边环境中移动的人或物的运动轨迹,便于交通工具进行规避,避免通过计算点云数据确定周边环境移动体的运动轨迹,简化了确定方法,提高了激光雷达确定移动体的运动轨迹的效率。
需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
本申请的一种实施例中,根据上述图像确定上述图像中的各移动体的运动信息,包括:根据上述图像,确定各上述移动体的大小;根据上述移动体的大小确定上述移动体在上述图像上的对应各帧的位置;根据上述移动体在上述图像上的对应各帧的位置,确定上述移动体的运动轨迹。具体地,根据图像确定移动体的大小,即确定移动体的标记点,并将移动体的标记点在图像上的对应各帧的位置确定为移动体在图像上的对应各帧的位置,从而将移动体的标记点在图像上的对应各帧的位置连接起来,即可得到移动体的运动轨迹,上述方法只需对标记点对应的点云数据进行计算,大大减少了计算量,进一步提高移动体的运动轨迹的识别效率。
本申请的一种具体的实施例中,根据上述移动体的大小确定上述移动体在上述图像上的对应各帧的位置,包括:根据上述移动体的大小确定上述移动体的中心在上述图像上的对应各帧的位置。具体地,将移动体的中心作为移动体的标记点,然后确定移动体的中心在上述图像上的对应各帧的位置,即得到移动体在图像上的对应各帧的位置。
本申请的一种实施例中,根据上述移动体的大小确定上述移动体的中心在上述图像上的对应各帧的位置,包括:根据上述移动体的大小确定上述移动体在上述图像上的对应各帧的第一边界位置和第二边界位置,上述第二边界位置指向上述第一边界位置的方向与上述移动体的移动方向相同;根据上述移动体在上述图像上的对应各帧的上述第一边界位置和上述第二边界位置,确定上述移动体在上述图像上的对应各帧的位置。该方法可以快速地找到移动体的中心在图像上的对应各帧的位置,进一步提高了激光雷达确定移动体的运动轨迹的效率。
本申请的一种实施例中,在采集同时显示有连续多帧3D点云的图像之后,在根据上述图像确定上述图像中的各移动体的运动信息之前,上述方法还包括:根据上述图像识别上述图像中的上述移动体和静止体,上述静止体为静止的人或者物。
本申请的一种实施例中,上述图像包括多个3D点云区域,根据上述图像识别上述图像中的上述移动体和静止体,包括:根据上述3D点云区域中点的疏密程度,识别上述3D点云区域对应的物或人为上述移动体或上述静止体。具体地,通常情况下,3D点云的图像中,相比于静止体,移动体对应的3D点云区域中点的密度较低,从而可以根据3D点云区域中点的疏密程度识别图像中的移动体和静止体。
本申请的一种实施例中,根据上述3D点云区域中点的疏密程度,识别上述3D点云区域对应的物或人为上述移动体或上述静止体,包括:在上述3D点云区域中点的平均密度小于上述预定阈值的情况下,确定上述3D点云区域对应的物或人为上述移动体;在上述3D点云区域中点的平均密度大于或者等于上述预定阈值的情况下,确定上述3D点云区域对应的物或人为上述静止体。具体地,上述方法将3D点云区域中点的平均密度与预定阈值进行比较,从而根据比较结果确定3D点云区域对应的物或人为移动体或静止体,并且还可以通过调整预定阈值来提高识别的准确度,本领域技术人员可以根据实际情况选择合适的预定阈值。
本申请的另一种实施例中,根据上述3D点云区域中点的疏密程度,识别上述3D点云区域对应的物或人为上述移动体或上述静止体,包括:判断上述3D点云区域是否包括第一区域和第二区域,上述第一区域具有第一点密度,上述第二区域具有第二点密度,且上述第一点密度大于上述第二点密度,上述第一区域和上述第二区域相邻;在上述3D点云区域包括上述第一区域和上述第二区域的情况下,确定上述3D点云区域对应的物或人为上述移动体;在上述3D点云区域不包括上述第一区域和上述第二区域的情况下,确定上述3D点云区域对应的物或人为上述静止体。
具体地,由于第一点密度大于第二点密度,且第一区域和第二区域相邻,在3D点云区域包括第一区域和第二区域的情况下,即3D点云区域包括点的密度不均匀的两块相邻的区域,从而可以确定3D点云区域对应的物或人为移动体,在3D点云区域不包括第一区域和第二区域的情况下,即3D点云区域中点的密度均匀,从而可以确定3D点云区域对应的物或人为静止体。
本申请的一种实施例中,根据上述图像确定上述图像中的各移动体的运动信息之后,上述方法还包括:根据各上述移动体的运动信息,确定目标车辆的运动轨迹。具体地,根据各移动体的运动信息规划目标车辆的运动轨迹,从而规避行人或者行驶的车辆,以避免产生交通事故。
本申请的一种实施例中,根据各上述移动体的运动轨迹,确定上述目标车辆的运动轨迹,包括:利用各上述移动体的运动信息进行机器训练,得到训练模型;根据上述目标车辆的起始地以及目的地,采用上述训练模型确定上述目标车辆的运动轨迹。具体地,通过机器训练得到训练模型,使得训练模型规划的目标车辆的运动轨迹更加合理,从而在保证不会发生交通事故的前提下,使得目标车辆沿规划的运动轨迹向目的地行驶。
本申请的一种实施例中,上述移动体包括目标车辆,根据上述图像确定上述图像中的各移动体的运动信息之后,上述方法还包括:根据各上述移动体的运动轨迹确定上述目标车辆在预定帧的运动轨迹是否合理。具体地,上述方法通过移动体的运动轨迹检验规划的运动路线的合理性,从而进一步降低事故发生概率,提高行车安全。
本申请的一种实施例中,根据各上述移动体的运动轨迹确定上述目标车辆在预定帧的运动轨迹是否合理,包括:获取上述目标车辆在上述图像中的对应上述预定帧的位置;根据上述目标车辆在上述图像中的对应上述预定帧的位置,确定上述目标车辆在上述预定帧与周围的上述移动体以及静止体之间的距离;在上述距离大于预定阈值的情况下,确定上述目标车辆在预定帧的上述运动轨迹合理。具体地,上述方法可以保证目标车辆沿规划运动轨迹行驶,可以与移动体以及静止体保持安全距离,否则重新规划目标车辆的运动轨迹,从而进一步降低事故发生概率,上述预定阈值可以为车道的宽度,本领域技术人员可以根据实际情况选择合适的预定阈值。
本申请实施例还提供了一种运动信息的确定装置,需要说明的是,本申请实施例的运动信息的确定装置可以用于执行本申请实施例所提供的用于运动信息的确定方法。以下对本申请实施例提供的运动信息的确定装置进行介绍。
图2是根据本申请实施例的运动信息的确定装置的示意图。如图2所示,该装置包括:
采集单元10,用于采集同时显示有连续多帧3D点云的图像;
确定单元20,用于根据上述图像确定上述图像中的各移动体的运动信息,上述运动信息包括运动轨迹,上述移动体为移动的人或物。
上述确定装置中,采集单元采集同时显示有连续多帧3D点云的图像,确定单元根据该图像确定图像中的各移动体的运动信息,运动信息包括运动轨迹,移动体为移动的人或物。该装置根据多帧3D点云确定移动体在图像上的对应各帧的位置,从而直接勾勒出移动体的运动轨迹,即周边环境中移动的人或物的运动轨迹,便于交通工具进行规避,避免通过计算点云数据确定周边环境移动体的运动轨迹,简化了确定过程,提高了激光雷达确定移动体的运动轨迹的效率。
需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
本申请的一种实施例中,上述确定单元包括第一确定模块、第二确定模块和第三确定模块,其中,上述第一确定模块用于根据上述图像,确定各上述移动体的大小;上述第二确定模块用于根据上述移动体的大小确定上述移动体在上述图像上的对应各帧的位置;上述第三确定模块用于根据上述移动体在上述图像上的对应各帧的位置,确定上述移动体的运动轨迹。具体地,根据图像确定移动体的大小,即确定移动体的标记点,并将移动体的标记点在图像上的对应各帧的位置确定为移动体在图像上的对应各帧的位置,从而将移动体的标记点在图像上的对应各帧的位置连接起来,即可得到移动体的运动轨迹,上述装置只需对标记点对应的点云数据进行计算,大大减少了计算量,进一步提高移动体的运动轨迹的识别效率。
本申请的一种具体的实施例中,上述第二确定模块还用于根据上述移动体的大小确定上述移动体的中心在上述图像上的对应各帧的位置。具体地,将移动体的中心作为移动体的标记点,然后确定移动体的中心在上述图像上的对应各帧的位置,即得到移动体在图像上的对应各帧的位置。
本申请的一种实施例中,上述第二确定模块包括第一确定子模块和第二确定子模块,其中,上述第一确定子模块用于根据上述移动体的大小确定上述移动体在上述图像上的对应各帧的第一边界位置和第二边界位置,上述第二边界位置指向上述第一边界位置的方向与上述移动体的移动方向相同;上述第二确定子模块用于根据上述移动体在上述图像上的对应各帧的上述第一边界位置和上述第二边界位置,确定上述移动体在上述图像上的对应各帧的位置。该装置可以快速地找到移动体的中心在图像上的对应各帧的位置,进一步提高了激光雷达确定移动体的运动轨迹的效率。
本申请的一种实施例中,上述装置还包括识别单元,上述识别单元用于在采集同时显示有连续多帧3D点云的图像之后,在根据上述图像确定上述图像中的各移动体的运动信息之前,根据上述图像识别上述图像中的上述移动体和静止体,上述静止体为静止的人或者物。
本申请的一种实施例中,上述图像包括多个3D点云区域,上述识别单元包括识别模块,上述识别模块用于根据上述3D点云区域中点的疏密程度,识别上述3D点云区域对应的物或人为上述移动体或上述静止体。具体地,通常情况下,3D点云的图像中,相比于静止体,移动体对应的3D点云区域中点的密度较低,从而可以根据3D点云区域中点的疏密程度识别图像中的移动体和静止体。
本申请的一种实施例中,上述识别模块包括第三确定子模块和第四确定子模块,其中,上述第三确定子模块用于在上述3D点云区域中点的平均密度小于上述预定阈值的情况下,确定上述3D点云区域对应的物或人为上述移动体;上述第四确定子模块用于在上述3D点云区域中点的平均密度大于或者等于上述预定阈值的情况下,确定上述3D点云区域对应的物或人为上述静止体。具体地,上述装置将3D点云区域中点的平均密度与预定阈值进行比较,从而根据比较结果确定3D点云区域对应的物或人为移动体或静止体,并且还可以通过调整预定阈值来提高识别的准确度,本领域技术人员可以根据实际情况选择合适的预定阈值。
本申请的另一种实施例中,上述识别模块包括第五确定子模块、第六确定子模块和第七确定子模块,其中,上述第五确定子模块用于判断上述3D点云区域是否包括第一区域和第二区域,上述第一区域具有第一点密度,上述第二区域具有第二点密度,且上述第一点密度大于上述第二点密度,上述第一区域和上述第二区域相邻;上述第六确定子模块用于在上述3D点云区域包括上述第一区域和上述第二区域的情况下,确定上述3D点云区域对应的物或人为上述移动体;上述第七确定子模块用于在上述3D点云区域不包括上述第一区域和上述第二区域的情况下,确定上述3D点云区域对应的物或人为上述静止体。
具体地,由于第一点密度大于第二点密度,且第一区域和第二区域相邻,在3D点云区域包括第一区域和第二区域的情况下,即3D点云区域包括点的密度不均匀的两块相邻的区域,从而可以确定3D点云区域对应的物或人为移动体,在3D点云区域不包括第一区域和第二区域的情况下,即3D点云区域中点的密度均匀,从而可以确定3D点云区域对应的物或人为静止体。
本申请的一种实施例中,上述装置还包括规划单元,上述规划单元用于根据上述图像确定上述图像中的各移动体的运动信息之后,根据各上述移动体的运动信息,确定目标车辆的运动轨迹。具体地,根据各移动体的运动信息规划目标车辆的运动轨迹,从而规避行人或者行驶的车辆,以避免产生交通事故。
本申请的一种实施例中,上述规划单元包括训练模块和规划模块,其中,上述训练模块用于利用各上述移动体的运动信息进行机器训练,得到训练模型;上述规划模块用于根据上述目标车辆的起始地以及目的地,采用上述训练模型确定上述目标车辆的运动轨迹。具体地,通过机器训练得到训练模型,使得训练模型规划的目标车辆的运动轨迹更加合理,从而在保证不会发生交通事故的前提下,使得目标车辆沿规划的运动轨迹向目的地行驶。
本申请的一种实施例中,上述移动体包括目标车辆,上述装置还包括检验单元,上述检验单元用于根据上述图像确定上述图像中的各移动体的运动信息之后,根据各上述移动体的运动轨迹确定上述目标车辆在预定帧的运动轨迹是否合理。具体地,上述装置通过移动体的运动轨迹检验规划的运动路线的合理性,从而进一步降低事故发生概率,提高行车安全。
本申请的一种实施例中,上述检验单元包括获取模块、第四确定模块和第五确定模块,上述获取模块用于获取上述目标车辆在上述图像中的对应上述预定帧的位置;上述第四确定模块用于根据上述目标车辆在上述图像中的对应上述预定帧的位置,确定上述目标车辆在上述预定帧与周围的上述移动体以及静止体之间的距离;上述第五确定模块用于在上述距离大于预定阈值的情况下,确定上述目标车辆在预定帧的上述运动轨迹合理。具体地,上述装置可以保证目标车辆沿规划运动轨迹行驶,可以与移动体以及静止体保持安全距离,否则重新规划目标车辆的运动轨迹,从而进一步降低事故发生概率,上述预定阈值可以为车道的宽度,本领域技术人员可以根据实际情况选择合适的预定阈值。
上述运动信息的确定装置包括处理器和存储器,上述获取单元和确定单元等均作为程序单元存储在存储器中,由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核,由内核去存储器中调取相应的程序单元。内核可以设置一个或以上,通过调整内核参数来解决现有技术中激光雷达确定物体的运动轨迹的方法效率较低的问题。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM),存储器包括至少一个存储芯片。
本发明实施例提供了一种存储介质,其上存储有程序,该程序被处理器执行时实现上述运动信息的确定方法。
本发明实施例提供了一种处理器,上述处理器用于运行程序,其中,上述程序运行时执行上述运动信息的确定方法。
本发明实施例提供了一种设备,设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序,处理器执行程序时实现至少以下步骤:
步骤S101,采集同时显示有连续多帧3D点云的图像;
步骤S102,根据上述图像确定上述图像中的各移动体的运动信息,上述运动信息包括运动轨迹,上述移动体为移动的人或物。
本文中的设备可以是服务器、PC、PAD、手机等。
本申请还提供了一种计算机程序产品,当在数据处理设备上执行时,适于执行初始化有至少如下方法步骤的程序:
步骤S101,采集同时显示有连续多帧3D点云的图像;
步骤S102,根据上述图像确定上述图像中的各移动体的运动信息,上述运动信息包括运动轨迹,上述移动体为移动的人或物。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如上述单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例上述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
从以上的描述中,可以看出,本申请上述的实施例实现了如下技术效果:
1)、本申请的确定方法中,首先采集同时显示有连续多帧3D点云的图像,然后根据该图像确定图像中的各移动体的运动信息,运动信息包括运动轨迹,移动体为移动的人或物。该方法根据多帧3D点云确定移动体在图像上的对应各帧的位置,从而确定移动体的运动轨迹,即周边环境中移动的人或物的运动轨迹,便于交通工具进行规避,避免通过计算点云数据确定周边环境移动体的运动轨迹,简化了确定方法,提高了激光雷达确定移动体的运动轨迹的效率。
2)、本申请的确定装置中,采集单元采集同时显示有连续多帧3D点云的图像,确定单元根据该图像确定图像中的各移动体的运动信息,运动信息包括运动轨迹,移动体为移动的人或物。该装置根据多帧3D点云确定移动体在图像上的对应各帧的位置,从而确定移动体的运动轨迹,即周边环境中移动的人或物的运动轨迹,便于交通工具进行规避,避免通过计算点云数据确定周边环境移动体的运动轨迹,简化了确定方法,提高了激光雷达确定移动体的运动轨迹的效率。
以上所述仅为本申请的优选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (8)
1.一种运动信息的确定方法,其特征在于,包括:
采集同时显示有连续多帧3D点云的图像;
根据所述图像确定所述图像中的各移动体的运动信息,所述运动信息包括运动轨迹,所述移动体为移动的人或物;
根据所述图像确定所述图像中的各移动体的运动信息,包括:
根据所述图像,确定各所述移动体的大小;
根据所述移动体的大小确定所述移动体在所述图像上的对应各帧的位置;
根据所述移动体在所述图像上的对应各帧的位置,确定所述移动体的运动轨迹;
根据所述移动体的大小确定所述移动体在所述图像上的对应各帧的位置,包括:
根据所述移动体的大小确定所述移动体的中心在所述图像上的对应各帧的位置;
根据所述移动体的大小确定所述移动体的中心在所述图像上的对应各帧的位置,包括:
根据所述移动体的大小确定所述移动体在所述图像上的对应各帧的第一边界位置和第二边界位置,所述第二边界位置指向所述第一边界位置的方向与所述移动体的移动方向相同;
根据所述移动体在所述图像上的对应各帧的所述第一边界位置和所述第二边界位置,确定所述移动体在所述图像上的对应各帧的位置;
在采集同时显示有连续多帧3D点云的图像之后,在根据所述图像确定所述图像中的各移动体的运动信息之前,所述方法还包括:
根据所述图像识别所述图像中的所述移动体和静止体,所述静止体为静止的人或者物;
所述图像包括多个3D点云区域,根据所述图像识别所述图像中的所述移动体和静止体,包括:
根据所述3D点云区域中点的疏密程度,识别所述3D点云区域对应的物或人为所述移动体或所述静止体;
根据所述3D点云区域中点的疏密程度,识别所述3D点云区域对应的物或人为所述移动体或所述静止体,包括:
在所述3D点云区域中点的平均密度小于预定阈值的情况下,确定所述3D点云区域对应的物或人为所述移动体;
在所述3D点云区域中点的平均密度大于或者等于所述预定阈值的情况下,确定所述3D点云区域对应的物或人为所述静止体;
根据所述3D点云区域中点的疏密程度,识别所述3D点云区域对应的物或人为所述移动体或所述静止体,包括:
判断所述3D点云区域是否包括第一区域和第二区域,所述第一区域具有第一点密度,所述第二区域具有第二点密度,且所述第一点密度大于所述第二点密度,所述第一区域和所述第二区域相邻;
在所述3D点云区域包括所述第一区域和所述第二区域的情况下,确定所述3D点云区域对应的物或人为所述移动体;
在所述3D点云区域不包括所述第一区域和所述第二区域的情况下,确定所述3D点云区域对应的物或人为所述静止体。
2.根据权利要求1所述的方法,其特征在于,根据所述图像确定所述图像中的各移动体的运动信息之后,所述方法还包括:
根据各所述移动体的运动信息,确定目标车辆的运动轨迹。
3.根据权利要求2所述的方法,其特征在于,根据各所述移动体的运动轨迹,确定目标车辆的运动轨迹,包括:
利用各所述移动体的运动信息进行机器训练,得到训练模型;
根据所述目标车辆的起始地以及目的地,采用所述训练模型确定所述目标车辆的运动轨迹。
4.根据权利要求1所述的方法,其特征在于,所述移动体包括目标车辆,根据所述图像确定所述图像中的各移动体的运动信息之后,所述方法还包括:
根据各所述移动体的运动轨迹确定所述目标车辆在预定帧的运动轨迹是否合理。
5.根据权利要求4所述的方法,其特征在于,根据各所述移动体的运动轨迹确定所述目标车辆在预定帧的运动轨迹是否合理,包括:
获取所述目标车辆在所述图像中的对应所述预定帧的位置;
根据所述目标车辆在所述图像中的对应所述预定帧的位置,确定所述目标车辆在所述预定帧与周围的所述移动体以及静止体之间的距离;
在所述距离大于预定阈值的情况下,确定所述目标车辆在预定帧的所述运动轨迹合理。
6.一种运动信息的确定装置,其特征在于,包括:
采集单元,用于采集同时显示有连续多帧3D点云的图像;
确定单元,用于根据所述图像确定所述图像中的各移动体的运动信息,所述运动信息包括运动轨迹,所述移动体为移动的人或物;
所述确定单元,包括:
第一确定模块,用于根据所述图像,确定各所述移动体的大小;
第二确定模块,用于根据所述移动体的大小确定所述移动体在所述图像上的对应各帧的位置;
第三确定模块,用于根据所述移动体在所述图像上的对应各帧的位置,确定所述移动体的运动轨迹;
所述第二确定模块,用于根据所述移动体的大小确定所述移动体的中心在所述图像上的对应各帧的位置;
所述第二确定模块,包括:
第一确定子模块,用于根据所述移动体的大小确定所述移动体在所述图像上的对应各帧的第一边界位置和第二边界位置,所述第二边界位置指向所述第一边界位置的方向与所述移动体的移动方向相同;
第二确定子模块,用于根据所述移动体在所述图像上的对应各帧的所述第一边界位置和所述第二边界位置,确定所述移动体在所述图像上的对应各帧的位置;
所述装置还包括:
识别单元,用于根据所述图像识别所述图像中的所述移动体和静止体,所述静止体为静止的人或者物;
所述识别单元,包括:
识别模块,用于根据所述3D点云区域中点的疏密程度,识别所述3D点云区域对应的物或人为所述移动体或所述静止体;
所述识别模块,包括:
第三确定子模块,用于在所述3D点云区域中点的平均密度小于预定阈值的情况下,确定所述3D点云区域对应的物或人为所述移动体;
第四确定子模块,用于在所述3D点云区域中点的平均密度大于或者等于所述预定阈值的情况下,确定所述3D点云区域对应的物或人为所述静止体;
所述识别模块,还包括:
第五确定子模块,用于判断所述3D点云区域是否包括第一区域和第二区域,所述第一区域具有第一点密度,所述第二区域具有第二点密度,且所述第一点密度大于所述第二点密度,所述第一区域和所述第二区域相邻;
第六确定子模块,用于在所述3D点云区域包括所述第一区域和所述第二区域的情况下,确定所述3D点云区域对应的物或人为所述移动体;
第七确定子模块,用于在所述3D点云区域不包括所述第一区域和所述第二区域的情况下,确定所述3D点云区域对应的物或人为所述静止体。
7.一种存储介质,其特征在于,所述存储介质包括存储的程序,其中,所述程序执行权利要求1至5中任意一项所述的方法。
8.一种处理器,其特征在于,所述处理器用于运行程序,其中,所述程序运行时执行权利要求1至5中任意一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010328574.7A CN111539326B (zh) | 2020-04-23 | 2020-04-23 | 运动信息的确定方法、确定装置、存储介质和处理器 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010328574.7A CN111539326B (zh) | 2020-04-23 | 2020-04-23 | 运动信息的确定方法、确定装置、存储介质和处理器 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111539326A CN111539326A (zh) | 2020-08-14 |
CN111539326B true CN111539326B (zh) | 2023-10-10 |
Family
ID=71978970
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010328574.7A Active CN111539326B (zh) | 2020-04-23 | 2020-04-23 | 运动信息的确定方法、确定装置、存储介质和处理器 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111539326B (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108152831A (zh) * | 2017-12-06 | 2018-06-12 | 中国农业大学 | 一种激光雷达障碍物识别方法及系统 |
CN108460791A (zh) * | 2017-12-29 | 2018-08-28 | 百度在线网络技术(北京)有限公司 | 用于处理点云数据的方法和装置 |
CN110146100A (zh) * | 2018-02-13 | 2019-08-20 | 华为技术有限公司 | 轨迹预测方法、装置及存储介质 |
-
2020
- 2020-04-23 CN CN202010328574.7A patent/CN111539326B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108152831A (zh) * | 2017-12-06 | 2018-06-12 | 中国农业大学 | 一种激光雷达障碍物识别方法及系统 |
CN108460791A (zh) * | 2017-12-29 | 2018-08-28 | 百度在线网络技术(北京)有限公司 | 用于处理点云数据的方法和装置 |
CN110146100A (zh) * | 2018-02-13 | 2019-08-20 | 华为技术有限公司 | 轨迹预测方法、装置及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111539326A (zh) | 2020-08-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112417967B (zh) | 障碍物检测方法、装置、计算机设备和存储介质 | |
CN108345822B (zh) | 一种点云数据处理方法及装置 | |
EP3418943B1 (en) | Object detecting apparatus, object detecting method, and computer-readable medium | |
CN110045729B (zh) | 一种车辆自动驾驶方法及装置 | |
CN113424121A (zh) | 基于自动驾驶的车辆速度控制方法、装置和计算机设备 | |
JP6995188B2 (ja) | 車載カメラの姿勢推定方法、装置およびシステムならびに電子機器 | |
CN107918753A (zh) | 点云数据处理方法及装置 | |
CN110008891B (zh) | 一种行人检测定位方法、装置、车载计算设备及存储介质 | |
CN111860227A (zh) | 训练轨迹规划模型的方法、装置和计算机存储介质 | |
CN109781129A (zh) | 一种基于车辆间通信的路面安全性检测系统及方法 | |
Cerri et al. | Computer vision at the hyundai autonomous challenge | |
CN109583312A (zh) | 车道线识别方法、装置、设备及存储介质 | |
CN108154119B (zh) | 基于自适应跟踪框分割的自动驾驶处理方法及装置 | |
CN111160132B (zh) | 障碍物所在车道的确定方法、装置、电子设备和存储介质 | |
KR20200053920A (ko) | 차량의 위치 추정 장치 및 방법 | |
CN111539326B (zh) | 运动信息的确定方法、确定装置、存储介质和处理器 | |
CN110727269B (zh) | 车辆控制方法及相关产品 | |
CN109344776B (zh) | 数据处理方法 | |
CN113902047B (zh) | 图像元素匹配方法、装置、设备以及存储介质 | |
CN107452230A (zh) | 一种障碍物检测方法、装置、终端设备及存储介质 | |
CN108022250B (zh) | 基于自适应阈值分割的自动驾驶处理方法及装置 | |
CN111523475B (zh) | 3d点云中物体的识别方法、装置、存储介质和处理器 | |
Haloi et al. | Vehicle local position estimation system | |
CN112633214B (zh) | 一种车辆识别方法及装置 | |
Hexmoor et al. | Real World Road Platoons and Negative Obstacles |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |