CN115578716A - 一种车载数据的处理方法、装置、设备及介质 - Google Patents
一种车载数据的处理方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN115578716A CN115578716A CN202211320530.5A CN202211320530A CN115578716A CN 115578716 A CN115578716 A CN 115578716A CN 202211320530 A CN202211320530 A CN 202211320530A CN 115578716 A CN115578716 A CN 115578716A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- mounted data
- information
- data
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明提供一种车载数据的处理方法、装置、设备及介质,所述方法包括:通过多种车载传感器对目标进行探测,获取不同格式的原始车载数据;对不同格式的所述原始车载数据进行预处理,获取同一格式的车载数据;对同一格式的所述车载数据进行有效统计,获取有效传感的所述车载数据;对有效传感的所述车载数据进行参数时变的加权融合处理,获取所述车载数据的融合宽度信息;对所述融合宽度信息进行宽度信息限幅处理,获取限幅后的所述融合宽度信息;以及对限幅后的所述融合宽度信息进行合理性判断,获取无异常的所述车载数据的融合宽度信息。通过本发明公开的一种车载数据的处理方法,提高了目标识别的融合宽度信息的精确性。
Description
技术领域
本申请涉自动驾驶技术领域,具体涉及一种车载数据的处理方法、装置、设备及介质。
背景技术
自动驾驶技术中的对目标的感知和定位使用加权方案作为常见的技术方案,涉及融合宽度信息均按此加权方案给出,该方法实现简单,仅需一定的工程经验即可快速完成开发与部署。但在以城区为主的自动驾驶中,因观测目标种类变多,目标数量更加密集,且观测目标不仅是在高速场景下长时间在本车前方行驶,而是出现频繁的大角度偏转,出现了非常多的红绿灯路口,甚至出现了停车后车辆靠近前车等工况。在这些非高速标准的工况中,各传感器对目标识别效果均存在不同程度的降低,尤其以车载摄像头最为明显。在这类城区工况中,车载摄像头对目标的识别距离变短、识别稳定程度变差、目标信息与真实情况出现较大差异。其中差异明显,且对自动驾驶影响较大的则是目标宽度识别性能的降低。
发明内容
鉴于以上所述现有技术的缺点,本发明提供一种车载数据的处理方法、装置、设备及介质,以解决因在城区为主的自动驾驶场景中,由于传感器测量不准确导致传统目标感知算法中的宽度信息异常变化和精度不足,目标宽度识别性能降低的问题。
本发明提供的一种车载数据的处理方法,所述方法包括:
通过多种车载传感器对目标进行识别,获取不同格式的原始车载数据;
对不同格式的所述原始车载数据进行预处理,获取同一格式的车载数据;
对同一格式的所述车载数据进行有效统计,获取有效传感的所述车载数据;
对有效传感的所述车载数据进行参数时变的加权融合处理,获取所述车载数据的融合宽度信息;
对所述融合宽度信息进行宽度信息限幅处理,获取限幅后的所述融合宽度信息;以及
对限幅后的所述融合宽度信息进行合理性判断,获取无异常的的所述车载数据的融合宽度信息。
于本发明的一实施例中,获取不同格式的所述原始车载数据包括以下步骤:
通过视觉类传感器和雷达对目标进行识别,获取目标数据;
通过访问通信协议接口,获取车辆行驶信息和车道线信息;以及
根据车辆行驶信息,对所述目标数据校准,获取校准后的所述目标数据。
于本发明的一实施例中,获取不同格式的所述原始车载数据还包括以下步骤
获取视觉类传感器输出情况的先验知识信息,以及获取车辆动力学模型信息;以及
根据所述先验知识信息和所述车辆动力学模型信息,对校准后的所述目标数据进行修正,获取视觉类原始车载数据。
于本发明的一实施例中,获取不同格式的所述原始车载数据还包括以下步骤:
获取雷达输出情况的先验知识信息;以及
根据车辆的所述车道线信息和所述雷达输出情况的先验知识信息,对校准后的所述目标数据进行滤波,获取雷达原始车载数据。
于本发明的一实施例中,对不同格式的所述原始车载数据进行预处理包括以下步骤:
获取所述原始车载数据;
对所述原始车载数据进行同一格式转换,获取同一格式的所述车载数据;以及
对同一格式的所述车载数据进行时间同步处理,获取时间统一的所述车载数据。
于本发明的一实施例中,对有效传感的所述车载数据进行参数时变的加权融合处理包括以下步骤:
获取车辆所在场景信息;
根据所述车辆所在场景信息,获取多个传感器的基准权重信息;以及
根据多个传感器的所述基准权重信息,对有效传感的所述车载数据进行参数时变的加权融合处理。
于本发明的一实施例中,对限幅后的融合宽度信息进行合理性判断包括以下步骤:
获取限幅后的所述融合宽度信息,以及获取最近时刻的正常融合宽度信息;
获取不同纵向距离下的目标宽度变化值的最大值;
判断限幅后的所述融合宽度是否大于不同纵向距离下的所述目标宽度变化值的最大值,若限幅后的所述融合宽度大于不同纵向距离下的所述目标宽度变化值的最大值,则判定异常,调用最近时刻的所述正常融合宽度信息作为基准输出。
本发明提供的一种车载数据的处理装置,所述装置包括:
原始数据获取模块,用于通过多种车载传感器对目标进行探测,获取不同格式的原始车载数据;
数据预处理模块,用于对不同格式的所述原始车载数据进行预处理,获取同一格式的车载数据;
数据有效统计模块,用于对同一格式的所述车载数据进行有效统计,获取有效传感的所述车载数据;
加权融合处理模块,用于对有效传感的所述车载数据进行参数时变的加权融合处理,获取所述车载数据的融合宽度信息;
宽度信息限幅模块,用于对所述融合宽度信息进行宽度信息限幅处理,获取限幅后的所述融合宽度信息;以及
合理性判断模块,用于对限幅后的所述融合宽度信息进行合理性判断,获取无异常的所述车载数据的融合宽度信息。
本发明提供的一种电子设备,所述设备包括:一个或多个处理器;
存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述电子设备实现上述任一项所述车载数据的处理方法。
本发明提供的一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,其特征在于,所述计算机指令被处理器执行时实现上述任一项所述车载数据的处理方法。
本发明的有益效果:本发明提供的车载数据的处理方法,通过对同一格式和有效传感的车载数据进行参数时变加权融合处理,提高了车载数据的宽度信息融合的精确性,且对参数时变加权融合处理后的车载数据进行宽度信息限幅和合理性判断,有效避免了宽度信息异常,提高了宽度信息输出的精确性、稳定性和鲁棒性,为后续自动驾驶功能模块提供可靠的数据输入。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术者来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。在附图中:
图1是本申请的一示例性实施例示出的车载数据的处理方法的实施环境示意图;
图2是本申请的一示例性实施例示出的车载数据的处理方法的流程图;
图3是本申请的一示例性实施例示出的视觉类原始车载数据的获取方法的流程图。
图4是本申请的一示例性实施例示出的雷达原始车载数据的获取方法的流程图。
图5是本申请的一示例性实施例示出的对第一数据的映射和反序列化的方法的流程图图5是本申请的一示例性实施例示出的原始车载数据的预处理方法的流程图。
图6是本申请的一示例性实施例示出的有效传感的车载数据进行参数时变的加权融合处理方法的流程图。
图7是本申请的一示例性实施例示出的限幅后的融合宽度信息进行合理性判断方法的流程图。
图8是本申请的一示例性实施例示出的车载数据的处理装置的框图。
图9示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
具体实施方式
以下将参照附图和优选实施例来说明本发明的实施方式,本领域技术人员可由本说明书中所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本发明的精神下进行各种修饰或改变。应当理解,优选实施例仅为了说明本发明,而不是为了限制本发明的保护范围。
需要说明的是,以下实施例中所提供的图示仅以示意方式说明本发明的基本构想,遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制,其实际实施时各组件的型态、数量及比例可为一种随意的改变,且其组件布局型态也可能更为复杂。
在下文描述中,探讨了大量细节,以提供对本发明实施例的更透彻的解释,然而,对本领域技术人员来说,可以在没有这些具体细节的情况下实施本发明的实施例是显而易见的,在其他实施例中,以方框图的形式而不是以细节的形式来示出公知的结构和设备,以避免使本发明的实施例难以理解。
首先需要说明的是,数据融合是指充分利用不同时间与空间的多传感器获得的数据资源,采用计算机技术对按时间序列获得的多传感器观测数据,在一定准则下进行分析、综合、支配和使用,获得对被测对象的一致性解释与描述,进而实现相应的决策和估计,使系统获得比它的单一传感器获得的信息源更精确、更完全、更可靠的估计和判断。现在数据融合的主要应用领域有:自动驾驶、多源影像复合、机器人和智能仪器系统、战场和无人驾驶飞机、图像分析与理解、目标检测与跟踪、自动目标识别等。
相比较单一传感器对目标物体检测获得的影像数据即单源遥感影像数据,多个传感器对目标物体检测获得的影像数据即多源遥感影像数据具有多个特点,该特点包括冗余性、互补性、合作性和信息分层的结构特性。其中,冗余性是表示多源遥感影像数据对环境或目标的表示、描述或解译结果相同。互补性是指信息来自不同的自由度且相互独立。合作性是指不同的传感器在观测和处理信息时对其它信息有依赖关系。信息分层的结构特性是指数据融合所处理的多源遥感信息可以在不同的信息层次上出现,这些信息抽象层次包括像素层、特征层和决策层,分层结构和并行处理机制还可保证系统的实时性。而数据融合就是将单一传感器的多波段信息或不同类别传感器所提供的信息加以综合,消除多传感器信息之间可能存在的冗余和矛盾,加以互补,改善遥感信息提取的及时性和可靠性,提高数据的使用效率和准确性。
图1是本申请的一示例性实施例示出的车载数据的处理方法的实施环境示意图。如图1所示,多个传感器110对自动驾驶功能需求的各个场景内的目标进行识别并获取原始输入车载数据,然后多个传感器110向数据处理模块120传送原始输入车载数据。然后数据处理模块120对原始输入车载数据进行处理并获得接近于真实目标宽度的融合宽度信息,然后数据处理模块120向车辆130的自动驾驶系统传送融合宽度信息。车辆130的自动驾驶系统根据融合宽度信息识别车辆130周围场景的模板并实现车辆130的自动驾驶。其中,数据处理模块120可以是汽车远程服务提供商(Telematics Service Provider,TSP),还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network,内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器,在此不进行限制。其中传感器110向数据处理模块120传送数据可通过3G(第三代的移动信息技术)、4G(第四代的移动信息技术)、5G(第五代的移动信息技术)等无线网络进行操作。本申请的实施例也不对此进行限制,可以根据实际需求进行设置。
在一些实施例中,在城区为主的自动驾驶场景中,因为传感器测量不准确导致传统目标感知算法中的宽度信息异常变化和精度不足,目标宽度识别性能降低,从而降低车辆的自动驾驶安全性。为解决这些问题,本申请的实施例分别提出一种车载数据的处理方法、装置、设备及介质,以下将对这些实施例进行详细描述。
请参阅图2,图2是本申请的一示例性实施例示出的车载数据的处理方法的流程图。在一些实施例中,该方法可以应用于图1所示的实施环境,并由该实施环境中的数据处理模块120具体执行。应理解的是,该方法也可以适用于其它的示例性实施环境,并由其它实施环境中的设备具体执行,本实施例不对该方法所适用的实施环境进行限制。
示例性的,本实施例揭示的车载数据的处理方法所适用的数据处理模块120中可以安装有SDK(Software Development Kit,软件开发工具包,是为特定的软件包、软件框架、操作系统等建立应用软件时的开发工具集合),而本实施例揭示的方法具体实现为该SDK对外提供的一项或多项功能。
如图2所示,在一示例性的实施例中,车载数据的处理方法至少包括步骤S210至步骤S250,详细介绍如下:
步骤S210,通过多种车载传感器对目标进行探测,获取不同格式的原始车载数据。
首先需要说明的是,多个车载的传感器110例如包括前摄像头、前毫米波雷达、角雷达和周视摄像头。其中,前摄像头例如为800万像素的可变焦距摄影头,且探测范围为正前方的0°~120°,前摄像头可探测正前方的所有车辆和行人目标,实现对结构化道路上目标车辆、行人、动物和骑行者的常规识别,并能输出以目标属性为单位的目标级信息。前摄像头例如配置控制器局域网络(Controller Area Network,CAN))通信协议接口,在图1所示的车辆130自动驾驶时,前摄像头通过预定义的信号列表获取车辆130的速度和航向等行驶信息,并利用这些行驶信息对自身标识感知的结果进行目标属性校准,这样便获取到前摄像头对目标探测的输入车载数据。然后将输入车载数据按预定义信号进行解析,将数据解析到数据缓存区以备使用。解析后获得的道路目标仍存在一定程度的误报和错报,因此需要利用摄像头的先验知识进行目标输出滤波,剔除明显不合理的目标信息,并利用车辆动力学模型修正输出结果获取原始车载数据,使之靠近真实目标值,这样便保证了摄像头输出原始车载数据的准确性。其中,前摄像头对目标探测的原始车载数据包括目标的位置、速度、长宽、跟踪编号、航向信息和目标类型等。前摄像头在获取到原始车载数据后按照预定协议发送到后端进行预处理。
其中,前毫米波雷达和角雷达通过多普勒效应探测前方与侧前方的目标点云信息,并通过点云聚类算法获得目标信息。其中,多普勒效应为被测目标与车辆在径向上的速度差越大,探测目标越清晰,输出信息越准确。其中,点云是目标表面特性的海量点集合,点云越密集,反映的图像细节和信息就越多。聚类是按照某个特定标准把一个数据集分割成不同的类或簇,使得同一个簇内的数据对象的相似性尽可能大,同时不在同一个簇中的数据对象的差异性也尽可能地大。前毫米波雷达对前方的探测范围为0°~120°,且毫米波雷达利用例如配置控制器局域网络(Controller Area Network,CAN))通信接口获取本车速度与航向信息,并实时校准输出目标属性。角雷达安装在图1所示的车辆130的前保险杠两侧,且探测范围为两侧的0°~120°。
在利用雷达对目标进行识别时,是通过雷达反射截面积强度值(Radar CrossSection,RCS)进行,其中,一个目标的RCS等于单位立体角目标在雷达接收天线方向上反射的功率(每单独立体角)与人射到目标处的功率密度(每平方米)之比。但道路上路况复杂,且遮挡严重,干扰强烈,因此仅凭RCS单一维度的探测常出现误报。因此在进行雷达探测数据接收后,先将雷达探测数据按预定义信号进行解析,将数据解析到数据缓存区以备使用,再通过雷达输出情况的先验知识剔除波动范围大的目标属性,并对长期处于不稳定的目标信息进行滤除,以防干扰导致的误检测。且通过中间接口获取摄像头输出的车道线信息,将本车道之外的无效目标进行滤除,减少运算负担。最终输出稳定、准确的雷达目标信息作为后端的原始车载数据,这样保证了雷达输出原始车载数据的准确性。其中雷达目标信息包括目标位置、速度、长度和跟踪编号等。前毫米波雷达和角雷达在获取到原始车载数据后按照预定协议发送到后端进行预处理。
其中,周视摄像头为200万像素的摄像头,安装在图1所示的车辆130两侧,主要功能是探测车辆130两侧0°~120°范围内的所有车辆和行人目标,并将目标级信息传输给后端。周视摄像头内部集成深度学习目标识别算法,可对像素图层上的信息进行切割划分,将其中车辆、行人进行目标输出,周视摄像头主要弥补前摄像头左右两侧的探测死角。输出的信息包括目标位置、速度、长宽、跟踪编号、航向信息和目标类型等。并将输出信息通过预定协议发送至后端模块,作为后端的原始车载数据。
步骤S220,对不同格式的原始车载数据进行预处理,获取同一格式的车载数据。
原始车载数据包括前摄像头输出信息、前毫米波雷达输出信息、角雷达输出信息和周视摄像头输出信息等不同格式的原始车载数据。然后对不同格式的原始车载数据进行预处理。对原始车载数据进行预处理即将数据转换为内部预设的同一数据类型,实现软件和硬件分离。同时将所有传感器的输出数据以本车系统时间打上时间戳进行数据时间同步,将各传感器探测目标中的位置信息的参考原点统一转换到本车前保险杠中点,实现所有数据的统一。
步骤S230,对同一格式的车载数据进行有效统计,获取有效传感的车载数据。
在多个传感器系统中,对同一目标的检测,各传感器的输出特性区别较多,常出现某一时刻某传感器未能探测到该目标,而其他传感器均能探测到的情况,因此针对此特性,要对同一格式的车载数据进行有效统计。在对车载数据进行有效统计时,需要对同一时刻下的所有传感器的输出信息进行统计检索,输出为空即输出信息中的目标位置、速度和长宽均为0,这表明着对应传感器没检测到目标。这时,将为此传感器打上未检测标签,后续融合信息则直接跳过该传感器,大大减少数据索引时间。
步骤S240,对有效传感的车载数据进行参数时变的加权融合处理,获取车载数据的融合宽度信息。
对有效传感的车载数据进行参数时变的加权处理主要是进行各传感器宽度信息的动态加权数据融合。根据各传感器对目标的探测效果,原则上宽度信息主要采用视觉类传感器,同时由于安装位置与像素的差别,正常情况下主要是以前摄像头获取的宽度信息作为基准信息。
当前摄像头未能检测到目标,退而求其次利用周视摄像头的目标宽度作为基准信息进行加权。在面对横穿场景、异形目标和极限近距离等工况下,视觉类传感器识别距离大幅降低,常出现目标丢失、识别效果变差的情况。此时首先以前毫米波雷达的宽度信息为基准信息。若在此基础上目标在本车侧向方位,则此时处于角雷达能量高密度区,因此利用角雷达宽度信息作为基准信息。其中,异行目标指三轮车目标或者自行车目标等非机动车目标。且,参数时变的加权为动态加权,在各场景情况下,分配给宽度信息作为基准信息的最优传感器较高的基准权重,给其余传感器分配较低的权重,这样便提高了融合宽度信息的稳定性和精确性。
步骤S250,对融合宽度信息进行宽度信息限幅处理,获取限幅后的融合宽度信息。
在极限近距离或异形目标场景下,视觉类传感器宽度信息可能出现超过实际情况的数值输出。此时即是加权参数较低,最终仍可能出现最终加权融合后的宽度过大或过小的异常情况。因此根据道路目标种类,结合实际项目功能需求,设定目标宽度的最大值和最小值。在检测到融合宽度信息超出标宽度的最大值和最小值后,直接输出预定默认值,有效避免融合宽度异常。
S260,对限幅后的融合宽度信息进行合理性判断,获取无异常的车载数据的融合宽度信息。
在图1所示的车辆130先跟随前方车辆然后紧挨前方车辆停车的工况下,视觉类传感器对目标的宽度的输出由最开始的正常,随着目标逐渐沾满整个摄像头,导致摄像头无法正常识别物体及其类型,使得输出宽度开始不停的做无规律变动。且此时由于目标车与本车距离过近,毫米波雷达类传感器发射功率过于集中,全部打在了目标车上,导致此时输出全是杂波,没有有效信息。因此原则上只能依赖摄像头信息与最后正常的历史信息。对限幅后的融合宽度信息进行合理性判断则是利用此时摄像头还能正常输出目标纵向距离的特性,将目标纵向距离作为重要输入,利用同一纵向距离下物体宽度在摄像头图像上不可能出现过大变化的特点,添加宽度信息变化判断。而且根据工程经验,不同纵向距离下,目标宽度拥有对应的宽度变化值最大值,超过此值即可认为异常。所以在判定异常后,调用最近时刻的正常融合数据,将其中的宽度信息取出作为基准输出,其中,最近时刻的正常融合数据例如为最后一帧正常融合数据的宽度信息。在没有判定异常时,将限幅后的宽度融合信息作为基准输出,获取到接近目标真实宽度的且无异常的融合宽度信息。
图3是本申请的一示例性实施例示出的视觉类原始车载数据的获取方法的流程图。如图3所示,视觉类原始车载数据的获取方法至少包括步骤S310至步骤S320,详细介绍如下:
步骤S310,通过视觉传感器对目标进行识别,获取目标数据。
视觉传感器例如通过前摄像头和周视摄像头,对自动驾驶需求下各场景的目标进行识别,并获取以目标级信息为基本单位的目标数据。
步骤S320,通过访问通信协议接口,获取车辆行驶信息。
视觉类传感器例如摄像头例如配置控制器局域网络(Controller Area Network,CAN))通信协议接口,在图1所示的车辆130自动驾驶时,摄像头通过预定义的信号列表获取车辆130的速度和航向等行驶信息。
步骤S330,根据车辆行驶信息,对目标数据校准,获取校准后的目标数据。
步骤S340,获取视觉类传感器输出情况的先验知识信息,以及获取车辆动力学模型信息。
步骤S350,根据视觉类传感器输出情况的先验知识信息和车辆动力学模型信息,对校准后的目标数据进行修正,获取视觉类原始车载数据。
因为校准后的目标数据仍存在一定程度的误报和错报,所以先利用视觉类传感器输出情况的先验知识对目标数据滤波,剔除明显不合理的目标,获取相对合理的目标数据,然后利用车辆动力学模型修正相对合理的目标数据,使之靠近真实目标数据,最终获得视觉类原始车载数据。
图4是本申请的一示例性实施例示出的雷达原始车载数据的获取方法的流程图。如图4所示,雷达原始车载数据的获取方法至少包括步骤S410至步骤S450,详细介绍如下:
步骤S410,通过雷达对目标进行识别,获取目标数据。
例如通过前毫米波雷达和角雷达,利用多普勒效应对自动驾驶需求下各场景的目标进行识别,获取目标数据,。
步骤S420,通过访问通信协议接口,获取车辆行驶信息和车道线信息。
雷达例如配置控制器局域网络(Controller Area Network,CAN))通信协议接口,在图1所示的车辆130自动驾驶时,摄像头通过预定义的信号列表获取车辆130的速度和航向等行驶信息,并获得车辆行驶时摄像头输出的的车道线信息。其中获得车辆行驶时的车道线信息是用来判断本车道上是否存在无效目标。
步骤S430,根据车辆行驶信息,对目标数据校准,获取校准后的目标数据。
步骤S440,获取雷达输出情况的先验知识信息。
步骤S450,根据车辆的车道线信息和雷达输出情况的先验知识信息,对校准后的目标数据进行滤波,获取雷达原始车载数据。
通过雷达输出情况的先验知识剔除波动范围大的目标数据,并对长期处于不稳定状态的目标数据进行滤除,防止干扰导致的误检测。并且通过接口获取摄像头输出的车道线信息,滤除本车道之外的无效目标,减少运算负担,最终获得雷达原始车载数据。
图5是本申请的一示例性实施例示出的原始车载数据的预处理方法的流程图。如图5所示,原始车载数据的预处理方法至少包括步骤S510至步骤S530,详细介绍如下:
S510,获取原始车载数据。
通过各个传感器对自动驾驶需求下各场景的目标进行识别,获取原始车载数据。
S520,对原始车载数据进行同一格式转换,获取同一格式的车载数据。
在接收到各个传感器获取的原始车载数据后,将原始车载数据转换成内部预设的数据格式,获取同一格式的车载数据,实现软件和硬件分离。
S530,对同一格式的车载数据进行时间同步处理,获取时间统一的车载数据。
对同一格式的车载数据以本车系统时间为准打上时间戳进行数据时间同步,并且将本车前保险杠的中点作为各个传感器目标数据中的位置信息的统一参考原点,实现数据的统一。
图6是本申请的一示例性实施例示出的有效传感的车载数据进行参数时变的加权融合处理方法的流程图。如图6所示,有效传感的车载数据进行参数时变的加权融合处理方法至少包括步骤S610至步骤S640,详细介绍如下:
S610,获取有效传感的车载数据。
S620,获取车辆所在场景信息。
图1所示的车辆130所在的场景信息包括正常行驶状态、面对横穿场景、面对异形目标和极限近距离等场景时。
S630,根据车辆所在场景信息,获取多个传感器的基准权重信息。
在正常行驶状态的场景中,以前摄像头获取的宽度信息作为为基准信息,当前摄像头未能检测到目标,则利用周视摄像头获取的目标宽度信息作为基准信息。在面对横穿场景、异形目标和极限近距离等场景时,视觉类传感器识别距离大幅度降低,常出现目标丢失和识别效果差的情况。这时首先以前毫米波雷达获取的宽度信息作为基准信息。若目标处于本车两侧方位时,目标处于角雷达能量高密度区,所以利用角雷达宽度信息作为基准信息。所以根据车辆所在的场景信息,分配给宽度信息作为基准信息的最优传感器较高的基准权重,给其余传感器分配较低的权重,这样便提高了融合宽度信息的稳定性和精确性。
S640,根据多个传感器的基准权重信息,对有效传感的车载数据进行参数时变的加权融合处理方法。
图7是本申请的一示例性实施例示出的限幅后的融合宽度信息进行合理性判断方法的流程图。如图7所示,限幅后的融合宽度信息进行合理性判断方法至少包括步骤S710至步骤S750,详细介绍如下:
S710,获取限幅后的融合宽度信息,以及获取最近时刻的正常融合宽度信息。
其中,最近时刻的正常融合宽度信息例如正常数据最后一帧的宽度信息,其中,最近时刻的正常融合数据例如为最后一帧正常融合数据的宽度信息。
S720,获取不同纵向距离下的目标宽度变化值的最大值。
在图1所示的车辆130先跟随前方车辆然后紧挨前方车辆停车的工况下,视觉类传感器对目标的宽度信息的输出由最开始的正常,随着目标逐渐沾满整个摄像头,导致摄像头无法正常识别物体及其类型,使得输出宽度开始不停的做无规律变动。且此时由于目标车与本车距离过近,毫米波雷达类传感器发射功率过于集中,全部打在了目标车上,导致此时输出全是杂波,没有有效信息。因此原则上只能依赖摄像头信息与最后正常的融合历史数据。对限幅后的融合宽度信息进行合理性判断则是利用此时摄像头还能正常输出目标纵向距离的特性,将目标纵向距离作为重要输入,利用同一纵向距离下物体宽度在摄像头图像上不可能出现大变化的特点,添加宽度信息变化判断。而且根据工程经验,不同纵向距离下,目标宽度拥有对应的宽度变化值最大值。
S730,判断限幅后的融合宽度是否大于不同纵向距离下的目标宽度变化值的最大值,若限幅后的融合宽度大于不同纵向距离下的目标宽度变化值的最大值,则判定异常,执行步骤S740。若限幅后的融合宽度小于或等于不同纵向距离下的目标宽度变化值的最大值,执行步骤S750。
S740,调用最近时刻的正常融合宽度信息作为基准输出。
S750,限幅后的融合宽度信息作为基准输出。
图8是本申请的一示例性实施例示出的车载数据的处理装置的框图。该装置可以应用于图1所示的实施环境,并具体配置在数据处理模块120中。该装置也可以适用于其它的示例性实施环境,并具体配置在其它设备中,本实施例不对该装置所适用的实施环境进行限制。
如图8所示,该示例性的车载数据的处理装置包括:
原始数据获取模块810,用于通过多种车载传感器对目标进行识别,获取不同格式的原始车载数据;数据预处理模块820,用于对不同格式的原始车载数据进行预处理,获取同一格式的车载数据;数据有效统计模块830,用于对同一格式的车载数据进行有效统计,获取有效传感的车载数据;加权融合处理模块840,用于对有效传感的车载数据进行参数时变的加权融合处理,获取车载数据的融合宽度信息;宽度信息限幅模块850,用于对融合宽度信息进行宽度信息限幅处理,获取限幅后的所述融合宽度信息;以及合理性判断模块860,用于对限幅后的融合宽度信息进行合理性判断,获取接近真实目标宽度的车载数据的融合宽度信息。
本申请的实施例还提供了一种电子设备,包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述电子设备实现上述各个实施例中提供的车载数据的处理方法。
图9示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。需要说明的是,图9示出的电子设备的计算机系统900仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
如图9所示,计算机系统900包括中央处理单元(Central Processing Unit,CPU)901,其可以根据存储在只读存储器(Read-Only Memory,ROM)902中的程序或者从储存部分908加载到随机访问存储器(Random Access Memory,RAM)903中的程序而执行各种适当的动作和处理,例如执行上述实施例中所述的方法。在RAM 903中,还存储有系统操作所需的各种程序和数据。CPU 901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出(Input/Output,I/O)接口905也连接至总线904。
以下部件连接至I/O接口905:包括键盘、鼠标等的输入部分906;包括诸如阴极射线管(Cathode Ray Tube,CRT)、液晶显示器(Liquid Crystal Display,LCD)等以及扬声器等的输出部分907;包括硬盘等的储存部分908;以及包括诸如LAN(Local Area Network,局域网)卡、调制解调器等的网络接口卡的通信部分909。通信部分909经由诸如因特网的网络执行通信处理。驱动器910也根据需要连接至I/O接口905。可拆卸介质911,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器910上,以便于从其上读出的计算机程序根据需要被安装入储存部分908。
特别地,根据本申请的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本申请的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的计算机程序。在这样的实施例中,该计算机程序可以通过通信部分909从网络上被下载和安装,和/或从可拆卸介质911被安装。在该计算机程序被中央处理单元(CPU)901执行时,执行本申请的系统中限定的各种功能。
需要说明的是,本申请实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory,EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory,CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的计算机程序。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的计算机程序可以用任何适当的介质传输,包括但不限于:无线、有线等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。其中,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现,所描述的单元也可以设置在处理器中。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定。
本申请的另一方面还提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被计算机的处理器执行时,使计算机执行如前所述的车载数据的处理方法。该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的,也可以是单独存在,而未装配入该电子设备中。
本申请的另一方面还提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述各个实施例中提供的车载数据的处理方法。
上述实施例仅示例性说明本发明的原理及其功效,而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下,对上述实施例进行修饰或改变。因此,但凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变,仍应由本发明的权利要求所涵盖。
Claims (10)
1.一种车载数据的处理方法,其特征在于,所述方法包括:
通过多种车载传感器对目标进行识别,获取不同格式的原始车载数据;
对不同格式的所述原始车载数据进行预处理,获取同一格式的车载数据;
对同一格式的所述车载数据进行有效统计,获取有效传感的所述车载数据;
对有效传感的所述车载数据进行参数时变的加权融合处理,获取所述车载数据的融合宽度信息;
对所述融合宽度信息进行宽度信息限幅处理,获取限幅后的所述融合宽度信息;以及
对限幅后的所述融合宽度信息进行合理性判断,获取无异常的的所述车载数据的融合宽度信息。
2.根据权利要求1所述的一种车载数据的处理方法,其特征在于,获取不同格式的所述原始车载数据包括以下步骤:
通过视觉类传感器和雷达对目标进行识别,获取目标数据;
通过访问通信协议接口,获取车辆行驶信息和车道线信息;
根据车辆行驶信息,对所述目标数据校准,获取校准后的所述目标数据。
3.根据权利要求2所述的一种车载数据的处理方法,其特征在于,获取不同格式的所述原始车载数据还包括以下步骤
获取视觉类传感器输出情况的先验知识信息,以及获取车辆动力学模型信息;以及
根据所述先验知识信息和所述车辆动力学模型信息,对校准后的所述目标数据进行修正,获取视觉类原始车载数据。
4.根据权利要求2所述的一种车载数据的处理方法,其特征在于,获取不同格式的所述原始车载数据还包括以下步骤:
获取雷达输出情况的先验知识信息;以及
根据车辆的所述车道线信息和所述雷达输出情况的先验知识信息,对校准后的所述目标数据进行滤波,获取雷达原始车载数据。
5.根据权利要求1所述的一种车载数据的处理方法,其特征在于,对不同格式的所述原始车载数据进行预处理包括以下步骤:
获取所述原始车载数据;
对所述原始车载数据进行同一格式转换,获取同一格式的所述车载数据;以及
对同一格式的所述车载数据进行时间同步处理,获取时间统一的所述车载数据。
6.根据权利要求1所述的一种车载数据的处理方法,其特征在于,对有效传感的所述车载数据进行参数时变的加权融合处理包括以下步骤:
获取车辆所在场景信息;
根据所述车辆所在场景信息,获取多个传感器的基准权重信息;以及
根据多个传感器的所述基准权重信息,对有效传感的所述车载数据进行参数时变的加权融合处理。
7.根据权利要求1所述的一种车载数据的处理方法,其特征在于,对限幅后的融合宽度信息进行合理性判断包括以下步骤:
获取限幅后的所述融合宽度信息,以及获取最近时刻的正常融合宽度信息;
获取不同纵向距离下的目标宽度变化值的最大值;以及
判断限幅后的所述融合宽度是否大于不同纵向距离下的所述目标宽度变化值的最大值,若限幅后的所述融合宽度大于不同纵向距离下的所述目标宽度变化值的最大值,则判定异常,调用最近时刻的所述正常融合宽度信息作为基准输出。
8.一种车载数据的处理装置,其特征在于,所述装置包括:
原始数据获取模块,用于通过多种车载传感器对目标进行识别,获取不同格式的原始车载数据;
数据预处理模块,用于对不同格式的所述原始车载数据进行预处理,获取同一格式的车载数据;
数据有效统计模块,用于对同一格式的所述车载数据进行有效统计,获取有效传感的所述车载数据;
加权融合处理模块,用于对有效传感的所述车载数据进行参数时变的加权融合处理,获取所述车载数据的融合宽度信息;
宽度信息限幅模块,用于对所述融合宽度信息进行宽度信息限幅处理,获取限幅后的所述融合宽度信息;以及
合理性判断模块,用于对限幅后的所述融合宽度信息进行合理性判断,获取无异常的所述车载数据的融合宽度信息。
9.一种电子设备,其特征在于,所述电子设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述电子设备实现如权利要求1至权利要求7任一项所述车载数据的处理方法。
10.一种计算机可读存储介质,其特征在于,其上存储有计算机程序,该计算机程序被计算机的处理器执行时,使计算机执行如权利要求1至权利要求7任一项所述车载数据的处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211320530.5A CN115578716A (zh) | 2022-10-26 | 2022-10-26 | 一种车载数据的处理方法、装置、设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211320530.5A CN115578716A (zh) | 2022-10-26 | 2022-10-26 | 一种车载数据的处理方法、装置、设备及介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115578716A true CN115578716A (zh) | 2023-01-06 |
Family
ID=84586290
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211320530.5A Pending CN115578716A (zh) | 2022-10-26 | 2022-10-26 | 一种车载数据的处理方法、装置、设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115578716A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115793993A (zh) * | 2023-01-28 | 2023-03-14 | 禾多科技(北京)有限公司 | 数据处理方法及装置、存储介质及电子装置 |
-
2022
- 2022-10-26 CN CN202211320530.5A patent/CN115578716A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115793993A (zh) * | 2023-01-28 | 2023-03-14 | 禾多科技(北京)有限公司 | 数据处理方法及装置、存储介质及电子装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111554088B (zh) | 一种多功能v2x智能路侧基站系统 | |
CN106255899B (zh) | 用于将对象用信号通知给配备有此装置的车辆的导航模块的装置 | |
KR102543952B1 (ko) | 차선의 확정방법, 포지셔닝 정밀도의 평가방법, 장치, 기기 및 컴퓨터 프로그램 | |
CN112562405A (zh) | 一种雷达视频智能融合与预警方法及系统 | |
CN112215306B (zh) | 一种基于单目视觉与毫米波雷达融合的目标检测方法 | |
CN111768440A (zh) | 用于管理受监视区域的世界模型的技术 | |
CN116685874A (zh) | 摄像机-激光雷达融合对象检测系统和方法 | |
CN112580571A (zh) | 车辆行驶的控制方法、装置及电子设备 | |
WO2020215254A1 (zh) | 车道线地图的维护方法、电子设备与存储介质 | |
US20220215197A1 (en) | Data processing method and apparatus, chip system, and medium | |
CN113887376A (zh) | 目标检测方法、装置、介质及设备 | |
CN117274749B (zh) | 一种基于4d毫米波雷达和图像的融合3d目标检测方法 | |
CN114639085A (zh) | 交通信号灯识别方法、装置、计算机设备和存储介质 | |
CN115578716A (zh) | 一种车载数据的处理方法、装置、设备及介质 | |
CN114120270A (zh) | 一种基于注意力和采样学习的点云目标检测方法 | |
CN112179359B (zh) | 一种地图匹配方法、装置、电子设备和存储介质 | |
CN113611008B (zh) | 一种车辆行驶场景采集方法、装置、设备及介质 | |
CN111480165A (zh) | 在考虑对象的特征结构的情况下创建用于车辆的基于特征的定位地图的方法 | |
Shanshan et al. | An evaluation system based on user big data management and artificial intelligence for automatic vehicles | |
CN115359332A (zh) | 基于车路协同的数据融合方法、装置、电子设备及系统 | |
CN115421122A (zh) | 目标对象检测方法、装置、电子设备和可读存储介质 | |
CN115402347A (zh) | 用于识别车辆的可行驶区域的方法及辅助驾驶方法 | |
WO2021106297A1 (ja) | 提供装置、車両管理装置、車両管理システム、車両管理方法および車両管理プログラム | |
CN115985113B (zh) | 交通信号灯控制方法及电子设备 | |
CN117612127B (zh) | 场景生成方法、装置和存储介质及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |