CN114384486A - 一种数据处理方法及装置 - Google Patents
一种数据处理方法及装置 Download PDFInfo
- Publication number
- CN114384486A CN114384486A CN202011118385.3A CN202011118385A CN114384486A CN 114384486 A CN114384486 A CN 114384486A CN 202011118385 A CN202011118385 A CN 202011118385A CN 114384486 A CN114384486 A CN 114384486A
- Authority
- CN
- China
- Prior art keywords
- target
- frame
- category
- frames
- data processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 14
- 238000012545 processing Methods 0.000 claims abstract description 133
- 238000000034 method Methods 0.000 claims abstract description 61
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 20
- 238000004891 communication Methods 0.000 claims abstract description 8
- 238000009826 distribution Methods 0.000 claims description 9
- 230000000877 morphologic effect Effects 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 abstract description 9
- 230000004927 fusion Effects 0.000 abstract description 6
- 238000005516 engineering process Methods 0.000 abstract description 3
- 230000007774 longterm Effects 0.000 abstract 1
- 238000001514 detection method Methods 0.000 description 21
- 230000006870 function Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 9
- 238000003860 storage Methods 0.000 description 7
- 238000012549 training Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- 238000012706 support-vector machine Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 238000013145 classification model Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000007637 random forest analysis Methods 0.000 description 2
- 238000005096 rolling process Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请实施例公开了一种数据处理方法及装置,属于传感器技术领域,可用于辅助驾驶和自动驾驶。本申请实施例方法包括:根据多帧中每个帧的关于第一目标的类别以及多帧中每个帧的关于第一目标的跟踪位置通过贝叶斯算法得到第一输出结果,将第一类别、第一置信度以及目标特征输入多帧分类器得到第二输出结果。通过贝叶斯多帧决策融合以及将目标特征输入至多帧分类器,可以补偿单帧识别精度低的问题。该方法可用于传感器感知的数据处理过程中,该方法提升了终端在自动驾驶或者辅助驾驶中的高级驾驶辅助系统ADAS能力,可以应用于车联网,如车辆外联V2X、车间通信长期演进技术LTE‑V、车辆‑车辆V2V等。
Description
技术领域
本申请实施例涉及自动驾驶领域,尤其涉及一种数据处理方法及装置。
背景技术
自动驾驶车辆,又称无人驾驶车辆,是一种通过计算机系统实现无人驾驶的智能车辆。其中,目标检测是自动驾驶车辆中重要的一环,其主要目的是为了在全天候条件下告知车辆周边环境,对辅助车辆避障和感知车辆周边环境有重要作用,如何通过雷达实现目标的检测和识别对于自动驾驶有重要意义。
目前,对于通过雷达实现目标识别的方法包括:通过滑窗对多个单帧的分类结果进行加权,即滑窗内多个单帧的分类结果进行加权投票,确定最大值为最后识别的类别。
然而,上述加权的方式过于依赖单帧的分类结果,若单帧分类的性能不好,影响类别的确定。
发明内容
本申请实施例提供了一种数据处理方法及相关设备,可以提升目标识别的精度。
本申请实施例第一方面提供了一种数据处理方法,该方法可以由处理器执行,该处理器可以在雷达中,也可以在雷达的外部(例如:车辆中除了雷达之外的装置中的处理器)。该方法包括:获取多帧的目标点云;基于多帧的目标点云分别得到多帧中每个帧的关于第一目标的分类结果,第一目标的分类结果包括第一目标的类别以及类别对应的置信度,第一目标与目标点云关联;根据多帧中每个帧的关于第一目标的类别以及多帧中每个帧的关于第一目标的跟踪位置通过贝叶斯算法得到第一输出结果,第一输出结果包括第一目标的第一类别以及第一类别对应的第一置信度,多帧中每个帧的关于第一目标的跟踪位置为跟踪多帧的目标点云得到的位置;基于多帧的目标点云获取目标特征,目标特征为多帧的目标点云的空间分布形态学特征;将第一类别、第一置信度以及目标特征输入多帧分类器得到第二输出结果,第二输出结果包括第一目标的第二类别以及第二类别对应的第二置信度。
本申请实施例中,根据多帧中每个帧的关于第一目标的类别以及多帧中每个帧的关于第一目标的跟踪位置通过贝叶斯算法得到第一输出结果,将第一类别、第一置信度以及目标特征输入多帧分类器得到第二输出结果。通过贝叶斯多帧决策融合以及将目标特征输入至多帧分类器,可以补偿单帧识别精度低的问题。
可选地,在第一方面的一种可能的实现方式中,上述步骤:根据多帧中每个帧的关于第一目标的类别以及多帧中每个帧的关于第一目标的跟踪位置通过贝叶斯算法得到第一输出结果,包括:根据多帧中每个帧的关于第一目标的类别以及多帧中每个帧的关于第一目标的跟踪位置通过下述方式得到第一输出结果:
Ω=arg max{P(Ω|list[c,t])};
其中,c表示每个帧的关于第一目标的类别,t表示每个帧的关于第一目标的跟踪位置,list[c,t]表示类别与跟踪位置的对应关系,Zi表示多个第一目标的类别的序列,Ω表示第一目标的实际类别,r表示与第一目标的距离,a表示与第一目标的角度,Z'表示第一目标的类别。
该种可能的实现方式中,使用贝叶斯多帧决策融合可以通过调整其中的先验信息,对每个帧的性能进行拟合,对单帧分类结果不好的类别大幅度提高。
可选地,在第一方面的一种可能的实现方式中,上述步骤还包括:基于第一置信度以及第二置信度得到目标置信度;若目标置信度大于锁定门限,确定多帧后的至少一个帧中第一目标的类别为第二类别。
该种可能的实现方式中,对于目标置信度大于锁定门限的类别,可以确定多帧后的至少一个帧中第一目标的类别为第二类别,即可以对置信度高的类别,多帧后的至少一个帧不用再重新估计第一目标的类别,可以直接确定为第二类别,一方面可以有效减少算力和时间开销,提高检测效率,另一方面对漏检帧结果使用锁定结果,有效解决漏检问题。
可选地,在第一方面的一种可能的实现方式中,上述步骤还包括:获取多帧后的至少一个帧中第一目标对应的点云数量;若目标置信度小于锁定门限,且点云数量小于预设值,确定多帧后的至少一个帧中第一目标的类别为第二类别。
该种可能的实现方式中,对帧中第一目标对应点云数量少的帧,可以直接确定第一目标的类别为第二类别,即减少由于点云数量较少导致漏检帧的问题,通过对漏检帧结果沿用之前的第二类别,可以有效解决点云数量太少带来的漏检问题。
可选地,在第一方面的一种可能的实现方式中,上述步骤还包括:若目标置信度小于锁定门限,且点云数量大于预设值,将多帧后的至少一个帧中第一目标的位置、第一目标的速度以及位置对应的雷达散射截面RCS输入单帧分类器得到多帧后的至少一个帧的类别以及类别的置信度。
该种可能的实现方式中,对于点云数量大于预设值的,可以输入单帧分类器,即大于预设值的点云数量对应的第一目标可以被分类器识别,使得后续输入多帧分类器时,包括单帧分类器的结果。
可选地,在第一方面的一种可能的实现方式中,上述步骤中的目标特征包括目标点云的面积、周长或长宽、目标点云中的点云个数与面积的比值中的至少一种。
本申请第二方面提供一种数据处理装置,该数据处理装置可以是雷达,也可以是集成了雷达的设备(例如车辆、无人机等),该数据处理装置包括:
第一获取单元,用于获取多帧的目标点云;
第一处理单元,用于基于多帧的目标点云分别得到多帧中每个帧的关于第一目标的分类结果,第一目标的分类结果包括第一目标的类别以及类别对应的置信度,第一目标与目标点云关联;
第一分类单元,用于根据多帧中每个帧的关于第一目标的类别以及多帧中每个帧的关于第一目标的跟踪位置通过贝叶斯算法得到第一输出结果,第一输出结果包括第一目标的第一类别以及第一类别对应的第一置信度,多帧中每个帧的关于第一目标的跟踪位置为跟踪多帧的目标点云得到的位置;
第二获取单元,用于基于多帧的目标点云获取目标特征,目标特征为多帧的目标点云的空间分布形态学特征;
第二分类单元,用于将第一类别、第一置信度以及目标特征输入多帧分类器得到第二输出结果,第二输出结果包括第一目标的第二类别以及第二类别对应的第二置信度。
可选地,在第二方面的一种可能的实现方式中,第一分类单元,具体用于根据多帧中每个帧的关于第一目标的类别以及多帧中每个帧的关于第一目标的跟踪位置通过下述方式得到第一输出结果:
其中,c表示每个帧的关于第一目标的类别,t表示每个帧的关于第一目标的跟踪位置,list[c,t]表示类别与跟踪位置的对应关系,Zi表示多个第一目标的类别的序列,Ω表示第一目标的实际类别,r表示与第一目标的距离,a表示与第一目标的角度,Z'表示第一目标的类别。
可选地,在第二方面的一种可能的实现方式中,数据处理装置还包括:
第二处理单元,应用于基于第一置信度以及第二置信度得到目标置信度;
第一确定单元,用于若目标置信度大于锁定门限,确定多帧后的至少一个帧中第一目标的类别为第二类别。
可选地,在第二方面的一种可能的实现方式中,数据处理装置还包括:
第三获取单元,用于获取多帧后的至少一个帧中第一目标对应的点云数量;
第二确定单元,用于若目标置信度小于锁定门限,且点云数量小于预设值,确定多帧后的至少一个帧中第一目标的类别为第二类别。
可选地,在第二方面的一种可能的实现方式中,数据处理装置还包括:
第三处理单元,用于若目标置信度小于锁定门限,且点云数量大于预设值,将多帧后的至少一个帧中第一目标的位置、第一目标的速度以及位置对应的雷达散射截面RCS输入单帧分类器得到多帧后的至少一个帧的类别以及类别的置信度。
可选地,在第二方面的一种可能的实现方式中,目标特征包括目标点云的面积、周长或长宽、目标点云中的点云个数与面积的比值中的至少一种。
本申请实施例第三方面提供了一种数据处理装置,该数据处理装置可以是雷达。也可以是集成了雷达的设备(例如车辆、无人机等),该数据处理装置执行前述第一方面或第一方面的任意可能的实现方式中的方法。
本申请实施例第四方面提供了一种芯片,该芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行计算机程序或指令,使得该芯片实现上述第一方面或第一方面的任意可能的实现方式中的方法。
本申请实施例第五方面提供了一种计算机可读存储介质,该计算机可读存储介质中存储有指令,该指令在计算机上执行时,使得计算机执行前述第一方面或第一方面的任意可能的实现方式中的方法。
本申请实施例第六方面提供了一种计算机程序产品,该计算机程序产品在计算机上执行时,使得计算机执行前述第一方面或第一方面的任意可能的实现方式中的方法。
本申请实施例第七方面提供了一种数据处理装置,包括:处理器,处理器与存储器耦合,存储器用于存储程序或指令,当程序或指令被处理器执行时,使得该数据处理装置实现上述第一方面或第一方面的任意可能的实现方式中的方法。
其中,第二、第三、第四、第五、第六、第七方面或者其中任一种可能实现方式所带来的技术效果可参见第一方面或第一方面不同可能实现方式所带来的技术效果,此处不再赘述。
从以上技术方案可以看出,本申请实施例具有以下优点:根据多帧中每个帧的关于第一目标的类别以及多帧中每个帧的关于第一目标的跟踪位置通过贝叶斯算法得到第一输出结果,将第一类别、第一置信度以及目标特征输入多帧分类器得到第二输出结果。通过贝叶斯多帧决策融合有效解决单帧结果太少漏检问题。联合多帧减少单帧的误检和跳变,提升第一目标识别的精度。
附图说明
图1为本申请实施例中数据处理方法的一个应用场景图;
图2为本申请实施例中数据处理方法一个流程示意图;
图3为本申请实施例中某一帧的结构示意图;
图4为本申请实施例中某4帧的分类结果示意图;
图5为本申请实施例中数据处理装置一个结构示意图;
图6为本申请实施例中数据处理装置另一结构示意图;
图7为本申请实施例中数据处理装置另一结构示意图。
具体实施方式
本申请实施例提供了一种数据处理方法及相关设备,可以提升目标识别的精度。
下面将结合各个附图对本申请技术方案的实现原理、具体实施方式及其对应能够达到的有益效果进行详细的阐述。
本申请实施例中的数据处理方法可以应用于智能车辆,也可以是智能飞机,还可以是智能机器人等需要进行目标识别的设备,具体此处不做限定。
下面仅以数据处理装置为智能车辆为例进行示意性说明。
请参阅图1,本申请实施例中智能车辆系统架构包括:
图1是本申请实施例提供的一种示例智能车辆100(或者也可以称为车辆100)的一种系统架构示意图。智能车辆100中的组件可包括感知系统103、规划系统105、控制系统107、外围设备109、电源110、计算装置111以及用户接口112中的至少一个。
感知系统103主要的功能是通过传感器等设备对外界的环境和/或车辆自身的情况进行感知识别。
传感器可以包括全球定位系统(global positioning system,GPS)、惯性测量单元(inertial measurement unit,IMU)、无线电、雷达(radar)以及相机中至少一个。
GPS可以为用于估计智能车辆100的地理位置的任何传感器。为此,GPS可能包括收发器,基于卫星定位数据,估计智能车辆100相对于地球的位置。在示例中,计算装置111可用于结合地图数据116使用GPS来估计智能车辆100可在其上行驶的道路上的车道边界的位置。GPS也可采取其它形式。
IMU可以是用于基于惯性加速度及其任意组合来感测智能车辆100的位置和朝向变化。在一些示例中,IMU的组合可包括例如加速度计和陀螺仪。IMU的其它组合也是可能的。
雷达可以用于识别智能车辆100周围的目标,例如:行人、汽车等。
雷达还可以包含毫米波雷达或激光雷达(laser radar,LIDAR)。毫米波雷达工作在毫米波段。通常毫米波是指30~300GHz频段(波长为1~10mm)。毫米波的波长介于厘米波和光波之间,因此毫米波兼有微波制导和光电制导的优点。LIDAR是可通过利用光照射目标来测量到目标的距离或目标的其它属性的光学遥感技术。作为示例,LIDAR可包括被配置为发射激光脉冲的激光源和/或激光扫描仪,和用于为接收激光脉冲的反射的检测器。例如,LIDAR可包括由转镜反射的激光测距仪,并且以一维或二维围绕数字化场景扫描激光,从而以指定角度间隔采集距离测量值。在示例中,LIDAR可包括诸如光(例如,激光)源、扫描仪和光学系统、光检测器和接收器电子器件之类的组件,以及位置和导航系统。
在示例中,LIDAR可被配置为使用紫外光(UV)、可见光或红外光对物体成像,并且可用于广泛的目标,包括非金属物体。在一个示例中,窄激光波束可用于以高分辨率对物体的物理特征进行地图绘制。
使用扫描LIDAR系统和非扫描LIDAR系统两者可实现三维(3D)成像。“3D选通观测激光RADAR(3D gated viewing laser radar)”是非扫描激光测距系统的示例,其应用脉冲激光和快速选通相机。成像LIDAR也可使用通常使用互补金属氧化物半导体(complementary metal oxide semiconductor,CMOS)和混合互补金属氧化物半导体/电荷耦合器件(charge coupled device,CCD)制造技术在单个芯片上构建的高速检测器阵列和调制敏感检测器阵列来执行。在这些装置中,每个像素可通过以高速解调或选通来被局部地处理,以使得阵列可被处理成表示来自相机的图像。使用此技术,可同时获取上千个像素以创建表示LIDAR检测到的物体或场景的3D点云。
点云可包括3D坐标系统中的一组顶点。这些顶点例如可由X、Y、Z坐标定义,并且可表示物体的外表面。LIDAR可被配置为通过测量物体的表面上的大量点来创建点云,并可将点云作为数据文件输出。作为通过LIDAR的对物体的3D扫描过程的结果,点云可用于识别并可视化物体。
在一个示例中,点云可被直接渲染以可视化物体。在另一示例中,点云可通过可被称为曲面重建的过程被转换为多边形或三角形网格模型。用于将点云转换为3D曲面的示例技术可包括德洛内三角剖分、阿尔法形状和旋转球。这些技术包括在点云的现有顶点上构建三角形的网络。其它示例技术可包括将点云转换为体积距离场,以及通过移动立方体算法重建这样定义的隐式曲面。
在一个示例中,点云也可以是平面坐标系统中的点。这些点例如可由X、Y坐标定义。
相机可以用于获取智能车辆100所位于的环境的图像的任何相机(例如,静态相机、视频相机等)。为此,相机可被配置为检测可见光,或可被配置为检测来自光谱的其它部分(诸如红外光或紫外光)的光。其它类型的相机也是可能的。相机可以是二维检测器,或可具有三维空间范围。在一些示例中,相机例如可以是距离检测器,其被配置为生成指示从相机到环境中的若干点的距离的二维图像。为此,相机可使用一种或多种距离检测技术。例如,相机可被配置为使用结构光技术,其中智能车辆100利用预定光图案,诸如栅格或棋盘格图案,对环境中的物体进行照射,并且使用相机检测从物体的预定光图案的反射。基于反射的光图案中的畸变,智能车辆100可被配置为检测到物体上的点的距离。预定光图案可包括红外光或其它波长的光。
规划系统105主要的功能是在收到感知模块感知的信息基础上,规划智能车辆100的形式路径并向控制系统107发送控制指令。规划系统105可以包括避障系统,避障系统的主要功能是识别、评估和避免或者以其它方式越过智能车辆100所位于的环境中的障碍物。
控制系统107的主要功能是控制智能车辆100及其组件的操作以及接收规划系统105的控制指令。
外围设备109的主要功能是与外部传感器、其它车辆和/或用户交互。
计算装置111可包括处理器113和存储器114。计算装置111可以是智能车辆100的控制器或控制器的一部分。存储器114可包括处理器113可运行的指令115,并且还可存储地图数据116,地图数据116可以为栅格地图、点云地图等地图,地图数据116也可采取其它形式。
智能车辆100的组件可被配置为以与彼此互联和/或与耦合到各系统的其它组件互联的工作方式。例如,电源110可向智能车辆100的所有组件提供电力。计算装置111可被配置为从感知系统103、规划系统105、控制系统107以及外围设备109接收数据并对它们进行控制。计算装置111可被配置为用户接口112上生成图像的显示并从用户接口112接收输入。
可选地,智能车辆100可包括更多、更少或不同的系统或模块,并且每个系统/模块可包括更多、更少或不同的组件。此外,图1示出的系统/模块和组件可以按任意种的方式进行组合或划分,例如:感知系统103与规划系统105可以分别是独立的,也可以是集成到一个装置中。规划系统105与控制系统107可以分别是独立的,也可以是集成到一个装置中。
在智能车辆的应用场景下,本申请实施例中的数据处理装置可以是上述的智能车辆100,也可以是上述的感知系统103,也可以是感知系统103中的雷达等传感器模块,具体此处不做限定。
当然,除了图1所描述的智能车辆的应用场景,本申请提供的数据处理方法还可以应用于智能运输设备、智能家居设备、机器人等需要进行目标识别的场景,具体此处不做限定。
下面结合图1的系统框架对本申请实施例中的数据处理方法进行示意性描述。
请参阅图2,本申请提供的数据处理方法的一个实施例包括:
201、数据处理装置获取多帧的目标点云。
数据处理装置获取多帧的目标点云的方式可以是其他装置直接向数据处理装置发送多帧的目标点云,也可以是数据处理装置直接测量得到多帧的目标点云(或者是点云数据)。
本申请实施例中的目标点云可以是点云数据,目标点云也可以包括多个点云数据,具体此处不做限定。
可选地,目标点云包括多个点云数据,且每一帧的目标点云对应的点云数据可能相同(例如:追踪的第一目标的位置未发生改变,即第一目标没有运动)或不同(例如:追踪的第一目标位置发生变化)。目标点云对应第一目标,多帧中的每一帧都包括第一目标,即第一目标是确定的,并出现在多帧中。
本申请实施例中多帧的数量可以是2个或更多,对多帧的数量此处不做限定。
可选地,如果多帧的数量为4,数据处理装置在获取到单帧的目标点云之后,可以获取与该单帧获取时刻相近的4帧。
可选地,数据处理装置可以具有追踪功能,即数据处理装置直接测量得到多帧的目标点云的方式可以是:数据处理装置扫描周边环境及物体获取稀疏点云,数据处理装置根据稀疏点云的速度和多帧中不同的位置,通过聚类算法(常见的有k-means、DBSCAN)和一些跟踪算法(例如多种运动模型结合卡尔曼滤波、粒子滤波器等)来框定一组检测点,该组检测点,即目标点云。当追踪多帧时,每个帧中都包括一组检测点,即多个目标点云,该多个目标点云可以用于描述第一目标的运动过程。
可选地,当数据处理装置不具有追踪功能时,雷达追踪得到多帧的目标点云后,向数据处理装置发送目标点云。
可选地,每一帧中都包括这组检测点,即多帧中的每个帧中都包括目标点云对应的第一目标。
示例性的,下面以数据处理装置是车辆为例进行示意性说明。本步骤中数据处理装置获取到的多帧的目标点云为4帧的目标点云。如图3所示,其中,300表示4帧中的第一帧,301表示第一目标,302表示目标点云中一部分的点,303表示车辆。可以理解的是,图3只是用于理解第一目标与目标点云之间关系的示意图。
202、数据处理装置基于多帧的目标点云得到多帧中每个帧的关于第一目标的分类结果。
本申请实施例中可以预先设置一个类别范围,在智能车辆的应用场景下,类别范围可以是两分类(例如:车和人),也可以是四分类(例如:车、人、电动车以及自行车)等,或者还可以为其他的分类,具体此处不做限定。
本申请实施例中每个帧中第一目标的信息可以是每个帧中第一目标的位置、每个帧中第一目标的速度以及每个帧中第一目标的位置对应的雷达散射截面(radar crosssection,RCS)等,具体此处不做限定。
数据处理装置可以将每个帧中第一目标的位置、第一目标的速度以及位置对应的RCS分别输入单帧分类器,得到每个帧的关于第一目标的分类结果,该分类结果包括第一目标的类别以及该类别对应的置信度,置信度表示该帧分类的稳定程度。其中,该类别在上面描述的类别范围内,如果类别范围是上面描述的两分类(车或人),则该分类结果中的类别为车或人。
其中,第一目标的位置可以是第一目标在XY坐标系中的坐标位置(x,y),第一目标的速度可以由雷达采集,RCS为雷达波照射下所产生回波强度的一种物理量,与(x,y)一一对应。
本申请实施例中的单帧分类器为机器学习分类模型,具体可以是支持向量机(support vector machine,SVM),也可以是随机森林,还可以是决策树等分类器,具体此处不做限定。其中,单帧分类器由训练集训练得到,训练集包括单帧的目标点云。
示例性的,数据处理装置得到五帧中每个帧第一目标的分类结果,即得到第一目标的五个分类结果。
203、数据处理装置根据多帧中每个帧的关于第一目标的类别以及多帧中每个帧的关于第一目标的跟踪位置通过贝叶斯算法得到第一输出结果。
数据处理装置得到多帧中每个帧的关于第一目标的分类结果之后,可以根据多帧中每个帧的关于第一目标的类别以及多帧中每个帧的关于第一目标的跟踪位置通过贝叶斯算法得到第一输出结果。
本申请实施例中的第一目标在多帧中是不变的,为追踪的同一目标,数据处理装置对每帧中第一目标的识别结果可能不同,详见下述举例。
本申请实施例中的跟踪位置可以是距离、角度等参数,具体此处不做限定。
为了方便理解,下面结合图4以类别范围是两分类(人或车)、数据处理装置是车辆以及多帧是4帧为例进行示意性说明。其中,401为第1帧,402为第2帧,403为第3帧,404为第4帧,405为车辆(即数据处理装置),406为第一目标。假设第一目标406的真实类别为车,该车出现在4帧中。但由于识别结果的不够准确,可能数据处理装置对每一帧中第一目标的识别结果不同,例如,数据处理装置识别第1帧中的第一目标为车,数据处理装置识别第2帧中的第一目标为车,数据处理装置识别第3帧中的第一目标为人,数据处理装置识别第4帧中的第一目标为人。即第1帧时,数据处理装置与第一目标的距离为r1,角度为a1,数据处理装置识别第一目标为车。第2帧时,数据处理装置与第一目标的距离为r2,角度为a2,数据处理装置识别第一目标为车。第3帧时,数据处理装置与第一目标的距离为r3,角度为a3,数据处理装置识别第一目标为人。第4帧时,数据处理装置与第一目标的距离为r4,角度为a4,数据处理装置识别第一目标为人。当然,数据处理装置也可以直接从其他设备获取4帧中每个帧的类别以及跟踪位置。4帧中每个帧的类别以及跟踪位置可以如表1所示。
表1
第一目标的类别 | 与第一目标的距离 | 与第一目标的角度 | |
第1帧 | 车 | r1 | a1 |
第2帧 | 车 | r2 | a2 |
第3帧 | 人 | r3 | a3 |
第4帧 | 人 | r4 | a4 |
其中,表1中的类别的种类(人或车)、距离以及角度只是举例,实际应用中,可以根据需要增加类别的种类(例如:自行车、卡车等)、改变类别的种类(与颜色、性别相关等)、或采用其他参数(例如,第一目标的尺寸大小),具体此处不做限定。
数据处理装置可以根据多帧中每个帧的关于第一目标的类别以及多帧中每个帧的关于第一目标的跟踪位置通过贝叶斯算法得到第一输出结果,该第一输出结果包括第一目标的第一类别以及第一类别对应的第一置信度。
可选地,数据处理装置可以根据多帧中每个帧的关于第一目标的类别以及多帧中每个帧的关于第一目标的跟踪位置通过公式一和公式二得到第一输出结果:
公式一:
公式二:
Ω=arg max{P(Ω|list[c,t])};
其中,c表示每个帧的关于第一目标的类别,t表示每个帧的关于第一目标的跟踪位置,list[c,t]表示类别与跟踪位置的对应关系,Zi表示多个第一目标的类别的序列,Ω表示第一目标的实际类别,r表示与第一目标的距离,a表示与第一目标的角度,Z'表示基于目标点云得到的第一目标的类别。
下面结合公式一、表1、图4举例说明得到第一输出结果的过程。示例性的,表1中的举例与角度如表2所示。
表2
第一目标的类别 | 与第一目标的距离 | 与第一目标的角度 | |
第1帧 | 车 | 150米 | -45度 |
第2帧 | 车 | 100米 | -30度 |
第3帧 | 人 | 75米 | 0度 |
第4帧 | 人 | 50米 | 30度 |
表2中举例与角度的数值只是举例,具体此处不作限定。
公式一中各项在表2以及图4举例的场景下代表的含义如下:
P(Zi|Ω):可以用于模拟单帧分类器的性能,在4帧中第一目标的单帧类别分别为:车、车、人、人,即Zi=车车人人。Ω表示第一目标的真实类别。假设,第一目标的真实类别为车,识别为人的概率为0.1,真实类别为车,识别为车的概率为0.9,即P(Z'=人|Ω=车)=0.1,P(Z'=车|Ω=车)=0.9。假设,第一目标的真实类别为人,识别为车的概率为0.05,真实类别为人,识别为人的概率为0.95,即P(Z'=车|Ω=人)=0.05,P(Z'=人|Ω=人)=0.95。
P(Zi|r,a):可以用于模拟检测效果,不用位置,出现识别第一目标的可能性。示例性的,检测出第一目标与数据处理装置距离100米(即r=100米)且位于数据处理装置正前方(即a=0)时,第一目标为人的概率很小(可以统计得到)。
P(r,a|Ω):可以用于表示真实类别在不同位置出现的概率。实际可以由统计得到,不同路况情况下,第一目标在不同位置出现概率不一样,例如高架快速路上,前侧出现行人的概率很小,左侧行人概率很高,极近距离出现车切入的概率很小等,实际缺乏数据下可以假设概率相等,P(r,a|Ω)=1。
示例性的,场景在城市快速路,出现行人的概率较低,统计出来的概率如下。
P(r=150,a=-45|Ω=人)=0.1,P(r=100,a=-30|Ω=人)=0.1;
P(r=75,a=0|Ω=人)=0.1,P(r=50,a=30|Ω=人)=0.1;
P(r=150,a=-45|Ω=车)=0.8,P(r=100,a=-30|Ω=车)=0.8;
P(r=75,a=0|Ω=车)=0.8,P(r=50,a=30|Ω=车)=0.8;
list[c,t]:用于表示跟踪位置与类别的多个对应关系。其中,t可以是距离和角度,即,list[c,t]可以是list[c,(r,a)],延续上述举例,图4所示四帧中的对应关系分别为:[车,(150,-45)],[车,(100,-30)],[人,(75,0)],[人,(50,30)]。
则代入公式一,计算如下:
P(Ω=人|r=(150,100,75,50),a=(-45,-30,0,30),Zi=车车人人)=[P(Zi=车车人人|Ω=人)*P(Ω=人)*P(Zi=车车人人|r=(150,100,75,50),a=(-45,-30,0,30))*
P(r=(150,100,75,50),a=(-45,-30,0,30)|Ω=人)]/P(Zi=车车人人)=P(Z'=车|Ω=人)*P(Z'=车|Ω=人)*P(Z'=人|Ω=人)*P(Z'=人|Ω=人)*
P(Ω=人)*P(Z'=车|r=150,a=-45)*P(Z'=车|r=100,a=-30)*P(Z'=人|r=75,a=0)*
P(Z'=人|r=50,a=30)*P(r=150,a=-45|Ω=人)*P(r=100,a=-30|Ω=人)*
P(r=100,a=0|Ω=人)*P(r=50,a=30|Ω=人)/P(Zi=车车人人)=(0.05*0.05*0.95*0.95*0.5*0.95*0.95*0.05*0.05*0.1*0.1*0.1*0.1)/P(Zi=车车人人)=2.55*10-10/P(Zi=车车人人)。
同理,
P(Ω=车|r=(150,100,75,50),a=(-45,-30,0,30),Zi=车车人人)=(0.1*0.1*0.9*0.9*0.5*0.95*0.95*0.05*0.05*0.8*0.8*0.8*0.8)/P(Zi=车车人人)=3.74*10-6/P(Zi=车车人人)。
其中,P(Zi=车车人人)=2.55*10-10+3.74*10-6。
若计算出来的结果有浮点精度问题,可以采取对数或指数运算进行恢复。示例性的,由于第一目标为人的概率是2.55*10-10,取对数运算得到log10(2.55*10-10)=-10+log102.55,同理,3.74*10-6经过对数运算为-6+log103.74,在进行存储等操作。当然,也可以在计算概率时使用对数运算,具体此处不做限定。
本申请实施例中,公式一有多种变换形式,例如:公式三可以为公式一的一种变换形式,具体此处不做限定。
公式三:
204、数据处理装置基于多帧的目标点云获取目标特征。
数据处理装置可以基于多帧的目标点云获取目标特征,
数据处理装置可以将多帧的目标点云集中放到某一帧中(例如,将前5帧的目标点云都放在第5帧中),得到一个目标点云集。并获取该目标点云集的目标特征,目标特征也可以称为空间分布形态学特征,空间分布形态学特征可以是该目标点云集的凸包面积、周长、点密度、该目标点云集的外接矩形面积、密度、长宽比等中的至少一个,具体此处不做限定。
可选地,获取多帧的目标点云的凸包点可以采用葛立恒(graham)扫描法等方法。获取多帧的目标点云的外接矩形可以采用旋转卡壳(rotating calipers algorithm)算法等方法。
可选地,目标特征还可以包括多帧的RCS,速度的威布尔分布的参数(形状参数、比例参数)、RCS的均值、RCS的方差等,具体此处不做限定。
205、数据处理装置将第一类别、第一置信度以及目标特征输入多帧分类器得到第二输出结果。
数据处理装置根据多帧中每个帧的关于第一目标的类别以及多帧中每个帧的关于第一目标的跟踪位置通过贝叶斯算法得到第一类别以及第一置信度,以及获取目标特征之后,数据处理装置可以将第一类别、第一置信度以及目标特征输入多帧分类器得到第二输出结果。该第二输出结果包括第一目标的第二类别以及第二类别对应的第二置信度。
通过本步骤,可以有效结合多帧的目标特征以及贝叶斯的决策结果,避免单帧分类的性能不好导致的目标识别准确率低问题,通过提供多帧的目标特征以及通过贝叶斯算法得到的第一输出结果,使得多帧分类器识别出来第一目标的第二类别相较于第一类别更加准确,提升了第一目标识别的精度。
示例性的,假设第一目标的真实类别为人,且通过步骤203确定第一目标的第一类别为车,目标特征包括目标点云集对应凸包的面积或目标点云集的外接矩形面积,且凸包的面积或外接矩形面积的远远小于车的参考面积(可以通过采样统计得到车的参考面积),则多帧分类器输出的第二类别为人,即最终确定第一目标的类别为人。
本申请实施例中的多帧分类器为机器学习分类模型,具体可以是支持向量机(support vector machine,SVM),也可以是随机森林等分类器,具体此处不做限定。其中,多帧分类器是将训练好的单帧分类器的输出进行贝叶斯融合后,和多帧的目标特征一起当作训练集训练得到。206、数据处理装置基于第一置信度以及第二置信度得到目标置信度。本步骤是可选地。
数据处理装置得到第一置信度以及第二置信度之后,可以基于第一置信度以及第二置信度得到目标置信度。
即,基于单帧分类的置信度以及多帧分类的置信度得到目标置信度。既能代表当前帧的稳定性,又能代表多帧结果的置信度。
可选地,目标置信度为第一置信度与第二置信度的乘积。
207、若目标置信度大于锁定门限,数据处理装置确定多帧后的至少一个帧中第一目标的类别为第二类别。本步骤是可选地。
本申请实施例中的锁定门限可以根据实际需要设置,具体此处不做限定。锁定门限可以用于衡量第二类别是否准确或稳定,具体如下描述:
数据处理装置得到目标置信度后,可以比较目标置信度与锁定门限之间的大小,根据结果可以分为下述两种情况:
第一种:目标置信度大于或等于(也可以是大于)锁定门限,则数据处理装置确定多帧后的至少一个帧(即后续的帧,以下简称后续帧)中第一目标的类别为第二类别(即前面帧的结果),也即是第二类别的准确性或稳定性高,可以通过确定后续帧中第一目标的类别为第二类别,减少触发分类器的算力开销,提升检测效率。
第二种:目标置信度小于(也可以是小于或等于)锁定门限,数据处理装置可以先判断后续帧是否可以做分类。如果后续帧可以做分类,将后续帧的相关信息输入单帧分类器,得到后续帧的类别以及该类别的置信度。如果后续帧不能做分类,沿用上一帧的类别以及置信度(即确定后续帧中第一目标的类别为上一帧中第一目标的类别)。
本申请实施例中,数据处理装置判断后续帧是否可以做分类的方法有多种,具体此处不做限定。下面仅以数据处理装置根据后续帧中第一目标对对应的点云数量判断后续帧是否可以做分类为例进行描述。
数据处理装置可以获取后续帧中第一目标对应的点云数量。并根据该点云数量与预设值的大小关系,确定后续帧是否可以做分类。
本申请实施例中的预设值根据实际需要设置,具体此处不做限定。
可选地,若后续帧中第一目标对应的点云数量大于或等于(也可以是大于)预设值,说明后续帧中第一目标对应的点云数量够多,可以将后续帧中第一目标的位置、第一目标的速度以及位置对应的RCS输入单帧分类器得到后续帧的类别以及该类别的置信度。
可选地,若后续帧中第一目标对应的点云数量小于(也可以是小于或等于)预设值,说明后续帧中第一目标对应的点云数量太少,不能进行分类,沿用上一帧中第一目标的类别。通过沿用之前帧的类别,可以滤除数据不稳定的点云数据,直接给出分类结果,可以提升分类的精度。
可选地,数据处理装置一开始跟踪第一目标,可以得到第一目标的航迹信息。航迹信息中可以包括第一目标的标识或第一目标的运动状态等数据,具体此处不做限定。
进一步的,为了方便后续帧的类别判定,航迹信息还可以包括指示信息,在初始帧的情况下,该指示信息可以指示不锁定第一目标的类别,因为初始帧还没有类别。若没有锁定第一目标的类别,可以继续通过单帧分类器或多帧分类器进行识别,直至识别出来的类别对应的置信度大于锁定门限。随着帧数的增加,如果识别出的第二类别对应的目标置信度大于锁定门限,即第二类别趋于准确,指示信息可以指示锁定第一目标的类别,即后续帧中第一目标的类别也采用锁定时的类别。具体的,指示信息为1,表示锁定第一目标的类别;指示信息为0,表示不锁定第一目标的类别。
本申请实施例中,通过贝叶斯多帧决策融合以及将目标特征输入至多帧分类器,可以补偿单帧识别精度低的问题。使用多帧的数据进行分类,使得第一目标的识别精度提升。通过锁定门限以及预设值的方式,一方面,可以有效减少算力和时间开销,提高检测效率。另一方面,可以通过对漏检帧结果沿用多帧结果或锁定结果,可以有效解决第一目标对应的点云数量太少带来的漏检问题。
相应于上述方法实施例给出的方法,本申请实施例还提供了相应的装置,包括用于执行上述实施例相应的模块。模块可以是软件,也可以是硬件,或者是软件和硬件结合。
该数据处理装置可为具有目标识别功能的车辆,或者为具有目标识别功能的其他部件。该数据处理装置包括但不限于:车载终端、车载控制器、车载模块、车载模组、车载部件、车载芯片、车载单元、车载雷达或车载摄像头等其他传感器,车辆可通过该车载终端、车载控制器、车载模块、车载模组、车载部件、车载芯片、车载单元、车载雷达或摄像头,实施本申请提供的方法。
该数据处理装置还可以为除了车辆之外的其他具有目标识别功能的智能终端,或设置在除了车辆之外的其他具有目标识别功能的智能终端中,或设置于该智能终端的部件中。该智能终端可以为智能运输设备、智能家居设备、机器人等其他终端设备。该数据处理装置包括但不限于智能终端或智能终端内的控制器、芯片、雷达或摄像头等其他传感器、以及其他部件等。
该数据处理装置可以是一个通用设备或者是一个专用设备。在具体实现中,该装置还可以台式机、便携式电脑、网络服务器、掌上电脑(personal digital assistant,PDA)、移动手机、平板电脑、无线终端设备、嵌入式设备或其他具有处理功能的设备。本申请实施例不限定该数据处理装置的类型。
该数据处理装置还可以是具有处理功能的芯片或处理器,该数据处理装置可以包括多个处理器。处理器可以是一个单核(single-CPU)处理器,也可以是一个多核(multi-CPU)处理器。该具有处理功能的芯片或处理器可以设置在传感器中,也可以不设置在传感器中,而设置在传感器输出信号的接收端。
请参阅图5,本申请实施例中数据处理装置的一个实施例,该数据处理装置可以是雷达,也可以是车辆中除了雷达之外的装置,该数据处理装置包括:
第一获取单元501,用于获取多帧的目标点云;
第一处理单元502,用于基于多帧的目标点云分别得到多帧中每个帧的关于第一目标的分类结果,第一目标的分类结果包括第一目标的类别以及类别对应的置信度,第一目标与目标点云关联;
第一分类单元503,用于根据多帧中每个帧的关于第一目标的类别以及多帧中每个帧的关于第一目标的跟踪位置通过贝叶斯算法得到第一输出结果,第一输出结果包括第一目标的第一类别以及第一类别对应的第一置信度,多帧中每个帧的关于第一目标的跟踪位置为跟踪多帧的目标点云得到的位置;
第二获取单元504,用于基于多帧的目标点云获取目标特征,目标特征为多帧的目标点云的空间分布形态学特征;
第二分类单元505,用于将第一类别、第一置信度以及目标特征输入多帧分类器得到第二输出结果,第二输出结果包括第一目标的第二类别以及第二类别对应的第二置信度。
本实施例中,该数据处理装置中各单元所执行的操作与前述图2至图4所示实施例中数据处理装置所执行的操作类似,此处不再赘述。
本实施例中,第二分类单元505使用多帧的数据(目标特征)进行分类,使得第一目标的识别精度提升。
请参阅图6,本申请实施例中数据处理装置的另一实施例,该数据处理装置可以是雷达,也可以是车辆中除了雷达之外的装置,该数据处理装置包括:
第一获取单元601,用于获取多帧的目标点云;
第一处理单元602,用于基于多帧的目标点云分别得到多帧中每个帧的关于第一目标的分类结果,第一目标的分类结果包括第一目标的类别以及类别对应的置信度,第一目标与目标点云关联;
第一分类单元603,用于根据多帧中每个帧的关于第一目标的类别以及多帧中每个帧的关于第一目标的跟踪位置通过贝叶斯算法得到第一输出结果,第一输出结果包括第一目标的第一类别以及第一类别对应的第一置信度,多帧中每个帧的关于第一目标的跟踪位置为跟踪多帧的目标点云得到的位置;
第二获取单元604,用于基于多帧的目标点云获取目标特征,目标特征为多帧的目标点云的空间分布形态学特征;
第二分类单元605,用于将第一类别、第一置信度以及目标特征输入多帧分类器得到第二输出结果,第二输出结果包括第一目标的第二类别以及第二类别对应的第二置信度。
本实施例中的数据处理装置还包括:
第二处理单元606,应用于基于第一置信度以及第二置信度得到目标置信度;
第一确定单元607,用于若目标置信度大于锁定门限,确定多帧后的至少一个帧中第一目标的类别为第二类别。
第三获取单元608,用于获取多帧后的至少一个帧中第一目标对应的点云数量;
第二确定单元609,用于若目标置信度小于锁定门限,且点云数量小于预设值,确定多帧后的至少一个帧中第一目标的类别为第二类别。
第三处理单元610,用于若目标置信度小于锁定门限,且点云数量大于预设值,将多帧后的至少一个帧中第一目标的位置、第一目标的速度以及位置对应的雷达散射截面RCS输入单帧分类器得到多帧后的至少一个帧的类别以及类别的置信度。
第一分类单元603,具体用于根据多帧中每个帧的关于第一目标的类别以及多帧中每个帧的关于第一目标的跟踪位置通过下述方式得到第一输出结果:
Ω=arg max{P(Ω|list[c,t])};
其中,c表示每个帧的关于第一目标的类别,t表示每个帧的关于第一目标的跟踪位置,list[c,t]表示类别与跟踪位置的对应关系,Zi表示多个第一目标的类别的序列,Ω表示第一目标的实际类别,r表示与第一目标的距离,a表示与第一目标的角度,Z'表示第一目标的类别。
可选地,目标特征包括目标点云的面积、周长或长宽、目标点云中的点云个数与面积的比值中的至少一种。
本实施例中,该数据处理装置中各单元所执行的操作与前述图2至图4所示实施例中数据处理装置所执行的操作类似,此处不再赘述。
本申请实施例中,第二分类单元605使用多帧的数据进行分类,使得第一目标的识别精度提升。通过锁定门限以及预设值的方式,一方面,可以有效减少算力和时间开销,提高检测效率。另一方面,第一确定单元607以及第二确定单元609可以通过对漏检帧结果沿用多帧结果或锁定结果,可以有效解决第一目标对应的点云数量太少带来的漏检问题。
请参阅图7,为本申请的实施例提供的上述实施例中所涉及的数据处理装置700的一种可能的示意图,该数据处理装置700具体可以为前述实施例中的数据处理装置,该数据处理装置700可以包括但不限于处理器701、通信端口702、存储器703、总线704,在本申请的实施例中,处理器701用于对数据处理装置700的动作进行控制处理。
此外,处理器701可以是中央处理器单元,通用处理器,数字信号处理器,专用集成电路,现场可编程门阵列或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框,模块和电路。该处理器也可以是实现计算功能的组合,例如包含一个或多个微处理器组合,数字信号处理器和微处理器的组合等等。所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
需要说明的是,图7所示数据处理装置具体可以用于实现图2至图4对应方法实施例中数据处理装置所执行的步骤的功能,并实现数据处理装置对应的技术效果,图7所示数据处理装置的具体实现方式,均可以参考图2至图4对应的各个方法实施例中的叙述,此处不再一一赘述。
本申请实施例还提供一种存储一个或多个计算机执行指令的计算机可读存储介质,当计算机执行指令在计算机时,该计算机执行如前述实施例中数据处理装置可能的实现方式所述的方法,其中,该数据处理装置具体可以为前述图2至图4对应方法实施例中数据处理装置。
本申请实施例还提供一种存储一个或多个计算机执行指令的计算机可读存储介质,当计算机执行指令被处理器执行时,该处理器执行如前述实施例中数据处理装置可能的实现方式所述的方法,其中,该数据处理装置具体可以为前述图2至图4对应方法实施例中数据处理装置。
本申请实施例还提供一种存储一个或多个计算机的计算机程序产品,当计算机程序产品被该处理器执行时,该处理器执行上述数据处理装置可能实现方式的方法,其中,该数据处理装置具体可以为前述图2至图4对应方法实施例中数据处理装置。
本申请实施例还提供了一种芯片系统,该芯片系统包括处理器,用于支持数据处理装置实现上述数据处理装置可能的实现方式中所涉及的功能。在一种可能的设计中,该芯片系统还可以包括存储器,存储器,用于保存该数据处理装置必要的程序指令和数据。该芯片系统,可以由芯片构成,也可以包含芯片和其他分立器件,其中,该芯片所实现的功能具体可以为前述图2至图4对应方法实施例中数据处理装置实现的功能。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read-only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
Claims (15)
1.一种数据处理方法,其特征在于,包括:
获取多帧的目标点云;
基于所述多帧的目标点云分别得到所述多帧中每个帧的关于第一目标的分类结果,所述第一目标的分类结果包括所述第一目标的类别以及所述类别对应的置信度,所述第一目标与所述目标点云关联;
根据所述多帧中每个帧的关于第一目标的类别以及所述多帧中每个帧的关于第一目标的跟踪位置通过贝叶斯算法得到第一输出结果,所述第一输出结果包括所述第一目标的第一类别以及所述第一类别对应的第一置信度,所述多帧中每个帧的关于第一目标的跟踪位置为跟踪所述多帧的目标点云得到的位置;
基于所述多帧的目标点云获取目标特征,所述目标特征为所述多帧的目标点云的空间分布形态学特征;
将所述第一类别、所述第一置信度以及所述目标特征输入多帧分类器得到第二输出结果,所述第二输出结果包括所述第一目标的第二类别以及所述第二类别对应的第二置信度。
2.根据权利要求1所述的方法,其特征在于,根据所述多帧中每个帧的关于第一目标的类别以及所述多帧中每个帧的关于第一目标的跟踪位置通过贝叶斯算法得到第一输出结果,包括:
根据所述多帧中每个帧的关于第一目标的类别以及所述多帧中每个帧的关于第一目标的跟踪位置通过下述方式得到所述第一输出结果:
Ω=argmax{P(Ω|list[c,t])};
其中,c表示每个帧的关于第一目标的类别,t表示每个帧的关于第一目标的跟踪位置,list[c,t]表示所述类别与所述跟踪位置的对应关系,Zi表示多个所述第一目标的类别的序列,Ω表示所述第一目标的实际类别,r表示与所述第一目标的距离,a表示与所述第一目标的角度,Z'表示所述第一目标的类别。
3.根据权利要求1或2所述的方法,其特征在于,所述方法还包括:
基于所述第一置信度以及所述第二置信度得到目标置信度;
若所述目标置信度大于锁定门限,确定所述多帧后的至少一个帧中所述第一目标的类别为所述第二类别。
4.根据权利要求3所述的方法,其特征在于,所述方法还包括:获取所述多帧后的至少一个帧中第一目标对应的点云数量;
若所述目标置信度小于所述锁定门限,且所述点云数量小于预设值,确定所述多帧后的至少一个帧中所述第一目标的类别为所述第二类别。
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
若所述目标置信度小于所述锁定门限,且所述点云数量大于所述预设值,将所述多帧后的至少一个帧中所述第一目标的位置、所述第一目标的速度以及所述位置对应的雷达散射截面RCS输入单帧分类器得到所述多帧后的至少一个帧的类别以及所述类别的置信度。
6.根据权利要求1至5中任一项所述的方法,其特征在于,
所述目标特征包括所述目标点云的面积、周长或长宽、所述目标点云中的点云个数与所述面积的比值中的至少一种。
7.一种数据处理装置,其特征在于,包括:
第一获取单元,用于获取多帧的目标点云;
第一处理单元,用于基于所述多帧的目标点云分别得到所述多帧中每个帧的关于第一目标的分类结果,所述第一目标的分类结果包括所述第一目标的类别以及所述类别对应的置信度,所述第一目标与所述目标点云关联;
第一分类单元,用于根据所述多帧中每个帧的关于第一目标的类别以及所述多帧中每个帧的关于第一目标的跟踪位置通过贝叶斯算法得到第一输出结果,所述第一输出结果包括所述第一目标的第一类别以及所述第一类别对应的第一置信度,所述多帧中每个帧的关于第一目标的跟踪位置为跟踪所述多帧的目标点云得到的位置;
第二获取单元,用于基于所述多帧的目标点云获取目标特征,所述目标特征为所述多帧的目标点云的空间分布形态学特征;
第二分类单元,用于将所述第一类别、所述第一置信度以及所述目标特征输入多帧分类器得到第二输出结果,所述第二输出结果包括所述第一目标的第二类别以及所述第二类别对应的第二置信度。
9.根据权利要求7或8所述的数据处理装置,其特征在于,所述数据处理装置还包括:
第二处理单元,应用于基于所述第一置信度以及所述第二置信度得到目标置信度;
第一确定单元,用于若所述目标置信度大于锁定门限,确定所述多帧后的至少一个帧中所述第一目标的类别为所述第二类别。
10.根据权利要求9所述的数据处理装置,其特征在于,所述数据处理装置还包括:
第三获取单元,用于获取所述多帧后的至少一个帧中第一目标对应的点云数量;
第二确定单元,用于若所述目标置信度小于所述锁定门限,且所述点云数量小于预设值,确定所述多帧后的至少一个帧中所述第一目标的类别为所述第二类别。
11.根据权利要求10所述的数据处理装置,其特征在于,所述数据处理装置还包括:
第三处理单元,用于若所述目标置信度小于所述锁定门限,且所述点云数量大于所述预设值,将所述多帧后的至少一个帧中所述第一目标的位置、所述第一目标的速度以及所述位置对应的雷达散射截面RCS输入单帧分类器得到所述多帧后的至少一个帧的类别以及所述类别的置信度。
12.根据权利要求7至11中任一项所述的数据处理装置,其特征在于,
所述目标特征包括所述目标点云的面积、周长或长宽、所述目标点云中的点云个数与所述面积的比值中的至少一种。
13.一种数据处理装置,其特征在于,包括:处理器,所述处理器与存储器耦合,所述存储器用于存储程序或指令,当所述程序或指令被所述处理器执行时,使得所述数据处理装置执行如权利要求1至6中任一项所述的方法。
14.一种计算机可读介质,其特征在于,其上存储有计算机程序或指令,当所述计算机程序或指令在计算机上运行时,使得所述计算机执行如权利要求1至6中任一项所述的方法。
15.一种芯片,其特征在于,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行计算机程序或指令,使得权利要求1至6任一项所述的方法被执行。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011118385.3A CN114384486A (zh) | 2020-10-19 | 2020-10-19 | 一种数据处理方法及装置 |
PCT/CN2021/124331 WO2022083529A1 (zh) | 2020-10-19 | 2021-10-18 | 一种数据处理方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011118385.3A CN114384486A (zh) | 2020-10-19 | 2020-10-19 | 一种数据处理方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114384486A true CN114384486A (zh) | 2022-04-22 |
Family
ID=81193715
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011118385.3A Pending CN114384486A (zh) | 2020-10-19 | 2020-10-19 | 一种数据处理方法及装置 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN114384486A (zh) |
WO (1) | WO2022083529A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024141039A1 (zh) * | 2022-12-30 | 2024-07-04 | 华为技术有限公司 | 一种目标识别方法以及相关装置 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115236627B (zh) * | 2022-09-21 | 2022-12-16 | 深圳安智杰科技有限公司 | 一种基于多帧多普勒速度扩维的毫米波雷达数据聚类方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104331691A (zh) * | 2014-11-28 | 2015-02-04 | 深圳市捷顺科技实业股份有限公司 | 一种车标分类器训练方法、车标识别方法及装置 |
CN108108766A (zh) * | 2017-12-28 | 2018-06-01 | 东南大学 | 基于多传感器数据融合的驾驶行为识别方法及系统 |
CN109829386A (zh) * | 2019-01-04 | 2019-05-31 | 清华大学 | 基于多源信息融合的智能车辆可通行区域检测方法 |
EP3572970A1 (en) * | 2018-05-22 | 2019-11-27 | Veoneer Sweden AB | A safety system and method for autonomous driving and/or driver assistance in a motor vehicle |
CN110750612A (zh) * | 2019-10-23 | 2020-02-04 | 福建汉特云智能科技有限公司 | 一种基于激光雷达的航迹管理方法及系统 |
EP3709266A1 (en) * | 2019-03-15 | 2020-09-16 | Baidu Online Network Technology (Beijing) Co., Ltd. | Human-tracking methods, apparatuses, systems, and storage media |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018028489A (ja) * | 2016-08-18 | 2018-02-22 | トヨタ自動車株式会社 | 位置推定装置、位置推定方法 |
CN110264468B (zh) * | 2019-08-14 | 2019-11-19 | 长沙智能驾驶研究院有限公司 | 点云数据标注、分割模型确定、目标检测方法及相关设备 |
CN110675440B (zh) * | 2019-09-27 | 2022-07-12 | 深圳市易尚展示股份有限公司 | 三维深度数据的置信度评估方法、装置和计算机设备 |
-
2020
- 2020-10-19 CN CN202011118385.3A patent/CN114384486A/zh active Pending
-
2021
- 2021-10-18 WO PCT/CN2021/124331 patent/WO2022083529A1/zh active Application Filing
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104331691A (zh) * | 2014-11-28 | 2015-02-04 | 深圳市捷顺科技实业股份有限公司 | 一种车标分类器训练方法、车标识别方法及装置 |
CN108108766A (zh) * | 2017-12-28 | 2018-06-01 | 东南大学 | 基于多传感器数据融合的驾驶行为识别方法及系统 |
EP3572970A1 (en) * | 2018-05-22 | 2019-11-27 | Veoneer Sweden AB | A safety system and method for autonomous driving and/or driver assistance in a motor vehicle |
CN109829386A (zh) * | 2019-01-04 | 2019-05-31 | 清华大学 | 基于多源信息融合的智能车辆可通行区域检测方法 |
EP3709266A1 (en) * | 2019-03-15 | 2020-09-16 | Baidu Online Network Technology (Beijing) Co., Ltd. | Human-tracking methods, apparatuses, systems, and storage media |
CN110750612A (zh) * | 2019-10-23 | 2020-02-04 | 福建汉特云智能科技有限公司 | 一种基于激光雷达的航迹管理方法及系统 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024141039A1 (zh) * | 2022-12-30 | 2024-07-04 | 华为技术有限公司 | 一种目标识别方法以及相关装置 |
Also Published As
Publication number | Publication date |
---|---|
WO2022083529A1 (zh) | 2022-04-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11113959B2 (en) | Crowdsourced detection, identification and sharing of hazardous road objects in HD maps | |
CN108762245B (zh) | 数据融合方法以及相关设备 | |
Jebamikyous et al. | Autonomous vehicles perception (avp) using deep learning: Modeling, assessment, and challenges | |
Siegemund et al. | A temporal filter approach for detection and reconstruction of curbs and road surfaces based on conditional random fields | |
JP2019527832A (ja) | 正確な位置特定およびマッピングのためのシステムおよび方法 | |
CN112740225B (zh) | 一种路面要素确定方法及装置 | |
EP3631755B1 (en) | Method and apparatus for representing environmental elements, system, and vehicle/robot | |
CN111045000A (zh) | 监测系统和方法 | |
Daraei et al. | Velocity and shape from tightly-coupled LiDAR and camera | |
CN114495064A (zh) | 一种基于单目深度估计的车辆周围障碍物预警方法 | |
US11842440B2 (en) | Landmark location reconstruction in autonomous machine applications | |
WO2022083529A1 (zh) | 一种数据处理方法及装置 | |
CN114325634A (zh) | 一种基于激光雷达的高鲁棒性野外环境下可通行区域提取方法 | |
CN117808689A (zh) | 基于毫米波雷达与摄像头融合的深度补全方法 | |
CN114545434A (zh) | 一种路侧视角测速方法、系统、电子设备及存储介质 | |
Dinesh Kumar et al. | Stereo camera and LIDAR sensor fusion-based collision warning system for autonomous vehicles | |
Dai et al. | Enhanced Object Detection in Autonomous Vehicles through LiDAR—Camera Sensor Fusion. | |
CN112733678A (zh) | 测距方法、装置、计算机设备和存储介质 | |
Vishnyakov et al. | Stereo sequences analysis for dynamic scene understanding in a driver assistance system | |
US20240151855A1 (en) | Lidar-based object tracking | |
CN112651405B (zh) | 目标检测方法及装置 | |
CN112529011B (zh) | 目标检测方法及相关装置 | |
Bhatlawande et al. | LIDAR based Detection of Small Vehicles | |
CN115131756A (zh) | 一种目标检测方法及装置 | |
Wei et al. | Plane-based scan registration with moving vehicles exclusion |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |