CN115053277B - 对周围移动物体进行变道分类的方法、系统、计算机设备及存储介质 - Google Patents
对周围移动物体进行变道分类的方法、系统、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN115053277B CN115053277B CN202080093108.3A CN202080093108A CN115053277B CN 115053277 B CN115053277 B CN 115053277B CN 202080093108 A CN202080093108 A CN 202080093108A CN 115053277 B CN115053277 B CN 115053277B
- Authority
- CN
- China
- Prior art keywords
- classified
- lane
- moving object
- information
- mobile object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000008859 change Effects 0.000 title claims abstract description 121
- 238000000034 method Methods 0.000 title claims abstract description 51
- 230000003993 interaction Effects 0.000 claims abstract description 72
- 238000010801 machine learning Methods 0.000 claims abstract description 62
- 230000008447 perception Effects 0.000 claims abstract description 53
- 230000004044 response Effects 0.000 claims abstract description 30
- 238000013528 artificial neural network Methods 0.000 claims abstract description 26
- 239000013598 vector Substances 0.000 claims description 149
- 230000002452 interceptive effect Effects 0.000 claims description 51
- 238000000605 extraction Methods 0.000 claims description 20
- 238000013507 mapping Methods 0.000 claims 3
- 238000010586 diagram Methods 0.000 description 19
- 230000008569 process Effects 0.000 description 9
- 238000013527 convolutional neural network Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000007477 logistic regression Methods 0.000 description 4
- 238000007637 random forest analysis Methods 0.000 description 4
- 238000012706 support-vector machine Methods 0.000 description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008030 elimination Effects 0.000 description 2
- 238000003379 elimination reaction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000011478 gradient descent method Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/096—Arrangements for giving variable traffic instructions provided with indicators in which a mark progresses showing the time elapsed, e.g. of green phase
Abstract
一种对周围移动物体进行变道分类的方法、系统、计算机设备及存储介质。根据对待分类移动物体的感知信息和地图信息来将待分类移动物体分类为变道移动物体或者无变道移动物体。方法包括:以时间序列获取与待分类移动物体相关的第一组信息帧,从第一组信息帧中提取对待分类移动物体的感知信息的一组特征(S22)。对该组特征进行机器学习分类,得到所述待分类移动物体的第一分类结果(S24)。响应于第一分类结果为变道移动物体,根据待分类移动物体与其他交通参与者的交互信息来绘制交互信息图(S26)。以及将交互信息图输入深度神经网络,得到第二分类结果(S28)。
Description
技术领域
本申请涉及一种对周围移动物体进行变道分类的方法、系统、计算机设备及存储介质。
背景技术
对于无人驾驶技术,其中重要的一个方面是通过多种传感器的数据与高精度地图的信息作为输入,尤其是通过激光雷达(Lidar)的输入,对周围环境进行3D建模,生成点云数据。然后对点云数据经过一系列的计算及处理,输出每一个交通参与者(汽车、行人、自行车等)在世界坐标系中的位置和速度。然后再结合高精度地图信息,预测未来一段时间内交通参与者(汽车、行人、自行车等)的运动轨迹。其中在预测轨迹任务中,对未来一段时间(例如三秒或五秒)内交通参与者,尤其是车辆是否会发生变道的预测至关重要,它能提供重要的预警信息。
发明内容
根据本申请公开的各种实施例,提供一种对周围移动物体进行变道分类的方法、系统、计算机设备及存储介质。
根据本申请的一个方面,提供一种对周围移动物体进行变道分类的方法,用于根据对待分类移动物体的感知信息和地图信息来将待分类移动物体分类为变道移动物体或者无变道移动物体,方法包括:
以时间序列获取与所述待分类移动物体相关的第一组信息帧,从所述第一组信息帧中提取对所述待分类移动物体的所述感知信息的一组特征;
对所述的一组特征进行机器学习分类,得到所述待分类移动物体的第一分类结果;
响应于所述第一分类结果为变道移动物体,根据所述待分类移动物体与其他交通参与者的交互信息来绘制交互信息图;以及
将所述交互信息图输入深度神经网络,得到第二分类结果。
在一个实施例中,所述的根据所述待分类移动物体与其他交通参与者的交互信息来绘制交互信息图包括:
以所述待分类移动物体为中心,基于周围预设范围内的所述地图信息、对所述待分类移动物体的所述感知信息及对所述其他交通参与者的感知信息绘制所述交互信息图。
在一个实施例中,所述的以时间序列获取与所述待分类移动物体相关的所述第一组信息帧,从所述第一组信息帧中提取对所述待分类移动物体的所述感知信息的所述一组特征包括:
以时间序列获取与所述待分类移动物体相关的所述第一组信息帧中所述待分类移动物体距离所述待分类移动物体正在行驶的车道的一个边界的距离特征向量以及对应的时间特征向量;
根据所述距离特征向量及对应的所述时间特征向量,判断所述待分类移动物体是否正在靠近或远离所述边界;以及
响应于所述待分类移动物体正在靠近或远离所述边界,以时间序列获取与所述待分类移动物体相关的第二组信息帧,从所述第二组信息帧中判断出所述待分类移动物体是否进行过变道;
并且,所述的对所述的一组特征进行机器学习分类,得到所述待分类移动物体的所述第一分类结果包括:
根据所述是否进行过变道的判断结果,得到所述第一分类结果。
在一个实施例中,所述的根据所述距离特征向量及对应的所述时间特征向量,判断所述待分类移动物体是否正在靠近或远离所述边界包括:
将所述距离特征向量及对应的所述时间特征向量代入最小二乘公式,求得所述距离特征向量随所述时间特征向量的变化率;
响应于所述变化率小于零,判断所述待分类移动物体正在靠近所述边界;以及
响应于所述变化率大于零,判断所述待分类移动物体正在远离所述边界。
在一个实施例中,所述的以时间序列获取与所述待分类移动物体相关的所述第一组信息帧,从所述第一组信息帧中提取对所述待分类移动物体的所述感知信息的所述一组特征还包括:
以时间序列获取与所述待分类移动物体相关的所述第一组信息帧中所述待分类移动物体在垂直于车道中心线的方向上的侧向速度特征;
并且所述的对所述的一组特征进行机器学习分类,得到所述待分类移动物体的第一分类结果包括:
根据所述是否存在另一车道的判断结果以及所述侧向速度特征,得到所述第一分类结果。
在一个实施例中,所述的以时间序列获取与所述待分类移动物体相关的所述第一组信息帧,从所述第一组信息帧中提取对所述待分类移动物体的所述感知信息的所述一组特征包括:
以时间序列获取与所述待分类移动物体相关的所述第一组信息帧中所述待分类移动物体距离所述待分类移动物体正在行驶的车道的一个边界的距离特征向量以及对应的时间特征向量;
根据所述距离特征向量及对应的所述时间特征向量,判断所述待分类移动物体是否正在靠近或远离所述边界;
响应于所述待分类移动物体正在靠近所述边界,判断所述边界之外是否存在另一车道;以及
响应于所述待分类移动物体正在远离所述边界,判断所述车道的、与所述边界相对的另一边界之外是否存在另一车道;
并且所述的对所述的一组特征进行机器学习分类,得到所述待分类移动物体的第一分类结果包括:
根据所述是否存在另一车道的判断结果,得到所述第一分类结果。
在一个实施例中,所述的根据所述距离特征向量及对应的所述时间特征向量,判断所述待分类移动物体是否正在靠近或远离所述边界包括:
将所述距离特征向量及对应的所述时间特征向量代入最小二乘公式,求得所述距离特征向量随所述时间特征向量的变化率;
响应于所述变化率小于零,判断所述待分类移动物体正在靠近所述边界;以及
响应于所述变化率大于零,判断所述待分类移动物体正在远离所述边界。
在一个实施例中,所述的以时间序列获取与所述待分类移动物体相关的所述第一组信息帧,从所述第一组信息帧中提取对所述待分类移动物体的所述感知信息的所述一组特征还包括:
以时间序列获取与所述待分类移动物体相关的所述第一组信息帧中所述待分类移动物体在垂直于车道中心线的方向上的侧向速度特征;
并且所述的对所述的一组特征进行机器学习分类,得到所述待分类移动物体的第一分类结果包括:
根据所述是否存在另一车道的判断结果以及所述侧向速度特征,得到所述第一分类结果。
在一个实施例中,所述地图信息包括车道边界、车道中心线、车道内部、停止线、所述待分类移动物体以及所述其他交通参与者。
根据本申请的另一方面,还提供一种对周围移动物体进行变道分类的系统,用于根据对待分类移动物体的感知信息和地图信息来将待分类移动物体分类为变道移动物体或者无变道移动物体,所述系统包括:
特征提取模块,用于以时间序列获取与所述待分类移动物体相关的第一组信息帧,从所述第一组信息帧中提取对所述待分类移动物体的所述感知信息的一组特征;
机器学习分类模块,用于对所述的一组特征进行机器学习分类,得到所述待分类移动物体的第一分类结果;
交互信息图绘制模块,用于响应于所述第一分类结果为变道移动物体,根据所述待分类移动物体与其他交通参与者的交互信息来绘制交互信息图;以及
深度分类模块,用于将所述交互信息图输入深度神经网络,得到第二分类结果。
根据本申请的又一方面,还提供一种计算机设备,包括存储器及一个或多个处理器,所述存储器中储存有计算机可读指令,所述计算机可读指令被所述一个或多个处理器执行时,使得所述一个或多个处理器执行以下步骤:
以时间序列获取与所述待分类移动物体相关的第一组信息帧,从所述第一组信息帧中提取对所述待分类移动物体的所述感知信息的一组特征;
对所述的一组特征进行机器学习分类,得到所述待分类移动物体的第一分类结果;
响应于所述第一分类结果为变道移动物体,根据所述待分类移动物体与其他交通参与者的交互信息来绘制交互信息图;以及
将所述交互信息图输入深度神经网络,得到第二分类结果。
根据本申请的又一方面,还提供一个或多个存储有计算机可读指令的非易失性计算机可读存储介质,所述计算机可读指令被一个或多个处理器执行时,使得所述一个或多个处理器执行以下步骤:
以时间序列获取与所述待分类移动物体相关的第一组信息帧,从所述第一组信息帧中提取对所述待分类移动物体的所述感知信息的一组特征;
对所述的一组特征进行机器学习分类,得到所述待分类移动物体的第一分类结果;
响应于所述第一分类结果为变道移动物体,根据所述待分类移动物体与其他交通参与者的交互信息来绘制交互信息图;以及
将所述交互信息图输入深度神经网络,得到第二分类结果。
根据本申请的又一方面,还提供一种车辆,包括上述的系统。
本申请的一个或多个实施例的细节在下面的附图和描述中提出。本申请的其它特征和优点将从说明书、附图以及权利要求书变得明显。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1为根据一个或多个实施例的对周围移动物体进行变道分类的方法或系统的应用场景图;
图2为根据一个或多个实施例的对周围移动物体进行变道分类的方法的流程图;
图3为根据一个或多个实施例的对周围移动物体进行变道分类的方法或系统的交互信息图;
图4为根据一个或多个实施例的对周围移动物体进行变道分类的方法的步骤S22的流程图;
图5为根据一个或多个实施例的对周围移动物体进行变道分类的方法的步骤S224的流程图;
图6为根据一个或多个实施例的对周围移动物体进行变道分类的方法的步骤S22的流程图;
图7为根据一个或多个实施例的对周围移动物体进行变道分类的系统的结构示意框图;
图8为根据一个或多个实施例的对周围移动物体进行变道分类的系统的特征提取模块的结构示意框图;
图9为根据一个或多个实施例的对周围移动物体进行变道分类的系统的特征提取模块的结构示意框图;
图10为根据一个或多个实施例的计算机设备的框图。
具体实施方式
如背景技术部分所述,需要对移动物体是否变道进行分类。机器学习的手段在足够优化的情况下,足以对绝大部分的变道情况进行准确分类,而且机器学习分类使用的资源较少。如果要求进一步提高分类的准确率,可以使用更复杂的深度神经网络,消耗的资源也就更多一些。
为了使本申请的技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
图1为根据一个或多个实施例的对周围移动物体进行变道分类的方法的应用场景图。本申请提供的对周围移动物体进行变道分类的方法可以应用于图1所示的应用场景中。在无人驾驶或自动驾驶的本车10上,以多种传感器(主要是激光雷达Lidar)对周围环境进行扫描,收集数据,对周围环境进行3D建模,从而建立点云数据。再经过一系列的计算及处理,对本车的周围环境精确感知,从而获知背景102、汽车104、摩托车106以及行人108这些交通参与者各自在世界坐标系中的位置(包括历史位置)和速度以及大小。本申请的技术方案还用到高精度地图,高精度地图是无人驾驶的地图定位模块提前就绘制好的,其中包含了大量驾驶辅助信息,其中最重要的就是道路网的精确三维表征,比如车道边界、车道中心线、车道内部、停止线、交叉路口布局和路标位置等信息,高精度地图还包含了很多语义信息,包括信号灯颜色定义、道路限速信息、移动物体转弯开始位置等。本申请的对周围移动物体进行变道分类的方法基于上述信息主要是对汽车104变道分类,将其分为变道移动物体或者无变道移动物体。但是交互信息图的绘制会包含指定范围内的所有交通参与者。
在其中一个实施例中,如图2所示,提供了一种对周围移动物体进行变道分类的方法,用于根据对待分类移动物体的感知信息和地图信息来将待分类移动物体分类为变道移动物体或者无变道移动物体,包括以下步骤:
步骤S22,以时间序列获取与待分类移动物体相关的第一组信息帧,从第一组信息帧中提取对待分类移动物体的感知信息的一组特征。
具体而言,在本车上先通过传感器,比如激光雷达(Lidar)获取对某一个待分类移动物体的感知信息,包括其在世界坐标系中的位置(包括历史位置)和速度及大小,再以一定程度结合地图信息,就可以获取本步骤所需的感知信息。在此按照时间序列,即按照时间上的先后顺序,获取最近的一组连续的信息帧用于特征提取,比如N帧的信息帧。这里只提取对待分类移动物体本身的感知信息,而不关注待分类移动物体与背景中其他交通参与者的交互信息,因此在此提取的是无交互特征。
步骤S24,对的一组特征进行机器学习分类,得到待分类移动物体的第一分类结果。
对于这些无交互特征,可以使用一般的机器学习分类器来处理,例如,包括但不限于逻辑回归(LR),支持向量机(SVM),随机森林(Random Forest)。这些机器学习分类器对所有待分类移动物体的无交互特征进行分类,得到第一分类结果,该结果可能是变道移动物体也可能是无变道移动物体。
步骤S26,响应于第一分类结果为变道移动物体,根据待分类移动物体与其他交通参与者的交互信息来绘制交互信息图。
将上述无交互特征输入到传统机器学习分类器中,可以得到两种分类结果,变道移动物体或者无变道移动物体。如果分类结果是无变道移动物体的话一般就是比较可靠的分类结果。本申请的发明人发现,90%以上的无变道移动物体都能够通过使用一般的机器学习分类器对无交互特征进行分类而得到正确分类。但是,有一小部分无变道移动物体的无交互特征与变道移动物体相似,从而会被错误地分类为变道移动物体。因此,如果分类结果是变道移动物体的话,可能还存在误差,需要再用更复杂但准确度更高的深度神经网络进行分类。为了进一步地分析,在前述信息/特征的基础上,可以进一步考虑待分类移动物体与其他交通参与者的交互信息/特征,通过已知的技术手段自动绘制成交互信息图。
步骤S28,将交互信息图输入深度神经网络,得到第二分类结果。
绘制的交互信息图包含丰富的二维和三维形状信息,能够很好地被深度神经网络识别或接受。将绘制的交互信息图输入深度神经网络中,例如,包括但不限于经典卷积神经网络(CNN)(比如VGG网络或者ResNet)。卷积神经网络首先对交互信息图进行特征提取,即提取到深度交互特征,然后再进行分类,即得到第二分类结果。这里可以使用已经封装好的、具备对交互信息图进行特征提取和分类的深度神经网络。在一个实施例中,也可以使用反向传播算法(例如随机梯度下降法(SGD)或者Adam算法)事先对深度神经网络进行训练。
通过上述技术方案,首先提取待分类移动物体提取的无交互特征,输入机器学习分类器得到第一分类结果,如果第一分类结果为无变道移动物体,则直接将待分类移动物体分类为无变道移动物体;如果第一分类结果为变道移动物体,则绘制该待分类移动物体对应的交互信息图,输入深度神经网络得到第二分类结果,如果第二分类结果为变道移动物体,则将待分类移动物体分类为变道移动物体,如果第二分类结果为无变道移动物体,则将待分类移动物体分类为无变道移动物体。本申请利用无交互特征结合机器学习分类器以较少的资源和较高的速度处理绝大部分易分类的无变道移动物体,从而达到高效的初步分类,进而利用交互信息图结合深度神经网络来处理难分类的移动物体,充分利用交互信息,以较少的资源消耗达到准确的细致分类的目的。简言之,本方案设计了两条分支来对待分类移动物体进行处理:一条简单但快速的机器学习方法的分支处理大部分易分类的无变道移动物体;另一条复杂但处理能力强的分支专注于解决剩余难分类的移动物体。
在其中一个实施例中,步骤S26的根据待分类移动物体与其他交通参与者的交互信息来绘制交互信息图包括:
以待分类移动物体为中心,基于周围预设范围内的地图信息、对待分类移动物体的感知信息及对其他交通参与者的感知信息绘制交互信息图。
图3示出了其中一个实施例中的交互信息图。如图3所示,以待分类移动物体A为中心,将其周围预设范围的高精度地图信息及其他移动物体的感知信息绘制成图片。感知信息包括其他移动物体在世界坐标系中的位置(包括历史位置)、速度、大小,还包括对背景物体的感知信息,然后进行等比例地缩放来绘制。在图3中,白线表示车道边界D,两条车道边界D中间的深灰色线为车道中心线E,两条车道边界D之间为车道内部,与车道边界线D正交的为停止线F,图中还包括很多其他的移动物体B或交通参与者(如行人C),待分类移动物体A或其他移动物体B的拖影代表过去车所在的位置。通过诸如图3方法绘制,我们可以得到交互信息图。
在其中一个实施例中,如图4所示,步骤S22的以时间序列获取与待分类移动物体相关的第一组信息帧,从第一组信息帧中提取对待分类移动物体的感知信息的一组特征包括:
步骤S222,以时间序列获取与待分类移动物体相关的第一组信息帧中待分类移动物体距离待分类移动物体正在行驶的车道的一个边界的距离特征向量以及对应的时间特征向量。
具体而言,以时间序列获取待分类移动物体在过去连续数个信息帧中距离其正在行驶的车道左边界距离特征向量或过去连续数个信息帧中距离其正在行驶的车道右边界距离特征向量,以及相应的时间特征向量。在一个实施例中还可以车道中心线或其他目标作为参照,只要可以在与行进方向垂直的方向上显示移动物体的位置变化即可。在一个实施例中,具体可以时间序列获取过去连续N帧待分类移动物体距离车道左边界的距离,构成1*N维的距离特征向量,且该距离特征向量对应的时间特征向量为[-(N-1),-(N-2),...-1,0]。比如,过去3帧(包括当前时刻)离车道左边界距离是3米、2米、1米,那么距离特征向量就是[3.0,2.0,1.0],时间特征向量就是[-2,-1,0]。在一个实施例中,N的数值大于等于10。
步骤S224,根据距离特征向量及对应的时间特征向量,判断待分类移动物体是否正在靠近或远离边界。
根据上述距离特征向量和时间特征向量,即可获知待分类移动物体随着时间的推移,在与行进方向垂直的方向上,与参照目标,比如车道边界的距离的变化。从而得知待分类移动物体是否正在靠近或远离该边界。
步骤S226A,响应于待分类移动物体正在靠近或远离边界,以时间序列获取与待分类移动物体相关的第二组信息帧,从第二组信息帧中判断出待分类移动物体是否进行过变道。
具体而言,虽然判断出待分类移动物体正在靠近或远离车道边界,但是一般的移动物体,尤其是车辆在短时间内发生连续变道的概率是比较低的,如果之前已经发生过变道,那么短时间内发生变道的概率就低了。因此设置一道判断步骤,进行一次排除。在一个实施例中,可以对过去M帧中待分类移动对象是否发生过变道进行判断,即提取待分类移动物体的变道历史特征,如果待分类移动物体发生过变道则该变道历史特征值为-1,如果待分类移动物体没有发生过变道则该变道历史特征值为1。在一个实施例中,判断待分类移动物体是否发生过变道可以把待分类移动物体的历史位置信息和当前位置信息结合高精度地图信息进行比对,就可以知道待分类移动物体过去是不是发生过变道了。
此时,步骤S24的对的一组特征进行机器学习分类,得到待分类移动物体的第一分类结果包括:
根据是否进行过变道的判断结果,得到第一分类结果。
具体而言,根据上述的记载可知,如果在上述步骤S226A判断出待分类移动物体发生过变道,那么根据这一判断结果,相应地赋值变道历史特征值,输入到机器学习分类模块进行判断的结果比较可能就是待分类移动物体不会再次发生变道,那么第一分类结果就是无变道移动对象;如果在上述步骤S226A判断出待分类移动物体没有发生过变道,那么根据这一判断结果,相应地赋值变道历史特征值,输入到机器学习分类模块进行判断的结果比较可能就是待分类移动物体会发生变道,那么第一分类结果就是变道移动对象。在一个实施例中,如果之前提取的距离特征向量是[3.0,2.0,1.0],如果变道历史特征值为-1,则所有特征向量连接在一起得到新的特征向量为[-1,3.0,2.0,1.0],输入机器学习分类模块以后输出的第一分类结果比较可能就是无变道移动物体;如果之前提取的距离特征向量是[3.0,2.0,1.0],如果变道历史特征值为1,则所有特征向量连接在一起得到新的特征向量为[1,3.0,2.0,1.0],输入机器学习分类模块以后输出的第一分类结果比较可能就是变道移动物体。
在其中一个实施例中,如图5所示,步骤S224的根据距离特征向量及对应的时间特征向量,判断待分类移动物体是否正在靠近或远离边界包括:
步骤S2242,将距离特征向量及对应的时间特征向量代入最小二乘公式,求得距离特征向量随时间特征向量的变化率。
以待分类移动物体距离其正在行驶的车道的左边界为例,如果将距离特征向量及对应的时间特征向量代入最小二乘公式,求得距离特征向量随时间特征向量的变化关系,也就是变化率(slope)。
步骤S2244,响应于变化率小于零,判断待分类移动物体正在靠近边界。
如果求得距离特征向量随时间特征向量的变化率是小于零的(slope<0),仍然以待分类移动物体距离其正在行驶的车道的左边界为例,则说明待分类移动物体正在靠近其正在行驶的车道的左边界。
步骤S2246,响应于变化率大于零,判断待分类移动物体正在远离边界。
如果求得距离特征向量随时间特征向量的变化率是大于零的(slope>0),仍然以待分类移动物体距离其正在行驶的车道的左边界为例,则说明待分类移动物体正在靠近其正在行驶的车道的左边界。
当然,如果求得距离特征向量随时间特征向量的变化率是等于零的(slope=0),则说明待分类移动物体没有靠近也没有远离其正在行驶的车道的左边界,其行驶路线与车道的延伸方向保持平行。当然,实际应用中计算得到的距离特征向量随时间特征向量的变化率几乎不会刚好等于零,而是通常大于或者小于零,因此需要按照实践经验或者精度需要设定相应的阈值,比如设定变化率小于第一阈值且大于第二阈值,则视为等于零,其中,第一阈值较大,第二阈值较小。而超过第一阈值则视为大于零,低于第二阈值则视为小于零,然后按照上述实施例进行相应的处理,具体不再赘述。
作为另一个实施例,如图6所示,在上述步骤S224之后,上述步骤S22还可以包括:
步骤S226B,响应于待分类移动物体正在靠近边界,判断边界之外是否存在另一车道,以及响应于待分类移动物体正在远离边界,判断车道的、与边界相对的另一边界之外是否存在另一车道。
具体而言,以待分类移动物体正在行驶的车道的左边界为例,当判断出待分类移动物体正在靠近左边界时,如果待分类移动物体要变道到左边,那么至少左边要有车道可以变换过去,否则肯定不可能变道;类似地,如果判断出待分类移动物体正在靠近右边界时,如果待分类移动物体要变道到右边,那么至少右边要有车道可以变换过去,否则肯定也不可能变道。因此可以通过判断是否存在可变车道来筛出不存在可变车道的情况,从而确定待分类移动物体是无变道移动物体。在一个实施例中,可以结合高精度地图来判断是否存在可变车道,即提取待分类移动物体的可变车道特征,如果存在可变车道,则可变车道特征值为1,如果不存在可变车道,则可变车道特征值为-1。
此时,步骤S23的对的一组特征进行机器学习分类,得到待分类移动物体的第一分类结果包括:
根据是否存在另一车道的判断结果,得到第一分类结果。
具体而言,根据上述的记载可知,如果在上述步骤S226B判断出不存在可变车道,那么根据这一判断结果,相应地赋值可变车道特征值,输入到机器学习分类模块进行判断的结果比较可能就是待分类移动物体不会发生变道,那么第一分类结果就是无变道移动对象;如果在上述步骤S226B判断出待分类移动物体存在可变车道,那么根据这一判断结果,相应地赋值可变车道特征值,输入到机器学习分类模块进行判断的结果比较可能就是待分类移动物体会发生变道,那么第一分类结果就是变道移动对象。在一个实施例中,如果之前提取的距离特征向量是[3.0,2.0,1.0],如果可变车道特征值为1,则所有特征向量连接在一起得到新的特征向量为[1,3.0,2.0,1.0],输入机器学习分类模块以后输出的第一分类结果比较可能就是变道移动物体;如果之前提取的距离特征向量是[3.0,2.0,1.0],如果可变车道特征值为-1,则所有特征向量连接在一起得到新的特征向量为[-1,3.0,2.0,1.0],输入机器学习分类模块以后输出的第一分类结果比较可能就是无变道移动物体。
可选地,在一个实施例中,步骤S226A和/或步骤S226B之后,或者独立于步骤S226A和/或步骤S226B,上述步骤S22还可以包括:
步骤S226C(未图示),以时间序列获取与待分类移动物体相关的第一组信息帧中所述待分类移动物体在垂直于车道中心线的方向上的侧向速度特征。
具体而言,通过获取待分类移动物体的感知信息,还可以获知待分类移动物体的速度,再结合高精度的地图信息,就可以将速度分解为垂直于车道中心线的速度和平行于车道中心线的速度,其中垂直于车道中心线的速度即为侧向速度,侧向速度的赋值就是侧向速度特征。在其中一个实施例中,如果过去3个信息帧中的侧向速度特征向量为[4.2,3.6,3.8](定义正值表示速度方向靠近目标车道,负值表示速度方向远离目标车道),将这3维特征向量与之前的步骤S226A或者步骤S226B中的4维特征向量[1,3,2,1]连接就形成7维特征向量[1,3,2,1,4.2,3.6,3.8]。当然,在之前的方法中同时采用了步骤S226A与步骤S226B的情况下,可能此时就已经有一个5维向量[1,1,3,2,1],那么再跟上述3维的侧向速度特征向量连接就得到8维特征向量[-1,1,3,2,1,4.2,3.6,3.8],然后输入机器学习分类模块进行分类,得到分类结果。在一个实施例中,可以获取待分类移动物体在过去5个信息帧中的侧向速度。
侧向速度对于判断待分类移动物体也具有重要的参考价值。直观上,若速度方向靠近目标车道,那么车辆向目标车道移动,则在目标车道方向上的变道概率就高,在远离目标车道的方向上的变道概率就低,反之亦然;而且,侧向速度越大时,发生变道的概率也更高。因此,加入侧向速度特征向量是有利于提高机器学习分类模块的分类结果准确度的。
应当理解,在不同的实施例中,在步骤S22中可以同时采用步骤S226A、步骤S226B以及步骤S226C,并且先后顺序也没有限制,也可以只采用其中随意的一个或者两个。在采用步骤S226B的情况下,步骤S22中的其他子步骤可以参考采用步骤S226A时的其他子步骤,在此不再赘述。
应该理解的是,虽然图2-图6的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2-图6中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
如图7所示,在其中一个实施例中,本申请还提供一种对周围移动物体进行变道分类的系统,用于根据对待分类移动物体的感知信息和地图信息来将待分类移动物体分类为变道移动物体或者无变道移动物体,该系统包括:
特征提取模块72,用于以时间序列获取与待分类移动物体相关的第一组信息帧,从第一组信息帧中提取对待分类移动物体的感知信息的一组特征。
具体而言,在本车上先通过传感器,比如激光雷达(Lidar),尤其是通过其中的检测模块和跟踪模块获取对某一个待分类移动物体的感知信息,包括其在世界坐标系中的位置(包括历史位置)和速度及大小,再以一定程度结合地图信息,就可以获取本步骤所需的感知信息。在此按照时间序列,即按照时间上的先后顺序,获取最近的一组连续的信息帧用于特征提取,比如N帧的信息帧。这里只提取对待分类移动物体本身的感知信息,而不关注待分类移动物体与背景中其他交通参与者的交互信息,因此在此提取的是无交互特征。
机器学习分类模块74,用于对的一组特征进行机器学习分类,得到待分类移动物体的第一分类结果.
对于这些无交互特征,可以使用一般的机器学习分类器来处理,例如,包括但不限于逻辑回归(LR),支持向量机(SVM),随机森林(Random Forest)。这些机器学习分类器对所有待分类移动物体的无交互特征进行分类,得到第一分类结果,该结果可能是变道移动物体也可能是无变道移动物体。
交互信息图绘制模块76,用于响应于第一分类结果为变道移动物体,根据待分类移动物体与其他交通参与者的交互信息来绘制交互信息图。
将上述无交互特征到传统机器学习分类器中,可以得到两种分类结果,变道移动物体或者无变道移动物体。如果分类结果是无变道移动物体的话一般就是比较可靠的分类结果。本申请的发明人发现,90%以上的无变道移动物体都能够通过使用一般的机器学习分类器对无交互特征进行分类而得到正确分类。但是,有一小部分无变道移动物体的无交互特征与变道移动物体相似,从而会被错误地分类为变道移动物体。因此,如果分类结果是变道移动物体的话,可能还存在误差,需要再用更复杂但准确度更高的深度神经网络进行分类。为了进一步地分析,在前述信息/特征的基础上,可以进一步考虑待分类移动物体与其他交通参与者的交互信息/特征,通过已知的技术手段自动绘制成交互信息图。
深度分类模块78,用于将交互信息图输入深度神经网络,得到第二分类结果。
绘制的交互信息图包含丰富的二维和三维形状信息,能够很好地被深度神经网络识别或接受。将绘制的交互信息图输入深度神经网络中,例如,包括但不限于经典卷积神经网络(CNN)(比如VGG网络或者ResNet)。卷积神经网络首先对交互信息图进行特征提取,即提取到深度交互特征,然后再进行分类,即得到第二分类结果。这里可以使用已经封装好的、具备对交互信息图进行特征提取和分类的深度神经网络。在一个实施例中,也可以使用反向传播算法(例如随机梯度下降法(SGD)或者Adam算法)事先对深度神经网络进行训练。
通过上述技术方案,首先提取待分类移动物体提取的无交互特征,输入机器学习分类器得到第一分类结果,如果第一分类结果为无变道移动物体,则直接将待分类移动物体分类为无变道移动物体;如果第一分类结果为变道移动物体,则绘制该待分类移动物体对应的交互信息图,输入深度神经网络得到第二分类结果,如果第二分类结果为变道移动物体,则将待分类移动物体分类为变道移动物体,如果第二分类结果为无变道移动物体,则将待分类移动物体分类为无变道移动物体。本申请利用无交互特征结合机器学习分类器以较少的资源和较高的速度处理绝大部分易分类的无变道移动物体,从而达到高效的初步分类,进而利用交互信息图结合深度神经网络来处理难分类的移动物体,充分利用交互信息,以较少的资源消耗达到准确的细致分类的目的。简言之,本方案设计了两条分支来对待分类移动物体进行处理:一条简单但快速的机器学习方法的分支处理大部分易分类的无变道移动物体;另一条复杂但处理能力强的分支专注于解决剩余难分类的移动物体。
在其中一个实施例中,交互信息图绘制模块76还用于:
以待分类移动物体为中心,基于周围预设范围内的地图信息、对待分类移动物体的感知信息及对其他交通参与者的感知信息绘制交互信息图。
图3示出了其中一个实施例中的交互信息图。如图3所示,以待分类移动物体A为中心,将其周围预设范围的高精度地图信息及其他移动物体的感知信息绘制成图片。感知信息包括其他移动物体在世界坐标系中的位置(包括历史位置)、速度、大小,还包括对背景物体的感知信息,然后进行等比例地缩放来绘制。在图3中,白线表示车道边界D,两条车道边界D中间的深灰色线为车道中心线E,两条车道边界D之间为车道内部,与车道边界线D正交的为停止线F,图中还包括很多其他的移动物体B或交通参与者(如行人C),待分类移动物体A或其他移动物体B的拖影代表过去车所在的位置。通过诸如图3方法绘制,我们可以得到交互信息图。
如图8所示,在其中一个实施例中,特征提取模块72还包括:
距离和时间特征提取单元722,用于以时间序列获取与所述待分类移动物体相关的所述第一组信息帧中所述待分类移动物体距离所述待分类移动物体正在行驶的车道的一个边界的距离特征向量以及对应的时间特征向量。
具体而言,以时间序列获取待分类移动物体在过去连续数个信息帧中距离其正在行驶的车道左边界距离特征向量或过去连续数个信息帧中距离其正在行驶的车道右边界距离特征向量,以及相应的时间特征向量。在一个实施例中还可以车道中心线或其他目标作为参照,只要可以在与行进方向垂直的方向上显示移动物体的位置变化即可。在一个实施例中,具体可以时间序列获取过去连续N帧待分类移动物体距离车道左边界的距离,构成1*N维的距离特征向量,且该距离特征向量对应的时间特征向量为[-(N-1),-(N-2),...-1,0]。比如,过去3帧(包括当前时刻)离车道左边界距离是3米、2米、1米,那么距离特征向量就是[3.0,2.0,1.0],时间特征向量就是[-2,-1,0]。在一个实施例中,N的数值大于等于10。
距离判断单元724,用于根据所述距离特征向量及对应的所述时间特征向量,判断所述待分类移动物体是否正在靠近或远离所述边界。
根据上述距离特征向量和时间特征向量,即可获知待分类移动物体随着时间的推移,在与行进方向垂直的方向上,与参照目标,比如车道边界的距离的变化。从而得知待分类移动物体是否正在靠近或远离该边界。
变道判断单元726A,用于响应于所述待分类移动物体正在靠近或远离所述边界,以时间序列获取与所述待分类移动物体相关的第二组信息帧,从所述第二组信息帧中判断出所述待分类移动物体是否进行过变道。
具体而言,虽然判断出待分类移动物体正在靠近或远离车道边界,但是一般的移动物体,尤其是车辆在短时间内发生连续变道的概率是比较低的,如果之前已经发生过变道,那么短时间内发生变道的概率就低了。因此设置一道判断步骤,进行一次排除。在一个实施例中,可以对过去M帧中待分类移动对象是否发生过变道进行判断,即提取待分类移动物体的变道历史特征,如果待分类移动物体发生过变道则该变道历史特征值为-1,如果待分类移动物体没有发生过变道则该变道历史特征值为1。在一个实施例中,判断待分类移动物体是否发生过变道可以把待分类移动物体的历史位置信息和当前位置信息结合高精度地图信息进行比对,就可以知道待分类移动物体过去是不是发生过变道了。
所述机器学习分类模块74还用于根据所述变道判断单元726A输出的是否进行过变道的判断结果,得到所述第一分类结果。
具体而言,根据上述的记载可知,如果在上述变道判断单元726A判断出待分类移动物体发生过变道,那么根据这一判断结果,相应地赋值变道历史特征值,输入到机器学习分类模块进行判断的结果比较可能就是待分类移动物体不会再次发生变道,那么第一分类结果就是无变道移动对象;如果在上述变道判断单元726A判断出待分类移动物体没有发生过变道,那么根据这一判断结果,相应地赋值变道历史特征值,输入到机器学习分类模块进行判断的结果比较可能就是待分类移动物体会发生变道,那么第一分类结果就是变道移动对象。在一个实施例中,如果之前提取的距离特征向量是[3.0,2.0,1.0],如果变道历史特征值为-1,则所有特征向量连接在一起得到新的特征向量为[-1,3.0,2.0,1.0],输入机器学习分类模块以后输出的第一分类结果比较可能就是无变道移动物体;如果之前提取的距离特征向量是[3.0,2.0,1.0],如果变道历史特征值为1,则所有特征向量连接在一起得到新的特征向量为[1,3.0,2.0,1.0],输入机器学习分类模块74以后输出的第一分类结果比较可能就是变道移动物体。
在其中一个实施例中,所述距离判断单元724还用于:
a)将所述距离特征向量及对应的所述时间特征向量代入最小二乘公式,求得所述距离特征向量随所述时间特征向量的变化率。
以待分类移动物体距离其正在行驶的车道的左边界为例,如果将距离特征向量及对应的时间特征向量代入最小二乘公式,求得距离特征向量随时间特征向量的变化关系,也就是变化率(slope)。
b)响应于所述变化率小于零,判断所述待分类移动物体正在靠近所述边界。
如果求得距离特征向量随时间特征向量的变化率是小于零的(slope<0),仍然以待分类移动物体距离其正在行驶的车道的左边界为例,则说明待分类移动物体正在靠近其正在行驶的车道的左边界。
以及
c)响应于所述变化率大于零,判断所述待分类移动物体正在远离所述边界。
如果求得距离特征向量随时间特征向量的变化率是大于零的(slope>0),仍然以待分类移动物体距离其正在行驶的车道的左边界为例,则说明待分类移动物体正在靠近其正在行驶的车道的左边界。
当然,如果求得距离特征向量随时间特征向量的变化率是等于零的(slope=0),则说明待分类移动物体没有靠近也没有远离其正在行驶的车道的左边界,其行驶路线与车道的延伸方向保持平行。当然,实际应用中计算得到的距离特征向量随时间特征向量的变化率几乎不会刚好等于零,而是通常大于或者小于零,因此需要按照实践经验或者精度需要设定相应的阈值,比如设定变化率小于第一阈值且大于第二阈值,则视为等于零,其中,第一阈值较大,第二阈值较小。而超过第一阈值则视为大于零,低于第二阈值则视为小于零,然后按照上述实施例进行相应的处理,具体不再赘述。
在其中一个实施例中,如图9所示,所述特征提取模块72还包括:
车道判断单元726B,用于响应于所述待分类移动物体正在靠近所述边界,判断所述边界之外是否存在另一车道,以及响应于所述待分类移动物体正在远离所述边界,判断所述车道的、与所述边界相对的另一边界之外是否存在另一车道。
具体而言,以待分类移动物体正在行驶的车道的左边界为例,当判断出待分类移动物体正在靠近左边界时,如果待分类移动物体要变道到左边,那么至少左边要有车道可以变换过去,否则肯定不可能变道;类似地,如果判断出待分类移动物体正在靠近右边界时,如果待分类移动物体要变道到右边,那么至少右边要有车道可以变换过去,否则肯定也不可能变道。因此可以通过判断是否存在可变车道来筛出不存在可变车道的情况,从而确定待分类移动物体是无变道移动物体。在一个实施例中,可以结合高精度地图来判断是否存在可变车道,即提取待分类移动物体的可变车道特征,如果存在可变车道,则可变车道特征值为1,如果不存在可变车道,则可变车道特征值为-1。
此时,所述的机器学习分类模块74还用于根据所述车道判断单元726B输出的是否存在另一车道的判断结果,得到所述第一分类结果。
具体而言,根据上述的记载可知,如果在上述车道判断单元726B判断出不存在可变车道,那么根据这一判断结果,相应地赋值可变车道特征值,输入到机器学习分类模块进行判断的结果比较可能就是待分类移动物体不会发生变道,那么第一分类结果就是无变道移动对象;如果在上述车道判断单元726B判断出待分类移动物体存在可变车道,那么根据这一判断结果,相应地赋值可变车道特征值,输入到机器学习分类模块进行判断的结果比较可能就是待分类移动物体会发生变道,那么第一分类结果就是变道移动对象。在一个实施例中,如果之前提取的距离特征向量是[3.0,2.0,1.0],如果可变车道特征值为1,则所有特征向量连接在一起得到新的特征向量为[1,3.0,2.0,1.0],输入机器学习分类模块以后输出的第一分类结果比较可能就是变道移动物体;如果之前提取的距离特征向量是[3.0,2.0,1.0],如果可变车道特征值为-1,则所有特征向量连接在一起得到新的特征向量为[-1,3.0,2.0,1.0],输入机器学习分类模块以后输出的第一分类结果比较可能就是无变道移动物体。
应当理解,在不同的实施例中,在特征提取模块72中可以同时采用变道判断单元726A和车道判断单元726B,并且两者的工作的先后顺序也没有限制,也可以只采用其中一个。在采用车道判断单元726B的情况下,特征提取模块72中的其他单元的功能可以参考采用变道判断单元726A时的其他单元的功能,在此不再赘述。
关于对周围移动物体进行变道分类的系统的具体限定可以参见上文中对于对周围移动物体进行变道分类的方法的限定,在此不再赘述。上述对周围移动物体进行变道分类的系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
本申请还提供一种对周围移动物体进行变道分类的计算机设备,包括存储器和一个或多个处理器,存储器中储存有计算机可读指令,计算机可读指令被处理器执行时,使得一个或多个处理器执行时实现上述方法实施例中的步骤。
在一个实施例中,上述计算机设备的内部结构图可以如图10所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机可读指令和数据库。该内存储器为非易失性存储介质中的操作系统和计算机可读指令的运行提供环境。该计算机设备的数据库用于存储对周围移动物体的感知信息和高精地图信息等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机可读指令被处理器执行时以实现一种对周围移动物体进行变道分类的方法。
本领域技术人员可以理解,图10中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
本申请还提供一种用于对周围移动物体进行变道分类的一个或多个存储有计算机可读指令的非易失性计算机可读存储介质,计算机可读指令被一个或多个处理器执行时,使得一个或多个处理器执行时实现上述方法实施例中的步骤。
本申请还提供一种车辆,包括上述实施例所述的系统,能够执行上述实施例所述的方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机可读指令来指令相关的硬件来完成,所述的计算机可读指令可存储于一非易失性计算机可读取存储介质中,该计算机可读指令在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (20)
1.一种对周围移动物体进行变道分类的方法,用于根据对待分类移动物体的感知信息和地图信息来将待分类移动物体分类为变道移动物体或者无变道移动物体,所述方法包括:
以时间序列获取与所述待分类移动物体相关的第一组信息帧,从所述第一组信息帧中提取对所述待分类移动物体的所述感知信息的一组无交互特征;所述无交互特征是指不关注所述待分类移动物体与背景中其他交通参与者的交互信息的特征;
对所述的一组无交互特征进行机器学习分类,得到所述待分类移动物体的第一分类结果;
当所述第一分类结果为无变道移动物体,将所述待分类移动物体分类为无变道移动物体;
当所述第一分类结果为变道移动物体,响应于所述第一分类结果为变道移动物体,根据所述待分类移动物体与其他交通参与者的交互信息来绘制交互信息图;以及
将所述交互信息图输入深度神经网络,得到第二分类结果。
2.根据权利要求1所述的方法,其特征在于,所述的根据所述待分类移动物体与其他交通参与者的交互信息来绘制交互信息图包括:
以所述待分类移动物体为中心,基于周围预设范围内的所述地图信息、对所述待分类移动物体的所述感知信息及对所述其他交通参与者的感知信息绘制所述交互信息图。
3.根据权利要求1所述的方法,其特征在于:
所述的以时间序列获取与所述待分类移动物体相关的所述第一组信息帧,从所述第一组信息帧中提取对所述待分类移动物体的所述感知信息的所述一组无交互特征包括:
以时间序列获取与所述待分类移动物体相关的所述第一组信息帧中所述待分类移动物体距离所述待分类移动物体正在行驶的车道的一个边界的距离特征向量以及对应的时间特征向量;
根据所述距离特征向量及对应的所述时间特征向量,判断所述待分类移动物体是否正在靠近或远离所述边界;以及
响应于所述待分类移动物体正在靠近或远离所述边界,以时间序列获取与所述待分类移动物体相关的第二组信息帧,从所述第二组信息帧中判断出所述待分类移动物体是否进行过变道;
并且,所述的对所述的一组无交互特征进行机器学习分类,得到所述待分类移动物体的所述第一分类结果包括:
根据所述是否进行过变道的判断结果,得到所述第一分类结果。
4.根据权利要求3所述的方法,其特征在于,所述的根据所述距离特征向量及对应的所述时间特征向量,判断所述待分类移动物体是否正在靠近或远离所述边界包括:
将所述距离特征向量及对应的所述时间特征向量代入最小二乘公式,求得所述距离特征向量随所述时间特征向量的变化率;
响应于所述变化率小于零,判断所述待分类移动物体正在靠近所述边界;以及
响应于所述变化率大于零,判断所述待分类移动物体正在远离所述边界。
5.根据权利要求3所述的方法,其特征在于:
所述的以时间序列获取与所述待分类移动物体相关的所述第一组信息帧,从所述第一组信息帧中提取对所述待分类移动物体的所述感知信息的所述一组无交互特征还包括:
以时间序列获取与所述待分类移动物体相关的所述第一组信息帧中所述待分类移动物体在垂直于车道中心线的方向上的侧向速度特征;
并且所述的对所述的一组无交互特征进行机器学习分类,得到所述待分类移动物体的第一分类结果包括:
根据是否存在另一车道的判断结果以及侧向速度特征,得到所述第一分类结果。
6.根据权利要求1所述的方法,其特征在于:
所述的以时间序列获取与所述待分类移动物体相关的所述第一组信息帧,从所述第一组信息帧中提取对所述待分类移动物体的所述感知信息的所述一组无交互特征包括:
以时间序列获取与所述待分类移动物体相关的所述第一组信息帧中所述待分类移动物体距离所述待分类移动物体正在行驶的车道的一个边界的距离特征向量以及对应的时间特征向量;
根据所述距离特征向量及对应的所述时间特征向量,判断所述待分类移动物体是否正在靠近或远离所述边界;
响应于所述待分类移动物体正在靠近所述边界,判断所述边界之外是否存在另一车道;以及
响应于所述待分类移动物体正在远离所述边界,判断所述车道的、与所述边界相对的另一边界之外是否存在另一车道;
并且所述的对所述的一组无交互特征进行机器学习分类,得到所述待分类移动物体的第一分类结果包括:
根据所述是否存在另一车道的判断结果,得到所述第一分类结果。
7.根据权利要求5所述的方法,其特征在于,所述的根据所述距离特征向量及对应的所述时间特征向量,判断所述待分类移动物体是否正在靠近或远离所述边界包括:
将所述距离特征向量及对应的所述时间特征向量代入最小二乘公式,求得所述距离特征向量随所述时间特征向量的变化率;
响应于所述变化率小于零,判断所述待分类移动物体正在靠近所述边界;以及
响应于所述变化率大于零,判断所述待分类移动物体正在远离所述边界。
8.根据权利要求6所述的方法,其特征在于:
所述的以时间序列获取与所述待分类移动物体相关的所述第一组信息帧,从所述第一组信息帧中提取对所述待分类移动物体的所述感知信息的所述一组无交互特征还包括:
以时间序列获取与所述待分类移动物体相关的所述第一组信息帧中所述待分类移动物体在垂直于车道中心线的方向上的侧向速度特征;
并且所述的对所述的一组无交互特征进行机器学习分类,得到所述待分类移动物体的第一分类结果还包括:
根据所述是否存在另一车道的判断结果以及所述侧向速度特征,得到所述第一分类结果。
9.根据权利要求1所述的方法,其特征在于,所述地图信息包括车道边界、车道中心线、车道内部、停止线、所述待分类移动物体以及所述其他交通参与者。
10.一种对周围移动物体进行变道分类的系统,用于根据对待分类移动物体的感知信息和地图信息来将待分类移动物体分类为变道移动物体或者无变道移动物体,所述系统包括:
特征提取模块,用于以时间序列获取与所述待分类移动物体相关的第一组信息帧,从所述第一组信息帧中提取对所述待分类移动物体的所述感知信息的一组无交互特征;所述无交互特征是指不关注所述待分类移动物体与背景中其他交通参与者的交互信息的特征;
机器学习分类模块,用于对所述的一组无交互特征进行机器学习分类,得到所述待分类移动物体的第一分类结果;当所述第一分类结果为无变道移动物体,将所述待分类移动物体分类为无变道移动物体;
交互信息图绘制模块,用于当所述第一分类结果为变道移动物体,响应于所述第一分类结果为变道移动物体,根据所述待分类移动物体与其他交通参与者的交互信息来绘制交互信息图;以及
深度分类模块,用于将所述交互信息图输入深度神经网络,得到第二分类结果。
11.根据权利要求10所述的系统,其特征在于,所述交互信息图绘制模块还用于:
以所述待分类移动物体为中心,基于周围预设范围内的所述地图信息、对所述待分类移动物体的所述感知信息及对所述其他交通参与者的感知信息绘制所述交互信息图。
12.根据权利要求10所述的系统,其特征在于,所述特征提取模块还包括:
距离和时间特征提取单元,用于以时间序列获取与所述待分类移动物体相关的所述第一组信息帧中所述待分类移动物体距离所述待分类移动物体正在行驶的车道的一个边界的距离特征向量以及对应的时间特征向量;
距离判断单元,用于根据所述距离特征向量及对应的所述时间特征向量,判断所述待分类移动物体是否正在靠近或远离所述边界;以及
变道判断单元,用于响应于所述待分类移动物体正在靠近或远离所述边界,以时间序列获取与所述待分类移动物体相关的第二组信息帧,从所述第二组信息帧中判断出所述待分类移动物体是否进行过变道;并且
所述机器学习分类模块还用于根据所述变道判断单元输出的是否进行过变道的判断结果,得到所述第一分类结果。
13.根据权利要求12所述的系统,其特征在于,所述距离判断单元还用于:
将所述距离特征向量及对应的所述时间特征向量代入最小二乘公式,求得所述距离特征向量随所述时间特征向量的变化率;
响应于所述变化率小于零,判断所述待分类移动物体正在靠近所述边界;以及
响应于所述变化率大于零,判断所述待分类移动物体正在远离所述边界。
14.根据权利要求10所述的系统,其特征在于,所述特征提取模块还包括:
距离和时间特征提取单元,用于以时间序列获取与所述待分类移动物体相关的所述第一组信息帧中所述待分类移动物体距离所述待分类移动物体正在行驶的车道的一个边界的距离特征向量以及对应的时间特征向量;
距离判断单元,用于根据所述距离特征向量及对应的所述时间特征向量,判断所述待分类移动物体是否正在靠近或远离所述边界;以及
车道判断单元,用于响应于所述待分类移动物体正在靠近所述边界,判断所述边界之外是否存在另一车道;以及响应于所述待分类移动物体正在远离所述边界,判断所述车道的、与所述边界相对的另一边界之外是否存在另一车道;并且
所述的机器学习分类模块还用于根据所述车道判断单元输出的是否存在另一车道的判断结果,得到所述第一分类结果。
15.根据权利要求14所述的系统,其特征在于,所述距离判断单元还用于:
将所述距离特征向量及对应的所述时间特征向量代入最小二乘公式,求得所述距离特征向量随所述时间特征向量的变化率;
响应于所述变化率小于零,判断所述待分类移动物体正在靠近所述边界;以及响应于所述变化率大于零,判断所述待分类移动物体正在远离所述边界。
16.一种计算机设备,用于根据对待分类移动物体的感知信息和地图信息来将待分类移动物体分类为变道移动物体或者无变道移动物体,且包括存储器及一个或多个处理器,所述存储器中储存有计算机可读指令,所述计算机可读指令被所述一个或多个处理器执行时,使得所述一个或多个处理器执行以下步骤:
以时间序列获取与所述待分类移动物体相关的第一组信息帧,从所述第一组信息帧中提取对所述待分类移动物体的所述感知信息的一组无交互特征;所述无交互特征是指不关注所述待分类移动物体与背景中其他交通参与者的交互信息的特征;
对所述的一组无交互特征进行机器学习分类,得到所述待分类移动物体的第一分类结果;
当所述第一分类结果为无变道移动物体,将所述待分类移动物体分类为无变道移动物体;当所述第一分类结果为变道移动物体,响应于所述第一分类结果为变道移动物体,根据所述待分类移动物体与其他交通参与者的交互信息来绘制交互信息图;以及
将所述交互信息图输入深度神经网络,得到第二分类结果。
17.根据权利要求16所述的计算机设备,其特征在于,所述根据所述待分类移动物体与其他交通参与者的交互信息来绘制交互信息图包括:
以所述待分类移动物体为中心,基于周围预设范围内的所述地图信息、对所述待分类移动物体的所述感知信息及对所述其他交通参与者的感知信息绘制所述交互信息图。
18.一个或多个存储有计算机可读指令的非易失性计算机可读存储介质,用于根据对待分类移动物体的感知信息和地图信息来将待分类移动物体分类为变道移动物体或者无变道移动物体,且所述计算机可读指令被一个或多个处理器执行时,使得所述一个或多个处理器执行以下步骤:
以时间序列获取与所述待分类移动物体相关的第一组信息帧,从所述第一组信息帧中提取对所述待分类移动物体的所述感知信息的一组无交互特征;所述无交互特征是指不关注所述待分类移动物体与背景中其他交通参与者的交互信息的特征;
对所述的一组无交互特征进行机器学习分类,得到所述待分类移动物体的第一分类结果;
当所述第一分类结果为无变道移动物体,将所述待分类移动物体分类为无变道移动物体;
当所述第一分类结果为变道移动物体,响应于所述第一分类结果为变道移动物体,根据所述待分类移动物体与其他交通参与者的交互信息来绘制交互信息图;以及
将所述交互信息图输入深度神经网络,得到第二分类结果。
19.根据权利要求18所述的存储介质,其特征在于,所述根据所述待分类移动物体与其他交通参与者的交互信息来绘制交互信息图包括:
以所述待分类移动物体为中心,基于周围预设范围内的所述地图信息、对所述待分类移动物体的所述感知信息及对所述其他交通参与者的感知信息绘制所述交互信息图。
20.一种车辆,包括权利要求10所述的系统。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2020/100871 WO2022006777A1 (zh) | 2020-07-08 | 2020-07-08 | 对周围移动物体进行变道分类的方法、系统、计算机设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115053277A CN115053277A (zh) | 2022-09-13 |
CN115053277B true CN115053277B (zh) | 2024-04-16 |
Family
ID=79553606
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080093108.3A Active CN115053277B (zh) | 2020-07-08 | 2020-07-08 | 对周围移动物体进行变道分类的方法、系统、计算机设备及存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN115053277B (zh) |
WO (1) | WO2022006777A1 (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114523976B (zh) * | 2022-04-22 | 2022-10-21 | 北京宏景智驾科技有限公司 | 用于智能驾驶车辆的控制系统及方法 |
CN117076994B (zh) * | 2023-10-18 | 2024-01-26 | 清华大学深圳国际研究生院 | 一种多通道生理时间序列分类方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110562258A (zh) * | 2019-09-30 | 2019-12-13 | 驭势科技(北京)有限公司 | 一种车辆自动换道决策的方法、车载设备和存储介质 |
CN110796856A (zh) * | 2019-10-16 | 2020-02-14 | 腾讯科技(深圳)有限公司 | 车辆变道意图预测方法及变道意图预测网络的训练方法 |
CN111104969A (zh) * | 2019-12-04 | 2020-05-05 | 东北大学 | 一种无人驾驶车辆与周边车辆的碰撞可能性预判方法 |
CN111383464A (zh) * | 2018-12-28 | 2020-07-07 | 沈阳美行科技有限公司 | 车辆变道识别方法、装置、电子设备和介质 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180349526A1 (en) * | 2016-06-28 | 2018-12-06 | Cognata Ltd. | Method and system for creating and simulating a realistic 3d virtual world |
US10997729B2 (en) * | 2018-11-30 | 2021-05-04 | Baidu Usa Llc | Real time object behavior prediction |
CN110843789B (zh) * | 2019-11-19 | 2021-07-06 | 苏州智加科技有限公司 | 一种基于时序卷积网络的车辆换道意图预测方法 |
CN111289266B (zh) * | 2020-03-27 | 2021-11-30 | 中国汽车工程研究院股份有限公司 | 一种车辆主动变道系统测试评价方法 |
-
2020
- 2020-07-08 CN CN202080093108.3A patent/CN115053277B/zh active Active
- 2020-07-08 WO PCT/CN2020/100871 patent/WO2022006777A1/zh active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111383464A (zh) * | 2018-12-28 | 2020-07-07 | 沈阳美行科技有限公司 | 车辆变道识别方法、装置、电子设备和介质 |
CN110562258A (zh) * | 2019-09-30 | 2019-12-13 | 驭势科技(北京)有限公司 | 一种车辆自动换道决策的方法、车载设备和存储介质 |
CN110796856A (zh) * | 2019-10-16 | 2020-02-14 | 腾讯科技(深圳)有限公司 | 车辆变道意图预测方法及变道意图预测网络的训练方法 |
CN111104969A (zh) * | 2019-12-04 | 2020-05-05 | 东北大学 | 一种无人驾驶车辆与周边车辆的碰撞可能性预判方法 |
Also Published As
Publication number | Publication date |
---|---|
CN115053277A (zh) | 2022-09-13 |
WO2022006777A1 (zh) | 2022-01-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Caltagirone et al. | LIDAR-based driving path generation using fully convolutional neural networks | |
CN107368890B (zh) | 一种以视觉为中心的基于深度学习的路况分析方法及系统 | |
WO2021134441A1 (zh) | 基于自动驾驶的车辆速度控制方法、装置和计算机设备 | |
US11727668B2 (en) | Using captured video data to identify pose of a vehicle | |
CN110843789B (zh) | 一种基于时序卷积网络的车辆换道意图预测方法 | |
CN108133484B (zh) | 基于场景分割的自动驾驶处理方法及装置、计算设备 | |
Niranjan et al. | Deep learning based object detection model for autonomous driving research using carla simulator | |
US20220156483A1 (en) | Efficient three-dimensional object detection from point clouds | |
CN115053277B (zh) | 对周围移动物体进行变道分类的方法、系统、计算机设备及存储介质 | |
Padmaja et al. | A novel design of autonomous cars using IoT and visual features | |
CN111491093A (zh) | 一种摄像头视场角的调整方法和装置 | |
CN112487905A (zh) | 一种车辆周边行人危险等级预测方法及系统 | |
de Paula Veronese et al. | An accurate and computational efficient system for detecting and classifying ego and sides lanes using LiDAR | |
Kanchana et al. | Computer vision for autonomous driving | |
Aditya et al. | Collision Detection: An Improved Deep Learning Approach Using SENet and ResNext | |
Kadav et al. | Development of Computer Vision Models for Drivable Region Detection in Snow Occluded Lane Lines | |
Al Mamun et al. | Efficient lane marking detection using deep learning technique with differential and cross-entropy loss. | |
WO2021134357A1 (zh) | 感知信息处理方法、装置、计算机设备和存储介质 | |
EP4099210A1 (en) | Method for training a neural network for semantic image segmentation | |
CN115376129A (zh) | 矿区路面语义分割方法、装置、芯片、终端和计算机设备 | |
Kaida et al. | Study on Behavior Prediction Using Multi-object Recognition and Map Information in Road Environment | |
Munir et al. | Visuomotor Steering angle Prediction in Dynamic Perception Environment for Autonomous Vehicle | |
EP4137845A1 (en) | Methods and systems for predicting properties of a plurality of objects in a vicinity of a vehicle | |
US20230334870A1 (en) | Scene Classification Method, Apparatus and Computer Program Product | |
US20240062386A1 (en) | High throughput point cloud processing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |