CN115965940A - 车辆状态的确定方法、装置、电子设备和存储介质 - Google Patents

车辆状态的确定方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN115965940A
CN115965940A CN202310015767.0A CN202310015767A CN115965940A CN 115965940 A CN115965940 A CN 115965940A CN 202310015767 A CN202310015767 A CN 202310015767A CN 115965940 A CN115965940 A CN 115965940A
Authority
CN
China
Prior art keywords
current
state quantity
target vehicle
determining
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310015767.0A
Other languages
English (en)
Inventor
袁贤哲
请求不公布姓名
潘铭星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Horizon Information Technology Co Ltd
Original Assignee
Beijing Horizon Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Horizon Information Technology Co Ltd filed Critical Beijing Horizon Information Technology Co Ltd
Priority to CN202310015767.0A priority Critical patent/CN115965940A/zh
Publication of CN115965940A publication Critical patent/CN115965940A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Traffic Control Systems (AREA)

Abstract

本公开实施例公开了一种车辆状态的确定方法、装置、电子设备和存储介质,其中,方法包括:基于当前帧图像,确定目标车辆的当前检测框信息;基于当前检测框信息,确定目标车辆的当前观测尺寸、当前观测纵向距离和当前观测横向距离;基于目标车辆的在前状态量、当前观测尺寸、当前观测纵向距离、当前观测横向距离,确定目标车辆的当前状态量,在前状态量包括在前获得的第一数量的历史帧分别对应的优化后的状态量;基于当前状态量,确定目标车辆的当前状态。本公开实施例实现了目标车辆位置、速度、加速等状态的同时确定,相对于现有的滤波方法,可以有效避免加速度对速度、速度对位置的依赖,大大提高获得的目标车辆状态的准确性和稳定性。

Description

车辆状态的确定方法、装置、电子设备和存储介质
技术领域
本公开涉及计算机视觉技术,尤其是一种车辆状态的确定方法、装置、电子设备和存储介质。
背景技术
在自动驾驶场景中,实时且稳定地确定周围动态车辆的状态(比如位置、速度、加速度,等等),对于车辆行驶安全十分重要,相关技术中,通常基于单目相机滤波方法确定周围动态车辆的状态,比如自上而下分别构建位置、速度、加速度的EKF(Extended KalmanFilter,扩展卡尔曼滤波器)滤波器(即位置滤波器的输出作为速度滤波器的输入,速度滤波器的输出作为加速度滤波器的输入),进行车辆状态的估计,但是EKF滤波器,由于是自上而下,导致加速度对速度、速度对位置都有很强的依赖性,若优化的位置发生抖动或产生滞后,速度和加速度的抖动和滞后会更加严重,从而导致获得的车辆的状态准确性较差。
发明内容
为了解决上述滤波器获得的车辆状态准确性较差等技术问题,提出了本公开。本公开的实施例提供了一种车辆状态的确定方法、装置、电子设备和存储介质。
根据本公开实施例的一个方面,提供了一种车辆状态的确定方法,包括:基于当前帧图像,确定目标车辆的当前检测框信息;基于所述当前检测框信息,确定所述目标车辆的当前观测尺寸、当前观测纵向距离和当前观测横向距离;基于所述目标车辆的在前状态量、所述当前观测尺寸、所述当前观测纵向距离、所述当前观测横向距离,确定所述目标车辆的当前状态量,所述在前状态量包括在前获得的第一数量的历史帧分别对应的优化后的状态量;基于所述当前状态量,确定所述目标车辆的当前状态。
根据本公开实施例的另一个方面,提供了一种车辆状态的确定装置,包括:第一处理模块,用于基于当前帧图像,确定目标车辆的当前检测框信息;第二处理模块,用于基于所述当前检测框信息,确定所述目标车辆的当前观测尺寸、当前观测纵向距离和当前观测横向距离;第三处理模块,用于基于所述目标车辆的在前状态量、所述当前观测尺寸、所述当前观测纵向距离、所述当前观测横向距离,确定所述目标车辆的当前状态量,所述在前状态量包括在前获得的第一数量的历史帧分别对应的优化后的状态量;第四处理模块,用于基于所述当前状态量,确定所述目标车辆的当前状态。
根据本公开实施例的再一方面,提供一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序用于执行本公开上述任一实施例所述的车辆状态的确定方法。
根据本公开实施例的又一方面,提供一种电子设备,所述电子设备包括:处理器;用于存储所述处理器可执行指令的存储器;所述处理器,用于从所述存储器中读取所述可执行指令,并执行所述指令以实现本公开上述任一实施例所述的车辆状态的确定方法。
基于本公开上述实施例提供的车辆状态的确定方法、装置、电子设备和存储介质,通过目标车辆的检测框估计目标车辆的观测尺寸和观测距离,并结合目标车辆在一定数量的历史帧的状态,通过优化获得当前帧的当前状态,实现了目标车辆位置、速度、加速度等状态的同时确定,相对于现有的滤波方法,可以有效避免加速度对速度、速度对位置的依赖,大大提高获得的目标车辆状态的准确性和稳定性。
下面通过附图和实施例,对本公开的技术方案做进一步的详细描述。
附图说明
通过结合附图对本公开实施例进行更详细的描述,本公开的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解,并且构成说明书的一部分,与本公开实施例一起用于解释本公开,并不构成对本公开的限制。在附图中,相同的参考标号通常代表相同部件或步骤。
图1是本公开提供的车辆状态的确定方法的一个示例性的应用场景;
图2是本公开一示例性实施例提供的车辆状态的确定方法的流程示意图;
图3是本公开另一示例性实施例提供的车辆状态的确定方法的流程示意图;
图4是本公开一示例性实施例提供的步骤203的流程示意图;
图5是本公开另一示例性实施例提供的步骤203的流程示意图;
图6是本公开一示例性实施例提供的距离的确定原理示意图;
图7是本公开一示例性实施例提供的车辆状态的确定装置的结构示意图;
图8是本公开另一示例性实施例提供的车辆状态的确定装置的结构示意图;
图9是本公开电子设备一个应用实施例的结构示意图。
具体实施方式
下面,将参考附图详细地描述根据本公开的示例实施例。显然,所描述的实施例仅仅是本公开的一部分实施例,而不是本公开的全部实施例,应理解,本公开不受这里描述的示例实施例的限制。
应注意到:除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
本领域技术人员可以理解,本公开实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等,既不代表任何特定技术含义,也不表示它们之间的必然逻辑顺序。
还应理解,在本公开实施例中,“多个”可以指两个或两个以上,“至少一个”可以指一个、两个或两个以上。
还应理解,对于本公开实施例中提及的任一部件、数据或结构,在没有明确限定或者在前后文给出相反启示的情况下,一般可以理解为一个或多个。
另外,本公开中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本公开中字符“/”,一般表示前后关联对象是一种“或”的关系。
还应理解,本公开对各个实施例的描述着重强调各个实施例之间的不同之处,其相同或相似之处可以相互参考,为了简洁,不再一一赘述。
同时,应当明白,为了便于描述,附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本公开及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为说明书的一部分。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。
本公开实施例可以应用于终端设备、计算机系统、服务器等电子设备,其可与众多其它通用或专用计算系统环境或配置一起操作。适于与终端设备、计算机系统、服务器等电子设备一起使用的众所周知的终端设备、计算系统、环境和/或配置的例子包括但不限于:个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统、大型计算机系统和包括上述任何系统的分布式云计算技术环境,等等。
终端设备、计算机系统、服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常,程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等,它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施,分布式云计算环境中,任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中,程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
本公开概述
在实现本公开的过程中,发明人发现,在自动驾驶场景中,实时且稳定地确定周围动态车辆的状态(比如位置、速度、加速度,等等),对于车辆行驶安全十分重要,相关技术中,通常基于单目相机滤波方法确定周围动态车辆的状态,比如自上而下分别构建位置、速度、加速度的EKF(Extended Kalman Filter,扩展卡尔曼滤波器)滤波器(即位置滤波器的输出作为速度滤波器的输入,速度滤波器的输出作为加速度滤波器的输入),进行车辆状态的估计,但是EKF滤波器,由于是自上而下,导致加速度对速度、速度对位置都有很强的依赖性,若优化的位置发生抖动或产生滞后,速度和加速度的抖动和滞后会更加严重,从而导致获得的车辆的状态准确性较差。
本公开实施例提供的车辆状态的确定方法,不限于应用于自动驾驶场景,还可以根据实际需求应用于其他任意可能的场景,比如辅助驾驶场景,具体不作限定。
示例性概述
图1是本公开提供的车辆状态的确定方法的一个示例性的应用场景。
在自动驾驶场景,可以通过车辆(自车)上的摄像头采集周围目标车辆的图像,利用本公开的车辆状态的确定方法,可以基于采集的当前帧图像,确定观测到的目标车辆的当前检测框信息,基于当前检测框信息确定目标车辆的当前观测尺寸、当前观测纵向距离和当前观测横向距离,进而基于目标车辆的在前状态量、当前观测尺寸、当前观测纵向距离和当前观测横向距离,确定目标车辆的当前状态量,基于当前状态量确定目标车辆的当前状态。其中,在前状态量包括在前获得的第一数量的历史帧分别对应的优化后的状态量。目标车辆的当前状态可以包括目标车辆的位置、速度、加速度、尺寸等状态中的至少一种,本公开通过目标车辆的检测框估计目标车辆的观测尺寸和观测距离,并结合目标车辆在一定数量的历史帧的状态,通过优化获得当前帧的当前状态,实现了目标车辆位置、速度、加速度等状态的并行同时优化,有效降低不同状态之间的依赖性,相对于现有的滤波方法,可以有效避免加速度对速度的依赖、以及速度对位置的依赖,大大提高获得的目标车辆状态的准确性和稳定性。
示例性方法
图2是本公开一示例性实施例提供的车辆状态的确定方法的流程示意图。本实施例可应用在电子设备上,具体比如车载计算平台上,如图2所示,包括如下步骤:
步骤201,基于当前帧图像,确定目标车辆的当前检测框信息。
其中,当前帧图像可以包括一个或多个视角的图像,比如当前帧图像可以是通过车辆(自车)上的一个或多个视角的摄像头在当前时刻采集获得。目标车辆是当前帧图像中观测到的周围车辆,目标车辆的数量可以为一个或多个。每个目标车辆的当前检测框信息可以包括该目标车辆在当前帧图像中的检测框位置,检测框位置的具体表示方式可以根据实际需求设置,比如可以表示为检测框中心点的像素坐标和检测框的长和宽,还可以表示为检测框的四个角点的像素坐标,等等,具体不作限定。
在一个可选实施例中,目标车辆的当前检测框信息可以包括目标车辆的当前全车框信息和当前车尾框信息。
在一个可选实施例中,目标车辆的当前检测框信息可以包括目标车辆的当前全车框信息和当前车头框信息。
步骤202,基于当前检测框信息,确定目标车辆的当前观测尺寸、当前观测纵向距离和当前观测横向距离。
其中,当前观测尺寸可以包括目标车辆的观测高度和观测宽度中的至少一种,具体可以根据实际需求设置。当观测纵向距离表示目标车辆与自车在纵向方向的距离,当前观测横向距离表示目标车辆与自车在横向方向的距离。其中,纵向方向可以是指自车的长度方向,横向方向可以是指自车的宽度方向。
在一个可选实施例中,目标车辆与自车在纵向方向的距离及横向方向的距离可以采用目标车辆与观测目标车辆的相机的距离表示,也可以根据相机与自车的位置关系,将目标车辆与相机的距离转换为目标车辆与自车的预设位置的距离,具体可以根据实际需求设置。
在一个可选实施例中,当前观测尺寸可以基于目标车辆的类型确定,目标车辆的类型可以基于当前检测框信息从当前图像提取目标车辆图像,进而对目标车辆图像进行分类获得。
在一个可选实施例中,目标车辆的类型还可以是与目标车辆的当前检测框信息一起获得,比如利用预先训练获得的目标检测模型对当前帧图像进行目标检测,同时输出目标车辆的当前检测框信息和类型,具体可以根据实际需求设置。
在一个可选实施例中,当前观测纵向距离和当前观测横向距离可以分别基于对应的预设映射规则确定,预设映射规则可基于成像原理中目标车辆的图像尺寸与物理空间尺寸的比例关系设置。
步骤203,基于目标车辆的在前状态量、当前观测尺寸、当前观测纵向距离、当前观测横向距离,确定目标车辆的当前状态量,在前状态量包括在前获得的第一数量的历史帧分别对应的优化后的状态量。
其中,第一数量可以根据实际需求设置。
在一个可选实施例中,任一历史帧对应的优化后的状态量可以为该历史帧的车辆状态的确定流程优化获得的该历史帧对应的目标车辆的状态量。
在一个可选实施例中,任一历史帧对应的优化后的状态量也可以为当前帧的前一帧的车辆状态的确定流程进行优化获得的各历史帧的目标车辆的状态量。也即在每一帧都可以对所有帧的目标车辆状态进行更新,比如当前帧为第10帧,除了对第10帧的当前初始状态量进行更新获得当前帧的优化后的状态量之外,还可以对在第9帧进行更新获得的9帧的目标车辆的优化后状态量再次进行优化,获得该9帧分别对应的优化后的状态量,则在第10帧的优化流程可以获得10帧分别对应的目标车辆的优化后的状态量。
在一个可选实施例中,也可以通过滑动窗口限定历史帧的数量,比如限定为10帧,则在观测帧数超过10帧后,每帧的车辆状态的确定流程均可以确定10帧(包括当前帧和9帧历史帧)分别对应的目标车辆的优化后的状态量。具体可以根据实际需求设置。
在一个可选实施例中,可以采用预设优化算法进行状态量的优化,获得目标车辆的当前状态量。预设优化算法可以为任意可实施的优化算法,比如非线性最小二乘优化算法,通过一定的求解算法确定优化的迭代步长,实现状态量的迭代优化。其中,求解算法可以根据实际需求设置,比如可以为信赖域狗腿(Dogleg)算法、高斯牛顿算法,等等,具体不作限定。
在一个可选实施例中,在优化过程中,可以对目标车辆在各帧的状态均进行优化,则除了获得目标车辆的当前状态量,还可以获得各历史帧的优化后的状态量,具体可以根据实际需求设置。
在一个可选实施例中,目标车辆的当前状态量可以表示为预设维度的向量,比如目标车辆的当前状态量
Figure BDA0004039698330000071
可以表示如下:
Figure BDA0004039698330000072
其中,
Figure BDA0004039698330000073
表示目标车辆的优化后的位置,
Figure BDA0004039698330000074
表示目标车辆的优化后的速度,
Figure BDA0004039698330000075
表示目标车辆的优化后的加速度,
Figure BDA0004039698330000076
表示目标车辆的优化后的高度,
Figure BDA0004039698330000077
表示目标车辆的优化后的宽度。目标车辆的优化后的位置可以为目标车辆在当前帧(第t帧)的自车车辆坐标系(或世界坐标系)下的位置。
步骤204,基于当前状态量,确定目标车辆的当前状态。
其中,目标车辆的当前状态可以包括目标车辆的位置、速度、加速度、尺寸中的至少一种状态,其中目标车辆的尺寸可以包括高度、宽度、长度中的至少一种。比如若目标车辆在自车的前方或后方,则目标车辆的尺寸包括高度和宽度;若目标车辆在自车的左侧或右侧,则目标车辆的尺寸可以包括高度和长度;若目标车辆在自车的左前、右前、左后或右后,则目标车辆的尺寸可以包括高度、长度、宽度;具体可以根据实际需求设置。
本实施例提供的车辆状态的确定方法,通过目标车辆的检测框估计目标车辆的观测尺寸和观测距离,并结合目标车辆在一定数量的历史帧的状态,通过优化获得当前帧的当前状态,实现了目标车辆位置、速度、加速度等状态的并行同时优化,有效降低不同状态之间的依赖性,相对于现有的滤波方法,可以有效避免加速度对速度的依赖、以及速度对位置的依赖,大大提高获得的目标车辆状态的准确性和稳定性。
图3是本公开另一示例性实施例提供的车辆状态的确定方法的流程示意图。
在一个可选实施例中,任一帧对应的优化后的状态量包括目标车辆在该帧对应的优化后的位置、速度、加速度、尺寸中的至少一种状态;步骤203具体可以包括以下步骤:
步骤2031,基于在前状态量、当前观测尺寸、当前观测纵向距离和当前观测横向距离,确定目标车辆的当前初始状态量。
其中,当前初始状态量表示目标车辆的当前未优化的状态量。当前初始状态量可以包括目标车辆在当前帧的优化前的位置、速度、加速度、尺寸中的至少一种状态。
在一个可选实施例中,目标车辆在当前帧的优化前的位置可以基于当前观测尺寸、当前观测纵向距离和当前观测横向距离确定。
在一个可选实施例中,目标车辆在当前帧的优化前的速度和加速度可以基于在前状态量结合运动模型确定。
在一个可选实施例中,目标车辆在当前帧的优化前的尺寸可以基于当前观测尺寸确定,可以将当前观测尺寸作为优化前的尺寸。
步骤2032,基于在前状态量、当前初始状态量、当前观测纵向距离和当前观测横向距离,采用预设优化算法,对当前初始状态量进行优化,获得当前帧对应的优化后的状态量。
其中,预设优化算法可以为非线性最小二乘优化算法。将目标车辆的状态优化转化为非线性最小二乘问题,通过求解算法求解迭代步长,实现对当前初始状态量的优化,获得当前帧对应的优化后的状态量。
步骤2033,将当前帧对应的优化后的状态量作为目标车辆的当前状态量。
本实施例通过预设优化算法进行状态量的优化,由于预设优化算法综合考虑了当前初始状态量和历史的在前状态量,并结合了当前观测,同时确定目标车辆的所有状态,在避免优化后的各状态之间的依赖性的基础上,可以进一步提升确定的目标车辆状态的准确性。
图4是本公开一示例性实施例提供的步骤203的流程示意图。
在一个可选实施例中,步骤2032的基于在前状态量、当前初始状态量、当前观测纵向距离和当前观测横向距离,采用预设优化算法,对当前初始状态量进行优化,获得当前帧对应的优化后的状态量,包括:
步骤20321,基于在前状态量、当前初始状态量、当前观测纵向距离和当前观测横向距离,确定目标函数,目标函数包括速度加速度物理约束残差函数、位置速度加速度物理约束残差函数、距离约束残差函数、历史优化约束残差函数、尺寸约束残差函数、速度加速度权重约束残差函数和运动模型置信度约束残差函数中的至少一种。
其中,速度加速度物理约束残差函数用于表示速度状态和加速度状态需要满足的约束条件;位置速度加速度物理预设残差函数用于表示位置状态、速度状态和加速度状态需要满足的约束条件;距离约束残差函数用于表示当前观测纵向距离和当前观测横向距离需要满足的约束条件;历史优化约束残差函数用于表示历史优化结果的预测状态需要满足的约束条件;尺寸约束残差函数用于表示尺寸状态需要满足的约束条件;速度加速度权重约束残差函数用于表示速度状态和加速度状态的权重需要满足的约束条件;运动模型置信度约束残差函数用于表示匀速模型和匀加速模型的置信度需要满足的约束条件。优化的目的在于,使得目标函数最小,也即上述各残差函数对应的综合残差最小,从而使得优化后的状态量能够满足各残差函数对应的约束条件,以保证优化后的状态量的准确性和有效性。
在一个可选示例中,速度加速度物理约束残差函数可以表示如下:
Figure BDA0004039698330000091
其中,
Figure BDA0004039698330000092
表示速度的协方差矩阵的
Figure BDA0004039698330000093
次方,||||表示二范数,
Figure BDA0004039698330000094
表示目标车辆在第k帧对应的优化后的速度状态,
Figure BDA0004039698330000095
表示目标车辆在第k-1帧对应的优化后的速度状态,
Figure BDA0004039698330000101
表示目标车辆在第k帧对应的优化后的加速度状态,
Figure BDA0004039698330000102
表示目标车辆在第k-1帧对应的优化后的加速度状态,Δt表示相邻两帧之间的时间间隔,B表示帧集,该帧集可以根据实际需求设置,比如可以包括能够观测到目标车辆的所有帧,也可以是包括滑动窗口中的所有帧,具体不作限定。
需要说明的是,由于速度加速度物理约束残差函数涉及的优化变量包括速度和加速度,因此在优化过程中,在确定残差函数对状态量的导数时,对于该残差函数只需要求对速度和加速度的导数。
在一个可选示例中,位置速度加速度物理约束残差函数可以表示如下:
Figure BDA0004039698330000103
其中,
Figure BDA0004039698330000104
表示位置的协方差矩阵的
Figure BDA0004039698330000105
次方,
Figure BDA0004039698330000106
表示目标车辆在第k帧对应的优化后的位置状态,
Figure BDA0004039698330000107
表示目标车辆在第k-1帧对应的优化后的位置状态,其他符号参见前述内容。
在一个可选示例中,对于目标车辆的运动,可以基于运动模型置信度综合考虑匀速运动模型和匀加速运动模型,位置速度加速度物理约束残差函数可以表示如下:
Figure BDA0004039698330000108
其中,trust表示运动模型置信度,此时的运动模型置信度采用的是前一次优化流程优化后的模型置信度,在该残差函数中trust并不是优化变量。
与L1同理,求导时只需要求该残差函数对位置、速度和加速度的导数。
在一个可选示例中,距离约束残差函数可以表示如下:
Figure BDA0004039698330000111
其中,
Figure BDA0004039698330000112
表示距离的协方差矩阵的
Figure BDA0004039698330000113
次方,
Figure BDA0004039698330000114
表示目标车辆在第k帧对应的优化后的位置状态中的纵向方向的坐标,
Figure BDA0004039698330000115
表示目标车辆在第k帧对应的优化后的位置状态中的横向方向的坐标,d_x表示当前观测纵向距离,d_y表示当前观测横向距离。其中,d_x可以基于当前观测尺寸中的观测高度或观测宽度确定,相应的,距离约束残差函数可以包括基于观测高度的L3和基于观测宽度的L3中的至少一种,具体可以根据实际需求设置。在距离约束残差函数中,优化变量为位置。
在一个可选示例中,历史优化约束残差函数可以表示如下:
Figure BDA0004039698330000116
其中
Figure BDA0004039698330000117
表示预测量的协方差矩阵的
Figure BDA0004039698330000118
次方,
Figure BDA0004039698330000119
Figure BDA00040396983300001110
T表示转置,
Figure BDA00040396983300001111
Figure BDA00040396983300001112
分别表示基于目标车辆在第k-1帧的优化后的位置、速度和加速度,结合运动模型的状态转移矩阵预测的第k帧的位置、速度和加速度。在历史优化约束残差函数中,优化变量为位置、速度和加速度。
示例性的,以匀加速运动模型为例,
Figure BDA00040396983300001113
Figure BDA00040396983300001114
具体运动模型可以根据实际情况确定。
在一个可选示例中,尺寸约束残差函数可以表示如下:
Figure BDA00040396983300001115
其中,
Figure BDA00040396983300001116
表示观测高度的协方差矩阵的
Figure BDA00040396983300001117
次方,
Figure BDA00040396983300001118
表示观测宽度的协方差矩阵的
Figure BDA0004039698330000121
次方,
Figure BDA0004039698330000122
表示目标车辆在第k帧对应的优化后的高度状态,
Figure BDA0004039698330000123
表示目标车辆在第k帧的观测高度,
Figure BDA0004039698330000124
表示目标车辆在第k帧对应的优化后的宽度状态,
Figure BDA0004039698330000125
表示目标车辆在第k帧的观测宽度。在尺寸约束残差函数中优化变量为高度和宽度。
在一个可选示例中,速度加速度权重约束残差函数可以表示如下:
Figure BDA0004039698330000126
其中,ω表示权重,为预设值,
Figure BDA0004039698330000127
在速度加速度权重约束残差函数中,优化变量为速度和加速度。
在一个可选示例中,运动模型置信度约束残差函数可以表示如下:
Figure BDA0004039698330000128
其中,trust表示运动模型置信度,
Figure BDA0004039698330000129
表示置信度的协方差矩阵的
Figure BDA00040396983300001210
次方,CA表示匀加速模型,CV表示匀速模型,
Figure BDA00040396983300001211
表示基于匀加速模型预测的总位移量(比如滑动窗口中所有帧的位移量),
Figure BDA00040396983300001212
表示基于匀速模型预测的总位移量,Δpmea表示基于第1帧(比如滑动窗口中的第1帧)的优化后的位置与最后一帧(比如滑动窗口中的最后1帧)的优化后的位置确定的位移量。比如
Figure BDA00040396983300001213
Figure BDA00040396983300001214
r表示滑动窗口中的总帧数。在运动模型置信度约束残差函数中,运动模型置信度trust是优化变量,在优化过程中,只需对运动模型置信度求导。
在一个可选示例中,
Figure BDA00040396983300001215
表示如下:
Figure BDA00040396983300001216
在一个可选示例中,
Figure BDA00040396983300001217
可以表示如下:
Figure BDA0004039698330000131
其中,Δti表示第i-1帧与第i帧之间的间隔时间,其他符号参见前述内容。
步骤20322,基于目标函数,确定当前迭代步长。
其中,当前迭代步长可以包括状态量中各状态分别对应的迭代步长。当前迭代步长表示当前优化过程状态量的迭代步长。
在一个可选实施例中,基于目标函数确定当前迭代步长可以基于预设求解算法获得,比如信赖域狗腿算法。
步骤20323,基于当前迭代步长,对当前初始状态量进行更新,获得当前帧对应的优化后的状态量。
其中,当前迭代步长可以包括当前初始状态量对应的当前帧迭代步长,在获得了当前迭代步长后,可以基于当前初始状态量与当前帧迭代步长相加确定当前帧对应的优化后的状态量。
在一个可选实施例中,当前迭代步长还可以包括各历史帧分别对应的历史帧迭代步长,用于对历史帧的在前状态量再次进行优化,获得各历史帧分别对应的优化后的状态量。
本实施例通过基于速度加速度物理约束残差函数、位置速度加速度物理约束残差函数、距离约束残差函数、历史优化约束残差函数、尺寸约束残差函数、速度加速度权重约束残差函数和运动模型置信度约束残差函数中的至少一种构建目标函数,用于优化过程中的状态量的约束,使得优化后的状态量能够满足各项约束,从而保证优化后的状态量的准确有效性。
图5是本公开另一示例性实施例提供的步骤203的流程示意图。
在一个可选实施例中,当前迭代步长包括当前初始状态量对应的当前帧迭代步长和当前模型置信度迭代步长;步骤20323的基于当前迭代步长,对当前初始状态量进行更新,获得当前帧对应的优化后的状态量,包括:
步骤203231,基于当前帧迭代步长,对当前初始状态量进行更新,获得当前帧对应的优化后的状态量。
本公开的方法还包括:
步骤3010,基于当前模型置信度迭代步长,对在前模型置信度进行更新,获得优化后的当前模型置信度,当前模型置信度用于表征目标车辆在在后运动过程中匀速运动和匀加速运动的作用比例。
其中,在前模型置信度是在前优化流程获得的模型置信度。在优化过程中,目标车辆的匀速运动通过匀速运动模型描述,匀加速运动通过匀加速运动模型描述。
在一个可选实施例中,当前模型置信度可以是在前模型置信度与当前模型置信度迭代步长相加获得。
在一个可选实施例中,模型置信度(trust)也可以作为状态量中的一个分量,与其他分量一起进行迭代步长的求解,具体可以根据实际需求设置。模型置信度的约束参见前述L7。
本实施例通过对模型置信度进行迭代更新,可以有效确定目标车辆运动过程中匀速运动和匀加速运动的作用比例,进一步提高优化后的状态量的准确性。
在一个可选实施例中,当前迭代步长还包括各历史帧分别对应的历史帧迭代步长;本公开的方法还包括:
步骤3020,基于各历史帧分别对应的历史帧迭代步长,对在前状态量进行更新,获得各历史帧分别对应的优化后状态量。
其中,历史帧迭代步长表示目标车辆在历史帧对应的状态量的迭代步长,用于对目标车辆历史帧对应的在前状态量进行进一步的优化,提高目标车辆的历史帧状态的准确性。
示例性的,通过滑动窗口进行帧滑动,滑动窗口包括10帧,具体包括当前帧和9帧历史帧,对于每个目标车辆,可能在滑动窗口的一帧或多帧中观测到,则在当前帧的优化流程中,可以对该目标车辆在滑动窗口中的一帧或多帧中的状态量进行优化,获得各帧分别对应的优化后的状态量,这样,对于各帧的状态量的优化,综合考虑了其前后帧的状态量情况及观测情况,因此可以进一步获得各帧的更加准确的状态量,并可以继续将更加准确的状态量作为后续帧的优化参考,以此类推,可以有效提高优化效果。
在本实施例中,在每次优化时,可以同时对当前帧和历史帧的目标车辆的状态量进行优化,当前帧的优化后的状态量可以确定目标车辆的实时状态,历史帧的优化后状态量可以确定目标车辆在历史帧的更加准确的状态,参与后续帧的优化,进一步提高历史帧的状态量的准确性,进而在用于后续帧的优化时,可以提高后续帧的优化结果的准确性。
在一个可选实施例中,步骤20321的基于在前状态量、当前初始状态量、当前观测纵向距离和当前观测横向距离,确定目标函数,包括:
1、基于在前状态量和当前初始状态量,确定速度加速度物理约束残差函数和位置速度加速度物理约束残差函数。
示例性的,速度加速度物理约束残差函数参见前述L1,位置速度加速度物理约束残差函数参见前述L2,其中,
Figure BDA0004039698330000151
Figure BDA0004039698330000152
分别通过当前初始状态量中的位置、速度和加速度与对应的当前迭代步长表示,通过求解算法求解当前迭代步长。
2、基于在前状态量、当前初始状态量、当前观测纵向距离、当前观测横向距离、及各历史帧分别对应的历史观测纵向距离和历史观测横向距离,确定距离约束残差函数。
示例性的,距离约束残差函数参见前述的L3。历史观测纵向距离和历史观测横向距离是在历史帧观测确定并存储的,其确定原理与当前观测纵向距离和当前观测横向距离一致,在此不再赘述。
图6是本公开一示例性实施例提供的距离的确定原理示意图。其中,C表示相机光心,XYZ表示相机坐标系,x表示像素平面的x方向,y表示像素平面的y方向,h表示目标车辆的检测框高度,H表示目标车辆的观测高度,是物理空间的高度,a表示目标车辆检测框在像素平面的角点,A表示a对应的目标车辆的物理空间的点,d_x表示目标车辆的当前观测纵向距离。
在一个可选示例中,d_x可以基于观测高度H确定,表示如下:
Figure BDA0004039698330000153
其中,H表示目标车辆的观测高度,h表示目标车辆在当前帧图像中的像素高度,fv=f/dy,f表示当前帧图像对应的相机焦距,dy表示像素平面上y方向1像素的物理尺寸,fv表示用像素描述的y方向焦距的长度。
在一个可选示例中,d_x基于观测宽度确定,表示如下:
Figure BDA0004039698330000154
其中,W表示目标车辆的观测宽度,w表示目标车辆在当前帧图像中的像素宽度,fu=f/dx,f表示当前帧图像对应的相机焦距,dx表示像素平面上x方向1像素的物理尺寸,fu表示用像素描述的x方向焦距的长度。
d_y基于d_x确定,表示如下:
Figure BDA0004039698330000161
其中,cx表示相机光心C对应的像素坐标系下的x方向的坐标,cbx表示目标车辆检测框底边中点的x方向的坐标。
在一个可选实施例中,
Figure BDA0004039698330000162
其中,各符号的含义参见前述内容。
3、基于在前状态量、当前初始状态量和加速度模型的状态转移矩阵,确定历史优化约束残差函数。
示例性的,历史优化约束残差函数参见前述L4。
4、基于在前状态量、当前初始状态量、当前观测尺寸、及各历史帧分别对应的历史观测尺寸,确定尺寸约束残差函数。
示例性的,尺寸约束残差函数参见前述L5。
5、基于在前状态量、当前初始状态量及预设权重,确定速度加速度权重约束残差函数。
示例性的,速度加速度权重约束残差函数参见前述L6。
6、基于在前状态量、当前初始状态量、在前模型置信度、匀速运动模型和匀加速运动模型,确定运动模型置信度约束残差函数。
示例性的,运动模型置信度约束残差函数参见前述L7。
7、基于速度加速度物理约束残差函数、位置速度加速度物理约束残差函数、距离约束残差函数、历史优化约束残差函数、尺寸约束残差函数、速度加速度权重约束残差函数和运动模型置信度约束残差函数,确定目标函数。
在一个可选示例中,目标函数可以表示如下:
L=L1+L2+L3+L4+L5+L6+L7
本实施例通过基于速度加速度物理约束残差函数、位置速度加速度物理约束残差函数、距离约束残差函数、历史优化约束残差函数、尺寸约束残差函数、速度加速度权重约束残差函数和运动模型置信度约束残差函数,确定目标函数,用于求解迭代步长实现状态量的优化,保证优化后的状态量能够满足各项约束,从而使得优化后的状态量更加平滑。且各项约束中包含了前后帧的共同约束,进一步提高状态响应的及时性和准确性,为后续决策与规控提供更可靠的依据。
在一个可选实施例中,步骤20322的基于目标函数,确定当前迭代步长,包括:
步骤203221,基于目标函数,采用信赖域狗腿算法,确定当前迭代步长。
其中,信赖域狗腿(Dog-Leg)算法是高斯牛顿算法和最快下降法的混合方法,通过信赖域(trust region)代替阻尼项。
在一个可选示例中,残差函数(或目标函数)表示为F(x)=f(x)2,x表示状态量,Dog-Leg算法的具体流程如下:
1、初始化trust region半径Δ0
2、求解梯度gk=J(xk)Tf(xk),若||gk||≤∈1,则退出,否则继续。若||f(xk)||≤∈3,则退出,否则继续。其中,T表示转置,xk表示第k次迭代的待优化状态量,J(xk)表示f(xk)对状态量的一阶偏导数。
3、若trust region半径Δk≤∈2(||xk||+∈2),则退出迭代,否则继续。
4、分别根据高斯牛顿法和最快下降法计算下降方向hgn和hsd,然后计算最快下降法的迭代步长
Figure BDA0004039698330000171
5、根据hgn、hsd和Δk,确定Dog-Leg步进值hdl。若||hdl||≤∈2(||xk||+∈2),则退出迭代,否则继续。
若||hgn||≤Δk,则hdl=hgn
若||αhsd||≥Δk,则
Figure BDA0004039698330000181
否则hdl=αhsd+β(hgn-αhsd),其中,β根据||hdl||=Δk确定。
6、xnew=xk+hdl,计算增益比
Figure BDA0004039698330000182
L(0)-L(hdl)表示理论下降值,F(xk)-F(xnew)表示实际下降值。
若ρ>0,优化后的状态量
Figure BDA0004039698330000183
若ρ>0.75,Δk+1=max(Δk,3*||hdl||)。
若ρ<0.25,
Figure BDA0004039698330000184
重复执行步骤2。
其中,∈1、∈2、∈3可以根据实际需求设置,用于作为迭代的终止条件。
最快下降法的具体流程如下:
1、对F(x)进行泰勒一阶展开。
Figure BDA0004039698330000185
其中,xk表示第k次迭代的初始状态量,Δxk表示迭代步长,
Figure BDA0004039698330000186
Figure BDA0004039698330000187
表示梯度方向。
2、确定下降方向为负梯度方向。
Figure BDA0004039698330000188
3、确定合适的步长。
Figure BDA0004039698330000189
高斯牛顿法通过雅克比矩阵、迭代步长和残差(目标函数)所满足的正规方程求解迭代步长。示例性的,当前雅克比矩阵表示为J(xk),迭代步长表示为Δxk,残差表示为f(xk),满足如下方程:
J(xk)TJ(xk)△xk=-J(xk)Tf(xk)
其中,J(xk)和f(xk)为已确定的量,J(xk)通过残差对状态量xk的一阶偏导数确定,通过求解该方程组即可获得迭代步长△xk
本实施例通过信赖域狗腿算法确定当前迭代步长,可以有效解决高斯牛顿法可能会出现的不收敛情况发生。
在一个可选实施例中,当前观测尺寸包括目标车辆的当前高度和当前宽度;当前检测框信息包括当前全车框信息和当前车尾框信息;步骤202的基于当前检测框信息,确定目标车辆的当前观测尺寸、当前观测纵向距离和当前观测横向距离,包括:
步骤2021,基于当前检测框信息和当前帧图像,确定目标车辆的类型。
其中,可以基于当前检测框信息中的当前全车框信息从当前帧图像中提取全车图像特征信息,基于当前车尾框信息提取车尾图像特征信息,基于全车图像特征信息和/或车尾图像特征信息,确定目标车辆的类型。
在一个可选实施例中,可以基于预先训练获得的车辆分类模型确定目标车辆的类型。车辆分类模型的网络结构可以采用任意可实施的分类结构,本公开不作限定。
步骤2022,基于目标车辆的类型确定目标车辆的当前高度和当前宽度。
其中,当前高度表示前述的观测高度H,当前宽度表示前述的观测宽度W。可以预先配置不同的车辆类型对应的高度和宽度,在确定目标车辆的类型后,可以基于对应关系确定目标车辆的当前高度和当前宽度。
步骤2023,基于当前高度和当前全车框信息,确定当前观测纵向距离;或者,基于当前宽度和当前全车框信息,确定当前观测纵向距离。
其中,当前观测纵向距离的具体确定原理参见前述d_x,在此不再赘述。
步骤2024,基于当前观测纵向距离和当前全车框信息,确定当前观测横向距离。
其中,当前观测横向距离的具体确定原理参见前述dy,在此不再赘述。
本公开上述各实施例或可选示例可以单独实施也可以在不冲突的情况下以任意组合方式结合实施,具体可以根据实际需求设置,本公开不作限定。
本公开实施例提供的任一种车辆状态的确定方法可以由任意适当的具有数据处理能力的设备执行,包括但不限于:终端设备和服务器等。或者,本公开实施例提供的任一种车辆状态的确定方法可以由处理器执行,如处理器通过调用存储器存储的相应指令来执行本公开实施例提及的任一种车辆状态的确定方法。下文不再赘述。
示例性装置
图7是本公开一示例性实施例提供的车辆状态的确定装置的结构示意图。该实施例的装置可用于实现本公开相应的方法实施例,如图7所示的装置包括:第一处理模块501、第二处理模块502、第三处理模块503和第四处理模块504。
第一处理模块501,用于基于当前帧图像,确定目标车辆的当前检测框信息。
第二处理模块502,用于基于当前检测框信息,确定目标车辆的当前观测尺寸、当前观测纵向距离和当前观测横向距离。
第三处理模块503,用于基于目标车辆的在前状态量、当前观测尺寸、当前观测纵向距离、当前观测横向距离,确定目标车辆的当前状态量,在前状态量包括在前获得的第一数量的历史帧分别对应的优化后的状态量。
第四处理模块504,用于基于当前状态量,确定目标车辆的当前状态。
图8是本公开另一示例性实施例提供的车辆状态的确定装置的结构示意图。
在一个可选实施例中,任一帧对应的优化后的状态量包括目标车辆在该帧对应的优化后的位置、速度、加速度、尺寸中的至少一种状态;第三处理模块503包括:第一处理单元5031、第二处理单元5032和第三处理单元5033。
第一处理单元5031,用于基于在前状态量、当前观测尺寸、当前观测纵向距离和当前观测横向距离,确定目标车辆的当前初始状态量。
第二处理单元5032,用于基于在前状态量、当前初始状态量、当前观测纵向距离和当前观测横向距离,采用预设优化算法,对当前初始状态量进行优化,获得当前帧对应的优化后的状态量。
第三处理单元5033,用于将当前帧对应的优化后的状态量作为目标车辆的当前状态量。
在一个可选实施例中,第二处理单元5032具体用于:
基于在前状态量、当前初始状态量、当前观测纵向距离和当前观测横向距离,确定目标函数,目标函数包括速度加速度物理约束残差函数、位置速度加速度物理约束残差函数、距离约束残差函数、历史优化约束残差函数、尺寸约束残差函数、速度加速度权重约束残差函数和运动模型置信度约束残差函数中的至少一种;基于目标函数,确定当前迭代步长;基于当前迭代步长,对当前初始状态量进行更新,获得当前帧对应的优化后的状态量。
在一个可选实施例中,当前迭代步长包括当前初始状态量对应的当前帧迭代步长和当前模型置信度迭代步长;第二处理单元5032具体用于:基于当前帧迭代步长,对当前初始状态量进行更新,获得当前帧对应的优化后的状态量;第二处理单元5032还用于基于当前模型置信度迭代步长,对在前模型置信度进行更新,获得优化后的当前模型置信度,当前模型置信度用于表征目标车辆在在后运动过程中匀速运动和匀加速运动的作用比例。
在一个可选实施例中,当前迭代步长还包括各历史帧分别对应的历史帧迭代步长;第二处理单元5032还用于基于各历史帧分别对应的历史帧迭代步长,对在前状态量进行更新,获得各历史帧分别对应的优化后状态量。
在一个可选实施例中,第二处理单元5032具体用于:
基于在前状态量和当前初始状态量,确定速度加速度物理约束残差函数和位置速度加速度物理约束残差函数;基于在前状态量、当前初始状态量、当前观测纵向距离、当前观测横向距离、及各历史帧分别对应的历史观测纵向距离和历史观测横向距离,确定距离约束残差函数;基于在前状态量、当前初始状态量和加速度模型的状态转移矩阵,确定历史优化约束残差函数;基于在前状态量、当前初始状态量、当前观测尺寸、及各历史帧分别对应的历史观测尺寸,确定尺寸约束残差函数;基于在前状态量、当前初始状态量及预设权重,确定速度加速度权重约束残差函数;基于在前状态量、当前初始状态量、在前模型置信度、匀速运动模型和匀加速运动模型,确定运动模型置信度约束残差函数;基于速度加速度物理约束残差函数、位置速度加速度物理约束残差函数、距离约束残差函数、历史优化约束残差函数、尺寸约束残差函数、速度加速度权重约束残差函数和运动模型置信度约束残差函数,确定目标函数。
在一个可选实施例中,第二处理单元5032具体用于:基于目标函数,采用信赖域狗腿算法,确定当前迭代步长。
在一个可选实施例中,当前观测尺寸包括目标车辆的当前高度和当前宽度;当前检测框信息包括当前全车框信息和当前车尾框信息;第二处理模块502包括:第一确定单元5021、第二确定单元5022、第三确定单元5023和第四确定单元5024。
第一确定单元5021,用于基于当前检测框信息和当前帧图像,确定目标车辆的类型。
第二确定单元5022,用于基于目标车辆的类型确定目标车辆的当前高度和当前宽度。
第三确定单元5023,用于基于当前高度和当前全车框信息,确定当前观测纵向距离;或者,用于基于当前宽度和当前全车框信息,确定当前观测纵向距离。
第四确定单元5024,用于基于当前观测纵向距离和当前全车框信息,确定当前观测横向距离。
需要说明的是,各模块及各单元的具体操作参见前述方法实施例,在此不再赘述。
本公开各实施例的模块或单元可以根据实际需求进行更细粒度的划分,具体可以根据实际需求设置。
示例性电子设备
本公开实施例还提供了一种电子设备,包括:存储器,用于存储计算机程序;
处理器,用于执行所述存储器中存储的计算机程序,且所述计算机程序被执行时,实现本公开上述任一实施例所述的车辆状态的确定方法。
图9是本公开电子设备一个应用实施例的结构示意图。本实施例中,该电子设备10包括一个或多个处理器11和存储器12。
处理器11可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元,并且可以控制电子设备10中的其他组件以执行期望的功能。
存储器12可以包括一个或多个计算机程序产品,所述计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令,处理器11可以运行所述程序指令,以实现上文所述的本公开的各个实施例的方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。
在一个示例中,电子设备10还可以包括:输入装置13和输出装置14,这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
例如,该输入装置13可以是上述的麦克风或麦克风阵列,用于捕捉声源的输入信号。
此外,该输入装置13还可以包括例如键盘、鼠标等等。
该输出装置14可以向外部输出各种信息,包括确定出的距离信息、方向信息等。该输出装置14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然,为了简化,图9中仅示出了该电子设备10中与本公开有关的组件中的一些,省略了诸如总线、输入/输出接口等等的组件。除此之外,根据具体应用情况,电子设备10还可以包括任何其他适当的组件。
示例性计算机程序产品和计算机可读存储介质
除了上述方法和设备以外,本公开的实施例还可以是计算机程序产品,其包括计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码,所述程序设计语言包括面向对象的程序设计语言,诸如Java、C++等,还包括常规的过程式程序设计语言,诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外,本公开的实施例还可以是计算机可读存储介质,其上存储有计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本公开的基本原理,但是,需要指出的是,在本公开中提及的优点、优势、效果等仅是示例而非限制,不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外,上述公开的具体细节仅是为了示例的作用和便于理解的作用,而非限制,上述细节并不限制本公开为必须采用上述具体的细节来实现。
本说明书中各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言,由于其与方法实施例基本对应,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的,可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇,指“包括但不限于”,且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”,且可与其互换使用,除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”,且可与其互换使用。
可能以许多方式来实现本公开的方法和装置。例如,可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明,本公开的方法的步骤不限于以上具体描述的顺序,除非以其它方式特别说明。此外,在一些实施例中,还可将本公开实施为记录在记录介质中的程序,这些程序包括用于实现根据本公开的方法的机器可读指令。因而,本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。
还需要指出的是,在本公开的装置、设备和方法中,各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的,并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此,本公开不意图被限制到在此示出的方面,而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外,此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例,但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (11)

1.一种车辆状态的确定方法,包括:
基于当前帧图像,确定目标车辆的当前检测框信息;
基于所述当前检测框信息,确定所述目标车辆的当前观测尺寸、当前观测纵向距离和当前观测横向距离;
基于所述目标车辆的在前状态量、所述当前观测尺寸、所述当前观测纵向距离、所述当前观测横向距离,确定所述目标车辆的当前状态量,所述在前状态量包括在前获得的第一数量的历史帧分别对应的优化后的状态量;
基于所述当前状态量,确定所述目标车辆的当前状态。
2.根据权利要求1所述的方法,其中,任一帧对应的所述优化后的状态量包括所述目标车辆在该帧对应的优化后的位置、速度、加速度、尺寸中的至少一种状态;
所述基于所述目标车辆的在前状态量、所述当前观测尺寸、所述当前观测纵向距离、所述当前观测横向距离,确定所述目标车辆的当前状态量,包括:
基于所述在前状态量、所述当前观测尺寸、所述当前观测纵向距离和所述当前观测横向距离,确定所述目标车辆的当前初始状态量;
基于所述在前状态量、所述当前初始状态量、所述当前观测纵向距离和所述当前观测横向距离,采用预设优化算法,对所述当前初始状态量进行优化,获得所述当前帧对应的优化后的状态量;
将所述当前帧对应的优化后的状态量作为所述目标车辆的所述当前状态量。
3.根据权利要求2所述的方法,其中,所述基于所述在前状态量、所述当前初始状态量、所述当前观测纵向距离和所述当前观测横向距离,采用预设优化算法,对所述当前初始状态量进行优化,获得所述当前帧对应的优化后的状态量,包括:
基于所述在前状态量、所述当前初始状态量、所述当前观测纵向距离和所述当前观测横向距离,确定目标函数,所述目标函数包括速度加速度物理约束残差函数、位置速度加速度物理约束残差函数、距离约束残差函数、历史优化约束残差函数、尺寸约束残差函数、速度加速度权重约束残差函数和运动模型置信度约束残差函数中的至少一种;
基于所述目标函数,确定当前迭代步长;
基于所述当前迭代步长,对所述当前初始状态量进行更新,获得所述当前帧对应的所述优化后的状态量。
4.根据权利要求3所述的方法,其中,所述当前迭代步长包括所述当前初始状态量对应的当前帧迭代步长和当前模型置信度迭代步长;
所述基于所述当前迭代步长,对所述当前初始状态量进行更新,获得所述当前帧对应的所述优化后的状态量,包括:
基于所述当前帧迭代步长,对所述当前初始状态量进行更新,获得所述当前帧对应的所述优化后的状态量;
所述方法还包括:
基于所述当前模型置信度迭代步长,对在前模型置信度进行更新,获得优化后的当前模型置信度,所述当前模型置信度用于表征所述目标车辆在在后运动过程中匀速运动和匀加速运动的作用比例。
5.根据权利要求4所述的方法,其中,所述当前迭代步长还包括各所述历史帧分别对应的历史帧迭代步长;
所述方法还包括:
基于各所述历史帧分别对应的所述历史帧迭代步长,对所述在前状态量进行更新,获得各所述历史帧分别对应的优化后状态量。
6.根据权利要求3所述的方法,其中,所述基于所述在前状态量、所述当前初始状态量、所述当前观测纵向距离和所述当前观测横向距离,确定目标函数,包括:
基于所述在前状态量和所述当前初始状态量,确定所述速度加速度物理约束残差函数和所述位置速度加速度物理约束残差函数;
基于所述在前状态量、所述当前初始状态量、所述当前观测纵向距离、所述当前观测横向距离、及各所述历史帧分别对应的历史观测纵向距离和历史观测横向距离,确定所述距离约束残差函数;
基于所述在前状态量、所述当前初始状态量和加速度模型的状态转移矩阵,确定所述历史优化约束残差函数;
基于所述在前状态量、所述当前初始状态量、所述当前观测尺寸、及各所述历史帧分别对应的历史观测尺寸,确定所述尺寸约束残差函数;
基于所述在前状态量、所述当前初始状态量及预设权重,确定所述速度加速度权重约束残差函数;
基于所述在前状态量、所述当前初始状态量、在前模型置信度、匀速运动模型和匀加速运动模型,确定所述运动模型置信度约束残差函数;
基于所述速度加速度物理约束残差函数、所述位置速度加速度物理约束残差函数、所述距离约束残差函数、所述历史优化约束残差函数、所述尺寸约束残差函数、所述速度加速度权重约束残差函数和所述运动模型置信度约束残差函数,确定所述目标函数。
7.根据权利要求3所述的方法,其中,所述基于所述目标函数,确定当前迭代步长,包括:
基于所述目标函数,采用信赖域狗腿算法,确定所述当前迭代步长。
8.根据权利要求1所述的方法,其中,所述当前观测尺寸包括所述目标车辆的当前高度和当前宽度;所述当前检测框信息包括当前全车框信息和当前车尾框信息;所述基于所述当前检测框信息,确定所述目标车辆的当前观测尺寸、当前观测纵向距离和当前观测横向距离,包括:
基于所述当前检测框信息和所述当前帧图像,确定所述目标车辆的类型;
基于所述目标车辆的类型确定所述目标车辆的当前高度和当前宽度;
基于所述当前高度和所述当前全车框信息,确定所述当前观测纵向距离;或者,基于所述当前宽度和所述当前全车框信息,确定所述当前观测纵向距离;
基于所述当前观测纵向距离和所述当前全车框信息,确定所述当前观测横向距离。
9.一种车辆状态的确定装置,包括:
第一处理模块,用于基于当前帧图像,确定目标车辆的当前检测框信息;
第二处理模块,用于基于所述当前检测框信息,确定所述目标车辆的当前观测尺寸、当前观测纵向距离和当前观测横向距离;
第三处理模块,用于基于所述目标车辆的在前状态量、所述当前观测尺寸、所述当前观测纵向距离、所述当前观测横向距离,确定所述目标车辆的当前状态量,所述在前状态量包括在前获得的第一数量的历史帧分别对应的优化后的状态量;
第四处理模块,用于基于所述当前状态量,确定所述目标车辆的当前状态。
10.一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序用于执行上述权利要求1-8任一所述的车辆状态的确定方法。
11.一种电子设备,所述电子设备包括:
处理器;
用于存储所述处理器可执行指令的存储器;
所述处理器,用于从所述存储器中读取所述可执行指令,并执行所述指令以实现上述权利要求1-8任一所述的车辆状态的确定方法。
CN202310015767.0A 2023-01-05 2023-01-05 车辆状态的确定方法、装置、电子设备和存储介质 Pending CN115965940A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310015767.0A CN115965940A (zh) 2023-01-05 2023-01-05 车辆状态的确定方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310015767.0A CN115965940A (zh) 2023-01-05 2023-01-05 车辆状态的确定方法、装置、电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN115965940A true CN115965940A (zh) 2023-04-14

Family

ID=87360018

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310015767.0A Pending CN115965940A (zh) 2023-01-05 2023-01-05 车辆状态的确定方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN115965940A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116883291A (zh) * 2023-09-06 2023-10-13 山东科技大学 一种基于二元傅里叶级数的畸变校正方法
CN117553695A (zh) * 2024-01-11 2024-02-13 摩斯智联科技有限公司 基于宽高比抑制噪声计算车辆高度的方法、装置及计算机存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116883291A (zh) * 2023-09-06 2023-10-13 山东科技大学 一种基于二元傅里叶级数的畸变校正方法
CN116883291B (zh) * 2023-09-06 2023-11-17 山东科技大学 一种基于二元傅里叶级数的畸变校正方法
CN117553695A (zh) * 2024-01-11 2024-02-13 摩斯智联科技有限公司 基于宽高比抑制噪声计算车辆高度的方法、装置及计算机存储介质
CN117553695B (zh) * 2024-01-11 2024-05-03 摩斯智联科技有限公司 计算车辆高度的方法、装置及计算机存储介质

Similar Documents

Publication Publication Date Title
CN115965940A (zh) 车辆状态的确定方法、装置、电子设备和存储介质
Cots et al. Direct and indirect methods in optimal control with state constraints and the climbing trajectory of an aircraft
CN110929839B (zh) 训练神经网络的方法和装置、电子设备和计算机存储介质
CN112509047A (zh) 基于图像的位姿确定方法、装置、存储介质及电子设备
WO2023142864A1 (zh) 初始位姿的确定方法、装置、电子设备和存储介质
US20210374439A1 (en) Obstacle detection method and device, apparatus, and storage medium
CN112907620A (zh) 相机位姿的估计方法、装置、可读存储介质及电子设备
CN110533046B (zh) 一种图像实例分割方法、装置、计算机可读存储介质及电子设备
CN115147683A (zh) 位姿估计网络模型的训练方法、位姿估计方法及装置
CN112818778A (zh) 车道线拟合方法、装置、介质以及电子设备
CN112381868A (zh) 图像深度估计方法和装置、可读存储介质、电子设备
CN114782510A (zh) 目标物体的深度估计方法和装置、存储介质、电子设备
EP3869450A1 (en) Information processing device, information processing method, and program
CN114882465A (zh) 视觉感知方法、装置、存储介质和电子设备
JP7369288B2 (ja) 画像処理方法、画像処理用コマンドの生成方法および装置
CN113639782A (zh) 车载传感器的外参标定方法和装置、设备和介质
CN112770057A (zh) 摄像头参数调整方法和装置、电子设备和存储介质
US11295211B2 (en) Multi-scale object detection with a trained neural network
JP4210292B2 (ja) 画像変化予測方法および画像変化予測装置
CN108881899B (zh) 基于光流场金字塔的图像预测方法和装置及电子设备
CN112016677A (zh) 深度神经网络的训练方法、装置和电子设备
WO2023093306A1 (zh) 车辆换道的控制方法和装置、电子设备和存储介质
CN116520338A (zh) 目标车辆距离的确定方法、装置、电子设备和存储介质
CN115131757A (zh) 车道线的确定方法、装置、电子设备和存储介质
CN115388906A (zh) 位姿的确定方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination