CN112985427B - 车辆的车道跟踪方法、装置、计算机设备及存储介质 - Google Patents

车辆的车道跟踪方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN112985427B
CN112985427B CN202110474175.6A CN202110474175A CN112985427B CN 112985427 B CN112985427 B CN 112985427B CN 202110474175 A CN202110474175 A CN 202110474175A CN 112985427 B CN112985427 B CN 112985427B
Authority
CN
China
Prior art keywords
lane
particle
vehicle
particles
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110474175.6A
Other languages
English (en)
Other versions
CN112985427A (zh
Inventor
肖宁
赵晖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202110474175.6A priority Critical patent/CN112985427B/zh
Publication of CN112985427A publication Critical patent/CN112985427A/zh
Application granted granted Critical
Publication of CN112985427B publication Critical patent/CN112985427B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42Determining position
    • G01S19/45Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
    • G01S19/47Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement the supplementary measurement being an inertial measurement, e.g. tightly coupled inertial

Abstract

本申请公开了一种车辆的车道跟踪方法、装置、计算机设备及存储介质,涉及地图、导航、智能交通、车联网、智能车控制等领域。所述方法包括:根据第一车载信号源的第一信息和第二车载信号源的第二信息,分别更新车道粒子集中的各个粒子的权重;以及根据所述第二信息,更新所述车道粒子集中的各个粒子的位置;根据所述车道粒子集中的各个粒子的权重和位置,确定所述车辆的车道跟踪信息;其中,所述车道粒子集包括N个随机分布在当前道路内的粒子,所述第一车载信号源和所述第二车载信号源不同,N为大于1的正整数。本申请提高了对于车辆的车道跟踪方法的准确性。

Description

车辆的车道跟踪方法、装置、计算机设备及存储介质
技术领域
本申请涉及地图、导航、智能交通、车联网、智能车控制等领域,特别涉及一种车辆的车道跟踪方法、装置、计算机设备及存储介质。
背景技术
在智能车控制技术领域如自动驾驶或高级辅助驾驶中,车道保持功能或车道偏离预警功能,都需要对车辆在行驶过程中所处的车道进行持续性的跟踪。
相关技术中提供有基于惯性传感器的车辆的车道跟踪方法,通过采集车辆的惯性传感器数据来计算车辆的横向位移,进而确定车辆所在的车道。由于车道宽度未知,所以无法仅通过横向位移来准确判断车辆所在的车道。
如何在车辆的行驶过程中准确跟踪车辆所在的车道,是亟待解决的问题。
发明内容
本申请实施例提供了一种车辆的车道跟踪方法、装置、计算机设备及存储介质,能够融合第一车载信号源和第二车载信号源的信息对车道粒子集进行更新,确定车辆的车道跟踪信息,使得车道跟踪的准确性得到提升。所述技术方案如下。
根据本申请的一个方面,提供了一种车辆的车道跟踪方法,应用于计算机设备中,所述方法包括:
根据第一车载信号源的第一信息和第二车载信号源的第二信息,分别更新车道粒子集中的各个粒子的权重;以及根据所述第二信息,更新所述车道粒子集中的各个粒子的位置;
根据所述车道粒子集中的各个粒子的权重和位置,确定所述车辆的车道跟踪信息;
其中,所述车道粒子集包括N个随机分布在当前道路内的粒子,所述第一车载信号源和所述第二车载信号源不同,N为大于1的正整数。
根据本申请的另一方面,提供了一种车辆的车道跟踪装置,所述装置包括:
更新模块,用于根据第一车载信号源的第一信息和第二车载信号源的第二信息,分别更新车道粒子集中的各个粒子的权重;以及根据所述第二信息,更新所述车道粒子集中的各个粒子的位置;
确定模块,用于根据所述车道粒子集中的各个粒子的权重和位置,确定所述车辆的车道跟踪信息。
根据本申请的另一方面,提供了一种计算机设备,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令,所述指令由所述处理器加载并执行以实现如本申请各个方面提供的车辆的车道跟踪方法。
根据本申请的另一方面,提供了一种计算机可读存储介质,所述存储介质中存储有计算机指令,所述计算机指令由处理器加载并执行以实现如本申请各个方面提供的车辆的车道跟踪方法。
根据本申请的一个方面,提供了一种计算机程序产品,该计算机程序产品包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述车辆的车道跟踪方法。
本申请实施例至少包括如下有益效果:
在对车辆的车道进行跟踪时,通过融合第一车载信号源和第二车载信号源对车道粒子集进行更新,从而确定车辆在当前时刻的车道跟踪信息。本方法采用粒子滤波算法融合第一车载信号源和第二车载信号源,使得可以通过计算车辆相对于车道的横向位移判断车辆的车道信息,并且减少了由单一传感器数据判断车辆位置带来的误差,提高了车道跟踪的准确性。
附图说明
为了更清楚地介绍本申请实施例中的技术方案,下面将对本申请实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1是本申请一个示例性实施例提供的一种车辆坐标系的建立方式;
图2是本申请一个示例性实施例提供的一种逻辑车道的示意图;
图3是本申请一个示例性实施例提供的车道线截距的示意图;
图4是本申请示例性实施例提供的一种计算机设备的结构框图;
图5是本申请示例性实施例提供的车辆的车道跟踪方法运算架构的示意图;
图6是本申请一个示例性实施例提供的一种车辆的车道跟踪方法的流程图;
图7是本申请一个示例性实施例提供的一种计算车辆的横向位移的示意图;
图8是本申请一个示例性实施例提供的一种车辆的车道跟踪方法的流程图;
图9是本申请一个示例性实施例提供的一种车辆的车道跟踪方法的示意图;
图10是本申请一个示例性实施例提供的一种车辆的车道跟踪方法的流程图;
图11是本申请一个示例性实施例提供的一种车辆的车道跟踪方法的示意图;
图12是本申请一个示例性实施例提供的一种车辆的车道跟踪方法的流程图;
图13是本申请一个示例性实施例提供的一种车辆的车道跟踪方法的流程图;
图14是本申请一个示例性实施例提供的一种车辆的车道跟踪方法的流程图;
图15是本申请一个示例性实施例提供的一种车辆的车道跟踪装置的结构框图;
图16是本申请一个示例性实施例提供的分布式系统应用于区块链系统的结构示意图;
图17是本申请一个示例性实施例提供的区块结构的示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请的描述中,需要理解的是,术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性。在本申请的描述中,需要说明的是,除非另有明确的规定和限定,术语“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本申请中的具体含义。此外,在本申请的描述中,除非另有说明,“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
为了本申请实施例所示方案易于理解,下面对本申请实施例中出现的名词进行介绍。
GNSS:全球导航卫星系统(Global Navigation Satellite System)的简称,包括美国的全球定位系统(Global Positioning System,GPS)、俄罗斯的格洛纳斯系统(GlobalNavigation Satellite System,GLONASS)、中国的北斗卫星导航系统(BeiDou NavigationSatellite System,BDS)、欧洲的伽利略定位系统(Galileo Positioning System),等等。
GPS:全球定位系统(Global Positioning System)的简称。本申请中的GPS信号表示车辆GPS模块通过全球导航卫星系统得到的定位信号,包括坐标、速度、时间等。
IMU:惯性测量单元(Inertial Measurement Unit)的简称。IMU大多用在需要进行运动控制的设备,如汽车和机器人上。IMU一般包括加速度传感器,角速度传感器(陀螺仪)和磁力计。
CAN:控制器域网(Controller Area Network)的简称,是标准化组织(International Organization for Standardization,ISO)的串行通信协议,用于汽车内模块之间的可靠通信。
车辆坐标系(Vehicle Coordinate System, VCS):车辆坐标系是用来描述汽车运动的特殊三维动坐标系O-xyz:其坐标系原点O与质心重合,当车辆在水平路面上处于静止状态,X轴平行于地面指向车辆前方,Y轴指向驾驶员的右侧,Z轴通过车辆质心指向上方。一般情况下,可取车辆后轴中点为坐标系原点O,车辆后轴所在位置为车辆两个后轮的连线。
示例性的如图1,以车辆后轴中点为坐标系原点O建立坐标系,X轴平行于地面指向车辆前方,Y轴平行于地面指向驾驶员的右侧,Z轴通过车辆质心指向天空。
需要说明的是,该坐标系的建立方式不唯一,本方法是以左手系建立的,也可以右手系建立,则Y轴指向驾驶员的左侧;该坐标系原点的选择也不唯一,本方法是以后轴中点为坐标系原点建立坐标系的,也可以选择前轴中点、车头中点等位置作为坐标系原点。
逻辑车道:为了方便计算而设置的抽象车道。逻辑车道的宽度可以根据实际情况设置不同的数值,例如,对于城市快速路取值3.75米,城市一般道路取值3.5米,等等。逻辑车道与实际车道的对应关系存在一个常量的偏移量。例如,选取偏移量为4,则逻辑车道7与实际车道3相对应,逻辑车道6与实际车道2相对应。本申请对单个逻辑车道的宽度D和逻辑车道与实际车道的偏移量不加以限制。
示例性的如图2,设置车辆当前所在的逻辑车道为逻辑车道0;逻辑车道-1和逻辑车道-2代表距离车辆当前所在车道左侧最近的第一个车道和第二个车道;逻辑车道1和逻辑车道2代表距离车辆当前所在车道右侧最近的第一个车道和第二个车道。由于车辆在短时间内不会跨越两个车道,所以一般情况下只需跟踪车辆当前所在车道及当前所在车道的左右各两个车道即可。前述需要跟踪的五条逻辑车道可用1行5列的矩阵表示为LL=[-2,-1,0,1,2]。
需要说明的是,在其他可能的实施例中,逻辑车道的数量可以设置为不同的数值。例如,跟踪3条逻辑车道,将3条逻辑车道用矩阵表示为[-1,0,1];再例如,跟踪7条逻辑车道,将7条逻辑车道用矩阵表示为[1,2,3,4,5,6,7]。本申请对逻辑车道的数量选择和逻辑车道的表示方法不加以限制。
车道线截距:为车辆到车辆所在车道的左右两侧的车道线的距离。车辆通过视觉模块得到车辆前方的道路信息,包括左右两侧车道的车道线方程。车道线方程的表现形式可能为二次多项式、三次多项式或其他表现形式,例如:
Figure 729733DEST_PATH_IMAGE001
,或者
Figure 958458DEST_PATH_IMAGE002
,等等。其中,a、b、c、d为多项式的拟合系数。
示例性的如图3,以车辆后轴中点为坐标系原点建立坐标系,若要得到车辆距离所在车道的左右两侧车道线L1、R1的距离
Figure 66091DEST_PATH_IMAGE003
Figure 539929DEST_PATH_IMAGE004
,则将x=0分别代入左右两侧车道线方程,得到y=d;也即,通过车道线截距代表车辆到所在车道的左右两侧车道线的距离。
相关技术的车道确定方法基于车辆的IMU传感器数据,由传感器导致的误差较大,并且在道路信息未知的情况下,传感器读数可能会造成弯道误判为变道的情况。本申请提出的方法采用粒子滤波算法,融合了第一车载信号源、第二车载信号源等多种信号源的信息来确定车辆所在的车道,提高了车辆的车道级跟踪方法的准确性。
图4示出了本申请一个示例性实施例提供的一种计算机设备的结构示意图。该计算机设备可以为车载设备,也可以为通过车联网与车辆相连的服务器。该计算机设备包括:总线101、处理器102、存储器103、第一车载信号源组件104以及第二车载信号源组件105。
处理器102包括一个或者一个以上处理核心,处理器102通过运行软件程序以及模块,从而执行各种功能应用以及信息处理。
存储器103通过总线101与处理器102相连。
存储器103可用于存储至少一个指令,处理器102用于执行该至少一个指令,以实现本申请方法实施例中的各个步骤。
此外,存储器103可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,易失性或非易失性存储设备包括但不限于:磁盘或光盘,电可擦除可编程只读存储器(Electrically- Erasable Programmable Read Only Memory,EEPROM),可擦除可编程只读存储器(Erasable Programmable Read Only Memory,EPROM),静态随时存取存储器(Static Random Access Memory,SRAM),只读存储器(Read-Only Memory,ROM),磁存储器,快闪存储器,可编程只读存储器(Programmable Read-Only Memory,PROM)。
第一车载信号源组件104可用于采集第一信息。例如,当第一信息为道路图像信息时,第一车载信号源组件104为一个摄像头。
第二车载信号源组件105可用于采集第二信息。例如,当第二信息为地图数据和车辆运动数据时,第二车载信号源组件105至少包括:地图组件、导航组件和车辆运动传感器中的至少一种。
图5示出了本申请一个示例性实施例提供的车辆的车道跟踪方法的运算架构的示意图,该运算架构包括:第一车载信号源模块600、第二车载信号源模块700和融合分析计算模块800。
以第一信息为道路图像信息为例,第一车载信号源模块600包括视觉模块610。视觉模块610,用于通过摄像头采集车辆前方道路图像,并对图像进行分析处理得到车辆所在的车道左右两侧的车道线的方程信息。
可选地,视觉模块610包括图像采集组件611和图像处理模块612。图像采集组件611为放置于车辆前挡风玻璃处的摄像头,用于采集车辆前方道路图像;图像处理模块612,用于对图像采集组件611采集到的道路图像进行图像处理,得到车道线截距及车道线方程的置信度。图像处理模块612,包括但不限于采用机器学习算法识别车道线并进行图像分割、投影变换、坐标系转换、车道线拟合重建等步骤。
以第二信息为地图数据和车辆运动数据为例,第二车载信号源模块700包括地图组件710和运动数据采集组件720。地图组件710,用于通过车辆定位匹配道路,查询地图得到道路信息,例如,道路的走向。运动数据采集组件720,用于采集车辆的运动信息,包括但不限于车速信息、IMU信息、GNSS信息。
可选地,运动数据采集组件720,包括车速采集组件721、GNSS采集组件722、IMU采集组件723。车速采集组件721和IMU采集组件723,用于通过运动传感器获取车速信息和IMU数据;GNSS采集组件722,用于通过导航组件获取GNSS信息。
融合分析计算模块800,用于通过整合前述各模块获取的信息,确定车辆所在的车道。融合分析计算模块800,通过接收第一车载信号源模块输出的数据和第二车载信号源输出的数据,采用粒子滤波算法融合多源数据,不断更新粒子的权重与位置,基于粒子的概率模型确定车辆的车道信息。
可选地,融合分析计算模块800包括第一更新模块810、第二更新模块820和确定模块830。以第一车载信号源为道路图像信息,第二车载信号源为地图数据和车辆运动数据为例:第一更新模块810根据第一车载信号源模块600输出的视觉处理结果,更新车道粒子集中的各个粒子的权重;第二更新模块820根据第二车载信号源模块700输出的局部地图数据和车辆运动数据,更新车道粒子集中的各个粒子的权重和位置;确定模块830,根据第一更新模块810和第二更新模块820更新后的粒子的权重和位置,确定车辆的车道跟踪信息。
图6示出了本申请一个示例性实施例提供的车辆的车道跟踪方法的流程图。示例性的,该车辆的跟踪方法由图4示出的计算机设备执行。该方法包括如下。
步骤220a:根据第一信息更新车道粒子集中的各个粒子的权重;
以第一信息为道路图像信息为例,第一信息包括车道线截距及车道线方程的置信度。
示例性的,通过设置于车辆前挡风玻璃处的摄像头,采集车辆前方的道路图像,对道路图像进行图像处理后得到车道线方程及车道线方程的置信度,并根据车道线方程获取车道线截距。
根据第一信息更新车道粒子集中的各个粒子的权重。示例性的,基于车道粒子集中的每个粒子距离左右车道线的距离和车道线截距的差,计算车道粒子集中的每个粒子的权重。下面用第i个粒子表示车道粒子集中的任意一个粒子。
具体计算过程如下:
对于第i个粒子,其位置坐标表示为P(i)。由于只有y轴方向上的距离对于确定车辆所处的车道有影响,因此,本实施例中的坐标均忽略x轴方向,只考虑y轴方向。计算第i个粒子所在的逻辑车道的车道线坐标为:
Figure 557563DEST_PATH_IMAGE005
Figure 973501DEST_PATH_IMAGE006
其中,
Figure 820628DEST_PATH_IMAGE007
为第i个粒子所在车道的左侧车道线的坐标,
Figure 222790DEST_PATH_IMAGE008
为第i个粒子所在车道的右侧车道线的坐标,D为单个逻辑车道的宽度,floor(*)表示向下取整操作,celing(*)表示向上取整操作。
第i个粒子所在的车道的左右车道线坐标与第i个粒子的位置相减得到第i个粒子距离左右车道线的距离为:
Figure 219565DEST_PATH_IMAGE009
Figure 291557DEST_PATH_IMAGE010
其中,
Figure 373783DEST_PATH_IMAGE011
表示第i个粒子距离所在的车道的左侧车道线的距离,
Figure 314057DEST_PATH_IMAGE012
表示第i个粒子距离所在的车道的右侧车道线的距离。
根据第一信息,得到车道线截距,即车辆距离车辆所在车道的左右车道线的距离
Figure 414606DEST_PATH_IMAGE013
Figure 172346DEST_PATH_IMAGE014
,以及车道线方程的置信度
Figure 492601DEST_PATH_IMAGE015
基于第i个粒子距离左右车道线的距离与车道线截距的差,计算第i个粒子的概率权重M(i),再经过指数计算与归一化操作,得到车道粒子集中的第i个粒子的权重。具体步骤如下:
Figure 970986DEST_PATH_IMAGE016
Figure 942353DEST_PATH_IMAGE017
Figure 857613DEST_PATH_IMAGE018
Figure 914431DEST_PATH_IMAGE019
Figure 196508DEST_PATH_IMAGE020
其中,
Figure 366589DEST_PATH_IMAGE021
为车道线截距误差分布的标准差,
Figure 607077DEST_PATH_IMAGE021
根据车道线方程的置信度
Figure 134880DEST_PATH_IMAGE015
得到,即
Figure 486227DEST_PATH_IMAGE022
Figure 166607DEST_PATH_IMAGE023
为根据置信度
Figure 453363DEST_PATH_IMAGE015
确定标准差
Figure 94559DEST_PATH_IMAGE021
的规则,通常情况下,置信度
Figure 843073DEST_PATH_IMAGE015
越高,标准差
Figure 149596DEST_PATH_IMAGE021
越小。本申请对根据置信度
Figure 466308DEST_PATH_IMAGE015
确定标准差
Figure 719435DEST_PATH_IMAGE021
的规则不加以限制。max(*)表示取最大值操作,
Figure 287951DEST_PATH_IMAGE024
表示M(i)中的最大值,
Figure 818289DEST_PATH_IMAGE025
表示对数组
Figure 430536DEST_PATH_IMAGE026
求和,W(i)表示第i个粒子更新后的权重。
按照计算得到的权重W(i)更新车道粒子集中的粒子,车道粒子集中N个粒子的权重和为1。
步骤220b:根据第二信息更新车道粒子集中的各个粒子的权重和位置;
第二信息包括基于车辆运动数据和地图数据中的至少一种,至少包括车辆的横向位移。车辆运动数据包括:车速信息、GNSS信号、IMU数据中的至少一种;车辆运动数据可以由运动传感器采集得到。地图数据至少包括当前道路的走向,例如,当前道路的方向角度;地图数据可以由地图组件通过车辆定位匹配道路,查询地图后获取。
由于车辆相对于车道的横向位置在不断发生改变,因此需要根据车辆的位置对粒子位置和权重进行一定的更新,这就需要基于车辆的横向位移对车道粒子集进行重采样。
示例性的,基于第二信息对车道粒子集中的粒子进行重采样。根据粒子原来的权重大小确定粒子的分裂个数,使得重采样后的车道粒子集中仍然有N个粒子且N个新粒子均由原车道粒子集中的粒子分裂而来。
示例性的,基于第二信息对车道粒子集中的粒子进行重采样过程如下。
第一步:计算车辆的横向位移
Figure 420226DEST_PATH_IMAGE027
示例性的如图7,根据第二信息中的地图数据确定道路的方向角度
Figure 917067DEST_PATH_IMAGE028
,即方向箭头10与方向箭头14之间的夹角。根据第二信息中的车速信息确定车速V,单位为米每秒m/s,也可以由千米每小时km/h转换得到m/s。设置采样频率为S,则两次采样的间隔时间
Figure 426546DEST_PATH_IMAGE029
。根据第二信息中的IMU数据确定陀螺仪的方向角度
Figure 85060DEST_PATH_IMAGE030
,以及两次采样间隔内的陀螺仪旋转角度
Figure 63511DEST_PATH_IMAGE031
(一般很小),即
Figure 957518DEST_PATH_IMAGE032
前后的方向角度的采样结果分别为
Figure 728028DEST_PATH_IMAGE030
Figure 668696DEST_PATH_IMAGE030
+
Figure 383711DEST_PATH_IMAGE031
,得到车辆在
Figure 832141DEST_PATH_IMAGE032
时间内的平均方向角度为
Figure 191578DEST_PATH_IMAGE033
,即图7中方向箭头10与方向箭头12之间的夹角大小为
Figure 50949DEST_PATH_IMAGE030
+
Figure 502528DEST_PATH_IMAGE031
/2。其中,道路的方向角度
Figure 879283DEST_PATH_IMAGE028
和陀螺仪的方向角度
Figure 483440DEST_PATH_IMAGE030
是基于同一规则表示的角度,例如,选择正北方向为0°,顺时针方向为正,角度取值范围为[0,360)。
由上述步骤得到图7中方向箭头12和方向箭头14之间的夹角为
Figure 530024DEST_PATH_IMAGE028
-
Figure 829418DEST_PATH_IMAGE030
-
Figure 868919DEST_PATH_IMAGE031
/2,计算得到车辆的横向位移
Figure 314200DEST_PATH_IMAGE027
Figure 780953DEST_PATH_IMAGE034
综合考虑地图数据误差和车辆运动数据误差,设置横向位移
Figure 833223DEST_PATH_IMAGE027
的标准差
Figure 161567DEST_PATH_IMAGE035
。通过在计算时加入横向位移
Figure 474737DEST_PATH_IMAGE027
的标准差
Figure 253337DEST_PATH_IMAGE035
,可以在计算时针对传感器导致的数据误差作出优化。示例性的,对于精度越高的传感器,横向位移
Figure 901225DEST_PATH_IMAGE027
的标准差
Figure 423473DEST_PATH_IMAGE035
越小;对于精度越低的传感器,横向位移
Figure 591149DEST_PATH_IMAGE027
的标准差
Figure 884858DEST_PATH_IMAGE035
越大。
第二步:计算车道粒子集中的每个粒子的分裂个数。
为了使粒子的位置根据车辆的横向位移而得到更新,需要对粒子进行重采样。在重采样的过程中,对于权重过小的粒子,将其删除;对于权重较大的粒子,对其进行分裂。也即,删除距离车辆较远的粒子,分裂距离车辆较近的粒子。
示例性的,对于车道粒子集中的第i个粒子,计算其分裂的个数
Figure 505196DEST_PATH_IMAGE036
。其中,W(i)为第i个粒子的权重,N为车道粒子集中的粒子的个数,floor(*)代表向下取整操作;也即,将
Figure 831135DEST_PATH_IMAGE037
的结果四舍五入取近似值后得到粒子的分裂个数N(i)。
为了使重采样后的车道粒子集中的粒子个数仍然为N,需要增加第一粒子的分裂个数或减少第二粒子的分裂个数。第一粒子为在分裂粒子个数和小于N时,需要增加分裂个数的粒子;第二粒子为在分裂粒子个数和大于N时,需要减少分裂个数的粒子。
示例性的,在粒子的分裂个数和小于N的情况下,在取分裂个数的近似值时舍弃尾数的粒子中选取第一粒子,将第一粒子的分裂个数增加1,直到分裂粒子个数和为N;也即,在
Figure 105515DEST_PATH_IMAGE038
的情况下,对满足
Figure 84972DEST_PATH_IMAGE039
的粒子j,令N(j)=N(j)+1,直到
Figure 208917DEST_PATH_IMAGE040
。第一粒子的选取方式可以是随机的,即,随机的在取分裂个数的近似值时舍弃尾数的粒子中选取粒子为第一粒子,使其分裂个数加1,直至分裂粒子个数和为N;或者,将在取分裂个数的近似值时舍弃尾数的粒子按照权重从大到小的顺序排序,从大的开始选取第一粒子,使其分裂个数加1,直至分裂粒子个数和为N;或者,将在取分裂个数的近似值时舍弃尾数的粒子按照舍弃的尾数从大到小的顺序排序,从大的开始选取第一粒子,使其分裂个数加1,直至分裂粒子个数和为N,等等。本申请对选取第一粒子的方式不加以限制。
示例性的,在粒子的分裂个数和大于N的情况下,在取分裂个数的近似值时有进位的粒子中选取第二粒子,将其分裂个数减少1,直到分裂粒子个数和为N;也即,在
Figure 400864DEST_PATH_IMAGE041
的情况下,对满足
Figure 526821DEST_PATH_IMAGE042
的粒子j,令N(j)=N(j)-1,直到
Figure 677179DEST_PATH_IMAGE040
。第二粒子的选取方式可以是随机的,即,随机的在取分裂个数的近似值时有进位的粒子中选取粒子为第二粒子,使其分裂个数减1,直至分裂粒子个数和为N;或者,将在取分裂个数的近似值时有进位的粒子按照权重从小到大的顺序排序,从小的开始选取第二粒子,使其分裂个数减1,直至分裂粒子个数和为N;或者,将在取分裂个数的近似值时有进位的粒子按照进位后的数据与原始数据的差值从大到小顺序排序,从大的开始选取第二粒子,使其分裂个数减1,直至分裂粒子个数和为N,等等。本申请对选取第二粒子的方式不加以限制。
通过上述步骤得到第i个粒子分裂的粒子个数N(i)。在第i个粒子分裂的粒子个数N(i)为0的情况下,即删除第i个粒子;在第i个粒子分裂的粒子个数N(i)大于0的情况下,分裂第i个粒子为N(i)个粒子。重采样后的车道粒子集中仍有N个粒子。
第三步:计算重采样后的车道粒子集中的各个粒子的位置和权重。
通过第二步得到车道粒子集中的第i个粒子分裂为N(i)个粒子,分裂后的N(i)个粒子平分第i个粒子的权重,即:
Figure 757262DEST_PATH_IMAGE043
其中,
Figure 752900DEST_PATH_IMAGE044
表示第i个粒子分裂出的第j个粒子的分得的权重。
为了使得N个粒子的权重和为1,再对车道粒子集中的粒子的权重进行归一化处理:
Figure 482432DEST_PATH_IMAGE045
Figure 69271DEST_PATH_IMAGE046
其中,W(i,j)表示经过归一化处理后的第i个粒子分裂出的第j个粒子的权重,满足车道粒子集中的权重和为1,即
Figure 26863DEST_PATH_IMAGE047
基于第i个粒子的位置P(i)、车辆的横向位移
Figure 108083DEST_PATH_IMAGE027
、车辆的横向位移的标准差
Figure 959364DEST_PATH_IMAGE035
,确定第i个粒子重采样后的N(i)个子粒子的位置:
Figure 592471DEST_PATH_IMAGE048
其中,P(i,j)表示第i个粒子分裂出的第j个子粒子的位置;rand(*)表示在*表示的范围内生成随机数,*代表的范围可以根据情况选择。生成随机数的方式也可以自定义。例如,在(-1,1)区间内等概率生成随机数;或者,在(-1,1)区间内非等概率生成随机数,可以选择在0处概率最高,向数轴两侧对称递减。本申请对生成随机数的范围和方式不加以限制。
本申请不限定步骤220a和步骤220b的执行先后顺序,步骤220a可以在步骤220b之前执行,步骤220b也可以在步骤220a之前执行。针对两种情况的执行过程详见后文实施例。
步骤240:根据车道粒子集中的各个粒子的权重和位置,确定车辆的车道跟踪信息。
对应于上述步骤220a和步骤220b的执行的先后顺序,根据车道粒子集中的各个粒子的权重和位置,确定车辆的车道跟踪信息,至少包括两种方法。
方法一:先执行步骤220a,再执行步骤220b。
示例性的,在第t个时间片,根据第一信息更新车道粒子集中的各个粒子的权重;在第t+1个时间片,根据第二信息更新车道粒子集中的各个粒子的权重和位置;根据车道粒子集中在第t+1个时间片内的各个粒子的权重和位置,确定车辆在第t+1个时间片内所处的车道。
示例性的,对于车道粒子集中的第i个粒子,得到第i个粒子在第t+1个时间片内的权重W(i)和位置P(i),计算得到车辆在第t+1个时间片的在道路中的位置Pos:
Figure 145680DEST_PATH_IMAGE049
通过车辆在第t+1个时间片的位置Pos得到车辆在第t+1个时间片所在的逻辑车道
Figure 14279DEST_PATH_IMAGE050
其中,floor(*)为向下取整操作,D为逻辑车道的宽度。
方法二:先执行步骤220b,再执行步骤220a。
示例性的,在第t个时间片,根据第二信息更新车道粒子集中的各个粒子的权重和位置;在第t+1个时间片,根据第一信息更新车道粒子集中的各个粒子的权重;根据车道粒子集中在第t+1个时间片内的各个粒子的权重,以及车道粒子集中在第t个时间片内的各个粒子的位置,确定车辆在第t+1个时间片内所处的车道。
通过车道粒子集的粒子概率模型确定车道:将车道粒子集中的各个粒子分裂至粒子当前所在车道的左侧车道、粒子当前所在的当前车道,以及粒子当前所在车道的右侧车道。根据粒子的当前位置确定分裂后的左侧车道粒子的第一概率、当前车道粒子的第二概率以及右侧车道粒子的第三概率。计算各车道中的分裂后的粒子的概率和,确定具有最大的概率和的车道为车辆当前所在车道。
具体步骤如下:
对于车道粒子集中的第i个粒子,第i个粒子所在的逻辑车道为
Figure 126592DEST_PATH_IMAGE051
,则左侧车道为
Figure 540387DEST_PATH_IMAGE052
-1,右侧车道为
Figure 331625DEST_PATH_IMAGE052
+1。
分裂到左侧车道
Figure 990533DEST_PATH_IMAGE052
-1的概率权重
Figure 816407DEST_PATH_IMAGE053
、分裂到右侧车道
Figure 791316DEST_PATH_IMAGE052
+1的概率权重
Figure 86162DEST_PATH_IMAGE054
、分裂到当前车道
Figure 296564DEST_PATH_IMAGE052
的概率权重
Figure 852310DEST_PATH_IMAGE055
分别为:
Figure 372022DEST_PATH_IMAGE056
Figure 137852DEST_PATH_IMAGE057
Figure 637098DEST_PATH_IMAGE058
其中,
Figure 171985DEST_PATH_IMAGE059
为分裂参数,可以选择不同的值,例如,
Figure 223117DEST_PATH_IMAGE060
,本申请对分裂参数
Figure 728441DEST_PATH_IMAGE059
的值不作限定。
此时,车道粒子集中的N个粒子共分裂为3*N个粒子。
对上述得到的概率权重进行指数计算和归一化处理,得到粒子分裂到左侧车道、当前车道、右侧车道的分裂概率
Figure 280645DEST_PATH_IMAGE061
Figure 686350DEST_PATH_IMAGE062
Figure 33018DEST_PATH_IMAGE063
Figure 914386DEST_PATH_IMAGE064
Figure 253969DEST_PATH_IMAGE065
Figure 763448DEST_PATH_IMAGE066
Figure 687542DEST_PATH_IMAGE067
Figure 665993DEST_PATH_IMAGE068
Figure 560000DEST_PATH_IMAGE069
Figure 64931DEST_PATH_IMAGE070
Figure 271177DEST_PATH_IMAGE071
其中,
Figure 986193DEST_PATH_IMAGE061
Figure 903464DEST_PATH_IMAGE062
Figure 121956DEST_PATH_IMAGE063
分别为第i个粒子分裂到左侧车道
Figure 122273DEST_PATH_IMAGE052
-1的第一概率、分裂到当前车道
Figure 308272DEST_PATH_IMAGE052
的第二概率以及分裂到右侧车道
Figure 809661DEST_PATH_IMAGE052
+1的第三概率。分裂后的车道粒子集中的3*N个粒子的分裂概率和为1。
计算各条车道的粒子的概率和,确定具有最大的概率和的车道为车辆当前所在的车道,赋值给curLane,curLane用于指示通过第一信息和第二信息确定的车辆当前所在的逻辑车道。
若得到的curLane的新值比上一个确定车辆所处车道的时间片内得到的curLane小1,则代表车辆向左变了一个车道;若得到的curLane的新值与上一个确定车辆所处车道的时间片内得到的curLane相等,则代表车辆没有变道;若curLane的新值比上一个确定车辆所处车道的时间片内得到的curLane大1,则代表车辆向右变了一个车道。
综上所述,本实施例根据第一信息和第二信息,更新车道粒子集中的各个粒子的权重和位置,并根据经过更新的车道粒子集中的各个粒子的权重和位置确定车辆的车道跟踪信息。本实施例以第一信息为道路图像信息,第二信息为地图数据和车辆运动数据为例,通过粒子滤波方法融合多元信号。其中,道路图像信息用于根据车道线截距与粒子的位置更新粒子的权重,车辆运动数据用于计算车辆的横向位移来对车道粒子集中的粒子的权重与位置进行更新,地图数据用于计算车辆相对与车道的横向位移,避免了车辆转弯与变道的误判情况。本方法根据融合多源信号的顺序先后,可以通过两种方式确定车辆的车道跟踪信息。其中,先根据第一信息更新车道粒子集中的各个粒子的权重,再根据第二信息更新车道粒子集中的各个粒子的权重和位置,进而确定车道的车道跟踪信息的方法,根据车辆相对于车道的横向位移对车道粒子集重采样,基于重采样后的车道粒子集确定车辆在车道内的精细位置;先根据第二信息更新车道粒子集中的各个粒子的权重和位置,再根据第一信息更新车道粒子集中的各个粒子的权重,进而确定车道的车道跟踪信息的方法,基于视觉信息更新车道粒子集,通过车道粒子集的概率模型确定车辆所处车道,进行车辆的变道判断。本方法通过多源信号的融合避免了因车道宽度未知而造成的车道误判情况,且降低了单一传感器误差带来的影响,提高了车道跟踪的准确性。
图8示出了本申请一个示例性实施例提供的车辆的车道跟踪方法的流程图。示例性的,该车辆的跟踪方法由图4示出的计算机设备执行。该方法包括如下。
步骤310:初始化;
在初始时刻,以车辆后轴的延长线与车辆所在车道的左侧车道线的交点为坐标系原点,建立一维坐标系。该动坐标系随着车辆的运动一起运动。车辆后轴的延长线也可以更改为前轴延长线或其他平行线,本申请对建立坐标系的方式不加以限制。
示例性的如图2,选择向右为y轴正方向。D表示单个逻辑车道的宽度,该宽度值可以根据道路种类设置为不同的数值,本申请对此不加以限制。
初始时刻的车辆位于逻辑车道0,即初始时刻curLane=0。由于短时间内车辆不会跨越两个车道,因此在车辆当前所在逻辑车道的两侧各再确定两个逻辑车道足以实现对车辆所处车道的跟踪。将距离车辆当前所在的逻辑车道左侧最近的第一个和第二个车道确定为逻辑车道-1和逻辑车道-2,将距离车辆当前所在的逻辑车道右侧最近的第一个和第二个车道确定为逻辑车道1和逻辑车道2,并将这5个车道用1行5列的矩阵表示为LL=[-2,-1,0,1,2]。
初始时刻的车道粒子集中的N个粒子随机分布在逻辑车道0中,且权重相等。由于车道粒子集中的粒子的位置在车道跟踪过程中,起作用的只有y轴方向的坐标,因此忽略车道粒子集中的粒子在x轴方向上分布的情况。对于车道粒子集中的第i个粒子,用P(i)表示第i个粒子在y轴方向上的坐标,用W(i)表示粒子的权重。根据初始化设置可以得到:
Figure 898971DEST_PATH_IMAGE072
Figure 70189DEST_PATH_IMAGE073
其中,i为小于等于N的正整数,N表示车道粒子集中的粒子的个数;rand(*)表示生成一个在*范围内的随机数。rand(*)可选的生成随机数的方式有多种,例如,在D/2处概率最高,在数轴上向两侧概率递减。本申请不对生成随机数的方式加以限制。
步骤322:根据第一信息更新车道粒子集中的各个粒子的权重;
第一信息为当前时刻车辆所在车道的信息,包括车道线截距及车道线方程的置信度。示例性的,通过设置于车辆前挡风玻璃处的摄像头,采集车辆前方的道路图像,对道路图像进行图像处理后得到车道线方程及车道线方程的置信度,并根据车道线方程获取车道线截距。
根据第一信息更新车道粒子集中的各个粒子的权重,示例性的,基于车道粒子集中的每个粒子距离左右车道线的距离和车道线截距的差,计算车道粒子集中的每个粒子的权重。下面用第i个粒子表示车道粒子集中的任意一个粒子。
具体计算过程如下:
对于第i个粒子,其位置坐标表示为P(i),由于只有y轴方向上的距离对于确定车辆所处的车道有影响,因此,本实施例中的坐标均忽略x轴方向,只考虑y轴方向。计算第i个粒子所在的逻辑车道的车道线坐标为:
Figure 759796DEST_PATH_IMAGE074
Figure 508617DEST_PATH_IMAGE075
其中,
Figure 967280DEST_PATH_IMAGE076
为第i个粒子所在车道的左侧车道线的坐标,
Figure 309399DEST_PATH_IMAGE077
为第i个粒子所在车道的右侧车道线的坐标,floor(*)表示向下取整操作,celing(*)表示向上取整操作。
第i个粒子所在的车道的左右车道线坐标与第i个粒子的位置相减得到第i个粒子距离左右车道线的距离为:
Figure 971456DEST_PATH_IMAGE078
Figure 549068DEST_PATH_IMAGE079
其中,
Figure 845926DEST_PATH_IMAGE011
表示第i个粒子距离所在的车道的左侧车道线的距离,
Figure 483581DEST_PATH_IMAGE012
表示第i个粒子距离所在的车道的右侧车道线的距离。
根据第一信息,得到车道线截距,即车辆距离车辆所在车道的左右车道线的距离
Figure 23146DEST_PATH_IMAGE013
Figure 155182DEST_PATH_IMAGE014
,以及车道线方程的置信度
Figure 463803DEST_PATH_IMAGE015
基于第i个粒子距离左右车道线的距离与车道线截距的差,计算第i个粒子的概率权重M(i),再经过指数计算与归一化操作,得到车道粒子集中的第i个粒子的权重。具体步骤如下:
Figure 272359DEST_PATH_IMAGE016
Figure 144894DEST_PATH_IMAGE017
Figure 470833DEST_PATH_IMAGE018
Figure 493015DEST_PATH_IMAGE019
Figure 488784DEST_PATH_IMAGE020
其中,
Figure 737363DEST_PATH_IMAGE021
为车道线截距误差分布的标准差,
Figure 194889DEST_PATH_IMAGE021
根据车道线方程的置信度
Figure 320846DEST_PATH_IMAGE015
得到,即
Figure 736784DEST_PATH_IMAGE022
Figure 816866DEST_PATH_IMAGE080
为根据置信度
Figure 78084DEST_PATH_IMAGE015
确定标准差
Figure 215804DEST_PATH_IMAGE021
的规则,通常情况下,置信度
Figure 54840DEST_PATH_IMAGE015
越高,标准差
Figure 871486DEST_PATH_IMAGE021
越小。本申请对根据置信度
Figure 77340DEST_PATH_IMAGE015
确定标准差
Figure 679354DEST_PATH_IMAGE021
的规则不加以限制。max(*)表示取最大值操作,
Figure 905936DEST_PATH_IMAGE025
表示对数组
Figure 724725DEST_PATH_IMAGE026
求和,W(i)表示第i个粒子更新后的权重。
按照计算得到的权重W(i)更新车道粒子集中的粒子,车道粒子集中N个粒子的权重和为1。
示例性的如图9,车辆距离所在车道的左右车道线的距离为
Figure 62165DEST_PATH_IMAGE013
Figure 253106DEST_PATH_IMAGE014
。以图中的粒子1为例,忽略粒子的大小。根据粒子1的位置P(1)得到粒子1所在的逻辑车道0的左侧车道线的坐标为0,右侧车道线的坐标为D,粒子1到左侧车道线的距离为
Figure 181748DEST_PATH_IMAGE081
,粒子1到右侧车道线的距离为
Figure 959605DEST_PATH_IMAGE082
。根据粒子1到左右车道线的距离与车辆到左右车道线的距离的差,得到粒子1的概率权重M(1):
Figure 631894DEST_PATH_IMAGE083
。以此类推得到车道粒子集中的全部N个粒子的概率权重。代入上述公式中进行指数运算和归一化操作,得到各个粒子更新后的权重。
步骤324:根据车道粒子集中的各个粒子的权重和位置,确定车辆的车道跟踪信息;
通过车道粒子集的概率模型将车道粒子集中的各个粒子分裂至粒子当前所在车道的左侧车道、粒子当前所在的当前车道,以及粒子当前所在车道的右侧车道。根据粒子的当前位置确定分裂后的左侧车道粒子的第一概率、当前车道粒子的第二概率以及右侧车道粒子的第三概率。计算各车道中的分裂后的粒子的概率和,确定车辆的车道跟踪信息。
具体步骤如下:
对于车道粒子集中的第i个粒子,第i个粒子所在的逻辑车道为
Figure 333134DEST_PATH_IMAGE051
,则左侧车道为
Figure 511306DEST_PATH_IMAGE052
-1,右侧车道为
Figure 196365DEST_PATH_IMAGE052
+1。由于短时间内车辆不会跨越两个车道,故只考虑将粒子分裂到当前车道的左侧车道、当前车道以及当前车道的右侧车道。
粒子分裂到左侧车道
Figure 656034DEST_PATH_IMAGE052
-1的概率权重
Figure 477359DEST_PATH_IMAGE053
、分裂到右侧车道
Figure 482225DEST_PATH_IMAGE052
+1的概率权重
Figure 998788DEST_PATH_IMAGE054
、分裂到当前车道
Figure 747301DEST_PATH_IMAGE052
的概率权重
Figure 546103DEST_PATH_IMAGE055
分别为:
Figure 128394DEST_PATH_IMAGE056
Figure 381521DEST_PATH_IMAGE057
Figure 418879DEST_PATH_IMAGE084
其中,
Figure 73851DEST_PATH_IMAGE059
为分裂参数,可以选择不同的值,例如,
Figure 561464DEST_PATH_IMAGE060
,本申请对分裂参数
Figure 285575DEST_PATH_IMAGE059
的值不作限定。
此时,车道粒子集中的N个粒子分裂为3*N个粒子,每个车道中个分布有N个粒子。
对上述得到的概率权重进行指数计算和归一化处理,得到粒子分裂到左侧车道、当前车道、右侧车道的分裂概率
Figure 375891DEST_PATH_IMAGE061
Figure 636102DEST_PATH_IMAGE062
Figure 419250DEST_PATH_IMAGE063
Figure 522336DEST_PATH_IMAGE064
Figure 668540DEST_PATH_IMAGE065
Figure 32525DEST_PATH_IMAGE066
Figure 127520DEST_PATH_IMAGE067
Figure 327688DEST_PATH_IMAGE068
Figure 494227DEST_PATH_IMAGE069
Figure 821041DEST_PATH_IMAGE070
Figure 165566DEST_PATH_IMAGE071
其中,
Figure 102298DEST_PATH_IMAGE061
Figure 59146DEST_PATH_IMAGE062
Figure 397723DEST_PATH_IMAGE063
分别为第i个粒子分裂到左侧车道的第一概率、分裂到当前车道的第二概率以及分裂到右侧车道的第三概率。分裂后的车道粒子集中的3*N个粒子的分裂概率和为1。
计算各条车道的粒子的概率和,确定具有最大的概率和的车道为车辆当前所在的车道,赋值给curLane。
车道跟踪方法中所使用的车道粒子集中有大量粒子,这里为了简化说明,以车道粒子集中的有3个粒子示意。示例性的如图9,车道粒子集中有粒子1、粒子2、粒子3,都位于逻辑车道0。经过步骤322确定其分别的权重为0.15,0.8,0.05。本步骤中将每个粒子分别分裂至逻辑车道-1、逻辑车道0、逻辑车道1,此时所有车道内共有9个粒子。通过上述计算,得到9个粒子各自的概率,例如粒子1分裂至逻辑车道-1、逻辑车道0、逻辑车道1的粒子的概率分别为0.03、0.1、0.02,粒子2分裂至逻辑车道-1、逻辑车道0、逻辑车道1的粒子的概率分别为0.05、0.7、0.05,粒子3分裂至逻辑车道-1、逻辑车道0、逻辑车道1的粒子的概率分别为0.005、0.035、0.01。计算得到,分裂到逻辑车道-1的粒子的概率和为0.085,分裂到逻辑车道0的粒子的概率和为0.835,分裂到逻辑车道1的粒子的概率和为0.08。确定概率和最大的车道为逻辑车道0,即curLane=0,也即从上一确定车道的时刻到这一确定车道的时刻内,车辆没有发生变道。
示例性的,若curLane计算结果比上一时刻小1,则表示车辆向左变一车道;若curLane计算结果比上一时刻大1,则表示车辆向右变一车道。例如,若上述示例中curLane=1,则说明向右变一车道;若上述示例中curLane= -1,则说明向左变一车道。
得到当前车辆所处的逻辑车道curLane后,更新逻辑车道矩阵LL=[curLane-2,curLane-1,curLane,curLane+1, curLane+2]。
步骤326:根据第二信息更新车道粒子集中的各个粒子的权重和位置。
第二信息包括基于车辆运动数据和地图数据中的至少一种,至少包括车辆的横向位移。车辆运动数据包括:车速信息、GNSS信号、IMU数据中的至少一种;车辆运动数据可以由运动传感器采集得到。地图数据至少包括当前道路的走向,例如,当前道路的方向角度;地图数据可以由地图组件通过车辆定位匹配道路,查询地图后获取。
由于车辆相对于车道的横向位置在不断发生改变,因此需要根据车辆的位置对粒子位置和权重进行一定的更新,这就需要基于车辆的横向位移对车道粒子集进行重采样。
示例性的,基于第二信息对车道粒子集中的粒子进行重采样。根据粒子原来的权重大小确定粒子的分裂个数,使得重采样后的车道粒子集中仍然有N个粒子且N个新粒子均由原车道粒子集中的粒子分裂而来。
示例性的,基于第二信息对车道粒子集中的粒子进行重采样过程如下。
第一步:计算车辆的横向位移
Figure 568942DEST_PATH_IMAGE027
示例性的如图7,根据第二信息中的地图数据确定道路的方向角度
Figure 743702DEST_PATH_IMAGE028
,即方向箭头10与方向箭头14之间的夹角。根据第二信息中的车速信息确定车速V,单位为米每秒m/s,也可以由千米每小时km/h转换得到m/s。设置采样频率为S,则两次采样的间隔时间
Figure 783202DEST_PATH_IMAGE029
。根据第二信息中的IMU数据确定陀螺仪的方向角度
Figure 225554DEST_PATH_IMAGE030
,以及两次采样间隔内的陀螺仪旋转角度
Figure 692307DEST_PATH_IMAGE031
(一般很小),即
Figure 213419DEST_PATH_IMAGE032
前后的方向角度的采样结果分别为
Figure 807342DEST_PATH_IMAGE030
Figure 854932DEST_PATH_IMAGE030
+
Figure 744784DEST_PATH_IMAGE031
,得到车辆在
Figure 612246DEST_PATH_IMAGE032
时间内的平均方向角度为
Figure 478702DEST_PATH_IMAGE033
,即图7中方向箭头10与方向箭头12之间的夹角大小为
Figure 646378DEST_PATH_IMAGE030
+
Figure 330301DEST_PATH_IMAGE031
/2。其中,道路的方向角度
Figure 465485DEST_PATH_IMAGE028
和陀螺仪的方向角度
Figure 119320DEST_PATH_IMAGE030
是基于同一规则表示的角度,例如,选择正北方向为0°,顺时针方向为正,角度取值范围为[0,360)。
由上述步骤得到图7中方向箭头12和方向箭头14之间的夹角为
Figure 157814DEST_PATH_IMAGE028
-
Figure 137272DEST_PATH_IMAGE030
-
Figure 120271DEST_PATH_IMAGE031
/2,计算得到车辆的横向位移
Figure 83855DEST_PATH_IMAGE027
Figure 960544DEST_PATH_IMAGE034
综合考虑地图数据误差和车辆运动数据误差,设置横向位移
Figure 861635DEST_PATH_IMAGE027
的标准差
Figure 190985DEST_PATH_IMAGE035
。通过在计算时加入横向位移
Figure 967049DEST_PATH_IMAGE027
的标准差
Figure 698245DEST_PATH_IMAGE035
,可以在计算时针对传感器导致的数据误差作出优化。示例性的,对于精度越高的传感器,横向位移
Figure 504658DEST_PATH_IMAGE027
的标准差
Figure 727829DEST_PATH_IMAGE035
越小;对于精度越低的传感器,横向位移
Figure 58316DEST_PATH_IMAGE027
的标准差
Figure 50543DEST_PATH_IMAGE035
越大。
第二步:计算车道粒子集中的每个粒子的分裂个数。
为了使粒子的位置根据车辆的横向位移而得到更新,需要对粒子进行重采样。在重采样的过程中,对于权重过小的粒子,将其删除;对于权重较大的粒子,对其进行分裂。也即,删除距离车辆较远的粒子,分裂距离车辆较近的粒子。
示例性的,对于车道粒子集中的第i个粒子,计算其分裂的个数
Figure 794901DEST_PATH_IMAGE036
。其中,W(i)为第i个粒子的权重,N为车道粒子集中的粒子的个数,floor(*)代表向下取整操作;也即,将
Figure 364423DEST_PATH_IMAGE037
的结果四舍五入取近似值后得到粒子的分裂个数N(i)。
为了使重采样后的车道粒子集中的粒子个数仍然为N,需要增加第一粒子的分裂个数或减少第二粒子的分裂个数。第一粒子为在分裂粒子个数和小于N时,需要增加分裂个数的粒子;第二粒子为在分裂粒子个数和大于N时,需要减少分裂个数的粒子。
示例性的,在粒子的分裂个数和小于N的情况下,在取分裂个数的近似值时舍弃尾数的粒子中选取第一粒子,将第一粒子的分裂个数增加1,直到分裂粒子个数和为N;也即,在
Figure 373967DEST_PATH_IMAGE038
的情况下,对满足
Figure 830487DEST_PATH_IMAGE039
的粒子j,令N(j)=N(j)+1,直到
Figure 759129DEST_PATH_IMAGE040
。第一粒子的选取方式可以是随机的,即,随机的在取分裂个数的近似值时舍弃尾数的粒子中选取粒子为第一粒子,使其分裂个数加1,直至分裂粒子个数和为N;或者,将在取分裂个数的近似值时舍弃尾数的粒子按照权重从大到小的顺序排序,从大的开始选取第一粒子,使其分裂个数加1,直至分裂粒子个数和为N;或者,将在取分裂个数的近似值时舍弃尾数的粒子按照舍弃的尾数从大到小的顺序排序,从大的开始选取第一粒子,使其分裂个数加1,直至分裂粒子个数和为N,等等。本申请对选取第一粒子的方式不加以限制。
示例性的,在粒子的分裂个数和大于N的情况下,在取分裂个数的近似值时有进位的粒子中选取第二粒子,将其分裂个数减少1,直到分裂粒子个数和为N;也即,在
Figure 691313DEST_PATH_IMAGE041
的情况下,对满足
Figure 612870DEST_PATH_IMAGE042
的粒子j,令N(j)=N(j)-1,直到
Figure 173165DEST_PATH_IMAGE040
。第二粒子的选取方式可以是随机的,即,随机的在取分裂个数的近似值时有进位的粒子中选取粒子为第二粒子,使其分裂个数减1,直至分裂粒子个数和为N;或者,将在取分裂个数的近似值时有进位的粒子按照权重从小到大的顺序排序,从小的开始选取第二粒子,使其分裂个数减1,直至分裂粒子个数和为N;或者,将在取分裂个数的近似值时有进位的粒子按照进位后的数据与原始数据的差值从大到小顺序排序,从大的开始选取第二粒子,使其分裂个数减1,直至分裂粒子个数和为N,等等。本申请对选取第二粒子的方式不加以限制。通过上述步骤得到第i个粒子分裂的粒子个数N(i)。在第i个粒子分裂的粒子个数N(i)为0的情况下,即删除第i个粒子;在第i个粒子分裂的粒子个数N(i)大于0的情况下,分裂第i个粒子为N(i)个粒子。重采样后的车道粒子集中仍有N个粒子。
第三步:计算重采样后的车道粒子集中的各个粒子的位置和权重。
通过第二步得到车道粒子集中的第i个粒子分裂为N(i)个粒子,分裂后的N(i)个粒子平分第i个粒子的权重,即:
Figure 23440DEST_PATH_IMAGE043
其中,
Figure 177341DEST_PATH_IMAGE044
表示第i个粒子分裂出的第j个粒子的分得的权重。
为了使得N个粒子的权重和为1,再对车道粒子集中的粒子的权重进行归一化处理:
Figure 387743DEST_PATH_IMAGE045
Figure 54741DEST_PATH_IMAGE046
其中,W(i,j)表示经过归一化处理后的第i个粒子分裂出的第j个粒子的权重,满足车道粒子集中的权重和为1,即
Figure 325185DEST_PATH_IMAGE047
基于第i个粒子的位置P(i)、车辆的横向位移
Figure 841748DEST_PATH_IMAGE027
、车辆的横向位移的标准差
Figure 996786DEST_PATH_IMAGE035
,确定第i个粒子重采样后的N(i)个子粒子的位置:
Figure 266093DEST_PATH_IMAGE048
其中,P(i,j)表示第i个粒子分裂出的第j个子粒子的位置;rand(*)表示在*表示的范围内生成随机数,*代表的范围可以根据情况选择。生成随机数的方式也可以自定义。例如,在(-1,1)区间内等概率生成随机数;或者,在(-1,1)区间内非等概率生成随机数,可以选择在0处概率最高,向数轴两侧对称递减。本申请对生成随机数的范围和方式不加以限制。根据第二信息更新车道粒子集中的粒子的权重和位置后,回到步骤322,进行步骤322到步骤326的循环,通过循环实现对车辆的所处车道的跟踪。
综上所述,本实施例提供的方法,通过第一信息更新车道粒子集中的粒子的权重;结合粒子的位置,确定车辆的车道跟踪信息;并且通过第二信息更新车道粒子集中的粒子的位置与权重,用于确定下一时刻的车道位置。本方法基于融合了多源信号的粒子滤波算法确定车道,通过循环实现对车辆所在车道的跟踪,提供了一种准确率高的车辆的车道跟踪方法。
图10示出了本申请一个示例性实施例提供的车辆的车道跟踪方法的流程图。示例性的,该车辆的跟踪方法由图4示出的计算机设备执行。该方法包括如下。
步骤410:初始化;
参见步骤310,这里不再赘述。
步骤422:根据第二信息更新车道粒子集中的各个粒子的权重和位置;
第二信息包括基于车辆运动数据和地图数据中的至少一种,至少包括车辆的横向位移。车辆运动数据包括:车速信息、GNSS信号、IMU数据中的至少一种;车辆运动数据可以由运动传感器采集得到。地图数据至少包括当前道路的走向,例如,当前道路的方向角度;地图数据可以由地图组件通过车辆定位匹配道路,查询地图后获取。
由于车辆相对于车道的横向位置在不断发生改变,因此需要根据车辆的位置对粒子位置和权重进行一定的更新,这就需要基于车辆的横向位移对车道粒子集进行重采样。
示例性的,基于第二信息对车道粒子集中的粒子进行重采样。根据粒子原来的权重大小确定粒子的分裂个数,使得重采样后的车道粒子集中仍然有N个粒子且N个新粒子均由原车道粒子集中的粒子分裂而来。
示例性的,基于第二信息对车道粒子集中的粒子进行重采样过程如下。
第一步:计算车辆的横向位移
Figure 956706DEST_PATH_IMAGE027
示例性的如图7,根据第二信息中的地图数据确定道路的方向角度
Figure 209833DEST_PATH_IMAGE028
,即方向箭头10与方向箭头14之间的夹角。根据第二信息中的车速信息确定车速V,单位为米每秒m/s,也可以由千米每小时km/h转换得到m/s。设置采样频率为S,则两次采样的间隔时间
Figure 247190DEST_PATH_IMAGE029
。根据第二信息中的IMU数据确定陀螺仪的方向角度
Figure 777529DEST_PATH_IMAGE030
,以及两次采样间隔内的陀螺仪旋转角度
Figure 124197DEST_PATH_IMAGE031
(一般很小),即
Figure 382396DEST_PATH_IMAGE032
前后的方向角度的采样结果分别为
Figure 613657DEST_PATH_IMAGE030
Figure 123136DEST_PATH_IMAGE030
+
Figure 657017DEST_PATH_IMAGE031
,得到车辆在
Figure 353577DEST_PATH_IMAGE032
时间内的平均方向角度为
Figure 388529DEST_PATH_IMAGE033
,即图7中方向箭头10与方向箭头12之间的夹角大小为
Figure 267361DEST_PATH_IMAGE030
+
Figure 221411DEST_PATH_IMAGE031
/2。其中,道路的方向角度
Figure 421579DEST_PATH_IMAGE028
和陀螺仪的方向角度
Figure 994643DEST_PATH_IMAGE030
是基于同一规则表示的角度,例如,选择正北方向为0°,顺时针方向为正,角度取值范围为[0,360)。
由上述步骤得到图7中方向箭头12和方向箭头14之间的夹角为
Figure 744293DEST_PATH_IMAGE028
-
Figure 133160DEST_PATH_IMAGE030
-
Figure 210837DEST_PATH_IMAGE031
/2,计算得到车辆的横向位移
Figure 446647DEST_PATH_IMAGE027
Figure 535957DEST_PATH_IMAGE034
综合考虑地图数据误差和车辆运动数据误差,设置横向位移
Figure 972754DEST_PATH_IMAGE027
的标准差
Figure 396782DEST_PATH_IMAGE035
。通过在计算时加入横向位移
Figure 577228DEST_PATH_IMAGE027
的标准差
Figure 19579DEST_PATH_IMAGE035
,可以在计算时针对传感器导致的数据误差作出优化。示例性的,对于精度越高的传感器,横向位移
Figure 486333DEST_PATH_IMAGE027
的标准差
Figure 148389DEST_PATH_IMAGE035
越小;对于精度越低的传感器,横向位移
Figure 132526DEST_PATH_IMAGE027
的标准差
Figure 180116DEST_PATH_IMAGE035
越大。
第二步:计算车道粒子集中的每个粒子的分裂个数。
为了使粒子的位置根据车辆的横向位移而得到更新,需要对粒子进行重采样。在重采样的过程中,对于权重过小的粒子,将其删除;对于权重较大的粒子,对其进行分裂。也即,删除距离车辆较远的粒子,分裂距离车辆较近的粒子。
示例性的,对于车道粒子集中的第i个粒子,计算其分裂的个数
Figure 958717DEST_PATH_IMAGE036
。其中,W(i)为第i个粒子的权重,N为车道粒子集中的粒子的个数,floor(*)代表向下取整操作。
为了使重采样后的车道粒子集中的粒子个数仍然为N,需要增加第一粒子的分裂个数或减少第二粒子的分裂个数。第一粒子为在分裂粒子个数和小于N时,需要增加分裂个数的粒子;第二粒子为在分裂粒子个数和大于N时,需要减少分裂个数的粒子。
示例性的,在粒子的分裂个数和小于N的情况下,在取分裂个数的近似值时舍弃尾数的粒子中选取第一粒子,将第一粒子的分裂个数增加1,直到分裂粒子个数和为N;也即,在
Figure 343955DEST_PATH_IMAGE038
的情况下,对满足
Figure 990837DEST_PATH_IMAGE039
的粒子j,令N(j)=N(j)+1,直到
Figure 909245DEST_PATH_IMAGE040
。第一粒子的选取方式可以是随机的,即,随机的在取分裂个数的近似值时舍弃尾数的粒子中选取粒子为第一粒子,使其分裂个数加1,直至分裂粒子个数和为N;或者,将在取分裂个数的近似值时舍弃尾数的粒子按照权重从大到小的顺序排序,从大的开始选取第一粒子,使其分裂个数加1,直至分裂粒子个数和为N;或者,将在取分裂个数的近似值时舍弃尾数的粒子按照舍弃的尾数从大到小的顺序排序,从大的开始选取第一粒子,使其分裂个数加1,直至分裂粒子个数和为N,等等。本申请对选取第一粒子的方式不加以限制。
示例性的,在粒子的分裂个数和大于N的情况下,在取分裂个数的近似值时有进位的粒子中选取第二粒子,将其分裂个数减少1,直到分裂粒子个数和为N;也即,在
Figure 858747DEST_PATH_IMAGE041
的情况下,对满足
Figure 744663DEST_PATH_IMAGE042
的粒子j,令N(j)=N(j)-1,直到
Figure 913345DEST_PATH_IMAGE040
。第二粒子的选取方式可以是随机的,即,随机的在取分裂个数的近似值时有进位的粒子中选取粒子为第二粒子,使其分裂个数减1,直至分裂粒子个数和为N;或者,将在取分裂个数的近似值时有进位的粒子按照权重从小到大的顺序排序,从小的开始选取第二粒子,使其分裂个数减1,直至分裂粒子个数和为N;或者,将在取分裂个数的近似值时有进位的粒子按照进位后的数据与原始数据的差值从大到小顺序排序,从大的开始选取第二粒子,使其分裂个数减1,直至分裂粒子个数和为N,等等。本申请对选取第二粒子的方式不加以限制。
通过上述步骤得到第i个粒子分裂的粒子个数N(i)。在第i个粒子分裂的粒子个数N(i)为0的情况下,即删除第i个粒子;在第i个粒子分裂的粒子个数N(i)大于0的情况下,分裂第i个粒子为N(i)个粒子。重采样后的车道粒子集中仍有N个粒子。
第三步:计算重采样后的车道粒子集中的各个粒子的位置和权重。
通过第二步得到第i个粒子分裂为N(i)个粒子,分裂后的N(i)个粒子平分第i个粒子的权重,即:
Figure 76473DEST_PATH_IMAGE043
其中,
Figure 321510DEST_PATH_IMAGE044
表示第i个粒子分裂出的第j个粒子的权重。
为了使得N个粒子的权重和为1,再对车道粒子集中的粒子的权重进行归一化处理:
Figure 179876DEST_PATH_IMAGE045
Figure 43926DEST_PATH_IMAGE046
其中,W(i,j)表示经过归一化处理后的第i个粒子分裂出的第j个粒子的权重,满足车道粒子集中的权重和为1,即
Figure 186195DEST_PATH_IMAGE047
基于第i个粒子的位置P(i)、车辆的横向位移
Figure 588751DEST_PATH_IMAGE027
、车辆的横向位移的标准差
Figure 59046DEST_PATH_IMAGE035
,确定第i个粒子重采样后的N(i)个子粒子的位置:
Figure 585843DEST_PATH_IMAGE048
其中,P(i,j)表示第i个粒子分裂出的第j个子粒子的位置;rand(*)表示在*表示的范围内生成随机数,*代表的范围可以根据情况选择。生成随机数的方式也可以自定义。例如,在(-1,1)区间内等概率生成随机数;或者,在(-1,1)区间内非等概率生成随机数,可以选择在0处概率最高,向数轴两侧对称递减。本申请对生成随机数的范围和方式不加以限制。示例性的,如图9所示的车道粒子集中有3个粒子,粒子权重分别为0.35、0.6、0.05。在本步骤对这3个粒子进行重采样。根据公式
Figure 333350DEST_PATH_IMAGE036
计算粒子的分裂个数,得到N(1)=1,N(2)=2,N(3)=0,即,粒子1不分裂,只改变粒子权重与位置;粒子2分裂为2个粒子;粒子3不再存在。重采样后的粒子如图11所示,图中1号粒子为粒子1改变权重与位置后的粒子,图中斜线阴影的两个粒子为粒子2分裂得到的粒子,其权重与位置根据第二信息确定。
步骤424:根据车道粒子集中的各个粒子的权重和位置,确定车辆的车道跟踪信息;
示例性的,在步骤422中根据第二信息更新车道粒子集中的各个粒子的权重与位置。对于车道粒子集中的第i个粒子,得到第i个粒子的权重W(i)和位置P(i),计算得到车辆位置Pos:
Figure 654610DEST_PATH_IMAGE049
通过车辆的位置Pos得到车辆所在的逻辑车道LogicLane:
Figure 612202DEST_PATH_IMAGE050
其中,floor(*)为向下取整操作,D为逻辑车道的宽度。
得到当前车辆所处的逻辑车道LogicLane后,更新逻辑车道矩阵LL=[LogicLane-2,LogicLane-1,LogicLane,LogicLane+1,LogicLane+2]。
步骤426:根据第一信息更新车道粒子集中的各个粒子的权重。
第一信息为当前时刻车辆所在车道的信息,包括车道线截距及车道线方程的置信度。示例性的,通过设置于车辆前挡风玻璃处的摄像头,采集车辆前方的道路图像,对道路图像进行图像处理后得到车道线方程及车道线方程的置信度,并根据车道线方程获取车道线截距。
根据第一信息更新车道粒子集中的各个粒子的权重,示例性的,基于车道粒子集中的每个粒子距离左右车道线的距离和车道线截距的差,计算车道粒子集中的每个粒子的权重。下面用第i个粒子表示车道粒子集中的任意一个粒子。
具体计算过程如下:
对于第i个粒子,其位置坐标表示为P(i),由于只有y轴方向上的距离对于确定车辆所处的车道有影响,因此,本实施例中的坐标均忽略x轴方向,只考虑y轴方向。计算第i个粒子所在的逻辑车道的车道线坐标为:
Figure 191956DEST_PATH_IMAGE074
Figure 43238DEST_PATH_IMAGE075
其中,
Figure 676344DEST_PATH_IMAGE076
为第i个粒子所在车道的左侧车道线的坐标,
Figure 996598DEST_PATH_IMAGE077
为第i个粒子所在车道的右侧车道线的坐标,floor(*)表示向下取整操作,celing(*)表示向上取整操作。
第i个粒子所在的车道的左右车道线坐标与第i个粒子的位置相减得到第i个粒子距离左右车道线的距离为:
Figure 599618DEST_PATH_IMAGE078
Figure 711930DEST_PATH_IMAGE079
其中,
Figure 627190DEST_PATH_IMAGE011
表示第i个粒子距离所在的车道的左侧车道线的距离,
Figure 684008DEST_PATH_IMAGE012
表示第i个粒子距离所在的车道的右侧车道线的距离。
根据第一信息,得到车道线截距,即车辆距离车辆所在车道的左右车道线的距离
Figure 841451DEST_PATH_IMAGE013
Figure 401745DEST_PATH_IMAGE014
,以及车道线方程的置信度
Figure 376655DEST_PATH_IMAGE015
基于第i个粒子距离左右车道线的距离与车道线截距的差,计算第i个粒子的概率权重M(i),再经过指数计算与归一化操作,得到车道粒子集中的第i个粒子的权重。具体步骤如下:
Figure 170036DEST_PATH_IMAGE016
Figure 380437DEST_PATH_IMAGE017
Figure 936184DEST_PATH_IMAGE018
Figure 222940DEST_PATH_IMAGE019
Figure 988770DEST_PATH_IMAGE020
其中,
Figure 878229DEST_PATH_IMAGE021
为车道线截距误差分布的标准差,
Figure 919173DEST_PATH_IMAGE021
根据车道线方程的置信度
Figure 360519DEST_PATH_IMAGE015
得到,即
Figure 754591DEST_PATH_IMAGE022
Figure 57528DEST_PATH_IMAGE080
为根据置信度
Figure 446921DEST_PATH_IMAGE015
确定标准差
Figure 200113DEST_PATH_IMAGE021
的规则,通常情况下,置信度
Figure 189803DEST_PATH_IMAGE015
越高,标准差
Figure 545698DEST_PATH_IMAGE021
越小。本申请对根据置信度
Figure 930543DEST_PATH_IMAGE015
确定标准差
Figure 464424DEST_PATH_IMAGE021
的规则不加以限制。max(*)表示取最大值操作,
Figure 692143DEST_PATH_IMAGE025
表示对数组
Figure 461516DEST_PATH_IMAGE026
求和,W(i)表示第i个粒子更新后的权重。
按照计算得到的权重W(i)更新车道粒子集中的粒子,车道粒子集中N个粒子的权重和为1。
根据第一信息更新车道粒子集中的粒子的权重后,回到步骤422,进行步骤422到步骤426的循环,通过循环实现对车辆的所处车道的跟踪。
综上所述,本实施例提供的方法,通过第二信息更新车道粒子集中的粒子的权重和位置,确定车辆的车道跟踪信息;并且通过第一信息更新车道粒子集中的粒子的权重,用于确定下一时刻的车道位置。本方法基于融合了多源信号的粒子滤波算法确定车道,通过循环实现对车辆所在车道的跟踪,提供了一种准确率高的车辆的车道跟踪方法。
以上两个实施例示出了一个循环过程中只采集一次第一信息和一次第二信息,并输出一次当前车道的车道跟踪信息的过程。
在一个可选设计中,根据实际情况调整信号源的采集频率,在一个循环过程中可以自定义第一信息和第二信息的采集次数。
在一个可选设计中,自定义在一个循环过程中输出当前车道的次数。例如,一个循环过程中只输出一次当前车道;或者,每根据第一信息更新粒子的权重与位置一次后,均输出当前车道;或者,每根据第二信息更新粒子的权重与位置一次后,均输出当前车道,等等。本申请对输出当前车道的次数与时间点不加以限制。
示例性的,设置第一信息的采集频率高于第二信息的采集频率。在一个循环中通过第一信息对车道粒子集中的粒子进行三次更新后,确定车辆所在的车道,再根据第二信息更新车道粒子集中的粒子的权重和位置后,进入下一个循环。如图12所示,在第t时间片、第t+1时间片、第t+2时间片分别基于第一车载信号源获取的道路图像信息对车道粒子集进行三次更新;在第t+3时间片确定车辆所处的当前车道并输出;在第t+4时间片根据第二车载信号源获取的地图数据和车辆运动数据对车道粒子集中的粒子的权重和位置进行更新。从第t+5个时间片开始进入下一个循环过程。
示例性的,设置第二信息的采集频率高于第一信息的采集频率。在一个循环中通过第二信息对车道粒子集中的粒子进行两次更新后,确定车辆所在的车道,再根据第一信息更新车道粒子集中的粒子的权重后,进入下一个循环。如图13所示,在第t时间片、第t+1时间片分别基于第二车载信号源获取的地图数据和车辆运动数据对车道粒子集中的粒子的权重和位置进行更新;在第t+2时间片确定车辆所处的当前车道并输出;在第t+3时间片根据第一车载信号源获取的地图数据和车辆运动数据对车道粒子集中的粒子的权重进行更新。从第t+4个时间片开始进入下一个循环过程。
示例性的,设置第二信息的采集频率高于第一信息的采集频率。在一个循环中通过第二信息对车道粒子集中的粒子进行两次更新,在每次基于第二信息对车道粒子集进行更新后,确定车辆所在的车道并输出,再根据第一信息更新车道粒子集中的粒子的权重,进入下一个循环。如图14所示,在第t时间片基于第二车载信号源获取的地图数据和车辆运动数据对车道粒子集中的粒子的权重和位置进行更新;在第t+1时间片确定车辆所处的当前车道并输出;在第t+2时间片再次基于第二车载信号源获取的地图数据和车辆运动数据对车道粒子集中的粒子的权重和位置进行更新;在第t+3时间片再次确定车辆所处的当前车道并输出;在第t+4时间片根据第一车载信号源获取的地图数据和车辆运动数据对车道粒子集中的粒子的权重进行更新。从第t+5个时间片开始进入下一个循环过程。
下述为本申请装置实施例,可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节,请参照本申请方法实施例。
图15是本申请一个示例性实施例提供的一种车辆的车道跟踪装置的结构框图。所述装置包括:
更新模块540,用于根据第一车载信号源的第一信息和第二车载信号源的第二信息,分别更新车道粒子集中的各个粒子的权重;以及根据所述第二信息,更新所述车道粒子集中的各个粒子的位置;
确定模块560,用于根据所述车道粒子集中的各个粒子的权重和位置,确定所述车辆的车道跟踪信息;其中,所述车道粒子集包括N个随机分布在当前道路内的粒子,所述第一车载信号源和所述第二车载信号源不同,N为大于1的正整数。
在一个可能的设计中,所述更新模块540包括第一更新模块542和第二更新模块544。所述第二更新模块544,用于在第t个时间片,根据所述第二信息更新所述车道粒子集中的各个粒子的权重和位置,t为正整数;所述第一更新模块542,用于在第t+1个时间片,根据所述第一信息更新所述车道粒子集中的各个粒子的权重。
在一个可能的设计中,所述确定模块560,用于根据所述车道粒子集中在所述第t+1个时间片内的各个粒子的权重,以及所述车道粒子集中在所述第t个时间片内的各个粒子的位置,确定所述车辆在所述第t+1个时间片内的车道跟踪信息。
在一个可能的设计中,所述确定模块560,用于将所述车道粒子集中的每个粒子分裂为左侧车道粒子、当前车道粒子、右侧车道粒子;根据所述车道粒子集中在所述第t+1个时间片内的每个粒子的权重,以及所述车道粒子集中在所述第t个时间片内的各个粒子的位置,计算所述每个粒子对应的所述左侧车道粒子的第一概率、所述当前车道粒子的第二概率和所述右侧车道粒子的第三概率;根据所述当前道路中的各条车道内粒子的概率和,确定所述车辆在所述第t+1个时间片内的车道跟踪信息,所述车道跟踪信息包括所处车辆所处的车道和所述车辆的变道信息中的至少一种。
在一个可能的设计中,所述第一更新模块542,用于在第t个时间片,根据所述第一信息更新所述车道粒子集中的各个粒子的权重,t为正整数;所述第二更新模块544,用于在第t+1个时间片,根据所述第二信息更新所述车道粒子集中的各个粒子的权重和位置。
在一个可能的设计中,所述确定模块560,用于根据所述车道粒子集中在所述第t+1个时间片内的各个粒子的权重和位置,确定所述车辆在所述第t+1个时间片内的车道跟踪信息。
在一个可能的设计中,所述确定模块560,用于根据所述车道粒子集中在所述第t+1个时间片内的各个粒子的权重和位置,计算所述车辆在所述当前道路中的位置;根据所述车辆在所述当前道路中的位置确定所述车辆在所述第t+1个时间片内的车道跟踪信息,所述车道跟踪信息包括所述车辆所处的车道和所述车辆在所述车道中的精细位置中的至少一种。
在一个可能的设计中,所述第一信息包括车道线截距:所述第一更新模块542,用于根据所述车道粒子集中的每个粒子距离左右车道线的距离与所述车道线截距的差,更新所述每个粒子的权重。
在一个可能的设计中,所述第一车载信号源包括:设置于所述车辆前挡风玻璃处的摄像头。
在一个可能的设计中,所述第二信息包括所述车辆的横向位移;所述第二更新模块544,用于根据所述车道粒子集中的每个粒子的权重,将所述每个粒子进行重采样,得到重采样后的粒子;根据所述车道粒子集中的每个粒子的权重,确定所述重采样后的粒子的权重;根据所述车道粒子集中的每个粒子的位置和所述车辆的横向位移,确定所述重采样后的粒子的位置。
在一个可能的设计中,所述第二更新模块544,用于根据所述车道粒子集中的每个粒子的位置、所述车辆的横向位移和所述车辆的横向位移的标准差,确定所述重采样后的粒子的位置。
在一个可能的设计中,所述第二车载信号源包括:运动传感器和地图组件。
在一个可能的设计中,所述第二更新模块544,用于根据所述车道粒子集中的第i个粒子的权重,计算所述第i个粒子分裂的粒子个数N(i),i为大于或等于0且小于N的整数;在所述第i个粒子分裂的粒子个数N(i)为0的情况下,删除所述第i个粒子;在所述第i个粒子分裂的粒子个数N(i)大于0的情况下,将所述第i个粒子分裂为N(i)个粒子。
在一个可能的设计中,所述第二更新模块544,用于在所述重采样后的粒子个数和小于N的情况下,增加第一粒子的分裂个数,以使得所述重采样后的所述车道粒子集中的粒子个数仍为N;在所述重采样后的粒子个数和大于N的情况下,减少第二粒子的分裂个数以使得所述重采样后的所述车道粒子集中的粒子个数仍为N。
在一个可能的设计中,所述更新模块540,用于在初始时刻建立初始粒子集,所述初始粒子集包括N个权重相等的随机位于所述车辆初始所在的车道中的粒子。
在示例性实施例中,还提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述各个方法实施例提供的车辆的车道跟踪方法。
在示例性实施例中,还提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中,通信设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该通信设备执行上述方面所述的车辆的车道跟踪方法。
本申请实施例涉及的系统可以是由客户端、多个节点(接入网络中的任意形式的计算设备,如服务器、用户终端)通过网络通信的形式连接形成的分布式系统。
以分布式系统为区块链系统为例,参见图16,图16是本申请实施例提供的分布式系统1000应用于区块链系统的一个可选的结构示意图,由多个节点2000(接入网络中的任意形式的计算设备,如服务器、用户终端)和客户端3000形成,节点之间形成组成的点对点(P2P,Peer To Peer)网络,P2P 协议是一个运行在传输控制协议(TCP,TransmissionControl Protocol )协议之上的应用层协议。在分布式系统中,任何机器如服务器、终端都可以加入而成为节点,节点包括硬件层、中间层、操作系统层和应用层。该分布式系统可用于执行上述方面所述的车辆的车道跟踪方法。
参见图16示出的区块链系统中各节点的功能,涉及的功能包括如下。
1)路由,节点具有的基本功能,用于支持节点之间的通信。
节点除具有路由功能外,还可以具有以下功能。
2)应用,用于部署在区块链中,根据实际业务需求而实现特定业务,记录实现功能相关的数据形成记录数据,在记录数据中携带数字签名以表示任务数据的来源,将记录数据发送到区块链系统中的其他节点,供其他节点在验证记录数据来源以及完整性成功时,将记录数据添加到临时区块中。
例如,应用实现的业务包括如下。
2.1)钱包,用于提供进行电子货币的交易的功能,包括发起交易(即,将当前交易的交易记录发送给区块链系统中的其他节点,其他节点验证成功后,作为承认交易有效的响应,将交易的记录数据存入区块链的临时区块中;当然,钱包还支持查询电子货币地址中剩余的电子货币。
2.2)共享账本,用于提供账目数据的存储、查询和修改等操作的功能,将对账目数据的操作的记录数据发送到区块链系统中的其他节点,其他节点验证有效后,作为承认账目数据有效的响应,将记录数据存入临时区块中,还可以向发起操作的节点发送确认。
2.3)智能合约,计算机化的协议,可以执行某个合约的条款,通过部署在共享账本上的用于在满足一定条件时而执行的代码实现,根据实际的业务需求代码用于完成自动化的交易,例如查询买家所购买商品的物流状态,在买家签收货物后将买家的电子货币转移到商户的地址;当然,智能合约不仅限于执行用于交易的合约,还可以执行对接收的信息进行处理的合约。
3)区块链,包括一系列按照产生的先后时间顺序相互接续的区块(Block),新区块一旦加入到区块链中就不会再被移除,区块中记录了区块链系统中节点提交的记录数据。
参见图17,图17是本申请实施例提供的区块结构(Block Structure)一个可选的示意图,每个区块中包括本区块存储交易记录的哈希值(本区块的哈希值)、以及前一区块的哈希值,各区块通过哈希值连接形成区块链。另外,区块中还可以包括有区块生成时的时间戳等信息。区块链(Blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了相关的信息,用于验证其信息的有效性(防伪)和生成下一个区块。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本申请的可选实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。摘要
本申请公开了一种车辆的车道跟踪方法、装置、计算机设备及存储介质,涉及地图、导航、智能交通、车联网、智能车控制等领域。所述方法包括:根据第一车载信号源的第一信息和第二车载信号源的第二信息,分别更新车道粒子集中的各个粒子的权重;以及根据所述第二信息,更新所述车道粒子集中的各个粒子的位置;根据所述车道粒子集中的各个粒子的权重和位置,确定所述车辆的车道跟踪信息;其中,所述车道粒子集包括N个随机分布在当前道路内的粒子,所述第一车载信号源和所述第二车载信号源不同,N为大于1的正整数。本申请提高了对于车辆的车道跟踪方法的准确性。

Claims (16)

1.一种车辆的车道跟踪方法,其特征在于,所述方法包括:
根据第一车载信号源的第一信息和第二车载信号源的第二信息,分别更新车道粒子集中的各个粒子的权重;以及根据所述第二信息,更新所述车道粒子集中的各个粒子的位置,所述第一信息包括车道线截距,所述第二信息包括所述车辆的横向位移;
根据所述车道粒子集中的各个粒子的权重和位置,确定所述车辆的车道跟踪信息;
其中,所述车道粒子集包括N个随机分布在当前道路内的粒子,所述第一车载信号源和所述第二车载信号源不同,N为大于1的正整数。
2.根据权利要求1所述的方法,其特征在于,所述根据第一车载信号源的第一信息和第二车载信号源的第二信息,分别更新车道粒子集中的各个粒子的权重;以及根据所述第二信息,更新所述车道粒子集中的各个粒子的位置,包括:
在第t个时间片,根据所述第二信息更新所述车道粒子集中的各个粒子的权重和位置,t为正整数;
在第t+1个时间片,根据所述第一信息更新所述车道粒子集中的各个粒子的权重。
3.根据权利要求2所述的方法,其特征在于,所述根据所述车道粒子集中的各个粒子的权重和位置,确定所述车辆的车道跟踪信息,包括:
根据所述车道粒子集中在所述第t+1个时间片内的各个粒子的权重,以及所述车道粒子集中在所述第t个时间片内的各个粒子的位置,确定所述车辆在所述第t+1个时间片内的车道跟踪信息。
4.根据权利要求3所述的方法,其特征在于,所述根据所述车道粒子集中在所述第t+1个时间片内的各个粒子的权重,以及所述车道粒子集中在所述第t个时间片内的各个粒子的位置,确定所述车辆在所述第t+1个时间片内的车道跟踪信息,包括:
将所述车道粒子集中的每个粒子分裂为左侧车道粒子、当前车道粒子、右侧车道粒子;
根据所述车道粒子集中在所述第t+1个时间片内的每个粒子的权重,以及所述车道粒子集中在所述第t个时间片内的各个粒子的位置,计算所述每个粒子对应的所述左侧车道粒子的第一概率、所述当前车道粒子的第二概率和所述右侧车道粒子的第三概率;
根据所述当前道路中的各条车道内粒子的概率和,确定所述车辆在所述第t+1个时间片内的车道跟踪信息,所述车道跟踪信息包括所处车辆所处的车道和所述车辆的变道信息中的至少一种。
5.根据权利要求1所述的方法,其特征在于,所述根据第一车载信号源的第一信息和第二车载信号源的第二信息,分别更新车道粒子集中的各个粒子的权重;以及根据所述第二信息,更新所述车道粒子集中的各个粒子的位置,包括:
在第t个时间片,根据所述第一信息更新所述车道粒子集中的各个粒子的权重,t为正整数;
在第t+1个时间片,根据所述第二信息更新所述车道粒子集中的各个粒子的权重和位置。
6.根据权利要求5所述的方法,其特征在于,所述根据所述车道粒子集中的各个粒子的权重和位置,确定所述车辆的车道跟踪信息,包括:
根据所述车道粒子集中在所述第t+1个时间片内的各个粒子的权重和位置,确定所述车辆在所述第t+1个时间片内的车道跟踪信息。
7.根据权利要求6所述的方法,其特征在于,所述根据所述车道粒子集中在所述第t+1个时间片内的各个粒子的权重和位置,确定所述车辆在所述第t+1个时间片内所处的车道跟踪信息,包括:
根据所述车道粒子集中在所述第t+1个时间片内的各个粒子的权重和位置,计算所述车辆在所述当前道路中的位置;
根据所述车辆在所述当前道路中的位置确定所述车辆在所述第t+1个时间片内的车道跟踪信息,所述车道跟踪信息包括所述车辆所处的车道和所述车辆在所述车道中的精细位置中的至少一种。
8.根据权利要求2或5所述的方法,其特征在于,所述第一信息包括车道线截距:
所述根据所述第一信息更新所述车道粒子集中的各个粒子的权重,包括:
根据所述车道粒子集中的每个粒子距离左右车道线的距离与所述车道线截距的差,更新所述每个粒子的权重。
9.根据权利要求8所述的方法,其特征在于,所述第一车载信号源包括:设置于所述车辆前挡风玻璃处的摄像头;
所述方法还包括:
通过所述摄像头采集所述车辆前方的道路图像;
对所述道路图像进行图像处理,得到所述车道线截距。
10.根据权利要求2或5所述的方法,其特征在于,所述第二信息包括所述车辆的横向位移;
所述根据所述第二信息更新所述车道粒子集中的各个粒子的权重和位置,包括:
根据所述车道粒子集中的每个粒子的权重,将所述每个粒子进行重采样,得到重采样后的粒子;
根据所述车道粒子集中的每个粒子的权重,确定所述重采样后的粒子的权重;
根据所述车道粒子集中的每个粒子的位置和所述车辆的横向位移,确定所述重采样后的粒子的位置。
11.根据权利要求10所述的方法,其特征在于,所述第二车载信号源包括:运动传感器和地图组件;
所述方法还包括:
获取所述运动传感器采集到的车辆运动数据,以及所述地图组件提供的地图数据;
根据所述车辆运动数据和所述地图数据确定所述车辆的横向位移。
12.根据权利要求10所述的方法,其特征在于,所述根据所述车道粒子集中的每个粒子的权重,将所述每个粒子进行重采样,得到重采样后的粒子,包括:
根据所述车道粒子集中的第i个粒子的权重,计算所述第i个粒子分裂的粒子个数N(i),i为大于或等于0且小于N的整数;
在所述第i个粒子分裂的粒子个数N(i)为0的情况下,删除所述第i个粒子;
在所述第i个粒子分裂的粒子个数N(i)大于0的情况下,将所述第i个粒子分裂为N(i)个粒子。
13.根据权利要求10所述的方法,其特征在于,所述方法还包括:
在所述重采样后的粒子个数和小于N的情况下,增加第一粒子的分裂个数,以使得所述重采样后的所述车道粒子集中的粒子个数仍为N;
在所述重采样后的粒子个数和大于N的情况下,减少第二粒子的分裂个数以使得所述重采样后的所述车道粒子集中的粒子个数仍为N。
14.一种计算机设备,其特征在于,所述设备包括处理器,与所述处理器相连的存储器,以及存储在所述存储器上的程序指令,所述处理器执行的所述程序指令时实现如权利要求1至13任一所述的车辆的车道确定方法。
15.一种计算机可读存储介质,所述存储介质中存储有程序指令,其特征在于,所述程序指令被处理器执行时实现如权利要求1至13任一所述的车辆的车道确定方法。
16.一种车辆的车道跟踪装置,其特征在于,所述装置包括:
更新模块,用于根据第一车载信号源的第一信息和第二车载信号源的第二信息,分别更新车道粒子集中的各个粒子的权重;以及根据所述第二信息,更新所述车道粒子集中的各个粒子的位置,所述第一信息包括车道线截距,所述第二信息包括所述车辆的横向位移;
确定模块,用于根据所述车道粒子集中的各个粒子的权重和位置,确定所述车辆的车道跟踪信息;
其中,所述车道粒子集包括N个随机分布在当前道路内的粒子,所述第一车载信号源和所述第二车载信号源不同,N为大于1的正整数。
CN202110474175.6A 2021-04-29 2021-04-29 车辆的车道跟踪方法、装置、计算机设备及存储介质 Active CN112985427B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110474175.6A CN112985427B (zh) 2021-04-29 2021-04-29 车辆的车道跟踪方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110474175.6A CN112985427B (zh) 2021-04-29 2021-04-29 车辆的车道跟踪方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN112985427A CN112985427A (zh) 2021-06-18
CN112985427B true CN112985427B (zh) 2021-07-30

Family

ID=76336702

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110474175.6A Active CN112985427B (zh) 2021-04-29 2021-04-29 车辆的车道跟踪方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN112985427B (zh)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106184220B (zh) * 2016-06-30 2018-08-21 南京航空航天大学 一种基于车辆定位轨迹的车道内异常驾驶检测方法
CN106767791A (zh) * 2017-01-13 2017-05-31 东南大学 一种采用基于粒子群优化的ckf的惯性/视觉组合导航方法
CN109061703B (zh) * 2018-06-11 2021-12-28 阿波罗智能技术(北京)有限公司 用于定位的方法、装置、设备和计算机可读存储介质
CN109283843B (zh) * 2018-10-12 2021-08-03 江苏大学 一种基于多项式与粒子群算法融合的换道轨迹规划方法
CN111307162B (zh) * 2019-11-25 2020-09-25 奥特酷智能科技(南京)有限公司 用于自动驾驶场景的多传感器融合定位方法
CN111174782B (zh) * 2019-12-31 2021-09-17 智车优行科技(上海)有限公司 位姿估计方法、装置、电子设备及计算机可读存储介质

Also Published As

Publication number Publication date
CN112985427A (zh) 2021-06-18

Similar Documents

Publication Publication Date Title
CN109064506B (zh) 高精度地图生成方法、装置及存储介质
CN108732603B (zh) 用于定位车辆的方法和装置
JP6595182B2 (ja) マッピング、位置特定、及び姿勢補正のためのシステム及び方法
WO2022056770A1 (zh) 一种路径规划方法和路径规划装置
JP2011215973A (ja) 風景マッチング用参照データ生成システム及び位置測位システム
CN111915675B (zh) 基于粒子漂移的粒子滤波点云定位方法及其装置和系统
CN113916242A (zh) 车道定位方法和装置、存储介质及电子设备
CN112861833B (zh) 车辆车道级定位方法、装置、电子设备和计算机可读介质
CN113335310B (zh) 基于决策的运动规划方法、装置、电子设备及存储介质
US20230341240A1 (en) Method and processor circuit for updating a digital road map
CN112985404A (zh) 一种停车场众包地图生成方法、装置、设备和介质
CN113177974A (zh) 一种点云配准方法、装置、电子设备及存储介质
JP2019100924A (ja) 車両軌跡補正装置
CN114942025A (zh) 车辆导航定位方法、装置、电子设备及存储介质
CN113050660B (zh) 误差补偿方法、装置、计算机设备及存储介质
CN112985427B (zh) 车辆的车道跟踪方法、装置、计算机设备及存储介质
US11796342B2 (en) Production of digital road maps by crowdsourcing
CN110539748A (zh) 基于环视的拥堵跟车系统和终端
CN115112125A (zh) 自动驾驶车辆的定位方法、装置及电子设备、存储介质
CN112284402B (zh) 一种车辆定位的方法和装置
KR102291805B1 (ko) 중복영역에서의 3차원 정밀지도 비교를 통한 gps오차 보정 방법
CN113850915A (zh) 一种基于Autoware的车辆循迹方法
CN113799715A (zh) 车辆异常原因的确定方法、装置、通信设备及存储介质
Camarda Multi-sensor data fusion for lane boundaries detection applied to autonomous vehicle
CN111256707A (zh) 基于环视的拥堵跟车系统和终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40046807

Country of ref document: HK