CN115877343A - 基于雷达目标跟踪的人车匹配方法、装置和电子设备 - Google Patents
基于雷达目标跟踪的人车匹配方法、装置和电子设备 Download PDFInfo
- Publication number
- CN115877343A CN115877343A CN202310051362.2A CN202310051362A CN115877343A CN 115877343 A CN115877343 A CN 115877343A CN 202310051362 A CN202310051362 A CN 202310051362A CN 115877343 A CN115877343 A CN 115877343A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- target
- track
- radar
- tracker
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Abstract
本发明提供了一种基于雷达目标跟踪的人车匹配方法、装置和电子设备,涉及车辆目标跟踪的技术领域,包括根据目标路段对应的基站信息,确定用户的信令轨迹;基于雷达对目标路段的车辆,分别通过目标跟踪预测和速度模拟进行目标跟踪,确定车辆目标轨迹;将信令轨迹和车辆目标轨迹进行匹配,确定人车匹配结果;其中,人车匹配结果为同一时刻具有的相同轨迹的用户和车辆,以缓解现有技术中无法在交通事故中及时有效获知车内人员情况的技术问题。
Description
技术领域
本发明涉及车辆目标跟踪的技术领域,尤其是涉及一种基于雷达目标跟踪的人车匹配方法、装置和电子设备。
背景技术
随着我国交通发展,选择乘车出行的人越来越多,然而越来越多的车辆随之带来很多问题,比如无法及时获知车辆实际驾驶者的身份信息,若出现交通事故,则无法第一时间确定车内人员具体信息,为救援造成困难。
目前人车匹配的主要方法有车内人员行使轨迹、身份信息app输入和摄像头车内人脸识别。车内人员行使轨迹和身份信息app输入方法需要车内人员依靠自觉性主动上报,操作步骤繁琐且收集困难。而摄像头对车内人员进行识别则需要受遮挡物、光线等因素影响,准确率较低。因此现今无法在交通事故中及时有效获知车内实际人员情况,也无法及时追踪人车匹配情况。
发明内容
本发明的目的在于提供一种基于雷达目标跟踪的人车匹配方法、装置和电子设备,以缓解现有技术中无法在交通事故中及时有效获知车内人员情况的技术问题。
第一方面,本发明实施例提供了一种基于雷达目标跟踪的人车匹配方法,包括:
根据目标路段对应的基站信息,确定用户的信令轨迹;
基于雷达对所述目标路段的车辆,分别通过目标跟踪预测和速度模拟进行目标跟踪,确定车辆目标轨迹;
将所述信令轨迹和所述车辆目标轨迹进行匹配,确定人车匹配结果;其中,所述人车匹配结果为同一时刻具有的相同轨迹的所述用户和所述车辆。
结合第一方面,本发明实施例提供了第一方面的第一种可能的实施方式,其中,基于雷达对所述目标路段的车辆,分别通过目标跟踪预测和速度模拟进行目标跟踪,确定车辆目标轨迹的步骤,包括:
基于雷达通过卡尔曼滤波和匈牙利算法分别对所述目标路段的车辆进行目标跟踪预测和加速模拟,预测下一时刻的车辆加速可能;
根据所述下一时刻的车辆加速可能,确定目标跟踪器并更新所述车辆的目标位置;
基于所述车辆的目标位置进行雷达和摄像头视觉融合,确定融合后的车辆目标轨迹。
结合第一方面,本发明实施例提供了第一方面的第二种可能的实施方式,其中,基于雷达通过卡尔曼滤波和匈牙利算法对所述目标路段的车辆进行目标跟踪预测和加速模拟,预测所述车辆下一时刻的加速可能的步骤,包括:
通过激光雷达按照第一卡尔曼滤波方式,预测每个时刻的车辆目标信息;
基于所述车辆目标信息,确定在行驶方向上距离最近的第一车辆和第二车辆;
根据所述第一车辆和所述第二车辆的行车方向和行车距离进行加速模拟,预测下一时刻的车辆加速可能。
结合第一方面,本发明实施例提供了第一方面的第三种可能的实施方式,其中,根据所述下一时刻的车辆加速可能,确定目标跟踪器并更新所述车辆的目标位置的步骤,包括:
若不存在下一时刻的车辆加速可能,则将第一跟踪器作为目标跟踪器确定车辆的目标位置,并将所述第一跟踪器的权重参数实时共享到第二跟踪器;
若所述车辆存在下一时刻的加速可能,则所述第二跟踪器分别按照第二卡尔曼滤波方式进行所述车辆的加速预测;当所述第二跟踪器预测到所述车辆与下一帧车辆目标相匹配时,将所述第二跟踪器作为目标跟踪器确定所述车辆的目标位置,并将所述第二跟踪器的权重参数实时共享到所述第一跟踪器。
结合第一方面,本发明实施例提供了第一方面的第四种可能的实施方式,其中,基于所述车辆的目标位置进行雷达和摄像头视觉融合,确定融合后的车辆目标轨迹的步骤,包括:
基于所述车辆的目标位置和雷达相机的参数信息,确定所述车辆的目标位置在相机视角中的第一位置;
将所述第一位置对应的车辆进行图像特征提取,融合所述图像特征与所述车辆的目标位置,确定每个时刻的车辆目标轨迹。
结合第一方面,本发明实施例提供了第一方面的第五种可能的实施方式,其中,根据目标路段对应的基站信息,确定用户的信令轨迹的步骤,包括:
根据用户经过目标路段获取的基站信息,识别出所述用户对应的目标基站,道路轨迹和轨迹速度分布;
根据所述目标路段对应的轨迹速度分布与预设速度字典的比对结果,对所述用户进行验证;
若验证通过,则记录所述用户经过的所述目标基站以及经过所述目标基站的进出时间,停留时间和信号强度;
将所述目标基站的进出时间,停留时间和信号强度与所述道路轨迹进行拟合,确定所述用户的信令轨迹。
结合第一方面,本发明实施例提供了第一方面的第六种可能的实施方式,其中,将所述信令轨迹和所述车辆目标轨迹进行匹配,确定人车匹配结果的步骤,包括:
判断预设时刻下对应的所述信令轨迹和所述车辆目标轨迹是否相同;
若轨迹相同且唯一,则所述用户与所述车辆相匹配;
若轨迹相同但匹配到的车辆不唯一,则继续跟踪所述信令轨迹和所述车辆目标轨迹或对所述信令轨迹和所述车辆目标轨迹进行回溯,直到所述用户与所述车辆相匹配。第二方面,本发明实施例还提供一种基于雷达目标跟踪的人车匹配装置,包括:
确定模块,根据目标路段对应的基站信息,确定用户的信令轨迹;
跟踪模块,基于雷达对所述目标路段的车辆,分别通过目标跟踪预测和速度模拟进行目标跟踪,确定车辆目标轨迹;
匹配模块,将所述信令轨迹和所述车辆目标轨迹进行匹配,确定人车匹配结果;其中,所述人车匹配结果为同一时刻具有的相同轨迹的所述用户和所述车辆。
第三方面,实施例提供一种电子设备,包括存储器、处理器,所述存储器中存储有可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述前述实施方式任一项所述的方法的步骤。
第四方面,实施例提供一种机器可读存储介质,所述机器可读存储介质存储有机器可执行指令,所述机器可执行指令在被处理器调用和执行时,机器可执行指令促使处理器实现前述实施方式任一项所述的方法的步骤。
随着智慧道路蓬勃发展,交通道路上布置的激光雷达、毫米波雷达、摄像头等感知设备越来越多。本发明实施例依靠智慧道路上的激光雷达感知范围广、无盲区、相邻雷达感知范围连续重叠等特点,通过用户手机信令来获取车内人员行驶轨迹,与雷达追踪车辆目标的轨迹和摄像头获取的车辆外观、车牌等特征进行匹配,从而实现车内人员、数量、身份等信息的人车匹配。
本发明实施例带来了一种基于雷达目标跟踪的人车匹配方法、装置和电子设备,使用信令可以随时获取人员大体位置,车内人员无需使用GPS或app手动录入轨迹行程,解决了上述技术中需要人员主动录入信息或开启软件的繁琐。使用雷达跨域追踪可以扩大感知范围,使得车辆追踪具有连续性。摄像头作为辅助感知,来捕获进入视角的用户车辆,获得其车辆属性信息,只需识别最清晰度的车辆图片即可,无需实时跟踪拍照。车内人员信息仅仅依靠信令来获取,无需路侧摄像头对车内人员进行人脸识别,解决了摄像头感知范围有限、受角度光线分辨率影响、车内人员人脸识别率低等问题。
本发明的其他特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点在说明书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种基于雷达目标跟踪的人车匹配方法流程图;
图2为本发明实施例提供的一种基于雷达目标跟踪的应用示意图;
图3为本发明实施例提供的一种基于雷视融合的应用示意图;
图4为本发明实施例提供的另一种基于雷达目标跟踪的人车匹配方法流程图;
图5为本发明实施例提供的一种基于雷达目标跟踪的人车匹配装置的功能模块示意图;
图6为本发明实施例提供的电子设备的硬件架构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
目前的车辆行驶应用出现了以下问题:
1.许多车辆的驾驶者并不一定是车辆信息登记人员,所以在车辆违章时仅仅依靠车牌并不能确定违章驾驶员的真正身份。
2.车内人员身份、数量等情况无法确定,无法判断车内人员是否超载,为行车安全埋下隐患。
3.在出现交通事故的时候救援队无法第一时间确定车内人员具体信息,给救援造成困难。
所以知道车辆内人员数量、行车人员身份对违章人员定位、交通事故救援、防止人员超载等有着积极推动作用。
当前一般采用车内人员行使轨迹、身份信息app输入和摄像头车内人脸识别对车内人员情况进行确定。
其中,车内人员行使轨迹和身份信息app输入方法需要车内人员自觉对个人信息和行驶轨迹进行上报,方法简单但是需要车内人员的自觉上报,操作步骤繁琐且收集困难。靠摄像头对车内人员进行识别则需要通过路口、关卡等特定位置的摄像头来对车内人脸进行识别,受到光照、人员遮挡、摄像头角度、位置、分辨率等因素影响,准确率较低,无法连续追踪人车匹配情况,追寻人员困难,到了夜间还需要对车内进行探照灯照射,给车内人员造成不舒适感,增加安全隐患,所以使用场景具有局限性。
基于此,本发明实施例提供的一种基于雷达目标跟踪的人车匹配方法、装置和电子设备,可以通过有效的车辆目标跟踪实现人车匹配,保证在交通事故中及时获知车内人员信息。
为便于对本实施例进行理解,首先对本发明实施例所公开的一种基于雷达目标跟踪的人车匹配方法进行详细介绍,该方法可应用于车机、车控制器、上位机、服务器等智能控制设备。
图1为本发明实施例提供的一种基于雷达目标跟踪的人车匹配方法流程图。
参照图1,该方法包括以下步骤:
步骤S102,根据目标路段对应的基站信息,确定用户的信令轨迹。
其中,智慧道路范围中会设置覆盖有基站,信令轨迹可理解为通过用户手机信令来获取的车内人员的行驶轨迹。需要说明的是,该信令信息的获取和采集均是合法合规的。
步骤S104,基于雷达对目标路段的车辆,分别通过目标跟踪预测和速度模拟进行目标跟踪,确定车辆目标轨迹。
其中,分别通过对车辆目标框的预测和车辆速度的模拟,实现较为精确的车辆目标跟踪目的,进而确定出各个时刻车辆目标的行驶轨迹,该车辆目标轨迹可靠性较高。
步骤S106,将信令轨迹和车辆目标轨迹进行匹配,确定人车匹配结果。
其中,人车匹配结果为同一时刻具有的相同轨迹的用户和车辆。
在实际应用的优选实施例中,通过路段上设置的基站,能够获知用户经过的目标路段以及对应的基站信息,生成该用户的信令轨迹;通过目标跟踪预测方式和速度模拟方式能够实现较为精准的车辆目标跟踪,进而确定各个时刻的车辆目标轨迹;将车辆目标轨迹和信令轨迹进行匹配,若在同一时刻该车辆目标轨迹和信令轨迹重合,则该用户与此车辆实现人车匹配,即该用户在该车辆内部,通过此方式能够较为及时在交通事故中有效的获取车辆内人员信息,保证用户行车安全。
在一些实施例中,可根据用户经过的基站信息确定出实际的信令轨迹,该步骤S102,包括:
步骤1.1),根据用户经过目标路段获取的基站信息,识别出用户对应的目标基站,道路轨迹和轨迹速度分布。
其中,首先,获取覆盖智慧道路范围的连续基站信息,并获取用户一段时间内通过的这些连续基站轨迹,以识别用户经过的道路轨迹和用户的轨迹速度分布。
步骤1.2),根据目标路段对应的轨迹速度分布与预设速度字典的比对结果,对用户进行验证。
其中,根据用户经过的道路轨迹和用户的轨迹速度分布可预先制定速度字典,该速度字典中录有智慧道路路段车辆的行驶速度范围,如果用户通过连续基站速度分布符合字典中的车辆速度范围,则可判断用户为乘车出行,即验证通过。
步骤1.3),若验证通过,则记录用户经过的目标基站以及经过目标基站的进出时间,停留时间和信号强度。
步骤1.4),将目标基站的进出时间,停留时间和信号强度与道路轨迹进行拟合,确定用户的信令轨迹。
其中,记录乘车用户进入的目标路段的目标基站和进出时间,停留时间,信号实时强弱,将其拟合在道路上,进而获得用户的乘车信令轨迹、进出路段时间、轨迹行驶时间。
当前一般采用卡尔曼滤波和匈牙利算法对识别的车辆目标进行跟踪,由于算力和设备成本原因,一般的激光雷达刷新帧数在1秒10帧左右,而且点云数据较大,算力要求更高,合理成本下相比摄像头识别算法,雷达目标识别帧率较低。
在道路上,车辆存在突然加速的情况,当车辆急加速时,由于雷达目标识别帧率较低,故传统跟踪算法预测的车辆目标位置和车辆下帧真实位置存在较大偏差,根据匹配机制,如果预测车辆和下一帧观测到的车辆没有交集,则无法匹配,卡尔曼滤波的观测目标就会消失,从而丢失跟踪目标。所以车辆急加速时,车辆下一帧出现的位置更远,即使卡尔曼滤波维持了下面几帧的预测,但是由于速度已经相差了很多,依旧难以追踪到。而雷达对目标连续追踪是人车匹配准确性的保障。
针对上述问题,本发明实施例步骤S104分别通过目标跟踪预测和速度模拟能够实现较为精准的目标跟踪,可通过以下步骤实现,具体包括:
步骤2.1),基于雷达通过卡尔曼滤波和匈牙利算法分别对目标路段的车辆进行目标跟踪预测和加速模拟,预测下一时刻的车辆加速可能。
示例性地,通过激光雷达按照第一卡尔曼滤波方式,预测每个时刻的车辆目标信息;基于车辆目标信息,确定在行驶方向上距离最近的第一车辆和第二车辆;根据第一车辆和第二车辆的行车方向和行车距离进行加速模拟,预测下一时刻的车辆加速可能。
这里,采用两套卡尔曼滤波对车辆进行预测,一套是传统的卡尔曼滤波对车辆进行目标跟踪预测,另一套是对车辆速度进行加速模拟的卡尔曼滤波。激光雷达识别出t时刻车辆检测信息;其中/>为识别出的车辆目标框信息{x,y,z,l,w,h,r},其中,车辆目标框的中心坐标三轴坐标(x,y,z),车辆目标框尺寸长宽高(l,w,h),车辆目标框方向角r。根据识别出的车辆运行方向向前匹配最近车辆/>,根据ra和rb来判断车辆运行是否同向,如果同向,则计算第一车辆和第二车辆两者之间的距离AB,如果距离AB大于预设距离阈值,如30m,则视为车辆之间距离较大,后方车辆目标存在加速的可能;如果车辆前方没有匹配到车辆,则认为当前车辆前方视野开阔,存在加速行驶的可能。
步骤2.2),根据下一时刻的车辆加速可能,确定目标跟踪器并更新车辆的目标位置。
示例性地,若不存在下一时刻的车辆加速可能,则将第一跟踪器作为目标跟踪器确定车辆的目标位置,并将第一跟踪器的权重参数实时共享到第二跟踪器;若车辆存在下一时刻的加速可能,则第二跟踪器按照第二卡尔曼滤波方式进行车辆的加速预测;当第二跟踪器预测到车辆与下一帧车辆目标相匹配时,将第二跟踪器作为目标跟踪器确定车辆的目标位置,并将第二跟踪器的权重参数实时共享到第一跟踪器。
如图2所示,当车辆在正常行驶时,只利用跟踪器1(第一跟踪器)进行跟踪,将跟踪器1更新的参数、权重实时共享到跟踪器2(第二跟踪器),当车辆存在加速可能时,跟踪器2和跟踪器1均对车辆速度进行加速预测,若从匹配到下帧目标,则将跟踪器2正确更新的参数、权重共享给跟踪器1,实现信息共享,分工跟踪。
需要说明的是,构造两个跟踪器Kal1,Kal2,这两个跟踪器初始均一样,都基于恒定速度模型,该恒定速度模型如下式:
该恒定速度模型加上前述雷达检测的车辆目标框和方向角(l,w,h,r)可得到状态方程:
其中,Ft为状态转换方程,将t-1时刻的状态转换至t时刻的状态观测方程,如下式所示:
其中,H为转换矩阵,它将状态向量映射到测量值所在的空间中更新状态向量的协方差矩阵P:
在实际应用过程中,这两个跟踪器算法共享、更新权重,当车辆前方有车,匀速运行时,两个算法相同,即F1=F2。当车辆前方没有车或者前车距离较远时,将跟踪器2的状态转换矩阵速度维度设置为m,其余参数共享跟踪器1,如下式所示:
其中,m为对下一帧车辆速度的一个预测,当V<10时,视为车辆为静止或起步状态,不符合急加速场景,取m=1。当V>=10时,假设车辆下一个时刻均匀加速最大到路口限速Vmax速度上,则m∈(V,V+(Vmax-V)/∆t),取m为平均值:m=V+0.5*(Vmax-V),且m>1,则对车辆预测的距离将比跟踪器1预测的距离更远。车辆超速行驶,即使预测更远也可能无法匹配,则将m值进行正比例增加,每次增加百分之十,直到匹配到下一帧目标。
跟踪器1和跟踪器2预测的两个位置分别和下一帧目标进行匈牙利匹配,如果跟踪器2匹配上了,则可判定车辆加速到了跟踪器2预测的位置上,将跟踪器2预测的位置赋给跟踪器1继续进行权重参数的更新。在跟踪目标测量一段时间后,输出目标轨迹和对应的轨迹时间。
步骤2.3),基于车辆的目标位置进行雷达和视觉摄像头融合,确定融合后的车辆目标轨迹。
示例性地,基于车辆的目标位置和雷达相机的参数信息,确定车辆的目标位置在相机视角中的第一位置;将第一位置对应的车辆进行图像特征提取,融合图像特征与车辆的目标位置,确定每个时刻的车辆目标轨迹。
在雷达追踪车辆目标时间轨迹和空间轨迹时,调取摄像头图像,提前获取将雷达目标映射在摄像头图像上,,其中Rr为事先标定好的雷达相机视角的外参矩阵,Tr为内参矩阵。根据box2d求出雷达3d目标所在摄像头2d图像上的长和高u,v,如果u>= 0且u<= img_w且v>= 0且v<= img_h(img_w,img_h为摄像头2d图像的宽,高),则可判定为雷达目标已经运行到摄像头感知范围内。如图3所示,将3d点云目标到2d相机的映射框和2d识别目标框进行匹配,确定真实世界雷达目标在相机中的位置。将匹配的目标进行图像特征提取,特征为车牌、车辆外貌等信息,以分析出车辆的类型、车辆拥有者、可载人数、车身强度、故障率等信息。并将这些信息与雷达目标车辆进行绑定。
需要说明的是,摄像头无需对目标进行连续跟踪拍照,只需选取最清晰,角度最合适的目标图片进行识别,识别出的最准确车牌结果与雷达目标id进行绑定,实现雷视融合;其中,该雷视融合可理解为雷达和视觉相机的融合。
此外,摄像头还可辅助雷达更好的跟踪,若存在雷达跟丢目标车辆的情况,则可根据摄像头采集的图像特征对目标车辆进行身份识别并继续跟踪该目标车辆;如,当车辆跨路口行驶时,雷达可能会跟丢目标,那么下一个路口摄像头即可根据拍到的图像特征(如车牌)对目标车辆进行身份识别(车辆ID)和继续跟踪,保证目标轨迹连续性和完整性。
在一些实施例中,将信令轨迹和车辆目标轨迹进行匹配,确定人车匹配结果的步骤S106,包括:
步骤3.1),判断预设时刻下对应的信令轨迹和车辆目标轨迹是否相同。
步骤3.2),若轨迹相同且唯一,则用户与车辆相匹配。
示例性地,将雷达识别出的车辆轨迹与信令轨迹进行匹配,首先,取雷达目标车辆的轨迹和轨迹发生时间:
其次,取用户信令数据的轨迹和轨迹发生时间如下式:
再次,取相同时间下的Tr和Sig进行匹配,相同轨迹的视为用户在此雷达目标车辆内。持续对匹配后的车辆进行雷达跟踪,并分析。
需要说明的是,若用户匹配到了多辆汽车,可视为多辆汽车行驶轨迹相同,则继续跟踪用户轨迹和车辆轨迹,直到做出区分,完成人车匹配。
在一些实施例中,该方法还包括:
根据此雷达目标绑定的车牌号分析此车辆类别、型号、可载人员数量,根据此雷达目标的前后帧信息获取车辆行进方向、车辆速度、车辆下一时刻可能的位置等信息。根据雷达目标匹配的信令数据获取车内人员身份、数量信息。可分析出如下车辆行驶情况:
1.根据此目标车辆匹配到的用户信令推测出车上所在人员的信息、数量,可判断该车辆是否超载。
2.当车辆在转弯时,雷达检测目标车辆转弯速度、车辆性能、故障率,并和当前转弯道路弧度、限速等进行分析,来判断车辆是否在转弯前速度过快,如果车内人员较多,则会增加发生危险的可能。
3.当车辆发生交通事故时,第一时间获取车辆内人员信息,根据绑定的车身刚性评估事故严重程度,方便救援队实施救援。
4.判断车辆是否喜欢激烈驾驶,分析车辆驾驶员行为,在驾驶员离开车辆时,发送信息提醒其文明驾驶。
5.其他驾驶事件。
如图4所示,本发明实施例还提供一种基于雷达目标跟踪的人车匹配方法,包括:
获取用户手机经过基站用户行驶信令轨迹和时间,以及用户道路轨迹,用户轨迹速度分布,确定用户是否为车辆出行;若是车辆出行,则获取用户行驶轨迹和行驶轨迹对应的时间;
根据用户所乘车辆侧的摄像头,识别目标车辆的外观特征和车牌,当雷达跟踪中断在此出现时,根据外部特征重新跟踪,再根据用户所乘车辆侧的路测雷达对车辆进行跨雷达全域跟踪,获取车辆行驶轨迹和车辆信息;
将用户行驶轨迹和车辆行驶轨迹进行匹配,相同轨迹和时间空间下的车辆人员视为在同一辆车内,根据匹配结果对车辆进行追踪,对车辆安全驾驶,发生事故可能性、驾驶习惯等事件进行分析预测。
本发明实施例对智慧道路上的车辆进行实时的雷达跟踪,输出车辆时间和空间轨迹,获取用户对应时间下的信令,分析出用户通过道路轨迹,进行人车匹配。通过摄像头识别的车牌和车辆外貌特征获取车辆的型号、可载人数、车身强度支撑性、故障率等信息,与雷达目标进行绑定。
作为一种可选的实施例,在山路弯曲,道路复杂,事故多发的路段进行重点监控,当车辆进入这些路段的雷达区域内,通过雷达目标前后连续帧算出车辆速度、驾驶员是否连续变道、超车,根据绑定用户信令信息算出车上人员数量,根据当前路段限速、转弯半径等信息,算出车辆通过此事故多发路段是否可能发生危险,比如车辆内人员多,车速过快,而车辆本身性能较差、故障率高,所以可能发生翻车的事故,如果车辆信息中车身刚性较差,则翻车后人员受伤严重性更高等。并对可能发生的危险进行预警。
此外,还可对车辆的驾驶行为进行收集,如果车辆驾驶比较激烈,驾驶员喜欢连续变道,急加速,不礼让行人等危险行为,则可视为此驾驶员为驾驶习惯比较激烈,驾驶员离车后可对其进行短信提醒,让其文明驾驶,并后续进行监督。当车辆出现交通事故时,第一时间向救援人员发送车上人员数量、性别、年龄等身份信息,让救援人员更好做出救援准备。
本发明实施例解决了由于雷达帧率较低出现的车辆急加速时目标跟踪丢失的问题,利用雷达跟踪轨迹和人员路过基站道路轨迹进行人车匹配,依靠手机信令数据来获取车辆人员身份信息,通过创新算法来解决现有设备存在问题,不需要单独布置微基站、高刷新雷达和高算力设备等,无需摄像头对车内人员进行拍照,节省成本,保障了车辆跟踪轨迹的连续性和准确性,使用场景广泛。
如图5所示,本发明实施例还提供一种基于雷达目标跟踪的人车匹配装置,包括:
确定模块,根据目标路段对应的基站信息,确定用户的信令轨迹;
跟踪模块,基于雷达对所述目标路段的车辆,分别通过目标跟踪预测和速度模拟进行目标跟踪,确定车辆目标轨迹;
匹配模块,将所述信令轨迹和所述车辆目标轨迹进行匹配,确定人车匹配结果;其中,所述人车匹配结果为同一时刻具有的相同轨迹的所述用户和所述车辆。
在一些实施例中,跟踪模块,还具体用于,基于雷达通过卡尔曼滤波和匈牙利算法对所述目标路段的车辆进行目标跟踪预测和加速模拟,预测下一时刻的车辆加速可能;根据所述下一时刻的车辆加速可能,确定目标跟踪器并更新所述车辆的目标位置;基于所述车辆的目标位置进行雷达和摄像头视觉融合,确定融合后的车辆目标轨迹。
在一些实施例中,跟踪模块,还具体用于,通过激光雷达按照第一卡尔曼滤波方式,预测每个时刻的车辆目标信息;基于所述车辆目标信息,确定在行驶方向上距离最近的第一车辆和第二车辆;根据所述第一车辆和所述第二车辆的行车方向和行车距离进行加速模拟,预测下一时刻的车辆加速可能。
在一些实施例中,跟踪模块,还具体用于,若不存在下一时刻的车辆加速可能,则将第一跟踪器作为目标跟踪器确定车辆的目标位置,并将所述第一跟踪器的权重参数实时共享到第二跟踪器;若所述车辆存在下一时刻的加速可能,则所述第二跟踪器分别按照第二卡尔曼滤波方式进行所述车辆的加速预测;当所述第二跟踪器预测到所述车辆与下一帧车辆目标相匹配时,将所述第二跟踪器作为目标跟踪器确定所述车辆的目标位置,并将所述第二跟踪器的权重参数实时共享到所述第一跟踪器。
在一些实施例中,跟踪模块,还具体用于,基于所述车辆的目标位置和雷达相机的参数信息,确定所述车辆的目标位置在相机视角中的第一位置;将所述第一位置对应的车辆进行图像特征提取,融合所述图像特征与所述车辆的目标位置,确定每个时刻的车辆目标轨迹。
在一些实施例中,确定模块,还具体用于,根据用户经过目标路段获取的基站信息,识别出所述用户对应的目标基站,道路轨迹和轨迹速度分布;根据所述目标路段对应的轨迹速度分布与预设速度字典的比对结果,对所述用户进行验证;若验证通过,则记录所述用户经过的所述目标基站以及经过所述目标基站的进出时间,停留时间和信号强度;将所述目标基站的进出时间,停留时间和信号强度与所述道路轨迹进行拟合,确定所述用户的信令轨迹。
在一些实施例中,匹配模块,还具体用于,判断预设时刻下对应的所述信令轨迹和所述车辆目标轨迹是否相同;
若轨迹相同且唯一,则所述用户与所述车辆相匹配。
若轨迹相同但匹配到的车辆不唯一,则继续跟踪所述信令轨迹和所述车辆目标轨迹或对所述信令轨迹和所述车辆目标轨迹进行回溯,直到所述用户与所述车辆相匹配。
本发明实施例提供的用于实现一种电子设备,本实施例中,所述电子设备可以是,但不限于,个人电脑(Personal Computer,PC)、笔记本电脑、监控设备、服务器等具备分析及处理能力的计算机设备。
作为一种示范性实施例,可参见图6,电子设备110,包括通信接口111、处理器112、存储器113以及总线114,处理器112、通信接口111和存储器113通过总线114连接;上述存储器113用于存储支持处理器112执行上述方法的计算机程序,上述处理器112被配置为用于执行该存储器113中存储的程序。
本文中提到的机器可读存储介质可以是任何电子、磁性、光学或其它物理存储装置,可以包含或存储信息,如可执行指令、数据,等等。例如,机器可读存储介质可以是:RAM(Radom Access Memory,随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、任何类型的存储盘(如光盘、dvd等),或者类似的存储介质,或者它们的组合。
非易失性介质可以是非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、任何类型的存储盘(如光盘、dvd等),或者类似的非易失性存储介质,或者它们的组合。
可以理解的是,本实施例中的各功能模块的具体操作方法可参照上述方法实施例中相应步骤的详细描述,在此不再重复赘述。
本发明实施例所提供计算机可读存储介质,所述可读存储介质中存储有计算机程序,所述计算机程序代码被执行时可实现上述任一实施例所述的方法,具体实现可参见方法实施例,在此不再赘述。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统和装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
另外,在本发明实施例的描述中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
在本发明的描述中,需要说明的是,术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。
最后应说明的是:以上所述实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围,都应涵盖在本发明的保护范围之内。
Claims (10)
1.一种基于雷达目标跟踪的人车匹配方法,其特征在于,包括:
根据目标路段对应的基站信息,确定用户的信令轨迹;
基于雷达对所述目标路段的车辆,分别通过目标跟踪预测和速度模拟进行目标跟踪,确定车辆目标轨迹;
将所述信令轨迹和所述车辆目标轨迹进行匹配,确定人车匹配结果;其中,所述人车匹配结果为同一时刻具有的相同轨迹的所述用户和所述车辆。
2.根据权利要求1所述的方法,其特征在于,基于雷达对所述目标路段的车辆,分别通过目标跟踪预测和速度模拟进行目标跟踪,确定车辆目标轨迹的步骤,包括:
基于雷达通过卡尔曼滤波和匈牙利算法分别对所述目标路段的车辆进行目标跟踪预测和加速模拟,预测下一时刻的车辆加速可能;
根据所述下一时刻的车辆加速可能,确定目标跟踪器并更新所述车辆的目标位置;
基于所述车辆的目标位置进行雷达和摄像头视觉融合,确定融合后的车辆目标轨迹。
3.根据权利要求2所述的方法,其特征在于,基于雷达通过卡尔曼滤波和匈牙利算法对所述目标路段的车辆进行目标跟踪预测和加速模拟,预测所述车辆下一时刻的加速可能的步骤,包括:
通过激光雷达按照第一卡尔曼滤波方式,预测每个时刻的车辆目标信息;
基于所述车辆目标信息,确定在行驶方向上距离最近的第一车辆和第二车辆;
根据所述第一车辆和所述第二车辆的行车方向和行车距离进行加速模拟,预测下一时刻的车辆加速可能。
4.根据权利要求2所述的方法,其特征在于,根据所述下一时刻的车辆加速可能,确定目标跟踪器并更新所述车辆的目标位置的步骤,包括:
若不存在下一时刻的车辆加速可能,则将第一跟踪器作为目标跟踪器确定车辆的目标位置,并将所述第一跟踪器的权重参数实时共享到第二跟踪器;
若所述车辆存在下一时刻的加速可能,则所述第二跟踪器按照第二卡尔曼滤波方式进行所述车辆的加速预测;当所述第二跟踪器预测到所述车辆与下一帧车辆目标相匹配时,将所述第二跟踪器作为目标跟踪器确定所述车辆的目标位置,并将所述第二跟踪器的权重参数实时共享到所述第一跟踪器。
5.根据权利要求2所述的方法,其特征在于,基于所述车辆的目标位置进行雷达和摄像头视觉融合,确定融合后的车辆目标轨迹的步骤,包括:
基于所述车辆的目标位置和雷达相机的参数信息,确定所述车辆的目标位置在相机视角中的第一位置;
将所述第一位置对应的车辆进行图像特征提取,融合所述图像特征与所述车辆的目标位置,确定每个时刻的车辆目标轨迹。
6.根据权利要求1所述的方法,其特征在于,根据目标路段对应的基站信息,确定用户的信令轨迹的步骤,包括:
根据用户经过目标路段获取的基站信息,识别出所述用户对应的目标基站,道路轨迹和轨迹速度分布;
根据所述目标路段对应的轨迹速度分布与预设速度字典的比对结果,对所述用户进行验证;
若验证通过,则记录所述用户经过的所述目标基站以及经过所述目标基站的进出时间,停留时间和信号强度;
将所述目标基站的进出时间,停留时间和信号强度与所述道路轨迹进行拟合,确定所述用户的信令轨迹。
7.根据权利要求5所述的方法,其特征在于,将所述信令轨迹和所述车辆目标轨迹进行匹配,确定人车匹配结果的步骤,包括:
判断预设时刻下对应的所述信令轨迹和所述车辆目标轨迹是否相同;
若轨迹相同且唯一,则所述用户与所述车辆相匹配;
若轨迹相同但匹配到的车辆不唯一,则继续跟踪所述信令轨迹和所述车辆目标轨迹或对所述信令轨迹和所述车辆目标轨迹进行回溯,直到所述用户与所述车辆相匹配。
8.一种基于雷达目标跟踪的人车匹配装置,其特征在于,包括:
确定模块,根据目标路段对应的基站信息,确定用户的信令轨迹;
跟踪模块,基于雷达对所述目标路段的车辆,分别通过目标跟踪预测和速度模拟进行目标跟踪,确定车辆目标轨迹;
匹配模块,将所述信令轨迹和所述车辆目标轨迹进行匹配,确定人车匹配结果;其中,所述人车匹配结果为同一时刻具有的相同轨迹的所述用户和所述车辆。
9.一种电子设备,其特征在于,包括存储器、处理器及存储在所述存储器上并且能够在所述处理器上运行的程序,所述处理器执行所述程序时实现如权利要求1至7中任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,所述可读存储介质中存储有计算机程序,所述计算机程序被执行时实现权利要求1-7中任意一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310051362.2A CN115877343B (zh) | 2023-02-02 | 2023-02-02 | 基于雷达目标跟踪的人车匹配方法、装置和电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310051362.2A CN115877343B (zh) | 2023-02-02 | 2023-02-02 | 基于雷达目标跟踪的人车匹配方法、装置和电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115877343A true CN115877343A (zh) | 2023-03-31 |
CN115877343B CN115877343B (zh) | 2023-05-05 |
Family
ID=85758637
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310051362.2A Active CN115877343B (zh) | 2023-02-02 | 2023-02-02 | 基于雷达目标跟踪的人车匹配方法、装置和电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115877343B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116383675A (zh) * | 2023-05-26 | 2023-07-04 | 交通运输部规划研究院 | 车辆位置数据的路网匹配方法及装置 |
CN117576795A (zh) * | 2024-01-17 | 2024-02-20 | 浙江大学建筑设计研究院有限公司 | 基于手机信令数据与停车场管理数据的停车欠费催缴方法 |
CN117615363A (zh) * | 2024-01-18 | 2024-02-27 | 北京大也智慧数据科技服务有限公司 | 人员识别的方法、装置、设备及存储介质 |
CN117576795B (zh) * | 2024-01-17 | 2024-04-19 | 浙江大学建筑设计研究院有限公司 | 基于手机信令数据与停车场管理数据的停车欠费催缴方法 |
Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105682025A (zh) * | 2016-01-05 | 2016-06-15 | 重庆邮电大学 | 基于移动信令数据的用户驻留地识别方法 |
CN108646732A (zh) * | 2018-04-20 | 2018-10-12 | 华东交通大学 | 基于驾驶人操控意图的车辆轨迹预测方法、装置及系统 |
CN109635857A (zh) * | 2018-11-29 | 2019-04-16 | 东软集团股份有限公司 | 人车轨迹监测分析方法、装置、设备及存储介质 |
CN110505583A (zh) * | 2019-07-23 | 2019-11-26 | 中山大学 | 一种基于卡口数据与信令数据的轨迹匹配算法 |
CN110675431A (zh) * | 2019-10-08 | 2020-01-10 | 中国人民解放军军事科学院国防科技创新研究院 | 一种融合图像和激光点云的三维多目标跟踪方法 |
CN111125282A (zh) * | 2019-12-13 | 2020-05-08 | 智慧足迹数据科技有限公司 | 信令数据匹配方法、装置及电子设备 |
CN111932580A (zh) * | 2020-07-03 | 2020-11-13 | 江苏大学 | 一种基于卡尔曼滤波与匈牙利算法的道路3d车辆跟踪方法及系统 |
CN112261093A (zh) * | 2020-09-30 | 2021-01-22 | 浙江网商银行股份有限公司 | 人车数据匹配方法及装置 |
CN112307921A (zh) * | 2020-10-22 | 2021-02-02 | 桂林电子科技大学 | 一种车载端多目标识别跟踪预测方法 |
CN112734219A (zh) * | 2021-01-05 | 2021-04-30 | 中交智运有限公司 | 一种车辆运输行驶行为分析方法及系统 |
CN112860821A (zh) * | 2019-11-27 | 2021-05-28 | 深圳云天励飞技术有限公司 | 人车轨迹分析方法及相关产品 |
US20210366274A1 (en) * | 2020-05-25 | 2021-11-25 | Robert Bosch Gmbh | Method and device for predicting the trajectory of a traffic participant, and sensor system |
CN114363842A (zh) * | 2021-12-31 | 2022-04-15 | 中山大学 | 基于手机信令数据的公交乘客下车站点预测方法及装置 |
CN115273034A (zh) * | 2022-08-08 | 2022-11-01 | 江苏智行未来汽车研究院有限公司 | 一种基于车载多传感器融合的交通目标检测与跟踪方法 |
CN115610435A (zh) * | 2022-12-02 | 2023-01-17 | 福思(杭州)智能科技有限公司 | 对象行驶意图的预测方法和装置、存储介质及电子装置 |
-
2023
- 2023-02-02 CN CN202310051362.2A patent/CN115877343B/zh active Active
Patent Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105682025A (zh) * | 2016-01-05 | 2016-06-15 | 重庆邮电大学 | 基于移动信令数据的用户驻留地识别方法 |
CN108646732A (zh) * | 2018-04-20 | 2018-10-12 | 华东交通大学 | 基于驾驶人操控意图的车辆轨迹预测方法、装置及系统 |
CN109635857A (zh) * | 2018-11-29 | 2019-04-16 | 东软集团股份有限公司 | 人车轨迹监测分析方法、装置、设备及存储介质 |
CN110505583A (zh) * | 2019-07-23 | 2019-11-26 | 中山大学 | 一种基于卡口数据与信令数据的轨迹匹配算法 |
CN110675431A (zh) * | 2019-10-08 | 2020-01-10 | 中国人民解放军军事科学院国防科技创新研究院 | 一种融合图像和激光点云的三维多目标跟踪方法 |
CN112860821A (zh) * | 2019-11-27 | 2021-05-28 | 深圳云天励飞技术有限公司 | 人车轨迹分析方法及相关产品 |
CN111125282A (zh) * | 2019-12-13 | 2020-05-08 | 智慧足迹数据科技有限公司 | 信令数据匹配方法、装置及电子设备 |
US20210366274A1 (en) * | 2020-05-25 | 2021-11-25 | Robert Bosch Gmbh | Method and device for predicting the trajectory of a traffic participant, and sensor system |
CN111932580A (zh) * | 2020-07-03 | 2020-11-13 | 江苏大学 | 一种基于卡尔曼滤波与匈牙利算法的道路3d车辆跟踪方法及系统 |
CN112261093A (zh) * | 2020-09-30 | 2021-01-22 | 浙江网商银行股份有限公司 | 人车数据匹配方法及装置 |
CN112307921A (zh) * | 2020-10-22 | 2021-02-02 | 桂林电子科技大学 | 一种车载端多目标识别跟踪预测方法 |
CN112734219A (zh) * | 2021-01-05 | 2021-04-30 | 中交智运有限公司 | 一种车辆运输行驶行为分析方法及系统 |
CN114363842A (zh) * | 2021-12-31 | 2022-04-15 | 中山大学 | 基于手机信令数据的公交乘客下车站点预测方法及装置 |
CN115273034A (zh) * | 2022-08-08 | 2022-11-01 | 江苏智行未来汽车研究院有限公司 | 一种基于车载多传感器融合的交通目标检测与跟踪方法 |
CN115610435A (zh) * | 2022-12-02 | 2023-01-17 | 福思(杭州)智能科技有限公司 | 对象行驶意图的预测方法和装置、存储介质及电子装置 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116383675A (zh) * | 2023-05-26 | 2023-07-04 | 交通运输部规划研究院 | 车辆位置数据的路网匹配方法及装置 |
CN116383675B (zh) * | 2023-05-26 | 2023-08-11 | 交通运输部规划研究院 | 车辆位置数据的路网匹配方法及装置 |
CN117576795A (zh) * | 2024-01-17 | 2024-02-20 | 浙江大学建筑设计研究院有限公司 | 基于手机信令数据与停车场管理数据的停车欠费催缴方法 |
CN117576795B (zh) * | 2024-01-17 | 2024-04-19 | 浙江大学建筑设计研究院有限公司 | 基于手机信令数据与停车场管理数据的停车欠费催缴方法 |
CN117615363A (zh) * | 2024-01-18 | 2024-02-27 | 北京大也智慧数据科技服务有限公司 | 人员识别的方法、装置、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN115877343B (zh) | 2023-05-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113284366B (zh) | 车辆盲区预警方法、预警装置、mec平台和存储介质 | |
CN112700470B (zh) | 一种基于交通视频流的目标检测和轨迹提取方法 | |
CN114375467B (zh) | 用于检测紧急车辆的系统和方法 | |
US9524643B2 (en) | Orientation sensitive traffic collision warning system | |
CN110400478A (zh) | 一种路况通知方法及装置 | |
CN115877343A (zh) | 基于雷达目标跟踪的人车匹配方法、装置和电子设备 | |
CN113276769A (zh) | 车辆盲区防撞预警系统及方法 | |
Chang et al. | Onboard measurement and warning module for irregular vehicle behavior | |
CN105620489A (zh) | 驾驶辅助系统及车辆实时预警提醒方法 | |
JP6545940B2 (ja) | 要因分析装置および要因分析方法 | |
CN111932901B (zh) | 道路车辆跟踪检测设备、方法及存储介质 | |
CN111354182A (zh) | 一种辅助驾驶方法和系统 | |
JP6817415B2 (ja) | システム、情報管理サーバ、および方法 | |
CN107408338A (zh) | 驾驶员辅助系统 | |
CA3099840A1 (en) | System and method for using v2x and sensor data | |
CN111354222A (zh) | 一种辅助驾驶方法和系统 | |
CN112606831A (zh) | 一种用于客车的防碰撞警示信息对外交互方法及系统 | |
JP7276276B2 (ja) | 危険運転検出装置、危険運転検出システム、及び危険運転検出プログラム | |
JP7359099B2 (ja) | 移動体妨害検出装置、移動体妨害検出システム、及び移動体妨害検出プログラム | |
CN116834655A (zh) | 危险预警的方法、装置和车辆 | |
CN113879211A (zh) | 预防渣土车右转过程与非机动车发生冲突的提醒方法及系统 | |
JP2022056153A (ja) | 一時停止検出装置、一時停止検出システム、及び一時停止検出プログラム | |
CN112866636A (zh) | 基于最远可视距离的团雾识别预警方法、系统和电子设备 | |
KR102354734B1 (ko) | 상대적 변화량이 많은 객체와 자차의 사고 위험도를 예측, 분석 및 판단하는 방법 및 시스템 | |
Battiato et al. | Vision based traffic conflict analysis |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |