CN117315601B - 基于遥感技术的车辆危险行为ai识别报警系统 - Google Patents
基于遥感技术的车辆危险行为ai识别报警系统 Download PDFInfo
- Publication number
- CN117315601B CN117315601B CN202311594805.9A CN202311594805A CN117315601B CN 117315601 B CN117315601 B CN 117315601B CN 202311594805 A CN202311594805 A CN 202311594805A CN 117315601 B CN117315601 B CN 117315601B
- Authority
- CN
- China
- Prior art keywords
- vehicle
- remote sensing
- module
- target
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005516 engineering process Methods 0.000 title claims abstract description 15
- 230000006399 behavior Effects 0.000 claims abstract description 84
- 238000012544 monitoring process Methods 0.000 claims abstract description 27
- 238000007726 management method Methods 0.000 claims abstract description 26
- 238000000034 method Methods 0.000 claims abstract description 18
- 238000007405 data analysis Methods 0.000 claims abstract description 15
- 230000008859 change Effects 0.000 claims description 25
- 238000004458 analytical method Methods 0.000 claims description 21
- 230000002159 abnormal effect Effects 0.000 claims description 19
- 239000002131 composite material Substances 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 4
- 230000029305 taxis Effects 0.000 claims description 4
- 230000006996 mental state Effects 0.000 claims description 2
- 206010039203 Road traffic accident Diseases 0.000 abstract description 3
- 238000001514 detection method Methods 0.000 description 19
- 238000013527 convolutional neural network Methods 0.000 description 15
- 238000012549 training Methods 0.000 description 7
- 230000001815 facial effect Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 206010000117 Abnormal behaviour Diseases 0.000 description 4
- 230000004913 activation Effects 0.000 description 4
- 238000011176 pooling Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 230000005856 abnormality Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000000391 smoking effect Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000037007 arousal Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000010223 real-time analysis Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0475—Generative networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了基于遥感技术的车辆危险行为AI识别报警系统，属于车辆监控领域。所述系统包括遥感模块、信息管理模块、智能识别模块、数据分析模块和警报模块；遥感模块用于获取遥感图像；信息管理模块用于设定并存储车辆数据集；车辆数据集包括虚拟围栏、车辆类型和预设轨迹；智能识别模块根据遥感图像识别目标车辆并得到车辆识别信息；数据分析模块根据车辆数据集和车辆识别信息识别目标车辆的车辆危险行为；所述警报模块根据车辆危险行为生成警报信息并传输至监控客户端和目标车辆。本申请通过识别车辆的危险行为，及时生成警报信息并传输给监控客户端和目标车辆，从而执行应对措施，减少交通事故的发生，提高车辆行驶安全性。
Description
技术领域
本发明涉及车辆监控领域，具体是基于遥感技术的车辆危险行为AI识别报警系统。
背景技术
在当今交通状况下，车辆行驶安全性能是摆在我们面前亟需解决的问题。传统的交通安全监控措施往往以人工为核心，处理效率和准确性有限，不能及时发现车辆的危险行为并采取措施，容易导致交通事故的发生。
现有的报警系统主要分为两类:主动报警系统和被动报警系统。主动报警系统通常车辆安全设备组成，如安全带是否系好的警告、车道偏离警示、前向碰撞预警等。被动报警系统则是在发生事故或异常情况时自动触发，如气囊弹出、SOS呼叫等。这些系统主要是通过车辆的传感器和控制单元来监测车辆的状态，当检测到事故或异常情况时，系统会自动触发相关的警报机制，以启动事故处置、寻求救援或向相关方发送警报信息。然而，现有的报警系统主要基于车辆搭载的传感器实现感知，而传感器的准确性有限，无法完全准确识别车辆的状态和行为。此外，报警系统往往只依赖车辆本身的感知能力，缺乏对周围环境的准确感知和判断，无法及时预防或避免事故的发生。
发明内容
为解决现有技术存在的问题，本发明采用以下技术方案：
基于遥感技术的车辆危险行为AI识别报警系统，包括遥感模块、信息管理模块、智能识别模块、数据分析模块和警报模块;
所述遥感模块用于获取遥感图像；
所述信息管理模块用于设定并存储车辆数据集；所述车辆数据集包括虚拟围栏、车辆类型和预设轨迹；
所述智能识别模块根据遥感图像识别目标车辆并得到车辆识别信息；
所述数据分析模块根据车辆数据集和车辆识别信息识别目标车辆的车辆危险行为；所述车辆危险行为包括车距过近危险行为、频繁变道危险行为和轨迹偏离危险行为；所述数据分析模块分别通过车距分析策略、变道分析策略和轨迹分析策略识别车距过近危险行为、频繁变道危险行为和轨迹偏离危险行为；
所述警报模块根据车辆危险行为生成警报信息并传输至监控客户端和目标车辆；
所述车距分析策略具体为：
通过分析遥感图像获取最近前方车辆的位置信息，计算目标车辆与最近前方车辆的车距，并将车距与安全距离进行比较，若车距小于安全距离，则判定存在车距过近危险行为;其中，所述安全距离表示为：
，
其中，DT为参考距离阈值，Vdiff为目标车辆与最近前方车辆的速度差，当目标车辆速度快于最近前方车辆时Vdiff为正值，当目标车辆速度慢于最近前方车辆时Vdiff为负值，α为大于1的可动态配置的底数参数，K为预设的速度权重参数，K>0；
所述车距分析策略还包括：设定α为通过拟合历史数据得到的底数参数初始值，当目标车辆行驶道路的路面附着系数小于预设的附着系数阈值时，增大α值。
作为本发明优选方案，所述变道分析策略具体为：
通过分析遥感图像获取每次变道时目标车道的车辆数量，根据行车规则判断目标车辆在一定时间内的变道频率是否超过频率阈值，若变道频率超过变道阈值，则判定存在频繁变道危险行为；
所述频率阈值表示为：
，
其中，FT为频率阈值基准，D为交通流量密度，V为目标车辆的车速，R为目标车道的车辆数量的平均值；DT为交通流量密度的参考值、VT为目标车辆的车速的参考值，RT为目标车道的车辆数量的平均值的参考值。
作为本发明优选方案，所述轨迹分析策略具体为：
根据遥感图像判断目标车辆的实际位置是否在虚拟围栏内，若否，则判定存在轨迹偏离危险行为；其中，所述根据遥感图像判断目标车辆的实际位置是否在虚拟围栏内，具体为：
设目标车辆的坐标点为(x,y)，定义射线从目标点向x轴正方向无限延伸，统计射线与多边形边界的交点数，若为奇数则目标点在虚拟围栏内，否则目标点在虚拟围栏外。
作为本发明优选方案，所述信息管理模块还用于根据车辆数据集生成虚拟围栏；
所述生成虚拟围栏，包括步骤如下：
根据车辆类型选择虚拟围栏形状；所述虚拟围栏形状包括区域型和轨迹型；所述区域型为固定区域，所述轨迹型为根据预设轨迹和车辆实时位置动态调整的区域；
对于轨迹型围栏，以路况突变位置为分割点，将所述预设轨迹分割为若干轨迹线段，根据路况和车辆实时位置为每个轨迹线段设置宽度生成基础围栏；对于区域型围栏，通过车辆数据集获取车辆的运行区域并作为基础围栏；
在基础围栏边缘添加缓冲区得到虚拟围栏；
将虚拟围栏转换为坐标点集合并存储至信息管理模块中。
作为本发明优选方案，所述根据车辆类型选择虚拟围栏形状，具体为：车辆类型为出租车、公交车、长途货车和市内配送车的目标车辆的虚拟围栏形状为轨迹型；车辆类型为租赁车辆和巡逻车的目标车辆的虚拟围栏形状为区域型。
作为本发明优选方案，所述信息管理模块还用于根据所述遥感图像识别所述路况突变位置；所述路况突变位置包括道路宽度突变位置和路面异常位置；所述路面异常位置包括道路封闭位置、道路施工位置和路面塌方位置。
作为本发明优选方案，所述智能识别模块包括Oriented R-CNN模型；所述Oriented R-CNN模型通过遥感图像和合成图像训练；所述智能识别模块还包括生成对抗网络；所述生成对抗网络包括生成器网络和判别器网络；生成器网络用于根据三维模型和遥感图像生成合成图像，判别器网络用于对比生成图像和遥感图像并优化生成器网络。
作为本发明优选方案，还包括三维模型构建模块；所述三维模型构建模块用于构建每种车辆型号的车辆三维模型并传输至信息管理模块；所述生成对抗网络通过信息管理模块获取车辆三维模型。
作为本发明优选方案，所述车辆危险行为还包括驾驶员身份异常、驾驶员行为异常和驾驶员神态异常；所述车辆危险行为AI识别报警系统还包括车内图像采集设备；所述车内图像采集设备用于采集主驾驶位图像并传输至智能识别模块；所述智能识别模块还包括驾驶员监测模型，所述驾驶员监测模型用于识别驾驶员身份、驾驶员行为和驾驶员神态。
与现有技术相比，本发明具有如下有益效果：
本申请基于遥感技术的车辆危险行为AI识别报警系统，通过智能识别模块对遥感图像进行分析得到车辆识别信息，通过信息管理模块设定并存储车辆数据集，并通过数据分析模块分析车辆数据集和车辆识别信息识别车辆的危险行为，及时生成警报信息并传输给监控客户端和目标车辆，从而执行应对措施，减少交通事故的发生，提高车辆行驶安全性能。
本申请提供的数据分析模块通过遥感图像计算车距并结合速度差识别车距过近的危险行为，通过拟定频率阈值并与计算的变道频率对比识别频繁变道的危险行为，通过判断目标车辆的位置是否在虚拟围栏内识别轨迹偏离危险行为，对不同的危险行为进行及时的识别和分析，从而提醒监控客户端和目标车辆驾驶者进行相应的控制和预警，提高行车安全性。
本申请提供的Oriented R-CNN模型通过遥感图像和合成图像训练，合成图像能够充实智能识别模块的训练集数据，结合遥感图像训练智能识别模块，使模型可以学习到不同角度、缩放比例和光照条件下的车辆特征，从而提高车辆识别准确性；并且在模型中引入了更多的虚拟车辆变化，可以帮助模型提高抗噪声和抗干扰的能力，减少误识别，提高系统的可靠性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例的基于遥感技术的车辆危险行为AI识别报警系统的系统架构图；
图2为本发明实施例的生成虚拟围栏的流程示意图。
实施方式
下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
请参阅图1，本发明公开了基于遥感技术的车辆危险行为AI识别报警系统,包括遥感模块、信息管理模块、智能识别模块、数据分析模块和警报模块。
所述遥感模块用于获取遥感图像；
所述信息管理模块用于设定并存储车辆数据集；所述车辆数据集包括车辆编号、车牌号、虚拟围栏、车辆类型、预设轨迹、运行区域、用户信息和所属公司。其中，虚拟围栏是一种电子围栏，通常由软件创建和管理，用于定义和监视特定区域的边界范围。
所述智能识别模块根据遥感图像识别目标车辆并得到车辆识别信息；所述目标车辆通过监控客户端选定，可同时选定一个或多个。
所述数据分析模块根据车辆数据集和车辆识别信息识别目标车辆的车辆危险行为；
所述警报模块根据车辆危险行为生成警报信息并传输至监控客户端和目标车辆。
其中，所述警报信息至少包括车辆编号、车牌号、用户信息、发生时间、车辆危险行为和警报级别。警报模块在生成警报信息后，警报信息传输到监控客户端和车辆端。传输方式可以采用实时视频流、TCP/IP传输协议、短信或邮件发送等方式，根据实际应用场景进行选择。同时，警报模块还需要对警报信息的传输进行安全加密和验证，以确保信息的保密性和完整性。监控客户端和车辆端接收到警报模块传输的警报信息后，需要及时进行响应。监控客户端可以通过界面弹窗、语音警报或震动提醒等方式提示用户，车辆端则可以通过车载语音系统或终端设备发出警报声音提醒驾驶员。在紧急情况下，监控客户端和车辆端应该立即采取相应的措施来防止事故发生。例如，在发生违规驾驶或疲劳驾驶等危险行为时，可立即触发车辆制动系统或引导驾驶员停车休息等措施，最大限度地提高车辆行驶的安全性能。
作为优选实施例，所述车辆危险行为包括车距过近危险行为、频繁变道危险行为和轨迹偏离危险行为。具体的，所述数据分析模块分别通过车距分析策略、变道分析策略和轨迹分析策略识别车距过近危险行为、频繁变道危险行为和轨迹偏离危险行为。
所述车距分析策略具体为：
通过分析遥感图像获取最近前方车辆的位置信息，计算目标车辆与最近前方车辆的车距，并将车距与安全距离进行比较，若车距小于安全距离，则判定存在车距过近危险行为。其中，所述安全距离表示为：
，
其中，DT为参考距离阈值，Vdiff为目标车辆与最近前方车辆的速度差，当目标车辆速度快于最近前方车辆时Vdiff为正值，当目标车辆速度慢于最近前方车辆时Vdiff为负值，α为大于1的可动态配置的底数参数，K为预设的速度权重参数，K>0。具体而言，当Vdiff>0时，Vdiff越大，即目标车辆追上最近前方车辆的预计时间越短 ，则安全距离D越小，并且Vdiff越大安全距离D减小得越快。本实施例在目标车辆的速度相对较高时，通过设定更大的安全距离，及时预警车距过近的危险行为，避免车辆之间的碰撞和追尾事故的发生，从而提高车安全性。
进一步地，α为可动态配置的底数参数，在本申请中可根据不同道路、天气等环境情况进行调整和优化。具体的，所述车距分析策略还包括设定α为通过拟合历史数据得到的底数参数初始值，通过实时分析目标车辆的行驶环境调整α值；在一实施例中，所述通过实时分析目标车辆的行驶环境调整α值为：当目标车辆行驶道路的路面附着系数小于预设的附着系数阈值时，增大α值，使安全距离的计算结果对目标车辆与最近前方车辆的速度差Vdiff的变化更敏感，从而使得车距分析策略可以根据实际行驶环境进行优化调整，提高车距分析策略的适应性和灵活性果。
所述变道分析策略具体为：
通过分析遥感图像获取每次变道时目标车道的车辆数量，根据行车规则判断目标车辆在一定时间内的变道频率是否超过频率阈值，若变道频率超过变道阈值，则判定存在频繁变道危险行为。
进一步地，所述频率阈值表示为：
，
其中，FT为频率阈值基准，D为交通流量密度，V为目标车辆的车速，R为目标车道的车辆数量的平均值，通过在一定时间内统计的变道时目标车道的车辆数量得到；DT为交通流量密度的参考值、VT为目标车辆的车速的参考值，RT为目标车道的车辆数量的平均值的参考值。频率阈值基准FT为在DT、VT、RT工作条件下设定的频率阈值的参考值。
本实施例将交通流量密度、目标车辆的车速和一定时间内统计的变道时目标车道的车辆数量的平均值作为输入，分析交通状况、变道的必要性等因素调整频率阈值F，使频率阈值F可以根据实际场景进行调整和优化。
所述轨迹分析策略具体为：
根据遥感图像判断目标车辆的实际位置是否在虚拟围栏内，若否，则判定存在轨迹偏离危险行为。其中，所述根据遥感图像判断目标车辆的实际位置是否在虚拟围栏内，具体为：
设目标车辆的坐标点为(x,y)，定义射线从目标点向x轴正方向无限延伸，统计射线与多边形边界的交点数，若为奇数则目标点在虚拟围栏内，否则目标点在虚拟围栏外。
进一步地，当虚拟围栏为多边形时，所述统计射线与多边形边界的交点数，包括步骤：
计算虚拟围栏的边界点的横向坐标范围[min_x, max_x]及纵向坐标范围[min_y,max_y]。
如果y不在[min_y, max_y]内，则判定坐标点(x,y)与该边不相交；
如果x不在[min_x, max_x]内，则该边不与射线相交，跳过该边；否则，记录交点数量作为射线与多边形边界的交点数。
基于前述内容，本实施例提供的数据分析模块通过遥感图像计算车距并结合速度差和动态权重识别车距过近的危险行为，通过拟定频率阈值并与计算的变道频率对比识别频繁变道的危险行为，通过判断目标车辆的位置是否在虚拟围栏内识别轨迹偏离危险行为，对不同的危险行为进行及时的识别和分析，从而提醒监控客户端和目标车辆驾驶者进行相应的控制和预警，提高行车安全性。
请参阅图2，作为优选实施例，所述信息管理模块还用于根据车辆数据集生成虚拟围栏，所述车辆类型包括用于交通、运输和巡逻场景的车辆类型，例如出租车、公交车、长途货车、市内配送车、巡逻车、租赁车辆等。所述生成虚拟围栏，包括步骤如下：
S11、根据车辆类型，选择虚拟围栏形状；虚拟围栏形状包括区域型和轨迹型；区域型为固定区域，轨迹型则是动态根据预设轨迹和车辆实时位置调整的区域。其中，对于车辆类型为出租车、公交车、长途货车和市内配送车的目标车辆的虚拟围栏为轨迹型，根据车辆实时位置来更新虚拟围栏。对于车辆类型为租赁车辆和巡逻车的目标车辆的虚拟围栏为区域型，仅需确保车辆行驶在固定的范围内。
S12、对于轨迹型围栏，以路况突变位置为分割点，将所述预设轨迹分割为若干轨迹线段，根据路况和车辆实时位置为每个轨迹线段设置宽度生成基础围栏；对于区域型围栏，通过车辆数据集获取车辆的运行区域并作为基础围栏。
S13、在基础围栏边缘添加一定宽度的缓冲区，作为虚拟围栏。缓冲区的添加可以减少因车辆位置不精确而导致的误判或漏检的情况，从而提高了围栏检测的精度。
S14、将虚拟围栏转换为坐标点集合并存储至信息管理模块中，实现虚拟围栏的集中管理和维护。
需要说明，在预设轨迹中，若全程固定设置围栏宽度，虚拟围栏宽度可能无法适应线路不同路段的实际情况，导致虚拟围栏错位、偏移、过宽/窄等情况，进而影响虚拟围栏的作用和目的；固定宽度会导致某些路虚拟围栏过宽，而某些路段虚拟围栏过窄，从而导致车辆行驶过程中虚拟围栏过于容易触发警报或虚拟围栏的检测精度较低。
因此，本申请实施例在步骤S12中，将路况突变处设为分割点，根据路况和车辆实时位置为每个轨迹线段设置不同宽度的围栏，可以更加精细地控制围栏范围避免以上问题的出现。
作为优选实施例，所述信息管理模块还用于根据所述遥感图像识别路况突变位置。具体的，所述路况突变位置包括道路宽度突变位置和路面异常位置，将道路宽度突变处和路面异常位置设为路况突变位置。其中，路面异常位置包括道路封闭位置、道路施工位置和路面塌方位置。例如，车辆在预设轨迹上处于一条道路封闭的区域，根据路况和车辆实时位置，计算得到在该区域处需要增加虚拟围栏宽度。然后，在该区域内的轨迹线段上为围栏增加了一定的宽度，生成基础围栏和缓冲区，再将得到的虚拟围栏的坐标点集合存储到信息管理模块中。这样，当车辆进入该区域时，系统根据车辆实时位置和预设轨迹信息，读取虚拟围栏信息进行检测，以供后续数据分析模块进行处理。
在遥感图像中，车辆往往是以不同的方向和形状出现的，传统的检测方法难以准确定位提取车辆的边缘特征。为解决此问题，作为优选实施例，所述智能识别模块包括Oriented R-CNN模型。Oriented R-CNN模型是一种目标检测模型，其在传统的R-CNN框架基础上，考虑旋转矩形目标的识别和定位问题，通过RoI预测池化层、方向分类（Orientationclassification）和方向回归（Orientation regression）实现。
具体的，所述Oriented R-CNN模型包括：
骨干网络（Backbone Network）：用于提取特征的卷积神经网络（如ResNet、VGG等）。
共享卷积网络（Shared Convolutional Network）：在RoI层之前，用于将整张图像的特征映射传递给RoI pooling层。
RoI预测池化层（RoI Pooling）：对于每个检测框，将其坐标映射到特征图上，然后对其进行相应的特征池化操作，以得到固定长度的特征向量。
方向分类分支（Orientation classification）：用于预测每个检测框的角度类别。
方向回归分支（Orientation regression）：用于预测每个检测框的角度偏移量，以修正检测框的倾斜角度。
其中，所述方向分类分支表示为：
其中，pi表示检测框的旋转角度被分类为第i类的概率,表示检测框的旋转角度被分类为第i类的得分，n为分类数目。
所述方向回归分支表示为：
其中表示旋转角度偏移量，/>表示原始旋转角度，/>表示校正后的旋转角度。
基于前述内容，Oriented R-CNN模型能够针对旋转矩形目标进行有效的检测和定位。通过实验比较，Oriented R-CNN模型在定向R-CNN检测框架中的性能要明显好于传统的R-CNN检测框架，能够在车辆的精确定位、检测和旋转角度预测方面取得很好的效果。
作为优选实施例，所述Oriented R-CNN模型通过遥感图像和合成图像训练。本实施例通过合成图像充实智能识别模块的训练集数据，结合遥感图像训练智能识别模块，使模型可以学习到不同角度、缩放比例和光照条件下的车辆特征，从而提高车辆识别准确性；并且在模型中引入了更多的虚拟车辆变化，可以帮助模型提高抗噪声和抗干扰的能力，减少误识别，提高系统的可靠性。
作为优选实施例，所述智能识别模块还包括生成对抗网络；所述生成对抗网络包括生成器网络和判别器网络；生成器网络用于根据三维模型和遥感图像生成合成图像，判别器网络用于对比生成图像和遥感图像并优化生成器网络。
具体的，生成器网络通过将三维模型和遥感图像分别经过卷积操作进行特征提取，得到两个特征图，再将两个特征图进行拼接，再通过反卷积层进行上采样，最终得到合成图像。其中，生成器网络中包括多个反卷积层，每个反卷积层均包含卷积操作、步长、填充参数以及激活函数，激活函数可采用LeakyReLU、sigmoid等。判别器网络通过将合成图像和遥感图像进行卷积操作进行特征提取，得到特征图；将特征图经过全连接层输出一个实数，表示输入图像为真实图像的概率，并将概率反馈至生成器网络。其中，判别器网络包括多个卷积层和全连接层，每个层均包含卷积操作、步长、填充参数以及激活函数，激活函数可采用ReLU、LeakyReLU等。
基于前述内容，本实施例通过生成器网络和判别器网络的训练，可以实现从三维模型和遥感图像生成逼真的合成图像，并通过判别器网络提高合成图像的质量，从而提高智能识别模块检测和识别车辆的准确性和可靠性。
作为优选实施例，本申请车辆危险行为AI识别报警系统还包括三维模型构建模块；所述三维模型构建模块用于构建每种车辆型号的车辆三维模型并传输至信息管理模块；所述生成对抗网络通过信息管理模块获取车辆三维模型。进一步地，再构建每种车辆型号的车辆三维模型的过程中，需要收集每种车辆型号的相关信息，相关信息包括实际尺寸和外形特征。相关信息可以通过相关文献、厂商资料、现场测量等方式获取。获取数据后，需要进行数据处理和清洗，确保数据的准确性和完整性。然后，通过三维建模软件对每种车辆型号进行几何建模。在建模的过程中，需要注意车型细节特征的准确表现，如挡风玻璃、轮胎、车轮间隔、车灯等细节特征等。本实施例通过三维模型构建模块提供准确的车辆模型，依此为智能识别模块的训练提供有力的支持。
作为优选实施例，所述车辆危险行为还包括驾驶员身份异常、驾驶员行为异常和驾驶员神态异常。本申请车辆危险行为AI识别报警系统还包括车内图像采集设备；所述智能识别模块还包括驾驶员监测模型，所述车内图像采集设备用于采集主驾驶位图像并传输至驾驶员监测模型；所述驾驶员监测模型用于识别驾驶员身份、驾驶员行为和驾驶员神态；根据用户信息中的用户人脸图像，若驾驶员身份为未能通过人脸识别进行身份验证或被识别为非法驾驶员，则判定驾驶员身份异常；若识别驾驶员正在进行使用手机、进食和吸烟等行为，则判定驾驶员行为异常；若识别驾驶员的面部神态为过度疲劳或过度亢奋，则判定驾驶员神态异常。
具体的，所述车内图像采集设备为安装在车内适当的位置的高分辨率的摄像头，所述车内适当的位置可以为车内中控台上方的位置，以确保可以清晰地捕捉到主驾驶位图像；主驾驶位图像为驾驶员的面部和上半身的图像。
作为优选实施例，所述驾驶员监测模型包括身份识别模型、行为识别模型和神态识别模型。身份识别模型具体为FaceNet模型，用于识别驾驶员身份。FaceNet模型通过深度卷积网络提取脸部图像的高维特征，同时优化将这些高维特征嵌入到欧氏空间的映射，使得同一人的人脸图像的特征表示在该空间中彼此接近，而不同人的特征表示彼此远离。所述FaceNet模型的工作原理如下：
接收经过预处理的主驾驶位图像；所述预处理包括图像缩放、人脸对齐和归一化。
使用预训练的FaceNet模型将主驾驶位图像转化为嵌入向量，即人脸图像的数学表示。
通过计算主驾驶位图像的嵌入向量与用户信息中的用户人脸图像的嵌入向量之间的距离（一实施例中具体为欧氏距离），确定最接近的身份。
若计算的最短距离低于设定的阈值，则认为匹配成功，从而确认驾驶员的身份；若计算的最短距离高于或等于设定的阈值，则判定驾驶员身份异常。
所述行为识别模型为YOLOv5模型，用于识别驾驶员行为。YOLOv5模型将目标检测视为单一的回归问题，直接从图像中预测类别概率和边界框坐标。所述YOLOv5模型的训练及工作原理如下：
根据预定义的异常行为类别收集标注数据集，并使用标注数据集训练YOLOv5模型；所述异常行为类别包括使用手机、进食和吸烟等。所述标注数据集包括网络开源数据集和通过车内图像采集设备收集的历史主驾驶位图像。
YOLOv5模型部署至智能识别模块，实时接收并处理主驾驶位图像，在主驾驶位图像中检测出所有的异常行为目标并对行为进行分类。
所述神态识别模型为VGGNet模型，用于识别驾驶员神态。VGGNet模型为一种深度卷积神经网络，可被训练用于识别人类的面部表情，包括疲劳、兴奋或常见的情绪表达。所述VGGNet模型的工作原理如下：
通过人脸检测器识别图像中驾驶员面部的关键点，以提取出表情的重要特征。所述人脸检测器与VGGNet模型集成，具体可采用OpenCV提供的开源库。
使用经过预训练的VGGNet模型的深度层次结构提取面部图像的复杂特征。
使用VGGNet模型对面部图像的复杂特征进行分类和回归分析，以辨识不同的面部表情及对应表征的神态，如疲劳和亢奋。
本实施例通过采集车内图像传输给智能识别模块进行分析和处理，能够有效地识别出驾驶员的异常行为和神态，从而及时提醒驾驶员或车辆管理人员采取相应措施，从而降低车辆运行中的安全风险和事故发生率。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，read-onlymemory）、随机存取存储器（RAM，random access memory）、磁碟或者光盘等各种可以存储程序代码的介质。
Claims (7)
1.基于遥感技术的车辆危险行为AI识别报警系统，其特征在于：包括遥感模块、信息管理模块、智能识别模块、数据分析模块和警报模块；
所述遥感模块用于获取遥感图像；
所述信息管理模块用于设定并存储车辆数据集；所述车辆数据集包括虚拟围栏、车辆类型和预设轨迹；
所述智能识别模块根据遥感图像识别目标车辆并得到车辆识别信息；
所述数据分析模块根据车辆数据集和车辆识别信息识别目标车辆的车辆危险行为；所述车辆危险行为包括车距过近危险行为、频繁变道危险行为和轨迹偏离危险行为；所述数据分析模块分别通过车距分析策略、变道分析策略和轨迹分析策略识别车距过近危险行为、频繁变道危险行为和轨迹偏离危险行为；
所述警报模块根据车辆危险行为生成警报信息并传输至监控客户端和目标车辆；
所述车距分析策略具体为：
通过分析遥感图像获取最近前方车辆的位置信息，计算目标车辆与最近前方车辆的车距，并将车距与安全距离进行比较，若车距小于安全距离，则判定存在车距过近危险行为；其中，所述安全距离表示为：
，
其中，DT为参考距离阈值，Vdiff为目标车辆与最近前方车辆的速度差，当目标车辆速度快于最近前方车辆时Vdiff为正值，当目标车辆速度慢于最近前方车辆时Vdiff为负值，α为大于1的可动态配置的底数参数，K为预设的速度权重参数，K>0；
所述车距分析策略还包括：设定α为通过拟合历史数据得到的底数参数初始值，当目标车辆行驶道路的路面附着系数小于预设的附着系数阈值时，增大α值；
所述变道分析策略具体为：
通过分析遥感图像获取每次变道时目标车道的车辆数量，根据行车规则判断目标车辆在一定时间内的变道频率是否超过频率阈值，若变道频率超过变道阈值，则判定存在频繁变道危险行为；
所述频率阈值表示为：
，
其中，FT为频率阈值基准，D为交通流量密度，V为目标车辆的车速，R为目标车道的车辆数量的平均值；DT为交通流量密度的参考值、VT为目标车辆的车速的参考值，RT为目标车道的车辆数量的平均值的参考值；
所述轨迹分析策略具体为：
根据遥感图像判断目标车辆的实际位置是否在虚拟围栏内，若否，则判定存在轨迹偏离危险行为；其中，所述根据遥感图像判断目标车辆的实际位置是否在虚拟围栏内，具体为：
设目标车辆的坐标点为(x,y)，定义射线从目标点向x轴正方向无限延伸，统计射线与多边形边界的交点数，若为奇数则目标点在虚拟围栏内，否则目标点在虚拟围栏外。
2.根据权利要求1所述的基于遥感技术的车辆危险行为AI识别报警系统,其特征在于：所述信息管理模块还用于根据车辆数据集生成虚拟围栏；
所述生成虚拟围栏，包括步骤如下：
根据车辆类型选择虚拟围栏形状；所述虚拟围栏形状包括区域型和轨迹型；所述区域型为固定区域，所述轨迹型为根据预设轨迹和车辆实时位置动态调整的区域；
对于轨迹型围栏，以路况突变位置为分割点，将所述预设轨迹分割为若干轨迹线段，根据路况和车辆实时位置为每个轨迹线段设置宽度生成基础围栏；对于区域型围栏，通过车辆数据集获取车辆的运行区域并作为基础围栏；
在基础围栏边缘添加缓冲区得到虚拟围栏；
将虚拟围栏转换为坐标点集合并存储至信息管理模块中。
3.根据权利要求2所述的基于遥感技术的车辆危险行为AI识别报警系统,其特征在于：所述根据车辆类型选择虚拟围栏形状，具体为：车辆类型为出租车、公交车、长途货车和市内配送车的目标车辆的虚拟围栏形状为轨迹型；车辆类型为租赁车辆和巡逻车的目标车辆的虚拟围栏形状为区域型。
4.根据权利要求2所述的基于遥感技术的车辆危险行为AI识别报警系统,其特征在于：所述信息管理模块还用于根据所述遥感图像识别所述路况突变位置；所述路况突变位置包括道路宽度突变位置和路面异常位置；所述路面异常位置包括道路封闭位置、道路施工位置和路面塌方位置。
5.根据权利要求1所述的基于遥感技术的车辆危险行为AI识别报警系统,其特征在于：所述智能识别模块包括Oriented R-CNN模型；所述Oriented R-CNN模型通过遥感图像和合成图像训练；所述智能识别模块还包括生成对抗网络；所述生成对抗网络包括生成器网络和判别器网络；生成器网络用于根据三维模型和遥感图像生成合成图像，判别器网络用于对比生成图像和遥感图像并优化生成器网络。
6.根据权利要求5所述的基于遥感技术的车辆危险行为AI识别报警系统,其特征在于：还包括三维模型构建模块；所述三维模型构建模块用于构建每种车辆型号的车辆三维模型并传输至信息管理模块；所述生成对抗网络通过信息管理模块获取车辆三维模型。
7.根据权利要求1所述的基于遥感技术的车辆危险行为AI识别报警系统,其特征在于：所述车辆危险行为还包括驾驶员身份异常、驾驶员行为异常和驾驶员神态异常；所述车辆危险行为AI识别报警系统还包括车内图像采集设备；所述智能识别模块还包括驾驶员监测模型，所述车内图像采集设备用于采集主驾驶位图像并传输至驾驶员监测模型；所述驾驶员监测模型包括身份识别模型、行为识别模型和神态识别模型；所述身份识别模型为FaceNet模型，用于识别驾驶员身份；所述行为识别模型为YOLOv5模型，用于识别驾驶员行为；所述神态识别模型为VGGNet模型，用于识别驾驶员神态。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311594805.9A CN117315601B (zh) | 2023-11-28 | 2023-11-28 | 基于遥感技术的车辆危险行为ai识别报警系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311594805.9A CN117315601B (zh) | 2023-11-28 | 2023-11-28 | 基于遥感技术的车辆危险行为ai识别报警系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117315601A CN117315601A (zh) | 2023-12-29 |
| CN117315601B true CN117315601B (zh) | 2024-02-23 |
Family
ID=89288675
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311594805.9A Active CN117315601B (zh) | 2023-11-28 | 2023-11-28 | 基于遥感技术的车辆危险行为ai识别报警系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117315601B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103794086A (zh) * | 2014-01-26 | 2014-05-14 | 浙江吉利控股集团有限公司 | 一种车辆行驶预警方法 |
| WO2018076559A1 (zh) * | 2016-10-26 | 2018-05-03 | 深圳市元征科技股份有限公司 | 安全驾驶预警方法及装置 |
| CN108973918A (zh) * | 2018-07-27 | 2018-12-11 | 惠州华阳通用电子有限公司 | 一种实现车辆盲区监测的装置及方法 |
| RU2759453C1 (ru) * | 2020-11-23 | 2021-11-15 | Чунцин Чаньгань Аутомобайл Ко., Лтд | Способ управления избыточностью для системы автоматического вождения, автоматическая система вождения, транспортное средство, контроллер и машиночитаемый носитель информации |
| CN114067557A (zh) * | 2021-08-21 | 2022-02-18 | 山东科技大学 | 一种驾驶信用测定方法、系统、信息数据处理终端 |
| CN114357094A (zh) * | 2021-12-15 | 2022-04-15 | 红有软件股份有限公司 | 一种危化品车辆时空轨迹实时监控预警的方法及系统 |
| CN116142186A (zh) * | 2023-01-09 | 2023-05-23 | 中南民族大学 | 不良环境下车辆安全行驶预警方法、装置、介质和设备 |
| CN116629546A (zh) * | 2023-05-26 | 2023-08-22 | 博世华域转向系统（武汉）有限公司 | 基于高精定位和数字孪生的试车场智能排程和管理系统 |
| CN116645646A (zh) * | 2023-05-29 | 2023-08-25 | 智慧互通科技股份有限公司 | 一种用于停车异常检测预警方法及系统 |
-
2023
- 2023-11-28 CN CN202311594805.9A patent/CN117315601B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103794086A (zh) * | 2014-01-26 | 2014-05-14 | 浙江吉利控股集团有限公司 | 一种车辆行驶预警方法 |
| WO2018076559A1 (zh) * | 2016-10-26 | 2018-05-03 | 深圳市元征科技股份有限公司 | 安全驾驶预警方法及装置 |
| CN108973918A (zh) * | 2018-07-27 | 2018-12-11 | 惠州华阳通用电子有限公司 | 一种实现车辆盲区监测的装置及方法 |
| RU2759453C1 (ru) * | 2020-11-23 | 2021-11-15 | Чунцин Чаньгань Аутомобайл Ко., Лтд | Способ управления избыточностью для системы автоматического вождения, автоматическая система вождения, транспортное средство, контроллер и машиночитаемый носитель информации |
| CN114067557A (zh) * | 2021-08-21 | 2022-02-18 | 山东科技大学 | 一种驾驶信用测定方法、系统、信息数据处理终端 |
| CN114357094A (zh) * | 2021-12-15 | 2022-04-15 | 红有软件股份有限公司 | 一种危化品车辆时空轨迹实时监控预警的方法及系统 |
| CN116142186A (zh) * | 2023-01-09 | 2023-05-23 | 中南民族大学 | 不良环境下车辆安全行驶预警方法、装置、介质和设备 |
| CN116629546A (zh) * | 2023-05-26 | 2023-08-22 | 博世华域转向系统（武汉）有限公司 | 基于高精定位和数字孪生的试车场智能排程和管理系统 |
| CN116645646A (zh) * | 2023-05-29 | 2023-08-25 | 智慧互通科技股份有限公司 | 一种用于停车异常检测预警方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 基于模型预测控制的可变目标距离 自适应巡航控制研究;赵亚男;北 京 理 工 大 学 学 报;第43卷(第5期);499-509 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117315601A (zh) | 2023-12-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11074813B2 (en) | Driver behavior monitoring | |
| US10703268B2 (en) | System and method for driver distraction determination | |
| US11380105B2 (en) | Identification and classification of traffic conflicts | |
| WO2020087743A1 (zh) | 非机动车交通违法监管方法、装置及电子设备 | |
| WO2020042984A1 (zh) | 一种车辆行为检测方法及装置 | |
| US8379924B2 (en) | Real time environment model generation system | |
| KR102453627B1 (ko) | 딥러닝 기반 교통 흐름 분석 방법 및 시스템 | |
| CN110400478A (zh) | 一种路况通知方法及装置 | |
| CN106157630B (zh) | 犯罪嫌疑目标的监测方法、车辆及系统 | |
| CN106485233A (zh) | 可行驶区域检测方法、装置和电子设备 | |
| MX2014015331A (es) | Interfaz de usuario afectiva en un vehiculo autonomo. | |
| EP3403219A1 (en) | Driver behavior monitoring | |
| CN113676702B (zh) | 基于视频流的目标追踪监测方法、系统、装置及存储介质 | |
| KR102282800B1 (ko) | 라이다와 영상카메라를 이용한 멀티 표적 추적 방법 | |
| CN107031661A (zh) | 一种基于盲区相机输入的变道预警方法及系统 | |
| CN114093165A (zh) | 一种基于路侧激光雷达的车辆-行人冲突自动识别方法 | |
| CN113658427A (zh) | 基于视觉与雷达的路况监控方法及系统、设备 | |
| CN116645646A (zh) | 一种用于停车异常检测预警方法及系统 | |
| Verma et al. | Design and development of a driving assistance and safety system using deep learning | |
| CN117315601B (zh) | 基于遥感技术的车辆危险行为ai识别报警系统 | |
| CN113870551A (zh) | 一种能够鉴别危险和非危险驾驶行为的路侧监控系统 | |
| CN111489560B (zh) | 基于浅层卷积神经网络探测前车起步检测方法及控制方法 | |
| CN114530057B (zh) | 一种车辆预警方法、装置、车辆及存储介质 | |
| KR102468307B1 (ko) | 주차 및 주행시 차량용 블랙박스 이벤트 감지시스템 및 이벤트 학습방법 | |
| CN113096407B (zh) | 一种限高通道车辆防撞方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |