CN114005074A - 交通事故的确定方法、装置及电子设备 - Google Patents
交通事故的确定方法、装置及电子设备 Download PDFInfo
- Publication number
- CN114005074A CN114005074A CN202111635843.5A CN202111635843A CN114005074A CN 114005074 A CN114005074 A CN 114005074A CN 202111635843 A CN202111635843 A CN 202111635843A CN 114005074 A CN114005074 A CN 114005074A
- Authority
- CN
- China
- Prior art keywords
- target
- traffic accident
- detected
- determining
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 206010039203 Road traffic accident Diseases 0.000 title claims abstract description 116
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000001514 detection method Methods 0.000 claims abstract description 56
- 238000012544 monitoring process Methods 0.000 claims abstract description 41
- 230000003068 static effect Effects 0.000 claims abstract description 28
- 238000012545 processing Methods 0.000 claims abstract description 25
- 239000000203 mixture Substances 0.000 claims abstract description 14
- 238000004458 analytical method Methods 0.000 claims description 38
- 238000013528 artificial neural network Methods 0.000 claims description 19
- 238000004891 communication Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 13
- 230000002159 abnormal effect Effects 0.000 claims description 12
- 238000010801 machine learning Methods 0.000 claims description 6
- 238000003062 neural network model Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 230000003044 adaptive effect Effects 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 206010071368 Psychological trauma Diseases 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
- G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及交通事故检测技术领域，提供了一种交通事故的确定方法、装置及电子设备。该方法在获取目标路段的视频流对应的待检测图像序列后，待检测图像序列为按照时间顺序排列的多个待检测图像；采用预设的自适应高斯混合背景建模算法，对每个待检测图像中的监测区域进行处理，得到每个待检测图像对应的背景图像；对背景图像进行目标检测和目标跟踪，得到至少两辆静止车辆的相应所处位置和在所处位置的停止时长；基于位置和停止时长，确定目标路段发生交通事故。该方法提高了交通事故确定的速度和实时性。
Description
技术领域
本申请涉及交通事故检测技术领域，具体而言，涉及一种交通事故的确定方法、装置及电子设备。
背景技术
随着经济的发展，车辆也越来越多，城市交通环境日益恶化，更导致了城市道路交通事故频发。交通事故不但会造成交通拥堵、个人和公共财产损失，甚至危及到生命安全，给人们带来严重的生理和心理创伤。随着视频监控技术的发展与应用，目前很多城市安装了越来越多的道路监控摄像头，对道路交通状态和参数进行监控，以加大对城市交通的监管力度，及时处置交通事故。
目前发现并处理交通事故的途径，仍然以人工操作为主。一方面通过巡检员从监控视频中发现交通事故，另一方面靠事故方上报交通事故。但是受限于由于人工监测的不可控因素，准确率无法得到保障，而且也浪费了人力。
发明内容
本申请实施例的目的在于提供一种交通事故的确定方法、装置及电子设备，用以解决现有技术存在的上述问题，可智能地对交通事故进行准确地检测，节省了人力。
第一方面，提供了一种交通事故的确定方法，该方法可以包括：
获取目标路段的视频流对应的待检测图像序列，所述待检测图像序列为按照时间顺序排列的多个待检测图像；
采用预设的自适应高斯混合背景建模算法，对每个待检测图像中的监测区域进行处理，得到所述每个待检测图像对应的背景图像；其中，所述监测区域为车辆正常行驶的道路行驶区域；所述背景图像包括至少两辆静止车辆；
对所述背景图像进行目标检测和目标跟踪，得到所述至少两辆静止车辆的相应所处位置和在所述所处位置的停止时长；
基于所述所处位置和所述停止时长，确定所述目标路段发生交通事故。
在一个可选的实现中，确定所述目标路段发生交通事故之后，所述方法还包括：
采用预设的双模神经网络，对所述每个待检测图像对应的背景图像进行事故检测，得到所述双模神经网络输出的事故类型的检测结果；所述双模神经网络是基于被标注了不同交通事故类型的图像训练出的神经网络模型。
在一个可选的实现中，对所述背景图像中的所述至少两辆静止车辆进行目标检测和目标跟踪，得到获取相应车辆的所处位置，以及在所述所处位置的停止时长，包括：
使用目标检测算法，对所述背景图像中的所述至少两辆静止车辆进行目标检测，得到所述背景图像中至少两辆目标车辆的所处位置；
使用多目标追踪方法，对所述至少两辆目标车辆进行实时追踪，得到所述至少一辆目标车辆在所述所处位置的停止时长。
在一个可选的实现中，所述方法还包括：
若所述背景图像包括一辆静止车辆，且所述车辆的停止时长超过预设时长阈值，则确定所述车辆属于异常停车。
在一个可选的实现中，基于所述所处位置和所述停止时长，确定所述目标路段发生交通事故，包括：
若所述所处位置和所述停止时长满足预设事故条件，则确定所述目标路段发生交通事故。
在一个可选的实现中，所述预设事故条件包括所述至少两辆静止车辆中任意两个静止车辆的停止时长超过预设时长阈值，且相应车辆的所处位置不变的条件；或者，
若对所述背景图像进行目标检测和目标跟踪，得到目标行人的所处位置，则所述预设事故条件包括所述至少两辆静止车辆的停止时长超过预设时长阈值，且所述目标行人的所处位置距离目标车辆存在预设距离阈值。
在一个可选的实现中，基于所述所处位置和所述停止时长，确定所述目标路段发生交通事故，包括：
将所述所处位置和所述停止时长作为输入数据，输入预设的交通事故分析模型，所述交通事故分析模型对所述所处位置和所述停止时长进行事故特征分析，输出事故分析结果；所述交通事故分析模型是基于若干被标注了不同交通事故的特征数据样本训练出的机器学习模型；
若所述事故分析结果表明存在交通事故，则确定所述目标路段发生交通事故。
第二方面，提供了一种交通事故的确定装置，该装置可以包括：
获取单元，用于获取目标路段的视频流对应的待检测图像序列，所述待检测图像序列为按照时间顺序排列的多个待检测图像；
处理单元，用于采用预设的自适应高斯混合背景建模算法，对每个待检测图像中的监测区域进行处理，得到所述每个待检测图像对应的背景图像；其中，所述监测区域为车辆正常行驶的道路行驶区域；所述背景图像包括至少两辆静止车辆；
以及，对所述背景图像进行目标检测和目标跟踪，得到所述至少两辆静止车辆的相应所处位置和在所述所处位置的停止时长；
确定单元，用于基于所述所处位置和所述停止时长，确定所述目标路段发生交通事故。
在一个可选的实现中，所述装置还包括检测单元；
所述检测单元，用于采用预设的双模神经网络，对所述每个待检测图像对应的背景图像进行事故检测，得到所述双模神经网络输出的事故类型的检测结果；所述双模神经网络是基于被标注了不同交通事故类型的图像训练出的神经网络模型。
在一个可选的实现中，所述处理单元，具体用于：
使用目标检测算法，对所述背景图像中的所述至少两辆静止车辆进行目标检测，得到所述背景图像中至少两辆目标车辆的所处位置；
使用多目标追踪方法，对所述至少两辆目标车辆进行实时追踪，得到所述至少一辆目标车辆在所述所处位置的停止时长。
在一个可选的实现中，所述确定单元，还用于若所述背景图像包括一辆静止车辆，且所述车辆的停止时长超过预设时长阈值，则确定所述车辆属于异常停车。
在一个可选的实现中，所述确定单元，具体用于若所述所处位置和所述停止时长满足预设事故条件，则确定所述目标路段发生交通事故。
在一个可选的实现中，所述预设事故条件包括所述至少两辆静止车辆中任意两个静止车辆的停止时长超过预设时长阈值，且相应车辆的所处位置不变的条件；或者，
若对所述背景图像进行目标检测和目标跟踪，得到目标行人的所处位置，则所述预设事故条件包括所述至少两辆静止车辆的停止时长超过预设时长阈值，且所述目标行人的所处位置距离目标车辆存在预设距离阈值。
在一个可选的实现中，所述确定单元，还具体用于：
将所述所处位置和所述停止时长作为输入数据，输入预设的交通事故分析模型，所述交通事故分析模型对所述所处位置和所述停止时长进行事故特征分析，输出事故分析结果；所述交通事故分析模型是基于若干被标注了不同交通事故的特征数据样本训练出的机器学习模型；
若所述事故分析结果表明存在交通事故，则确定所述目标路段发生交通事故。
第三方面，提供了一种电子设备，该电子设备包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述第一方面中任一所述的方法步骤。
第四方面，提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面中任一所述的方法步骤。
本申请提供的交通事故的确定方法在获取目标路段的视频流对应的待检测图像序列后，待检测图像序列为按照时间顺序排列的多个待检测图像；采用预设的自适应高斯混合背景建模算法，对每个待检测图像中的监测区域进行处理，得到每个待检测图像对应的背景图像；其中，监测区域为车辆正常行驶的道路行驶区域；背景图像包括至少两辆静止车辆；对背景图像进行目标检测和目标跟踪，得到至少两辆静止车辆的相应所处位置和在所处位置的停止时长；基于位置和停止时长，确定目标路段发生交通事故。该方法通过采用自适应高斯混合背景建模算法，将交通异常现场从正常的道路中剥离出来，能够解决车辆目标追踪时被其它目标追踪导致车辆目标消失的情况，提高了目标追踪的鲁棒性，并且对于交通异常行为采用无监督的分析方法，提高了交通事故确定的速度和实时性。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种应用交通事故的确定方法的系统架构图；
图2为本申请实施例提供的一种交通事故的确定方法的流程示意图；
图3为本申请实施例提供的一种交通事故的确定装置的结构示意图；
图4为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，并不是全部的实施例。基于本申请实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
为了方便理解，下面对本申请实施例中涉及的名词进行解释：
Ffmpeg，是一套可以用来记录、转换数字音频、视频，并能将其转化为流的开源计算机程序。它包含了非常先进的音频/视频编解码库libavcodec。
Opencv，是一个基于Apache2.0许可（开源）发行的跨平台计算机视觉和机器学习软件库，可以运行在Linux、Windows、Android和Mac OS操作系统上。
自适应混合高斯背景建模算法，用于使用多个高斯模型的加权求和混合在一起去模拟背景的特性，将背景信息从图像中剥离出来。
双模神经网络，即SlowFast双模神经网络，该网络结构包括两个分支，一个分支是慢速通道，输入是低帧率的采样，捕获稀疏帧图像。低帧率意味着这个“慢通道”使用了一个较大的时序跨度，设置为每秒16帧，如果按30fps算，即每秒只采样2帧。若慢通道的采样数为T，则原视频的长度即为T * 16帧。“慢通道”用于分析视频中的静态内容，提取空间语义信息。另一个分支是快速通道，输入是高帧率的采样(为慢通道的α倍，通常设为8，即输入的采样数为αT)，则每秒跳过的帧数为16/α。在使用更高的时序分辨率作为输入时，也保持了同样的高时序分辨率作为输出，没采用时序下采样，输出仍然是αT。高速通道负责快速捕获运动的变化，用于分析视频中的动态内容。慢速通道和快速通道的主干架构都使用3DRestNet模型，捕捉若干帧之后立即运行3D卷积操作。最后，采用横向连接将快速通道的特征拼接到慢速通道的路径，在融合前需要进行特征尺寸的转换匹配（只能有一个维度尺寸不同）。将慢速通道的特征形状定义为{T，S²，C}，快速通道的特征形状为{αT，S²，βC}。T，S，C分别对应时序步长，空间步长和通道，其中时序步长指的是每秒跳过多少帧，空间步长就是在2D图像特征上的卷积步长。横向连接沿着时间轴进行5*1*1的3D卷积，跨度为α，输出的通道数为2βC，统一两个分路的特征之后使用Softmax进行分类，
本申请实施例提供的交通事故的确定方法可以应用在图1所示的系统架构中，如图1所示，该系统可以包括：图像采集装置，如摄像头、服务器和交管中心的终端。其中，服务器可以是应用服务器或云服务器；终端可以是移动电话、智能电话、笔记本电脑、数字广播接收器、个人数字助理（PDA）、平板电脑（PAD）等用户设备（User Equipment，UE）、手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其它处理设备、移动台（Mobile station，MS）、移动终端（Mobile Terminal）等。
图像采集装置，用于采集各路段中车辆行驶的视频流，并将视频流发送至服务器；
服务器，用于基于接收到的视频流，判断哪个路段发送交通事故，若目标路段发送交通事故，则向交管中心的终端发送针对目标路段的告警信息；
交管中心的终端，用于监测服务器是否发来告警信息。
以下结合说明书附图对本申请的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本申请，并不用于限定本申请，并且在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
图2为本申请实施例提供的一种交通事故的确定方法的流程示意图。如图2所示，该方法可以包括：
步骤S210、获取目标路段的视频流对应的待检测图像序列。
本申请实施中，服务器接收采集目标路段或交叉口的视频流，并对该视频流使用ffmpeg进行视频解码，将视频流转换成待检测图像序列（或称“图像帧序列”），待检测图像序列为按照时间顺序排列的多个待检测图像。
需要说明的是，也可以采用现有的其他解码方式对视频流进行处理，得到待检测图像序列，本申请实施例在此不做限定。
步骤S220、采用预设的自适应高斯混合背景建模算法，对每个待检测图像中的监测区域进行处理，得到每个待检测图像对应的背景图像。
本申请实施例中，服务器使用Opencv进行画框，选取目标路段中合适的区域作为监测区域，具体的，将目标路段的路边允许停车的区域和房屋等建筑物划在监测区域外，这样可以减少一些对建筑物检测为车辆的假阳性检测，以及消除路边合规停车区域静止车辆的干扰。也就是说，监测区域为车辆正常行驶的道路行驶区域。
之后，采用预设的自适应高斯混合背景建模算法，对每个待检测图像中的监测区域进行处理，将监测区域中静止的车辆作为背景从待检测图像中剥离出来，防止出现一些静止的车辆目标被大型车辆阻挡导致目标追踪跟丢的情况，并且可以提高事故判断的准确性和鲁棒性，去除一大部分干扰，也就是说，背景图像可以包括至少一辆静止车辆。
作为另一个示例，可以预先配置与目标相机对应的虚拟线圈，该目标相机用于拍摄目标路段的视频流，该虚拟线圈可以包括多个，每个虚拟线圈用于指示目标路段中的一个区域，每个虚拟线圈可以对应一个标签，该标签用于指示该虚拟线圈对应的目标路段中的区域的类型，该类型可以用于指示出现交通异常的可能性，例如，该类型可以包括监测区域和非监测区域，其中，该监测区域还可以包括热点监测区域和非热点监测区域。
例如，该目标相机拍摄的目标路段的图像中包括固定障碍物所在区域、合规停车区域以及车辆正常行驶的道路行驶区域等等，该固定障碍物所在区域可以对应有多个虚拟线圈，每个虚拟线圈用于指示一个或多个固定障碍物所在的位置，该固定障碍物所在区域对应的标签可以为非监测区域；该合规停车区域可以对应有多个虚拟线圈，每个虚拟线圈用于指示一个或多个合规停车区域所在的位置，该合规停车区域对应的标签可以为非热点监测区域；该机动车行驶区域可以对应有多个虚拟线圈，每个虚拟线圈用于指示一个或多个机动车道所在的位置，该道路行驶区域对应的标签可以为热点监测区域。
在执行步骤S220之前，可以基于待检测图像基于预先配置的虚拟线圈，对待检测图像进行预处理，对于预处理后的待检测图像采用预设的自适应高斯混合背景建模算法，对每个预处理后的待检测图像进行处理，将预处理后的待检测图像中静止的车辆作为背景从预处理后的待检测图像中剥离出来。
该基于待检测图像基于预先配置的虚拟线圈，对待检测图像进行预处理的步骤可以包括：预先确定第一标签；基于第一标签在多个虚拟线圈中确定第一虚拟线圈；将待检测图像中第一虚拟线圈对应的区域删除，得到预处理后的待检测图像。或者，预先确定第二标签；基于第二标签在多个虚拟线圈中确定第二虚拟线圈；将待检测图像中第二虚拟线圈对应的图像确定为预处理后的待检测图像。例如，该第一标签可以为非监测区域，或者还可以为非热点监测区域。再例如，该第二标签可以为监测区域、热点监测区域或者非热点监测区域。
在一些实施例中，对于热点监测区域或者非热点监测区域可以分别经过步骤S220处理，得到背景图像，对于热点监测区域对应的背景图像或者非热点监测区域对应的背影图像，可以分别采用不同的异常检测策略进行异常检测。
在一些实施例中，还可以对虚拟线圈、虚拟线圈的标签等等进行更新。例如，当目标路段的环境发生改变（如增加障碍物），或者在对目标相机进行周期性校验时，发现该目标相机的姿态发生改变，此时可以重新确定其对应的虚拟线圈，或者，更新虚拟线圈。
例如，该虚拟线圈的位置可以基于三维空间中的辅助线圈的位置确定，该三维空间可以为世界坐标系，该目标相机以及目标路段均位于该世界坐标系中，在该世界坐标系中，该目标相机对应有姿态信息，该姿态信息可以在该相机安装后通过自动标定确定或者人工配置得到。该辅助线圈用于指示该目标路段中的一个区域在该世界坐标系中的所在的位置。
当在对目标相机进行周期性校验时，发现该目标相机的姿态发生改变时，可以对该目标相机的姿态信息进行更新，基于更新后的目标相机的姿态信息确定在从世界坐标系到目标相机拍摄的待检测图像的图像坐标系的转换矩阵，基于该转换矩阵将该辅助线圈的位置转换到图像坐标系中得到更新后的虚拟线圈的位置。
步骤S230、对背景图像进行目标检测和目标跟踪，得到至少两辆静止车辆的相应所处位置和在所处位置的停止时长。
本申请实施例中，若背景图像包括一辆静止车辆，且车辆的停止时长超过预设时长阈值，则确定车辆属于异常停车。
若背景图像包括至少两辆静止车辆，则可先使用yolov5目标检测算法，如yolov5，对背景图像中的至少两辆静止车辆进行目标检测，得到背景图像中至少两辆目标车辆的所处位置；再使用多目标追踪方法，如Sort（Simple Online And Realtime Tracking）多目标追踪方法，对至少两辆目标车辆进行实时追踪，得到至少一辆目标车辆在所处位置的停止时长。
使用yolov5，可以提高目标检测的速度和精度（即可提高目标检测的实时性和准确性），并且使用Sort目标追踪方法，对场景中检测到的物体进行在线的实时多目标追踪，将卡尔曼滤波预测的物体框和yolov5目标检测算法检测得到的框，用匈牙利算法进行匹配，得到最优的框，作为追踪的结果并对追踪到的物体分配ID。其中，Sort目标追踪方法是卡尔曼滤波（Kalman Filter）和匈牙利算法(Hungarian algorithm)的结合。
步骤S240、基于所处位置和停止时长，确定目标路段发生交通事故。
在一些实施例中，检测所处位置和停止时长是否满足预设事故条件；
若所处位置和停止时长满足预设事故条件，则确定目标路段发生交通事故。
预设事故条件可以包括至少两辆静止车辆中任意两个静止车辆的停止时长超过预设时长阈值，且相应车辆的所处位置不变的条件；为了排除交通灯使车辆停止在监测区域的合规事件，预设时长阈值需要大于红灯和黄灯的总时长。
或者，若对背景图像进行目标检测和目标跟踪，得到目标行人的所处位置，则预设事故条件可以包括至少两辆静止车辆中任意两个静止车辆的停止时长超过预设时长阈值，目标行人的所处位置与目标车辆所处位置的距离小于预设距离阈值的条件，其中，在发生交通事故时，事故车辆的驾驶员会离开车辆查看事故情况，故目标行人为离开车辆的驾驶员，预设距离阈值为驾驶员与任一事故车辆的最远距离。
为了提高交通事故确定的准确性，在满足上述条件的基础上，还可以包括至少两辆静止车辆中任意两个静止车辆的所处位置不变的条件。
或者，若交通路段上发送交通事故，事故车辆车头方向与正常行驶方向可能出现不一致的情况，针对这种情况，可以对背景图像中的至少两辆静止车辆进行车头方向识别，得到至少两辆静止车辆对应的车头方向。
此时，预设事故条件可以包括至少两辆静止车辆中任意两个静止车辆的停止时长超过预设时长阈值，相应车辆的所处位置不变，且车头方向与目标路段正常行驶方向不一致的条件；或，预设事故条件可以包括至少两辆静止车辆中任意两个静止车辆的停止时长超过预设时长阈值，目标行人的所处位置与目标车辆所处位置的距离小于预设距离阈值，且车头方向与目标路段正常行驶方向不一致的条件；或，预设事故条件可以包括至少两辆静止车辆中任意两个静止车辆的停止时长超过预设时长阈值，相应车辆的所处位置不变，且目标行人的所处位置与目标车辆所处位置的距离小于预设距离阈值，等等。
在一个例子中，如果背景图像内有一辆车停止时间超过预设时长阈值，就判断为异常停车；
如果背景图像内有至少两辆车停止时间超过预设时长阈值,则判定为交通异常，可能发生剐蹭或追尾等事故；
如果画框区域内至少有两辆车停止时间超过预设时长阈值，并且与任一车辆不超过预设距离阈值检测到有行人，则判定为交通异常，可能发生剐蹭或追尾等事故。
可以理解是，预设事故条件还可以将其他交通事故特征作为一个事故条件与上述各事故条件进行组合，本申请在此不做限定。
在另一些实施例中，为了提高检测的实时性和准确性，可以将所处位置和所述停止时长作为输入数据，输入预设的交通事故分析模型，交通事故分析模型对所处位置和停止时长进行事故特征分析，输出事故分析结果；若事故分析结果表明存在交通事故，则确定目标路段发生交通事故。其中，交通事故分析模型是基于若干被标注了不同交通事故的特征数据样本训练出的机器学习模型。
若确定目标路段发生交通事故，则向交管中心的终端发送针对目标路段的告警信息。
进一步的，为了提高交通事故检测的准确性，服务器可以采用预设的双模神经网络，即SlowFast双模神经网络，对每个待检测图像对应的背景图像进行事故检测，得到SlowFast双模神经网络输出的事故类型的检测结果，此时向交管中心的终端发送针对目标路段的告警信息中可以包括相应的事故类型；其中，SlowFast双模神经网络是基于被标注了不同交通事故类型的图像训练出的神经网络模型。
本申请提供的交通事故的确定方法在获取目标路段的视频流对应的待检测图像序列后，待检测图像序列为按照时间顺序排列的多个待检测图像；采用预设的自适应高斯混合背景建模算法，对每个待检测图像中的监测区域进行处理，得到每个待检测图像对应的背景图像；其中，监测区域为车辆正常行驶的道路行驶区域；背景图像包括至少两辆静止车辆；对背景图像进行目标检测和目标跟踪，得到至少两辆静止车辆的相应所处位置和在所处位置的停止时长；基于位置和停止时长，确定目标路段发生交通事故。该方法通过采用自适应高斯混合背景建模算法，将交通异常现场从正常的道路中剥离出来，能够解决车辆目标追踪时被其它目标追踪导致车辆目标消失的情况，提高了目标追踪的鲁棒性，并且对于交通异常行为采用无监督的分析方法，提高了交通事故确定的速度和实时性。
与上述方法对应的，本申请实施例还提供一种交通事故的确定装置，如图3所示，该交通事故的确定装置包括：获取单元310、处理单元320和确定单元330；
获取单元310，用于获取目标路段的视频流对应的待检测图像序列，所述待检测图像序列为按照时间顺序排列的多个待检测图像；
处理单元320，用于采用预设的自适应高斯混合背景建模算法，对每个待检测图像中的监测区域进行处理，得到所述每个待检测图像对应的背景图像；其中，所述监测区域为车辆正常行驶的道路行驶区域；所述背景图像包括至少两辆静止车辆；
以及，对所述背景图像进行目标检测和目标跟踪，得到所述至少两辆静止车辆的相应所处位置和在所述所处位置的停止时长；
确定单元330，用于基于所述所处位置和所述停止时长，确定所述目标路段发生交通事故。
在一个可选的实现中，所述装置还包括检测单元340；
检测单元340，用于采用预设的双模神经网络，对所述每个待检测图像对应的背景图像进行事故检测，得到所述双模神经网络输出的事故类型的检测结果；所述双模神经网络是基于被标注了不同交通事故类型的图像训练出的神经网络模型。
在一个可选的实现中，处理单元320，具体用于：
使用目标检测算法，对所述背景图像中的所述至少两辆静止车辆进行目标检测，得到所述背景图像中至少两辆目标车辆的所处位置；
使用多目标追踪方法，对所述至少两辆目标车辆进行实时追踪，得到所述至少一辆目标车辆在所述所处位置的停止时长。
在一个可选的实现中，确定单元330，还用于若所述背景图像包括一辆静止车辆，且所述车辆的停止时长超过预设时长阈值，则确定所述车辆属于异常停车。
在一个可选的实现中，确定单元330，具体用于若所述所处位置和所述停止时长满足预设事故条件，则确定所述目标路段发生交通事故。
在一个可选的实现中，所述预设事故条件包括所述至少两辆静止车辆中任意两个静止车辆的停止时长超过预设时长阈值，且相应车辆的所处位置不变的条件；或者，
若对所述背景图像进行目标检测和目标跟踪，得到目标行人的所处位置，则所述预设事故条件包括所述至少两辆静止车辆的停止时长超过预设时长阈值，且所述目标行人的所处位置距离目标车辆存在预设距离阈值。
在一个可选的实现中，确定单元330，还具体用于：
将所述所处位置和所述停止时长作为输入数据，输入预设的交通事故分析模型，所述交通事故分析模型对所述所处位置和所述停止时长进行事故特征分析，输出事故分析结果；所述交通事故分析模型是基于若干被标注了不同交通事故的特征数据样本训练出的机器学习模型；
若所述事故分析结果表明存在交通事故，则确定所述目标路段发生交通事故。
本申请上述实施例提供的交通事故的确定装置的各功能单元的功能，可以通过上述各方法步骤来实现，因此，本申请实施例提供的交通事故的确定装置中的各个单元的具体工作过程和有益效果，在此不复赘述。
本申请实施例还提供了一种电子设备，如图4所示，包括处理器410、通信接口420、存储器430和通信总线440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。
存储器430，用于存放计算机程序；
处理器410，用于执行存储器430上所存放的程序时，实现如下步骤：
获取目标路段的视频流对应的待检测图像序列，所述待检测图像序列为按照时间顺序排列的多个待检测图像；
采用预设的自适应高斯混合背景建模算法，对每个待检测图像中的监测区域进行处理，得到所述每个待检测图像对应的背景图像；其中，所述监测区域为车辆正常行驶的道路行驶区域；所述背景图像包括至少两辆静止车辆；
对所述背景图像进行目标检测和目标跟踪，得到所述至少两辆静止车辆的相应所处位置和在所述所处位置的停止时长；
基于所述所处位置和所述停止时长，确定所述目标路段发生交通事故。
在一个可选的实现中，确定所述目标路段发生交通事故之后，所述方法还包括：
采用预设的双模神经网络，对所述每个待检测图像对应的背景图像进行事故检测，得到所述双模神经网络输出的事故类型的检测结果；所述双模神经网络是基于被标注了不同交通事故类型的图像训练出的神经网络模型。
在一个可选的实现中，对所述背景图像中的所述至少两辆静止车辆进行目标检测和目标跟踪，得到获取相应车辆的所处位置，以及在所述所处位置的停止时长，包括：
使用目标检测算法，对所述背景图像中的所述至少两辆静止车辆进行目标检测，得到所述背景图像中至少两辆目标车辆的所处位置；
使用多目标追踪方法，对所述至少两辆目标车辆进行实时追踪，得到所述至少一辆目标车辆在所述所处位置的停止时长。
在一个可选的实现中，所述方法还包括：
若所述背景图像包括一辆静止车辆，且所述车辆的停止时长超过预设时长阈值，则确定所述车辆属于异常停车。
在一个可选的实现中，基于所述所处位置和所述停止时长，确定所述目标路段发生交通事故，包括：
若所述所处位置和所述停止时长满足预设事故条件，则确定所述目标路段发生交通事故。
在一个可选的实现中，所述预设事故条件包括所述至少两辆静止车辆中任意两个静止车辆的停止时长超过预设时长阈值，且相应车辆的所处位置不变的条件；或者，
若对所述背景图像进行目标检测和目标跟踪，得到目标行人的所处位置，则所述预设事故条件包括所述至少两辆静止车辆的停止时长超过预设时长阈值，且所述目标行人的所处位置距离目标车辆存在预设距离阈值。
在一个可选的实现中，基于所述所处位置和所述停止时长，确定所述目标路段发生交通事故，包括：
将所述所处位置和所述停止时长作为输入数据，输入预设的交通事故分析模型，所述交通事故分析模型对所述所处位置和所述停止时长进行事故特征分析，输出事故分析结果；所述交通事故分析模型是基于若干被标注了不同交通事故的特征数据样本训练出的机器学习模型；
若所述事故分析结果表明存在交通事故，则确定所述目标路段发生交通事故。
上述提到的通信总线可以是外设部件互连标准（Peripheral ComponentInterconnect，PCI）总线或扩展工业标准结构（Extended Industry StandardArchitecture，EISA）总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器（Random Access Memory，RAM），也可以包括非易失性存储器（Non-Volatile Memory，NVM），例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器（Central Processing Unit，CPU）、网络处理器（Network Processor，NP）等；还可以是数字信号处理器（Digital SignalProcessing，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现场可编程门阵列（Field-Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
由于上述实施例中电子设备的各器件解决问题的实施方式以及有益效果可以参见图2所示的实施例中的各步骤来实现，因此，本申请实施例提供的电子设备的具体工作过程和有益效果，在此不复赘述。
在本申请提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的交通事故的确定方法。
在本申请提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的交通事故的确定方法。
本领域内的技术人员应明白，本申请实施例中的实施例可提供为方法、系统、或计算机程序产品。因此，本申请实施例中可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请实施例中可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本申请实施例中是参照根据本申请实施例中实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请实施例中的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请实施例中范围的所有变更和修改。
显然，本领域的技术人员可以对本申请实施例中实施例进行各种改动和变型而不脱离本申请实施例中实施例的精神和范围。这样，倘若本申请实施例中实施例的这些修改和变型属于本申请实施例中权利要求及其等同技术的范围之内，则本申请实施例中也意图包含这些改动和变型在内。
Claims (9)
1.一种交通事故的确定方法，其特征在于，所述方法包括：
获取目标路段的视频流对应的待检测图像序列，所述待检测图像序列为按照时间顺序排列的多个待检测图像；
采用预设的自适应高斯混合背景建模算法，对每个待检测图像中的监测区域进行处理，得到所述每个待检测图像对应的背景图像；其中，所述监测区域为车辆正常行驶的道路行驶区域；所述背景图像包括至少两辆静止车辆；
对所述背景图像进行目标检测和目标跟踪，得到所述至少两辆静止车辆的相应所处位置和在所述所处位置的停止时长；
基于所述所处位置和所述停止时长，确定所述目标路段发生交通事故。
2.如权利要求1所述的交通事故的确定方法，其特征在于，确定所述目标路段发生交通事故之后，所述方法还包括：
采用预设的双模神经网络，对所述每个待检测图像对应的背景图像进行事故检测，得到所述双模神经网络输出的事故类型的检测结果；所述双模神经网络是基于被标注了不同交通事故类型的图像训练出的神经网络模型。
3.如权利要求1所述的交通事故的确定方法，其特征在于，对所述背景图像中的所述至少两辆静止车辆进行目标检测和目标跟踪，得到获取相应车辆的所处位置，以及在所述所处位置的停止时长，包括：
使用目标检测算法，对所述背景图像中的所述至少两辆静止车辆进行目标检测，得到所述背景图像中至少两辆目标车辆的所处位置；
使用多目标追踪方法，对所述至少两辆目标车辆进行实时追踪，得到所述至少一辆目标车辆在所述所处位置的停止时长。
4.如权利要求1所述的交通事故的确定方法，其特征在于，所述方法还包括：
若所述背景图像包括一辆静止车辆，且所述车辆的停止时长超过预设时长阈值，则确定所述车辆属于异常停车。
5.如权利要求1所述的交通事故的确定方法，其特征在于，基于所述所处位置和所述停止时长，确定所述目标路段发生交通事故，包括：
若所述所处位置和所述停止时长满足预设事故条件，则确定所述目标路段发生交通事故。
6.如权利要求5所述的交通事故的确定方法，其特征在于，所述预设事故条件包括所述至少两辆静止车辆中任意两个静止车辆的停止时长超过预设时长阈值，且相应车辆的所处位置不变的条件；或者，若对所述背景图像进行目标检测和目标跟踪，得到目标行人的所处位置，则所述预设事故条件包括所述至少两辆静止车辆的停止时长超过预设时长阈值，且所述目标行人的所处位置距离目标车辆存在预设距离阈值。
7.如权利要求1所述的交通事故的确定方法，其特征在于，基于所述所处位置和所述停止时长，确定所述目标路段发生交通事故，包括：
将所述所处位置和所述停止时长作为输入数据，输入预设的交通事故分析模型，所述交通事故分析模型对所述所处位置和所述停止时长进行事故特征分析，输出事故分析结果；所述交通事故分析模型是基于若干被标注了不同交通事故的特征数据样本训练出的机器学习模型；
若所述事故分析结果表明存在交通事故，则确定所述目标路段发生交通事故。
8.一种交通事故的确定装置，其特征在于，所述装置包括：
获取单元，用于获取目标路段的视频流对应的待检测图像序列，所述待检测图像序列为按照时间顺序排列的多个待检测图像；
处理单元，用于采用预设的自适应高斯混合背景建模算法，对每个待检测图像中的监测区域进行处理，得到所述每个待检测图像对应的背景图像；其中，所述监测区域为车辆正常行驶的道路行驶区域；所述背景图像包括至少两辆静止车辆；
以及，对所述背景图像进行目标检测和目标跟踪，得到所述至少两辆静止车辆的相应所处位置和在所述所处位置的停止时长；
确定单元，用于基于所述所处位置和所述停止时长，确定所述目标路段发生交通事故。
9.一种电子设备，其特征在于，所述电子设备包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存储的程序时，实现权利要求1-7任一所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111635843.5A CN114005074B (zh) | 2021-12-30 | 2021-12-30 | 交通事故的确定方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111635843.5A CN114005074B (zh) | 2021-12-30 | 2021-12-30 | 交通事故的确定方法、装置及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114005074A true CN114005074A (zh) | 2022-02-01 |
| CN114005074B CN114005074B (zh) | 2022-04-12 |
Family
ID=79932144
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111635843.5A Active CN114005074B (zh) | 2021-12-30 | 2021-12-30 | 交通事故的确定方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114005074B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114494983A (zh) * | 2022-04-15 | 2022-05-13 | 北京大成国测科技有限公司 | 一种铁路异物入侵监测方法及系统 |
| CN115410370A (zh) * | 2022-08-31 | 2022-11-29 | 南京慧尔视智能科技有限公司 | 一种异常停车检测方法、装置、电子设备及存储介质 |
| CN117475219A (zh) * | 2023-11-03 | 2024-01-30 | 广东石油化工学院 | 一种基于轻量化网络模型的图像分类方法及搭载装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106682566A (zh) * | 2015-11-09 | 2017-05-17 | 富士通株式会社 | 交通事故检测方法、交通事故检测装置和电子设备 |
| KR102105162B1 (ko) * | 2019-10-17 | 2020-04-28 | 주식회사 유니시큐 | 전자파 센서를 이용해 차량 속도, 차량 위치 및 차량 통행량을 파악하고 규칙을 위반하는 차량을 구분하여 이에 대한 정보는 동영상 또는 사진으로 저장하는 스마트 속도위반단속 장치, 스마트 신호위반단속 장치 및 스마트시티 솔루션 장치 |
| CN113409587A (zh) * | 2021-06-16 | 2021-09-17 | 北京字跳网络技术有限公司 | 异常车辆的检测方法、装置、设备及存储介质 |
| CN113657299A (zh) * | 2021-08-20 | 2021-11-16 | 青岛海信网络科技股份有限公司 | 交通事故确定方法及电子设备 |
| CN113792586A (zh) * | 2021-08-04 | 2021-12-14 | 武汉市公安局交通管理局 | 车辆事故检测方法、装置及电子设备 |
-
2021
- 2021-12-30 CN CN202111635843.5A patent/CN114005074B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106682566A (zh) * | 2015-11-09 | 2017-05-17 | 富士通株式会社 | 交通事故检测方法、交通事故检测装置和电子设备 |
| KR102105162B1 (ko) * | 2019-10-17 | 2020-04-28 | 주식회사 유니시큐 | 전자파 센서를 이용해 차량 속도, 차량 위치 및 차량 통행량을 파악하고 규칙을 위반하는 차량을 구분하여 이에 대한 정보는 동영상 또는 사진으로 저장하는 스마트 속도위반단속 장치, 스마트 신호위반단속 장치 및 스마트시티 솔루션 장치 |
| CN113409587A (zh) * | 2021-06-16 | 2021-09-17 | 北京字跳网络技术有限公司 | 异常车辆的检测方法、装置、设备及存储介质 |
| CN113792586A (zh) * | 2021-08-04 | 2021-12-14 | 武汉市公安局交通管理局 | 车辆事故检测方法、装置及电子设备 |
| CN113657299A (zh) * | 2021-08-20 | 2021-11-16 | 青岛海信网络科技股份有限公司 | 交通事故确定方法及电子设备 |
Non-Patent Citations (3)
| Title |
|---|
| VITOR GOMES ET AL.: "Image-based approach for detecting vehicles in user-defined virtual inductive loops", 《JOURNAL OF ELECTRONIC IMAGING》 * |
| 欧冬秀 等: "《交通信息技术 第2版》", 31 March 2014, 同济大学出版社 * |
| 汤从衡: "基于路侧摄像头的车辆跟踪技术研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114494983A (zh) * | 2022-04-15 | 2022-05-13 | 北京大成国测科技有限公司 | 一种铁路异物入侵监测方法及系统 |
| CN115410370A (zh) * | 2022-08-31 | 2022-11-29 | 南京慧尔视智能科技有限公司 | 一种异常停车检测方法、装置、电子设备及存储介质 |
| CN117475219A (zh) * | 2023-11-03 | 2024-01-30 | 广东石油化工学院 | 一种基于轻量化网络模型的图像分类方法及搭载装置 |
| CN117475219B (zh) * | 2023-11-03 | 2024-05-31 | 广东石油化工学院 | 一种基于轻量化网络模型的图像分类方法及搭载装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114005074B (zh) | 2022-04-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114005074B (zh) | 交通事故的确定方法、装置及电子设备 | |
| CN109887281B (zh) | 一种监控交通事件的方法及系统 | |
| CN112016413B (zh) | 对象间异常行为的检测方法及装置 | |
| WO2020042984A1 (zh) | 一种车辆行为检测方法及装置 | |
| WO2019223655A1 (zh) | 非机动车载人的检测 | |
| CN112424793A (zh) | 一种物体识别方法、物体识别装置及电子设备 | |
| CN105493502A (zh) | 视频监控方法、视频监控系统以及计算机程序产品 | |
| CN114419552A (zh) | 基于目标检测的违章车辆追踪方法及系统 | |
| CN111967451B (zh) | 一种道路拥堵检测方法及装置 | |
| CN113033275B (zh) | 基于深度学习的车辆变道不打转向灯分析系统 | |
| CN106023594A (zh) | 一种车位遮挡的判定方法、装置及车辆管理系统 | |
| CN111341114A (zh) | 基于物联网的车载视频交通违章检测方法、装置及系统 | |
| CN111079621A (zh) | 检测对象的方法、装置、电子设备和存储介质 | |
| CN112434566A (zh) | 客流统计方法、装置、电子设备及存储介质 | |
| CN113255439A (zh) | 一种障碍物识别方法、装置、系统、终端及云端 | |
| CN111191607A (zh) | 确定车辆的转向信息的方法、设备和存储介质 | |
| CN113723273A (zh) | 一种车辆轨迹信息确定方法、装置及计算机设备 | |
| CN114119955A (zh) | 一种潜在危险目标检测方法及装置 | |
| CN112364742A (zh) | 一种车位管理方法、装置、计算机设备及存储介质 | |
| CN115019242A (zh) | 一种交通场景的异常事件检测方法、装置和处理设备 | |
| CN113112814B (zh) | 右转不停车的抓拍方法、抓拍设备及计算机存储介质 | |
| CN118247359A (zh) | 鱼眼摄像机自动标定方法、装置、计算机设备及存储介质 | |
| CN113771846B (zh) | 用于车辆的自动控制方法、装置、系统和介质 | |
| CN113869258A (zh) | 交通事件检测方法、装置、电子设备及可读存储介质 | |
| CN115953764A (zh) | 基于鸟瞰图的车辆哨兵方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |