CN108229256B - 一种道路施工检测方法及装置 - Google Patents
一种道路施工检测方法及装置 Download PDFInfo
- Publication number
- CN108229256B CN108229256B CN201611191746.0A CN201611191746A CN108229256B CN 108229256 B CN108229256 B CN 108229256B CN 201611191746 A CN201611191746 A CN 201611191746A CN 108229256 B CN108229256 B CN 108229256B
- Authority
- CN
- China
- Prior art keywords
- target
- video frame
- vehicle
- static
- foreground
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 161
- 238000010276 construction Methods 0.000 title claims abstract description 72
- 230000003068 static effect Effects 0.000 claims abstract description 266
- 238000000034 method Methods 0.000 claims abstract description 35
- 238000012544 monitoring process Methods 0.000 claims description 74
- 238000012545 processing Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000010606 normalization Methods 0.000 claims description 7
- 230000001960 triggered effect Effects 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 3
- 238000012549 training Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 206010039203 Road traffic accident Diseases 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Astronomy & Astrophysics (AREA)
- Remote Sensing (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明实施例提供了一种道路施工检测方法及装置,该方法中,获取当前视频帧对应的目标前景图,并提取所述目标前景图中的前景目标;根据第一参考视频帧,判断所述前景目标在所述当前视频帧中是否为静止目标,其中,所述第一参考视频帧为:所述当前视频帧的参考视频帧;如果是静止目标,判断所述前景目标在所述当前视频帧之前的连续第一预设帧数的视频帧中是否为静止目标;如果在连续第一预设帧数的视频帧中是静止目标,将所述前景目标的特征与路锥的特征进行匹配,根据匹配结果确定是否存在道路施工。本发明实施例中,通过将静止的前景目标与路锥进行匹配的方式确定是否存在道路施工,以实现对道路施工的检测。
Description
技术领域
本发明涉及视频监控技术领域,特别是涉及一种道路施工检测方法及装置。
背景技术
随着视频监控技术的不断发展,视频监控设备已广泛应用于道路交通。
通过分析道路视频监控设备采集的图像数据,可以对城市道路的交通状态和交通状况例如交通拥堵或交通事故进行判别,从而可以为出行者提供实时交通信息,由此,不仅可以有效提高出行效率,而且能够保证出行者的生命财产安全。
目前,由于各种原因例如路道年久或车线改道等原因,经常存在对道路进行施工的现象,而道路施工严重影响交通,有时会造成交通拥堵或交通事故,因此,如何对道路施工进行检测是亟需解决的问题。
发明内容
本发明实施例的目的在于提供一种道路施工检测方法及装置,以实现对道路施工的检测。具体技术方案如下:
一种道路施工检测方法,所述方法包括:
获取当前视频帧对应的目标前景图,并提取所述目标前景图中的前景目标;
根据第一参考视频帧,判断所述前景目标在所述当前视频帧中是否为静止目标,其中,所述第一参考视频帧为:所述当前视频帧的参考视频帧;
如果是静止目标,判断所述前景目标在所述当前视频帧之前的连续第一预设帧数的视频帧中是否为静止目标;
如果在连续第一预设帧数的视频帧中是静止目标,将所述前景目标的特征与路锥的特征进行匹配,根据匹配结果确定是否存在道路施工。
可选的,所述根据第一参考视频帧,判断所述前景目标在所述当前视频帧中是否为静止目标的步骤,包括:
获取所述当前视频帧相对于第一参考视频帧的帧差图;
根据所述帧差图,获得所述目标前景图相对于所述第一参考视频帧的第一静态图;
根据所述第一静态图更新监控场景静态图,其中,所述监控场景静态图是由已完成道路检测视频帧的前景图相对于第二参考视频帧的静态图确定的,所述第二参考视频帧为已完成道路检测视频帧的参考视频帧;
获得所述第一静态图相对于更新后的所述监控场景静态图的第二静态图;
统计所述前景目标所包含前景像素点的第一数量,并基于所述第二静态图,统计所述前景像素点中静态像素点的第二数量;
根据所述第一数量与所述第二数量之间的数值关系,判断所述前景目标在所述当前视频帧中是否为静止目标。
可选的,所述前景图为二值图像,所述帧差图为差分二值图像;
所述根据所述第一静态图更新监控场景静态图的步骤,包括:
将第一参考像素点的取值增加第一预设值,其中,所述第一参考像素点为:监控场景静态图中与所述第一静态图中前景像素点位置相同的像素点;
将第二参考像素点的取值减少第二预设值,其中,所述第二参考像素点为:监控场景静态图中与所述第一静态图中背景像素点位置相同的像素点,所述第二预设值大于所述第一预设值。
可选的,所述获得所述第一静态图相对于更新后的所述监控场景静态图的第二静态图的步骤,包括:
通过以下方式计算第二静态图中的每个像素点的取值,其中,所述第二静态图为所述第一静态图相对于更新后的所述监控场景静态图的静态图:
判断所述监控场景静态图中与第二像素点位置相同的像素点的取值是否小于第一预设阈值,其中,所述第二像素点为所述第二静态图中的一个像素点;
如果是,将所述第二像素点的取值确定为背景像素值;
如果否,将所述第二像素点的取值确定为前景像素值。
可选的,所述将所述前景目标的特征与路锥的特征进行匹配,根据匹配结果确定是否存在道路施工的步骤,包括:
判断所述前景目标的特征是否与路锥的特征匹配;
如果匹配,对所述当前视频帧进行目标检测,根据检测结果确定是否存在道路施工,其中,所述目标检测包括:行人检测和/或车辆检测。
可选的,在所述目标检测包括行人检测时,所述对所述当前视频帧进行目标检测,根据检测结果确定是否存在道路施工,包括:
对所述当前视频帧进行行人检测,获取行人目标;
判断所获取的行人目标是否在所述前景目标所在的预设范围内;
如果在所述预设范围内,确定存在道路施工。
可选的,所述对所述当前视频帧进行行人检测,获取行人目标的步骤,包括:
提取所述当前视频帧中的参考行人对象;
计算所提取的参考行人对象对应的方向梯度特征值;
判断所述方向梯度特征值是否在预设方向梯度阈值范围内;
如果是,确定所述参考行人对象为行人目标。
可选的,在所述目标检测包括车辆检测时,所述对所述当前视频帧进行目标检测,根据检测结果确定是否存在道路施工,包括:
对所述当前视频帧进行车辆检测,获取车辆目标;
从所获取的车辆目标中,提取预设数量个第一车辆目标,分别获取各个第一车辆目标的第一历史运动轨迹,其中,一条第一历史运动轨迹为:根据一个第一车辆目标在所述当前视频帧之前的视频帧中的位置确定的;
获取在当前视频帧之后的视频帧中出现的所述预设数量个第二车辆目标的第二历史运动轨迹,其中,一条第二历史运动轨迹为:根据一个第二车辆目标在当前视频帧之后的视频帧中的位置确定;
将所述第一历史运动轨迹和所述第二历史运动轨迹进行相似度对比;
如果相似度值小于预设相似度阈值,则确定存在道路施工。
可选的,所述对所述当前视频帧进行车辆检测,获取车辆目标的步骤,包括:
提取所述当前视频帧中的参考车辆对象;
计算所获取的参考车辆对象对应的局部二值模式特征值;
判断所述局部二值模式特征值是否在预设局部二值模式阈值范围内;
如果是,确定所述参考车辆对象为车辆目标。
可选的,所述分别获取各个第一车辆目标的第一历史运动轨迹的步骤,包括:
获取所述当前视频帧之前第二预设帧数的视频帧中的第一参考车辆目标;
分别计算各个第一车辆目标与各个第一参考车辆目标之间的重合度;
根据计算得到的重合度,从各个第一参考车辆目标中查找与各个第一车辆相同的参考车辆目标;
根据查找到的各个第一车辆目标的参考车辆目标,获取各个第一车辆目标的第一历史运动轨迹。
可选的,所述分别获取各个第一车辆目标的第一历史运动轨迹的步骤,包括:
通过以下方式获得各个第一车辆目标的第一历史运动轨迹:
提取第一车辆目标的目标特征点;
在所述当前视频帧之前第三预设帧数的视频帧中,确定距离所述目标特征点最近的第二参考车辆目标;
提取所述第二参考车辆目标的参考特征点;
计算所述参考特征点与所述目标特征点的匹配度;
根据计算得到的匹配度,从所述第二参考车辆目标中查找与所述第一车辆相同的参考车辆目标;
根据查找到的所述第一车辆目标的参考车辆目标,获取所述第一车辆目标的第一历史运动轨迹。
可选的,所述将所述第一历史运动轨迹和所述第二历史运动轨迹进行相似度对比的步骤,包括:
统计所有第一历史运动轨迹包含的所有轨迹点中横坐标相同的轨迹点数量得到第一历史运动轨迹数组,统计所有第二历史运动轨迹包含的所有轨迹点中横坐标相同的轨迹点数量得到第二历史运动轨迹数组,其中,轨迹点是车辆目标在视频帧中的位置;
分别对所述第一历史运动轨迹数组和所述第二历史运动轨迹数据进行归一化处理,得到第一目标历史运动轨迹数组和第二目标历史运动轨迹数组;
计算所述第一目标历史运动轨迹数组与所述第二目标历史运动轨迹数组的相似度值。
一种道路施工检测装置,所述装置包括:
提取模块,用于获取当前视频帧对应的目标前景图,并提取所述目标前景图中的前景目标;
第一判断模块,用于根据第一参考视频帧,判断所述前景目标在所述当前视频帧中是否为静止目标,其中,所述第一参考视频帧为:所述当前视频帧的参考视频帧,如果是,触发第二判断模块;
所述第二判断模块,用于判断所述前景目标在所述当前视频帧之前的连续第一预设帧数的视频帧中是否为静止目标,如果是,触发匹配模块;
所述匹配模块,用于将所述前景目标的特征与路锥的特征进行匹配,根据匹配结果确定是否存在道路施工。
可选的,所述第一判断模块,包括:
帧差图获取单元,用于获取所述当前视频帧相对于第一参考视频帧的帧差图;
第一静态图获得单元,用于根据所述帧差图,获得所述目标前景图相对于所述第一参考视频帧的第一静态图;
更新单元,用于根据所述第一静态图更新监控场景静态图,其中,所述监控场景静态图是由已完成道路检测视频帧的前景图相对于第二参考视频帧的静态图确定的,所述第二参考视频帧为已完成道路检测视频帧的参考视频帧;
第二静态图获得单元,用于获得所述第一静态图相对于更新后的所述监控场景静态图的第二静态图;
统计单元,用于统计所述前景目标所包含前景像素点的第一数量,并基于所述第二静态图,统计所述前景像素点中静态像素点的第二数量;
第一判断单元,用于根据所述第一数量与所述第二数量之间的数值关系,判断所述前景目标在所述当前视频帧中是否为静止目标。
可选的,所述前景图为二值图像,所述帧差图为差分二值图像;
所述更新单元,具体用于:
将第一参考像素点的取值增加第一预设值,其中,所述第一参考像素点为:监控场景静态图中与所述第一静态图中前景像素点位置相同的像素点;
将第二参考像素点的取值减少第二预设值,其中,所述第二参考像素点为:监控场景静态图中与所述第一静态图中背景像素点位置相同的像素点,所述第二预设值大于所述第一预设值;
其中,所述监控场景静态图是由已完成道路检测视频帧的前景图相对于第二参考视频帧的静态图确定的,所述第二参考视频帧为已完成道路检测视频帧的参考视频帧。
可选的,所述第二静态图获得单元,具体用于计算第二静态图中的每个像素点的取值,其中,所述第二静态图为所述第一静态图相对于更新后的所述监控场景静态图的静态图;
所述第二静态图获得单元,包括:
像素点取值判断子模块,用于判断所述监控场景静态图中与第二像素点位置相同的像素点的取值是否小于第一预设阈值,如果是,触发背景像素值确定子模块,如果否,触发前景像素值确定子模块,其中,所述第二像素点为所述第二静态图中的一个像素点;
所述背景像素值确定子模块,用于将所述第二像素点的取值确定为背景像素值;
所述前景像素值确定子模块,用于将所述第二像素点的取值确定为前景像素值。
可选的,所述匹配模块,包括:
第二判断单元,用于判断所述前景目标的特征是否与路锥的特征匹配,如果是,触发目标检测单元;
所述目标检测单元,用于对所述当前视频帧进行目标检测,根据检测结果确定是否存在道路施工,其中,所述目标检测包括:行人检测和/或车辆检测。
可选的,在所述目标检测包括行人检测时,所述目标检测单元,包括:
行人检测子模块,用于对所述当前视频帧进行行人检测,获取行人目标;
行人目标判断子模块,用于判断所获取的行人目标是否在所述前景目标所在的预设范围内,如果是,触发第一确定子模块;
所述第一确定子模块,用于确定存在道路施工。
可选的,所述行人检测子模块,具体用于:
提取所述当前视频帧中的参考行人对象;
计算所提取的参考行人对象对应的方向梯度特征值;
判断所述方向梯度特征值是否在预设方向梯度阈值范围内;
如果是,确定所述参考行人对象为行人目标。
可选的,在所述目标检测包括车辆检测时,所述目标检测单元,包括:
车辆检测子模块,用于对所述当前视频帧进行车辆检测,获取车辆目标;
第一历史运动轨迹获取子模块,用于从所获取的车辆目标中,提取预设数量个第一车辆目标,分别获取各个第一车辆目标的第一历史运动轨迹,其中,一条第一历史运动轨迹为:根据一个第一车辆目标在所述当前视频帧之前的视频帧中的位置确定的;
第二历史运动轨迹获取子模块,用于获取在当前视频帧之后的视频帧中出现的所述预设数量个第二车辆目标的第二历史运动轨迹,其中,一条第二历史运动轨迹为:根据一个第二车辆目标在当前视频帧之后的视频帧中的位置确定;
相似度对比子模块,用于将所述第一历史运动轨迹和所述第二历史运动轨迹进行相似度对比;
第二确定子模块,用于如果相似度值小于预设相似度阈值,则确定存在道路施工。
可选的,所述车辆检测子模块,具体用于:
提取所述当前视频帧中的参考车辆对象;
计算所获取的参考车辆对象对应的局部二值模式特征值;
判断所述局部二值模式特征值是否在预设局部二值模式阈值范围内;
如果是,确定所述参考车辆对象为车辆目标。
可选的,所述第一历史运动轨迹获取子模块,具体用于:
获取所述当前视频帧之前第二预设帧数的视频帧中的第一参考车辆目标;
分别计算各个第一车辆目标与各个第一参考车辆目标之间的重合度;
根据计算得到的重合度,从各个第一参考车辆目标中查找与各个第一车辆相同的参考车辆目标;
根据查找到的各个第一车辆目标的参考车辆目标,获取各个第一车辆目标的第一历史运动轨迹。
可选的,所述第一历史运动轨迹获取子模块,具体用于获得各个第一车辆目标的第一历史运动轨迹;
所述第一历史运动轨迹获取子模块,包括:
目标特征点提取子单元,用于提取第一车辆目标的目标特征点;
第二参考车辆目标确定子单元,用于在所述当前视频帧之前第三预设帧数的视频帧中,确定距离所述目标特征点最近的第二参考车辆目标;
参考特征点提取子单元,用于提取所述第二参考车辆目标的参考特征点;
匹配度计算子单元,用于计算所述参考特征点与所述目标特征点的匹配度;
查找子单元,用于根据计算得到的匹配度,从所述第二参考车辆目标中查找与所述第一车辆相同的参考车辆目标;
获取子单元,用于根据查找到的所述第一车辆目标的参考车辆目标,获取所述第一车辆目标的第一历史运动轨迹。
可选的,所述相似度对比子模块,具体用于:
统计所有第一历史运动轨迹包含的所有轨迹点中横坐标相同的轨迹点数量得到第一历史运动轨迹数组,统计所有第二历史运动轨迹包含的所有轨迹点中横坐标相同的轨迹点数量得到第二历史运动轨迹数组,其中,轨迹点是车辆目标在视频帧中的位置;
分别对所述第一历史运动轨迹数组和所述第二历史运动轨迹数据进行归一化处理,得到第一目标历史运动轨迹数组和第二目标历史运动轨迹数组;
计算所述第一目标历史运动轨迹数组与所述第二目标历史运动轨迹数组的相似度值。
本发明实施例提供的方案中,首先获取前景目标,其次判断该前景目标是否为静止目标,如果是静止目标,判断前景目标在当前视频帧之前的连续第一预设帧数的视频帧中是否为静止目标,最后如果在连续第一预设帧数的视频帧中是静止目标,将前景目标的特征与路锥的特征进行匹配,由此,通过将静止的前景目标与路锥进行匹配的方式确定是否存在道路施工,实现了对道路施工的检测。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施提供的道路施工检测方法的流程示意图;
图2为本发明实施提供的目标前景图的示意图;
图3为本发明实施提供的判断前景目标在当前视频帧中是否为静止目标的流程示意图;
图4为本发明实施提供的帧差图的示意图;
图5为本发明实施提供的第二静态图的示意图;
图6为本发明实施提供的确定是否存在道路施工的流程示意图;
图7为本发明实施提供的路锥检测的流程示意图;
图8为本发明实施提供的行人检测的流程示意图;
图9为本发明实施提供的车辆检测的流程示意图;
图10为本发明实施提供的道路施工检测装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为了解决现有技术问题,本发明实施例提供了一种道路施工检测方法及装置。
下面首先对本发明实施例所提供的一种道路施工检测方法进行介绍。
如图1所示,本发明实施例提供的一种道路施工检测方法,可以包括:
S101:获取当前视频帧对应的目标前景图,并提取目标前景图中的前景目标。
通过道路视频监控设备持续采集道路实时场景图像,并获取所采集的当前视频帧对应的目标前景图,为了判断是否存在道路施工现象,在获取目标前景图后,提取目标前景图中的前景目标,其中,提取目标前景图中的前景目标的方式可以为通过建立混合高斯模型的方式来提取前景目标,且通过建立混合高斯模型提取前景目标为现有技术,在此不再赘述,另外,如图2所示,目标前景图可以为二值图像,当然,目标前景图也可以为灰度图像。
S102:根据第一参考视频帧,判断前景目标在当前视频帧中是否为静止目标,如果是,执行步骤S103,如果否,不做任何处理。
由于前景目标可以为运动目标,也可以为静止目标,而相对于监控场景而言,路锥属于静止目标,因此,在提取前景目标后,需要确定该前景目标在当前视频帧中是否为静止目标。
上述根据第一参考视频帧,判断前景目标在当前视频帧中是否为静止目标可以为:根据当前视频帧的目标前景图和帧差图确定静态图,再根据静态确定前景目标是否为静止目标。参考图3,S102可以包括:
S1021:获取当前视频帧相对于第一参考视频帧的帧差图;
当监控场景中出现物体运动时,帧与帧之间会出现较为明显的差别,将两帧相同位置的像素点的取值相减,即可获得帧差图,相同位置的像素点的取值相同时,相减后的获得的帧差图的像素点的取值为0,相同位置的像素点的取值不相同时,相减后获得的帧差图的像素点的取值不为0,所以,帧差图在一定程度上可以反映两帧之间是否存在相对运动。
其中,帧差图可以为差分二值图像,也可以为灰度图像,如图4所示,以相减的两帧为二值图像为例,获取当前视频帧相对于第一参考视频帧的帧差图中的每个像素点的取值,其中,第一参考视频帧为:当前视频帧的参考视频帧,且该第一参考视频帧可以为当前视频帧的前一视频帧,也可以为当前视频帧之前预设帧数的视频帧:
其中,Di为当前视频帧相对于第一参考视频帧的帧差图的像素点的取值,Ii为当前视频帧的像素点的取值,Ii-m为第一参考视频帧的像素点的取值,abs(Ii-Ii-m)为当前视频帧与第一参考视频帧差分的模值图像,T为灰度级,i为当前视频帧,i-m为第一参考视频帧。
S1022:根据帧差图,获得目标前景图相对于第一参考视频帧的第一静态图;
以目标前景图为二值图像为例,遍历目标前景图与帧差图,并逐像素点做“与操作”,得到目标前景图相对于第一参考视频帧的第一静态图中的每个像素点的取值:
still_maskj=Dj∩FGj
其中,still_maskj为第一静态图的像素点的取值,Di为当前视频帧相对于第一参考视频帧的帧差图的像素点的取值,FGj为目标前景图的像素点的取值,j为第j个视频帧。
其中,“与操作”即为求交,例如:帧差图的第m个像素点的取值为0,目标前景图中与第m个像素点位置相同的第n个像素点的取值为0,则第一静态图中与第m个像素点位置相同的第q个像素点的取值为:
由此,获得第一静态图,即获得当前视频帧的前景目标中的静止部分。
S1023:根据第一静态图更新监控场景静态图。
在获得第一静态图后,根据第一静态图更新监控场景静态图,其中,监控场景静态图是由已完成道路检测视频帧的前景图相对于第二参考视频帧的静态图确定的,即监控场景静态图为已完成道路检测视频帧的前景目标中的静止部分,第二参考视频帧为已完成道路检测视频帧的参考视频帧。
详细的,针对第1帧而言,预先设置有监控场景静态图;
针对第2帧,获得第2帧的前景图以及第2帧相对于第二参考视频帧(可以为第1帧)的帧差图,根据第2帧的前景图和第2帧相对于第二参考视频的帧差图获得第2帧相对于第二参考视频帧的静态图,根据第2帧相对于第二参考视频帧的静态图更新预先设置的监控场景静态图,获得第一监控场景静态图;
针对第3帧,获得第3帧的前景图以及第3帧相对于第二参考视频帧(可以为第2帧)的帧差图,根据第3帧的前景图和第3帧相对于第二参考视频帧的帧差图获得第3帧相对于第二参考视频帧的静态图,根据第3帧相对于第二参考视频帧的静态图更新第一监控场景静态图,获得第二监控场景静态图,如此迭代计算每一帧的监控场景静态图。
由于第一静态图为当前视频帧的前景目标中的静止部分,通过第一静态图更新监控场景静态图,即可获得当前视频帧的前景目标相对于监控场景静态图中的前景目标的连续静止的部分。
例如:假设当前视频帧为第3帧,第一参考视频帧为第2帧,则第一静态图为第3帧的前景图相对于第2帧的静态图,即第3帧的前景目标中的静止部分;
由于当前视频帧为第3帧,则已完成道路检测视频帧为第1帧和第2帧,以已完成道路检测视频帧为第2帧为例,第二参考视频帧为第1帧,则监控场景静态图为第2帧的前景图相对于第1帧的静态图,即为第2帧的前景目标中的静止部分;
根据第一静态图更新监控场景静态图即获得第3帧中前景目标相对于第2帧的前景目标中的连续静止的部分。
以前景图为二值图像,帧差图为差分二值图像为例,上述根据第一静态图更新监控场景静态图可以包括:
将第一参考像素点的取值增加第一预设值,其中,第一参考像素点为:监控场景静态图中与第一静态图中前景像素点位置相同的像素点;
将第二参考像素点的取值减少第二预设值,其中,第二参考像素点为:监控场景静态图中与第一静态图中背景像素点位置相同的像素点,第二预设值大于第一预设值。
通过根据第一静态图,对监控场景静态图逐像素点进行“加减分”的方式更新监控场景静态图,其中,“加减分”为:
如果第一静态图中某一像素点为前景像素点,则将第一参考像素点的取值增加第一预设值,第一参考像素点为:监控场景静态图中与第一静态图中前景像素点位置相同的像素点;
如果第一静态图中某一像素点为背景像素点,则将第二参考像素点的取值减少第二预设值,第二参考像素点为:监控场景静态图中与第一静态图中背景像素点位置相同的像素点,第二预设值大于第一预设值。
例如:假设第一预设值为1,第二预设值为20;
S1024:获得第一静态图相对于更新后的监控场景静态图的第二静态图;
为了确定当前视频帧的前景目标中的静止部分中的绝对静止部分,在获得更新后的监控场景静态图后,获得第一静态图相对于更新后的监控场景静态图的第二静态图如图5所示。
上述获得第一静态图相对于更新后的监控场景静态图的第二静态图可以包括:
通过以下公式计算第二静态图中的每个像素点的取值,其中,第二静态图为第一静态图相对于更新后的监控场景静态图的静态图:
上述公式即为判断监控场景静态图中与第二像素点位置相同的像素点的取值是否小于第一预设阈值,其中,第二像素点为所述第二静态图中的一个像素点;
如果是,将第二像素点的取值确定为背景像素值;
如果否,将第二像素点的取值确定为前景像素值。
其中,背景像素值可以为0/1,相应的前景像素值可以为1/0,由此,确定了当前视频帧的前景目标中的静止部分中的绝对静止部分。
S1025:统计前景目标所包含前景像素点的第一数量,并基于第二静态图,统计前景像素点中静态像素点的第二数量;
统计当前视频帧中前景目标所包含前景像素点的第一数量,并在所获得的第二静态图中,统计前景像素点中静态像素点的第二数量,由于第二静态图为当前视频帧的前景目标中的静止部分中的绝对静止部分,因此,该静态像素点为绝对静止的部分。
S1026:根据第一数量与第二数量之间的数值关系,判断前景目标在当前视频帧中是否为静止目标。
在本申请的一种实现方式中,可以通过以下公式确定第一数量与第二数量之间的数值关系:
still_frmj/fg_frmj>still_ratio
其中,still_frmj为第二数量,fg_frmj为第一数量,still_ratio为第二预设阈值。
其中,第二预设阈值可以由用户配置的事件灵敏度转换得到,将当前视频帧的前景目标所包含的像素点的第一数量与绝对静止的部分的像素点的第二数量进行对比,如果第二数量与第一数量的比值大于第二预设阈值,说明前景目标中的绝对静止的部分所占比例较大,由此,可以确定前景目标为静止目标,如果第二数量与第一数量的比值未大于第二预设阈值,说明前景目标中的绝对静止的部分所占比例较小,由此,可以确定前景目标不为静止目标。
另外,本申请仅仅以上述为例进行说明,实际应用中还可以根据第一数量与第二数量的差值等信息,判断前景目标在当前视频帧中是否静止目标,本申请并不对此进行限定。
S103:判断前景目标在当前视频帧之前的连续第一预设帧数的视频帧中是否为静止目标,如果是,执行步骤S104,如果否,不做任何处理。
由于有些前景目标在当前视频帧中存在,未必在当前视频帧之前的视频帧中存在,因此,为了防止短时间停留的前景目标所产生的误判,在确定前景目标为静止目标后,判断前景目标在当前视频帧之前的连续第一预设帧数的视频帧中是否为静止目标,并根据判断结果,执行后续步骤。
S104:将前景目标的特征与路锥的特征进行匹配,根据匹配结果确定是否存在道路施工。
在确定前景目标在当前视频帧之前的连续第一预设帧数的视频帧中为静止目标后,说明该前景目标已停留超过一定时间,则将前景目标的特征与路锥的特征进行匹配,根据匹配结果确定是否存在道路施工。
参考图6,S104可以包括:
S1041:判断前景目标的特征是否与路锥的特征匹配,如果是,执行步骤S1042,如果否,不做任何处理。
在本申请的一种实现方式中,为了确定前景目标的特征与路锥的特征是否匹配,首先利用Deep Learning(深度学习)的方法,构建一个浅层的CNN(Convolutional neuralnetworks,卷积神经网络)网络结构,然后实现路锥检测的分类校验,如图7所示,其过程为:
1)路锥样本收集:可以收集大量的路锥正负样本,如各5000,其中,正样本可以为不同天气、不同时间段内的路锥样本;负样本可以为车道线、路面或树荫等;
2)模型训练:调整CNN模型训练路锥相关参数,设置预设层数的训练层,如可以为6层,设置预设类别的目标类别,如可以为类别2;
3)完成训练,将训练生成的相关数据模型如lenet_model_dat.h模型、lenet_model_def.h模型等添加到路锥校验模块中;
4)对前景目标进行校验,将前景目标的特征输入到路锥校验模块中,即判断前景目标的特征是否与路锥的特征匹配,若输出预设标签及预设置信度,如标签label=0,且置信度大于0.2(经验阈值),说明前景目标的特征与路锥的特征匹配,则确定前景目标为路锥。
S1042:对当前视频帧进行目标检测,根据检测结果确定是否存在道路施工。
由于路锥为城市路口车道、行人道、建筑物之间的隔离警示,主要放置于道路中间和危险地区,以起到警示人们存在道路施工的作用,因此,在确定前景目标为路锥后,即可确定存在道路施工,但是,为了更准确的确定道路上是否存在道路施工,还可以对当前视频帧进行目标检测,根据检测结果确定是否存在道路施工。
其中,目标检测可以包括:行人检测和/或车辆检测,下面对目标检测所包括的多种情况进行详细介绍:
(1)在目标检测包括行人检测时,参考图8,S1042可以包括:
S201:对当前视频帧进行行人检测,获取行人目标;
在确定道路上存在路锥的情况下,如果可以确定在路锥的附近存在施工人员,则可以更准确的确定道路上存在道路施工,因此,上述对当前视频帧进行行人检测,获取行人目标可以包括:
提取当前视频帧中的参考行人对象;
计算所提取的参考行人对象对应的方向梯度特征值;
判断方向梯度特征值是否在预设方向梯度阈值范围内;
如果是,确定参考行人对象为行人目标。
为了获取行人目标,可以首先利用adaboost训练方法训练得到行人分类器,然后提取当前视频帧中的参考对象,对参考对象进行过滤和分类,确定参考对象中的参考行人对象,最后将参考行人对象输入到行人分类器中实现行人目标的获取,该过程可以包括:
1)提取行人相对应的特征描述子,即提取FASTHOG方向梯度特征值,如,收集正负样本各50000个,正样本可以包括行人的各个角度如正面、侧面和背面,负样本可以包括树荫、车辆、车道线等;
2)利用adaboost训练方法训练正负样本,得到cascade级联行人分类器,该分类器可以是16级的cascade级联分类器;
3)提取当前视频帧中的参考对象,利用参考对象外接矩信息对参考对象进行分类,若参考对象的宽高比大于行人阈值,即该参考对象的尺度满足行人尺度范围,则将该参考对象确定为参考行人对象;
4)将确定的参考行人对象输入到行人分类器中,即计算该参考行人对象对应的方向梯度特征值,判断该方向梯度特征值是否在预设方向梯度阈值范围内,如果输出预设标签,如标签label=0,则说明该方向梯度特征值在预设方向梯度阈值范围内,确定该参考行人对象为行人目标。
其中,adaboost训练方法是一种迭代算法,其核心思想是针对同一个训练集训练不同的弱分类器,然后将这些弱分类器集合起来,构成一个更强的最终分类器。
FASTHOG特征描述子由HOG(Histogram of Oriented Gradient,方向梯度直方图)特征演变而来,HOG特征的分类器在筛选候选目标时,需通过9个方向的梯度直方图,这样使得耗时过大,因此本发明实施例中采用6个方向的梯度直方图,极大地提高了处理速度,具体的FASTHOG特征与HOG特征原理一样,且HOG特征计算过程为现有技术,在此不再赘述。
S202:判断所获取的行人目标是否在前景目标所在的预设范围内,如果是,执行步骤S203,如果否,不做任何处理。
在获取行人目标后,判断所获取的行人目标是否在前景目标所在的预设范围内,即确定在路锥的附近是否存在施工人员,如果是,执行步骤S203。
S203:确定存在道路施工。
(2)在目标检测包括车辆检测时,参考图9,S1042可以包括:
S301:对当前视频帧进行车辆检测,获取车辆目标;
在确定道路上存在路锥的情况下,如果可以确定道路上的车辆的运动轨迹发生了改变,即车辆绕开路锥行驶,则可以更准确的确定道路上存在道路施工,因此,上述对当前视频帧进行车辆检测,获取车辆目标可以包括:
提取当前视频帧中的参考车辆对象;
计算所获取的参考车辆对象对应的局部二值模式特征值;
判断局部二值模式特征值是否在预设局部二值模式阈值范围内;
如果是,确定参考车辆对象为车辆目标。
为了获取车辆目标,首先利用adaboost训练方法训练得到车辆分类器,然后提取当前视频帧中的参考对象,对参考对象进行过滤和分类,确定参考对象中的参考车辆对象,最后将参考车辆对象输入到车辆分类器中实现车辆目标的获取,该过程可以包括:
1)提取车辆相对应的特征描述子,即提取LBP局部二值模式特征值,如,收集正负样本各50000个,正样本可以包括小型车头、小型车尾、大型车头、大型车尾等,负样本可以包括路面、树荫、车道线等;
2)利用adaboost训练方法训练正负样本,得到cascade级联车辆分类器,该分类器可以是16级的cascade级联车辆分类器;
3)提取当前视频帧中的参考对象,利用参考对象外接矩信息对参考对象进行分类,若参考对象的宽高比大于接近1,且饱和度(参考对象像素点占外接矩比例)大于一定车辆阈值,即该参考对象的尺度满足车辆尺度范围,则将该参考对象确定为参考车辆对象;
4)将确定的参考车辆对象输入到车辆分类器中,即计算该参考车辆对象对应的局部二值模式特征值,判断局部二值模式特征值是否在预设局部二值模式阈值范围内,如果输出预设标签,如标签label=0,则说明该局部二值模式特征值在预设局部二值模式阈值范围内,确定该参考车辆对象为车辆目标。
其中,LBP(Local Binary Pattern,局部二值模式)特征描述子是一种用于描述图像局部纹理特征的算子,它具有旋转不变性和灰度不变性等显著的优点,LBP特征计算过程为现有技术,在此不再赘述。
S302:从所获取的车辆目标中,提取预设数量个第一车辆目标,分别获取各个第一车辆目标的第一历史运动轨迹。
在获取车辆目标后,从所获取的车辆目标中,提取预设数量个第一车辆目标,分别获取各个第一车辆目标的第一历史运动轨迹,其中,一条第一历史运动轨迹为:根据一个第一车辆目标在当前视频帧之前的视频帧中的位置确定的,其中,为了提高计算的准确度,该预设数量个可以设置的较大,例如100、200。
其中,分别获取各个第一车辆目标的第一历史运动轨迹的方式有多种,下面进行详细描述:
在本发明实施例的一种实现方式中,上述分别获取各个第一车辆目标的第一历史运动轨迹可以包括:
获取当前视频帧之前第二预设帧数的视频帧中的第一参考车辆目标;
分别计算各个第一车辆目标与各个第一参考车辆目标之间的重合度;
根据计算得到的重合度,从各个第一参考车辆目标中查找与各个第一车辆相同的参考车辆目标;
根据查找到的各个第一车辆目标的参考车辆目标,获取各个第一车辆目标的第一历史运动轨迹。
在提取预设数量个第一车辆目标后,针对每个第一车辆目标,该第一车辆目标的第一历史运动轨迹为该第一车辆目标在当前视频帧之前的视频帧中的位置确定的,即为该第一车辆目标在当前视频帧之前第二预设帧数的视频帧中对应的车辆的运动轨迹。
因此,为了确定在当前视频帧之前第二预设帧数的视频帧中哪一辆车为该第一车辆目标,在当前视频帧之前第二预设帧数的视频帧中获取第一参考车辆目标,通过计算重合度的方式,从第一参考车辆目标中查找到与第一车辆相同的参考车辆目标,获取该参考车辆目标的运动轨迹,即为第一车辆目标的第一历史运动轨迹。
在本发明实施例的另一种实现方式中,上述分别获取各个第一车辆目标的第一历史运动轨迹可以包括:
通过以下方式获得各个第一车辆目标的第一历史运动轨迹:
提取各个第一车辆目标的目标特征点;
在当前视频帧之前第三预设帧数的视频帧中,确定距离目标特征点最近的第二参考车辆目标;
提取第二参考车辆目标的参考特征点;
计算参考特征点与目标特征点的匹配度;
根据计算得到的匹配度,从第二参考车辆目标中查找与第一车辆相同的参考车辆目标;
根据查找到的第一车辆目标的参考车辆目标,获取第一车辆目标的第一历史运动轨迹。
在提取预设数量个第一车辆目标后,针对每个第一车辆目标,该第一车辆目标的第一历史运动轨迹为该第一车辆目标在当前视频帧之前的视频帧中的位置确定的,即为该第一车辆目标在当前视频帧之前第三预设帧数的视频帧中对应的车辆的运动轨迹。
由于相同的车辆的特征点是匹配的,因此,为了确定在当前视频帧之前第三预设帧数的视频帧中哪一辆车为该第一车辆目标,提取第一车辆目标的目标特征点,并在当前视频帧之前第三预设帧数的视频帧中确定距离目标特征点最近的第二参考车辆目标,提取第二参考车辆目标的参考特征点,通过计算特征点的匹配度的方式,从第二参考车辆目标中查找到与第一车辆相同的参考车辆目标,获取该参考车辆目标的运动轨迹,即为第一车辆目标的第一历史运动轨迹。
S303:获取在当前视频帧之后的视频帧中出现的预设数量个第二车辆目标的第二历史运动轨迹。
在获取各个第一车辆目标的第一历史运动轨迹后,为了判断道路上的车辆的运动轨迹是否发生了改变,获取在当前视频帧之后的视频帧中出现的预设数量个第二车辆目标的第二历史运动轨迹,其中,一条第二历史运动轨迹为:根据一个第二车辆目标在当前视频帧之后的视频帧中的位置确定。
详细的,获取第二历史运动轨迹的方式可以参考获取第一历史运动轨迹的方式,在此不再赘述。
S304:将第一历史运动轨迹和第二历史运动轨迹进行相似度对比。
上述将第一历史运动轨迹和第二历史运动轨迹进行相似度对比可以包括:
统计所有第一历史运动轨迹包含的所有轨迹点中横坐标相同的轨迹点数量得到第一历史运动轨迹数组,统计所有第二历史运动轨迹包含的所有轨迹点中横坐标相同的轨迹点数量得到第二历史运动轨迹数组,其中,轨迹点是车辆目标在视频帧中的位置;
分别对第一历史运动轨迹数组和第二历史运动轨迹数据进行归一化处理,得到第一目标历史运动轨迹数组和第二目标历史运动轨迹数组;
计算第一目标历史运动轨迹数组与第二目标历史运动轨迹数组的相似度值。
分别通过将所有第一历史运动轨迹包含的所有轨迹点向X轴方向投影,将所有第二历史运动轨迹包含的所有轨迹点向X轴方向投影的方式,统计所有第一历史运动轨迹包含的所有轨迹点中横坐标相同的轨迹点数量得到第一历史运动轨迹数组,统计所有第二历史运动轨迹包含的所有轨迹点中横坐标相同的轨迹点数量得到第二历史运动轨迹数组。
并对第一历史运动轨迹数组和第二历史运动轨迹数组进行归一化处理,得到第一目标历史运动轨迹数组HQ(k)和第二目标历史运动轨迹数组HD(k),为了确定道路上的车辆的运动轨迹是否发生了改变,通过以下公式对第一目标历史运动轨迹数组与第二目标历史运动轨迹数组进行相似度计算:
其中,P(Q,D)为第一目标历史运动轨迹数组与第二目标历史运动轨迹数组的相似度,HQ(k)为第一目标历史运动轨迹数组,HD(k)为第二目标历史运动轨迹数组,k为横坐标,L为横坐标的最大值,Q为第一车辆目标,D为第二车辆目标。
S305:如果相似度值小于预设相似度阈值,则确定存在道路施工。
如果计算得到的相似度值小于预设相似度阈值,说明第一历史运动轨迹和第二历史运动轨迹之间的差别较大,即道路上的车辆的运动轨迹发生了改变,由此,确定存在道路施工。
在确定存在道路施工后,可以记录报警时间,输出报警信息,并在预设时间段内不再进行报警。
(3)在目标检测包括行人检测和车辆检测时,上述对当前视频帧进行目标检测,根据检测结果确定是否存在道路施工可以包括:
首先进行行人检测,在确定存在行人目标时,再进行车辆检测,或者,首先进行车辆检测,在确定车辆轨迹改变后,再进行行人检测。
由于在确定道路上存在路锥的情况下,如果可以确定在路锥的附近存在施工人员,并在确定存在施工人员的情况下,如果可以确定道路上的车辆的运动轨迹发生了改变,即车辆绕开路锥行驶,则可以更准确的确定道路上存在道路施工,因此,可以首先进行行人检测,在确定存在行人目标时,再进行车辆检测。
同理,由于在确定道路上存在路锥的情况下,如果可以确定道路上的车辆的运动轨迹发生了改变,即车辆绕开路锥行驶,并在确定车辆的运动轨迹发生了改变的情况下,如果可以确定在路锥的附近存在施工人员,则可以更准确的确定道路上存在道路施工,因此,首先进行车辆检测,在确定车辆轨迹改变后,再进行行人检测。
其中,进行行人检测的过程参见图8,进行车辆检测的过程参见图9,在此,不再赘述。
本发明实施例中,首先获取前景目标,其次判断该前景目标是否为静止目标,如果是静止目标,判断前景目标在当前视频帧之前的连续第一预设帧数的视频帧中是否为静止目标,最后如果在连续第一预设帧数的视频帧中是静止目标,将前景目标的特征与路锥的特征进行匹配,由此,通过将静止的前景目标与路锥进行匹配的方式确定是否存在道路施工,以实现对道路施工的检测。
相对于上述方法实施例,如图10所示,本发明实施例还提供了一种道路施工检测装置,所述装置包括:
提取模块401,用于获取当前视频帧对应的目标前景图,并提取所述目标前景图中的前景目标;
第一判断模块402,用于根据第一参考视频帧,判断所述前景目标在所述当前视频帧中是否为静止目标,其中,所述第一参考视频帧为:所述当前视频帧的参考视频帧,如果是,触发第二判断模块403;
所述第二判断模块403,用于判断所述前景目标在所述当前视频帧之前的连续第一预设帧数的视频帧中是否为静止目标,如果是,触发匹配模块404;
所述匹配模块404,用于将所述前景目标的特征与路锥的特征进行匹配,根据匹配结果确定是否存在道路施工。
本发明实施例中,首先获取前景目标,其次判断该前景目标是否为静止目标,如果是静止目标,判断前景目标在当前视频帧之前的连续第一预设帧数的视频帧中是否为静止目标,最后如果在连续第一预设帧数的视频帧中是静止目标,将前景目标的特征与路锥的特征进行匹配,由此,通过将静止的前景目标与路锥进行匹配的方式确定是否存在道路施工,以实现对道路施工的检测。
在一种实现方式中,所述第一判断模块402,可以包括:
帧差图获取单元,用于获取所述当前视频帧相对于第一参考视频帧的帧差图;
第一静态图获得单元,用于根据所述帧差图,获得所述目标前景图相对于所述第一参考视频帧的第一静态图;
更新单元,用于根据所述第一静态图更新监控场景静态图,其中,所述监控场景静态图是由已完成道路检测视频帧的前景图相对于第二参考视频帧的静态图确定的,所述第二参考视频帧为已完成道路检测视频帧的参考视频帧;
第二静态图获得单元,用于获得所述第一静态图相对于更新后的所述监控场景静态图的第二静态图;
统计单元,用于统计所述前景目标所包含前景像素点的第一数量,并基于所述第二静态图,统计所述前景像素点中静态像素点的第二数量;
第一判断单元,用于根据所述第一数量与所述第二数量之间的数值关系,判断所述前景目标在所述当前视频帧中是否为静止目标。
在一种实现方式中,所述前景图为二值图像,所述帧差图为差分二值图像;
所述更新单元,可以具体用于:
将第一参考像素点的取值增加第一预设值,其中,所述第一参考像素点为:监控场景静态图中与所述第一静态图中前景像素点位置相同的像素点;
将第二参考像素点的取值减少第二预设值,其中,所述第二参考像素点为:监控场景静态图中与所述第一静态图中背景像素点位置相同的像素点,所述第二预设值大于所述第一预设值;
其中,所述监控场景静态图是由已完成道路检测视频帧的前景图相对于第二参考视频帧的静态图确定的,所述第二参考视频帧为已完成道路检测视频帧的参考视频帧。
在一种实现方式中,所述第二静态图获得单元,可以具体用于计算第二静态图中的每个像素点的取值,其中,所述第二静态图为所述第一静态图相对于更新后的所述监控场景静态图的静态图;
所述第二静态图获得单元,可以包括:
像素点取值判断子模块,用于判断所述监控场景静态图中与第二像素点位置相同的像素点的取值是否小于第一预设阈值,如果是,触发背景像素值确定子模块,如果否,触发前景像素值确定子模块,其中,所述第二像素点为所述第二静态图中的一个像素点;
所述背景像素值确定子模块,用于将所述第二像素点的取值确定为背景像素值;
所述前景像素值确定子模块,用于将所述第二像素点的取值确定为前景像素值。
在一种实现方式中,所述匹配模块404,可以包括:
第二判断单元,用于判断所述前景目标的特征是否与路锥的特征匹配,如果是,触发目标检测单元;
所述目标检测单元,用于对所述当前视频帧进行目标检测,根据检测结果确定是否存在道路施工,其中,所述目标检测包括:行人检测和/或车辆检测。
在一种实现方式中,在所述目标检测包括行人检测时,所述目标检测单元,可以包括:
行人检测子模块,用于对所述当前视频帧进行行人检测,获取行人目标;
行人目标判断子模块,用于判断所获取的行人目标是否在所述前景目标所在的预设范围内,如果是,触发第一确定子模块;
所述第一确定子模块,用于确定存在道路施工。
在一种实现方式中,所述行人检测子模块,可以具体用于:
提取所述当前视频帧中的参考行人对象;
计算所提取的参考行人对象对应的方向梯度特征值;
判断所述方向梯度特征值是否在预设方向梯度阈值范围内;
如果是,确定所述参考行人对象为行人目标。
在一种实现方式中,在所述目标检测包括车辆检测时,所述目标检测单元,可以包括:
车辆检测子模块,用于对所述当前视频帧进行车辆检测,获取车辆目标;
第一历史运动轨迹获取子模块,用于从所获取的车辆目标中,提取预设数量个第一车辆目标,分别获取各个第一车辆目标的第一历史运动轨迹,其中,一条第一历史运动轨迹为:根据一个第一车辆目标在所述当前视频帧之前的视频帧中的位置确定的;
第二历史运动轨迹获取子模块,用于获取在当前视频帧之后的视频帧中出现的所述预设数量个第二车辆目标的第二历史运动轨迹,其中,一条第二历史运动轨迹为:根据一个第二车辆目标在当前视频帧之后的视频帧中的位置确定;
相似度对比子模块,用于将所述第一历史运动轨迹和所述第二历史运动轨迹进行相似度对比;
第二确定子模块,用于如果相似度值小于预设相似度阈值,则确定存在道路施工。
在一种实现方式中,所述车辆检测子模块,可以具体用于:
提取所述当前视频帧中的参考车辆对象;
计算所获取的参考车辆对象对应的局部二值模式特征值;
判断所述局部二值模式特征值是否在预设局部二值模式阈值范围内;
如果是,确定所述参考车辆对象为车辆目标。
在一种实现方式中,所述第一历史运动轨迹获取子模块,可以具体用于:
获取所述当前视频帧之前第二预设帧数的视频帧中的第一参考车辆目标;
分别计算各个第一车辆目标与各个第一参考车辆目标之间的重合度;
根据计算得到的重合度,从各个第一参考车辆目标中查找与各个第一车辆相同的参考车辆目标;
根据查找到的各个第一车辆目标的参考车辆目标,获取各个第一车辆目标的第一历史运动轨迹。
在一种实现方式中,所述第一历史运动轨迹获取子模块,可以具体用于获得各个第一车辆目标的第一历史运动轨迹;
所述第一历史运动轨迹获取子模块,可以包括:
目标特征点提取子单元,用于提取第一车辆目标的目标特征点;
第二参考车辆目标确定子单元,用于在所述当前视频帧之前第三预设帧数的视频帧中,确定距离所述目标特征点最近的第二参考车辆目标;
参考特征点提取子单元,用于提取所述第二参考车辆目标的参考特征点;
匹配度计算子单元,用于计算所述参考特征点与所述目标特征点的匹配度;
查找子单元,用于根据计算得到的匹配度,从所述第二参考车辆目标中查找与所述第一车辆相同的参考车辆目标;
获取子单元,用于根据查找到的所述第一车辆目标的参考车辆目标,获取所述第一车辆目标的第一历史运动轨迹。
在一种实现方式中,所述相似度对比子模块,可以具体用于:
统计所有第一历史运动轨迹包含的所有轨迹点中横坐标相同的轨迹点数量得到第一历史运动轨迹数组,统计所有第二历史运动轨迹包含的所有轨迹点中横坐标相同的轨迹点数量得到第二历史运动轨迹数组,其中,轨迹点是车辆目标在视频帧中的位置;
分别对所述第一历史运动轨迹数组和所述第二历史运动轨迹数据进行归一化处理,得到第一目标历史运动轨迹数组和第二目标历史运动轨迹数组;
计算所述第一目标历史运动轨迹数组与所述第二目标历史运动轨迹数组的相似度值。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。
Claims (22)
1.一种道路施工检测方法,其特征在于,所述方法包括:
获取当前视频帧对应的目标前景图,并提取所述目标前景图中的前景目标;
根据第一参考视频帧,判断所述前景目标在所述当前视频帧中是否为静止目标,其中,所述第一参考视频帧为:所述当前视频帧的参考视频帧;
如果是静止目标,判断所述前景目标在所述当前视频帧之前的连续第一预设帧数的视频帧中是否为静止目标;
如果在连续第一预设帧数的视频帧中是静止目标,将所述前景目标的特征与路锥的特征进行匹配,根据匹配结果确定是否存在道路施工;
其中,所述根据第一参考视频帧,判断所述前景目标在所述当前视频帧中是否为静止目标的步骤,包括:
获取所述当前视频帧相对于第一参考视频帧的帧差图;
根据所述帧差图,获得所述目标前景图相对于所述第一参考视频帧的第一静态图;
根据所述第一静态图更新监控场景静态图,其中,所述监控场景静态图是由已完成道路检测视频帧的前景图相对于第二参考视频帧的静态图确定的,所述第二参考视频帧为已完成道路检测视频帧的参考视频帧;
获得所述第一静态图相对于更新后的所述监控场景静态图的第二静态图;
统计所述前景目标所包含前景像素点的第一数量,并基于所述第二静态图,统计所述前景像素点中静态像素点的第二数量;
根据所述第一数量与所述第二数量之间的数值关系,判断所述前景目标在所述当前视频帧中是否为静止目标。
2.根据权利要求1所述的方法,其特征在于,前景图为二值图像,所述帧差图为差分二值图像;
所述根据所述第一静态图更新监控场景静态图的步骤,包括:
将第一参考像素点的取值增加第一预设值,其中,所述第一参考像素点为:监控场景静态图中与所述第一静态图中前景像素点位置相同的像素点;
将第二参考像素点的取值减少第二预设值,其中,所述第二参考像素点为:监控场景静态图中与所述第一静态图中背景像素点位置相同的像素点,所述第二预设值大于所述第一预设值。
3.根据权利要求2所述的方法,其特征在于,所述获得所述第一静态图相对于更新后的所述监控场景静态图的第二静态图的步骤,包括:
通过以下方式计算第二静态图中的每个像素点的取值,其中,所述第二静态图为所述第一静态图相对于更新后的所述监控场景静态图的静态图:
判断所述监控场景静态图中与第二像素点位置相同的像素点的取值是否小于第一预设阈值,其中,所述第二像素点为所述第二静态图中的一个像素点;
如果是,将所述第二像素点的取值确定为背景像素值;
如果否,将所述第二像素点的取值确定为前景像素值。
4.根据权利要求1所述的方法,其特征在于,所述将所述前景目标的特征与路锥的特征进行匹配,根据匹配结果确定是否存在道路施工的步骤,包括:
判断所述前景目标的特征是否与路锥的特征匹配;
如果匹配,对所述当前视频帧进行目标检测,根据检测结果确定是否存在道路施工,其中,所述目标检测包括:行人检测和/或车辆检测。
5.根据权利要求4所述的方法,其特征在于,在所述目标检测包括行人检测时,所述对所述当前视频帧进行目标检测,根据检测结果确定是否存在道路施工,包括:
对所述当前视频帧进行行人检测,获取行人目标;
判断所获取的行人目标是否在所述前景目标所在的预设范围内;
如果在所述预设范围内,确定存在道路施工。
6.根据权利要求5所述的方法,其特征在于,所述对所述当前视频帧进行行人检测,获取行人目标的步骤,包括:
提取所述当前视频帧中的参考行人对象;
计算所提取的参考行人对象对应的方向梯度特征值;
判断所述方向梯度特征值是否在预设方向梯度阈值范围内;
如果是,确定所述参考行人对象为行人目标。
7.根据权利要求4所述的方法,其特征在于,在所述目标检测包括车辆检测时,所述对所述当前视频帧进行目标检测,根据检测结果确定是否存在道路施工,包括:
对所述当前视频帧进行车辆检测,获取车辆目标;
从所获取的车辆目标中,提取预设数量个第一车辆目标,分别获取各个第一车辆目标的第一历史运动轨迹,其中,一条第一历史运动轨迹为:根据一个第一车辆目标在所述当前视频帧之前的视频帧中的位置确定的;
获取在当前视频帧之后的视频帧中出现的所述预设数量个第二车辆目标的第二历史运动轨迹,其中,一条第二历史运动轨迹为:根据一个第二车辆目标在当前视频帧之后的视频帧中的位置确定;
将所述第一历史运动轨迹和所述第二历史运动轨迹进行相似度对比;
如果相似度值小于预设相似度阈值,则确定存在道路施工。
8.根据权利要求7所述的方法,其特征在于,所述对所述当前视频帧进行车辆检测,获取车辆目标的步骤,包括:
提取所述当前视频帧中的参考车辆对象;
计算所获取的参考车辆对象对应的局部二值模式特征值;
判断所述局部二值模式特征值是否在预设局部二值模式阈值范围内;
如果是,确定所述参考车辆对象为车辆目标。
9.根据权利要求7所述的方法,其特征在于,所述分别获取各个第一车辆目标的第一历史运动轨迹的步骤,包括:
获取所述当前视频帧之前第二预设帧数的视频帧中的第一参考车辆目标;
分别计算各个第一车辆目标与各个第一参考车辆目标之间的重合度;
根据计算得到的重合度,从各个第一参考车辆目标中查找与各个第一车辆相同的参考车辆目标;
根据查找到的各个第一车辆目标的参考车辆目标,获取各个第一车辆目标的第一历史运动轨迹。
10.根据权利要求7所述的方法,其特征在于,所述分别获取各个第一车辆目标的第一历史运动轨迹的步骤,包括:
通过以下方式获得各个第一车辆目标的第一历史运动轨迹:
提取第一车辆目标的目标特征点;
在所述当前视频帧之前第三预设帧数的视频帧中,确定距离所述目标特征点最近的第二参考车辆目标;
提取所述第二参考车辆目标的参考特征点;
计算所述参考特征点与所述目标特征点的匹配度;
根据计算得到的匹配度,从所述第二参考车辆目标中查找与所述第一车辆相同的参考车辆目标;
根据查找到的所述第一车辆目标的参考车辆目标,获取所述第一车辆目标的第一历史运动轨迹。
11.根据权利要求7所述的方法,其特征在于,所述将所述第一历史运动轨迹和所述第二历史运动轨迹进行相似度对比的步骤,包括:
统计所有第一历史运动轨迹包含的所有轨迹点中横坐标相同的轨迹点数量得到第一历史运动轨迹数组,统计所有第二历史运动轨迹包含的所有轨迹点中横坐标相同的轨迹点数量得到第二历史运动轨迹数组,其中,轨迹点是车辆目标在视频帧中的位置;
分别对所述第一历史运动轨迹数组和所述第二历史运动轨迹数据进行归一化处理,得到第一目标历史运动轨迹数组和第二目标历史运动轨迹数组;
计算所述第一目标历史运动轨迹数组与所述第二目标历史运动轨迹数组的相似度值。
12.一种道路施工检测装置,其特征在于,所述装置包括:
提取模块,用于获取当前视频帧对应的目标前景图,并提取所述目标前景图中的前景目标;
第一判断模块,用于根据第一参考视频帧,判断所述前景目标在所述当前视频帧中是否为静止目标,其中,所述第一参考视频帧为:所述当前视频帧的参考视频帧,如果是,触发第二判断模块;
所述第二判断模块,用于判断所述前景目标在所述当前视频帧之前的连续第一预设帧数的视频帧中是否为静止目标,如果是,触发匹配模块;
所述匹配模块,用于将所述前景目标的特征与路锥的特征进行匹配,根据匹配结果确定是否存在道路施工;
其中,所述第一判断模块,包括:
帧差图获取单元,用于获取所述当前视频帧相对于第一参考视频帧的帧差图;
第一静态图获得单元,用于根据所述帧差图,获得所述目标前景图相对于所述第一参考视频帧的第一静态图;
更新单元,用于根据所述第一静态图更新监控场景静态图,其中,所述监控场景静态图是由已完成道路检测视频帧的前景图相对于第二参考视频帧的静态图确定的,所述第二参考视频帧为已完成道路检测视频帧的参考视频帧;
第二静态图获得单元,用于获得所述第一静态图相对于更新后的所述监控场景静态图的第二静态图;
统计单元,用于统计所述前景目标所包含前景像素点的第一数量,并基于所述第二静态图,统计所述前景像素点中静态像素点的第二数量;
第一判断单元,用于根据所述第一数量与所述第二数量之间的数值关系,判断所述前景目标在所述当前视频帧中是否为静止目标。
13.根据权利要求12所述的装置,其特征在于,前景图为二值图像,所述帧差图为差分二值图像;
所述更新单元,具体用于:
将第一参考像素点的取值增加第一预设值,其中,所述第一参考像素点为:监控场景静态图中与所述第一静态图中前景像素点位置相同的像素点;
将第二参考像素点的取值减少第二预设值,其中,所述第二参考像素点为:监控场景静态图中与所述第一静态图中背景像素点位置相同的像素点,所述第二预设值大于所述第一预设值;
其中,所述监控场景静态图是由已完成道路检测视频帧的前景图相对于第二参考视频帧的静态图确定的,所述第二参考视频帧为已完成道路检测视频帧的参考视频帧。
14.根据权利要求13所述的装置,其特征在于,所述第二静态图获得单元,具体用于计算第二静态图中的每个像素点的取值,其中,所述第二静态图为所述第一静态图相对于更新后的所述监控场景静态图的静态图;
所述第二静态图获得单元,包括:
像素点取值判断子模块,用于判断所述监控场景静态图中与第二像素点位置相同的像素点的取值是否小于第一预设阈值,如果是,触发背景像素值确定子模块,如果否,触发前景像素值确定子模块,其中,所述第二像素点为所述第二静态图中的一个像素点;
所述背景像素值确定子模块,用于将所述第二像素点的取值确定为背景像素值;
所述前景像素值确定子模块,用于将所述第二像素点的取值确定为前景像素值。
15.根据权利要求12所述的装置,其特征在于,所述匹配模块,包括:
第二判断单元,用于判断所述前景目标的特征是否与路锥的特征匹配,如果是,触发目标检测单元;
所述目标检测单元,用于对所述当前视频帧进行目标检测,根据检测结果确定是否存在道路施工,其中,所述目标检测包括:行人检测和/或车辆检测。
16.根据权利要求15所述的装置,其特征在于,在所述目标检测包括行人检测时,所述目标检测单元,包括:
行人检测子模块,用于对所述当前视频帧进行行人检测,获取行人目标;
行人目标判断子模块,用于判断所获取的行人目标是否在所述前景目标所在的预设范围内,如果是,触发第一确定子模块;
所述第一确定子模块,用于确定存在道路施工。
17.根据权利要求16所述的装置,其特征在于,所述行人检测子模块,具体用于:
提取所述当前视频帧中的参考行人对象;
计算所提取的参考行人对象对应的方向梯度特征值;
判断所述方向梯度特征值是否在预设方向梯度阈值范围内;
如果是,确定所述参考行人对象为行人目标。
18.根据权利要求15所述的装置,其特征在于,在所述目标检测包括车辆检测时,所述目标检测单元,包括:
车辆检测子模块,用于对所述当前视频帧进行车辆检测,获取车辆目标;
第一历史运动轨迹获取子模块,用于从所获取的车辆目标中,提取预设数量个第一车辆目标,分别获取各个第一车辆目标的第一历史运动轨迹,其中,一条第一历史运动轨迹为:根据一个第一车辆目标在所述当前视频帧之前的视频帧中的位置确定的;
第二历史运动轨迹获取子模块,用于获取在当前视频帧之后的视频帧中出现的所述预设数量个第二车辆目标的第二历史运动轨迹,其中,一条第二历史运动轨迹为:根据一个第二车辆目标在当前视频帧之后的视频帧中的位置确定;
相似度对比子模块,用于将所述第一历史运动轨迹和所述第二历史运动轨迹进行相似度对比;
第二确定子模块,用于如果相似度值小于预设相似度阈值,则确定存在道路施工。
19.根据权利要求18所述的装置,其特征在于,所述车辆检测子模块,具体用于:
提取所述当前视频帧中的参考车辆对象;
计算所获取的参考车辆对象对应的局部二值模式特征值;
判断所述局部二值模式特征值是否在预设局部二值模式阈值范围内;
如果是,确定所述参考车辆对象为车辆目标。
20.根据权利要求18所述的装置,其特征在于,所述第一历史运动轨迹获取子模块,具体用于:
获取所述当前视频帧之前第二预设帧数的视频帧中的第一参考车辆目标;
分别计算各个第一车辆目标与各个第一参考车辆目标之间的重合度;
根据计算得到的重合度,从各个第一参考车辆目标中查找与各个第一车辆相同的参考车辆目标;
根据查找到的各个第一车辆目标的参考车辆目标,获取各个第一车辆目标的第一历史运动轨迹。
21.根据权利要求18所述的装置,其特征在于,所述第一历史运动轨迹获取子模块,具体用于获得各个第一车辆目标的第一历史运动轨迹;
所述第一历史运动轨迹获取子模块,包括:
目标特征点提取子单元,用于提取第一车辆目标的目标特征点;
第二参考车辆目标确定子单元,用于在所述当前视频帧之前第三预设帧数的视频帧中,确定距离所述目标特征点最近的第二参考车辆目标;
参考特征点提取子单元,用于提取所述第二参考车辆目标的参考特征点;
匹配度计算子单元,用于计算所述参考特征点与所述目标特征点的匹配度;
查找子单元,用于根据计算得到的匹配度,从所述第二参考车辆目标中查找与所述第一车辆相同的参考车辆目标;
获取子单元,用于根据查找到的所述第一车辆目标的参考车辆目标,获取所述第一车辆目标的第一历史运动轨迹。
22.根据权利要求18所述的装置,其特征在于,所述相似度对比子模块,具体用于:
统计所有第一历史运动轨迹包含的所有轨迹点中横坐标相同的轨迹点数量得到第一历史运动轨迹数组,统计所有第二历史运动轨迹包含的所有轨迹点中横坐标相同的轨迹点数量得到第二历史运动轨迹数组,其中,轨迹点是车辆目标在视频帧中的位置;
分别对所述第一历史运动轨迹数组和所述第二历史运动轨迹数据进行归一化处理,得到第一目标历史运动轨迹数组和第二目标历史运动轨迹数组;
计算所述第一目标历史运动轨迹数组与所述第二目标历史运动轨迹数组的相似度值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611191746.0A CN108229256B (zh) | 2016-12-21 | 2016-12-21 | 一种道路施工检测方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611191746.0A CN108229256B (zh) | 2016-12-21 | 2016-12-21 | 一种道路施工检测方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108229256A CN108229256A (zh) | 2018-06-29 |
CN108229256B true CN108229256B (zh) | 2021-03-02 |
Family
ID=62650871
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201611191746.0A Active CN108229256B (zh) | 2016-12-21 | 2016-12-21 | 一种道路施工检测方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108229256B (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110033476A (zh) * | 2018-01-11 | 2019-07-19 | 富士通株式会社 | 目标速度估计方法、装置和图像处理设备 |
CN108696726A (zh) * | 2018-07-02 | 2018-10-23 | 天津煋鸟科技有限公司 | 一种无盲区监控系统 |
CN109583414B (zh) * | 2018-12-10 | 2020-12-22 | 江南大学 | 基于视频检测的室内占道检测方法、设备、介质及处理器 |
CN110782459B (zh) * | 2019-01-08 | 2021-02-19 | 北京嘀嘀无限科技发展有限公司 | 一种图像处理方法及装置 |
CN110705495A (zh) * | 2019-10-10 | 2020-01-17 | 北京百度网讯科技有限公司 | 交通工具的检测方法、装置、电子设备和计算机存储介质 |
CN110826439A (zh) * | 2019-10-25 | 2020-02-21 | 杭州叙简科技股份有限公司 | 一种基于深度学习图像处理的电焊施工检测方法 |
CN111079621B (zh) * | 2019-12-10 | 2023-10-03 | 北京百度网讯科技有限公司 | 检测对象的方法、装置、电子设备和存储介质 |
CN111507278B (zh) * | 2020-04-21 | 2023-05-16 | 浙江大华技术股份有限公司 | 一种检测路障的方法、装置及计算机设备 |
CN117523505A (zh) * | 2023-10-30 | 2024-02-06 | 深圳市大道至简信息技术有限公司 | 一种基于视频判断真实车辆的方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101751669B (zh) * | 2009-12-17 | 2014-03-26 | 北京中星微电子有限公司 | 一种静止物体检测方法和装置 |
CN102236902B (zh) * | 2011-06-21 | 2013-01-09 | 杭州海康威视数字技术股份有限公司 | 一种目标检测方法和装置 |
US9195914B2 (en) * | 2012-09-05 | 2015-11-24 | Google Inc. | Construction zone sign detection |
CN103618911B (zh) * | 2013-10-12 | 2017-02-01 | 北京视博云科技有限公司 | 一种基于视频属性信息的视频流提供方法及装置 |
CN103914688B (zh) * | 2014-03-27 | 2018-02-02 | 北京科技大学 | 一种城市道路障碍物识别系统 |
CN103971128B (zh) * | 2014-05-23 | 2017-04-05 | 北京理工大学 | 一种面向无人驾驶车的交通标志识别方法 |
CN107111742B (zh) * | 2014-08-18 | 2021-04-02 | 无比视视觉技术有限公司 | 在导航中对车道限制和施工区域的识别和预测 |
-
2016
- 2016-12-21 CN CN201611191746.0A patent/CN108229256B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN108229256A (zh) | 2018-06-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108229256B (zh) | 一种道路施工检测方法及装置 | |
TWI452540B (zh) | 影像式之交通參數偵測系統與方法及電腦程式產品 | |
CN103049787B (zh) | 一种基于头肩特征的人数统计方法和系统 | |
CN100545867C (zh) | 航拍交通视频车辆快速检测方法 | |
Pless et al. | Evaluation of local models of dynamic backgrounds | |
Asmaa et al. | Road traffic density estimation using microscopic and macroscopic parameters | |
CN109284705B (zh) | 一种交通监控视频的异常检测方法 | |
CN104318263A (zh) | 一种实时高精度人流计数方法 | |
Jo | Cumulative dual foreground differences for illegally parked vehicles detection | |
Saran et al. | Traffic video surveillance: Vehicle detection and classification | |
Garg et al. | Real-time road traffic density estimation using block variance | |
Rabiu | Vehicle detection and classification for cluttered urban intersection | |
Indrabayu et al. | Blob modification in counting vehicles using gaussian mixture models under heavy traffic | |
Ren et al. | Lane Detection in Video‐Based Intelligent Transportation Monitoring via Fast Extracting and Clustering of Vehicle Motion Trajectories | |
Kejriwal et al. | Vehicle detection and counting using deep learning basedYOLO and deep SORT algorithm for urban traffic management system | |
Babaei | Vehicles tracking and classification using traffic zones in a hybrid scheme for intersection traffic management by smart cameras | |
CN114937248A (zh) | 用于跨相机的车辆跟踪方法、装置、电子设备、存储介质 | |
Sri Jamiya et al. | A survey on vehicle detection and tracking algorithms in real time video surveillance | |
Parsola et al. | Automated system for road extraction and traffic volume estimation for traffic jam detection | |
Hsieh et al. | Grid-based template matching for people counting | |
Choudri et al. | Robust background model for pixel based people counting using a single uncalibrated camera | |
CN117274849A (zh) | 一种行人徘徊事件检测方法、装置、设备及介质 | |
Abdullah et al. | Contour Based Tracking for Driveway Entrance Counting System | |
Xu et al. | Crowd density estimation based on improved Harris & OPTICS Algorithm | |
Zhao et al. | Research on vehicle detection and vehicle type recognition under cloud computer vision |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |