CN108805042A - 道路区域监控视频被树叶遮挡的检测方法 - Google Patents
道路区域监控视频被树叶遮挡的检测方法 Download PDFInfo
- Publication number
- CN108805042A CN108805042A CN201810512392.8A CN201810512392A CN108805042A CN 108805042 A CN108805042 A CN 108805042A CN 201810512392 A CN201810512392 A CN 201810512392A CN 108805042 A CN108805042 A CN 108805042A
- Authority
- CN
- China
- Prior art keywords
- area
- road
- leaf
- trapezoidal
- convex closure
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
- G06V20/38—Outdoor scenes
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Geometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明属于计算机视觉领域,尤其涉及一种道路区域监控视频被树叶遮挡的检测方法。首先建立基于Mask R‑CNN的深度学习平台用于训练道路区域和树叶目标的网络模型,然后将检测出的道路区域结果进行优化,使其符合城区视频监控场景中的识别预期;再通过对视频监控中三维空间在二维平面上位置关系的展现理解,定义的遮挡规则,最终得到是否存在道路区域被树叶遮挡的判定结果。本发明可替代传统的、大量浏览视频进行逐一排查确认树叶遮挡的人工方式,摆脱了基于树叶面积大小、分布区域、距离远近等具有主观经验争议的特征依赖,在二维空间模拟实现三维空间的遮挡知觉应用。
Description
技术领域
本发明属于计算机视觉领域,可用于监控视频画面中道路区域被树叶遮挡情况的检测系统。尤其涉及一种道路区域监控视频被树叶遮挡的检测方法。
背景技术
在以‘平安城市’、‘雪亮工程’为代表的社会公共安全防范视频监控系统的普及应用中,大量城区范围内的监控点位建设,需要在各类公共交通道路两侧选址。由于季节的自然更替、某些人为摄像机使用不当情况或意外事件的发生,导致摄像机监控视野内出现了不可忽略的树叶,造成道路上的监控目标信息不同程度的缺失,对视频画面的正常观看和相关业务应用造成了明显干扰,甚至将造成不可挽回的后果。因此,视频画面的树叶遮挡检测是公共安全防范视频监控系统中的一项重要内容。
传统的树叶遮挡检测方法,对于树叶目标识别一般采用人工特征抽取,因此对于工程人员来说,针对树叶目标特征的人工识别能力提出了较大挑战,且效率低下。而在遮挡判断上,因为视频监控场景的应用复杂性,对于树叶的存在是否产生视觉干扰会受到主观因素影响,缺乏统一的认知标准,先验知识的应用也受到限制,总体效果不理想。
发明内容
本发明所要解决的技术问题是利用深度学习训练得到的神经网络模型(也即智能检测知识库),对视频监控画面中的道路区域和树叶目标进行定位和识别,结合视频监控应用场景中物体位置关系理解,设计出符合实际需求的树叶遮挡检测方案,形成一种适合城区监控画面中道路区域被树叶遮挡的视频检测方法。
本发明的基本技术构思是,首先建立基于Mask R-CNN(带有高质量分割掩码的图像目标检测卷积神经网络框架)的深度学习平台用于训练道路区域和树叶目标的网络模型,然后将检测出的道路区域结果进行优化,使其符合城区视频监控场景中的识别预期;再通过对视频监控中三维空间在二维平面上位置关系的展现理解,定义遮挡规则,最终得到是否存在道路区域被树叶遮挡的判定结果。
为解决上述技术问题,本发明提出的道路区域监控视频被树叶遮挡的检测方法,其特征在于,包括以下步骤:
步骤i、对Mask R-CNN网络模型的道路区域输出控制部分代码进行优化;
步骤ii、对优化后网络模型预训练;使用预训练后网络模型检测输出道路区域凸包和树叶目标凸包,获得其中道路区域凸包的外接矩形;
步骤iii、根据道路区域凸包两边有无明显的截痕形态,分别拟合出完整梯形或带有一侧垂直截边的梯形,得到道路区域位置;
步骤iv、分别获取道路区域和树叶目标分别在整个图像中的面积占比,并计算两者的重叠区域在道路区域中的面积占比;
步骤v、根据统计经验规则,判定是否存在遮挡。
进一步的,所述步骤i,对Mask R-CNN网络模型的道路区域输出控制部分代码进行优化的具体步骤包括:
1-1)树叶模型输出控制部分代码不做变更;
1-2)将道路模型的颜色渲染饱和度增强到100%,将分割后的道路目标区域颜色定义为白色,非目标区域全部为黑色,并去掉目标区域边框线,排除潜在误差;
1-3)使用默认的树叶模型对输入图片进行检测;
1-4)使用经过上述优化后的道路模型对同一输入图片进行检测。
所述步骤ii,使用预训练后网络模型检测输出道路区域凸包和树叶目标凸包,获得其中道路区域凸包的外接矩形的具体步骤包括:
2-1)对树叶模型检测所得图片,图片面积设为S_pic,统计图片中的所有树叶目标凸包累计面积S2;
2-2)对道路模型检测所得图片进行二值化处理,选择面积最大的道路区域凸包,并将其面积记为S1;
2-3)以二值化图片左上角为原点,将最大道路区域凸包所包含全部像素点的横、纵坐标,存于矩阵Array[X,Y],并筛选max(X)、min(X)以及max(Y)、min(Y),根据此4个坐标位可得到道路区域凸包的外接矩形。
所述步骤iii,根据道路区域凸包两边有无明显的截痕形态,分别拟合出完整梯形或带有一侧垂直截边的梯形的具体步骤包括:
3-1)统计出左截边长L_left和右截边长L_right的值,具体做法是:
在像素点的矩阵[X,Y]中,获取当X=min(X)时的min(Y)和max(Y),则L_left=max(Y)-min(Y);同理获取当X=max(X)时的min(Y)和max(Y),则L_right=max(Y)-min(Y);
预设有效截边长度与道路区域凸包外接矩形高度H的相关参数为d,若L_left>L_right并且L_left>H/d,则判定为有截痕,截边在左侧,截边长为L_left;若L_right>L_left并且L_right>H/d,则判定有截痕,截边在右侧,截边长为L_right;否则判定为无截痕,截边长度L_left或L_right无效;参数d的经验值范围是2.6<=d<=4;
3-2)若L_left和L_right均无效,则将凸包调整为一个完整梯形,在保证面积不变,即拟合梯形面积S=凸包面积S1的情况下,确定梯形的位置,具体做法是:
将A、B、C、D分别记为(m1,y1),(m2,y1),(n1,y3),(n2,y3);
根据梯形计算公式
根据目标梯形与道路区域凸包外接矩形的位置关系,y1,y3,n1,n2已知,代入上式可计算出(m2-m1)的值,即梯形的上底边AB的长度;
在该坐标矩阵[X,Y]中寻找min(Y),也就是道路区域凸包顶端相对应的max(X)与min(X),计算其平均值作为拟合梯形的上底中心点横坐标X_mid,则X_mid=(max(X)+min(X))/2,根据上底中心点的横坐标X_mid,则能够计算出m1,m2的值,确定目标梯形位置;
3-3)若L_left或L_right有效,则将凸包调整为一个带有一侧垂直截边的梯形,在保证面积不变,即拟合梯形面积S=道路区域凸包面积S1的情况下,确定梯形的位置,具体做法是:
A、B、C、D、E分别记为(m1,y1),(m2,y1),(n1,y3),(n2,y3),(n1,y2);
根据步骤3-1)中已获得的截边长度,计算y2=y3-截边长;
面积S则为梯形ABCD和三角形ACE的面积之和,则根据公式
根据目标梯形与道路区域凸包外接矩形的位置关系,y1,y3,n1,n2已知,代入上式可计算出(m2-m1)的值,即梯形的上底边AB的长度;在该坐标矩阵[X,Y]中寻找min(Y),也就是道路区域凸包顶端相对应的max(X)与min(X),计算其平均值作为拟合梯形的上底中心点横坐标X_mid,则
X_mid=(max(X)+min(X))/2,根据上底中心点的横坐标X_mid,则能够计算出m1,m2的值,确定目标梯形位置。
所述步骤iv,获取道路区域和树叶目标分别在整个图像中的面积占比,并计算两者的重叠区域在道路区域中的面积占比的具体步骤包括:
4-1)依据步骤2-1)中得到的树叶目标凸包的累计面积S2,计算树叶面积在整个监控场景中的占比,R_leaf=S2/S_pic;
4-2)依据步骤2-2)中得到的道路区域凸包面积S1,计算道路面积在整个监控场景中的占比,R_road=S1/S_pic;
4-3)统计树叶目标凸包与步骤3-2)或3-3)中拟合梯形的重叠区域面积S_com,并计算该部分在梯形中的占比,R_cover=S_com/S。
进一步的,所述步骤v,根据以下经验规则判定是否存在遮挡:
5-1)以R_cover为核心指标,当R_cover大于遮挡阈值T1时,判定为存在遮挡;
5-2)当R_cover小于遮挡阈值T1时,若R_leaf/R_road>=1,且R_road小于道路识别阈值T2时,判定为存在遮挡。
优选的,所述遮挡阈值T1的最小取值为0.12;道路识别阈值T2的最大取值为0.32。
有益效果:本发明基于深度神经网络的目标检测与识别结果,并结合二维图像中的物体位置关系理解,这种技术相较于其它检测方案的突出意义在于:
(1)与已知常见的检测方法(比如基于颜色与纹理特征的支持向量机(SVM)、基于遮挡先验知识的传统机器学习)相比,本方案充分利用了最新的深度学习技术,并将二维图像的物体位置关系理解作为另一个设计重点,提升了方法在相关领域的应用价值。
(2)本方法一个重要创新点在于,结合道路区域的检测结果,将遮挡的判定逻辑限定在与监控目标相关的明确范围之内,摆脱了基于树叶面积大小、分布区域、距离远近等具有主观经验争议的特征依赖,在二维空间模拟实现三维空间的遮挡知觉应用。
附图说明
下面结合附图和具体实施方式对本发明的技术方案作进一步具体说明。
图1为本发明方法的基本流程图。
图2(a)为无截边的凸包拟合梯形的处理模型图。
图2(b)为针对图4的处理模型图。
图3(a)为检测输出凸包并二值化处理后的图。
图3(b)为本发明的要处理的道路监控的原始图片。
图4为有截边的凸包二值化示意图。
图5(a)为具有树叶遮挡的一种道路区域监控视频图。
图5(b)为具有树叶遮挡的另一种道路区域监控视频图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
如图1所示,本发明提出的道路区域被树叶遮挡情况的视频检测方法的实施例,主要步骤如下:
步骤i、对Mask R-CNN网络模型的道路区域输出控制部分代码进行优化;
步骤ii、对优化后网络模型预训练;使用预训练后网络模型检测输出道路区域凸包和树叶目标凸包,获得其中道路区域凸包的外接矩形;
步骤iii、根据道路区域凸包两边有无明显的截痕形态,分别拟合出完整梯形或带有一侧垂直截边的梯形,得到道路区域位置;
步骤iv、分别获取道路区域和树叶目标分别在整个图像中的面积占比,并计算两者的重叠区域在道路区域中的面积占比;
步骤v、根据统计经验规则,判定是否存在遮挡。
所述步骤i,对Mask R-CNN网络模型的道路区域输出控制部分代码进行优化的具体步骤包括:
1-1)树叶模型输出控制部分代码不做变更;
1-2)将道路模型的颜色渲染饱和度增强到100%,将分割后的道路目标区域颜色定义为白色,非目标区域全部为黑色,并去掉目标区域边框线,排除潜在误差;
1-3)使用默认的树叶模型对输入图片进行检测,图3(b)是输入图片的一个实施例。图5(a)、图5(b)是另外两种分别带有树叶目标凸包的检测图。
1-4)使用经过上述优化后的道路模型对同一输入图片进行检测;
所述步骤ii,使用上述预训练的网络模型检测输出道路区域凸包和树叶目标凸包,获得其中道路区域凸包的外接矩形,具体步骤包括:
2-1)对树叶模型检测所得图片,设所得图片的面积为S_pic,统计图片中所有树叶目标凸包的累计面积S2;
2-2)对道路模型检测所得图片进行二值化处理后如图3(a)所示,图3(a)包含2个呈白色区域的道路区域凸包;选择面积最大的道路区域凸包,将其面积记为S1;
2-3)如图2(b)所示,以图2(b)左上角作为坐标系的原点,将最大道路区域凸包所包含全部像素点的横、纵坐标,存于矩阵Array[X,Y],并筛选max(X)、min(X)以及max(Y)、min(Y),根据此4个坐标位可得到道路区域凸包的外接矩形;
所述步骤iii,根据道路区域凸包两边有无明显的截痕形态,分别拟合出完整梯形或带有一侧垂直截边的梯形的具体步骤包括:
3-1)如图4所示,统计出左截边长L_left和右截边长L_right的值,具体做法是:
在像素点的矩阵[X,Y]中,获取当X=min(X)时的min(Y)和max(Y),则L_left=max(Y)-min(Y);同理获取当X=max(X)时的min(Y)和max(Y),则L_right=max(Y)-min(Y);
结合图2(b),预设有效截边长度与道路区域凸包外接矩形高度H,H=y3-y1,的相关参数为d,若L_left>L_right并且L_left>H/d,则判定为有截痕,截边在左侧,截边长为L_left;若L_right>L_left并且L_right>H/d,则判定有截痕,截边在右侧,截边长为L_right;否则判定为无截痕,截边长度L_left或L_right无效;
参数d的经验值范围是2.6<=d<=4,在本次实验中优先取d=3。
若拟合梯形上底中点偏向外接矩形的右上点,则截边大概率出现在矩形的左侧;若拟合梯形上底中点偏向外接矩形的左上点,则截边大概率出现在矩形的右侧,此规则可作为强化判定条件,如果不满足,则依旧判定为拟合梯形无截痕。
3-2)若L_left和L_right均无效,则将道路区域凸包调整为一个完整梯形,如图2(a)所示,在保证面积不变,即拟合梯形面积S=凸包面积S1的情况下,最终确定梯形的位置,具体做法是:
将A、B、C、D分别记为(m1,y1),(m2,y1),(n1,y3),(n2,y3);
根据公式
根据目标梯形与道路区域凸包外接矩形的位置关系,y1,y3,n1,n2已知,代入上式可计算出(m2-m1)的值,即梯形的上底边AB的长度;
在该坐标矩阵[X,Y]中寻找min(Y),也就是道路区域凸包顶端相对应的max(X)与min(X),计算其平均值作为拟合梯形的上底中心点横坐标X_mid,则X_mid=(max(X)+min(X))/2,根据上底中心点的横坐标X_mid,则能够计算出m1,m2的值,确定目标梯形位置;
3-3)若L_left或L_right有效,则将凸包调整为一个带有一侧垂直截边的梯形,在保证面积不变,即拟合梯形面积S=道路区域凸包面积S1的情况下,确定梯形的位置,具体做法是:
A、B、C、D、E分别记为(m1,y1),(m2,y1),(n1,y3),(n2,y3),(n1,y2);
根据步骤3-1)中已获得的截边长度,计算y2=y3-截边长;
面积S则为梯形ABCD和三角形ACE的面积之和,则根据公式
根据目标梯形与道路区域凸包外接矩形的位置关系,y1,y3,n1,n2已知,代入上式可计算出(m2-m1)的值,即梯形的上底边AB的长度;在该坐标矩阵[X,Y]中寻找min(Y),也就是道路区域凸包顶端相对应的max(X)与min(X),计算其平均值作为拟合梯形的上底中心点横坐标X_mid,则X_mid=(max(X)+min(X))/2,根据上底中心点的横坐标X_mid,则能够计算出m1,m2的值,确定目标梯形位置。
所述步骤iv,获取道路区域(两种梯形之一)和树叶目标分别在整个图像中的面积占比,并计算两者的重叠区域在道路区域中的面积占比的具体步骤包括:
4-1)依据步骤2-1)中得到的树叶目标凸包的累计面积S2,计算树叶面积在整个监控场景中的占比,R_leaf=S2/S_pic;
4-2)依据步骤2-2)中得到的道路区域凸包面积S1,计算道路面积在整个监控场景中的占比,R_road=S1/S_pic;
4-3)统计树叶目标凸包与步骤3-3)或3-4)中拟合梯形的重叠区域面积S_com,并计算该部分在梯形中的占比,R_cover=S_com/S。
所述步骤v,根据应用规则,由上述3项数值判定遮挡的严重程度的具体步骤包括:
5-1)如图5(a)所示,这是最常见的典型树叶遮挡情况,在道路的视觉通道方向出现了树叶,由于三维空间中物体位置的视觉深度差异,使得视频观察者可以在二维平面中直观感受到遮挡效果。以R_cover为核心指标,当其大于遮挡阈值T1时,可判定为存在遮挡;在本具体实施例中,两者重叠面积占道路(梯形)面积的约17%,达到阈值T1;且这例场景在本实验的样本分级中属于二级严重遮挡程度,算法检测结果符合主观认知,因此可判定为存在遮挡。
5-2)如图5(b)所示,这是另一种树叶遮挡情况,模型检测结果显示树叶并没有出现在道路的视觉通道方向上,但视频观察者仍然可以感受到遮挡效果的存在,却不适用步骤5-1)的规则来判定。当R_cover小于遮挡阈值T1时,若R_leaf/R_road>=1,且R_road小于道路识别阈值T2时,可判定为存在遮挡;在此例中,树叶面积大于道路(梯形)面积,且道路(梯形)面积占整个场景面积的约19%,小于阈值T2,因此可判定为疑似遮挡。
本次实验中,根据对5级遮挡程度的269例样本图像库检测结果统计,遮挡阈值T1的推荐最小值为0.12;道路识别阈值T2的推荐最大值为0.32。
本领域技术人员清楚,上述阈值的具体数值可根据样本训练方法和监控应用需求进行调整,不构成对本发明的限定。
最后需要说明的是,以上所述仅为本发明的优选实施例而已,并不用于限制本发明,尽管按照前述实施例对本发明进行了详细的说明,对于本领域的技术人员来说,其依然可以对前述实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (7)
1.道路区域监控视频被树叶遮挡的检测方法,其特征在于,包括以下步骤:
步骤i、对Mask R-CNN网络模型的道路区域输出控制部分代码进行优化;
步骤ii、对优化后网络模型预训练;使用预训练后网络模型检测输出道路区域凸包和树叶目标凸包,获得其中道路区域凸包的外接矩形;
步骤iii、根据道路区域凸包两边有无明显的截痕形态,分别拟合出完整梯形或带有一侧垂直截边的梯形,得到道路区域位置;
步骤iv、分别获取道路区域和树叶目标分别在整个图像中的面积占比,并计算两者的重叠区域在道路区域中的面积占比;
步骤v、根据统计经验规则,判定是否存在遮挡。
2.根据权利要求1所述的道路区域监控视频被树叶遮挡的检测方法,其特征在于,所述步骤i,对Mask R-CNN网络模型的道路区域输出控制部分代码进行优化的具体步骤包括:
1-1)树叶模型输出控制部分代码不做变更;
1-2)将道路模型的颜色渲染饱和度增强到100%,将分割后的道路目标区域颜色定义为白色,非目标区域全部为黑色,并去掉目标区域边框线,排除潜在误差;
1-3)使用默认的树叶模型对输入图片进行检测;
1-4)使用经过上述优化后的道路模型对同一输入图片进行检测。
3.根据权利要求2所述的道路区域监控视频被树叶遮挡的检测方法,其特征在于,所述步骤ii,使用预训练后网络模型检测输出道路区域凸包和树叶目标凸包,获得其中道路区域凸包的外接矩形的具体步骤包括:
2-1)对树叶模型检测所得图片,图片面积设为S_pic,统计图片中的所有树叶目标凸包累计面积S2;
2-2)对道路模型检测所得图片进行二值化处理,选择面积最大的道路区域凸包,并将其面积记为S1;
2-3)以二值化图片左上角为原点,将最大道路区域凸包所包含全部像素点的横、纵坐标,存于矩阵Array[X,Y],并筛选max(X)、min(X)以及max(Y)、min(Y),根据此4个坐标位可得到道路区域凸包的外接矩形。
4.根据权利要求3所述的道路区域监控视频被树叶遮挡的检测方法,其特征在于,所述步骤iii,根据道路区域凸包两边有无明显的截痕形态,分别拟合出完整梯形或带有一侧垂直截边的梯形的具体步骤包括:
3-1)统计出左截边长L_left和右截边长L_right的值,具体做法是:
在像素点的矩阵[X,Y]中,获取当X=min(X)时的min(Y)和max(Y),则L_left=max(Y)-min(Y);同理获取当X=max(X)时的min(Y)和max(Y),则L_right=max(Y)-min(Y);
预设有效截边长度与道路区域凸包外接矩形高度H的相关参数为d,若L_left>L_right并且L_left>H/d,则判定为有截痕,截边在左侧,截边长为L_left;若L_right>L_left并且L_right>H/d,则判定有截痕,截边在右侧,截边长为L_right;否则判定为无截痕,截边长度L_left或L_right无效;参数d的经验值范围是2.6<=d<=4;
3-2)若L_left和L_right均无效,则将凸包调整为一个完整梯形,在保证面积不变,即拟合梯形面积S=凸包面积S1的情况下,确定梯形的位置,具体做法是:
将A、B、C、D分别记为(m1,y1),(m2,y1),(n1,y3),(n2,y3);
根据梯形计算公式
根据目标梯形与道路区域凸包外接矩形的位置关系,y1,y3,n1,n2已知,代入上式可计算出(m2-m1)的值,即梯形的上底边AB的长度;
在该坐标矩阵[X,Y]中寻找min(Y),也就是道路区域凸包顶端相对应的max(X)与min(X),计算其平均值作为拟合梯形的上底中心点横坐标X_mid,则X_mid=(max(X)+min(X))/2,根据上底中心点的横坐标X_mid,则能够计算出m1,m2的值,确定目标梯形位置;
3-3)若L_left或L_right有效,则将凸包调整为一个带有一侧垂直截边的梯形,在保证面积不变,即拟合梯形面积S=道路区域凸包面积S1的情况下,确定梯形的位置,具体做法是:
A、B、C、D、E分别记为(m1,y1),(m2,y1),(n1,y3),(n2,y3),(n1,y2);
根据步骤3-1)中已获得的截边长度,计算y2=y3-截边长;
面积S则为梯形ABCD和三角形ACE的面积之和,则根据公式
根据目标梯形与道路区域凸包外接矩形的位置关系,y1,y3,n1,n2已知,代入上式可计算出(m2-m1)的值,即梯形的上底边AB的长度;在该坐标矩阵[X,Y]中寻找min(Y),也就是道路区域凸包顶端相对应的max(X)与min(X),计算其平均值作为拟合梯形的上底中心点横坐标X_mid,则X_mid=(max(X)+min(X))/2,根据上底中心点的横坐标X_mid,则能够计算出m1,m2的值,确定目标梯形位置。
5.根据权利要求4所述的道路区域监控视频被树叶遮挡的检测方法,其特征在于,所述步骤iv,获取道路区域和树叶目标分别在整个图像中的面积占比,并计算两者的重叠区域在道路区域中的面积占比的具体步骤包括:
4-1)依据步骤2-1)中得到的树叶目标凸包的累计面积S2,计算树叶面积在整个监控场景中的占比,R_leaf=S2/S_pic;
4-2)依据步骤2-2)中得到的道路区域凸包面积S1,计算道路面积在整个监控场景中的占比,R_road=S1/S_pic;
4-3)统计树叶目标凸包与步骤3-2)或3-3)中拟合梯形的重叠区域面积S_com,并计算该部分在梯形中的占比,R_cover=S_com/S。
6.根据权利要求5所述的道路区域监控视频被树叶遮挡的检测方法,其特征在于,所述步骤v,根据以下经验规则判定是否存在遮挡:
5-1)以R_cover为核心指标,当R_cover大于遮挡阈值T1时,判定为存在遮挡;
5-2)当R_cover小于遮挡阈值T1时,若R_leaf/R_road>=1,且R_road小于道路识别阈值T2时,判定为存在遮挡。
7.根据权利要求6所述的道路区域监控视频被树叶遮挡的检测方法,其特征在于,所述遮挡阈值T1的最小取值为0.12;道路识别阈值T2的最大取值为0.32。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810512392.8A CN108805042B (zh) | 2018-05-25 | 2018-05-25 | 道路区域监控视频被树叶遮挡的检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810512392.8A CN108805042B (zh) | 2018-05-25 | 2018-05-25 | 道路区域监控视频被树叶遮挡的检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108805042A true CN108805042A (zh) | 2018-11-13 |
CN108805042B CN108805042B (zh) | 2021-10-12 |
Family
ID=64091795
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810512392.8A Active CN108805042B (zh) | 2018-05-25 | 2018-05-25 | 道路区域监控视频被树叶遮挡的检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108805042B (zh) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110399785A (zh) * | 2019-05-31 | 2019-11-01 | 安徽四创电子股份有限公司 | 一种基于深度学习与传统算法的树叶遮挡的检测方法 |
CN110516524A (zh) * | 2019-06-26 | 2019-11-29 | 东南大学 | 一种交通场景中基于Mask R-CNN的车辆轴数识别方法 |
CN110910360A (zh) * | 2019-11-14 | 2020-03-24 | 腾讯云计算(北京)有限责任公司 | 电网图像的定位方法和图像定位模型的训练方法 |
CN111414976A (zh) * | 2020-04-16 | 2020-07-14 | 北京航空航天大学青岛研究院 | 一种山地松材线虫病树处置难度的简易分级方法 |
CN111754461A (zh) * | 2020-05-28 | 2020-10-09 | 江苏理工学院 | 半导体芯片图像字符区域的定位方法、装置 |
CN111899202A (zh) * | 2020-05-19 | 2020-11-06 | 武汉东智科技股份有限公司 | 一种视频图像中叠加时间字符的增强方法 |
CN112541896A (zh) * | 2020-12-14 | 2021-03-23 | 湖南镭目科技有限公司 | 一种炉口堆渣情况辨识方法及系统 |
WO2021114866A1 (zh) * | 2019-12-13 | 2021-06-17 | 苏州科达科技股份有限公司 | 遮挡图像检测方法、装置、电子设备及存储介质 |
CN113283378A (zh) * | 2021-06-10 | 2021-08-20 | 合肥工业大学 | 一种基于梯形区域归一化像素差异特征的猪脸检测方法 |
CN114283454A (zh) * | 2021-12-29 | 2022-04-05 | 重庆紫光华山智安科技有限公司 | 位置关系映射模型的训练方法及相关装置 |
CN115953418A (zh) * | 2023-02-01 | 2023-04-11 | 公安部第一研究所 | 安检ct三维图像中笔记本区域剥离方法、存储介质及设备 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5448484A (en) * | 1992-11-03 | 1995-09-05 | Bullock; Darcy M. | Neural network-based vehicle detection system and method |
CN103310218B (zh) * | 2013-05-21 | 2016-08-10 | 常州大学 | 一种重叠遮挡果实精确识别方法 |
CN107533803A (zh) * | 2015-04-23 | 2018-01-02 | 日产自动车株式会社 | 遮挡控制装置 |
CN107730905A (zh) * | 2017-06-13 | 2018-02-23 | 银江股份有限公司 | 基于深度卷积神经网络的多任务套牌车辆视觉检测系统及方法 |
CN108052917A (zh) * | 2017-12-25 | 2018-05-18 | 东南大学 | 一种基于新旧时相变化发现的违章建筑自动识别的方法 |
CN108062542A (zh) * | 2018-01-12 | 2018-05-22 | 杭州智诺科技股份有限公司 | 被遮挡的人脸的检测方法 |
-
2018
- 2018-05-25 CN CN201810512392.8A patent/CN108805042B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5448484A (en) * | 1992-11-03 | 1995-09-05 | Bullock; Darcy M. | Neural network-based vehicle detection system and method |
CN103310218B (zh) * | 2013-05-21 | 2016-08-10 | 常州大学 | 一种重叠遮挡果实精确识别方法 |
CN107533803A (zh) * | 2015-04-23 | 2018-01-02 | 日产自动车株式会社 | 遮挡控制装置 |
CN107730905A (zh) * | 2017-06-13 | 2018-02-23 | 银江股份有限公司 | 基于深度卷积神经网络的多任务套牌车辆视觉检测系统及方法 |
CN108052917A (zh) * | 2017-12-25 | 2018-05-18 | 东南大学 | 一种基于新旧时相变化发现的违章建筑自动识别的方法 |
CN108062542A (zh) * | 2018-01-12 | 2018-05-22 | 杭州智诺科技股份有限公司 | 被遮挡的人脸的检测方法 |
Non-Patent Citations (4)
Title |
---|
YADONG XUE等: "A Fast Detection Method via Region‐Based Fully Convolutional Neural Networks for Shield Tunnel Lining Defects", 《COMPUTER‐AIDED CIVIL AND INFRASTRUCTURE ENGINEERING》 * |
张玉颖等: "基于梯形模型和支撑向量机的非结构化道路检测", 《计算机工程与应用》 * |
李涛: "面向安防监控视频异物遮挡检测的方法与应用研究", 《万方数据知识服务平台》 * |
袁渊: "面向安防监控视频树叶遮挡检测研究", 《中国优秀硕士学位论文全文数据库》 * |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110399785B (zh) * | 2019-05-31 | 2021-04-06 | 安徽四创电子股份有限公司 | 一种基于深度学习与传统算法的树叶遮挡的检测方法 |
CN110399785A (zh) * | 2019-05-31 | 2019-11-01 | 安徽四创电子股份有限公司 | 一种基于深度学习与传统算法的树叶遮挡的检测方法 |
CN110516524A (zh) * | 2019-06-26 | 2019-11-29 | 东南大学 | 一种交通场景中基于Mask R-CNN的车辆轴数识别方法 |
CN110910360A (zh) * | 2019-11-14 | 2020-03-24 | 腾讯云计算(北京)有限责任公司 | 电网图像的定位方法和图像定位模型的训练方法 |
WO2021114866A1 (zh) * | 2019-12-13 | 2021-06-17 | 苏州科达科技股份有限公司 | 遮挡图像检测方法、装置、电子设备及存储介质 |
CN111414976B (zh) * | 2020-04-16 | 2023-04-07 | 北京航空航天大学青岛研究院 | 一种山地松材线虫病树处置难度的简易分级方法 |
CN111414976A (zh) * | 2020-04-16 | 2020-07-14 | 北京航空航天大学青岛研究院 | 一种山地松材线虫病树处置难度的简易分级方法 |
CN111899202A (zh) * | 2020-05-19 | 2020-11-06 | 武汉东智科技股份有限公司 | 一种视频图像中叠加时间字符的增强方法 |
CN111899202B (zh) * | 2020-05-19 | 2024-03-15 | 武汉东智科技股份有限公司 | 一种视频图像中叠加时间字符的增强方法 |
CN111754461A (zh) * | 2020-05-28 | 2020-10-09 | 江苏理工学院 | 半导体芯片图像字符区域的定位方法、装置 |
CN111754461B (zh) * | 2020-05-28 | 2024-03-01 | 江苏理工学院 | 半导体芯片图像字符区域的定位方法、装置 |
CN112541896A (zh) * | 2020-12-14 | 2021-03-23 | 湖南镭目科技有限公司 | 一种炉口堆渣情况辨识方法及系统 |
CN112541896B (zh) * | 2020-12-14 | 2023-04-07 | 湖南镭目科技有限公司 | 一种炉口堆渣情况辨识方法及系统 |
CN113283378A (zh) * | 2021-06-10 | 2021-08-20 | 合肥工业大学 | 一种基于梯形区域归一化像素差异特征的猪脸检测方法 |
CN113283378B (zh) * | 2021-06-10 | 2022-09-27 | 合肥工业大学 | 一种基于梯形区域归一化像素差异特征的猪脸检测方法 |
CN114283454A (zh) * | 2021-12-29 | 2022-04-05 | 重庆紫光华山智安科技有限公司 | 位置关系映射模型的训练方法及相关装置 |
CN115953418A (zh) * | 2023-02-01 | 2023-04-11 | 公安部第一研究所 | 安检ct三维图像中笔记本区域剥离方法、存储介质及设备 |
CN115953418B (zh) * | 2023-02-01 | 2023-11-07 | 公安部第一研究所 | 安检ct三维图像中笔记本区域剥离方法、存储介质及设备 |
Also Published As
Publication number | Publication date |
---|---|
CN108805042B (zh) | 2021-10-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108805042A (zh) | 道路区域监控视频被树叶遮挡的检测方法 | |
CN110246108B (zh) | 一种图像处理方法、装置及计算机可读存储介质 | |
CN107045629B (zh) | 一种多车道线检测方法 | |
CN107750370B (zh) | 用于确定图像的深度图的方法和装置 | |
US7321668B2 (en) | Object detection apparatus, object detection method and computer program product | |
CN103093210B (zh) | 人脸识别中眼镜的鉴别方法及装置 | |
CN109255350B (zh) | 一种基于视频监控的新能源车牌检测方法 | |
CN109635758A (zh) | 智慧工地基于视频的高空作业人员安全带穿戴检测方法 | |
CN103049787A (zh) | 一种基于头肩特征的人数统计方法和系统 | |
CN103902958A (zh) | 人脸识别的方法 | |
KR20110014067A (ko) | 스테레오 컨텐트의 변환 방법 및 시스템 | |
KR20150092546A (ko) | 무해 프레임 필터 및 이를 포함하는 유해 영상 차단 장치, 무해 프레임을 필터링하는 방법 | |
CN114820417A (zh) | 图像异常检测方法、装置、终端设备和可读存储介质 | |
CN112818938B (zh) | 一种自适应光照干扰环境的人脸识别算法及人脸识别装置 | |
CN112115878B (zh) | 一种基于烟雾区域密度的森林火灾烟雾根节点检测方法 | |
CN107644538A (zh) | 交通信号灯的识别方法及装置 | |
CN103049748B (zh) | 行为监测方法及装置 | |
WO2024108971A1 (zh) | 用于车辆底盘腐蚀评估的agv系统 | |
CN101853500A (zh) | 一种彩色多聚焦图像融合方法 | |
CN108875589B (zh) | 一种道路区域的视频检测方法 | |
CN107977941A (zh) | 一种明亮区域色彩保真及对比度增强的图像去雾方法 | |
CN105631868A (zh) | 一种基于图像分类的深度信息提取方法 | |
CN112364884A (zh) | 一种移动物体侦测的方法 | |
CN110956616A (zh) | 一种基于立体视觉的目标检测方法及系统 | |
CN114463814B (zh) | 一种基于图像处理的快速证件照眼镜检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Detection method of Road area surveillance video obscured by leaves Effective date of registration: 20220224 Granted publication date: 20211012 Pledgee: Wuhan area branch of Hubei pilot free trade zone of Bank of China Ltd. Pledgor: WUHAN EASTWIT TECHNOLOGY CO.,LTD. Registration number: Y2022420000047 |