CN113177439B - 一种行人翻越马路护栏检测方法 - Google Patents
一种行人翻越马路护栏检测方法 Download PDFInfo
- Publication number
- CN113177439B CN113177439B CN202110378581.2A CN202110378581A CN113177439B CN 113177439 B CN113177439 B CN 113177439B CN 202110378581 A CN202110378581 A CN 202110378581A CN 113177439 B CN113177439 B CN 113177439B
- Authority
- CN
- China
- Prior art keywords
- guardrail
- module
- lower edge
- image
- human body
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 40
- 238000000034 method Methods 0.000 claims abstract description 30
- 238000003709 image segmentation Methods 0.000 claims abstract description 13
- 238000004458 analytical method Methods 0.000 claims abstract description 8
- 230000006870 function Effects 0.000 claims description 30
- 230000011218 segmentation Effects 0.000 claims description 24
- 238000010586 diagram Methods 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims description 12
- 230000004927 fusion Effects 0.000 claims description 10
- 238000003384 imaging method Methods 0.000 claims description 10
- 238000002372 labelling Methods 0.000 claims description 9
- 238000012544 monitoring process Methods 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 9
- 238000011176 pooling Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 7
- 238000003708 edge detection Methods 0.000 claims description 6
- 230000005284 excitation Effects 0.000 claims description 6
- 230000006399 behavior Effects 0.000 claims description 5
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 241000208340 Araliaceae Species 0.000 claims description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims description 2
- 235000003140 Panax quinquefolius Nutrition 0.000 claims description 2
- 230000002159 abnormal effect Effects 0.000 claims description 2
- 239000000284 extract Substances 0.000 claims description 2
- 235000008434 ginseng Nutrition 0.000 claims description 2
- 238000013519 translation Methods 0.000 claims description 2
- 101100295091 Arabidopsis thaliana NUDT14 gene Proteins 0.000 claims 2
- 238000010606 normalization Methods 0.000 claims 1
- 230000008569 process Effects 0.000 abstract description 6
- 238000012423 maintenance Methods 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 abstract description 2
- 238000013135 deep learning Methods 0.000 abstract 1
- 238000012805 post-processing Methods 0.000 abstract 1
- 230000036544 posture Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000003631 expected effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 241000282326 Felis catus Species 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000013100 final test Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000010008 shearing Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种行人翻越马路护栏检测方法，该方法利用深度学习网络对于视频流信息进行处理，从而检测行人翻越马路护栏事件的发生。该方法包括如下步骤：(1)使用图像分割模型进行马路护栏边沿检测；(2)用一个训练好的分类器实现图像分割后处理，精修下边沿信息；(3)基于目标检测技术，对人体外接矩形进行检测；(4)检测结果分析，包括利用摄像机图像的二维信息推断目标在三维世界内的位置情况。本发明显著降低了行人翻越马路护栏检测的部署难度，并实现系统的自动化调整，降低了维护难度。
Description
技术领域
本发明属于计算机视觉领域，尤其涉及一种行人翻越马路护栏检测方法。
背景技术
近年来，监控技术的发展使得对行人翻越马路护栏的检测与识别成为可能。行人翻越马路护栏，不仅对道路秩序产生影响，而且危及自身生命。自动化的行人翻越马路护栏检测能够通过对大量道路实时监控，获得行人的相关信息，对行人翻越马路护栏具有劝阻作用，也便于交通管理部门进行进一步处理。
行人翻越马路护栏检测目前采用的主流方法是使用具有感应功能的护栏。当护栏感知到行人的翻越动作时，采取动作阻止行人翻越，或者发出警告。此类护栏相比传统护栏具有制造成本高，部署成本高，维护成本高的特点，并不能够提供翻越者的相关身份信息。因此，此类护栏不利于大规模部署。而基于监控视频流的行人马路违规行为检测，尽管部署简单，获取信息丰富，却大多基于传统的图像生态学，这些方法在特征选取上往往显得过于简单，造成在实际使用时错误率较高；另一些使用了行为检测等算法，算法很先进，但是对应的计算开销较大，部署花费较大。
发明内容
发明目的：为了解决行人翻越马路护栏检测的问题，本发明提供一种行人翻越马路护栏检测方法，包括如下步骤：
步骤1，获取监控摄像头采集的视频流，使用图像分割网络Fence-Net检测视频流中护栏所占据的区域，将视频流所有像素区域分为两类：护栏像素区域、非护栏像素区域；
步骤2，对步骤1所得区域进行异常值去除处理，获取护栏下边沿的边界；
步骤3，将视频流每一帧转化为图像，对每一帧进行处理，获取人体外接矩形框；
步骤4，根据步骤2中所得护栏下边沿的边界，和步骤3中所得人体外接矩形框，进行检测结果分析，判断视频帧中是否出现行人翻越马路护栏的行为。
步骤2包括：
步骤1中，所述图像分割网络Fence-Net包括Base Stream基础特征流模块、Contour Stream轮廓特征流模块和Fusion Module融合模块；
所述Base Stream模块用于提取图像特征；
所述Contour Stream模块用于提取各个物体的边缘特征；
所述Fusion Module模块包括ASPP空洞空间卷积池化金字塔模块。
所述Contour Stream模块首先由两个以上的1*1的卷积层负责优化Base Stream模块提取出的图像特征，并对特征图的通道数进行相应的优化，此后，由两个以上SE-ResNet Module压缩激发残差模块以及Gated Conv Layer门卷积层间隔连接，形成ContourStream模块的剩余部分，其中SE-ResNet Module负责对特征图的质量进行进一步优化，Gated Conv Layer则负责将Contour Stream模块的注意力集中在检测物体的轮廓与形状上。
所述SE-ResNet Module通过吸取残差模块Res-Block残差块与SE-Block压缩激发块的特性，将不同层次的特征进行了融合，并将同一层次的特征在通道维度上进行权重赋值。
所述Gated Conv Layer通过结合神经网络中间层特征图以及图像梯度图这两者的信息，对图像内物体的边缘形状进行抽取，并通过BatchNorm批标准化操作，提高了模型的收敛速度。
所述ASPP模块执行如下步骤：
步骤a1，将Contour Stream模块输出的边缘特征缩小，使得其大小与Base Stream模块输出的特征图相同，接着进行1*1卷积，获得1个通道数为256的特征图；
步骤a2，将Base Stream模块输出的特征图进行全局平均池化，再进行1*1卷积，最后再将特征图放大回目标尺寸，获得一个通道数等于256的特征图；
步骤a3，利用四种不同扩张率的空洞卷积层(1，6，12，18)对Base Stream模块输出的特征图进行卷积，获得4个特征图，四个特征图的通道数都为256；
步骤a4，将步骤a1，、步骤a2和步骤a3得到的共6个特征图进行通道拼接，得到最终输出。
所述图像分割网络Fence-Net的损失函数包括多任务学习损失函数和正则化损失函数；其中多任务学习损失函数计算模型预测与真实标签的差，正则化损失函数计算模型预测边界与真实边界的区别；
多任务学习损失函数计算公式如下：
其中λ1和λ2为超参，s表示边缘检测结果，表示边缘检测的真实标签，f表示语义分析结果，/>表示语义分析的真实标签，/>为二值交叉熵函数，/>为交叉熵函数；
正则化损失函数计算公式如下：
其中，为语义分割预测结果边界与语义分割真实标签边界之间的差别；
为边缘检测预测结果(预测的各物体的边界)与语义分割预测结果边界之间的差别；
计算方法具体为：
根据语义分割，计算其边界ζ：
其中为一个函数，其值为：使得函数p(yk∣r,s)取最大值的k；
p(yk∣r,s)为第k类的语义分割结果，其中yk为根据预测结果，每个像素点属于第k类的可能性，r,s分别为Regular Stream的输出和Shape Stream的输出，G是高斯滤波；
根据预测与真实分割结果得到的边界，计算差别：
其中p+为所有非0的像素点坐标，λ3为超参，ζ(p+)为根据上文中ζ的公式算出的所有p+的边界，为根据ζ的公式和真实标签算出的真实分割结果的边界；
计算方法具体为：
其中，是对于每个像素点预测其为第k类的可能性，/>是真实标签中该点为第k类的可能性(若是则为1，否则为0)；/>是一个指示变量，thrs是一个阈值，在一种具体实施例中取值为0.8，λ4为超参。
步骤2.1，从步骤1得到的护栏像素区域中获取马路护栏区域的粗糙下边沿；
步骤2.2，根据步骤2.1所得粗糙下边沿的坐标信息自动计算下边沿所占据区域的外接矩形区域；
步骤2.3，在步骤2.2所得外接矩形区域中随机选取图像像素点样本，根据步骤1的结果，此时的样本种类一共有两种：护栏像素、非护栏像素；
步骤2.4，根据步骤2.3选取的图像像素点样本，训练一种分类器，用来去除步骤1中可能产生的异常点；
步骤2.5，使用步骤2.4所述分类器对步骤2.2所得外接矩形区域内的每个像素点进行预测，预测结果为像素点是否为护栏像素；
步骤2.6，获取步骤2.5所得预测结果，根据预测结果获取护栏下边沿像素点集合。
步骤3包括：
步骤3.1，准备人体数据集：摄像头角度覆盖平视、俯视；摄像头距离覆盖远距离、中距离、近距离；拍摄地点覆盖学校、都市等多种地点场景；人体姿势覆盖：站立、摔倒、步行等不同姿势采集数据集I；
步骤3.2，对数据集I进行人为标注：对被部分遮挡的人体使用预测性的标注方式，推断其被遮挡部分的形态并依照推断结果进行标注；
步骤3.3，数据增强：对数据集I进行放大，缩小，旋转，平移，视角变换，croprefine(随机剪切)，advanced fusion(若干张图像透明化后再叠加)操作，进一步扩充数据集；
步骤3.4，构建目标检测网络并在步骤3.3所得数据集I中训练目标检测网络；
步骤3.5，将步骤1中视频流的每一帧转化为图像；
步骤3.6，对每一帧步骤3.5所得的图像使用步骤3.4所得的目标检测网络进行检测，得到人体外接矩形框。
步骤4包括：
步骤4.1，将护栏下边沿像素点集合记为S，设定集合S中共有n个点，xi为第i个点的横坐标，yi为第i个点的纵坐标，则集合S中的第i个点表示为(xi,yi)，集合S表示为：S＝{(x1,y1),(x2,y2),…,(xn,yn)}；
步骤4.2，对获取的每个人体外接矩形框进行如下操作：
将人体外接矩形框y方向最小值记为ymin，最大值记为ymax；x方向最小值记为xmin，最大值记为xmax，取(xmin,ymax)到(xmax,ymax)的连线作为表示人体下边缘的线段；
以监控摄像头为原点建立坐标系，以纵深方向为Z轴，水平方向为X轴，竖直方向为Y轴，令成像平面为zimage＝1(Z轴坐标为1)，则一点(x为X轴上的坐标，y为Y轴上的坐标，z为Z轴上的坐标)在成像平面上的投影位置/>
设定地面是一个平面，令平面方程为z＝ax+by+c，其中a,b,c为实数系数，使得任何满足平面方程的点为地面上一点；要求摄像机位置不在地面上，则/>不是z＝ax+by+c上一点，则c≠0；
设定坐标为(xi,yi)的点在现实中所对应的点坐标为设定(xmin,ymax)与(xmax,ymax)之间与(xi,yi)重合的点在现实中坐标为/>并有/>和/>
都是成像平面前的点，则有z1≥1和z2≥1；
并且和/>在成像平面上的投影为同一个点，/>因为/>则得到：
x1y2＝x2y1
因为为地面上两点，z1＝ax1+by1+c并且z2＝ax2+by2+c；
对于两点的x坐标：
ax1x2+bx1y2+cx1＝ax1x2+bx2y1+cx2
b(x1y2-x2y1)＝c(x2-x1)
0＝c(x2-x1)
x2＝x1
对于两点的y坐标：
ax2y1+by1y2+cy1＝ax1y2+by1y2+cy2
a(x2y1-x1y2)＝c(y2-y1)
0＝c(y2-y1)
y2＝y1
因为z1＝ax1+by1+c，z2＝ax2+by2+c，x1＝x2和y1＝y2，能够得到z1＝z2；
因为所以/>
所以和/>是现实中坐标相同的两点；
由于人体下边缘与护栏下边沿都处于地面上，其坐标在图像上重合即代表人体在现实空间中与护栏触碰。
有益效果：
本发明对比已有技术具有以下显著优点：
1、图像分割实现系统的自动化调整，降低了维护难度；
2、使用目标检测提高了系统的实时性，并降低了计算成本；
3、对2D数据的分析提高了判断的准确度；
4、预测性的标注方法显著提高了目标检测的精度，进而提高了系统判断的精度。
附图说明
下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述和/或其他方面的优点将会变得更加清楚。
图1是本发明方法流程示意图。
图2是本发明对最终检测结果进行分析的示意图。
图3是本发明用于检测护栏边沿的深度神经网络Fence-Net的结构图。
图4是Fence-Net的组件SE-ResNet Module的结构图。
图5是Fence-Net的组件Gated Conv Layer的结构图。
图6是Fence-Net的组件ASPP模块的结构图。
图7是本发明用于检测人体外接矩形框的人体检测网络获取流程示意图。
具体实施方式
实施例1检测过程及原理
图1所示的是本发明一实施流程图。获取马路上的摄像头采集的监控视频流后，按照如下步骤进行：
步骤1、将视频流中的第一帧转化为图像，通过图像分割算法提取马路护栏所占据的区域。
步骤2、对步骤1所得区域进行异常值去除处理，获取护栏下边沿的平滑边界。
如果所获取边界结果与人工判断不符，则可以选择人工标注视频中马路护栏下边界。
步骤3、将视频流每一帧转化为图像，通过目标检测算法对每一帧进行处理，获取人体外接矩形框；
步骤4、根据步骤2中所得护栏下边沿边界，和步骤3中所得人体外接矩形框，进行检测结果分析，判断此帧中是否出现行人翻越马路护栏的行为；
进一步的，所述的步骤2的具体过程如下：
2.1获取原始图像分割结果中，马路护栏区域的粗糙下边沿；
2.2框选步骤2.1所得粗糙下边沿所占据区域的外接矩形区域；
2.3在步骤2.2所得矩形区域中随机选取样本，样本为马路护栏区域内或马路护栏区域外。
2.4训练一种分类器(例如支持向量机、逻辑回归、浅层神经网络等)对步骤2.3所得样本进行分类。
2.5使用步骤2.4所得分类器对步骤2.2所得矩形区域进行预测，预测结果为是否处于马路护栏区域内；
2.6获取步骤2.5所得预测结果下边沿，则结果为护栏下边沿的平滑边界；
进一步的，所述的步骤3的具体过程如下：
3.1准备人体数据集：从多个角度，多个场景采集多种人体姿态数据集I；
3.2对步骤3.1获取的数据集I进行标注。具体的，对被部分遮挡的人体使用预测性的标注方式，推断其被遮挡部分的形态并依照推断结果进行标注；
3.3数据增强：对步骤3.1获取的数据集I进行放大，缩小，旋转，平移，视角变换，crop refine，advanced fusion等多种数据增强手段，进一步扩充数据集；
3.4构建目标检测网络并在步骤3.3所得数据集I中训练目标检测网络；
3.5将视频每一帧转化为图像；
3.6对每一帧步骤3.5所得的图像使用步骤3.4所得的目标检测网络进行检测，得到人体外接矩形框；
进一步的，如图2所示，所述的步骤4的具体过程如下：
4.1将获取的马路护栏下边沿点集记为S＝{(x1,y1),(x2,y2),…,(xn,yn)}.
4.2对获取的每个人体外接矩形框进行如下操作：
将获取的人体外接矩形框y方向最小值记为ymin，最大值记为ymax；x方向最小值记为xmin，最大值记为xmax，取(xmin,ymax)-(xmax,ymax)作为表示人体下边缘的线段。
若人体下边缘与护栏下边缘在现实空间中发生触碰，则报告存在翻越护栏行为。具体判断方式为：若存在(xi,yi)在(xmin,ymax)与(xmax,ymax)之间，则人体下边缘一点与护栏下边沿在现实中重合，即发生了上述触碰。具体证明如下：
以监控摄像头为原点建立坐标系，以纵深方向为z轴，水平方向为x轴，竖直方向为y轴。令成像平面为z＝1.那么一点在成像平面上的投影位置/>
假设地面是一个平面，令其公式为z＝ax+by+c.要求摄像机位置不在地面上，则不是z＝ax+by+c上一点，则c≠0。
称(xi,yi)在现实中所对应的点坐标为令(xmin,ymax)与(xmax,ymax)之间与(xi,yi)重合的点现实中坐标为/>并有/>和/>
那么都是成像平面前的点，则有z1≥1和z2≥1。
并且和/>在成像平面上的投影为同一个点，也就是/>需要证明的是
因为易得/>则
x1y2＝x2y1
因为为地面上两点，z1＝ax1+by1+c并且z2＝ax2+by2+c.
对于两点的x坐标
ax1x2+bx1y2+cx1＝ax1x2+bx2y1+cx2
b(x1y2-x2y1)＝c(x2-x1)
0＝c(x2-x1)
x2＝x1
对于两点的y坐标
ax2y1+by1y2+cy1＝ax1y2+by1y2+cy2
a(x2y1-x1y2)＝c(y2-y1)
0＝c(y2-y1)
y2＝y1
因为z1＝ax1+by1+c，z2＝ax2+by2+c，x1＝x2和y1＝y2，能够得到z1＝z2.
因为所以/>
所以和/>是现实中坐标相同的两点。
因此，由于人体下边缘与护栏下边沿都处于地面上，其坐标在图像上重合即代表人体在现实空间中与护栏触碰。
实施例2图像分割网络Fence-Net
图像分割网络Fence-Net基本结构如图3所示，主要分为三个部分：Base Stream、Contour Stream、Fusion Module。本网络设计思路基于已发表论文：Gated-SCNN:GatedShape CNNs for Semantic Segmentation ICCV,2019。
1.Base Stream
Fence-Net的Base Stream基础特征流模块提供抽取图像特征的基础能力。BaseStream模块可由VGG-Net、ResNet-18、ResNet-34、ResNet-50、ResNet-101、ResNet-152、WideResnet、DenseNet等支柱网络(Backbone)替代。在本发明中，Fence-Net的Base Stream模块使用了ResNet-101网络，经过在训练集上的反复调优，达到了一个理想的参数状态。
2.Contour Stream
Fence-Net的Contour Stream轮廓特征流模块专注于提取各个物体的边缘特征。如图2所示，Contour Stream模块首先由若干个CONV 1*1 1*1的卷积层负责优化BaseStream模块提取出的图像特征，并对特征图的通道数进行相应的优化。此后，由若干个SE-ResNet Module压缩激发残差模块以及Gated Conv Layer门卷积层间隔连接，形成ContourStream的剩余部分。其中SE-ResNet Module负责对特征图的质量进行进一步优化、提升，而Gated Conv Layer则负责将Contour Stream模块的注意力集中在检测物体的轮廓与形状上，提取出的特征图与Image Gradients图像梯度特征一起作为Contour Stream模块的输出被送入到Fence-Net的下一个模块。
a)SE-ResNet Module
SE-ResNet Module通过吸取Res-Block残差模块与SE-Block压缩激发模块的特性，将不同层次的特征进行了有效融合，并将同一层次的特征在通道维度上进行了权重赋值，使特征表达信息的能力更上一个台阶。SE-ResNet Module的结构如图4所示。
b)Gated Conv Layer
所述Gated Conv Layer通过结合神经网络中间层特征图以及图像梯度图这两者的信息，对图像内物体的边缘形状进行更为精确的抽取，并通过BatchNorm批标准化操作，提高了模型的收敛速度。Gated Conv Layer的结构如图5所示，其中Relu为线性整流函数，Relu和Sigmoid都是机器学习领域广泛使用的激活函数
3.Fusion Module
a)ASPP模块
ASPP(Atrous Spatial Pyramid Pooling)模块，来源于DeepLabv3+，旨在通过不同采样率的空洞卷积获取多尺度特征。如图6所示，此模块可具体分为如下三个部分：
(1)边缘特征：将Contour Stream模块输出的边缘特征利用interpolate插值操作缩小为合适的特征图尺寸，接着进行1*1卷积，获得1个通道数为256的特征图；
(2)整体特征：将Base Stream模块输出的特征图进行adaptive avg pooling自适应平均池化，再进行1*1卷积，最后再将特征图利用interpolate插值操作放大回目标尺寸，获得一个通道数等于256的特征图；
(3)多尺度特征：利用四种不同dilation rate膨胀率的空洞卷积层(1，6，12，18)对Base Stream模块输出的特征图进行卷积，获得4个特征图，四个特征图的通道数都为256,再将这4个特征图进行cat通道拼接操作，获得一个通道数为256*4＝1024的新的特征图；
将(1)、(2)、(3)获得的共6个特征图进行通道拼接，得到最终输出。则最终输出包括了整体特征，边缘特征和多尺度特征。
4.损失函数
模型的损失函数由dualtask loss多任务学习损失函数和regularizationloss正则化损失函数/>组成。其中多任务学习损失函数/>计算模型预测与真实标签的差，而正则化损失函数/>计算模型预测边界与真实边界的区别。
1.多任务学习损失函数
多任务学习损失函数()由对边缘检测结果(s)与真实标签/>计算二值交叉熵损失以及/>对语义分析结果(f)与真实标签/>计算交叉熵两者相加得到。
其中λ1和λ2为超参，分别控制两者的权重。
2.正则化损失函数
正则化损失函数由segmentation loss分割损失函数,预测语义分割边界与真实语义分割边界区别以及edge loss边缘损失函数,边缘检测结果与预测语义分割边界区别/>相加得到
a.其中，的计算方法具体为：
首先根据语义分割，计算其边界：
其中p(yk∣r,s)为k类的语义分割结果，G是高斯滤波。此公式利用argmax将语义分割结果整合为一张segmentation map，并利用高斯滤波对其边缘进行平滑化处理。处理后每个位置的导数大小即为该位置距离边界的接近程度。
根据预测与真实分割结果得到的边界，计算差别
其中p+为所有非0的像素点坐标。ζ(p+)为根据上文中ζ的公式算出的所有p+的边界，为根据ζ的公式和真实标签算出的真实分割结果的边界；边界重合程度越高，则此项越小。
b.类似的，的计算方法具体为
其中，是一个指示变量，thrs是一个阈值。对于预测为边界，并且confidence大于thrs的区域，再次计算分割结果与真实标签的交叉熵。这使模型更注重边界处的细节。
实施例3行人检测网络
如图7所示，对行人检测网络的准备工作具体过程如下：
(1)准备数据集，包括来自网络的公开数据集和自建数据集，总量约1万张图片；
(2)对数据集进行标注，对于被部分遮挡的目标采用预测性的方式，预测其未被遮挡前提下所处的位置进行标注；
(3)将预训练好的模型参数加载到行人检测网络，对行人检测网络进行初始化；
(4)将准备好的数据集经过数据增强后输入行人检测网络，数据增强包括放大，缩小，旋转，平移，视角变换，crop refine，advanced fusion等手段，并使用nominal batch的方式增加批量大小，提高训练后行人检测网络的健壮性，使其不易受到小量异常的干扰。
(5)根据行人检测网络在测试数据上的表现判断是否达到预期效果，若达到则停止训练，否则继续进行步骤4。
(6)依此方法训练后的行人检测网络能够判断行人外接矩形框位置和大小。
本发明提供了一种行人翻越马路护栏检测方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。
Claims (9)
1.一种行人翻越马路护栏检测方法，其特征在于，包括如下步骤：
步骤1，获取监控摄像头采集的视频流，使用图像分割网络Fence-Net检测视频流中护栏所占据的区域，将视频流所有像素区域分为两类：护栏像素区域、非护栏像素区域；
步骤2，对步骤1所得区域进行异常值去除处理，获取护栏下边沿的边界；
步骤3，将视频流每一帧转化为图像，对每一帧进行处理，获取人体外接矩形框；
步骤4，根据步骤2中所得护栏下边沿的边界，和步骤3中所得人体外接矩形框，进行检测结果分析，判断视频帧中是否出现行人翻越马路护栏的行为；
步骤1中，所述图像分割网络Fence-Net包括Base Stream基础特征流模块、ContourStream轮廓特征流模块和Fusion Module融合模块；
所述Base Stream模块用于提取图像特征；
所述Contour Stream模块用于提取各个物体的边缘特征；
所述Fusion Module模块包括ASPP空洞空间卷积池化金字塔模块。
2.根据权利要求1所述的方法，其特征在于，所述Contour Stream模块首先由两个以上的1*1的卷积层负责优化Base Stream模块提取出的图像特征，并对特征图的通道数进行相应的优化，此后，由两个以上SE-ResNet Module压缩激发残差模块以及Gated Conv Layer门卷积层间隔连接，形成Contour Stream模块的剩余部分，其中SE-ResNet Module负责对特征图的质量进行进一步优化，Gated Conv Layer则负责将Contour Stream模块的注意力集中在检测物体的轮廓与形状上。
3.根据权利要求2所述的方法，其特征在于，所述SE-ResNet Module通过吸取残差模块Res-Block残差块与SE-Block压缩激发块的特性，将不同层次的特征进行了融合，并将同一层次的特征在通道维度上进行权重赋值。
4.根据权利要求3所述的方法，其特征在于，所述Gated Conv Layer通过结合神经网络中间层特征图以及图像梯度图这两者的信息，对图像内物体的边缘形状进行抽取，并通过BatchNorm批标准化操作，提高收敛速度。
5.根据权利要求4所述的方法，其特征在于，所述ASPP模块执行如下步骤：
步骤a1，将Contour Stream模块输出的边缘特征缩小，使得其大小与Base Stream模块输出的特征图相同，接着进行1*1卷积，获得1个通道数为256的特征图；
步骤a2，将Base Stream模块输出的特征图进行全局平均池化，再进行1*1卷积，最后再将特征图放大回目标尺寸，获得一个通道数等于256的特征图；
步骤a3，利用四种不同扩张率的空洞卷积层(1，6，12，18)对Base Stream模块输出的特征图进行卷积，获得4个特征图，四个特征图的通道数都为256；
步骤a4，将步骤a1、步骤a2和步骤a3得到的共6个特征图进行通道拼接，得到最终输出。
6.根据权利要求5所述的方法，其特征在于，所述图像分割网络Fence-Net的损失函数包括多任务学习损失函数和正则化损失函数；其中多任务学习损失函数计算模型预测与真实标签的差，正则化损失函数计算模型预测边界与真实边界的区别；
多任务学习损失函数计算公式如下：
其中λ1和λ2为超参，s表示边缘检测结果，表示边缘检测的真实标签，f表示语义分析结果，/>表示语义分析的真实标签，/>为二值交叉熵函数，/>为交叉熵函数；
正则化损失函数计算公式如下：
其中，为语义分割预测结果边界与语义分割真实标签边界之间的差别；
为边缘检测预测结果与语义分割预测结果边界之间的差别；
计算方法具体为：
根据语义分割，计算其边界ζ：
其中为一个函数，其值为：使得函数p(yk∣r,s)取最大值的k；
p(yk∣r,s)为第k类的语义分割结果，其中yl为根据预测结果，每个像素点属于第k类的可能性，r,s分别为Regular Stream的输出和Shape Stream的输出，G是高斯滤波；
根据预测与真实分割结果得到的边界，计算差别：
其中p+为所有非0的像素点坐标，λ3为超参，ζ(p+)为根据上文中ζ的公式算出的所有p+的边界，为根据ζ的公式和真实标签算出的真实分割结果的边界；
计算方法具体为：
其中，是对于每个像素点预测其为第k类的可能性，/>是真实标签中该点为第k类的可能性；/>是一个指示变量，thrs是一个阈值，λ4为超参。
7.根据权利要求6所述的方法，其特征在于，步骤2包括：
步骤2.1，从步骤1得到的护栏像素区域中获取马路护栏区域的粗糙下边沿；
步骤2.2，根据步骤2.1所得粗糙下边沿的坐标信息自动计算下边沿所占据区域的外接矩形区域；
步骤2.3，在步骤2.2所得外接矩形区域中随机选取图像像素点样本，此时的样本种类一共有两种：护栏像素、非护栏像素；
步骤2.4，根据步骤2.3选取的图像像素点样本，训练一种分类器，用来去除异常点；
步骤2.5，使用步骤2.4所述分类器对步骤2.2所得外接矩形区域内的每个像素点进行预测，预测结果为像素点是否为护栏像素；
步骤2.6，获取步骤2.5所得预测结果，根据预测结果获取护栏下边沿像素点集合。
8.根据权利要求7所述的方法，其特征在于，步骤3包括：
步骤3.1，准备人体数据集：采集数据集I；
步骤3.2，对数据集I进行标注：对被部分遮挡的人体使用预测性的标注方式，推断其被遮挡部分的形态并依照推断结果进行标注；
步骤3.3，数据增强：对数据集I进行放大，缩小，旋转，平移，视角变换，crop refine，advanced fusion操作，进一步扩充数据集；
步骤3.4，构建目标检测网络并在步骤3.3所得数据集I中训练目标检测网络；
步骤3.5，将步骤1中视频流的每一帧转化为图像；
步骤3.6，对每一帧步骤3.5所得的图像使用步骤3.4所得的目标检测网络进行检测，得到人体外接矩形框。
9.根据权利要求8所述的方法，其特征在于，步骤4包括：
步骤4.1，将护栏下边沿像素点集合记为S，设定集合S中共有n个点，xi为第i个点的横坐标，yi为第i个点的纵坐标，则集合S中的第i个点表示为(xi,yi)，集合S表示为：S＝{(x1,y1),(x2,y2),…,(xn,yn)}；
步骤4.2，对获取的每个人体外接矩形框进行如下操作：
将人体外接矩形框y方向最小值记为ymin，最大值记为ymax；x方向最小值记为xmin，最大值记为xmax，取(xmin,ymax)到(xmax,ymax)的连线作为表示人体下边缘的线段；
以监控摄像头为原点建立坐标系，以纵深方向为Z轴，水平方向为X轴，竖直方向为Y轴，令成像平面为zimage＝1(Z轴坐标为1)，则一点(x为X轴上的坐标，y为Y轴上的坐标，z为Z轴上的坐标)在成像平面上的投影位置/>
设定地面是一个平面，令平面方程为z＝ax+by+c，其中a,b,c为实数系数，使得任何满足平面方程的点为地面上一点；要求摄像机位置不在地面上，则/>不是z＝ax+by+c上一点，则c≠0；
设定坐标为(xi,yi)的点在现实中所对应的点坐标为设定(xmin,ymax)与(xmax,ymax)之间与(xi,yi)重合的点在现实中坐标为/>并有/>和/>
都是成像平面前的点，则有z1≥1和z2≥1；
并且和/>在成像平面上的投影为同一个点，/>因为/>则/>得到：
x1y2＝x2y1
因为为地面上两点，z1＝ax1+by1+c并且z2＝ax2+by2+c；
对于两点的x坐标：
ax1x2+bx1y2+cx1＝ax1x2+bx2y1+cx2
b(x1y2-x2y1)＝c(x2-x1)
0＝c(x2-x1)
x2＝x1
对于两点的y坐标：
ax2y1+by1y2+cy1＝ax1y2+by1y2+cy2
a(x2y1-x1y2)＝c(y2-y1)
0＝c(y2-y1)
y2＝y1
因为z1＝ax1+by1+c，z2＝ax2+by2+c，x1＝x2和y1＝y2，能够得到z1＝z2；
因为所以/>
所以和/>是现实中坐标相同的两点；
由于人体下边缘与护栏下边沿都处于地面上，其坐标在图像上重合即代表人体在现实空间中与护栏触碰。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110378581.2A CN113177439B (zh) | 2021-04-08 | 2021-04-08 | 一种行人翻越马路护栏检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110378581.2A CN113177439B (zh) | 2021-04-08 | 2021-04-08 | 一种行人翻越马路护栏检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113177439A CN113177439A (zh) | 2021-07-27 |
| CN113177439B true CN113177439B (zh) | 2024-01-26 |
Family
ID=76924762
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110378581.2A Active CN113177439B (zh) | 2021-04-08 | 2021-04-08 | 一种行人翻越马路护栏检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113177439B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113673541B (zh) * | 2021-10-21 | 2022-02-11 | 广州微林软件有限公司 | 一种用于目标检测的图像样本生成方法及应用 |
| CN113901946A (zh) * | 2021-10-29 | 2022-01-07 | 上海商汤智能科技有限公司 | 一种异常行为检测的方法、装置、电子设备及存储介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105780688A (zh) * | 2016-05-26 | 2016-07-20 | 吉林大学 | 十字形交叉口行人安全护栏的设置方法 |
| CN106575425A (zh) * | 2014-09-19 | 2017-04-19 | 英特尔公司 | 经由地理围栏边界段穿越进行的调节 |
| EP3171297A1 (en) * | 2015-11-18 | 2017-05-24 | CentraleSupélec | Joint boundary detection image segmentation and object recognition using deep learning |
| CN107408352A (zh) * | 2015-03-31 | 2017-11-28 | 深圳市大疆创新科技有限公司 | 用于地理围栏装置通信的系统和方法 |
| WO2019086055A2 (zh) * | 2017-11-03 | 2019-05-09 | 华为技术有限公司 | 路口区域路网数据生成方法及装置 |
| CN110517429A (zh) * | 2019-09-10 | 2019-11-29 | 浙江蓝迪电力科技有限公司 | 一种智能电子围栏系统及处理方法 |
| CN110599089A (zh) * | 2019-08-30 | 2019-12-20 | 北京三快在线科技有限公司 | 隔离带位置确定方法、装置、存储介质和电子设备 |
| CN111583229A (zh) * | 2020-05-09 | 2020-08-25 | 江苏野马软件科技有限公司 | 一种基于卷积神经网络路面故障检测方法 |
| CN111986125A (zh) * | 2020-07-16 | 2020-11-24 | 浙江工业大学 | 一种用于多目标任务实例分割的方法 |
| CN112434627A (zh) * | 2020-11-30 | 2021-03-02 | 浙江大华技术股份有限公司 | 行人翻越道路护栏的检测方法、装置以及存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10543425B2 (en) * | 2017-05-16 | 2020-01-28 | Sony Interactive Entertainment America Llc | Systems and methods for detecting and displaying a boundary associated with player movement |
-
2021
- 2021-04-08 CN CN202110378581.2A patent/CN113177439B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106575425A (zh) * | 2014-09-19 | 2017-04-19 | 英特尔公司 | 经由地理围栏边界段穿越进行的调节 |
| CN107408352A (zh) * | 2015-03-31 | 2017-11-28 | 深圳市大疆创新科技有限公司 | 用于地理围栏装置通信的系统和方法 |
| EP3171297A1 (en) * | 2015-11-18 | 2017-05-24 | CentraleSupélec | Joint boundary detection image segmentation and object recognition using deep learning |
| CN105780688A (zh) * | 2016-05-26 | 2016-07-20 | 吉林大学 | 十字形交叉口行人安全护栏的设置方法 |
| WO2019086055A2 (zh) * | 2017-11-03 | 2019-05-09 | 华为技术有限公司 | 路口区域路网数据生成方法及装置 |
| CN110599089A (zh) * | 2019-08-30 | 2019-12-20 | 北京三快在线科技有限公司 | 隔离带位置确定方法、装置、存储介质和电子设备 |
| CN110517429A (zh) * | 2019-09-10 | 2019-11-29 | 浙江蓝迪电力科技有限公司 | 一种智能电子围栏系统及处理方法 |
| CN111583229A (zh) * | 2020-05-09 | 2020-08-25 | 江苏野马软件科技有限公司 | 一种基于卷积神经网络路面故障检测方法 |
| CN111986125A (zh) * | 2020-07-16 | 2020-11-24 | 浙江工业大学 | 一种用于多目标任务实例分割的方法 |
| CN112434627A (zh) * | 2020-11-30 | 2021-03-02 | 浙江大华技术股份有限公司 | 行人翻越道路护栏的检测方法、装置以及存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| Gated-SCNN: Gated Shape CNNs for Semantic Segmentation;Towaki Takikawa;2019 IEEE/CVF International Conference on Computer Vision (ICCV);全文 * |
| 不安全越界行为的个性化实时检测;林强;张淋均;谢艾伶;王维兰;;计算机科学与探索(06);全文 * |
| 自主飞行无人机地理围栏算法设计与实现;付其喜;梁晓龙;张佳强;何吕龙;周万银;;西安交通大学学报(05);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113177439A (zh) | 2021-07-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110070033B (zh) | 一种电力领域危险工作区域内安全帽佩戴状态检测方法 | |
| CN110956094B (zh) | 一种基于非对称双流网络的rgb-d多模态融合人员检测方法 | |
| CN108446617B (zh) | 抗侧脸干扰的人脸快速检测方法 | |
| CN106960195B (zh) | 一种基于深度学习的人群计数方法及装置 | |
| CN102542289B (zh) | 一种基于多高斯计数模型的人流量统计方法 | |
| Kumar et al. | Review of lane detection and tracking algorithms in advanced driver assistance system | |
| CN103824070B (zh) | 一种基于计算机视觉的快速行人检测方法 | |
| CN110929593B (zh) | 一种基于细节辨别区别的实时显著性行人检测方法 | |
| CN107909081B (zh) | 一种深度学习中图像数据集的快速获取和快速标定方法 | |
| CN107145889A (zh) | 基于具有RoI池化的双CNN网络的目标识别方法 | |
| KR101653278B1 (ko) | 색상 기반 얼굴 검출을 통한 실시간 얼굴 추적 시스템 | |
| CN109766796B (zh) | 一种面向密集人群的深度行人检测方法 | |
| CN105404857A (zh) | 一种基于红外的夜间智能车前方行人检测方法 | |
| CN105046206B (zh) | 基于视频中运动先验信息的行人检测方法及装置 | |
| Xu et al. | Real-time pedestrian detection based on edge factor and Histogram of Oriented Gradient | |
| CN105678213B (zh) | 基于视频特征统计的双模式蒙面人事件自动检测方法 | |
| CN105740945A (zh) | 一种基于视频分析的人群计数方法 | |
| CN103310194A (zh) | 视频中基于头顶像素点梯度方向的行人头肩部检测方法 | |
| CN113177439B (zh) | 一种行人翻越马路护栏检测方法 | |
| CN114758288A (zh) | 一种配电网工程安全管控检测方法及装置 | |
| CN109685045A (zh) | 一种运动目标视频跟踪方法及系统 | |
| CN107480585A (zh) | 基于dpm算法的目标检测方法 | |
| CN113763427B (zh) | 一种基于从粗到精遮挡处理的多目标跟踪方法 | |
| Xing et al. | Traffic sign recognition using guided image filtering | |
| CN109886170A (zh) | 一种钉螺智能检测识别与统计系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |