CN108875589A - 一种道路区域的视频检测方法 - Google Patents

Abstract

本发明属于计算机视觉领域，公开了一种道路区域的视频检测方法。本发明首先建立基于Mask R‑CNN的深度学习平台，对其默认输出控制部分的代码进行优化，确保其网络模型符合视频监控场景中对道路区域的识别预期，然后对使用该网络模型检测输出的图片进行二值化处理，并计算其凸包，最后将最大的凸包拟合为一个完整梯形或者带有一侧垂直截边的梯形，这个梯形就是最终的道路区域检测结果。与已知常见的同类检测方法相比，本发明充分利用了最新的深度学习样本训练技术，避免了场景特征提取和模型参数化设计等需要人为参与、又无法避免引发算法效果波动的难点环节；本发明可广泛应用于城市交通区域、高速公路等含有显性道路场景的业务需求处理。

Description

一种道路区域的视频检测方法

技术领域

本发明属于计算机视觉领域，用于监控视频画面中道路区域的场景检测方法。

背景技术

随着视频监控在社会公共安全防范及各类经济行业部门多年来的推广应用，这些监控系统除了应满足“看得见、看得清”的基本需求外，如果能够进一步基于监控画面自身的场景特征——比如基于道路区域的定位与识别，扩展一些针对性的业务管理工作，特别是与人工智能结合的应用领域，将会为视频监控系统的使用者带来显著的增强业务价值。

针对室外监控视频场景中最重要特征之一的道路区域检测，随着人工智能和深度学习技术的不断快速发展，利用目标检测、识别等计算机视觉技术来为一些实际应用提供技术支撑，包括：智慧城市、智能交通、智能物流，甚至是最新出现的生活服务领域，如无人驾驶等。这不仅是一种可预见的社会经济领域中的普遍需求趋势，而且其相关的解决方案也已经越来越具备技术上的可行性。

发明内容

本发明所要解决的技术问题是利用深度学习训练得到的神经网络模型，即智能检测知识库，结合视频监控主要应用领域的道路识别需求共性，定义一套完整的检测算法方案，形成一种道路区域的视频检测方法。

本发明的基本技术构思是，首先建立基于Mask R-CNN(带有高质量分割掩码的图像目标检测卷积神经网络框架)的深度学习平台，重点对其默认输出控制部分的代码进行优化，确保其网络模型即检测知识库符合视频监控场景中对道路区域的识别预期，然后对使用该网络模型检测输出的图片进行二值化处理，并计算其凸包，最后将凸包调整为一个完整梯形或者带有一侧垂直截边的梯形，这个梯形就是最终的道路区域检测结果。

为解决上述技术问题，本发明提出的道路区域的视频检测方法，包括以下步骤：

步骤i、对Mask R-CNN的输出控制部分进行优化，得到优化后的神经网络模型；

步骤ii、使用该优化后的神经网络模型对输入样本进行检测，输出图片；

步骤iii、将所述图片二值化，判断出可能存在的多个凸包分布区域，并筛选出面积最大的凸包作为预期检测目标；

步骤iv、统计该凸包所有点的横纵坐标，计算坐标点中的横、纵坐标的最大、最小值，得到这个凸包的外接矩形，并计算凸包的拟合梯形的上底中心点；

步骤v、判断拟合梯形两边有无明显的截痕形态，若不存在截边，则执行步骤vi；否则，计算截边长度并执行步骤vii；

步骤vi、勾画出一个完整梯形；

步骤vii、勾画出一个带有一侧垂直截边的梯形。

所述步骤i的具体步骤包括：

1-1)将颜色渲染饱和度比例从50％增强为100％；

1-2)将分割后的目标区域颜色定义为白色，非目标区域全部为黑色；

1-3)去掉目标边框线，排除误差；

所述步骤iii的具体步骤包括：

3-1)将所得图片进行二值化处理，搜索图像中大块连通区域，并确定每一个连通区域对应的凸包；

3-2)依次计算各个凸包面积，即统计上述各个白色区域所各自包含的像素点累计个数；

3-3)选择面积最大的凸包作为预期检测目标，并将此凸包的面积记为S1。

所述步骤iv的具体步骤包括：

4-1)遍历上述白色区域所包含全部像素点，以图片左上角为原点，将其横、纵坐标，存于矩阵[X,Y]，其中X、Y分别代表矩阵的横、纵坐标；

4-2)在该坐标矩阵[X,Y]中筛选max(X)、min(X)以及max(Y)、min(Y)这四个坐标位，即得到凸包的外接矩形；

4-3)在该坐标矩阵[X,Y]中寻找min(Y)(也就是凸包顶端)相对应的max(X)与min(X)，计算其平均值作为拟合梯形的上底中心点横坐标X_mid，X_mid＝(max(X)+min(X))/2；

所述步骤v的具体步骤包括：

5-1)在像素点的矩阵[X,Y]中，获取当X＝min(X)时的min(Y)和max(Y)，则凸包的外接矩形与凸包的左截边长L_left＝max(Y)-min(Y)；同理获取当X＝max(X)时的min(Y)和max(Y)，则凸包的外接矩形与凸包的右截边长L_right＝max(Y)-min(Y)；

5-2)设有效截边参数为d，参数d的取值范围为2.6≤d≤4；若

L_left>L_right并且L_left>外接矩形的高度/d，则判定为截边有效，且截边在左侧；若L_right>L_left并且L_right>外接矩形的高度/d，则判定截痕有效，且截边在右侧；否则判定为无截痕；

所述步骤vi，勾画出一个完整梯形的具体步骤包括：

将凸包调整为一个完整梯形，需要在保证面积不变(即拟合梯形面积S＝凸包面积S1)的情况下，通过对梯形模型的理解完成以下几步操作，最终确定梯形的位置；

6-1)以图片的左上角为原点，将目标梯形的四个顶点A、B、C、D的坐标分别记为(m1,y1),(m2,y1),(n1,y3),(n2,y3)；

6-2)根据梯形的面积计算公式

其中，目标梯形的左下、右下点为凸包外接矩形的左下、右下点，因此y3,n1,n2已知，而左上、右上点在外接矩形的上底边上，所以y1已知，代入上式可计算出(m2-m1)的值，即梯形的上底边AB的长度，再根据步骤4-3)已获得的上底中心点的横坐标X_mid，分别计算出m1,m2的值，则得到四个顶点A、B、C、D的坐标值，确定目标梯形位置。

所述步骤vii，勾画出一个带有一侧垂直截边的梯形的具体步骤包括：

将凸包拟合为一个带有一侧垂直截边的梯形，在保证面积不变(即拟合梯形面积S＝凸包面积S1)的情况下，通过对梯形模型的理解完成以下几步操作，最终确定梯形的位置；

7-1)由于L_left>L_right，且L_left>外接矩形的高度/d，凸包的外接矩形截边在左侧，则5个顶点A、B、C、D、E分别记为(m1,y1),(m2,y1),(n1,y3),(n2,y3),(n1,y2)；

7-2)根据步骤5-1)中已获得的截边长度，计算y2，y2＝y3-L_left；

7-3)面积S则为梯形ABCD和三角形ACE的面积之和，则根据公式

其中，目标梯形的左下、右下点为凸包外接矩形的左下、右下点，因此y3,n1,n2已知，而左上、右上点在外接矩形的上底边上，所以y1已知，代入上式可计算出(m2-m1)的值，即梯形的上底边AB的长度，再根据步骤4-3)已获得的上底中心点的横坐标X_mid，分别计算出m1,m2的值；确定目标梯形各个顶点的位置。

当凸包的外接矩形截边在右侧时，目标梯形各个顶点的计算方式与步骤7-1)至7-3)相同，本领域技术人员能够理解，故不再赘述。

上述所得到的完整的或带有截边的目标梯形即目标道路监控区域。

本发明采用了将深度神经网络前期输出的基础识别，与行业应用经验强化后期定义相结合的检测方法，这种技术相较于其它检测方案的突出意义在于：

(1)首次提出了一种两段式设计的算法实施方案，有利于在实施过程的两个阶段中充分验证和客观评价方法整体效果的构成因素影响，同时也便于明确定位检测方法的改进与强化目标。

(2)与已知常见的同类检测方法(比如基于道路特征、道路模型和传统机器学习)相比，本方案充分利用了最新的深度学习样本训练技术，避免了场景特征提取和模型参数化设计等需要人为参与、又无法避免引发算法效果波动的难点环节；同时将行业需求共性的提炼定义作为另一个设计重点，提升了方法在相关领域的应用价值。

(3)本方法并不局限于实际具体的应用场景，而是提供一种核心支撑技术方案，可以广泛应用于城市交通区域、高速公路等含有显性道路场景的业务需求处理，比如：运动物体轨迹异常、监控目标潜在遮挡、特定区域流量/容量监测等智能检测领域。

附图说明

下面结合附图和具体实施方式对本发明的技术方案作进一步具体说明。

图1为本发明的整体流程图。

图2为本发明的要处理的道路监控的原始图片。

图3为对图2中的检测输出凸包并二值化处理后的图。

图4为无截边的凸包拟合梯形的处理模型图。

图5为有截边的凸包二值化示意图。

图6为对图5的处理模型图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

如图1所示的本发明的一种道路区域的视频检测方法的整体流程图，包括步骤如下：

步骤i、对Mask R-CNN的输出控制部分进行优化，得到优化后的神经网络模型；

步骤ii、使用该优化后的神经网络模型对输入样本进行检测，输出图片；

步骤iii、将所述图片二值化，判断出可能存在的多个凸包分布区域，并筛选出面积最大的凸包作为预期检测目标；

步骤iv、统计该凸包所有点的横纵坐标，计算坐标点中的横、纵坐标的最大、最小值，得到这个凸包的外接矩形，并计算凸包的拟合梯形的上底中心点；

步骤v、判断凸包与外接矩形是否存在有效截边，若不存在截边，则执行步骤vi；否则，计算截边长度并执行步骤vii；

步骤vi、勾画出一个完整梯形；

步骤vii、勾画出一个带有一侧垂直截边的梯形。

更具体的，步骤i包括如下具体步骤：

1-1)将颜色渲染饱和度比例从50％增强为100％；

1-2)将分割后的目标区域颜色定义为白色，非目标区域全部为黑色；

1-3)去掉目标边框线，排除误差。

步骤iii的具体步骤包括：

3-1)将所得图片进行二值化处理，搜索图像中大块连通区域，并确定每一个连通区域对应的凸包；得到如图3所示的图。

3-2)依次计算各个凸包面积，即统计上述各个白色区域所各自包含的像素点累计个数；

3-3)选择面积最大的凸包作为预期检测目标，并将此凸包的面积记为S1。

所述步骤iv的具体步骤包括：

4-1)遍历上述白色区域所包含全部像素点，以图片左上角为原点，将其横、纵坐标，存于矩阵[X,Y]，其中X、Y分别代表矩阵的横、纵坐标；

4-2)在该坐标矩阵[X,Y]中筛选max(X)、min(X)以及max(Y)、min(Y)这四个坐标位，即得到凸包的外接矩形；

步骤v的具体步骤包括：

5-1)在像素点的矩阵[X,Y]中，获取当X＝min(X)时的min(Y)和max(Y)，则凸包的外接矩形与凸包的左截边长L_left＝max(Y)-min(Y)；同理获取当X＝max(X)时的min(Y)和max(Y)，则凸包的外接矩形与凸包的右截边长L_right＝max(Y)-min(Y)；

5-2)设有效截边参数为d，参数d的取值范围为2.6≤d≤4；若L_left>L_right并且L_left>外接矩形的高度/d，则判定为截边有效，且截边在左侧；若L_right>L_left并且L_right>外接矩形的高度/d,则判定截痕有效，且截边在右侧；否则判定为无截痕；

实验数据统计显示，若拟合梯形上底中点偏向外接矩形的右上点，则截边大概率出现在矩形的左侧；若拟合梯形上底中点偏向外接矩形的左上点，则截边大概率出现在矩形的右侧。这个规则作为可选的强化判定条件，如果不满足，则依旧判定为拟合梯形无截边。

步骤vi是将凸包调整为一个完整梯形，在保证面积不变，即拟合梯形面积S＝凸包面积S1的情况下，通过对梯形模型的理解完成以下几步操作，最终确定梯形的位置。具体步骤包括：

6-1)如图4所示，以图片的左上角为原点，将目标梯形的四个顶点A、B、C、D的坐标分别记为(m1,y1),(m2,y1),(n1,y3),(n2,y3)；

6-2)根据梯形的面积计算公式

其中，目标梯形的左下、右下点为凸包外接矩形的左下、右下点，因此y3,n1,n2已知，而左上、右上点在外接矩形的上底边上，所以y1已知，代入上式可计算出(m2-m1)的值，即梯形的上底边AB的长度。

在该坐标矩阵[X,Y]中寻找min(Y)，也就是凸包顶端相对应的max(X)与min(X)，计算其平均值作为拟合梯形的上底中心点横坐标X_mid，X_mid＝(max(X)+min(X))/2；

再根据上底中心点的横坐标X_mid，分别计算出m1,m2的值，则得到四个顶点A、B、C、D的坐标值，确定目标梯形位置。

所述步骤vii是将凸包拟合为一个带有一侧垂直截边的梯形，结合图5河图6所示。同样在保证面积不变，即拟合梯形面积S＝凸包面积S1的情况下，通过对梯形模型的理解完成以下几步操作，最终确定梯形的位置；具体步骤包括：

7-1)如图5所示，由于L_left>L_right，且L_left>外接矩形的高度/d，参数d的取值范围为2.6≤d≤4，优选的d＝3。则凸包的外接矩形截边在左侧，带有一侧垂直截边的梯形的5个顶点A、B、C、D、E分别记为(m1,y1),(m2,y1),(n1,y3),(n2,y3),(n1,y2)；

7-2)根据步骤5-1)中已获得的截边L_left，计算y2，y2＝y3-L_left；

7-3)带有一侧垂直截边的梯形的面积S则为梯形ABCD和三角形ACE的面积之和，则根据公式

与步骤6-2)同理，可以计算出(m2-m1)的值，进一步计算出m1,m2的各自值，从而确定目标梯形各个顶点的坐标位置。

当凸包的外接矩形截边在右侧时，目标梯形各个顶点的计算方式与步骤7-1)至7-3)相同，本领域技术人员能够理解，故不再赘述。

上述所得到的完整的或带有截边的目标梯形即目标道路监控区域。

最后所应说明的是，以上具体实施方式仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (7)

1.一种道路区域的视频检测方法，其特征在于，包括以下步骤：

步骤i、对Mask R-CNN的输出控制部分进行优化，得到优化后的神经网络模型；

步骤ii、使用该优化后的神经网络模型对输入样本进行检测，输出图片；

步骤iii、将所述图片二值化，判断出可能存在的多个凸包分布区域，并筛选出面积最大的凸包作为预期检测目标；

步骤iv、统计该凸包所有点的横纵坐标，计算坐标点中的横、纵坐标的最大、最小值，得到这个凸包的外接矩形，并计算凸包的拟合梯形的上底中心点；

步骤v、判断拟合梯形两边有无明显的截痕形态，若不存在截边，则执行步骤vi；否则，计算截边长度并执行步骤vii；

步骤vi、勾画出一个完整梯形；

步骤vii、勾画出一个带有一侧垂直截边的梯形。

2.根据权利要求1所述的道路区域的视频检测方法，其特征在于，所述步骤i的具体步骤包括：

1-1)将颜色渲染饱和度比例从50％增强为100％；

1-2)将分割后的目标区域颜色定义为白色，非目标区域全部为黑色；

1-3)去掉目标边框线，排除误差。

3.根据权利要求2所述的道路区域的视频检测方法，其特征在于，所述步骤iii的具体步骤包括：

3-1)将所得图片进行二值化处理，搜索图像中大块连通区域，并确定每一个连通区域对应的凸包；

3-2)依次计算各个凸包面积，即统计每个白色区域所各自包含的像素点累计个数；

3-3)选择面积最大的凸包作为预期检测目标，并将此凸包的面积记为S1。

4.根据权利要求3所述的道路区域的视频检测方法，其特征在于，所述步骤iv的具体步骤包括：

4-1)遍历上述白色区域所包含全部像素点，以图片左上角为原点，将其横、纵坐标，存于矩阵[X,Y]，其中X、Y分别代表矩阵的横、纵坐标；

4-2)在该坐标矩阵[X,Y]中筛选max(X)、min(X)以及max(Y)、min(Y)这四个坐标位，即得到凸包的外接矩形；

4-3)在该坐标矩阵[X,Y]中寻找min(Y)(也就是凸包顶端)相对应的max(X)与min(X)，计算其平均值作为拟合梯形的上底中心点横坐标X_mid，X_mid＝(max(X)+min(X))/2。

5.根据权利要求4所述的道路区域的视频检测方法，其特征在于，所述步骤v的具体步骤包括：

5-1)在像素点的矩阵[X,Y]中，获取当X＝min(X)时的min(Y)和max(Y)，则凸包的外接矩形与凸包的左截边长L_left＝max(Y)-min(Y)；同理获取当X＝max(X)时的min(Y)和max(Y)，则凸包的外接矩形与凸包的右截边长L_right＝max(Y)-min(Y)；

5-2)设有效截边参数为d，参数d的取值范围为2.6≤d≤4；若L_left>L_right并且L_left>外接矩形的高度/d，则判定为截边有效，且截边在左侧；若L_right>L_left并且L_right>外接矩形的高度/d,则判定截痕有效，且截边在右侧，截边长为L_right；计算截边长度并执行步骤vii；否则判定为无截痕，则执行步骤vi。

6.根据权利要求5所述的道路区域的视频检测方法，其特征在于，所述步骤vi将凸包调整为一个完整梯形，需要在保证面积不变，即拟合梯形面积S＝凸包面积S1的情况下，通过对梯形模型的理解完成以下几步操作，最终确定梯形的位置；

6-1)以图片的左上角为原点，将目标梯形的四个顶点A、B、C、D的坐标分别记为(m1,y1),(m2,y1),(n1,y3),(n2,y3)；

6-2)根据梯形的面积计算公式

其中，目标梯形的左下、右下点为凸包外接矩形的左下、右下点，因此y3,n1,n2已知，而左上、右上点在外接矩形的上底边上，所以y1已知，代入上式可计算出(m2-m1)的值，即梯形的上底边AB的长度，再根据步骤4-3)已获得的上底中心点的横坐标X_mid，分别计算出m1,m2的值，则得到四个顶点A、B、C、D的坐标值，确定目标梯形位置。

7.根据权利要求5所述的道路区域的视频检测方法，其特征在于，所述步骤vii将凸包拟合为一个带有一侧垂直截边的梯形，需要在保证面积不变，即拟合梯形面积S＝凸包面积S1的情况下，通过对梯形模型的理解完成以下几步操作，最终确定梯形的位置；

7-1)带有一侧垂直截边的梯形的5个顶点A、B、C、D、E分别记为(m1,y1),(m2,y1),(n1,y3),(n2,y3),(n1,y2)；

7-2)计算y2，y2＝y3-L_left；

7-3)面积S则为梯形ABCD和三角形ACE的面积之和，则根据公式

其中，目标梯形的左下、右下点为凸包外接矩形的左下、右下点，因此y3,n1,n2已知，而左上、右上点在外接矩形的上底边上，所以y1已知，代入上式可计算出(m2-m1)的值，即梯形的上底边AB的长度，再根据步骤4-3)已获得的上底中心点的横坐标X_mid，分别计算出m1,m2的值；确定目标梯形各个顶点的位置。