CN109741306A

CN109741306A - 应用于危险化学品库房堆垛的图像处理方法

Info

Publication number: CN109741306A
Application number: CN201811608277.7A
Authority: CN
Inventors: 刘学君; 魏宇晨; 袁碧贤; 栾海英; 晏涌; 沙芸
Original assignee: Beijing Institute of Petrochemical Technology
Current assignee: Beijing Institute of Petrochemical Technology
Priority date: 2018-12-26
Filing date: 2018-12-26
Publication date: 2019-05-10
Anticipated expiration: 2038-12-26
Also published as: CN109741306B

Abstract

本发明涉及一种应用于危险化学品库房堆垛的图像处理方法，属于危险化学品存储监测技术领域，解决现有技术危险化学品仓库内部货物安全储存状态监测运算量大的问题，该方法实时获取危险化学品堆垛监测照片；将获取的监测照片转换为灰度图；将灰度图转换为二值图；从二值图中提取危险化学品堆垛的边缘特征图，并根据边缘特征图确定堆垛所在区域的边缘界线；根据预设规则获取边缘界线上的角点；利用卷积核匹配算法和角点计算危险化学品堆垛的视差图，该方法主要用于危险化学品堆垛图像处理。

Description

应用于危险化学品库房堆垛的图像处理方法

技术领域

本发明属于危险化学品监控技术领域，具体涉及一种应用于危险化学品库房堆垛的图像处理方法。

背景技术

现今，危险化学品仓库需求量随社会的发展越来越大，危险化学品燃烧，爆炸，腐蚀等特点存在严重的安全事故隐患。不仅关系到企业本身安全，而且关系到企业周边居民公共安全和生态环境安全。面对此问题，急需危险化学品仓库内部货物安全储存状态监测与预警。现阶段危险化学品仓储企业的监控系统主要是视频监控。这既不能保证危险化学品库房的绝对安全，且消耗大量劳动力，又不能向安全监管部门提供危险化学品库房安全的实时、有效数据，效率较低。是不满足现代企业信息化和自动化的要求。

机器视觉是人工智能正在快速发展的一个分支，双目视觉三维测量的应用非常广泛，对危险化学品堆垛进行图像处理的研究是很有潜力的发展方向，但目前，尚且没有能够适合实际应用需求的危险化学品仓库内部货物安全储存状态监测方案。

在堆垛安全中，“5距离”分为垛距、墙距、柱距、灯距、梁距，为保证危险化学品的储存安全，相关技术中采用双目监测系统，双目三维数据还原步骤大致可分为摄像机标定、立体匹配和深度信息三个部分。传统的灰度图匹配算法有BM、SGBM、SAD卷积核运算算法，其中，SAD算法比BM和SGBM在图像处理质量上都会更好。但是SAD匹配算法的运算耗时非常大，十分浪费资源。

发明内容

为了解决现有技术危险化学品仓库内部货物安全储存状态监测浪费运算资源的问题，本发明提供了一种应用于危险化学品库房堆垛的图像处理方法，其具有监测准确等特点。

一方面，一种应用于危险化学品库房堆垛的图像处理方法，包括：

实时获取危险化学品堆垛监测照片；

将获取的所述监测照片转换为灰度图；

将所述灰度图转换为二值图；

从所述二值图中提取所述危险化学品堆垛的边缘特征图，并根据所述边缘特征图确定堆垛所在区域的边缘界线；

根据预设规则获取所述边缘界线上的角点；

利用卷积核匹配算法和角点计算所述危险化学品堆垛的视差图。

进一步可选的，所述从所述二值图中提取所述危险化学品堆垛的边缘特征图包括：

对所述二值图进行膨胀和腐蚀，从所述二值图中分割出所述危险化学品堆垛的图像元素；

对膨胀和腐蚀后的二值图进行滤波，去除所述二值图中的独立元素点噪点。

进一步可选的，所述利用卷积核匹配算法和角点计算所述危险化学品堆垛的视差图为：利用SAD算法和角点计算所述危险化学品堆垛的视差图。

进一步可选的，所述利用SAD算法和角点计算所述危险化学品堆垛的视差图为：利用公式(1)定义卷积核窗口和搜索范围：

其中，n为模板图的宽度值减去卷积核L宽度大小的值，m为模板图高度值减去卷积核L高度值的值，d是搜索范围，L(i,j)是模板图形窗口的位置，R(i－k，j)为目标图形窗口的位置，i、j是子图在模板的左上角的坐标。

进一步可选的，i和j的位置从所述边缘特征图的第一个角点N开始。

进一步可选的，角点N通过公式(2)获取；

其中，I(x)用r的大量像素值作为半径，I(p)为中心点的像素值，ε_d值像素差分阈值，N值为角点站点信息，P值是站点的中心信息，X值为r的像素点作为半径，圆圈＿p(r)是以p为中心，r为半径的圆。

进一步可选的，所述对膨胀和腐蚀后的二值图进行滤波为：使用中值滤波对膨胀和腐蚀后的二值图进行滤波。

进一步可选的，提取过程卷积核窗口大小的膨胀和腐蚀为3乘3大小。

进一步可选的，搜索范围d取10－100中任一值。

一种应用于危险化学品库房堆垛的图像处理系统，包括：至少两个摄像头和处理器，所述处理器用于实现上述应用于危险化学品库房堆垛的图像处理方法，所述摄像头设置在存储危险化学品的仓库内。

本发明实施例提供的一种应用于危险化学品库房堆垛的图像处理方法，实时获取危险化学品堆垛监测照片；将获取的监测照片转换为灰度图；将灰度图转换为二值图；从二值图中提取危险化学品堆垛的边缘特征图，并根据边缘特征图确定堆垛所在区域的边缘界线；根据预设规则获取边缘界线上的角点；利用卷积核匹配算法和角点计算危险化学品堆垛的视差图，改变相关技术进行全像素图像匹配运算量大，浪费资源的问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种应用于危险化学品库房堆垛的图像处理方法流程示意图；

图2是本发明实施例中二值化边缘图示意图；

图3是本发明实施例中定义卷积核窗口和搜索范围示意图；

图4是本发明实施例中提取角点位置示意图；

图5是本发明实施例中基于角点位置信息和边缘特征视差图；

图6是本发明实施例中边缘特征卷积的最小面积图与灰度信息卷积的比较示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。

在本实验中，可以采用如下技术准备，双目相机的组合分辨率为3840*1080。其信噪比为39db，像素为200万。以个人电脑为核心处理器，采用Win10操作系统，GT750M 2GDDR3独立显卡，使用Visual Studio 2013开发软件。在实验室中搭建了一个模拟仓库，木块作为堆垛物品，本文主要对匹配算法优化和视差结果进行了研究。

2.1传统的视差效果

双目三维数据还原步骤大致可分为摄像机标定、立体匹配和深度信息三个部分。传统的灰度图匹配算法有BM、SGBM、SAD卷积核运算算法。

堆垛安全“5距”(跺距、墙距、柱距、灯距、梁距)是保证危险化学品存储安全的重要因素，仓库背景较为复杂，因为后续处理只考虑货物目标区域，所以仓库内堆垛的提取尤为重要，为保证后续堆垛还原的准确性，本发明实施例提出了一种危险化学品堆垛监测方法，用于对危险化学品的存放进行监测。

传统的SAD算法原理，计算匹配代价总和，如公式(1)所示。

其中，其中,标本图的大小S，为x乘y。正确的模板图大小T，为a乘b。模板图不断在标本图上移动形成子图，子图是S_ij覆盖的面积。标本图的x值大于模板图的值a，标本图的y值大于模板图的b值。D_SAD(x,y)是像素匹配代价差绝对值。ij是子图是在模板的左上角的坐标。

该方法相对现有技术中，采用现有背景差分法进行危险化学品监测过程中，很好的解决了由于现有图像处理过程复杂，导致的运算量大的问题，使得检测危险化学品的信息更加快速，以减少资源的浪费以便后续的研究。

参见图1，一种应用于危险化学品库房堆垛的图像处理方法，包括：

101、实时获取危险化学品堆垛监测照片；

102、将获取的监测照片转换为灰度图；

103、将灰度图转换为二值图；

104、从二值图中提取所述危险化学品堆垛的边缘特征图，并根据边缘特征图确定堆垛所在区域的边缘界线；

105、根据预设规则获取边缘界线上的角点；

106、利用卷积核匹配算法和角点计算危险化学品堆垛的视差图。

本实施例提供的应用于危险化学品库房堆垛的图像处理方法，根据边缘特征图确定堆垛所在区域的边缘界线；根据预设规则获取边缘界线上的角点；利用卷积核匹配算法和角点计算危险化学品堆垛的视差图，改变相关技术进行全像素图像匹配运算量大，浪费资源的问题。

作为上述实施例的改进，危险化学品储存的货物检测主要针对货物边缘的位置。因此它只需要边缘特性，故应该考虑减少不必要的信息和因素，以此缩短时间。本发明实施例提供另一应用于危险化学品库房堆垛的图像处理方法，包括：

步骤201、实时获取危险化学品堆垛监测照片；

步骤202、将获取的监测照片转换为灰度图；

步骤203、将灰度图转换为二值图；

步骤204、从二值图中提取所述危险化学品堆垛的边缘特征图，并根据边缘特征图确定堆垛所在区域的边缘界线；

具体的，步骤204可以包括：

2041、对二值图进行膨胀和腐蚀，从二值图中分割出危险化学品堆垛的图像元素；

可选的，使用中值滤波对膨胀和腐蚀后的二值图进行滤波得到如图2所示二值化边缘图。

其中，提取过程卷积核窗口大小的膨胀和腐蚀为3乘3大小。过滤器使用中值滤波。也就是某一点g(x,y)的值等于m乘n大小的邻域的中值，如公式(2)。

2042、对膨胀和腐蚀后的二值图进行滤波，去除二值图中的独立元素点噪点。

步骤205、根据预设规则获取边缘界线上的角点；

为了减少运算量，参见图3，i和j的位置从所述边缘特征图的第一个角点N开始，提取角点如图4所示。

可选的，角点N通过公式(5)获取；

其中，I(x)用r的大量像素值作为半径，I(p)为中心点的像素值，ε_d值像素差分阈值，具体可以根据工程环境预先调值或经验参数，如大小40像素，N值为角点站点信息，P值是站点的中心信息，X值为r的像素点作为半径，圆圈p(r)是以p为中心，r为半径的圆，r是经验参数，由本领域技术人员根据工程需要及经验确定。

角点	1	2	3	4	5	6	7	8	9
										坐标	(403,47)	(408,50)	(414,56)	(421,62)	(431,71)	(443,82)	(461,99)	(466,102)	(503,139)

表1

步骤206、利用卷积核匹配算法和角点计算危险化学品堆垛的视差图。

可选的，可以利用SAD算法和角点计算所述危险化学品堆垛的视差图。

公式(1)是用于匹配的模板图和样品图。换句话说，它适用于移动小的图在图。但现在，它被应用于两个相同的图像匹配，参见图3，此处定义卷积核窗口和搜索范围，见下式(3)：

其中，参见图3，n为左图的宽度值减去卷积核L宽度大小的值，m为左图高度值减去卷积核L高度值的值，d是搜索范围，L(i,j)是左侧图形窗口的位置，R(i-k,j)为右侧图形窗口的位置，i、j是子图在模板的左上角的坐标。

可选的，搜索范围d取10-100中任一值，如可以取50、40、30、20等。针对只需要考虑值等于1条件的二值图像。因此，式(3)的i和j的位置可以从边缘图的第一个角点开始。公式见(4)。

其中，Z_x，Z_y是寻找到第一个角点位置。

白色点是图2上方的角点搜索，是角点位置信息，见表2。逗号左边是角点位置信息的x坐标。逗号的右边是y坐标。最后，最小的x坐标值是第一个角点坐标。

基于角点位置信息和边缘特征视差图如图5所示。其中图5(a)是卷积核大小为7乘7像素点和搜索范围为50像素点的结果。图5(b)是卷积核大小为4乘4像素点，搜索范围为40像素点的结果。图5(c)是卷积核大小为4乘4像素点和搜索范围为30像素点的结果。图5(d)是卷积核大小为2乘2像素点和搜索范围为20像素点的结果。方法的原理是一样的。时间消耗大致一样。这里我们选择结果更好的图5(c)为例。

下表2为图5(c)传统算法与改进算法的时间对比，仅用于图像特征匹配，其他无关信息不需要相关匹配。因此，只需要在二维空间中搜索边缘特征的起始位置，即第一个角x,y信息坐标。因此它缩短了卷积核匹配时间。

算法	传统	改进
			时间	394.12ms	337.92ms

表2

表2显示效率提升了14％。图6是边缘特征卷积的最小面积图与灰度信息卷积的比较。

二进制边缘卷积核匹配中0的个数为289325。灰度图像卷积核匹配0的个数为67015。因此，在图6中没有标记0的数量。二值边缘卷积核的最大匹配值与灰度图像卷积核的匹配值相同都为30。而灰度图像卷积核匹配在30点处有52571个，远高于二进制边缘卷积核匹配的469个。所以它没有被标记。从以上两点和数据图6可以看出，二值边缘图像卷积核匹配的最小点远大于灰度图像卷积核匹配的最小点。因此，匹配视差地图的数据精度和图像清晰度相对较高。

本实施例提供的一种应用于危险化学品库房堆垛的图像处理方法，实时获取危险化学品堆垛监测照片；将获取的监测照片转换为灰度图；将灰度图转换为二值图；从二值图中提取危险化学品堆垛的边缘特征图，并根据边缘特征图确定堆垛所在区域的边缘界线；根据预设规则获取边缘界线上的角点；利用卷积核匹配算法和角点计算危险化学品堆垛的视差图，改变相关技术进行全像素图像匹配运算量大，浪费资源的问题。

为了实现上述方法，本发明实施例提供一种应用于危险化学品库房堆垛的图像处理系统，包括：至少两个摄像头和处理器，至少两个摄像图设置在存储危险化学品的仓库内，所述处理器用于实现上述应用于危险化学品库房堆垛的图像处理方法。

本实施例提供的一种应用于危险化学品库房堆垛的图像处理系统，处理器实时获取危险化学品堆垛监测照片；将获取的监测照片转换为灰度图；将灰度图转换为二值图；从二值图中提取危险化学品堆垛的边缘特征图，并根据边缘特征图确定堆垛所在区域的边缘界线；根据预设规则获取边缘界线上的角点；利用卷积核匹配算法和角点计算危险化学品堆垛的视差图，改变相关技术进行全像素图像匹配运算量大，浪费资源的问题。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims

1.一种应用于危险化学品库房堆垛的图像处理方法，其特征在于，包括：

实时获取危险化学品堆垛监测照片；

将获取的所述监测照片转换为灰度图；

将所述灰度图转换为二值图；

根据预设规则获取所述边缘界线上的角点；

2.根据权利要求1所述的方法，其特征在于，所述从所述二值图中提取所述危险化学品堆垛的边缘特征图包括：

3.根据权利要求2所述的方法，其特征在于，所述利用卷积核匹配算法和角点计算所述危险化学品堆垛的视差图为：利用SAD算法和角点计算所述危险化学品堆垛的视差图。

4.根据权利要求3所述的方法，其特征在于，所述利用SAD算法和角点计算所述危险化学品堆垛的视差图为：利用公式(1)定义卷积核窗口和搜索范围：

其中，n为模板图的宽度值减去卷积核L宽度大小的值，m为模板图高度值减去卷积核L高度值的值，d是搜索范围，L(i,j)是模板图窗口的位置，R(i-k,j)为目标图形窗口的位置，i、j是子图在模板图中左上角位置的坐标。

5.根据权利要求4所述的方法，其特征在于，i和j的位置从所述边缘特征图的左上角第一个角点N开始。

6.根据权利要求5所述的方法，其特征在于，角点N通过公式(2)获取；

其中，I(x)用r的大量像素值作为半径，I(p)为中心点的像素值，ε_d值像素差分阈值，N值为角点站点信息，P值是站点的中心信息，X值为r的像素点作为半径，圆圈p(r)是以p为中心，r为半径的圆。

7.根据权利要求1-6任一项所述的方法，其特征在于，所述对膨胀和腐蚀后的二值图进行滤波为：使用中值滤波对膨胀和腐蚀后的二值图进行滤波。

8.根据权利要求3所述的方法，其特征在于，提取过程卷积核窗口大小的膨胀和腐蚀为3乘3大小。

9.根据权利要求3所述的方法，其特征在于，搜索范围d取10-100中任一值。

10.一种应用于危险化学品库房堆垛的图像处理系统，包括：至少两个摄像头和处理器，所述处理器用于实现权利要求1-9任一项所述的应用于危险化学品库房堆垛的图像处理方法，所述摄像头设置在存储危险化学品的仓库内。