CN111160063B - 一种物联网ipc二维码配网图像增强方法及系统 - Google Patents

Abstract

本申请公开了一种物联网IPC二维码配网图像增强方法，包括：通过矩形框定位二维码图像区域；放大所述二维码图像区域；将放大后的所述二维码图像区域二值化；其中所述矩形框的颜色与所述二维码图像区域的颜色不同。与现有技术相比，本申请具有如下有益效果：定制化APP界面，使用UV颜色分量，更少的计算量，快速的定位二维码区域；二维码图像桩点对角线检测，获取自适应图像亮度，解决过曝和欠曝问题。

Description

一种物联网IPC二维码配网图像增强方法及系统

技术领域

本申请涉及图像算法领域，具体而言，涉及一种物联网IPC二维码配网图像增强方法。

背景技术

二维码扫描功能，本质上分为二维码图像检测、二维码图像解析两部分。不同于手机扫描二维码，物联网IPC存在不可变焦、不可精准扫描、不可控场景亮度的缺点。受限于CPU性能，物联网IPC虽然支持复杂的图像处理，但是处理时效性相对差。二维码配网功能需要在2秒内识别到并且通知用户，因此需要一系列高效的图像处理策略。受限于配网环境的不确定性，配网图像存在过曝和欠曝的可能性。

发明内容

本申请的主要目的在于提供一种物联网IPC二维码配网图像增强方法，包括：

通过矩形框定位二维码图像区域；

放大所述二维码图像区域；

将放大后的所述二维码图像区域二值化；

其中所述矩形框的颜色与所述二维码图像区域的颜色不同；

通过矩形框定位二维码图像区域包括定位所述二维码图像区域的顶点，包括：

遍历所述二维码图像颜色像素，查找矩形框颜色的像素点，获得第一像素点；

以所述第一像素点为中心形成定位框；

遍历所述定位框上的像素点，定位所述矩形框颜色的像素点，获得第二像素点及第三像素点；

当落在所述第一像素点和所述第二像素点连线上及落在所述第一像素点和所述第三像素点连线上的像素同时均为所述矩形框颜色时，保留所述第一像素点作为所述二维码图像矩形区域的定点之一；

重复上述步骤，遍历图像找到所有满足条件的第一像素点；

在所述第一像素点集合中获取组成正方形顶点的四个点，作为所述二维码目标图像区域的顶点；

获得所述顶点之后，采用yuv图像拷贝算法，截取目标区域的数据，传入图像放大算法接口；

其中，所述第一像素点、所述第二像素点及所述第三像素点不位于同一条直线上。

可选地，放大所述二维码图像区域包括：

通过如下公式放大所述二维码图像区域，

其中

其中，插值图中(distI,distJ)处像素映射到原图中的坐标为：(i+v,j+u)，插值后的图中(distI,distJ)坐标点对应的值是原图中(i,j)处邻近16个像素点的权重卷积之和，其中i,j的范围是[i-1,i+2]，[j-1,j+2]；

当a取不同值时，可以用来逼近不同的样条函数，得到不同的图像放大效果；row表示图像的行，v表示行数偏差；col表示图像的列，u表示列数插。

可选地，将放大后的所述二维码图像区域二值化包括：

通过检测二维码图像的桩点，获得所述二维码图像的二值化阈值；

检测二维码图像的桩点包括：

使用所述二维码图像区域的对角线找到所述图像的桩点矩形图像；

所述二维码图像的二值化阈值包括：

获取二维码目标图像的右上角和左下角的桩点顶点；

在所述桩点顶点的连线上，分别以两个端点为起始点做像素检测；

以右上角顶点为起点，以像素亮度中位值128位阈值，遍历对角线上的，统计小于阈值和大于阈值的像素点个数，以1：1：3：1：1为标准，当低亮度像素占更多比例时，将阈值128减小，当高亮度像素占更多比例时，将阈值128增大；

重复前一步，迭代到最接近1：1：3：1：1的像素占比，此时的阈值即为第一最优二值化阈值；

以左下角顶点为起点，重复上述步骤，获取第二最优二值化阈值；

加权所述第一最优二值化阈值及所述第二最优二值化阈值，获得第三最优二值化阈值作为本次的全局最优二值化阈值。

根据本申请的另一个方面，还提供了一种物联网IPC二维码配网图像增强方系统，包括：

二维码图像定位模块，用于通过矩形框定位二维码图像区域；

二维码图像放大模块，用于放大所述二维码图像区域；

自适应图像二值化模块，用于将放大后的所述二维码图像区域二值化；

其中所述矩形框的颜色与所述二维码图像区域的颜色不同；

二维码图像定位模块包括顶点定位模块，所述顶点定位模块包括：

第一像素点获取模块，用于遍历所述二维码图像颜色像素，查找矩形框颜色的像素点，获得第一像素点；

矩形框形成模块，用于以所述第一像素点为中心形成定位框；

第二及第三像素点获取模块，用于遍历所述定位框上的像素点，定位定位矩形框颜色的像素点，获得第二像素点及第三像素点；

第一像素点保留模块，用于当落在所述第一像素点和所述第二像素点连线上及落在所述第一像素点和所述第三像素点连线上的像素同时均为所述矩形框颜色时，保留所述第一像素点作为所述二维码图像矩形区域的定点之一；

顶点确定模块，用于在所述第一像素点集合中获取组成正方形顶点的四个点，作为所述二维码目标图像区域的顶点；

截取模块，用于获得所述顶点之后，采用yuv图像拷贝算法，截取目标区域的数据，传入图像放大算法接口；

其中，所述第一像素点、所述第二像素点及所述第三像素点不位于同一条直线上。

根据本申请提供的另一个方面，还提供了一种计算机设备，包括存储器、处理器和存储在所述存储器内并能由所述处理器运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述任一项所述的方法。

根据本申请提供的另一个方面，还一种计算机可读存储介质，非易失性可读存储介质，其内存储有计算机程序，其特征在于，所述计算机程序在由处理器执行时实现上述任一项所述的方法。

与现有技术相比，本申请具有如下有益效果：

本申请通过一系列图像检测、图像增强，辅助物联网IPC更高效的扫描二维码，进而完成配网。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和有益效果变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1-6是根据本申请一个实施例的物联网IPC二维码配网图像增强方法的示意图；

图7是根据本申请一个实施例的计算机设备的示意图；

图8是根据本申请一个实施例的计算机可读存储介质的示意图；

图9是根据本申请一个实施例的物联网IPC二维码配网图像增强方法的流程示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

请参照图1及图9，本申请一实施例提供了一种物联网IPC二维码配网图像增强方法，包括：

通过矩形框定位二维码图像区域；

放大所述二维码图像区域；

将放大后的所述二维码图像区域二值化；

其中所述矩形框的颜色与所述二维码图像区域的颜色不同。

借助手机APP定制化二维码配网界面，通过矩形框快速定位二维码图像区域。本申请使用双立方卷积放大算法，对目标二维码区域进行放大，增加二维码识别成功率。

本申请一实施例中，物联网IPC二维码配网图像增强方法还包括定位所述二维码图像区域的顶点，包括：

遍历所述二维码图像颜色像素，查找定位矩形框颜色的像素点，获得第一像素点；

以所述第一像素点为中心形成矩形框；

遍历所述矩形框上的像素点，定位矩形框颜色的像素点，获得第二像素点及第三像素点；

当落在所述第一像素点和所述第二像素点连线上及落在所述第一像素点和所述第三像素点连线上的像素同时均为所述矩形框颜色时，保留所述第一像素点作为所述二维码图像矩形区域的定点之一；

重复上述步骤，遍历图像找到所有满足条件的第一像素点；

在所述第一像素点集合中获取组成正方形顶点的四个点，作为所述二维码目标图像区域的顶点；

获得所述定点之后，采用yuv图像拷贝算法，截取目标区域的数据，传入图像放大算法接口。

如图2所示，在实际使用过程中，传入到图像处理模块的二维码图像并不一定是理想方正的，可能出现旋转、偏状的问题。

因此二维码图像顶点定位时，不能简单的通过寻找直角等腰三角形来判别，本申请通过寻找等腰三角形来判断定位。

具体定位方法如下：

1.遍历图像颜色像素，查找定位像素点A。

2.定位到像素点A，以A为中心做16*16大小的矩形框。

3.遍历矩形框上的像素点，同样定位像素点B和C。

4.当落在A和B点连线上、A和C点连线上的像素同时均为定位像素点，保留A点作为二维码图像矩形区域的定点之一。

5.重复1-4遍历图像找到所有满足条件的类A点。

6.在A点集合中寻找能够组成一定大小的正方形顶点的四个点，作为二维码目标图像区域的顶点。

7.获得6中的二维码图像定点后，采用yuv图像拷贝算法，截取目标区域的数据，传入图像放大算法接口。

本申请一实施例中，放大所述二维码图像区域包括：

通过如下公式放大所述二维码图像区域，

其中

其中，插值图中(distI,distJ)处像素映射到原图中的坐标为：(i+v,j+u)，插值后的图中(distI,distJ)坐标点对应的值是原图中(i,j)处邻近16个像素点的权重卷积之和，其中i,j的范围是[i-1,i+2]，[j-1,j+2]；

当a取不同值时可以用来逼近不同的样条函数，得到不同的图像放大效果。本发明中使用a＝-0.5，对应常用的三次Hermite样条函数；row表示图像的行，v表示行数偏差；col表示图像的列，u表示列数插。

具体算法原理如图3所示，其中P00代表目标插值图中的某像素点(x,y)在原图中最接近的映射点，譬如映射到原图中的坐标为(1.1,1.1)，那么P00就是(1,1)，而最终插值后的图像中的(x,y)处的值即为以上16个像素点的权重卷积之和。

进一步分析，如图4所示：

譬如计算插值图中(distI,distJ)处像素的值。首先计算它映射到原图中的坐标(i+v,j+u)。也就是说，卷积计算时，p00点对应(i,j)坐标。最终，插值后的图中(distI,distJ)坐标点对应的值是原图中(i,j)处邻近16个像素点的权重卷积之和，其中i,j的范围是[i-1,i+2]，[j-1,j+2]。

算法在实际运行中，针对目标图像的每个像素，使用如下公式进行映射：

F(i+v，j+u)＝A*B*C

其中

A＝[S(1+v) S(v) S(1-v) S(2-v)]

进一步推导得到

其中

本申请一实施例中，将放大后的所述二维码图像区域二值化包括：

通过检测二维码图像的桩点，获得所述二维码图像的二值化阈值。

本申请一实施例中，检测二维码图像的桩点包括：

使用所述二维码图像区域的对角线找到所述图像的桩点和巨型图像。

本申请一实施例中，所述二维码图像的二值化阈值包括：

获取二维码目标图像的右上角和左下角的桩点定点；

在两个所述桩点定点连线上，分别以两个端点为起始点做像素检测；

以右上角顶点为起点，以像素亮度中位值128位阈值，遍历对角线上的，统计小于阈值和大于阈值的像素点个数，以1：1：3：1：1为标准，当低亮度像素占更多比例时，将阈值128减小，当高亮度像素占更多比例时，将阈值128增大；

重复前一步，迭代到最接近1：1：3：1：1的像素占比，此时的阈值即为第一最优二值化阈值；

以左下角顶点为起点，重复上述步骤，获取第二最优二值化阈值；

加权所述第一最优二值化阈值及所述第二最优二值化阈值，获得第三最优二值化阈值作为本次的全局最优二值化阈值。

正常情况下，二维码图像亮度在正常范围内，二值化阈值可以选取亮度中位值。但是在某些特殊环境下，例如过曝、欠曝、ISP亮度迁移，或者IPC摄像头支持宽动态模式，自动调整前景、背景亮度，导致二维码图像整体偏亮或偏暗，此时固定的二值化阈值会导致二维码信息缺失。如图5所示，图5中的图(a)和图(c)均不能被正常识别，只有图(b)能被正常识别，而本申请使用自适应二值化阈值算法，可以有效避免图像亮度变化。

二维码图像在实际编码生成过程中，图像纹理是随机的，黑白像素的比例也是随机变化的。这造成了无法从直方图统计中简单的判断二维码图像是否存在过曝和欠曝。本申请通过检测二维码图像的桩点，快速得出二维码图像二值化阈值。

本申请在步骤1中，已经实现了二维码图像的精准定位，解决了偏转、旋转的图像问题。自适应阈值的获取过程中，使用顶点连线能准确的找到图像桩点矩形图像，进而利用桩点图像的特征来获取自适应二值化阈值。如图6所示二维码图像桩点。

由于二维码图像桩点的特征不变性，二值化后的二维码图像同样满足11311的黑白像素分布。本申请使用对角线连线上的像素分布，对量连线上二维码桩点矩形的黑白像素，通过换算后满足如下规律：

因此在同样比例下，可以计算最优的二值化的阈值，进而得到更加真实的增强图像，解决欠曝和过曝光的问题。

具体步骤如下：

1.获取二维码目标图像的右上角和左下角的桩点定点。

2.在两个定点连线上，分别以两个端点为起始点做像素检测。

3.以右上角顶点为起点，以像素亮度中位值128位阈值，遍历对角线上的，统计小于阈值和大于阈值的像素点个数，以1：1：3：1：1为标准。

4.当低亮度像素占更多比例时，将阈值128减小。

5.当高亮度像素占更多比例时，将阈值128增大。

6.重复4和5，迭代到最接近1：1：3：1：1的像素占比，此时的阈值即为最优二值化阈值。

7.以左下角顶点为起点，重复3456，找到最优二值化阈值。

8.加权67得到的两个二值化阈值，作为本次的全局最优二值化阈值。

本申请一实施例还提供了一种物联网IPC二维码配网图像增强方系统，包括：

二维码图像定位模块，用于通过矩形框定位二维码图像区域；

二维码图像放大模块，用于放大所述二维码图像区域；

自适应图像二值化模块，用于将放大后的所述二维码图像区域二值化；

其中所述矩形框的颜色与所述二维码图像区域的颜色不同。

二维码通道输出YUV数据后，使用UV颜色分量快速定位。

YUV，是一种颜色编码方法。常使用在各个视频处理组件中。YUV在对照片或视频编码时，考虑到人类的感知能力，允许降低色度的带宽。

YUV是编译true-color颜色空间(color space)的种类，Y'UV,YUV,YCbCr，YPbPr等专有名词都可以称为YUV，彼此有重叠。“Y”表示明亮度(Luminance或Luma)，也就是灰阶值，“U”和“V”表示的则是色度(Chrominance或Chroma)，作用是描述影像色彩及饱和度，用于指定像素的颜色。

与现有技术相比，本申请具有如下有益效果：

定制化APP界面，使用UV颜色分量，更少的计算量，快速的定位二维码区域；

二维码图像桩点对角线检测，获取自适应图像亮度，解决过曝和欠曝问题。

请参照图7，本申请还提供了一种计算机设备，包括存储器、处理器和存储在所述存储器内并能由所述处理器运行的计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述的方法。

请参照图8，一种计算机可读存储介质，非易失性可读存储介质，其内存储有计算机程序，所述计算机程序在由处理器执行时实现上述任一项所述的方法。

一种计算机程序产品，包括计算机可读代码，当所述计算机可读代码由计算机设备执行时，导致所述计算机设备执行上述任一项所述的方法。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (6)

1.一种物联网IPC二维码配网图像增强方法，其特征在于，包括：

通过矩形框定位二维码图像区域；

放大所述二维码图像区域；

将放大后的所述二维码图像区域二值化；

其中所述矩形框的颜色与所述二维码图像区域的颜色不同；

通过矩形框定位二维码图像区域包括定位所述二维码图像区域的顶点，包括：

遍历所述二维码图像颜色像素，查找矩形框颜色的像素点，获得第一像素点；

以所述第一像素点为中心形成定位框；

遍历所述定位框上的像素点，定位所述矩形框颜色的像素点，获得第二像素点及第三像素点；

当落在所述第一像素点和所述第二像素点连线上及落在所述第一像素点和所述第三像素点连线上的像素同时均为所述矩形框颜色时，保留所述第一像素点作为所述二维码图像矩形区域的定点之一；

重复上述步骤，遍历图像找到所有满足条件的第一像素点；

在所述第一像素点集合中获取组成正方形顶点的四个点，作为所述二维码目标图像区域的顶点；

获得所述顶点之后，采用yuv图像拷贝算法，截取目标区域的数据，传入图像放大算法接口；

其中，所述第一像素点、所述第二像素点及所述第三像素点不位于同一条直线上。

2.根据权利要求1所述的物联网IPC二维码配网图像增强方法，其特征在于，放大所述二维码图像区域包括：

通过如下公式放大所述二维码图像区域，

其中

其中，插值图中(distI,distJ)处像素映射到原图中的坐标为：(i+v,j+u)，插值后的图中(distI,distJ)坐标点对应的值是原图中(i,j)处邻近16个像素点的权重卷积之和，其中i,j的范围是[i-1,i+2]，[j-1,j+2]；

当a取不同值时，可以用来逼近不同的样条函数，得到不同的图像放大效果；row表示图像的行，v表示行数偏差；col表示图像的列，u表示列数插。

3.根据权利要求2所述的物联网IPC二维码配网图像增强方法，其特征在于，将放大后的所述二维码图像区域二值化包括：

通过检测二维码图像的桩点，获得所述二维码图像的二值化阈值；

检测二维码图像的桩点包括：

使用所述二维码图像区域的对角线找到所述图像的桩点矩形图像；

所述二维码图像的二值化阈值包括：

获取二维码目标图像的右上角和左下角的桩点顶点；

在所述桩点顶点的连线上，分别以两个端点为起始点做像素检测；

以右上角顶点为起点，以像素亮度中位值128位阈值，遍历对角线上的，统计小于阈值和大于阈值的像素点个数，以1：1：3：1：1为标准，当低亮度像素占更多比例时，将阈值128减小，当高亮度像素占更多比例时，将阈值128增大；

重复前一步，迭代到最接近1：1：3：1：1的像素占比，此时的阈值即为第一最优二值化阈值；

以左下角顶点为起点，重复上述步骤，获取第二最优二值化阈值；

加权所述第一最优二值化阈值及所述第二最优二值化阈值，获得第三最优二值化阈值作为本次的全局最优二值化阈值。

4.一种物联网IPC二维码配网图像增强方系统，其特征在于，包括：

二维码图像定位模块，用于通过矩形框定位二维码图像区域；

二维码图像放大模块，用于放大所述二维码图像区域；

自适应图像二值化模块，用于将放大后的所述二维码图像区域二值化；

其中所述矩形框的颜色与所述二维码图像区域的颜色不同；

二维码图像定位模块包括顶点定位模块，所述顶点定位模块包括：

第一像素点获取模块，用于遍历所述二维码图像颜色像素，查找矩形框颜色的像素点，获得第一像素点；

矩形框形成模块，用于以所述第一像素点为中心形成定位框；

第二及第三像素点获取模块，用于遍历所述定位框上的像素点，定位矩形框颜色的像素点，获得第二像素点及第三像素点；

第一像素点保留模块，用于当落在所述第一像素点和所述第二像素点连线上及落在所述第一像素点和所述第三像素点连线上的像素同时均为所述矩形框颜色时，保留所述第一像素点作为所述二维码图像矩形区域的定点之一；

顶点确定模块，用于在所述第一像素点集合中获取组成正方形顶点的四个点，作为所述二维码目标图像区域的顶点；

截取模块，用于获得所述顶点之后，采用yuv图像拷贝算法，截取目标区域的数据，传入图像放大算法接口；

其中，所述第一像素点、所述第二像素点及所述第三像素点不位于同一条直线上。

5.一种计算机设备，包括存储器、处理器和存储在所述存储器内并能由所述处理器运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-3中任一项所述的方法。

6.一种计算机可读存储介质，非易失性可读存储介质，其内存储有计算机程序，其特征在于，所述计算机程序在由处理器执行时实现如权利要求1-3中任一项所述的方法。

Images