CN108520193A - 基于神经网络的二维码识别系统及识别方法 - Google Patents

Abstract

本发明涉及图像处理技术领域，具体涉及基于神经网络的二维码识别系统及识别方法，所述识别系统包括芯片终端、图像传感单元、及神经网络处理单元，所述图像传感单元与神经网络处理单元共同集成设置在芯片终端上，并通过数据传输网络进行数据传输；所述神经网络处理单元直接对所述图像传感单元捕获的图像数据进行识别分析，并将相应的识别结果通过UART串行通讯端口输出。在扫描二维码的场景中，利用所述二维码识别系统，通过一体化芯片终端神经网络的分析能力、自学习和自适应能力，实现快速识别二维码并且以低成本UART串行通讯端口输出识别结果，大幅度提升二维码的识别速度，适用于多种二维码识别场景。

Description

基于神经网络的二维码识别系统及识别方法

技术领域

本发明涉及图像处理技术领域，具体涉及基于神经网络的二维码识别系统及识别方法。

背景技术

在现有技术中，二维码是用某种特定的几何图形按一定规律在平面也就是二维方向上分布的黑白相间的图形记录数据符号信息的；在代码编制上巧妙地利用构成计算机内部逻辑基础的“0”、“1”概念，使用若干个与二进制相对应的几何形体来表示文字数值信息，通过图象输入设备或光电扫描设备自动识读以实现信息自动处理：它具有条码技术的一些共性：每种码制有其特定的字符集；每个字符占有一定的宽度；具有一定的校验功能等。同时还具有对不同行的信息自动识别功能、及处理图形旋转变化点；

而“人工神经网络”(ARTIFICIAL NEURAL NETWORK，简称ANN)是在对人脑组织结构和运行机制的认识理解基础之上模拟其结构和智能行为的一种工程系统。通过“人工神经网络”的深度卷积分析能力、自主学习能力、及数据分析能力，已经在模式识别、智能机器人、自动控制、预测估计、生物、医学、经济等领域已成功地解决了许多现代计算机难以解决的实际问题，表现出了良好的智能特性。而目前市面上还没有出现将神经网络应用在二维码识别分析的系统或者方法。

发明内容

为了有效解决上述问题，本发明提供基于神经网络的二维码识别系统及识别方法。

本发明的具体技术方案如下：基于神经网络的二维码识别系统，所述识别系统包括一个芯片终端、一个图像传感单元、及一个神经网络处理单元，所述图像传感单元与神经网络处理单元共同集成设置在芯片终端上，并通过数据传输网络进行数据传输；

所述神经网络处理单元直接对所述图像传感单元捕获的图像数据进行识别分析，并将相应的识别结果通过UART串行通讯端口输出。

进一步地，所述神经网络处理单元包括图像输入模块、预处理模块、数据缓存模块、匹配模块；

所述图像输入模块与所述图像传感单元通过数据传输网络进行数据传输，所述图像输入模块与预处理模块通过数据传输网络进行数据传输，所述预处理模块将图像预处理数据输入所述数据缓存模块、及匹配模块。

进一步地，所述神经网络处理单元还包括神经处理阵列，所述数据缓存模块将图像数据输入所述神经处理阵列进行神经元数据识别分析，并将识别结果输入所述匹配模块；

所述匹配模块将神经处理阵列的识别结果界定为第一数值，将预处理模块的识别结果界定为第二数值，通过第一数值与第二数值的容差度计算，判断准确的识别结果。

进一步地，所述神经网络处理单元还包括指令存储模块、全局控制模块，所述指令存储模块与全局控制模块连接，所述指令存储模块与图像输入模块连接。

进一步地，所述全局控制模块包括译码电路、配置缓存模块，所述全局控制模块根据指令存储模块中的指令利用译码电路为其他模块提供控制逻辑；

所述全局控制模块根据配置缓存模块中存储配置信息实现对不同网络结构和类型的配置。

进一步地，所述神经处理阵列包括若干个神经处理单元，所述神经处理单元包括局部缓存单元、运算单元、控制单元，所述局部缓存单元为一个双页存储器，所述双页存储器用于进行乒乓操作交替读写；

所述运算单元包括乘累加器单元MAC、分段线性表和结果缓存器acc reg，用于对图像数据进行卷积运算、全连接运算、多层感知器运算、非线性函数运算、池化运算；

所述控制单元于接受全局控制模块发送的配置信息和指令信息，按照配置信息的指示设置为不同的工作状态，以使系统适应不同神经网络类型和网络结构。

进一步地，所述的数据传输网络由多条直接存储器访问DMA通道构成，处理器运行时启动多个直接存储器访问DMA通道进行数据传输。

进一步地，所述全局控制模块与神经处理阵列相互逻辑连接，进行数据传输。

基于神经网络的二维码识别方法，所述识别方法包括以下步骤：

步骤1：获取二维码图像：通过集成在芯片终端的图像传感单元获取二维码图像；

步骤2：识别二维码图像：通过集成在芯片终端的神经网络处理单元，将图像传感单元获取的图像输入所述神经网络处理单元，进行识别二维码内容；

所述步骤3：将神经处理单元阵列的识别结果，以字符、数据流方式输入所述输出模块，所述输出模块通过UART串行通讯端口输出识别结果。

进一步地，所述步骤2中识别二维码内容的具体识别步骤包括：

步骤2.1：所述图像传感单元将二维码图像通过数据传输网络输入图像输入模块，所述图像输入模块将图像进行标准化处理，并将标准图像格式输入至预处理模块；

步骤2.3：所述预处理模块对图像去除干扰、模糊，改善图像质量，生成特征图像，并将特征图像同时输入数据缓存模块、及匹配模块；

步骤2.4：所述数据缓存模块将特征图像输入神经处理单元阵列，所述神经处理单元阵列包括若干个神经处理单元，每个神经处理单元都可以进行数据分析；

经过神经处理单元阵列的运算分析获得图像识别结果，并界定该结果为第一数值；

步骤2.5：所述预处理模块将特征图像输入所述匹配模块，所述匹配模块对图像进行机器识别，并将该识别结果界定为第二数值；

步骤2.6：所述第一数值与第二数值均以二进制形式表现，并在匹配模块中进行计算容差度，若容差度满足设定值则执行步骤3，若容差度不满足设定值则重新获取图像，执行步骤1。

本发明的有益之处：应用本发明所述二维码识别系统及识别方法，在扫描二维码的场景中，利用所述二维码识别系统，通过一体化芯片终端神经网络的分析能力、自学习和自适应能力，实现快速识别二维码并且以低成本UART串行通讯端口输出识别结果，大幅度提升二维码的识别速度，适用于多种二维码识别场景。

附图说明

图1为本发明第一实施例所述二维码识别系统的结构框图；

图2为本发明第一实施例所述神经处理单元的结构框图；

图3为本发明第二实施例所述识别方法的方法流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细描述。应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。

相反，本发明涵盖任何由权利要求定义的在本发明的精髓和范围上做的替代、修改、等效方法以及方案。进一步，为了使公众对本发明有更好的了解，在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。

如图1所示，为本发明第一实施例的整体结构示意图，该实施例提供了基于神经网络的二维码识别系统，所述识别系统包括一个芯片终端1、图像传感单元2、神经网络处理单元3、及一个UART串行通讯端口4，所述芯片终端1用于承载所述图像传感单元2、神经网络处理单元3、及UART串行通讯端口4，所述图像传感单元2用于获取二维码图像，所述神经网络处理单元3用于解析二维码图像的内容信息，并通过UART串行通讯端口输出相应的字符、数据等识别结果；

所述芯片终端1上分别集成设置所述图像传感单元2、神经网络处理单元3、及UART串行通讯端口4，所述图像传感单元2与所述神经网络处理单元4逻辑连接，具体为，所述图像传感单元2为CMOS图像传感器，所述CMOS图像传感器通过像敏单元捕获图像，并将图像生成标准数据格式通过数据输出端口输出至所述神经网络处理单元3；

所述神经网络处理单元3包括图像输入模块31、预处理模块32、数据缓存模块33、神经处理单元阵列34、匹配模块35、指令存储模块36、数据传输网络37和全局控制模块38；

所述图像输入模块31与所述图像传感单元2通过数据传输网络37连接，将所述图像传感单元2捕获的图像输入所述神经网络处理单元3，所述图像输入模块31与预处理模块32通过数据传输网络37连接，所述预处理模块32主要将非标准格式图像进行标准化处理，初步生成神经处理单元阵列34可分析判断的图像，并对该图像去除干扰、模糊，改善给定图像的质量，生成非线性的特征图像，将经过预处理模块32初步处理的图像同时输入数据缓存模块33、及匹配模块35；

所述数据缓存模块33包括一个双页存储器，通过乒乓操作实现外部存储器和处理器高速数据交换，用于缓存图像输入模块发送的图像或网络权重数据，并转发到神经处理单元阵列34；用于缓存神经处理单元阵列34产生的运算结果，并转发到匹配模块35。

所述指令存储模块36，用于接受全局控制模块38、及图像传感单元2的指令。

所述数据传输网络37，用于给图像传感单元2、数据缓存模块33和神经处理单元阵列34提供数据传输通路，传输图像数据、网络权重数据或运算结果，所述的数据传输网络37由多条直接存储器访问DMA通道构成，处理器运行时启动多个直接存储器访问DMA通道进行数据传输。

所述匹配模块35接收所述神经处理单元阵列的分析结果，所述神经处理单元阵列34分析结果为第一数值；所述匹配模块35接收所述预处理模块32的图像后，进行初级图像分析，所述初级图像分析主要为定位校正图像、图像曝光色彩处理、及图像机器识别，所述初级图像分析为本领域的常规图像分析，从而获得可初步判断图像内容的第二数值；在本实施例中，所述第一数值、及第二数值的在匹配模块中，均以二进制形式表现，并在匹配模块35中进行比较判断，通过比较两者在相同长度的字符长度中，不同的字符数量占比，从而获得两者结果的容差度，经过大量实验数据获得，所述容差度为12％-20％时，所述神经处理单元阵列34对全局控制模块38输出识别结果，该识别结果稳定为准确的数值结果，若容差度＞8％，则该图像重新进行图像识别分析，重新获取容差度。

进一步地，所述全局控制模块38，由指令存储模块36、译码电路381、配置缓存模块382、及输出模块383构成，全局控制模块28根据指令存储模块36中的指令利用译码电路381为其他模块提供控制逻辑，控制所述的图像输入模块31、数据缓存模块33、神经处理单元阵列34、指令存储模块36和数据传输网络37，用于对读入的图像或网络权重数据进行乘累加、卷积、比较运算、输出运算结果；全局控制模块38根据配置缓存模块382中存储配置信息实现对不同网络结构和类型的配置，所述输出模块383与UART串行通讯端口4连接，进行数据传输；

在所述匹配模块35确认第一数值与第二数值的容差度满足设定值时，将极小的文件图像识别结果，以相应的字符、数据，输出至输出模块383，所述输出模块383对相应的加密处理后，通过UART串行通讯端口4输出外部的读取设备，所述读取设备为本领域的常规设备，在此不做具体分析。

所述数据缓存模块33与神经处理单元阵列34通过数据传输网络37连接；所述的神经处理单元阵列34由多个神经处理单元341组成，每个神经处理单元341包括一个局部数据缓存单元A；所述图像输入模块31和指令存储模块36通过数据传输网络37连接；所述全局控制模块38通过控制总线连接其他所有模块。

所述神经处理单元阵列34，包括N*M个神经处理单元341，每个神经处理单元341都可以单独完成神经网络的所需的所有操作类型；神经处理单元阵列34用于接受数据缓存模块33发送的图像或网络权重数据，在运算类型和运算数制支持下进行运算操作，并将运算结果发送到数据缓存模块33；所述的神经处理单元阵列34支持的运算类型是指可选择以下运算类型中的任意一种，运算类型包括卷积乘累加运算、全连接乘加运算、多层感知器乘累加运算，池化运算和非线性函数运算；所述的神经处理单元阵列34支持的运算数制包括浮点数制和定点数制；所述的非线性函数运算是指，从分段线性表中读取斜率和截距后发送至乘累加器，完成非线性函数运算；神经处理单元341被排列成N行M列；N行分别编号为：第0行、第1行、…第N-1行，M列分别编号为：第0列、第1列…第M-1列，为完成最大池化操作，第0行和第1行对应，第2行和第3行对应，依次类推，神经处理单元阵列34内部设计了多个池化操作的专用池化通道，偶数行神经处理单元和对应的奇数行神经处理单元之间有M个专用池化通道；卷积运算完成时，偶数行运算单元和奇数行运算单元都会产生一个卷积运算结果，奇数行处理器单元利用所述专用池化通道将运算结果发送到偶数行神经处理单元进行池化操作。

如图2所示，神经处理单元341包括局部缓存单元A、运算单元B和控制单元C。

局部缓存单元A包括一个双页存储器，工作时进行乒乓操作交替读写，以保证数据高效传输，用于接收数据缓存模块发送的数据，将运算单元B。

运算单元B，包括乘累加器单元MAC、分段线性表和结果缓存器acc reg，乘累加器用于进行卷积运算、全连接运算、多层感知器运算、非线性函数运算、池化运算，产生的结果存储到结果缓存器acc reg中；进行非线性函数时将中间运算结果作为地址输入分段线性表中，分段性表输出斜率和截距，然后使用乘累加器MAC将中间运算结果和斜率相乘，所得乘积和截距相加，最后得到的加和作为非线性函数的输出值，将其输出到控制单元C中的rs0中。

控制单元C，包括参数可配置状态、rs0、rs1和rs out，可配置状态用于接受全局控制模块发送的配置信息和指令信息，按照配置信息的指示设置为不同的工作状态，以使系统适应不同神经网络类型和网络结构；根据指令信息中的操作码控制局部缓存单元A、运算单元B进行不同的操作逐层完成神经网运算，rs0用于接受运算单元B发送的非线性函数运算结果，偶数行神经处理单元中的rs1用于接受对应奇数行神经处理单元阵列发送的结果，根据rs0和rs1进行池化操作。

在本发明的第二实施例中，基于神经网络的二维码识别方法包括以下具体步骤：

步骤1：获取二维码图像：通过集成在芯片终端的图像传感单元获取二维码图像；

步骤2：识别二维码图像：通过集成在芯片终端的神经网络处理单元，将图像传感单元获取的图像输入所述神经网络处理单元，进行识别二维码内容，具体识别步骤包括：

步骤2.1：所述图像传感单元将二维码图像通过数据传输网络输入图像输入模块，所述图像输入模块将图像进行标准化处理，并将标准图像格式输入至预处理模块；

步骤2.3：所述预处理模块对图像去除干扰、模糊，改善图像质量，生成特征图像，并将特征图像同时输入数据缓存模块、及匹配模块；

步骤2.4：所述数据缓存模块将特征图像输入神经处理单元阵列，所述神经处理单元阵列包括若干个神经处理单元，每个神经处理单元都可以进行数据分析；

经过神经处理单元阵列的运算分析获得图像识别结果，并界定该结果为第一数值；

步骤2.5：所述预处理模块将特征图像输入所述匹配模块，所述匹配模块对图像进行机器识别，并将该识别结果界定为第二数值；

步骤2.6：所述第一数值与第二数值均以二进制形式表现，并在匹配模块中进行计算容差度，若容差度满足设定值则执行步骤3，若容差度不满足设定值则重新获取图像，执行步骤1；

所述步骤3：将神经处理单元阵列的识别结果，以字符、数据流方式输入所述输出模块，所述输出模块通过UART串行通讯端口输出识别结果。

在扫描二维码的场景中，利用所述二维码识别系统，通过一体化芯片终端神经网络的分析能力、自学习和自适应能力，实现快速识别二维码并且以低成本UART串行通讯端口输出识别结果，大幅度提升二维码的识别速度，适用于多种二维码识别场景。

对于本领域的普通技术人员而言，根据本发明的教导，在不脱离本发明的原理与精神的情况下，对实施方式所进行的改变、修改、替换和变形仍落入本发明的保护范围之内。

Claims (10)

1.基于神经网络的二维码识别系统，其特征在于，所述识别系统包括一个芯片终端、一个图像传感单元、及一个神经网络处理单元，所述图像传感单元与神经网络处理单元共同集成设置在芯片终端上，并通过数据传输网络进行数据传输；

所述神经网络处理单元直接对所述图像传感单元捕获的图像数据进行识别分析，并将相应的识别结果通过UART串行通讯端口输出。

2.根据权利要求1所述基于神经网络的二维码识别系统，其特征在于，所述神经网络处理单元包括图像输入模块、预处理模块、数据缓存模块、匹配模块；

所述图像输入模块与所述图像传感单元通过数据传输网络进行数据传输，所述图像输入模块与预处理模块通过数据传输网络进行数据传输，所述预处理模块将图像预处理数据输入所述数据缓存模块、及匹配模块。

3.根据权利要求2所述基于神经网络的二维码识别系统，其特征在于，所述神经网络处理单元还包括神经处理阵列，所述数据缓存模块将图像数据输入所述神经处理阵列进行神经元数据识别分析，并将识别结果输入所述匹配模块；

所述匹配模块将神经处理阵列的识别结果界定为第一数值，将预处理模块的识别结果界定为第二数值，通过第一数值与第二数值的容差度计算，判断准确的识别结果。

4.根据权利要求2所述基于神经网络的二维码识别系统，其特征在于，所述神经网络处理单元还包括指令存储模块、全局控制模块，所述指令存储模块与全局控制模块连接，所述指令存储模块与图像输入模块连接。

5.根据权利要求2所述基于神经网络的二维码识别系统，其特征在于，所述全局控制模块包括译码电路、配置缓存模块，所述全局控制模块根据指令存储模块中的指令利用译码电路为其他模块提供控制逻辑；

所述全局控制模块根据配置缓存模块中存储配置信息实现对不同网络结构和类型的配置。

6.根据权利要求3所述基于神经网络的二维码识别系统，其特征在于，所述神经处理阵列包括若干个神经处理单元，所述神经处理单元包括局部缓存单元、运算单元、控制单元，所述局部缓存单元为一个双页存储器，所述双页存储器用于进行乒乓操作交替读写；

所述运算单元包括乘累加器单元MAC、分段线性表和结果缓存器acc reg，用于对图像数据进行卷积运算、全连接运算、多层感知器运算、非线性函数运算、池化运算；

所述控制单元于接受全局控制模块发送的配置信息和指令信息，按照配置信息的指示设置为不同的工作状态，以使系统适应不同神经网络类型和网络结构。

7.根据权利要求1所述基于神经网络的二维码识别系统，其特征在于，所述的数据传输网络由多条直接存储器访问DMA通道构成，处理器运行时启动多个直接存储器访问DMA通道进行数据传输。

8.根据权利要求4所述基于神经网络的二维码识别系统，其特征在于，所述全局控制模块与神经处理阵列相互逻辑连接，进行数据传输。

9.基于神经网络的二维码识别方法，其特征在于，所述识别方法包括以下步骤：

步骤1：获取二维码图像：通过集成在芯片终端的图像传感单元获取二维码图像；

步骤2：识别二维码图像：通过集成在芯片终端的神经网络处理单元，将图像传感单元获取的图像输入所述神经网络处理单元，进行识别二维码内容；

所述步骤3：将神经处理单元阵列的识别结果，以字符、数据流方式输入所述输出模块，所述输出模块通过UART串行通讯端口输出识别结果。

10.根据权利要求10所述基于神经网络的二维码识别方法，其特征在于，所述步骤2中识别二维码内容的具体识别步骤包括：

步骤2.1：所述图像传感单元将二维码图像通过数据传输网络输入图像输入模块，所述图像输入模块将图像进行标准化处理，并将标准图像格式输入至预处理模块；

步骤2.3：所述预处理模块对图像去除干扰、模糊，改善图像质量，生成特征图像，并将特征图像同时输入数据缓存模块、及匹配模块；

步骤2.4：所述数据缓存模块将特征图像输入神经处理单元阵列，所述神经处理单元阵列包括若干个神经处理单元，每个神经处理单元都可以进行数据分析；

经过神经处理单元阵列的运算分析获得图像识别结果，并界定该结果为第一数值；

步骤2.5：所述预处理模块将特征图像输入所述匹配模块，所述匹配模块对图像进行机器识别，并将该识别结果界定为第二数值；

步骤2.6：所述第一数值与第二数值均以二进制形式表现，并在匹配模块中进行计算容差度，若容差度满足设定值则执行步骤3，若容差度不满足设定值则重新获取图像，执行步骤1。