CN104636309B

CN104636309B - 基于机器视觉的矩阵识别方法

Info

Publication number: CN104636309B
Application number: CN201510065308.9A
Authority: CN
Inventors: 茅耀斌; 邹城; 郭唐仪; 刘康; 张夏清; 许晋河; 穆志洋; 吴中山; 王建博; 徐茜; 徐杰; 刘思源; 姚怡超; 邢成欢; 程聪; 陈国丰
Original assignee: Nanjing University of Science and Technology
Current assignee: Nanjing University of Science and Technology
Priority date: 2015-02-06
Filing date: 2015-02-06
Publication date: 2018-01-05
Anticipated expiration: 2035-02-06
Also published as: CN104636309A

Abstract

本发明公开了一种基于机器视觉的矩阵计算器及实现方法，矩阵计算器包括摄像头、图像处理模块、用户界面、显示器、键盘和能够执行矩阵运算的运算模块；本发明从手写/印刷矩阵图像中直接分离并识别出矩阵中的元素，然后使用内置的函数根据用户选择进行矩阵运算；通过数字图像分析和模式识别技术，改变了传统计算器的数据输入方式，实现即拍即算，让计算器的使用更加简单与高效。

Description

基于机器视觉的矩阵识别方法

技术领域

本发明属于基于模式识别和图像处理技术的智能计算器领域，特别是一种基于机器视觉的矩阵计算器及实现方法。

背景技术

计算器是工程技术人员、科研人员和理工科学生们进行工程实践、从事科学研究工作等所必需的利器。矩阵分析与计算在科学计算中有着重要的地位。

然而，通过分析现有市场不难发现，具有矩阵计算能力的计算器和计算型软件并不多见，更重要的是，它们缺乏灵活性与易用性。它们一般需要先将计算器/计算软件设置为矩阵计算模式，然后从仅有的几种预定义尺寸的矩阵中选择一个，之后便需要将矩阵元素一个个小心翼翼地输入进去，这种方式效率低下，尤其是当矩阵的阶数为三阶及其以上时，用户在矩阵输入上浪费了大量的宝贵时间。

中国实用新型专利CN 202916831 U公开了一种多功能矩阵计算器，通过输入矩阵实现矩阵运算，该矩阵运算器需要手动输入矩阵元素，不仅效率低下，还容易出现输入错误，影响使用效果。

发明内容

针对当前具有矩阵计算能力的计算器和计算型软件并不多见，且仅有的这些计算器和计算软件灵活性与易用性较差这一现象，为了变繁为简，提高矩阵计算器的易用性，大幅度改善用户体验，本发明给出的基于机器视觉的矩阵计算器同传统计算器相比，特色鲜明地解决了这些问题。矩阵图像识别技术让矩阵的输入便捷高效，而传统键盘输入可以在矩阵识别有误时进行局部修改。本发明旨在实现一种“即拍即算”的全新设计，让计算器使用起来更加方便。

实现本发明目的的技术方案为：一种基于机器视觉的矩阵计算器，包括摄像头、图像处理模块、用户界面、显示器、键盘和运算模块；

所述摄像头与图像处理模块相连，将采集的矩阵图像传输给图像处理模块，图像处理模块识别矩阵的行数、列数和矩阵元素；所述图像处理模块与运算模块相连，运算模块加载并执行矩阵运算算法，对接受到的矩阵元素进行运算，所述运算模块与用户界面相连，用户界面将矩阵的行数、列数和矩阵元素绘制出来，所述用户界面与显示器相连，显示器显示用户界面上绘制的内容；所述键盘与用户界面相连，用于输入数据和选择功能。

一种基于机器视觉的矩阵计算器的矩阵识别方法，包括以下步骤：

步骤1、输入矩阵图像，将矩阵图像转换为灰度图像A；

步骤2、使用自适应二值化方法对灰度图像A进行二值化处理，得到二值图像B；

步骤3、对二值图像B进行连通域提取和面积滤波；

步骤4、使用投影法对矩阵元素进行聚类；所述矩阵元素为矩阵中的数据项；

步骤5、使用卷积神经网络识别矩阵元素；

步骤6、输出矩阵的行数、列数和所有矩阵元素值。

与现有技术相比，本发明的优点为：(1)本发明通过数字图像分析和模式识别技术，可以直接从数字图像中获得手写体矩阵元素或者印刷体矩阵元素，这同传统计算器的数据输入方式相比，大大提高了矩阵数据的输入效率；(2)本发明从理念上改变了计算器的数据输入方式，旨在实现一种“即拍即算”的全新设计，让计算器使用起来更加简单与高效；(3)本发明不仅可以通过摄像头采集矩阵图像信息，还可以通过键盘手动输入，提高了数据输入的准确性。

下面结合附图对本发明作进一步详细描述。

附图说明

图1是本发明实施例1的结构示意图。

图2是本发明实施例2的结构示意图。

图3是本发明实施例的矩阵识别算法流程和中间结果图。

具体实施方式

结合图1、图2，本发明的一种基于机器视觉的矩阵计算器，包括摄像头、图像处理模块、用户界面、显示器、键盘和运算模块；

所述摄像头与图像处理模块相连，将采集的矩阵图像传输给图像处理模块，图像处理模块识别矩阵的行数、列数和各个矩阵元素；所述图像处理模块与运算模块相连，运算模块加载并执行矩阵运算算法，对接受到的矩阵元素进行运算，所述运算模块与用户界面相连，用户界面将矩阵的行数、列数和各个矩阵元素绘制出来，所述用户界面与显示器相连，显示器显示用户界面上绘制的内容；所述键盘与用户界面相连，用于输入数据和选择功能。

所述图像处理模块包括矩阵图像预处理模块、数字字符提取模块，矩阵元素聚类模块和数字字符识别模块。

所述功能函数模块中的算法包括对矩阵的加法、减法、乘法、乘方、行列式、秩、逆矩阵、特征值和特征向量。

所述摄像头为微型的、可自动快速聚焦的摄像头，分辨率不低于640x480像素；所述显示器为LCD液晶显示器或者触摸屏；所述键盘为实体键盘或应用于触摸屏的电子虚拟键盘。

结合图3，一种基于机器视觉的矩阵计算器的矩阵识别方法，包括以下步骤：

步骤1、输入矩阵图像，将矩阵图像转换为灰度图像A；

步骤2、使用自适应二值化方法对灰度图像A进行二值化处理，得到二值图像B；具体为：

步骤2-1、计算图像中的每一个像素值的阈值：

T_xy＝μ_xy-C

其中，s_xy表示灰度图像A中位于坐标(x,y)处的点的灰度值，T_xy表示(x,y)点处的阈值，d_xy表示二值图像B中(x,y)处的像素值，μ_xy表示(x,y)坐标邻域内的均值，C为设定的参数，0≤C≤255；如果当前像素的灰度值大于计算得到的阈值，则将其标记为前景1，否则标记为背景0；所述坐标系以图像左上角为原点，水平向右为x轴，水平向下为y轴；

步骤2-2、对灰度图像A二值化，得到二值图像B。

步骤3、对二值图像B进行连通域提取和面积滤波；具体为：

步骤3-1、根据基于轮廓的连通域标记算法在二值图像B中提取连通域，得到各个连通域的中心坐标、宽度和高度；

步骤3-2、根据各个连通域相对于整体图像的面积对连通域进行筛选，只保留符合要求的连通域，面积太小的可以视为噪声。

筛选的规则为：设整幅图像的宽度为Width，高度为Height，共有N个连通域；其中，第i个连通域的宽度为w_i，高度为h_i(1≤i≤N)，则连通域面积占整幅图像面积的比例t_i为：

当t_i≤T₀时，第i个连通域面积太小，不符合要求，为噪声；而当t_i>T₀时，第i个连通域有效，保留该连通域；参数T₀根据实验结果设定。

步骤4、使用投影法对矩阵元素进行聚类；具体为：

步骤4-1、根据中心点的y坐标对所有连通域由小到大进行排序；

步骤4-2、使用阈值T_y，根据每相邻两个连通域y坐标之间的绝对差值对连通域进行聚类，得到矩阵的行数和每一个连通域的行号；聚类的方法为：

上式中，y_i表示升序排序后第i个连通域的y坐标，C_i表示升序排序后第i个连通域的类别标签，并且初始条件下C₁＝1；当相邻两个连通域的y坐标之间的绝对差值小于阈值T_y时，这两个连通域属于同类，否则属于不同的类；其中，阈值T_y由下式给出：

其中，N表示连通域的总个数，h_i表示第i个连通域的高度，参数α为可调的经验参数，0.8≤α≤2.5；

步骤4-3、在上一步的基础上，根据中心点x坐标对所有连通域再次进行由小到大排序；

步骤4-4、在同一行上，使用阈值T_x，根据每相邻两个连通域x坐标之间的绝对差值

对连通域进行聚类，得到矩阵的列数和每一个连通域的列号；T_x表达式为：

其中，w_i表示第i个连通域的宽度，参数β为可调的经验参数，1.2≤β≤2.5；

步骤4-5、将行号和列号相同的连通域组合在一起，构成一个完整的矩阵元素。

步骤5、使用卷积神经网络识别矩阵元素；具体为：

步骤5-1、对一个完整的矩阵元素进行分割，得到各个符号和数字的图像；

步骤5-2、将每一个字符图像缩放到32x32像素；

步骤5-3、使用卷积神经网络对各个字幅图像进行识别；

步骤5-4、根据字符的左右顺序，将识别结果组织成字符串后转换成浮点数。

步骤6、输出矩阵的行数、列数和所有矩阵元素值。

下面结合具体实施例对本发明做进一步说明

实施例1

结合图1，一种基于机器视觉的矩阵计算器，在传统计算器的背面安装可自动对焦的微型摄像头，在计算器正面将段式液晶显示器替换为可以同时显示数字、符号、文字和图像的LCD显示器，在按键中增设“拍照”按键，并将摄像头控制程序、常用的矩阵计算程序、友好的用户界面程序和矩阵图像识别算法固化到计算器的核心板。

首先，用户在纸上写出待操作的矩阵，如果已经写好，或者该矩阵原本为印刷体，已经存在于纸上或者书本上，则进入下一步；

其次，用户点击“拍照”按键，打开摄像头，此时会在LCD显示器中实时显示摄像头预览画面，并且摄像头会自动聚焦到目标，当用户感觉矩阵图像质量可以时，点击“确认”按键，退出摄像头预览画面；

然后，计算器会自动识别出矩阵的行数、列数和矩阵中的所有元素值，并显示在LCD显示器中，用户检查矩阵识别是否正确，若有错误，则个别改正；

最后，用户选择需要对矩阵执行的操作，结果会显示在LCD显示器上。

实施例2

结合图2，本实施例应用在具有后置摄像头的智能移动设备上，如Android手机、Windows Phone手机、iPhone手机和平板电脑等，充分利用智能移动设备的硬件资源和计算资源，矩阵图像识别和传统键盘输入，矩阵图像识别让矩阵的输入便捷高效，而传统键盘输入可以在矩阵识别有误时进行局部修改。

本实施例借助于智能移动设备，使用更加方便，其使用流程为：首先，用户在纸上写出待操作的矩阵，如果已经写好，或者该矩阵原本为印刷体，已经存在于纸上或者书本上，则进入下一步；其次，打开摄像头，此时会进入摄像头预览画面，并且摄像头会自动聚焦到目标，退出摄像头预览画面；然后，图像处理模块会自动识别出矩阵的行数、列数和矩阵中的所有元素值，并显示在动态创建的表格中，用户检查矩阵识别是否正确，若有错误，则个别改正；最后，用户选择需要对矩阵执行的操作。本实施例可以对单个矩阵进行计算，也可以对两个矩阵进行计算，且用户界面非常友好。

本发明从理念上改变了计算器的数据输入方式，实现“即拍即算”的全新设计，让计算器使用起来更加简单与高效；本发明主要通过数字图像分析和模式识别技术，直接从数字图像中获得矩阵元素，大大提高矩阵数据的输入效率，并提供常用的矩阵运算以非常友好的形式提供给用户选择。

Claims

1.一种基于机器视觉的矩阵识别方法，其特征在于，包括以下步骤：

步骤1、输入矩阵图像，将矩阵图像转换为灰度图像A；

步骤3、对二值图像B进行连通域提取和面积滤波；

步骤4、使用投影法对矩阵元素进行聚类，所述矩阵元素为矩阵中的数据项；具体为：

上式中，y_i表示升序排序后第i个连通域的y坐标，C_i表示升序排序后第i个连通域的类别标签，并且初始条件下C₁＝1；当相邻两个连通域的y坐标之间的绝对差值小于阈值T_y时，这两个连通域属于同类，否则属于不同的类；阈值T_y由下式给出：

<mrow> <msub> <mi>T</mi> <mi>y</mi> </msub> <mo>=</mo> <mfrac> <mi>&alpha;</mi> <mi>N</mi> </mfrac> <munderover> <mo>&Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <msub> <mi>h</mi> <mi>i</mi> </msub> </mrow>

步骤4-4、在同一行上，使用阈值T_x，根据每相邻两个连通域x坐标之间的绝对差值对连通域进行聚类，得到矩阵的列数和每一个连通域的列号；T_x表达式为：

<mrow> <msub> <mi>T</mi> <mi>x</mi> </msub> <mo>=</mo> <mfrac> <mi>&beta;</mi> <mi>N</mi> </mfrac> <munderover> <mo>&Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <msub> <mi>w</mi> <mi>i</mi> </msub> </mrow>

步骤4-5、将行号和列号相同的连通域组合在一起，构成一个完整的矩阵元素；

步骤5、使用卷积神经网络识别矩阵元素；

步骤6、输出矩阵的行数、列数和所有矩阵元素值。

2.根据权利要求1所述的基于机器视觉的矩阵识别方法，其特征在于，步骤2所述的使用自适应二值化方法对灰度图像A进行二值化操作，得到二值图像B，具体为：

步骤2-1、计算图像中的每一个像素值的阈值：

T_xy＝μ_xy-C

其中，s_xy表示灰度图像A中位于坐标(x,y)处的点的灰度值，T_xy表示(x,y)点处的阈值，d_xy表示二值图像B中(x,y)处的像素值，μ_xy表示(x,y)坐标邻域内的均值，C为设定的参数，0≤C≤255；如果当前像素的灰度值大于T_xy，则将其标记为前景1，否则标记为背景0；

步骤2-2、对灰度图像A二值化，得到二值图像B。

3.根据权利要求1所述的基于机器视觉的矩阵识别方法，其特征在于，步骤3所述的在二值图像B中进行连通域提取和面积滤波，具体为：

步骤3-2、根据各个连通域相对于整体图像的面积对连通域进行筛选，只保留符合要求的连通域，面积太小的可以视为噪声；

筛选的规则为：设整幅图像的宽度为Width，高度为Height，共有N个连通域；其中，第i个连通域的宽度为w_i，高度为h_i(1≤i≤N)，则第i个连通域面积占整幅图像面积的比例t_i为：

<mrow> <msub> <mi>t</mi> <mi>i</mi> </msub> <mo>=</mo> <mfrac> <mrow> <msub> <mi>w</mi> <mi>i</mi> </msub> <mo>&times;</mo> <msub> <mi>h</mi> <mi>i</mi> </msub> </mrow> <mrow> <mi>W</mi> <mi>i</mi> <mi>d</mi> <mi>t</mi> <mi>h</mi> <mo>&times;</mo> <mi>H</mi> <mi>e</mi> <mi>i</mi> <mi>g</mi> <mi>h</mi> <mi>t</mi> </mrow> </mfrac> </mrow>

当t_i≤T₀时，第i个连通域为噪声；而当t_i>T₀时，第i个连通域有效，保留该连通域；参数T₀根据实验结果设定。

4.根据权利要求1所述的基于机器视觉的矩阵识别方法，其特征在于，步骤5所述使用卷积神经网络识别矩阵元素具体为：

步骤5-1、对一个完整的矩阵元素进行分割，得到字符图像；

步骤5-2、将每一个字符图像缩放到32x32像素；

步骤5-3、使用卷积神经网络对各个字幅图像进行识别；