CN112801098B - 一种基于轮廓技术的数学符号识别方法 - Google Patents

Abstract

本发明公开了一种基于轮廓技术的数学符号识别方法，包括以下步骤，S1、提取图片，读取大量的图片；S2、调整图像尺寸、阈值、轮廓，使用opencv2 bilateralFilter方法对图片进行处理；S3、数值输入轮廓循环函数，计算近似值；S4、近似值的计算，将近似值与轮廓值进行比较；S5、循环计算，未能得到准确的近似值，则重复步骤S3的计算；本发明技术非常新颖，方便理解，复杂度底，容易实现；数学符号识别非常有效，且本方法也可识别较低像素值图像；方法简单需求较低，对用户友好，可有效提高效率；且编程技术简单易懂，成本较低，无需训练和测试流程，流程的复杂性较低，内存及资源需求较小，各步骤流程容易识别，准确性更是达到了100％。

Description

一种基于轮廓技术的数学符号识别方法

技术领域

本发明涉及计算机科学技术领域，具体为一种基于轮廓技术的数学符号识别方法。

背景技术

在编程语言中，对指定图像中的对象进行辨认的过程称为识别、数学符号识别，是一种根据对象轮廓识别对象符号的程序,用于识别给定图像中印刷体的数学符号。

现有技术基于Tensorflow的自定义对象数学符号检测模型的训练是通过输入带有数学符号、字母和数字的数据集，利用TensorFlow对象检测技术，进行反复的训练，直到准确率达到100％，将结果集存储起来，并作为输入，从而创建出一个新模型，即数学符号识别模型，但该模型获取的准确度不超过65％。需手动收集不同的手写符号，并对收集到的的符号进行训练和测试，这需用到高速处理器及更多内存，来提高准确率。这个过程相当复杂。要利用复杂的神经网络技术，以及复杂的内部操作。

故引入一项新技术，这种新兴技术用于识别或检测图像中印刷体的数学符号，它是一种改进的形状检测技术，本方案所使用的编程技术简单易懂，成本较低。无需训练和测试流程。与现有技术相比，流程的复杂性较低，内存及资源需求较小，各步骤流程容易识别，准确性更是达到了100％。

发明内容

本发明的目的在于提供一种基于轮廓技术的数学符号识别方法，具有编程技术简单易懂，成本较低，无需训练和测试流程，流程的复杂性较低，内存及资源需求较小，各步骤流程容易识别，准确性更是达到了100％等优点，用以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：一种基于轮廓技术的数学符号识别方法，包括如下步骤：

S1、提取图片，首先利用Tensorflow软件读取大量的图片，并且这些图片中会包含有大量的数学符号、包含字母符号及包含数字符号；

S2、调整图像尺寸、阈值、轮廓，使用opencv2bilateralFilter方法对图片进行处理，首先找出图像中符号的边缘；接下来的任务是确定形状、对象是否属于闭合型；然后使用轮廓技术确定图像中的形状或对象为加减乘除及平方根等数学符号；再将输入的图像转换为灰度模式，最后将灰度图像作为阈值函数的第一个输入参数；

S3、数值输入轮廓循环函数，计算近似值，源图像作为阈值函数的第一个输入参数，源图像即为灰度图像，像素值分类阈值作为阈值函数的第二个输入的参数，maxVal作为阈值函数的第三个输入的参数；

S4、近似值的计算，通过阀值函数内输入的各种参数，计算出阀值函数的近似值，并且将近似值与轮廓值进行比较，如果近似值等于轮廓值，符号被识别，给出准确率，并停止程序；如果近似值不等于轮廓值，则直接终止程序；

S5、循环计算，如果在计算的时候未能得到准确的近似值，则重复步骤S3的计算，直至得到准确的近似值，然后对近似值进行判断，得出结果，停止程序体的运行。

所述步骤S2中先使用opencv2bilateralFilter方法去除图片中的噪点，找出图像中符号的边缘，然后确定形状、对象是否属于闭合型。

所述确定图片边缘是否属于闭合型需要形状的边缘上标记像素，根据链式码、相邻像素的概念，按照像素连接的方向移动；如果结束点与起始点重合，则可以推断形状为闭合型，如果结束点与起始点不重合，则可以推断形状为开合型。

所述步骤S2中使用opencv2imread方法读取图像，并将输入的图像转换为灰度模式；灰度模式下图像的像素值亮度范围为0到255；将彩色图像转换为灰度图像即将RGB色彩值24位或3-D转换为灰度值8位或2-D。

所述步骤S2中运用了基础的阈值技术，使用的函数是cv.threshold，若像素值大于阈值，则为其分配一个值255代表白色，否则分配一个值0代表黑色。

所述步骤S2中第三参数maxVal表示当像素值大于或小于阈值时所赋的值；在opencv2提供多种类型阈值。

所述步骤S2中的轮廓是连接外缘所有相同颜色或密度节点的曲线，轮廓可以用来识别形状；轮廓对形状分析和物体检测识别非常有用；为提高准确性，确定轮廓之前先使用阈值进行边缘检测。

所述轮廓的确定使用到轮廓查找法，轮廓查找法可修改源图像，识别形状，轮廓查找法可从已识别边缘的中间绘制弧度值；轮廓查找法还可利用近似法提取图像轮廓的近似值；要确定符号的形状，需找到带有近似值的边界矩形，它会给出矩形左上角及长宽的值，之后，使用矩形长宽比分数，确认形状的弧度值，识别形状的轮廓，根据弧度的大小和形状的边角，识别出符号的形状；计算每个弧度和边角的度，得出准确的符号。

与现有技术相比，本发明的有益效果是：

本发明技术非常新颖，与传统的手写数学表达识别和自定义对象检测技术相比，本技术方便理解，复杂度底，容易实现；数学符号识别技术对给定数学表达式中符号的识别非常有效，本发明对单个符号、多个符号、含数字符号，含字母符号都进行了测试；且本方法也可识别较低像素值图像；与现有技术相比，本技术提供的方法简单需求较低，对用户友好，可有效提高效率，并给出更高的准确率，是一种更好的解决方案；且编程技术简单易懂，成本较低，无需训练和测试流程，流程的复杂性较低，内存及资源需求较小，各步骤流程容易识别，准确性更是达到了100％。

附图说明

图1为本发明的方法流程示意框图。

具体实施方式

下面将结合本发明实例中的附图，对本发明实例中的技术方案进行清楚、完整地描述。所描述的实例仅仅是本发明的一部分实例，而不是全部的实例。基于本发明中的实例，本领域其他人员在没有做出创造性改变前提下所获得的所有其他实例，都属于本发明保护的范围。

请参阅图1，本发明提供一种技术方案：一种基于轮廓技术的数学符号识别方法，包括如下步骤：

S1、提取图片，首先利用Tensorflow软件读取大量的图片，并且这些图片中会包含有大量的数学符号、包含字母符号及包含数字符号；

S2、调整图像尺寸、阈值、轮廓，使用opencv2bilateralFilter方法对图片进行处理，首先找出图像中符号的边缘；接下来的任务是确定形状、对象是否属于闭合型；然后使用轮廓技术确定图像中的形状或对象为加减乘除及平方根等数学符号；再将输入的图像转换为灰度模式，最后将灰度图像作为阈值函数的第一个输入参数；

S3、数值输入轮廓循环函数，计算近似值，源图像作为阈值函数的第一个输入参数，源图像即为灰度图像，像素值分类阈值作为阈值函数的第二个输入的参数，maxVal作为阈值函数的第三个输入的参数；

S4、近似值的计算，通过阀值函数内输入的各种参数，计算出阀值函数的近似值，并且将近似值与轮廓值进行比较，如果近似值等于轮廓值，符号被识别，给出准确率，并停止程序；如果近似值不等于轮廓值，则直接终止程序；

S5、循环计算，如果在计算的时候未能得到准确的近似值，则重复步骤S3的计算，直至得到准确的近似值，然后对近似值进行判断，得出结果，停止程序体的运行。

所述步骤S2中先使用opencv2bilateralFilter方法去除图片中的噪点，找出图像中符号的边缘，然后确定形状、对象是否属于闭合型，该处对图片进行除燥，将图片转化成清晰整洁，便于对图片中的对象进行检测是否是闭合型。

所述确定图片边缘是否属于闭合型需要形状的边缘上标记像素，根据链式码、相邻像素的概念，按照像素连接的方向移动；如果结束点与起始点重合，则可以推断形状为闭合型，如果结束点与起始点不重合，则可以推断形状为开合型，通过标记像素，实现对图片中对象的描述，并且通过链式码或相邻像素的概念，对图片中的对象进行推断是否是闭合型。

所述步骤S2中使用opencv2imread方法读取图像，并将输入的图像转换为灰度模式；灰度模式下图像的像素值亮度范围为0到255；将彩色图像转换为灰度图像即将RGB色彩值24位或3-D转换为灰度值8位或2-D，在对图像进行处理之前需要对图像进行灰度的转换，尤其是对与彩色图像的转换，方便对图片的灰度值进行提取。

所述步骤S2中运用了基础的阈值技术，使用的函数是cv.threshold，若像素值大于阈值，则为其分配一个值255代表白色，否则分配一个值0代表黑色，该处的使用函数是cv.threshold对像素值进行分配，进而将图片转化成灰度图像。

所述步骤S2中第三参数maxVal表示当像素值大于或小于阈值时所赋的值；在opencv2提供多种类型阈值，该处的阀值确定maxVal的值，然后通过函数进行计算近似值。

所述步骤S2中的轮廓是连接外缘所有相同颜色或密度节点的曲线，轮廓可以用来识别形状；轮廓对形状分析和物体检测识别非常有用；为提高准确性，确定轮廓之前先使用阈值进行边缘检测，所述轮廓的确定使用到轮廓查找法，轮廓查找法可修改源图像，识别形状，轮廓查找法可从已识别边缘的中间绘制弧度值；轮廓查找法还可利用近似法提取图像轮廓的近似值；要确定符号的形状，需找到带有近似值的边界矩形，它会给出矩形左上角及长宽的值，之后，使用矩形长宽比分数，确认形状的弧度值，识别形状的轮廓，根据弧度的大小和形状的边角，识别出符号的形状；计算每个弧度和边角的度，得出准确的符号，该处的通过轮廓来确定图片的轮廓值，并且将轮廓值与近似值进行比较，确定图片中对象的符号。

工作步骤：

第一步、提取图片，首先利用Tensorflow软件读取大量的图片，并且这些图片中会包含有大量的数学符号、包含字母符号及包含数字符号；

第二步、调整图像尺寸、阈值、轮廓，使用opencv2bilateralFilter方法对图片进行处理，首先使用opencv2bilateralFilter方法去除图片中的噪点，找出图像中符号的边缘；接下来的任务是确定形状、对象是否属于闭合型；然后使用轮廓技术计算矩形长宽比分数，确认形状的弧度值，识别形状的轮廓，根据弧度的大小和形状的边角，确定图像中的形状或对象为加减乘除及平方根等数学符号；再将输入的图像通过函数cv.threshold转换为灰度模式，最后将灰度图像作为阈值函数的第一个输入参数；

第三步、数值输入轮廓循环函数，计算近似值，源图像作为阈值函数的第一个输入参数，源图像即为灰度图像，像素值分类阈值作为阈值函数的第二个输入的参数，maxVal作为阈值函数的第三个输入的参数；

第四步、近似值的计算，通过阀值函数内输入的各种参数，计算出阀值函数的近似值，并且将近似值与轮廓值进行比较，如果近似值等于轮廓值，符号被识别，给出准确率，并停止程序；如果近似值不等于轮廓值，则直接终止程序；

第五步、循环计算，如果在计算的时候未能得到准确的近似值，则重复步骤S3的计算，直至得到准确的近似值，然后对近似值进行判断，得出结果，停止程序体的运行。

尽管已经显示和描述了本发明的实例，对于本领域的其他技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (1)

1.一种基于轮廓技术的数学符号识别方法，其特征在于：包括如下步骤：

S1、提取图片，首先利用Tensorflow软件读取大量的图片，并且这些图片中会包含有大量的数学符号、包含字母符号及包含数字符号；

S2、调整图像尺寸、阈值、轮廓，使用opencv2 bilateralFilter方法对图片进行处理，首先找出图像中符号的边缘；接下来的任务是确定形状、对象是否属于闭合型；然后使用轮廓技术确定图像中的形状或对象为加减乘除及平方根等数学符号；再将输入的图像转换为灰度模式，最后将灰度图像作为阈值函数的第一个输入参数；

S3、数值输入轮廓循环函数，计算近似值，源图像作为阈值函数的第一个输入参数，源图像即为灰度图像，像素值分类阈值作为阈值函数的第二个输入的参数，maxVal作为阈值函数的第三个输入的参数；

S4、近似值的计算，通过阀值函数内输入的各种参数，计算出阀值函数的近似值，并且将近似值与轮廓值进行比较，如果近似值等于轮廓值，符号被识别，给出准确率，并停止程序；如果近似值不等于轮廓值，则直接终止程序；

S5、循环计算，如果在计算的时候未能得到准确的近似值，则重复步骤S3的计算，直至得到准确的近似值，然后对近似值进行判断，得出结果，停止程序体的运行；

所述步骤S2中先使用opencv2 bilateralFilter方法去除图片中的噪点，找出图像中符号的边缘，然后确定形状、对象是否属于闭合型；

所述确定图片边缘是否属于闭合型需要形状的边缘上标记像素，根据链式码、相邻像素的概念，按照像素连接的方向移动；如果结束点与起始点重合，则可以推断形状为闭合型，如果结束点与起始点不重合，则可以推断形状为开合型；

所述步骤S2中使用opencv2 imread方法读取图像，并将输入的图像转换为灰度模式；灰度模式下图像的像素值亮度范围为0到255；将彩色图像转换为灰度图像即将RGB色彩值24位或3-D转换为灰度值8位或2-D；

所述步骤S2中运用了基础的阈值技术，使用的函数是cv.threshold，若像素值大于阈值，则为其分配一个值255代表白色，否则分配一个值0代表黑色；

所述步骤S2中第三参数maxVal表示当像素值大于或小于阈值时所赋的值；在opencv2提供多种类型阈值；

所述步骤S2中的轮廓是连接外缘所有相同颜色或密度节点的曲线，轮廓可以用来识别形状；轮廓对形状分析和物体检测识别非常有用；为提高准确性，确定轮廓之前先使用阈值进行边缘检测；

所述轮廓的确定使用到轮廓查找法，轮廓查找法可修改源图像，识别形状，轮廓查找法可从已识别边缘的中间绘制弧度值；轮廓查找法还可利用近似法提取图像轮廓的近似值；要确定符号的形状，需找到带有近似值的边界矩形，它会给出矩形左上角及长宽的值，之后，使用矩形长宽比分数，确认形状的弧度值，识别形状的轮廓，根据弧度的大小和形状的边角，识别出符号的形状；计算每个弧度和边角的度，得出准确的符号。

Images