CN105868728A - 一种基于化学公式特征进行图像中化学公式检测的方法 - Google Patents

一种基于化学公式特征进行图像中化学公式检测的方法 Download PDF

Info

Publication number
CN105868728A
CN105868728A CN201610223574.4A CN201610223574A CN105868728A CN 105868728 A CN105868728 A CN 105868728A CN 201610223574 A CN201610223574 A CN 201610223574A CN 105868728 A CN105868728 A CN 105868728A
Authority
CN
China
Prior art keywords
character
detection
threshold value
image
chemical formula
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610223574.4A
Other languages
English (en)
Other versions
CN105868728B (zh
Inventor
杨丽芳
宋格格
黄祥林
陶竹林
刘守训
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Communication University of China
Original Assignee
Communication University of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Communication University of China filed Critical Communication University of China
Priority to CN201610223574.4A priority Critical patent/CN105868728B/zh
Publication of CN105868728A publication Critical patent/CN105868728A/zh
Application granted granted Critical
Publication of CN105868728B publication Critical patent/CN105868728B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/416—Extracting the logical structure, e.g. chapters, sections or page numbers; Identifying elements of the document, e.g. authors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/422—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation for representing the structure of the pattern or shape of an object therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/418—Document matching, e.g. of document images

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Character Input (AREA)
  • Character Discrimination (AREA)

Abstract

本发明是一种基于化学公式特征进行图像中化学公式检测的方法。本方法是对任意文本图像进行灰度变换、二值化、分割，通过分割出的字符与整幅图像两方面进行化学公式检测。化学公式图像检测方法由单/双键判断、模板匹配、图像像素点密度判断、苯环判断组成，其中，单/双键判断、模板匹配是针对分割出的字符进行检测，图像像素点密度判断、苯环判断是对整幅图像进行检测。依次对图像进行四个模块的检测，若符合某一模块的检测，则判定为化学公式图像。本发明主要依据化学公式常见字符特征与书写的结构特征进行检测，通过字符的投影特征、图像密度与字符的结构特征进行检测，检测方法简单易实现，且对图像的清晰度、矫正度等要求不严格，识别率高。

Description

一种基于化学公式特征进行图像中化学公式检测的方法
技术领域
本发明是一种基于化学公式特征进行图像中化学公式检测的方法，属于图像处理和图像识别领域。
背景技术
基于化学公式特征进行化学公式图像检测并不是化学公式图像检测方法中常见的方法。在基于化学公式特征进行图像检测时，首先要对图像进行预处理，预处理一般包括灰度变换、二值化、校正倾斜、图像细化等等。然后对图像进行字符分割，通过检测分割出的字符进行判断是否为化学公式图像。
在计算机中存储的各种数字图像，由于在扫描或传输过程引入噪声（例如扫描得到的电子图书）会造成图像倾斜、图像模糊、图像出现断点等问题。此外，化学公式图像的排版结构多种多样，因此，在检测的过程中，用户希望系统能具有很好的鲁棒性，能够解决这些问题而将化学公式图像快速检测出来。现有的化学公式检测方法主要是模式识别等技术，此类技术虽然能够检测出化学公式图像，但是方法较复杂，实现起来较困难，且对图像要求比较高。
发明内容
本发明提出了基于化学公式特征进行图像中化学公式检测的方法，主要基于化学公式常见字符特征与化学公式书写的结构特征，该方法与模式识别等方法相比，方法复杂度低，实现起来简单且对图像的要求低。通过检测分割出的字符以及整幅图像来进行判断是否为化学公式图像，方法实现简单，执行速度快。
本发明的总体思想如下：本发明是对任意文本图像进行灰度变换、二值化、字符投影分割，对分割出的字符进行投影，通过分割出的字符与整幅图像两方面进行化学公式检测。将检测的文本图像进行灰度变换，全局二值化处理，对图像进行分割，对分割出的字符进行检测判断，同时通过化学公式整体特点采用对整幅图像进行检测判断的方法进行检测图像中的化学公式。化学公式图像检测方法由单/双键判断、模板匹配、图像像素点密度判断、苯环判断组成。将待检测的图像依次进行单/双键判断、模板匹配、图像像素点密度判断、苯环判断四个模块的检测，若符合某一模块的检测，则判定为化学公式图像。否则进行下一步检测。单/双键判断、模板匹配是针对分割出的字符进行检测，图像像素点密度判断、苯环判断是对整幅图像进行检测。单键/双键判断主要是通过字符的水平与垂直投影特征来检测图像中有无化学公式中的单键或双键；模板匹配主要是匹配化学公式中的碳（C）、R基，并通过两字符的空间位置进行检测判断；图像密度判断是通过化学公式一般字符分布比较稀疏，图像单位面积内的像素密度小的特点进行检测判断图像是否为化学公式图像；苯环判断主要是通过苯环特有的结构——密闭的环形进行检测判断。
具体创新点：本发明提出了基于化学公式特征进行化学公式图像检测的方法。主要基于化学公式常见字符特征与化学公式书写的结构特征，通过字符的投影特征、模板匹配、密度检测与字符的结构特征进行化学公式的检测判断。该化学公式检测方法预处理方法简单，仅进行灰度变换、图像二值化处理即可，方法简单易实现，对图像质量要求不严格。
本发明的技术方案如图1所示。用于该化学公式检测系统的检测图像可以是bmp格式（或其他格式）的图像，首先由用户输入检测的文本图像，经过图像预处理，再对图像进行分割，通过分割得到的字符与整幅图像两方面进行检测判断。其主要过程为：待检测的文本图像先进行灰度变换、全局二值化，然后对图像进行投影分割，对分割出的字符依次进行单/双键判断、模板匹配，然后对整幅图像进行图像像素点密度判断、苯环判断。若符合某一检测模块则判定为化学公式图像，否则进行下一模块的检测。
具体方法步骤为：
待检测的文本图像先进行灰度变换、全局二值化，然后对图像进行投影分割，直到图像无法进行分割为止。对分割出的字符依次进行单/双键判断、模板匹配，然后对整幅图像进行图像像素点密度判断、苯环判断。若符合某一检测模块则判定为化学公式图像，否则进行下一模块的检测。
所述的单/双键判断、模板匹配、图像像素点密度判断、苯环判断的具体方法如下：
现有待检测文本图像分割所得的分割字符的位置链表S1。
1、采用本发明提出的单/双键判断方法，针对图像中是否含有单键或者双键来进行判定是否为化学公式图像。根据单键的投影特点：对于竖直方向上的单键，字符的垂直投影为一个点，水平投影为一条直线，单键两端含有字符；对于水平方向上的单键，字符的水平投影为一个点，垂直投影为一条直线，宽度比图像中其他单个字符宽度宽。两个相邻的同方向且边界相同的单键组合形成双键。该方法检测的步骤如下：
步骤1，对S1中的字符进行水平直线或垂直直线的检测，若检测的字符为水平直线或垂直直线，进行步骤2检测，若未检测到水平直线或垂直直线，对S1中的字符进行下一模块检测——模板匹配。
步骤2，如果检测到字符a为水平直线，则检测字符a水平直线上下两侧距离字符a上下边界设定的阈值C1（C1的取值范围为18到25之间）范围内是否含有其他字符存在；若检测到字符a为垂直直线，则检测字符a垂直直线的左右两侧在距离垂直直线左右边界C1范围内是否含有其他字符存在。若字符a两侧均没有字符存在则进行步骤3水平单键或者垂直单键判断，若字符a两侧至少有一侧含有与字符a为同方向的直线，则进行步骤4水平双键或者垂直双键判断；否则接着对S1中的字符进行步骤1的检测。
步骤3，对字符进行化学公式中水平单键或者垂直单键的判断：
若字符a为水平直线，判断字符a宽度是否大于图像中一个字符的宽度，如果大于图像中一个字符的宽度，则判定为化学公式中的水平单键，停止对图像的检测，判定图像为化学公式图像，否则停止对字符a进行水平单键检测，接着对S1中的字符进行步骤1检测；
若字符a为垂直直线，检测距离垂直直线上侧边界与下侧边界C1的范围内是否含有字符存在，若两侧均含有字符，则判定为化学公式中的垂直单键，停止对图像的检测，判定图像为化学公式图像，否则停止对字符a进行垂直单键检测，接着对S1中的字符进行步骤1的检测。
步骤4，若含有字符b与字符a为同方向的直线，对字符a与字符b进行水平双键或者垂直双键判断：
若字符a为水平直线，则进行步骤4.1水平双键检测；若字符a为垂直直线，则进行步骤4.2垂直双键检测；
步骤4.1，判断字符a的宽度是否大于图像中一个字符的宽度，若小于图像中一个字符的宽度，则停止对字符a进行双键检测，接着对S1中的字符进行步骤1的检测；若大于图像中一个字符的宽度，判断字符b的左右边界值与字符a的左右边界值是否近似相等（本发明中两数值相差m(4<m<8)以内则判定两数值近似相等），若满足条件，则判定为化学公式中的水平双键，停止对图像的检测，判定图像为化学公式图像，否则停止对字符a进行双键检测，接着对S1中的字符进行步骤1的检测；
步骤4.2，判断字符b的上下边界值与字符a的上下边界值是否近似相等（本发明中两数值相差m(4<m<8)以内则判定两数值近似相等），若字符a与字符b的上下边界值不近似相等，则停止对字符a进行双键检测，接着对S1中的字符进行步骤1的检测；若两字符的上下边界值近似相等，则检测距离字符a上侧与下侧C1的范围内是否含有字符存在，若两侧均含有字符，则判定为化学公式中的垂直双键，停止对图像的检测，判定图像为化学公式图像，否则停止对字符a进行双键检测，接着对S1中的字符进行步骤1的检测。
2、采用本发明提出的字符模板匹配方法，模板匹配主要是检测化学式中的碳（C）、R基两个字符。C、R在其他公式中也是经常出现的字符，所以在判断是否为化学公式时，不能简单的判断有无C、R，还要对C、R的空间位置进行判断。其方法检测步骤如下：
步骤1，对S1中的字符选取数量为Nc (Nc的取值范围为35到55之间)宽度高度均小于T1（T1的取值范围为90到115之间）的字符进行归一化处理。
步骤2，通过欧式距离计算待检测字符与二值化的模板的相似距离d1、二值化的模板与待检测字符的相似距离d2。
步骤3，对d1、d2中的最大值与设定的Thr （Thr的取值范围为90到160之间）进行对比，若小于Thr，则判定该字符与模板字符匹配，否则判定该字符与模板字符不匹配；重复步骤2直到选取的字符全部检测完为止，分别统计与各个模板相匹配的字符个数；若没有与模板相匹配的字符，则对S1中的字符进行下一模块检测——图像像素点密度的检测判断；否则进行步骤4判断。
步骤4，分别对与各个模板相匹配的字符进行空间位置判断，化学公式中字符的空间位置满足：
（1）字符不为上标或者下标；
（2）相同字符之间以单键进行连接，无单键相连接的左右相邻的相同字符将进行合并为同一个字符，通过右侧下标数来展示相邻相同字符数；
若满足化学公式图像中的空间位置条件，则判定图像为化学公式图像，停止对图像进行检测，若不满足字符的空间位置条件，则对S1中的字符进行下一模块检测——图像像素点密度的检测判断。
步骤4.1，判断匹配字符c是否为图像中其他字符的上标识或者下标识：
步骤4.1.1，通过S1中分割出的字符的位置判断字符间的位置关系，选取S1中字符高度和宽度均大于T2（T2的取值范围为17到23之间）且字符高度大于匹配字符c高度的字符f，字符c的左边界与字符f的右边界之间的距离小于T3（T3的取值范围为90到115之间）；
步骤4.1.2，判断字符c的上边界值、下边界值，若字符c的上边界值小于S0 (S0的取值位于字符f的上边界值加上字符f高度的0.2倍与0.35倍之间)，且字符c的下边界位于S0和S1之间（S1的取值位于字符f的下边界值加上字符f高度的0.55倍与0.65倍之间），则判定字符c为其他字符的上标识或者下标识，字符c设为无效匹配字符，否则重复步骤4.1.1、步骤4.1.2，直到S1中无符合条件的字符存在，若字符c不为其他字符的上标识或者下标识，则设为有效匹配字符。
对所有的匹配字符进行步骤4.1判断，统计与各个模板字符相匹配的有效匹配字符的个数，若有效匹配字符的个数小于P(P的取值一般为2-4之间)，则进行步骤4检测，否则进行步骤4.2检测。
步骤4.2，对相同的有效匹配字符进行左右相邻位置判断：
步骤4.2.1，对相同的字符进行任意两个字符对比，若两字符上边界近似相等，下边界近似相等（本发明中两数值相差m(4<m<8)以内则判定两数值近似相等），且两字符之间的距离小于T4（T4的取值范围为8到15之间），则进行步骤4.2.2检测，否则重复步骤4.2.1，直到将全部任意组合进行对比；
步骤4.2.2，判断两字符的上下两侧是否有其他字符存在。若两字符上下两侧均无字符存在，则两字符位置处于左右相邻的位置，字符位置不符合化学公式中的字符空间位置，停止该部分的检测，对S1中的字符进行下一模块检测——图像像素点密度的检测判断，否则重复步骤4.2.1、步骤4.2.2，直到将全部任意组合进行对比。
依次对与相同模板字符相匹配的有效匹配字符进行步骤4.2检测，若与相同模板字符相匹配的有效匹配字符之间的位置均不处于左右相邻的位置，则判定图像为化学公式图像，停止对图像的检测；否则进行下一模块检测——图像像素点密度的检测判断。
3、采用本发明提出的图像像素点密度判断方法，对于化学公式图像，图像一般字符排列稀疏，图像像素分布无规律、不集中，图像单位面积内像素密度小。其方法检测步骤如下：
步骤1，选取图像宽度高度均大于TR3（TR3的取值范围为140到180之间）的图像。
步骤2，去除图像中S1内字符以外的杂点，对图像进行水平投影，获取水平投影直方图，统计图像的总的像素点数。
步骤3，对水平投影直方图进行整体像素密度分布检测。寻找水平投影直方图中像素的中值mid，忽略水平投影直方图中像素数小于mid的像素，对大于mid的像素进行检测。若检测的像素点分布有规律或者像素点集中在一个区域内，则判定图像为非化学公式图像,若检测的像素点分布没有规律且分布较为分散，则进行步骤4判断。
步骤4，计算图像单位面积的像素点密度，如果像素点密度小于Trd（Trd的取值范围为0.90到0.93之间），则判定该图像为化学公式图像，若大于则进行下一模块检测——苯环字符检测。
4、采用本发明提出的苯环判断方法，苯环是化学公式中所特有的符号，化学公式中的苯环具有难分割、形式多样、四周封闭的特点。难分割决定了化学式中的苯环是不可能分割成独立的字符进行识别；形式多样决定了苯环不能像C、R字符一样通过模板匹配进行识别。所以在进行苯环识别时利用了苯环是四周封闭的特点。
通过苯环为四周封闭的环状，对整个图像选取一定量的点，判断每个点的上下左右四个方向是否存在像素点，判断选取一点范围内的点数来判断是否为苯环。其方法检测步骤如下：
步骤1，在整幅图像上选取N*N（N的取值范围为18到25之间）的点数，且相邻两点间的水平间距或者垂直间距均大于Tc（Tc的取值范围为3到5之间），若水平间距或者垂直间距小于Tc，则将间距设为Tc1（Tc1的取值范围为9到12之间），重新计算选取的点数。
步骤2，以选取的点为中心向上下左右四个方向进行检测，判断是否能检测到苯环的边界。若四个方向均能检测到苯环的边界则判定该点为有效点，否则判为无效点。
步骤3，在图像中依次选取Tz*Tz（Tz的取值范围为3到5之间）的范围，统计该范围内有效点的个数，通过有效点的个数来判断是否含有苯环，若有效点数大于Tpt（Tpt的取值范围为14到17之间）则判为化学公式，图像判定为化学公式图像，否则将图像判定为非化学公式图像。
本发明提出了基于化学公式特征进行图像中化学公式检测的方法，主要基于化学公式常见字符特征与化学公式书写的结构特征，通过字符的投影特征、模板匹配、密度检测与字符的结构特征进行化学公式的检测判断。该化学公式检测方法预处理方法简单，仅进行灰度变换、图像二值化处理即可，算法简单，便于实现，识别率高。
附图说明
图1 化学公式检测系统整体流程框图。
图2 单/双键判断模块检测方法流程框图。
图3 字符模板匹配模块检测方法流程框图。
具体实施方式
下面结合附图对本发明作进一步说明：
本实施例的技术方案如图1所示：
本实施实例中采用的图像数据库是由扫描仪扫描得到的文档图像数据库，待检测的文本图像可以是bmp格式（或其他格式）的图像，保存于本地磁盘上。本实施实例中的表格图像检测方法采用VS2012编程实现。
1、首先，用户输入检测的文本图像，对输入的检测文本图像先进行灰度变换和全局二值化，全局二值化的阈值设定为220，然后对图像进行垂直投影分割与水平投影分割，直到图像在垂直方向与水平方向无法再进行分割为止。对分割出的字符进行单/双键判断。若该模块检测图像判定为化学公式图像，则停止对图像进行检测，否则进行下一模块检测——模板匹配。单/双键判断模块检测方法流程图如图2所示，该检测方法的步骤如下：
步骤1，对S1中的字符进行水平直线或垂直直线的检测，若检测的字符为水平直线或垂直直线，进行步骤2检测，若未检测到水平直线或垂直直线，对S1中的字符进行下一模块检测——模板匹配。
步骤2，如果检测到字符a为水平直线，则检测字符a水平直线上下两侧距离水平直线上下边界20个像素点的范围内是否含有其他字符存在；若检测到字符a为垂直直线，则检测字符a垂直直线的左右两侧在距离垂直直线左右边界20个像素点的范围内是否含有其他字符存在。若字符a两侧均没有字符存在则进行步骤3水平单键或者垂直单键判断，若字符a两侧至少有一侧含有与字符a为同方向的直线，则进行步骤4水平双键或者垂直双键判断；否则接着对S1中的字符进行步骤1的检测。
步骤3，对字符进行化学公式中水平单键或者垂直单键的判断：
若字符a为水平直线，判断字符a宽度是否大于图像中一个字符的宽度，如果大于图像中一个字符的宽度，则判定为化学公式中的水平单键，停止对图像的检测，判定图像为化学公式图像，否则停止对字符a进行水平单键检测，接着对S1中的字符进行步骤1检测；
若字符a为垂直直线，检测距离垂直直线上侧边界与下侧边界各为字符高度的0.3倍的范围内是否含有字符存在，若两侧均含有字符，则判定为化学公式中的垂直单键，停止对图像的检测，判定图像为化学公式图像，否则停止对字符a进行垂直单键检测，接着对S1中的字符进行步骤1的检测。
步骤4，若含有字符b与字符a为同方向的直线，对字符a与字符b进行水平双键或者垂直双键判断：
若字符a为水平直线，则进行步骤4.1水平双键检测；若字符a为垂直直线，则进行步骤4.2垂直双键检测；
步骤4.1，判断字符a的宽度是否大于图像中一个字符的宽度，若小于图像中一个字符的宽度，则停止对字符a进行双键检测，接着对S1中的字符进行步骤1的检测；若大于图像中一个字符的宽度，判断字符b的左右边界值与字符a的左右边界值是否近似相等，若满足条件，则判定为化学公式中的水平双键，停止对图像的检测，判定图像为化学公式图像，否则停止对字符a进行双键检测，接着对S1中的字符进行步骤1的检测。
步骤4.2，判断字符b的上下边界值与字符a的上下边界值是否近似相等，若字符a与字符b的上下边界值不近似相等，则停止对字符a进行双键检测，接着对S1中的字符进行步骤1的检测；若两字符的上下边界值近似相等，则检测距离字符a上侧边界与下侧边界各为字符a高度的0.3倍的范围内是否含有字符存在，若两侧均含有字符，则判定为化学公式中的垂直双键，停止对图像的检测，判定图像为化学公式图像，否则停止对字符a进行双键检测，接着对S1中的字符进行步骤1的检测；
2、采用本发明提出的字符模板匹配方法，模板匹配主要是检测化学式中的碳（C）、R基两个字符。字符模板匹配模块检测方法流程图如图3所示，该检测方法的步骤如下：
步骤1，对S1中的字符选取40个宽度高度均小于100的字符进行归一化处理。
步骤2，通过欧式距离计算待检测字符与二值化的模板的相似距离d1、二值化的模板与待检测字符的相似距离d2。
步骤3，对d1、d2中的最大值与设定的匹配值150进行对比，若小于150则判定该字符与模板字符匹配，否则判定该字符与模板字符不匹配；重复步骤2直到选取的字符全部检测完为止，分别统计与各个模板相匹配的字符个数；若没有与模板相匹配的字符，则对S1中的字符进行下一模块检测——图像像素点密度的检测判断；否则进行步骤4判断。
步骤4，分别对与各个模板相匹配的字符进行空间位置判断，若满足化学公式图像中的空间位置条件，则判定图像为化学公式图像，停止对图像进行检测，若不满足条件，则对S1中的字符进行下一模块检测——图像像素点密度的检测判断。
步骤4.1，判断匹配字符c是否为图像中其他字符的上标识或者下标识：
步骤4.1.1，通过S1中分割出的字符的位置判断字符间的位置关系，选取S1中字符高度和宽度均大于20且字符高度大于匹配字符c高度的字符f，字符c的左边界与字符f的右边界之间的距离小于100；
步骤4.1.2，判断字符c的上边界值、下边界值，若字符c的上边界值小于字符f的上边界值加上字符f高度的0.3倍，且字符c的下边界位于字符f的上边界值加上字符f高度的0.3倍和字符f的下边界值加上字符f高度的0.6倍之间，则判定字符c为其他字符的上标识或者下标识，字符c设为无效匹配字符，否则重复步骤4.1.1、步骤4.1.2，直到S1中无符合条件的字符存在，若字符c不为其他字符的上标识或者下标识，则设为有效匹配字符；
对所有的匹配字符进行步骤4.1判断，统计与各个模板字符相匹配的有效匹配字符的个数，若有效匹配字符的个数小于2，则进行步骤4检测，否则进行步骤4.2检测。
步骤4.2，对相同的有效匹配字符进行左右相邻位置判断：
步骤4.2.1，对相同的字符进行任意两个字符对比，若两字符上边界近似相等，下边界近似相等，且两字符之间的距离小于10，则进行步骤4.2.2检测，否则重复步骤4.2.1，直到将全部任意组合进行对比；
步骤4.2.2，判断两字符的上下两侧是否有其他字符存在。若两字符上下两侧均无字符存在，则两字符位置处于左右相邻的位置，字符位置不符合化学公式中的字符空间位置，停止该部分的检测，对S1中的字符进行下一模块检测——图像像素点密度的检测判断，否则重复步骤4.2.1、步骤4.2.2，直到将全部任意组合进行对比；
依次对与相同模板字符相匹配的有效匹配字符进行步骤4.2检测，若与相同模板字符相匹配的有效匹配字符之间的位置均不处于左右相邻的位置，则判定图像为化学公式图像，停止对图像的检测；否则，对S1中的字符进行下一模块检测——图像像素点密度的检测判断。
3、采用本发明提出的图像像素点密度判断方法，对于化学公式图像，图像一般字符排列稀疏，图像单位面积内像素密度小。其方法检测步骤如下：
步骤1，选取图像宽度高度均大于150的图像；
步骤2，去除图像中S1内字符以外的杂点，统计图像的总的像素点数；
步骤4，对水平投影直方图进行整体像素密度分布检测。寻找水平投影直方图中像素的中值mid，忽略水平投影直方图中像素数小于mid的像素，对大于mid的像素进行检测。若检测的像素点分布有规律或者像素点集中在一个区域内，则判定图像为非化学公式图像,若检测的像素点分布没有规律且分布较为分散，则进行步骤4检测；
步骤3，计算图像单位面积的像素点密度，如果像素点密度小于0.93，则判定该图像为化学公式图像，若大于则进行下一模块检测——苯环字符检测。
4、采用本发明提出的苯环判断方法，苯环是化学公式中所特有的符号，化学公式中的苯环具有难分割、形式多样、四周封闭的特点。
通过苯环为四周封闭的环状，对整个图像选取一定量的点，判断每个点的上下左右四个方向是否存在像素点，判断选取一点范围内的点数来判断是否为苯环。其方法检测步骤如下：
步骤1，在整幅图像上选取20*20的点数，且相邻两点间的水平间距或者垂直间距均大于5，若水平间距或者垂直间距小于5，则将间距设为10，重新计算选取的点数；
步骤2，以选取的点为中心向上下左右四个方向进行检测，判断是否能检测到苯环的边界。若四个方向均能检测到苯环的边界则判定该点为有效点，否则判为无效点；
步骤3，在图像中依次选取5*5的范围，统计该范围内有效点的个数，通过有效点的个数来判断是否含有苯环，若有效点数大于15则判为化学公式，图像判定为化学公式图像，否则将图像判定为非化学公式图像。
具体创新点：本发明提出了基于化学公式特征进行化学公式图像检测的方法。主要基于化学公式常见字符特征与化学公式书写的结构特征，通过字符的投影特征、模板匹配、密度检测与字符的结构特征进行化学公式的检测判断。该化学公式检测方法预处理方法简单，仅进行灰度变换、图像二值化处理即可，该化学公式检测方法简单，便于实现，对检测的图像质量要求低，无需大量的训练样本，识别率高。
表1给出了化学公式图像检测方法的检测结果
测试样本数（张） 误识别数（张） 误识别率（%）
2640 94 3.561
表1
本发明中的分类检测库来自于专利申请材料中的数学、化学、表格、纯文本四类文本图像。在验证方法的有效性时，选择的内容主要为传真和文件扫描所获得的图像。测试的图像库中共有文本图像2640张，其中含有化学公式图像1274张，非化学公式图像1366张，检测结果如表1所示。
实验结果表明，本发明所提出的方法，可以很好的实现化学公式图像与非化学公式图像的分类。
下面对本发明作进一步说明：
1）本发明方法的简化： 方法的核心方法基于化学公式常见字符特征与化学公式书写的结构特征，方法简单便于实现，运行速度快。不需要进行复杂繁琐的方法演算过程，只进行简单的图像二值化过程，之后方法主要变成0-1之间的判断。
2）本发明方法与经常使用的模式识别检测等方法相比方法对图像的要求低，且不需要大量的训练图像样本。

Claims (9)

1.一种基于化学公式特征进行图像中化学公式检测的方法，具体步骤为：本发明是对任意文本图像进行灰度变换、二值化、投影分割，对分割出的字符通过模板检测以及对分割出的字符进行水平投影和垂直投影，获取分割字符在水平和垂直方向上的投影特征，并与给定字符的水平与垂直投影特征进行对比检测的方法对图像中的化学公式进行检测，同时还通过对整幅图像进行检测判断图像是否为化学公式图像，其特征在于：所述的对分割出的字符通过模板检测以及对分割出的字符进行水平投影和垂直投影，获取分割字符在水平和垂直方向上的投影特征，并与给定字符的水平与垂直投影特征进行对比检测的方法对图像中的化学公式进行检测，同时还通过对整幅图像进行检测判断图像是否为化学公式图像的具体方法如下：
步骤1，对图像进行灰度变换、二值化，对二值化的图像进行垂直投影分割与水平投影分割，直到图像不能再分割为止，获得分割字符的位置链表S1；
步骤2，对S1中的字符进行化学公式中单/双键的检测：
步骤2.1，对S1中的字符进行水平直线或垂直直线的检测，若检测的字符为水平直线或垂直直线，进行步骤2.2检测，若未检测到水平直线或垂直直线，则进行步骤3的检测；
步骤2.2，若检测到字符a为水平直线，进行步骤2.2.1检测；若检测到字符a为垂直直线，进行步骤2.2.2检测；
步骤2.2.1，检测字符a水平直线上下两侧距离水平直线上下边界第一阈值的范围内是否含有其他字符存在；
步骤2.2.2，检测字符a垂直直线的左右两侧在距离垂直直线左右边界第一阈值的范围内是否含有其他字符存在；
若步骤2.2.1或者步骤2.2.2中字符a两侧均没有字符存在则进行步骤2.3水平单键或者垂直单键判断，若字符a两侧至少有一侧含有与字符a为同方向的直线，则进行步骤2.4水平双键或者垂直双键判断；否则接着对S1中的字符进行步骤2.1的检测；
步骤2.3，对字符进行化学公式中水平单键或者垂直单键的判断：
若字符a为水平直线，判断字符a宽度是否大于图像中一个字符的宽度，如果大于图像中一个字符的宽度，则判定为化学公式中的水平单键，停止对图像的检测，判定图像为化学公式图像，否则停止对字符a进行水平单键检测，接着对S1中的字符进行步骤2.1的检测；
若字符a为垂直直线，检测距离垂直直线上侧边界与下侧边界第二阈值的范围内是否含有字符存在，若两侧均含有字符，则判定为化学公式中的垂直单键，停止对图像的检测，判定图像为化学公式图像，否则停止对字符a进行垂直单键检测，接着对S1中的字符进行步骤2.1的检测；
步骤2.4，若含有字符b与字符a为同方向的直线，对字符a与字符b进行水平双键或者垂直双键判断：
若字符a为水平直线，则进行步骤2.4.1水平双键检测；若字符a为垂直直线，则进行步骤2.2.2垂直双键检测；
步骤2.4.1，判断字符a的宽度是否大于图像中一个字符的宽度，若小于图像中一个字符的宽度，则停止对字符a进行双键检测，接着对S1中的字符进行步骤2.1的检测；若大于图像中一个字符的宽度，判断字符b的左右边界值与字符a的左右边界值是否近似相等，若满足条件，则判定为化学公式中的水平双键，停止对图像的检测，判定图像为化学公式图像，否则停止对字符a进行双键检测，接着对S1中的字符进行步骤2.1的检测；
步骤2.4.2，判断字符b的上下边界值与字符a的上下边界值是否近似相等，若字符a与字符b的上下边界值不近似相等，则停止对字符a进行双键检测，接着对S1中的字符进行步骤2.1的检测；若两字符的上下边界值近似相等，则检测距离字符a上侧与下侧第二阈值的范围内是否含有字符存在，若两侧均含有字符，则判定为化学公式中的垂直双键，停止对图像的检测，判定图像为化学公式图像，否则停止对字符a进行双键检测，接着对S1中的字符进行步骤2.1的检测；
步骤3，对S1中的字符进行模板匹配检测：
步骤3.1，对S1中的字符选取一定数量宽度高度均小于第三阈值的字符进行归一化处理；
步骤3.2，通过欧式距离计算待检测字符与二值化的模板的相似距离d1、二值化的模板与待检测字符的相似距离d2；
步骤3.3，对d1、d2中的最大值与设定的第四阈值进行对比，若小于设定的第四阈值，则判定该字符与模板字符匹配，否则判定该字符与模板字符不匹配；重复步骤3.2直到选取的字符全部检测完为止，分别统计与各个模板相匹配的字符个数；若没有与模板相匹配的字符，则进行步骤4的检测，否则进行步骤3.4检测；
步骤3.4，分别对与各个模板相匹配的字符进行空间位置判断，化学公式中字符的空间位置满足：
（1）字符不为上标或者下标；
（2）相同字符之间以单键进行连接，无单键相连接的左右相邻的相同字符将进行合并为同一个字符，通过右侧下标数来展示相邻相同字符数；
若满足化学公式图像中的空间位置条件，则判定图像为化学公式图像，停止对图像进行检测，若不满足条件，则继续进行步骤4检测；
步骤3.4.1，判断匹配字符c是否为图像中其他字符的上标识或者下标识：
步骤3.4.1.1，通过S1中分割出的字符的位置判断字符间的位置关系，选取S1中字符高度和宽度均大于第五阈值且字符高度大于匹配字符c高度的字符f，字符c的左边界与字符f的右边界之间的距离小于第六阈值；
步骤3.4.1.2，判断字符c的上边界值、下边界值，若字符c的上边界值小于第七阈值，且字符c的下边界位于第七阈值和第八阈值之间，则判定字符c为其他字符的上标识或者下标识，字符c设为无效匹配字符，否则重复步骤3.4.1.1、步骤3.4.1.2，直到S1中无符合条件的字符存在，若字符c不为其他字符的上标识或者下标识，则设为有效匹配字符；
对所有的匹配字符进行步骤3.4.1判断，统计与各个模板字符相匹配的有效匹配字符的个数，若有效匹配字符的个数小于第九阈值，则进行步骤4检测，否则进行步骤3.4.2检测；
步骤3.4.2，对相同的有效匹配字符进行左右相邻位置判断：
步骤3.4.2.1，对相同的字符进行任意两个字符对比，若两字符上边界近似相等，下边界近似相等，且两字符之间的距离小于第十阈值，则进行步骤3.4.2.2检测，否则重复步骤3.4.2.1，直到将全部任意组合进行对比；
步骤3.4.2.2，判断两字符的上下两侧是否有其他字符存在；
若两字符上下两侧均无字符存在，则两字符位置处于左右相邻的位置，字符位置不符合化学公式中的字符空间位置，停止该部分的检测，进行步骤4检测，否则重复步骤3.4.2.1、步骤3.4.2.2，直到将全部任意组合进行对比；
依次对与相同模板字符相匹配的有效匹配字符进行步骤3.4.2检测，若与相同模板字符相匹配的有效匹配字符之间的位置均不处于左右相邻的位置，则判定图像为化学公式图像，停止对图像的检测；否则，进行步骤4检测；
步骤4，进行整幅图像像素点密度的检测判断：
步骤4.1，选取图像宽度高度均大于第十一阈值的图像；
步骤4.2，去除图像中S1内字符以外的杂点，统计图像的总的像素点数；
步骤4.3，对水平投影直方图进行整体像素密度分布检测:
去掉水平投影直方图中像素的最大值与最小值，求剩余像素的中值mid，忽略水平投影直方图中像素数小于mid的像素，对大于mid的像素进行检测；若检测的像素点分布有规律或者像素点集中在一个区域内，则将图像判定为非化学公式图像,若检测的像素点分布没有规律且分布较为分散，则进行步骤4.4检测；
步骤4.4，计算图像单位面积的像素点密度，如果像素点密度小于第十二阈值，则判定该图像为化学公式图像，若大于则进行步骤5的检测；
步骤5，对S1中的字符进行苯环字符检测：
步骤5.1，在整幅图像上选取N*N的点数，且相邻两点间的水平间距或者垂直间距均大于第十三阈值，若水平间距或者垂直间距小于第十三阈值，则将间距设为第十四阈值，重新计算选取的点数；
步骤5.2，以选取的点为中心向上下左右四个方向进行检测，判断是否能检测到苯环的边界；
若四个方向均能检测到苯环的边界则判定该点为有效点，否则判为无效点；
步骤5.3，在图像中依次选取Tz*Tz的范围，统计该范围内有效点的个数，通过有效点的个数来判断是否含有苯环，若有效点数大于第十五阈值则判为化学公式，图像判定为化学公式图像，否则将图像判定为非化学公式图像。
2.如权利要求1所述的方法，其特征在于，所述水平直线的检测方法如下：
步骤1，选取高度小于第十六阈值的字符，对字符进行垂直投影，计算垂直投影直方图相邻位置的像素点数的差值大于第十七阈值的次数，若该次数大于第十八阈值，则停止水平直线检测，若小于第十八阈值，进行步骤2检测；
步骤2，计算垂直投影直方图中各位置的像素点数大于第十九阈值的长度与字符宽度的差值是否大于第二十阈值，若大于第二十阈值，则停止直线检测，若小于第二十阈值，进行步骤3检测；
步骤3，对字符进行水平投影，获取水平投影直方图中的最大像素点数Bx_max，判断最大像素点数Bx_max与字符的宽度的差值是否小于第二十一阈值，若大于第二十一阈值，则停止水平直线检测，若小于第二十一阈值，进行步骤4检测；
步骤4，将该字符从中心位置分为两部分，对两部分重新进行水平方向上的投影分割，对比重新分割后两部分的高度变化，若两部分的高度差小于第二十二阈值，则判定该字符为一条水平直线。
3.如权利要求1所述的方法，其特征在于，所述垂直直线的检测方法如下：
步骤1，选取高度大于第二十三阈值，宽度小于第二十四阈值的字符，对字符进行水平投影，计算水平投影直方图相邻位置的像素点数的差值大于第二十五阈值的次数，若该次数大于第二十六阈值，则停止水平直线检测，若小于第二十六阈值，进行步骤2检测；
步骤2，对字符进行垂直投影，获取垂直投影直方图中的最大像素点数By_max，判断最大像素点数By_max与字符的高度的差值是否小于第二十七阈值，若大于第二十七阈值，则停止水平直线检测，若小于第二十七阈值，进行步骤3检测；
步骤3，计算垂直投影直方图中各位置的像素点数与最大像素点数By_max的差值大于第二十八阈值的次数num1以及相邻位置的像素点数的差值大于第二十九阈值的次数num2，若num1小于第三十阈值且num2小于第三十一阈值，则进行步骤4检测，否则停止检测；
步骤4，将该字符从中心位置分为两部分，对两部分重新进行垂直方向上的投影分割，对比重新分割后的两部分的宽度变化，若两部分的宽度差小于第三十二阈值，则判定该字符为一条竖直直线。
4.如权利要求1所述的方法，其特征在于，所述步骤3，对S1中的字符进行模板匹配检测的字符为：R，C。
5.如权利要求1所述的方法，其特征在于，所述第一阈值的范围为18到25之间，第二阈值的范围为字符高度的0.2倍到字符高度的0.4倍之间，第三阈值的范围为90到115之间，第四阈值的范围为90到160之间，第五阈值的范围为17到23之间，第六阈值的范围为90到115之间，第七阈值的范围为字符f的上边界值加上字符f高度的0.2倍与0.35倍之间，第八阈值的范围为字符f的下边界值加上字符f高度的0.55倍与0.65倍之间，第九阈值的范围为2到4之间，第十阈值的范围为8到15之间，第十一阈值的范围为140到180之间，第十二阈值的范围为0.90到0.93之间，第十三阈值的范围为4到7之间，第十四阈值的范围为9到12之间，第十五阈值的范围为14到17之间，N的取值范围为18到25之间，Tz的取值范围为3到5之间。
6.如权利要求2所述的方法，其特征在于，所述第十六阈值的范围为18到24之间，第十七阈值的范围为3到6之间，第十八阈值的范围为2到5之间，第十九阈值的范围为0到5之间，第二十阈值的范围为5到10之间，第二十一阈值的范围为9到12之间，第二十二阈值的范围为5到8之间。
7.如权利要求3所述的方法，其特征在于，所述第二十三阈值的范围为18到25之间，第二十四阈值的范围为10到17之间，第二十五阈值的范围为2到5之间，第二十六阈值的范围为3到5之间，第二十七阈值的范围为4到8之间，第二十八阈值的范围为8到12之间，第二十九阈值的范围为2到8之间，第三十阈值的范围为1到3之间，第三十一阈值的范围为2到6之间，第三十二阈值的范围为4到8之间。
8.如权利要求1-4任一项所述的方法，其特征在于：所述近似相等是指两数值相差7以内。
9.如权利要求1所述的方法，其特征在于，所述的一个字符的宽度chw，chw的具体计算方法如下：通过垂直分割，获得字符的左右边界值，得到分割出的字符的宽度，计算所有字符的宽度的总和，求得字符宽度的平均值chw_a，计算字符宽度小于chw_a的字符的宽度的总和，求得该范围内字符宽度的平均值即得到宽度chw。
CN201610223574.4A 2016-04-12 2016-04-12 一种基于化学公式特征进行图像中化学公式检测的方法 Active CN105868728B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610223574.4A CN105868728B (zh) 2016-04-12 2016-04-12 一种基于化学公式特征进行图像中化学公式检测的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610223574.4A CN105868728B (zh) 2016-04-12 2016-04-12 一种基于化学公式特征进行图像中化学公式检测的方法

Publications (2)

Publication Number Publication Date
CN105868728A true CN105868728A (zh) 2016-08-17
CN105868728B CN105868728B (zh) 2019-02-22

Family

ID=56636686

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610223574.4A Active CN105868728B (zh) 2016-04-12 2016-04-12 一种基于化学公式特征进行图像中化学公式检测的方法

Country Status (1)

Country Link
CN (1) CN105868728B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108062529A (zh) * 2017-12-22 2018-05-22 上海鹰谷信息科技有限公司 一种化学结构式的智能识别方法
CN110619333A (zh) * 2019-08-15 2019-12-27 平安国际智慧城市科技股份有限公司 一种文本行分割方法、文本行分割装置及电子设备
WO2023173536A1 (zh) * 2022-03-15 2023-09-21 平安科技（深圳）有限公司 化学式识别方法、装置、计算机设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060099145A1 (en) * 2004-11-10 2006-05-11 Konica Minolta Medical & Graphic, Inc. Pharmaceutical preparation containing magnetic vesicular particles, manufacturing method thereof and diagnostic therapeutic system
CN103700084A (zh) * 2012-09-28 2014-04-02 淮海工学院 基于区域尺寸和弯曲度的化学分子结构图分割方法
US8897571B1 (en) * 2011-03-31 2014-11-25 Raytheon Company Detection of targets from hyperspectral imagery
CN105426834A (zh) * 2015-11-17 2016-03-23 中国传媒大学 一种基于投影特征与结构特征进行表格图像检测的方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060099145A1 (en) * 2004-11-10 2006-05-11 Konica Minolta Medical & Graphic, Inc. Pharmaceutical preparation containing magnetic vesicular particles, manufacturing method thereof and diagnostic therapeutic system
US8897571B1 (en) * 2011-03-31 2014-11-25 Raytheon Company Detection of targets from hyperspectral imagery
CN103700084A (zh) * 2012-09-28 2014-04-02 淮海工学院 基于区域尺寸和弯曲度的化学分子结构图分割方法
CN105426834A (zh) * 2015-11-17 2016-03-23 中国传媒大学 一种基于投影特征与结构特征进行表格图像检测的方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108062529A (zh) * 2017-12-22 2018-05-22 上海鹰谷信息科技有限公司 一种化学结构式的智能识别方法
CN108062529B (zh) * 2017-12-22 2024-01-12 上海鹰谷信息科技有限公司 一种化学结构式的智能识别方法
CN110619333A (zh) * 2019-08-15 2019-12-27 平安国际智慧城市科技股份有限公司 一种文本行分割方法、文本行分割装置及电子设备
WO2023173536A1 (zh) * 2022-03-15 2023-09-21 平安科技（深圳）有限公司 化学式识别方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
CN105868728B (zh) 2019-02-22

Similar Documents

Publication Publication Date Title
CN1276384C (zh) 视频流可分类符号分离的方法与系统
CN105426834B (zh) 一种基于投影特征与结构特征进行表格图像检测的方法
CN105184292B (zh) 自然场景图像中手写体数学公式结构分析与识别方法
US8965127B2 (en) Method for segmenting text words in document images
CN104966051B (zh) 一种文档图像的版式识别方法
CN111639646A (zh) 一种基于深度学习的试卷手写英文字符识别方法及系统
CN108491845B (zh) 字符分割位置的确定、字符分割方法、装置及设备
CN105868728A (zh) 一种基于化学公式特征进行图像中化学公式检测的方法
US20060062460A1 (en) Character recognition apparatus and method for recognizing characters in an image
CN105913057B (zh) 一种结合投影和结构特征进行图像中数学公式检测方法
CN104952073A (zh) 基于深度学习的镜头边缘检测方法
CN103136527B (zh) 图像处理设备及方法
CN107688809A (zh) 验证码识别方法、装置、计算机设备及计算机存储介质
WO2015031702A1 (en) Multiple hypothesis testing for word detection
CN106778717A (zh) 一种基于图像识别和k近邻的测评表识别方法
CN111126383A (zh) 车牌检测方法、系统、装置及存储介质
CN116824608A (zh) 基于目标检测技术的答题卡版面分析方法
CN111046770B (zh) 一种照片档案人物自动标注方法
US11087122B1 (en) Method and system for processing candidate strings detected in an image to identify a match of a model string in the image
CN109284658B (zh) 一种支持向量机和Hough变换相结合的直道铁轨检测方法
CN110956174A (zh) 一种器件编号的识别方法
JP2011248415A (ja) 画像処理装置及び画像処理プログラム
JPH03126181A (ja) 文書画像の領域分割方法
JPH04352295A (ja) 文字列方向判別装置
CN106372632B (zh) 一种基于ocr的漏识文字自动检测的方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant