CN116029939A - 一种基于图像检测与区域提取的图像复原方法 - Google Patents

Abstract

本发明涉及数据处理技术领域，尤其涉及一种基于图像检测与区域提取的图像复原方法，包括S1，建立汉字图形库；S2，AI处理模块获取目标图像的二值化灰度坐标并对目标图像中的内容进行识别；S3，AI处理模块对已获取的目标图像中的汉字内容进行关联性判定用以确认目标图像中的汉字内容的合理性；S4，AI处理模块按照目标图像中的内容编码进行输出形成新的电子文档；S5，AI处理模块对对比过程和对比结果进行深度学习。本发明通过将纸质版文件转换为电子数字信号输出后，对其中汉字内容进行的重新识别、纠偏、补缺和再录入方法，可以使得纸质版文件在扫描归档后可以直接输出清晰的数字信号版文档，提高处理效率。

Description

一种基于图像检测与区域提取的图像复原方法

技术领域

本发明涉及数据处理技术领域，尤其涉及一种基于图像检测与区域提取的图像复原方法。

背景技术

随着互联网时代的发展与电子档案的普及，对于电子文档中汉字的识别变得越来越重要，而在电子文档的识别中，对于原始纸质文件的扫描归档成为了将纸质文件转换为电子文档的主要手段，但是相关问题也随之而来，有些纸质文件年代久远且复印次数较多，导致了扫描之后的电子文档异常模糊、噪点较多、内容歪偏，更有甚者其中有些汉字已不可辨认，使其扫描而成的数字文档的价值降低，故而现在急需一种在扫描完成后对文档中汉字进行重新识别、纠偏、补缺和再录入的方法。

中国专利公开号CN106548169A公开了一种基于深度神经网络的模糊汉字增强方法及装置，包括：建立参考数据库；采集包含汉字的测试图像；将测试图像按图像块划分规则分割成多个测试图像块；在参考数据库中以每个测试图像块为目标搜索索引，筛选出与测试图像块最相似的多个预设图像块；根据融合系数将多个最相似的预设图像块加权融合为复原图像块，将图像对应相邻的复原图像块加权融合得到复原图像。本发明还提供一种基于深度神经网络的模糊汉字增强装置。在建立参考数据与图像块检索时引入深度神经网络特征，提高了图像块的鲁棒性；即使处于离线状态也能通过训练的数据库将包含模糊的汉字图像复原成清晰的图像，便于显示或识别图像中汉字，提高了图像中汉字的识别度和清晰度。其中，所述基于深度神经网络的模糊汉字增强方法中将目标图像进行了归一化处理，虽然各个特征维度对于目标的影响权重归于一致，但是其方法本身鲁棒性较差，最大值和最小值非常容易受异常点的影响：

发明内容

为此，本发明提供一种基于图像检测与区域提取的图像复原方法，用以克服现有技术中无法将纸质老旧文件中的汉字进行重新识别、纠偏、补缺和再录入的问题。

为实现上述目的，本发明提供一种基于图像检测与区域提取的图像复原方法，包括：

步骤S1，建立汉字图形库；

步骤S2，AI处理模块获取目标图像的二值化灰度坐标，并对目标图像中的汉字、字号、字体及内容进行识别；

步骤S3，AI处理模块对已获取的目标图像中的汉字内容进行关联性判定用以确认目标图像中的汉字内容的合理性，并判定与目标图像中相对应汉字的坐标、格式及编码；

步骤S4，AI处理模块按照目标图像中相对汉字坐标、汉字编码及格式编码进行输出，形成新的电子文档；

步骤S5，AI处理模块根据汉字图形库与目标图像进行对比的对比过程和对比结果进行深度学习，用以提高AI处理模块在对目标图像进行识别时的准确性和高效性。

具体而言，获取目标图像的方法可以为复印机扫描电子版，也可以为传真电子版，亦可以为手机或相机拍摄而成的电子版，只需能够满足本实施例中对于目标图像的获取要求即可，此不再赘述。

在步骤S1中，汉字图形库包括汉字库和标点字符库，汉字库收录若干字体的汉字，标点字符库的收录范围包括字母、数字、运算符号、标点符号和功能性符号，汉字库对任一收录的汉字进行编号，标点字符库对任一收录的符号进行编号，汉字库分别对任一收录汉字的任一种电脑字体进行编号，并对任一收录汉字的任一种电脑字体特征在二维坐标系中的相对坐标进行标记，得到任一汉字任一字体的二维坐标模型，标点字符库分别对任一收录符号的任一种电脑字体进行编号，并对任一收录符号的任一种电脑字体特征在二维坐标系中的相对坐标进行标记，得到任一符号任一字体的二维坐标模型；

具体而言，汉字库收录汉字个数为十万字，其中包括简体汉字、繁体汉字、少数民族汉字、古代书写汉字和甲骨文。

具体而言，标点字符库中的字母包括英汉字母、罗马字母和西里尔字母，数字包括罗马数字和阿拉伯数字。

汉字图形库还包括汉字库中所有汉字的词语关系和词组关系，并根据汉字的词语关系和词组关系分别对字与字之间、字与词之间、词与词之间和词组之间的关联度的分级，得到第一关联度、第二关联度、第三关联度和第四关联度，其中，按常用程度对关联度进行排序为第一关联度＞第二关联度＞第三关联度＞第四关联度，关联度用以根据词语使用常用程度判断无法依靠简体汉字库和繁体汉字库进行辨识的汉字；

汉字图形库还包括排版库，排版训练库用以储存于目标图像相对应的原始格式排版，包括无汉字版和汉字版，用以存储与目标图像相关联的汉字排版类型及其相对应的编号，并建立任一汉字排版类型在二维坐标系中相对应的二维坐标模型；

在步骤S1中，汉字图形库对其收录的汉字分配汉字级别，汉字级别包括第一级汉字、第二级汉字、第三级汉字和第四级汉字，汉字级别按常用程度的排序为第一级汉字＞第二级汉字＞第三级汉字＞第四级汉字，汉字图形库还对其收录的字体分配字体级别，字体级别包括第一级字体、第二级字体和第三级字体，字体级别按常用程度的排序为第一级字体＞第二级字体＞第三级字体，汉字图形库还对其收录的符号分配符号级别，符号级别包括第一级符号、第二级符号和第三级符号，符号级别按常用程度的排序为第一级符号＞第二级符号＞第三级符号。

在步骤S2中，AI处理模块对目标图像进行二值化处理，获得目标图像在二维坐标中各坐标点及其相对应的灰度值，并根据每个坐标点的灰度值大小对目标图像进行切割，其中，

当任一坐标点的灰度值小于AI处理模块预设的第一灰度值时，AI处理模块判定当前灰度值对应的坐标点为无效特征点，当任一坐标点的灰度值大于AI处理模块预设的第二灰度值时，AI处理模块判定当前灰度值对应的坐标点为重要特征点，当任一坐标点的灰度值小于第二灰度值且大于第一灰度值时，AI处理模块判定当前灰度值对应的坐标点为有效特征点，其中，第一灰度值<第二灰度值，特征点按特征表达程度的重要性的排序为重要特征点＞有效特征点＞无效特征点，

AI处理模块分别根据目标图像有效特征点间的坐标间距与汉字图形库中汉字和符号的有效特征点间的坐标间距做等比例距离判断，用以判断目标图像中单一汉字和单一符号的切割范围，根据切割范围对目标图像中单一汉字和单一符号进行切割，得到目标图像中单一汉字和单一符号的二维坐标，并根据目标图像中单一汉字和单一符号的二维坐标的绝对值得到标图像中单一汉字和单一符号的字号。

在步骤S2中，AI处理模块对目标图像进行切割时，将可识别单一汉字和单一符号分别做为一个最小的切割单元对目标图像进行切割，得到若干单一汉字组的切割图形和单一符号组的切割图形，将不可识别的剩余汉字和符号作为模糊图形进行保留，AI处理模块对所有切割图形和模糊图形按目标图像原始坐标顺序进行标记，确定其中所有切割图形和模糊图形的相对位置，用以便于后期的再排版和再录入。

在步骤S2中，AI处理模块根据目标图像中汉字和符号的字号所对应的坐标值对汉字库和标点字符库中的二维坐标模型进行同比例缩减，得到与目标图像中汉字和符号的字号相一致的汉字图形库字号，并根据目标图像汉字和符号中的重要特征点和有效特征点分别与汉字图形库汉字和符号中的重要特征点和有效特征点的对比结果，判断目标图像中的单一汉字的字体和单一符号的字体，其中，

AI处理模块判断目标图像中的单一汉字的字体按照字体级别时，按常用程度的升序排序从高至低逐级与汉字库中的字体进行对比，即先对比第一级字体，第一级字体对比完成后，若依然无法判断汉字的字体，再依次对比第二级字体和第三级字体，直至确定汉字字体为止；

AI处理模块判断目标图像中的单一汉字内容按照汉字级别时，按常用程度的升序排序从高至低逐级与汉字库中的汉字进行对比，即先对比第一级汉字，第一级汉字对比完成后，若依然无法判断汉字的内容，再依次对比第二级汉字、第三级汉字和第四级汉字，直至确定汉字内容为止。

在步骤S2中，AI处理模块对模糊图形进行判定，其中，AI处理模块对重叠的重要特征点和有效特征点进行拆分，获得一份汉字重叠图像和两份无重叠汉字图像，将汉字重叠图像的重要特征点和有效特征点分别复原在两份无重叠汉字图像的汉字缺失部分，并根据两份复原后的无重叠汉字图像分别与汉字图形库汉字的重要特征点和有效特征点的对比结果判断两份复原后的无重叠汉字图像分别对应的汉字内容，其中，

AI处理模块判断两份复原后的无重叠汉字图像分别对应的汉字时，按照汉字级别按常用程度的升序排序从高至低逐级与汉字库中的汉字进行对比，即先对比第一级汉字，第一级汉字对比完成后，若依然无法判断汉字，再依次对比第二级汉字、第三级汉字和第四级汉字，直至确定汉字为止。

在步骤S2中，AI处理模块判定目标图像中与汉字图形库相对应汉字、字体、符号时，若汉字图形库内无相对应的汉字、字体、符号时，AI处理模块判定汉字图形库需要补充，对该汉字目标图像中二维坐标的顺序添加相应的颜色记号，用以在汉字输出再录入时添加提示底色，并输出汉字图形库需要补充的提示，便于人工查证并及时补充汉字图形库。

在步骤S3中，AI处理模块对已获取的目标图像中的汉字内容进行关联性判定用以确认目标图像中的汉字内容的合理性，其中，AI处理模块判断已获取的目标图像中相邻的汉字内容的关联性级别时，按照关联度级别按常用程度的升序排序从高至低逐级与汉字库中的汉字关联度进行对比，即先对比第一关联度，第一级关联度对比完成后，若依然无法判断汉字关联度，再依次对比第二关联度、第三关联度和第四关联度，直至确定汉字关联度为止，若AI处理模块无法确定任一汉字关联度，AI处理模块判定可能出现错别字或识别错误，并对该汉字在目标图像中二维坐标的顺序标记添加相应的颜色记号，用以在汉字输出再录入时添加提示底色，便于人工查证。

在步骤S3中，AI处理模块判定已获取的目标图像中相对应汉字的坐标、格式及编码时，AI处理模块根据已获取的目标图像中汉字坐标、格式对应的汉字图形库汉字坐标、汉字编号、符号编号的数字信号输出至输出单元，AI处理模块根据未识别的目标图像中的汉字图像，形成对应坐标顺序及相对应的图像比例的数字信号输出至输出单元，其中，

AI处理模块根据排版库中相对应的排版格式判断当前目标图像的排版格式，并根据当前目标图像的排版格式输出相对应的排版格式数字信号，排版格式包括文档类、表格类及具体排版坐标位置信息，当AI处理模块判断排版库中不存在与当前目标图像排版格式相同的排版时，根据目标图像灰度值的边缘范围，判定目标图像的版型，并基于目标图像的版型选择文档类或表格类的格式进行相对应比例和倾斜度的排版格式数字信号。

在步骤S4中，AI处理模块按照目标图像中相对汉字坐标、汉字编码及格式编码的数字信号进行输出，形成新的电子文档，其中，数字信号中包括倾斜度调整值及相对应坐标点的数字信号、比例调整值及相对应坐标点的数字信号、字体及相对应坐标点的数字信号、符号及相对应坐标点的数字信号、汉字及相对应坐标点的数字信号、字号及相对应坐标点的数字信号、汉字图像及相对应坐标点的数字信号、颜色记号及其相对应坐标点的数字信号。

具体而言，本申请对于目标图像的识别、图标图像与训练库的对比、深度学习的方法均使用现有技术中的技术手段，其技术手段的具体选择根据预设特征要求及目标图像的可辨别程度自行选择，其中参数的预设值亦根据使用对象与使用要求进行具体的设置，本申请保护的为图像的一种辨别方法，因此并不公开具体参数的设置要求，也不影响本申请在实际应用中的具体实施，其中，现有技术中的技术手段可以为无监督类机器学习方法，也可以为监督类机器学习方法，亦可以为卷积神经网络等深度学习算法，只需能够满足本实施例中对于图像识别、对比和学习的需求即可，此不再赘述。

与现有技术相比，本发明的有益效果在于，其一，通过设有的汉字图形库，可以将大量汉字、符号在不同字体下的训练样本进行储存，并提取相关汉字、符号在不同字体下的特征值，用以快速识别目标图像中的汉字、符号的字体；

进一步地，通过在汉字图形库内设置的排版库，可以对目标图像的原始排版电子档案进行深度学习，更好的识别与目标图像相对应的排版、文件格式等信息，并进行数字信号输出，形成新的电子文档，增强纸质版文件扫描归档的可辨识性和清晰度；

进一步地，通过对汉字图形库内汉字、符号、字体、文件间关系分配的相应级别，可以使目标图像的辨别去繁从简、逐级辨别，降低图像识别中大量的计算工作，使识别工作更加快速；

其二，通过对目标图像的二值化处理，可以获取目标图像的汉字范围和倾斜度，为后续的目标图像切割作业提供便利，可以更好的切割出单一汉字及单一符号，并针对单一汉字和单一符号进行逐级识别，增加特征点的获取效率，降低相关计算量，提升处理速度。

其三，通过对目标图像的切割，重点获取不清晰或重叠的汉字和符号，并针对不清晰或重叠的汉字和符号，进行预设特征点的分割和复原，并以此判定其汉字和符号的具体表达内容，优化算力；

进一步地，通过对不清晰或重叠的汉字和符号的模糊判定及关联度判定，可以在一定程度上对不清晰或重叠的汉字和符号进行校正和补缺，同时，对于无法校正和补缺的不清晰或重叠的汉字和符号，利用坐标系的顺序编号，可以将其切割后的同比例图像通过增加底部高亮提示颜色显示于新的电子文档中，用以在人工查证时或对汉字图形库进行补充或对该不清晰汉字和符号进行人工校正。

其四，通过对目标图像全部的分割图像进行排序，可以得到相应内容的虚拟排列组合，并利用汉字关联度确认目标图像中的汉字内容的合理性，并依据相应内容的虚拟排列组合，输出相应顺序的数字信号，用以形成新的电子文档。

其五，通过设有的目标图像排版库，可以提前根据目标图像的排版方式对较为清晰的排版文件或无汉字版的排版模板文件进行学习，从而更快的得到目标图像的排版格式及目标图像的倾斜度，并在坐标系上给予相应的纠偏，同时，将目标图像的规范化排版格式完美的呈现至新的电子文档中，同时对于无法识别的内容在新的电子文档中的高亮颜色提示，便于人工在后续添加新的相关逻辑及学习方法，用以完善图像识别、修正、输出方法。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明实施例基于图像检测与区域提取的图像复原方法的结构示意图；

具体实施方式

为了使本发明的目的和优点更加清楚明白，下面结合实施例对本发明作进一步描述；应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。

下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非在限制本发明的保护范围。

需要说明的是，在本发明的描述中，术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方向或位置关系的术语是基于附图所示的方向或位置关系，这仅仅是为了便于描述，而不是指示或暗示所述装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，还需要说明的是，在本发明的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域技术人员而言，可根据具体情况理解上述术语在本发明中的具体含义。

请参阅图1所示，其为本发明实施例基于图像检测与区域提取的图像复原方法的结构示意图，本实施例包括：

步骤S1，建立汉字图形库；

步骤S2，AI处理模块获取目标图像的二值化灰度坐标，并对目标图像中的汉字、字号、字体及内容进行识别；

步骤S3，AI处理模块对已获取的目标图像中的汉字内容进行关联性判定用以确认目标图像中的汉字内容的合理性，并判定与目标图像中相对应汉字的坐标、格式及编码：

步骤S4，AI处理模块按照目标图像中相对汉字坐标、汉字编码及格式编码进行输出，形成新的电子文档；

步骤S5，AI处理模块根据汉字图形库与目标图像进行对比的对比过程和对比结果进行深度学习，用以提高AI处理模块在对目标图像进行识别时的准确性和高效性。

在本实施例中，获取目标图像的方法可以为复印机扫描电子版，也可以为传真电子版，亦可以为手机或相机拍摄而成的电子版，只需能够满足本实施例中对于目标图像的获取要求即可，此不再赘述。

1在步骤S1中，汉字图形库包括汉字库和标点字符库，汉字库收录若干字体的汉字，标点字符库的收录范围包括字母、数字、运算符号、标点符号和功能性符号，汉字库对任一收录的汉字进行编号，标点字符库对任一收录的符号进行编号，汉字库分别对任一收录汉字的任一种电脑字体进行编号，并对任一收录汉字的任一种电脑字体特征在二维坐标系中的相对坐标进行标记，得到任一汉字任一字体的二维坐标模型，标点字符库分别对任一收录符号的任一种电脑字体进行编号，并对任一收录符号的任一种电脑字体特征在二维坐标系中的相对坐标进行标记，得到任一符号任一字体的二维坐标模型；

在本实施例中，汉字库收录汉字个数为十万字，其中包括简体汉字、繁体汉字、少数民族汉字、古代书写汉字和甲骨文。

在本实施例中，标点字符库中的字母包括英汉字母、罗马字母和西里尔字母，数字包括罗马数字和阿拉伯数字。

汉字图形库还包括汉字库中所有汉字的词语关系和词组关系，并根据汉字的词语关系和词组关系分别对字与字之间、字与词之间、词与词之间和词组之间的关联度的分级，得到第一关联度、第二关联度、第三关联度和第四关联度，其中，按常用程度对关联度进行排序为第一关联度＞第二关联度＞第三关联度＞第四关联度，关联度用以根据词语使用常用程度判断无法依靠简体汉字库和繁体汉字库进行辨识的汉字；

汉字图形库还包括排版库，排版训练库用以储存于目标图像相对应的原始格式排版，包括无汉字版和汉字版，用以存储与目标图像相关联的汉字排版类型及其相对应的编号，并建立任一汉字排版类型在二维坐标系中相对应的二维坐标模型；

2在步骤S1中，汉字图形库对其收录的汉字分配汉字级别，汉字级别包括第一级汉字、第二级汉字、第三级汉字和第四级汉字，汉字级别按常用程度的排序为第一级汉字＞第二级汉字＞第三级汉字＞第四级汉字，汉字图形库还对其收录的字体分配字体级别，字体级别包括第一级字体、第二级字体和第三级字体，字体级别按常用程度的排序为第一级字体＞第二级字体＞第三级字体，汉字图形库还对其收录的符号分配符号级别，符号级别包括第一级符号、第二级符号和第三级符号，符号级别按常用程度的排序为第一级符号＞第二级符号＞第三级符号。

3在步骤S2中，AI处理模块对目标图像进行二值化处理，获得目标图像在二维坐标中各坐标点及其相对应的灰度值，并根据每个坐标点的灰度值大小对目标图像进行切割，其中，

当任一坐标点的灰度值小于AI处理模块预设的第一灰度值时，AI处理模块判定当前灰度值对应的坐标点为无效特征点，当任一坐标点的灰度值大于AI处理模块预设的第二灰度值时，AI处理模块判定当前灰度值对应的坐标点为重要特征点，当任一坐标点的灰度值小于第二灰度值且大于第一灰度值时，AI处理模块判定当前灰度值对应的坐标点为有效特征点，其中，第一灰度值<第二灰度值，特征点按特征表达程度的重要性的排序为重要特征点＞有效特征点＞无效特征点，

AI处理模块分别根据目标图像有效特征点间的坐标间距与汉字图形库中汉字和符号的有效特征点间的坐标间距做等比例距离判断，用以判断目标图像中单一汉字和单一符号的切割范围，根据切割范围对目标图像中单一汉字和单一符号进行切割，得到目标图像中单一汉字和单一符号的二维坐标，并根据目标图像中单一汉字和单一符号的二维坐标的绝对值得到标图像中单一汉字和单一符号的字号。

4在步骤S2中，AI处理模块对目标图像进行切割时，将可识别单一汉字和单一符号分别做为一个最小的切割单元对目标图像进行切割，得到若干单一汉字组的切割图形和单一符号组的切割图形，将不可识别的剩余汉字和符号作为模糊图形进行保留，AI处理模块对所有切割图形和模糊图形按目标图像原始坐标顺序进行标记，确定其中所有切割图形和模糊图形的相对位置，用以便于后期的再排版和再录入。

5在步骤S2中，AI处理模块根据目标图像中汉字和符号的字号所对应的坐标值对汉字库和标点字符库中的二维坐标模型进行同比例缩减，得到与目标图像中汉字和符号的字号相一致的汉字图形库字号，并根据目标图像汉字和符号中的重要特征点和有效特征点分别与汉字图形库汉字和符号中的重要特征点和有效特征点的对比结果，判断目标图像中的单一汉字的字体和单一符号的字体，其中，

AI处理模块判断目标图像中的单一汉字的字体按照字体级别时，按常用程度的升序排序从高至低逐级与汉字库中的字体进行对比，即先对比第一级字体，第一级字体对比完成后，若依然无法判断汉字的字体，再依次对比第二级字体和第三级字体，直至确定汉字字体为止；

AI处理模块判断目标图像中的单一汉字内容按照汉字级别时，按常用程度的升序排序从高至低逐级与汉字库中的汉字进行对比，即先对比第一级汉字，第一级汉字对比完成后，若依然无法判断汉字的内容，再依次对比第二级汉字、第三级汉字和第四级汉字，直至确定汉字内容为止。

6在步骤S2中，AI处理模块对模糊图形进行判定，其中，AI处理模块对重叠的重要特征点和有效特征点进行拆分，获得一份汉字重叠图像和两份无重叠汉字图像，将汉字重叠图像的重要特征点和有效特征点分别复原在两份无重叠汉字图像的汉字缺失部分，并根据两份复原后的无重叠汉字图像分别与汉字图形库汉字的重要特征点和有效特征点的对比结果判断两份复原后的无重叠汉字图像分别对应的汉字内容，其中，

AI处理模块判断两份复原后的无重叠汉字图像分别对应的汉字时，按照汉字级别按常用程度的升序排序从高至低逐级与汉字库中的汉字进行对比，即先对比第一级汉字，第一级汉字对比完成后，若依然无法判断汉字，再依次对比第二级汉字、第三级汉字和第四级汉字，直至确定汉字为止。

7在步骤S2中，AI处理模块判定目标图像中与汉字图形库相对应汉字、字体、符号时，若汉字图形库内无相对应的汉字、字体、符号时，AI处理模块判定汉字图形库需要补充，对该汉字目标图像中二维坐标的顺序添加相应的颜色记号，用以在汉字输出再录入时添加提示底色，并输出汉字图形库需要补充的提示，便于人工查证并及时补充汉字图形库。

8在步骤S3中，AI处理模块对已获取的目标图像中的汉字内容进行关联性判定用以确认目标图像中的汉字内容的合理性，其中，AI处理模块判断已获取的目标图像中相邻的汉字内容的关联性级别时，按照关联度级别按常用程度的升序排序从高至低逐级与汉字库中的汉字关联度进行对比，即先对比第一关联度，第一级关联度对比完成后，若依然无法判断汉字关联度，再依次对比第二关联度、第三关联度和第四关联度，直至确定汉字关联度为止，若AI处理模块无法确定任一汉字关联度，AI处理模块判定可能出现错别字或识别错误，并对该汉字在目标图像中二维坐标的顺序标记添加相应的颜色记号，用以在汉字输出再录入时添加提示底色，便于人工查证。

9在步骤S3中，AI处理模块判定已获取的目标图像中相对应汉字的坐标、格式及编码时，AI处理模块根据已获取的目标图像中汉字坐标、格式对应的汉字图形库汉字坐标、汉字编号、符号编号的数字信号输出至输出单元，AI处理模块根据未识别的目标图像中的汉字图像，形成对应坐标顺序及相对应的图像比例的数字信号输出至输出单元，其中，

AI处理模块根据排版库中相对应的排版格式判断当前目标图像的排版格式，并根据当前目标图像的排版格式输出相对应的排版格式数字信号，排版格式包括文档类、表格类及具体排版坐标位置信息，当AI处理模块判断排版库中不存在与当前目标图像排版格式相同的排版时，根据目标图像灰度值的边缘范围，判定目标图像的版型，并基于目标图像的版型选择文档类或表格类的格式进行相对应比例和倾斜度的排版格式数字信号。

10在步骤S4中，AI处理模块按照目标图像中相对汉字坐标、汉字编码及格式编码的数字信号进行输出，形成新的电子文档，其中，数字信号中包括倾斜度调整值及相对应坐标点的数字信号、比例调整值及相对应坐标点的数字信号、字体及相对应坐标点的数字信号、符号及相对应坐标点的数字信号、汉字及相对应坐标点的数字信号、字号及相对应坐标点的数字信号、汉字图像及相对应坐标点的数字信号、颜色记号及其相对应坐标点的数字信号。

在本实施例中，对于目标图像的识别、图标图像与训练库的对比、深度学习的方法均使用现有技术中的技术手段，其技术手段的具体选择根据预设特征要求及目标图像的可辨别程度自行选择，其中参数的预设值亦根据使用对象与使用要求进行具体的设置，本申请保护的为图像的一种辨别方法，因此并不公开具体参数的设置要求，也不影响本申请在实际应用中的具体实施，其中，现有技术中的技术手段可以为无监督类机器学习方法，也可以为监督类机器学习方法，亦可以为卷积神经网络等深度学习算法，只需能够满足本实施例中对于图像识别、对比和学习的需求即可，此不再赘述。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

以上所述仅为本发明的优选实施例，并不用于限制本发明；对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于图像检测与区域提取的图像复原方法，其特征在于，包括：

步骤S1，建立汉字图形库；

步骤S2，AI处理模块获取目标图像的二值化灰度坐标，并对目标图像中的汉字、字号和字体进行识别；

步骤S3，AI处理模块对已获取的目标图像中的汉字内容进行关联性判定用以确认目标图像中的汉字内容的合理性，并判定与目标图像中相对应汉字的坐标、格式及编码；

步骤S4，AI处理模块按照目标图像中相对汉字坐标、汉字编码及格式编码进行输出，形成新的电子文档；

步骤S5，AI处理模块根据汉字图形库与目标图像进行对比的对比过程和对比结果进行深度学习，用以提高AI处理模块在对目标图像进行识别时的准确性和高效性。

2.根据权利要求1所述的基于图像检测与区域提取的图像复原方法，其特征在于，在步骤S1中，汉字图形库包括汉字库和标点字符库，汉字库收录若干字体的汉字，标点字符库的收录范围包括字母、数字、运算符号、标点符号和功能性符号，汉字库对任一收录的汉字进行编号，标点字符库对任一收录的符号进行编号，汉字库分别对任一收录汉字的任一种电脑字体进行编号，并对任一收录汉字的任一种电脑字体特征在二维坐标系中的相对坐标进行标记，得到任一汉字任一字体的二维坐标模型，标点字符库分别对任一收录符号的任一种电脑字体进行编号，并对任一收录符号的任一种电脑字体特征在二维坐标系中的相对坐标进行标记，得到任一符号任一字体的二维坐标模型；

汉字图形库还包括汉字库中所有汉字的词语关系和词组关系，并根据汉字的词语关系和词组关系分别对字与字之间、字与词之间、词与词之间和词组之间的关联度的分级，得到第一关联度、第二关联度、第三关联度和第四关联度，其中，按常用程度对关联度进行排序为第一关联度＞第二关联度＞第三关联度＞第四关联度，关联度用以根据词语使用常用程度判断无法依靠汉字库进行辨识的汉字；

汉字图形库还包括排版库，排版训练库用以储存于目标图像相对应的原始格式排版，包括无汉字版和汉字版，用以存储与目标图像相关联的汉字排版类型及其相对应的编号，并建立任一汉字排版类型在二维坐标系中相对应的二维坐标模型；

汉字图形库对其收录的汉字分配汉字级别，汉字级别包括第一级汉字、第二级汉字、第三级汉字和第四级汉字，汉字级别按常用程度的排序为第一级汉字＞第二级汉字＞第三级汉字＞第四级汉字，

汉字图形库还对其收录的字体分配字体级别，字体级别包括第一级字体、第二级字体和第三级字体，字体级别按常用程度的排序为第一级字体＞第二级字体＞第三级字体，

汉字图形库还对其收录的符号分配符号级别，符号级别包括第一级符号、第二级符号和第三级符号，符号级别按常用程度的排序为第一级符号＞第二级符号＞第三级符号。

3.根据权利要求2所述的基于图像检测与区域提取的图像复原方法，其特征在于，在步骤S2中，AI处理模块对目标图像进行二值化处理，获得目标图像在二维坐标中各坐标点及其相对应的灰度值，并根据每个坐标点的灰度值大小对目标图像进行切割，其中，

当任一坐标点的灰度值小于AI处理模块预设的第一灰度值时，AI处理模块判定当前灰度值对应的坐标点为无效特征点，当任一坐标点的灰度值大于AI处理模块预设的第二灰度值时，AI处理模块判定当前灰度值对应的坐标点为重要特征点，当任一坐标点的灰度值小于第二灰度值且大于第一灰度值时，AI处理模块判定当前灰度值对应的坐标点为有效特征点，其中，第一灰度值<第二灰度值，特征点按特征表达程度的重要性的排序为重要特征点＞有效特征点＞无效特征点；

AI处理模块分别根据目标图像有效特征点间的坐标间距与汉字图形库中汉字和符号的有效特征点间的坐标间距做等比例距离判断，用以判断目标图像中单一汉字和单一符号的切割范围，根据切割范围对目标图像中单一汉字和单一符号进行切割，得到目标图像中单一汉字和单一符号的二维坐标，并根据目标图像中单一汉字和单一符号的二维坐标的绝对值得到标图像中单一汉字和单一符号的字号。

4.根据权利要求3所述的基于图像检测与区域提取的图像复原方法，其特征在于，在步骤S2中，AI处理模块对目标图像进行切割时，将可识别单一汉字和单一符号分别做为一个最小的切割单元对目标图像进行切割，得到若干单一汉字组的切割图形和单一符号组的切割图形，将不可识别的剩余汉字和符号作为模糊图形进行保留，AI处理模块对所有切割图形和模糊图形按目标图像原始坐标顺序进行标记，确定其中所有切割图形和模糊图形的相对位置。

5.根据权利要求4所述的基于图像检测与区域提取的图像复原方法，其特征在于，在步骤S2中，AI处理模块根据目标图像中汉字和符号的字号所对应的坐标值对汉字库和标点字符库中的二维坐标模型进行同比例缩减，得到与目标图像中汉字和符号的字号相一致的汉字图形库字号，并根据目标图像汉字和符号中的重要特征点和有效特征点分别与汉字图形库汉字和符号中的重要特征点和有效特征点的对比结果，判断目标图像中的单一汉字的字体和单一符号的字体，其中，

AI处理模块判断目标图像中的单一汉字的字体按照字体级别时，按常用程度的升序排序从高至低逐级与汉字库中的字体进行对比，其中，先对比第一级字体，第一级字体对比完成后，若依然无法判断汉字的字体，再依次对比第二级字体和第三级字体，直至确定汉字字体为止；

AI处理模块判断目标图像中的单一汉字内容按照汉字级别时，按常用程度的升序排序从高至低逐级与汉字库中的汉字进行对比，其中，先对比第一级汉字，第一级汉字对比完成后，若依然无法判断汉字的内容，再依次对比第二级汉字、第三级汉字和第四级汉字，直至确定汉字内容为止。

6.根据权利要求5所述的基于图像检测与区域提取的图像复原方法，其特征在于，在步骤S2中，AI处理模块对模糊图形进行判定，其中，AI处理模块对重叠的重要特征点和有效特征点进行拆分，获得一份汉字重叠图像和两份无重叠汉字图像，将汉字重叠图像的重要特征点和有效特征点分别复原在两份无重叠汉字图像的汉字缺失部分，并根据两份复原后的无重叠汉字图像分别与汉字图形库汉字的重要特征点和有效特征点的对比结果判断两份复原后的无重叠汉字图像分别对应的汉字内容，其中，

AI处理模块判断两份复原后的无重叠汉字图像分别对应的汉字时，按照汉字级别按常用程度的升序排序从高至低逐级与汉字库中的汉字进行对比，其中，先对比第一级汉字，第一级汉字对比完成后，若依然无法判断汉字，再依次对比第二级汉字、第三级汉字和第四级汉字，直至确定汉字为止。

7.根据权利要求6所述的基于图像检测与区域提取的图像复原方法，其特征在于，在步骤S2中，AI处理模块判定目标图像中与汉字图形库相对应汉字、字体、符号时，若汉字图形库内无相对应的汉字、字体、符号时，AI处理模块判定汉字图形库需要补充，对该汉字目标图像中二维坐标的顺序添加相应的颜色记号，用以在汉字输出再录入时添加提示底色，并输出汉字图形库需要补充的提示，便于人工查证并及时补充汉字图形库。

8.根据权利要求7所述的基于图像检测与区域提取的图像复原方法，其特征在于，在步骤S3中，AI处理模块对已获取的目标图像中的汉字内容进行关联性判定用以确认目标图像中的汉字内容的合理性，其中，AI处理模块判断已获取的目标图像中相邻的汉字内容的关联性级别时，按照关联度级别按常用程度的升序排序从高至低逐级与汉字库中的汉字关联度进行对比，其中，先对比第一关联度，第一级关联度对比完成后，若依然无法判断汉字关联度，再依次对比第二关联度、第三关联度和第四关联度，直至确定汉字关联度为止，若AI处理模块无法确定任一汉字关联度，AI处理模块判定可能出现错别字或识别错误，并对该汉字在目标图像中二维坐标的顺序标记添加相应的颜色记号，用以在汉字输出再录入时添加提示底色，便于人工查证。

9.根据权利要求8所述的基于图像检测与区域提取的图像复原方法，其特征在于，在步骤S3中，AI处理模块判定已获取的目标图像中相对应汉字的坐标、格式及编码时，AI处理模块根据已获取的目标图像中汉字坐标、格式对应的汉字图形库汉字坐标、汉字编号、符号编号的数字信号输出至输出单元，AI处理模块根据未识别的目标图像中的汉字图像，形成对应坐标顺序及相对应的图像比例的数字信号输出至输出单元，其中，

AI处理模块根据排版库中相对应的排版格式判断当前目标图像的排版格式，并根据当前目标图像的排版格式输出相对应的排版格式数字信号，排版格式包括文档类、表格类及具体排版坐标位置信息，当AI处理模块判断排版库中不存在与当前目标图像排版格式相同的排版时，根据目标图像灰度值的边缘范围，判定目标图像的版型，并基于目标图像的版型选择文档类或表格类的格式进行相对应比例和倾斜度的排版格式数字信号。

10.根据权利要求9所述的基于图像检测与区域提取的图像复原方法，其特征在于，在步骤S4中，AI处理模块按照目标图像中相对汉字坐标、汉字编码及格式编码的数字信号进行输出，形成新的电子文档，其中，数字信号中包括倾斜度调整值及相对应坐标点的数字信号、比例调整值及相对应坐标点的数字信号、字体及相对应坐标点的数字信号、符号及相对应坐标点的数字信号、汉字及相对应坐标点的数字信号、字号及相对应坐标点的数字信号、汉字图像及相对应坐标点的数字信号、颜色记号及其相对应坐标点的数字信号。

Images