CN110796134A - 一种强噪声复杂背景图像中的汉字组词方法 - Google Patents

Abstract

本发明公开的强噪声复杂背景图像中的汉字组词方法，根据若干个包含汉字的背景图像，构建用于汉字定位的神经网络模型；获取待处理的第一背景图像，并根据神经网络模型对第一背景图像进行汉字定位，获得若干个汉字定位框；根据预设的深度学习模型，对若干个汉字定位框中的文字进行汉字识别，获得待组词乱序文字；再利用训练文本结合预设的训练模型构建出字符表，对于输入的乱序文字，遍历所有排序，并基于构建好的字符表，计算每个排序对应的自然语序度量值，最后以自然语序度量值最高的排序作为乱序文字的排序结果。本发明能够提高在强噪声复杂背景图像中汉字定位、汉字识别和汉字组词的准确性，从而扩大汉字识别和组词的应用场景和范围。

Description

一种强噪声复杂背景图像中的汉字组词方法

技术领域

本发明涉及计算机技术领域，尤其涉及一种强噪声复杂背景图像中的汉字 组词方法。

背景技术

自动识别图像、视频中的文字的计算机技术，具有广阔的应用场景，如在 物流行业中，将物流快递运单进行快速扫描成像和自动识别，并提取出物流运 单上的有效信息；在教育行业中，将图片中的文字信息转换为可编辑的Word文 档；在安防行业中，对视频中出现的车牌等信息进行识别和提取。随着各行业 科技的发展，仅仅对汉字进行识别和提取是不够的，还需要对已识别的汉字进 行组词，从而将其内容反馈给用户，以达到更进一步的业务需求。譬如，在具 有复杂背景和变形文字的强噪声图片上，对变形文字进行识别，并将其组合成 相应的文字内容呈现给用户，使得该技术能广泛应用到各具体行业或场景中。

现有技术对于具有复杂背景和变形文字的强噪声图片，无法实现其精准组 词和翻译文字内容，无法应用到具体的场景或行业中。

发明内容

本发明实施例提出一种强噪声复杂背景图像中的汉字组词方法，能够提高 在强噪声复杂背景图像中汉字定位、汉字识别和汉字组词的准确性，从而扩大 汉字识别和组词的应用场景和范围。

本发明实施例提供一种强噪声复杂背景图像中的汉字组词方法，包括：

根据若干个包含汉字的背景图像，构建用于汉字定位的神经网络模型；其 中，所述背景图像为强噪音复杂背景图像；

获取待处理的第一背景图像，并根据所述神经网络模型对所述第一背景图 像进行汉字定位，获得若干个汉字定位框；

根据预设的深度学习模型，对所述若干个汉字定位框中的文字进行汉字识 别，获得待组词乱序文字；

获取待组词乱序文字对应的待组词字符串，并根据字符串中的字符查找表 查询所有待组词字符串对应的出现总次数，以此构建第一向量；

根据所述待组词字符串当前的字符排列顺序，分别查询第一字符词频表和 第二字符词频表，并根据查询结果构建第一条件概率计数向量和第二条件概率 计数向量；其中，所述第一字符词频表、第二字符词频表和字符查找表组成字 符频表；所述字符表由预设的训练文本和训练模型而得到；

根据第一向量、第一条件概率计数向量和第二条件概率计数向量，分别计 算得出所述待组词字符串对应的第一条件概率向量和第二条件概率向量；

分别对所述第一条件概率向量和第二条件概率向量中的各元素取对数，并 将概率之积转化为对数概率之和，依次获得第一自然语序度量值和第二自然语 序度量值；

根据所述第一自然语序度量值和第二自然语序度量值，获得所述待组词字 符串当前的字符排列顺序对应的自然语序度量值，并遍历所述待组词字符串的 所有字符排列顺序，按照相同的计算方法，依次获得若干个自然语序度量值， 再选择自然语序度量值最大的字符排列顺序，将所述待组词字符串进行自动组 词。

进一步的，所述第一字符词频表中的第i行第j列个元素表示哈希值为i的 字符后相邻的哈希值为j的组合在所有训练文本中的出现频次；其中，i和j为 正整数；

所述第二字符词频表中的第i行第j列个元素表示哈希值为i的字符后的第 二个字符哈希值为j的组合在所有训练文本中的出现频次；

所述字符查找表中记录的常用字符对应的列号，分别为每个常用字符的哈 希值。

进一步的，所述根据字符串中的字符查找表查询所有待组词字符串对应的 出现总次数，以此构建第一向量，具体为：

将所述待组词字符串映射到对应的字符查找表对应的列上，得到每个字符 的出现总次数，记为第一向量s_total。

进一步的，所述根据所述待组词字符串当前的字符排列顺序，分别查询所 述第一字符词频表和所述第二字符词频表，并根据查询结果构建第一条件概率 计数向量和第二条件概率计数向量，具体为：

根据所述待组词字符串当前的字符排列顺序，对于每一组相邻的元素(a,b) 查找第一字符词频表中对应的元素R1_ab，并将所有查询得到的元素构建成第一 条件概率计数向量w_n1；

根据所述待组词字符串当前的字符排列顺序，对于每一组相隔1个字符的 元素(c,d)查找第二字符词频表中对应的元素R2_cd，并将所有查询得到的元素 构建成第二条件概率计数向量w_n2。

进一步的，所述根据第一向量、第一条件概率计数向量和第二条件概率计 数向量，分别计算得出所述待组词字符串对应的第一条件概率向量和第二条件 概率向量，具体为：

将第一向量s_total的前n-1个元素向量除以第一条件概率计数向量w_n1， 得到所述第一条件概率向量w1；其中，所述第一向量s_total包含n个元素；所 述第一条件概率向量w1中的元素为所述待组词字符串中前一个字符出现后，后 一个字符也出现的条件概率向量；

将第一向量s_total的前n-1个元素向量除以第二条件概率计数向量w_n2， 得到所述第二条件概率向量w2；其中，所述第二条件概率向量w2中的元素为 所述待组词字符串中前一个字符出现后，相隔1个字符后的字符也出现的条件 概率向量。

进一步的，根据权利要求1所述的强噪声复杂背景图像中的汉字组词方法， 其特征在于，

所述根据若干个包含汉字的背景图像，构建用于汉字定位的神经网络模型， 具体为：

获取若干个包含汉字的背景图像，其中，每个汉字分别设置在其对应预设 的矩形边界框内；以所述背景图像为输入，以矩形边界框和置信度为输出，构 建神经网络模型；其中，每个矩形边界框对应一个置信度，每个置信度对应一 个汉字类别；

所述获取待处理的第一背景图像，并根据所述神经网络模型对所述第一背 景图像进行汉字定位，具体为：

获取所述第一背景图像，通过所述神经网络模型，调整所述第一背景图像 的尺寸，并根据所述神经网络模型内设置的边框调整参数和默认边界框，确定 所述第一背景图像的第一边界框集合；

分别计算所述第一边界框集合内各边界框对应的置信度，并通过所述神经 网络模型，从所述第一边界框集合中筛选出N个边界框，以实现所述第一背景 图像的汉字定位；其中，所述第一背景图像包含N个汉字，所述N个汉字分别 一一对应所述N个边界框；N为正整数。

进一步的，以所述背景图像为输入，以矩形边界框和置信度为输出，构建 神经网络模型，具体为：

构建初始模型，并以所述背景图像为输入，以矩形边界框和置信度为输出， 对所述初始模型进行训练，调整并优化所述初始模型的尺寸调整参数、边框调 整参数、重合度筛选参数、置信度计算参数，并根据优化后的参数，构建所述 神经网络模型；

其中，所述尺寸调整参数用于供所述神经网络模型调整输入图像的尺寸；

所述边框调整参数用于供所述神经网络模型调整默认边界框的尺度和长宽 比例；

所述重合度筛选参数用于供所述神经网络模型剔除高重合度的边界框；

所述置信度计算参数用于供所述神经网络模型计算每个边界框的置信度。

进一步的，所述通过所述神经网络模型，从所述第一边界框集合中筛选出N 个边界框，具体为：

根据所述第一边界框集合内各边界框对应的置信度，筛选出分数最高的边 界框box1，使用IoU方法剔除与边界框box1重合度高于所述重合度筛选参数的 边界框，再从剩余的边界框中选出分数最高的边界框box2，按照相同的方法进 行剔除，直到选出N个边界框。

进一步的，所述根据预设的深度学习模型，对所述若干个汉字定位框中的 文字进行汉字识别，获得待组词乱序文字，具体为：

对若干个原始图像进行汉字定位，获得多个汉字定位框，根据所述多个汉 字定位框，对所述原始图像进行预处理，获得多个图像数据集；其中，每个图 像数据集有且仅有一个汉字的多个汉字图像；

基于深度学习网络Inception V3，建立深度学习模型，并以所述多个图像数 据集，优化所述深度学习模型的训练轮数、学习率、学习衰减率和训练批次；

在训练结束后，根据优化后的参数生成识别模型文件，以便于在获取到待 识别图像时，通过所述识别模型文件，对所述若干个汉字定位框中的文字进行 汉字识别，获得待组词乱序文字。

进一步的，所述根据所述多个汉字定位框，对所述原始图像进行预处理， 获得多个图像数据集，具体为：

根据汉字定位框对所述原始图像进裁剪，获得第一图像数据集；

剔除所述第一图像数据集中的错误图像数据，获得第二图像数据集；其中， 所述错误图像数据为没有包含一个完整汉字的图像数据；

将每个汉字作为单独的汉字类别，并以此将所述第二图像数据集中的图像 数据进行分类，以使每个汉字类别对应一个图像数据集；

由所有汉字类别分别对应的图像数据集组成所述多个图像数据集，并对每 个汉字类别设置相应标签文件。

实施本发明实施例，具有如下有益效果：

本发明实施例提供的强噪声复杂背景图像中的汉字组词方法，根据若干个 包含汉字的背景图像，构建用于汉字定位的神经网络模型；获取待处理的第一 背景图像，并根据神经网络模型对第一背景图像进行汉字定位，获得若干个汉 字定位框；根据预设的深度学习模型，对若干个汉字定位框中的文字进行汉字 识别，获得待组词乱序文字；再利用训练文本结合预设的训练模型构建出字符 表，对于输入的乱序文字，遍历所有排序，并基于构建好的字符表，计算每个 排序对应的自然语序度量值，最后以自然语序度量值最高的排序作为乱序文字 的排序结果。相比于现有技术针对在强噪声复杂背景图像中的汉字组词不准确， 本发明能够提高在强噪声复杂背景图像中汉字定位、汉字识别和汉字组词的准确性，从而扩大汉字识别和组词的应用场景和范围。

附图说明

图1是本发明提供的无线网状网的接入认证方法的第一实施例的流程示意 图；

图2是本发明提供的无线网状网的接入认证方法的第二实施例的流程示意 图；

图3是本发明提供的无线网状网的接入认证方法的第三实施例的流程示意 图；

图4是本发明提供的无线网状网的接入认证方法的结构示意图；

图5是本发明提供的白名单生成模块的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清 楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是 全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造 性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参见图1，是本发明提供的强噪声复杂背景图像中的汉字组词方法的一种实 施例的流程示意图，该示意图更详细的步骤包括步骤101至步骤108，具体如下：

步骤101：根据若干个包含汉字的背景图像，构建用于汉字定位的神经网络 模型；其中，背景图像为强噪音复杂背景图像。

步骤102：获取待处理的第一背景图像，并根据神经网络模型对第一背景图 像进行汉字定位，获得若干个汉字定位框。

步骤103：根据预设的深度学习模型，对若干个汉字定位框中的文字进行汉 字识别，获得待组词乱序文字。

步骤104：获取待组词乱序文字对应的待组词字符串，并根据字符串中的字 符查找表查询所有待组词字符串对应的出现总次数，以此构建第一向量。

在本实施例中，步骤104具体为：将待组词字符串映射到对应的字符查找 表对应的列上，得到每个字符的出现总次数，记为第一向量s_total。

在本实施例中，字符表由预设的训练文本和训练模型而得到，字符表包括 第一字符词频表、第二字符词频表和字符查找表。

在本实施例中，第一字符词频表中的元素记录了相邻字符组合在所有训练 文本中的出现频次；第二字符词频表中的元素记录了相隔1字符的组合在所有 训练文本中的出现频次；字符查找表记录了若干个常用字符以及每个常用字符 在所有训练文本中的出现总次数。

在本实施例中，第一字符词频表中的第i行第j列个元素表示哈希值为i的 字符后相邻的哈希值为j的组合在所有训练文本中的出现频次；其中，i和j为 正整数；第二字符词频表中的第i行第j列个元素表示哈希值为i的字符后的第 二个字符哈希值为j的组合在所有训练文本中的出现频次；字符查找表中记录的 常用字符对应的列号，分别为每个常用字符的哈希值。

为了更好的说明本实施例，以下面的例子说明模型训练过程。在本例子中， 模型的结构是两个方阵两个方阵text_matrix_1(第一字符词频表)，text_matrix_2 (第二字符词频表)，和一个两行的查找表text_list(字符查找表)。text_matrix_1， text_matrix_2的结构相同，其行、列号分别对应常用字符经过哈希后的值，哈 希函数是查找表text_list。text_list的第一行存储常用字符，第二行存储经过训 练过程统计得到的某一字符出现的总次数，用以计算条件概率，哈希函数的值 是某一字符在查找表text_list中的列号。如此设置哈希函数可以使得所有字符的 哈希值为从0开始的连续自然数。text_matrix_1中的元素记录相邻字符组合出 现的频次，如C1_ij(text_matrix_1中第i行j列的元素)表示哈希值为i的字符 后相邻字符的哈希值为j的组合在训练文本中出现的频次。text_matrix_2中的元 素记录相隔1字符的组合出现的频次，如C2_ij(text_matrix_2中第i行j列的元 素)表示哈希值为i的字符后的第二个字符哈希值为j的组合在训练文本中出现的频次。实验表明，如此设置两层结构，可以在不损失模型泛化能力的情况下 有效解决中文中并列短语的判断问题。

训练过程即为遍历训练集文本，统计某一字符出现的频次并记录在text_list 对应位置；统计相邻两字符的组合出现的频次，并记录在text_matrix_1的对应 元素中；统计有一个字符间隔的两个字符的组合出现的频次，并记录在 text_matrix_2的对应元素中，详细训练过程如图2所示。

步骤105：根据待组词字符串当前的字符排列顺序，分别查询第一字符词频 表和第二字符词频表，并根据查询结果构建第一条件概率计数向量和第二条件 概率计数向量；其中，第一字符词频表、第二字符词频表和字符查找表组成字 符频表；字符表由预设的训练文本和训练模型而得到。

在本实施例中，步骤105具体为：根据待组词字符串当前的字符排列顺序， 对于每一组相邻的元素(a,b)查找第一字符词频表中对应的元素R1_ab，并将所 有查询得到的元素构建成第一条件概率计数向量w_n1；

根据待组词字符串当前的字符排列顺序，对于每一组相隔1个字符的元素 (c,d)查找第二字符词频表中对应的元素R2_cd，并将所有查询得到的元素构建 成第二条件概率计数向量w_n2。

步骤106：根据第一向量、第一条件概率计数向量和第二条件概率计数向量， 分别计算得出待组词字符串对应的第一条件概率向量和第二条件概率向量。

在本实施例中，步骤106具体为：将第一向量s_total的前n-1个元素向量 除以第一条件概率计数向量w_n1，得到第一条件概率向量w1；其中，第一向 量s_total包含n个元素；第一条件概率向量w1中的元素为待组词字符串中前 一个字符出现后，后一个字符也出现的条件概率向量；

将第一向量s_total的前n-1个元素向量除以第二条件概率计数向量w_n2， 得到所述第二条件概率向量w2；其中，第二条件概率向量w2中的元素为所述 待组词字符串中前一个字符出现后，相隔1个字符后的字符也出现的条件概率 向量。

在本实施例中，待组词字符串S的长度为n，w_n1比s_total的维数少1， w1的维数与w_n1相同。

步骤107：分别对第一条件概率向量和第二条件概率向量中的各元素取对 数，并将概率之积转化为对数概率之和，依次获得第一自然语序度量值和第二 自然语序度量值。

在本实施例中，某一组合在总体中出现的概率是非常小的，因此当字符串 边长较短，求概率之积可能造成浮点数下溢，为避免这种情况，先对w1和w2 的各个元素取对数w_l、w_2，并将概率之积转化为对数概率之和，即对w_1、 w_2的所有元素求和，即可得到某一字符串的自然语序度量值p。

在本实施例中，一个字符串生成的过程中，可以认为后一个字与其前方所 有的字都有关系，计算字符串A下一个字符是字符B的概率，可以抽象为计算 在A出现的情况下B出现的条件概率，即P(B|A)。应用马尔可夫假设，可以在 实际计算过程中对上述过程进行简化，即认为第k个字符为B的概率只与前面 有限个字符相关。本发明处理的问题并不是一个字符串生成的过程，而是找到 乱序文本的自然语序，所以本发明将该问题进行了简化，引入了自然语序度量 值p，用以衡量一个候选字符串符合自然语序的程度。p越大即表示该字符串越 符合自然语序。因此，该问题可以转化为对所有可能的候选顺序计算p，并选择 p值最大的一个或几个候选进行输出。整个过程可以看作在由字符构成的离散时 间马尔可夫模型中寻找概率最大的路径。

对于一长度为n的字符串S，其自然语序度量值p定义如下：

为了更好的说明本发明技术方案，以一个示例说明这一过程：以计算字符 串s＝{你,们,好}的自然语序度量值p。

1、先对第一个求和项进行计算，根据每个汉字的编码，从text_list的第一 行查找hash(即列号)：h_c＝Hash(c),c∈s；

假设根据上式计算得的hash值分别为：196，135，1202。

2、从text_list的第二行

得到相应的总计数，分别记为n_2,196，n_2,135，n_2,1202。

3、从第一字符词频表

中，根据hash值取 得相邻二字在文本中出现的频次，分别记为r_135,196，r_1202,135，即“你们”和“们 好”的频次。

4、求得“你们好”的自然语序度量值p：

其中，h_i表示第i个汉字的hash值。

再根据同样的计算过程得到第二个求和项，两项相加得到最终的自然语序 度量值。本发明做到了充分的向量化，由排列组合等方式得到的候选序列，且 可以并行计算各排序的自然语序量度值p，并选择具有最大p值的组合作为候选 进行输出。

由上可见，本发明实施例提供的强噪声复杂背景图像中的汉字组词方法， 根据若干个包含汉字的背景图像，构建用于汉字定位的神经网络模型；获取待 处理的第一背景图像，并根据神经网络模型对第一背景图像进行汉字定位，获 得若干个汉字定位框；根据预设的深度学习模型，对若干个汉字定位框中的文 字进行汉字识别，获得待组词乱序文字；再利用训练文本结合预设的训练模型 构建出字符表，对于输入的乱序文字，遍历所有排序，并基于构建好的字符表， 计算每个排序对应的自然语序度量值，最后以自然语序度量值最高的排序作为 乱序文字的排序结果。相比于现有技术针对在强噪声复杂背景图像中的汉字组 词不准确，本发明能够提高在强噪声复杂背景图像中汉字定位、汉字识别和汉字组词的准确性，从而扩大汉字识别和组词的应用场景和范围。

实施例2

本实施例提供了步骤101和步骤102的具体实施过程，详细可参见图3，更 详细的步骤包括步骤301至步骤304，具体步骤如下：

步骤301：获取若干个包含汉字的背景图像，其中，每个汉字分别设置在其 对应预设的矩形边界框内。

在本实施例中，通过编写网络爬虫程序，自动抓取大量图像，这些图像均 为包含汉字的背景图，且均为强噪音复杂背景图像。本发明定义的强噪声复杂 背景图像：在复杂背景下的强噪声图像。复杂背景一般指自然背景照片、艺术 画作、风景等为单独背景或多种背景的叠加。强噪声图像指目标被白噪声、扭 曲变形、旋转等人为或自然的干扰后得到的图像。

对抓取的背景图像进行预处理，具体为：将图像中的汉字用矩形边界框框 起来，并连同图像保存为为Pascal VOC的标准格式，然后将该数据集转换为一 个TFRecord文件用于训练。

步骤302：以背景图像为输入，以矩形边界框和置信度为输出，构建神经网 络模型；其中，每个矩形边界框对应一个置信度，每个置信度对应一个汉字类 别。

在本实施例中，步骤302具体为：构建初始模型，并以背景图像为输入， 以矩形边界框和置信度为输出，对初始模型进行训练，调整并优化初始模型的 尺寸调整参数、边框调整参数、重合度筛选参数、置信度计算参数，并根据优 化后的参数，构建神经网络模型。

在本实施例中，构建的神经网络模型的网络架构为SSD，特征提取器为MobileNet。本发明构建的神经网络模型将一个汉字作为一个单独的类别，将背 景作为一个单独的类别(表示图像不属于任何已知类别)，num_classes表示所有 汉字类别的数量。对于一个图像输入，模型会输出多个边界框和置信度。每个 边界框对应有num_classes+1个置信度，一个置信度对应一个类别。

在本实施例中，尺寸调整参数用于供神经网络模型调整输入图像的尺寸。 由于本发明涉及的图像具有固定的尺寸，避免因图像的缩放影响定位效果。

在本实施例中，边框调整参数用于供神经网络模型调整默认边界框的尺度 和长宽比例。在本发明中，汉字的边界框的尺度和长宽比例一般在某个范围之 内，因此可根据样品的相关信息，调整该参数。

在本实施例中，重合度筛选参数用于供神经网络模型剔除高重合度的边界 框。置信度计算参数用于供神经网络模型计算每个边界框的置信度。

步骤303：获取第一背景图像，通过神经网络模型，调整第一背景图像的尺 寸，并根据神经网络模型内设置的边框调整参数和默认边界框，确定第一背景 图像的第一边界框集合；

在本实施例中，在构建并训练好神经网络模型后，获取待定位的第一背景 图像，输入到神经网络模型。神经网络模型会根据默认边界框和边框调整参数， 输出回归系数，然后利用回归系数对默认框的位置和尺寸进行微调，形成若干 个第一边界框，组成第一边界框集合。

步骤304：分别计算所述第一边界框集合内各边界框对应的置信度，并通过 神经网络模型，从第一边界框集合中筛选出N个边界框，以实现第一背景图像 的汉字定位；其中，第一背景图像包含N个汉字，N个汉字分别一一对应N个 边界框；N为正整数。

在本实施例中，根据置信度计算参数，分别计算第一边界框集合内各边界 框对应的置信度，并通过非极大化抑制方法(NMS)筛选出高质量的边界框。

在本实施例中，通过所述神经网络模型，从所述第一边界框集合中筛选出N 个边界框，具体为：根据第一边界框集合内各边界框对应的置信度，筛选出分 数最高的边界框box1，使用IoU方法剔除与边界框box1重合度高于所述重合度 筛选参数的边界框，再从剩余的边界框中选出分数最高的边界框box2，按照相 同的方法进行剔除，直到选出N个边界框。N为正整数。

在本实施例中，重合程度使用交并比(IoU)的概念来定义，即用两个边界 框的交集面积除以并集面积，根据计算结果来衡量两个边界框的重合程度。

在本实施例中，为了增加样本数量，神经网络模型还可以采用扩展后的图 像数据进行训练，以便于进一步优化神经网络模型的参数。扩展后的图像数据 为经过翻转操作的若干个背景图像和矩形边界框。翻转操作为随机水平翻转、 随机竖直翻转、随机旋转和/或随机裁剪。

在本实施例中，对训练样本中的背景图像和矩形边界框以一定概率执行翻 转操作，能提高训练数据的多样性，进而提高最终模型预测时的稳定性和准确 性。

由上可见，本发明实施例先根据采集数据样品，构建出神经网络模型，并 以此训练和优化该神经网络模型的参数；对待定位的第一背景图像，通过训练 好的神经网络模型对其进行尺寸调整，并筛选出相应的第一边界框集合和每个 边界框对应的置信度，在根据置信度筛选出每个汉字对应的边界框，实现汉字 定位。相比于现有技术通过传统的OCR技术对强噪声复杂背景图像的定位不准 确，本发明技术方案针对该类型的图像进采样并构建相应的神经网络模型，能 够提高在强噪声复杂背景图像中汉字定位的准确性。

实施例3

本实施例提供了步骤103的具体实施过程，详细可参见图4，更详细的步骤 包括步骤401至步骤404，具体步骤如下：

步骤401：对若干个原始图像进行汉字定位，获得多个汉字定位框。

在本实施例，采用实施例2中的汉字定位方法，对若干个原始图像进行汉 字定位，获得多个汉字定位框。其中，每个原始图像对应一个或多个汉字定位 框，其数量与原始图像内包含的汉字数量相同。

步骤402：根据多个汉字定位框，对原始图像进行预处理，获得多个图像数 据集；其中，每个图像数据集有且仅有一个汉字的多个汉字图像。

在本实施例中，步骤402具体为：

步骤4021：根据汉字定位框对所有原始图像进裁剪，获得第一图像数据集；

步骤4022：剔除第一图像数据集中的错误图像数据，获得第二图像数据集； 其中，错误图像数据为没有包含一个完整汉字的图像数据；

步骤4023：将每个汉字作为单独的汉字类别，并以此将所述第二图像数据 集中的图像数据进行分类，以使每个汉字类别对应一个图像数据集；

步骤4024：由所有汉字类别分别对应的图像数据集组成所述多个图像数据 集，并对每个汉字类别设置相应标签文件。

在本实施例中，错误图像数据为没有包含一个完整汉字的图像数据，其具 体为：不含汉字的图像、只包含汉字一部分的图像。

在本实施例中，步骤4023和4024具体可以为，将每个汉字作为单独的汉 字类别，并生成一个单独的文件夹，将同一汉字的图像数据存储到同一文件夹 中，并以该汉字命名该文件夹，则所有汉字对应的文件夹即为所述多个图像数 据集，汉字命名为相应的标签文件。

在本实施例中，在步骤4023之后还可以包括：对汉字类别对应的图像数据 的数量少于预设的阈值的第三图像数据集，采用ImageDataGenerator方法对图 像数据进行数据增强操作，以增加第三图像数据集中的图像数据的数量。对于 汉字类别中样本比较少的汉字，可采用ImageDataGenerator方法进行数据增强， 如旋转、分割、镜像、椒盐噪声等操作扩充数据集，同时可以调节旋转变换角 度、缩放比例、平移变换、尺度变换、对比度变换、滤波、噪声扰动等参数， 进一步提高样本的多样性，尽可能解决样本不均匀的问题。

步骤403：基于深度学习网络Inception V3，建立深度学习模型，并以多个 图像数据集，优化深度学习模型的训练轮数、学习率、学习衰减率和训练批次。

在本实施例中，模型是基于端对端的深度学习网络Inception V3，网络结构 如图5所示。该网络采用的全部都是3x3的卷积核和1x1的卷积核用来替代大型 的卷积核，以减少模型的参数，提高模型训练速度，并且采用BN和Dropout来 防止过拟合。

训练轮数epoch决定模型的训练轮数，轮数越长训练时间越长，通过模型 收敛程度来进行初始设置和优化。学习率learn_rate决定模型的收敛速度，过大 的学习率learn_rate会导致梯度爆炸或者模型参数出现震荡。学习率衰减系数 lrschedule决定了学习率衰减的快慢。训练批次batch_size决定了训练过程中每 次进行梯度下降时使用的训练数据大小，主要根据硬件(内存、现存等)的条 件来进行设置，发挥出硬件的最大性能。

在导入样本数据训练时，训练模型使用交叉熵来计算损失，并且通过训练 数据集大小除以训练批次来计算每一轮训练的次数，通过epoch轮完成训练， 对模型和模型的权重进行保存。本发明使用基于ImageNet数据集预训练的参数 初始化模型，以缩短训练时间。譬如千分类的汉字，十万数据集训练时长为20 小时左右。

在本实施例中，在训练结束后，还包括根据优化的参数生成权重文件。所 述权重文件用于深度学习模型的再训练，以缩短训练时间。

步骤404：在训练结束后，根据优化后的参数生成识别模型文件，以便于在 获取到待识别图像时，通过识别模型文件，对待识别图像进行汉字识别。

在获得识别模型文件后，对于一张背景图像，先以本发明实施例1的方法 对汉字定位，再将汉字定位框输入到识别模型中，识别出具体的汉字。

由上可见，提供的汉字识别方法，在本发明的汉字定位后，基于深度学习 网络，构建识别模型文件，并以此对待识别图像进行汉字识别，能够在在强噪 声复杂背景图像中汉字识别的准确性。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程， 是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算 机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。 其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory， ROM)或随机存储记忆体(RandomAccess Memory，RAM)等。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技 术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这 些改进和润饰也视为本发明的保护范围。

Claims (10)

1.一种强噪声复杂背景图像中的汉字组词方法，其特征在于，包括：

根据若干个包含汉字的背景图像，构建用于汉字定位的神经网络模型；其中，所述背景图像为强噪音复杂背景图像；

获取待处理的第一背景图像，并根据所述神经网络模型对所述第一背景图像进行汉字定位，获得若干个汉字定位框；

根据预设的深度学习模型，对所述若干个汉字定位框中的文字进行汉字识别，获得待组词乱序文字；

获取待组词乱序文字对应的待组词字符串，并根据字符串中的字符查找表查询所有待组词字符串对应的出现总次数，以此构建第一向量；

根据所述待组词字符串当前的字符排列顺序，分别查询第一字符词频表和第二字符词频表，并根据查询结果构建第一条件概率计数向量和第二条件概率计数向量；其中，所述第一字符词频表、第二字符词频表和字符查找表组成字符频表；所述字符表由预设的训练文本和训练模型而得到；

根据第一向量、第一条件概率计数向量和第二条件概率计数向量，分别计算得出所述待组词字符串对应的第一条件概率向量和第二条件概率向量；

分别对所述第一条件概率向量和第二条件概率向量中的各元素取对数，并将概率之积转化为对数概率之和，依次获得第一自然语序度量值和第二自然语序度量值；

根据所述第一自然语序度量值和第二自然语序度量值，获得所述待组词字符串当前的字符排列顺序对应的自然语序度量值，并遍历所述待组词字符串的所有字符排列顺序，按照相同的计算方法，依次获得若干个自然语序度量值，再选择自然语序度量值最大的字符排列顺序，将所述待组词字符串进行自动组词。

2.根据权利要求1所述的强噪声复杂背景图像中的汉字组词方法，其特征在于，所述第一字符词频表中的第i行第j列个元素表示哈希值为i的字符后相邻的哈希值为j的组合在所有训练文本中的出现频次；其中，i和j为正整数；

所述第二字符词频表中的第i行第j列个元素表示哈希值为i的字符后的第二个字符哈希值为j的组合在所有训练文本中的出现频次；

所述字符查找表中记录的常用字符对应的列号，分别为每个常用字符的哈希值。

3.根据权利要求1所述的强噪声复杂背景图像中的汉字组词方法，其特征在于，所述根据字符串中的字符查找表查询所有待组词字符串对应的出现总次数，以此构建第一向量，具体为：

将所述待组词字符串映射到对应的字符查找表对应的列上，得到每个字符的出现总次数，记为第一向量s_total。

4.根据权利要求3所述的强噪声复杂背景图像中的汉字组词方法，其特征在于，所述根据所述待组词字符串当前的字符排列顺序，分别查询所述第一字符词频表和所述第二字符词频表，并根据查询结果构建第一条件概率计数向量和第二条件概率计数向量，具体为：

根据所述待组词字符串当前的字符排列顺序，对于每一组相邻的元素(a,b)查找第一字符词频表中对应的元素R1_ab，并将所有查询得到的元素构建成第一条件概率计数向量w_n1；

根据所述待组词字符串当前的字符排列顺序，对于每一组相隔1个字符的元素(c,d)查找第二字符词频表中对应的元素R2_cd，并将所有查询得到的元素构建成第二条件概率计数向量w_n2。

5.根据权利要求4所述的强噪声复杂背景图像中的汉字组词方法，其特征在于，所述根据第一向量、第一条件概率计数向量和第二条件概率计数向量，分别计算得出所述待组词字符串对应的第一条件概率向量和第二条件概率向量，具体为：

将第一向量s_total的前n-1个元素向量除以第一条件概率计数向量w_n1，得到所述第一条件概率向量w1；其中，所述第一向量s_total包含n个元素；所述第一条件概率向量w1中的元素为所述待组词字符串中前一个字符出现后，后一个字符也出现的条件概率向量；

将第一向量s_total的前n-1个元素向量除以第二条件概率计数向量w_n2，得到所述第二条件概率向量w2；其中，所述第二条件概率向量w2中的元素为所述待组词字符串中前一个字符出现后，相隔1个字符后的字符也出现的条件概率向量。

6.根据权利要求1所述的强噪声复杂背景图像中的汉字组词方法，其特征在于，

所述根据若干个包含汉字的背景图像，构建用于汉字定位的神经网络模型，具体为：

获取若干个包含汉字的背景图像，其中，每个汉字分别设置在其对应预设的矩形边界框内；以所述背景图像为输入，以矩形边界框和置信度为输出，构建神经网络模型；其中，每个矩形边界框对应一个置信度，每个置信度对应一个汉字类别；

所述获取待处理的第一背景图像，并根据所述神经网络模型对所述第一背景图像进行汉字定位，具体为：

获取所述第一背景图像，通过所述神经网络模型，调整所述第一背景图像的尺寸，并根据所述神经网络模型内设置的边框调整参数和默认边界框，确定所述第一背景图像的第一边界框集合；

分别计算所述第一边界框集合内各边界框对应的置信度，并通过所述神经网络模型，从所述第一边界框集合中筛选出N个边界框，以实现所述第一背景图像的汉字定位；其中，所述第一背景图像包含N个汉字，所述N个汉字分别一一对应所述N个边界框；N为正整数。

7.根据权利要求6所述的强噪声复杂背景图像中的汉字组词方法，其特征在于，以所述背景图像为输入，以矩形边界框和置信度为输出，构建神经网络模型，具体为：

构建初始模型，并以所述背景图像为输入，以矩形边界框和置信度为输出，对所述初始模型进行训练，调整并优化所述初始模型的尺寸调整参数、边框调整参数、重合度筛选参数、置信度计算参数，并根据优化后的参数，构建所述神经网络模型；

其中，所述尺寸调整参数用于供所述神经网络模型调整输入图像的尺寸；

所述边框调整参数用于供所述神经网络模型调整默认边界框的尺度和长宽比例；

所述重合度筛选参数用于供所述神经网络模型剔除高重合度的边界框；

所述置信度计算参数用于供所述神经网络模型计算每个边界框的置信度。

8.根据权利要求7所述的强噪声复杂背景图像中的汉字组词方法，其特征在于，所述通过所述神经网络模型，从所述第一边界框集合中筛选出N个边界框，具体为：

根据所述第一边界框集合内各边界框对应的置信度，筛选出分数最高的边界框box1，使用IoU方法剔除与边界框box1重合度高于所述重合度筛选参数的边界框，再从剩余的边界框中选出分数最高的边界框box2，按照相同的方法进行剔除，直到选出N个边界框。

9.根据权利要求6所述的强噪声复杂背景图像中的汉字组词方法，其特征在于，所述根据预设的深度学习模型，对所述若干个汉字定位框中的文字进行汉字识别，获得待组词乱序文字，具体为：

对若干个原始图像进行汉字定位，获得多个汉字定位框，根据所述多个汉字定位框，对所述原始图像进行预处理，获得多个图像数据集；其中，每个图像数据集有且仅有一个汉字的多个汉字图像；

基于深度学习网络Inception V3，建立深度学习模型，并以所述多个图像数据集，优化所述深度学习模型的训练轮数、学习率、学习衰减率和训练批次；

在训练结束后，根据优化后的参数生成识别模型文件，以便于在获取到待识别图像时，通过所述识别模型文件，对所述若干个汉字定位框中的文字进行汉字识别，获得待组词乱序文字。

10.根据权利要求9所述的强噪声复杂背景图像中的汉字组词方法，其特征在于，所述根据所述多个汉字定位框，对所述原始图像进行预处理，获得多个图像数据集，具体为：

根据汉字定位框对所述原始图像进裁剪，获得第一图像数据集；

剔除所述第一图像数据集中的错误图像数据，获得第二图像数据集；其中，所述错误图像数据为没有包含一个完整汉字的图像数据；

将每个汉字作为单独的汉字类别，并以此将所述第二图像数据集中的图像数据进行分类，以使每个汉字类别对应一个图像数据集；

由所有汉字类别分别对应的图像数据集组成所述多个图像数据集，并对每个汉字类别设置相应标签文件。

Images