CN110706317A - 印刷手写混合的数学公式数据生成方法及装置 - Google Patents

Abstract

本发明实施例提供印刷手写混合的数学公式数据生成方法及装置，以生成印刷手写混合的数学公式。上述生成方法基于手写字符图像集，手写字符图像集包括多个子集，任一子集包括对应同一字符意义的多个不同形态的手写字符图像；不同子集对应不同的字符意义；生成方法包括：从多个预设题型中确定出至少一个题型(目标题型)；在背景图上按照目标题型生成印刷体数学公式；印刷体数学公式中的每一印刷体字符对应一个位置；从与目标印刷体字符的字符意义相同的子集中，选择出手写字符图像；目标印刷体字符为预设目标位置所对应的印刷体字符；使用选择出的手写字符图像粘贴在预设目标位置，得到印刷手写混合的数学公式。

Description

印刷手写混合的数学公式数据生成方法及装置

技术领域

本发明涉及网络技术领域，特别涉及印刷手写混合的数学公式数据生成方法及装置。

背景技术

随着互联网的普及，数学作业自动批改被越来越多的人所使用。例如：数学教师可批量拍照，使用作业自动批改服务对图像中的内容进行批改，一次完成对多份作业的批改，减轻教师基础性、重复性的批改动作；再例如，学生家长在检查数据作业时，可使用作业自动批改服务进行批改；再例如，学生完成作业后，可通过作业自动批改服务进行自查。

数学作业自动批改一般基于识别模型识别数学公式。模型在正式投入使用之前需要大量的数学公式样本进行模型训练。

在现实场景下，一个数学公式可能同时包含印刷体和手写体，如图1所示，印刷体通常为题目，而手写体通常为学生作答。如何生成包含印刷体和手写体的数学公式，以供后续的识别模型训练，是目前研究的热门。

发明内容

有鉴于此，本发明实施例提供印刷手写混合的数学公式数据生成方法及装置，以生成印刷手写混合的数学公式。

为实现上述目的，本发明实施例提供如下技术方案：

一种印刷手写混合的数学公式数据生成方法，基于手写字符图像集，所述手写字符图像集包括多个子集，任一子集包括对应同一字符意义的多个不同形态的手写字符图像；不同子集对应不同的字符意义；

所述生成方法包括：

从多个预设题型中确定出至少一个题型；确定出的题型为目标题型；

在背景图上按照所述目标题型生成印刷体数学公式；所述印刷体数学公式中的任一字符为印刷体字符；所述印刷体数学公式中的每一印刷体字符对应一个位置；

从与目标印刷体字符的字符意义相同的子集中，选择出手写字符图像；所述目标印刷体字符为预设目标位置所对应的印刷体字符；

使用选择出的手写字符图像粘贴在所述预设目标位置，得到印刷手写混合的数学公式。

可选的，在所述从多个预设题型中确定出至少一个题型之前，还包括：获取所述手写字符图像集。

可选的，所述获取所述手写字符图像集包括：获取图像集；所述图像集中的图像包含字符；从所述图像集的图像中截取出手写字符图像；根据截取出的手写字符图像的字符意义，将所述截取出的手写字符图像放入相应的子集中；以子集中的手写字符图像为原始图像进行数据增强处理，得到与所述原始图像的形态相差异的多个手写字符图像。

可选的，所述数据增强处理包括：旋转变换、颜色空间变换、平衡变换、尺度变换、高斯加噪中的至少一种。

可选的，选择出的手写字符图像为目标手写字符图像；所述使用选择出的手写字符图像粘贴在所述预设目标位置，得到印刷手写混合的数学公式包括：对所述目标手写字符图像进行预处理；将预处理后的目标手写字符图像粘贴在所述预设目标位置。

可选的，所述进行预处理包括：将所述目标手写字符图像与相应的二值化模板进行与或操作，得到第一目标手写字符图像；对所述第一目标手写字符图像进行最小外接矩形处理，以去除多余边缘，得到第二目标手写字符图像；根据所述目标印刷体字符的长和宽，对所述第二目标手写字符图像进行缩放，得到预处理后的目标手写字符图像。

可选的，任一题型定义了数学公式的格式；所述数学公式包括运算符和变量；所述按照所述目标题型生成印刷体数学公式包括：随机生成与所述变量对应的印刷体数字；从预设的多个印刷体运算符中随机选择出印刷体运算符；使用选择出的印刷体运算符和所述印刷体数字，在所述背景图中生成所述印刷体数学公式。

可选的，所述多个预设题型包括四则运算、运算符填写、约等于运算、有余数除法、分数计算、单位换算、带单位计算、百分数相关转化、一元一次方程中的至少两种。

一种印刷手写混合的数学公式数据生成装置，基于手写字符图像集，所述手写字符图像集包括多个子集，任一子集包括对应同一字符意义的多个不同形态的手写字符图像；不同子集对应不同的字符意义；

所述装置包括：

获取单元，用于：从多个预设题型中确定出至少一个题型；确定出的题型为目标题型；

生成单元，用于：

在背景图上按照所述目标题型生成印刷体数学公式；所述印刷体数学公式中的任一字符为印刷体字符；所述印刷体数学公式中的每一印刷体字符对应一个位置；

从与目标印刷体字符的字符意义相同的子集中，选择出手写字符图像；所述目标印刷体字符为预设目标位置所对应的印刷体字符；

使用选择出的手写字符图像粘贴在所述预设目标位置，得到印刷手写混合的数学公式。

一种印刷手写混合的数学公式数据生成装置，至少包括处理器和存储器；处理器通过执行存储器中存放的程序以及调用其他设备，执行上述任一项的方法。

可见，在本发明实施例中，将印刷体字符和手写字符图像融合，得到印刷手写混合的数学公式。

此外，手写字符图像来自手写字符图像集的某一子集，任一子集中的手写字符图像有不同的形态，这使得基于手写字符图像集生成的数学公式也具有多种形态，可为模型的训练提供多样性的数学公式样本。同时，题型有多种可选，进一步保证数学公式样本生成的多样性和完备性。

附图说明

图1为同时包含印刷体和手写体的数学公式的示意图；

图2为本发明实施例提供的获取手写字符图像集的示例性流程；

图3为本发明实施例提供的生成方法的一种示例性流程；

图4a为本发明实施例提供的背景图示意图；

图4b为本发明实施例提供的背景图另一示意图；

图5为本发明实施例提供的印刷体数学公式示意图；

图6为本发明实施例提供的将手写字符图像粘贴在预设目标位置的示意图；

图7为本发明实施例提供的预处理示例性流程；

图8a为本发明实施例提供的手写字符与图片边缘存在间隙的示意图；

图8b为本发明实施例提供的手写字符与图片边缘相切的示意图；

图9为本发明实施例提供的数学公式生成装置的结构示意图；

图10为本发明实施例提供的数学公式生成装置的另一结构示意图。

具体实施方式

数学作业自动批改一般基于识别模型来识别数学公式。识别模型在正式投入使用之前需要大量的数学公式样本进行模型训练。

在现实场景下，一个数学公式可能同时包含印刷体和手写体，如图1所示，印刷体通常为题目，而手写体通常为学生作答。

同行业已有印刷体数据自动生成的方式，但是手写数据的自动生成往往难以准确且多样性地生成。其中，准确是指字符图像能够准确地表达出含义，多样性是指同一种含义的字符具有多种多样的形态。

而印刷手写混合的数学公式生成同样也需要满足准确性和多样性，这就对数据生成技术方案提出了很大的考验。

本发明实施例提供了印刷手写混合的数学公式数据生成方法及装置，以生成印刷手写混合的数学公式。

上述生成装置具体可为基于Windows或Linux操作系统的计算机设备(服务器、电脑等)。

本发明实施例是基于人工标注计算机辅助验证后的手写字符图像集，来生成印刷手写混合的数学公式。

具体的，上述手写字符图像集包括多个子集，不同子集对应不同的字符意义。

在一个示例中，上述手写字符图像集可包括15个子集，其中10个子集对应的字符意义是0-9这10种数字，另外5个子集对应5种常用符号：大于、小于、等于、小数点、分数线。

当然，本领域技术人员可根据需要扩展子集的种类，例如可增加对应“约等于(≈)”，“小于等于(≤)”、“大于等于(≥)”、“不等于(≠)”、四则运算符号等字符意义的子集。

为了实现多样性，每一子集中包括对应同一字符意义的多个不同形态的手写字符图像。

举例来讲，对应“1”这一字符意义的子集中，包括多个不同形态的数字“1”的手写字符图像。

下面介绍如何获取手写字符图像集。

请参见图2，生成装置示例性得可执行如下步骤以获取手写字符图像集：

S21：获取人工标注计算机辅助验证后的图像集。

上述图像集中的图像包含字符。图像集可以存储在计算机硬盘中，也可以存储在云端服务器。

S22：从上述图像集的图像中截取出手写字符图像。

考虑下述两种情况：

情况一，图像集为带手写标注的手写数据集。

具体的，手写数据集包含(.jpg或.png形式的)图片和对应的(.txt形式的)标注文本，此外，标注文本中还标注了其为手写字符。

图片是由一个个像素点构成，生成装置(计算机设备)并不会直接知道其中的字符含义。而标注文本的内容包括：图片中字符的坐标和字符意义。这样，计算机设备可直接读懂相应图片中所包含手写字符的坐标和内容信息。

例如一幅包含手写数字9的图片，标注内容包括“9”，以及其在图片中的坐标。

对于已带标注的手写数据集，可依据标注中的坐标和内容信息将手写字符图像从原图中截取出来。

在一个示例中，截取的手写字符主要为0-9这10种数字，以及“大于，小于，等于，小数点，分数线”这5种常用符号。

情况二：图像集中手写和印刷体的字符未在标注中区分。

在此种情况下，可依据标注中的坐标将字符图像全部截取出来，然后输入针对印刷体和手写体的二分类器，筛选出所需要的手写字符。

在一个示例中，可以采用支持向量机实现二分类器，利用开源的印刷体和手写体数据来进行训练，训练好后的二类分类器即可用于区分手写和印刷体字符。

S23：根据截取出的手写字符图像的字符意义，将截取出的手写字符图像放入相应的子集中。

在一个示例中，提取出的手写字符依据内容归为15个文件夹(子集)，每一个文件夹包含内容相同的不同手写字符图像。例如，手写数字1归为一个文件夹，以此类推。

这样得出的手写字符图像集可包括15个子集，其中10个子集对应的字符意义是0-9这10种数字，另外5个子集对应5种常用符号：大于、小于、等于、小数点、分数线。

为了令每一子集中的手写字符图像具有多种多样的形态，在本发明其他实施例中，在步骤S23之后，还可执行下述步骤：

S24：以子集中的手写字符图像为原始图像进行数据增强处理，得到与原始图像的形态相差异的多个手写字符图像。

也即，运用数据增强技术对每个文件夹内的手写字符图像的数量进行扩充，同时提升每一种手写字符的数据多样性。

得到扩充后的足够数量的手写字符集可以用于后续的数学公式生成。

具体的，上述数据增强处理可包括：旋转变换、颜色空间变换、平衡变换、尺度变换、高斯加噪中的至少一种。下面分别予以介绍：

一，旋转变换：对原始图像在一定角度范围内多次旋转，得到一系列新的旋转后的图像。

为避免旋转角度太大影响字符本身的意思(例如“6”旋转太大可能变成“9”)，可以设定旋转角度范围为[-10°，10°]。

二，颜色空间变换：对原始图像的RGB(红绿蓝)像素值进行轻微抖动，得到一系列新的颜色空间变换后的图像。

为避免像素值增减太大会影响字符本身的意思，可以设定增减幅度范围为[-10，10]。

三，平移变换：对原始图像进行平移操作，这里不建议对单个字符使用此处理方式。

四，尺度变换：对原始图像进行尺度的缩放操作。

这里注意缩放尺度的大小限制，可依据背景图(后续介绍)的尺寸来决定尺度的缩放比例。在一个示例中，可设置在0.8-1.2倍之间缩放。

五，高斯加噪：在原始图像上(针对像素值)加符合高斯分布的随机数噪声，这样会得到一系列较原图更模糊的图像。

这里同样需要限制噪声的幅度以免图像变得太模糊而成为无效图，在一个示例中，可设置噪声幅度在5以内。

在获取手写字符图像集后，后续将生成印刷手写混合的数学公式。

下面介绍如何生成印刷手写混合的数学公式。

印刷手写混合的数学公式生成的核心是：基于对现有的图像集进行切分，得到单个字符集(子集)，加入数据增强技术扩充单个字符集，保证单个字符的多样性，然后将印刷体部分和手写体部分融合得到印刷手写混合的数学公式。整体的融合流程是按照数学公式的题型先在背景图上生成印刷体字符，接着在需要替换手写的地方粘贴上相应的手写字符图像。

图3示出了由上述生成装置所执行的印刷手写混合的数学公式生成方法的一种示例性流程，包括：

S1：从多个预设题型中确定出至少一个题型。

题型定义了数学公式的格式；数学公式包括运算符和变量；

多个预设题型包括四则运算、运算符填写、约等于运算、有余数除法、分数计算、单位换算、带单位计算、百分数相关转化、一元一次方程中的至少两种。每一预设题型都对应唯一的编号。

以四则运算为例，其格式为：a+b＝c，请注意的是，格式中的“+”指代四则运算符“+”、“-”、“×”、“÷”。

格式中的a、b、c代表变量，每一变量具体可为数字，也可为字母，也可为数字和字母(例如2m+5＝15，也属于四则运算)。

当然，也可将其扩展成更为复杂的四则混合运算。

可根据需求确定出多个题型，也可定向化专门生成某一类公式。

为便于称呼，可将确定出的题型称为目标题型。本文会续还会对题型进行介绍。

S2：在背景图上按照目标题型生成印刷体数学公式。

其中，请参见图4a和图4b，背景图以贴近作业纸张为宜。

在一个示例中，印刷体数字公式可以基于PIL[1]工具和字体文件生成。其步骤如下：

步骤a：安装及使用PIL(Python Imaging Library)工具；

步骤b：准备好字体文件；

示例性的，字体文件包括但不限于：

'simsun.ttc','STSONG.TTF','STFANGSO.TTF','simfang.ttf','simsunb.ttf','STKAITI.TTF','times.ttf'等。

步骤c：在文字生成函数中设定字体颜色，尺寸等参数；

步骤d：结合字体文件和目标题型，调用PIL中的文字生成函数生成印刷体字符(数字化的文字)。

字体文件可随机选择。

所谓数字化的文字指包含文字的图像。

印刷体字符主要包括数字以及数学运算符。

前述提及，题型定义了数学公式的格式，数学公式包括运算符和变量。

对于目标题型中的变量，可在设定的大小范围内随机生成每一变量对应的印刷体数字，例如在0～9中随机生成数字。同时可以设置数字的类型为整数、多位浮点数等。

对于目标题型中的运算符，可从预设的多个印刷体运算符中随机选择所需要生成的印刷体运算符；例如，可在加减乘除这4种运算符号中选择，或者在“大于，小于，等于”这3种符号中选择。

后续，可将生成的印刷体运算符和印刷体数字，放在在背景图中的相应位置，得到印刷体数学公式。

步骤e：设置印刷体字符的坐标(x,y)，即在背景图中的位置，将印刷体字符放在相应坐标上；

完成以上步骤即可生成需要的印刷体字符，组成印刷体数学公式，印刷体数学公式中的任一字符为印刷体字符。

S3：从与目标印刷体字符的字符意义相同的子集中，选择出手写字符图像。

其中，目标印刷体字符为预设目标位置所对应的印刷体字符。

假定生成的印刷体数学公式如图5所示，其包含8个印刷体字符，对应8个位置(A1-A8)，若A8为预设目标位置，则A8对应的印刷体字体“0”即为目标印刷体字符。

目标印刷体字符对应的字符意义为数字“0”，可从对应数字“0”的子集中选择出一个手写字符图像。

S4：使用选择出的手写字符图像粘贴在预设目标位置，得到印刷手写混合的数学公式。

沿用前例，请参见图6，使用对应数字“0”的手写字符图像粘贴在A8位置，可得到印刷手写混合的数学公式。

可将选择出的手写字符图像为目标手写字符图像，在一个示例中，要想使得目标手写字符图像与公式中的印刷体字符能够完美融合且看不出拼贴痕迹，在粘贴前，需要对目标手写字符图像做预处理，然后将预处理后的目标手写字符图像粘贴在预设目标位置。

本文后续将对如何进行预处理进行详细介绍。

可见，本发明实施例将印刷体字符和手写字符图像融合，得到印刷手写混合的数学公式。此外，手写字符图像来自手写字符图像集的某一子集，任一子集中的手写字符图像有不同的形态，这使得基于手写字符图像集生成的数学公式也具有多种形态，可为模型的训练提供多样性的数学公式样本。同时，题型有多种可选，进一步保证数学公式样本生成的多样性和完备性。

同时，在本发明实施例中，印刷体字符是基于Windows的字体文件生成，是准确的；手写体字符是基于人工标注计算机辅助验证后的图像库选取粘贴生成，其准确率接近百分之百，进而保证了印刷手写混合的数学公式的准确率。

下面介绍如何进行预处理。

请参见图7，其可至少包括如下步骤：

S71：将目标手写字符图像与相应的二值化模板进行与或操作，得到第一目标手写字符图像。

其中，二值化模板跟原图尺寸一致，但每个像素点的像素值由原图的0～255变为0或1。

可将目标手写字符图像输入OpenCV[3]，其将输出相应的二值化模板。

将目标手写字符图像与相应的二值化模板进行与或操作，目的是将目标手写字符图像中的背景色变为白色，并且保留字体部分的原色。

背景色本质上是0～255中接近255的像素值分布，通过与相应的二值化模板进行与或操作，可以将这一部分像素值调整为255，表现在图像上即为白色。

S72：对第一目标手写字符图像进行最小外接矩形处理，以去除多余边缘，得到第二目标手写字符图像。

请参见图8a，一般情况下手写字符图像中的手写字符(0)并不会跟图片边缘(以虚线表示边缘)相切，而是存在间隙。

为了后续能够有更好的粘贴效果，可对第一目标手写字符图像进行最小外接矩形处理，得到的第二目标手写字符图像如图8b所示，在图8b中，手写字符(0)跟图片边缘(以虚线表示边缘)相切。

由于在上一步骤中将背景色处理为白色，所以本步骤可去除多余的白色边缘。更具体的，可基于OpenCV用最最小外矩阵去掉白色边缘。

S73：根据目标印刷体字符的长和宽，对第二目标手写字符图像进行缩放，得到预处理后的目标手写字符图像。

本步骤也是为了实现更好的粘贴效果，可令第二目标手写字符图像的高度与目标印刷体字符高度相同，再根据第二目标手写字符图像原来的宽高比，进行等比例缩放。

举例来讲，假定第二目标手写字符图像宽为10毫米，高为20毫米，其宽高比为1：2。目标印刷体字符高度为10毫米，则可将第二目标手写字符图像的高度调整为10毫米，宽度调整为5毫米，其宽高比仍为1：2。

下面以整数四则运算规则为例，介绍如何生成印刷手写混合的数学公式：

整数四则运算规则格式为a+b＝c(前述已进行了记载，在此不作赘述)。

在生成印刷体数学公式可进行如下操作：

a、b、c可取任意整数，运算符可以从加减乘除中随机选取。

当然，如果a、b已经进行了取值，运算符也选定后，那么c的取值是可以计算出来的。

举例来讲，a取7，b取8，运算符选取了加号，则c取值是15。

其中，“7”、“8”、“15”、“+”和“＝”可根据前述步骤a-e在背景图上生成。

令15所对应的位置为预设目标位置(其中，“1”占用一个位置，“5”占用一个位置)，则可从手写数据集中依次选图粘贴到预设目标位置。

具体的，可从对应数字“1”的子集中随机选取一张手写字符图像粘贴在等号后适当位置。

粘贴时，手写字符图像的坐标和尺寸作为参数可以设定。比如可设定其纵向坐标跟前面的印刷体字符持平，其横向坐标的起始坐标等于等号右端坐标加5，令手写字符图像的高度与前面的印刷体字符相同，其宽度按照手写字符图像原来的宽高比，进行等比例缩放。

粘贴完“1”所对应的手写字符图像(可称为第一手写字符)后，可按照类似的方式在第一后写字符的后面粘贴“5”所对应的手写字符图像(可称为第二印刷体字符)，以此类推，最终得到印刷手写混合的数学公式。

依据上述生成方法可得到单个数学公式，如需要在背景图上生成多行多列数学公式，则可采用随机重复模式重复此方法进行数学公式的扩充。

随机重复模式指：既重复同样方法的生成数学公式，又要加入各种随机参数以保证公式的多样性，最后可以依次批量生成大量的印刷手写混合的数学公式。

仍以整数四则运算为例，对于a+b＝c这种格式，可从“0-9”中随机选取a和b的取值，从加减乘除这四种运算符中随机选择，其字体文件、字体颜色、尺寸均可随机选择。

当然，随机的基础上还要注意排版：例如，同一列的公式保持最左边纵向对齐，彼此中间保持同样的纵向间隔(例如10cm)，且纵向最下面一条公式不能超出背景图；横向上，最右端的公式不能超出背景图；当有多列(假定N列)时，在第n-1列最宽的一条公式最右端坐标的基础上右移10cm处的横向坐标，作为第n列公式所有公式的横向最左端坐标(n大于等于1，小于等于N)。

需要说明的是，当在一张背景图上完成数学公式排布后，得到的数学公式文件包括(.jpg形式的)图片样本(也即排布了数学公式的背景图)，及其所对应的(.txt形式的)标注文本，其内容包含数学公式中各字符对应的字符意义以及相应的坐标。

在本发明其他实施例中，也可在标注文本中注明每一字符为手写还是印刷体。

下面介绍题型及对应的生成规则：

一，四则运算：用于加减乘除混合运算求结果。

1.1，纯整数四则运算

格式：a+b＝c；

请参见前述记载，在此不作赘述。

1.2，纯小数四则运算

格式：a+b＝c；

在生成印刷体数学公式(简称印刷体公式)时，a、b可为随机选取的任意小数，“+”表征的是四则运算符号，可以从加减乘除中随机选取，c的取值可计算得到。

在生成印刷手写混合的数学公式(简称混合公式)时，可将“a、b、c、+、＝”中的任意一个或多个所对应的印刷体字符替换成手写字符图像。

一般情况下，可选择c所对应的印刷体字符进行手写字符图像替换。

1.3，整数、小数混合四则运算

格式：a+b＝c；

在生成印刷体公式时，a、b可为随机选取的任意整数或小数，“+”表征的是四则运算符号，可以从加减乘除中随机选取，c的取值可计算得到。

在生成混合公式时，可将“a、b、c、+、＝”中的任意一个或多个所对应的印刷体字符替换成手写字符图像。

一般情况下，可选择c所对应的印刷体字符进行手写字符图像替换。

二，运算符填写

2.1，整数比大小

格式：a(>)b；

在生成印刷体公式时，a、b可为随机选取的任意整数，括号内的运算符号(大于、小于、等于)可依据整数a和b的值选取。

在生成混合公式时，可将“a、b、运算符”中的任意一个或多个所对应的印刷体字符替换成手写字符图像。

一般情况下，可选择括号内的运算符进行手写字符图像替换。

2.2，小数比大小

格式：a(>)b；

在生成印刷体公式时，a、b可为随机选取的任意小数，括号内的运算符号(大于、小于、等于)可依据a和b的值选取。

在生成混合公式时，可将“a、b、运算符”中的任意一个或多个所对应的印刷体字符替换成手写字符图像。

一般情况下，可选择括号内的运算符进行手写字符图像替换。

2.3，分数比大小

格式：a(>)b；

在生成印刷体公式时，a、b可为随机选取的任意分数，括号内的运算符号(大于、小于、等于)可依据a和b的值选取。

在生成混合公式时，可将“a、b、运算符”中的任意一个或多个所对应的印刷体字符替换成手写字符图像。

一般情况下，可选择括号内的运算符进行手写字符图像替换。

2.4，带单位比大小

格式：a米(>)b厘米；

在生成印刷体公式时，a、b可为随机选取的任意整数或小数，括号两边的单位从同一单位种类中随机选取，例如，括号两边都取长度单位，括号内的比较符号(大于、小于、等于)可依据a和b的值以及各自的单位选取；

在生成混合公式时，可将“a、b、运算符”中的任意一个或多个所对应的印刷体字符替换成手写字符图像。

一般情况下，可选择括号内的运算符进行手写字符图像替换。

具体单位种类见下表1。

表1

三，约等于

格式：a≈b；

在生成印刷体公式时，a、b中的任意一个可随机取小数，另一个可随机取整数。

在生成混合公式时，可将“a、b”中的任意一个所对应的印刷体字符替换成手写字符图像。

四，有余数除法

格式：a÷b＝c…d；

a、b、c、d可取任意整数，运算符为除号。

在生成印刷体公式时，a、b可随机取任意整数(注意b不能取0)，c和d的取值可计算得到。

在生成混合公式时，可将“a、b、c、d”中的任意一个或多个所对应的印刷体字符替换成手写字符图像，其中，多对“c、d”进行替换。

五，分数

5.1，纯分数运算

格式：a+b＝c；

在生成印刷体数学公式(简称印刷体公式)时，a、b可为随机选取的任意分数，“+”表征的是四则运算符号，可以从加减乘除中随机选取，c的取值可计算得到。

在生成混合公式时，可将“a、b、c”中的任意一个所对应的印刷体字符替换成手写字符图像。

5.2，分数和整数运算

格式：a+b＝c；

在生成印刷体公式时，‘a、b中的其中一个可随机取任意整数，另一个可随机取任意分数，“+”表征的是四则运算符号，可以从加减乘除中随机选取，c的取值可计算得到。

在生成混合公式时，可将“a、b、c”中的任意一个或多个所对应的印刷体字符替换成手写字符图像，一般替换“c”所对应的印刷体字符。

5.3，分数和小数运算

格式：a+b＝c；

其中a、b其中一个为小数，另一个为分数，c为小数或分数。

在生成印刷体公式时，a、b中的其中一个可随机取任意分数，另一个可随机取任意小数，“+”表征的是四则运算符号，可以从加减乘除中随机选取，c的取值可计算得到。

在生成混合公式时，可将“a、b、c”中的任意一个或多个所对应的印刷体字符替换成手写字符图像，一般替换“c”所对应的印刷体字符。

5.4，分数整数小数混合运算

格式：a+b＝c；

a和b其中一个为整数，另一个为分数，c为小数。

在生成印刷体公式时，a、b中的其中一个可随机取任意分数，另一个可随机取任意整数，“+”表征的是四则运算符号，可以从加减乘除中随机选取，c的取值可计算得到，并且是小数的形式。

在生成混合公式时，可将“a、b、c”中的任意一个或多个所对应的印刷体字符替换成手写字符图像，一般替换“c”所对应的印刷体字符。

六，单位换算

6.1，带汉字单位换算

格式：a米＝b厘米；

在生成印刷体公式时，a可随机取整数、小数、分数，b的取值可根据等号两边的单位和a的取值计算得到，反之亦可。

在生成混合公式时，可将“a、b”中的任意一个所对应的印刷体字符替换成手写字符图像。

具体单位种类可参见上表1。

6.2，带字母单位换算

格式：a m＝b cm

在生成印刷体公式时，a可为随机选取的任意整数、小数或分数，括号两边的单位从同一单位种类中随机选取，例如，括号两边都取长度单位，b的取值可根据等号两边的单位和a的取值计算得到，反之亦可；

在生成混合公式时，可将“a、b”中的任意一个所对应的印刷体字符替换成手写字符图像。

具体单位种类可参见上表1。

七，带单位计算

7.1，带汉字单位计算

格式：a米±b厘米＝c厘米；

其中a、b、c为任意整数。

在生成印刷体公式时，a和b可为随机选取的任意整数，运算符从“加号、减号”中随机选取，c的取值可根据a和b的取值和单位，以及自身的单位计算得到；

在生成混合公式时，可将“a、b、c”中的任意一个或多个所对应的印刷体字符替换成手写字符图像，一般替换“c”所对应的印刷体字符。

具体单位种类可参见上表1。

7.2，带字母单位计算

格式：a m±b cm＝c cm

其中a、b、c为任意整数。

在生成印刷体公式时，a和b可为随机选取的任意整数，运算符从“加号、减号”中随机选取，c的取值可根据a和b的取值和单位，以及自身的单位计算得到；

在生成混合公式时，可将“a、b、c”中的任意一个或多个所对应的印刷体字符替换成手写字符图像，一般替换“c”所对应的印刷体字符。

具体单位种类可参见上表1。

八，百分数相关转化

格式：a％>b；

其中a、b为任意整数或小数。

在生成印刷体公式时，a和b可为随机选取的任意整数或小数，二者中间的比较符(大于、小于、等于)可依据a和b的值以及百分号选取。

在生成混合公式时，可将“a、b、比较符”中的任意一个所对应的印刷体字符替换成手写字符图像。

九，比和比例

格式：a:b＝c:d

其中a、b、c、d为任意整数、分数或小数，b取值不可为零。

在生成印刷体公式时，a、b、c、d中任选其三，取值为任意整数、分数或小数(b取值不为零)，剩下的一个依据其他三个数值计算得到。

在生成混合公式时，可将“a、b、c、d”中的任意一个或多个所对应的印刷体字符替换成手写字符图像。

十，一元一次方程

格式：a·x+b＝c；

其中，a、b、c为任意整数或小数，未知数x的位置也可以出现在a,b,c任意一个后面，运算符可从加号和减号中随机选取。

在生成混合公式时，可将“a、b、c”中的任意一个或多个所对应的印刷体字符替换成手写字符图像。

图9示出了上述数学公式生成装置的一种示例性结构，包括：

获取单元901，用于：从多个预设题型中确定出至少一个题型；确定出的题型为目标题型；

生成单元902，用于：

在背景图上按照所述目标题型生成印刷体数学公式；所述印刷体数学公式中的任一字符为印刷体字符；所述印刷体数学公式中的每一印刷体字符对应一个位置；

可选的，所述多个预设题型包括四则运算、运算符填写、约等于运算、有余数除法、分数计算、单位换算、带单位计算、百分数相关转化、一元一次方程中的至少两种。

从与目标印刷体字符的字符意义相同的子集中，选择出手写字符图像；所述目标印刷体字符为预设目标位置所对应的印刷体字符；

使用选择出的手写字符图像粘贴在所述预设目标位置，得到印刷手写混合的数学公式。

上述生成装置生成数据同样基于手写字符图像集，其中，所述手写字符图像集包括多个子集，任一子集包括对应同一字符意义的多个不同形态的手写字符图像；不同子集对应不同的字符意义。

详细介绍请参见本文前述记载，在此不作赘述。

在本发明其他实施例中，在所述从多个预设题型中确定出至少一个题型之前，上述获取单元901还可用于：获取所述手写字符图像集。

在本发明其他实施例中，在所述获取所述手写字符图像集的方面，上述获取单元901具体用于：

获取图像集；所述图像集中的图像包含字符；

从所述图像集的图像中截取出手写字符图像；根据截取出的手写字符图像的字符意义，

将所述截取出的手写字符图像放入相应的子集中；

以子集中的手写字符图像为原始图像进行数据增强处理，得到与所述原始图像的形态相差异的多个手写字符图像。

详细介绍请参见本文前述记载，在此不作赘述。

具体的，所述数据增强处理包括：旋转变换、颜色空间变换、平衡变换、尺度变换、高斯加噪中的至少一种。详细介绍请参见本文前述记载，在此不作赘述。

选择出的手写字符图像为目标手写字符图像。

在本发明其他实施例中，在所述使用选择出的手写字符图像粘贴在所述预设目标位置，得到印刷手写混合的数学公式的方面，上述生成单元902具体用于：

对所述目标手写字符图像进行预处理；

将预处理后的目标手写字符图像粘贴在所述预设目标位置。

在本发明其他实施例中，在进行预处理方面，上述生成单元902具体用于：

将所述目标手写字符图像与相应的二值化模板进行与或操作，得到第一目标手写字符图像；

对所述第一目标手写字符图像进行最小外接矩形处理，以去除多余边缘，得到第二目标手写字符图像；

根据所述目标印刷体字符的长和宽，对所述第二目标手写字符图像进行缩放，得到预处理后的目标手写字符图像。

可选的，任一题型定义了数学公式的格式；所述数学公式包括运算符和变量。

在本发明其他实施例中，在所述按照所述目标题型生成印刷体数学公式的方面，上述生成单元902具体用于：

随机生成与所述变量对应的印刷体数字；

从预设的多个印刷体运算符中随机选择出印刷体运算符；

使用选择出的印刷体运算符和所述印刷体数字，在所述背景图中生成所述印刷体数学公式。

图10示出了上述实施例中数学公式生成装置的一种可能的硬件结构示意图，包括：总线、处理器1、存储器2、通信接口3、输入设备4和输出设备5。处理器1、存储器2、通信接口3、输入设备4和输出设备5通过总线相互连接。其中：

总线可包括一通路，在计算机系统各个部件之间传送信息。

处理器1可以是通用处理器，例如通用中央处理器(CPU)、网络处理器(NetworkProcessor，简称NP)、微处理器等，也可以是特定应用集成电路(application-specificintegrated circuit，ASIC)，或一个或多个用于控制本发明方案程序执行的集成电路。还可以是数字信号处理器(DSP)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

存储器2中保存有执行本发明技术方案的程序或脚本，还可以保存有操作系统和其他关键业务。具体地，程序可以包括程序代码，程序代码包括计算机操作指令。脚本则通常以文本(如ASCII)保存，只在被调用时进行解释或编译。

输入设备4可包括接收用户输入的数据和信息的装置，例如键盘、鼠标、摄像头、语音输入装置、触摸屏等。

输出设备5可包括允许输出信息给用户的装置，例如显示屏、扬声器等。

通信接口3可包括使用任何收发器一类的装置，以便与其他设备或通信网络通信，如以太网，无线接入网(RAN)，无线局域网(WLAN)等。

处理器1通过执行存储器2中所存放的程序以及调用其他设备，可实现上述实施例提供的数学公式生成方法。

此外，图9所示的数学公式生成装置各单元的功能，可由前述的处理器1执行存储器2中所存放的程序以及调用其他设备实现。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及模型步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或模型的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、WD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种印刷手写混合的数学公式数据生成方法，其特征在于，基于手写字符图像集，所述手写字符图像集包括多个子集，任一子集包括对应同一字符意义的多个不同形态的手写字符图像；不同子集对应不同的字符意义；

所述生成方法包括：

从多个预设题型中确定出至少一个题型；确定出的题型为目标题型；

在背景图上按照所述目标题型生成印刷体数学公式；所述印刷体数学公式中的任一字符为印刷体字符；所述印刷体数学公式中的每一印刷体字符对应一个位置；

从与目标印刷体字符的字符意义相同的子集中，选择出手写字符图像；所述目标印刷体字符为预设目标位置所对应的印刷体字符；

使用选择出的手写字符图像粘贴在所述预设目标位置，得到印刷手写混合的数学公式。

2.如权利要求1所述的生成方法，其特征在于，在所述从多个预设题型中确定出至少一个题型之前，还包括：

获取所述手写字符图像集。

3.如权利要求2所述的生成方法，其特征在于，所述获取所述手写字符图像集包括：

获取图像集；所述图像集中的图像包含字符；

从所述图像集的图像中截取出手写字符图像；

根据截取出的手写字符图像的字符意义，将所述截取出的手写字符图像放入相应的子集中；

以子集中的手写字符图像为原始图像进行数据增强处理，得到与所述原始图像的形态相差异的多个手写字符图像。

4.如权利要求3所述的生成方法，其特征在于，所述数据增强处理包括：旋转变换、颜色空间变换、平衡变换、尺度变换、高斯加噪中的至少一种。

5.如权利要求1所述的生成方法，其特征在于，

选择出的手写字符图像为目标手写字符图像；

所述使用选择出的手写字符图像粘贴在所述预设目标位置，得到印刷手写混合的数学公式包括：

对所述目标手写字符图像进行预处理；

将预处理后的目标手写字符图像粘贴在所述预设目标位置。

6.如权利要求5所述的生成方法，其特征在于，所述进行预处理包括：

将所述目标手写字符图像与相应的二值化模板进行与或操作，得到第一目标手写字符图像；

对所述第一目标手写字符图像进行最小外接矩形处理，以去除多余边缘，得到第二目标手写字符图像；

根据所述目标印刷体字符的长和宽，对所述第二目标手写字符图像进行缩放，得到预处理后的目标手写字符图像。

7.如权利要求1所述的生成方法，其特征在于，

任一题型定义了数学公式的格式；所述数学公式包括运算符和变量；

所述按照所述目标题型生成印刷体数学公式包括：

随机生成与所述变量对应的印刷体数字；

从预设的多个印刷体运算符中随机选择出印刷体运算符；

使用选择出的印刷体运算符和所述印刷体数字，在所述背景图中生成所述印刷体数学公式。

8.如权利要求1所述的生成方法，其特征在于，所述多个预设题型包括四则运算、运算符填写、约等于运算、有余数除法、分数计算、单位换算、带单位计算、百分数相关转化、一元一次方程中的至少两种。

9.一种印刷手写混合的数学公式数据生成装置，其特征在于，基于手写字符图像集，所述手写字符图像集包括多个子集，任一子集包括对应同一字符意义的多个不同形态的手写字符图像；不同子集对应不同的字符意义；

所述装置包括：

获取单元，用于：从多个预设题型中确定出至少一个题型；确定出的题型为目标题型；

生成单元，用于：

在背景图上按照所述目标题型生成印刷体数学公式；所述印刷体数学公式中的任一字符为印刷体字符；所述印刷体数学公式中的每一印刷体字符对应一个位置；

从与目标印刷体字符的字符意义相同的子集中，选择出手写字符图像；所述目标印刷体字符为预设目标位置所对应的印刷体字符；

使用选择出的手写字符图像粘贴在所述预设目标位置，得到印刷手写混合的数学公式。

10.一种印刷手写混合的数学公式数据生成装置，其特征在于，至少包括处理器和存储器；处理器通过执行存储器中存放的程序以及调用其他设备，执行如权利要求1-8任一项的方法。

Images