CN112597987A - 纸质数据数字化方法及装置、电子设备、存储介质 - Google Patents

Abstract

本申请公开了纸质数据数字化方法及装置、电子设备、存储介质，涉及图像处理领域、云计算领域，尤其涉及图像识别技术。本申请提供的方案，能够识别出待处理图像中包括的图形笔迹信息，并且能够将这一笔迹信息与待处理图像的参考坐标系结合，得到数字化数据，从而在纸质数据中包括图形数据时，也能够将纸质数据转换为数字化数据。

Description

纸质数据数字化方法及装置、电子设备、存储介质

技术领域

本申请涉及图像处理领域、云计算领域，具体涉及图像识别技术，尤 其涉及一种纸质数据数字化方法及装置、电子设备、存储介质。

背景技术

随着计算机技术的飞速发展，各行各业在日常工作中都会积累大量的 观测数据，比如气象观测行业每天都会记录大量的空气湿度、温度、大气 压等气象数据。

这些数据可以直接记录在计算机存储系统中，更易保存和分析，但是， 在计算机技术欠发达的过去，各大行业积累了大量的纸质数据，还有一些 行业在生产环境中不易使用电子设备，同样会积累大量非数字化数据，这 类数据存储媒介不易存储、容易丢失损坏，且读取成本较高，不易对比计 算分析。

现有技术中数据数字化通常是通过文字识别的方法来进行数字化，但 是，很多纸质数据中不仅包括文字内容，还包括图形内容，但是，现有技 术中的方案只能够识别出文字内容，无法识别纸质数据中的图形内容。

发明内容

本申请提供了一种纸质数据数字化方法及装置、电子设备、存储介质。

根据本申请的第一方面，提供了一种纸质数据数字化方法，包括：

根据待处理图像、所述待处理图像对应的标注信息确定标准模板；所 述待处理图像是对纸质数据拍摄得到的；所述标准模板用于表示所述待处 理图像的参考坐标系；

识别所述待处理图像中包括的图形笔迹信息；

根据所述图形笔迹信息、所述标准模板生成与所述待处理图像对应的 数字化数据。

根据本申请的第二方面，提供了一种纸质数据数字化装置，包括：

模板确定单元，用于根据待处理图像、所述待处理图像对应的标注信息 确定标准模板；所述待处理图像是对纸质数据拍摄得到的；所述标准模板用 于表示所述待处理图像的参考坐标系；

识别单元，用于识别所述待处理图像中包括的图形笔迹信息；

生成单元，用于根据所述图形笔迹信息、所述标准模板生成与所述待处 理图像对应的数字化数据。

根据本申请的第三方面，提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所 述至少一个处理器执行，以使所述至少一个处理器能够执行如第一方面所述 的纸质数据数字化方法。

根据本申请的第四方面，提供了一种存储有计算机指令的非瞬时计算机 可读存储介质，所述计算机指令用于使所述计算机执行如第一方面所述的纸 质数据数字化方法。

本申请提供的纸质数据数字化方法及装置、电子设备、存储介质，能够 识别出待处理图像中包括的图形笔迹信息，并且能够将这一笔迹信息与待处 理图像的参考坐标系结合，得到数字化数据，从而在纸质数据中包括图形数 据时，也能够将纸质数据转换为数字化数据。

应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键 或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下 的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本申请的限定。其中：

图1A为一示例性实施例示出的纸质数据示意图；

图1B为另一示例性实施例示出的纸质数据示意图；

图2为一示例性实施例示出的纸质数据转换为数字化数据的示意图；

图3为本申请一示例性示出的纸质数据数字化方法的流程图；

图4A为本申请一示例性示出的待处理图像示意图；

图4B为本申请一示例性示出的待处理图像的标注信息示意图；

图4C为本申请另一示例性示出的待处理图像的标注信息示意图；

图4D为本申请一示例性示出的标准模板示意图；

图4E为本申请一示例性示出的在待处理图像中识别图形笔迹信息的 示意图；

图5为本申请另一示例性实施例示出的纸质数据数字化方法的流程图；

图6A为本申请一示例性示出的在待处理图像中标注定位点的示意图；

图6B为本申请一示例性示出的在待处理图像中识别图形笔迹的示意 图；

图6C为本申请一示例性示出的单像素宽度的笔迹示意图；

图7为本申请一示例性实施例示出的纸质数据数字化装置的结构图；

图8为本申请另一示例性实施例示出的纸质数据数字化装置的结构图；

图9是本申请一示例性实施例示出的电子设备的框图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实 施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本 领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和 修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的 描述中省略了对公知功能和结构的描述。

在很多应用场景中都需要记录观测数据，近些年来可以通过计算机系 统存储这些观测数据。比如可以在计算机系统中搭建数据库，用户可以在 数据库中添加需要记录的数据。

但是，在计算机技术欠发达的过去，或者不便于使用电子设备的情况 下，只能将数据记录在纸上。因此，各大行业积累了大量的纸质数据。

图1A为一示例性实施例示出的纸质数据示意图；图1B为另一示例性 实施例示出的纸质数据示意图。

如图1A所示，在一些情况下，用户需要采集数据并对其进行记录， 由于一些原因只能将数据记录在纸上进行保存。由于纸质数据不易保存， 极易损坏或丢失，因此这种记录方式容易造成不可挽回的损失。

因此，需要将纸质数据转存为电子数据。

图2为一示例性实施例示出的纸质数据转换为数字化数据的示意图。

如图2所示，可以识别纸质数据21中包括的内容，得到数字化数据 22。

但是，一些纸质数据中不仅包括文字内容，还包括图形内容，如图1B 所示出的纸质数据中还包括图形内容，而如何将其中的图形内容准确的识 别出来从而形成数字化数据，是本领域技术人员亟需解决的技术问题。

本申请提供的方案应用于图像处理领域中的图像识别技术，以解决现 有技术中无法将纸质数据中的图形内容识别为数字化数据的问题。

图3为本申请一示例性示出的纸质数据数字化方法的流程图。

如图3所示，本申请提供的纸质数据数字化方法，包括：

步骤301，根据待处理图像、待处理图像对应的标注信息确定标准模 板；待处理图像是对纸质数据拍摄得到的；标准模板用于表示待处理图像 的参考坐标系。

其中，本申请提供的纸质数据数字化方法可以由具备计算能力的电子 设备来执行。该电子设备具体可以是计算机、平板电脑、智能手机等设备。

具体的，可以将本申请提供的方法封装在软件中，将其安装在电子设 备中，电子设备在运行该软件时，能够执行本实施例提供的方法。

进一步的，需要将纸质数据转化为数字化数据时，可以对纸质数据进 行拍摄得到待处理图像。在实际应用时，可以拍摄多张纸质数据的图像， 在其中挑选一张较为清晰的图像作为待处理图像。

实际应用时，待处理图像还可以具有标注信息。

该标注信息可以是用户对待处理图像进行标注得到的，比如，用户可 以在待处理图像中标注定位信息，用于标注待处理图像中记载数据的范围。 还可以由电子设备对待处理图像进行识别得到定位信息的。

图4A为本申请一示例性示出的待处理图像示意图。

如图4A所示，在对纸质数据进行拍摄时，可能会拍摄到纸质数据以 外的背景图像，因此，可以通过标注的方式在图像中限定出纸质数据的区 域。在一些情况中，在纸质图像中还有可能包括空白部分，也可以通过标 注的方式限定出包括数据内容的区域。

图4B为本申请一示例性示出的待处理图像的标注信息示意图。

如图4B所示，用户可以在待处理图像中进行标注得到标记框41，电 子设备基于该标记框41能够确定需要识别的内容所在的区域。具体可以 通过电子设备读取待处理图像，从而使电子设备的显示器显示该待处理图 像，用户可以基于显示的待处理图像进行标注操作。

其中，标注信息还可以包括坐标系信息，比如，用户可以在待处理图 像中标注坐标系的位置、刻度等信息。例如，用户可以在待处理图像中标 注横坐标1所在的位置，纵坐标1所在的位置。该坐标系信息也可以由计 算机识别得到，例如，可以通过识别待处理图像中的文字内容确定坐标系 信息。

图4C为本申请另一示例性示出的待处理图像的标注信息示意图。

如图4C所示，用户可以在待处理图像中标记如点42所示出的坐标点 信息。

其中，电子设备可以根据待处理图像及其标注信息，确定标准模板。 具体可以根据定位信息确定出需要识别的目标区域，还可以根据坐标系信 息生成一坐标系。电子设备可以根据该目标区域、生成的坐标系生成一标 准模板。该标准模板的尺寸与目标区域一致，标准模板用于表示待处理图 像的参考坐标系。

具体的，电子设备还可以根据待处理图像及其对应的坐标系信息生成 待处理图像对应的标准模板。具体可以根据坐标系信息生成坐标系，再根 据该坐标系生成标准模板。

图4D为本申请一示例性示出的标准模板示意图。

如图4D所示，左边为待处理图像及其标注信息，右边为确定的标准 模板。

步骤302，识别待处理图像中包括的图形笔迹信息。

其中，步骤302与步骤301的执行时序不做限制。

图形笔迹信息是指纸质数据中包括的图形笔迹，例如，在纸质数据中 的曲线、柱状图等。在一些场景中，用户采集完数据后会将其标注在坐标 系中，并通过图形表示这些数据。

具体的，电子设备可以识别待处理图像中包括的这些图形笔迹。进一 步的，若标注信息中包括定位信息，则电子设备还可以在定位信息限定的 区域内识别该图形笔迹信息。

图4E为本申请一示例性示出的在待处理图像中识别图形笔迹信息的 示意图。

如图4E所示，电子设备能够识别出待处理图像中的图形笔迹43。

进一步的，可以预先训练一用于识别图形笔迹的识别模型。比如可以 搭建一神经网络模型，再准备一些用于训练的图像数据，可以标注这些图 像数据中包括的图形笔迹，利用这些带有标注的数据训练该网络模型，从 而得到能够识别图形笔迹的识别模型。

可以将训练完毕的模型设置在电子设备中，在识别图形笔迹信息时， 可以将待识别图像输入该识别模型，再由该模型输出识别结果，也就是待 处理图像中包括的图形笔迹信息。

步骤303，根据图形笔迹信息、标准模板生成与待处理图像对应的数 字化数据。

实际应用时，电子设备确定出与待处理图像对应的标准模板，并识别 出待处理图像中包括的图形笔迹信息后，可以根据图形笔迹信息、标准模 板生成数字化数据。

其中，电子设备可以将图形笔迹信息拼接到标准模板中，从而得到一 初始数字化表格。比如，图形笔迹信息可以包括图形笔迹本身，还可以包 括图形笔迹在待处理图像中的位置，进而可以基于这一位置信息，将图形 笔迹绘制到标准模板中，得到初始数字化表格。

在一种可选的实施方式中，电子设备识别出图形笔迹后，可以在显示 器中显示该图形笔迹，比如，可以在待处理图像中高亮的显示图形笔迹。 用户可以在图形笔迹中标注与标准模板中的参考坐标系对应的匹配点。比 如，用户可以在图形笔迹中点击一个点，并基于该点对应的坐标数值，在 标准模板中点击对应位置。

实际应用时，可以标注一组匹配点，也可以标注多组匹配点。

其中，电子设备可以根据匹配点间的对应关系将图形笔迹绘制到标准 模板中，从而得到初始数字化表格。

一种实施方式中，可以将初始数字化表格作为与待处理图像对应的数 字化数据。

另一种实施方式中，还可以进一步的对初始数字化表格进行处理。比 如，可以根据图形笔迹在标准模板中的位置以及标准模板中的参考坐标系， 读取图形笔迹中每个像素点对应的数值，可以存储这些数值，进而得到数 字化数据。

本申请提供一种纸质数据数字化方法，包括根据待处理图像、待处理图 像对应的标注信息确定标准模板；待处理图像是对纸质数据拍摄得到的；标 准模板用于表示待处理图像的参考坐标系；识别待处理图像中包括的图形笔 迹信息；根据图形笔迹信息、标准模板生成与待处理图像对应的数字化数据。 本申请提供的纸质数据数字化方法，能够识别出待处理图像中包括的图形笔 迹信息，并且能够将这一笔迹信息与待处理图像的参考坐标系结合，得到数 字化数据，从而在纸质数据中包括图形数据时，也能够将纸质数据转换为数 字化数据。

图5为本申请另一示例性实施例示出的纸质数据数字化方法的流程图。

如图5所示，本申请实施例提供的纸质数据数字化方法，包括：

步骤501，响应对待处理图像的标注指令，在待处理图像中显示标注 位置并确定标注信息。

其中，本申请提供的纸质数据数字化方法可以由具备计算能力的电子 设备来执行。该电子设备具体可以是计算机、平板电脑、智能手机等设备。

具体的，可以将本申请提供的方法封装在软件中，将其安装在电子设 备中，电子设备在运行该软件时，能够执行本实施例提供的方法。

进一步的，需要将纸质数据转换为数字化数据时，可以对纸质数据进 行拍照，并将较为清晰的一张图像作为待处理图像。

实际应用时，可以将待处理图像导入电子设备中，并通过电子设备的 显示器显示该待处理图像。

其中，用户可以操作电子设备向其发送标注指令，从而对待处理图像 进行标注。电子设备接收到标注指令后，可以响应该标注指令，在待处理 图像中显示标注位置并确定标注信息。比如，用户可以在屏幕中点击要标 注的位置，电子设备可以在相应位置显示标记点，并记录该标记位置。

具体的，当标记指令是定位点标注指令时，电子设备确定的标注信息 是定位点信息。电子设备显示待处理图像时，用户可以向电子设备发送定 位点标记指令，比如可以点击“标注定位点”的选项，并在待处理图像中 点击，电子设备可以在点击的位置显示定位点，并确定定位点信息。

一种实施方式中，电子设备可以根据定位信息对待处理图像进行矫正， 比如可以对其进行旋转操作，使其摆正。

进一步的，定位点信息包括待处理图像的框架定点，用于限定标准模 板的范围。电子设备可以将用户点击的位置作为框架定点，多个框架顶点 框选的区域作为标准模板的范围。比如，用户可以点击待处理图像中有笔 迹内容区域的四个角点，电子设备可以将这四个角点作为框架定点，这四 个角点围成的矩形用于限定标准模板的范围。

这种实施方式中，可以去除待处理图像中不具备识别意义的部分，进 而降低电子设备的计算量。

图6A为本申请一示例性示出的在待处理图像中标注定位点的示意图。

如图6A所示，用户可以在待处理图像中标注定位点61，电子设备将 这四个定位点61作为框架定点，并将61围成的矩形框62作为标准模板 的范围。

进一步的，当标记指令是坐标点标注指令时，电子设备确定的标注信 息是坐标点信息。电子设备显示待处理图像时，用户可以向电子设备发送 坐标点标记指令，比如可以点击“标注坐标点”的选项，然后在待处理图 像中点击需要标注的位置，并设置该位置对应的坐标值，电子设备可以在 点击的位置显示坐标点，并确定坐标点信息。

这种实施方式中，能够通过用户的操作确定图像中关键信息，这种基 于用户指定的方式能够准确的获取到图像中的关键信息。具体通过与用户 交互的方式，由用户指定定位点和/或坐标点时，可以使电子设备获得准 确的定位点和/或坐标点，而无需耗费资源识别这些关键信息。

步骤502，根据坐标点信息进行拟合得到坐标系信息。

实际应用时，对待处理图像进行标注得到的标注信息中可以包括坐标点 信息。电子设备可以对坐标点信息进行拟合得到坐标系信息。

比如，可以使横坐标相同的坐标点在横向位置一致，纵坐标相同的坐标 点在纵向位置一致。还可以在未标记坐标点的位置补全其他数据信息。比如， 在刻度1和5之间，补全其他刻度值。

步骤503，根据待处理图像、坐标系信息确定标准模板。

其中，电子设备可以根据得到的坐标系信息生成一标准模板。具体可 以根据待处理图像划定坐标系的范围，将与待处理图像尺寸相当的坐标系 范围作为标准模板。

具体的，还可以根据标注的坐标点信息在待处理图像中的相对位置确 定划定坐标系的范围。比如，在待处理图像中标注一坐标点为(1，0)， 其在图像中坐标系的起始位置，则在根据坐标系信息生成标准模板时，也 将坐标点(1，0)作为模板的起始位置。

进一步的，若对待处理图像进行标注时还标注有定位点信息，则还可 以结合待处理图像中的定位点信息、坐标系信息确定标准模板。比如，可 以将定位点信息作为框架顶点，在坐标系中框选出一区域作为标准模板。

这种实施方式中，能够对标注的坐标点信息进行拟合，得到准确的坐 标信息，使得标准模板能够准确的表示待处理图像中的参考坐标系。

步骤504，将待处理图像输入预设语义分割模型，输出待处理图像中包 括的图形笔迹信息；其中，语义分割模型用于确定待处理图像中包括的图形 笔迹信息。

实际应用时，步骤504与步骤501-503的执行时序不做限制。

其中，可以预先训练用于识别图象中包括的图形笔迹信息的语义分割模 型，并在电子设备中设置该模型。

具体的，可以将待处理图像输入预设的语义分割模型中，语义分割模型 可以对待处理图像进行识别，输出其中包括的图形笔迹信息。

进一步的，语义分割模型可以是全卷积神经网络结构，其可以对输入的 图像进行卷积计算，进而确定图像中的各个像素属于图形笔迹的第一概率值， 还可以确定图像中的各个像素不属于图形笔迹的第二概率值。

实际应用时，语义分割模型可以根据第一概率值和/或第二概率值确定一 个像素是否属于图形笔迹。比如，若一个像素的第一概率值较高，第二概率 值很低，则可以认为该像素属于图形笔迹。

其中，语义分割模型可以将属于图形笔迹的像素设置为1，不属于图形 笔迹的像素设置为0，从而得到图形笔迹掩膜，掩膜中值为1的像素连接起 来就组成了图形笔迹信息。

其中，可以预先准备用于训练模型的图像。该训练图像中可以包括图形 笔迹，比如用户在其中绘制的曲线、柱状图、饼形图等。可以预先对图像中 的图形笔迹进行标注形成训练图像的标签。

具体的，还可以预先搭建一神经网络模型，将带有标签的训练图像输入 该模型中。模型对训练图像进行处理能够输出一识别结果，比对该识别结果 与训练图像的标签，并进行反向传播调整模型中的参数。通过多次迭代前向 传播和反向传播来优化模型中的参数。

进一步的，当神经网络模型输出的结果与训练图像的标签之间误差满足 预设阈值时，可以停止训练，得到用于对图像进行识别的模型。

这种方式能够训练出的模型能够识别图像中包括的图形笔迹，从而能够 将图像中包括的图形笔迹提取出来，形成数字化数据。

在一种可选的实施例中，神经网络模型包括第一预设数量个下采样层、 第二预设数量个上采样层和分类层。比如，可以包括8个下采样层、8个上 采样层以及分类层。下采样层可以提取图像的高层语义信息获得特征图，上 采样层进一步将特征图还原为原图像大小，最终获得原图大小的像素级分类 结果。

在一种可选的实施方式中，每个下采样层包括：第一卷积层、第一批归 一化层、第一激活层和最大池化层。其中，第一卷积层卷积核为3*3，步长 为1。最大池化层的核为2*2，步长为1。

上采样层包括：2倍上采样层、第二卷积层、第二批归一化层、第一激 活层。其中，第二卷积层的卷积核为3*3，步长为1。

分类层为第三卷积层。

通过神经网络模型能够准确的识别出待处理图像中包括的图形笔迹信息。

图6B为本申请一示例性示出的在待处理图像中识别图形笔迹的示意 图。

如图6B所示，左边为输入语义分割模型中的待处理图像，63为在其 中识别出的图形笔迹信息，该图形笔迹为掩膜形态。

具体的，具体的图形形态可以根据需求设置，比如，若需要识别曲线 形的图形笔迹，则可以训练预设分割模型识别图像中包括的曲线笔迹。相 应的，将待处理图像输入预设语义分割模型后，预设语义分割模型能够输 出待处理图像中包括的曲线笔迹信息。

进一步的，预设语义分割模型则具体用于：确定待处理图像中各个像素 属于曲线笔迹的第一概率值和/或不属于曲线笔迹的第二概率值；根据第一概 率值和/或第二概率值确定像素是否属于曲线笔迹；根据属于曲线笔迹的像素 确定曲线笔迹信息。

这种实施方式中，能够逐像素的识别待处理图像，从而全面、准确的识 别图像中包括的图形笔迹。

步骤505，将图形笔迹信息映射到标准模板中，得到初始数字化表格； 其中，初始数字化表格中包括图形笔迹信息。

实际应用时，步骤503、504之后，本申请提供的方案还可以根据图 形笔迹信息和标准模板，生成初始数字化表格。

一种实施方式中，可以根据图形笔迹在待处理图像中的位置，将其映 射到标准模板中。比如，图形笔迹的在定位点框选区域的中间位置，那么 可以将该图形笔迹映射到标准模板的中间位置。

另一种实施方式中，若对待处理图像进行标注得到的标注信息中包括定 位点信息，则还可以响应对图形笔迹信息的标注操作，在图形笔迹信息中确 定与标准模板中定位点信息对应的匹配位置；根据定位点信息与匹配位置的 对应关系，将图形笔迹信息映射到标准模板中，得到初始数字化表格。

其中，若基于定位点信息确定标准模板，那么在标准模板中也可以包括 定位点信息。

具体的，图形笔迹信息可以是掩膜的形态，在掩膜中包括0、1的值，值 为1的像素属于图形笔迹，值为0的像素不属于图形笔迹。

这种情况下，用户可以向电子设备发送对图形笔迹信息进行标注操作的 指令，从而在图形笔迹信息中标注与标准模板中定位点信息对应的匹配位置。 比如，电子设备可以将图形笔迹掩膜显示在标准模板之上，用户可以移动图 形笔迹掩膜，并在其中标注与标准模板中定位点信息对应的匹配位置。电子 设备可以基于定位点信息与匹配位置的对应关系，使用仿射变换、透视变换 等方法将模板中的定位点与图形笔迹掩膜中的标注位置进行匹配，从而将图 形笔迹的掩膜映射到标准模板中，得到出初始化数字表格。

这种实施方式中，可以基于用户交互操作实现图形笔迹信息与标准模板 的匹配过程，从而将图形笔迹“移植”到标准模板中。

在另一种可选的实施方式中，还可以响应对图形笔迹信息、标准模板的 匹配操作，在图形笔迹信息中确定第一匹配位置，在标准模板中确定第二匹 配位置；其中，第一匹配位置与第二匹配位置对应；根据第一匹配位置与第 二匹配位置的对应关系，将图形笔迹信息映射到标准模板中，得到初始数字 化表格。

在这种实施方式中，用户可以向电子设备发送用于匹配图形笔迹信息与 标准模板的匹配指令，并在图形笔迹信息中标注第一匹配位置，在标准模板 中标注第二匹配位置，电子设备可以显示并确定第一匹配位置与第二匹配位 置具有对应关系。

其中，用户可以标注多组对应的第一匹配位置和第二匹配位置。电子设 备可以根据第一匹配位置与第二匹配位置的对应关系，将图形笔迹信息映射 到标准模板中，得到初始数字化表格。

这种实施方式中，可以基于用户交互操作实现图形笔迹信息与标准模板 的匹配过程，从而将图形笔迹“移植”到标准模板中。

步骤506，对初始数字化表格中的图形笔迹信息进行细化处理得到单像 素宽度的笔迹。

具体的，识别出的图形笔迹信息是待处理图像中人为画出的痕迹，因此， 识别出的图形笔迹粗细程度与纸质数据中的笔画有关。一般来说，人为制造 的笔迹更粗一些，因此，需要对其进行细化处理，得到单像素宽度的笔迹。

进一步的，可以基于骨架提取算法对初始数字化表格中的图形笔迹信息 进行处理，得到单像素宽度的笔迹。

在识别图形笔迹对应的数值时，通过单像素宽度的笔迹进行识别更加准 确。

图6C为本申请一示例性示出的单像素宽度的笔迹示意图。

如图6C所示，在初始数字化表格中存在一图形笔迹64，可以对其进行 细化处理得到如65所示出的笔迹。

步骤507，根据单像素宽度的笔迹、标准模板中包括的参考坐标系确定 与待处理图像对应的数字化数据。

实际应用时，标准模板中包括参考坐标系，因此，参考坐标系可以作为 刻度基准，可以根据单像素宽度的笔迹、标准模板中包括的素数参考坐标系， 确定笔迹中每个像素点对应的数值信息。比如一个像素点可以对应一个横坐 标以及一个纵坐标。

这种实施方式中能够识别出图形笔迹对应的多个数值，从而能够将纸质 数据转换为数字化数据。

其中，可以根据每个像素对应的数值信息确定与待处理图像对应的数字 化数据。比如，可以将每个像素对应的数值存储起来，形成数字化数据。因 此，本申请提供的方法中，可以实现将纸质数据转换为数字化数据。

图7为本申请一示例性实施例示出的纸质数据数字化装置的结构图。

如图7所示，本申请提供的纸质数据数字化装置，包括：

模板确定单元71，用于根据待处理图像、所述待处理图像对应的标注信 息确定标准模板；所述待处理图像是对纸质数据拍摄得到的；所述标准模板 用于表示所述待处理图像的参考坐标系；

识别单元72，用于识别所述待处理图像中包括的图形笔迹信息；

生成单元73，用于根据所述图形笔迹信息、所述标准模板生成与所述待 处理图像对应的数字化数据。

本实施例提供的纸质数据数字化装置的具体原理、效果和实现方式均与 图3所示的实施例类似，此处不再赘述。

图8为本申请另一示例性实施例示出的纸质数据数字化装置的结构图。

在上述实施例的基础上，本申请提供的纸质数据数字化装置，所述标注 信息包括坐标点信息，所述模板确定单元71，包括：

拟合模块711，用于根据所述坐标点信息进行拟合得到坐标系信息；

模板确定模块712，用于根据所述待处理图像、所述坐标系信息确定所 述标准模板。

可选的，还包括响应单元74，用于在所述模板确定单元71根据待处理 图像、所述待处理图像对应的标注信息确定标准模板之前：

响应对所述待处理图像的标注指令，在所述待处理图像中显示标注位置 并确定所述标注信息。

可选的，所述标注指令包括定位点标注指令，所述标注信息包括定位点 信息；

和/或，所述标注指令包括坐标点标注指令，所述标注信息包括坐标点信 息。

可选的，所述定位点信息包括所述待处理图像的框架定点，用于限定所 述标准模板的范围。

可选的，所述识别单元72具体用于：

将所述待处理图像输入预设语义分割模型，输出所述待处理图像中包括 的图形笔迹信息；

其中，所述语义分割模型用于确定所述待处理图像中包括的图形笔迹信 息。

可选的，所述预设语义分割模型具体用于：

确定所述待处理图像中各个像素属于图形笔迹的第一概率值和/或不属 于曲线笔迹的第二概率值；

根据所述第一概率值和/或第二概率值确定所述像素是否属于所述图形 笔迹；

根据属于所述图形笔迹的像素确定所述图形笔迹信息。

可选的，所述生成单元73，包括：

映射模块731，用于将所述图形笔迹信息映射到所述标准模板中，得到 初始数字化表格；其中，所述初始数字化表格中包括所述图形笔迹信息；

细化模块732，用于对所述初始数字化表格中的所述图形笔迹信息进行 细化处理得到单像素宽度的笔迹；

确定模块733，用于根据所述单像素宽度的笔迹、所述标准模板中包括 的所述参考坐标系确定与所述待处理图像对应的数字化数据。

可选的，所述标注信息包括定位点信息，所述标准模板包括所述定位点 信息；

所述映射模块731，包括：

第一响应子模块7311，用于响应对所述图形笔迹信息的标注操作，在所 述图形笔迹信息中确定与所述标准模板中定位点信息对应的匹配位置；

第一映射子模块7312，用于根据所述定位点信息与所述匹配位置的对应 关系，将所述图形笔迹信息映射到所述标准模板中，得到所述初始数字化表 格。

可选的，所述映射模块731，包括：

第二响应子模块7313，用于响应对所述图形笔迹信息、所述标准模板的 匹配操作，在所述图形笔迹信息中确定第一匹配位置，在所述标准模板中确 定第二匹配位置；其中，所述第一匹配位置与所述第二匹配位置对应；

第二映射子模块7314，用于根据所述第一匹配位置与所述第二匹配位置 的对应关系，将所述图形笔迹信息映射到所述标准模板中，得到所述初始数 字化表格。

可选的，所述细化模块732，具体用于：

基于骨架提取算法对所述初始数字化表格中的所述图形笔迹信息进行处 理，得到单像素宽度的笔迹。

可选的，所述确定模块733，包括：

匹配子模块7331，用于根据所述单像素宽度的笔迹、所述标准模板中包 括的素数参考坐标系，确定所述笔迹中每个像素点对应的数值信息；

确定子模块7332，用于根据所述数值信息确定与所述待处理图像对应的 数字化数据。

本实施例提供的纸质数据数字化装置的具体原理、效果和实现方式均与 图5所示的实施例类似，此处不再赘述。

根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储 介质。

如图9所示，是根据本申请实施例的纸质数据数字化方法电子设备的 框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、 台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算 机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸 如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算 装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示 例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图9所示，该电子设备包括：一个或多个处理器901、存储器902， 以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不 同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方 式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存 储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示 设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以 将多个处理器和/或多条总线与多个存储器一起使用。同样，可以连接多 个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一 组刀片式服务器、或者多处理器系统)。图9中以一个处理器901为例。

存储器902即为本申请所提供的非瞬时计算机可读存储介质。其中， 所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处 理器执行本申请所提供的纸质数据数字化方法。本申请的非瞬时计算机可 读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提 供的纸质数据数字化方法。

存储器902作为一种非瞬时计算机可读存储介质，可用于存储非瞬时 软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的纸质 数据数字化方法对应的程序指令/模块(例如，附图7所示的模板确定单 元71、识别单元72和生成单元73)。处理器901通过运行存储在存储器 902中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应 用以及数据处理，即实现上述方法实施例中的纸质数据数字化方法。

存储器902可以包括存储程序区和存储数据区，其中，存储程序区可 存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据 电子设备的使用所创建的数据等。此外，存储器902可以包括高速随机存 取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存 器件、或其他非瞬时固态存储器件。在一些实施例中，存储器902可选包 括相对于处理器901远程设置的存储器，这些远程存储器可以通过网络连 接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域 网、移动通信网及其组合。

电子设备还可以包括：输入装置903和输出装置904。处理器901、 存储器902、输入装置903和输出装置904可以通过总线或者其他方式连 接，图9中以通过总线连接为例。

输入装置903可接收输入的数字或字符信息，以及产生与电子设备的 用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、 轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输 入装置。输出装置904可以包括显示设备、辅助照明装置(例如，LED) 和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一 些实施方式中，显示设备可以是触摸屏。

此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集 成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和 /或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多 个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处 理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通 用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出 装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个 输入装置、和该至少一个输出装置。

这些计算机程序(也称作程序、软件、软件应用、或者代码)包括可 编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语 言、和/或汇编/机器语言来实施这些计算机程序。如本文使用的，术语“机 器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提 供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁 盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可 读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将 机器指令和/或数据提供给可编程处理器的任何信号。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术， 该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线 管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠 标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算 机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的 反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉 反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入) 来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如， 作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、 或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器 的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处 描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部 件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络 的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此 并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具 有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或 删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地 执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望 的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术 人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、 子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和 改进等，均应包含在本申请保护范围之内。

Claims (26)

1.一种纸质数据数字化方法，包括：

根据待处理图像、所述待处理图像对应的标注信息确定标准模板；所述待处理图像是对纸质数据拍摄得到的；所述标准模板用于表示所述待处理图像的参考坐标系；

识别所述待处理图像中包括的图形笔迹信息；

根据所述图形笔迹信息、所述标准模板生成与所述待处理图像对应的数字化数据。

2.根据权利要求1所述的方法，其中，所述标注信息包括坐标点信息，所述根据待处理图像、所述待处理图像对应的标注信息确定标准模板，包括：

根据所述坐标点信息进行拟合得到坐标系信息；

根据所述待处理图像、所述坐标系信息确定所述标准模板。

3.根据权利要求1或2所述的方法，其中，所述根据待处理图像、所述待处理图像对应的标注信息确定标准模板之前，还包括：

响应对所述待处理图像的标注指令，在所述待处理图像中显示标注位置并确定所述标注信息。

4.根据权利要求3所述的方法，其中，所述标注指令包括定位点标注指令，所述标注信息包括定位点信息；

和/或，所述标注指令包括坐标点标注指令，所述标注信息包括坐标点信息。

5.根据权利要求4所述的方法，其中，所述定位点信息包括所述待处理图像的框架定点，用于限定所述标准模板的范围。

6.根据权利要求1所述的方法，其中，所述识别所述待处理图像中包括的图形笔迹信息，包括：

将所述待处理图像输入预设语义分割模型，输出所述待处理图像中包括的图形笔迹信息；

其中，所述语义分割模型用于确定所述待处理图像中包括的图形笔迹信息。

7.根据权利要求6所述的方法，其中，所述预设语义分割模型具体用于：

确定所述待处理图像中各个像素属于图形笔迹的第一概率值和/或不属于曲线笔迹的第二概率值；

根据所述第一概率值和/或第二概率值确定所述像素是否属于所述图形笔迹；

根据属于所述图形笔迹的像素确定所述图形笔迹信息。

8.根据权利要求1所述的方法，其中，所述根据所述图形笔迹信息、所述标准模板生成与所述待处理图像对应的数字化数据，包括：

将所述图形笔迹信息映射到所述标准模板中，得到初始数字化表格；其中，所述初始数字化表格中包括所述图形笔迹信息；

对所述初始数字化表格中的所述图形笔迹信息进行细化处理得到单像素宽度的笔迹；

根据所述单像素宽度的笔迹、所述标准模板中包括的所述参考坐标系确定与所述待处理图像对应的数字化数据。

9.根据权利要求8所述的方法，其中，所述标注信息包括定位点信息，所述标准模板包括所述定位点信息；

所述将所述图形笔迹信息映射到所述标准模板中，得到初始数字化表格，包括：

响应对所述图形笔迹信息的标注操作，在所述图形笔迹信息中确定与所述标准模板中定位点信息对应的匹配位置；

根据所述定位点信息与所述匹配位置的对应关系，将所述图形笔迹信息映射到所述标准模板中，得到所述初始数字化表格。

10.根据权利要求8所述的方法，其中，所述将所述笔迹信息映射到所述标准模板中，得到初始数字化表格，包括：

响应对所述图形笔迹信息、所述标准模板的匹配操作，在所述图形笔迹信息中确定第一匹配位置，在所述标准模板中确定第二匹配位置；其中，所述第一匹配位置与所述第二匹配位置对应；

根据所述第一匹配位置与所述第二匹配位置的对应关系，将所述图形笔迹信息映射到所述标准模板中，得到所述初始数字化表格。

11.根据权利要求8-10任一项所述的方法，其中，所述对所述初始数字化表格中的所述图形笔迹信息进行细化处理得到单像素宽度的笔迹，包括：

基于骨架提取算法对所述初始数字化表格中的所述图形笔迹信息进行处理，得到单像素宽度的笔迹。

12.根据权利要求8-10任一项所述的方法，其中，所述根据所述单像素宽度的笔迹、所述标准模板确定与所述待处理图像对应的数字化表格，包括：

根据所述单像素宽度的笔迹、所述标准模板中包括的素数参考坐标系，确定所述笔迹中每个像素点对应的数值信息；

根据所述数值信息确定与所述待处理图像对应的数字化数据。

13.一种纸质数据数字化装置，包括：

模板确定单元，用于根据待处理图像、所述待处理图像对应的标注信息确定标准模板；所述待处理图像是对纸质数据拍摄得到的；所述标准模板用于表示所述待处理图像的参考坐标系；

识别单元，用于识别所述待处理图像中包括的图形笔迹信息；

生成单元，用于根据所述图形笔迹信息、所述标准模板生成与所述待处理图像对应的数字化数据。

14.根据权利要求13所述的装置，其中，所述标注信息包括坐标点信息，所述模板确定单元，包括：

拟合模块，用于根据所述坐标点信息进行拟合得到坐标系信息；

模板确定模块，用于根据所述待处理图像、所述坐标系信息确定所述标准模板。

15.根据权利要求13或14所述的装置，其中，还包括响应单元，用于在所述模板确定单元根据待处理图像、所述待处理图像对应的标注信息确定标准模板之前：

响应对所述待处理图像的标注指令，在所述待处理图像中显示标注位置并确定所述标注信息。

16.根据权利要求15所述的装置，其中，所述标注指令包括定位点标注指令，所述标注信息包括定位点信息；

和/或，所述标注指令包括坐标点标注指令，所述标注信息包括坐标点信息。

17.根据权利要求16所述的装置，其中，所述定位点信息包括所述待处理图像的框架定点，用于限定所述标准模板的范围。

18.根据权利要求13所述的装置，其中，所述识别单元具体用于：

将所述待处理图像输入预设语义分割模型，输出所述待处理图像中包括的图形笔迹信息；

其中，所述语义分割模型用于确定所述待处理图像中包括的图形笔迹信息。

19.根据权利要求18所述的装置，其中，所述预设语义分割模型具体用于：

确定所述待处理图像中各个像素属于图形笔迹的第一概率值和/或不属于曲线笔迹的第二概率值；

根据所述第一概率值和/或第二概率值确定所述像素是否属于所述图形笔迹；

根据属于所述图形笔迹的像素确定所述图形笔迹信息。

20.根据权利要求13所述的装置，其中，所述生成单元，包括：

映射模块，用于将所述图形笔迹信息映射到所述标准模板中，得到初始数字化表格；其中，所述初始数字化表格中包括所述图形笔迹信息；

细化模块，用于对所述初始数字化表格中的所述图形笔迹信息进行细化处理得到单像素宽度的笔迹；

确定模块，用于根据所述单像素宽度的笔迹、所述标准模板中包括的所述参考坐标系确定与所述待处理图像对应的数字化数据。

21.根据权利要求20所述的装置，其中，所述标注信息包括定位点信息，所述标准模板包括所述定位点信息；

所述映射模块，包括：

第一响应子模块，用于响应对所述图形笔迹信息的标注操作，在所述图形笔迹信息中确定与所述标准模板中定位点信息对应的匹配位置；

第一映射子模块，用于根据所述定位点信息与所述匹配位置的对应关系，将所述图形笔迹信息映射到所述标准模板中，得到所述初始数字化表格。

22.根据权利要求20所述的装置，其中，所述映射模块，包括：

第二响应子模块，用于响应对所述图形笔迹信息、所述标准模板的匹配操作，在所述图形笔迹信息中确定第一匹配位置，在所述标准模板中确定第二匹配位置；其中，所述第一匹配位置与所述第二匹配位置对应；

第二映射子模块，用于根据所述第一匹配位置与所述第二匹配位置的对应关系，将所述图形笔迹信息映射到所述标准模板中，得到所述初始数字化表格。

23.根据权利要求20-22任一项所述的装置，其中，所述细化模块，具体用于：

基于骨架提取算法对所述初始数字化表格中的所述图形笔迹信息进行处理，得到单像素宽度的笔迹。

24.根据权利要求20-22任一项所述的装置，其中，所述确定模块，包括：

匹配子模块，用于根据所述单像素宽度的笔迹、所述标准模板中包括的素数参考坐标系，确定所述笔迹中每个像素点对应的数值信息；

确定子模块，用于根据所述数值信息确定与所述待处理图像对应的数字化数据。

25.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-12中任一项所述的方法。

26.一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行权利要求1-12中任一项所述的方法。

Images