CN117253246A - 数据处理方法、装置、计算机设备、存储介质和程序产品 - Google Patents

Abstract

本申请涉及一种数据处理方法、装置、计算机设备、存储介质和计算机程序产品。所述方法包括：显示待处理图像，所述待处理图像中包括按行列排列的图像数据项；响应于对所述待处理图像中目标区域的选择操作，在所述目标区域处显示绘制表格，所述目标区域内的图像数据项呈现在所述绘制表格内；显示控件表格，且在所述控件表格中呈现所述绘制表格内的所述图像数据项的字符识别结果，所述控件表格中呈现图像数据项的部分与所述绘制表格的表格结构相同。采用本方法可以提高交互效率。

Description

数据处理方法、装置、计算机设备、存储介质和程序产品

技术领域

本申请涉及计算机技术领域，特别是涉及一种数据处理方法、装置、计算机设备、存储介质和计算机程序产品。

背景技术

随着计算机技术的发展，出现了字符识别技术，字符识别即将图像中包含的数据项识别为计算机可识别字符的过程，以(Optical Character Recognition，光学字符识别)OCR识别为例，针对印刷体字符，计算机设备可以采用光学的方式将纸质文档中的文字转换成为黑白点阵的图像文件，然后图像中的文字转换成文本格式，从而可以进一步编辑和加工。

相关技术中，字符识别只能识别结构简单的数据项，例如对身份证、书籍等进行识别，对于结构复杂的数据项进行处理时，经常存在处理过程交互效率低的问题。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高识别过程交互效率的数据处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

第一方面，本申请提供了一种数据处理方法。所述方法包括：

显示待处理图像，所述待处理图像中包括按行列排列的图像数据项；

响应于对所述待处理图像中目标区域的选择操作，在所述目标区域处显示绘制表格，所述目标区域内的图像数据项呈现在所述绘制表格内；

显示控件表格，且在所述控件表格中呈现所述绘制表格内的所述图像数据项的字符识别结果，所述控件表格中呈现图像数据项的部分与所述绘制表格的表格结构相同。

表单图像第二方面，本申请还提供了一种数据处理装置。所述装置包括：

图像显示模块，用于显示待处理图像，所述待处理图像中包括按行列排列的图像数据项；

表格绘制模块，用于响应于对所述待处理图像中目标区域的选择操作，在所述目标区域处显示绘制表格，所述目标区域内的图像数据项呈现在所述绘制表格内；

表格显示模块，用于显示控件表格，且在所述控件表格中呈现所述绘制表格内的所述图像数据项的字符识别结果，所述控件表格中呈现图像数据项的部分与所述绘制表格的表格结构相同。

在一些实施例中，在所述待处理图像中所述目标区域处，按行列排列的图像数据项所形成的表格结构与所述绘制表格的表格结构相同。

在其中一些实施例中，所述表格绘制模块还用于：响应于针对所述待处理图像的边界框绘制操作，在所述待处理图像上显示绘制的边界框，所述边界框围合形成目标区域；在所述目标区域，显示以所述边界框为表格边界的绘制表格。

在其中一些实施例中，所述绘制表格还包括位于所述边界框内的表格线，所述表格线是基于所述目标区域中图像数据项所形成的表格结构确定。

在其中一些实施例中，所述表格绘制模块还用于：响应于对所述待处理图像中任意位置的触发操作，在所述触发操作所触发的位置处，显示初始边界框；响应于针对所述初始边界框的尺寸调整操作，调整所述初始边界框的尺寸；响应于所述尺寸调整操作的结束，在所述待处理图像上显示尺寸调整后的边界框，尺寸调整后的边界框围合形成目标区域。

在其中一些实施例中，所述初始边界框具有至少一个调整点；所述表格绘制模块还用于：响应于针对所述至少一个调整点中目标调整点的触发操作，显示用于指示尺寸调整方向的指示信息；响应于针对所述目标调整点的、且与所述尺寸调整方向匹配的调整操作，调整所述初始边界框的尺寸。

在其中一些实施例中，所述待处理图像显示在图像编辑界面中，所述图像编辑界面中显示有表格绘制功能项，所述表格绘制模块还用于：响应于对所述表格绘制功能项的功能触发操作，进入表格绘制状态，并显示表格绘制引导信息，所述表格绘制引导信息指示在所述待处理图像中绘制表格；响应于在所述表格绘制状态下触发的对所述待处理图像中目标区域的选择操作，在所述目标区域处显示绘制表格。

在其中一些实施例中，本申请的数据处理装置还包括：表格调整模块，用于响应于针对所述绘制表格和所述控件表格中一种表格的表格调整操作，显示按照所述表格调整操作同步调整的所述绘制表格和所述控件表格。

在其中一些实施例中，所述表格调整操作包括针对所述一种表格中表格线的位置调整操作、针对所述一种表格的表格结构调整操作或针对所述一种表格的表格尺寸调整操作中的至少一种。

在其中一些实施例中，所述一种表格为绘制表格，所述针对所述一种表格的表格结构调整操作包括以下至少一项：对所述绘制表格中任一表格线的删除操作；或者通过表格线绘制操作指示绘制点在所述绘制表格内移动，随着所述绘制点移动形成轨迹，在所述轨迹所处位置，增加与所述轨迹方向一致的表格线。

在其中一些实施例中，本申请的数据处理装置还包括：表头编辑模块，用于在所述控件表格中，显示处于待编辑状态的表头；所述表头包括多个表头项，每个所述表头项分别位于所述控件表格中每一列的预设排列位置处；响应于针对所述表头中任一表头项的字段选择操作，在所述字段选择操作所针对的表头项中显示所述字段选择操作所选择的字段。

在其中一些实施例中，待处理图像显示在图像编辑界面中，图像编辑界面中显示有语言转换功能项，本申请的数据处理装置还包括：语言转换模块，用于响应于对语言转换功能项的触发操作，显示多个候选语言；响应于针对多个候选语言的选择操作，将控件表格所显示的字符识别结果转换为选择操作所选中的候选语言下的翻译文本。

在其中一些实施例中，待处理图像显示在图像编辑界面中，图像编辑界面中显示有文件生成功能项，本申请的数据处理装置还包括：文件生成模块，用于响应于对语言转换功能项的触发操作，显示多个候选文件格式；响应于针对多个候选文件格式的选择操作，根据控件表格生成选择操作所选择的候选文件格式下的文件。

在其中一些实施例中，本申请的数据处理装置还包括：错误标记模块，用于响应于针对控件表格中任一单元格中字符识别结果的编辑操作，在编辑操作所针对的单元格中显示编辑操作所编辑的字符；响应于编辑操作的结束，在绘制表格中与编辑操作所针对的单元格位置对应的单元格中，添加用于表征识别错误的预设标记。

在其中一些实施例中，待处理图像为表单图像，表单图像中还包括除按行列排列的图像数据项的表单项，表单项包括项目名称和项目数据；本申请的数据处理装置还包括：识别结果编辑模块，用于显示表单项的字符识别结果；字符识别结果包括从项目名称识别到的键识别结果和从项目数据识别到的值识别结果；响应于针对值识别结果的编辑操作，显示编辑后的值识别结果。

在其中一些实施例中，本申请的数据处理装置还包括：项目名称识别模块，用于对表单项的项目名称进行识别，获得对应的初始识别结果；将初始识别结果，与预先配置的项目名称集合各项目名称进行匹配；将匹配成功的项目名称，确定为表单项的键识别结果。

第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

显示待处理图像，所述待处理图像中包括按行列排列的图像数据项；

响应于对所述待处理图像中目标区域的选择操作，在所述目标区域处显示绘制表格，所述目标区域内的图像数据项呈现在所述绘制表格内；

显示控件表格，且在所述控件表格中呈现所述绘制表格内的所述图像数据项的字符识别结果，所述控件表格中呈现图像数据项的部分与所述绘制表格的表格结构相同。

第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

显示待处理图像，所述待处理图像中包括按行列排列的图像数据项；

响应于对所述待处理图像中目标区域的选择操作，在所述目标区域处显示绘制表格，所述目标区域内的图像数据项呈现在所述绘制表格内；

显示控件表格，且在所述控件表格中呈现所述绘制表格内的所述图像数据项的字符识别结果，所述控件表格中呈现图像数据项的部分与所述绘制表格的表格结构相同。

第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：

显示待处理图像，所述待处理图像中包括按行列排列的图像数据项；

响应于对所述待处理图像中目标区域的选择操作，在所述目标区域处显示绘制表格，所述目标区域内的图像数据项呈现在所述绘制表格内；

显示控件表格，且在所述控件表格中呈现所述绘制表格内的所述图像数据项的字符识别结果，所述控件表格中呈现图像数据项的部分与所述绘制表格的表格结构相同。

上述数据处理方法、装置、计算机设备、存储介质和计算机程序产品，对于显示的包括按行列排列的图像数据项的待处理图像，可以响应于对该待处理图像中目标区域的选择操作，在目标区域处显示绘制表格，目标区域内的图像数据项呈现在绘制表格内，在显示了绘制表格后，可以显示与之对应的表格结构相同的控件表格，且在控件表格中呈现绘制表格内的图像数据项的字符识别结果，从而实现只需要对目标区域进行选择操作，即可获得能够呈现图像数据项的字符识别结果的控件表格，操作简单、便捷，提高了交互效率。

附图说明

图1为一些实施例中数据处理方法的应用环境图；

图2为一些实施例中数据处理方法的流程示意图；

图3为一些实施例中目标应用的显示页面的示意图；

图4(a)为一些实施例中显示待处理图像的界面图；

图4(b)为一些实施例中显示绘制表格的界面图；

图4(c)为一些实施例中显示控件表格的界面图；

图5为一些实施例中初始边界框的显示界面示意图；

图6为一些实施例中表格线调整的示意图；

图7为一些实施例中表格线绘制的示意图；

图8为一些实施例中对绘制表格中的表格线进行调整的示意图；

图9为另一些实施例中数据处理方法的流程示意图；

图10为一些实施例中本申请涉及的各个操作系统之间的应用关系图；

图11为一些实施例中本申请涉及的各状态下不同操作模式流程图；

图12为一些实施例中本申请涉及的前端时序图；

图13为一些实施例中本申请涉及的后端时序图；

图14为一些实施例中本申请的识别过程的流程图；

图15为一些实施例中本申请的数据传输的流程示意图；

图16为一些实施例中数据处理装置的结构框图；

图17为一些实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请实施例提供的虚拟道具的性能检验方法，涉及人工智能中的机器学习(Machine Learning,ML)、计算机视觉技术(Computer Vision,CV)等技术，其中：

人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习、自动驾驶、智慧交通等几大方向。

计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建、自动驾驶、智慧交通等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。

本申请实施例提供的数据处理方法，可以应用于如图1所示的应用环境中。其中，终端102与服务器104之间可以通过网络进行通信，如有线或无线网络。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以单独设置，可以集成在服务器104上，也可以放在云上或其他服务器上。终端102可以但不限于是各种台式计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。终端102中可以安装运行目标应用的客户端，该目标应用可以是专门支持字符识别的应用，也可以是提供有字符识别功能的其他应用，本申请对此不作限定。另外，本申请对该目标应用的形式不作限定，可以是运行于操作系统的母应用，或者是运行于母应用中的子应用，例如小程序，还可以是网页形式。服务器102可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云计算服务的云服务器。服务器102可以是上述目标应用的后台服务器，用于为目标应用提供后台服务。

在一些实施例中，如图2所示，提供了一种数据处理方法，该方法由计算机设备执行，计算机设备可以是图1中的服务器104或者终端102，在本申请实施例中，以该方法应用于图1中的终端102为例进行说明，包括以下步骤：

步骤202，显示待处理图像，待处理图像中包括按行列排列的图像数据项。

其中，待处理图像指的是包含需要进行字符识别的数据项的图像。待处理图像可以是对纸质文件进行拍照、扫描等处理获的图像，或者是PDF文件转换得到的图像。待处理图像中可以包括多个图像数据项，这些图像数据项按照行列排列，因此这些图像数据项可以看成结构化数据。结构化数据也被成为定量数据,是能够用数据或统一的结构加以表示的信息。图像数据项所排列形成的行可以是一行或者多行，同样地，图像数据项所排列形成的列可以是一列或者多列。具体地，图像数据项按行列排列的形式，可以是行、列自由组合的形式。例如，第一行、第一列的图像数据项和第二行、第一列的图像数据项组合形成了一个图像数据项，从显示效果上来看，组合后的图像数据项同时占据了第一行和第二行的位置。图像数据项可以是各种形式的数据，例如可以是数字、字母、各种字符、文字或者图像中一种或者多种组成的数据。

具体地，当用户通过计算机设备运行目标应用，通过该目标应用加载待处理图像，加载完成后，对加载的待处理图像进行显示。

在一些实施例中，待处理图像可以是用户上传的图像，例如，用户可以通过目标应用程序对需要识别的纸质文件进行拍摄，获得待处理图像并上传。举例说明，参考图3，当用户点击图3中左上角的第一个控件，可以进行图像上传。用户上传的待处理图像可以是一个或者多个。当用户上传多个待处理图像时，终端可以以缩略图的形式显示一个或者多个待处理图像，用户每次可以选择其中一个待处理图像，从而计算机设备可以将该待处理进行完整显示。参考图3，图3为目标应用的显示页面的示意图，图3的左侧显示了多个提箱单的缩略图，当用户选择提箱单1时，显示如图3所示的页面，对该提箱单1进行完整显示，图3中304所指的图像区域中包括了多个按行列排列的图像数据项。

在其他一些实施例中，待处理图像是用户需要处理的识别任务中的图像，用户可以通过目标应用接收一个或者多个由管理员分配的任务，用户通过任务中携带的URL地址获任务中指定的待处理图像。可以理解的是，在其他一些实施例中，待处理图像还可以通过其他方式获得，比如，终端可以从本地相册选择待处理图像或者从互联网下载得到待处理图像，本申请对待处理图像的来源不进行限制。

步骤204，响应于对待处理图像中目标区域的选择操作，在目标区域处显示绘制表格，目标区域内的图像数据项呈现在绘制表格内。

其中，目标区域指的是待处理图像中包括图像数据项的区域。可选的，目标区域内可以是包括待处理图像中全部的图像数据项的区域。或者，还可选的，目标区域内可以是包括待处理图像中部分的图像数据项的区域。对待处理图像中目标区域的选择操作指的是在待处理图像中选择出目标区域的操作。可选的，对待处理图像中目标区域的选择操作可以是在待处理图像中框选一个区域的操作。还可选的，对待处理图像中目标区域的选择操作可以是在待处理图像中指定目标区域的位置坐标的操作。

绘制表格指的是绘制在待处理图像中目标区域处的表格，目标区域的边界即为绘制表格的边界。绘制表格中还可以包括表格线，绘制表格的表格线包括至少一条横向表格线或者至少一条纵向表格线，绘制表格的表格线在绘制表格的表格框中将绘制表格的显示区域划分为按行列排列的多个单元格。可选的，绘制表格中的单元格，与图像数据项按照排列位置相对应，即每个图像数据项的位置处都有一个绘制表格的单元格，换句话说，每个图像数据项都显示于绘制表格不同的单元格内。

具体地，终端页面可以控制待处理图像进入表格绘制状态，在表格绘制状态下，当用户对待处理图像的任意图像区域进行选择时，终端可以响应于该选择操作，在用户所选中的图像区域处绘制表格，并显示绘制生成的绘制表格。在具体应用中，在表格绘制状态，终端可以调用Canvas API(画布)进行表格绘制，Canvas API可以用于在网页实时生成图像，并且可以操作图像内容，是一个可以用JavaScript操作的位图(bitmap)。

在一些实施例中，终端可以显示表格绘制功能项，当用户对该表格绘制功能项进触发时，终端可以响应于对表格绘制功能项的功能触发操作，控制待处理图像进入表格绘制状态。通过显示表格绘制功能项，只有用户触发时，才控制进入表格绘制状态，更加灵活，可以更好地满足用户需求。继续参考图3，图3中的控件302为表格绘制功能项，当用户点击该功能项，终端可以控制待处理图像进入表格绘制状态。

在一些实施例中，在数据处理装置待处理图像中数据处理装置目标区域处，按行列排列的图像数据项所形成的表格结构与数据处理装置绘制表格的表格结构相同。

其中，按行列排列的图像数据项所形成的表格结构与绘制表格的表格结构相同，可以是按行列排列的图像数据项所形成的行列数与绘制表格的行列数相同，比如，目标区域处包括9个图像数据项，这些图像数据项排列形成3行3列的表格，则绘制表格也是3行3列的表格。由于目标区域处图像数据项所形成的表格结构与绘制表格的表格结构相同，可以获得与目标区域处图像数据项所形成的表格结构相同的控件表格，避免了对控件表格进行结构调整，进一步提升了交互效率。

在一些实施例中，图像数据项在待处理图像中的表格结构，根据图像数据项的字符识别结果确定，图像数据项的字符识别结果通过对图像数据项进行预识别获得。

图像数据项的字符识别结果通过对图像数据项进行预识别获得的，即图像数据项的字符识别结果在用户进行选择操作之前已经预先识别得到。可选的，预识别可以是：终端在加载待处理图像时，对待处理图像中的图像数据项进行字符识别，得到字符识别结果，识别完成后，显示待处理图像。还可选的，待处理图像可以是存储在服务器中的图像，服务器可以对待处理图像中的图像数据项进行预识别，得到字符识别结果并进行存储，终端在加载待处理图像之后，可以从服务器获取到待处理图像的字符识别结果。

本实施例中，终端根据用户的选择操作确定了目标区域后，可以获取目标区域内的字符识别结果，进而根据字符识别结果确定绘制表格的表格结构，然后按照该表格结构在目标区域生成一个绘制表格，并将绘制表格显示在该目标区域，由于对图像数据项进行了预识别，可以根据预识别得到的字符识别结果确定表格结构，可以更加快速的生成绘制表格，提高了表格数据处理过程中的处理效率。

步骤206，显示控件表格，且在控件表格中呈现绘制表格内的图像数据项的字符识别结果，控件表格中呈现图像数据项的部分与绘制表格的表格结构相同。

其中，控件表格指的是可以响应于用户的交互操作的表格。控件表格处于编辑状态即用户可以通过交互操作来对控件表格编辑。对控件表格的编辑包括对控件表格的表格内容、表格结构或者表格显示面积中至少一项的编辑。对控件表格的表格内容进行编辑，包括对单元格中已显示的内容进行删除、更改，或者对未显示内容的单元格输入内容。对控件表格的表格结构进行编辑，包括对控件表格新增行、新增列、删除行或者删除列中的至少一种。对控件表格的显示面积进行编辑包括增大控件表格的显示面积，具体可以是将控件表格进行整体拉伸，或者将控件表格往其中一个表格边界框的方向进行拉伸，对控件表格的显示面积进行编辑还包括减少控件表格的显示面积，具体可以是对控件表格进行整体压缩，或者将控件表格往其中一个表格边界框的方向进行压缩。

控件表格中呈现图像数据项的部分与绘制表格的表格结构相同，那么控件表格中所呈现的图像数据项的数据结构与绘制表格中所呈现的图像数据项的数据结构是相同。由于控件表格中呈现图像数据项的部分的表格结构和绘制表格的表格结构相同，绘制表格中每个单元格区域内的图像数据项的字符识别结果可以显示于控件表格中对应位置处的单元格内。举例来说，绘制表格中第一行第一列的单元格内的图像数据项显示于控件表格中第一行第一列的单元格内，绘制表格中第二行第二列的单元格内的图像数据项显示于控件表格中第二行第二列的单元格内。

具体地，终端可以在待处理图像所显示的界面的预设区域显示控件表格。在具体应用中，编辑状态的控件表格可以是悬浮显示的，并且终端可以响应于对编辑状态的控件表格的拖动操作，将控件表格显示于拖动操作所指示的位置处。

举例说明，本申请实施例提供的数据处理方法的页面变化可以参考图4(a)、图4(b)图和图4(c)，其中，图4(a)图为显示待处理图像的界面图，图4(b)图为显示绘制表格的界面图，图4(c)图为显示控件表格的界面图，可以看出，图4(c)的控件表格中显示有绘制表格中呈现的所有的图像数据项的字符识别结果，并且控件表格中每个单元格，可以显示绘制表格中相同排列位置的单元格所对应图像数据项的字符识别结果。

在一些实施例中，终端可以获取到绘制表格的行列坐标，并且针对绘制表格中每个单元格，终端可以进行图像截取，并获得所截取图像的坐标，当对截取的图像块成功识别获得字符结果后，根据字符识别结果所对应的截图块的坐标确定该截图块所属单元格在绘制表格中的排列位置，进而根据排列位置将字符识别结果显示于控件表格中排列位置相同的单元格中。

在一些实施例中，对显示的控件表格，终端可以进行保存，或者根据显示的控件表格进一步生成其他格式的文件，例如生成json文件、XML文件等，对生成的其他格式文件进行保存。

上述数据处理方法中，对于显示的待处理图像，可以响应于表格绘制操作，在待处理图像中显示结构化数据图像的显示区域，显示绘制表格，该绘制表格包括按行列排列的单元格，且绘制表格中的单元格，与结构化数据图像中的图像数据项按照排列位置相对应，在显示了绘制表格后，可以显示与之对应的处于编辑状态的控件表格，控件表格的单元格与绘制表格的单元格按照排列位置一一对应，并且在控件表格的至少一部分单元格中，显示绘制表格中相同排列位置的单元格所对应图像数据项的字符识别结果，从而实现只需要进行表格绘制操作，即可将行列排列的图像数据项识别为可编辑的表格，提高了识别过程中的交互效率。

在一些实施例中，响应于对待处理图像中目标区域的选择操作，在目标区域处显示绘制表格，包括：响应于针对待处理图像的边界框绘制操作，在待处理图像上显示绘制的边界框，边界框围合形成目标区域；在目标区域，显示以边界框为表格边界的绘制表格。

其中，边界框绘制操作是指在待处理图像中绘制矩形框的操作。

可选的，用户可以在待处理图像中显示图像数据项的位置处绘制一个初始的矩形框，然后调整矩形的尺寸使得矩形框可以覆盖所有的图像数据项，当调整完成时，绘制结束，显示绘制的边界框。还可选的，用户可以沿着图像数据项的显示区域的边界分别绘制四条边界线，当边界线绘制完成，四条边界线所组成的形状即为边界框。本申请对表格边界绘制操作的具体形式不做限制。

本实施例中，用户进行边界框绘制时，终端可以响应于针对待处理图像的边界框绘制操作，在待处理图像上显示绘制的边界框，边界框围合形成目标区域，在目标区域确定后，终端可以在该边界框内自动生成表格线，自动生成的表格线和边界框即组成绘制表格，该绘制表格以用户所绘制的边界框为表格边界。

在一些实施例中，终端可以在待处理图像上显示绘制指示器，用户拖动该绘制指示器，可以在待处理图像上绘制出边界框，当用户停止拖动时，终端在所绘制的边界框内自动生成表格线。

在一些实施例中，边界框绘制完成后，终端可以进一步显示表格布局指定区域，进而可以响应于用户对表格布局指定区域的表格布局指定操作，在边界框内生成表格线。例如，用户可以在表格布局指定区域内指定表格行数和列数。

上述实施例中，通过绘制边界框进行目标区域选择，可以快速确定出目标区域，从而快速生成绘制表格，提高了表格数据处理效率以及表格数据处理过程中的交互效率。

在一些实施例中，绘制表格还包括位于边界框内的表格线，表格线是基于目标区域中图像数据项所形成的表格结构确定。

其中，图像数据项所形成的表格结构可以包括图像数据项排列形成的行列数，比如，目标区域中图像数据项排列形成三行两列，则图像数据项所形成的表格结构可以包括三行两列。

具体地，终端响应于边界框绘制操作生成边界框时，生成的边界框围合形成的区域即为目标区域，终端还可以基于目标区域中图像数据项所形成的表格结构确定表格线的数量和位置，对确定的表格线进行显示后，获得显示于目标区域处的绘制表格。

可选地，目标区域中图像数据项所形成的表格结构可以根据对目标区域中图像数据项进行预识别的识别结果确定。

由于可以基于目标区域中图像数据项所形成的表格结构确定表格线，可以快速生成符合目标区域中图像数据项所形成的表格结构的绘制表格。

在一些实施例中，响应于针对待处理图像的边界框绘制操作，在待处理图像上显示绘制的边界框，边界框围合形成目标区域，包括：响应于对待处理图像中任意位置的触发操作，在触发操作所触发的位置处，显示初始边界框；响应于针对初始边界框的尺寸调整操作，调整初始边界框的尺寸；响应于尺寸调整操作的结束，在待处理图像上显示尺寸调整后的边界框，尺寸调整后的边界框围合形成目标区域。

其中，对待处理图像中任意位置的触发操作可以是作用于待处理图像中任意位置的预设操作。预设操作具体可以是触摸操作、光标操作、按键操作或者语音操作。其中，触摸操作可以是触摸点击操作、触摸按压操作或者触摸滑动操作，触摸操作可以是单点触摸操作或者多点触摸操作；光标操作可以是控制光标进行点击的操作或者控制光标进行按压的操作；按键操作可以是虚拟按键操作或者实体按键操作等。

本实施例中，当用户对待处理图像中任意位置进行触发操作时，终端可以响应于该触发操作，在触发操作所触发的位置处，显示一个初始边界框，该初始边界框的以触发操作所触发的位置为中心，且尺寸固定，该初始边界框具有多个调整点，用户可以通过这些调整点对该初始边界框的尺寸进行调整，终端可以响应于用户的尺寸调整操作，调整该初始边界框的尺寸，在调整结束后，终端可以响应于尺寸调整操作的结束，在待处理图像上显示尺寸调整后的边界框，尺寸调整后的边界框围合形成目标区域。

可选的，对应于该初始边界框，终端可以显示确认控件，当用户对该确认控件进行触发时，终端判定尺寸调整操作结束，进而可以在待处理图像上显示尺寸调整后的边界框。

上述实施例中，由于可以响应于对待处理图像中任意位置的触发操作，显示初始边界框，用户对边界框进行调整，可以方便快捷地从待处理图像中选择出目标区域，交互效率高。

在一些实施例中，初始边界框具有至少一个调整点；响应于针对初始边界框的尺寸调整操作，调整初始边界框的尺寸，包括：响应于针对至少一个调整点中任一调整点的触发操作，显示用于指示尺寸调整方向的指示信息；响应于与尺寸调整方向匹配的调整操作，调整初始边界框的尺寸。

其中，调整点指的是可用于对初始边界框的尺寸进行调整的点。举例说明，参考图5，矩形框502为初始边界框，该标注形状具有8个调整点，例如图5中的调整点502A和调整点502B，每个调整点代表一个调整方向，例如用户可以通过调整点502A将矩形框在水平方向拉伸。目标调整点可以是任一初始边界框的任一调整点。

具体地，当用户对初始边界框的目标调整点进行触发操作时，终端可以在该调整点的位置处显示用于指示尺寸调整方向的指示信息，以指导用户进行尺寸调整，例如，对于图5中的调整点502A，可以显示指向水平方向的箭头，从而用户可以按照该指示信息所指示的尺寸调整方向对该调整点进行调整操作，以改变初始边界框的尺度，例如用户可以沿水平方向拖拽图5中的调整点502A，以对图5中的初始边界框进行调整。

上述实施例中，通过显示指示尺寸调整方向的指示信息，可以指导用户对初始边界框的调整操作，避免用户执行错误的调整操作，从而可以进一步地提高交互效率。

在一些实施例中，本申请的数据处理方法还包括：响应于对绘制表格中的任一表格线的移动操作，将表格线移动至分割相邻图像数据项的位置处。

具体地，终端在自动生成表格线时，有可能会出现表格线位置错误的情况，这就会导致在有些情况下，生成的表格线可能并不能分割相邻的图像数据项，比如，有些表格线可能正好处于某个图像数据项上，或者某两个相邻的图像数据项之间不存在表格线，而另一些相邻的图像数据项之间存在两条表格线，这些情况下，生成的控件表格都是不准确的，因此，需要对表格线进行位置调整，用户可以对绘制表格中的表格线进行移动操作，从而终端可以响应于该移动操作，将表格线按照移动操作进行移动，使得每条表格线都移动至分割相邻图像数据项的位置处，并且每两个相邻的图像数据项之间都存在分割的表格线。

举例说明，参考图6，图6中上面的图中的表格线是终端自动生成的表格线的显示位置，可以看出，有些表格线并未分割相邻的表格线，用户可以对表格线进行移动，将表格线移动至分割相邻图像数据项的位置处，得到图6中下面的图所示的绘制表格，从而使得最终得到的控件表格更加准确。

上述实施例中，终端可以响应于对绘制表格中表格线的移动操作，将表格线移动至分割相邻图像数据项的位置处，从而确保所显示的绘制表格中的单元格，与图像数据项按照排列位置相对应，使得获得的控件表格更加准确。

在一些实施例中，待处理图像显示在图像编辑界面中，图像编辑界面中显示有表格绘制功能项，响应于对待处理图像中目标区域的选择操作，在目标区域处显示绘制表格，包括：响应于对表格绘制功能项的功能触发操作，进入表格绘制状态，并显示表格绘制引导信息，表格绘制引导信息指示在待处理图像中绘制表格；响应于在表格绘制状态下触发的对待处理图像中目标区域的选择操作，在目标区域处显示绘制表格。

其中，表格绘制引导信息指的是可以对用户的区域选择操作进行引导的信息。表格绘制引导信息可以是文本信息，即通过文本引导用户选择目标区域。表格绘制引导信息还可以是图像信息，即终端可以显示动画图片来呈现具体的选择操作。表格绘制引导信息还可以是语音信息，即终端可以播放语音来引导用户进行图像区域选择。

功能触发操作指的是作用于表格绘制功能项的预设操作。预设操作具体可以是触摸操作、光标操作、按键操作或者语音操作。其中，触摸操作可以是触摸点击操作、触摸按压操作或者触摸滑动操作，触摸操作可以是单点触摸操作或者多点触摸操作；光标操作可以是控制光标进行点击的操作或者控制光标进行按压的操作；按键操作可以是虚拟按键操作或者实体按键操作等。表格绘制功能项具体为可以表格绘制触发控件。

具体地，待处理图像所显示的图像编辑界面中，显示有表格绘制功能项，用户可以对该表格绘制功能项进行功能触发操作，从而终端可以响应于该功能触发操作，进入表格绘制状态，并在该图像编辑界面中显示表格绘制引导信息，表格绘制引导信息指示在待处理图像中绘制表格，从而用户可以根据该表格绘制引导信息的指示在表格绘制状态下触发进行表格绘制，最终获得绘制表格。

举例说明，参考图3，当用户点击表格绘制触发控件302，在图像编辑界面可以显示表格绘制引导信息“请在画面中选取表格区域”，从而用户可以根据该表格绘制引导信息，将鼠标放置在图像数据项的显示区域，在该区域画一个矩形框，从而可以触发终端显示以该矩形框为表格边界的绘制表格。

上述实施例中，一方面，由于显示有表格绘制功能项，终端在响应于对表格绘制功能项的功能触发操作后，才进入表格绘制状态，灵活性更高，另一方面，由于显示表格绘制引导信息，可以对用户的表格绘制操作进行引导，避免用户进行错误的交互操作，进一步提升了交互效率。

在一些实施例中，上述数据处理方法还包括：响应于针对绘制表格和控件表格中一种表格的表格调整操作，显示按照表格调整操作同步调整的绘制表格和控件表格。

其中，表格调整操作包括针对一种表格中表格线的位置调整操作、针对一种表格的表格结构调整操作或针对一种表格的表格尺寸调整操作中的至少一种。

在一些实施例中，表格结构调整操作所针对的表格为控件表格，表格结构调整操作包括以下至少一项：对绘制表格中任一表格线的删除操作；或者通过表格线绘制操作指示绘制点在绘制表格内移动，随着绘制点移动形成轨迹，在轨迹所处位置，增加与轨迹方向一致的表格线。

考虑到终端自动生成的表格线可能不准确，不满足用户需求，本实施例中还可以对绘制表格的数量进行调整。

当用户选中绘制表格中任一表格线，终端可以显示删除控件，进而响应于对该删除控件的触发操作，将用户所选中的表格线删除。

当通过表格线绘制操作指示绘制点在绘制表格内移动，随着绘制点移动形成轨迹，在轨迹所处位置，增加与轨迹方向一致的表格线。在具体应用中，用户可以在绘制表格的边界框上相邻图像数据项之间的位置处选择绘制点，然后对该绘制点进行拖动操作从而形成轨迹，拖动操作例如可以是鼠标长按实现拖动，或者触摸长按实现拖动，举例说明，参考图7，用户可以在图7的上图中箭头所指的位置处选择绘制点，长按鼠标左键往正下方拖动该绘制点从而形成轨迹，终端在轨迹所处位置，增加与轨迹方向一致、且分割相邻图像数据项的表格线，如图7中的下图所示。

在一些具体实施例中，当绘制点所形成的轨迹可以唯一确定一条表格线时，终端可以沿该轨迹的方向自动生成完整的表格线，在这种情况下，用户只需要使得绘制点移动形成一小段轨迹，即可绘制出完整的表格线。

通过表格线绘制操作增加表格线，由于表格线所处位置可以由表格线绘制操作指定，可以确定生成位置正确的表格线，避免了对表格线进行位置调整，从而提高了交互效率。

在一些实施例中，终端可以响应于针对绘制表格的表格调整操作，显示按照表格调整操作进行调整的绘制表格；响应于绘制表格的调整，显示调整后的控件表格；控件表格的调整方式和绘制表格的调整方式一致。

可选的，终端可以响应于绘制表格的表格线位置调整，显示表格线位置调整后的控件表格；控件表格中位置调整的表格线与绘制表格中位置调整操作所针对的表格线位置对应。

可选的，终端可以响应于绘制表格的表格结构调整，显示表格结构调整后的控件表格；控件表格的表格结构调整方式与绘制表格的表格结构调整方式相同。

可选的，终端可以响应于针对绘制表格的表格尺寸调整操作，显示表格尺寸调整后的控件表格。

在一些实施例中，终端可以响应于针对控件表格的表格调整操作，显示按照表格调整操作进行调整的控件表格；响应于控件表格的调整，显示调整后的绘制表格；绘制表格的调整方式和控件表格的调整方式一致。

可选的，终端可以响应于控件表格的表格线的位置调整，显示表格线位置调整后的绘制表格；绘制表格中位置调整的表格线与控件表格中位置调整操作所针对的表格线位置对应。

可选的，终端可以响应于控件表格的表格结构的调整，显示单元格数量调整后的绘制表格；绘制表格的表格结构调整方式与控件表格的表格结构调整方式相同。

举例说明，参考图8，当用户选中绘制表格中的横向表格线，绘制表格的显示区域会显示对表格线的调整控件802，用户可以通过该调整控件向上移动调整表格线的位置或者向下移动调整表格线的位置。当用户向上移动调整表格线的位置时，控件表格中对应位置处的表格线同步向上移动，当用户向下移动调整表格线的位置时，控件表格中对应位置处的表格线同步向下移动。

继续参考图8，用户还可以点击触发显示调整菜单栏804，在该调整菜单栏804中显示“上方插入1行”、“下方插入1行”或者“删除行”。当用户点击调整菜单栏中任意一项，绘制表格和控件表格同步调整。

上述实施例中，终端可以响应于针对绘制表格和控件表格中一种表格的表格调整操作，显示按照表格调整操作同步调整的绘制表格和控件表格，提高了表格识别过程中的灵活性。

在一些实施例中，上述数据处理方法还包括：在控件表格中，显示处于待编辑状态的表头；表头包括多个表头项，每个表头项分别位于控件表格中每一列的预设排列位置处；响应于针对表头中任一表头项的字段选择操作，在字段选择操作所针对的表头项中显示字段选择操作所选择的字段。

其中，预设排列位置指的是预先设定的排列位置。在具体应用中，考虑到表头项通常为一列中的总结性内容，因此，预设排列位置可以是表格中的第一列。当前，在其他实施例中，预设排列位置处也可以是每一列中的其他位置，本申请对表头项的具体位置不进行限定。

具体的，本实施例中，待处理图像中的数据为通用字段下的数据，用户可以对这些通用字段进行配置，进而当需要确定表头项时，用户可以对表头项进行触发，终端可以响应于用户的触发操作，显示配置的候选字段，用户可以对其中一个字段进行选择，从而终端可以响应于该字段选择操作，在字段选择操作所针对的表头项中显示字段选择操作所选择的字段。

举例说明，继续参考图8，图8的控件表格中，表头为控件表格的第一行，第一行中在每一列的位置处有一个表头项，当用户点击其中任意一个表头项中的“选择”控件时，会显示配置的候选字段，从而用户可以选择其中一个字段作为该列的表头字段，终端将用户所选择的字段显示在表头项所在的单元格中。

需要说明的，在具体应用中，通过字段选择操作来选择表头项针对的是绘制表格中不包含表头项的情况，由于绘制表格中不包含表头，因此控件表格的表头需要用户总结并手动编辑，在这种情况下，通过字段选择可以提高编辑效率。而如果绘制表格中原本的第一行就是表头，那么该第一行中的图像数据项和表格中其他行一样，通过识别显示于控件表格对应位置的单元格中。用户在绘制表格时，需要将表头所在行作为一行进行表格绘制。

上述实施例中，终端可以在控件表格中，显示处于待编辑状态的表头，响应于针对表头中任一表头项的字段选择操作，在字段选择操作所针对的表头项中显示字段选择操作所选择的字段，进一步提高交互效率。

在一些实施例中，待处理图像显示在图像编辑界面中，图像编辑界面中显示有语言转换功能项，方法还包括：响应于对语言转换功能项的触发操作，显示多个候选语言；响应于针对多个候选语言的选择操作，将控件表格所显示的字符识别结果转换为选择操作所选中的候选语言下的翻译文本。

其中，语言转换功能项指的是用于触发对控件表格中的文本进行语言切换的功能项。语言转换功能项具体可以是各种形式的控件。

具体地，待处理图像所显示的图像编辑界面中，显示有语言转换功能项，终端显示的控件表格中字符识别结果是以默认的语言进行显示的，当用户需要获得另一种语言下的识别结果时，可以对语言转换功能项进行触发操作，终端可以响应于该触发操作，显示多个可供选择的候选语言，当用户选择任一候选语言时，终端可以响应于用户的选择操作，将控件表格所显示的字符识别结果转换为选择操作所选中的候选语言下的翻译文本。其中，默认的语言可以由用户进行预先设置及更改。

在具体应用中，终端可以部署有用于实现语言翻译的机器学习模型，进而当检测到用户的对候选语言的选择操作时，可以将当前显示的字符识别结果输入到机器学习模型中，通过该机器学习模型将输入的字符识别结果转换为用户所选中的候选语言下的翻译文本，并通过获得的翻译文本对控件表格中的字符识别结果更新，从而使得控件表格中显示候选语言下的翻译文本。

上述实施例中，待处理图像所显示的图像编辑界面中显示有语音转换功能项，从而用户可以通过该语音转换功能项选择候选语言，终端可以响应于针对多个候选语言的选择操作，将控件表格所显示的字符识别结果转换为选择操作所选中的候选语言下的翻译文本，可以简单方便实现获得不同语言下的翻译文本，无需再进行额外翻译，扩展了表格识别的应用场景。

在一些实施例中，待处理图像显示在图像编辑界面中，图像编辑界面中显示有文件生成功能项，方法还包括：响应于对文件生成功能项的触发操作，显示多个候选文件格式；响应于针对多个候选文件格式的选择操作，根据控件表格生成选择操作所选择的候选文件格式下的文件。

其中，文件生成功能项指的是用于触发根据控件表格生成所需要格式文件的功能项。语言转换功能项具体可以是各种形式的控件。候选文件格式可以是json格式、Excel格式或者XML格式中的任意一种。

具体地，待处理图像所显示的图像编辑界面中，显示有文件生成功能项，终端完成识别并显示的控件表格，用户可以将识别结果保存为任意想要的文件格式，用户可以对文件生成功能项进行触发操作，终端可以响应于该触发操作，显示多个可供选择的候选文件格式，当用户选择任一候选文件格式时，终端可以响应于用户的选择操作，根据控件表格生成选择操作所选择的候选文件格式下的文件。

上述实施例中，通过显示文件生成功能项，响应于对文件生成功能项的触发操作，显示多个候选文件格式，响应于针对多个候选文件格式的选择操作，根据控件表格生成选择操作所选择的候选文件格式下的文件，可以根据用户需求生成不同格式的文件，进一步提高了表格识别的灵活性。

在一些实施例中，方法还包括：响应于针对控件表格中任一单元格中字符识别结果的编辑操作，在编辑操作所针对的单元格中显示编辑操作所编辑的字符；响应于编辑操作的结束，在绘制表格中与编辑操作所针对的单元格位置对应的单元格中，添加用于表征识别错误的预设标记。

具体地，本申请对图像数据项识别得到字符识别结果是通过字符识别模型得到的，字符识别模型在识别过程中可能存在识别错误的情况。在本实施例中，用户进行了编辑操作的字符识别结果，可以认为是识别不准确的字符识别结果，终端在检测到用户针对任一单元格中字符识别结果的编辑操作，可以将编辑操作所针对的单元格中更新显示为用户所编辑的字符，同时，终端可以对待处理图像中与该单元格位置对应的单元格添加错误标记。进一步地，该错误标记处的图像数据项可以截图作为负样本对用于进行字符识别的机器学习模型进行训练，其中，用户编辑操作所编辑的字符作为该负样本的训练标签，通过这种方式可以不断地对字符识别模型进行优化训练，提升字符识别模型的识别性能，从而得到更为准确的识别结果。

在一些实施例中，待处理图像为表单图像，表单图像中还包括除按行列排列的图像数据项的表单项，表单项包括项目名称和项目数据；方法还包括：显示表单项的字符识别结果；字符识别结果包括从项目名称识别到的键识别结果和从项目数据识别到的值识别结果；响应于针对值识别结果的编辑操作，显示编辑后的值识别结果。

在对表单进行识别的过程中，针对某个图像数据项中的项目名称可以识别得到键识别结果，针对该图像数据项中的项目数据可以识别为对应的键识别结果的值识别结果，键识别结果和值识别结果可以以键值对的形式进行存储。考虑到值识别结果为表单中所需要的重要数据，对于识别出的值识别结果，用户可以进行编辑，终端可以响应于对针对值识别结果的编辑操作，显示编辑后的值识别结果。

举例说明，参考图8，图8显示了用户选择识别的一个表单图像，表单中除了按行列排列的图像数据项之外，还包括了其他的表单项，比如表单中的第一个表单项为“买家：张三”，其中“买家”为项目名称，“买家”为项目数据。

可以理解的是，在具体应用中，如果用户确认所识别得到的值识别结果准确无误，还可以对值识别结果进行确认，例如图8中，用户对运输方式的值识别结果点击确认后，该项会显示一个确认的打钩标记。

本实施例中，可以将待处理图像中除按行列排列的图像数据项之外的表单项识别为键识别结果和值识别结果，便于存储和管理，并且可以对值识别结果进行编辑操作，保证识别结果准确性。

在一些实施例中，键识别结果通过项目名称识别步骤识别得到，项目名称识别步骤包括：对表单项的项目名称进行识别，获得对应的初始识别结果；将初始识别结果，与预先配置的项目名称集合各项目名称进行匹配；将匹配成功的项目名称，确定为表单项的键识别结果。

本实施例中，可以预先配置识别过程中可能出现的项目名称，获得项目名称集合，在对表单项的项目名称进行识别获得初始识别结果，可以将初始识别结果和项目名称集合中的项目名称分别进行匹配，将匹配成功的项目名称，确定为表单项的键识别结果，一方面可以保证键识别结果的准确性，另一方面可以对项目名称进行统一描述，方便存储和查询管理。

在一些具体实施例中，本申请还提供一种应用场景，在该应用场景中，待处理图像为表单图像。鉴于越来越多的用户有复杂表单处理需求，有别于传统的证件、书籍，表单处理场景通常用于海关报单，货物提箱等较为复杂的场景。表单的复杂性要远远大于传统OCR识别的证件、书籍等。但目前，针对这类场景，传统的OCR识别无法满足用户的处理需求，导致处理过程中交互效率非常低。

本申请实施例提供的数据处理方法，可以应用于对表单图像的处理，可以将表单图像进行结构化，得到控件表格，满足用户复杂的处理需求，提高处理过程中的交互效率。

参考图9，在该实施例中，数据处理方法包括以下步骤：

步骤902，显示待处理图像，待处理图像中包括按行列排列的图像数据项。

步骤904，响应于对表格绘制功能项的功能触发操作，进入表格绘制状态，并显示表格绘制引导信息。

步骤906，响应于在表格绘制状态下触发的针对待处理图像的边界框绘制操作，在待处理图像上显示绘制的边界框，边界框围合形成目标区域。

步骤908，在目标区域，显示以边界框为表格边界的绘制表格。

其中，在待处理图像中目标区域处，按行列排列的图像数据项所形成的表格结构与绘制表格的表格结构相同。

具体地，用户可以在待处理图像画一个矩形框，该矩形框所框选的区域即为目标区域，终端在该矩形框内根据图像数据项的字符识别结果自动生成表格线，从而生成以该矩形框为表格边界的绘制表格。其中，图像数据项的字符识别结果通过对图像数据项进行预识别获得。

步骤910，显示控件表格，且在控件表格中呈现绘制表格内的图像数据项的字符识别结果，控件表格中呈现图像数据项的部分与绘制表格的表格结构相同。

步骤912，响应于针对绘制表格和控件表格中一种表格的表格调整操作，显示按照表格调整操作同步调整的绘制表格和控件表格。

其中，表格调整操作包括针对一种表格中表格线的位置调整操作、针对一种表格的表格结构调整操作或针对一种表格的表格尺寸调整操作中的至少一种。

需要说明的是，绘制表格和控件表格同步调整，主要是指绘制表格和控件表格中用于显示绘制表格内的图像数据项的部分同步调整；此外，在本申请实施例中，由于控件表格还可以包含表头，在同步调整的过程中，该表头也会跟随调整。例如，当控件表格中用于显示绘制表格内的图像数据项的部分的列发生变化时，表头也会跟随调整。

步骤914，响应于对文件生成功能项的触发操作，显示多个候选文件格式；响应于针对多个候选文件格式的选择操作，根据控件表格生成选择操作所选择的候选文件格式下的文件。

在该应用场景中，用户分为两大类，操作员和管理员。参考图10，本申请涉及的各个操作系统之间的应用关系图。管理员通过控制台和OCR应用的前端进行交互，OCR应用的前端可以通过智慧表单转发服务(smartform_forward_server)的服务端调用云API，和智慧表单转发服务(smartform_forward_server)的服务端进行通信，管理员在交互过程中，需要进行登录，云API可以作为网关对管理员的身份进行校验。管理员可以通过控制台针对需要识别的表单生成任务，将任务分配给操作员，管理员还可以通过控制台配置表单相关默认设置，使表单的识别更准确和快捷。操作员无需登录，可以通过OCR应用的前端和智慧表单转发服务的服务端进行交互，进而通过智慧表单转发服务实现和智慧表单转发服务的交互，从而操作员可以OCR应用接收任务，并对所接收的任务中的表单进行识别，其中的OCR应用可以实现图9所示的步骤流程。

图11是一些实施例中本申请涉及的各状态下不同操作模式流程图。管理员打开控制台后，可以进行表达识别配置，配置完成后，可以调用云API生成任务，在获得任务的URL后，管理员可以进行任务分配，操作员在接收到任务后，可以打开任务中的URL，从而获取到待处理的表单图像，操作员对任务重的表单图像完成识别操作后，提交保存，识别结果可以进行异步回传。

图12为本申请的前端时序图。参考图12，管理员通过控制台创建任务和管理任务，对于创建的任务中的表单图像，服务器可以进行预识别并保存识别结果，操作员通过OCR应用的操作页进行识别时，可以对显示的预识别结果进行修改，并进行表格绘制识别，表格绘制识别即通过框选表单图像中的目标区域以获得控件表格的过程，如果有新增的需要识别的表单，操作员还可以上传表单图像以新增文件，操作员还可以添加修改控件表格中的识别内容。操作员识别完成后可以提交任务，然后在操作页关闭任务，任务关闭后，无法再进行编辑。操作员可以从控制台下载已提交的任务数据进行查看。

图13为本申请的后端时序图。后端通过三个微服务：智慧表单接入服务、智慧表单管理服务、智慧表单任务管理服务实现智慧表单的识别任务管理、用户配置管理、任务拆分识别、操作员查看任务识别结果等功能，具有良好解耦和易于扩展的优点。参考图13，后端处理过程主要包括：管理员创建任务后，云API可以请求后端服务器创建主任务并按页进行任务差分，拆分的子任务可以保存至mysql中，智慧表单任务管理服务轮询数据库查询待处理的子任务，对查询到的多个子任务进行OCR识别(即通过OCR进行预识别)，多个子任务并发处理，然后将子任务识别结果更新至mysql数据库中，待所有子任务识别结果更新完成，获得所创建任务的任务识别结果。操作员可以通过操作页面向智慧表单接入服务查询任务识别结果，智慧表单接入服务进而调用公有云API查询任务识别结果，公有云API请求智慧表单服务提供的接口，以使得智慧表单服务从mysql数据库中查询任务识别结果，并将查询到的任务识别结果返回至公有云API，公有云API将任务识别结果返回至智慧表单接入服务，智慧表单接入服务进一步将任务识别结果发送至前端服务，从而操作员可以在操作页获得该任务识别结果并进行显示，操作员进一步可以通过表格绘制识别对任务识别结果进行更新，更新后的任务识别结果经由公有云API、智慧表单服务更新至mysql数据库，mysql数据库可以返回更新响应，该更新响应经由智慧表单服务、智慧表单服务、智慧表单接入服务返回至前端服务。

图14为本申请的识别过程的流程图。子任务经过表单预识别和表单绘制识别后，得到的识别结果可以保存至数据库中，并对智慧表单任务管理服务中的识别结果进行更新，根据更新的识别结果，智慧表单任务管理服务可以进行字段填充，然后保存字段结果和子任务状态至数据库中，保存成功后，更新子任务状态和主任务状态，最后将主任务状态保存至数据库中。

图15为本申请的数据传输的流程图。针对用户设置的传输状态，会有定时任务进行用户已确认提交状态的批量查询，之后对识别得到的表单数据生成JSON、XLSX、XML文件的结果，根据用户设置Api和Email地址对生成的文件结果进行传输，Api使用云客户端进行发送，Email使用邮件服务进行发送。

本申请提供的数据处理方法，可以通过框选区域的方式，识别出多样复杂的表格并将数据电子化。与传统OCR方案相比，本申请中的交互方式，交互效率高、成本较低且通用度较高。

应该理解的是，虽然如上的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的数据处理方法的数据处理装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个数据处理装置实施例中的具体限定可以参见上文中对于数据处理方法的限定，在此不再赘述。

在一些实施例中，如图16所示，提供了一种数据处理装置1600，包括：

图像显示模块1602，用于显示待处理图像，待处理图像中包括按行列排列的图像数据项；

表格绘制模块1604，用于响应于对待处理图像中目标区域的选择操作，在目标区域处显示绘制表格，目标区域内的图像数据项呈现在绘制表格内；

表格显示模块1606，用于显示控件表格，且在控件表格中呈现绘制表格内的图像数据项的字符识别结果，控件表格中呈现图像数据项的部分与绘制表格的表格结构相同。

上述数据处理装置，对于显示的包括按行列排列的图像数据项的待处理图像，可以响应于对该待处理图像中目标区域的选择操作，在目标区域处显示绘制表格，目标区域内的图像数据项呈现在绘制表格内，在显示了绘制表格后，可以显示与之对应的表格结构相同的控件表格，且在控件表格中呈现绘制表格内的图像数据项的字符识别结果，从而实现只需要对目标区域进行选择操作，即可获得能够呈现图像数据项的字符识别结果的控件表格，操作简单、便捷，提高了交互效率。

在一些实施例中，在所述待处理图像中所述目标区域处，按行列排列的图像数据项所形成的表格结构与所述绘制表格的表格结构相同。

在一些实施例中，表格绘制模块还用于：响应于针对待处理图像的边界框绘制操作，在待处理图像上显示绘制的边界框，边界框围合形成目标区域；在目标区域，显示以边界框为表格边界的绘制表格。

在一些实施例中，所述绘制表格还包括位于所述边界框内的表格线，所述表格线是基于所述目标区域中图像数据项所形成的表格结构确定。

在一些实施例中，表格绘制模块还用于：响应于对待处理图像中任意位置的触发操作，在触发操作所触发的位置处，显示初始边界框；响应于针对初始边界框的尺寸调整操作，调整初始边界框的尺寸；响应于尺寸调整操作的结束，在待处理图像上显示尺寸调整后的边界框，尺寸调整后的边界框围合形成目标区域。

在一些实施例中，初始边界框具有至少一个调整点；表格绘制模块还用于：响应于针对至少一个调整点中目标调整点的触发操作，显示用于指示尺寸调整方向的指示信息；响应于针对目标调整点的、且与尺寸调整方向匹配的调整操作，调整初始边界框的尺寸。

在一些实施例中，待处理图像显示在图像编辑界面中，图像编辑界面中显示有表格绘制功能项，表格绘制模块还用于：响应于对表格绘制功能项的功能触发操作，进入表格绘制状态，并显示表格绘制引导信息，表格绘制引导信息指示在待处理图像中绘制表格；响应于在表格绘制状态下触发的对待处理图像中目标区域的选择操作，在目标区域处显示绘制表格。

在一些实施例中，本申请的数据处理装置还包括：表格调整模块，用于响应于针对绘制表格和控件表格中一种表格的表格调整操作，显示按照表格调整操作同步调整的绘制表格和控件表格。

在一些实施例中，表格调整操作包括针对一种表格中表格线的位置调整操作、针对一种表格的表格结构调整操作或针对一种表格的表格尺寸调整操作中的至少一种。

在一些实施例中，一种表格为绘制表格，针对一种表格的表格结构调整操作包括以下至少一项：对绘制表格中任一表格线的删除操作；或者通过表格线绘制操作指示绘制点在绘制表格内移动，随着绘制点移动形成轨迹，在轨迹所处位置，增加与轨迹方向一致的表格线。

在一些实施例中，本申请的数据处理装置还包括：表头编辑模块，用于在控件表格中，显示处于待编辑状态的表头；表头包括多个表头项，每个表头项分别位于控件表格中每一列的预设排列位置处；响应于针对表头中任一表头项的字段选择操作，在字段选择操作所针对的表头项中显示字段选择操作所选择的字段。

在一些实施例中，待处理图像显示在图像编辑界面中，图像编辑界面中显示有语言转换功能项，本申请的数据处理装置还包括：语言转换模块，用于响应于对语言转换功能项的触发操作，显示多个候选语言；响应于针对多个候选语言的选择操作，将控件表格所显示的字符识别结果转换为选择操作所选中的候选语言下的翻译文本。

在一些实施例中，待处理图像显示在图像编辑界面中，图像编辑界面中显示有文件生成功能项，本申请的数据处理装置还包括：文件生成模块，用于响应于对语言转换功能项的触发操作，显示多个候选文件格式；响应于针对多个候选文件格式的选择操作，根据控件表格生成选择操作所选择的候选文件格式下的文件。

在一些实施例中，本申请的数据处理装置还包括：错误标记模块，用于响应于针对控件表格中任一单元格中字符识别结果的编辑操作，在编辑操作所针对的单元格中显示编辑操作所编辑的字符；响应于编辑操作的结束，在绘制表格中与编辑操作所针对的单元格位置对应的单元格中，添加用于表征识别错误的预设标记。

在一些实施例中，待处理图像为表单图像，表单图像中还包括除按行列排列的图像数据项的表单项，表单项包括项目名称和项目数据；本申请的数据处理装置还包括：识别结果编辑模块，用于显示表单项的字符识别结果；字符识别结果包括从项目名称识别到的键识别结果和从项目数据识别到的值识别结果；响应于针对值识别结果的编辑操作，显示编辑后的值识别结果。

在一些实施例中，本申请的数据处理装置还包括：项目名称识别模块，用于对表单项的项目名称进行识别，获得对应的初始识别结果；将初始识别结果，与预先配置的项目名称集合各项目名称进行匹配；将匹配成功的项目名称，确定为表单项的键识别结果。

上述数据处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一些实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图17所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种数据处理方法。该计算机设备的显示单元用于形成视觉可见的画面，可以是显示屏、投影装置或虚拟现实成像装置，显示屏可以是液晶显示屏或电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图17中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一些实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述数据处理方法的步骤。

在一些实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述数据处理方法的步骤。

在一些实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述数据处理方法的步骤。

需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (20)

1.一种数据处理方法，其特征在于，所述方法包括：

显示待处理图像，所述待处理图像中包括按行列排列的图像数据项；

响应于对所述待处理图像中目标区域的选择操作，在所述目标区域处显示绘制表格，所述目标区域内的图像数据项呈现在所述绘制表格内；

显示控件表格，且在所述控件表格中呈现所述绘制表格内的所述图像数据项的字符识别结果，所述控件表格中呈现所述图像数据项的部分与所述绘制表格的表格结构相同。

2.根据权利要求1所述的方法，其特征在于，在所述待处理图像中所述目标区域处，按行列排列的图像数据项所形成的表格结构与所述绘制表格的表格结构相同。

3.根据权利要求1所述的方法，其特征在于，所述响应于对所述待处理图像中目标区域的选择操作，在所述目标区域处显示绘制表格，包括：

响应于针对所述待处理图像的边界框绘制操作，在所述待处理图像上显示绘制的边界框，所述边界框围合形成目标区域；

在所述目标区域，显示以所述边界框为表格边界的绘制表格。

4.根据权利要求3所述的方法，其特征在于，所述绘制表格还包括位于所述边界框内的表格线，所述表格线是基于所述目标区域中图像数据项所形成的表格结构确定。

5.根据权利要求3所述的方法，其特征在于，所述响应于针对所述待处理图像的边界框绘制操作，在所述待处理图像上显示绘制的边界框，所述边界框围合形成目标区域，包括：

响应于对所述待处理图像中任意位置的触发操作，在所述触发操作所触发的位置处，显示初始边界框；

响应于针对所述初始边界框的尺寸调整操作，调整所述初始边界框的尺寸；

响应于所述尺寸调整操作的结束，在所述待处理图像上显示尺寸调整后的边界框，尺寸调整后的边界框围合形成目标区域。

6.根据权利要求5所述的方法，其特征在于，所述初始边界框具有至少一个调整点；所述响应于针对所述初始边界框的尺寸调整操作，调整所述初始边界框的尺寸，包括：

响应于针对所述至少一个调整点中目标调整点的触发操作，显示用于指示尺寸调整方向的指示信息；

响应于针对所述目标调整点的、且与所述尺寸调整方向匹配的调整操作，调整所述初始边界框的尺寸。

7.根据权利要求1所述的方法，其特征在于，所述待处理图像显示在图像编辑界面中，所述图像编辑界面中显示有表格绘制功能项，所述响应于对所述待处理图像中目标区域的选择操作，在所述目标区域处显示绘制表格，包括：

响应于对所述表格绘制功能项的功能触发操作，进入表格绘制状态，并显示表格绘制引导信息，所述表格绘制引导信息指示在所述待处理图像中绘制表格；

响应于在所述表格绘制状态下触发的对所述待处理图像中目标区域的选择操作，在所述目标区域处显示绘制表格。

8.根据权利要求1所述的方法，其特征在于，所述方法还包括：

响应于针对所述绘制表格和所述控件表格中一种表格的表格调整操作，显示按照所述表格调整操作同步调整的所述绘制表格和所述控件表格。

9.根据权利要求8所述的方法，其特征在于，所述表格调整操作包括针对所述一种表格中表格线的位置调整操作、针对所述一种表格的表格结构调整操作或针对所述一种表格的表格尺寸调整操作中的至少一种。

10.根据权利要求9所述的方法，其特征在于，所述一种表格为绘制表格，所述针对所述一种表格的表格结构调整操作包括以下至少一项：

对所述绘制表格中任一表格线的删除操作；或者

通过表格线绘制操作指示绘制点在所述绘制表格内移动，随着所述绘制点移动形成轨迹，在所述轨迹所处位置，增加与所述轨迹方向一致的表格线。

11.根据权利要求1至10任意一项所述的方法，其特征在于，所述方法还包括：

在所述控件表格中，显示处于待编辑状态的表头；所述表头包括多个表头项，每个所述表头项分别位于所述控件表格中每一列的预设排列位置处；

响应于针对所述表头中任一表头项的字段选择操作，在所述字段选择操作所针对的表头项中显示所述字段选择操作所选择的字段。

12.根据权利要求1至10任意一项所述的方法，其特征在于，所述待处理图像显示在图像编辑界面中，所述图像编辑界面中显示有语言转换功能项，所述方法还包括：

响应于对所述语言转换功能项的触发操作，显示多个候选语言；

响应于针对所述多个候选语言的选择操作，将所述控件表格所显示的字符识别结果转换为所述选择操作所选中的候选语言下的翻译文本。

13.根据权利要求1至10任意一项所述的方法，其特征在于，所述待处理图像显示在图像编辑界面中，所述图像编辑界面中显示有文件生成功能项，所述方法还包括：

响应于对所述文件生成功能项的触发操作，显示多个候选文件格式；

响应于针对所述多个候选文件格式的选择操作，根据所述控件表格生成所述选择操作所选择的候选文件格式下的文件。

14.根据权利要求1至10任意一项所述的方法，其特征在于，所述方法还包括：

响应于针对控件表格中任一单元格中字符识别结果的编辑操作，在所述编辑操作所针对的单元格中显示所述编辑操作所编辑的字符；

响应于所述编辑操作的结束，在所述绘制表格中与所述编辑操作所针对的单元格位置对应的单元格中，添加用于表征识别错误的预设标记。

15.根据权利要求1至10任意一项所述的方法，其特征在于，所述待处理图像为表单图像，所述表单图像中还包括除所述图像数据项的表单项，所述表单项包括项目名称和项目数据；所述方法还包括：

显示所述表单项的字符识别结果；所述字符识别结果包括从所述项目名称识别到的键识别结果和从所述项目数据识别到的值识别结果；

响应于针对所述值识别结果的编辑操作，显示编辑后的值识别结果。

16.根据权利要求15所述的方法，其特征在于，所述键识别结果通过项目名称识别步骤识别得到，所述项目名称识别步骤包括：

对所述表单项的项目名称进行识别，获得对应的初始识别结果；

将所述初始识别结果，与预先配置的项目名称集合各项目名称进行匹配；

将匹配成功的项目名称，确定为所述表单项的键识别结果。

17.一种数据处理装置，其特征在于，所述装置包括：

图像显示模块，用于显示待处理图像，所述待处理图像中包括按行列排列的图像数据项；

表格绘制模块，用于响应于对所述待处理图像中目标区域的选择操作，在所述目标区域处显示绘制表格，所述目标区域内的图像数据项呈现在所述绘制表格内；

表格显示模块，用于显示控件表格，且在所述控件表格中呈现所述绘制表格内的所述图像数据项的字符识别结果，所述控件表格中呈现所述图像数据项的部分与所述绘制表格的表格结构相同。

18.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至16中任一项所述的方法的步骤。

19.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至16中任一项所述的方法的步骤。

20.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至16中任一项所述的方法的步骤。