CN116071767A - 表格识别重建方法、装置、存储介质以及交互平板 - Google Patents

表格识别重建方法、装置、存储介质以及交互平板 Download PDF

Info

Publication number
CN116071767A
CN116071767A CN202111294257.9A CN202111294257A CN116071767A CN 116071767 A CN116071767 A CN 116071767A CN 202111294257 A CN202111294257 A CN 202111294257A CN 116071767 A CN116071767 A CN 116071767A
Authority
CN
China
Prior art keywords
vertex
cell
position coordinates
corner
coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111294257.9A
Other languages
English (en)
Inventor
夏李玮
韩大双
吴增程
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Shiyuan Electronics Thecnology Co Ltd
Guangzhou Shirui Electronics Co Ltd
Original Assignee
Guangzhou Shiyuan Electronics Thecnology Co Ltd
Guangzhou Shirui Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Shiyuan Electronics Thecnology Co Ltd, Guangzhou Shirui Electronics Co Ltd filed Critical Guangzhou Shiyuan Electronics Thecnology Co Ltd
Priority to CN202111294257.9A priority Critical patent/CN116071767A/zh
Publication of CN116071767A publication Critical patent/CN116071767A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/04162—Control or interface arrangements specially adapted for digitisers for exchanging data with external devices, e.g. smart pens, via the digitiser sensing hardware
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Character Input (AREA)

Abstract

本申请实施例提供一种表格识别重建方法、装置、存储介质以及交互平板，方法包括：监听到位于触控笔上的圈选按键的触发操作时，获取触控笔在触摸屏上圈选得到的目标内容；在目标内容包括表格图像时，对表格图像进行角点检测，获得表格图像的各个角点以及角点的位置坐标；根据角点的位置坐标，获得表格图像的各个单元格的位置坐标；在表格图像中，裁剪获得各个单元格的图像；获得各个单元格内的文本内容；根据各个单元格的位置坐标，重建表格图像的表格结构；将各个单元格内的文本内容填充至重建的表格结构中对应的单元格内，获得重建后的表格；本申请实施例节省了开发成本，运行量少，占用内存少，设计简单，提高了表格重建效率。

Description

表格识别重建方法、装置、存储介质以及交互平板
技术领域
本申请实施例涉及表格识别领域，特别是涉及一种表格识别重建方法、装置、存储介质以及交互平板。
背景技术
用户可以在白板上书写笔迹，也可以通过白板显示图像。在相关一些技术中，当需要将白板的表格图像进行OCR识别来重建表格时，不仅要识别出表格内容，还需要识别出表格结构。一般地，表格图像包括由单元格构成的表格结构以及在单元格内的文本内容。在相关一些技术中，对表格图像进行识别重建的方法是将表格结构检测与文本内容检测分开，也即，通过文本检测模型检测出表格图像中所有单元格中的文字位置；再根据文字位置，将表格图像裁剪出文字图像，然后将文字图像输入到文本识别模型得到文本内容；同时，对表格结构进行预测，得到预测后的整体的表格信息以及每个单元格的位置；之后，再根据文本位置与单元格的位置进行一一对应，最后将对应好的单元格的文本内容填充到表格中对应的单元格中，得到重建后的表格。
发明人在实现本发明的过程中，发现：文本检测模型需要采用大量的训练数据以及构建复杂的深度学习模型，增大了开发成本，而且采用文本检测模型进行深度学习检测的方式，运行量大，占用内存多，效率不高；另外，采用文本检测模型获得文本位置后，还需要将文本位置与单元格位置一一匹配，计算复杂，导致表格重建效率低。
发明内容
为克服相关技术中存在的问题，本申请提供一种表格识别重建方法、装置、存储介质以及交互平板，其可节省开发成本，运行量少，占用内存少，设计简单，可提高表格重建效率。
根据本申请实施例的第一方面，提供一种表格识别重建方法，包括如下步骤：
监听到位于触控笔上的圈选按键的触发操作时，获取所述触控笔在触摸屏上圈选得到的目标内容；
在所述目标内容包括表格图像时，对所述表格图像进行角点检测，获得所述表格图像的各个角点以及所述角点的位置坐标；
根据所述角点的位置坐标，对各个所述角点进行行列结构识别，获得所述表格图像的各个单元格的位置坐标；
在所述表格图像中，根据各个所述单元格的位置坐标，裁剪获得各个单元格的图像；
对各个所述单元格的图像进行文本识别，获得各个单元格内的文本内容；
根据各个所述单元格的位置坐标，重建所述表格图像的表格结构；
将各个所述单元格内的文本内容填充至重建的所述表格结构中对应的单元格内，获得重建后的表格；
在所述触摸屏上，将重建后的所述表格替换所述表格图像。
根据本申请实施例的第二方面，提供一种表格识别重建方法，包括如下步骤：
获取待识别的表格图像；
对所述表格图像进行角点检测，获得所述表格图像的各个角点以及所述角点的位置坐标；
根据所述角点的位置坐标，对各个所述角点进行行列结构识别，获得所述表格图像的各个单元格的位置坐标；
在所述表格图像中，根据各个所述单元格的位置坐标，裁剪获得各个单元格的图像；
对各个所述单元格的图像进行文本识别，获得各个单元格内的文本内容；
根据各个所述单元格的位置坐标，重建所述表格图像的表格结构；
将各个所述单元格内的文本内容填充至重建的所述表格结构中对应的单元格内，获得重建后的表格。
根据本申请实施例的第三方面，提供一种表格识别重建装置，包括：
目标内容获取模块，用于监听到位于触控笔上的圈选按键的触发操作时，获取所述触控笔在触摸屏上圈选得到的目标内容；
第一角点信息获取模块，用于在所述目标内容包括表格图像时，对所述表格图像进行角点检测，获得所述表格图像的各个角点以及所述角点的位置坐标；
第一位置坐标获取模块，用于根据所述角点的位置坐标，对各个所述角点进行行列结构识别，获得所述表格图像的各个单元格的位置坐标；
第一图像裁剪模块，用于在所述表格图像中，根据各个所述单元格的位置坐标，裁剪获得各个单元格的图像；
第一文本内容获取模块，用于对各个所述单元格的图像进行文本识别，获得各个单元格内的文本内容；
第一表格结构获取模块，用于根据各个所述单元格的位置坐标，重建所述表格图像的表格结构；
第一表格重建模块，用于将各个所述单元格内的文本内容填充至重建的所述表格结构中对应的单元格内，获得重建后的表格；
表格图像替换模块，用于在所述触摸屏上，将重建后的所述表格替换所述表格图像。
根据本申请实施例的第四方面，提供一种表格识别重建装置，包括：
表格图像获取模块，用于获取待识别的表格图像；
第二角点信息获取模块，对所述表格图像进行角点检测，获得所述表格图像的各个角点以及所述角点的位置坐标；
第二位置坐标获取模块，用于根据所述角点的位置坐标，对各个所述角点进行行列结构识别，获得所述表格图像的各个单元格的位置坐标；
第二图像裁剪模块，用于在所述表格图像中，根据各个所述单元格的位置坐标，裁剪获得各个单元格的图像；
第二文本内容获取模块，用于对各个所述单元格的图像进行文本识别，获得各个单元格内的文本内容；
第二表格结构获取模块，用于根据各个所述单元格的位置坐标，重建所述表格图像的表格结构；
第二表格重建模块，用于将各个所述单元格内的文本内容填充至重建的所述表格结构中对应的单元格内，获得重建后的表格。
根据本申请实施例的第五方面，提供一种电子设备，包括处理器和存储器；所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行如上述所述的表格识别重建方法。
根据本申请实施例的第六方面，提供一种计算机可读存储介质，其上储存有计算机程序，其特征在于，该计算机程序被处理器执行时实现如上述所述的表格识别重建方法。
本申请实施例通过监听到位于触控笔上的圈选按键的触发操作时，获取所述触控笔在触摸屏上圈选得到的目标内容；在所述目标内容包括表格图像时，对所述表格图像进行角点检测，获得所述表格图像的各个角点以及所述角点的位置坐标；根据所述角点的位置坐标，对各个所述角点进行行列结构识别，获得所述表格图像的各个单元格的位置坐标；在所述表格图像中，根据各个所述单元格的位置坐标，裁剪获得各个单元格的图像；对各个所述单元格的图像进行文本识别，获得各个单元格内的文本内容；根据各个所述单元格的位置坐标，重建所述表格图像的表格结构；将各个所述单元格内的文本内容填充至重建的所述表格结构中对应的单元格内，获得重建后的表格；在所述触摸屏上，将重建后的所述表格替换所述表格图像，可以直接通过触发触控笔上的圈选按键圈选目标内容，避免用户在触摸屏上频繁手动切换识别模式，操作方便快捷，而且不需要文本检测模型获取文本内容，不需要大量的训练数据以及构建复杂的深度学习文本检测模型，也不需要将文本位置与单元格进行一一匹配，节省了开发成本，运行量少，占用内存少，设计简单，提高了表格重建效率。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
为了更好地理解和实施，下面结合附图详细说明本发明。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请一个实施例示出的表格识别重建方法的应用环境示意图；
图2为本申请一个实施例示出的表格识别重建方法的流程图；
图3为本申请一个实施例示出的识别重建文字的效果图；
图4为本申请一个实施例示出的识别重建表格的效果图；
图5为本申请一个实施例示出的表格识别重建方法的原理框图；
图6为本申请另一个实施例示出的表格识别重建方法的流程图；
图7为本申请一个实施例示出的表格识别重建装置的示意框图；
图8为本申请另一个实施例示出的表格识别重建装置的示意框图；
图9为本申请一个实施例示出的电子设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施例方式作进一步地详细描述。
应当明确，所描述的实施例仅仅是本申请实施例一部分实施例，而不是全部的实施例。基于本申请实施例中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本申请实施例保护的范围。
下面的描述涉及附图时，除非另有表示，各个附图中的相同数字表示相同或相似的要素。在本申请的描述中，需要理解的是，术语“第一”、“第二”、“第三”等仅用于区别类似的对象，而不必用于描述特定的顺序或先后次序，也不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。在此所使用的词语“如果”/“若”可以被解释成为“在……时”或“当……时”或“响应于确定”。
此外，在本申请的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
在介绍本申请的技术方案之前，下面对本申请提到的相关技术进行说明如下：
OCR(Optical Character Recognition，光学字符识别)是指电子设备(例如扫描仪或数码相机)检查纸上打印的字符，通过检测暗、亮的模式确定其形状，然后用字符识别方法将形状翻译成计算机文字的过程；即，针对印刷体字符，采用光学的方式将纸质文档中的文字转换成为黑白点阵的图像文件，并通过识别软件将图像中的文字转换成文本格式，供文字处理软件进一步编辑加工的技术。
为更好的理解本申请的技术方案，下面对一些相关技术中的OCR识别方案进行说明如下：
用户可以在白板上书写笔迹，也可以通过白板显示图像。在相关一些技术中，若需要将笔迹或者图像等进行OCR识别时，需要在书写笔迹或者显示图像时，控制白板开启文本识别功能，在文本识别完成后，再关掉文本识别功能。发明人在实现本发明的过程中，发现：当需要识别局部的书写笔迹或者局部图像时，需要在白板上频繁切换文本识别的功能开关，操作麻烦。
而且，当需要识别表格图像时，不仅要识别出表格内容，还需要识别出表格结构。一般地，表格图像包括由单元格构成的表格结构以及在单元格内的文本内容。在相关一些技术中，对表格图像进行识别重建的方法是将表格结构检测与文本内容检测分开，也即，通过文本检测模型检测出表格图像中所有单元格中的文字位置；再根据文字位置，将表格图像裁剪出文字图像，然后将文字图像输入到文本识别模型得到文本内容；同时，对表格结构进行预测，得到预测后的整体的表格信息以及每个单元格的位置；之后，再根据文本位置与单元格的位置进行一一对应，最后将对应好的单元格的文本内容填充到表格中对应的单元格中，得到重建后的表格。
发明人在实现本发明的过程中，发现：文本检测模型需要采用大量的训练数据以及构建复杂的深度学习模型，增大了开发成本，而且采用文本检测模型进行深度学习检测的方式，运行量大，占用内存多，效率不高；另外，采用文本检测模型获得文本位置后，还需要将文本位置与单元格位置一一匹配，计算复杂，导致表格重建效率低。
针对相关技术中存在的问题，本申请实施例提供了一种表格识别重建方法。为更好的理解本申请的技术方案，在介绍本申请实施例提供的表格识别重建方法之前，下面先介绍本申请实施例的表格识别重建方法的应用环境。
请参照图1，其为本申请一个实施例的表格识别重建方法的应用环境示意图。本申请实施例的表格识别重建方法的应用环境包括表格识别重建终端110和触控笔120。
表格识别重建终端110所指向的硬件，本质上是具备个人计算机等效能力的计算机设备，其具有中央处理器(包括运算器和控制器)、存储器、输入设备以及输出设备等冯诺依曼原理所揭示的必要构件的硬件装置；其中，计算机程序存储于其存储器中，中央处理器将存储在外存中的程序调入内存中运行，执行程序中的指令，与输入输出设备交互，借此完成特定的功能。可选的，表格识别重建终端110可以是手机、平板电脑、PDA(PersonalDigital Assistant，个人数字助理)、智慧电视等任意终端设备，本申请对此不做限定。在本申请实施例中，表格识别重建终端110为交互平板。
表格识别重建终端110内可安装有至少一类操作系统，其中，操作系统包括但不限定于安卓系统、Linux系统及Windows系统。表格识别重建终端110还可安装有至少一个应用程序，其中，该应用程序可以为操作系统自带的应用程序，也可以为从第三方设备或者服务器中下载的应用程序。在本申请实施中，表格识别重建终端按照有白板应用程序；启动该白板应用程序后，可在表格识别重建终端上显示一白板，在白板上可进行书写笔迹书写，也可以显示图像。
表格识别重建终端110包括触摸屏；触摸屏是一种感应式显示装置，集成有显示屏和触控组件，在本领域技术中，有时又称为触摸屏、触控屏和触控面板。当触摸触摸屏后，触摸屏可根据预先编程的程式驱动各种连接装置，实现对系统的控制，然后随着系统内置的软件来实现不同的功能应用如反馈对应的音视频数据，并借由显示画面制造出生动的影音效果。按照触摸屏的工作原理和传输信息的介质，可以把触摸屏分为四个种类：电阻式、电容感应式、红外线式以及表面声波式等。
触控笔120为是一种小笔形的工具，用来输入指令到电脑屏幕、移动设备、绘图板等具有触摸屏的设备，用户可以通过触控笔点击触控屏幕来选取文件或绘画或写字。此外，触控笔120上还可以设置有若干个功能按键，触控笔还可以通过无线的方式与表格识别重建终端110建立连接，如通过蓝牙、超声波、红外线等交互方式，使表格识别重建终端110获取触控笔的功能按键的触发操作。
实施例1
下面将结合附图2至图4，对本申请实施例提供的表格识别重建方法进行详细介绍。
请参阅图2，本申请实施例提供的表格识别重建方法，包括如下步骤：
步骤S101：监听到位于触控笔上的圈选按键的触发操作时，获取所述触控笔在触摸屏上圈选得到的目标内容。
本申请实施例的表格识别重建方法应用于表格识别重建终端，其中，表格识别重建终端具体可以为交互平板；在交互平板上运行有白板；在白板上可以运行有圈选按键检测程序。当通过圈选按键检测程序监听到触控笔上的圈选按键的触发操作后，白板将获取所述触控笔在触摸屏上圈选得到的目标内容。
步骤S102：在所述目标内容包括表格图像时，对所述表格图像进行角点检测，获得所述表格图像的各个角点以及所述角点的位置坐标。
其中，角点可以是两条线的交叉点，也可以是位于相邻的两个主要方向不同的事物上的点，本申请实施例中，角点为表格图像中的一条横边和一条竖边的交点。
可选的，可以采用Harris角点检测方法对所述目标图像进行角点检测，获得所述表格图像的各个角点以及所述角点的位置坐标；具体的，通过一个固定窗口在表格图像上进行任意方向上的滑动，而且比较滑动前与滑动后的窗口中的像素灰度变化程度，如果存在任意方向上的滑动，都有着较大灰度变化，那么我们可以认为该窗口中存在角点，进而通过检测灰度变化最大的位置，获得所述表格图像的各个角点以及所述角点的位置坐标。
应当理解的是，本申请还可以采用Moravec角点检测算法或者Shi-Tomasi算法等方法进行角点检测，本申请并不加以限制。
可选的，目标内容可以包括书写笔迹、印刷文本和/或图像。
请参阅图3，在目标内容包括书写笔迹时，将目标内容在图形库和文本库中进行匹配，获得匹配到的图形内容和/或文本内容，在触摸屏上，将匹配到的图形内容和/或文本内容替换目标内容。其中，图形库和文本库可以为本地或在线的已知的识别库。
在目标内容中包括印刷文本时，保持所述印刷文本不变，也即，保持目标图像不变。
在目标内容包括图像时，通过图片识别库对图片内容进行提取，若图像中不包括表格，则保留图像不变，不做操作；请参阅图4，若图像中包括表格图像，则按照本申请的表格识别重建方法识别重建表格，将表格图像替换为重建的表格。
步骤S103：根据所述角点的位置坐标，对各个所述角点进行行列结构识别，获得所述表格图像的各个单元格的位置坐标。
其中，可以将面对所述表格图像时，所述表格图像的中心作为起点，横向作为X轴，纵向作为Y轴，建立直角坐标系，获得在该直角坐标系中所述表格图像的各个角点的位置坐标。
行列结构用于确定角点之间的行列关系，通过结合行列关系以及各个角点的位置坐标，可以获得所述表格图像的各个单元格的位置坐标。
步骤S104：在所述表格图像中，根据各个所述单元格的位置坐标，裁剪获得各个单元格的图像。
在所述表格图像中，每个单元格占据了一定面积的图像，而每个单元格的位置坐标知晓后，则可以根据所述各个单元格的位置坐标，从所述目标图像中，裁剪获得各个单元格图像。
步骤S105：对各个所述单元格的图像进行文本识别，获得各个单元格内的文本内容。
其中，可以通过预设的文本识别模型对所述各个单元格图像进行文本识别，获得各个单元格内的文本内容，其中，文本识别模型可以是基于已标注好的文本内容的单元格图像样本训练获得的。
步骤S106：根据各个所述单元格的位置坐标，重建所述表格图像的表格结构。
表格结构实际上是由单元格构成的，根据各个所述单元格的位置坐标，可以重建获得表格结构。
步骤S107：将各个所述单元格内的文本内容填充至重建的所述表格结构中对应的单元格内，获得重建后的表格。
步骤S108：在所述触摸屏上，将重建后的所述表格替换所述表格图像。
本申请实施例通过监听到位于触控笔上的圈选按键的触发操作时，获取所述触控笔在触摸屏上圈选得到的目标内容；在所述目标内容包括表格图像时，对所述表格图像进行角点检测，获得所述表格图像的各个角点以及所述角点的位置坐标；根据所述角点的位置坐标，对各个所述角点进行行列结构识别，获得所述表格图像的各个单元格的位置坐标；在所述表格图像中，根据各个所述单元格的位置坐标，裁剪获得各个单元格的图像；对各个所述单元格的图像进行文本识别，获得各个单元格内的文本内容；根据各个所述单元格的位置坐标，重建所述表格图像的表格结构；将各个所述单元格内的文本内容填充至重建的所述表格结构中对应的单元格内，获得重建后的表格；在所述触摸屏上，将重建后的所述表格替换所述表格图像，可以直接通过触发触控笔上的圈选按键圈选目标内容，避免用户在触摸屏上频繁手动切换识别模式，操作方便快捷，而且不需要文本检测模型获取文本内容，不需要大量的训练数据以及构建复杂的深度学习文本检测模型，也不需要将文本位置与单元格进行一一匹配，节省了开发成本，运行量少，占用内存少，设计简单，提高了表格重建效率。
在一个实施例中，步骤S101中所述监听到位于触控笔上的圈选按键的触发操作时，获取所述触控笔在触摸屏上圈选得到的目标内容的步骤，包括：
步骤S1011：监听到触控笔上的圈选按键的按压而产生的触发操作时，获取在所述圈选按键处于按压状态时，所述触控笔在触摸屏上的圈选操作。
可选的，触控笔设置有第一蓝牙模块，白板上设置有第二蓝牙模块，且白板上运行有圈选按键检测程序。当用户按下触控笔上的圈选按键而触发所述圈选按键，触控笔将根据HID(The Human Interface Device)协议产生圈选按键对应的触发信息，并将该触发信息通过第一蓝牙模块和第二蓝牙模块发送至白板，白板的圈选按键检测程序获取该触发信息后，将获取所述触控笔在触摸屏上的圈选操作，并跟随所述触控笔在白板上绘制移动轨迹线。
在一些实施例中，触控笔和白板还可以通过其他无线交互方式，例如，超声波、红外线等交互方式，使白板监听到触控笔上的圈选按键的按压而产生的触发操作。
步骤S1012：监听到所述触控笔抬笔或者监听到所述圈选按键不在按压状态时，将在所述圈选操作过程中检测的触摸点进行连接，得到所述目标内容。
可选的，当监听到所述触控笔抬笔但是触控笔上的圈选按键还处于按压状态时，白板也将在所述圈选操作过程中检测的触摸点进行连接，得到所述目标内容，此时，触控笔若再次再触摸屏上进行圈选，则获得的时下一个目标内容。
可选的，在监听到所述触控笔抬笔之前，监听到触控笔上的圈选按键不再处于按压状态时，白板将响应于触控笔上的圈选按键不再处于按压状态的动作时，也即，在白板未接收到触控笔发送的触发信息时，白板也将在所述圈选操作过程中检测的触摸点进行连接，得到所述目标内容。
其中，所述圈选操作对应的移动轨迹可以不闭合，也可以闭合。
在所述圈选操作对应的移动轨迹闭合时，将在所述圈选操作过程中检测的触摸点依序连接得到闭合轨迹曲线，将闭合轨迹曲线的内容作为所述目标内容。
在所述圈选操作对应的移动轨迹不闭合时，将在所述圈选操作过程中检测的触摸点依序连接后，再将首尾触摸点相互连接，形成闭合轨迹去向，将将闭合轨迹曲线的内容作为所述目标内容。
本申请实施例中，用户只需要触发触控笔上的圈选按键，进而触控屏通过监听位于触控笔上的圈选按键的触发操作，进而将触控笔在圈选操作过程中检测的触摸点进行连接，得到目标内容，即可实现对目标内容的识别，可以避免用户在触摸屏上频繁手动切换识别模式，操作方便快捷。
在一个实施例中，步骤S103中所述根据所述各个角点的位置坐标，对各个角点进行行列结构识别，获得所述目标表格中各个单元格的位置坐标的步骤，包括：
步骤S1031：根据所述角点的位置坐标，对各个所述角点进行行分类和列分类，获得各个所述角点的行列关系。
步骤S1032：选择一个角点作为一个单元格的第一顶点，将位于所述第一顶点同一行且位于所述第一顶点的右边的第一个角点作为所述单元格的第二顶点以及将位于所述第一顶点同一列且位于所述第一顶点的下边的第一个角点作为所述单元格的第三顶点。
步骤S1033：以所述第二顶点的纵坐标和所述第三顶点的横坐标作为预测的第四顶点的坐标，计算各个角点的坐标与所述预测的第四顶点的坐标的距离。
步骤S1034：若存在所述距离小于预设阈值，将所述距离小于所述预设阈值的角点作为所述单元格的第四顶点。
如图5所示，选择角点A作为一个单元格的第一顶点，将与所述第一顶点同一行且位于所述第一顶点的右边的第一个角点C作为所述单元格的第二顶点以及将与所述第一顶点同一列且位于所述第一顶点的下边的第一个角点B作为所述单元格的第三顶点。若存在角点D与所述预测的第四顶点的坐标的距离小于预设阈值，则将所述距离小于所述预设阈值的角点D作为所述单元格的第四顶点。
步骤S1035：若不存在所述距离小于预设阈值，将位于所述第一顶点同一行且位于所述第一顶点的右边的第二个角点重新作为所述单元格的第二顶点；以重新确定的所述第二顶点的纵坐标和所述第三顶点的横坐标作为预测的第四顶点的坐标，计算各个角点的坐标与所述预测的第四顶点的坐标的距离,直至获得所述单元格的第四顶点为止。
如图5所示，选择角点E作为一个单元格的第一顶点，将与所述第一顶点同一行且位于所述第一顶点的右边的第一个角点G作为所述单元格的第二顶点以及将与所述第一顶点同一列且位于所述第一顶点的下边的第一个角点F作为所述单元格的第三顶点。若不存在角点与所述预测的第四顶点的坐标的距离小于预设阈值，则将与所述第一顶点同一行且位于所述第一顶点的右边的第二个角点H重新作为所述单元格的第二顶点,以重新确定的所述第二顶点的纵坐标和所述第三顶点的横坐标作为预测的第四顶点的坐标，计算各个角点的坐标与所述预测的第四顶点的坐标的距离,此时存在角点I与所述预测的第四顶点的坐标的距离小于预设阈值，则将所述距离小于所述预设阈值的角点I作为所述单元格的第四顶点。
步骤S1036：根据所述第一顶点的坐标、所述第二顶点的坐标、所述第三顶点的坐标以及所述第四顶点的坐标，获得所述单元格的位置坐标。
如图5所示，根据角点A的坐标、角点B的坐标、角点C的坐标以及角点D的坐标,可以获得单元格1的四个顶点的坐标，从而确定出单元格1的位置坐标。
步骤S1037：选择新的一个角点作为下一个单元格的第一顶点，按照上述步骤重新获得下一个所述单元格的位置坐标，直至遍历所有角点，获得各个单元格的位置坐标。
本申请实施例通过根据各个角点的行列关系，进而选择一个角点作为一个单元格的第一顶点，将与所述第一顶点同一行且位于所述第一顶点的右边的第一个角点作为所述单元格的第二顶点以及将与所述第一顶点同一列且位于所述第一顶点的下边的第一个角点作为所述单元格的第三顶点，预测的第四顶点的坐标，计算各个角点的坐标与所述预测的第四顶点的坐标的距离，从而获得对应的第四顶点，进而实现快捷地获得各个单元格的位置坐标。
在上述实施例的基础上，步骤S1031中所述根据所述各个角点的位置坐标，对所述各个角点进行行分类和列分类，获得各个角点的行列角点集合的步骤，包括：
步骤S10311：计算各个所述角点的纵坐标之间的第一距离，获取所述第一距离小于第一预设阈值的角点集合。
其中，第一预设阈值可以根据实际需要的精度进行设置，可选的，所述第一预设阈值一般可以设置为10个像素点。
步骤S10312：计算所述角点集合中各个所述角点的横坐标之间的第二距离，获取所述第二距离小于第二预设阈值的角点，得到各个所述角点的行列关系。
其中，第二预设阈值可以根据实际需要的精度进行设置，可选的，所述第一预设阈值一般可以设置为10个像素点。
本申请实施例将各个所述角点的纵坐标之间的第一距离与第一预设阈值进行比较，且将各个所述角点的横坐标之间的第二距离与第二预设阈值进行比较，可以快捷准确地获得各个所述角点的行列关系。
实施例2
本申请实施例还提供一种表格识别重建方法，请参阅图6，本申请实施例公开的一种表格识别重建方法，包括如下步骤：
步骤S201：获取待识别的表格图像；
步骤S202：对所述表格图像进行角点检测，获得所述表格图像的各个角点以及所述角点的位置坐标；
步骤S203：根据所述角点的位置坐标，对各个所述角点进行行列结构识别，获得所述表格图像的各个单元格的位置坐标；
步骤S204：在所述表格图像中，根据各个所述单元格的位置坐标，裁剪获得各个单元格的图像；
步骤S205：对各个所述单元格的图像进行文本识别，获得各个单元格内的文本内容；
步骤S206：根据各个所述单元格的位置坐标，重建所述表格图像的表格结构；
步骤S207：将各个所述单元格内的文本内容填充至重建的所述表格结构中对应的单元格内，获得重建后的表格。
本申请实施例通过获取待识别的表格图像，对所述表格图像进行角点检测，获得所述表格图像的各个角点以及所述角点的位置坐标；根据所述角点的位置坐标，对各个所述角点进行行列结构识别，获得所述表格图像的各个单元格的位置坐标；在所述表格图像中，根据各个所述单元格的位置坐标，裁剪获得各个单元格的图像；对各个所述单元格的图像进行文本识别，获得各个单元格内的文本内容；根据各个所述单元格的位置坐标，重建所述表格图像的表格结构；将各个所述单元格内的文本内容填充至重建的所述表格结构中对应的单元格内，获得重建后的表格，本申请实施例不需要文本检测模型获取文本内容，不需要大量的训练数据以及构建复杂的深度学习文本检测模型，也不需要将文本位置与单元格进行一一匹配，节省了开发成本，运行量少，占用内存少，设计简单，提高了表格重建效率。
在一个实施例中，步骤S203中所述根据所述各个角点的位置坐标，对各个角点进行行列结构识别，获得所述目标表格中各个单元格的位置坐标的步骤，包括：
步骤S2031：根据所述角点的位置坐标，对各个所述角点进行行分类和列分类，获得各个所述角点的行列关系。
步骤S2032：选择一个角点作为一个单元格的第一顶点，将位于所述第一顶点同一行且位于所述第一顶点的右边的第一个角点作为所述单元格的第二顶点以及将位于所述第一顶点同一列且位于所述第一顶点的下边的第一个角点作为所述单元格的第三顶点。
步骤S2033：以所述第二顶点的纵坐标和所述第三顶点的横坐标作为预测的第四顶点的坐标，计算各个角点的坐标与所述预测的第四顶点的坐标的距离。
步骤S2034：若存在所述距离小于预设阈值，将所述距离小于所述预设阈值的角点作为所述单元格的第四顶点。
步骤S2035：若不存在所述距离小于预设阈值，将位于所述第一顶点同一行且位于所述第一顶点的右边的第二个角点重新作为所述单元格的第二顶点；以重新确定的所述第二顶点的纵坐标和所述第三顶点的横坐标作为预测的第四顶点的坐标，计算各个角点的坐标与所述预测的第四顶点的坐标的距离,直至获得所述单元格的第四顶点为止。
步骤S2036：根据所述第一顶点的坐标、所述第二顶点的坐标、所述第三顶点的坐标以及所述第四顶点的坐标，获得所述单元格的位置坐标。
步骤S2037：选择新的一个角点作为下一个单元格的第一顶点，按照上述步骤重新获得下一个所述单元格的位置坐标，直至遍历所有角点，获得各个单元格的位置坐标。
本申请实施例通过根据各个角点的行列关系，进而选择一个角点作为一个单元格的第一顶点，将与所述第一顶点同一行且位于所述第一顶点的右边的第一个角点作为所述单元格的第二顶点以及将与所述第一顶点同一列且位于所述第一顶点的下边的第一个角点作为所述单元格的第三顶点，预测的第四顶点的坐标，计算各个角点的坐标与所述预测的第四顶点的坐标的距离，从而获得对应的第四顶点，进而实现快捷地获得各个单元格的位置坐标。
在上述实施例的基础上，步骤S2031中所述根据所述各个角点的位置坐标，对所述各个角点进行行分类和列分类，获得各个角点的行列角点集合的步骤，包括：
步骤S20311：计算各个所述角点的纵坐标之间的第一距离，获取所述第一距离小于第一预设阈值的角点。
其中，第一预设阈值可以根据实际需要的精度进行设置，可选的，所述第一预设阈值一般可以设置为10个像素点。
步骤S20312：计算所述角点集合中各个所述角点的横坐标之间的第二距离，获取所述第二距离小于第二预设阈值的角点，得到各个所述角点的行列关系。
其中，第二预设阈值可以根据实际需要的精度进行设置，可选的，所述第一预设阈值一般可以设置为10个像素点。
本申请实施例将各个所述角点的纵坐标之间的第一距离与第一预设阈值进行比较，且将各个所述角点的横坐标之间的第二距离与第二预设阈值进行比较，可以快捷准确地获得各个所述角点的行列关系。
实施例3
下述为本申请实施例1中方法对应的装置实施例，可以用于执行本申请实施例1中方法的内容。对于本申请装置实施例中未披露的细节，请参照本申请实施例1中方法的内容。
请参阅图7，本申请的表格识别重建装置500，包括：
目标内容获取模块301，用于监听到位于触控笔上的圈选按键的触发操作时，获取所述触控笔在触摸屏上圈选得到的目标内容；
第一角点信息获取模块302，用于在所述目标内容包括表格图像时，对所述表格图像进行角点检测，获得所述表格图像的各个角点以及所述角点的位置坐标；
第一位置坐标获取模块303，用于根据所述角点的位置坐标，对各个所述角点进行行列结构识别，获得所述表格图像的各个单元格的位置坐标；
第一图像裁剪模块304，用于在所述表格图像中，根据各个所述单元格的位置坐标，裁剪获得各个单元格的图像；
第一文本内容获取模块305，用于对各个所述单元格的图像进行文本识别，获得各个单元格内的文本内容；
第一表格结构获取模块306，用于根据各个所述单元格的位置坐标，重建所述表格图像的表格结构；
第一表格重建模块307，用于将各个所述单元格内的文本内容填充至重建的所述表格结构中对应的单元格内，获得重建后的表格；
表格图像替换模块308，用于在所述触摸屏上，将重建后的所述表格替换所述表格图像。
本申请实施例通过监听到位于触控笔上的圈选按键的触发操作时，获取所述触控笔在触摸屏上圈选得到的目标内容；在所述目标内容包括表格图像时，对所述表格图像进行角点检测，获得所述表格图像的各个角点以及所述角点的位置坐标；根据所述角点的位置坐标，对各个所述角点进行行列结构识别，获得所述表格图像的各个单元格的位置坐标；在所述表格图像中，根据各个所述单元格的位置坐标，裁剪获得各个单元格的图像；对各个所述单元格的图像进行文本识别，获得各个单元格内的文本内容；根据各个所述单元格的位置坐标，重建所述表格图像的表格结构；将各个所述单元格内的文本内容填充至重建的所述表格结构中对应的单元格内，获得重建后的表格；在所述触摸屏上，将重建后的所述表格替换所述表格图像，可以直接通过触发触控笔上的圈选按键圈选目标内容，避免用户在触摸屏上频繁手动切换识别模式，操作方便快捷，而且不需要文本检测模型获取文本内容，不需要大量的训练数据以及构建复杂的深度学习文本检测模型，也不需要将文本位置与单元格进行一一匹配，节省了开发成本，运行量少，占用内存少，设计简单，提高了表格重建效率。
在一个实施例中，目标内容获取模块301包括：
圈选操作获取模块，用于监听到触控笔上的圈选按键的按压而产生的触发操作时，获取在所述圈选按键处于按压状态时，所述触控笔在触摸屏上的圈选操作。
触摸点连接模块，用于监听到所述触控笔抬笔或者监听到所述圈选按键不在按压状态时，将在所述圈选操作过程中检测的触摸点进行连接，得到所述目标内容。
在一个实施例中，第一位置坐标获取模块303包括：
第一行列关系获取模块，用于根据所述角点的位置坐标，对各个所述角点进行行分类和列分类，获得各个所述角点的行列关系。
第一顶点选取模块，选择一个角点作为一个单元格的第一顶点，将位于所述第一顶点同一行且位于所述第一顶点的右边的第一个角点作为所述单元格的第二顶点以及将位于所述第一顶点同一列且位于所述第一顶点的下边的第一个角点作为所述单元格的第三顶点。
第一距离计算模块，用于以所述第二顶点的纵坐标和所述第三顶点的横坐标作为预测的第四顶点的坐标，计算各个角点的坐标与所述预测的第四顶点的坐标的距离。
第一顶点确定模块，用于若存在所述距离小于预设阈值，将所述距离小于所述预设阈值的角点作为所述单元格的第四顶点。
第一顶点重新确定模块，用于若不存在所述距离小于预设阈值，将位于所述第一顶点同一行且位于所述第一顶点的右边的第二个角点重新作为所述单元格的第二顶点；以重新确定的所述第二顶点的纵坐标和所述第三顶点的横坐标作为预测的第四顶点的坐标，计算各个角点的坐标与所述预测的第四顶点的坐标的距离,直至获得所述单元格的第四顶点为止。
第一位置坐标确定模块，用于根据所述第一顶点的坐标、所述第二顶点的坐标、所述第三顶点的坐标以及所述第四顶点的坐标，获得所述单元格的位置坐标。
第一单元格确定模块，用于选择新的一个角点作为下一个单元格的第一顶点，按照上述步骤重新获得下一个所述单元格的位置坐标，直至遍历所有角点，获得各个单元格的位置坐标。
在一个实施例中，第一行列关系获取模块包括：
第一角点集合获取模块，用于计算各个所述角点的纵坐标之间的第一距离，获取所述第一距离小于第一预设阈值的角点集合。
第一行列关系确定模块，用于计算所述角点集合中各个所述角点的横坐标之间的第二距离，获取所述第二距离小于第二预设阈值的角点，得到各个所述角点的行列关系。
实施例4
下述为本申请实施例2中方法对应的装置实施例，可以用于执行本申请实施例2中方法的内容。对于本申请装置实施例中未披露的细节，请参照本申请实施例2中方法的内容。
请参阅图8，本申请实施例的表格识别重建装置400，包括：
表格图像获取模块401，用于获取待识别的表格图像；
第二角点信息获取模块402，对所述表格图像进行角点检测，获得所述表格图像的各个角点以及所述角点的位置坐标；
第二位置坐标获取模块403，用于根据所述角点的位置坐标，对各个所述角点进行行列结构识别，获得所述表格图像的各个单元格的位置坐标；
第二图像裁剪模块404，用于在所述表格图像中，根据各个所述单元格的位置坐标，裁剪获得各个单元格的图像；
第二文本内容获取模块405，用于对各个所述单元格的图像进行文本识别，获得各个单元格内的文本内容；
第二表格结构获取模块406，用于根据各个所述单元格的位置坐标，重建所述表格图像的表格结构；
第二表格重建模块407，用于将各个所述单元格内的文本内容填充至重建的所述表格结构中对应的单元格内，获得重建后的表格。
本申请实施例通过监听到位于触控笔上的圈选按键的触发操作时，获取所述触控笔在触摸屏上圈选得到的目标内容；在所述目标内容包括表格图像时，对所述表格图像进行角点检测，获得所述表格图像的各个角点以及所述角点的位置坐标；根据所述角点的位置坐标，对各个所述角点进行行列结构识别，获得所述表格图像的各个单元格的位置坐标；在所述表格图像中，根据各个所述单元格的位置坐标，裁剪获得各个单元格的图像；对各个所述单元格的图像进行文本识别，获得各个单元格内的文本内容；根据各个所述单元格的位置坐标，重建所述表格图像的表格结构；将各个所述单元格内的文本内容填充至重建的所述表格结构中对应的单元格内，获得重建后的表格；在所述触摸屏上，将重建后的所述表格替换所述表格图像，可以直接通过触发触控笔上的圈选按键圈选目标内容，避免用户在触摸屏上频繁手动切换识别模式，操作方便快捷，而且不需要文本检测模型获取文本内容，不需要大量的训练数据以及构建复杂的深度学习文本检测模型，也不需要将文本位置与单元格进行一一匹配，节省了开发成本，运行量少，占用内存少，设计简单，提高了表格重建效率。
在一个实施例中，目标内容获取模块301包括：
圈选操作获取模块，用于监听到触控笔上的圈选按键的按压而产生的触发操作时，获取在所述圈选按键处于按压状态时，所述触控笔在触摸屏上的圈选操作。
触摸点连接模块，用于监听到所述触控笔抬笔或者监听到所述圈选按键不在按压状态时，将在所述圈选操作过程中检测的触摸点进行连接，得到所述目标内容。
在一个实施例中，第二位置坐标获取模块303包括：
第二行列关系获取模块，用于根据所述角点的位置坐标，对各个所述角点进行行分类和列分类，获得各个所述角点的行列关系。
第二顶点选取模块，选择一个角点作为一个单元格的第一顶点，将位于所述第一顶点同一行且位于所述第一顶点的右边的第一个角点作为所述单元格的第二顶点以及将位于所述第一顶点同一列且位于所述第一顶点的下边的第一个角点作为所述单元格的第三顶点。
第二距离计算模块，用于以所述第二顶点的纵坐标和所述第三顶点的横坐标作为预测的第四顶点的坐标，计算各个角点的坐标与所述预测的第四顶点的坐标的距离。
第二顶点确定模块，用于若存在所述距离小于预设阈值，将所述距离小于所述预设阈值的角点作为所述单元格的第四顶点。
第二顶点重新确定模块，用于若不存在所述距离小于预设阈值，将位于所述第一顶点同一行且位于所述第一顶点的右边的第二个角点重新作为所述单元格的第二顶点；以重新确定的所述第二顶点的纵坐标和所述第三顶点的横坐标作为预测的第四顶点的坐标，计算各个角点的坐标与所述预测的第四顶点的坐标的距离,直至获得所述单元格的第四顶点为止。
第二位置坐标确定模块，用于根据所述第一顶点的坐标、所述第二顶点的坐标、所述第三顶点的坐标以及所述第四顶点的坐标，获得所述单元格的位置坐标。
第二单元格确定模块，用于选择新的一个角点作为下一个单元格的第一顶点，按照上述步骤重新获得下一个所述单元格的位置坐标，直至遍历所有角点，获得各个单元格的位置坐标。
在一个实施例中，第二行列关系获取模块包括：
第二角点集合获取模块，用于计算各个所述角点的纵坐标之间的第一距离，获取所述第一距离小于第一预设阈值的角点集合。
第二行列关系确定模块，用于计算所述角点集合中各个所述角点的横坐标之间的第二距离，获取所述第二距离小于第二预设阈值的角点，得到各个所述角点的行列关系。
实施例5
下述为本申请设备实施例，可以用于执行本申请实施例1和/或实施列2中方法的内容。对于本申请设备实施例中未披露的细节，请参照本申请实施例1和/或实施列2中方法的内容。
请参阅图9，本申请还提供一种电子设备500，所述电子设备500可以具体为计算机、手机、平板电脑、交互平板等，在本申请的示例性实施例中，所述电子设备500为交互平板，所述电子设备500可以包括：至少一个处理器501、至少一个存储器502，至少一个显示器503，至少一个网络接口504，用户接口505以及至少一个通信总线506。
其中，所述用户接口505主要用于为用户提供输入的接口，获取用户输入的数据。可选的，所述用户接口505还可以包括标准的有线接口、无线接口。
其中，所述网络接口504可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。
其中，所述通信总线506用于实现这些组件之间的连接通信。
其中，所述处理器501可以包括一个或者多个处理核心。处理器501利用各种接口和线路连接整个电子设备500内的各个部分，通过运行或执行存储在存储器502内的指令、程序、代码集或指令集，以及调用存储在存储器502内的数据，执行电子设备500的各种功能和处理数据。可选的，处理器501可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable Logic Array，PLA)中的至少一种硬件形式来实现。处理器501可集成中央处理器(Central Processing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示层所需要显示的内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器501中，单独通过一块芯片进行实现。
其中，存储器502可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。可选的，该存储器502包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器502可用于存储指令、程序、代码、代码集或指令集。存储器502可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等；存储数据区可存储上面各个方法实施例中涉及到的数据等。存储器502可选的还可以是至少一个位于远离前述处理器501的存储装置。如图9所示，作为一种计算机存储介质的存储器502中可以包括操作系统、网络通信模块、用户。
所述处理器501可以用于调用所述存储器502中存储的表格识别重建方法的应用程序，并具体执行上述所示实施例1和/或实施列2的方法步骤，具体执行过程可以参见实施例1和/或实施列2所示的具体说明，在此不进行赘述。
实施例6
本申请还提供一种计算机可读存储介质，其上储存有计算机程序，所述指令适于由处理器加载并执行上述所示实施例1和/或实施列2的方法步骤，具体执行过程可以参见实施例1和/或实施列2所示的具体说明，在此不进行赘述。所述存储介质所在设备可以是个人计算机、笔记本电脑、智能手机、平板电脑等电子设备。
对于设备实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的设备实施例仅仅是示意性的，其中所述作为分离部件说明的组件可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中选定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中选定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中选定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (11)

1.一种表格识别重建方法，其特征在于，包括如下步骤：
监听到位于触控笔上的圈选按键的触发操作时，获取所述触控笔在触摸屏上圈选得到的目标内容；
在所述目标内容包括表格图像时，对所述表格图像进行角点检测，获得所述表格图像的各个角点以及所述角点的位置坐标；
根据所述角点的位置坐标，对各个所述角点进行行列结构识别，获得所述表格图像的各个单元格的位置坐标；
在所述表格图像中，根据各个所述单元格的位置坐标，裁剪获得各个单元格的图像；
对各个所述单元格的图像进行文本识别，获得各个单元格内的文本内容；
根据各个所述单元格的位置坐标，重建所述表格图像的表格结构；
将各个所述单元格内的文本内容填充至重建的所述表格结构中对应的单元格内，获得重建后的表格；
在所述触摸屏上，将重建后的所述表格替换所述表格图像。
2.根据权利要求1所述的表格识别重建方法，其特征在于：
所述根据所述角点的位置坐标，对各个所述角点进行行列结构识别，获得所述表格图像的各个单元格的位置坐标的步骤，包括：
根据所述角点的位置坐标，对各个所述角点进行行分类和列分类，获得各个所述角点的行列关系；
选择一个角点作为一个单元格的第一顶点，将位于所述第一顶点同一行且位于所述第一顶点的右边的第一个角点作为所述单元格的第二顶点以及将位于所述第一顶点同一列且位于所述第一顶点的下边的第一个角点作为所述单元格的第三顶点；
以所述第二顶点的纵坐标和所述第三顶点的横坐标作为预测的第四顶点的坐标，计算各个角点的坐标与所述预测的第四顶点的坐标的距离；
若存在所述距离小于预设阈值，将所述距离小于所述预设阈值的角点作为所述单元格的第四顶点；
若不存在所述距离小于预设阈值，将位于所述第一顶点同一行且位于所述第一顶点的右边的第二个角点重新作为所述单元格的第二顶点；以重新确定的所述第二顶点的纵坐标和所述第三顶点的横坐标作为预测的第四顶点的坐标，计算各个角点的坐标与所述预测的第四顶点的坐标的距离,直至获得所述单元格的第四顶点为止；
根据所述第一顶点的坐标、所述第二顶点的坐标、所述第三顶点的坐标以及所述第四顶点的坐标，获得所述单元格的位置坐标；
选择新的一个角点作为下一个单元格的第一顶点，按照上述步骤重新获得下一个所述单元格的位置坐标，直至遍历所有角点，获得各个单元格的位置坐标。
3.根据权利要求2所述的表格识别重建方法，其特征在于：
所述根据所述角点的位置坐标，对各个所述角点进行行分类和列分类，获得各个所述角点的行列关系的步骤，包括：
计算各个所述角点的纵坐标之间的第一距离，获取所述第一距离小于第一预设阈值的角点集合；
计算所述角点集合中各个所述角点的横坐标之间的第二距离，获取所述第二距离小于第二预设阈值的角点，得到各个所述角点的行列关系。
4.根据权利要求1所述的表格识别重建方法，其特征在于：
所述根据各个所述单元格的位置坐标，重建所述表格图像的表格结构的步骤，包括：
根据各个所述单元格的位置坐标，重建得到各个单元格；
将重建的各个所述单元格进行拼接，重建获得所述表格图像的表格结构。
5.根据权利要求1至4中任一权利要求所述的表格识别重建方法，其特征在于：
所述监听到位于触控笔上的圈选按键的触发操作时，获取所述触控笔在触摸屏上圈选得到的目标内容的步骤，包括：
监听到触控笔上的圈选按键按压而产生的触发操作时，获取在所述圈选按键处于按压状态下，所述触控笔在触摸屏上的圈选操作；
监听到所述触控笔抬笔或者监听到所述圈选按键不在按压状态时，将在所述圈选操作过程中检测的触摸点进行连接，得到所述目标内容。
6.一种表格识别重建方法，其特征在于，包括如下步骤：
获取待识别的表格图像；
对所述表格图像进行角点检测，获得所述表格图像的各个角点以及所述角点的位置坐标；
根据所述角点的位置坐标，对各个所述角点进行行列结构识别，获得所述表格图像的各个单元格的位置坐标；
在所述表格图像中，根据各个所述单元格的位置坐标，裁剪获得各个单元格的图像；
对各个所述单元格的图像进行文本识别，获得各个单元格内的文本内容；
根据各个所述单元格的位置坐标，重建所述表格图像的表格结构；
将各个所述单元格内的文本内容填充至重建的所述表格结构中对应的单元格内，获得重建后的表格。
7.根据权利要求6所述的表格识别重建方法，其特征在于：
所述根据所述角点的位置坐标，对各个所述角点进行行列结构识别，获得所述表格图像的各个单元格的位置坐标的步骤，包括：
根据所述角点的位置坐标，对各个所述角点进行行分类和列分类，获得各个所述角点的行列关系；
选择一个角点作为一个单元格的第一顶点，将位于所述第一顶点同一行且位于所述第一顶点的右边的第一个角点作为所述单元格的第二顶点以及将位于所述第一顶点同一列且位于所述第一顶点的下边的第一个角点作为所述单元格的第三顶点；
以所述第二顶点的纵坐标和所述第三顶点的横坐标作为预测的第四顶点的坐标，计算各个角点的坐标与所述预测的第四顶点的坐标的距离；
若存在所述距离小于预设阈值，将所述距离小于所述预设阈值的角点作为所述单元格的第四顶点；
若不存在所述距离小于预设阈值，将位于所述第一顶点同一行且位于所述第一顶点的右边的第二个角点重新作为所述单元格的第二顶点；以重新确定的所述第二顶点的纵坐标和所述第三顶点的横坐标作为预测的第四顶点的坐标，计算各个角点的坐标与所述预测的第四顶点的坐标的距离,直至获得所述单元格的第四顶点为止；
根据所述第一顶点的坐标、所述第二顶点的坐标、所述第三顶点的坐标以及所述第四顶点的坐标，获得所述单元格的位置坐标；
选择新的一个角点作为下一个单元格的第一顶点，按照上述步骤重新获得下一个所述单元格的位置坐标，直至遍历所有角点，获得各个单元格的位置坐标。
8.一种表格识别重建装置，其特征在于，包括：
目标内容获取模块，用于监听到位于触控笔上的圈选按键的触发操作时，获取所述触控笔在触摸屏上圈选得到的目标内容；
第一角点信息获取模块，用于在所述目标内容包括表格图像时，对所述表格图像进行角点检测，获得所述表格图像的各个角点以及所述角点的位置坐标；
第一位置坐标获取模块，用于根据所述角点的位置坐标，对各个所述角点进行行列结构识别，获得所述表格图像的各个单元格的位置坐标；
第一图像裁剪模块，用于在所述表格图像中，根据各个所述单元格的位置坐标，裁剪获得各个单元格的图像；
第一文本内容获取模块，用于对各个所述单元格的图像进行文本识别，获得各个单元格内的文本内容；
第一表格结构获取模块，用于根据各个所述单元格的位置坐标，重建所述表格图像的表格结构；
第一表格重建模块，用于将各个所述单元格内的文本内容填充至重建的所述表格结构中对应的单元格内，获得重建后的表格；
表格图像替换模块，用于在所述触摸屏上，将重建后的所述表格替换所述表格图像。
9.一种表格识别重建装置，其特征在于，包括：
表格图像获取模块，用于获取待识别的表格图像；
第二角点信息获取模块，对所述表格图像进行角点检测，获得所述表格图像的各个角点以及所述角点的位置坐标；
第二位置坐标获取模块，用于根据所述角点的位置坐标，对各个所述角点进行行列结构识别，获得所述表格图像的各个单元格的位置坐标；
第二图像裁剪模块，用于在所述表格图像中，根据各个所述单元格的位置坐标，裁剪获得各个单元格的图像；
第二文本内容获取模块，用于对各个所述单元格的图像进行文本识别，获得各个单元格内的文本内容；
第二表格结构获取模块，用于根据各个所述单元格的位置坐标，重建所述表格图像的表格结构；
第二表格重建模块，用于将各个所述单元格内的文本内容填充至重建的所述表格结构中对应的单元格内，获得重建后的表格。
10.一种交互平板，包括处理器和存储器；其特征在于，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行如权利要求1至7中任意一项所述的表格识别重建方法。
11.一种计算机可读存储介质，其上储存有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至7任意一项所述的表格识别重建方法。
CN202111294257.9A 2021-11-03 2021-11-03 表格识别重建方法、装置、存储介质以及交互平板 Pending CN116071767A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111294257.9A CN116071767A (zh) 2021-11-03 2021-11-03 表格识别重建方法、装置、存储介质以及交互平板

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111294257.9A CN116071767A (zh) 2021-11-03 2021-11-03 表格识别重建方法、装置、存储介质以及交互平板

Publications (1)

Publication Number Publication Date
CN116071767A true CN116071767A (zh) 2023-05-05

Family

ID=86177448

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111294257.9A Pending CN116071767A (zh) 2021-11-03 2021-11-03 表格识别重建方法、装置、存储介质以及交互平板

Country Status (1)

Country Link
CN (1) CN116071767A (zh)

Similar Documents

Publication Publication Date Title
CN106293074B (zh) 一种情绪识别方法和移动终端
US10754546B2 (en) Electronic device and method for executing function using input interface displayed via at least portion of content
US9922014B2 (en) Method and apparatus for making contents through writing input on touch screen
US10339833B2 (en) Assistive reading interface
US10438385B2 (en) Generating ink effects for a digital ink stroke
CN112507806B (zh) 智慧课堂信息交互方法、装置及电子设备
CN111949156B (zh) 书写装置的汉字书写测试方法及系统、书写装置
EP2801967A1 (en) Electronic device for providing information to a user
US9025878B2 (en) Electronic apparatus and handwritten document processing method
CN111475097A (zh) 一种笔迹选择方法、装置、计算机设备和存储介质
CN103389873A (zh) 电子装置和手写文档显示方法
EP4002072A1 (en) Interpreting inputs for three-dimensional virtual spaces from touchscreen interface gestures to improve user interface functionality
CN106155313B (zh) 移动终端、字符输入系统及方法
US9395911B2 (en) Computer input using hand drawn symbols
KR101158679B1 (ko) 직접입력 방식의 전자문서 상의 도형입력 방법, 그리고 직접입력 방식의 전자문서 상의 도형입력 프로그램을 기록한 컴퓨터로 판독가능한 기록매체
CN110850982B (zh) 基于ar的人机交互学习方法、系统、设备及存储介质
CN108369486B (zh) 通用涂墨支持
EP2965181A1 (en) Enhanced canvas environments
US20180300541A1 (en) Analog strokes to digital ink strokes
CN108492349A (zh) 书写笔画的处理方法、装置、设备和存储介质
CN107111441A (zh) 多级用户界面
US10996849B2 (en) Electronic device, control method, and medium for allocating contents to touch screen edge software keys
US20200242346A1 (en) Preserving styles and ink effects in ink-to-text
US10514841B2 (en) Multi-layered ink object
CN110750501A (zh) 文件检索方法和装置、存储介质及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination