CN111859874A - 表格生成方法及其系统、视频播放设备和计算机可读介质 - Google Patents

Abstract

本公开提供了一种表格生成方法，包括：根据用户在视频图像上的绘制操作生成相应的虚拟表格框架，所述虚拟表格框架具有多个虚拟单元格；对所述虚拟表格框架进行规范化处理，以生成规范表格框架，所述规范表格框架具有多个规范单元格，所述规范单元格与所述虚拟单元格一一对应；对视频图像中各所述虚拟单元格所处区域内的内容进行文字识别处理，以提取出各所述虚拟单元格内的数据信息；将各所述虚拟单元格内的数据信息填充至对应的所述规范单元格中，以得到完整表格。本公开的技术方案可实现从视频图像中提取出数据表格或其他重要数据，并将这些数据填充于用户所希望的表格框架中，方便于用户后续进行展示、浏览和研究。

Description

表格生成方法及其系统、视频播放设备和计算机可读介质

技术领域

本发明涉及多媒体领域，特别涉及一种表格生成方法及其系统、视频播放设备和计算机可读介质。

背景技术

随着互联网技术的发展，用户在观看视频过程中会遇到各种数据表格和重要数据展示的情况，这些数据由于拍摄角度以及与存在其他视频内容干扰等特性，使得观看视频的用户难以提取出这些数据信息。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一，提出了一种表格生成方法及其系统、视频播放设备和计算机可读介质。

第一方面，本公开实施例提供了一种表格生成方法，包括：

根据用户在视频图像上的绘制操作生成相应的虚拟表格框架，所述虚拟表格框架具有多个虚拟单元格；

对所述虚拟表格框架进行规范化处理，以生成规范表格框架，所述规范表格框架具有多个规范单元格，所述规范单元格与所述虚拟单元格一一对应；

对视频图像中各所述虚拟单元格所处区域内的内容进行文字识别处理，以提取出各所述虚拟单元格内的数据信息；

将各所述虚拟单元格内的数据信息填充至对应的所述规范单元格中，以得到完整表格。

在一些实施例中，所述根据用户在视频图像上的绘制操作生成相应的虚拟表格框架的步骤包括：

在所述视频图像上确定出所述虚拟表格框架的外框；

根据用户在所述虚拟表格框架的外框内绘制出的线条，确定出所述虚拟表格框架的各虚拟单元格。

在一些实施例中，所述在所述视频图像上确定出所述虚拟表格框架的外框的步骤包括：

根据预先训练出的表格识别模型对所述视频图像进行识别处理，以确定出所述视频图像内显示为表格的区域，并将所确定出的表格的区域的边缘作为所述虚拟表格框架的外框；

或者，

根据用户在视频图像上的绘制操作，确定出所述虚拟表格框架的外框。

在一些实施例中，所述根据用户在所述虚拟表格框架的外框内绘制出的线条，确定出所述虚拟表格框架的各虚拟单元格的步骤之后，还包括：

在所述视频图像上以浮层形式展示所述虚拟表格框架。

在一些实施例中，所述对所述虚拟表格框架进行规范化处理，以生成规范表格框架的步骤包括：

以各所述虚拟单元格的顶点作为节点，获取所述虚拟表格框架对应的拓扑结构，其中，所述虚拟表格框架的外框所对应的四个节点记为外框节点，虚拟表格框架内的其他节点记为限定节点；

为四个所述外框节点分配预设的标准化坐标；

根据所述虚拟表格框架对应的拓扑结构和各所述外框节点的标准化坐标，确定出各所述限定节点的规范位置坐标；

在预设坐标系中，根据所述虚拟表格框架的拓扑结构、各所述外框节点的标准化坐标和各所述所述限定节点的规范位置坐标，绘制出相应的表格线条，以得到所述规范表格框架。

在一些实施例中，所述对视频图像中各所述虚拟单元格所处区域内的内容进行文字识别处理，以提取出各所述虚拟单元格内的数据信息的步骤包括：

选取连续多帧视频图像，其中一帧为当前帧视频图像；

针对连续多帧视频图像中的每一帧，对该帧视频图像中各所述虚拟单元格所处区域内的内容进行文字识别处理；

针对每一个所述虚拟单元格，对该虚拟单元格在连续多帧视频图像中的文字识别结果进行分类统计，选取出频数最大的文字识别结果作为该虚拟单元格所对应的数据信息。

在一些实施例中，所述将各所述虚拟单元格内的数据信息填充至对应的所述规范单元格中，以得到完整表格的步骤之后，还包括：

根据各所述规范单元格内所填充的数据信息所占区域大小，调整各所述规范单元格的尺寸。

在一些实施例中，所述将各所述虚拟单元格内的数据信息填充至对应的所述规范单元格中，以得到完整表格的步骤之后，还包括：

将所述完整表格保存成图片格式或者excel格式。

第二方面，本公开实施例还提供了一种表格生成系统，包括：

第一生成模块，用于根据用户在视频图像上的绘制操作生成相应的虚拟表格框架，所述虚拟表格框架具有多个虚拟单元格；

第二生成模块，用于对所述虚拟表格框架进行规范化处理，以生成规范表格框架，所述规范表格框架具有多个规范单元格，所述规范单元格与所述虚拟单元格一一对应；

文字识别模块，用于对视频图像中各所述虚拟单元格所处区域内的内容进行文字识别处理，以提取出各所述虚拟单元格内的数据信息；

填充模块，用于将各所述虚拟单元格内的数据信息填充至对应的所述规范单元格中，以得到完整表格。

在一些实施例中，所述第一生成模块包括：

第一确定单元，用于在所述视频图像上确定出所述虚拟表格框架的外框；

第二确定单元，用于根据用户在所述虚拟表格框架的外框内绘制出的线条，确定出所述虚拟表格框架的各虚拟单元格。

在一些实施例中，所述第一确定单元包括：

第一确定子单元，用于根据预先训练出的表格识别模型对所述视频图像进行识别处理，以确定出所述视频图像内显示为表格的区域，并将所确定出的表格的区域的边缘作为所述虚拟表格框架的外框；

或者，

第二确定子单元，用于根据用户在视频图像上的绘制操作，确定出所述虚拟表格框架的外框。

在一些实施例中，所述第一生成模块还包括：

展示单元，用于在所述视频图像上以浮层形式展示所述虚拟表格框架。

在一些实施例中，所述第二生成模块包括：

获取单元，用于以各所述虚拟单元格的顶点作为节点，获取所述虚拟表格框架对应的拓扑结构，其中，所述虚拟表格框架的外框所对应的四个节点记为外框节点，虚拟表格框架内的其他节点记为限定节点；

分配单元，用于为四个所述外框节点分配预设的标准化坐标；

第三确定单元，用于根据所述虚拟表格框架对应的拓扑结构和各所述外框节点的标准化坐标，确定出各所述限定节点的规范位置坐标；

绘制单元，用于在预设坐标系中，根据所述虚拟表格框架的拓扑结构、各所述外框节点的标准化坐标和各所述所述限定节点的规范位置坐标，绘制出相应的表格线条，以得到所述规范表格框架。

在一些实施例中，所述文字识别模块包括：

选取单元，用于选取连续多帧视频图像，其中一帧为当前帧视频图像；

文字识别单元，用于针对连续多帧视频图像中的每一帧，对该帧视频图像中各所述虚拟单元格所处区域内的内容进行文字识别处理；

分类统计单元，用于针对每一个所述虚拟单元格，对该虚拟单元格在连续多帧视频图像中的文字识别结果进行分类统计，选取出频数最大的文字识别结果作为该虚拟单元格所对应的数据信息。

在一些实施例中，表格生成系统还包括：调节模块，用于根据各所述规范单元格内所填充的数据信息所占区域大小，调整各所述规范单元格的尺寸。

在一些实施例中，表格生成系统还包括：保存模块，用于将所述完整表格保存成图片格式或者excel格式。

第三方面，本公开实施例还提供了一种视频播放设备，包括：

一个或多个处理器；

存储装置，其上存储有一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述表格生成方法。

第四方面，本公开实施例还提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现如上述表格生成方法。

本公开实施例提供的表格生成方法及其系统、视频播放设备和计算机可读介质，可实现从视频图像中提取出数据表格或其他重要数据，并将这些数据填充于用户所希望的表格框架中，方便于用户后续进行展示、浏览和研究。

附图说明

图1为本公开实施例提供的一种表格生成方法的流程图；

图2为本公开中步骤S1的一种具体实现流程图；

图3为本公开中步骤S1的另一种具体实现流程图；

图4为本公开中通过步骤S1所得到的虚拟表格框架的一种示意图；

图5为对图4所示虚拟表格框架进行规范化处理得到的规范表格框架的一种示意图；

图6为本公开中步骤S2的一种具体实现流程图；

图7为本公开中步骤S3的一种具体实现流程图；

图8为本公开实施例提供的另一种表格生成方法的流程图；

图9为本公开实施例提供的一种表格生成系统的结构示意图；

图10为本公开中第一生成模块的一种结构示意图；

图11为本公开中第二生成模块的一种结构示意图；

图12为本公开中文字识别模块的一种结构示意图。

具体实施方式

为使本领域的技术人员更好地理解本发明的技术方案，下面结合附图对本发明提供的一种表格生成方法及其系统、视频播放设备和计算机可读介质进行详细描述。

在下文中将参考附图更充分地描述示例实施例，但是所述示例实施例可以以不同形式来体现且不应当被解释为限于本文阐述的实施例。反之，提供这些实施例的目的在于使本公开透彻和完整，并将使本领域技术人员充分理解本公开的范围。

本文所使用的术语仅用于描述特定实施例，且不意欲限制本公开。如本文所使用的，单数形式“一个”和“该”也意欲包括复数形式，除非上下文另外清楚指出。还将理解的是，当本说明书中使用术语“包括”和/或“由……制成”时，指定存在所述特征、整体、步骤、操作、模块和/或单元，但不排除存在或添加一个或多个其他特征、整体、步骤、操作、元件、模块和/或单元。

将理解的是，虽然本文可以使用术语第一、第二等来描述各种模块/单元，但这些模块/单元不应当受限于这些术语。这些术语仅用于区分一个模块/单元和另一模块/单元。

本文所述实施例可借助本公开的理想示意图而参考平面图和/或截面图进行描述。因此，可根据制造技术和/或容限来修改示例图示。因此，实施例不限于附图中所示的实施例，而是包括基于制造工艺而形成的配置的修改。因此，附图中例示的区具有示意性属性，并且图中所示区的形状例示了元件的区的具体形状，但并不旨在是限制性的。

除非另外限定，否则本文所用的所有术语(包括技术和科学术语)的含义与本领域普通技术人员通常理解的含义相同。还将理解，诸如那些在常用字典中限定的那些术语应当被解释为具有与其在相关技术以及本公开的背景下的含义一致的含义，且将不解释为具有理想化或过度形式上的含义，除非本文明确如此限定。

本公开所提供的表格生成方法，能够从视频图像中提取出数据表格或其他重要数据，并将这些数据填充于用户所希望的表格框架中，方便于用户后续进行展示、浏览和研究。

本公开中的“表格”包含两个部分：表格框架和数据信息；其中，表格框架限定出若干个单元格，数据信息填充于单元格内；表格框架可通过多个顶点以及顶点间的连接关系来表示，多个顶点以及顶点间的连接关系构成拓扑结构，其中顶点之间的连线表征单元格的边。

本公开中的“虚拟表格框架”是指用户在视频图像上进行绘制操作所绘制出的表格框架；由于虚拟表格框架是人工绘制，因此虚拟表格框架中可能会存在线条弯曲、线条不是沿行/列方向延伸等问题。“规范表格框架”是指对虚拟表格框架进行规范化处理后所得到的表格框架，其中“规范化处理”是指在不改变虚拟表格框架的拓扑结构的情况下，将虚拟表格框架中弯曲线条调整为直线条，以及将沿斜方向(非行方向且非列方向)延伸的线条调整为沿行方向延伸或沿列方向延伸；因此，规范表格框架与虚拟表格框架具有相同的拓扑结构，规范表格框架中的线条为直线条，且直线条的延伸方向只能为行方向或列方向。

图1为本公开实施例提供的一种表格生成方法的流程图，如图1所示，该表格生成方法包括：

步骤S1、根据用户在视频图像上的绘制操作生成相应的虚拟表格框架。

其中，虚拟表格框架具有多个虚拟单元格。

图2为本公开中步骤S1的一种具体实现流程图，如图2所示，作为一种具体方案，步骤S1包括：

步骤S101、在视频图像上确定出虚拟表格框架的外框。

作为步骤S101的一种可选实现方案，步骤S101具体包括：

步骤S1011、根据预先训练出的表格识别模型对视频图像进行识别处理，以确定出视频图像内显示为表格的区域，并将所确定出的表格的区域的边缘作为虚拟表格框架的外框。

本公开中的表格识别模型具有识别视频图像内表格以及定位表格所处区域的功能(够选中表格的最小四边形区域)，其可基于预先选取多个含有表格的正样本图像和多个不含表格的负样本图像进行训练得到，具体的模型训练过程和识别过程均属于本领域的常规技术，此处不进行详细描述。

通过步骤S1011可自动识别出视频图像内显示为表格的区域，从而得到虚拟表格框架的外框。

作为步骤S101的另一种可选实现方案，步骤S101具体包括：

步骤S1012、根据用户在视频图像上的绘制操作，确定出虚拟表格框架的外框。

用户可根据自身需要在视频图像上绘制出虚拟表格框架的外框，该外框所围区域可以为视频图像中完整表格区域、部分表格区域或非表格区域(位于表格外所占的重要数据)。

在步骤S1012中，可按照如下两种方式来确定虚拟表格框架的外框。方式一、用户通过画笔直接在视频图像上绘制出虚拟表格框架的外框的轮廓，系统自动识别该轮廓；方式二、用户通过画笔在视频图像上依次绘制出四个点，系统识别该四个点位置，并自动绘制出以该四个点作为顶点的四边形，该四边形作为虚拟表格框架的外框；上述两种方式均属于本公开的保护范围。

需要说明的是，步骤S1011所对应的方法适用于从视频图像中提取出完整表格数据的场景，且能够自动确定虚拟表格框架的外框；步骤S1012适用于从视频图像中按用户需要提取出表格数据或非表格数据的场景。在实际应用中，可根据实际需要来选择确定虚拟表格框架的外框的方式。

步骤S102、根据用户在虚拟表格框架的外框内绘制出的线条，确定出虚拟表格框架的各虚拟单元格。

在步骤S102中，用户通过画笔在外框所围区域内绘制出线条。系统通过识别用户所绘制的线条，并结合步骤S101所确定的外框，从而能得到完整的虚拟表格框架，该虚拟表格框架具有多个虚拟单元格。需要说明的是，为使得系统能够准确的识别出虚拟表格框架的拓扑结构，应确保用户绘制的表格线条闭合。

图3为本公开中步骤S1的另一种具体实现流程图，如图3所示，步骤S1不但包括上述步骤S101和步骤S102，还包括步骤S103，下面仅对步骤S103进行描述。

步骤S103、在视频图像上以浮层形式展示虚拟表格框架。

作为一种可选方案，步骤S103与步骤S101和步骤S102同步执行(此种情况未给出相应附图)，即在系统识别虚拟表格框架的外框以及用户绘制线条的过程中，同步展示相应线条。

参见图3中所示，作为又一种可选方案，步骤S103在步骤S102之后执行，即用户绘制完整个虚拟表格框架后再进行展示。

上述通过在视频图像上以浮层形式展示虚拟表格框架，可使得用户能够直观的观察到虚拟表格框架，便于用户对虚拟表格框架的架构进行修改、调整。

在实际应用中，可在用于播放视频图像的播放器中设置“识别表格”按钮；在用户完成虚拟表格框架的绘制后，用户通过点击“识别表格”按钮，以进行后续步骤。

步骤S2、对虚拟表格框架进行规范化处理，以生成规范表格框架。

图4为本公开中通过步骤S1所得到的虚拟表格框架的一种示意图，图5为对图4所示虚拟表格框架进行规范化处理得到的规范表格框架的一种示意图，如图4和图5所示，在不改变虚拟表格框架的拓扑结构的情况下，将虚拟表格框架中弯曲线条调整为直线条，以及将沿斜方向(非行方向且非列方向)延伸的线条调整为沿行方向延伸或沿列方向延伸；因此，规范表格框架与虚拟表格框架具有相同的拓扑结构，且规范表格框架中的线条为直线条，且直线条的延伸方向只能为行方向或列方向。

此时，规范表格框架具有多个规范单元格，规范单元格与虚拟单元格一一对应。

为便于本领域技术人员更好的理解本公开的技术方案，下面将结合附图来对本公开中“规范化处理”的具体过程进行详细描述。

图6为本公开中步骤S2的一种具体实现流程图，如图6所示，作为一种具体方案，步骤S2包括：

步骤S201、以各虚拟单元格的顶点作为节点，获取虚拟表格框架对应的拓扑结构。

其中，虚拟表格框架的外框所对应的四个节点记为外框节点，虚拟表格框架内的其他节点记为限定节点。

以图4中所示情况为例，则节点D1～D4为外框节点，节点H1～H6为限定节点，该10个节点D1～D4、H1～H6限定出4个虚拟单元格P1～P4。

其中，每个单元格均可以采用其自身的四个顶点来表示。图5中4个虚拟单元格可分别表示为：

P1：{D1，D2，H3，H1}

P2：{H1，H2，H6，D4}

P3：{H2，H3，H5，H4}

P4：{H4，H5，D3，H6}

虚拟表格框架的拓扑结构可利用该虚拟表格框架所包含的节点以及各节点的邻居节点来表示。图4所示虚拟表格框架的拓扑结构课采用如下方式来表示：

D1：{H1，D2}

D2：{D1，H3}

D3：{H5，H6}

D4：{D1，H6}

H1：{D1，D4，H2}

H2：{H1，H3，H4}

H3：{D2，H2，H5}

H4：{H2，D5，H6}

H5：{D3，H3，H4}

H6：{D3，D4，H4}

以上述所示D1：{H1，D2}为例，其表示节点D1具有两个邻居节点H1、D2。

步骤S202、为四个外框节点分配预设的标准化坐标。

在步骤S202中，分别为四个外框节点分配预设的标准化坐标。作为一种示例方案，4个节点D1～D4所分配到的标准化坐标分别为：D1(0，1)、D2(1，1)、D3(1，0)、D4(0，0)。

步骤S203、根据虚拟表格框架对应的拓扑结构和各外框节点的标准化坐标，确定出各限定节点的规范位置坐标。

由于规范表格框架内线条是沿行方向或列方向延伸，因此互为邻居节点的两个节点的横坐标相同或纵坐标相同。

基于上述原理，针对节点H1，由于节点H1的两个邻居节点D1和D2具有相同的横坐标0，因此节点H1的横坐标为也为0，此时H1的规范位置坐标可记为H1(0，y1)，y1为0～1之间的一个随机数。

针对节点H6，由于节点H6的两个邻居节点D3和D3具有相同的纵坐标0，因此节点H6的纵坐标为也为0，此时节点H6的规范位置坐标可记为H6(x1，0)，x1为0～1之间的一个随机数。

针对节点H3，由于节点H3与节点D2为邻居节点，则节点H3与接地D2的横坐标相同或者纵坐标相同；假定节点H3与节点D2的纵坐标相同且横坐标不同，则此时节点H3只能在节点D1和节点D2之间的连线上，又由于节点D1和节点D2为邻居节点，因此在节点D1和节点D2之间不存在其他节点，即上述假设矛盾；因此节点H3只能与节点D2横坐标相同且纵坐标不同，此时节点H3的规范位置坐标可记为H3(1，y2)。

针对节点H5，由于节点H5的两个邻居节点D3和节点H3具有相同的横坐标1，因此节点H5的横坐标为也为1，此时H5的规范位置坐标可记为H5(0，y3)；由于节点H3位于节点H3和节点D3之间，因此y3小于y2。

针对节点H4，由于节点H4的两个邻居节点H5和节点H6的横坐标和纵坐标均不同，且节点H5和H6均位于外框上，因此节点H4的横坐标与节点H6的横坐标相同，节点H4的纵坐标与节点H5的纵坐标相同，此时节点H4的规范位置坐标可记为H4(x1，y3)。

针对节点H2，由于节点H2的两个邻居节点H1和H4的横坐标和纵坐标均不同，且节点H1位于外框上，因此节点H2的横坐标与节点H4的横坐标相同，节点H2的纵坐标与节点H1的纵坐标相同，此时节点H2的规范位置坐标可记为H2(x1，y1)；又由于节点H2和节点H3为邻居节点，且节点H2和节点H3的横坐标一定不同(x1小于1)，因此节点H2和节点H3的纵坐标一定相同，则y1＝y2，即节点H3的规范位置坐标可记为H3(1，y1)

通过上述步骤S203，可得到6个限定节点的规范位置坐标分别为：H1(0，y1)、H2(x1，y1)、H3(1，y1)、H4(x1，y3)、H5(1，y3)、H6(x1，0)。

x1为大于0且小于1的随机数，y1位大于0且小于1的随机数，y3为大于0且小于y1的随机数。

步骤S204、在预设坐标系中，根据虚拟表格框架的拓扑结构、各外框节点的标准化坐标和各限定节点的规范位置坐标，绘制出相应的表格线条，以得到规范表格框架。

此时，规范表格框架具有多个规范单元格，规范单元格与虚拟单元格一一对应。

参见图5所示，根据步骤S202所得到的各外框节点D1～D4的标准化坐标和步骤S203所得到的各限定节点H1～H6的规范位置坐标，在预设坐标系中绘制出相应的10个顶点，然后根据虚拟表格框架的拓扑结构用直线连接相应顶点，以得到规范表格框架；该规范表格框架同样具备4个规范单元格。

其中，每个单元格均可以采用其自身的四个顶点来表示。图5中4个规范单元格P1’～P4’可分别表示为：

P1’：{D1，D2，H3，H1}

P2’：{H1，H2，H6，D4}

P3’：{H2，H3，H5，H4}

P4’：{H4，H5，D3，H6}

此时，规范表格框架具有多个规范单元格，规范单元格P1’～P4’与虚拟单元格P1～P4一一对应。

步骤S3、对视频图像中各虚拟单元格所处区域内的内容进行文字识别处理，以提取出各虚拟单元格内的数据信息。

在步骤S3中，基于OCR文字识别技术对当前帧视频图像中各虚拟单元格所处区域内的内容进行识别，可提取出各虚拟单元格内的数据信息。

然而，在实际应用中发现当前帧视频图像中的文字(包括字符、数字、各国文字)可能存在不清晰的问题，从而导致识别不准或无法识别的问题。针对该技术问题，本公开提供了一种解决方案。

图7为本公开中步骤S3的一种具体实现流程图，如图7所示，作为一种具体方案，步骤S3包括：

步骤S301、选取连续多帧视频图像，其中一帧为当前帧视频图像。

在步骤S301中所选取多帧视频图像的数量不宜过多(数量过多时，会出现部分帧视频图像内容与当前帧视频图像内容相差较大，同时也会导致后续会消耗过多的计算资源)；优选地，选取连续3至15帧视频图像以供后续使用。

在本公开中选取连续多帧视频图像的选取规则不作限定，仅需保证当前帧视频图像为其中一帧即可。在实际应用中，可根据实际情况来调整连续多帧视频图像的选取位置和选取数量。

步骤S302、针对连续多帧视频图像中的每一帧，对该帧视频图像中各虚拟单元格所处区域内的内容进行文字识别处理。

步骤S303、针对每一个虚拟单元格，对该虚拟单元格在连续多帧视频图像中的文字识别结果进行分类统计，选取出频数最大的文字识别结果作为该虚拟单元格所对应的数据信息。

本公开中，通过对包含有当前帧视频图像的连续多帧视频图像数据进行文字识别，并基于识别结果进行筛选，可提升最终识别结果的精准度。

步骤S4、将各虚拟单元格内的数据信息填充至对应的规范单元格中，以得到完整表格。

在步骤S4中，通过将步骤S3所提取出的各虚拟单元格内的数据信息，填充至步骤S2所生成的规范表格框架的各规范单元格中，以得到完整表格。

需要说明的是，本公开的技术方案对步骤S2和步骤S3的执行顺序不作限定，即步骤S2可先于步骤S3执行，或后于步骤S3执行，或与步骤S3同步执行，上述三种情况均属于本公开的保护范围。

本公开的技术方案可实现从视频图像中提取出数据表格或其他重要数据，并将这些数据填充于用户所希望的表格框架中，方便于用户后续进行展示、浏览和研究。

图8为本公开实施例提供的另一种表格生成方法的流程图，如图8所示，该表格生成方法包括不但包括前述实施例中的步骤S 1～步骤S4，还包括：步骤S5和步骤S6，步骤S5和步骤6均位于步骤S4之后执行，下面仅对步骤S5和步骤S6进行详细描述。

步骤S5、根据各规范单元格内所填充的数据信息所占区域大小，调整各规范单元格的尺寸。

在将数据信息填充至对应的规范单元格后，可根据各规范单元格内所填充的数据信息所占区域大小，对各规范单元格的尺寸进行相应调整，以使得数据信息能够在对应的规范单元格内能够完全展示，便于用户后续展示、浏览和研究。

需要说明的是，根据文字内容调整单元格尺寸的具体实现过程为本领域的常规技术，此处不进行详细描述。在调整各规范单元格的尺寸的过程中，完整表格的表格框架的拓扑结构保持不变。

步骤S6、将完整表格保存成图片格式或者excel格式。

在步骤S6中，将完整表格保存成图片格式或者excel格式，方便后续存储和调用。

需要说明的是，在本实施例中可以不执行步骤S5或步骤S6；当步骤S5和步骤S6都被执行时，步骤S5应先于步骤S6之前执行。

图9为本公开实施例提供的一种表格生成系统的结构示意图，如图9所示，前述实施例所提供的表格生成方法基于本实施例提供的表格生成系统，本实施例所提供的表格生成系统可用于实现前述实施例所提供的表格生成方法。该表格生成系统包括：第一生成模块1、第二生成模块2、文字识别模块3和填充模块4。

其中，第一生成模块1用于根据用户在视频图像上的绘制操作生成相应的虚拟表格框架，虚拟表格框架具有多个虚拟单元格。

第二生成模块2用于对虚拟表格框架进行规范化处理，以生成规范表格框架，规范表格框架具有多个规范单元格，规范单元格与虚拟单元格一一对应。

文字识别模块3用于对视频图像中各虚拟单元格所处区域内的内容进行文字识别处理，以提取出各虚拟单元格内的数据信息。

填充模块4用于将各虚拟单元格内的数据信息填充至对应的规范单元格中，以得到完整表格。

本公开实施例所提供的表格生成系统可实现从视频图像中提取出数据表格或其他重要数据，并将这些数据填充于用户所希望的表格框架中，方便于用户后续进行展示、浏览和研究。

需要说明的是，本实施例中的第一生成模块1可用于执行前述实施例中的步骤S1，第二生成模块2可用于执行前述实施例中的步骤S2，文字识别模块3可用于执行前述实施例中的步骤S3，填充模块4可用于执行前述实施例中的步骤S4。对于各模块的具体描述，可参见前述实施例中的相应内容，此处不再赘述。

图10为本公开中第一生成模块的一种结构示意图，如图10所示，在一些实施例中，第一生成模块1包括：第一确定单元101、第二确定单元102和展示单元103。

其中，第一确定单元101用于在视频图像上确定出虚拟表格框架的外框。

作为一种可选方案，第一确定单元101包括：第一确定子单元(未示出)，第一确定子单元用于根据预先训练出的表格识别模型对视频图像进行识别处理，以确定出视频图像内显示为表格的区域，并将所确定出的表格的区域的边缘作为虚拟表格框架的外框。

作为另一种可选方案，第一确定单元101包括：第二确定子单元(未示出)，第二确定子单元用于根据用户在视频图像上的绘制操作，确定出虚拟表格框架的外框。

第二确定单元102用于根据用户在虚拟表格框架的外框内绘制出的线条，确定出虚拟表格框架的各虚拟单元格。

展示单元103用于在视频图像上以浮层形式展示虚拟表格框架。

需要说明的是，本实施例中的第一确定单元101可用于执行前述实施例中的步骤S101，第一确定子单元可用于执行前述实施例中的步骤S1011，第二确定子单元可用于执行前述实施例中的步骤S1012，第二确定单元102可用于执行前述实施例中的步骤S102，展示单元103可用于执行前述实施例中的步骤S103。对于各单元和子单元的具体描述，可参见前述实施例中的相应内容，此处不再赘述。

图11为本公开中第二生成模块的一种结构示意图，如图11所示，在一些实施例中，第二生成模块2包括：获取单元201、分配单元202、第三确定单元203和绘制单元204。

其中。获取单元用201于以各虚拟单元格的顶点作为节点，获取虚拟表格框架对应的拓扑结构，其中，虚拟表格框架的外框所对应的四个节点记为外框节点，虚拟表格框架内的其他节点记为限定节点。

分配单元202用于为四个外框节点分配预设的标准化坐标。

第三确定单元203用于根据虚拟表格框架对应的拓扑结构和各外框节点的标准化坐标，确定出各限定节点的规范位置坐标。

绘制单元204用于在预设坐标系中，根据虚拟表格框架的拓扑结构、各外框节点的标准化坐标和各限定节点的规范位置坐标，绘制出相应的表格线条，以得到规范表格框架。

需要说明的是，本实施例中的获取单元201可用于执行前述实施例中的步骤S201，分配单元202可用于执行前述实施例中的步骤S202，第三确定单元203可用于执行前述实施例中的步骤S203，绘制单元204可用于执行前述实施例中的步骤S204。对于各单元的具体描述，可参见前述实施例中的相应内容，此处不再赘述。

图12为本公开中文字识别模块的一种结构示意图，如图12所示，在一些实施例中，文字识别模块3包括：选取单元301、文字识别单元302和分类统计单元303。

其中，选取单元301用于选取连续多帧视频图像，其中一帧为当前帧视频图像。

文字识别单元302用于针对连续多帧视频图像中的每一帧，对该帧视频图像中各虚拟单元格所处区域内的内容进行文字识别处理。

分类统计单元303用于针对每一个虚拟单元格，对该虚拟单元格在连续多帧视频图像中的文字识别结果进行分类统计，选取出频数最大的文字识别结果作为该虚拟单元格所对应的数据信息。

需要说明的是，本实施例中的选取单元301可用于执行前述实施例中的步骤S301，文字识别单元302可用于执行前述实施例中的步骤S302，分类统计单元303可用于执行前述实施例中的步骤S303。对于各单元的具体描述，可参见前述实施例中的相应内容，此处不再赘述。

继续参见图9所示，在一些实施例中，表格生成系统还包括：调节模块5，调节模块5用于根据各规范单元格内所填充的数据信息所占区域大小，调整各规范单元格的尺寸。

继续参见图9所示，在一些实施例中，表格生成系统还包括：保存模块6，保存模块6用于将完整表格保存成图片格式或者excel格式。

本公开实施例还提供了一种视频播放设备，包括：存储装置以及一个或多个处理器；存储装置，其上存储有一个或多个程序，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器实现如前述实施例所提供的表格生成方法。

需要说明的是，本公开中的视频播放设备具体可以为显示器、电视机、手机、电脑、平板等具有视频播放功能的设备。

本公开实施例还提供了一种计算机可读介质，其上存储有计算机程序，其中，该计算机程序被执行时实现如前述实施例所提供的表格生成方法。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。

Claims (18)

1.一种表格生成方法，其特征在于，包括：

根据用户在视频图像上的绘制操作生成相应的虚拟表格框架，所述虚拟表格框架具有多个虚拟单元格；

对所述虚拟表格框架进行规范化处理，以生成规范表格框架，所述规范表格框架具有多个规范单元格，所述规范单元格与所述虚拟单元格一一对应；

对视频图像中各所述虚拟单元格所处区域内的内容进行文字识别处理，以提取出各所述虚拟单元格内的数据信息；

将各所述虚拟单元格内的数据信息填充至对应的所述规范单元格中，以得到完整表格。

2.根据权利要求1所述的表格生成方法，其特征在于，所述根据用户在视频图像上的绘制操作生成相应的虚拟表格框架的步骤包括：

在所述视频图像上确定出所述虚拟表格框架的外框；

根据用户在所述虚拟表格框架的外框内绘制出的线条，确定出所述虚拟表格框架的各虚拟单元格。

3.根据权利要求2所述的表格生成方法，其特征在于，所述在所述视频图像上确定出所述虚拟表格框架的外框的步骤包括：

根据预先训练出的表格识别模型对所述视频图像进行识别处理，以确定出所述视频图像内显示为表格的区域，并将所确定出的表格的区域的边缘作为所述虚拟表格框架的外框；

或者，

根据用户在视频图像上的绘制操作，确定出所述虚拟表格框架的外框。

4.根据权利要求2所述的表格生成方法，其特征在于，所述根据用户在所述虚拟表格框架的外框内绘制出的线条，确定出所述虚拟表格框架的各虚拟单元格的步骤之后，还包括：

在所述视频图像上以浮层形式展示所述虚拟表格框架。

5.根据权利要求1所述的表格生成方法，其特征在于，所述对所述虚拟表格框架进行规范化处理，以生成规范表格框架的步骤包括：

以各所述虚拟单元格的顶点作为节点，获取所述虚拟表格框架对应的拓扑结构，其中，所述虚拟表格框架的外框所对应的四个节点记为外框节点，虚拟表格框架内的其他节点记为限定节点；

为四个所述外框节点分配预设的标准化坐标；

根据所述虚拟表格框架对应的拓扑结构和各所述外框节点的标准化坐标，确定出各所述限定节点的规范位置坐标；

在预设坐标系中，根据所述虚拟表格框架的拓扑结构、各所述外框节点的标准化坐标和各所述所述限定节点的规范位置坐标，绘制出相应的表格线条，以得到所述规范表格框架。

6.根据权利要求1所述的表格生成方法，其特征在于，所述对视频图像中各所述虚拟单元格所处区域内的内容进行文字识别处理，以提取出各所述虚拟单元格内的数据信息的步骤包括：

选取连续多帧视频图像，其中一帧为当前帧视频图像；

针对连续多帧视频图像中的每一帧，对该帧视频图像中各所述虚拟单元格所处区域内的内容进行文字识别处理；

针对每一个所述虚拟单元格，对该虚拟单元格在连续多帧视频图像中的文字识别结果进行分类统计，选取出频数最大的文字识别结果作为该虚拟单元格所对应的数据信息。

7.根据权利要求1所述的表格生成方法，其特征在于，所述将各所述虚拟单元格内的数据信息填充至对应的所述规范单元格中，以得到完整表格的步骤之后，还包括：

根据各所述规范单元格内所填充的数据信息所占区域大小，调整各所述规范单元格的尺寸。

8.根据权利要求1-7中任一所述的表格生成方法，其特征在于，所述将各所述虚拟单元格内的数据信息填充至对应的所述规范单元格中，以得到完整表格的步骤之后，还包括：

将所述完整表格保存成图片格式或者excel格式。

9.一种表格生成系统，其特征在于，包括：

第一生成模块，用于根据用户在视频图像上的绘制操作生成相应的虚拟表格框架，所述虚拟表格框架具有多个虚拟单元格；

第二生成模块，用于对所述虚拟表格框架进行规范化处理，以生成规范表格框架，所述规范表格框架具有多个规范单元格，所述规范单元格与所述虚拟单元格一一对应；

文字识别模块，用于对视频图像中各所述虚拟单元格所处区域内的内容进行文字识别处理，以提取出各所述虚拟单元格内的数据信息；

填充模块，用于将各所述虚拟单元格内的数据信息填充至对应的所述规范单元格中，以得到完整表格。

10.根据权利要求9所述的表格生成系统，其特征在于，所述第一生成模块包括：

第一确定单元，用于在所述视频图像上确定出所述虚拟表格框架的外框；

第二确定单元，用于根据用户在所述虚拟表格框架的外框内绘制出的线条，确定出所述虚拟表格框架的各虚拟单元格。

11.根据权利要求10所述的表格生成系统，其特征在于，所述第一确定单元包括：

第一确定子单元，用于根据预先训练出的表格识别模型对所述视频图像进行识别处理，以确定出所述视频图像内显示为表格的区域，并将所确定出的表格的区域的边缘作为所述虚拟表格框架的外框；

或者，

第二确定子单元，用于根据用户在视频图像上的绘制操作，确定出所述虚拟表格框架的外框。

12.根据权利要求10所述的表格生成系统，其特征在于，所述第一生成模块还包括：

展示单元，用于在所述视频图像上以浮层形式展示所述虚拟表格框架。

13.根据权利要求9所述的表格生成系统，其特征在于，所述第二生成模块包括：

获取单元，用于以各所述虚拟单元格的顶点作为节点，获取所述虚拟表格框架对应的拓扑结构，其中，所述虚拟表格框架的外框所对应的四个节点记为外框节点，虚拟表格框架内的其他节点记为限定节点；

分配单元，用于为四个所述外框节点分配预设的标准化坐标；

第三确定单元，用于根据所述虚拟表格框架对应的拓扑结构和各所述外框节点的标准化坐标，确定出各所述限定节点的规范位置坐标；

绘制单元，用于在预设坐标系中，根据所述虚拟表格框架的拓扑结构、各所述外框节点的标准化坐标和各所述所述限定节点的规范位置坐标，绘制出相应的表格线条，以得到所述规范表格框架。

14.根据权利要求9所述的表格生成系统，其特征在于，所述文字识别模块包括：

选取单元，用于选取连续多帧视频图像，其中一帧为当前帧视频图像；

文字识别单元，用于针对连续多帧视频图像中的每一帧，对该帧视频图像中各所述虚拟单元格所处区域内的内容进行文字识别处理；

分类统计单元，用于针对每一个所述虚拟单元格，对该虚拟单元格在连续多帧视频图像中的文字识别结果进行分类统计，选取出频数最大的文字识别结果作为该虚拟单元格所对应的数据信息。

15.根据权利要求9所述的表格生成系统，其特征在于，还包括：

调节模块，用于根据各所述规范单元格内所填充的数据信息所占区域大小，调整各所述规范单元格的尺寸。

16.根据权利要求10-15中任一所述的表格生成系统，其特征在于，还包括：

保存模块，用于将所述完整表格保存成图片格式或者excel格式。

17.一种视频播放设备，其特征在于，包括：

一个或多个处理器；

存储装置，其上存储有一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1-8中任一所述表格生成方法。

18.一种计算机可读介质，其特征在于，其上存储有计算机程序，所述程序被处理器执行时实现如权利要求1-8中任一所述表格生成方法。

Images