CN112784106A - 内容数据的处理方法、报告数据的处理方法、计算机设备、存储介质 - Google Patents

Abstract

本申请实施例公开了一种内容数据的处理方法、报告数据的处理方法、计算机设备、存储介质。依据所述方法，从视频中抽取图片，首先定位内容数据在图片中的目标区域，进一步在目标区域中识别内容数据，一方面可以缩小识别范围，提升识别速度，另一方面，无需识别其他多余信息，可以提高识别的精准度。进一步将内容数据与音频数据进行关联，并提供该关联的内容数据和音频数据，还方便了结合内容数据和音频数据共同使用，并且可以选用其中部分内容数据和对应的音频数据，方便了对关键的内容数据的快速使用。

Description

内容数据的处理方法、报告数据的处理方法、计算机设备、存 储介质

技术领域

本申请涉及数据处理技术领域，具体涉及一种内容数据的处理方法、一种报告数据的处理方法、一种计算机设备、一种计算机可读存储介质。

背景技术

随着网络技术的发展，网络资源的广泛性与优越性也为教育教学带来了创新，不仅包括学历教育，工作生活中涉及的短期技能培训也非常内容繁多，已经不断地进入到了人们的学习生活中。

线上教学通常采用直播或是录制视频的讲解方式，视频画面记录了讲解者对报告的描述过程，随着时间推移翻阅整个报告，无法快速获取报告内容，若是需要复习或是翻阅重点内容，则需要自行点击查找，比较花费时间。

发明内容

鉴于上述问题，提出了本申请以便提供一种克服上述问题或者至少部分地解决上述问题的内容数据的处理方法、报告数据的处理方法以及计算机设备、计算机可读存储介质。

依据本申请的一个方面，提供了一种内容数据的处理方法，包括：

从视频中抽取图片；

定位所述图片中内容数据所处的目标区域；

从所述目标区域中抽取内容数据；

从所述视频中确定与所述内容数据对应的音频数据；

将所确定的音频数据与对应的内容数据进行关联，并提供关联后的内容数据和音频数据。

可选的，所述从视频中抽取图片包括：

从所述视频中按照设定频率抽取图片。

可选的，所述从视频中抽取图片包括：

从所述视频中提取关键帧图片。

可选的，所述定位所述图片中内容数据所处的目标区域包括：

识别图片中与内容数据相关的框架信息；

根据所述框架信息确定所述图片中内容数据所处的目标区域。

可选的，所述方法还包括：

按照目标形状对所述目标区域进行形状矫正。

可选的，所述方法还包括：

对所述目标区域的尺寸进行标准化。

可选的，所述从所述目标区域中抽取内容数据包括：

对所述目标区域进行版面分析和光学字符识别，得到所述目标区域的版面信息和文字信息，以所述版面信息和文本信息作为内容数据。

可选的，在所述从所述目标区域中抽取内容数据之后，所述方法还包括：

根据所抽取的内容数据在所述内容数据之间进行去重处理。

可选的，所述去除内容数据重复的图片包括：

提取对应图片具有页码的内容数据；

查找对应图片的页码相同的内容数据，并在对应图片的页码相同的内容数据中去除重复的内容数据。

可选的，所述根据所抽取的内容数据在所述内容数据之间进行去重处理包括：

确定时序上相邻的内容数据之间关于文本信息和版面信息的相似性数据；

在相似性数据满足设定范围的内容数据中，去除重复的内容数据。

可选的，所述根据所抽取的内容数据在所述内容数据之间进行去重处理包括：

提取对应图片具有页码的内容数据；

根据图片的顺序确定重复查看的图片，并去除重复查看的图片对应的内容数据。

可选的，在所述从所述目标区域中抽取内容数据之后，所述方法还包括：

识别相同的内容数据，并确定为内容目录；

删除重复的内容目录。

可选的，所述从所述视频中确定与所述内容数据所在图片对应的音频数据包括：

从所述视频中确定与去重前的内容数据对应的音频数据。

可选的，所述将所确定的音频数据与对应的内容数据进行关联包括：

将所述与去重前的内容数据对应的音频数据与所述与去重后的内容数据进行关联。

可选的，在所述从所述目标区域中抽取内容数据之后，所述方法还包括：

根据所述内容数据重构新的图片，并在所述新的图片上提供针对所述内容数据的输入控件。

可选的，还包括：

根据所述内容数据或音频数据生成所述内容数据的索引信息。

可选的，还包括：

获取搜索关键词；

根据所述搜索关键词和内容数据的索引信息检索内容数据，并提供所述内容数据。

本申请还提供了一种报告数据的处理方法，包括：

从视频中抽取第一图片；

定位所述第一图片中报告数据所处的目标区域，并从所述目标区域中抽取报告数据；

根据所述报告数据生成第二图片，所述第二图片中提供针对所述报告数据的输入控件；

对所述第二图片进行去重处理；

将去重后的第二图片与所述报告数据对应的音频数据进行关联，并提供关联后的报告数据和音频数据。

本申请还提供了一种内容数据的处理方法，包括：

提交视频；所述视频用于抽取图片以及图片中的内容数据，并在从所述视频中确定与所述内容数据对应的音频数据，将所确定的音频数据与对应的内容数据进行关联；

获取关联后的内容数据与音频数据。

可选的，所述内容数据具有索引信息，所述方法还包括：

提供搜索关键词；

获取根据所述搜索关键词以及内容数据的索引信息检索的内容数据。

本申请还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述一个或多个的方法。

本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述一个或多个的方法。

依据本申请实施例，提供了一种内容数据的抽取方法，便于直观获取到内容数据，相比于观看视频的方式，减少了冗余信息的干扰。从视频中抽取图片，首先定位内容数据在图片中的目标区域，进一步在目标区域中识别内容数据，一方面可以缩小识别范围，提升识别速度，另一方面，无需识别其他多余信息，可以提高识别的精准度。进一步将内容数据与音频数据进行关联，并提供该关联的内容数据和音频数据，还方便了结合内容数据和音频数据共同使用，并且可以选用其中部分内容数据和对应的音频数据，方便了对关键的内容数据的快速使用。

本申请实施例中，可选的，从视频中抽取图片时，可以从视频中按照设定频率抽取图片，或者从视频中提取关键帧图片。

上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了根据本申请实施例一的一种内容数据的方法实施例的流程图；

图2示出了根据本申请实施例二的一种内容数据的处理方法实施例的流程图；

图3示出了根据本申请实施例三的一种报告数据的处理方法实施例的流程图；

图4示出了根据本申请实施例四的一种内容数据的处理方法实施例的流程图；

图5示出了本申请的一个示例中的内容数据的处理方法的流程图；

图6示出了本申请的一个示例中内容数据的处理方法的效果示意图；

图7示出了根据本申请的一个示例中去重过程的示意图；

图8示出了根据本申请实施例五的一种内容数据的处理装置实施例的结构框图；

图9示出了根据本申请实施例六的一种报告数据的处理装置实施例的结构框图；

图10示出了根据本申请实施例七的一种内容数据的处理装置实施例的结构框图；

图11示出了可被用于实现本公开中所述的各个实施例的示例性系统。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

为使本领域技术人员更好地理解本申请，以下对本申请涉及的概念进行说明：

本申请实施例涉及一种从视频中抽取内容数据并对内容数据进行重新整合的方法。其中涉及到的内容数据可以是文本(例如报告数据)、图片，也可以是任意的网络对象，例如图片中的车辆、行人、网络交易平台的商品。根据实际应用场景的需求可以设置相应需要的内容数据。内容数据可以是图片、文字等数据形式的结合，还可以包括视频、音频等。

从视频中抽取图片时，可以按照一定的频率进行抽取，也开始根据需要抽取特定的图片，例如抽取关键帧图片，关键帧图片可以是含有特定内容的图片。

本申请实施例的内容数据从视频中识别并抽取，具体可以从视频中抽取视频帧，进一步从视频帧中抽取内容数据。视频可以是现成的网络视频，还可以是直播视频。比如网络教育场景下，视频可以是网络教育课程(或培训课程)的公开视频，也可以是软件直播的在线教育视频等，内容数据对应为课程的报告数据(比如幻灯片讲义)；又如网络交易场景下，视频可以是商品的描述视频，内容数据对应为商品；在道路管理场景下，视频可以是道路监控的录像，内容数据对应为行人或车辆。

由于图片中除去内容数据还可能包括其他多种数据，并且，通常内容数据会集中在图片的某个区域，例如幻灯片往往在视频的中间部分的矩形区域内。本申请实施例可以首先定位内容数据在图片中的目标区域，进一步在目标区域中识别内容数据，一方面可以缩小识别范围，提升识别速度，另一方面，避免了多余信息的干扰，可以提高识别的精准度。

定位内容数据时，可以识别图片中与内容数据相关的框架信息，在确定图片的框架信息后，可以根据框架信息确定内容数据所处的目标区域，例如幻灯片为矩形框架，通常位于视频帧图片的中间区域。识别图片的框架信息可以通过比对图片，得到图片重复的内容，将重复内容符合框架特征的部分作为图片的框架信息。

由于视频拍摄角度存在误差，可能导致内容数据在图片中所处的目标区域发生变形。例如，课程拍摄时并未对准幻灯片，导致图片中幻灯片的区域边界为多边形而非矩形。这种情况下，可以对上述确定的目标区域进行形状矫正，具体可以自动矫正或是根据设定的形状进行矫正。

由于通常会对视频中的多张图片进行处理，因此可以对图片的尺寸进行归一化处理，例如1024*768的图片尺寸，具体应用中可以根据实际需要设定，保证图片中文字的清晰度，或是统计出多张图片较大比例的尺寸，并以此调整其他图片的尺寸。

内容数据包括文本时，对应可以对目标区域进行文字识别，例如可以采用光学字符识别，还可以识别目标区域的版面信息，已文本信息和版面信息作为内容数据的一部分。其中，版面信息可以包括文本信息的排版格式等信息，例如页面标题、页眉页脚、插图、表格、公式、段落及各区域对应的位置信息、字体字号等信息。

以网络课程的场景为例，幻灯片通常会有至少一个目录，用以索引幻灯片内容，在幻灯片的播放过程中，目录会重复出现，因此可以通过比对内容数据，删除重复的内容目录。

在获取内容数据后，可以根据内容数据重构新的图片，也称之为内容数据的页面重构，相比于原来的图片，新的图片上可以设置有至少一个针对内容数据的输入控件，以供针对内容数据进行操作，例如，基于输入控件对内容数据进行选择，输入备注信息，点击进入下一步编辑等操作。

视频中的音频数据是与其中的内容数据对应的，例如课程视频中，讲解的音频数据则对应解释幻灯片中的内容数据。本申请实施例将内容数据与音频数据进行对应，并进行关联。从而使得内容数据与音频数据关联使用，例如可以选择部分内容数据对应的音频数据进行编辑或是播放。

具体的音频数据与内容数据的对应可以依据时间信息来完成，音频数据本身携带有时间标记，内容数据提取后也可以对应添加时间标记，将两者的时间标记进行对应，便可以将内容数据与音频数据进行匹配。

在一些应用场景中，视频中抽取的图片可能会有重复，例如针对网络课程的幻灯片，按照一定频率抽取图片，某一页幻灯片可能会被抽取到多张图片，从而使得多张图片的内容发生重复，有需要对重复的内容数据进行去重处理，从而减少重复冗余的信息，便于快速查看内容数据。

由于内容数据可能会采用标识进行区分，例如幻灯片的每页对应有不同页码，因此，在一种可选的实施例中，可以识别内容数据对应的图片中是否有页码，对应同一页码图片的内容数据可以认为是相同的内容数据，可以进行去重处理。

从视频中抽取图片时，可能抽取到针对同一内容数据的多张图片，因此，需要对这种重复展示的内容数据进行去重。具体可以提取时序上相邻的内容数据，并进行比对，若相似度较高，例如高于设定阈值，则可以确定为重复的内容数据，可以进行去重处理。具体可以计算相邻页面图片的相似度分值，文本相似度分值及版面相似度分值，根据三个相似度分值判断页面是否相同。实际应用中，上述三种相似度可分别设置阈值进行判断，也可以结合(例如加权平均为一个分值并设置对应阈值进行判断。

如上几种去重处理中，由于针对同一页拍摄的多张图片中，通常最后一张展示的内容较为完整，因此，可以删除前面页数的内容数据，保留最后页数的内容数据。

针对内容数据的展示中可能出现回翻的情况，例如顺序观看幻灯片第8页和第9页，由于第9页部分内容与第8页相关，会回翻第8页查看，从而使得回翻时视频记录的视频帧图片与顺序观看第8页的视频帧图片，具有了相同的展示内容，即第8页的内容。针对此种重复内容的情况，可以对重复查看的图片对应的内容数据进行去除处理。具体可以通过比对当前页和除去邻近前页之外的其他前页的内容数据，通过比对内容数据具有较高的相似度来确定回翻页面。

需要说明的是，可以在抽取内容数据之后，对内容数据进行去重，也可以在得到图片之后以及抽取内容数据之前，对图片进行去重操作。

相应的，若对内容数据进行了去重处理，则相应关联的原始的音频数据则也是与去重后的内容数据进行关联，从而使得内容数据可以对应其完整的音频数据。

在具体实现中，还可以根据内容数据形成相应的广告数据，例如根据雅思课程的教学内容，生成相应的广告推荐语，还可以同时截取视频片段或是视频图片作为广告内容的一部分。

需要说明的是，上述针对内容数据的处理过程中，每个内容数据都可以对应标记唯一标识符、对应的视频帧图片的帧号、时间戳、在图片中所处位置信息等数据，用以对不同的内容数据进行区分。上述步骤的实现顺序可以根据实际需要进行调整，例如内容数据的重构和去重可以并列进行，也可以先进行重构再执行去重步骤，或者先执行去重步骤再进行重构。又如，音频数据的提取可以与内容数据的抽取、识别等步骤同时进行，也可以在重构后再获取音频数据。诸如此类可以进行顺序调换的情况可以根据实际需要安排，本申请对此并不做限制。

参照图1，示出了根据本申请实施例一的一种内容数据的处理方法实施例的流程图，该方法具体可以包括以下步骤：

步骤101，从视频中抽取图片。

步骤102，定位所述图片中内容数据所处的目标区域。

步骤103，从所述目标区域中抽取内容数据。

步骤104，从所述视频中确定与所述内容数据对应的音频数据。

步骤105，将所确定的音频数据与对应的内容数据进行关联，并提供关联后的内容数据和音频数据。

依据本申请实施例，提供了一种内容数据的抽取方法，便于直观获取到内容数据，相比于观看视频的方式，减少了冗余信息的干扰。从视频中抽取图片，首先定位内容数据在图片中的目标区域，进一步在目标区域中识别内容数据，一方面可以缩小识别范围，提升识别速度，另一方面，无需识别其他多余信息，可以提高识别的精准度。进一步将内容数据与音频数据进行关联，并提供该关联的内容数据和音频数据，还方便了结合内容数据和音频数据共同使用，并且可以选用其中部分内容数据和对应的音频数据，方便了对关键的内容数据的快速使用。

本申请实施例中，可选的，从视频中抽取图片时，可以从视频中按照设定频率抽取图片，或者从视频中提取关键帧图片。

本申请实施例中，可选的，定位图片中内容数据所处的目标区域时，可以，识别图片中与内容数据相关的框架信息；根据框架信息确定图片中内容数据所处的目标区域。

本申请实施例中，可选的，还可以按照目标形状对目标区域进行形状矫正，从而使得目标区域的边界为规则图形。

本申请实施例中，可选的，还可以对目标区域的尺寸进行标准化，从而使得多张图片的尺寸符合规范，便于后续的内容识别和提取。经过该步骤得到一系列的边界规则、尺寸规范的图片。

本申请实施例中，可选的，从目标区域中抽取内容数据时，可以对目标区域进行版面分析和光学字符识别，得到目标区域的版面信息和文字信息，以版面信息和文本信息作为内容数据。

本申请实施例中，可选的，在从目标区域中抽取内容数据之后，还可以识别相同的内容数据，并确定为内容目录，进一步删除重复的内容目录。

本申请实施例中，可选的，在从目标区域中抽取内容数据之后，还可以根据内容数据重构新的图片，并在新的图片上提供针对内容数据的输入控件。

本申请实施例中，可选的，还可以根据内容数据或音频数据生成内容数据的索引信息。进一步在搜索内容数据时，可以获取搜索关键词，根据搜索关键词和内容数据的索引信息检索内容数据，并提供内容数据。索引信息可以通过对内容数据的分析生成，也可以通过语音识别，将音频的内容插入到内容数据中，作为内容数据的备注，从而大大丰富了内容数据原本记载的信息，方便内容检索及回看学习，非常便利。

参照图2，示出了根据本申请实施例二的一种内容数据的处理方法实施例的流程图，该方法具体可以包括以下步骤：

步骤201，从视频中抽取图片。

步骤202，定位所述图片中内容数据所处的目标区域。

步骤203，从所述目标区域中抽取内容数据。

步骤204，根据所抽取的内容数据在所述内容数据之间进行去重处理。

步骤205，从所述视频中确定与所述内容数据对应的音频数据。

步骤206，将所确定的音频数据与对应的内容数据进行关联，并提供关联后的内容数据和音频数据。

本申请的一种可选的实施例中，针对同一页内容，去除内容数据重复的图片时，可以提取对应图片具有页码的内容数据；查找对应图片的页码相同的内容数据，并在对应图片的页码相同的内容数据中去除重复的内容数据。

本申请的另一种可选的实施例中，针对同一页内容，去除内容数据重复的图片时，可以确定时序上相邻的内容数据之间关于文本信息和版面信息的相似性数据；在相似性数据满足设定范围的内容数据中，去除重复的内容数据。

本申请的又一种可选的实施例中，针对回翻查看的数据内容，去除内容数据重复的图片时，可以提取对应图片具有页码的内容数据；根据图片的顺序确定重复查看的图片，并去除重复查看的图片对应的内容数据。

本申请实施例中，可选的，从视频中确定与内容数据所在图片对应的音频数据时，可以从视频中确定与去重前的内容数据对应的音频数据。相应的，将所确定的音频数据与对应的内容数据进行关联，也即是将与去重前的内容数据对应的音频数据与去重后的内容数据进行关联。

依据本申请实施例，提供了一种内容数据的抽取方法，便于直观获取到内容数据，相比于观看视频的方式，减少了冗余信息的干扰。从视频中抽取图片，首先定位内容数据在图片中的目标区域，进一步在目标区域中识别内容数据，一方面可以缩小识别范围，提升识别速度，另一方面，无需识别其他多余信息，可以提高识别的精准度。进一步将内容数据与音频数据进行关联，并提供该关联的内容数据和音频数据，还方便了结合内容数据和音频数据共同使用，并且可以选用其中部分内容数据和对应的音频数据，方便了对关键的内容数据的快速使用。

通过对重复的内容数据进行去重处理，从而减少重复冗余的信息，便于快速查看内容数据。

以内容数据包括报告数据为例，可以实现如下的报告数据的处理过程，参照图3，示出了根据本申请实施例三的一种报告数据的处理方法实施例的流程图，该方法具体可以包括以下步骤：

步骤301，从视频中抽取第一图片。

步骤302，定位所述第一图片中报告数据所处的目标区域，并从所述目标区域中抽取报告数据。

步骤303，根据所述报告数据生成第二图片，所述第二图片中提供针对所述报告数据的输入控件。

步骤304，对所述第二图片进行去重处理。

步骤305，将去重后的第二图片与所述报告数据对应的音频数据进行关联，并提供关联后的报告数据和音频数据。

依据本申请实施例，提供了一种报告数据的抽取方法，便于直观获取到报告数据，相比于观看视频的方式，减少了冗余信息的干扰。从视频中抽取图片，首先定位报告数据在图片中的目标区域，进一步在目标区域中识别内容数据，一方面可以缩小识别范围，提升识别速度，另一方面，无需识别其他多余信息，可以提高识别的精准度。进一步将报告数据与音频数据进行关联，并提供该关联的报告数据和音频数据，还方便了结合报告数据和音频数据共同使用，并且可以选用其中部分报告数据和对应的音频数据，方便了对关键的报告数据的快速使用。

通过对重复的报告数据进行去重处理，从而减少重复冗余的信息，便于快速查看报告数据。

如下从内容数据的查看角度给出客户端处理的实施例，由客户端提交视频，服务器端分析该视频，通过内容数据的处理流程，将音频数据与内容数据关联并提供给客户端。客户端还可以基于内容数据的索引，进一步进行内容数据的搜索。

参照图4，示出了根据本申请实施例四的一种内容数据的处理方法实施例的流程图，该方法具体可以包括以下步骤：

步骤401，提交视频；所述视频用于抽取图片以及图片中的内容数据，并在从所述视频中确定与所述内容数据对应的音频数据，将所确定的音频数据与对应的内容数据进行关联。

步骤402，获取关联后的内容数据与音频数据。

进一步，还可以对内容数据添加索引信息，客户端提供搜索关键词，可以在本地或是服务器端，获取根据搜索关键词以及内容数据的索引信息检索的内容数据。

依据本申请实施例，提供了一种内容数据的抽取方法，便于直观获取到内容数据，相比于观看视频的方式，减少了冗余信息的干扰。从视频中抽取图片，首先定位内容数据在图片中的目标区域，进一步在目标区域中识别内容数据，一方面可以缩小识别范围，提升识别速度，另一方面，无需识别其他多余信息，可以提高识别的精准度。进一步将内容数据与音频数据进行关联，并提供该关联的内容数据和音频数据，还方便了结合内容数据和音频数据共同使用，并且可以选用其中部分内容数据和对应的音频数据，方便了对关键的内容数据的快速使用。

为使本领域技术人员更好地理解本申请，以下通过具体的示例对本申请的一种图像处理方法进行说明。

图5示出了根据本申请的一个示例中内容数据的处理方法的流程图，具体包括：

输入视频或直播流，提取完整时间段的音频信息，同时提取关键帧或是抽帧，进一步进行报告区域检测、截取、矫正、归一化处理，之后进行图片页面的版面分析以及文字识别，利用图片、文本、版面的相似度做图片去重，同时进行页面文档重构。结合提取的音频信息，利用原始的时间戳获得每个页面对应的音频信息，做语音识别，将音频以及内容插入到文档，得到最终的电子文档。

图6示出了根据本申请的一个示例中的内容数据的处理方法的效果示意图。如图，视频源提供视频，可以通过降采样的方式此采集多个图片，进一步定位报告区域、进行文字识别、图像重构。如图6所示，文字部分识别完成之后，在重构的图像中，将文字识别之前的图像中的文字进行了蓝色标记处理，并设置了输入控件，针对蓝色的文字部分可以进行操作。进一步通过相似帧打标和去重，最后导入音频形成可检索的电子文档。

图7示出了根据本申请的一个示例中去重过程的示意图。具体可以包括：

1、输入带有识别后文本内容、版面信息的图片序列。

2、判断是否有页码。

3.1、如果已经分析出页眉页脚中带有页码，则去重较为简单，相邻页面页码相同则是相同页面，根据页码做相邻页面去重即可。具体而言，相邻页面重复则保留第二个页面，便于分析对应的音频时间段。若不是相同页面，则不作处理。

3.2、进一步进行目录页面的判断及保留。

3.3、根据页码做回翻页面的判断，前跨页面页码相同则是回翻页面。若是回翻页面，则删除回翻页面，若不是回翻页面，则不做处理。执行完

4.1、如果没有页码，则计算相邻图片间的相似度，并判断是否是相同页面。

4.2、基于上一步中去重后的页面序列，做目录页面的判断，根据内容简单、循环出现、相似度高等特点，分析出目录页面并保留一张目录页面，其余删除处理。

4.3、进一步回翻页面判断，利用与前跨页面的页面间相似度，判断是否是回翻页面，如果是回翻页面则删除。

上述相似度计算中，均可以采用相邻页面图片的相似度分值、文本相似度分值或版面相似度分值，或者三者结合进行计算。

上述3.1-3.3以及4.1-4.3的两种判断分支完成后，可以输出去重后的所有页面，并进行保存。

参照图8，示出了根据本申请实施例五的一种内容数据的处理装置实施例的结构框图，具体可以包括：

图片抽取模块501，用于从视频中抽取图片；

区域定位模块502，用于定位所述图片中内容数据所处的目标区域；

内容数据抽取模块503，从所述目标区域中抽取内容数据；

音频数据确定模块504，从所述视频中确定与所述内容数据对应的音频数据；

关联模块505，将所确定的音频数据与对应的内容数据进行关联，；

数据提供模块506，提供关联后的内容数据和音频数据。

本申请的一种可选实施例中，所述图片抽取模块，具体用于从所述视频中按照设定频率抽取图片。

本申请的一种可选实施例中，所述图片抽取模块，具体用于从所述视频中提取关键帧图片。

本申请的一种可选实施例中，所述区域定位模块包括：

框架信息识别子模块，用于识别图片中与内容数据相关的框架信息；

区域确定子模块，用于根据所述框架信息确定所述图片中内容数据所处的目标区域。

本申请的一种可选实施例中，所述装置还包括：

形状矫正模块，用于按照目标形状对所述目标区域进行形状矫正。

本申请的一种可选实施例中，所述装置还包括：

尺寸标准化模块，用于对所述目标区域的尺寸进行标准化。

本申请的一种可选实施例中，所述内容数据抽取模块，具体用于对所述目标区域进行版面分析和光学字符识别，得到所述目标区域的版面信息和文字信息，以所述版面信息和文本信息作为内容数据。

本申请的一种可选实施例中，所述装置还包括：

去重模块，用于在所述从所述目标区域中抽取内容数据之后，根据所抽取的内容数据在所述内容数据之间进行去重处理。

本申请的一种可选实施例中，所述去重模块，具体用于提取对应图片具有页码的内容数据；查找对应图片的页码相同的内容数据，并在对应图片的页码相同的内容数据中去除重复的内容数据。

本申请的一种可选实施例中，所述去重模块，具体用于提取对应图片具有页码的内容数据；根据图片的顺序确定重复查看的图片，并去除重复查看的图片对应的内容数据。

本申请的一种可选实施例中，所述去重模块，具体用于确定时序上相邻的内容数据之间关于文本信息和版面信息的相似性数据；在相似性数据满足设定范围的内容数据中，去除重复的内容数据。

本申请的一种可选实施例中，所述装置还包括：

目录确定模块，用于在所述从所述目标区域中抽取内容数据之后，识别相同的内容数据，并确定为内容目录；

目录删除模块，用于删除重复的内容目录。

本申请的一种可选实施例中，所述音频数据确定模块，具体用于从所述视频中确定与去重前的内容数据对应的音频数据。

本申请的一种可选实施例中，所述关联模块，具体用于将所述与去重前的内容数据对应的音频数据与所述与去重后的内容数据进行关联。

本申请的一种可选实施例中，所述装置还包括：

图片重构模块，用于在所述从所述目标区域中抽取内容数据之后，根据所述内容数据重构新的图片，并在所述新的图片上提供针对所述内容数据的输入控件。

本申请的一种可选实施例中，所述装置还包括：

索引生成模块，用于生成所述内容数据的索引信息。

本申请的一种可选实施例中，所述装置还包括：

关键词获取模块，用于获取搜索关键词；

检索模块，用于根据所述搜索关键词和内容数据的索引信息检索内容数据，并提供所述内容数据。

依据本申请实施例，提供了一种内容数据的抽取方法，便于直观获取到内容数据，相比于观看视频的方式，减少了冗余信息的干扰。从视频中抽取图片，首先定位内容数据在图片中的目标区域，进一步在目标区域中识别内容数据，一方面可以缩小识别范围，提升识别速度，另一方面，无需识别其他多余信息，可以提高识别的精准度。进一步将内容数据与音频数据进行关联，并提供该关联的内容数据和音频数据，还方便了结合内容数据和音频数据共同使用，并且可以选用其中部分内容数据和对应的音频数据，方便了对关键的内容数据的快速使用。

通过对重复的内容数据进行去重处理，从而减少重复冗余的信息，便于快速查看内容数据。

本申请实施例中，还可以根据内容数据或音频数据生成内容数据的索引信息，索引信息可以通过对内容数据的分析生成，也可以通过语音识别，将交流产生的音频的内容插入到内容数据中，作为内容数据的备注，从而大大丰富了内容数据原本记载的信息。索引信息还可以用于检索内容数据，为内容数据的查找提供了方便。

参照图9，示出了根据本申请实施例六的一种报告数据的处理装置实施例的结构框图，具体可以包括：

第一图片抽取模块601，用于从视频中抽取第一图片；

区域定位模块602，定位所述第一图片中报告数据所处的目标区域；

报告数据抽取模块603，用于从所述目标区域中抽取报告数据；

第二图片生成模块604，用于根据所述报告数据生成第二图片，所述第二图片中提供针对所述报告数据的输入控件；

去重模块605，用于对所述第二图片进行去重处理；

关联模块606，用于将去重后的第二图片与所述报告数据对应的音频数据进行关联；

数据提供模块607，用于提供关联后的报告数据和音频数据。

依据本申请实施例，提供了一种报告数据的抽取方法，便于直观获取到报告数据，相比于观看视频的方式，减少了冗余信息的干扰。从视频中抽取图片，首先定位报告数据在图片中的目标区域，进一步在目标区域中识别内容数据，一方面可以缩小识别范围，提升识别速度，另一方面，无需识别其他多余信息，可以提高识别的精准度。进一步将报告数据与音频数据进行关联，并提供该关联的报告数据和音频数据，还方便了结合报告数据和音频数据共同使用，并且可以选用其中部分报告数据和对应的音频数据，方便了对关键的报告数据的快速使用。

通过对重复的报告数据进行去重处理，从而减少重复冗余的信息，便于快速查看报告数据。

参照图10，示出了根据本申请实施例七的一种内容数据的处理装置实施例的结构框图，具体可以包括：

视频提交模块701，用于提交视频；所述视频用于抽取图片以及图片中的内容数据，并在从所述视频中确定与所述内容数据对应的音频数据，将所确定的音频数据与对应的内容数据进行关联；

数据获取模块702，用于获取关联后的内容数据与音频数据。

本申请的一种优选实施例中，所述内容数据具有索引信息，所述装置还包括：

关键词提供模块，用于提供搜索关键词；

内容数据获取模块，用于获取根据所述搜索关键词以及内容数据的索引信息检索的内容数据。

依据本申请实施例，提供了一种内容数据的抽取方法，便于直观获取到内容数据，相比于观看视频的方式，减少了冗余信息的干扰。从视频中抽取图片，首先定位内容数据在图片中的目标区域，进一步在目标区域中识别内容数据，一方面可以缩小识别范围，提升识别速度，另一方面，无需识别其他多余信息，可以提高识别的精准度。进一步将内容数据与音频数据进行关联，并提供该关联的内容数据和音频数据，还方便了结合内容数据和音频数据共同使用，并且可以选用其中部分内容数据和对应的音频数据，方便了对关键的内容数据的快速使用。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本公开的实施例可被实现为使用任意适当的硬件，固件，软件，或及其任意组合进行想要的配置的系统。图11示意性地示出了可被用于实现本公开中所述的各个实施例的示例性系统(或装置)800。

对于一个实施例，图11示出了示例性系统800，该系统具有一个或多个处理器802、被耦合到(一个或多个)处理器802中的至少一个的系统控制模块(芯片组)804、被耦合到系统控制模块804的系统存储器806、被耦合到系统控制模块804的非易失性存储器(NVM)/存储设备808、被耦合到系统控制模块804的一个或多个输入/输出设备810，以及被耦合到系统控制模块806的网络接口812。

处理器802可包括一个或多个单核或多核处理器，处理器802可包括通用处理器或专用处理器(例如图形处理器、应用处理器、基频处理器等)的任意组合。在一些实施例中，系统800能够作为本申请实施例中所述的浏览器。

在一些实施例中，系统800可包括具有指令的一个或多个计算机可读介质(例如，系统存储器806或NVM/存储设备808)以及与该一个或多个计算机可读介质相合并被配置为执行指令以实现模块从而执行本公开中所述的动作的一个或多个处理器802。

对于一个实施例，系统控制模块804可包括任意适当的接口控制器，以向(一个或多个)处理器802中的至少一个和/或与系统控制模块804通信的任意适当的设备或组件提供任意适当的接口。

系统控制模块804可包括存储器控制器模块，以向系统存储器806提供接口。存储器控制器模块可以是硬件模块、软件模块和/或固件模块。

系统存储器806可被用于例如为系统800加载和存储数据和/或指令。对于一个实施例，系统存储器806可包括任意适当的易失性存储器，例如，适当的DRAM。在一些实施例中，系统存储器806可包括双倍数据速率类型四同步动态随机存取存储器(DDR4SDRAM)。

对于一个实施例，系统控制模块804可包括一个或多个输入/输出控制器，以向NVM/存储设备808及(一个或多个)输入/输出设备810提供接口。

例如，NVM/存储设备808可被用于存储数据和/或指令。NVM/存储设备808可包括任意适当的非易失性存储器(例如，闪存)和/或可包括任意适当的(一个或多个)非易失性存储设备(例如，一个或多个硬盘驱动器(HDD)、一个或多个光盘(CD)驱动器和/或一个或多个数字通用光盘(DVD)驱动器)。

NVM/存储设备808可包括在物理上作为系统800被安装在其上的设备的一部分的存储资源，或者其可被该设备访问而不必作为该设备的一部分。例如，NVM/存储设备808可通过网络经由(一个或多个)输入/输出设备810进行访问。

(一个或多个)输入/输出设备810可为系统800提供接口以与任意其他适当的设备通信，输入/输出设备810可以包括通信组件、音频组件、传感器组件等。网络接口812可为系统800提供接口以通过一个或多个网络通信，系统800可根据一个或多个无线网络标准和/或协议中的任意标准和/或协议来与无线网络的一个或多个组件进行无线通信，例如接入基于通信标准的无线网络，如WiFi、2G、3G、4G或5G，或它们的组合进行无线通信。

对于一个实施例，(一个或多个)处理器802中的至少一个可与系统控制模块804的一个或多个控制器(例如，存储器控制器模块)的逻辑封装在一起。对于一个实施例，(一个或多个)处理器802中的至少一个可与系统控制模块804的一个或多个控制器的逻辑封装在一起以形成系统级封装(SiP)。对于一个实施例，(一个或多个)处理器802中的至少一个可与系统控制模块804的一个或多个控制器的逻辑集成在同一模具上。对于一个实施例，(一个或多个)处理器802中的至少一个可与系统控制模块804的一个或多个控制器的逻辑集成在同一模具上以形成片上系统(SoC)。

在各个实施例中，系统800可以但不限于是：浏览器、工作站、台式计算设备或移动计算设备(例如，膝上型计算设备、手持计算设备、平板电脑、上网本等)。在各个实施例中，系统800可具有更多或更少的组件和/或不同的架构。例如，在一些实施例中，系统800包括一个或多个摄像机、键盘、液晶显示器(LCD)屏幕(包括触屏显示器)、非易失性存储器端口、多个天线、图形芯片、专用集成电路(ASIC)和扬声器。

其中，如果显示器包括触摸面板，显示屏可以被实现为触屏显示器，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。

本申请实施例还提供了一种非易失性可读存储介质，该存储介质中存储有一个或多个模块(programs)，该一个或多个模块被应用在终端设备时，可以使得该终端设备执行本申请实施例中各方法步骤的指令(instructions)。

在一个示例中提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如本申请实施例的方法。

在一个示例中还提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如本申请实施例的一个或多个的方法。

本申请提供了一种内容数据的处理方法，示例1包括一种内容数据的处理方法，包括：

从视频中抽取图片；

定位所述图片中内容数据所处的目标区域；

从所述目标区域中抽取内容数据；

从所述视频中确定与所述内容数据对应的音频数据；

将所确定的音频数据与对应的内容数据进行关联，并提供关联后的内容数据和音频数据。

示例2可包括示例1所述的方法，所述从视频中抽取图片包括：

从所述视频中按照设定频率抽取图片。

示例3可包括示例1所述的方法，所述从视频中抽取图片包括：

从所述视频中提取关键帧图片。

示例4可包括示例1所述的方法，所述定位所述图片中内容数据所处的目标区域包括：

识别图片中与内容数据相关的框架信息；

根据所述框架信息确定所述图片中内容数据所处的目标区域。

示例5可包括示例1所述的方法，所述方法还包括：

按照目标形状对所述目标区域进行形状矫正。

示例6可包括示例1所述的方法，所述方法还包括：

对所述目标区域的尺寸进行标准化。

示例7可包括示例1所述的方法，所述从所述目标区域中抽取内容数据包括：

对所述目标区域进行版面分析和光学字符识别，得到所述目标区域的版面信息和文字信息，以所述版面信息和文本信息作为内容数据。

示例8可包括示例1所述的方法，在所述从所述目标区域中抽取内容数据之后，所述方法还包括：

根据所抽取的内容数据在所述内容数据之间进行去重处理。

示例9可包括示例8所述的方法，所述去除内容数据重复的图片包括：

提取对应图片具有页码的内容数据；

查找对应图片的页码相同的内容数据，并在对应图片的页码相同的内容数据中去除重复的内容数据。

示例10可包括示例8所述的方法，所述根据所抽取的内容数据在所述内容数据之间进行去重处理包括：

确定时序上相邻的内容数据之间关于文本信息和版面信息的相似性数据；

在相似性数据满足设定范围的内容数据中，去除重复的内容数据。

示例11可包括示例8所述的方法，所述根据所抽取的内容数据在所述内容数据之间进行去重处理包括：

提取对应图片具有页码的内容数据；

根据图片的顺序确定重复查看的图片，并去除重复查看的图片对应的内容数据。

示例12可包括示例1所述的方法，在所述从所述目标区域中抽取内容数据之后，所述方法还包括：

识别相同的内容数据，并确定为内容目录；

删除重复的内容目录。

示例13可包括示例8所述的方法，所述从所述视频中确定与所述内容数据所在图片对应的音频数据包括：

从所述视频中确定与去重前的内容数据对应的音频数据。

示例14可包括示例13所述的方法，所述将所确定的音频数据与对应的内容数据进行关联包括：

将所述与去重前的内容数据对应的音频数据与所述与去重后的内容数据进行关联。

示例15可包括示例1所述的方法，在所述从所述目标区域中抽取内容数据之后，所述方法还包括：

根据所述内容数据重构新的图片，并在所述新的图片上提供针对所述内容数据的输入控件。

示例16可包括示例1所述的方法，还包括：

根据所述内容数据或音频数据生成所述内容数据的索引信息。

示例17可包括示例16所述的方法，还包括：

获取搜索关键词；

根据所述搜索关键词和内容数据的索引信息检索内容数据，并提供所述内容数据。

示例18包括一种报告数据的处理方法，包括：

从视频中抽取第一图片；

定位所述第一图片中报告数据所处的目标区域，并从所述目标区域中抽取报告数据；

根据所述报告数据生成第二图片，所述第二图片中提供针对所述报告数据的输入控件；

对所述第二图片进行去重处理；

将去重后的第二图片与所述报告数据对应的音频数据进行关联，并提供关联后的报告数据和音频数据。

示例19包括一种内容数据的处理方法，包括：

提交视频；所述视频用于抽取图片以及图片中的内容数据，并在从所述视频中确定与所述内容数据对应的音频数据，将所确定的音频数据与对应的内容数据进行关联；

获取关联后的内容数据与音频数据。

示例20可包括示例19所述的方法，所述内容数据具有索引信息，所述方法还包括：

提供搜索关键词；

获取根据所述搜索关键词以及内容数据的索引信息检索的内容数据。

示例21包括一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如示例1-20一个或多个的方法。

示例22包括一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如示例1-20一个或多个的方法

虽然某些实施例是以说明和描述为目的的，各种各样的替代、和/或、等效的实施方案、或计算来达到同样的目的实施例示出和描述的实现，不脱离本申请的实施范围。本申请旨在覆盖本文讨论的实施例的任何修改或变化。因此，显然本文描述的实施例仅由权利要求和它们的等同物来限定。

Claims (22)

1.一种内容数据的处理方法，其特征在于，包括：

从视频中抽取图片；

定位所述图片中内容数据所处的目标区域；

从所述目标区域中抽取内容数据；

从所述视频中确定与所述内容数据对应的音频数据；

将所确定的音频数据与对应的内容数据进行关联，并提供关联后的内容数据和音频数据。

2.根据权利要求1所述的方法，其特征在于，所述从视频中抽取图片包括：

从所述视频中按照设定频率抽取图片。

3.根据权利要求1所述的方法，其特征在于，所述从视频中抽取图片包括：

从所述视频中提取关键帧图片。

4.根据权利要求1所述的方法，其特征在于，所述定位所述图片中内容数据所处的目标区域包括：

识别图片中与内容数据相关的框架信息；

根据所述框架信息确定所述图片中内容数据所处的目标区域。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

按照目标形状对所述目标区域进行形状矫正。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

对所述目标区域的尺寸进行标准化。

7.根据权利要求1所述的方法，其特征在于，所述从所述目标区域中抽取内容数据包括：

对所述目标区域进行版面分析和光学字符识别，得到所述目标区域的版面信息和文字信息，以所述版面信息和文本信息作为内容数据。

8.根据权利要求1所述的方法，其特征在于，在所述从所述目标区域中抽取内容数据之后，所述方法还包括：

根据所抽取的内容数据在所述内容数据之间进行去重处理。

9.根据权利要求8所述的方法，其特征在于，所述去除内容数据重复的图片包括：

提取对应图片具有页码的内容数据；

查找对应图片的页码相同的内容数据，并在对应图片的页码相同的内容数据中去除重复的内容数据。

10.根据权利要求8所述的方法，其特征在于，所述根据所抽取的内容数据在所述内容数据之间进行去重处理包括：

确定时序上相邻的内容数据之间关于文本信息和版面信息的相似性数据；

在相似性数据满足设定范围的内容数据中，去除重复的内容数据。

11.根据权利要求8所述的方法，其特征在于，所述根据所抽取的内容数据在所述内容数据之间进行去重处理包括：

提取对应图片具有页码的内容数据；

根据图片的顺序确定重复查看的图片，并去除重复查看的图片对应的内容数据。

12.根据权利要求1所述的方法，其特征在于，在所述从所述目标区域中抽取内容数据之后，所述方法还包括：

识别相同的内容数据，并确定为内容目录；

删除重复的内容目录。

13.根据权利要求8所述的方法，其特征在于，所述从所述视频中确定与所述内容数据所在图片对应的音频数据包括：

从所述视频中确定与去重前的内容数据对应的音频数据。

14.根据权利要求13所述的方法，其特征在于，所述将所确定的音频数据与对应的内容数据进行关联包括：

将所述与去重前的内容数据对应的音频数据与所述与去重后的内容数据进行关联。

15.根据权利要求1所述的方法，其特征在于，在所述从所述目标区域中抽取内容数据之后，所述方法还包括：

根据所述内容数据重构新的图片，并在所述新的图片上提供针对所述内容数据的输入控件。

16.根据权利要求1所述的方法，其特征在于，还包括：

根据所述内容数据或音频数据生成所述内容数据的索引信息。

17.根据权利要求16所述的方法，其特征在于，还包括：

获取搜索关键词；

根据所述搜索关键词和内容数据的索引信息检索内容数据，并提供所述内容数据。

18.一种报告数据的处理方法，其特征在于，包括：

从视频中抽取第一图片；

定位所述第一图片中报告数据所处的目标区域，并从所述目标区域中抽取报告数据；

根据所述报告数据生成第二图片，所述第二图片中提供针对所述报告数据的输入控件；

对所述第二图片进行去重处理；

将去重后的第二图片与所述报告数据对应的音频数据进行关联，并提供关联后的报告数据和音频数据。

19.一种内容数据的处理方法，其特征在于，包括：

提交视频；所述视频用于抽取图片以及图片中的内容数据，并在从所述视频中确定与所述内容数据对应的音频数据，将所确定的音频数据与对应的内容数据进行关联；

获取关联后的内容数据与音频数据。

20.根据权利要求19所述的方法，其特征在于，所述内容数据具有索引信息，所述方法还包括：

提供搜索关键词；

获取根据所述搜索关键词以及内容数据的索引信息检索的内容数据。

21.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-20一个或多个的方法。

22.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-20一个或多个的方法。

Images