CN110096619A

CN110096619A - 视频数据分析方法、分析平台、终端及存储介质

Info

Publication number: CN110096619A
Application number: CN201910177435.6A
Authority: CN
Inventors: 刘学文; 孙文德; 聂世刚; 张伟; 陈志才
Original assignee: Changsha HCC Hiden Technology Co Ltd
Current assignee: Changsha HCC Hiden Technology Co Ltd
Priority date: 2019-03-13
Filing date: 2019-03-13
Publication date: 2019-08-06

Abstract

本发明公开了一种视频数据分析方法，包括：将获取的视频文件处理成视频图像帧；对各个所述视频图像帧进行图像识别，以确定各个所述视频图像帧的主题；将所述视频图像帧的主题与预设的检索条件进行比对，以获取目标图像帧；根据获取的各个目标图像帧形成信息分析结果，并将所述信息分析结果推送至用户。本发明还公开了一种分析平台、终端和计算机可读存储介质，本发明的技术方案旨在解决当用户进行信息搜索时，无法搜索到视频内包含的信息数据，只有通过亲自观看视频才能获知视频的信息内容的问题。

Description

视频数据分析方法、分析平台、终端及存储介质

技术领域

本发明涉及计算机技术领域，尤其涉及一种视频数据分析方法、应用该视频数据分析方法的分析平台、终端和计算机可读存储介质。

背景技术

基于大数据平台的分析方法中，需要从海量数据中利用信息提取和挖掘的技术进行搜索，并进行主题归类，以使用户能够快速地了解当前内容的聚焦点。

现有技术中，用户能够便利地检索文字数据从而获取文字数据中包含的信息，然而，很多重要的信息是包含在视频中的，用户只有通过观看视频才能了解视频中的信息，上述技术方案存在的弊端是，当用户进行信息搜索时，无法搜索到视频内包含的信息数据，只有通过亲自观看视频才能获知视频的信息内容。

发明内容

本发明的主要目的在于提供一种视频数据分析方法，旨在解决当用户进行信息搜索时，无法搜索到视频内包含的信息数据，只有通过亲自观看视频才能获知视频的信息内容的问题。

为实现上述目的，本发明提供的视频数据分析方法包括如下步骤：

将获取的视频文件处理成视频图像帧；

对各个所述视频图像帧进行图像识别，以确定各个所述视频图像帧的主题；

将所述视频图像帧的主题与预设的检索条件进行比对，以获取目标图像帧；

根据获取的各个目标图像帧形成信息分析结果，并将所述信息分析结果推送至用户。

优选地，所述视频数据分析方法，还包括：

对所述视频图像帧进行图像识别，以提取所述视频图像帧中的文字信息；

所述根据获取的各个目标图像帧形成信息分析结果，并将所述信息分析结果推送至用户的步骤，包括：

根据获取的各个目标图像帧，以及所述视频图像帧中的文字信息，形成信息分析结果，并将所述信息分析结果推送至用户。

优选地，所述视频数据分析方法，还包括：

将视频数据中的声音数据与预设的声纹数据库进行比对，以识别所述视频数据中的声音数据是否符合声纹数据库中的声纹数据特征；

若是，则根据所述声纹数据对应的说话人识别出所述视频数据中的说话人；

根据获取的各个目标图像帧、所述视频图像帧中的文字信息和所述视频数据中的说话人，形成信息分析结果，并将所述信息分析结果推送至用户。

优选地，所述视频数据分析方法，还包括：

对视频数据进行语音识别，以将所述视频数据中的语音转换成文字；

根据获取的各个目标图像帧、所述视频图像帧中的文字信息、所述视频数据中的说话人，以及所述视频数据中的语音转换成的文字，形成信息分析结果，并将所述信息分析结果推送至用户。

优选地，所述对各个所述视频图像帧进行图像识别，以确定各个所述视频图像帧的主题的步骤，包括：

获取预设的对比图像库，并获取所述对比图像库中各个对比图像的主题；

将每个所述视频图像帧与各个所述对比图像进行比对；

当所述个视频图像帧与所述对比图像的相似度达到预设阈值时，根据所述对比图像的主题确定所述视频图像帧的主题。

优选地，所述根据获取的各个目标图像帧形成信息分析结果，并将所述信息分析结果推送至用户的步骤，包括：

获取所述目标图像帧在所述视频文件中的时间位置；

将所述信息分析结果和所述时间位置推送至用户。

优选地，所述根据获取的各个目标图像帧形成信息分析结果，并将所述信息分析结果推送至用户的步骤之前，还包括：

根据所述检索条件确定所述信息分析结果推送的目标用户。

此外，为实现上述目的，本发明还提供一种分析平台，所述分析平台应用如上述任一项所述的视频数据分析方法。

此外，为实现上述目的，本发明还提供一种终端，包括：存储器、处理器、以及存储在所述存储器上并可在所述处理器上运行的计算机程序；所述计算机程序被所述处理器执行时实现如上述任一项所述的视频数据分析方法的步骤。

此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述的视频数据分析方法的步骤。

在本发明的技术方案中，该视频数据分析方法将获取的视频文件处理成视频图像帧；对各个所述视频图像帧进行图像识别，以确定各个所述视频图像帧的主题；将所述视频图像帧的主题与预设的检索条件进行比对，以获取目标图像帧；根据获取的各个目标图像帧形成信息分析结果，并将所述信息分析结果推送至用户。本发明的视频数据分析方法可以将视频文件处理成视频图像帧，并确定视频图像帧的主题，当视频图像帧的主题与预设检索条件匹配时，将该视频图像帧确定为目标图像帧，从而可以根据目标图像帧形成信息分析结果发送至用户。因此，本发明的技术方案有利于解决当用户进行信息搜索时，无法搜索到视频内包含的信息数据，只有通过亲自观看视频才能获知视频的信息内容的问题。

附图说明

图1为本发明视频数据分析方法第一实施例的流程示意图；

图2为本发明视频数据分析方法第二实施例的流程示意图；

图3为本发明视频数据分析方法第三实施例的流程示意图；

图4为本发明终端一实施例的模块结构示意图。

本发明目的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身没有特定的意义。因此，“模块”、“部件”或“单元”可以混合地使用。

请参阅图1，为实现上述目的，本发明的第一实施例中提供一种视频数据分析方法，包括如下步骤：

步骤S10，将获取的视频文件处理成视频图像帧；

步骤S20，对各个所述视频图像帧进行图像识别，以确定各个所述视频图像帧的主题；

步骤S30，将所述视频图像帧的主题与预设的检索条件进行比对，以获取目标图像帧；

步骤S40，根据获取的各个目标图像帧形成信息分析结果，并将所述信息分析结果推送至用户。

所述检索条件可以为关键词，根据关键词确定关键词对应的检索图像。

进一步地，可以在应用视频数据分析方法的分析平台中建立词库，所述词库中包括为各个词汇建立的多个词汇子集，词汇子集为词汇的下级词语、近似词语或相关词语中的至少一种。例如，建立的词库中包括词汇“水果”，词汇“水果”建立的词汇子集包括苹果、梨、桃等词汇（“水果”的下级词汇）。当预设的检索条件为检索词“水果”时，将检索词“水果”的各个词汇子集中的具体词汇作为检索条件在检索范围内分别进行检索，从而，检索到包含“苹果”图像的视频图像帧数据时，则将该视频图像帧数据作为目标图像帧。

信息分析结果推送至用户的方式有多种，例如，可以通过短信方式推送至用户的移动终端，通过邮件方式推送至用户邮箱，或者推送至用户安装的客户端。

请参阅图2，基于本发明的视频数据分析方法的第一实施例，本发明的视频数据分析方法的第二实施例中，所述视频数据分析方法，还包括：

步骤S50，对所述视频图像帧进行图像识别，以提取所述视频图像帧中的文字信息；

所述步骤S40，包括：

步骤S41，根据获取的各个目标图像帧，以及所述视频图像帧中的文字信息，形成信息分析结果，并将所述信息分析结果推送至用户。

视频图像帧中可能包含字幕信息或其他文字信息，除了图像信息之外，文字信息也是视频数据中很重要的信息数据，识别视频图像帧中的文字信息并根据图像帧和文字信息共同形成的信息分析结果更全面准确。

进一步地，所述步骤S10包括：

步骤S11，将获取的所述视频文件处理成若干个图像帧集合；

步骤S12，根据预设的命名规则，对每个所述图像帧集合进行命名。

具体的，以视频文件为某一期的“新闻快报”视频节目为例，根据主播镜头所在的视频图像帧作为节点，可以将视频文件处理为多个故事图像帧集合，每个故事图像帧集合中包含多个镜头图像帧。因此，该“新闻快报”视频对应的图像帧集合可以为“故事1集合”，“故事2集合”，“故事3集合”。其中，“故事1集合”中包括“镜头1图像帧”、“镜头2图像帧”、“镜头3图像帧”、“镜头4图像帧”；“故事2集合”中包括“镜头5图像帧”、“镜头6图像帧”、“镜头图像帧”。从而实现对每个所述图像帧集合的命名，以及对每个图像帧的命名，命名方式不以此为限。

请参阅图3，基于本发明的视频数据分析方法的第二实施例，本发明的视频数据分析方法的第三实施例中，所述视频数据分析方法，还包括：

步骤S60，将视频数据中的声音数据与预设的声纹数据库进行比对，以识别所述视频数据中的声音数据是否符合声纹数据库中的声纹数据特征；

若是，则执行步骤S70，根据所述声纹数据对应的说话人识别出所述视频数据中的说话人；

所述步骤S40，包括：

步骤S42，根据获取的各个目标图像帧、所述视频图像帧中的文字信息和所述视频数据中的说话人，形成信息分析结果，并将所述信息分析结果推送至用户。

更进一步的，分析平台中存储有声纹数据库，声纹数据库中存储有若干条声纹数据，各条声纹数据分别关联有对应的说话人。对视频数据中的声音数据进行声纹识别，将声音数据与预设的声纹数据库进行比对，以识别所述视频数据中的声音数据特征是否符合声纹数据库中的声纹数据特征。若所述视频数据中的声音数据特征符合声纹数据库中的声纹数据特征，则能识别出该视频数据中的说话人。例如，视频数据库中包含声音数据A，将声音数据A与声纹数据库中的各项声纹数据进行比对，发现声音数据A与张某的声纹数据相似度大于预设值，则确定该视频数据中包含说话人张某。

基于本发明的视频数据分析方法的第三实施例，本发明的视频数据分析方法的第四实施例中，所述视频数据分析方法，还包括：

步骤S70，对视频数据进行语音识别，以将所述视频数据中的语音转换成文字；

所述步骤S40，包括：

步骤S43，根据获取的各个目标图像帧、所述视频图像帧中的文字信息、所述视频数据中的说话人，以及所述视频数据中的语音转换成的文字，形成信息分析结果，并将所述信息分析结果推送至用户。

语音识别技术目前已比较成熟，例如，微信中可以将用户的语音转换为文字。同样的，对视频数据进行语音识别可以识别出图像中所没有的信息数据，例如，当视频数据没有字幕时，可以根据语音识别获得视频数据的声音数据转换成的文字信息，从而使信息分析结果更加完整。

基于本发明的视频数据分析方法的第一实施例至第四实施例中的任一项，本发明的视频数据分析方法的第五实施例中，所述步骤S20包括：

步骤S21，获取预设的对比图像库，并获取所述对比图像库中各个对比图像的主题；

步骤S22，将每个所述视频图像帧与各个所述对比图像进行比对；

步骤S23，当所述个视频图像帧与所述对比图像的相似度达到预设阈值时，根据所述对比图像的主题确定所述视频图像帧的主题。

对比图像库中存储有多个词汇对应的图像，例如，对应词汇“奥巴马”的对比图像为奥巴马头像。对应词汇“水果”的对比图像有过个，例如苹果图像和梨的图像。

当识别出视频图像帧中包含的人物图像与奥巴马头像相似度达到预设阈值时，该视频图像帧的主题确定为“奥巴马”；当识别出视频图像帧中包含人物图像和帽子图像时，该视频图像帧的主题确定为“人和帽子”。

进一步地，所述步骤S10之前，还包括：

步骤S80，根据预设的视频检索条件在预设的检索范围内检索，以获取视频文件。

视频文件可以由用户上传，或者根据预设的视频检索条件在预设的检索数据库中获得。例如，当用户在百度中检索“新闻快报，2010月12月27日”时可以获取该视频文件。所述预设的检索范围可以是预设的文本数据库，还可以是预设的网络资源库。所述网络资源库可以包括今日头条、凤凰资讯、新浪博客、微信公众号信息等各种中文和外文的网络文本数据库。

进一步地，所述步骤S20之前，还包括：

步骤S90，对所述视频图像帧进行质量增强处理。

对视频图像帧进行质量增强处理即进行图像增强处理，有助于提高图像识别和比对的正确率和效率，防止误识别或者识别失败。

基于本发明的视频数据分析方法的第一实施例至第四实施例中的任一项，本发明的视频数据分析方法的第六实施例中，所述步骤S40，包括：

步骤S44，获取所述目标图像帧在所述视频文件中的时间位置；

步骤S45，将所述信息分析结果和所述时间位置推送至用户。

视频文件的播出时长可能达到数秒或者数小时，将目标图像帧发送给用户后，若用户想要查找该目标图像帧对应的播放时间，还需要完整观看视频文件，降低了用户从视频文件中查找目标图像帧的效率。本实施例中，将所述信息分析结果和所述时间位置推送至用户，用户可以根据时间位置快速地找到该目标图像帧，从而查看到与目标图像帧相关的图像片段。

基于本发明的视频数据分析方法的第一实施例至第四实施例中的任一项，本发明的视频数据分析方法的第七实施例中，所述步骤S40之前，还包括：

步骤S100，根据所述检索条件确定所述信息分析结果推送的目标用户。

在本实施例中，检索条件可以是检索用户实时设置的，或者预先设置的，如果是检索用户预设的，则将最终的信息分析结果推送至该检索用户。

当最终的结果需要推送至与设置检索条件的检索用户所不同的接收用户时，该接收用户可以是预设的，检索用户在系统中输入接收用户的信息接收方式，从而可以将信息分析结果按照预设的信息接收方式推送给接收用户。此外，在另一本实施例中，该接收用户也可以不是预设的。在此情况下，可以根据检索条件和分析平台中各个用户的用户信息，确定接收信息分析结果的目标用户。例如，检索范围为网络数据库，检索词为（长沙 and 猪肉and 价格），容易理解，该信息分析结果有助于长沙范围内的与猪肉价格相关的企业或个人及时获取猪肉价格波动趋势，根据分析平台中各个用户的用户信息，可以确定长沙范围内与猪肉价格相关的目标用户名单，根据目标用户名单，获取目标用户的信息接收方式，以形成目标用户的信息接收方式列表，从而将该信息分析结果按照信息接收方式列表推送至目标用户列表中的各个目标用户。因此，分析平台中的各个用户可以不用自己进行检索，即可及时接收到与自己相关的信息数据。

此外，为实现上述目的，本发明还提供一种分析平台，所述分析平台应用如上述任一实施例所述的视频数据分析方法。

由于本实施例分析平台的技术方案至少包括上述视频数据分析方法实施例的全部技术方案，因此至少具有以上实施例的全部技术效果，此处不再一一赘述。

此外，为实现上述目的，本发明还提供一种终端，存储器、处理器、以及存储在所述存储器上并可在所述处理器上运行的计算机程序；所述计算机程序被所述处理器执行时实现如上述任一实施例所述的视频数据分析方法的步骤。

由于本实施例终端的技术方案至少包括上述视频数据分析方法实施例的全部技术方案，因此至少具有以上实施例的全部技术效果，此处不再一一赘述。

请参阅图4，在某些具体实施方式中，该终端可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002及网络共享模块1006。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏（Display）、输入单元比如键盘（Keyboard），前端通过上述用户接口1003获取数据。网络接口1004包括标准的有线接口，且可选的可以包括标准无线接口（如WI-FI接口）。存储器1005可以是高速RAM存储器，也可以是稳定的存储器（non-volatile memory），例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图4中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述视频数据分析方法的第一实施例至第八实施例中任一项的步骤。

由于本实施例计算机可读存储介质的技术方案至少包括上述视频数据分析方法实施例的全部技术方案，因此至少具有以上实施例的全部技术效果，此处不再一一赘述。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个计算机可读存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备进入本发明各个实施例所述的方法。

在本说明书的描述中，参考术语“一实施例”、“另一实施例”、“其他实施例”、或“第一实施例~第X实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料、方法步骤或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims

1.一种视频数据分析方法，其特征在于，包括如下步骤：

将获取的视频文件处理成视频图像帧；

2.根据权利要求1所述的视频数据分析方法，其特征在于，所述视频数据分析方法，还包括：

3.根据权利要求2所述的视频数据分析方法，其特征在于，所述视频数据分析方法，还包括：

4.根据权利要求3所述的视频数据分析方法，其特征在于，所述视频数据分析方法，还包括：

5.根据权利要求1-4中任一项所述的视频数据分析方法，其特征在于，所述对各个所述视频图像帧进行图像识别，以确定各个所述视频图像帧的主题的步骤，包括：

将每个所述视频图像帧与各个所述对比图像进行比对；

6.根据权利要求1-4中任一项所述的视频数据分析方法，其特征在于，所述根据获取的各个目标图像帧形成信息分析结果，并将所述信息分析结果推送至用户的步骤，包括：

获取所述目标图像帧在所述视频文件中的时间位置；

将所述信息分析结果和所述时间位置推送至用户。

7.根据权利要求1-4中任一项所述的视频数据分析方法，其特征在于，所述根据获取的各个目标图像帧形成信息分析结果，并将所述信息分析结果推送至用户的步骤之前，还包括：

根据所述检索条件确定所述信息分析结果推送的目标用户。

8.一种分析平台，其特征在于，所述分析平台应用如权利要求1-7中任一项所述的视频数据分析方法。

9.一种终端，其特征在于，包括：存储器、处理器、以及存储在所述存储器上并可在所述处理器上运行的计算机程序；所述计算机程序被所述处理器执行时实现如权利要求1-7中任一项所述的视频数据分析方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的视频数据分析方法的步骤。