CN112036373B - 训练视频文本分类模型的方法、视频文本分类方法和装置 - Google Patents

训练视频文本分类模型的方法、视频文本分类方法和装置 Download PDF

Info

Publication number
CN112036373B
CN112036373B CN202011056257.0A CN202011056257A CN112036373B CN 112036373 B CN112036373 B CN 112036373B CN 202011056257 A CN202011056257 A CN 202011056257A CN 112036373 B CN112036373 B CN 112036373B
Authority
CN
China
Prior art keywords
text
text box
video
boxes
category
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011056257.0A
Other languages
English (en)
Other versions
CN112036373A (zh
Inventor
王贺伟
马彩虹
叶芷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202011056257.0A priority Critical patent/CN112036373B/zh
Publication of CN112036373A publication Critical patent/CN112036373A/zh
Application granted granted Critical
Publication of CN112036373B publication Critical patent/CN112036373B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/48—Matching video sequences

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Character Discrimination (AREA)

Abstract

本申请的实施例公开了一种训练视频文本分类模型的方法、视频文本分类方法和装置，涉及人工智能技术领域，具体为深度学习、图像处理技术领域。具体实现方案为：从目标视频中提取各帧图像；获取各帧图像的光学字符识别结果，光学字符识别结果包括至少一个文本框；采用聚合特征对各帧图像的光学字符识别结果中的文本框进行聚合，得到对应聚合特征的至少一个文本框集合；确定至少一个文本框集合中每个文本框集合的类别，将每个文本框集合的类别作为文本框集合中每个文本框内的文本的类别。本申请的实施例提供的视频文本分类方法，每个文本框集合能够较为纯净地对应一个文本类别。且根据文本框集合的特征确定文本类别，无需预先给定模板，适用范围广泛。

Description

训练视频文本分类模型的方法、视频文本分类方法和装置
技术领域
本申请涉及计算机技术领域，具体涉及深度学习、图像处理技术领域，尤其涉及训练视频文本分类模型的方法、视频文本分类方法和装置。
背景技术
随着视频应用的井喷式发展，大量的视频不断生成，如何根据视频的文本信息对视频进行理解成为广泛研究的内容。
现有技术中获取视频的文本信息以进行视频理解的方案为：(1)在获取每张图像的光学字符识别(Optical Character Recognition，OCR)结果的基础上，直接拼接每张图像的文本识别结果。(2)采用基于模板的OCR结构化信息提取，在通用问题文本提取的结果上，根据给定模板进行位置匹配确定文本的类别。
发明内容
提供了一种训练视频文本分类模型的方法、视频文本分类方法和装置。
根据第一方面，提供了一种训练视频文本分类模型的方法，包括：从目标视频中提取各帧图像；获取所述各帧图像的光学字符识别结果，所述光学字符识别结果包括至少一个文本框；采用聚合特征对所述各帧图像的光学字符识别结果中的文本框进行聚合，得到对应所述聚合特征的至少一个文本框集合；基于每个所述文本框集合的位置特征、字符特征和聚类特征，确定每个所述文本框集合的分类特征；将每个所述文本框集合的分类特征分别作为视频文本分类模型的输入，将对应该文本框集合的分类特征的类别分别作为所述视频文本分类模型的期望输出，训练所述视频文本分类模型的初始模型，得到训练完成的视频文本分类模型。
根据第二方面，提供了一种视频文本分类方法，包括：从目标视频中提取各帧图像；获取所述各帧图像的光学字符识别结果，所述光学字符识别结果包括至少一个文本框；采用聚合特征对所述各帧图像的光学字符识别结果中的文本框进行聚合，得到对应所述聚合特征的至少一个文本框集合；确定所述至少一个文本框集合中每个文本框集合的类别，将每个所述文本框集合的类别作为所述文本框集合中每个文本框内的文本的类别。
根据第三方面，提供了一种训练视频文本分类模型的装置，包括：图像提取模块，被配置为从目标视频中提取各帧图像；字符识别模块，被配置为获取所述各帧图像的光学字符识别结果，所述光学字符识别结果包括至少一个文本框；文本框聚合模块，被配置为采用聚合特征对所述各帧图像的光学字符识别结果中的文本框进行聚合，得到对应所述聚合特征的至少一个文本框集合；分类特征确定模块，被配置为基于每个所述文本框集合的位置特征、字符特征和聚类特征，确定每个所述文本框集合的分类特征；模型训练模块，被配置为将每个所述文本框集合的分类特征分别作为视频文本分类模型的输入，将对应该文本框集合的分类特征的类别分别作为所述视频文本分类模型的期望输出，训练所述视频文本分类模型的初始模型，得到训练完成的视频文本分类模型。
根据第四方面，提供了一种视频文本分类装置，包括：图像提取模块，被配置为从目标视频中提取各帧图像；字符识别模块，被配置为获取所述各帧图像的光学字符识别结果，所述光学字符识别结果包括至少一个文本框；文本框聚合模块，被配置为采用聚合特征对所述各帧图像的光学字符识别结果中的文本框进行聚合，得到对应所述聚合特征的至少一个文本框集合；文本类别确定模块，被配置为确定所述至少一个文本框集合中每个文本框集合的类别，将每个所述文本框集合的类别作为所述文本框集合中每个文本框内的文本的类别。
与现有技术中直接拼接每张图像的字符识别结果，导致关键信息提取准确率低或者采用基于模板的OCR结构化信息提取确定文本类别需要特定的模板，适用性较差相比，根据本申请的技术方案，首先通过聚类特征对各帧图像中的文本框进行聚合，聚合过程中滤除了噪声，每个文本框集合能够较为纯净地对应一个文本类别；然后根据文本框集合的特征确定文本框集合的类别，不需要预先给定模板即可确定出视频中文本的类别，适用范围广泛；最后根据确定出的类别进行后续关键信息提取时能显著提升关键信息的准确率。
应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1是本申请的一些可以应用于其中的示例性系统架构图；
图2是根据本申请的训练视频文本分类模型的方法的一个实施例的流程图；
图3是根据本申请的视频文本分类方法的一个实施例的流程图；
图4是根据本申请的视频文本分类方法的另一个实施例的流程图；
图5是根据本申请的视频文本分类方法的又一个实施例的流程图；
图6是根据本申请的视频文本分类方法的一个场景示意图；
图7是根据本申请的训练视频文本分类模型的装置的一个实施例的结构示意图；
图8是根据本申请的视频文本分类装置的一个实施例的结构示意图；
图9是适于用来实现本申请的一些实施例的服务器或终端的计算机系统的结构示意图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
图1示出了可以应用本申请的训练视频文本分类模型的方法和视频文本分类方法的实施例的示例性系统架构100。
如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103、服务器105任意两个之间提供通信链路的介质。网络104可以包括各种连接类别，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种应用，例如各种客户端应用、多方交互应用、人工智能应用等。
终端设备101、102、103可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是支持文档处理应用的各种电子设备，包括但不限于智能终端、平板电脑、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中。其可以实现成例如用来提供分布式服务的多个软件或软件模块，也可以实现成单个软件或软件模块。在此不做具体限定。
服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103提供支持的后台服务器。后台服务器可以对接收到的请求等数据进行分析等处理，并将处理结果反馈给终端设备。
需要说明的是，服务器可以是硬件，也可以是软件。当服务器为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器为软件时，可以实现成例如用来提供分布式服务的多个软件或软件模块，也可以实现成单个软件或软件模块。在此不做具体限定。
在实践中，本申请实施例所提供的训练视频文本分类模型的方法和视频文本分类方法可以由终端设备101、102、103或服务器105执行，训练视频文本分类模型的装置和视频文本分类装置也可以设置于终端设备101、102、103或服务器105中。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
现有技术中，获取视频的文本信息以进行视频理解的方案为：(1)在获取每张图像的光学字符识别(Optical Character Recognition，OCR)结果的基础上，直接拼接每张图像的文本识别结果。缺点是由于滚动字幕的存在和广告大量出现等问题，直接拼接每张图像的文本识别结果，会使文本截断，降低文本的可读性，导致后续视频理解时进行关键信息提取的准确率较低。(2)采用基于模板的OCR结构化信息提取，在通用问题文本提取的结果上，根据给定模板进行位置匹配确定文本的类别。缺点是视频中文本所处的位置多变，难以针对每个视频均能给定适配的模板。若是能针对每个视频均确定出其中出现的文本类别，下游任务根据文本的类别进行视频分析则能大幅提高视频分析的准确率。
例如，在一个视频中，文本类别可以有以下几种形式：
1、标题：特点是字体较大，停留时间较长；
2、字幕：特点是每一帧在固定的位置，且前后文字差异较大；
3、广告、常驻：特点是每一帧在固定的位置，且前后文字基本无差异；
4、滚动字幕：特点是存在文字偏移现象，同时往往在视频的底部；
5、文档文本：画面出现的其他与视频相关的文本，可能是视频中非后期的文字，特征是出现位置不固定，字较小，停留时间较短，与内容弱相关。
请参考图2，图2示出了根据本申请的训练视频文本分类模型的方法的一个实施例的流程200。该训练视频文本分类模型的方法包括以下步骤：
S201，从目标视频中提取各帧图像。
本实施例中，训练视频文本分类模型的方法的执行主体(例如图1所示的终端或服务器)可以从目标视频中提取各帧图像。其中，目标视频可以为待进行文本分类的视频，目标视频可以是网络上传播的视频、电视中播放的视频、也可以是网络直播中出现的视频等。
上述从目标视频中提取各帧图像，可以指对目标视频进行切帧，获得组成视频的所有图像帧，也可以指从目标视频中的所有图像帧中，按照时间顺序以预设的间隔提取各帧图像，例如，可以每隔一帧、每隔两帧或者每隔三帧等提取各帧图像。
S202，获取各帧图像的光学字符识别结果，光学字符识别结果包括至少一个文本框。
本实施例中，训练视频文本分类模型的方法的执行主体可以获取各帧图像的光学字符识别结果。
其中，执行主体可以对各帧图像分别进行光学字符识别，得到各帧图像的光学字符识别结果，每帧图像的光学字符识别结果包括以文本框形式呈现的视频文本。例如，文本框可以为矩形，即，文本框包括一个矩形框以及该矩形框内的文字。
S203，采用聚合特征对各帧图像的光学字符识别结果中的文本框进行聚合，得到对应聚合特征的至少一个文本框集合。
本实施例中，训练视频文本分类模型的方法的执行主体可以采用聚合特征对各帧图像的光学字符识别结果中的文本框进行聚合，得到对应聚合特征的至少一个文本框集合。
其中，聚合特征可以包括以下至少一项：文本框的位置特征(例如，高度、坐标等)，文本框的几何特征(例如，长度、宽度、面积等)，文本编辑距离特征(例如，文字的字号、字体等)。
上述采用聚合特征对各帧图像的光学字符识别结果中的文本框进行聚合，得到对应聚合特征的至少一个文本框集合，可以有以下示例：
示例一：将位于同一高度的文本框划分至同一文本框集合。
示例二：将长度和宽度均相同的文本框划分至同一文本框集合。
示例三：将文本框中文字的字号和字体相同的文本框划分至同一文本框集合。
上述三个示例中给出的三种聚合规则还可以两两任意组合或者三者组合在一起，进而得到多种不同的聚合规则，本申请中对此不再赘述。
S204，基于每个文本框集合的位置特征、字符特征和聚类特征，确定每个文本框集合的分类特征。
本实施例中，训练视频文本分类模型的方法的执行主体可以基于每个文本框集合的位置特征、字符特征和聚类特征，确定每个文本框集合的分类特征。
其中，文本框集合的位置特征，可以指文本框集合中每个文本框的位置特征；每个文本框集合的字符特征，可以指文本框集合中每个文本框的字符特征；每个文本框集合的聚类特征，可以指文本框集合中按预设规则可以合并的文本框的特征以及合并后的文本框的特征。
例如，位置特征可以包括以下至少一项：文本框的宽度、高度、中心点位置，文本框中心点距离图像中心点的距离等。
字符特征可以包括以下至少一项：文本框内部字符的个数，文本框内部字符串在所有文本框中出现的频率绝对值，文本框内部的字符串在所有文本框中的停留时间的加和，中文字符的个数等。
可以理解，由于不同类别的文本框在视频中的位置、出现的频次和时间等不同，在光学字符识别的输出的结果的基础上，按时序观察文本框的运动轨迹，并叠加时序上的文本框画出热图，可看出不同类别的文本框有明显的区域聚集，频次差距。
文本框集合中的多个文本框可以按预设规则进行合并，合并后的文本框为一个聚类，合并后的文本框对应的合并前的多个文本框为聚类元素，聚类特征可以包括以下至少一项：聚类的个数，每个聚类中聚类元素的个数，聚类内部文本编辑距离的均值，聚类持续时长的均值、聚类元素字符长度的均值等。
上述基于每个文本框集合的位置特征、字符特征和聚类特征，确定每个文本框集合的分类特征，可以指将位置特征、字符特征和聚类特征中的全部特征组合作为分类特征，或者在位置特征、字符特征和聚类特征中分别选取部分特征组合作为分类特征。因此，分类特征可以为多种形式，本申请中对此不再赘述。
S205，将每个文本框集合的分类特征分别作为视频文本分类模型的输入，将对应该文本框集合的分类特征的类别分别作为视频文本分类模型的期望输出，训练视频文本分类模型的初始模型，得到训练完成的视频文本分类模型。
本实施例中，上述执行主体在得到每个文本框集合的分类特征，以及每个文本框集合的类别后，可以利用每个文本框集合的分类特征和每个文本框集合的类别，训练初始视频文本分类模型。在训练时，执行主体可以将每个文本框集合的分类特征分别作为视频文本分类模型的输入，将对应该文本框集合的分类特征的类别分别作为视频文本分类模型的期望输出，训练视频文本分类模型的初始模型，得到训练完成的视频文本分类模型。
上述视频文本分类模型的初始模型可以包括任意深度学习模型，例如，神经网络模型或者XGboost(eXtreme Gradient Boosting，极端梯度提升)机器学习模型。
在本实施例一些可选的实现方式中，光学字符识别结果还包括每个文本框的位置信息以及每个文本框内的文本信息，上述采用聚合特征对各帧图像的光学字符识别结果中的文本框进行聚合，得到对应聚合特征的至少一个文本框集合，包括：
第一步，根据每个文本框的位置信息，将各帧图像的光学字符识别结果中位于同一高度的文本框聚合成簇，得到至少一个簇。
其中，上述文本框的位置信息可以包括文本框的中心点坐标或者文本框的顶点坐标等，此时，通过文本框的中心点坐标或者文本框的顶点坐标，可以获得文本框的高度。
上述将各帧图像的光学字符识别结果中位于同一高度的文本框聚合成簇后，根据目标视频中文本的分布高度的不同，可以得到不同数量的簇。
例如，对于仅包括位于下方的字幕和位于左上角的电视台标志的目标视频，得到的簇为两个，分别为对应字幕的簇，和对应电视台标志的簇。
再例如，对于包括位于下方的字幕、位于最下方的滚动字幕和位于上方的标题的目标视频，得到的簇为三个，分别为对应滚动字幕的簇，对应字幕的簇，对应标题的簇。
第二步，在各个簇中，根据每个文本框内的文本信息确定文本框之间的文本编辑距离，将文本编辑距离在预设值以内的文本框进行合并得到至少一个合并后的文本框，并计算每个合并后的文本框的持续时长，合并后的文本框的持续时长为目标视频中包含合并后的文本框的视频帧所对应的持续时长。
文本编辑距离，是指两个文本之间，由一个转成另一个所需的最少编辑操作次数。许可的编辑操作包括替换、删除和插入。一般来说，编辑距离越小，两个文本之间的相似度越大。
其中，每个文本框内均有文本，根据每个文本框内的文本信息可以确定文本框之间的文本编辑距离。
由于各帧图像中有多个帧的图像中文字可能相同，上述将文本编辑距离在预设值以内的文本框进行合并得到至少一个合并后的文本框，是为了将相似度较高的文本框进行合并，避免出现过多相同文本框。
上述预设值可以由本领域技术人员根据实际情况进行设置，预设值的取值只需使相同的文本框可以合并，不相同的文本框不会合并即可。
第三步，在各个簇中，将持续时长分别在不同预设区间内的合并后的文本框划分至不同的文本框集合。
因为同一高度也可能出现不同的类别，例如，同一高度可能会同时出现字幕和标题，甚至同时出现广告。此时，能将同一高度的文本框进一步区分的特征是合并后的文本框的持续时长，广告和标题的持续时长往往很长，能和字幕区分开来。也即，持续时长分别在不同预设区间内的合并后的文本框对应不同的文本类别，应该划分至不同的文本框集合中。此时，每个文本框集合对应一种文本类别。
其中，上述预设区间的取值可以根据各类别的文本在视频中的持续时长给定，只需使得各类别的文本框划分至不同的文本框集合中的准确性较高即可。
可以理解的是，通过该实现方式得到的文本框集合中为合并后的文本框。
通过该可选的实现方式，首先根据文本框高度的不同对文本框进行区分，然后在同一高度上根据文本编辑距离对文本框进行合并，避免文本框集合中出现过多重复文本，且能够根据合并后的文本框的持续时长对同一高度的文本框进行进一步区分，使每个文本框集合能够较为纯净地对应一个类别。
本申请的上述实施例提供的训练视频文本分类模型的方法，通过对各个帧的文本框进行聚合得到文本框集合，每个文本框集合对应一个类别，再根据文本框集合的位置特征、字符特征和聚类特征确定分类特征，分类特征与文本框集合的类别相对应，使得基于分类特征训练得到的视频文本分类模型能够准确地确定文本框集合的类别。
请参考图3，图3示出了根据本申请的视频文本分类方法的一个实施例的流程300。该视频文本分类方法包括以下步骤：
S301，从目标视频中提取各帧图像。
本实施例中，视频文本分类方法的执行主体(例如图1所示的终端或服务器)可以从目标视频中提取各帧图像。其中，目标视频可以为待进行文本分类的视频，目标视频可以是网络上传播的视频，也可以是网络直播中出现的视频。
上述从目标视频中提取各帧图像，可以指对目标视频进行切帧，获得组成视频的所有图像帧，也可以指从目标视频中的所有图像帧中，按照时间顺序以预设的间隔提取各帧图像，例如，可以每隔一帧、每隔两帧或者每隔三帧等提取各帧图像。
S302，获取各帧图像的光学字符识别结果，光学字符识别结果包括至少一个文本框。
本实施例中，视频文本分类方法的执行主体可以获取各帧图像的光学字符识别结果。
其中，执行主体可以对各帧图像分别进行光学字符识别，得到各帧图像的光学字符识别结果，每帧图像的光学字符识别结果包括以文本框形式呈现的视频文本。例如，文本框可以为矩形，即，文本框包括一个矩形框以及该矩形框内的文字。
S303，采用聚合特征对各帧图像的光学字符识别结果中的文本框进行聚合，得到对应聚合特征的至少一个文本框集合。
本实施例中，视频文本分类方法的执行主体可以采用聚合特征对各帧图像的光学字符识别结果中的文本框进行聚合，得到对应聚合特征的至少一个文本框集合。
其中，聚合特征可以包括以下至少一项：文本框的位置特征(例如，高度、坐标等)，文本框的几何特征(例如，长度、宽度、面积等)，文本编辑距离特征(例如，文字的字号、字体等)。
上述采用聚合特征对各帧图像的光学字符识别结果中的文本框进行聚合，得到对应聚合特征的至少一个文本框集合，可以有以下示例：
示例一：将位于同一高度的文本框划分至同一文本框集合。
示例二：将长度和宽度均相同的文本框划分至同一文本框集合。
示例三：将文本框中文字的字号和字体相同的文本框划分至同一文本框集合。
上述三个示例中给出的三种聚合规则还可以两两任意组合或者三者组合在一起，进而得到多种不同的聚合规则，本申请中对此不再赘述。
S304，确定至少一个文本框集合中每个文本框集合的类别，将每个文本框集合的类别作为文本框集合中每个文本框内的文本的类别。
本实施例中，视频文本分类方法的执行主体可以确定至少一个文本框集合中每个文本框集合的类别，将每个文本框集合的类别作为文本框集合中每个文本框内的文本的类别，达成视频文本分类的目的。
其中，文本框集合的类别可以通过多种方式确定。例如，可以通过机器学习模型确定文本框集合的类别。或者，可以获取文本框集合中文本框的特征，根据文本框的特征确定文本框集合的类别。
本申请的上述实施例提供的视频文本分类方法，首先通过聚类特征对各帧图像中的文本框进行聚合，聚合过程中滤除了噪声，每个文本框集合能够较为纯净地对应一个文本类别。然后根据文本框集合的特征确定文本框集合的类别，不需要预先给定模板即可确定出视频中文本的类别，适用范围广泛。
请参考图4，图4示出了根据本申请的视频文本分类方法的另一个实施例的流程400。该视频文本分类方法包括以下步骤：
S401，从目标视频中提取各帧图像。
本实施例中，视频文本分类方法的执行主体(例如图1所示的终端或服务器)可以从目标视频中提取各帧图像。其中，目标视频可以为待进行文本分类的视频，目标视频可以是网络上传播的视频，也可以是网络直播中出现的视频。
上述从目标视频中提取各帧图像，可以指对目标视频进行切帧，获得组成视频的所有图像帧，也可以指从目标视频中的所有图像帧中，按照时间顺序以预设的间隔提取各帧图像，例如，可以每隔一帧、每隔两帧或者每隔三帧等提取各帧图像。
S402，获取各帧图像的光学字符识别结果，光学字符识别结果包括至少一个文本框，以及每个文本框的位置信息和文本信息。
本实施例中，视频文本分类方法的执行主体可以获取各帧图像的光学字符识别结果。
其中，执行主体可以对各帧图像分别进行光学字符识别，得到各帧图像的光学字符识别结果，每帧图像的光学字符识别结果包括以文本框形式呈现的视频文本。例如，文本框可以为矩形，即，文本框包括一个矩形框以及该矩形框内的文字。
S403，根据每个文本框的位置信息，将各帧图像的光学字符识别结果中位于同一高度的文本框聚合成簇，得到至少一个簇。
其中，上述文本框的位置信息可以包括文本框的中心点坐标或者文本框的顶点坐标等，此时，通过文本框的中心点坐标或者文本框的顶点坐标，可以获得文本框的高度。
上述将各帧图像的光学字符识别结果中位于同一高度的文本框聚合成簇后，根据目标视频中文本的分布高度的不同，可以得到不同数量的簇。
例如，对于仅包括位于下方的字幕和位于左上角的电视台标志的目标视频，得到的簇为两个，分别为对应字幕的簇，和对应电视台标志的簇。
再例如，对于包括位于下方的字幕、位于最下方的滚动字幕和位于上方的标题的目标视频，得到的簇为三个，分别为对应滚动字幕的簇，对应字幕的簇，对应标题的簇。
S404，在各个簇中，根据每个文本框内的文本信息确定文本框之间的文本编辑距离，将文本编辑距离在预设值以内的文本框进行合并得到至少一个合并后的文本框，并计算每个合并后的文本框的持续时长，合并后的文本框的持续时长为目标视频中包含合并后的文本框的视频帧所对应的持续时长。
文本编辑距离，是指两个文本之间，由一个转成另一个所需的最少编辑操作次数。许可的编辑操作包括替换、删除和插入。一般来说，编辑距离越小，两个文本之间的相似度越大。
其中，每个文本框内均有文本，根据每个文本框内的文本信息可以确定文本框之间的文本编辑距离。
由于各帧图像中有多个帧的图像中文字可能相同，上述将文本编辑距离在预设值以内的文本框进行合并得到至少一个合并后的文本框，是为了将相似度较高的文本框进行合并，避免出现过多相同文本框。
上述预设值可以由本领域技术人员根据实际情况进行设置，预设值的取值只需使相同的文本框可以合并，不相同的文本框不会合并即可。
S405，在各个簇中，将持续时长分别在不同预设区间内的合并后的文本框划分至不同的文本框集合。
因为同一高度也可能出现不同的类别，例如，同一高度可能会同时出现字幕和标题，甚至同时出现广告。此时，能将同一高度的文本框进一步区分的特征是合并后的文本框的持续时长，广告和标题的持续时长往往很长，能和字幕区分开来。也即，持续时长分别在不同预设区间内的合并后的文本框对应不同的文本类别，应该划分至不同的文本框集合中。此时，每个文本框集合对应一种文本类别。
其中，上述预设区间的取值可以根据各类别的文本在视频中的持续时长给定，只需使得各类别的文本框划分至不同的文本框集合中的准确性较高即可。
可以理解的是，通过该实现方式得到的文本框集合中为合并后的文本框。
通过S403-S405划分出文本框集合，首先根据文本框高度的不同对文本框进行区分，然后在同一高度上根据文本编辑距离对文本框进行合并，避免文本框集合中出现过多重复文本，且能够根据合并后的文本框的持续时长对同一高度的文本框进行进一步区分，使每个文本框集合能够较为纯净地对应一个类别。
S406，将满足以下至少一项要求的文本框集合确定为目标类别：
文本框集合内的文本框数量在目标类别对应的第一目标区间内；文本框集合内的文本框持续时长的均值在目标类别对应的第二目标区间内；以及文本框集合内的文本框的文本编辑距离的均值在目标类别对应的第三目标区间内。
基于上述将持续时长分别在不同预设区间内的合并后的文本框划分至不同的文本框集合，因此，文本框集合内的文本框为合并后的文本框，合并后的文本框的数量为一个或多个，因此，可以直接确定出文本框集合内的文本框数量，对一个或多个合并后的文本框得到持续时长求平均值可以确定文本框持续时长的均值。
文本框集合内的文本框的文本编辑距离的均值，可以通过下述方式获得：
对于每个合并后的文本框，将其对应的合并前的多个文本框之间的编辑距离的平均值，作为合并后的文本框的文本编辑距离，也即文本框集合内的文本框的文本编辑距离。对文本框集合中的至少一个合并后的文本框的文本编辑距离求平均值，即可确定合并后的文本框的文本编辑距离的均值。
目标类别的第一区间、第二区间和第三区间可以由本领域技术人员根据实际需求进行设置，只需能与各文本框集合的上述三个特征相对应地把文本框集合区分开即可。
例如，将集合内的文本框数量大于10、集合内的文本框持续时长的均值小于3，集合内的文本框的文本编辑距离的均值小于0.4的文本框集合确定为字幕。
再例如，将集合内的文本框数量大于10、集合内的文本框持续时长的均值小于3，集合内的文本框的编辑距离的均值大于或等于0.4且小于0.9的文本框集合确定为滚动字幕。
该步骤中，首先确定每个目标类别对应的文本框集合中文本框数目应处于的第一区间，文本框持续时长的均值应处于的第二时间，文本框的文本编辑距离的均值应处于的第三区间，然后将满足条件的文本框集合确定为目标类别，完成对文本框集合的类别划分。不同视频中文本所处位置差异不会对分类过程产生干扰，适用范围广泛。
本申请的上述实施例提供的视频文本分类方法，首先根据文本框高度的不同对文本框进行区分，然后在同一高度上根据文本编辑距离对文本框进行合并，避免文本框集合中出现过多重复文本，且能够根据合并后的文本框的持续时长对同一高度的文本框进行进一步区分，使每个文本框集合能够较为纯净地对应一个类别。最后根据文本框集合的特征参数是否落入目标类别对应的区间内，确定文本框集合的类别，不需要预先给定模板即可确定出视频中文本的类别，适用范围广泛。
请参考图5，图5示出了根据本申请的视频文本分类方法的又一个实施例的流程500。该视频文本分类方法包括以下步骤：
S501，从目标视频中提取各帧图像。
本实施例中，视频文本分类方法的执行主体(例如图1所示的终端或服务器)可以从目标视频中提取各帧图像。其中，目标视频可以为待进行文本分类的视频，目标视频可以是网络上传播的视频，也可以是网络直播中出现的视频。
上述从目标视频中提取各帧图像，可以指对目标视频进行切帧，获得组成视频的所有图像帧，也可以指从目标视频中的所有图像帧中，按照时间顺序以预设的间隔提取各帧图像，例如，可以每隔一帧、每隔两帧或者每隔三帧等提取各帧图像。
S502，获取各帧图像的光学字符识别结果，光学字符识别结果包括至少一个文本框。
本实施例中，视频文本分类方法的执行主体可以获取各帧图像的光学字符识别结果。
其中，执行主体可以对各帧图像分别进行光学字符识别，得到各帧图像的光学字符识别结果，每帧图像的光学字符识别结果包括以文本框形式呈现的视频文本。例如，文本框可以为矩形，即，文本框包括一个矩形框以及该矩形框内的文字。
S503，采用聚合特征对各帧图像的光学字符识别结果中的文本框进行聚合，得到对应聚合特征的至少一个文本框集合。
本实施例中，视频文本分类方法的执行主体可以采用聚合特征对各帧图像的光学字符识别结果中的文本框进行聚合，得到对应聚合特征的至少一个文本框集合。
其中，聚合特征可以包括以下至少一项：文本框的位置特征(例如，高度、坐标等)，文本框的几何特征(例如，长度、宽度、面积等)，文本编辑距离特征(例如，文字的字号、字体等)。
该步骤的操作与上述步骤S303的操作基本相同，在此不再赘述。
S504，基于每个文本框集合的位置特征、字符特征和聚类特征，确定每个文本框集合的分类特征。
该步骤的操作与上述步骤S204中的操作基本相同，在此不再赘述。
S505，将每个文本框集合的分类特征输入采用如上述实施例示出的训练视频文本分类模型的方法所训练完成的视频文本分类模型，视频文本分类模型输出文本框集合的类别，将每个文本框集合的类别作为文本框集合中每个文本框内的文本的类别。
本实施例中，视频文本分类方法的执行主体可以将每个文本框集合的分类特征输入视频文本分类模型中，视频文本分类模型输出对应文本框集合的分类特征的类别。
S506，根据文本的类别确定文本的语义重要程度，根据文本和文本的语义重要程度提取目标视频的文本关键信息。
其中，上述执行主体可以在本地或者远程预存有文本类别与语义重要程度的对应关系，进而可以根据文本的类别确定文本的语义重要程度。
举例来说，识别出的文本类别可以为标题、字幕、文档、滚动字幕、广告等。进而确定各类别的语义重要程度从大到小依次为：标题>字幕>文档>滚动字幕>广告。
根据文本和文本的语义重要程度提取目标视频的文本关键信息的方式，可以包括但不限于：
示例一：根据语义重要程度给定文本权重，对所有文本信息进行加权求和进而提取文本关键信息。例如，对于标题、字幕、文档、滚动字幕和广告，分别给予权重：40％、30％、20％、10％、0％。
示例二：将文本和文本的语义重要程度输入文本关键信息提取模型，文本关键信息提取模型输出文本关键信息。文本关键信息提取模型可以为任意深度学习模型，例如各种神经网络模型，本申请中不再赘述。
本申请的上述实施例提供的视频文本分类方法，首先通过聚类特征对各帧图像中的文本框进行聚合，聚合过程中滤除了噪声，每个文本框集合能够较为纯净地对应一个文本类别。然后将文本框集合的分类特征输入训练好的模型，模型输出文本框集合的类别，不需要预先给定模板即可确定出视频中文本的类别，适用范围广泛。确定文本的类别之后即可确定文本的语义重要程度，根据文本和文本的语义重要程度提取文本关键信息，可以提高文本关键信息的准确率。
请参考图6，图6示出了根据本申请的视频文本分类方法的一个应用场景的示意图。在图6的应用场景中，上述视频文本分类方法可以应用到电视播放的连续剧的视频文本分类中，此时，上述目标视频即为电视播放的连续剧。此时，电视601与服务器602建立连接，服务器602中运行有视频文本分类系统，该视频文本分类系统运行有执行上述视频文本分类方法的程序。服务器602可以执行以下步骤：
S6021，从电视播放的连续剧中提取各帧图像。
S6022，获取各帧图像的光学字符识别结果，光学字符识别结果包括至少一个文本框。
S6023，采用聚合特征对各帧图像的光学字符识别结果中的文本框进行聚合，得到对应聚合特征的至少一个文本框集合。
S6024，确定至少一个文本框集合中每个文本框集合的类别，将每个文本框集合的类别作为文本框集合中每个文本框内的文本的类别。
本实施例中，电视播放的连续剧中可以包括台标、字幕、滚动字幕和广告等四种类型的文本。在进行聚类时可以得到四个文本框集合，并进一步确定四个文本框集合的类型分别为台标、字幕、滚动字幕和广告。
本场景示出的视频文本分类方法，首先通过聚类特征对各帧图像中的文本框进行聚合，聚合过程中滤除了噪声，每个文本框集合能够较为纯净地对应一个文本类别。然后根据文本框集合的特征确定文本框集合的类别，不需要预先给定模板即可确定出电视播放的连续剧中文本的类别，针对不同的电视台播放连续剧时不同的文本分布形式，均能实现视频文本的分类，适用范围较广。
请参考图7，图7示出了根据本申请的训练视频文本分类模型的装置的一个实施例的结构700。该训练视频文本分类模型的装置包括：
图像提取模块701，被配置为从目标视频中提取各帧图像。
字符识别模块702，被配置为获取各帧图像的光学字符识别结果，光学字符识别结果包括至少一个文本框。
文本框聚合模块703，被配置为采用聚合特征对各帧图像的光学字符识别结果中的文本框进行聚合，得到对应聚合特征的至少一个文本框集合。
分类特征确定模块704，被配置为基于每个文本框集合的位置特征、字符特征和聚类特征，确定每个文本框集合的分类特征。
模型训练模块705，被配置为将每个文本框集合的分类特征分别作为视频文本分类模型的输入，将对应该文本框集合的分类特征的类别分别作为视频文本分类模型的期望输出，训练视频文本分类模型的初始模型，得到训练完成的视频文本分类模型。
在本实施例中，训练视频文本分类模型的装置700中：图像提取模块701、字符识别模块702、文本框聚合模块703、分类特征确定模块704和模型训练模块705的具体处理及其所带来的技术效果可分别参考图2对应实施例中的步骤S201-S205的相关说明，在此不再赘述。
在本实施例的一些可选的实现方式中，文本框聚合模块703包括：
聚合单元(图中未示出)，被配置为根据每个文本框的位置信息，将各帧图像的光学字符识别结果中位于同一高度的文本框聚合成簇，得到至少一个簇。
计算单元(图中未示出)，被配置为在各个簇中，根据每个文本框内的文本信息确定文本框之间的文本编辑距离，将文本编辑距离在预设值以内的文本框进行合并得到至少一个合并后的文本框，并计算每个合并后的文本框的持续时长，合并后的文本框的持续时长为目标视频中包含合并后的文本框的视频帧所对应的持续时长。
划分单元(图中未示出)，被配置为在各个簇中，将持续时长分别在不同预设区间内的合并后的文本框划分至不同的文本框集合。
本申请的上述实施例提供的训练视频文本分类模型的装置，通过对各个帧的文本框进行聚合得到文本框集合，每个文本框集合对应一个类别，再根据文本框集合的位置特征、字符特征和聚类特征确定分类特征，分类特征与文本框集合的类别相对应，使得基于分类特征训练得到的视频文本分类模型能够准确地确定文本框集合的类别。
请参考图8，图8示出了根据本申请的视频文本分类装置的一个实施例的结构800。该视频文本分类装置包括：
图像提取模块801，被配置为从目标视频中提取各帧图像。
字符识别模块802，被配置为获取各帧图像的光学字符识别结果，光学字符识别结果包括至少一个文本框。
文本框聚合模块803，被配置为采用聚合特征对各帧图像的光学字符识别结果中的文本框进行聚合，得到对应聚合特征的至少一个文本框集合。
文本类别确定模块804，被配置为确定至少一个文本框集合中每个文本框集合的类别，将每个文本框集合的类别作为文本框集合中每个文本框内的文本的类别。
在本实施例中，视频文本分类装置800中：图像提取模块801、字符识别模块802、文本框聚合模块803和文本类别确定模块804的具体处理及其所带来的技术效果可分别参考图3对应实施例中的步骤S301-S304的相关说明，在此不再赘述
在本申请一些可选的实现方式中，该装置还包括：关键信息提取模块805，被配置为根据文本的类别确定文本的语义重要程度，根据文本和文本的语义重要程度提取目标视频的文本关键信息。
在本申请的一些可选的实现方式中，文本框聚合模块803包括：
聚合单元(图中未示出)，被配置为根据每个文本框的位置信息，将各帧图像的光学字符识别结果中位于同一高度的文本框聚合成簇，得到至少一个簇。
计算单元(图中未示出)，被配置为在各个簇中，根据每个文本框内的文本信息确定文本框之间的文本编辑距离，将文本编辑距离在预设值以内的文本框进行合并得到至少一个合并后的文本框，并计算每个合并后的文本框的持续时长，合并后的文本框的持续时长为目标视频中包含合并后的文本框的视频帧所对应的持续时长。
划分单元(图中未示出)，被配置为在各个簇中，将持续时长分别在不同预设区间内的合并后的文本框划分至不同的文本框集合。
在本申请的一些可选的实现方式中，文本框类别确定模块804将满足以下至少一项要求的文本框集合确定为目标类别：
文本框集合内的文本框数量在目标类别对应的第一目标区间内；文本框集合内的文本框持续时长的均值在目标类别对应的第二目标区间内；以及文本框集合内的文本框的文本编辑距离的均值在目标类别对应的第三目标区间内。
在本申请的一些可选的实现方式中，文本框类别确定模块804包括：
分类特征确定单元(图中未示出)，被配置为基于每个文本框集合的位置特征、字符特征和聚类特征，确定每个文本框集合的分类特征；
类别确定单元(图中未示出)，被配置为将每个文本框集合的分类特征输入上述实施例中所训练完成的视频文本分类模型，视频文本分类模型输出文本框集合的类别。
本申请的上述实施例提供的视频文本分类装置，首先通过聚类特征对各帧图像中的文本框进行聚合，聚合过程中滤除了噪声，每个文本框集合能够较为纯净地对应一个文本类别。然后根据文本框集合的特征确定文本框集合的类别，不需要预先给定模板即可确定出视频中文本的类别，适用范围广泛
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
如图9所示，是根据本申请实施例的训练视频文本分类模型的方法或视频文本分类方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图9所示，该电子设备包括：一个或多个处理器901、存储器902，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图9中以一个处理器901为例。
存储器902即为本申请所提供的非瞬时计算机可读存储介质。其中，存储器存储有可由至少一个处理器执行的指令，以使至少一个处理器执行本申请所提供的训练视频文本分类模型的方法或视频文本分类方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的训练视频文本分类模型的方法或视频文本分类方法。
存储器902作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块。处理器901通过运行存储在存储器902中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的训练视频文本分类模型的方法或视频文本分类方法。
存储器902可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据训练视频文本分类模型或者视频文本分类的电子设备的使用所创建的数据等。此外，存储器902可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器902可选包括相对于处理器901远程设置的存储器，这些远程存储器可以通过网络连接至训练视频文本分类模型或者视频文本分类的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
训练视频文本分类模型或者视频文本分类的电子设备还可以包括：输入装置903和输出装置904。处理器901、存储器902、输入装置903和输出装置904可以通过总线或者其他方式连接，图9中以通过总线连接为例。
输入装置903可接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置904可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与虚拟专用服务器(VPS，Virtual Private Server)服务中，存在的管理难度大，业务扩展性弱的缺陷。
人工智能是研究计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术；人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语音处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (12)

1.一种训练视频文本分类模型的方法，包括：
从目标视频中提取各帧图像；
获取所述各帧图像的光学字符识别结果，所述光学字符识别结果包括至少一个文本框；
采用聚合特征按照预设聚合规则对所述各帧图像的光学字符识别结果中的文本框进行聚合形成簇，在各个簇中，根据每个文本框内的文本信息确定文本框之间的文本编辑距离，将文本编辑距离在预设值以内的文本框进行合并得到至少一个合并后的文本框，并计算每个合并后的文本框的持续时长，将所述持续时长分别在不同预设区间内的合并后的文本框划分至不同的文本框集合，得到对应所述聚合特征的至少一个文本框集合；
基于每个所述文本框集合的位置特征、字符特征和聚类特征，确定每个所述文本框集合的分类特征；
将每个所述文本框集合的分类特征分别作为视频文本分类模型的输入，将对应该文本框集合的分类特征的类别分别作为所述视频文本分类模型的期望输出，训练所述视频文本分类模型的初始模型，得到训练完成的视频文本分类模型，
所述预设聚合规则包括以下至少一种：将位于同一高度的文本框划分至同一文本框集合；将长度和宽度均相同的文本框划分至同一文本框集合；将文本框中文字的字号和字体相同的文本框划分至同一文本框集合。
2.根据权利要求1所述的方法，其中，
所述文本编辑距离是指从一个文本转换成另一个文本所需的最少编辑操作次数，
所述合并后的文本框的持续时长为所述目标视频中包含所述合并后的文本框的视频帧所对应的持续时长，
所述文本框的高度通过所述文本框的中心点坐标或者文本框的顶点坐标来确定。
3.一种视频文本分类方法，包括：
从目标视频中提取各帧图像；
获取所述各帧图像的光学字符识别结果，所述光学字符识别结果包括至少一个文本框；
采用聚合特征按照预设聚合规则对所述各帧图像的光学字符识别结果中的文本框进行聚合形成簇，在各个簇中，根据每个文本框内的文本信息确定文本框之间的文本编辑距离，将文本编辑距离在预设值以内的文本框进行合并得到至少一个合并后的文本框，并计算每个合并后的文本框的持续时长，将所述持续时长分别在不同预设区间内的合并后的文本框划分至不同的文本框集合，得到对应所述聚合特征的至少一个文本框集合；
确定所述至少一个文本框集合中每个文本框集合的类别，将每个所述文本框集合的类别作为所述文本框集合中每个文本框内的文本的类别，
所述预设聚合规则包括以下至少一种：将位于同一高度的文本框划分至同一文本框集合；将长度和宽度均相同的文本框划分至同一文本框集合；将文本框中文字的字号和字体相同的文本框划分至同一文本框集合，
所述文本框集合的类别基于以下步骤确定：将满足以下至少一项要求的文本框集合确定为目标类别：所述文本框集合内的文本框数量在目标类别对应的第一目标区间内；所述文本框集合内的文本框持续时长的均值在目标类别对应的第二目标区间内；以及所述文本框集合内的文本框的文本编辑距离的均值在目标类别对应的第三目标区间内，
或者，
所述文本框集合的类别基于以下步骤确定：基于每个所述文本框集合的位置特征、字符特征和聚类特征，确定每个所述文本框集合的分类特征；将每个所述文本框集合的分类特征输入采用如权利要求1-2任一项所述的训练视频文本分类模型的方法所训练完成的视频文本分类模型，所述视频文本分类模型输出所述文本框集合的类别。
4.根据权利要求3所述的方法，所述方法还包括：
根据所述文本的类别确定所述文本的语义重要程度，根据所述文本和所述文本的语义重要程度提取所述目标视频的文本关键信息。
5.根据权利要求3所述的方法，其中，
所述文本编辑距离是指从一个文本转换成另一个文本所需的最少编辑操作次数，
所述合并后的文本框的持续时长为所述目标视频中包含所述合并后的文本框的视频帧所对应的持续时长，
所述文本框的高度通过所述文本框的中心点坐标或者文本框的顶点坐标来确定。
6.一种训练视频文本分类模型的装置，包括：
图像提取模块，被配置为从目标视频中提取各帧图像；
字符识别模块，被配置为获取所述各帧图像的光学字符识别结果，所述光学字符识别结果包括至少一个文本框；
文本框聚合模块，被配置为采用聚合特征按照预设聚合规则对所述各帧图像的光学字符识别结果中的文本框进行聚合形成簇，在各个簇中，根据每个文本框内的文本信息确定文本框之间的文本编辑距离，将文本编辑距离在预设值以内的文本框进行合并得到至少一个合并后的文本框，并计算每个合并后的文本框的持续时长，将所述持续时长分别在不同预设区间内的合并后的文本框划分至不同的文本框集合，得到对应所述聚合特征的至少一个文本框集合；
分类特征确定模块，被配置为基于每个所述文本框集合的位置特征、字符特征和聚类特征，确定每个所述文本框集合的分类特征；
模型训练模块，被配置为将每个所述文本框集合的分类特征分别作为视频文本分类模型的输入，将对应该文本框集合的分类特征的类别分别作为所述视频文本分类模型的期望输出，训练所述视频文本分类模型的初始模型，得到训练完成的视频文本分类模型，
所述预设聚合规则包括以下至少一种：将位于同一高度的文本框划分至同一文本框集合；将长度和宽度均相同的文本框划分至同一文本框集合；将文本框中文字的字号和字体相同的文本框划分至同一文本框集合。
7.根据权利要求6所述的装置，其中，
所述文本编辑距离是指从一个文本转换成另一个文本所需的最少编辑操作次数，
所述合并后的文本框的持续时长为所述目标视频中包含所述合并后的文本框的视频帧所对应的持续时长，
所述文本框的高度通过所述文本框的中心点坐标或者文本框的顶点坐标来确定。
8.一种视频文本分类装置，包括：
图像提取模块，被配置为从目标视频中提取各帧图像；
字符识别模块，被配置为获取所述各帧图像的光学字符识别结果，所述光学字符识别结果包括至少一个文本框；
文本框聚合模块，被配置为采用聚合特征按照预设聚合规则对所述各帧图像的光学字符识别结果中的文本框进行聚合形成簇，在各个簇中，根据每个文本框内的文本信息确定文本框之间的文本编辑距离，将文本编辑距离在预设值以内的文本框进行合并得到至少一个合并后的文本框，并计算每个合并后的文本框的持续时长，将所述持续时长分别在不同预设区间内的合并后的文本框划分至不同的文本框集合，得到对应所述聚合特征的至少一个文本框集合；
文本框类别确定模块，被配置为确定所述至少一个文本框集合中每个文本框集合的类别，将每个所述文本框集合的类别作为所述文本框集合中每个文本框内的文本的类别，
其中，所述预设聚合规则包括以下至少一种：将位于同一高度的文本框划分至同一文本框集合；将长度和宽度均相同的文本框划分至同一文本框集合；将文本框中文字的字号和字体相同的文本框划分至同一文本框集合，
所述文本框类别确定模块配置为将满足以下至少一项要求的文本框集合确定为目标类别：所述文本框集合内的文本框数量在目标类别对应的第一目标区间内；所述文本框集合内的文本框持续时长的均值在目标类别对应的第二目标区间内；以及所述文本框集合内的文本框的文本编辑距离的均值在目标类别对应的第三目标区间内，
或者，
所述文本框类别确定模块配置为包括：分类特征确定单元，被配置为基于每个所述文本框集合的位置特征、字符特征和聚类特征，确定每个所述文本框集合的分类特征；类别确定单元，被配置为将每个所述文本框集合的分类特征输入采用如权利要求1-2任一项所述的训练视频文本分类模型的方法所训练完成的视频文本分类模型，所述视频文本分类模型输出所述文本框集合的类别。
9.根据权利要求8所述的装置，所述装置还包括：
关键信息提取模块，被配置为根据所述文本的类别确定所述文本的语义重要程度，根据所述文本和所述文本的语义重要程度提取所述目标视频的文本关键信息。
10.根据权利要求8所述的装置，其中，
所述文本编辑距离是指从一个文本转换成另一个文本所需的最少编辑操作次数，
所述合并后的文本框的持续时长为所述目标视频中包含所述合并后的文本框的视频帧所对应的持续时长，
所述文本框的高度通过所述文本框的中心点坐标或者文本框的顶点坐标来确定。
11.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-2或3-5中任一项所述的方法。
12.一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行权利要求1-2或3-5中任一项所述的方法。
CN202011056257.0A 2020-09-30 2020-09-30 训练视频文本分类模型的方法、视频文本分类方法和装置 Active CN112036373B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011056257.0A CN112036373B (zh) 2020-09-30 2020-09-30 训练视频文本分类模型的方法、视频文本分类方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011056257.0A CN112036373B (zh) 2020-09-30 2020-09-30 训练视频文本分类模型的方法、视频文本分类方法和装置

Publications (2)

Publication Number Publication Date
CN112036373A CN112036373A (zh) 2020-12-04
CN112036373B true CN112036373B (zh) 2024-04-16

Family

ID=73572567

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011056257.0A Active CN112036373B (zh) 2020-09-30 2020-09-30 训练视频文本分类模型的方法、视频文本分类方法和装置

Country Status (1)

Country Link
CN (1) CN112036373B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112287916B (zh) * 2020-12-28 2021-04-30 平安国际智慧城市科技股份有限公司 视频图文课件文本提取方法、装置、设备及介质
CN117576678B (zh) * 2024-01-15 2024-04-05 腾讯科技（深圳）有限公司 视频处理方法、装置、设备、介质及产品

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10347293B1 (en) * 2018-07-31 2019-07-09 Droplr, Inc. Detecting, redacting, and scoring confidential information in video
CN110598622A (zh) * 2019-09-06 2019-12-20 广州华多网络科技有限公司 视频字幕定位方法、电子设备以及计算机存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10347293B1 (en) * 2018-07-31 2019-07-09 Droplr, Inc. Detecting, redacting, and scoring confidential information in video
CN110598622A (zh) * 2019-09-06 2019-12-20 广州华多网络科技有限公司 视频字幕定位方法、电子设备以及计算机存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于卷积神经网络的航班跟踪视频关键信息识别;宁煜西;周铭;李广强;王宁;;空军预警学院学报(05);全文 *

Also Published As

Publication number Publication date
CN112036373A (zh) 2020-12-04

Similar Documents

Publication Publication Date Title
CN111860506B (zh) 识别文字的方法和装置
CN111582241B (zh) 视频字幕识别方法、装置、设备及存储介质
CN111654746B (zh) 视频的插帧方法、装置、电子设备和存储介质
US10097888B2 (en) Determining audience engagement
US20230027412A1 (en) Method and apparatus for recognizing subtitle region, device, and storage medium
JP7223056B2 (ja) 画像審査方法、装置、電子機器及び記憶媒体
CN112036373B (zh) 训练视频文本分类模型的方法、视频文本分类方法和装置
CN109992187B (zh) 一种控制方法、装置、设备及存储介质
CN112182297A (zh) 训练信息融合模型、生成集锦视频的方法和装置
CN111753762A (zh) 视频中关键标识的识别方法、装置、设备以及存储介质
CN113378511B (zh) 页面的显示方法、装置、电子设备和存储介质
CN113507630B (zh) 比赛视频的拆条方法和装置
CN113301382B (zh) 视频处理方法、设备、介质及程序产品
CN111797801A (zh) 用于视频场景分析的方法和装置
US11010562B2 (en) Visual storyline generation from text story
CN113033333B (zh) 实体词识别方法、装置、电子设备和存储介质
CN113873323B (zh) 视频播放方法、装置、电子设备和介质
CN112714340B (zh) 视频处理方法、装置、设备、存储介质和计算机程序产品
CN113038184B (zh) 数据处理方法、装置、设备及存储介质
CN111787389B (zh) 转置视频识别方法、装置、设备及存储介质
CN113923477A (zh) 视频处理方法、装置、电子设备以及存储介质
CN113378836A (zh) 图像识别方法、装置、设备、介质及程序产品
CN113673277A (zh) 线上绘本内容的获取方法、装置以及智能屏设备
CN113656642B (zh) 封面图像生成方法、装置、设备、存储介质和程序产品
CN117576678B (zh) 视频处理方法、装置、设备、介质及产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant