CN102883213B - 字幕提取方法及装置 - Google Patents

Abstract

本发明公开了一种字幕提取方法及装置，其中，该方法包括：将输入移动终端的视频流通过硬解码方式分离为视频数据和字幕数据；发送该视频数据和字幕数据。通过本发明，解决了相关技术中的字幕提取方法资源占用率较高且处理效率低的问题，提升了移动终端的处理速度，提高了用户体验。

Description

字幕提取方法及装置

技术领域

本发明涉及通信领域，具体而言，涉及一种字幕提取方法及装置。

背景技术

目前，随着通信网络（例如，第3代移动通信（the third generation mobilecommunications，简称为3G）网络）的迅猛发展，用户不仅对移动网络的传统语音服务提出了高要求，而且对移动终端的多媒体功能也越来越重视。在高端智能移动终端中，对多种格式流媒体的播放支持已成为了此类终端的标准配置，在视频播放过程中，对视频中的字幕提取也就成了用户自然而然的需求。

但是，目前对视频中的字幕提取功能的实现大多基于数字图像处理的纯软件算法实现，静态解析视频帧画面，提取字幕。这种方法具有以下缺点：

1，纯软件算法实现，运算量过大，无法做到动态实时提取字幕，目前仅能达到对画质较低的短视频提取字幕，对高清视频的字幕提取基本无能为力。

2，通过纯软件算法实现，会显著影响移动终端的主处理器运行流畅度，由于算法运行非常消耗处理器资源，导致移动终端的主处理器运算负载增加，在字幕提取的过程中，使用户明显感觉到终端运行较慢，严重影响用户体验。

针对相关技术中的字幕提取方法资源占用率较高且处理效率低的问题，目前尚未提出有效的解决方案。

发明内容

针对相关技术中的字幕提取方法资源占用率较高且处理效率低的问题，本发明提供了一种字幕提取方法及装置，以至少解决上述问题。

根据本发明的一个方面，提供了一种字幕提取方法，包括：将输入移动终端的视频流通过硬解码方式分离为视频数据和字幕数据；发送所述视频数据和所述字幕数据。

优选地，将输入的视频流通过硬解码方式分离为视频数据和字幕数据包括：将输入的视频流发送至视频处理芯片，其中，所述视频处理芯片用于通过硬解码方式将所述输入的视频流分离为所述视频数据和所述字幕数据，并通过物理接口将分离后的所述视频数据和所述字幕数据输出。

优选地，所述物理接口包括以下至少之一：SDIO接口、USB接口、双口RAM、共享内存。

优选地，在发送所述视频数据和所述字幕数据之前，还包括：将所述视频数据和所述字幕数据分别进行优化处理。

优选地，将所述视频数据进行优化处理包括以下至少之一：图像渲染、清晰度增强、视频播放帧率的调整。

优选地，将所述字幕数据进行优化处理包括以下至少之一：字幕保存、文本还原、格式转换。

优选地，在发送所述视频数据和所述字幕数据之后，还包括：按照用户的控制指令将所述视频数据和所述字幕数据进行显示。

根据本发明的另一方面，还提供了一种字幕提取装置，包括：分离模块，用于将输入移动终端的视频流通过硬解码方式分离为视频数据和字幕数据；发送模块，用于发送所述视频数据和所述字幕数据。

优选地，所述分离模块包括：发送单元，用于将输入的视频流发送至视频处理芯片，其中，所述视频处理芯片用于通过硬解码方式将所述输入的视频流分离为所述视频数据和所述字幕数据；输出单元，用于通过物理接口将分离后的所述视频数据和所述字幕数据输出。

优选地，所述装置还包括：优化模块，用于将所述视频数据和所述字幕数据分别进行优化处理。

通过本发明，采用将输入移动终端的视频流通过硬解码方式分离为视频数据和字幕数据；发送该视频数据和字幕数据的方式，解决了相关技术中的字幕提取方法资源占用率较高且处理效率低的问题，提升了移动终端的处理速度，提高了用户体验。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的字幕提取方法的流程图；

图2是根据本发明实施例的字幕提取装置的结构框图；

图3是根据本发明实施例的分离模块的优选结构框图；

图4是根据本发明实施例的字幕提取装置的优选结构框图；

图5是根据本发明实施例二的移动终端产品的各个功能模块的协作示意图；

图6是根据本发明实施例二的移动终端视频字幕提取的工作模式流程图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

在本实施例中提供了一种字幕提取方法，图1是根据本发明实施例的字幕提取方法的流程图，如图1所示，该方法包括如下步骤：

步骤S102，将输入移动终端的视频流通过硬解码方式分离为视频数据和字幕数据；

步骤S104，发送该视频数据和字幕数据。

本实施例通过上述步骤，将输入移动终端的视频流通过硬解码方式分离为视频数据和字幕数据，然后将分离出来的视频数据和字幕数据分别发送，相比相关技术中采用基于数字图像处理的纯软件算法实现视频和字幕分离的方式，本实施例采用硬解码方式的效率高，对视频画质没有要求，无论低画质还是高清画质的视频均能够实现视频和字幕分离，而且硬解码方式运算量小，降低了视频字幕分离过程中主处理器的负担，解决了相关技术中的字幕提取方法资源占用率较高且处理效率低的问题，提升了移动终端的处理速度，提高了用户体验。

作为一种优选实施方式，可以通过单独的视频处理芯片实现步骤S102中的硬解码方式分离，该视频处理芯片主要完成视频流的分离工作，包括单独的数字信号处理器（Digital Signal Processor，简称为DSP），属于硬解码类图像处理器。该视频处理芯片可以用于通过硬解码方式将输入的视频流分离为视频数据和字幕数据，并通过物理接口将分离后的视频数据和字幕数据输出。

优选地，上述单独的视频处理芯片可以通过物理接口与主CPU和其他处理单元相连接，该物理接口可以包括以下类型中以下至少之一：安全数字输入/输出（SecureDigital Input/Output，简称为SDIO）接口、通用串行总线（Universal Serial Bus，简称为USB）接口、双口随机存取存储器（Random Access Memory，简称为RAM）、共享内存等。

通过这种方式，由于应用了单独的处理芯片进行硬解码方式的视频和字幕分离处理，无需占用主处理器的运算资源，不会在视频字幕分离过程中影响移动终端中其他程序的运行，不会再使用户感觉到终端运行变慢，提升了用户体验。

作为一种优选实施方式，在通过硬解码方式对视频数据和字幕数据进行分离之后，还可以通过软件将视频数据和字幕数据分别进行优化处理。通过这种软硬件结合的处理方式，能够大大提高视频数据和字幕数据的处理效果和处理效率。

例如，对于视频数据进行的优化处理，可以包括：图像渲染、清晰度增强、视频播放帧率的调整等处理方式；而对于将字幕数据进行优化处理，则可以包括：字幕保存、文本还原、格式转换等处理方式。

优选地，在生成分离好的视频数据和字幕数据之后，还可以按照客户端发来的用户的控制指令，将视频数据和字幕数据以相应的形式发送给显示设备（例如，显示器等）进行显示。

对应于上述方法，在本实施例中还提供了一种字幕提取装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图2是根据本发明实施例的字幕提取装置的结构框图，如图2所示，该装置包括：分离模块22和发送模块24，下面对各个模块进行详细说明。

分离模块22，用于将输入移动终端的视频流通过硬解码方式分离为视频数据和字幕数据；发送模块24，与分离模块22相连，用于发送该视频数据和字幕数据。

本实施例通过上述模块，分离模块22将输入移动终端的视频流通过硬解码方式分离为视频数据和字幕数据，然后发送模块24将分离出来的视频数据和字幕数据分别发送，相比相关技术中采用基于数字图像处理的纯软件算法实现视频和字幕分离的方式，本实施例采用硬解码方式的效率高，对视频画质没有要求，无论低画质还是高清画质的视频均能够实现视频和字幕分离，而且硬解码方式运算量小，降低了视频字幕分离过程中主处理器的负担，解决了相关技术中的字幕提取方法资源占用率较高且处理效率低的问题，提升了移动终端的处理速度，提高了用户体验。

图3是根据本发明实施例的分离模块22的优选结构框图，如图3所示，分离模块22可以包括：发送单元222，用于将输入的视频流发送至视频处理芯片，其中，视频处理芯片用于通过硬解码方式将输入的视频流分离为视频数据和字幕数据；输出单元224，与发送单元222相连，用于通过物理接口将分离后的视频数据和字幕数据输出。

图4是根据本发明实施例的字幕提取装置的优选结构框图，如图4所示，该装置还可以包括：优化模块42，与分离模块22和发送模块24相连，用于将该视频数据和字幕数据分别进行优化处理。

下面结合优选实施例进行说明，以下优选实施例结合了上述实施例及其优选实施方式。

在以下优选实施例中，提供了一种移动终端的视频字幕提取方法，该方法通过在移动终端侧增加软件功能模块，与移动终端内部的视频处理芯片配合完成视频字幕提取的功能。

在以下的优选实施例中，以在针对移动终端产品的嵌入式软件开发中应用为例进行说明，该方案在移动终端产品的内部实现了三个软件功能模块，同时配合移动终端产品内置的视频处理芯片，实现了视频字幕实时提取及使用的功能，很大程度上提升了移动终端设备的用户体验，丰富了移动终端设备的功能。

实施例一

本优选实施例为克服视频和字幕分离完全依赖纯软件算法实现而带来的运算量过大和用户体验不佳，提供一种增加软件功能模块，与移动终端内部的视频处理芯片配合完成视频字幕提取的方法，实现了一种移动终端视频字幕提取的新方案。

本方案在移动终端产品的软件部分增加三个软件模块：视频输出模块（实现了上述发送模块24的功能），视频预处理模块（实现了上述优化模块42的部分功能）和字幕预处理模块（实现了上述优化模块42的部分功能）。通过上述3个软件模块与移动终端产品硬件中的视频处理芯片配合，实现移动终端产品视频字幕的提取功能。

本优选实施例中的软件部分包括的3个功能模块的功能与实现方式如下：

1，移动终端产品的视频预处理模块：该模块可以对视频处理芯片输出的视频进行预处理，该视频是已被视频处理芯片完成硬解码的原始视频流，视频处理器的发送视频传输接口包括但不限于：SDIO接口，USB接口，双口RAM，共享内存等。

2，移动终端产品的字幕预处理模块：该模块是视频字幕的处理实现模块，这种处理包括但不限于字幕的保存，文本还原，格式转换以及将字幕发送输出的功能。

3，移动终端产品的视频传输模块：该模块可以包括3个部分，视频输入部分，视频输出部分和客户端。

其中，视频输入部分可以是将待提取字幕的视频传输给视频处理芯片；视频输出部分可以是将预处理后的视频及其字幕输出给移动终端内部的显示设备；客户端可以是呈现给用户的应用层程序，用户可以在这个客户端中进行各种字幕处理的指令选择。该客户端包括但不限于的功能还有视频播放，待处理视频的选择等。

出于效率考虑，视频传输模块内部的实现基本采用视频数据流透明传输以减少软件负荷，以提高效率。字幕是否输出以及用何种格式输出可以依照用户传来的控制指令而定。

与上述软件部分配合的硬件部分可以包括以下2个组件：

1，视频处理芯片：接收待处理的输入视频，完成视频流和字幕原码分离的核心组件，与移动终端的主处理器（Central Processing Unit，简称为CPU）通过总线方式连接。

2，显示设备：用于接收视频传输模块传来的视频数据流，是最终呈现给用户的显示设备。

在本优选实施例所定义的功能实现中，各模块间的工作顺序与交互流程包括如下步骤：

步骤一，视频处理芯片接收视频传输模块传来的待处理原始视频流，此类视频是字幕和视频流混合在一起的形式。

步骤二，视频处理芯片通过硬解码方式分离原始视频流，分为视频码流和字幕原始码流。而后，视频处理芯片将处理后的视频码流和字幕原始码流通过某种物理接口发送给视频预处理模块和字幕处理模块。

步骤三，视频预处理模块接收到分离后的视频码流后，对其进行优化处理。这些优化处理包括但不限于图像渲染，清晰度增强或视频播放帧率的增减。最终，将处理后的视频发送给视频传输模块。

步骤四，字幕预处理模块接收到字幕原始码流后，对其进行优化处理。这种处理包括但不限于字幕的保存，文本还原，格式转换以及将字幕发送输出的功能。

步骤五，视频传输模块接收到经过视频预处理模块处理的视频数据和经过字幕处理模块处理的字幕后，按照客户端传来的用户指令将视频和字幕以相应形式传送给显示设备。

本优选实施例通过上述方案，可以使移动终端的视频字幕提取功能具有以下几方面的优势，提高用户体验：

1，字幕提取采用软件和硬件配合完成，避免了纯软件实现带来的运算能力有限，无法实时处理视频字幕和无法处理高清视频字幕的局限，扩展了字幕提取的应用范围。,

2，由于本优选实施例是通过软硬件结合方式实现，可以极大的减轻移动终端主处理器的运算负荷，增强移动终端的有效处理能力，极大的改善了用户体验。

实施例二

图5是根据本发明实施例二的移动终端产品的各个功能模块的协作示意图，如图5所示，本方案主要包括软件部分和硬件部分这两大部分。其中，软件部分可以包括视频传输模块、视频预处理模块、以及字幕预处理模块；硬件部分可以包括移动终端显示设备，和视频处理芯片。

待处理的视频数据流通过视频传输模块传送给视频处理芯片进行处理，视频处理芯片对传入的视频数据进行硬解码，分离出视频码流和字幕原始数据。分别通过物理接口将其传送给视频预处理模块和字幕预处理模块。视频预处理模块对视频数据进行一定程度的优化后将视频发送给视频传输模块；字幕预处理模块对传来的原始字幕数据进行文本还原，保存等处理后将其发送给视频传输模块。视频传输模块接收到优化后的视频数据和字幕数据后，根据客户端传来的指令以某种形式将其发送给显示设备。

图6是根据本发明实施例二的移动终端视频字幕提取的工作模式流程图，如图6所示，在图6中描述了使用本优选实施例的移动终端产品视频字幕提取工作流程和逻辑判断流程，该流程包括如下步骤：

步骤S602，视频传输模块中的客户端将待处理视频数据发送给该模块其中的视频输入部分。此类视频数据包括但不限于，摄像头传送来的视频数据，通过网络传送来的流媒体视频数据，移动终端本地存储的视频数据。视频传输模块的视频输入部分将待处理的视频通过物理接口发送给视频处理芯片，这些物理接口包括但不限于：SDIO接口，USB接口，双口RAM，共享内存等。

步骤S604，视频处理芯片接收到待处理的视频数据后，在其内部通过硬件解码的方式分离视频数据和字幕原始码流。而后，通过物理接口，将分离后的视频数据和字幕原始码流分别传输给视频预处理模块（S604a）和字幕预处理模块（S604b）。这些物理接口包括但不限于：SDIO接口，USB接口，双口RAM，共享内存等。

步骤S606，视频预处理模块接收到分离后的视频数据后，对其进行优化处理，该处理包括但不限于图像渲染，清晰度增强或视频播放帧率的增减。具体选择何种优化措施会根据用户指令进行。最终，将优化后的图像发送给视频传输模块。

步骤S608，字幕预处理模块接收到字幕原始码流后，对其进行优化处理。这种处理包括但不限于字幕的保存，文本还原，格式转换，处理完毕的结果将会发送给视频传输模块。

步骤S610，视频传输模块将视频预处理模块传来的视频数据和字幕预处理模块传来的字幕数据进行接收，而后，根据视频传输模块中的客户端接收用户的控制指令，根据该指令将视频和字幕数据以相应形式发送给显示设备。

由于以上优点，可见本方案在具有一定创新性的同时，也具有极高的实用价值，对于产品的易用性和稳定性，以及用户体验，都有很大程度的改善。

在另外一个实施例中，还提供了一种软件，该软件用于执行上述实施例及优选实施例中描述的技术方案。

在另外一个实施例中，还提供了一种存储介质，该存储介质中存储有上述软件，该存储介质包括但不限于光盘、软盘、硬盘、可擦写存储器等。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种字幕提取方法，其特征在于，包括：

将输入移动终端的视频流通过硬解码方式分离为视频数据和字幕数据；

发送所述视频数据和所述字幕数据；

其中，将输入的视频流通过硬解码方式分离为视频数据和字幕数据包括：将输入的视频流发送至视频处理芯片，其中，所述视频处理芯片用于通过硬解码方式将所述输入的视频流分离为所述视频数据和所述字幕数据，并通过物理接口将分离后的所述视频数据和所述字幕数据输出。

2.根据权利要求1所述的方法，其特征在于，所述物理接口包括以下至少之一：安全数字输入/输出SDIO接口、通用串行总线USB接口、双口随机存取存储器RAM、共享内存。

3.根据权利要求1至2中任一项所述的方法，其特征在于，在发送所述视频数据和所述字幕数据之前，还包括：

将所述视频数据和所述字幕数据分别进行优化处理。

4.根据权利要求3所述的方法，其特征在于，将所述视频数据进行优化处理包括以下至少之一：

图像渲染、清晰度增强、视频播放帧率的调整。

5.根据权利要求3所述的方法，其特征在于，将所述字幕数据进行优化处理包括以下至少之一：

字幕保存、文本还原、格式转换。

6.根据权利要求1至5中任一项所述的方法，其特征在于，发送所述视频数据和所述字幕数据之后，还包括：

按照用户的控制指令将所述视频数据和所述字幕数据进行显示。

7.一种字幕提取装置，其特征在于，包括：

分离模块，用于将输入移动终端的视频流通过硬解码方式分离为视频数据和字幕数据；

发送模块，用于发送所述视频数据和所述字幕数据；

其中，所述分离模块包括：发送单元，用于将输入的视频流发送至视频处理芯片，

其中，所述视频处理芯片用于通过硬解码方式将所述输入的视频流分离为所述视频数据和所述字幕数据；输出单元，用于通过物理接口将分离后的所述视频数据和所述字幕数据输出。

8.根据权利要求7所述的装置，其特征在于，所述装置还包括：

优化模块，用于将所述视频数据和所述字幕数据分别进行优化处理。