CN110798636A - 字幕生成方法及装置、电子设备 - Google Patents

字幕生成方法及装置、电子设备 Download PDF

Info

Publication number
CN110798636A
CN110798636A CN201910996249.5A CN201910996249A CN110798636A CN 110798636 A CN110798636 A CN 110798636A CN 201910996249 A CN201910996249 A CN 201910996249A CN 110798636 A CN110798636 A CN 110798636A
Authority
CN
China
Prior art keywords
subtitle
target
keywords
keyword
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910996249.5A
Other languages
English (en)
Other versions
CN110798636B (zh
Inventor
梁志杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201910996249.5A priority Critical patent/CN110798636B/zh
Publication of CN110798636A publication Critical patent/CN110798636A/zh
Application granted granted Critical
Publication of CN110798636B publication Critical patent/CN110798636B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/278—Subtitling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/31—Indexing; Data structures therefor; Storage structures
    • G06F16/313—Selection or weighting of terms for indexing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • User Interface Of Digital Computer (AREA)
  • Studio Circuits (AREA)

Abstract

本公开提供一种字幕生成方法及装置、电子设备；涉及人工智能技术领域。所述字幕生成方法包括：对字幕文本进行关键词提取并确定各所述关键词的权重信息；根据所述字幕文本对应的音频数据确定各所述关键词的声学特征参数；根据各所述关键词的权重信息以及声学特征参数，确定所述关键词的突出显示效果；根据所述字幕文本以及所述字幕文本中所述关键词的突出显示效果生成目标字幕，并将所述目标字幕添加至目标图像。本公开可以提高字幕的信息内容丰富度以及信息传达效率。

Description

字幕生成方法及装置、电子设备
技术领域
本公开涉及人工智能技术领域，具体而言，涉及基于人工智能的一种字幕生成方法、字幕生成方法装置、电子设备以及计算机可读存储介质。
背景技术
在很多场景中，需要向目标图像添加字幕，以通过字幕向观众传达额外的信息或者通过字幕辅助观众理解配音内容。
以视频文件为例，一种添加字幕的技术方案是，选择视频文件的某一时间节点对应的目标图像后，输入字幕文本并将字幕文本手动拖放到目标图像中指定位置，以完成字幕的添加。
但上述技术方案中，字幕的形式较为单一，信息内容丰富度以及信息传达效率仍存在一定的提升空间。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开实施例的目的在于提供一种字幕生成方法、字幕生成装置、电子设备以及计算机可读存储介质，进而至少在一定程度上提高字幕的信息内容丰富度以及信息传达效率。
根据本公开的一个方面，提供一种字幕生成方法，包括：
对字幕文本进行关键词提取并确定各所述关键词的权重信息；
根据所述字幕文本对应的音频数据确定各所述关键词的声学特征参数；
根据各所述关键词的权重信息以及声学特征参数，确定所述关键词的突出显示效果；
根据所述字幕文本以及所述字幕文本中所述关键词的突出显示效果生成目标字幕，并将所述目标字幕添加至目标图像。
根据本公开的一个方面，提供一种字幕生成方法，包括：
接收音频数据，并对所述音频数据进行语音识别以获取字幕文本；
根据所述字幕文本生成目标字幕添加至目标图像，并对所述目标字幕中的关键词进行突出显示；
其中，所述关键词的突出显示效果是根据所述关键词权重信息以及所述关键词对应的音频片段的声学特征参数确定。
根据本公开的一个方面，提供一种字幕生成装置，包括：
关键词提取模块，用于对字幕文本进行关键词提取并确定各所述关键词的权重信息；
声学特征确定模块，用于根据所述字幕文本对应的音频数据确定各所述关键词的声学特征参数；
显示效果确定模块，用于根据各所述关键词的权重信息以及声学特征参数，确定所述关键词的突出显示效果；
字幕添加模块，用于根据所述字幕文本以及所述字幕文本中所述关键词的突出显示效果生成目标字幕，并将所述目标字幕添加至目标图像。
在本公开的一种示例性实施例中，所述装置还包括：
语音识别模块，用于对所述音频数据进行语音识别以获取所述字幕文本。
在本公开的一种示例性实施例中，所述关键词提取模块包括：
分词处理单元，用于对所述字幕文本进行分词处理，得到多个分词；
词频计算单元，用于计算各所述分词在所述字幕文本中的词频并获取各所述分词的逆文本频率指数；
分词权重计算单元，用于结合各所述分词的词频及逆文本频率指数计算各所述分词的权重信息；
关键词提取单元，用于根据各所述分词的权重信息，从所述分词中确定所述关键词以及所述关键词对应的权重信息。
在本公开的一种示例性实施例中，所述声学特征确定模块包括：
响度信息获取单元，用于获取所述音频数据中各所述关键词对应的音频片段的响度信息；
声学特征参数确定单元，用于对于每一所述关键词，根据该所述关键词对应的音频片段的响度信息确定该所述关键词的声学特征参数。
在本公开的一种示例性实施例中，显示效果确定模块包括：
综合权重值计算单元，用于根据各所述关键词的权重信息以及声学特征参数，分别计算各所述关键词的综合权重值；
显示效果确定单元，用于根据各所述关键词的综合权重值，确定所述关键词的突出显示效果。
在本公开的一种示例性实施例中，显示效果确定单元用于将综合权重值最高一个或多个的所述关键词进行突出显示；或者将综合权重值超过权重阈值的所述关键词进行突出显示。
在本公开的一种示例性实施例中，所述关键词的突出显示效果的强度与所述关键词的综合权重值正相关。
在本公开的一种示例性实施例中，所述字幕添加模块包括：
目标区域确定单元，用于对所述目标图像进行图像分析以确定用于添加字幕的目标区域；
字幕添加单元，用于将所述字幕添加至所述目标图像的所述目标区域。
在本公开的一种示例性实施例中，所述目标区域确定单元通过下述步骤确定用于添加字幕的目标区域：对所述目标图像进行识别，以确定指定对象在所述目标图像中的位置；将所述目标图像中，所述指定对象之外的位置作为候选区域；在所述候选区域中确定所述目标区域。
在本公开的一种示例性实施例中，所述目标区域确定单元通过下述步骤在所述候选区域中确定所述目标区域：将所述目标图像划分为多个子区域，并将位于所述候选区域的子区域作为候选子区域；分别计算各所述候选子区域的像素灰度值离散程度数据；根据各所述候选子区域的像素灰度值离散程度数据，选取一个或多个所述候选子区域作为所述目标区域。
在本公开的一种示例性实施例中，所述目标区域确定单元通过下述步骤选取一个或多个所述候选子区域作为所述目标区域：选取像素灰度值离散程度最小的一个或多个所述候选子区域作为目标区域；或者，选取像素灰度值离散程度最小的一个所述候选子区域及其相邻的一个或多个候选子区域作为目标区域。
在本公开的一种示例性实施例中，所述字幕添加模块还包括：
排版布局单元，用于根据所述目标区域的形状以及所述字幕文本的字符数量，确定所述字幕文本的排版布局。
根据本公开的一个方面，提供一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一项所述的方法。
根据本公开的一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述的方法。
本公开示例性实施例可以具有以下部分或全部有益效果：
在公开示例实施方式所提供的字幕生成方法中，可以对字幕文本进行关键词提取，并根据关键词的权重信息以及声学特征参数，自动确定关键词的突出显示效果；进而可以根据字幕文本以及关键词的突出显示效果生成目标字幕。一方面，使得字幕除了传达文本内容之外，还可以通过关键词的突出显示在一定程度上传达文本内容之外的信息，例如，在一定程度上传达用户的情景信息等，从而可以提高字幕的信息内容丰富度；另一方面，由于字幕文本中的关键词被突出显示，因此可以辅助观众更加快速和准确的获取字幕文本传达的关键信息，从而提高字幕的信息传达效率以及信息传达准确程度；再一方面，由于字幕文本中的关键词突出显示效果是自动确定的，因此还可以减少对字幕文本的显示效果配置操作，提高字幕的添加效率。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了可以应用本公开实施例的一种字幕生成方法及装置的示例性系统架构的示意图；
图2示出了适于用来实现本公开实施例的电子设备的计算机系统的结构示意图；
图3示意性示出了根据本公开的一个实施例的字幕生成方法的流程图；
图4示意性示出了根据本公开的一个实施例中关键词提取及权重信息确定过程的流程图；
图5示意性示出了根据本公开的一个实施例中综合权重值展示方式；
图6示意性示出了根据本公开的一个实施例中目标区域确定过程的流程图；
图7示意性示出了根据本公开的一个实施例中目标区域确定过程的流程图；
图8A～8H示意性示出了根据本公开的一个实施例中目标区域确定以及字幕添加过程的流程图；
图9A～9C示意性示出了根据本公开的一个实施例中字幕添加过程的流程图；
图10示意性示出了根据本公开的一个实施例的字幕生成方法的流程图；
图11A～11D示意性示出了根据本公开的一个实施例中字幕生成过程的应用场景图；
图12示意性示出了根据本公开的一个实施例的字幕生成方法的流程图；
图13示意性示出了根据本公开的一个实施例的字幕生成装置的框图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。
此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
图1示出了可以应用本公开实施例的一种字幕生成方法及装置的示例性应用环境的系统架构的示意图。
如图1所示，系统架构100可以包括终端设备101、102、103中的一个或多个，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。终端设备101、102、103可以是具有显示屏的各种电子设备，包括但不限于台式计算机、便携式计算机、智能手机和平板电脑等等。应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。比如服务器105可以是多个服务器组成的服务器集群等。
本公开实施例所提供的字幕生成方法可以在服务器105执行，相应地，字幕生成装置一般设置于服务器105中。本公开实施例所提供的字幕生成方法也可以由终端设备101、102、103执行，相应的，字幕生成装置也可以设置于终端设备101、102、103中。本公开实施例所提供的资源账户绑定方法还可以由终端设备101、102、103与服务器105共同执行，相应地，资源账户绑定装置可以设置于终端设备101、102、103与服务器105中，本示例性实施例中对此不做特殊限定。
举例而言，在一种示例性实施例中，可以是用户在终端设备101、102、103上的视频生成客户端，对视频文件中的目标图像进行配音，视频生成客户端可以将配音对应的音频数据上传至服务器105；服务器105在接收到音频数据之后，可以首先对音频数据进行语音识别以获取所述字幕文本，之后对字幕文本进行关键词提取并确定各所述关键词的权重信息；同时，根据所述字幕文本对应的音频数据确定各所述关键词的声学特征参数；然后，根据各所述关键词的权重信息以及声学特征参数，确定所述关键词的突出显示效果并发送至终端设备101、102、103；终端设备101、102、103上的视频生成客户端可以根据所述字幕文本以及所述字幕文本中所述关键词的突出显示效果生成目标字幕，并将所述目标字幕添加至目标图像；最后，视频生成客户端可以将添加字幕之后的目标图像以及上述音频数据进行合成，得到视频文件；但本领域技术人员容易理解的是，上述应用场景仅是用于举例，本示例性实施例中并不以此为限。
图2示出了适于用来实现本公开实施例的电子设备的计算机系统的结构示意图。
需要说明的是，图2示出的电子设备的计算机系统200仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图2所示，计算机系统200包括中央处理单元(CPU)201，其可以根据存储在只读存储器(ROM)202中的程序或者从存储部分208加载到随机访问存储器(RAM)203中的程序而执行各种适当的动作和处理。在RAM 203中，还存储有系统操作所需的各种程序和数据。CPU201、ROM 202以及RAM 203通过总线204彼此相连。输入/输出(I/O)接口205也连接至总线204。
以下部件连接至I/O接口205：包括键盘、鼠标等的输入部分206；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分207；包括硬盘等的存储部分208；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分209。通信部分209经由诸如因特网的网络执行通信处理。驱动器210也根据需要连接至I/O接口205。可拆卸介质211，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器210上，以便于从其上读出的计算机程序根据需要被安装入存储部分208。
特别地，根据本公开的实施例，下文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分209从网络上被下载和安装，和/或从可拆卸介质211被安装。在该计算机程序被中央处理单元(CPU)201执行时，执行本申请的方法和装置中限定的各种功能。在一些实施例中，计算机系统200还可以包括AI(ArtificialIntelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
其中，计算机视觉技术(Computer Vision,CV)计算机视觉是一门研究如何使机器“看”的科学。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
语音技术(Speech Technology)的关键技术有自动语音识别技术(ASR)和语音合成技术(TTS)以及声纹识别技术。让计算机能听、能看、能说、能感觉，是未来人机交互的发展方向，其中语音成为未来最被看好的人机交互方式之一。
自然语言处理(Nature Language processing,NLP)是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，所以它与语言学的研究有着密切的联系。自然语言处理技术通常包括文本处理、语义理解、机器翻译、机器人问答、知识图谱等技术。
本公开中的部分示例性实施例可能会涉及到上述计算机视觉技术、语音处理技术以及自然语言处理等人工智能技术。以下对本公开实施例的技术方案进行详细阐述：
本示例实施方式提供了一种字幕生成方法。该字幕生成方法可以应用于上述服务器105，也可以应用于上述终端设备101、102、103中的一个或多个；还可以同时应用于上述终端设备101、102、103中的一个或多个以及上述服务器105；本示例性实施例中对此不做特殊限定。参考图3所示，该字幕生成方法可以包括以下步骤：
步骤S310.对字幕文本进行关键词提取并确定各所述关键词的权重信息；
步骤S320.根据所述字幕文本对应的音频数据确定各所述关键词的声学特征参数；
步骤S330.根据各所述关键词的权重信息以及声学特征参数，确定所述关键词的突出显示效果；
步骤S340.根据所述字幕文本以及所述字幕文本中所述关键词的突出显示效果生成目标字幕，并将所述目标字幕添加至目标图像。
在本示例实施方式所提供的字幕生成方法中，一方面，使得字幕除了传达文本内容之外，还可以通过关键词的突出显示在一定程度上传达文本内容之外的信息，例如，在一定程度上传达用户的情景信息等，从而可以提高字幕的信息内容丰富度；另一方面，由于字幕文本中的关键词被突出显示，因此可以辅助观众更加快速和准确的获取字幕文本传达的关键信息，从而提高字幕的信息传达效率以及信息传达准确程度；再一方面，由于字幕文本中的关键词突出显示效果是自动确定的，因此还可以减少对字幕文本的显示效果配置操作，提高字幕的添加效率。
下面，在另一实施例中，对上述步骤进行更加详细的说明。
在步骤S310中，对字幕文本进行关键词提取并确定各所述关键词的权重信息。
本示例实施方式中，字幕文本可以通过读取字幕文件获取；例如，一些视频文件具有配套的SRT、SMI或者SSA等格式的字幕文件，通过读取这些字幕文件即可得到对应的字幕文本。本示例实施方式中，字幕文本还可以是对与目标图像(即待添加字幕的图像)关联的音频数据进行语音识别以获取的字幕文本。举例而言，在一些视频文件中，除了图像数据还包括配音数据等音频数据，因此，可以对这些音频数据进行语音识别以获取字幕文本。此外，本示例实施方式中，还可以是在用户对目标图像配音的过程中，直接对配音过程中的音频数据进行语音识别以获取字幕文本。
举例而言，本示例实施方式中，可以通过深度神经网络模型、隐马尔科夫模型、高斯混合模型中的一种或多种模型，对各所述语音数据进行语音识别，获取字幕文本。例如，可以通过隐马尔科夫模型对音频数据的时序信息进行建模，在给定隐马尔科夫模型的一个状态后，通过最大期望值算法等方法基于高斯混合模型对属于该状态的语音特征向量的概率分布进行建模；在建模成功之后，则可以对所述语音数据进行语音识别，获取对应的字幕文本。当然，在本发明的其他示例性实施例中，也可以通过结合上下文信息(ContextDependent)或者通过其他方式进行进行语音识别，本示例性实施例中对此不做特殊限定。
本示例实施方式中，所述关键词可以是字幕文本中具有代表性的词，其可以用于表征字幕文本的主题思想。参考图4所示，本示例实施方式中，在获取字幕文本之后，可以通过下述步骤S410至步骤S420对字幕文本进行关键词提取并确定各所述关键词的权重信息。其中：
在步骤S410中，对所述字幕文本进行分词处理，得到多个分词。以条件随机场分词(Conditional Random Field，CRF)为例，可以根据条件随机场理论，综合考虑分词在字幕文本中出现的频率以及分词的上下文关系对字幕文本进行分词。当然，本领域技术人员容易理解的是，上述分词处理也可以采用任何可能的分词方式实现，比如JIEBA分词(即结巴分词)、NLPIR分词、LTP(Language Technology Platform)分词、或者THULAC(THU LexicalAnalyzer for Chinese)分词等。
在步骤S420中，计算各所述分词在所述字幕文本中的词频(Term Frequency，TF)并获取各所述分词的逆文本频率指数(Inverse Document Frequency，IDF)。其中，所述分词在字幕文本中的词频是指关键词在字幕文本中的出现次数；所述分词的逆文本频率指数可以通过公式log(N0/N1)计算得到。其中，N0为语料库中的所有文档的数目，N1为语料库的所有文档中包含该分词的文档的数目；其中，一个所述文档例如可以为一条字幕文本，语料库是所有所述文档对应的集合。
在步骤S430中，结合各所述分词的词频及逆文本频率指数计算各所述分词的权重信息。举例而言，本示例实施方式中，对于每一所述分词，可以首先计算该分词的词频与逆文本频率指数之积，得到该分词的TF-IDF值。然后，根据各分词的TF-IDF值确定各分词的原始权重，再分别对各分词的原始权重进行归一化，得到各分词的权重。其中，分词的原始权重可以是该分词的TF-IDF值本身，也可以是该分词的TF-IDF值和该分词的词长的乘积。对分词的原始权重进行归一化，可以是将该分词的原始权重除以字幕文本的各分词的原始权重的总和。
在步骤S440中，根据各所述分词的权重信息，从所述分词中确定所述关键词以及所述关键词对应的权重信息。本示例实施方式中，可以是选择权重值最高一个或多个分词作为关键词；举例而言，假设字幕文本是“无论如何都要第一，这是我的执念”，其中分词“无论如何”、“都要”、“第一”、“这是”、“我的”以及“执念”的权重值例如分别为0.598、0.203、0.510、0.199、0.158以及0.709，则可以将权重值最高的三个分词“无论如何”、“第一”以及“执念”确定为关键词。在本公开的其他示例性实施例中，也可以是选择权重值高于权重阈值的分词作为关键词等，本示例性实施例中并不以此为限。
此外，本领域技术人员容易理解的是，在本公开的其他示例性实施例中，也可以通过如TextRank算法、Rake算法及Topic-Mode1算法等其他方式对字幕文本进行关键词提取并确定各所述关键词的权重信息，这同样属于本公开的保护范围。
在步骤S320中，根据所述字幕文本对应的音频数据确定各所述关键词的声学特征参数。
音频数据除了可以传达相应的文本内容对应的信息，还可以反映用户的思想情感。举例而言，用户可以通过提高音量等方式强调某一部分内容；又例如，用户可以通过提高音量等方式表达愤怒和高兴情感，可以通过降低音量等方式表达悲伤情感等。因此，基于音频数据中的声学特征参数，在一定程度上获取用户传达的情感。
本示例实施方式中，可以首先从音频数据中提取各所述关键词对应的音频片段，再获取各所述关键词对应的音频片段的响度信息；其中，响度信息可以用于表示语音音量的高低，可以通过语音波形的幅值计算得到。对于每一所述关键词，在计算得到该所述关键词对应的音频片段的响度信息之后，则可以根据该所述关键词对应的音频片段的响度信息确定该所述关键词的声学特征参数。
举例而言，本示例实施方式中，可以将响度最高的关键词的声学特征参数记为1，其他响度的关键词的声学特征参数则按照响度相应降低。例如，关键词“无论如何”、“第一”以及“执念”的响度值分别为40dB、60dB以及75dB，则可以将“无论如何”、“第一”以及“执念”的声学特征参数分别确定为0.533、1.000以及0.800。
需要说明的是，本示例实施方式中，仅是以响度信息为例进行说明，在本公开的其他示例性实施例中，也可以获取各所述关键词对应的音频片段的平均基频信息、基频范围信息、响度变化率信息或者共振峰信息等其他特征信息，并根据这些特征信息计算上述声学特征参数；本示例性实施例中对此不做特殊限定。
在步骤S330中，根据各所述关键词的权重信息以及声学特征参数，确定所述关键词的突出显示效果。
本示例实施方式中，可以根据各所述关键词的权重信息以及声学特征参数，分别计算各所述关键词的综合权重值；再根据各所述关键词的综合权重值，确定所述关键词的突出显示效果。举例而言，对于每一所述关键词，可以计算该关键词的权重值与声学特征参数的乘积，并将乘积结果作为该关键词的综合权重值。例如，关键词“无论如何”、“第一”以及“执念”的权重值分别为0.598、0.510、0.199以及0.709，声学特征参数分别为0.533、1.000以及0.800，则关键词“无论如何”、“第一”以及“执念”的综合权重值分别为0.318、0.510、0.567。在获取综合权重值之后，还可以通过如图5所示的方式或者其他方式展示给用户，以便于用户了解哪些词可能会被突出显示。
当然，在本公开的其他示例性实施例中，也可以通过其他方式，如对所述权重信息以及声学特征参数进行相加运算或者计算加权和等其他运算，得到各关键词的评分，进而根据各所述关键词的评分，确定所述关键词的突出显示效果，本示例性实施例中对此不做特殊限定。
在计算得到各所述关键词的综合权重值之后，则可以将综合权重值最高一个或多个的所述关键词进行突出显示。例如，可以将综合权重值最高的一个关键词进行突出显示，即将关键词“执念”突出显示；也可以将综合权重值最高的两个关键词进行突出显示，即将关键词“第一”以及“执念”突出显示。此外，本示例实施方式中，也可以是将综合权重值超过权重阈值的所述关键词进行突出显示。例如，预先配置的权重阈值为0.500；在计算得到各关键词的综合权重值之后，则可以将综合权重值超过权重阈值的关键词“第一”以及“执念”突出显示。
本示例实施方式中，可以通过加粗字体、加大字号、设置区别性字体颜色、设置区别性背景颜色、加下划线、高亮显示、闪烁显示、增加动画效果或者其他可以将关键词与其他分词进行视觉区分的方式，对所述关键词进行突出显示。
进一步的，本示例实施方式中，还可以根据各所述关键词的综合权重值确定所述关键词的突出显示效果的强度。举例而言，所述关键词的突出显示效果的强度可以与所述关键词的综合权重值正相关。例如，关键词的综合权重值越高，则关键词的加粗程度越高；或者，关键词的综合权重值越高，则采用的突出显示方式越多等。如关键词“第一”以及“执念”的综合权重值分别为0.510、0.567，则可以对关键词“第一”进行加粗处理，对关键词“执念”在进行加粗处理的基础上，还进行闪烁显示等。
在步骤S340中，根据所述字幕文本以及所述字幕文本中所述关键词的突出显示效果生成目标字幕，并将所述目标字幕添加至目标图像。
本示例实施方式中，可以首先在目标图像中确定用于添加字幕的目标区域。在一些场景中，可以将目标图像的底部区域直接作为目标区域；但在一些场景中，如果直接将字幕添加在目标图像的底部区域，则可能会出现对目标图像中的主体部分产生遮挡等问题；同时，目标图像的底部区域位置有限，因此难以对字幕文本进行较好的排版布局。此外，对于一些由图文转换形成的视频文件而言，字幕是主体部分，因此也不适宜将其添加在目标图像的底部区域。
基于上述一个或多个问题，本示例实施方式中，提出了一种新的目标区域确定方法，即对所述目标图像进行图像分析以自动确定适合添加字幕的目标区域。参考图6所示，本示例实施方式中，可以下述步骤S610步骤S620确定目标区域。其中：
在步骤S610中，对所述目标图像进行识别，以确定指定对象在所述目标图像中的位置。
举例而言，在目标图像为包含人物的图像时，上述指定对象可以是该人物的脸部；本示例实施方式中，可以从目标图像中提取人脸特征点，进而根据人脸特征点所在位置确定人脸在图标图像中的位置；其中，人脸特征点是指可以用于体现出人脸的轮廓以及纹理特征的一些像素点。本示例实施方式中，可以采用如ASM(Active Shape Model，主动形状模型)特征提取算法、CPR(Cascaded Pose Regression，级联姿势回归)特征提取算法或者基于深度学习的方法提取模板图像中的人脸特征点。
然而，容易理解的是，上述指定对象也可以是人物除脸部之外的其他部位。同时，在目标图像中的主体为人物之外的其他类型主体时，上述指定对象也可以相应的进行变化；例如，指定对象可以为车辆、动物、植物等其他对象。此外，也可以是对所述目标图像进行前景分析，直接将前景图像中的所有对象作为指定对象等，本示例性实施例中对此不做特殊限定。
在步骤S620中，将所述目标图像中，所述指定对象之外的位置作为候选区域，并在所述候选区域中确定所述目标区域。此外，如果未检测到指定对象，则可以将目标图像中的所有区域均作为候选区域，并在所述候选区域中确定所述目标区域。
举例而言，参考图7所示，本示例实施方式中，可以通过下述步骤S710至步骤S730在所述候选区域中确定所述目标区域。其中：
在步骤S710中，将所述目标图像划分为多个子区域，并将位于所述候选区域的子区域作为候选子区域。
例如，参考图8A所示，是待添加字幕的目标图像800；为了便于后续计算，本示例实施方式中可以将其划分为多个子区域。例如，参考图8B所示，可以将目标图像800划分为九宫格，得到9个子区域801～809。参考图8C所示，其中子区域804、805以及808包含人脸区域，因此可以将其排除得到候选区域，同时将候选区域中的子区域，即子区域801、802、803、806、807以及809作为候选子区域。此外，本公开的其他示例性实施例中，也可以通过其他方式划分子区域，例如划分为16个子区域或者其他数量的子区域；又例如，划分为三角形或者其他形状的子区域等。
在步骤S720中，分别计算各所述候选子区域的像素灰度值离散程度数据。
参考图8D所示，本示例实施方式中，如果目标图像为彩色图像，可以首先将目标图像转换为灰度图像。进而，对于每一所述候选子区域，可以计算该候选子区域的像素灰度值离散程度数据。以候选子区域802为例，可以通过候选子区域802的像素灰度值绝对离差D表征其像素灰度值离散程度；例如，
Figure BDA0002239787570000161
其中，n表示候选子区域802中像素的数量，
Figure BDA0002239787570000162
表示候选子区域802中所有像素灰度值的均值；xi表示候选子区域802中第i个像素的灰度值。
此外，在本公开的其他示例性实施例中，也可以通过其他统计数据表征像素灰度值离散程度；例如，对于候选子区域802，也可以通过平均绝对离差
Figure BDA0002239787570000163
表征其像素灰度值离散程度；还可以通过均方差
Figure BDA0002239787570000164
表征其像素灰度值离散程度等；这些均同样属于本公开的保护范围。
在步骤S730中，根据各所述候选子区域的像素灰度值离散程度数据，选取一个或多个所述候选子区域作为所述目标区域。
本示例实施方式中，可以选取像素灰度值离散程度最小的一个所述候选子区域作为目标区域；例如选择像素灰度值绝对离差或者像素灰度值均方差最小的一个候选子区域作为目标区域。
也可以是，选取像素灰度值离散程度最小的多个所述候选子区域作为目标区域；例如，选取像素灰度值离散程度最小的三个所述候选子区域，如果这三个候选子区域构成矩形，则可以将这三个候选子区域作为目标区域，如参考图8E所示，计算得到候选子区域801、候选子区域802以及候选子区域803的像素灰度值离散程度最小，且候选子区域801～803构成矩形，因此可以将候选子区域801～803作为目标区域810。
还可以是，选取像素灰度值离散程度最小的一个所述候选子区域及其相邻的一个或多个候选子区域作为目标区域。例如，可以选取像素灰度值离散程度最小的一个所述候选子区域作为第一子区域，并从与第一子区域相邻的所有候选子区域中选择像素灰度值离散程度最小一个的候选子区域作为第二子区域，从而将第一子区域与第二子区域作为目标区域；如以图8E为例，假设像素灰度值离散程度最小的一个候选子区域为候选子区域803，候选子区域802、以及806均与候选子区域803相邻，且候选子区域803的像素灰度值离散程度小于候选子区域806像素灰度值离散程度，则可以将候选子区域803与候选子区域802作为目标区域。
在确定目标区域之后，则可以根据所述目标区域的形状以及所述字幕文本的字符数量，确定所述字幕文本的排版布局。
例如，参考图8F所示，目标区域810为横向长度大于纵向长度的矩形，因此可以优选将字幕文本横向排版。同时，根据目标区域的大小以及字幕文本的字符数量，可以确定字幕文本的字号；根据目标区域的像素灰度均值，可以确定字幕文本的颜色及亮度；然后，可以通过预设样式模板来设置样式(如字体等)，例如，得到的结果可以如图8G所示；最后，结合上述步骤中得到的关键词的突出显示效果对关键词进行突出显示，得到如图8H所示的字幕添加效果。
又例如，参考图9A所示，目标图像900的目标区域910为横向长度小于纵向长度的矩形，因此可以优选将字幕文本纵向排版。同时，根据目标区域的大小以及字幕文本的字符数量，可以确定字幕文本的字号；根据目标区域的像素灰度均值，可以确定字幕文本的颜色及亮度；然后，可以通过预设样式模板来设置样式(如字体等)，例如，得到的结果可以如图9B所示；最后，结合上述步骤中得到的关键词的突出显示效果对关键词进行突出显示，得到如图9C所示的字幕添加效果。
本示例实施方式中，还提供了另一种字幕生成方法，该字幕生成方法应用于终端设备。参考图10所示，该字幕生成方法可以包括下述步骤S1010以及步骤S1020。其中：
在步骤S1010中，接收音频数据，并对所述音频数据进行语音识别以获取字幕文本。例如，参考图11A所示，用户在选择自动生成字幕之后，可以通过长按配音按钮的方式触发配音模式；在配音模式下，终端设备可以通过麦克风等拾音设备采集用户的语音，得到音频数据。参考图11B所示，服务器端将识别到的字幕文本返回至视频生成客户端，进而视频生成客户端可以实时的或非实时的在语音输入窗口将字幕文本呈现给用户。
在步骤S1020中，根据所述字幕文本生成目标字幕添加至目标图像，并对所述目标字幕中的关键词进行突出显示；其中，所述关键词的突出显示效果是根据所述关键词权重信息以及所述关键词对应的音频片段的声学特征参数确定。例如，参考图11B所示，根据字幕文本“无事献殷勤”生成目标字幕并添加至目标图像中。同时，基于字幕文本中各关键词的权重信息以及各关键词对应的音频片段的声学特征参数进行评估之后，确定对关键词“殷勤”进行突出显示。
下面结合具体应用场景对本示例实施方式中的上述字幕生成方法进行更加详细的说明。
参考图12所示，在步骤S1201中，用户可以在终端设备的视频生成客户端对视频文件进行配音；例如，继续参考上述图11A所示，用户在选择自动生成字幕之后，可以通过长按配音按钮的方式触发配音模式；在配音模式下，终端设备可以通过麦克风等拾音设备采集用户的语音，得到音频数据。在步骤S1202中，视频生成客户端可以将获取的音频数据上传至服务器端，进行语音识别，以获取字幕文本；继续参考图11B所示，服务器端将识别到的字幕文本返回至视频生成客户端，进而视频生成客户端可以实时的或非实时的在语音输入窗口将字幕文本呈现给用户。
在步骤S1203中，服务器端可以对字幕文本进行关键词提取并确定各关键词的权重信息，例如将“无事献殷勤”中的“无事”以及“殷勤”确定为关键词。在步骤S1204中，根据音频数据确定各所述关键词的声学特征参数；例如，根据关键词对应的音频片段的响度信息确定关键词的声学特征参数。在步骤S1205中，根据各关键词的权重信息以及声学特征参数，分别计算各关键词的综合权重值，并根据各所述关键词的综合权重值，确定关键词的突出显示效果；例如，将综合权重值最高一个的关键词进行突出显示，如确定对关键词“殷勤”进行突出显示。
在步骤S1206中，将视频文件的当前画面作为目标图像。在步骤S1207中，对目标图像进行人脸识别，确定人脸所在位置并将人脸位置之外的区域作为候选区域。在步骤S1208中，将所述目标图像进行九宫格划分得到9个子区域，并将位于候选区域内的子区域作为候选子区域。在步骤S1209中，计算候选子区域的像素灰度均值。在步骤S1210中，结合候选子区域的像素灰度均值，分别确定各候选子区域的像素灰度值离散程度。在步骤S1211中，选取像素灰度值离散程度最小的三个所述候选子区域。在步骤S1212中，判断被选取的三个所述候选子区域是否构成矩形。在步骤S1213中，如果被选取的三个所述候选子区域构成矩形，则可以将这三个候选子区域作为目标区域。在步骤S1214中，如果被选取的三个所述候选子区域未构成矩形，则可以通过备选方式确定目标区域；例如，可以选取像素灰度值离散程度最小的一个候选子区域作为第一子区域，并从与第一子区域相邻的所有候选子区域中选择像素灰度值离散程度最小一个的候选子区域作为第二子区域，从而将第一子区域与第二子区域作为目标区域。
在步骤S1215中，获取目标区域的形状以及平均灰度值。在步骤S1216中，将字幕文本在目标区域显示。在步骤S1217中，根据目标区域的形状以及平均灰度值确定字幕文本的基本样式，例如，确定字幕文本的字号以及基本颜色亮度等。在步骤S1218中，根据用户选择的样式模板对基本样式进行优化。在步骤S1219中，根据确定的突出显示效果显示关键词；如参考图11B所示，目标图像的上部区域被确定为目标区域，且关键词“殷勤”在字幕中被突出显示；即通过上述过程，完成了字幕“无事献殷勤”的添加。参考图11C所示，在配音模式下，用户如果继续说话，则会重复上述字幕生成过程，例如完成字幕“非常想打你”的添加。参考图11D所示，如果检测到目标区域已经无法显示更多的字幕，但用户还在说话，则可以保存已经添加了字幕“无事献殷勤，非常想打你”的目标图像；同时，清空目标图像的目标区域，重复上述字幕生成过程。
在步骤S1220中，在完成一个或多个目标图像的字幕添加过程之后，可以根据用户指令将被添加了字幕的目标图像以及对应的音频数据(可选)合成为视频文件。
基于上述示例实施方式中的字幕生成方法，用户仅需要输入语音数据，电子设备即可自动分析目标图像，确定用于添加字幕的目标区域；同时，会对语音数据进行识别，确定字幕文本以及字幕文本中关键词的突出显示效果；进而，在目标区域根据字幕文本以及字幕文本中关键词的突出显示效果自动完成字幕文本的排版布局，生成字幕。相比于现有技术，上述示例实施方式中的字幕生成方法极大的简化了用户的操作步骤，进而可以大幅度提升字幕添加的效率；例如，对于字幕位置一般不固定的幻灯片式视频文件，上述示例实施方式中的字幕生成方法尤其适用。此外，在上述示例实施方式中的字幕生成方法中，可以对字幕文本进行关键词提取，并根据关键词的权重信息以及声学特征参数，自动确定关键词的突出显示效果；进而可以根据字幕文本以及关键词的突出显示效果生成目标字幕。一方面，使得字幕除了传达文本内容之外，还可以通过关键词的突出显示在一定程度上传达文本内容之外的信息，例如，在一定程度上传达用户的情景信息等，从而可以提高字幕的信息内容丰富度；另一方面，由于字幕文本中的关键词被突出显示，因此可以辅助观众更加快速和准确的获取字幕文本传达的关键信息，从而提高字幕的信息传达效率以及信息传达准确程度。
应当注意，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。
进一步的，本示例实施方式中，还提供了基于人工智能的一种字幕生成装置。该字幕生成装置可以应用于一服务器或终端设备。参考图13所示，该字幕生成装置1300可以包括关键词提取模块1310、声学特征确定模块1320、显示效果确定模块1330以及字幕添加模块1340。其中：
关键词提取模块1310可以用于对字幕文本进行关键词提取并确定各所述关键词的权重信息；声学特征确定模块1320可以用于根据所述字幕文本对应的音频数据确定各所述关键词的声学特征参数；显示效果确定模块1330可以用于根据各所述关键词的权重信息以及声学特征参数，确定所述关键词的突出显示效果；字幕添加模块1340可以用于根据所述字幕文本以及所述字幕文本中所述关键词的突出显示效果生成目标字幕，并将所述目标字幕添加至目标图像。
在本公开的一种示例性实施例中，所述装置还可以包括：语音识别模块；所述语音识别模块可以用于对所述音频数据进行语音识别以获取所述字幕文本。
在本公开的一种示例性实施例中，所述关键词提取模块1310包括：
分词处理单元，可以用于对所述字幕文本进行分词处理，得到多个分词；
词频计算单元，可以用于计算各所述分词在所述字幕文本中的词频并获取各所述分词的逆文本频率指数；
分词权重计算单元，可以用于结合各所述分词的词频及逆文本频率指数计算各所述分词的权重信息；
关键词提取单元，可以用于根据各所述分词的权重信息，从所述分词中确定所述关键词以及所述关键词对应的权重信息。
在本公开的一种示例性实施例中，所述声学特征确定模块1320包括：
响度信息获取单元，可以用于获取所述音频数据中各所述关键词对应的音频片段的响度信息；
声学特征参数确定单元，可以用于对于每一所述关键词，根据该所述关键词对应的音频片段的响度信息确定该所述关键词的声学特征参数。
在本公开的一种示例性实施例中，显示效果确定模块1330包括：
综合权重值计算单元，可以用于根据各所述关键词的权重信息以及声学特征参数，分别计算各所述关键词的综合权重值；
显示效果确定单元，可以用于根据各所述关键词的综合权重值，确定所述关键词的突出显示效果。
在本公开的一种示例性实施例中，显示效果确定单元用于将综合权重值最高一个或多个的所述关键词进行突出显示；或者将综合权重值超过权重阈值的所述关键词进行突出显示。
在本公开的一种示例性实施例中，所述关键词的突出显示效果的强度与所述关键词的综合权重值正相关。
在本公开的一种示例性实施例中，所述字幕添加模块1340包括：
目标区域确定单元，可以用于对所述目标图像进行图像分析以确定用于添加字幕的目标区域；
字幕添加单元，可以用于将所述字幕添加至所述目标图像的所述目标区域。
在本公开的一种示例性实施例中，所述目标区域确定单元通过下述步骤确定用于添加字幕的目标区域：对所述目标图像进行识别，以确定指定对象在所述目标图像中的位置；将所述目标图像中，所述指定对象之外的位置作为候选区域；在所述候选区域中确定所述目标区域。
在本公开的一种示例性实施例中，所述目标区域确定单元通过下述步骤在所述候选区域中确定所述目标区域：将所述目标图像划分为多个子区域，并将位于所述候选区域的子区域作为候选子区域；分别计算各所述候选子区域的像素灰度值离散程度数据；根据各所述候选子区域的像素灰度值离散程度数据，选取一个或多个所述候选子区域作为所述目标区域。
在本公开的一种示例性实施例中，所述目标区域确定单元通过下述步骤选取一个或多个所述候选子区域作为所述目标区域：选取像素灰度值离散程度最小的一个或多个所述候选子区域作为目标区域；或者，选取像素灰度值离散程度最小的一个所述候选子区域及其相邻的一个或多个候选子区域作为目标区域。
在本公开的一种示例性实施例中，所述字幕添加模块1340还包括：
排版布局单元，可以用于根据所述目标区域的形状以及所述字幕文本的字符数量，确定所述字幕文本的排版布局。
上述字幕生成装置中各模块或单元的具体细节已经在对应的字幕生成方法中进行了详细的描述，因此此处不再赘述。
作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现如下述实施例中所述的方法。例如，所述的电子设备可以实现如图3～图12所示的各个步骤等。
需要说明的是，本公开所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (15)

1.一种字幕生成方法，其特征在于，包括：
对字幕文本进行关键词提取并确定各所述关键词的权重信息；
根据所述字幕文本对应的音频数据确定各所述关键词的声学特征参数；
根据各所述关键词的权重信息以及声学特征参数，确定所述关键词的突出显示效果；
根据所述字幕文本以及所述字幕文本中所述关键词的突出显示效果生成目标字幕，并将所述目标字幕添加至目标图像。
2.根据权利要求1所述的字幕生成方法，其特征在于，所述方法还包括：
对所述音频数据进行语音识别以获取所述字幕文本。
3.根据权利要求1所述的字幕生成方法，其特征在于，对字幕文本进行关键词提取并确定各所述关键词的权重信息，包括：
对所述字幕文本进行分词处理，得到多个分词；
计算各所述分词在所述字幕文本中的词频并获取各所述分词的逆文本频率指数；
结合各所述分词的词频及逆文本频率指数计算各所述分词的权重信息；
根据各所述分词的权重信息，从所述分词中确定所述关键词以及所述关键词对应的权重信息。
4.根据权利要求1所述的字幕生成方法，其特征在于，根据所述字幕文本对应的音频数据确定各所述关键词的声学特征参数，包括：
获取所述音频数据中各所述关键词对应的音频片段的响度信息；
对于每一所述关键词，根据该所述关键词对应的音频片段的响度信息确定该所述关键词的声学特征参数。
5.根据权利要求1所述的字幕生成方法，其特征在于，根据各所述关键词的权重信息以及声学特征参数，确定所述关键词的突出显示效果，包括：
根据各所述关键词的权重信息以及声学特征参数，分别计算各所述关键词的综合权重值；
根据各所述关键词的综合权重值，确定所述关键词的突出显示效果。
6.根据权利要求5所述的字幕生成方法，其特征在于，根据各所述关键词的综合权重值，确定所述关键词的突出显示效果，包括：
将综合权重值最高一个或多个的所述关键词进行突出显示；或者
将综合权重值超过权重阈值的所述关键词进行突出显示。
7.根据权利要求5所述的字幕生成方法，其特征在于，所述关键词的突出显示效果的强度与所述关键词的综合权重值正相关。
8.根据权利要求1所述的字幕生成方法，其特征在于，将所述目标字幕添加至目标图像，包括：
对所述目标图像进行图像分析以确定用于添加字幕的目标区域；
将所述字幕添加至所述目标图像的所述目标区域。
9.根据权利要求8所述的字幕生成方法，其特征在于，对所述目标图像进行图像分析以确定用于添加字幕的目标区域，包括：
对所述目标图像进行识别，以确定指定对象在所述目标图像中的位置；
将所述目标图像中，所述指定对象之外的位置作为候选区域；
在所述候选区域中确定所述目标区域。
10.根据权利要求9所述的字幕生成方法，其特征在于，在所述候选区域中确定所述目标区域，包括：
将所述目标图像划分为多个子区域，并将位于所述候选区域的子区域作为候选子区域；
分别计算各所述候选子区域的像素灰度值离散程度数据；
根据各所述候选子区域的像素灰度值离散程度数据，选取一个或多个所述候选子区域作为所述目标区域。
11.根据权利要求10所述的字幕生成方法，其特征在于，选取一个或多个所述候选子区域作为所述目标区域，包括：
选取像素灰度值离散程度最小的一个或多个所述候选子区域作为目标区域；或者，
选取像素灰度值离散程度最小的一个所述候选子区域及其相邻的一个或多个候选子区域作为目标区域。
12.根据权利要求8～11任意一项所述的字幕生成方法，其特征在于，将所述目标字幕添加至目标图像，包括：
根据所述目标区域的像素灰度均值，确定所述字幕文本的显示颜色；
根据所述目标区域的形状以及所述字幕文本的字符数量，确定所述字幕文本的排版布局。
13.一种字幕生成方法，其特征在于，包括：
接收音频数据，并对所述音频数据进行语音识别以获取字幕文本；
根据所述字幕文本生成目标字幕添加至目标图像，并对所述目标字幕中的关键词进行突出显示；
其中，所述关键词的突出显示效果是根据所述关键词权重信息以及所述关键词对应的音频片段的声学特征参数确定。
14.一种字幕生成装置，其特征在于，包括：
关键词提取模块，用于对字幕文本进行关键词提取并确定各所述关键词的权重信息；
声学特征确定模块，用于根据所述字幕文本对应的音频数据确定各所述关键词的声学特征参数；
显示效果确定模块，用于根据各所述关键词的权重信息以及声学特征参数，确定所述关键词的突出显示效果；
字幕添加模块，用于根据所述字幕文本以及所述字幕文本中所述关键词的突出显示效果生成目标字幕，并将所述目标字幕添加至目标图像。
15.一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1-13任一项所述的方法。
CN201910996249.5A 2019-10-18 2019-10-18 字幕生成方法及装置、电子设备 Active CN110798636B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910996249.5A CN110798636B (zh) 2019-10-18 2019-10-18 字幕生成方法及装置、电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910996249.5A CN110798636B (zh) 2019-10-18 2019-10-18 字幕生成方法及装置、电子设备

Publications (2)

Publication Number Publication Date
CN110798636A true CN110798636A (zh) 2020-02-14
CN110798636B CN110798636B (zh) 2022-10-11

Family

ID=69439424

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910996249.5A Active CN110798636B (zh) 2019-10-18 2019-10-18 字幕生成方法及装置、电子设备

Country Status (1)

Country Link
CN (1) CN110798636B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111601174A (zh) * 2020-04-26 2020-08-28 维沃移动通信有限公司 一种字幕添加方法及装置
CN111918000A (zh) * 2020-07-13 2020-11-10 咪咕视讯科技有限公司 一种描边方法、设备及可读存储介质
CN112347764A (zh) * 2020-11-05 2021-02-09 中国平安人寿保险股份有限公司 生成弹幕云的方法、装置和计算机设备
CN112395324A (zh) * 2020-11-09 2021-02-23 艾迪安逊教育科技发展(广州)有限公司 一种在线教育平台用大数据存储系统
CN112653919A (zh) * 2020-12-22 2021-04-13 维沃移动通信有限公司 字幕添加方法及装置
CN114007145A (zh) * 2021-10-29 2022-02-01 青岛海信传媒网络技术有限公司 一种字幕显示方法及显示设备
CN114138215A (zh) * 2020-09-04 2022-03-04 华为技术有限公司 一种显示方法及相关设备
US11934766B2 (en) 2020-07-28 2024-03-19 Huawei Technologies Co., Ltd. Always on display method and electronic device

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070048715A1 (en) * 2004-12-21 2007-03-01 International Business Machines Corporation Subtitle generation and retrieval combining document processing with voice processing
CN101950405A (zh) * 2010-08-10 2011-01-19 浙江大学 一种基于视频内容的水印添加方法
CN103414948A (zh) * 2013-08-01 2013-11-27 王强 一种视频的播放方法和装置
KR101390561B1 (ko) * 2013-02-15 2014-05-27 한양대학교 에리카산학협력단 자막 검출 방법 및 그 장치
CN104703043A (zh) * 2015-03-26 2015-06-10 努比亚技术有限公司 一种添加视频特效的方法和装置
US20160066055A1 (en) * 2013-03-24 2016-03-03 Igal NIR Method and system for automatically adding subtitles to streaming media content
CN106973244A (zh) * 2016-01-13 2017-07-21 奥多比公司 使用弱监督为图像配字幕
CN107943839A (zh) * 2017-10-30 2018-04-20 百度在线网络技术（北京）有限公司 基于图片和文字生成视频的方法、装置、设备及存储介质
US20180277142A1 (en) * 2017-03-23 2018-09-27 Intel Corporation Real time closed captioning or highlighting method and apparatus
CN109257659A (zh) * 2018-11-16 2019-01-22 北京微播视界科技有限公司 字幕添加方法、装置、电子设备及计算机可读存储介质
KR20190084809A (ko) * 2018-01-09 2019-07-17 삼성전자주식회사 전자 장치 및 전자 장치에 의한 자막 표현 방법

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070048715A1 (en) * 2004-12-21 2007-03-01 International Business Machines Corporation Subtitle generation and retrieval combining document processing with voice processing
CN101950405A (zh) * 2010-08-10 2011-01-19 浙江大学 一种基于视频内容的水印添加方法
KR101390561B1 (ko) * 2013-02-15 2014-05-27 한양대학교 에리카산학협력단 자막 검출 방법 및 그 장치
US20160066055A1 (en) * 2013-03-24 2016-03-03 Igal NIR Method and system for automatically adding subtitles to streaming media content
CN103414948A (zh) * 2013-08-01 2013-11-27 王强 一种视频的播放方法和装置
CN104703043A (zh) * 2015-03-26 2015-06-10 努比亚技术有限公司 一种添加视频特效的方法和装置
CN106973244A (zh) * 2016-01-13 2017-07-21 奥多比公司 使用弱监督为图像配字幕
AU2016256753A1 (en) * 2016-01-13 2017-07-27 Adobe Inc. Image captioning using weak supervision and semantic natural language vector space
US20180277142A1 (en) * 2017-03-23 2018-09-27 Intel Corporation Real time closed captioning or highlighting method and apparatus
CN107943839A (zh) * 2017-10-30 2018-04-20 百度在线网络技术（北京）有限公司 基于图片和文字生成视频的方法、装置、设备及存储介质
KR20190084809A (ko) * 2018-01-09 2019-07-17 삼성전자주식회사 전자 장치 및 전자 장치에 의한 자막 표현 방법
WO2019139301A1 (ko) * 2018-01-09 2019-07-18 삼성전자 주식회사 전자 장치 및 그 자막 표현 방법
CN109257659A (zh) * 2018-11-16 2019-01-22 北京微播视界科技有限公司 字幕添加方法、装置、电子设备及计算机可读存储介质

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111601174A (zh) * 2020-04-26 2020-08-28 维沃移动通信有限公司 一种字幕添加方法及装置
CN111918000A (zh) * 2020-07-13 2020-11-10 咪咕视讯科技有限公司 一种描边方法、设备及可读存储介质
CN111918000B (zh) * 2020-07-13 2023-08-15 咪咕视讯科技有限公司 一种描边方法、设备及可读存储介质
US11934766B2 (en) 2020-07-28 2024-03-19 Huawei Technologies Co., Ltd. Always on display method and electronic device
CN114138215A (zh) * 2020-09-04 2022-03-04 华为技术有限公司 一种显示方法及相关设备
CN112347764A (zh) * 2020-11-05 2021-02-09 中国平安人寿保险股份有限公司 生成弹幕云的方法、装置和计算机设备
CN112347764B (zh) * 2020-11-05 2024-05-07 中国平安人寿保险股份有限公司 生成弹幕云的方法、装置和计算机设备
CN112395324A (zh) * 2020-11-09 2021-02-23 艾迪安逊教育科技发展(广州)有限公司 一种在线教育平台用大数据存储系统
CN112395324B (zh) * 2020-11-09 2021-05-25 艾迪安逊教育科技发展(广州)有限公司 一种在线教育平台用大数据存储系统
CN112653919A (zh) * 2020-12-22 2021-04-13 维沃移动通信有限公司 字幕添加方法及装置
CN112653919B (zh) * 2020-12-22 2023-03-14 维沃移动通信有限公司 字幕添加方法及装置
CN114007145A (zh) * 2021-10-29 2022-02-01 青岛海信传媒网络技术有限公司 一种字幕显示方法及显示设备

Also Published As

Publication number Publication date
CN110798636B (zh) 2022-10-11

Similar Documents

Publication Publication Date Title
CN110798636B (zh) 字幕生成方法及装置、电子设备
CN108898186B (zh) 用于提取图像的方法和装置
CN107492379B (zh) 一种声纹创建与注册方法及装置
CN111260754B (zh) 人脸图像编辑方法、装置和存储介质
CN110795925B (zh) 基于人工智能的图文排版方法、图文排版装置及电子设备
CN111597779B (zh) 文本生成方法、装置、设备以及存储介质
CN111026861A (zh) 文本摘要的生成方法、训练方法、装置、设备及介质
CN111723784A (zh) 一种风险视频识别方法、装置和电子设备
CN110465089B (zh) 基于图像识别的地图探索方法、装置、介质及电子设备
KR20200059993A (ko) 웹툰 제작을 위한 콘티를 생성하는 장치 및 방법
CN111653270B (zh) 语音处理方法、装置、计算机可读存储介质及电子设备
CN116993876B (zh) 生成数字人形象的方法、装置、电子设备及存储介质
CN112188306A (zh) 一种标签生成方法、装置、设备及存储介质
CN110263218A (zh) 视频描述文本生成方法、装置、设备和介质
Abdulsalam et al. Emotion recognition system based on hybrid techniques
CN116977457A (zh) 一种数据处理方法、设备以及计算机可读存储介质
KR20210047467A (ko) 이미지 다중 캡션 자동 생성 방법 및 시스템
CN114049290A (zh) 图像处理方法、装置、设备及存储介质
CN114359775A (zh) 关键帧检测方法、装置、设备及存储介质、程序产品
KR20230062251A (ko) 텍스트 기반의 문서분류 방법 및 문서분류 장치
CN117152308B (zh) 一种虚拟人动作表情优化方法与系统
CN117252947A (zh) 图像处理方法、装置、计算机、存储介质及程序产品
CN116703797A (zh) 图像融合方法、图像融合系统、计算机设备及存储介质
CN116645683A (zh) 基于提示学习的签名笔迹鉴别方法、系统及存储介质
CN113360630B (zh) 交互信息提示方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40021147

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant