CN113033357A - 基于口型特征的字幕调整方法以及装置 - Google Patents

基于口型特征的字幕调整方法以及装置 Download PDF

Info

Publication number
CN113033357A
CN113033357A CN202110267541.0A CN202110267541A CN113033357A CN 113033357 A CN113033357 A CN 113033357A CN 202110267541 A CN202110267541 A CN 202110267541A CN 113033357 A CN113033357 A CN 113033357A
Authority
CN
China
Prior art keywords
lip
time
curve
preset
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110267541.0A
Other languages
English (en)
Other versions
CN113033357B (zh
Inventor
卢启伟
刘善果
刘胜强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Eaglesoul Technology Co Ltd
Original Assignee
Shenzhen Eaglesoul Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Eaglesoul Technology Co Ltd filed Critical Shenzhen Eaglesoul Technology Co Ltd
Priority to CN202110267541.0A priority Critical patent/CN113033357B/zh
Publication of CN113033357A publication Critical patent/CN113033357A/zh
Application granted granted Critical
Publication of CN113033357B publication Critical patent/CN113033357B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/635—Overlay text, e.g. embedded captions in a TV program
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Geometry (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Studio Circuits (AREA)

Abstract

本公开是关于一种基于口型特征的字幕调整方法、装置、电子设备以及存储介质。其中，该方法包括：基于图像识别述视频中发言人的唇部定位；选取唇部的预设唇部区域，生成基于时间变化的预设唇部区域唇部所占面积的时序曲线；基于预设拟合算法生成拟合曲线；基于所述字幕信息及所述字幕信息对应的标准口型信息生成基于字幕展示时间变化的预设唇部区域唇部所占面积的标准曲线，将所述标准曲线和拟合曲线对比，并根据对比结果调整所述字幕信息的展示时间。本公开通过基于唇部特征区域唇部占比面积统计的方式，开创性的实现了音频字幕与图像画面的时间匹配，极大的提高了用户体验。

Description

基于口型特征的字幕调整方法以及装置
技术领域
本公开涉及互联网领域，具体而言，涉及一种基于口型特征的字幕调整方法、装置、电子设备以及计算机可读存储介质。
背景技术
字幕(subtitles of motion picture)是指以文字形式显示电视、电影、舞台作品中的对话等非影像内容，也泛指影视作品后期加工的文字。在电影银幕或电视机荧光屏下方出现的解说文字以及种种文字，如影片的片名、演职员表、唱词、对白、说明词以有人物介绍、地名和年代等都称为字幕。影视作品的对话字幕，一般出现在屏幕下方，而戏剧作品的字幕，则可能显示于舞台两旁或上方。
视频字幕是为了理解视频内容而产生的辅助工具，随着互联网的发展，视频字幕的配备越来越重要。视频字幕自动生成包括提取课程视频的音频流、音频流断句切分、语音识别、格式文本文件生成等技术原理。中文语音识别过程包括特征参数提取、声学模型、语言模型和模式匹配四个部分。现有技术中，字幕识别运用到的相关技术包括MFCC、HMM和N-gram等技术及其相关算法进行中文语音识别，MFCC特征参数提取方法、HMM声学模型及其相关算法以及N-gram语言模型及平滑处理方法。针对中文发音规则，以声母和韵母为音素，结合卡内基梅隆大学开发的sphinx语音识别系统，进行声学建模、语言建模及字典构建。通过建立语料库、研究sphinx语音识别系统及设计开发字幕生成系统三个步骤，实现了字幕自动生成。随着无线网络、短视频的快速发展，基于用户语音的字幕自动生成技术越来越成熟，极大的方便的视频录制者，也提高了视频观众的观看体验。
然而，由于音频直接转化的字幕是与音频的时间戳对应的，但是由于现有视频录制过程中，由于音频采集设备与音像同步算法不同步等问题，常会出现通过音频直接转化的字幕与实际的视频图像画面不匹配的情况，特别是一些在线教育等单一主讲人的视频中，字幕时间失之毫厘谬以千里，对观众的观看、教学体验会有很大的影响。
因此，需要一种或多种方法解决上述问题。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开的目的在于提供一种基于口型特征的字幕调整方法、装置、电子设备以及计算机可读存储介质，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的一个或者多个问题。
根据本公开的一个方面，提供一种基于口型特征的字幕调整方法，包括：
基于对包含字幕信息的视频进行图像识别，完成对所述视频中发言人的唇部定位；
选取唇部的预设唇部区域，对所述预设唇部区域中唇部所占面积进行统计并与时间戳对应，生成基于时间变化的预设唇部区域唇部所占面积的时序曲线；
基于预设拟合算法对所述基于时间变化的预设唇部区域唇部所占面积的时序曲线进行拟合，生成拟合曲线；
基于所述字幕信息及所述字幕信息对应的标准口型信息生成基于字幕展示时间变化的预设唇部区域唇部所占面积的标准曲线，将所述标准曲线和拟合曲线对比，并根据对比结果调整所述字幕信息的展示时间。
在本公开的一种示例性实施例中，所述基于对包含字幕信息的视频进行图像识别，完成对所述视频中发言人的唇部定位还包括：
基于对包含字幕信息的视频进行图像识别，完成对所述视频中发言人的面部定位；
基于面部特征值查找唇部区域，完成对所述视频中发言人的唇部定位。
在本公开的一种示例性实施例中，所述方法预设唇部区域为：
唇部活跃区域中预设比例长度和宽度的矩形区域。
在本公开的一种示例性实施例中，所述选取唇部的预设唇部区域，对所述预设唇部区域中唇部所占面积进行统计并与时间戳对应，生成基于时间变化的预设唇部区域唇部所占面积的时序曲线还包括：
所述选取唇部的预设唇部区域，对视频全部播放时间内所述预设唇部区域中唇部所占面积进行统计并与时间戳对应，生成基于时间变化的预设唇部区域唇部所占面积的全时时序曲线；
所述选取唇部的预设唇部区域，对视频部分播放时间内对所述预设唇部区域中唇部所占面积进行统计并与时间戳对应，生成基于时间变化的预设唇部区域唇部所占面积的分时时序曲线。
在本公开的一种示例性实施例中，所述方法还包括：
若在所述包含字幕信息的视频内超过预设时长未检测到发言人或未实现发言人面部/唇部定位，则对所述时序曲线进行分段，生成分时时序曲线。
在本公开的一种示例性实施例中，所述预设拟合算法为：
f(t)＝c1+c2g(a1，a2，a3，a4，a5)；
其中，f(t)为时序曲线，g(a1，a2，a3，a4，a5)为高斯函数，a1为决定最大值和最小值所在整条时序曲线的位置，c1和c2为控制整条曲线的基准及振幅，a4、a5和a2、a3分别为控制曲线左、右部分的宽度及斜率；
Figure BDA0002972828950000041
其中，F(t)为拟合曲线，[tL，tR]表示时序曲线中待拟合部分的取值区间范围，fL(t)、fC(t)和fR(t)分别为该区间[tL，tR]内左边最小值、中间最大值及右边最小值所对应的局部拟合函数，α(t)和β(t)分别为介于0到1之间的剪切系数。
在本公开的一种示例性实施例中，所述基于预设拟合算法对所述基于时间变化的预设唇部区域唇部所占面积的时序曲线进行拟合前，还包括对所述时序曲线进行滤波处理：
Figure BDA0002972828950000042
其中，
Figure BDA0002972828950000043
Sj+1分别滤波后及滤波前时序曲线中预设唇部区域中唇部所占面积，Ci为第i个唇部所占面积滤波过程系数，2m为滤波窗口宽度，N为滤波去长度，等于滑动数组的宽度2m+1。
在本公开的一种示例性实施例中，所述方法还包括：
根据所述标准曲线的基值及幅值与所述拟合曲线滑动比较，根据在所述拟合曲线坐标轴上滑动长度，确定所述字幕信息调整时间；
根据所述字幕信息调整时间对所述字幕信息的展示时间进行调整。
在本公开的一种示例性实施例中，所述方法还包括：
将所述拟合曲线按照预设时长分段，生成分段拟合曲线；
根据所述标准曲线的基值及幅值与所述分段拟合曲线滑动比较，根据在所述分段拟合曲线坐标轴上滑动长度，确定所述字幕信息调整时间；
根据所述字幕信息调整时间对所述字幕信息的展示时间进行调整。
在本公开的一个方面，提供一种基于口型特征的字幕调整装置，包括：
唇部定位模块，用于基于对包含字幕信息的视频进行图像识别，完成对所述视频中发言人的唇部定位；
时序曲线生成模块，用于选取唇部的预设唇部区域，对所述预设唇部区域中唇部所占面积进行统计并与时间戳对应，生成基于时间变化的预设唇部区域唇部所占面积的时序曲线；
拟合曲线生成模块，用于基于预设拟合算法对所述基于时间变化的预设唇部区域唇部所占面积的时序曲线进行拟合，生成拟合曲线；
字幕信息调整模块，用于基于所述字幕信息及所述字幕信息对应的标准口型信息生成基于字幕展示时间变化的预设唇部区域唇部所占面积的标准曲线，将所述标准曲线和拟合曲线对比，并根据对比结果调整所述字幕信息的展示时间。
在本公开的一种示例性实施例中，所述装置还包括：
所述唇部定位模块，还用于基于对包含字幕信息的视频进行图像识别，完成对所述视频中发言人的面部定位；基于面部特征值查找唇部区域，完成对所述视频中发言人的唇部定位。
在本公开的一种示例性实施例中，所述装置还包括：
所述装置预设唇部区域为唇部活跃区域中预设比例长度和宽度的矩形区域。
在本公开的一种示例性实施例中，所述装置还包括：
所述时序曲线生成模块，还用于所述选取唇部的预设唇部区域，对视频全部播放时间内所述预设唇部区域中唇部所占面积进行统计并与时间戳对应，生成基于时间变化的预设唇部区域唇部所占面积的全时时序曲线；
所述时序曲线生成模块，还用于所述选取唇部的预设唇部区域，对视频部分播放时间内对所述预设唇部区域中唇部所占面积进行统计并与时间戳对应，生成基于时间变化的预设唇部区域唇部所占面积的分时时序曲线。
在本公开的一种示例性实施例中，所述装置还包括：
所述时序曲线生成模块，还用于若在所述包含字幕信息的视频内超过预设时长未检测到发言人或未实现发言人面部/唇部定位，则对所述时序曲线进行分段，生成分时时序曲线。
在本公开的一种示例性实施例中，所述装置还包括：
所述拟合曲线生成模块，还用于根据所述标准曲线的基值及幅值与所述拟合曲线滑动比较，根据在所述拟合曲线坐标轴上滑动长度，确定所述字幕信息调整时间；
所述拟合曲线生成模块，还用于根据所述字幕信息调整时间对所述字幕信息的展示时间进行调整。
在本公开的一种示例性实施例中，所述装置还包括：
所述拟合曲线生成模块，还用于将所述拟合曲线按照预设时长分段，生成分段拟合曲线；根据所述标准曲线的基值及幅值与所述分段拟合曲线滑动比较，根据在所述分段拟合曲线坐标轴上滑动长度，确定所述字幕信息调整时间；根据所述字幕信息调整时间对所述字幕信息的展示时间进行调整。
在本公开的一个方面，提供一种电子设备，包括：
处理器；以及
存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时实现根据上述任意一项所述的方法。
在本公开的一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现根据上述任意一项所述的方法。
本公开的示例性实施例中的基于口型特征的字幕调整方法，其中，该方法包括：基于图像识别述视频中发言人的唇部定位；选取唇部的预设唇部区域，生成基于时间变化的预设唇部区域唇部所占面积的时序曲线；基于预设拟合算法生成拟合曲线；基于所述字幕信息及所述字幕信息对应的标准口型信息生成基于字幕展示时间变化的预设唇部区域唇部所占面积的标准曲线，将所述标准曲线和拟合曲线对比，并根据对比结果调整所述字幕信息的展示时间。本公开通过基于唇部特征区域唇部占比面积统计的方式，开创性的实现了音频字幕与图像画面的时间匹配，极大的提高了用户体验。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
通过参照附图来详细描述其示例实施例，本公开的上述和其它特征及优点将变得更加明显。
图1示出了根据本公开一示例性实施例的基于口型特征的字幕调整方法的流程图；
图2示出了根据本公开一示例性实施例的基于口型特征的字幕调整方法的应用场景示意图；
图3A-3D示出了根据本公开一示例性实施例的基于口型特征的字幕调整方法的应用场景示意图；
图4示出了根据本公开一示例性实施例的基于口型特征的字幕调整装置的示意框图；
图5示意性示出了根据本公开一示例性实施例的电子设备的框图；以及
图6示意性示出了根据本公开一示例性实施例的计算机可读存储介质的示意图。
具体实施方式
现在将参考附图更全面地描述示例实施例。然而，示例实施例能够以多种形式实施，且不应被理解为限于在此阐述的实施例；相反，提供这些实施例使得本公开将全面和完整，并将示例实施例的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。
此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本公开的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而没有所述特定细节中的一个或更多，或者可以采用其它的方法、组元、材料、装置、步骤等。在其它情况下，不详细示出或描述公知结构、方法、装置、实现、材料或者操作以避免模糊本公开的各方面。
附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个软件硬化的模块中实现这些功能实体或功能实体的一部分，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
在本示例实施例中，首先提供了一种基于口型特征的字幕调整方法；参考图1中所示，该基于口型特征的字幕调整方法可以包括以下步骤：
步骤S110，基于对包含字幕信息的视频进行图像识别，完成对所述视频中发言人的唇部定位；
步骤S120，选取唇部的预设唇部区域，对所述预设唇部区域中唇部所占面积进行统计并与时间戳对应，生成基于时间变化的预设唇部区域唇部所占面积的时序曲线；
步骤S130，基于预设拟合算法对所述基于时间变化的预设唇部区域唇部所占面积的时序曲线进行拟合，生成拟合曲线；
步骤S140，基于所述字幕信息及所述字幕信息对应的标准口型信息生成基于字幕展示时间变化的预设唇部区域唇部所占面积的标准曲线，将所述标准曲线和拟合曲线对比，并根据对比结果调整所述字幕信息的展示时间。
本公开的示例性实施例中的基于口型特征的字幕调整方法，其中，该方法包括：基于图像识别述视频中发言人的唇部定位；选取唇部的预设唇部区域，生成基于时间变化的预设唇部区域唇部所占面积的时序曲线；基于预设拟合算法生成拟合曲线；基于所述字幕信息及所述字幕信息对应的标准口型信息生成基于字幕展示时间变化的预设唇部区域唇部所占面积的标准曲线，将所述标准曲线和拟合曲线对比，并根据对比结果调整所述字幕信息的展示时间。本公开通过基于唇部特征区域唇部占比面积统计的方式，开创性的实现了音频字幕与图像画面的时间匹配，极大的提高了用户体验。
下面，将对本示例实施例中的基于口型特征的字幕调整方法进行进一步的说明。
字幕(subtitles of motion picture)是指以文字形式显示电视、电影、舞台作品中的对话等非影像内容，也泛指影视作品后期加工的文字。在电影银幕或电视机荧光屏下方出现的解说文字以及种种文字，如影片的片名、演职员表、唱词、对白、说明词以有人物介绍、地名和年代等都称为字幕。影视作品的对话字幕，一般出现在屏幕下方，而戏剧作品的字幕，则可能显示于舞台两旁或上方。
视频字幕是为了理解视频内容而产生的辅助工具，随着互联网的发展，视频字幕的配备越来越重要。视频字幕自动生成包括提取课程视频的音频流、音频流断句切分、语音识别、格式文本文件生成等技术原理。中文语音识别过程包括特征参数提取、声学模型、语言模型和模式匹配四个部分。现有技术中，字幕识别运用到的相关技术包括MFCC、HMM和N-gram等技术及其相关算法进行中文语音识别，MFCC特征参数提取方法、HMM声学模型及其相关算法以及N-gram语言模型及平滑处理方法。针对中文发音规则，以声母和韵母为音素，结合卡内基梅隆大学开发的sphinx语音识别系统，进行声学建模、语言建模及字典构建。通过建立语料库、研究sphinx语音识别系统及设计开发字幕生成系统三个步骤，实现了字幕自动生成。随着无线网络、短视频的快速发展，基于用户语音的字幕自动生成技术越来越成熟，极大的方便的视频录制者，也提高了视频观众的观看体验。
然而，由于音频直接转化的字幕是与音频的时间戳对应的，但是由于现有视频录制过程中，由于音频采集设备与音像同步算法不同步等问题，常会出现通过音频直接转化的字幕与实际的视频图像画面不匹配的情况，特别是一些在线教育等单一主讲人的视频中，字幕时间失之毫厘谬以千里，对观众的观看、教学体验会有很大的影响。
在步骤S110中，可以基于对包含字幕信息的视频进行图像识别，完成对所述视频中发言人的唇部定位。
在本示例的实施例中，所述基于对包含字幕信息的视频进行图像识别，完成对所述视频中发言人的唇部定位还包括：
基于对包含字幕信息的视频进行图像识别，完成对所述视频中发言人的面部定位；
基于面部特征值查找唇部区域，完成对所述视频中发言人的唇部定位。
在步骤S120中，可以选取唇部的预设唇部区域，对所述预设唇部区域中唇部所占面积进行统计并与时间戳对应，生成基于时间变化的预设唇部区域唇部所占面积的时序曲线。
在本示例的实施例中，如图2所示，为对某视频图像中发言人的唇部定位后，选取预设唇部区域的示意图，所选区域为唇部动作活跃区域，在此区域中唇部的占比面积的变化，能够较大程度的还原用户的发音状态，虽然不能实现对用户基于口型的识别，但是可以通过此区域中唇部占比，快速准确的实现对用户发音的核实。同时，由于选取的预设唇部区域当唇部动作时，空白区域包含牙齿，与唇部的色差明显，容易进行基于图像识别的唇部占比面积的统计。
在本示例的实施例中，所述方法预设唇部区域为：
唇部活跃区域中预设比例长度和宽度的矩形区域。
在本示例的实施例中，所述选取唇部的预设唇部区域，对所述预设唇部区域中唇部所占面积进行统计并与时间戳对应，生成基于时间变化的预设唇部区域唇部所占面积的时序曲线还包括：
所述选取唇部的预设唇部区域，对视频全部播放时间内所述预设唇部区域中唇部所占面积进行统计并与时间戳对应，生成基于时间变化的预设唇部区域唇部所占面积的全时时序曲线；
所述选取唇部的预设唇部区域，对视频部分播放时间内对所述预设唇部区域中唇部所占面积进行统计并与时间戳对应，生成基于时间变化的预设唇部区域唇部所占面积的分时时序曲线。
在本示例的实施例中，所述方法还包括：
若在所述包含字幕信息的视频内超过预设时长未检测到发言人或未实现发言人面部/唇部定位，则对所述时序曲线进行分段，生成分时时序曲线。
在本示例的实施例中，由于视频特性，常出现一段时间的视频画面中没有发言人，或者发言人的唇部在视频中显示的现象，所以就需要对所述视频进行分段处理，生成分时时序曲线。
在本示例的实施例中，如图3A所示，为根据某视频生成的基于时间变化的预设唇部区域唇部所占面积的时序曲线。
在步骤S130中，可以基于预设拟合算法对所述基于时间变化的预设唇部区域唇部所占面积的时序曲线进行拟合，生成拟合曲线。
如图3B所示，为根据某视频生成的基于时间变化的预设唇部区域唇部所占面积的时序曲线，经过预设拟合算法拟合后，生成的拟合曲线示意图。
在本示例的实施例中，所述预设拟合算法为：
f(t)＝c1+c2g(a1，a2，a3，a4，a5)；
其中，f(t)为时序曲线，g(a1，a2，a3，a4，a5)为高斯函数，a1为决定最大值和最小值所在整条时序曲线的位置，c1和c2为控制整条曲线的基准及振幅，a4、a5和a2、a3分别为控制曲线左、右部分的宽度及斜率；
Figure BDA0002972828950000121
其中，F(t)为拟合曲线，[tL，tR]表示时序曲线中待拟合部分的取值区间范围，fL(t)、fC(t)和fR(t)分别为该区间[tL，tR]内左边最小值、中间最大值及右边最小值所对应的局部拟合函数，α(t)和β(t)分别为介于0到1之间的剪切系数。
在本示例的实施例中，所述基于预设拟合算法对所述基于时间变化的预设唇部区域唇部所占面积的时序曲线进行拟合前，还包括对所述时序曲线进行滤波处理：
Figure BDA0002972828950000122
其中，
Figure BDA0002972828950000123
Sj+1分别滤波后及滤波前时序曲线中预设唇部区域中唇部所占面积，Ci为第i个唇部所占面积滤波过程系数，2m为滤波窗口宽度，N为滤波去长度，等于滑动数组的宽度2m+1。
在步骤S140中，可以基于所述字幕信息及所述字幕信息对应的标准口型信息生成基于字幕展示时间变化的预设唇部区域唇部所占面积的标准曲线，将所述标准曲线和拟合曲线对比，并根据对比结果调整所述字幕信息的展示时间。
在本示例的实施例中，如图3C所示，为基于所述字幕信息及所述字幕信息对应的标准口型信息生成基于字幕展示时间变化的预设唇部区域唇部所占面积的标准曲线示意图，将所述标准曲线和拟合曲线对比，并根据对比结果调整所述字幕信息的展示时间。
在本示例的实施例中，所述方法还包括：
根据所述标准曲线的基值及幅值与所述拟合曲线滑动比较，根据在所述拟合曲线坐标轴上滑动长度，确定所述字幕信息调整时间；
根据所述字幕信息调整时间对所述字幕信息的展示时间进行调整。
在本示例的实施例中，如图3D所示，为根据所述标准曲线的基值及幅值与所述拟合曲线滑动比较的示意图，由图可知，经比较，所述标准曲线和拟合曲线需要在所述拟合曲线坐标轴上向前滑动3秒，所以，通过将所述字幕信息的展示时间向前调整3秒，实现对字幕信息和视频图像的匹配。
在本示例的实施例中，所述方法还包括：
将所述拟合曲线按照预设时长分段，生成分段拟合曲线；
根据所述标准曲线的基值及幅值与所述分段拟合曲线滑动比较，根据在所述分段拟合曲线坐标轴上滑动长度，确定所述字幕信息调整时间；
根据所述字幕信息调整时间对所述字幕信息的展示时间进行调整。
需要说明的是，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。
此外，在本示例实施例中，还提供了一种基于口型特征的字幕调整装置。参照图4所示，该基于口型特征的字幕调整装置400可以包括：唇部定位模块410、时序曲线生成模块420、拟合曲线生成模块430以及字幕信息调整模块440。其中：
唇部定位模块410，用于基于对包含字幕信息的视频进行图像识别，完成对所述视频中发言人的唇部定位；
时序曲线生成模块420，用于选取唇部的预设唇部区域，对所述预设唇部区域中唇部所占面积进行统计并与时间戳对应，生成基于时间变化的预设唇部区域唇部所占面积的时序曲线；
拟合曲线生成模块430，用于基于预设拟合算法对所述基于时间变化的预设唇部区域唇部所占面积的时序曲线进行拟合，生成拟合曲线；
字幕信息调整模块440，用于基于所述字幕信息及所述字幕信息对应的标准口型信息生成基于字幕展示时间变化的预设唇部区域唇部所占面积的标准曲线，将所述标准曲线和拟合曲线对比，并根据对比结果调整所述字幕信息的展示时间。
在本示例的实施例中，所述装置还包括：
所述唇部定位模块，还用于基于对包含字幕信息的视频进行图像识别，完成对所述视频中发言人的面部定位；基于面部特征值查找唇部区域，完成对所述视频中发言人的唇部定位。
在本示例的实施例中，所述装置还包括：
所述装置预设唇部区域为唇部活跃区域中预设比例长度和宽度的矩形区域。
在本示例的实施例中，所述装置还包括：
所述时序曲线生成模块，还用于所述选取唇部的预设唇部区域，对视频全部播放时间内所述预设唇部区域中唇部所占面积进行统计并与时间戳对应，生成基于时间变化的预设唇部区域唇部所占面积的全时时序曲线；
所述时序曲线生成模块，还用于所述选取唇部的预设唇部区域，对视频部分播放时间内对所述预设唇部区域中唇部所占面积进行统计并与时间戳对应，生成基于时间变化的预设唇部区域唇部所占面积的分时时序曲线。
在本示例的实施例中，所述装置还包括：
所述时序曲线生成模块，还用于若在所述包含字幕信息的视频内超过预设时长未检测到发言人或未实现发言人面部/唇部定位，则对所述时序曲线进行分段，生成分时时序曲线。
在本示例的实施例中，所述装置还包括：
所述拟合曲线生成模块，还用于根据所述标准曲线的基值及幅值与所述拟合曲线滑动比较，根据在所述拟合曲线坐标轴上滑动长度，确定所述字幕信息调整时间；
所述拟合曲线生成模块，还用于根据所述字幕信息调整时间对所述字幕信息的展示时间进行调整。
在本示例的实施例中，所述装置还包括：
所述拟合曲线生成模块，还用于将所述拟合曲线按照预设时长分段，生成分段拟合曲线；根据所述标准曲线的基值及幅值与所述分段拟合曲线滑动比较，根据在所述分段拟合曲线坐标轴上滑动长度，确定所述字幕信息调整时间；根据所述字幕信息调整时间对所述字幕信息的展示时间进行调整。
上述中各基于口型特征的字幕调整装置模块的具体细节已经在对应的基于口型特征的字幕调整方法中进行了详细的描述，因此此处不再赘述。
应当注意，尽管在上文详细描述中提及了基于口型特征的字幕调整装置400的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
此外，在本公开的示例性实施例中，还提供了一种能够实现上述方法的电子设备。
所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施例、完全的软件实施例(包括固件、微代码等)，或硬件和软件方面结合的实施例，这里可以统称为“电路”、“模块”或“系统”。
下面参照图5来描述根据本发明的这种实施例的电子设备500。图5显示的电子设备500仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图5所示，电子设备500以通用计算设备的形式表现。电子设备500的组件可以包括但不限于：上述至少一个处理单元510、上述至少一个存储单元520、连接不同系统组件(包括存储单元520和处理单元510)的总线530、显示单元540。
其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元510执行，使得所述处理单元510执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施例的步骤。例如，所述处理单元510可以执行如图1中所示的步骤S110至步骤S140。
存储单元520可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)5201和/或高速缓存存储单元5202，还可以进一步包括只读存储单元(ROM)5203。
存储单元520还可以包括具有一组(至少一个)程序模块5203的程序/实用工具5204，这样的程序模块5205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线550可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备500也可以与一个或多个外部设备570(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备500交互的设备通信，和/或与使得该电子设备500能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口550进行。并且，电子设备500还可以通过网络适配器560与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器560通过总线550与电子设备500的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备500使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施例的描述，本领域的技术人员易于理解，这里描述的示例实施例可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施例的方法。
在本公开的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施例中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施例的步骤。
参考图6所示，描述了根据本发明的实施例的用于实现上述方法的程序产品600，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
此外，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。

Claims (18)

1.一种基于口型特征的字幕调整方法，其特征在于，所述方法包括：
基于对包含字幕信息的视频进行图像识别，完成对所述视频中发言人的唇部定位；
选取唇部的预设唇部区域，对所述预设唇部区域中唇部所占面积进行统计并与时间戳对应，生成基于时间变化的预设唇部区域唇部所占面积的时序曲线；
基于预设拟合算法对所述基于时间变化的预设唇部区域唇部所占面积的时序曲线进行拟合，生成拟合曲线；
基于所述字幕信息及所述字幕信息对应的标准口型信息生成基于字幕展示时间变化的预设唇部区域唇部所占面积的标准曲线，将所述标准曲线和拟合曲线对比，并根据对比结果调整所述字幕信息的展示时间。
2.如权利要求1所述的方法，其特征在于，所述基于对包含字幕信息的视频进行图像识别，完成对所述视频中发言人的唇部定位还包括：
基于对包含字幕信息的视频进行图像识别，完成对所述视频中发言人的面部定位；
基于面部特征值查找唇部区域，完成对所述视频中发言人的唇部定位。
3.如权利要求1所述的方法，其特征在于，所述方法预设唇部区域为：
唇部活跃区域中预设比例长度和宽度的矩形区域。
4.如权利要求1所述的方法，其特征在于，所述选取唇部的预设唇部区域，对所述预设唇部区域中唇部所占面积进行统计并与时间戳对应，生成基于时间变化的预设唇部区域唇部所占面积的时序曲线还包括：
所述选取唇部的预设唇部区域，对视频全部播放时间内所述预设唇部区域中唇部所占面积进行统计并与时间戳对应，生成基于时间变化的预设唇部区域唇部所占面积的全时时序曲线；
所述选取唇部的预设唇部区域，对视频部分播放时间内对所述预设唇部区域中唇部所占面积进行统计并与时间戳对应，生成基于时间变化的预设唇部区域唇部所占面积的分时时序曲线。
5.如权利要求4所述的方法，其特征在于，所述方法还包括：
若在所述包含字幕信息的视频内超过预设时长未检测到发言人或未实现发言人面部/唇部定位，则对所述时序曲线进行分段，生成分时时序曲线。
6.如权利要求1所述的方法，其特征在于，所述预设拟合算法为：
f(t)＝c1+c2g(a1，a2，a3，a4，a5)；
其中，f(t)为时序曲线，g(a1，a2，a3，a4，a5)为高斯函数，a1为决定最大值和最小值所在整条时序曲线的位置，c1和c2为控制整条曲线的基准及振幅，a4、a5和a2、a3分别为控制曲线左、右部分的宽度及斜率；
Figure FDA0002972828940000021
其中，F(t)为拟合曲线，[tL，tR]表示时序曲线中待拟合部分的取值区间范围，fL(t)、fC(t)和fR(t)分别为该区间[tL，tR]内左边最小值、中间最大值及右边最小值所对应的局部拟合函数，α(t)和β(t)分别为介于0到1之间的剪切系数。
7.如权利要求1所述的方法，其特征在于，所述基于预设拟合算法对所述基于时间变化的预设唇部区域唇部所占面积的时序曲线进行拟合前，还包括对所述时序曲线进行滤波处理：
Figure FDA0002972828940000022
其中，
Figure FDA0002972828940000023
Sj+1分别滤波后及滤波前时序曲线中预设唇部区域中唇部所占面积，Ci为第i个唇部所占面积滤波过程系数，2m为滤波窗口宽度，N为滤波去长度，等于滑动数组的宽度2m+1。
8.如权利要求1所述的方法，其特征在于，所述方法还包括：
根据所述标准曲线的基值及幅值与所述拟合曲线滑动比较，根据在所述拟合曲线坐标轴上滑动长度，确定所述字幕信息调整时间；
根据所述字幕信息调整时间对所述字幕信息的展示时间进行调整。
9.如权利要求8所述的方法，其特征在于，所述方法还包括：
将所述拟合曲线按照预设时长分段，生成分段拟合曲线；
根据所述标准曲线的基值及幅值与所述分段拟合曲线滑动比较，根据在所述分段拟合曲线坐标轴上滑动长度，确定所述字幕信息调整时间；
根据所述字幕信息调整时间对所述字幕信息的展示时间进行调整。
10.一种基于口型特征的字幕调整装置，其特征在于，所述装置包括：
唇部定位模块，用于基于对包含字幕信息的视频进行图像识别，完成对所述视频中发言人的唇部定位；
时序曲线生成模块，用于选取唇部的预设唇部区域，对所述预设唇部区域中唇部所占面积进行统计并与时间戳对应，生成基于时间变化的预设唇部区域唇部所占面积的时序曲线；
拟合曲线生成模块，用于基于预设拟合算法对所述基于时间变化的预设唇部区域唇部所占面积的时序曲线进行拟合，生成拟合曲线；
字幕信息调整模块，用于基于所述字幕信息及所述字幕信息对应的标准口型信息生成基于字幕展示时间变化的预设唇部区域唇部所占面积的标准曲线，将所述标准曲线和拟合曲线对比，并根据对比结果调整所述字幕信息的展示时间。
11.如权利要求10所述的装置，其特征在于，所述装置还包括：
所述唇部定位模块，还用于基于对包含字幕信息的视频进行图像识别，完成对所述视频中发言人的面部定位；基于面部特征值查找唇部区域，完成对所述视频中发言人的唇部定位。
12.如权利要求10所述的装置，其特征在于，所述装置还包括：
所述装置预设唇部区域为唇部活跃区域中预设比例长度和宽度的矩形区域。
13.如权利要求10所述的装置，其特征在于，所述装置还包括：
所述时序曲线生成模块，还用于所述选取唇部的预设唇部区域，对视频全部播放时间内所述预设唇部区域中唇部所占面积进行统计并与时间戳对应，生成基于时间变化的预设唇部区域唇部所占面积的全时时序曲线；
所述时序曲线生成模块，还用于所述选取唇部的预设唇部区域，对视频部分播放时间内对所述预设唇部区域中唇部所占面积进行统计并与时间戳对应，生成基于时间变化的预设唇部区域唇部所占面积的分时时序曲线。
14.如权利要求10所述的装置，其特征在于，所述装置还包括：
所述时序曲线生成模块，还用于若在所述包含字幕信息的视频内超过预设时长未检测到发言人或未实现发言人面部/唇部定位，则对所述时序曲线进行分段，生成分时时序曲线。
15.如权利要求10所述的装置，其特征在于，所述装置还包括：
所述拟合曲线生成模块，还用于根据所述标准曲线的基值及幅值与所述拟合曲线滑动比较，根据在所述拟合曲线坐标轴上滑动长度，确定所述字幕信息调整时间；
所述拟合曲线生成模块，还用于根据所述字幕信息调整时间对所述字幕信息的展示时间进行调整。
16.如权利要求15所述的装置，其特征在于，所述装置还包括：
所述拟合曲线生成模块，还用于将所述拟合曲线按照预设时长分段，生成分段拟合曲线；根据所述标准曲线的基值及幅值与所述分段拟合曲线滑动比较，根据在所述分段拟合曲线坐标轴上滑动长度，确定所述字幕信息调整时间；根据所述字幕信息调整时间对所述字幕信息的展示时间进行调整。
17.一种电子设备，其特征在于，包括
处理器；以及
存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时实现根据权利要求1至9中任一项所述的方法。
18.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现根据权利要求1至9中任一项所述方法。
CN202110267541.0A 2021-03-11 2021-03-11 基于口型特征的字幕调整方法以及装置 Active CN113033357B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110267541.0A CN113033357B (zh) 2021-03-11 2021-03-11 基于口型特征的字幕调整方法以及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110267541.0A CN113033357B (zh) 2021-03-11 2021-03-11 基于口型特征的字幕调整方法以及装置

Publications (2)

Publication Number Publication Date
CN113033357A true CN113033357A (zh) 2021-06-25
CN113033357B CN113033357B (zh) 2024-02-20

Family

ID=76469926

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110267541.0A Active CN113033357B (zh) 2021-03-11 2021-03-11 基于口型特征的字幕调整方法以及装置

Country Status (1)

Country Link
CN (1) CN113033357B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113490058A (zh) * 2021-08-20 2021-10-08 云知声（上海）智能科技有限公司 一种应用于影视后期的智能字幕匹配系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001095631A2 (en) * 2000-06-09 2001-12-13 British Broadcasting Corporation Generation subtitles or captions for moving pictures
FR2915820A1 (fr) * 2007-05-03 2008-11-07 Oreal Procede d'evaluation d'une typologie de levres et systeme d'evaluation pour la mise en oeuvre d'un tel procede
JP2011211528A (ja) * 2010-03-30 2011-10-20 Fa System Engineering Kk ３ｄ字幕制作装置
CN105100647A (zh) * 2015-07-31 2015-11-25 深圳市金立通信设备有限公司 一种校正字幕的方法及终端
CN108419141A (zh) * 2018-02-01 2018-08-17 广州视源电子科技股份有限公司 一种字幕位置调整的方法、装置、存储介质及电子设备
CN109951652A (zh) * 2019-03-20 2019-06-28 合肥科塑信息科技有限公司 一种人像语音视频同步校准装置及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001095631A2 (en) * 2000-06-09 2001-12-13 British Broadcasting Corporation Generation subtitles or captions for moving pictures
FR2915820A1 (fr) * 2007-05-03 2008-11-07 Oreal Procede d'evaluation d'une typologie de levres et systeme d'evaluation pour la mise en oeuvre d'un tel procede
JP2011211528A (ja) * 2010-03-30 2011-10-20 Fa System Engineering Kk ３ｄ字幕制作装置
CN105100647A (zh) * 2015-07-31 2015-11-25 深圳市金立通信设备有限公司 一种校正字幕的方法及终端
CN108419141A (zh) * 2018-02-01 2018-08-17 广州视源电子科技股份有限公司 一种字幕位置调整的方法、装置、存储介质及电子设备
CN109951652A (zh) * 2019-03-20 2019-06-28 合肥科塑信息科技有限公司 一种人像语音视频同步校准装置及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
LUCAS C. VILLA REAL 等: "Dynamic Adjustment of Subtitles Using Audio Fingerprints", 《MM \'15: PROCEEDINGS OF THE 23RD ACM INTERNATIONAL CONFERENCE ON MULTIMEDIA》, pages 975 *
朱铮宇: "语音唇动关联性分析方法研究及其在录音回放检测中的应用", 《中国博士学位论文全文数据库 (信息科技辑)》, no. 05, pages 138 - 20 *
汪森明;管业鹏;邹雪妹;: "一种新颖鲁棒的嘴唇轮廓提取方法", 传感技术学报, no. 06, pages 2687 - 2689 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113490058A (zh) * 2021-08-20 2021-10-08 云知声（上海）智能科技有限公司 一种应用于影视后期的智能字幕匹配系统

Also Published As

Publication number Publication date
CN113033357B (zh) 2024-02-20

Similar Documents

Publication Publication Date Title
US11849196B2 (en) Automatic data extraction and conversion of video/images/sound information from a slide presentation into an editable notetaking resource with optional overlay of the presenter
US20210056251A1 (en) Automatic Data Extraction and Conversion of Video/Images/Sound Information from a Board-Presented Lecture into an Editable Notetaking Resource
KR100828166B1 (ko) 동영상의 음성 인식과 자막 인식을 통한 메타데이터 추출방법, 메타데이터를 이용한 동영상 탐색 방법 및 이를기록한 기록매체
US11012486B2 (en) Personalized video playback
CN111526382B (zh) 一种直播视频文本生成方法、装置、设备及存储介质
US20200286396A1 (en) Following teaching system having voice evaluation function
US6505153B1 (en) Efficient method for producing off-line closed captions
KR101990023B1 (ko) 외국어학습을 위한 청크단위 분리 규칙과 핵심어 자동 강세 표시 구현 방법 및 시스템
Hong et al. Dynamic captioning: video accessibility enhancement for hearing impairment
US7046300B2 (en) Assessing consistency between facial motion and speech signals in video
JP2007519987A (ja) 内部及び外部オーディオビジュアルデータの統合解析システム及び方法
JP2004533756A (ja) 自動コンテンツ分析及びマルチメデイア・プレゼンテーションの表示
CN113450774B (zh) 一种训练数据的获取方法及装置
CN111885416B (zh) 一种音视频的修正方法、装置、介质及计算设备
CN113035199B (zh) 音频处理方法、装置、设备及可读存储介质
CN108012173A (zh) 一种内容识别方法、装置、设备和计算机存储介质
EP4322029A1 (en) Method and apparatus for generating video corpus, and related device
Álvarez et al. Automating live and batch subtitling of multimedia contents for several European languages
CN111954064B (zh) 音视频同步方法和装置
Yang et al. An automated analysis and indexing framework for lecture video portal
EP3839953A1 (en) Automatic caption synchronization and positioning
KR101389730B1 (ko) 동영상 파일의 주제별 분할 위치 생성 방법
CN113033357B (zh) 基于口型特征的字幕调整方法以及装置
CN109858005A (zh) 基于语音识别的文档更新方法、装置、设备及存储介质
CN113923479A (zh) 音视频剪辑方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant