CN110210310B - 一种视频处理方法、装置和用于视频处理的装置 - Google Patents
一种视频处理方法、装置和用于视频处理的装置 Download PDFInfo
- Publication number
- CN110210310B CN110210310B CN201910365358.7A CN201910365358A CN110210310B CN 110210310 B CN110210310 B CN 110210310B CN 201910365358 A CN201910365358 A CN 201910365358A CN 110210310 B CN110210310 B CN 110210310B
- Authority
- CN
- China
- Prior art keywords
- lip
- image sequence
- video
- sequence
- lip image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/48—Matching video sequences
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明实施例提供了一种视频处理方法、装置和用于视频处理的装置。其中的方法具体包括：对视频进行图像处理，以得到所述视频对应的唇部图像序列；根据所述唇部图像序列，生成所述唇部图像序列对应的内容；其中，所述唇部图像序列对应的内容至少包括如下任意一种：所述唇部图像序列对应的语音信息、所述唇部图像序列对应的文本信息；输出所述唇部图像序列对应的内容。本发明实施例可以还原视频中唇部图像序列对应的语音信息和/或文本信息，以再现视频中人物的说话内容，为用户带来极大的便利。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及一种视频处理方法、装置和用于视频处理的装置。
背景技术
随着计算机技术的发展，视频在用户的生活中得到了广泛的应用。并且，为了满足用户的娱乐需求，出现了越来越多的视频作品，如电影(微电影)、电视剧、动画等。
然而，在实际应用中，可能由于各种原因造成视频的声音损坏，导致视频只有图像没有声音，在这种情况下，用户无法获知视频中的说话内容。
发明内容
本发明实施例提供一种视频处理方法、装置和用于视频处理的装置，可以对视频的说话声音进行恢复，以使用户可以获知声音已损坏的视频中的说话内容。
为了解决上述问题，本发明实施例公开了一种视频处理方法，所述方法包括：
对视频进行图像处理，以得到所述视频对应的唇部图像序列；
根据所述唇部图像序列，生成所述唇部图像序列对应的内容；其中，所述唇部图像序列对应的内容至少包括如下任意一种：所述唇部图像序列对应的语音信息、所述唇部图像序列对应的文本信息；
输出所述唇部图像序列对应的内容。
另一方面，本发明实施例公开了一种视频处理装置，所述装置包括：
图像处理模块，用于对视频进行图像处理，以得到所述视频对应的唇部图像序列；
内容生成模块，用于根据所述唇部图像序列，生成所述唇部图像序列对应的内容；其中，所述唇部图像序列对应的内容至少包括如下任意一种：所述唇部图像序列对应的语音信息、所述唇部图像序列对应的文本信息；
内容输出模块，用于输出所述唇部图像序列对应的内容。
再一方面，本发明实施例公开了一种用于视频处理的装置，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令：
对视频进行图像处理，以得到所述视频对应的唇部图像序列；
根据所述唇部图像序列，生成所述唇部图像序列对应的内容；其中，所述唇部图像序列对应的内容至少包括如下任意一种：所述唇部图像序列对应的语音信息、所述唇部图像序列对应的文本信息；
输出所述唇部图像序列对应的内容。
又一方面，本发明实施例公开了一种机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得装置执行如前述一个或多个所述的视频处理方法。
本发明实施例包括以下优点：
本发明实施例可以对视频进行图像处理，以得到所述视频对应的唇部图像序列；并且根据所述唇部图像序列，生成所述唇部图像序列对应的内容，例如所述唇部图像序列对应的语音信息和/或文本信息，以及输出所述唇部图像序列对应的内容。通过本发明实施例，可以还原视频中唇部图像序列对应的语音信息和/或文本信息，以再现视频中人物的说话内容，为用户带来极大的便利。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明的一种视频处理方法实施例的步骤流程图；
图2是本发明的一种视频处理装置实施例的结构框图；
图3是本发明的一种用于视频处理的装置800的框图；及
图4是本发明的一些实施例中服务器的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
方法实施例
参照图1，示出了本发明的一种视频处理方法实施例的步骤流程图，具体可以包括如下步骤：
步骤101、对视频进行图像处理，以得到所述视频对应的唇部图像序列；
步骤102、根据所述唇部图像序列，生成所述唇部图像序列对应的内容；其中，所述唇部图像序列对应的内容至少包括如下任意一种：所述唇部图像序列对应的语音信息、所述唇部图像序列对应的文本信息；
步骤103、输出所述唇部图像序列对应的内容。
本发明实施例的视频处理方法可用于对包含唇部图像序列的视频，恢复视频中的内容，如恢复所述唇部图像序列对应的语音信息、或者所述唇部图像序列对应的文本信息。例如，在视频没有声音或者声音损坏的情况下，可以恢复视频中的说话声音，使得用户可以获取声音损坏的视频中的说话内容，为用户带来便利。又如，在视频监控领域，可以根据视频中的唇部图像序列，还原所述唇部图像序列对应的语音信息和/或文本信息，以再现视频中人物的说话内容，进而可以为视频监控提供更丰富的信息以及更有力的证据。例如，对于校园内的视频监控场景，通过本发明实施例获取的视频中唇部图像序列对应的内容，可以判断校园内是否存在老师对孩子进行言语暴力的情况。或者，对于小区或者公共场所内的视频监控场景，如发生冲突或者纠纷，通过本发明实施例获取的视频中唇部图像序列对应的内容，可以判断争执过程中的是非责任。可以理解，本发明实施例可用于任意设置有视频监控系统的场所。
所述视频处理方法可运行于电子设备，所述电子设备包括但不限于：服务器、智能手机、平板电脑、电子书阅读器、MP3(动态影像专家压缩标准音频层面3，Moving PictureExperts Group Audio Layer III)播放器、MP4(动态影像专家压缩标准音频层面4，MovingPicture Experts Group Audio Layer IV)播放器、膝上型便携计算机、车载电脑、台式计算机、机顶盒、智能电视机、可穿戴设备等等。
可以理解，本发明实施例对所述视频的具体来源不加以限制，例如，所述视频可以是所述电子设备中存储的用户视频，也可以是从网上下载的网络视频，还可以是通过所述电子设备的摄像头实时拍摄得到的视频等。
具体地，本发明实施例首先可以检测视频中是否包含唇部图像，如果包含唇部图像，则对视频进行图像处理，以得到所述视频对应的唇部图像序列，所述唇部图像序列中可以包含至少一帧唇部图像。
在确定视频对应的唇部图像序列之后，可以根据所述唇部图像序列，生成所述唇部图像序列对应的语音信息或者文本信息。可以理解，本发明实施例对生成唇部图像序列对应的语音信息或者文本信息的具体方式不加以限制，例如，可以先将唇部图像序列转换为中间信息，如字符串或者自定义的语义信息等，然后再将中间信息转换为语音信息或者文本信息；或者，可以先将唇部图像序列转换为文本信息，再将文本信息转换为对应的语音信息；或者，直接将唇部图像序列转换为语音信息或者文本信息等。
在本发明的一种可选实施例中，所述根据所述唇部图像序列，生成所述唇部图像序列对应的内容，具体可以包括：
步骤S11、对所述唇部图像序列进行唇语识别，以得到所述唇部图像序列对应的文本信息；
步骤S12、对所述文本信息进行语音合成，生成所述唇部图像序列对应的语音信息。
在本发明实施例中，优选地，先对所述唇部图像序列进行唇语识别，将所述唇部图像序列转换为对应的文本信息，再对所述文本信息进行语音合成，将所述文本信息转换为语音信息，进而可以得到所述唇部图像序列对应的语音信息。
在本发明的一种可选实施例中，在生成所述唇部图像序列对应的语音信息之后，所述方法还可以包括：对所述语音信息与所述视频进行匹配合成，生成新的音视频文件。
具体地，在生成所述唇部图像序列对应的语音信息和/或文本信息之后，可以输出所述语音信息和/或文本信息。可选地，本发明实施例还可以对所述语音信息与所述视频进行匹配合成，生成新的音视频文件。在所述新的音视频文件中，所述语音信息与所述唇部图像序列相匹配，进而可以得到既包含图像，又包含声音的音视频文件。当然，本发明实施例还可以将所述文本信息也合成在所述视频中，以得到包含图像、声音、以及文本的音视频文件。
在本发明的一种可选实施例中，所述对视频进行图像处理，以得到所述视频对应的唇部图像序列，具体可以包括：
步骤S21、对所述视频的图像帧逐帧进行图像检测，以确定所述图像帧中是否包含唇部区域以及唇部区域的位置；
步骤S22、根据包含唇部区域的图像帧、以及所述唇部区域在图像帧中的位置，确定所述视频对应的唇部图像序列。
具体地，本发明实施例可以将视频解码成一帧一帧的图像帧，进而可以对所述视频的图像帧逐帧进行图像检测，以确定图像帧中是否包含唇部区域以及唇部区域的位置。
可以理解，本发明实施例对确定图像帧中是否包含唇部区域的具体方式不加以限制，例如，可以对图像帧进行关键点检测，如果图像帧中包含符合唇部特征的唇部关键特征点，则可以确定图像帧中包含唇部区域，并且可以根据唇部关键特征点的位置确定唇部区域的位置。
或者，还可以先对图像帧进行人脸检测，若检测到图像帧中包含人脸区域，则可以确定该图像帧中也包含唇部区域。若检测到图像帧中包含人脸区域，则可以进一步根据人脸区域的位置确定该人脸区域中唇部区域的位置。其中，对图像帧进行人脸检测的过程，可以采用已有的任意人脸检测方法，由于人脸检测方法为常规技术手段，此处不再进行赘述。
根据包含唇部区域的图像帧、以及所述唇部区域在图像帧中的位置，即可得到所述视频对应的唇部图像序列。
需要说明的是，由于人在说话时头部通常不会大幅度晃动，因此，在视频连续的图像帧中，同一个人脸的唇部区域位置是大致相同的。为了提高唇部区域检测的效率，本发明实施例还可以根据前一个或者前M个图像帧的唇部区域位置，确定当前图像帧的唇部区域位置。其中，M为正整数。可选地，可以对前一个或者前M个图像帧的唇部区域的位置范围增大一定比例，根据增大后的区域范围，确定当前帧的唇部区域位置，以减少由于头部位移导致唇部区域位置产生的误差。
由于根据前一个或者前M个图像帧的唇部区域位置，确定当前图像帧的唇部区域位置，可以缩小检测唇部区域的范围，因此，可以提高检测唇部区域的效率，进而可以提高视频处理的效率。
在本发明的一种可选实施例中，所述对所述唇部图像序列进行唇语识别，以得到所述唇部图像序列对应的文本信息，具体可以包括：
步骤S31、确定所述唇部图像序列对应的至少一个字符序列；
步骤S32、根据语言模型，对所述至少一个字符序列进行解码，以得到所述唇部图像序列对应的文本信息。
在得到所述视频对应的唇部图像序列之后，可以确定所述唇部图像序列对应的至少一个字符序列。所述字符为文本信息的基本组成单位，例如，在中文里，所述字符可以为汉字，在英文里，所述字符可以为单词。为便于描述，本发明实施例中均以中文为例进行说明，其它语言的应用场景相互参照即可。
在本发明的一种可选实施例中，所述确定所述唇部图像序列对应的至少一个字符序列，具体可以包括：
步骤S41、根据所述唇部图像序列中各唇部图像的唇部关键特征点，确定所述唇部图像序列对应的唇形变化序列；
步骤S42、根据唇形与音素之间的对应关系，确定所述唇形变化序列对应的音素序列；
步骤S43、根据发音规则，确定所述音素序列对应的至少一个字符序列。
具体地，在对图像帧进行图像检测，确定图像帧的唇部区域的过程中，可以得到图像帧中的唇部关键特征点，根据所述唇部关键特征点对应的特征值可以确定唇部的唇形，进而可以根据各唇部图像的唇部关键特征点，确定所述唇部图像序列对应的唇形变化序列。
在具体应用中，音素是最小的发音单元，以中文为例，发音单元可以包括：段落、句子、词语、字。段落由句子组成，句子由词组成，词由字组成，字由音素组成，在中文里，音素可以包括拼音中的声母和韵母，其中，声母共21个，分别为：b、p、m、f、d、t、n、l、g、k、h、j、q、x、zh、ch、sh、r、z、c、s。韵母共24个，其中，单韵母6个，分别为：a、o、e、i、u、ü；复韵母18个，分别是：ai、ei、ui、ao、ou、iu、ie、üe、er、an、en、in、un、ün、ang、eng、ing、ong。
以句子为例，一个句子可以对应一个音素序列，一个句子的发音可以对应一个唇形变化序列，本发明实施例可以根据唇形与音素之间的对应关系，确定所述唇形变化序列对应的音素序列，进而可以根据发音规则，确定所述音素序列对应的至少一个字符序列，例如，可以根据中文拼音的发音规则，得到该音素序列对应的拼音序列，从而可以得到该拼音序列对应的至少一个字符序列。例如，音素序列“xinggaocailie”，可以对应如下字符序列：“姓高采烈”、“兴高采烈”及“杏糕采烈”等。
在本发明的一种可选实施例中，所述确定所述唇部图像序列对应的至少一个字符序列，具体可以包括：根据唇语识别模型，确定所述唇部图像序列对应的至少一个字符序列；其中，所述唇语识别模型为根据唇部图像样本训练得到的深层神经网络模型。
可选地，本发明实施例可以将所述唇部图像序列输入唇语识别模型，所述唇语识别模型可以根据所述唇部图像序列，得到对应的唇形变化序列，并且识别所述唇形变化序列对应的至少一个字符序列。
本发明实施例可以收集大量的说话视频，获取说话视频中人物说话过程中的唇部图像，并且标记唇部关键特征点，作为训练唇语识别模型的样本数据，根据所述样本数据以及机器学习方法，对现有的神经网络进行训练得到唇语识别模型。
所述唇语识别模型可以是融合了多种神经网络的分类模型。所述神经网络包括但不限于以下的至少一种或者至少两种的组合、叠加、嵌套：CNN(Convolutional NeuralNetwork，卷积神经网络)、LSTM(Long Short-Term Memory，长短时记忆)网络、RNN(SimpleRecurrent Neural Network，循环神经网络)、注意力神经网络等。可以理解，本发明实施例对所述唇语识别模型的类型以及训练方法不加以限制。
由于相同或者相近的唇形可能对应不同的发音，因此，一个唇部图像序列可能对应一个或者多个字符序列，本发明实施例可以根据语言模型，对所述至少一个字符序列进行解码，以得到所述唇部图像序列对应的文本信息。
其中，语言模型可以表示为字符串s的概率分布p(s)，这里的p(s)实际上反映的是s作为一个句子出现的概率。常用的语言模型包括统计语言模型和神经语言模型，本发明实施例以统计语言模型为例进行说明，其它语言模型相互参照即可。
在本发明实施例中，所述统计语言模型具体可以包括：上下文无关模型、N元文法模型(N-gram Model)、隐马尔科夫模型(HMM，Hidden Markov Model)、最大熵模型(MaximumEntropy Model)、循环神经网络模型(RNN，Recurrent Neural Networks Model)。其中，上下文无关模型可以不依赖于上下文环境，N元文法模型、HMM模型、最大熵模型、RMM模型等需要依赖于上下文环境，N元文法模型、HMM模型、最大熵模型、RMM模型使用的机器学习方法不同，HMM模型、最大熵模型、RMM模型所使用的机器学习方法不仅考虑了预置语料(也即训练文本)之间的联系，而且使用了训练文本的时序特性；而N元文法模型可以不考虑训练文本之间的联系，其中，N为大于等于2的正整数。
本发明实施例可以通过语言模型，对至少一个字符序列可组成的多条路径进行打分，将路径得分最高的句子作为解码结果，也即所述唇部图像序列对应的文本信息，所述文本信息可以为字、词、句子、段落等。
在本发明的一种可选实施例中，在对所述唇部图像序列进行唇语识别之前，所述方法还可以包括：确定所述唇部图像序列对应的语言种类；
所述文本信息以及所述语音信息与所述语言种类相对应。
为了提高唇语识别的准确性，本发明实施例还可以确定所述唇部图像序列对应的语言种类，在后续的唇语识别过程中，可以将唇部图像序列转换为与识别的语言种类相匹配的文本信息，进而可以得到该文本信息对应的该语言种类的语音信息。例如，可以根据不同语言种类的用户在说话过程中的唇部特征，确定唇部图像序列对应的语言种类，或者，还可以收集不同语言种类的用户说话视频，并且对收集的用户说话视频中的唇部关键特征点进行标注，得到用于训练语言识别模型的样本数据，训练语言识别模型，根据语言识别模型确定唇部图像序列对应的语言种类。可以理解，本发明实施例对确定唇部图像序列对应语言种类的具体方式不加以限制。
此外，在具体应用中，视频中还可能会出现多种语言混合表达的情况。以中文和英文混合表达为例，在使用中文进行表达的过程中，可以穿插使用英文词句。例如，“我买了最新款的iPhone”、“来一首Yesterday once more”。本发明实施例可以在唇语识别过程中，识别唇部图像序列对应的语言种类，根据识别的语言种类，切换唇语识别模型以及解码网络的种类，例如，如果识别当前的唇部图像序列对应的语言种类为中文，则可以采用中文的唇语识别模型，确定该唇部图像序列对应的至少一个字符序列，以及根据中文的解码网络，确定该至少一个字符序列对应的文本信息，进而可以得到该文本信息对应的中文语音信息；再如，如果识别到当前的唇部图像序列对应的语言种类为英文，则可以采用英文的唇语识别模型，确定该唇部图像序列对应的至少一个字符序列，以及根据英文的解码网络，确定该至少一个字符序列对应的文本信息，进而可以得到该文本信息对应的英文语音信息。
由此，通过本发明实施例，可以根据多语言混合的说话内容中的语言类型，准确得到多语言混合的语音信息，以提高恢复的说话内容的准确性。
可以理解，在具体应用中，可以根据唇部图像序列，自动识别语言种类，也可以增加语言种类设置界面，以使用户可以通过手动设置的方式确定语言种类。
在本发明的一种可选实施例中，在将所述文本信息对应的语音信息合成到所述视频中之前，所述方法还可以包括：获取所述文本信息对应的语音信息。
本发明实施例可以采用已有的语音合成方法，获取所述文本信息对应的语音信息。例如，所述电子设备可以将所述文本信息发送至语音合成系统进行语音合成，以生成所述文本信息对应的语音信息，具体地，语音合成系统可以采用波形拼接的合成方法，将录制好的声音片段按照文本信息进行拼接，得到文本信息对应的语音信息。可以理解，所述语音信息可以为任意格式的音频数据。
在本发明的一种可选实施例中，所述将所述文本信息对应的语音信息合成到所述视频中，以使所述语音信息与所述唇部图像序列相匹配，具体可以包括：
步骤S51、确定所述唇部图像序列在所述视频中的时间边界信息；
步骤S52、将所述语音信息按照所述时间边界信息合成到所述视频中，以使所述语音信息与所述唇部图像序列相匹配。
在本发明实施例中，在检测到当前图像帧中包含唇部区域时，可以获取该图像帧在视频中的时间信息，并且将该时间信息记为起始时间，以及获取该图像帧之后包含与该图像帧相同唇部特征的连续图像帧中的最后一帧图像的时间信息，将该时间信息作为结束时间，根据该起始时间和结束时间，可以得到所述唇部图像序列的时间边界信息，进而可以将该唇部图像序列对应的语音信息按照所述时间边界信息对齐至所述视频中，以使所述语音信息与所述唇部图像序列相匹配。
当然，在具体应用中，还可以生成一个与所述视频时间长度相同的音频文件，在所述音频文件中，包含所述视频中的唇部图像序列对应的语音信息，且该语音信息的时间与所述唇部图像序列在所述视频中的时间相对应，这样，在播放视频的同时，播放所述音频文件，即可实现同步播放所述视频中的说话声音。
在本发明的一种可选实施例中，在得到所述唇部图像序列对应的文本信息之后，所述方法还可以包括：
根据所述唇部图像序列的时间边界信息，在所述视频中，显示所述文本信息。
在本发明实施例中，除了可以将所述语音信息合成到所述视频中，使用户可以听到该视频中的说话内容之外，还可以在所述视频中，同步显示唇部图像序列对应的文本信息。也即，本发明实施例可以根据视频画面，同步显示画面中人物的说话内容，例如，以字幕的形式将所述文本信息显示在画面的下方。由此得到的视频可以同时包括图像、声音以及文字，可以为用户提供更加丰富的内容，以增加用户体验。
综上，本发明实施例可以对视频进行图像处理，以得到所述视频对应的唇部图像序列；并且根据所述唇部图像序列，生成所述唇部图像序列对应的内容，例如所述唇部图像序列对应的语音信息和/或文本信息，以及输出所述唇部图像序列对应的内容。通过本发明实施例，可以还原视频中唇部图像序列对应的语音信息和/或文本信息，以再现视频中人物的说话内容，为用户带来极大的便利。
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
装置实施例
参照图2，示出了本发明的一种视频处理装置实施例的结构框图，所述装置具体可以包括：
图像处理模块201，用于对视频进行图像处理，以得到所述视频对应的唇部图像序列；
内容生成模块202，用于根据所述唇部图像序列，生成所述唇部图像序列对应的内容；其中，所述唇部图像序列对应的内容至少包括如下任意一种：所述唇部图像序列对应的语音信息、所述唇部图像序列对应的文本信息；
内容输出模块203，用于输出所述唇部图像序列对应的内容。
可选地，所述内容生成模块202，具体可以包括：
唇语识别模块202，用于对所述唇部图像序列进行唇语识别，以得到所述唇部图像序列对应的文本信息；
语音生成模块，用于对所述文本信息进行语音合成，生成所述唇部图像序列对应的语音信息。
可选地，所述装置还可以包括：
语音合成模块，用于对所述语音信息与所述视频进行匹配合成，生成新的音视频文件。
可选地，所述图像处理模块201，具体可以包括：
唇部检测子模块，用于对所述视频的图像帧逐帧进行图像检测，以确定所述图像帧中是否包含唇部区域以及唇部区域的位置；
图像确定子模块，用于根据包含唇部区域的图像帧、以及所述唇部区域在图像帧中的位置，确定所述视频对应的唇部图像序列。
可选地，所述唇语识别模块，具体可以包括：
字符确定子模块，用于确定所述唇部图像序列对应的至少一个字符序列；
字符解码子模块，用于根据语言模型，对所述至少一个字符序列进行解码，以得到所述唇部图像序列对应的文本信息。
可选地，所述字符确定子模块，具体可以包括：
唇形确定单元，用于根据所述唇部图像序列中各唇部图像的唇部关键特征点，确定所述唇部图像序列对应的唇形变化序列；
音素确定单元，用于根据唇形与音素之间的对应关系，确定所述唇形变化序列对应的音素序列；
第一确定单元，用于根据发音规则，确定所述音素序列对应的至少一个字符序列。
可选地，所述字符确定子模块，具体可以包括：
第二确定单元，用于根据唇语识别模型，确定所述唇部图像序列对应的至少一个字符序列；其中，所述唇语识别模型为根据唇部图像样本训练得到的深层神经网络模型。
可选地，所述装置还可以包括：
语言确定模块，用于确定所述唇部图像序列对应的语言种类；
所述文本信息以及所述语音信息与所述语言种类相对应。
可选地，所述语音合成模块，具体可以包括：
时间确定子模块，用于确定所述唇部图像序列在所述视频中的时间边界信息；
时间对齐子模块，用于将所述语音信息按照所述时间边界信息合成到所述视频中，生成新的音视频文件。
可选地，所述装置还可以包括：
文本显示模块，用于根据所述唇部图像序列的时间边界信息，在所述视频中，显示所述文本信息。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本发明实施例提供了一种用于视频处理的装置，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令：对视频进行图像处理，以得到所述视频对应的唇部图像序列；根据所述唇部图像序列，生成所述唇部图像序列对应的内容；其中，所述唇部图像序列对应的内容至少包括如下任意一种：所述唇部图像序列对应的语音信息、所述唇部图像序列对应的文本信息；输出所述唇部图像序列对应的内容。
图3是根据一示例性实施例示出的一种用于视频处理的装置800的框图。例如，装置800可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
参照图3，装置800可以包括以下一个或多个组件：处理组件802，存储器804，电源组件806，多媒体组件808，音频组件810，输入/输出(I/O)的接口812，传感器组件814，以及通信组件816。
处理组件802通常控制装置800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理元件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在设备800的操作。这些数据的示例包括用于在装置800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件806为装置800的各种组件提供电力。电源组件806可以包括电源管理系统，一个或多个电源，及其他与为装置800生成、管理和分配电力相关联的组件。
多媒体组件808包括在所述装置800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当设备800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(MIC)，当装置800处于操作模式，如呼叫模式、记录模式和语音信息处理模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。
I/O接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器，用于为装置800提供各个方面的状态评估。例如，传感器组件814可以检测到设备800的打开/关闭状态，组件的相对定位，例如所述组件为装置800的显示器和小键盘，传感器组件814还可以检测装置800或装置800一个组件的位置改变，用户与装置800接触的存在或不存在，装置800方位或加速/减速和装置800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件816被配置为便于装置800和其他设备之间有线或无线方式的通信。装置800可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件816还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频信息处理(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，装置800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器804，上述指令可由装置800的处理器820执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
图4是本发明的一些实施例中服务器的结构示意图。该服务器1900可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(central processingunits，CPU)1922(例如，一个或一个以上处理器)和存储器1932，一个或一个以上存储应用程序1942或数据1944的存储介质1930(例如一个或一个以上海量存储设备)。其中，存储器1932和存储介质1930可以是短暂存储或持久存储。存储在存储介质1930的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器1922可以设置为与存储介质1930通信，在服务器1900上执行存储介质1930中的一系列指令操作。
服务器1900还可以包括一个或一个以上电源1926，一个或一个以上有线或无线网络接口1950，一个或一个以上输入输出接口1958，一个或一个以上键盘1956，和/或，一个或一个以上操作系统1941，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。
一种非临时性计算机可读存储介质，当所述存储介质中的指令由装置(服务器或者终端)的处理器执行时，使得装置能够执行图1所示的视频处理方法。
一种非临时性计算机可读存储介质，当所述存储介质中的指令由装置(服务器或者终端)的处理器执行时，使得装置能够执行一种视频处理方法，所述方法包括：对视频进行图像处理，以得到所述视频对应的唇部图像序列；根据所述唇部图像序列，生成所述唇部图像序列对应的内容；其中，所述唇部图像序列对应的内容至少包括如下任意一种：所述唇部图像序列对应的语音信息、所述唇部图像序列对应的文本信息；输出所述唇部图像序列对应的内容。
本发明实施例公开了A1、一种视频处理方法，包括：
对视频进行图像处理，以得到所述视频对应的唇部图像序列；
根据所述唇部图像序列，生成所述唇部图像序列对应的内容；其中，所述唇部图像序列对应的内容至少包括如下任意一种：所述唇部图像序列对应的语音信息、所述唇部图像序列对应的文本信息；
输出所述唇部图像序列对应的内容。
A2、根据A1所述的方法，所述根据所述唇部图像序列，生成所述唇部图像序列对应的内容，包括：
对所述唇部图像序列进行唇语识别，以得到所述唇部图像序列对应的文本信息；
对所述文本信息进行语音合成，生成所述唇部图像序列对应的语音信息。
A3、根据A2所述的方法，在生成所述唇部图像序列对应的语音信息之后，所述方法还包括：
对所述语音信息与所述视频进行匹配合成，生成新的音视频文件。
A4、根据A1所述的方法，所述对视频进行图像处理，以得到所述视频对应的唇部图像序列，包括：
对所述视频的图像帧逐帧进行图像检测，以确定所述图像帧中是否包含唇部区域以及唇部区域的位置；
根据包含唇部区域的图像帧、以及所述唇部区域在图像帧中的位置，确定所述视频对应的唇部图像序列。
A5、根据A2所述的方法，所述对所述唇部图像序列进行唇语识别，以得到所述唇部图像序列对应的文本信息，包括：
确定所述唇部图像序列对应的至少一个字符序列；
根据语言模型，对所述至少一个字符序列进行解码，以得到所述唇部图像序列对应的文本信息。
A6、根据A5所述的方法，所述确定所述唇部图像序列对应的至少一个字符序列，包括：
根据所述唇部图像序列中各唇部图像的唇部关键特征点，确定所述唇部图像序列对应的唇形变化序列；
根据唇形与音素之间的对应关系，确定所述唇形变化序列对应的音素序列；
根据发音规则，确定所述音素序列对应的至少一个字符序列。
A7、根据A5所述的方法，所述确定所述唇部图像序列对应的至少一个字符序列，包括：
根据唇语识别模型，确定所述唇部图像序列对应的至少一个字符序列；其中，所述唇语识别模型为根据唇部图像样本训练得到的深层神经网络模型。
A8、根据A3所述的方法，所述对所述语音信息与所述视频进行匹配合成，生成新的音视频文件，包括：
确定所述唇部图像序列在所述视频中的时间边界信息；
将所述语音信息按照所述时间边界信息合成到所述视频中，生成新的音视频文件。
A9、根据A2所述的方法，在得到所述唇部图像序列对应的文本信息之后，所述方法还包括：
根据所述唇部图像序列的时间边界信息，在所述视频中，显示所述文本信息。
本发明实施例公开了B10、一种视频处理装置，包括：
图像处理模块，用于对视频进行图像处理，以得到所述视频对应的唇部图像序列；
内容生成模块，用于根据所述唇部图像序列，生成所述唇部图像序列对应的内容；其中，所述唇部图像序列对应的内容至少包括如下任意一种：所述唇部图像序列对应的语音信息、所述唇部图像序列对应的文本信息；
内容输出模块，用于输出所述唇部图像序列对应的内容。
B11、根据B10所述的装置，所述内容生成模块，包括：
唇语识别模块，用于对所述唇部图像序列进行唇语识别，以得到所述唇部图像序列对应的文本信息；
语音生成模块，用于对所述文本信息进行语音合成，生成所述唇部图像序列对应的语音信息。
B12、根据B11所述的装置，所述装置还包括：
语音合成模块，用于对所述语音信息与所述视频进行匹配合成，生成新的音视频文件。
B13、根据B10所述的装置，所述图像处理模块，包括：
唇部检测子模块，用于对所述视频的图像帧逐帧进行图像检测，以确定所述图像帧中是否包含唇部区域以及唇部区域的位置；
图像确定子模块，用于根据包含唇部区域的图像帧、以及所述唇部区域在图像帧中的位置，确定所述视频对应的唇部图像序列。
B14、根据B11所述的装置，所述唇语识别模块，包括：
字符确定子模块，用于确定所述唇部图像序列对应的至少一个字符序列；
字符解码子模块，用于根据语言模型，对所述至少一个字符序列进行解码，以得到所述唇部图像序列对应的文本信息。
B15、根据B14所述的装置，所述字符确定子模块，包括：
唇形确定单元，用于根据所述唇部图像序列中各唇部图像的唇部关键特征点，确定所述唇部图像序列对应的唇形变化序列；
音素确定单元，用于根据唇形与音素之间的对应关系，确定所述唇形变化序列对应的音素序列；
第一确定单元，用于根据发音规则，确定所述音素序列对应的至少一个字符序列。
B16、根据B14所述的装置，所述字符确定子模块，包括：
第二确定单元，用于根据唇语识别模型，确定所述唇部图像序列对应的至少一个字符序列；其中，所述唇语识别模型为根据唇部图像样本训练得到的深层神经网络模型。
B17、根据B12所述的装置，所述语音合成模块，包括：
时间确定子模块，用于确定所述唇部图像序列在所述视频中的时间边界信息；
时间对齐子模块，用于将所述语音信息按照所述时间边界信息合成到所述视频中，生成新的音视频文件。
B18、根据B11所述的装置，所述装置还包括：
文本显示模块，用于根据所述唇部图像序列的时间边界信息，在所述视频中，显示所述文本信息。
本发明实施例公开了C19、一种用于视频处理的装置，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令：
对视频进行图像处理，以得到所述视频对应的唇部图像序列；
根据所述唇部图像序列，生成所述唇部图像序列对应的内容；其中，所述唇部图像序列对应的内容至少包括如下任意一种：所述唇部图像序列对应的语音信息、所述唇部图像序列对应的文本信息；
输出所述唇部图像序列对应的内容。
C20、根据C19所述的装置，所述根据所述唇部图像序列，生成所述唇部图像序列对应的内容，包括：
对所述唇部图像序列进行唇语识别，以得到所述唇部图像序列对应的文本信息；
对所述文本信息进行语音合成，生成所述唇部图像序列对应的语音信息。
C21、根据C20所述的装置，所述装置还经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令：
对所述语音信息与所述视频进行匹配合成，生成新的音视频文件。
C22、根据C19所述的装置，所述对视频进行图像处理，以得到所述视频对应的唇部图像序列，包括：
对所述视频的图像帧逐帧进行图像检测，以确定所述图像帧中是否包含唇部区域以及唇部区域的位置；
根据包含唇部区域的图像帧、以及所述唇部区域在图像帧中的位置，确定所述视频对应的唇部图像序列。
C23、根据C20所述的装置，所述对所述唇部图像序列进行唇语识别，以得到所述唇部图像序列对应的文本信息，包括：
确定所述唇部图像序列对应的至少一个字符序列；
根据语言模型，对所述至少一个字符序列进行解码，以得到所述唇部图像序列对应的文本信息。
C24、根据C23所述的装置，所述确定所述唇部图像序列对应的至少一个字符序列，包括：
根据所述唇部图像序列中各唇部图像的唇部关键特征点，确定所述唇部图像序列对应的唇形变化序列；
根据唇形与音素之间的对应关系，确定所述唇形变化序列对应的音素序列；
根据发音规则，确定所述音素序列对应的至少一个字符序列。
C25、根据C23所述的装置，所述确定所述唇部图像序列对应的至少一个字符序列，包括：
根据唇语识别模型，确定所述唇部图像序列对应的至少一个字符序列；其中，所述唇语识别模型为根据唇部图像样本训练得到的深层神经网络模型。
C26、根据C21所述的装置，所述对所述语音信息与所述视频进行匹配合成，生成新的音视频文件，包括：
确定所述唇部图像序列在所述视频中的时间边界信息；
将所述语音信息按照所述时间边界信息合成到所述视频中，生成新的音视频文件。
C27、根据C20所述的装置，所述装置还经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令：
根据所述唇部图像序列的时间边界信息，在所述视频中，显示所述文本信息。
本发明实施例公开了D28、一种机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得装置执行如A1至A9中一个或多个所述的视频处理方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
以上对本发明所提供的一种视频处理方法、一种视频处理装置和一种用于视频处理的装置，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (28)
1.一种视频处理方法，其特征在于，所述方法包括：
对视频进行图像处理，以得到所述视频对应的唇部图像序列；
根据所述唇部图像序列，生成所述唇部图像序列对应的内容；其中，在唇语识别过程中，识别唇部图像序列对应的语言种类，根据识别的语言种类，切换唇语识别模型以及解码网络的种类；所述唇部图像序列对应的内容至少包括如下任意一种：所述唇部图像序列对应的语音信息、所述唇部图像序列对应的文本信息；所述文本信息以及所述语音信息与所述唇部图像序列对应的语言种类相匹配；
输出所述唇部图像序列对应的内容。
2.根据权利要求1所述的方法，其特征在于，所述根据所述唇部图像序列，生成所述唇部图像序列对应的内容，包括：
对所述唇部图像序列进行唇语识别，以得到所述唇部图像序列对应的文本信息；
对所述文本信息进行语音合成，生成所述唇部图像序列对应的语音信息。
3.根据权利要求2所述的方法，其特征在于，在生成所述唇部图像序列对应的语音信息之后，所述方法还包括：
对所述语音信息与所述视频进行匹配合成，生成新的音视频文件。
4.根据权利要求1所述的方法，其特征在于，所述对视频进行图像处理，以得到所述视频对应的唇部图像序列，包括：
对所述视频的图像帧逐帧进行图像检测，以确定所述图像帧中是否包含唇部区域以及唇部区域的位置；
根据包含唇部区域的图像帧、以及所述唇部区域在图像帧中的位置，确定所述视频对应的唇部图像序列。
5.根据权利要求2所述的方法，其特征在于，所述对所述唇部图像序列进行唇语识别，以得到所述唇部图像序列对应的文本信息，包括：
确定所述唇部图像序列对应的至少一个字符序列；
根据语言模型，对所述至少一个字符序列进行解码，以得到所述唇部图像序列对应的文本信息。
6.根据权利要求5所述的方法，其特征在于，所述确定所述唇部图像序列对应的至少一个字符序列，包括：
根据所述唇部图像序列中各唇部图像的唇部关键特征点，确定所述唇部图像序列对应的唇形变化序列；
根据唇形与音素之间的对应关系，确定所述唇形变化序列对应的音素序列；
根据发音规则，确定所述音素序列对应的至少一个字符序列。
7.根据权利要求5所述的方法，其特征在于，所述确定所述唇部图像序列对应的至少一个字符序列，包括：
根据唇语识别模型，确定所述唇部图像序列对应的至少一个字符序列；其中，所述唇语识别模型为根据唇部图像样本训练得到的深层神经网络模型。
8.根据权利要求3所述的方法，其特征在于，所述对所述语音信息与所述视频进行匹配合成，生成新的音视频文件，包括：
确定所述唇部图像序列在所述视频中的时间边界信息；
将所述语音信息按照所述时间边界信息合成到所述视频中，生成新的音视频文件。
9.根据权利要求2所述的方法，其特征在于，在得到所述唇部图像序列对应的文本信息之后，所述方法还包括：
根据所述唇部图像序列的时间边界信息，在所述视频中，显示所述文本信息。
10.一种视频处理装置，其特征在于，所述装置包括：
图像处理模块，用于对视频进行图像处理，以得到所述视频对应的唇部图像序列；
内容生成模块，用于根据所述唇部图像序列，生成所述唇部图像序列对应的内容；其中，在唇语识别过程中，识别唇部图像序列对应的语言种类，根据识别的语言种类，切换唇语识别模型以及解码网络的种类；所述唇部图像序列对应的内容至少包括如下任意一种：所述唇部图像序列对应的语音信息、所述唇部图像序列对应的文本信息；所述文本信息以及所述语音信息与所述唇部图像序列对应的语言种类相匹配；
内容输出模块，用于输出所述唇部图像序列对应的内容。
11.根据权利要求10所述的装置，其特征在于，所述内容生成模块，包括：
唇语识别模块，用于对所述唇部图像序列进行唇语识别，以得到所述唇部图像序列对应的文本信息；
语音生成模块，用于对所述文本信息进行语音合成，生成所述唇部图像序列对应的语音信息。
12.根据权利要求11所述的装置，其特征在于，所述装置还包括：
语音合成模块，用于对所述语音信息与所述视频进行匹配合成，生成新的音视频文件。
13.根据权利要求10所述的装置，其特征在于，所述图像处理模块，包括：
唇部检测子模块，用于对所述视频的图像帧逐帧进行图像检测，以确定所述图像帧中是否包含唇部区域以及唇部区域的位置；
图像确定子模块，用于根据包含唇部区域的图像帧、以及所述唇部区域在图像帧中的位置，确定所述视频对应的唇部图像序列。
14.根据权利要求11所述的装置，其特征在于，所述唇语识别模块，包括：
字符确定子模块，用于确定所述唇部图像序列对应的至少一个字符序列；
字符解码子模块，用于根据语言模型，对所述至少一个字符序列进行解码，以得到所述唇部图像序列对应的文本信息。
15.根据权利要求14所述的装置，其特征在于，所述字符确定子模块，包括：
唇形确定单元，用于根据所述唇部图像序列中各唇部图像的唇部关键特征点，确定所述唇部图像序列对应的唇形变化序列；
音素确定单元，用于根据唇形与音素之间的对应关系，确定所述唇形变化序列对应的音素序列；
第一确定单元，用于根据发音规则，确定所述音素序列对应的至少一个字符序列。
16.根据权利要求14所述的装置，其特征在于，所述字符确定子模块，包括：
第二确定单元，用于根据唇语识别模型，确定所述唇部图像序列对应的至少一个字符序列；其中，所述唇语识别模型为根据唇部图像样本训练得到的深层神经网络模型。
17.根据权利要求12所述的装置，其特征在于，所述语音合成模块，包括：
时间确定子模块，用于确定所述唇部图像序列在所述视频中的时间边界信息；
时间对齐子模块，用于将所述语音信息按照所述时间边界信息合成到所述视频中，生成新的音视频文件。
18.根据权利要求11所述的装置，其特征在于，所述装置还包括：
文本显示模块，用于根据所述唇部图像序列的时间边界信息，在所述视频中，显示所述文本信息。
19.一种用于视频处理的装置，其特征在于，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令：
对视频进行图像处理，以得到所述视频对应的唇部图像序列；
根据所述唇部图像序列，生成所述唇部图像序列对应的内容；其中，在唇语识别过程中，识别唇部图像序列对应的语言种类，根据识别的语言种类，切换唇语识别模型以及解码网络的种类；所述唇部图像序列对应的内容至少包括如下任意一种：所述唇部图像序列对应的语音信息、所述唇部图像序列对应的文本信息；所述文本信息以及所述语音信息与所述唇部图像序列对应的语言种类相匹配；
输出所述唇部图像序列对应的内容。
20.根据权利要求19所述的装置，其特征在于，所述根据所述唇部图像序列，生成所述唇部图像序列对应的内容，包括：
对所述唇部图像序列进行唇语识别，以得到所述唇部图像序列对应的文本信息；
对所述文本信息进行语音合成，生成所述唇部图像序列对应的语音信息。
21.根据权利要求20所述的装置，其特征在于，所述装置还经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令：
对所述语音信息与所述视频进行匹配合成，生成新的音视频文件。
22.根据权利要求19所述的装置，其特征在于，所述对视频进行图像处理，以得到所述视频对应的唇部图像序列，包括：
对所述视频的图像帧逐帧进行图像检测，以确定所述图像帧中是否包含唇部区域以及唇部区域的位置；
根据包含唇部区域的图像帧、以及所述唇部区域在图像帧中的位置，确定所述视频对应的唇部图像序列。
23.根据权利要求20所述的装置，其特征在于，所述对所述唇部图像序列进行唇语识别，以得到所述唇部图像序列对应的文本信息，包括：
确定所述唇部图像序列对应的至少一个字符序列；
根据语言模型，对所述至少一个字符序列进行解码，以得到所述唇部图像序列对应的文本信息。
24.根据权利要求23所述的装置，其特征在于，所述确定所述唇部图像序列对应的至少一个字符序列，包括：
根据所述唇部图像序列中各唇部图像的唇部关键特征点，确定所述唇部图像序列对应的唇形变化序列；
根据唇形与音素之间的对应关系，确定所述唇形变化序列对应的音素序列；
根据发音规则，确定所述音素序列对应的至少一个字符序列。
25.根据权利要求23所述的装置，其特征在于，所述确定所述唇部图像序列对应的至少一个字符序列，包括：
根据唇语识别模型，确定所述唇部图像序列对应的至少一个字符序列；其中，所述唇语识别模型为根据唇部图像样本训练得到的深层神经网络模型。
26.根据权利要求21所述的装置，其特征在于，所述对所述语音信息与所述视频进行匹配合成，生成新的音视频文件，包括：
确定所述唇部图像序列在所述视频中的时间边界信息；
将所述语音信息按照所述时间边界信息合成到所述视频中，生成新的音视频文件。
27.根据权利要求20所述的装置，其特征在于，所述装置还经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令：
根据所述唇部图像序列的时间边界信息，在所述视频中，显示所述文本信息。
28.一种机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得装置执行如权利要求1至9中一个或多个所述的视频处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910365358.7A CN110210310B (zh) | 2019-04-30 | 2019-04-30 | 一种视频处理方法、装置和用于视频处理的装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910365358.7A CN110210310B (zh) | 2019-04-30 | 2019-04-30 | 一种视频处理方法、装置和用于视频处理的装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110210310A CN110210310A (zh) | 2019-09-06 |
| CN110210310B true CN110210310B (zh) | 2021-11-30 |
Family
ID=67786791
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910365358.7A Active CN110210310B (zh) | 2019-04-30 | 2019-04-30 | 一种视频处理方法、装置和用于视频处理的装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110210310B (zh) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111104884B (zh) * | 2019-12-10 | 2022-06-03 | 电子科技大学 | 一种基于两阶段神经网络模型的汉语唇语识别方法 |
| CN113362849B (zh) * | 2020-03-02 | 2024-08-30 | 浙江未来精灵人工智能科技有限公司 | 一种语音数据处理方法以及装置 |
| CN111881726B (zh) * | 2020-06-15 | 2022-11-25 | 马上消费金融股份有限公司 | 一种活体检测方法、装置及存储介质 |
| CN111883107B (zh) * | 2020-08-03 | 2022-09-16 | 北京字节跳动网络技术有限公司 | 语音合成、特征提取模型训练方法、装置、介质及设备 |
| CN112233210B (zh) * | 2020-09-14 | 2024-06-07 | 北京百度网讯科技有限公司 | 生成虚拟人物视频的方法、装置、设备和计算机存储介质 |
| CN112102448B (zh) * | 2020-09-14 | 2023-08-04 | 北京百度网讯科技有限公司 | 虚拟对象图像显示方法、装置、电子设备和存储介质 |
| CN112633136B (zh) * | 2020-12-18 | 2024-03-22 | 深圳追一科技有限公司 | 视频分析方法、装置、电子设备及存储介质 |
| CN112714348A (zh) * | 2020-12-28 | 2021-04-27 | 深圳市亿联智能有限公司 | 智能音视频同步方法 |
| CN112633211A (zh) * | 2020-12-30 | 2021-04-09 | 海信视像科技股份有限公司 | 一种服务设备及人机交互方法 |
| CN115250375B (zh) * | 2021-04-26 | 2024-01-26 | 北京中关村科金技术有限公司 | 一种基于固定话术的音视频内容合规性检测方法及装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104735389A (zh) * | 2013-12-23 | 2015-06-24 | 联想(北京)有限公司 | 信息处理方法和信息处理设备 |
| CN108389573A (zh) * | 2018-02-09 | 2018-08-10 | 北京易真学思教育科技有限公司 | 语种识别方法及装置、训练方法及装置、介质、终端 |
| CN109118242A (zh) * | 2018-09-05 | 2019-01-01 | 深圳正品创想科技有限公司 | 一种账户创建方法及其装置、电子设备 |
| CN109409195A (zh) * | 2018-08-30 | 2019-03-01 | 华侨大学 | 一种基于神经网络的唇语识别方法及系统 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070048695A1 (en) * | 2005-08-31 | 2007-03-01 | Wen-Chen Huang | Interactive scoring system for learning language |
| CN102063903B (zh) * | 2010-09-25 | 2012-07-04 | 中国科学院深圳先进技术研究院 | 言语交互训练系统及方法 |
| CN103377651B (zh) * | 2012-04-28 | 2015-12-16 | 北京三星通信技术研究有限公司 | 语音自动合成装置及方法 |
| CN104484656A (zh) * | 2014-12-26 | 2015-04-01 | 安徽寰智信息科技股份有限公司 | 基于深度学习的唇语识别唇形模型库构建方法 |
| CN104881647B (zh) * | 2015-05-27 | 2019-03-01 | 北京旷视科技有限公司 | 信息处理方法、信息处理系统和信息处理装置 |
| CN107992813A (zh) * | 2017-11-27 | 2018-05-04 | 北京搜狗科技发展有限公司 | 一种唇部状态检测方法及装置 |
| CN107992812A (zh) * | 2017-11-27 | 2018-05-04 | 北京搜狗科技发展有限公司 | 一种唇语识别方法及装置 |
| CN109637521A (zh) * | 2018-10-29 | 2019-04-16 | 深圳壹账通智能科技有限公司 | 一种基于深度学习的唇语识别方法及装置 |
-
2019
- 2019-04-30 CN CN201910365358.7A patent/CN110210310B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104735389A (zh) * | 2013-12-23 | 2015-06-24 | 联想(北京)有限公司 | 信息处理方法和信息处理设备 |
| CN108389573A (zh) * | 2018-02-09 | 2018-08-10 | 北京易真学思教育科技有限公司 | 语种识别方法及装置、训练方法及装置、介质、终端 |
| CN109409195A (zh) * | 2018-08-30 | 2019-03-01 | 华侨大学 | 一种基于神经网络的唇语识别方法及系统 |
| CN109118242A (zh) * | 2018-09-05 | 2019-01-01 | 深圳正品创想科技有限公司 | 一种账户创建方法及其装置、电子设备 |
Non-Patent Citations (1)
| Title |
|---|
| 基于唇部视觉特征的语言分类识别研究;卢开宏;《信息技术与信息化》;20151231;第48-50页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110210310A (zh) | 2019-09-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110210310B (zh) | 一种视频处理方法、装置和用于视频处理的装置 | |
| CN110634483B (zh) | 人机交互方法、装置、电子设备及存储介质 | |
| CN107705783B (zh) | 一种语音合成方法及装置 | |
| CN111145756B (zh) | 一种语音识别方法、装置和用于语音识别的装置 | |
| CN107644646B (zh) | 语音处理方法、装置以及用于语音处理的装置 | |
| CN107221330B (zh) | 标点添加方法和装置、用于标点添加的装置 | |
| CN111128183B (zh) | 语音识别方法、装置和介质 | |
| CN110992942B (zh) | 一种语音识别方法、装置和用于语音识别的装置 | |
| CN110990534B (zh) | 一种数据处理方法、装置和用于数据处理的装置 | |
| CN113409764A (zh) | 一种语音合成方法、装置和用于语音合成的装置 | |
| CN108073572B (zh) | 信息处理方法及其装置、同声翻译系统 | |
| CN107945806B (zh) | 基于声音特征的用户识别方法及装置 | |
| CN108628819B (zh) | 处理方法和装置、用于处理的装置 | |
| CN111369978B (zh) | 一种数据处理方法、装置和用于数据处理的装置 | |
| EP4404574A1 (en) | Video processing method and apparatus, and medium and program product | |
| CN113343675A (zh) | 一种字幕生成方法、装置和用于生成字幕的装置 | |
| CN113539233B (zh) | 一种语音处理方法、装置和电子设备 | |
| CN112735396A (zh) | 语音识别纠错方法、装置及存储介质 | |
| CN111640452B (zh) | 一种数据处理方法、装置和用于数据处理的装置 | |
| CN110930977B (zh) | 一种数据处理方法、装置和电子设备 | |
| CN113345452A (zh) | 语音转换方法、语音转换模型的训练方法、装置和介质 | |
| CN105913841B (zh) | 语音识别方法、装置及终端 | |
| CN113259754A (zh) | 视频生成方法、装置、电子设备及存储介质 | |
| CN109979435B (zh) | 数据处理方法和装置、用于数据处理的装置 | |
| CN112331194A (zh) | 一种输入方法、装置和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20190828 Address after: 100084 Beijing, Zhongguancun East Road, building 1, No. 9, Sohu cyber building, room 9, room, room 01 Applicant after: BEIJING SOGOU TECHNOLOGY DEVELOPMENT Co.,Ltd. Applicant after: SOGOU (HANGZHOU) INTELLIGENT TECHNOLOGY Co.,Ltd. Address before: 100084 Beijing, Zhongguancun East Road, building 1, No. 9, Sohu cyber building, room 9, room, room 01 Applicant before: BEIJING SOGOU TECHNOLOGY DEVELOPMENT Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20220728 Address after: 100084. Room 9, floor 01, cyber building, building 9, building 1, Zhongguancun East Road, Haidian District, Beijing Patentee after: BEIJING SOGOU TECHNOLOGY DEVELOPMENT Co.,Ltd. Address before: 100084. Room 9, floor 01, cyber building, building 9, building 1, Zhongguancun East Road, Haidian District, Beijing Patentee before: BEIJING SOGOU TECHNOLOGY DEVELOPMENT Co.,Ltd. Patentee before: SOGOU (HANGZHOU) INTELLIGENT TECHNOLOGY Co.,Ltd. |
|
| TR01 | Transfer of patent right |