CN109858412A - 一种基于混合卷积神经网络的唇语识别方法 - Google Patents
一种基于混合卷积神经网络的唇语识别方法 Download PDFInfo
- Publication number
- CN109858412A CN109858412A CN201910049839.7A CN201910049839A CN109858412A CN 109858412 A CN109858412 A CN 109858412A CN 201910049839 A CN201910049839 A CN 201910049839A CN 109858412 A CN109858412 A CN 109858412A
- Authority
- CN
- China
- Prior art keywords
- layer
- convolutional neural
- neural networks
- lip
- time characteristic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 36
- 238000000034 method Methods 0.000 title claims abstract description 24
- 230000007774 longterm Effects 0.000 claims abstract description 19
- 238000012545 processing Methods 0.000 claims abstract description 16
- 239000000284 extract Substances 0.000 claims abstract description 8
- 230000001815 facial effect Effects 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000008676 import Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 235000013399 edible fruits Nutrition 0.000 claims 1
- 238000007689 inspection Methods 0.000 claims 1
- 230000001537 neural effect Effects 0.000 claims 1
- 230000005236 sound signal Effects 0.000 claims 1
- 125000006850 spacer group Chemical group 0.000 claims 1
- 238000012549 training Methods 0.000 abstract description 4
- 230000008569 process Effects 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 description 9
- 238000001914 filtration Methods 0.000 description 6
- 230000004438 eyesight Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 206010048865 Hypoacusis Diseases 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000011895 specific detection Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明提供一种基于混合卷积神经网络的唇语识别方法。本发明方法,包括如下步骤:对采集到的待识别视频进行预处理,获取每帧待识别视频的唇部图像序列;将预处理后的唇部图像序列作为输入,馈送入构建的混合卷积神经网络进行短期时空特征和长期时空特征提取;将所述长期时空特征输入连接时序分类器获得识别概率结果,对所述识别概率结果进行解码处理,获得唇语识别结果。本发明通过混合卷积神经网络同时学习唇部运动的空间和时间特征,同时通过两层Bi‑GRU网络将短期时空特征和长期时空特征结合起来,并使用连接时序分类训练网络,提高了唇语识别的速度与精确度。
Description
技术领域
本发明涉及计算机视觉与模式识别技术领域,具体而言,尤其涉及一种基于混合卷积神经网络的唇语识别方法。
背景技术
唇语识别,是指通过观察说话者的口型变化,直接从讲话人唇动的连续图像中“读”出其讲话的内容,唇语识别技术源于听力弱者和听力障碍者学习、了解正常人语言表达的一种技巧。
唇语识别技术研究涉及多个领域,包括人工智能、模式识别、图像处理、自然语言处理等。随着自动语音识别、人机自然交互和计算机视觉技术的迅速发展,唇语识别技术不再仅仅是改善语音识别率的辅助手段,唇语识别作为新的人体生物特征、新的人机接口、新的反恐手段,在人们生活中发挥着越来越重要的作用。
最近,在计算机视觉应用领域,深度神经网络获得了广泛应用。在处理图像识别问题时,卷积神经网络往往用来提取图像的空间特征,而唇语这类信息则同时包含空间信息与时间信息,因此3D卷积神经网络被用来处理唇语识别中所需的空间特征和时间特征,然而由于自身的约束,导致它提取到的特征只包含有短期的时空特征,现有技术无法提取长期的时空特征,导致现有技术准确率不足。
发明内容
为了克服现有技术的不足,而提供一种基于混合卷积神经网络的唇语识别方法,解决目前传统唇语识别中存在的只提取空间特征或只提取长期时空特征等问题。
本发明采用的技术手段如下:
一种基于混合卷积神经网络的唇语识别方法,具有如下步骤:
S1、在接收到语音信号后,控制图像采集装置进行图像采集,在语音信号结束后,控制图像采集装置停止图像采集;
还包括:
S2、对采集到的待识别视频进行预处理,获取每帧待识别视频的唇部图像序列;
S3、将预处理后的唇部图像序列作为输入,馈送入构建的混合卷积神经网络进行短期时空特征和长期时空特征提取,所述混合卷积神经网络包括:用于提取视频的短期时空特征的3D卷积神经网络,用于将所述短期时空特征作为输入,提取深层次特征的2D卷积神经网络和用于将所述深层次特征作为输入,提取视频的长期时空特征的两层Bi-GRU网络;
S4、将所述长期时空特征输入连接时序分类器获得识别概率结果,对所述识别概率结果进行解码处理,获得唇语识别结果。
进一步地,所述步骤S2具体包括如下步骤:
S21、将待识别视频裁剪为预设长度,并调整为预设帧数;
S22、对每帧图片进行人脸检测,若检测到人脸图像,则对所述人脸图像进行关键点检测处理,进而获取唇部图像;
S23、将获取的各唇部图像组成为唇部图像序列。
进一步地,所述步骤S3中的3D卷积神经网络为三层,每层3D卷积层后均跟随批处理归一化层和ReLU层以及每层后跟随的只执行空间池化操作的池化层,其中,
第一层为3D卷积层,其卷积核尺寸为3*5*5,步幅为1*2*2,填充为1*2*2,卷积滤波器数量为32,
第二层为空间池化层,其内核大小为1*2*2,步幅为1*2*2,
第三层为3D卷积层,其卷积核尺寸为3*5*5,步幅为1*2*2,填充为1*2*2,卷积滤波器数量为64,
第四层为空间池化层,其内核大小为1*2*2,步幅为1*2*2,
第五层为3D卷积层,其卷积核尺寸为3*3*3,步幅为1*2*2,填充为1*1*1,卷积滤波器数量为96,
第六层为空间池化层,其内核大小为1*2*2,步幅为1*2*2。
进一步地,所述步骤S3中的2D卷积神经网络为两层,其中,
第七层为2D卷积层,使用1*2*2的卷积核进行空间卷积操作,步幅为1*1*1,填充为1*1*1,
第八层为2D卷积层,使用1*3*3的卷积核进行空间卷积操作,步幅为1*1*1,填充为1*1*1。
进一步地,所述步骤S3中的Bi-GRU网络具体为正向GRU和反向GRU,每层GRU网络各有256个滤波器,GRU每个时间步的输出通过全连接层、Softmax处理,得到长期时空特征。
进一步地,所述GRU网络模型具体计算方式为:
zt=σ(Whzht-1+Wxzxt+bz)
rt=σ(Whrht-1+Wxrxt+br)
其中,zt、rt和ht分别为t时刻更新门、复位门和记忆模块的输出;xt为t时刻记忆模块的输入向量;ht-1为t-1时刻记忆模块的输出向量;Wxz、Wxr和Wxh分别为模块输入与更新门、复位门和间的权重矩阵;Whz和Whr分别为t-1时刻记忆模块的输出入更新门、复位门间的权重矩阵;bz、br和bh分别为更新门、复位门和的偏置;σ(·)表示逻辑sigmoid函数,其为门单元的激活函数;·表示矩阵元素相乘。
较现有技术相比,本发明通过混合卷积神经网络同时学习唇部运动的空间和时间特征,同时通过两层Bi-GRU网络将短期时空特征和长期时空特征结合起来,并使用连接时序分类训练网络,提高了唇语识别的速度与精确度。
基于上述理由本发明可在计算机视觉与模式识别技术领域广泛推广。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明一种基于混合卷积神经网络的唇语识别方法流程图。
图2为本发明门递归单元GRU的结构示意图。
图3为本发明实施例中利用dlib库对处理后的视频进行人脸检测的具体检测示意图。
图4为本发明实施例中3D卷积示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
如图1所示,本发明提供了一种基于混合卷积神经网络的唇语识别方法,具有如下步骤:
S1、在接收到语音信号后,控制图像采集装置进行图像采集,在语音信号结束后,控制图像采集装置停止图像采集;在本实施例中,图像采集装置为摄像头。
还包括:
S2、对采集到的待识别视频进行预处理,获取每帧待识别视频的唇部图像序列;
所述步骤S2具体包括如下步骤:
S21、将待识别视频裁剪为预设长度,并调整为预设帧数;本实施例中通过摄像头获取人说话的正面视频,使用视频编辑软件对视频进行处理获得分辨率为360*288,长度为3秒,帧数为25fps的视频。
S22、对每帧图片进行人脸检测,若检测到人脸图像,则对所述人脸图像进行关键点检测处理,进而获取唇部图像;本实施例中,利用dlib库对处理后的视频进行人脸检测,若检测到人脸图像,对所述人脸图像进行关键点检测处理,获取唇部图像,获取的嘴部区域大小为100*50,共75帧,对获取的唇部图像进行标准化处理,
S23、将获取的各唇部图像组成为唇部图像序列。
S3、将预处理后的唇部图像序列作为输入,馈送入构建的混合卷积神经网络进行短期时空特征和长期时空特征提取,所述混合卷积神经网络包括:用于提取视频的短期时空特征的3D卷积神经网络,用于将所述短期时空特征作为输入,提取深层次特征的2D卷积神经网络和用于将所述深层次特征作为输入,提取视频的长期时空特征的两层Bi-GRU网络;
本实施例中,输入为75*3*50*100的彩色图像序列,其中75为图像序列的帧数,3为彩色图像的通道数,50*100为每一帧的分辨率,
如图4所示,所述步骤S3中的3D卷积神经网络为三层,每层3D卷积层后均跟随批处理归一化层和ReLU层以及每层后跟随的只执行空间池化操作的池化层,其中,
第一层为3D卷积层,其卷积核尺寸为3*5*5,步幅为1*2*2,填充为1*2*2,卷积滤波器数量为32,
第二层为空间池化层,其内核大小为1*2*2,步幅为1*2*2,
第三层为3D卷积层,其卷积核尺寸为3*5*5,步幅为1*2*2,填充为1*2*2,卷积滤波器数量为64,
第四层为空间池化层,其内核大小为1*2*2,步幅为1*2*2,
第五层为3D卷积层,其卷积核尺寸为3*3*3,步幅为1*2*2,填充为1*1*1,卷积滤波器数量为96,
第六层为空间池化层,其内核大小为1*2*2,步幅为1*2*2。
进一步地,所述步骤S3中的2D卷积神经网络为两层,其中,
第七层为2D卷积层,使用1*2*2的卷积核进行空间卷积操作,步幅为1*1*1,填充为1*1*1,
第八层为2D卷积层,使用1*3*3的卷积核进行空间卷积操作,步幅为1*1*1,填充为1*1*1。
第九层和第十层分别为所述Bi-GRU网络,所述步骤S3中的Bi-GRU网络具体为正向GRU和反向GRU,每层GRU网络各有256个滤波器,GRU每个时间步的输出通过全连接层、Softmax处理,得到长期时空特征。
所述GRU网络模型具体计算方式为:
zt=σ(Whzht-1+Wxzxt+bz)
rt=σ(Whrht-1+Wxrxt+br)
其中,zt、rt和ht分别为t时刻更新门、复位门和记忆模块的输出,即视频的长期时空特征;xt为t时刻记忆模块的输入向量,即2D卷积神经网络提取的深层次特征;ht-1为t-1时刻记忆模块的输出向量;Wxz、Wxr和Wxh分别为模块输入与更新门、复位门和间的权重矩阵;Whz和Whr分别为t-1时刻记忆模块的输出入更新门、复位门间的权重矩阵;bz、br和bh分别为更新门、复位门和的偏置;σ(·)表示逻辑sigmoid函数,其为门单元的激活函数;·表示矩阵元素相乘。
S4、将所述长期时空特征输入连接时序分类器获得识别概率结果,对所述识别概率结果进行解码处理,获得唇语识别结果。
具体为,利用集束搜索和语言模型对所述识别结果进行处理,获得唇语识别结果。
目前的唇语识别领域多为隐马尔科夫模型,2D卷积和LSTM的混合模型,还有使用多层3D卷积模型,虽然多层3D卷积层提高了准确性,但是其参数过大,不好训练。本申请在3D卷积提取短期时空特征后引入2D卷积,在保证了准确性的同时减少参数,最后使用GRU提取长期时空特征。GRU的构造简单,将忘记门和输入门合成了一个单一的更新门,与LSTM相比,在训练数据很大的情况下GRU能节省很多时间。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (7)
1.一种基于混合卷积神经网络的唇语识别方法,其特征在于,包括:
S2、对采集到的待识别视频进行预处理,获取每帧待识别视频的唇部图像序列;
S3、将预处理后的唇部图像序列作为输入,馈送入构建的混合卷积神经网络进行短期时空特征和长期时空特征提取,所述混合卷积神经网络包括:用于提取视频的短期时空特征的3D卷积神经网络,用于将所述短期时空特征作为输入,提取深层次特征的2D卷积神经网络和用于将所述深层次特征作为输入,提取视频的长期时空特征的两层Bi-GRU网络;
S4、将所述长期时空特征输入连接时序分类器获得识别概率结果,对所述识别概率结果进行解码处理,获得唇语识别结果。
2.根据权利要求1所述的基于混合卷积神经网络的唇语识别方法,其特征在于,所述步骤S2前,还包括如下步骤:S1、在接收到语音信号后,控制图像采集装置进行图像采集,在语音信号结束后,控制图像采集装置停止图像采集。
3.根据权利要求1所述的基于混合卷积神经网络的唇语识别方法,其特征在于,所述步骤S2具体包括如下步骤:
S21、将待识别视频裁剪为预设长度,并调整为预设帧数;
S22、对每帧图片进行人脸检测,若检测到人脸图像,则对所述人脸图像进行关键点检测处理,进而获取唇部图像;
S23、将获取的各唇部图像组成为唇部图像序列。
4.根据权利要求1所述的基于混合卷积神经网络的唇语识别方法,其特征在于,所述步骤S3中的3D卷积神经网络为三层,每层3D卷积层后均跟随批处理归一化层和ReLU层以及每层后跟随的只执行空间池化操作的池化层,其中,
第一层为3D卷积层,其卷积核尺寸为3*5*5,步幅为1*2*2,填充为1*2*2,卷积滤波器数量为32,
第二层为空间池化层,其内核大小为1*2*2,步幅为1*2*2,
第三层为3D卷积层,其卷积核尺寸为3*5*5,步幅为1*2*2,填充为1*2*2,卷积滤波器数量为64,
第四层为空间池化层,其内核大小为1*2*2,步幅为1*2*2,
第五层为3D卷积层,其卷积核尺寸为3*3*3,步幅为1*2*2,填充为1*1*1,卷积滤波器数量为96,
第六层为空间池化层,其内核大小为1*2*2,步幅为1*2*2。
5.根据权利要求1或4所述的基于混合卷积神经网络的唇语识别方法,其特征在于,所述步骤S3中的2D卷积神经网络为两层,其中,
第七层为2D卷积层,使用1*2*2的卷积核进行空间卷积操作,步幅为1*1*1,填充为1*1*1,
第八层为2D卷积层,使用1*3*3的卷积核进行空间卷积操作,步幅为1*1*1,填充为1*1*1。
6.根据权利要求1所述的基于混合卷积神经网络的唇语识别方法,其特征在于,所述步骤S3中的Bi-GRU网络具体为正向GRU和反向GRU,每层GRU网络各有256个滤波器,GRU每个时间步的输出通过全连接层、Softmax处理,得到长期时空特征。
7.根据权利要求1或6所述的基于混合卷积神经网络的唇语识别方法,其特征在于,所述GRU网络模型具体计算方式为:
zt=σ(Whzht-1+Wxzxt+bz)
rt=σ(Whrht-1+Wxrxt+br)
其中,zt、rt和ht分别为t时刻更新门、复位门和记忆模块的输出;xt为t时刻记忆模块的输入向量;ht-1为t-1时刻记忆模块的输出向量;Wxz、Wxr和Wxh分别为模块输入与更新门、复位门和间的权重矩阵;Whz和Whr分别为t-1时刻记忆模块的输出入更新门、复位门间的权重矩阵;bz、br和bh分别为更新门、复位门和的偏置;σ(·)表示逻辑sigmoid函数,其为门单元的激活函数;·表示矩阵元素相乘。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910049839.7A CN109858412A (zh) | 2019-01-18 | 2019-01-18 | 一种基于混合卷积神经网络的唇语识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910049839.7A CN109858412A (zh) | 2019-01-18 | 2019-01-18 | 一种基于混合卷积神经网络的唇语识别方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109858412A true CN109858412A (zh) | 2019-06-07 |
Family
ID=66895336
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910049839.7A Pending CN109858412A (zh) | 2019-01-18 | 2019-01-18 | 一种基于混合卷积神经网络的唇语识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109858412A (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110443129A (zh) * | 2019-06-30 | 2019-11-12 | 厦门知晓物联技术服务有限公司 | 基于深度学习的中文唇语识别方法 |
CN110633683A (zh) * | 2019-09-19 | 2019-12-31 | 华侨大学 | 结合DenseNet和resBi-LSTM的中文句子级唇语识别方法 |
CN111401250A (zh) * | 2020-03-17 | 2020-07-10 | 东北大学 | 一种基于混合卷积神经网络的中文唇语识别方法及装置 |
WO2020252922A1 (zh) * | 2019-06-21 | 2020-12-24 | 平安科技(深圳)有限公司 | 基于深度学习的唇语识别方法、装置、电子设备及介质 |
CN112287722A (zh) * | 2019-07-23 | 2021-01-29 | 北京中关村科金技术有限公司 | 基于深度学习的活体检测方法、装置及存储介质 |
CN112818950A (zh) * | 2021-03-11 | 2021-05-18 | 河北工业大学 | 一种基于生成对抗网络和时间卷积网络的唇语识别方法 |
CN112861791A (zh) * | 2021-03-11 | 2021-05-28 | 河北工业大学 | 一种结合图神经网络和多特征融合的唇语识别方法 |
CN113343937A (zh) * | 2021-07-15 | 2021-09-03 | 北华航天工业学院 | 一种基于深度卷积和注意力机制的唇语识别方法 |
CN113657253A (zh) * | 2021-08-16 | 2021-11-16 | 浙江大学 | 使用注意力引导自适应记忆的实时唇语识别方法和系统 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106250829A (zh) * | 2016-07-22 | 2016-12-21 | 中国科学院自动化研究所 | 基于唇部纹理结构的数字识别方法 |
-
2019
- 2019-01-18 CN CN201910049839.7A patent/CN109858412A/zh active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106250829A (zh) * | 2016-07-22 | 2016-12-21 | 中国科学院自动化研究所 | 基于唇部纹理结构的数字识别方法 |
Non-Patent Citations (3)
Title |
---|
YANNIS M ASSAEL: ""LIPNET: END-TO-END SENTENCE-LEVEL LIPREADING"", 《ARXIV:1611.01599V1》 * |
YANNIS M. ASSAEL: ""LIPNET: END-TO-END SENTENCE-LEVEL LIPREADING"", 《ARXIV:1611.01599V2》 * |
宋文明: ""基于HMM与深度学习的唇读识别研究"", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020252922A1 (zh) * | 2019-06-21 | 2020-12-24 | 平安科技(深圳)有限公司 | 基于深度学习的唇语识别方法、装置、电子设备及介质 |
CN110443129A (zh) * | 2019-06-30 | 2019-11-12 | 厦门知晓物联技术服务有限公司 | 基于深度学习的中文唇语识别方法 |
CN112287722A (zh) * | 2019-07-23 | 2021-01-29 | 北京中关村科金技术有限公司 | 基于深度学习的活体检测方法、装置及存储介质 |
CN110633683B (zh) * | 2019-09-19 | 2022-03-25 | 华侨大学 | 结合DenseNet和resBi-LSTM的中文句子级唇语识别方法 |
CN110633683A (zh) * | 2019-09-19 | 2019-12-31 | 华侨大学 | 结合DenseNet和resBi-LSTM的中文句子级唇语识别方法 |
CN111401250A (zh) * | 2020-03-17 | 2020-07-10 | 东北大学 | 一种基于混合卷积神经网络的中文唇语识别方法及装置 |
CN112818950A (zh) * | 2021-03-11 | 2021-05-18 | 河北工业大学 | 一种基于生成对抗网络和时间卷积网络的唇语识别方法 |
CN112861791A (zh) * | 2021-03-11 | 2021-05-28 | 河北工业大学 | 一种结合图神经网络和多特征融合的唇语识别方法 |
CN112861791B (zh) * | 2021-03-11 | 2022-08-23 | 河北工业大学 | 一种结合图神经网络和多特征融合的唇语识别方法 |
CN112818950B (zh) * | 2021-03-11 | 2022-08-23 | 河北工业大学 | 一种基于生成对抗网络和时间卷积网络的唇语识别方法 |
CN113343937A (zh) * | 2021-07-15 | 2021-09-03 | 北华航天工业学院 | 一种基于深度卷积和注意力机制的唇语识别方法 |
CN113657253A (zh) * | 2021-08-16 | 2021-11-16 | 浙江大学 | 使用注意力引导自适应记忆的实时唇语识别方法和系统 |
CN113657253B (zh) * | 2021-08-16 | 2023-12-05 | 浙江大学 | 使用注意力引导自适应记忆的实时唇语识别方法和系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109858412A (zh) | 一种基于混合卷积神经网络的唇语识别方法 | |
CN108717856B (zh) | 一种基于多尺度深度卷积循环神经网络的语音情感识别方法 | |
Pandey et al. | Deep learning techniques for speech emotion recognition: A review | |
CN111370020B (zh) | 一种将语音转换成唇形的方法、系统、装置和存储介质 | |
Zhang et al. | Study on CNN in the recognition of emotion in audio and images | |
CN112784763B (zh) | 基于局部与整体特征自适应融合的表情识别方法及系统 | |
CN110222668B (zh) | 基于生成对抗网络的多姿态面部表情识别方法 | |
CN109409195A (zh) | 一种基于神经网络的唇语识别方法及系统 | |
CN112348075A (zh) | 一种基于情景注意力神经网络的多模态情感识别方法 | |
CN111160350B (zh) | 人像分割方法、模型训练方法、装置、介质及电子设备 | |
CN108352168A (zh) | 用于语音唤醒的低资源关键短语检测 | |
Ozcan et al. | Lip reading using convolutional neural networks with and without pre-trained models | |
CN108921037B (zh) | 一种基于BN-inception双流网络的情绪识别方法 | |
CN113516990B (zh) | 一种语音增强方法、训练神经网络的方法以及相关设备 | |
CN108304823A (zh) | 一种基于双卷积cnn和长短时记忆网络的表情识别方法 | |
CN113643723B (zh) | 一种基于注意力CNN Bi-GRU融合视觉信息的语音情感识别方法 | |
CN110222634A (zh) | 一种基于卷积神经网络的人体姿态识别方法 | |
CN110020582A (zh) | 基于深度学习的人脸情绪识别方法、装置、设备及介质 | |
CN112084891B (zh) | 基于多模态特征与对抗学习的跨域人体动作识别方法 | |
CN111401116B (zh) | 基于增强卷积和空时lstm网络的双模态情感识别方法 | |
CN109271912A (zh) | 视频分类方法、装置、电子设备及存储介质 | |
CN110163156A (zh) | 一种基于卷积自编码模型的唇部特征提取方法 | |
CN115631267A (zh) | 生成动画的方法及装置 | |
Salih et al. | Study of video based facial expression and emotions recognition methods | |
CN109948498A (zh) | 一种基于3d卷积神经网络算法的动态手势识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190607 |
|
RJ01 | Rejection of invention patent application after publication |