CN112329581A - 基于中文发音视觉特点的唇语识别方法 - Google Patents

基于中文发音视觉特点的唇语识别方法 Download PDF

Info

Publication number
CN112329581A
CN112329581A CN202011178528.XA CN202011178528A CN112329581A CN 112329581 A CN112329581 A CN 112329581A CN 202011178528 A CN202011178528 A CN 202011178528A CN 112329581 A CN112329581 A CN 112329581A
Authority
CN
China
Prior art keywords
pinyin
visual
sequence
decoder
chinese
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011178528.XA
Other languages
English (en)
Other versions
CN112329581B (zh
Inventor
袁家斌
何珊
陆要要
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN202011178528.XA priority Critical patent/CN112329581B/zh
Publication of CN112329581A publication Critical patent/CN112329581A/zh
Application granted granted Critical
Publication of CN112329581B publication Critical patent/CN112329581B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/12—Use of codes for handling textual entities
    • G06F40/126—Character encoding
    • G06F40/129—Handling non-Latin characters, e.g. kana-to-kanji conversion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Document Processing Apparatus (AREA)

Abstract

本发明公开一种基于中文发音视觉特点的唇语识别方法，包括以下步骤，首先，通过对拼音的视觉呈现进行分类，归纳得到的结果被命名为视觉拼音；然后，建立一个二级结构的中文句子级唇语识别模型，整体结构基于带有注意机制的序列到序列模型，将唇语识别过程划分为两个阶段：第一阶段将上述视觉拼音作为建模单元，通过卷积神经网络提取嘴唇视觉特征，对特征向量进行编码解码得到视觉拼音序列，第二阶段同时输入视觉拼音序列和第一阶段编码得到的嘴唇特征向量，最终将视觉拼音翻译成汉字语句。本发明实施于中文唇语识别，相比于用唇部特征直接识别汉字或通过拼音序列间接识别汉字，采用本发明的技术方案将有效提高唇语识别准确率。

Description

基于中文发音视觉特点的唇语识别方法
技术领域
本发明属于唇语识别技术领域，具体涉及一种基于中文发音视觉特点的唇语识别方法。
背景技术
人类语音互动本质上是多模式的，与他人交流时可以通过“听”和“看”来获取信息。在干净的声学条件下，听觉方式会携带大多数有用的信息，并且最新的技术水平已经能够自动准确地记录语音内容，准确率高达98％。而当音频通道被噪声破坏甚至没有声音时，视觉模态变得最有效，因为从中可以获得一定的语言特征。
唇语识别是融合了计算机视觉、语音识别和自然语言识别等多种技术的一个课题，目的是解码说话者嘴唇运动生成的文本，具有广阔的应用空间：嘈杂环境中的语音识别，公共场所的静默听写，无声影视资料处理等。现在，由于计算机视觉任务的进步，这种自动化应用是极具前景的。近年来，至少在数据集定义的词汇量有限的情况下，利用深度学习架构训练得到的唇读模型在很大程度上已经超过了专业读唇者。
发明内容
为了解决现有技术中的问题，本发明提出一种基于中文发音视觉特点的唇语识别方法，为了使唇语识别方法与汉语更加适配，也为了提升其识别率，提出了“视觉拼音”这一概念，并基于视觉拼音建立了一个中文句子级唇语识别模型。视觉拼音本质上就是拼音的视觉呈现，通过对唇形表达上易混淆的拼音，也即汉语音素中的辅音部分进行归类，最终映射得到的结果就被命名为视觉拼音。建立的中文句子级唇语识别模型包含两个识别过程：视频帧到视觉拼音的识别，视觉拼音到汉字的识别。视觉拼音的引进更有助于中文视频的解析，使得唇语识别的准确率更高。
为实现上述目的，本发明采用的技术方案为：
一种基于中文发音视觉特点的唇语识别方法，包括以下步骤：
步骤1，将64×80像素的视频帧序列x1,x2,…,xm输入到一个10层的卷积神经网络，提取得到512维的嘴唇特征向量；
步骤2，以拼音作为建模单元，将嘴唇特征向量输入到带有注意机制的序列到序列模型，得到汉语拼音序列；
步骤3，重复步骤1和步骤2，为预测得到的拼音序列中的声母和与之对应的实际拼音序列中的声母建立混淆矩阵，通过对声母的混淆程度进行归类，得到视觉拼音与对应拼音的映射关系；
步骤4，将步骤2中的建模单元替换成步骤3中得到的视觉拼音，重新对模型进行训练，将重新训练得到的模型命名为视觉拼音预测模型V2VP，V2VP的作用是将步骤1中的视频帧序列表达成视觉拼音序列；
步骤5，以汉字词作为建模单元，将短视频对应的正确的视觉拼音序列输入到带有注意机制的序列到序列模型中，最终得到汉字序列c1,c2,…,cl，该模型被命名为汉字预测模型VP2H；
步骤6，结合步骤4中的视觉拼音预测模型V2VP和步骤5中的汉字预测模型VP2H，得到一个端到端的中文句子级唇语识别模型CHSLR-VP，向中文句子级唇语识别模型CHSLR-VP中输入步骤1生成的嘴唇特征向量，首先得到与视频相对应的视觉拼音序列，再对视觉拼音进行翻译，最终得到短视频中说话者的讲话内容。
进一步的，所述步骤1中使用的卷积神经网络的卷积内核均为1×3×3，采用非线性激活Selu函数，所有的最大池化stride为1×2×2。
进一步的，所述步骤2中得到的汉语拼音序列是以分词为单位的序列。
进一步的，所述步骤3中对拼音的视觉呈现进行归类，实则是对汉语音素的归类，汉语音素分为元音和辅音，辅音中包含了所有的声母，元音在嘴型上是不容易混淆的，所以只对辅音即声母进行归类，归类后得到的视觉拼音与对应拼音的映射关系如下：视觉拼音B，对应的拼音b,p,m；视觉拼音F，对应的拼音f；视觉拼音D，对应的拼音d,t,声母n,l；视觉拼音G，对应的拼音g,k,h；视觉拼音J，对应的拼音j,q,x；视觉拼音R，对应的拼音zh,ch,sh,r,zhi,chi,shi,ri；视觉拼音Z，对应的拼音z,c,s,zi,ci,si；视觉拼音I，对应的拼音i,y,yi；视觉拼音U，对应的拼音u,w,wu；视觉拼音V，对应的拼音ü,yu；视觉拼音a，对应的拼音a；视觉拼音o，对应的拼音o；视觉拼音e，对应的拼音e；视觉拼音E，对应的拼音er；视觉拼音n，对应的拼音韵母n；视觉拼音N，对应的拼音ng。
进一步的，所述步骤4中V2VP模型以视觉拼音作为建模单元。
进一步的，所述步骤4中，视觉拼音预测模型V2VP将步骤1中得到的视频帧序列转为视觉拼音序列，该过程包括视频编码器和视觉拼音解码器，视频编码器首先将视频帧序列输入到CNN中以提取视觉特征，然后，将特征向量馈入GRU，编码过程表示为：
Figure BDA0002749430710000031
其中：xi代表视频帧序列x1,x2,…,xm的某一帧，
Figure BDA0002749430710000032
和
Figure BDA0002749430710000033
代表经视频编码器编码后的输出向量和隐状态向量，
Figure BDA0002749430710000034
和
Figure BDA0002749430710000035
代表视频编码器在第i个时间步长进行编码后的输出向量和隐状态向量，
Figure BDA0002749430710000036
代表视频编码器在第i-1个时间步长进行编码后生成的隐状态向量，视觉拼音解码器基于GRU transducer生成解码器状态
Figure BDA0002749430710000037
和输出状态向量
Figure BDA0002749430710000038
在预测视觉拼音序列p时，每个时间步长i使用视频编码器的输出来计算上下文向量，输出视觉拼音字符的概率分布P1是由MLP在输出上使用softmax生成的，整个解码过程通过以下等式表示：
Figure BDA0002749430710000039
Figure BDA00027494307100000310
Figure BDA00027494307100000311
其中：
Figure BDA00027494307100000312
和
Figure BDA00027494307100000313
代表经视觉拼音解码器解码后的输出向量和隐状态向量，
Figure BDA00027494307100000314
和
Figure BDA00027494307100000315
代表视觉拼音解码器在第i个时间步长进行解码后的输出向量和隐状态向量，
Figure BDA00027494307100000316
代表视觉拼音解码器在第i-1个时间步长进行解码后得到的隐状态向量，pi代表视觉拼音解码器在第i个时间步长预测得到的视觉拼音序列，pi-1代表视觉拼音解码器在第i-1个时间步长预测得到的视觉拼音序列，
Figure BDA00027494307100000317
代表第i个时间步长使用视频编码器的输出计算得到的上下文向量。
进一步的，所述步骤5中汉字预测模型VP2H使用的带有注意机制的序列到序列模型与视觉拼音预测模型V2VP的有所不同，除解码器外，在编码器中引入了注意机制，这是为后面两个模型组成一个整体时准备的。
进一步的，所述步骤5中，汉字预测模型VP2H包括视觉拼音编码器和汉字解码器，视觉拼音编码器首先对视觉拼音序列进行编码，编码过程表示为：
Figure BDA00027494307100000318
其中：
Figure BDA00027494307100000319
和
Figure BDA00027494307100000320
代表经视觉拼音编码器编码后的输出向量和隐状态向量，
Figure BDA00027494307100000321
和
Figure BDA00027494307100000322
代表视觉拼音编码器在第i个时间步长进行编码后的输出向量和隐状态向量，
Figure BDA00027494307100000323
代表视觉拼音编码器在第i-1个时间步长进行编码后生成的隐状态向量，pi代表视觉拼音解码器在第i个时间步长预测得到的视觉拼音序列，汉字解码器基于GRU transducer生成解码器状态
Figure BDA0002749430710000041
和输出状态向量
Figure BDA0002749430710000042
在预测汉字序列h时，每个时间步长i使用视觉拼音编码器的输出来计算上下文向量，输出汉字的概率分布P2是由MLP在输出上使用softmax生成的，整个解码过程通过以下等式表示：
Figure BDA0002749430710000043
Figure BDA0002749430710000044
Figure BDA0002749430710000045
其中：
Figure BDA0002749430710000046
和
Figure BDA0002749430710000047
代表经汉字解码器解码后的输出向量和隐状态向量，
Figure BDA0002749430710000048
和
Figure BDA0002749430710000049
代表汉字解码器在第i个时间步长进行解码后的输出向量和隐状态向量，
Figure BDA00027494307100000410
代表汉字解码器在第i-1个时间步长进行解码后得到的隐状态向量，hi代表汉字解码器在第i个时间步长预测得到的汉字序列，hi-1代表汉字解码器在第i-1个时间步长预测得到的汉字序列，
Figure BDA00027494307100000411
代表第i个时间步长使用视觉拼音编码器的输出计算得到的上下文向量。
进一步的，所述步骤6中构建的中文句子级唇语识别模型CHSLR-VP需要用到步骤5中的编码器注意机制，矫正视觉拼音预测部分生成的视觉拼音序列，在级联的汉字预测模型中输入视觉拼音序列的同时引入唇部特征向量。
进一步的，所述步骤6中中文句子级唇语识别模型CHSLR-VP包括视频编码器、视觉拼音解码器、视觉拼音编码器和汉字解码器，
(1)、视频帧经过卷积神经网络提取得到嘴唇特征向量；
(2)、嘴唇特征向量依次经过视频编码器、视觉拼音解码器得到视觉拼音序列，视觉拼音是衡量模型性能的一个重要元素，所以将其输入到视觉拼音编码器的同时，也要在视觉拼音解码器中输出这一中间结果，用以计算视觉拼音预测准确率；
(3)、视觉拼音编码器会对嘴唇特征向量进行编码处理，将经过编码处理的嘴唇特征向量和视觉拼音序列共同输入到视觉拼音编码器，目的是矫正视觉拼音序列，提升模型整体性能，最后再经过汉字解码器得到汉字序列。
本发明相比于现有技术，具有以下有益效果：
本发明是一种基于中文发音视觉特点提出的的句子级唇语识别模型，可以预测一段短视频中说话人的讲话内容。现如今深度学习技术飞速发展，与现实生活息息相关，利用合适的深度学习网络建立中文唇语识别模型具有广阔的应用前景和现实意义。通过本发明建立的唇语识别模型，结构清晰，训练简单，引入本发明提出的视觉拼音，可以比直接预测汉字或以拼音作为媒介预测汉字的方式更能提高模型的整体识别准确率，因为视觉拼音在一定程度上克服了汉语发音在视觉表达上的歧义性。
附图说明
图1是本发明的音素混淆矩阵；
图2是本发明的视觉拼音预测模型V2VP结构图；
图3是本发明的汉字预测模型VP2H结构图；
图4是本发明的中文句子级唇语识别模型CHSLR-VP结构图。
具体实施方式
下面结合实施例对本发明作更进一步的说明。
一种基于中文发音视觉特点的唇语识别方法，包括以下步骤：
步骤1，将64×80像素的视频帧序列x1,x2,…,xm输入到一个10层的卷积神经网络，提取得到512维的嘴唇特征向量；
作为一个优选方案，具体地讲，所述步骤1中使用的卷积神经网络的卷积内核均为1×3×3，采用非线性激活Selu函数，所有的最大池化stride为1×2×2。
步骤2，以拼音作为建模单元，将嘴唇特征向量输入到带有注意机制的序列到序列模型，得到汉语拼音序列；
作为一个优选方案，具体地讲，所述步骤2中得到的汉语拼音序列是以分词为单位的序列。
步骤3，重复步骤1和步骤2，为预测得到的拼音序列中的声母和与之对应的实际拼音序列中的声母建立混淆矩阵，通过对声母的混淆程度进行归类，得到视觉拼音与对应拼音的映射关系；
所述步骤3中对拼音的视觉呈现进行归类，实则是对汉语音素的归类，汉语音素分为元音和辅音，辅音中包含了所有的声母，元音在嘴型上是不容易混淆的，所以只对辅音即声母进行归类，归类后得到的视觉拼音与对应拼音的映射关系如下：视觉拼音B，对应的拼音b,p,m；视觉拼音F，对应的拼音f；视觉拼音D，对应的拼音d,t,声母n,l；视觉拼音G，对应的拼音g,k,h；视觉拼音J，对应的拼音j,q,x；视觉拼音R，对应的拼音zh,ch,sh,r,zhi,chi,shi,ri；视觉拼音Z，对应的拼音z,c,s,zi,ci,si；视觉拼音I，对应的拼音i,y,yi；视觉拼音U，对应的拼音u,w,wu；视觉拼音V，对应的拼音ü,yu；视觉拼音a，对应的拼音a；视觉拼音o，对应的拼音o；视觉拼音e，对应的拼音e；视觉拼音E，对应的拼音er；视觉拼音n，对应的拼音韵母n；视觉拼音N，对应的拼音ng。
步骤4，将步骤2中的建模单元替换成步骤3中得到的视觉拼音，重新对模型进行训练，将重新训练得到的模型命名为视觉拼音预测模型V2VP，V2VP的作用是将步骤1中的视频帧序列表达成视觉拼音序列；
作为一个优选方案，具体地讲，所述步骤4中V2VP模型以视觉拼音作为建模单元。
更为详细的说明，所述步骤4中，视觉拼音预测模型V2VP将步骤1中得到的视频帧序列转为视觉拼音序列，该过程包括视频编码器和视觉拼音解码器，视频编码器首先将视频帧序列输入到CNN中以提取视觉特征，然后，将特征向量馈入GRU，编码过程表示为：
Figure BDA0002749430710000061
其中：xi代表视频帧序列x1,x2,…,xm的某一帧，
Figure BDA0002749430710000062
和
Figure BDA0002749430710000063
代表经视频编码器编码后的输出向量和隐状态向量，
Figure BDA0002749430710000064
和
Figure BDA0002749430710000065
代表视频编码器在第i个时间步长进行编码后的输出向量和隐状态向量，
Figure BDA0002749430710000066
代表视频编码器在第i-1个时间步长进行编码后生成的隐状态向量，视觉拼音解码器基于GRU transducer生成解码器状态
Figure BDA0002749430710000067
和输出状态向量
Figure BDA0002749430710000068
在预测视觉拼音序列p时，每个时间步长i使用视频编码器的输出来计算上下文向量，输出视觉拼音字符的概率分布P1是由MLP在输出上使用softmax生成的，整个解码过程通过以下等式表示：
Figure BDA0002749430710000069
Figure BDA00027494307100000610
Figure BDA00027494307100000611
其中：
Figure BDA00027494307100000612
和
Figure BDA00027494307100000613
代表经视觉拼音解码器解码后的输出向量和隐状态向量，
Figure BDA00027494307100000614
和
Figure BDA00027494307100000615
代表视觉拼音解码器在第i个时间步长进行解码后的输出向量和隐状态向量，
Figure BDA00027494307100000616
代表视觉拼音解码器在第i-1个时间步长进行解码后得到的隐状态向量，pi代表视觉拼音解码器在第i个时间步长预测得到的视觉拼音序列，pi-1代表视觉拼音解码器在第i-1个时间步长预测得到的视觉拼音序列，
Figure BDA0002749430710000071
代表第i个时间步长使用视频编码器的输出计算得到的上下文向量。
步骤5，以汉字词作为建模单元，将短视频对应的正确的视觉拼音序列输入到带有注意机制的序列到序列模型中，最终得到汉字序列c1,c2,…,cl，该模型被命名为汉字预测模型VP2H；
所述步骤5中汉字预测模型VP2H使用的带有注意机制的序列到序列模型与视觉拼音预测模型V2VP的有所不同，除解码器外，在编码器中引入了注意机制，这是为后面两个模型组成一个整体时准备的。
更为详细的说明，所述步骤5中，汉字预测模型VP2H包括视觉拼音编码器和汉字解码器，视觉拼音编码器首先对视觉拼音序列进行编码，编码过程表示为：
Figure BDA0002749430710000072
其中：
Figure BDA0002749430710000073
和
Figure BDA0002749430710000074
代表经视觉拼音编码器编码后的输出向量和隐状态向量，
Figure BDA0002749430710000075
和
Figure BDA0002749430710000076
代表视觉拼音编码器在第i个时间步长进行编码后的输出向量和隐状态向量，
Figure BDA0002749430710000077
代表视觉拼音编码器在第i-1个时间步长进行编码后生成的隐状态向量，pi代表视觉拼音解码器在第i个时间步长预测得到的视觉拼音序列，汉字解码器基于GRU transducer生成解码器状态
Figure BDA0002749430710000078
和输出状态向量
Figure BDA0002749430710000079
在预测汉字序列h时，每个时间步长i使用视觉拼音编码器的输出来计算上下文向量，输出汉字的概率分布P2是由MLP在输出上使用softmax生成的，整个解码过程通过以下等式表示：
Figure BDA00027494307100000710
Figure BDA00027494307100000711
Figure BDA00027494307100000712
其中：
Figure BDA00027494307100000713
和
Figure BDA00027494307100000714
代表经汉字解码器解码后的输出向量和隐状态向量，
Figure BDA00027494307100000715
和
Figure BDA00027494307100000716
代表汉字解码器在第i个时间步长进行解码后的输出向量和隐状态向量，
Figure BDA00027494307100000717
代表汉字解码器在第i-1个时间步长进行解码后得到的隐状态向量，hi代表汉字解码器在第i个时间步长预测得到的汉字序列，hi-1代表汉字解码器在第i-1个时间步长预测得到的汉字序列，
Figure BDA00027494307100000718
代表第i个时间步长使用视觉拼音编码器的输出计算得到的上下文向量。
步骤6，结合步骤4中的视觉拼音预测模型V2VP和步骤5中的汉字预测模型VP2H，得到一个端到端的中文句子级唇语识别模型CHSLR-VP，向中文句子级唇语识别模型CHSLR-VP中输入步骤1生成的嘴唇特征向量，首先得到与视频相对应的视觉拼音序列，再对视觉拼音进行翻译，最终得到短视频中说话者的讲话内容。
作为一个优选方案，具体地讲，所述步骤6中构建的中文句子级唇语识别模型CHSLR-VP需要用到步骤5中的编码器注意机制，矫正视觉拼音预测部分生成的视觉拼音序列，在级联的汉字预测模型中输入视觉拼音序列的同时引入唇部特征向量。
如图4所示，所述步骤6中中文句子级唇语识别模型CHSLR-VP包括视频编码器、视觉拼音解码器、视觉拼音编码器和汉字解码器，
(1)、视频帧经过卷积神经网络提取得到嘴唇特征向量；
(2)、嘴唇特征向量依次经过视频编码器、视觉拼音解码器得到视觉拼音序列，视觉拼音是衡量模型性能的一个重要元素，所以将其输入到视觉拼音编码器的同时，也要在视觉拼音解码器中输出这一中间结果，用以计算视觉拼音预测准确率；
(3)、视觉拼音编码器会对嘴唇特征向量进行编码处理，将经过编码处理的嘴唇特征向量和视觉拼音序列共同输入到视觉拼音编码器，目的是矫正视觉拼音序列，提升模型整体性能，最后再经过汉字解码器得到汉字序列。
实施例1
一种基于中文发音视觉特点的唇语识别方法，包括以下步骤：
步骤1，将64×80像素的视频帧序列x1,x2,…,xm输入到一个10层的卷积神经网络，提取得到512维的嘴唇特征向量，卷积神经网络的卷积内核均为1×3×3，采用非线性激活Selu函数，所有的最大池化stride为1×2×2；
1.1嘴唇特征提取网络
在解析视频中说话者所讲内容之前，最关键的一步就是对每一个视频帧进行人脸唇部特征提取，特征提取网络是由10层CNN组成的，其中每两个为一体对图像进行处理，处理流程为Conv-Selu-Conv-Selu-MP-BN，每一次的输出大小如下表所示：
Figure BDA0002749430710000081
Figure BDA0002749430710000091
步骤2，以拼音作为建模单元，将嘴唇特征向量输入到带有注意机制的序列到序列网络，得到汉语拼音序列，该拼音序列以分词为单位，举例来说，假设视频中的人说了“我要申请一个专利”，经过该步骤解析出来的拼音序列为“woyao shenqing yige zhuanli”；
2.1带有注意机制的序列到序列体系结构
带有注意机制的序列到序列体系结构由编码器，解码器和注意机制组成。其中，编码器和解码器通常基于RNN(LSTM或GRU)，本发明应用的是GRU网络，相比于LSTM，它具有困惑度低，收敛速度快等优点。
注意机制的作用：对于长输入序列，编码过程通常有损，引入注意机制可以自动从编码器中选择最相关的信息，从而帮助解码器在每个解码步骤中预测准确的单元。具体来说，注意机制用于计算生成上下文向量。
2.2语素
语素，是指语言中最小的音义结合体。也就是说一个语言单位必须至少同时满足三个条件，即“最小、有音、有义”才能被称作语素，尤其是“最小”和“有义”。本发明对训练的所有语句都进行了以语素为基本单位的分词，并标记出每个分词对应的音节，因为本发明是对无声视频进行预测，所以去掉了声调。直接将一个分词的音节看作一个整体，这样在预测汉字时能有效提高模型准确率。
步骤3，重复步骤1和步骤2，为预测得到的拼音序列中的声母和与之对应的实际拼音序列中的声母建立混淆矩阵，通过对声母的混淆程度进行归类，得到视觉拼音表——拼音的视觉映射表。之所以只对声母进行归类，是因为汉语音素分为元音和辅音，辅音中包含了所有的声母，且通过研究可知，元音在嘴型上是不容易混淆的，所以只需对辅音也即声母进行归类即可；
3.1音素
汉字的发音可用拼音标记，而拼音由音节和声调组成，声调代表整个音节的音高，由于本发明是对无声视频进行识别，故不考虑声调。通过对中文的研究可知，汉字发音可以用1,300多个音节进行表示，一个音节又由声母和韵母组成，其中，声母是整个音节的开头，其余部分是韵母，声母有23个，可分为双唇音、唇齿音、齿龈音、龈颚音、卷舌音和软腭音；韵母有39个，可分为单元音韵母、复韵母和鼻韵母。全部声母加上一个“ng”组成辅音，单元音韵母组成元音，二者统称为音素，音素是最小的语音单位，依据音节里的发音动作分析，一个动作构成一个音素。举例来说，“中国”一词由两个音节组成，可以分解为“zh，o，ng，g，u，o”六个音素。中文音素共32个，详见下表：
Figure BDA0002749430710000101
3.2视觉拼音
不同的发音部位和发音方法决定了声音的不同，但在没有声音仅依据视觉判定发音时，某些音素是很难进行区分的。为了减少这种歧义，提出一个新的概念——视觉拼音，它是将视觉上相似度较高的音素进行分组归类得到的，按照Neti等人的方法计算音素的混淆矩阵。图1显示了6个混淆度最高的的音素矩阵，横坐标代表预测得到的音素，纵坐标代表实际音素，颜色越浅代表混淆度越高。
仅根据混淆矩阵不足以最终确定视觉拼音，仍有以下三种情况需要考虑：1)“f”作为唇齿音和“b，p，m”具有一定的视觉相似性，为了进一步确定“f”的分类，观察了以“f”或“b，p，m”作为声母，韵母相同的汉字对应的嘴唇视频帧序列。经过比较发现，“f”在发音时具有“咬下唇”的特点，而“b，p，m”则是爆破音，故“f”将单独划分为一类；2)在音节中存在“y”和“w”，它们并不是实际意义上的声母，因为声母是一个音节开头的辅音，以“y”、“w”为首的音节，虽然也处于开头的地位，但其实是元音“i”、“u”的大写形式。按照中文拼音的拼写规则，当“i”、“u”独立成音节时，必须在它们的面前分别加上“y”、“w”，所以视觉拼音会纳入二者；3)考虑到某些整体认读音节的发音与单个音素的视觉效果一样，将这样的音节也进行归类。综上所述，得到了如下表所示的视觉拼音字母表：
Figure BDA0002749430710000102
Figure BDA0002749430710000111
步骤4，将步骤2中的建模单元替换成步骤3中得到的视觉拼音，重新对网络进行训练，得到视觉拼音预测模型V2VP。依旧以“我要申请一个专利”为例，根据得到的视觉拼音表，可得出该句子对应的视觉拼音序列为“UoIao RenJIN IGe RUanDI”；
4.1视觉拼音预测模型V2VP
视觉拼音预测模型V2VP将输入的视频帧序列转为视觉拼音序列，其结构如图2所示。它主要由两部分组成：视频编码器和视觉拼音解码器。视频编码器首先将视频序列输入到CNN中以提取视觉特征，然后，将特征向量馈入GRU。
编码过程表示为：
Figure BDA0002749430710000112
其中：xi代表视频帧序列x1,x2,…,xm的某一帧，
Figure BDA0002749430710000113
和
Figure BDA0002749430710000114
代表经视频编码器编码后的输出向量和隐状态向量，
Figure BDA0002749430710000115
和
Figure BDA0002749430710000116
代表视频编码器在第i个时间步长进行编码后的输出向量和隐状态向量，
Figure BDA0002749430710000117
代表视频编码器在第i-1个时间步长进行编码后生成的隐状态向量，视觉拼音解码器基于GRU transducer生成解码器状态
Figure BDA0002749430710000118
和输出状态向量
Figure BDA0002749430710000119
在预测视觉拼音序列p时，每个时间步长i使用视频编码器的输出来计算上下文向量，输出视觉拼音字符的概率分布P1是由MLP在输出上使用softmax生成的，整个解码过程通过以下等式表示：
Figure BDA0002749430710000121
Figure BDA0002749430710000122
Figure BDA0002749430710000123
其中：
Figure BDA0002749430710000124
和
Figure BDA0002749430710000125
代表经视觉拼音解码器解码后的输出向量和隐状态向量，
Figure BDA0002749430710000126
和
Figure BDA0002749430710000127
代表视觉拼音解码器在第i个时间步长进行解码后的输出向量和隐状态向量，
Figure BDA0002749430710000128
代表视觉拼音解码器在第i-1个时间步长进行解码后得到的隐状态向量，pi代表视觉拼音解码器在第i个时间步长预测得到的视觉拼音序列，pi-1代表视觉拼音解码器在第i-1个时间步长预测得到的视觉拼音序列，
Figure BDA0002749430710000129
代表第i个时间步长使用视频编码器的输出计算得到的上下文向量。
步骤5，以汉字词作为建模单元，将视觉拼音序列输入到带有注意机制的序列到序列网络中，最终得到汉字序列c1,c2,…,cl，该模型被命名为汉字预测模型VP2H，该模型与视觉拼音预测模型的有所不同，除解码器外，在编码器中也引入了注意机制，但这是为后面两个模型组成一个整体时准备的，此处先忽略不计；
5.1汉字预测模型VP2H
汉字预测模型可以将视觉拼音序列转为汉字序列。该结构如图3所示，同样是基于具有注意机制的序列到序列体系结构。将编码器和解码器分别命名为视觉拼音编码器和汉字解码器。
视觉拼音编码器的操作类似于上述视频编码器。当汉字预测模型独立工作时，我们暂时先忽略编码器中的注意力机制。
具体地讲，汉字预测模型VP2H包括视觉拼音编码器和汉字解码器，视觉拼音编码器首先对视觉拼音序列进行编码，编码过程表示为：
Figure BDA00027494307100001210
其中：
Figure BDA00027494307100001211
和
Figure BDA00027494307100001212
代表经视觉拼音编码器编码后的输出向量和隐状态向量，
Figure BDA00027494307100001213
和
Figure BDA00027494307100001214
代表视觉拼音编码器在第i个时间步长进行编码后的输出向量和隐状态向量，
Figure BDA00027494307100001215
代表视觉拼音编码器在第i-1个时间步长进行编码后生成的隐状态向量，pi代表视觉拼音解码器在第i个时间步长预测得到的视觉拼音序列，汉字解码器基于GRU transducer生成解码器状态
Figure BDA00027494307100001216
和输出状态向量
Figure BDA00027494307100001217
在预测汉字序列h时，每个时间步长i使用视觉拼音编码器的输出来计算上下文向量，输出汉字的概率分布P2是由MLP在输出上使用softmax生成的，整个解码过程通过以下等式表示：
Figure BDA0002749430710000131
Figure BDA0002749430710000132
Figure BDA0002749430710000133
其中：
Figure BDA0002749430710000134
和
Figure BDA0002749430710000135
代表经汉字解码器解码后的输出向量和隐状态向量，
Figure BDA0002749430710000136
和
Figure BDA0002749430710000137
代表汉字解码器在第i个时间步长进行解码后的输出向量和隐状态向量，
Figure BDA0002749430710000138
代表汉字解码器在第i-1个时间步长进行解码后得到的隐状态向量，hi代表汉字解码器在第i个时间步长预测得到的汉字序列，hi-1代表汉字解码器在第i-1个时间步长预测得到的汉字序列，
Figure BDA0002749430710000139
代表第i个时间步长使用视觉拼音编码器的输出计算得到的上下文向量。
另外，由于拼音的总数只有1300左右，而中文汉字的数量超过了90000，甚至普通汉字也超过了3000。为了使模型更具鲁棒性，在该模型的训练过程中额外引入了大量的中文句子。
步骤6，结合步骤4中的视觉拼音预测模型V2VP和步骤5中的汉字预测模型VP2H，得到一个端到端的中文句子级唇语识别模型CHSLR-VP，整体架构如图4所示。向中文句子级唇语识别模型CHSLR-VP中输入步骤1生成的嘴唇特征向量，首先得到与视频相对应的视觉拼音序列，再对视觉拼音进行翻译，最终得到短视频中说话者的讲话内容。发明构建的最终模型需要用到步骤5中提到的编码器注意机制，在向级联的VP2H中输入视觉拼音序列的同时引入唇部特征向量，目的是矫正V2VP生成的视觉拼音序列。
作为一个优选方案，具体地讲，所述步骤6中构建的中文句子级唇语识别模型CHSLR-VP需要用到步骤5中的编码器注意机制，矫正视觉拼音预测部分生成的视觉拼音序列，在级联的汉字预测模型中输入视觉拼音序列的同时引入唇部特征向量。
如图4所示，所述步骤6中中文句子级唇语识别模型CHSLR-VP包括视频编码器、视觉拼音解码器、视觉拼音编码器和汉字解码器，
(1)、视频帧经过卷积神经网络提取得到嘴唇特征向量；
(2)、嘴唇特征向量依次经过视频编码器、视觉拼音解码器得到视觉拼音序列，视觉拼音是衡量模型性能的一个重要元素，所以将其输入到视觉拼音编码器的同时，也要在视觉拼音解码器中输出这一中间结果，用以计算视觉拼音预测准确率；
(3)、视觉拼音编码器会对嘴唇特征向量进行编码处理，将经过编码处理的嘴唇特征向量和视觉拼音序列共同输入到视觉拼音编码器，目的是矫正视觉拼音序列，提升模型整体性能，最后再经过汉字解码器得到汉字序列。
本发明首先通过对拼音的视觉呈现进行分类，将归纳得到的结果命名为视觉拼音。然后，基于视觉拼音建立一个二级结构的中文句子级唇语识别模型，将唇语识别的过程划分为两个阶段：第一阶段将上述视觉拼音作为建模单元，通过卷积神经网络提取嘴唇视觉特征，对特征向量用带有注意机制的序列到序列模型进行编码解码，得到视觉拼音序列；第二阶段同样基于带有注意机制的序列到序列模型，同时输入视觉拼音序列和第一阶段编码得到的嘴唇特征向量，最终将视觉拼音翻译成汉字语句。本发明实施于中文唇语识别，相比于用唇部特征直接识别汉字或通过拼音序列间接识别汉字，采用本发明的技术方案将有效提高唇语识别准确率。
以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种基于中文发音视觉特点的唇语识别方法，其特征在于，包括以下步骤：
步骤1，将64×80像素的视频帧序列x1,x2,…,xm输入到一个10层的卷积神经网络，提取得到512维的嘴唇特征向量；
步骤2，以拼音作为建模单元，将嘴唇特征向量输入到带有注意机制的序列到序列模型，得到汉语拼音序列；
步骤3，重复步骤1和步骤2，为预测得到的拼音序列中的声母和与之对应的实际拼音序列中的声母建立混淆矩阵，通过对声母的混淆程度进行归类，得到视觉拼音与对应拼音的映射关系；
步骤4，将步骤2中的建模单元替换成步骤3中得到的视觉拼音，重新对模型进行训练，将重新训练得到的模型命名为视觉拼音预测模型V2VP，V2VP的作用是将步骤1中的视频帧序列表达成视觉拼音序列；
步骤5，以汉字词作为建模单元，将短视频对应的正确的视觉拼音序列输入到带有注意机制的序列到序列模型中，最终得到汉字序列c1,c2，…,cl，该模型被命名为汉字预测模型VP2H；
步骤6，结合步骤4中的视觉拼音预测模型V2VP和步骤5中的汉字预测模型VP2H，得到一个端到端的中文句子级唇语识别模型CHSLR-VP，向中文句子级唇语识别模型CHSLR-VP中输入步骤1生成的嘴唇特征向量，首先得到与视频相对应的视觉拼音序列，再对视觉拼音进行翻译，最终得到短视频中说话者的讲话内容。
2.根据权利要求1所述的基于中文发音视觉特点的唇语识别方法，其特征在于：所述步骤1中使用的卷积神经网络的卷积内核均为1×3×3，采用非线性激活Selu函数，所有的最大池化stride为1×2×2。
3.根据权利要求1所述的基于中文发音视觉特点的唇语识别方法，其特征在于：所述步骤2中得到的汉语拼音序列是以分词为单位的序列。
4.根据权利要求1所述的基于中文发音视觉特点的唇语识别方法，其特征在于：所述步骤3中对拼音的视觉呈现进行归类，实则是对汉语音素的归类，汉语音素分为元音和辅音，辅音中包含了所有的声母，元音在嘴型上是不容易混淆的，所以只对辅音即声母进行归类，归类后得到的视觉拼音与对应拼音的映射关系如下：视觉拼音B，对应的拼音b,p,m；视觉拼音F，对应的拼音f；视觉拼音D，对应的拼音d,t,声母n,l；视觉拼音G，对应的拼音g,k,h；视觉拼音J，对应的拼音j,q,x；视觉拼音R，对应的拼音zh,ch,sh,r,zhi,chi,shi,ri；视觉拼音Z，对应的拼音z,c,s,zi,ci,si；视觉拼音I，对应的拼音i,y,yi；视觉拼音U，对应的拼音u,w,wu；视觉拼音V，对应的拼音ü,yu；视觉拼音a，对应的拼音a；视觉拼音o，对应的拼音o；视觉拼音e，对应的拼音e；视觉拼音E，对应的拼音er；视觉拼音n，对应的拼音韵母n；视觉拼音N，对应的拼音ng。
5.根据权利要求1所述的基于中文发音视觉特点的唇语识别方法，其特征在于：所述步骤4中V2VP模型以视觉拼音作为建模单元。
6.根据权利要求1所述的基于中文发音视觉特点的唇语识别方法，其特征在于：所述步骤4中，视觉拼音预测模型V2VP将步骤1中得到的视频帧序列转为视觉拼音序列，该过程包括视频编码器和视觉拼音解码器，视频编码器首先将视频帧序列输入到CNN中以提取视觉特征，然后，将特征向量馈入GRU，编码过程表示为：
Figure FDA0002749430700000021
其中：xi代表视频帧序列x1,x2,…,xm的某一帧，
Figure FDA0002749430700000025
和
Figure FDA0002749430700000026
代表经视频编码器编码后的输出向量和隐状态向量，
Figure FDA0002749430700000027
和
Figure FDA0002749430700000028
代表视频编码器在第i个时间步长进行编码后的输出向量和隐状态向量，
Figure FDA0002749430700000029
代表视频编码器在第i-1个时间步长进行编码后生成的隐状态向量，视觉拼音解码器基于GRU transducer生成解码器状态
Figure FDA00027494307000000210
和输出状态向量
Figure FDA00027494307000000211
在预测视觉拼音序列p时，每个时间步长i使用视频编码器的输出来计算上下文向量，输出视觉拼音字符的概率分布P1是由MLP在输出上使用softmax生成的，整个解码过程通过以下等式表示：
Figure FDA0002749430700000022
Figure FDA0002749430700000023
Figure FDA0002749430700000024
其中：
Figure FDA00027494307000000212
和
Figure FDA00027494307000000213
代表经视觉拼音解码器解码后的输出向量和隐状态向量，
Figure FDA00027494307000000214
和
Figure FDA00027494307000000215
代表视觉拼音解码器在第i个时间步长进行解码后的输出向量和隐状态向量，
Figure FDA00027494307000000216
代表视觉拼音解码器在第i-1个时间步长进行解码后得到的隐状态向量，pi代表视觉拼音解码器在第i个时间步长预测得到的视觉拼音序列，pi-1代表视觉拼音解码器在第i-1个时间步长预测得到的视觉拼音序列，
Figure FDA00027494307000000217
代表第i个时间步长使用视频编码器的输出计算得到的上下文向量。
7.根据权利要求1所述的基于中文发音视觉特点的唇语识别方法，其特征在于：所述步骤5中汉字预测模型VP2H使用的带有注意机制的序列到序列模型与视觉拼音预测模型V2VP的有所不同，除解码器外，在编码器中引入了注意机制。
8.根据权利要求1所述的基于中文发音视觉特点的唇语识别方法，其特征在于：所述步骤5中，汉字预测模型VP2H包括视觉拼音编码器和汉字解码器，视觉拼音编码器首先对视觉拼音序列进行编码，编码过程表示为：
Figure FDA0002749430700000031
其中：
Figure FDA0002749430700000035
和
Figure FDA0002749430700000036
代表经视觉拼音编码器编码后的输出向量和隐状态向量，
Figure FDA0002749430700000037
和
Figure FDA0002749430700000038
代表视觉拼音编码器在第i个时间步长进行编码后的输出向量和隐状态向量，
Figure FDA0002749430700000039
代表视觉拼音编码器在第i-1个时间步长进行编码后生成的隐状态向量，pi代表视觉拼音解码器在第i个时间步长预测得到的视觉拼音序列，汉字解码器基于GRU transducer生成解码器状态
Figure FDA00027494307000000310
和输出状态向量
Figure FDA00027494307000000311
在预测汉字序列h时，每个时间步长i使用视觉拼音编码器的输出来计算上下文向量，输出汉字的概率分布P2是由MLP在输出上使用softmax生成的，整个解码过程通过以下等式表示：
Figure FDA0002749430700000032
Figure FDA0002749430700000033
Figure FDA0002749430700000034
其中：
Figure FDA00027494307000000312
和
Figure FDA00027494307000000313
代表经汉字解码器解码后的输出向量和隐状态向量，
Figure FDA00027494307000000314
和
Figure FDA00027494307000000315
代表汉字解码器在第i个时间步长进行解码后的输出向量和隐状态向量，
Figure FDA00027494307000000316
代表汉字解码器在第i-1个时间步长进行解码后得到的隐状态向量，hi代表汉字解码器在第i个时间步长预测得到的汉字序列，hi-1代表汉字解码器在第i-1个时间步长预测得到的汉字序列，
Figure FDA00027494307000000317
代表第i个时间步长使用视觉拼音编码器的输出计算得到的上下文向量。
9.根据权利要求1所述的基于中文发音视觉特点的唇语识别方法，其特征在于：所述步骤6中构建的中文句子级唇语识别模型CHSLR-VP需要用到步骤5中的编码器注意机制，矫正视觉拼音预测部分生成的视觉拼音序列，在级联的汉字预测模型中输入视觉拼音序列的同时引入唇部特征向量。
10.根据权利要求1所述的基于中文发音视觉特点的唇语识别方法，其特征在于：所述步骤6中中文句子级唇语识别模型CHSLR-VP包括视频编码器、视觉拼音解码器、视觉拼音编码器和汉字解码器，
(1)、视频帧经过卷积神经网络提取得到嘴唇特征向量；
(2)、嘴唇特征向量依次经过视频编码器、视觉拼音解码器得到视觉拼音序列，视觉拼音是衡量模型性能的一个重要元素，所以将其输入到视觉拼音编码器的同时，也要在视觉拼音解码器中输出这一中间结果，用以计算视觉拼音预测准确率；
(3)、视觉拼音编码器会对嘴唇特征向量进行编码处理，将经过编码处理的嘴唇特征向量和视觉拼音序列共同输入到视觉拼音编码器，目的是矫正视觉拼音序列，提升模型整体性能，最后再经过汉字解码器得到汉字序列。
CN202011178528.XA 2020-10-29 2020-10-29 基于中文发音视觉特点的唇语识别方法 Active CN112329581B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011178528.XA CN112329581B (zh) 2020-10-29 2020-10-29 基于中文发音视觉特点的唇语识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011178528.XA CN112329581B (zh) 2020-10-29 2020-10-29 基于中文发音视觉特点的唇语识别方法

Publications (2)

Publication Number Publication Date
CN112329581A true CN112329581A (zh) 2021-02-05
CN112329581B CN112329581B (zh) 2024-04-02

Family

ID=74297285

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011178528.XA Active CN112329581B (zh) 2020-10-29 2020-10-29 基于中文发音视觉特点的唇语识别方法

Country Status (1)

Country Link
CN (1) CN112329581B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113435421A (zh) * 2021-08-26 2021-09-24 湖南大学 一种基于跨模态注意力增强的唇语识别方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111104884A (zh) * 2019-12-10 2020-05-05 电子科技大学 一种基于两阶段神经网络模型的汉语唇语识别方法
CN111178157A (zh) * 2019-12-10 2020-05-19 浙江大学 一种基于音调的级联序列到序列模型的中文唇语识别方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111104884A (zh) * 2019-12-10 2020-05-05 电子科技大学 一种基于两阶段神经网络模型的汉语唇语识别方法
CN111178157A (zh) * 2019-12-10 2020-05-19 浙江大学 一种基于音调的级联序列到序列模型的中文唇语识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YA ZHAO 等: "A Cascade Sequence-to-Sequence Model for Chinese Mandarin Lip Reading", ARXIV:1908.04917V2 [CS.CV] 28 NOV 2019, 28 November 2019 (2019-11-28) *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113435421A (zh) * 2021-08-26 2021-09-24 湖南大学 一种基于跨模态注意力增强的唇语识别方法及系统

Also Published As

Publication number Publication date
CN112329581B (zh) 2024-04-02

Similar Documents

Publication Publication Date Title
KR101153078B1 (ko) 음성 분류 및 음성 인식을 위한 은닉 조건부 랜덤 필드모델
US7996214B2 (en) System and method of exploiting prosodic features for dialog act tagging in a discriminative modeling framework
CN111429889A (zh) 基于截断注意力的实时语音识别的方法、装置、设备以及计算机可读存储介质
CN112151030B (zh) 一种基于多模态的复杂场景语音识别方法和装置
Ghai et al. Analysis of automatic speech recognition systems for indo-aryan languages: Punjabi a case study
CN111899716A (zh) 一种语音合成方法和系统
Lee et al. Audio-to-visual conversion using hidden markov models
CN111009235A (zh) 一种基于cldnn+ctc声学模型的语音识别方法
CN112735404A (zh) 一种语音反讽检测方法、系统、终端设备和存储介质
CN117043857A (zh) 用于英语发音评估的方法、设备和计算机程序产品
US11935523B2 (en) Detection of correctness of pronunciation
CN115827854A (zh) 语音摘要生成模型训练方法、语音摘要生成方法及装置
CN115410550A (zh) 一种细粒度韵律可控的情感语音合成方法、系统及存储介质
CN115171176A (zh) 对象情绪的分析方法、装置和电子设备
CN112329581B (zh) 基于中文发音视觉特点的唇语识别方法
CN111009236A (zh) 一种基于dblstm+ctc声学模型的语音识别方法
Thangthai Computer lipreading via hybrid deep neural network hidden Markov models
CN112766101B (zh) 一种中文唇语识别建模单元集的构建方法
Li et al. Joint Multiscale Cross-Lingual Speaking Style Transfer With Bidirectional Attention Mechanism for Automatic Dubbing
CN115547293A (zh) 一种基于分层韵律预测的多语言语音合成方法及系统
CN114446278A (zh) 语音合成方法及装置、设备以及存储介质
Azim et al. Using Character-Level Sequence-to-Sequence Model for Word Level Text Generation to Enhance Arabic Speech Recognition
Spijkerman Using voice conversion and time-stretching to enhance the quality of dysarthric speech for automatic speech recognition
Qian et al. A survey of technologies for automatic Dysarthric speech recognition
Suyanto et al. Automatic segmented-Syllable and deep learning-based Indonesian Audiovisual speech recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant