CN115171678A - 语音识别方法、装置、电子设备、存储介质及产品 - Google Patents
语音识别方法、装置、电子设备、存储介质及产品 Download PDFInfo
- Publication number
- CN115171678A CN115171678A CN202210617455.2A CN202210617455A CN115171678A CN 115171678 A CN115171678 A CN 115171678A CN 202210617455 A CN202210617455 A CN 202210617455A CN 115171678 A CN115171678 A CN 115171678A
- Authority
- CN
- China
- Prior art keywords
- user
- vehicle
- state
- instruction
- voice information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000003860 storage Methods 0.000 title claims abstract description 14
- 230000001815 facial effect Effects 0.000 claims abstract description 79
- 238000012545 processing Methods 0.000 claims description 26
- 238000006243 chemical reaction Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 10
- 230000003993 interaction Effects 0.000 claims description 9
- 238000005516 engineering process Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 10
- 238000007726 management method Methods 0.000 description 9
- 238000013473 artificial intelligence Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000003796 beauty Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 102100038612 Calmodulin-regulated spectrin-associated protein 3 Human genes 0.000 description 1
- 101000741294 Homo sapiens Calmodulin-regulated spectrin-associated protein 3 Proteins 0.000 description 1
- 206010061274 Malocclusion Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000009529 body temperature measurement Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/223—Execution procedure of a spoken command
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Medical Informatics (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Acoustics & Sound (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种语音识别方法、装置、电子设备、存储介质及产品，所述方法包括：响应车内用户的语音信息，获取所述用户的面部图像；根据所述面部图像上的面部特征确定所述用户的当前状态；在所述用户的当前状态满足设定条件时，对所述语音信息进行识别，得到识别结果；在所述识别结果为车机指令时，按照所述车机指令执行对应的操作。也就是说，本发明实施例中，根据面部图像上的面部特征来确定所述用户的当前状态，基于的用户的当前对语音信息进行识别，进而可以准确的判断出哪那些语音信息是车机指令，哪些语音信息不是车机指令，提高了车机准确执行车机指令的效率，降低车机误操作率，也提升了用户体验。
Description
技术领域
本发明涉及语音理解技术领域，尤其涉及一种语音识别方法、装置、电子设备、计算机可读存储介质及计算机程序产品。
背景技术
随着智能汽车的快速发展，语音功能是智能汽车的一个重要功能。用户每次和车机交流的时候都需要使用唤醒词，比如，“用户说：你好哪吒”，从而唤醒车机的语音功能，由于每次都要使用唤醒词，所以会比较麻烦。
基于此，相关技术中提出了“免唤醒”方案，但是，在“免唤醒”方案中，对于用户在车中说话时，车机并不能准确的判断出哪些话是对“车机的指令”，哪些话“不是对车机的指令”。从而就会造成“误召回”，导致车机错误的执行指令，从而影响用户体验。
因此，在检测到车内用户的语音时，如何准确的识别出哪些语音是车机的指令，降低车机的误操作率是目前有待解决的技术问题。
发明内容
本发明提供一种语音识别方法、装置、电子设备、计算机可读存储介质及计算机程序产品，以至少解决相关技术中由于对车内语音不能准确的识别出车机指令，导致车机执行错误的指令，增加误操作率的的技术问题。本发明的技术方案如下：
根据本发明实施例的第一方面，提供一种语音识别方法，包括：
响应车内用户的语音信息，获取所述用户的面部图像；
根据所述面部图像上的面部特征确定所述用户的当前状态；
在所述用户的当前状态满足设定条件时，对所述语音信息进行识别，得到识别结果；
在所述识别结果为车机指令时，按照所述车机指令执行对应的操作。
可选的，所述方法还包括：
在所述用户的当前状态不满足设定条件时，拒绝对所述语音信息进行识别。
可选的，所述根据所述面部图像上的面部特征确定所述用户的当前状态，至少包括下述一种：
获取车辆的信息状态，基于所述信息状态和所述面部图像的面部特征判定车载蓝牙电话没有开启时，确定所述用户处于非打电话状态；
在根据所述面部图像的面部特征判定所述用户的正脸看向车辆行驶方向时，确定所述用户处于正脸看向前的状态；
在根据所述面部图像的面部特征判定所述用户的嘴巴处于张合状态时，确定所述用户处于说话状态。
可选的，所述在所述用户的当前状态满足设定条件时，对所述语音信息进行识别，得到识别结果，包括：
在所述用户的当前状态为：所述用户处于非打电话状态、用户处于正脸向前看的状态和用户处于说话状态的至少一种时，确定所述用户满足设定条件；
对所述语音信息进行识别，得到识别结果。
可选的，所述对所述语音信息进行识别，得到识别结果，包括：
将所述语音信息进行本地语音文字转换处理，得到转换后的文本信息；或者
将所述语音信息发送给云端，由所述云端进行语音文字转换处理后得到文本信息；
接收所述云端发送的转换后的文本信息。
可选的，所述在所述识别结果为车机指令时，按照所述车机指令执行对应的操作，包括：
将所述识别结果通过训练好的车机指令识别模型进行判断，得到所述识别结果是车机指令；其中，所述训练好的车机指令识别模型是基于人与车机交互的多个历史音频对，文本对，以及场景和关键词进行学习训练得到的模型；
按照得到的所述车机指令执行对应的操作。
根据本发明实施例的第二方面，提供一种语音识别装置，包括：
获取模块，用于响应车内用户的语音信息，获取所述用户的面部图像；
确定模块，用于根据所述面部图像上的面部特征确定所述用户的当前状态；
识别模块，用于在所述用户的当前状态满足设定条件时，对所述语音信息进行识别，得到识别结果；
执行模块，在所述识别结果为车机指令时，按照所述车机指令执行对应的操作。
可选的，所述装置还包括：
拒识别模块，用于在所述用户的当前状态不满足设定条件时，拒绝对所述语音信息进行识别。
可选的，所述确定模块至少包括下述一个模块：
第一确定模块，用于基于获取车辆的信息状态和所述面部图像的面部特征判定车载蓝牙电话没有开启时，确定所述用户处于非打电话状态；
第二确定模块，用于在根据所述面部图像的面部特征判定所述用户的正脸看向车辆行驶方向时，确定所述用户处于正脸看向前的状态；
第三确定模块，用于在根据所述面部图像的面部特征判定所述用户的嘴巴处于张合状态时，确定所述用户处于说话状态。
可选的，所述识别模块包括：
第一判断模块，用于在所述用户的当前状态为：所述用户处于非打电话状态、用户处于正脸向前看的状态和用户处于说话状态的至少一种时，判定满足设定条件；
语音识别模块，用于对所述语音信息进行识别，得到识别结果。
可选的，所述语音识别模块包括：语音转换模块；和/或发送模块和接收模块，其中，
所述语音转换模块，用于将所述语音信息进行本地语音文字转换处理，得到转换后的文本信息；
所述发送模块，用于将所述语音信息发送给云端，由所述云端进行语音文字转换处理后得到文本信息；
所述接收模块，用于接收所述云端发送的转换后的文本信息。
可选的，所述执行模块包括：
第二判断模块，用于将所述识别结果通过训练好的车机指令识别模型进行判断，得到所述识别结果是车机指令；其中，所述训练好的车机指令识别模型是基于人与车机交互的多个历史音频对，文本对，以及场景和关键词进行学习训练得到的模型；
指令执行模块，用于按照第二判断模块得到的所述车机指令执行对应的操作。
根据本发明实施例的第三方面，提供一种电子设备，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如上所述的语音识别方法。
根据本发明实施例的第四方面，提供一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如上所述的语音识别方法。
根据本发明实施例的第五方面，提供一种计算机程序产品，包括计算机程序或指令，所述计算机程序或指令被处理器执行时实现如上所述的语音识别方法。
本发明的实施例提供的技术方案至少带来以下有益效果：
本发明实施例中，响应车内用户的语音信息，获取所述用户的面部图像；根据所述面部图像上的面部特征确定所述用户的当前状态；在所述用户的当前状态满足设定条件时，对所述语音信息进行识别，得到识别结果；在所述识别结果为车机指令时，按照所述车机指令执行对应的操作。也就是说，本发明实施例中，根据面部图像上的面部特征来确定所述用户的当前状态，基于的用户的当前对语音信息进行识别，进而可以准确的判断出哪那些语音信息是车机指令，哪些语音信息不是车机指令，提高了车机准确执行车机指令的效率，降低车机误操作率，也提升了用户体验。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理，并不构成对本发明的不当限定。
图1是本发明实施例提供的一种语音识别方法的流程图。
图2是本发明实施例提供的一种语音识别方法的应用实例的流程图。
图3是本发明实施例提供的一种语音识别装置的框图。
图4是本发明实施例提供的一种语音识别装置的另一框图。
图5是本发明实施例提供的一种确定模块的框图。
图6是本发明实施例提供的一种识别模块的框图。
图7是本发明实施例提供的一种执行模块的框图。
图8是本发明实施例提供的一种电子设备的框图。
图9是本发明实施例提供的一种用于语音识别的装置的框图。
具体实施方式
为了使本领域普通人员更好地理解本发明的技术方案，下面将结合附图，对本发明实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
近年来，基于人工智能的计算机视觉、深度学习、机器学习、图像处理、图像识别等技术研究取得了重要进展。人工智能(Artificial Intelligence，AI)是研究、开发用于模拟、延伸人的智能的理论、方法、技术及应用系统的新兴科学技术。人工智能学科是一门综合性学科，涉及芯片、大数据、云计算、物联网、分布式存储、深度学习、机器学习、神经网络等诸多技术种类。计算机视觉作为人工智能的一个重要分支，具体是让机器识别世界，计算机视觉技术通常包括人脸识别、活体检测、指纹识别与防伪验证、生物特征识别、人脸检测、行人检测、目标检测、行人识别、图像处理、图像识别、图像语义理解、图像检索、文字识别、视频处理、视频内容识别、行为识别、三维重建、虚拟现实、增强现实、同步定位与地图构建(SLAM)、计算摄影、机器人导航与定位等技术。随着人工智能技术的研究和进步，该项技术在众多领域展开了应用，例如安防、城市管理、交通管理、楼宇管理、园区管理、人脸通行、人脸考勤、物流管理、仓储管理、机器人、智能营销、计算摄影、手机影像、云服务、智能家居、穿戴设备、无人驾驶、自动驾驶、智能医疗、人脸支付、人脸解锁、指纹解锁、人证核验、智慧屏、智能电视、摄像机、移动互联网、网络直播、美颜、美妆、医疗美容、智能测温等领域。
图1是本发明实施例提供的一种语音识别方法的流程图，如图1所示，该语音识别方法包括以下步骤：
步骤101：响应车内用户的语音信息，获取所述用户的面部图像。
步骤102：根据所述面部图像上的面部特征确定所述用户的当前状态。
步骤103：在所述用户的当前状态满足设定条件时，对所述语音信息进行识别，得到识别结果。
步骤104：在所述识别结果为车机指令时，按照所述车机指令执行对应的操作。
本发明所述的语音识别方法可以应用于车机终端等，在此不作限制，其车机终端实施设备可以是智能车机，车机平台等等电子设备，在此不作限制。
下面结合图1，对本发明实施例提供的一种语音识别方法的具体实施步骤进行详细说明。
在步骤101中，响应车内用户的语音信息，获取所述用户的面部图像。
该步骤中，在车内的用户说话时，车机终端可以通过车辆上的麦克风检测到用户的语音信息，此时，可以通过车辆上的图像采集设备(比如摄像头等)获取车内用户的面部图像，该面部图像可以是一帧图像，也可以是多帧图像。其中，该图像采集设备可以设置在对准驾驶员的位置，以便于图像采集设备能清晰的采集到驾驶员的面部图像。
在步骤102中，根据所述面部图像上的面部特征确定所述用户的当前状态。
该步骤中，对获取到的面部图像进行识别，得到该面部图像上的面部特征点，根据该面部特征点确定该用户面部的当前状态。其中，对面部图像的识别，是利用计算机图像处理技术从面部图像中提取人像面部的特征点，比如，提取眼睛是否睁开，嘴巴是否张开等等。
之后，根据面部特征确定当前用户的面部状态可以包括下述至少一种，但并不限于此：
1)获取车辆的信息状态，基于所述信息状态和所述面部图像的面部特征判定车载蓝牙电话没有开启时，确定所述用户处于非打电话状态。
也就是说，先获取车辆的信息状态，比如，车内的蓝牙电话(即车载蓝牙电话)是否开启，然后，再结合面部图像中的面部特征(比如嘴巴是否张合等)来判断该用户是否在打电话。比如，如果车载蓝牙电话处于打开状态，且该用户的嘴巴处于张开状态，则确定该用户此时正在打电话状态；否则，判断用户处于非打电话状态，比如车载蓝牙电话处于非打开状态，且该用户的嘴巴处于张合状态，则确定该用户处于说话状态，而并非是该用户处于非打电话状态；当然，如果车载蓝牙电话处于非打开状态，且该用户的嘴巴处于闭合状态，则确定该用户没有说话，处于安静状态等。
2)在根据所述面部图像的面部特征判定所述用户的双目看向车辆行驶方向时，确定所述用户处于正面看向前的状态。
该步骤中，可以通过多角度人脸识别技术来判断用户的正脸是否看向车辆行驶方向，如果是，则确定该用户处于正脸向前看的状态，否则，判断该用户处于非正脸向前看的状态。也就是判断用户的正脸是否向车辆行驶方法的九十度范围内看，如果是，则确定正脸处于向前的状态。
该实施例中，多角度人脸识别技术是多姿态人脸识别技术的分支。其中，一种深度学习的多角度人脸识别算法包括：首先，构建深度学习训练数据集，其次，训练一个深度人脸分类器；最后，应用分类器进行人脸检测。其具体的的实现过程，对于本领域已是熟知技术，在不再赘述。
也就是说，这种算法就是将人脸侧面图像作为输入，相应的人脸正面图像作为输出，监督模型学习出从不同姿态的人脸侧面图像到正面图像的映射，从而增加了识别中的有效面部信息。当然，在实际应用中，并不限于此，比如，还可以通过训练好的人脸角度分类模型判断用户是否向前看的正面角度，如果判断该用户正脸向前九十度范围内，都确定该用户正脸向前看。
3)在根据所述面部图像判定所述用户的嘴巴处于张合状态时，确定所述用户处于说话状态。
该步骤中，根据面部图像的面部特征判定所述用户的嘴巴是否处于张合状态时，如果是，确定所述用户处于说话状态，否则确定该用户处于非说话状态。
具体的，可以通过唇动特征提取算法(或者是唇动模型)来判断用户是否开口，从而确定该用户是否唇动。当然，也可以基于唇动的说话用户识别技术，通过离散余弦变换,从说话用户讲话时的图像序列，提取既能反映说话人嘴部生理特性，又能反映了说话人唇动的行为特性的视觉特征，基于这些视觉特征，为说话用户建立静态与动态混合模型，用来判断用户是否发生唇动。其具体的过程，对于本领域技术人员来说，已是熟知技术，在此不再赘述。
在步骤103中，在所述用户的当前状态满足设定条件时，对所述语音信息进行识别，得到识别结果。
该步骤中，在确定用户的当前状态后，需要判断该用户的当前状态是否处于满足设定条件，如果满足，则执行所述对所述语音信息进行识别的步骤，否则，则拒绝对所述语音信息进行识别，即拒识别。其中，设定条件至少包括下述一种：用户处于非打电话状态，用户处于正脸向前看的状态，以及用户处于说话状态等。主要判断用户的当前状态满足上述至少一个设定条件时，就可以执行对该语音信息的识别。本实施例的最佳方式就是全部满足上述所有设定条件。
其中，再另一实施例中，对所述语音信息进行识别，得到识别结果，包括：
一种情况是，将所述语音信息进行本地语音文字转换处理，得到转换后的文本信息。
另一种情况是，将所述语音信息发送给云端，由所述云端进行语音文字转换处理后得到文本信息；接收所述云端发送的转换后的文本信息。
其具体的语音文字转换处理过程，对于本领域技术人员来说已是熟知技术，在此不再赘述。
在步骤104中，在所述识别结果为车机指令时，按照所述车机指令执行对应的操作。
在对该语音信息进行识别后，将得到的识别结果输入到训练好的车机指令模型进行判断，该所述识别结果是否是车机指令。其中，所述训练好的车机指令识别模型是基于人与车机交互的多个历史音频对，文本对，以及场景和关键词进行学习训练得到的模型。
可选的，一种实施例中，预先对车机指令识别模型进行训练，其中，训练该车机指令识别模型的输入通常选取多次人与车机(简称人机)交互的历史对话音频等，比如选取10轮人机交互对话的音频、文本，并确认该用户是否对车机进行说话(或对车机说的车机指令)记录每一轮识别的结果；其车机指令识别模型的输出结果包括：1是对车机说话，即是车机指令；0不是对车说话，即非车机指令；当然，也可以设置为：0是对车机说话，1不是对车机说话等，本实施例不做限制。
该实施例中，对车机指令识别模型的训练，就是让车机指令模型从中学习到的知识。
一种情况是，本实施例选取大量的数据组进行学习，每组数据包含：历史音频和当前音频中学习出哪种类型的音频是对车机说话的，即对车机发出的车机指令。
另一种情况，本实施例还可以从文本中，学习出哪些文本是命令词，在命令词不够丰富的情况下，用历史结果作为本次的输入，从而提供车机指令识别模型训练的精度。
本发明实施例中，响应车内用户的语音信息，获取所述用户的面部图像；根据所述面部图像上的面部特征确定所述用户的当前状态；在所述用户的当前状态满足设定条件时，对所述语音信息进行识别，得到识别结果；在所述识别结果为车机指令时，按照所述车机指令执行对应的操作。也就是说，本发明实施例中，根据面部图像上的面部特征来确定所述用户的当前状态，基于的用户的当前对语音信息进行识别，进而可以准确的判断出哪那些语音信息是车机指令，哪些语音信息不是车机指令，提高了车机执行准确车机指令的效率，降低车机误操作率，也提升了用户体验。
还请参阅图2，为本发明实施例提供的一种语音识别方法的应用实例图，所述方法应用于车机终端，所述方法包括：
步骤201：检测到车内用户的语音信息；
该步骤中，当车内有用户说话时，车机终端检测到该用户的语音信息。
步骤202：获取所述用户的面部图像；
步骤203：根据所述面部图像上的面部特征确定所述用户的当前状态；
其中，所述用户的当前状态以包括：用户处于非打电话状态，用户处于正脸看向前方的状态和所述用户处于说话状态为例，但在实际应用中，并不限于此。
步骤204：判断所述用户的当前状态是否在打电话，如果否，执行步骤205；否则，执行步骤210：
步骤205：判断所述用户的当前状态是否处于正脸看向车辆行驶方向，如果是，执行步骤206；否则，执行步骤210：
步骤206：判断所述用户的当前状态是否嘴巴处于张合状态，如果是，执行步骤207；否则，执行步骤210：
步骤207：对所述语音信息进行识别，得到识别结果；
步骤208：判断所述识别结果是否为车机指令，如果是，执行步骤209；否则，执行步骤211；
步骤209：按照所述车机指令执行对应的操作；
步骤210：拒绝对所述语音信息进行识别，即拒识别。
步骤211：拒绝执行所述识别结果。
当然也可以删除或忽略该识别结果。
该实施例中，各个步骤的实现过程详见上述对应实施例的实现过程，在此不再赘述。
本发明实施例中，根据面部图像上的面部特征来确定所述用户的当前状态，基于的用户的当前对语音信息进行识别，进而可以准确的判断出哪那些语音信息是车机指令，哪些语音信息不是车机指令，即通过多模(比如视觉和音频等)去判断该语音信息是不是车机指令，提高了车机执行准确车机指令的效率，降低车机“误召回”的几率，也提升了用户体验。也即是说，本发明实施例利用车内的视觉系统和语音系统，降低车机“误召回”率，提升了用户体验。
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本实施公开并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明所必须的。
图3是本发明实施例提供的一种语音识别装置的框图。参照图3，该装置包括：获取模块301，确定模块302，识别模块303和执行模块304，其中，
该获取模块301，用于响应车内用户的语音信息，获取所述用户的面部图像；
该确定模块302，用于根据所述面部图像上的面部特征确定所述用户的当前状态；
该识别模块303，用于在所述用户的当前状态满足设定条件时，对所述语音信息进行识别，得到识别结果；
该执行模块304，在所述识别结果为车机指令时，按照所述车机指令执行对应的操作。
可选的，在另一实施例中，该实施例在上述实施例的基础上，所述装置还包括：拒识别模块401，其结构框图如图4所示，其中，
该拒识别模块401，用于在所述用户的当前状态不满足设定条件时，拒绝对所述语音信息进行识别。
可选的，在另一实施例中，该实施例在上述实施例的基础上，所述确定模块302至少包括下述一个模块：第一确定模块501，第二确定模块502和第三确定模块503，其结构框图如图5所示，其中，本实施例以同时包括所有模块为例：
该第一确定模块501，用于基于获取车辆的信息状态和所述面部图像的面部特征判定车载蓝牙电话没有开启时，确定所述用户处于非打电话状态；
该第二确定模块502，用于在根据所述面部图像的面部特征判定所述用户的正脸看向车辆行驶方向时，确定所述用户处于正脸看向前的状态；
该第三确定模块503，用于在根据所述面部图像的面部特征判定所述用户的嘴巴处于张合状态时，确定所述用户处于说话状态。
可选的，在另一实施例中，该实施例在上述实施例的基础上，所述识别模块303包括：第一判断模块601和语音识别模块602，其结构框图如图6所示，其中，
该第一判断模块601，用于在所述用户的当前状态为：所述用户处于非打电话状态、用户处于正脸向前看的状态和用户处于说话状态的至少一种时，判定满足设定条件；
该语音识别模块602，用于对所述语音信息进行识别，得到识别结果。
可选的，在另一实施例中，该实施例在上述实施例的基础上，所述语音识别模块包括：语音转换模块；和/或发送模块和接收模块，其中，
该语音转换模块，用于将所述语音信息进行本地语音文字转换处理，得到转换后的文本信息；
该发送模块，用于将所述语音信息发送给云端，由所述云端进行语音文字转换处理后得到文本信息；
该接收模块，用于接收所述云端发送的转换后的文本信息。
可选的，在另一实施例中，该实施例在上述实施例的基础上，所述执行模块304包括：第二判断模块701和指令执行模块702，其结构框图如图7所示，其中，
该第二判断模块701，用于将所述识别结果通过训练好的车机指令识别模型进行判断，得到所述识别结果是车机指令；其中，所述训练好的车机指令识别模型是基于人与车机交互的多个历史音频对，文本对，以及场景和关键词进行学习训练得到的模型；
该指令执行模块702，用于按照第二判断模块701得到的所述车机指令执行对应的操作。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
可选的，本发明实施例还提供一种电子设备，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如上所述的语音识别方法。
可选的，本发明实施例还一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如上所述的语音识别方法。可选地，计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
可选的，本发明实施例还一种计算机程序产品，包括计算机程序或指令，所述计算机程序或指令被处理器执行时实现如上所述的语音识别方法。
图8是本发明实施例提供的一种电子设备800的框图。例如，电子设备800可以为移动终端也可以为服务器，本发明实施例中以电子设备为移动终端为例进行说明。例如,电子设备800可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
参照图8，电子设备800可以包括以下一个或多个组件：处理组件802，存储器804，电力组件806，多媒体组件808，音频组件810，输入/输出(I/O)的接口812，传感器组件814，以及通信组件816。
处理组件802通常控制电子设备800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在设备800的操作。这些数据的示例包括用于在电子设备800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件806为电子设备800的各种组件提供电力。电源组件806可以包括电源管理系统，一个或多个电源，及其他与为电子设备800生成、管理和分配电力相关联的组件。
多媒体组件808包括在所述电子设备800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当设备800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(MIC)，当电子设备800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。
I/O接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器，用于为电子设备800提供各个方面的状态评估。例如，传感器组件814可以检测到设备800的打开/关闭状态，组件的相对定位，例如所述组件为电子设备800的显示器和小键盘，传感器组件814还可以检测电子设备800或电子设备800一个组件的位置改变，用户与电子设备800接触的存在或不存在，电子设备800方位或加速/减速和电子设备800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件816被配置为便于电子设备800和其他设备之间有线或无线方式的通信。电子设备800可以接入基于通信标准的无线网络，如WiFi，运营商网络(如2G、3G、4G或5G)，或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件816还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在实施例中，电子设备800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述所示的语音识别方法。
在实施例中，还提供了一种计算机可读存储介质，例如包括指令的存储器804，上述指令可由电子设备800的处理器820执行以完成上述所示的语音识别方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在实施例中，还提供了一种计算机程序产品，当计算机程序产品中的指令由电子设备800的处理器820执行时，使得电子设备800执行上述所示的语音识别方法。
图9是本发明实施例提供的一种用于语音识别的装置900的框图。例如，装置900可以被提供为一服务器。参照图9，装置900包括处理组件922，其进一步包括一个或多个处理器，以及由存储器932所代表的存储器资源，用于存储可由处理组件922的执行的指令，例如应用程序。存储器932中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件922被配置为执行指令，以执行上述方法。
装置900还可以包括一个电源组件926被配置为执行装置900的电源管理，一个有线或无线网络接口950被配置为将装置900连接到网络，和一个输入输出(I/O)接口958。装置900可以操作基于存储在存储器932的操作系统，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM或类似。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。
Claims (10)
1.一种语音识别方法，其特征在于，包括：
响应车内用户的语音信息，获取所述用户的面部图像；
根据所述面部图像上的面部特征确定所述用户的当前状态；
在所述用户的当前状态满足设定条件时，对所述语音信息进行识别，得到识别结果；
在所述识别结果为车机指令时，按照所述车机指令执行对应的操作。
2.根据权利要求1所述的语音识别方法，其特征在于，所述方法还包括：
在所述用户的当前状态不满足设定条件时，拒绝对所述语音信息进行识别。
3.根据权利要求1或2所述的语音识别方法，其特征在于，所述根据所述面部图像上的面部特征确定所述用户的当前状态，至少包括下述一种：
获取车辆的信息状态，基于所述信息状态和所述面部图像的面部特征判定车载蓝牙电话没有开启时，确定所述用户处于非打电话状态；
在根据所述面部图像的面部特征判定所述用户的正脸看向车辆行驶方向时，确定所述用户处于正脸看向前的状态；
在根据所述面部图像的面部特征判定所述用户的嘴巴处于张合状态时，确定所述用户处于说话状态。
4.根据权利要求3所述的语音识别方法，其特征在于，所述在所述用户的当前状态满足设定条件时，对所述语音信息进行识别，得到识别结果，包括：
在所述用户的当前状态为：所述用户处于非打电话状态、用户处于正脸向前看的状态和用户处于说话状态的至少一种时，确定所述用户满足设定条件；
对所述语音信息进行识别，得到识别结果。
5.根据权利要求4所述的语音识别方法，其特征在于，所述对所述语音信息进行识别，得到识别结果，包括：
将所述语音信息进行本地语音文字转换处理，得到转换后的文本信息；或者
将所述语音信息发送给云端，由所述云端进行语音文字转换处理后得到文本信息；
接收所述云端发送的转换后的文本信息。
6.根据权利要求4所述的语音识别方法，其特征在于，所述在所述识别结果为车机指令时，按照所述车机指令执行对应的操作，包括：
将所述识别结果通过训练好的车机指令识别模型进行判断，得到所述识别结果是车机指令；其中，所述训练好的车机指令识别模型是基于人与车机交互的多个历史音频对，文本对，以及场景和关键词进行学习训练得到的模型；
按照得到的所述车机指令执行对应的操作。
7.一种语音识别装置，其特征在于，包括：
获取模块，用于响应车内用户的语音信息，获取所述用户的面部图像；
确定模块，用于根据所述面部图像上的面部特征确定所述用户的当前状态；
识别模块，用于在所述用户的当前状态满足设定条件时，对所述语音信息进行识别，得到识别结果；
执行模块，在所述识别结果为车机指令时，按照所述车机指令执行对应的操作。
8.一种电子设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如权利要求1至6中任一项所述的语音识别方法。
9.一种计算机可读存储介质，其特征在于，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如权利要求1至6中任一项所述的语音识别方法。
10.一种计算机程序产品，包括计算机程序或指令，其特征在于，所述计算机程序或指令被处理器执行时实现权利要求1至6任一项所述的语音识别方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210617455.2A CN115171678A (zh) | 2022-06-01 | 2022-06-01 | 语音识别方法、装置、电子设备、存储介质及产品 |
| PCT/CN2022/117333 WO2023231211A1 (zh) | 2022-06-01 | 2022-09-06 | 语音识别方法、装置、电子设备、存储介质及产品 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210617455.2A CN115171678A (zh) | 2022-06-01 | 2022-06-01 | 语音识别方法、装置、电子设备、存储介质及产品 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115171678A true CN115171678A (zh) | 2022-10-11 |
Family
ID=83483240
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210617455.2A Pending CN115171678A (zh) | 2022-06-01 | 2022-06-01 | 语音识别方法、装置、电子设备、存储介质及产品 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN115171678A (zh) |
| WO (1) | WO2023231211A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117238291A (zh) * | 2023-11-14 | 2023-12-15 | 暗物智能科技(广州)有限公司 | 一种多模态语音拒识识别方法 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118072376B (zh) * | 2024-04-18 | 2024-07-12 | 三峡高科信息技术有限责任公司 | 安全交接文档的生成方法、装置、存储介质及计算机设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019007245A1 (zh) * | 2017-07-04 | 2019-01-10 | 阿里巴巴集团控股有限公司 | 一种处理方法、控制方法、识别方法及其装置和电子设备 |
| WO2019201304A1 (zh) * | 2018-04-20 | 2019-10-24 | 比亚迪股份有限公司 | 基于人脸识别的语音处理方法及其设备 |
| US20200058302A1 (en) * | 2018-04-26 | 2020-02-20 | Boe Technology Group Co., Ltd. | Lip-language identification method and apparatus, and augmented reality device and storage medium |
| US20200066272A1 (en) * | 2018-08-27 | 2020-02-27 | Kyocera Corporation | Electronic device with speech recognition function, control method of electronic device with speech recognition function, and recording medium |
| CN113539265A (zh) * | 2021-07-13 | 2021-10-22 | 中国第一汽车股份有限公司 | 一种控制方法、装置、设备及存储介质 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017035768A1 (zh) * | 2015-09-01 | 2017-03-09 | 涂悦 | 一种基于视觉唤醒的语音控制方法 |
| WO2021114224A1 (zh) * | 2019-12-13 | 2021-06-17 | 华为技术有限公司 | 语音检测方法、预测模型的训练方法、装置、设备及介质 |
| CN113674746B (zh) * | 2021-08-18 | 2022-09-16 | 北京百度网讯科技有限公司 | 人机交互方法、装置、设备以及存储介质 |
| CN114187637A (zh) * | 2021-12-13 | 2022-03-15 | 中国第一汽车股份有限公司 | 车辆控制方法、装置、电子设备及存储介质 |
| CN114333017A (zh) * | 2021-12-29 | 2022-04-12 | 阿波罗智联(北京)科技有限公司 | 一种动态拾音方法、装置、电子设备及存储介质 |
-
2022
- 2022-06-01 CN CN202210617455.2A patent/CN115171678A/zh active Pending
- 2022-09-06 WO PCT/CN2022/117333 patent/WO2023231211A1/zh unknown
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019007245A1 (zh) * | 2017-07-04 | 2019-01-10 | 阿里巴巴集团控股有限公司 | 一种处理方法、控制方法、识别方法及其装置和电子设备 |
| WO2019201304A1 (zh) * | 2018-04-20 | 2019-10-24 | 比亚迪股份有限公司 | 基于人脸识别的语音处理方法及其设备 |
| US20200058302A1 (en) * | 2018-04-26 | 2020-02-20 | Boe Technology Group Co., Ltd. | Lip-language identification method and apparatus, and augmented reality device and storage medium |
| US20200066272A1 (en) * | 2018-08-27 | 2020-02-27 | Kyocera Corporation | Electronic device with speech recognition function, control method of electronic device with speech recognition function, and recording medium |
| CN113539265A (zh) * | 2021-07-13 | 2021-10-22 | 中国第一汽车股份有限公司 | 一种控制方法、装置、设备及存储介质 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117238291A (zh) * | 2023-11-14 | 2023-12-15 | 暗物智能科技(广州)有限公司 | 一种多模态语音拒识识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023231211A1 (zh) | 2023-12-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109871896B (zh) | 数据分类方法、装置、电子设备及存储介质 | |
| US20210103733A1 (en) | Video processing method, apparatus, and non-transitory computer-readable storage medium | |
| US10282597B2 (en) | Image classification method and device | |
| WO2023231211A1 (zh) | 语音识别方法、装置、电子设备、存储介质及产品 | |
| CN105654039B (zh) | 图像处理的方法和装置 | |
| CN110602527A (zh) | 视频处理方法、装置及存储介质 | |
| CN113486760A (zh) | 对象说话检测方法及装置、电子设备和存储介质 | |
| CN113488043B (zh) | 乘员说话检测方法及装置、电子设备和存储介质 | |
| CN111435422B (zh) | 动作识别方法、控制方法及装置、电子设备和存储介质 | |
| CN105791325A (zh) | 图像发送方法和装置 | |
| CN111582383A (zh) | 属性识别方法及装置、电子设备和存储介质 | |
| CN112185388A (zh) | 语音识别方法、装置、设备及计算机可读存储介质 | |
| CN114333774B (zh) | 语音识别方法、装置、计算机设备及存储介质 | |
| CN111580773A (zh) | 信息处理方法、装置及存储介质 | |
| CN115171692A (zh) | 一种语音交互方法和装置 | |
| CN110321829A (zh) | 一种人脸识别方法及装置、电子设备和存储介质 | |
| CN115733918A (zh) | 飞行模式的切换方法、装置、电子设备及存储介质 | |
| CN109102812B (zh) | 一种声纹识别方法、系统及电子设备 | |
| CN111507131A (zh) | 活体检测方法及装置、电子设备和存储介质 | |
| CN112863511B (zh) | 信号处理方法、装置以及存储介质 | |
| CN113315904B (zh) | 拍摄方法、拍摄装置及存储介质 | |
| CN114495072A (zh) | 乘员状态检测方法及装置、电子设备和存储介质 | |
| CN115810252A (zh) | 疲劳驾驶预警方法、装置、设备、系统及存储介质 | |
| CN115510336A (zh) | 信息处理方法、装置、电子设备及存储介质 | |
| CN115766929B (zh) | 车载座舱的变声通话方法、装置、系统、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 314500 988 Tong Tong Road, Wu Tong Street, Tongxiang, Jiaxing, Zhejiang Applicant after: United New Energy Automobile Co.,Ltd. Address before: 314500 988 Tong Tong Road, Wu Tong Street, Tongxiang, Jiaxing, Zhejiang Applicant before: Hozon New Energy Automobile Co., Ltd. |
|
| CB02 | Change of applicant information |