CN110970029A - 车辆、车机设备及基于语音语义识别的车载语音交互方法 - Google Patents

车辆、车机设备及基于语音语义识别的车载语音交互方法 Download PDF

Info

Publication number
CN110970029A
CN110970029A CN201811141981.6A CN201811141981A CN110970029A CN 110970029 A CN110970029 A CN 110970029A CN 201811141981 A CN201811141981 A CN 201811141981A CN 110970029 A CN110970029 A CN 110970029A
Authority
CN
China
Prior art keywords
voice
vehicle
user
method based
interaction method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811141981.6A
Other languages
English (en)
Inventor
应宜伦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Pateo Electronic Equipment Manufacturing Co Ltd
Original Assignee
Shanghai Pateo Electronic Equipment Manufacturing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Pateo Electronic Equipment Manufacturing Co Ltd filed Critical Shanghai Pateo Electronic Equipment Manufacturing Co Ltd
Priority to CN201811141981.6A priority Critical patent/CN110970029A/zh
Publication of CN110970029A publication Critical patent/CN110970029A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • B60R16/0373—Voice control
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L15/222—Barge in, i.e. overridable guidance for interrupting prompts

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Navigation (AREA)

Abstract

本申请提供一种车辆、车机设备及其基于语音语义识别的车载语音交互方法，在进行语音播报时，车机设备实时判断是否接收到用户的语音信号，在判断接收到语音信号时，根据所述语音信号识别所述用户的目标意图，接着判断所述用户的目标意图是否包括预先设置的用于打断语音播报并触发重新接收用户的语音信号的预设词句，如果包括预先设置的用于打断语音播报并触发重新接收用户的语音信号的预设词句，则车机设备停止当前语音播报并再次启动获取用户的语音信号。本申请能够将语音交互技术引用到车机设备中，利用语音识别技术能减少用户手动操作，而且能够让用户在任意时刻可以打断车机设备的语音播报，实现仿人类的轻松交流，更加适合实际体验使用。

Description

车辆、车机设备及基于语音语义识别的车载语音交互方法
技术领域
本申请涉及语音监测技术领域，具体涉及一种基于语音语义识别的车载语音交互方法，采用所述基于语音语义识别的车载语音交互方法的车机设备，以及应用所述车机设备的车辆。
背景技术
现有技术中，用户无法利用现有的导航系统直接语音触发并搜寻到目的地，或者手动搜寻的过程中需要用户自己动手去筛选，或者驾驶线路上存在拥堵状况只能在启动导航线路规划前进行规避，车主在导航中发现拥堵，只能自行切换路线，设备后续重新计算。车主自行切换线路存在一定的不确定性，不能保证车主选择的线路是最快速线路。而且，现有的人机语音交互模式使用起来非常不便，每次一问一答，都需要用户干预，操作繁琐，人机交互方式也很不自然，用户体验度较差。
特别是有时需要设备语音播放非常漫长的内容，用户才能获取信息或作出相应操作，导致用户无法实时地作出反馈选择，甚至出现错误反馈的情况。
针对现有技术的多方面不足，本申请的发明人经过深入研究，提出一种车辆、车机设备及基于语音语义识别的车载语音交互方法。
发明内容
本申请的目的在于，提供一种车辆、车机设备及基于语音语义识别的车载语音交互方法，能够将语音交互技术引用到车机设备中，利用语音识别技术能减少用户手动操作，而且能够让用户在任意时刻可以打断车机设备的语音播报，实现仿人类的轻松交流，更加适合实际体验使用。
为解决上述技术问题，本申请提供一种基于语音语义识别的车载语音交互方法，所述基于语音语义识别的车载语音交互方法包括如下步骤：
在进行语音播报时，车机设备实时判断是否接收到用户的语音信号；
在判断接收到语音信号时，根据所述语音信号识别所述用户的目标意图；
判断所述用户的目标意图是否包括预先设置的用于打断语音播报并触发重新接收用户的语音信号的预设词句；
若判断到包括预先设置的用于打断语音播报并触发重新接收用户的语音信号的预设词句，车机设备停止当前语音播报并再次启动获取用户的语音信号。
作为其中一种实施方式，所述车机设备停止当前语音播报并再次启动获取用户的语音信号的步骤，具体包括如下过程：
车机设备获取自身播报的与用户进行沟通的多段语音内容，根据所述语音内容获取用户的语音信息并结合多段语音内容判断用户的目标意图。
作为其中一种实施方式，所述车机设备支持多轮语音信号，所述根据所述语音信号识别所述用户的目标意图的步骤，具体包括如下过程：
接收用户一次或多次说出的多轮语音信号；
分帧提取多轮语音信号的语音特征信息，根据语音特征信息和预设的声学模型生成所述多轮语音信号的识别结果；
根据所述识别结果和预设的静音检测算法检测出多轮语音信号的语音端点；
根据所述语音端点计算多轮语音信号的置信度信息，并解析多轮语音信号的语义信息；
根据所述置信度信息和所述语义信息获取多轮语音信号对应的语音解析结果；
根据所述语音解析结果识别出所述用户的目标意图。
作为其中一种实施方式，所述根据语音特征信息和预设的声学模型生成多轮语音信号的识别结果的步骤，具体包括如下过程：
在生成语音特征信息后，采用预设的声学模型计算每帧多轮语音信号在每个建模单元上的似然值，通过预设的动态规划算法得到最优状态转移序列及其对应的词序列，并将所得到的最优状态转移序列及其对应的词序列作为所述多轮语音信号的识别结果。
作为其中一种实施方式，所述声学模型为基于神经网络的声学模型。
作为其中一种实施方式，所述根据所述语音端点计算多轮语音信号的置信度信息的步骤，具体包括如下过程：
根据所述语音端点和所述多轮语音信号的信噪比计算多轮语音信号中每个词、短语的置信度信息，并结合声学后验的方式验证多轮语音信号整体的语义信息。
作为其中一种实施方式，所述根据所述语音信号识别所述用户的目标意图的步骤，具体包括如下过程：
接收用户采用自然语言的语音信号输入并生成语音文件；
将所述语音文件转换成纯文本文件；
对所述纯文本文件进行文本分词，其中，所述分词采用中文词典，所述中文词典采用树状结构；
根据分词后的文本识别第一关键词，对于未能识别的文本则采用预先建立的用户习惯用词库进行匹配识别以得到第二关键词；
将所述第一关键词和所述第二关键词进行组合以识别得到所述用户的目标意图。
作为其中一种实施方式，所述接收用户采用自然语言的语音信号输入并生成语音文件的步骤，还包括对所述语音文件进行去除口语化用词的过程。
为解决上述技术问题，本申请还提供一种车机设备，所述车机设备包括处理器，所述处理器用于执行基于语音语义识别的车载语音交互的程序数据，以实现上述的基于语音语义识别的车载语音交互方法的步骤。
为解决上述技术问题，本申请还提供一种车辆，所述车辆配置有上述的车机设备，所述车辆为无人驾驶车辆、人工驾驶车辆、或在无人驾驶车辆与人工驾驶车辆之间自由切换的智能车辆。
本申请车辆、车机设备及基于语音语义识别的车载语音交互方法，在进行语音播报时，车机设备实时判断是否接收到用户的语音信号，在判断接收到语音信号时，根据所述语音信号识别所述用户的目标意图，接着判断所述用户的目标意图是否包括预先设置的用于打断语音播报并触发重新接收用户的语音信号的预设词句，如果是，则车机设备停止当前语音播报并再次启动获取用户的语音信号。本申请能够将语音交互技术引用到车机设备中，利用语音识别技术能减少用户手动操作，而且能够让用户在任意时刻可以打断车机设备的语音播报，实现仿人类的轻松交流，更加适合实际体验使用。
上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图,详细说明如下。
附图说明
图1为本申请基于语音语义识别的车载语音交互方法一实施方式的流程示意图。
图2为图1所示基于语音语义识别的车载语音交互方法中步骤S102的一实施方式流程示意图。
图3为图1所示基于语音语义识别的车载语音交互方法中步骤S102的另一实现方式流程示意图。
图4为本申请车机设备一实施方式的结构示意图。
具体实施方式
为更进一步阐述本申请为达成预定申请目的所采取的技术手段及功效,以下结合附图及较佳实施例，对本申请详细说明如下。
通过具体实施方式的说明,当可对本申请为达成预定目的所采取的技术手段及效果得以更加深入且具体的了解，然而所附图式仅是提供参考与说明之用,并非用来对本申请加以限制。
请参阅图1，图1为本申请基于语音语义识别的车载语音交互方法一实施方式的流程示意图。
在本实施方式中，所述基于语音语义识别的车载语音交互方法包括但不限于如下步骤。
步骤S101，在进行语音播报时，车机设备实时判断是否接收到用户的语音信号；其中，若判断未接收到语音信号则不作处理；
步骤S102，在判断接收到语音信号时，根据所述语音信号识别所述用户的目标意图；
步骤S103，判断所述用户的目标意图是否包括预先设置的用于打断语音播报并触发重新接收用户的语音信号的预设词句；其中，若判断为不需要则不作处理；
步骤S104，若判断到包括预先设置的用于打断语音播报并触发重新接收用户的语音信号的预设词句，车机设备停止当前语音播报并再次启动获取用户的语音信号。
需要说明的是，本实施方式可以应用到播放多媒体上，也可以应用到导航规划过程中，比如在导航地图上推送导航路线，同时车机设备通过语音播放的方式将沿途主要的路段名称播放提示给用户，此时，车机设备实时判断是否获取到用户的预设词句。举例而言，本实施方式的预设词句可以为“等一下”、“确认”、“第一个”、“导航”、“好吧”或“休息”等等。
需要特别说明的是，为进一步便于用户操作，还可以通过再次检测是否有指定用户的声纹信息进行处理，比如，车机设备在播报语音内容时，如果检测到A声纹的A用户发出声音，则判断可能要终止播报并重新获取A用户的语音信息和操作指令等。
值得一提的是，为了实现用户和车机设备之间的交互、即时沟通，提高用户体验，本实施方式所述车机设备可以支持多轮语音信号，相应地，请参阅图2，图2为图1所示基于语音语义识别的车载语音交互方法中步骤S102的一实施方式流程示意图，本实施方式所述根据所述语音信号识别所述用户的目标意图的步骤，具体可以包括如下过程。
步骤S201，接收用户一次或多次说出的多轮语音信号；
步骤S202，分帧提取多轮语音信号的语音特征信息，根据语音特征信息和预设的声学模型生成所述多轮语音信号的识别结果；
步骤S203，根据所述识别结果和预设的静音检测算法检测出多轮语音信号的语音端点；
步骤S204，根据所述语音端点计算多轮语音信号的置信度信息，并解析多轮语音信号的语义信息；
步骤S205，根据所述置信度信息和所述语义信息获取多轮语音信号对应的语音解析结果；
步骤S206，根据所述语音解析结果识别出所述用户的目标意图。
进一步而言，所述根据语音特征信息和预设的声学模型生成多轮语音信号的识别结果的步骤，具体可以包括如下过程：在生成语音特征信息后，采用预设的声学模型计算每帧多轮语音信号在每个建模单元上的似然值，通过预设的动态规划算法得到最优状态转移序列及其对应的词序列，并将所得到的最优状态转移序列及其对应的词序列作为所述多轮语音信号的识别结果。
在本实施方式中，所述声学模型可以为基于神经网络的声学模型。
需要说明的是，本实施方式所述根据所述语音端点计算多轮语音信号的置信度信息的步骤，具体包括如下过程：根据所述语音端点和所述多轮语音信号的信噪比计算多轮语音信号中每个词、短语的置信度信息，并结合声学后验的方式验证多轮语音信号整体的语义信息。
值得注意的是，为了方便用户操作，用户无需进行预先训练词语、也无需采用固定的词语，本申请可以直接对普通的自然语言进行识别处理，具体而言，请参阅图3，图3为图1所示基于语音语义识别的车载语音交互方法中步骤S102的另一实现方式流程示意图，本实施方式所述根据所述语音信号识别所述用户的目标意图的步骤，具体可以包括如下过程。
步骤S301，接收用户采用自然语言的语音信号输入并生成语音文件；
步骤S302，将所述语音文件转换成纯文本文件；
步骤S303，对所述纯文本文件进行文本分词，其中，所述分词采用中文词典，所述中文词典采用树状结构；
步骤S304，根据分词后的文本识别第一关键词，对于未能识别的文本则采用预先建立的用户习惯用词库进行匹配识别以得到第二关键词；
步骤S305，将所述第一关键词和所述第二关键词进行组合以识别得到所述用户的目标意图。
需要说明的是，所述接收用户采用自然语言的语音信号输入并生成语音文件的步骤，还包括对所述语音文件进行去除口语化用词的过程。通过这种方式，用户可以更加自然地使用语音进行控制。
在本实施方式中，所述车机设备停止当前语音播报并再次启动获取用户的语音信号的步骤，具体包括如下过程：车机设备获取自身播报的与用户进行沟通的多段语音内容，根据所述语音内容获取用户的语音信息并结合多段语音内容判断用户的目标意图。
在其他实施方式中，比如在导航领域，所述目标意图还可以为指定必须走某条路段，此时，在重新规划时则可以将该路段预先加入到导航路线中，接着根据起点、该路段和终点进行重新规划得到导航路线。
值得一提的是，本实施方式可以支持反复多次进行重新规划导航路线，而且在同一次重新规划导航路线时，可以支持同时对多段摒弃路段进行多选，比如用户说“不走A路”、“不走S路”而且“不走x快速”，或者说“我要走Y路”而且“要经过H快速”等等。
举例而言，本实施方式可以实现下述应用例：
用户语音说：“帮我找一下周边的加油站”；
车机设备处理后，语音播报说：“第一，宛平路加油站，第二，虹桥加油站，第三、、、”；
用户随即语音说：“导航到第一个”；
车机设备停止语音播报，并获取到用户的“导航到第一个”语音信息，接着进行分析处理。
本实施方式可以针对用户选择的情况下，将这些关键词进行预设、而存为可以打断车机设备的关键词；此外，本实施方式还可以根据用户的口头禅，学习用户喜欢说的开头词，实现个性化自动智能生成预设词句。
本申请能够将语音交互技术引用到车机设备中，利用语音识别技术能减少用户手动操作，而且能够让用户在任意时刻可以打断车机设备的语音播报，实现仿人类的轻松交流，更加适合实际体验使用。
请接着参阅图4，图4为本申请车机设备一实施方式的结构示意图。
本申请还提供一种车机设备，所述车机设备包括处理器41，所述处理器41用于执行基于语音语义识别的车载语音交互的程序数据，以实现上述的基于语音语义识别的车载语音交互方法的步骤。
具体而言，在进行语音播报时，所述处理器41实时判断是否接收到用户的语音信号；其中，若判断未接收到语音信号则不作处理；
在判断接收到语音信号时，所述处理器41根据所述语音信号识别所述用户的目标意图；
所述处理器41判断所述用户的目标意图是否包括预先设置的用于打断语音播报并触发重新接收用户的语音信号的预设词句；其中，若判断为不需要则不作处理；
若判断到包括预先设置的用于打断语音播报并触发重新接收用户的语音信号的预设词句，所述处理器41停止当前语音播报并再次启动获取用户的语音信号。
需要说明的是，本实施方式可以应用到播放多媒体上，也可以应用到导航规划过程中，比如在导航地图上推送导航路线，同时车机设备通过语音播放的方式将沿途主要的路段名称播放提示给用户，此时，车机设备实时判断是否获取到用户的预设词句。举例而言，本实施方式的预设词句可以为“等一下”、“确认”、“第一个”、“导航”、“好吧”或“休息”等等。
需要特别说明的是，为进一步便于用户操作，还可以通过再次检测是否有指定用户的声纹信息进行处理，比如，车机设备在播报语音内容时，如果检测到A声纹的A用户发出声音，则判断可能要终止播报并重新获取A用户的语音信息和操作指令等。
值得一提的是，为了实现用户和车机设备之间的交互、即时沟通，提高用户体验，本实施方式所述车机设备可以支持多轮语音信号，所述处理器41具体可以实现如下处理过程。
所述处理器41接收用户一次或多次说出的多轮语音信号；
所述处理器41分帧提取多轮语音信号的语音特征信息，根据语音特征信息和预设的声学模型生成所述多轮语音信号的识别结果；
所述处理器41根据所述识别结果和预设的静音检测算法检测出多轮语音信号的语音端点；
所述处理器41根据所述语音端点计算多轮语音信号的置信度信息，并解析多轮语音信号的语义信息；
所述处理器41根据所述置信度信息和所述语义信息获取多轮语音信号对应的语音解析结果；
所述处理器41根据所述语音解析结果识别出所述用户的目标意图。
进一步而言，所述处理器41在生成语音特征信息后，采用预设的声学模型计算每帧多轮语音信号在每个建模单元上的似然值，通过预设的动态规划算法得到最优状态转移序列及其对应的词序列，并将所得到的最优状态转移序列及其对应的词序列作为所述多轮语音信号的识别结果。
在本实施方式中，所述声学模型可以为基于神经网络的声学模型。
需要说明的是，本实施方式所述处理器41还可以根据所述语音端点和所述多轮语音信号的信噪比计算多轮语音信号中每个词、短语的置信度信息，并结合声学后验的方式验证多轮语音信号整体的语义信息。
值得注意的是，为了方便用户操作，用户无需进行预先训练词语、也无需采用固定的词语，本申请可以直接对普通的自然语言进行识别处理，具体而言，所述处理器41具体可以实现如下过程。
所述处理器41接收用户采用自然语言的语音信号输入并生成语音文件；
所述处理器41将所述语音文件转换成纯文本文件；
所述处理器41对所述纯文本文件进行文本分词，其中，所述分词采用中文词典，所述中文词典采用树状结构；
所述处理器41根据分词后的文本识别第一关键词，对于未能识别的文本则采用预先建立的用户习惯用词库进行匹配识别以得到第二关键词；
所述处理器41将所述第一关键词和所述第二关键词进行组合以识别得到所述用户的目标意图。
需要说明的是，所述处理器41还可以对所述语音文件进行去除口语化用词。通过这种方式，用户可以更加自然地使用语音进行控制。
在本实施方式中，所述处理器41还可以获取自身播报的与用户进行沟通的多段语音内容，根据所述语音内容获取用户的语音信息并结合多段语音内容判断用户的目标意图。
同时，本申请还提供一种车辆，所述车辆配置有上述的车机设备，所述车辆为无人驾驶车辆、人工驾驶车辆、或在无人驾驶车辆与人工驾驶车辆之间自由切换的智能车辆。
其中，所述车机设备和车辆之间可以通过有线或者无线的方式进行连接，比如5G(第五代移动通信技术)和WIFI等。
需要说明的是，本实施方式车机设备和车辆均可以采用WIFI技术或5G技术等，比如利用5G车联网网络实现彼此的网络连接，本实施方式所采用的5G技术可以是一个面向场景化的技术，本申请利用5G技术对车辆起到关键的支持作用，其同时实现连接人、连接物或连接车辆，其具体可以采用下述三个典型应用场景组成。
第一个是eMBB(Enhance Mobile Broadband，增强移动宽带)，使用户体验速率在0.1～1gpbs，峰值速率在10gbps，流量密度在10Tbps/km2；
第二个超可靠低时延通信，本申请可以实现的主要指标是端到端的时间延迟为ms(毫秒)级别；可靠性接近100％；
第三个是mMTC(海量机器类通信)，本申请可以实现的主要指标是连接数密度，每平方公里连接100万个其他终端，10^6/km2。
通过上述方式，本申请利用5G技术的超可靠、低时延时的特点，结合比如雷达和摄像头等就可以给车辆提供显示的能力，可以跟车辆实现互动，同时利用5G技术的交互式感知功能，用户可以对外界环境做一个输出，不光能探测到状态，还可以做一些反馈等。进一步而言，本申请还可以应用到自动驾驶的协同里面，比如车辆编队等。
此外，本申请还可以利用5G技术实现通信增强自动驾驶感知能力，并且可以满足车内乘客对AR(增强现实)/VR(虚拟现实)、游戏、电影、移动办公等车载信息娱乐，以及高精度的需求。本申请可以实现厘米级别的3D高精度定位地图的下载量在3～4Gb/km，正常车辆限速120km/h(千米/时)下每秒钟地图的数据量为90Mbps～120Mbps(兆比特每秒)，同时还可以支持融合车载传感器信息的局部地图实时重构，以及危险态势建模与分析等。
在本申请中，上述车机设备可以使用到具备车辆TBOX的车辆系统中，其还可以连接到车辆的CAN总线上。
在本实施方式中，CAN可以包括三条网络通道CAN_1、CAN_2和CAN_3，车辆还可以设置一条以太网网络通道，其中三条CAN网络通道可以通过两个车联网网关与以太网网络通道相连接，举例而言，其中CAN_1网络通道包括混合动力总成系统，其中CAN_2网络通道包括运行保障系统，其中CAN_3网络通道包括电力测功机系统，以太网网络通道包括高级管理系统，所述的高级管理系统包括作为节点连接在以太网网络通道上的人-车-路模拟系统和综合信息采集单元，所述的CAN_1网络通道、CAN_2网络通道与以太网网络通道的车联网网关可以集成在综合信息采集单元中；CAN_3网络通道与以太网网络通道的车联网网关可以集成在人-车-路模拟系统中。
进一步而言，所述的CAN_1网络通道连接的节点有：发动机ECU、电机MCU、电池BMS、自动变速器TCU以及混合动力控制器HCU；CAN_2网络通道连接的节点有：台架测控系统、油门传感器组、功率分析仪、瞬时油耗仪、直流电源柜、发动机水温控制系统、发动机机油温度控制系统、电机水温控制系统以及发动机中冷温度控制系统；CAN_3网络通道连接的节点有：电力测功机控制器。
优选的所述的CAN_1网络通道的速率为250Kbps，采用J1939协议；CAN_2网络通道的速率为500Kbps，采用CANopen协议；CAN_3网络通道的速率为1Mbps，采用CANopen协议；以太网网络通道的速率为10/100Mbps，采用TCP/IP协议。
在本实施方式中，所述车联网网关支持5G技术的5G网络，其还可以配备有IEEE802.3接口、DSPI接口、eSCI接口、CAN接口、MLB接口、LIN接口和/或I2C接口。
在本实施方式中，比如，IEEE802.3接口可以用于连接无线路由器，为整车提供WIFI网络；DSPI(提供者管理器组件)接口用于连接蓝牙适配器和NFC(近距离无线通讯)适配器，可以提供蓝牙连接和NFC连接；eSCI接口用于连接4G/5G模块，与互联网通讯；CAN接口用于连接车辆CAN总线；MLB接口用于连接车内的MOST(面向媒体的系统传输)总线，LIN接口用于连接车内LIN(局域互联网络)总线；IC接口用于连接DSRC(专用短程通讯)模块和指纹识别模块。此外，本申请可以通过采用MPC5668G芯片对各个不同协议进行相互转换，将不同的网络进行融合。
此外，本实施方式车辆TBOX系统，或Telematics-BOX，简称车载TBOX或远程信息处理器。
本实施方式Telematics为远距离通信的电信(Telecommunications)与信息科学(Informatics)的合成，其定义为通过内置在车辆上的计算机系统、无线通信技术、卫星导航装置、交换文字、语音等信息的互联网技术而提供信息的服务系统。简单的说就通过无线网络将车辆接入互联网(车联网系统)，为车主提供驾驶、生活所必需的各种信息。
此外，本实施方式Telematics是无线通信技术、卫星导航系统、网络通信技术和车载电脑的综合，当车辆行驶当中出现故障时，通过无线通信连接服务中心，进行远程车辆诊断，内置在发动机上的计算机可以记录车辆主要部件的状态，并随时为维修人员提供准确的故障位置和原因。通过用户通讯终端接收信息并查看交通地图、路况介绍、交通信息、安全与治安服务以及娱乐信息服务等，另外，本实施方式的车辆还可以在后座设置电子游戏和网络应用。不难理解，本实施方式通过Telematics提供服务，可以方便用户了解交通信息、临近停车场的车位状况，确认当前位置，还可以与家中的网络服务器连接,及时了解家中的电器运转情况、安全情况以及客人来访情况等等。
本实施方式车辆还可设置ADAS(Advanced Driver Assistant System，先进驾驶辅助系统)，其可以利用安装于车辆上的上述各种传感器，在第一时间收集车内外的环境数据，进行静、动态物体的辨识、侦测与追踪等技术上的处理，从而能够让驾驶者在最快的时间察觉可能发生的危险，以引起注意和提高安全性。对应地，本申请ADAS还可以采用雷达、激光和超声波等传感器，可以探测光、热、压力或其它用于监测车辆状态的变量，通常位于车辆的前后保险杠、侧视镜、驾驶杆内部或者挡风玻璃上。不难看出，上述ADAS功能所使用的各种智能硬件，均可以通过以太网链路的方式接入车联网系统实现通信连接、交互。
本实施方式车辆的主机可包括适当的逻辑器件、电路和/或代码以用于实现OSI模型(Open System Interconnection，开放式通信系统互联参考模型)上面五层的运行和/或功能操作。因此，主机会生成用于网络传输的数据包和/或对这些数据包进行处理，并且还会对从网络接受到的数据包进行处理。同时，主机可通过执行相应指令和/或运行一种或多种应用程序来为本地用户和/或一个或多个远程用户或网络节点提供服务。在本申请的不同实施方式中，主机可采用一种或多种安全协议。
以上所述，仅是本申请的较佳实施例而已，并非对本申请作任何形式上的限制，虽然本申请已以较佳实施例揭露如上，然而并非用以限定本申请,任何熟悉本专业的技术人员，在不脱离本申请技术方案范围内,当可利用上述揭示的技术内容作出些许更动或修饰为等同变化的等效实施例,但凡是未脱离本申请技术方案内容，依据本申请的技术实质对以上实施例所作的任何简单修改、等同变化与修饰,均仍属于本申请技术方案的范围内。

Claims (10)

1.一种基于语音语义识别的车载语音交互方法，其特征在于，所述基于语音语义识别的车载语音交互方法包括：
在进行语音播报时，车机设备实时判断是否接收到用户的语音信号；
在判断接收到语音信号时，根据所述语音信号识别所述用户的目标意图；
判断所述用户的目标意图是否包括预先设置的用于打断语音播报并触发重新接收用户的语音信号的预设词句；
若判断到包括预先设置的用于打断语音播报并触发重新接收用户的语音信号的预设词句，车机设备停止当前语音播报并再次启动获取用户的语音信号。
2.根据权利要求1所述的基于语音语义识别的车载语音交互方法，其特征在于，所述车机设备停止当前语音播报并再次启动获取用户的语音信号的步骤，具体包括：
车机设备获取自身播报的与用户进行沟通的多段语音内容，根据所述语音内容获取用户的语音信息并结合多段语音内容判断用户的目标意图。
3.根据权利要求2所述的基于语音语义识别的车载语音交互方法，其特征在于，所述车机设备支持多轮语音信号，所述根据所述语音信号识别所述用户的目标意图的步骤，具体包括：
接收用户一次或多次说出的多轮语音信号；
分帧提取多轮语音信号的语音特征信息，根据语音特征信息和预设的声学模型生成所述多轮语音信号的识别结果；
根据所述识别结果和预设的静音检测算法检测出多轮语音信号的语音端点；
根据所述语音端点计算多轮语音信号的置信度信息，并解析多轮语音信号的语义信息；
根据所述置信度信息和所述语义信息获取多轮语音信号对应的语音解析结果；
根据所述语音解析结果识别出所述用户的目标意图。
4.根据权利要求3所述的基于语音语义识别的车载语音交互方法，其特征在于，所述根据语音特征信息和预设的声学模型生成多轮语音信号的识别结果的步骤，具体包括：
在生成语音特征信息后，采用预设的声学模型计算每帧多轮语音信号在每个建模单元上的似然值，通过预设的动态规划算法得到最优状态转移序列及其对应的词序列，并将所得到的最优状态转移序列及其对应的词序列作为所述多轮语音信号的识别结果。
5.根据权利要求4所述的基于语音语义识别的车载语音交互方法，其特征在于，所述声学模型为基于神经网络的声学模型。
6.根据权利要求5所述的基于语音语义识别的车载语音交互方法，其特征在于，所述根据所述语音端点计算多轮语音信号的置信度信息的步骤，具体包括：
根据所述语音端点和所述多轮语音信号的信噪比计算多轮语音信号中每个词、短语的置信度信息，并结合声学后验的方式验证多轮语音信号整体的语义信息。
7.根据权利要求2所述的基于语音语义识别的车载语音交互方法，其特征在于，所述根据所述语音信号识别所述用户的目标意图的步骤，具体包括：
接收用户采用自然语言的语音信号输入并生成语音文件；
将所述语音文件转换成纯文本文件；
对所述纯文本文件进行文本分词，其中，所述分词采用中文词典，所述中文词典采用树状结构；
根据分词后的文本识别第一关键词，对于未能识别的文本则采用预先建立的用户习惯用词库进行匹配识别以得到第二关键词；
将所述第一关键词和所述第二关键词进行组合以识别得到所述用户的目标意图。
8.根据权利要求7所述的基于语音语义识别的车载语音交互方法，其特征在于，所述接收用户采用自然语言的语音信号输入并生成语音文件的步骤，还包括对所述语音文件进行去除口语化用词的过程。
9.一种车机设备，其特征在于，所述车机设备包括：
处理器，用于执行基于语音语义识别的车载语音交互的程序数据，以实现根据权利要求1-8任一项所述的基于语音语义识别的车载语音交互方法的步骤。
10.一种车辆，其特征在于，所述车辆配置有根据权利要求9所述的车机设备，所述车辆为无人驾驶车辆、人工驾驶车辆、或在无人驾驶车辆与人工驾驶车辆之间自由切换的智能车辆。
CN201811141981.6A 2018-09-28 2018-09-28 车辆、车机设备及基于语音语义识别的车载语音交互方法 Pending CN110970029A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811141981.6A CN110970029A (zh) 2018-09-28 2018-09-28 车辆、车机设备及基于语音语义识别的车载语音交互方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811141981.6A CN110970029A (zh) 2018-09-28 2018-09-28 车辆、车机设备及基于语音语义识别的车载语音交互方法

Publications (1)

Publication Number Publication Date
CN110970029A true CN110970029A (zh) 2020-04-07

Family

ID=70026897

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811141981.6A Pending CN110970029A (zh) 2018-09-28 2018-09-28 车辆、车机设备及基于语音语义识别的车载语音交互方法

Country Status (1)

Country Link
CN (1) CN110970029A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111356022A (zh) * 2020-04-18 2020-06-30 徐琼琼 一种基于语音识别的视频文件处理方法
CN111696561A (zh) * 2020-05-27 2020-09-22 一汽奔腾轿车有限公司 一种基于听觉、视觉和嗅觉反馈的语音交互系统及方法
CN113160817A (zh) * 2021-04-22 2021-07-23 平安科技（深圳）有限公司 基于意图识别的语音交互方法及系统
CN113763926A (zh) * 2021-09-17 2021-12-07 中国第一汽车股份有限公司 一种整车语音交互性能测试系统
CN116975242A (zh) * 2023-09-22 2023-10-31 北京百悟科技有限公司 语音播报打断处理方法、装置、设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102543082A (zh) * 2012-01-19 2012-07-04 北京赛德斯汽车信息技术有限公司 使用自然语言的车载信息服务系统语音操作方法及系统
CN105070290A (zh) * 2015-07-08 2015-11-18 苏州思必驰信息科技有限公司 人机语音交互方法及系统
CN105206260A (zh) * 2015-08-31 2015-12-30 努比亚技术有限公司 一种终端语音播报方法、装置及终端语音操作方法
CN105529028A (zh) * 2015-12-09 2016-04-27 百度在线网络技术（北京）有限公司 语音解析方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102543082A (zh) * 2012-01-19 2012-07-04 北京赛德斯汽车信息技术有限公司 使用自然语言的车载信息服务系统语音操作方法及系统
CN105070290A (zh) * 2015-07-08 2015-11-18 苏州思必驰信息科技有限公司 人机语音交互方法及系统
CN105206260A (zh) * 2015-08-31 2015-12-30 努比亚技术有限公司 一种终端语音播报方法、装置及终端语音操作方法
CN105529028A (zh) * 2015-12-09 2016-04-27 百度在线网络技术（北京）有限公司 语音解析方法和装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111356022A (zh) * 2020-04-18 2020-06-30 徐琼琼 一种基于语音识别的视频文件处理方法
CN111696561A (zh) * 2020-05-27 2020-09-22 一汽奔腾轿车有限公司 一种基于听觉、视觉和嗅觉反馈的语音交互系统及方法
CN113160817A (zh) * 2021-04-22 2021-07-23 平安科技（深圳）有限公司 基于意图识别的语音交互方法及系统
CN113763926A (zh) * 2021-09-17 2021-12-07 中国第一汽车股份有限公司 一种整车语音交互性能测试系统
CN113763926B (zh) * 2021-09-17 2024-03-15 中国第一汽车股份有限公司 一种整车语音交互性能测试系统
CN116975242A (zh) * 2023-09-22 2023-10-31 北京百悟科技有限公司 语音播报打断处理方法、装置、设备和存储介质

Similar Documents

Publication Publication Date Title
CN110970029A (zh) 车辆、车机设备及基于语音语义识别的车载语音交互方法
CN108346430B (zh) 对话系统、具有对话系统的车辆以及对话处理方法
US10380992B2 (en) Natural language generation based on user speech style
CN107240398B (zh) 智能语音交互方法及装置
CN108731699A (zh) 智能终端及其基于语音的导航路线重新规划方法、及车辆
US20190120649A1 (en) Dialogue system, vehicle including the dialogue system, and accident information processing method
CN109115236A (zh) 车辆、车机设备及其基于条件触发的行程自动导航方法
CN105551494A (zh) 一种基于手机互联的车载语音识别系统及识别方法
CN110576808B (zh) 车辆、车机设备及其基于人工智能的场景信息推送方法
CN110219544A (zh) 智能车辆及其车窗智能控制方法
CN110654331A (zh) 车辆、车机设备及其车载助手交互方法
CN108833589B (zh) 车辆、车机设备及其车机设备导航数据同步方法
CN112435660A (zh) 车辆控制方法、系统及车辆
CN111200720A (zh) 车联网平台、车辆远程视频监控方法及系统
CN109115235A (zh) 车辆、车机设备、用户通讯终端及其多设备切换导航方法
CN110956715A (zh) 行车记录方法、行车记录系统、云端服务器及车辆
US20190147855A1 (en) Neural network for use in speech recognition arbitration
CN110958559A (zh) 车辆、车机设备及其基于地图显示的即时互动方法
CN111669708A (zh) 车辆、车机设备及其基于车联网紧急情况的应急导航方法
KR20190011458A (ko) 차량, 그와 통신하는 모바일 기기 및 차량의 제어 방법
CN110871810A (zh) 车辆、车机设备及其基于驾驶模式的行车信息提示方法
CN111291275A (zh) 车辆、车机设备及其基于实况的出游方案推荐方法
CN110263139A (zh) 车辆、车机设备及其基于神经网络的文本意图识别方法
CN110971745A (zh) 车辆、车载支架及其手持终端语音控制模式触发方法
CN111311943A (zh) 车辆、车机设备及其信号灯车速优化方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Ying Zhenkai

Inventor before: Ying Yilun

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Room 208, building 4, 1411 Yecheng Road, Jiading District, Shanghai, 201821

Applicant after: Botai vehicle networking technology (Shanghai) Co.,Ltd.

Address before: Room 208, building 4, 1411 Yecheng Road, Jiading District, Shanghai, 201821

Applicant before: SHANGHAI PATEO ELECTRONIC EQUIPMENT MANUFACTURING Co.,Ltd.

WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200407