CN115158197A - 一种基于声源定位的车载智能座舱娱乐的控制系统 - Google Patents
一种基于声源定位的车载智能座舱娱乐的控制系统 Download PDFInfo
- Publication number
- CN115158197A CN115158197A CN202210863946.5A CN202210863946A CN115158197A CN 115158197 A CN115158197 A CN 115158197A CN 202210863946 A CN202210863946 A CN 202210863946A CN 115158197 A CN115158197 A CN 115158197A
- Authority
- CN
- China
- Prior art keywords
- control
- sound source
- screen
- entertainment
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000004807 localization Effects 0.000 title claims description 17
- 238000001514 detection method Methods 0.000 claims abstract description 13
- 230000004044 response Effects 0.000 claims description 40
- 230000006870 function Effects 0.000 claims description 32
- 238000012545 processing Methods 0.000 claims description 15
- 238000010586 diagram Methods 0.000 claims description 14
- 230000033001 locomotion Effects 0.000 claims description 9
- 230000000007 visual effect Effects 0.000 claims description 5
- 238000011156 evaluation Methods 0.000 claims description 4
- 230000000737 periodic effect Effects 0.000 claims description 3
- 238000012800 visualization Methods 0.000 claims description 3
- 230000005236 sound signal Effects 0.000 claims description 2
- 238000000034 method Methods 0.000 description 12
- 230000009286 beneficial effect Effects 0.000 description 11
- 238000004590 computer program Methods 0.000 description 7
- 230000009471 action Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000012163 sequencing technique Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
- B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
- B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
- B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
- B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
- B60R16/0373—Voice control
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
Abstract
本发明提供了一种基于声源定位的车载智能座舱娱乐的控制系统，其特征在于，包括检测模块、定位模块和控制模块：其中，所述检测模块用于检测语音信号；所述定位模块用于接收所述语音信号，定位车辆中的声源位置，并基于所述声源位置，识别语音信号，生成对应的指令内容；其中，所述声源位置包括主驾位置、副驾位置、第一后座位置及第二后座位置；所述指令内容至少包括车身控制及娱乐系统控制信息；所述控制模块用于根据所述语音信号的声源位置和指令内容，控制声源位置对应的目标区域屏幕，并显示控制状态。
Description
技术领域
本发明涉及声源定位和智能控制技术领域，特别涉及一种基于声源定位的车载智能座舱娱乐的控制系统。
背景技术
随着智能座舱的发展，人机交互界面使用越来越多的多功能屏进行显示，即数字多屏化，包括虚拟仪表、中控导航娱乐、副驾娱乐、后排娱乐、前排空调面板、后排空调面板、HUD抬头显示及后视镜。而车辆行驶中使用语音操作作为车载娱乐控制的主要手段，传统的语音控制单元仅针对单系统单屏幕进行响应，已无法满足多屏系统的要求，故设计一种基于声源定位的语音控制系统，针对不同座驾区域进行操控，达到各区域智能响应而不影响其他区域娱乐屏展示。
发明内容
本发明提供一种基于声源定位的车载智能座舱娱乐的控制系统，用以解决以上背景技术中出现的情况，可以解决传统语音控制仅对中控娱乐屏进行控制及显示、需要通过用户操作对其他屏进行内容显示、响应语音指令的同时，将合适的内容展示到合适的屏幕。
一种基于声源定位的车载智能座舱娱乐的控制系统，包括检测模块、定位模块和控制模块：其中，
所述检测模块用于检测语音信号；
所述定位模块用于接收所述语音信号，并定位车辆中的声源位置，基于所述声源位置，识别语音信号，确定对应的指令内容；其中，
所述声源位置包括主驾位置、副驾位置和后座位置；
所述指令内容至少包括车身控制信息和娱乐系统控制信息；
所述控制模块用于根据所述语音信号的声源位置和指令内容，控制声源位置对应的区域屏幕，并通过所述区域屏幕显示控制状态。
进一步的：所述检测模块包括：
录音单元：用于实时获取车载智能座舱内的声音信号，并进行实时录音，生成录音音频；
音频处理单元：用于将所述录音音频按照声纹特征进行划分，并生成声纹波形；
声音划分单元：用于将所述声纹波形按照声纹的波峰和波谷进行网格化划分，将每个网格作为一个音频周期；
周期性匹配单元：用于将每一个音频周期与预设的人声音频数据库内的人声音频进行音频匹配，确定人声音频的语音信号。
进一步的：所述定位模块包括区域控制单元、结果划分单元、结果对应单元和指令内容单元；其中，
所述区域控制单元用于接收所述语音信号，基于多角度声源定位算法，确定声源区域；
所述结果划分单元用于基于车辆预设的区域划分标准，对所述声源区域进行划分，确定划分结果；
所述结果对应单元用于通过所述语音信号，实时定位声源控制区域中的声源位置，将所述划分结果和对应的声源位置进行对应，确定对应结果；
所述指令内容单元用于通过所述对应结果和语音信号，生成对应的指令内容。
进一步的：所述控制模块，包括车身控制单元和应用控制单元；其中，
所述车身控制单元用于接收预设控制终端反馈的控制指令，通过所述控制指令，对车载智能座舱内的智能屏进行控制；其中，
所述智能屏包括主驾控制屏、副驾娱乐屏和后排娱乐屏；其中，
所述后排娱乐屏第一后排娱乐屏和第二后排娱乐屏；
所述应用控制单元用于将车载智能座舱内的控制系统的智能应用划分为强关联应用与普通应用，并通过所述控制指令，对强关联应用或普通应用进行控制。
进一步的：所述车身控制单元：包括主驾位置子单元、副驾位置子单元和后排位置子单元；其中，
所述主驾位置子单元用于当所述语音信号的声源位置为主驾位置时，确定主驾位置的指令内容；其中，
所述主驾位置的指令内容至少空调控制指令和车窗控制指令；
所述副驾位置子单元用于当所述语音信号的声源位置为副驾位置，确定副驾位置的指令内容；其中，
所述副驾位置的指令内容至少包括副驾空调控制指令、副驾车窗控制指令和副驾娱乐屏控制指令；
所述后排位置子单元用于当所述语音信号的声源位置为第一后座位置或第二后座位置，确定后排位置的指令内容；其中，
所述后排位置的指令内容至少包括后排空调控制指令、后排车窗控制指令第一后排娱乐屏的控制指令和第二后排娱乐屏的控制指令。
进一步的：所述应用控制单元包括划分子单元、强关联应用子单元和普通应用子单元；其中，
所述划分子单元用于基于预设的功能评价指标，划分车载应用功能为强关联应用与普通应用；
所述强关联应用子单元用于通过指令内容，向用户反馈驾驶信息，并基于所述驾驶信息，确定强关联应用；其中，
所述强关联应用至少包括导航应用、全景应用和驾驶辅导应用；
所述普通应用子单元用于通过指令内容，向用户反馈驾驶信息，并基于所述驾驶信息，确定普通关联应用。
进一步的：所述强关联应用子单元包括主驾位置强关联应用子单元、副驾位置强关联应用子单元和后排位置强关联应用子单元；其中，
所述主驾位置强关联应用子单元用于当所述语音信号的声源位置为主驾位置且指令内容为强关联应用控制指令时，分析指令内容的第一目标响应区域，并当指令内容在所述第一目标响应区域没有响应时，默认在中控导航娱乐屏上打开预设的强关联应用功能；
所述副驾位置强关联应用子单元用于当所述语音信号的声源位置为副驾位置且指令内容为强关联应用控制指令时，分析指令内容的第二目标响应区域，并当第二目标响应区域未响应时，默认打开副驾娱乐屏和中控导航娱乐屏，同时，在副驾娱乐屏和中控导航娱乐屏上打开预设的强关联应用功能；
所述后排位置强关联应用子单元用于当所述语音信号的声源位置为后排位置时且指令内容为强关联应用控制指令时，分析指令内容的第三目标响应区域，并当第三目标响应区域未响应时，默认打开后排娱乐屏和中控导航娱乐屏，同时，在后排娱乐屏和中控导航娱乐屏上强关联应用功能。
进一步的：所述普通应用子单元包括如下确定普通关联应用的步骤：
当所述语音信号的声源位置为主驾位置且指令内容为普通应用控制指令时，且指令内容中未明确指定响应区域时默认操作中控导航娱乐屏，在中控导航娱乐屏上打开对应的普通应用功能；
当所述语音信号的声源位置为副驾位置且指令内容为普通应用控制指令时，且指令中未明确指定响应区域时默认操作副驾娱乐屏，在副驾娱乐屏上打开对应的普通应用功能；
当所述语音信号的声源位置为后排位置且指令内容为普通应用控制指令时，且指令中未明确指定响应区域时默认操作后排娱乐屏，在后排娱乐屏上打开对应的普通应用功能。
进一步的：所述系统还包括：
动态捕捉单元：用于通过车载智能座舱内部的摄像装置和红外扫描装置进行场景捕捉，获取场景数据；
空间划分单元：用于根据所述场景数据，进行车内环境空间划分，生成多个子空间；其中，
每个子空间对应一个座位区域；
姿态抓取单元：用于对每个座位区域的乘客进行嘴部动作捕捉，并基于所述嘴部动作捕捉，确定每个乘客的实时倾向；
姿态判断单元：用于根据所述实时倾向，判断是否发出控制指令。
进一步的：所述系统还包括：
状态标识单元：用于根据所述指令内容，确定对应的状态标识；
查询单元：用于根据所述状态标识，查询所述车辆的状态日志记录；
数据处理单元：用于根据所述状态日志记录，确定所述控制状态对应的目标数据结构，并根据目标数据结构对所述状态日志记录进行处理；其中，
所述状态日志记录进行处理包括：将所述状态日志记录按照时间顺序进行排序，将排序后的所述状态日志记录按照目标数据结构存储；
状态可视化单元：用于根据处理后的所述状态日志记录生成可视化状态图，并通过车辆的显示设备显示所述可视化状态图。
本技术方案的有益效果在于：
目前汽车声源定位应用主要用于控制汽车车窗、温度等不同区域的响应；汽车语音控制仅在中控导航娱乐屏上进行应用控制及显示，本发明针对智能座舱的数字多屏化，提出一种语音控制及显示方法：改善传统语音单系统单屏幕控制方式，使用新的智能语音控制单元控制多区域多屏幕响应。通过语音交互中的声源定位功能，获取声音发出的位置来区分座驾位置区域，以针对该区域的方式进行指令响应及屏幕展示，不对其他屏幕产生影响，提升用户体验；可以有效减少主驾人员操作中控屏幕，提高驾驶安全。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明实施例中一种基于声源定位的车载智能座舱娱乐的控制系统模块图；
图2为本发明实施例中一种基于声源定位的车载智能座舱娱乐的控制系统模块图；
图3为本发明实施例中一种基于声源定位的车载智能座舱娱乐的控制系统模块图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
需说明的是，当部件被称为“固定于”或“设置于”另一个部件，它可以直接在另一个部件上或者间接在该另一个部件上。当一个部件被称为是“连接于”另一个部件，它可以是直接或者间接连接至该另一个部件上。
需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序，“多个”的含义是两个或两个以上，除非另有明确具体的限定。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
本发明实施例提供了一种基于声源定位的车载智能座舱娱乐的控制系统，其特征在于，包括检测模块、定位模块和控制模块：其中，
所述检测模块用于检测语音信号；
所述定位模块用于接收所述语音信号，并定位车辆中的声源位置，基于所述声源位置，识别语音信号，确定对应的指令内容；其中，
所述声源位置包括主驾位置、副驾位置和后座位置；
所述指令内容至少包括车身控制信息和娱乐系统控制信息；
所述控制模块用于根据所述语音信号的声源位置和指令内容，控制声源位置对应的区域屏幕，并通过所述区域屏幕显示控制状态。
上述技术方案的工作原理和有益效果在于：
如附图1所示，本技术方案提供一种了基于语音声源定位的多屏幕娱乐系统控制方法，检测模块用于检测语音信号获取所述语音信号的声源位置和指令内容，所述声源位置包括主驾位置、副驾位置、第一后座位置及第二后座位置，所述指令内容包括车身控制及娱乐系统控制信息。控制模块，用于根据所述语音信号的声源位置和指令内容，控制声源位置目标区域屏幕的显示状态，目前汽车声源定位应用主要用于控制汽车车窗、温度等不同区域的响应；汽车语音控制仅在中控导航娱乐屏上进行应用控制及显示，本发明针对智能座舱的数字多屏化，改善传统语音单系统单屏幕控制方式，使用新的智能语音控制单元控制多区域多屏幕响应。通过语音交互中的声源定位功能，获取声音发出的位置来区分座驾位置区域，以针对该区域的方式进行指令响应及屏幕展示，不对其他屏幕产生影响，提升用户体验；可以有效减少主驾人员操作中控屏幕，提高驾驶安全。
进一步的：所述检测模块包括：
录音单元：用于实时获取车载智能座舱内的声音信号，并进行实时录音，生成录音音频；
音频处理单元：用于将所述录音音频按照声纹特征进行划分，并生成声纹波形；
声音划分单元：用于将所述声纹波形按照声纹的波峰和波谷进行网格化划分，将每个网格作为一个音频周期；
周期性匹配单元：用于将每一个音频周期与预设的人声音频数据库内的人声音频进行音频匹配，确定人声音频的语音信号。
上述技术方案的原理在于：本发明的原理和智能家居系统的语音控制原理类似，但是因为本发明处于一种车辆环境中，杂音比较多，所以首先要判断人声语音是那些。在这个过程中，通过声纹波形，可以清楚的将车辆的杂音和人声清楚的划分出来，而波峰波谷的饮片网格化划分是为了进行更好的人声音频匹配，精确筛选人声语音信号。
上述技术方案的有益效果在于：本发明能够清楚的确定人声的语音信号，将人声语音信号给筛选出来，便于进行音频指令的控制处理。
进一步的：所述定位模块包括区域控制单元、结果划分单元、结果对应单元和指令内容单元；其中，
所述区域控制单元用于接收所述语音信号，基于多角度声源定位算法，确定声源区域；
所述结果划分单元用于基于车辆预设的区域划分标准，对所述声源区域进行划分，确定划分结果；
所述结果对应单元用于通过所述语音信号，实时定位声源控制区域中的声源位置，将所述划分结果和对应的声源位置进行对应，确定对应结果；
所述指令内容单元用于通过所述对应结果和语音信号，生成对应的指令内容。
上述技术方案的工作原理和有益效果在于：
如附图2所示，本技术方案的定位模块包括区域控制单元、结果划分单元、结果对应单元和指令内容单元；所述区域控制单元用于接收所述语音信号，基于多角度声源定位算法，确定声源控制区域；所述结果划分单元用于基于车辆预设的区域划分标准，对所述声源控制区域进行划分，确定划分结果；所述结果对应单元用于通过所述语音信号，实时定位声源控制区域中的声源位置，将所述划分结果和对应的声源位置进行对应，确定对应结果；所述指令内容单元用于通过所述对应结果和语音信号，生成对应的指令内容。
进一步的：所述控制模块，包括车身控制单元和应用控制单元；其中，
所述车身控制单元用于接收预设控制终端反馈的控制指令，通过所述控制指令，对车载智能座舱内的智能屏进行控制；其中，
所述智能屏包括主驾控制屏、副驾娱乐屏和后排娱乐屏；其中，
所述后排娱乐屏第一后排娱乐屏和第二后排娱乐屏；
所述应用控制单元用于将车载智能座舱内的控制系统的智能应用划分为强关联应用与普通应用，并通过所述控制指令，对强关联应用或普通应用进行控制。
上述技术方案的工作原理和有益效果在于：
本技术方案将应用划分为车主强关联应用与普通应用，车主强关联应用主要为驾驶员提供辅助驾驶信息，如导航、全景、驾驶辅助等应用，响应语音指令的同时，将合适的内容展示到合适的屏幕。第一后排娱乐屏和第二后排娱乐屏是因为后排至少存在两个作为，两个作为各有一个屏幕。
进一步的：所述车身控制单元：包括主驾位置子单元、副驾位置子单元和后排位置子单元；其中，
所述主驾位置子单元用于当所述语音信号的声源位置为主驾位置时，确定主驾位置的指令内容；其中，
所述主驾位置的指令内容至少空调控制指令和车窗控制指令；
所述副驾位置子单元用于当所述语音信号的声源位置为副驾位置，确定副驾位置的指令内容；其中，
所述副驾位置的指令内容至少包括副驾空调控制指令、副驾车窗控制指令和副驾娱乐屏控制指令；
所述后排位置子单元用于当所述语音信号的声源位置为第一后座位置或第二后座位置，确定后排位置的指令内容；其中，
所述后排位置的指令内容至少包括后排空调控制指令、后排车窗控制指令第一后排娱乐屏的控制指令和第二后排娱乐屏的控制指令。
上述技术方案的工作原理和有益效果在于：
本技术方案在所述语音信号的声源位置为主驾位置，且所述指令内容为车身控制指令如空调、车窗等，指令中未明确指定调节区域时默认调节主驾位置的空调或车窗，并在中控导航娱乐屏上显示执行结果，及拉起空调或车辆设置等指令关联控制应用，便于下一步进行语音或屏幕操作控制，副驾区域屏及后座区域屏显示内容不变。在所述语音信号的声源位置为副驾位置，且所述指令内容为车身控制指令如空调、车窗等，指令中未明确指定调节区域时默认调节副驾位置的空调或车窗，并在副驾娱乐屏上显示执行结果，及拉起空调或车辆设置等指令关联控制应用，便于下一步进行语音或屏幕操作控制，主驾区域屏及后座区域屏显示内容不变。在所述语音信号的声源位置为第一后座(或第二后座)位置，且所述指令内容为车身控制指令如空调、车窗等，指令中未明确指定调节区域时默认调节第一后座(或第二后座)位置的空调或车窗，并在第一后排娱乐屏(或第二后排娱乐屏)上显示执行结果，及拉起空调或车辆设置等指令关联控制应用，便于下一步进行语音或屏幕操作控制，主驾区域屏、副驾区域屏、第二后排娱乐屏(或第一后排娱乐屏)显示内容不变。
实施例5：
本技术方案提供了一种实施例，所述应用控制单元包括划分子单元、强关联应用子单元和普通应用子单元；其中，
所述划分子单元用于基于预设的功能评价指标，划分车载应用功能为强关联应用与普通应用；
所述强关联应用子单元用于通过指令内容，向用户反馈驾驶信息，并基于所述驾驶信息，确定强关联应用；其中，
所述强关联应用至少包括导航应用、全景应用和驾驶辅导应用；
所述普通应用子单元用于通过指令内容，向用户反馈驾驶信息，并基于所述驾驶信息，确定普通关联应用。
上述技术方案的工作原理和有益效果在于：如附图3所示，本发明能根据车辆的车载应用的功能评价指标，功能评价指标主要是基于不同功能的使用数量。通过这些向用户反馈不同的信息。
进一步的：所述强关联应用子单元包括主驾位置强关联应用子单元、副驾位置强关联应用子单元和后排位置强关联应用子单元；其中，
所述主驾位置强关联应用子单元用于当所述语音信号的声源位置为主驾位置且指令内容为强关联应用控制指令时，分析指令内容的第一目标响应区域，并当指令内容在所述第一目标响应区域没有响应时，默认在中控导航娱乐屏上打开预设的强关联应用功能；
所述副驾位置强关联应用子单元用于当所述语音信号的声源位置为副驾位置且指令内容为强关联应用控制指令时，分析指令内容的第二目标响应区域，并当第二目标响应区域未响应时，默认打开副驾娱乐屏和中控导航娱乐屏，同时，在副驾娱乐屏和中控导航娱乐屏上打开预设的强关联应用功能；
所述后排位置强关联应用子单元用于当所述语音信号的声源位置为后排位置时且指令内容为强关联应用控制指令时，分析指令内容的第三目标响应区域，并当第三目标响应区域未响应时，默认打开后排娱乐屏和中控导航娱乐屏，同时，在后排娱乐屏和中控导航娱乐屏上强关联应用功能。
上述技术方案的工作原理和有益效果在于：
本技术方案在所述语音信号的声源位置为主驾位置，且所述指令内容为车主强关联应用控制指令如打开导航(或全景、或驾驶辅助)等，指令中未明确指定响应区域时默认操作中控导航娱乐屏，在中控导航娱乐屏上打开应用，便于下一步进行语音或屏幕操作控制，副驾区域屏及后座区域屏显示内容不变。在所述语音信号的声源位置为副驾位置，且所述指令内容为车主强关联应用控制指令如打开导航(或全景、或驾驶辅助)等，指令中未明确指定响应区域时默认操作副驾娱乐屏及中控导航娱乐屏，同时在副驾娱乐屏及中控导航娱乐屏上打开应用，便于下一步进行语音或屏幕操作控制，后座区域屏显示内容不变。在所述语音信号的声源位置为第一后座(或第二后座)位置，且所述指令内容为车主强关联应用控制指令如打开导航(或全景、或驾驶辅助)等，指令中未明确指定响应区域时默认操作后排娱乐屏(或第二后排娱乐屏)及中控导航娱乐屏，同时在后排娱乐屏(或第二后排娱乐屏)及中控导航娱乐屏上打开应用，便于下一步进行语音或屏幕操作控制，副驾区域屏及第二后排娱乐屏、(或后排娱乐屏)显示内容不变。
进一步的：所述普通应用子单元包括如下确定普通关联应用的步骤：
当所述语音信号的声源位置为主驾位置且指令内容为普通应用控制指令时，且指令内容中未明确指定响应区域时默认操作中控导航娱乐屏，在中控导航娱乐屏上打开对应的普通应用功能；
当所述语音信号的声源位置为副驾位置且指令内容为普通应用控制指令时，且指令中未明确指定响应区域时默认操作副驾娱乐屏，在副驾娱乐屏上打开对应的普通应用功能；
当所述语音信号的声源位置为后排位置且指令内容为普通应用控制指令时，且指令中未明确指定响应区域时默认操作后排娱乐屏，在后排娱乐屏上打开对应的普通应用功能。
上述技术方案的工作原理和有益效果在于：
本技术方案在所述语音信号的声源位置为主驾位置，且所述指令内容为普通应用控制指令如打开多媒体(或设置)等，指令中未明确指定响应区域时默认操作中控导航娱乐屏，在中控导航娱乐屏上打开应用，便于下一步进行语音或屏幕操作控制，副驾区域屏及后座区域屏显示内容不变。在所述语音信号的声源位置为副驾位置，且所述指令内容为普通应用控制指令如打开多媒体(或设置)等，指令中未明确指定响应区域时默认操作副驾娱乐屏，并在副驾娱乐屏上打开应用，便于下一步进行语音或屏幕操作控制，主驾区域屏及后座区域屏显示内容不变。在所述语音信号的声源位置为第一后座(或第二后座)位置，且所述指令内容为普通应用控制指令如打开多媒体(或设置)等，指令中未明确指定响应区域时默认操作第一后排娱乐屏(或第二后排娱乐屏)，并在第一后排娱乐屏(或第二后排娱乐屏、)上打开应用，便于下一步进行语音或屏幕操作控制，主驾区域屏、副驾区域屏、第二后排娱乐屏、(或第一后排娱乐屏)显示内容不变。
进一步的：
所述系统还包括：
动态捕捉单元：用于通过车载智能座舱内部的摄像装置和红外扫描装置进行场景捕捉，获取场景数据；
空间划分单元：用于根据所述场景数据，进行车内环境空间划分，生成多个子空间；其中，
每个子空间对应一个座位区域；
姿态抓取单元：用于对每个座位区域的乘客进行嘴部动作捕捉，并基于所述嘴部动作捕捉，确定每个乘客的实时倾向；
姿态判断单元：用于根据所述实时倾向，判断是否发出控制指令。
上述技术方案的原理在于：本发明还会再车内进行场景捕捉，主要是捕捉乘客的嘴部动作，根据嘴部动作判断是不是客户发出了控制指令，从而对嘴部发出动作的客户的声音信号进行采集，判断是不是存在控制指令，实时倾向主要是控制倾向，基于语音信号的识别得到。
上述技术方案的有益效果在于：用于捕捉用户的嘴部动作判断是不是存在控制指令。
进一步的：
所述系统还包括：
状态标识单元：用于根据所述指令内容，确定对应的状态标识；
查询单元：用于根据所述状态标识，查询所述车辆的状态日志记录；
数据处理单元：用于根据所述状态日志记录，确定所述控制状态对应的目标数据结构，并根据目标数据结构对所述状态日志记录进行处理；其中，
所述状态日志记录进行处理包括：将所述状态日志记录按照时间顺序进行排序，将排序后的所述状态日志记录按照目标数据结构存储；
状态可视化单元：用于根据处理后的所述状态日志记录生成可视化状态图，并通过车辆的显示设备显示所述可视化状态图。
上述技术方案的原理在于：本发明对于指令内容，也就是用户发出的控制指令，会通过状态标识进行标记，然后通过状态日志记录，状态日志中会确定不同控制状态对应的目标数据结构，从而对状态日志进行处理，然后进行排序，这个排序主要是时间顺序的排序，通过时间顺序的排序将不同指令转化为可视化状态图。
上述技术方案的有益效果在于：通过可视化状态图可以判断用户发出的指令是否执行，进行指令的执行追踪，得到具体的指令实施信息。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种基于声源定位的车载智能座舱娱乐的控制系统，其特征在于，包括检测模块、定位模块和控制模块：其中，
所述检测模块用于检测语音信号；
所述定位模块用于接收所述语音信号，并定位车辆中的声源位置，基于所述声源位置，识别语音信号，确定对应的指令内容；其中，
所述声源位置包括主驾位置、副驾位置和后座位置；
所述指令内容至少包括车身控制信息和娱乐系统控制信息；
所述控制模块用于根据所述语音信号的声源位置和指令内容，控制声源位置对应的区域屏幕，并通过所述区域屏幕显示控制状态。
2.如权利要求1所述的一种基于声源定位的车载智能座舱娱乐的控制系统，其特征在于，所述检测模块包括：
录音单元：用于实时获取车载智能座舱内的声音信号，并进行实时录音，生成录音音频；
音频处理单元：用于将所述录音音频按照声纹特征进行划分，并生成声纹波形；
声音划分单元：用于将所述声纹波形按照声纹的波峰和波谷进行网格化划分，将每个网格作为一个音频周期；
周期性匹配单元：用于将每一个音频周期与预设的人声音频数据库内的人声音频进行音频匹配，确定人声音频的语音信号。
3.如权利要求1所述的一种基于声源定位的车载智能座舱娱乐的控制系统，其特征在于，所述定位模块包括区域控制单元、结果划分单元、结果对应单元和指令内容单元；其中，
所述区域控制单元用于接收所述语音信号，基于多角度声源定位算法，确定声源区域；
所述结果划分单元用于基于车辆预设的区域划分标准，对所述声源区域进行划分，确定划分结果；
所述结果对应单元用于通过所述语音信号，实时定位声源控制区域中的声源位置，将所述划分结果和对应的声源位置进行对应，确定对应结果；
所述指令内容单元用于通过所述对应结果和语音信号，生成对应的指令内容。
4.如权利要求1所述的一种基于声源定位的车载智能座舱娱乐的控制系统，其特征在于，所述控制模块，包括车身控制单元和应用控制单元；其中，
所述车身控制单元用于接收预设控制终端反馈的控制指令，通过所述控制指令，对车载智能座舱内的智能屏进行控制；其中，
所述智能屏包括主驾控制屏、副驾娱乐屏和后排娱乐屏；其中，
所述后排娱乐屏第一后排娱乐屏和第二后排娱乐屏；
所述应用控制单元用于将车载智能座舱内的控制系统的智能应用划分为强关联应用与普通应用，并通过所述控制指令，对强关联应用或普通应用进行控制。
5.如权利要求4所述的一种基于声源定位的车载智能座舱娱乐的控制系统，其特征在于，所述车身控制单元：包括主驾位置子单元、副驾位置子单元和后排位置子单元；其中，
所述主驾位置子单元用于当所述语音信号的声源位置为主驾位置时，确定主驾位置的指令内容；其中，
所述主驾位置的指令内容至少空调控制指令和车窗控制指令；
所述副驾位置子单元用于当所述语音信号的声源位置为副驾位置，确定副驾位置的指令内容；其中，
所述副驾位置的指令内容至少包括副驾空调控制指令、副驾车窗控制指令和副驾娱乐屏控制指令；
所述后排位置子单元用于当所述语音信号的声源位置为第一后座位置或第二后座位置，确定后排位置的指令内容；其中，
所述后排位置的指令内容至少包括后排空调控制指令、后排车窗控制指令第一后排娱乐屏的控制指令和第二后排娱乐屏的控制指令。
6.如权利要求4所述的一种基于声源定位的车载智能座舱娱乐的控制系统，其特征在于，所述应用控制单元包括划分子单元、强关联应用子单元和普通应用子单元；其中，
所述划分子单元用于基于预设的功能评价指标，划分车载应用功能为强关联应用与普通应用；
所述强关联应用子单元用于通过指令内容，向用户反馈驾驶信息，并基于所述驾驶信息，确定强关联应用；其中，
所述强关联应用至少包括导航应用、全景应用和驾驶辅导应用；
所述普通应用子单元用于通过指令内容，向用户反馈驾驶信息，并基于所述驾驶信息，确定普通关联应用。
7.如权利要求6所述的一种基于声源定位的车载智能座舱娱乐的控制系统，其特征在于，所述强关联应用子单元包括主驾位置强关联应用子单元、副驾位置强关联应用子单元和后排位置强关联应用子单元；其中，
所述主驾位置强关联应用子单元用于当所述语音信号的声源位置为主驾位置且指令内容为强关联应用控制指令时，分析指令内容的第一目标响应区域，并当指令内容在所述第一目标响应区域没有响应时，默认在中控导航娱乐屏上打开预设的强关联应用功能；
所述副驾位置强关联应用子单元用于当所述语音信号的声源位置为副驾位置且指令内容为强关联应用控制指令时，分析指令内容的第二目标响应区域，并当第二目标响应区域未响应时，默认打开副驾娱乐屏和中控导航娱乐屏，同时，在副驾娱乐屏和中控导航娱乐屏上打开预设的强关联应用功能；
所述后排位置强关联应用子单元用于当所述语音信号的声源位置为后排位置时且指令内容为强关联应用控制指令时，分析指令内容的第三目标响应区域，并当第三目标响应区域未响应时，默认打开后排娱乐屏和中控导航娱乐屏，同时，在后排娱乐屏和中控导航娱乐屏上强关联应用功能。
8.如权利要求6所述的一种基于声源定位的车载智能座舱娱乐的控制系统，其特征在于，所述普通应用子单元包括如下确定普通关联应用的步骤：
当所述语音信号的声源位置为主驾位置且指令内容为普通应用控制指令时，且指令内容中未明确指定响应区域时默认操作中控导航娱乐屏，在中控导航娱乐屏上打开对应的普通应用功能；
当所述语音信号的声源位置为副驾位置且指令内容为普通应用控制指令时，且指令中未明确指定响应区域时默认操作副驾娱乐屏，在副驾娱乐屏上打开对应的普通应用功能；
当所述语音信号的声源位置为后排位置且指令内容为普通应用控制指令时，且指令中未明确指定响应区域时默认操作后排娱乐屏，在后排娱乐屏上打开对应的普通应用功能。
9.如权利要求1所述的一种基于声源定位的车载智能座舱娱乐的控制系统，其特征在于，所述系统还包括：
动态捕捉单元：用于通过车载智能座舱内部的摄像装置和红外扫描装置进行场景捕捉，获取场景数据；
空间划分单元：用于根据所述场景数据，进行车内环境空间划分，生成多个子空间；其中，
每个子空间对应一个座位区域；
姿态抓取单元：用于对每个座位区域的乘客进行嘴部动作捕捉，并基于所述嘴部动作捕捉，确定每个乘客的实时倾向；
姿态判断单元：用于根据所述实时倾向，判断是否发出控制指令。
10.如权利要求1所述的一种基于声源定位的车载智能座舱娱乐的控制系统，其特征在于，所述系统还包括：
状态标识单元：用于根据所述指令内容，确定对应的状态标识；
查询单元：用于根据所述状态标识，查询所述车辆的状态日志记录；
数据处理单元：用于根据所述状态日志记录，确定所述控制状态对应的目标数据结构，并根据目标数据结构对所述状态日志记录进行处理；其中，
所述状态日志记录进行处理包括：将所述状态日志记录按照时间顺序进行排序，将排序后的所述状态日志记录按照目标数据结构存储；
状态可视化单元：用于根据处理后的所述状态日志记录生成可视化状态图，并通过车辆的显示设备显示所述可视化状态图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210863946.5A CN115158197B (zh) | 2022-07-21 | 2022-07-21 | 一种基于声源定位的车载智能座舱娱乐的控制系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210863946.5A CN115158197B (zh) | 2022-07-21 | 2022-07-21 | 一种基于声源定位的车载智能座舱娱乐的控制系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115158197A true CN115158197A (zh) | 2022-10-11 |
| CN115158197B CN115158197B (zh) | 2023-05-09 |
Family
ID=83497897
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210863946.5A Active CN115158197B (zh) | 2022-07-21 | 2022-07-21 | 一种基于声源定位的车载智能座舱娱乐的控制系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115158197B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115509366A (zh) * | 2022-11-21 | 2022-12-23 | 科大讯飞股份有限公司 | 智能座舱多模态人机交互控制方法、装置以及电子设备 |
| WO2024113839A1 (zh) * | 2022-11-29 | 2024-06-06 | 华人运通(上海)云计算科技有限公司 | 机械臂的控制方法、车辆以及电子设备 |
| CN118514706A (zh) * | 2024-07-18 | 2024-08-20 | 比亚迪股份有限公司 | 车辆控制方法、系统、设备、介质、计算机产品及车辆 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104417451A (zh) * | 2013-08-28 | 2015-03-18 | 鸿富锦精密工业（深圳）有限公司 | 汽车及其语音控制系统 |
| US20180190282A1 (en) * | 2016-12-30 | 2018-07-05 | Qualcomm Incorporated | In-vehicle voice command control |
| CN108327667A (zh) * | 2018-02-06 | 2018-07-27 | 奇瑞汽车股份有限公司 | 车辆语音控制方法及装置 |
| CN109493871A (zh) * | 2017-09-11 | 2019-03-19 | 上海博泰悦臻网络技术服务有限公司 | 车载系统的多屏语音交互方法及装置、存储介质和车机 |
| CN110992946A (zh) * | 2019-11-01 | 2020-04-10 | 上海博泰悦臻电子设备制造有限公司 | 一种语音控制方法、终端及计算机可读存储介质 |
| CN111660773A (zh) * | 2020-05-29 | 2020-09-15 | 奇瑞汽车股份有限公司 | 一种应用汽车上的声控车窗方法和系统 |
| CN112489661A (zh) * | 2019-08-23 | 2021-03-12 | 上海汽车集团股份有限公司 | 一种车载多屏幕的通话方法及装置 |
| CN112951227A (zh) * | 2021-01-29 | 2021-06-11 | 辽宁石化职业技术学院 | 一种车辆语音控制方法 |
-
2022
- 2022-07-21 CN CN202210863946.5A patent/CN115158197B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104417451A (zh) * | 2013-08-28 | 2015-03-18 | 鸿富锦精密工业（深圳）有限公司 | 汽车及其语音控制系统 |
| US20180190282A1 (en) * | 2016-12-30 | 2018-07-05 | Qualcomm Incorporated | In-vehicle voice command control |
| CN109493871A (zh) * | 2017-09-11 | 2019-03-19 | 上海博泰悦臻网络技术服务有限公司 | 车载系统的多屏语音交互方法及装置、存储介质和车机 |
| CN108327667A (zh) * | 2018-02-06 | 2018-07-27 | 奇瑞汽车股份有限公司 | 车辆语音控制方法及装置 |
| CN112489661A (zh) * | 2019-08-23 | 2021-03-12 | 上海汽车集团股份有限公司 | 一种车载多屏幕的通话方法及装置 |
| CN110992946A (zh) * | 2019-11-01 | 2020-04-10 | 上海博泰悦臻电子设备制造有限公司 | 一种语音控制方法、终端及计算机可读存储介质 |
| CN111660773A (zh) * | 2020-05-29 | 2020-09-15 | 奇瑞汽车股份有限公司 | 一种应用汽车上的声控车窗方法和系统 |
| CN112951227A (zh) * | 2021-01-29 | 2021-06-11 | 辽宁石化职业技术学院 | 一种车辆语音控制方法 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115509366A (zh) * | 2022-11-21 | 2022-12-23 | 科大讯飞股份有限公司 | 智能座舱多模态人机交互控制方法、装置以及电子设备 |
| WO2024113839A1 (zh) * | 2022-11-29 | 2024-06-06 | 华人运通(上海)云计算科技有限公司 | 机械臂的控制方法、车辆以及电子设备 |
| CN118514706A (zh) * | 2024-07-18 | 2024-08-20 | 比亚迪股份有限公司 | 车辆控制方法、系统、设备、介质、计算机产品及车辆 |
| CN118514706B (zh) * | 2024-07-18 | 2024-10-11 | 比亚迪股份有限公司 | 车辆控制方法、系统、设备、介质、计算机产品及车辆 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115158197B (zh) | 2023-05-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115158197B (zh) | 一种基于声源定位的车载智能座舱娱乐的控制系统 | |
| CN108919959B (zh) | 车辆人机交互方法及系统 | |
| CN111931579B (zh) | 利用眼动追踪和手势识别技术的自动驾驶辅助系统及方法 | |
| US9235269B2 (en) | System and method for manipulating user interface in vehicle using finger valleys | |
| US8793034B2 (en) | Feature recognition for configuring a vehicle console and associated devices | |
| CN104627094B (zh) | 识别用户手势的车辆和用于控制该车辆的方法 | |
| CN108725357A (zh) | 基于人脸识别的参数控制方法、系统与云端服务器 | |
| US20140152549A1 (en) | System and method for providing user interface using hand shape trace recognition in vehicle | |
| TW201300265A (zh) | 多模組辨識系統及其控制方法 | |
| US20140168068A1 (en) | System and method for manipulating user interface using wrist angle in vehicle | |
| TWI738132B (zh) | 基於動作分析的人機交互方法、車載裝置 | |
| CN107303793B (zh) | 空调控制方法、装置、控制设备及操作系统 | |
| CN108657186B (zh) | 智能驾驶舱交互方法和装置 | |
| CN110231866A (zh) | 车载屏幕控制方法、系统、车辆及存储介质 | |
| CN109584871B (zh) | 一种车辆中语音指令的用户身份识别方法、装置 | |
| CN112083795A (zh) | 对象控制方法及装置、存储介质和电子设备 | |
| CN112905004A (zh) | 一种用于车载显示屏的手势控制方法、装置和存储介质 | |
| CN110858467A (zh) | 显示屏控制系统及车辆 | |
| CN113459975B (zh) | 一种智能座舱系统 | |
| CN113407758A (zh) | 数据处理方法、装置、电子设备及存储介质 | |
| CN113263968B (zh) | 一种汽车智能控制系统、方法、设备及存储介质 | |
| CN114120390A (zh) | 基于人脸识别的仪表参数自适配系统、方法及身份识别系统和车辆 | |
| US20230211790A1 (en) | Multi-function input devices for vehicles | |
| TR2023017442A2 (tr) | Uzaktan kontrol mekani̇zmasi olmayan araçlarin elektroni̇k si̇stemleri̇ni̇n uzaktan kontrol edi̇lebi̇lmesi̇ni̇ sağlayan bi̇r si̇stem | |
| CN117373106A (zh) | 一种车辆控制方法、装置和车辆 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |