CN111885547B - 一种车载人机交互系统 - Google Patents

一种车载人机交互系统 Download PDF

Info

Publication number
CN111885547B
CN111885547B CN202010663562.XA CN202010663562A CN111885547B CN 111885547 B CN111885547 B CN 111885547B CN 202010663562 A CN202010663562 A CN 202010663562A CN 111885547 B CN111885547 B CN 111885547B
Authority
CN
China
Prior art keywords
vehicle
contextual model
module
instruction
control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010663562.XA
Other languages
English (en)
Other versions
CN111885547A (zh
Inventor
谢璞光
范程程
秦浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Geely Holding Group Co Ltd
Geely Automobile Research Institute Ningbo Co Ltd
Original Assignee
Zhejiang Geely Holding Group Co Ltd
Geely Automobile Research Institute Ningbo Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Geely Holding Group Co Ltd, Geely Automobile Research Institute Ningbo Co Ltd filed Critical Zhejiang Geely Holding Group Co Ltd
Priority to CN202010663562.XA priority Critical patent/CN111885547B/zh
Publication of CN111885547A publication Critical patent/CN111885547A/zh
Application granted granted Critical
Publication of CN111885547B publication Critical patent/CN111885547B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/48—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for in-vehicle communication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

本发明提供了一种车载人机交互系统，属于汽车技术领域。它解决了现有的技术存在不清楚如何使用或者不知道在什么情况下进行使用，用户使用体验差的问题。本车载人机交互系统包括：摄像单元，用于采集车内驾乘人员的图像信息；模式识别单元，用于根据摄像单元输送的图像信息来识别车内驾乘人员类型以及驾乘人员状态，进而确定出所属的情景模式；多媒体娱乐系统，用于根据模式识别单元识别出的情景模式进行语音提醒并在获得进入相应情景模式的确认指令时输出与该情景模式对应的控制指令；执行单元，用于根据多媒体娱乐系统输出的控制指令控制相应的电器设备进行动作。本车载人机交互系统能够提高用户的使用体验。

Description

一种车载人机交互系统
技术领域
本发明属于汽车技术领域，涉及一种车载人机交互系统。
背景技术
随着科技的不断发展，人的生活已渐渐步入智能时代，对工具的智能化要求程度也越来越高，越来越多智能信息技术被应用于整车上，使整车变得更智能，更容易操作。并且随着生活水平的不断提高，人们对车辆的驾驶体验的要求也越来越高，同时对车辆的驾乘乐趣也提出了要求，需要车辆满足用户对各种情景模式的要求。
现有的人机交互，其情景模式一般设置有亲子模式、抽烟模式、浪漫模式等交互模式，这些模式都为主机厂设定，模式的内容为不可更改的，且相应的情景模式的内容不一定是用户所需要的。另外，虽然车辆上设置有例如抽烟模式、亲子模式和宠物模式等情景模式，但是驾驶人员在使用该功能时，往往并不清楚当前车内的情况是属于哪种情景模式，不知道在什么情况下进行使用哪种情景模式，而且有可能用户并不清楚该如何使用这一情景模式功能，用户使用非常不便。
发明内容
本发明的目的是针对现有技术存在的上述问题，提出了一种车载人机交互系统，其所要解决的技术问题是：如何便于用户对情景模式功能的使用。
本发明的目的可通过下列技术方案来实现：一种车载人机交互系统包括：
摄像单元，用于采集车内驾乘人员的图像信息；
模式识别单元，用于根据摄像单元输送的图像信息来识别车内驾乘人员类型以及驾乘人员状态，进而确定出所属的情景模式；
多媒体娱乐系统，用于根据模式识别单元识别出的情景模式进行语音提醒并在获得进入相应情景模式的确认指令时输出与该情景模式对应的控制指令；
执行单元，用于根据多媒体娱乐系统输出的控制指令控制相应的电器设备进行动作。
本车载人机交互系统的工作原理为：在车辆上电时，摄像单元开始工作，摄像单元对车内驾乘人员以及驾乘人员状态的图像信息进行采集并传递给模式识别单元，模式识别单元对摄像单元采集的图像信息进行处理，在识别出人员为抽烟状态时，可判定为抽烟情景模式并输出所识别出的情景模式；在车内乘员状态为闭眼休息时，可判定为睡眠情景模式；在车内有宠物时，可判定为宠物情景模式；在车内有儿童时，可判定为亲子情景模式；通过摄像单元对车内情况进行判断，能够对情景模式进行自动识别，能够更清楚地知道车内人员的状态应该属于哪种情景模式，操作更加智能，对情景模式的判定更加清楚准确；多媒体娱乐系统在接受到模式识别单元所识别的情景模式时进行语音提醒，提醒车内人员是否进入相应的情景模式，这样的操作，使车内人员清楚地知道在当前情况下，应该进入哪种情景模式，更方便车内人员对相应情景模式进行操作，操作更加明确且准确，在车内人员对相应情景模式进行操作时，多媒体娱乐系统将获得进入相应情景模式的确认指令，多媒体娱乐系统将根据该情景模式获取对应的控制指令，执行单元则根据控制指令控制相应的电器设备进行动作，该系统在获得确认指令后才使车辆进入相应情景模式的操作，保证用户能根据自己的需求进行选择，方便用户清楚当前车辆所属的情景模式，且操作能更符合用户的需求，有效提高了用户的驾乘体验。
在上述的车载人机交互系统中，所述多媒体娱乐系统包括：
确认模块，用于获得进入相应情景模式的确认指令；
主机控制模块，用于对模式识别单元所识别的情景模式进行处理并获得相应的语音提醒指令以及对确认模块输入的进入相应情景模式的确认指令进行处理并获得相应的控制指令；
语音输出模块，用于根据语音提醒指令输出相应的语音提醒；
指令输出模块，用于将控制指令输送给执行单元。
在上述的车载人机交互系统中，所述确认模块包括：
触摸显示模块，用于在界面上显示预设的情景模式并能够通过触摸界面上相应情景模式的图标来获得进入相应情景模式的确认指令。
在上述的车载人机交互系统中，所述确认模块包括：
麦克风，用于接收车内人员的语音信息；
语音识别模块，用于对车内人员的语音信息进行识别并根据识别的语音指令获得进入相应情景模式的确认指令。
多媒体娱乐系统还设置有语音识别模块，车内人员能够通过语音直接输出指令，如主机控制模块在语音提醒车内人员是否进入相应情景模式时，车内人员可以直接回答是，主机控制模块可根据识别的语音进行相应控制，控制方便，另外，在车内人员想要进入某个情景模式时，也可以直接语音进行输入，操作非常方便，提高了用户的驾乘体验。
在上述的车载人机交互系统中，所述多媒体娱乐系统还包括：
存储模块，用于预存多种情景模式以及与情景模式对应的控制指令；
设置模块，用于对情景模式的名称以及各个情景模式下对应的控制指令进行修改或重新设置，并存储修改后的情景模式名称和控制指令于存储模块。
设置模块的设置，使用户能够根据自己的喜好进行更改名称和各情景模式下的情景操控，如亲子情景模式，用户可以选择氛围灯、内饰灯和多媒体的相应控制，在抽烟情景模式下可选择空调或车窗的调节控制等，进一步满足用户自身的需求。存储模块存储多个情景模式，如抽烟情景模式、宠物情景模式、亲子情景模式等，并存储与抽烟情景模式相关的控制指令，如控制车窗进行开关动作的控制指令和/或控制空调开闭动作的控制指令；又比如亲子情景模式时，存储的是控制氛围灯进行色彩调节的控制指令、控制内饰灯进行开闭的控制指令以及控制多媒体进行开闭的控制指令。
在上述的车载人机交互系统中，所述车载人机交互系统还包括车身控制器和通讯单元，所述车身控制器、主机控制模块和模式识别单元通过通讯单元进行通讯，所述车身控制器通过通讯单元与执行单元进行通讯。在控制过程中，通过车身控制器将主机控制模块输出的控制指令传输给执行单元，提高指令控制的稳定性。
在上述的车载人机交互系统中，所述通讯单元包括CAN网络和LIN网络，所述车身控制器、主机控制模块和模式识别单元通过CAN网络进行通讯，所述车身控制器通过LIN网络与执行单元进行通讯。
在上述的车载人机交互系统中，所述车载人机交互系统还包括：
状态监测模块，用于监测执行单元是否按照控制指令进行动作并反馈状态信号给车身控制器；
车身控制器，还用于根据接收的反馈状态信号来确认系统是否进入相应的情景模式并在确认进入相应情景模式时发送控制信号给主机控制模块；
主机控制模块，还用于在接收到车身控制器输送的控制信号时控制触摸显示模块上相应的情景模式点亮。状态监测模块的设置，能够确保执行单元能够按照相应的情景模式进行动作，保证系统操作的准确性，同时还在触摸显示模块上点亮相应的情景模式，能够使车内人员清楚地了解到当前所处的情景模式，驾乘体验好。
在上述的车载人机交互系统中，所述主机控制模块还用于在通过触摸显示模块点击退出情景模式或者在状态监测模块未监测到电器设备的状态信号时输出退出情景模式的控制信号。状态监测模块未监测到电器设备状态信号的情况包括电器设备发生故障无法动作的情况或者电源断电情况下电器设备不工作的情况，通过状态监测模块的反馈信号来判断是否退出情景模式，使车辆在不满足对应情景模式的条件时，自动退出情景模式，这一操作，使得整车更加智能，进一步提高来驾乘体验。
在上述的车载人机交互系统中，所述执行单元包括：
空调控制器，用于根据多媒体娱乐系统输出的控制指令对空调进行相应的控制；
四门车窗控制器，用于根据多媒体娱乐系统输出的控制指令对四个车窗进行开关控制；
天窗控制器，用于根据多媒体娱乐系统输出的控制指令对天窗进行开关控制；
电动座椅控制器，用于根据多媒体娱乐系统输出的控制指令对电动座椅的位置进行控制；
氛围灯控制器，用于根据多媒体娱乐系统输出的控制指令对氛围灯的色彩及明暗进行控制。
在上述的车载人机交互系统中，所述车载人机交互系统还包括用于采集车外雨量信号以及光线强度信号的雨量光线传感器，所述雨量光线传感器通过通讯单元与车身控制器连接，所述车身控制器用于根据雨量光线传感器输送信号判断是否发出关闭车窗或打开氛围灯的指令并发送指令给多媒体娱乐系统，通过多媒体娱乐系统进行语音提醒。雨量光线传感器的设置，能够使车辆根据雨量与光线情况进行相应的关车窗和开灯的提醒，整车操作更加智能，更能保证车辆驾驶的安全性。
与现有技术相比，本车载人机交互系统具有以下优点：
1、本发明能够通过模式识别单元识别驾驶员或车内乘员的活动，对车内的情况进行预测，并通过语音向驾驶员提示是否进入相应的情景模式，整车操作变得更加智能，并且能够方便用户清楚了解到当前车内状态是属于哪种情景模式以及如何对情景模式这一功能进行使用，更方便人们对车辆中情景模式这一功能的使用，提高了人们驾乘乐趣的同时也提高来人们的驾驶体验。
2、本发明还能够通过语音或者触摸多媒体娱乐系统的界面主动进入情景模式，操作方便，使人们能够根据自己的需求进行选择，更能满足人们对驾乘的需求。
3、本发明还能够对车辆已设定的情景模式进行重新设定，使车辆的情景模式不再只是局限于车辆的出厂设置，用户能够根据自己的要求进行设定，更能符合使用者对情景模式使用的需求，更进一步地提高了驾驶体验和驾乘乐趣。
附图说明
图1是本发明的结构示意图。
图2是本发明对情景模式设定的结构示意图。
图中，1、摄像单元；2、模式识别单元；3、多媒体娱乐系统；31、触摸显示模块；32、存储模块；33、语音输出模块；34、指令输出模块；35、语音识别模块；36、麦克风；37、设置模块；38、主机控制模块；4、通讯单元；41、CAN网络；42、LIN网络；5、车身控制器；6、执行单元；61、空调控制器；62、四门车窗控制器；63、天窗控制器；64、电动座椅控制器；65、氛围灯控制器；7、状态监测模块；8、雨量光线传感器。
具体实施方式
以下是本发明的具体实施例并结合附图，对本发明的技术方案作进一步的描述，但本发明并不限于这些实施例。
实施例一：
如图1所示，本车载人机交互系统包括：
摄像单元1，用于采集车内驾乘人员的图像信息；摄像单元1包括若干个摄像头，摄像头布置在车辆的左右A柱上，摄像头能够对车内乘员的信息进行全方位，保证采集的图像信息的准确性；
模式识别单元2，用于根据摄像单元1输送的图像信息来识别车内驾乘人员类型以及驾乘人员状态，进而确定出所属的情景模式；例如，当摄像头拍摄到车内乘员嘴里有棒状东西，且嘴里吐出烟雾时，模式识别单元2将识别出该图像信息为乘员吸烟的状态信息，此时则可以确定车内状态信息为属于抽烟情景模式；
多媒体娱乐系统3，用于根据模式识别单元2识别出的情景模式进行语音提醒并在获得进入相应情景模式的确认指令时输出与该情景模式对应的控制指令；
执行单元6，用于根据多媒体娱乐系统3输出的控制指令控制相应的电器设备进行动作。
其中，多媒体娱乐系统3包括：
确认模块，用于获得进入相应情景模式的确认指令；存储模块32，用于预存多种情景模式以及与情景模式对应的控制指令；
设置模块37，用于对情景模式的名称以及各个情景模式下对应的控制指令进行修改或重新设置，并存储修改后的情景模式名称和控制指令于存储模块32；
主机控制模块38，用于对模式识别单元2所识别的情景模式进行处理并获得相应的语音提醒指令以及对确认模块输入的进入相应情景模式的确认指令进行处理并获得相应的控制指令；
语音输出模块33，用于根据语音提醒指令输出相应的语音提醒；
指令输出模块34，用于将控制指令输送给执行单元6。
作为优选方案，确认模块包括：
触摸显示模块31，用于在界面上显示预设的情景模式并能够通过触摸界面上相应情景模式的图标来获得进入相应情景模式的确认指令；
麦克风36，用于接收车内人员的语音信息；
语音识别模块35，用于对车内人员的语音信息进行识别并根据识别的语音指令获得进入相应情景模式的确认指令。
在车内人员发出“进入抽烟情景模式”的语音提醒时，麦克风36会接收该语音，或者车内人员回复系统发出的“是否进入抽烟情景模式”的语音，如“是”或“否”时，麦克风36都会接收到该语音；在语音识别模块35识别的是进入抽烟情景模式时，主机控制模块38调取与抽烟情景模式相对应的控制指令进行输出，如发出控制车窗进行开启或关闭的控制指令或者发出控制空调进行开启的控制指令；除语音回复外，也可以通过操作触摸显示模块31上的相应情景模式来发出确认指令，如提醒的是进入抽烟情景模式，那么就是对触摸显示模块31界面上的抽烟情景模式进行触摸来获得进入抽烟情景模式的确认指令。
作为优选，语音输出模块33与车辆的喇叭进行连接，用于发出语音提醒信息，如发出“是否进入抽烟情景模式”的提示音。
存储模块32存储多个情景模式，如抽烟情景模式、宠物情景模式、亲子情景模式等，并存储与抽烟情景模式相关的控制指令，如控制车窗进行开关动作的控制指令和/或控制空调开闭动作的控制指令；又比如亲子情景模式时，存储的是控制氛围灯进行色彩调节的控制指令、控制内饰灯进行开闭的控制指令以及控制多媒体进行开闭的控制指令。多媒体娱乐系统3还设置有语音识别模块35，车内人员能够通过语音直接输出指令，如在主机控制模块38在语音提醒车内人员是否进入相应情景模式时，车内人员可以直接回答是，主机控制模块38可根据识别的语音进行相应控制，控制方便，另外，在车内人员想要进入某个情景模式时，也可以直接语音进行输入，操作非常方便，提高了用户的驾乘体验。设置模块37的设置，使用户能够根据自己的喜好进行更改名称和各情景模式下的情景操控，如亲子情景模式，用户可以选择氛围灯、内饰灯和多媒体的相应控制，在抽烟情景模式下可选择空调或车窗的调节控制等，进一步满足用户自身的需求。
作为优选方案，本车载人机交互系统还包括车身控制器5和通讯单元4，车身控制器5、主机控制模块38和模式识别单元2通过通讯单元4进行通讯，车身控制器5通过通讯单元4与执行单元6进行通讯。在控制过程中，通过车身控制器5将主机控制模块38输出的控制指令传输给执行单元6，提高指令控制的稳定性。
作为优选方案，通讯单元4包括CAN网络41和LIN网络42，车身控制器5、主机控制模块38和模式识别单元2通过CAN网络41进行通讯，车身控制器5通过LIN网络42与执行单元6进行通讯。作为优选，车身控制器5也可以通过LIN网络42与执行单元6进行通讯，车身控制器5、主机控制模块38和模式识别单元2也可以通过LIN网络42进行通讯。
作为优选，执行单元6包括：
空调控制器61，用于通过CAN网络41或LIN网络42与车身控制器5连接并接收车身控制器5传递的由多媒体娱乐系统3输出的控制指令，并对空调进行相应的控制；
四门车窗控制器62，用于通过CAN网络41或LIN网络42与车身控制器5连接并接收车身控制器5传递的由多媒体娱乐系统3输出的控制指令，并对四个车窗进行开关控制；
天窗控制器63，用于通过CAN网络41或LIN网络42与车身控制器5连接并接收车身控制器5传递的由多媒体娱乐系统3输出的控制指令，并对天窗进行开关控制；
电动座椅控制器64，用于通过CAN网络41或LIN网络42与车身控制器5连接并接收车身控制器5传递的由多媒体娱乐系统3输出的控制指令，并对电动座椅的位置进行控制；
氛围灯控制器65，用于通过CAN网络41或LIN网络42与车身控制器5连接并接收车身控制器5传递的由多媒体娱乐系统3输出的控制指令，并对氛围灯的色彩及明暗进行控制。
执行单元6除上述电器设备的控制器以外，还可以包括仪表控制器、迎宾灯控制器以及还可以包括对多媒体的控制。其中，如在疲劳驾驶情景模式下，可通过仪表控制器控制仪表发出警示图标。
作为优选方案，本车载人机交互系统还包括：
状态监测模块7，用于监测执行单元6是否按照控制指令进行动作并反馈状态信号给车身控制器5；
车身控制器5，还用于根据接收的反馈状态信号来确认系统是否进入相应的情景模式并在确认进入相应情景模式时发送控制信号给主机控制模块38；
主机控制模块38，还用于在接收到车身控制器5输送的控制信号时控制触摸显示模块31上相应的情景模式点亮。状态监测模块7的设置，能够确保执行单元6能够按照相应的情景模式进行动作，保证系统操作的准确性，同时还在触摸显示模块31上点亮相应的情景模式，能够使车内人员清楚地了解到当前所处的情景模式，驾乘体验好。
作为优选方案，主机控制模块38还用于在通过触摸显示模块31点击退出情景模式或者在状态监测模块7未监测到电器设备的状态信号时输出退出情景模式的控制信号。车身控制器5在接收到主机控制模块38输出的退出情景模式的控制信号时控制对应情景模式下的电器设备停止工作。状态监测模块7未监测到电器设备状态信号的情况包括电器设备发生故障无法动作的情况或者电源断电情况下电器设备不工作的情况，通过状态监测模块7的反馈信号来判断是否退出情景模式，使车辆在不满足对应情景模式的条件时，自动退出情景模式，这一操作，使得整车更加智能，进一步提高来驾乘体验。
作为优选方案，车载人机交互系统还包括用于采集车外雨量信号以及光线强度信号的雨量光线传感器8，雨量光线传感器8通过通讯单元4与车身控制器5连接，车身控制器5用于根据雨量光线传感器8输送的信号判断是否发出关闭车窗或打开氛围灯的指令并发送指令给多媒体娱乐系统3，通过多媒体娱乐系统3进行语音提醒。雨量光线传感器8的设置，能够使车辆根据雨量与光线情况进行相应的关车窗和开灯的提醒，整车操作更加智能，更能保证车辆驾驶的安全性。
本车载人机交互系统的工作原理为：在车辆上电时，即车辆电源档为ON时，摄像单元1中的摄像头均开始工作，摄像单元1对车内驾乘人员的图像信息进行摄取并传递给模式识别单元2，模式识别单元2对摄像单元1采集的图像信息进行处理，可识别车内以下情况，如抽烟情景模式、驾驶员(乘员)疲劳(瞌睡)情景模式、宠物情景模式和亲子情景模式等；模式识别单元2在根据图像信息识别出车内所属的情景模式时将信号通过通讯单元4传递给车身控制器5，车身控制器5将模式识别单元2反馈的情景模式传递至多媒体娱乐系统3的主机控制模块38，主机控制模块38通过语音输出模块33输出语音提醒，提醒驾驶员是否进入相应的情景模式，如识别的为抽烟情景模式时，则发出“是否进入抽烟情景模式”的语音提示音；作为优选，还可以在触摸显示界面上以闪烁的方式对抽烟情景模式进行突出显示，提醒车内人员需进行操作的情景模式，更方便车内人员操作，操作更加智能；在用户对触摸显示模块31界面上相应情景模式的图标进行操作时，手指与屏幕接触会产生模拟信号，该模拟信号传递至主机控制模块38，主机控制模块38将模拟信号转换成相应的数字信号进行处理，主机控制模块38从存储模块32中预设的情景模式中选择对应的情景模式以及该情景模式下的控制指令信号，并通过通讯单元4将对应情景模式下的控制指令信号传输给车身控制器5，车身控制器5将控制指令信号进行转换后传送至执行单元6中的各个控制器，各控制器接收到模拟信号后，各控制器控制各电器设备执行相应的动作，例如，当用户提示的是进入抽烟情景模式时，车身控制器5将控制指令信号进行转换后传送至执行单元6的四门车窗控制器62，四门车窗控制器62控制车窗进行打开，或者传送至执行单元6的空调控制器61，空调控制器61控制空调进行打开；作为优选，主机控制模块38通过语音输出模块33输出语音提醒，在提醒驾驶员是否进入相应的情景模式时，驾驶人员也可以直接语音回答“是”来输送进入相应情景模式的确认指令或者回答“否”来不进入相应的情景模式，在回答“是”时，通过麦克风36将“是”的语音信号输送给语音识别模块35，语音识别模块35识别出为进入相应情景模式的确认指令时，主机控制模块38从存储模块32中预设的情景模式中选择对应的情景模式以及该情景模式下的控制指令信号，并通过通讯单元4将对应情景模式下的控制指令信号传输给车身控制器5，车身控制器5将控制指令信号进行转换后传送至执行单元6中的各个控制器，各控制器接收到模拟信号后，各控制器控制各电器设备执行相应的动作。作为优选，还设置状态监测模块7来监测执行单元6中各控制器是否按照控制指令进行动作并反馈状态信号给车身控制器5，例如，监测车窗是否按照对应情景模式下设定的要求进行打开或关闭或者开度是否达到要求，车身控制器5在接收到各控制器反馈的状态信号后，在确认车辆已经进入相应的情景模式时，发送控制信号给主机控制模块38，通过主机控制模块38点亮触摸显示模块31界面上的相应情景模式，便于车内人员清楚了解到车辆当前所处的情景模式。作为优选，还包括情景模式退出的操作，情景模式退出即用户主动或被动退出当前情景模式,情景模式退出主要分为以下几种情况：通过多媒体娱乐系统3的界面点击退出情景模式；控制器或执行器不满足情景模式的条件(例如:抽烟模式下,电动车窗电机或电动车窗控制器发生故障,车窗无法动作)；电源模式不满足(例如:在抽烟模式下,空调电机或空调控制器61断电,车身控制器5接收不到空调控制器61的状态信号,便退出抽烟模式)；退出情景模式时,车身控制器5给其他相关控制器发出控制信号，其他控制器控制对应电器设备停止动作,并给主机控制模块38发出控制信号,将多媒体娱乐系统3界面上的情景模式退出。
作为优选，本系统还可以通过设置模块37对情景模式进行修改或重新设置，如图2所示，情景名称包括亲子模式、抽烟模式、宠物模式、疲劳模式、通信模式和普通模式，用户还可以根据自己的喜好改变成其他名称；作为优选，还可以对情景模式的内容进行重新设置，用户可以在不同的情景模式下设置想要的情景,如图2所示,例如：亲子模式,用户可选择氛围灯、内饰灯和多媒体等,在抽烟模式可选择空调、电动车窗等。作为优选，还可以对情景模式进行深度设置：用户可以根据自己的喜好对情景模式进行深度设置,如用户可在相应的情景模式下设置空调的出风口温度、出风量大小以及风速大小等,电动座椅可设置座椅的高度、靠背的角度等，氛围灯可设置氛围灯的颜色和闪烁频率等，这些均可以根据用户实际需要进行个性化设置,更具有实用性。另外，在进行设置时，用户针对各个电器设备的参数进行设置时，系统能够自动对用户设定的参数进行调节，如用户设置的参数不在电器设备的参数范围内时,则默认设置参数为电器的电气参数的最大值或最小值(例如:空调的出风口温度为17℃-30℃,若用户设置的出风口温度低于17℃,则空调默认出风口温度设置为17℃,同理,若用户设置的出风口温度高于30℃,则空调默认出风口温度设置为30℃),同理该适用于空调出风量,风速,电动座椅高度，靠背角度,座椅加热温度,座椅通风量,氛围灯颜色,氛围灯闪烁频率等其他电器设备的参数设置。情景模式在根据自己的实际需求进行更改后，状态保存在整车的多媒体娱乐系统3的存储模块32中，下次用户可直接点击多媒体娱乐系统3的界面，就可以进入用户设定的情景模式中，操作更加智能，进一步提高了用户的驾乘体验。
实施例二：
本实施例中的技术方案与实施例一中的技术方案基本相同，不同之处在于，确认模块只包括：
触摸显示模块31，用于在界面上显示预设的情景模式并能够通过触摸界面上相应情景模式的图标来获得进入相应情景模式的确认指令。
实施例三：
本实施例中的技术方案与实施例一中的技术方案基本相同，不同之处在于，确认模块只包括：
麦克风36，用于接收车内人员的语音信息；
语音识别模块35，用于对车内人员的语音信息进行识别并根据识别的语音指令获得进入相应情景模式的确认指令。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (8)

1.一种车载人机交互系统，其特征在于，所述车载人机交互系统包括：
摄像单元，用于采集车内驾乘人员的图像信息；
模式识别单元，用于根据摄像单元输送的图像信息来识别车内驾乘人员类型以及驾乘人员状态，进而确定出所属的情景模式；
多媒体娱乐系统，用于根据模式识别单元识别出的情景模式进行语音提醒并在获得进入相应情景模式的确认指令时输出与该情景模式对应的控制指令；
执行单元，用于根据多媒体娱乐系统输出的控制指令控制相应的电器设备进行动作；
状态监测模块，用于监测执行单元是否按照控制指令进行动作并反馈状态信号给车身控制器；
车身控制器，用于将主机控制模块输出的控制指令传输给执行单元；
所述多媒体娱乐系统包括：
主机控制模块；
确认模块，用于获得进入相应情景模式的确认指令；所述确认模块包括：
触摸显示模块，用于通过闪烁的方式对根据模式识别单元识别出的情景模式进行突出显示，提醒车内人员需进行操作的情景模式，还用于在界面上显示预设的情景模式并能够通过触摸界面上相应情景模式的图标来获得进入相应情景模式的确认指令；
所述车身控制器用于根据接收的反馈状态信号来确认系统是否进入相应的情景模式并在确认进入相应情景模式时发送控制信号给主机控制模块；
所述主机控制模块用于在接收到车身控制器输送的控制信号时控制触摸显示模块上相应的情景模式点亮；在状态监测模块未监测到电器设备的状态信号时输出退出情景模式的控制信号；所述车身控制器在接收到主机控制模块输出的退出情景模式的控制信号时控制对应情景模式下的电器设备停止工作。
2.根据权利要求1所述的车载人机交互系统，其特征在于，所述多媒体娱乐系统还包括：
主机控制模块，还用于对模式识别单元所识别的情景模式进行处理并获得相应的语音提醒指令以及对确认模块输入的进入相应情景模式的确认指令进行处理并获得相应的控制指令；
语音输出模块，用于根据语音提醒指令输出相应的语音提醒；
指令输出模块，用于将控制指令输送给执行单元。
3.根据权利要求2所述的车载人机交互系统，其特征在于，所述确认模块还包括：
麦克风，用于接收车内人员的语音信息；
语音识别模块，用于对车内人员的语音信息进行识别并根据识别的语音指令获得进入相应情景模式的确认指令。
4.根据权利要求1或2所述的车载人机交互系统，其特征在于，所述多媒体娱乐系统还包括：
存储模块，用于预存多种情景模式以及与情景模式对应的控制指令；
设置模块，用于对情景模式的名称以及各个情景模式下对应的控制指令进行修改或重新设置，并存储修改后的情景模式名称和控制指令于存储模块。
5.根据权利要求1所述的车载人机交互系统，其特征在于，所述车载人机交互系统还包括通讯单元，所述车身控制器、主机控制模块和模式识别单元通过通讯单元进行通讯，所述车身控制器通过通讯单元与执行单元进行通讯。
6.根据权利要求1所述的车载人机交互系统，其特征在于，所述主机控制模块还用于在通过触摸显示模块点击退出情景模式时输出退出情景模式的控制信号。
7.根据权利要求1或2所述的车载人机交互系统，其特征在于，所述执行单元包括：
空调控制器，用于根据多媒体娱乐系统输出的控制指令对空调进行相应的控制；
四门车窗控制器，用于根据多媒体娱乐系统输出的控制指令对四个车窗进行开关控制；
天窗控制器，用于根据多媒体娱乐系统输出的控制指令对天窗进行开关控制；
电动座椅控制器，用于根据多媒体娱乐系统输出的控制指令对电动座椅的位置进行控制；
氛围灯控制器，用于根据多媒体娱乐系统输出的控制指令对氛围灯的色彩及明暗进行控制。
8.根据权利要求5所述的车载人机交互系统，其特征在于，所述车载人机交互系统还包括用于采集车外雨量信号以及光线强度信号的雨量光线传感器，所述雨量光线传感器通过通讯单元与车身控制器连接，所述车身控制器用于根据雨量光线传感器输送信号判断是否发出关闭车窗或打开氛围灯的指令并发送指令给多媒体娱乐系统，通过多媒体娱乐系统进行语音提醒。
CN202010663562.XA 2020-07-10 2020-07-10 一种车载人机交互系统 Active CN111885547B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010663562.XA CN111885547B (zh) 2020-07-10 2020-07-10 一种车载人机交互系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010663562.XA CN111885547B (zh) 2020-07-10 2020-07-10 一种车载人机交互系统

Publications (2)

Publication Number Publication Date
CN111885547A CN111885547A (zh) 2020-11-03
CN111885547B true CN111885547B (zh) 2024-06-04

Family

ID=73151361

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010663562.XA Active CN111885547B (zh) 2020-07-10 2020-07-10 一种车载人机交互系统

Country Status (1)

Country Link
CN (1) CN111885547B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112947195A (zh) * 2021-02-20 2021-06-11 广州橙行智动汽车科技有限公司 交互系统及其控制方法、交互控制系统和车辆
CN113859079A (zh) * 2021-09-22 2021-12-31 东风汽车集团股份有限公司 一种自动除车内烟灰的系统与方法
CN114194122B (zh) * 2021-11-24 2024-03-05 重庆长安汽车股份有限公司 一种安全提示系统及汽车
CN114604190A (zh) * 2022-01-13 2022-06-10 罗伦士汽车(江苏)有限公司 智能情景氛围模式系统及方法
CN114758654B (zh) * 2022-03-14 2024-04-12 重庆长安汽车股份有限公司 一种基于场景的汽车语音控制系统及控制方法
CN114954231A (zh) * 2022-05-20 2022-08-30 一汽奔腾轿车有限公司 一种乘用车自定义智能提醒实现方法
CN115047808A (zh) * 2022-06-30 2022-09-13 奇瑞商用车（安徽）有限公司 一种汽车智能设备控制系统和方法
CN115384435B (zh) * 2022-08-26 2024-06-04 重庆长安汽车股份有限公司 车宠模式控制方法、装置、设备及介质
CN117775012A (zh) * 2022-09-27 2024-03-29 华为终端有限公司 车载情景模式的定义方法、车载设备及其介质
CN115366789A (zh) * 2022-10-24 2022-11-22 苏州耀腾光电有限公司 一种汽车灯光系统
CN116373769A (zh) * 2023-06-02 2023-07-04 江苏日盈电子股份有限公司 智能交互式汽车控制系统
CN116755564B (zh) * 2023-08-16 2023-12-08 吉林藤兴科技有限公司 一种车辆生态智能控制交互设备、对接终端及主机

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014180434A1 (zh) * 2013-11-25 2014-11-13 中兴通讯股份有限公司 一种行车记录方法及智能终端
CN107223101A (zh) * 2016-06-23 2017-09-29 驭势科技（北京）有限公司 车辆自动驾驶方法和车辆自动驾驶系统
CN110103866A (zh) * 2019-04-23 2019-08-09 广州小鹏汽车科技有限公司 一种汽车情景模式的控制方法、控制系统和汽车
CN110211585A (zh) * 2019-06-05 2019-09-06 广州小鹏汽车科技有限公司 车内娱乐互动方法、装置、车辆和机器可读介质
CN110356347A (zh) * 2019-06-10 2019-10-22 武汉格罗夫氢能汽车有限公司 一种便捷的汽车个性化模式设置系统及方法
CN110435660A (zh) * 2019-08-13 2019-11-12 东风小康汽车有限公司重庆分公司 一种车辆驾驶情景模式的自动控制方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014180434A1 (zh) * 2013-11-25 2014-11-13 中兴通讯股份有限公司 一种行车记录方法及智能终端
CN107223101A (zh) * 2016-06-23 2017-09-29 驭势科技（北京）有限公司 车辆自动驾驶方法和车辆自动驾驶系统
CN110103866A (zh) * 2019-04-23 2019-08-09 广州小鹏汽车科技有限公司 一种汽车情景模式的控制方法、控制系统和汽车
CN110211585A (zh) * 2019-06-05 2019-09-06 广州小鹏汽车科技有限公司 车内娱乐互动方法、装置、车辆和机器可读介质
CN110356347A (zh) * 2019-06-10 2019-10-22 武汉格罗夫氢能汽车有限公司 一种便捷的汽车个性化模式设置系统及方法
CN110435660A (zh) * 2019-08-13 2019-11-12 东风小康汽车有限公司重庆分公司 一种车辆驾驶情景模式的自动控制方法及装置

Also Published As

Publication number Publication date
CN111885547A (zh) 2020-11-03

Similar Documents

Publication Publication Date Title
CN111885547B (zh) 一种车载人机交互系统
US11243613B2 (en) Smart tutorial for gesture control system
JP4305289B2 (ja) 車両用制御装置およびその装置を備える車両用制御システム
US20210122242A1 (en) Motor Vehicle Human-Machine Interaction System And Method
CN207773055U (zh) 车辆控制系统及车辆
CN112092583A (zh) 车载香薰控制系统及车载香薰
CN113485136A (zh) 一种基于ar-hud实时展示并控制智能家居工作状态的系统及方法
CN112124048A (zh) 车载香薰控制系统及车载香薰
CN114071841B (zh) 车辆氛围灯控制系统和方法、车辆及计算机存储介质
CN114347932A (zh) 基于车内乘员状态的车辆个性化控制系统及方法
CN115268334A (zh) 车窗控制方法、装置、设备及存储介质
EP3126934B1 (en) Systems and methods for the detection of implicit gestures
CN110406347A (zh) 一种车载空调的控制方法及系统
CN115916603A (zh) 一种车辆集成控制方法、装置、设备及存储介质
CN111605479A (zh) 感知情绪并自调节的内饰氛围灯系统及控制方法
CN113479214B (zh) 一种自动驾驶系统及其应用方法
CN106335436B (zh) 一种集成麦克风的内后视镜
CN114734912A (zh) 座舱内通过氛围灯进行提醒的方法和装置、电子设备和存储介质
CN112078339A (zh) 车载香薰控制系统及车载香薰
CN112721565A (zh) 车载空调控制方法、车辆和介质
CN114179742B (zh) 车辆的安全系统及安全控制方法
US10466657B2 (en) Systems and methods for global adaptation of an implicit gesture control system
CN115431919B (zh) 一种控制车辆的方法、装置、电子设备及存储介质
CN117111516B (zh) 一种汽车室内灯智能控制系统及方法
CN114242002B (zh) 一种汽车中央面板背光亮度调节系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant