CN108657186B - 智能驾驶舱交互方法和装置 - Google Patents
智能驾驶舱交互方法和装置 Download PDFInfo
- Publication number
- CN108657186B CN108657186B CN201810433192.3A CN201810433192A CN108657186B CN 108657186 B CN108657186 B CN 108657186B CN 201810433192 A CN201810433192 A CN 201810433192A CN 108657186 B CN108657186 B CN 108657186B
- Authority
- CN
- China
- Prior art keywords
- user
- information
- information data
- cockpit
- intelligent
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 49
- 238000000034 method Methods 0.000 title claims abstract description 32
- 230000001815 facial effect Effects 0.000 claims abstract description 40
- 238000001514 detection method Methods 0.000 claims description 3
- 230000002452 interceptive effect Effects 0.000 claims 2
- 230000000694 effects Effects 0.000 abstract description 7
- 238000004891 communication Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 5
- 238000012790 confirmation Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000008451 emotion Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000002996 emotional effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
Abstract
本申请公开了一种应用于无人驾驶车的智能驾驶舱的交互方法和装置，属于智能驾驶中的无人驾驶技术领域。所述方法包括：在检测到未识别用户将进入或位于智能驾驶舱内时，获取用户的面部信息；根据用户的面部信息识别用户身份，以使大数据服务器根据该用户身份获取对应的用户偏好信息，并基于该用户偏好信息找到相应的资讯数据；从大数据服务器接收该资讯数据；自动或根据接收到的播放指令播放该资讯数据。本申请可以根据不同用户的偏好播放其感兴趣的内容，且无需用户手动操作即可获取自己感兴趣的资讯，解决了现有技术中人车交互方式单一的问题，为用户带来了良好的驾乘体验，达到了使人车交互内容更加丰富的效果。
Description
技术领域
本申请属于智能驾驶中的无人驾驶技术领域，具体涉及一种无人驾驶车的智能驾驶舱的交互方法和装置。
背景技术
无人驾驶汽车是智能汽车的一种，主要依靠驾驶舱内以计算机系统为主的智能驾驶仪来实现无人驾驶的目标。在保证安全的前提下，无人驾驶汽车会更注重增强用户的驾驶乐趣，通常是以人机交互(Human–Machine Interaction，HMI)来实现。目前，主要应用于无人驾驶汽车的三大HMI系统是触摸感应、声音识别和手势控制。
随着人工智能技术的兴起，依靠无人驾驶汽车驾驶舱内的按键或触屏方式进行人车交互的技术已经跟不上技术的发展速度，且通过现有的声音识别和手势控制等技术进行的人车交互内容比较单一，如只能控制车载应用的开启、只能控制汽车内灯光或空调的开启等，现有的无人驾驶汽车的驾驶舱已无法满足人们日益增长的智能交互需求。
发明内容
有鉴于此，本申请实施例提供了一种无人驾驶车的智能驾驶舱的交互方法和装置，解决了无人驾驶车的智能驾驶舱的交互方式单一的技术问题，丰富了人车交互的内容。其技术方案如下：
第一方面，提供了一种应用于无人驾驶车的智能驾驶舱的交互方法，所述方法包括：
在检测到未识别用户将进入或位于智能驾驶舱内时，获取用户的面部信息；
根据用户的面部信息识别用户身份，以使大数据服务器根据用户身份获取对应的用户偏好信息，基于该用户偏好信息找到相应的资讯数据；
从大数据服务器接收资讯数据；
自动或根据接收到的播放指令播放该资讯数据。
在一种可能的实现方式中，所述方法还包括：
在检测到已识别用户位于智能驾驶舱内时，获取用户的面部信息；
根据该用户的面部信息确定该用户处于哪种状态类型，该状态类型包括：正常和疲惫；
根据该用户的状态类型调整智能驾驶舱的控制模式，该控制模式包括：休闲模式和休息模式。
在一种可能的实现方式中，所述根据用户的状态类型调整智能驾驶舱的控制模式，包括：
检测是否存储有与该用户的状态类型对应的控制模式的预设方案；
当存储有与该用户的状态类型对应的控制模式的预设方案时，根据该预设方案执行对智能驾驶舱的控制；
当没有存储与该用户的状态类型对应的控制模式的预设方案时，基于该控制模式与用户进行人机交互，根据用户的设置执行对智能驾驶舱的控制。
在一种可能的实现方式中，所述方法还包括：
接收用户的语音指令；
根据用户的语音指令设置无人驾驶车的目的地并使无人驾驶车向目的地前进；
和/或，
当到达目的地或当中途需要停车时，根据用户的语音指令将无人驾驶车停放在安全区域。
在一种可能的实现方式中，所述根据接收到的播放指令播放资讯数据，包括：
识别用户在智能驾驶舱内的位置；
根据用户在智能驾驶舱内的位置在对应的平面区域显示资讯数据；
接收用户发出的播放显示的资讯数据的语音指令，根据该播放显示的资讯数据的语音指令播放显示的资讯数据；判断用户双眼在显示的资讯数据中聚焦的位置，识别与用户双眼聚焦的位置对应的显示的资讯数据，播放与用户双眼聚焦的位置对应的显示的资讯数据。
第二方面，提供了一种应用于无人驾驶车的智能驾驶舱的交互装置，所述装置包括：
第一获取模块，被配置为在检测到未识别用户将进入或位于智能驾驶舱内时，获取用户的面部信息；
第一识别模块，被配置为根据用户的面部信息识别用户身份，以使大数据服务器根据用户身份获取对应的用户偏好信息，基于该用户偏好信息找到相应的资讯数据；
接收模块，被配置为从大数据服务器接收资讯数据；
播放模块，被配置为自动或根据接收到的播放指令播放该资讯数据。
在一种可能的实现方式中，所述装置还包括：
第二获取模块，被配置为在检测到已识别用户位于智能驾驶舱内时，获取用户的面部信息；
确定模块，被配置为根据用户的面部信息确定用户处于哪种状态类型，该状态类型包括：正常和疲惫；
调整模块，被配置为根据用户的状态类型调整智能驾驶舱的控制模式，该控制模式包括：休闲模式和休息模式。
在一种可能的实现方式中，所述调整模块包括：
检测模块，被配置为检测是否存储有与用户的状态类型对应的控制模式的预设方案；
第一执行模块，被配置为当存储有与用户的状态类型对应的控制模式的预设方案时，根据该预设方案执行对智能驾驶舱的控制；
第二执行模块，被配置为当没有存储与用户的状态类型对应的控制模式的预设方案时，基于该控制模式与用户进行人机交互，根据用户的设置执行对智能驾驶舱的控制。
在一种可能的实现方式中，所述装置还包括：
第二接收模块，被配置为接收用户的语音指令；
第三执行模块，被配置为根据用户的语音指令设置无人驾驶车的目的地并使无人驾驶车向该目的地前进；和/或，当到达目的地或当中途需要停车时，根据用户的语音指令将无人驾驶车停放在安全区域。
在一种可能的实现方式中，所述播放模块包括：
第二识别模块，被配置为识别用户在智能驾驶舱内的位置；
显示模块，被配置为根据用户在智能驾驶舱内的位置在对应的平面区域显示资讯数据；；
第三接收模块，被配置为接收用户发出的播放显示的资讯数据的语音指令；
第一播放子模块，被配置为根据该播放显示的资讯数据的语音指令播放显示的资讯数据；
判断模块，被配置为判断用户双眼在显示的资讯数据中聚焦的位置；
第三识别模块，被配置为识别与用户双眼聚焦的位置对应的显示的资讯数据；
第二播放子模块，被配置为播放与用户双眼聚焦的位置对应的显示的资讯数据。
本申请实施例提供的技术方案带来的有益效果至少包括：
本申请实施例中，通过获取用户的面部信息，并将用户的面部信息上传至大数据服务器以获得与该用户身份对应的偏好信息以及与该用户偏好信息相应的资讯数据，再播放该相应的资讯数据，可以根据不同用户的偏好播放其感兴趣的内容，且由于无需用户手动操作即可获取自己感兴趣的资讯，解决了现有技术中人车交互方式单一的问题，为用户带来了良好的驾乘体验，达到了使人车交互内容更加丰富的效果。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一种示例性实施环境的示意图；
图2是本申请第一实施例提供的智能驾驶舱交互方法的流程图；
图3是本申请第二实施例提供的智能驾驶舱交互方法的流程图；
图4是本申请第三实施例提供的智能驾驶舱交互装置的示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
图1是实施本申请的一种示例性实施环境中的智能驾驶舱的示意图。参见图1，该实施环境中包括：处理器11，图像识别单元12，虚拟显示器13，通信单元14，智能语音单元15和大数据服务器16；其中图像识别单元12包括：摄像设备121和图像处理器122；虚拟显示器13包括显示屏131和驱动模块132；通信单元14包括无线接收模块和无线发送模块；智能语音单元15包括语音接收器151和语音播放器152；大数据服务器16包括：数据库161、应用软件162和数据接收模块163。
图像识别单元12可以通过摄像设备121采集人脸信息，并通过图像处理器122采用深度学习算法识别用户的情感信息。虚拟显示器13中的显示屏131可以根据用户需要完全融合到智能驾驶舱内任意位置，满足不同用户对显示位置的个性化需求。通信单元14可以通过无线接收模块141和无线接收模块142完成与大数据服务器16的通信。智能语音单元可以接收并识别用户的语音指令，以及向用户发出语音提示指令。大数据服务器16可以接收通信单元14发送的数据信息，还可以对用户信息进行搜集、存储和分析。
本申请第一实施例提供了一种智能驾驶舱交互方法，如图2所示，该方法包括如下步骤：
步骤S21，在检测到未识别用户将进入或位于智能驾驶舱内时，获取用户的面部信息。
步骤S22，根据用户的面部信息识别用户身份，以使大数据服务器根据用户身份获取对应的用户偏好信息，基于该用户偏好信息找到相应的资讯数据；
步骤S23，从大数据服务器接收资讯数据。
步骤S24，自动或根据接收到的播放指令播放资讯数据。
本实施例提供的方法，通过获取用户的面部信息，并将用户的面部信息上传至大数据服务器以获得与该用户身份对应的偏好信息以及与该用户偏好信息相应的资讯数据，再播放该相应的资讯数据，可以根据不同用户的偏好播放其感兴趣的内容，且由于无需用户手动操作即可获取自己感兴趣的资讯，解决了现有技术中人车交互方式单一的问题，为用户带来了良好的驾乘体验，达到了使人车交互内容更加丰富的效果。
在一种可能的实现方式中，该方法还包括：
在检测到已识别用户位于智能驾驶舱内时，获取用户的面部信息；
根据用户的面部信息确定用户处于哪种状态类型，该状态类型包括：正常和疲惫；
根据用户的状态类型调整智能驾驶舱的控制模式，该控制模式包括：休闲模式和休息模式。
在一种可能的实现方式中，根据用户的状态类型调整智能驾驶舱的控制模式，包括：
检测是否存储有与该用户的状态类型对应的控制模式的预设方案；
当存储有与该用户的状态类型对应的控制模式的预设方案时，根据该预设方案执行对智能驾驶舱的控制；
当没有存储与该用户的状态类型对应的控制模式的预设方案时，基于该控制模式与用户进行人机交互，根据用户的设置执行对智能驾驶舱的控制。
在一种可能的实现方式中，所述方法还包括：
接收用户的语音指令；
根据用户的语音指令设置无人驾驶车的目的地并使无人驾驶车向目的地前进；
和/或，
当到达目的地或当中途需要停车时，根据用户的语音指令将无人驾驶车停放在安全区域。
在一种可能的实现方式中，所述根据接收到的播放指令播放资讯数据，包括：
识别用户在智能驾驶舱内的位置；
根据用户在智能驾驶舱内的位置在对应的平面区域显示资讯数据；
接收用户发出的播放显示的资讯数据的语音指令，根据该播放显示的资讯数据的语音指令播放显示的资讯数据；判断用户双眼在显示的资讯数据中聚焦的位置，识别与用户双眼聚焦的位置对应的显示的资讯数据，播放与用户双眼聚焦的位置对应的显示的资讯数据。
上述所有可选技术方案，可以采用任意结合形成本申请的可选实施例，在此不再一一赘述。
本申请第二实施例提供了一种智能驾驶舱交互方法，如图3所示，该方法包括如下步骤：
步骤S31，在检测到未识别用户将进入或位于智能驾驶舱内时，获取用户的面部信息。
本领域技术人员应当理解，在检测到未识别用户将进入或位于智能驾驶舱内时，获取用户的面部信息，可以是在未识别用户即将进入智能驾驶舱时由设置在智能驾驶舱外部的摄像设备获取其面部信息；也可以是在未识别用户刚进入到智能驾驶舱时，由智能驾驶舱内部的摄像设备获取其面部信息。其中，未识别用户指的是智能驾驶舱还没有识别其身份的用户。
步骤S32，根据用户的面部信息识别用户身份，以使大数据服务器根据用户身份获取对应的用户偏好信息，基于用户偏好信息找到相应的资讯数据。
为了更好的进行人车交互，智能驾驶舱可以将识别出的用户面部信息上传至大数据服务器，由大数据服务器对用户身份进行判定。同时大数据服务器可以从自身存储的用户身份与用户偏好信息的对应关系中，确定与用户身份对应的偏好信息。进一步地，大数据服务器可以根据确定的与用户身份对应的偏好信息在自身存储的资讯数据或在互联网中查找与该偏好信息对应的资讯数据。其中，大数据服务器自身存储的资讯数据可以是由用户上传至大数据服务器中的，也可以是大数据服务器根据用户历史操作缓存下来的，还可以是从互联网上搜索得到的。另外，大数据服务器在确定用户身份后，可以根据用户身份与资讯网站的登陆账号的对应关系获取该用户的有关资讯网站的登陆账号和密码，从而大数据服务器可以通过这些资讯网站的登陆账号和密码登陆相关的资讯网站，然后在这些资讯网站中查找与用户的偏好相关的资讯数据。其中，资讯网站的登陆账号和密码可以是由用户上传至大数据服务器中的。该资讯网站可以是：音乐播放网站、视频播放网站或新闻播放网站等。大数据服务器可以是具有数据存储、数据分析、数据计算或数据管理等功能的服务器。
当然，智能驾驶舱本身也可以对识别到的用户信息进行用户身份的判断，即步骤S32既可以在大数据服务器中完成，也可以由智能驾驶舱自带的功能完成，本实施例对此不做限定。
步骤S33，从大数据服务器接收资讯数据。
大数据服务器查找到与用户的偏好对应的资讯数据后，可以将查找到的资讯数据发送给智能驾驶舱。相应地，智能驾驶舱可以接收大数据服务器发送的资讯数据。
步骤S34，自动或根据接收到的播放指令播放资讯数据。
从大数据服务器接收到资讯数据后，智能驾驶舱可以向用户显示该资讯数据，同时智能驾驶舱也可以自动播放该资讯数据。其中，该资讯数据可以由智能驾驶舱内在固定位置安装的显示屏显示，也可以由智能驾驶舱内的虚拟显示屏显示。在一种可能的实现方式中，该虚拟显示屏可以根据用户的个人喜好嵌入到智能驾驶舱内任意位置，即智能驾驶舱内任意位置的平面区域都可以用来作为投影的屏幕或主动显示的屏幕。
为了更好地实现人车交互，智能驾驶舱可以识别用户在智能驾驶舱内的位置，并根据用户的位置在对应的平面区域显示资讯数据。在识别出用户在驾驶舱内的位置后，可以由嵌入到用户所在位置附近的智能内饰上的虚拟显示屏显示资讯数据。
当用户看到显示的资讯数据后，可以向智能驾驶舱发出语音指令，该语音指令用于播放显示的资讯数据。相对应地，智能驾驶舱可以接收用户发出的播放该显示的资讯数据的语音指令，并根据该语音指令播放显示的资讯数据。
在一种可能的实现方式中，智能驾驶舱在接收到用户的语音指令后，可以对该语音指令进行语音识别，并在显示的资讯数据中查找与该语音识别的结果对应的资讯数据，在查找到与该语音识别的结果对应的资讯数据后播放与该语音识别的结果对应的资讯数据。
在一种可能的实现方式中，智能驾驶舱可以判断用户双眼在显示的资讯数据中聚焦的位置，识别与用户双眼聚焦的位置对应的资讯数据，并播放与用户双眼聚焦的位置对应的资讯数据。其中，用户双眼聚焦的位置可以由设置在智能驾驶舱内的摄像设备对用户双眼的聚焦点进行识别，从而识别出用户双眼聚焦的位置。
步骤S35，在检测到已识别用户位于智能驾驶舱内时，获取用户的面部信息。
在用户进入到智能驾驶舱内后或者在无人驾驶车前进过程中，智能驾驶舱可以继续识别用户的面部信息。在一种可能的实现方式中，智能驾驶舱内的摄像设备可以对用户进行图像捕捉，设置在智能驾驶舱内的图像处理器可以对摄像设备捕捉到的图像进行处理后得到用户的面部信息。
步骤S36，根据用户的面部信息确定用户处于哪种状态类型，该状态类型包括：正常和疲惫。
在获得用户的面部信息后，图像处理器还可以利用深度学习算法识别该面部信息中的用户的情感信息，该情感信息反映了用户此时的状态类型。其中，用户的状态类型可以分为正常和疲惫。如果识别出当前用户的状态为兴奋或轻松，则可以将当前用户的状态类型确定为正常；如果识别出当前用户的状态为疲劳，则可以将当前用户的状态类型确定为疲惫。
步骤S37，根据用户的状态类型调整智能驾驶舱的控制模式，该控制模式包括：休闲模式和休息模式。
在识别出当前用户的状态类型后，智能驾驶舱可以根据当前用户的状态类型进行控制模式的调整。
在一种可能的实现方式中，智能驾驶舱可以在自身的存储单元或大数据服务器中检测是否存储有与当前用户的状态类型对应的控制模式的预设方案，当智能驾驶舱在自身的存储单元或大数据服务器中检测到存储有与当前用户的状态类型对应的控制模式的预设方案时，则可以根据该预设方案执行对智能驾驶舱的控制。
另一方面，当智能驾驶舱在自身的存储单元或大数据服务器中检测到没有存储与当前用户的状态类型对应的控制模式的预设方案时，则可以基于智能驾驶舱的两种控制模式与用户进行人机交互，再根据用户的设置执行对智能驾驶舱的控制。
例如，当识别出当前用户的状态类型为正常时，此时对应的智能驾驶舱的控制模式为休闲模式，但如果此时智能驾驶舱或大数据服务器中都没有存储与当前用户的状态类型对应的休闲模式的预设方案，则智能驾驶舱可以向用户发出询问信息，并根据用户的响应执行相应的控制。作为一个示例，首先，智能驾驶舱可以向用户发出是否进入休闲模式的提示，并在接收到用户的确认指令后进入休闲模式；然后，智能驾驶舱可以向用户发出是否继续播放资讯数据的提示，并在接收到用户的确认指令后继续播放资讯数据。此外，智能驾驶舱还可以向用户发出是否切换正在播放的资讯数据的提示，并在接收到用户的确认指令后继续向用户发出是否播放网上促销活动或是否播放新剧预告等网络信息的提示。
当识别出当前用户的状态类型为疲惫时，此时对应的智能驾驶舱的控制模式为休息模式，但如果此时智能驾驶舱或大数据服务器中都没有存储与当前用户的状态类型对应的休息模式的预设方案，则智能驾驶舱可以向用户发出询问信息，并根据用户的响应执行相应的控制。作为一个示例，首先，智能驾驶舱可以向用户发出是否进入休息模式的提示，并在接收到用户的确认指令后进入休息模式；然后，智能驾驶舱可以向用户发出是否调整智能内饰的提示，并在接收到用户对智能内饰的调整指令后对各智能内饰进行调整，以使用户可以在良好的乘车环境下进行休息。其中，是否调整智能内饰的提示可以为提示用户是否调高或调低座椅高度、是否调高或调低灯光强度以及是否调高或调低空调温度等。
在一种可能的实现方式中，在根据用户的设置执行对智能驾驶舱的控制后，智能驾驶舱或大数据服务器可存储当前智能驾驶舱的控制模式和与其对应的用户设置作为与当前用户的状态类型对应的智能驾驶舱的控制模式的预设方案。
步骤S38，接收用户的语音指令。
步骤S39，根据用户的语音指令执行相应的驾驶操作。
在用户进入到智能驾驶舱后，可以向智能驾驶舱发出语音指令以使智能驾驶舱根据用户的指令执行相应的驾驶操作，该驾驶操作可以对无人驾驶车进行控制。
该驾驶操作可以是设置无人驾驶车的目的地的操作，同时可以使该无人驾驶车向着该目的地前进。
而当到达该目的地或当中途需要停车时，该驾驶操作可以是将该无人驾驶车停放在安全区域的操作。
本实施例提供的智能驾驶舱交互方法的有益效果至少包括：
通过获取用户的面部信息，并将用户的面部信息上传至大数据服务器以获得用户的身份信息、与该用户身份对应的偏好信息以及与该用户偏好信息相应的资讯数据，再播放该相应的资讯数据，可以根据不同用户的偏好播放其感兴趣的内容；通过识别用户在智能驾驶舱内的位置，并根据用户的位置显示资讯数据，可以更方便地使用户获取到自己感兴趣的资讯数据；通过接收用户的语音指令或识别用户的眼部特征播放用户选择的资讯数据，可以使用户无需手动操作即可获取自己感兴趣的资讯，解决了现有技术中人车交互方式单一的问题，为用户带来了良好的驾乘体验，达到了使人车交互内容更加丰富的效果。
通过识别用户的面部信息，根据该面部信息确定当前用户的状态类型，再根据当前用户的状态类型调整智能驾驶舱的控制模式，可以使得智能驾驶舱的控制模式与用户的情感状态相匹配；及时地通过智能语音系统或图像识别系统与用户进行交互，可以更好地根据用户需求对智能驾驶舱的控制模式进行调整，在行车过程中为用户带来了更好的驾乘体验。
本申请第三实施例提供了一种智能驾驶舱交互装置，如图4所示，该装置包括：
第一获取模块41，用于在检测到未识别用户将进入或位于智能驾驶舱内时，获取用户的面部信息；
第一识别模块42，用于根据用户的面部信息识别用户身份，以使大数据服务器根据用户身份获取对应的用户偏好信息，基于用户偏好信息找到相应的资讯数据；
第一接收模块43，用于从大数据服务器接收资讯数据；
播放模块44，用于自动或根据接收到的播放指令播放资讯数据。
在一种可能的实现方式中，该装置还包括：
第二获取模块45，用于在检测到已识别用户位于智能驾驶舱内时，获取用户的面部信息；
确定模块46，用于根据用户的面部信息确定用户处于哪种状态类型，该状态类型包括：正常和疲惫；
调整模块47，用于根据用户的状态类型调整智能驾驶舱的控制模式，该控制模式包括：休闲模式和休息模式。
调整模块47包括：
检测模块，用于检测是否存储有与用户的状态类型对应的控制模式的预设方案；
第一执行模块，用于当存储有与用户的状态类型对应的控制模式的预设方案时，根据该预设方案执行对智能驾驶舱的控制；
第二执行模块，用于当没有存储与用户的状态类型对应的控制模式的预设方案时，基于该控制模式与用户进行人机交互，根据用户的设置执行对智能驾驶舱的控制。
在一种可能的实现方式中，该装置还包括：
第二接收模块48，用于接收用户的语音指令；
第三执行模块49，用于根据用户的语音指令设置无人驾驶车的目的地并使无人驾驶车向该目的地前进；和/或，当到达目的地或当中途需要停车时，根据用户的语音指令将无人驾驶车停放在安全区域。
在一种可能的实现方式中，播放模块44包括：
第二识别模块，用于识别用户在智能驾驶舱内的位置；
显示模块，用于根据用户在智能驾驶舱内的位置在对应的平面区域显示资讯数据；
第三接收模块，用于接收用户发出的播放显示的资讯数据的语音指令；
第一播放子模块，用于根据播放显示的资讯数据的语音指令播放显示的资讯数据；
判断模块，用于判断用户双眼在显示的资讯数据中聚焦的位置；
第二识别模块，用于识别与用户双眼聚焦的位置对应的显示的资讯数据；
第二播放子模块，第二播放子模块被配置为播放与用户双眼聚焦的位置对应的显示的资讯数据。
本实施例提供的智能驾驶舱交互装置的有益效果至少包括：
通过获取用户的面部信息，并将用户的面部信息上传至大数据服务器以获得用户的身份信息、与该用户身份对应的偏好信息以及与该用户偏好信息相应的资讯数据，再播放该相应的资讯数据，可以根据不同用户的偏好播放其感兴趣的内容；通过识别用户在智能驾驶舱内的位置，并根据用户的位置显示资讯数据，可以更方便地使用户获取到自己感兴趣的资讯数据；通过接收用户的语音指令或识别用户的眼部特征播放用户选择的资讯数据，可以使用户无需手动操作即可获取自己感兴趣的资讯，解决了现有技术中人车交互方式单一的问题，为用户带来了良好的驾乘体验，达到了使人车交互内容更加丰富的效果。
通过识别用户的面部信息，根据该面部信息确定当前用户的状态类型，再根据当前用户的状态类型调整智能驾驶舱的控制模式，可以使得智能驾驶舱的控制模式与用户的情感状态相匹配；及时地通过智能语音系统或图像识别系统与用户进行交互，可以更好地根据用户需求对智能驾驶舱的控制模式进行调整，在行车过程中为用户带来了更好的驾乘体验。
本申请第四实施例提供了一种智能驾驶舱交互装置，所述装置包括：处理器、通信单元、存储器和通信总线，其中，处理器，通信单元，存储器通过总线完成相互间的通信；存储器，用于存放计算机程序；处理器，用于执行存储器上所存储的程序，实现第一实施例或第二实施例中所述的方法。
本申请第五实施例提供了一种计算机可读存储介质，所述存储介质内存储有计算机程序，该计算机程序被处理器执行时实现第一实施例或第二实施例中所述的方法。计算机存储介质包括可擦写可编程只读存储器(Erasable Programmable Read-Only Memory，EPROM)、电可擦除可编程只读存储器(Electrically Erasable Programmable Read-OnlyMemory，EEPROM)、闪存或其他固态存储其技术，只读光盘(Compact Disc Read-OnlyMemory，CD-ROM)、DVD或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知计算机存储介质不局限于上述几种。
在上述各个实施例中，对于本领域技术人员而言，以上多个实施例是为了说明本申请而分别从不同角度进行阐述，一个实施例中对技术方案、技术特征、技术效果的说明一般也适用于其他的实施例。
以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (10)
1.一种应用于无人驾驶车的智能驾驶舱的交互方法，其特征在于，所述方法包括：
在检测到未识别用户将进入或位于所述智能驾驶舱内时，获取所述用户的面部信息；
根据所述用户的面部信息识别所述用户身份，以使大数据服务器根据所述用户身份获取对应的用户偏好信息，基于所述用户偏好信息找到相应的资讯数据，其中所述基于所述用户偏好信息找到相应的资讯数据，包括：确定用户身份后，所述大数据服务器根据所述用户身份与资讯网站的登陆账号的对应关系获取该用户的有关资讯网站的登陆账号和密码，通过登陆资讯网站查找与用户的偏好相关的资讯数据；
从所述大数据服务器接收所述资讯数据；
自动或根据接收到的播放指令播放所述资讯数据，包括识别所述用户在所述智能驾驶舱内的位置，并根据所述用户在所述智能驾驶舱内的位置在对应的平面区域通过虚拟显示屏显示所述资讯数据，其中，所述虚拟显示屏以所述智能驾驶舱内任意位置的平面区域作为投影的屏幕或主动显示的屏幕。
2.根据权利要求1所述的交互方法，其特征在于，所述方法还包括：
在检测到已识别用户位于所述智能驾驶舱内时，获取所述用户的面部信息；
根据所述用户的面部信息确定所述用户处于哪种状态类型，所述状态类型包括：正常和疲惫；
根据所述用户的状态类型调整所述智能驾驶舱的控制模式，所述控制模式包括：休闲模式和休息模式。
3.根据权利要求2所述的交互方法，其特征在于，所述根据所述用户的状态类型调整所述智能驾驶舱的控制模式，包括：
检测是否存储有与所述用户的状态类型对应的控制模式的预设方案；
当存储有与所述用户的状态类型对应的控制模式的预设方案时，根据所述预设方案执行对所述智能驾驶舱的控制；
当没有存储与所述用户的状态类型对应的控制模式的预设方案时，基于所述控制模式与所述用户进行人机交互，根据所述用户的设置执行对所述智能驾驶舱的控制。
4.根据权利要求1所述的交互方法，其特征在于，所述方法还包括：
接收所述用户的语音指令；
根据所述用户的语音指令设置所述无人驾驶车的目的地并使所述无人驾驶车向所述目的地前进；
和/或，
当到达所述目的地或当中途需要停车时，根据所述用户的语音指令将所述无人驾驶车停放在安全区域。
5.根据权利要求1所述的交互方法，其特征在于，所述根据接收到的播放指令播放所述资讯数据，还包括：
接收所述用户发出的播放所述显示的资讯数据的语音指令，根据所述播放所述显示的资讯数据的语音指令播放所述显示的资讯数据；或，判断所述用户双眼在所述显示的资讯数据中聚焦的位置，识别与所述用户双眼聚焦的位置对应的所述显示的资讯数据，播放与所述用户双眼聚焦的位置对应的所述显示的资讯数据。
6.一种应用于无人驾驶车的智能驾驶舱的交互装置，其特征在于，所述装置包括：
第一获取模块，所述第一获取模块被配置为在检测到未识别用户将进入或位于所述智能驾驶舱内时，获取所述用户的面部信息；
第一识别模块，所述第一识别模块被配置为根据所述用户的面部信息识别所述用户身份，以使大数据服务器根据所述用户身份获取对应的用户偏好信息，基于所述用户偏好信息找到相应的资讯数据，其中所述基于所述用户偏好信息找到相应的资讯数据，包括：确定用户身份后，所述大数据服务器根据所述用户身份与资讯网站的登陆账号的对应关系获取该用户的有关资讯网站的登陆账号和密码，通过登陆资讯网站查找与用户的偏好相关的资讯数据；
第一接收模块，所述第一接收模块被配置为从所述大数据服务器接收所述资讯数据；
播放模块，所述播放模块被配置为自动或根据接收到的播放指令播放所述资讯数据，包括第二识别模块，所述第二识别模块被配置为识别所述用户在所述智能驾驶舱内的位置；显示模块，所述显示模块被配置为根据所述用户在所述智能驾驶舱内的位置在对应的平面区域通过虚拟显示屏显示所述资讯数据，其中，所述虚拟显示屏以所述智能驾驶舱内任意位置的平面区域作为投影的屏幕或主动显示的屏幕。
7.根据权利要求6所述的交互装置，其特征在于，所述装置还包括：
第二获取模块，所述第二获取模块被配置为在检测到已识别用户位于所述智能驾驶舱内时，获取所述用户的面部信息；
确定模块，所述确定模块被配置为根据所述用户的面部信息确定所述用户处于哪种状态类型，所述状态类型包括：正常和疲惫；
调整模块，所述调整模块被配置为根据所述用户的状态类型调整所述智能驾驶舱的控制模式，所述控制模式包括：休闲模式和休息模式。
8.根据权利要求7所述的交互装置，其特征在于，所述调整模块包括：
检测模块，所述检测模块被配置为检测是否存储有与所述用户的状态类型对应的控制模式的预设方案；
第一执行模块，所述第一执行模块被配置为当存储有与所述用户的状态类型对应的控制模式的预设方案时，根据所述预设方案执行对所述智能驾驶舱的控制；
第二执行模块，所述第二执行模块被配置为当没有存储与所述用户的状态类型对应的控制模式的预设方案时，基于所述控制模式与所述用户进行人机交互，根据所述用户的设置执行对所述智能驾驶舱的控制。
9.根据权利要求6所述的交互装置，其特征在于，所述装置还包括：
第二接收模块，所述第二接收模块被配置为接收所述用户的语音指令；
第三执行模块，所述第三执行模块被配置为根据所述用户的语音指令设置所述无人驾驶车的目的地并使所述无人驾驶车向所述目的地前进；和/或，当到达所述目的地或当中途需要停车时，根据所述用户的语音指令将所述无人驾驶车停放在安全区域。
10.根据权利要求6所述的交互装置，其特征在于，所述播放模块还包括：
第三接收模块，所述第三接收模块被配置为接收所述用户发出的播放所述显示的资讯数据的语音指令；
第一播放子模块，所述第一播放子模块被配置为根据所述播放所述显示的资讯数据的语音指令播放所述显示的资讯数据；
判断模块，所述判断模块被配置为判断所述用户双眼在所述显示的资讯数据中聚焦的位置；
第三识别模块，所述第三识别模块被配置为识别与所述用户双眼聚焦的位置对应的所述显示的资讯数据；
第二播放子模块，所述第二播放子模块被配置为播放与所述用户双眼聚焦的位置对应的所述显示的资讯数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810433192.3A CN108657186B (zh) | 2018-05-08 | 2018-05-08 | 智能驾驶舱交互方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810433192.3A CN108657186B (zh) | 2018-05-08 | 2018-05-08 | 智能驾驶舱交互方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108657186A CN108657186A (zh) | 2018-10-16 |
| CN108657186B true CN108657186B (zh) | 2020-09-04 |
Family
ID=63778863
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810433192.3A Active CN108657186B (zh) | 2018-05-08 | 2018-05-08 | 智能驾驶舱交互方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108657186B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110825236B (zh) * | 2019-11-21 | 2023-09-01 | 江西千盛文化科技有限公司 | 一种基于智能vr语音控制的展示系统 |
| CN111696548A (zh) * | 2020-05-13 | 2020-09-22 | 深圳追一科技有限公司 | 显示行车提示信息的方法、装置、电子设备以及存储介质 |
| CN113212448A (zh) * | 2021-04-30 | 2021-08-06 | 恒大新能源汽车投资控股集团有限公司 | 一种智能交互方法和装置 |
| CN113552810A (zh) * | 2021-06-16 | 2021-10-26 | 舌尖科技(北京)有限公司 | 设备智能控制系统、方法及相应多功能舱和存储介质 |
| WO2023028834A1 (zh) * | 2021-08-31 | 2023-03-09 | 华为技术有限公司 | 一种检测方法、检测装置以及雷达 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW201226245A (en) * | 2010-12-31 | 2012-07-01 | Altek Corp | Vehicle apparatus control system and method thereof |
| US9311544B2 (en) * | 2012-08-24 | 2016-04-12 | Jeffrey T Haley | Teleproctor reports use of a vehicle and restricts functions of drivers phone |
| EP2891589A3 (en) * | 2014-01-06 | 2017-03-08 | Harman International Industries, Incorporated | Automatic driver identification |
| CN103832282B (zh) * | 2014-02-25 | 2016-08-31 | 长城汽车股份有限公司 | 一种汽车智能限速系统及汽车限速方法 |
| CN104859559B (zh) * | 2014-12-22 | 2018-05-11 | 北京宝沃汽车有限公司 | 车辆内部环境的控制方法及装置 |
-
2018
- 2018-05-08 CN CN201810433192.3A patent/CN108657186B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN108657186A (zh) | 2018-10-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108657186B (zh) | 智能驾驶舱交互方法和装置 | |
| US11366513B2 (en) | Systems and methods for user indication recognition | |
| CN109643166B (zh) | 用于自主车辆的基于手势的控制的方法和系统 | |
| EP3482344B1 (en) | Portable personalization | |
| CN108725357B (zh) | 基于人脸识别的参数控制方法、系统与云端服务器 | |
| CN108891422A (zh) | 智能车辆的控制方法、装置及计算机可读存储介质 | |
| CN108803604A (zh) | 车辆自动驾驶方法、装置以及计算机可读存储介质 | |
| CN109493871A (zh) | 车载系统的多屏语音交互方法及装置、存储介质和车机 | |
| JP2015517149A (ja) | ユーザ端末装置及びその制御方法 | |
| JP2005138755A (ja) | 虚像表示装置およびプログラム | |
| TW201300265A (zh) | 多模組辨識系統及其控制方法 | |
| CN107315749B (zh) | 媒体处理方法、装置、设备和系统 | |
| US20150253747A1 (en) | Apparatus and method for adaptively controlling a target system according to operating environment | |
| CN112130547B (zh) | 一种车辆交互的方法和装置 | |
| WO2022062491A1 (zh) | 一种基于智能座舱的车载智能硬件管控方法和智能座舱 | |
| CN105629785A (zh) | 智能汽车行驶控制方法及装置 | |
| US20240126409A1 (en) | Vehicle having an intelligent user interface | |
| CN113591659B (zh) | 一种基于多模态输入的手势操控意图识别方法及系统 | |
| CN112346621A (zh) | 一种虚拟功能按钮显示方法及装置 | |
| US20200056902A1 (en) | Vehicle and control method thereof | |
| KR101677641B1 (ko) | 사용자 인식 장치 및 그 방법 | |
| CN110194108A (zh) | 抬头显示系统的显示颜色调控方法、抬头显示系统及车辆 | |
| US20220219717A1 (en) | Vehicle interactive system and method, storage medium, and vehicle | |
| CN109703495A (zh) | 基于生物识别的辅助驾驶方法及装置、介质和电子设备 | |
| CN113539010B (zh) | 一种驾驶模拟方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20220211 Address after: 241006 Anshan South Road, Wuhu Economic and Technological Development Zone, Anhui Province Patentee after: Wuhu Sambalion auto technology Co.,Ltd. Address before: 241006 Changchun Road, Wuhu economic and Technological Development Zone, Anhui 8 Patentee before: CHERY AUTOMOBILE Co.,Ltd. |
|
| TR01 | Transfer of patent right |