CN109710055A - 车载智能交互系统和车载交互终端的交互控制方法 - Google Patents

车载智能交互系统和车载交互终端的交互控制方法 Download PDF

Info

Publication number
CN109710055A
CN109710055A CN201810348307.9A CN201810348307A CN109710055A CN 109710055 A CN109710055 A CN 109710055A CN 201810348307 A CN201810348307 A CN 201810348307A CN 109710055 A CN109710055 A CN 109710055A
Authority
CN
China
Prior art keywords
interactive
vehicle
voice
expression
instruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810348307.9A
Other languages
English (en)
Inventor
陈青青
陈颖瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NIO Holding Co Ltd
Original Assignee
NIO Nextev Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NIO Nextev Ltd filed Critical NIO Nextev Ltd
Publication of CN109710055A publication Critical patent/CN109710055A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/26—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using acoustic output
    • B60K35/265—Voice
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/50—Instruments characterised by their means of attachment to or integration in the vehicle
    • B60K35/53—Movable instruments, e.g. slidable
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/60—Instruments characterised by their location or relative disposition in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R22/00—Safety belts or body harnesses in vehicles
    • B60R22/48—Control systems, alarms, or interlock systems, for the correct application of the belt or harness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/141—Activation of instrument input devices by approaching fingers or pens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/164—Infotainment
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/77—Instrument locations other than the dashboard
    • B60K2360/774—Instrument locations other than the dashboard on or in the centre console
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/77—Instrument locations other than the dashboard
    • B60K2360/794—Instrument locations other than the dashboard on or in doors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R22/00—Safety belts or body harnesses in vehicles
    • B60R22/48—Control systems, alarms, or interlock systems, for the correct application of the belt or harness
    • B60R2022/4808—Sensing means arrangements therefor
    • B60R2022/4816—Sensing means arrangements therefor for sensing locking of buckle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R22/00—Safety belts or body harnesses in vehicles
    • B60R22/48—Control systems, alarms, or interlock systems, for the correct application of the belt or harness
    • B60R2022/4866—Displaying or indicating arrangements thereof
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0881—Seat occupation; Driver or passenger presence
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Automation & Control Theory (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

本发明提供一种车载智能交互系统和车载交互终端的交互控制方法。本发明的车载智能交互系统通过安装在车辆内部的车载交互终端与车内用户进行至少部分交互操作，车载智能交互系统包括语音识别组件、人脸表情识别组件、语音交互单元、表情交互单元和动作交互单元；其中，语音交互单元被配置为基于识别的语音命令和/或识别的人脸识别表情信息生成相应的语音交互指令；表情交互单元被配置为基于识别的语音命令和/或识别的人脸识别表情信息生成相应的表情交互指令；动作交互单元被配置为基于识别的语音命令和/或识别的人脸识别表情信息生成相应的动作交互指令。本发明能够实现智能交互操作，并且能够主动与用户实现多种方式的交互，用户体验好。

Description

车载智能交互系统和车载交互终端的交互控制方法
技术领域
本发明属于汽车技术领域，尤其涉及一种车载智能交互系统以及车载智能交互终端的交互控制方法。
背景技术
目前，车辆内部的人与车之间的交互方式还是停留在需要用户或乘客去手动操作例如中控屏的阶段，对于车辆来说，多数情况下是基于用户的手动操作来进行交互操作（例如，打开空调、音乐等），其可以理解为是一种被动式的交互操作。
现有的人车交互技术并不能去主动地完成交互操作，更不能贴心地或生动地与用户进行交互操作；这样，在车内的驾驶和交互过程中，极大地限定了用户与车的相互交互，并且，增加了安全驾驶的风险，用户的体验相对较差。
发明内容
按照本发明的一方面，提供一种车载智能交互系统，其通过安装在车辆内部的车载交互终端与车内用户进行至少部分交互操作，所述车载智能交互系统包括：
语音识别组件，其用于识别用户的语音命令；
人脸表情识别组件，其用于识别用户的人脸表情信息；
语音交互单元，其被配置为基于识别的语音命令和/或识别的人脸识别表情信息生成用于控制输出相应的语音应答内容的语音交互指令；
表情交互单元，其被配置为基于识别的语音命令和/或识别的人脸识别表情信息生成用于控制所述车载交互终端显示的相应的表情图像的表情交互指令；和
动作交互单元，其被配置为基于识别的语音命令和/或识别的人脸识别表情信息生成用于控制所述车载交互终端做相应的转动动作的动作交互指令。
根据本发明一实施例的车载智能交互系统，其中，所述车载交互终端包括用于与用户进行交互的头部组件；
其中，所述头部组件能够在电机驱动下基于所述动作交互指令作大致沿左右方向的第一转动动作和/或大致沿上下方向的第二转动动作，
其中，所述头部组件包括至少用于基于所述表情交互指令显示相应的表情图像的显示部件。
根据本发明一实施例的车载智能交互系统，其中，所述语音识别组件还用于识别发起所述语音命令的用户在车辆内部的方位；
所述动作交互单元还被配置为基于识别的方位生成用于控制所述车载交互终端做大致朝向该方位作转动动作的动作交互指令。
根据本发明一实施例的车载智能交互系统，其中，所述语音识别组件包括：
安装车辆内部的不同方位的多个语音输入部件；和
语音识别单元，其用于识别用户的语音命令和发起所述语音命令的用户在车辆内部的方位。
根据本发明一实施例的车载智能交互系统，其中，所述多个语音输入部件包括：
安装在所述车辆内部的左右两侧的大致B柱位置处的第一语音输入部件，和
安装在所述车辆内部的顶部的前后两端处的第二语音输入部件；
其中，所述语音识别单元被配置为基于第一语音输入部件和第二语音输入部件中的每个对同一语音命令所确定的声音大小来大致确定所述发起该语音命令的用户在车辆内部的方位。
根据本发明一实施例的车载智能交互系统，其中，还通过设置在所述车载交互终端上的位置传感器来感测能够做转动动作的所述车载交互终端的当前角度位置。
根据本发明一实施例的车载智能交互系统，其中，所述表情交互单元还被配置为在所述车载交互终端的当前角度位置超出预先设置的可转动角度位置范围的情况下生成用于控制所述车载交互终端上显示的表示“疼痛”的表情图像的表情交互指令；和/或
所述语音交互单元还被配置为在所述车载交互终端的当前角度位置超出预先设置的可转动角度位置范围的情况下生成用于控制输出表示“疼痛”的语音应答内容的语音交互指令。
根据本发明一实施例的车载智能交互系统，其中，所述语音交互单元还被配置为能够接收来自所述车辆的CAN网络的信息来生成用于控制输出相应的语音应答内容的语音交互指令；
所述表情交互单元还被配置为能够接收来自所述车辆的CAN网络的信息来生成用于控制所述车载交互终端显示的相应的表情图像的表情交互指令；和/或
所述动作交互单元被配置为能够接收来自所述车辆的CAN网络的信息来生成用于控制所述车载交互终端做相应的转动动作的动作交互指令。
根据本发明一实施例的车载智能交互系统，其中，来自所述车辆的CAN网络的信息包括：哪个车门被打开的信号和车辆启动信号；
其中，所述语音交互单元还被配置为在接收到哪个车门被打开的信号和/或车辆启动信号的情况下生成用于控制输出表示“打招呼”的语音应答内容的语音交互指令；和/或
所述表情交互单元还被配置为在接收到哪个车门被打开的信号和/或车辆启动信号的情况下生成用于控制所述车载交互终端上显示的表示“打招呼”的表情图像的表情交互指令。
根据本发明一实施例的车载智能交互系统，其中，来自所述车辆的CAN网络的信息还包括：主驾驶位置用户落座信号和/或副驾驶位置用户落座信号；
所述动作交互单元还被配置为在接收到主驾驶位置用户落座信号/副驾驶位置用户落座信号的情况下生成用于控制所述车载交互终端朝向主驾驶位置/副驾驶位置做转动动作的动作交互指令。
根据本发明一实施例的车载智能交互系统，其中，还包括对应中控屏设置的距离传感器，其用于检测所述中控屏的大致正前方的用户身体的一部分相对所述中控屏的距离信息；
其中，所述表情交互单元还被配置为基于所述距离信息生成用于控制所述车载交互终端显示的表示“眼睛是否朝向中控屏观看”的表情图像的表情交互指令。
根据本发明一实施例的车载智能交互系统，其中，还包括温度传感器，其用于检测车辆外部的温度信息；
所述语音交互单元还被配置为基于所述温度信息生成用于控制输出表示温度提示和/或空调操作相关的语音应答内容的语音交互指令。
根据本发明一实施例的车载智能交互系统，其中，还包括语音播放部件，其用于基于所述语音交互指令播放输出相应的所述语音应答内容。
根据本发明一实施例的车载智能交互系统，其中，所述人脸表情识别组件包括：
一个或多个图像传感器；和
人脸表情识别单元，其用于进行人脸识别和表情检测以获得用户的人脸表情信息。
根据本发明一实施例的车载智能交互系统，其中，所述图像传感器被安装在车辆内部的后视镜中。
按照本发明的又一方面，提供一种车载交互终端的交互控制方法，其包括步骤：
识别用户的语音命令；和/或
识别用户的人脸表情信息；
并且，还包括以下步骤的至少一个：
基于识别的语音命令和/或识别的人脸识别表情信息生成用于控制输出相应的语音应答内容的语音交互指令；
基于识别的语音命令和/或识别的人脸识别表情信息生成用于控制所述车载交互终端显示的相应的表情图像的表情交互指令；和
基于识别的语音命令和/或识别的人脸识别表情信息生成用于控制所述车载交互终端做相应的转动动作的动作交互指令。
根据本发明一实施例的交互控制方法，其中，还包括以下步骤的至少一个：
基于所述语音交互指令输出相应的语音应答内容，从而进行语音交互操作；
基于所述表情交互指令显示相应的表情图像，从而进行表情交互操作；
基于所述动作交互指令做相应的转动动作，从而进行动作交互操作。
根据本发明一实施例的交互控制方法，其中，在识别用户的语音命令的步骤中，还识别发起所述语音命令的用户在车辆内部的方位；
在生成动作交互指令的步骤中，还基于识别的方位生成用于控制所述车载交互终端做大致朝向该方位作转动动作的动作交互指令。
根据本发明一实施例的交互控制方法，其中，在识别发起所述语音命令的用户在车辆内部的方位的步骤中，基于多个不同位置的语音输入部件中的每个对同一语音命令所确定的声音大小来大致确定所述发起该语音命令的用户在车辆内部的方位。
根据本发明一实施例的交互控制方法，其中，还包括以下步骤的至少一个：
感测能够做转动动作的所述车载交互终端的当前角度位置；
接收来自所述车辆的CAN网络的信息；
检测所述中控屏的大致正前方的用户身体的一部分相对所述中控屏的距离信息；
检测车辆外部的温度信息。
根据本发明一实施例的交互控制方法，其中，所述语音交互指令/表情交互指令/动作交互指令还基于以下信息的至少一个来生成：（1）车载交互终端的当前角度位置；（2）来自所述车辆的CAN网络的信息；（3）所述距离信息；（4）所述温度信息。
按照本发明的还一方面，提供一种车载交互终端，其包括：
头部组件，其用于基于来自车载智能交互系统的动作交互指令进行相应的转动操作；和
显示部件，其用于基于来自车载智能交互系统的语音交互指令显示相应的表情图像；
其中，所述动作交互指令是基于识别的语音命令和/或识别的人脸识别表情信息生成的，所述动作交互单元是基于识别的语音命令和/或识别的人脸识别表情信息生成的。
根据本发明一实施例的车载交互终端，其中，还包括：
语音播放部件，其用于基于来自车载智能交互系统的语音交互指令输出相应的语音应答内容；
其中，所述语音应答内容是基于识别的语音命令和/或识别的人脸识别表情信息生成的。
按照本发明的再一方面，提供一种车辆，其包括以上任一所述的车载智能交互系统。
根据以下描述和附图本发明的以上特征和操作将变得更加显而易见。
附图说明
从结合附图的以下详细说明中，将会使本发明的上述和其他目的及优点更加完整清楚，其中，相同或相似的要素采用相同的标号表示。
图1是按照本发明一实施例的车载智能交互系统的示意图。
图2是本发明一实施例的车载智能交互系统所使用的车载交互终端的结构示意图。
图3是按照本发明一实施例的车载交互终端的交互控制方法的基本流程图。
图4是按照本发明又一实施例的车载交互终端的交互控制方法的基本流程图。
图5是按照本发明还一实施例的车载交互终端的交互控制方法的基本流程图。
图6是按照本发明再一实施例的车载交互终端的交互控制方法的基本流程图。
图7是按照本发明再又一实施例的车载交互终端的交互控制方法的基本流程图。
具体实施方式
现在将参照附图更加完全地描述本发明，附图中示出了本发明的示例性实施例。但是，本发明可按照很多不同的形式实现，并且不应该被理解为限制于这里阐述的实施例。相反，提供这些实施例使得本公开变得彻底和完整，并将本发明的构思完全传递给本领域技术人员。附图中，相同的标号指代相同的元件或部件，因此，将省略对它们的描述。
附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或者在一个或多个硬件模块或集成电路中实现这些功能实体，或者在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
本发明以下各种实施例的车载智能交互系统、车载交互终端可以但不限于一起地在车辆中安装使用。
图1所示为按照本发明一实施例的车载智能交互系统的示意图；图2所示为本发明一实施例的车载智能交互系统所使用的车载交互终端的结构示意图。本发明实施例的车载智能交互系统10可以应用于各种车辆中，或者被安装在各种车辆上。车辆例如可以但不限于是乘用车辆、货运车辆等，具体例如可以是电动汽车、混合动力汽车等。
本发明一实施例的车载智能交互系统10可以通过安装在车辆内部的车载交互终端300与车内用户（例如为驾驶员或乘客）进行交互操作。在一实施例中，如图2所示，车载交互终端300可以包括头部组件320，头部组件320是通过基座组件310安装在车辆的驾驶舱内部，例如安装在仪表板上；头部组件320可以与用户进行交互操作，例如尤其地可以进行表情交互操作、动作交互操作。车载智能交互系统10还可以设置语音播放部件190，语音播放部件190可以基于车载智能交互系统10产生的语音交互指令播放输出相应的语音应答内容，从而完成语音交互操作。语音播放部件190可以是车辆上已经安装的声音播放元件，其也可以集成设置在车载交互终端300上。
继续如图2所示，本发明一实施例的车载交互终端300的头部组件320例如可以为大致球状，但是其具体形状不是限制性的；头部组件320可以具有显示部件321，其可以显示各种用于与用户进行信息交互的各种信息，例如，表情图像、提示信息等等；显示部件321例如可以采用高分辨率、高亮显示屏，像素例如可以是440*372。将理解，显示部件321具体显示的内容不是限制性的，显示部件321的具体类型也不是限制性的。
在一实施例中，车载交互终端300还可以包括基座组件310，基座组件310例如可以固定安装在仪表板的内部，或者集成在仪表板上，在车载交互终端300正常安装状态下例如相对用户是不可见的。
继续如图2所示，在一实施例中，头部组件320可以相对基座组件310作大致沿左右方向的第一转动动作，从而做表示例如摇头的交互动作，或者做朝向用户转动的交互动作；通过第一转动动作可以使车载交互终端300可以与驾驶舱内的各个方位的用户进行大致“面对面”的交互。头部组件320可以相对基座组件310作大致沿上下方向的第二转动动作，从而表示例如点头的交互动作。头部组件320的转动动作（例如第一转动动作和第二转动动作）可以通过电机驱动实现。
需要说明的是，上述第一转动动作和第二转动动作所表示的交互信息含义并不是限制性的，并且其可以结合显示部件321所显示的信息内容来理解。
继续如图1所示，车载智能交互系统10中设置有语音识别组件140，语音识别组件140用于识别用户的语音命令，例如，用户向车载交互终端300打招呼、打开天窗、打开空调等各种语音命令。具体地，语音识别组件140包括安装车辆内部的不同方位的多个语音输入部件141，例如1411、1412、1413和1414，还包括语音识别单元142，语音识别单元142用于识别用户的语音命令和发起所述语音命令的用户在车辆内部的方位。
语音输入部件141例如可以通过麦克风实现，在一实施例中，为识别用户在车辆内部的方位，语音输入部件141包括安装在车辆内部的左右两侧的大致B柱位置处的语音输入部件和安装在车辆内部的顶部的前后两端处的语音输入部件，例如，语音输入部件1411安装在车辆内部的左侧的大致B柱位置处，语音输入部件1412安装在车辆内部的右侧的大致B柱位置处，语音输入部件1413安装在车辆内部的顶部的前端处（例如天窗前端位置），语音输入部件1414安装在车辆内部的顶部的后端处（例如天窗后端位置）。这样，语音输入部件1411、1412、1413和1414接收的来自车内某一座位上的用户的同一语音命令的声音大小是不相同的。在一实施例中，语音识别单元142被配置为基于多个语音输入部件141中的每个对同一语音命令所确定的声音大小来大致确定发起该语音命令的用户在车辆内部的方位，也即确定是哪个座位上的用户发出的语音命令。
示例地，如果语音输入部件1411检测的语音命令的声音大小大于语音输入部件1412检测的语音命令的声音大小、并且语音输入部件1413检测的语音命令的声音大小大于语音输入部件1414检测的语音命令的声音大小，那么语音识别单元142确定用户在车辆内部的主驾驶座位（如果主驾驶位置在左边、副驾驶位置在右边）的方位；如果语音输入部件1412检测的语音命令的声音大小大于语音输入部件1411检测的语音命令的声音大小、并且语音输入部件1413检测的语音命令的声音大小大于语音输入部件1414检测的语音命令的声音大小，那么语音识别单元142确定用户在车辆内部的副驾驶座位的方位；如果语音输入部件1411检测的语音命令的声音大小大于语音输入部件1412检测的语音命令的声音大小、并且语音输入部件1414检测的语音命令的声音大小大于语音输入部件1413检测的语音命令的声音大小，那么语音识别单元142确定用户在车辆内部的后排左边座位的方位；如果语音输入部件1412检测的语音命令的声音大小大于语音输入部件1411检测的语音命令的声音大小、并且语音输入部件1414检测的语音命令的声音大小大于语音输入部件1413检测的语音命令的声音大小，那么语音识别单元142确定用户在车辆内部的后排右边座位的方位。
需要理解的是，多个语音输入部件141的数量和安装位置并不限于以上示例，其可能根据车辆内部的座位的多少等因素作相应的调整。
在一实施例中，语音识别单元142在用户的语音命令时，可以采用各种语音识别技术（现有的或者本申请之后出现的语音识别技术）来识别各种语言的语音命令，并且，生成相应的文本。
继续如图1所示，车载智能交互系统10中还设置有人脸表情识别组件150，人脸表情识别组件150用于识别车辆内部的用户的人脸表情信息，例如，拍照时对应的“茄子”的表情信息、焦虑的表情信息。具体地，人脸表情识别组件150包括一个或多个图像传感器151，还包括人脸表情识别单元152。其中，图像传感器151采集或获取的关于用户的人脸相关的图像信息可以被传输至人脸表情识别单元152，人脸表情识别单元152进一步进行人脸识别和表情检测以获得用户的人脸表情信息。
在一具体示例中，图像传感器151可以是摄像头等，其数量例如可以是两个或多个，例如包括图像传感器1511和图像传感器1512，图像传感器151可以被安装在车辆内部的后视镜中，从而相对可以全方位地获取各个位置的用户的图像信息，特别是后排座位的用户的图像信息。
在一实施例中，人脸表情识别单元152可以基于各种图像处理技术（现有的或者本申请之后出现的图像处理技术）对用户的图像信息进行人脸识别和表情检测，从而可以确定并获得人脸表情信息。
继续如图1所示，车载智能交互系统10中还设置有语音交互单元110，人脸表情识别单元152所识别的人脸识别表情信息、语音识别单元142所识别的语音命令和/或发起该语音命令的用户在车辆内部的方位信息发送至语音交互单元110；语音交互单元110被配置为基于识别的语音命令和/或识别的人脸识别表情信息生成用于控制输出相应的语音应答内容的语音交互指令。
将理解，在没有识别的人脸识别表情信息的情况下（例如仅有语音命令），语音交互单元110可以仅基于识别的语音命令生成用于控制输出相应的语音应答内容的语音交互指令；在没有识别的语音命令的情况下（例如仅有人脸识别表情信息），语音交互单元110可以仅基于识别的人脸识别表情信息生成用于控制输出相应的语音应答内容的语音交互指令；并且，可以预先地设置在不同语音命令和/或人脸表情场景下车载交互终端300对应输出的语音应答内容，从而语音交互单元110可以生成相应的语音交互指令。
语音交互单元110可以与语音播放部件190耦接，例如，可以通过CAN网络连接，从而，可以及时地将生成的语音交互指令传输至语音播放部件190，语音播放部件190可以基于该语音交互指令来播放输出相应的语音应答内容，从而基本完成语音交互操作。具体地，语音交互单元110可以对应语音应答内容（例如文字的）进行语音合成，具体可以采用文语转换技术（TTS技术）来完成。
继续如图1所示，车载智能交互系统10中还设置有表情交互单元120，人脸表情识别单元152所识别的人脸识别表情信息、语音识别单元142所识别的语音命令发送至表情交互单元120；表情交互单元120被配置为基于识别的语音命令和/或识别的人脸识别表情信息生成用于控制车载交互终端300显示的相应的表情图像的表情交互指令。
将理解，在没有识别的人脸识别表情信息的情况下（例如仅有语音命令），表情交互单元120可以仅基于识别的语音命令生成用于控制车载交互终端300显示的相应的表情图像的表情交互指令；在没有识别的语音命令的情况下（例如仅有人脸识别表情信息），表情交互单元120可以仅基于识别的人脸识别表情信息生成用于控制车载交互终端300显示的相应的表情图像的表情交互指令；并且，可以预先地设置在不同语音命令和/或人脸表情场景下车载交互终端300对应输出的表情图像，从而表情交互单元120可以生成相应的表情交互指令。表情图像也可以预先地编辑并存储在车载交互终端300中，表情图像具体形式不是限制性的。
具体地，表情交互单元120可以与车载交互终端300耦接，例如，可以通过CAN网络连接，从而，可以及时地将生成的表情交互指令传输至车载交互终端300，车载交互终端300中设置的例如显示驱动模块可以基于该表情交互指令来控制显示部件321显示相应的表情图像，从而基本完成表情交互操作。
继续如图1所示，车载智能交互系统10中还设置有动作交互单元130，人脸表情识别单元152所识别的人脸识别表情信息、语音识别单元142所识别的语音命令发送至动作交互单元130；动作交互单元130被配置为基于识别的语音命令和/或识别的人脸识别表情信息生成用于控制车载交互终端300做相应的转动动作的动作交互指令。
将理解，在没有识别的人脸识别表情信息的情况下（例如仅有语音命令），动作交互单元130可以仅基于识别的语音命令生成用于控制车载交互终端300做相应的转动动作的动作交互指令；在没有识别的语音命令的情况下（例如仅有人脸识别表情信息），动作交互单元130可以仅基于识别的人脸识别表情信息生成用于控制车载交互终端300做相应的转动动作的动作交互指令；并且，可以预先地设置在不同语音命令和/或人脸表情场景下车载交互终端300对应进行的转动动作（例如某些场景下的“点头”转动动作或“摇头”转动动作），从而动作交互单元130可以生成相应的动作交互指令。
在一实施例中，动作交互单元130还被配置为基于识别的方位（语音识别单元142所识别）生成用于控制车载交互终端300（例如其头部组件320）做大致朝向该方位作转动动作的动作交互指令，这样，可以保证例如同时进行表情交互操作等是面向发起语音命令的用户进行的，提高车载交互终端300的生动性，提高用户体验。
动作交互单元130可以与车载交互终端300耦接，例如，可以通过CAN网络连接，从而，可以及时地将生成的动作交互指令传输至车载交互终端300，车载交互终端300中设置的例如电机驱动控制模块可以基于该动作交互指令来控制电机、进而实现相应的转动动作，从而基本完成动作交互操作。
因此，本发明实施例的车载智能交互系统10可以实现语音、表情和动作等多方面与用户进行交互操作，提升并扩展了用户与车辆的交互，并且，可以赋予车载交互终端300类似智能生命体的特性，车载交互终端300的“伴侣”感好，大大提升用户体验（例如解决了现有车载智能交互系统只能通过用户主动手动触发的冰冷体验），也提升用户与车辆进行交互操作的兴趣。同时，由于不要手动操作，对于驾驶员用户来说，提高驾驶过程的安全性。
以上示例的语音交互单元110、表情交互单元120/动作交互单元130可以并不限于识别语音命令和/或人脸识别表情信息来生成相应的语音交互指令/表情交互指令/动作交互指令，还可以根据各种信息（例如以下示例的信息）来进行生成相应指令的操作。
继续如图1所示，在一实施例中，车载智能交互系统10还可以通过设置在车载交互终端300上的位置传感器160来感测能够做转动动作的车载交互终端300的当前角度位置，例如，感测车载交互终端300的头部组件320相对基座组件100的左右转动角度和/或上下转动角度。
在一实施例中，位置传感器160感测的角度位置可以反馈发送至表情交互单元120， 表情交互单元120还被配置为在车载交互终端300的当前角度位置超出预先设置的可转动角度位置范围的情况下生成用于控制车载交互终端300上显示的表示“疼痛”的表情图像的表情交互指令；基于该表情交互指令可以使车载交互终端300的显示部件321显示表示“疼痛”的表情图像，完成相应的表情交互操作。
位置传感器160感测的角度位置还可以选择发送至语音交互单元110，语音交互单元110还被配置为在车载交互终端300的当前角度位置超出预先设置的可转动角度位置范围的情况下生成用于控制输出表示“疼痛”的语音应答内容的语音交互指令；基于该语音交互指令可以使车载交互终端300的发出表示“疼痛”的语音应答内容（例如“我要坏掉了”、“痛呀”），完成相应的语音交互操作。将理解，语音应答内容也可以是针对某种动作或语音命令的某种语音提示的应答；可转动角度位置范围包括上下可转动角度范围和左右可转动角度范围。
在车载智能交互系统10的一应用场景中，当头部组件320在受到外部人为的阻力，比如，左右转动角度向超过左右两侧的极限角度位置时，一方面，车载交互终端300会发出语音提示“我要坏掉了”“痛呀”等内容，另一方面，车载交互终端300会显示出对应疼痛的表情。
继续如图1所示，在一实施例中，车载智能交互系统10还可以设置距离传感器170，距离传感器170对应中控屏设置，其用于检测中控屏的大致正前方的用户身体的一部分相对该中控屏的距离信息D。例如，用户在使用手势操作中控屏或身体靠近中控屏去观看信息时，距离传感器170可以大致检测出手或头部距离中控屏的距离信息D。
进一步，表情交互单元120还被配置为基于距离信息D生成用于控制车载交互终端300显示的表示“眼睛是否朝向中控屏观看”的表情图像的表情交互指令；基于该表情交互指令可以使车载交互终端300的显示部件321显示表示“眼睛是否朝向中控屏观看”的表情图像，完成相应的表情交互操作。具体地，在检测到用户离中控屏的距离信息D小于或等于预定值（例如20公分）且在不断缩小距离时，生成用于控制车载交互终端300显示的表示“眼睛看中控屏”的表情图像的表情交互指令，此时，车载交互终端300的显示部件321将显示眼睛朝下看向中控屏幕的表情图像；在检测到用户离中控屏的距离信息D大于或等于又一预定值（例如5公分）且该距离信息D越来越大时（即离中控屏越来越远时），车载交互终端300的显示部件321将显示眼睛不再朝向中控屏观看的表情。因此，整个表情交互过程变得生动有趣。
继续如图1所示，在一实施例中，车载智能交互系统10还可以设置温度传感器180，温度传感器180可以用于检测车辆外部的温度信息。该温度信息可以被传输至语音交互单元110等。
进一步，语音交互单元110还被配置为基于温度传感器180检测的温度信息生成用于控制输出表示温度提示和/或空调操作相关的语音应答内容的语音交互指令。基于该语音交互指令可以使车载交互终端300的语音部件或语音播放部件190播放表示温度提示和/或空调操作相关的语音应答内容，例如，完成相应的语音交互操作。
在车载智能交互系统10的一应用场景中，在车载交互终端300向用户打完招呼以后，如果车辆的温度传感器180发现车外温度低于5摄氏度或者高于25摄氏度时，车载智能交互系统10会发送相应的语音交互指令给车载交互终端300，并通过TTS技术提示用户“当前车外温度高于25度，为您打开空调”或者“当前车外温度低于5度，为您打开空调”，用户可以直接通过语音回复“好的”“确定”来快速完成空调相关操作。
继续如图1所示，在一实施例中，车载智能交互系统10的语音交互单元110、表情交互单元120和动作交互单元130可以与车辆的CAN网络连接，或者说，语音交互单元110、表情交互单元120和动作交互单元130可以置于车辆的CAN网络中并与其CAN总线耦接。语音识别组件140、人脸表情识别组件150、位置传感器160、距离传感器170、温度传感器180等可以通过CAN网络传输相应的数据至语音交互单元110、表情交互单元120和/或动作交互单元130。语音交互单元110、表情交互单元120和动作交互单元130它们可以各自通过例如相应的微处理器实现，也可以在一个微处理器中实现。
继续如图1所示，在一实施例中，车载智能交互系统10还可以根据交互功能设置的需要、接收或采集来自车辆的CAN网络的各种信号，从而能够完成更多功能的主动交互，交互功能和内容容易得到扩展。具体地，语音交互单元110、表情交互单元120和/或动作交互单元130能够接收来自所述车辆的CAN网络的信息，其中，语音交互单元110还被配置为基于来自车辆的CAN网络的信息生成用于控制输出相应的语音应答内容的语音交互指令，表情交互单元120还被配置为基于来自车辆的CAN网络的信息生成用于控制车载交互终端300显示的相应的表情图像的表情交互指令，动作交互单元130被配置为基于来自车辆的CAN网络的信息生成用于控制车载交互终端300做相应的转动动作的动作交互指令。
需要说明的是，CAN网络中可以设置车辆中已经设置的各种电子控制模块或电子控制单元，例如，如图2所示的车身控制模块210、电池控制单元220、门锁控制部件230、中控系统240等等，从它们可以获取用户对其所控制的部件的操作的响应信号等，因此，可以用户与车辆的交互并不限于基于中控屏的操作与中控屏的操作，用户对各个CAN网络中的车辆的各个部件的操作，均可以实现在车载交互终端300中得到声音、表情和/或转动动作的回应，交互操作的内容将更加丰富多样化。
在一实施例中，来自车辆的CAN网络的信息包括哪个车门被打开的信号和车辆启动信号，它们可以分别从门锁控制部件230、中控系统240获取。语音交互单元110还被配置为在接收到哪个车门被打开的信号和/或车辆启动信号的情况下生成用于控制输出表示“打招呼”的语音应答内容的语音交互指令；表情交互单元120还被配置为在接收到哪个车门被打开的信号和/或车辆启动信号的情况下生成用于控制车载交互终端300上显示的表示“打招呼”的表情图像的表情交互指令；这样，车载智能交互系统10可以主动与刚上车的用户的打招呼，例如，从语音上或表情上主动与用户问候。
进一步地，来自车辆的CAN网络的信息还可以包括主驾驶位置用户落座信号和/或副驾驶位置用户落座信号，其例如可以从车身控制模块210上获取。动作交互单元130还被配置为在接收到主驾驶位置用户落座信号/副驾驶位置用户落座信号的情况下生成用于控制车载交互终端300（例如头部组件320）朝向主驾驶位置/副驾驶位置做转动动作的动作交互指令；基于该动作交互指令驱动头部组件320将朝向主驾驶位置或副驾驶位置的用户转动，这样，可以实现车载交互终端300基本“面对面”地与用户打招呼，用户的体验更好。
需要说明的是，在本发明一实施例的车载交互终端300中，其可以设置相应的显示控制模块来接收表情交互指令，从驱动显示部件321显示相应的表情图像；车载交互终端300还可以设置相应的电机控制模块来接收动作交互指令，从而通过电机驱动头部组件320做相应的转动动作；在车载交互终端300中还设置有语音播放部件190时，其还可以设置相应的语音输出控制模块来接收语音交互指令，从而使语音播放部件190输出相应的语音应答内容。
需要说明的是，以上所述的“左”、“右”、“上”和“下”等方位术语表示附图中示出的方向或者能被本领域技术人员理解的方向，这些方向性术语用于相对的描述和澄清，而不是要将任何实施例的定向限定到具体的方向或定向。
以下基于车载智能交互系统10进一步说明车载交互终端的交互控制方法。
图3所示为按照本发明一实施例的车载交互终端的交互控制方法的基本流程图。
如图3所示，车载智能交互系统10的信息输入和采集步骤包括：识别语音命令步骤S411和/或识别人脸表情信息步骤S412。将理解，根据场景，在某一次方法过程中，可能仅采集语音命令而仅执行步骤S411，也可能仅采集人脸表情信息而仅执行步骤S412，也可能步骤S411和步骤S412都执行，都执行时，步骤S411和步骤S412可以同时执行，也可以按时间先后执行。
在步骤S411中，识别用户的语音命令的同时，还可以识别发起该语音命令的用户在车辆内部的方位，具体地，基于语音输入部件1411、1412、1413和1414接收的来自车内某一座位上的用户的同一语音命令，它们具有不同声音大小，语音识别单元142基于多个语音输入部件141中的每个对同一语音命令所确定的声音大小来大致确定发起该语音命令的用户在车辆内部的方位，也即确定是哪个座位上的用户发出的语音命令。
进一步，进入交互指令生成步骤，其包括以下步骤的至少一个：生成语音交互指令步骤S421、生成表情交互指令步骤S422、生成动作交互指令步骤S423。将理解，根据场景，在某一次方法过程中，可能仅需要进行语音交互操作而仅执行步骤S421，也可能仅需要进行表情交互操作而仅执行步骤S422，也可能仅需要进行动作交互操作而仅执行步骤S423；当然，也可以步骤S421、步骤S422和步骤S423的至少两个都执行，在都执行时，它们可以同时执行，也可以按时间先后执行。
在步骤S421中，基于识别的语音命令和/或识别的人脸识别表情信息生成用于控制输出相应的语音应答内容的语音交互指令。需要说明的是，在该步骤中，根据场景需要，可以仅使用识别的语音命令，也可以仅使用识别的人脸识别表情信息，或者使用二者一起来生成相应的语音交互指令；具体对应的语音应答内容可以被预先地设置或存储。
在步骤S422中，基于识别的语音命令和/或识别的人脸识别表情信息生成用于控制车载交互终端300显示的相应的表情图像的表情交互指令。需要说明的是，在该步骤中，根据场景需要，可以仅使用识别的语音命令，也可以仅使用识别的人脸识别表情信息，或者使用二者一起来生成相应的表情交互指令；具体对应的表情图像可以被预先地设置或存储。
在步骤S423中，基于识别的语音命令和/或识别的人脸识别表情信息生成用于控制车载交互终端300（例如其头部组件320）做相应的转动动作的动作交互指令，在一实施例中，还可以基于识别的方位生成用于控制车载交互终端300做大致朝向该方位作转动动作的动作交互指令。需要说明的是，在该步骤中，根据场景需要，可以仅使用识别的语音命令，也可以仅使用识别的人脸识别表情信息，或者使用二者一起来生成相应的动作交互指令。
进一步，进入交互操作步骤，其包括以下步骤的至少一个：进行语音交互操作步骤S421、进行表情交互操作步骤S422、进行动作交互操作步骤S423。将理解，根据场景，在某一次方法过程中，如果仅执行步骤S421，也可以仅执行步骤S431；如果仅执行步骤S422，也可以仅执行步骤S432；如果仅执行步骤S423，也可以仅执行步骤S433；如果步骤S421、步骤S422和步骤S423的至少两个都执行，也可以对应地执行步骤S431、步骤S432和步骤S433的两个或更多个。
通过以上示例的方法，可以实现以下示例的交互场景。
在一交互场景中，当用户看向车载交互终端300时，通过图像传感器151和人脸表情识别单元152，在识别出用户做出的是眨眼的表情或者是说出“茄子”的动作表情时，车载智能交互系统10则会触发车载交互终端300迅速显示自拍的表情，同时，发消息给到中控系统240，发起自拍的实际操作，完成自拍的整个交互动作。
在又一交互场景中，当用户看向车载交互终端300时，其表情被识别成疲劳的表情时，车载交互终端300会对应的做出提醒的表情，和朝向用户的转动动作，并语音提醒用户“打起精神来”，还可以发送命令来播放一首用于提神的歌。
在还一交互场景中，当用户使用“嗨，XXX（车载交互终端300对应的“名字”）”进行语音唤醒时，车载交互终端300会做出转向使用此语音命令的车内的用户的方向的动作，并做出聆听的表情，同时将语音应答用户“在呢”“怎么了”，从而展开语音对话交流。用户此时可以和车载交互终端300进行进一步的语音对话，比如“导航去附近的充电站”。用户在车内不同的四个位置（主驾、副驾、左右和右后）发起语音命令，车载交互终端300都会做出转向这四个位置的动作，同时做出聆听的表情，如果出现车载交互终端300无法清晰的识别出用户准确的位置，则会做出转向中间位置的动作，做出聆听的表情。
图4所示为按照本发明又一实施例的车载交互终端的交互控制方法的基本流程图。
如图4所示，步骤S411，感测车载交互终端300的当前角度位置，例如通过位置传感器160感测头部组件320的在左右方向和/或在上下方向的当前角度位置。
步骤S512，判断当前角度位置是否超出预先设置的可转动角度位置范围，例如，判断是否超过左右两侧的极限角度位置，或是判断是否超过上下两侧的极限角度位置。如果判断为“是”，进入步骤S521和/或步骤S522，如果判断为“否”，返回步骤S511。
进一步，进入交互指令生成步骤，其包括以下步骤的至少一个：
步骤S521，在车载交互终端300的当前角度位置超出预先设置的可转动角度位置范围的情况下生成用于控制输出表示“疼痛”的语音应答内容的语音交互指令；
步骤S522，在车载交互终端300的当前角度位置超出预先设置的可转动角度位置范围的情况下生成用于控制车载交互终端300上显示的表示“疼痛”的表情图像的表情交互指令。
将理解，根据需要，可以选择步骤S521和步骤S522中的其中一个，也可以二者都执行。
进一步，进入交互操作步骤，其包括以下步骤的至少一个：
步骤S531，基于该语音交互指令可以使车载交互终端300的发出表示“疼痛”的语音应答内容（例如“我要坏掉了”、“痛呀”），完成相应的语音交互操作；
步骤S532，基于该表情交互指令可以使车载交互终端300的显示部件321显示表示“疼痛”的表情图像，完成相应的表情交互操作。
将理解，根据需要，可以选择步骤S531和步骤S532中的其中一个，也可以二者都执行。
在以上方法的一应用场景中，当头部组件320在受到外部人为的阻力，比如，左右转动角度向超过左右两侧的极限角度位置时，一方面，车载交互终端300会发出语音提示“我要坏掉了”“痛呀”等内容，另一方面，车载交互终端300会显示出对应疼痛的表情。
图5所示为按照本发明还一实施例的车载交互终端的交互控制方法的基本流程图。
首先，从CAN网络接收信息，即执行以下步骤S621-S624的一个或多个：
步骤S611，接收哪个车门被打开的信号（如果某个车门被用户打开）；
步骤S612，接收车辆启动信号（如果车辆启停按钮被触发）；
步骤S613，接收主驾驶位置用户落座信号（如果主驾驶位置用户落座）；
步骤S614，接收副驾驶位置用户落座信号（如果副驾驶位置用户落座）。
进一步，进入交互指令生成步骤，其包括以下步骤 S621至步骤S623的至少一个：
步骤 S621，基于来自车辆的CAN网络的信息生成用于控制输出相应的语音应答内容的语音交互指令，示例地，在接收到哪个车门被打开的信号和/或车辆启动信号的情况下，可以确定用户从哪个方位进入车辆并开始用车，此时生成用于控制输出表示“打招呼”的语音应答内容的语音交互指令。
步骤 S622，基于来自车辆的CAN网络的信息生成用于控制车载交互终端300显示的相应的表情图像的表情交互指令；示例地，在接收到哪个车门被打开的信号和/或车辆启动信号的情况下，在接收到哪个车门被打开的信号和/或车辆启动信号的情况下生成用于控制车载交互终端300上显示的表示“打招呼”的表情图像的表情交互指令。
步骤 S623，基于来自车辆的CAN网络的信息生成用于控制车载交互终端300做相应的转动动作的动作交互指令；示例地，在接收到主驾驶位置用户落座信号/副驾驶位置用户落座信号的情况下生成用于控制车载交互终端300（例如头部组件320）朝向主驾驶位置/副驾驶位置做转动动作的动作交互指令。
进一步，进入交互操作步骤，其包括以下步骤S631至步骤S633的至少一个：
步骤 S631，基于步骤S621生成的语音交互指令驱动语音播放组件190播放“打招呼”的语音，进行语音交互操作。具体语音输出内容例如可以但不限于“XXX，早上好”。
步骤 S632，基于步骤S622生成的表情交互指令驱动显示部件321显示“打招呼”的表情图像，进行图像交互操作。
步骤 S633，基于步骤S623生成的动作交互指令驱动头部组件320将朝向主驾驶位置或副驾驶位置的用户转动。
在以上方法的一应用场景中，当用户从主驾驶座位或者副驾驶座位进入车内，并关上车门时，根据车辆发出的CAN信号，车载交互终端300将会根据用户落座的位置和当前的时间以及用户当前登录车机系统的名字，进行打招呼，比如播报“早上好，XXX”，做出点头的动作，并展示微笑的表情。
图6所示为按照本发明再一实施例的车载交互终端的交互控制方法的基本流程图。
首先，步骤S711，检测中控屏的大致正前方的用户身体的一部分相对该中控屏的距离信息；例如，用户在使用手势操作中控屏或身体靠近中控屏去观看信息时，距大致检测出手或头部距离中控屏的距离信息D。
步骤S712，判断距离信息D和/或其变化是否满足预定条件，例如，判断距离信息D是否小于或等于预定距离值。如果判断为“是”进入步骤S720，如果判断为“否”返回步骤S711。
步骤S720，基于距离信息D生成用于控制车载交互终端300显示的表示“眼睛是否朝向中控屏观看”的表情图像的表情交互指令。
步骤S730，基于该表情交互指令可以使车载交互终端300的显示部件321显示表示“眼睛是否朝向中控屏观看”的表情图像。
在以上方法的一应用场景中，在检测到用户离中控屏的距离信息D小于或等于预定值（例如20公分）且在不断缩小距离时，生成用于控制车载交互终端300显示的表示“眼睛看中控屏”的表情图像的表情交互指令，此时，车载交互终端300的显示部件321将显示眼睛朝下看向中控屏幕的表情图像；在检测到用户离中控屏的距离信息D大于或等于又一预定值（例如5公分）且该距离信息D越来越大时（即离中控屏越来越远时），车载交互终端300的显示部件321将显示眼睛不再朝向中控屏观看的表情。因此，整个表情交互过程变得生动有趣。
图7所示为按照本发明再又一实施例的车载交互终端的交互控制方法的基本流程图。
首先，步骤S810，感测车辆外部的温度信息。
步骤S820，基于温度传感器180检测的温度信息生成用于控制输出表示温度提示和/或空调操作相关的语音应答内容的语音交互指令。
步骤S830，基于该语音交互指令可以使车载交互终端300的语音部件或语音播放部件190播放表示温度提示和/或空调操作相关的语音应答内容，例如，完成相应的语音交互操作。
在以上方法的一应用场景中，在车载交互终端300向用户打完招呼以后，如果车辆的温度传感器180发现车外温度低于5摄氏度或者高于25摄氏度时，发送相应的语音交互指令给车载交互终端300，并通过TTS技术提示用户“当前车外温度高于25度，为您打开空调”或者“当前车外温度低于5度，为您打开空调”，用户可以直接通过语音回复“好的”“确定”来快速完成空调相关操作。
需要说明的是，在某些交互场景时，可能需要执行以上图3至图7所示实施例的方法的其中一个或多个，在执行多个时，它们可以同时执行，也可以依次地执行。
虽然本发明是结合一个或多个实施来说明的，但是在不背离所附权利要求的精神或范围的前提下可以对说明的示例进行替换和/或修改。此外，虽然本发明的具体特征是结合若干实施/实施例的仅其中之一来公开的，但是如针对任何给定或具体功能为所期望和有利的，可以将此特征与其他实施/实施例的一个或多个其他特征进行组合。术语“至少其中之一”或“至少一个”用于表示能够选择所列出的项中的一个或多个。对于本领域技术人员来说，参考本文公开的本发明的说明书和实施将显见到本发明的其他实施例。说明书和示例理应仅视为示范性的，其中本发明的真实范围和精神由所附权利要求指示。

Claims (24)

1.一种车载智能交互系统，其通过安装在车辆内部的车载交互终端与车内用户进行至少部分交互操作，其特征在于，所述车载智能交互系统包括：
语音识别组件，其用于识别用户的语音命令；
人脸表情识别组件，其用于识别用户的人脸表情信息；
语音交互单元，其被配置为基于识别的语音命令和/或识别的人脸识别表情信息生成用于控制输出相应的语音应答内容的语音交互指令；
表情交互单元，其被配置为基于识别的语音命令和/或识别的人脸识别表情信息生成用于控制所述车载交互终端显示的相应的表情图像的表情交互指令；和
动作交互单元，其被配置为基于识别的语音命令和/或识别的人脸识别表情信息生成用于控制所述车载交互终端做相应的转动动作的动作交互指令。
2.如权利要求1所述的车载智能交互系统，其特征在于，所述车载交互终端包括用于与用户进行交互的头部组件；
其中，所述头部组件能够在电机驱动下基于所述动作交互指令作大致沿左右方向的第一转动动作和/或大致沿上下方向的第二转动动作，
其中，所述头部组件包括至少用于基于所述表情交互指令显示相应的表情图像的显示部件。
3.如权利要求1所述的车载智能交互系统，其特征在于，所述语音识别组件还用于识别发起所述语音命令的用户在车辆内部的方位；
所述动作交互单元还被配置为基于识别的方位生成用于控制所述车载交互终端做大致朝向该方位作转动动作的动作交互指令。
4.如权利要求3所述的车载智能交互系统，其特征在于，所述语音识别组件包括：
安装车辆内部的不同方位的多个语音输入部件；和
语音识别单元，其用于识别用户的语音命令和发起所述语音命令的用户在车辆内部的方位。
5.如权利要求4所述的车载智能交互系统，其特征在于，所述多个语音输入部件包括：
安装在所述车辆内部的左右两侧的大致B柱位置处的第一语音输入部件，和
安装在所述车辆内部的顶部的前后两端处的第二语音输入部件；
其中，所述语音识别单元被配置为基于第一语音输入部件和第二语音输入部件中的每个对同一语音命令所确定的声音大小来大致确定所述发起该语音命令的用户在车辆内部的方位。
6.如权利要求1所述的车载智能交互系统，其特征在于，还通过设置在所述车载交互终端上的位置传感器来感测能够做转动动作的所述车载交互终端的当前角度位置。
7.如权利要求6所述的车载智能交互系统，其特征在于，所述表情交互单元还被配置为在所述车载交互终端的当前角度位置超出预先设置的可转动角度位置范围的情况下生成用于控制所述车载交互终端上显示的表示“疼痛”的表情图像的表情交互指令；和/或
所述语音交互单元还被配置为在所述车载交互终端的当前角度位置超出预先设置的可转动角度位置范围的情况下生成用于控制输出表示“疼痛”的语音应答内容的语音交互指令。
8.如权利要求1所述的车载智能交互系统，其特征在于，所述语音交互单元还被配置为能够接收来自所述车辆的CAN网络的信息来生成用于控制输出相应的语音应答内容的语音交互指令；
所述表情交互单元还被配置为能够接收来自所述车辆的CAN网络的信息来生成用于控制所述车载交互终端显示的相应的表情图像的表情交互指令；和/或
所述动作交互单元被配置为能够接收来自所述车辆的CAN网络的信息来生成用于控制所述车载交互终端做相应的转动动作的动作交互指令。
9.如权利要求8所述的车载智能交互系统，其特征在于，来自所述车辆的CAN网络的信息包括：哪个车门被打开的信号和车辆启动信号；
其中，所述语音交互单元还被配置为在接收到哪个车门被打开的信号和/或车辆启动信号的情况下生成用于控制输出表示“打招呼”的语音应答内容的语音交互指令；和/或
所述表情交互单元还被配置为在接收到哪个车门被打开的信号和/或车辆启动信号的情况下生成用于控制所述车载交互终端上显示的表示“打招呼”的表情图像的表情交互指令。
10.如权利要求9所述的车载智能交互系统，其特征在于，来自所述车辆的CAN网络的信息还包括：主驾驶位置用户落座信号和/或副驾驶位置用户落座信号；
所述动作交互单元还被配置为在接收到主驾驶位置用户落座信号/副驾驶位置用户落座信号的情况下生成用于控制所述车载交互终端朝向主驾驶位置/副驾驶位置做转动动作的动作交互指令。
11.如权利要求1所述的车载智能交互系统，其特征在于，还包括对应中控屏设置的距离传感器，其用于检测所述中控屏的大致正前方的用户身体的一部分相对所述中控屏的距离信息；
其中，所述表情交互单元还被配置为基于所述距离信息生成用于控制所述车载交互终端显示的表示“眼睛是否朝向中控屏观看”的表情图像的表情交互指令。
12.如权利要求1所述的车载智能交互系统，其特征在于，还包括温度传感器，其用于检测车辆外部的温度信息；
所述语音交互单元还被配置为基于所述温度信息生成用于控制输出表示温度提示和/或空调操作相关的语音应答内容的语音交互指令。
13.如权利要求1所述的车载智能交互系统，其特征在于，还包括语音播放部件，其用于基于所述语音交互指令播放输出相应的所述语音应答内容。
14.如权利要求1所述的车载智能交互系统，其特征在于，所述人脸表情识别组件包括：
一个或多个图像传感器；和
人脸表情识别单元，其用于进行人脸识别和表情检测以获得用户的人脸表情信息。
15.如权利要求14所述的车载智能交互系统，其特征在于，所述图像传感器被安装在车辆内部的后视镜中。
16.一种车载交互终端的交互控制方法，其特征在于，包括步骤：
识别用户的语音命令；和/或
识别用户的人脸表情信息；
并且，还包括以下步骤的至少一个：
基于识别的语音命令和/或识别的人脸识别表情信息生成用于控制输出相应的语音应答内容的语音交互指令；
基于识别的语音命令和/或识别的人脸识别表情信息生成用于控制所述车载交互终端显示的相应的表情图像的表情交互指令；和
基于识别的语音命令和/或识别的人脸识别表情信息生成用于控制所述车载交互终端做相应的转动动作的动作交互指令。
17.如权利要求16所述的交互控制方法，其特征在于，还包括以下步骤的至少一个：
基于所述语音交互指令输出相应的语音应答内容，从而进行语音交互操作；
基于所述表情交互指令显示相应的表情图像，从而进行表情交互操作；
基于所述动作交互指令做相应的转动动作，从而进行动作交互操作。
18.如权利要求16所述的交互控制方法，其特征在于，在识别用户的语音命令的步骤中，还识别发起所述语音命令的用户在车辆内部的方位；
在生成动作交互指令的步骤中，还基于识别的方位生成用于控制所述车载交互终端做大致朝向该方位作转动动作的动作交互指令。
19.如权利要求18所述的交互控制方法，其特征在于，在识别发起所述语音命令的用户在车辆内部的方位的步骤中，基于多个不同位置的语音输入部件中的每个对同一语音命令所确定的声音大小来大致确定所述发起该语音命令的用户在车辆内部的方位。
20.如权利要求16所述的交互控制方法，其特征在于，还包括以下步骤的至少一个：
感测能够做转动动作的所述车载交互终端的当前角度位置；
接收来自所述车辆的CAN网络的信息；
检测所述中控屏的大致正前方的用户身体的一部分相对所述中控屏的距离信息；
检测车辆外部的温度信息。
21.如权利要求20所述的交互控制方法，其特征在于，所述语音交互指令/表情交互指令/动作交互指令还基于以下信息的至少一个来生成：（1）车载交互终端的当前角度位置；（2）来自所述车辆的CAN网络的信息；（3）所述距离信息；（4）所述温度信息。
22.一种车载交互终端，其特征在于，包括：
头部组件，其用于基于来自车载智能交互系统的动作交互指令进行相应的转动操作；和
显示部件，其用于基于来自车载智能交互系统的语音交互指令显示相应的表情图像；
其中，所述动作交互指令是基于识别的语音命令和/或识别的人脸识别表情信息生成的，所述动作交互单元是基于识别的语音命令和/或识别的人脸识别表情信息生成的。
23.如权利要求22所述的车载交互终端，其特征在于，还包括：
语音播放部件，其用于基于来自车载智能交互系统的语音交互指令输出相应的语音应答内容；
其中，所述语音应答内容是基于识别的语音命令和/或识别的人脸识别表情信息生成的。
24.一种车辆，其特征在于，包括如权利要求1至15中任一所述的车载智能交互系统。
CN201810348307.9A 2017-12-15 2018-04-18 车载智能交互系统和车载交互终端的交互控制方法 Pending CN109710055A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2017113538270 2017-12-15
CN201711353827 2017-12-15

Publications (1)

Publication Number Publication Date
CN109710055A true CN109710055A (zh) 2019-05-03

Family

ID=63779995

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201810348443.8A Pending CN109720355A (zh) 2017-12-15 2018-04-18 用于在车辆内部实现人机交互的方法和装置
CN201810346945.7A Pending CN108664123A (zh) 2017-12-15 2018-04-18 人车交互方法、装置、车载智能控制器及系统
CN201810348307.9A Pending CN109710055A (zh) 2017-12-15 2018-04-18 车载智能交互系统和车载交互终端的交互控制方法

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN201810348443.8A Pending CN109720355A (zh) 2017-12-15 2018-04-18 用于在车辆内部实现人机交互的方法和装置
CN201810346945.7A Pending CN108664123A (zh) 2017-12-15 2018-04-18 人车交互方法、装置、车载智能控制器及系统

Country Status (3)

Country Link
EP (1) EP3726342B1 (zh)
CN (3) CN109720355A (zh)
WO (1) WO2019114718A1 (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110329276A (zh) * 2019-05-29 2019-10-15 中山安信通机器人制造有限公司 智能汽车人机互动系统
CN110395269A (zh) * 2019-07-25 2019-11-01 广州小鹏汽车科技有限公司 一种基于车辆的人机交互方法及系统、车辆
CN110428834A (zh) * 2019-07-31 2019-11-08 北京梧桐车联科技有限责任公司 一种操作车辆部件的方法和装置
CN110459217A (zh) * 2019-08-21 2019-11-15 中国第一汽车股份有限公司 一种车载问答方法、系统、车辆及存储介质
CN110728256A (zh) * 2019-10-22 2020-01-24 上海商汤智能科技有限公司 基于车载数字人的交互方法及装置、存储介质
CN110834338A (zh) * 2019-11-04 2020-02-25 深圳勇艺达机器人有限公司 一种车载机器人及其控制方法
CN110956958A (zh) * 2019-12-04 2020-04-03 深圳追一科技有限公司 搜索方法、装置、终端设备及存储介质
CN112026790A (zh) * 2020-09-03 2020-12-04 上海商汤临港智能科技有限公司 车载机器人的控制方法及装置、车辆、电子设备和介质
CN112655000A (zh) * 2020-04-30 2021-04-13 华为技术有限公司 车内用户定位方法、车载交互方法、车载装置及车辆
CN112829763A (zh) * 2019-11-05 2021-05-25 北京新能源汽车股份有限公司 一种语音交互处理方法、系统及汽车
WO2021103609A1 (zh) * 2019-11-28 2021-06-03 北京市商汤科技开发有限公司 交互对象的驱动方法、装置、电子设备以及存储介质
CN112918381A (zh) * 2019-12-06 2021-06-08 广州汽车集团股份有限公司 一种车载机器人迎送宾方法、装置及系统
CN114056343A (zh) * 2022-01-11 2022-02-18 广州小鹏汽车科技有限公司 交互方法、服务器及存储介质

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109720355A (zh) * 2017-12-15 2019-05-07 蔚来汽车有限公司 用于在车辆内部实现人机交互的方法和装置
CN109366497A (zh) * 2018-11-12 2019-02-22 奇瑞汽车股份有限公司 车载机器人、车载机器人的控制方法、装置及存储介质
CN111210540A (zh) * 2018-11-22 2020-05-29 上海擎感智能科技有限公司 车辆、车机设备及其人机交互方法
JP6999540B2 (ja) * 2018-12-28 2022-01-18 本田技研工業株式会社 情報処理装置及びプログラム
CN109960407A (zh) * 2019-03-06 2019-07-02 中山安信通机器人制造有限公司 一种车载机器人主动交互的方法、计算机装置以及计算机可读存储介质
CN112009395A (zh) * 2019-05-28 2020-12-01 北京车和家信息技术有限公司 一种交互控制方法、车载终端及车辆
CN110377377A (zh) * 2019-06-06 2019-10-25 北京梧桐车联科技有限责任公司 显示方法及装置、电子设备及存储介质
CN112078447A (zh) * 2019-06-12 2020-12-15 杭州海康威视数字技术股份有限公司 安全座椅、驾乘系统及信息获取方法
CN110465956B (zh) * 2019-07-31 2022-04-01 东软集团股份有限公司 一种车辆机器人、车机、方法及机器人系统
CN110641476A (zh) * 2019-08-16 2020-01-03 广汽蔚来新能源汽车科技有限公司 基于车载机器人的交互方法、装置、控制器和存储介质
CN110502116A (zh) * 2019-08-20 2019-11-26 广东远峰汽车电子有限公司 汽车情感机器人与乘车人员的互动方法及装置
CN110633011A (zh) * 2019-08-21 2019-12-31 中国第一汽车股份有限公司 一种车载机器人、控制方法、控制装置及存储介质
CN110682921A (zh) * 2019-10-09 2020-01-14 广州小鹏汽车科技有限公司 车辆交互方法、装置、车辆及机器可读介质
CN110931003B (zh) * 2019-10-22 2023-07-07 安信通科技（澳门）有限公司 一种语音功能的控制交互方法及系统
CN110932862A (zh) * 2019-10-22 2020-03-27 安信通科技（澳门）有限公司 一种车辆中的车载设备登录管理方法及装置
CN110843796B (zh) * 2019-10-23 2021-10-26 上海能塔智能科技有限公司 车辆的互动式语音识别方法及装置、终端、车辆
CN110989831B (zh) 2019-11-15 2021-04-27 歌尔股份有限公司 音频设备的控制方法、音频设备及存储介质
CN111736700A (zh) * 2020-06-23 2020-10-02 上海商汤临港智能科技有限公司 基于数字人的车舱交互方法、装置及车辆
CN111736699A (zh) * 2020-06-23 2020-10-02 上海商汤临港智能科技有限公司 基于车载数字人的交互方法及装置、存储介质
CN111739201A (zh) * 2020-06-24 2020-10-02 上海商汤临港智能科技有限公司 车辆的交互方法及装置、电子设备、存储介质和车辆
CN111885769A (zh) * 2020-06-29 2020-11-03 武汉海微科技有限公司 基于led光环显示的车载智能交互系统
CN112034989A (zh) * 2020-09-04 2020-12-04 华人运通(上海)云计算科技有限公司 一种智能交互系统
CN114187863A (zh) * 2020-09-15 2022-03-15 比亚迪半导体股份有限公司 一种led点阵屏、车辆及车辆控制方法
CN112169309A (zh) * 2020-09-21 2021-01-05 北京汽车股份有限公司 车载游戏控制方法、系统和车载游戏控制器
CN112130547B (zh) * 2020-09-28 2024-05-03 广州小鹏汽车科技有限公司 一种车辆交互的方法和装置
CN112420045A (zh) * 2020-12-11 2021-02-26 奇瑞汽车股份有限公司 一种汽车车载语音交互系统及方法
CN112721834B (zh) * 2021-01-13 2022-09-23 浙江智马达智能科技有限公司 一种车辆控制方法及控制系统
CN115079811A (zh) * 2021-03-11 2022-09-20 上海擎感智能科技有限公司 交互方法、交互系统、终端、汽车及计算机可读存储介质
CN113147771A (zh) * 2021-05-10 2021-07-23 前海七剑科技(深圳)有限公司 基于车载虚拟机器人的主动交互方法及装置
CN113276861B (zh) * 2021-06-21 2023-03-28 上汽通用五菱汽车股份有限公司 车辆控制方法、车辆控制系统及存储介质
CN113669572A (zh) * 2021-07-01 2021-11-19 华人运通(江苏)技术有限公司 车载屏幕的调节装置、车载显示装置和车辆
CN114435132B (zh) * 2022-01-13 2024-05-14 重庆长安汽车股份有限公司 汽车仪表开关机逻辑方法、系统及车辆
CN115431762A (zh) * 2022-03-25 2022-12-06 北京罗克维尔斯科技有限公司 多屏幕交互方法、装置、设备及计算机可读存储介质
CN115123143B (zh) * 2022-06-22 2024-02-27 重庆长安汽车股份有限公司 车辆个性化迎宾方法、系统、车辆及介质
CN115190199B (zh) * 2022-07-08 2023-07-21 润芯微科技(江苏)有限公司 一种通过移动端扫码操作车机功能的方法
CN115610349B (zh) * 2022-10-21 2024-05-17 阿维塔科技(重庆)有限公司 一种基于多模融合的智能交互方法及装置
CN116163620B (zh) * 2023-02-28 2024-08-06 重庆长安汽车股份有限公司 一种车辆门窗智慧开关方法、系统、设备及介质
CN116653998B (zh) * 2023-07-28 2023-10-20 安徽中科星驰自动驾驶技术有限公司 一种自动驾驶车辆的人车交互方法及系统
CN116755564B (zh) * 2023-08-16 2023-12-08 吉林藤兴科技有限公司 一种车辆生态智能控制交互设备、对接终端及主机

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103324100A (zh) * 2013-05-02 2013-09-25 郭海锋 一种信息驱动的情感车载机器人
CN104199321A (zh) * 2014-08-07 2014-12-10 刘松珍 一种情感交互型车载机器人
CN107220591A (zh) * 2017-04-28 2017-09-29 哈尔滨工业大学深圳研究生院 多模态智能情绪感知系统

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003252127A (ja) * 2001-12-28 2003-09-10 Pioneer Electronic Corp 駆動制御装置および駆動制御方法
CN201254147Y (zh) * 2008-07-22 2009-06-10 深圳市北科瑞声科技有限公司 应用于汽车电子通讯和多媒体娱乐的人机交互系统
WO2014060054A1 (de) * 2012-10-16 2014-04-24 Audi Ag Spracherkennung in einem kraftfahrzeug
CN203119951U (zh) * 2013-03-06 2013-08-07 杭州冠啸电子科技有限公司 一种基于Android的车载娱乐信息系统
CN103309356B (zh) * 2013-06-24 2016-02-17 深圳市科松电子有限公司 车载机器人
CN104252179B (zh) * 2013-06-27 2017-05-03 比亚迪股份有限公司 一种车载智能机器人的控制方法、控制装置及控制系统
US20150088489A1 (en) * 2013-09-20 2015-03-26 Abdelhalim Abbas Systems and methods for providing man-machine communications with etiquette
CN104002818A (zh) * 2014-05-27 2014-08-27 昆山市智汽电子科技有限公司 一种集互动与自动为一体的车载系统
CN105584412A (zh) * 2016-01-15 2016-05-18 黎凯华 一种汽车门禁感应装置
CN205630647U (zh) * 2016-02-19 2016-10-12 竺林坤 一种设于汽车中控台的智能机器人
CN106803423B (zh) * 2016-12-27 2020-09-04 智车优行科技（北京）有限公司 基于用户情绪状态的人机交互语音控制方法、装置及车辆
CN109720355A (zh) * 2017-12-15 2019-05-07 蔚来汽车有限公司 用于在车辆内部实现人机交互的方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103324100A (zh) * 2013-05-02 2013-09-25 郭海锋 一种信息驱动的情感车载机器人
CN104199321A (zh) * 2014-08-07 2014-12-10 刘松珍 一种情感交互型车载机器人
CN107220591A (zh) * 2017-04-28 2017-09-29 哈尔滨工业大学深圳研究生院 多模态智能情绪感知系统

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110329276A (zh) * 2019-05-29 2019-10-15 中山安信通机器人制造有限公司 智能汽车人机互动系统
CN110395269A (zh) * 2019-07-25 2019-11-01 广州小鹏汽车科技有限公司 一种基于车辆的人机交互方法及系统、车辆
CN110428834A (zh) * 2019-07-31 2019-11-08 北京梧桐车联科技有限责任公司 一种操作车辆部件的方法和装置
CN110459217A (zh) * 2019-08-21 2019-11-15 中国第一汽车股份有限公司 一种车载问答方法、系统、车辆及存储介质
CN110459217B (zh) * 2019-08-21 2022-03-08 中国第一汽车股份有限公司 一种车载问答方法、系统、车辆及存储介质
CN110728256A (zh) * 2019-10-22 2020-01-24 上海商汤智能科技有限公司 基于车载数字人的交互方法及装置、存储介质
CN110834338A (zh) * 2019-11-04 2020-02-25 深圳勇艺达机器人有限公司 一种车载机器人及其控制方法
CN112829763A (zh) * 2019-11-05 2021-05-25 北京新能源汽车股份有限公司 一种语音交互处理方法、系统及汽车
WO2021103609A1 (zh) * 2019-11-28 2021-06-03 北京市商汤科技开发有限公司 交互对象的驱动方法、装置、电子设备以及存储介质
US20210201908A1 (en) * 2019-11-28 2021-07-01 Beijing Sensetime Technology Development Co., Ltd. Driving interaction object
TWI777229B (zh) * 2019-11-28 2022-09-11 大陸商北京市商湯科技開發有限公司 互動對象的驅動方法、裝置、顯示設備、電子設備以及電腦可讀儲存介質
US11769499B2 (en) 2019-11-28 2023-09-26 Beijing Sensetime Technology Development Co., Ltd. Driving interaction object
CN110956958A (zh) * 2019-12-04 2020-04-03 深圳追一科技有限公司 搜索方法、装置、终端设备及存储介质
CN112918381A (zh) * 2019-12-06 2021-06-08 广州汽车集团股份有限公司 一种车载机器人迎送宾方法、装置及系统
CN112918381B (zh) * 2019-12-06 2023-10-27 广州汽车集团股份有限公司 一种车载机器人迎送宾方法、装置及系统
CN112655000A (zh) * 2020-04-30 2021-04-13 华为技术有限公司 车内用户定位方法、车载交互方法、车载装置及车辆
CN112026790A (zh) * 2020-09-03 2020-12-04 上海商汤临港智能科技有限公司 车载机器人的控制方法及装置、车辆、电子设备和介质
CN112026790B (zh) * 2020-09-03 2022-04-15 上海商汤临港智能科技有限公司 车载机器人的控制方法及装置、车辆、电子设备和介质
CN114056343A (zh) * 2022-01-11 2022-02-18 广州小鹏汽车科技有限公司 交互方法、服务器及存储介质
CN114056343B (zh) * 2022-01-11 2022-05-10 广州小鹏汽车科技有限公司 车载系统功能的处理方法、服务器及存储介质

Also Published As

Publication number Publication date
EP3726342B1 (en) 2023-04-12
WO2019114718A1 (zh) 2019-06-20
EP3726342A1 (en) 2020-10-21
CN109720355A (zh) 2019-05-07
EP3726342A4 (en) 2021-09-08
CN108664123A (zh) 2018-10-16

Similar Documents

Publication Publication Date Title
CN109710055A (zh) 车载智能交互系统和车载交互终端的交互控制方法
JP7146585B2 (ja) 視線検出装置、プログラム、及び、視線検出方法
CN112026790B (zh) 车载机器人的控制方法及装置、车辆、电子设备和介质
JP7053432B2 (ja) 制御装置、エージェント装置及びプログラム
JP7302005B2 (ja) 車両のインタラクション方法及び装置、電子機器、記憶媒体並びに車両
JP5187517B2 (ja) 情報提供装置、情報提供方法およびプログラム
CN109552340A (zh) 用于车辆的手势和表情控制
US10994612B2 (en) Agent system, agent control method, and storage medium
CN106251870A (zh) 识别语音控制用的语境的方法、求出语音控制用的语音控制信号的方法及实施该方法的设备
US20200234710A1 (en) Automatic dialogue design
WO2019124158A1 (ja) 情報処理装置、情報処理方法、プログラム、表示システム、及び移動体
CN109366497A (zh) 车载机器人、车载机器人的控制方法、装置及存储介质
US20230350498A1 (en) Human-machine interaction method and human-machine interaction apparatus
CN107303793A (zh) 空调控制方法、装置、控制设备及操作系统
JP2020060696A (ja) コミュニケーション支援システム、コミュニケーション支援方法、およびプログラム
US20210087869A1 (en) Method and Device for the Non-Mechanical Activation of a Closure Arrangement
CN110065439A (zh) 一种车内交互系统
CN105599607B (zh) 一种基于驾驶员状态的车辆启动装置和方法
CN112172705A (zh) 一种基于智能座舱的车载智能硬件管控方法和智能座舱
CN114043939A (zh) 一种使用全息投影技术的车载中控系统及控制方法
JP7165566B2 (ja) 制御装置、エージェント装置及びプログラム
CN110962780A (zh) 车载智能系统开机方法、车载智能系统及可读存储介质
CN111252087A (zh) 一种司机台控制系统
CN110435567A (zh) 一种疲劳驾驶的管理方法和装置
CN115830724A (zh) 基于多模态识别的车载识别交互方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20200811

Address after: Susong Road West and Shenzhen Road North, Hefei Economic and Technological Development Zone, Anhui Province

Applicant after: Weilai (Anhui) Holding Co.,Ltd.

Address before: China Hong Kong

Applicant before: NIO NEXTEV Ltd.

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190503