CN113614713A - 一种人机交互方法及装置、设备及车辆 - Google Patents

一种人机交互方法及装置、设备及车辆 Download PDF

Info

Publication number
CN113614713A
CN113614713A CN202180001878.5A CN202180001878A CN113614713A CN 113614713 A CN113614713 A CN 113614713A CN 202180001878 A CN202180001878 A CN 202180001878A CN 113614713 A CN113614713 A CN 113614713A
Authority
CN
China
Prior art keywords
user
information
policy
strategy
actions
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180001878.5A
Other languages
English (en)
Inventor
潘倞燊
苏琪
聂为然
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN113614713A publication Critical patent/CN113614713A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/9035—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range

Abstract

本申请适用于辅助驾驶领域，具体提供了一种人机交互方法及装置、设备及车辆，该人机交互方法包括：获取用户表达的信息，根据所述用户表达的信息获取所述用户的体验意图；根据车机的状态信息、所述用户的体验意图，获取推荐的多个策略动作；所述策略动作用于对所述车机进行控制，且配置有评分；根据用户的策略偏好信息调整所述多个策略动作的评分；根据调整后的所述评分确定控制所述车机的策略动作，执行对所述车机的控制。本申请可以根据用户的表达习惯，提供符合当前场景和用户偏好的策略动作，达到用户对人机交互的期望，提高用户的体验评价。

Description

一种人机交互方法及装置、设备及车辆
技术领域
本申请涉及人机交互技术领域，特别涉及一种人机交互方法及装置、设备及车辆。
背景技术
在当前的车载任务型人机交互系统中，用户表达和系统动作通常是绑定的，无法适应不同的用户表达习惯、动态的空间环境以及设备条件等。
如图1所示，在现有的一种车载任务型人机交互系统中，可通过多种传感器得到的多种模态信息，获取到用户表达信息，并通过模式匹配得到相关的用户意图，针对用户意图给出对应的系统策略，根据系统反馈执行最终的系统动作。在整个模式匹配的过程中，用户表达、用户意图、系统策略的相关特征都是对应匹配的，其根本原因在于当前车载人机交互设计体系主要围绕着服务功能反推用户表达，而不是根据用户表达推荐服务功能。这种设计的优势在于可直接根据下游服务接口命令和参数，方便地将所有的服务功能转化为对应的用户表达，实现用户表达与服务功能的语音交互直达；这种设计的缺陷在于忽略了用户作为主体的主观表达的多样性，和主观表达诉求的模糊性，特别是在用户不熟悉设备操作方式的情况下，用户的表达通常是体验诉求的主观表达，而不是设备操作的客观描述。由于同理心原因，通过语音实现人机交互策略的情况下，人类对于车机反馈的期望会上升。因此在用户的主观表达无法得到车机反馈，或车机反馈策略失效时，将会大大降低用户对于交互系统的评价。
发明内容
有鉴于此，本申请提供了一种人机交互方法及装置、设备及车辆，可以根据用户的表达习惯，提供符合当前场景和用户偏好的策略动作，达到用户对人机交互的期望，提高用户的体验评价。
应理解，本申请所提供的方案中，人机交互方法可以由人机交互装置或该人机交互装置中的部分器件执行，其中，人机交互装置可以是人机交互界面(Human MachineInterface，HMI)、车载信息娱乐系统(In-Vehicle Infotainment，IVI)、整车、服务器等。人机交互装置中的部分器件可以是处理芯片、处理电路、处理器等。
本申请的第一方面提供一种人机交互方法，包括：获取用户表达的信息，根据该用户表达的信息获取该用户的体验意图。根据车机的状态信息、该用户的体验意图，获取推荐的多个策略动作，该策略动作用于对该车机进行控制，且配置有评分。根据用户的策略偏好信息调整该多个策略动作的评分。根据调整后的该评分确定控制该车机的策略动作，执行对该车机的控制。
由上，本申请的人机交互方法中，作为交互的用户端，可通过语音、手势、表情等方式表达自己的体验意图，作为交互的设备端，可通过采集用户表达的上述信息，根据预设的意图识别模型或意图识别算法进行意图识别，以得到用户表达的该信息所对应的用户体验意图，根据识别出的用户体验意图以及车机的状态信息，生成推荐的多个策略动作，并根据用户的策略偏好信息对推荐的多个策略动作的评分进行调整，并根据调整后的评分确定策略动作，对车机进行控制。本方法适用于不同的用户表达习惯、不同的车机状态，能够动态的向用户推荐合适的策略动作，从而满足用户对人机交互的期望，提高用户的体验评价。
在第一方面的一种可能的实现方式中，根据调整后的评分确定控制该车机的策略动作包括：当从两个或两个以上的策略动作中进行确定，且该两个或两个以上的策略动作的评分的差值大于阈值时，根据最高的评分确定控制该车机的策略动作。
由上，根据调整后的评分，可按照评分从推荐的多个策略动作中确定控制车机的策略动作，此时若评分较高的两个或两个以上的策略动作之间的评分的差值大于阈值时，可认为评分最高的策略动作更符合用户的体验意图，此时可直接选择评分最高的策略动作控制车机。
在第一方面的一种可能的实现方式中，还包括：当从两个或两个以上的策略动作中进行确定，且该两个或两个以上的策略动作的该评分的差值小于阈值时，将该两个或两个以上的策略动作提示给该用户；接收该用户的选择信息，根据该用户的选择信息确定控制该车机的策略动作。
由上，根据调整后的评分，可按照评分从推荐的多个策略动作中选择策略动作控制车机，此时若评分较高的两个或两个以上的策略动作之间的评分的差值小于阈值时，此时可认为该两个或两个以上的策略动作均比较符合用户的体验意图，此时可将该两个或两个以上的策略动作提示给用户，并接收用户的选择信息，确定符合用户偏好的策略动作控制车机。
在第一方面的一种可能的实现方式中，还包括：根据该用户的选择信息更新该用户的策略偏好信息。
由上，当将两个或两个以上的策略动作提示给用户，供用户选择时，此时可根据用户的选择信息，更新用户的策略偏好信息，以使得用户的策略偏好信息更符合用户的使用习惯。本申请中，用户的策略偏好信息具体可以是用户对某个策略动作的偏好度或者使用频率等，该用户的策略偏好信息可随着本申请人机交互方法的使用，更加符合用户的个性需求。
在第一方面的一种可能的实现方式中，还包括：根据该用户的选择信息，更新该用户表达的信息、该用户的体验意图、该推荐的多个策略动作和该用户的策略偏好信息的任意两者或多者之间的相关性。
由上，当将两个或两个以上的策略动作提示给用户，供用户选择时，此时可根据用户的选择信息，更新用户表达的信息、用户的体验意图、推荐的多个策略动作和用户的策略偏好信息之间的相关性，从而使得本申请的人机交互能够更加符合用户的偏好，在之后的交互过程中能够快速确定符合用户偏好的策略动作，提高用户的使用体验。
在第一方面的一种可能的实现方式中，根据调整后的评分确定控制该车机的策略动作包括：根据调整后的评分，将该评分高于设定值的两个或两个以上的策略动作确定为控制该车机的策略动作。
由上，根据调整后的评分，可按照评分从推荐的多个策略动作中选择两个或两个以上的策略动作确定为控制车机的策略动作，以实现更优的控制效果。
在第一方面的一种可能的实现方式中，根据该用户的策略偏好信息调整该多个策略动作的评分包括：根据该用户的策略偏好信息对该多个策略动作的评分进行加权计算。
由上，对多个策略动作的评分进行调整时，可通过为用户的策略偏好信息设置权重的方式，对评分进行加权计算，根据加权计算的结果调整多个策略动作的评分。
在第一方面的一种可能的实现方式中，该用户表达的信息包括用户的语音信息、动作信息、表情信息中的一个或多个。
在第一方面的一种可能的实现方式中，根据该用户表达的信息获取该用户的体验意图时，还根据用户的体征信息获取。
由上，在获取用户表达的信息时，可通过对用户以语音、手势动作、身体动作或表情等表达方式进行信息的获取，还可以通过监测用户的皮肤温度、心率等方式进行信息的获取。
在第一方面的一种可能的实现方式中，根据该用户表达的信息获取该用户的体验意图时，还根据会话历史信息获取；该会话历史信息包括之前确定的控制该车机的策略动作。
由上，本方法的人机交互过程可以为多轮，当每一轮人机交互结束后，可将之前确定的控制车机的策略动作作为会话历史，应用于下一轮的人机交互过程中，以获取更加精确的用户的体验意图。
在第一方面的一种可能的实现方式中，该车机的状态信息包括该车机的设备状态信息和该车机获得的环境状态信息中的一个或多个。
由上，车机的状态信息具体可以包括空调状态、座椅状态、扬声器状态、显示器状态、灯光状态、天窗状态、车窗状态等设备状态信息，还可以包括车机内部或外部温度、湿度、空气质量等环境状态信息。
在第一方面的一种可能的实现方式中，还包括：获取该用户的身份信息，根据该用户的身份信息获取该用户的策略偏好信息。
由上，本方法可通过本地存储或云端存储的方式，存储用户的策略偏好信息，当获取到用户的身份信息时，可根据用户的身份信息获取对应该用户的策略偏好信息，从而使得本方法的人机交互过程更符合用户的个性化需求。
本申请的第二方面提供一种人机交互装置，包括：识别模块，用于获取用户表达的信息，根据该用户表达的信息获取该用户的体验意图。推荐模块，用于根据车机的状态信息、该用户的体验意图，获取推荐的多个策略动作，该策略动作用于对该车机进行控制，且配置有评分。调整模块，用于根据用户的策略偏好信息调整该多个策略动作的评分。输出模块，用于根据调整后的该评分确定控制该车机的策略动作，执行对该车机的控制。
在第二方面的一种可能的实现方式中，该输出模块具体用于：当从两个或两个以上的策略动作中进行确定，且该两个或两个以上的策略动作的该评分的差值大于阈值时，根据最高的评分确定控制该车机的策略动作。
在第二方面的一种可能的实现方式中，该输出模块还用于：当从两个或两个以上的策略动作中进行确定，且该两个或两个以上的策略动作的该评分的差值小于阈值时，将该两个或两个以上的策略动作提示给该用户；接收该用户的选择信息，根据该用户的选择信息确定控制该车机的策略动作。
在第二方面的一种可能的实现方式中，该调整模块还用于：根据该用户的选择信息更新该用户的策略偏好信息。
在第二方面的一种可能的实现方式中，还包括：训练模块，用于根据该用户的选择信息，更新该用户表达的信息、该用户的体验意图、该推荐的多个策略动作和该用户的策略偏好信息的任意两者或多者之间的相关性。
在第二方面的一种可能的实现方式中，该输出模块具体用于：根据调整后的该评分，将该评分高于设定值的两个或两个以上的策略动作确定为控制该车机的策略动作。
在第二方面的一种可能的实现方式中，该调整模块具体用于：根据该用户的策略偏好信息对该多个策略动作的评分进行加权计算。
在第二方面的一种可能的实现方式中，该用户表达的信息包括用户的语音信息、动作信息、表情信息中的一个或多个。
在第二方面的一种可能的实现方式中，该识别模块根据该用户表达的信息获取该用户的体验意图时，还根据用户的体征信息获取。
在第二方面的一种可能的实现方式中，该识别模块根据该用户表达的信息获取该用户的体验意图时，还根据会话历史信息获取；该会话历史信息包括之前确定的控制该车机的策略动作。
在第二方面的一种可能的实现方式中，该车机的状态信息包括该车机的设备状态信息和该车机获得的环境状态信息中的一个或多个。
在第二方面的一种可能的实现方式中，还包括：身份认证模块，用于获取该用户的身份信息，根据该用户的身份信息获取该用户的策略偏好信息。
本申请的第三方面提供一种系统，包括：
多维感知装置，用于采集用户的表达数据，生成用户表达的信息；
车机管理装置，用于采集车机的设备状态数据和车机的环境状态数据，生成车机的状态信息；
如第二方面及上述各种可选的实现方式提供的多种技术方案中的人机交互装置。
在第三方面的一种可能的实现方式中，该人机交互装置根据该多维感知装置生成的用户表达的信息，获取该用户的体验意图。该人机交互装置根据车机的状态信息、该用户的体验意图，获取推荐的多个策略动作，并根据用户的策略偏好信息调整该多个策略动作的评分，根据调整后的评分确定控制车机的策略动作，以执行对该车机的控制。
在第三方面的一种可能的实现方式中，该人机交互装置在根据调整后的评分确定控制车机的策略动作时，可以从两个或两个以上的策略动作中进行确定。当该两个或两个以上的策略动作的评分的差值大于阈值时，根据最高的评分确定控制该车机的策略动作。当该两个或两个以上的策略动作的评分的差值小于阈值时，将该两个或两个以上的策略动作提示给该用户，接收用户的选择信息，根据该用户的选择信息确定控制该车机的策略动作。该人机交互装置还可以根据调整后的评分，将评分高于设定值的两个或两个以上的策略动作确定为控制该车机的策略动作。
在第三方面的一种可能的实现方式中，该人机交互装置可以根据用户的选择信息更新该用户的策略偏好信息。还可以根据用户的选择信息，更新该用户表达的信息、该用户的体验意图、推荐的多个策略动作和该用户的策略偏好信息的任意两者或多者之间的相关性。
在第三方面的一种可能的实现方式中，该人机交互装置或该多维感知装置还可以用于获取该用户的身份信息，根据该用户的身份信息获取该用户的策略偏好信息。
在第三方面的一种可能的实现方式中，该系统为车辆。
在第三方面的一种可能的实现方式中，该多维感知装置可以包括设置于该车辆的麦克风模组、摄像头模组、人体传感器模组中的一个或多个。
在第三方面的一种可能的实现方式中，该车机管理装置可以包括设置于该车辆的空调控制器、座椅控制器、扬声器控制器、显示器控制器、灯光控制器、天窗控制器、车窗控制器、窗帘控制器、环境传感器模组中的一个或多个。
本申请的第四方面提供一种电子装置，包括：
处理器，以及接口电路，其中，该处理器通过该接口电路访问存储器，该存储器存储有程序指令，该程序指令当被该处理器执行时使得该处理器执行如第一方面及上述各种可选的实现方式提供的多种技术方案中的人机交互方法。
在第四方面的一种可能的实现方式中，当用户通过语音、手势、表情等可被采集到的方式进行表达时，该处理器可以通过接口电路获取存储器中的采集指令，对用户的语音、手势、表情或身体动作等信息进行采集，并整理生成用户表达的信息。该处理器还可以通过接口电路获取存储器中的识别指令，根据用户表达的信息识别用户的体验意图。该处理器还可以通过接口电路获取存储器中的处理指令，根据车机的状态信息、用户的体验意图，获取推荐的多个策略动作，同时还根据用户的策略偏好信息调整多个策略动作的评分。该处理器还可以通过接口电路获取存储器中的输出指令，根据调整后的评分输出控制车辆的策略动作，实现对车辆的控制。
在第四方面的一种可能的实现方式中，该电子装置为人机交互界面、车载信息娱乐系统中的一个。
在第四方面的一种可能的实现方式中，该电子装置为车辆。
在第四方面的一种可能的实现方式中，该电子装置为车机、车载电脑中的一个。
本申请的第五方面提供一种计算设备，包括：
处理器，以及
存储器，其上存储有程序指令，该程序指令当被该处理器执行时使得该处理器执行如第一方面及上述各种可选的实现方式提供的多种技术方案中的人机交互方法。
在第五方面的一种可能的实现方式中，当用户通过语音、手势、表情等可被采集到的方式进行表达时，该处理器可以通过执行存储器中的采集指令，对用户的语音、手势、表情或身体动作等信息进行采集，并整理生成用户表达的信息。该处理器还可以通过执行存储器中的识别指令，根据用户表达的信息识别用户的体验意图。该处理器还可以通过执行存储器中的处理指令，根据车机的状态信息、用户的体验意图，获取推荐的多个策略动作，同时还根据用户的策略偏好信息调整多个策略动作的评分。该处理器还可以通过执行存储器中的输出指令，根据调整后的评分输出控制车辆的策略动作，实现对车辆的控制。
在第五方面的一种可能的实现方式中，该计算设备为人机交互界面、车载信息娱乐系统中的一个。
在第五方面的一种可能的实现方式中，该计算设备为车辆。
在第五方面的一种可能的实现方式中，该计算设备为车机、车载电脑中的一个。
本申请的第六方面提供一种计算机可读存储介质，其上存储有程序指令，该程序指令当被计算机执行时使得该计算机执行如第一方面及上述各种可选的实现方式提供的多种技术方案中的人机交互方法。
本申请的第七方面提供一种计算机程序产品，其包括有程序指令，该程序指令当被计算机执行时使得该计算机执行如第一方面及上述各种可选的实现方式提供的多种技术方案中的人机交互方法。
综上，本申请提供的人机交互方法及装置、设备及车辆，通过获取用户的表达信息，以识别用户的体验意图，根据用户的体验意图和车机的状态信息，生成推荐的多个策略动作，其中生成的策略动作用于对车机进行控制。由于每个用户的策略偏好的不同，可根据用户的策略偏好信息对多个策略动作的评分进行调整，并根据调整后的评分确定控制车机的策略动作。其中，确定控制车机的策略动作可以直接根据最高评分进行确定，还可以提示给用户两个或两个以上的评分接近的策略动作，根据用户的选择信息进行确定。在本申请的其他实现方式中，用户的选择信息还可以用于更新用户的策略偏好信息，以及更新用户表达的信息、用户的体验意图、推荐的多个策略动作和用户的策略偏好信息之间的相关性，以使得人机交互更符合用户的个性化偏好。本申请提供的人机交互方法及装置、设备及车辆，适用于不同的用户群体，并且无需复杂的学习成本，可以根据用户的表达习惯，提供符合当前场景和用户偏好的策略动作，达到用户对人机交互的期望，提高用户的体验评价。
附图说明
图1为一种车载任务型人机交互系统的交互流程图；
图2为本申请实施例提供的一种人机交互方法的应用场景的示意图；
图3为本申请实施例提供的一种人机交互方法的应用场景的框架图；
图4为本申请实施例提供的状态处理单元的架构示意图；
图5为本申请实施例提供的奖赏时间分布示意图；
图6为本申请实施例提供的一种人机交互方法的流程图；
图7为本申请实施例提供的一种策略生成及澄清流程的示意图；
图8A为一种通用平台的策略生成流程的示意图；
图8B为本申请实施例提供的策略生成及澄清流程的示意图；
图9为本申请实施例提供的一种人机交互装置的架构图；
图10为本申请实施例提供的一种计算设备的架构图；
图11为本申请实施例提供的一种电子装置的架构图；
图12为本申请实施例提供的一种人机交互系统的架构图。
应理解，上述结构示意图中，各框图的尺寸和形态仅供参考，不应构成对本发明实施例的排他性的解读。结构示意图所呈现的各框图间的相对位置和包含关系，仅为示意性地表示各框图间的结构关联，而非限制本发明实施例的物理连接方式。
具体实施方式
下面结合附图并举实施例，对本申请提供的技术方案作进一步说明。应理解，本申请实施例中提供的系统结构和业务场景主要是为了说明本申请的技术方案的可能的实施方式，不应被解读为对本申请的技术方案的唯一限定。本领域普通技术人员可知，随着系统结构的演进和新业务场景的出现，本申请提供的技术方案对类似技术问题同样适用。
应理解，本申请实施例提供的人机交互方案，包括人机交互方法及装置、设备及车辆。由于这些技术方案解决问题的原理相同或相似，在如下具体实施例的介绍中，某些重复之处可能不再赘述，但应视为这些具体实施例之间已有相互引用，可以相互结合。
本申请实施例提供了一种人机交互方法及装置、设备及车辆，可以根据用户的表达习惯，提供符合当前场景和用户偏好的策略动作，达到用户对人机交互的期望，提高用户的体验评价。本申请可以应用于多种人机交互的技术领域，可以适配多种空间场景，例如智能驾驶场景、智能家居场景等，其中，与用户(即人机交互中的“人”)进行交互的设备(即人机交互中的“机”)可以是车辆、机器人、智能家居设备等。下面对本申请进行详细介绍。
下面首先参照如图2和图3，对本实施例涉及的应用场景进行概要性的说明。如图2所示，本实施例的应用场景具体涉及一种车辆100，该车辆100可以是家用轿车或载货汽车等，还可以是特种车辆例如救护车、消防车、警车或工程抢险车等。在本实施例的人机交互方法中，交互对象可以是用户和车辆，其中，用户可以是该车辆100的驾驶员或者乘客，用户可以根据自己的体验意图，通过语音、手势、表情等可被采集到的方式进行表达，该车辆100可以对用户表达的信息进行采集，以识别用户的体验意图，并根据用户的体验意图提供对应的策略动作。该车辆100可以在车辆外部或车辆座舱内设置支持本实施例人机交互方法的相关装置，然后根据采集到的驾驶员或者乘客表达出的信息进行策略动作的生成、推荐及执行，以满足用户的体验意图。
如图3所示，该车辆100内可以设置有用于实现交互的多维感知单元110、意图识别单元120、设备管理单元130、状态处理单元140、系统策略单元150和动作执行单元160。具体的，
所述多维感知单元110主要用于对用户的语音、手势、表情或身体动作等信息进行采集，其中，该多维感知单元110可以采用集成单元实现，例如可以为包括麦克风模组111、摄像头模组112、人体传感器模组113等模组的集成单元，以实现对用户的语音、手势、表情或身体动作等信息的采集。还可以采用多个独立的单元或模组实现，例如可以采用分别设置的麦克风模组111、摄像头模组112、人体传感器模组113等模组中的一个或多个实现。麦克风模组111可以设置在车辆座舱内，用于检测用户的语音信息，数量可以是一个也可以是多个。摄像头模组112，可以设置在车辆座舱的A柱、B柱或车辆座舱的后视镜的朝向用户的一侧，还可以设置在方向盘、中控台附近区域，还可以设置在座椅后方显示屏上方等位置，可以用于采集用户的手势动作、面部表情或者身体动作等，也可以用于对用户的人脸进行识别，以进行用户身份验证。人体传感器模组113可以用于检测用户的人体体征信息，例如体温、心率等，对应的，该人体传感器模组113可以具体为温度传感器、心率传感器等可实现体温、心率检测的传感器设备。
本实施例中，该麦克风模组111、摄像头模组112、人体传感器模组113可以为车辆座舱的预装设备，也可以通过后装的形式安装于车辆座舱内，该多维感知单元110通过麦克风模组111、摄像头模组112、人体传感器模组113对用户的语音数据、手势动作、表情或身体体征等进行采集，并通过语音识别转写麦克风模组111采集到的语音数据，得到语义特征，通过手势识别转写摄像头模组112采集到的用户手势动作，得到手势序列特征，通过表情识别转写摄像头模组112采集到的用户面部表情，得到情绪特征，通过心率信号处理转写人体传感器模组113采集的人体体征，得到人体体征特征，将该语义特征、手势序列特征、情绪特征、人体体征特征整理生成人体信号束。
所述意图识别单元120可以为电子设备，具体可以为车机或车载电脑等车载处理装置，还可以为车机或车载电脑中的芯片或处理器，也可以为中央处理器(CentralProcessing Unit，CPU)、微处理器(Micro Control Unit，MCU)等常规的芯片处理器，还可以为手机、平板等终端设备。该意图识别单元120内可以预设有意图识别模型，或通过获取车辆内其他器件内预设的意图识别模型，可以对接收的包含有语义特征、手势序列特征、情绪特征、人体体征特征的人体信号束进行识别，以识别出用户的体验意图，该用户的体验意图具体可以为用户在车辆内所期望达到的体验。本实施例中，在进行意图识别时，可以根据各特征的权重，将部分特征作为核心特征，其他特征作为辅助特征，例如可以将用户的语义特征作为核心特征，设置较高的权重，而其他的手势序列特征、情绪特征、人体体征特征作为辅助特征，设置较低的权重。根据各特征及其权重，确定用户的体验意图。本实施例中，意图识别模型可以为机器翻译领域的一种主流模型，通过利用该意图识别模型对输入的所述人体信号束进行编码、解码，以翻译得到所述人体信号束对应的用户的体验意图，其中，该用户的体验意图具体可以包括用户的主观感受和客观意图，主观感受主要指用户对自我感受的描述，例如“我很热”、“我很冷”等，客观意图主要指与用户主观感受等价的用户对设备或服务的操作意图，例如与“我很热”等价的服务操作意图为“降低体感温度”，等价的设备操作意图为“打开空调”、“降低空调温度”、“打开座椅吹风”等，或者与“我很冷”等价的服务操作意图为“提高体感温度”，等价的设备操作意图为“关闭空调”、“提高空调温度”、“关闭座椅吹风”等。
所述设备管理单元130可以为车辆上安装的各个传感器或控制器，主要用于对车辆的设备状态和环境状态进行检测，具体可以包括空调控制器131、座椅控制器132、扬声器控制器133、显示器控制器134、灯光控制器135、天窗控制器136、车窗控制器137、窗帘控制器138、环境传感器模组139等，其中各控制器可以安装于车辆座舱的中控区域，或者还可以安装于其所连接的设备处，用于执行对其对应设备的控制以及状态检测，环境传感器模组139可以为感光器、感温器、感湿器、空气质量测试仪等传感器设备，可对车辆内部、外部的环境状态进行检测。该设备管理单元130通过对车辆的设备状态数据和环境状态数据进行采集，并整理生成车辆的座舱信号束。
所述状态处理单元140可以为车机或车载电脑中的芯片或处理器，也可以为CPU、MCU等常规的芯片处理器，还可以为芯片或处理器上的具备处理功能的软件模块，其用于将所述座舱信号束中的设备状态数据和环境状态数据存储为对应的特征参数，维护生成车辆的状态池，具体的，如图4所示，每个设备在安装于该车辆上时，需要进行相关软件定义的注册，例如，该相关软件定义的注册可以包括对车辆的设备状态数据的注册，生成车辆的设备状态信息，以及对该设备状态进行更改时所需的相应动作和动作相关参数进行注册，生成设备动作特征。同时，还需要对车辆的环境状态数据进行注册，生成车辆的环境状态信息。
所述系统策略单元150也可以为电子设备，具体也可以为车机或车载电脑等车载处理装置，还可以为车机或车载电脑中的芯片或处理器，也可以为CPU、MCU等常规的芯片处理器，还可以为手机、平板等终端设备。该系统策略单元150可以用于根据用户的体验意图、车辆的设备状态信息和环境状态信息，确定用于控制车辆的策略动作。本实施例中，该系统策略单元150具体包括策略知识库151、策略排序模块152、策略澄清模块153，其中该策略知识库151、策略排序模块152、策略澄清模块153可以为系统策略单元150中的具体硬件模块，也可以为系统策略单元150中的具备处理能力的软件模块。
所述策略知识库151用于根据用户的体验意图、车辆的设备状态信息和环境状态信息，生成推荐的策略序列，该策略序列中包括用于对车机进行不同控制的不同策略动作及其初始评分。其中，用户的体验意图为Em，车辆的当前状态为s(包括当前的设备状态Sdev和环境状态Senv)，用户的体验意图Em所期望达到的车辆的目的状态为s′(包括期望达到的设备状态Sdev′和环境状态Senv′)，则可以利用训练好的马尔可夫决策过程(MarkovDecision Process，MDP)模型对生成的策略动作Actioni进行初始评分，具体的，可以将执行该策略动作Actioni/a控制车辆时车辆从当前状态s转移到目的状态s′的状态转移概率，作为该策略动作Actioni的初始评分
Figure BDA0003160594720000091
示例性的，该MDP模型中的状态转移概率关系可以为：
Figure BDA0003160594720000101
Figure BDA0003160594720000102
该状态转移概率关系主要是一种反映当前状态s、动作Actioni和目的状态s′的函数，根据该状态转移概率关系可知，车辆的目的状态s′仅与车辆的当前状态s和策略动作Actioni有关，r为该状态转移概率关系的奖赏要素。根据得到的该状态转移概率P(s′|s,Actioni)，可以确定该策略动作Actioni的初始评分
Figure BDA0003160594720000103
本实施例中，上述MDP模型的训练过程中，主要需要获得关于奖赏r(s,Actioni)的分布，从而训练该MDP模型。具体的，可以采用如下方式建模拟合得到所述奖赏r(s,Actioni)的分布：
根据用户的表达信息定义用户的体验意图，本实施例中，用户的表达信息可以包括生理特征和心理特征，生理特征主要是用户对于外界的生理感知的描述，在车载环境超出用户的舒适范围时，用户会期望执行合适的策略动作来调节车载环境以达到其体验意图。例如下述表格所示，常见的生理特征类型为声波舒适度、光线舒适度、温度舒适度、空气舒适度等，而用于感知环境的人体器官为耳、目、皮肤、鼻等，用户根据器官对车载环境进行感知，例如，根据耳对声音的感知描述有“吵”或“静”，根据目对光线的感知描述有“亮”或“暗”，根据皮肤对温度的感知描述有“热”或“冷”，根据鼻对气味的感知描述有“浊”或“清”。
生理特征类型 器官 表达描述类型
声波舒适度 耳 吵、静
光线舒适度 目 亮、暗
温度舒适度 皮肤 热、冷
空气舒适度 鼻 浊、清
心理特征主要是用户的心理状态，通常为用户的主观体验，例如下述表格所示，常见的心理特征类型为开心、生气、悲伤、害怕、疲惫、紧张等情绪，对应的体验描述有“烦”和“静”，“气”和“怒”，“苦”和“痛”，“怕”和“怖”，“累”和“软”，“激动”等。
心理特征类型 表达描述类型
开心 烦、静
生气 气、怒
悲伤 苦、痛
害怕 怕、怖
疲惫 累、软
紧张 激动
…… ……
根据上述用户的生理特征和心理特征，可以定义对应的强相关策略动作。例如，当用户通过语音表达“我好热”时，对应的表达描述则为“热”，对应的生理特征类型为“温度舒适度”，此时可将“降低空调温度”的策略动作初步视为“我好热”的等价体验意图，则该“降低空调温度”的相邻策略动作“打开座椅吹风”、“空调风量大一点”等均可以视为用户表达的“我好热”的等价体验意图的相关策略动作。基于该相关的多个策略动作，可以对每个策略动作与体验意图的相关度进行评分，例如当策略动作Actioni与“降低空调温度”的时间越近，可以认为该策略动作Actioni与“温度舒适度”的相关性的评分越高，一段时间后的车载环境状态可以视为用户的体验意图所对应的目的状态s′。具体的，如图5所示，策略动作Actioni的奖赏r与时间间隔Δt的分布成负指数相关，即
Figure BDA0003160594720000114
根据上述公式可知，时间间隔越远，策略动作的奖赏r越低，通过该方式，可得到与上述多个策略动作分别与用户的体验意图的相关性。通过获取每个策略动作的奖赏与体验意图的相关性，可对上述MDP模型进行训练，从而在获取用户的体验意图时，快速筛选出与用户的体验意图相关的多个策略动作。
根据筛选出的多个策略动作，可得到当前体验意图Em下，采用筛选出的策略动作a，使得当前状态s(当前的设备状态Sdev和环境状态Senv)调整到目的状态s′(期望达到的设备状态Sdev′和环境状态Senv′)的转移概率，即
Figure BDA0003160594720000115
所述策略排序模块152用于基于用户的策略偏好信息对生成的多个策略动作进行加权评分并排序。其中，用户的策略偏好信息可以通过用户对策略动作的使用频率来体现，为平滑用户的策略偏好信息和初始评分对生成的最终的策略动作的影响，可通过设置权重的方式对进行每个策略动作的初始评分进行加权计算，计算方式如下，
Figure BDA0003160594720000111
其中，w1为用户的策略偏好信息Preferenceu_i的权重，w2为策略知识库151生成策略动作Actioni的初始评分
Figure BDA0003160594720000112
(即通过该策略动作Actioni从当前状态s调整到目的状态s′的转移概率)的权重，通过设置权重的方式，可对生成策略序列中的多个策略动作进行加权评分，并按照加权评分进行排序，且排序头部的一个或多个策略动作可以认为是最符合当前体验意图、设备状态和环境状态的策略动作。
所述策略澄清模块153可用于对排序头部的一个或多个策略动作进行策略澄清，以选择最终的策略动作，从而更新评分模型和记录策略偏好信息。例如，可以针对排序头部的两个策略动作Actioni和Actionj的加权评分进行差值计算，
Δ＝|Scorei-Scorej|(Scorei＞Scorej)
并且根据计算出的差值Δ与设定的阈值δ的大小，选择最高分的策略动作或者发起澄清，该设定的阈值δ的可以根据用户对策略澄清动作的偏好进行人为设定或修改，例如，用户更希望该人机交互过程的选择策略动作的部分交由个人确定时，可通过设定该阈值δ为较大的值，当对两个策略动作的加权评分进行差值计算，得到的差值Δ小于该阈值δ时，即可将该两个策略动作提供给用户进行澄清。反之，当用户更希望该人机交互过程的选择策略动作的部分能够自动实现时，可通过设定该阈值δ为较小的值，当对两个策略动作的加权评分进行差值计算，得到的差值Δ大于该阈值δ时，即可自动选择最高分的策略动作作为最终的策略动作。
Figure BDA0003160594720000113
当差值Δ大于阈值δ时，无需发起澄清，可直接选择最高分的策略动作Actioni作为最终的策略动作，当差值Δ小于阈值δ时，此时需要发起澄清，将所述两个策略动作Actioni和Actionj提供至用户进行澄清。并根据用户澄清结果选择最终的策略动作，同时根据用户澄清结果更新用户的策略偏好信息。
所述差值计算只是本实施例的一种实现方式，在一些实施例中，针对排序头部的多个策略动作进行策略澄清时，还可采用方差计算的方式，并根据方差计算的结果进行策略澄清，以选择最终的策略动作。
在一些实施例中，所述策略澄清模块153还可以直接选择策略序列头部的多个策略动作，进行组合生成最终的策略动作。具体的，可采用一设定分值作为选择策略动作时的阈值，该设定分值可以人为设定，也可以根据用户经常选择的策略动作的加权评分确定，例如将用户经常选择的策略动作的加权评分作为筛选策略动作时的设定分值，通过筛选策略序列中的多个加权评分超过设定分值的策略动作，可将具有相同或相似执行效果的多个策略动作进行组合，生成最终的策略动作，以实现更佳的策略推荐及执行效果。
在一些实施例中，当根据用户澄清结果选择最终的策略动作时，还可根据该用户选择的策略动作，更新用户表达的信息、用户的体验意图、推荐的多个策略动作和用户的策略偏好信息的任意两者或多者之间的相关性，从而更新策略知识库151中的策略推荐模型、策略排序模块152的策略排序模型，以及将输入到意图识别单元120中的用户表达的信息与所述最终的策略动作构成语料对，训练优化所述意图识别单元120中的意图识别算法或意图识别模型。
所述动作执行单元160可以为车辆上的电子控制单元(Electronic ControlUnit，ECU)，也可以为电子控制单元的部分器件，例如接口电路或执行器等。其用于根据策略澄清模块153的澄清状态位，执行对应的策略动作控制车辆。当澄清状态位为request时，询问用户对于Actioni和Actionj的偏好，根据用户的反馈执行最终的策略动作；当澄清状态位为execute时，直接执行对应的策略动作或者执行上述组合生成的策略动作。该动作执行单元160还可根据策略动作的执行信息实时更新车辆的设备状态和环境状态，直至满足用户的体验意图。
其中，上述的多维感知单元110、意图识别单元120、设备管理单元130、状态处理单元140、系统策略单元150和动作执行单元160可以分别通过有线通信(如接口电路)或无线通信(如蓝牙、wifi)等方式进行数据或指令的通信。通过上述结构，本实施例涉及的车辆100可以通过采集用户表达的信息，根据预设的意图识别模型或意图识别算法进行意图识别，以得到用户表达的信息所对应的用户体验意图，根据识别出的用户体验意图以及车辆的状态信息，生成推荐的多个策略动作，并根据用户的策略偏好信息对推荐的多个策略动作的评分进行调整，并根据调整后的评分确定策略动作，对车机进行控制。本实施例涉及的车辆100适用于不同的用户表达习惯，能够动态的向用户推荐合适的策略动作，从而满足用户对人机交互的期望，提高用户的体验评价。
图6示出了本申请实施例提供的一种人机交互方法的流程图，该人机交互方法可以由人机交互装置或人机交互装置中的部分器件来执行，例如车辆、车辆交互系统、处理器等，其中该处理器可以是人机交互装置的处理器，也可以是车机或车载电脑等车载处理装置的处理器。具体可通过获取用户表达的信息，根据预设的意图识别模型或意图识别算法进行意图识别，以得到用户的体验意图，根据用户的体验意图以及车机的状态信息，生成推荐的多个策略动作，并根据用户的策略偏好信息确定最终的策略动作，对车机进行控制。如图6所示，该人机交互方法包括：
S610：获取用户表达的信息，根据所述用户表达的信息获取所述用户的体验意图。
本实施例中，用户表达的信息可以通过上述图3中的麦克风模组111、摄像头模组112、人体传感器模组113等进行采集，其中麦克风模组111用于检测用户的语音，并通过语音识别转写麦克风模组111采集到的语音数据，得到语义特征。摄像头模组112用于采集用户的手势动作、面部表情或者身体动作等，通过手势识别转写摄像头模组112采集到的用户手势动作，得到手势序列特征，通过表情识别转写摄像头模组112采集到的用户面部表情，得到情绪特征。人体传感器模组113用于检测用户的人体体征信息，例如体温、心率等，通过心率信号处理转写人体传感器模组113采集的人体体征，得到人体体征特征。通过将该语义特征、手势序列特征、情绪特征、人体体征特征进行整理生成用户表达的信息。通过上述的意图识别单元120，采用意图识别模型或意图识别算法对用户表达的信息进行意图识别，可以识别出用户的体验意图。该用户的体验意图具体可以为用户在车辆内所期望达到的体验。
S620：根据车机的状态信息、所述用户的体验意图，获取推荐的多个策略动作。
车机的状态信息具体包括车机的设备状态信息和环境状态信息，通过将用户的体验意图、设备状态信息、环境状态信息输入到策略知识库151中，可以生成推荐的策略序列，该策略序列中包括多个策略动作及其初始评分。其中，每个策略动作的初始评分可以是，当采用该策略动作控制车辆时，使得当前的设备状态和环境状态调整到用户的体验意图对应的目的状态的转移概率。
S630：根据用户的策略偏好信息调整所述多个策略动作的评分。
用户的策略偏好信息可以通过用户对策略动作的使用频率来体现，为平滑用户的策略偏好信息和各策略动作的初始评分对生成的最终的策略动作的影响，可通过设置权重的方式对每个策略动作的初始评分进行加权计算，并按照计算得到的加权评分对多个策略动作进行排序，其中位于排序头部的一个或多个策略动作可以认为是最符合当前用户的体验意图、设备状态和环境状态的策略动作。
S640：根据调整后的所述评分确定控制所述车机的策略动作，执行对所述车机的控制。
根据调整后的评分，可按照评分从排序后的多个策略动作中确定控制车机的策略动作，具体可以根据位于排序头部的几个策略动作的加权评分，选择是否发起用户澄清，例如可以针对排序头部的至少两个策略动作的加权评分进行差值计算，并且根据差值计算的结果与设定的阈值的大小，选择最高分的策略动作控制车机或者发起澄清流程。当差值大于阈值时，无需发起澄清，可直接选择最高分的策略动作作为最终的策略动作控制所述车机；当差值小于阈值时，此时需要发起澄清，将所述两个策略动作提供至用户进行选择澄清，并接收用户的选择信息，确定符合用户偏好的策略动作控制车机。
在一些实施例中，还可根据该用户选择的策略动作，更新用户表达的信息、用户的体验意图、推荐的多个策略动作和用户的策略偏好信息的任意两者或多者之间的相关性，从而对策略知识库151中的策略推荐模型、策略排序模块152的策略排序模型进行优化训练，以及将输入到意图识别单元120中的用户表达的信息与所述最终的策略动作构成语料对，训练优化所述意图识别单元120中的意图识别算法或意图识别模型。
在一些实施例中，还可以直接选择策略序列头部的多个策略动作，进行组合生成最终的策略动作。例如，可以采用一设定分值作为选择策略动作时的阈值，通过筛选策略序列中的多个加权评分超过设定分值的策略动作，可将具有相同或相似执行效果的多个策略动作进行组合，生成最终的策略动作，以实现更佳的策略推荐及执行效果。
在一些实施例中，本方法在执行步骤S610之前，还可以通过麦克风模组111或摄像头模组112获取用户的身份信息，并根据所述用户的身份信息获取预存的用户意图偏好和用户的策略偏好信息，以利用该用户意图偏好对用户的体验意图进行识别，以及利用该用户的策略偏好信息对生成的多个策略动作的评分进行调整，从而使得最终的策略动作更符合该用户的使用习惯。
图7示出了本申请实施例提供的一种策略生成及澄清流程的示意图，参照如图7，对上述的人机交互方法的具体执行过程进行系统性的说明。如图7所示，该策略生成及澄清流程包括：
基于用户的表达信息，通过意图识别单元进行用户的意图识别。示例性的，当用户的第一轮表达为“我好热啊”的语音，伴随有“扇扇子”的手势动作，同时还伴随有用户的皮肤冒汗、发红，心率升高、体温升高等体征，通过意图识别单元中预存的意图识别模型识别出用户的体验意图，例如体感温度需要降低、心情需要安抚等体验意图。
基于车辆当前的设备状态和环境状态以及用户的体验意图，通过策略知识库生成推荐的策略序列，该策略序列中包含有多个策略动作以及各策略动作的初始评分，该策略序列具体可以包括：座椅加热降低、座椅吹风调大、空调制冷加强、空调风量增加、车窗开窗、车窗关窗、播放宁静的音乐、氛围灯冷光等对车机进行不同控制的不同策略动作。其中，根据每个策略动作的初始评分，是根据其与用户的体验意图的相关性生成的。示例性的，该策略序列中的各策略动作的初始评分如下：
座椅加热降低0.01、座椅吹风调大0.94、空调制冷加强0.95、空调风量增加0.01、车窗开窗0.93、车窗关窗0.01、播放宁静的音乐0.23、氛围灯冷光0.01。
基于用户的策略偏好信息和每个策略动作的初始评分，通过策略排序模块对策略知识库生成的策略序列中的各策略动作进行加权计算，并根据加权评分进行排序。该加权计算中，用户的策略偏好信息具体可以是用户对策略动作的使用频率，某个策略动作的使用频率越高，说明用户对该策略动作的偏好度越高，通过为每个策略动作对应的用户的策略偏好信息和初始评分设置权重，并根据设置的权重重新对该策略动作的初始评分进行加权计算，以生成每个策略动作的加权评分，根据加权评分可对该策略序列的多个策略动作进行排序。示例性的，加权评分以及排序后的各策略动作如下：
座椅吹风0.97、车窗开窗0.93、空调制冷加强0.93、播放宁静的音乐0.23、座椅加热降低0.01、空调风量增加0.01、车窗关窗0.01、氛围灯冷光0.01。
基于位于排序头部的至少两个策略序列的加权评分，可通过策略澄清模块发起策略澄清。本实施例中，当选择位于排序头部的至少两个策略动作时，通常是选择位于策略序列头部的两个具有相同或接近的控制效果的策略动作。例如，可以选择位于排序头部的“座椅吹风”和“空调制冷加强”进行用户澄清，通过对该“座椅吹风”和“空调制冷加强”的加权评分进行差值计算(0.97-0.93＝0.04)，并且根据差值计算的结果(0.04)与设定的阈值的大小，直接选择最高分的策略动作或者对两个策略动作发起澄清。例如，当设定的阈值为0.03时，此时差值(0.04)大于阈值(0.03)，无需发起澄清，可直接选择该两个策略动作中的加权评分最高的“座椅吹风”作为最终的策略动作；或者，当设定的阈值为0.05时，此时差值(0.04)小于阈值(0.05)，此时需要发起澄清，将所述两个策略动作“座椅吹风”和“空调制冷加强”提供至用户进行澄清，并根据用户澄清结果选择最终的策略动作，例如通过询问用户“你要降低空调温度还是打开座椅吹风？”，并根据用户的选择(例如用户选择降低空调温度)，选择最终的策略动作“空调制冷加强”对车机进行控制。
在一些实施例中，可根据用户选择的策略动作“空调制冷加强”，对用户的策略偏好信息和策略知识库中该策略动作“空调制冷加强”的初始评分进行更新，同时还可以将用户表达的信息与该用户选择的策略动作“空调制冷加强”组成样本对意图识别单元进行训练，以提高意图识别、策略推荐和用户的策略偏好信息与用户表达的相关性，使得生成的策略动作更加准确。
在一些实施例中，还可以通过动作执行单元执行所述最终的策略动作，并根据执行信息更新所述车机的设备状态和环境状态。由于该最终的策略动作的执行目的是将当前的设备状态或环境状态调整到用户的体验意图对应的目的状态，当该最终的策略动作无法再继续执行或者执行失效时，本实施例可以将之前生成的该最终的策略动作作为会话历史，并根据用户第二轮表达的信息，生成替代的策略动作，所述替代的策略动作与所述最终的策略动作具有相同或接近的执行效果。例如，当根据用户选择的策略动作“空调制冷加强”已将空调温度调到最低时，用户仍然表达“我好热”的语音，并伴随有“扇扇子”的手势动作，此时“空调温度调到最低”可作为会话历史，并根据用户表达的第二轮信息，进行第二轮的意图识别、策略推荐及策略澄清等，以选择替代的策略动作，此时，该替代的策略动作与第一轮的策略动作具有相同或接近的控制效果，例如第二轮选择的策略动作可以为“座椅吹风”，从而实现以用户体验为中心的全场景策略推荐。
下面根据图8A-图8B，对通用平台的策略生成流程与本申请实施例的策略生成及澄清流程进行对比描述，以体现本申请实施例的有益效果。
如图8A为一种通用平台的策略生成流程的示意图，在该通用平台中，用户需要按照预先配置的对话策略进行表达，且表达的内容必须准确无误，才可实现对用户表达的意图识别，该意图识别可识别用户表达的客观意图和主观感受，客观意图为该通用平台的主要交互方式，主观感受为辅助方式。具体的，该客观意图可以为用户表达的对车辆设备的操作意图，例如用户表达的语义为车辆设备的正确操作命令“打开空调”则对应的匹配策略为打开空调，然而用户在表达该操作命令时，需要准确无误，否则有可能造成无法进行意图识别或者匹配策略失败；而主观感受可以为用户对自我感受的描述，例如用户表达的语义为预先配置好的“感觉很热”，假设该“感觉很热”对应配置的等价客观意图为“打开空调”时，则对应的匹配策略为打开空调，假设用户表达的语义未进行预先配置等价的客观意图，则有可能造成无法进行意图识别或者匹配策略失败；针对生成的策略动作，可进行策略检验，以验证生成的策略动作是否失效，当未失效时，可执行该生成的策略动作；当失效时，则会触发配置的兜底策略，反馈该生成的策略动作无法执行，且无法推荐其他可替代的策略动作，导致本次交互流程无法满足用户的体验意图。
根据该图8A所示，通用平台的策略生成情景中，需要预先进行用户意图和策略动作的配置，此种配置通常是静态绑定的，并且一个用户意图通常只能对应一个策略动作，极易漏掉其他可行的策略动作，缺乏以用户体验为中心的全场景策略推荐；同时用户还必须学习特定的表达方式，以触发特定的预配置情景，当用户表达方式有误或者较为个性化时，会直接导致无法触发该特定的预配置情景，直接降低了用户的体验。
相较于通用平台的策略生成流程，如图8B为本申请实施例的策略生成及澄清流程的示意图，在本实施例的策略生成及澄清流程中，无需进行用户意图和策略动作的特定预配置，仅需将用户常规的表达特征、以及相关设备的状态信息进行注册，然后通过意图识别模型或意图识别算法，对用户表达的信息进行意图识别，即可识别用户的主观感受和客观意图。由于本申请实施例采用更加智能的意图识别模型或意图识别算法，用户可直接按照自己的表达习惯描述自我感受或需求体验，也可快速识别用户的体验意图，将用户的体验意图和获取的设备状态、环境状态征输入到策略知识库中进行策略生成和策略推荐，即可生成与用户的体验意图相关的多个策略动作并对每个策略动作进行评分和排序，当具有多个可供选择的策略动作时，还可进行策略澄清，将多个策略动作提供至用户进行选择，并执行最终的策略动作。
根据该图8B所示，本申请实施例可实现基于用户的主观感受和客观意图的策略推荐，并且对用户的表达方式不做具体限定，具有更加智能的意图识别模型或意图识别算法，用户可直接描述自我感受或者需求体验，而不需要了解设备操作知识，即可让车机给出合适的反馈，降低用户体验门槛。同时还可以根据设备状态、环境状态的变化，动态调整生成的策略动作，对于失效的策略动作，可以降低该失效的策略动作的评分，并及时推荐相同体验的策略动作，从而提升用户的体验评价。同时本实施例还可以动态更新用户的策略偏好信息以及动态更新用户表达和策略动作间的匹配关系，自适应用户表达习惯，实现用户习惯的动态识别。
作为本申请实施例提供的人机交互方法的一些变形实施例，本申请的另一实施例涉及一种用户与智能家居设备的交互方法。
随着智能家居的逐渐普及，很多智能家居设备提供了人机交互的功能，并根据人机交互生成的策略动作执行智能家居设备的相关控制，例如，用户可以通过语音、手势、面部表情、身体动作等来对智能家居设备进行控制。为此，本实施例提供一种能够进行有效的人机交互的用户与智能家居设备交互的方法。
现有的部分智能家居设备中通常安装有可与用户的交互的麦克风模组、摄像头模组、人体传感器模组等，例如智能音箱的麦克风模组可用于获取用户表达的语音信息，同时还可以作为控制媒介与其他的智能家居设备进行局域网组网或者蓝牙组网，通过对获取的语音信息进行意图识别，并生成策略动作发送至对应的智能家居设备，可实现对其他智能家居设备的控制，例如根据用户发出的指令对空调、电视、热水器、窗帘电机等设备的控制，又或者，家庭摄像头可用于获取用户表达的手势动作、面部表情、身体动作等图像信息，通过对获取的图像信息进行意图识别，并生成策略动作发送至对应的智能家居设备，可实现对其他智能家居设备的控制，例如根据用户表达的“扇扇子”动作，或者根据人体传感器识别到用户的体温升高，面部出汗等，识别出用户当前感觉热、需要降低体感温度的主观感受，以及人工预置的与该主观感受等价的对智能家居设备进行控制的客观意图，从而可生成打开空调、关闭窗帘等策略动作，并发送到对应的空调和窗帘电机进行执行，以满足用户的体验意图。
在上面实施例的描述中，以车辆、智能家居设备作为对象设备的例子进行了说明，然而，本申请的人机交互技术还可以应用在其他多种通过语音、手势动作、身体动作等进行交互控制的场景或者需要身份认证的场景中。
综上所述，本申请实施例提供的人机交互方法中，可以实现基于用户的主观感受和客观意图的策略推荐，同时还可以根据设备状态、环境状态的变化，动态调整生成的策略动作，并且在出现多个适配的策略动作时，可发起用户澄清，根据用户的选择生成符合当前有效体验意图的最优策略动作，或者选择符合用户有效体验意图的多个策略动作进行组合。本申请涉及到的策略知识库可以根据用户的体验意图进行设计，保证生成的策略动作与用户的体验意图相匹配，基于该策略知识库，用户无需了解复杂的设备操作知识，仅需要直观描述自我感受或者体验意图，即可进行意图识别，并生成合适的策略动作，降低用户的使用门槛。并且本申请采用机器学习算法，可根据用户的表达习惯、以及策略澄清的结果等进行学习和优化，动态更新用户的策略偏好信息，提高生成的策略动作的命中率，减少用户不必要的交互轮次。
图9是本申请实施例的一种人机交互装置的架构图，该人机交互装置可以用于实现上述的人机交互方法中的各可选实施例。该人机交互装置可以是车载装置或终端，例如可以为车辆、车辆上的车机或车载电脑等车载处理装置，还可以为手机、平板等终端设备。该人机交互装置也可以是终端内部的芯片或芯片系统，例如可以为车机或车载电脑中的芯片或处理器，还可以为手机、平板等终端设备中的芯片或处理器，还可以为CPU、MCU等常规的芯片处理器。该人机交互装置还可以是终端内部的软硬件系统，例如可以为车辆座舱内的人机交互界面、车载信息娱乐系统等具备软件和硬件的系统。如图9所示，该人机交互装置具有识别模块910、推荐模块920、调整模块930、输出模块940。
识别模块910用于执行上述人机交互方法中的S610步骤以及其中的示例，例如，该识别模块910可以预设有意图识别模型，或通过获取车辆内其他器件内预设的意图识别模型，利用该意图识别模块对用户表达的信息进行识别，以获取用户的体验意图。推荐模块920用于执行上述人机交互方法中的S620步骤以及其中的示例，例如，该推荐模块920可以利用策略知识库，根据车机的状态信息、所述用户的体验意图，获取推荐的多个策略动作。调整模块930用于执行上述人机交互方法中的S630步骤以及其中的示例，例如，该调整模块930可以用于根据用户的策略偏好信息调整多个策略动作的评分。输出模块940用于执行上述人机交互方法中的S640步骤以及其中的示例，例如，该输出模块940可以根据调整后的所述评分确定控制所述车机的策略动作，执行对所述车机的控制。具体可参见方法实施例中的详细描述，此处不做赘述。
在一些实施例中，该人机交互装置还可以具有训练模块950，该训练模块950可以实现上述人机交互方法中涉及训练优化的部分，例如，可以根据用户的选择信息，更新用户表达的信息、用户的体验意图、推荐的多个策略动作和用户的策略偏好信息的任意两者或多者之间的相关性，从而实现对意图识别算法或意图识别模型、策略推荐模型、策略排序模型等算法或模型的优化训练，使其更符合用户的个人偏好，提高人机交互的准确性。
在一些实施例中，该人机交互装置还可以具有身份认证模块960，该身份认证模块960可以实现上述人机交互方法中涉及身份认证的部分，例如，可以通过该身份认证模块960获取用户的身份信息，根据用户的身份信息获取用户的策略偏好信息或意图偏好信息，以使得该人机交互装置更加符合用户的客制化需求。
本实施例提供的人机交互装置，可以通过采集用户表达的信息，根据预设的意图识别模型或意图识别算法进行意图识别，以得到用户表达的该信息所对应的用户体验意图，根据识别出的用户体验意图以及车机的状态信息，生成推荐的多个策略动作，并根据用户的策略偏好信息对推荐的多个策略动作的评分进行调整，并根据调整后的评分确定策略动作，对车机进行控制。该人机交互装置可以适用于不同的用户表达习惯、不同的车机状态，能够动态的向用户推荐合适的策略动作，从而满足用户对人机交互的期望，提高用户的体验评价。
应理解的是，本申请实施例中的人机交互装置可以由软件实现，例如可以由具有上述功能计算机程序或指令来实现，相应计算机程序或指令可以存储在终端内部的存储器中，通过处理器读取该存储器内部的相应计算机程序或指令来实现上述功能。或者，本申请实施例的人机交互装置还可以由硬件来实现，例如，该识别模块910可以由车辆上的意图识别单元实现，例如可以为车机或车载电脑等车载处理装置，还可以为车机或车载电脑中的芯片或处理器等部分器件。该推荐模块920、调整模块930、输出模块940可以由车辆上的系统策略单元实现，例如，该推荐模块920可以由系统策略单元中的策略知识库实现，该调整模块930可以由系统策略单元中的策略排序模块实现，该输出模块940可以由系统策略单元中的策略澄清模块实现。本实施例中，该系统策略单元具体可以为车机或车载电脑等车载处理装置，还可以为车机或车载电脑中的芯片或处理器，也可以为CPU、MCU等常规的芯片处理器。该训练模块950可以由车辆上的系统策略单元实现，例如可以由系统策略单元中的策略知识库、策略排序模块、策略澄清模块中的一个或多个实现，还可以由策略知识库、策略排序模块、策略澄清模块之间的接口电路实现。该身份认证模块960可以由车辆上的多维感知单元实现，例如可以由摄像头模组、麦克风模组或人体传感器模组中的一个或多个实现，以采用人脸识别、语音识别或身体体征识别的方式，实现对用户身份的认证。或者，本申请实施例中的人机交互装置还可以由处理器和软件模块的结合实现。
应理解，本申请实施例中的装置或模块的处理细节可以参考图2-图8B所示的实施例及相关扩展实施例的相关表述，本申请实施例将不再重复赘述。
另外，本申请实施例还提供了具有上述人机交互装置的车辆，该车辆可以是家用轿车或载货汽车等，还可以是特种车辆例如救护车、消防车、警车或工程抢险车等。其中，上述人机交互装置中的各模块和装置可以采用预装或后装的形式布置于车辆系统中，其中各模块之间可依赖于车辆的总线或接口电路进行数据交互，或者随着无线技术的发展，各模块之间还可以采用无线的通信方式进行数据交互，以消除布线带来的不便。除此之外，本实施例的人机交互装置还可与车辆的车机、车载电脑、ECU等装置共同组合，以车载设备的形式安装于车辆上，从而实现更好的人机交互效果。
图10是本申请实施例提供的一种计算设备1000的架构图。该计算设备可以作为人机交互装置，执行上述人机交互方法中的各可选实施例，该计算设备可以是车载装置或终端，例如可以为车辆、车辆上的车机或车载电脑等车载处理装置，还可以为手机、平板等终端设备。该计算设备也可以是终端内部的芯片或芯片系统，例如可以为车机或车载电脑中的芯片或处理器，还可以为手机、平板等终端设备中的芯片或处理器，还可以为CPU、MCU等常规的芯片处理器。该计算设备还可以是终端内部的软硬件系统，例如可以为车辆座舱内的人机交互界面、车载信息娱乐系统等具备软件和硬件的系统。如图10所示，该计算设备1000包括：处理器1010、存储器1020。
应理解，图10所示的计算设备1000中还可以包括通信接口1030，可以用于与其他设备之间进行通信，具体可以包括一个或多个收发电路或接口电路。
其中，该处理器1010可以与存储器1020连接。该存储器1020可以用于存储该程序代码和数据。因此，该存储器1020可以是处理器1010内部的存储模块，也可以是与处理器1010独立的外部存储模块，还可以是包括处理器1010内部的存储模块和与处理器1010独立的外部存储模块的部件。
其中，计算设备1000还可以包括总线。其中，存储器1020、通信接口1030可以通过总线与处理器1010连接。总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图10中仅用一条线表示，但并不表示仅有一根总线或一种类型的总线。
应理解，在本申请实施例中，该处理器1010可以采用中央处理模块(centralprocessing unit，CPU)。该处理器还可以是其它通用处理器、数字信号处理器(digitalsignal processor，DSP)、专用集成电路(application specific integrated circuit，ASIC)、现成可编程门阵列(field programmable gate Array，FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。或者该处理器1010采用一个或多个集成电路，用于执行相关程序，以实现本申请实施例所提供的技术方案。
该存储器1020可以包括只读存储器和随机存取存储器，并向处理器1010提供指令和数据。处理器1010的一部分还可以包括非易失性随机存取存储器。例如，处理器1010还可以存储设备类型的信息。
在计算设备1000运行时，所述处理器1010执行所述存储器1020中的计算机执行指令执行上述人机交互方法的任一操作步骤以及其中任一可选的实施例，例如该处理器1010可以通过执行存储器1020中的计算机执行指令，以执行图6对应的实施例中的人机交互方法，当用户通过语音、手势、表情等可被采集到的方式进行表达时，该处理器1010通过执行存储器1020中的采集指令，控制车辆的多维感知单元对用户的语音、手势、表情或身体动作等信息进行采集，并整理生成用户表达的信息。该处理器1010通过执行存储器1020中的识别指令，使车辆的意图识别单元根据用户表达的信息识别用户的体验意图。该处理器1010通过执行存储器1020中的处理指令，使车辆的系统策略单元根据车机的状态信息、用户的体验意图，获取推荐的多个策略动作，同时还根据用户的策略偏好信息调整多个策略动作的评分。该处理器1010通过执行存储器1020中的输出指令，根据调整后的所述评分输出控制车辆的策略动作，使车辆的动作执行单元执行该策略动作，实现对车辆的控制。
应理解，根据本申请实施例的计算设备1000可以对应于执行根据本申请各实施例的方法中的相应主体，并且计算设备1000中的各个模块的上述和其它操作和/或功能分别为了实现本实施例各方法的相应流程，为了简洁，在此不再赘述。
图11是本申请实施例提供的一种电子装置1100的架构图，该电子装置1100可以作为人机交互装置，执行上述人机交互方法中的各可选实施例，该电子装置可以是车载装置或终端，例如可以为车辆、车辆上的车机或车载电脑等车载处理装置，还可以为手机、平板等终端设备。也可以是终端内部的芯片或芯片系统，例如可以为车机或车载电脑中的芯片或处理器，还可以为手机、平板等终端设备中的芯片或处理器，还可以为CPU、MCU等常规的芯片处理器。该电子装置还可以是终端内部的软硬件系统，例如可以为车辆座舱内的人机交互界面、车载信息娱乐系统等具备软件和硬件的系统。如图11，该电子装置1100包括：处理器1110，以及接口电路1120，其中，处理器1110通过接口电路1120访问存储器，存储器存储有程序指令，程序指令当被处理器执行时使得处理器执行上述人机交互方法的任一操作步骤以及其中任一可选的实施例。例如该处理器1110可以通过接口电路1120获取存储器中的计算机执行指令，以执行图6对应的实施例中的人机交互方法，当用户通过语音、手势、表情等可被采集到的方式进行表达时，该处理器1110通过接口电路1120获取存储器中的采集指令，控制车辆的多维感知单元对用户的语音、手势、表情或身体动作等信息进行采集，并整理生成用户表达的信息。该处理器1110通过接口电路1120获取存储器中的识别指令，使车辆的意图识别单元根据用户表达的信息识别用户的体验意图。该处理器1110通过接口电路1120获取存储器中的处理指令，使车辆的系统策略单元根据车机的状态信息、用户的体验意图，获取推荐的多个策略动作，同时还根据用户的策略偏好信息调整多个策略动作的评分。该处理器1110通过接口电路1120获取存储器中的输出指令，根据调整后的所述评分输出控制车辆的策略动作，使车辆的动作执行单元执行该策略动作，实现对车辆的控制。
另外，该电子装置还可包括通信接口、总线等，具体可参见图10所示的实施例中的介绍，不再赘述。
图12是本申请实施例提供的一种人机交互系统的架构图，该人机交互系统可以执行上述人机交互方法中的各可选实施例。该人机交互系统可以是终端，例如可以是车辆、车辆上的车机或车载电脑等车载处理装置，还可以为手机、平板等终端设备。也可以是终端内部的芯片或芯片系统，例如可以为车机或车载电脑中的芯片或处理器，还可以为手机、平板等终端设备中的芯片或处理器，还可以为CPU、MCU等常规的芯片处理器。该人机交互系统还可以是终端内部的软硬件系统，例如可以为车辆座舱内的人机交互界面、车载信息娱乐系统等具备软件和硬件的系统。如图12，该人机交互系统1200包括多维感知装置1210、车机管理装置1220、人机交互装置1230。
多维感知装置1210可以由图2所示实施例中的多维感知单元110实现，例如可以由麦克风模组、摄像头模组、人体传感器模组中的一个或多个实现，还可以由图2所示实施例中的多维感知单元110和意图识别单元120之间的接口电路实现。车机管理装置1220可以由图2所示实施例中的设备管理单元130实现，例如可以由空调控制器、座椅控制器、扬声器控制器、显示器控制器、灯光控制器、天窗控制器、车窗控制器、窗帘控制器、环境传感器模组中的一个或多个实现，还可以由图2所示实施例中的状态处理单元140实现，还可以由状态处理单元140与系统策略单元150之间的接口电路实现。人机交互装置1230可以由图2所示实施例中的意图识别单元120、系统策略单元150、动作执行单元160中的一个或多个实现，还可以由图9所示实施例中的人机交互装置900实现，例如可以由该人机交互装置900中的识别模块910、推荐模块920、调整模块930、输出模块940、训练模块950、身份认证模块960中的一个或多个实现，还可以由图10所示实施例中的计算设备1000实现，还可以由图11所示实施例中的电子装置1100实现。或者，本申请实施例中的人机交互系统还可以由处理器和软件模块的结合实现。
本实施例中，该人机交互系统1200可以执行图6所示实施例中的人机交互方法及其可选的各实施例，例如，可以通过该多维感知装置1210采集用户的表达数据，生成用户表达的信息，提供至人机交互装置1230。通过该车机管理装置1220采集车机的设备状态数据和车机的环境状态数据，生成车机的状态信息，提供至人机交互装置1230。该人机交互装置1230根据该用户表达的信息，获取所述用户的体验意图。该人机交互装置1230根据车机的状态信息、用户的体验意图，获取推荐的多个策略动作，并根据用户的策略偏好信息调整该多个策略动作的评分，然后根据调整后的评分确定控制车机的策略动作，以执行对该车机的控制。其中，该多维感知装置1210、车机管理装置1220、人机交互装置1230之间可以通过有线方式(例如接口电路)进行数据或指令的通信，还可以通过无线方式(例如蓝牙、wifi)进行数据或指令的通信。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时用于执行一种人机交互方法，该方法包括上述各个实施例所描述的方案中的至少之一。
本申请实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是，但不限于，电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中连接了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括、但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
需要说明的是，本申请所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，上述对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
说明书和权利要求书中的词语“第一、第二、第三等”或模块A、模块B、模块C等类似用语，仅用于区别类似的对象，不代表针对对象的特定排序，可以理解地，在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
在上述的描述中，所涉及的表示步骤的标号，如S110、S120……等，并不表示一定会按此步骤执行，还可以包括中间的步骤或者由其他的步骤代替，在允许的情况下可以互换前后步骤的顺序，或同时执行。
说明书和权利要求书中使用的术语“包括”不应解释为限制于其后列出的内容；它不排除其它的元件或步骤。因此，其应当诠释为指定所提到的所述特征、整体、步骤或部件的存在，但并不排除存在或添加一个或更多其它特征、整体、步骤或部件及其组群。因此，表述“包括装置A和B的设备”不应局限为仅由部件A和B组成的设备。
本说明书中提到的“一个实施例”或“实施例”意味着与该实施例结合描述的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在本说明书各处出现的用语“在一个实施例中”或“在实施例中”并不一定都指同一实施例，但可以指同一实施例。此外，在本申请的各个实施例中，如果没有特殊说明以及逻辑冲突，不同的实施例之间的术语和/或描述具有一致性、且可以相互引用，不同的实施例中的技术特征根据其内在的逻辑关系可以组合形成新的实施例。
注意，上述仅为本申请的较佳实施例及所运用的技术原理。本领域技术人员会理解，本申请不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本申请的保护范围。因此，虽然通过以上实施例对本申请进行了较为详细的说明，但是本申请不仅仅限于以上实施例，在不脱离本申请的构思的情况下，还可以包括更多其他等效实施例，均属于本申请的保护范畴。

Claims (29)

1.一种人机交互方法，其特征在于，包括：
获取用户表达的信息，根据所述用户表达的信息获取所述用户的体验意图；
根据车机的状态信息、所述用户的体验意图，获取推荐的多个策略动作；所述策略动作用于对所述车机进行控制，且配置有评分；
根据用户的策略偏好信息调整所述多个策略动作的评分；
根据调整后的所述评分确定控制所述车机的策略动作，执行对所述车机的控制。
2.根据权利要求1所述的方法，其特征在于，所述根据调整后的所述评分确定控制所述车机的策略动作包括：
当从两个或两个以上的策略动作中进行确定，且所述两个或两个以上的策略动作的所述评分的差值大于阈值时，根据最高的评分确定控制所述车机的策略动作。
3.根据权利要求2所述的方法，其特征在于，还包括：
当从两个或两个以上的策略动作中进行确定，且所述两个或两个以上的策略动作的所述评分的差值小于阈值时，将所述两个或两个以上的策略动作提示给所述用户；
接收所述用户的选择信息，根据所述用户的选择信息确定控制所述车机的策略动作。
4.根据权利要求3所述的方法，其特征在于，还包括：
根据所述用户的选择信息更新所述用户的策略偏好信息。
5.根据权利要求3所述的方法，其特征在于，还包括：
根据所述用户的选择信息，更新所述用户表达的信息、所述用户的体验意图、所述推荐的多个策略动作和所述用户的策略偏好信息的任意两者或多者之间的相关性。
6.根据权利要求1所述的方法，其特征在于，所述根据调整后的所述评分确定控制所述车机的策略动作包括：
根据调整后的所述评分，将所述评分高于设定值的两个或两个以上的策略动作确定为控制所述车机的策略动作。
7.根据权利要求1所述的方法，其特征在于，所述根据所述用户的策略偏好信息调整所述多个策略动作的评分包括：
根据所述用户的策略偏好信息对所述多个策略动作的评分进行加权计算。
8.根据权利要求1所述的方法，其特征在于，所述用户表达的信息包括用户的语音信息、动作信息、表情信息中的一个或多个。
9.根据权利要求1或8所述的方法，其特征在于，所述根据所述用户表达的信息获取所述用户的体验意图时，还根据用户的体征信息获取。
10.根据权利要求1、8或9所述的方法，其特征在于，所述根据所述用户表达的信息获取所述用户的体验意图时，还根据会话历史信息获取；所述会话历史信息包括之前确定的控制所述车机的策略动作。
11.根据权利要求1所述的方法，其特征在于，所述车机的状态信息包括所述车机的设备状态信息和所述车机获得的环境状态信息中的一个或多个。
12.根据权利要求1所述的方法，其特征在于，还包括：
获取所述用户的身份信息，根据所述用户的身份信息获取所述用户的策略偏好信息。
13.一种人机交互装置，其特征在于，包括：
识别模块，用于获取用户表达的信息，根据所述用户表达的信息获取所述用户的体验意图；
推荐模块，用于根据车机的状态信息、所述用户的体验意图，获取推荐的多个策略动作；所述策略动作用于对所述车机进行控制，且配置有评分；
调整模块，用于根据用户的策略偏好信息调整所述多个策略动作的评分；
输出模块，用于根据调整后的所述评分确定控制所述车机的策略动作，执行对所述车机的控制。
14.根据权利要求13所述的装置，其特征在于，所述输出模块具体用于：
当从两个或两个以上的策略动作中进行确定，且所述两个或两个以上的策略动作的所述评分的差值大于阈值时，根据最高的评分确定控制所述车机的策略动作。
15.根据权利要求14所述的装置，其特征在于，所述输出模块还用于：
当从两个或两个以上的策略动作中进行确定，且所述两个或两个以上的策略动作的所述评分的差值小于阈值时，将所述两个或两个以上的策略动作提示给所述用户；
接收所述用户的选择信息，根据所述用户的选择信息确定控制所述车机的策略动作。
16.根据权利要求15所述的装置，其特征在于，所述调整模块还用于：
根据所述用户的选择信息更新所述用户的策略偏好信息。
17.根据权利要求15所述的装置，其特征在于，还包括：
训练模块，用于根据所述用户的选择信息，更新所述用户表达的信息、所述用户的体验意图、所述推荐的多个策略动作和所述用户的策略偏好信息的任意两者或多者之间的相关性。
18.根据权利要求13所述的装置，其特征在于，所述输出模块具体用于：
根据调整后的所述评分，将所述评分高于设定值的两个或两个以上的策略动作确定为控制所述车机的策略动作。
19.根据权利要求13所述的装置，其特征在于，所述调整模块具体用于：
根据所述用户的策略偏好信息对所述多个策略动作的评分进行加权计算。
20.根据权利要求13所述的装置，其特征在于，所述用户表达的信息包括用户的语音信息、动作信息、表情信息中的一个或多个。
21.根据权利要求13或20所述的装置，其特征在于，所述识别模块根据所述用户表达的信息获取所述用户的体验意图时，还根据用户的体征信息获取。
22.根据权利要求13、20或21所述的装置，其特征在于，所述识别模块根据所述用户表达的信息获取所述用户的体验意图时，还根据会话历史信息获取；所述会话历史信息包括之前确定的控制所述车机的策略动作。
23.根据权利要求13所述的装置，其特征在于，所述车机的状态信息包括所述车机的设备状态信息和所述车机获得的环境状态信息中的一个或多个。
24.根据权利要求13所述的装置，其特征在于，还包括：
身份认证模块，用于获取所述用户的身份信息，根据所述用户的身份信息获取所述用户的策略偏好信息。
25.一种车辆，其特征在于，包括：
多维感知装置，用于采集用户的表达数据，生成用户表达的信息；
车机管理装置，用于采集车机的设备状态数据和车机的环境状态数据，生成车机的状态信息；
如权利要求13至24任意一项所述的人机交互装置。
26.一种电子装置，其特征在于，包括：
处理器，以及接口电路，其中，所述处理器通过所述接口电路访问存储器，所述存储器存储有程序指令，所述程序指令当被所述处理器执行时使得所述处理器执行如权利要求1至12任意一项所述的人机交互方法。
27.一种计算设备，其特征在于，包括：
处理器，以及
存储器，其上存储有程序指令，所述程序指令当被所述处理器执行时使得所述处理器执行如权利要求1至12任意一项所述的人机交互方法。
28.一种计算机可读存储介质，其特征在于，其上存储有程序指令，所述程序指令当被计算机执行时使得所述计算机执行如权利要求1至12任意一项所述的人机交互方法。
29.一种计算机程序产品，其特征在于，其包括有程序指令，所述程序指令当被计算机执行时使得所述计算机执行如权利要求1至12任意一项所述的人机交互方法。
CN202180001878.5A 2021-06-29 2021-06-29 一种人机交互方法及装置、设备及车辆 Pending CN113614713A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2021/103213 WO2023272502A1 (zh) 2021-06-29 2021-06-29 一种人机交互方法及装置、设备及车辆

Publications (1)

Publication Number Publication Date
CN113614713A true CN113614713A (zh) 2021-11-05

Family

ID=78310966

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180001878.5A Pending CN113614713A (zh) 2021-06-29 2021-06-29 一种人机交互方法及装置、设备及车辆

Country Status (3)

Country Link
EP (1) EP4354426A1 (zh)
CN (1) CN113614713A (zh)
WO (1) WO2023272502A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116163620A (zh) * 2023-02-28 2023-05-26 重庆长安汽车股份有限公司 一种车辆门窗智慧开关方法、系统、设备及介质
CN116256969A (zh) * 2023-05-15 2023-06-13 威海职业学院(威海市技术学院) 一种智能家居协调优化控制方法、系统、终端及介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3525855B2 (ja) * 2000-03-31 2004-05-10 松下電器産業株式会社 音声認識方法及び音声認識装置
JP2014134923A (ja) * 2013-01-09 2014-07-24 Sony Corp 情報処理装置、情報処理方法、プログラム及び端末装置
CN105487663B (zh) * 2015-11-30 2018-09-11 北京光年无限科技有限公司 一种面向智能机器人的意图识别方法和系统
CN111989660A (zh) * 2018-04-25 2020-11-24 索尼公司 信息处理装置、信息处理方法和程序
CN110503947A (zh) * 2018-05-17 2019-11-26 现代自动车株式会社 对话系统、包括其的车辆和对话处理方法
CN111619308B (zh) * 2020-05-12 2022-10-18 浙江吉利汽车研究院有限公司 基于用户习惯的空调控制方法及系统
CN112002321B (zh) * 2020-08-11 2023-09-19 海信电子科技(武汉)有限公司 显示设备、服务器及语音交互方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116163620A (zh) * 2023-02-28 2023-05-26 重庆长安汽车股份有限公司 一种车辆门窗智慧开关方法、系统、设备及介质
CN116256969A (zh) * 2023-05-15 2023-06-13 威海职业学院(威海市技术学院) 一种智能家居协调优化控制方法、系统、终端及介质

Also Published As

Publication number Publication date
EP4354426A1 (en) 2024-04-17
WO2023272502A1 (zh) 2023-01-05

Similar Documents

Publication Publication Date Title
US11687319B2 (en) Speech recognition method and apparatus with activation word based on operating environment of the apparatus
US10818297B2 (en) Dialogue system, vehicle and method for controlling the vehicle
CN109416733B (zh) 便携式个性化
US20220317641A1 (en) Device control method, conflict processing method, corresponding apparatus and electronic device
JP6358212B2 (ja) 車両用覚醒制御システム
US10198696B2 (en) Apparatus and methods for converting user input accurately to a particular system function
KR102249392B1 (ko) 사용자 맞춤형 서비스를 위한 차량 기기 제어 장치 및 방법
CN110100447A (zh) 信息处理方法及装置、多媒体设备及存储介质
CN110114825A (zh) 语音识别系统
CN113614713A (zh) 一种人机交互方法及装置、设备及车辆
KR102347208B1 (ko) 외부 장치를 이용한 태스크 수행 방법 및 이를 지원하는 전자 장치, 서버 및 저장 매체
KR20180069660A (ko) 음성 인식 방법 및 장치
JP2018207169A (ja) 機器制御装置及び機器制御方法
EP3654170B1 (en) Electronic apparatus and wifi connecting method thereof
KR102511517B1 (ko) 음성 입력 처리 방법 및 이를 지원하는 전자 장치
EP3826009A1 (en) Electronic device and method for controlling the same, and storage medium
CN110956967A (zh) 基于声纹识别的车辆控制方法与车辆
US11942089B2 (en) Electronic apparatus for recognizing voice and method of controlling the same
US20220165264A1 (en) Dialogue system, vehicle, and method of controlling dialogue system
US11527247B2 (en) Computing device and method of operating the same
US20230206916A1 (en) Service management system and service management method for a vehicle
CN115830724A (zh) 基于多模态识别的车载识别交互方法及系统
KR102636908B1 (ko) 비언어적 인식에 기초하여 소셜 로봇과 사용자 간의 인터랙션을 위한 방법 및 시스템
US20240070213A1 (en) Vehicle driving policy recommendation method and apparatus
KR20230126571A (ko) 자연어 처리 장치 및 자연어 처리 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination