CN112753009A - 人机交互方法与人机交互装置 - Google Patents

Abstract

本申请提供一种人机交互方法等，在用户与对象设备进行交互时，用户用握持移动终端的手做出手势动作，此时，一方面，根据对象设备所具有光学传感器检测到用户的手势动作信息，另一方面，根据移动终端所具有的运动传感器检测到移动终端随用户的手一起运动的运动轨迹信息即终端运动轨迹信息。之后，判断手势动作信息与终端运动轨迹信息是否相匹配，在相匹配时，执行相应的第一控制。由于该移动终端随用户的手一同运动，因此，其运动轨迹信息与用户的手的手势动作信息具有唯一对应性，因而能够通过判断手势动作信息与终端轨迹信息是否相匹配来可靠地判断出手势动作是否有效，避免无关人员的手势动作的干扰，进而能够实现有效的人机交互。

Description

人机交互方法与人机交互装置

技术领域

本申请涉及一种人机交互方法与人机交互装置。

背景技术

现有技术中，存在用户通过手势动作等隔空操作与对象设备进行人机交互的技术，例如，用户在车外通过手势动作与作为对象设备的车辆进行交互，以控制车辆预先启动或者指挥车辆进行倒车入库等。

此时，为了避免非法控制，需要对手势动作的有效性或者对用户身份的有效性进行认证。具体而言，例如在有效用户做出手势动作时，有可能其身旁存在其他人员(无效用户)并且其他人员也大致同时做出了手势动作。此时，对象设备难以判断哪一个手势动作是有效的或者哪一个用户是有效用户，从而不能实现有效的人机交互。因此，目前亟需一种能够实现有效的人机交互的技术。

发明内容

有鉴于此，本申请的目的在于，提供一种能够实现有效的人机交互的技术。

为达到上述目的，本申请第一方面提供一种人机交互方法，包括：获取移动终端的运动轨迹信息，其中，所述运动轨迹信息通过所述移动终端的运动传感器得到；获取用户的第一手势动作信息，其中，所述第一手势动作信息通过与用户进行交互的对象设备的光学传感器得到；当所述第一手势动作信息与所述运动轨迹信息相匹配时，执行第一控制，所述第一控制包括根据第一手势动作信息所对应的控制指令执行的控制。

采用如上所述的人机交互方法，在用户与对象设备进行交互时，用户用握持移动终端的手(或者说手臂)做出手势动作，此时，一方面，根据光学传感器检测到用户的手势动作信息(即第一手势动作信息)，另一方面，根据移动终端所具有的运动传感器检测到移动终端随用户的手一起运动的运动轨迹信息即终端运动轨迹信息。在第一手势动作信息与终端运动轨迹信息相匹配时，执行相应的第一控制。

由于该移动终端随用户的手一同运动，因此，其运动轨迹信息与用户的手的手势动作信息具有唯一对应性，因而，通过在手势动作信息与终端轨迹信息相匹配时执行第一控制，能够避免根据无效用户的手势动作来执行控制，进而能够实现有效的人机交互。

另外，作为与本申请不同的方法，为了对手势动作的有效性或者对用户身份的有效性进行认证，可以考虑采用人脸识别技术进行认证。然而，人脸识别技术存在着一些问题，例如，有时用户出于保护隐私等考虑并不希望进行人脸识别，或者，有时由于用户距离对象设备较远(例如，用户在数十米远处对车辆进行隔空操作)，因而造成人脸识别的精度与可靠性降低，不能有效地实现认证。

而采用如上的本申请的第一方面的人机交互方法，以手势动作信息与终端运动轨迹信息相匹配为条件来执行第一控制，能够避免根据无效用户的手势动作执行控制，即便不进行人脸识别，也能够实现有效的人机交互，可以避免人脸识别产生的侵犯隐私等问题。

另外，这里所谓的“即便不进行人脸识别”的含义是本申请的技术不同于人脸识别技术，并非本申请的技术排斥人脸识别技术的意思，在适当的情况下，本申请的技术可以和人脸识别技术相结合使用。

作为本申请第一方面的一个可能的实现方式，所述第一手势动作信息中包含手势动作形态信息与手势动作时间信息，所述运动轨迹信息中包含运动轨迹形态信息与运动轨迹时间信息，所述方法还包括：根据所述手势动作形态信息与所述运动轨迹形态信息的相似性以及所述手势动作时间信息与所述运动轨迹时间信息的一致性，确定所述第一手势动作信息与所述运动轨迹信息是否相匹配。

采用如上所述的人机交互方法，是否相匹配的判断不但根据手势动作形态信息与运动轨迹形态信息的相似性来进行，还根据手势动作时间信息与运动轨迹时间信息的一致性来进行，因而，能够可靠地识别出与移动终端轨迹相匹配的手势动作，进一步避免无效用户的手势动作干扰。

采用如上所述的人机交互方法，能够根据第一手势动作信息与运动轨迹信息是否相匹配，来判断手势动作是否有效，从而决定是否执行手势动作所对应的控制指令，因而，能够可靠地避免错误控制。

作为本申请第一方面的一个可能的实现方式，还包括：根据所述光学传感器识别与所述第一手势动作信息对应的用户，当所述第一手势动作信息与所述运动轨迹信息相匹配时，认证所述第一手势动作信息所对应的所述用户为有效用户。

此时，可以通过所述光学传感器获取所述有效用户的第二手势动作信息，所述第二手势动作信息在时间上晚于所述第一手势动作信息，所述第一控制包括根据所述第二手势动作信息所对应的控制指令执行的控制。

采用如上所述的人机交互方法，由于被认证为有效用户后，其之后做出的手势动作(第二手势动作)也被认为是有效的，不必再比较第二手势动作是否与终端运动轨迹相匹配，因而用户不再必需用握持手机的手做出手势动作，减轻了用户的操作负担。

作为本申请第一方面的一个可能的实现方式，所述对象设备是车辆，所述车辆具有显示器，所述第一控制可以是在显示器上显示包含所述有效用户在内的环境影像，其中，所述有效用户在所述环境影像中被突出显示。

采用如上的人机交互方法，在车辆的显示器上突出显示有效用户，能够提示驾驶员迅速找到该用户。

作为本申请第一方面的一个可能的实现方式，所述对象设备是车辆，所述第一控制包括：使所述车辆向所述有效用户进行自主移动。

作为本申请第一方面的一个可能的实现方式，所述获取第一手势动作信息以所述移动终端被进行预定操作为条件执行。

采用如上所述的人机交互方法，以移动终端被进行预定操作为条件激活手势动作获取的功能，能够抑制手势动作获取违背用户意图地激活，降低功耗。

作为本申请第一方面的一个可能的实现方式，所述获取第一手势动作信息包括：从所述移动终端获取所述移动终端的位置信息；根据所述位置信息调整所述光学传感器使所述移动终端位于所述光学传感器的检测范围内。

如此，由于根据移动终端的位置信息来调整光学传感器，因而能够保证良好地检测到用户及其手势动作。

作为本申请第一方面的一个可能的实现方式，所述获取第一手势动作信息包括：在获取到所述运动轨迹信息但未在预定时间内获取到所述手势动作信息时，向所述移动终端发出请求进行第一手势动作的信息。

如此，例如由于用户站在隐蔽位置或者被遮挡等原因，造成光学传感器没有成功识别出用户的手势动作，此时，可以再次提示用户做出手势动作。

作为本申请第一方面的一个可能的实现方式，还包括：认证移动终端的ID的有效性；所述获取移动终端的运动轨迹信息包括获取ID有效的移动终端的运动轨迹信息。

如此，能够更加可靠地避免非法控制。

另外，为达到上述目的，本申请第二方面涉及一种人机交互装置，应用于与用户进行交互的对象设备，包括：终端轨迹获取模块，用于获取移动终端的运动轨迹信息，所述运动轨迹信息通过所述移动终端的运动传感器得到；手势动作获取模块，用于获取用户的第一手势动作信息，其中，所述第一手势动作信息根据所述对象设备的光学传感器得到；控制执行模块，用于当所述第一手势动作信息与所述运动轨迹信息相匹配时，执行第一控制，所述第一控制包括根据第一手势动作所对应的控制指令执行的控制。

采用如上所述的人机交互装置，在用户与对象设备进行交互时，用户用握持移动终端的手(或者说手臂)做出手势动作，此时，一方面，根据光学传感器检测到用户的手势动作信息(即第一手势动作信息)，另一方面，根据移动终端所具有的运动传感器检测到移动终端随用户的手一起运动的运动轨迹信息即终端运动轨迹信息。之后，将第一手势动作信息与终端运动轨迹信息相比较，判断二者是否相匹配，在判断为相匹配时，执行相应的第一控制，所述第一控制包括根据第一手势动作所对应的控制指令执行的控制。

由于该移动终端随用户的手一同运动，因此，其运动轨迹信息与用户的手的手势动作信息具有唯一对应性，因而能够通过判断手势动作信息与终端轨迹信息是否相匹配来可靠地判断出手势动作是否有效，避免无效用户的手势动作的干扰，进而能够实现有效的人机交互。

因而，采用如上的人机交互装置，即便不进行人脸识别，也能够实现有效的人机交互，可以避免人脸识别产生的侵犯隐私等问题。

作为本申请第二方面的一个可能的实现方式，所述第一手势动作信息中包含手势动作形态信息与手势动作时间信息，所述运动轨迹信息中包含运动轨迹形态信息与运动轨迹时间信息，所述人机交互装置还包括手势匹配模块，其用于根据所述手势动作形态信息与所述运动轨迹形态信息的相似性以及所述手势动作时间信息与所述运动轨迹时间信息的一致性，确定所述第一手势动作信息与所述运动轨迹信息是否相匹配。

作为本申请第二方面的一个可能的实现方式，所述手势动作获取模块包括用户识别单元，所述用户识别单元根据所述光学传感器识别与所述第一手势动作信息对应的用户，

所述人机交互装置还包括用户认证模块，所述认证模块用于当所述第一手势动作信息与所述运动轨迹信息相匹配时，认证所述第一手势动作信息所对应的所述用户为有效用户。

作为本申请第二方面的一个可能的实现方式，所述手势动作获取模块根据所述光学传感器获取所述有效用户的第二手势动作信息，所述第二手势动作信息在时间上晚于所述第一手势动作信息，所述第一控制包括根据所述第二手势动作信息所对应的控制指令执行的控制。

作为本申请第二方面的一个可能的实现方式，所述对象设备是车辆，所述车辆具有显示器，所述第一控制包括在所述显示器上显示包含所述有效用户在内的环境影像，其中，所述有效用户在所述环境影像中被突出显示。

作为本申请第二方面的一个可能的实现方式，所述对象设备是车辆，所述第一控制包括：使所述车辆向所述有效用户进行自主移动。

作为本申请第二方面的一个可能的实现方式，所述获取第一手势动作信息以所述移动终端被进行预定操作为条件执行。

作为本申请第二方面的一个可能的实现方式，还包括：终端位置获取单元，其用于从所述移动终端获取所述移动终端的位置信息；光学传感器致动控制单元，其用于根据所述位置信息调整所述光学传感器使所述移动终端位于所述光学传感器的检测范围内。

作为本申请第二方面的一个可能的实现方式，在获取到所述运动轨迹信息但未在预定时间内获取到所述手势动作信息时，向所述移动终端发出请求进行第一手势动作的信息。

作为本申请第二方面的一个可能的实现方式，还包括终端ID认证模块，用于认证移动终端的ID的有效性，所述终端轨迹获取模块用于获取ID有效的移动终端的运动轨迹信息。

另外，为达到上述目的，本申请第三方面涉及一种车辆控制方法，所述车辆具有光学传感器，包括：获取移动终端的运动轨迹信息，其中，所述运动轨迹信息通过所述移动终端的运动传感器得到；获取用户的第一手势动作信息，其中，所述第一手势动作信息根据所述光学传感器得到；当所述第一手势动作信息与所述运动轨迹信息相匹配时，执行第一控制，所述第一控制包括根据第一手势动作信息所对应的控制指令执行的控制。

采用如上所述的车辆控制非法，在用户与车辆进行交互时，用户用握持移动终端的手(或者说手臂)做出手势动作，此时，一方面，根据车辆所具有的光学传感器检测到用户的手势动作信息(即第一手势动作信息)，另一方面，根据移动终端所具有的运动传感器检测到移动终端随用户的手一起运动的运动轨迹信息即终端运动轨迹信息。之后，将第一手势动作信息与终端运动轨迹信息相比较，判断二者是否相匹配，在判断为相匹配时，执行相应的第一控制。

由于该移动终端随用户的手一同运动，因此，其运动轨迹信息与用户的手的手势动作信息具有唯一对应性，因而能够通过判断手势动作信息与终端轨迹信息是否相匹配来可靠地判断出手势动作是否有效，避免无效用户的手势动作的干扰，进而能够实现有效的人机交互。

因而，采用如上的人机交互方法，即便不进行人脸识别，也能够实现有效的人机交互，可以避免人脸识别产生的侵犯隐私等问题。

作为本申请第三方面的一个可能的实现方式，所述第一手势动作信息中包含手势动作形态信息与手势动作时间信息，所述运动轨迹信息中包含运动轨迹形态信息与运动轨迹时间信息，所述方法还包括：根据所述手势动作形态信息与所述运动轨迹形态信息的相似性以及所述手势动作时间信息与所述运动轨迹时间信息的一致性，确定所述第一手势动作信息与所述运动轨迹信息相匹配。

作为本申请第三方面的一个可能的实现方式，还包括：根据所述光学传感器识别与所述第一手势动作信息对应的用户，在判断为所述第一手势动作信息与所述运动轨迹信息相匹配时，认证所述第一手势动作信息所对应的所述用户为有效用户。

作为本申请第三方面的一个可能的实现方式，还包括：根据所述光学传感器获取所述有效用户的第二手势动作信息，所述第二手势动作信息在时间上晚于所述第一手势动作信息，所述第一控制包括根据所述第二手势动作信息所对应的控制指令执行的控制。

作为本申请第三方面的一个可能的实现方式，所述车辆具有显示器，所述第一控制包括在显示器上显示包含所述有效用户在内的环境影像，其中，所述有效用户在所述环境影像中被突出显示。

作为本申请第三方面的一个可能的实现方式，所述第一控制包括：使所述车辆向所述有效用户进行自主移动。

作为本申请第三方面的一个可能的实现方式，所述获取第一手势动作信息以所述移动终端被进行预定操作为条件执行。

作为本申请第三方面的一个可能的实现方式，所述获取第一手势动作信息包括：所述车辆从所述移动终端获取所述移动终端的位置信息；所述车辆根据所述位置信息调整所述光学传感器使所述移动终端位于所述光学传感器的检测范围内。

作为本申请第三方面的一个可能的实现方式，所述获取第一手势动作信息包括：在获取到所述运动轨迹信息但未在预定时间内获取到所述手势动作信息时，向所述移动终端发出请求进行第一手势动作的信息。

作为本申请第三方面的一个可能的实现方式，还包括：认证移动终端的ID的有效性，所述获取移动终端的运动轨迹信息包括获取ID有效的移动终端的运动轨迹信息。

另外，为达到上述目的，本申请第四方面提供一种车辆控制装置，所述车辆具有光学传感器，包括：终端轨迹获取模块，用于获取移动终端的运动轨迹信息，其中，所述运动轨迹信息根据所述移动终端的运动传感器得到；手势动作获取模块，用于获取用户的手势动作信息，根据所述光学传感器得到的第一手势动作信息；控制执行模块，用于在所述第一手势动作信息与所述运动轨迹信息相匹配时，执行第一控制，所述第一控制包括根据第一手势动作所对应的控制指令执行的控制。

采用如上所述的车辆控制装置，在用户与车辆进行交互时，用户用握持移动终端的手(或者说手臂)做出手势动作，此时，一方面，根据车辆所具有的摄像头、毫米波雷达、激光雷达等光学传感器检测到用户的手势动作信息(即第一手势动作信息)，另一方面，根据移动终端所具有的运动传感器检测到移动终端随用户的手一起运动的运动轨迹信息即终端运动轨迹信息。之后，将第一手势动作信息与终端运动轨迹信息相比较，判断二者是否相匹配，在判断为相匹配时，执行相应的第一控制。

由于该移动终端随用户的手一同运动，因此，其运动轨迹信息与用户的手的手势动作信息具有唯一对应性，因而能够通过判断手势动作信息与终端轨迹信息是否相匹配来可靠地判断出手势动作是否有效，避免无效用户的手势动作的干扰，进而能够实现有效的人机交互。

因而，采用如上的车辆控制装置，即便不进行人脸识别，也能够实现有效的人机交互，可以避免人脸识别产生的侵犯隐私等问题。

作为本申请第四方面的一个可能的实现方式，所述第一手势动作信息中包含手势动作形态信息与手势动作时间信息，所述运动轨迹信息中包含运动轨迹形态信息与运动轨迹时间信息，所述装置还包括手势匹配模块，其根据所述手势动作形态信息与所述运动轨迹形态信息的相似性以及所述手势动作时间信息与所述运动轨迹时间信息的一致性，确定所述第一手势动作信息与所述运动轨迹信息是否相匹配。

作为本申请第四方面的一个可能的实现方式，所述手势动作获取模块包括用户识别单元，所述用户识别单元根据所述光学传感器识别与所述第一手势动作信息对应的用户，所述车辆控制装置还包括用户认证模块，在所述手势匹配模块判断为所述第一手势动作信息与所述运动轨迹信息相匹配时，所述认证模块认证所述第一手势动作信息所对应的所述用户为有效用户。

作为本申请第四方面的一个可能的实现方式，所述手势动作获取模块根据所述光学传感器获取所述有效用户的第二手势动作信息，所述第二手势动作信息在时间上晚于所述第一手势动作信息，所述第一控制包括根据所述第二手势动作信息所对应的控制指令执行的控制。

作为本申请第四方面的一个可能的实现方式，所述车辆具有显示器，所述第一控制包括在所述显示器上显示包含所述有效用户在内的环境影像，其中，所述有效用户在所述环境影像中被突出显示。

作为本申请第四方面的一个可能的实现方式，所述第一控制包括：使所述车辆向所述有效用户进行自主移动。

作为本申请第四方面的一个可能的实现方式，所述获取第一手势动作信息以所述移动终端被进行预定操作为条件执行。

作为本申请第四方面的一个可能的实现方式，还包括终端位置获取单元，其用于从所述移动终端获取所述移动终端的位置信息；光学传感器致动控制单元，其用于根据所述位置信息调整所述光学传感器使所述移动终端位于所述光学传感器的检测范围内。

作为本申请第四方面的一个可能的实现方式，在获取到所述运动轨迹信息但未在预定时间内获取到所述手势动作信息时，向所述移动终端发出请求进行第一手势动作的信息。

作为本申请第四方面的一个可能的实现方式，还包括终端ID认证模块，用于认证移动终端的ID的有效性，所述终端轨迹获取模块用于获取ID有效的移动终端的运动轨迹信息。

另外，本申请第五方面提供一种人机交互装置，其包括处理器与存储器，所述存储器中存储有程序指令，所述程序指令当被所述处理器执行时使得所述处理器执行第一方面中任一方式所述的方法。

本申请第六方面提供一种计算机可读存储介质，其上存储有程序指令，所述程序指令当被计算机执行时使得所述计算机执行第一方面中任一方式所述的方法。

本申请第七方面提供一种计算机程序，该计算机程序当被计算机执行时使得所述计算机执行第一方面中任一方式所述的方法。

本申请第八方面提供一种车辆控制装置，其包括处理器与存储器，所述存储器中存储有程序指令，所述程序指令当被所述处理器执行时使得所述处理器执行第三方面中任一方式所述的方法。

本申请第九方面提供一种计算机可读存储介质，其上存储有程序指令，所述程序指令当被计算机执行时使得所述计算机执行第三方面中任一方式所述的方法。

本申请第十方面提供一种计算机程序，该计算机程序当被计算机执行时使得所述计算机执行第三方面中任一方式所述的方法。

采用本申请的技术方案，在用户与车辆等对象设备进行交互时，用户用握持移动终端的手(或者说手臂)做出手势动作，此时，一方面，根据对象设备所具有的光学传感器检测到用户的手势动作信息(即第一手势动作信息)，另一方面，根据移动终端所具有的运动传感器检测到移动终端随用户的手一起运动的运动轨迹信息即终端运动轨迹信息。之后，将第一手势动作信息与终端运动轨迹信息相比较，判断二者是否相匹配，在判断为相匹配时，执行相应的第一控制。

由于该移动终端随用户的手一同运动，因此，其运动轨迹信息与用户的手的手势动作信息具有唯一对应性，因而能够通过判断手势动作信息与终端轨迹信息是否相匹配来可靠地判断出手势动作是否有效，避免无效用户的手势动作的干扰，进而能够实现有效的人机交互。

因而，采用本申请的技术方案，即便不进行人脸识别，也能够实现有效的人机交互，可以避免人脸识别产生的侵犯隐私等问题。

附图说明

图1是本申请一个实施例涉及的车辆隔空控制的场景说明图；

图2是本申请一个实施例涉及的车辆的结构框图；

图3是本申请一个实施例涉及的智能手机的结构框图；

图4是本申请一个实施例涉及的用户通过智能手机与车辆的交互过程的说明图；

图5A是本申请一个实施例涉及的车辆侧的处理流程图；

图5B是图5A中的手势动作与终端轨迹匹配处理的具体内容的说明图；

图6是本申请一个实施例涉及的智能手机侧的处理流程图；

图7是用于说明本申请一个实施例涉及的定向检测技术的原理说明图；

图8A所示为本申请一个实施例涉及的智能手机的一个显示画面例；

图8B所示为本申请一个实施例涉及的智能手机的一个显示画面例；

图8C所示为本申请一个实施例涉及的智能手机的一个显示画面例；

图9是本申请一个实施例涉及的打车场景的说明图；

图10是本申请一个实施例涉及的车辆的结构框图；

图11是本申请一个实施例涉及的云端服务器的结构框图；

图12是本申请一个实施例涉及的用户通过智能手机预约车辆的过程的说明图；

图13是本申请一个实施例涉及的车辆在用户上车地点附近对用户进行识别的场景说明图；

图14所示为图13所示场景下车载摄像头拍摄到的影像例；

图15为本申请一个实施例涉及的在用户上车地点附近用户通过智能手机与车辆进行交互的过程的说明图；

图16为进行图15所示的交互过程中车辆侧进行的处理的流程图；

图17为进行图15所示的交互过程中云端服务器侧进行的处理的流程图；

图18为本申请一个实施例涉及的一个约车方式的说明图；

图19为图15中所示的交互过程的变形例的说明图。

图20为本申请一个实施例涉及的送餐机器人进行送餐的场景说明图；

图21为本申请一个实施例涉及的对智能电视进行隔空控制的场景说明图；

图22为本说明书公开的一种车辆识别用户具体所在位置的识别方法的说明图；

图23为本说明书公开的一种用户通过语音对车辆进行控制的过程的说明图。

具体实施方式

下面，对本申请实施例的技术方案进行描述。

在下面的描述中，使用了“第一”、“第二”这样的表达方式，这是为了在同类事物间予以进行区分，但并没有区分重要性以及表达先后顺序的意思。

本申请实施例提供了一种人机交互技术，用于实现用户(即人机交互中的“人”)与对象设备(即人机交互中的“机”)的交互，其中，为了进行有效的交互，需要用户持有移动终端，并使移动终端与对象设备建立通信连接或者使二者与共同的第三方设备(例如服务器)建立通信连接，之后，用户用握持移动终端的手(或者说手臂)做出手势动作，其时，一方面，由移动终端检测出自身随用户的手进行运动的运动轨迹，另一方面，例如由对象设备所具有的光学传感器(例如摄像头、毫米波雷达、激光雷达等)检测出用户的手势动作，之后，将移动终端的运动轨迹信息与用户的手势动作信息进行比较，判断二者是否相匹配，在判断为相匹配时，执行相应的控制(称之为第一控制)。

在这样的人机交互技术中，实质上是以手势动作与移动终端的运动轨迹相匹配为条件，来作出手势动作为“有效”的判定。由于该移动终端随用户的手一同运动，因此，其运动轨迹信息与用户的手的手势动作信息具有唯一对应性，因而能够通过判断手势动作信息与终端轨迹信息是否相匹配来可靠地判断出手势动作是否有效，避免无关人员的手势动作的干扰，进而能够实现有效的人机交互。

在这里，与人进行交互的对象设备可以是车辆、机器人、智能电视等；移动终端可以是智能手机、可穿戴设备、电子车钥匙、遥控器等；“对象设备做出相应的响应”例如可以是执行手势动作所代表的控制指令。可以是在图像识别处理中，将图像中的“用户”认证为有效用户，此时，在对象设备是车辆或移动机器人等移动体时，例如可以根据图像识别处理的结果控制车辆或移动机器人向用户移动，等等。

另外，在这里，“握持移动终端”所表达的意思是移动终端会随用户的手一起运动，并没有限定握持移动终端时手指的形态的意思。

另外，为了实现上述人机交互技术，如后面所详细描述的，本申请实施例中提供了人机交互方法、人机交互装置、车辆控制方法、车辆控制装置、车辆、移动终端控制方法、移动终端控制装置、移动终端、服务器、计算设备、计算机可读存储介质和计算机程序等。

下面，结合附图，对本申请的多个实施例进行详细的描述。

【实施例1】

本实施例涉及一种通过手势动作来对车辆进行隔空控制的方法。

首先参照图1对本实施例的交互场景进行概要性的说明。

如图1所示，在本实施例中，人机交互中的人的例子是用户300，对象设备的例子是车辆100，移动终端的例子是智能手机200。具体而言，车辆100停在停车场的停车位601上，用户300意图通过手势动作对车辆100进行隔空控制，此时，用户300手持智能手机200进入车辆100的蓝牙或者UWB信号范围，智能手机200与车辆100发起蓝牙连接或者UWB连接)，车辆100对智能手机200的ID(Identification，身份、标识)认证成功后，二者建立连接。之后，用户300在智能手机200上进行预定操作，该预定操作表示用户300意图使车辆100激活隔空控制功能，智能手机200将请求车辆100激活隔空控制功能的指令发送给车辆100，并且，智能手机200还将表示自身的位置的终端位置信息发送给车辆100。

车辆100收到智能手机200发来的该指令后，激活可旋转摄像头(图1中未示出)，并将摄像头转向智能手机200位置所在方向，使智能手机200位于摄像头的检测范围内，完成手势识别功能的准备动作。并且，车辆100向智能手机200发送表示“车载摄像头已转向至智能手机200的位置所在方向和/或手势识别已激活”的信息。在接收到该信息时，智能手机200在显示屏上显示提示信息，告知用户300：车辆100的摄像头已转向至其所在位置方向和/或车辆100的手势识别功能已激活。

用户300查看该提示信息后，用持有智能手机200的手(或者说手臂)做出预定手势动作，该预定手势动作对应着相应的控制指令。另外，该预定手势动作与控制指令的对应关系预先为用户300所知晓。

此时，一方面，智能手机200通过内置的能够检测自身运动的运动传感器检测智能手机200的运动轨迹，并将检测到的运动轨迹附带轨迹时间信息通过蓝牙、Wi-Fi、UWB或者红外等无线通信方式发送给车辆100。其中，轨迹时间信息表示智能手机200产生该运动轨迹的时间。作为运动传感器的例子，例如有加速度传感器、陀螺仪传感器等。

另一方面，车辆100通过摄像头等光学传感器检测到用户300的手势动作。之后，将通过摄像头等检测到的用户300的手势动作信息与通过无线通信方式接收到的智能手机200的运动轨迹信息相比较，判断二者是否相匹配(具体将在后面描述)，如果相匹配，车辆100执行用户300的手势动作所对应的控制指令。

下面参照图2对车辆100的相关结构进行说明。

如图2所示，车辆100具有车辆控制装置10。车辆100还具有摄像头20、通信装置30和导航装置40。另外，车辆100还具有动力系统50、转向系统60与制动系统70。此外，在本实施例中，车辆100还具有摄像头致动装置80。另外，车辆100还具有这些结构要素以外的结构要素，但在此省略说明。

摄像头20用于检测车外环境，数量可以是一个也可以是多个。在本实施例中，摄像头20是可旋转摄像头，能够由摄像头致动装置80致动而改变朝向，从而改变检测范围。另外，摄像头20是外部环境传感器的一个例子，除此之外，还可以设置激光雷达、毫米波雷达等来检测车外环境。另外，摄像头20、激光雷达与毫米波雷达是本申请中的用于检测用户的手势动作的光学传感器的例子。

通信装置30能够与未图示的外部对象之间进行无线通信。外部对象例如可以包括未图示的基站、云端服务器、移动终端(智能手机等)、路侧设备、其他车辆等。

导航装置40典型地具有未图示的GNSS(全球导航卫星系统，Global NavigationSatellite System)接收机和地图数据库。导航装置40能够通过GNSS接收机接收到的卫星信号来确定车辆100的位置，且能够根据地图数据库中的地图信息生成到达目的地的路径，并将关于该路径的信息提供给控制装置10。另外，导航装置40还可以具有IMU(InertialMeasurement Unit，惯性测量装置)，通过融合GNSS接收机的信息和IMU的信息来进行定位。

动力系统50具有未图示的驱动ECU和未图示驱动源。驱动ECU通过控制驱动源来控制车辆100的驱动力(扭矩)。作为驱动源的例子，可以是发动机、驱动电机等。驱动ECU能够根据驾驶员对加速踏板的操作来控制驱动源，从而能够控制驱动力。另外，驱动ECU还能够根据从车辆控制装置10发送来的指令来控制驱动源，从而能够控制驱动力。驱动源的驱动力经由未图示的变速器等传递给未图示的车轮，从而驱动车辆100行驶。

转向系统60具有未图示的转向ECU即EPS(Electric Power Steering，电动助力转向系统)ECU和未图示的EPS电机。转向ECU能够根据驾驶员对方向盘的操作来控制EPS电机，从而控制车轮(具体而言是转向轮)的朝向。另外，转向ECU还能够根据从车辆控制装置10发送来的指令控制EPS电机，从而控制车轮的朝向。另外，也可以通过改变对左右车轮的扭矩分配或制动力分配来进行转向操纵。

制动系统70具有未图示的制动ECU和未图示的制动机构。制动机构通过制动电机、液压机构等使制动部件进行工作。制动ECU能够根据驾驶员对制动踏板的操作来控制制动机构，从而能够控制制动力。另外，制动ECU还能够根据从车辆控制装置10发送来的指令控制制动机构，从而能够控制制动力。在车辆100是电动车辆或者混合动力车辆的情况下，制动系统70还可以包括能量回收制动机构。

车辆控制装置10可以由一个ECU(Electronic Control Unit，电控单元)实现，也可以由多个ECU组合实现，ECU是包括通过内部总线连接的处理器、存储器和通信接口的计算设备，在存储器中存储有程序指令，该程序指令当被处理器执行时发挥相应的功能模块和功能单元的作用。这些功能模块包括手势动作获取模块11、手势匹配模块12、自动驾驶控制模块13、终端ID认证模块14、终端轨迹获取模块15、指令识别模块16、用户认证模块17。即，车辆控制装置10通过由处理器来执行程序(软件)来实现这些功能模块和/或功能单元，然而，车辆控制装置10也可以通过LSI(Large Scale Integration，大规模集成电路)和ASIC(Application Specific Integrated Circuit，专用集成电路)等硬件来实现这些功能模块和/或功能单元的全部或一部分，或者还可以通过软件和硬件的组合来来实现这些功能模块和/或功能单元的全部或一部分。

终端ID认证模块14用于认证移动终端的ID的有效性，对移动终端进行鉴权。例如，对于车主的智能手机，终端ID认证模块14认证其ID有效，认证其为有效终端。另外，终端ID认证模块14还可以认证移动终端的权限，例如，对于车主的智能手机，认证其拥有最高权限，可以执行所有的控制；对于车主家人的智能手机，认证其拥有受限制的权限，允许其执行某些控制，例如开启空调，而限制其执行某些控制，例如控制车辆100行驶。

手势动作获取模块11用于得到表示手势动作的手势动作信息，它包括终端位置获取单元11a、摄像头致动控制单元11b、手势动作识别单元11c、用户识别单元11d、信息生成单元11e。

终端位置获取单元11a用于获取ID被认证为有效的移动终端(例如智能手机)的位置信息即终端位置信息。

摄像头致动控制单元11b用于根据移动终端的位置信息即终端位置信息和摄像头20当前的朝向来计算摄像头20的调整量，并依据该调整量使摄像头致动装置80对摄像头20进行致动，从而使移动终端的位置位于摄像头20的检测范围内。摄像头致动控制单元11b对应于本申请中的光学传感器致动控制单元。

手势动作识别单元11c用于根据摄像头20拍摄到的图像来对用户的手势动作进行识别，得到手势动作信息。在本实施例中，手势动作信息包括手势动作形态信息与手势动作时间信息，手势动作形态信息表示手势动作的形态，手势动作时间信息表示做出手势动作的时间，该时间可以是从手势动作开始时刻到手势动作结束时刻的时间段。

用户识别单元11d用于根据摄像头20拍摄到的图像来对用户进行识别。这里手势动作识别单元11c与用户识别单元11d可以集成为一个单元，同时识别出用户及其手势动作，如此，能够提高处理效率。信息生成单元11e用于生成发送给移动终端的信息，如后面所描述的，这些信息包括表示“摄像头已开启”或者“手势识别功能已激活”的信息与用于请求用户再次做出手势动作的信息。

终端轨迹获取模块15用于通过通信装置30从移动终端接收表示移动终端的运功轨迹的终端轨迹信息。在本实施例中，该终端轨迹信息包括轨迹形态信息与轨迹时间信息，轨迹形态信息表示运动轨迹的形态，轨迹时间信息表示运动轨迹的做出时间，可以是从运动轨迹开始时刻到结束时刻的时间段。作为变形例，终端轨迹信息也可以仅包括轨迹形态信息。

手势匹配模块12用于对手势动作获取模块11得到的手势动作信息与终端轨迹获取模块15得到的运动轨迹信息进行匹配处理，即判断手势动作信息是否与运动轨迹信息相匹配。在本实施例中，该手势匹配模块12包括形态相似性判断单元12a与时间一致性判断单元12b。

形态相似性判断单元12a用于判断手势动作的形态与移动终端的运动轨迹的形态是否相似，例如在达到一定的相似程度以上或者说达到预定的相似度阈值以上时，判断为二者相似。形态相似性判断单元12a可以用预设的模板来与运动轨迹、手势动作进行比较从而判断手势动作的形态与移动终端的运动轨迹的形态是否相似。也可以通过训练好的轨迹匹配模型进行匹配判断。轨迹匹配模型可以以用户用握持智能终端的手做预定手势动作时，采集到的智能终端的运动轨迹和摄像头采集到的用户手势动作作为样本，训练CNN(Convolutional Neural Networks，卷积神经网络)模型或MLP(Multi-layer perceptron，多层感知机)模型方式获得。

时间一致性判断单元12b用于判断手势动作的时间与运动轨迹的时间是否一致，例如在达到一定的一致度阈值以上时，判断为二者相一致。

在本实施例中，在形态相似性判断单元12a的判断结果为“相似”，并且时间一致性判断单元12b的判断结果为“一致”时，手势匹配模块12判断为手势动作信息与运动轨迹信息相匹配。

指令识别模块16用于识别手势动作所表示的控制指令，例如可以根据预设的手势动作模板与控制指令的对应关系表来识别手势动作所表示的控制指令。

用户认证模块17用于将与移动终端的运功轨迹相匹配的手势动作所对应的用户认证为有效用户。指令识别模块16还可以识别被用户认证模块17认证为有效的用户的手势动作所表示的控制指令。另外，或许需要明确指出的是，用户认证模块17认证的是图像中的“用户”，是根据传感器(本实施例中为摄像头20)得到的信息中的“用户”，而上述终端ID认证模块14认证的是终端ID，二者并不相同。

自动驾驶控制模块13用于控制车辆100自主行驶(自主移动)，其包括行动计划单元13a与行驶控制单元13b。该自动驾驶控制模块13是本申请中控制执行模块的一例。

行动计划单元13a用于计算车辆100到目的地的目标轨迹，并且，根据摄像头20等光学传感器检测到的外部环境信息，判断车辆100的行驶状况，更新目标轨迹来决定车辆100的各种行动。上述导航装置40计算出的路径是粗略的路径。与此相对，行动计划单元13a计算出的目标轨迹除了导航装置40计算出的粗略的路径之外，还包括用于控制车辆100的加速、减速和转向的比较细致的内容。

行驶控制单元13b根据行动计划单元13a提供的行动计划，生成用于发送给动力系统50、转向系统60和制动系统70的控制指令，以能够控制动力系统50、转向系统60和制动系统70，而使车辆100按照行动计划行驶。

下面参照图3对智能手机200的相关结构进行说明。

如图3所示，智能手机200具有处理器110与内部存储器190，另外，还具有无线通信模块120、扬声器131、受话器132、麦克风133、显示屏140、摄像头150、物理按键160、陀螺仪传感器171、加速度传感器172、磁传感器173、触摸传感器174、定位装置180。另外，除了这些结构要素之外，智能手机200还包括其他结构要素，但在这里省略了对其的说明。

处理器110可以包括一个或多个处理单元。例如：处理器110可以包括应用处理器(application processor，AP)、调制解调处理器、图形处理器(graphics processingunit，GPU)、图像信号处理器(image signal processor，ISP)、飞行控制器、视频编解码器、数字信号处理器(digital signal processor，DSP)、基带处理器或神经网络处理器(neural-network processing unit，NPU)等中的一个或任意组合。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。

作为在一个实施例，处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，I2C)接口、集成电路内置音频(inter-integrated circuitsound，I2S)接口、脉冲编码调制(pulse code modulation，PCM)接口、通用异步收发传输器(universal asynchronous receiver/transmitter，UART)接口、移动产业处理器接口(mobile industry processor interface，MIPI)、通用输入输出(general-purposeinput/output，GPIO)接口、用户标识模块(subscriber identity module，SIM)接口或通用串行总线(universal serial bus，USB)接口等中的一个或任意组合。

内部存储器190可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。内部存储器190可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储便携设备使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器190可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、通用闪存存储器(universal flash storage，UFS)等。处理器110通过运行存储在内部存储器190中的指令和/或存储在设置于处理器中的存储器的指令，执行智能手机200的各种功能应用以及数据处理。

无线通信模块120用于实现智能手机200的无线通信功能，该无线通信功能典型地可以包括2G/3G/4G/5G等无线通信功能，此外还可以包括无线局域网(wireless localarea networks、WLAN)(如Wi-Fi网络)、超宽带(Ultra Wide Band、UWB)、蓝牙(注册商标)、全球导航卫星系统(global navigation satellite system、GNSS)、调频(frequencymodulation、FM)、近距离无线通信技术(near field communication、NFC)、红外技术(infrared、IR)等无线通信功能。

扬声器131、受话器132和麦克风133属于音频模块，其中，扬声器131用于提供声音外放功能，受话器132也叫听筒，用于在多数情况下提供声音播放功能，麦克风133用于接收用户的语音。

显示屏140用于提供图像或视频显示功能，另外，作为一个典型的例子，显示屏140构成为触摸屏，即其中集成了触摸传感器174，使用户可以通过触摸显示屏140而执行所需的操作。

摄像头150用于提供拍摄图像或视频的功能，典型地可以包括前置摄像头和后置摄像头。

物理按键160例如包括开关机键、音量调节键等。

陀螺仪传感器171可以用于确定智能手机200的运动过程中的姿态。在一些实施例中，可以通过陀螺仪传感器171确定便携设备在预设坐标系中的角速度。

加速度传感器172可检测便携设备的运动方向和运动加速度。当便携设备静止时可检测出重力的大小及方向。还可以用于识别便携设备的姿态，应用于计步器等应用。

磁传感器173用于把磁场、电流、应力应变、温度、光等外界因素引起敏感元件磁性能变化转换成电信号，以这种方式来检测相应物理量的器件。在一些实施例中，通过磁传感器可以测量出便携设备与东南西北四个方向的夹角。

定位装置180可以通过接收全球导航卫星系统的信号来为智能手机200提供定位功能。

下面参照图4，对本实施例涉及的用户与车辆进行交互的交互过程进行系统性的说明。

如图4所示，在步骤S1中，用户300手持智能手机200走入停车场，进入到车辆100的车载无线网络例如蓝牙、Wi-Fi或者UWB(Ultra Wide Band，超宽带)等的覆盖范围内。在本实施例中，用户300是车辆100的车主，其所持有的智能手机200预先与车辆100进行了绑定。因此，在智能手机200进入到车辆100的车载无线网络的连接范围内时，该智能手机200与车辆100自动建立无线连接。

之后，智能手机200利用蓝牙、Wi-Fi或者UWB等的定向检测技术监测智能手机200是否指向了车辆100。如果用户300使智能手机200指向车辆100，则表明用户300想要对车辆100进行隔空控制。因此，智能手机200通过判断智能手机200是否指向了车辆100，能够判断用户300是否有想要对车辆100进行隔空控制的意图。

这里的“智能手机200指向车辆100”可以是“背面指向车辆”，例如可以是垂直于智能手机200背面的直线与车辆100相交；也可以是“头部指向车辆”，例如可以是智能手机200机身的长边方向的延长线L1(参照图1)与车辆100相交。

下面参照图7，简要地说明一下智能手机200检测其是否指向车辆100时使用的定向检测技术。

具体而言，如图7所示，设备A与设备B之间通过天线传输信号，由于信号强度是随传播距离逐渐衰减的，因此接收器可以通过多根天线(图7中为4根天线N1-N4)接收发射器发出的信号，根据不同接收信号的强度，计算不同接收信号的传输时间差，从而计算得到设备B相对于设备A的方位角α和距离L。利用这样的定向检测技术，智能手机200能够检测到其与车辆100之间的方位角α，再结合其出厂设置中预设的自身坐标系，从而能够判断智能手机200的背面或者头部是否指向了车辆100。

在本实施例中，通过判断智能手机200是否指向了车辆100，能够判断用户300是否有想要对车辆100进行隔空控制的意图。因此，在检测到智能手机200指向车辆100时再提示用户智能手机200已与车辆100建立连接，能够避免在用户没有想对车辆100进行隔空控制的意图时对用户进行无用的提示而造成用户感到厌烦。

另外，作为变形例，可以在检测智能手机200是否指向车辆100之前，利用智能手机200所具有的陀螺仪传感器171、加速度传感器172、磁传感器173等先检测智能手机200的运动轨迹是否为“预设轨迹”，例如智能手机200由水平状态被变更为铅直状态，在智能手机200的运动轨迹满足“预设轨迹”时，再检测智能手机200是否指向车辆100。这样可以避免智能手机200自动连接上车辆100后即检测是否指向车辆100，可以减少功耗，也可以避免智能手机200自动连接车辆100后非用户300本意的指向了车辆100时的误触发，提高了对用户意图的确认的准确性。

在智能手机200检测到其指向车辆100时，进入步骤S2。

在步骤S2中，如图8A所示，智能手机200在显示屏140上(例如在锁屏界面上)显示提示信息140a，以提示用户300已识别到指向的车辆100并已建立无线连接，可以通过智能手机200对车辆100进行远程控制。作为变形例，也可以通过由扬声器131发出语音来对用户进行提示，或者也可以用使智能手机200产生振动的方式来对用户进行提示。

另外，作为变形例，也可以省略步骤S1中的“检测智能手机200是否指向了车辆100”，而在智能手机200与车辆100建立无线连接后，直接进入步骤S2，在智能手机200的显示屏140上显示提示信息140a或者通过智能手机200的扬声器131发出语音提示。如上所述，本实施例中，以检测到智能手机200指向了车辆100为条件来显示提示信息140a，能够使提示信息140a的显示更加符合用户300的意图，避免使用户300感到厌烦。

在显示提示信息140a之后，进入步骤S3。

在步骤S3中，智能手机200将其所具有的物理按键160的操作对象设定为车辆100，例如，将长按电源键3秒定义为请求车辆100激活隔空控制功能，并且，监测是否收到例如长按电源键3秒等预设操作。

另外，作为“长按电源键3秒”的代替，该预设操作也可以是在上述车辆控制APP的操作界面上点击相应的虚拟操作按键，该虚拟操作按键用于“激活车辆的隔空控制功能”。

另外，作为变形例，在步骤S3中，也可以并不将物理按键160的操作对象设定为车辆100。此时，可以在用户300对提示信息140a进行滑动操作时，在显示屏140上弹出车辆控制APP(Application，应用程序)的操作界面，该操作界面中包含用于“激活车辆的隔空控制功能”的虚拟按键。

当接收到用户进行长按电源键3秒等预设操作时，进入步骤S4。

在步骤S4中，智能手机200向车辆100发出请求激活隔空控制功能的指令，而且，可以同时发送智能手机200的位置信息(即终端位置信息)和ID信息(即终端ID信息)。

作为变形例，可以省略步骤S3和步骤S4，在没有步骤S3和步骤S4的情况下，可以在步骤S2中，显示提示信息140a的同时，智能手机200自动向车辆100发送表示“激活车辆的隔空控制功能”的指令，而不需要用户300再长按电源键3秒了。本实施例中采用步骤S3和步骤S4，可以防止误操作，可以在根据预设操作(长按电源键动作)明确了用户意图后再向车辆100发送表示“激活车辆的隔空控制功能”的指令，这样可以避免车辆100错误地激活隔空控制功能，减少能耗。

在智能手机200发出表示“激活车辆的隔空控制功能”的指令时，在步骤S10中，车辆100接收到该指令以及随该指令同时发来的终端位置信息和终端ID信息，之后，车辆100根据终端ID信息执行对用户身份和/或权限的认证。由于智能手机200是车辆100的车主的手机，因此，在步骤S10中，车辆100将智能手机200的ID认证为有效ID。在认证终端ID有效后，进入步骤S20。

在步骤S20中，车辆100开启可旋转的摄像头20，并根据从智能手机200发送来的终端位置信息调整摄像头20的朝向，将摄像头20转向到智能手机200所在的方向，也就是用户所在的方向，同时激活手势识别功能。

作为变形例，摄像头20也可以是固定角度的摄像头，此时，用户需要站在摄像头20的检测范围内做出手势动作。另外，本实施例以摄像头为例进行说明，然而也可以是其它能够识别手势动作的光学传感器，例如毫米波雷达等。

车辆100完成摄像头20的调整(即完成手势识别的准备工作)，激活手势识别功能之后，进入步骤S30的处理。

在步骤S30中，车辆100向智能手机200发送摄像头和/或手势动作识别功能已激活的信息。

在步骤S40中，智能手机200接收到该消息，如图8B所示，在显示屏140上显示提示消息，以使用户知晓车辆100的手势动作识别功能已激活，以提示用户300可以对着车辆100的方向做出手势动作。此外，也可以通过由扬声器131发出声音的方式来进行提示，或者通过使智能手机200产生振动的方式进行提示。

之后，用户300用握持智能手机200的手(或者说手臂)进行预定手势动作，该预定手势动作是指与控制指令对应的手势动作，例如挥手两下，表示召唤车辆100行驶到自己所在位置。

此时，一方面，在步骤S50中，智能手机200检测到智能手机200的运动轨迹。

另一方面，在步骤S60中，车辆100通过摄像头20检测到用户300的手势动作，得到手势动作信息。可选地，车辆100生成的手势动作信息中包含做出手势动作的时间信息，该时间信息可以是手势动作开始时刻到结束时刻的时间段信息。另外，本实施例中的用户300用握持智能手机200的手做出的手势动作对应本申请中的第一手势动作，相应地，此时车辆100通过摄像头20得到的关于第一手势动作的手势动作信息对应本申请中的第一手势动作信息。进行此第一手势动作的时间信息对应本申请中的“关于进行第一手势动作的第一时间的信息”。

另外，在步骤S70中，在步骤S50后，智能手机200将表示智能手机200的运动轨迹的终端轨迹信息发送给车辆100。而且，可选地，同时附带检测到的智能手机200的运动轨迹的时间信息，即，将表示智能手机200的运动轨迹的产生时间的时间信息发送给智能手机200。该时间信息可以是从智能手机200的运动轨迹的开始时刻到结束时刻的时间段信息。这里的“智能手机200的运动轨迹的时间信息”对应本申请中的“关于产生运动轨迹的第二时间的信息”。

在步骤S80中，车辆100将接收到的智能手机200的运动轨迹信息与检测到的用户300的手势动作信息进行比较，判断用户300的手势动作是否与智能手机200的运动轨迹相匹配。可以用预设的模板来与运动轨迹、手势动作进行比较从而判断手势动作的形态与移动终端的运动轨迹的形态是否相似。也可以通过训练好的轨迹匹配模型进行匹配判断。轨迹匹配模型可以以用户用握持智能手机的手做预定手势动作时，采集到的智能手机的运动轨迹和摄像头采集到的用户手势动作作为样本，训练CNN模型(Convolutional NeuralNetworks，卷积神经网络)模型或MLP(Multi-layer perceptron，多层感知机)模型的方式获得。

在本实施例中，既比较运动轨迹的形态与用户手势的形态的相似性，又比较运动轨迹的时间信息与手势动作的时间信息的一致性，在此基础上做出是否相匹配的判断结论。其中，可以将形态的相似度在第一相似度阈值以上并且时间信息的一致度在第一一致度阈值以上的手势动作判断为与运动轨迹相匹配。另外，在运动轨迹的形态与手势动作的形态的相似度在预定的阈值以上的手势动作有多个时，选择时间信息最一致的那个手势动作为与运动轨迹相匹配的对象。

另外，作为变形例，也可以仅根据运动轨迹的形态与用户手势的形态的相似性来判断“是否相匹配”。

在判断为手势动作与终端轨迹相匹配时，进入步骤S90。

在步骤S90中，车辆100执行手势动作所对应的控制指令。例如预设了挥手两下对应的是召唤车辆行驶到用户所在位置，那么此时，车辆100会启动，并且激活自动驾驶功能，通过自动驾驶功能控制车辆100向用户300所在位置行驶。

上面对用户300通过智能手机200而与车辆100进行的交互的整体过程进行了说明，下面分别对车辆100侧的处理流程和智能手机200侧的处理流程进行详细的说明，以更加细致地描述本实施例。

首先参照图5A对车辆100侧的处理流程的一个例子进行说明。另外，图5A所示的处理流程是由车辆100所具有的控制装置10执行的。

如图5A所示，在步骤S10中控制装置10判断是否接收到有效终端的激活隔空控制功能的指令。具体而言，控制装置10监视是否通过通信装置30接收到来自移动终端的请求激活隔空控制功能的指令(其中附带终端ID信息和终端位置信息)，在接收到来自移动终端的请求激活隔空控制功能的指令时，由终端ID认证模块14根据移动终端的终端ID判断该移动终端是否为有效终端，在判断为是有效终端时，进入步骤S20，在判断为不是时，返回，继续监视。在本实施例中，在智能手机200向车辆100发出上述指令时，终端ID认证模块14认证该智能手机200为有效终端。在下面的说明中，以此为例进行描述。

另外，在认证智能手机200为有效终端时，由终端位置获取单元11a获取到智能手机200的终端位置信息。

在步骤S20中，控制装置10激活摄像头20，并且，根据终端位置信息判断终端位置是否位于摄像头20的检测范围内，在终端位置不在摄像头20的检测范围内时，由摄像头致动控制单元11b通过摄像头致动装置80调整摄像头20的朝向，使终端位置位于摄像头20的检测范围内。

之后，在步骤S30中，由信息生成单元11e生成表示“摄像头已启动”或者“手势动作识别功能已启动”的信息，控制装置10通过通信装置30将该信息发送给智能手机200。

之后，在步骤S32中，判断是否由终端轨迹获取模块15通过通信装置30获取到了智能手机200发来的终端轨迹信息。在获取到了终端轨迹信息时，进入步骤S60，在没有获取到终端轨迹信息时，进入步骤S34。在步骤S34中，判断从步骤S30即从向移动终端发出“摄像头已开启”或者“手势动作识别功能已激活”的信息时开始到当前时刻为止，是否经过第一预定时间，在没有经过第一预定时间时，返回步骤S32继续进行监视，在经过了第一预定时间时，进入步骤S62。在步骤S62中，判断从步骤S30开始到当前时刻为止是否经过了比第一预定时间大的第二预定时间，在经过了第二预定时间时，结束处理。在没有经过第二预定时间时，进入步骤S64，由消息生成单元11e生成请求用户做出手势动作的信息，控制装置10通过通信装置30将该消息发送给移动终端，之后，返回步骤S32继续监视是否获取到移动终端轨迹信息。此时，在移动终端侧，如图8C所示，例如通过显示的方式提示用户请求用户做出手势动作。

另外，在步骤S60中，判断是否由手势动作识别单元11c根据摄像头20的检测信息识别到了手势动作。在这里，在本实施例中，在步骤S20之后，手势动作识别单元11c激活，持续地对摄像头20获取到的图像信息进行图像处理等来识别手势动作。然而，作为变形例，也可以是在步骤S32中判断为获取到了终端轨迹信息之后(步骤S32中的“是”)，根据终端轨迹信息中包含的终端轨迹的时间信息，得到终端运动开始时刻至结束时刻的时间段，根据此时间段设定对摄像头20获取到的图像信息进行图像识别的时间范围，仅对在该时间范围内的图像信息进行图像识别来获取手势动作信息，如此，能够减小手势动作识别单元11c的运算工作量，降低功耗。同时，由于在此时间范围外做出的手势动作(例如用户300以外的其他用户(称之为无效用户)的手势动作)并不会被获取到，因而消减了获取到的手势动作的数量，从而，还能够降低手势匹配模块12的运算工作量，提高了处理速度。

在步骤S60中判断为获取到了手势动作时，进入步骤S80，在没有获取到手势动作时，进入步骤S62，如果在步骤S62中判断为没有经过第二预定时间的话，向移动终端发出请求用户做出手势动作的信息，之后，返回步骤S32继续监视是否获取到终端轨迹信息。

另外，在步骤S80中，判断所获取到的手势动作信息是否与终端轨迹信息相匹配。在这里，对获取到的所有手势动作信息逐一判断是否与终端轨迹信息相匹配。也就是说，有时用户300旁边还存在其他用户(称之为无效用户)，该其他用户也做出手势动作，此时，手势动作识别单元11c不但识别到了用户300的手势动作还识别到了无效用户的手势动作。在这种情况下，在步骤S80中对获取到的所有手势动作信息逐一判断是否与终端轨迹信息相匹配。另外，不言而喻，在仅获取到一个手势动作信息时，仅对该手势动作信息进行判断。

另外，关于步骤S80中的具体判断过程，将在后面参照图5B进行说明。

在步骤S80之后，进入步骤S88，判断是否有与智能手机200的运动轨迹相匹配的手势动作。在判断为有与智能手机200相匹配的手势动作时，进入步骤S90，获取该手势动作所对应的控制指令并执行，具体而言，由指令识别模块16识别匹配成功的手势动作所对应的控制指令，之后，控制装置10进行使控制指令得到执行的处理。在本实施例中以手势动作表示“行驶到做出手势动作的用户所在位置”为例进行说明，此时，车辆100将用户识别单元11d识别出的做出该手势动作的用户300作为目标，利用摄像头20的检测信息持续地跟踪该用户300，由自动驾驶控制模块13控制车辆100向用户300所在的位置行驶，直至行驶至用户300所在位置。

在步骤S90之后，结束本次处理。

在步骤S88中判断为匹配不成功时，进入步骤S62，判断是否经过第二预定时间，如果在步骤S62中判断为没有经过第二预定时间的话，向移动终端发出请求用户做出手势动作的信息，之后，返回步骤S32继续监视是否获取到终端轨迹信息。

下面参照图5B来说明步骤S80中所进行的“手势动作与终端轨迹匹配处理”的详细内容。如图5B所示，在步骤S81中，由时间一致性判断单元12b根据手势动作信息中的时间信息与终端轨迹信息中的时间信息，判断手势动作的时间与终端轨迹的时间是否一致，例如，在手势动作的时间与终端轨迹的时间的一致度(重合度)在预定的一致度阈值以上时，判断为手势动作的时间与终端轨迹的时间一致。

在步骤S81的判断结果为“一致”时，进入步骤S82，在判断结果为“不一致”时，进入步骤S84，判断为手势动作与终端轨迹不相匹配。

在步骤S82中，由形态相似性判断单元12a根据手势动作信息中的手势动作形态信息与终端轨迹信息中的轨迹形态信息来判断手势动作的形态与终端轨迹的形态是否相似，例如，在二者的相似度在预定的相似度阈值以上时，判断为二者相似。在步骤S82的判断结果为“相似”时，进入步骤S83，判断为手势动作与终端轨迹相匹配，在步骤S82的判断结果为“不相似”时，进入步骤S84，判断为手势动作与终端轨迹不相匹配。

在步骤S83与步骤S84之后，进入步骤S85，输出判断结果。在这里，图5B表示的是判断一个手势动作是否与终端轨迹相匹配的处理流程，在有多个手势动作时，对这些手势动作分别执行这样的处理流程，不过，在最终输出的判断结果中，只能有一个手势动作与终端轨迹相匹配，即，步骤S85中输出的判断结果中，与终端轨迹匹配成功手势动作只能有一个，而不能有多个。例如，在步骤S81与步骤S82中判断出了多个手势动作与终端轨迹时间一致度在预定的一致度阈值以上且形态相似度在预定的相似度阈值以上时，进一步进行处理，判断这些手势动作中哪一个与终端轨迹的时间一致度最高或者与终端轨迹的形态相似度最高，将其确定为最终的与终端轨迹匹配成功的手势动作。

下面参照图6对智能手机200侧的处理流程的一个例子进行说明。该处理流程是由智能手机200所具有的处理器110执行的，另外，该处理流程的开始可以以智能手机200通过蓝牙、UWB或Wi-Fi等方式与车辆100连接成功为条件。

如图6所示，在步骤S1中，处理器110监视智能手机200是否指向了车辆100，即是否检测到智能手机200指向了车辆100。如上所述，可以利用智能终端具有的加速度传感器和/或陀螺仪传感器以及蓝牙/UWB/Wi-Fi的定向/定位技术检测到智能终端由初始某一姿态变成了背面指向车辆，以判断智能终端是否指向车辆。

在检测到智能手机200指向车辆100时，进入步骤S2，使智能手机200的显示屏140上显示提示，以告知用户智能手机200已识别到指向的车辆100并与其连接成功，使用户知晓可以通过智能手机200对车辆100进行控制。

之后，进入步骤S3，监视用户是否对智能手机200执行了预定操作，该预定操作表示用户想要车辆100激活隔空控制功能，例如可以是长按电源键预定时间(例如3秒)。

在步骤S3中，在接收到用户执行的预定操作时，智能手机200通过无线通信模块120向车辆100发送用于激活隔空控制功能的控制指令。

之后，进入步骤S39，监视车辆100发送来的反馈信息，在接收到车辆100发送来的表示隔空控制功能已激活的信息后，进入步骤S40。

在步骤S40中，在显示屏140上显示信息，以提示用户车辆100已激活隔空控制功能。

之后，进入步骤S50，通过加速度传感器172和/或陀螺仪传感器171的传感器信息检测智能手机200的运动轨迹，在检测到智能手机200的运动轨迹得到运动轨迹信息时，进入步骤S70，将该运动轨迹信息通过无线通信模块120发送给车辆100。如上所述，该运动轨迹信息用于与手势动作信息进行比较，因此，为了提高比较结果的可靠性，该运动轨迹信息可以是在用户对智能手机200进行预定操作后智能手机200进行运动而产生的运动轨迹信息，例如，在用户发出语音指令“开始”时，检测智能手机200的运动轨迹，在用户发出语音指令“结束”时，停止检测智能手机200的运动轨迹，将此“开始”至“结束”期间智能手机200进行运动产生的运动轨迹信息发送给车辆100。

在步骤S70之后，进入步骤S71，判断是否经过了第三预定时间，在经过了第三预定时间时，结束本次处理流程，在没有经过第三预定时间时，进入步骤S72。

在步骤S72中，监视是否从车辆100接收到请求信息。具体而言，有时车辆100侧可能没有准确识别出用户的手势动作，此时，该车辆100向智能手机200发送请求信息，以请求用户再次做出手势动作(图5A中的步骤S64)，当接到该请求信息时，进入步骤S73，如图8C所示，在显示屏140上显示信息，以提示用户再次用握持智能手机200的手做出手势动作。

之后，返回步骤S71，继续判断是否经过了第三预定时间，直至经过了第三预定时间，结束本次处理流程。

在上面所说明的实施例中，车辆100在检测到手势动作时，将该手势动作与用户300所持有的智能手机200的运动轨迹进行比较，判断二者是否相匹配，在判断为相匹配时，执行与该手势动作对应的控制指令。因此，即便用户300附近存在其他用户，并且其他用户做出了与控制指令对应的预定手势动作，但是车辆100也不会错误地依据该手势动作做出响应。如此，在上面所说明的实施例中，以手势动作与智能手机200的运动轨迹相匹配为条件判断为执行手势动作所对应的控制指令，从而，即便不进行人脸识别，车辆100也能够有效地识别到有效的手势动作，从人机交互的角度看，即便不进行人脸识别，也能够实现用户300与车辆100的有效交互。

在上面的说明中，车辆100通过调整可旋转的摄像头21的朝向来使智能手机200或者说用户300位于摄像头21的检测范围内，然而，作为其他的实施例，也可以在车辆100上配置多个朝向不同即检测范围不同的摄像头21，根据智能手机200的位置判断该智能手机200位于哪一个或者哪些摄像头21的检测范围内，从而使用相应的摄像头21的检测信息来识别用户300的手势动作。

另外，在上面的说明中，以用户300做出的手势动作表示使车辆100驶向自己的控制指令，然而，本实施例也可以适用于其他控制指令，例如表示使车门解锁的控制指令、开启空调的控制指令等。此时，车辆100侧所执行的使向用户300所在位置行驶的控制、使车门解锁的控制与开启空调的控制均是本申请中的第一控制的例子。

另外，在上面的说明中，车辆100的用户识别功能与手势动作识别功能集成在了一个单元即用户及手势动作识别单元中，然而，作为其他的实施例，也可以分别设置用户识别单元和手势动作识别单元。

另外，在上面的说明中，用户300用握持智能手机200的手做出表示相应控制指令的手势动作，车辆100通过将该手势动作与智能手机200的运动轨迹进行匹配，来判断是否执行该手势动作所表示的控制指令。然而，作为变形例，也可以是在用户300首次用握持智能手机200的手做出手势动作之后，车辆100判断将该手势动作与智能手机200的运动轨迹是否相匹配，在判断为相匹配后，将做出该手势动作的用户300认证为有效用户，之后，利用视觉跟踪技术，持续地识别该有效用户，执行该有效用户的手势动作所表示的控制指令。如此，用户300例如只需在做出第一次手势动作时手持智能手机200并用握持该智能手机200的手做出手势动作，之后的隔空操作不必再以手持智能手机200为条件，从而，提高了隔空操作的便利性。

这里的用户300握持智能手机200进行的手势动作对应本申请中的第一手势动作，相应地，车辆100根据摄像头20等得到的关于第一手势动作的手势动作信息对应本申请中的第一手势动作信息。在被认证为有效用户后，用户300所进行的手势动作对应本申请中的第二手势动作，应地，车辆100根据摄像头20等得到的关于第二手势动作的手势动作信息对应本申请中的第二手势动作信息。

另外，在上面的说明中，以智能手机200作为移动终端的一例进行了说明，然而，本申请并不限于此。具体而言，可以采用具有能够检测自身运动轨迹并能够与车辆100建立通信连接的功能的其他移动终端来代替智能手机200，例如智能手表等可穿戴设备或智能车钥匙。此时，智能手表等可穿戴设备或智能车钥匙中内置加速度传感、陀螺仪传感器等传感器以能够检测自身的运动轨迹，此外还内置有蓝牙等通信模块以能够与车辆100进行通信连接并将其自身的运动轨迹信息发送给车辆100。

另外，由以上的说明可知，本实施例中提供了用于实现用户与车辆的交互的人机交互方法以及其中涉及的车辆控制装置10、由该车辆控制装置10执行的车辆控制方法(图5A)、作为该车辆控制装置10的车载计算机设备、该计算机设备所具有的计算机可读存储介质、该计算机可读存储介质中存储的计算机程序，其中，该计算机程序在被处理器执行时，发挥车辆控制装置10的功能，执行图5A所示的方法流程。同时，车辆控制装置也是人机交互装置的一例，因此也可以说本实施例还提供了一种人机交互装置。另外，图5A、图5B中所示的处理也可以看做是对手势动作的鉴别处理，用于鉴别根据光学传感器识别到手势动作是否为有效用户的手势动作，因此也可以说本实施例提供了一种手势鉴别方法与手势鉴别装置。

【实施例2】

下面对本申请实施例2进行说明。

本实施例涉及一种通过用户的手势动作召唤车辆的方法。

具体而言，在本实施例中，参照图9，用户301操作智能手机201上的打车软件通过云端服务器400预约无人驾驶出租车(Robotaxi)，此时，智能手机201将自己的位置信息通过通信网络发送给云端服务器400，云端服务器400经过调度处理后，选定作为无人驾驶出租车的车辆101，并通过通信网络将智能手机201的位置信息发送给车辆101，车辆101根据该位置信息向用户301行驶。在到达用户301附近时(例如100米或数十米)，车辆101希望知道用户301的精确位置，以便提供更细致的服务，例如准确地停止在用户301所在位置(身旁)。但是，有时智能手机201发送来的位置是有一定的偏差的，因此，依据智能手机201发送来的位置并不能得到用户301的精确位置。

为此，在本实施例中，车辆101通过云端服务器400向用户301的智能手机201发送消息，请求用户301用握持智能手机201的手进行预定或者任意手势动作。之后，用户301用握持智能手机201的手持做出手势动作，此时，一方面，智能手机201通过检测得到表示智能手机201的运动轨迹的终端轨迹信息，并将终端轨迹信息发送给云端服务器400，另一方面，车辆101通过车载摄像头等的检测信息得到表示用户301的手势动作的手势动作信息，并将该手势动作信息发送给云端服务器400。之后，车辆101将从智能手机201接收到的运动轨迹信息和通过车载摄像头检测到的手势动作信息进行比较，判断二者是否相匹配，并将判断结果发送给车辆101。在判断结果为“相匹配”时，车辆101将用户301确认为目标乘客，通过基于光学传感器(摄像头、毫米波雷达等)的视觉跟踪技术持续地跟踪该用户301，利用自动驾驶功能向该用户301行驶，从而例如能够在用户301所在位置停止，提供细致的服务。此时，用户301的预定或者任意手势动作的含义可以理解为“请将我认证为有效用户”，因此，相应地，车辆101根据该手势动作执行将用户301认证为有效用户的控制，这里的认证为有效用户的控制是本申请中第一控制的一例。

下面参照图10-图18等对本实施例进行更加详细的说明。

首先参照图10对车辆101的相关结构进行说明。

图10所示的车辆101的结构与图2中所示的车辆100的结构相比，主要区别在于，不具有车辆100中的手势匹配模块12、终端ID认证模块14、终端轨迹获取模块15、指令识别模块16，而具有用于从云端服务器400获取匹配处理结果的匹配处理结果获取模块18。其他结构与车辆100相同，对于相同的结构，使用了相同的附图标记，并省略了对其的详细说明。

在本实施例中，车辆101并不进行判断手势动作与终端轨迹是否相匹配的匹配处理，该匹配处理由云端服务器400执行，云端服务器400执行该匹配处理后将表示匹配处理结果的信息发送给车辆101。

下面参照图11对云端服务器400的相关结构进行简要的说明。

如图11所示，云端服务器400是具有处理器和存储器的计算机，存储器中存储有程序指令，该程序指令被处理器执行时发挥相应的功能模块的作用，这些功能模块至少包括手势动作获取模块411、终端ID认证模块414、终端轨迹获取模块415、手势匹配模块412和匹配处理结果输出模块418。另外，典型地，云端服务器400还具有无线通信单元(未图示)，能够通过无线通信单元同车辆101和智能手机201进行无线通信。

手势动作获取模块411用于通过无线通信单元从车辆101获取手势动作信息，该手势动作信息是车辆101根据车载的摄像头等传感器得到的。

终端ID认证模块414用于对移动终端的ID信息进行认证，当接收到智能手机201的ID信息时，由于该智能手机201是打车软件注册用户(终端)，因此将该智能手机201的ID认证为有效。

终端轨迹获取模块415用于通过无线通信单元从被认证为ID有效的移动终端即智能手机201获得终端轨迹信息，该终端轨迹信息是智能手机201根据其所具有的加速度传感器和/或陀螺仪传感器获得的，表示智能手机201的运动轨迹。

手势匹配模块412用于将手势动作获取模块411获取到的手势动作信息与终端轨迹获取模块415获取到的终端轨迹信息进行比较，判断二者是否相匹配。具体而言，该手势匹配模块412具有形态相似性判断单元412a与时间一致性判断单元412b。

形态相似性判断单元412a用于判断手势动作的形态与移动终端的运动轨迹的形态是否相似，例如在达到一定的相似程度以上或者说达到预定的相似度阈值以上时，判断为二者相似。形态相似性判断单元412a可以用预设的模板来与运动轨迹、手势动作进行比较从而判断手势动作的形态与移动终端的运动轨迹的形态是否相似。也可以通过训练好的轨迹匹配模型进行匹配判断。轨迹匹配模型可以以用户用握持智能终端的手做预定手势动作时，采集到的智能终端的运动轨迹和摄像头采集到的用户手势动作作为样本，训练CNN(Convolutional Neural Networks，卷积神经网络)模型或MLP(Multi-layer perceptron，多层感知机)模型的方式获得。

时间一致性判断单元412b用于判断手势动作的时间与运动轨迹的时间是否一致，例如在达到一定的一致度阈值以上时，判断为二者相一致。

在本实施例中，在形态相似性判断单元412a的判断结果为“相似”，并且时间一致性判断单元412b的判断结果为“一致”时，手势匹配模块412判断为手势动作信息与运动轨迹信息相匹配。

匹配处理结果输出模块418用于通过无线通信单元向车辆即车辆101输出表示手势匹配模块412的判断结果的匹配判断结果信息。

在本实施例中，判断手势动作信息与运动轨迹信息是否相匹配的手势匹配处理由服务器400来执行，如此，能够降低车辆侧的处理负担，并且由于云端服务器400的处理能力较车辆强大，因而能够提高处理的速度。

图12是用户通过智能手机预约出租车的交互过程说明图。下面参照图12对用户301预约出租车即所谓的“打车”的流程进行说明。

如图12所示，在步骤S101中，用户301通过智能手机201向云端服务器400发送用车请求，同时将智能手机201的位置信息、ID信息发送给云端服务器400。

在步骤S102中，云端服务器400根据智能手机201的ID信息进行身份和/或权限认证，认证成功后进行从多个车辆中选择合适的车辆的调度处理，例如选定车辆101。

在步骤S103，云端服务器400向选定的车辆101发送调度安排信息。

在步骤S104，车辆101接收到调度指令后对自身状况进行自检。

在步骤S105，在自检没有问题时，车辆101向云端服务器400发送车辆正常的反馈信息。

在步骤S106，云端服务器400接收到车辆101的表示车辆正常的反馈信息后，向自智能手机201发送车辆安排成功消息，并将车辆101的信息(例如车牌号等)发送给智能手机101。

与步骤S106并行，在步骤S107中，云端服务器400向车辆101发送由终端位置信息、终端ID信息表征的用户信息。

在步骤S108中，车辆101接收到云端服务器400发送来的上述用户信息后，激活自动驾驶功能，根据终端位置信息自动行驶至距终端位置规定范围内(例如100米或数十米)即上车地点附近。

当车辆101行驶到上车地点附近时，例如图13所示，在车辆101所行驶的车道500的路旁存在人群330，人群330中包含用户301，此时，为了能够获得用户301的精确位置或者识别人群330中哪一个人是用户301，车辆101请求用户301与其进行如图15所示那样的交互。

具体而言，如图15所示，在步骤S110中，当车辆101根据智能手机201的终端位置信息判断为行驶至距离用户301规定范围内即到达上车地点附近时，激活“用户与具体上车地点识别功能”，具体而言，例如如果此时摄像头20没有开启，则开启摄像头20，并且，根据智能手机201的终端位置信息判断是否需要调整摄像头20的朝向，从而能够利用车载的摄像头20来识别用户301。这里的“规定范围”例如可以是距离智能手机201的位置100米或数十米的范围，具体可以根据车载的摄像头20等的传感器的检测范围设定。在步骤S110之后，进入步骤S111。

在步骤S111中，车辆101向云端服务器400发送表示“用户与具体上车地点识别功能已激活”的信息。

在步骤S120中，云端服务器400接收到该消息时，向智能手机201发送信息，以能够告知用户301：车辆101已到达上车地点附近并且已激活“用户与具体上车地点识别功能”。

在步骤S130中，当智能手机201接收到云端服务器400发来的消息时，例如在显示屏上显示提示信息或者通过扬声器播放语音，以告知用户301：车辆101已到达上车地点附近并且已激活“用户与具体上车地点识别功能”。

用户301看到显示屏上的提示信息或者听到扬声器播放的语音后，用握持智能手机201的手朝向车辆101驶来的方向做出手势动作，例如挥手。

此时，在步骤S150中，车辆101根据车载的摄像头20能够得到用户301周围的环境影像，例如图14所示。该图14是摄像头20所拍摄到的包含用户301在内的用户301周围的环境影像，为了便于说明，关于图13中的人群330，在图14中仅示出了用户301和一个其他用户302。此时，车辆101根据摄像头20拍摄到的该环境影像(或者可以结合其他传感器例如毫米波传感器的检测信息)能够检测到用户301及其做出的手势动作。然而，如图14所示，用户301附近还存在想打车的其他用户302，该其他用户302看到作为出租车的车辆101时，并不知道该车辆101是用户301预约的，因此也做出挥手动作意图召唤车辆101。此时，车辆101既检测到了用户301的手势动作，也检测到了其他用户302的手势动作，因此，车辆101仅根据手势动作信息不能准确识别用户301。

为此，在本实施例中，在步骤S170中，车辆101将检测到的关于用户301的手势动作信息与关于其他用户302的手势动作信息发送给云端服务器400。

另一方面，在用户301用握持智能手机201的手做出手势动作时，智能手机201利用其所具有的加速度传感器和/或陀螺仪传感器检测得到表示自身的运动轨迹的终端轨迹信息。

之后，在步骤S140中，智能手机201将得到的终端轨迹信息发送给云端服务器400。

在步骤S180中，云端服务器400将接收到的手势动作信息与终端轨迹信息相比较，判断二者是否相匹配。具体的判断方法可以与上述实施例中一致(参照图5B)，在此省略对其的详细描述。

在图14所示场景的情况下，存在两个手势动作信息即关于用户301的手势动作信息与关于其他用户302的手势动作信息，由于智能手机201是随着用户301的手(或者说手臂)一同运动的，那么用户301的手势动作信息与智能手机201的终端轨迹信息事实上是相匹配的(形态的相似性和时间的一致性好)，因此，云端服务器400将用户301的手势动作信息判断为与终端轨迹信息相匹配，而将其他用户302的手势动作信息判断为与终端轨迹信息不匹配。

在步骤S190中，云端服务器400完成手势匹配处理后，向车辆101发送表示该手势匹配处理的结果的信息。

在步骤S196中，车辆101接收到云端服务器400发送来的手势匹配处理结果，根据该手势匹配处理结果将用户301认证为有效用户。这里的“将用户301认证为有效用户”的意思是，将根据摄像头20等传感器得到的信息中的“用户301”认证为有效用户，或者说将根据摄像头20等传感器得到的关于用户301的信息认证为有效用户信息。之后，车辆101基于摄像头20等传感器的检测信息，利用视觉跟踪技术来持续地识别该用户301，并基于此利用自动驾驶功能向用户301行驶；或者，车辆101基于摄像头20等传感器的检测信息，精确地识别用户301所在的位置，并基于此利用自动驾驶功能向用户301行驶。

采用本实施例，例如图14所示，当上车地点处存在两个以上的用户即用户301与其他用户302且两个以上的用户皆做出手势动作时，通过将手势动作信息与智能手机201的运动轨迹信息进行比较，判断二者是否相匹配，可以准确地将用户301识别为有效用户或者准确地识别出用用户301的具体上车位置，即，采用本实施例，即使不进行人脸识别也能够进行有效的人机交互。

另外，图14所示的场景仅仅是一个例子，然而，有时可能用户301的附近并不存在其他用户，此时，车辆101仅检测到一个手势动作，因此向云端服务器400也仅发送关于一个手势动作的手势动作信息，或者有时用户301附近有多个其他用户做出手势动作，此时，车辆101可以将检测出的所有手势动作信息都发送给云端服务器400。

下面分别参照图16和图17对交互时车辆101侧的处理流程与云端服务器400侧的处理流程进行说明，以期更加细致地描述本实施例。

首先，参照图16对车辆101侧的处理流程进行说明。

如图16所示，在车辆101到达上车地点附近时，在步骤S110中，激活摄像头20并判断是否需要调整摄像头20的朝向，需要时，对该摄像头20的朝向进行调整，以使摄像头20的检测范围覆盖用户301所在位置从而能够很好地检测到用户301。

之后，在步骤S111中，车辆101向云端服务器400发送表示“用户与具体上车地点识别功能已激活”的信息。

之后，在步骤S150中，车辆101监测是否检测到手势动作，在检测到手势动作时，进入步骤S170。

在步骤S170中，车辆101将得到的手势动作信息发送给云端服务器400。

之后，在步骤S192中，监测是否接收到云端服务器400发送来的手势匹配处理结果，在接收到该手势匹配处理结果，在接收到时，进入步骤S193。

在步骤S193中，判断手势匹配处理结果是否表示存在与终端轨迹信息相匹配的手势动作信息，在存在时，进入步骤S196，当不存在时，认为是对用户301的手势动作识别失败，此时由于车辆101可能已经行驶到距离用户301很近的位置了，因此，不再继续要求用户301做出手势动作，结束本次处理。另外，此时，车辆101可以继续跟进终端位置信息向用户301行驶。

另一方面，在步骤S193的判断结果表示存在相匹配的手势动作信息时，在步骤S196中，根据通过摄像头20等的传感器对用户301的识别，车辆101向用户301所在位置进行行驶。

下面参照图17对用户301与车辆101进行交互时云端服务器400侧的处理流程进行说明。

如图17所示，在步骤S178中，云端服务器400监测是否从车辆101获取到了手势动作信息以及是否从智能手机201获取到了终端轨迹信息，在获取到手势动作信息与终端轨迹信息时，进入步骤S180。

在步骤S180中，判断手势动作信息与终端轨迹信息是否相匹配，该判断手势动作信息与终端轨迹信息是否相匹配处理可以与上述实施例一致(参照图5B)，在这里省略了对其的详细描述。

在完成步骤S180中的手势匹配处理时，进入步骤S190，输出判断结果。在这里，如在上述实施例中所说明的，在存在多个手势动作时，在最终输出的判断结果中，只能有一个手势动作与终端轨迹相匹配，例如，在判断出了多个手势动作与终端轨迹时间一致度在预定的一致度阈值以上且形态相似度在预定的相似度阈值以上时，进一步进行处理，判断这些手势动作中哪一个与终端轨迹的时间一致度最高或者与终端轨迹的形态相似度最高，将其确定为最终的与终端轨迹匹配成功的手势动作。

如上所述，在本实施例中，当车辆101行驶到上车地点附近时，车辆101向用户301的智能手机201发送信息，请求用户301做出手势动作，用户301得知该信息的内容后，用握持智能手机201的手做出手势动作。此时，一方面，车辆101通过摄像头20等传感器检测而得到用户301的手势动作信息，并将手势动作信息发送给云端服务器400。另一方面，智能手机201随用户301的手一同移动时，利用其所具有的加速度传感器和/或陀螺仪传感器等进行检测而得到智能手机201的运动轨迹信息即终端轨迹信息，并将得到的终端轨迹信息发送给上述云端服务器400。云端服务器400在接收到手势动作信息与终端轨迹信息时，判断二者是否相匹配，并将匹配处理的结果发送给车辆101，车辆101将与终端轨迹信息相匹配的手势动作信息所对应的用户301认证为有效用户，之后，根据摄像头20等传感器的检测信息识别该用户301的位置，或者对用户301进行视觉跟踪，持续地对其进行识别，从而能够使车辆101行驶到用户301所在的精确位置。

如此，采用本实施例，通过将手势动作信息与终端轨迹信息进行比较来判断手势动作信息是否为关于有效用户的手势动作信息，因而，即便用户301做出手势动作时其附近还有其他人(例如图14中的其他用户302)也做出手势动作，车辆101也能够准确地将用户301(及其手势动作识别)为有效用户(及有效手势动作)，从人机交互的角度看，能够实现有效的人机交互，而不需要进行人脸识别也可。

另外，在本实施例中，要求用户301做出手势动作的目的是使车辆101能够将其认证为有效用户，因此，此时用户301做出的手势动作不受限制，可以是任意动作，而不必是预定手势动作。然而，作为变形例，也可以要求用户301做出预定手势动作，例如用手“划圆”。不过，与该变形例相比，不限制手势动作的方式，可以避免用户感到麻烦，而且，例如还可以避免用户301在人群中做出在他人看来是“奇怪动作”的预定手势动作而显得尴尬。

下面再描述一些本实施例的变形例。

上述图12提供了一种用户预约无人驾驶出租车的约车方式，此外，也可以采用其他方式实现约车。

例如，在图18中提供了另一种约车方式。图12所提供的方式设想的场景是用户301距离车辆101较远，例如不在车辆101的车载网络的覆盖范围内。而图18所提供的方式设想的场景是，用户301距离车辆101相对较近，能够与车辆101进行通信。这样的场景例如是共享用车时通过扫码的方式将用车请求发给车辆的场景等。

具体而言，参照图18，在步骤S101A中，用户301的智能手机201与车辆101建立通信连接，并向车辆101发送用车请求信息，同时发送智能手机201的终端ID信息。

在步骤S102A中，车辆101接收到该用车请求信息后，进行车辆状况自检。

在步骤S103A中，在自检没有发现问题时，车辆101向云端服务器400发送车辆状况正常的信息，并将智能手机201的终端ID信息发送给云端服务器400，请求依据该终端ID信息对用户身份/权限进行认证。

在步骤S104A中，云端服务器400依据接收到的终端ID信息对用户身份/权限进行认证，之后将认证结果发送给车辆101。

在步骤S105中，车辆101接收到云端服务器400发送来的认证结果信息，并且认证结果表示终端ID信息的认证通过时，车辆101开启摄像头20，激活用户识别功能，并向智能手机201发送表示“用户识别功能已激活”的信息。之后的处理与图16中的步骤S150至步骤S196的步骤相同。

另外，在上面的说明中，以无人驾驶出租车为例进行了描述，然而，本申请也可以适用于有驾驶员的出租车和网约车，或者有安全员坐在车内的自动驾驶出租车。此时，在车辆的控制装置将用户301认证为有效用户后，可以在车辆的显示器(例如导航装置的显示器)上显示图像画面或视频画面，该图像画面或视频画面是用户301的周边环境的影像并且其中包含用户301的影像，且该用户301的影像被予以突出显示，以提示驾驶员该用户301为有效用户。作为此处所谓的突出显示的方式，例如可以用矩形线框围住用户301或者将用户301的全部影像或一部分影像(例如头部的影像)放大显示。

另外，在上面的说明中，由云端服务器400来判断手势动作信息与终端轨迹信息是否相匹配，然而，作为变形例，也可以由车辆101的车辆控制装置来进行该判断，此时车辆101从云端服务器400接收终端轨迹信息，将自身检测到的手势动作信息与从云端服务器400接收到的终端轨迹信息相比较，判断二者是否相匹配。

下面参照图19对该变形例进行简要的说明。图19中所示的内容与图15相比，步骤S160之前的处理相同，因此，对这些相同内容省略了描述。

如图19所示，在步骤S162中，当云端服务器接收到智能手机发送来的终端运动轨迹信息时，将该终端运动轨迹信息发送给车辆，车辆将该终端运动轨迹信息与步骤S150中得到的手势动作信息相比较，判断手势动作信息与终端轨迹信息是否相匹配。之后，在步骤S196中，将与终端轨迹信息相匹配的手势动作信息所对应的用户即用户301认证为有效用户，然后，控制车辆向该有效用户行驶。

本实施例中的“在上车地点附近利用视觉追踪技术使车辆101向用户301所在位置行驶的控制”、“在图像画面上突出显示用户301的影像的控制”均是本申请中第一控制的一例。

【实施例3】

本实施例涉及一种用户与送餐机器人交互的方法。

近来，越来越多的餐厅使用送餐机器人进行送餐。此时，一般是需要预先设定具体餐桌的位置送餐机器人才能准确送餐，这造成顾客不能自由选择位置或者选定位置后不能更换位置。

另外，有时，同一个餐桌上的多位顾客是分别点餐的，或者，有的餐桌是长排桌(常见于快餐店)，此时，机器人并不能准确分辨哪一个顾客是正确的送餐对象，无法提供更细致的服务(例如以最佳的角度面向顾客)。如果要求顾客挥手致意的话，例如在用餐高峰时刻可能会有多个人挥手，使机器人产生混乱。

为此，本实施例提供了一种用户与送餐机器人交互的方法。下面参照图20对本实施例的应用场景进行说明。

如图20所示，在餐厅侧，作为网元，包括网络服务器401、电子号码牌202、号码牌总机210、送餐机器人102,。

网络服务器401是餐厅局域网的服务器，在本实施例中，该网络服务器401还构成用于送餐分配的计算机设备，例如通过自动调度或者接收操作者的操作指令的方式安排相应的送餐机器人102进行送餐。

每个电子号码牌202上设有不同的号码标识，能够由顾客观察到，另外，作为移动终端的电子号码牌202还具有芯片与蓝牙等通信模块，能够通过蓝牙等方式与号码牌总机210建立通信连接，此外，电子号码牌202还具有加速度传感器和/或陀螺仪传感器，从而能够检测电子号码牌202的运动轨迹得到运动轨迹信息。

号码牌总机210对应有多个电子号码牌202，与电子号码牌202间通过蓝牙等方式建立通信连接，另外，号码牌总机210通过有线或者Wi-Fi等方式与网络服务器401建立通信连接。

送餐机器人102内置有控制单元且具有行驶系统(驱动电机、轮子等)，另外，送餐机器人102具有头部102a，在头部102a内设有摄像头(未图示)，通过该摄像头能够检测周边环境。从而，在控制单元的控制下，送餐机器人102能够根据摄像头对周边环境进行检测得到的检测信息进行自主行走或者自主移动。另外，送餐机器人102上设有可拆卸的餐盘102b，餐盘102b上可放置食物。再者，在本实施例中，送餐机器人102还具有扬声器(未图示)，通过扬声器能够发出语音。

另外，送餐机器人102还内置有通信单元，能够通过Wi-Fi等方式与网络服务器401建立通信连接，接收网络服务器401的调度指令从而能够对相应的顾客进行送餐。

在图20所示的场景中，在餐厅内设有一个长排桌402，长排桌402前有三位顾客，即顾客303、顾客304与顾客305，其中，顾客303是本实施例中的有效用户。该顾客303在点餐台(未图示)处点餐后被餐厅服务人员分发给一个电子号码牌202，之后该顾客303在长排桌402的任意空闲位置处就坐。

当餐厅方面将顾客303所点的餐准备完成时，由送餐机器人102开始对顾客303送餐。此时，送餐机器人102并不知晓顾客303是哪位顾客以及他的位置在哪里，因此，送餐机器人102通过扬声器发出语音，语音的内容例如是“XX号顾客，送餐机器人正在寻找您，请手持号码牌挥手”，以告知顾客303用握持电子号码牌202的手做出手势动作。顾客303听到该语言后，面朝送餐机器人102所在方向，用握持号码牌的手做出手势动作。此时，一方面，送餐机器人102通过摄像头识别到顾客303及其手势动作。另一方面，电子号码牌202通过加速度传感器和/陀螺仪传感器得到表示其自身运动轨迹的终端运动轨迹信息，并将该终端运动轨迹信息通过号码牌总机210发送给网络服务器401，网络服务器401将该终端轨迹信息发送给送餐机器人102。送餐机器人102判断表示手势动作的手势动作信息与终端轨迹信息是否相匹配，具体的判断方法可以与实施例1中相同(参照图5B)，在此省略对其的详细说明。在判断为相匹配时，送餐机器人102将该手势动作信息对应的顾客303认证为送餐对象即有效用户，通过视觉跟踪技术自主移动到该顾客所在位置，并且能够精确地以面朝该顾客的姿态将食物送到顾客身旁，实现精准送餐与精细化服务。

采用本实施例，送餐机器人102通过判断手势动作信息与关于电子号码牌202的终端轨迹信息是否相匹配，来判断顾客是否为有效用户，从而能够准确地识别出有效用户。在识别的过程中，不需要限制顾客的就坐位置，顾客可以自由选择位置就坐；另外，即便送餐机器人102所要寻找的顾客(例如上述顾客303)身旁有其他顾客(例如上述顾客304)，其他顾客也做出手势动作，也能够将所要寻找的顾客识别为有效用户。从人机交互的角度看，不需要人脸识别，也能够进行有效的人机交互。

另外，在上面的描述中，虽然送餐机器人102发出语音要求顾客303做出挥手的手势动作，但是顾客303做出其他手势动作也可以，这时也能够根据手势动作信息与终端轨迹信息将顾客303认证为有效用户。

另外，在上面描述的实施例中，手势动作信息与运动轨迹信息是否相匹配的判断由送餐机器人来进行，然而，也可以由餐厅内的网络服务器401来进行。

另外，在本实施例中，作为移动终端，以电子号码牌为例进行了说明，然而，移动终端也可以是顾客所持有的智能手机，此时，需要智能手机与网络服务器401建立通信连接，将表示智能手机的运动轨迹的终端轨迹信息发送给网络服务器401。

另外，本实施例不仅可以适用于餐厅，还可以适用于具有移动机器人的仓库等中。

【实施例4】

作为人机交互方法的一例，本实施例涉及一种用户与智能电视交互的方法。

随着智能家居的逐渐普及，很多智能电视提供了隔空控制的功能，用户可以通过手势动作来对智能电视进行控制。然而，在多人看电视的情况下，如果有多个人同时做出手势动作，智能电视不能判断应该执行哪个手势动作，从而难以进行有效的人机交互。

为此，本实施例提供一种能够进行有效的人机交互的用户与智能电视交互的方法。

具体而言，如图21所示，在房间内设有智能电视103以及与智能电视103配套的遥控器203，在智能电视103上例如通过USB(Universal Serial Bus，通用串行总线)方式外接有摄像头103a。智能电视103能够通过摄像头103a检测房间内的用户及其手势动作。另外，不言而喻，智能电视103也可以内置有摄像头，通过该内置摄像头检测房间内的用户及其手势动作。由此可以看出，不管是外接摄像头103a还是内置摄像头，本质上这两种摄像头都是智能电视103的一部分，从属于智能电视103。遥控器203内置有蓝牙等通信模块从而能够与智能电视103进行无线通信，此外还内置有芯片(处理器与存储器)、加速度传感器/陀螺仪传感器从而能够检测遥控器203的运动轨迹，并将表示遥控器203的运动轨迹的终端轨迹信息发送给智能电视103。

另外，在房间内放置有桌子403，围着桌子403坐有观看者306与观看者307，其中，观看者306手持遥控器203，是本实施例中的有效用户。

在需要利用智能电视103的隔空控制功能时，观看者306操作遥控器203激活智能电视103的隔空控制功能(可以通过按动遥控器上的专用按键一键触发，或者对遥控器进行预定操作，例如长按某键来触发，或者通过遥控器在电视显示屏的操作界面上进行选定而触发)，此时，智能电视103开启摄像头103a，之后，观看者306用握持遥控器203的手做出任意手势动作，智能电视103通过摄像头103a识别出观看者306及其手势动作，得到手势动作信息。另一方面，遥控器203通过加速度传感器/陀螺仪传感器检测到自身的运动轨迹，并将表示该运动轨迹的运动轨迹信息发送给智能电视103。智能电视103判断手势动作信息与运动轨迹信息是否相匹配，在判断为相匹配时，并将其与从遥控器接收到的遥控器运动轨迹比较，判断二者是否相匹配，在判断为相匹配时，将与手势动作信息对应的观看者306认证为有隔空控制权限的用户即有效用户，此后利用视觉跟踪技术，仅根据该观看者306的手势动作和/或其他隔空操作例如眼球操作等做出响应，而将其他用户例如观看者307做出的隔空操作判定为无效。

本实施例的智能电视可以用于家庭中，也可以用于办公会议场景，此时，可以在智能电视上进行幻灯片画面演示等。

采用本实施例，智能电视103通过判断手势动作信息与关于遥控器203的终端轨迹信息是否相匹配，来判断观看者是否为有效用户，从而能够准确地识别出有效用户。在识别的过程中，即便有多个观看者，也能够将所要正确的观看者(例如上述观看者306)识别为有效用户。从人机交互的角度看，不需要人脸识别，也能够进行有效的人机交互。

在上面的描述中，以遥控器203作为移动终端的一例进行了说明，然而，也可以采用智能手机等其他移动终端。

在上面各实施例的描述中，以车辆、智能电视、送餐机器人作为对象设备的例子进行了说明，然而，本申请的人机交互技术还可以应用在其他多种通过手势动作进行隔空控制的场景或者需要身份认证的场景中。

【其他内容】

除了上述本申请实施例之外，本说明书还对如下内容进行公开。

与上述实施例2的技术构思不同，在无人驾驶出租车的场景下，为了在上车地点精确找到用户的位置，可以请求与用户的智能手机进行位置共享。

另外，图22中提供了一种与实施例2技术构思不同的在上车地点附近车辆与用户进行交互的方法。具体而言，有时，由于卫星信号弱等原因，智能手机的定位信息产生了较大偏差，此时，为了寻找用户或者具体上车地点，可以由用户用智能手机对周围环境进行拍照，将拍摄到的图像通过服务器发送给车辆，车辆根据接收到的该图像信息，结合高精地图、车载摄像头拍摄到的影像来识别用户或者具体上侧地点。

下面参照图22来进行进一步的说明。

如图22所示，在步骤S410中，车辆到达用户位置附近。之后，在步骤S420中车辆向服务器发送请求获得用于具体上车地点的信息。在步骤S430中，服务器接收到该信息时向智能手机发送：车辆已到达用户位置附近，请求用户对周围环境进行拍摄的信息。用户获知该信息后，用智能手机进行拍摄。然后，在步骤S440中，智能手机进行拍摄并得到图像数据。在步骤S450中，智能手机将图像数据发送给服务器。在步骤S460中，服务器将接收到的图像数据发送给车辆。在步骤S470中，车辆用车载摄像头采集用户所在位置方向的图像，根据采集到的图像以及从服务器接收到的图像进行处理，以确定用户获知具体上车地点。然后，基于高精地图导航或利用视觉跟踪技术识别用户，并利用自动驾驶功能使车辆驶向用户。

图23中提供了一种与实施例1技术构思不同的远程控制车辆的方法。具体而言，在步骤S1中，智能手机检测到其指向车辆。之后，在步骤S2中，显示提示信息，告知用户已与车辆建立连接。用户获知提示信息的内容后，向智能手机发出语音指令，该语音指令用于控制车辆做出相应响应。之后，在步骤S503中，智能手机接收到该语音指令。然后，在步骤S504中，智能手机将语音指令发送给车辆。在步骤S505中，车辆接收到该语音指令，对该语音指令进行识别，并进行声纹验证，以认证用户的身份与权限，识别语音指令对应的控制指令。在步骤S506中，当验证成功时，执行语音指令所对应的控制指令。

Claims (20)

1.一种人机交互方法，

包括：

获取移动终端的运动轨迹信息，其中，所述运动轨迹信息通过所述移动终端的运动传感器得到；

获取用户的第一手势动作信息，其中，所述第一手势动作信息通过与用户进行交互的对象设备的光学传感器得到；

当所述第一手势动作信息与所述运动轨迹信息相匹配时，执行第一控制，所述第一控制包括根据第一手势动作信息所对应的控制指令执行的控制。

2.根据权利要求1所述的人机交互方法，其特征在于，

所述第一手势动作信息中包含手势动作形态信息与手势动作时间信息，

所述运动轨迹信息中包含运动轨迹形态信息与运动轨迹时间信息，所述方法还包括：

根据所述手势动作形态信息与所述运动轨迹形态信息的相似性以及所述手势动作时间信息与所述运动轨迹时间信息的一致性，确定所述第一手势动作信息与所述运动轨迹信息相匹配。

3.根据权利要求1或2所述的人机交互方法，

还包括：

根据所述光学传感器识别与所述第一手势动作信息对应的用户，

当所述第一手势动作信息与所述运动轨迹信息相匹配时，认证所述第一手势动作信息所对应的所述用户为有效用户。

4.根据权利要求3所述的人机交互方法，

还包括：

通过所述光学传感器获取所述有效用户的第二手势动作信息，所述第二手势动作信息在时间上晚于所述第一手势动作信息，

所述第一控制包括根据所述第二手势动作信息所对应的控制指令执行的控制。

5.根据权利要求3所述的人机交互方法，其特征在于，

所述对象设备是车辆，所述车辆具有显示器，所述第一控制包括在所述显示器上显示包含所述有效用户在内的环境影像，其中，所述有效用户在所述环境影像中被突出显示。

6.根据权利要求3所述的人机交互方法，其特征在于，

所述对象设备是车辆，所述第一控制包括：使所述车辆向所述有效用户进行自主移动。

7.根据权利要求1-6中任一项所述的人机交互方法，其特征在于，

所述获取第一手势动作信息以所述移动终端被进行预定操作为条件执行。

8.根据权利要求1-7中任一项所述的人机交互方法，其特征在于，

所述获取第一手势动作信息包括：

从所述移动终端获取所述移动终端的位置信息；

根据所述位置信息调整所述光学传感器使所述移动终端位于所述光学传感器的检测范围内。

9.根据权利要求1-8中任一项所述的人机交互方法，其特征在于，

所述获取第一手势动作信息包括：

在获取到所述运动轨迹信息但未在预定时间内获取到所述手势动作信息时，向所述移动终端发出请求进行第一手势动作的信息。

10.根据权利要求1-9中任一项所述的人机交互方法，

还包括：认证移动终端的ID的有效性，

所述获取移动终端的运动轨迹信息包括获取ID有效的移动终端的运动轨迹信息。

11.一种人机交互装置，应用于与用户进行交互的对象设备，

包括：

终端轨迹获取模块，用于获取移动终端的运动轨迹信息，所述运动轨迹信息通过所述移动终端的运动传感器得到；

手势动作获取模块，用于获取用户的第一手势动作信息，所述第一手势动作信息通过所述对象设备的光学传感器得到；

控制执行模块，用于当所述第一手势动作信息与所述运动轨迹信息相匹配时，执行第一控制，所述第一控制包括根据第一手势动作所对应的控制指令执行的控制。

12.根据权利要求11所述的人机交互装置，其特征在于，

所述第一手势动作信息中包含手势动作形态信息与手势动作时间信息，

所述运动轨迹信息中包含运动轨迹形态信息与运动轨迹时间信息，所述人机交互装置还包括：

手势匹配模块，其用于根据所述手势动作形态信息与所述运动轨迹形态信息的相似性以及所述手势动作时间信息与所述运动轨迹时间信息的一致性，确定所述第一手势动作信息与所述运动轨迹信息相匹配。

13.根据权利要求11或12所述的人机交互装置，其特征在于，

所述手势动作获取模块包括用户识别单元，所述用户识别单元根据所述光学传感器识别与所述第一手势动作信息对应的用户，

所述人机交互装置还包括用户认证模块，所述认证模块用于当所述第一手势动作信息与所述运动轨迹信息相匹配时，认证所述第一手势动作信息所对应的所述用户为有效用户。

14.根据权利要求13所述的人机交互装置，其特征在于，

所述手势动作获取模块根据所述光学传感器获取所述有效用户的第二手势动作信息，所述第二手势动作信息在时间上晚于所述第一手势动作信息，

所述第一控制包括根据所述第二手势动作信息所对应的控制指令执行的控制。

15.根据权利要求13所述的人机交互装置，其特征在于，

所述对象设备是车辆，所述车辆具有显示器，所述第一控制包括在所述显示器上显示包含所述有效用户在内的环境影像，其中，所述有效用户在所述环境影像中被突出显示。

16.根据权利要求13所述的人机交互装置，其特征在于，

所述对象设备是车辆，所述第一控制包括：使所述车辆向所述有效用户进行自主移动。

17.根据权利要求11-16中任一项所述的人机交互装置，其特征在于，

所述获取第一手势动作信息以所述移动终端被进行预定操作为条件执行。

18.根据权利要求11-17中任一项所述的人机交互装置，其特征在于，

还包括：

终端位置获取单元，其用于从所述移动终端获取所述移动终端的位置信息；

光学传感器致动控制单元，其用于根据所述位置信息调整所述光学传感器使所述移动终端位于所述光学传感器的检测范围内。

19.根据权利要求11-18中任一项所述的人机交互装置，其特征在于，

在获取到所述运动轨迹信息但未在预定时间内获取到所述手势动作信息时，向所述移动终端发出请求进行第一手势动作的信息。

20.根据权利要求11-19中任一项所述的人机交互装置，其特征在于，

还包括终端ID认证模块，用于认证移动终端的ID的有效性，

所述终端轨迹获取模块用于获取ID有效的移动终端的运动轨迹信息。

Images