CN104881127A - 虚拟车辆人机交互方法和系统 - Google Patents

Abstract

本发明公开了一种虚拟车辆人机交互方法和系统，结合手部动作实现对虚拟车辆的车门的开启，使得对虚拟车辆的控制更贴合实际使用习惯。方法包括：导入并显示车辆三维模型；接收深度传感器在其感知空间内获取的手部的深度信息；基于手部的深度信息，分析深度传感器感知空间内的手部的动作；基于手部的动作，判断是否开启车辆三维模型的车门；若是，则显示开启车辆三维模型的车门。相比于现有技术中客户需要预先学习对应开门的身体动作，通过实施身体动作来控制虚拟车辆开门的方式，本发明提出的基于手部动作开启虚拟车辆车门的方式更贴合客户使用习惯，无需客户学习身体动作，提高了客户的体验感。

Description

虚拟车辆人机交互方法和系统

技术领域

本发明涉及虚拟现实技术领域，尤其涉及一种虚拟车辆人机交互方法和系统。

背景技术

虚拟现实车辆演示系统中，客户通过鼠标、键盘或者点击触摸屏幕来控制显示在显示屏幕上的虚拟车辆，从而实现人与虚拟车辆的人机交互。

现有的一种体感人机交互的车辆展示系统中，使用深度传感器感知人体的动作，主控单元结合深度传感器感知的人体动作的数据，将人体动作转化为对虚拟车辆的控制，从而实现人与虚拟车辆的人机交互。但这种方式中，需要结合人体动作来实现控制，客户需要学习控制信号对应的动作，然后在深度传感器的感知空间内实施相应的动作来实现控制，尤其是在开启或者关闭车门时，还要通过身体的体态变化来实现，这种方式的客户体验性低。

发明内容

本发明的目的是提供一种虚拟车辆人机交互方法和系统，结合手部动作实现对虚拟车辆的车门的开启，使得对虚拟车辆的控制更贴合实际使用习惯，实现的是提高客户体验的技术效果。

本发明的目的是通过以下技术方案实现的：

提出一种虚拟车辆人机交互方法，包括：导入并显示车辆三维模型；接收深度传感器在其感知空间内获取的手部的深度信息；基于手部的深度信息，分析所述深度传感器感知空间内的手部的动作；基于手部的动作，判断是否开启所述车辆三维模型的车门；若是，则显示开启所述车辆三维模型的车门。

提出一种虚拟车辆人机交互系统，包括深度传感器和显示界面、导入单元和主控单元：所述深度传感器，用于在其感知空间内获取手部的深度信息；所述导入单元，用于导入车辆三维模型；所述显示界面，用于显示所述车辆三维模型；所述主控单元，用于接收深度传感器在其感知空间内获取的手部的深度信息；基于手部的深度信息，分析所述深度传感器感知空间内的手部的动作；基于手部的动作，判断是否开启所述车辆三维模型的车门；若是，则控制所述显示界面显示开启所述车辆三维模型的车门。

本发明提供的技术方案的有益效果或者优点是：本申请实施例提出的虚拟车辆人机交互方法和系统中，导入并显示构建的车辆三维模型后，使用深度传感器在其感知空间内检测客户手部的深度信息，深度信息中包括有手部的位移、速度、骨骼等信息，能充分反映客户手部的动作；主控单元在接收到深度传感器检测到的客户手部的深度信息后，根据深度信息分析出客户手部执行的动作，并根据客户的手部动作来判断动作是否对应为开启车辆三维模型车门的动作，若是，则在显示界面显示开启车辆三维模型的车门；相比于现有技术中客户需要预先学习对应开门的身体动作，通过实施身体动作来控制虚拟车辆开门的方式，本发明实施例提出的基于手部动作开启虚拟车辆车门的方式更贴合客户使用习惯，无需客户学习身体动作，提高了客户的体验感。

附图说明

图1为深度传感器感知空间示意图；

图2本申请实施例提出的虚拟车辆人机交互方法流程图；

图3本申请实施例提出的虚拟车辆人机交互方法流程图；

图4本申请实施例提出的虚拟车辆人机交互方法流程图；

图5本申请实施例提出的虚拟车辆人机交互方法流程图；

图6为本申请实施例提出的虚拟车辆人机交互系统框图；

图7为本申请实施例提出的虚拟车辆人机交互示意图。

具体实施方式

本发明通过提供一种虚拟车辆人机交互方法和系统，使用深度传感器获取感知空间内客户手部的深度信息，结合手部动作实现对虚拟车辆的车门的开启，使得对虚拟车辆的控制更贴合实际使用习惯，实现的是提高客户体验的技术效果。

目前的深度传感器，可以获取到手部，包括手掌、手腕和各手指等部位的骨骼信息、空间三维坐标和速度等信息，以kinect传感器为例，其可以以每秒几十帧的频率获取手部的信息，而LeapMotion传感器更可以以超过每秒一百帧的频率获取。

如图1中所示，以深度传感器1放置于电脑等装置的显示界面21前端为例，其能感知的范围在显示界面前方形成一个能感知手掌、手腕和各手指的感知空间4，客户在此感知空间内进行手部操作时，其手掌、手腕和各手指的三维坐标、速度信息（包括速率和速度方向）能够被该深度传感器感知，深度传感器基于这些信息计算出手部的骨骼信息供应用使用；骨骼信息中包括手掌、手腕、手指以及各个手指节的骨骼尺寸、速度、方向等信息。当然，在深度传感器与电脑等装置实现无线连接的情况下，深度传感器不必限于放置在电脑等装置的周围，而是使其根据实际手部操作的空间位置放置，不必使手部局限于固定位置进行手势操作。显示界面可以是但不受限于电视屏幕、投影屏幕、电脑屏幕、头戴式3D显示系统等，当显示界面为头戴式显示器时，可以将深度传感器置于头戴式显示器的前方，在人体正前方形成一个随人体移动而移动的感知空间。

本发明实施例中提及的基于深度传感器获取的手部深度信息，通常是指深度传感器获取到手部深度信息后计算得到的手部的骨骼信息。

下面将结合附图，对本发明实施例提供的技术方案进行详细描述。

如图2所示，为本发明实施例提出的虚拟车辆人机交互方法流程图，该方法包括以下步骤：

步骤S11：导入并显示车辆三维模型。

在导入车辆三维模型之前，首先要构建车辆三维模型。

车辆三维模型的构建，可以采用现有的任一种构建三维模型的方法进行；多个车辆，需要构建多个车辆三维模型，将所有构建的车辆三维模型存放于一个车辆三维模型库中，在导入车辆三维模型时，从该车辆三维模型库中选取目标车辆三维模型，并导入该目标车辆三维模型；客户可以采用现有的方法，例如鼠标点中拖动，或者手势控制等方式，从车辆三维模型库中选取目标车辆三维模型。

还可以导入并显示客户手部的手部三维模型，显示时，客户能直观体验到手部的运动与车辆三维模型之间的互动；在后续开启车辆三维模型的车门时，可以通过显示手部三维模型开启车辆三维模型的车门，使得开启虚拟车辆车门的效果更逼真。当然，手部三维模型也可以不显示在显示界面，根据实际使用喜好设定即可。

步骤S12：接收深度传感器在其感知空间内获取的手部的深度信息。

步骤S13：基于手部的深度信息，分析深度传感器感知空间内的手部的动作。

本申请实施例的目的既是，基于客户手部的动作来实现开启虚拟车辆车门的效果，因此在导入车辆三维模型之后，需要跟踪客户手部的运动。将手部置于深度传感器的感知空间后，由深度传感器检测手部的深度信息，并在获取到手部的深度信息后，将深度信息发送给虚拟车辆的主控单元中。

深度传感器在其感知空间内获取手部的深度信息，包括手掌、手腕和各个手指的骨骼信息，这些骨骼信息能反应手部的特征信息；深度信息还包括手掌、手腕和各个手指的三维坐标以及速度信息，这可以精确捕获手部的位置、姿态和动作等；基于上述的手部深度信息，能够分析出在感知空间内手部的运动，从而能够分析出手部的动作。

步骤S14：基于手部的动作，判断是否开启车辆三维模型的车门。

手部不同的动作对应对虚拟车辆，也即对车辆三维模型的不同操作；可以在虚拟车辆的控制系统中设定对应规则，则在分析出手部的动作之后，即能实施动作对应的操作。

若动作对应的是开启车辆三维模型的车门的操作，则执行步骤S15：

步骤S15：显示开启车辆三维模型的车门。

在显示界面上显示车辆三维模型的车门被开启；可以再配合以车门把手被拉动的显示，也可以配合以车门被轻微开启的音效，提高虚拟操作的真实感。

当手部三维模型显示在显示界面时，将手部三维模型在显示界面的运动与深度传感器感知空间内的手部进行关联，使二者同步运动，则手部三维模型真实反映手部的移动或者动作。例如，在分析深度传感器感知空间内的手部动作之前，基于手部的深度信息，调整手部三维模型的显示位置，使得手部三维模型与手部的移动相对应，当手部三维模型的显示位置位于车辆三维模型的车门上时，将手部三维模型显示于车辆三维模型的车门把手处，这里的车门可以是车辆三维模型的任一个车门，也可以是限定的一个车门，也可以全部车门；这里的车门泛指车辆三维模型的所有可开启的门体，包括前车门、后车门、引擎盖、后备箱盖等，如图7所示为开启后备箱盖的虚拟车辆人机交互示意图。

将手部三维模型显示于车门把手处后，客户可以直观的看到手部动作被转化为手部三维模型的动作来开启车辆三维模型的车门；而在不显示手部三维模型时，可以通过在车辆三维模型的车门把手处显示开门提示动画和/或发出语音提示，提醒客户可以通过动画提示的动作或者语音提示提供的声音指示实施开启车门的动作，此时车门为系统指定的车门，或者为客户通过其他方式控制选择的车门。

具体的，基于手部的动作，判断是否开启车辆三维模型的车门，具体实施为：基于手部深度信息，判断深度传感器感知空间内的手部的拇指以外的四指是否都想掌心方向弯曲，也即，判断客户在深度传感器的感知空间内，手部是否做出与现实中开启车门一样的动作，如图1所示。该动作符合日常开启车门的习惯，能提高体验感。

本申请实施例中，只需判断拇指以外的四指是否都向掌心方向弯曲即可，不限定掌心的方向，也不限定左右手。

具体的，若是开启车身侧面的前、后车门，则掌心可向下以及四指弯曲，或者掌心可向上以及四指弯曲，而若是开启引擎盖或者后备箱，则可以设定掌心向下以及四指弯曲，以符合日常开启车门的习惯，使得虚拟开启车门的体验更逼真。

本申请实施例中，车门开启与现实中车门被轻微开启对应，在显示开启车辆三维模型的车门之后，如图3所示，还可以执行以下步骤：

步骤S16：接收深度传感器在其感知空间内获取的手部的深度信息；

步骤S17：基于手部的深度信息，分析深度传感器感知空间内的手部的动作；

步骤S18：基于手部的动作，判断深度传感器感知空间内的手部是否向车辆三维模型的车门拉开的方向运动；若是，

步骤S19：显示拉开车辆三维模型的车门。

这里的拉开是在轻微开启车门之后敞开车门的动作，在显示拉开车辆三维模型的车门同时，可以配以开门被拉开的音效。

深度传感器检测的是手部的深度信息，由于这其中包含有手部的位移和速度等信息，在将手部三维模型与手部的运动进行关联同步之后，手部三维模型反映的是手部真实的运动状态，当手部的动作为拉开车门的动作时，其拉门的速度也真实反映在手部三维模型的运动中，也即，手部动作速度快，则手部三维模型的运动速度也快，反之亦然。

在显示拉开车辆三维模型的车门之后，如图4所示，还可以执行以下步骤：

步骤S20：接收深度传感器在其感知空间内获取的手部的深度信息；

步骤S21：基于手部的深度信息，分析深度传感器感知空间内的手部的动作；

步骤S22：基于手部的动作，判断深度传感器感知空间内的手部是否向车辆三维模型的车门关闭的方向运动；若是，

步骤S19：显示关闭车辆三维模型的车门。

在显示关闭车辆三维模型的车门同时，可以配以开门被关闭的音效。

客户可以通过鼠标、键盘等输入设备的操作来调节车辆三维模型的显示，例如方向调换、进入车辆空间等。

客户也可以基于深度传感器，通过手势来实现控制车辆三维模型的选择或者方向调换等，具体的如图5所示：

步骤S51：接收深度传感器在其感知空间内获取的手部的深度信息；

步骤S52：基于手部的深度信息，分析得到手部对应的手势；

步骤S53：基于手势，控制车辆三维模型的选择、显示方向、移动或者缩放。

基于手部的深度信息，得到手部的三维坐标和速度信息；并根据手部的三维坐标，分析手部的位移，以及根据手部的速度信息，分析手部的运动方向。

深度传感器采集其感知空间内手部变化的深度信息，因此，获取到的深度信息中的三维坐标在时间轴上形成了手部的运动位移，而速度信息中的速度方向和速率则在空间中构建出了手部的运动方向和运动速度。

基于手部的运动，可以推算得到手部运动对应的手势；具体的，结合手部的运动位移以及运动方向和运动速度，可以构建出手部在空间发生的手势模型，不同的手势模型对应不同的人机交互指令，而具体的手势与人机交互指令的对应关系可以依据实际情况确定，本方案不予限制。

基于上述提出的虚拟车辆人机交互方法，本发申请实施例还提出一种虚拟车辆人机交互系统，如图6所示，该系统包括深度传感器1、显示界面21、导入单元3和主控单元5；如图1所示，深度传感器1，用于在其感知空间4内获取手部的深度信息；导入单元3，用于导入车辆三维模型和/或手部三维模型；显示界面21，用于显示车辆三维模型和/或手部三维模型；主控单元5，用于接收深度传感器1在其感知空间4内获取的手部的深度信息；基于手部的深度信息，分析深度传感器1感知空间4内的手部的动作；基于手部的动作，判断是否开启车辆三维模型的车门；若是，则控制显示界面21显示开启车辆三维模型的车门。

手部三维模型和车辆三维模型都由构建单元9构建，构建完成后可以存放于三维模型库9中。

若导入单元3和显示界面21分别导入和显示了手部三维模型，则主控单元5在分析深度传感器感知空间内的手部动作之前，基于手部的深度信息，调整手部三维模型的显示位置；在手部三维模型的显示位置位于车辆三维模型的车门上时，将手部三维模型显示于车辆三维模型的车门把手处；在主控单元控制显示界面显示所述车辆三维模型的车门的同时，还可以控制显示界面显示车门把手被拉动。手部三维模型的显示能直观反映客户在深度传感器的感知空间内的操作，使虚拟操作更加逼真，提高体验效果。

具体的基于手部的动作，判断是否开启车辆三维模型的车门，包括：基于手部深度信息，判断深度传感器感知空间内的手部的拇指以外的四指是否都向掌心方向弯曲。也即，判断客户在感知空间4内是否实施拇指以外的四指向掌心弯曲的动作，该动作符合实际开启车门的习惯，相比于现有技术中通过身体动作来开启虚拟车辆车门，该手部动作贴合实际操作习惯，客户无需学习开门操作对应的身体动作，能提高体验效果。

主控单元5控制在显示界面21显示开启车辆三维模型的车门之后，接收深度传感器1在其感知空间4内获取的手部的深度信息；基于手部的深度信息，分析深度传感器感知空间内的手部的动作；基于手部的动作，判断深度传感器感知空间内的手部是否向车辆三维模型的车门拉开的方向运动；若是，则控制显示界面21显示拉开车辆三维模型的车门。在主控单元5控制在显示界面21显示拉开车辆三维模型的车门之后，继续接收深度传感器1在其感知空间4内获取的手部的深度信息；基于手部的深度信息，分析深度传感器感知空间内的手部的动作；基于手部的动作，判断深度传感器1感知空间4内的手部是否向车辆三维模型的车门关闭的方向运动；若是，则控制显示界面21显示关闭车辆三维模型的车门。

本系统中还包括音效单元6；音效单元6在主控单元5控制显示界面21显示开启、拉开或者关闭车辆三维模型的车门同时，配以车门被开启、拉开或关闭的音效。

本系统还包括提示单元7，用于在显示界面21显示的车辆三维模型的把手处显示开门提示动画和/或发出语音提示。

具体的虚拟车辆人机交互系统的工作方法，已经在上述虚拟车辆人机交互方法中详述，此处不予赘述。

上述，本申请实施例中提出的虚拟车辆人机交互方法和系统中，采用深度传感器获取手部的深度信息，从手部深度信息中解析出手部的位移、速度、骨骼等信息，并通过对信息的分析判断出手部的动作，最终根据手部的动作实现对虚拟车辆车门的操作，这种基于人们通常使用的对车辆车门的操作方式实现对虚拟车辆的车门的操作，更贴合实际操作习惯，而在显示界面显示车辆三维模型的车门被开启、拉开或者关闭时，配合以车门开启、拉开或关闭的音效，能使对虚拟车辆的操作更加逼真贴合实际。手部三维模型可以显示，也可以不显示，显示时，根据手部深度信息使其与深度传感器感知空间内的手部的动作同步对应，使对虚拟车辆的操作更真实和直观，而不显示时，结合手部的深度信息，同样可以实现对虚拟车辆车门的操作；车门可以是系统指定的，也可以是基于手部的移动反映到手部三维模型时在车辆三维模型上选择的一个或者多个车门。采用本申请实施例提出的方法和系统，虚拟与现实结合的人机交互，通过现实的手部动作实现了对虚拟车辆车门的虚拟操作。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.虚拟车辆人机交互方法，其特征在于，包括：

导入并显示车辆三维模型；

接收深度传感器在其感知空间内获取的手部的深度信息；

基于手部的深度信息，分析所述深度传感器感知空间内的手部的动作；

基于手部的动作，判断是否开启所述车辆三维模型的车门；

若是，则显示开启所述车辆三维模型的车门。

2.根据权利要求1所述的虚拟车辆人机交互方法，其特征在于，在分析所述深度传感器感知空间内的手部动作之前，所述方法还包括：

导入手部三维模型；

基于手部的深度信息，调整所述手部三维模型的显示位置；

在所述手部三维模型的显示位置位于所述车辆三维模型的车门上时，将所述手部三维模型显示于所述车辆三维模型的车门把手处。

3.根据权利要求1所述的虚拟车辆人机交互方法，其特征在于，所述基于手部的动作，判断是否开启所述车辆三维模型的车门，具体为：

基于手部深度信息，判断所述深度传感器感知空间内的手部的拇指以外的四指是否都向掌心方向弯曲。

4.根据权利要求1所述的虚拟车辆人机交互方法，其特征在于，在显示开启所述车辆三维模型的车门之后，所述方法还包括：

接收深度传感器在其感知空间内获取的手部的深度信息；

基于手部的深度信息，分析所述深度传感器感知空间内的手部的动作；

基于手部的动作，判断所述深度传感器感知空间内的手部是否向所述车辆三维模型的车门拉开的方向运动；

若是，则显示拉开所述车辆三维模型的车门。

5.根据权利要求4所述的虚拟车辆人机交互方法，其特征在于，在显示拉开所述车辆三维模型的车门之后，所述方法还包括：

接收深度传感器在其感知空间内获取的手部的深度信息；

基于手部的深度信息，分析所述深度传感器感知空间内的手部的动作；

基于手部的动作，判断所述深度传感器感知空间内的手部是否向所述车辆三维模型的车门关闭的方向运动；

若是，则显示关闭所述车辆三维模型的车门。

6.虚拟车辆人机交互系统，包括深度传感器和显示界面，其特征在于，还包括导入单元和主控单元：

所述深度传感器，用于在其感知空间内获取手部的深度信息；

所述导入单元，用于导入车辆三维模型；

所述显示界面，用于显示所述车辆三维模型；

所述主控单元，用于接收深度传感器在其感知空间内获取的手部的深度信息；基于手部的深度信息，分析所述深度传感器感知空间内的手部的动作；基于手部的动作，判断是否开启所述车辆三维模型的车门；若是，则控制所述显示界面显示开启所述车辆三维模型的车门。

7.根据权利要求6所述的虚拟车辆人机交互系统，其特征在于，所述导入单元，用于导入手部三维模型；所述显示界面显示所述手部三维模型；所述主控单元还用于，在分析所述深度传感器感知空间内的手部动作之前，基于手部的深度信息，调整所述手部三维模型的显示位置；在所述手部三维模型的显示位置位于所述车辆三维模型的车门上时，将所述手部三维模型显示于所述车辆三维模型的车门把手处。

8.根据权利要求6所述的虚拟车辆人机交互系统，其特征在于，所述基于手部的动作，判断是否开启所述车辆三维模型的车门，具体为：

基于手部深度信息，判断所述深度传感器感知空间内的手部的拇指以外的四指是否都向掌心方向弯曲。

9.根据权利要求11所述的虚拟车辆人机交互系统，其特征在于，所述主控单元控制在显示界面显示开启所述车辆三维模型的车门之后，接收深度传感器在其感知空间内获取的手部的深度信息；基于手部的深度信息，分析所述深度传感器感知空间内的手部的动作；基于手部的动作，判断所述深度传感器感知空间内的手部是否向所述车辆三维模型的车门拉开的方向运动；若是，则控制显示界面显示拉开所述车辆三维模型的车门。

10.根据权利要求9所述的虚拟车辆人机交互系统，其特征在于，所述主控单元控制在显示界面显示拉开所述车辆三维模型的车门之后，接收深度传感器在其感知空间内获取的手部的深度信息；基于手部的深度信息，分析所述深度传感器感知空间内的手部的动作；基于手部的动作，判断所述深度传感器感知空间内的手部是否向所述车辆三维模型的车门关闭的方向运动；若是，则控制所述显示界面显示关闭所述车辆三维模型的车门。