CN106909219B - 基于三维空间的交互控制方法和装置、智能终端 - Google Patents

Abstract

本发明涉及一种基于三维空间的交互控制方法和装置、智能终端，包括：获取第一控制指令，基于第一控制指令于用户周侧的三维空间显示或生成可操控的虚拟三维物体，包括三维主体和至少一个三维配体，三维主体和至少一个三维配体在满足预设匹配条件下能够共同形成完整的目标虚拟三维物体；识别操作主体，获取操作主体作用于三维主体和/或三维配体的操作姿势，根据操作姿势生成对应的操作指令，根据操作指令移动三维主体和/或三维配体，将三维主体和/或三维配体形成完整的整体虚拟三维物体；判断整体虚拟三维物体是否与目标虚拟三维物体匹配，如果匹配成功，执行与第一控制指令对应的控制操作，能提高三维空间控制操作的便利性。

Description

基于三维空间的交互控制方法和装置、智能终端

技术领域

本发明涉及计算机技术领域，特别是涉及一种基于三维空间的交互控制方法和装置、智能终端。

背景技术

随着计算机技术的发展，三维影像成为计算机视觉系统中重要的研究方向，基于三维显示技术，可以直接观察到具有物理景深的三维图像，可多角度、多人同时观察和实时交互，通过立体三维显示技术与运动跟踪结合可构建虚拟现实或增强现实。

虚拟现实或增强现实中用户感知到的是三维空间，与三维虚拟物体在三维空间进行互动。传统的需要验证的场景，如登录验证、解锁验证、支付验证等，通常通过输入密码进行验证，在三维交互空间由于没有物理键盘输入变得比较困难、操作效率低。

发明内容

基于此，有必要针对上述问题，提供一种基于三维空间的交互控制方法和装置、智能终端，能提高三维空间验证控制操作的便利性。

一种基于三维空间的交互控制方法，所述方法包括：

获取第一控制指令，基于所述第一控制指令于用户周侧的三维空间显示或生成可操控的虚拟三维物体；

所述可操控的虚拟三维物体包括三维主体和至少一个三维配体，所述三维主体和至少一个三维配体在满足预设匹配条件下能够共同形成完整的目标虚拟三维物体；

识别操作主体，获取所述操作主体作用于所述三维主体和/或三维配体的操作姿势，根据所述操作姿势生成对应的操作指令，根据所述操作指令移动所述三维主体和/或所述三维配体，将所述三维主体和/或所述三维配体形成完整的整体虚拟三维物体；

判断所述整体虚拟三维物体是否与所述目标虚拟三维物体匹配，如果匹配成功，执行与所述第一控制指令对应的控制操作。

一种基于三维空间的交互控制装置，所述装置包括：

可操控虚拟三维物体生成模块，用于获取第一控制指令，基于所述第一控制指令于用户周侧的三维空间显示或生成可操控的虚拟三维物体，所述可操控的虚拟三维物体包括三维主体和至少一个三维配体，所述三维主体和至少一个三维配体在满足预设匹配条件下能够共同形成完整的目标虚拟三维物体；

匹配模块，用于识别操作主体，获取所述操作主体作用于所述三维主体和/或三维配体的操作姿势，根据所述操作姿势生成对应的操作指令，根据所述操作指令移动所述三维主体和/或所述三维配体，将所述三维主体和/或所述三维配体形成完整的整体虚拟三维物体；

判断执行模块，用于判断所述整体虚拟三维物体是否与所述目标虚拟三维物体匹配，如果匹配成功，执行与所述第一控制指令对应的控制操作。

一种智能终端，其特征在于，所述智能终端包括上述任一实施例所述的基于三维空间的交互控制装置。

上述基于三维空间的交互控制方法和装置、智能终端，通过获取第一控制指令，基于第一控制指令于用户周侧的三维空间显示或生成可操控的虚拟三维物体，可操控的虚拟三维物体包括三维主体和至少一个三维配体，三维主体和至少一个三维配体在满足预设匹配条件下能够共同形成完整的目标虚拟三维物体，识别操作主体，获取操作主体作用于所述三维主体和/或三维配体的操作姿势，根据操作姿势生成对应的操作指令，根据操作指令移动三维主体和/或三维配体，将三维主体和/或所述三维配体形成完整的整体虚拟三维物体，判断整体虚拟三维物体是否与所述目标虚拟三维物体匹配，如果匹配成功，执行与第一控制指令对应的控制操作，整个操作过程在三维空间完成，不需要键盘进行输入，通过动作操作完成，提高了验证控制操作的便利性与趣味性。

附图说明

图1为一个实施例中基于三维空间的交互控制方法的应用环境图；

图2为一个实施例中显示设备110与处理设备120的内部结构图；

图3为一个实施例中智能终端130的内部结构图；

图4为一个实施例中基于三维空间的交互控制方法的流程图；

图5为一个实施例中可操控的虚拟三维物体示意图；

图6为一个实施例中将三维配体移动至三维主体对应的缺口处时示意图；

图7为一个实施例中形成完整虚拟三维物体后示意图；

图8为一个实施例中显示可操控的虚拟三维物体的流程图；

图9为一个实施例中用户的操作舒适区示意图；

图10为一个实施例中形成完整的整体虚拟三维物体的流程图；

图11为一个实施例中匹配移动轨迹的流程图；

图12为一个实施例中判断移动轨迹是否与预设移动轨迹匹配的流程图；

图13为一个实施例中移动三维配体过程中移动轨迹对应的方向示意图；

图14为一个实施例中获取操作主体对三维主体和/或三维配体的拿取操作的流程图；

图15为一个具体的实施例中获基于三维空间的交互控制方法的流程示意图；

图16为一个实施例中基于三维空间的交互控制装置的结构框图；

图17为一个实施例中可操控虚拟三维物体生成模块的结构框图；

图18为一个实施例中匹配模块的结构框图；

图19为又一个实施例中基于三维空间的交互控制装置的结构框图；

图20为再一个实施例中基于三维空间的交互控制装置的结构框图；

图21为一个实施例中移动轨迹判断模块的结构框图。

具体实施方式

图1为一个实施例中基于三维空间的交互控制方法运行的应用环境图。如图1所示，该应用环境包括显示设备110、处理设备120，其中显示设备110和处理设备120可通过网络或数据线进行通信，其中显示设备110可以是头戴式显示设备，显示设备110可包括控制器和红外发射器，控制器可以是手持控制器、脚持控制器等，控制器内嵌红外接收器与红外发射器配合进行定位。显示设备110还可包括深度摄像头，通过深度摄像头识别人体特征部位进行定位。处理设备120用于对显示设备110传输的数据进行处理，显示设备110和处理设备120可集成于一体形成智能终端130，智能终端包括但不限于带有多个摄像头的手机、平板电脑、平板笔记本以及各类头盔、眼镜设备等。显示设备110基于第一控制指令于用户周侧的三维空间显示或生成可操控的虚拟三维物体，可操控的虚拟三维物体包括三维主体和至少一个三维配体，识别操作主体，获取操作主体作用于三维主体和/或三维配体的操作姿势，根据操作姿势生成对应的操作指令，根据操作指令移动三维主体和/或三维配体，将三维主体和/或三维配体形成完整的整体虚拟三维物体，将三维主体和/或三维配体的位置信息发送至处理设备120进行处理，由处理设备120判断是否形成整体虚拟三维物体，并判断整体虚拟三维物体是否与目标虚拟三维物体匹配，如果匹配成功，则验证成功，执行对应的控制指令，其中第一控制指令可以是解锁指令、登录指令、支付指令等。

图2为一个实施例中显示设备110和处理设备120的内部结构示意图，显示设备110包括非易失性存储介质、内存、显示屏和输入装置，非易失性存储介质存储有操作系统，还包括一种第一基于三维空间的交互控制装置，第一基于三维空间的交互控制装置用于基于第一控制指令于用户周侧的三维空间显示或生成可操控的虚拟三维物体，可操控的虚拟三维物体包括三维主体和至少一个三维配体，识别操作主体，获取操作主体作用于三维主体和/或三维配体的操作姿势，根据操作姿势生成对应的操作指令，根据操作指令移动三维主体和/或三维配体，将三维主体和/或三维配体形成完整的整体虚拟三维物体，将采集的处理数据发送至处理设备120进行处理，显示设备110中的内存为非易失存储介质中的第一基于三维空间的交互控制装置的运行提供环境。显示设备110的显示屏可以是液晶显示屏或者电子墨水显示屏等，输入装置可以是显示屏上覆盖的触摸层，也可以是外壳上设置的按键、轨迹球或触控板，也可以是控制器、深度摄像头等，显示设备110采集的数据发送至处理设备120进行处理，其中处理设备120包括非易失性存储介质、内存、处理器，该处理器用于提供计算和控制能力，支撑整个终端的运行，非易失性存储介质存储有操作系统，还包括一种第二基于三维空间的交互控制装置，第二基于三维空间的交互控制装置用于根据显示设备110发送的数据判断整体虚拟三维物体是否与目标虚拟三维物体匹配，如果匹配成功，则验证成功，执行与第一控制指令对应的控制操作。

图3为一个实施例中智能终端130的内部结构示意图，该智能终端130包括通过系统总线连接的处理器、非易失性存储介质、内存、显示屏和输入装置。其中，非易失性存储介质存储有操作系统，还包括一种第三基于三维空间的交互控制装置。该处理器用于提供计算和控制能力，支撑整个智能终端的运行。智能终端130中的内存为非易失存储介质中的第三基于三维空间的交互控制装置的运行提供环境。显示屏可以是光导透明全息透镜等，输入装置可以是显示屏上覆盖的触摸层，也可以是终端外壳上设置的按键、轨迹球或触控板，也可以是控制器、深度摄像头等。智能终端130还可包括光度传感器、环境感知摄像头、扬声器等，图3中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的智能终端的限定，具体的智能终端可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

如图4所示，在一个实施例中，提供了一种基于三维空间的交互控制方法，以应用于上述应用环境中的显示设备、处理设备或智能终端来举例说明，包括如下步骤：

步骤S210，获取第一控制指令，基于第一控制指令于用户周侧的三维空间显示或生成可操控的虚拟三维物体，可操控的虚拟三维物体包括三维主体和至少一个三维配体，三维主体和至少一个三维配体在满足预设匹配条件下能够共同形成完整的目标虚拟三维物体。

具体的，第一控制指令是用于执行对应的控制操作的指令，只有通过对可操控的虚拟三维物体移动形成与目标虚拟三维物体匹配的整体虚拟三维物体，才能执行第一控制指令对应的控制操作，即应用于需要验证才能执行操作的场景，如解锁场景、支付场景、登录场景等。虚拟三维物体是在三维空间显示的具有深度的三维图像，用于对控制操作进行验证，以生成控制指令，可操控的虚拟三维物体的具体形态、位置、个数可根据需要自定义，如简单的几何体，如长方体，或根据真实场景中的物体生成的可操控的虚拟三维物体，如动物、人物、生活用品等。三维主体是指可操控的虚拟三维物体的主要部分，如立方体除去缺口的部分、人体躯干部分等，三维配体是指与三维主体在满足预设匹配条件下能够共同形成完整虚拟三维物体的部分，如缺口部分、人体躯干之外的眼睛、手等。三维主体和至少一个三维配体形成完整的目标虚拟三维物体，预设匹配条件和形成的方式可根据需要自定义。

在一个实施例中，三维主体和至少一个三维配体通过连接组合或通过将三维配体嵌入三维主体能够共同形成完整的目标虚拟三维物体。

具体的，如三维配体是从三维主体内部分离，通过将三维配体嵌入三维主体，通过嵌入式形成完整目标虚拟三维物体，如三维配体与三维主体是通过将虚拟三维物体分割形成，则通过组合的方式连接形成完整目标虚拟三维物体。如图5所示，为一个具体的实施例中，可操控的虚拟三维物体包括三维主体240和三维配体250，三维主体240包括与三维配体250匹配的缺口241，如图6所示，可以将三维配体250移动至三维主体240对应的缺口241处，如图7所示，并将三维配体250嵌入缺口241形成完整虚拟三维物体260。

步骤S220，识别操作主体，获取操作主体作用于三维主体和/或三维配体的操作姿势，根据操作姿势生成对应的操作指令，根据操作指令移动三维主体和/或三维配体，将三维主体和/或三维配体形成完整的整体虚拟三维物体。

具体的，可通过红外线或深度摄像头等检测作用于三维主体和/或三维配体的操作姿势，操作主体可以是人体特征部分，如人手、脚、眼睛等，也可以是控制器，如手柄等。操作姿势可以是拿取操作、弹击操作，旋转操作、缩放操作等不同形式的操作，不同的操作姿势生成对应的操作指令，不同的操作指令可对三维主体和/或三维配体进行不同的操作，如位置变换操作、尺度变换操作等。根据操作主体的不同，操作姿势可分为手势操作、肩部操作、眼动操作、脚势操作等。旋转操作、缩放操作可以是在拿取操作之后进行的操作，可通过操作主体与三维主体和/或三维配体的距离和接触时间判断是否触发拿取操作。如操作主体与三维主体和/或三维配体的距离小于预设阈值时，触发拿取操作。或当操作主体与三维主体和/或三维配体产生碰撞时，触发拿取操作。或当操作主体的动作与拿取操作对应的动作匹配且进入三维主体和/或三维配体的有效操作区域时，触发拿取操作，如手握拢的动作。将三维主体和/或三维配体形成完整的整体虚拟三维物体的过程中，可将三维配体固定，移动三维主体，或将三维主体固定，移动三维配体，或同时移动三维主体或三维配体，在有多个三维配体时，需要将各个三维配体移动到合适的位置。可通过弹击操作，根据手部握紧力度获取力度，从而对三维主体或三维配体弹击，根据力度产生一定距离的滑动，如直线滑动或抛物线滑动，从而不需要移动三维操作主体或只需要将三维主体或三维配体对准方向，移动较小的距离就可将三维主体和/或三维配体形成完整的整体虚拟三维物体，进一步提高了操作的便利性。

步骤S230，判断整体虚拟三维物体是否与目标虚拟三维物体匹配，如果匹配成功，执行与第一控制指令对应的控制操作。

具体的，目标虚拟三维物体的形态是用户在接收第一控制指令前设定的，可包括形状状态、颜色状态等，只有完成整体虚拟三维物体与目标虚拟三维物体匹配，才能完成验证，执行第一控制指令对应的控制操作，加强了控制操作执行的安全性。可操控的虚拟三维物体在验证前会生成并显示，在验证通过后会自动消失，进入验证通过后的显示界面。在一个实施例中，为了加强匹配的难度，在形成整体虚拟三维物体前，需要对三维主体或三维配体更换颜色、进行旋转、缩放、验证移动路径等，进一步提高控制操作执行的安全性，可用于支付场景、登录场景、解锁场景等，只有匹配成功，才能执行支付、实现登录、进行解锁等。整个操作过程在三维空间完成，不需要键盘进行输入，通过动作操作完成，进一步提高了便利性与趣味性。

本实施例中，通过获取第一控制指令，基于第一控制指令于用户周侧的三维空间显示或生成可操控的虚拟三维物体，可操控的虚拟三维物体包括三维主体和至少一个三维配体，三维主体和至少一个三维配体在满足预设匹配条件下能够共同形成完整的目标虚拟三维物体，识别操作主体，获取操作主体作用于所述三维主体和/或三维配体的操作姿势，根据操作姿势生成对应的操作指令，根据操作指令移动三维主体和/或三维配体，将三维主体和/或所述三维配体形成完整的整体虚拟三维物体，判断整体虚拟三维物体是否与所述目标虚拟三维物体匹配，如果匹配成功，执行与第一控制指令对应的控制操作，整个操作过程在三维空间完成，不需要键盘进行输入，通过动作操作完成，提高了验证控制操作的便利性与趣味性。

在一个实施例中，第一控制指令为解锁指令、支付指令或登录指令，如图8所示，步骤S210中基于所述第一控制指令于用户周侧的三维空间显示或生成可操控的虚拟三维物体的步骤包括：

步骤S211，获取配置信息，根据所述配置信息从控制虚拟三维物体库中选取对应的目标虚拟三维物体模型，生成目标可操控虚拟三维物体。

具体的，对于解锁场景，用户可通过对锁定界面的触控生成解锁指令，从而触发获取配置信息。在一个实施例中，也可在接收到锁定指令后就生成并显示目标可操控虚拟三维物体，则在需要解锁时，可直接移动目标可操控虚拟三维物体。可通过自动检测用户是否摘掉穿戴式设备，或检测到预设手势或通过按键弹出菜单作用于锁定按键的操作生成锁定指令。对于支付或登录场景，在验证支付权限或登录权限时，生成支付指令或登录指令。配置信息用于配置目标可操控虚拟三维物体，可为目标可操控虚拟三维物体对应的标识信息、名称等，从而从控制虚拟三维物体库中通过配置信息选择对应的目标虚拟三维物体模型。目标虚拟三维物体模型是用于生成目标虚拟三维物体所需的数据，包括图片、渲染皮肤等，根据目标虚拟三维物体模型生成可操控目标虚拟三维物体。

步骤S212，在深度感知区域范围内显示目标可操控虚拟三维物体。

具体的，深度感知区域范围是指在深度感知硬件能力所及的感知区域，可进一步设定在用户的操作舒适区，其中设备深度感知硬件包括但不限于双目摄像头、RGBD摄像头、红外摄像头，深度感知方法包括但不限于立体视觉方法、结构光方法、Time Of Flight飞行时间方法。用户的操作舒适区是指用户无需移动可触及的区域，例如，如果用户是用手部操作，则为手所能及的范围，如图9所示，为一个具体的实施例中，用户的操作舒适区271和272的示意图。

本实施例中，通过配置信息可指定目标可操控虚拟三维物体，实现可操控虚拟三维物体生成的灵活性，提高了用户的选择度。在需要验证权限的场景，通过解锁指令、支付指令或登录指令自动生成目标可操控虚拟三维物体，可通过对目标可操控虚拟三维物体的三维主体和/或三维配体的操作完成解锁、支付或登录，提高了解锁操作、支付操作或登录操作的便利性。

在一个实施例中，如图10所示，步骤S220包括：

步骤S221，识别操作主体，根据操作主体的运动轨迹和状态特征识别操作主体对三维主体和/或三维配体的拿取操作，根据拿取操作生成对应的拿取指令，以使三维主体和/或三维配体跟随所述操作主体的位置移动。

具体的，识别操作主体即指对控制器或者人体特征部位的识别，可通过红外或计算机视觉技术实现操作主体的识别。控制器可以是手持控制器、肩部控制器、腿部控制器等，人体特征部位可为手部、肩部、腿部等，操作主体可以为一个或多个，如左右手同时为操作主体。

对于不同的三维显示系统，通过不同的操作触发拿取操作，需要识别不同的状态特征并结合操作主体的运动轨迹识别拿取操作以生成拿取指令，如对于带手持控制器的虚拟现实穿戴式设备，可检测手持控制器的位置，当手持控制器与三维主体和/或三维配体的距离在预设范围内，再获取作用于手持控制器上的按钮的操作进行拿取操作。对于具有手势识别能力的设备，如增强现实眼镜设备，检测用户手部，根据手部的移动确定手部的位置，当手部与三维主体和/或三维配体的距离在预设范围内，根据手部形态变化识别对三维主体和/或三维配体的拿取操作，手部形态变化可为按压、合拢等，不同的手部形态变化可对应不同的操作指令，如手背向上握拳为拿取，食指向上抬起为准备状态，向下点击并回到握拳状态为一次选择等，可根据需要自定义手部形状变化对应的指令。拿取操作触发后，相当于将手或手持控制器与操作对象绑定，三维主体和/或三维配体跟随操作主体的位置移动。

步骤S222，根据操作主体的运动轨迹移动三维主体和/或三维配体以形成完整的整体虚拟三维物体。

具体的，三维主体和/或三维配体的移动轨迹与操作主体的运动轨迹一致，对于缺口式配体，可将三维配体与三维主体上的缺口位置对齐，并移动至缺口内部，形成完整整体。对于连接组合式的三维主体和三维配体，可确定各个三维配体与三维主体的相对位置，从而将各个三维主体和配置放置在对应的位置上形成连接组合。可将三维主体和/或三维配体中的一个或多个进行固定增加形成完整整体的难度。

在一个实施例中，根据操作指令移动三维主体和/或三维配体的步骤之前，还包括：获取操作主体作用于三维主体和/或三维配体的旋转操作，根据旋转操作生成对应的旋转指令以旋转三维主体和/或三维配体，使得三维主体和/或三维配体的方向匹配；和/或获取操作主体作用于三维主体和/或三维配体的尺度变换操作，根据尺度变换操作生成对应的尺度变换指令以缩放所述三维主体和/或三维配体，使得三维主体和/或三维配体的大小匹配。

具体的，可通过特定的旋转操作生成旋转指令，旋转操作的操作规则可根据需要自定义。如显示的三维主体相对于人眼为背面或缺口在背面，则可通过旋转三维主体，使得三维主体或缺口为正面显示，从而便于将三维配体放入主体上的缺口。旋转的角度和方向可通过当前三维主体或三维配体的显示状态和相对位置决定。可通过特定的尺度变换操作对三维主体和/或三维配体进行缩放，如对三维主体或三维配体的第一位置，如中心位置进行点击为放大，第二位置，如边缘位置进行点击为缩小，可通过作用于三维主体或三维配体上的操作时间确定缩放的倍数或通过点击次数确定缩放的倍数。通过设置三维主体和三维配体需要通过旋转或缩放才能进行匹配，进一步加大了验证的难度，保证了操作指令执行的安全性。

在一个实施例中，如图11所示，步骤S230的步骤之前，还包括：

步骤S310，记录三维主体和/或三维配体的移动轨迹。

具体的，在三维空间建立坐标系，可以人眼位置为坐标系原心，建立三维坐标系，从而得到三维主体和/或三维配体随着时间移动时不同的位置，将不同的位置进行连接得到移动轨迹。

步骤S320，判断移动轨迹是否与预设移动轨迹匹配，如果匹配，则进入判断整体虚拟三维物体是否与目标虚拟三维物体匹配的步骤。否则，拒绝执行与所述第一控制指令对应的控制操作。

具体的，预设移动轨迹可根据需要自定义，如定义移动轨迹为最短路径，或定义移动轨迹包括一个圆周轨迹、三角形轨迹等，或包括不同方向的移动轨迹。预设移动轨迹可为多个，根据移动对象的不同，分别对应不同的预设移动轨迹，如移动主体时，预设移动轨迹为第一移动轨迹，移动配体时，预设移动轨迹为第二轨迹，移动主体和配体时，预设移动轨迹为第三移动轨迹。

本实施例中，只有移动轨迹与预设移动轨迹匹配，才能进入判断整体虚拟三维物体是否与目标虚拟三维物体匹配的步骤，提高了验证的复杂度，降低其他用户验证成功的概率，避免恶意验证成功，执行对应的控制指令获取用户的敏感信息，从而进一步增强了安全保护。

在一个实施例中，如图12所示，记录三维主体和/或三维配体的移动轨迹，判断移动轨迹是否与预设移动轨迹匹配的步骤包括：

步骤S224，获取三维主体和/或三维配体的移动方向，根据移动方向生成对应的当前轨迹方向序列。

具体的，根据三维主体和/或三维配体的移动轨迹确定移动方向，每次移动轨迹改变方向都对应一个方向标识，不同的方向标识根据时间先后顺序组合形成当前轨迹方向序列。如一个具体的实施例中，如图13所示，配体移动方向对应为向下、斜向前上、向下、向前直至合体，则生成当前轨迹方向序列{-1、3、-1、2}，其中不同的值对应了不同的方向。

步骤S225，获取预设轨迹方向序列，判断当前轨迹方向序列与预设轨迹方向序列是否相同，如果相同，则匹配成功，否则匹配不成功。

具体的，预设轨迹方向序列可根据需要自定义，只要当前轨迹方向序列与预设轨迹方向序列相同，则匹配成功，将轨迹通过不同方向形成的序列进行表示，将轨迹数字化，提高了轨迹匹配的便利性。

在一个实施例中，如图14所示，操作主体为操作主体控制器，步骤S221中识别操作主体，根据操作主体的运动轨迹和状态特征识别操作主体对三维主体和/或三维配体的拿取操作的步骤包括：

步骤S221a，通过与操作主体控制器对应的红外发射器与操作主体控制器内嵌的红外接收器识别操作主体控制器。

具体的，红外发射器可布置于房间墙壁等位置，在红外发射器的发射范围内，都可识别到操作主体控制器。

步骤S221b，根据红外信号定位操作主体控制器的位置，根据操作主体控制器的位置确定操作主体控制器与三维主体和/或三维配体的距离，根据距离识别操作主体对三维主体和/或三维配体的拿取操作。

具体的，可根据红外信号发出的时间和被操作主体控制器接收的时间差确定操作主体控制器与红外发射器之间的距离，红外发射器的位置固定，从而可将此距离换算为操作主体控制器在三维坐标系的坐标，并根据操作主体控制器在三维坐标系的坐标与三维主体和/或三维配体在三维坐标系的坐标计算操作主体控制器与三维主体和/或三维配体的距离，从而再根据距离识别操作主体对三维主体和/或三维配体的拿取操作。本实施例中，通过红外线进行定位，不需要大量计算，精准方便。

在一个实施例中，操作主体为人手，步骤S221中识别操作主体，根据操作主体的运动轨迹和状态特征识别操作主体对三维主体和/或三维配体的拿取操作的步骤包括：：通过深度摄像头识别人手的位置，根据人手的位置确定人手与三维主体和/或三维配体的距离，获取人手的动作形态特征，根据距离和动作形态特征识别人手对所述三维主体和/或三维配体的拿取操作。

具体的，根据深度摄像头的类型，可通过不同的深度测距方法识别人手的位置，如采用双目匹配获取深度的方法，完全基于图像处理技术，如通过三角定位法确定深度信息。通过深度摄像头识别人手的位置，不需要额外佩戴控制器，简单方便。人手的动作形态特征包括手指的弯曲度、作用范围、作用手指个数等，只有与拿取操作的预设特征匹配才算识别到拿取操作。直接通过手势就可进行操作，通过手势完成对三维主体和/或三维配体的拿取操作，以使三维主体和/或三维配体跟随操作主体的位置移动。

如图15所示，为一个具体的实施例中，基于三维空间的交互控制方法的流程示意图，具体过程如下：

1、获取第一控制指令，基于第一控制指令于用户周侧的三维空间生成并显示可操控的虚拟三维物体。

2、判断三维主体和当前三维配体是否尺度一致，如果一致，则进入步骤4，否则进入步骤3。

3、如果不一致，则对三维主体或当前三维配体进行缩放或旋转操作，再进入步骤4。

4、识别操作主体，获取操作主体对当前三维配体的拿取操作，以使当前三维配体跟随操作主体的位置移动，将当前三维配体放入三维主体对应的缺口匹配位置。

5、判断当前是否需要匹配移动轨迹，如果需要则进入步骤6，否则进入步骤7。

6、判断移动轨迹是否与预设移动轨迹匹配，如果匹配，则进入步骤7，否则验证失败。

7、判断所有三维配体是否匹配完毕，如果是，则判断整体虚拟三维物体是否与目标虚拟三维物体匹配，如果匹配成功，则验证成功，执行第一控制指令对应的控制操作。否则，获取下一个三维配体作为当前三维配体，进入步骤2。

在一个实施例中，如图16所示，提供了一种基于三维空间的交互控制装置，包括：

可操控虚拟三维物体生成模块410，用于获取第一控制指令，基于第一控制指令于用户周侧的三维空间显示或生成可操控的虚拟三维物体，可操控的虚拟三维物体包括三维主体和至少一个三维配体，三维主体和至少一个三维配体在满足预设匹配条件下能够共同形成完整的目标虚拟三维物体。

匹配模块420，用于识别操作主体，获取操作主体作用于三维主体和/或三维配体的操作姿势，根据操作姿势生成对应的操作指令，根据操作指令移动三维主体和/或三维配体，将三维主体和/或三维配体形成完整的整体虚拟三维物体。

判断执行模块430，用于判断整体虚拟三维物体是否与目标虚拟三维物体匹配，如果匹配成功，则验证成功，执行与所述第一控制指令对应的控制操作。

在一个实施例中，第一控制指令为解锁指令、支付指令或登录指令，如图17所示，可操控虚拟三维物体生成模块410包括：

配置信息获取单元411，用于获取配置信息。

目标可操控虚拟三维物体显示单元412，用于根据所述配置信息从控制虚拟三维物体库中选取对应的目标控制虚拟三维物体模型，生成目标可操控虚拟三维物体，在深度感知区域范围内显示目标可操控虚拟三维物体。

在一个实施例中，三维主体和至少一个三维配体通过连接组合或通过将所述三维配体嵌入所述三维主体能够共同形成完整的目标虚拟三维物体。

在一个实施例中，如图18所示，匹配模块420包括：

拿取操作单元421，用于识别操作主体，根据操作主体的运动轨迹和状态特征识别所述操作主体对三维主体和/或三维配体的拿取操作，根据所述拿取操作生成对应的拿取指令，以使三维主体和/或三维配体跟随操作主体的位置移动。

匹配单元422，用于根据所述操作主体的运动轨迹移动所述三维主体和/或所述三维配体以形成完整的整体虚拟三维物体。

在一个实施例中，如图19所示，装置还包括：

前处理模块440，用于获取操作主体作用于所述三维主体和/或三维配体的旋转操作，根据旋转操作生成对应的旋转指令以旋转三维主体和/或三维配体，使得三维主体和/或三维配体的方向匹配；和/或用于获取操作主体作用于三维主体和/或三维配体的尺度变换操作，根据尺度变换操作生成对应的尺度变换指令以缩放三维主体和/或三维配体，使得三维主体和/或所述三维配体的大小匹配。

在一个实施例中，如图20所示，装置还包括：

移动轨迹判断模块450，用于记录三维主体和/或三维配体的移动轨迹，判断移动轨迹是否与预设移动轨迹匹配，如果匹配，则进入判断执行模块；否则，拒绝执行与第一控制指令对应的控制操作。

在一个实施例中，如图21所示，移动轨迹判断模块450包括：

当前轨迹方向序列生成单元451，用于获取三维主体和/或三维配体的移动方向，根据移动方向生成对应的当前轨迹方向序列。

判断单元452，用于获取预设轨迹方向序列，判断当前轨迹方向序列与预设轨迹方向序列是否相同，如果相同，则匹配成功，否则匹配不成功。

在一个实施例中，操作主体为操作主体控制器，拿取操作单元421还用于通过与操作主体控制器对应的红外发射器与所述操作主体控制器内嵌的红外接收器识别操作主体控制器，根据红外信号定位所述操作主体控制器的位置，根据操作主体控制器的位置确定操作主体控制器与三维主体和/或三维配体的距离，根据距离识别操作主体对三维主体和/或三维配体的拿取操作。

在一个实施例中，操作主体为人手，拿取操作单元421还用于通过深度摄像头识别人手的位置，根据人手的位置确定人手与三维主体和/或三维配体的距离，获取所述人手的动作形态特征，根据距离和动作形态特征识别人手对三维主体和/或三维配体的拿取操作。

在一个实施例中，提供了一种智能终端，包括上述任一实施例中所述的基于三维空间的交互控制装置。此智能终端可为虚拟现实设备或增强现实设备，通过基于三维空间的交互控制装置的控制实现操作执行前的权限验证，提高了三维空间验证控制操作的便利性。指令可为解锁指令、登录指令、支付指令等。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述程序可存储于一计算机可读取存储介质中，如本发明实施例中，该程序可存储于计算机系统的存储介质中，并被该计算机系统中的至少一个处理器执行，以实现包括如上述各方法的实施例的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (19)

1.一种基于三维空间的交互控制方法，所述方法包括：

获取第一控制指令，基于所述第一控制指令于用户周侧的三维空间显示或生成可操控的虚拟三维物体；

所述可操控的虚拟三维物体包括三维主体和至少一个三维配体，所述三维主体和至少一个三维配体在满足预设匹配条件下能够共同形成完整的目标虚拟三维物体；

识别操作主体，获取所述操作主体作用于所述三维主体和/或三维配体的操作姿势，根据所述操作姿势生成对应的操作指令，根据所述操作指令移动所述三维主体和/或所述三维配体，包括：根据手部握紧力度获取力度，对所述三维主体或三维配体弹击，根据力度产生对应距离的滑动，将所述三维主体和/或所述三维配体形成完整的整体虚拟三维物体；

判断所述整体虚拟三维物体是否与所述目标虚拟三维物体匹配，如果匹配成功，执行与所述第一控制指令对应的控制操作。

2.根据权利要求1所述的方法，其特征在于，所述第一控制指令为解锁指令、支付指令或登录指令，所述基于所述第一控制指令于用户周侧的三维空间显示可操控的虚拟三维物体的步骤包括：

获取配置信息，根据所述配置信息从控制虚拟三维物体库中选取对应的目标虚拟三维物体模型，生成目标可操控虚拟三维物体；

在深度感知区域范围内显示所述目标可操控虚拟三维物体。

3.根据权利要求1所述的方法，其特征在于，所述三维主体和至少一个三维配体通过连接组合或通过将所述三维配体嵌入所述三维主体能够共同形成所述完整的目标虚拟三维物体。

4.根据权利要求1所述的方法，其特征在于，所述识别操作主体，获取所述操作主体作用于所述三维主体和/或三维配体的操作姿势，根据所述操作姿势生成对应的操作指令，根据所述操作指令移动所述三维主体和/或所述三维配体，将所述三维主体和/或所述三维配体形成完整的整体虚拟三维物体的步骤包括：

识别操作主体，根据所述操作主体的运动轨迹和状态特征识别所述操作主体对所述三维主体和/或三维配体的拿取操作，根据所述拿取操作生成对应的拿取指令，以使所述三维主体和/或三维配体跟随所述操作主体的位置移动；

根据所述操作主体的运动轨迹移动所述三维主体和/或所述三维配体以形成完整的整体虚拟三维物体。

5.根据权利要求1所述的方法，其特征在于，所述根据所述操作指令移动所述三维主体和/或所述三维配体的步骤之前，还包括：

获取所述操作主体作用于所述三维主体和/或三维配体的旋转操作，根据所述旋转操作生成对应的旋转指令以旋转所述三维主体和/或所述三维配体，使得所述三维主体和/或所述三维配体的方向匹配；和/或

获取所述操作主体作用于所述三维主体和/或三维配体的尺度变换操作，根据所述尺度变换操作生成对应的尺度变换指令以缩放所述三维主体和/或所述三维配体，使得所述三维主体和/或所述三维配体的大小匹配。

6.根据权利要求1所述的方法，其特征在于，所述判断所述整体虚拟三维物体是否与所述目标虚拟三维物体匹配的步骤之前，还包括：

记录所述三维主体和/或所述三维配体的移动轨迹；

判断所述移动轨迹是否与预设移动轨迹匹配，如果匹配，则进入所述判断所述整体虚拟三维物体是否与所述目标虚拟三维物体匹配的步骤；

否则，拒绝执行与所述第一控制指令对应的控制操作。

7.根据权利要求6所述的方法，其特征在于，所述记录所述三维主体和/或所述三维配体的移动轨迹，判断所述移动轨迹是否与预设移动轨迹匹配的步骤包括：

获取所述三维主体和/或所述三维配体的移动方向，根据所述移动方向生成对应的当前轨迹方向序列；

获取预设轨迹方向序列，判断所述当前轨迹方向序列与预设轨迹方向序列是否相同，如果相同，则匹配成功，否则匹配不成功。

8.根据权利要求4所述的方法，其特征在于，所述操作主体为操作主体控制器，所述识别操作主体，根据所述操作主体的运动轨迹和状态特征识别所述操作主体对所述三维主体和/或三维配体的拿取操作的步骤包括：

通过与操作主体控制器对应的红外发射器与所述操作主体控制器内嵌的红外接收器识别所述操作主体控制器；

根据红外信号定位所述操作主体控制器的位置，根据所述操作主体控制器的位置确定所述操作主体控制器与三维主体和/或三维配体的距离，根据所述距离识别所述操作主体对所述三维主体和/或三维配体的拿取操作。

9.根据权利要求4所述的方法，其特征在于，所述操作主体为人手，所述识别操作主体，根据所述操作主体的运动轨迹和状态特征识别所述操作主体对所述三维主体和/或三维配体的拿取操作的步骤包括：

通过深度摄像头识别人手的位置，根据所述人手的位置确定人手与所述三维主体和/或三维配体的距离；

获取所述人手的动作形态特征，根据所述距离和动作形态特征识别所述人手对所述三维主体和/或三维配体的拿取操作。

10.一种基于三维空间的交互控制装置，其特征在于，所述装置包括：

可操控虚拟三维物体生成模块，用于获取第一控制指令，基于所述第一控制指令于用户周侧的三维空间显示或生成可操控的虚拟三维物体，所述可操控的虚拟三维物体包括三维主体和至少一个三维配体，所述三维主体和至少一个三维配体在满足预设匹配条件下能够共同形成完整的目标虚拟三维物体；

匹配模块，用于识别操作主体，获取所述操作主体作用于所述三维主体和/或三维配体的操作姿势，根据所述操作姿势生成对应的操作指令，根据所述操作指令移动所述三维主体和/或所述三维配体，包括：根据手部握紧力度获取力度，对所述三维主体或三维配体弹击，根据力度产生对应距离的滑动，将所述三维主体和/或所述三维配体形成完整的整体虚拟三维物体；

判断执行模块，用于判断所述整体虚拟三维物体是否与所述目标虚拟三维物体匹配，如果匹配成功，执行与所述第一控制指令对应的控制操作。

11.根据权利要求10所述的装置，其特征在于，所述第一控制指令为解锁指令、支付指令或登录指令，所述可操控虚拟三维物体生成模块包括：

配置信息获取单元，用于获取配置信息；

目标可操控虚拟三维物体显示单元，用于根据所述配置信息从控制虚拟三维物体库中选取对应的目标虚拟三维物体模型，生成目标可操控虚拟三维物体，在深度感知区域范围内显示所述目标可操控虚拟三维物体。

12.根据权利要求10所述的装置，其特征在于，所述三维主体和至少一个三维配体通过连接组合或通过将所述三维配体嵌入所述三维主体能够共同形成所述完整的目标虚拟三维物体。

13.根据权利要求10所述的装置，其特征在于，匹配模块包括：

拿取操作单元，用于识别操作主体，根据所述操作主体的运动轨迹和状态特征识别所述操作主体对所述三维主体和/或三维配体的拿取操作，根据所述拿取操作生成对应的拿取指令，以使所述三维主体和/或三维配体跟随所述操作主体的位置移动；

匹配单元，用于根据所述操作主体的运动轨迹移动所述三维主体和/或所述三维配体以形成完整的整体虚拟三维物体。

14.根据权利要求10所述的装置，其特征在于，所述装置还包括：

前处理模块，用于获取所述操作主体作用于所述三维主体和/或三维配体的旋转操作，根据所述旋转操作生成对应的旋转指令以旋转所述三维主体和/或所述三维配体，使得所述三维主体和/或所述三维配体的方向匹配；和/或用于获取所述操作主体作用于所述三维主体和/或三维配体的尺度变换操作，根据所述尺度变换操作生成对应的尺度变换指令以缩放所述三维主体和/或所述三维配体，使得所述三维主体和/或所述三维配体的大小匹配。

15.根据权利要求10所述的装置，其特征在于，所述装置还包括：

移动轨迹判断模块，用于记录所述三维主体和/或所述三维配体的移动轨迹，判断所述移动轨迹是否与预设移动轨迹匹配，如果匹配，则进入所述判断执行模块；否则，拒绝执行与所述第一控制指令对应的控制操作。

16.根据权利要求15所述的装置，其特征在于，所述移动轨迹判断模块包括：

当前轨迹方向序列生成单元，用于获取所述三维主体和/或所述三维配体的移动方向，根据所述移动方向生成对应的当前轨迹方向序列；

判断单元，用于获取预设轨迹方向序列，判断所述当前轨迹方向序列与预设轨迹方向序列是否相同，如果相同，则匹配成功，否则匹配不成功。

17.根据权利要求13所述的装置，其特征在于，所述操作主体为操作主体控制器，所述拿取操作单元还用于通过与操作主体控制器对应的红外发射器与所述操作主体控制器内嵌的红外接收器识别所述操作主体控制器，根据红外信号定位所述操作主体控制器的位置，根据所述操作主体控制器的位置确定所述操作主体控制器与三维主体和/或三维配体的距离，根据所述距离识别所述操作主体对所述三维主体和/或三维配体的拿取操作。

18.根据权利要求13所述的装置，其特征在于，所述操作主体为人手，所述拿取操作单元还用于通过深度摄像头识别人手的位置，根据所述人手的位置确定人手与所述三维主体和/或三维配体的距离，获取所述人手的动作形态特征，根据所述距离和动作形态特征识别所述人手对所述三维主体和/或三维配体的拿取操作。

19.一种智能终端，其特征在于，所述智能终端包括上述权利要求10-18任一项所述的基于三维空间的交互控制装置。

Images