CN113296605A - 力反馈方法、力反馈装置及电子设备 - Google Patents

Abstract

本申请提供的一种力反馈方法，包括：获取力反馈设备上的接触装置的移动信息；根据所述移动信息，控制增强现实空间中的虚拟对象进行移动；若检测到所述虚拟对象在所述增强现实空间中与目标物体之间进行接触式交互，则根据所述接触式交互的交互信息，确定所述虚拟对象与所述目标物体之间的作用力；根据所述作用力，控制所述接触装置进行力反馈。通过上述方法，可以通过力反馈满足用户在增强现实场景中基于虚拟物体的交互需求，提升了用户的使用体验。

Description

力反馈方法、力反馈装置及电子设备

技术领域

本申请属于力反馈技术领域，尤其涉及力反馈方法、力反馈装置、电子设备及计算机可读存储介质。

背景技术

目前，在增强现实场景中，用户通常是用视觉以及听觉等方式来感受增强现实场景中的物体，却无法获得与虚拟物体相关的触觉感知。因此，相比于对增强现实场景中的真实物体的感知方式，用户对虚拟物体的感知方式依然存在明显的缺陷，使得用户无法在增强现实场景中获得完全沉浸式的体验。可见，目前的增强现实应用与用户的交互方式难以满足用户的感知和交互需求，导致用户体验较差。

发明内容

本申请实施例提供了力反馈方法、力反馈装置、电子设备及计算机可读存储介质，可以通过力反馈满足用户在增强现实场景中基于虚拟物体的交互需求，提升了用户的使用体验。

第一方面，本申请实施例提供了一种力反馈方法，包括：

获取力反馈设备上的接触装置的移动信息；

根据移动信息，控制增强现实空间中的虚拟对象进行移动；

若检测到虚拟对象在增强现实空间中与目标物体之间进行接触式交互，则根据接触式交互的交互信息，确定虚拟对象与目标物体之间的作用力；

根据作用力，控制接触装置进行力反馈。

第二方面，本申请实施例提供了一种力反馈装置，包括：

获取模块，用于获取力反馈设备上的接触装置的移动信息；

第一控制模块，用于根据移动信息，控制增强现实空间中的虚拟对象进行移动；

确定模块，用于若检测到虚拟对象在增强现实空间中与目标物体之间进行接触式交互，则根据接触式交互的交互信息，确定虚拟对象与目标物体之间的作用力；

第二控制模块，用于根据作用力，控制接触装置进行力反馈。

第三方面，本申请实施例提供了一种电子设备，包括存储器、处理器以及存储在上述存储器中并可在上述处理器上运行的计算机程序，上述处理器执行上述计算机程序时实现如第一方面上述的力反馈方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，上述计算机可读存储介质存储有计算机程序，上述计算机程序被处理器执行时实现如第一方面上述的力反馈方法。

第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在电子设备上运行时，使得电子设备执行上述第一方面中上述的力反馈方法。

本申请实施例与现有技术相比存在的有益效果是：本申请实施例中，可以根据力反馈设备上的接触装置的移动信息，控制增强现实空间中的虚拟对象进行移动。可见，用户可以通过控制接触装置来控制增强现实场景中的虚拟对象的移动。若检测到虚拟对象在增强现实空间中与目标物体之间进行接触式交互，则根据接触式交互的交互信息，确定虚拟对象与目标物体之间的作用力，然后根据作用力，控制接触装置进行力反馈。此时，用户在通过控制接触装置来控制虚拟对象进行移动时，可以与目标物体进行接触式交互，并通过接触装置获得力反馈，该力反馈可以模拟虚拟对象与目标物体进行接触式交互时的触觉反馈，从而弥补了传统的增强现实应用中用户无法获得与虚拟物体相关的触觉感知的问题，改善了用户在增强现实场景中的体验，提升沉浸式体验的效果。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请一实施例提供的一种信息交互示意图；

图2是本申请一实施例提供的另一种信息交互示意图；

图3是本申请一实施例提供的一种力反馈方法的流程示意图；

图4是本申请一实施例提供的力反馈设备以及虚拟对象的一种示意图；

图5是本申请一实施例提供的一种力反馈装置的结构示意图；

图6是本申请一实施例提供的电子设备的结构示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。

应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。

在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。

目前，在增强现实场景中，用户通常是用视觉以及听觉等方式来感受增强现实场景中的物体，却无法获得与虚拟物体相关的触觉感知。因此，相比于对增强现实场景中的真实物体的感知方式，用户对虚拟物体的感知方式依然存在明显的缺陷，使得用户在增强现实场景中能够轻易地区分真实物体之间的交互与虚拟物体相关的交互在感知上的差异，从而无法在增强现实场景中获得完全沉浸式的体验。

而当前常见的一些可以对用户产生触觉反馈的设备是通过在有限的自由度范围内振动或驱动来实现，例如，可以通过触觉可穿戴手套、电肌肉刺激垫，甚至全身外骨骼套装等设备来为用户提供触觉反馈。而这些设备往往较为庞大，且通常需要用户佩戴，会对用户形成束缚，导致用户体验较差，若在增强现实场景中进行应用，通常会对增强现实场景下的交互质量产生不利影响。

此外，目前的力反馈设备也没有应用于用户基于真实环境的与虚拟物体的交互中。

可见，目前的增强现实应用与用户的交互方式难以满足用户的感知和交互需求，导致用户体验较差。

而本申请实施例可以通过准确的力反馈，满足用户在增强现实场景下与虚拟对象的交互需求，提升了用户的使用体验。

其中，本申请实施例所提供的力反馈方法可以应用于电子设备。

电子设备的类型可以为头戴式显示器、服务器、台式电脑、手机、平板电脑、可穿戴设备、车载设备、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本、个人数字助理(personal digital assistant，PDA)等，本申请实施例对电子设备的具体类型不作任何限制。

在一种具体场景中，电子设备为提供增强现实空间的设备，如头戴式显示器等。

如图1所示，为本示例中的一种示例性信息交互示意图。其中，电子设备为头戴式显示器，该头戴式显示器可以通过预设接口与力反馈设备进行连接，从而从力反馈设备获取力反馈设备上的接触装置的移动信息。示例性的，该头戴式显示器可以为HoloLens2头戴式显示器。通过头戴式显示器执行本申请实施例，可以获得针对接触装置的力反馈控制信息，然后，头戴式显示器可以向力反馈设备发送针对接触装置的力反馈控制信息，从而可以控制接触装置进行力反馈。

在另一种具体场景中，电子设备为服务器，该服务器可以与提供增强现实空间的设备(如头戴式显示器)进行通信连接，而该提供增强现实空间的设备可以通过预设接口与力反馈设备进行连接。或者，该服务器也可以分别与提供增强现实空间的设备和力反馈设备进行通信连接。

如图2所示，为本示例中的一种示例性信息交互示意图。其中，电子设备为服务器，服务器可以与头戴式显示器进行通信连接，而该头戴式显示器可以通过预设接口与力反馈设备进行连接，从而从力反馈设备获取力反馈设备上的接触装置的移动信息。然后，该头戴式显示器可以通过与服务器之间的通信连接，向服务器发送移动信息，以使得服务器可以根据移动信息和预设变换矩阵，获得增强现实空间所对应的坐标系下的目标移动信息，再将该目标移动信息发送给该头戴式显示器，以指示头戴式显示器根据该目标移动信息控制增强现实空间中的虚拟对象进行移动。此外，在服务器确定虚拟对象与目标物体之间的作用力之后，可以根据作用力获得针对接触装置的力反馈控制信息，然后，服务器可以将该力反馈控制信息发送给头戴式显示器，再由头戴式显示器发送给力反馈设备，从而可以控制接触装置进行力反馈。

具体地，图3示出了本申请实施例提供的一种力反馈方法的流程图。如图3所示，该力反馈方法可以包括：

步骤S301，获取力反馈设备上的接触装置的移动信息。

本申请实施例中，力反馈设备能够为用户提供基于力和触觉的人机交互方式。力反馈设备上的接触装置可以根据相关指令向用户输出指定大小的力，并且，可以输出不同形式的力。例如，力反馈设备的接触装置可以根据相关指令沿一定方向移动、上下翻动或者左右摇晃，不同运动幅度下对用户施加的力反馈的大小不同。示例性的，反馈设备可以为Touch X反馈设备。

接触装置的具体形状、尺寸等可以根据实际应用场景来确定，在此不做限定。在实际应用当中，为了便于用户操作，该接触装置可以设计的较为轻巧，例如，接触装置可以是便于用户抓握的杆式结构，或者也称为触针，此时，用户无需佩戴力反馈设备，避免了设备带来的束缚，而可以灵活方便地通过接触装置来进行控制以及接收力反馈。

本申请实施例中，移动信息的具体获取方式可以有多种。示例性的，可以是力反馈设备通过预设接口，基于预设协议(例如传输控制协议(TCP，Transmission ControlProtocol))发送给执行本申请实施例的电子设备，或者，也可以是电子设备从服务器下载得到移动信息。

移动信息可以指用户控制接触装置在真实空间中进行移动的信息。一般来说，移动信息可以为接触装置相对于指定点进行移动的信息。示例性的，指定点可以为力反馈设备上的基座，或者，也可以为其他被包括在增强现实空间中的指定真实物体。

步骤S302，根据移动信息，控制增强现实空间中的虚拟对象进行移动。

本申请实施例中，增强现实空间中可以包含真实世界的信息以及虚拟信息。在一种具体示例中，可以通过诸如头戴式显示器等设备上的摄像头采集周围的真实场景的彩色图像信息以及深度图像信息，从而构建真实的三维场景。然后，可以通过模拟仿真等方式，将计算机生成的文字、图像、三维模型、音乐、视频等虚拟信息应用于该真实的三维场景中，从而获得增强现实空间。

增强现实空间中的虚拟对象的具体形式和在增强现实空间中的初始位置都可以根据实际应用场景需求来确定。

在一种示例中，虚拟对象可以为在增强现实空间中的一个附着在力反馈设备的接触装置上的虚拟接触装置。该虚拟接触装置可以为一个虚拟图像。此时，增强现实空间中，可以包含拍摄得到的力反馈设备的接触装置的信息。用户通过控制真实空间中的接触装置可以使得增强现实空间中的虚拟接触装置随之移动，并且可以通过实时执行本申请实施例，使得虚拟接触装置能够在增强现实空间中实时跟踪真实的接触装置，从而提升用户在增强现实空间中的沉浸式体验。

而在另一种示例中，虚拟对象可以为预设的其他虚拟物体，例如，可以为增强现实空间中的一个虚拟卡通形象，或者也可以为增强现实空间中附着于不同于力反馈设备的其他物体上的虚拟图像。

虚拟对象在增强现实空间中进行移动时的移动速度、平移量以及旋转量等等目标移动信息可以根据移动信息而得到。在一种示例中，可以根据预先确定的转换算法，将移动信息转换为目标移动信息。示例性的，转换算法可以基于用于描述增强现实空间所对应的坐标系与真实空间坐标系之间的变换关系的预设转换矩阵而实现。

可见，本申请实施例中，可以将用户在真实空间中针对接触装置的移动通过预设变换矩阵准确地转换为增强现实空间的尺度下的目标移动信息，从而控制虚拟对象在增强现实空间中以用户期望的轨迹进行移动。

在一些实施例中，移动信息为接触装置在力反馈设备对应的真实空间坐标系中移动的信息；

根据移动信息和预设变换矩阵，控制增强现实空间中的虚拟对象进行移动，包括：

基于预设变换矩阵，将移动信息转换为增强现实空间所对应的坐标系下的目标移动信息，预设变换矩阵用于描述增强现实空间所对应的坐标系与真实空间坐标系之间的变换关系；

根据目标移动信息，控制增强现实空间中的虚拟对象进行移动。

其中，真实空间坐标系可以为基于力反馈设备在真实空间中建立的坐标系。真实空间坐标系的原点以及坐标系的轴向可以根据需求来确定。示例性的，真实空间坐标系的原点可以在力反馈设备的基座上，真实空间坐标系的轴向可以基于力反馈设备的基座的朝向来构建。

增强现实空间所对应的坐标系可以基于为用户提供增强现实空间的设备(如头戴式显示器)的摄像头来确定。例如，增强现实空间所对应的坐标系的原点可以为摄像头的光心，增强现实空间所对应的坐标系的X轴和Y轴分别与摄像头的成像平面坐标系的x轴和y轴平行，增强现实空间所对应的坐标系的Z轴为摄像头的光轴，和成像平面坐标系垂直。

本申请实施例中，预设变换矩阵用于描述增强现实空间所对应的坐标系与力反馈设备对应的真实空间坐标系之间的变换关系，因此，通过预设变换矩阵，可以将真实空间中的移动信息转换为增强现实空间的坐标系尺度下的目标移动信息，从而可以在增强现实空间中控制虚拟对象进行移动。

目标移动信息可以包括虚拟对象在增强现实空间中的目标平移信息和/或目标旋转信息。其中，目标平移信息可以通过平移向量等方式来描述，目标旋转信息可以通过旋转矩阵等形式来描述。

在一些实施例中，在基于预设变换矩阵，将移动信息转换为增强现实空间所对应的坐标系下的目标移动信息之前，还包括：

在增强现实空间中，获取目标图像，目标图像中包含力反馈设备上的预设标识的图像信息；

根据预设标识的图像信息和预设标定信息，获得预设变换矩阵，预设标定信息包含真实空间坐标系中的关于预设标识的标定信息。

本申请实施例中，预设标识的内容和形式在此不作限制。一般地，预设标识中的特征信息较便于识别，例如，预设标识可以是图像边缘的对比度较高的规则图案。

本实施例中，预设标定信息可以是预先存储于电子设备中，也可以是电子设备通过指定的通信方式从其他设备获取到。目标图像可以是通过提供增强现实空间的设备(如头戴式显示器)的摄像头获取得到。

预设标定信息可以包括在真实空间坐标系中预设标识的真实尺寸信息以及预设标识的特征点的真实位置信息等等。而目标图像中可以包括预设标识在增强现实空间中的尺寸信息以及预设标识的特征点在增强现实空间中的位置信息。因此，根据目标图像中预设标识的图像信息以及预设标定信息，可以构建增强现实空间所对应的坐标系与真实空间坐标系之间的线性变换的方程，从而求解得到预设变换矩阵。

在一些实施例中，移动信息包括接触装置相对于力反馈设备的基座的平移信息和/或旋转信息。

其中，基座可以通过基座上的指定特征点进行标识。平移信息以及旋转信息的具体表示方式在此不作限制。示例性的，平移信息可以通过三元数的形式来表示，旋转信息可以通过四元数的形式来表示。

在一些示例中，在获取到用于描述平移信息的三元数和用于描述旋转信息的四元数之后，还可以根据三元数和四元数生成字符串，并将该字符串作为移动信息，其中，字符串中通过空格分隔符分割三元数和四元数所包含的参数。

此时，移动信息可以通过预设变换矩阵，转换至增强现实空间对应的坐标系下，以用于控制增强现实空间中的虚拟对象。

在一些实施例中，力反馈方法还包括：

获取接触装置的初始位置信息；

根据初始位置信息，确定虚拟对象在增强现实空间中的初始位置。

在一种示例中，虚拟对象可以为在增强现实空间中的一个附着在力反馈设备的接触装置上的虚拟接触装置。本示例中，可以获取真实空间中接触装置相对于力反馈设备上的基座的真实初始位置，并根据该真实初始位置，在增强现实空间中，确定虚拟探针相对于增强现实空间中的力反馈设备上的基座的初始位置并进行显示。或者，也可以通过提供增强现实空间的设备的摄像头确定接触装置的深度信息，并根据该深度信息确定接触装置相对于摄像头的空间位置，从而在增强现实空间中，确定虚拟对象在增强现实空间中的初始位置。

如图4所示，为力反馈设备以及虚拟对象的示意图。

其中，如图4的(a)所示，虚拟对象为在增强现实空间中的一个附着在力反馈设备的接触装置上的虚拟接触装置，虚拟接触装置的形状与接触装置类似。力反馈设备上可以粘贴有预设标识。

如图4的(b)所示，增强现实空间中，可以根据力反馈设备上的接触装置的移动信息控制虚拟接触装置进行移动，以使得虚拟接触装置能够实时跟踪接触装置。

步骤S303，若检测到虚拟对象在增强现实空间中与目标物体之间进行接触式交互，则根据接触式交互的交互信息，确定虚拟对象与目标物体之间的作用力。

本申请实施例中，接触式交互可以是在增强现实空间所对应的坐标系中，虚拟对象对应的空间区域与目标物体对应的区域产生接触甚至重叠。接触式交互的具体形式可以根据虚拟对象的预设属性以及目标物体的预设属性来确定，该预设属性可以包括表征材料的硬度、弹性以及韧性等属性的力学特征。作用力可以通过力觉渲染算法求解得到。具体的力觉渲染算法在此不作限制。目标物体可以为真实物体，也可以为虚拟物体。

在一些实施例中，若检测到虚拟对象在增强现实空间中与目标物体之间进行接触式交互，则根据接触式交互的交互信息，确定虚拟对象与目标物体之间的作用力，包括：

若检测到虚拟对象在增强现实空间中与目标物体之间进行接触式交互，则确定目标物体所对应的力觉渲染算法；

根据交互信息和力觉渲染算法，确定虚拟对象与目标物体之间的作用力。

本申请实施例中，可以预先建立力觉函数库，力觉函数库中预先存储有不同类型的物体所对应的函数接口。当检测到虚拟对象在增强现实空间中与目标物体之间进行接触式交互时，可以根据目标物体的材质类型和/或，从力觉函数库中确定目标函数接口，从而调用该目标函数接口对应的力觉渲染算法，根据交互信息来计算虚拟对象与目标物体之间的作用力。此时，可以根据目标物体的不同情况，针对性地选择计算精度较高的力觉渲染算法来求解作用力，从而提升作用力的准确性。在一种示例中，力觉渲染算法可以为god-object力觉渲染算法、virtual proxy力觉渲染算法以及ray casting力觉渲染算法中的至少一种。

步骤S304，根据作用力，控制接触装置进行力反馈。

本申请实施例中，力反馈所采用的具体技术可以有多种，在此不做限制。示例性的，接触装置可以基于悬空触觉反馈技术来实现力反馈。具体的，悬空触觉反馈技术可以通过聚焦超声相控阵来实现。聚焦超声相控阵可以调节超声波发射器阵列的相位，以便产生振荡高压的焦点，当遇到用户的皮肤时可以激发振动旋转的感觉。

本实施例中，所述接触装置可以对接触所述接触装置的用户进行力反馈。用户可以通过接触装置来实现对增强现实空间中的虚拟对象的移动控制，从而可以在增强现实空间中控制虚拟对象实现与目标物体的交互，并可以通过接触装置来获取力反馈，此时，接触装置可以是小型轻便的结构，以便于用户对接触装置进行抓握和移动，并且，用户也不需要佩戴力反馈设备以及相关工具，操作过程直观简单，因此，本实施例所提供的力反馈方法能够显著提高用户在增强现实空间中进行触觉交互时的交互体验。

本申请实施例中，可以根据力反馈设备上的接触装置的移动信息，控制增强现实空间中的虚拟对象进行移动。可见，用户可以通过控制接触装置来控制增强现实场景中的虚拟对象的移动。若检测到虚拟对象在增强现实空间中与目标物体之间进行接触式交互，则根据接触式交互的交互信息，确定虚拟对象与目标物体之间的作用力，然后根据作用力，控制接触装置进行力反馈。此时，用户在通过控制接触装置来控制虚拟对象进行移动时，可以与目标物体进行接触式交互，并通过接触装置获得力反馈，该力反馈可以模拟虚拟对象与目标物体进行接触式交互时的触觉反馈，从而弥补了传统的增强现实应用中用户无法获得与虚拟物体相关的触觉感知的问题，改善了用户在增强现实场景中的体验，提升沉浸式体验的效果。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

对应于上文实施例上述的力反馈方法，图5示出了本申请实施例提供的一种力反馈装置的结构框图，为了便于说明，仅示出了与本申请实施例相关的部分。

参照图5，该力反馈装置5包括：

获取模块501，用于获取力反馈设备上的接触装置的移动信息；

第一控制模块502，用于根据移动信息，控制增强现实空间中的虚拟对象进行移动；

确定模块503，用于若检测到虚拟对象在增强现实空间中与目标物体之间进行接触式交互，则根据接触式交互的交互信息，确定虚拟对象与目标物体之间的作用力；

第二控制模块504，用于根据作用力，控制接触装置进行力反馈。

可选的，移动信息为接触装置在力反馈设备对应的真实空间坐标系中移动的信息；

第一控制模块502包括：

转换单元，用于基于预设变换矩阵，将移动信息转换为增强现实空间所对应的坐标系下的目标移动信息，预设变换矩阵用于描述增强现实空间所对应的坐标系与真实空间坐标系之间的变换关系；

控制单元，用于根据目标移动信息，控制增强现实空间中的虚拟对象进行移动。

可选的，该力反馈装置5还包括：

获取单元，用于在增强现实空间中，获取目标图像，目标图像中包含力反馈设备上的预设标识的图像信息；

处理单元，用于根据预设标识的图像信息和预设标定信息，获得预设变换矩阵，预设标定信息包含真实空间坐标系中的关于预设标识的标定信息。

可选的，该力反馈装置5还包括：

第二获取模块，用于获取接触装置的初始位置信息；

第二确定模块，用于根据初始位置信息，确定虚拟对象在增强现实空间中的初始位置。

可选的，移动信息包括接触装置相对于力反馈设备的基座的平移信息和/或旋转信息。

可选的，确定模块503包括：

第一确定单元，用于若检测到虚拟对象在增强现实空间中与目标物体之间进行接触式交互，则确定目标物体所对应的力觉渲染算法；

第二确定单元，用于根据交互信息和力觉渲染算法，确定虚拟对象与目标物体之间的作用力。

本申请实施例中，可以根据力反馈设备上的接触装置的移动信息，控制增强现实空间中的虚拟对象进行移动。可见，用户可以通过控制接触装置来控制增强现实场景中的虚拟对象的移动。若检测到虚拟对象在增强现实空间中与目标物体之间进行接触式交互，则根据接触式交互的交互信息，确定虚拟对象与目标物体之间的作用力，然后根据作用力，控制接触装置进行力反馈。此时，用户在通过控制接触装置来控制虚拟对象进行移动时，可以与目标物体进行接触式交互，并通过接触装置获得力反馈，该力反馈可以模拟虚拟对象与目标物体进行接触式交互时的触觉反馈，从而弥补了传统的增强现实应用中用户无法获得与虚拟物体相关的触觉感知的问题，改善了用户在增强现实场景中的体验，提升沉浸式体验的效果。

需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。

图6为本申请一实施例提供的电子设备的结构示意图。如图6所示，该实施例的电子设备6包括：至少一个处理器60(图6中仅示出一个)、存储器61以及存储在上述存储器61中并可在上述至少一个处理器60上运行的计算机程序62，上述处理器60执行上述计算机程序62时实现上述任意各个力反馈方法实施例中的步骤。

上述电子设备6可以是头戴式显示器、服务器、台式电脑、手机、可穿戴设备、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、桌上型计算机、笔记本、台式电脑以及掌上电脑等计算设备。该电子设备可包括，但不仅限于，处理器60、存储器61。本领域技术人员可以理解，图6仅仅是电子设备6的举例，并不构成对电子设备6的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入设备、输出设备、网络接入设备等。其中，上述输入设备可以包括键盘、触控板、指纹采集传感器(用于采集用户的指纹信息和指纹的方向信息)、麦克风、摄像头等，输出设备可以包括显示器、扬声器等。

上述处理器60可以是中央处理单元(Central Processing Unit，CPU)，该处理器60还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

上述存储器61在一些实施例中可以是上述电子设备6的内部存储单元，例如电子设备6的硬盘或内存。上述存储器61在另一些实施例中也可以是上述电子设备6的外部存储设备，例如上述电子设备6上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，上述存储器61还可以既包括上述电子设备6的内部存储单元也包括外部存储设备。上述存储器61用于存储操作系统、应用程序、引导装载程序(Boot Loader)、数据以及其他程序等，例如上述计算机程序的程序代码等。上述存储器61还可以用于暂时地存储已经输出或者将要输出的数据。

另外，尽管未示出，上述电子设备6还可以包括网络连接模块，如蓝牙模块Wi-Fi模块、蜂窝网络模块等等，在此不再赘述。

本申请实施例中，上述处理器60执行上述计算机程序62以实现上述任意各个力反馈方法实施例中的步骤时，可以根据力反馈设备上的接触装置的移动信息，控制增强现实空间中的虚拟对象进行移动。可见，用户可以通过控制接触装置来控制增强现实场景中的虚拟对象的移动。若检测到虚拟对象在增强现实空间中与目标物体之间进行接触式交互，则根据接触式交互的交互信息，确定虚拟对象与目标物体之间的作用力，然后根据作用力，控制接触装置进行力反馈。此时，用户在通过控制接触装置来控制虚拟对象进行移动时，可以与目标物体进行接触式交互，并通过接触装置获得力反馈，该力反馈可以模拟虚拟对象与目标物体进行接触式交互时的触觉反馈，从而弥补了传统的增强现实应用中用户无法获得与虚拟物体相关的触觉感知的问题，改善了用户在增强现实场景中的体验，提升沉浸式体验的效果。

本申请实施例还提供了一种计算机可读存储介质，上述计算机可读存储介质存储有计算机程序，上述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。

本申请实施例提供了一种计算机程序产品，当计算机程序产品在电子设备上运行时，使得电子设备执行时实现可实现上述各个方法实施例中的步骤。

上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，上述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，上述计算机程序包括计算机程序代码，上述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。上述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/电子设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的实施例中，应该理解到，所揭露的装置/网络设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/网络设备实施例仅仅是示意性的，例如，上述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

以上上述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种力反馈方法，其特征在于，包括：

获取力反馈设备上的接触装置的移动信息；

根据所述移动信息，控制增强现实空间中的虚拟对象进行移动；

若检测到所述虚拟对象在所述增强现实空间中与目标物体之间进行接触式交互，则根据所述接触式交互的交互信息，确定所述虚拟对象与所述目标物体之间的作用力；

根据所述作用力，控制所述接触装置进行力反馈。

2.如权利要求1所述的力反馈方法，其特征在于，所述移动信息为所述接触装置在所述力反馈设备对应的真实空间坐标系中移动的信息；

所述根据所述移动信息和预设变换矩阵，控制增强现实空间中的虚拟对象进行移动，包括：

基于预设变换矩阵，将所述移动信息转换为所述增强现实空间所对应的坐标系下的目标移动信息，所述预设变换矩阵用于描述所述增强现实空间所对应的坐标系与所述真实空间坐标系之间的变换关系；

根据所述目标移动信息，控制增强现实空间中的虚拟对象进行移动。

3.如权利要求2所述的力反馈方法，其特征在于，在基于预设变换矩阵，将所述移动信息转换为所述增强现实空间所对应的坐标系下的目标移动信息之前，还包括：

在所述增强现实空间中，获取目标图像，所述目标图像中包含所述力反馈设备上的预设标识的图像信息；

根据所述预设标识的图像信息和预设标定信息，获得所述预设变换矩阵，所述预设标定信息包含所述真实空间坐标系中的关于所述预设标识的标定信息。

4.如权利要求2所述的力反馈方法，其特征在于，所述移动信息包括所述接触装置相对于所述力反馈设备的基座的平移信息和/或旋转信息。

5.如权利要求1所述的力反馈方法，其特征在于，还包括：

获取所述接触装置的初始位置信息；

根据所述初始位置信息，确定所述虚拟对象在所述增强现实空间中的初始位置。

6.如权利要求1至5任意一项所述的力反馈方法，其特征在于，所述若检测到所述虚拟对象在所述增强现实空间中与目标物体之间进行接触式交互，则根据所述接触式交互的交互信息，确定所述虚拟对象与所述目标物体之间的作用力，包括：

若检测到所述虚拟对象在所述增强现实空间中与目标物体之间进行接触式交互，则确定所述目标物体所对应的力觉渲染算法；

根据所述交互信息和所述力觉渲染算法，确定所述虚拟对象与所述目标物体之间的作用力。

7.一种力反馈装置，其特征在于，包括：

获取模块，用于获取力反馈设备上的接触装置的移动信息；

第一控制模块，用于根据所述移动信息，控制增强现实空间中的虚拟对象进行移动；

确定模块，用于若检测到所述虚拟对象在所述增强现实空间中与目标物体之间进行接触式交互，则根据所述接触式交互的交互信息，确定所述虚拟对象与所述目标物体之间的作用力；

第二控制模块，用于根据所述作用力，控制所述接触装置进行力反馈。

8.如权利要求7所述的力反馈装置，其特征在于，所述第一控制模块包括：

转换单元，用于基于预设变换矩阵，将所述移动信息转换为所述增强现实空间所对应的坐标系下的目标移动信息，所述预设变换矩阵用于描述所述增强现实空间所对应的坐标系与所述力反馈设备对应的真实空间坐标系之间的变换关系；

控制单元，用于根据所述目标移动信息，控制增强现实空间中的虚拟对象进行移动。

9.一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述的力反馈方法。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的力反馈方法。

Images