CN111459264B - 3d对象交互系统和方法及非暂时性计算机可读介质 - Google Patents

Abstract

本申请公开了一种3D对象交互系统和方法及非暂时性计算机可读介质，以使用户以自然和真实的方式与3D数字对象进行交互。

Description

3D对象交互系统和方法及非暂时性计算机可读介质

交叉引用相关申请

本申请要求于2018年9月18日提交的美国临时申请62/733,056，以及于2018年12月21日提交的美国正式申请16/231,043的优先权，其全部内容通过引用结合于此。

技术领域

本申请公开了一种3D(3维)对象交互系统和方法及非暂时性计算机可读介质，以使用户以自然和真实的方式与3D数字对象进行交互。

背景技术

随着数字时代的到来，电子商务(e商务)、网上购物等数字零售迅速发展，网上购物成为当今可选的购物方式之一。另一方面，通过数字平台购物时，用户对产品的体验仍然存在相当大的限制。在线下商店，客户或消费者可以十分自然地与实物产品交互，以熟悉产品。用户与产品的线下交互可以包括观察、触摸和跟踪等。与线下购物相比，用户很难在数字环境中与产品进行自然交互，而不仅仅是简单地看产品。这是发展数字零售业务的一大障碍。

目前，在数字环境中，传统的基于GUI(图形用户界面)的人机交互系统无法使用户与产品进行有效自然的交互。即，在网上购物或数字零售的数字平台中，基于GUI的技术无法为客户带来接近现实的自然且深入的交互体验。但是，为客户提供与产品进行自然且深入的交互十分重要，而且考虑到空间和成本，在线下商店展示各种实物产品效率低下。因此，对于支持用户在零售商业场景(包括如用户在线下商店中试用产品般的各种商品展览)中与数字对象进行自然、高效交互的技术存在巨大需求。

发明内容

本申请公开了一种3D对象交互的系统和方法及非暂时性计算机可读介质，以使用户以自然和真实的方式与3D数字对象进行交互。

根据本申请实施例的一个方面，公开了一种3D对象交互系统。该系统包括：3D显示器，用于在三维(3D)视图中显示至少一个对象；眼睛跟踪器，用于跟踪用户眼睛的位置和角度；运动传感器，用于跟踪用户在空中的运动；以及具有电路的计算装置，用于：确定用户的运动与预定手势交互是否匹配；当用户的运动与预定手势交互匹配时，使反馈提供者根据预定手势交互生成至少一个反馈；并且使3D显示器根据用户眼睛的位置和角度或者当用户的运动与预定手势交互匹配时，调整3D显示器上显示的对象。3D显示器是3D裸眼显示器。反馈包括：超声波触觉反馈、视觉反馈或音频反馈。计算装置包括：多模式交互引擎，用于执行3D显示渲染、反馈渲染或手势识别和分析。被跟踪的用户的运动包括用户的手或手指的运动。

根据本申请实施例的另一个方面，提供了一种3D对象交互方法。

根据本申请实施例的另一个方面，提供了一种计算机可读存储介质，包括一组指令，所述指令适于由至少一个处理器执行，并执行上述的3D对象交互方法。

根据本申请实施例的另一个方面，提供了一种非暂时性计算机可读存储介质，可以存储程序指令，这些程序指令由至少一个处理设备执行，并且执行在本文描述的前述3D对象交互方法。

附图说明

图1示出了根据本申请实施例的3D对象交互系统的示例性框架；

图2示出了根据本申请实施例的如图1所示的3D对象交互系统的示例性硬件配置；

图3示出了根据本申请实施例的如图1所示的3D对象交互系统的示例性操作流程；

图4示出了根据本申请实施例的如图1所示的3D对象交互系统的交互模式的实例。

具体实施方式

现结合附图对本申请实施例进行详细地描述。以下描述参考附图中，不同附图中的相同数字表示相同或相似的元件，除非另有说明。示例性实施例的以下描述中阐述的实现并不表示根据本发明的所有实现。

本申请实施例公开了一种3D(三维)对象交互系统和方法。本申请实施例可以解决基于传统电子商务平台的商品显示和交互的限制。在传统的电子商务平台中，主要的显示模式包括图像显示、视频显示和产品规格显示等，交互模式通常依赖传统的WIMP(窗口、图标、菜单和定点装置)元件，操作模式仅限于通过选择产品来详细查看产品。本申请实施例至少通过集成用于3D显示、手势交互和多模式交互反馈的各种技术，向产品提供高效的用户感知和交互。本申请实施例可以减小用户和数字产品之间的心理距离，并且提供了一种可以在数字零售中使用的新颖的自然交互模式。

图1示出了根据本申请实施例的3D对象交互系统100的示例性框架。图2示出了根据本申请实施例的如图1所示的3D对象交互系统100的示例性硬件配置200。如图2所示，3D对象交互系统100的硬件配置200可以包括3D显示器210、一个或多个运动传感器220和计算装置230。3D对象交互系统100还可以包括眼睛跟踪器，其可以包含在3D显示器210中。3D对象交互系统100还可以包括反馈提供者，其中一个反馈提供者可以包含在运动传感器220中，并在空中提供超触觉反馈。计算装置230可以包括一个或多个处理器和一个或多个存储器，用于实现系统100后端的至少一部分。

本申请实施例通过将不同的交互模式集成到3D对象交互系统中，允许潜在的零售消费者和终端客户与数字商品进行深度自然的交互。本申请实施例支持数字商品和零售虚拟场景的3D显示、自然手势交互和多感官交互反馈。可以参考图1和2描述的实施例。

根据本申请实施例，3D显示器210显示3D对象。用户可以与在3D显示器210上显示的3D数字对象进行交互。系统100可以使用3D裸眼显示器，这使得用户能够以自然的方式看到明亮的三维图像，而不需要任何额外的眼镜，同时用户在显示器前享有移动自由。可以使用如下两种技术生成3D内容：一种是使用图像转换技术将2D图像转换成3D图像，另一种是基于3D模型构建软件构建3D内容。系统100可以使用跨平台开发工具来开发3D/2D交互系统，例如，3D游戏开发，以开发3D交互使用场景，并且可以通过3D裸眼显示器210呈现3D场景。本申请实施例中公开的系统100利用3D裸眼显示技术，该技术使得用户能够看到自然和明亮的三维图像，而无需任何额外组件，例如，3D眼镜或虚拟套件。

本申请实施例允许用户与3D显示器210上显示的数字对象进行交互。基于数字对象的通用交互逻辑，系统100可以为零售商业场景定制手势交互模式。可以使用与用户期望的自然交互相匹配的手势交互。例如，可以通过在旋转盘上向左/向右滑动来执行对象浏览，并且可以通过在空中触摸目标对象来执行对象选择。此外，可以通过眼睛跟踪和识别来执行对象浏览和选择。例如，用户可以浏览3D场景中的对象，并且系统100提供用户正在查看对象的反馈。当用户查看目标对象时，系统100告知用户目标对象已被选择并准备好进行检索。然后，用户可以做手势，将目标对象拉出到用户面前。用户与所选择的单个对象的交互可以包括：抓握对象，使用多个手指滑动来放大和缩小，握住并旋转手腕以旋转对象。可以通过手向左/向右滑动来执行从当前对象切换到下一个对象。通过向后推对象，可以触发3D场景的整体导航模式。根据实施例，用户可以使用更多手势交互来与3D显示器210显示的数字对象进行交互。

本申请实施例的系统100利用基于手势的交互，该交互是以人为中心的交互，其中，用户无需触摸显示器，而是通过执行身体手势来与显示器交互，实现用户与数字系统的交互和通信。在这种情况下的手势可以是身体部位(手/眼睛或其他部位)为实现交流而进行的有意运动。

在与3D场景或对象交互的过程中，本申请实施例提供多通道感觉反馈。可以使用触觉反馈。用户可以在空中接收触觉反馈。如上所述，系统100可以将手势交互作为一种交互模式。用户可以做出手势从而在空中与3D对象交互，而无需与其他界面进行物理接触。现有的手势交互解决方案主要依靠视觉反馈来告知用户其手势是否成功。因此，在现有的手势交互解决方案中，用户不能将她的/他的眼睛从屏幕上移开，从而限制了用户与数字商品交互时的活动，并影响了用户体验。系统100可以使用超声波触觉反馈，其可以提供空中反馈，从而使触觉反馈与其他界面分离。超声波感觉反馈允许用户感觉到直观的操作反馈，而不需要将眼睛停留在屏幕上，同时也为用户直接感受数字对象带来了更真实的感觉。通过超触觉反馈，手势交互中涉及的每个手指或手都可以获得单独的反馈，这给用户提供更好的控制感，并允许各种手势运动。本申请实施例的系统100利用空中触觉模拟，使得用户能够通过空中触觉反馈体验数字对象的物理属性。空中触觉模拟的技术可以包括超声波反馈、空气脉冲生成的触感以及激光产生的触觉显示。

可以根据用户的动作提供空中触觉反馈，以模拟物理触觉或提供交互式反馈。例如，当用户触摸目标对象或其他对象时，用户可以在触摸的那一刻获得空中触觉反馈。用户通过空中触觉反馈可以感受到对象的独特纹理、特征或品质。超触觉反馈使用户能够感觉到对象的一些不可见的品质，例如，净化器的气流、滚筒式洗衣机内的水飞溅、洗衣粉产生的气泡等。超触觉反馈还提供交互式反馈。例如，当使用两个手指滑动来放大/缩小对象时，可以为每个手指创建一个焦点，并且两个焦点之间的调制频率的差异随着两个焦点分开而增加，因此用户可以感觉到每个手指的超触觉反馈。当旋转元件显示对象时，用户可以获得超触觉反馈，以便用户旋转该元件时获知旋转方向是否正确。

本申请实施例的系统100可以提供其他反馈，例如，视觉反馈、声音反馈、其他类型的触觉反馈等，以增强用户体验以及上述触觉反馈。例如，在完成手势输入后，用户可以及时体验声音反馈，用户可以更深入地体验到完成任务的满足感。

图3示出了根据本申请实施例的如图1所示的3D对象交互系统的示例性操作流程300。本申请实施例允许用户在一个时间范围内与系统交互。整个交互体验可以包括三个阶段。

当系统100在系统感知范围内没有检测到用户时，系统处于待机状态。在系统100的相机检测到人眼之后，系统100识别出用户在设定的交互范围内，并且感知到用户正在观看显示器。相机可以包含在3D显示器210中。为了确保用户进入优选的交互范围，系统100可以向用户提供指导。用户在特定区域与系统100交互，使得相机和运动传感器220可以准确地捕捉用户的眼睛运动和手势。该指导可以包括动画指导、视觉指导、音频指导等。例如，系统100可以提供带有音频的动画指导，以建议用户接近系统100并与之交互。系统100可以提供带有声音的文本指导，以帮助用户更接近优选范围并使用该系统。如果用户离系统100太近，则系统可以提供诸如“太近”等消息。

当用户处于交互范围的可选的交互区域并基于动画指导开始交互时，3D显示器210切换到3D对象显示的主场景。在该场景中，用户可以看到水平旋转转盘中显示的多个对象。转盘直观地提醒用户可以通过手/手指向左或向右滑动旋转该转盘，从而导航到目标对象。当用户锁定目标对象并用手/手指触摸该对象时，该对象停止旋转并放大，且对象处于透明容器内。用户轻敲透明容器，该容器会消失。所选对象漂浮在空中并以可选的尺寸呈现给用户。用户进入与数字对象进行深度交互的状态。在这个阶段，用户可以抓住对象，对其进行放大和缩小、旋转。在这一系列手势交互中，系统100可以向用户提供实时反馈。例如，可以提供触觉反馈、视觉反馈、声音反馈以及三种反馈中的至少两种的组合，以增强用户的沉浸式体验。根据本申请实施例，也可以提供其他类型的反馈，例如，嗅觉反馈。

在用户完成目标对象的交互循环之后，系统100可以提示用户是否想要返回主场景，并且系统100指示相应的手势交互模式。系统100可以允许用户以两种方式返回主场景：1)沿深度方向推回对象，然后，3D显示器210的显示返回主场景；2)如果检测到用户在预定时间段内没有执行手势交互，则系统100自动返回主场景。例如，如果识别出用户超过15秒没有与其交互，则系统100自动返回主场景。

当用户与系统100进行交互时，系统100中通过手势识别和运动分析，以确保流畅和自然的交互。同时，可以通过眼睛跟踪和识别来提供实时3D图像。实施例中可以使用双目跟踪。

系统100可以确保交互过程以优雅的方式结束。优选地，用户交互不会突然终止。在示例性实施方式中，当检测到用户已经停止手势交互达预定时间时，系统100确定用户已经停止交互，可以自动重置其状态并将场景模式切换到初始动画状态。例如，上述的预定时间可以设置为40秒。

在本申请实施例中，用户可以在对所有3D场景都进行完整体验后停止交互。在这种情况下，系统可以向用户展示带有声音的消息，例如，“感谢您的访问，请将您的反馈留给我们”。在有些情况下，用户只尝试了一部分交互，并希望早点离开。在一些实现方式中，当系统100检测到用户刚刚完成一部分场景但没有进一步动作时，3D显示器210可以显示诸如“你想要尝试下一个场景吗？这更令人惊奇！”信息来留住用户。否则，如果系统100确定用户已经离开，则3D显示器210可以切换到初始模式。

参考图1，将详细描述系统100的后端。为了使系统100按照以上所述的方式操作，系统100可以执行眼睛跟踪和识别、手势跟踪和识别以及多模式交互过程。为了确保用户体验感和满意度，后端技术实现侧重于实现流畅高效的手势交互、鲁棒的3D显示、容错和错误恢复。其中的每一个都有助于系统100前端的自然和流畅的交互体验。

眼睛跟踪和识别对于确保用户看到如同真实一样的3D对象非常重要。本申请实施例利用双目位置捕捉相机来跟踪用户眼球的位置，并根据用户视角和距离的变化实时调整3D图像。相机可以由3D裸眼显示器提供。在传统的3D显示系统中，当用户的视角改变时，用户看到的3D数字场景不会相应地改变，而且用户不能看到3D对象的不同角度；当观看距离改变时，景深的改变也与现实不一致。例如，如果用户从距屏幕0.4米的距离移动到0.5米的距离，在最初位于距屏幕0.1米的位置的虚拟3D对象将移动到0.15米的位置。当感知的体验与现实不一致时，会显著降低3D显示的真实感。

在示例性实施例中，系统100将场景中相机位置与用户头部的位置相关联，当系统100检测到用户头部位置的实时调整时，3D显示器210上显示的3D对象的位置和角度也将相应地改变。模拟人类眼睛在现实世界中看到物理对象的方式，并带来更真实的3D体验。

在所公开的实施例中，可以基于连续的手势识别和分析来获得用户与虚拟场景的流畅交互。同时，手势跟踪和识别也可以用于在一些场景中触发空中触觉反馈。例如，当虚拟产品被视为悬停在屏幕外时，用户可以用手/手指旋转虚拟产品。当用户的手移动到在现实世界中感知虚拟对象的位置时，系统100通知反馈提供者，例如，超声波触觉反馈提供者，以在用户手的位置产生触觉反馈，使得用户感觉到触摸真实对象的触感。后端软件协调3D场景的空间坐标系、手势识别系统和超声波触觉系统，使得用户对3D对象的空间感知变得更接近现实。运动传感器220通常实现手位置的跟踪和识别。另一方面，特定手势的准确识别和分析是后端软件实现的重要任务之一。手势是连续的而不是离散的，并且在传统手势识别技术中，连续手势识别和离散手势识别之间存在基本的张力。用于本申请实施例的手势识别和分析的后端算法侧重于提高通过手势通信识别用户意图的能力，同时确保系统100具有足够的容错能力。后端算法可以考虑用户手势的物理特征和做出手势的特定场景。对于用户手势的物理特征，可以确定用户手或手指的速度、方向和位置。当考虑特定场景(例如，产品选择)时，该算法可以排除一些不适用于该场景的手势识别。

系统100包括多模式交互引擎，以确保系统100提供与3D对象的自然和流畅的用户体验。通过多模式交互引擎，可以获得3D场景实时渲染的高分辨率、手势的高精度识别、手势的流畅交互以及实时反馈响应。后端中的多模式交互引擎可以包括3D实时渲染、解析和渲染引擎、以及物理引擎，该物理引擎模拟真实世界手势交互和涉及手势识别、接触检测、实时多模式反馈的实时响应。

系统100利用多模式交互，多模式交互是指以更自然的通信模式与计算机系统交互的多模式人机交互。多模式交互的目标是在人和计算机之间带来更加自由、灵活和自然的通信，以提高整体数字体验和通信效率。除了传统的GUI交互之外，多模式系统允许用户通过多种输入模式(例如，语音、手势和身体姿势、手写)与物理或数字环境交互，并通过不同的输出模式(例如，3D视觉显示、触觉反馈、力反馈、音频响应和其他模式)接收信息。

通常，多模式交互引擎对多模式交互进行有机集成，创造出一种新的、更自然、更人性化的人机交互模式，适用于数字零售商业场景。用户和系统之间的对话为用户理解系统并感到满意、愉快和有趣提供了积极的体验。

为了增强用户与数字商品交互的整体体验，根据本申请实施例，3D裸眼数字显示、自然手势交互和多种感官反馈方法可以通过有效技术相结合。后端技术可以提供逼真的3D演示，支持自然流畅的手势通信，并通过实时响应增强整体体验。当识别手势时，系统100可以通过包括触觉反馈、听觉反馈和视觉反馈的多感官反馈提供清晰的响应。

根据本申请实施例，建立可应用于3D对象交互系统100的手势交互语言是重要的，因为基于传统台式计算机系统或移动系统的传统GUI交互模式不能应用于系统100。根据本申请实施例，为了提供3D产品的自然和沉浸式体验，可以使用比传统的基于GUI的交互模式更多的手势交互或交互语言定义。本申请实施例为用户提供一组手势交互语言来与数字商品交互。例如，手势交互语言可以从数字零售业务的角度来解释。在一些实施例中，该组手势交互语言可以被设置为通过观察真实世界中的物理用户与对象的交互来实现3D场景中自然的沉浸式用户体验。例如，该组手势交互语言可以通过考虑用户在现实世界中的手势行为和潜在的手势感知来定义，然后通过迭代用户评估来确认。手势交互语言可以包括基于特定任务和相应系统反馈的基于手势动作的定义。

图4示出了根据本申请实施例的如图1所示的3D对象交互系统的交互模式400的实例。例如，可以通过向左或向右滑动手/手指并触摸目标对象来执行交互流程中的对象浏览和选择。如果系统100识别出动作，系统100为每个动作提供一个反馈。类似地，对交互流列中的单个目标对象的每个动作可以由手势交互列中相应的手势交互来执行，并且可以提供相应的反馈。在用户完成对所选对象的探索之后，用户可以向后推动该对象(例如，使用运动传感器220)，以将该对象放在3D场景中的原始位置。此时用户可以从头开始下一个对象交互来切换要探索的对象。尽管图4示出了触觉效果和声音效果，但是根据本申请实施例，这些实施例可以提供比两种或其他组合更少或更多的反馈。尽管图4示出了对应于特定动作的特定手势交互，但是根据本申请实施例，该特定动作可以通过其他手势交互来执行。尽管图4没有示出针对单个对象试用的相应手势交互，但是应当理解，针对对象试用的手势交互可以被具体设置为对象。例如，手势交互可以被设置为测试对象的功能。

应当理解，系统100可以应用于各种企业对企业(B2B)商品显示的展示，例如，各种销售会议。本申请实施例为消费者提供了一种与数字商品交互的新方式，以便更好地理解商品。本申请实施例还可以应用于各种零售商业场景，为客户提供了线下自然地与数字产品交互的独特体验。

本申请实施例支持3D数字产品呈现，允许用户具有观看数字产品的体验，这类似于我们在现实世界中看到物理对象的体验。同时，通过自然手势交互与多维交互反馈(包括触觉反馈、声音反馈和视觉反馈)相结合，支持用户更自然和三维的数字产品交互，让用户更好地体验和理解产品。上述的交互模型包括数字产品和场景的实体显示、定制手势交互模式以及多维操作反馈。

本申请实施例创新性地将多种技术(3D裸眼显示、手势交互和空中触觉反馈)集成到数字商务的商业场景中。上述多模式交互框架适用于数字零售中的各种应用场景。同时，多模式交互系统的框架是基于模态的、开放的。根据本申请实施例，可以基于商业场景和用户体验的需要将其他交互模式添加到系统中。

本申请实施例开发了定制的自然交互模式，该模式很好地定制用于用户与数字产品和3D零售场景交互。该模式为数字交互提供了闭环系统，具有三个环节：3D商品显示、定制手势驱动的交互模式和独特的多感官反馈。该模式可以为数字零售场景定义，并与整体购物交互流程很好地匹配。应当理解，在行业中还没有找到这种解决方案。

本实施例提供了传统3D显示监视器的用户体验问题的解决方案，并且当人眼真实地看到物理对象时，使得3D显示体验接近线下体验。当用户通过传统的3D显示监视器看到3D对象时，典型的问题是当用户以不同的角度或不同的距离看到场景时，用户所看到的虚拟场景不会相应地改变。这与用户观看真实物理世界的体验不一致。本申请的后端解决方案通过将数码相机的位置与用户的头部位置绑定来消除这些不一致，并且允许虚拟场景可以基于用户头部的位置改变而动态改变。极大地提高了3D裸眼显示的真实感。

本实施例将超声波空中反馈技术应用到零售体验中。要注意的是，空中超声波反馈能够表达商业产品的一些不可见特征和品质，例如，净化器和电子风扇的气流。应当理解，用户很难从传统的产品营销展示方式中感受到产品的这种无形品质。本实施例还将超触觉反馈用于手势交互场景，以便用户直观地体验交互反馈。本实施例给予用户独特的交互体验，并加强用户和产品之间的心理连接。

由于传统的3D商品展示系统已经局限于与典型台式计算机的交互模式，传统的3D商品展示系统不能支持用户以更沉浸式的方式与产品交互，并且在与3D对象通信时不能支持丰富的交互反馈。本申请实施例集中于改善用户与3D对象交互的自然交互体验。本申请实施例开发了一组自然手势交互语言，作为用户以自然方式与3D场景交互的通信输入，从而克服了用户主要基于传统鼠标或键盘与3D商品交互的传统GUI交互方法的局限性。此外，本申请实施例开发了多模式交互反馈。当用户与3D场景交互时，可以获得实时触觉反馈、视觉反馈和听觉反馈，带来了更加自然和真实的数字交互体验。

已有一种虚拟试衣镜系统，其中，用户在镜子前试衣，并且用户在屏幕上看到形状类似用户身体的模拟人体模型。尽管虚拟试衣镜支持用户通过手势等与屏幕交互，但是这种交互很受限制，以至于用户不能与模拟的表示充分交互。例如，虚拟试衣镜系统不能像本申请实施例中的系统那样给用户带来多种直观的感觉反馈。本申请实施例提供了一种通用的自然交互系统，该系统可以用于各种潜在的新零售商业场景，而传统的虚拟试衣镜系统可以应用于非常小的区域。即，本申请实施例提供了与数字商品交互的通用模式，可以比虚拟试衣镜更广泛地使用。另一方面，虚拟试衣镜仅提供视觉显示，但缺乏直观和多样的感觉反馈，并且总体体验远小于本申请实施例的系统中的体验。

本申请实施例提供了一种多模式3D产品显示和交互的系统和方法，使用户以更自然和沉浸式的方式与3D数字产品交互。根据本申请，上述多模式交互系统的输入和输出部分可以与不同的技术组件集成。在信息输入方面，除了手势交互之外，还可以集成语音输入作为辅助信息输入模式，以确保整个系统能够满足更复杂的场景。例如，手势交互可以侧重于输入常见的交互命令，而语音输入可以用于输入更精确和复杂的命令。

对于手势跟踪的技术解决方案，根据本申请实施例，系统100可以采用各种类型的运动传感器。例如，可以使用支持整个人体跟踪或除了手跟踪之外的多人跟踪的手势识别技术。根据本申请实施例，系统100可以采用各种类型的眼睛跟踪技术。例如，可以使用允许用户通过眼睛直接与3D数字零售场景进行交互的眼睛跟踪技术。根据本申请实施例，系统100可以采用各种类型的空中触觉反馈技术。例如，通过驱动柔性喷嘴产生的空气脉冲可以用于提供触感。由于激光传播更长的距离，几乎没有扩散和衰减，可以使用激光触觉解决方案，从而可以创建更大的触觉显示工作空间。

如本文所用，除非另有特别说明，术语“或”包括所有可能的组合，除非不可行。例如，如果声明数据库可以包括A或B，则除非另有特别声明或特别声明不可行，否则数据库可以包括A，或B，或A和B。作为第二实例，如果声明数据库可以包括A、B或C，则除非另有特别声明或特别声明不可行，否则数据库可以包括A，或B，或C，或A和B，或A和C，或B和C，或A和B和C。

上面描述的示例实施例参考了方法、设备(系统)和计算机程序产品的流程图或框图。应当理解，流程图或框图的每个框以及流程图或框图中的框的组合可以由计算机程序产品或计算机程序产品上的指令来实现。这些计算机程序指令可以提供给计算机或其他可编程数据处理设备的处理器，以产生机器，使得经由计算机或其他可编程数据处理设备的处理器执行的指令创建用于实现流程图或框图的一个或多个框中指定的功能/动作的装置。

这些计算机程序指令也可以存储在计算机可读介质中，该介质可以指导计算机、其他可编程数据处理设备或其他装置的硬件处理器核心以特定方式运行，使得存储在计算机可读介质中的指令形成包括实现流程图或框图的一个或多个框中指定的功能/动作的指令的制造产品。

计算机程序指令也可以加载到计算机、其他可编程数据处理设备或其他装置上，以使得在计算机、其他可编程设备或其他装置上执行一系列操作步骤，从而产生计算机实现的过程，使得在计算机或其他可编程设备上执行的指令提供用于实现在流程图或框图的一个或多个框中指定的功能/动作的过程。

可以利用一个或多个计算机可读介质的任何组合。计算机可读介质可以是非暂时性计算机可读存储介质。计算机可读存储介质可以是例如但不限于电子、磁、光、电磁、红外或半导体系统、设备或装置、或上述的任何适当组合。计算机可读存储介质的更具体实例(非穷举列表)将包括以下内容：具有一根或多根导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM、EEPROM或闪存)、光纤、云存储、便携式光盘只读存储器(CD-ROM)、光存储装置、磁存储装置或上述的任何适当组合。在本文档的上下文中，计算机可读存储介质可以是能够包含或存储由指令执行系统、设备或装置使用或与其结合使用的程序的任何有形介质。

在计算机可读介质上体现的程序代码可以使用任何合适的介质传输，包括但不限于无线、有线、光纤电缆、RF、IR等、或前述的任何适当组合。

用于执行例如实施例的操作的计算机程序代码可以用一种或多种编程语言的任意组合来编写，包括面向对象的编程语言(例如，Java、Smalltalk、C++等)以及传统的过程编程语言，例如，“C”编程语言或类似的编程语言。程序代码可以完全在用户计算机上执行，部分在用户计算机上执行，作为独立软件包执行，部分在用户计算机上执行，部分在远程计算机上执行，或者完全在远程计算机或服务器上执行。在后一种情况下，远程计算机可以通过任何类型的网络连接到用户的计算机，包括局域网(LAN)或广域网(WAN)，或者可以连接到外部计算机(例如，通过使用互联网服务提供者的互联网)。

图中的流程图和框图示出了根据各种实施例的系统、方法和计算机程序产品的可能实现的架构、功能和操作的实例。在这点上，流程图或框图中的每个框可以表示模块、代码段或代码部分，其包括用于实现指定的逻辑功能的一个或多个可执行指令。还应当注意，在一些替代实现方式中，框中标注的功能可能以不同于图中标注的顺序出现。例如，根据所涉及的功能，连续示出的两个框实际上可以基本上同时执行，或者这些框有时可以以相反的顺序执行。还将注意到，框图或流程图中的每个框以及框图或流程图中的框的组合可以由执行特定功能或动作的基于专用硬件的系统或者专用硬件和计算机指令的组合来实现。

应当理解，本申请不限于说明书中阐述的或附图中示出的组件的设置。本申请能够具有除了那些描述的实施例之外的实施例，并且能够以各种方式实践和执行。此外，应当理解，在本文以及摘要中使用的措辞和术语是为了描述的目的，不应被视为限制。

因此，应当理解，本申请所基于的概念和特征可以容易地用作设计用于执行本申请的几个目的的其他方法和系统的基础。此外，权利要求应被视为包括这样的等同结构，只要不脱离本公开的精神和范围。

Claims (12)

1.一种3D对象交互系统，其特征在于，包括：

显示器，用于在三维(3D)视图中显示至少一个对象，其中，所述显示器是3D裸眼显示器；

眼睛跟踪器，用于跟踪用户眼睛的位置和角度；

运动传感器，用于跟踪用户在空中的运动；以及

具有电路的计算装置，用于：

确定所述用户的运动与预定手势交互是否匹配；

当所述用户的运动与所述预定手势交互匹配时，使反馈提供者根据所述预定手势交互生成至少一个反馈；并且

使所述显示器根据所述用户眼睛的位置和角度或者当所述用户的运动与所述预定手势交互匹配时，调整所述显示器上显示的对象；

其中，所述反馈包括：超声波触觉反馈、视觉反馈或音频反馈；

其中，被跟踪的所述用户的运动包括用户的手或手指的运动；

其中，调整所述显示器上显示的对象包括：

根据所述用户眼睛的位置和角度的变化来改变所述显示器上显示的对象的位置或角度，其中，所述对象的观看距离与景深的改变一致。

2.根据权利要求1所述的系统，其特征在于，所述计算装置包括：多模式交互引擎，用于执行3D显示渲染、反馈渲染或手势识别和分析。

3.根据权利要求1所述的系统，其特征在于，所述反馈提供者生成空中触觉反馈。

4.根据权利要求3所述的系统，其特征在于，所述空中触觉反馈对应于所述对象的纹理品质或所述对象的不可见品质。

5.一种3D对象交互方法，其特征在于，包括：

在显示器的三维(3D)视图中显示至少一个对象，其中，所述显示器是3D裸眼显示器；

跟踪用户眼睛的位置和角度以及用户在空中的运动；

确定所述用户的运动与预定手势交互是否匹配；

当所述用户的运动与所述预定手势交互匹配时，根据所述预定手势交互生成至少一个反馈，其中，所述反馈包括：超声波触觉反馈、视觉反馈或音频反馈；并且

根据所述用户眼睛的位置和角度或者当所述用户的运动与所述预定手势交互匹配时，调整所述显示器上显示的对象；

其中，被跟踪的所述用户的运动包括用户的手或手指的运动；

其中，调整所述显示器上显示的对象包括：

根据所述用户眼睛的位置和角度的变化来改变所述显示器上显示的对象的位置或角度，其中，所述对象的观看距离与景深的改变一致。

6.根据权利要求5所述的方法，其特征在于，调整所述显示器上显示的对象包括：

当根据所述用户眼睛的位置和角度或所述用户的运动确定用户选择所述至少一个对象中的一个对象时，将所述一个对象漂浮在空中。

7.根据权利要求5所述的方法，其特征在于，通过考虑用户手势的物理特征和做出手势的场景，确定所述用户的运动与所述预定手势交互是否匹配。

8.根据权利要求5所述的方法，其特征在于，所述反馈包括空中触觉反馈。

9.根据权利要求8所述的方法，其中，所述空中触觉反馈对应于所述对象的纹理品质或所述对象的不可见品质。

10.一种非暂时性计算机可读介质，其存储有可由计算装置的至少一个处理器执行的一组指令，以使所述计算装置执行3D对象交互方法，所述方法包括：

确定用户在空中的运动与预定手势交互是否匹配；

当所述用户的运动与所述预定手势交互匹配时，使反馈提供者根据所述预定手势交互生成至少一个反馈，其中，所述反馈包括：超声波触觉反馈、视觉反馈或音频反馈；并且

使显示器根据用户眼睛的位置和角度或者当所述用户的运动与所述预定手势交互匹配时，调整所述显示器上显示的至少一个对象，其中，所述显示器是3D裸眼显示器；

其中，基于用户的运动跟踪信息识别所述用户的运动，并且基于用户眼睛跟踪信息识别所述用户眼睛的位置和角度；

其中，被跟踪的所述用户的运动包括用户的手或手指的运动；

其中，使显示器调整所述显示器上显示的至少一个对象，包括：

使所述显示器根据所述用户眼睛的位置和角度的变化来改变在所述显示器上显示的对象的位置或角度，其中，所述对象的观看距离与景深的改变一致。

11.根据权利要求10所述的计算机可读介质，其中，使显示器调整所述显示器上显示的至少一个对象，包括：

当根据所述用户眼睛的位置和角度或所述用户的运动确定用户选择所述至少一个对象中的一个对象时，使所述显示器将所述一个对象漂浮在空中。

12.根据权利要求10所述的计算机可读介质，其中，通过考虑用户手势的物理特征和做出手势的场景，确定所述用户的运动与预定手势交互是否匹配。

Images