CN110717993A - 一种分体式ar眼镜系统的交互方法、系统及介质 - Google Patents

Abstract

本发明涉及增强现实技术领域，具体涉及一种分体式AR眼镜系统的交互方法、系统及介质，其中，AR眼镜系统包括眼镜终端和手持终端，眼镜终端用于渲染多个目标对象并将其叠加在真实物理场景中进行显示，交互方法包括采用手持终端在眼镜终端的显示视窗中构建一条指示线，手持终端用于通过自身的姿态控制指示线的终点位置，指示线的终点用于指示眼镜终端的显示视窗中的第一目标对象；调整眼镜终端使得其显示视窗中显示第二目标对象，调整手持终端使得指示线的终点指向眼镜终端的显示视窗中的第二目标对象。该交互方法不会受到环境噪音的影响，适用更加广泛，和现有的手势交互方法相比，也无需人手长时间举着，交互更加轻松，同时也不会受到强光影响。

Description

一种分体式AR眼镜系统的交互方法、系统及介质

技术领域

本发明涉及增强现实技术领域，具体涉及一种分体式AR眼镜系统的交互方法、系统及介质。

背景技术

随着科技的发展，AR和VR越来越受到人们的青睐。VR即虚拟现实，是利用计算机设备模拟出一个虚拟世界，包括人的视觉、听觉、触觉等信息，即VR看到听到的全是计算机模拟出来的，它骗过了人的感官系统，给人一种身临其境的感觉。而AR是将虚拟的信息叠加到真实的世界中去，从而达到一种超越现实的感官体验，即AR看到的场景有一部分是真的，一部分是假的，给人一种超越现实的感觉。这两种技术都是通过相关硬件和画面，给用户营造一个虚拟的场景，让用户置身其中，用户可以通过手势、语音、身体移动等方式和虚拟场景进行交互。

现有的AR、VR设备，其交互方式主要有以下几种：

1、触摸板交互

一部分AR眼镜或VR头盔上集成有电容触摸板或触摸屏，用户通过在触摸屏上点击、双击、滑动等操作来控制AR眼镜或VR头盔上显示的内容。触摸板在手机、平板电脑等手持终端上应用比较多，适用于显示和触摸一比一重合的场景，对于AR VR不重合的场景交互不太自然。

2、语音交互

目前语音交互技术发展相对成熟，从简单的模板匹配到现在的自然语音交互，除了可以识别简单的命令词之外，也可以解析语义和上下文，这种方式交互更自然，但对于环境噪音比较大的情况往往容易误识别，对方言的识别率也比较低。

3、手势交互

一部分AR眼镜或VR头盔上采用手势交互，通过深度相机采集手势的动作序列，从而匹配不同的手势事件，这种方式也可以比较自然地反应真实的动作与虚拟画面之间的交互，但也存在一定的缺陷，比如手长时间举起会比较累，深度相机容易受太阳光干扰等。

发明内容

为了解决现有技术中采用触摸板交互不自然、采用语音交互容易受到环境噪音影响和采用手势交互也容易受到太阳光干扰的技术问题，本申请提出一种分体式AR眼镜系统的交互方法，该AR眼镜系统包括眼镜终端和手持终端，该交互方法具体包括：

一种分体式AR眼镜系统的交互方法，所述AR眼镜系统包括眼镜终端和手持终端，所述眼镜终端用于渲染多个目标对象并将其叠加在真实物理场景中进行显示，使得虚拟目标对象与真实物理场景“锚定”，所述交互方法包括；

采用所述手持终端在所述眼镜终端的显示视窗中构建一条指示线，所述指示线的终点用于指示所述眼镜终端的显示视窗中的第一目标对象；所述手持终端还用于通过自身的姿态控制指示线的终点位置；

调整所述眼镜终端使得其显示视窗中显示第二目标对象，调整所述手持终端使得所述指示线的终点指向所述眼镜终端的显示视窗中的第二目标对象。

进一步的，还包括：

保持所述眼镜终端不动，调整所述手持终端使得所述指示线的终点指向所述眼镜终端的显示视窗中的第三目标对象。

进一步的，还包括：在调整所述手持终端使得所述指示线的终点指向所述眼镜终端的显示视窗中的第二目标对象或第三目标对象之后还包括：

通过所述手持终端上的多个交互按钮和/或触摸板控制所述指示线的终点指向的第二目标对象或第三目标对象进行相应的操作。

其中，所述调整所述手持终端使得所述指示线的终点指向所述眼镜终端的显示视窗中的第二目标对象包括；

调整所述指示线使得其指向所述眼镜终端的显示视窗中的第二目标对象；

计算所述眼镜终端从所述第一目标对象调整到第二目标对象时所述指示线的终点在所述显示视窗上待移动信息；

根据所述待移动信息调整所述指示线的终点指向所述第二目标对象。

其中，所述调整所述手持终端使得所述指示线的终点指向所述眼镜终端的显示视窗中的第二目标对象包括：

获取所述眼镜终端从所述第一目标对象调整到第二目标对象时眼镜终端的第一移动信息；

获取所述手持终端的指示线从所述第一目标对象调整到第二目标对象时手持终端的第二移动信息；

根据所述第一移动信息和第二移动信息计算所述指示线的终点在显示视窗上对应的第三移动信息；

根据所述第三移动信息调整所述指示线的终点在显示视窗中移动到所述第二目标对象上。

一种分体式AR眼镜交互系统，所述交互系统包括眼镜终端和手持终端；

所述眼镜终端用于渲染多个虚拟目标对象并将其叠加在真实物理场景中并进行显示，使得虚拟目标对象与真实物理场景“锚定”；

所述手持终端用于在所述眼镜终端的显示视窗中构建一条指示线，所述指示线的终点用于指示所述显示视窗中的第一目标对象；所述手持终端还用于通过自身的姿态控制指示线的终点位置；

所述手持终端还用于在所述眼镜终端发生调整后其显示视窗中显示第二目标对象时，移动所述手持终端使得所述指示线的终点指向所述眼镜终端的显示视窗中的第二目标对象。

进一步的，所述手持终端还用于在所述眼镜终端保持不动时，调整所述手持终端使得所述指示线的终点指向所述眼镜终端的显示视窗中的第三目标对象。

其中，所述手持终端上设有多个交互按钮和/或触摸板；

通过所述手持终端还用于在调整所述手持终端使得所述指示线的终点指向所述眼镜终端的显示视窗中的第二目标对象或第三目标对象之后，通过所述手持终端上的多个交互按钮和/或触摸板控制所述指示线的终点指向的第二目标对象或第三目标对象进行相应的操作。

一种计算机可读存储介质，其特征在于，包括程序，所述程序能够被处理器执行以实现如上所述的方法。

一种分体式AR眼镜系统，所述系统包括眼镜终端和手持终端，所述眼镜终端包括第一处理器以及与该第一处理器电连接的摄像头、显示模组、音频单元、第一传感器、第一通信模块；

所述手持终端包括第二处理器以及与该第二处理器电连接的触摸板、第二传感器、多个交互按钮和第二通信模块；

所述摄像头用于获取真实物理环境；

所述第一处理器用于渲染多个目标对象并将其叠加在真实物理场景中并进行显示，使得虚拟目标对象与真实物理场景“锚定”；

所述显示模组用于对所述虚拟目标对象进行显示；

所述第一传感器用于获取所述眼镜终端从第一目标对象调整到第二目标对象时眼镜终端的第一移动信息；

所述第一通信模块用于和所述手持终端的第二通信模块进行通信；

所述第二传感器用于获取所述手持终端的指示线从所述第一目标对象调整到第二目标对象时的第二移动信息；

所述第二处理器用于对所述第二移动信息进行处理后通过所述第二通信模块发送给所述第一通信模块；

所述第一处理器用于根据第一移动信息和第二移动信息计算指示线的终点在显示视窗上对应的第三移动信息，并根据该第三移动信息调整指示线的终点在显示视窗中移动到第二目标对象上。

依据上述实施例的交互方法和系统，采用手持终端在真实物理场景中虚拟出一条指示线，该指示线的终点用于指示眼镜终端的显示视窗中的第一目标对象；当调整眼镜终端和/或手持终端时，采集眼镜终端和手持终端的移动信息，根据该移动信息计算指示线的终点在显示视窗的显示屏上待移动信息，根据待移动信息调整指示线的终点指向眼镜终端的显示视窗中的第二目标对象，从而达到利用手持终端和眼镜终端的姿态来控制AR眼镜以达到指示虚拟的目标对象的效果，再进一步通过手持终端上的多个交互按钮进行对应的交互操作，例如打开应用、播放视频和射击目标等。该交互方法和现有的采用触摸板交互方法相比，移动更加方便和快捷，使得VR交互时更加自然，另外该交互方法和现有的语音交互相比，不会受到环境噪音的影响，适用更加广泛；该交互方法和现有的手势交互方法相比，也无需人手长时间举着，交互更加轻松，同时也不会受到强光影响。

附图说明

图1为本申请的分体式AR眼镜系统结构示意图；

图2为本申请实施例的交互方法流程图；

图3为本申请实施例的指示线调整方法流程图；

图4为本申请实施例的指示线调整方法具体的流程图；

图5为本申请实施例的交互方法示意图；

图6为本申请实施例的AR眼镜系统结构框图。

具体实施方式

下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。

另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。

本文中为部件所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。

一般的分体式AR眼镜包含手持终端和眼镜终端，手持终端一般包含处理器、电池、触摸板、传感器等器件，眼镜终端一般包含摄像头、显示模组、音频单元、传感器等器件。本发明利用手持终端的运动传感器(IMU传感器等)，来检测手持终端自身的姿态变化，利用眼镜终端的运动传感器，来检测眼镜终端的姿态变化，将手持终端与眼镜终端角度的变化实时映射到眼镜终端显示视窗的虚拟画面中的光标点的位移量或指示线终点的位置，从而达到利用手持终端和眼镜终端的姿态来控制AR眼镜的交互效果。以下结合几种常见的交互场景对本申请的交互方法进行说明，利用本申请提供的交互方法来实现AR交互时可以实现以下效果：

1、AR眼镜的显示视窗显示的操作桌面往往是锚定的，即从体验者角度来看该桌面是固定在某个方向或某个位置上的，传统的交互方式是利用手持端的触摸板来移动光标，选中某个应用图标后点击打开该应用，这种方式对于AR眼镜交互不友好，如果光标点距离要打开的应用图标比较远，往往需要手指反复移动好几次才能到达指定位置，采用本申请的交互方法，可以在显示视窗的操作界面中虚拟出一根指示线，指示线的起点为屏幕底部的中心并固定不动，指示线的终点为屏幕的光标所在位置，指示线的方向可以由AR眼镜手持终端的姿态来控制，当需要打开某个已锚定的应用图标时，转动头部看到该图标后，移动手持终端，将指示线的终点指向该图标，然后按下确定按键，即可完成打开操作，这种交互方式符合正常的交互逻辑，所见即所得，就像我们生活中用激光笔指向环境中的某个实物的效果是一样的。

2、在游戏场景中，AR可以提供虚实融合的游戏环节，瞬间将体验者所处的物理房间变成“战场”，并在“战场”中虚拟出很多“敌人”，这些虚拟的敌人锚定在空间中，从体验者角度看到的是房间中真正存在的“敌人”，体验者可以控制“手枪”进行射击，如果采用触摸板控制手枪射击方向的话，控制起来会比较慢，并且不精准，对于响应时间要求比较高的游戏场景完全达不到要求，如果采用本申请提供的交互方法，采用手持终端设备控制手枪的方向，当体验者看到“敌人”后，通过移动手持终端指向该“敌人”并按确定键即可控制射击，这种方法和人在真实空间中射击目标的思维意识是一致的，符合人对物理世界的认知。除此之外，这种交互方式还可以应用在很多场景，比如在虚拟设备拆装时，用手持终端控制虚拟的手去抓取虚拟设备，在浏览网页时，用手持终端控制页面的移动等。

实施例一：

请参考图1，本实施例提供一种分体式AR眼镜系统的交互方法，该AR眼镜系统包括眼镜终端4和手持终端5，其中，眼镜终端4用于渲染多个目标对象并将其叠加在真实物理场景中进行显示，使得虚拟目标对象与真实物理场景“锚定”，如图2，该交互方法包括；

步骤101：采用手持终端在眼镜终端的显示视窗中构建一条指示线，指示线的终点用于指示眼镜终端的显示视窗中的第一目标对象；手持终端还用于通过自身的姿态控制该指示线的终点位置；

步骤102：调整眼镜终端4使得其显示视窗中显示第二目标对象，调整手持终端使得指示线的终点指向眼镜终端4的显示视窗中的第二目标对象。

本实施例中采用手持终端5在眼镜终端4显示模组中构建一条指示线，手持终端5的姿态可以控制指示线的终点位置，采用手持终端5在真实物理场景中虚拟出一条指示线，该指示线的终点用于指示眼镜终端4的显示视窗中的第一目标对象，AR眼镜佩戴者观测到就如同在真实场景中采用激光笔指示某一个应用一样，符合人的正常逻辑，当需要对另一目标对象(如第二目标对象)进行操作时，可以通过移动头部佩戴的AR眼镜终端4进而使得眼镜终端4的显示视窗中显示第二目标对象，此时通过调整手持终端5使得指示线的终点指向眼镜终端4的显示视窗中的第二目标对象，这样指示线的终点从第一目标对象指向第二目标对象时，交互非常自然，且通过移动手持终端5控制指示线与目标对象之间的交互，不受环境因素的影响，适用范围更广。

进一步的，该交互方法还包括，当保持眼镜终端4不动时，调整手持终端5使得指示线的终点指向眼镜终端4的显示视窗中的第三目标对象。在大多数场景下，AR眼镜终端4的显示视窗中可能显示有多个目标对象，指示线需要从一个目标对象指示到另一个目标对象时，无须移动佩戴的眼镜终端4，只需要移动手持终端5调整指示线的终点指示新的目标对象(如第三目标对象)即可实现指示新的目标对象，并针对该新的目标对象进行相应的操作，完成交互。

进一步的，该交互方法还包括,在调整手持终端使得指示线的终点指向眼镜终端4的显示视窗中的第二目标对象或第三目标对象之后还包括,通过手持终端5上的多个交互按钮和触摸板控制指示线的终点指向的第二目标对象或第三目标对象进行相应的操作。例如目标对象是一个应用时，通过确认按钮选中该应用，然后打开该目标对象，例如目标对象是视频时，通过打开按钮播放该视频，再例如目标对象是网页时，可以通过翻页按钮实现翻页浏览。

其中，如图3，步骤102中，调整所述手持终端5使得指示线的终点指向眼镜终端4的显示视窗中的第二目标对象包括；

1021：移动手持终端使得指示线指向眼镜终端4的显示视窗中的第二目标对象；此时在眼镜终端4的显示视窗中观察到的是一条指示线穿过该第二目标对象，指向无穷远。

1022：计算眼镜终端4从第一目标对象调整到第二目标对象时指示线的终点在显示视窗上待移动信息；由于眼镜终端4的显示视窗观测到目标对象是虚拟在真实物理场景中的，因此为了交互更加真实自然，需要确定指示线的终点，否则观测到的场景是一条指示线穿过该第二目标对象指向无穷远。

1023：根据待移动信息调整指示线的终点指向第二目标对象，这样在眼镜终端4的显示视窗中看到的就是一条指示线指向第二目标对象，这样指示更加自然真实。

具体的，本实施例中虚拟的指示线的起点始终位于显示屏底部的中间，在交互过程中需要指示不同的目标对象时，通过调整指示线的指示方向确定，这样在调整指示线时只需要通过绕着手持终端所在的坐标系中各坐标轴的转动即可实现调整指示线的指示方向。本实施例中，调整手持终端5使得指示线的终点指向眼镜终端4的显示视窗中的第二目标对象时，如图4，具体包括：

201：获取所眼镜终端4从第一目标对象调整到第二目标对象时眼镜终端4的第一移动信息；本实施例中该第一移动信息为眼镜终端4在其当前所在的坐标系中沿着各轴的转动量。

202：获取手持终端5的指示线的从第一目标对象调整到第二目标对象时手持终端的第二移动信息；该第二移动信息为手持终端5在其当前所在的坐标系中沿着各轴的转动量。

203：根据第一移动信息和第二移动信息计算指示线的终点在显示视窗上对应的第三移动信息；根据眼镜终端4和手持终端5转动时指示线的移动关系，然后根据第一移动信息和第二移动信息即可计算指示线的终点在显示视窗上对应的第三移动信息，该第三移动信息为移动位移。

204：根据第三移动信息调整指示线的终点在显示视窗中移动到第二目标对象上。具体的，根据移动位移再结合每个像素之间的间距，即可计算出指示线的终点在显示视窗中移动的像素，即可调整指示线的终点在显示视窗中移动到第二目标对象上。

以下结合具体的场景对上述方法进行说明。

如图5，1为AR眼镜终端虚拟全景视窗或无限屏视窗，2为AR眼镜的显示视窗，3为AR眼镜界面上的操作光标点(即指示线的终点)，4为AR眼镜系统的眼镜终端，5为AR眼镜系统的手持终端，6为眼镜终端与手持终端的连接线缆。

如图1所示的分体式AR眼镜系统，左侧为眼镜终端4，右侧为手持终端5，眼镜终端4和手持终端5均具有IMU传感器。眼镜终端4和手持终端5具有各自独立的坐标系，如图，均以自己当前时刻的位姿定一个参考坐标系。定义眼镜终端4当前时刻定义的参考坐标系为第一坐标系，现对眼镜终端4的第一坐标系O₁X₁Y₁Z₁定义如下：两个眼镜片连线平行向右的方向为X₁方向，垂直于显示画面的方向为Y₁方向，垂直X₁O₁Y₁平面向上的方向为Z方向。定义手持终端5的当前时刻的参考坐标系为第二坐标系O₂X₂Y₂Z₂，定义如下：手持终端5正面向右为X₂方向，手持终端5正面向上为Y₂方向，垂直X₂O₂Y₂平面向上的方向为Z₂方向。

眼镜终端4可绕自身的O₁X₁Y₁Z₁轴旋转，手持终端5可绕自身的X₂Y₂Z₂轴旋转，其旋转的角度可以由各自的IMU传感器检测，假设眼镜终端4绕自身X₁Y₁Z₁轴旋转的角度为ω_X1、ω_Y1、ω_Z1，手持终端5绕自身XYZ轴旋转的角度为σ_X2、σ_Y2、σ_Z2，其中ω_X1、ω_Y1、ω_Z1、σ_X2、σ_Y2、σ_Z2的方向按右手定则来定义。

本实施例中定义虚拟全景视窗的平面坐标系为第三坐标系POQ，其中Q轴向左为正，P轴向上位正。

其中眼镜显示视窗2的左右移动由眼镜终端4在Z轴上的转动量ω_Z1决定，ω_Z1为正时，显示视窗2向左移动，反之，显示视窗2向右移动。显示视窗2的上下移动由眼镜终端4在X轴上的转动量ω_X1决定，ω_X1为正时，显示视窗2向上移动，ω_X1为负时，显示视窗2向下移动。

显示视窗2中光标点3的位置由手持终端5控制，其中光标点3的左右移动由手持终端5在Z轴上的旋转量σ_Z2决定，σ_Z2为正时，光标点3向左移动，反之，光标点3向右移动。光标点3的上下移动由手持终端5在X轴上的旋转量σ_X2决定，σ_X2为正时，光标点3向上移动，反之，光标点3向下移动。

如图6，假设，光标点3在AR眼镜的显示视窗2上从A1点移动到A2点，移动的角度为η，将η分解成水平Q方向的分量η_Q与垂直P方向的分量η_P。则

η_Q＝σ_Z2-ω_Z1

η_P＝σ_X2-ω_X1

假设AR眼镜终端4的成像距离为h，移动距离为θ，将θ分解为水平Q方向的分量θ_Q与垂直P方向的分量θ_P。则

假设AR眼镜显示屏与成像画面之间的放大倍率为a，光标点3控制的灵敏度为s，显示屏X方向的像素间距为Δ_Y，显示屏Y方向的像素间距为Δ_Y，则光标点3在显示屏上的移动像素数ρ_X和ρ_Y分别为：

其中，σ_Z2和σ_X2手持终端5在第二坐标系O₂X₂Y₂Z₂下分别沿着Z轴和X轴的转动量，ω_X1和ω_Z1分别为眼镜终端绕着第一坐标系O₁X₁Y₁Z₁的X轴和X轴的转动量。以上过程中，R眼镜终端4的成像距离为h、放大倍率为a、灵敏度为s、像素间距为△_X、像素间距△_Y都预先设定在AR眼镜终端4中设置好，且均为常数。AR眼镜终端4中的第一处理器根据上述公式(1)和(2)即可计算出光标点3(即指示线的终点)在眼镜终端4的显示屏上沿着X轴方向和Y轴方向的移动像素数，并根据该移动像素数控制光标点移动的相应的位置，以实现指示线的终点指向第二目标对象。

进一步的，该交互方法还包括，为了补偿长时间使用该交互方法产生的累积误差，本实施例中在手持端设备5上还设有一个复位按钮，或者在显示界面上预设一个虚拟按钮，通过该复位按钮或虚拟按钮可以对光标点和系统界面进行坐标初始化，初始化后坐标点位于显示视窗的中心，这样可消除多次移动眼镜终端4和移动终端5累计产生的误差。

其中，指示线可以为虚线或者实线，且指示线的颜色可以自定义设置。

本申请提供的交互方法在实际应用时，不局限于利用计算光标点3在显示屏上移动的像素数来调节，也可以将全景视窗1虚拟成一个360度环形屏幕，通过手持终端5和眼镜终端4的旋转角度计算光标点3在全景视窗1上的旋转角度。另外，当一体式AR眼镜或VR眼镜标配没有手持终端5时，可以配一个蓝牙外设的IMU传感器，IMU传感器的数据传给AR眼镜或VR眼镜，再采用本申请的方法也可以实现类似交互。

实施例二：

请参考图1，本实施例提供一种分体式AR眼镜交互系统，该交互系统包括眼镜终端4和设备终端5，眼镜终端4和设备终端5通过线缆6连接。

其中，眼镜终端4用于渲染多个虚拟目标对象并将其叠加在真实物理场景中并进行显示，使得虚拟目标对象与真实物理场景“锚定”；手持终端5用于在所述眼镜终端4的显示视窗中构建一条指示线，指示线的终点用于指示显示视窗中的第一目标对象；手持终端5还用于通过自身的姿态控制指示线的终点位置，即手持终端的姿态可以控制指示线的终点位置，指示线的终点用于指示显示视窗中的第一目标对象。

进一步的，手持终端5还用于在眼镜终端4发生调整后其显示视窗2中显示第二目标对象时，移动手持终端5使得指示线的终点指向眼镜终端4的显示视窗2中的第二目标对象。

进一步的，手持终端5还用于在眼镜终端4保持不动时，调整手持终端4使得指示线的终点指向眼镜终端4的显示视窗2中的第三目标对象。

其中，手持终端上设有多个交互按钮和/或触摸板；在调整手持终端使得指示线的终点指向眼镜终端4的显示视窗2中的第二目标对象或第三目标对象之后,通过手持终端4上的多个交互按钮和触摸板控制指示线的终点指向的第二目标对象或第三目标对象进行相应的操作。

其中，该系统具体的交互方法与实施例1中相同，此处不再赘述。

实施例三

本实施例提供一种一种分体式AR眼镜系统，该系统包括眼镜终端4和手持终端5，如图6，该眼镜终端4包括第一处理器以及与该第一处理器电连接的摄像头、显示模组、音频单元、第一传感器、第一通信模块；

所述手持终端包括第二处理器以及与该第二处理器电连接的触摸板、第二传感器、多个交互按钮和第二通信模块；

所述摄像头用于获取真实物理环境；

所述第一处理器用于渲染多个目标对象并将其叠加在真实物理场景中并进行显示，使得虚拟目标对象与真实物理场景“锚定”；

所述显示模组用于对所述虚拟目标对象进行显示；

所述第一传感器用于获取所述眼镜终端从第一目标对象调整到第二目标对象时眼镜终端的第一移动信息；

所述第一通信模块用于和所述手持终端的第二通信模块进行通信；

所述第二传感器用于获取所述手持终端的指示线从所述第一目标对象调整到第二目标对象时的第二移动信息；

所述第二处理器用于对所述第二移动信息进行处理后通过所述第二通信模块发送给所述第一通信模块；

所述第一处理器用于根据第一移动信息和第二移动信息计算指示线的终点在显示视窗上对应的第三移动信息，并根据该第三移动信息调整指示线的终点在显示视窗中移动到第二目标对象上。

其中，第一处理器运行存储介质中预设的程序即可实现上述计算过程，以实现上述交互过程。

实施例四

一种计算机可读存储介质，该存储介质中包括程序，所述程序能够被处理器执行以实现如实施例1所述的交互方法。

以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。

Claims (10)

1.一种分体式AR眼镜系统的交互方法，所述AR眼镜系统包括眼镜终端和手持终端，所述眼镜终端用于渲染多个虚拟目标对象并将其叠加在真实物理场景中并进行显示，使得虚拟目标对象与真实物理场景“锚定”；其特征在于，所述交互方法包括；

采用所述手持终端在所述眼镜终端的显示视窗中构建一条指示线，所述指示线的终点用于指示所述眼镜终端的显示视窗中的第一目标对象；

调整所述眼镜终端使得其显示视窗中显示第二目标对象，调整所述手持终端使得所述指示线的终点指向所述眼镜终端的显示视窗中的第二目标对象。

2.如权利要求1所述的交互方法，其特征在于，还包括：

保持所述眼镜终端不动，调整所述手持终端使得所述指示线的终点指向所述眼镜终端的显示视窗中的第三目标对象。

3.如权利要求2或3所述的交互方法，其特征在于，还包括：在调整所述手持终端使得所述指示线的终点指向所述眼镜终端的显示视窗中的第二目标对象或第三目标对象之后还包括：

通过所述手持终端上的多个交互按钮和/或触摸板控制所述指示线的终点指向的第二目标对象或第三目标对象进行相应的操作。

4.如权利要求2所述的交互方法，其特征在于，所述调整所述手持终端使得所述指示线的终点指向所述眼镜终端的显示视窗中的第二目标对象包括；

调整所述指示线使得其指向所述眼镜终端的显示视窗中的第二目标对象；

计算所述眼镜终端从所述第一目标对象调整到第二目标对象时所述指示线的终点在所述显示视窗上待移动信息；

根据所述待移动信息调整所述指示线的终点指向所述第二目标对象。

5.如权利要求2所述的交互方法，其特征在于，所述调整所述手持终端使得所述指示线的终点指向所述眼镜终端的显示视窗中的第二目标对象包括：

获取所述眼镜终端从所述第一目标对象调整到第二目标对象时眼镜终端的第一移动信息；

获取所述手持终端的指示线从所述第一目标对象调整到第二目标对象时手持终端的第二移动信息；

根据所述第一移动信息和第二移动信息计算所述指示线的终点在显示视窗上对应的第三移动信息；

根据所述第三移动信息调整所述指示线的终点在显示视窗中移动到所述第二目标对象上。

6.一种分体式AR眼镜交互系统，其特征在于，所述交互系统包括眼镜终端和手持终端；

所述眼镜终端用于渲染多个虚拟目标对象并将其叠加在真实物理场景中并进行显示，使得虚拟目标对象与真实物理场景“锚定”；

所述手持终端用于在所述眼镜终端的显示视窗中构建一条指示线，所述指示线的终点用于指示所述显示视窗中的第一目标对象；

所述手持终端还用于在所述眼镜终端发生调整后其显示视窗中显示第二目标对象时，移动所述手持终端使得所述指示线的终点指向所述眼镜终端的显示视窗中的第二目标对象。

7.如权利要求6所述的交互系统，其特征在于，所述手持终端还用于在所述眼镜终端保持不动时，调整所述手持终端使得所述指示线的终点指向所述眼镜终端的显示视窗中的第三目标对象。

8.如权利要求6或7所述的交互系统，其特征在于，所述手持终端上设有多个交互按钮和/或触摸板；

所述手持终端还用于在调整所述手持终端使得所述指示线的终点指向所述眼镜终端的显示视窗中的第二目标对象或第三目标对象之后，通过所述手持终端上的多个交互按钮和/或触摸板控制所述指示线的终点指向的第二目标对象或第三目标对象进行相应的操作。

9.一种计算机可读存储介质，其特征在于，包括程序，所述程序能够被处理器执行以实现如权利要求1-5中任一项所述的方法。

10.一种分体式AR眼镜系统，所述系统包括眼镜终端和手持终端，其特征在于，所述眼镜终端包括第一处理器以及与该第一处理器电连接的摄像头、显示模组、音频单元、第一传感器、第一通信模块；

所述手持终端包括第二处理器以及与该第二处理器电连接的触摸板、第二传感器、多个交互按钮和第二通信模块；

所述摄像头用于获取真实物理环境；

所述第一处理器用于渲染多个目标对象并将其叠加在真实物理场景中并进行显示，使得虚拟目标对象与真实物理场景“锚定”；

所述显示模组用于对所述虚拟目标对象进行显示；

所述第一传感器用于获取所述眼镜终端从第一目标对象调整到第二目标对象时眼镜终端的第一移动信息；

所述第一通信模块用于和所述手持终端的第二通信模块进行通信；

所述第二传感器用于获取所述手持终端的指示线从所述第一目标对象调整到第二目标对象时的第二移动信息；

所述第二处理器用于对所述第二移动信息进行处理后通过所述第二通信模块发送给所述第一通信模块；

所述第一处理器用于根据第一移动信息和第二移动信息计算指示线的终点在显示视窗上对应的第三移动信息，并根据该第三移动信息调整指示线的终点在显示视窗中移动到第二目标对象上。

Images