CN103593876B - 电子装置以及在电子装置中控制虚拟场景中的对象的方法 - Google Patents

Abstract

提供了一种电子装置和以及在电子装置中控制虚拟场景中的对象的方法。所述电子装置具有运动传感器、输入单元和显示单元，其中，所述电子装置还包括：光标模块，用于指向虚拟场景中的某个对象；对象选择模块，在虚拟场景中确定光标指向的对象；操作选择模块，将选择的操作施加到确定的对象；场景更新模块，基于运动传感器感测的电子装置的运动，来更新确定的对象的状态。

Description

电子装置以及在电子装置中控制虚拟场景中的对象的方法

技术领域

本发明涉及一种增强现实(AR)技术，更具体地讲，涉及一种使用该AR技术的电子装置以及在电子装置中控制虚拟场景中的对象的方法。

背景技术

增强现实(AR)是一种全新的人机交互技术，利用这样一种技术，可以模拟真实的现场景观，它是以交互性和构想为基本特征的计算机高级人机界面。使用者不仅能够通过虚拟现实系统感受到在客观物理世界中所经历的“身临其境”的逼真性，而且能够突破空间、时间以及其它客观限制，感受到在真实世界中无法亲身经历的体验。在移动装置越来越靠近我们的日常生活的同时，对于在移动装置上应用的AR，技术人员们也正在进行更多的研究。虽然移动AR(Mobile AR)是一种较新的技术，但是它已经引起了很多的关注。将通过拍照相机观看到的数字信息套到现实世界中在技术上是不平常的，但是商业模式和使用模式仍然在不断发展。

事实上，移动AR被应用到许多领域，如旅游，游戏，甚至是移动浏览器。显示装置在移动AR中起到重要作用，其允许用户看到组合在一起的现实和增强信息，并与它们进行交互。当前触摸屏是移动AR的最佳候选之一，而更多的移动产品具有摄像头(正面和背面)并支持高计算能力。

尽管近年来对于移动AR的话题发展迅速，但是如跟踪、建模和互动的相关技术则成为它的瓶颈。

为了更好地产生增强环境，需要通过相机来自动地建立增强信息。一种方式在于跟踪假设在大多数情况下稳定的目标对象。然而在没有特定对象的情况下这种假设将是无效的。为了产生动态环境，移动装置需要经由位移传感器来获得它的位置和方位。此时，增强环境将确定哪个部分将被渲染。专利申请US20120007850和US20100174421持有该构思，然而结果并非如预期。换句话说，它们并不适合于稳定跟踪和快速交互。专利申请US20120007850公开了一种用于移动装置的3D环境并且该移动装置使用来自一个或多个位移传感器的方位数据，以显示3D显示环境的透视投影。然而，移动装置仅具有2维标定但不具有平移功能。专利申请US20100174421仅具有平移功能但不具有旋转功能，并且使用实际空间中的装置位置或方位来选择当前显示的内容。来自运动传感器、距离传感器或位置传感器的数据用于确定装置的相对位置或方位，诸如通过将装置远离用户或向用户移动装置来放大场景。然而，在这种情况下，旋转不够详细并且缺乏用户交互。

移动AR中的另一重要因素是用户和增强对象之间的交互。专利申请US20090322671提出了一种设置前置摄像头以捕获人类的动作并且确定用户想要做的交互的方法。然而，当前跟踪技术并不成熟，这种交互是复杂且不稳定的。

发明内容

本发明的目的在于解决如何稳定地跟踪用户的交互的技术问题。

根据本发明的一方面，提供了一种用于控制虚拟场景中的对象的电子装置，所述电子装置具有运动传感器、输入单元和显示单元，其中，所述电子装置还包括：光标模块，用于将光标指向虚拟场景中的某个对象；对象选择模块，在虚拟场景中确定光标指向的对象；操作选择模块，将选择的操作施加到指向的对象；场景更新模块，基于运动传感器感测的电子装置的运动，来更新确定的对象的状态。

优选地，运动传感器可为陀螺仪传感器、数字罗盘、重力加速仪传感器、光学传感器之一。

优选地，输入单元可以是触摸屏和/或键盘。

优选地，所述电子装置可还包括：虚拟场景管理模块，当光标模块将光标指向虚拟场景中的某个对象时，用于准备该区域的增强环境并读取该区域的增强环境所在的帧的配置。

优选地，所述电子装置可还包括：交互状态通知模块，用于确定是否指示运动传感器感测该电子装置当前的位置和方位，以及确定是否通知场景更新模块更新注册到光标的对象的状态。

优选地，所述选择的操作可以是抓取、释放、上色等改变虚拟物体属性的操作。

根据本发明的另一方面，提供了一种在电子装置中控制虚拟场景中的对象的方法，所述方法包括：将光标指向虚拟场景中的某个对象；在虚拟场景中确定光标指向的对象；将用户选择的操作施加到指向的对象；基于运动传感器感测的电子装置的运动，来更新虚拟场景。

优选地，在虚拟场景中确定光标指向的对象的步骤可包括：准备该区域的增强环境并读取该区域的增强环境所在的帧的配置。

优选地，在虚拟场景中确定光标指向的对象的步骤可包括：确定光标指向的方向是否有可交互的虚拟对象。

优选地，将用户选择的操作施加到确定的对象的步骤可包括：按照选择的操作，改变所选物体的属性，所述属性包括位置、方向、颜色。优选地，更新虚拟场景的步骤可包括：更新注册到光标的对象的状态。

优选地，该方法可还包括：通知运动传感器来感测该电子装置当前的位置和方位。

优选地，所述选择的操作可以是抓取、释放、上色等改变虚拟物体属性的操作。

附图说明

图1中示出根据本发明的在显示屏上具有固定位置的光标的电子装置的示例；

图2中示出了现有技术中的在显示屏中通过手指来选择虚拟场景中的对象的示例的示意图；

图3是根据本发明实施例的能够控制虚拟场景中的对象的电子装置的框图；

图4是示出根据本发明实施例的在电子装置中控制虚拟场景中的对象的方法的流程图；

图5和图6是示出根据本发明实施例的控制虚拟场景中的对象的方法的两个应用示例，其中，图5中示出的电子装置为具有触摸屏的电子装置，图6中示出的电子装置为不具有触摸屏的普通装置。

具体实施方式

现在，详细描述本发明的实施例，其示例在附图中表示，其中，相同的标号始终表示相同的部件。以下通过参考附图描述实施例以解释本发明。

在本发明的实施例中，利用显示屏上的具有固定位置的光标来操作虚拟场景中的对象，来代替移动光标。

图1中示出根据本发明的在显示屏上具有固定位置的光标的电子装置的示例。

图1中的(a)是示出了根据本发明的在显示屏上具有固定位置的光标的触摸屏的示例。如图1中的(a)所示，在显示器(触摸屏)上预先定义一个或多个固定位置的光标，并且还可以在显示器上预先定义一些具有功能的功能按钮，诸如用于移动对象、选择对象以浏览信息的按钮。

图1中的(b)是示出根据本发明的在显示屏上具有固定位置的光标的不具有触摸屏的电子装置的示例。如图1中的(b)所示，可通过使用普通的不具有触摸屏的手机上的按键来实现诸如在虚拟场景中移动对象、修改对象属性、选择对象以浏览信息的功能。

由于能够通过固定光标直接选择虚拟场景中的增强对象，因此这种选择是稳定和精确的。

作为对比，图2中示出了现有技术中的在显示屏中通过手指来选择虚拟场景中的对象的示例的示意图。

如图2所示，图2中的触摸屏中并不具有固定光标，用户通过用手指触摸并移动虚拟场景中的对象。

图3是根据本发明实施例的能够控制虚拟场景中的对象的电子装置的框图。

如图3所示，该电子装置具有处理单元100、运动传感器200、输入单元300和显示单元400。

处理单元100可包括：光标模块101，用于将光标指向虚拟场景中的某个对象；对象选择模块102，在虚拟场景中确定光标指向的对象；操作选择模块103，将选择的操作施加到指向的对象；场景更新模块104，基于运动传感器200感测的电子装置的运动，来更新确定的对象的状态。

所述选择的操作可以是抓取、释放、上色等改变虚拟物体属性的操作。

运动传感器200用于感测电子装置的运动。具体地讲，运动传感器200可被实现为陀螺仪传感器、重力加速仪传感器、光学传感器等。陀螺仪传感器可用于感测移动装置的旋转，重力加速仪传感器用于感测移动装置的平移。在运动传感器200感测到移动装置的运动时，将感测到的传感器数据传送给处理单元100，由处理单元100来估计移动装置的位置和方位。现有技术中已经存在很多技术用于基于传感器数据来精确地估计移动装置的位置和方位，因此在此不再详细描述。

输入单元300用于接收用户对电子装置的操作。输入单元300可以是触摸屏和/或键盘。例如，当用户移动电子装置时，对电子装置的移动将引起运动传感器200进行运动感测，并将感测到的传感器数据发送给处理单元100。另外，当用户通过触摸触摸屏上的特定按钮或者按下设置在不具有触摸屏的普通电子装置上的普通按键来选择特定功能时，输入单元100可将该选择特定功能的信息发送给处理单元100。

显示单元400用于根据处理单元100的操作来显示渲染的虚拟场景。例如，当场景更新模块104基于感测的电子装置的运动更新所确定的对象的状态(即，保持选中的虚拟物体与电子装置的相对位置不变)时，处理单元100进一步渲染所确定的对象所在区域以产生更新的虚拟场景，并且显示单元400显示更新的虚拟场景。

下面对处理模块100进行进一步详细的描述。

处理单元100还可包括虚拟场景管理模块(未在图1中示出)。在用户通过输入单元300选择虚拟场景中的特定区域之后，光标模块101将光标指向虚拟场景中的某个对象时，虚拟场景管理模块准备该对象所在区域的增强环境并读取该区域的增强环境所在的帧的配置。具体地讲，虚拟场景管理模块可根据该区域的位置信息来识别该区域并从电子装置的存储器中读取该区域的增强环境以及所在帧的配置。根据虚拟场景管理模块读取的该区域的增强环境以及所在帧的配置，对象选择单元102可在虚拟场景中确定光标指向的对象。

同时，处理单元100还可包括交互状态通知模块(未在图中示出)。交互状态通知模块用于根据用户的操作来确定是否指示运动传感器200来感测该电子装置当前的位置和方位。具体地讲，处理单元100可通过使用运动传感器200感测的传感器数据并利用计算机视觉技术来得到该电子装置当前的位置和方位。具体地讲，例如陀螺仪传感器可以感知电子装置自身的转动；数字罗盘可以利用环境中磁力线的方向估计电子装置自身的朝向；重力加速仪传感器可以感知加速度的方向，进而估计出电子装置的自身运动。计算机视觉技术可以通过跟踪场景中的特征点运动，来推断出电子装置的自身运动。

随后，处理单元100还确定光标指向的对象是否可访问以及该对象的位置。

在用户通过输入单元300选择了特定功能时，处理单元100确定该功能是否为基于虚拟对象的位置来控制对象的位置相关功能，例如，是否为移动选定的对象的功能。在选择了位置相关功能的情况下，处理单元100将选择的对象注册到光标的对象列表中，并由虚拟场景管理模块来存储该注册信息。这里的注册可以为把某个虚拟物体绑定到光标上，使它随光标一同移动。这些注册的对象可以是虚拟场景中的任意物体，也可以是虚拟场景的一部分。例如一个虚拟场景中有房子和车。我们可以指定房子是不可移动的，而车子可以移动。另外我们可以注册(或绑定)多个可移动物体(车子)到光标，使得它们跟随光标移动。

随后，在用户的移动操作结束之后，交互状态通知模块可根据移动操作的结束来通知处理单元100中的场景更新模块，以更新注册到光标的对象的状态(即，对象的三维位置)，并由虚拟场景管理模块来存储该更新信息。在这里，可通过按下按钮或触摸屏来开始移动物体，而松开按钮或手指离开触摸屏时则表示移动操作的结束。这里的移动可以是水平移动，也可以是旋转，也可以是任意三维空间中的旋转加平移。不论何种操作，选中的虚拟物体与手机相对位置不变。

在移动对象的操作功能被选择的情况下，根据该对象的状态来移动该对象而维持场景的剩余部分不变。最后，处理单元100中的渲染模块(未示出)根据场景更新模块的更新来更新虚拟场景。

在选择了与位置无关的功能(诸如，超链接)的情况下，处理单元100从数据库中得到需要的信息并且该信息显示在虚拟场景中。

图4是示出根据本发明实施例的在电子装置中控制虚拟场景中的对象的方法的流程图。

根据本发明实施例的在电子装置中控制虚拟场景中的对象的方法主要包括如下步骤：将光标固定到虚拟场景中的用户选择的区域；在虚拟场景中确定光标固定的区域的对象；将用户选择的操作施加到确定的对象；基于传感器感测的电子装置的运动，来更新虚拟场景。

下面参照图4来详细描述根据本发明实施例的在电子装置中控制虚拟场景中的对象的方法。

如图4所示，在用户通过输入单元300选择虚拟场景中的某个对象之后，光标指向该对象，在步骤10准备该对象所在区域的增强环境并在步骤20读取该区域的增强环境所在的帧的配置。

在步骤30处理单元100可指示运动传感器200感测该电子装置当前的位置和方位。例如，处理单元100可根据其交互状态通知模块的通知来确定是否指示运动传感器200感测该电子装置当前的位置和方位。

随后，在步骤40处理单元100确定光标指向的对象是否可访问。

如果在步骤40确定可访问光标指向的对象，则在步骤50确定用户是否选择了特定功能。

如果在步骤50确定用户选择了特定功能，则在步骤60确定该功能是否为基于虚拟对象的位置来控制对象的位置相关功能。

如果选择了位置相关功能，则在步骤70将选择的对象注册到光标的对象列表中。随后在步骤90更新注册到光标的对象的状态。在步骤95处理单元100根据对象的状态来渲染虚拟场景。

如果在步骤60选择了与位置无关的功能，则在步骤80处理单元100从数据库中得到该对象的信息，并在步骤90将该信息与该对象关联以更新该对象。随后，在步骤95将该信息显示在虚拟场景中。

另外，如果在步骤40确定光标指向的对象不可访问以及在步骤50没有选择相关功能，则在步骤90只更新该光标指向的对象的状态。

如上可知，本发明可应用于具有触摸屏的移动装置，也可应用于不具有触摸屏的移动装置。下面将参照图5和图6来示出两个应用示例。

图5中示出的电子装置为具有触摸屏的电子装置。用户可移动该电子装置以调整在AR内容被建立之后的她想要的对象。用户通过触摸功能按钮来选择诸如“移动”的功能，在这种情况下，用户可通过移动该电子装置来将增强对象(如图中的铅笔)移动到想要移动到的3D空间中任何位置。

图6中示出的电子装置为不具有触摸屏的普通装置的情况。在这种情况下，用户在操作该电子装置时需要使用普通按钮。

图6中的(a)是示出最初的原始虚拟场景。图6中的(b)示出当用户选择与位置无关的功能(链接)时显示的最终虚拟场景。图6中的(c)示出当用户选择与位置有关的功能(移动功能)时显示的最终虚拟场景。

通过采用根据本发明实施例的在电子装置中控制虚拟场景中的对象的方法，在不具有触摸屏的电子装置的情况下，不会受用户交互的限制，更多的操作可被预先定义。

此外，通过根据本发明的在电子装置中控制虚拟场景中的对象的方法，通过快速且稳定地跟踪增强对象并且与增强对象进行交互，来实现更加良好的用户交互。

尽管已经参照本发明的实施例具体显示和描述了本发明，但是本领域的技术人员应该理解，在不脱离由权利要求限定的本发明的精神和范围的情况下，可以对其进行形式和细节上的各种改变。

Claims (13)

1.一种用于控制虚拟场景中的对象的电子装置，所述电子装置具有运动传感器、输入单元和显示单元，其中，所述电子装置还包括：

光标模块，用于将光标指向虚拟场景中的某个对象，其中，所述光标在显示屏上具有固定位置；

对象选择模块，在虚拟场景中确定光标指向的对象；

操作选择模块，将选择的操作施加到指向的对象；

场景更新模块，基于运动传感器感测的电子装置的运动，来更新确定的对象的状态。

2.如权利要求1所述的电子装置，其中，运动传感器为陀螺仪传感器、数字罗盘、重力加速仪传感器、光学传感器之一。

3.如权利要求1所述的电子装置，其中，输入单元是触摸屏和/或键盘。

4.如权利要求1所述的电子装置，其中，所述电子装置还包括：虚拟场景管理模块，当光标模块将光标指向虚拟场景中的某个对象时，用于准备该对象所在区域的增强环境并读取该区域的增强环境所在的帧的配置。

5.如权利要求1所述的电子装置，其中，所述电子装置还包括：交互状态通知模块，用于确定是否指示运动传感器感测该电子装置当前的位置和方位，以及确定是否通知场景更新模块更新注册到光标的对象的状态。

6.如权利要求1所述的电子装置，其中，所述选择的操作是用于改变虚拟对象属性的操作，所述操作是抓取、释放、上色之一。

7.一种在电子装置中控制虚拟场景中的对象的方法，所述方法包括：

将光标指向虚拟场景中的某个对象，其中，所述光标在显示屏上具有固定位置；

在虚拟场景中确定光标指向的对象；

将用户选择的操作施加到指向的对象；

基于运动传感器感测的电子装置的运动，来更新确定的对象的状态。

8.如权利要求7所述的方法，其中，在虚拟场景中确定光标指向的对象的步骤包括：

准备该对象所在区域的增强环境并读取该区域的增强环境所在的帧的配置。

9.如权利要求7所述的方法，其中，在虚拟场景中确定光标指向的对象的步骤包括：

确定光标指向的方向是否有可交互的虚拟对象。

10.如权利要求7所述的方法，其中，将用户选择的操作施加到指向的对象的步骤包括：按照选择的操作，改变指向的对象的属性，所述属性包括位置、方向、颜色。

11.如权利要求7所述的方法，其中，更新确定的对象的状态的步骤包括：更新注册到光标的对象的状态。

12.如权利要求7所述的方法，还包括：通知运动传感器来感测该电子装置当前的位置和方位。

13.如权利要求7所述的方法，其中，所述选择的操作是用于改变虚拟对象属性的操作，所述操作是抓取、释放、上色之一。