CN105339870B - 用于提供虚拟输入界面的方法和可穿戴装置 - Google Patents

Abstract

提供了一种可穿戴装置，该可穿戴装置包括：图像传感器，被配置为感测用户设置用户输入区的手势图像；显示器，被配置为提供与设置的用户输入区相应的虚拟输入界面。

Description

用于提供虚拟输入界面的方法和可穿戴装置

技术领域

一个或更多个示例性实施例涉及一种用于提供虚拟输入界面的方法和可穿戴装置。

背景技术

真实世界是由三维(3D)坐标组成的空间。人们能够通过组合使用双眼获取的视觉信息来识别3D空间。然而，由一般数字装置捕捉的照片或运动图像是用2D坐标表现的，因此并不包括关于空间的信息。为了得到空间感，已经引入通过使用两个相机捕捉并显示3D图像的3D相机或显示产品。

发明内容

技术问题

同时，当前智能眼镜的输入方法有限。用户基本上通过使用语音命令来控制智能眼镜。然而，如果需要文本输入，用户难以仅仅通过使用语音命令来控制智能眼镜。因此，需要提供各种输入交互方法的可穿戴系统。

问题的解决方案

与示例性实施例一致的方法和设备包括一种用于基于用户动作在空中或实际对象上设置输入区并且在设置的输入区中提供虚拟输入界面的方法和可穿戴装置。

本发明的有利效果

眼镜型可穿戴装置的用户可容易进行输入，以通过使用空中或实际对象上设置的输入区中的虚拟输入界面来控制可穿戴装置。

附图说明

通过下面结合附图对示例性实施例的描述，这些和/或其它方面将变得清楚并且更容易理解，其中：

图1A至图1E是描述根据示例性实施例的由可穿戴装置提供虚拟输入界面的系统的示图；

图2是示出根据示例性实施例的由可穿戴装置提供虚拟输入界面的方法的流程图；

图3A至图5B是描述根据示例性实施例的设置输入区的方法的示图；

图6是示出根据示例性实施例的根据输入区的深度值提供虚拟输入界面的方法的流程图；

图7至图9是描述根据示例性实施例的根据输入区的深度值而改变的虚拟输入界面的类型和大小的示图；

图10A和图10B是描述根据示例性实施例的根据设置有输入区的实际对象的深度值的改变而自适应性地改变的虚拟输入界面的类型的示图；

图10C和图10D是描述根据示例性实施例的基于用户输入而改变的虚拟输入界面的类型的示图；

图11是示出根据示例性实施例的提供基于输入区的大小或输入区的设置动作而确定的虚拟输入界面的方法的流程图；

图12A至图13B是描述根据输入区的尺寸而改变的虚拟输入界面的类型的示图；

图14A至图15B是描述根据设置输入区的手势而改变的虚拟输入界面的类型的示图；

图16A和图16B是描述根据示例性实施例的提供基于设置有输入区的对象而确定的虚拟输入界面的示图；

图17A至图17C是描述根据示例性实施例的由可穿戴装置提供的虚拟输入界面的示图，虚拟输入界面是基于设置有输入区的实际对象的类型而确定的；

图18A和图18B是描述根据示例性实施例的虚拟输入界面的示图，虚拟输入界面是基于设置输入区的输入工具而确定的；

图19是示出根据示例性实施例的提供基于由可穿戴装置正执行的应用而确定的虚拟输入界面的方法的流程图；

图20A和图20B是描述根据示例性实施例的提供基于正执行的应用的类型而确定的虚拟输入界面的示图；

图21是描述根据示例性实施例的基于正执行的内容的类型而确定的虚拟输入界面的示图；

图22A至图23B是描述根据示例性实施例的与当可穿戴装置识别设置有先前的虚拟输入界面的实际对象时所提供的所述先前的虚拟输入界面相同的虚拟输入界面的示图；

图24是示出根据示例性实施例的在空中设置的输入区中提供虚拟输入界面的方法的流程图；

图25A和图25B是描述当输入区设置在空中时确定是否通过虚拟输入界面产生了输入的方法的示图；

图26是示出根据示例性实施例的在空中或实际对象上设置的输入区中提供虚拟输入界面的方法的流程图；

图27A和图27B是描述当输入区设置在实际对象上时确定是否通过虚拟输入界面产生了输入的方法的示图；

图28A和图28B是描述根据示例性实施例的获取输入区的第一深度值和输入工具的第二深度值的方法的示图；

图29是示出根据示例性实施例的提供关于是否通过虚拟输入界面产生了输入的反馈的方法的流程图；

图30和图31是描述根据示例性实施例的输出与可穿戴装置是否产生了输入相应的通知信号的示图；

图32是描述根据示例性实施例的输出与是否通过虚拟输入界面产生了输入相应的通知信号的示图；

图33和图34是根据示例性实施例的可穿戴装置的框图。

实现本发明的最佳模式

与示例性实施例一致的方法和设备包括一种用于基于用户动作在空中或实际对象上设置输入区并且在设置的输入区中提供虚拟输入界面的方法和可穿戴装置。

另外的方面将在随后的描述中部分阐述，部分地将根据描述而清楚，或者可通过实践展示的示例性实施例而获知。

根据一个或更多个示例性实施例，一种可穿戴装置包括：图像传感器，被配置为感测用户设置用户输入区的手势图像；显示器，被配置为提供与通过使用感测到的手势图像而设置的用户输入区相应的虚拟输入界面。

感测到的手势图像可与由用户绘制的图相应，并且虚拟输入界面可被显示为与感测到的图相应。

虚拟输入界面可被显示为与用户输入区的大小相应。

虚拟输入界面可以是基于由眼镜型可穿戴装置正执行的应用的类型而确定的。

显示器可包括透明显示器，其中，透明显示器被配置为在透明显示器的与通过透明显示器观察到的用户输入区相应的区域上提供虚拟输入界面。

图像传感器可被配置为捕捉用户输入区的第一图像，显示器可被配置为在第一图像的用户输入区上方显示虚拟输入界面的第二图像。

眼镜型可穿戴装置还可包括：深度传感器，被配置为感测与从眼镜型可穿戴装置到用户输入区的距离相应的第一深度值和与从眼镜型可穿戴装置到输入工具的距离相应的第二深度值；控制器，被配置为基于第一深度值和第二深度值，确定是否通过虚拟输入界面产生了输入。

显示的虚拟输入界面的大小可以是基于第一深度值而确定的。

控制器可被配置为当第一深度值和第二深度值之间的差小于阈值时，确定通过虚拟输入界面产生了输入。

控制器可被配置为当第二深度值大于第一深度值时，确定通过虚拟输入界面产生了输入。

根据一个或更多个示例性实施例，提供了一种由可穿戴装置提供虚拟输入界面的方法，所述方法包括：获取用户的用于设置用户输入区的手势图像；提供与用户输入区相应的虚拟输入界面，使得虚拟输入界面与用户输入区的大小相应。

获取手势图像的步骤可包括：通过识别由用户绘制的图，获取手势图像；将与由用户绘制的图相应的区域设置为用户输入区。

虚拟输入界面可以是基于用户输入区的大小而确定的。

所述方法还可包括：基于设置有用户输入区的对象的类型来确定虚拟输入界面。

所述方法还可包括：基于由可穿戴装置正执行的应用的类型来确定虚拟输入界面。

虚拟输入界面可被设置在透明显示器上，使得虚拟输入界面与通过透明显示器观察到的用户输入区相应。

提供虚拟输入界面的步骤可包括：通过使用图像传感器来捕捉用户输入区的第一图像；产生虚拟输入界面的第二图像；在第一图像的用户输入区上方显示第二图像。

所述方法还可包括：获取与从眼镜型可穿戴装置到用户输入区的距离相应的第一深度值和与从眼镜型可穿戴装置到输入工具的距离相应的第二深度值；基于第一深度值和第二深度值，确定是否通过虚拟输入界面产生了输入。

显示的虚拟输入界面的大小可以是基于用户输入区而确定的。

确定是否产生了输入的步骤可包括：确定第一深度值和第二深度值之间的差小于阈值。

确定是否产生了输入的步骤可包括：确定第二深度值大于第一深度值。

根据一个或更多个示例性实施例，一种可穿戴输入装置，包括：传感器，被配置为感测多个手势和真实世界图像；显示器，被配置为显示图形用户界面；控制器，被配置为确定真实世界图像的输入区，控制显示器以在与确定的输入区相应的区域上显示图形用户界面，并且基于所述多个手势的输入手势来确定输入。

可穿戴输入装置可包括通信器，其中，通信器被配置为从外部装置接收触摸信号。控制器还可被配置为基于触摸信号确定输入。

还可基于所述多个手势的输入区限定手势进行确定。

传感器可被进一步配置为确定眼镜型可穿戴输入装置和输入区之间的距离。

控制器可被进一步配置为基于真实世界图像，持续更新图形用户界面的显示区。

具体实施方式

将简要描述本说明书中使用的术语并且将详细描述一个或更多个示例性实施例。

这里使用的包括描述性或技术术语的所有术语应该被理解为具有对于本领域的普通技术人员而言显而易见的含义。然而，这些术语可根据一个本领域普通技术人员的意图、判决先例、或出现的新技术而具有不同含义。另外，申请人可任意地选择一些术语，在这种情况下，将在本发明的具体实施方式中详细描述所选择的术语的含义。因此，这里使用的术语必须是基于术语的含义连同整个说明书中的描述来定义的。

另外，当部件“包括”或“包含”元件时，除非存在与之相反的特定描述，否则该部件还可包括其它元件，并不排除所述其它元件。在下面的描述中，诸如“单元”和“模块”的术语指示用于处理至少一个功能或操作的单元，其中，该单元和块可被实施为硬件或软件或者通过组合硬件和软件来实施。

如这里使用的，术语“和/或”包括一个或更多个相关所列项的任意组合和全部组合。当诸如“…中的至少一个”的表述在一列元素之后时，所述表述修饰整列元素，而不是修饰该列中的个体元素。

现在，将参照附图更充分地描述一个或更多个示例性实施例。然而，所述一个或更多个示例性实施例可按许多不同形式实施，并且不应该被理解为限于本文中阐述的示例性实施例；相反，提供这些示例性实施例，使得本公开将是透彻和完整的，并且将把所述一个或更多个示例性实施例的构思充分传达给本领域的普通技术人员。在下面的描述中，没有详细描述熟知的功能或构造，这是因为它们将不以不必要的细节模糊所述一个或更多个示例性实施例。在整个说明书中，附图中的相似参考标号代表相似或类似的元件。

图1A至图1E是描述根据示例性实施例的由可穿戴装置100提供虚拟输入界面的系统的示图。

根据示例性实施例的可穿戴装置100可包括能安装在头部上的头戴式显示器(HMD)。例如，HMD可以是眼镜、头盔或帽子，但不限于此。根据示例性实施例的第一可穿戴装置100可以是手表、带、戒指、项链、手镯、鞋、耳环、头带、衣服、手套或顶针。

根据示例性实施例的可穿戴装置100可以是一个装置或是多个装置的组合。例如，可穿戴装置100可以是眼镜或者是至少两个装置(诸如，眼镜和戒指、眼镜和手表、或眼镜和顶针)的组合。

根据示例性实施例的可穿戴装置100可提供至少一个虚拟输入界面。例如，根据示例性实施例的可穿戴装置100可在光学显示器121上显示虚拟输入界面，使得虚拟输入界面与通过光学显示器121观察到的真实世界匹配。

现在，将参照图1B详细描述光学显示器121的结构。

参照图1B，光学显示器121可包括显示装置210和导光件200a。导光件200a可包括导光装置220a和可变透镜240a。另外，显示装置210可将形成图像的第一光201输出到导光装置220a。显示装置210可具有四边形板的形状，并且可根据从控制器输入的数据按像素单元来显示图像。例如，显示装置210可以是发光二极管(LED)、有机LED(OLED)、液晶显示器(LCD) 或硅上液晶(LCOS)。

导光装置220a可包括第一表面221至第五表面225a。导光装置220a可经由内反射或全内反射将从显示装置210输入的第一光201导向可变透镜 240a。

第一表面221与导光装置220a的面对显示装置210的后表面的一部分相应，并且可将从显示装置210输入的第一光201向着第二表面222发送。第二表面222与导光装置220a的在第一表面221和第三表面223之间的第一侧表面相应，并且可将穿透第一表面221的第一光201向着第三表面223或第四表面224反射。

第三表面223与导光装置220a的前表面相应，第四表面224与导光装置 220a的后表面的剩余部分相应，并且第三表面223和第四表面224均反射或全反射第一光201，使得第一光201到达第五表面225a。这里，全反射意味着从导光装置220a的内部入射到导光装置220a和外部空气层的界面(即，第三表面223或第四表面224)的第一光201被全反射，而没有穿透所述界面。

第五表面225a与导光装置220a的在第三表面223和第四表面224之间的第二侧表面相应，并且可将第一光201向着可变透镜240a发送并将从可变透镜240a入射的第一光201向着用户眼睛反射。第五表面225a可将形成第一可穿戴装置100的正视图的第二光202向着用户眼睛发送。

导光装置220a可包括：主体部分232a，布置在第三表面223和第四表面224之间并且具有均一厚度；第一倾斜部分231，布置在第一表面221和第二表面222之间并且具有背离主体部分232a逐渐减小的厚度；第二倾斜部分233a，布置在第三表面223和第四表面224之间并且具有背离主体部分232a 逐渐减小的厚度。第二倾斜部分233a可具有第五表面225a，其中，第五表面 225a是面对可变透镜240a和用户眼睛的倾斜表面。

可变透镜240a可包括：透光表面241，使第一光201穿透；折射表面242，折射第一光201；反射表面243a，反射第一光201。折射表面242的形状或曲率可根据控制器的控制而改变。可变透镜240a可通过根据折射表面242的形状或曲率的改变来调整入射到用户眼睛上的第一光201的角度(即，入射角度)，从而调整从用户眼睛到虚拟对象的虚拟物距。

图1C和图1D是描述根据示例性实施例的通过使用可变透镜240a调整虚拟输入界面的距离的示图。

可变透镜240a可通过根据控制器的控制调整入射到眼睛30上的第一光 43的入射角，从而调整从用户眼睛30到由用户识别出的虚拟输入界面41的距离。

参照图1C，目镜31的厚度减小，以长距离将眼睛30聚焦到实际对象 34上。源自实际对象34的第二光35平行于眼睛30的光轴33移动，通过导光装置220a的第五表面225a入射到目镜31上，并且通过在目镜31处被折射而会聚到视网膜32上。换句话讲，目镜31在视网膜32上形成实际对象 34的图像。

可变透镜240a可将第一光43发送到第五表面225a。在第五表面225a 被反射的第一光43平行于眼睛30的光轴33移动，以入射到目镜31上，目镜31可折射第一光43，以使第一光43会聚到视网膜32上。换句话讲，目镜31可在视网膜32上形成虚拟输入界面41的图像。例如，当实际对象34 (或实际对象34的图像)处于聚焦状态时，实际对象34(或实际对象34的图像)和虚拟输入界面41(或虚拟输入界面41的图像)可具有相同的第一物距OD1和相同的像距ID。

参照图1D，目镜31的厚度增大，以短距离将眼睛30聚焦到实际对象 36上。源自实际对象36的第二光37在会聚(或扩散)的同时沿着眼睛30 的光轴33移动，通过导光装置220a的第五表面225a入射到目镜31上，并且通过被目镜31折射而会聚到视网膜32上。换句话讲，目镜31在视网膜 32上形成实际对象36的图像。可变透镜240a可将第一光44发送到第五表面 225a。从第五表面225a反射的第一光44通过在会聚(或扩散)的同时沿着眼睛30的光轴33移动而入射到目镜31上，目镜31可折射第一光44，以使第一光44会聚到视网膜32上。换句话讲，目镜31可在视网膜32上形成虚拟输入界面42的图像。例如，当实际对象36(或实际对象36的图像)处于聚焦状态时，实际对象36(或实际对象36的图像)和虚拟输入界面42(或虚拟输入界面42的图像)可具有相同的第二物距OD2和相同的像距ID。

同时，如稍后将参照图2详细描述的，根据示例性实施例的可穿戴装置 100可识别用于设置输入区的输入工具的动作，并且提供基于输入区的属性而确定的虚拟输入界面。

参照图1E，根据示例性实施例的虚拟输入界面50可以是用于使用第一可穿戴装置100接收用户输入的图形用户界面(GUI)。可选择地，虚拟输入界面50可按各种形式中的任一种实现，例如，虚拟输入界面50可以是键盘 (诸如，QWERTY键盘或便携式终端键盘)、记事薄、游戏控制器、计算器、钢琴键盘、鼓或拨号盘，但不限于此。

根据示例性实施例的可穿戴装置100可在由用户设置的输入区上提供虚拟输入界面50。可穿戴装置100可在光学显示器121上显示虚拟输入界面50，使得虚拟输入界面50与输入区重叠。

这里，可穿戴装置100可以以增强实现(AR)、混合实现(MR)或虚拟实现(VR)的形式在光学显示器121上显示虚拟输入界面50。

例如，当以AR或MR的形式提供虚拟输入界面50时，可穿戴装置100 可在透明显示器上显示虚拟输入界面50，使得虚拟输入界面50与通过透明显示器观察到的输入区重叠。

如图1E中所示，由虚线限定的区域20表示通过可穿戴装置100的光学显示器121观察到的真实世界的区域。可穿戴装置100可在光学显示器121 上显示虚拟输入界面50，使得虚拟输入界面50与通过光学显示器121观察到的区域20匹配。

可选择地，当以VR的形式提供虚拟输入界面50时，可穿戴装置100可捕捉包括真实世界中设置的输入区的第一图像，并且通过将虚拟输入界面50 添加到第一图像的输入区来产生第二图像。可穿戴装置100可在不透明显示器上显示第二图像，其中，在第二图像中，虚拟输入界面50与输入区重叠。

根据示例性实施例的可穿戴装置100可包括图像传感器111和深度传感器112。

图像传感器111可捕捉外部图像或检测设置输入区的用户动作。另外，图像传感器111可检测输入工具的移动。这里，输入工具可以是预设工具，并且输入工具的示例包括笔、手指、触控笔和操纵杆，但不限于此。

深度传感器112可测量由用户设置的输入区的深度值或输入工具的深度值。深度值可与从深度传感器112到特定对象的距离相应。在本说明书中，随着从深度传感器112到特定对象的距离增大，深度值增大。

例如，深度值可以是Z轴上从深度传感器112到特定对象的距离。如图 1A中所示，在3D空间中，X轴可以是从左至右经过可穿戴装置100的参考轴，Y轴可以是从上至下经过可穿戴装置100的参考轴，Z轴可以是从后至前经过可穿戴装置100的参考轴。另外，X轴、Y轴和Z轴可相互垂直。

根据示例性实施例，深度传感器112可经由各种方法中的任一种获取对象的深度值。例如，深度传感器112可通过使用飞行时间(TOF)方法、立体视觉方法和结构化光图案方法中的至少一种来测量深度值。

TOF方法是一种通过分析光在对象处被反射之后返回之前所花费的时间来测量距对象的距离的方法。在TOF系统中，红外LED照射红外光脉冲，红外相机测量红外光脉冲在对象处被反射之后返回之前的时间。在这种情况下，深度传感器112可包括红外LED和红外相机。深度传感器112可每秒数十次地反复地照射并且接收光，以获取运动图像形式的距离信息。另外，深度传感器112可产生深度图，其中，深度图指示代表每个像素的颜色的亮度的距离信息。

立体视觉方法是一种通过使用两个相机获取对象的3D效果的方法。因此，深度传感器112可包括两个相机。深度传感器112可通过使用由所述两个相机捕捉到的图像的差异信息，基于三角测量来计算距离。人通过由左眼和右眼看到的图像之间的差异而感受到3D效果，深度传感器112以与人眼相同的方式测量距离。例如，当距离短时，由两个相机拍摄的图像之间的差异高，当距离长时，由两个相机拍摄的图像之间的差异低。

结构化光图案方法是一种用图案化的光照射对象并且通过分析图案在对象表面上的位置来测量距对象的距离的方法。深度传感器112通常将线性图案或点图案投射到对象上，线性图案或点图案基于对象的曲线而有所不同。

可通过用光投影仪取代立体视觉方法中使用的两个相机中的一个相机来执行结构化光图案方法。例如，深度传感器112可通过分析作为从红外投影仪发射的光入射到对象表面上而产生的图案的位置的算法来实时计算深度图。

同时，图像传感器111和深度传感器112可以是单独的传感器，或者被构造为一个传感器。

根据示例性实施例的可穿戴装置100可通过使用通过图像传感器获取的输入区或输入工具的深度值来确定是否通过虚拟输入界面50产生了输入。

图2是根据示例性实施例的由可穿戴装置100提供虚拟输入界面的方法的流程图。

参照图2，在操作S210中，可穿戴装置100可设置输入区。输入区可以是当在光学显示器121上显示虚拟输入界面时与虚拟输入界面重叠的真实世界的2D或3D空间。

可穿戴装置100可基于用户动作来设置输入区。例如，可穿戴装置100 可识别由用户使用输入工具(诸如，手指、笔、触控笔或操纵杆)在空中或实际对象(诸如，手掌、桌子或墙壁)上绘制的图，并且将与该图相应的区域设置为输入区。

可选择地，可穿戴装置100可识别预设对象并且将与所述预设对象相应的区域设置为输入区。可选择地，可穿戴装置100可识别用户使用输入工具触摸预设对象的移动，并且将与所述预设对象相应的区域设置为输入区。

稍后将参照图3A至图5B详细地描述设置输入区的方法。

另外，根据示例性实施例的可穿戴装置100可接收用于进入输入区设置模式的预设语音输入或预设键输入。例如，当接收到用于进入用户模式的语音输入或键输入时，可控制可穿戴装置100以获取用于设置输入区的用户手势图像。可选择地，当执行需要输入的应用时，可控制可穿戴装置100以获取用于设置输入区的用户手势图像。

当设置了输入区时，在操作S220中，可穿戴装置100可基于输入区的属性，确定待显示的虚拟输入界面。

例如，可穿戴装置100可基于输入区的大小、输入区的形状、输入区和可穿戴装置100之间的距离(输入区的深度值)、设置有输入区的实际对象的类型以及设置输入区的手势中的至少一个，确定将在光学显示器121上显示的虚拟输入界面。

在操作S230中，可穿戴装置100可将虚拟输入界面显示为与输入区重叠。

这里，可穿戴装置100可以以AR、MR或VR的形式显示虚拟输入界面。

例如，当虚拟输入界面以AR或MR的形式被显示时，可穿戴装置100 可在透明显示器(诸如，透视型显示器)上显示虚拟输入界面，使得虚拟输入界面与通过透明显示器观察到的输入区(真实世界的2D或3D空间)重叠。

可选择地，当虚拟输入界面以VR的形式被显示时，可穿戴装置100可捕捉包括输入区(真实世界的2D或3D空间)的第一图像(真实图像)，并且通过将虚拟输入界面(虚拟图像)添加到第一图像的输入区来产生第二图像。可穿戴装置100可在不透明显示器(诸如，近看型显示器)上显示第二图像，其中，在第二图像中，虚拟输入界面与输入区重叠。

在操作S240中，根据示例性实施例的可穿戴装置100可获取输入区的第一深度值和触摸虚拟输入界面的输入工具的第二深度值。

可穿戴装置100可通过使用深度传感器112测量从可穿戴装置100到输入区的距离(输入区的深度值，即，第一深度值)。

同时，当在输入区并不存在于同一平面上时，可能存在输入区的多个深度值。当存在输入区的多个深度值时，第一深度值可以是所述多个深度值的平均深度值、所述多个深度值的最小深度值和所述多个深度值的最大深度值中的一个，但不限于此。

当输入区设置在实际对象上时，第一深度值可以是实际对象的深度值。

可穿戴装置100可通过使用深度传感器112测量从可穿戴装置100到输入工具的距离(输入工具的深度值，即，第二深度值)。

当输入工具是3D对象时，可能存在输入工具的多个深度值。当存在输入工具的多个深度值时，第二深度值可以是所述多个深度值的平均深度值、所述多个深度值的最小深度值和所述多个深度值的最大深度值中的一个，但不限于此。

例如，当通过输入工具触摸了虚拟输入界面时，输入工具和虚拟输入界面彼此接触的点(输入工具的端点)可以是第二深度值。

在操作S250中，可穿戴装置100可通过比较第一深度值和第二深度值来确定是否通过虚拟输入界面产生了输入。

例如，输入区的第一深度值可以是用于确定是否产生了输入的参考值，可穿戴装置100可确定当第一深度值和第二深度值之间的差小于阈值时通过虚拟输入界面产生了输入。

可选择地，可穿戴装置100可确定当第二深度值大于第一深度值时通过虚拟输入界面产生了输入。

根据示例性实施例的可穿戴装置100可基于用户动作设置输入区，并且通过比较输入区的深度值和输入工具的深度值来确定是否产生了输入，以提高通过虚拟输入界面进行输入的准确度。

图3A至图5B是描述根据示例性实施例的设置输入区的方法的示图。

参照图3A和3B，根据示例性实施例的可穿戴装置100可通过识别由用户在空中或实际对象上绘制的图来设置输入区。

例如，如图3A中所示，用户可通过使用输入工具310(诸如，笔、操纵杆、触控笔或手指)在空中绘制诸如矩形的图。可穿戴装置100可识别图并且将与该图相应的区域设置为输入区320。例如，具有该图的深度值(从可穿戴装置100到图的距离)、该图的形状和该图的大小的区域可被设置为输入区320。

如图3A中所示，该图可以是矩形，但该图的形状不限于此。该图的示例包括具有各种形状和大小的图(诸如，圆形、多边形和自由环状曲线)、2D 图和3D图。

可选择地，如图3B中所示，用户可通过使用输入工具345(诸如，笔、操纵杆、触控笔或手指)在实际对象330上绘制图340(诸如，矩形)。可穿戴装置100可识别由用户绘制的图340并且将与图340相应的区域设置为输入区。例如，具有图340的深度值(从可穿戴装置100到实际对象330的距离)、图340的形状和图340的大小的区域可被设置为输入区。

参照图4A和图4B，根据示例性实施例的可穿戴装置100可通过识别特定对象来设置输入区。

例如，如图4A中所示，可穿戴装置100可通过使用图像传感器111识别手掌410。这里，关于手掌410的形状或大小的信息可被预存储在可穿戴装置100中。因此，可穿戴装置100可将手掌410的形状和大小与预存储的信息进行比较并且确定是否将手掌410设置为输入区。

当手掌410的形状和大小与预存储的信息相同时，可穿戴装置100可将手掌410的预设区420设置为输入区。这里，预设区420的形状和大小可有所不同。

如图4A中所示，可穿戴装置100可识别手掌410并且设置输入区。可选择地，可穿戴装置100可通过识别各种对象(诸如，桌子和记事本)中的任一个来设置输入区。

另外，可穿戴装置100可将特定形状定义为标记，并且当识别出标记时将包括该标记的实际对象的平面设置为输入区。

例如，当将矩形定义为标记时，可穿戴装置100可通过使用图像传感器 111将矩形识别为标记。如图4B中所示，可穿戴装置100可将矩形430中的记事本识别为标记。

当识别出标记时，可穿戴装置100可将包括标记的实际对象的平面设置为输入区。例如，如图4B中所示，可穿戴装置100可将矩形430中的记事本的平面设置为输入区。这里，可穿戴装置100可将记事本的整个平面设置为输入区，或者将记事本的平面的部分区域设置为输入区。

如图4B中所示，可将矩形限定为标记。可选择地，可将诸如圆形和多边形的各种形状中的任一种定义为标记。

参照图5A，根据示例性实施例的可穿戴装置100可通过识别实际输入界面来设置输入区。

可穿戴装置100可识别实际输入界面并且显示与实际输入界面具有相同类型的虚拟输入界面。另外，可穿戴装置100可接收用户使用输入工具520 (诸如，笔、操纵杆、触控笔或手指)触摸实际输入界面的输入，然后识别实际输入界面。

实际输入界面的示例包括实际键盘、实际键区、实际记事本界面、实际计算器、实际钢琴键盘、实际游戏控制器和实际拨号盘，但不限于此。可选择地，实际输入界面可以是移动终端上显示的GUI。

例如，如图5A中所示，当用户通过使用输入工具520触摸实际键盘510 时，可穿戴装置100可识别通过输入工具520触摸的实际键盘510。此时，可穿戴装置100可通过使用深度传感器112获取实际键盘510的深度值和输入工具520的深度值，并且当实际键盘510的深度值和输入工具520的深度值之间的差等于或小于阈值时确定实际键盘510被触摸。

另外，关于一个或更多个实际输入界面的类型、形状和大小的信息可被预存储在可穿戴装置100中。因此，可穿戴装置100可将通过图像传感器111 识别出的实际键盘510的类型、形状和大小与预存储的信息进行比较，并确定实际键盘510是否是实际输入界面。

另外，可穿戴装置100可显示与实际输入界面相应的虚拟输入界面。可穿戴装置100可在光学显示器121上显示与实际输入界面具有相同大小和形状的虚拟输入界面，使得虚拟输入界面遇实际输入界面的区域重叠。

例如，如图5A中所示，当识别出实际键盘510时，可穿戴装置100可显示与实际键盘510具有相同大小和形状的虚拟键盘，使得虚拟键盘与显示有实际键盘510的区域重叠。

同时，参照图5B，根据示例性实施例的可穿戴装置100可识别实际对象的平面并且设置输入区。

可穿戴装置100可识别实际对象的平面，并且当用户通过使用输入工具 (诸如，笔、操纵杆、触控笔或手指)触摸该平面时，可穿戴装置100可将被触摸的平面设置为输入区。

例如，如图5B中所示，当用户通过使用诸如笔的输入工具530触摸记事本的平面540时，可穿戴装置100可识别通过输入工具530触摸的记事本的平面540。这里，可穿戴装置100可通过使用深度传感器112获取平面540 的深度值和输入工具530的深度值，并且当平面540的深度值和输入工具530 的深度值之间的差等于或小于阈值时，确定输入工具530触摸了平面540。

因此，可穿戴装置100可将通过输入工具530触摸的平面540设置为输入区。

图6是示出根据示例性实施例的根据输入区的深度值提供虚拟输入界面的方法的流程图。

参照图6，在操作S610中，可穿戴装置100可基于用户动作来设置输入区。因为以上已参照图2的操作S210、图3A至图5B详细描述了操作S610，所以不再重复其细节。

在操作S620中，可穿戴装置100可获取输入区的第一深度值。

当输入区被设置在空中时，可穿戴装置100可基于设置输入区的用户动作获取输入区的深度值。例如，当用户通过使用输入工具在空中绘制图时，可穿戴装置100可通过使用深度传感器112获取绘制图的输入工具的深度值，并且将输入工具的深度值设置为输入区的第一深度值。

可选择地，当输入区被设置在实际对象上时，可穿戴装置100可通过使用深度传感器112获取实际对象的深度值，并且将实际对象的深度值设置为输入区的第一深度值。

在操作S630中，可穿戴装置100可基于输入区的第一深度值，确定待显示的虚拟输入界面的类型。

例如，当输入区的第一深度值等于或小于第一阈值时，可穿戴装置100 可将具有第一大小的第一键盘确定为将在光学显示器121上显示的虚拟输入界面。

另外，当输入区的第一深度值大于第一阈值并且等于或小于比第一阈值大的第二阈值时，可穿戴装置100可将具有第二大小的第二键盘确定为将在光学显示器121上显示的虚拟输入界面，其中，第二大小小于第一大小。

另外，当输入区的第一深度值大于第二阈值时，可穿戴装置100可将具有第三大小的第三键盘确定为将在光学显示器121上显示的虚拟输入界面，其中，第三大小小于第二大小。

当输入区的第一深度值增大时，由可穿戴装置100的用户观察到的输入区的大小减小，因此可穿戴装置100可确定具有相对较小大小的虚拟输入界面。然而，示例性实施例不限于此。

另外，如稍后将参照图7至图9详细描述的，可穿戴装置100可基于输入区的第一深度值，不仅确定虚拟输入界面的大小，而且确定虚拟输入界面的形状。

回头参照图6，在操作S640中，可穿戴装置100可在光学显示器121上显示在操作S630中确定的虚拟输入界面，使得虚拟输入界面与在S610中设置的输入区重叠。

另外，可穿戴装置100可在操作S650中获取触摸虚拟输入界面的输入工具的第二深度值，并且在操作S660中比较第一深度值和第二深度值以确定是否通过虚拟输入界面产生了输入。

因为以上已参照图S230至S250详细描述了图6的操作S640至S660，所以不再重复其细节。

图7至图9是描述根据输入区的深度值而改变的显示在光学显示器121 上的虚拟输入界面的类型和大小的示图。

参照图7，可穿戴装置100可识别用户使用输入工具(诸如，手指、笔、触控笔或操纵杆)在与可穿戴装置100相距7cm的手掌710上设置输入区的手势(例如，绘制矩形的手势)。可穿戴装置100可基于所述手势而在光学显示器121上显示QWERTY键盘720，使得QWERTY键盘720与通过光学显示器121观察到的手掌710匹配。这里，如图7中所示，QWERTY键盘720 可包括输入窗口(显示“输入消息”的窗口)，通过QWERTY键盘720输入的文本可显示在输入窗口上。

另外，参照图8，可穿戴装置100可识别用户使用输入工具(诸如，手指、笔、触控笔或操纵杆)在与可穿戴装置100相距10cm的手掌810上设置输入区的手势(例如，绘制矩形的手势)。

当手掌810和可穿戴装置100之间的距离是10cm时，通过光学显示器 121观察到的手掌810的大小会小于与可穿戴装置100相距7cm的图7的手掌710的大小。因此，可穿戴装置100可在光学显示器121上显示诸如 Cheonjiin键盘的移动终端键盘820，使得移动终端键盘820与通过光学显示器121观察到的手掌810匹配。

另外，参照图9，可穿戴装置100可识别用户使用输入工具(诸如，手指、笔、触控笔或操纵杆)在与可穿戴装置100相距15cm的手掌910上设置输入区的手势(例如，绘制矩形的手势)。

当手掌910和可穿戴装置100之间的距离是15cm时，通过光学显示器 121观察到的手掌910的大小会小于与可穿戴装置100相距10cm的图8的手掌810的大小。因此，可穿戴装置100可在光学显示器121上显示手写输入窗口920，使得手写输入窗口920与通过光学显示器121观察到的手掌910 匹配。

如图7至图9中所示，随着手掌(输入区)和可穿戴装置100之间的距离增大(随着输入区的第一深度值增大)，确定虚拟输入界面依次是QWERTY 键盘720、移动终端键盘820和手写输入窗口920，但示例性实施例不限于此。随着手掌(输入区)和可穿戴装置100之间的距离减小(随着输入区的第一深度值减小)，可确定虚拟输入界面依次是手写输入窗口920、移动终端键盘 820和QWERTY键盘720，并且可确定任意类型的虚拟输入界面。

图10A和图10B是描述根据示例性实施例的根据设置有输入区的实际对象的深度值的改变而自适应性地改变的虚拟输入界面的类型的示图。

参照图10A，可穿戴装置100可识别用户使用输入工具(诸如，手指、笔、触控笔或操纵杆)在与可穿戴装置100相距7cm的手掌1010上设置输入区的手势(例如，绘制矩形的手势)。可穿戴装置100可基于手势而在光学显示器121上显示QWERTY键盘1020，使得QWERTY键盘1020与通过光学显示器121观察到的手掌1010匹配。

虽然显示了QWERTY键盘1020，但用户可移动手掌1010使其背离可穿戴装置100，使得可穿戴装置100和手掌1010之间的距离是10cm。

如图10A中所示，当可穿戴装置100和手掌1010之间的距离是10cm 时，通过光学显示器121观察到的手掌1010的大小会小于与可穿戴装置100 相距7cm的手掌1010的大小。因此，可穿戴装置100可在光学显示器121 上显示诸如Cheonjiin键盘的移动终端键盘1030，而不是之前显示的QWERTY 键盘1020。由此，移动终端键盘1030与通过光学显示器121观察到的手掌 1010匹配。

可选择地，可穿戴装置100可识别用户使用输入工具在与可穿戴装置100 相距10cm的手掌1010上设置输入区的手势(例如，绘制矩形的手势)。可穿戴装置100可基于手势将移动终端键盘1030显示为与手掌1010重叠。

当显示了移动终端键盘1030时，用户可将手掌1010移动得更接近于可穿戴装置100，使得可穿戴装置100和手掌1010之间的距离是7cm。

当可穿戴装置100和手掌1010之间的距离是7cm时，通过光学显示器 121观察到的手掌1010的大小会大于与可穿戴装置100相距10cm的手掌 1010的大小。因此，可穿戴装置100可在光学显示器121上显示QWERTY 键盘1020而不是所显示的移动终端键盘1030，使得QWERTY键盘1020与通过光学显示器121观察到的手掌1010匹配。

如此，用户可通过在输入区被设置在实际对象上之后改变实际对象的位置(实际对象和可穿戴装置之间的距离)来改变虚拟输入界面的类型。

参照图10B，可穿戴装置100可获取可穿戴装置100和手掌1010(实际对象)之间的第一距离(例如，7cm)，并且基于通过光学显示器121观察到的手掌1010上的第一距离来显示第一虚拟输入界面(例如，QWERTY键盘 1020)。例如，可改变图1B的可变透镜240a(或者可改变可变透镜的折射表面的曲率)来调整入射到用户眼睛上的第一光1025的入射角度，使得从用户眼睛到由用户识别出的QWERTY键盘1020的距离是第一距离。

另外，可穿戴装置100可获取可穿戴装置100和手掌1010(实际对象) 之间的第二距离(例如，10cm)，并且在通过光学显示器121观察到的手掌 1010上显示具有第二距离的第二虚拟输入界面(例如，移动终端键盘1030)。例如，可改变图1B的可变透镜240a(或者可改变可变透镜的折射表面的曲率)来调整入射到用户眼睛上的第一光1035的入射角度，使得从用户眼睛到由用户识别出的移动终端键盘1030的距离是第二距离。

图10C和图10D是描述根据示例性实施例的基于用户输入而改变的虚拟输入界面的类型的示图。

参照图10C，可穿戴装置100可基于用户的手势在光学显示器121上显示第一虚拟输入界面(例如，QWERTY键盘1020)，使得QWERTY键盘1020 与通过光学显示器121观察到的手掌1010匹配。这里，可穿戴装置100可显示用于改变虚拟输入界面的键1050。当从用户接收到选择键1050的输入时，如图10D中所示，可穿戴装置100可在显示有第一虚拟输入界面的区域中显示第二虚拟输入界面(例如，移动终端键盘1030)。另外，可显示用于改变虚拟输入界面的键1050。在从用户接收到选择键1050的输入时，如图10C 中所示，可穿戴装置100可在显示有第二虚拟输入界面的区域中显示第三虚拟输入界面，或者可显示QWERTY键盘1020。

图11是根据示例性实施例的提供基于输入区的大小或输入区的设置动作而确定的虚拟输入界面的方法的流程图。

参照图11，在操作S1110中，可穿戴装置100可通过使用用于分配显示虚拟输入界面的区域的用户手势来设置输入区。因为已参照图2的操作S210 以及图3A至图5B详细描述了操作S1110，所以不再重复其细节。

在操作S1120中，可穿戴装置100可基于输入区的大小或用户手势来确定虚拟输入界面的形状或类型。

例如，当输入区的面积等于或小于第一阈值时，可穿戴装置100可提供具有第一面积的虚拟输入界面。

可选择地，当输入区的面积大于第一阈值并且等于或小于比第一阈值大的第二阈值时，可穿戴装置100可提供具有比第一面积大的第二面积的虚拟输入界面。这里，可通过高度、宽度、对角长度或直径以及面积来确定输入区的大小。

另外，可穿戴装置100可基于由用户绘制的图来提供不同类型的虚拟输入界面。该图可以是在空中或实际对象上绘制的并且可用于设置输入区。

例如，当用户绘制第一图来设置输入区时，可穿戴装置100可识别第一图并且提供与第一图相应的虚拟输入界面。另外，当用户绘制第二图来设置输入区时，可穿戴装置100可提供与第二图相应的虚拟输入界面。

稍后将参照图12A至图15B对此进行详细描述。

回头参照图11，在操作S1130中，可穿戴装置100可根据操作S1110中设置的输入区的大小，在光学显示器121上显示操作S1120中确定的虚拟输入界面。

例如，虚拟输入界面可显示在光学显示器121上，使得虚拟输入界面在输入区中示出。此时，虚拟输入界面的形状可与输入区的形状相同，虚拟输入界面的大小可等于或小于输入区的大小。

另外，在操作S1140中，可穿戴装置100可获取输入区的第一深度值以及触摸或接近虚拟输入界面的输入工具的第二深度值，并且可穿戴装置100 可在操作S 1150中通过比较第一深度值和第二深度值来确定是否通过虚拟输入界面产生了输入。

因为以上已参照图2的S230至S250描述了图11的操作S1130至S1150，所以不再重复其细节。

图12A至图13B是描述根据输入区的尺寸而显示的虚拟输入界面的类型的示图。

如图12A中所示，可穿戴装置100的用户可在桌子1210上绘制用于设置输入区的图。例如，用户可通过使用双手在桌子1210上绘制具有第一大小 (例如，20cm×10cm)的矩形1220。这里，可穿戴装置100可通过使用用户使用双手绘制矩形1220的手势来设置输入区。

另外，如图12B中，响应于绘制矩形1220的手势，可穿戴装置100可将虚拟钢琴键盘1230显示为与通过光学显示器121观察到的矩形1220的区域重叠。可穿戴装置100可在光学显示器121上显示虚拟钢琴键盘1230，使得虚拟钢琴键盘1230与第一大小的矩形1220匹配。这里，可根据矩形1220 的第一大小确定虚拟钢琴键盘1230的大小。

如图13A中所示，用户可在桌子1310上绘制用于设置输入区的图。例如，用户可通过使用双手在桌子1310上绘制具有第二大小(例如，10cm× 10cm)的矩形1320。这里，可穿戴装置100可将用户使用双手绘制矩形1320 的手势识别为设置输入区的手势。

另外，如图12B中所示，响应于绘制矩形1320的手势，可穿戴装置100 可将虚拟钢琴键盘1330显示为与过光学显示器121观察到的矩形1320的区域重叠。可穿戴装置100可在光学显示器121上显示虚拟钢琴键盘1330，使得虚拟钢琴键盘1330与第二大小的矩形1320匹配。这里，可根据矩形1320 的第二大小确定虚拟钢琴键盘1330的大小。

可选择地，可穿戴装置100可基于输入区的大小，提供不仅具有不同尺寸而且还具有不同形状的虚拟输入界面。

参照图12B和图13B，图12B中示出的虚拟钢琴键盘1230可以是显示成一行的钢琴键盘，图13B中示出的虚拟钢琴键盘1330可以是显示成两行的钢琴键盘，但不限于此。

图14A至图15B是描述根据设置输入区的手势而改变的虚拟输入界面的类型的示图。

如图14A中所示，当用户使用手指1420在通过光学显示器121观察到的手掌1410上绘制矩形1430时，可穿戴装置100可通过使用图像传感器111 识别绘制矩形1430的手势，并且将与矩形1430相应的区域设置为输入区。

此时，如图14B中所示，可穿戴装置100可在光学显示器121上显示虚拟移动终端键盘1450，使得虚拟移动终端键盘1450与通过光学显示器121 观察到的矩形区重叠。例如，可穿戴装置100可根据矩形区的大小，在光学显示器121上显示虚拟移动终端键盘145。可选择地，可穿戴装置100可在不透明显示器上显示虚拟移动终端键盘1450。

如图15A中所示，当用户使用手指1520在通过光学显示器121观察到的手掌1510上绘制圆形1530时，可穿戴装置100可通过使用图像传感器111 识别绘制圆形1530的手势，并且将与圆形1530相应的区域设置为输入区。

此时，如图15B中所示，可穿戴装置100可在光学显示器121上显示虚拟拨号盘1550，使得虚拟拨号盘1550与通过光学显示器121观察到的圆形区重叠。例如，可穿戴装置100可在光学显示器121上显示虚拟拨号盘1550，使其与圆形区的大小匹配。可选择地，可穿戴装置100可在不透明显示器上显示虚拟拨号盘。

如此，根据示例性实施例的可穿戴装置100可根据设置输入区的手势的类型来提供具有不同形状的虚拟输入界面，关于根据手势类型而提供的虚拟输入界面的类型、尺寸和形状的信息可被存储在可穿戴装置100中。

图16A和图16B是描述根据示例性实施例的提供基于设置有输入区的对象而确定的虚拟输入界面的示图。

参照图16A，用户可在通过光学显示器121观察到的桌子1610上绘制用于设置输入区的图(例如，矩形)。例如，用户通过使用双手在桌子1610上绘制矩形。

可穿戴装置100可将绘制矩形的手势识别为设置输入区的手势，并且将与绘制在桌子1610上的矩形相应的区域设置为输入区。

这里，当桌子1610是设置有输入区的实际对象时，用户能够使用双手，因此可穿戴装置100可将QWERTY键盘1620确定为虚拟输入界面。

另外，可穿戴装置100可在光学显示器121上显示QWERTY键盘1620，使得QWERTY键盘1620与通过光学显示器121观察到的桌子1610的矩形区域重叠。例如，可穿戴装置100可根据矩形区域的大小在光学显示器121 上显示QWERTY键盘1620。可选择地，可穿戴装置100可在不透明显示器上显示QWERTY键盘1620。

参照图16B，用户可在通过光学显示器121观察到的手掌1630上绘制用于设置输入区的图(例如，矩形)。例如，用户可通过使用手指在手掌1630 上绘制矩形。

可穿戴装置100可将绘制矩形的手势识别为设置输入区的手势，并且将与绘制在手掌1630上的矩形相应的区域设置为输入区。

这里，当手掌1630是设置有输入区的实际对象时，用户能够只使用一只手，因此可穿戴装置100可将移动终端键盘1640设置为虚拟输入界面。

另外，可穿戴装置100可在光学显示器121上显示移动终端键盘1640，使其与通过光学显示器121观察到的手掌1630上的矩形区域重叠。例如，可穿戴装置100可根据矩形区域的大小在光学显示器121上显示移动终端键盘 1640。可选择地，可穿戴装置100可在不透明显示器上显示移动终端键盘 1640。

可根据输入区的颜色确定虚拟输入界面的颜色。例如，当输入区的颜色是第一颜色时，虚拟输入界面的颜色可被确定为是不同于第一颜色的第二颜色或者是作为第一颜色的互补颜色的第三颜色。如此，用户能够容易地将与通过光学显示器121观察到的输入区重叠的虚拟输入界面与输入区区分开。

图17A至图17C是描述根据示例性实施例的由可穿戴装置100提供的虚拟输入界面的示图，虚拟输入界面是基于设置有输入区的实际对象的类型而确定的。

如图17A至图17C中所示，假设穿戴可穿戴装置100的用户在阅读书 1700的同时在书1700上执行设置输入区的手势。

根据示例性实施例的可穿戴装置100可通过使用图像传感器111识别设置有输入区的实际对象的类型。例如，如图17A中所示，可穿戴装置100可通过使用图像传感器111检测用户使用输入工具1701在书1700上绘制矩形 1710的手势。此时，可穿戴装置100可经由图像处理识别出书1700是上面绘制有输入区的实际对象，因此，可将记事本确定为与书1700相应的虚拟输入界面。

如图17B中所示，可穿戴装置100可在光学显示器121上显示虚拟记事本1720，使得虚拟记事本1720与通过光学显示器121观察到的书1700上设置的输入区重叠。

可选择地，根据示例性实施例的可穿戴装置100可经由图像处理将书 1700中不显示文本或图像的空白空间设置为输入区，并且可在光学显示器 121上显示虚拟记事本1720，使得虚拟记事本1720与通过光学显示器121观察到的空白空间相应。

另外，可穿戴装置100可获取书1700的第一深度值和输入工具1701的第二深度值，并且当基于第一深度值和第二深度值确定产生了输入时在虚拟记事本1720上显示输入。

另外，如图17C中所示，可穿戴装置100可基于用户输入，存储虚拟记事本上显示的输入数据1730。

如此，当用户在穿戴可穿戴装置100的同时阅读书1700时，用户可通过使用虚拟记事本容易地存储重要信息。

图18A和图18B是描述根据示例性实施例的虚拟输入界面的示图，虚拟输入界面是基于设置输入区的输入工具而确定的。

参照图18A和图18B，用户可通过使用诸如手指或笔的输入工具，在空中或实际对象上绘制用于设置输入区的图(例如，矩形)。

可穿戴装置100可将通过使用输入工具绘制矩形的手势识别为设置输入区的手势，并且将在空中或实际对象上绘制的矩形设置为输入区。

当设置了输入区时，可穿戴装置100可基于设置输入区的输入工具来确定虚拟输入界面。

例如，如图18A中所示，当使用手指1820作为输入工具来设置输入区 1810时，可穿戴装置100可将通过手指1820容易触摸的移动终端键盘1830 确定为虚拟输入界面。

如此，可穿戴装置100可在光学显示器121上显示移动终端键盘1830，使其与通过光学显示器121观察到的输入区1810重叠。可选择地，可穿戴装置100可在不透明显示器上显示移动终端键盘1830。

同时，如图18B中所示，当使用笔1850作为输入工具来设置输入区1840 时，可穿戴装置100可将通过笔1850容易使用的手写输入窗口1860确定为虚拟输入界面。

如此，可穿戴装置100可在光学显示器121上显示手写输入窗口1860，使其与通过光学显示器121观察到的输入区1840重叠。可选择地，可穿戴装置100可在不透明显示器上显示手写输入窗口1860。

图19是示出根据示例性实施例的提供基于可穿戴装置正执行的应用而确定的虚拟输入界面的方法的流程图。

参照图19，在操作S1910中，可穿戴装置100可执行应用。例如，可穿戴装置100可选择并且执行可穿戴装置100中提供的多个应用中的任一个。这里，用户可通过使用语音输入或键输入来执行应用。

例如，当消息将被发送到外部装置时，可穿戴装置100可执行消息应用。此时，消息可以是文本消息、即时消息、聊天消息或电子邮件。

可选择地，可穿戴装置100可从外部装置接收消息，并且执行消息应用，以响应于或查看接收到的消息。

当需要输入文本或数字的应用(诸如，消息应用)被执行时(当将显示虚拟输入界面时)，可穿戴装置100可接收手势，并且在操作S1920中基于手势设置输入区。因为以上已参照图2的操作S210以及图3A至图5B详细描述了操作S1920，所以不再重复其的细节。

在操作S1930中，可穿戴装置100可基于正执行的应用的类型来确定虚拟输入界面。

例如，如稍后将参照图20A和图20B详细描述的，当消息应用被执行并且为了准备消息而需要文本输入时，可穿戴装置100可将诸如QWERTY键盘或移动终端键盘的虚拟键盘确定为虚拟输入界面。可选择地，当消息应用需要诸如接收方的电话号码的数字输入时，可穿戴装置100可将虚拟拨号盘确定为虚拟输入界面。

在操作S1940中，可穿戴装置100可将虚拟输入界面显示为与输入区重叠。

这里，可穿戴装置100可以以AR、MR或VR的形式显示虚拟输入界面。

例如，当可穿戴装置100以AR或MR的形式显示虚拟输入界面时，虚拟输入界面可在透明显示器上被显示为与输入区重叠。

可选择地，当可穿戴装置100以VR的形式显示虚拟输入界面时，虚拟输入界面可在不透明显示器上被显示为与输入区重叠。

在操作S1950中，可穿戴装置100可获取输入区的第一深度值和触摸虚拟输入界面的输入工具的第二深度值。

在操作S1960中，可穿戴装置100可通过比较第一深度值和第二深度值来确定是否通过虚拟输入界面产生了输入。

因为图19的操作S1940至S1960与图2的操作S230至S250相应，所以不再重复其细节。

图20A和图20B是描述根据示例性实施例的提供基于正执行的应用的类型而确定的虚拟输入界面的示图。

可穿戴装置100可基于用户输入执行呼叫应用。例如，可通过使用语音输入或键输入来执行呼叫应用。

当呼叫应用被执行时，用户可设置输入区，以显示用于输入用户想要呼叫的人的电话号码的虚拟输入界面。例如，可穿戴装置100可识别用户在手掌2010上绘制输入区的手势，并且在手掌2010上设置输入区。

然后，可穿戴装置100可确定与正执行的呼叫应用相应的虚拟输入界面，并且如图20A中所示，在光学显示器121上显示作为虚拟输入界面的虚拟拨号盘2020，使得虚拟拨号盘2020与通过光学显示器121观察到的手掌2010 重叠。

可选择地，可穿戴装置100可基于用户输入执行记事本应用。例如，用户可通过使用语音输入或键输入来执行记事本应用。

当记事本应用被执行时，用户可将输入区设置成显示用于输入文本的虚拟输入界面。例如，可穿戴装置100可识别在手掌2010上设置输入区的手势，并且在手掌2010上设置输入区。

然后，可穿戴装置100可确定与记事本应用相应的虚拟输入界面，并且如图20B中所示，在光学显示器121上显示作为虚拟输入界面的虚拟移动终端键盘2030，使得虚拟移动终端键盘2030与通过光学显示器121观察到的手掌2010重叠。然而，示例性实施例不限于此。

图21是描述根据示例性实施例的基于正执行的内容的类型而确定的虚拟输入界面的示图。

根据示例性实施例的可穿戴装置100可基于由可穿戴装置100正执行的内容的类型，确定将显示的虚拟输入界面。

内容的示例包括静止图像、运动图像、文本和网页，但不限于此。例如，内容可以是教育内容、电影内容、广播内容、游戏内容、商业内容、图片内容或新闻内容。

执行内容会意味着内容被显示、输出或再现。

参照图21，可穿戴装置100可在执行游戏内容2110的同时检测设置输入区的手势。此时，可穿戴装置100可在透明或不透明的显示器上显示与游戏内容2110相应的虚拟游戏控制面板2115，使其与输入区重叠。

可选择地，可穿戴装置100可在执行诸如打鼓内容的音乐内容2120的同时检测设置输入区的手势。此时，可穿戴装置100可在透明或不透明的显示器上显示与音乐内容2120相应的打鼓面板2125，使其与输入区重叠。

可选择地，可穿戴装置100可在显示网页2130的同时检测设置输入区的手势。此时，可穿戴装置100可在透明或不透明的显示器上显示用于从网页 2130中搜索信息的虚拟键盘2135，使其与输入区重叠。

图22A至图23B是描述根据示例性实施例的与当可穿戴装置100识别设置有先前的虚拟输入界面的实际对象时所提供的所述先前的虚拟输入界面相同的虚拟输入界面的示图。

如图22A中所示，当用户通过使用手指2220在手掌2210上绘制矩形 2230时，可穿戴装置100可通过使用图像传感器111识别绘制矩形2230的手势，并且将与矩形2230相应的区域设置为输入区。

这里，可穿戴装置100可基于当前正执行的应用的类型，确定将显示的虚拟输入界面的类型。例如，当正执行需要文本输入的记事本应用时，可穿戴装置100可将移动终端键盘2250确定为虚拟输入界面，但示例性实施例不限于此。

如图22B中所示，可穿戴装置100可在光学显示器121上显示移动终端键盘2250，使得移动终端键盘2250与通过光学显示器121观察到的矩形区域重叠。可选择地，可穿戴装置100可在不透明显示器上显示移动终端键盘 2250。

然后，可穿戴装置100可在执行记事本应用的同时，识别与上面设置有虚拟输入界面的实际对象(图22B的手掌2210)相同的对象。

例如，如图23A中所示，可穿戴装置100可通过使用图像传感器111检测用户的手掌2210。此时，可穿戴装置100可经由图像处理识别出手掌2210 是上面设置有虚拟输入界面的实际对象(图22B的手掌2210)。

当识别出实际对象时，如图23B中所示，可穿戴装置100可提供与输入区中先前提供的虚拟输入界面相同的虚拟输入界面。

例如，可穿戴装置100可将光学显示器121上先前提供的移动终端键盘2250显示为与通过光学显示器121观察到的输入区2270重叠，即使是在用户未通过使用输入工具绘制矩形以设置输入区时。

如此，用户可启用可穿戴装置100来识别显示有虚拟输入界面的实际对象，使得可穿戴装置100提供所提供的虚拟输入界面。

图24是示出根据示例性实施例的在空中设置的输入区中提供虚拟输入界面的方法的流程图。

参照图24，在操作S2410中，可穿戴装置100可在空中设置输入区。例如，如以上参照图3A描述的，可穿戴装置100可识别用户使用输入工具(诸如，手指、笔、触控笔或操纵杆)在空中绘制的图，并且将与该图相应的区域设置为输入区。

在操作S2420中，可穿戴装置100可确定虚拟输入界面。

例如，可穿戴装置100可基于输入区的属性来确定虚拟输入界面。可穿戴装置100可基于输入区的大小、输入区的形状、输入区和可穿戴装置100 之间的距离(输入区的第一深度值)以及设置输入区的手势中的至少一个，确定将在光学显示器121上显示的虚拟输入界面。

可选择地，可穿戴装置100可基于正执行的应用或内容的类型，确定虚拟输入界面。例如，当正执行的应用需要文本输入时，可穿戴装置100可将诸如QWERTY键盘或移动终端键盘的虚拟键盘确定为虚拟输入界面。可选择地，当正执行的应用需要数字输入时，可穿戴装置100可将虚拟拨号盘确定为虚拟输入界面。

在操作S2430中，可穿戴装置100可将虚拟输入界面显示为与输入区重叠。

此时，可穿戴装置100可以以AR、MR或VR的形式显示虚拟输入界面。

例如，当可穿戴装置100以AR或MR的形式显示虚拟输入界面时，可穿戴装置100可在透明显示器上显示虚拟输入界面，使得虚拟输入界面与通过透明显示器观察到的输入区(真实世界的2D或3D空间)重叠。

可选择地，当以VR的形式显示虚拟输入界面时，可穿戴装置100可捕捉包括输入区(真实世界的2D或3D空间)的第一图像(实际图像)，并且通过将虚拟输入界面(虚拟图像)添加到第一图像的输入区来产生第二图像。可穿戴装置100可在不透明显示器上显示第二图像，其中，在第二图像中，虚拟输入界面与输入区重叠。

在操作S2440中，可穿戴装置100可获取输入区的第一深度值和触摸虚拟输入界面的输入工具的第二深度值。

可穿戴装置100可通过使用深度传感器112测量从可穿戴装置100到输入区的距离(输入区的深度值，即，第一深度值)。

例如，当输入区设置在空中时，可穿戴装置100可通过测量在空中设置输入区的输入工具的深度值来得获取输入区的第一深度值。

同时，如果输入区在不平坦表面上并且输入区不存在于同一平面上，则可能存在输入区的多个深度值。当存在输入区的多个深度值时，第一深度值可以是所述多个深度值的平均深度值、所述多个深度值的最小深度值或所述多个深度值的最大深度值中的一个，但不限于此。

另外，可穿戴装置100可通过使用深度传感器112测量从可穿戴装置100 到触摸虚拟输入界面的输入工具的距离(输入工具的深度值，即，第二深度值)。

当输入工具是3D对象时，可能存在输入工具的多个深度值。当存在输入工具的多个深度值时，第二深度值可以是所述多个深度值的平均深度值、所述多个深度值的最小深度值或所述多个深度值的最大深度值中的一个，但不限于此。

例如，当通过使用输入工具触摸了虚拟输入界面时，输入工具和虚拟输入界面彼此接触的点(输入工具的端点)可以是第二深度值。

另外，可穿戴装置100可通过使用深度传感器112跟踪正实时移动的输入工具，并且计算实时改变的第二深度值。

在操作S2450中，可穿戴装置100可比较第一深度值和第二深度值。

例如，可穿戴装置100可确定第二深度值是否大于第一深度值，并且当确定第二深度值大于第一深度值时，在操作S2460中确定通过虚拟输入界面产生了输入。

然而，当确定第二深度值小于第一深度值时，在操作S2470中，可穿戴装置100可确定没有通过虚拟输入界面产生输入。

现在，将参照图25A和图25B详细描述对是否产生了输入的确定。

图25A和图25B是描述当输入区设置在空中时确定是否通过虚拟输入界面产生了输入的方法的示图。

参照图25A和图25B，可穿戴装置100可在透明或不透明的显示器上显示虚拟键盘2510，使得虚拟键盘2510与在空中设置的输入区重叠。

可穿戴装置100还可通过使用深度传感器112测量虚拟键盘2510的第一深度值。

同时，即使当穿戴可穿戴装置100的用户移动时，可穿戴装置100也能够在透明或不透明的显示器上显示虚拟键盘2510，使得虚拟键盘2510一直与具有第一深度值的输入区重叠。例如，即使当用户正在行走时，可穿戴装置100也可通过使用深度传感器112将虚拟键盘2510调整为持续显示在与可穿戴装置100相距一定距离(第一深度值)的区域中。

另外，参照图25A和图25B，用户可通过使用手指2520触摸空中的虚拟键盘2510来输入数据。

这里，可穿戴装置100可通过测量触摸虚拟键盘2510的手指2520的深度值(第二深度值)来确定是否通过虚拟键盘2510产生了输入。

例如，如图25A中所示，手指2520可接近虚拟键盘2510，以选择虚拟键盘2510上显示的按钮。此时，当手指2520没有穿过显示有虚拟键盘2510 的输入区时，手指2520的第二深度值会小于第一深度值。

当手指2520的第二深度值小于第一深度值时，可穿戴装置100可识别出用户没有在触摸虚拟键盘2510，并且确定没有通过虚拟键盘2510产生输入。

另一方面，如图25B中所示，当手指2520穿过显示有虚拟键盘2510的输入区时，手指2520的第二深度值会大于第一深度值。

当手指2520的第二深度值大于第一深度值时，可穿戴装置100可识别出用户正触摸虚拟键盘2510。

当确定用户正触摸虚拟键盘2510时，可穿戴装置100可通过使用图像传感器111检测手指2520在虚拟键盘2510上的位置。可穿戴装置100可基于检测到的手指2520的位置来确定用户的输入数据。例如，当手指2520正穿过虚拟键盘2510上的“enter”按钮时，可穿戴装置100可确定用户选择了“enter”按钮。

根据示例性实施例，可穿戴装置100可通过比较空中设置的输入区的第一深度值与触摸虚拟输入界面的输入工具(例如，手指或笔)的第二深度值，准确地确定是否通过空中设置的虚拟输入界面产生了输入。

图26是示出根据示例性实施例的在空中或实际对象上设置的输入区中提供虚拟输入界面的方法的流程图。

参照图26，在操作S2610中，可穿戴装置100可在空中或实际对象上设置输入区。例如，如以上参照图3A- 图 3B 描述的，可穿戴装置100可识别用户使用输入工具(诸如，手指、笔、触控笔或操纵杆)在空中或实际对象(诸如，手掌、桌子或墙壁)上绘制的图，并且将与该图相应的区域设置为输入区。

可选择地，如以上参照图4A- 图 4B 描述的，可穿戴装置100可识别预设对象，并且将与预设对象相应的区域设置为输入区。

可选择地，如以上参照图5A- 图 5B 描述的，可穿戴装置100可识别用户使用输入工具触摸预设对象的操作，并且将与被触摸的预设对象相应的区域设置为输入区。

在操作S2620中，可穿戴装置100可确定虚拟输入界面。

例如，可穿戴装置100可基于输入区的属性来确定虚拟输入界面。可穿戴装置100可基于输入区的大小、输入区的形状、输入区和可穿戴装置100 之间的距离(输入区的第一深度值)、设置有输入区设置的实际对象的类型以及设置输入区的手势中的至少一个，确定将在光学显示器121上显示的虚拟输入界面。

可选择地，可穿戴装置100可基于正执行的应用或内容的类型，确定虚拟输入界面。例如，当正执行的应用需要文本输入时，可穿戴装置100可将诸如QWERTY键盘或移动终端键盘的虚拟键盘确定为虚拟输入界面。可选择地，当正执行的应用需要数字输入时，可穿戴装置100可将虚拟拨号盘确定为虚拟输入界面。

在操作S2630中，可穿戴装置100可将虚拟输入界面显示为与输入区重叠。

此时，可穿戴装置100可以以AR、MR或VR的形式显示虚拟输入界面。

例如，当可穿戴装置100以AR或MR的形式显示虚拟输入界面时，可穿戴装置100可在透明显示器上显示虚拟输入界面，使得虚拟输入界面与输入区重叠。

可选择地，当可穿戴装置100以VR的形式显示虚拟输入界面时，可穿戴装置100可在不透明显示器上显示虚拟输入界面，使得虚拟输入界面与输入区重叠。

因为图26的操作S2630与图24的操作S2430相同，所以不再重复其细节。

在操作S2640中，可穿戴装置100可获取输入区的第一深度值和触摸虚拟输入界面的输入工具的第二深度值。

例如，当输入区被设置在空中时，可穿戴装置100可通过在空中设置输入区的同时测量输入工具的深度值，获取输入区的第一深度值。

可选择地，当输入区被设置在实际对象上时，可穿戴装置100可通过测量实际对象的深度值(从可穿戴装置100到实际对象的距离)来获取输入区的第一深度值。

另外，可穿戴装置100可通过使用深度传感器112测量从可穿戴装置100 到触摸虚拟输入界面的输入工具的距离(输入工具的深度值，即，第二深度值)。

另外，可穿戴装置100可通过使用深度传感器112跟踪正实时移动的输入工具并且实时计算第二深度值。

在操作S2650中，可穿戴装置100可将第一值和第二值之间的差与阈值进行比较。

例如，在操作S2660中，可穿戴装置100可确定该差是否小于阈值，并且当确定该差小于阈值时，确定通过虚拟输入界面产生了输入。

在操作S2670中，当确定该差等于或大于该阈值时，可穿戴装置100可确定没有通过虚拟输入界面产生输入。

现在，将参照图27A和图27B详细描述对是否产生了输入的确定。

图27A和图27B是描述当输入区被设置在实际对象上时确定是否通过虚拟输入界面产生了输入的方法的示图。

参照图27A和图27B，可穿戴装置100可在光学显示器121上显示虚拟键盘2730，使得虚拟键盘2730与通过光学显示器121观察到的诸如手掌2710 的实际对象重叠。

另外，可穿戴装置100可通过使用深度传感器112测量手掌2710的第一深度值。

同时，即使手掌2710的位置改变，可穿戴装置100也可实时跟踪手掌 2710，并且可穿戴装置100可通过随第一深度值的变化实时地连续计算第一深度值来连续调整虚拟键盘2730，以使虚拟键盘2730与通过光学显示器121 观察到的手掌2710重叠。

另外，参照图27B，用户可通过使用手指2720触摸手掌2710上示出的虚拟键盘2730来输入数据。

此时，可穿戴装置100可测量触摸虚拟键盘2730的手指2720的深度值 (第二深度值)，以确定是否通过虚拟键盘2730产生了输入。

如图27A中所示，当手指2720与手掌2710相距至少一定距离时，可穿戴装置100可确定没有通过虚拟键盘2730产生输入。

例如，当示出了虚拟键盘2730的手掌2710的第一深度值和手指2720 的第二深度值之间的差等于或大于阈值时，可确定用户没有在触摸虚拟键盘 2730，并可确定没有通过虚拟键盘2730产生输入。

如图27B中所示，用户可使手指2720接近虚拟键盘2730，以选择虚拟键盘2730上显示的按钮。这里，当第一深度值和第二深度值之间的差小于阈值时，可确定用户正在触摸虚拟键盘2730。

另外，当第一深度值和第二深度值之间的差小于阈值时，可穿戴装置100 可通过使用图像传感器111检测手指2720在虚拟键盘2730上的位置。可穿戴装置100可基于手指2720的位置来确定输入数据。例如，当手指2720穿过虚拟键盘2730上的“enter”按钮时，可穿戴装置100可确定用户选择了“enter”按钮。

根据示例性实施例，可穿戴装置100可通过比较由用户在空中或实际对象上设置的输入区的第一深度值与触摸虚拟输入界面的输入工具(例如，手指或笔)的第二深度值，准确地确定是否通过空中或实际对象上设置的虚拟输入界面产生了输入。

图28A和图28B是描述根据示例性实施例的获取输入区的第一深度值和输入工具的第二深度值的方法的示图。

如图28A和图28B中所示，假设当需要键盘输入时，通过使用用户手掌作为输入区来显示虚拟键盘。

参照图28A，用户可在穿戴眼镜型的可穿戴装置(第一可穿戴装置)100 的同时在左手掌2820上设置输入区，并且可以正在左手腕上穿戴第二可穿戴装置2810。这里，第二可穿戴装置2810能被穿戴在用户手腕(像是手表、手镯或带)上，但不限于此。

第二可穿戴装置2810可包括位置传感器，并且可通过使用位置传感器感测第二可穿戴装置2810的位置信息。另外，第一可穿戴装置100和第二可穿戴装置2810可通过包括通信器彼此间收发数据，第二可穿戴装置2810可将感测到的第二可穿戴装置的位置信息发送到第一可穿戴装置100。

同时，第一可穿戴装置100可包括位置传感器，并且可通过使用位置传感器感测第一可穿戴装置100的位置信息。

第一可穿戴装置100可将感测到的第一可穿戴装置100的位置信息与接收到的第二可穿戴装置2810的位置信息进行比较，以计算第一可穿戴装置 100和第二可穿戴装置2810之间的距离。

穿戴第二可穿戴装置2810的左手腕和第一可穿戴装置100之间的距离可近似于左手掌2820和第一可穿戴装置100之间的距离，其中，左手掌2820 被设置为显示有虚拟键盘2840的输入区。因此，第一可穿戴装置100可将第一可穿戴装置100和第二可穿戴装置2810之间的距离确定为第一深度值。

如此，第一可穿戴装置100可通过使用第二可穿戴装置2810的位置信息，准确地获取第一深度值。

另外，第二可穿戴装置2810可包括运动传感器，并且通过使用运动传感器检测当左手掌2820被触摸时产生的运动(诸如，振动)来识别触摸输入。当识别出触摸输入时，第二可穿戴装置2810可通过通信器将关于触摸输入的数据发送到第一可穿戴装置100。因此，第一可穿戴装置100可通过使用第二可穿戴装置2810的感测信息准确地识别出产生了触摸输入。

同时，参照图28B，用户可在穿戴眼镜型的第一可穿戴装置100的同时在左手掌2820上设置输入区，并且可在右手指2830上穿戴第三可穿戴装置 2850。这里，第三可穿戴装置2850能被穿戴在手指上(像是顶针或戒指)，但不限于此。

第三可穿戴装置2850可包括位置传感器，并且通过使用位置传感器感测第三可穿戴装置2850的位置信息。

另外，第一可穿戴装置100和第三可穿戴装置2850可通过使用所包括的通信器彼此间收发数据，第三可穿戴装置2850可将感测到的第三可穿戴装置 2850的位置信息发送到第一可穿戴装置100。

第一可穿戴装置100可包括位置传感器，并且可通过使用位置传感器感测第一可穿戴装置100的位置信息。

第一可穿戴装置100可将感测到的第一可穿戴装置100的位置信息与接收到的第三可穿戴装置2850的位置信息进行比较，以计算第一可穿戴装置 100和第三可穿戴装置2850之间的距离。

如图28B中所示，当使用穿戴第三可穿戴装置2850(诸如，顶针)的右手指2830作为触摸虚拟键盘2840的输入工具时，第三可穿戴装置2850的深度值可以是右手指2830的深度值，并且第一可穿戴装置100和第三可穿戴装置2850之间的距离可被确定为第二深度值。

如此，第一可穿戴装置100可使用通过第三可穿戴装置2850的位置信息，准确地获取第二深度值。

另外，第三可穿戴装置2850可包括压力传感器，并且可通过使用压力传感器检测当左手掌2820被触摸时产生的压力来识别触摸输入。当识别出触摸输入时，第三可穿戴装置2850可通过通信器将关于触摸输入的数据发送到第一可穿戴装置100。如此，第一可穿戴装置100可通过使用第三可穿戴装置 2850的感测信息准确地识别是否产生了触摸输入。

图29是示出根据示例性实施例的提供关于是否通过虚拟输入界面产生了输入的反馈的方法的流程图。

参照图29，在操作S2910中，可穿戴装置100可设置输入区。

当设置了输入区时，在操作S2920中，可穿戴装置100可确定虚拟输入界面。

例如，可穿戴装置100可基于输入区的属性来确定虚拟输入界面。可穿戴装置100可基于输入区的大小、输入区的形状、输入区和可穿戴装置100 之间的距离(输入区的第一深度值)以及设置输入区的手势中的至少一个，确定将在光学显示器121上显示的虚拟输入界面。

可选择地，可穿戴装置100可基于正执行的应用或内容的类型，确定虚拟输入界面。例如，当正执行的应用需要文本输入时，可穿戴装置100可将诸如QWERTY键盘或移动终端键盘的虚拟键盘确定为虚拟输入界面。可选择地，当正执行的应用需要数字输入时，可穿戴装置100可将虚拟拨号盘确定为虚拟输入界面。

在操作S2930中，可穿戴装置100可将虚拟输入界面显示为与输入区重叠。

此时，可穿戴装置100可以以AR、MR或VR的形式显示虚拟输入界面。

例如，当可穿戴装置100以AR或MR的形式显示虚拟输入界面时，虚拟输入界面可在透明显示器上被显示为与输入区重叠。

可选择地，当可穿戴装置100以VR的形式显示虚拟输入界面时，虚拟输入界面可在不透明显示器上被显示为与输入区重叠。

在操作S2940中，可穿戴装置100可获取输入区的第一深度值和触摸虚拟输入界面的输入工具的第二深度值。

在操作S2950中，可穿戴装置100可通过比较第一深度值和第二深度值，确定是否通过虚拟输入界面产生了输入。

因为图29的操作S2930至S2950与图2的操作S230至S250相应，所以不再重复其另外的细节。

在操作S2960中，当确定通过虚拟输入界面产生了输入时，可穿戴装置 100可输出与产生的输入相应的通知信号。通知信号的示例包括视频信号、音频信号和触觉信号，但不限于此。

将参照图30至图32详细地描述通知信号的输出。

图30和图31是描述根据示例性实施例的输出与由可穿戴装置是否产生了输入相应的通知信号的示图。

如图30和图31中所示，可穿戴装置100可识别在手掌3010上设置输入区的手势，并且在光学显示器121上显示虚拟键盘3030，使其与通过光学显示器121观察到的手掌3010重叠。

此时，用户可通过使用手指3020触摸虚拟键盘3030上显示的按钮以产生输入。

可穿戴装置100可将手指3020的深度值(第二深度值)与手指3010的深度值(第一深度值)进行比较，并且当第一深度值和第二深度值之间的差小于阈值时确定通过手指3020产生了输入。

当产生了输入时，可穿戴装置100可检测手指3020在虚拟键盘3030上的位置，并且在手指3020的位置处产生关于按钮3040的输入数据。另外，可穿戴装置100可向用户提供反馈，使得用户容易地识别输入。

例如，可改变按钮3040的颜色。可选择地，当通过虚拟键盘3030产生了输入时，可输出警报。

可选择地，当通过虚拟输入界面产生了输入时，可穿戴装置100可通过使用外围装置输出触觉信号。

如图31中所示，用户在触摸虚拟键盘3030的手指3020上可能正穿戴着第二可穿戴装置3150。这里，第二可穿戴装置3150能穿戴在手指3020上(诸如，顶针或戒指)，但不限于此，只要第二可穿戴装置3150可穿戴即可。

另外，第二可穿戴装置3150可包括触觉模块。触觉模块可产生各种触觉效果。由触觉模块产生的触觉效果的示例包括振动效果。当触觉模块产生作为触觉效果的振动时，可改变振动的强度和模式，可组合地或顺序地输出不同类型的振动。

当在虚拟键盘3030上显示的按钮上产生了输入时，可穿戴装置100可通过通信器请求第二可穿戴装置3150输出触觉信号。

然后，作为响应，第二可穿戴装置3150可通过触觉模块输出触觉信号。

图32是描述根据示例性实施例的输出与是否通过虚拟输入界面产生了输入相应的通知信号的示图。

如图32中所示，可穿戴装置100可识别用户在桌子3210上设置输入区的手势，并且在透明或不透明的显示器上显示虚拟钢琴键盘3220，使其与桌子3210重叠。

此时，用户可通过使用手指3230触摸虚拟钢琴键盘3220来产生输入。

可穿戴装置100可将手指3230的深度值(第二深度值)与桌子3210的深度值(第一深度值)进行比较，并且当第一深度值和第二深度值之间的差小于阈值时确定通过手指3230产生了输入。

当确定产生了输入时，可穿戴装置100可检测手指3230在虚拟钢琴键盘 3220上的位置，并且在手指3230的位置显示虚拟钢琴键盘3220上的虚拟图像3250。如此，用户可容易地识别出在显示有虚拟图像3250的位置产生了输入。

图33和图34是根据示例性实施例的可穿戴装置100的框图。

如图33中所示，根据示例性实施例的可穿戴装置100可包括传感器110、光学显示器121和控制器130。然而，图33中示出的组件不都是必要的。可穿戴装置100可包括比图33中示出的组件更多或更少的组件。

例如，如图34中所示，根据示例性实施例的可穿戴装置100还可包括用户输入140、通信器150和存储器160以及传感器110、输出器120和控制器 130。

现在，将详细描述以上组件。

传感器110可检测可穿戴装置100的状态或可穿戴装置100周围的状态，并且将关于检测到的状态的信息发送到控制器130。

传感器110可包括图像传感器111和深度传感器112。可穿戴装置100 可通过图像传感器111获取静止图像或运动图像的图像帧。这里，可通过控制器130或单独的图像处理器处理通过图像传感器111捕捉的图像。

根据示例性实施例，图像传感器111可识别在空中或实际对象上设置输入区的手势。例如，图像传感器111可识别通过使用输入工具在空中或实际对象上设置输入区的手势。

可选择地，图像传感器111可识别将被设置为输入区的预设对象，并且识别通过使用输入工具触摸预设对象的手势。可选择地，图像传感器111可捕捉包括输入区的第一图像。

根据示例性实施例，深度传感器112可获取输入区的第一深度值和触摸虚拟输入界面的输入工具的第二深度值。例如，深度传感器112可测量从可穿戴装置100到输入区的距离和从可穿戴装置100到输入工具的距离。

可选择地，当输入区被设置在实际对象上时，深度传感器112可测量从可穿戴装置100到实际对象的距离，并且通过使用测量的距离来获取输入区的第一深度值。

根据示例性实施例，传感器110可包括加速度传感器113、位置传感器 114(诸如，全球定位系统(GPS))、大气压传感器115、温度/湿度传感器116、地磁传感器117、陀螺仪传感器118和麦克风119以及图像传感器111和深度传感器112中的至少一个。

麦克风119接收外部声音信号并且将外部音频信号处理成电语音数据。例如，麦克风119可从外部装置或人接收外部声音信号。麦克风119可使用各种噪声去除算法中的任一种来去除在接收外部声音信号的同时产生的噪声。

因为加速度传感器113、位置传感器114、大气压传感器115、温度/湿度传感器116、地磁传感器117和陀螺仪传感器118的功能是本领域的普通技术人员能直观推断的，所以这里没有提供其细节。

输出器120可输出音频信号、视频信号或振动信号，并且可包括光学显示器121、声音输出122和振动电机123。

光学显示器121可显示经可穿戴装置100处理的信息。例如，光学显示器121可显示与呼叫模式下的电话呼叫相关的用户界面(UI)或图形用户界面(GUI)，并且以输入模式显示虚拟输入界面。

根据示例性实施例，光学显示器121可以是透明显示器或不透明显示器。透明显示器是显示信息的屏幕的后表面透明的信息显示设备。透明显示器包括透明装置，可通过调整透明装置的透光率或调整各像素的RGB值来调整透明度。

当光学显示器121通过与触摸板形成层结构来形成触摸屏时，光学显示器121可被用作输入装置以及输出装置。触摸屏可检测用户在触摸屏上的触摸手势，并且将关于触摸手势的信息发送到控制器130。触摸手势的示例包括轻击、触摸并保持、双击、拖拽、平移、轻弹、拖放和扫掠(swipe)。

光学显示器121可包括液晶显示器、薄膜晶体管-液晶显示器、有机发光二极管、柔性显示器、3D显示器和电泳显示器中的至少一个。另外，可穿戴装置100可根据可穿戴装置100的结构包括至少两个光学显示器121。

声音输出122输出从通信器150接收的音频数据或存储在存储器160中的音频数据。另外，声音输出122输出与由可穿戴装置100执行的功能相关的声音信号(诸如，呼叫信号接收声音或消息接收声音)。声音输出122可包括扬声器或蜂鸣器。

根据示例性实施例，当通过虚拟输入界面产生了输入时，声音输出122 可输出与所述输入相应的音频信号。

振动电机123可输出振动信号。例如，振动电机123可输出与音频数据或视频数据的输出相应的振动信号(诸如，呼叫信号接收声音或消息接收声音)。另外，当通过虚拟输入界面产生了输入时，振动电机123可输出振动信号。

控制器130总体控制可穿戴装置100的整体操作。例如，控制器130可执行存储在存储器160中的程序，以控制传感器110、输出器120、用户输入 140、通信器150和存储器160。

控制器130可基于通过图像传感器111识别出的手势来设置输入区。例如，当图像传感器111识别在空中或实际对象上绘制图的手势时，控制器130 可将与该图相应的区域设置为输入区。

控制器130可基于输入区的属性，确定将在光学显示器121上显示的虚拟输入界面。

控制器130可基于输入区的第一深度值来确定虚拟输入界面的类型，并且在光学显示器121上显示虚拟输入界面，使其与输入区重叠。

控制器130可基于设置有输入区的实际对象的类型来确定虚拟输入界面的类型，并且在光学显示器121上显示虚拟输入界面，使其与输入区重叠。

控制器130可基于设置输入区的手势的类型或输入区的大小来确定虚拟输入界面的类型，并且在光学显示器121上显示虚拟输入界面，使其与输入区重叠。

控制器130可基于由可穿戴装置100正执行的应用的类型来确定虚拟输入界面，并且在光学显示器121上显示虚拟输入界面，使其与输入区重叠。

控制器130可在透明显示器上显示虚拟输入界面，使得虚拟输入界面显示在通过透明显示器观察到的输入区上。

控制器130可产生第二图像，并且在光学显示器121上显示包括虚拟输入界面的第二图像，其中，在第二图像中，虚拟输入界面与第一图像中包括的输入区重叠。

控制器130可基于比较第一深度值和第二深度值的结果来确定是否通过虚拟输入界面产生了输入。例如，当第一深度值和第二深度值之间的差在阈值以内时，控制器130可确定通过虚拟输入界面产生了输入。

当第二深度值大于第一深度值时，控制器130可确定通过虚拟输入界面产生了输入。

控制器130可控制输出器120，以输出与输入的产生相应的通知信号。

用户经由用户输入130输入用于控制可穿戴装置100的数据。例如，用户输入140可以是键区、圆顶开关、触摸板(接触电容型、耐压膜型、红外光检测型、表面声波传导型、整体张力测量型或压电效应型)、滚轮、或轻摇开关，但不限于此。根据示例性实施例，用户输入140可包括虚拟输入界面。

通信器150可包括使可穿戴装置100能够与外部装置或服务器通信的至少一个组件。例如，通信器150可包括局域联网器151、移动通信器152和广播接收器153。

局域联网器151可以是蓝牙通信器、近场通信/射频识别(NFC/RFID) 单元、无线局域网(WiFi)通信器、Zigbee通信器、红外数据协会(IrDA) 通信器、超宽带(UWB)通信器、或Ant+通信器，但不限于此。

例如，局域联网器151可接收第二可穿戴装置或第三可穿戴装置的位置信息。

移动通信器152在移动通信网络上将无线信号发送到基站、外部终端和服务器中的至少一个并且从基站、外部终端和服务器中的至少一个接收无线信号。这里，无线信号可根据语音呼叫信号、图像呼叫信号或文本/多媒体消息的发送和接收而包括各种类型的数据。

广播接收器152通过广播信道从外部源接收与广播相关的广播信号和/ 或信息。广播信道可以是卫星信道或地面波信道。根据示例性实施例，可穿戴装置100可不包括广播接收器153。

存储器160可存储用于处理和控制控制器130的程序，并且可存储输入/ 输出数据(诸如，与输入模式、虚拟输入界面、通过虚拟输入界面输入的数据、通过传感器测量出的感测信息、以及内容相应的手势信息)。

存储器160可包括快闪存储器、硬盘、微型多媒体卡、诸如安全数字(SD) 或极速数字(XD)存储器的卡型存储器、随机存取存储器(RAM)、静态随机存取存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器 (EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘和光盘中的至少一种。另外，可穿戴装置100可操作互联网上执行存储器160的存储功能的网络存储器或云服务器。

存储在存储器160中的程序可基于功能被分类为多个模块(诸如，UI模块161和通知模块162)。

UI模块161可根据应用提供与可穿戴装置100相互配合的专用UI或 GUI。另外，根据示例性实施例，UI模块161可基于情形来选择和提供虚拟输入界面。

通知模块162可产生用于通知可穿戴装置100中产生事件的信号。可穿戴装置100中产生的事件的示例可包括呼叫信号接收、消息接收、通过虚拟输入界面输入键信号和日程通知。通知模块162可通过光学显示器121输出视频信号形式的通知信号，通过声音输出122输出音频信号形式的通知信号，或者通过振动电机123输出振动信号形式的通知信号。可选择地，通知模块 162可通过使用外部可穿戴装置(诸如，戒指、顶针、手镯或手套)输出触觉信号。

上述方法用可通过以将使用各种计算机执行的计算机程序来实现而被记录在计算机可读记录介质上。计算机可读记录介质可包括程序命令、数据文件和数据结构中的至少一个。记录在计算机可读记录介质中的程序命令可以是专门设计的或者是计算机软件领域的普通技术人员熟知的。计算机可读记录介质的示例包括只读存储器(ROM)、随机存取存储器(RAM)、CD-ROM、磁带、软盘、光学数据存储装置等。计算机命令的示例包括用编译器得到的机械代码和通过计算机使用翻译器可执行的高级语言。

如上所述，根据一个或更多个示例性实施例，可穿戴装置100可通过比较触摸虚拟输入界面的输入工具的深度值和由用户定义的参考深度值，准确地确定是否通过虚拟输入界面产生了输入。

虽然已经参照附图描述了一个或更多个示例性实施例，但本领域的普通技术人员将理解，可在不脱离由权利要求书限定的精神和范围的情况下进行形式和细节上的各种改变。

Claims (15)

1.一种眼镜型可穿戴装置，包括：

图像传感器，被配置为感测用户设置用户输入区的手势图像；

光学显示单元，被配置为显示与通过使用感测到的手势图像而设置的用户输入区相应的虚拟输入界面；

控制器，被配置为进行以下操作：

基于感测到的手势图像来设置用户输入区，

确定眼镜型可穿戴装置与用户输入区之间的距离，

基于所述距离确定虚拟输入界面的类型，以及

基于所述距离改变光学显示单元的可变透镜的折射表面的曲率，以将将由用户识别的虚拟输入界面显示为位于所述用户输入区中。

2.根据权利要求1所述的眼镜型可穿戴装置，其中，感测到的手势图像与由用户绘制的图相应，并且虚拟输入界面被显示为与感测到的图相应。

3.根据权利要求1所述的眼镜型可穿戴装置，其中，虚拟输入界面被显示为与用户输入区的大小相应。

4.根据权利要求1所述的眼镜型可穿戴装置，其中，用户输入区被设置在实际对象上，并且虚拟输入界面是基于设置有用户输入区的实际对象的类型而确定的。

5.根据权利要求1所述的眼镜型可穿戴装置，其中，虚拟输入界面是基于由眼镜型可穿戴装置正执行的应用的类型而确定的。

6.根据权利要求1所述的眼镜型可穿戴装置，其中，光学显示单元包括透明显示器，其中，透明显示器被配置为在透明显示器的与通过透明显示器观察到的用户输入区相应的区域上提供虚拟输入界面。

7.根据权利要求1所述的眼镜型可穿戴装置，其中，图像传感器被配置为捕捉用户输入区的第一图像，光学显示单元被配置为在第一图像的用户输入区上方显示虚拟输入界面的第二图像。

8.根据权利要求1所述的眼镜型可穿戴装置，还包括：

深度传感器，被配置为感测与从眼镜型可穿戴装置到用户输入区的距离相应的第一深度值和与从眼镜型可穿戴装置到输入工具的距离相应的第二深度值；

控制器，被配置为基于第一深度值和第二深度值，确定是否通过虚拟输入界面产生了输入。

9.一种由眼镜型可穿戴装置提供虚拟输入界面的方法，所述方法包括：

获取用户设置用户输入区的手势图像；

基于获取的手势图像来设置用户输入区；

确定眼镜型可穿戴装置与用户输入区之间的距离；

基于所述距离确定虚拟输入界面的类型；

基于所述距离改变光学显示单元的可变透镜的折射表面的曲率，以将将由用户识别的虚拟输入界面显示为位于所述用户输入区中，以及

显示虚拟输入界面。

10.根据权利要求9所述的方法，其中，获取手势图像的步骤包括：

通过识别由用户绘制的图，获取手势图像；

将与由用户绘制的图相应的区域设置为用户输入区。

11.根据权利要求9所述的方法，其中，虚拟输入界面是基于用户输入区的大小而确定的。

12.根据权利要求9所述的方法，其中，虚拟输入界面是基于设置有用户输入区的对象的类型而确定的。

13.根据权利要求9所述的方法，其中，虚拟输入界面是基于由眼镜型可穿戴装置正执行的应用的类型而确定的。

14.根据权利要求9所述的方法，其中，虚拟输入界面被设置在光学显示单元的透明显示器上，使得虚拟输入界面与通过透明显示器观察到的用户输入区相应。

15.根据权利要求9所述的方法，还包括：

获取与从眼镜型可穿戴装置到用户输入区的距离相应的第一深度值和与从眼镜型可穿戴装置到输入工具的距离相应的第二深度值；

基于第一深度值和第二深度值，确定是否通过虚拟输入界面产生了输入。