CN103336579A - 穿戴式设备的输入方法和穿戴式设备 - Google Patents

Abstract

本发明提出一种穿戴式设备的输入方法和穿戴式设备，其中该方法包括以下步骤：穿戴式设备根据用户的指令启动摄像头，其中，摄像头具有视频捕捉区域；穿戴式设备通过摄像头对用户在视频捕捉区域中输入的手写操作进行捕捉以生成用户的手写操作轨迹；以及穿戴式设备对手写操作轨迹进行识别以生成对应的输入内容。根据本发明实施例方法，实现了用户通过穿戴式设备进行凭空写字/画图的输入方式，使用户在语音输入等不适用的场合下，通过穿戴式设备进行大规模、自然方便的文字输入，提升了用户体验。

Description

穿戴式设备的输入方法和穿戴式设备

技术领域

本发明涉及移动设备制造技术领域，尤其涉及一种穿戴式设备的输入方法和穿戴式设备。

背景技术

随着互联网技术的成熟以及硬件设备的微型化和价格下降，大量的穿戴式设备层出不穷。目前，穿戴式设备可为用户提供小巧的交互界面，例如，3D眼镜将交互界面通过投影仪和反光镜投射到用户眼中，用户通过单击镜架或者语音的方式进行交互。

目前存在的问题是，穿戴式设备提供的交互方式不能给用户完善的使用体验，使穿戴式设备使用的范围和程度受到限制。

发明内容

本发明旨在至少解决上述技术问题之一。

为此，本发明的第一个目的在于提出一种穿戴式设备的输入方法。该方法实现了用户通过穿戴式设备进行凭空写字/画图的输入方式，使用户在语音输入等不适用的场合下，通过穿戴式设备进行大规模、自然方便的文字输入，提升了用户体验。

本发明的第二个目的在于提出一种穿戴式设备。

为了实现上述目的，本发明第一方面实施例的穿戴式设备的输入方法包括以下步骤：穿戴式设备根据用户的指令启动摄像头，其中，所述摄像头具有视频捕捉区域；所述穿戴式设备通过所述摄像头对所述用户在所述视频捕捉区域中输入的手写操作进行捕捉以生成所述用户的手写操作轨迹；以及所述穿戴式设备对所述手写操作轨迹进行识别以生成对应的输入内容。

根据本发明实施例的穿戴式设备的输入方法，穿戴式设备通过根据用户指令启动的摄像头对用户在视频捕捉区域中输入的手写操作进行捕捉以生成用户的手写操作轨迹，并对手写操作轨迹进行识别以生成对应的输入内容，实现了用户通过穿戴式设备进行凭空写字/画图的输入方式，使用户在语音输入等不适用的场合下，通过穿戴式设备进行大规模、自然方便的文字输入，提升了用户体验。

为了实现上述目的，本发明第二方面实施例的穿戴式设备，包括：启动模块，用于根据用户的指令启动摄像头，其中，所述摄像头具有视频捕捉区域；捕捉模块，用于通过所述摄像头对所述用户在所述视频捕捉区域中输入的手写操作进行捕捉以生成所述用户的手写操作轨迹；以及生成模块，用于对所述手写操作轨迹进行识别以生成对应的输入内容。

根据本发明实施例的穿戴式设备，通过根据用户指令启动的摄像头对用户在视频捕捉区域中输入的手写操作进行捕捉以生成用户的手写操作轨迹，并对手写操作轨迹进行识别以生成对应的输入内容，实现了用户通过穿戴式设备进行凭空写字/画图的输入方式，使用户在语音输入等不适用的场合下，通过穿戴式设备进行大规模、自然方便的文字输入，提升了用户体验。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中，

图1是根据本发明一个实施例的穿戴式设备的输入方法的流程图;

图2是根据本发明一个实施例的穿戴式设备的结构示意图；以及

图3是根据本发明一个具体实施例的穿戴式设备的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。相反，本发明的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。

在本发明的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。此外，在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

下面参考附图描述根据本发明实施例的穿戴式设备的输入方法和穿戴式设备。

目前，穿戴式设备提供的交互方式不能给用户完善的使用体验，例如，用户在开会时回复邮件或者在公共环境中进行私人聊天时，语音输入在有外界噪音的情况下精确度很难达到让人满意的程度，此外穿戴式设备对语音输入的识别需要有大量的先前期训练和处理，除非是大量用户使用的语言，穿戴式设备开发商没有能力和必要对中小型语言进行开发，因此，如果不能解决输入文字/内容大量、不自然的问题，穿戴式设备使用的范围和程度必然会受到限制。如果通过利用物体检测、物体跟踪以及手写识别技术，在不需要键盘以及其他辅助输入识别的硬件设备的前提下，为穿戴式设备提供方便自然的手写输入，能够解决在例如语音不适用的场合下进行大规模、自然方便的文字输入。为此，本发明提出了一种穿戴式设备的输入方法，包括以下步骤：穿戴式设备根据用户的指令启动摄像头，其中，摄像头具有视频捕捉区域；穿戴式设备通过摄像头对用户在视频捕捉区域中输入的手写操作进行捕捉以生成用户的手写操作轨迹；以及穿戴式设备对手写操作轨迹进行识别以生成对应的输入内容。

图1是根据本发明一个实施例的穿戴式设备的输入方法的流程图。

如图1所示，穿戴式设备的输入方法包括：

S101，穿戴式设备根据用户的指令启动摄像头，其中，摄像头具有视频捕捉区域。

在本发明的一个实施例中，穿戴式设备可为3D眼镜。

在本发明的一个实施例中，穿戴式设备具有投射模块，投射模块在用户身前投射形成视频捕捉区域。可选地，视频捕捉区域可为穿戴式设备在设备界面中提供的一个固定区域。

具体地，穿戴式设备接收到用户的指令后，启动摄像头，并捕捉用户视线中的影像。更具体地，穿戴式设备启动摄像头后，用户可在视频捕捉区域中置入作为输入指示器（input marker）的一个或者多个物体，其中输入指示器可例如是手指、笔盖等物体。穿戴式设备通过用户在视频捕捉区域中，使用输入指示器进行不同的操作，对输入指示器进行检测。其中，检测方法可为现有不同的物体识别或物体检测算法，例如，如果输入指示器颜色和背景的差别较大，可以通过特征方法（SIFT(Scale-invariant feature transform、尺度不变特征转换)/SURF（Speeded Up Robust Features，加速稳健特征）和哈尔Haar特征等）对物体进行检测。穿戴式设备确认输入指示器检测成功后，进入手写输入模式。

下面详细介绍一下SIFT方法、SURF方法和哈尔Haar特征方法：

1、穿戴式设备可通过SIFT方法，通过对局部影像特征的描述与检测来辨识输入指示器。更具体地，SIFT方法是基于对物体上的一些局部外观的兴趣点进行检测，而与与物体影像的大小和旋转无关。SIFT方法对于光线、噪声、微视角改变的容忍度也相当高。因此，在母数庞大的特征数据库中，通过SIFT方法很容易辨识出物体，而且鲜有误认。

2、穿戴式设备可通过SURF方法对物体进行检测，由于SURF有效地利用了积分图像，因此SURF标准的版本比SIFT要快数倍，并且其在生成不同图像变换方面比SIFT更加稳健。

3、穿戴式设备可通过哈尔特征方法，使用检测窗口中指定位置的相邻矩形，计算每一个矩形的像素和并取其差值。然后用这些差值来对图像的子区域进行分类。哈尔特征最主要的优势是它的计算非常快速。使用一个称为积分图的结构，任意尺寸的哈尔特征可以在常数时间内进行计算。

应理解，上述三种特征检测方法均为现有技术，在此不再赘述。

S102，穿戴式设备通过摄像头对用户在视频捕捉区域中输入的手写操作进行捕捉以生成用户的手写操作轨迹。

具体地，用户可利用输入指示器在视频捕捉区域中进行手写操作，例如，在空中画一个大写的字母C、或者画一个心形等。穿戴式设备可利用物体跟踪算法对用户的手写操作进行捕捉，例如，CAMSHIFT（ContinuouslyAdaptive Mean-SHIFT，连续自适应的MeanShift）算法、光流场Optical Flow算法和卢卡斯-卡纳德LK算法等。与此同时，穿戴式设备可利用穿戴式设备中的传感器对手写操作轨迹进行记录，例如，穿戴式设备利用距离传感器记录手写操作轨迹相对于穿戴式设备的移动距离等。

下面详细介绍一下CAMSHIFT算法、光流场Optical Flow算法和卢卡斯-卡纳德LK算法：

1、CAMSHIFT算法是将图像的所有帧进行MeanShift运算，并将上一帧的结果作为下一帧MeanShift算法的初始值，如此迭代下去。CAMSHIFT算法主要是用在单张影像上，是利用MeanShift的方法，对影像串列进行分析。CAMSHIFT算法最主要的优点在于当图像的大小发生改变的时候，此算法可以自适应调整目标区域继续跟踪。

2、Optical Flow算法是在空间中的运动用运动场进行描述，而在一个图像平面上，物体运动往往是通过图像序列中不同图像灰度分布的不同体现的，从而空间中的运动场转移到图像上就表示为光流场。光流场反映了图像上每一点灰度的变化趋势，可看成是带有灰度的像素点在图像平面上运动而产生的瞬时速度场，也是一种对真实运动场的近似估计。

3、LK算法是一种广泛使用的光流估计的差分方法，该方法假设光流在像素点的邻域是一个常数，然后使用最小二乘法对邻域中的所有像素点求解基本的光流方程。通过结合几个邻近像素点的信息，LK算法通常能够消除光流方程里的多义性。而且，与逐点计算的方法相比，LK算法对图像噪声不敏感。

应理解，CAMSHIFT算法、Optical Flow算法和LK算法均为现有技术，在此不再赘述。

优选地，穿戴式设备在视频捕捉区域以外的可见视线范围内可提供重新输入、删除输入、输入大小写转换或者输入简繁体转换等常规的输入辅助功能提示，以使用户在手写操作过程中可以根据需求进行相应的操作。

S103，穿戴式设备对手写操作轨迹进行识别以生成对应的输入内容。

在本发明的一个实施例中，将输入内容显示在穿戴式设备的显示模块中，以供用户确认。

具体地，穿戴式设备捕捉和记录到手写操作轨迹后，可对捕捉和记录的手写操作轨迹进行处理。首先，穿戴式设备对传感器记录的手写操作轨迹进行转换，将三维的轨迹坐标转换为二维的轨迹坐标，然后穿戴式设备可利用例如贝塞尔曲线拟合等方法将三维轨迹坐标的原始标量点数据转换为锚点和斜率系数，然后穿戴式设备可将二维轨迹坐标数据发送至服务器或者穿戴式设备的手写识别模块，然后服务器或者穿戴式设备的手写识别模块根据识别算法对二维轨迹坐标进行识别，并返回识别的二维轨迹坐标对应的字符或者图像，并通过显示模块进行显示，以供用户进行确认。

优选地，穿戴式设备还可以对返回的字符进行预测，将预测的词汇通过显示模块显示给用，以供用户进行选择。

根据本发明实施例的移动终端的解锁方法，穿戴式设备通过根据用户指令启动的摄像头对用户在视频捕捉区域中输入的手写操作进行捕捉以生成用户的手写操作轨迹，并对手写操作轨迹进行识别以生成对应的输入内容，实现了用户通过穿戴式设备进行凭空写字/画图的输入方式，使用户在语音输入等不适用的场合下，通过穿戴式设备进行大规模、自然方便的文字输入，提升了用户体验。

为了实现上述实施例，本发明还提出一种穿戴式设备。

一种穿戴式设备，包括：启动模块，用于根据用户的指令启动摄像头，其中，摄像头具有视频捕捉区域；捕捉模块，用于通过摄像头对用户在视频捕捉区域中输入的手写操作进行捕捉以生成用户的手写操作轨迹；以及生成模块，用于对手写操作轨迹进行识别以生成对应的输入内容。

下面参考上述的应用程序的跨系统运行方法说明本发明实施例的应用程序的跨系统运行装置。

图2是根据本发明一个实施例的穿戴式设备的结构示意图。

如图2所示，穿戴式设备包括：启动模块100、捕捉模块200和生成模块300。

具体地，启动模块100用于根据用户的指令启动摄像头，其中，摄像头具有视频捕捉区域。更具体地，启动模块100接收到用户的指令后，启动摄像头，并捕捉用户视线中的影像。更具体地，启动模块100启动摄像头后，用户可在视频捕捉区域中置入作为输入指示器（input marker）的一个或者多个物体，其中输入指示器可例如是手指、笔盖等物体。启动模块100通过用户在视频捕捉区域中，使用输入指示器进行不同的操作，对输入指示器进行检测。其中，检测方法可为现有不同的物体识别或物体检测算法，例如，如果输入指示器颜色和背景的差别较大，可以通过特征方法（SIFT(Scale-invariant feature transform、尺度不变特征转换)/SURF（Speeded UpRobust Features，加速稳健特征）和哈尔Haar特征等）对物体进行检测。启动模块100确认输入指示器检测成功后，进入手写输入模式。

捕捉模块200用于通过摄像头对用户在视频捕捉区域中输入的手写操作进行捕捉以生成用户的手写操作轨迹。更具体地，用户可利用输入指示器在视频捕捉区域中进行手写操作，例如，在空中画一个大写的字母C、或者画一个心形等。捕捉模块200可利用物体跟踪算法对用户的手写操作进行捕捉，例如，CAMSHIFT（Continuously Adaptive Mean-SHIFT，连续自适应的MeanShift）算法、光流场Optical Flow算法和卢卡斯-卡纳德LK算法等。与此同时，捕捉模块200可利用穿戴式设备中的传感器对手写操作轨迹进行记录，例如，捕捉模块200利用距离传感器记录手写操作轨迹相对于穿戴式设备的移动距离等。

优选地，捕捉模块200在视频捕捉区域以外的可见视线范围内可提供重新输入、删除输入、输入大小写转换或者输入简繁体转换等常规的输入辅助功能提示，以使用户在手写操作过程中可以根据需求进行相应的操作。

生成模块300用于对手写操作轨迹进行识别以生成对应的输入内容。更具体地，捕捉模块200捕捉和记录到手写操作轨迹后，生成模块300可对捕捉和记录的手写操作轨迹进行处理。首先，生成模块300对传感器记录的手写操作轨迹进行转换，将三维的轨迹坐标转换为二维的轨迹坐标，然后生成模块300可利用例如贝塞尔曲线拟合等方法将三维轨迹坐标的原始标量点数据转换为锚点和斜率系数，然后生成模块300可将二维轨迹坐标数据发送至服务器或者穿戴式设备的手写识别模块，然后服务器或者穿戴式设备的手写识别模块根据识别算法对二维轨迹坐标进行识别，并返回识别的二维轨迹坐标对应的字符或者图像。

优选地，生成模块300还可以对返回的字符进行预测，将预测的词汇显示给用，以供用户进行选择。

根据本发明实施例的穿戴式设备，通过根据用户指令启动的摄像头对用户在视频捕捉区域中输入的手写操作进行捕捉以生成用户的手写操作轨迹，并对手写操作轨迹进行识别以生成对应的输入内容，实现了用户通过穿戴式设备进行凭空写字/画图的输入方式，使用户在语音输入等不适用的场合下，通过穿戴式设备进行大规模、自然方便的文字输入，提升了用户体验。

图3是根据本发明一个具体实施例的穿戴式设备的结构示意图。

如图3所示，穿戴式设备包括：启动模块100、捕捉模块200、生成模块300、投射模块400和显示模块500。

具体地，投射模块400用于在用户身前投射形成视频捕捉区域。可选地，视频捕捉区域可为穿戴式设备在设备界面中提供的一个固定区域。

显示模块500用于将输入内容显示在显示模块中，以供用户确认。更具体地，生成模块生成对应的字符或者图像后，可通过显示模块500进行显示，以供用户进行确认，并且显示模块500可将生成模块300对返回的字符进行预测得到的预测的词汇，通过显示模块500显示给用，以供用户进行选择。

根据本发明实施例的穿戴式设备，实现了用户通过穿戴式设备进行凭空写字/画图的输入方式，使用户在语音输入等不适用的场合下，通过穿戴式设备进行大规模、自然方便的文字输入，提升了用户体验。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (7)

1.一种穿戴式设备的输入方法，其特征在于，包括以下步骤：

穿戴式设备根据用户的指令启动摄像头，其中，所述摄像头具有视频捕捉区域；

所述穿戴式设备通过所述摄像头对所述用户在所述视频捕捉区域中输入的手写操作进行捕捉以生成所述用户的手写操作轨迹；以及

所述穿戴式设备对所述手写操作轨迹进行识别以生成对应的输入内容。

2.如权利要求1所述的方法，其特征在于，还包括：

所述穿戴式设备具有投射模块，所述投射模块在所述用户身前投射形成所述视频捕捉区域。

3.如权利要求1所述的方法，其特征在于，还包括：

将所述输入内容显示在所述穿戴式设备的显示模块中，以供所述用户确认。

4.如权利要求1-3所述的方法，其特征在于，所述穿戴式设备为3D眼镜。

5.一种穿戴式设备，其特征在于，包括：

启动模块，用于根据用户的指令启动摄像头，其中，所述摄像头具有视频捕捉区域；

捕捉模块，用于通过所述摄像头对所述用户在所述视频捕捉区域中输入的手写操作进行捕捉以生成所述用户的手写操作轨迹；以及

生成模块，用于对所述手写操作轨迹进行识别以生成对应的输入内容。

6.如权利要求5所述的设备，其特征在于，还包括：

投射模块，用于在所述用户身前投射形成所述视频捕捉区域。

7.如权利要求1所述的设备，其特征在于，还包括：

显示模块，用于将所述输入内容显示在显示模块中，以供所述用户确认。

Images