CN106933364A - 字符输入方法、字符输入设备以及可穿戴设备 - Google Patents

字符输入方法、字符输入设备以及可穿戴设备 Download PDF

Info

Publication number
CN106933364A
CN106933364A CN201710153958.8A CN201710153958A CN106933364A CN 106933364 A CN106933364 A CN 106933364A CN 201710153958 A CN201710153958 A CN 201710153958A CN 106933364 A CN106933364 A CN 106933364A
Authority
CN
China
Prior art keywords
input
character
control area
background image
characters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710153958.8A
Other languages
English (en)
Other versions
CN106933364B (zh
Inventor
李英杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201710153958.8A priority Critical patent/CN106933364B/zh
Publication of CN106933364A publication Critical patent/CN106933364A/zh
Priority to US15/783,618 priority patent/US10621766B2/en
Application granted granted Critical
Publication of CN106933364B publication Critical patent/CN106933364B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Input From Keyboards Or The Like (AREA)

Abstract

本发明涉及一种字符输入方法、一种字符输入设备以及一种可穿戴设备。字符输入方法包括：获取背景图像；将所述背景图像中的一部分确定为控制区域；将字符输入界面与所述背景图像叠加显示；以及使所述控制区域相对于所述字符输入界面移动，以选择所述字符输入界面中的特定字符。根据本发明，对于VR、AR这类使用鼠标键盘等不方便的设备上用于字符输入十分方便,并且精度也很高,更容易操作。

Description

字符输入方法、字符输入设备以及可穿戴设备
技术领域
本发明涉及人机交互技术领域，更具体地讲，本发明涉及一种字符输入方法、一种字符输入设备以及一种可穿戴设备。
背景技术
随着增强现实(AR)、虚拟现实(VR)等产业的发展，已经有很多的单眼AR，双眼AR和VR产品被广大用户使用，这些设备通常具有有限的几个按键，因此在涉及到输入用户名，密码，搜索信息等情况时，必须要输入一定的字符信息，就需要鼠标或者键盘这类外设进行辅助，而这样对于这类可穿戴产品，进行外设的连接会有一定的不方便之处。
发明内容
为了解决现有技术中存在的缺陷，本发明的各方面提供了一种字符输入方法、一种字符输入设备以及一种可穿戴设备。
根据本发明的一方面，一种字符输入方法，包括：
获取背景图像；
将所述背景图像中的一部分确定为控制区域；
将字符输入界面与所述背景图像叠加显示；以及
使所述控制区域相对于所述字符输入界面移动，以选择所述字符输入界面中的特定字符。
可选地，在所述控制区域与所述特定字符重叠的情况下，当接收到输入触发指令时，输入所述特定字符。
可选地，所述触发指令在满足以下条件中的至少一个时产生：
重叠时间达到预定阈值；
在预定时间内所述控制区域相对于所述特定字符的移动范围小于预定阈值；
接收到用户输入。
可选地，将所述背景图像中的一部分确定为控制区域包括：计算所述背景图像中各部分的局部平均亮度，并将平均亮度明显不同于其它部分的部分确定为所述控制区域。
可选地，所述控制区域为所述背景图像中平均亮度最低的部分。
可选地，利用摄像头来获取所述背景图像，将所述背景图像中的一部分确定为控制区域包括：所述控制区域为位于所述摄像头前方并被获取到所述背景图像中的特定物体。
可选地，所述字符输入方法还包括：
当接收到删除指令时，删除前一次输入的字符。
可选地，所述删除指令包括以下中的至少一个：
摄像头被遮挡；
摄像头按照预定的运动模式移动；
接收到用户输入。
根据本发明的另一方面，提供了一种字符输入设备，包括：
图像获取模块，配置为获取背景图像；
确定模块，配置为将所述背景图像中的一部分确定为控制区域；
显示模块，配置为将字符输入界面与所述背景图像叠加显示；以及
选择模块，配置为使所述控制区域相对于所述字符输入界面移动，以选择所述字符输入界面中的特定字符。
可选地，所述选择模块还配置为：
在所述控制区域与所述特定字符重叠的情况下，当接收到输入触发指令时，输入所述特定字符。
可选地，所述确定模块包括：
亮度计算子模块，配置为计算所述背景图像中各部分的局部平均亮度，并将平均亮度明显不同于其它部分的部分确定为所述控制区域。
可选地，所述图像获取模块包括摄像头，所述确定模块包括：
识别子模块，配置为识别位于所述摄像头前方的特定物体，所述控制区域为位于所述摄像头前方并被获取到所述背景图像中的所述特定物体。
可选地，所述字符输入设备还包括：
删除模块，配置为响应于删除指令，删除前一次输入的字符。
根据本发明的另一方面，提供了一种可穿戴设备，包括：
处理器；以及
存储器，存储有计算机可读指令，
其中，当存储器中存储的计算机可读指令被执行时，使得所述处理器执行根据本发明的字符输入方法。
根据本发明的另一方面，提供了一种可穿戴设备，包括：
根据本发明的字符输入设备。
利用本发明的字符输入方法、字符输入设备以及可穿戴设备，能够获取背景图像；将所述背景图像中的一部分确定为控制区域；将字符输入界面与所述背景图像叠加显示；以及使所述控制区域相对于所述字符输入界面移动，以选择所述字符输入界面中的特定字符。因此，对于VR、AR这类使用鼠标键盘等不方便的设备上用于字符输入十分方便,并且精度也很高,更容易操作。
附图说明
附图是用来提供对本发明的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明，但并不构成对本发明的限制。在附图中：
图1是根据本发明一个实施例的字符输入方法的流程图；
图2是根据本发明一个实施例的字符输入方法的人机交互界面的示意图；
图3是根据本发明一个实施例的字符输入方法的流程图；
图4是根据本发明一个实施例的字符输入设备的示意图；
图5是根据本发明一个实施例的字符输入设备的示意图；
图6是根据本发明一个实施例的字符输入设备的示意图；
图7是根据本发明一个实施例的可穿戴设备的示意图；以及
图8是根据本发明一个实施例的可穿戴设备的示意图。
具体实施方式
为使本领域的技术人员更好地理解本公开的技术方案，下面结合附图和具体实施方式对本公开所提供的字符输入方法、字符输入设备以及可穿戴设备作进一步详细描述。
图1是示出根据本发明一个实施例的字符输入方法的流程图。参照图1，根据本发明一个实施例的字符输入方法包括以下步骤：
步骤101，获取背景图像；步骤102，将所述背景图像中的一部分确定为控制区域；步骤103，将字符输入界面与所述背景图像叠加显示；以及步骤104，使所述控制区域相对于所述字符输入界面移动，以选择所述字符输入界面中的特定字符。
本发明的上述实施例可以被用于在AR、VR等设备中进行字符输入。具体地说，AR、VR等设备通常被佩戴于用户的头部，并且具有用于拍摄图像的摄像头或用于提供图像信号的信号源，以及用于向用户显示图像的显示装置，当用户的头部移动时，显示在显示装置上的图像能够随着用户的头部移动而相应地移动。
根据本发明的上述实施例，例如，用户可以利用摄像头获取图像，例如用户周围环境的图像。然后，对图像进行分析，以将图像中的一部分确定为控制区域。根据本实施例，可以对控制区域进行标记以方便用户操作，例如，可以在图像中利用彩色方框等来标记控制区域，然而本发明不限于此。
在本实施例中，可以将字符输入界面与摄像头获取的图像叠加显示。例如，将字符输入界面以一定的透明度显示在获取的图像上方。然而本发明不限于此，也可以将摄像头获取的图像和控制区域以一定的透明度显示在字符输入界面的上方。
此时，用户可以通过移动摄像头来使获取的图像相对于字符输入界面移动，从而使控制区域也相对于字符输入界面移动，从而利用控制区域来选择字符输入界面中的特定字符。
应该注意的是，虽然在本实施例中用101、102等来描述各个步骤，但本领域技术人员应当理解，上述标号并不意图限定各个步骤的先后顺序或优先级。相反，上述步骤可以以任何可能的顺序来执行。例如，可以先将字符输入界面与摄像头获取的图像叠加显示后再执行确定控制区域的步骤。
图2是根据本发明一个实施例的字符输入方法的人机交互界面的示意图。参照图2，在根据本发明一个实施例的字符输入方法中，其人机交互界面可以包括：图像背景210、控制区域220、候选字符输入区230、控制输入区240以及输入框250。
图像背景210可以利用由摄像头获取的图像形成。为了清楚起见，在本实施例中将其示出为纯白色图像，然而本领域技术人员应当理解，其可以代表利用摄像头获取的在用户周围的场景的图像。
在图像背景210中，利用方框标注的区域220被确定为控制区域220。控制区域220可以是图像背景中具有一定特征的区域。例如，控制区域220可以是具有与其它区域不同的亮度的区域，例如，可以将图像背景210中的最亮或最暗的区域确定为控制区域220。然而本发明不限于此，在满足用户可操作性的情况下，也可以将图像背景210中的其它区域确定为控制区域220。
在该人机交互界面中，字符输入界面被叠加显示在图像背景210上方。可以使字符输入界面具有一定的透明度，以避免遮挡用户通过摄像头获取的环境信息。字符输入界面包括候选字符输入区230、控制输入区240以及输入框250。
字符输入区230中包括至少一个用于提供用户输入的字符231。例如，字符231可以包括英文字母、中文笔画、数字、标点符号等任何可以通过该字符输入界面输入的字符。多个字符231可以按照九宫格、QWERTY键盘等排布方式进行排列，也可以围绕图像背景的中心按照圆形或方形等排布方式进行排列，本发明对此不做限制。
控制输入区240包括至少一个控制键241。控制键241可以包括例如确认键(Enter)。当用户按下确认键时，可以执行确认输入的内容、换行等操作。此外，控制键241还可以包括诸如翻页键、退格键、光标移动键、输入法切换键等功能按键，从而实现字符输入界面的各种功能。
输入框250可以位于图像背景210的一侧，例如在图像背景210的下方。然而本发明不限于此，根据需要，输入框250可以位于任何合适的位置。当用户通过选择字符231而输入一个特定字符时，该字符可以被显示在输入框250中，从而用户可以随时了解已经输入的内容，以进行确认或修改。当用户结束输入后，可以通过控制输入区240中的相应的控制键241来确认输入。例如，可以通过选择确认键(或完成键)等来将输入框250中的字符输入到系统(或当前运行的应用程序)中，并相应地退出字符输入界面，从而完成字符的输入。
以上通过一个示例描述了可用于本发明的字符输入方法的人机交互界面，然而本领域技术人员应当理解，上述示例中的具体信息，例如字符的种类、按键的形状/布局、按键类型等均为实现本发明的一个示例，而不意图以任何方式限制本发明。
图3是根据本发明一个实施例的字符输入方法的流程图。
参照图3，根据本实施例的字符输入方法包括：步骤301，获取背景图像；步骤302，将所述背景图像中的一部分确定为控制区域；步骤303，将字符输入界面与所述背景图像叠加显示；以及步骤304，使所述控制区域相对于所述字符输入界面移动，以选择所述字符输入界面中的特定字符。
上述步骤301-304与根据本发明前述实施例中的步骤101-104基本相同，因此可以参考前述实施例中的描述在这里将不再赘述。
根据本实施例，该字符输入方法还包括：步骤305，在所述控制区域与所述特定字符重叠的情况下，当接收到输入触发指令时，输入所述特定字符。
在本实施例中，用户通过移动头部使控制区域相对于字符输入界面移动，从而利用控制区域来选定其希望输入的字符。在这种情况下，当控制区域与特定的字符重叠的情况下，可以通过输入触发指令来输入当前与控制区域重叠的字符。
根据本发明，触发指令可以在满足预定条件的情况下自动产生，也可以在接收到用户输入时产生。例如，在本发明的一个实施例中，当控制区域与某一字符重叠时间达到预定阈值时，可以判断达到触发条件，从而可以发出触发指令来输入当前重叠的字符。例如，在图2的示例中，当控制区域220被随着背景图像210的移动而与字符“A”重叠时，如果重叠时间达到预定的阈值，例如3秒，则将字符“A”输入到输入框250中。根据设备精度以及客户的操作习惯，可以预设该阈值，或者也可以根据用户的实际需要来更改该阈值，本发明不限于当前的具体实施例。
相似地，如果在预定的时间内控制区域相对于当前与之重叠的字符的移动范围小于预定的阈值，可以判断达到触发条件，从而可以发出触发指令来输入当前重叠的字符。例如，在图2的实施例中，当控制区域220被随着背景图像210的移动而与字符“A”重叠时，如果在预定的时间内，例如3秒内，控制区域220相对于字符“A”的位置移动不超过3mm×3mm，则将字符则将字符“A”输入到输入框250中。根据设备精度以及客户的操作习惯，可以预设该阈值，或者也可以根据用户的实际需要来更改该阈值，本发明不限于当前的具体实施例。
以上通过示例给出了触发指令的两个特定示例，然而本发明不限于此。例如，可以通过其它条件来判断满足特定的触发条件，从而相应地发出触发指令来输入当前重叠的字符。或者也可以通过用户额外输入的指令作为触发指令来输入当前字符。例如，用户可以通过点击按钮(例如点击设备上的特定按钮)、发出声音指令(例如预设的语音或语调)、手势指令(例如在摄像头前做出特定的手势)、动作指令(例如在头戴设备的情况下进行点头等动作)等各种方式来作为触发指令。
在本实施例中，参见图3，所述方法还包括：步骤306，计算所述图像中各部分的局部平均亮度，并将平均亮度明显不同于其它部分的部分确定为所述控制区域。
根据本实施例，可以通过摄像头获取的画面的亮度来确定控制区域。具体地说，可以对图像中的各部分来计算器局部平均亮度，并且将平均亮度明显不同于其它部分的部分确定为控制区域。
更具体地说，根据本实施例，可以将背景图像的RGB值换算成亮度，然后在计算得出各个部分的局部平均亮度值。例如，在非限制性实施例中，可以针对7mm×7mm的区域进行局部亮度平均值计算，然而本发明不限于此，局部亮度计算的区域的大小可以根据实际需要进行调整。在一个实施例中，局部亮度计算的区域的大小可以与期望形成的控制区域的大小相同或相近。
在日常生活中，摄像头拍摄到的图像中通常会具有亮度不同的部分。例如，在阴影部分或凹陷部分的亮度通常低于光源(反射源)部分或凸出部分的亮度。因此，在本实施例中，通过计算图像中各部分的局部亮度，可以容易地找到图像中亮度与其它部分的亮度不同的部分。这样的部分通常具有较强的识别度，因此将这样的部分作为控制区域能够有助于用户容易地进行操作。
例如，可以选择图像中较暗的区域来作为控制区域。例如，可以将控制区域选择为图像中平均亮度最低的部分。这样的控制区域的好处在于，画面中亮度最低的部分比较容易找到，另外由于控制区域的亮度最低，当它与字符输入界面重叠显示时，也能够更有利于清楚地识别字符输入界面上显示的内容。
此外，即使在亮度非常高的环境中难以找到亮度低的部分，也可以由用户人为地在画面中制造低亮度部分。例如，用户可以将手空心握拳放在摄像头前，再此情况下，用户手指之间的部分会自然地形成较暗的画面，从而在画面中形成低亮度部分以作为控制区域。
以上仅以示例的方式提供了如何确定控制区域的示例，然而本领域技术人员应当理解，可以通过其他的方式在图像中确定控制区域。在一个示例中，可以将图像的特定位置确定为控制区域，例如，以初始图像的中心区域作为控制区域。此外，在上面的示例中，利用用户的手制造低亮度区域来形成控制区域，然而本发明不限于此。在另一个示例中，也可以通过识别位于摄像头前方并被获取到图像中的特定物体来确定控制区域。该特定物体可以是例如人手，或者特定的标志物、符号等。
根据本实施例，字符输入方法还可以包括：步骤307，当接收到删除指令时，删除前一次输入的字符。
在本实施例中，当用户发现输入错误或者误操作而输入用户不期望输入的字符时，用户可以通过删除指令来删除前一次输入的字符。在一个实施例中，删除指令可以通过对摄像头进行遮挡来产生。例如，当发现图像的亮度降低至特定的阈值时，则可以确定摄像头被用户遮挡，从而可以产生删除指令来删除前一次输入的字符。例如，当图像的亮度降低至70％，并且持续一定的时间，例如持续3秒，则判断摄像头被用户遮挡，从而发出删除指令，以删除前一次输入的字符。作为另一示例，也可以通过使摄像头按照预定的运动模式移动来产生删除指令。例如，在头戴可穿戴设备的情况下，用户可以通过摇头来产生删除指令。另外，用户也可以通过输入其它的删除指令来删除前一次输入的字符，本发明不限于以上示例。
应当注意的是，用户的点头和摇头输入可能与用户用于选择特定字符时摄像头的移动方式相似，然而可以利用以下的事实来进行区分。当用户选择字符时，为了使控制区域与特定的字符对准，通常会比较小心地移动摄像头，因此摄像头的移动通常是缓慢而线性的；而在用户点头或摇头时，摄像头会短时间快速地往返运动。因此，可以通过设定预定的阈值或模式来区分用于寻找字符而进行的摄像头移动以及用于控制的点头或摇头操作。
综上所述，在根据本发明的字符输入方法中，能够获取背景图像；将所述背景图像中的一部分确定为控制区域；将字符输入界面与所述背景图像叠加显示；以及使所述控制区域相对于所述字符输入界面移动，以选择所述字符输入界面中的特定字符。因此，对于VR、AR这类使用鼠标键盘等不方便的设备上用于字符输入十分方便,并且精度也很高,更容易操作。
图4是根据本发明一个实施例的字符输入设备的示意图。参照图4，根据本发明实施例的字符输入设备400包括：图像获取模块410，配置为获取背景图像；确定模块420，配置为将所述背景图像中的一部分确定为控制区域；显示模块430，配置为将字符输入界面与所述背景图像叠加显示；以及选择模块440，配置为使所述控制区域相对于所述字符输入界面移动，以选择所述字符输入界面中的特定字符。
在一个实施例中，选择模块440还可以配置为：在所述控制区域与所述特定字符重叠的情况下，当接收到输入触发指令时，输入所述特定字符。
在另一个实施例中，字符输入设备400还可以包括删除模块450，配置为响应于删除指令，删除前一次输入的字符。
图5是根据本发明一个实施例的字符输入设备的示意图。参照图5，根据本发明实施例的字符输入设备500包括：图像获取模块510，配置为获取背景图像；确定模块520，配置为将所述背景图像中的一部分确定为控制区域；显示模块530，配置为将字符输入界面与所述背景图像叠加显示；以及选择模块540，配置为使所述控制区域相对于所述字符输入界面移动，以选择所述字符输入界面中的特定字符。在本实施例中，确定模块520还可以包括亮度计算子模块521，配置为计算所述背景图像中各部分的局部平均亮度，并将平均亮度明显不同于其它部分的部分确定为所述控制区域。
图6是根据本发明一个实施例的字符输入设备的示意图。参照图6，根据本发明实施例的字符输入设备600包括：图像获取模块610，配置为获取背景图像；确定模块620，配置为将所述背景图像中的一部分确定为控制区域；显示模块630，配置为将字符输入界面与所述背景图像叠加显示；以及选择模块640，配置为使所述控制区域相对于所述字符输入界面移动，以选择所述字符输入界面中的特定字符。在本实施例中，图像获取模块610可以包括摄像头，确定模块620还可以包括识别子模块621，配置为识别位于所述摄像头前方的特定物体，所述控制区域为位于所述摄像头前方并被获取到所述背景图像中的所述特定物体。
根据本发明的字符输入设备的各个组成部分可以通过配置为执行根据本发明前述实施例的各个方法步骤的软件、硬件或软硬件结合的模块来实现。更具体的描述可以参见前述实施例，在这里不再赘述。
综上所述，在根据本发明的字符输入设备中，能够获取背景图像；将所述背景图像中的一部分确定为控制区域；将字符输入界面与所述背景图像叠加显示；以及使所述控制区域相对于所述字符输入界面移动，以选择所述字符输入界面中的特定字符。因此，对于VR、AR这类使用鼠标键盘等不方便的设备上用于字符输入十分方便,并且精度也很高,更容易操作。
图7是根据本发明一个实施例的可穿戴设备的示意图。参照图7，可穿戴设备700包括：处理器710；以及存储器720，存储有计算机可读指令。根据本实施例，当存储器中存储的计算机可读指令被执行时，使得所述处理器执行如前述实施例所述的字符输入方法。
图8是根据本发明一个实施例的可穿戴设备的示意图。参照图8，根据本发明的可穿戴设备800包括字符输入设备810，所述字符输入设备可以是根据本发明前述实施例的字符输入设备。
根据本发明的上述实施例，可穿戴设备可以是AR等具有摄像头的显示设备，例如单眼AR眼镜、双眼AR眼镜、AR智能设备等。另外，可穿戴设备也可以是VR设备，例如VR眼镜、VR显示设备等。应当注意的是，在本发明中，虽然可以利用摄像头获取当前背景图像，然而本发明并不限于此，背景图像也可以是由信号源提供的且能够随用户的头部动作而移动的图像。例如在VR游戏中，显示在VR设备上的图像会随着用户的头部动作而相应移动，这与利用摄像头拍摄的图像的相应移动方式相一致。因此这种模仿摄像头的移动而产生的图像也能够适用于本发明的字符输入方法和字符输入设备。
综上所述，在根据本发明的可穿戴设备中，能够获取背景图像；将所述背景图像中的一部分确定为控制区域；将字符输入界面与所述背景图像叠加显示；以及使所述控制区域相对于所述字符输入界面移动，以选择所述字符输入界面中的特定字符。因此，对于VR、AR这类使用鼠标键盘等不方便的设备上用于字符输入十分方便,并且精度也很高,更容易操作。
可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。

Claims (15)

1.一种字符输入方法，包括：
获取背景图像；
将所述背景图像中的一部分确定为控制区域；
将字符输入界面与所述背景图像叠加显示；以及
使所述控制区域相对于所述字符输入界面移动，以选择所述字符输入界面中的特定字符。
2.根据权利要求1所述的字符输入方法，其中，在所述控制区域与所述特定字符重叠的情况下，当接收到输入触发指令时，输入所述特定字符。
3.根据权利要求2所述的字符输入方法，其中，所述触发指令在满足以下条件中的至少一个时产生：
重叠时间达到预定阈值；
在预定时间内所述控制区域相对于所述特定字符的移动范围小于预定阈值；
接收到用户输入。
4.根据权利要求1所述的字符输入方法，将所述背景图像中的一部分确定为控制区域包括：计算所述背景图像中各部分的局部平均亮度，并将平均亮度明显不同于其它部分的部分确定为所述控制区域。
5.根据权利要求4所述的字符输入方法，其中，所述控制区域为所述背景图像中平均亮度最低的部分。
6.根据权利要求1所述的字符输入方法，其中，利用摄像头来获取所述背景图像，将所述背景图像中的一部分确定为控制区域包括：所述控制区域为位于所述摄像头前方并被获取到所述背景图像中的特定物体。
7.根据权利要求1或6所述的字符输入方法，还包括：
当接收到删除指令时，删除前一次输入的字符。
8.根据权利要求7所述的字符输入方法，其中，所述删除指令在满足以下条件中的至少一个时产生：
摄像头被遮挡；
摄像头按照预定的运动模式移动；
接收到用户输入。
9.一种字符输入设备，包括：
图像获取模块，配置为获取背景图像；
确定模块，配置为将所述背景图像中的一部分确定为控制区域；
显示模块，配置为将字符输入界面与所述背景图像叠加显示；以及
选择模块，配置为使所述控制区域相对于所述字符输入界面移动，以选择所述字符输入界面中的特定字符。
10.根据权利要求9所述的字符输入设备，其中，所述选择模块还配置为：
在所述控制区域与所述特定字符重叠的情况下，当接收到输入触发指令时，输入所述特定字符。
11.根据权利要求9所述的字符输入设备，所述确定模块包括：
亮度计算子模块，配置为计算所述背景图像中各部分的局部平均亮度，并将平均亮度明显不同于其它部分的部分确定为所述控制区域。
12.根据权利要求9所述的字符输入设备，所述图像获取模块包括摄像头，所述确定模块包括：
识别子模块，配置为识别位于所述摄像头前方的特定物体，所述控制区域为位于所述摄像头前方并被获取到所述背景图像中的所述特定物体。
13.根据权利要求9所述的字符输入设备，还包括：
删除模块，配置为响应于删除指令，删除前一次输入的字符。
14.一种可穿戴设备，包括：
处理器；以及
存储器，存储有计算机可读指令，
其中，当存储器中存储的计算机可读指令被执行时，使得所述处理器执行如权利要求1-8中任一项所述的字符输入方法。
15.一种可穿戴设备，包括：
根据权利要求9-13中任一项所述的字符输入设备。
CN201710153958.8A 2017-03-15 2017-03-15 字符输入方法、字符输入设备以及可穿戴设备 Active CN106933364B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710153958.8A CN106933364B (zh) 2017-03-15 2017-03-15 字符输入方法、字符输入设备以及可穿戴设备
US15/783,618 US10621766B2 (en) 2017-03-15 2017-10-13 Character input method and device using a background image portion as a control region

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710153958.8A CN106933364B (zh) 2017-03-15 2017-03-15 字符输入方法、字符输入设备以及可穿戴设备

Publications (2)

Publication Number Publication Date
CN106933364A true CN106933364A (zh) 2017-07-07
CN106933364B CN106933364B (zh) 2019-09-27

Family

ID=59433761

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710153958.8A Active CN106933364B (zh) 2017-03-15 2017-03-15 字符输入方法、字符输入设备以及可穿戴设备

Country Status (2)

Country Link
US (1) US10621766B2 (zh)
CN (1) CN106933364B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111986294A (zh) * 2020-08-21 2020-11-24 北京浦泰锐迅技术有限公司 在电子观景望远镜屏幕上叠加内容的方法和系统
CN112558785A (zh) * 2020-12-24 2021-03-26 上海二三四五网络科技有限公司 一种调整文字显示颜色的控制方法及装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10684690B2 (en) 2018-01-08 2020-06-16 Facebook Technologies, Llc Methods, devices, and systems for creating localized haptic stimulations on a user
CN111868666A (zh) 2018-03-23 2020-10-30 脸谱科技有限责任公司 用于确定虚拟现实和/或增强现实设备的用户的接触的方法、设备和系统
JP2020149269A (ja) * 2019-03-13 2020-09-17 オムロン株式会社 文字入力装置、文字入力方法、及び、文字入力プログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104076512A (zh) * 2013-03-25 2014-10-01 精工爱普生株式会社 头部佩戴型显示装置以及头部佩戴型显示装置的控制方法
US9292082B1 (en) * 2011-11-08 2016-03-22 Google Inc. Text-entry for a computing device
CN105955453A (zh) * 2016-04-15 2016-09-21 北京小鸟看看科技有限公司 一种3d沉浸式环境下的信息输入方法
CN108121438A (zh) * 2016-11-30 2018-06-05 成都理想境界科技有限公司 基于头戴式显示设备的虚拟键盘输入方法及装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4433948B2 (ja) * 2004-09-02 2010-03-17 株式会社セガ 背景画像取得プログラム、ビデオゲーム装置、背景画像取得方法、および、プログラムを記録したコンピュータ読み取り可能な記録媒体
US8456491B2 (en) * 2009-08-14 2013-06-04 Sony Corporation System to highlight differences in thumbnail images, mobile phone including system, and method
CA2789827C (en) * 2012-01-19 2017-06-13 Research In Motion Limited Virtual keyboard providing an indication of received input
US20130326428A1 (en) * 2012-05-30 2013-12-05 Huawei Technologies Co., Ltd. Text input method and apparatus
US10152495B2 (en) * 2013-08-19 2018-12-11 Qualcomm Incorporated Visual search in real world using optical see-through head mounted display with augmented reality and user interaction tracking
US9898851B2 (en) * 2015-06-24 2018-02-20 Eyespage Inc. Icon animation based on detected activity
CN105094320A (zh) 2015-06-30 2015-11-25 百度在线网络技术（北京）有限公司 一种用于对输入法界面进行操作的方法和装置
JP5981006B1 (ja) * 2015-09-14 2016-08-31 株式会社コロプラ 視線誘導のためのコンピュータ・プログラム
US9823477B1 (en) * 2016-05-02 2017-11-21 Futurewei Technologies, Inc. Head mounted display content capture and sharing

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9292082B1 (en) * 2011-11-08 2016-03-22 Google Inc. Text-entry for a computing device
CN104076512A (zh) * 2013-03-25 2014-10-01 精工爱普生株式会社 头部佩戴型显示装置以及头部佩戴型显示装置的控制方法
CN105955453A (zh) * 2016-04-15 2016-09-21 北京小鸟看看科技有限公司 一种3d沉浸式环境下的信息输入方法
CN108121438A (zh) * 2016-11-30 2018-06-05 成都理想境界科技有限公司 基于头戴式显示设备的虚拟键盘输入方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JABEEN FARZANA 等: "针对可穿戴设备的虚拟鼠标", 《中国知网》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111986294A (zh) * 2020-08-21 2020-11-24 北京浦泰锐迅技术有限公司 在电子观景望远镜屏幕上叠加内容的方法和系统
CN112558785A (zh) * 2020-12-24 2021-03-26 上海二三四五网络科技有限公司 一种调整文字显示颜色的控制方法及装置

Also Published As

Publication number Publication date
US20180268585A1 (en) 2018-09-20
US10621766B2 (en) 2020-04-14
CN106933364B (zh) 2019-09-27

Similar Documents

Publication Publication Date Title
CN106933364B (zh) 字符输入方法、字符输入设备以及可穿戴设备
RU2439653C2 (ru) Виртуальный контроллер для визуальных отображений
US20100177035A1 (en) Mobile Computing Device With A Virtual Keyboard
US20090153468A1 (en) Virtual Interface System
US10372229B2 (en) Information processing system, information processing apparatus, control method, and program
US20190004694A1 (en) Electronic systems and methods for text input in a virtual environment
JPH0844490A (ja) インターフェイス装置
US20150241984A1 (en) Methods and Devices for Natural Human Interfaces and for Man Machine and Machine to Machine Activities
JP2004078977A (ja) インターフェイス装置
CN111766937A (zh) 虚拟内容的交互方法、装置、终端设备及存储介质
CN104076930B (zh) 盲操作控制方法、装置和系统
CN111766936A (zh) 虚拟内容的控制方法、装置、终端设备及存储介质
US20230236673A1 (en) Non-standard keyboard input system
US20150277728A1 (en) Method and system for automatically selecting parameters of interface objects via input devices
US11049306B2 (en) Display apparatus and method for generating and rendering composite images
CN116954387A (zh) 一种终端键盘输入交互的方法、装置、终端及介质
WO2022246334A1 (en) Text input method for augmented reality devices
WO2021208965A1 (zh) 文本输入方法、移动设备、头戴式显示设备以及存储介质
JP6789377B2 (ja) 画像表示システム
CN112416121A (zh) 基于物体和手势感应的智能交互方法、装置及存储介质
KR101998786B1 (ko) 가상공간을 위한 비접촉식 손가락 입력 장치 및 방법
CN111007942A (zh) 一种可穿戴设备及其输入方法
JP2021009552A (ja) 情報処理装置、情報処理方法およびプログラム
JP6169462B2 (ja) 情報処理装置及び情報処理方法
KR101654710B1 (ko) 손동작 기반 문자 입력 장치 및 이를 이용한 문자 입력 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant