CN111580663A - 一种信息输入方法、系统、电子设备及存储介质 - Google Patents
一种信息输入方法、系统、电子设备及存储介质 Download PDFInfo
- Publication number
- CN111580663A CN111580663A CN202010392079.2A CN202010392079A CN111580663A CN 111580663 A CN111580663 A CN 111580663A CN 202010392079 A CN202010392079 A CN 202010392079A CN 111580663 A CN111580663 A CN 111580663A
- Authority
- CN
- China
- Prior art keywords
- click event
- key position
- information
- intelligent wearable
- event
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
- G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
- G06F3/0233—Character input methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
- G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
- G06F3/0233—Character input methods
- G06F3/0236—Character input methods using selection techniques to select from displayed items
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请公开了一种信息输入方法，应用于与智能穿戴设备连接的电子设备，包括：当检测到所述智能穿戴设备产生点击事件时，记录所述智能穿戴设备在所述点击事件的产生时刻采集的角速度数据和重力加速度数据；根据所述角速度数据和所述重力加速度数据确定所述智能穿戴设备在所述点击事件的产生时刻的设备姿态信息；根据所述设备姿态信息确定所述点击事件在目标输入法下对应的按键位置，以便根据所述按键位置确定输入的信息内容。本申请能够在无需视觉参与的情况下实现高效率的信息输入。本申请还公开了一种信息输入系统、一种电子设备及一种存储介质，具有以上有益效果。
Description
技术领域
本申请涉及计算机技术领域，特别涉及一种信息输入方法、系统、一种电子设备及一种存储介质。
背景技术
日常生活中电子设备无处不在，用户通过在电子设备上输入信息并接收电子设备反馈的信息完成人机交互。目前，用户主要通过物理键盘在电子设备上输入信息。但是信息输入方式必须基于用户的视觉功能实现，即需要用户观察物理键盘的键位分布，当视力有障碍的人或不便于观察人机交互界面的用户使用电子设备时，无法实现信息输入。
因此，如何在无需视觉参与的情况下实现高效率的信息输入是本领域技术人员目前需要解决的技术问题。
发明内容
本申请的目的是提供一种信息输入方法、系统、一种电子设备及一种存储介质，能够在无需视觉参与的情况下实现高效率的信息输入。
为解决上述技术问题，本申请提供一种信息输入方法，应用于与智能穿戴设备连接的电子设备，该信息输入方法包括：
当检测到所述智能穿戴设备产生点击事件时，记录所述智能穿戴设备在所述点击事件的产生时刻采集的角速度数据和重力加速度数据；
根据所述角速度数据和所述重力加速度数据确定所述智能穿戴设备在所述点击事件的产生时刻的设备姿态信息；其中，所述设备姿态信息包括俯仰角和偏航角；
根据所述设备姿态信息确定所述点击事件在目标输入法下对应的按键位置，以便根据所述按键位置确定输入的信息内容。
可选的，在根据所述设备姿态信息确定所述点击事件在目标输入法下对应的按键位置之后，还包括：
根据所述按键位置和所述点击事件的产生时刻更新按键位置序列；其中，所述按键位置序列包括一个信息输入时间段内所有点击事件的按键位置和按键顺序，所述信息输入时间段为相邻两次接收第一目标指令和/或第二目标指令的时间点之间的时间段，所述第一目标指令包括选词模式触发指令或删词指令，所述第二目标指令包括所述选词模式触发指令或所述删词指令；
判断是否接收到所述选词模式触发指令；
若是，则生成所述按键位置序列对应的候选文本内容；
获取所述智能穿戴设备传输的选词指令，并根据所述选词指令从所述候选文本内容中选择目标文本内容。
可选的，生成所述按键位置序列对应的候选文本内容包括：
将所述按键位置序列与字典中的预设文本内容的基准按键位置序列进行相似度比对；
将相似度大于预设值的基准按键位置序列对应的预设文本内容作为所述按键位置序列对应的候选文本内容。
可选的，所述判断是否接收到所述选词模式触发指令，包括：
当检测到所述智能穿戴设备在所述点击事件的产生时刻之后产生新点击事件时，判断所述新点击事件对应的产生时刻后的预设时长内是否检测到抬起事件或滑动事件；
若在所述预设时长内未检测到所述抬起事件和所述滑动事件时，则判定接收到所述选词模式触发指令。
可选的，获取所述智能穿戴设备传输的选词指令，并根据所述选词指令从所述候选文本内容中选择目标文本内容，包括：
在判定接收到所述选词模式触发指令之后，根据所述智能穿戴设备产生的滑动事件对应的滑动方向生成所述文本切换指令，并根据所述文本切换指令切换目标指针指向的候选文本内容；
判断在判定接收到所述选词模式触发指令之后所述智能穿戴设备是否产生抬起事件；
若是，则将所述目标指针当前指向的候选文本内容设置为所述目标文本内容。
可选的，还包括：
若在所述预设时长内检测到所述抬起事件且未检测到所述滑动事件时，则确定所述新点击事件对应的按键位置并更新所述按键位置序列；
若在所述预设时长内检测到所述滑动事件和所述抬起事件时，则判定接收到所述删词指令。
可选的，还包括：
在显示设备上显示所有所述候选文本内容和所述目标指针；
当接收到文本切换指令时，在所述显示设备上更新所述目标指针与当前指向的候选文本内容的对应关系，并播报所述目标指针当前指向的候选文本内容对应的音频信息。
本申请还提供了一种电子设备，包括：
数据记录模块，用于当检测到所述智能穿戴设备产生点击事件时，记录所述智能穿戴设备在所述点击事件的产生时刻采集的角速度数据和重力加速度数据；
设备姿态确定信息，用于根据所述角速度数据和所述重力加速度数据确定所述智能穿戴设备在所述点击事件的产生时刻的设备姿态信息；其中，所述设备姿态信息包括俯仰角和偏航角；
信息确定模块，用于根据所述设备姿态信息确定所述点击事件在目标输入法下对应的按键位置，以便根据所述按键位置确定输入的信息内容。
本申请还提供了一种信息输入系统，包括：
智能穿戴设备，用于采集佩戴部位的角速度数据和重力加速度数据，并将所述角速度数据和重力加速度数据传输至电子设备；
所述电子设备，用于当检测到所述智能穿戴设备产生点击事件时，记录所述智能穿戴设备在所述点击事件的产生时刻采集的角速度数据和重力加速度数据；还用于根据所述角速度数据和所述重力加速度数据确定所述智能穿戴设备在所述点击事件的产生时刻的设备姿态信息；其中，所述设备姿态信息包括俯仰角和偏航角；还用于根据所述设备姿态信息确定所述点击事件在目标输入法下对应的按键位置，以便根据所述按键位置确定输入的信息内容。
本申请还提供了一种存储介质，其上存储有计算机程序，所述计算机程序执行时实现上述信息输入方法执行的步骤。
本申请提供了一种信息输入方法，应用于与智能穿戴设备连接的电子设备，该信息输入方法包括当检测到所述智能穿戴设备产生点击事件时，记录所述智能穿戴设备在所述点击事件的产生时刻采集的角速度数据和重力加速度数据；根据所述角速度数据和所述重力加速度数据确定所述智能穿戴设备在所述点击事件的产生时刻的设备姿态信息；其中，所述设备姿态信息包括俯仰角和偏航角；根据所述设备姿态信息确定所述点击事件在目标输入法下对应的按键位置，以便根据所述按键位置确定输入的信息内容。
本申请在检测到智能穿戴设备产生点击事件之后，记录点击事件产生时刻智能穿戴设备采集的角速度数据和重力加速度数据，并结合角速度数据和重力加速度数据确定智能穿戴设备的设备姿态信息，设备姿态信息中包括俯仰角和偏航角。设备姿态信息为用于描述智能穿戴设备的物体空间姿态的信息，设备姿态信息即智能穿戴设备的佩戴部位的姿态信息，由于佩戴部位在物理平面上点击不同位置时可以对应不同的设备姿态信息，进而可以根据设备姿态信息确定该点击事件在目标输入法下的按键位置，得到相应的信息输入内容。上述过程无需用户基于视觉观察键位分布，用户可以根据对于目标输入法的键位布局的记忆进行盲打，电子设备可以根据设备姿态信息确定用户具体点击的内容，可见本申请能够在无需视觉参与的情况下实现高效率的信息输入。本申请同时还提供了一种信息输入系统、电子设备和一种存储介质，具有上述有益效果，在此不再赘述。
附图说明
为了更清楚地说明本申请实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例所提供的一种信息输入方法的流程图；
图2为本申请实施例所提供的一种设备姿态信息与键位的对应关系示意图；
图3为本申请实施例所提供的一种文本内容的输入方法的流程图；
图4为本申请实施例所提供的视觉反馈效果示意图；
图5为本申请实施例所提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
下面请参见图1，图1为本申请实施例所提供的一种信息输入方法的流程图。
具体步骤可以包括：
S101：当检测到所述智能穿戴设备产生点击事件时，记录所述智能穿戴设备在所述点击事件的产生时刻采集的角速度数据和重力加速度数据；
其中，本实施例可以应用于与智能穿戴设备连接的电子设备，智能穿戴设备可以为智能指环、智能指套或智能手套，电子设备可以为手机、平板电脑或个人计算机等。在本实施例中智能穿戴设备与电子设备的连接方式可以为无线连接(如蓝牙连接或网络连接)，也可以为有线连接(如数据线连接)。可以理解的是，智能穿戴设备中设置有用于检测角速度和加速度的传感器，例如智能穿戴设备中可以设置有IMU(Inertial measurement unit，惯性测量单元)，IMU能够以100～4000赫兹的频率向电子设备汇报自身的加速度和角速度，经过数据滤波以后，还能获得重力方向。当智能穿戴设备为智能指环时，智能指环的佩戴部位可以为用户手指的第一指节、第二指节或第三指节。当佩戴有智能指环的手指运动时，智能指环中的IMU传感器能够采集手指的角速度数据和重力加速度数据，智能指环中的数据传输装置可以将实时采集到的角速度数据和重力加速度数据传输至电子设备。
在本步骤之前可以存在电子设备持续监测智能穿戴设备采集的角速度数据和重力加速度数据的操作，基于角速度数据和重力加速度数据判断智能穿戴设备是否产生点击事件。本实施例中所提到的点击事件指：佩戴有智能穿戴设备的手指点击任意物体的表面这一动作。可以理解的是，本实施例中智能穿戴设备在所述点击事件的产生时刻采集的角速度数据和重力加速度数据，为用于判断产生点击事件的角速度数据和重力加速度数据。例如，在第3秒时智能穿戴设备采集角速度数据a和重力加速度数据b，若根据角速度数据a和重力加速度数据b判定检测到点击事件，则继续利用角速度数据a和重力加速度数据b执行S102和S103的相关操作。若采用连续多帧数据判定点击事件时，本实施例可以选择最后一帧的角速度数据和重力加速度数据作为点击事件的产生时刻采集的角速度数据和重力加速度数据。本步骤中所记录的角速度数据和重力加速度数据为用于描述智能穿戴设备产生点击事件时的运动数据。
S102：根据所述角速度数据和所述重力加速度数据确定所述智能穿戴设备在所述点击事件的产生时刻的设备姿态信息；
其中，本步骤可以对所述重力加速度数据执行分离操作得到三轴重力数据和三轴加速度数据，进而得到9维的手势特征数据：三轴加速度数据、三轴角速度数据和三轴重力数据，根据9维的手势特征数据可以确定点击事件产生时刻的设备姿态信息。设备姿态信息中可以包括俯仰角和偏航角。
S103：根据所述设备姿态信息确定所述点击事件在目标输入法下对应的按键位置，以便根据所述按键位置确定输入的信息内容。
其中，佩戴有智能穿戴设备的手指在点击物体表面的不同位置时可以存在相应的设备姿态信息，特征的输入法可以存在与之对应的键位分布，本实施例可以预先设置目标输入法下设备姿态信息与键位的对应关系，根据该对应关系可以确定产生该点击事件时智能穿戴设备佩戴部位的按键位置，进而确定案件位置对应的信息内容。请参见图2，图2为本申请实施例所提供的一种设备姿态信息与键位的对应关系示意图。如图2所示，按键Q、按键Z、按键M和按键P均有其对应的俯仰角pitch和偏航角yaw。图2仅作为说明性的示例，本实施例还可以设置有其他按键对应的俯仰角pitch和偏航角yaw。
本实施例在检测到智能穿戴设备产生点击事件之后，记录点击事件产生时刻智能穿戴设备采集的角速度数据和重力加速度数据，并结合角速度数据和重力加速度数据确定智能穿戴设备的设备姿态信息，设备姿态信息中包括俯仰角和偏航角。设备姿态信息为用于描述智能穿戴设备的物体空间姿态的信息，设备姿态信息即智能穿戴设备的佩戴部位的姿态信息，由于佩戴部位在物理平面上点击不同位置时可以对应不同的设备姿态信息，进而可以根据设备姿态信息确定该点击事件在目标输入法下的按键位置，得到相应的信息输入内容。上述过程无需用户基于视觉观察键位分布，用户可以根据对于目标输入法的键位布局的记忆进行盲打，电子设备可以根据设备姿态信息确定用户具体点击的内容，可见本实施例能够在无需视觉参与的情况下实现高效率的信息输入。
图1对应的实施例中描述了一次点击事件对应的信息输入方法，在信息输入的过程中完成一个字或词组的输入需要伴随有多个点击事件的产生，请参见图3，图3为本申请实施例所提供的一种文本内容的输入方法的流程图，本实施例对于多个点击事件对应的文本内容输入的方式进行了介绍，可以将本实施例与图1对应的实施例相结合得到更为优选的实施方式，本实施例具体步骤可以包括：
S201：在根据所述设备姿态信息确定所述点击事件在目标输入法下对应的按键位置之后，根据所述按键位置和所述点击事件的产生时刻更新按键位置序列；
其中，本实施例中设置有用于记录多个点击事件的按键位置的按键位置序列，例如当用户想要输入“open”这个单词时，需要先后产生四个点击事件，当产生第三个点击事件时，按键位置序列已经记录有用户点击“o”和点击“p”的按键位置和按键顺序，产生第三个点击事件后利用图1对应的实施例确定第三个点击事件的按键位置并将第三个点击事件的按键位置和按键顺序更新至按键位置序列。
可以理解的是，用户在输入文本内容的过程中可以存在多个信息输入时间段，一个信息输入时间段为相邻两次接收第一目标指令和/或第二目标指令的时间点之间的时间段，所述第一目标指令包括选词模式触发指令或删词指令，所述第二目标指令包括所述选词模式触发指令或所述删词指令。即用户在进行文本输入的操作可以包括以下过程：(1)清空按键位置序列；(2)检测点击事件；(3)确定点击事件对应的按键位置；(4)将每一点击事件的按键位置和按键顺序添加至按键位置序列；(5)接收选词模式触发指令；(6)根据按键位置序列中保存的按键位置和按键顺序生成候选文本内容；(7)接收用户的选词指令，将选词指令对应的候选文本内容添加至文本输入光标对应的位置；(8)清空按键位置序列，以便根据新接收到的点击事件在按键位置序列内添加按键位置和按键顺序。具体的，在文本输入过程中可以接受多个选词模式触发指令和删词指令，任意两个相邻的选词模式触发指令接收时间之间的时间段为信息输入时间段，任意两个相邻的删词指令接收时间之间的时间段为信息输入时间段，任意两个相邻的删词指令和选词模式触发指令接收时间之间的时间段为信息输入时间段。当接收到选词模式触发指令时，可以将电子设备设置为选词模式并停止更新按键位置序列，根据按键位置序列当前记录的按键位置和按键顺序生成候选文本内容。当接收到删词指令时，可以判断按键位置序列中是否存在按键位置和按键顺序；若是，则删除按键位置序列中是否存在按键位置和按键顺序；若否，则删除已经选择的目标文本内容。
S202：判断是否接收到所述选词模式触发指令；若是，则进入S203；若否，则延时预设时长并进入S202；
其中，本实施例可以将用户长按预设时长作为判断是否接收到选词模式触发指令的评判标准。具体的，当检测到所述智能穿戴设备在所述点击事件的产生时刻之后产生新点击事件时，判断所述新点击事件对应的产生时刻后的预设时长内是否检测到抬起事件或滑动事件；若在所述预设时长内未检测到所述抬起事件和所述滑动事件时，则判定接收到所述选词模式触发指令。进一步的，若在所述预设时长内检测到所述抬起事件且未检测到所述滑动事件时，则确定所述新点击事件对应的按键位置并更新所述按键位置序列；若在所述预设时长内检测到所述滑动事件和所述抬起事件时，则判定接收到所述删词指令。
S203：生成所述按键位置序列对应的候选文本内容；
具体的，生成所述按键位置序列对应的候选文本内容的过程可以包括：将所述按键位置序列与字典中的预设文本内容的基准按键位置序列进行相似度比对；将相似度大于预设值的基准按键位置序列对应的预设文本内容作为所述按键位置序列对应的候选文本内容。
S204：获取所述智能穿戴设备传输的选词指令，并根据所述选词指令从所述候选文本内容中选择目标文本内容。
其中，在判定接收到所述选词模式触发指令之后，根据所述智能穿戴设备产生的滑动事件对应的滑动方向生成所述文本切换指令，并根据所述文本切换指令切换目标指针指向的候选文本内容；判断在判定接收到所述选词模式触发指令之后所述智能穿戴设备是否产生抬起事件；若是，则将所述目标指针当前指向的候选文本内容设置为所述目标文本内容。作为一种可行的实施方式，本实施例还可以在显示设备上显示所有所述候选文本内容和所述目标指针；当接收到文本切换指令时，在所述显示设备上更新所述目标指针与当前指向的候选文本内容的对应关系，并播报所述目标指针当前指向的候选文本内容对应的音频信息。
下面通过在实际应用中的基于运动传感器指环的文本输入法说明上述实施例描述的流程。
本实施例可以使用设置有运动传感器(IMU)的智能指环实现任意表面上的文本输入。用户可以将智能指环戴在食指的第二关节上，将手放在任意的表面上(比如一张普通桌子)，用户只需想象桌面上有一个QWERTY键盘，然后开始打字就可以了，本实施例可以基于智能识别算法根据用户打字过程中智能戒指的设备姿态信息确定用户需要输入的内容。
用户戴上智能指环以后，将手腕轻靠在桌子上，想象在食指能触及的范围内有一个虚拟的QWERTY键盘，然后根据按键的大概位置点击桌面进行输入即可。本实施例可以识别用户点击桌面的点击事件，然后利用产生点击事件时智能指环的角度来预测用户想要输入的单词。在输入过程中，用户可以借助其他显示设备(如增强现实眼镜和大屏幕)观察到如图4所示的视觉反馈效果示意图，视觉反馈效果示意图中可以包含QWERTY键盘布局和五个输入法的候选词。
在具体使用过程中，用户可以按照想象中虚拟键盘的布局，依次点击自己想要输入的单词的各个字母。用户通过长按200毫秒来触发选词模式，此时一个光标会出现在选词区域的中间，在选词模式下用户通过左右转动手腕移动光标，当用户抬起手指，此时输入法就会选择光标所在的候选词上屏。用户还可以通过左滑手势来删除错选的单词。
当然，本实施例可以基于机器学习模型实现对于点击事件的识别，下面通过一个实际应用中的例子说明基于机器学习模型识别点击事件的实现方案：
本实施例中选择智能指环作为佩戴于用户手指的智能穿戴设备，智能指环中设置有惯性测量单元(IMU)，惯性测量单元采集原始加速度(即重力加速度)和角速度数据，采样频率为1000赫兹，在采集元是加速度角速度数据之后，本实施例可以使用Madgwick滤波器将原始加速度分解成线性加速度(即三轴加速度数据)和重力方向(即三轴中立数据)。传感器采集到的运动数据通过蓝牙模块无线传输到外置的计算设备中(比如手机、AR头盔等)，计算设备通过计算可以识别用户的点击事件和抬起事件。
在训练机器学习模型的过程中，可以利用超低延迟的触摸板检测点击事件和抬起事件。在实际应用中，佩戴智能指环的手指可以点击任何物体的表面，此处利用触摸板检测点击事件和抬起事件旨在分析运动数据与点击事件和抬起事件的对应关系。
本实施例利用触摸板收集用户点击数据的过程如下：
1、获取敲击(tapping)数据集：邀请12名被试者，每名被试者在低延迟触摸板上敲击500次，在敲击过程中，被试应注意数据的多样性，采取不同的姿态、力度进行敲击，以增强数据集的泛化能力。采集指环的线性加速度、角速度和重力方向，以及触摸板的点击事件真值和抬起事件真值。点击事件真值为触摸板检测到点击事件的时间点，抬起事件真值为触摸板检测到抬起事件的时间点。
2、获取长按(long press)数据集：每名被试者在触摸板上长按500次，被试应注意数据的多样性，可以在长按过程中可以保持不动，或在触摸板上移动，可以以不同的角度和力度长按。
3、划动(swipe)数据集：每名被试者在触摸板上滑动500次，可以上划、下划、左划、右划，以不同的角度和力度划动。
4、空中手势(mid-air gesture)数据集：被试者做500次一秒左右的空中手势，包括空中点击、划动、画圈圈和正方形、颤抖和Hololens手势集等等。
通过上述方式可以采集了四种数据集：敲击数据集、长按数据集、划动数据集和空中手势数据集。其中，敲击数据集、长按数据集和划动数据集是为了采集在不同情况下的点击和抬起事件的运动数据，空中手势数据集可以作为点击事件的负样本。
训练用于识别点击事件的机器学习模型的过程如下：
对于敲击数据集、长按数据集和划动数据集，本实施例以触摸板采集到的点击事件真值为基准(即作为时间窗口的0ms)，收集时间窗口[-25ms,25ms]内的运动传感器数据作为正样本。本实施例可以将时间窗口[-75ms,-25ms]内的运动数据作为负样本，以避免算法提前识别出点击事件。本实施例还可以还将空中手势作为负样本，避免空中手势带来的误触。有了正负样本以后，本实施例可以按照以下方法提取特征：对于每个时间窗口内的九轴数据(三轴线性加速度、三轴角速度、三轴重力方向)，提取五个特征(最大值、最小值、平均值、峰度、偏度)，将这些值拼接起来得到一个45维的特征向量，即根据每一项九轴数据的五个特征得到45维的特征向量。基于上述特征向量，可以使用支持向量机(SVM)训练点击事件的二分类器。其中，时间窗口
[-25ms,25ms]是点击事件附近的50毫秒的时间；时间窗口[-75ms,-25ms]指的是点击事件发生前的一段时间，在[-75ms,-25ms]这段时间中，惯性测量单元才艺的数据和正样本的数据有点像，因此具有一定的迷惑性，将它放进负样本里是为了让机器学习方法不要将[-75ms,-25ms]误识别成点击事件了，提高识别准确率。
如果点击事件的二分类器在过去50ms内出现过点击事件，则无论如何不汇报点击事件，即两次点击事件之间的时间间隔大于50ms，这样可以避免触发重复的点击事件。如果点击事件的二分类器在过去50ms内未出现过点击事件，且二分类器将连续10帧(10ms)的数据判断为正例，则判定检测到点击事件。
在得到多次点击事件对应的按键位置序列的基础上，本实施例可以基于贝叶斯方法确定按键位置序列对应的候选文本内容。贝叶斯方法包含语言模型和落点模型，其中可以将Trigram模型作为语言模型，可以利用智能指环的Yaw角度和Pitch角度的分布构建落点模型。作为一种可行的实施方式，语言模型可以使用机器学习模型Bert。
请参见图5，图5为本申请实施例所提供的一种电子设备的结构示意图；具体可以包括：
数据记录模块100，用于当检测到所述智能穿戴设备产生点击事件时，记录所述智能穿戴设备在所述点击事件的产生时刻采集的角速度数据和重力加速度数据；
设备姿态确定信息200，用于根据所述角速度数据和所述重力加速度数据确定所述智能穿戴设备在所述点击事件的产生时刻的设备姿态信息；其中，所述设备姿态信息包括俯仰角和偏航角；
信息确定模块300，用于根据所述设备姿态信息确定所述点击事件在目标输入法下对应的按键位置，以便根据所述按键位置确定输入的信息内容。
本实施例在检测到智能穿戴设备产生点击事件之后，记录点击事件产生时刻智能穿戴设备采集的角速度数据和重力加速度数据，并结合角速度数据和重力加速度数据确定智能穿戴设备的设备姿态信息，设备姿态信息中包括俯仰角和偏航角。设备姿态信息为用于描述智能穿戴设备的物体空间姿态的信息，设备姿态信息即智能穿戴设备的佩戴部位的姿态信息，由于佩戴部位在物理平面上点击不同位置时可以对应不同的设备姿态信息，进而可以根据设备姿态信息确定该点击事件在目标输入法下的按键位置，得到相应的信息输入内容。上述过程无需用户基于视觉观察键位分布，用户可以根据对于目标输入法的键位布局的记忆进行盲打，电子设备可以根据设备姿态信息确定用户具体点击的内容，可见本实施例能够在无需视觉参与的情况下实现高效率的信息输入。
进一步的，还包括：
序列更新模块，用于在根据所述设备姿态信息确定所述点击事件在目标输入法下对应的按键位置之后，根据所述按键位置和所述点击事件的产生时刻更新按键位置序列；其中，所述按键位置序列包括一个信息输入时间段内所有点击事件的按键位置和按键顺序，所述信息输入时间段为相邻两次接收第一目标指令和/或第二目标指令的时间点之间的时间段，所述第一目标指令包括选词模式触发指令或删词指令，所述第二目标指令包括所述选词模式触发指令或所述删词指令；
选词模式判断模块，用于判断是否接收到所述选词模式触发指令；若是，则生成所述按键位置序列对应的候选文本内容；
文本选择模块，用于获取所述智能穿戴设备传输的选词指令，并根据所述选词指令从所述候选文本内容中选择目标文本内容。
进一步的，选词模式判断模块包括：
相似度比对单元，用于将所述按键位置序列与字典中的预设文本内容的基准按键位置序列进行相似度比对；
候选文本内容确定单元，用于将相似度大于预设值的基准按键位置序列对应的预设文本内容作为所述按键位置序列对应的候选文本内容。
进一步的，选词模式判断模块包括：
事件检测单元，用于当检测到所述智能穿戴设备在所述点击事件的产生时刻之后产生新点击事件时，判断所述新点击事件对应的产生时刻后的预设时长内是否检测到抬起事件或滑动事件；
第一判定单元，用于若在所述预设时长内未检测到所述抬起事件和所述滑动事件时，则判定接收到所述选词模式触发指令；
第二判定单元，用于若在所述预设时长内检测到所述抬起事件且未检测到所述滑动事件时，则确定所述新点击事件对应的按键位置并更新所述按键位置序列；
第三判定单元，用于若在所述预设时长内检测到所述滑动事件和所述抬起事件时，则判定接收到所述删词指令。
进一步的，文本选择模块包括：
文本切换单元，用于在判定接收到所述选词模式触发指令之后，根据所述智能穿戴设备产生的滑动事件对应的滑动方向生成所述文本切换指令，并根据所述文本切换指令切换目标指针指向的候选文本内容；
目标文本选择单元，用于判断在判定接收到所述选词模式触发指令之后所述智能穿戴设备是否产生抬起事件；若是，则将所述目标指针当前指向的候选文本内容设置为所述目标文本内容。
进一步的，还包括：
显示模块，用于在显示设备上显示所有所述候选文本内容和所述目标指针；还用于当接收到文本切换指令时，在所述显示设备上更新所述目标指针与当前指向的候选文本内容的对应关系，并播报所述目标指针当前指向的候选文本内容对应的音频信息。
由于电子设备部分的实施例与方法部分的实施例相互对应，因此系统部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。
本申请还提供了一种存储介质，其上存有计算机程序，该计算机程序被执行时可以实现上述实施例所提供的步骤。该存储介质可以包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请还提供了一种信息输入系统，可以包括：
智能穿戴设备，用于采集佩戴部位的角速度数据和重力加速度数据，并将所述角速度数据和重力加速度数据传输至电子设备；
所述电子设备，用于当检测到所述智能穿戴设备产生点击事件时，记录所述智能穿戴设备在所述点击事件的产生时刻采集的角速度数据和重力加速度数据；还用于根据所述角速度数据和所述重力加速度数据确定所述智能穿戴设备在所述点击事件的产生时刻的设备姿态信息；其中，所述设备姿态信息包括俯仰角和偏航角；还用于根据所述设备姿态信息确定所述点击事件在目标输入法下对应的按键位置，以便根据所述按键位置确定输入的信息内容。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。
还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的状况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
Claims (10)
1.一种信息输入方法，其特征在于，应用于与智能穿戴设备连接的电子设备，包括：
当检测到所述智能穿戴设备产生点击事件时，记录所述智能穿戴设备在所述点击事件的产生时刻采集的角速度数据和重力加速度数据；
根据所述角速度数据和所述重力加速度数据确定所述智能穿戴设备在所述点击事件的产生时刻的设备姿态信息；其中，所述设备姿态信息包括俯仰角和偏航角；
根据所述设备姿态信息确定所述点击事件在目标输入法下对应的按键位置，以便根据所述按键位置确定输入的信息内容。
2.根据权利要求1所述信息输入方法，其特征在于，在根据所述设备姿态信息确定所述点击事件在目标输入法下对应的按键位置之后，还包括：
根据所述按键位置和所述点击事件的产生时刻更新按键位置序列；其中，所述按键位置序列包括一个信息输入时间段内所有点击事件的按键位置和按键顺序，所述信息输入时间段为相邻两次接收第一目标指令和/或第二目标指令的时间点之间的时间段，所述第一目标指令包括选词模式触发指令或删词指令，所述第二目标指令包括所述选词模式触发指令或所述删词指令；
判断是否接收到所述选词模式触发指令；
若是，则生成所述按键位置序列对应的候选文本内容；
获取所述智能穿戴设备传输的选词指令，并根据所述选词指令从所述候选文本内容中选择目标文本内容。
3.根据权利要求2所述信息输入方法，其特征在于，生成所述按键位置序列对应的候选文本内容包括：
将所述按键位置序列与字典中的预设文本内容的基准按键位置序列进行相似度比对；
将相似度大于预设值的基准按键位置序列对应的预设文本内容作为所述按键位置序列对应的候选文本内容。
4.根据权利要求2所述信息输入方法，其特征在于，所述判断是否接收到所述选词模式触发指令，包括：
当检测到所述智能穿戴设备在所述点击事件的产生时刻之后产生新点击事件时，判断所述新点击事件对应的产生时刻后的预设时长内是否检测到抬起事件或滑动事件；
若在所述预设时长内未检测到所述抬起事件和所述滑动事件时，则判定接收到所述选词模式触发指令。
5.根据权利要求4所述信息输入方法，其特征在于，获取所述智能穿戴设备传输的选词指令，并根据所述选词指令从所述候选文本内容中选择目标文本内容，包括：
在判定接收到所述选词模式触发指令之后，根据所述智能穿戴设备产生的滑动事件对应的滑动方向生成所述文本切换指令，并根据所述文本切换指令切换目标指针指向的候选文本内容；
判断在判定接收到所述选词模式触发指令之后所述智能穿戴设备是否产生抬起事件；
若是，则将所述目标指针当前指向的候选文本内容设置为所述目标文本内容。
6.根据权利要求4所述信息输入方法，其特征在于，还包括：
若在所述预设时长内检测到所述抬起事件且未检测到所述滑动事件时，则确定所述新点击事件对应的按键位置并更新所述按键位置序列；
若在所述预设时长内检测到所述滑动事件和所述抬起事件时，则判定接收到所述删词指令。
7.根据权利要求5所述信息输入方法，其特征在于，还包括：
在显示设备上显示所有所述候选文本内容和所述目标指针；
当接收到文本切换指令时，在所述显示设备上更新所述目标指针与当前指向的候选文本内容的对应关系，并播报所述目标指针当前指向的候选文本内容对应的音频信息。
8.一种电子设备，其特征在于，包括：
数据记录模块，用于当检测到所述智能穿戴设备产生点击事件时，记录所述智能穿戴设备在所述点击事件的产生时刻采集的角速度数据和重力加速度数据；
设备姿态确定信息，用于根据所述角速度数据和所述重力加速度数据确定所述智能穿戴设备在所述点击事件的产生时刻的设备姿态信息；其中，所述设备姿态信息包括俯仰角和偏航角；
信息确定模块，用于根据所述设备姿态信息确定所述点击事件在目标输入法下对应的按键位置，以便根据所述按键位置确定输入的信息内容。
9.一种信息输入系统，其特征在于，包括：
智能穿戴设备，用于采集佩戴部位的角速度数据和重力加速度数据，并将所述角速度数据和重力加速度数据传输至电子设备；
所述电子设备，用于当检测到所述智能穿戴设备产生点击事件时，记录所述智能穿戴设备在所述点击事件的产生时刻采集的角速度数据和重力加速度数据；还用于根据所述角速度数据和所述重力加速度数据确定所述智能穿戴设备在所述点击事件的产生时刻的设备姿态信息；其中，所述设备姿态信息包括俯仰角和偏航角；还用于根据所述设备姿态信息确定所述点击事件在目标输入法下对应的按键位置，以便根据所述按键位置确定输入的信息内容。
10.一种存储介质，其特征在于，所述存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器加载并执行时，实现如上权利要求1至7任一项所述信息输入方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010392079.2A CN111580663A (zh) | 2020-05-11 | 2020-05-11 | 一种信息输入方法、系统、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010392079.2A CN111580663A (zh) | 2020-05-11 | 2020-05-11 | 一种信息输入方法、系统、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111580663A true CN111580663A (zh) | 2020-08-25 |
Family
ID=72112183
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010392079.2A Pending CN111580663A (zh) | 2020-05-11 | 2020-05-11 | 一种信息输入方法、系统、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111580663A (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020118123A1 (en) * | 2001-02-27 | 2002-08-29 | Kim Sung-Cheol | Space keyboard system using force feedback and method of inputting information therefor |
| CN102262456A (zh) * | 2010-05-31 | 2011-11-30 | 西门子公司 | 信息输入装置及方法 |
| CN102681786A (zh) * | 2012-05-14 | 2012-09-19 | 华为技术有限公司 | 文本选择的方法及装置 |
| CN104281295A (zh) * | 2013-07-01 | 2015-01-14 | 中兴通讯股份有限公司 | 一种防止触摸屏上滑动误触发的方法、系统和电子设备 |
| CN106325488A (zh) * | 2015-07-09 | 2017-01-11 | 北京搜狗科技发展有限公司 | 一种输入方法、输入装置、服务器和输入系统 |
| CN107272881A (zh) * | 2017-04-26 | 2017-10-20 | 北京新美互通科技有限公司 | 一种信息输入方法及装置，输入法键盘和电子设备 |
| CN107577357A (zh) * | 2017-08-18 | 2018-01-12 | 中山叶浪智能科技有限责任公司 | 一种输入信息的自动匹配方法及系统 |
| CN107783653A (zh) * | 2017-11-06 | 2018-03-09 | 广州新维感信息技术有限公司 | 一种虚拟现实交互方法及系统 |
| CN109358802A (zh) * | 2018-10-11 | 2019-02-19 | 科大讯飞股份有限公司 | 一种信息输入方法、装置、设备及可读存储介质 |
| CN109782999A (zh) * | 2019-01-30 | 2019-05-21 | 上海摩软通讯技术有限公司 | 一种输入方法、输入设备以及一种计算机可读介质 |
| CN109814707A (zh) * | 2018-12-19 | 2019-05-28 | 东北大学秦皇岛分校 | 一种基于智能指环的虚拟输入方法及系统 |
-
2020
- 2020-05-11 CN CN202010392079.2A patent/CN111580663A/zh active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020118123A1 (en) * | 2001-02-27 | 2002-08-29 | Kim Sung-Cheol | Space keyboard system using force feedback and method of inputting information therefor |
| CN102262456A (zh) * | 2010-05-31 | 2011-11-30 | 西门子公司 | 信息输入装置及方法 |
| CN102681786A (zh) * | 2012-05-14 | 2012-09-19 | 华为技术有限公司 | 文本选择的方法及装置 |
| CN104281295A (zh) * | 2013-07-01 | 2015-01-14 | 中兴通讯股份有限公司 | 一种防止触摸屏上滑动误触发的方法、系统和电子设备 |
| CN106325488A (zh) * | 2015-07-09 | 2017-01-11 | 北京搜狗科技发展有限公司 | 一种输入方法、输入装置、服务器和输入系统 |
| CN107272881A (zh) * | 2017-04-26 | 2017-10-20 | 北京新美互通科技有限公司 | 一种信息输入方法及装置，输入法键盘和电子设备 |
| CN107577357A (zh) * | 2017-08-18 | 2018-01-12 | 中山叶浪智能科技有限责任公司 | 一种输入信息的自动匹配方法及系统 |
| CN107783653A (zh) * | 2017-11-06 | 2018-03-09 | 广州新维感信息技术有限公司 | 一种虚拟现实交互方法及系统 |
| CN109358802A (zh) * | 2018-10-11 | 2019-02-19 | 科大讯飞股份有限公司 | 一种信息输入方法、装置、设备及可读存储介质 |
| CN109814707A (zh) * | 2018-12-19 | 2019-05-28 | 东北大学秦皇岛分校 | 一种基于智能指环的虚拟输入方法及系统 |
| CN109782999A (zh) * | 2019-01-30 | 2019-05-21 | 上海摩软通讯技术有限公司 | 一种输入方法、输入设备以及一种计算机可读介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2933709A2 (en) | Haptic information management method and electronic device supporting the same | |
| CN104145232B (zh) | 用于注视交互的系统 | |
| US9075462B2 (en) | Finger-specific input on touchscreen devices | |
| US9041660B2 (en) | Soft keyboard control | |
| US20160306435A1 (en) | Gesture based interface system and method | |
| WO2016112690A1 (zh) | 一种基于眼动数据的网上用户状态识别方法和装置 | |
| WO2014015521A1 (en) | Multimodal interaction with near-to-eye display | |
| US20240077948A1 (en) | Gesture-based display interface control method and apparatus, device and storage medium | |
| EP2473907A1 (en) | User interface methods providing searching functionality | |
| Suriya et al. | A survey on hand gesture recognition for simple mouse control | |
| WO2017007699A1 (en) | User-identifying application programming interface (api) | |
| CN111580663A (zh) | 一种信息输入方法、系统、电子设备及存储介质 | |
| CN114821753B (zh) | 一种基于视觉图像信息的眼动交互系统 | |
| Kim et al. | Mo-Bi: Contextual mobile interfaces through bimanual posture sensing with Wrist-Worn devices | |
| CN105988695B (zh) | 智能设备及其操作响应方法 | |
| CN111580664B (zh) | 一种抬起手势的识别方法、系统、电子设备及存储介质 | |
| US10133346B2 (en) | Gaze based prediction device and method | |
| CN111580666B (zh) | 一种设备控制方法、电子设备、设备控制系统及存储介质 | |
| Feiz et al. | Exploring feasibility of wrist gestures for non-visual interactions with wearables | |
| Zhao et al. | Motion gesture delimiters for smartwatch interaction | |
| Lee et al. | Embodied interaction on constrained interfaces for augmented reality | |
| Li et al. | Blink recognition using flexible graphene stress sensor and RFID chipless tagging technology | |
| Kurosu | Human-Computer Interaction. Interaction Technologies: 20th International Conference, HCI International 2018, Las Vegas, NV, USA, July 15–20, 2018, Proceedings, Part III | |
| Kim et al. | Swipe-it!: One-handed Thumb-tip Interaction for Text Editing in AR | |
| Wu et al. | Infofinder: just-in-time information interface from the combination of an hwd with a smartwatch |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200825 |