CN112183447A - 基于图像识别的信息输入系统 - Google Patents

基于图像识别的信息输入系统 Download PDF

Info

Publication number
CN112183447A
CN112183447A CN202011099639.1A CN202011099639A CN112183447A CN 112183447 A CN112183447 A CN 112183447A CN 202011099639 A CN202011099639 A CN 202011099639A CN 112183447 A CN112183447 A CN 112183447A
Authority
CN
China
Prior art keywords
finger
key
input
image
fingers
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011099639.1A
Other languages
English (en)
Inventor
尚腾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202011099639.1A priority Critical patent/CN112183447A/zh
Publication of CN112183447A publication Critical patent/CN112183447A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提出了一种信息输入系统，根据对包含手指动作视频图像的分析，生成相应动作代表的敲击键盘输入信息，以及点击、移动鼠标输入信息，结合常用信息输入规则并学习用户输入习惯，在不使用实体键盘、鼠标的情况下完成信息输入。

Description

基于图像识别的信息输入系统
技术领域
根据对包含手指动作视频图像的分析，生成相应动作代表的敲击键盘输入信息，以及点击、移动鼠标输入信息。本发明涉及一种信息输入系统，该系统包含对手指动作进行识别和信息输入内容判断的处理方法。
背景技术
智能图像处理在目标识别方面的应用非常成熟，随着机器学习的技术进步，使用计算机可方便地对视频中的物体或人体动作进行识别。本发明通过对人的手指及手指动作的识别，判断操作人员意图输入信息的方式及内容，进而实现在不使用实体键盘和鼠标的情况下完成信息输入。
发明内容
常规的信息录入设备、计算机等设备，大部分使用键盘和鼠标作为信息录入工具和途径。使用过程中，便携性以及信息录入的灵活性会受到硬件设备的限制。随着云计算的普及和计算机等常规数据处理设备的体积、功耗越来越小，使得用户移动办公或便携式信息处理成为可能。但是受限于实体键盘、鼠标尺寸，信息录入这一步骤成为制约移动办公和便携式信息处理的瓶颈。
本发明基于这样一种认识：使用摄像机对手指进行成像、识别，通过分析手指动作，结合常用信息输入规则并学习用户输入习惯，在不使用实体键盘、鼠标的情况下完成信息输入。
为此，本发明提供了一种分析手指模拟敲击键盘动作和操作鼠标动作，完成信息输入的方法。这种方法总体上符合这样一个流程：获取包括手指的视频图像，识别手指，分析手指动作得到候选操作种类，结合上下文对候选操作进行加权评分，结合输入习惯对候选操作进行加权评分，根据用户反馈进行修正并输出最终结果，将最终结果进行训练。
附图说明
图1是本系统的处理流程图。
图2是系统识别的按标准打字指法放置的手指及对应的按键划分区域示意图。
图3是系统识别的按标准打字法分开放置的左右手手指示意图及对应的按键划分区域示意图。
具体实施方式
本系统包含5个模块，它们分别是：视频图像获取模块，手指检测模块，手指动作分析模块，交互反馈模块，训练学习模块。
视频图像获取模块实现对包含手指的场景进行成像。其成像方式可以是由单个摄像头生成的二维平面图像，也可以是由双目摄像头生成的三维立体图像。其中二维平面图像中，系统根据手指在图像中的大小以及位置变化判断手指的运动状态；在三维立体图像中，系统根据手指的空间位置变化判断手指的运动状态。
成像后的视频输入给手指检测模块，手指检测模块使用图像识别算法检测出视频中的手指，并识别出手指的左右手以及手指名称。其中图像识别算法可以采用经典的分类器训练方法，也可以使用基于深度学习的手、手指识别算法。
手指动作分析模块追踪每个手指的运动情况。系统根据相邻两帧画面中同一个手指位置的变化量得到手指运动速度，再由相邻两帧图像中同一手指的运动速度生成手指的加速度信息。根据手指加速度、手指间相对运动状态判断手指是否进行了信息输入操作。
交互反馈模块在操作人员完成最终的触发操作(如键盘敲击或鼠标点击动作)前，或完成此次动作后进行下一次操作前，将系统判断的输入信息显示在显示器设备上。当用户认为系统对输入信息判断不准确时，可移动正在执行操作的手指的位置以选择目标操作对象(即键盘敲击的按键或鼠标点击的位置)。当用户完成操作触发后，系统根据手指的运动轨迹、触发操作位置、手指间相对运动状态判断此次的目标操作对象，并生成对应的信息输入指令给计算机或信息录入设备。
如果系统判断的信息输入结果不正确，用户完成单次信息输入后，可执行删除操作，并重新进行信息输入，直至系统正确判断输入结果。训练模块在每次用户操作后将正确与错误的结果分别进行正向训练和反向训练。训练的结果在对下次的相类似手指动作分析中参与加权评分。
在手指敲击位置的判断上，本系统要求操作人员按标准打字的指法操作。当操作人员没有进行操作时，系统根据手指的位置，预先划分不同的键位区域作为基准。当操作人员不断完成敲击按键操作后，系统根据最终敲击位置触发的输入结果，持续调整预先划分的键位区域。
示例说明
以下几个例子说明基于图像识别的信息输入系统的工作方式和原理：
例1：预先划分按键区域
当用户将双手使用标准的键盘指法姿势放到成像设备前端时，系统判断用户没有进行按键操作，开始划分按键区域。图2是用户按常规键盘按键布局习惯，在待命状态下的手指摆放。此时系统识别用户左手的小指001，无名指002，中指003，食指004，姆指005，以及右手的姆指006，食指007，中指008，无名指009，小指010。系统根据手指位置，预先划分的包含26个英文字母以及空格按键的键盘按键区域为011。图3是用户自由摆放手指时，系统对用户手指的识别以及预先划分的键盘按键区域。
例2：手指由待命状态第一次敲击“a”键
当进行按键“a”的敲击时，左手的小指001运动过程为先抬起，再落下。在这一过程中，系统识别视频中各个手指的运动情况。左手小指001的加速度最大，其它手指加速度较小且加速度的方向和大小相近，并与左手小指001的加速度方向和大小明显不同。由此，系统判断当前执行敲击动作的手指为左手小指001。
在左手小指001完成敲击动作的瞬间，左手小指001下落敲击到桌面，运动状态由下落变为停止，此时加速度出现峰值。系统检测到图像中执行敲击动作手指的加速度峰值出现，当手指抬起时系统判断触发了敲击按键操作。
当系统检测到左手小指001完成按键敲击动作时，判断左手小指001此次敲击过程完成。系统对比两种位置关系判定此次操作敲击的按键，一种位置关系是此次敲击过程中左手小指001起始位置与结束位置，另一种位置关系是此次敲击过程中左手小指001起始时相对其它手指的位置和敲击结束时左手小指001相对其它手指的位置。系统结合左手小指001敲击动作的绝对位置以及相对其它手指的位置均为“a”按键的区域，最终判定此次敲击的按键为“a”键。
例3：输入“你好”两个字的拼音“ni hao”中“o”的处理过程
当进行“你好”两个字的拼接“ni hao”中的“o”输入时，系统根据联想输入法，确定候选输入按键中“o”按键的概率较高。
右手无名指009敲击到桌面时出现了加速度峰值，系统识别右手无名指009触发了敲击按键操作，结合敲击过程中右手无名指009敲击动作的起始位置与结束位置关系，以及敲击动作开始时右手无名指009相对其它手指位置与结束时右手无名指相对其它手指位置关系，系统判断右手无名指009敲击“o”按键概率较高。
在完成敲击动作时，系统将识别的进行敲击动作的右手的图像输入经过深度学习训练的识别程序中，得到识别的敲击按键概率。
最终系统结合联想输入法候选按键概率、敲击按键区域概率以及经过深度学习训练的识别程序输入的敲击按键概率，最终判定敲击的按键为“o”键。
当完成输入操作后，系统将右手敲击“o”按键过程中起始时刻右手的图像与完成敲击动作时刻右手的图像进行基于深度学习的训练，完成对识别程序的训练。
例4：进行鼠标移动以及缩放控制的触摸板操控
进行鼠标操作时，右手食指006先抬起，再敲击桌面，然后开始滑动。在右手食指006抬起时，系统根据加速度变化，判断加速度最大的右手食指正在执行敲击动作。当右手食指敲击桌面的瞬间，系统识别加速度出现峰值。手指敲击桌面后，没有抬起，系统判定右手食指006执行的不是按键敲击操作，进而进入鼠标输入模式。当右手食指006在桌面上滑动时系统触发对应的鼠标滑动操作。

Claims (10)

1.一种信息处理系统，通过识别手指动作判断输入的信息，其中包含以下步骤：获取包含手指的视频图像，识别图像中的手指，分析手指动作，判断输入信息的反馈以及完成输入后的训练。
2.根据权利要求1的系统，包含手指的视频图像包括二维平面图像以及三维立体图像。
3.根据权利要求2的系统，当输入的视频图像为二维平面图像时，手指进行敲击动作过程中，手指的位置由图像中手指的坐标、手指尺度大小变化、手指间相对位置变化三个因素确定；当输入的视频图像为三维立体图像时，手指的位置由三维空间坐标直接得到。
4.根据权利要求1的系统，手指的动作分析步骤要求用户进行键盘敲击动作时使用标准打字指法。
5.根据权利要求4的系统，在手指进行敲击动作前，手指的状态为待命状态，此状态下系统以左、右手手指位置为基础，按标准打字指法划分按键区域。
6.根据权利要求1的系统，以相邻两帧视频图像中手指位置变化作为手指运动速度，以速度变化率为手指加速度，系统通过检测手指加速度的峰值，判断手指敲击桌面的时刻，同时判断手指敲击按键的位置，通过检测到手指敲击桌面后的抬起动作，判断敲击按键动作的结束。
7.根据权利要求6的系统，当检测到手指加速度的峰值，并判断手指敲击桌面动作后，手指没有抬起，并进行了滑动操作，则系统判断当前的操作为鼠标移动操作。
8.根据权利要求1的系统，手指敲击按键的位置判定过程中，将识别的敲击按键结果显示在显示器设备上，当识别的结果与用户操作目的不一致时，用户移动手指位置来纠正识别结果。
9.根据权利要求1的系统，每次完成手指按键敲击识别后，系统将包含敲击动作起始时手指姿态以及敲击动作结束时手指姿态的图像进行基于深度学习的训练。
10.根据权利要求1的系统，手指敲击按键操作的识别结果由三部分确定：以预先划分的按键区域为基础，识别的手指敲击动作的位置：根据训练的手指姿态识别算法所识别的敲击按键结果；用户根据系统识别的按键操作进行纠正后的结果。
CN202011099639.1A 2020-10-15 2020-10-15 基于图像识别的信息输入系统 Pending CN112183447A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011099639.1A CN112183447A (zh) 2020-10-15 2020-10-15 基于图像识别的信息输入系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011099639.1A CN112183447A (zh) 2020-10-15 2020-10-15 基于图像识别的信息输入系统

Publications (1)

Publication Number Publication Date
CN112183447A true CN112183447A (zh) 2021-01-05

Family

ID=73950148

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011099639.1A Pending CN112183447A (zh) 2020-10-15 2020-10-15 基于图像识别的信息输入系统

Country Status (1)

Country Link
CN (1) CN112183447A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012056864A1 (ja) * 2010-10-28 2012-05-03 Wada Yoshihiro 入力装置、当該入力装置を備えた情報機器、コンピュータを入力装置として機能させるためのプログラム、および入力装置を用いて文字を入力するための方法
US20120306759A1 (en) * 2010-09-13 2012-12-06 Zte Corporation Method and device for dynamically generating touch keyboard
CN103105930A (zh) * 2013-01-16 2013-05-15 中国科学院自动化研究所 一种基于视频图像的非接触式智能输入方法及装置
CN107390998A (zh) * 2017-08-18 2017-11-24 中山叶浪智能科技有限责任公司 一种虚拟键盘中按键的设置方法及系统
CN111427458A (zh) * 2020-06-11 2020-07-17 诺百爱（杭州）科技有限责任公司 一种基于手部动作虚拟输入字符的方法、装置和电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120306759A1 (en) * 2010-09-13 2012-12-06 Zte Corporation Method and device for dynamically generating touch keyboard
WO2012056864A1 (ja) * 2010-10-28 2012-05-03 Wada Yoshihiro 入力装置、当該入力装置を備えた情報機器、コンピュータを入力装置として機能させるためのプログラム、および入力装置を用いて文字を入力するための方法
CN103105930A (zh) * 2013-01-16 2013-05-15 中国科学院自动化研究所 一种基于视频图像的非接触式智能输入方法及装置
CN107390998A (zh) * 2017-08-18 2017-11-24 中山叶浪智能科技有限责任公司 一种虚拟键盘中按键的设置方法及系统
CN111427458A (zh) * 2020-06-11 2020-07-17 诺百爱（杭州）科技有限责任公司 一种基于手部动作虚拟输入字符的方法、装置和电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MD. ABDUR RAHIM等: "Hand gesture recognition-based non-touch character writing system on a virtual keyboard", 《MULTIMEDIA TOOLS AND APPLICATIONS》 *

Similar Documents

Publication Publication Date Title
US20220261112A1 (en) Systems, devices, and methods for touch-free typing
US11137834B2 (en) Vehicle system and method for detection of user motions performed simultaneously
US9529523B2 (en) Method using a finger above a touchpad for controlling a computerized system
US20160364138A1 (en) Front touchscreen and back touchpad operated user interface employing semi-persistent button groups
US9891821B2 (en) Method for controlling a control region of a computerized device from a touchpad
EP2802975B1 (en) Intelligent touchscreen keyboard with finger differentiation
US9477874B2 (en) Method using a touchpad for controlling a computerized system with epidermal print information
CN108700996B (zh) 用于多输入管理的系统和方法
TWI694357B (zh) 基於手勢識別產生互動式虛擬用戶界面的方法及相關裝置
US9063573B2 (en) Method and system for touch-free control of devices
US20150363038A1 (en) Method for orienting a hand on a touchpad of a computerized system
CN102339205A (zh) 用于从手持计算机化设备的背板进行用户输入的方法
US20140267121A1 (en) Method using a predicted finger location above a touchpad for controlling a computerized system
CN109074224A (zh) 用于在字符串中插入字符的方法以及相应的数字设备
US20230244379A1 (en) Key function execution method and apparatus, device, and storage medium
CN103995610A (zh) 从手持式计算机化设备的替代触摸板进行用户输入的方法
US20140253486A1 (en) Method Using a Finger Above a Touchpad During a Time Window for Controlling a Computerized System
CN112183447A (zh) 基于图像识别的信息输入系统
Gil et al. Characterizing In-Air Eyes-Free Typing Movements in VR
Chen Universal Motion-based control and motion recognition
CN109240590B (zh) 用于虚拟键盘的输入控制方法及装置
Xue et al. The simulated mouse method based on dynamic hand gesture recognition
US20150268734A1 (en) Gesture recognition method for motion sensing detector
CN113157196A (zh) 一种手指识别算法
CN117492560A (zh) 基于增强现实的输入法的实现方法及其应用和实现系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210105

WD01 Invention patent application deemed withdrawn after publication