CN117234405A - 信息输入方法以及装置、电子设备及存储介质 - Google Patents

信息输入方法以及装置、电子设备及存储介质 Download PDF

Info

Publication number
CN117234405A
CN117234405A CN202210642074.XA CN202210642074A CN117234405A CN 117234405 A CN117234405 A CN 117234405A CN 202210642074 A CN202210642074 A CN 202210642074A CN 117234405 A CN117234405 A CN 117234405A
Authority
CN
China
Prior art keywords
finger
hand
input
touch area
palm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210642074.XA
Other languages
English (en)
Inventor
曾学忠
豆子飞
李�诚
王星言
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaomi Mobile Software Co Ltd
Original Assignee
Beijing Xiaomi Mobile Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaomi Mobile Software Co Ltd filed Critical Beijing Xiaomi Mobile Software Co Ltd
Priority to CN202210642074.XA priority Critical patent/CN117234405A/zh
Priority to KR1020220131598A priority patent/KR20230168568A/ko
Priority to US17/965,327 priority patent/US20230393649A1/en
Priority to EP22201599.2A priority patent/EP4290338A1/en
Priority to JP2022165595A priority patent/JP2023179345A/ja
Publication of CN117234405A publication Critical patent/CN117234405A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/11—Hand-related biometrics; Hand pose recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

本公开是关于一种信息输入方法及装置、电子设备以及存储介质。所述信息输入方法可包括：获取手部图像；确定所述手部图像内处于打开状态的第一手指，以及第二手指在所述第一手指和/或手掌中的触摸到的目标触摸区域；其中，所述目标触摸区域为所述第一手指和/或手掌内预先划分的设定触摸区域之一；根据处于打开状态的第一手指和所述目标触摸区域确定待输入的目标信息。

Description

信息输入方法以及装置、电子设备及存储介质
技术领域
本公开涉及信息技术领域，尤其涉及一种信息输入方法以及装置、电子设备及存储介质。
背景技术
在相关技术中，电子设备通过具有输入输出设备。例如，典型的输入设备可包括：键盘、鼠标和/或触控屏。典型的输出设备可包括：显示屏、扬声器和/或投影仪等。
若使用输入设备进行信息输入，则用户在输入的过程中必须在输入设备旁边，且需要掌握输入设备的使用技巧。
总之，相关技术中存在着与设备交互复杂和不够便捷的特点。
发明内容
本公开实施例提供一种信息输入方法以及装置、电子设备及存储介质。
本公开实施例第一方面提供一种信息输入方法，所述方法包括：
获取手部图像；
确定所述手部图像内处于打开状态的第一手指，以及第二手指在所述第一手指和/或手掌中的触摸到的目标触摸区域；其中，所述目标触摸区域为所述第一手指和/或手掌内预先划分的设定触摸区域之一；
根据处于打开状态的第一手指和所述目标触摸区域确定待输入的目标信息。
基于上述方案，所述设定触摸区域包括以下至少之一：
手指指节之间的区域、手指指尖和手指指节之间的区域、手掌中靠近指根的区域、手指指尖所在的区域、并拢的手指之间的指缝处划分的区域、手指指节所在的区域、手掌中靠近指根的区域。
基于上述方案，所述根据处于打开状态的第一手指和所述目标触摸区域确定待输入的目标信息，包括：
基于预设对应关系，根据处于打开状态的第一手指和所述目标触摸区域确定待输入的所述目标信息；
其中，所述预设对应关系至少包括：不同的第一手指处于打开状态下，所述第一手指和/或手掌内的各设定触摸区域与输入信息的关系。
基于上述方案，所述预设对应关系根据如下至少一种关系确定：
不同的第一手指处于打开状态下，所述第一手指和/或手掌内划分的设定触摸区域的数量，与输入内容或输入功能具有相关性的输入按键的按键数量之间的关系；
不同的第一手指处于打开状态下，所述第一手指和/或手掌内划分的设定触摸区域的数量，与使用频次大于预设频次的输入按键的按键数量之间的关系；
不同的第一手指处于打开状态下，所述第一手指和/或手掌内划分的各设定触摸区域之间的相对位置，与按键中被用户连续选择的概率高于预设概率的按键之间的关系。
基于上述方案，所述获取手部图像之前，还包括：
根据所述预设对应关系在所述第一手指和/或手掌的各设定触摸区域中显示与设定触摸区域对应的输入信息。
基于上述方案，所述获取所述手部图像，包括：
检测到所述第二手指触摸各设定触摸区域中任一目标触摸区域后，获取所述手部图像；
或者，检测到所述第二手指触摸各设定触摸区域中任一目标触摸区域的触摸时长超过预设时长，则获取在所述触摸时长内的任一帧手部图像。
基于上述方案，所述获取手部图像之前，还包括：
判断是否检测到设定唤醒操作；其中，所述设定唤醒操作用于指示开始通过所述手部图像实现信息输入。
基于上述方案，所述确定所述手部图像内处于打开状态的第一手指，以及第二手指在所述第一手指和/或手掌中的触摸到的目标触摸区域，包括：
若所述手部图像中的手部为单手，则确定所述单手中处于打开状态的第一手指，以及所述单手中的第二手指在所述单手的第一手指和/或手掌中的触摸到的目标触摸区域；所述单手为左手或右手；
若所述手部图像中的手部为左手和右手，则确定所述左手中处于打开状态的第一手指，以及所述左手中的第二手指在所述左手的第一手指和/或手掌中的触摸到的目标触摸区域，并确定所述右手中处于打开状态的第一手指，以及所述右手中的第二手指在所述右手的第一手指和/或手掌中的触摸到的目标触摸区域。
本公开实施例第二方面提供一种信息输入装置，所述装置包括：
获取模块，用于获取手部图像；
第一确定模块，用于确定所述手部图像内处于打开状态的第一手指，以及第二手指在所述第一手指和/或手掌中的触摸到的目标触摸区域；其中，所述目标触摸区域为所述第一手指和/或手掌内预先划分的设定触摸区域之一；
第二确定模块，用于根据处于打开状态的第一手指和所述目标触摸区域确定待输入的目标信息。
本公开实施例第三方面提供一种电子设备，包括：
用于存储处理器可执行指令的存储器；
处理器，与所述存储器连接；
其中，所述处理器被配置为执行如第一方面任意技术方案提供的信息输入方法。
本公开实施例第四方面提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由计算机的处理器执行时，使得计算机能够执行如第一方面任意技术方案提供的信息输入方法。
本公开实施例提供的技术方案，根据第二手指触碰的第一手手指的目标触摸区域确定用户旨在输入的目标信息。如此，在不借助外部设备的情况下，用户可以通过操作手势，简便的实现目标信息的输入。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的一种信息输入方法的流程示意图；
图2是根据一示例性实施例示出的一种信息输入方法的流程示意图；
图3是根据一示例性实施例示出的一种第二手指的设定触碰区域的示意图；
图4是根据一示例性实施例示出的一种第二手指的设定触碰区域的示意图；
图5是根据一示例性实施例示出的一种第二手指的设定触碰区域的示意图；
图6是根据一示例性实施例示出的一种第二手指的设定触碰区域的示意图；
图7是根据一示例性实施例示出的一种操作手势的示意图；
图8是根据一示例性实施例示出的一种操作手势的示意图；
图9是根据一示例性实施例示出的一种信息输入方法的流程示意图；
图10是根据一示例性实施例示出的一种第二手指的设定触碰区域的示意图；
图11是根据一示例性实施例示出的一种信息输入装置的流程示意图；
图12是根据一示例性实施例示出的一种电子设备的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置的例子。
如图1所示，本公开实施例提供一种信息输入方法，所述方法包括：
S110：获取手部图像；
S120：确定所述手部图像内处于打开状态的第一手指，以及第二手指在所述第一手指和/或手掌中的触摸到的目标触摸区域；其中，所述目标触摸区域为所述第一手指和/或手掌内预先划分的设定触摸区域之一；
S130：根据处于打开状态的第一手指和所述目标触摸区域确定待输入的目标信息。
本公开实施例提供的信息输入方法，可由接收目标信息的目标设备自身或者目标设备的控制设备执行。
该目标设备包括但不限于：固定设备和/或移动设备。
所述移动设备包括但不限于：手机、平板电脑、可穿戴式设备、智能家居设备、智能办公设备和/或车载设备等。
所述智能家居设备包括但不限于：智能音箱和/或智能门窗。
所述固定设备包括但不限于：台式电脑和/或智能电视机等。
示例性地，该目标设备可为虚拟现实(Virtual Reality，VR)设备、增强现实(Augment Reality，AR)和/或混合现实(Mixed Reality，MR)设备。又示例性地，该目标设备可为：物联网(Internet of Things，IoT)设备。该IoT设备可为人工智能物联网(Artificial intelligence Internet of Things，AIoT)设备。
该手部图像可为由摄像头采集的任意图像，示例性地，RGB图像和/或YUV图像。在一些实施例中，为了减少用户隐私泄漏，该手部图像可为手部的深度图像或者灰色图像。
所述S110可包括：接收其他设备采集的手部图像，和/或执行该信息输入方法的设备自身的摄像头采集的手部图像。
在获取到手部图像之后，会进行图像识别，确定当前处于打开状态的第一手指以及第二手指所触碰的区域。
该第二手指可为人体任意一个手指。示例性地，该第二手指可为大拇指或者小拇指或者其他手指等。第一手指可为任意不同于第二手指的任意手指，示例性地，第一手指为除大拇指之外的任意几个手指，比如，第一手指为食指，或者第一手指为食指和中指，或者第一手指为大拇指之外的四个手指。
打开状态指的是手指处于展开状态或弯曲状态，或者手指指尖手掌之间距离大于设定距离的状态，例如，该设定距离可为1cm或2cm或者更小的距离。
在一些实施例中，第二手指触碰第一手指上的目标触摸区域可包括但不限于以下至少之一：
第二手指的指腹触碰的第一手指的区域；
第二手指的指腹触碰的第一手指的区域；
第二手指的指背触碰的第一手指的区域；
第二手指的指尖触碰的第一手指的区域。
在另一些实施例中，第二手指触碰的区域可为：与第二手指属于同一个手的其他任意部位。
总之，在本公开实施例中，根据处于打开状态的第一手指，以及第二手指触碰的第一手手指和/或手掌的目标触摸区域确定用户旨在输入的目标信息。处于打开状态的第一手指不同，则在第一手指和/或手掌中划分的各设定触摸区域表示的输入信息也不同。
在一些实施例中，所述设定触摸区域包括以下至少之一：
手指指节之间的区域、手指指尖和手指指节之间的区域、手掌中靠近指根节的区域、手指指尖所在的区域、并拢的手指之间的指缝处划分的区域、手指指节所在的区域、手掌中靠近指根处的手指指节的区域。
如图3至图6所示，假设第二手指为大拇指，剩下的食指、中指、无名指以及小拇指都是第一手指。在图3至图6中手指通过黑色线条划分出来的区域就是设定触摸区域，在每一第一手指中，黑色线条所在位置为手指指节。
如图3所示，第一手指中的食指处于打开状态，第二手指为大拇指，大拇指触碰的区域可包括：手指指尖所在的区域1、手指指节之间的区域2、手指指节之间的区域3以及食指的掌中靠近指根处的手指指节的区域4。
如图4所示，第一手指中的食指和中指处于打开状态，第二手指为大拇指，大拇指触碰的区域可包括：食指的手指指尖所在的区域5、食指的手指指节之间的区域6、食指的手指指节之间的区域7以及食指的掌中靠近指根处的手指指节的区域4、中指的手指指尖所在的区域9、中指的手指指节之间的区域10、中指的手指指节之间的区域11以及中指的掌中靠近指根处的手指指节的区域12。
如图5所示，第一手指中的食指、中指以及无名指处于打开状态，第二手指为大拇指，且大拇指触碰的区域可包括：食指的手指指尖所在的区域13、食指的手指指节之间的区域14、食指的手指指节之间的区域15以及食指的掌中靠近指根处的手指指节的区域16、中指的手指指尖所在的区域17、中指的手指指节之间的区域18、中指的手指指节之间的区域19以及中指的掌中靠近指根处的手指指节的区域20、无名指的手指指尖所在的区域21、无名指的手指指节之间的区域22、无名指的手指指节之间的区域23以及无名指的掌中靠近指根处的手指指节的区域24。
如图6所示，第一手指中的食指、中指、无名指以及小拇指处于打开状态，第二手指为大拇指，且大拇指触碰的区域可包括：食指的手指指尖所在的区域25、食指的手指指节之间的区域26、食指的手指指节之间的区域27以及食指的掌中靠近指根处的手指指节的区域28、中指的手指指尖所在的区域29、中指的手指指节之间的区域30、中指的手指指节之间的区域31以及中指的掌中靠近指根处的手指指节的区域32、无名指的手指指尖所在的区域33、无名指的手指指节之间的区域34、无名指的手指指节之间的区域35以及无名指的掌中靠近指根处的手指指节的区域36、小拇指的手指指尖所在的区域37、小拇指的手指指节之间的区域38、小拇指的手指指节之间的区域39以及小拇指的掌中靠近指根处的手指指节的区域40。
在一个实施例中，所述掌中靠近指根处的手指指节的区域可包括：区域4、区域8、区域12、区域16、区域20、区域24、区域28、区域32、区域36以及区域40。所述手指指尖所在的区域可包括：区域1、区域5、区域9、区域13、区域17、区域21、区域25、区域29、区域33以及区域37。
总之，在本公开实施例中通过第二手指触碰处于打开状态的第一手指的一个或多个设定触摸区域就可以完成目标信息的输入，如此在不借助外部设备的情况下，用户可以通过操作手势，简便的实现目标信息的输入。
如图2所示，所述S130可包括：
S131：基于预设对应关系，根据处于打开状态的第一手指和所述目标触摸区域确定待输入的所述目标信息；其中，所述预设对应关系至少包括：不同的第一手指处于打开状态下，所述第一手指和/或手掌内的各设定触摸区域与输入信息的关系。
不同的第一手指处于打开状态时，预设对应关系不同。相当于不同第一手指处于打开状态，对应于用户的不同操作手势。即不同操作手势对应了不同的预设对应关系，可以实现不同目标信息的输入，如此可以实现多种操作手势和大范围内不同中目标信息的简便输入。
例如，如图3所示，仅食指处于打开状态时，预设对应关系可以为：区域1对应的输入信息为：拍照功能的触发、区域1对应的输入信息为菜单键对应的功能、区域3对应的信息为返回键对应的功能、区域4对应的输入信息为拨号键对应的功能。
如图4所示，区域5对应的输入信息为返回桌面；区域6对应的输入信息为返回上一个界面、区域6对应的信息为翻页到下一个界面、区域8对应的输入信息为截屏的功能；区域9对应的输入信息为光标上移；区域10对应的输入信息为光标下移、区域11对应的信息为滚动条上移、区域12对应的输入信息为滚动条下移。
如图5所示，区域5、17、21、14、15、22、15、19、23、16从左到右从上至下，分别对应的输入信息为数字7、8、9、4、5、6、1、2、3以及0。区域20对应的输入信息可为删除键的功能。区域24对应的输入信息可为回车键的功能。
如图6和图10所示，区域25、29、33、26、30、34、37、27、31、34、38、28、32、36以及40从左到右从上至下，分别对应的输入信息为字符“DEF”、“ABC”、“1，.？！”、“MNO”、“JKL”、“GHI”、“0space”、“WXYZ”、“TUV”、“PQRS”、“选择拼音”、“delete”、左移以及右移键。
以上仅仅是举例，具体实现时不局限于上述举例。
总之，不同的第一手指处于打开状态时，预设对应关系不同，即不同的第一手指处于打开状态时，各设定触摸区域对应的输入信息不同，然后再根据第二手指触摸到的区域确定待输入的目标信息，且对应关系不同可以实现不同目标信息的输入。
如图7所示，根据食指处于打开状态时的预设对应关系，再根据大拇指触摸到的目标触摸区域(图7中为指尖和指节之间的区域)确定待输入的目标信息。
如图8所示，根据食指和中指处于打开状态时的预设对应关系，再根据大拇指触摸到的目标触摸区域(图7中为指尖和指节之间的区域)确定待输入的目标信息。
在一些实施例中，所述预设对应关系根据如下至少一种关系确定：
不同的第一手指处于打开状态下，所述第一手指和/或手掌内划分的设定触摸区域的数量，与输入内容或输入功能具有相关性的输入按键的按键数量之间的关系；
不同的第一手指处于打开状态下，所述第一手指和/或手掌内划分的设定触摸区域的数量，与使用频次大于预设频次的输入按键的按键数量之间的关系；
不同的第一手指处于打开状态下，所述第一手指和/或手掌内划分的各设定触摸区域之间的相对位置，与按键中被用户连续选择的概率高于预设概率的按键之间的关系。
预设对应关系表示的是设定触摸区域与输入信息或输入功能，实际中可以将输入按键表示的输入内容或功能作为输入信息，例如，删除按键对应的输入信息为删除功能，数字键盘中数字1对应的按键表示的输入信息为数字1。
由于处于打开状态的第一手指不同，能够在第一手指和/或手掌内划分的设定触摸区域的数量也不同，则在一定程度中也会影响与设定触摸区域对应的输入按键。
例如，如图3所示，仅食指处于展开状态时，且划分的设定触摸区域为区域1-区域4时，受限于输入按键的数量，无法将输入内容具有关联性的九宫格拼音键盘中的每一按键与设定触摸区域对应，而只能将输入内容或输入功能无关联的输入按键与这4个设定触摸区域关联(例如，区域1-区域4分别对应拍照功能的触发、菜单键、返回键、拨号键)，或者只能将输入内容或输入功能关联，且数量少于或等于4个的按键与设定触摸区域对应(例如，区域1-区域4分别对应上移、下移、左移、右移)。
如此，根据处于打开状态的第一手指的不同和根数，就可以简便的调出来预设对应关系，从而将适合当前手势对应姿态的设定触摸区域显示在手部上，提示用户操作，以辅助用户更好的实现信息输入和输入功能的触发。
处于打开状态的第一手指不同，能够在第一手指和/或手掌内划分的设定触摸区域的数量也不同，当设定触摸区域的数量有限时，还可以选定一些使用频次较高的输入按键与设定触摸区域对应。例如，如图4所示，处于打开状态的第一手指分别为食指和中指，不同于图3中的处于打开状态的第一手指仅为食指。此时，食指和中指以及手掌上设定触摸区域不能使得九宫格拼音键盘中的每一按键与设定触摸区域对应。此时，根据按键被操作的历史记录，确定出使用频次最高的M个输入按键，将这M个输入按键与食指和中指处于打开状态的设定与进行对应。例如，该M的取值可等于食指和中指处于打开状态时具有预定触摸区域的个数相等。
若选得使用频次较高的输入按键与设定触摸区域对应，如此，在处于展开状态的第一手指的根数较少的情况下，可以优先将频次较高的输入按键或输入功能显示在设定触摸区域，方便用户操作，从而减少用于触发显示在设定触摸区域的输入按键和/或输入功能的操作，从而提升设备的智能性和用户的使用简便性。
由于有些输入按键对应的输入内容或功能之间具有关联性，关联性可以是输入内容或输入功能本身的关联性(例如，九宫格键盘中每一拼音键之间具有关联性、表示上移、下移、左移、右移功能的按键之间具有关联性)，关联性也可以通过用户连续选择按键的概率反映。例如，在多数情况下用户选择按键1后都会选择按键2，则按键1和按键2被连续选择的概率高于按键1和其它按键被连续选择的概率，则可以认为按键1和按键2之间具有一定的关联性。在设定预设对应关系时，可以将具有关联性或用户连续选择的概率较高的按键与位置较近的设定触摸区域对应。例如，左移键和右移键一个被选择，则另一个有极大概率会给选择，左移键被选择时，右移键被选择的概率大于字母按键的概率，因此在图10所示的对应关系中，左移键和右移键相邻设置。总之，采用本实施例提到的对应关系，可方便用户的第二手指不用大动作移动的情况下，就可以实现具有被选择概率上关联性的两个按键的操作，提升信息输入的便捷性。
前述输入按键的使用频次和/或按键被用户连续选择的概率，都可以根据目标设备或者目标设备的控制设备被用户操作的历史记录信息确定。例如，获取当前时刻以前的一段特定时长内的信息输入的历史记录信息；根据所述历史记录信息，确定出九宫格拼音键盘和/或其他输入按键的使用频次，将使用频次从高到低排序，从而可以确定出使用频次大于预设频次的输入案件。
又例如，获取当前时刻以前的一段特定时长内的信息输入的历史记录信息；根据所述历史记录信息，确定出九宫格拼音键盘和/或其他任意两个按键连续被选择的概率，确定出按键中被用户连续选择的概率高于预设概率的按键之间的关系。
在一些实施中，也可以根据需要设置的按键数量去设置设定触摸区域的数量，例如统计出用户最常使用的3-4个按键，采用这种实施例时，就将设定触摸区域设置为3-4个区域。
在一些实施例中，在获取手部图像之前，所述方法还包括：
根据所述预设对应关系在所述第一手指和/或手掌的各设定触摸区域中显示与设定触摸区域对应的输入信息。
示例性，如图10所示，本公开实施例可采用显示的方式，将输入信息显示到各个设定触摸区域，方便用户第二手指触摸第二手指的对应设定触摸区域，从而完成目标信息的输入。
图10所示为向用户的第二手指上有显示字符输入的单手输入键盘、左移键、右移键以及删除(delete)键。
例如，用户的智能眼镜和/头戴设备和/或智能家居设备，可以通过投影仪等在用户的手部显示输入信息。
在手部图像的各设定触摸区域显示相应的输入信息，能够直观地提示用户不同设定触摸区域对应的输入信息，辅助用户快速准确地选择输入信息。可理解的是，在用户熟悉各设定触摸区域对应的输入信息(例如，设定触摸区域较少，从而预设对应关系简单，用户很容易记住各设定触摸区域对应的输入信息)的情况下，也可以不在各设定触摸区域中显示与设定触摸区域对应的输入信息，用户通过盲打实现信息输入。
在一些实施例中，所述S110可包括：
检测到所述第二手指触摸各设定触摸区域中任一目标触摸区域后，获取所述手部图像；
或者，检测到所述第二手指触摸各设定触摸区域中任一目标触摸区域的触摸时长超过预设时长，则获取在所述触摸时长内的任一帧手部图像。
具体地，也可以在“根据所述预设对应关系在所述第一手指和/或手掌的各设定触摸区域中显示与设定触摸区域对应的输入信息”后，执行本实施例提供的步骤。
目标设备可以包括：图像采集模组。图像采集模组可以采集图像。
示例性，在用户当前第一手指和/或手掌上的设定触摸区域显示与设定触摸区域对应的输入信息，若用户有信息输入的需求或者输入功能的触发，则会使用第二手指触摸第一手指和/或手掌上任意一个设定触摸区域，则此时图像采集模组就可以采集到对应的画面。
譬如，通过图像采集模组采集的预览图像，可以确定出用户的第一手指上的设定触摸区域是否有被第二手指触摸。若根据采集的图像确定出第二手指有触摸第一手指上的任意一个设定触摸区域，则用户可能是采用隔空操作手势进行信息输入，此时理解获取手部图像，可以及时识别出用户任何有意图输入的操作手势，从而提升响应速率。若检测到用户的第二手指处于第一手指，因此需要正式采集对应的手部图像，并将基于该正式采集的手部图像并确定用户的输入信息，从而简便实现手部图像的采集触发等，从而减少不必要的手部图像的采集和生成。
在一些实施例中，为了减少无操作，检测到所述第二手指触摸各设定触摸区域的持续时长(即所述触摸时长)，若触摸时长很短则采集的图像可能会不清楚，或者通过图像采集模组的防抖算法还原出用户的操作手势之后，但是发现操作手势触摸时长很短，则有可能是用户无意识的误操作，因此可以不认定是用户有意识的目标信息的输入。
示例性地，通过用户的一个手势在单张图像是否清晰和/或在按照预定频率采集的图像中包含该手势的图像个数，可以检测到第二手指触摸设定触摸区域的触摸时长。该设定时长可预先设定的任意经验值或者实验值，该设定时长可为0.5秒或者1秒等取值，该设定时长可以用于区分用户是有意执行特定手势和无意识手势操作的产生，实现目标信息的输入，抑制用户在运动过程中无意识的手势操作，从而可以减少目标信息的误输入。
若触摸时长超过预设时长，则获取在所述触摸时长内的任一帧手部图像，并对该手部图像进行分析处理等，从而减少触摸时长不超过设定时长的手部图像的处理，减少不必要的计算量，且减少不必要计算量引入的误操作，提升本公开实施例的信息输入的精确度。
在一些实施例中，所述获取手部图像之前，所述方法还包括：
判断是否检测到设定唤醒操作；其中，所述设定唤醒操作用于指示开始通过所述手部图像实现信息输入。
通过手部图像采集用户输入的目标信息，并不是时时刻刻需要执行的。
在本公开实施例中，引入设定唤醒操作。该唤醒操作可以是语音操作、也可以是作用于目标设备上的实体按键或者目标设备的显示屏显示的虚拟按键的操作，还可以是特定的隔空操作手势。
可理解的是，若检测到设定唤醒操作，则获取手部图像，以通过手部图像执行上述任一实施例提供的方案实现信息输入。更为具体地，若检测到设定唤醒操作，可以先根据所述预设对应关系在所述第一手指和/或手掌的各设定触摸区域中显示与设定触摸区域对应的输入信息，然后再获取手部图像。或者，若检测到设定唤醒操作，则在检测到所述第二手指触摸各设定触摸区域中任一目标触摸区域后，获取所述手部图像；或者，检测到所述第二手指触摸各设定触摸区域中任一目标触摸区域的触摸时长超过预设时长，则获取在所述触摸时长内的任一帧手部图像。
当然，也可以在检测到设定唤醒操作后，先根据所述预设对应关系在所述第一手指和/或手掌的各设定触摸区域中显示与设定触摸区域对应的输入信息，然后在检测到所述第二手指触摸各设定触摸区域中任一目标触摸区域后，获取所述手部图像；或者，检测到所述第二手指触摸各设定触摸区域中任一目标触摸区域的触摸时长超过预设时长，则获取在所述触摸时长内的任一帧手部图像。
总之，在检测到设定唤醒操作之后，才开始执行如图1等前述任意技术方案提供的信息输入方法，实现了利用隔空操作手势输入信息的开始触发，从而减少目标设备或者目标设备的控制设备一直处于检测操作手势的状态所带来的功耗，从而延长目标设备的待机时长和/或目标设备的控制设备的待机时长。
在一些实施例中，所述确定所述手部图像内处于打开状态的第一手指，以及第二手指在所述第一手指和/或手掌中的触摸到的目标触摸区域，包括：
若所述手部图像中的手部为单手，则确定所述单手中处于打开状态的第一手指，以及所述单手中的第二手指在所述单手的第一手指和/或手掌中的触摸到的目标触摸区域；所述单手为左手或右手；
若所述手部图像中的手部为左手和右手，则确定所述左手中处于打开状态的第一手指，以及所述左手中的第二手指在所述左手的第一手指和/或手掌中的触摸到的目标触摸区域，并确定所述右手中处于打开状态的第一手指，以及所述右手中的第二手指在所述右手的第一手指和/或手掌中的触摸到的目标触摸区域。
若所述第一手指与所述第二手指为同一只手的手指，
若用户单手操作的场景，所述手部图像可以是用户左手图像或者是右手图像。即左右手的手部图像都可以使用上述信息输入方法，实现用户的目标信息输入，如此，方便不同惯用手的用户采用本公开实施例的信息输入方法完成目标信息的输入。
本公开实施例提供的信息处理方法还可以是双手操作，则此时手部图像中可以同时看到用户的左手和右手。此时，用户的左手和右手分别具有第一手指和第二手指。此时，用户的左手的操作手势和右手的操作手势可以是相同的操作也可以是不同的手势操作。
若左手的操作手势和右手的操作手势相同，则说明左手中处于打开状态的第二手指和第二手指的根数，与右手中处于打开状态以及第二手指和第二手指的根数相同，且左手和右手的第二手指触摸的第一手指的目标设定区域相同。
若左手的操作手势和右手的操作手势不同，则说明左手中处于打开状态的第二手指和第二手指的根数可不同，和/或左手和右手的第二手指触摸的第一手指的目标设定区域不同。双手的第二手指触摸的第一手指的操作手势，可以共同实现信息输入。
若同时考虑用户的左手和右手的操作手势，可以进一步增加操作手势的个数，实现更多信息的输入，方便不同输入场景下用户的各种输入需求的满足，提升设备的智能性和操作手势的识别范围。
在上述各实施例中，所述第一手指与所述第二手指为同一只手的手指，且所述第二手指为大拇指。由于大拇指可以很方便的触摸其它手指或手掌的区域，因此第二手指为大拇指的情况下，提供了一种更加方便，适用性更强的信息输入方法。
在一些实施例中，关于“处于打开状态的第一手指，以及第二手指在所述第一手指和/或手掌中的触摸到的目标触摸区域”的识别，可以通过预先训练的深度学习模型实现。该深度学习模型包括但不限于：各种类型的神经网络。该神经网络可包括但不限于：卷积神经网络和/或循环神经网络等。
示例性地，深度学习模型的特征提取层提取所述手部图像的多维特征向量；其中，所述多维特征向量至少反映所述第二手指触碰第一手指的目标触摸区域；所述深度学习模型的全连接层将所述多维特征向量全连接后的，得到所述操作手势的分类概率；根据所述分类概率，确定所述操作手势；根据所述操作手势，确定所述目标信息。
使用深度学习模型进行操作手势的识别和目标信息的确认，可以提升操作手势的目标信息输入精确度。
所述深度学习模型可包括：一个或多个特征提取层，一个所述特征提取层可包括：用于卷积操作的卷积层和用于池化操作的池化层。
该卷积操作包括但不限于深度可分离卷积。
所述池化操作包括：最大池化操作和/或平均池化操作。
所述多维特征向量可以从不同维度，反映了所述第二手指触摸的区域等信息。
示例性地，所述多维特征向量还可以反映处于打开状态的第一手指的个数等信息。
通过全连接层将多维特征向量拼接起来，得到当前手部图像中为各种操作手势的概率，选择最大概率对应的手势，确定为当前手部图像中包含的操作手势。
在一些实施例中，所述深度学习模型的特征提取层提取所述手部图像的多维特征向量，包括：所述深度学习模型的特征提取层，对所述手部图像进行卷积、池化以及基于注意力机制的处理得到所述多维特征向量，其中，所述注意力机制包括：空间注意力机制和/或通道注意力机制。
在具体的实现过程中，所述特征提取层可包括以下一个或多个：
卷积层，用于卷积操作；
池化层，通常位于卷积层后端，用于对卷积层输出的特征进行池化操作；
注意力机制模块，位于卷积层和/或池化层后端，用于卷积层和/或池化层输出的特征进行注意力操作。
该注意力机制模块包括但不限于：用于执行空间注意力机制的空间注意力机制模块和/或执行通道注意力机制的通道注意力机制模块。
故在一些实施例中，所述深度学习模型的特征提取层，对所述手部图像进行卷积、池化以及基于注意力机制的处理得到所述多维特征向量，其中，所述注意力机制包括：空间注意力机制和/或通道注意力机制。
在一些实施例中，识别所述手部图像内手部的轮廓；根据所述轮廓，确定所述第二手指以及处于所述打开状态的所述第一手指；根据所述第二手指的指腹特征点的位置以及处于所述打开状态的不同区域的位置，确定所述第二手指触碰的所述第一手指的区域。
例如，深度学习模型从手部图像中提取手部的外轮廓特征，根据外轮廓特征点的连线，将得到手部的轮廓。根据手部的轮廓确定出手部图像中的第二手指所在位置和第一手指的所在位置，并会进一步根据第一手指的轮廓确定第一手指是处于打开状态还是卷曲状态。
在确定出第二手指之后，会确定第二手指的指尖特征点，该指尖特征点的图像坐标(即位置)代表第二手指的指尖所在的区域。然后结合第一手指的各个区域的分布，确定出第一手指的成像与第二手指的指尖重叠的区域，确定为第二手指的指尖触碰的目标触摸区域。
总之，确定第二手指碰触的第一手指的区域有很多种方式，以上仅仅举例，具体实现不局限于上述举例。
参考图9所示，深度学习模型可接收到输入图像，进行手部检测实现手势识别。具体地结合图3至图6，操作手势可包括：手势组1至手势组4，然后每一个手势组内，根据第二手指触碰的区域又可包括一个或多个操作手势。
故在一些实施例中，根据处于打开状态的第一手指的根数，确定当前手势操作所在的手势组；根据所述第二手指触碰的区域，从所述当前手势操作所在的手势组中识别出所述当前操作手势。
在一些实施例中，所述S110可包括：
深度学习模型的输入层接收输入图像；
所述深度学习模型的预处理层，对所述输入图像进行图像预处理得到图像尺寸和/或图像质量满足预设要求的所述手部图像；其中，所述深度学习模型还包括：识别层，用于根据所述手部图像进行手部姿势分类，得到所述输入图像采集的手势操作。
深度学习模型的输入层接收到输入图像之后，会对输入图像进行预处理，该预处理包括但不限于以下至少之一：
输入图像的降噪操作；
输入图像的裁剪操作，例如，裁剪出手部成像区域以外的背景区域；
输入图像的图像尺寸转换操作，例如，通过上采样或者下采样，进行图像分辨率的转换；
输入图像的旋转处理，使得输入图像被旋转之后，手部预定区域成像通过深度学习模型的对应通道来处理。
当然以上仅仅是预处理的举例，具体实现不局限于上述举例，通过上述预处理使得后续进行操作手势分类或识别的深度学习模型能够获取到图像尺寸和/或图像质量满足预设要求的手部图像。
在本公开实施例中，深度学习模型可以通过自身对输入图像的预处理，可以适配处理不同图像尺寸和/或图像尺寸的输入图像的操作手势的识别，从而提升深度学习模型的泛化能力，减少了本对输入图像采集的限制。
在一些实施例中，所述深度学习模型的预处理层，对所述输入图像进行图像预处理得到图像尺寸和/或图像质量满足预设要求的所述手部图像，包括：
所述预处理层从所述输入图截取出包含手部成像的第一图像区域；
对所述第一图像区域进行上采样或下采样，得到图像尺寸满足所述预设要求的第二图像区域；和/或，对所述第一图像区域或所述第二图像区域进行图像质量提升得到满足图像质量满足所述预设要求的所述手部图像。
在一些实施例中，所述深度学习模型的预处理层，对所述输入图像进行图像预处理得到图像尺寸和/或图像质量满足预设要求的所述手部图像，包括：
所述预处理层从所述输入图截取出包含手部成像的第一图像区域；
对所述第一图像区域进行上采样或下采样，得到图像尺寸满足所述预设要求的第二图像区域；和/或，对所述第一图像区域或所述第二图像区域进行图像质量提升得到满足图像质量满足所述预设要求的所述手部图像。
提升图像质量可包括：图像的降噪处理和/或干扰色剔除的预处理等。
通过深度学习模型(即神经网络)(卷积->池化)提取到多维特征向量，再经过全连接层输出类别向量，哪一类别所在维度的概率最高，则判断手部图像中的手势操作的分类。
该神经网络，具有级轻的忒地案，该神经网络可以使用；——整体结构基于深度可分离卷积；
使用注意力机制参与特征提取，该注意力机制可包括空间注意力机制和/或通道注意力机制。
该深度学习模型可为多任务模型。多任务模型的多个任务分支，可以共用前面特征提取层，在进行第二手指触碰的区域识别的学习的同时，额外增加其他的全连接层进行是否存在手、左右手、关键点、手的旋转角度的学习和提取，再综合多个任务的处理结果，对被识别手部图像中的操作手势的分类。
在训练模式时，采用平滑标签(label smooth)进行模型训练，并采用焦点损失函数(focal loss)函数计算损失值，以提升深度学习模型的分类精确度。
本技术方案所属的技术领域为手势识别领域，通过对图像当中的手部进行检测、跟踪以及动作分类，达到区分手势动作，进而实现人机交互的目的。
本公开实施例提供的技术方案，可应用于AR/VR/MR等设备的人机交互，也可用于AIoT等智能家具设备的远程联动与控制。在没有或者室外等不便使用外接设备，如键盘、鼠标等，但需要进行人机交互的应用场景中，本公开可通过摄像头采集手部照片，识别手势动作进行控制或输入；
本公开基于单手触发，仅通过大拇指触碰指节相关区域便能识别出其触摸区域，并触发相应的输入或控制，此外，综合左右手，多达80个触碰区域，手势类别丰富；
本公开基于深度学习进行手部检测、手势识别，手部无需穿戴额外的传感器或者标记；
本公开的手势识别基于图像分类任务，可避免基于关键点检测的手势识别中，由于手部自遮挡的问题，导致关键点检测不准。
本公开在本公开实施例中，手部检测以及手势识别基于神经网络。
本公开中的手势定义为如图3至图6所示，其粗粒度的类别分别为手势1、手势2、手势3以及手势4，然后每个粗粒度类别下，又划分了若干个区域，本公开方案通过神经网络可识别出大拇指触碰了哪个区域，并且属于哪个粗粒度类别。
如图7所示为触摸区域1，则用户输入的操作手势为手势1。图8所示为触摸区域10，则用户输入的操作手势为手势2。
本公开实施例体用一套便利的手势识别方案，可广泛用于AR、VR、MR以及其他无需外接硬件输入设备的人机交互场景，并且手部无需穿戴额外的传感器或进行标记；基于分类的识别方式可规避由于手部自遮挡问题导致的手部关键点预测不准确问题；仅单手操作下，该方案中可支持识别的手势类别达80种，种类繁多，可用于常规的字符输入以及控制。
如图11所示，本公开实施例提供一种信息输入装置，所述装置包括：
获取模块110，用于获取手部图像；
第一确定模块120，用于确定所述手部图像内处于打开状态的第一手指，以及第二手指在所述第一手指和/或手掌中的触摸到的目标触摸区域；其中，所述目标触摸区域为所述第一手指和/或手掌内预先划分的设定触摸区域之一；
第二确定模块130，用于根据处于打开状态的第一手指和所述目标触摸区域确定待输入的目标信息。
该信息输入装置可包括在目标设备内，也可以包含在目标设备的控制设备内。
在一些实施例中，所述获取模块110、第一确定模块120以及所述第二确定模块130可为程序模块；所述程序模块被处理器执行之后，能够实现上述操作。
在另一些实施例中，所述获取模块110、第一确定模块120以及所述第二确定模块130可可为软硬结合模块；所述软硬结合模块包括但不限于可编程阵列；所述可编程阵列包括但不限于：现场可编程阵列和/或复杂可编程阵列。
在还有一些实施例中，所述获取模块110、第一确定模块120以及所述第二确定模块130可可为纯硬件模块；所述纯硬件模块包括但不限于：专用集成电路。
在一些实施例中，所述设定触摸区域包括以下至少之一：
手指指节之间的区域、手指指尖和手指指节之间的区域、手掌中靠近指根的区域、手指指尖所在的区域、并拢的手指之间的指缝处划分的区域、手指指节所在的区域、手掌中靠近指根的区域。
在一些实施例中，所述第二确定模块130，具体用于基于预设对应关系，根据处于打开状态的第一手指和所述目标触摸区域确定待输入的所述目标信息；
其中，所述预设对应关系至少包括：不同的第一手指处于打开状态下，所述第一手指和/或手掌内的各设定触摸区域与输入信息的关系。
在一些实施例中，所述预设对应关系根据如下至少一种关系确定：
不同的第一手指处于打开状态下，所述第一手指和/或手掌内划分的设定触摸区域的数量，与输入内容或输入功能具有相关性的输入按键的按键数量之间的关系；
不同的第一手指处于打开状态下，所述第一手指和/或手掌内划分的设定触摸区域的数量，与使用频次大于预设频次的输入按键的按键数量之间的关系；
不同的第一手指处于打开状态下，所述第一手指和/或手掌内划分的各设定触摸区域之间的相对位置，与按键中被用户连续选择的概率高于预设概率的按键之间的关系。
在一些实施例中，所述获取模块110，具体还用于在获取手部图像之前，根据所述预设对应关系在所述第一手指和/或手掌的各设定触摸区域中显示与设定触摸区域对应的输入信息。
在一个实施例中，所述获取模块110，还具体用于检测到所述第二手指触摸各设定触摸区域中任一目标触摸区域后，获取所述手部图像；或者，检测到所述第二手指触摸各设定触摸区域中任一目标触摸区域的触摸时长超过预设时长，则获取在所述触摸时长内的任一帧手部图像。
在一些实施例中，所述获取模块，用于判断是否检测到设定唤醒操作；其中，所述设定唤醒操作用于指示开始通过所述手部图像实现信息输入。
在一些实施例中，所述第一确定模块120，用于若所述手部图像中的手部为单手，则确定所述单手中处于打开状态的第一手指，以及所述单手中的第二手指在所述单手的第一手指和/或手掌中的触摸到的目标触摸区域；所述单手为左手或右手；
若所述手部图像中的手部为左手和右手，则确定所述左手中处于打开状态的第一手指，以及所述左手中的第二手指在所述左手的第一手指和/或手掌中的触摸到的目标触摸区域，并确定所述右手中处于打开状态的第一手指，以及所述右手中的第二手指在所述右手的第一手指和/或手掌中的触摸到的目标触摸区域。
在一些实施例中，所述第一手指与所述第二手指为同一只手的手指，且所述第二手指为大拇指。
本公开实施例提供一种电子设备，包括：
用于存储处理器可执行指令的存储器；
处理器，与所述存储器连接；
其中，所述处理器被配置为执行如前述任意技术方案提供的信息输入方法，具体可包括如图1、图2、以及图10任一所示的方法。
该电子设备包括但不限于各种固定终端和/或移动终端。
该处理器可与存储器通过总线连接，该总线包括但不限于：IPS总线和/或I2C总线等。
在一些实施例中，所述电子设备还包括网络接口，同样地所述网络接口通过总线等于所述处理器连接。所述网络接口可用于所述电子设备连接到网络。
本公开实施例提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由计算机的处理器执行时，使得计算机能够执行前述任意技术方案提供的软件包升级方法，可如图1、图2、以及图10任一所示的方法。
参照图12，本公开实施例提供一种电子设备，该电子设备为前述显示设备。电子设备800可以包括以下一个或多个组件：处理组件802，存储器804，电源组件806，多媒体组件808，多媒体数据组件810，输入/输出(I/O)的接口812，传感器组件814，以及通信组件816。处理组件802通常控制电子设备800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在设备800的操作。这些数据的示例包括用于在电子设备800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件806为电子设备800的各种组件提供电力。电力组件806可以包括电源管理系统，一个或多个电源，及其他与为电子设备800生成、管理和分配电力相关联的组件。
多媒体组件808包括在电子设备800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当设备800处于操作状态，如拍摄状态或视频状态时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
多媒体数据组件810被配置为输出和/或输入多媒体数据信号。例如，多媒体数据组件810包括一个麦克风(MIC)，当电子设备800处于操作状态，如呼叫状态、记录状态和语音识别状态时，麦克风被配置为接收外部多媒体数据信号。所接收的多媒体数据信号可以被进一步存储在存储器804或经由通信组件816发送。
在一些实施例中，多媒体数据组件810还包括一个扬声器，用于输出多媒体数据信号。
I/O接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，操作钮等。这些操作钮可包括但不限于：主页操作钮、音量操作钮、启动操作钮和锁定操作钮。
传感器组件814包括一个或多个传感器，用于为电子设备800提供各个方面的状态评估。例如，传感器组件814可以检测到设备800的打开/关闭状态，组件的相对定位，例如组件为电子设备800的显示器和小键盘，传感器组件814还可以检测电子设备800或电子设备800一个组件的位置改变，用户与电子设备800接触的存在或不存在，电子设备800方位或加速/减速和电子设备800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件816被配置为便于电子设备800和其他设备之间有线或无线方式的通信。电子设备800可以接入基于通信标准的无线网络，如Wi-Fi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，通信组件816还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，装置800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述任意一个实施例提供的信息输入方法。
该信息输入方法可包括：
获取手部图像；
确定所述手部图像内处于打开状态的第一手指，以及第二手指在所述第一手指和/或手掌中的触摸到的目标触摸区域；其中，所述目标触摸区域为所述第一手指和/或手掌内预先划分的设定触摸区域之一；
根据处于打开状态的第一手指和所述目标触摸区域确定待输入的目标信息。
可以理解地，所述设定触摸区域包括以下至少之一：
手指指节之间的区域、手指指尖和手指指节之间的区域、手掌中靠近指根的区域、手指指尖所在的区域、并拢的手指之间的指缝处划分的区域、手指指节所在的区域、手掌中靠近指根的区域。
可以理解地，所述根据处于打开状态的第一手指和所述目标触摸区域确定待输入的目标信息，包括：
基于预设对应关系，根据处于打开状态的第一手指和所述目标触摸区域确定待输入的所述目标信息；
其中，所述预设对应关系至少包括：不同的第一手指处于打开状态下，所述第一手指和/或手掌内的各设定触摸区域与输入信息的关系。
可以理解地，所述预设对应关系根据如下至少一种关系确定：
不同的第一手指处于打开状态下，所述第一手指和/或手掌内划分的设定触摸区域的数量，与输入内容或输入内容具有相关性的输入按键的按键数量之间的关系；
不同的第一手指处于打开状态下，所述第一手指和/或手掌内划分的设定触摸区域的数量，与使用频次大于预设频次的输入按键的按键数量之间的关系；
不同的第一手指处于打开状态下，所述第一手指和/或手掌内划分的各设定触摸区域之间的相对位置，与按键中被用户连续选择的概率高于预设概率的按键之间的关系。
可以理解地，所述获取手部图像之前，还包括：
根据所述预设对应关系在所述第一手指和/或手掌的各设定触摸区域中显示与设定触摸区域对应的输入信息。
可以理解地，所述获取手部图像，包括：
检测到所述第二手指触摸各设定触摸区域中任一目标触摸区域后，获取所述手部图像；
或者，检测到所述第二手指触摸各设定触摸区域中任一目标触摸区域的触摸时长超过预设时长，则获取在所述触摸时长内的任一帧手部图像。
可以理解地，所述获取手部图像之前，还包括：
判断是否检测到设定唤醒操作；其中，所述设定唤醒操作用于指示开始通过所述手部图像实现信息输入。
可以理解地，所述确定所述手部图像内处于打开状态的第一手指，以及第二手指在所述第一手指和/或手掌中的触摸到的目标触摸区域，包括：
若所述手部图像中的手部为单手，则确定所述单手中处于打开状态的第一手指，以及所述单手中的第二手指在所述单手的第一手指和/或手掌中的触摸到的目标触摸区域；所述单手为左手或右手；
若所述手部图像中的手部为左手和右手，则确定所述左手中处于打开状态的第一手指，以及所述左手中的第二手指在所述左手的第一手指和/或手掌中的触摸到的目标触摸区域，并确定所述右手中处于打开状态的第一手指，以及所述右手中的第二手指在所述右手的第一手指和/或手掌中的触摸到的目标触摸区域。
可以理解地，所述第一手指与所述第二手指为同一只手的手指，且所述第二手指为大拇指。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (11)

1.一种信息输入方法，其特征在于，所述方法包括：
获取手部图像；
确定所述手部图像内处于打开状态的第一手指，以及第二手指在所述第一手指和/或手掌中的触摸到的目标触摸区域；其中，所述目标触摸区域为所述第一手指和/或手掌内预先划分的设定触摸区域之一；
根据处于打开状态的第一手指和所述目标触摸区域确定待输入的目标信息。
2.根据权利1所述的方法，其特征在于，所述设定触摸区域包括以下至少之一：
手指指节之间的区域、手指指尖和手指指节之间的区域、手掌中靠近指根的区域、手指指尖所在的区域、并拢的手指之间的指缝处划分的区域、手指指节所在的区域、手掌内划分的区域。
3.根据权利要求1所述的方法，其特征在于，所述根据处于打开状态的第一手指和所述目标触摸区域确定待输入的目标信息，包括：
基于预设对应关系，根据处于打开状态的第一手指和所述目标触摸区域确定待输入的所述目标信息；
其中，所述预设对应关系至少包括：不同的第一手指处于打开状态下，所述第一手指和/或手掌内的各设定触摸区域与输入信息的关系。
4.根据权利要求3所述的方法，其特征在于，所述预设对应关系根据如下至少一种关系确定：
不同的第一手指处于打开状态下，所述第一手指和/或手掌内划分的设定触摸区域的数量，与输入内容或输入功能具有相关性的输入按键的按键数量之间的关系；
不同的第一手指处于打开状态下，所述第一手指和/或手掌内划分的设定触摸区域的数量，与使用频次大于预设频次的输入按键的按键数量之间的关系；
不同的第一手指处于打开状态下，所述第一手指和/或手掌内划分的各设定触摸区域之间的相对位置，与按键中被用户连续选择的概率高于预设概率的按键之间的关系。
5.根据权利要求3所述的方法，其特征在于，所述获取手部图像之前，还包括：
根据所述预设对应关系在所述第一手指和/或手掌的各设定触摸区域中显示与设定触摸区域对应的输入信息。
6.根据权利要求3所述的方法，其特征在于，所述获取所述手部图像，包括：
检测到所述第二手指触摸各设定触摸区域中任一目标触摸区域后，获取所述手部图像；
或者，检测到所述第二手指触摸各设定触摸区域中任一目标触摸区域的触摸时长超过预设时长，则获取在所述触摸时长内的任一帧手部图像。
7.根据权利要求1所述的方法，其特征在于，所述获取手部图像之前，还包括：
判断是否检测到设定唤醒操作；其中，所述设定唤醒操作用于指示开始通过所述手部图像实现信息输入。
8.根据权利要求1所述的方法，其特征在于，所述确定所述手部图像内处于打开状态的第一手指，以及第二手指在所述第一手指和/或手掌中的触摸到的目标触摸区域，包括：
若所述手部图像中的手部为单手，则确定所述单手中处于打开状态的第一手指，以及所述单手中的第二手指在所述单手的第一手指和/或手掌中的触摸到的目标触摸区域；所述单手为左手或右手；
若所述手部图像中的手部为左手和右手，则确定所述左手中处于打开状态的第一手指，以及所述左手中的第二手指在所述左手的第一手指和/或手掌中的触摸到的目标触摸区域，并确定所述右手中处于打开状态的第一手指，以及所述右手中的第二手指在所述右手的第一手指和/或手掌中的触摸到的目标触摸区域。
9.一种信息输入装置，其特征在于，所述装置包括：
获取模块，用于获取手部图像；
第一确定模块，用于确定所述手部图像内处于打开状态的第一手指，以及第二手指在所述第一手指和/或手掌中的触摸到的目标触摸区域；其中，所述目标触摸区域为所述第一手指和/或手掌内预先划分的设定触摸区域之一；
第二确定模块，用于根据处于打开状态的第一手指和所述目标触摸区域确定待输入的目标信息。
10.一种电子设备，其特征在于，包括：
用于存储处理器可执行指令的存储器；
处理器，与所述存储器连接；
其中，所述处理器被配置为执行如权利要求1至8中任一项所述的信息输入方法。
11.一种非临时性计算机可读存储介质，当所述存储介质中的指令由计算机的处理器执行时，使得计算机能够执行如权利要求1至8中任一项所述信息输入方法。
CN202210642074.XA 2022-06-07 2022-06-07 信息输入方法以及装置、电子设备及存储介质 Pending CN117234405A (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202210642074.XA CN117234405A (zh) 2022-06-07 2022-06-07 信息输入方法以及装置、电子设备及存储介质
KR1020220131598A KR20230168568A (ko) 2022-06-07 2022-10-13 정보 입력 방법 및 장치, 전자 기기 및 저장 매체
US17/965,327 US20230393649A1 (en) 2022-06-07 2022-10-13 Method and device for inputting information
EP22201599.2A EP4290338A1 (en) 2022-06-07 2022-10-14 Method and apparatus for inputting information, and storage medium
JP2022165595A JP2023179345A (ja) 2022-06-07 2022-10-14 情報入力方法及び装置、電子機器並びに記憶媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210642074.XA CN117234405A (zh) 2022-06-07 2022-06-07 信息输入方法以及装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN117234405A true CN117234405A (zh) 2023-12-15

Family

ID=83692642

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210642074.XA Pending CN117234405A (zh) 2022-06-07 2022-06-07 信息输入方法以及装置、电子设备及存储介质

Country Status (5)

Country Link
US (1) US20230393649A1 (zh)
EP (1) EP4290338A1 (zh)
JP (1) JP2023179345A (zh)
KR (1) KR20230168568A (zh)
CN (1) CN117234405A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117472189A (zh) * 2023-12-27 2024-01-30 大连三通科技发展有限公司 具有实物感的打字或触控的实现方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101947034B1 (ko) * 2012-08-21 2019-04-25 삼성전자 주식회사 휴대 기기의 입력 장치 및 방법
US20140267024A1 (en) * 2013-03-15 2014-09-18 Eric Jeffrey Keller Computing interface system
US10013083B2 (en) * 2014-04-28 2018-07-03 Qualcomm Incorporated Utilizing real world objects for user input
US11249556B1 (en) * 2020-11-30 2022-02-15 Microsoft Technology Licensing, Llc Single-handed microgesture inputs

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117472189A (zh) * 2023-12-27 2024-01-30 大连三通科技发展有限公司 具有实物感的打字或触控的实现方法
CN117472189B (zh) * 2023-12-27 2024-04-09 大连三通科技发展有限公司 具有实物感的打字或触控的实现方法

Also Published As

Publication number Publication date
KR20230168568A (ko) 2023-12-14
JP2023179345A (ja) 2023-12-19
US20230393649A1 (en) 2023-12-07
EP4290338A1 (en) 2023-12-13

Similar Documents

Publication Publication Date Title
WO2021135601A1 (zh) 辅助拍照方法、装置、终端设备及存储介质
US10721196B2 (en) Method and device for message reading
US8957857B2 (en) Device and method for controlling mouse pointer
US11455491B2 (en) Method and device for training image recognition model, and storage medium
WO2019174628A1 (zh) 拍照方法及移动终端
CN111031398A (zh) 一种视频控制方法及电子设备
US20210248363A1 (en) Posture detection method, apparatus and device, and storage medium
CN111988493B (zh) 交互处理方法、装置、设备及存储介质
US20210165670A1 (en) Method, apparatus for adding shortcut plug-in, and intelligent device
CN112364799A (zh) 一种手势识别方法及装置
US20190370584A1 (en) Collecting fingerprints
CN111984347A (zh) 交互处理方法、装置、设备及存储介质
CN112911147A (zh) 显示控制方法、显示控制装置及电子设备
CN109669710B (zh) 便签处理方法及终端
US20110037731A1 (en) Electronic device and operating method thereof
US20230393649A1 (en) Method and device for inputting information
CN108073291B (zh) 一种输入方法和装置、一种用于输入的装置
CN107168618A (zh) 一种屏幕显示界面的缩放装置、终端及方法
WO2022247745A1 (zh) 触控方法、触控装置和电子设备
CN111651082B (zh) 一种触控屏解锁方法、装置、电子设备及存储介质
CN113873165A (zh) 拍照方法、装置和电子设备
CN111930296A (zh) 电子设备的控制方法、装置及电子设备
CN112445363A (zh) 电子设备、电子设备的控制方法及装置、存储介质
CN112306251A (zh) 一种输入方法、装置和用于输入的装置
US11402994B2 (en) Method and apparatus for calling shortcut function, and storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination