CN102449573A - 基于手指识别区分右手输入和左手输入 - Google Patents

基于手指识别区分右手输入和左手输入 Download PDF

Info

Publication number
CN102449573A
CN102449573A CN2009801596480A CN200980159648A CN102449573A CN 102449573 A CN102449573 A CN 102449573A CN 2009801596480 A CN2009801596480 A CN 2009801596480A CN 200980159648 A CN200980159648 A CN 200980159648A CN 102449573 A CN102449573 A CN 102449573A
Authority
CN
China
Prior art keywords
finger
image
right hand
hand
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2009801596480A
Other languages
English (en)
Inventor
隆基津
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Mobile Communications AB
Original Assignee
Sony Ericsson Mobile Communications AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Ericsson Mobile Communications AB filed Critical Sony Ericsson Mobile Communications AB
Publication of CN102449573A publication Critical patent/CN102449573A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1643—Details related to the display arrangement, including those related to the mounting of the display in the housing the display being associated to a digitizer, e.g. laptops that can be used as penpads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/30—Individual registration on entry or exit not involving the use of a pass
    • G07C9/32—Individual registration on entry or exit not involving the use of a pass in combination with an identity check
    • G07C9/37—Individual registration on entry or exit not involving the use of a pass in combination with an identity check using biometric data, e.g. fingerprints, iris scans or voice recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/161—Indexing scheme relating to constructional details of the monitor
    • G06F2200/1614—Image rotation following screen orientation, e.g. switching from landscape to portrait mode

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种装置，所述装置可以包括用于检测手指的第一传感器和用于获取手指的图像的第二传感器。此外，所述装置可以包括处理器，以当第一传感器检测到手指时从第二传感器获得图像，基于所述图像确定所检测的手指属于右手还是左手，当所检测的手指属于右手时执行与右手相关联的功能，并且当所检测的手指属于左手时执行与左手相关联的功能。

Description

基于手指识别区分右手输入和左手输入
技术领域
在多种类型的装置中，用户可以通过触摸屏提供输入。触摸屏允许用户与显示在屏幕显示器上的图形用户接口(GUI)对象交互。
发明内容
根据一个方面，装置可以包括用于检测手指的第一传感器和用于获取手指的图像的第二传感器。此外，所述装置可以包括处理器，以当第一传感器检测到手指时从第二传感器获得图像，基于所述图像确定所检测的手指属于右手还是左手，当所检测的手指属于右手时执行与右手相关联的功能，并且当所检测的手指属于左手时执行与左手相关联的功能。
此外，当处理器执行与右手相关联的功能时，处理器还可以被配置为布置用于右手的图形用户接口(GUI)组件。
此外，所述图形用户接口(GUI)组件可以包括以下各项中的至少一个：按钮；菜单项；图标；光标；箭头；文本框；滚动条；图像；文本；或者超链接。
此外，处理器还可以被配置为登记所述右手和所述左手。
此外，登记所述右手的所述处理器还被配置为将所述手指的登记图像与所述右手相关联。
此外，所述装置可以包括移动电话、电子记事本、游戏机、膝上型计算机、个人数字助理或者个人计算机。
此外，所述第一传感器可以包括触摸屏；并且所述第二传感器可以包括扫描器、电荷耦合器件、红外传感器、或者声传感器中的一个。
此外，所述图像可以包括所述手指的静脉的图像、指纹或者手指形状中的至少一个。
此外，所述第二传感器可以位于所述显示器内包括的活动按钮区域中。
此外，所述功能可以包括以下各项中的至少一个：浏览网页、打电话、向特定的地址发送电子邮件、发送多媒体消息、发送即时消息、观看或者编辑文档、播放音乐或视频、计划事件或者修改地址薄。
根据另一个方面，一种方法可以包括以下步骤：当手指靠近或触摸装置的显示器时检测所述手指；当检测到所述手指时获得所述手指的图像；基于所述图像确定所述手指属于右手还是左手；当所述手指属于所述左手时，提供左手图形用户接口；以及当所述手指属于所述右手时，提供右手图形用户接口。
此外，对用户输入的响应可以包括以下各项中的一个或更多个：载入网页；向特定用户打电话；打开电子邮件应用来编辑要发送至特定的地址的电子邮件；向用户发送多媒体消息；向一个或更多个用户发送即时消息；载入文档以进行编辑；播放音乐或视频；计划约会；或者对地址薄插入或删除条目。
此外，所述方法还可以包括登记所述右手和所述左手。
此外，登记所述右手可以包括获取所述手指的登记图像、在所述登记图像和所述右手之间创建关联、以及存储所述登记图像和所述右手之间的关联。
此外，所述方法还可以包括基于所述图像鉴别用户。
此外，获取所述手指的所述图像可以包括获取所述手指的静脉的图像、获取指纹、或者获取所述手指的形状。
此外，获得图像可以包括基于以下各项中的至少一个获得所述图像：来自所述手指的反射光、反射的红外线信号、或者反射的声音信号。
根据另一方面，一种包括计算机可执行指令的计算机可读介质，所述计算机可执行指令包括用于以下操作的指令：当装置检测到触摸时，从传感器获得手指的图像；通过基于图像查找数据库中的鉴识信息来检索所述鉴识信息；基于所述鉴识信息识别所述手指属于哪支手；以及显示与所识别的手相关的图形用户接口。
此外，所述装置可以包括以下各项中的一个：蜂窝电话、电子记事本、游戏机、膝上型计算机、个人数字助理或者个人计算机。
此外，所述计算机可读介质还包括用于将所述手指的登记图像与所识别的手相关联的指令。
附图说明
附图被并入并组成该说明书的一部分，附图例示了该说明书描述的一个或更多个实施方式，并与描述一起来解释实施方式。在附图中：
图1例示了此处所描述的概念；
图2是实现此处所描述的概念的示例性装置的图；
图3是图2的装置的框图；
图4是图2的装置的示例性显示屏幕的示例性组件的图；
图5是图2的装置的示例性功能组件的框图；
图6A和图6B例示了用于从左手和右手接收输入的示例性图形用户接口(GUI)组件；
图7是与手登记相关联的示例性处理的流程图；
图8是用于鉴识/识别手的示例性处理的流程图；以及
图9例示了与鉴识/识别手相关联的示例。
具体说明
以下具体描述参照附图。相同的附图标记在不同的图中可以识别相同的或相似的元件。如在本文中所使用的，术语“静脉”可以表示血管(例如，毛细血管、静脉等)。此外，术语“右手图形用户接口(GUI)对象”可以表示为了与用户的右手交互所设计的GUI对象。同样地，术语“左手GUI对象”可以表示为了与用户的左手交互所设计的GUI对象。
在下文中，装置可以鉴识向装置提供输入的一个或更多个用户的手指(例如，右手的拇指、左手的食指等)。基于该鉴识，装置可以鉴别用户和/或提供适合于右手或左手输入的特定的功能。
图1例示了以上概念的一个实施方式。图1示出了能够识别/鉴识手指、以进行鉴别和/或GUI交互的装置102。装置102可以包括触摸屏104，触摸屏104可以显示右手GUI对象106或者左手GUI对象108。尽管GUI对象106和108可以包括不同类型的按钮、菜单项、图标、指针、箭头、文本框、图像、文本、可选的列表框、超链接等，但是将GUI对象106和108在图1中例示为具有GUI字母数字键盘的窗口。
如图1进一步所示的，GUI对象106和108可以分别包括快捷按钮110和112。可以将快捷按钮110布置在GUI对象106内，以允许用户比用用户的左手更方便地用右手使用快捷按钮110。例如，快捷按钮110可以位于触摸屏104的右侧，使得用右手触摸快捷按钮110的一个按钮基本不会妨碍用户对GUI对象106的观看。同样地，可以将快捷按钮112布置在GUI对象108内，以允许用户比用用户的右手更方便地用左手使用快捷按钮112。
在以上所述中，当用户右手的手指114接近触摸屏104时，装置102可以根据手指114的图像(例如，手指104的指纹、形状、静脉的图像等)感应并鉴识手指114。例如，装置102可以将手指114的静脉的图像与和装置102的授权用户的手指相关联的静脉的图像的数据库进行匹配。
在鉴识手指114之后，装置102可以鉴别手指114所属的用户，确定手指114属于右手还是左手，和/或显示右手或左手GUI对象。例如，在图1中，装置102可以识别手指114属于隆元先生的右手，鉴别隆元先生，并且显示用于与右手进行交互的GUI对象106。同样地，当手指116接近触摸屏104时，装置102可以识别手指116属于隆元先生的左手，鉴别隆元先生，并且显示用于与左手进行交互的GUI对象108。通过选择性地使能右手GUI对象106或者左手GUI对象108，装置102可以向用户提供增加的便利性。
图2是可以实现本发明所描述的概念的示例性装置200的图。装置200可以包括任一以下装置：移动电话；蜂窝电话；可以将蜂窝无线电话与数据处理、传真和/或数据通信功能组合的个人通信系统(PCS)终端；电子记事本、膝上型计算机和/或个人计算机；可以包括电话的个人数字助理(PDA)；游戏装置或控制台；外围设备(例如，无线耳机)；数字照相机；或者组合了能够获得手指的图像(例如，手指的静脉的图像、手指形状、指纹等)的触摸屏的另一类型的计算装置或通信装置。
在该实现方式中，装置200可以采用移动电话(例如，蜂窝电话)的形式。如图2所示，装置200可以包括扬声器202、显示器204、控制按钮206、键盘208、麦克风210、传感器212、前置照相机214和外壳216。扬声器202可以向装置200的用户提供听觉信息。
显示器204可以向用户提供视觉信息，例如，呼叫方的图像、视频图像或者图片。此外，显示器204可以包括用于向装置200提供输入的触摸屏。此外，显示器204可以能够获得接近显示器204表面的手指的一个或更多个图像。
在一些实现方式中，显示器204可以包括一个或更多个活动按钮区域218，在活动按钮区域218中，显示器204可以获得手指的图像，而不是整个显示器204能够获得手指的图像。显示器204可以提供用于在活动按钮区域218中检测图像(例如，手指的静脉的图像)的硬件/软件。在不同的实现方式中，活动按钮区域218可以位于不同的屏幕区域中，比图2中所例示的更小、更大、和/或具有不同的形状(例如，圆形、椭圆形、正方形等)。
控制按钮206可以允许用户与装置200交互，以使装置200执行一个或更多个操作，例如，打电话或接电话。键盘208可以包括电话键盘。麦克风210可以从用户接收听觉信息。传感器212可以收集用于帮助用户采集图像或者提供其它类型的信息(例如，用户和装置200之间的距离)的信息(例如，声学、红外等)，并将其提供至装置200。前置照相机214可以使用户能够观看、采集并存储位于装置200前面的对象的图像(例如，图片、视频短片)。外壳216可以为装置200的组件提供壳体，并且可以保护组件免受外部元件影响。
图3是图2的装置的框图。如图3所示，装置200可以包括处理器302、存储器304、输入/输出组件306、网络接口308和通信路径310。在不同的实现方式中，与在图2中所例示的组件相比，装置200可以包括附加的、更少的或者不同的组件。例如，装置200可以包括附加的网络接口，例如用于接收和发送数据分组的接口。
处理器302可以包括处理器、微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)和/或其它能够处理信息和/或控制装置200的处理逻辑(例如，音频/视频处理器)。存储器304可以包括静态存储器(例如只读存储器(ROM))和/或动态存储器(例如，随机存取存储器(RAM)或板载缓存器)，以存储数据和机器可读指令。存储器304也可以包括存储装置，例如软盘、CD ROM、CD读/写(R/W)盘、和/或闪存存储器，以及其它类型的存储装置。
输入/输出组件306可以包括显示屏(例如，显示器106、显示器204等)、键盘、鼠标、扬声器、麦克风、数字视频光盘(DVD)刻录机、DVD读取机、通用串行总线(USB)线和/或用于将物理事件或现象转换为关于装置200的数字信号和/或其逆向转换的其它类型的组件。
网络接口308可以包括任何类似收发器的机构，该机构使得装置200能够与其它装置和/或系统进行通信。例如，网络接口308可以包括用于通过网络(例如，因特网、地面无线网络(例如，WLAN)、蜂窝网络、基于卫星的网络、WPAN等)进行通信的机构。附加地或另选地，网络接口308可以包括调制解调器、对LAN的以太网接口和/或用于将装置200连接至其它装置的接口/连接(例如，蓝牙接口)。
通信路径310可以提供接口，装置200的组件可以通过该接口彼此通信。
图4是装置200的显示屏400的示例性组件的图。如图所示，显示屏400可以包括触摸面板402、显示面板404和扫描面板406。根据实现方式，与在图4中所例示的相比，显示屏400可以包括附加的、更少的或者不同的组件(例如，附加的面板、屏幕等)。
触摸面板402可以包括透明面板/表面，该透明面板/表面用于当手指/物体触摸或接近触摸面板402时定位手指或者物体(例如，触笔)的位置。触摸面板402可以与显示面板404相交叠，但是仍然允许观察到显示面板404上的图像。此外，触摸面板402可以允许外部光线照射在扫描面板406上。在一个实现方式中，触摸面板404可以在其表面产生电场，并且检测由于附近的物体所引起的电容和电场的改变。附接至触摸面板402的输出的单独的处理单元(未示出)可以使用触摸面板402的输出，以产生在电场中的扰动的位置，即物体的位置。
显示面板404可以包括液晶显示器(LCD)、有机发光二极管(OLED)显示器和/或能够向观察者提供图像的其它类型的显示器。在一些实现方式中，显示面板404可以允许光(例如，红外光)穿过其表面到达扫描面板408。
扫描面板406可以包括组件，该组件用于采集靠近显示屏400的表面的手指的图像(例如，手指的形状、指纹、手指的静脉的图像)。在一个实现方式中，扫描面板406可以包括配置为采集图像的电荷耦合器件(CCD)阵列。在另一实现方式中，扫描面板406可以包括光源，该光源可以从触摸面板406发光，并且在箭头408的方向上穿过显示面板404和触摸面板402。当从手指410反射的光通过触摸面板402和显示面板404到达扫描面板406时，扫描面板406可以采集手指412的图像。在另一实现方式中，扫描面板406可以向触摸触摸面板402的表面的手指发射声波，并且根据反射波获得手指412的图像。
在一些实现方式中，显示屏400可以包括限于诸如显示器204中的活动按钮区域218的区域的用于获得手指图像的专用硬件组件，来代替扫描面板406。在另一实现方式中，触摸面板402和/或显示面板404可以包括跨越显示屏400的整个表面区域或有限区域(例如，一个或更多个活动按钮区域218)的集成的、专用的区域，以获得图像。
图5是例示装置200的示例性功能组件的框图。如图所示，装置200可以包括操作系统502、应用504和手识别逻辑506。操作系统502可以管理装置200的硬件和软件资源。操作系统302可以管理例如文件系统、装置驱动器、通信资源(例如，传输控制协议(TCP)/IP栈)、事件通知等。应用504(例如，电子邮件客户端、网络浏览器、即时通信工具、媒体播放器、电话、通讯薄、文字处理器等)可以包括用于执行特定的任务(例如，发送电子邮件、当接收呼叫时提供声音、计划会议约定、浏览网页等)的集合的软件组件。
在一个示例性实施方式中，手识别逻辑506可以包括用于获得手指的图像并通过将图像与手指图像的数据库匹配来鉴识特定的手指的硬件和/或软件组件。基于该鉴识，手识别逻辑506可以确定手指属于用户的右手还是左手。在一些实现方式中，基于该鉴识，手识别逻辑506也可以鉴别用户。
此外，手识别逻辑506可以允许用户登记用户的一个或更多个手指的图像，并且将各个图像与鉴识符(例如，“右拇指”、“左食指”等)、右手、左手和/或用户相关联。手识别逻辑506可以提供用于登记图像的GUI，并且可以将图像存储在数据库中(例如，在存储器304中)。当完成了登记时，应用504和/或手识别逻辑506可以允许用户将登记的图像与快捷方式和/或应用504/手识别逻辑506的特定的任务相关联。
根据实现方式，与在图5中所例示的相比，装置200可以包括更少的、附加的或者不同的功能组件。例如，在一个实现方式中，装置200可以包括附加的应用、数据库等。此外，装置200的一个或更多个功能组件可以提供其它组件的功能。例如，在不同的实现方式中，操作系统502和/或应用504可以提供手识别逻辑506的功能。在这种实现方式中，装置200可以或者可以不包括手识别逻辑506。在另一实现方式中，装置200可以利用手识别逻辑506来执行任务。例如，假设应用504是文字处理器。当用户的手接近装置200的显示屏时，应用504可以使用手识别逻辑506来鉴识手，并且使能所选择的菜单组件(例如，编辑、查看、工具等)。
图6A和图6B分别例示了用于从左手和右手接收输入的示例性GUI组件。更具体地，图6A示出左手浏览器窗口602。当手识别逻辑506检测并鉴识属于左手的手指时，装置200可以显示左手浏览器窗口602。如图所示，左手浏览器窗口602可以包括布置于浏览器窗口602上的按钮604和滚动条606，以允许用左手使用不同的浏览器功能而不妨碍用户对浏览窗格608的观看。
图6B示出右手浏览器窗口610。当手识别逻辑506检测并鉴识属于右手的手指时，装置200可以显示右手浏览器窗口610。如图所示，右手浏览器窗口610可以包括置于浏览器窗口610上的按钮604和滚动条608，以允许用右手使用不同的浏览器功能而不妨碍用户对浏览窗格608的视野。
针对手指识别/确认的示例性处理
图7是与手登记相关联的示例性处理700的流程图。登记处理700可以导致在可以搜索的数据库中存储手指图像，以鉴识匹配的图像和手指所属于的对应的手。
假设手识别逻辑506正在显示用于手登记的GUI。处理700可以开始于手识别逻辑506接收用户鉴识信息(例如，用户名、地址等)、手鉴识信息和/或手指鉴识信息(框702)。例如，用户可以将个人信息(例如，联系信息、用户名等)输入文本框。在另一示例中，用户可以在与特定的手指(例如，在“左食指”旁边的复选框)和/或手(例如，左手或右手)相关的复选框中放置对勾。
装置200可以检测手指，采集手指的图像，并且存储该图像(框704)。例如，当左食指移向显示屏400时，装置200可以检测手指。此外，通过扫描面板406，装置200可以采集手指的图像。当采集了图像时，装置200可以存储图像并且鉴识数据库中的信息(框704)。在给出匹配的图像后，装置200可以从数据库检索鉴识信息。
装置200可以接收鉴识信息(例如，手指鉴识、用户鉴识和/或手鉴识)、GUI对象(或另一类型的对象)和/或功能之间的关联(框706)。例如，通过GUI，用户可以选择右手或左手以及用户希望所识别的手或手指要关联的GUI组件。当手指触摸显示屏400时，可以向用户呈现GUI组件。例如，当用户用左手触摸显示屏时，装置200可以呈现左手浏览器602。在一些实现方式中，装置200可以提供不需要用户输入的默认的关联。
装置200可以存储鉴识信息(例如，右手或左手等)、GUI对象(或者GUI对象的类型)和/或功能之间的关联(框708)。稍后，可以基于该鉴识信息搜索所存储的信息。
图8是用于鉴识/识别手的示例性处理800的流程图。假设手识别逻辑506正在显示用于特定任务的GUI。处理800可以开始于利用装置200检测接近其显示屏表面的手指(框802)。例如，装置200可以检测靠近或触摸显示屏400表面的左食指。
装置200可以获得手指的图像(框802)。例如，当装置200检测左食指时，装置200可以获得左食指的指纹或者静脉的图像。
装置200可以获得与手指相关联的鉴识信息(框804)。为了获得鉴识信息，装置200可以搜索手指图像和相关的鉴识信息的数据库(见框702和704)。鉴识信息可以指示手指属于哪只手。在一些实现方式中，装置200也可以基于鉴识信息鉴别用户(框804)。根据鉴别的结果，装置200可以允许或阻止用户使用特定的功能和/或进一步使用装置200。
装置200可以检索与鉴识信息相关联的信息(框806)。利用鉴识信息，装置200可以搜索存储在装置200中的关联(见框706)。更具体地，利用作为钥匙的鉴识信息，装置200可以检索与鉴识信息相关联的功能和/或GUI对象(例如，右手浏览器610)。
此外，根据实现方式，装置200可以执行与所检索的GUI对象相关联的动作。例如，在一个实现方式中，可以将浏览器的GUI组件布置为适合右手或左手使用(例如，在浏览器窗口的右侧放置滚动条)。
装置200可以检测用户在与鉴识信息相关的一个GUI对象上的触摸(框808)。继续前面的示例，当用户触摸浏览器上的GUI对象时，装置200可以检测触摸并且鉴识所触摸的GUI对象。
装置200可以基于所鉴识的手指/手执行与GUI对象相关联的功能(框810)。例如，假设左手浏览器602与左手相关联并且“向John发送电子邮件”功能与用户的左食指相关联并与所选择的GUI对象相关联。当检测到GUI对象上的触摸时，装置200可以准备一封要发送至John的新电子邮件，新电子邮件消息的正文将由用户来提供。
在处理800中，可以基于手或手指的鉴识来检索GUI对象。在不同的实现中，装置200可以鉴识手指所触摸的GUI对象。一旦确定了所触摸的GUI对象，装置200可以获得针对手指/手的鉴识信息，并且利用该鉴识信息确定当特定的手触摸GUI对象时可以执行何种功能。注意，取决于哪只手触摸GUI对象，可以执行不同的功能。
示例
图9例示了与鉴识/识别手相关的示例。该示例与参照图7和图8的上述示例性处理700和800是一致的。图9示出了装置102。假设在装置102登记了隆元先生的手和/或手指。
隆元先生决定玩安装在装置102上的视频游戏。假设游戏涉及驾驶汽车902。当隆元先生用右食指触摸显示器104时，装置102获得隆元先生的右食指的静脉的图像，并且检索鉴识隆元先生的右手的信息。
根据鉴识，装置102显示控制按钮904。通过控制按钮904，装置102接收用于控制汽车902的用户输入。例如，通过操纵控制按钮904上的单个按钮，隆元先生可以对汽车902进行转向、刹车或加速。可以将在控制按钮904上的单个按钮设置或配置为允许隆元先生用他的右手比用他的左手更容易地控制汽车902。
在一些实现方式中，当隆元先生触摸显示器104时，装置102可以鉴别隆元先生，并且允许隆元先生使用装置102的特定功能(例如，游戏)。
总结
实现的前述描述提供了例示，但是不旨在穷尽以将实现限制为所公开的精确的形式。鉴于上述教导，修改和变型是可行的或者可以从教导的实践获得。
例如，当针对在图7和图8中所例示的示例性处理描述了一系列框时，在其它实现中可以改变框的顺序。此外，独立的框可以表示可以与其它框并行执行的行为。
明显的是，本发明所描述的多个方面可以实现为在图中所例示的实现中的软件、固件和硬件的许多不同的形式。用于实现多个方面的实际的软件代码或者专用的控制硬件不限制本发明。因此，不管特定的软件代码来描述多个方面的操作和行为-应理解的是，可以基于本发明的描述来设计软件和控制硬件，以实现各个方面。
应强调的是，当在该说明书中使用措辞“包括”时，是要指定规定的特征、要素、步骤或组件的存在，而不排除一个或更多个其它特征、要素、步骤、组件或其组合的存在或增加。
此外，将实现的特定部分描述为执行一个或更多个功能的“逻辑”。该逻辑可以包括硬件，例如处理器、微处理器、专用集成电路、或者现场可编程门阵列、软件、或者硬件和软件的组合。除非明确指出，否则本申请中的元素、行为或者指令都不应被解读为对于本发明所描述的实现是关键的或者必需的。而且，如在本发明中所使用的，冠词“一个(a)”旨在包括一个或更多个项目。此外，除非明确地另外指明，否则短语“基于”旨在表示“基于，至少部分地基于”。

Claims (20)

1.一种装置，所述装置包括：
第一传感器，所述第一传感器用于检测手指，以及
第二传感器，所述第二传感器用于获取所述手指的图像；以及
处理器，所述处理器：
当所述第一传感器检测到手指时，从所述第二传感器获得图像，
基于所述图像确定所检测的手指属于右手还是属于左手，
当所检测的手指属于所述右手时，执行与所述右手相关联的功能，以及
当所检测的手指属于所述左手时，执行与所述左手相关联的功能。
2.根据权利要求1所述的装置，其中，当所述处理器执行与所述右手相关联的功能时，所述处理器还被配置为：
布置用于所述右手的图形用户接口(GUI)组件。
3.根据权利要求3所述的装置，其中，所述图形用户接口(GUI)组件包括以下各项中的至少一个：
按钮；菜单项；图标；光标；箭头；文本框；滚动条；图像；文本；或者超链接。
4.根据权利要求1所述的装置，其中，所述处理器还被配置为：
登记所述右手和所述左手。
5.根据权利要求4所述的装置，其中，登记所述右手的所述处理器还被配置为：
将所述手指的登记图像与所述右手相关联。
6.根据权利要求1所述的装置，其中，所述装置包括：
移动电话、电子记事本、游戏机、膝上型计算机、个人数字助理或者个人计算机。
7.根据权利要求1所述的装置，其中，所述第一传感器包括触摸屏；并且所述第二传感器包括以下各项中的一个：
扫描器；电荷耦合器件；红外传感器；或者声传感器。
8.根据权利要求1所述的装置，其中，所述图像包括以下各项中的至少一个：
所述手指的静脉的图像、指纹或者手指形状。
9.根据权利要求1所述的装置，其中，所述第二图像传感器位于所述显示器内包括的活动按钮区域中。
10.根据权利要求1所述的装置，其中，所述功能包括以下各项中的至少一个：
浏览网页；打电话；向特定的地址发送电子邮件；发送多媒体消息；发送即时消息；观看或者编辑文档；播放音乐或视频；计划事件；或者修改地址薄。
11.一种方法，所述方法包括：
当手指靠近或触摸装置的显示器时检测所述手指；
当检测到所述手指时获得所述手指的图像；
基于所述图像确定所述手指属于右手还是左手；
当所述手指属于所述左手时，提供左手图形用户接口；以及
当所述手指属于所述右手时，提供右手图形用户接口。
12.根据权利要求11所述的方法，其中，对用户输入的响应包括以下各项中的一个或更多个：
载入网页；向特定用户打电话；打开电子邮件应用来编辑要发送至特定的地址的电子邮件；向用户发送多媒体消息；向一个或更多个用户发送即时消息；载入文档以进行编辑；播放音乐或视频；计划约会；或者对地址薄插入或删除条目。
13.根据权利要求11所述的方法，所述方法还包括：
登记所述右手和所述左手。
14.根据权利要求13所述的方法，其中，登记所述右手包括：
获取所述手指的登记图像；
在所述登记图像和所述右手之间创建关联；以及
存储所述登记图像和所述右手之间的关联。
15.根据权利要求11所述的方法，所述方法还包括：
基于所述图像鉴别用户。
16.根据权利要求11所述的方法，其中，获取所述手指的所述图像包括：
获取所述手指的静脉的图像；
获取指纹；或者
获取所述手指的形状。
17.根据权利要求11所述的方法，其中，获得图像包括：
基于以下各项中的至少一个获得所述图像：来自所述手指的反射光、反射的红外线信号、或者反射的声信号。
18.一种包括计算机可执行指令的计算机可读介质，所述计算机可执行指令包括用于以下操作的指令：
当装置检测到触摸时，从传感器获得手指的图像；
通过基于所述图像查找数据库中的鉴识信息来检索所述鉴识信息；
基于所述鉴识信息鉴识所述手指属于哪只手；以及
显示与所鉴识的手相关联的图形用户接口。
19.根据权利要求18所述的计算机可读介质，其中，所述装置包括以下各项中的一个：蜂窝电话、电子记事本、游戏机、膝上型计算机、个人数字助理或者个人计算机。
20.根据权利要求18所述的计算机可读介质，该计算机可读介质还包括用于将所述手指的登记图像与所识别的手相关联的指令。
CN2009801596480A 2009-06-09 2009-12-15 基于手指识别区分右手输入和左手输入 Pending CN102449573A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/481,067 US20100310136A1 (en) 2009-06-09 2009-06-09 Distinguishing right-hand input and left-hand input based on finger recognition
US12/481,067 2009-06-09
PCT/IB2009/055773 WO2010143025A1 (en) 2009-06-09 2009-12-15 Distinguishing right-hand input and left-hand input based on finger recognition

Publications (1)

Publication Number Publication Date
CN102449573A true CN102449573A (zh) 2012-05-09

Family

ID=42026363

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009801596480A Pending CN102449573A (zh) 2009-06-09 2009-12-15 基于手指识别区分右手输入和左手输入

Country Status (4)

Country Link
US (1) US20100310136A1 (zh)
EP (1) EP2440986A1 (zh)
CN (1) CN102449573A (zh)
WO (1) WO2010143025A1 (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103455192A (zh) * 2012-06-04 2013-12-18 原相科技股份有限公司 可携式电子装置及使用在可携式电子装置的方法
CN103513877A (zh) * 2012-06-29 2014-01-15 联想(北京)有限公司 处理操作对象的方法及电子设备
CN103576850A (zh) * 2012-12-26 2014-02-12 深圳市创荣发电子有限公司 一种手持设备的手持方式判断方法及系统
CN103713733A (zh) * 2012-10-08 2014-04-09 冠捷投资有限公司 利用指掌纹辨识的输入方法
CN103823629A (zh) * 2012-11-15 2014-05-28 通用汽车环球科技运作有限责任公司 用于汽车的输入设备
CN103995587A (zh) * 2014-05-13 2014-08-20 联想(北京)有限公司 一种信息控制方法及电子设备
CN105242858A (zh) * 2014-06-16 2016-01-13 中兴通讯股份有限公司 页面布局调整方法及终端
CN105278798A (zh) * 2014-06-30 2016-01-27 维沃移动通信有限公司 一种实现单手操作的移动终端及其实现方法
WO2016058387A1 (zh) * 2014-10-16 2016-04-21 华为技术有限公司 触控交互的处理方法、装置和系统
CN106062672A (zh) * 2014-02-26 2016-10-26 微软技术许可有限责任公司 设备控制
CN106104434A (zh) * 2014-03-17 2016-11-09 谷歌公司 使用触摸屏设备确定用户利手和定向
CN106170754A (zh) * 2014-05-13 2016-11-30 三星电子株式会社 使用指纹识别控制移动终端的方法及使用该方法的移动终端
WO2016191968A1 (zh) * 2015-05-29 2016-12-08 华为技术有限公司 一种左右手模式的确定方法、装置及终端设备
CN109003657A (zh) * 2018-06-22 2018-12-14 张小勇 一种饮食管理方法和系统
US10444951B2 (en) 2014-03-31 2019-10-15 Huawei Technologies Co., Ltd. Method and device for identifying a left-hand or a right-hand mode of operation on a user handheld device
US10485456B2 (en) 2014-04-30 2019-11-26 Beijing Zhigu Rui Tuo Tech Co., Ltd Identification method and device
CN112581426A (zh) * 2020-11-06 2021-03-30 上海达适医疗科技有限公司 一种红外热成像图像的左右腿识别方法

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011087785A (ja) * 2009-10-23 2011-05-06 Hitachi Ltd 操作処理装置、操作処理方法、および、操作処理プログラム
US9880622B2 (en) * 2009-12-21 2018-01-30 Kyocera Corporation Tactile sensation providing apparatus and control method for tactile sensation providing apparatus when using an application that does not support operation of tactile sensation
US9223446B2 (en) 2011-02-28 2015-12-29 Nokia Technologies Oy Touch-sensitive surface
US20130019201A1 (en) * 2011-07-11 2013-01-17 Microsoft Corporation Menu Configuration
US9778813B2 (en) * 2011-08-09 2017-10-03 Blackberry Limited Manipulating screen layers in multi-layer applications
KR20130034765A (ko) * 2011-09-29 2013-04-08 삼성전자주식회사 휴대 단말기의 펜 입력 방법 및 장치
US9250768B2 (en) * 2012-02-13 2016-02-02 Samsung Electronics Co., Ltd. Tablet having user interface
US20130239063A1 (en) * 2012-03-06 2013-09-12 Apple Inc. Selection of multiple images
US9569078B2 (en) 2012-03-06 2017-02-14 Apple Inc. User interface tools for cropping and straightening image
US9131192B2 (en) 2012-03-06 2015-09-08 Apple Inc. Unified slider control for modifying multiple image properties
US10282055B2 (en) 2012-03-06 2019-05-07 Apple Inc. Ordered processing of edits for a media editing application
US20130249810A1 (en) * 2012-03-22 2013-09-26 Microsoft Corporation Text entry mode selection
FR2989207A1 (fr) * 2012-04-06 2013-10-11 Bic Soc Orientation d'une tablette
CN103379211A (zh) * 2012-04-23 2013-10-30 华为终端有限公司 一种自动切换手持模式的方法及无线手持设备
CN103383622B (zh) * 2012-05-04 2016-07-06 腾讯科技（深圳）有限公司 触摸屏移动终端响应操作的方法和触摸屏移动终端
CN102830935B (zh) * 2012-08-22 2015-05-06 上海华勤通讯技术有限公司 触控终端及操作界面的调整方法
US9047008B2 (en) 2012-08-24 2015-06-02 Nokia Technologies Oy Methods, apparatuses, and computer program products for determination of the digit being used by a user to provide input
JP6011165B2 (ja) * 2012-08-31 2016-10-19 オムロン株式会社 ジェスチャ認識装置、その制御方法、表示機器、および制御プログラム
JP5409861B1 (ja) * 2012-09-05 2014-02-05 株式会社コナミデジタルエンタテインメント ゲームシステム及びゲーム制御方法
US8665238B1 (en) * 2012-09-21 2014-03-04 Google Inc. Determining a dominant hand of a user of a computing device
CN102890558B (zh) * 2012-10-26 2015-08-19 北京金和软件股份有限公司 基于传感器检测移动手持设备手持运动状态的方法
US20140282207A1 (en) * 2013-03-15 2014-09-18 Rita H. Wouhaybi Integration for applications and containers
FR3004548B1 (fr) * 2013-04-11 2016-08-19 Bigben Interactive Sa Telecommande avec interface reconfigurable
GB2521833A (en) * 2014-01-02 2015-07-08 Nokia Technologies Oy An apparatus, method and computer program for enabling a user to make user inputs
KR20150127989A (ko) * 2014-05-08 2015-11-18 삼성전자주식회사 사용자 인터페이스 제공 방법 및 장치
CN105607824A (zh) * 2015-07-29 2016-05-25 宇龙计算机通信科技(深圳)有限公司 移动终端、运行模式的控制方法及系统和终端
US10331873B1 (en) * 2015-10-09 2019-06-25 United Services Automobile Association (“USAA”) Graphical event-based password system
JP6561782B2 (ja) * 2015-11-06 2019-08-21 富士通コネクテッドテクノロジーズ株式会社 電子機器及び表示制御プログラム
US20170147864A1 (en) * 2015-11-23 2017-05-25 Electronics And Telecommunications Research Institute Finger recognition device, user authentication device including the same, and finger recognition method thereof
US9760758B2 (en) 2015-12-30 2017-09-12 Synaptics Incorporated Determining which hand is being used to operate a device using a fingerprint sensor
SE1650416A1 (en) * 2016-03-31 2017-10-01 Fingerprint Cards Ab Secure storage of fingerprint related elements
US10627948B2 (en) 2016-05-25 2020-04-21 Microsoft Technology Licensing, Llc Sequential two-handed touch typing on a mobile device
CN106203043A (zh) * 2016-07-06 2016-12-07 畅索软件科技（上海）有限公司 智能移动终端
JP2019219904A (ja) * 2018-06-20 2019-12-26 ソニー株式会社 プログラム、認識装置、及び、認識方法
US10838544B1 (en) 2019-08-21 2020-11-17 Raytheon Company Determination of a user orientation with respect to a touchscreen device
US11537239B1 (en) 2022-01-14 2022-12-27 Microsoft Technology Licensing, Llc Diffusion-based handedness classification for touch-based input

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1841280A (zh) * 2005-03-31 2006-10-04 联想(北京)有限公司 一种便携式键盘及其指纹特征信息提取方法
US20080042979A1 (en) * 2007-08-19 2008-02-21 Navid Nikbin Method and apparatus for executing commands or inputting data based on finger's characteristics and Multi-Finger key

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9814398D0 (en) * 1998-07-02 1998-09-02 Nokia Mobile Phones Ltd Electronic apparatus
CN1320492C (zh) * 1999-10-27 2007-06-06 菲罗兹·加萨比安 内容管理和分布方法
GB2365734A (en) * 2000-08-07 2002-02-20 Argo Interactive Group Plc Allocation of labels to associated user input elements
US7215881B2 (en) * 2002-12-19 2007-05-08 Nokia Corporation Mobile communications equipment with built-in camera
EP1629460B1 (en) * 2003-05-30 2015-05-13 Apple Inc. An electronic device, a method and a computer-readable storage medium
KR100562144B1 (ko) * 2004-04-07 2006-03-21 주식회사 팬택 무선통신 단말기에서의 핑거 이미지 디스플레이 방법
JP4702959B2 (ja) * 2005-03-28 2011-06-15 パナソニック株式会社 ユーザインタフェイスシステム
DE102005047137A1 (de) * 2005-09-30 2007-04-05 Daimlerchrysler Ag Insassenschutzsystem für ein Fahrzeug
US10048860B2 (en) * 2006-04-06 2018-08-14 Google Technology Holdings LLC Method and apparatus for user interface adaptation
CN102592111B (zh) * 2006-04-26 2016-07-06 阿瓦尔有限公司 指纹预检质量和分割
CN101461219A (zh) * 2006-06-09 2009-06-17 诺基亚公司 由指纹激活的快速功能选择
KR101144423B1 (ko) * 2006-11-16 2012-05-10 엘지전자 주식회사 휴대 단말기 및 휴대 단말기의 화면 표시 방법
US8065624B2 (en) * 2007-06-28 2011-11-22 Panasonic Corporation Virtual keypad systems and methods

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1841280A (zh) * 2005-03-31 2006-10-04 联想(北京)有限公司 一种便携式键盘及其指纹特征信息提取方法
US20080042979A1 (en) * 2007-08-19 2008-02-21 Navid Nikbin Method and apparatus for executing commands or inputting data based on finger's characteristics and Multi-Finger key

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103455192A (zh) * 2012-06-04 2013-12-18 原相科技股份有限公司 可携式电子装置及使用在可携式电子装置的方法
CN103513877A (zh) * 2012-06-29 2014-01-15 联想(北京)有限公司 处理操作对象的方法及电子设备
CN103713733A (zh) * 2012-10-08 2014-04-09 冠捷投资有限公司 利用指掌纹辨识的输入方法
CN103823629A (zh) * 2012-11-15 2014-05-28 通用汽车环球科技运作有限责任公司 用于汽车的输入设备
CN103576850A (zh) * 2012-12-26 2014-02-12 深圳市创荣发电子有限公司 一种手持设备的手持方式判断方法及系统
CN106062672A (zh) * 2014-02-26 2016-10-26 微软技术许可有限责任公司 设备控制
CN106104434B (zh) * 2014-03-17 2019-07-16 谷歌有限责任公司 使用触摸屏设备确定用户利手和定向
CN106104434A (zh) * 2014-03-17 2016-11-09 谷歌公司 使用触摸屏设备确定用户利手和定向
US10444951B2 (en) 2014-03-31 2019-10-15 Huawei Technologies Co., Ltd. Method and device for identifying a left-hand or a right-hand mode of operation on a user handheld device
US10485456B2 (en) 2014-04-30 2019-11-26 Beijing Zhigu Rui Tuo Tech Co., Ltd Identification method and device
CN103995587A (zh) * 2014-05-13 2014-08-20 联想(北京)有限公司 一种信息控制方法及电子设备
CN106170754A (zh) * 2014-05-13 2016-11-30 三星电子株式会社 使用指纹识别控制移动终端的方法及使用该方法的移动终端
CN103995587B (zh) * 2014-05-13 2017-09-29 联想(北京)有限公司 一种信息控制方法及电子设备
CN105242858A (zh) * 2014-06-16 2016-01-13 中兴通讯股份有限公司 页面布局调整方法及终端
CN105278798A (zh) * 2014-06-30 2016-01-27 维沃移动通信有限公司 一种实现单手操作的移动终端及其实现方法
CN105573536A (zh) * 2014-10-16 2016-05-11 华为技术有限公司 触控交互的处理方法、装置和系统
CN105573536B (zh) * 2014-10-16 2018-09-07 华为技术有限公司 触控交互的处理方法、装置和系统
WO2016058387A1 (zh) * 2014-10-16 2016-04-21 华为技术有限公司 触控交互的处理方法、装置和系统
US10372325B2 (en) 2014-10-16 2019-08-06 Huawei Technologies Co., Ltd. Electromyographic based touch interaction processing method, device, and system
WO2016191968A1 (zh) * 2015-05-29 2016-12-08 华为技术有限公司 一种左右手模式的确定方法、装置及终端设备
CN109003657A (zh) * 2018-06-22 2018-12-14 张小勇 一种饮食管理方法和系统
CN112581426A (zh) * 2020-11-06 2021-03-30 上海达适医疗科技有限公司 一种红外热成像图像的左右腿识别方法

Also Published As

Publication number Publication date
EP2440986A1 (en) 2012-04-18
WO2010143025A1 (en) 2010-12-16
US20100310136A1 (en) 2010-12-09

Similar Documents

Publication Publication Date Title
CN102449573A (zh) 基于手指识别区分右手输入和左手输入
US9753560B2 (en) Input processing apparatus
US8412531B2 (en) Touch anywhere to speak
KR20210034572A (ko) 메시지 서비스를 제공하는 전자기기 및 그 전자기기가 컨텐트 제공하는 방법
CN102119376B (zh) 触敏显示器的多维导航
KR102232929B1 (ko) 메시지 서비스를 제공하는 전자기기 및 그 전자기기가 컨텐트 제공하는 방법
US20100265204A1 (en) Finger recognition for authentication and graphical user interface input
Sugiura et al. A user interface using fingerprint recognition: holding commands and data objects on fingers
US20110219333A1 (en) Mobile terminal and control method thereof
US10620788B2 (en) Mobile terminal and control method therefor
CN102754071A (zh) 具有包含具有另一设备的显示分辨率的模式的多个应用程序显示模式的设备和方法
CN103069378A (zh) 用于用户接口屏幕导航的装置、方法和图形用户接口
CN102763058A (zh) 用于存取可选键的装置、方法和图形用户接口
CN103186318A (zh) 用于使用单点触摸输入提供多点触摸输入和基于硬件的特征的装置、方法和图形用户接口
AU2010327453A1 (en) Method and apparatus for providing user interface of portable device
CN102754061A (zh) 用于改变电子文档中的页的装置、方法和图形用户接口
US20140101553A1 (en) Media insertion interface
WO2019104478A1 (zh) 一种识别截图文字的方法及终端
WO2020253868A1 (zh) 终端、非易失性计算机可读存储介质
US20230161460A1 (en) Systems and Methods for Proactively Identifying and Providing an Internet Link on an Electronic Device
US10630619B2 (en) Electronic device and method for extracting and using semantic entity in text message of electronic device
US10545725B1 (en) Method and apparatus for processing data based on touch events on a touch sensitive device
US10630406B2 (en) Method for providing mobile coupon and mobile electronic device supporting the same
CN109597953A (zh) 页面展示方法、装置及存储介质、终端设备
KR20150022597A (ko) 필기체 입력 방법 및 그 전자 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20120509