CN101918912A - 用于使用图像传感器的触摸用户接口的设备和方法 - Google Patents

用于使用图像传感器的触摸用户接口的设备和方法 Download PDF

Info

Publication number
CN101918912A
CN101918912A CN2009801018480A CN200980101848A CN101918912A CN 101918912 A CN101918912 A CN 101918912A CN 2009801018480 A CN2009801018480 A CN 2009801018480A CN 200980101848 A CN200980101848 A CN 200980101848A CN 101918912 A CN101918912 A CN 101918912A
Authority
CN
China
Prior art keywords
tile
tolerance
order
user interface
logic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2009801018480A
Other languages
English (en)
Inventor
巴巴科·福鲁坦保尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN101918912A publication Critical patent/CN101918912A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)
  • Position Input By Displaying (AREA)

Abstract

本发明呈现用于使用图像传感器的触摸用户接口的设备和方法。一种用于处理用于用户接口的基于图像的输入命令的方法包括从传感器接收图像帧、确定所述传感器何时进入遮盖状态、根据后续图像帧确定所述传感器何时进入揭开状态、分析基于所述后续图像帧的信息以解译用户命令，以及向用户接口发布所述用户命令。一种具有基于图像的用户接口的设备包括图像传感器和连接到存储器的处理器，其中所述处理器经配置有逻辑，所述逻辑用以从所述图像传感器接收图像帧、确定所述图像传感器何时进入遮盖状态、根据后续图像帧确定所述图像传感器何时进入揭开状态、分析基于所述后续图像帧的信息以解译用户命令，以及向用户接口发布所述用户命令。

Description

用于使用图像传感器的触摸用户接口的设备和方法
技术领域
本发明的实施例大体上涉及基于图像传感器的接口，且更具体来说，涉及具有利用图像传感器接收用户命令的接口的移动装置。
背景技术
随着移动装置的能力和复杂程度提高，用户接口开发人员正面临在利用装置的扩展能力的同时改进装置的使用容易度的难题。
由于近来在多点触摸功能性和其直觉方法方面的进步(其简化了复杂的用户接口导航)，触摸屏作为用于移动装置的用户接口的风行度得到提高。触摸屏还可具有使移动装置的屏幕大小最大化的优点，因为可省略掉真实键盘和/或其它物理光标控制接口。然而，触摸屏可与若干操作缺点相关联，例如缺乏虚拟键盘和其它控制件的触觉反馈，用户手指遮住屏幕，和/或在使用期间弄脏显示器表面。此外，触摸屏显示器开发和制造起来通常比非触摸屏显示器更昂贵。
鉴于触摸屏显示器的前述缺点，一些用户更青睐使用物理小键盘连同其移动装置上的较小显示器。配合此类物理用户接口，已提出使触摸屏能力的直觉性质用于现存和未来的移动装置的其它常规方法。这些方法可利用(leverage)集成数字相机，其通常包括于许多移动装置内。
一些这些常规方法提议使用MPEG运动向量算法来确定用户如何在相机前方移动手。其它系统可使用积体相机来估计移动装置的定向(例如，倾角)以用于确定用户输入。这些方法可涉及实时操作的算法以确保用户接口具有充分的响应性。因此，其可能为计算密集的，且可对移动装置的板上处理器造成负担，和/或利用专门硬件。因此，所述常规方法可能会对成本造成不利影响，且可能会增加移动装置的功率消耗。
此外，这些常规方法可能要求用户在相机前方执行夸张的手部和/或臂部运动，此可能会不合意地吸引用户的注意力和/或随着时间引起疲劳。而且，这些算法可能对确定如何指定选择点和/或执行相对导航任务(例如，当在用户接口中滑动/拖拽等对象超过单一用户运动的距离时重设选择点)带来难题。此外，这些技术可能要求用户的手保持稳定或静止，以便适当进行选择和/或避免无意间选择一项目。
因此，将需要提供一种用于现存和未来的相机电话的触摸用户接口导航技术，其可避免前述缺点且可用成本有效的方式来实施。
发明内容
本发明的示范性实施例针对于用于使用图像传感器的触摸用户接口的设备和方法。
在一个实施例中，呈现一种用于处理用于用户接口的基于图像的输入命令的方法。所述方法可包括从传感器接收图像帧，确定传感器何时进入遮盖状态，根据后续图像帧确定传感器何时进入揭开(de-cover)状态，分析基于后续图像帧的信息以解译用户命令，以及向用户接口发布用户命令。
在另一实施例中，呈现一种具有基于图像的用户接口的设备。所述设备可包括图像传感器和连接到存储器的处理器，其中所述处理器经配置有逻辑，所述逻辑用以从图像传感器接收图像帧、确定图像传感器何时进入遮盖状态、根据后续图像帧确定图像传感器何时进入揭开状态、分析基于后续图像帧的信息以解译用户命令，以及向用户接口发布用户命令。
本发明的另一实施例可包括一种具有基于图像的触摸用户接口的移动装置，其包括相机和连接到存储器的处理器。所述处理器包括逻辑，所述逻辑经配置以：从相机接收图像帧；将图像帧细分为若干瓦片；计算每一瓦片的度量；执行对所述度量具有预定值的瓦片的计数；基于来自后续图像文件的轨迹值确定揭开图；计算揭开图的梯度；基于所述梯度确定移动方向；以及基于所述方向而向用户接口发布命令。
本发明的另一实施例可包括一种用于处理用于用户接口的基于图像的输入命令的设备，其包括：用于从传感器接收图像帧的装置；用于确定传感器何时进入遮盖状态的装置；用于根据后续图像帧确定传感器何时进入揭开状态的装置；用于分析基于后续图像帧的信息以解译用户命令的装置；以及用于向用户接口发布用户命令的装置。
本发明的另一实施例可包括一种计算机可读媒体，其包括存储于其上的程序代码，所述程序代码在由机器执行时致使所述机器执行用于用户接口的处理基于图像的输入命令的操作。所述计算机可读媒体包括：用于从传感器接收图像帧的程序代码；用于确定传感器何时进入遮盖状态的程序代码；用于根据后续图像帧确定传感器何时进入揭开状态的程序代码；用于分析基于后续图像帧的信息以解译用户命令的程序代码；以及用于向用户接口发布用户命令的程序代码。
附图说明
呈现附图是为了帮助描述本发明的实施例，且提供附图仅仅为了说明实施例而非对其限制。
图1A到1D为展示具有基于图像的触摸用户接口的示范性移动装置的操作的概观的图。
图2为展示具有基于图像的触摸用户接口的移动装置的示范性配置的方框图。
图3为描绘与基于图像的触摸用户接口相关联的示范性顶级过程的流程图。
图4为描绘与基于图像的触摸用户接口相关联的用于确定遮盖状态的示范性过程的流程图。
图5为描绘与基于图像的触摸用户接口相关联的用于确定揭开状态的示范性过程的流程图。
图6为描绘与基于图像的触摸用户接口相关联的用于确定用户命令的示范性过程的流程图。
具体实施方式
在针对本发明的特定实施例的以下描述和相关图式中揭示本发明的方面。可在不偏离本发明的范围的情况下设计替代实施例。另外，将不会详细描述本发明的众所周知的元件或将省略所述元件以免混淆本发明的相关细节。
词“示范性”在本文中用以意指“充当一实例、例子或说明”。不必将本文中描述为“示范性”的任何实施例理解为比其它实施例优选或有利。同样，术语“本发明的实施例”并非要求本发明的所有实施例包括所论述的特征、优点或操作模式。
本文中所使用的术语仅是出于描述特定实施例的目的且并不意欲限制本发明的实施例。如本文中所使用，除非上下文明确地另外指示，否则单数形式“一”和“所述”意欲包括复数形式。应进一步了解，术语“包含”、“包括”当在本文中使用时规定存在所述特征、整数、步骤、操作、元件和/或组件，但不排除存在或添加一个或一个以上其它特征、整数、步骤、操作、元件、组件和/或其群组。
另外，依据将由(例如)计算装置的元件执行的动作的序列来描述许多实施例。应认识到，可通过特定电路(例如，专用集成电路(ASIC))，通过正由一个或一个以上处理器执行的程序指令，或通过两者的组合来执行本文描述的各种动作。另外，可认为本文中描述的这些动作序列完全实施于任何形式的计算机可读存储媒体内，所述计算机可读存储媒体中已存储一组对应的计算机指令，所述指令在执行后致使相关联的处理器执行本文中所描述的功能性。因此，本发明的各个方面可以若干不同形式来实施，已预期所有所述形式均在所主张的标的物的范围内。另外，对于本文中描述的实施例中的每一者来说，任何所述实施例的对应形式在本文中均可被描述为(例如)“经配置以执行所描述的动作的逻辑”。
图1A到1D为展示具有基于图像的触摸用户接口(IBTUI)的示范性移动装置100的操作的概观的图。图1A将示范性移动装置100展示为翻盖式电话(展示为电话的顶部部分被切除)。装置的背面105包括图像传感器110的外部部分，所述图像传感器110可连续收集图像帧115。在操作期间，在已遮盖传感器之后，IBTUI可追踪退出传感器110的视野的对象的路径。一旦完成追踪，IBTUI便可基于所追踪的运动的性质来解译命令。
如图1B所示，用户可通过最初将手指120置放于图像传感器110上方来起始命令输入。此动作可大体上遮盖或完全遮盖图像传感器110，以便产生一个或一个以上具有低亮度值的图像帧125。此将IBTUI置于“遮盖状态”，且在手指120离开图像传感器110的视野时向IBTUI发信号以追踪手指120的运动。如图1C所示，手指120通过朝页面左侧移动而离开图像传感器110的视野。可产生具有对应于此移动的亮度变化的一系列图像帧130。可处理所述图像帧以将移动解译为命令。在此例子中，可将手指的移动解译为用以在移动装置的图形用户接口(GUI)中产生光标的对应移动的命令。图1D展示用户的手指120朝页面底部的移动，且产生具有对应亮度变化的一系列图像帧135。此移动可产生使移动装置的GUI中的光标向下移动的命令。如下文将描述，可将其它移动和/或手势解译为不同命令。
虽然将移动装置100展示为相机翻盖电话，但本发明的其它实施例可针对任何类型的装置，如下文将更详细描述。
图2为展示具有基于图像的触摸用户接口(IBTUI)的移动装置200的示范性配置210的方框图。移动装置200可具有平台210，其可在网络上交换数据和/或命令。平台210可包括收发器215(其可进一步包括未明确展示的发射器和接收器)，收发器215以可操作方式耦合到处理器220或其它控制器、微处理器、ASIC、逻辑电路或任何其它数据处理装置。处理器220可执行存储于移动装置200的存储器225中的程序。可在处理器220上执行的一个程序可与基于图像的触摸用户接口相关联，所述接口可将输入提供到移动装置200的图形用户接口。存储器225可存储可执行模块(例如，IBTUI、GUI等)、图像帧和其它数据结构，包括与IBTUI的操作相关联的可执行模块、图像帧和其它数据结构。存储器225可包含只读存储器和/或随机存取存储器(RAM和ROM)、EEPROM、快闪卡或此类平台常见的任何存储器。图像传感器230可在功能上耦合到处理器220，且通常可对可见光敏感。本发明的其它实施例的特征可在于图像传感器230，其还能够利用其它波长，使得IBTUI可在缺乏可见光的情况下操作。图像传感器的与移动装置200的外表面相关联的光学组件(例如，保护相机镜头的透明罩盖)可以凹入方式安装。通过此布置，用户的手指可能实际上不与图像传感器物理接触，因而防止用户的手指将外来对象(例如，灰尘、油脂等)引入到图像传感器的光学路径中，或者以其它方式损坏(例如，刮擦)图像传感器。因此，所述基于图像的触摸用户接口并不要求实际接触图像传感器。
图像传感器230可为以周期性速率(例如，30帧/秒)记录图像帧的相机，且可使用常规的数字视频格式。当经由IBTUI接受用户输入时，图像传感器230可连续提供图像帧以供IBTUI处理。举例来说，图像传感器230在用户显示“联系人”屏幕时将图像帧提供到处理器220，以便接受来自用户的手指的输入，以用于光标移动和/或屏幕内的选择。当图像传感器230未提供用于IBTUI的图像帧时，图像传感器可用以提供图片和/或视频。此外，图像传感器230可收集且IBTUI可利用图像帧，而不需要与改进图像帧的美学质量相关联的任何常规处理。举例来说，当图像传感器正用于IBTUI时，图像帧可能未执行任何白平衡、彩色平衡、自动对焦、图像锐化等。省略此类处理将减少使用IBTUI时移动装置100上的计算负担，且可进一步增强电池寿命。
可在离散元件、执行于处理器上的软件模块或软件与硬件的任何组合中实施用于提供命令的各种逻辑元件，以便实现本文中揭示的功能性。举例来说，可协作地使用处理器220和存储器225来加载、存储并执行本文揭示的各种功能，且因此可将用于执行这些功能的逻辑分布于各个元件上。或者，可将功能性并入一个离散组件中(例如，处理器220中的嵌入式存储器中)。因此，将认为图2中的移动装置200的特征仅为说明性的，且本发明的实施例不限于所说明的特征或布置。
此外，本发明的实施例可结合任何装置而使用，且不限于所说明的实施例。举例来说，装置可包括蜂窝式电话、接入终端、个人数字助理、音乐播放器、无线电、GPS接收器、膝上型计算机、公用电话亭(kiosk)等。
图3为描绘与基于图像的触摸用户接口(IBTUI)相关联的示范性顶级过程300的流程图。过程300可在移动装置200最初开启或重新启动(power cycle)时开始，且处理器220开始多种过程的初始化以用于装置操作(310)。此可包括初始化图形用户接口以及与接收和处理来自图像传感器230的图像帧相关联的硬件和软件/固件/逻辑组件。可以常规的视频格式(例如，30帧/秒，其中每一帧具有240×320像素)呈现图像帧，且使用亮度-色度色空间(YCrCb)。还可以准视频格式呈现帧，所述格式具有降低的帧速率和/或每一图像帧内的较低空间取样。此外，图像帧可放弃预处理以增强色彩、白平衡、锐度和/或改进其它美学质量。
所述过程随后可开始分析由图像传感器230产生的图像，以确定图像传感器是否处于遮盖状态。如本文中所定义，当图像传感器230被对象(通常为用户的手指)遮盖时出现遮盖状态。可对图像帧的亮度信道执行此分析，且可包括基于平均亮度和/或细节计算一个或一个以上度量(315)。这些度量在性质上可为统计性的，且将在下文中更详细描述。所述过程随后可通过使用方框315中计算的度量执行阈值比较来确定图像传感器是否处于遮盖状态(320)。如果所述确定指示图像传感器230是处于遮盖状态，则过程前进到方框325；否则，方框315中的分析一直继续，直到达到遮盖状态为止。下文在对图4的描述中呈现方框315和320的细节。
当确定图像传感器已进入遮盖状态时，过程300随后开始分析后续图像帧以确定图像传感器何时转变到“揭开状态”(325和330)。在本文中使用时，将揭开状态定义为当用户的手指已以其运动可被可靠地追踪的程度移动离开图像传感器时的状态。可通过计算亮度和/或细节度量和其随时间的变化而对此进行确定。在此过程期间，可产生揭开图以存储所计算的度量和其时间变化。一旦揭开图完成，过程便可前进到方框335，其中分析所述揭开图。下文在图5的描述中呈现方框325和330的细节。
在方框335中，分析揭开图以确定手指如何移动离开图像传感器230。通过分析揭开图内的空间变化，可确定手指移动的方向(335)。可使用此信息来解译随后可提供到移动装置的图形用户接口的命令。下文中在对图6的描述中呈现方框335和340的细节。
因此，本发明的实施例可包括方法300，其用于处理用于用户接口的基于图像的输入命令。所述方法可包括从传感器接收图像帧，且确定传感器何时进入遮盖状态(315、320)、根据后续图像帧确定传感器何时进入揭开状态(325、330)、分析基于后续图像帧的信息以解译用户命令(335、330)，以及向用户接口发布用户命令(340)。
此外，本发明的另一实施例可包括设备200，其具有基于图像的用户接口。所述设备可包括图像传感器230和连接到存储器225的处理器220。所述处理器可配置有逻辑，所述逻辑用以从传感器接收图像帧，且确定传感器何时进入遮盖状态(315、320)、根据后续图像帧确定传感器何时进入揭开状态(325、330)、分析基于后续图像帧的信息以解译用户命令(335、330)，以及向用户接口发布用户命令(340)。
图4为描绘与基于图像的触摸用户接口相关联的用于确定遮盖状态的示范性过程400的流程图。过程400可通过从图像传感器200接收图像帧i而开始(410)。随后可将所述图像帧细分为n×m个瓦片(例如，对于240×320肖像预览帧，每一瓦片可包括大约60×80个像素且n＝m＝4)。随后可由处理器220针对来自图像的亮度信道的像素，为每一瓦片计算亮度和/或细节度量(420)。可通过确定每一瓦片内的平均亮度来计算每一瓦片的亮度度量。可通过确定每一瓦片的标准偏差来计算细节度量。可通过以下等式近似标准偏差(std)以供处理器220快速执行：
std = Σ val = 0 255 hist ( val ) * | avg - val | 255
其中：
val为可由8位像素采用的强度值；
hist(val)为亮度值的直方图，即，瓦片中具有val的亮度的像素数目；以及
avg为先前计算的平均亮度值。
请注意，上述等式假定使用8位整数来存储亮度像素，但可修改所述等式以适应其它数据类型，且本发明的实施例不限于前述等式或数据类型。
一旦针对图像帧i中的所有瓦片计算出亮度和/或细节度量，过程400便可通过对超出预定阈值的瓦片的数目进行计数而继续进行(425)。举例来说，在一个实施例中，可使用具有小于30的平均值和小于100的std值的瓦片数目来建立计数。随后测试此计数数目以确定其是否超出阈值(430)。所述阈值是预定的，且可将其设定为图像帧中的瓦片总数的某个分数(例如，可将预定阈值数目设定为.95*n*m)。如果计数数目未能超出阈值，则使帧计数递增，且接收下一图像帧以用于遮盖状态确定处理(435、410)。一旦确定计数数目超出预定阈值数目，则确定图像传感器230处于遮盖状态。如下所述，处理随后可进行到揭开过程500。
图5为描绘与基于图像的触摸用户接口相关联的用于确定揭开状态的示范性过程500的流程图。最初，存储当检测到遮盖状态时对应于图像帧的瓦片值的度量510。举例来说，可针对每一瓦片存储平均亮度和std。可以本文中称为参考瓦片度量的数据结构来存储这些度量，其中表格可采用多维矩阵的形式。
随后从图像传感器230接收下一图像帧，且如上所述将其细分为n×m个瓦片(515、520)。过程500随后可以上文针对遮盖状态确定而描述的方式，针对每一瓦片计算亮度和/或细节度量(525)。一旦处理器220针对每一瓦片计算出度量，便检查每一瓦片，且在当前瓦片的度量超出对应参考瓦片的度量一预定量时，可向其指派一轨迹值。可在当前图像帧j中的每一瓦片与和图像帧i曾相关联的先前存储的参考瓦片度量之间执行此比较过程。此比较操作可基于预定阈值。举例来说，可在给定瓦片的平均亮度超出对应参考瓦片的平均亮度30级和/或当给定瓦片的std超出参考瓦片的std 90级时，计算瓦片的轨迹值。
每一轨迹值与一瓦片相关联，且因此可以n×m数据结构存储。可使用以下等式计算轨迹值：
trail ( x , y ) = 100 * ( j ) - avg ( tile ( x , y ) ) - refTile ( x , y ) T
其中：
j：对应于时间的当前帧数目；
avg(x，y)：帧j中的位置x，y中的瓦片的平均亮度值；
refTile(x，y)：位置x，y中的参考瓦片的平均亮度值；以及
T：阈值(例如，30)。
一般来说，轨迹值指示何时揭开特定瓦片。轨迹值越大，揭开特定瓦片的时间越晚。然而，轨迹值含有关于时间和所获得的亮度量两者的信息，以便关于何时揭开各个瓦片而“打破联系(break ties)”。轨迹值的时间分量可由帧编号j编码，且可仅采用整数量。为将较大粒度提供到轨迹值的时间分量，可通过当前瓦片的平均亮度与其对应参考之间的差值来修改时间信息(j)。如果此差值较大，则其暗示所关注的瓦片揭开得较早，且因此从时间信息减去某一量(此量为经缩放的差值)。可以称为揭开图的二维结构存储每一轨迹值。所述揭开图可具有n×m个条目，每一条目对应于当前图像帧j中的一瓦片位置。举例来说，轨迹值为292的瓦片可在轨迹为192的瓦片之后揭开(200范围内的瓦片在100范围内的瓦片之后揭开)。在同一图像帧期间揭开的瓦片之间的“联系”可基于所获得的亮度级而被“打破”。举例来说，假定在具有轨迹292的瓦片(帧j＝3，但相对于其存储的遮盖的亮度值变得亮得多)之后揭开具有轨迹299的瓦片(帧j＝3，仍然有点黑)。
一旦已针对每一瓦片位置(n，m个瓦片上的每一x，y)计算轨迹值，便完成揭开图。可执行测试以确定预定数目个瓦片是否具有可与揭开状态相关联的相关联的轨迹值(535)。预定数目个瓦片可例如为帧内的大多数瓦片。如果所述确定为真，则过程继续到过程600。否则，执行测试以确定是否已处理阈值数目个帧(540、545)。如果帧数目超出阈值，则其暗示着用户正将手指放在图像传感器上，且可将命令解译为“选择”或“输入”。(举例来说，可将经过的帧数目设定成对应于两秒的时期)。选择/输入命令可类似于鼠标点击或键击键盘上的“Enter”键，且其可用于在移动装置200的GUI中选择一对象或输入一值。
图6为描绘与基于图像的触摸用户接口相关联的用于确定用户命令的示范性过程600的流程图。可将揭开图视为3维表面，其中x，y指示瓦片位置，且z值为对应于手指揭开镜头时手指运动的时间。在方框610中，可计算揭开图的梯度以确定揭开图的最陡峭的上升。作为次级或替代方法，可将揭开图中的梯度和轨迹值与阈值进行比较，以确定用户是否希望将“选择/输入”命令输入到GUI中(615和630)。在此例子中，如果轨迹值较高且梯度较低(此指示轨迹值均一)，则用户可能已稳定地将手指放在图像传感器上，从而指示“选择/输入”命令。
可以若干不同方式根据揭开图的梯度确定手指移动的方向(620)。举例来说，处理器220可发现n×m揭开图中的n个行和m个列中的哪一者最强。举例来说，对于以下揭开图：
480 480 560 570
470 480 480 560
460 470 480 480
440 460 470 470
最大列为最后一列，且最大行为第一行，因此算法将告知系统将光标移动到右上方，因为所述方向具有最大强度的轨迹。一旦确定了移动方向，便可向用户接口发布指示方向的命令。通常将以移动装置200的装置驱动器可容易接受的格式形成这些命令。
在其它实施例中，可将唯一用户手势提供到IBTUI以用于其它命令。举例来说，可使用多个手指运动来控制移动装置200的独特特征，或者可将其用作可能采用多个步骤的命令的“快捷方式”。举例来说，可使用手指在图像传感器上经过的两个向下运动来控制图像传感器的参数以用于在特定情形下(例如，设定用于扫描条形码的短曝光)拍照(即，控制自动对焦、自动曝光、减少手抖动等)。
如上文所提及，图像传感器200可能对除对应于可见光的波长之外的其它波长敏感。举例来说，图像传感器200可能对红外辐射敏感，因此其可用于低光情形。此类实施例可利用能够分离IR阻挡滤光片的传感器。其它传感器可利用IR辐射源(例如，IR LED)，所述IR辐射源可在可见光量低于可用阈值时被启动。
此外，所述揭开图可经扩展为多维结构，其具有对应于时间的一个维度。此类数据结构可被视觉化为三维矩形，其中x-y维对应于位置，且z维对应于时间。在此数据“体积”中，每一数据元素可对应于在时间tj时图像帧中的点x，y处的轨迹值。
所属领域的技术人员将了解，可使用多种不同技术和技艺中的任一者来表示信息和信号。举例来说，可通过电压、电流、电磁波、磁场或磁性粒子、光场或光学粒子或其任何组合来表示在整个以上描述中参考的数据、指令、命令、信息、信号、位、符号和码片。
另外，所属领域的技术人员将了解，结合本文中所揭示的实施例而描述的各种说明性逻辑块、模块、电路和算法步骤可实施为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件与软件的此可互换性，在上文已大体上就其功能性描述了各种说明性组件、块、模块、电路和步骤。所述功能性经实施为硬件还是软件取决于特定应用和强加于整个系统的设计约束。熟练的技术人员可针对每一特定应用以不同方式实施所描述的功能性，但此些实施决策不应被解释为会导致脱离本发明的实施例的范围。
结合本文中所揭示的实施例而描述的方法、序列和/或算法可直接实施于硬件中、由处理器执行的软件模块中或两者的组合中。软件模块可驻留在RAM存储器、快闪存储器、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可装卸磁盘、CD-ROM或此项技术中已知的任何其它形式的存储媒体中。示范性存储媒体耦合到处理器，以使得处理器可从存储媒体读取信息且将信息写入到存储媒体。在替代方案中，存储媒体可与处理器成一体。
因此，本发明的实施例可包括计算机可读媒体，其体现一种根据本文描述的功能、步骤和/或动作的基于图像的触摸用户接口的方法。因而，本发明的实施例可包括计算机可读媒体，其包括存储于其上的程序代码，所述程序代码在由机器执行时致使机器执行用于用户接口的处理基于图像的输入命令的操作。所述计算机可读媒体包括：用于从传感器接收图像帧的程序代码；用于确定传感器何时进入遮盖状态的程序代码；用于根据后续图像帧确定传感器何时进入揭开状态的程序代码；用于分析基于后续图像帧的信息以解译用户命令的程序代码；以及用于向用户接口发布用户命令的程序代码。因此，本发明不限于所说明的实例，且用于执行本文中所描述的功能性的任何装置包括于本发明的实施例中。
虽然前文的揭示内容展示本发明的说明性实施例，但应注意，在不脱离由所附权利要求书界定的本发明的范围的情况下，可在本文中作出各种改变和修改。无需以任何特定次序执行根据本文中所描述的本发明的实施例的方法项的功能、步骤和/或动作。此外，虽然可能以单数形式描述或主张本发明的元件，但除非明确陈述限于单数形式，否则还涵盖复数形式。

Claims (33)

1.一种用于处理用于用户接口的基于图像的输入命令的方法，其包含：
从传感器接收图像帧；
确定所述传感器何时进入遮盖状态；
根据后续图像帧确定所述传感器何时进入揭开状态；
分析基于所述后续图像帧的信息以解译用户命令；以及
向用户接口发布所述用户命令。
2.根据权利要求1所述的方法，其进一步包含：
将图像帧细分为若干瓦片；
计算每一瓦片的度量；以及
执行对所述度量具有预定值的所述瓦片的计数。
3.根据权利要求2所述的方法，其进一步包含：
对随后接收的帧执行根据权利要求2所述的方法，直到所述计数超出预定数目为止。
4.根据权利要求3所述的方法，其中当所述计数超出所述预定数目时，其进一步包含：
存储每一瓦片的参考度量；
将所述后续帧细分为若干瓦片；
计算每一瓦片的度量；以及
计算具有超出预定值的度量的瓦片的至少一个轨迹值。
5.根据权利要求4所述的方法，其进一步包含：
对后续接收的帧执行根据权利要求4所述的方法，直到所有瓦片均具有对应的轨迹值为止。
6.根据权利要求5所述的方法，其进一步包含：
如果在所有所述瓦片均具有对应的轨迹值之前处理预定数目个图像帧，则将所述用户命令解译为“选择”或“输入”。
7.根据权利要求1所述的方法，其进一步包含：
计算揭开图的梯度；
基于所述梯度确定移动方向；以及
基于所述方向，向所述用户接口发布命令。
8.根据权利要求7所述的方法，其进一步包含：
确定所述梯度是否超出预定值；
确定预定数目个轨迹值是否超出预定值；以及
基于所述梯度和轨迹确定，将所述用户命令解译为“选择”或“输入”。
9.根据权利要求2所述的方法，其中所述度量包括亮度的平均值和所述亮度的标准偏差。
10.根据权利要求1所述的方法，其中所述传感器为相机。
11.根据权利要求10所述的方法，其中通过将手指置放于所述相机上来输入所述用户命令。
12.根据权利要求11所述的方法，其中将一系列手势解译为与所述相机的控制参数相关联的命令。
13.根据权利要求1所述的方法，其中从所述传感器接收到的所述图像帧大体上是基于红外辐射。
14.一种具有基于图像的用户接口的设备，其包含：
图像传感器；以及
处理器，其连接到存储器，其中所述处理器经配置有逻辑，所述逻辑用以
从所述图像传感器接收图像帧；
确定所述图像传感器何时进入遮盖状态；
根据后续图像帧确定所述图像传感器何时进入揭开状态；
分析基于所述后续图像帧的信息以解译用户命令；以及
向用户接口发布所述用户命令。
15.根据权利要求14所述的设备，其中所述处理器进一步经配置有逻辑，所述逻辑用以
将图像帧细分为若干瓦片；
计算每一瓦片的度量；以及
执行对所述度量具有预定值的所述瓦片的计数。
16.根据权利要求15所述的设备，其中所述处理器进一步经配置有逻辑，所述逻辑用以
对随后接收的帧执行根据权利要求15所述的逻辑，直到所述计数超出预定数目为止。
17.根据权利要求16所述的设备，其中所述处理器进一步经配置有逻辑，所述逻辑用以
存储每一瓦片的参考度量；
将所述后续帧细分为若干瓦片；
计算每一瓦片的度量；以及
计算具有超出预定值的度量的瓦片的至少一个轨迹值。
18.根据权利要求17所述的设备，其中所述处理器进一步经配置有逻辑，所述逻辑用以
对后续接收的帧执行根据权利要求4所述的逻辑，直到所有瓦片均具有对应的轨迹值为止。
19.根据权利要求18所述的设备，其中所述处理器进一步经配置有逻辑，所述逻辑用以
如果在所有所述瓦片均具有对应的轨迹值之前处理预定数目个图像帧，则将所述用户命令解译为“选择”或“输入”。
20.根据权利要求14所述的设备，其中所述处理器进一步经配置有逻辑，所述逻辑用
以
计算揭开图的梯度；
基于所述梯度确定移动方向；以及
基于所述方向，向所述用户接口发布命令。
21.根据权利要求20所述的设备，其中所述处理器进一步经配置有逻辑，所述逻辑用以
确定所述梯度是否超出预定值；
确定预定数目个轨迹值是否超出预定值；以及
基于所述梯度和轨迹确定，将所述用户命令解译为“选择”或“输入”。
22.根据权利要求15所述的设备，其中所述度量包括亮度的平均值和所述亮度的标准偏差。
23.根据权利要求14所述的设备，其中所述传感器为相机，且所述用户命令通过将手指置放于所述相机上而输入。
24.根据权利要求23所述的设备，其中所述相机从所述设备的主体凹入，使得所述手指不会与所述相机物理接触。
25.一种具有基于图像的触摸用户接口的移动装置，其包含：
相机；以及
处理器，其连接到存储器，其中所述处理器包括逻辑，所述逻辑经配置以：
从所述相机接收图像帧；
将所述图像帧细分为若干瓦片；
计算每一瓦片的度量；
执行对所述度量具有预定值的所述瓦片的计数；
基于来自后续图像文件的轨迹值确定揭开图；
计算揭开图的梯度；
基于所述梯度确定移动方向；以及
基于所述方向，向所述用户接口发布命令。
26.一种用于处理用于用户接口的基于图像的输入命令的设备，其包含：
用于从传感器接收图像帧的装置；
用于确定所述传感器何时进入遮盖状态的装置；
用于根据后续图像帧确定所述传感器何时进入揭开状态的装置；
用于分析基于所述后续图像帧的信息以解译用户命令的装置；以及
用于向用户接口发布所述用户命令的装置。
27.根据权利要求26所述的设备，其进一步包含：
用于将图像帧细分为若干瓦片的装置；
用于计算每一瓦片的度量的装置；以及
用于执行对所述度量具有预定值的所述瓦片的计数的装置。
28.根据权利要求27所述的设备，其进一步包含：
用于处理随后接收的帧直到所述计数超出预定数目为止的装置。
29.根据权利要求28所述的设备，其中当所述计数超出所述预定数目时，其进一步包含：
用于存储每一瓦片的参考度量的装置；
用于将所述后续帧细分为若干瓦片的装置；
用于计算每一瓦片的度量的装置；以及
用于计算具有超出预定值的度量的瓦片的至少一个轨迹值的装置。
30.一种计算机可读媒体，其包括存储于其上的程序代码，所述程序代码在由机器执行时致使所述机器执行用于处理用于用户接口的基于图像的输入命令的操作，所述计算机可读媒体包含：
用以从传感器接收图像帧的程序代码；
用以确定所述传感器何时进入遮盖状态的程序代码；
用以根据后续图像帧确定所述传感器何时进入揭开状态的程序代码；
用以分析基于所述后续图像帧的信息以解译用户命令的程序代码；以及
用以向用户接口发布所述用户命令的程序代码。
31.根据权利要求30所述的计算机可读媒体，其进一步包含：
用以将所述图像帧细分为若干瓦片的程序代码；
用以计算每一瓦片的度量的程序代码；以及
用以执行对所述度量具有预定值的所述瓦片的计数的程序代码。
32.根据权利要求31所述的计算机可读媒体，其进一步包含：
用以处理随后接收的帧直到所述计数超出预定数目为止的程序代码。
33.根据权利要求32所述的计算机可读媒体，其中当所述计数超出所述预定数目时，其进一步包含：
用以存储每一瓦片的参考度量的程序代码；
用以将所述后续帧细分为若干瓦片的程序代码；
用以计算每一瓦片的度量的程序代码；以及
用以计算具有超出预定值的度量的瓦片的至少一个轨迹值的程序代码。
CN2009801018480A 2008-01-09 2009-01-09 用于使用图像传感器的触摸用户接口的设备和方法 Pending CN101918912A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/971,783 2008-01-09
US11/971,783 US20090174674A1 (en) 2008-01-09 2008-01-09 Apparatus and methods for a touch user interface using an image sensor
PCT/US2009/030663 WO2009089495A1 (en) 2008-01-09 2009-01-09 Apparatus and methods for a touch user interface using an image sensor

Publications (1)

Publication Number Publication Date
CN101918912A true CN101918912A (zh) 2010-12-15

Family

ID=40409792

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009801018480A Pending CN101918912A (zh) 2008-01-09 2009-01-09 用于使用图像传感器的触摸用户接口的设备和方法

Country Status (7)

Country Link
US (1) US20090174674A1 (zh)
EP (1) EP2079009A1 (zh)
JP (1) JP2011510383A (zh)
KR (1) KR20100098726A (zh)
CN (1) CN101918912A (zh)
TW (1) TW200941313A (zh)
WO (1) WO2009089495A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103429990A (zh) * 2011-03-15 2013-12-04 高通股份有限公司 用于利用便携式计算装置产生节省路线的方法和系统
CN103677246A (zh) * 2012-09-19 2014-03-26 纬创资通股份有限公司 双模式遥控方法
CN105051652A (zh) * 2013-03-15 2015-11-11 Tk控股公司 用于在注意力分散的操作环境中的压敏控制的自适应人机界面及使用同类产品的方法
CN108431821A (zh) * 2016-01-15 2018-08-21 高通股份有限公司 用于移动装置的用户接口
CN111989683A (zh) * 2018-06-21 2020-11-24 惠普发展公司，有限责任合伙企业 与图像捕获装置的触摸交互

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8237807B2 (en) * 2008-07-24 2012-08-07 Apple Inc. Image capturing device with touch screen for adjusting camera settings
TWI507030B (zh) * 2009-12-31 2015-11-01 Chiun Mai Comm Systems Inc 拍照系統及方法
JP5685837B2 (ja) * 2010-06-15 2015-03-18 ソニー株式会社 ジェスチャ認識装置、ジェスチャ認識方法およびプログラム
TWI522843B (zh) 2010-07-12 2016-02-21 原相科技股份有限公司 光學系統及其點擊偵測方法
US8781152B2 (en) 2010-08-05 2014-07-15 Brian Momeyer Identifying visual media content captured by camera-enabled mobile device
TWI414971B (zh) * 2010-08-13 2013-11-11 Pixart Imaging Inc 光學滑鼠的提起偵測方法及具有提起偵測的光學滑鼠
US20120050530A1 (en) * 2010-08-31 2012-03-01 Google Inc. Use camera to augment input for portable electronic device
US20120105354A1 (en) * 2010-10-31 2012-05-03 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Tactile Feedback Cover Lens for a Capacitive Touchscreen System
TWI441062B (zh) 2011-06-21 2014-06-11 Pixart Imaging Inc 光學觸控系統及其影像處理方法
WO2013154720A1 (en) 2012-04-13 2013-10-17 Tk Holdings Inc. Pressure sensor including a pressure sensitive material for use with control systems and methods of using the same
US9696223B2 (en) 2012-09-17 2017-07-04 Tk Holdings Inc. Single layer force sensor
KR102241291B1 (ko) * 2013-03-14 2021-04-16 삼성전자주식회사 전자 장치 및 그 동작 방법
US9235279B2 (en) * 2013-10-14 2016-01-12 Pixart Imaging Inc. Wake up method and optical input device using the same
US20200042105A1 (en) * 2017-04-27 2020-02-06 Sony Corporation Information processing apparatus, information processing method, and recording medium

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3126898B2 (ja) * 1995-04-26 2001-01-22 シャープ株式会社 頭部搭載型ディスプレイ装置
JPH11259206A (ja) * 1998-03-09 1999-09-24 Fujitsu Ltd 赤外線検出式入力装置
US6791531B1 (en) * 1999-06-07 2004-09-14 Dot On, Inc. Device and method for cursor motion control calibration and object selection
JP2004094653A (ja) * 2002-08-30 2004-03-25 Nara Institute Of Science & Technology 情報入力システム
WO2004059613A1 (en) * 2002-12-20 2004-07-15 Itac Systems, Inc. Cursor control device
US7474772B2 (en) * 2003-06-25 2009-01-06 Atrua Technologies, Inc. System and method for a miniature user input device
US7536032B2 (en) * 2003-10-24 2009-05-19 Reactrix Systems, Inc. Method and system for processing captured image information in an interactive video display system
JP4238795B2 (ja) * 2004-08-09 2009-03-18 株式会社デンソー 非接触型検出装置及び制御装置
US7692627B2 (en) * 2004-08-10 2010-04-06 Microsoft Corporation Systems and methods using computer vision and capacitive sensing for cursor control
JP4108723B2 (ja) * 2004-09-03 2008-06-25 シャープ株式会社 表示装置の駆動方法、表示装置の駆動装置、そのプログラムおよび記録媒体、並びに、表示装置
US7800594B2 (en) * 2005-02-03 2010-09-21 Toshiba Matsushita Display Technology Co., Ltd. Display device including function to input information from screen by light
US7654459B2 (en) * 2005-11-14 2010-02-02 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Method of capturing user control inputs
US7593040B2 (en) * 2006-01-30 2009-09-22 Omnivision Technologies, Inc. Image anti-shake in digital cameras
US7721207B2 (en) * 2006-05-31 2010-05-18 Sony Ericsson Mobile Communications Ab Camera based control
JP2008153768A (ja) * 2006-12-14 2008-07-03 Eastman Kodak Co 撮像装置、およびホワイトバランス処理装置
US8125458B2 (en) * 2007-09-28 2012-02-28 Microsoft Corporation Detecting finger orientation on a touch-sensitive device
KR100975869B1 (ko) * 2008-10-17 2010-08-13 삼성모바일디스플레이주식회사 터치 포인트 검출 방법 및 장치

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103429990A (zh) * 2011-03-15 2013-12-04 高通股份有限公司 用于利用便携式计算装置产生节省路线的方法和系统
CN103429990B (zh) * 2011-03-15 2017-05-31 高通股份有限公司 用于利用便携式计算装置产生节省路线的方法和系统
CN103677246A (zh) * 2012-09-19 2014-03-26 纬创资通股份有限公司 双模式遥控方法
CN105051652A (zh) * 2013-03-15 2015-11-11 Tk控股公司 用于在注意力分散的操作环境中的压敏控制的自适应人机界面及使用同类产品的方法
CN105051652B (zh) * 2013-03-15 2019-04-05 Tk控股公司 用于在注意力分散的操作环境中的压敏控制的自适应人机界面及使用同类产品的方法
CN108431821A (zh) * 2016-01-15 2018-08-21 高通股份有限公司 用于移动装置的用户接口
CN111989683A (zh) * 2018-06-21 2020-11-24 惠普发展公司，有限责任合伙企业 与图像捕获装置的触摸交互

Also Published As

Publication number Publication date
TW200941313A (en) 2009-10-01
WO2009089495A1 (en) 2009-07-16
JP2011510383A (ja) 2011-03-31
KR20100098726A (ko) 2010-09-08
US20090174674A1 (en) 2009-07-09
EP2079009A1 (en) 2009-07-15

Similar Documents

Publication Publication Date Title
CN101918912A (zh) 用于使用图像传感器的触摸用户接口的设备和方法
CN112954210B (zh) 拍照方法、装置、电子设备及介质
KR102121592B1 (ko) 시력 보호 방법 및 장치
US8379129B2 (en) Information processing apparatus, information processing method, and storage medium including display of an image card
US8339497B2 (en) Information processing apparatus, information processing method, and program for checking plural stored images
US8144780B2 (en) Detecting visual gestural patterns
Xiao et al. LensGesture: augmenting mobile interactions with back-of-device finger gestures
US9912853B2 (en) Switching between cameras of an electronic device
US20130241819A1 (en) Gesture recognition apparatus, electronic device, gesture recognition method, control program, and recording medium
US20130222666A1 (en) User interface for a digital camera
US20120032988A1 (en) Display control apparatus that displays list of images onto display unit, display control method, and storage medium storing control program therefor
JP5300859B2 (ja) 撮像装置、表示撮像装置および電子機器
US20130176202A1 (en) Menu selection using tangible interaction with mobile devices
EP2262221A1 (en) Portable terminal and user interface control method thereof based on pattern recognition and analysis of image captured by camera
CN103513924A (zh) 电子设备及其控制方法
US9652850B2 (en) Subject tracking device and subject tracking method
EP3153945A1 (en) Method and device for implementing virtual button through camera, and computer-readable recording medium
EP2615532A2 (en) Device and method for detecting finger position
CN105827963A (zh) 一种拍照过程中场景变化检测方法及移动终端
CN112148171B (zh) 一种界面切换方法、装置及电子设备
CN113873166A (zh) 视频拍摄方法、装置、电子设备和可读存储介质
US10527911B2 (en) Electronic apparatus configured to select positions on a display unit by touch operation and control method thereof
US20110037731A1 (en) Electronic device and operating method thereof
CN114025100A (zh) 拍摄方法、装置、电子设备和可读存储介质
Haro et al. Mobile camera-based adaptive viewing

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20101215