CN105144034B - 利用被动式传感器启动非触摸式手势控制的便携式设备 - Google Patents

利用被动式传感器启动非触摸式手势控制的便携式设备 Download PDF

Info

Publication number
CN105144034B
CN105144034B CN201480020559.9A CN201480020559A CN105144034B CN 105144034 B CN105144034 B CN 105144034B CN 201480020559 A CN201480020559 A CN 201480020559A CN 105144034 B CN105144034 B CN 105144034B
Authority
CN
China
Prior art keywords
portable device
optical mode
sensor
light
controller
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480020559.9A
Other languages
English (en)
Other versions
CN105144034A (zh
Inventor
P·克荣霍姆
M·亨瑞兹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Science And Technology Think Tank Gesture Interaction Co
Original Assignee
Crunchfish AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Crunchfish AB filed Critical Crunchfish AB
Publication of CN105144034A publication Critical patent/CN105144034A/zh
Application granted granted Critical
Publication of CN105144034B publication Critical patent/CN105144034B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3231—Monitoring the presence, absence or movement of users
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/325—Power saving in peripheral device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04108—Touchless 2D- digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface without distance measurement in the Z direction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply
    • H04N23/651—Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)

Abstract

一种便携式设备(100)，包括控制器(210)、存储器(240)、摄像头(160)和被动接近传感器(170)。控制器被设置成用于接收来自被动接近传感器(170)表示被动接近传感器(170)前面的光环境的输入，检测光环境的变化，确定光环境的变化的光模式(P)，确定光模式(P)是否匹配存储在存储器(240)中的已存储的启动模式，如果是的话，接受光模式(P)并对之响应激活摄像头(160)，识别摄像头(160)前面的对象(H)并追踪对象(H)，从而能够实现便携式设备(100)的非触摸式手势控制，其特征在于，被动接近传感器是环境光传感器，并且光模式由一系列的明暗变化组成(暗是低于阈值的光，明是高于第二阈值的光)。

Description

利用被动式传感器启动非触摸式手势控制的便携式设备
技术领域
本申请涉及方法、计算机可读介质和便携式设备，例如移动通信终端，具有被动式传感器并利用被动式传感器启动非触摸式手势控制。
背景技术
基于摄像头捕捉的非触摸式手势控制要求摄像头一直开着并连续不断地分析摄像头前面的手势以确定手势是否是用于控制设备或者用于另外的目的。可替换地，设备被手动打开以接收非触摸式输入。
如果摄像头一直处于打开，它耗大量的用电，这非常不适用于便携式设备，例如移动通信终端，例如以电池电源运行的智能手机或平板电脑。这也有损于环境，因为即使在不必然需要时仍用电。
为了克服这些问题，一些便携式设备使得用户能够在需要时手动开启摄像头。这要求手动实际操作，与非触摸式互动的概念形成反差。
因此，需要一种不耗电并且符合非触摸式控制的启动非触摸式控制的改进的方式。
发明内容
在具创造力和具洞察力的推理论证之后，本发明的发明人通过利用无源光环境传感器例如环境光传感器或被动接近传感器已实现了可能间接检测手势。
即使无源光环境传感器不能或不被设置成检测执行手势的对象，发明人已意识到简单的解决方案来利用所述的无源光环境传感器以间接地检测手势。由于所述的传感器通常已经被设置在便携式设备例如移动通信终端中，本文所披露的发明可有益地被用作软件解决方案，用于已经存在的硬件。尤其是，如此与CF001SE中所披露的对象追踪方式进行结合。
因为被动式传感器比摄像头需要的用电少得多并且控制从无源光环境传感器接收到的输入的控制器同样需要较少的用电，由于对无源光环境传感器输入控制所需的计算比对摄像头输入控制后进，在非触摸式闲置的时间段期间显著减少了整体耗电。
本申请的教导的一个目的是通过提供包括控制器、存储器、摄像头和被动接近传感器的便携式设备来克服上文所列的问题，其中控制器被设置成接收来自被动接近传感器表示被动接近传感器前面的光环境的输入，检测光环境的变化，确定光环境的变化的光模式，确定光模式是否匹配存储在存储器中的已存储的启动模式，并且如果是的话，接受光模式并对之响应激活摄像头，识别摄像头前面的对象并追踪对象从而能够实现便携式设备的非触摸式手势控制，特征在于，被动接近传感器是环境光传感器，并且光模式由一系列明暗变化构成(暗是光(强度)低于阈值，明是光(强度)高于第二阈值)。
所述的便携式设备能够改进非触摸式手势控制的启动，因为它减少了所需的用电同时仍能够以非触摸的方式进行启动。为何减少用电的原因是因为被动接近传感器所需的用电远远少于摄像头，并且光变化模式的识别同样比识别执行手势的对象需要更少的计算能力(并因此更少用电)。
应当指出，使用被动式传感器/无源传感器比主动式传感器/有源传感器例如摄像头所需的用电少得多，并因此可以以非常低的用电成本被使用，同时使有源/主动式摄像头保持停止工作—从而显著降低设备的耗电。摄像头不会不必要地被启动，除了仅在确实有用户想使用设备时。
应当进一步指出，本申请的发明人已经意识到此外原来并非设计用于检测运动的传感器通过本文所述的巧妙间接测量法可用于检测手势。
还应当指出，光模式不等同于光强度的简单变化，而是会要求有区别的变化，例如非常突然的或优选的重复的变化。
在一个实施例中，便携式设备是移动通信终端，例如平板电脑、智能手机或笔记本电脑。在一个实施例中，便携式设备是游戏控制台。在一个实施例中，便携式设备是媒体设备，例如音乐和/或视频播放设备。
本申请的教导的另一目的是通过提供用于包括控制器、存储器、摄像头和被动接近传感器的便携式设备的方法来克服上文所列的问题，所述方法包括从被动接近传感器接收表示被动接近传感器前面的光环境的输入，检测光环境的变化，确定光环境的变化的光模式，确定光模式是否匹配存储在存储器中的已存储的启动模式，并且如果匹配，接受光模式并对之响应激活摄像头，识别摄像头前面的对象并追踪该对象从而能够非触摸式手势控制便携式设备，特征在于，被动接近传感器是环境光传感器，并且光模式由一系列明暗变化组成(暗是光(强度)低于阈值，明是光(强度)高于第二阈值)。
本申请的教导的另一目的是通过提供包括指令的计算机可读介质来克服上文所列的问题，当指令被加载入控制器并且由控制器例如处理器执行时执行本文所述的方法。
本文的教导发现在具有用户界面的设备例如移动电话、智能手机、平板电脑、笔记本电脑、游戏控制台和介质和其它信息娱乐系统设备的控制系统的使用。
所述实施例的其它特征和优点会从下文详细的描述、从所附的权利要求书以及附图呈现。一般，权利要求中所用的所有术语将根据它们在技术领域中的通常意思进行解释，除非在本文中以其它方式明确定义。
所有提及“一/一种/所述[元件、设备、部件/组成部分、装置、步骤，等](a/an/the[element,device,component,means,step,etc])”应被开放式地解释为指元件、设备、部件/组成部分、装置、步骤等的至少一种情况，除非另外明确说明。本文所述的任一方法的步骤不必然要按照所述的确切的顺序进行实施，除非明确说明。
附图说明
图1A和1B是根据本文教导的各便携式设备的示意图；
图2是根据本文教导的便携式设备的组成部分/部件的示意图；
图3是根据本文教导的计算机可读存储器的示意图；
图4A、4B和4C各自示出了根据本文教导的示例实施例；和
图5示出了说明根据本文教导的实施例的一般方法的流程图。
具体实施方式
所披露的实施例会在下文中结合附图更为全面地进行描述，其中示出了本发明的某些实施例。不过，本发明可以以许多不同的形式体现并且不应当被理解为限于本文所述的实施例；而是，这些实施例通过示例的方式提供，以便本发明的公开是充分的和完整的，并且会向本领域的技术人员全面地传达本发明的范围。类似的附图标记贯穿全文表示类似的元件。
图1总体上示出了根据本文的实施例的便携式设备100。在一个实施例中，便携式设备100被设置成用于网络通信(无线的或有线的)。便携式设备100的示例是：笔记本电脑、平板电脑、移动通信终端例如移动电话或智能手机、个人数字助理和游戏控制台。两个实施例会被举例说明和描述，为图1A中的智能手机，图1B中的笔记本电脑100，作为计算机和平板电脑的示例。
参见图1A，智能手机100形式的移动通信终端包括其中设置有显示屏120的外壳110。在一个实施例中，显示屏120是触摸屏。在其它实施例中，显示屏120是非触摸屏。此外，智能手机100包括两个键130a、130b。在本实施例中，有两个键130，但任何数量的键是可能的并且取决于智能手机100的设计。在一个实施例中，智能手机100被设置成在触摸屏120上显示并操作虚拟键135。应当指出，虚拟键135的数量取决于智能手机100的设计以及在智能手机100上执行的应用程序。智能手机100还配备有摄像头160。摄像头160是数字摄像头，被设置成通过在电子图像传感器(未示出)上记录影像/图像来拍视频或静止的照片。在一个实施例中，摄像头160是外部摄像头。在一个实施例中，摄像头可替换地由提供影像流的源取代。
智能手机100还配备有被动接近传感器，可能是无源光环境传感器170。被动接近传感器170是下文结合图2所述的传感器270。
参见图1B，笔记本电脑100包括显示器120和外壳110。外壳包括控制器或CPU(未示出)以及一个或多个计算机可读存储介质(未示出)，例如存储单元和内存储器。存储单元的示例是磁盘驱动器或硬盘驱动器。笔记本电脑100还包括至少一个数据端口。数据端口可以是有线的和/或无线的。数据端口的示例是USB(通用串行总线)端口、以太网端口或WiFi(按照IEEE标准802.11)端口。数据端口被设置成使笔记本电脑100能够与其它计算设备或服务器连接。
笔记本电脑100还包括至少一个输入单元，例如键盘130。输入单元的其它示例是计算机鼠标、触控板、触控屏或操纵杆等等。
笔记本电脑100还配备有摄像头160。摄像头160是数字摄像头，被设置成通过在电子图像传感器(未示出)上记录影像/图像拍取视频或静止的照片。在一个实施例中，摄像头160是外部摄像头。在一个实施例中，摄像头可替换地由提供影像流的源取代。
智能手机100还配备有被动接近传感器，可能是无源光环境传感器170。被动接近传感器170是下文结合图2所述的传感器270。
图2示出了根据图1的设备的一般结构的示意图。设备100包括控制器210，所述控制器210负责计算设备200的整体运行并优选地由任何商用的CPU(“中央处理器”)、DSP(“数字信号处理器”)或任何其它电子可编程逻辑器件执行。控制器210被设置成读取来自存储器240的指令并执行这些指令以控制计算设备100的运行。存储器240可利用对于计算机可读存储器例如ROM、RAM、SRAM、DRAM、CMOS、FLASH、DDR、SDRAM任何常用已知的技术或一些其它存储器技术来执行。存储器240通过控制器210用于不同的目的，其中之一是用于存储计算设备200中各种软件模块的应用程序数据和程序指令250。软件模块包括实时操作系统、用户界面220驱动、应用程序处理器以及各种应用程序250。
计算设备200还包括用户界面220，其在图1A、1B和1C的计算设备中由显示器/显示屏120和键130、135构成。
计算设备200可还包括射频接口230，其适于使计算设备通过射频带通过采用不同的射频技术与其它设备进行通信。所述技术的示例为IEEE 802.11，IEEE802.15，ZigBee，WirelessHART，WIFI，W-CDMA/HSPA，GSM，UTRAN和LTE等等。
计算设备200还配备有摄像头260。摄像头260是数字摄像头，被设置成通过在电子图像传感器(未示出)上记录图像/影像来拍取视频或静止的照片。
摄像头260可操作地连接至控制器210，以向控制器提供视频流265，即，一系列被捕捉到的图像/影像，以便进一步处理可能用于应用程序250的一个或若干个和/或根据应用程序250的一个或若干个进一步进行处理。
在一个实施例中，摄像头260是外部摄像头或影像流的源。
智能手机200还配备有被动接近传感器270。在一个实施例中，被动接近传感器270是无源光环境传感器。
无源光环境传感器是被设置成检测传感器170,270前面的光环境的传感器170,270。检测被动地进行，没有主动地发送、传输或发射任何信号或其它波形例如红外光或其它光类型。无源光环境传感器仅被设置成检测光环境-即，分辨明/暗(可能以不同的程度)，而不进行摄影捕捉。所述的无源光环境传感器的一个示例是环境光传感器(ALS)。
环境光传感器是光电二极管的特定类型。光电二极管是一种类型的光电检测器，能够将光转换成电压或电流，这取决于操作的模式。环境光传感器的益处是它们以与人眼一样的方式察觉亮度。另一益处是仅需要最低限度的(电池)电源。
无源光环境传感器未被设计成追踪对象和提供详细的光数据。仅通过无源光环境传感器提供对背景光环境的读取。
ALS最初也不是被设置成检测任何移动或运动。仅是背景光水平。此外，ALS不需要另外的硬件例如LED或红外光源。
ALS是优选的实施例，因为它能够以精细等级检测光水平，不需要另外的硬连线，已在许多便携式设备中实施，因此允许简单的软件更新使得便携式设备能够根据本文的教导运行，并且它不增加制造新的便携式设备的成本(因为为了其它目的，便携式设备很有可能配备有ALS)。此外，ALS具有很好的功率损耗，这符合所要解决的问题。
被动接近传感器的其它示例是电、电容和磁性传感器，可能并非被设置成检测传感器前面的实际光，而是检测传感器前面对象的存在或者可能到对象的距离。
发明人已经意识到与对象的接近度或对象的存在可用于等同于光环境，因为暗等于近而明等于远。为了本申请的目的，对象到传感器的距离或对象对传感器的存在因此会表示传感器前面的光环境。为了描述本发明的功能的目的，接近度模式因此等于光模式。
还应当指出，光模式并不等同于光强度上的简单的变化，而会要求有区别的变化，例如非常突然或优选的重复的变化。
重要的是，应当指出，被动接近传感器170最初并非被设置成检测并追踪对象用于识别手势，它只是被设置成被动检测另一物理实体，例如光水平或电容，但输入可能创造性地被用于间接地识别手势。
重要的是，还应当指出，所述传感器可能还被设想成是便携式设备的已完成的设计的一部分，因此使用不会增加已完成的便携式设备的成本。功能也可能在现有的已配备有所述传感器的便携式设备中实施。
应当指出，被动/无源传感器的使用比使用主动/有源传感器例如运动传感器需要少的多的用电，并且需要创造性思维，如同本申请的情况，以实现被动传感器可用于间接充当手势检测装置。
应当理解，提及‘计算机可读存储介质’、‘计算机程序产品’、‘有形体现的计算机程序’等或‘控制器’、‘计算机(电脑)’、‘处理器’等不仅涵盖具有不同体系结构例如单/多处理器体系结构和时序(Von Neumann)/并行体系结构的计算机，还涵盖专用电路例如现场可编程门阵列(FPGA)、专用(集成)电路(ASIC)、信号处理设备和其它设备。应当理解，提及计算机程序、指令、代码等涵盖用于可编程处理器的软件或固件，例如，硬件设备的可编程内容，不管用于处理器的指令、或用于固定功能设备、门阵列或可编程逻辑设备等的设置设定。
图3示出了上文所述的计算机可读介质的示意图。计算机可读介质30在本实施例中是数据盘30。在一个实施例中，数据盘30是磁性数据存储盘。数据盘30被设置成携带指令31，当指令31被加载到控制器例如处理器时，执行上文所述的实施例的方法或程序。数据盘30被设置成连接至读取设备32或在读取设备32内并由读取设备32进行读取，用于将指令加载入控制器。一个所述示例的读取设备32与一个(或若干个)数据盘30的结合是硬盘驱动器。应当指出，计算机可读介质还可以是其它介质，例如CD、DVD、闪存或常用的其它存储器技术。
指令31也可被下载至计算机数据读取设备34，例如笔记本电脑或能够读取计算机可读介质上的计算机编码数据的其它设备，通过将指令31包括在计算机可读信号33中，所述信号通过无线(或有线)接口(例如通过因特网)被传送到计算机数据读取设备34，以便将指令31加载至控制器。在所述实施例中，计算机可读信号33是计算机可读介质30的一种类型。
指令可被存储在笔记本电脑34的存储器(在图3中未明确示出，但在图2中被标记为240)中。
应当理解，提及计算机程序、指令、代码等，涵盖了用于可编程处理器的软件或固件，例如，硬件设备的可编程内容，不管用于处理器的指令或用于固定功能设备、门阵列或可编程逻辑设备等的设置设定。
下文将结合附图披露启动摄像头以便接收非触摸式命令用于非触摸式控制设备的改进的方式。示例会聚焦于所作的手势和所得到的光模式进行说明，但应当清楚，处理是部分或全部在计算设备中进行的，所述计算设备包括上文结合图1和2所述的控制器，或者通过执行存储在如结合图3所述的计算机可读介质上的指令来导致完成处理。
图4A示出了示例便携式设备例如在图1中所示，在本示例中，笔记本电脑100例如图1B的笔记本电脑100被设置成通过摄像头160检测并追踪对象，在本示例中为手H。所述对象H如何被检测和追踪披露于瑞典专利申请SE 1250910-5中并且不会在本申请中进一步详细讨论。对此的进一步细节，请参见所提及的瑞典专利申请。不过，应当指出，本申请的教导可通过使用除瑞典专利申请SE1250910-5以外的其它追踪方式来实施。
为了节省用电，便携式设备100被设置成当不会接收到非触摸式输入时关掉摄像头160。为了进一步减少耗电，便携式设备100可被设置成当在表示闲置的阈值时间段内未识别到或接收到非触摸式输入时关掉摄像头。
不过，为了仍然允许便携式设备10的非触摸式控制，便携式设备100被设置成具有被动接近传感器170，例如无源光环境传感器170。所述传感器170通常可在现有技术的便携式设备中找到。不过，根据本申请的教导的便携式设备100的传感器170被设置成(可能与控制器(图2中的附图标记210)结合)检测传感器前面的运动模式和由该运动识别手势并对之进行响应激活摄像头160以便接收影像流，其中对象(例如，使用者的手)可被追踪以便非触摸式控制。
使用者用他的手H或其它对象在传感器170的前面作手势，所述手势由笔记本电脑100通过检测光变化模式P来进行检测。为了说明功能性，给出了一个示例，其中使用者将他的手H从距离笔记本电脑100的距离D1处的位置H1移动到距离笔记本电脑100更近的第二距离D2处的第二位置H2。
当手处于位置H2时，传感器170前面的光环境与当手处于位置H1时相比变得更暗，因为手H会挡住更多的光线到达传感器170。
在本示例中，使用者将他的手H从H1移动到H2，回到H1然后再到H2，并最终移开他的手(通过再次将手移回H1表示)。该运动模式用图4A中的箭头示出。
运动模式导致传感器170交替地被遮蔽，从而引起产生光变化模式。对应于运动模式的光变化模式示出为一连串的黑框和白框，并在图4A中标记为P。由图4A可见，运动模式产生了光变化模式P“明/暗/明/暗/明”。
控制器将接收到的光变化模式与存储的模式进行匹配，如果存在匹配，控制器210激活摄像头，笔记本电脑100可以按非接触的方式被控制。
换句话说(参见图5的流程图)，控制器210被设置成从无源光环境传感器170接收表示无源光环境传感器前面的光环境的光输入(步骤510)并检测光环境的变化(步骤520)。控制器还确定光环境的变化的模式(步骤530)，即光变化模式，并确定光模式P是否匹配存储在存储器中的已存储的启动模式(步骤540)，并且如果是的话，接受光模式并对之响应激活摄像头160(步骤550)，识别摄像头160前面的对象例如使用者的手H并追踪对象H从而能够非触摸式手势控制便携式设备100。
如同对于图2所讨论的，光模式由一系列的暗和明的变化构成(暗是光(强度)低于阈值，明是光(强度)高于第二阈值)。所述变化优选地是快速的——如同若使用者在ALS前面所作的手势的情况——而非逐渐的变化——如同例如在黄昏或拂晓所出现的情况。
在一个实施例中，变化彼此间呈时间关系。变化可以是对全模式呈时间关系，并且其中控制器被设置成缓存检测到的光变化并通过逆向检查接收到的光输入来检测光模式。也就是说，光变化被缓存并逆向分析以便确定是否已检测到光模式。整体模式在时间帧可被建立之前必须被缓存，以便确定对于模式的时间关系满足与否。
在另一实施例中，确定控制器，以确定变化发生在一时间段内。例如，推手势的明/暗/明应当使得各段小于0.3s，而总时序小于0.5s。
在一个实施例中，控制器被设置成确定在一个序列中的光变化与光序列中的其它变化的平均具有近似相同的时间广度。
应当指出，时间变化的时间关系可能涉及实际需要从一种光照条件变化到另一种的时间或涉及对于各光环境状态的时间。
在一个实施例中，控制器还被设置成确定光变化发生的方向，并且其中光模式进一步由光变化的方向组成。图4B的示例示出了所述模式的示例。
在一个实施例中，控制器还被设置成提示确认并检测确认光模式，并确定确认光模式是否表示确认，如果是的话则接受光模式。
确认光模式可以是推模式(即，明/暗/明)或者检测到的光模式的重复。后者能够实现更为先进的控制。利用模式的重复是非常有用的，如果模式是简单的模式-或者它变得冗长以输入长范围的模式。
提示可显示在显示器120上，可能作为弹出式窗口，通知用户进行确认输入。
提示还可以或可替换地是声音提示，通知用户进行确认输入。
便携式设备100还可被设置成具有运动传感器(未示出)，例如加速度传感器或陀螺仪(未示出)。所述运动传感器常用于便携式设备中，因此也不需要对便携式设备的硬件作任何的改动。
在一个实施例中，控制器被设置成接收来自运动传感器的运动输入，并确定在检测光模式的同时便携式设备是否正在移动。如果确定便携式设备没有移动，检测到的光模式可能是源自于手势的有意识影响的光模式，并且接受该模式并激活摄像头。
在一个实施例中，控制器还被设置成如果检测到便携式设备在检测光模式的同时正在移动则提示确认。
在一个实施例中，控制器还被设置成确定检测到的运动是否构成运动模式和运动模式是否匹配光模式。如果是的话，光模式最有可能是运动的结果并且被放弃，或者控制器提示确认。
运动模式通过将在方向上的变化与光的变化进行比较可被匹配至光模式。如果存在对应，两个模式之间可能存在匹配。
图4B示出了示例计算设备(例如在图1中)，在本示例中，笔记本电脑100例如图1B的笔记本电脑100被设置成通过摄像头160检测并追踪对象(在本示例中为手H)。在本示例中，笔记本电脑100设置有传感器170，所述传感器170能够检测光沿什么方向变化(例如，从左到右)。这使得能够使用其它运动模式。为了说明功能性，给出了第二示例，其中用户从左向右移动他的手H并再次回到距离笔记本电脑100的距离D处。该运动模式用图4B中的箭头示出。
当手H通过传感器170，传感器170首先部分被遮挡、(全部)被遮挡、部分被遮挡并最终再次不被遮挡。
运动模式导致传感器170交替地被遮蔽，因此生成光变化模式。对应运动模式的光变化模式被示出为一连串的黑框和白框，并在图4B中标记为P。传感器能够确定部分遮挡分别位于左侧或右侧，从而在光变化模式中生成部分光框。如图4B中可见，运动模式生成光变化模式P“明/半暗左/半暗右/暗/半暗左/半暗右/明/半暗右/半暗左/暗/半暗右/半暗左/明”。
在识别光变化模式之后，摄像头160被激活，而笔记本电脑可以按非触控的方式被控制。
在一个实施例中，便携式设备设置有一个以上的传感器170。使用多个传感器170能够检测更为复杂的模式，因为可以确定对于对象的角度。此外，运动模式可能更易识别。
图4C示出了具有两个传感器170a和170b的便携式设备100的示例。对象例如手H放在便携式设备100的前面。作为手势的一个示例，手H从第一传感器170a前面的一个位置H1移动到第二传感器170b前面的第二位置H2并回到原地。所得到的模式P被检测为分别对于第一和第二传感器170a和170b的两个子模式Pa和Pb。如图所见，Pa为暗/明/暗，而Pb为明/暗/明。在一个实施例中，两个子模式彼此同步，以便模式变化发生在近乎同时或甚至重叠。
本文的教导提供的益处是，用户能够通过非触控命令启动非触控界面而不需实际激活专门的键或其它手动输入装置，同时装置能够减低其耗电量，因为摄像头160不需要激活等待检测手势。
本发明主要在上文结合几个实施例进行了描述。不过，正如本领域的技术人员易于理解的，除上文所述之外的其它实施例同样可能在本发明的范围内，如由所附权利要求所限定。

Claims (16)

1.一种便携式设备(100)，包括控制器(210)、存储器(240)、摄像头(160)和被动接近传感器(170)，其中控制器被设置成：
接收来自被动接近传感器(170)表示被动接近传感器(170)前面的光环境的输入；
检测光环境的变化；
确定光环境的变化的光模式(P)；
确定光模式是否匹配存储在存储器(240)中的已存储的启动模式，如果是的话，接受光模式(P)并对之响应；
激活摄像头(160)，识别摄像头(160)前面的对象(H)并追踪对象(H)，从而能够非触摸式手势控制便携式设备(100)，其特征在于
被动接近传感器(170)是环境光传感器，和
光模式(P)由一系列的明暗变化组成，其中暗是光强度低于阈值，而明是光强度高于第二阈值。
2.根据权利要求1所述的便携式设备(100)，其中被动接近传感器被设置成检测对象的存在并且光模式是接近模式，其中暗表示近的接近度，而明表示远的接近度。
3.根据权利要求1所述的便携式设备(100)，其中变化彼此呈时间关系。
4.根据权利要求1所述的便携式设备(100)，其中变化对整体模式呈时间关系，并且其中控制器(210)被设置成缓存检测到的光变化并通过逆向检查检测到的光变化来检测光模式。
5.根据前述权利要求中任一权利要求所述的便携式设备(100)，其中控制器(210)被设置成确定光变化发生的方向并且其中光模式(P)进一步由光变化的方向组成。
6.根据权利要求1-4中任一权利要求所述的便携式设备(100)，其中控制器(210)还被设置成提示确认并检测确认光模式并确定所述确认光模式是否表示确认，如果是的话则接受光模式(P)。
7.根据权利要求1-4中任一权利要求所述的便携式设备(100)，还包括运动传感器，并且其中控制器(210)被设置成从运动传感器接收运动输入并确定便携式设备(100)在检测光模式的同时是否正在运动，如果便携式设备(100)没有运动，则接受所述模式。
8.根据权利要求7所述的便携式设备(100)，其中控制器(210)还被设置成如果检测到便携式设备(100)在检测光模式(P)的同时正在运动则提示确认。
9.根据权利要求7所述的便携式设备(100)，其中控制器(210)还被设置成确定检测到的运动是否构成运动模式，运动模式是否匹配光模式(P)，和是否存在放弃光模式(P)或提示确认的匹配。
10.根据权利要求8所述的便携式设备(100)，其中控制器(210)还被设置成确定检测到的运动是否构成运动模式，运动模式是否匹配光模式(P)，和是否存在放弃光模式(P)或提示确认的匹配。
11.根据权利要求1-4和8-10中任一权利要求所述的便携式设备(100)，还包括第二被动接近传感器(170b)，并且其中模式(P)包括至少两个子模式(Pa,Pb)，每个被动接近传感器(170a，170b)有一个子模式。
12.根据权利要求11所述的便携式设备(100)，其中至少两个子模式(Pa,Pb)彼此同步，以便模式变化近乎同时发生或者是重叠的。
13.根据权利要求1-4、8-10和12中任一权利要求所述的便携式设备(100)，其中便携式设备(100)是移动通信终端。
14.根据权利要求13所述的便携式设备(100)，其中移动通信终端是移动电话。
15.一种用于便携式设备(100)的方法，所述便携式设备包括控制器(210)、存储器(240)、摄像头(160)和被动接近传感器(170)，所述方法包括：
从被动接近传感器(170)接收表示被动接近传感器(170)前面的光环境的输入；
检测光环境的变化；
确定光环境的变化的光模式(P)；
确定光模式(P)是否匹配存储在存储器(240)中的已存储的启动模式，如果是的话，则接受光模式(P)并对之响应；
激活摄像头(160)，识别摄像头(160)前面的对象(H)并追踪对象(H)，从而能够非触摸式手势控制便携式设备(100)，所述方法的特征在于
被动接近传感器(170)是环境光传感器，和
光模式(P)由一系列的明暗变化组成，其中暗是光强度低于阈值，而明是光强度高于第二阈值。
16.一种计算机可读存储介质(30)，其上存储有计算机指令，当该指令在便携式设备(100,200)的控制器上执行时实现权利要求15所述方法的步骤。
CN201480020559.9A 2013-04-11 2014-04-03 利用被动式传感器启动非触摸式手势控制的便携式设备 Active CN105144034B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
SE1350454A SE537579C2 (sv) 2013-04-11 2013-04-11 Bärbar enhet nyttjandes en passiv sensor för initiering av beröringsfri geststyrning
SE1350454-3 2013-04-11
PCT/SE2014/050404 WO2014168558A1 (en) 2013-04-11 2014-04-03 Portable device using passive sensor for initiating touchless gesture control

Publications (2)

Publication Number Publication Date
CN105144034A CN105144034A (zh) 2015-12-09
CN105144034B true CN105144034B (zh) 2018-11-13

Family

ID=51689840

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480020559.9A Active CN105144034B (zh) 2013-04-11 2014-04-03 利用被动式传感器启动非触摸式手势控制的便携式设备

Country Status (5)

Country Link
US (1) US9733763B2 (zh)
EP (1) EP2984542B1 (zh)
CN (1) CN105144034B (zh)
SE (1) SE537579C2 (zh)
WO (1) WO2014168558A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015022498A1 (en) * 2013-08-15 2015-02-19 Elliptic Laboratories As Touchless user interfaces
WO2015037273A1 (ja) * 2013-09-12 2015-03-19 三菱電機株式会社 操作入力装置及び方法、並びにプログラム及び記録媒体
US20160117081A1 (en) * 2014-10-27 2016-04-28 Thales Avionics, Inc. Controlling entertainment system using combination of inputs from proximity sensor and touch sensor of remote controller
DE102014017585B4 (de) * 2014-11-27 2017-08-24 Pyreos Ltd. Schalterbetätigungseinrichtung, mobiles Gerät und Verfahren zum Betätigen eines Schalters durch eine nicht-taktile Geste
CN106491071A (zh) * 2015-09-06 2017-03-15 中兴通讯股份有限公司 一种检测视力的方法和终端
CN107643908A (zh) * 2016-07-20 2018-01-30 中兴通讯股份有限公司 语音应用触发控制方法、装置及终端
CN106445117A (zh) * 2016-09-06 2017-02-22 乐视控股（北京）有限公司 终端操控方法及装置
KR20180056962A (ko) * 2016-11-21 2018-05-30 삼성전자주식회사 전원 제어 회로를 포함하는 이벤트 기반 센서
JP6209699B1 (ja) * 2017-04-18 2017-10-04 京セラ株式会社 電子機器、プログラムおよび制御方法
US11620044B2 (en) * 2018-10-23 2023-04-04 Lg Electronics Inc. Mobile terminal
KR102628105B1 (ko) * 2019-08-13 2024-01-23 엘지전자 주식회사 이동 단말기
WO2023249820A1 (en) * 2022-06-22 2023-12-28 Snap Inc. Hand-tracking pipeline dimming

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1996036960A1 (en) * 1995-05-19 1996-11-21 Intelligent Devices, L.L.C. Non-contact user interface for data processing system
CN205594585U (zh) * 2015-11-26 2016-09-21 重庆市泓言科技工程有限公司 一种吸盘式多功能计算机键盘

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070259685A1 (en) * 2006-05-08 2007-11-08 Goran Engblom Electronic equipment with keylock function using motion and method
US8793621B2 (en) * 2006-11-09 2014-07-29 Navisense Method and device to control touchless recognition
JP5228439B2 (ja) * 2007-10-22 2013-07-03 三菱電機株式会社 操作入力装置
KR101554220B1 (ko) * 2009-06-03 2015-09-21 삼성전자주식회사 휴대단말기의 근접 센서를 이용한 데이터 출력 방법 및 장치
KR20100136649A (ko) * 2009-06-19 2010-12-29 삼성전자주식회사 휴대단말기의 근접 센서를 이용한 사용자 인터페이스 구현 방법 및 장치
US20120206414A1 (en) * 2009-10-16 2012-08-16 Rohm Co., Ltd. Mobile device
KR101688655B1 (ko) * 2009-12-03 2016-12-21 엘지전자 주식회사 사용자의 프레전스 검출에 의한 제스쳐 인식 장치의 전력 제어 방법
CN102741781A (zh) * 2009-12-04 2012-10-17 奈克斯特控股公司 用于位置探测的传感器方法和系统
US8531414B2 (en) 2010-02-03 2013-09-10 Bump Technologies, Inc. Bump suppression
KR20110117907A (ko) * 2010-04-22 2011-10-28 삼성전자주식회사 휴대 단말기의 근접 센싱 방법 및 장치
US20110299737A1 (en) * 2010-06-04 2011-12-08 Acer Incorporated Vision-based hand movement recognition system and method thereof
US8954099B2 (en) 2010-06-16 2015-02-10 Qualcomm Incorporated Layout design of proximity sensors to enable shortcuts
US20110310005A1 (en) * 2010-06-17 2011-12-22 Qualcomm Incorporated Methods and apparatus for contactless gesture recognition
US9069380B2 (en) * 2011-06-10 2015-06-30 Aliphcom Media device, application, and content management using sensory input
US20130009875A1 (en) 2011-07-06 2013-01-10 Fry Walter G Three-dimensional computer interface
SE537580C2 (sv) * 2012-08-03 2015-06-30 Crunchfish Ab Förbättrad inmatning
SE537553C2 (sv) * 2012-08-03 2015-06-09 Crunchfish Ab Förbättrad identifiering av en gest
US20140298672A1 (en) 2012-09-27 2014-10-09 Analog Devices Technology Locking and unlocking of contacless gesture-based user interface of device having contactless gesture detection system
TW201416907A (zh) * 2012-10-18 2014-05-01 qing-fang Wu 以光控方式進行系統登錄的處理方法、光控式電子設備以及以光操控電子設備的行動電子裝置
US20140118257A1 (en) * 2012-10-29 2014-05-01 Amazon Technologies, Inc. Gesture detection systems
SE536902C2 (sv) * 2013-01-22 2014-10-21 Crunchfish Ab Skalbar inmatning från spårat objekt i beröringsfritt användargränssnitt
SE536990C2 (sv) * 2013-01-22 2014-11-25 Crunchfish Ab Förbättrad spårning av ett objekt för styrning av ett beröringsfritt användargränssnitt
US9398287B2 (en) * 2013-02-28 2016-07-19 Google Technology Holdings LLC Context-based depth sensor control

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1996036960A1 (en) * 1995-05-19 1996-11-21 Intelligent Devices, L.L.C. Non-contact user interface for data processing system
CN205594585U (zh) * 2015-11-26 2016-09-21 重庆市泓言科技工程有限公司 一种吸盘式多功能计算机键盘

Also Published As

Publication number Publication date
WO2014168558A1 (en) 2014-10-16
EP2984542A1 (en) 2016-02-17
US20160054858A1 (en) 2016-02-25
EP2984542A4 (en) 2016-11-16
SE1350454A1 (sv) 2014-10-12
EP2984542B1 (en) 2018-08-29
SE537579C2 (sv) 2015-06-30
CN105144034A (zh) 2015-12-09
US9733763B2 (en) 2017-08-15

Similar Documents

Publication Publication Date Title
CN105144034B (zh) 利用被动式传感器启动非触摸式手势控制的便携式设备
CN105488464B (zh) 指纹识别方法及装置
WO2018121428A1 (zh) 一种活体检测方法、装置及存储介质
CN105190494B (zh) 用于触摸感知优化自适应阈值转换方法
US20140157209A1 (en) System and method for detecting gestures
CN105657173B (zh) 音量调节方法、装置及移动终端
US20130278493A1 (en) Gesture control method and gesture control device
CN103885588B (zh) 自动切换方法及装置
US20110219340A1 (en) System and method for point, select and transfer hand gesture based user interface
KR102614046B1 (ko) 생체 데이터를 획득하기 위한 방법 및 그 전자 장치
US9129150B2 (en) Electronic apparatus and display control method
CN108650457A (zh) 自动拍照方法、装置、存储介质及移动终端
SE1450769A1 (sv) Förbättrad spårning av ett objekt för styrning av ett beröringsfritt användargränssnitt
JP6392900B2 (ja) 圧力検出方法、装置、プログラム、及び記録媒体
KR102655625B1 (ko) 피사체의 근접 여부에 따라 촬영 장치를 제어하는 방법 및 촬영 장치.
CN105678242A (zh) 手持证件模式下的对焦方法和装置
CN105827928A (zh) 一种选择对焦区域的方法及装置
CN107368221A (zh) 压力确定方法和装置、指纹识别方法和装置
CN109101172A (zh) 多屏联动系统及其互动显示方法
CN108108683A (zh) 触控响应方法、移动终端及存储介质
CN105528078A (zh) 控制电子设备的方法及装置
CN105867822B (zh) 一种信息处理方法及电子设备
CN108090441A (zh) 指纹识别控制方法、移动终端及存储介质
TW201510772A (zh) 手勢判斷方法及電子裝置
CN107563259B (zh) 检测动作信息的方法、感光数组及影像传感器

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20200617

Address after: Malmo, Sweden

Patentee after: Science and technology think tank gesture interaction company

Address before: Malmo, Sweden

Patentee before: CRUNCHFISH AB