CN108351692A - 手势感测方法和支持其的电子设备 - Google Patents

手势感测方法和支持其的电子设备 Download PDF

Info

Publication number
CN108351692A
CN108351692A CN201680063605.2A CN201680063605A CN108351692A CN 108351692 A CN108351692 A CN 108351692A CN 201680063605 A CN201680063605 A CN 201680063605A CN 108351692 A CN108351692 A CN 108351692A
Authority
CN
China
Prior art keywords
gesture
type
electronic equipment
sensor
mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201680063605.2A
Other languages
English (en)
Inventor
A.马尔琴科
V.萨文
V.泰姆奇施恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN108351692A publication Critical patent/CN108351692A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text

Abstract

根据本发明的各种示例的电子设备的手势感测方法可以包括以下操作：感测对象、确定对象的移动、确定与对象的移动相对应的手势类型、根据所确定的手势类型启用与手势类型相对应的用于感测手势的传感器、并通过启用的传感器感测手势。根据本发明的各种示例中的任意一个的电子设备可以包括：传感器单元，用于通过至少一个传感器感测对象和对象的移动，相机模块，用于通过至少一个传感器拍摄对象和对象的移动；以及控制单元，被配置为感测对象、确定对象的移动、确定与对象的移动相对应的手势类型、根据所确定的手势类型启用与手势类型相对应的用于检测手势的传感器、并且通过启用的传感器感测手势。其他示例是可能的。

Description

手势感测方法和支持其的电子设备
技术领域
本发明涉及手势感测方法和支持其的电子设备。
背景技术
电子设备是指根据在家用电器、电子笔记本、便携式多媒体播放器、移动通信终端、平板PC、视频/声音设备、台式/膝上型计算机、和车辆导航设备中启动的程序执行特定功能的设备。例如，这样的电子设备可以通过使用存储的信息来输出声音或视频。随着电子设备的整体性变得更高和广泛传播超高速/高容量通信，在电子设备中启动了各种功能。
作为各种功能之一，电子设备通过各种传感器接收外部对象(例如，人类身体的一部分，诸如手指、手掌、和手背或手写笔)(在下文中，“手势”)的至少一个意图移动作为电子设备的输入，并将该移动识别为原始用户意图。
发明内容
技术问题
随着输入手势变得复杂，电子设备可以将所有传感器维持在启用(active)状态。在这种情况下，由于有限的电池容量，电子设备可能遇到功耗问题。
为了相应地解决上述问题，本发明的各种实施例可以提供一种通过检测对象的移动并识别手势的复杂性以便停用不必要的传感器并减少功耗的手势感测方法和支持其的电子设备。
此外，本发明的各种实施例可以提供一种通过重置传感器以便根据对象的移动来检测手势的手势感测方法和支持其的电子设备。
技术方案
根据本发明的各种实施例，电子设备的手势感测方法可以包括以下操作：检测对象、识别对象的移动并确定与对象的移动相对应的手势类型、启用用于根据确定的手势类型检测与手势类型相对应的手势的传感器、以及通过启用的传感器检测手势。
根据本发明的各种实施例之一的电子设备可以配置为：传感器单元，用于通过至少一个传感器检测对象和对象的移动；相机模块，用于通过至少一个传感器拍摄对象和对象的移动；以及控制单元，被配置为检测对象、识别对象的移动、确定与对象的移动相对应的手势类型、根据确定的手势类型启用用于检测与手势类型相对应的手势的传感器、并且通过启用的传感器检测手势。
有益效果
根据各种实施例的手势感测方法和电子设备可以通过识别手势的意图来停用对于检测手势不必需的传感器并且减少功耗。
此外，根据本发明的各种实施例，电子设备可以识别操作中改变的手势意图并且仅启用对于检测意图手势所必需的传感器或者重置传感器以检测意图手势。因此，为了通过传感器检测改变的手势，重启电子设备所需的电力是不必要的，并且可以节省用于重启的功耗。
附图说明
图1示出根据本发明的各种实施例的网络环境中的电子设备。
图2是示出根据本发明的各种实施例的电子设备的框图。
图3是示出根据本发明的各种实施例的程序模块的框图。
图4a至图4c示出根据本发明的各种实施例的示例。
图5是根据本发明的各种实施例的流程图。
具体实施方式
在下文中，参考附图描述本公开的各种实施例。应该理解的是，本文使用的实施例和术语不意图将所公开的技术限制为特定实施方式，而是包括实施例的各种修改、等同物和/或替代方案。在附图的描述中，类似的元件可以使用相似的附图标记。
在本公开中，诸如“包含”、“包括”、和“具有”的术语表示所声明的元件、组件、操作、功能、特征等的存在，但不排除存在或可能添加一个或多个其他元件、组件、操作、功能、特征等。
在本公开中，表达“A或B”、“A和/或B中的至少一个”等可以包括一起列出的项目的所有可能的组合。例如，“A或B”、“A和B中的至少一个”或“A或B中的至少一个”可以指所有的(1)包括至少一个A，(2)包括至少一个B，和3)包括至少一个A和至少一个B。
包括诸如“第一”和“第二”的序数的表达可以指示各种元件。上述表达不限制元件的顺序或重要性，仅用于区分一个元件与其他元件的目的。例如，第一电子设备和第二电子设备可以指示不同的电子设备，而不管它们的顺序或重要性。例如，在不脱离本公开的范围的条件下，第一元件可以被称为第二元件，并且类似地，第二元件也可以被称为第一元件。
当某个元件(例如，第一元件)被称为与另一个元件(例如，第二元件)“连接”或“耦合”(可操作地或通信地)时，这可能意味着第一元件直接连接或耦合到第二元件或通过任何其他元件(例如，第三元件)间接地连接或耦合。另一方面，当某个元件(例如，第一元件)被称为与另一元件(例如，第二元件)“直接连接”或“直接耦合”时，可以理解的其中间不存在元件(例如，第三元件)。
“被配置为”的表达可以与“适合于”、“具有能力”、“设计为”、“适应于”、“做出”、“能够”和“有能力”的任何其他表达互换地使用。表达“设备，被配置为”可以意味着设备与其他设备或组件一起“能够”。例如，短语“被配置为执行A、B、和C的处理器”可以意味着用于执行相应的操作的专用处理器(例如，嵌入式处理器)或者能够通过运行存储在存储器中的一个或多个软件程序来执行相应的操作的通用处理器(例如，中央处理单元(CentralProcessing Unit，CPU)或者应用处理器(Application Processor，AP))。
本文所使用的术语可以仅仅是描述某个实施例，并非意图限制其他实施例的范围。单数表达可以包括复数表达，除非上下文另有明确说明。本文所使用的术语，包括技术或科学术语，可以具有与本领域技术人员通常理解的相同的含义。在普通字典中定义的一些术语可以被解释为具有与现有技术中的上下文含义相同或相似的含义。某些术语不应被解释为理想的或过度地形式检测，除非本文中明确地相反定义。在一些情况下，本文所定义的术语不能被解释为排除本公开的实施例。
根据本公开的各种实施例的电子设备可以包括以下各项当中的至少一个：智能电话、平板个人计算机(Personal Computer，PC)、移动电话、视频电话、电子书阅读器、台式PC、膝上型PC、上网本计算机、工作站、服务器、个人数字助理(Personal DigitalAssistant，PDA)、便携式多媒体播放器(Portable Multimedia Player，PMP)、MP3播放器、便携式医疗设备、数码相机或可穿戴设备。根据各种实施例，可穿戴设备可以包括以下各项当中的至少一个：附件类型设备(例如，手表、戒指、手镯、脚链、项链、眼镜、隐形眼镜、或头戴式设备(Head-Mounted Device，HMD)、织物或布型装置(例如，电子布)、身体附着型设备(例如，皮肤垫或纹身)或身体植入型电路。
在一些实施例中，电子设备可以是家用电器。例如，家用电器可以包括以下各项当中的至少一个：TV、数字视频盘(Digital Video Disk，DVD)播放器、音频装备、冰箱、空调、吸尘器、烤箱、微波炉、洗衣机、空气清洁器、机顶盒、家庭自动化控制面板、安全控制面板、媒体盒(例如，SamsungHomeSyncTM、Apple TVTM、或GoogleTVTM)、游戏控制台(例如XboxTM、PlayStationTM)、电子词典、电子钥匙、摄像机或电子相框。
在另一实施例中，电子设备可以包括医疗设备(例如，便携式医疗测量设备(例如，血糖仪、心率计、血压计、体温计等)、磁共振血管造影(Magnetic Resonance Angiography，MRA)、磁共振成像(Magnetic Resonance Imaging，MRI)、计算机断层扫描(ComputedTomography，CT)，超声检查等)、导航设备、全球导航卫星系统(Global NavigationSatellite System，GNSS)、事件数据记录器(Event Data Recorder，EDR)、飞行数据记录器(Flight Data Recorder，FDR)、汽车信息娱乐设备、用于船舶的电子装备(例如，海上导航系统、陀螺罗盘等)、航空电子设备、安全装备、车头单元、工业或家庭机器人、无人机、自动取款机(Automated Teller Machine，ATM)、销售点(Point of Sales，POS)、或物联网(Internet of Things，IoT)设备(例如，灯泡、传感器、喷洒器、火警、恒温器、路灯、烤面包机、运动器材、热水箱、加热器、锅炉等)中的至少一个。
在某个实施例中，电子设备可以包括以下各项当中的至少一个：家具、建筑物/结构或汽车的一部分、电子板、电子签名接收设备、投影器、或各种测量仪器(例如，水表、电表、煤气表、波长计等)。在各种实施例中，电子设备可以是上述设备之一或其组合。根据本文公开的实施例的电子设备不限于上述设备，并且可以包括随着技术的发展而启动的新电子设备。
在下文中，参考附图，描述根据各种实施例的电子设备。在本公开中，术语“用户”可以指使用电子设备的人或使用电子设备的设备(例如，人工智能电子设备)。
参考图1，示出根据各种实施例的网络环境100。参考图A，电子设备101、102、或104、或服务器106可以经由网络162或近场通信164互连。电子设备101可以包括总线110、处理器120、存储器130、输入/输出(input/output，I/O)接口150、显示器160、和通信接口170。在某个实施例中，电子设备101可以省略上述元件中的至少一个，或者还包括任何其他元件。
总线110可以是互连上述元件110至元件170并在上述元件之间传递通信(例如，控制消息和/或数据)的电路。
处理器120可以包括以下各项当中的至少一个：中央处理单元(CPU)、应用处理器(AP)、或通信处理器(Communication Processor，CP)。处理器120可以执行对至少一个其他元件的控制和/或通信的操作或数据处理。
存储器130可以包括易失性和/或非易失性存储器。存储器130可以存储与电子设备101的至少一个元件有关的指令或数据。根据实施例，存储器130可以存储软件和/或程序140。程序140可以包括，例如，内核141、中间件143、应用编程接口(ApplicationProgramming Interface，API)145、和/或应用程序(或应用)147。内核141、中间件143、和API 145中的至少一些可以被称为操作系统(Operating System，OS)。
内核141可以控制或管理用于执行在其他程序(例如，中间件143、API145、和应用程序147)中实施的操作或功能的系统资源(例如，总线110、处理器120、存储器130等)。而且，内核141可以通过中间件143、API 145、或应用程序147提供能够访问电子设备101的各个元件的接口，从而控制或管理系统资源。
中间件143可以执行中介的功能，使得API 145或应用程序147与内核141通信并由此交换数据。
另外，中间件143可以根据优先级来处理从应用程序147接收到的一个或多个工作请求。例如，中间件143可以将用于使用电子设备101的系统资源(例如，总线110、处理器120、存储器130等)的优先级分配给应用程序147，然后处理该一个或者更多个工作请求。例如，中间件143可以通过根据被分配给至少一个的优先级处理一个或多个任务请求来执行一个或多个任务请求的调度或负载平衡。
API 145是应用147通过其来控制由内核141或中间件143提供的功能的接口，并且可以包括，例如，用于文件控制、窗口控制、图像处理、字符控制等等的至少一个接口或功能(例如，指令)。
I/O接口150可以将从用户或其他外部设备输入的命令或数据发送到电子设备101的其他(多个)元件，或者向用户或其他外部设备输出从电子设备101的其他(多个)元件接收的命令或数据。
显示器160可以包括，例如，液晶显示器(Liquid Crystal Display，LCD)、发光二极管(Light-Emitting Diode，LED)显示器、有机发光二极管(Organic Light-EmittingDiode，OLED)显示器、微电子机械系统(Micro-Electro-Mechanical System，MEMS)显示器、或电子纸显示器。显示器160可以向用户显示，例如，各种内容(例如，文本、图像、视频、图标、符号等)。显示器160可以包括触摸屏，并且可以接收，例如，使用电子笔或者用户的身体的一部分的触摸、手势、接近、或者悬停输入。
通信接口170可以在电子设备101和外部设备(例如，第一外部电子设备102、第二外部电子设备104、或服务器106)之间建立通信。例如，通信接口170可以通过无线或有线通信连接到网络162，以便与外部设备(例如，第二外部电子设备104或服务器106)通信。
无线通信是蜂窝通信协议，并且可以使用以下各项当中的至少一个：例如，长期演进(Long-Term Evolution，LTE)、LTE高级(LTE Advance、LTE-A)、码分多址(Code DivisionMultiple Access，CDMA)、宽带CDMA(Wideband CDMA，WCDMA)、通用移动通信系统(Universal Mobile Telecommunications System，UMTS)、无线宽带(WirelessBroadband，WiBro)、和全球移动通信系统(Global System for Mobile Communication，GSM)。此外，例如，无线通信可以包括短距离通信164。例如，短距离通信164可以包括以下各项当中的至少一个：无线保真(Wireless Fidelity，WiFi)、蓝牙、近场通信(Near FieldCommunication，NFC)、磁条传输(Magnetic Stripe Transmission，MST)、和全球导航卫星系统(Global Navigation Satellite System，GNSS)。
MST可以使用电磁信号基于传输数据生成脉冲，并且该脉冲可以生成磁信号。电子设备101可以向销售点(POS)发送磁信号。POS可以使用MST读取器来检测磁信号，并通过将检测到的磁信号转换为电信号来恢复数据。
例如，GNSS基于使用区域或带宽可以包括以下各项当中的至少一个：全球定位系统(Global Positioning System，GPS)、全球导航卫星系统(Global NavigationSatellite System，Glonass)、北斗导航卫星系统(下文中，“北斗”)、伽利略和欧洲全球卫星导航系统。下文中，在这个文件中，“GPS”可以与“GNSS”互换地使用。有线通信可以包括以下各项当中的至少一个：例如，通用串行总线(Universal Serial Bus，USB)、高清晰度多媒体接口(High Definition Multimedia Interface，HDMI)、推荐标准232(RecommendedStandard，RS-232)或者简单老式电话服务(Plain Old Telephone Service，POTS)。网络162可以包括以下各项中的至少一个：例如，电信网络、计算机网络(例如，LAN或WAN)、因特网和电话网络。
第一外部电子设备102和第二外部电子设备104中的每个可以在类型上与电子设备101类似或不同。根据一个实施例，服务器106可以包括一个或多个服务器的组。根据各种实施例，可以在另一电子设备或多个电子设备(例如，电子设备102和电子设备104以及服务器106)中执行在电子设备101中执行的全部或部分操作。根据实施例，在必须自动或按需执行特定功能或服务的情况下，并非自主执行功能或服务或除自主执行功能或服务之外，电子设备101可以请求任何其他电子设备(例如，电子设备102或电子设备104或服务器106)来执行至少部分的功能或服务。然后，另一电子设备(例如，电子设备102或电子设备104或服务器106)可以执行所请求的功能或服务并将结果返回给电子设备101。电子设备101可以通过使用或进一步处理所接收的结果来提供所请求的功能或服务。为此，例如可以使用云计算技术、分布式计算技术、或客户端-服务器计算技术。
图2是示出根据实施例的电子设备201的框图200。电子设备201可以包括，例如，图1中示出的电子设备101的全部或部分。电子设备201可以包括以下各项当中的至少一个：应用处理器(AP)210、通信模块220、订户身份模块、存储器230、传感器模块240、输入设备250、显示器260、接口270、音频模块280、相机模块291、电源管理模块295、电池296、指示器297、和电机298。处理器210可以执行操作系统(OS)或应用程序，控制连接到处理器210的多个硬件或软件组件，并且对各种数据执行处理和操作。处理器210可以由，例如，片上系统(SoC)来实施。根据实施例，处理器210还可以包括图形处理单元(GPU)和/或图像信号处理器。处理器210可以包括图2中所示的元件中的至少一些(例如，蜂窝模块221)。处理器210可以将从其他元件(例如，非易失性存储器)中的至少一个接收的指令或数据加载并处理到易失性存储器中，然后将结果数据存储在非易失性存储器中。
通信模块220可以包括与图1所示的通信接口170相同或相似的配置。例如，通信模块220能够包括蜂窝模块221、Wi-Fi模块222、蓝牙(Bluetooth，BT)模块223、GNSS模块224(例如，GPS模块、Glonass模块、北斗模块、或伽利略模块)、NFC模块225、MST模块226、和射频(Radio Frequency，RF)模块227。
蜂窝模块221可以，例如，通过通信网络提供语音通话、视频通话、消息服务、或因特网服务。根据实施例，蜂窝模块221可以利用订户身份模块(例如，SIM卡)229来执行通信网络中的电子设备201的识别和认证。根据实施例，蜂窝模块221可以执行处理器210可以提供的至少一些功能。根据实施例，蜂窝模块221可以包括通信处理器(CP)。
WiFi模块222、蓝牙模块223、GNSS模块224、NFC模块225和MST模块226中的每个可以包括用于处理通过其发送或接收的数据的处理器。根据某个实施例，可以在集成芯片(integrated chip，IC)或IC封装中包括蜂窝模块221、WiFi模块222、蓝牙模块223、GNSS模块224、NFC模块225、或MST模块226中的至少一些(例如，两个或更多)。
例如，RF模块227可以发送和接收通信信号(例如，RF信号)。RF模块227可以包括，例如，收发器、功率放大器模块(Power Amplifier Module，PAM)、频率滤波器、低噪声放大器(Low Noise Amplifier，LNA)、或天线。根据另一实施例，蜂窝模块221、WiFi模块222、蓝牙模块223、GNSS模块224、NFC模块225、或MST模块226中的至少一个可以通过分开的RF模块来发送/接收RF信号。
订户身份模块229可以包括，例如，具有订户身份模块和/或嵌入式SIM的卡，并且可以包括唯一标识信息(例如，集成电路卡标识符(Integrated Circuit CardIdentifier，ICCID)、或国际移动订户身份(International Mobile SubscriberIdentity，IMSI))。
存储器230(例如，存储器130)可以包括内部存储器232和外部存储器234。内部存储器232可以包括，例如，易失性存储器(例如，DRAM、SRAM、或SDRAM)、和非易失性存储器(例如，一次性可编程ROM(one time programmable ROM，OTPROM)、PROM、EPROM、EEPROM、掩模ROM、闪存ROM、快闪存储器、硬盘驱动器、或固态驱动器(Solid State Drive，SSD))中的至少一个。
外部存储器234可以包括快闪驱动器，例如，小型闪存(Compact Flash，CF)、安全数字(Secure Digital，SD)、微型SD、迷你SD、极限数字(extreme Digital，xD)、或记忆棒。外部存储器234可以通过各种接口在功能上或者物理地连接到电子设备201。
安全模块236是包括具有比存储器230相对较高安全级别的存储空间的模块，并且可以是用于保护安全数据存储和受保护的执行环境的电路。安全性模块236可以利用分开电路来配置，并且可以包括分开的处理器。例如，安全模块236可以在可拆卸的智能芯片或安全数字(SD)卡中安装，或可以包括安装在电子设备201的固定芯片中的嵌入式安全元件(embedded secure element，eSE)。此外，安全模块236可以由与电子设备201的操作系统(OS)不同的操作系统驱动。例如，安全模块236可以基于JCOP(JavaCard开放平台)操作系统进行操作。
例如，传感器模块240可以测量物理量或检测电子设备201的操作状态，并将测量或检测到的信息转换为电信号。传感器模块240可以包括以下各项当中的至少一个，例如，手势传感器240A、陀螺仪传感器240B、气压传感器240C、磁传感器240D、加速度传感器240E、抓握传感器240F、接近度传感器240G、颜色传感器240H(例如，RGB(红、绿、蓝)传感器)、生物统计传感器240I、温度/湿度传感器240J、照度传感器240K、或UV(紫外)传感器240M。附加地或可替代地，传感器模块240可以包括，例如，电子鼻传感器、EMG传感器(肌电图传感器)、EEG传感器(脑电图传感器)、ECG传感器(心电图传感器)、IR(红外)传感器、虹膜传感器和/或指纹传感器、以及深度传感器。传感器模块240还可以包括用于控制属于传感器模块240的至少一个传感器的控制电路。根据实施例，电子设备201可以包括：作为处理器210的一部分或与处理器210分离地、控制传感器模块240的处理器，并且该处理器可以在处理器210处于睡眠状态的同时控制传感器模块240。
输入设备250可以包括，例如，触摸板252、数字笔传感器254、按键256、或者超声波输入设备258。触摸面板252可以使用，例如，静电型、压敏型、红外型、或超声波型中的至少一种。此外，触摸板252可以包括控制电路。触摸面板252还可以包括触觉层以便为用户提供触觉响应。
例如，数字笔传感器254可以是触摸板的一部分或包括单独的识别片。按键256可以包括，例如，物理按钮、光学按键、或者小键盘。超声输入设备258可以检测由输入工具通过麦克风288生成的超声波，并且识别与检测到的超声波相对应的数据。
显示器260(例如，显示器160)可以包括面板262、全息设备264、或投影器266。面板262可以与图1的显示器160相同或相似。面板262可以，例如，以柔性、透明、或者可穿戴的形式来配置。面板262可以配置有触摸面板252和模块。全息设备264可以通过使用光干涉来在空中显示三维图像。投影器266能够通过在屏幕上投射光来显示图像。屏幕可以位于，例如，电子设备的内部或外部。根据实施例，显示器260还可以包括用于控制面板262、全息设备264、或投影器266的控制电路。
接口270可以包括，例如，HDMI(High-definition Multimedia Interface，高清晰度多媒体接口)272、USB(Universal Serial Bus，通用串行总线)274、光学接口276、或D-sub(D-subminiature)278。接口270可以包括，例如，图1中示出的通信接口170。附加地或可替换地，接口270可以包括，例如，MHL(移动高清连接)接口、SD(安全数字)卡接口、MMC(多媒体卡)接口、或IrDA(红外数据协会)标准接口。
音频模块280可以，例如，双向地转换声音和电信号。音频模块280的至少一个组件可以包括例如图1中所示的输入/输出接口145。音频模块280可以，例如，通过扬声器282、接收器284、耳机286、或麦克风288来处理声音信息输入或输出。
相机模块291是用于拍摄静止图像或运动图像的设备，并且根据实施例，可以包括至少一个图像传感器(例如，前传感器或后传感器)、镜头、ISP(ImageSignal Processor，图像信号处理器)、或者闪光灯(例如，LED或氙灯)。另外，相机模块291可以通过使用深度传感器和IR传感器来获得深度数据。此外，相机模块可以通过使用TOF(Time Of Flight，飞行时间)方法获得深度数据。TOF方法是一种通过IR传感器的发射器向要测量的物体发射IR信号、测量反射时间、并实时获得深度信息的技术。另外，电子设备可以包括具有深度传感器的单独的深度相机模块。
电力管理模块295可以管理电子设备201的电力。尽管未示出，但电源管理模块295可以包括，例如，PMIC(Power Management Integrated Circuit，电源管理集成电路)、充电器IC、或电池或燃料表。例如，PMIC可以由例如，IC芯片或SoC形成。可以以有线或无线的方式执行充电。充电器IC可以对电池296充电并且可以防止来自充电器的过电压或过电流。根据实施例，充电器IC可以具有用于有线的和无线的充电类型中的至少一个的充电器IC。无线充电类型可以包括，例如，磁共振类型、磁感应类型、或电磁类型。还可以使用诸如，线圈、谐振电路、或整流器的用于无线充电的任何附加电路。电池量表可以测量电池296的剩余量和充电过程中的电压、电流或温度。电池296可以在其中存储或创造电力，并向电子设备201提供电力。电池296可以是，例如，可充电电池或者太阳能电池。
指示器297可以在其上示出电子设备201或其部分(例如，AP 210)的当前状态(例如，启动状态、消息状态或充电状态)。电机298可以将电信号转换为机械振动。尽管未示出，但电子设备201可以包括用于支持移动TV的特定处理器(例如，GPU)。该处理器可以处理符合DMB((Digital Multimedia Broadcasting，数字多媒体广播)、DVB(Digital VideoBroadcasting，数字视频广播)、或媒体流的标准的媒体数据。
本文公开的电子设备的上述元件中的每一个可以由一个或多个组件形成，并且其名称可以根据电子设备的类型而变化。本文公开的电子设备可以由上述元件中的至少一个形成，而没有某些元件或者附加的其他元件。元件中的一些可以被集成到单一的实体中，它们仍然执行与这些元件在集成之前相同的功能。
图3是示出根据各种实施例的程序模块的框图。根据一个实施例，程序模块310(例如，程序140)可以包括与电子设备(例如，电子设备101)有关的OS控制资源和/或在OS中执行的各种应用程序(例如，应用程序147)。例如，OS可以是AndroidTM、iOSTM、WindowsTM、SymbianTM、TizenTM、BadaTM等。
程序模块310可以包括内核320(例如，内核141)、中间件330(例如，中间件143)、API 360(例如，API 145)、和/或应用370(例如，应用程序147)。程序模块310的至少一部分可以预先加载在电子设备中或者从外部电子设备(例如，电子设备102、104或服务器106)下载。
内核320可以包括系统资源管理器321和/或设备驱动程序323。系统资源管理器321可以执行系统资源的控制、分配、恢复等。根据一个实施例，系统资源管理器321可以包括进程管理器、存储器管理器、或文件系统管理器。设备驱动器323可以包括，例如，显示驱动器、相机驱动器、蓝牙驱动器、共享存储器驱动器、USB驱动器、小键盘驱动器、Wi-Fi驱动器、音频驱动器、或者进程间通信(Inter-Process Communication，IPC)驱动器。
中间件330可以包括先前实施的多个模块，以便提供应用370共同使用的功能。而且，中间件330可以通过API 360向应用370提供功能，以便使得应用370能够有效地使用电子设备内的有限系统资源。例如，如图3所示，中间件330(例如，中间件143)可以包括以下各项当中的至少一个：运行时间库335、应用管理器341、窗口管理器342、多媒体管理器343、资源管理器344、电源管理器345、数据库管理器346、包管理器347、连接性管理器348、通知管理器349、位置管理器350、图形管理器351、安全管理器352、以及任何其它合适的和/或类似的管理器。
运行时间库335可以包括，例如，由编译器使用的库模块，以便在执行应用程序370期间通过使用编程语言来添加新功能。根据本公开的实施例，运行时间库335可以执行与输入和输出、存储器的管理、算术功能等相关的功能。
应用管理器341可以管理，例如，应用370中的至少一个的生命周期。窗口管理器342可以管理屏幕中所用的GUI资源。例如，当连接至少两个显示器260时，响应于屏幕的比例或应用370的动作，屏幕可以被不同地配置或管理。多媒体管理器343可以检测用于再现各种媒体文件的格式，并且可以通过适合于相关格式的编解码器对媒体文件进行编码或解码。资源管理器344可以管理应用370中的至少一个的资源，诸如源代码、存储器、存储空间等。
电源管理器345可以与基本输入/输出系统(Basic Input/Output System，BIOS)一起操作，可以管理电池或电力，并且可以提供用于操作的电力信息等。数据库管理器346可以以这样的方式来管理数据库：使得能够生成、搜索和/或改变由应用370中的至少一个使用的数据库。包管理器347可以管理以包文件的形式分发的应用的安装和/或更新。
连接性管理器348可以管理无线连接，例如，Wi-Fi和蓝牙。通知管理器349可以以不会干扰用户的方式向用户显示或报告诸如到达消息、约会、接近警报等的事件。位置管理器350可以管理电子设备的位置信息。图形管理器351可以管理要提供给用户的图形效果和/或与图形效果相关的用户界面。安全管理器352可以提供用于系统安全、用户认证等的各种安全功能。根据实施例，当电子设备(例如，电子设备101)具有电话功能时，中间件330还可以包括电话管理器，该电话管理器用于管理电子设备的语音电话呼叫功能和/或视频电话呼叫功能。
中间件330可以包括用于形成上述元件的各种功能组合的中间件模块。中间件330可以提供根据OS的类型专门化的模块以提供区分的功能。而且，中间件330可以动态地删除一些现有元件，或者可以添加新的元件。
API 360(例如，API 145)是API编程功能的集合，并且可以根据OS提供不同的配置。例如，在Android或iOS的情况下，可以向每个平台提供一个API集。例如，在Tizen的情况下，可以向每个平台提供两个或更多个API集。
应用370(例如，应用程序147)可以包括，例如，主页应用371、拨号器应用372、短消息服务(SMS)/多媒体消息服务(MMS)应用373、即时消息(IM)应用374、浏览器应用375、相机应用376、警报应用377、联系人应用378、语音拨号应用379、电子邮件(电子邮件，email)应用380、日历应用381、媒体播放器应用382、相册应用383、时钟应用384、或能够执行诸如健康护理(例如，测量运动量或血糖)或环境信息提供(例如，提供关于气压、湿度、温度等的信息)的功能的至少一个应用等。
根据一个实施例，应用370可以包括支持电子设备(例如，101)和外部电子设备(例如，102或104)之间的信息交换的应用程序(在下文中，称为“信息交换应用”)。信息交换应用可以包括，例如，用于将特定信息发送到外部电子设备的通知中继应用、或用于管理外部电子设备的设备管理应用。
例如，通知中继应用可以具有将在电子设备的其他应用(例如，SMS/MMS应用、电子邮件应用、保健应用、或环境信息应用)中生成的通知信息发送到外部电子设备(例如102或104)的功能。此外，通知中继应用可以从外部电子设备接收通知信息并将其提供给用户。
设备管理应用可以管理(例如，安装、删除或更新)外部电子设备(例如102或104)的至少一个功能(例如，打开/关闭外部电子设备本身或其组件中的一些或调整显示器的亮度或分辨率)、在外部电子设备中运行的至少一个应用、或在外部电子设备中提供的至少一个服务(例如，呼叫服务或消息服务)。
根据一个实施例，应用370可以包括根据外部电子设备(例如，102或104)的属性而指定的应用(例如，移动医疗设备的保健应用等)。根据一个实施例，应用程序370可以包括从外部电子设备(例如，服务器106、或电子设备102或104)接收的应用。根据一个实施例，应用370可以包括预加载的应用或者可从服务器下载的第三方应用。根据所示实施例的程序模块310的元件的名称可以根据操作系统的类型而变化。
根据各种实施例，程序模块310的至少一部分可以用软件、固件、硬件、或其组合来实现。程序模块310的至少一部分可以由，例如，处理器(例如，210)来实施(例如，执行)。程序模块310的至少一部分可以包括，例如，执行一个或多个功能的模块、程序、例程、指令集或过程。
本公开中使用的术语“模块”可以意味着，包括例如硬件、软件和固件中的一个或其组合的单元。术语“模块”可以与其他术语可互换使用，例如，诸如单元、逻辑、逻辑块、组件或电路。“模块”可以是整体构造的组件的最小单位或其一部分。“模块”可以是用于执行一个或多个功能的最小单位或其一部分。模块可以机械地或者电子地实施。例如，根据本公开，“模块”可以包括已知的或以后开发并执行特定的功能以下各项当中的至少一个：专用集成电路(Application-Specific Integrated Circuit，ASIC)芯片、现场可编程门阵列(Field-Programmable Gate Arrays，FPGA)、和可编程逻辑器件。
根据各种实施例，可以将设备的至少一部分(例如，其模块或其功能)或方法(例如，操作)实施为，例如，以编程模块形式存储在非临时性计算机可读存储介质中的指令。当指令由处理器(例如，处理器120)执行时，处理器可以执行与指令相对应的功能。计算机可读存储介质可以是，例如，存储器130。
非暂时性计算机可读记录介质可以包括：磁介质(诸如，硬盘、软盘、和磁带)、光学介质(诸如，光盘只读存储器(CD-ROM)和数字多功能盘(DVD))、磁光介质(诸如，软光盘)、以及专门配置为存储和执行程序指令的硬件设备。另外，程序指令可以包括可以通过使用解释器在计算机中执行的高级语言代码，以及由编译器生成的机器代码。上述硬件设备可以被配置为作为一个或多个软件模块来执行各种实施例的操作，反之亦然。
根据各种实施例的模块或编程模块可以包括或排除上述组件中的至少一个，或者还包括任何其他组件。根据各种实施例的由模块、编程模块、或任何其他组件执行的操作可以被顺序地、并行地、重复地或通过启发式方法执行。另外，一些操作可以以不同的顺序执行或省略，或者可以添加任何其他操作。
根据本发明的各种实施例，电子设备的手势感测方法可以包括以下操作：检测对象、识别对象的移动并确定与对象的移动相对应的手势类型、启用用于根据确定的手势类型检测与手势类型相对应的手势的传感器、以及通过启用的传感器检测手势。
根据本发明的各种实施例，识别移动的操作可以包括确定与对象的移动相对应的手势类型是简单手势类型还是复杂手势类型的操作。
根据本发明的各种实施例，识别移动的操作可以包括以下操作：接收与对象的移动相对应的至少一个图像、将至少一个接收到的图像与预先存储的参考图像进行比较、以及如果根据比较结果将参考图像之一识别为与对应于简单手势的图像相对应，则将对象的移动确定为简单手势类型。
根据本发明的各种实施例，如果参考图像之一对应于复杂手势类型，则该方法还可以包括将对象的移动确定为复杂手势类型的操作。
根据本发明的各种实施例，启用传感器的操作可以包括重置用于检测手势的预先启用的(pre-activated)传感器的操作。
根据本发明的各种实施例，检测对象的操作可以包括以默认模式检测对象。默认模式可以是用于启用RGB传感器以及停用红外(IR)传感器和深度传感器的模式。
根据本发明的各种实施例，确定对象的移动的操作可以包括以下步骤：根据对象的检测从默认模式切换到扩展模式，并且在扩展模式中确定与对象相对应的手势类型。
根据本发明的各种实施例，扩展模式可以是用于启用RGB传感器、IR传感器和深度传感器的模式，或用于停用RGB传感器并且启用IR传感器和深度传感器的模式。
根据本发明的各种实施例，扩展模式可以以用于识别与对象的移动相对应的手势类型的帧率来设置IR传感器和深度传感器。
根据本发明的各种实施例，根据确定的结果，在简单手势类型的情况下，可以维持扩展模式并可以启用与简单手势相对应的用于检测简单手势的传感器，并且根据确定的结果，在复杂手势类型的情况下，扩展模式可以切换到完全性能模式，可以在全性能模式中启用与该手势类型相对应的用于检测复杂手势的传感器。
根据本发明的各种实施例，根据确定的结果，在简单手势类型的情况下，扩展模式可以以用于检测简单手势的帧率来设置IR传感器和深度传感器。
根据本发明的各种实施例，全性能模式可以以用于检测复杂手势的帧率来设置IR传感器和深度传感器。
根据本发明的各种实施例，全性能模式可以以最大帧率设置IR传感器和深度传感器。
在本发明中，电子设备执行的模式可以根据用户的手势意图而改变。作为由电子设备执行的模式之一的默认模式可以意味着启用使用RGB传感器的彩色相机并且通过停用深度传感器或IR传感器来停用深度相机的状态。默认模式可以是启用最小数量的传感器来检测执行手势的对象的模式。在默认模式下，电子设备可以通过仅使用最少所需的传感器来减少不必要的功耗。
作为由电子设备执行的模式之一的扩展模式可以是根据对象的检测从默认模式改变的模式。扩展模式可以是用于通过根据对象的移动检测手势意图来识别手势类型的模式。以扩展模式操作的电子设备可以使用初步估计算法以便识别由对象的移动所意图的手势类型。根据初步估计算法，电子设备可以将与移动对象相对应的至少一个接收到的图像与预先存储的图像进行比较，并且根据比较结果来识别手势类型是简单手势类型还是复杂手势类型。初步估计算法被用作实施例，并且可以根据对象和/或检测对象的传感器使用其他算法。
为了通过应用初步估计算法来接收移动对象的至少一个图像，可以在扩展模式下启用RGB传感器和深度传感器。深度传感器可以设置为以5fps(每秒帧数)操作。根据RGB传感器的启用，彩色相机变为活动状态，并且也可以启用使用深度传感器的深度相机。此外，在扩展模式下，可以停用彩色相机，仅启用深度相机。
如果扩展模式中对象的移动所意图的手势被识别为复杂手势类型，则作为由电子设备执行的模式之一的全性能模式可以是从扩展模式改变的模式。全性能模式可以是检测复杂手势所需的传感器被设置的模式。例如，为了检测复杂手势，可以将深度传感器设置为以高值的帧率进行操作，并且可以将IR传感器设置为发射具有高照度值的IR光。作为实施例，最大帧率可以是30fps。此外，在全性能模式下，可以停用彩色相机，并且可以仅深度相机被设置为操作。
在本发明中，简单手势是包括在简单手势类型中的手势。简单手势可以意味着用较低的计算量检测到的手势。作为简单手势的示例，如果对象是用户的手，则左右晃动手的手势可对应于简单手势。简单手势可以仅用RGB传感器检测，或可以用配置有具有低值的帧率的IR传感器和/或深度传感器的深度相机来检测。
在本发明中，复杂手势是包括在复杂手势类型中的手势。复杂手势可能意味着用更大计算量检测到的手势。作为复杂手势的示例，如果对象是用户的手，则弯曲特定手指或捏着特定手指的手势可对应于复杂手势。仅用RGB传感器检测复杂手势可能很困难，并且可能需要进行骨架化处理。骨架化处理是从正在接收的图像中提取大小和轮廓的方法之一。因此，复杂手势不仅可以由RGB传感器检测，而且还可以由配置有具有高值的帧率的IR传感器和/或深度传感器的深度相机来检测。
图4a至图4c示出根据本发明的各种实施例的示例。
作为实施例，图4a至图4c示出启动了VR(虚拟现实)功能的眼镜类型的电子设备400作为电子设备的示例。参考图4a，用户可以穿戴电子设备400。电子设备400可以以默认模式操作。默认模式可以是其中启用了最小数量的传感器以便检测对象的状态，并且这里，作为实施例，最小数量的传感器可以是RGB传感器。
如图4b所示，电子设备400可以检测对象。根据对象的检测，电子设备400可以将操作模式从默认模式切换到扩展模式。扩展模式可以是其中启用了检测对象的移动所需的传感器的模式。扩展模式可以是其中启用彩色相机并且通过启用深度传感器和/或IR传感器的发射器来启用深度相机的状态。扩展模式可以用最小帧率来设置启用的深度传感器和/或IR发射器以检测对象。作为实施例，最小帧率可以是需要最小功耗的5fps。5fps的速率不是固定值，并且可以根据用户设置而不同。通过切换到扩展模式，电子设备400可以附加地显示状态通知410以通知到扩展模式的切换。
以扩展模式操作的电子设备可以利用彩色相机和深度相机中的至少一个来检测对象的移动，并且识别对象的移动所意图的手势类型是简单手势类型还是复杂手势类型。
可以执行以下操作，以便电子设备可以识别由对象的移动所意图的手势类型是简单手势类型还是复杂手势类型。在扩展模式中，电子设备可以将从彩色相机和深度照相机中的至少一个接收到的至少一个图像与预先存储在电子设备中的图像进行比较。如果至少一个接收到的图像与预先存储在电子设备中的图像当中的简单图像相对应，则电子设备可以识别由对象的移动所意图的手势类型是简单手势类型。
此外，如果至少一个接收到的图像与预先存储在电子设备中的图像当中的复杂图像相对应，则电子设备可以确定由对象的移动所意图的手势类型是复杂手势类型。
如图4b所示，电子设备可以检测作为对象的手的形状，并且根据对象的检测将操作模式从默认模式切换到扩展模式。
以扩展模式操作的电子设备可以识别从彩色相机和深度相机中的至少一个接收的至少一个手形的图像与预先存储的简单手势的图像相对应。即，电子设备可以识别对象的移动意图为简单手势类型。电子设备可以在扩展模式下检测简单手势401而无需切换模式。以扩展模式操作的电子设备可以检测来自用户的简单手势401，并根据检测到的简单手势401执行操作。
作为实施例，简单手势401包括指向手势(pointing gesture)和抓取手势。抓取手势可能需要比指向手势更高的帧率。因此，即使在相同的扩展模式下检测到简单手势401，通过设置比指向手势更高的帧率来检测抓取手势可能更有效。因此，电子设备可以有各种传感器设置值以便于检测各种简单手势。
如图4C中所示，以扩展模式操作的电子设备可以识别从彩色相机和深度相机中的至少一个接收到的至少一个手形的图像与对应于预先存储的复杂手势的图像相对应。即，电子设备可以识别对象的移动意图为复杂手势类型。电子设备可以从扩展模式切换到全性能模式以便检测复杂手势402。根据切换到全性能模式，电子设备400可以附加地显示状态通知以通知到全性能模式的切换。
为了检测用户的复杂手势402，全性能模式可以是用最高帧率值设置深度传感器并且将IR传感器设置为以最高照度值发射IR光的模式。执行全性能模式的电子设备可以检测复杂手势402，并且执行与检测到的复杂手势402相对应的操作。
图5是根据本发明的各种实施例的流程图。
参考操作501，电子设备以默认模式操作。默认模式可以意味着启用使用RGB传感器的色彩相机以及停用使用深度传感器或红外传感器的深度相机。为了检测对象，默认模式可以是其中启用检测对象所需的最小数量的传感器的状态，并且这里，作为实施例，最小数量的传感器可以是RGB传感器。
在操作502电子设备检测对象并在操作503切换到扩展模式。为了检测对象，扩展模式可以是启用检测对象的移动所需的传感器的模式。扩展模式可以是其中启用彩色相机并通过启用深度传感器和/或IR传感器的发射器来启用深度相机的状态。扩展模式可以设置启用的深度传感器和/或IR发射器以用最小的帧率工作，以便于检测对象的移动。作为实施例，最小帧率可以是需要最小功耗的5fps。5fps的速率不是固定值，并且可以根据用户设置而不同。
在操作504，以扩展模式操作的电子设备通过将从彩色相机和/或深度相机接收到的至少一个对象的图像与预先存储的图像进行比较来识别对象的移动意图哪个手势类型。如果因为至少一个接收到的图像与预先存储的图像当中对应于简单手势的图像相对应而将对象的移动识别为意图简单手势类型，则电子设备可进行到操作505。
在操作505，电子设备通过维持扩展模式来检测简单手势。通过进行到操作509，电子设备可以根据检测到的简单手势来执行操作。
如果在操作504，因为至少一个接收到的图像与预先存储的图像当中对应于复杂手势的图像相对应而将对象的移动识别为意图复杂手势类型，则在扩展模式中操作的电子设备进行到操作506。
在操作506，电子设备将当前操作模式从扩展模式切换到全性能模式。全性能模式可以是以最高帧率值设置深度传感器并且将IR传感器设置为以最高照度值发射IR光，以便于检测用户的复杂手势的模式。
在操作507，电子设备检测复杂手势。在操作508，电子设备根据检测到的复杂手势执行操作。
尽管附图中未示出，但另外地，在操作508之后，如果没有检测到更多的对象的移动，即如果没有生成手势，则电子设备可以返回到操作501。
根据本发明的各种实施例，电子设备可以包括：传感器单元，用于通过至少一个传感器检测对象和对象的移动；相机模块，用于通过至少一个传感器拍摄对象和对象的移动；以及控制单元，被配置为检测对象、识别对象的移动、确定与对象的移动相对应的手势类型、根据确定的手势类型启用用于检测与手势类型相对应的手势的传感器、并且通过启用的传感器检测手势。
根据本发明的各种实施例，控制单元可以被配置为识别与对象的移动相对应的手势类型是简单手势类型还是复杂手势类型。
根据本发明的各种实施例，电子设备还可以包括存储器，该存储器被配置为存储与简单手势类型和复杂手势类型中的每一个相对应的参考图像。控制单元可以被配置为接收与对象的移动相对应的至少一个图像，将所接收的至少一个图像与参考图像进行比较，并且如果根据比较的结果将参考图像之一识别为与对应于简单手势的图像相对应，则将对象的移动确定为简单手势类型。
根据本发明的各种实施例，如果根据比较的结果将参考图像之一识别为与对应于复杂手势类型的图像相对应，则控制单元可以被配置为将对象的移动确定为复杂手势类型。
根据本发明的各种实施例，控制单元可以被配置为重置预先启用的传感器以便检测手势。
根据本发明的各种实施例，控制单元可以设置默认模式以检测对象。默认模式可以是用于启用RGB传感器和停用红外(IR)传感器和深度传感器的模式。
根据本发明的各种实施例，控制单元可以被配置为根据对象的检测将默认模式切换到扩展模式，并且在扩展模式中根据对象的移动来确定手势类型。
根据本发明的各种实施例，扩展模式可以是用于启用RGB传感器、IR传感器和深度传感器的模式，或用于停用RGB传感器并且启用IR传感器和深度传感器的模式。
根据本发明的各种实施例，扩展模式可以以用于识别与对象的移动相对应的手势类型的帧率来设置IR传感器和深度传感器。
根据本发明的各种实施例，控制单元可以被配置为：根据确定的结果，在简单手势类型的情况下维持扩展模式并启用用于检测手势的传感器，以及根据确定的结果，在复杂手势类型的情况下，将扩展模式切换到全性能模式，并且在全性能模式下启用用于检测手势的传感器。
根据本发明的各种实施例，根据确定的结果，在简单手势类型的情况下，扩展模式可以以用于检测简单手势的帧率来设置IR传感器和深度传感器。
根据本发明的各种实施例，全性能模式可以以用于检测复杂手势的帧率来设置IR传感器和深度传感器。
根据本发明的各种实施例，全性能模式可以以最大帧率设置IR传感器和深度传感器。

Claims (26)

1.一种电子设备的手势感测方法，所述方法包括：
检测对象；
识别对象的移动并确定与对象的移动相对应的手势类型；
根据所确定的手势类型启用与所述手势类型相对应的用于检测手势的传感器；以及
通过启用的传感器检测手势。
2.如权利要求1所述的方法，其中，识别移动包括确定与对象的移动相对应的手势类型是简单手势类型还是复杂手势类型。
3.如权利要求2所述的方法，其中，识别移动包括：
接收与对象的移动相对应的至少一个图像；
将所接收的至少一个图像与预先存储的参考图像进行比较；以及
如果根据比较结果将参考图像之一识别为与对应于简单手势的图像相对应，则将对象的移动确定为简单手势类型。
4.如权利要求3所述的方法，还包括：如果根据比较结果，所述参考图像之一对应于复杂手势类型，则将对象的移动确定为复杂手势类型。
5.如权利要求1所述的方法，其中，启用传感器包括重置用于检测手势的预先启用的传感器。
6.如权利要求1所述的方法，其中，检测对象包括以默认模式检测对象，
其中，所述默认模式是用于启用RGB传感器和停用红外(IR)传感器和深度传感器的模式。
7.如权利要求6所述的方法，其中，识别对象的移动包括：
根据对象的检测从默认模式切换到扩展模式，以及
确定在扩展模式下与对象相对应的手势类型。
8.如权利要求7所述的方法，其中，所述扩展模式是用于启用RGB传感器、IR传感器和深度传感器的模式，或
用于停用RGB传感器并且启用IR传感器和深度传感器的模式。
9.如权利要求8所述的方法，其中，所述扩展模式以用于识别与对象的移动相对应的手势类型的帧率来设置IR传感器和深度传感器。
10.如权利要求7所述的方法，其中，根据确定的结果，在简单手势类型的情况下，维持扩展模式并且启用与所述简单手势相对应的用于检测简单手势的传感器，并且
根据确定的结果，在复杂手势类型的情况下，将扩展模式切换到全性能模式，并且在全性能模式下启用与所述手势类型相对应的用于检测复杂手势的传感器。
11.如权利要求10所述的方法，其中，根据确定的结果，在简单手势类型的情况下，扩展模式以用于检测简单手势的帧率来设置IR传感器和深度传感器。
12.如权利要求10所述的方法，其中，所述全性能模式以用于检测复杂手势的帧率来设置IR传感器和深度传感器。
13.如权利要求10所述的方法，其中，所述全性能模式以最大帧率来设置IR传感器和深度传感器。
14.一种电子设备，包括：
传感器单元，用于通过至少一个传感器检测对象和对象的移动；
相机模块，用于通过至少一个传感器拍摄对象和对象的移动；以及
控制单元，被配置为检测对象、识别对象的移动、确定与对象的移动相对应的手势类型、根据所确定的手势类型启用与所述手势类型相对应的用于检测所述手势的传感器、并且通过启用的传感器检测所述手势。
15.如权利要求14所述的电子设备，其中，所述控制单元被配置为识别与对象的移动相对应的手势类型是简单手势类型还是复杂手势类型。
16.如权利要求15所述的电子设备，还包括：存储器，被配置为存储与简单手势类型和复杂手势类型中的每一个手势类型相对应的参考图像，
其中，控制单元被配置为接收与对象的移动相对应的至少一个图像，将所接收的至少一个图像与参考图像进行比较，并且如果根据比较的结果，将参考图像之一识别为与对应于简单手势的图像相对应，则将对象的移动确定为简单手势类型。
17.如权利要求16所述的电子设备，其中，所述控制单元被配置为：如果根据比较结果，将参考图像之一识别为与对应于复杂手势类型的图像相对应，则将对象的运动确定为复杂手势类型。
18.如权利要求14所述的电子设备，其中，所述控制单元被配置为重置预先启用的传感器以便检测手势。
19.如权利要求14所述的电子设备，其中，所述控制单元设置默认模式以检测对象，
其中，默认模式是用于启用RGB传感器并且停用红外IR传感器和深度传感器的模式。
20.如权利要求19所述的电子设备，其中，所述控制单元被配置为根据对象的检测将默认模式切换到扩展模式，并且
在扩展模式下根据对象的移动确定手势类型。
21.如权利要求20所述的电子设备，其中，所述扩展模式是用于启用RGB传感器、IR传感器和深度传感器的模式，或
用于停用RGB传感器并且启用IR传感器和深度传感器的模式。
22.如权利要求21所述的电子设备，其中，所述扩展模式以用于识别与对象的移动相对应的手势类型的帧率来设置IR传感器和深度传感器。
23.如权利要求20所述的电子设备，其中，所述控制单元被配置为：根据确定的结果，在简单手势类型的情况下，维持扩展模式并启用用于检测所述手势的传感器，并且
根据确定的结果，在复杂手势类型的情况下，将扩展模式切换到完全性能模式，并且在全性能模式下启用用于检测所述手势的传感器。
24.如权利要求23所述的电子设备，其中，根据确定的结果，在简单手势类型的情况下，扩展模式以用于检测简单手势的帧率来设置IR传感器和深度传感器。
25.如权利要求23所述的电子设备，其中，所述全性能模式以用于检测复杂手势的帧率来设置IR传感器和深度传感器。
26.如权利要求23所述的电子设备，其中，所述全性能模式以最大帧率来设置IR传感器和深度传感器。
CN201680063605.2A 2015-10-30 2016-10-17 手势感测方法和支持其的电子设备 Withdrawn CN108351692A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2015-0152569 2015-10-30
KR1020150152569A KR20170050702A (ko) 2015-10-30 2015-10-30 제스처 감지 방법 및 이를 지원하는 전자 장치
PCT/KR2016/011617 WO2017073941A1 (ko) 2015-10-30 2016-10-17 제스처 감지 방법 및 이를 지원하는 전자 장치

Publications (1)

Publication Number Publication Date
CN108351692A true CN108351692A (zh) 2018-07-31

Family

ID=58630632

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680063605.2A Withdrawn CN108351692A (zh) 2015-10-30 2016-10-17 手势感测方法和支持其的电子设备

Country Status (5)

Country Link
US (1) US20180329501A1 (zh)
EP (1) EP3358446A4 (zh)
KR (1) KR20170050702A (zh)
CN (1) CN108351692A (zh)
WO (1) WO2017073941A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113465252A (zh) * 2020-05-29 2021-10-01 海信集团有限公司 智能冰箱及智能冰箱内的抽屉状态检测方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6169238B1 (ja) * 2016-09-21 2017-07-26 京セラ株式会社 電子機器、プログラムおよび制御方法
SE541650C2 (en) * 2017-05-30 2019-11-19 Crunchfish Ab Improved activation of a virtual object
US10481700B1 (en) * 2018-06-21 2019-11-19 Qualcomm Incorporated Frame rate setting for power efficient gesture detection
US10861165B2 (en) * 2019-01-11 2020-12-08 Microsoft Technology Licensing, Llc Subject tracking with aliased time-of-flight data
CN111580664B (zh) * 2020-05-11 2021-07-27 清华大学 一种抬起手势的识别方法、系统、电子设备及存储介质
WO2021257072A1 (en) * 2020-06-17 2021-12-23 Google Llc Multi-radar system
JP2022163813A (ja) * 2021-04-15 2022-10-27 キヤノン株式会社 装着型の情報端末、その制御方法及びプログラム
CN115205981B (zh) * 2022-09-08 2023-01-31 深圳市维海德技术股份有限公司 起立姿态检测方法、装置、电子设备及可读存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1262750A (zh) * 1998-03-12 2000-08-09 皇家菲利浦电子有限公司 以手套手指用于虚拟全面打字的多个压力传感器
US20120147531A1 (en) * 2010-12-10 2012-06-14 Qualcomm Incorporated Processing involving multiple sensors
US20130050425A1 (en) * 2011-08-24 2013-02-28 Soungmin Im Gesture-based user interface method and apparatus
CN103167340A (zh) * 2013-04-03 2013-06-19 青岛歌尔声学科技有限公司 智能电视手势识别系统及其识别方法
US20140006830A1 (en) * 2012-06-29 2014-01-02 Intel Corporation User behavior adaptive sensing scheme for efficient power consumption management
US20140118257A1 (en) * 2012-10-29 2014-05-01 Amazon Technologies, Inc. Gesture detection systems
US20140124647A1 (en) * 2012-11-06 2014-05-08 Pixart Imaging Inc. Sensor array and method of controlling sensing device and related electronic device
CN103823577A (zh) * 2012-11-16 2014-05-28 中国科学院声学研究所 一种基于传感器的手势遥控方法及系统
CN104049738A (zh) * 2013-03-14 2014-09-17 三星电子株式会社 用于操作用户装置的传感器的方法和设备
US20140267025A1 (en) * 2013-03-14 2014-09-18 Samsung Electronics Co., Ltd. Method and apparatus for operating sensors of user device
US20140347263A1 (en) * 2013-05-23 2014-11-27 Fastvdo Llc Motion-Assisted Visual Language For Human Computer Interfaces
US20150277568A1 (en) * 2014-03-26 2015-10-01 Intel Corporation Mechanism to enhance user experience of mobile devices through complex inputs from external displays

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090325710A1 (en) * 2008-06-27 2009-12-31 Microsoft Corporation Dynamic Selection Of Sensitivity Of Tilt Functionality
JP2012522241A (ja) * 2009-03-31 2012-09-20 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 自動存在検出のためのセンサのエネルギ効率の良いカスケード接続
KR20110010906A (ko) * 2009-07-27 2011-02-08 삼성전자주식회사 사용자 인터랙션을 이용한 전자기기 제어 방법 및 장치
US9171200B2 (en) * 2011-03-04 2015-10-27 Hewlett-Packard Development Company, L.P. Gestural interaction identification
US9176608B1 (en) * 2011-06-27 2015-11-03 Amazon Technologies, Inc. Camera based sensor for motion detection
US9024958B2 (en) * 2012-01-30 2015-05-05 Lenovo (Singapore) Pte. Ltd. Buffering mechanism for camera-based gesturing
US9389690B2 (en) * 2012-03-01 2016-07-12 Qualcomm Incorporated Gesture detection based on information from multiple types of sensors
US9104467B2 (en) * 2012-10-14 2015-08-11 Ari M Frank Utilizing eye tracking to reduce power consumption involved in measuring affective response
JP6108892B2 (ja) * 2013-03-18 2017-04-05 キヤノン株式会社 電子機器および電源制御方法
US20140368423A1 (en) * 2013-06-17 2014-12-18 Nvidia Corporation Method and system for low power gesture recognition for waking up mobile devices
US20140376773A1 (en) * 2013-06-21 2014-12-25 Leap Motion, Inc. Tunable operational parameters in motion-capture and touchless interface operation
US10048761B2 (en) * 2013-09-30 2018-08-14 Qualcomm Incorporated Classification of gesture detection systems through use of known and yet to be worn sensors
US20150177842A1 (en) * 2013-12-23 2015-06-25 Yuliya Rudenko 3D Gesture Based User Authorization and Device Control Methods
JP2017512977A (ja) * 2014-01-17 2017-05-25 ゴジョ・インダストリーズ・インコーポレイテッド センサ構成
RU2014108820A (ru) * 2014-03-06 2015-09-20 ЭлЭсАй Корпорейшн Процессор изображений, содержащий систему распознавания жестов с функциональными возможностями обнаружения и отслеживания пальцев
JP6169238B1 (ja) * 2016-09-21 2017-07-26 京セラ株式会社 電子機器、プログラムおよび制御方法
US10334149B2 (en) * 2017-02-23 2019-06-25 Qualcomm Incorporated Adjustment for cameras for low power mode operation
US10613619B2 (en) * 2017-12-15 2020-04-07 Google Llc Ultra-low power mode for a low-cost force-sensing device

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1262750A (zh) * 1998-03-12 2000-08-09 皇家菲利浦电子有限公司 以手套手指用于虚拟全面打字的多个压力传感器
US20120147531A1 (en) * 2010-12-10 2012-06-14 Qualcomm Incorporated Processing involving multiple sensors
CN103262620A (zh) * 2010-12-10 2013-08-21 高通股份有限公司 涉及多个传感器的处理
US20130050425A1 (en) * 2011-08-24 2013-02-28 Soungmin Im Gesture-based user interface method and apparatus
US20140006830A1 (en) * 2012-06-29 2014-01-02 Intel Corporation User behavior adaptive sensing scheme for efficient power consumption management
US20140118257A1 (en) * 2012-10-29 2014-05-01 Amazon Technologies, Inc. Gesture detection systems
TW201419036A (zh) * 2012-11-06 2014-05-16 Pixart Imaging Inc 感測元件陣列、控制感測裝置的方法以及相關電子裝置
US20140124647A1 (en) * 2012-11-06 2014-05-08 Pixart Imaging Inc. Sensor array and method of controlling sensing device and related electronic device
CN103823577A (zh) * 2012-11-16 2014-05-28 中国科学院声学研究所 一种基于传感器的手势遥控方法及系统
CN104049738A (zh) * 2013-03-14 2014-09-17 三星电子株式会社 用于操作用户装置的传感器的方法和设备
US20140267025A1 (en) * 2013-03-14 2014-09-18 Samsung Electronics Co., Ltd. Method and apparatus for operating sensors of user device
CN103167340A (zh) * 2013-04-03 2013-06-19 青岛歌尔声学科技有限公司 智能电视手势识别系统及其识别方法
US20140347263A1 (en) * 2013-05-23 2014-11-27 Fastvdo Llc Motion-Assisted Visual Language For Human Computer Interfaces
US20150277568A1 (en) * 2014-03-26 2015-10-01 Intel Corporation Mechanism to enhance user experience of mobile devices through complex inputs from external displays

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113465252A (zh) * 2020-05-29 2021-10-01 海信集团有限公司 智能冰箱及智能冰箱内的抽屉状态检测方法

Also Published As

Publication number Publication date
EP3358446A1 (en) 2018-08-08
EP3358446A4 (en) 2018-09-12
WO2017073941A1 (ko) 2017-05-04
KR20170050702A (ko) 2017-05-11
US20180329501A1 (en) 2018-11-15

Similar Documents

Publication Publication Date Title
KR102326154B1 (ko) 저전력 모드의 표시 방법 및 이를 지원하는 전자 장치
CN108351692A (zh) 手势感测方法和支持其的电子设备
EP3118730B1 (en) Method for operating electronic device, and electronic device
CN109874365A (zh) 用于执行无线充电的设备及其方法
CN107665485B (zh) 用于显示图形对象的电子装置和计算机可读记录介质
CN105590577B (zh) 显示器驱动方法、显示器驱动集成电路及电子设备
KR102390647B1 (ko) 전자장치 및 전자장치의 객체 제어 방법
KR20180095409A (ko) 전자 장치 및 전자 장치의 화면 표시 방법
CN107101665A (zh) 运动信息提供方法及支持所述方法的电子装置
KR20160101600A (ko) 스크린 미러링 서비스 제공방법 및 장치
CN107548486A (zh) 用于提供快捷用户界面的电子装置及其方法
CN108475174A (zh) 电子设备及其操作方法
CN108700995A (zh) 电子设备和用于切换和对齐其应用的方法
CN108028891A (zh) 电子设备和照相方法
CN106372102A (zh) 电子装置和用于管理电子装置上的文件夹中的对象的方法
CN105426069B (zh) 用于产生预览数据的方法和电子设备
CN107835969A (zh) 对电子设备的触摸感测模块进行控制的方法、电子设备、对设置在电子设备中的触摸感测模块进行操作的方法以及触摸感测模块
CN107923980A (zh) 用于提供位置信息的方法和装置
CN110199503A (zh) 消息生成方法及用于支持该方法的可穿戴的电子设备
KR102358849B1 (ko) 스마트 워치에 대한 정보를 제공하는 전자 장치와 이의 동작 방법
CN109416676A (zh) 用于确定电子设备的角色的方法及其电子设备
CN108369483A (zh) 用于显示通知对象的电子设备和方法
KR20160026337A (ko) 전자장치의 통지 이벤트 처리 방법 및 그 전자 장치
CN105446611A (zh) 用于对触摸输入进行处理的装置及其方法
CN106257398A (zh) 电子装置和在电子装置中处理通知的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20180731