CN101604205A - 电子设备及用于远程控制电子设备的方法 - Google Patents

电子设备及用于远程控制电子设备的方法 Download PDF

Info

Publication number
CN101604205A
CN101604205A CN 200910203622 CN200910203622A CN101604205A CN 101604205 A CN101604205 A CN 101604205A CN 200910203622 CN200910203622 CN 200910203622 CN 200910203622 A CN200910203622 A CN 200910203622A CN 101604205 A CN101604205 A CN 101604205A
Authority
CN
China
Prior art keywords
electronic equipment
control operation
image
motion
remotely controlling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN 200910203622
Other languages
English (en)
Other versions
CN101604205B (zh
Inventor
陈正哲
施信德
蔡宗儒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Priority to CN201510418237.6A priority Critical patent/CN105446477B/zh
Priority to CN201210118298.7A priority patent/CN102778947B/zh
Publication of CN101604205A publication Critical patent/CN101604205A/zh
Application granted granted Critical
Publication of CN101604205B publication Critical patent/CN101604205B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00352—Input means
    • H04N1/00381—Input by recognition or interpretation of visible user gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/3173—Constructional details thereof wherein the projection device is specially adapted for enhanced portability
    • H04N9/3176—Constructional details thereof wherein the projection device is specially adapted for enhanced portability wherein the projection device is incorporated in a camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00281—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal
    • H04N1/00307—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal with a mobile telephone apparatus

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Telephone Function (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供一种电子设备及用于远程控制电子设备的方法，其中用于远程控制电子设备的方法由所述电子设备的处理器实施，包括：检测是否存在一个物体位于所述电子设备的预设范围内；若是则开启所述电子设备的数字摄像机模块，以捕获一系列图像；确定相应于已捕获图像的控制操作；以及对所述电子设备的电子装置实施所述控制操作。利用本发明能够实现对电子设备进行远程控制，而无需接触。

Description

电子设备及用于远程控制电子设备的方法
技术领域
本发明涉及人机界面(man-machine interface，MMI)，更具体地，涉及用于控制具有数字摄像机(digital camera)模块和传感器(sensor)模块的电子设备的方法与系统。
背景技术
人机界面是人与电子设备交互的重要手段。人机界面包括屏幕菜单和图标(icons)、快捷键(keyboard shortcuts)、命令语言和在线帮助、以及物理按钮、拨号和操纵杆(1ever)。人机界面还包括输入装置，例如鼠标、键盘、触摸屏、操纵杆(joy stick)、游戏控制器(game controller)或数据手套(data glove)。通过使用人机界面的输入装置，用户可手动触摸、按压、按键(click)、抓取或移动输入装置以操作各个电子设备。然而，当用户不能够手动操作电子设备或电子设备固定于一个特定位置不能轻易移动时，则其操作受阻。因此，目前麦克风(microphones)已用作人机界面的输入装置。特别地，通过处理语音信号、从自然语言(naturallanguage)和语音识别(voice recognition)决定语音模式(speech pattern)，麦克风可进行语音控制。然而，当在禁止吵闹或禁止讲话的环境中手动操作被阻止时，这种人机界面存在缺陷。
发明内容
为了改善当在需要无嘈杂噪声或无声的环境中手动操作被阻止时，现有技术中人机界面存在的缺陷，本发明提供一种用于远程控制电子设备的方法及其电子设备。
本发明提供一种用于远程控制电子设备的方法，所述方法由所述电子设备的处理器实施，包括：检测是否存在一个物体位于所述电子设备的预设范围内；若是则开启所述电子设备的数字摄像机模块，以捕获一系列图像；确定相应于已捕获图像的控制操作；以及对所述电子设备的电子装置实施所述控制操作。
本发明另提供一种用于远程控制电子设备的方法，所述方法由所述电子设备的处理器实施，包括：当接收到可指示特定事件被触发的指示信号时，开启所述电子设备的数字摄像机模块，以捕获一系列图像；确定相应于已捕获图像的控制操作；以及对所述电子设备的电子装置实施所述控制操作。
本发明另提供一种电子设备，包括：数字摄像机模块；传感器模块，检测是否存在一个物体位于所述电子设备的预设范围内；电子装置；以及处理器，耦接于所述数字摄像机模块、所述传感器模块和所述电子装置，用于当所述传感器模块检测到非常接近所述电子设备的物体存在时，开启所述数字摄像机模块以捕获一系列图像，从所述数字摄像机模块接收已捕获图像，确定相应于所述已捕获图像的控制操作，以及对所述电子装置实施所述控制操作。
利用本发明能够实现对电子设备进行远程控制，而无需接触。
以下为根据多个图式对本发明的较佳实施例进行详细描述，本领域技术人员阅读后应可明确了解本发明目的。
附图说明
图1A、图1B和图1E为移动电话由手或所握的笔通过嵌入式摄像机模块捕获图像进行远程控制而无需接触的示意图。
图1C为嵌入式光传感器检测手接近移动电话的示意图。
图1D为嵌入式电容式传感器检测手接近移动电话的示意图。
图2为具有各种电子装置的移动电话的一个实施例的硬件结构示意图。
图3为应用于数字图像处理模块实施例的硬件环境示意图。
图4为双向预测的典型示意图。
图5为产生基图的方法实施例的流程图。
图6为捕获的具有不同焦距的多个原始图像的示意图。
图7为压缩原始图像的示意图。
图8A为包含可指示向上移动姿势和向下移动姿势的图像的示意图。
图8B为包含可指示数字1到3姿势的图像的示意图。
图8C和图8D为用于已捕获图像的典型特征提取和判别函数产生的示意图。
图9为确定运动方向的方法实施例的流程图。
图10为用于产生基图的方法实施例的流程图。
图11A和图11B为捕获的具有不同焦距的多个原始图像的示意图。
图12为根据自数字摄像机模块和传感器模块的信号，用于控制电子装置的方法实施例的流程图。
图13为用以确定是否存在预定义姿势运动的有限状态机示意图。
图14A、图14B或图14C为提示屏幕的示意图。
图15为根据自数字摄像机模块和传感器模块的信号，用于控制电子装置的方法实施例的流程图。
具体实施方式
为解决传统人机界面的前述缺陷，实现了如下的新颖人机界面，其包括安装于电子设备内的传感器模块和数字摄像机模块。传感器模块检测到物体(例如手、笔或其它)接近电子设备时，数字摄像机模块被激活以聚焦于该物体上并捕获(capture)所聚焦物体的图像。安装于电子设备内的处理器分析已捕获图像，并据此根据分析的已捕获图像控制其中的一个或多个电子装置。图1A、图1B和图1E为移动电话100由手120或所握的笔130通过嵌入式摄像机模块110捕获图像进行远程控制而无需接触的示意图。
图2为具有各种电子装置的移动电话100的一个实施例的硬件结构示意图，其中各种电子装置例如处理器211、数字图像处理模块231、传感器模块233、非易失性内存/储存器装置251、易失性内存253、放映机(projector)模块271、声音播放模块273、振动模块275、电信模块277和数字电视接收模块279。需要知道的是，在本发明的范围和精神内，所介绍的人机界面亦可应用于个人数字助理(personal digital assistants，PDA)、数字音乐播放器、便携式多媒体播放器、数字电视/视频播放器和数字摄像机等。
在全球移动通信系统(Global System for Mobile Communications，GSM)网络中，具有处理器211和电信模块277的移动电话100可操作于闲置模式和专用模式。闲置模式中，移动电话100从特定网络运营商提供的基站中搜寻或测量具有较好信号质量的广播控制信道(Broadcast Control Channel，BCCH)、或者与特定基站的广播控制信道同步并准备在随机接入信道(Random Access Channel，RACH)中实施随机接入程序以请求专用信道。在专用模式中，移动电话100专用一个物理信道，尝试与之同步，并且建立可相互切换的逻辑信道。
特别地，在闲置模式中，移动电话100经由电信模块277从基站连续地收听广播控制信道。此外，移动电话100读取广播控制信道信息并进行广播控制信道载波的周期信号强度测量，以选择待接(camp on)的一个网络单元。同时，收集并储存无线资源管理(Radio Resource Management，RR)和其它信号发送程序所需的数据，例如相邻广播控制信道载波列表、无线资源管理算法阈值、公共控制信道(Common Control Channel，CCCH)配置、与使用随机接入信道和寻呼信道(Paging channel，PCH)相关的信息或者其它。请注意，收集和储存的信息(系统信息SI，类型1-4)由基站系统于广播控制信道上广播，因此可用于当前网络单元中的所有移动电话。基站系统进一步在所有寻呼信道上连续发送网络单元有效层3消息(寻呼请求)，藉此，移动用户(Mobile Subscriber，MS)可译码并识别其地址(例如特定SIM卡的国际移动用户标识)是否被寻呼(例如，是否检测到对移动电话100的移动台终止的呼叫请求)。
请注意，与网络(例如基站系统、移动交换中心等)进行的每个信令消息交换需求移动用户和网络间的无线资源管理连接和Dm信道链路接入协议(LinkAccess Protocol on the D Channel，LAPDm)连接。无线资源管理连接可由移动电话100或网络启动(initiated)。无线资源管理连接被成功启动后，信令消息可由高层协议层、连接管理(Connection Management，CM)和移动性管理(MobilityManagement，MM)接收并传输。此外，移动电话100可拥有具有适当的慢速关联控制信道/快速关联控制信道(Slow/Fast Associated Control Channel，SACCH/FACCH)的独立专用控制信道(Stand-alone Dedicated Control Channel，SDCCH)或业务信道(Traffic Channel，TCH)用于互斥的(exclusive)双向使用。
从移动电话100启动移动性管理连接需求无线资源管理连接的存在。同时，多个移动性管理连接可使用单个无线资源管理连接。若移动性管理连接被启动，移动电话100可向网络发送连接管理服务请求消息CM-SERVICE REQUEST。消息CM-SERVICE REQUEST包括关于移动用户的信息(国际移动用户标识或临时移动用户识别)、以及关于请求的服务(例如，向外语音呼叫、短消息服务传输、辅助服务的激活或注册等)的信息，其中临时移动用户识别在一个位置区仅具有一个本地有效值(significance)，并且必须共同作用于位置区识别(Location Area Identity，LAI)以用于用户识别。
在宽带码分多址(Wideband Code Division Multiple Access，WCDMA)和时分同步的码分多址(Time Division-Synchronous Code Division Multiple Access，TD-SCDMA)系统中，具有处理器211和电信模块277的移动电话100可操作于闲置模式和连接模式。闲置模式中，移动电话100经由电信模块277连续收听广播控制信道以获取系统信息(SYSTEM INFORMATION，SI)，系统信息包括网络运营商独有的公用陆地移动网络(Public-Land-Mobile-Network，PLMN)码。特别地，移动用户为选择的PLMN搜寻合适的网络单元，选择该网络单元以提供可用服务，并且收听(tune in to)所选择网络单元的控制信道(也称为待接一个网络单元)。当在闲置模式中待接一个网络单元时，移动电话100可从基站接收系统信息和网络单元广播消息。移动电话100传输建立无线资源控制(RadioResource Control，RRC)连接的请求前，移动电话100处于闲置模式。闲置模式中，移动电话100由非接入层特性(identities)识别，例如国际移动用户标识、临时移动用户识别和分组临时移动用户识别(P-TMSI)。
在连接模式的Cell_DCH状态中，对移动电话100分配专用物理信道，通过网络单元上移动电话100的服务无线网络控制器(Serving radio network controller，RNC)或有效集电平(active set level)，可获知移动电话100。移动电话100监控系统信息消息的前向接入信道(Forward Access Channel，FACH)。在连接模式的Cell_FACH状态中，不对移动用户分配专用物理信道，而是分配随机接入信道和前向接入信道，用于传输信令消息和少量用户平面(user plane)数据。Cell_FACH状态中，移动电话100还收听广播信道(Broadcast Channel，BCH)以获取系统信息。在连接模式的Cell_PCH状态中，当移动电话100由服务无线网络控制器在网络单元电平(cell level)被识别时，只能通过寻呼信道进行联系移动电话100。同时，连接模式的URA_PCH状态非常类似于Cell_PCH状态，区别在于移动电话100在每个网络单元重新选择后不执行网络单元更新，而是从广播信道读取UMTS陆地无线接入网络(Terrestrial Radio Access Network，UTRAN)注册区(Registration Area，URA)特性，并且只有在注册区改变(重新选择网络单元)时，移动用户通知服务无线网络控制器其位置。此外，当释放无线资源控制连接或无线资源控制连接失败时，移动电话100离开连接模式并恢复为闲置模式。
移动电话100与陆地无线接入网络UTRAN(RNC)间的无线资源控制连接和信令无线承载(Signaling Radio Bearers，SRB)的建立可由来自移动电话100的较高层(非接入层)的请求启动。此外，网络导向(network-originated)情况的无线资源控制寻呼消息优先于该建立。UTRAN(RNC)以无线资源控制连接建立消息进行响应，其中无线资源控制连接建立消息包括为移动电话100分配的专用物理信道(移至Cell_FACH状态)或指示移动电话100使用公用信道(移至Cell_FACH状态)的命令。
GSM中，包括建立、控制和终止呼叫程序的呼叫控制(Call Control，CC)是连接管理的多种实体中一种。当移动电话100发出呼叫(即移动台发起的呼叫)时，呼叫控制实体首先向本地移动性管理实体请求移动性管理连接。对于简单呼叫，移动电话100必须向网络注册，然而，对于紧急呼叫，可选择性地需求移动电话100向网络注册。特别地，对于未注册的移动电话100，紧急呼叫建立在未加密的无线资源管理连接上。成功建立移动性管理连接和用户数据加密激活后，通知服务-请求呼叫控制实体。移动电话100于该连接上发出在移动交换中心连接呼叫控制实体的请求(SETUP)。移动交换中心以多种方式响应该连接请求。首先，移动交换中心以一个消息“呼叫进行中(CALL PROCEEDING)”进行响应，以指示该呼叫请求已被接收并且用于建立该呼叫的所有必要信息均可用。其次，移动交换中心以一个消息“释放完成(RELEASE COMPLETE)”进行响应，以指示该呼叫请求已被拒绝。当由呼叫方(例如移动电话或无线电话的相应节点)产生一个连接，移动用户接收一个告警(ALERTING)消息；当被叫方接受该呼叫，返回连接(CONNECT)消息，该连接消息包含“连接确认消息”用于确认连接成功建立，因此建立该呼叫和相关用户数据连接。此外，GSM中呼叫控制具有多种特性，尤其占用(account for)无线信道的有限资源。特别地，若没有立即的空闲业务信道用于建立呼叫，移动电话100的呼叫请求可进入队列(呼叫队列)。呼叫等待分配业务信道的最长等待时间可根据运营商需求来设定。并且，可选择何时进行实际的分配业务信道。举例而言，在确认呼叫请求后(呼叫进行中)，可立即分配业务信道，也称为提前分配(early assignment)。另一方面，可先对呼叫进行处理，只有在目标用户正在被呼叫时才进行分配，也称为晚分配(lateassignment)或非占空呼叫建立(Off-Air Call Setup，OACSU)。若被叫方不可用，则OACSU可避免业务信道不必要的分配。另一方面，也有可能是，一个成功的呼叫请求发送程序后，在被叫方接受该呼叫前，不对呼叫方分配业务信道，则该呼叫不能够成功切换并且不得不停止。请注意，对于WCDMA或TD-SCDMA系统的呼叫控制与GSM系统的呼叫控制类似，简洁起见不再赘述。
图2中的放映机模块271自非易失性内存/储存器装置251或易失性内存253中获取静态图像或视频序列，并使用透镜系统将相应图像放映到平面、墙等上。放映机模块271可包含液晶覆硅(Liquid Crystal on Silicon，LCoS)单元或数字光处理(Digital Light Process，DLP)单元以发射强光(以流明作单位，简称“1m”)，以放映静态图像、视频影片、电视节目或其它。
若具有数字电视接收模块279和放映机模块271，则移动电话100可视为数字电视播放器。移动电话100可利用其数字电视接收模块279和放映机模块271接收并处理陆地数字视频广播(Digital Video Broadcasting-Terrestrial，DVB-T)或手持式数字视频广播(Digital Video Broadcasting-Handheld，DVB-H)或其它类似视频信号。
DVB-T系统使用具有级联信道编码的正交频分复用(Orthogonalfrequency-division multiplexing，OFDM)调制(即COFDM)传输MPEG音频/视频流。将视频流、音频流和数据流复用至一个MPEG节目流(MPEG ProgramStream，MPEG PS)，并且一个或多个MPEG节目流汇集为一个MPEG传输流(MPEG Transport Stream，MPEG TS)。MPEG节目流可以为MPEG-1、MPEG-2、MPEG-4、H.263或H.264或其它类似流。MPEG传输流是数字电视接收模块279传输并接收的基本数字流。请注意，使用分层传输(hierarchical transmission)技术可同时传输两个不同的传输流。举例而言，分层传输可用于在相同的载波上传输标准定义电视(SDTV)信号和高清电视(HDTV)信号。依据接收到的信号质量，数字电视接收模块279可选择性的解码HDTV流和SDTV流。MPEG传输流可表示为固定长度的数据包(例如188字节)序列。DVB-H是将广播服务传送给手持式接收器的技术规范。DVB-H采用一种节电算法，该算法基于不同服务(例如电视节目)的时间复用传输。发射机(transmitter)的时间分片(time slicing)模块所实施的时间分片可节省大量的电池能量。对于DVB-H，服务复用以纯时分复用(pure time-division multiplex)的方式实施。因此，一种特定服务的数据并不会连续传输，而是以中间有中断的压缩周期性突发(burst)传输。此外，若移动电话100从一个网络单元移至另一个只具有一个接收单元的网络单元时，时间分片允许软切换(soft handover)。DVB-H与DVB-T系统不同，DVB-H基于网络协议(Internet Protocol，IP)。DVB-H基带界面为IP界面，其可使DVB-H系统轻易的与基于IP的其它网络集成。
传感器模块233可以是接近检测器(proximity detector)、电容式传感器或其它，用于检测接近移动电话100的物体的存在。图1C为嵌入式光传感器150检测手120接近移动电话100的示意图。嵌入式光传感器150包括发射机151、接收器153和控制单元(图中未显示)，其中发射机151用于发射红外信号，接收器153用于接收手120反射的红外信号，当接收器153检测到一定量的反射红外信号时，控制单元(图中未显示)产生指示信号，该指示信号可指示一个物体接近移动电话100。图1D为嵌入式电容式传感器170检测手120接近移动电话100的示意图。因为人体是一个电容(人体电容)，当手靠近时电容式传感器170的电容值增加。电容式传感器170检测其本身和附近人体间的电容值，并当检测到电场中的变化满足一个或多个预设标准时产生指示信号，该指示信号可指示手接近移动电话100。
图2所示的数字图像处理模块231用于捕获数字摄像机模块110(图1A或图1B所示)前的物体。图3为应用于数字图像处理模块231(如图2所示)实施例的硬件环境示意图，数字图像处理模块231包括图像传感器芯片310、前端信号处理器330、图像信号处理器350、视频编码器370、帧缓冲器391和运动向量(motion vector)储存单元393。数字图像处理模块231将色彩图像记录为红、绿和蓝光的强度，并将其在图像传感器芯片310上储存为可变电荷，其中图像传感器芯片310可例如互补金氧半导体(complementary metal-oxidesemiconductor，CMOS)或电荷耦合装置(charge-coupled device，CCD)图像传感器芯片。实际上为模拟的电荷经由前端信号处理器330转换为数字信号，以用于下面的处理。图像信号处理器350基于转换的数字信号产生初始Bayer样式图像。Bayer样式的每个像素包含只与一个色彩组分(例如G、B或R)相关的信息。安装于图像信号处理器350中的色彩内插单元可插入Bayer样式图像以得到完整的色彩图像，即RGB位图图像(bitmap image)。RGB位图图像可记录例如手、笔或其它的物体。生成的RGB位图图像的每个像素包含与三个色彩组分(例如G、B或R)相关的信息。RGB位图图像可进一步由安装于图像信号处理器350中的伽马校正(gamma correction)单元进行处理，以对其实施伽马校正处理并产生已校正RGB位图图像，其中已校正RGB位图图像可进一步由安装于图像信号处理器350中的RGB至YCbCr变换单元转换为YCbCr位图图像。RGB或YCbCr位图图像可储存于帧缓冲器391用于下面的分析。应了解，帧缓冲器391可在非易失性内存/储存器装置251(图2所示)或者易失性内存253(图2所示)中实现。请注意，在一些实施例中，只储存每个RGB或YCbCr位图图像的R或Y组分，以增加分析性能和减小储存容量。从一个或多个全部的或简化的RGB或YCbCr位图图像中提取某些特征，并且分析这些特征以检测是否捕获到特定姿势的存在。
视频编码器370从图像信号处理器350或帧缓冲器391接收一系列捕获的YCbCr位图图像(也称为静态图像)，并实施相关的编码程序。捕获的YCbCr位图图像包括时间冗余(temporal redundancy)。时间冗余即指YCbCr位图图像间相同的时间运动。视频编码器370依靠预测，更精确的说，依靠运动补偿预测进行YCbCr位图图像间的时间压缩。此种时间压缩可用于追踪数字摄像机模块110前物体的移动(图1A或图1B)。视频编码器370使用帧内编码图像(Intra-coded images，I-images)、双向预测编码图像(bidirectionally predictive-codedimages，B-images)和预测编码图像(predictive-coded images，P-images)，以产生时间压缩。帧内编码图像为帧内编码图像，独立的一个图像即一个序列，与之前或之后的图像无关。预测编码图像为前向预测图像，根据一个或多个之前的帧内编码图像或预测编码图像进行编码，其运动向量指向一个或多个之前图像中的信息。双向预测编码图像为根据一个或多个之前的参考图像和一个或多个之后的参考图像进行编码。使用的运动向量可以为前向或后向向量或两者均用，并且记录于运动向量储存单元393。应了解，运动向量储存单元393可在非易失性内存/储存器装置251(图2所示)或者易失性内存253(图2所示)中实现。
YCbCr位图图像序列中，根据先前图像(参考图像)预测当前图像。通过使用误差测量，将每个宏块(macroblock，MB)与参考图像中的一个宏块进行比较，以此选择出最佳匹配宏块。于预设搜寻区域上实施搜寻。可确定用以指示参考图像中宏块与当前图像中宏块的位移的运动向量。当使用之前的图像作为参考图像时，则该预测称为前向预测。若参考图像为未来的图像，则该预测称为后向预测。后向预测经常与前向预测共同使用，称为双向预测。图4为双向预测的典型示意图。在双向预测编码图像41中，双向运动补偿宏块41m可具有两个运动向量，前向运动向量42v和后向运动向量43v，其中前向运动向量42v参考之前的帧内编码图像或预测编码图像42中的最佳匹配宏块42m，后向运动向量43v参考下一个帧内编码图像或预测编码图像43中的最佳匹配宏块43m。全局运动估计(global motion estimation)方法可用于模拟具有运动整体方向(overall direction)序列中运动的大部分。因此，数字摄像机模块110(图1A或图1B所示)前的物体的移动，例如向左、向右、向上、向下、向左上方、向右上方、向左下方、向右下方或其他方向，可通过从YCbCr位图图像序列中获得的运动向量进行追踪。
为了在嵌入式摄像机模块的协助下进行远程控制，例如移动电话、数字摄像机、数字电视播放器、个人数字助理等包含数字摄像机模块的电子设备，或其他类似设备，可准备基图(base image)，其中每个基图包含一个特定的姿势或物体且映射到特定的操作，根据与基图类似的包含姿势或物体的至少一个已捕获图像，电子设备接着通过摄像机模块触发一个映射的操作。用于产生可映射到操作的基图的方法如下所述。图5为产生基图的方法实施例的流程图。开始，由嵌入式摄像机模块(例如图1A或图1B的110所示)捕获至少一个包含姿势或物体的原始图像(raw image)(步骤S511)。用户可保持该电子设备，设置嵌入式摄像机模块以聚焦在具有姿势的手上或物体上，并按压电子设备表面上的快门按钮以捕获一个或多个原始图像。图6为捕获的具有不同焦距的多个原始图像的示意图。参考图6，为改善比较精确度，数字摄像机模块可捕获具有不同焦距(focal length)610a至610c和630a至630c的多个原始图像。焦距(在公式中通常表示为f’)可由焦点至摄像机模块透镜的距离来测量，或更精确的，可由主点(principal point)至焦点的距离来测量，其中焦点为形成平行入射光束的图像所在的点。根据已捕获的原始图像生成基图(步骤S513)。在一个例子中，已捕获的原始图像作为基图。图7为压缩原始图像的示意图。在另一个例子中，参考图7，为了减少储存空间，已捕获的原始图像710a和730a可减小为大小相对较小的710b和730b，例如从1024×768像素减小为640×480像素。在另一个例子中，为了减少储存空间和改善比较效率，只获取原始图像的Y或G组分，以产生基图。接着，通过建立相关信息，一个基图与一个或多个操作相映射(步骤S515)。图8A为包含可指示向上移动姿势和向下移动姿势的图像的示意图。图8B为包含可指示数字1到3姿势的图像的示意图。举例而言，参考图8A，包含“拇指向上”姿势的图像810a映射到接受请求(例如来自基站的呼入请求、重播音频/视频文件的请求或其他)，其中“拇指向上”姿势指示向上移动；包含“拇指向下”姿势的图像810b映射到拒绝请求，其中“拇指向下”姿势指示向下移动。参考图8B，包含可指示数目1到3的姿势的图像830a至830c分别映射到触发第一、第二和第三操作。相关信息可由用户通过人机界面(例如键盘或触摸屏)进行确定和设置。具有相关信息的基图储存于如图2所示251的非易失性内存/储存器装置(步骤S517)。
应了解，特征提取程序包含使用预设特征参数以根据相似性或差异性将确定的手的区域进行分隔。因此，步骤S513可修改为从每个已捕获图像确定人肉色区域并通过预定义特征提取程序产生人肉色区域的判别函数(discriminationfunction)。此外，步骤S515可修改为提供相关信息，其中相关信息指示产生的每个判别函数映射到特定操作，并且步骤S517可修改为储存具有相关信息的所产生的判别函数。图8C和图8D为用于已捕获图像的典型特征提取和判别函数产生的示意图。特征提取前，人肉色区域可能是歪斜的，因此可能需要通过任何已知图像校正算法进行调整。在典型特征提取和判别函数产生期间，逐行扫描该区域以获取具有最大长度的行，例如具有两端(x1，y1)和(x2，y1)以及中心点((x1+x2)/2，y1)的线HBase。随后可追踪该区域的边缘，并且获取高于行HBase的手指的最多五个转折点，例如(x3，y3)、(x4，y4)、(x5，y5)、(x6，y6)和(x7，y7)。可计算出五个长度，例如L1、L2、L3、L4和L5，每个长度均代表一个转折点和中心点间的距离，这些长度中的最小长度表示为LMIN，因此五个相对长度为L1/LMIN、L2/LMIN、L3/LMIN、L4/LMIN和L5/LMIN。假设图像850的五个相对长度为1、1.23、1.22、1.21和1.24，图像870的五个相对长度为1、2.3、1.22、1.23和1.24。用于图像850和图像870的判别函数可分别描述为：
SSIM1＝(L1’-1)^2+(L2’-1.23)^2+(L3’-1.22)^2+(L4’-1.21)^2+(L5’-1.24)^2；以及SSIM2＝(L1’-1)^2+(L2’-2.3)^2+(L3’-1.22)^2+(L4’-1.23)^2+(L5’-1.24)^2。其中SSIM1表示图像850和未来图像间的相似度，其中SSIM2表示图像870和未来图像间的相似度，L1’至L5’是在未来图像中将提取的值。应了解，值越小则表示相似度越大。
此外，电子设备可预定义移动的方向，其中每个方向映射到一个特定操作，并且电子设备接着根据已捕获图像触发一个映射的操作，其中已捕获图像包含向预定义方向移动的姿势或物体。本发明提供了用于确定运动方向的方法，运动方向可映射到操作。图9为确定运动方向的方法实施例的流程图。开始，通过嵌入式数字摄像机模块(例如图1A或图1B所示)捕获包含姿势或物体的图像(步骤S911)。用户可保持该电子设备，设置嵌入式数字摄像机模块以聚焦在具有姿势的手上或物体上，并按压电子设备表面上的快门按钮以捕获一个或多个原始图像(例如追踪手或物体的移动)。通过分析已捕获图像获取姿势或物体的运动方向(步骤S913)。为改善分析效率，已捕获图像可减小为大小相对较小的图像，例如从1024×768像素减小为640×480像素，或者只获取已捕获图像的Y或G组分用于计算。视频编码器(例如图3的视频编码器370)可接收已捕获图像、计算已捕获图像的运动向量(如图4所示)并基于已产生的运动向量确定移动的整体方向。举例而言，相应于运动向量的整体运动向量可表示为(Xo，Yo)，其可由 X o = ( Σ i = 1 n Xi ) / n 和 Y o = ( Σ i = 1 n Yi ) / n 计算，并且据此可获得移动的整体方向，其中n为运动向量的总数，Xi表示第i个运动向量的X轴上的参考偏置，Yi表示第i个运动向量的Y轴上的参考偏置。在另一个例子中，每个运动向量可分类为预定义运动方向(例如向左、向右、向上、向下、向左上方、向右上方、向左下方或向右下方或其他方向移动)，且根据分类结果对每个运动方向进行计数。接着，确定是否一个方向的最大计数值高于其他方向，并且是否满足预设标准，例如每个(nmax-ni)超过预设阈值，或者每个(nmax/ni)超过预设阈值，其中i为1至其他计数值的总数，nmax表示最大计数值，ni表示一个运动方向的计数值。若满足预设标准，则可确定具有最大计数值的运动方向。接着，提供相关信息，相关信息可指示所获取的运动方向与特定操作间的映射(步骤S915)。举例而言，指示向上移动的移动映射到请求(例如来自基站的呼入请求、重播音频/视频文件的请求或其他)接受；指示向下移动的移动映射到拒绝请求。在另一个例子中，向一个方向的移动映射到触发一个预定义操作，例如关闭扬声器以停止播放铃声、开启振动功能、启动/停止回放、显示之前的/下一个图片、播放之前的/下一个多媒体文件或其他。相关信息可由用户通过人机界面(例如键盘或触摸屏)进行确定和设置。提供的相关信息储存于非易失性内存/储存器装置(步骤S917)。应了解，步骤S911和S913可省略，可在步骤S915中提供人机界面以促进运动的预设置方向与操作间的映射的产生。
此外，电子设备可预定义姿势运动，其中每个姿势运动映射到特定操作，接着根据包含所述预定义姿势运动的已捕获图像，电子设备由其数字摄像机模块触发一个映射的操作。本发明提供用于产生包含姿势运动的基图的方法和用于姿势运动到操作的映射的方法。姿势运动也可称为多个连续姿势，举例而言，从一个张开手的位置握成拳头，或一个拳头张开手。图10为用于产生基图的方法实施例的流程图。开始，通过嵌入式数字摄像机模块(例如图1A或图1B所示的摄像机模块110)捕获包含姿势的原始图像(步骤S1011)。用户可保持该电子设备，设置嵌入式数字摄像机模块以聚焦在手上，并按压电子设备表面上的快门按钮一段时间，以捕获姿势的多个原始图像。图11A和图11B为捕获的具有不同焦距的多个原始图像的示意图。参考图11A和图11B，为改善比较精确度，数字摄像机模块可捕获具有不同焦距的多个原始图像，例如1110a至1110c和1130a至1130c。在一些实施例中，选择两个已捕获图像，其中一个代表姿势运动的开始，另一个代表姿势运动的结束(步骤S1013)。举例而言，当从张开手的位置确定第一姿势运动时，经由人机界面，图像1110a指示姿势运动的开始，图像1130a指示姿势运动的结束。当从拳头位置确定张开手姿势运动时，经由人机界面，图像1130a指示姿势运动的开始，图像1110a指示姿势运动的结束。接着，产生用于已选择图像的基图(步骤S1015)。已捕获原始图像可视为基图，或者经由进一步处理已捕获原始图像产生基图。举例而言，为减小储存空间，已捕获的原始图像可减小为大小相对较小的图像，例如从1024×768像素减小为640×480像素。在另一个例子中，为了减少储存空间和改善比较效率，只获取已捕获原始图像的Y或G组分，以产生基图。接着，提供相关信息，以指示哪些已捕获原始图像相应于开始和结束姿势以及哪对开始和结束姿势映射到哪个特定操作(步骤S1017)。例如，图11A和11B的图像1110a和1130a可指示一对结束姿势和开始姿势，并且这对姿势映射到请求接受。用户可经由人机界面确定并设置相关信息。具有相关信息的已选择图像储存于非易失性内存/储存器装置(步骤S1019)。应了解，步骤S1015可修改为从基图中确定人肉色区域并通过使用预定义判别函数为每个人肉色的确定区域产生特征向量。此外，步骤S1017可修改为提供相关信息，其中相关信息指示包含开始姿势和结束姿势的一对姿势映射到一个特定操作，且该开始姿势和该结束姿势相应于特征向量，并且步骤S1019可修改为储存具有相关信息的所产生的特征向量。
图5、图9或图10所示的流程图可视为配置方法，促进用户以定义特定功能/操作与基图、图像的特征向量、运动方向或姿势运动方向间的专有关系。
图12为根据自数字摄像机模块和传感器模块的信号，用于控制电子装置的方法实施例的流程图，该方法由如图2中处理器211所示的处理器执行程序代码实施。为避免不必要的电力消耗，通过电子设备的传感器模块(如图2的传感器模块233)，该方法可周期性检测物体(例如手、笔或其他)的存在，其中所述物体非常接近于电子设备(如图2中的移动电话100)，并且根据应用需求可确定预定义时间段。其中所述物体非常接近于电子设备，也即是所述物体位于电子设备的预设范围内。经过预定义时间段后(步骤S1211)，传感器模块检测是否有物体非常接近于电子设备(步骤S1213)。传感器模块可以是光传感器(如图1C中的嵌入式光传感器150)、电容式传感器(如图1D中的嵌入式电容式传感器170)或其他。当检测到一个物体非常接近所述电子设备时(如图1A或图1B中所示的例子)，可实施步骤S1215至步骤S1251中的某些步骤，以从数字摄像机模块(如图1A或图1B中所示的摄像机模块110)捕获的图像中检测特定指令(instruction)的存在，并据此控制所述电子设备的不同电子装置(如图2中非易失性内存/储存器装置251、易失性内存253、放映机模块271、声音播放模块273、振动模块275、电信模块277或上述的任何组合)。若没有检测到物体非常接近所述电子设备，则执行步骤S1211。
开启摄像机模块后(步骤S1215)，经由摄像机模块捕获一个RGB/YCbCr位图图像或RGB/YCbCr位图图像序列(步骤S1231)，其中数字摄像机模块可包含透镜(图中未示)、快门(图中未示)、驱动马达(图中未示)和数字图像处理模块(如图2中数字图像处理模块231)。应了解，数字摄像机模块可每秒钟捕获小于15个图像，而非每秒中30个图像或更多，以减小电力消耗。
接着，在已捕获图像中，确定是否存在预定义基图、姿势、物体运动方向或姿势运动方向(步骤S1233)。如果存在，根据储存的相关信息，控制某些电子装置(如图2中非易失性内存/储存器装置251、易失性内存253、放映机模块271、声音播放模块273、振动模块275、电信模块277或这些的组合)以相应所确定的基图、姿势、物体运动方向或姿势运动方向(步骤S1235)，并且随后关闭摄像机模块(步骤S1251)。否则，关闭摄像机模块(步骤S1251)。详细的相关信息可参考图5中步骤S515、图9中步骤S915或图10中步骤S1017的描述。
步骤S1233的详细描述如下。在本发明的一个例子中，在储存于非易失性内存/储存器装置(图2中非易失性内存/储存器装置251)中的一组基图(例如图6的610a至610c或630a至630c)中，使用相似度比较算法计算在每个基图和每个获取的图像间的相似度。当基图和一个获取的图像间的相似度大于预定义阈值时，则可确定存在基图。否则，确定不存在基图。
在另一个例子中，使用相应于姿势的判别函数，所述姿势储存于非易失性内存/储存器装置(图2中非易失性内存/储存器装置251所示)，从已捕获图像确定人肉色区域，采用预定义特征提取程序计算每个所确定区域的特征向量(如包含从图8C或图8D所示长度L1至L5获取的特征)，并接着应用之前提供的判别函数确定每个产生的特征向量的相似度，其中判别函数可参考步骤S513和步骤S515的上述描述。对每个产生的特征向量，当判别函数计算的相似度的最大值大于预定义阈值时，则可确定存在一个预定义姿势。否则，可确定不存在预定义姿势。
在另一个例子中，通过储存于非易失性内存/储存器装置(图2中非易失性内存/储存器装置251所示)的关于预定义运动方向(例如向左、向右、向上、向下、向左上方、向右上方、向右下方或向左下方或其他方向移动)的信息，可采用视频编码器(例如图3的视频编码器370所示)计算已捕获图像的运动向量，并且产生基于所生成的运动向量的运动方向。运动方向的产生可参考图9步骤S913的描述。当在储存的信息中存在产生的运动方向时，则确定存在一种预定义运动方向，当在储存的信息中不存在产生的运动方向时，则确定不存在预定义运动方向。
在另一个例子中，通过相应于开始姿势和结束姿势(如图11A中的1110a至1110c和图11B中的1130a至1130c)的判别函数，其中开始姿势和结束姿势储存于非易失性内存/储存器装置(图2中非易失性内存/储存器装置251所示)中，使用图13所示的有限状态机(finite state machine，FSM)以确定是否存在预定义姿势运动。图13为用以确定是否存在预定义姿势运动的有限状态机示意图。于预定义时间段中，在如图12的步骤S1231所示的通过数字摄像机模块捕获图像后，进入激活状态S1。在激活状态S1中，从已捕获图像的一部分中确定人肉色区域，应用预定义特征提取程序计算每个确定区域的特征向量(如包含从图8C或图8D所示长度L1至L5获取的特征)，并接着应用判别函数确定每个产生的特征向量与所述开始姿势间的相似度(例如，可将每个特征向量代入判别函数，以计算特征向量的相似度)，其中判别函数可参考步骤S513和步骤S515的上述描述。当相似度的最大值大于预定义阈值时，则从激活状态S1转换至运动开始状态S3。相反地，当相似度的最大值不大于预定义阈值时，则从激活状态S1转换至检测失败状态S7。在运动开始状态S3，从剩余的已捕获图像中确定人肉色区域，应用相同的特征提取程序计算每个确定区域的特征向量(如包含从图8C或图8D所示长度L1至L5获取的特征)，并接着应用相同的判别函数确定每个产生的特征向量与所述结束姿势间的相似度。当相似度的最大值大于预定义阈值时，则从运动开始状态S3转换至运动结束状态S5(也称为检测成功状态)。当相似度的最大值不大于预定义阈值时，则从运动开始状态S3转换至检测失败状态S7。请注意，当预定义姿势运动确定时，进入运动结束状态S5，当预定义姿势运动未确定时，进入检测失败状态S7。
下面描述一种应用，使用图12所示方法的实施例控制电信模块(如图2的电信模块277所示)，以通过待接网络单元产生具有上次拨出号码或默认号码的移动台发起(mobile-originated，MO)的呼叫请求。在传感器模块(例如图2的传感器模块233和图12的步骤S1213)检测到一个物体非常接近所述电子设备后，开启如图1A或图1B的数字摄像机模块110所示的数字摄像机模块(例如图12的步骤S1215)，并且数字摄像机模块捕获一系列图像(例如图12的步骤S1231)。在图像捕获期间，电子设备的显示单元(图中未示)可显示图14A、图14B或图14C所示的提示屏幕(prompt screen)，以通过手的姿势指示用户确认是否拨出最后的号码。图14A、图14B或图14C为提示屏幕的示意图。提示区域T1411、T1431或T1451可显示“是否呼出上次拨出的号码”，提示区域T1413、T1433或T1453可显示“是”，提示区域T1415、T1435或T1455可显示“否”。参考图14A，经由窗口W1411和W1413显示的图像，通过读取相关文本，藉由在数字摄像机模块前产生“拇指向上”的姿势，用户可指示所述电子设备向远程电子设备产生具有上次拨出的号码的移动台发起的呼叫请求，且用户可通过产生“拇指向下”的姿势指示所述电子设备关闭其摄像机模块。参考图14B，经由窗口W1431和W1433显示的图像，通过读取相关文本，藉由在数字摄像机模块前产生“指示数字1”的姿势，用户可指示所述电子设备向远程电子设备产生具有上次拨出的号码的移动台发起的呼叫请求，且用户可通过产生“指示数字2”的姿势指示所述电子设备关闭其摄像机模块。参考图14C，经由窗口W1451和W1453显示的图像，通过读取相关文本，藉由在数字摄像机模块前向上移动物体，用户可指示所述电子设备向远程电子设备产生具有上次拨出的号码的移动台发起的呼叫请求，且用户可通过向下移动物体指示所述电子设备关闭其摄像机模块。此外，预览窗口W1415、W1435或W1455连续显示数字摄像机模块捕获的图像，以帮助用户产生正确的姿势或向正确的方向移动物体。从已捕获图像中检测到拇指向上的姿势、指示数字1的姿势或向上移动的物体后(例如图12的步骤S1233)，控制电信模块(例如图2的电信模块277)，以向远程电子设备产生具有上次拨出的号码或默认号码的移动台发起的呼叫请求(例如图12的步骤S1235)，并且关闭数字摄像机模块(例如图12的步骤S1251)。从已捕获图像中检测到拇指向下的姿势、指示数字2的姿势或向下移动的物体后，不指示电信模块产生任何移动台发起的呼叫(例如图12的步骤S1235)，并且关闭数字摄像机模块(例如图12的步骤S1251)。此外，当传感器模块在预设时间段内不检测拇指向上或拇指向下的姿势、指示数字1或2的姿势、或者向上或向下移动的物体时，关闭数字摄像机模块(例如图12的步骤S1251)。
下面描述一种应用，当移动电话100位于特定位置且作为便携式放映机以显示一系列图片时(如图1E所示)，使用图12所示方法的实施例控制以幻灯片放映的更高或更低速率显示静态图像。物体检测、数字摄像机模块操作和图像获取可参考上述步骤S1211至步骤S1231的描述，简洁起见这里不再赘述。图像捕获期间，如步骤S1231所示，所述电子设备的显示单元(图中未示)可显示提示屏幕，以指示用户增加或减小幻灯换放映的图像显示速率。提示区域T1411、T1431或T1451可显示“增加还是减小幻灯换放映的显示速率”，提示区域T1413、T1433或T1453可显示“增加”，提示区域T1415、T1435或T1455可显示“减小”。参考图14A，经由窗口W1411和W1413显示的图像，通过读取相关文本，藉由在数字摄像机模块前产生“拇指向上”的姿势，用户可指示所述电子设备以幻灯换放映的更高速率显示静态图像(例如从每个图像4秒钟减小为每个图像3秒钟)，且用户可通过产生“拇指向下”的姿势指示所述电子设备以幻灯换放映的更低速率显示静态图像。参考图14B，经由窗口W1431和W1433显示的图像，通过读取相关文本，藉由在数字摄像机模块前产生“指示数字1”的姿势，用户可指示所述电子设备以幻灯换放映的更高速率显示静态图像，且用户可产生通过“指示数字2”的姿势指示所述电子设备以幻灯换放映的更低速率显示静态图像。参考图14C，经由窗口W1451和W1453显示的图像，通过读取相关文本，藉由在数字摄像机模块前向上移动物体，用户可指示所述电子设备以幻灯换放映的更高速率显示静态图像，且用户可通过向下移动物体指示所述电子设备以幻灯换放映的更低速率显示静态图像。从已捕获图像中检测到拇指向上的姿势、指示数字1的姿势或向上移动的物体后(例如图12的步骤S1233)，处理器(例如图2的处理器211)从非易失性内存/储存器装置(例如图2的非易失性内存/储存器装置251)获取静态图像，并将获取的静态图像以幻灯片放映更高的速率输出至如图2中放映机模块271所示的放映机模块(例如图12的步骤S1235)，并且关闭数字摄像机模块(例如图12的步骤S1251)。从已捕获图像中检测到拇指向下的姿势、指示数字2的姿势或向下移动的物体后，处理器从非易失性内存/储存器装置获取静态图像，并将获取的静态图像以幻灯片放映更低的速率输出至如图2中放映机模块271所示的放映机模块(例如图12的步骤S1235)，并且关闭数字摄像机模块(例如图12的步骤S1251)。此外，当在预设时间段内从已捕获图像没有检测到有效的指令(例如拇指向上或拇指向下的姿势、指示数字1或2的姿势、或者向上或向下移动的物体)时，关闭数字摄像机模块(例如图12的步骤S1251)。在一些其他实施例中，这些指令用于控制放映物以显示之后的静态图像或之前的静态图像。
下面描述一种应用，当移动电话100位于特定位置且作为便携式放映机以播放数字电视节目时(如图1E所示)，使用图12所示方法的实施例以选择之前或之后的数字电视节目进行播放。物体检测、数字摄像机模块操作和图像获取可参考上述步骤S1211至步骤S1231的描述，简洁起见这里不再赘述。图像捕获期间，如步骤S1231所示，所述电子设备的显示单元(图中未示)可显示提示屏幕，以指示用户选择之前或之后的数字电视节目进行显示。提示区域T1411、T1431或T1451可显示“选择之前还是之后的电视节目”，提示区域T1413、T1433或T1453可显示“之前”，提示区域T1415、T1435或T1455可显示“之后”。参考图14A，经由窗口W1411和W1413显示的图像，通过读取相关文本，藉由在数字摄像机模块前产生“拇指向上”的姿势，用户可指示所述电子设备选择之前的电视节目，且用户可通过产生“拇指向下”的姿势指示所述电子设备选择之后的电视节目。参考图14B，经由窗口W1431和W1433显示的图像，通过读取相关文本，藉由在数字摄像机模块前产生“指示数字1”的姿势，用户可指示所述电子设备选择之前的电视节目，且用户可产生通过“指示数字2”的姿势指示所述电子设备选择之后的电视节目。参考图14C，经由窗口W1451和W1453显示的图像，通过读取相关文本，藉由在数字摄像机模块前向上移动物体，用户可指示所述电子设备选择之前的电视节目，且用户可通过向下移动物体指示所述电子设备选择之后的电视节目。从已捕获图像中检测到拇指向上的姿势、指示数字1的姿势或向上移动的物体后(例如图12的步骤S1233)，指示数字电视接收模块(例如图2的数字电视接收模块279)从DVB-T或DVB-H供应源获取之前的电视节目的视频流、音频流和数据流，所述数字电视接收模块对获取的视频流和数据流进行译码并输出至放映机模块(如图2中放映机模块的271)，以及所述数字电视接收模块对获取的音频流进行译码并输出至声音播放模块(如图2中的声音播放模块273)，并关闭数字摄像机模块(例如图12的步骤S1251)。从已捕获图像中检测到拇指向下的姿势、指示数字2的姿势或向下移动的物体后，指示数字电视接收模块从DVB-T或DVB-H供应源获取之后的电视节目的视频流、音频流和数据流，所述数字电视接收模块对获取的视频流和数据流进行译码并输出至放映机模块，以及所述数字电视接收模块对获取的音频流进行译码并输出至声音播放模块，并关闭数字摄像机模块(例如图12的步骤S1251)。此外，当在预设时间段内从已捕获图像没有检测到有效的指令(例如拇指向上或拇指向下的姿势、指示数字1或2的姿势、或者向上或向下移动的物体)时，关闭数字摄像机模块(例如图12的步骤S1251)。
图15为根据自数字摄像机模块和传感器模块的信号，用于控制电子装置的方法实施例的流程图，该方法由处理器(例如图2中处理器211)执行程序代码实施。该方法实施例，首先，接收到可指示特定事件已被触发的信号(步骤S1511)后，通过电子设备(例如图2的移动电话100)的传感器模块(例如图2的传感器模块233)确定是否有物体(例如手、笔或其他)非常接近该电子设备(步骤S1513)。下面步骤S1515至S1551的详细描述可参考图12中步骤S1215至S1251。
下面描述一种应用，使用图15所示方法的实施例控制电信模块(如图2的电信模块277所示)，是否应答来自待接网络单元的移动台终止的(mobile-terminated，MT)呼叫请求。在接收到指示信号(例如图15的步骤S1511)后，其中该指示信号用于指示移动台终止的呼叫请求已被接收，以及在传感器模块检测到一个物体非常接近所述电子设备后(例如图2的233和图15的步骤S1513)，开启如图1A或图1B的110所示的数字摄像机模块(例如图15的步骤S1515)，并且数字摄像机模块捕获一系列图像(例如图15的步骤S1531)。在图像捕获期间，电子设备的显示单元(图中未示)可显示图14A、图14B或图14C所示的提示屏幕，以指示用户通过手势来确认是否应答移动台终止的呼叫请求。提示区域T1411、T1431或T1451可显示“是否应答呼入通话”，提示区域T1413、T1433或T1453可显示“是”，提示区域T1415、T1435或T1455可显示“否”。参考图14A，经由窗口W1411和W1413显示的图像，通过读取相关文本，藉由在数字摄像机模块前产生“拇指向上”的姿势，用户可指示所述电子设备应答来自远程电子设备的移动台终止的呼叫请求，且用户可通过产生“拇指向下”的姿势指示所述电子设备关闭其数字摄像机模块。参考图14B，经由窗口W1431和W1433显示的图像，通过读取相关文本，藉由在数字摄像机模块前产生“指示数字1”的姿势，用户可指示所述电子设备应答来自远程电子设备的移动台终止的呼叫请求，且用户可通过产生“指示数字2”的姿势指示所述电子设备关闭其数字摄像机模块。参考图14C，经由窗口W1451和W1453显示的图像，通过读取相关文本，藉由在数字摄像机模块前向上移动物体，用户可指示所述电子设备应答来自远程电子设备的移动台终止的呼叫请求，且用户可通过向下移动物体指示所述电子设备关闭其数字摄像机模块。此外，预览窗口W1415、W1435或W1455连续显示数字摄像机模块捕获的图像，以帮助用户产生正确的姿势或向正确的方向移动物体。从已捕获图像中检测到拇指向上的姿势、指示数字1的姿势或向上移动的物体后(例如图15的步骤S1533)，控制电信模块(例如图2的电信模块277)以接受来自远程电子设备的移动台终止的呼叫请求(例如图15的步骤S1535)，并且关闭数字摄像机模块(例如图15的步骤S1551)。从已捕获图像中检测到拇指向下的姿势、指示数字2的姿势或向下移动的物体后，指示电信模块拒绝来自远程电子设备的移动台终止的呼叫请求(例如图15的步骤S1535)，并且关闭数字摄像机模块(例如图15的步骤S1551)。此外，当传感器模块在预设时间段内没有检测到有效指令(例如拇指向上或拇指向下的姿势、指示数字1或2的姿势、或者向上或向下移动的物体)时，关闭数字摄像机模块(例如图15的步骤S1551)。
在接收移动台终止的MT呼叫请求后，移动电话可操作在普通模式(regularmode)和振动模式(vibration mode)。操作在普通模式时，可指示声音播放模块(例如图2的声音播放模块273)嗡鸣、播放铃声或预定义MP3文件，直到移动台终止的呼叫请求被应答或移动台终止的呼叫请求超时。操作在振动模式时，可指示振动模块(例如图2的振动模块275)振动，直到移动台终止的呼叫请求被应答或移动台终止的呼叫请求超时。下面描述一种应用，使用图15所示方法的实施例控制移动电话(如图2的移动电话100)切换至振动模式。在接收到指示信号(例如图15的步骤S1511)后，其中该指示信号用于指示移动台终止的呼叫请求已被接收，以及在传感器模块(例如图2的传感器模块233和图15的步骤S1513)检测到一个物体非常接近所述电子设备后，开启如图1A或图1B中摄像机模块110所示的数字摄像机模块(例如图15的步骤S1515)，并且数字摄像机模块捕获一系列图像(例如图15的步骤S1531)。检测到从张开的手握成拳头的姿势运动后，切换为振动模式，也就是说，控制音频播放模块停止播放铃声或预定义MP3文件，控制振动模块进行振动(例如图15的步骤S1535)，并且关闭数字摄像机模块(例如图15的步骤S1551)。此外，不检测姿势运动时，关闭数字摄像机模块(例如图15的步骤S1551)。
本发明所提供的方法或其特定方面或部分，可采取包含在可触媒体(tangiblemedia)的程序代码(例如指令)的形式实现，可触媒体例如软盘(floppy diskettes，)、硬盘驱动器(hard drives)、非易失性内存装置(nonvolatile memory devices)、只读型光盘(CD-ROMs)或其它机器可读取的储存媒体，其中，当程序代码被机器(例如计算机、DVD记录器或相似装置)加载并执行时，则该机器即成为实施本发明的装置。所揭露的方法也可包含在程序代码的形式中，这些程序代码可经由一些传输媒体(例如电线或电缆)、经过光纤光学(fiber optics)或通过其它传输方式传输，其中，当程序代码被一机器(例如计算机)接收、加载并执行时，该机器即成为实施本发明的装置。当在通用处理器上执行时，程序代码结合该处理器提供一个独特的装置，该装置的操作与特定的逻辑电路相似。
在说明书及专利权利要求当中使用了某些词汇来指称特定的组件。所属领域中的普通技术人员应可理解，硬件制造商可能会用不同的名词来称呼同一个组件。本说明书及专利权利要求并不以名称的差异来作为区分组件的方式，而是以组件在功能上的差异来作为区分的准则。
本发明虽以较佳实施例描述，然而并不限于此。各种变形、修改和所述实施例各种特征的组合均属于本发明所主张范围，本发明的权利范围应以申请权利要求为准。

Claims (20)

1.一种用于远程控制电子设备的方法，所述方法由所述电子设备的处理器实施，其特征在于，包括：
检测是否存在一个物体位于所述电子设备的预设范围内；
若是则开启所述电子设备的数字摄像机模块，以捕获所述物体的一系列图像；
确定相应于已捕获图像的控制操作；以及
对所述电子设备的电子装置实施所述控制操作。
2.根据权利要求1所述的用于远程控制电子设备的方法，其特征在于，由光传感器检测是否存在所述物体位于所述电子设备的所述预设范围内，所述光传感器包括发射机和接收器，所述发射机用于发射红外信号，所述接收器用于接收所述物体反射的红外信号，当检测到一定量的所述反射的红外信号时，所述光传感器确定所述物体位于所述电子设备的所述预设范围内。
3.根据权利要求1所述的用于远程控制电子设备的方法，其特征在于，由电容式传感器检测是否存在所述物体位于所述电子设备的所述预设范围内，当检测到电场变化满足预定义标准时，所述电容式传感器确定所述物体位于所述电子设备的所述预设范围内。
4.根据权利要求1所述的用于远程控制电子设备的方法，其特征在于，进一步包括：
提供与所述控制操作相关的基图，
其中确定所述控制操作的步骤进一步包括：使用相似度比较算法将每个所述已捕获图像与所述基图进行比较，以计算所述基图与所述已捕获图像间的相似度；以及当已计算的相似度其中之一大于预定义阈值时，确定所述控制操作。
5.根据权利要求1所述的用于远程控制电子设备的方法，其特征在于，进一步包括：
提供与所述控制操作相关的判别函数，
其中确定所述控制操作的步骤进一步包括：使用预定义特征提取程序计算每个所述已捕获图像的特征向量；将每个特征向量代入所述判别函数，以计算所述特征向量的相似度；以及当已计算的相似度其中之一大于预定义阈值时，确定所述控制操作。
6.根据权利要求1所述的用于远程控制电子设备的方法，其特征在于，进一步包括：
提供与所述控制操作相关的预定义运动方向，
其中确定所述控制操作的步骤进一步包括：使用视频编码器分析所述已捕获图像的多个运动向量；以及当计算的运动向量指示所述预定义运动方向时，确定所述控制操作。
7.根据权利要求6所述的用于远程控制电子设备的方法，其特征在于，确定所述控制操作的步骤进一步包括：
通过公式 X o = ( Σ i = 1 n Xi ) / n 和 Y o = ( Σ i = 1 n Yi ) / n 计算整体运动向量(Xo，Yo)，其中n为运动向量的总数，Xi表示第i个运动向量的X轴上的参考偏置，Yi表示第i个运动向量的Y轴上的参考偏置；以及
当已计算的所述整体运动向量指示所述预定义运动方向时，确定所述控制操作。
8.根据权利要求6所述的用于远程控制电子设备的方法，其特征在于，确定所述控制操作的步骤进一步包括：
将每个运动向量分类成多个运动方向，其中所分类的方向包括已提供的运动方向；
根据分类结果，对每个所述运动方向进行计数；以及
当所述已提供的运动方向的计数高于其他运动方向的计数且满足预定义标准时，确定所述控制操作。
9.根据权利要求1所述的用于远程控制电子设备的方法，其特征在于，进一步包括：
提供与所述控制操作相关的预定义姿势运动，
其中确定所述控制操作的步骤进一步包括：当所述已捕获图像指示所述预定义姿势运动时，确定所述控制操作。
10.根据权利要求9所述的用于远程控制电子设备的方法，其特征在于，所述姿势运动包括开始姿势和结束姿势，确定所述控制操作的步骤进一步包括：当所述已捕获图像指示所述开始姿势以及所述结束姿势时，确定所述控制操作。
11.根据权利要求1所述的用于远程控制电子设备的方法，其特征在于，进一步包括：
确定所述控制操作后或者在预设时间段内没有控制操作被确定时，关闭所述数字摄像机模块。
12.根据权利要求1所述的用于远程控制电子设备的方法，其特征在于，所述控制操作包括控制所述电子设备的电信模块，以通过待接的网络单元向远程电子设备产生具有上次拨出号码或默认号码的移动台发起的呼叫请求。
13.根据权利要求1所述的用于远程控制电子设备的方法，其特征在于，所述控制操作包括从所述电子设备的非易失性内存/储存器装置获取静态图像，并将获取的所述静态图像以幻灯片放映的更高或更低速率输出至所述电子设备的放映机模块。
14.根据权利要求1所述的用于远程控制电子设备的方法，其特征在于，所述控制操作包括指示数字电视接收模块获取之前电视节目或之后电视节目的视频流或音频流。
15.一种用于远程控制电子设备的方法，所述方法由所述电子设备的处理器实施，其特征在于，包括：
当接收到可指示特定事件被触发的指示信号时，开启所述电子设备的数字摄像机模块，以捕获一系列图像；
确定相应于已捕获图像的控制操作；以及
对所述电子设备的电子装置实施所述控制操作。
16.根据权利要求15所述的用于远程控制电子设备的方法，其特征在于，所接收的指示信号指示移动台终止的呼叫请求，并且所述控制操作包括指示所述电子设备的电信模块接受或拒绝所述移动台终止的呼叫请求。
17.根据权利要求16所述的用于远程控制电子设备的方法，其特征在于，进一步包括：
当接收到所述移动台终止的呼叫请求时，指示所述电子设备的显示单元显示提示屏幕，以指示用户通过手势确认是否应答或拒绝所述移动台终止的呼叫请求。
18.根据权利要求15所述的用于远程控制电子设备的方法，其特征在于，所接收的指示信号指示移动台终止的呼叫请求，所述控制操作包括控制声音播放模块停止播放铃声，并且控制振动模块进行振动。
19.一种电子设备，其特征在于，包括：
数字摄像机模块；
传感器模块，用于检测是否存在一个物体位于所述电子设备的预设范围内；
电子装置；以及
处理器，耦接于所述数字摄像机模块、所述传感器模块和所述电子装置，用于当所述传感器模块检测到存在所述物体位于所述电子设备的所述预设范围内时，开启所述数字摄像机模块以捕获所述物体的一系列图像，从所述数字摄像机模块接收已捕获图像，确定相应于所述已捕获图像的控制操作，以及对所述电子装置实施所述控制操作。
20.根据权利要求19所述的电子设备，其特征在于，进一步包括显示单元，其中当所述传感器模块检测到存在所述物体位于所述电子设备的所述预设范围内时，所述处理器指示所述电子设备的所述显示单元显示提示屏幕，以指示用户通过手势控制所述电子设备。
CN 200910203622 2008-06-10 2009-05-26 电子设备及用于远程控制电子设备的方法 Expired - Fee Related CN101604205B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201510418237.6A CN105446477B (zh) 2008-06-10 2009-05-26 无接触控制电子设备的方法
CN201210118298.7A CN102778947B (zh) 2008-06-10 2009-05-26 电子设备及无接触控制电子设备的方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US6014908P 2008-06-10 2008-06-10
US61/060,149 2008-06-10
US12/199,921 2008-08-28
US12/199,921 US8599132B2 (en) 2008-06-10 2008-08-28 Methods and systems for controlling electronic devices according to signals from digital camera and sensor modules

Related Child Applications (2)

Application Number Title Priority Date Filing Date
CN201210118298.7A Division CN102778947B (zh) 2008-06-10 2009-05-26 电子设备及无接触控制电子设备的方法
CN201510418237.6A Division CN105446477B (zh) 2008-06-10 2009-05-26 无接触控制电子设备的方法

Publications (2)

Publication Number Publication Date
CN101604205A true CN101604205A (zh) 2009-12-16
CN101604205B CN101604205B (zh) 2012-06-27

Family

ID=41399867

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201510418237.6A Active CN105446477B (zh) 2008-06-10 2009-05-26 无接触控制电子设备的方法
CN 200910203622 Expired - Fee Related CN101604205B (zh) 2008-06-10 2009-05-26 电子设备及用于远程控制电子设备的方法
CN201210118298.7A Active CN102778947B (zh) 2008-06-10 2009-05-26 电子设备及无接触控制电子设备的方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201510418237.6A Active CN105446477B (zh) 2008-06-10 2009-05-26 无接触控制电子设备的方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201210118298.7A Active CN102778947B (zh) 2008-06-10 2009-05-26 电子设备及无接触控制电子设备的方法

Country Status (2)

Country Link
US (2) US8599132B2 (zh)
CN (3) CN105446477B (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102055844A (zh) * 2010-11-15 2011-05-11 惠州Tcl移动通信有限公司 一种通过手势识别实现照相机快门功能的方法及手机装置
CN102591446A (zh) * 2011-01-10 2012-07-18 海尔集团公司 手势控制显示系统及其控制方法
CN102822814A (zh) * 2010-03-18 2012-12-12 惠普发展公司，有限责任合伙企业 与设备的交互
CN102866677A (zh) * 2011-07-07 2013-01-09 艾美特电器（深圳）有限公司 一种手势家电控制器及控制系统和方法
CN102883106A (zh) * 2012-10-18 2013-01-16 信利光电(汕尾)有限公司 一种将光线传感器应用于摄像头模组的方法及终端设备
CN103309438A (zh) * 2012-03-15 2013-09-18 欧姆龙株式会社 手势输入设备及其控制方法、电子装置、手势输入系统
CN103379224A (zh) * 2012-04-30 2013-10-30 Lg电子株式会社 移动终端及其控制方法
CN103635868A (zh) * 2011-07-01 2014-03-12 英派尔科技开发有限公司 自适应用户接口
CN103885572A (zh) * 2012-12-19 2014-06-25 原相科技股份有限公司 开关装置
CN104767873A (zh) * 2014-01-03 2015-07-08 哈曼国际工业有限公司 无缝内容传送
CN106662928A (zh) * 2014-08-22 2017-05-10 迪尔阿扣基金两合公司 尤其是用于家用电子设备的操作装置和移动操作器
CN106664367A (zh) * 2014-08-21 2017-05-10 索尼公司 控制设备、控制系统、控制方法和程序
CN107977172A (zh) * 2016-10-24 2018-05-01 富士施乐株式会社 信息处理装置和图像文件数据结构
CN109032354A (zh) * 2018-07-24 2018-12-18 Oppo（重庆）智能科技有限公司 电子装置及其手势识别方法、计算机可读存储介质
CN110018714A (zh) * 2018-01-08 2019-07-16 联想（新加坡）私人有限公司 数字助理设备

Families Citing this family (78)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090289188A1 (en) * 2008-05-20 2009-11-26 Everspring Industry Co., Ltd. Method for controlling an electronic device through infrared detection
KR100978929B1 (ko) * 2008-06-24 2010-08-30 한국전자통신연구원 기준 제스처 데이터 등록방법, 이동단말의 구동방법 및이를 수행하는 이동단말
US8351979B2 (en) * 2008-08-21 2013-01-08 Apple Inc. Camera as input interface
KR101537596B1 (ko) * 2008-10-15 2015-07-20 엘지전자 주식회사 이동 단말기 및 이것의 터치 인식 방법
US8275412B2 (en) 2008-12-31 2012-09-25 Motorola Mobility Llc Portable electronic device having directional proximity sensors based on device orientation
JP5680833B2 (ja) * 2009-03-26 2015-03-04 京セラ株式会社 携帯電子機器
US8542186B2 (en) 2009-05-22 2013-09-24 Motorola Mobility Llc Mobile device with user interaction capability and method of operating same
US8391719B2 (en) * 2009-05-22 2013-03-05 Motorola Mobility Llc Method and system for conducting communication between mobile devices
US8619029B2 (en) * 2009-05-22 2013-12-31 Motorola Mobility Llc Electronic device with sensing assembly and method for interpreting consecutive gestures
US8344325B2 (en) * 2009-05-22 2013-01-01 Motorola Mobility Llc Electronic device with sensing assembly and method for detecting basic gestures
US8294105B2 (en) * 2009-05-22 2012-10-23 Motorola Mobility Llc Electronic device with sensing assembly and method for interpreting offset gestures
US8269175B2 (en) * 2009-05-22 2012-09-18 Motorola Mobility Llc Electronic device with sensing assembly and method for detecting gestures of geometric shapes
US8788676B2 (en) * 2009-05-22 2014-07-22 Motorola Mobility Llc Method and system for controlling data transmission to or from a mobile device
US8304733B2 (en) * 2009-05-22 2012-11-06 Motorola Mobility Llc Sensing assembly for mobile device
US8319170B2 (en) 2009-07-10 2012-11-27 Motorola Mobility Llc Method for adapting a pulse power mode of a proximity sensor
KR101613529B1 (ko) * 2009-10-07 2016-04-19 엘지이노텍 주식회사 카메라 모듈
US8547327B2 (en) 2009-10-07 2013-10-01 Qualcomm Incorporated Proximity object tracker
US8665227B2 (en) 2009-11-19 2014-03-04 Motorola Mobility Llc Method and apparatus for replicating physical key function with soft keys in an electronic device
KR20110069526A (ko) * 2009-12-17 2011-06-23 삼성전자주식회사 휴대단말의 외부 출력 제어 방법 및 장치
KR20110071349A (ko) * 2009-12-21 2011-06-29 삼성전자주식회사 휴대단말의 외부 출력 제어 방법 및 장치
IL204436A (en) * 2010-03-11 2016-03-31 Deutsche Telekom Ag A system and method for remote control of online TV by waving hands
US8963845B2 (en) 2010-05-05 2015-02-24 Google Technology Holdings LLC Mobile device with temperature sensing capability and method of operating same
US8339523B2 (en) * 2010-05-18 2012-12-25 Kabushiki Kaisha Toshiba Television apparatus and electronic apparatus
US9103732B2 (en) 2010-05-25 2015-08-11 Google Technology Holdings LLC User computer device with temperature sensing capabilities and method of operating same
US8751056B2 (en) 2010-05-25 2014-06-10 Motorola Mobility Llc User computer device with temperature sensing capabilities and method of operating same
US20120050530A1 (en) * 2010-08-31 2012-03-01 Google Inc. Use camera to augment input for portable electronic device
JP2012103938A (ja) * 2010-11-11 2012-05-31 Seiko Epson Corp 光学式検出システム及びプログラム
US20120139827A1 (en) * 2010-12-02 2012-06-07 Li Kevin A Method and apparatus for interacting with projected displays using shadows
DE102011002603B4 (de) * 2011-01-12 2013-10-31 Ident Technology Ag Kapazitive Sensoreinrichtung sowie Verfahren zum Betreiben einer kapazitiven Sensoreinrichtung
US20120194415A1 (en) * 2011-01-31 2012-08-02 Honeywell International Inc. Displaying an image
US20120194692A1 (en) * 2011-01-31 2012-08-02 Hand Held Products, Inc. Terminal operative for display of electronic record
US8909200B2 (en) * 2011-02-28 2014-12-09 Cisco Technology, Inc. Using face tracking for handling phone events
EP2686254B1 (de) * 2011-03-17 2018-08-15 SSI Schäfer Automation GmbH Steuerung und überwachung einer lager- und kommissionieranlage durch bewegung und sprache
US20120281129A1 (en) * 2011-05-06 2012-11-08 Nokia Corporation Camera control
TW201248452A (en) * 2011-05-30 2012-12-01 Era Optoelectronics Inc Floating virtual image touch sensing apparatus
CN102810028A (zh) * 2011-06-01 2012-12-05 时代光电科技股份有限公司 浮在空中的虚拟影像的触控装置
KR101090970B1 (ko) * 2011-08-19 2011-12-08 주식회사 하이소닉 모션 감지 스위치
JP5760090B2 (ja) * 2011-09-28 2015-08-05 本田技研工業株式会社 生体認識装置
KR101146553B1 (ko) * 2011-11-16 2012-05-16 이건수 이동통신단말기의 통화연결 장치
US9490850B1 (en) 2011-11-28 2016-11-08 Google Inc. Method and apparatus for decoding packetized data
US8963885B2 (en) 2011-11-30 2015-02-24 Google Technology Holdings LLC Mobile device for interacting with an active stylus
US9063591B2 (en) 2011-11-30 2015-06-23 Google Technology Holdings LLC Active styluses for interacting with a mobile device
US20130201095A1 (en) * 2012-02-07 2013-08-08 Microsoft Corporation Presentation techniques
US9185429B1 (en) 2012-04-30 2015-11-10 Google Inc. Video encoding and decoding using un-equal error protection
CN102685581B (zh) * 2012-05-24 2014-05-21 尹国鑫 智能电视多人手控系统
US9438805B2 (en) * 2012-06-08 2016-09-06 Sony Corporation Terminal device and image capturing method
US8957973B2 (en) 2012-06-11 2015-02-17 Omnivision Technologies, Inc. Shutter release using secondary camera
US9225307B2 (en) 2012-06-28 2015-12-29 Sonos, Inc. Modification of audio responsive to proximity detection
US10158898B2 (en) 2012-07-26 2018-12-18 Comcast Cable Communications, Llc Customized options for consumption of content
US10034023B1 (en) 2012-07-30 2018-07-24 Google Llc Extended protection of digital video streams
SE537553C2 (sv) * 2012-08-03 2015-06-09 Crunchfish Ab Förbättrad identifiering av en gest
ES2451849B1 (es) * 2012-09-28 2015-03-10 Fundacion Para La Promocion De La Innovacion Invest Y Desarrollo Tecnologico En La Ind De Automocion Procedimiento y sistema para la interacción gestual con un vehículo
DE102012218813A1 (de) * 2012-10-16 2014-04-17 Robert Bosch Gmbh Elektrisches Gerät, insbesondere Telekommunikationsgerät, mit einer Projektionseinrichtung und Verfahren zum Betrieb eines elektrischen Geräts
EP2731356B1 (en) * 2012-11-07 2016-02-03 Oticon A/S Body-worn control apparatus for hearing devices
US20140152777A1 (en) * 2012-12-01 2014-06-05 Csr Techology Inc. Camera having additional functionality based on connectivity with a host device
US10079968B2 (en) 2012-12-01 2018-09-18 Qualcomm Incorporated Camera having additional functionality based on connectivity with a host device
US9977507B2 (en) * 2013-03-14 2018-05-22 Eyesight Mobile Technologies Ltd. Systems and methods for proximity sensor and image sensor based gesture detection
US9213403B1 (en) 2013-03-27 2015-12-15 Google Inc. Methods to pan, zoom, crop, and proportionally move on a head mountable display
US9507426B2 (en) * 2013-03-27 2016-11-29 Google Inc. Using the Z-axis in user interfaces for head mountable displays
CN103197761B (zh) * 2013-03-28 2016-12-28 深圳泰山在线科技有限公司 手势识别方法及装置
CN104102335B (zh) * 2013-04-15 2018-10-02 中兴通讯股份有限公司 一种手势控制方法、装置和系统
US9273878B2 (en) 2013-05-22 2016-03-01 Honeywell International Inc. Device interface for a building appliance
US20160162039A1 (en) * 2013-07-21 2016-06-09 Pointgrab Ltd. Method and system for touchless activation of a device
DE102013216152A1 (de) * 2013-08-14 2015-02-19 Siemens Aktiengesellschaft Ultraschallkopf mit Steuerungseinrichtung sowie Verfahren zur Steuerung eines Ultraschallgeräts
CN103500093A (zh) * 2013-09-25 2014-01-08 赛龙通信技术（深圳）有限公司 一种基于电子设备使用手势拍照的方法和系统
CN103605701A (zh) * 2013-11-07 2014-02-26 北京智谷睿拓技术服务有限公司 通信对象的确定方法及确定装置
US9538072B2 (en) * 2013-12-23 2017-01-03 Lenovo (Singapore) Pte. Ltd. Gesture invoked image capture
US9639887B2 (en) 2014-04-23 2017-05-02 Sony Corporation In-store object highlighting by a real world user interface
US9870058B2 (en) * 2014-04-23 2018-01-16 Sony Corporation Control of a real world object user interface
CN105320248B (zh) * 2014-06-03 2018-12-07 深圳Tcl新技术有限公司 空中手势输入方法及装置
US9946355B2 (en) * 2015-09-01 2018-04-17 Samsung Electronics Co., Ltd. System and method for operating a mobile device using motion gestures
JP6172765B2 (ja) * 2015-09-02 2017-08-02 Ｎｅｃプラットフォームズ株式会社 通知制御装置、通知制御方法及び通知制御プログラム
CN105282330B (zh) * 2015-09-18 2018-04-20 广东欧珀移动通信有限公司 自动连接网络的方法及装置
CN105357378B (zh) * 2015-10-20 2018-12-11 广东欧珀移动通信有限公司 自动打开wifi列表及连接wifi的方法和移动终端
US9830894B1 (en) * 2016-05-25 2017-11-28 Fuji Xerox Co., Ltd. Systems and methods for playing virtual music instrument through tracking of fingers with coded light
TWI598809B (zh) * 2016-05-27 2017-09-11 鴻海精密工業股份有限公司 手勢控制系統及方法
CN105975090A (zh) * 2016-06-21 2016-09-28 广东欧珀移动通信有限公司 接近传感器上报事件的控制方法、装置和移动终端
MY201803A (en) * 2017-03-14 2024-03-19 Awaken Mobile Pty Ltd Method of mobile phone advertising

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02199526A (ja) * 1988-10-14 1990-08-07 David G Capper 制御インターフェース装置
US7302280B2 (en) * 2000-07-17 2007-11-27 Microsoft Corporation Mobile phone operation based upon context sensing
US8154581B2 (en) * 2002-10-15 2012-04-10 Revolutionary Concepts, Inc. Audio-video communication system for receiving person at entrance
JP3752246B2 (ja) 2003-08-11 2006-03-08 学校法人慶應義塾 ハンドパターンスイッチ装置
CA2538008A1 (en) * 2003-09-16 2005-03-31 Toudai Tlo, Ltd. Optical tactile sensor and method of reconstructing force vector distribution using the sensor
JP4241484B2 (ja) * 2004-04-14 2009-03-18 日本電気株式会社 携帯端末装置、着信応答メッセージ送信方法およびサーバ装置
US7519223B2 (en) * 2004-06-28 2009-04-14 Microsoft Corporation Recognizing gestures and using gestures for interacting with software applications
US7809214B2 (en) 2005-08-22 2010-10-05 Samsung Electronics Co., Ltd. Device and a method for identifying movement patterns
EP1793580B1 (en) * 2005-12-05 2016-07-27 Microsoft Technology Licensing, LLC Camera for automatic image capture having plural capture modes with different capture triggers
JP5089060B2 (ja) * 2006-03-14 2012-12-05 株式会社ソニー・コンピュータエンタテインメント エンタテインメントシステムおよびゲームコントローラ
US7721207B2 (en) 2006-05-31 2010-05-18 Sony Ericsson Mobile Communications Ab Camera based control
US20080134102A1 (en) 2006-12-05 2008-06-05 Sony Ericsson Mobile Communications Ab Method and system for detecting movement of an object
US7671756B2 (en) * 2007-01-07 2010-03-02 Apple Inc. Portable electronic device with alert silencing
US8860683B2 (en) * 2007-04-05 2014-10-14 Cypress Semiconductor Corporation Integrated button activation sensing and proximity sensing
CN101090498B (zh) * 2007-07-19 2010-06-02 华为技术有限公司 对图像进行运动检测的装置和方法
CN101123008A (zh) * 2007-09-19 2008-02-13 浪潮电子信息产业股份有限公司 贵重危险物品监管系统

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102822814A (zh) * 2010-03-18 2012-12-12 惠普发展公司，有限责任合伙企业 与设备的交互
WO2012065516A1 (zh) * 2010-11-15 2012-05-24 惠州Tcl移动通信有限公司 一种通过手势识别实现照相机快门功能的方法及手机装置
CN102055844B (zh) * 2010-11-15 2013-05-15 惠州Tcl移动通信有限公司 一种通过手势识别实现照相机快门功能的方法及手机装置
CN102055844A (zh) * 2010-11-15 2011-05-11 惠州Tcl移动通信有限公司 一种通过手势识别实现照相机快门功能的方法及手机装置
CN102591446A (zh) * 2011-01-10 2012-07-18 海尔集团公司 手势控制显示系统及其控制方法
CN103635868A (zh) * 2011-07-01 2014-03-12 英派尔科技开发有限公司 自适应用户接口
CN102866677A (zh) * 2011-07-07 2013-01-09 艾美特电器（深圳）有限公司 一种手势家电控制器及控制系统和方法
CN103309438A (zh) * 2012-03-15 2013-09-18 欧姆龙株式会社 手势输入设备及其控制方法、电子装置、手势输入系统
CN103379224B (zh) * 2012-04-30 2016-03-30 Lg电子株式会社 移动终端及其控制方法
CN103379224A (zh) * 2012-04-30 2013-10-30 Lg电子株式会社 移动终端及其控制方法
CN102883106A (zh) * 2012-10-18 2013-01-16 信利光电(汕尾)有限公司 一种将光线传感器应用于摄像头模组的方法及终端设备
CN103885572A (zh) * 2012-12-19 2014-06-25 原相科技股份有限公司 开关装置
CN103885572B (zh) * 2012-12-19 2018-03-09 原相科技股份有限公司 开关装置
CN104767873A (zh) * 2014-01-03 2015-07-08 哈曼国际工业有限公司 无缝内容传送
CN106664367A (zh) * 2014-08-21 2017-05-10 索尼公司 控制设备、控制系统、控制方法和程序
CN106664367B (zh) * 2014-08-21 2020-03-17 索尼公司 控制设备、控制方法和非暂态计算机可读介质
CN106662928A (zh) * 2014-08-22 2017-05-10 迪尔阿扣基金两合公司 尤其是用于家用电子设备的操作装置和移动操作器
CN107977172A (zh) * 2016-10-24 2018-05-01 富士施乐株式会社 信息处理装置和图像文件数据结构
CN107977172B (zh) * 2016-10-24 2023-03-14 富士胶片商业创新有限公司 信息处理装置
CN110018714A (zh) * 2018-01-08 2019-07-16 联想（新加坡）私人有限公司 数字助理设备
CN110018714B (zh) * 2018-01-08 2023-08-01 联想（新加坡）私人有限公司 数字助理设备
CN109032354A (zh) * 2018-07-24 2018-12-18 Oppo（重庆）智能科技有限公司 电子装置及其手势识别方法、计算机可读存储介质
CN109032354B (zh) * 2018-07-24 2021-05-07 Oppo（重庆）智能科技有限公司 电子装置及其手势识别方法、计算机可读存储介质

Also Published As

Publication number Publication date
CN102778947A (zh) 2012-11-14
US20090303176A1 (en) 2009-12-10
US20140049466A1 (en) 2014-02-20
CN101604205B (zh) 2012-06-27
US8599132B2 (en) 2013-12-03
US8896536B2 (en) 2014-11-25
CN105446477A (zh) 2016-03-30
CN105446477B (zh) 2018-11-23
CN102778947B (zh) 2016-03-30

Similar Documents

Publication Publication Date Title
CN101604205B (zh) 电子设备及用于远程控制电子设备的方法
CN112913265B (zh) 一种通信方法及装置
US8761716B2 (en) Device and method for processing emergency call in a portable terminal
US11516832B2 (en) Method and device for transmitting data in unlicensed cell, base station and user equipment
US11956824B2 (en) Methods and devices for access control, user equipment and base stations
KR101986038B1 (ko) 네트워크 선택 방법, 장치, 프로그램 및 기록 매체
CN104702933A (zh) 数字装置及其处理三维图像的方法
US20070070181A1 (en) Method and apparatus for controlling image in wireless terminal
CN107613208B (zh) 一种对焦区域的调节方法及终端、计算机存储介质
US20200404673A1 (en) Method and apparatus for transmitting data
US20130053010A1 (en) Apparatus and method for performing a call connection in portable terminal
RU2752646C1 (ru) Способ и устройство индикации типа соты
CN107295262B (zh) 图像处理方法、移动终端及计算机存储介质
CN112135060B (zh) 一种对焦处理方法、移动终端以及计算机存储介质
CN104853401B (zh) 控制接入的方法和装置
US11218990B2 (en) Method and apparatus for receiving and sending system information, user equipment and base station
CN105262952A (zh) 一种移动终端及其处理图像的方法
KR100699806B1 (ko) 정지화상 및 동화상의 저장 방법 및 장치
CN114143471B (zh) 图像处理方法、系统、移动终端及计算机可读存储介质
CN107360378B (zh) 一种曝光控制方法、移动终端和计算机存储介质
CN108463955A (zh) 天线切换方法、装置及终端
US20210007044A1 (en) Method and apparatus for camping on cell, user equipment, and base station
CN103312977A (zh) 移动终端中的用于捕获图像的设备和方法
KR20110055868A (ko) 이동 단말기, ｄｔｖ 및 ｄｔｖ의 제어 방법
CN102843508B (zh) 影像撷取方法与影像撷取系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120627

Termination date: 20160526

CF01 Termination of patent right due to non-payment of annual fee