CN109478107A - 电子装置及其操作方法 - Google Patents

电子装置及其操作方法 Download PDF

Info

Publication number
CN109478107A
CN109478107A CN201780043887.4A CN201780043887A CN109478107A CN 109478107 A CN109478107 A CN 109478107A CN 201780043887 A CN201780043887 A CN 201780043887A CN 109478107 A CN109478107 A CN 109478107A
Authority
CN
China
Prior art keywords
electronic device
information
distance
light
interaction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780043887.4A
Other languages
English (en)
Inventor
李拓建
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Coredar
Coredar Corp
Original Assignee
Coredar Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Coredar Corp filed Critical Coredar Corp
Publication of CN109478107A publication Critical patent/CN109478107A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
    • G06F3/0423Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen using sweeping light beams, e.g. using rotating or vibrating mirror
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

提供了根据实施例的电子装置及其操作方法。根据一个实施例的电子装置包括:光学模块,用于向对象发射光并通过使用从对象反射的光来检测从电子装置到对象的距离;以及处理器,用于基于检测到的到对象的距离的信息来确定对象的触摸信息和/或手势信息。

Description

电子装置及其操作方法
技术领域
实施例涉及电子装置和方法,并且涉及识别用户的手势或触摸的电子装置和电子装置的操作方法。
背景技术
最近,由于各种传感器和处理器的发展,用户能够不仅利用文本输入和小键盘输入,而且通过各种接口利用到电子装置的数据输入。例如,智能电话或电子装置可通过所安装的摄像机等识别手势,或通过触敏显示器等接收触摸输入。
发明内容
技术问题
在电子装置的显示器上的手势识别或触摸输入需要在用户限制的电子装置的显示器上的操作。
此外,使用摄像机的手势分析处理伴随有在后处理中的很多处理器操作和由于摄像机模块而引起的电流消耗。
技术方案
各种实施例提供能够在任何用户期望的空间中执行与手势识别或触摸输入对应的处理并减少在这样的处理中的电流消耗的电子装置以及电子装置的操作方法。
有益效果
根据前述实施例,可在任何用户期望的空间中执行与手势识别或触摸输入对应的处理并可减少在这样的处理中的电流消耗。
附图说明
图1是根据实施例的电子装置的概念图。
图2是根据本公开的实施例的包括电子装置100的系统的示意性方框图。
图3是根据实施例的示例的电子装置100的详细方框图。
图4是根据实施例的示例的电子装置100的详细方框图。
图5是根据实施例的示例的电子装置100的详细方框图。
图6是根据实施例的示例的电子装置100的详细方框图。
图7是根据实施例的被包括在电子装置100中的光学模块130的详细方框图。
图8A示出根据实施例的光学模块的示例,其中光发射器和距离测量传感器被布置在一起。
图8B示出根据实施例的光学模块的示例,其中光发射器被布置在反射镜上。
图8C示出根据实施例的光学模块的示例,其中反射镜是可倾斜的。
图8D是根据实施例的用于描述在光学模块中的操作原理的图,其中反射镜是可倾斜的。
图9示出根据实施例的示例,其中发光二极管(LED)模块在四个方向上附接到反射镜。
图10是示出根据实施例的电子装置100的操作方法的流程图。
图11A到图11E示出用于测量到对象的距离的电子装置的原理。
图12是示出根据实施例的方法的过程的流程图,电子装置100通过该方法基于对象的距离信息来确定对象的触摸信息和/或手势信息。
图13是根据实施例的提取交互点的过程的流程图。
图14和图15是用于描述一种方法的参考图,电子装置100通过该方法来确定交互类型。
图16是用于描述二维(2D)数据和三维(3D)数据的参考图。
图17是根据实施例的用于描述提取主交互点的方法的参考图。
图18是根据实施例的用于描述当交互类型是虚拟键盘时的操作的参考图。
图19是示出根据实施例的电子装置100的操作方法的流程图。
图20是用于描述通过使用反射镜来确定电子装置100的扫描范围的各种方法的参考图。
图21是用于描述通过使用反射镜来自适应地改变电子装置100的扫描范围的方法的参考图。
图22是示出根据实施例的通过使用两个或更多个电子装置来解决阴影区域的方法的流程图。
图23是根据实施例的用于描述通过使用两个或更多个电子装置来解决阴影区域的方法的参考图。
图24是用于描述手势类型被映射到用户的每个触摸位置或电子装置100的扫描范围内的每个区以及不同的控制操作根据手势类型来被执行的参考图。
图25是示出一种方法的过程的流程图,电子装置100通过该方法来在3D感测模式和触摸识别模式中操作。
具体实施方式
根据实施例的电子装置包括配置成将光辐射到对象并从而通过使用从对象反射的光来检测从电子装置到对象的距离的光学模块以及配置成基于关于检测到的到对象的距离的信息来确定对象的触摸信息和/或手势信息的处理器。
根据实施例的电子装置的操作方法包括将光辐射到对象,通过使用从对象反射的光来检测从电子装置到对象的距离,以及基于关于检测到的到对象的距离的信息来确定对象的触摸信息和/或手势信息。
在根据实施例的存储用于执行电子装置的操作方法的程序的计算机可读存储介质中,操作方法包括将光辐射到对象,通过使用从对象反射的光来检测从电子装置到对象的距离,以及基于关于检测到的到对象的距离的信息来确定对象的触摸信息和/或手势信息。
在下文中,参考附图中的细节,将详细描述根据本公开的示例实施例。此外,参考在附图中的细节,将详细描述根据本公开的实施例的配置并使用电子装置的方法。在每个附图中提供的相似的参考数字或符号指示执行实质上相同功能的零件或部件。
虽然顺序数字例如“第一”、“第二”等将用于描述各种部件,但那些部件并不被术语限制。可为了将一个元件与另一元件区分开的目的而使用这些术语。例如,第一元件可被命名为第二元件而不偏离本公开的各种示例性实施例的正确范围,且类似地,第二元件可被命名为第一元件。术语“和/或”包括多个相关项目的组合或多个相关项目中的任一个。
在本文使用的术语仅仅是为了描述实施例的目的,且并不意在限制性的和/或局限性的。单数形式意欲也包括复数形式,除非上下文清楚地指示另外的情况。在本申请中,在本公开中使用的术语“包括”或“具有”指示在说明书中所述的特征、数字、步骤、操作、元件、零件或其组合的存在,且并不排除一个或多个其他特征、数字、步骤、操作、元件、零件或其组合的存在或添加。
图1是根据实施例的电子装置的概念图。
参考图1,根据实施例的电子装置100可包括距离测量装置和旋转反射镜装置以测量到对象10的距离并通过使用所测量的距离来执行手势识别或触摸输入处理。
电子装置100可通过使用旋转反射镜装置来反射来自光源的光并通过使用距离测量装置来接收从对象10反射的光。距离测量装置可基于从对象10反射的光来测量到对象10的距离。电子装置100可基于关于到对象10的所测量的距离的信息来识别用户的触摸输入或手势。
根据实施例的电子装置100可基于到对象10的所测量的距离来执行触摸输入识别或手势识别,且因此可以没有对用户做出动作的空间的限制。电子装置100可位于任何用户期望的空间中,且用户可将电子装置100定位在用户期望的空间中并做出触摸或手势,使得电子装置100可识别用户的触摸输入或手势。
因为电子装置100使用距离测量传感器来识别手势或触摸输入而不是使用摄像机或大型电容式屏幕,功率消耗可被阻止增加,即使用户的动作在相对大的空间中被做出。
图2是根据本公开的实施例的包括电子装置100的系统的示意性方框图。
参考图2,系统可包括电子装置100,电子装置100包括光学模块130、网络200和外部装置250。
根据实施例的电子装置100可包括光学模块130、处理器110和通信模块120。
光学模块130可在处理器110的控制下辐射光并接收从对象反射的光,以测量从电子装置100到对象的距离。
根据实施例,光学模块130可包括辐射光的一个或多个光源、接收从对象反射的光并检测距离的距离检测传感器以及改变所传输和接收的光的路径的元件,其中一个或多个光源可与距离检测传感器或元件集成为一体。
根据实施例,元件可在横向方向上和/或在与横向方向不同的方向上旋转。
通信模块120可在处理器110的控制下执行电子装置100和外部装置250之间的通信。
处理器110可包括光学模块130和通信模块120以控制电子装置100的整体操作。
根据实施例,处理器110可基于关于从光学模块130到对象的所测量的距离的信息来执行触摸输入处理或手势识别处理。
根据实施例,处理器110可基于关于到对象的距离的信息来确定一个或多个交互点。
根据实施例,处理器110可基于根据关于到对象的距离的信息而确定的交互组、所确定的交互组的交互类型或基于关于距离的信息而确定的交互类型来确定一个或多个交互点。
根据实施例,处理器110可基于一个或多个交互点移动的方向和速度之一来确定与一个或多个交互点相关的主交互点。
根据实施例,处理器110可基于环境信息来调节用于控制光学模块130的控制因子。环境信息可包括与对象的操作范围相关的区域的尺寸、与电子装置100一起使用的应用的类型或与对象的运动相关的应用的类型和与电子装置100的周围环境相关的信息中的至少一个。
根据实施例,处理器110可根据用户输入、图像获取传感器、周围环境检测传感器和光学模块130检测到的信息中的至少一个来获得环境信息。
网络200可包括启用电子装置100与外部装置250之间的通信的任何网络。网络200可包括有线网络、无线网络和短距离通信网络。
外部装置250可通过网络200从电子装置100接收数据或将数据传输到电子装置100。
根据实施例,外部装置250可从电子装置100接收关于到对象的距离的信息,并通过使用所接收的关于该距离的信息来执行手势分析。
图3是根据实施例的示例的电子装置100的详细方框图。
参考图3,电子装置100可包括处理器110、通信模块120、光学模块130、检测模块140和电源管理模块150。
通信模块120可使用无线保真(WiFi)、蓝牙(BT)、通用串行总线(USB)等,并可将传输控制协议(TCP)/互联网协议(IP)或套接字等用作通信协议。
光学模块130可传输光并通过使用从对象反射的光来测量到对象的距离。
检测模块140可识别电子装置100的周围环境或检测关于周围环境的信息。
根据实施例,检测模块140可包括摄像机,以检测关于对象做出触摸或手势的空间的尺寸的信息或检测对象的颜色等。
电源管理模块150可将内部电池或外部电池用作电源。电池可包括单体电池例如,从天然能量如太阳热获得的太阳能电池。
处理器110可执行对电子装置100的内部部件的整体控制,并包括交互模式处理模块111、电子装置因子调节模块112和环境感知模块113。
交互模式处理模块111可从光学模块130接收关于到对象的距离的信息,并通过使用掌握以前存储的交互模式的滤波器来确定对象的交互类型。例如,对象的交互类型可指示一个手指、两个手指、笔、用虚拟键盘打字的运动等。
电子装置因子调节模块112可调节光学模块130的因子值,例如被包括在光学模块130中的反射镜的旋转速度、反射镜的倾斜角、光源的亮度等。
环境感知模块113可感知电子装置100的周围环境。电子装置100的周围环境可包括做出手势的空间的尺寸、做出触摸的空间的尺寸、人是否正在用虚拟键盘打字、周围环境的光的强度等。
图4是根据实施例的示例的电子装置100的详细方框图。
参考图4,电子装置100可包括通信模块120、光学模块130、检测模块140和电源管理模块150。
图4所示的示例与电子装置100相同,但可以不包括处理器110。图4所示的电子装置100可通过通信模块120将从光学模块130接收的关于到对象的距离的信息传输到外部装置,且外部装置可通过使用关于到对象的距离的所接收的信息来执行手势分析和触摸分析。
图5是根据实施例的示例的电子装置100的详细方框图。
参考图5,电子装置100可包括通信模块120、光学模块130和电源管理模块150。
图5所示的示例与电子装置100相同,但可以不包括检测模块140。图5所示的电子装置100可通过通信模块120从所连接的外部装置接收由检测模块140检测到的信息。能够担任检测模块140的角色的单独的外部摄像机可连接到电子装置100,且电子装置100可通过外部摄像机接收信息。
图6是根据实施例的示例的电子装置100的详细方框图。
参考图6,电子装置100可包括一个或多个处理器110、通信模块120、光学模块130、检测模块140、电源管理模块150、投射模块160、输入/输出接口170、音频模块180和存储器190。
处理器110可通过驱动操作系统(OS)或应用程序来控制连接到处理器110的多个硬件或软件部件,并关于包括多媒体数据的各种数据执行处理和操作。可使用例如片上系统(SoC)来实现处理器110。根据实施例,处理器110还可包括图形处理单元(GPU,未示出)。
根据实施例,处理器110可基于从光学模块130接收的关于到对象的距离的信息来确定对象的触摸信息和/或手势信息。
通信模块120可在电子装置100与通过网络连接到其的其他电子装置(例如另一电子装置或服务器)之间通信地执行数据传输/接收。根据实施例,通信模块120可包括WiFi模块121、BT模块122和射频(FR)模块123。
WiFi模块121和BT模块122中的每个可包括例如用于处理通过对应的模块传输和接收的数据的处理器。虽然在图6中示出WiFi模块121和BT模块122被示为单独的块,但WiFi模块121和BT模块122中的至少一些(例如两个或更多个)可被包括在一个集成芯片(IC)或IC封装中。例如,可在一个SoC中实现对应于WiFi模块121和BT模块122处理器中的至少一些。
RF模块123可传输/接收数据,例如RF信号。虽然未示出,RF模块123可包括收发器、功率放大模块(PAM)、频率滤波器、低噪声放大器(LNA)等。此外,RF模块123还可包括用于在无线通信中通过自由空气空间传输/接收电磁波的零件,例如导体、导电线等。虽然在图6中示出WiFi模块121和BT模块122共享RF模块123,但WiFi模块121和BT模块122中的至少一个可根据实施例通过单独的RF模块来执行RF信号的传输和接收。
根据实施例,通信模块120可将由处理器110确定的手势信息或触摸信息或由光学模块130检测的关于到对象的距离的信息传递到外部装置。
光学模块130可包括光源、旋转反射镜装置、距离测量装置等,以将光辐射到对象,接收从对象反射的光,并测量从其到对象的距离。将参考图8和图9详细描述光学模块130。
检测模块140可测量物理量或感测电子装置100的操作状态以将所测量或感测的信息转换成电信号。检测模块140可包括例如图像传感器140A、陀螺仪传感器140B、加速度传感器140C、超声传感器140D、紫外(UV)传感器140E、霍尔传感器140F、接近传感器140G和照度传感器140H中的至少一个。此外或可选地,检测模块140可包括例如电子鼻传感器(未示出)、肌电图(EMG)传感器(未示出)、脑电图(EEG)传感器(未示出)、心电图(ECG)传感器(未示出)、虹膜传感器、指纹传感器和压力传感器(未示出)等。检测模块140还可包括用于控制被包括在其中的至少一个传感器的控制电路。
根据实施例,检测模块140可通过使用被包括在其中的至少一个传感器来检测电子装置100的周围环境,例如光的亮度、对象的颜色、做出手势或触摸的空间的尺寸等。
电源管理模块150可管理电子装置100的电力。电源管理模块150可包括例如电源管理集成电路(PMIC)、充电器IC或电池电量计。PMIC可例如安装在IC或SoC半导体中。充电方法可被分类为有线充电和无线充电。充电器IC可以给电池充电并防止来自充电器的过多电压或过多电流的流入。根据本公开的实施例,充电器IC可包括能够执行有线充电方法和无线充电方法中的至少一个的充电IC。
无线充电模块152可包括能够执行无线充电的电路,例如线圈回路或诸如共振电路的电路、整流器等,且无线充电方法可包括例如磁共振方法、磁感应方法、电磁波方法等。
电池151可存储或产生电,并使用所存储或产生的电来将电力供应到电子装置100。电池151可包括例如可再充电电池和/或太阳能电池。
投射模块160可包括照明模块和投射模块。投射模块可通过将光投射到屏幕上来显示图像。投射模块投射光的方式可包括数据丢失防护(DLP)、液晶覆硅(LCOS)、3液晶显示器(3LCD)、LCD、激光方案等。
根据实施例,投射模块160可投射图像,且光学模块130可检测在所投射的图像上的用户手势。
输入/输出接口170可包括例如高清多媒体接口(HDMI)171和USB 172。此外或可选地,输入/输出接口170可包括移动高清链路(MHL)接口、SD/多媒体卡(MMC)接口或红外数据协会(IrDA)接口。
音频模块180双向地转换声音和电信号。音频模块180可通过扬声器181或麦克风182来处理声音信息输入或输出。
存储器190可包括内部存储器191。内部存储器191可包括例如易失性存储器(例如动态随机存取存储器(DRAM)、静态RAM(SRAM)、同步动态RAM(SDRAM)等)以及非易失性存储器(例如一次可编程只读存储器(OTPROM)、可编程ROM(PROM)、可擦除和可编程ROM(EPROM)、电可擦除和可编程ROM(EEPROM)等、掩蔽ROM、闪速ROM、NAND闪存、NOR闪存等)中的至少一个。
存储器190存储用于在处理器110的控制下驱动并控制电子装置100的各种数据、程序或应用。存储器190可存储与一个或多个处理器110、通信模块120、检测模块140、光学模块130、输入/输出接口170、音频模块180和电源管理模块150的驱动对应的信号或数据。
根据本公开的电子装置100的每个前述元件可被配置有一个或多个部件,其名称可随着电子装置100的类型而改变。在各种实施例中,电子装置100可包括前述元件中的至少一个,其中一些可被省略或其他元件可被添加到电子装置100。此外,根据各种实施例的电子装置100的一些元件可集成到一个实体内以用与以前它们被集成的相同的方式执行对应元件的功能。
在下文中,将详细描述被包括在电子装置100中的光学模块130。
根据实施例,光学模块130可包括一个或多个光源、配置成改变来自一个或多个光源的光的路径并将光传递到对象的光路改变元件、配置成接收从对象反射的光并从而基于所反射的光而检测从电子装置100到对象的距离的距离检测传感器、以及配置成旋转光路改变元件的旋转元件。
根据实施例,反射镜、透镜、棱镜等可用作光路改变元件。
作为距离检测传感器,可使用例如飞行时间(TOF)距离传感器,但不限于此,并且可使用能够检测距离的任何传感器。
根据实施例,旋转元件可包括配置成在横向方向上旋转光路改变元件的旋转支持架或配置成在不同于横向方向的方向上旋转光路改变元件的倾斜支持架。
光学模块130可被提及为用于距离检测的光学装置。光学模块130可通过除了小距离检测传感器以外还包括改变光的路径的光路改变元件和旋转光路改变元件的旋转元件来有效地检测到对象的距离而不增加其体积。通过使检测到对象的距离的光学模块130或光学装置小型化,根据实施例的光学模块130或光学装置可在各种领域中方便和有效地被使用。
例如,这样的光学装置可安装在便携式投射装置上并与便携式投射装置一起被使用。
光学装置可检测与附着到电视(TV)显示器的一部分并在TV上显示的屏幕相关的用户的触摸或手势。
例如,光学装置可安装在小尺寸无人机上或与小尺寸无人机一起被使用。
光学装置可安装在实现虚拟现实的眼镜上并与实现虚拟现实的眼镜一起被使用。
图7是被包括在根据实施例的电子装置100中的光学模块130的详细方框图。
参考图7,光学模块130可包括光发射器131、距离测量传感器132、反射镜133、旋转支持架134、齿轮135和电动机136。
光发射器131可传输红外(IR)光。光发射器131可使用发光二极管(LED)模块。
距离测量传感器132可包括光接收器以接收从反射镜133反射的光,分析所接收的光的特性,并测量从电子装置100到对象10的距离。距离测量传感器132可包括TOF距离传感器。TOF技术涉及基于当信号被输出到对象时和当信号在从对象反射之后回来时之间的时间差来测量传感器与对象之间的距离的方法。各种类型可用作用于携带信号的载体,且最一般的类型可以是声音和光。
反射镜133可反射从光发射器131接收的光并将光传递到对象10。可根据反射镜133的角度和反射角度来将光传递到特定的位置。以这种方式传递的光可从特定的对象即对象10反射并回到发射镜133或可能丢失。虽然在图7中示出了反射镜133,但实施例的实现不必限于反射镜,且选择性地,能够改变所接收的光的路径并将光传递到对象10的其他元件可被使用。例如,棱镜或透镜可用作另一元件。
反射镜133可由电动机136、齿轮135和旋转支持架134旋转大约360度以检测附近的对象并获得关于对象所在的距离的信息。可根据旋转支持架134旋转的角度来以不同的方式旋转反射镜133。
作为反射镜133,可使用通过化学气相沉积(CVD)等很好地反射光的材料。例如,金(Au)或银(Ag)可用作反射镜133的材料。
旋转支持架134可连接到反射镜133以将反射镜133旋转特定的角度。例如,当光扫描范围达到大约60度且旋转支持架134每次移动大约1度时,旋转支持架134可通过移动大约60次来扫描大约60度的范围。
根据实施例,通过使用微机电系统(MEMS)技术来使反射镜133、旋转支持架134、齿轮135和电动机136超小型化,可明显减小产品的体积。
根据实施例,可使用小尺寸、低功率和低噪声电动机使用压电效应来实现电动机136。
根据实施例,可根据电动机136来改变齿轮135的顶部/底部/左边/右边位置。
图8A示出光学模块的示例,其中光发射器和距离测量传感器根据实施例布置在一起。
参考图8A,光发射器131和接收光的距离测量传感器132彼此集成为一体时。当光发射器131和距离测量传感器132集成为一体时,从光发射器131传输的光可反射到反射镜133并传递到对象。从光发射器131传输的光不仅从反射镜133反射并传递到对象,而且部分地失去或从反射镜133反射并接着由距离测量传感器132吸收。因此,由距离测量传感器132接收的光可包括从对象反射的光和来自光发射器131的光,其在从反射镜133反射之后被吸收。因为以这种方式吸收的光充当噪声,光可以是干扰基于从对象反射的光而由距离测量传感器132进行的距离的准确测量的因素。
图8B示出根据实施例的光学模块的示例,其中光发射器布置在反射镜上。
参考图8B,光发射器131通过布置在反射镜133上来与反射镜133集成为一体。通过以这种方式将光发射器131布置在反射镜133上,来自光发射器131的光可避免从反射镜133反射并从而直接传递到对象,因而防止来自光发射器131的光被失去或在距离测量传感器132中被吸收。因此,距离测量传感器132可以只接收从对象反射的光,促进距离测量的准确度。
由于光的散射和折射特性,甚至充分反射光的反射镜也可能没有100%的效率。因此通过将光发射器131布置在反射镜133上,可减少光的散射或失真。
根据实施例,反射镜133可连同旋转支持架的旋转一起被旋转,且反射镜133也可倾斜。
图8C示出根据实施例的光学模块的示例,其中反射镜是可倾斜的。
参考图8C,反射镜133还可包括在其后表面上在纵向方向上旋转的倾斜支持架137以及在横向方向上旋转的旋转支持架134。反射镜133可通过由旋转支持架134旋转来在左右方向上扫描对象,并可通过由倾斜支持架137旋转来在上下方向上扫描对象。因此,电子装置100可通过反射镜133在左右方向上的扫描来检测与关于到对象的距离的信息有关的二维(2D)数据,并通过反射镜133在左右方向上和在上下方向上的扫描来检测与关于到对象的距离的信息有关的三维(3D)数据。根据本公开的实施例,倾斜支持架137可在对角方向上附着在反射镜133的后表面上以使反射镜133在对角方向上扫描对象并因而检测3D数据。根据本公开的实施例,对角方向意指在纵向方向和横向方向之间的任意方向。
根据示例,对于反射镜133在纵向方向上的旋转,可通过齿轮操纵使用一般电动机来调节反射镜133的上升/下降,或可使用具有随着以压电方式施加的电而改变的形状的材料来精确地调节倾斜度。
当线性电动机用于纵向旋转轴时,可在上下方向上调节反射镜133的高度,使各种3D数据测量变得可能。以这种方式,通过使用倾斜或线性电动机进行的3D数据扫描,可检测压力触摸或悬停。
图8D是根据实施例的用于描述在光学模块中的操作原理的图,其中反射镜是可倾斜的。
参考图8D,反射镜133可连同倾斜支持架137的旋转一起在纵向方向上倾斜。当反射镜133倾斜第一倾斜角时从光发射器131传输的光从反射镜133被反射并辐射到对象的位置810。因此,在从对象的位置810反射之后在距离测量传感器132中接收的光可指示关于到对象的位置810的距离的信息。当反射镜133倾斜第二倾斜角时从光发射器131传输的光从反射镜133被反射并辐射到对象的位置820。因此,在从对象的位置820反射之后在距离测量传感器132中接收的光可指示关于到对象的位置820的距离的信息。
以这种方式,当电子装置100的反射镜133在具有在纵向方向上、即在上下方向上的角度变化的情况下执行扫描以及横向旋转时,可使用较宽的视角来检测关于到对象的距离的信息。例如,当检测到由用户的手指进行的触摸时,也可检测关于在手指的上下方向上的距离的信息。以这种方式,不仅触摸而且悬停或力触摸也可被检测到。
图9示出根据实施例的示例,其中LED模块附接在反射镜的四个方向上。
参考图9,在反射镜133上在四个方向中的每个上排列光发射器131。
根据实施例,图9所示的结构可采用将光发射器131直接附接到反射镜133的方式或半导体处理技术。
当使用半导体处理技术时,可以以薄膜形式制造半导体等,且可在其上直接制造LED。电力可通过半导体薄膜被传递且可通过支持架被供应。
根据实施例,可在四个方向中的每个上将LED模块附接在反射镜133上,且可配置能够使用LED通过导电膜、材料或CVD处理来供应电力的电路。可通过用于旋转反射镜133的旋转支持架134来供应电力。
图10是示出根据实施例的电子装置100的操作方法的流程图。
参考图10,在操作1010中,电子装置100的光学模块130可将光辐射到对象并通过使用从对象反射的光来检测从电子装置100到对象的距离。
图11A到图11E示出用于测量到对象的距离的电子装置的原理。
图11A示出电子装置100的反射镜133开始从电子装置100的侧表面从大约30度远的位置扫描。
参考图11A,布置在反射镜133上或与反射镜133分开地提供的光发射器可辐射光,且反射镜133可反射从光发射器辐射的光并将光传递到对象10,同时每次旋转特定的角度。参考图11A,因为没有在大约30度远的位置处反射光的对象,电子装置100无法获得用于在对象的检测中使用的有效信息或关于到对象的距离的信息。图11B示出电子装置100的反射镜133移动大约90度的情况。
参考图11B,反射镜133每次从大约30度远的位置旋转指定角度的同时辐射光并检测所反射的光,从而旋转大约90度。一直到大约90度,在电子装置100的扫描范围内没有对象,使得电子装置100无法获得有效的信息。
图11C示出电子装置100的反射镜133移动大约100度的情况。
参考图11C,反射镜133旋转大约100度,且电子装置100接收从对象10的位置11和12反射的光并通过使用从位置11和12反射的光来测量到对象10的位置11和12的距离d11和d12。
图11D示出电子装置100的反射镜133移动大约120度的情况。
参考图11D,反射镜133旋转大约120度,且电子装置100接收从对象10的位置13和14反射的光并通过使用从位置13和14反射的光来测量到对象10的位置13和14的距离d13和d14。
图11E示出电子装置100的反射镜133移动大约150度的情况。
参考图11E,反射镜133旋转大约150度,且电子装置100接收从对象10的位置15、16和17反射的光并通过使用从位置15、16和17反射的光来测量到对象10的位置15、16和17的距离d15、d16和d17。
因此,电子装置100可将反射镜133旋转预设角度,通过所旋转的反射镜133传递光,并检测通过反射镜133从对象反射的光的强度,从而检测从电子装置100到对象的距离。
可以用不同的方式确定反射镜133每次被旋转的角度。例如,为了检测对象的详细运动,可减小反射镜133每次被旋转的角度。
可以用不同的方式确定从0度到大约360度的反射镜133的扫描范围。例如,当用户使用一只手做出手势时,反射镜133的扫描范围可被设置为相对窄,且当用户使用两只手做出手势时,反射镜133的扫描范围可被设置为相对宽。
在操作1020中,电子装置100的处理器110可基于关于检测到的到对象的距离的信息来确定对象的触摸信息和/或手势信息。
根据实施例,电子装置100可基于关于检测到的到对象的距离的信息来确定一个或多个交互点。
根据实施例,电子装置100可基于关于到对象的距离的信息来确定交互组,确定所确定的交互组的交互类型,或确定基于关于距离的信息而确定的交互类型。电子装置100也可基于所确定的交互组或所确定的交互类型中的至少一个来确定一个或多个交互点。
根据实施例,电子装置100可基于一个或多个交互点移动的方向和速度中的至少一个来确定与一个或多个交互点相关的主交互点。
在操作1030中,电子装置100可通过使用所确定的触摸信息和/或手势信息来控制电子装置100,或将所确定的触摸信息和/或手势信息传输到外部装置。外部装置可包括计算机、智能电话、TV等。
虽然在图10中示出电子装置100确定触摸信息和/或手势信息,但电子装置100可将关于到对象的距离的信息传递到外部装置,其可接着确定触摸信息和/或手势信息。
图12是示出根据实施例的用于使电子装置100基于对象的距离信息来确定对象的触摸信息和/或手势信息的方法的过程的流程图。
参考图12,在操作1210中,电子装置100可提取交互点。
交互点是用于使电子装置100分析手势的有效信息。例如当对象是用户的手时,电子装置100可获得关于进行运动的手的轮廓的信息(对应于关于到对象的距离的信息),如图11E所示。为了确定用户的手的运动被映射到的手势类型或触摸类型,电子装置100需要只从由光学模块获得的信息提取用于在映射手势或触摸时使用的有效信息。电子装置100可提取交互点作为有效信息。
在操作1220中,电子装置100可分析手势。
电子装置100可在操作1210中使用所分析的交互点来比较手势与以前存储的手势模式并确定手势的类型。手势类型的示例可包括触摸、单击、双击、拖动、捏、缩放、虚拟键盘输入等。不匹配以前存储的手势模式的手势可被忽略或添加。根据示例,用户可将用户定义的手势类型直接输入到电子装置100。
图13是根据实施例的提取交互点的过程的流程图。
参考图13,在操作1310中,电子装置100可确定交互组。
将参考图14和图15描述用于使电子装置100确定交互组的方法。
在图14中,“1410”示出电子装置100和作为在电子装置100的前面做出动作的对象10的用户的手。电子装置100可在对象10做出动作的范围内执行扫描。
在图14中,“1420”示出在1410的状态下通过由电子装置100扫描对象10而获得的与关于距离的信息对应的数据。
图15A示出在图14的1420中所示的数据,即,由电子装置100测量的2D数据,其然后根据XY坐标被重构。
参考图15A,水平轴指示反射镜的旋转角,而垂直轴指示对象的距离,该距离基于在每个旋转角下辐射之后从对象反射的光而被检测到。当对象远离电子装置时,离对象的距离的值将是大的;当对象接近电子装置时,离对象的距离的值将是小的。
为了描述的方便,假设在没有对象被检测到的区域中的距离具有0的值而在对象被检测到的区域中的距离具有与该距离成反比的值。没有对象被检测到的区域可包括太远或太近而不能检测到对象的区域。
图15B示出在图14的1420中所示的数据,即由电子装置100测量的3D数据,其然后根据XYZ坐标被重构。
参考图15B,x轴指示反射镜的旋转角,y轴指示对象的距离,该距离基于在每个旋转角下辐射之后从对象反射的光而被检测到,以及z轴指示反射镜在纵向方向上移动的倾斜度。
当倾斜支持架是固定的且旋转支持架旋转时,由电子装置100获得的2D数据指示在如图15A所示的固定倾斜度下关于每个旋转角的离对象的距离的大小;而当倾斜支持架和旋转支持架都旋转即反射镜倾斜的同时扫描对象时,由电子装置100获得的3D数据可指示在如图15B所示的每个倾斜度下关于每个旋转角的离对象的距离的大小。倾斜支持架在预设范围内连续旋转,但电子装置可以针对每个特定的倾斜度提取距离。因此,当反射镜倾斜的同时扫描对象时,与当在没有倾斜的情况下在一个倾斜度下扫描对象时不同,电子装置100可在三维上获得关于从其到对象的距离的信息,从而获取关于到对象的距离的立体结果。
接着,可基于在图15A中所示的数据来执行粗略分析。不需要说,也可基于图15B所示的数据来执行粗略分析。简单地,图15A所示的数据被分类为对应于离对象的零距离的数据和对应于非零距离的数据。通过这样的分类,如图15C所示,数据可被分组为如图15C所示的检测到对象的部分和未检测到对象的部分。
根据实施例,非零距离部分即检测到对象的部分可被确定为交互组。
在操作1320中,电子装置100可确定交互组的交互类型。
根据实施例,电子装置100可根据2D数据的连续非零值继续的长度来确定交互类型。交互组的交互类型可包括例如单次触摸、笔、用户的手、用虚拟键盘打字的运动等。对于用户的手,可进一步指示手是男性、女性还是儿童的手。
根据对象是用户的手、笔、单次触摸还是用虚拟键盘打字的运动,2D数据的非零值继续的长度可以不同。此外,当对象是用户的手时,2D数据的非零值继续的长度也可随着用户的手是男性、女性还是儿童的手而改变。例如,当2D数据的非零值继续的长度等于或大于大约5厘米且小于或等于大约15厘米时,电子装置100可确定指示对应于数据的对象是用户的手的交互类型。当2D数据的非零值继续的长度等于或小于大约5厘米时,电子装置100可确定指示对应于数据的对象是笔还是用户的手指的交互类型。
参考图15C,当对应于交互组1的2D数据的非零值继续的长度落在特定的范围内时,电子装置100可确定对应于数据的对象是用户的手。这也应用于交互组2。
因此,通过这样的粗略分析,电子装置100可确定:两只手被检测为对象;交互组1的交互类型是用户的左手;以及交互组2的交互类型是用户的右手。
根据示例,当2D数据的非零值继续的长度等于或小于大约5厘米时或者当2D数据的非零值继续的长度等于或大于大约0.5厘米且小于或等于大约2厘米时,电子装置100可确定指示对应于数据的对象是笔或用户的手指(对应于单次触摸)的交互类型。当对象是笔或用户的手指时,其尺寸彼此相似,且因此电子装置100仅从关于2D数据的非零值继续的长度的信息确定对象是笔还是用户的手指可能很难。对于相似尺寸的对象,电子装置100可使用3D数据来将对象更具体地分类。
参考图16,示出了与用户用手握住笔的同时做出动作的情况对应的对象1610和与用户用手指做出动作的情况对应的对象1620。在电子装置100中通过使反射镜在横向方向上旋转而不倾斜的同时扫描对象1610而获得的2D距离数据反映2D数据1611,使得在2D数据1611中的检测到对象的部分是部分1612。在电子装置100中通过使反射镜在横向方向上旋转而不倾斜的同时扫描对象1620而获得的2D距离数据反映2D数据1621,使得在2D数据1621中的检测到对象的部分是部分1622。电子装置100在对象1610和1620的分析中基于2D数据可采用的信息被限制到1612和1622,使电子装置100确定对象是笔还是用户的手指变得很难。
然而,在电子装置100中通过使反射镜倾斜并在纵向方向上旋转的同时扫描对象1610而获得的3D距离数据可反映3D数据1613。此外,在电子装置100中通过使反射镜倾斜并在纵向方向上旋转的同时扫描对象1620而获得的3D距离数据可反映3D数据1623。
因此,当电子装置100获得3D数据时,电子装置100可分析出握着笔的对象1610包括握着笔的手指的数据,与通过手指的单次触摸不同且存在从手指向上笔直地伸展的笔的形状。笔直地伸展的笔的形状的分析可包括通过使用以前存储的过滤器提取边缘并执行薄化来估计笔的形状。使用这样的估计,电子装置100可提取笔的坐标信息。
回来参考图13,在操作1320中,电子装置100可获得交互点。
电子装置100可确定交互组,确定交互组的交互类型,并接着确定每个交互组的交互点。
参考图15D,电子装置100可针对详细的区段单独地分析对应于每个交互组的数据。例如,电子装置100可分析对应于交互组1的数据的大小,并将斜率增加(+)并接着减小(-)的部分确定为一个子组。根据这样的分析,电子装置100可确定交互组1的子组1、2、3、4和5以及交互组2的子组6、7、8、9和10。子组可以是用于从交互组提取一个或多个交互点的子单元。
可以有确定交互组的每个子组的各种方法。
对于为交互组确定的每个子组,电子装置100可以确定一个或多个交互点。
电子装置100可根据各种方法在交互组的每个子组中确定例如具有最大尺寸的点、具有接近于0的斜率的点或看起来是子组的主点的点,从而确定交互点。在图15E中,分别为子组确定交互点IP1到IP10。
根据实施例,电子装置100可基于所提取的一个或多个交互点来提取主交互点。
根据实施例的电子装置100可在比现有智能电话识别出手势的窄范围宽的范围内识别触摸或手势。因此,用户的触摸或手势可具有各种模式。例如,捏放大/缩小可以是大运动,且手势可以由几个手指触摸做出。因此,为了准确和有效地确定具有大的和各种运动的几个手势或触摸,可进一步提取主交互点。
图17是根据实施例的用于描述提取主交互点的方法的参考图。
参考图17,电子装置100可提取是用户的左手的对象的五个交互点和是用户的右手的对象的五个交互点。
电子装置100还可通过比较以前的数据与当前数据来估计交互点移动的方向或速度,其中每当反射镜旋转时,以前的数据和当前数据就被测量。例如,用户可移动包括每只手的五个手指中的全部的手,以在用两只手的所有手指触摸扁平表面时执行捏放大或捏缩小。对于这样的手势,可通过确定整个手的手势的运动而不是通过确定每个手指的触摸的运动来准确地确定对象的运动。因此,在这种情况下,提取能够代表交互点的主交互点而不是提取每个交互点可能是有用的。
参考图17,电子装置100基于对应于交互组的数据或基于交互点关于手的形状来执行三角测量以组合接近电子装置100的顶点1710和1720与手或手指的所测量的方向或速度,从而确定一个或多个主交互点。
图18是根据实施例的用于描述当交互类型是虚拟键盘时的操作的参考图。
可使用各种方法来确定交互类型是否是虚拟键盘1800的运动。
根据实施例,电子装置100可通过接收指示从所连接的外部装置执行虚拟键盘的信号来做出该确定。例如,当用户点击键盘输入部分例如在与电子装置100在功能上连接的应用程序中的EditText控件时,电子装置100可从应用程序接收键盘输入运动信号,并确定虚拟键盘操作。
可选地,根据实施例,电子装置100也可基于用户的手指模式即作为手指形状的十个手指的检测来确定虚拟键盘运动。
可选地,根据实施例,用户可手动地设置虚拟键盘运动模式的开始。
在虚拟键盘运动模式中,大约十个或更多个交互点需要被提取并在集中的窄范围内被快速处理,需要精确的距离信息。
在虚拟键盘运动模式中,为了精确地扫描输入运动,电动机旋转的范围可减小以加快同时扫描特定位置的周期。例如,扫描范围可从大约180度改变到大约60度。当扫描范围减小时,对应于扫描大约180度的资源可用于扫描大约60度,使得通过同时测量距离信息几次,精确的交互点提取可能的。可选地,可通过调节光源的亮度来提高精确度。
图19是示出根据实施例的电子装置100的操作方法的流程图。
参考图19,在操作1910中,电子装置100可调节电子装置控制因子。
电子装置控制因子可以主要包括被包括在电子装置100中的光学模块的控制因子。
根据实施例,电子装置100可调节用于基于环境信息来控制光学模块的控制因子。
根据实施例,电子装置100可从用户输入、如摄像机的图像获取传感器、周围环境检测传感器和光学模块检测到的信息中的至少一个来获得环境信息。
例如,环境信息可包括与对象的操作范围相关的区域的尺寸。根据与对象的操作范围相关的区域的尺寸是大的还是小的,电子装置100可不同地调节光源的强度或反射镜的旋转范围。
环境信息可包括连同电子装置100一起使用的应用的类型或与对象的运动相关的应用的类型。应用可指示被提供来执行用于帮助用户的运动的功能、任务或活动的计算机程序。例如,电子装置可根据应用的类型来不同地调节光源的强度或反射镜的旋转范围。为了检测与虚拟键盘相关的对象的运动(这需要精确的手势识别),电子装置100可通过增加光源的强度或反射镜的旋转速度来控制将被执行几次的扫描。
例如,环境信息可包括与电子装置100的周围环境相关的信息。与电子装置100的周围环境相关的信息可包括环境光的亮度。
电子装置控制因子的调节可包括光源的强度的调节。可根据待检测的对象的距离、在周围环境中的光的强度或对象的特性来自动或手动地调节光源的强度。例如,当对象是遥远的时,电子装置100可将光源的强度调节为强的。当环境光的强度是强的时,电子装置100可将光源的强度调节为强的。例如,当对象看起来暗时,电子装置100可将光源的强度调节为强的。当用户的皮肤颜色是暗的时,电子装置100可将光源的强度调节为强的。以这种方式,可容易进行从对象反射的光的检测。
电子装置控制因子的调节可包括被包括在光学模块中的反射镜的旋转速度的调节。反射镜的旋转速度可以随着距离检测传感器的响应速度、反射镜的旋转以及使反射镜旋转的电动机的类型和速度而不同。例如,为了检测精细手势,电子装置100可通过将反射镜的旋转速度设置为高并因而执行几次扫描来同时获得很多数据。
电子装置控制因子的调节可包括被包括在光学模块中的反射镜的旋转速度的调节。基本上,反射镜可由旋转支持架旋转大约360度。然而,反射镜不必总是都旋转360度以扫描对象,且因此反射镜的旋转范围可根据待扫描的对象或待扫描的对象的手势而以各种方式被调节。例如,当用户用单只手做出手势时,反射镜的扫描范围很窄,使得电子装置100可将旋转范围设置为窄的;当用户用两只手做出手势时,反射镜的扫描范围宽,使得电子装置100可将旋转范围设置为宽的。
电子装置控制因子的调节可包括被包括在光学模块中的反射镜的倾斜范围的调节。已经参图8C和图8D描述了反射镜倾斜操作。电子装置100在仅有反射镜的旋转而没有反射镜的倾斜的情况下可获得与关于到对象的距离的信息有关的2D数据,并可通过在有反射镜的倾斜的情况下旋转反射镜来获得与关于到对象的距离的信息有关的3D信息。
根据实施例,电子装置100可自动或手动地调节电子装置控制因子。在自动调节中,例如当电子装置100需要调节电子装置控制因子以对特定的应用检测手势时,电子装置100可自动调节电子装置控制因子。例如,当由电子装置100检测的手势对应于用户在虚拟键盘中的手指时,电子装置100需要检测用户的两只手并因而可设置反射镜的旋转范围以扫描用户的两只手。
在操作1920中,电子装置100可在电子装置控制因子被调节的状态下辐射光,并检测从对象反射的光,从而测量从电子装置100到对象的距离。
在操作1930中,电子装置100还可基于从对象反射的光的检测的结果来进一步调节电子装置控制因子。
例如,电子装置100可由于环境变化而进一步调节电子装置控制因子,即使电子装置100在操作1910中调节电子装置控制因子。在光到对象的辐射和从对象反射的光的检测之后,电子装置100还可基于检测到的距离信息来进一步精确地调节电子装置控制因子。
例如,虽然电子装置100最初基于用户使用两只手做出手势的确定来将反射镜的旋转范围设置为大约180度,但作为在特定的时间期间监控用户的手势的结果,当电子装置100确定用户使用一只手做出手势时,电子装置100可能不需要维持大约180度的旋转范围。在这种情况下,电子装置100可将反射镜的旋转范围从大约180度调节到大约60度。
在操作1910中的电子装置控制因子的调节和在操作1930中的电子装置控制因子的调节都可以被执行,或它们中的一个可选择性地被执行。
在操作1940中,电子装置100可基于从对象反射的光来分析交互点。
在操作1950中,电子装置100可基于交互点来分析手势。电子装置100可以不直接执行手势分析,并将关于交互点的信息传递到执行手势分析的外部装置。
在操作1960中,电子装置100可将手势分析结果传输到外部装置。
根据实施例,电子装置100可根据用于减小电流消耗的模式来调节电子装置控制因子。例如,当电子装置100的电源的电池被消耗得很多时,光的强度或旋转速度可减小,而不考虑准确度的稍微减小。可自动或手动地执行用于节省电流消耗的节电模式。
根据实施例,当电子装置100确定电子装置100由于碰撞而掉落时,电子装置100可突然停止反射镜的旋转以保护电子装置100的部件。
可以用各种方式确定使用反射镜的电子装置100的扫描范围。图20是用于描述通过使用反射镜来确定电子装置100的扫描范围的各种方法的参考图。
根据实施例,电子装置100的反射镜的扫描范围可由用户的手指触摸确定。
参考图20的2010,一旦电子装置100将扫描范围设置为最大值并开始操作,用户就可以用用户的手指触摸用户期望的扫描范围。电子装置100可检测由用户的手指触摸的位置2011、2012、2013和2014,并确定反射镜的扫描范围,使得由这些位置界定的区域2015落在扫描范围内。
根据实施例,可基于对象的尺寸来确定电子装置100的反射镜的扫描范围。
参考图20的2020,当用户将对象例如纸等放置在电子装置100的前面时,电子装置100可检测对象的尺寸并确定反射镜的扫描范围,使得对象2021的区域落在扫描范围内。
根据实施例,可基于由电子装置100或另一外部装置投射的屏幕的尺寸来确定电子装置100的反射镜的扫描范围。
参考图20的2030,从投射装置投射的屏幕位于电子装置100的前面。电子装置100可检测所投射的屏幕2031的尺寸,并确定反射镜的扫描范围,使得所投射的屏幕2031落在扫描范围内。所投射的屏幕2031可以是从除了电子装置100以外的外部投射装置投射的屏幕。所投射的屏幕2031可以是由可进一步被包括在电子装置100中的投射模块投射的屏幕。
可自适应地改变使用反射镜的电子装置100的扫描范围。
图21是用于描述通过使用反射镜来自适应地改变电子装置100的扫描范围的方法的参考图。
参考图21的2110,电子装置100可将用于扫描对象区域2100的扫描范围设置为第一角度。
当电子装置100如在2110中的在第一角度的扫描范围内操作且然后对象区域2100的尺寸减小到对象区域2121时,则电子装置100可自适应地改变扫描范围。参考图21的2120,电子装置100可将扫描范围设置到第二角度。对象区域的尺寸减小可由电子装置100自动检测或可由用户手动改变为小对象来检测到。
当电子装置100如在2110中的在第一角度的扫描范围内操作且然后对象区域2100的尺寸增加到对象区域2131时,则电子装置100可自适应地改变扫描范围。参考图21的2130,电子装置100可将扫描范围设置到第三角度。对象区域的尺寸增加可由用户对较大尺寸对象的手动布置检测,或当用户在对象区域2100的范围之外做出动作时,电子装置100可识别增加扫描范围的需要以用于用户的手势的准确检测,并调节扫描范围。
在对象区域或反射镜的扫描范围中,多个用户可做出手势,且电子装置100可检测多个用户的手势。例如,根据当前实施例的电子装置100可安装在一个大桌子上,且多个用户可分别做出手势,好像执行虚拟键盘一样。在这种情况下,可基于在触摸点之间的角度或距离、触摸点的数量或触摸点的位置中的至少一个来调节电子装置100的扫描范围。
根据本公开的实施例,电子装置100可通过改变光源的亮度来调节扫描范围。通过增加光源的亮度,可以更远地输出光,从而将扫描范围扩展到更远的地方。相反,通过减小光源的亮度,可以更近地输出光,从而减小扫描范围。
由于由另一对象引起的阴影,电子装置100可能不正确地检测在扫描范围内的对象。在这种情况下,可使用两个或更多个电子装置来解决由阴影区域引起的问题。
图22是示出根据实施例的通过使用两个或更多个电子装置来解决阴影区域的方法的流程图。
参考图22,在操作2210中,第一电子装置和第二电子装置可以彼此共享连接相关信息和位置相关信息。
第一电子装置和第二电子装置可使用相应的通信模块来执行连接并彼此共享它们的位置信息。使用位置信息,第一电子装置和第二电子装置可通过使用WiFi信号强度、BT信号强度或由能够确定位置的单独传感器例如全球定位系统(GPS)传感器或Zigbee传感器获得的信息中的至少一个来确定它们的位置。以这种方式,在第一电子装置和第二电子装置之间共享连接相关信息或位置相关信息可在这两个装置彼此连接时或周期性地被执行。
在操作2220中,第一电子装置和第二电子装置可以彼此共享检测到的对象距离信息。
例如,参考图23,一旦第一电子装置100-1检测到用户的第一触摸2310,第一电子装置100-1就可确定由第一触摸2310引起的阴影区域的位置,且向第二电子装置100-2检查由第二电子装置100-2检测到的第二触摸2320是否在阴影区域的所确定的位置上。当检测到的第二触摸2320在阴影区域的位置上时,第二电子装置100-2可将关于第二触摸2320的信息传递到第一电子装置100-1。
在没有第一电子装置100-1将关于阴影区域的信息传递到第二电子装置100-2并检查第二触摸是否在阴影区域中的过程的情况下,第二电子装置100-2可将关于由第二电子装置100-2检测到的第二触摸2320的信息直接传递到第一电子装置100-1。
在操作2230中,第一电子装置和第二电子装置中的至少一个可通过参考所共享的对象距离信息来执行手势分析,或可将对象距离信息传递到外部装置。
例如,第一电子装置100-1可接收关于从第二电子装置100-2接收的第二触摸2320的信息,并直接执行手势分析,或可将关于从第二电子装置100-2接收的第二触摸2320的信息传输到外部装置。
同时,如图23所示,当多个电子装置用于手势或触摸的检测时,干扰可能出现在光发射和光接收之间。为了防止干扰,可通过改变每个电子装置的光的波长、时间和频率中的至少一个来识别由第一电子装置和第二电子装置中的每个辐射的光的信号。为了区分开来自两个或更多个电子装置的光,可将代码添加到每个光。作为代码的示例,为了区别可单独地添加校验和。
根据实施例,手势类型可被映射到用户的每个触摸位置或在电子装置100的扫描范围内的每个区,且不同的控制操作可根据手势类型来被执行。
图24是用于描述手势类型被映射到用户的每个触摸位置或在电子装置100的扫描范围内的每个区且不同的控制操作根据手势类型来被执行的参考图。
参考图24,电子装置100安装在车辆的前面部分中。电子装置100可扫描驾驶座椅和乘客座椅。在这种情况下,电子装置100可将扫描范围划分成多个区,将不同的手势解释应用于每个区,并根据所解释的手势类型来将用于控制车辆的内部装置的信号传输到车辆。
例如,在扫描范围中,区A映射到悬停手势,使得车辆的室内温度由在触摸状态中的向上/向下移动手势调节,且风的方向由在悬停状态中的向上/向下移动手势调节。在这种情况下,电子装置100可将倾斜操作添加到电子装置100的反射镜以识别悬停手势。
在扫描范围中,区B可被设置为一个区,其中用户通过触摸图标来执行图标等,使得电子装置100可在通用电子装置的模式中操作。
在扫描范围中,区C和区E可以像区A一样被映射。
在扫描范围中,区D可被设置为一个区,其中用户必须快速且准确地进行输入,例如用户执行虚拟键盘输入。当运动主要在区D中被检测到时,电子装置100可扫描较窄的范围,调节光的强度,或调节反射镜的旋转速度,从而检测在区D中的触摸或手势。
根据实施例,电子装置100可在两个或更多个模式中操作。
图25是示出电子装置100在3D感测模式和触摸识别模式中操作的方法的过程的流程图。
参考图25,在操作2510中,电子装置可确定当前模式是3D感测模式还是触摸识别模式。
触摸识别模式指的是对象的运动被检测以如在上面在本文所述的识别手势或触摸的模式,而3D感测模式指的是外部对象的位置被确定且位置信息被传递到外部装置的模式。
根据实施例,电子装置100的3D感测模式或触摸识别模式可由用户手动地设置。
根据实施例,电子装置100可从所连接的外部装置接收关于电子装置100是处于3D感测模式还是处于触摸识别模式的信息。
根据实施例,电子装置100可基于由被包括在电子装置100中的检测模块检测的信息来自动确定电子装置100是处于3D感测模式还是处于触摸识别模式。例如,当电子装置100被放置在表面上时,电子装置100可通过使用传感器等来确定当前模式是触摸识别模式;当电子装置100被检测为在空气中而不是在表面上时,电子装置100可确定当前模式是3D感测模式。根据本公开的实施例,传感器可包括加速度传感器、陀螺仪传感器、重力传感器、高度传感器、超声传感器和距离传感器中的至少一个。
在操作2520中,当电子装置100确定电子装置100在3D感测模式中操作时,电子装置100可辐射光并检测从对象反射的光,从而获得距离信息。
在操作2530中,电子装置100可从所获得的距离信息识别对象的位置信息。
在操作2540中,电子装置100可将对象的位置信息传输到外部装置。
当电子装置100在操作2510中确定电子装置100在3D感测模式中操作时,电子装置100可辐射光并检测从对象反射的光,从而在操作2450中测量距离。
在操作2560中,电子装置100可基于所测量的距离信息来分析交互点。
在操作2570中,电子装置100可基于交互点分析来执行手势分析。
在操作2540中,电子装置100可将手势分析结果传输到外部装置。
根据上述实施例的电子装置可连同大体积屏幕一起被使用。随着触摸屏的普及,触摸屏幕变成用户的自然愿望。然而,电容式或电阻式触摸面板由于其速度低而难以应用于大型屏幕。然而,通过简单地将根据当前实施例的电子装置布置在大型屏幕上,电子装置可提供关于大屏幕的快速交互体验,从而自然地满足用户的愿望。
此外,由于小尺寸无人机的最近发展,小尺寸激光雷达需要被发展,但当前的激光雷达由于其大尺寸和大重量而不可应用于小尺寸无人机。根据当前实施例的电子装置可用于自主的无人机、运输工具、在运输工具中的平视显示器(HUD)。
最近,随着虚拟现实(VR)装置、增强现实(AR)装置或混合现实(MR)装置的普遍使用,需要能够控制VR装置、AR装置或MR装置的装置。根据当前实施例的电子装置可用于小尺寸VR装置、AR装置或MR装置控制器。
在各种实施例中使用的术语“模块”可以意指例如包括硬件、软件和固件中的一个或者硬件、软件和固件中的两个或更多个的组合。“模块”可与单元、逻辑、逻辑块、部件或电路可互换地使用。“模块”可以是最小单元或集成部件的一部分。“模块”可以是执行一个或多个功能的最小单元或其一部分。“模块”可机械地或电子地实现。例如,根据实施例的“模块”可包括执行已经知道或将被发展的某些操作的专用集成电路(ASIC)芯片、现场可编程门阵列(FPGA)和可编程逻辑装置中的至少一个。
根据各种实施例,可以利用以编程模块类型存储在计算机可读存储介质中的指令实现至少一些装置(例如模块或其功能)或方法(例如操作)。当指令由一个或多个处理器(例如处理器110)执行时,一个或多个处理器可执行对应于指令的功能。计算机可读存储介质可以是例如被包括在存储器190中的存储器。至少一些编程模块可由例如处理器110实现(例如执行)。至少一些编程模块可包括例如用于执行一个或多个功能的模块、程序、例程、指令集或过程。
计算机可读记录介质包括特别配置成存储和执行程序指令(例如编程模块)的诸如硬盘、软盘或磁带的磁性介质、诸如光盘只读存储器(CD-ROM)或数字通用盘(DVD)的光学介质、诸如光磁软盘的磁光介质以及诸如ROM、RAM、闪存的硬盘装置。此外,程序指令可包括由编译器创建的机器语言代码和由计算机使用解释器可执行的高级语言代码。前述硬件装置可配置成作为至少一个软件模块来操作以执行本公开的操作,反之亦然。
根据本公开的各种实施例的模块或编程模块可包括前述元件中的一个或多个,使前述元件中的一些省略,或还包括额外的其他元件。可以用顺序、并行、重复或启发方式执行由模块、编程模块或其他元件执行的操作。此外,一些操作可以按不同的顺序被执行或被省略,或可具有额外的不同操作。
根据各种实施例,在存储指令的存储介质中,指令在由至少一个处理器执行时使至少一个处理器执行至少一个操作,至少一个操作可包括将光辐射到对象,通过使用从对象反射的光来检测从电子装置到对象的距离,并基于关于检测到的到对象的距离来确定对象的触摸信息和/或手势信息。提供在本说明书和附图中公开的实施例以容易描述本公开,并帮助理解本公开,且并不意欲限制本公开的范围。因此,应解释,本公开的各种实施例的范围包括基于本公开的技术精神的任何变化或其他各种实施例以及在本文所述的实施例。

Claims (18)

1.一种电子装置,包括:
光学模块,被配置成将光辐射到对象并从而通过使用从所述对象反射的光来检测从所述电子装置到所述对象的距离;以及
处理器,被配置成基于关于检测到的到所述对象的距离的信息来确定所述对象的触摸信息和/或手势信息。
2.如权利要求1所述的电子装置,其中所述处理器还被配置成基于关于到所述对象的所述距离的所述信息来确定一个或多个交互点。
3.如权利要求2所述的电子装置,其中所述处理器还被配置成根据基于关于到所述对象的所述距离的所述信息而确定的交互组、所确定的交互组的交互类型或基于关于所述距离的所述信息而确定的交互类型来确定所述一个或多个交互点。
4.如权利要求3所述的电子装置,其中所述处理器还被配置成基于所述一个或多个交互点移动的方向和速度中的至少一个来确定与所述一个或多个交互点相关的主交互点。
5.如权利要求1所述的电子装置,其中所述处理器还被配置成基于环境信息来调节用于控制所述光学模块的控制因子,并且
所述环境信息包括与所述对象的操作范围相关的区域的尺寸、与所述电子装置一起使用的应用的类型或与所述对象的运动相关的应用的类型、以及与所述电子装置的周围环境相关的信息中的至少一个。
6.如权利要求5所述的电子装置,其中所述处理器还被配置成从用户输入、图像获取传感器、周围环境检测传感器和所述光学模块检测到的信息中的至少一个获得所述环境信息。
7.如权利要求1所述的电子装置,其中所述光学模块包括:
一个或多个光源;
光路改变元件,被配置成改变来自所述一个或多个光源的光的路径并将所述光传递到所述对象;
距离检测传感器,被配置成接收从所述对象反射的光并基于所反射的光来检测从所述电子装置到所述对象的所述距离;以及
旋转元件,被配置成旋转所述光路改变元件。
8.如权利要求7所述的电子装置,其中所述旋转元件包括配置成在横向方向上旋转所述光路改变元件的旋转支持架或配置成在不同于所述横向方向的方向上旋转所述光路改变元件的倾斜支持架。
9.如权利要求7所述的电子装置,其中所述一个或多个光源与所述距离检测传感器或所述光路改变元件集成为一体。
10.一种电子装置的操作方法,所述操作方法包括:
将光辐射到对象,并通过使用从所述对象反射的光来检测从所述电子装置到所述对象的距离;以及
基于关于检测到的到所述对象的距离的信息来确定所述对象的触摸信息和/或手势信息。
11.如权利要求10所述的操作方法,还包括基于关于到所述对象的所述距离的所述信息来确定一个或多个交互点。
12.如权利要求11所述的操作方法,还包括根据基于关于到所述对象的所述距离的所述信息而确定的交互组、所确定的交互组的交互类型或基于关于所述距离的所述信息而确定的交互类型来确定所述一个或多个交互点。
13.如权利要求12所述的操作方法,还包括基于所述一个或多个交互点移动的方向和速度中的至少一个来确定与所述一个或多个交互点相关的主交互点。
14.如权利要求10所述的操作方法,还包括基于环境信息来调节用于控制光学模块的控制因子,
其中所述环境信息包括与所述对象的操作范围相关的区域的尺寸、与所述电子装置一起使用的应用的类型或与所述对象的运动相关的应用的类型、以及与所述电子装置的周围环境相关的信息中的至少一个。
15.如权利要求14所述的操作方法,还包括从用户输入、图像获取传感器、周围环境检测传感器和所述光学模块检测到的信息中的至少一个获得所述环境信息。
16.如权利要求10所述的操作方法,其中所述电子装置包括光学模块,并且
所述光学模块包括辐射光的一个或多个光源、配置成接收从所述对象反射的光并由此检测距离的距离检测传感器、以及配置成改变所传输和接收的光的路径的元件,并且所述一个或多个光源与所述距离检测传感器或所述元件集成为一体。
17.如权利要求16所述的操作方法,其中所述元件在横向方向上和/或在不同于所述横向方向的方向上旋转。
18.一种存储用于执行电子装置的操作方法的程序的计算机可读记录介质,所述操作方法包括:
将光辐射到对象,并通过使用从所述对象反射的光来检测从所述电子装置到所述对象的距离;以及
基于关于检测到的到所述对象的距离的信息来确定所述对象的触摸信息和/或手势信息。
CN201780043887.4A 2016-05-20 2017-05-10 电子装置及其操作方法 Pending CN109478107A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020160062180A KR101976605B1 (ko) 2016-05-20 2016-05-20 전자기기 및 그 동작 방법
KR10-2016-0062180 2016-05-20
PCT/KR2017/004844 WO2017200235A1 (ko) 2016-05-20 2017-05-10 전자기기 및 그 동작 방법

Publications (1)

Publication Number Publication Date
CN109478107A true CN109478107A (zh) 2019-03-15

Family

ID=60326018

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780043887.4A Pending CN109478107A (zh) 2016-05-20 2017-05-10 电子装置及其操作方法

Country Status (6)

Country Link
US (1) US11169640B2 (zh)
EP (1) EP3460636B1 (zh)
JP (1) JP6825087B2 (zh)
KR (1) KR101976605B1 (zh)
CN (1) CN109478107A (zh)
WO (1) WO2017200235A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109842808A (zh) * 2017-11-29 2019-06-04 深圳光峰科技股份有限公司 投影装置的控制方法、投影装置以及存储装置
CN112527098A (zh) * 2019-09-17 2021-03-19 宏碁股份有限公司 浮空操控装置、浮空操控装置的操作方法及互动显示系统
WO2022121036A1 (zh) * 2020-12-10 2022-06-16 安徽鸿程光电有限公司 红外触控方法、装置、设备及计算机存储介质

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110531843A (zh) * 2018-05-24 2019-12-03 富泰华工业(深圳)有限公司 电子装置及电子装置的操作控制方法
CN111078018A (zh) * 2019-12-31 2020-04-28 深圳Tcl新技术有限公司 显示器的触摸控制方法、终端设备及存储介质
CN113467623B (zh) * 2020-03-31 2024-09-03 北京小米移动软件有限公司 终端设备及控制方法、操作指令的检测模组
JP2021177313A (ja) * 2020-05-08 2021-11-11 ソニーセミコンダクタソリューションズ株式会社 情報処理装置及びユーザの入力操作に基づく情報処理方法並びに該方法を実行するためのコンピュータプログラム
KR20220074317A (ko) * 2020-11-27 2022-06-03 변주영 전자장치 및 라이다 센서를 이용한 전자장치 제어 방법
CN112684916A (zh) * 2021-01-12 2021-04-20 维沃移动通信有限公司 信息输入方法、装置及电子设备
JP2022139823A (ja) * 2021-03-12 2022-09-26 オムロン株式会社 光学式センサ、光学式センサの制御方法及び光学式センサの制御プログラム
JP2023139534A (ja) * 2022-03-22 2023-10-04 キヤノン株式会社 ジェスチャ認識装置、頭部装着型表示装置、ジェスチャ認識方法、プログラム、および記憶媒体

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080152202A1 (en) * 2005-02-09 2008-06-26 Sc Softwin Srl System and Methods of Acquisition, Analysis and Authentication of the Handwritten Signature
CN101571776A (zh) * 2008-04-21 2009-11-04 株式会社理光 具有投影仪模块的电子装置
US8018579B1 (en) * 2005-10-21 2011-09-13 Apple Inc. Three-dimensional imaging and display system
CN102439538A (zh) * 2009-12-29 2012-05-02 摩托罗拉移动公司 具有感测组件的电子设备以及用于解释偏移手势的方法
CN103246345A (zh) * 2012-02-01 2013-08-14 扬州永利宁科技有限公司 电子系统的非触摸控制及其相关方法
US20130265218A1 (en) * 2012-02-24 2013-10-10 Thomas J. Moscarillo Gesture recognition devices and methods
GB201407420D0 (en) * 2014-04-28 2014-06-11 Youlapse Oy User input technique for adjusting successive image capturing
US20150002385A1 (en) * 2013-07-01 2015-01-01 Blackberry Limited Gesture detection using ambient light sensors
EP2821886A1 (en) * 2013-07-01 2015-01-07 BlackBerry Limited Touch-less user interface using ambient light sensors
US20150022328A1 (en) * 2013-03-15 2015-01-22 Sambhu Choudhury Garment with remote controlled vibration array
CN105247414A (zh) * 2013-09-27 2016-01-13 日立麦克赛尔株式会社 影像投射装置
CN105320398A (zh) * 2014-05-29 2016-02-10 三星电子株式会社 控制显示装置的方法以及远程控制器

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3321053B2 (ja) * 1996-10-18 2002-09-03 株式会社東芝 情報入力装置及び情報入力方法及び補正データ生成装置
KR20080037312A (ko) * 2006-10-25 2008-04-30 엠텍비젼 주식회사 포인터 이동 제어 장치 및 방법
US20090298691A1 (en) * 2008-04-25 2009-12-03 Koschnick Tyler J Methods and compositions for control of aquatic weeds using herbicidal combinations with fluridone
JP5448370B2 (ja) * 2008-05-20 2014-03-19 キヤノン株式会社 情報処理装置及びその制御方法、プログラム、記憶媒体
KR101096807B1 (ko) * 2010-01-29 2011-12-22 주식회사 팬택 3차원 위치 정보 획득 장치 및 방법
JP5510155B2 (ja) * 2010-07-29 2014-06-04 船井電機株式会社 プロジェクタ
JP4846871B1 (ja) * 2010-10-28 2011-12-28 善博 和田 キー入力装置、それを備える携帯端末および携帯端末を入力装置として機能させるためのプログラム
EP2689413A4 (en) 2011-03-25 2015-07-22 Oblong Ind Inc QUICK FINGER FINGER DETECTION TO INITIALIZE A VISION BASED HAND TRACER
KR20140068855A (ko) * 2011-06-23 2014-06-09 오블롱 인더스트리즈, 인크 공간 입력 장치를 위한 적응적 추적 시스템
JP5295328B2 (ja) * 2011-07-29 2013-09-18 Kddi株式会社 スクリーンパッドによる入力が可能なユーザインタフェース装置、入力処理方法及びプログラム
US9342108B2 (en) * 2011-09-16 2016-05-17 Apple Inc. Protecting an electronic device
US8929085B2 (en) * 2011-09-30 2015-01-06 Apple Inc. Flexible electronic devices
US8730210B2 (en) * 2011-10-19 2014-05-20 Microvision, Inc. Multipoint source detection in a scanned beam display
US9002058B2 (en) * 2011-12-01 2015-04-07 Microvision, Inc. Scanned image projection system with gesture control input
KR101356819B1 (ko) * 2011-12-22 2014-02-12 한국과학기술원 입력 인터페이스 제공 장치 및 그 동작 방법
US9864433B2 (en) * 2012-07-13 2018-01-09 Softkinetic Software Method and system for human-to-computer gesture based simultaneous interactions using singular points of interest on a hand
US10599328B2 (en) * 2013-03-14 2020-03-24 Valve Corporation Variable user tactile input device with display feedback system
KR102297634B1 (ko) * 2013-04-19 2021-09-02 가부시키가이샤 한도오따이 에네루기 켄큐쇼 이차 전지 및 그 제작 방법
US9229583B2 (en) * 2013-05-29 2016-01-05 Otter Products, Llc Object location determination including writing pressure information of a stylus
DE102014207902A1 (de) * 2014-04-28 2015-10-29 Robert Bosch Gmbh Modul und Verfahren zum Betrieb eines Moduls
JP6314688B2 (ja) * 2014-06-25 2018-04-25 船井電機株式会社 入力装置
KR20160050664A (ko) * 2014-10-30 2016-05-11 삼성전자주식회사 촉감 센서를 포함하는 전자 장치, 그의 운용 방법 및 시스템
US9916008B2 (en) * 2015-01-12 2018-03-13 International Business Machines Corporation Microfluidics three-dimensional touch screen display
US10055019B2 (en) * 2015-05-20 2018-08-21 Sony Interactive Entertainment Inc. Electromagnet-laden glove for haptic pressure feedback
US10613655B2 (en) * 2015-12-10 2020-04-07 Lg Electronics Inc. Rollable mobile terminal and control method therefor
US10671219B2 (en) * 2018-02-12 2020-06-02 Microvision, Inc. Scanning time of flight 3D sensing with smart pulsing

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080152202A1 (en) * 2005-02-09 2008-06-26 Sc Softwin Srl System and Methods of Acquisition, Analysis and Authentication of the Handwritten Signature
US8018579B1 (en) * 2005-10-21 2011-09-13 Apple Inc. Three-dimensional imaging and display system
CN101571776A (zh) * 2008-04-21 2009-11-04 株式会社理光 具有投影仪模块的电子装置
CN102439538A (zh) * 2009-12-29 2012-05-02 摩托罗拉移动公司 具有感测组件的电子设备以及用于解释偏移手势的方法
CN103246345A (zh) * 2012-02-01 2013-08-14 扬州永利宁科技有限公司 电子系统的非触摸控制及其相关方法
US20130265218A1 (en) * 2012-02-24 2013-10-10 Thomas J. Moscarillo Gesture recognition devices and methods
US20150022328A1 (en) * 2013-03-15 2015-01-22 Sambhu Choudhury Garment with remote controlled vibration array
US20150002385A1 (en) * 2013-07-01 2015-01-01 Blackberry Limited Gesture detection using ambient light sensors
EP2821886A1 (en) * 2013-07-01 2015-01-07 BlackBerry Limited Touch-less user interface using ambient light sensors
CN105247414A (zh) * 2013-09-27 2016-01-13 日立麦克赛尔株式会社 影像投射装置
GB201407420D0 (en) * 2014-04-28 2014-06-11 Youlapse Oy User input technique for adjusting successive image capturing
CN105320398A (zh) * 2014-05-29 2016-02-10 三星电子株式会社 控制显示装置的方法以及远程控制器

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
迟健男等: "《多点触摸人机交互技术综述》", 《智能系统学报》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109842808A (zh) * 2017-11-29 2019-06-04 深圳光峰科技股份有限公司 投影装置的控制方法、投影装置以及存储装置
CN112527098A (zh) * 2019-09-17 2021-03-19 宏碁股份有限公司 浮空操控装置、浮空操控装置的操作方法及互动显示系统
WO2022121036A1 (zh) * 2020-12-10 2022-06-16 安徽鸿程光电有限公司 红外触控方法、装置、设备及计算机存储介质

Also Published As

Publication number Publication date
KR20170131044A (ko) 2017-11-29
EP3460636B1 (en) 2022-04-13
EP3460636A1 (en) 2019-03-27
KR101976605B1 (ko) 2019-05-09
JP6825087B2 (ja) 2021-02-03
WO2017200235A1 (ko) 2017-11-23
JP2019522860A (ja) 2019-08-15
EP3460636A4 (en) 2020-02-12
US20190102043A1 (en) 2019-04-04
US11169640B2 (en) 2021-11-09

Similar Documents

Publication Publication Date Title
CN109478107A (zh) 电子装置及其操作方法
US12050757B2 (en) Multi-user content sharing in immersive virtual reality environments
US10755460B2 (en) Generating enhanced images using dimensional data
US9911240B2 (en) Systems and method of interacting with a virtual object
US8933912B2 (en) Touch sensitive user interface with three dimensional input sensor
KR102335132B1 (ko) 하나의 단일 감지 시스템을 이용하는 멀티 모드 제스처 기반의 상호작용 시스템 및 방법
US8971565B2 (en) Human interface electronic device
US20120268372A1 (en) Method and electronic device for gesture recognition
WO2015200406A1 (en) Digital action in response to object interaction
US10410407B2 (en) Method for processing image and electronic device thereof
KR20170088655A (ko) 증강 현실 출력 방법 및 이를 지원하는 전자 장치
JP2017514232A (ja) 双方向ディスプレイスクリーン用の圧力、回転およびスタイラス機能
KR20160144851A (ko) 이미지를 처리하는 전자 장치 및 그 제어 방법
CN105723300A (zh) 基于表示对象的图像确定分割边界
US10664090B2 (en) Touch region projection onto touch-sensitive surface
CN113330395A (zh) 一种多屏交互的方法、装置、终端设备和车辆
US11803234B2 (en) Augmented reality with eyewear triggered IoT
Diaz et al. Multimodal sensing interface for haptic interaction
KR102597823B1 (ko) 먼지 측정 장치
US12056279B2 (en) Ray casting system and method
US11762202B1 (en) Ring-mounted flexible circuit remote control
US20240361877A1 (en) Multi-user content sharing in immersive virtual reality environments

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned
AD01 Patent right deemed abandoned

Effective date of abandoning: 20221018