CN105027032A - 来自受追踪对象的可伸缩输入 - Google Patents

来自受追踪对象的可伸缩输入 Download PDF

Info

Publication number
CN105027032A
CN105027032A CN201480005334.6A CN201480005334A CN105027032A CN 105027032 A CN105027032 A CN 105027032A CN 201480005334 A CN201480005334 A CN 201480005334A CN 105027032 A CN105027032 A CN 105027032A
Authority
CN
China
Prior art keywords
motion
ratio
calculation element
detected
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201480005334.6A
Other languages
English (en)
Inventor
M·亨瑞兹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Crunchfish AB
Original Assignee
Crunchfish AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Crunchfish AB filed Critical Crunchfish AB
Publication of CN105027032A publication Critical patent/CN105027032A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/06—Arrangements for sorting, selecting, merging, or comparing data on individual record carriers
    • G06F7/20—Comparing separate sets of record carriers arranged in the same sequence to determine whether at least some of the data in one set is identical with that in the other set or sets
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/90—Additional features
    • G08C2201/91—Remote control based on location and proximity

Abstract

本发明披露了一种计算装置(100、200)，包括显示器(120)和控制器(210)，其中所述控制器(210)被设置成通过由摄像头(160、260)提供的视频流(265)检测和追踪对象(H)，检测对象(H)的运动(G1、G2)，根据比例将对象(H)的运动(G1、G2)转换成标记(136)的所得到的运动(M1、M2)，检测在距离上对于对象(H)的变化，并相应地调整比例。

Description

来自受追踪对象的可伸缩输入
技术领域
本申请涉及用于提供改进的输入的方法、计算机可读介质和装置，并尤其涉及用于数据输入或用于控制非触控式用户界面的改进的输入的方法、计算机可读介质和装置。
背景技术
自上世纪90年代末，非触控式用户界面已为公知，并且对于如何追踪对象已提出了很多解决方案。
一个缺点是待追踪的对象通常比较大。与常见的显示器尺寸相比并且尤其与在显示器上显示的对象相比，手或手指具有相当的尺寸。因此，用户可能难以实现精确的控制，例如当输入详细或复杂的图形数据时或当处理彼此紧邻设置的对象时。
尤其对于有残疾的用户，输入复杂的模式成为一个问题，因为残疾人士可能运动技能有限并且不能在要求的细节水平完成输入，尤其对于具有小显示器的装置来说。
因此，需要一种计算装置，所述计算装置能够甚至为比较大的输入装置提供准确的输入。
发明内容
本申请的教导的一个目的是通过提供一种包括显示器和控制器的计算装置来克服上述问题，其中所述控制器被设置成通过由摄像头提供的视频流检测和追踪对象，检测对象的运动，将对象的运动根据比例转换成标记的所得到的运动，检测在距离上对于对象的变化，并相应地调整比例。
所述计算装置设置用于更为精确的输入。
在一个实施例中，控制器还被设置成显示邻近标记的对象的放大部分或邻近或环绕标记的大体区域的放大部分。
本申请的教导的另一目的是通过提供一种用于包括显示器的计算装置的方法来克服上述问题，所述方法包括通过由摄像头提供的视频流检测和追踪对象，检测对象的运动，将对象的运动根据比例转换成标记的所得到的运动，检测在距离上对于对象的变化，并相应地调整比例。
本申请的教导的另一目的是通过提供一种计算机可读介质来克服上述问题，所述计算机可读介质包括指令，当其被载入控制器例如处理器并由控制器例如处理器执行时，在计算装置中引起执行本发明所述的方法。
在有创造力和洞察力的推理后，本发明的发明人认识到，通过根据距离变化来调整比例缩放，用户能够简单和直观地以非线性的方式提供(控制)更高准确性的输入，从而在不需要用户大距离的移动要追踪的对象(这可能是不灵活的、麻烦的或简直是不可能的)的情况下提供更高的准确性。
应当指出，比例缩放可解释为运动比例缩放，即，根据该比例，检测到的运动被转换成显示的运动，而非对象的变焦缩放或对象的比例缩放。
本文的教导可用于具有用户界面的装置的控制系统，所述装置例如手机、智能手机、平板电脑、电脑(便携式和台式)、游戏机和媒体及其它资讯娱乐装置。
所披露的实施例的其它特征和优点由下文的详细内容、所附权利要求以及附图来呈现。总体上，权利要求中所用的所有术语要按照它们在技术领域中的通常意思来解释，除非在本文中以其它方式明确定义。
所有提及“一种(一)/所述[元件、设备、部件、装置，步骤，等]”应被开放式地解释为至少一个的所述元件、设备、部件、装置、步骤等，除非以其它方式明确说明。本文所披露的任一方法的步骤并非必须按照所披露的确切的顺序来实施，除非明确说明。
附图说明
结合附图将进一步详细地描述本发明，其中：
图1A、1B和1C是根据本文教导的计算装置的每一个的示意图。
图2是根据本文教导的计算装置的部件的示意图。
图3是根据本文教导的计算机可读存储器的示意图。
图4A、4B和4C示出了根据本文教导的计算装置的示例实施例。
图5A和5B各自示出了根据本文教导的示例实施例的检测到的受追踪对象的运动与标记的所得到运动之间的关系的示意图；和，
图6示出了根据本文教导的一个实施例的大体方法的流程图。
具体实施方式
现在将结合附图在下文更为全面地描述所披露的实施例，其中示出了本发明的某些实施例。不过，本发明可以按照许多不同的形式来体现，并且不应被视为限于本文所展示的实施例；而是，这些实施例通过示例的方式提供，以便本发明的公开内容是充分的和完整的，并且向本领域的技术人员充分地表达本发明的范围。类似的附图标记贯穿全文表示类似的元件。
图1总体上示出了根据本文实施例的计算装置100。在一个实施例中，计算装置100被设置成用于网络通信(无线或有线)。计算装置100的示例为：个人电脑(台式或笔记本)、平板电脑、移动通信终端例如手机、智能手机、个人数字助理(PDA)和游戏机。所示例和所述的三个实施例为图1A中的智能手机、图1B中的笔记本电脑100和图1C中的媒介装置100。媒介装置在本申请的上下文中被视为是计算装置，它被设置成接收数字内容、处理或计算内容并呈现得到的或计算的媒体例如影像和/或音频。
参见图1A，智能手机100形式的移动通信终端包括外壳110，外壳110中安置有显示器120。在一个实施例中，显示器120是触控式显示器。在其它实施例中，显示器120是非触控式显示器。此外，智能手机100包括两个键130a、130b。在本实施例中，存在两个键130，但任意数量的键是可行的，而这取决于智能手机100的设计。在一个实施例中，智能手机100被设置成在触控式显示器120上显示并操作虚拟键135。应当指出，虚拟键135的数量取决于智能手机100的设计和在智能手机100上执行的应用程序。智能手机100还配备有摄像头160。摄像头160是数字摄像头，其被设置成通过在电子图像传感器(未示出)上记录影像来拍视频或静止的照片。在一个实施例中，摄像头160是外部摄像头。在一个实施例中，摄像头由提供影像流的源可替换地取代。
参见图1B，笔记本电脑100包括显示器120和外壳110。外壳包括控制器或CPU(未示出)以及一个或多个计算机可读存储介质(未示出)，例如存储单元和内存储器。存储单元的示例是磁盘驱动器或硬盘驱动器。笔记本电脑100还包括至少一个数据端口。数据端口可以是有线和/或无线的。数据端口的示例是USB(通用串行总线)端口，Ethernet端口或WiFi(根据IEEE标准802.11)端口。数据端口被设置成使笔记本电脑100能够与其它计算装置或服务器连接。
笔记本电脑100还包括至少一个输入单元，例如键盘130。输入单元的其它示例，举几个例来说，有计算机鼠标、触控板、触控屏或操纵杆。
笔记本电脑100还配备有摄像头160。摄像头160是数字摄像头，被设置成通过在电子图像传感器(未示出)上记录影像来拍视频或静止的照片。在一个实施例中，摄像头160是外部摄像头。在一个实施例中，摄像头由提供影像流的源可替换地取代。
参见图1C，媒介装置例如电视机TV 100包括显示器120和外壳110。外壳包括控制器或CPU(未示出)以及一个或多个计算机可读存储介质(未示出)，例如存储单元和内存储器，用于存储用户设置和控制软件。计算装置100还可包括至少一个数据端口(未示出)。数据端口可以是有线和/或无线的。数据端口的示例是USB(通用串行总线)端口、Ethernet端口或WiFi(根据IEEE标准802.11)端口。所述数据端口被设置成使TV 100能够与外部存储介质例如U盘连接，或与其它计算装置或服务器连接。
TV 100还可包括输入单元，例如至少一个键130或遥控装置130b，用于操作TV 100。
TV 100还配备有摄像头160。摄像头160是数字摄像头，被设置成通过在电子图像传感器(未示出)上记录影像来拍视频或静止的照片。在一个实施例中，摄像头160是外部摄像头。在一个实施例中，摄像头由提供影像流的源可替换地取代。
图2示出了根据图1的装置的总体结构的示意图。装置100包括控制器210，所述控制器210负责计算装置200的总体运行并且优选地由任意的商用CPU(中央处理器)、DSP(数字信号处理器)或任何其它电子可编程逻辑器件实施。控制器210被设置成从存储器240读取指令并执行这些指令以控制计算装置100的运行。存储器240可利用对于计算机可读存储器例如ROM,RAM,SRAM,DRAM,CMOS,FLASH,DDR,SDRAM任何众所周知的技术或一些其它存储器技术来实施。存储器240通过控制器210用于不同的目的，其中的一个是存储用于计算装置200中的不同的软件模块的应用程序数据和程序指令250。软件模块包括实时操作系统、用户界面220的驱动器、应用程序处理器以及不同的应用程序250。
计算装置200还包括用户界面220，所述用户界面在图1A、1B和1C的计算装置中由显示器120和键130、135构成。
计算装置200还可包括射频接口230，其被适配成使得计算装置能够通过利用不同的射频技术通过射频频带与其它设备通信。所述技术的示例举几个例来说，例如IEEE802.11、IEEE802.15、ZigBee、WirelessHART、WIFI、W-CDMA/HSPA、GSM、UTRAN和LTE。
计算装置200还配备有摄像头260。摄像头260是数字摄像头，被设置成通过在电子图像传感器(未示出)上记录影像来拍视频或静止的照片。
摄像头260可操作地连接到控制器210，以向控制器提供视频流265，即，一系列捕获的影像，以便进一步处理可能用于应用程序250中的一个或几个和/或根据应用程序250的一个或几个使用。
在一个实施例中，摄像头260是外部摄像头或影像流源。
提及的‘计算机可读存储介质’、‘计算机程序产品’、‘有形体现的计算机程序’等或‘控制器’、‘计算机’、‘处理器’等应被理解为不仅包含具有不同体系结构例如单一/多个处理器体系结构和时序(Von Neumann)/并行体系结构的计算机，还包含专用电路，例如现场可编程门阵列(FPGA)、专用集成电路(ASIC)、信号处理装置和其它装置。提及的计算机程序、指令、代码等应被理解为包含用于可编程的处理器的软件、或固件例如硬件设备的可编程内容，无论是用于处理器的指令还是用于固定功能装置、门阵列或可编程逻辑装置等的配置设定。
图3示出了上文所述的计算机可读介质的示意图。计算机可读介质30在本实施例中是数据盘30。在一个实施例中，数据盘30是磁性数据存储盘。数据盘30被设置成携带指令31，当加载入控制器例如处理器时，根据上文所述的实施例执行方法或程序。数据盘30被设置成连接到读取装置32或连接在读取装置32内并由读取装置32读取，以便将指令加载到控制器。读取装置32与一个(或几个)数据盘30组合的一个所述示例是硬盘驱动器。应当指出，计算机可读介质还可以是其它介质，例如光盘、数字影碟、闪存或其它常用的存储器技术。
指令31可通过使指令31包含在通过无线(或有线)接口(例如通过Internet)被传输到计算机数据读取装置34以便将指令31加载入控制器的计算机可读信号33中而被下载到计算机数据读取装置34，例如笔记本电脑或其它能够读取计算机可读介质上的计算机代码数据的装置。在所述实施例中，计算机可读信号33是计算机可读介质30的一种类型。
指令可被存储在笔记本电脑34的存储器(在图3中未明确示出，但在图2中以240表示)中。
提及计算机程序、指令、代码等应被理解为包含用于可编程处理器的软件或固件例如硬件设备的可编程内容，无论是用于处理器的指令还是用于固定功能装置、门阵列或可编程逻辑装置等的配置设定。
通过输入的比例缩放接收输入的改进的方式会在下文结合附图进行描述。所示的示例会聚焦于受追踪的手势和在显示器上显示的所得到的运动，但应当清楚，处理部分或全部在包括控制器的计算装置(如上文结合图1和2所述)进行或通过执行存储在计算机可读介质(如结合图3所述)的指令来引起所述处理。
图4A示出了计算装置的一个示例(在本示例中为如图1B的笔记本电脑100)，被设置成通过由摄像头160提供的视频流检测和追踪对象例如手H。如何检测和追踪所述对象H披露于瑞典专利申请SE 1250910-5中，在本申请中不再进一步详细讨论。对此的进一步细节，请参见所提到的瑞典专利申请。不过，应当指出，本申请的教导可通过使用除瑞典专利申请SE 1250910-5所披露的内容之外的其它追踪方式实施。
笔记本电脑100还具有显示器120，显示器上显示有对象135以及标记136。应当指出，这里的描述会聚焦于控制标记136，但应当指出，本文的教导也可用于控制绘图工具、文本输入工具或适用于图形用户界面的其它工具。
在一个实施例中，笔记本电脑100被设置成检测受追踪的手H的运动并将检测到的运动转换成对标记136所得到的运动。笔记本电脑100被设置成将检测到的运动缩放为适用于所得到的运动的比例。在现有技术的系统中，所得到的运动匹配检测到的运动并且所述系统的比例可以说是1:1。
尤其在非触控式用户界面，待追踪的对象通常比较大。手或手指与通常的显示器尺寸相比并尤其与显示在显示器上的对象相比具有相当大的尺寸。因此，可能用户难以实现精确的控制，例如当输入详细或复杂的图形数据时或当操纵彼此紧邻设置的对象时。为了允许更为受控的输入，笔记本电脑100被设置成根据对象和显示器120(或摄像头160)之间的距离或对象和显示器120(或摄像头160)之间的距离的变化按照比例缩放输入。在本申请中，显示器120与对象H之间的距离和摄像头160与对象H之间的距离之间没有任何差异。
在图4A中，手H位于距离显示器120的第一距离D1，而笔记本电脑100被设置成以第一比例缩放通过受追踪的手H接收到的输入。第一比例可能是1:1。第一比例可以是所用的初始比例，不管在什么距离检测到对象H。
在图4B中，手H已移动并且现在处于距离显示器120的第二距离D2，而笔记本电脑100被设置成检测距离(D2-D1)的变化并相应地调整缩放比例，从而在第二比例缩放通过受追踪的手H接收到的输入。第二比例可能是1:2。
图4A和4B以示意性的方式示出了缩放比例。手H在图4A作手势G1，导致标记运动M1。在图4B中，手H作更大的手势G2(比G1更大的角距离)，导致较小的标记运动M2。检测到的运动因此被缩放以增大控制输入的准确性。
笔记本电脑100可被设置成通过确定对象H在尺寸上增大/缩小来检测距离变化。可替换地，笔记本电脑100可被设置成通过沿着垂直于摄像头160或显示器120的平面的方向检测受追踪的手H的运动来检测距离变化。关于如何可以检测所述运动的细节披露于瑞典专利申请SE 1250910-5中，因此在本申请中不作进一步详细的讨论。对此的进一步细节，请参见所提到的瑞典专利申请。不过，应当指出，本申请的教导可通过采用除了瑞典专利申请SE 1250910-5中所披露的内容之外的其它距离变化检测方式来实施。
如同结合图5A和5B所讨论的，检测到的运动可能不以绝对距离来测量，而是以角距离测量。
因此，当将检测到的运动转换成所得到的运动时，笔记本电脑100会将任何检测到的运动除以因子2。这需要用户运动他的手(或其它待追踪的对象)H两倍的距离，以实现标记136的相同的所得到的运动。这补偿了待追踪的对象H的比较大的尺寸并允许更为精确的输入，因为这更易于以较大的比例作复杂的手势。
图5A示出了待追踪的对象例如手H以及显示在显示平面510中的所得到的标记536的示意性现有技术示图。应当指出，显示平面510不是显示器120的平面，而是要显示对象的显示器内的虚拟平面。显示平面用于确定透视和类似的视觉效果。图5A中还示意性地示出了摄像头平面520。摄像头平面520不是摄像头的平面，而是示出在与待追踪的对象和要显示的所得到的标记相关的影像捕获装置的位置的虚拟平面，以表明受追踪的对象的运动和标记136的所得到的运动的相依性。运动的范围由虚线表示。可以看到，对于所得到的运动由受追踪的对象要求的运动是与摄像头平面520的距离成比例的。手H离摄像头平面520越远，手需要运动距离更长，以产生相同的标记510所得到的运动。这是由于手H通过角距离而非绝对距离被追踪。
图5B示出了根据本发明教导的一个实施例，待追踪的对象例如手H和在显示平面510上显示的所得到的标记536的示意图。可以看到，对于标记136的特定的所得到的运动，手H需要的运动根据距离以非线性方式增大。这表明了输入的可伸缩性，因为要求更大的角运动来产生相同的输入。在图5B的示例中，可伸缩性是步进式的，但也可以是连续的。
应当指出，描述聚焦于角距离，但本文的总体教导同样可应用于被设置成检测绝对距离的追踪系统。
回到图4C，笔记本电脑100还可被设置成或可替换地被设置成显示邻近标记136的任何对象135或邻近或环绕标记136的大体区域的放大部分。在图4C中，显示了弹出式窗口137，示出当前窗口135中的文本的放大版本。
通过提供当前内容的放大版本，用户能够提供更为准确的控制输入。
在一个实施例中，提供放大视图137与检测到的运动的缩放相结合，并因此包括在比例缩放中。
在一个实施例中，提供放大视图137构成对应于比例因子的放大视图的缩放比例和缩放/变焦因子。
提供放大视图不是简单的变焦/缩放操作，因为它还改变了从检测到的运动转换成所得到的运动的比例。
应当指出，即使缩放被示出为步进式并且取决于距离变化，但应当指出，本文的教导不应当被视为限于检测阈值距离，而是可与检测任何距离变化结合使用。
此外，可以实现缩放，以便任意距离变化产生缩放比例的预定增大。
在一个实施例中，距离变化区别于由正常用户动作(在作手势时，大多数用户会无意地同时朝向显示器120改变距离)产生的距离变化，举几个可能的例子来说，通过要求距离变化例如相对于受追踪的对象的大小的变化、沿背离显示器120的方向运动的时间的变化是显著的。
在一个实施例中，缩放比例还取决于用户。这使得一位用户能够具有某个比例，也许要求非常精确的运动，而另一位用户可具有另一比例，也许允许不精确的但是大的运动。这使得系统能够根据用户的经验和能力定制。
在一个实施例中，缩放比例取决于所用的工具或标记136或当前运行的应用程序。例如，绘图程序中的画笔工具可具有一个缩放比例设定，而喷涂罐(spraycan)工具可能不能用于本文所教导的更精确和准确的输入。这实现了两个仿真工具之间的真实世界差异，因为笔比喷涂罐更为精确。
在一个实施例中，控制器还被设置成检测和追踪第二对象。第二对象也可以是手。在一个实施例中，控制器被设置成接收来自第一只手的输入并基于第一只手的输入确定输入比例；和，接收来自第二只手的输入作为控制输入，可能限于平行于显示平面的平面。这使得用户能够例如用一只手控制光标(X、Y)并用第二只手控制比例(Z)。
因此，笔记本电脑100被设置成除了通过由摄像头160、260提供的视频流265检测和追踪第一对象H外，还检测和追踪第二对象，检测对象H的运动G1、G2和检测第二对象的运动，根据比例将第二对象的运动转换成标记136所得到的运动M1、M2，根据检测到的第一只手H的运动G1、G2检测在距离上对第一对象H的变化，并相应地调整比例。
图6示出了根据本文教导的一般方法的流程图。在步骤510，计算装置检测和追踪对象，例如手。在步骤520，检测到手的运动，并在步骤530根据比例将手的运动转换成标记所得到的运动。在步骤540，计算装置检测距离的变化，并在步骤550对此进行响应，调整比例，以允许更为精确的输入。
本文的教导提供的益处是实现更为精确的输入。
另一个益处在于为用户提供了根据用户的运动和计算装置的灵敏度调节其输入的精确度的直观方式。
还有一个益处在于用户能够使用比显示器之前的空间更大的用户空间，从而增大了装置的可用性。
上文主要结合几个实施例披露了本发明。不过，本领域的技术人员会理解，除上述所披露的实施例外的其它实施例同样可能在本发明的范围内，如所附权利要求所限定。

Claims (11)

1.一种计算装置(100、200)，所述计算装置包括显示器(120)和控制器(210)，其中所述控制器(210)被设置成：
通过由摄像头(160、260)提供的视频流(265)检测和追踪对象(H)；
检测对象(H)的运动(G1、G2)；
根据比例将对象(H)的运动(G1、G2)转换成标记(136)的所得到的运动(M1、M2)，所述比例表示所得到的运动与检测到的运动之间的一段运动关系，例如比率；
检测在距离上对于对象(H)的变化；和
相应地调整比例以增大标记运动的精确性。
2.根据权利要求1所述的计算装置(100、200)，其中控制器(210)还被设置成将比例从第一比例调整成第二比例，其中第一比例是初始比例。
3.根据权利要求1或2所述的计算装置(100、200)，其中控制器(210)还被设置成显示邻近标记(136)的对象(135)的放大部分或邻近或环绕标记(136)的大体区域的放大部分。
4.根据权利要求3所述的计算装置(100、200)，其中放大视图(137)的显示包括在检测到的运动的缩放比例中。
5.根据权利要求3所述的计算装置(100、200)，其中放大视图(137)的显示构成对应于比例因子的放大视图的缩放比例和缩放因子。
6.根据前述任一权利要求所述的计算装置(100、200)，其中控制器(210)还被设置成连续地调整比例。
7.根据权利要求1-5中任一权利要求所述的计算装置(100、200)，其中控制器(210)还被设置成步进式地调整比例。
8.根据前述任一权利要求所述的计算装置(100、200)，其中控制器(210)还被设置成通过检测沿着垂直于显示器(120)的平面的方向的运动来检测距离变化。
9.根据前述任一权利要求所述的计算装置(100、200)，其中控制器(210)还被设置成：
除了通过由摄像头(160、260)提供的视频流检测和追踪第一对象(H)外，还检测和追踪第二对象；
检测对象(H)的运动(G1、G2)并检测第二对象的运动；
根据比例将第二对象的运动转换成标记(136)的所得到的运动(M1、M2)；
根据检测到的第一只手(H)的运动(G1、G2)检测对于第一对象(H)在距离上的变化；和
相应地调整比例。
10.一种用于包括显示器(120)的计算装置(100、200)的方法，所述方法包括：
通过由摄像头(160、260)提供的视频流(265)检测和追踪对象(H)；
检测对象(H)的运动(G1、G2)；
根据比例将对象(H)的运动(G1、G2)转换成标记(136)的所得到的运动(M1、M2)，所述比例表示所得到的运动与检测到的运动之间的一段运动关系，例如比率；
检测在距离上对于对象(H)的变化；和
相应地调整比例以增大标记运动的精确性。
11.一种编码有指令(41)的计算机可读存储介质(40)，当加载在处理器上并在处理器上执行时，引起执行根据权利要求10所述的方法。
CN201480005334.6A 2013-01-22 2014-01-22 来自受追踪对象的可伸缩输入 Pending CN105027032A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
SE1350066-5 2013-01-22
SE1350066A SE536902C2 (sv) 2013-01-22 2013-01-22 Skalbar inmatning från spårat objekt i beröringsfritt användargränssnitt
PCT/SE2014/050069 WO2014116166A1 (en) 2013-01-22 2014-01-22 Scalable input from tracked object

Publications (1)

Publication Number Publication Date
CN105027032A true CN105027032A (zh) 2015-11-04

Family

ID=51227855

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480005334.6A Pending CN105027032A (zh) 2013-01-22 2014-01-22 来自受追踪对象的可伸缩输入

Country Status (5)

Country Link
US (1) US20150363003A1 (zh)
EP (1) EP2948832A4 (zh)
CN (1) CN105027032A (zh)
SE (1) SE536902C2 (zh)
WO (1) WO2014116166A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105744158A (zh) * 2016-02-03 2016-07-06 广东欧珀移动通信有限公司 视频图像显示的方法、装置及移动终端
CN113138663A (zh) * 2021-03-29 2021-07-20 北京小米移动软件有限公司 设备调节方法、设备调节装置、电子设备及存储介质

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE537579C2 (sv) * 2013-04-11 2015-06-30 Crunchfish Ab Bärbar enhet nyttjandes en passiv sensor för initiering av beröringsfri geststyrning
WO2015022498A1 (en) * 2013-08-15 2015-02-19 Elliptic Laboratories As Touchless user interfaces
EP3916632A1 (en) * 2014-05-21 2021-12-01 Tangible Play, Inc. Virtualization of tangible interface objects
US9501810B2 (en) * 2014-09-12 2016-11-22 General Electric Company Creating a virtual environment for touchless interaction
US10854001B2 (en) * 2017-12-26 2020-12-01 Tangible Play, Inc. Tangible object virtualization station
JP2020140373A (ja) * 2019-02-27 2020-09-03 レノボ・シンガポール・プライベート・リミテッド 電子機器
USD907032S1 (en) 2019-07-07 2021-01-05 Tangible Play, Inc. Virtualization device
US20210006730A1 (en) 2019-07-07 2021-01-07 Tangible Play, Inc. Computing device
CN112672093A (zh) * 2020-12-23 2021-04-16 北京市商汤科技开发有限公司 视频显示方法、装置、电子设备及计算机存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102012778A (zh) * 2009-09-04 2011-04-13 索尼公司 显示控制设备、显示控制方法以及显示控制程序
US20120268373A1 (en) * 2011-04-21 2012-10-25 Samsung Electronics Co., Ltd. Method for recognizing user's gesture in electronic device
US20120326966A1 (en) * 2011-06-21 2012-12-27 Qualcomm Incorporated Gesture-controlled technique to expand interaction radius in computer vision applications

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6501515B1 (en) * 1998-10-13 2002-12-31 Sony Corporation Remote control system
US8745541B2 (en) * 2003-03-25 2014-06-03 Microsoft Corporation Architecture for controlling a computer using hand gestures
US20090254855A1 (en) * 2008-04-08 2009-10-08 Sony Ericsson Mobile Communications, Ab Communication terminals with superimposed user interface
US8659658B2 (en) * 2010-02-09 2014-02-25 Microsoft Corporation Physical interaction zone for gesture-based user interfaces
US9142182B2 (en) * 2011-10-07 2015-09-22 Lg Electronics Inc. Device and control method thereof

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102012778A (zh) * 2009-09-04 2011-04-13 索尼公司 显示控制设备、显示控制方法以及显示控制程序
US20120268373A1 (en) * 2011-04-21 2012-10-25 Samsung Electronics Co., Ltd. Method for recognizing user's gesture in electronic device
US20120326966A1 (en) * 2011-06-21 2012-12-27 Qualcomm Incorporated Gesture-controlled technique to expand interaction radius in computer vision applications

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105744158A (zh) * 2016-02-03 2016-07-06 广东欧珀移动通信有限公司 视频图像显示的方法、装置及移动终端
CN105744158B (zh) * 2016-02-03 2019-01-08 广东欧珀移动通信有限公司 视频图像显示的方法、装置及移动终端
CN113138663A (zh) * 2021-03-29 2021-07-20 北京小米移动软件有限公司 设备调节方法、设备调节装置、电子设备及存储介质

Also Published As

Publication number Publication date
EP2948832A4 (en) 2016-12-28
WO2014116166A1 (en) 2014-07-31
US20150363003A1 (en) 2015-12-17
EP2948832A1 (en) 2015-12-02
SE536902C2 (sv) 2014-10-21
SE1350066A1 (sv) 2014-07-23

Similar Documents

Publication Publication Date Title
CN105027032A (zh) 来自受追踪对象的可伸缩输入
US10261685B2 (en) Multi-task machine learning for predicted touch interpretations
CN104238807B (zh) 用于通过使用多点触摸选择对象的设备和方法
US9013428B2 (en) Electronic device and handwritten document creation method
US9201521B2 (en) Storing trace information
US10649647B2 (en) Device and method of providing handwritten content in the same
US20130215018A1 (en) Touch position locating method, text selecting method, device, and electronic equipment
CN104331192B (zh) 电子白板显示方法
CN102830815A (zh) 信息处理设备、信息处理方法和程序
US10534527B2 (en) Relative pen scroll
EP2825955B1 (en) Input data type profiles
JP5925957B2 (ja) 電子機器および手書きデータ処理方法
US20160378217A1 (en) Input device, electronic apparatus for receiving signal from input device and controlling method thereof
US20160259435A1 (en) Apparatus, method, and program product for directing motion of a writing device
CN103765367A (zh) 信息处理设备、信息处理方法和程序
JP2014059808A (ja) 電子機器および手書き文書処理方法
CN104598121A (zh) 一种图片缩放方法和装置
CN104937522A (zh) 非触控式用户界面的改进的反馈
US9338666B2 (en) Binding of an apparatus to a computing device
CN104956378A (zh) 电子设备和手写文档处理方法
US9170733B2 (en) Information processing apparatus, information processing method, and non-transitory computer readable medium
CN108885556B (zh) 控制数字输入
CN107037874B (zh) 重压和移动手势
CN105308535A (zh) 无需用手的协助
CN103853442A (zh) 一种信息处理方法及电子设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20151104

WD01 Invention patent application deemed withdrawn after publication