CN104937522A - 非触控式用户界面的改进的反馈 - Google Patents

非触控式用户界面的改进的反馈 Download PDF

Info

Publication number
CN104937522A
CN104937522A CN201480005377.4A CN201480005377A CN104937522A CN 104937522 A CN104937522 A CN 104937522A CN 201480005377 A CN201480005377 A CN 201480005377A CN 104937522 A CN104937522 A CN 104937522A
Authority
CN
China
Prior art keywords
display
marked region
trail
calculation element
followed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201480005377.4A
Other languages
English (en)
Inventor
J·萨缪尔森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Crunchfish AB
Original Assignee
Crunchfish AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Crunchfish AB filed Critical Crunchfish AB
Publication of CN104937522A publication Critical patent/CN104937522A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04801—Cursor retrieval aid, i.e. visual aspect modification, blinking, colour changes, enlargement or other visual cues, for helping user do find the cursor in graphical user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/06—Arrangements for sorting, selecting, merging, or comparing data on individual record carriers
    • G06F7/20—Comparing separate sets of record carriers arranged in the same sequence to determine whether at least some of the data in one set is identical with that in the other set or sets
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明披露了一种计算装置(100、200)，包括显示器(120)和控制器(210)，其中所述控制器(210)被设置成通过由摄像头(160、260)提供的视频流(265)检测和追踪对象(H)，并通过改变显示器(120)上标记区域(170)的显示属性在显示器(120)上指示当前可由受追踪的对象(H)操纵的操作区域。其中，控制器检测受追踪的对象沿着基本上垂直于显示器的平面的方向运动并对此响应，调整标记区域和/或标记区域的延伸部。

Description

非触控式用户界面的改进的反馈
技术领域
本申请涉及用于提供视觉反馈的方法、计算机可读介质和装置，并尤其涉及用于在非触控式用户界面中提供视觉反馈的方法、计算机可读介质和装置。
背景技术
图形界面的开发者业已长期使用标记例如箭头来向用户表示用户通过利用鼠标或其它类似输入装置当前在显示器上操作的位置。所述标记的使用直观地将鼠标的位置与显示的内容连接到一起。不过，标记也会一直存在并会使显示器显得杂乱并可能隐藏或遮盖了一些显示的内容。一种解决方案是在一段时间的休眠状态后隐藏标记。
一个缺点是标记区域可能难以辨别，尤其是如果它与当前显示的内容具有相同的颜色。如上文所述，标记还可能隐藏或遮盖显示的内容。
尤其在非触控式用户界面中，向用户提供直观的视觉反馈是重要的，以便能够在作出的任何手势和获取的或待获取的所得到的动作之间建立认知连接。如果没有视觉反馈被呈现，用户在直到确实执行动作前不能辨别装置是否积极主动地接收控制信息。
因此需要一种向用户提供当前操作区域的视觉反馈的改进的方式，尤其是在标记适应用户的变化的输入位置的移动会如上文所述使用户困惑或不知所措的非触控式用户界面中。
发明内容
本申请的教导的一个目的是通过提供包括显示器和控制器的计算装置克服上文所列的问题，其中所述控制器被设置成通过由摄像头提供的视频流检测和追踪对象，并通过改变显示器上的标记区域的显示属性在显示器上指示当前可由受追踪的对象操纵的操作区域。
在一个实施例中，控制器还被设置成通过仅改变标记区域的显示属性来指示操作区域。
所述计算装置能够向用户提供改进的视觉反馈，因为显示的内容或显示器未凌乱、未被遮盖或被隐藏。
在一个实施例中，显示属性是标记区域的颜色、对比度和/或亮度。
在一个实施例中，标记区域具有延伸部并且控制器还被设置成通过进一步增大标记区域和/或标记区域的延伸部的显示属性来检测受追踪的对象沿着基本上垂直于显示器的平面的方向运动并对此响应调整标记区域。
在一个实施例中，计算装置是移动通信终端。在一个实施例中，计算装置是平板电脑或笔记本电脑。在一个实施例中，计算装置是游戏机。在一个实施例中，计算装置是媒介装置，例如电视机或媒介系统。
本申请的教导的另一目的是通过提供用于包括显示器的计算装置的方法来克服上文所列的问题，所述方法包括通过由摄像头提供的视频流检测和追踪对象，并通过改变在显示器上的标记区域的显示属性在显示器上指示当前可由受追踪的对象操纵的操作区域。
本申请的教导的另一目的是通过提供包括指令的计算机可读介质克服上文所列的问题，当所述指令被载入控制器例如处理器并由控制器例如处理器执行时，导致执行根据本发明所述的方法。
在有创造力和洞察力的推理后，本发明的发明人认识到，通过(仅)改变标记区域的显示属性，不需要显示表示当前操作区域的光标或其它视觉对象(其可能遮盖、隐藏或弄乱在显示器上显示的内容)。显示属性以增大它们的可见度的方式被改变(不必然是标记区域内的对象的可识别性)，以便用户可易于识别和发现位置，从而用户会知道操作区域当前所处的位置。在一个实施例中，改变标记区域的显示属性以便改动或阻挠标记区域的原始显示内容，以进一步增大标记区域的可识别性。
此外，在非触控式用户界面中，用户在摄像头视域内和外连续地移动他的手，非常像用户向键盘和背离键盘移动他的手。表示受追踪对象的位置的标记则会在显示器上四处跳动，使用户感到困惑。用户会察觉到在显示属性上的平缓但可识别的变化例如变化的对比度、亮度或颜色较少令人困惑，因为相比于新对象-标记的突然出现，它提供了更为平缓的显示内容的变化。
本发明的教导可用于具有用户界面的装置的控制系统，所述装置例如手机、智能手机、平板电脑、电脑(便携式和台式/固定)、游戏机和媒介及其它资讯娱乐装置。
所披露的实施例的其它特征和优点由下文的详细描述、所附权利要求以及附图来呈现。总体上，权利要求中所用的所有术语要按照它们在技术领域中的通常意思来解释，除非在本文中以其它方式明确定义。
所有提及“一种(一)/所述[元件、设备、部件、装置，步骤，等]”应被开放式地解释为至少一个的所述元件、设备、部件、装置、步骤等，除非以其它方式明确说明。本文所披露的任一方法的步骤并非必须按照所披露的确切的顺序来实施，除非明确说明。
附图说明
图1A、1B和1C是根据本发明教导的计算装置的每一个的示意图。
图2是根据本发明教导的计算装置的部件的示意图。
图3是根据本发明教导的计算机可读存储器的示意图。
图4A和4B示出了根据本发明教导的示例实施例。
图5示出了根据本发明教导的一个实施例的一般方法的流程图。
具体实施方式
现在将结合附图在下文更为全面地描述所披露的实施例，其中示出了本发明的某些实施例。不过，本发明可以按照许多不同的形式来体现，并且不应被视为限于本文所展示的实施例；而是，这些实施例通过示例的方式提供，以便本发明的公开内容是充分的和完整的，并且向本领域的技术人员充分地表达本发明的范围。类似的附图标记贯穿全文表示类似的元件。
图1总体上示出了根据本文的实施例的计算装置100。在一个实施例中，计算装置100被设置成用于网络通信(无线或有线)。计算装置100的示例是：个人电脑、台式电脑或笔记本电脑、平板电脑、移动通信终端例如手机、智能手机、个人数字助理(PDA)和游戏机。所示例和所述的三个实施例为图1A中的智能手机、图1B中的笔记本电脑100作为计算机的一个示例，和图1C中的TV 100作为媒介装置的一个示例。媒介装置在本申请的上下文中被视为是计算装置，因为它被设置成接收数字内容、处理或计算内容并呈现得到的或计算的媒介例如影像和/或音频。
参见图1A，智能手机100形式的移动通信终端包括外壳110，所述外壳110中设置有显示器120。在一个实施例中，显示器120是触控式显示器。在其它实施例中，显示器120是非触控式显示器。此外，智能手机100包括两个键130a、130b。在本实施例中，存在两个键130，但任意数量的键是可行的，而这取决于智能手机100的设计。在一个实施例中，智能手机100被设置成在触控式显示器120上显示和操作虚拟键135。应当指出，虚拟键135的数量取决于智能手机100的设计以及在智能手机100上执行的应用程序。智能手机100还配备有摄像头160。摄像头160是数字摄像头，其被设置成通过在电子图像传感器(未示出)上记录影像来拍视频或静止的照片。在一个实施例中，摄像头160是外部摄像头。在一个实施例中，摄像头由提供影像流的源可替换地取代。
参见图1B，笔记本电脑100包括显示器120和外壳110。外壳包括控制器或CPU(未示出)和一个或多个计算机可读存储介质(未示出)，例如存储单元和内存储器。存储单元的示例是磁盘驱动器或硬盘驱动器。笔记本电脑100还包括至少一个数据端口。数据端口可以是有线和/或无线的。数据端口的示例是USB(通用串行总线)端口、Ethernet端口或WiFi(根据IEEE标准802.11)端口。数据端口被设置成能够使笔记本电脑100与其它计算装置或服务器连接。
笔记本电脑100还包括至少一个输入单元，例如键盘130。输入单元的其它示例举几个例来说是计算机鼠标、触控板、触摸屏或操作杆。
笔记本电脑100还配备有摄像头160。摄像头160是数字摄像头，被设置成通过在电子图像传感器(未示出)上记录影像来拍视频或静止的照片。在一个实施例中，摄像头160是外部摄像头。在一个实施例中，摄像头由提供影像流的源可替换地取代。
参见图1C，媒介装置例如电视机TV 100包括显示器120和外壳110。外壳包括控制器或CPU(未示出)和一个或多个计算机可读存储介质(未示出)，例如存储单元和内存储器，用于存储用户设置和控制软件。计算装置100还可包括至少一个数据端口(未示出)。数据端口可以是有线和/或无线的。数据端口的示例是USB(通用串行总线)端口、Ethernet端口或WiFi(根据IEEE标准802.11)端口。所述数据端口被设置成使TV 100能够与外部存储介质例如U盘连接，或与其它计算装置或服务器连接。
TV 100还可包括输入单元，例如至少一个键130或遥控装置130b，用于操作TV 100。
TV 100还配备有摄像头160。摄像头160是数字摄像头，被设置成通过在电子图像传感器(未示出)上记录影像来拍视频或静止的照片。在一个实施例中，摄像头160是外部摄像头。在一个实施例中，摄像头由提供影像流的源可替换地取代。
图2示出了根据图1的装置的总体结构的示意图。装置100包括控制器210，所述控制器210负责计算装置200的总体运行并且优选地由任意的商用CPU(中央处理器)、DSP(数字信号处理器)或任何其它电子可编程逻辑器件实施。控制器210被设置成从存储器240读取指令并执行这些指令以控制计算装置100的运行。存储器240可利用对于计算机可读存储器例如ROM,RAM,SRAM,DRAM,CMOS,FLASH,DDR,SDRAM任何众所周知的技术或一些其它存储器技术来实施。存储器240通过控制器210用于不同的目的，其中的一个是存储用于计算装置200中的不同的软件模块的应用程序数据和程序指令250。软件模块包括实时操作系统、用户界面220的驱动器、应用程序处理器以及不同的应用程序250。
计算装置200还包括用户界面220，所述用户界面在图1A、1B和1C的计算装置中由显示器120和键130、135构成。
计算装置200还可包括射频接口230，其被适配成使得计算装置能够通过利用不同的射频技术通过射频频带与其它设备通信。所述技术的示例举几个例来说，例如IEEE802.11、IEEE802.15、ZigBee、WirelessHART、WIFI、W-CDMA/HSPA、GSM、UTRAN和LTE。
计算装置200还配备有摄像头260。摄像头260是数字摄像头，被设置成通过在电子图像传感器(未示出)上记录影像来拍视频或静止的照片。
摄像头260可操作地连接到控制器210，以向控制器提供视频流265，即，一系列捕获的影像，以便进一步处理以可能用于应用程序250中的一个或几个和/或根据应用程序250的一个或几个使用。
在一个实施例中，摄像头260是外部摄像头或影像流源。
提及的‘计算机可读存储介质’、‘计算机程序产品’、‘有形体现的计算机程序’等或‘控制器’、‘计算机’、‘处理器’等应被理解为不仅包含具有不同体系结构例如单一/多个处理器体系结构和时序(Von Neumann)/并行体系结构的计算机，还包含专用电路，例如现场可编程门阵列(FPGA)、专用集成电路(ASIC)、信号处理装置和其它装置。提及的计算机程序、指令、代码等应被理解为包含用于可编程的处理器的软件、或固件例如硬件设备的可编程内容，无论是用于处理器的指令还是用于固定功能装置、门阵列或可编程逻辑装置等的配置设定。
图3示出了上文所述的计算机可读介质的示意图。计算机可读介质30在本实施例中是数据盘30。在一个实施例中，数据盘30是磁性数据存储盘。数据盘30被设置成携带指令31，当指令被加载入控制器例如处理器时，执行根据上文所述的实施例的方法或程序。数据盘30被设置成连接到读取装置32或连接在读取装置32内并由读取装置32读取，以便将指令加载到控制器。读取装置32与一个(或几个)数据盘30组合的一个所述示例是硬盘驱动器。应当指出，计算机可读介质还可以是其它介质，例如光盘、数字影碟、闪存或其它常用的存储器技术。
指令31还可通过使指令31包含在通过无线(或有线)接口(例如通过Internet)被传输到计算机数据读取装置34以便将指令31加载入控制器的计算机可读信号33中而被下载到计算机数据读取装置34，例如笔记本电脑或其它能够读取计算机可读介质上的计算机代码数据的装置。在所述实施例中，计算机可读信号33是计算机可读介质30的一种类型。
指令可被存储在笔记本电脑34的存储器(在图3中未明确示出，但在图2中以240表示)中。
提及计算机程序、指令、代码等应被理解为包含用于可编程处理器的软件或固件例如硬件设备的可编程内容，无论是用于处理器的指令还是用于固定功能装置、门阵列或可编程逻辑装置等的配置设定。
当追踪对象时提供视觉反馈的改进的方式会结合附图在下文进行描述。所示的示例聚焦于所得到的视觉反馈，但应当清楚，处理部分或全部在包括控制器的计算装置(如上文结合图1和2所述)进行或通过执行存储在计算机可读介质(如结合图3所述)的指令来引起执行所述处理。
图4A示出了例如图1中的示例计算装置，在本示例中，笔记本电脑100(例如图1B中的笔记本电脑100)被设置成通过摄像头160检测和追踪对象(在本示例中是手H)。如何检测和追踪所述对象H披露于瑞典专利申请SE 1250910-5中，在本申请中不再进一步详细讨论。对此的进一步细节，请参见所提到的瑞典专利申请。不过，应当指出，本申请的教导可通过使用除瑞典专利申请SE 1250910-5所披露的内容的之外的其它追踪方式实施。
笔记本电脑显示多个对象135，所述多个对象被设置成在显示器120上被操纵。为使用户能够理解他的涉及受追踪的手H的动作和运动如何操纵显示的对象135，笔记本电脑100被设置成通过改变显示器120上的标记区域170的显示属性在显示器上指示当前可由手H操纵的当前位置-操作区域。可能改变的显示属性是颜色、对比度和/或亮度。
这使得用户能够清楚地看到他当前在显示器120上操作的地方，而不需要可能使显示器120凌乱和隐藏、遮盖或遮住当前内容的光标或其它显示的对象。这尤其在具有较小屏幕的设备例如智能手机和平板电脑中是个问题。
因此，笔记本电脑100被设置成通过仅改变标记区域170的显示属性来指示操作区域。
标记区域170具有延伸部d1。延伸部的确切尺寸取决于用户界面设计和其它参数。在图1的示例中，延伸部是圆形的(由于视角的原因示出为椭圆形)。通常，标记区域170的延伸部的直径最初是1-5像素，取决于显示器尺寸和/或显示器分辨率。标记区域170的延伸部d1是小的，以避免使显示的内容变形到干扰程度。
在一个实施例中，标记区域170的延伸部等于用户可操纵的区域并且由用户引起的任何操纵导致标记区域170内的任意和所有的对象的操纵。
在一个实施例中，标记区域170的中心表示用户可操纵的区域并且由用户引起的任何操纵导致位于标记区域170的中心或邻近标记区域170的中心的对象的操纵。
为了使用户能够更加清楚地看到他当前操作的区域，笔记本电脑100内被设置成检测受追踪的对象(手H)沿着基本上垂直于显示器120的平面朝向显示器120的方向移动。关于如何可实施所述Z轴检测的细节披露于瑞典专利申请SE1250910-5中，因此不在本申请中作进一步详细讨论。对此进一步的细节，请参见所提到的瑞典专利申请。不过，应当指出，本申请的教导可通过使用除瑞典专利申请SE 1250910-5所披露的内容之外的其它追踪方式实施。
当笔记本电脑100检测到受追踪的对象H朝向显示器120的运动时，笔记本电脑100被设置成调整标记区域170。
标记区域170可通过进一步改变显示属性通过进一步增大标记区域170的对比度和/或亮度或通过进一步改变标记区域170的颜色来调整。
标记区域170可通过进一步改变显示属性通过进一步增大标记区域170的延伸部来调整。如图4B所示，手H从距离显示器120的距离D1移动到距离D2，而标记区域170已被调整到增大的延伸部d2。
标记区域170的延伸部d1、d2和/或显示属性可取决于受追踪的对象H到显示器120的距离D1、D2。这种相依性可能是线性的或步进式的。在延伸部d1、d2和/或显示属性是步进式的取决于距离D1、D2的实施例中，笔记本电脑100被设置成随着距离D1、D2在至少第一阈值距离向下或向上变化，调整延伸部d1、d2和/或显示属性(逐渐地/递增地)。
在一个实施例中，笔记本电脑100被设置成随着距离D1、D2缩小(D1到D2)渐增地调整标记区域。这使得用户能够更清楚地聚焦于待控制的区域并更清楚地确定可采取什么行动。
在一个实施例中，笔记本电脑100被设置成随着距离D1、D2增大(D2到D1)渐增地调整标记区域170。这使得用户能够更为清楚地看到标记区域170，当在一距离时，受追踪的运动是用户移动的结果。在所述的实施例中，笔记本电脑100还被设置成在受追踪的对象H的附近可能通过检测脸(未示出)来检测用户，并以与到受追踪对象H的距离D1、D2的相同的方式确定到脸的距离是否变化，这会表示用户在移动。
标记区域170可通过进一步改变显示属性通过进一步增大对比度和/或亮度结合增大延伸部来进行调整。
应当指出，距离D1、D2应被理解为不限于受追踪的对象H与显示器120之间的距离，而是也可以是受追踪的对象H与摄像头160之间的距离。
在一个实施例中，距离D1、D2的绝对值对于延伸部d1、d2或改变的标记区域170的显示属性不是决定性的。在所述的实施例中，起决定性作用的是距离D1-D2的变化。
在一个实施例中，笔记本电脑100被设置成检测受追踪的对象H并对此响应表示在初始位置和/或初始延伸部的标记区域170。初始位置可以是显示器120的中部。初始位置可以可替换地位于显示器120的角落。这使得用户能够始终始于相同的位置，使用户能够以简单的方式找到标记区域170。初始延伸部可以根据检测到的距离或可以是固定的初始延伸部，例如上文关于第一延伸部d1所讨论的。
在一个实施例中，笔记本电脑100被设置成检测到受追踪的对象H的速度V(在图4A中用速度矢量V表示)并确定检测到的速度V是否在速度阈值之上，如果是，确定受追踪的运动是关于要操纵的对象135的事件，例如选择事件或激活事件。如果检测到的速度V在速度阈值之下，则确定应调整标记区域170。
当估计沿Z方向的速率时，控制器可使用如在瑞典专利申请SE 1250910-5中所披露的沿Z方向的变化。沿Z方向的变化通过估计两个图像帧delta x(△x)和delta y(△y)之间的关键点的X和Y位置变化的变化来测量。随后为△x和△y制图表并拟合图表之间的直线。该线的斜率给出了沿Z方向变化的测量结果。通过除以处理两个连续图像帧之间所用的时间(通过利用1/帧速为△时间)，提供沿Z方向的速率的测量结果。
可以选择测量结果来表示速度为5cm/s、10cm/s、20cm/s、或更快(或更慢)，以区分快运动和慢运动。
在一个实施例中，笔记本电脑100被设置成检测受追踪的对象H的速度V并确定检测到的速度V是否在速度阈值之上并且运动是否背离显示器120，速度V是负的，如果是这样，中止追踪受追踪的对象H并中止指示显示器上当前可由受追踪的对象H操纵的当前位置。
用户可再次通过例如举起他的手开始操纵，随后由笔记本电脑100检测，指示可能在初始位置和初始大小的标记区域170。
在一个实施例中，笔记本电脑100被设置成确定标记区域170是否(至少部分)与显示的对象135一致和受追踪的对象H与显示的对象135(或显示器120)之间的距离D1、D2是否在第二阈值之下，如果是，显示与显示的对象135相关的选项菜单。如本领域的技术人员会理解的，距离阈值取决于计算装置和显示器尺寸。如对本领域技术人员显而易见的，确切的距离和距离阈值很大程度上取决于特征例如显示器尺寸、摄像头视角、摄像头相对于显示器的角度，并且提供适合所有可能组合的距离阈值会造成非常大量的工作负荷并且不能对本文所教导的方式提供更高程度的理解。距离阈值的一个示例是距离为10cm。
在一个示例中，显示的对象120可能涉及媒体播放器应用程序，而相关的选项菜单可包括对播放/暂停、向前跳转/向后跳转的控制以及还可能有音量控制、打开(媒体)文件等。
在一个实施例中，笔记本电脑100被设置成根据到受追踪的对象的距离D1、D2来调整输入判读比例。输入判读比例确定受追踪的动作应如何与标记区域170的运动相关联。这使得用户能够通过移动他的手离开显示器120来控制输入的精确性，从而使得受追踪的对象的更大的运动成为可能，导致较小的标记区域170的运动产生增大的精确性，因为较大的运动更加容易控制和区分。
通过设置笔记本电脑100来非线性地(连续地或步进式地)调整输入判读比例，进一步提高了精确性。
图5示出了根据本文教导的一般方法的流程图。在步骤510，计算装置检测并追踪对象，例如手，并且可能分配指示操作区域的标记区域的初始位置。在步骤515，计算装置改变标记区域的显示属性，并从而在步骤520向能够辨别标记区域的用户视觉指示操作区域(由于其不同于周围显示的内容，因为例如标记区域中的对比度和/或亮度不同)。
当计算装置检测到沿垂直于显示平面的方向(朝向或背离显示器)的运动时，在步骤540标记区域的显示属性和/或延伸部进一步被改变。这使得用户能够更容易地辨别标记区域，并从而更好的控制要在操作区域中进行的任何操纵。
本文的教导提供的一个益处在于，给用户提供了容易辨别并且不弄乱、隐藏、遮盖或遮住显示内容的视觉反馈。
另一个益处在于，用户能够改变反馈并可能以简单的方式控制区域。
上文主要结合几个实施例披露了本发明。不过，本领域的技术人员会理解，除上述所披露的实施例外的其它实施例同样可能在本发明的范围内，如所附权利要求所限定。

Claims (17)

1.一种计算装置(100、200)，包括显示器(120)和控制器(210)，其中所述控制器(210)被设置成：
通过由摄像头(160、260)提供的视频流(265)检测和追踪对象(H)；和
通过改变显示器(120)上标记区域(170)的显示属性在显示器(120)上指示当前可由受追踪的对象(H)操纵的操作区域，其中所述显示属性是标记区域(170)的颜色、对比度和/或亮度，和
其中所述标记区域(170)具有延伸部(d1、d2)，和
其中所述控制器(210)还被设置成检测受追踪的对象(H)沿着基本上垂直于显示器(120)的平面的方向运动并对此响应调整标记区域(170)，通过进一步增大标记区域(170)的显示属性和/或标记区域(170)的延伸部(d1、d2)，从而向用户提供当前操作区域的视觉反馈。
2.根据权利要求1所述的计算装置(100、200)，其中控制器(210)还被设置成通过仅改变标记区域(170)的显示属性来指示操作区域。
3.根据权利要求1所述的计算装置(100、200)，其中标记区域(170)的延伸部(d1、d2)基本上等于操作区域，由用户引起的任何操纵导致标记区域(170)内的任意和所有的对象(135)的操纵。
4.根据权利要求1所述的计算装置(100、200)，其中标记区域(170)的中心表示用户可能操纵的区域并且由用户引起的任何操纵导致位于标记区域(170)的中心或邻近标记区域(170)的中心的对象的操纵。
5.根据权利要求1-4中任一权利要求所述的计算装置(100、200)，其中控制器(210)还被设置成随着受追踪的对象(H)与显示器(120)之间的距离(D1、D2)增大渐增地调整标记区域(170)。
6.根据权利要求5所述的计算装置(100、200)，其中控制器(210)还被设置成检测受追踪的对象H附近的脸，并以与受追踪的对象(H)与显示器(120)之间的距离(D1、D2)相同的方式确定到脸的距离是否变化，如果是，随着受追踪的对象(H)与显示器(120)之间的距离(D1、D2)增大渐增地调整标记区域(170)。
7.根据权利要求1-6中任一权利要求所述的计算装置(100、200)，其中控制器(210)还被设置成对于距离(D1、D2)线性地调整标记区域(170)。
8.根据权利要求1-7中任一权利要求所述的计算装置(100、200)，其中控制器(210)还被设置成对于距离(D1、D2)步进式地调整标记区域(170)。
9.根据前述任一权利要求所述的计算装置(100、200)，其中控制器(210)还被设置成指示在初始位置和/或初始延伸部的标记区域(170)来响应检测到受追踪的对象(H)。
10.根据前述任一权利要求所述的计算装置(100、200)，其中控制器(210)还被设置成检测受追踪的对象(H)的速度(V)并确定检测到的速度(V)是否在速度阈值之上，如果是，确定受追踪的运动是关于要操纵的对象(135)的事件；和，如果检测到的速度(V)在速度阈值之下，确定标记区域(170)应被调整。
11.根据前述任一权利要求所述的计算装置(100、200)，其中，当从属于权利要求1-9时，所述控制器(210)还被设置成检测受追踪的对象(H)的速度(V)，并且对于所有权利要求从属关系，
确定检测到的速度(V)是否在速度阈值之上以及运动是否是背离显示器(120)，如果是，中止追踪受追踪的对象(H)并中止在显示器(120)上指示操作区域。
12.根据前述任一权利要求所述的计算装置(100、200)，其中控制器(210)还被设置成确定标记区域(170)是否至少部分与显示的对象(135)一致以及是否受追踪的对象(H)与显示器(120)之间的距离(D1、D2)在第二阈值之下，如果是，显示与显示的对象(135)相关的选项菜单。
13.根据前述任一权利要求所述的计算装置(100、200)，其中计算装置(100、200)是移动通信终端。
14.根据前述任一权利要求所述的计算装置(100、200)，其中计算装置(100、200)是电脑。
15.根据前述任一权利要求所述的计算装置(100、200)，其中计算装置(100、200)是媒介装置。
16.一种用于包括显示器(120)的计算装置(100、200)的方法，所述方法包括：
通过由摄像头(160、260)提供的视频流(265)检测和追踪对象(H)；
通过改变显示器(120)上的标记区域(170)的显示属性在显示器(120)上指示当前可由受追踪的对象(H)操纵的操作区域，其中显示属性是标记区域(170)的颜色、对比度和/或亮度，和
其中标记区域(170)具有延伸部(d1、d2)，和
其中所述方法还包括检测受追踪的对象(H)沿着基本上垂直于显示器(120)的平面的方向运动并对此响应调整标记区域(170)，通过进一步增大标记区域(170)的显示属性和/或标记区域(170)的延伸部(d1、d2)，从而向用户提供当前操作区域的视觉反馈。
17.一种编码有指令(41)的计算机可读存储介质(40)，当指令加载到计算装置(100、200)的控制器上并在计算装置(100、200)的控制器执行时，引起执行根据权利要求16所述的方法。
CN201480005377.4A 2013-01-22 2014-01-22 非触控式用户界面的改进的反馈 Pending CN104937522A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
SE1350065A SE536989C2 (sv) 2013-01-22 2013-01-22 Förbättrad återkoppling i ett beröringsfritt användargränssnitt
SE1350065-7 2013-01-22
PCT/SE2014/050071 WO2014116168A1 (en) 2013-01-22 2014-01-22 Improved feedback in touchless user interface

Publications (1)

Publication Number Publication Date
CN104937522A true CN104937522A (zh) 2015-09-23

Family

ID=51227856

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480005377.4A Pending CN104937522A (zh) 2013-01-22 2014-01-22 非触控式用户界面的改进的反馈

Country Status (5)

Country Link
US (1) US20150346947A1 (zh)
EP (1) EP2948831A4 (zh)
CN (1) CN104937522A (zh)
SE (1) SE536989C2 (zh)
WO (1) WO2014116168A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113138663A (zh) * 2021-03-29 2021-07-20 北京小米移动软件有限公司 设备调节方法、设备调节装置、电子设备及存储介质
DE102015012720B4 (de) 2015-10-01 2024-08-01 Audi Ag Interaktives Bediensystem und Verfahren zum Durchführen einer Bedienhandlung bei einem interaktiven Bediensystem

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015022498A1 (en) * 2013-08-15 2015-02-19 Elliptic Laboratories As Touchless user interfaces
US9501810B2 (en) * 2014-09-12 2016-11-22 General Electric Company Creating a virtual environment for touchless interaction
CA2957105A1 (en) * 2016-02-03 2017-08-03 Op-Hygiene Ip Gmbh Interactive display device

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101061507A (zh) * 2004-11-16 2007-10-24 皇家飞利浦电子股份有限公司 用于局部增强的非接触式图像操作
US20090058829A1 (en) * 2007-08-30 2009-03-05 Young Hwan Kim Apparatus and method for providing feedback for three-dimensional touchscreen
CN101405177A (zh) * 2006-03-22 2009-04-08 大众汽车有限公司 交互式操纵装置和用于运行所述交互式操纵装置的方法
US20100262933A1 (en) * 2009-04-14 2010-10-14 Samsung Electronics Co., Ltd. Method and apparatus of selecting an item
CN102012780A (zh) * 2009-09-04 2011-04-13 索尼公司 信息处理设备、控制显示的方法以及控制显示的程序
CN102203701A (zh) * 2008-10-27 2011-09-28 维里逊专利及许可公司 接近界面设备、系统和方法
US20110242037A1 (en) * 2009-01-26 2011-10-06 Zero1.tv GmbH Method for controlling a selected object displayed on a screen
CN102402386A (zh) * 2010-09-07 2012-04-04 索尼公司 信息处理设备、信息处理方法以及程序
US20120223882A1 (en) * 2010-12-08 2012-09-06 Primesense Ltd. Three Dimensional User Interface Cursor Control
US20120268373A1 (en) * 2011-04-21 2012-10-25 Samsung Electronics Co., Ltd. Method for recognizing user's gesture in electronic device
US20120313848A1 (en) * 2010-12-13 2012-12-13 Primesense Ltd. Three Dimensional User Interface Session Control
EP2541383A1 (en) * 2011-06-29 2013-01-02 Sony Ericsson Mobile Communications AB Communication device and method

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8726194B2 (en) * 2007-07-27 2014-05-13 Qualcomm Incorporated Item selection using enhanced control
US20090172606A1 (en) * 2007-12-31 2009-07-02 Motorola, Inc. Method and apparatus for two-handed computer user interface with gesture recognition
US8418237B2 (en) * 2009-10-20 2013-04-09 Microsoft Corporation Resource access based on multiple credentials
EP2395413B1 (en) * 2010-06-09 2018-10-03 The Boeing Company Gesture-based human machine interface
KR101896947B1 (ko) * 2011-02-23 2018-10-31 엘지이노텍 주식회사 제스쳐를 이용한 입력 장치 및 방법
GB2488785A (en) * 2011-03-07 2012-09-12 Sharp Kk A method of user interaction with a device in which a cursor position is calculated using information from tracking part of the user (face) and an object
JP2012248066A (ja) * 2011-05-30 2012-12-13 Canon Inc 画像処理装置、その制御方法、および制御プログラム、並びに撮像装置
JP6074170B2 (ja) * 2011-06-23 2017-02-01 インテル・コーポレーション 近距離動作のトラッキングのシステムおよび方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101061507A (zh) * 2004-11-16 2007-10-24 皇家飞利浦电子股份有限公司 用于局部增强的非接触式图像操作
CN101405177A (zh) * 2006-03-22 2009-04-08 大众汽车有限公司 交互式操纵装置和用于运行所述交互式操纵装置的方法
US20090058829A1 (en) * 2007-08-30 2009-03-05 Young Hwan Kim Apparatus and method for providing feedback for three-dimensional touchscreen
CN102203701A (zh) * 2008-10-27 2011-09-28 维里逊专利及许可公司 接近界面设备、系统和方法
US20110242037A1 (en) * 2009-01-26 2011-10-06 Zero1.tv GmbH Method for controlling a selected object displayed on a screen
US20100262933A1 (en) * 2009-04-14 2010-10-14 Samsung Electronics Co., Ltd. Method and apparatus of selecting an item
CN102012780A (zh) * 2009-09-04 2011-04-13 索尼公司 信息处理设备、控制显示的方法以及控制显示的程序
CN102402386A (zh) * 2010-09-07 2012-04-04 索尼公司 信息处理设备、信息处理方法以及程序
US20120223882A1 (en) * 2010-12-08 2012-09-06 Primesense Ltd. Three Dimensional User Interface Cursor Control
US20120313848A1 (en) * 2010-12-13 2012-12-13 Primesense Ltd. Three Dimensional User Interface Session Control
US20120268373A1 (en) * 2011-04-21 2012-10-25 Samsung Electronics Co., Ltd. Method for recognizing user's gesture in electronic device
EP2541383A1 (en) * 2011-06-29 2013-01-02 Sony Ericsson Mobile Communications AB Communication device and method

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015012720B4 (de) 2015-10-01 2024-08-01 Audi Ag Interaktives Bediensystem und Verfahren zum Durchführen einer Bedienhandlung bei einem interaktiven Bediensystem
CN113138663A (zh) * 2021-03-29 2021-07-20 北京小米移动软件有限公司 设备调节方法、设备调节装置、电子设备及存储介质
CN113138663B (zh) * 2021-03-29 2024-09-13 北京小米移动软件有限公司 设备调节方法、设备调节装置、电子设备及存储介质

Also Published As

Publication number Publication date
SE1350065A1 (sv) 2014-07-23
SE536989C2 (sv) 2014-11-25
EP2948831A4 (en) 2016-12-28
WO2014116168A1 (en) 2014-07-31
EP2948831A1 (en) 2015-12-02
US20150346947A1 (en) 2015-12-03

Similar Documents

Publication Publication Date Title
US9927885B2 (en) User terminal device and method for controlling the user terminal device thereof
US9201521B2 (en) Storing trace information
JP2021177397A (ja) 着用可能電子機器のための竜頭入力
US9448643B2 (en) Stylus sensitive device with stylus angle detection functionality
CN105027032A (zh) 来自受追踪对象的可伸缩输入
CN203241978U (zh) 信息处理装置
US10739953B2 (en) Apparatus and method for providing user interface
CN104937522A (zh) 非触控式用户界面的改进的反馈
CN108733296B (zh) 书写笔迹的擦除方法、装置和设备
US10019148B2 (en) Method and apparatus for controlling virtual screen
US12079915B2 (en) Synchronizing display of multiple animations
KR102140811B1 (ko) 디바이스의 사용자 인터페이스 제공 방법 및 그 디바이스
CN104346072A (zh) 显示控制装置及其控制方法
US20190243536A1 (en) Method for interacting with one or more software applications using a touch sensitive display
US8904313B2 (en) Gestural control for quantitative inputs
CN107037874B (zh) 重压和移动手势
US20170228149A1 (en) Information processing apparatus and information processing method
US8698772B2 (en) Visual object manipulation
CN104777988A (zh) 一种数据处理方法及电子设备
US20160124602A1 (en) Electronic device and mouse simulation method
US9535593B2 (en) Electronic devices and method for controlling user interface with function-enabled area and cursor
KR20120106668A (ko) 터치스크린을 구비한 사용자 단말 제어방법, 장치, 이를 위한 기록매체 및 이를 포함하는 사용자 단말

Legal Events

Date Code Title Description
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20150923