CN103154880B - 评估相对于显示器的输入 - Google Patents

评估相对于显示器的输入 Download PDF

Info

Publication number
CN103154880B
CN103154880B CN201080069745.3A CN201080069745A CN103154880B CN 103154880 B CN103154880 B CN 103154880B CN 201080069745 A CN201080069745 A CN 201080069745A CN 103154880 B CN103154880 B CN 103154880B
Authority
CN
China
Prior art keywords
display
input
information
depth transducer
optical pickocff
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201080069745.3A
Other languages
English (en)
Other versions
CN103154880A (zh
Inventor
C.N.范利德格拉夫
R.坎贝尔
B.N.苏格斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hewlett Packard Development Co LP
Original Assignee
Hewlett Packard Development Co LP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hewlett Packard Development Co LP filed Critical Hewlett Packard Development Co LP
Publication of CN103154880A publication Critical patent/CN103154880A/zh
Application granted granted Critical
Publication of CN103154880B publication Critical patent/CN103154880B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/026—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04106—Multi-sensing digitiser, i.e. digitiser using at least two different sensing technologies simultaneously or alternatively, e.g. for detecting pen and finger, for saving power or for improving position detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Position Input By Displaying (AREA)

Abstract

公开的实施例涉及评估相对于显示器的输入。处理器可以从光学传感器106和深度传感器108接收信息。深度传感器108可以感测输入距显示器的距离。所述处理器可以根据来自光学传感器106和深度传感器108的信息评估对显示器的输入。

Description

评估相对于显示器的输入
技术领域
本公开涉及一种用于评估相对于显示器的输入的方法、显示系统和设备。
背景技术
电子设备可以从外围设备接收用户输入，例如从键盘或鼠标。在某些情况下，电子设备可被设计为直接从和与电子设备相关联的显示器交互的用户接收用户输入，比如通过用户触摸显示器或在显示器前面做手势。例如，用户可以通过使用手指或铁笔触碰触摸屏显示器的方式来选择图标、放大图像或输入信息。
发明内容
根据本公开的第一方面，提供了一种用于评估相对于显示器的输入的方法，包括：通过处理器，从用于感测输入相对于显示器的x-y位置的光学传感器接收信息，并且从用于感测所述输入距所述显示器的距离的深度传感器接收信息；通过处理器，根据从光学传感器和深度传感器接收的信息确定相对于显示器的输入的特性；以及通过深度传感器，测量在两个时间点处输入距显示器的距离，并且比较所述距离以确定输入是朝向还是远离显示器移动。
根据本公开的第二方面，提供了一种用于评估相对于显示器的输入的显示系统，包括：显示器；光学传感器，用于感测关于相对于显示器的输入的信息；深度传感器，用于感测输入相对于显示器的位置；以及处理器，用于根据从光学传感器接收的信息和从深度传感器接收的信息来确定相对于显示器的输入的特性，其中，深度传感器进一步测量在两个时间点处输入距显示器的距离并且比较所述距离以确定输入是朝向还是远离显示器移动。
根据本公开的第三方面，一种用于评估相对于显示器的输入的设备，包括：用于通过处理器，从用于感测输入相对于显示器的x-y位置的光学传感器接收信息，并且从用于感测所述输入距所述显示器的距离的深度传感器接收信息的装置；用于通过处理器，根据从光学传感器和深度传感器接收的信息确定相对于显示器的输入的特性的装置；以及用于通过深度传感器，测量在两个时间点处输入距显示器的距离，并且比较所述距离以确定输入是朝向还是远离显示器移动的装置。
附图说明
在附图中，相同附图标记表示相同的部件或块。附图描述了示例性实施例。以下的详细描述参考附图，其中：
图1是图示显示系统的一个示例的框图。
图2是图示显示系统的一个示例的框图。
图3是图示用于评估相对于显示器的输入的方法的一个示例的流程图。
图4是图示根据来自光学传感器和深度传感器的信息所评估的输入的属性的一个示例的框图。
图5是图示显示系统的一个示例的框图。
图6是图示显示系统的一个示例的框图。
图7是图示用于评估相对于显示器的输入的方法的一个示例的流程图。
图8是图示根据来自光学传感器和深度传感器的信息所确定的输入的特性的一个示例的框图。
具体实施方式
电子设备可以根据用户与显示器的交互来接收用户输入。与显示器相关联的传感器可用于感测关于用户与显示器的交互的信息。例如，传感器可以感测与触摸输入的位置相关的信息。输入的特性可用于确定输入的含义，比如是否选择了在显示器上示出的特定项目。用户与显示器的交互可以具有多个维度，但是一些输入感测技术在其测量用户输入的某些方面的能力可能有限。例如，与测量输入与显示器的距离相比，特定类型的传感器更适合于测量输入在显示器上的x-y位置。
在一个实施例中，处理器根据多种类型的输入感测技术来评估相对于显示器的输入。例如，显示器可以包括与其相关联的深度传感器和光学传感器，用于测量用户与显示器的交互。深度传感器和光学传感器可采用不同的感测技术，例如，深度传感器为红外深度图且光学传感器为摄像机，或者深度传感器和光学传感器是不同类型的摄像机。来自光学传感器和深度传感器的信息可用于确定相对于显示器的输入的特性。例如，可以根据从光学传感器以及深度传感器接收到的信息来分析关于输入的位置、姿势、方位、运动或手势特性的信息。
与使用单一类型的传感器相比，使用采用不同类型的感测技术的光学传感器和深度传感器来测量相对于显示器的输入可以允许测量输入的更多特征。此外，采用光学传感器和深度传感器可以允许一种类型的传感器来弥补另一种类型的传感器的缺陷。此外，深度传感器与光学传感器可以结合以提供更便宜的输入感测系统，比如包含较少的采用高成本技术的传感器用于一个功能并且将其与较低成本的感测技术相结合用于另一功能。
图1是图示显示系统100的一个实施例的框图。显示系统100可以包括例如处理器104、光学传感器106、深度传感器108以及显示器110。
显示器110可以是任何合适的显示器。例如，显示器110可以为液晶显示器（LCD）。显示器110可以为屏幕、墙或图像投影于其上的其他物体。显示器110可以是二维或三维显示器。在一个实施例中，用户可以与显示器110交互，例如通过触摸该显示器或者在其前面做手部运动。
光学传感器106可以是用于接收与显示器110相关的输入的任何合适的光学传感器。例如，光学传感器106可以包括位于显示器110上的光发射器和光接收器，以使得光学传感器106发射光越过显示器110，并且测量光是被接收还是被中断，比如通过触摸显示器110使得光中断。光学传感器106可以是受抑全内反射传感器，其发送红外光越过显示器110。在一种实施方式中，光学传感器106可以是摄像机，比如用于感测输入的图像的摄像机。在一种实施方式中，显示系统100包括多个光学传感器。多个光学传感器可采用相同或者不同类型的技术。例如，光学传感器可以是多个摄像机或者是摄像机及光传感器。
深度传感器108可以是用于测量输入相对于显示器110的距离的任何合适的传感器。例如，深度传感器108可以是红外深度图、声传感器、飞行时间传感器或摄像机。深度传感器108和光学传感器106可以都是摄像机。例如，光学传感器106可以是一种类型的摄像机，而深度传感器108可以是另一种类型的摄像机。在一种实施方式中，深度传感器108测量输入相对于显示器110的距离，比如物体在显示器110前面多远处。显示系统100可以包括多个深度传感器，比如多个使用相同感测技术的深度传感器或者多个使用不同类型的感测技术的深度传感器。例如，一种类型的深度传感器可用于相对于显示器110的一个位置，而不同类型的深度传感器用于相对于显示器110的另一位置。
在一种实施方式中，除深度传感器和光学传感器之外，显示系统100还包括其他类型的传感器。例如，显示系统100可以包括物理接触传感器，比如覆盖显示器110的电容式或电阻式传感器。附加类型的传感器可以提供信息以与来自深度传感器108和光学传感器106的信息结合使用以确定输入的特性，或者可以提供将被用于确定输入的附加特性的信息。
光学传感器106和深度传感器108可以测量任何合适的输入的特性。可以通过例如手、铁笔或诸如视频游戏控制器之类的其他物体来产生输入。在一种实施方式中，光学传感器106可以确定产生输入的物体的类型，比如输入是通过手还是其他物体来实现的。例如，输入可以是手指触摸显示器110或者手在显示器110前运动。在一个实施例中，处理器104分析多个输入，比如一只手的多个手指可以触摸显示器110。例如，与单个手指触摸显示器110相比，两个手指触摸显示器110可以解释为具有不同的含义。
处理器104可以是任何合适的处理器，比如中央处理器（CPU）、基于半导体的微处理器或者任何其他适用于检索及执行指令的设备。在一个实施例中，显示系统100除处理器104之外还包括逻辑，或者包括逻辑来替代处理器104。作为替代或除了提取、解码以及执行指令之外，处理器104可以包括一个或更多集成电路（IC）或其他电子电路，该其他电子电路包括多个用于执行下述功能的电子部件。在一种实施方式中，显示系统100包括多个处理器。例如，一个处理器可执行一些功能，并且另一个处理器可执行其他功能。
处理器104可以处理从光学传感器106和深度传感器108接收的信息。例如，处理器104可以评估相对于显示器110的输入，比如根据来自光学传感器106和深度传感器108的信息来确定输入的位置或运动。在一种实施方式中，处理器104从相同的传感器接收来自光学传感器106和深度传感器108的信息。例如，光学传感器106可以从深度传感器108接收信息，并且光学传感器106可以将光学传感器106和深度传感器108所感测的信息传送给处理器104。在某些情况下，光学传感器106或深度传感器108可以在将收集到的信息传送给处理器104之前对其进行一些处理。
在一种实施方式中，处理器104执行存储于机器可读存储介质中的指令。该机器可读存储介质可以是任何电子、磁性、光学或其他物理存储设备，该物理存储设备存储可执行指令或其他数据（例如硬盘驱动、随机存取存储器、闪存等）。机器可读存储介质可以是例如计算机可读非临时介质。机器可读存储介质可以包括可被处理器104执行的指令，例如，用于根据从光学传感器106和深度传感器108接收的信息确定相对于显示器110的输入的特性的指令。
显示系统100可置于任何合适的配置。例如光学传感器106和深度传感器108可附着于显示器110或者可与显示器110分离放置。光学传感器106和深度传感器108可以以相对于彼此的任何合适定位被放置于任何合适的位置，比如覆盖于显示器110上，包含于另一电子设备中，或者在显示器110的前面。光学传感器106和深度传感器108可以位于分离的位置，比如，光学传感器106覆盖于显示器110上并且深度传感器108置于一个分离的电子设备上。在一个实施例中，处理器104不直接与光学传感器106或深度传感器108相连接，并且处理器104经由网络从光学传感器106或深度传感器108接收信息。在一个实施例中，处理器104被包含于与显示器110分离的外壳中。例如，处理器104可以被包括在用于将图像投影于显示器110上的电子设备中。
图2是图示显示系统200的一个示例的框图。显示系统200可以包括处理器104和显示器110。显示系统200示出了使用一种类型传感器作为光学传感器并且使用另一种类型传感器作为深度传感器的一个示例。显示系统200包括一种类型摄像机用作光学传感器206并且另一种类型摄像机用作深度传感器208。例如，光学传感器206可以是用于感测颜色的摄像机，比如网络摄像机，并且深度传感器208可以是用于感测深度的摄像机，比如飞行时间摄像机。
图3是用于评估相对于显示器的输入的方法300的一个示例的流程图。例如，处理器可以从光学传感器和深度传感器接收关于相对于显示器的输入的信息。该处理器可以是任何合适的处理器，比如中央处理器（CPU）、基于半导体的微处理器或者任何其他适用于检索和执行指令的设备。处理器可以使用来自光学传感器和深度传感器的信息来确定相对于显示器的输入的特性。例如，处理器可以确定输入是以哪种姿势，并且确定特定姿势的含义，比如指点（pointing）姿势表示选择了在显示器上示出的特定对象。在一种实施方式中，方法300可以在图1所示的系统100上执行。
从块302开始，并且移至块304，处理器例如通过执行存储于机器可读存储介质中的指令来从用于感测关于相对于显示器的输入的信息的光学传感器接收信息，并且从用于感测输入相对于显示器的位置的深度传感器接收信息。显示器可以是例如诸如液晶显示器（LCD）之类的电子显示器、或墙、或使图像投影于其上的其他物体。
光学传感器可以是任何合适的光学传感器，比如光发射器和接收器或摄像机。光学传感器可以收集任何合适的信息。例如，光学传感器可以捕获输入的图像，该图像可用于确定进行输入的物体或输入的姿势。光学传感器可以是捕获关于输入的位置的信息的光传感器。
来自光学传感器的信息可以以任何合适的方式被接收。例如，处理器可以检索信息，比如从存储介质。处理器可以从光学传感器接收信息，比如直接地或者经由网络接收。处理器可以从光学传感器请求信息，或者可以在不请求信息的情况下从该传感器接收信息。处理器可以在信息被收集时从光学传感器接收信息，或者以特定间隔接收信息。
深度传感器可以是任何合适的深度传感器，比如红外深度图或摄像机。深度传感器可以测量输入相对于显示器的位置。深度传感器可以收集任何与输入距显示器的距离相关的合适的信息。例如，深度传感器可以收集关于输入在显示器前面多远处的信息。在一种实施方式中，深度传感器除距离信息之外还收集诸如关于输入是在显示器右边还是左边的信息之类的信息。深度传感器可以收集在不同时间点关于输入距显示器的距离的信息以确定输入是朝向还是远离显示器。
来自深度传感器的信息可以以任何合适的方式被接收。例如，深度传感器可以直接或者经由网络向处理器发送信息。深度传感器可以将信息存储于数据库中，其中存储的信息被处理器检索。
继续到块306，处理器例如通过执行存储于机器可读介质中的指令来根据来自光学传感器的信息和来自深度传感器的信息评估相对于显示器的输入的属性。处理器可以以任何合适的方式评估输入的属性。例如，处理器可以将从深度传感器接收的信息与从光学传感器接收的信息相结合。在一些实施方式中，处理器可以根据来自每个传感器的信息计算输入的不同特征。例如，输入的姿势可以根据来自光学传感器的信息来确定，并且输入的位置可以根据来自深度传感器的信息来确定。在一些实施方式中，处理器可以根据两种类型的信息计算相同的特征。例如，处理器可以利用来自光学传感器和深度传感器这二者的信息来确定输入的位置。
处理器可以确定相对于显示器的输入的任何合适的特性，例如以下图4中讨论的属性。例如，处理器可以评估用于输入的物体的类型、输入的位置或者输入是做运动还是姿势。其他属性也可以使用从光学传感器和深度传感器接收的信息进行评估。方法300继续到块308，并且结束。
图4是图示根据来自光学传感器和深度传感器的信息所评估的输入的属性的一个示例400的框图。例如，相对于显示器的输入的属性可以根据来自光学传感器的光学传感器信息404和来自深度传感器的深度传感器信息406来评估。块402列出了可以被评估的示例属性，包括位置、姿势、手势特性、方位、运动或输入的距离。处理器可以根据来自光学传感器信息404和深度传感器信息406之一或二者的信息来确定属性。
输入位置可以根据光学传感器信息404和深度传感器信息406评估。例如，处理器可以确定输入是在显示器中心或者离显示器几英尺远。在一种实施方式中，光学传感器信息404用于确定输入的x-y位置，并且深度传感器信息406用于确定输入距显示器的距离。
处理器可以根据光学传感器信息404和深度传感器信息406评估输入距显示器的距离。在一种实施方式中，处理器除了其他属性之外还确定输入距显示器的距离。例如，输入的一个特性可以根据光学传感器信息404确定，并且输入距显示器的距离可以根据深度传感器信息406确定。在一种实施方式中，输入距显示器的距离根据光学传感器信息404和深度传感器信息406二者确定。
输入的姿势可以根据光学传感器信息404和深度传感器信息406评估。例如，处理器104可以确定手的输入是指点姿势、拳头姿势或张开的手的姿势。处理器可以例如使用光学传感器信息404来确定输入的姿势，其中光学传感器是捕获输入的图像的摄像机。
在一种实施方式中，处理器确定输入的方位，比如输入的方向或角度。例如，光学传感器可以捕获输入的图像，并且处理器可以根据输入的不同部分距显示器的距离来确定输入的方位。在一种实施方式中，深度传感器信息406被与光学传感器信息404一起用于确定输入的方位，比如根据输入的图像。例如，通过手指以90度角指向显示器所产生的输入可以表示显示器上示出的特定对象被选择，并且通过手指以45度角指向显示器所产生的输入可以表示。
在一种实施方式中，处理器根据光学传感器信息404和深度传感器信息406确定输入是否在运动中。例如，光学传感器可以捕获在一个时间点所获取的输入的一个图像，并且捕获在另一个时间点所获取的另一个输入图像。深度传感器信息406可以用于比较输入的距离以确定输入相对于显示器是运动的还是静止的。例如，深度传感器可以测量两个时间点输入距显示器的距离并且比较所述距离以确定输入是朝向还是远离显示器移动。
在一种实施方式中，处理器确定输入的手势特性，比如运动和姿势的组合。光学传感器信息404和深度传感器信息406可用于确定输入的运动、姿势或距离。例如，处理器可以使用光学传感器信息404和深度传感器信息406来确定指点的手是在显示器前10英尺处从右向左移动。
在一种实施方式中，处理器根据来自光学传感器或深度传感器的信息确定相对于显示器的输入的三维特性。处理器可以以任何合适的方式确定输入的三维特性。例如，处理器可以从光学传感器或深度传感器接收三维图像，或者可以通过将从光学传感器和深度传感器接收的信息相结合来产生三维图像。在一种实施方式中，传感器中的一个捕获输入的三维特性，并且另一个传感器捕获输入的其他特性。例如，深度传感器可以产生输入的三维图像图，并且光学传感器可以捕获与输入相关的色彩信息。
图5是图示显示系统500的一个示例的框图。显示系统500包括处理器104、显示器110、深度传感器508以及光学传感器506。深度传感器508可以包括第一摄像机502和第二摄像机504。光学传感器506可以包括在深度传感器508中包含的摄像机之一，比如摄像机502。第一摄像机502和第二摄像机504均可以捕获输入的图像。
摄像机502可用作光学传感器来感测例如色彩信息。深度传感器508的两个摄像机可用于感测输入的三维属性。例如，深度传感器508可以捕获输入的两个图像，所述两个图像可以被覆盖来创建输入的三维图像。通过深度传感器508捕获的三维图像可用于例如在视频会议场景中发送到另一个电子设备。
在一种实施方式中，处理器根据来自诸如物理接触传感器之类的附加传感器的信息来评估输入。图6是图示显示系统600的一个示例的框图。显示系统600包括处理器104、显示器110、深度传感器108以及光学传感器106。显示系统600进一步包括接触传感器602。接触传感器602可以是任何合适的接触传感器，比如用于测量与显示器110的接触的电阻式或电容式传感器。例如，电阻式传感器可以通过在显示器之上放置由小间隙分开的两个金属导电层而产生。当物体按压所述层并使它们相连时，电流的改变可以被记录为触摸输入。电容式传感器可以用覆盖显示器的有源元件或者无源导体来产生。人体导电，并且触摸可以造成电容的改变。
处理器104除了来自光学传感器106和深度传感器108的信息之外还可以使用来自接触传感器602的信息。例如，接触传感器602可用于确定在显示器110上的触摸输入的位置，光学传感器106可用于确定离显示器110较远的输入的特性，并且深度传感器108可用于确定输入是触摸输入还是离显示器110较远的输入。
处理器可以根据输入的已确定的特性来确定输入的含义。处理器可以以任何合适的方式解释输入。处理器可以根据输入的已确定的特性来确定输入的含义。例如，相对于显示器的输入的位置可以表示特定对象是否被选择。作为另一个示例，相对于显示器的移动可以表示在显示器上示出的对象应该被移动。输入的含义可以根据输入的不同特性而改变。例如，在离显示器一个距离做的手部运动与在离显示器第二距离做的手部运动相比可以具有不同的含义。手指向显示器的一个部分可以表示特定对象被选择，并且手指向显示器的另一个部分可以表示另一对象被选择。
在一种实施方式中，光学传感器可以被定制为在没有单独的接触传感器的情况下感测显示器附近的输入，比如图6中所示的接触传感器602。例如，光学传感器，诸如图1中所示的光学传感器106，可以收集关于输入相对于显示器的x-y位置的信息，比如显示器附近的输入，并且深度传感器，诸如图1中所示的深度传感器108，可以收集关于输入距显示器的距离的信息。光学传感器可以是二维的光学传感器，该传感器包括发射光越过显示器的光源。如果光被中断，则输入可以被检测。在一些情况下，被定制为用于二维测量的传感器可能不能测量输入的其他方面，比如输入距显示器的距离或输入的角度。例如，具有覆盖于显示器上的发射器和接收器的光学传感器可以感测在显示器的阈值距离内的输入的x-y位置，但是在某些情况下这种类型的光学传感器可能不能测量输入距显示器的距离，比如输入是否与显示器接触。深度传感器可以通过测量输入距显示器的距离来补偿。处理器可以根据从光学传感器和深度传感器接收的信息来确定输入的特性，比如是否将输入分类为触摸输入。
图7是图示用于评估相对于显示器的输入的方法700的一个示例的流程图。例如，方法700可用于确定输入的特性，其中光学传感器测量输入相对于显示器的x-y位置。例如，光学传感器可以测量输入相对于显示器的x-y位置，并且深度传感器可以测量输入距显示器的距离。关于输入距显示器的距离的信息可用于确定如何对输入分类，比如是否将输入分类为触摸输入。例如，在显示器的特定阈值距离内的输入可以被分类为触摸输入。在一种实施方式中，方法700使用图1中所示的系统100来执行。
从块702开始，并且移至块704，处理器例如通过执行存储于机器可读存储介质中的指令来从用于感测输入相对于显示器的x-y位置的光学传感器接收信息，并且从用于感测输入距显示器的距离的深度传感器接收信息。光学传感器可以以任何合适的方式捕获关于输入相对于显示器的x-y位置的信息。例如光学传感器可以是确定输入的位置的摄像机，或者是确定越过显示器的光是否被中断的光发射器和接收器。在一种实施方式中，光学传感器除了输入相对于显示器的x-y位置之外还感测附加信息。
来自光学传感器的可以以任何合适的方式被接收。例如，处理器可以从诸如存储器之类的存储介质检索信息，或者直接从光学传感器接收信息。在一些实施方式中，处理器经由网络接收信息。
深度传感器可以以任何合适的方式捕获与输入距显示器距离相关的信息。例如，深度传感器可以是用于感测距离的摄像机或者是红外深度图。在一种实施方式中，深度传感器捕获除关于输入距显示器的距离的信息以外的信息。
来自深度传感器的信息可以以任何合适的方式被接收。例如，处理器可以例如从存储介质检索信息，或者从深度传感器接收信息。在一种实施方式中，处理器可以经由网络与深度传感器通信。
继续到块706，处理器根据从光学传感器和深度传感器接收的信息来确定相对于显示器的输入的特性。处理器可以以任何合适的方式确定输入的特性。例如，处理器可以利用来自传感器中的一个的信息来确定输入的特定特性，并且利用来自另一个传感器的信息确定另一个特性。在一种实施方式中，处理器分析来自每个传感器的信息以确定输入的特性。
处理器可以确定相对于显示器的输入的任何合适的特性。一些可以被确定的特性的示例如图8所示，比如根据输入距显示器的距离确定如何对输入分类，确定是否将输入分类为触摸输入，以及确定输入的角度。其他的特性也将被预期。方法700可以继续到块708以结束。
图8是图示根据来自光学传感器和深度传感器的信息所确定的输入的特性的一个示例800。例如，处理器可以根据来自感测输入沿显示器的x-y位置的光学传感器的光学传感器信息404，以及根据来自感测输入相对于显示器的距离的深度传感器的深度传感器信息406来确定输入的特性。如块802所示，光学传感器信息804和深度传感器信息806可用于根据距显示器的距离来对输入分类，确定是否将输入分类为触摸输入，并且确定输入相对于显示器的角度。
处理器可以根据输入距显示器的距离来对输入分类。处理器可以利用深度传感器信息806确定输入距显示器的距离。处理器可以利用光学传感器信息804确定输入相对于显示器的x-y位置，比如输入是否直接在显示器前面。例如，如果输入距显示器的距离小于第一距离并且大于第二距离，则处理器可以确定将输入分类为盘旋（hover）。在显示器上方盘旋可以解释为特定的含义，比如显示一个选择菜单。在一种实施方式中，如果输入距显示器的距离大于特定距离，则处理器可以确定将输入分类为不相干。例如，感测到的距显示器特定距离的用户交互可以解释为不是对显示器的输入。
在一种实施方式中，根据输入距显示器的距离对输入分类包括确定是否将输入分类为触摸输入。例如，光学传感器信息804可以包括关于输入相对于显示器的x-y位置的信息，并且深度传感器信息806可以包括关于输入距显示器的距离的信息。如果输入在显示器阈值距离内，则处理器可以确定将输入分类为触摸输入。在一种实施方式中，分类为对显示器的触摸输入与分类为对显示器的盘旋输入相比具有不同的含义。例如，触摸输入可以表示项目正被打开，并且盘旋输入表示项目正被移动。
在一种实施方式中，处理器根据光学传感器信息804和深度传感器信息806确定输入相对于显示器的角度。例如，处理器可以利用深度传感器信息806、利用关于输入的两个部分距显示器的距离的信息来确定输入的角度。在一种实施方式中，处理器可以利用光学传感器信息804确定在显示器110附近的输入的x-y位置，并且可以使用深度传感器信息806确定输入的另一端的距离。输入的角度可以与特定的含义相关联。例如，手平行于显示器可以表示在显示器上示出的对象将被删除，并且手以45度角朝向显示器定位可以表示在显示器上示出的对象被选择。
在确定输入的特性之后，处理器可以根据这些特性确定输入的含义。例如，处理器可以确定输入表示在显示器上示出的项目正被选择、移动或打开。输入的含义可以被解释，比如根据输入如何被分类。
来自光学传感器和深度传感器的信息可用于更好地确定相对于显示器的输入的特性。例如，如果光学传感器和深度传感器这二者都被使用，则更多与输入相关的属性可以被测量。在一些情况下，如果输入的不同特性通过更适合于特定特性的感测技术来测量，则输入可以被更精确地测量。

Claims (17)

1.一种用于评估相对于显示器的输入的方法，包括：
通过处理器，从用于感测输入相对于显示器的x-y位置的光学传感器接收信息，并且从用于感测所述输入距所述显示器的距离的深度传感器接收信息；
通过处理器，根据从光学传感器和深度传感器接收的信息确定相对于显示器的输入的特性；以及
通过深度传感器，测量在两个时间点处输入距显示器的距离，并且比较所述距离以确定输入是朝向还是远离显示器移动。
2.如权利要求1所述的方法，其中，确定相对于显示器的输入的特性包括根据输入距显示器的距离来对输入分类。
3.如权利要求2所述的方法，其中，根据输入距显示器的距离对输入分类包括如果输入是在显示器的阈值距离之内，则将所述输入分类为触摸输入。
4.如权利要求1所述的方法，其中，确定相对于显示器的输入的特性包括确定所述输入相对于显示器的角度。
5.一种用于评估相对于显示器的输入的显示系统，包括：
显示器；
光学传感器106，用于感测关于相对于显示器的输入的信息；
深度传感器108，用于感测输入相对于显示器的位置；以及
处理器，用于根据从光学传感器106接收的信息和从深度传感器108接收的信息来确定相对于显示器的输入的特性，
其中，深度传感器进一步测量在两个时间点处输入距显示器的距离并且比较所述距离以确定输入是朝向还是远离显示器移动。
6.如权利要求5所述的显示系统，其中，确定相对于显示器的输入的特性包括确定位置、姿势、运动或方位中的至少一个。
7.如权利要求5所述的显示系统，其中，确定相对于显示器的输入的特性包括确定位置、手势特性或方位中的至少一个。
8.如权利要求5所述的显示系统，其中，光学传感器106包括第一摄像机，并且深度传感器108包括比第一摄像机分辨率低的第二摄像机。
9.如权利要求5所述的显示系统，其中，光学传感器106包括两个摄像机以感测输入的三维特性。
10.如权利要求5所述的显示系统，其中，确定相对于显示器的输入的特性包括根据输入距显示器的距离来对输入分类。
11.如权利要求5所述的显示系统，进一步包括用于感测与显示器的接触的接触传感器，其中，处理器根据从所述接触传感器接收的信息确定相对于显示器的触摸输入的特性。
12.一种用于评估相对于显示器的输入的设备，包括：
用于通过处理器，从用于感测输入相对于显示器的x-y位置的光学传感器接收信息，并且从用于感测所述输入距所述显示器的距离的深度传感器接收信息的装置；
用于通过处理器，根据从光学传感器和深度传感器接收的信息确定相对于显示器的输入的特性的装置；以及
用于通过深度传感器，测量在两个时间点处输入距显示器的距离，并且比较所述距离以确定输入是朝向还是远离显示器移动的装置。
13.如权利要求12所述的设备，其中，用于确定相对于显示器的输入的特性的装置包括用于评估位置、姿势、运动或方位中的至少一个的装置。
14.如权利要求12所述的设备，其中，用于确定相对于显示器的输入的特性的装置包括用于评估位置、手势特性或方位中的至少一个的装置。
15.如权利要求12所述的设备，进一步包括用于根据输入距显示器的距离来解释输入的含义的装置。
16.如权利要求12所述的设备，进一步包括用于从用于感测与显示器的接触的接触传感器接收信息的装置，其中，用于确定相对于显示器的输入的特性的装置包括用于根据来自接触传感器的信息来评估输入的特性的装置。
17.如权利要求12所述的设备，其中，用于确定输入的特性的装置包括用于评估输入的三维特性的装置。
CN201080069745.3A 2010-10-22 2010-10-22 评估相对于显示器的输入 Expired - Fee Related CN103154880B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2010/053820 WO2012054060A1 (en) 2010-10-22 2010-10-22 Evaluating an input relative to a display

Publications (2)

Publication Number Publication Date
CN103154880A CN103154880A (zh) 2013-06-12
CN103154880B true CN103154880B (zh) 2016-10-19

Family

ID=45975533

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080069745.3A Expired - Fee Related CN103154880B (zh) 2010-10-22 2010-10-22 评估相对于显示器的输入

Country Status (5)

Country Link
US (1) US20130215027A1 (zh)
CN (1) CN103154880B (zh)
DE (1) DE112010005893T5 (zh)
GB (1) GB2498299B (zh)
WO (1) WO2012054060A1 (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8639020B1 (en) 2010-06-16 2014-01-28 Intel Corporation Method and system for modeling subjects from a depth map
TWI447066B (zh) * 2011-06-08 2014-08-01 Sitronix Technology Corp Distance sensing circuit and touch electronic device
JP6074170B2 (ja) 2011-06-23 2017-02-01 インテル・コーポレーション 近距離動作のトラッキングのシステムおよび方法
US11048333B2 (en) 2011-06-23 2021-06-29 Intel Corporation System and method for close-range movement tracking
JP5087723B1 (ja) * 2012-01-30 2012-12-05 パナソニック株式会社 情報端末装置、その制御方法、およびプログラム
WO2013138507A1 (en) * 2012-03-15 2013-09-19 Herdy Ronaldo L L Apparatus, system, and method for providing social content
JP2013198059A (ja) * 2012-03-22 2013-09-30 Sharp Corp 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法およびプログラム
US9477303B2 (en) 2012-04-09 2016-10-25 Intel Corporation System and method for combining three-dimensional tracking with a three-dimensional display for a user interface
TW201409298A (zh) * 2012-08-21 2014-03-01 Wintek Corp 顯示器模組
US20140258942A1 (en) * 2013-03-05 2014-09-11 Intel Corporation Interaction of multiple perceptual sensing inputs
KR20140114913A (ko) * 2013-03-14 2014-09-30 삼성전자주식회사 사용자 기기의 센서 운용 방법 및 장치
CN105229582B (zh) * 2013-03-14 2020-04-28 视力移动科技公司 基于近距离传感器和图像传感器的手势检测
WO2014178836A1 (en) * 2013-04-30 2014-11-06 Hewlett-Packard Development Company, L.P. Depth sensors
CN104182033A (zh) * 2013-05-23 2014-12-03 联想(北京)有限公司 一种信息输入方法、装置及一种电子设备
US9477314B2 (en) 2013-07-16 2016-10-25 Google Technology Holdings LLC Method and apparatus for selecting between multiple gesture recognition systems
KR20150068001A (ko) * 2013-12-11 2015-06-19 삼성전자주식회사 센서를 이용한 동작 인식 방법 및 장치
JP6303918B2 (ja) * 2014-08-22 2018-04-04 株式会社国際電気通信基礎技術研究所 ジェスチャ管理システム、ジェスチャ管理プログラム、ジェスチャ管理方法および指さし認識装置
JP6617417B2 (ja) * 2015-03-05 2019-12-11 セイコーエプソン株式会社 表示装置及び表示装置の制御方法
CN104991684A (zh) 2015-07-23 2015-10-21 京东方科技集团股份有限公司 触控设备及其工作方法
US9872011B2 (en) * 2015-11-24 2018-01-16 Nokia Technologies Oy High-speed depth sensing with a hybrid camera setup
KR102552923B1 (ko) * 2018-12-03 2023-07-10 삼성전자 주식회사 복수의 카메라들 또는 깊이 센서 중 적어도 하나를 이용하여 깊이 정보를 획득하는 전자 장치
CN111580656B (zh) * 2020-05-08 2023-07-18 安徽华米信息科技有限公司 可穿戴设备及其控制方法、装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7227526B2 (en) * 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US20070216642A1 (en) * 2004-10-15 2007-09-20 Koninklijke Philips Electronics, N.V. System For 3D Rendering Applications Using Hands
US8086971B2 (en) * 2006-06-28 2011-12-27 Nokia Corporation Apparatus, methods and computer program products providing finger-based and hand-based gesture commands for portable electronic device applications
US8234578B2 (en) * 2006-07-25 2012-07-31 Northrop Grumman Systems Corporatiom Networked gesture collaboration system
US7801332B2 (en) * 2007-01-12 2010-09-21 International Business Machines Corporation Controlling a system based on user behavioral signals detected from a 3D captured image stream
US20090219253A1 (en) * 2008-02-29 2009-09-03 Microsoft Corporation Interactive Surface Computer with Switchable Diffuser
KR101554183B1 (ko) * 2008-10-15 2015-09-18 엘지전자 주식회사 이동 단말기 및 그의 출력 제어 방법
US20100149096A1 (en) * 2008-12-17 2010-06-17 Migos Charles J Network management using interaction with display surface
US8261212B2 (en) * 2009-10-20 2012-09-04 Microsoft Corporation Displaying GUI elements on natural user interfaces
US20110267264A1 (en) * 2010-04-29 2011-11-03 Mccarthy John Display system with multiple optical sensors

Also Published As

Publication number Publication date
GB2498299A (en) 2013-07-10
DE112010005893T5 (de) 2013-07-25
CN103154880A (zh) 2013-06-12
GB2498299B (en) 2019-08-14
US20130215027A1 (en) 2013-08-22
WO2012054060A1 (en) 2012-04-26
GB201306598D0 (en) 2013-05-29

Similar Documents

Publication Publication Date Title
CN103154880B (zh) 评估相对于显示器的输入
US10511778B2 (en) Method and apparatus for push interaction
JP5658500B2 (ja) 情報処理装置及びその制御方法
CN104969148B (zh) 基于深度的用户界面手势控制
TWI546724B (zh) 用以在通訊設備間傳送資訊項目之裝置及方法
JP6072237B2 (ja) ジェスチャー入力のための指先の場所特定
CN105745606B (zh) 基于图像识别触摸敏感表面的目标触摸区域
US20110260965A1 (en) Apparatus and method of user interface for manipulating multimedia contents in vehicle
US20110250929A1 (en) Cursor control device and apparatus having same
CN102955568A (zh) 输入装置
EP2558924B1 (en) Apparatus, method and computer program for user input using a camera
CN103403661A (zh) 手势基输入的缩放
KR101416235B1 (ko) 3차원 위치 입력 방법 및 장치
CN107077195A (zh) 显示对象指示符
WO2015164518A1 (en) Depth-based mode switching for touchless gestural interfaces
KR101019255B1 (ko) 깊이 센서 방식의 공간 터치 무선단말기, 이의 데이터 처리방법 및 스크린장치
US20150293689A1 (en) Touch-control system
US20150049016A1 (en) Multimodal system and method facilitating gesture creation through scalar and vector data
CN107850969A (zh) 用于在触摸板上检测手势的装置和方法
WO2015064991A2 (ko) 비접촉 동작 제어가 가능한 스마트 디바이스 및 이를 이용한 비접촉 동작 제어 방법
CN103729104B (zh) 设有电阻膜式触摸面板的电子设备
TW201106225A (en) Multi view display
CN105653101B (zh) 触控点感测方法及光学触控系统
WO2017004998A1 (en) System for directing action of self-propelled physical object and method thereof
US9690384B1 (en) Fingertip location determinations for gesture input

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20161019

Termination date: 20201022

CF01 Termination of patent right due to non-payment of annual fee