CN101849241A - 交互式输入系统、其控制器以及控制装置的方法 - Google Patents

交互式输入系统、其控制器以及控制装置的方法 Download PDF

Info

Publication number
CN101849241A
CN101849241A CN200880107025A CN200880107025A CN101849241A CN 101849241 A CN101849241 A CN 101849241A CN 200880107025 A CN200880107025 A CN 200880107025A CN 200880107025 A CN200880107025 A CN 200880107025A CN 101849241 A CN101849241 A CN 101849241A
Authority
CN
China
Prior art keywords
touch
user
gesture
input system
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN200880107025A
Other languages
English (en)
Inventor
沃恩·E·基南
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Smart Technologies ULC
Original Assignee
Smart Technologies ULC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Smart Technologies ULC filed Critical Smart Technologies ULC
Publication of CN101849241A publication Critical patent/CN101849241A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C23/00—Non-electrical signal transmission systems, e.g. optical systems
    • G08C23/04—Non-electrical signal transmission systems, e.g. optical systems using light waves, e.g. infrared
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/30—User interface
    • G08C2201/32—Remote control based on movements, attitude of remote control device

Abstract

一种交互式输入系统，包括：消费性电子设备和用于该消费性电子设备的控制器。该控制器能够以触摸输入模式和手势输入模式中的一个来进行操作，并且根据该控制器的操作模式响应于检测到的用户触摸输入和用户手势输入的一个来控制该消费性电子设备。

Description

交互式输入系统、其控制器以及控制装置的方法
技术领域
本发明涉及交互式输入系统、其控制器，并且涉及控制装置的方法。
背景技术
交互式输入系统是本领域中所公知的并且变得越来越流行。这些交互式系统在信息亭(kiosk)和电子书写板应用中是常见的。这样的交互式输入系统通常包括触摸屏，该触摸屏具有触摸表面，使用指示器来在该触摸表面上进行接触，以便于生成用户输入。指示器与触摸表面的接触被检测并且用于根据进行指示器接触的触摸表面的区域来生成相应的输出。常见的触摸系统利用模拟阻性、电磁、电容、声学、束中断或者机器视觉技术来识别触摸表面上的指示器接触。
例如，全部转让给Alberta，Calgary的SMART Technologies ULC的主申请的受让人的Morrison等人的美国专利No.6,803,906；No.6,954,197和No.7,236,162以及国际PCT申请No.WO 02/03316公开了一种基于相机的触摸系统，该基于相机的触摸系统包括触摸屏，该触摸屏包括在其上呈现计算机生成的图像的触摸表面。矩形边框(bezel)或框围绕触摸表面，并且支撑在其角落处的数字相机。数字相机具有重叠的视场，其通常包含该触摸表面的平面并且扫视该触摸表面的平面。数字相机获取从不同视点在触摸表面上进行监看的图像，并且生成图像数据。由数字相机所获取的图像数据由数字信号处理器来进行处理，以确定在捕捉到的图像数据中是否存在指示器。当确定了在捕捉到的图像数据中存在指示器时，数字信号处理器将指示器特性数据传递到主控制器，该主控制器进而使用三角测量法来处理该指示器特性数据，以确定相对于触摸表面的(x，y)坐标的指示器的位置。将该指示器坐标数据传递到执行一个或多个应用程序的计算机。计算机使用指示器坐标数据来更新在触摸表面上呈现的计算机生成的图像。因此，触摸表面上的指示器接触能够被记录为写入或描画或者用于控制由计算机执行的应用程序的执行。
2005年11月10公开的并且转让于SMART Technologies ULC的Morrison等人的美国专利申请公开No.2005/0248539中公开了触摸系统的另一示例。该触摸系统包括触摸屏，所述触摸屏具有在其上进行指示器接触的触摸表面。触摸屏是在触摸表面上呈现图像的平面面板显示器，诸如等离子显示器、高清电视机(HDTV)、液晶显示器(LCD)等。边框围绕该触摸表面。邻近触摸屏52的顶角定位一对成像组件。成像组件彼此进行通信，并且与执行一个或多个应用程序的计算机60进行通信。定位成像组件使得它们以三维将触摸表面看作透视图，并且被校准以建立其透视图中的(X，Y，Z)点与所获取图像中的(x，y)点之间的关系。计算机对由成像组件生成的指示器坐标数据进行处理，以使用三角测量法来确定在触摸表面上进行的指示器接触的位置，并且响应于指示器接触来更新呈现在触摸表面上呈现的图像。因此，该触摸表面上的指示器接触被记录为写入或描画，或者用于控制由计算机执行的应用程序的执行。
虽然诸如以上所讨论的那些交互式输入系统已经在商业和贸易环境中取得了成功，但是在居住环境中通常不使用交互式输入系统。如所公知的，大多数普通消费性电子设备被提供有遥控单元，其允许用户远距离地控制消费性电子设备。不幸的是，许多问题与遥控单元相关联。如果住处包括许多消费性电子设备，则通常有同等数目的遥控单元。因此，当试图操作消费性电子设备时，用户必须经常找遍各类遥控设备以找到正确的那个。可以提供控制许多消费性电子设备的通用遥控单元。然而，这些通用遥控单元经常需要复杂编程并且容易需要耗时的重新编程的程序损耗。而且，遥控单元容易损坏或丢失。
已经考虑到为消费性电子设备提供触摸输入设施。然而，这样的触摸输入设施需要用户处于消费性电子设备的涉及范围内。大多数用户已经习惯于远距离地与消费性电子设备进行交互。如将意识到的，存在对于改善用户通过其与消费性电子设备进行交互的方式的需要。
因此，旨在提供一种新颖的交互式输入系统、其控制器并且提供一种控制装置的方法。
发明内容
根据一个方面，提供了一种交互式输入系统，包括：
装置；
成像结构；以及
与所述装置和所述成像结构进行通信的处理结构，所述处理结构处理从所述成像结构接收到的图像数据，以检测用户触摸输入或用户手势输入，并且向所述装置输出与所检测到的用户输入相对应的命令。
在一个实施例中，所述成像结构捕捉触摸表面的图像以及远离触摸表面的区的图像。所述处理结构处理所述触摸表面的图像来检测用户触摸输入，并且处理所述区的图像来检测用户手势输入。所述处理结构能够以触摸输入模式和手势输入模式中的一个来进行操作。在触摸输入模式中，所述处理结构仅处理触摸表面的图像，而在手势输入模式中，所述处理结构仅处理所述区的图像。当在捕捉到的所述触摸表面的图像中检测到存在指示器时，所述处理结构被自动地调节到触摸输入模式。
所述成像结构可以包括至少两个第一相机和至少一个第二相机，所述至少两个第一相机从不同视点整体地扫视触摸表面并且具有重叠的视场，所述至少一个第二相机观察所述区。所述第一和第二相机可以被安装在与所述触摸表面相邻的壳体上。在一个实施例中，所述触摸表面形成显示面板的一部分。所述显示面板可以形成所述装置的一部分，或者可以与所述装置分离。
根据另一方面，提供了一种交互式输入系统，包括：
消费性电子设备；以及
用于所述消费性电子设备的控制器，所述控制器能够以触摸输入模式和手势输入模式中的一个来进行操作，并且根据所述控制器的操作模式响应于检测到的用户触摸输入和用户手势输入中的一个来控制所述消费性电子设备。
在一个实施例中，所述控制器对紧密接近触摸表面的区域和在所述区域之外的区单独地进行成像。所述控制器保持处于手势输入模式，直至所述区域的图像中出现指示器，此时所述控制器被自动地调节到触摸输入模式。
根据本发明的又另一个方面，提供了一种控制装置的操作的方法，包括：
监视触摸表面以检测用户触摸输入，并且捕捉在触摸表面之外的区的图像以检测用户手势输入；以及
响应于所检测到的用户触摸或用户手势输入，发布至少一个命令来控制所述装置。
所述交互式输入系统提供了以下优点，其中，在手势输入模式中，向用户提供闭环反馈，从而便利用户手势输入。在触摸输入模式中，提供了有效并且简单的接口，使得能够进行快速并且容易的对数据集合的操作并且控制复杂序列。
附图说明
现在将参考附图更全面地描述实施例，其中：
图1是包括主显示单元和控制单元的交互式输入系统的透视图；
图2是处于手势输入模式中的图1的控制单元的前部平面图；
图3是处于触摸输入模式中的图1的控制单元的前部平面图；
图4是示出图2和图3的控制单元的相机的视场的侧视图；
图5是图2和图3的控制单元的示意性框图；以及
图6示出了用于便利用户手势输入的用户所握持的棒。
具体实施方式
现在转到图1，示出了交互式输入系统，并且通常用附图标记20来标识该交互式输入系统。交互式输入系统20包括主显示单元22和分立的控制单元24。在该实施例中，主显示单元22是大的平面平板显示器，例如，等离子显示器、高清电视机(HDTV)、液晶显示器(LCD)等。控制单元24是诸如LCD等的小的平面平板显示器并且被安装在主显示单元22一边的墙壁上。控制单元24和主显示器单元22通过通信链路来进行通信。所述通信链路可以是物理链路，例如，USB或其它适当的有线连接，或者可以是射频(RF)、红外线(IR)或其它适当的无线链路。如将要描述的，控制单元24响应于远程的用户手势输入和接近的用户触摸输入二者来控制主显示单元22。
图2至图5更好地图示了控制单元24。如能够在图2和图3中最佳地看到的，控制单元24包括围绕LCD显示面板32的壳体30。将一对数字相机组件34安装在壳体30上。在该实施例中，邻近壳体30的不同顶角来定位每个数字相机组件34。数字相机组件34是先前所提到的2005年11月10公开的并且转让于主申请受让人SMARTTechnologies ULC的Morrison等人的美国专利申请公开No.2005/0248539中所公开的类型，其内容通过引用并入这里。该实施例中的每个数字相机组件34都包括CMOS数字相机，该CMOS数字相机具有自带的(on-board)数字信号处理器(DSP)和静态随机存取存储器(SRAM)。数字相机组件34的视场向下并且扫视显示面板32，并且因此两个数字相机组件34都看到整个显示面板。数字相机组件34的视场也在显示面板32前面的区中重叠。在该实施例中，该区包含在显示面板32的前面延伸大约二(2)英尺的区域。定位数字相机组件34使得它们以三维将显示面板32看作透视图，并且被校准以建立其透视图中的(X，Y，Z)点与所获取图像中的(x，y)点之间的关系。如将要描述的，数字相机组件34用于检测接近于控制单元24的用户触摸输入。
在数字相机组件34之间的壳体30上居中地安装向前监看的数字相机36。数字相机36具有在控制单元24的前面从大约二(2)英尺延伸到大约二十(20)英尺的宽广的视场。如将要描述的，数字相机36用于检测远离控制单元24的用户手势输入。图4示出了数字相机组件34和数字相机36的视场(FOV)。
现在转到图5，示出了控制单元24的示意性框图。如能够看到的，控制单元24包括数字信号处理器(DSP)60，该数字信号处理器(DSP)60与数字相机组件34和数字相机36进行通信。DSP 60还与存储器62和显示器单元接口64进行通信。显示器单元接口64包括天线66和插孔68，该天线66使得能够与主显示器单元22进行无线通信，并且该插孔68使得能够与主显示器单元22进行有线通信。存储器62存储DSP操作系统、接近检测应用62a、手势数据库62b(即手势集合)以及一个或多个触摸输入应用程序62c。在该实施例中，手势集合至少包括音量增加、音量减小、静音、频道加和频道减手势。然而，本领域技术人员将认识到，手势集合可以包括额外的或替选的手势。
在交互式输入系统20的操作期间，DSP 60执行作为后台处理的接近检测应用，以检测诸如手指、笔形工具或其它对象的指示器何时接近控制单元24并且进入数字相机组件34的视场中。在执行接近检测应用时，监视数字相机组件34的输出。当数字相机组件34的输出表明存在指示器时，DSP 60自动地将控制单元24调节到触摸输入模式。
在触摸输入模式中，忽略数字相机36的图像输出，并且处理数字相机组件34的图像输出。当数字相机组件34的图像输出中不存在指示器时，DSP 60自动地将控制单元24调节到手势输入模式。在手势输入模式中，忽略数字相机组件34的图像输出，并且处理数字相机36的图像输出。
当已经将DSP 60自动地调节到手势输入模式时，控制单元24处理由数字相机36获取的图像，以检测和解释由用户输入的手势。特别地，由DSP 60来处理数字相机36所获取的图像，以检测用户的手的定向和/或移动。然后，将检测到的手的定向和/或移动与数据库62b中的手势集合进行比较来识别输入的手势。当识别了输入手势时，DSP 60确定关联的命令，并且将关联的命令输出到主显示器单元22。可以以与Premaratne等人所著的标题为“Consumer Electronics Control SystemBased On Hand Gesture Movement Invariants(基于手势移动的不变式的消费性电子控制系统)”(IET Comput.Vis.，2007，Vol.1(1)，第35至51页)的公开中所描述的类似的方式来执行输入手势的识别，其内容通过引用并入这里。因此，远程用户手势被检测和处理，并且被转换为用于控制主显示单元22的命令。在显示面板32上呈现适于辅助用户提供手势输入的图像40。呈现在显示面板32上的图像40还向用户提供视觉反馈，确认手势识别并且确认响应于手势识别来提供给主显示器单元22的命令。例如，在图2中，显示面板32示出了由数字相机36所获取的图像42、所识别的手势44、提供给主显示器单元22的命令46以及命令所指向的主显示器单元功能的当前状态48。
如果用户紧密接近控制单元24并且在由数字相机组件34获取的图像中捕捉到了导致控制单元24被自动地调节到触摸输入模式的指示器，则控制单元24作为触摸敏感面板以与以上提到的并入的美国专利申请No.10/838,536中所公开的类似的方式进行操作。特别地，当指示器进入数字相机组件34的视场并且接触显示面板32时，数字相机组件34所获取的图像包括指示器。每个数字相机组件34的DSP将所获取的图像数据移动到SRAM，并且然后将图像数据与描述如数字相机组件34所看到的显示面板32的边界的数学模型进行比较。这使得能够处理仅包括相关像素的所捕捉的图像的像素子集。每个数字相机组件34的DSP进而处理该像素子集，以确定在所捕捉图像内的指示器的(x，y)位置。数字相机组件34进而将该指示器坐标数据传递到DSP60，该DSP 60使用该指示器坐标数据来使用三角测量法计算在显示面板32的表面上的指示器接触的(X，Y，Z)位置。然后，DSP记录该指示器位置数据，并且因此，与显示面板32的物理用户接触被检测、处理并且被转换为用于控制主显示器单元22的命令。在该模式中，在显示面板32上呈现适合于用户触摸输入的图像50，允许用户容易地与显示面板进行交互。例如，在图3中，显示面板32呈现程序指南列表52、使得用户能够在程序指南列表中进行滚动的滚动条54以及程序指南列表中的高亮程序指南的较大视图56。
如将要意识到的，在手势输入模式中，控制单元24向用户提供闭环反馈，由此促进手势输入控制。在该实施例中，由于控制单元24与主显示器单元22分离，所以经由显示面板32向用户提供的手势输入和触摸输入视觉反馈不降低或减小主显示器单元22上所呈现的图像的质量。在触摸输入模式中，控制单元24提供了有效的和用户友好的接口，以与主显示器单元22进行交互并对主显示器单元22进行编程。
为了辅助手势识别，可以使用工具来促进图像处理。例如，可以使用在如图6所示的具有尖端部分82的棒80来输入手势，当由用户握持该棒80时，尖端部分82发出全方向传播的红外线(IR)光。通过握持的并且发光的棒80，手腕和拇指的手势用于提供手势输入，该手势输入可以用于控制主显示器单元22。例如，顺时针旋转手势可以用于提高主显示器单元的音量、增加频道选择或者在命令选择列表中向前导航。类似地，逆时针旋转可以用于降低主显示器单元的音量、减少频道选择或者在命令选择列表中向后导航。当然，可以使用替选手势来执行类似的功能。
如果需要，在不使用主显示单元22时，控制单元24可以用于显示其它信息，例如，时间和/或日期、天气信息、新闻和/或体育信息、股票信息、消息板提示、记录的程序列表或者要记录的程序列表。
在以上实施例中，控制单元24用于控制主显示器单元22。然而，本领域技术人员将意识到，控制单元24可以用于控制其它消费性电子设备(即装置)，允许用户远程地经由远程的用户手势输入和接近的用户触摸输入来虚拟地控制任何消费性电子设备。
数字相机组件34和数字相机36以及控制单元24的功能可以被并入装置中。在主显示单元的情况下，将数字相机组件34和数字相机36安置在围绕主显示单元屏幕的主显示器单元的边框内。处理由数字相机组件34和数字相机36输出的图像数据由主显示器单元的处理电子设备以与以上所描述的相同方式来执行。在该情况下，经由与主显示器单元的显示输出重叠的图像或者经由分屏或画中画图像来向用户提供视觉反馈。
虽然控制单元24被示为包括与壳体30的顶角相邻的一对数字相机组件34，其中每个数字相机组件向下并且扫视整个显示面板32，但是本领域技术人员将意识到替选形式是可用的。数字相机组件34可以位于壳体上的不同位置。而且，数字相机组件的视场可以仅在显示面板的一部分上重叠，以创建活动的触摸区，该触摸区不在整个显示面板表面上进行延伸。此外，可以使用与和显示面板32相接的一个或多个反射表面相结合的单个数字相机组件34来检测触摸输入。此外，替代使用单个数字相机36来捕捉被处理为检测手势输入的图像，可以使用一对立体相机。而且，例如数字测微设备(DMD)或可移动棱镜的可移动镜面设备可以用于在控制单元处于手势输出模式中时改变数字相机组件34的视场，以检测远程输入的手势，由此避免了对数字相机36的需要。
替代使用视觉技术来检测用户触摸输入，可以使用模拟电阻、电磁、电容、声学或束中断技术来替代数字相机组件。
在采用分立控制单元的情况下，控制单元24无需被安装在与主显示单元22相邻的墙壁上。控制单元24可以位于其它方便的位置。例如，控制单元24可以被并入诸如咖啡桌、其它桌面等的家具中。
虽然已经参考附图描述了本发明，但是本领域技术人员将意识到，在不背离所附权利要求所限定的本发明的精神和范围的情况下，可以进行变化和修改。

Claims (21)

1.一种交互式输入系统，包括：
装置；
成像结构；以及
处理结构，所述处理结构与所述装置和所述成像结构进行通信，所述处理结构处理从所述成像结构接收到的图像数据，以检测用户触摸输入和用户手势输入，并且向所述装置输出与所检测到的用户输入相对应的命令。
2.根据权利要求1所述的交互式输入系统，其中，所述成像结构捕捉触摸表面的图像以及远离所述触摸表面的区的图像，所述处理结构处理所述触摸表面的所述图像来检测所述用户触摸输入，并且处理所述区的图像来检测所述用户手势输入。
3.根据权利要求2所述的交互式输入系统，其中，所述处理结构能够以触摸输入模式和手势输入模式中的一个来进行操作，在所述触摸输入模式中，所述处理结构仅处理所述触摸表面的图像，而在所述手势输入模式中，所述处理结构仅处理所述区的图像。
4.根据权利要求3所述的交互式输入系统，其中，当在所捕捉到的所述触摸表面的图像中检测到存在指示器时，所述处理结构被自动地调节到所述触摸输入模式。
5.根据权利要求2至4中的任何一项所述的交互式输入系统，其中，所述成像结构包括：至少两个第一相机和至少一个第二相机，所述至少两个第一相机从不同视点整体地扫视所述触摸表面并且具有重叠的视场，所述至少一个第二相机观察所述区。
6.根据权利要求5所述的交互式输入系统，其中，所述第一相机和所述第二相机被安装在与所述触摸表面相邻的壳体上。
7.根据权利要求2至6中的任何一项所述的交互式输入系统，其中，所述触摸表面形成显示面板的一部分。
8.根据权利要求7所述的交互式输入系统，其中，所述显示面板形成所述装置的一部分。
9.根据权利要求7所述的交互式输入系统，其中，所述显示面板与所述装置分离。
10.根据权利要求2至9中的任何一项所述的交互式输入系统，其中，所述区在所述触摸表面前面从大约2英尺延伸到大约20英尺。
11.根据权利要求7至9中的任何一项所述的交互式输入系统，其中，所述显示面板提供涉及检测到的用户触摸和用户手势输入的视觉反馈。
12.一种交互式输入系统，包括：
消费性电子设备；以及
用于所述消费性电子设备的控制器，所述控制器能够以触摸输入模式和手势输入模式中的一个来进行操作，并且根据所述控制器的操作模式响应于检测到的用户触摸输入和用户手势输入中的一个来控制所述消费性电子设备。
13.根据权利要求12所述的交互式输入系统，其中，所述控制器对紧密接近触摸表面的区域和在所述区域之外的区单独地进行成像，所述控制器保持处于所述手势输入模式中，直至所述区域的图像中出现指示器，此时所述控制器被自动地调节到所述触摸输入模式。
14.根据权利要求13所述的交互式输入系统，其中，所述控制器包括至少两个分隔的第一成像设备和处理结构，所述至少两个分隔的第一成像设备具有整体地扫视所述触摸表面的重叠的视场，所述处理结构处理所获取的图像数据以检测在所述触摸表面上的指示器接触。
15.根据权利要求14所述的交互式输入系统，其中，所述控制器进一步包括至少一个第二成像设备，所述至少一个第二成像设备具有观察所述区的重叠的视场。
16.根据权利要求12至15中的任何一项所述的交互式输入系统，其中，所述控制器与所述消费性电子设备相集成。
17.根据权利要求16所述的交互式输入系统，其中，所述消费性电子设备包括显示屏，所述显示屏的至少一部分构成触摸表面。
18.根据权利要求12至15中的任何一项所述的交互式输入系统，其中，所述控制器包括显示面板，所述显示面板提供涉及检测到的用户触摸和用户手势输入的视觉反馈。
19.根据权利要求18所述的交互式输入系统，其中，所述显示面板限定了触摸表面，在所述触摸表面上进行用户触摸输入。
20.一种控制装置的操作的方法，包括：
监视触摸表面以检测用户触摸输入，并且捕捉在所述触摸表面之外的区的图像以检测用户手势输入；以及
响应于所检测到的用户触摸或用户手势输入，发布至少一个命令来控制所述装置。
21.根据权利要求20所述的方法，进一步包括：在所述触摸表面上呈现图像，以提供涉及用户输入检测的视觉反馈。
CN200880107025A 2007-10-17 2008-10-16 交互式输入系统、其控制器以及控制装置的方法 Pending CN101849241A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/873,576 2007-10-17
US11/873,576 US8487881B2 (en) 2007-10-17 2007-10-17 Interactive input system, controller therefor and method of controlling an appliance
PCT/CA2008/001826 WO2009049411A1 (en) 2007-10-17 2008-10-16 Interactive input system, controller therefor and method of controlling an appliance

Publications (1)

Publication Number Publication Date
CN101849241A true CN101849241A (zh) 2010-09-29

Family

ID=40563024

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200880107025A Pending CN101849241A (zh) 2007-10-17 2008-10-16 交互式输入系统、其控制器以及控制装置的方法

Country Status (9)

Country Link
US (1) US8487881B2 (zh)
EP (1) EP2201497A4 (zh)
KR (1) KR20100083764A (zh)
CN (1) CN101849241A (zh)
AU (1) AU2008314460A1 (zh)
CA (1) CA2698389A1 (zh)
MX (1) MX2010002727A (zh)
WO (1) WO2009049411A1 (zh)
ZA (1) ZA201001629B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102693004A (zh) * 2011-02-16 2012-09-26 微软公司 界面控件的按压启动
CN103313650A (zh) * 2010-11-11 2013-09-18 卓尔医学产品公司 急诊处理系统信息面板
CN103472957A (zh) * 2012-06-06 2013-12-25 纬创资通股份有限公司 双模输入装置
CN103635868A (zh) * 2011-07-01 2014-03-12 英派尔科技开发有限公司 自适应用户接口
CN103685908A (zh) * 2012-09-12 2014-03-26 联发科技股份有限公司 控制摄像装置相关功能的执行的方法
CN104115195A (zh) * 2012-02-23 2014-10-22 皇家飞利浦有限公司 远程控制装置
CN105320361A (zh) * 2014-07-15 2016-02-10 广达电脑股份有限公司 光学触控系统
CN106662990A (zh) * 2014-07-31 2017-05-10 微软技术许可有限责任公司 与语音识别设备的非语音交互
CN111367401A (zh) * 2018-12-26 2020-07-03 中兴通讯股份有限公司 人机接口板及其控制方法、监控单元以及存储介质

Families Citing this family (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200928892A (en) * 2007-12-28 2009-07-01 Wistron Corp Electronic apparatus and operation method thereof
US8539550B1 (en) * 2008-05-29 2013-09-17 Intuit Inc. Multi-pattern authentication gestures
US20100020022A1 (en) * 2008-07-24 2010-01-28 Dell Products L.P. Visual Feedback System For Touch Input Devices
KR20100039017A (ko) * 2008-10-07 2010-04-15 한국전자통신연구원 메뉴 마크업 언어를 이용한 원격 제어 장치
US20100171635A1 (en) * 2009-01-02 2010-07-08 Ewig Industries Macao Commerical Offshore, Ltd. System And Method For Motion-Sensitive Remote Control For Audio-Visual Entertainment System
TW201035815A (en) * 2009-03-31 2010-10-01 Topseed Technology Corp Gesture-based remote control system
US9417700B2 (en) * 2009-05-21 2016-08-16 Edge3 Technologies Gesture recognition systems and related methods
EP2256590A1 (en) * 2009-05-26 2010-12-01 Topspeed Technology Corp. Method for controlling gesture-based remote control system
US20100302357A1 (en) * 2009-05-26 2010-12-02 Che-Hao Hsu Gesture-based remote control system
US8112719B2 (en) * 2009-05-26 2012-02-07 Topseed Technology Corp. Method for controlling gesture-based remote control system
US8693724B2 (en) 2009-05-29 2014-04-08 Microsoft Corporation Method and system implementing user-centric gesture control
US8264548B2 (en) * 2009-06-23 2012-09-11 Sony Corporation Steering mirror for TV receiving high frequency wireless video
WO2011011009A1 (en) 2009-07-23 2011-01-27 Hewlett-Packard Development Company, L.P. Display with an optical sensor
US8665075B2 (en) 2009-10-26 2014-03-04 At&T Intellectual Property I, L.P. Gesture-initiated remote control programming
US8843857B2 (en) 2009-11-19 2014-09-23 Microsoft Corporation Distance scalable no touch computing
KR101373285B1 (ko) * 2009-12-08 2014-03-11 한국전자통신연구원 제스쳐 인식 기능을 갖는 휴대 단말기 및 이를 이용한 인터페이스 시스템
US8514188B2 (en) * 2009-12-30 2013-08-20 Microsoft Corporation Hand posture mode constraints on touch input
KR101184460B1 (ko) * 2010-02-05 2012-09-19 연세대학교 산학협력단 마우스 포인터 제어 장치 및 방법
US8396252B2 (en) 2010-05-20 2013-03-12 Edge 3 Technologies Systems and related methods for three dimensional gesture recognition in vehicles
US20110304774A1 (en) * 2010-06-11 2011-12-15 Microsoft Corporation Contextual tagging of recorded data
US8542320B2 (en) * 2010-06-17 2013-09-24 Sony Corporation Method and system to control a non-gesture controlled device using gesture interactions with a gesture controlled device
EP2421251A1 (en) * 2010-08-17 2012-02-22 LG Electronics Display device and control method thereof
US8655093B2 (en) 2010-09-02 2014-02-18 Edge 3 Technologies, Inc. Method and apparatus for performing segmentation of an image
US8582866B2 (en) 2011-02-10 2013-11-12 Edge 3 Technologies, Inc. Method and apparatus for disparity computation in stereo images
US8666144B2 (en) 2010-09-02 2014-03-04 Edge 3 Technologies, Inc. Method and apparatus for determining disparity of texture
US8467599B2 (en) 2010-09-02 2013-06-18 Edge 3 Technologies, Inc. Method and apparatus for confusion learning
EP2431895B1 (en) * 2010-09-16 2017-07-26 LG Electronics Inc. Transparent display device and method for providing information using the same
US8284082B2 (en) 2010-10-27 2012-10-09 Sling Media Pvt. Ltd. Dynamic encode setting adjustment
US9195345B2 (en) 2010-10-28 2015-11-24 Microsoft Technology Licensing, Llc Position aware gestures with visual feedback as input method
WO2012064309A1 (en) * 2010-11-11 2012-05-18 Echostar Ukraine L.L.C. Hearing and/or speech impaired electronic device control
US8674965B2 (en) 2010-11-18 2014-03-18 Microsoft Corporation Single camera display device detection
FR2970797B1 (fr) * 2011-01-25 2013-12-20 Intui Sense Dispositif a commandes tactile et gestuelle et procede d'interpretation de la gestuelle associe
US8970589B2 (en) 2011-02-10 2015-03-03 Edge 3 Technologies, Inc. Near-touch interaction with a stereo camera grid structured tessellations
WO2012120520A1 (en) * 2011-03-04 2012-09-13 Hewlett-Packard Development Company, L.P. Gestural interaction
FR2972820B1 (fr) * 2011-03-18 2013-04-19 Intui Sense Dispositif interactif robuste aux ombres portees
US20120249417A1 (en) * 2011-03-29 2012-10-04 Korea University Research And Business Foundation Input apparatus
US20120268374A1 (en) * 2011-04-25 2012-10-25 Heald Arthur D Method and apparatus for processing touchless control commands
KR101275314B1 (ko) * 2011-05-11 2013-06-17 도시바삼성스토리지테크놀러지코리아 주식회사 리모트 컨트롤러와, 이를 이용한 제어 방법 및 제어 시스템
DE102011107795A1 (de) 2011-07-15 2013-01-17 Fresenius Medical Care Deutschland Gmbh Verfahren und Vorrichtung zur entfernten Überwachung und Steuerung von medizinischen Fluidmanagementgeräten
US20130222334A1 (en) * 2011-10-28 2013-08-29 Sony Mobile Communications Japan, Inc. Information processing apparatus
US9462210B2 (en) 2011-11-04 2016-10-04 Remote TelePointer, LLC Method and system for user interface for interactive devices using a mobile device
US9672609B1 (en) 2011-11-11 2017-06-06 Edge 3 Technologies, Inc. Method and apparatus for improved depth-map estimation
KR20130081580A (ko) * 2012-01-09 2013-07-17 삼성전자주식회사 표시 장치 및 그 제어 방법
GB2500006A (en) * 2012-03-06 2013-09-11 Teknologian Tutkimuskeskus Vtt Oy Optical touch screen using cameras in the frame.
US20130257747A1 (en) * 2012-03-30 2013-10-03 David P. Rossing Touch-sensitive personalized display
US10448161B2 (en) * 2012-04-02 2019-10-15 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for gestural manipulation of a sound field
US9619036B2 (en) 2012-05-11 2017-04-11 Comcast Cable Communications, Llc System and methods for controlling a user experience
US20140253483A1 (en) * 2013-03-07 2014-09-11 UBE Inc. dba Plum Wall-Mounted Multi-Touch Electronic Lighting- Control Device with Capability to Control Additional Networked Devices
US10288881B2 (en) 2013-03-14 2019-05-14 Fresenius Medical Care Holdings, Inc. Wearable interface for remote monitoring and control of a medical device
US10721448B2 (en) 2013-03-15 2020-07-21 Edge 3 Technologies, Inc. Method and apparatus for adaptive exposure bracketing, segmentation and scene organization
KR102102760B1 (ko) * 2013-07-16 2020-05-29 엘지전자 주식회사 터치 입력 및 제스쳐 입력 감지가 가능한 후면 투사 방식의 디스플레이 장치
USD762591S1 (en) * 2014-06-04 2016-08-02 Legrand France Home control device
JP6381989B2 (ja) * 2014-06-26 2018-08-29 京セラ株式会社 携帯電子機器、携帯電子機器の制御方法およびプログラム
US10067569B2 (en) 2015-08-14 2018-09-04 Fresenius Medical Care Holdings, Inc. Touchless interface for a medical treatment system
DE102015016271A1 (de) 2015-12-15 2017-06-22 Fresenius Medical Care Deutschland Gmbh System und Verfahren zur Erkennung eines Betriebszustandes oder eines Behandlungsverlaufs bei einer Blutbehandlung
US10623188B2 (en) 2017-04-26 2020-04-14 Fresenius Medical Care Holdings, Inc. Securely distributing medical prescriptions
KR20190017280A (ko) * 2017-08-10 2019-02-20 엘지전자 주식회사 이동 단말기 및 이동 단말기의 제어 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5594469A (en) * 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
CN1666248A (zh) * 2002-06-26 2005-09-07 Vkb有限公司 多功能集成图像传感器以及在虚拟接口技术上的应用
CN101019096A (zh) * 2004-05-05 2007-08-15 智能技术公司 用于相对于触摸面检测指示器的装置和方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5982352A (en) * 1992-09-18 1999-11-09 Pryor; Timothy R. Method for providing human input to a computer
US5950173A (en) * 1996-10-25 1999-09-07 Ipf, Inc. System and method for delivering consumer product related information to consumers within retail environments using internet-based information servers and sales agents
JP3624070B2 (ja) * 1997-03-07 2005-02-23 キヤノン株式会社 座標入力装置及びその制御方法
US6720949B1 (en) * 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
WO1999021122A1 (en) * 1997-10-22 1999-04-29 Ascent Technology, Inc. Voice-output reading system with gesture-based navigation
JP3920067B2 (ja) * 2001-10-09 2007-05-30 株式会社イーアイティー 座標入力装置
US7348963B2 (en) * 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
US7411575B2 (en) 2003-09-16 2008-08-12 Smart Technologies Ulc Gesture recognition method and touch system incorporating the same
US7317955B2 (en) * 2003-12-12 2008-01-08 Conmed Corporation Virtual operating room integration
JP4855654B2 (ja) * 2004-05-31 2012-01-18 ソニー株式会社 車載装置、車載装置の情報提供方法、車載装置の情報提供方法のプログラム及び車載装置の情報提供方法のプログラムを記録した記録媒体
US7483018B2 (en) * 2005-05-04 2009-01-27 Microsoft Corporation Systems and methods for providing a combined pen and mouse input device in a computing system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5594469A (en) * 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
CN1666248A (zh) * 2002-06-26 2005-09-07 Vkb有限公司 多功能集成图像传感器以及在虚拟接口技术上的应用
CN101019096A (zh) * 2004-05-05 2007-08-15 智能技术公司 用于相对于触摸面检测指示器的装置和方法

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11826181B2 (en) 2010-11-11 2023-11-28 Zoll Medical Corporation Acute care treatment systems dashboard
CN103313650A (zh) * 2010-11-11 2013-09-18 卓尔医学产品公司 急诊处理系统信息面板
US11759152B2 (en) 2010-11-11 2023-09-19 Zoll Medical Corporation Acute care treatment systems dashboard
US10959683B2 (en) 2010-11-11 2021-03-30 Zoll Medical Corporation Acute care treatment systems dashboard
US10485490B2 (en) 2010-11-11 2019-11-26 Zoll Medical Corporation Acute care treatment systems dashboard
CN102693004A (zh) * 2011-02-16 2012-09-26 微软公司 界面控件的按压启动
CN103635868A (zh) * 2011-07-01 2014-03-12 英派尔科技开发有限公司 自适应用户接口
CN104115195A (zh) * 2012-02-23 2014-10-22 皇家飞利浦有限公司 远程控制装置
CN104115195B (zh) * 2012-02-23 2018-06-01 皇家飞利浦有限公司 远程控制装置
CN103472957A (zh) * 2012-06-06 2013-12-25 纬创资通股份有限公司 双模输入装置
CN103472957B (zh) * 2012-06-06 2016-04-27 纬创资通股份有限公司 双模输入装置
CN103685908A (zh) * 2012-09-12 2014-03-26 联发科技股份有限公司 控制摄像装置相关功能的执行的方法
CN105320361A (zh) * 2014-07-15 2016-02-10 广达电脑股份有限公司 光学触控系统
CN105320361B (zh) * 2014-07-15 2018-03-30 广达电脑股份有限公司 光学触控系统
CN106662990A (zh) * 2014-07-31 2017-05-10 微软技术许可有限责任公司 与语音识别设备的非语音交互
CN111367401A (zh) * 2018-12-26 2020-07-03 中兴通讯股份有限公司 人机接口板及其控制方法、监控单元以及存储介质

Also Published As

Publication number Publication date
US20090102800A1 (en) 2009-04-23
KR20100083764A (ko) 2010-07-22
EP2201497A4 (en) 2011-12-07
ZA201001629B (en) 2011-05-25
US8487881B2 (en) 2013-07-16
AU2008314460A1 (en) 2009-04-23
EP2201497A1 (en) 2010-06-30
WO2009049411A1 (en) 2009-04-23
MX2010002727A (es) 2010-04-30
CA2698389A1 (en) 2009-04-23

Similar Documents

Publication Publication Date Title
CN101849241A (zh) 交互式输入系统、其控制器以及控制装置的方法
CN102436338B (zh) 信息处理设备和信息处理方法
US10101874B2 (en) Apparatus and method for controlling user interface to select object within image and image input device
US20050057524A1 (en) Gesture recognition method and touch system incorporating the same
CN102934057A (zh) 交互式输入系统和方法
US10956030B2 (en) Multi-touch based drawing input method and apparatus
WO2012054060A1 (en) Evaluating an input relative to a display
CN111344663B (zh) 渲染装置及渲染方法
CN103686283A (zh) 一种智能电视遥控器人机交互方法
US20110250929A1 (en) Cursor control device and apparatus having same
CN104349195A (zh) 智能电视的多用途遥控器的控制方法及控制系统
CN101847057A (zh) 一种触摸板获取输入信息的方法
CN105242839A (zh) 一种触摸菜单的控制方法及系统
US20130257809A1 (en) Optical touch sensing apparatus
CN113209601A (zh) 界面显示方法、装置、电子设备及存储介质
KR101575063B1 (ko) 뎁스 카메라를 이용한 다중 사용자 멀티 터치 인터페이스 장치 및 방법
TWI486815B (zh) 顯示設備及其控制系統和方法
CN103885707A (zh) 基于多点触控技术的人机交互的方法及遥控器
CN102645975A (zh) 手写输入装置、遥控装置、智能交互系统和手写处理方法
US9395828B2 (en) Electronic information board apparatus, that displays image input from external apparatus
CN100356305C (zh) 图像设备的触摸笔实现装置及其控制方法
CN103869941A (zh) 具虚拟触控服务的电子装置及虚拟触控即时校正方法
JP2011242889A (ja) ジェスチャを用いた情報入力装置、方法及びプログラム
CN104102332A (zh) 显示设备及其控制系统和方法
US20230096098A1 (en) Multi-touch user interface for an electronic device

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20100929