CN101002165B - 用于控制显示器的方法和系统 - Google Patents

用于控制显示器的方法和系统 Download PDF

Info

Publication number
CN101002165B
CN101002165B CN2005800272414A CN200580027241A CN101002165B CN 101002165 B CN101002165 B CN 101002165B CN 2005800272414 A CN2005800272414 A CN 2005800272414A CN 200580027241 A CN200580027241 A CN 200580027241A CN 101002165 B CN101002165 B CN 101002165B
Authority
CN
China
Prior art keywords
display
pointing device
visual presentation
target
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2005800272414A
Other languages
English (en)
Other versions
CN101002165A (zh
Inventor
E·蒂伦
H·R·肖尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN101002165A publication Critical patent/CN101002165A/zh
Application granted granted Critical
Publication of CN101002165B publication Critical patent/CN101002165B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明描述控制显示器的一种方法，所述方法包括以下步骤：在显示器(4)上显示可视呈示(VP)的一部分，和把包括照相机(2)的指点装置(1)瞄准目标区域(A)以指示在视觉呈示(VP)中的目标(PT)，这里的目标(PT)可以在显示器(4)上当前可见的可视呈示(VP)的一部分(14)的里面或外面。由指点装置(1)瞄准的目标区域(A)的图像(3)被生成和被解译，以确定在视觉呈示(VP)内目标(PT)的位置。可视呈示(VP)按需要被调整以显示包括目标(PT)的视觉呈示(VP)的那个部分。本发明还描述指点装置(1)、显示器控制接口(8，8’，8”)和包括这样的指点装置(1)与显示器控制接口(8，8’，8”)的适合于应用这个方法的系统。

Description

用于控制显示器的方法和系统
本发明涉及用于控制显示器的方法和系统，和用于这样的系统的指点装置和显示器控制接口。
近年来，在电子和计算领域中的发展导致在我们今天的生活中面对越来越丰富的各种各样的信息供应。任何人可以在个人计算机上管理大量信息，最现代化的消费者电子设备给用户提供多个选项和编程可能性。这样的和内容有关的信息通常在诸如电视屏、计算机监视器那样的某种电子显示装置上，或在诸如墙壁那样的任何屏幕或幕壁上以可看见的形式呈示。明显的例子是在个人计算机的屏幕上显示的具有其全部专用的或与工作有关的数据和信息的“虚拟”桌面。在机场和火车站，人们可以通过电子信息系统的显示器浏览，例如在地图上找到旅馆，或进行门票预订和付费。
可视地呈示的、与内容有关的信息可以是菜单分级结构、图像、虚拟桌面、地图等等。相当经常地，可提供的与内容有关的信息比实际上可以在显示器上能容纳的要更多，因此，例如要观看大的图像，必须减小图像的尺寸，以使得它适合于显示器。然而，这时图像可能是如此之小使得用户不能方便地看到它，或不能看出细节。替换地，用户能够通过把光标移动到显示器的指定区域(诸如滚动条)和点击鼠标按钮，或通过按在小键盘或键盘上适当的按键，来水平地或垂直地滚动到图像或内容的其它部分。鼠标或按键点击通常由显示器的控制单元进行解译以更新显示器的内容。
这种类型的显示器的一个限制在于，光标必须相当精确地移动到在滚动条中需要的位置，以便鼠标或按键点击具有所需效果。而且，滚动的方向必须限于水平和垂直运动，这样，当用户希望对角线滚动时，他必须组合水平和垂直滚动，实际上加倍了所需要的努力。通常，滚动以恒定的速率进行，如果要滚动的距离是相对较短的，这是可行的，但如果用户希望滚动到在庞大内容的远端点，这可能是累人的。滚动条的另一个缺点在于，它占用显示器的空间，因此减小可利用的显示面积，尽管只有在用户实际上想要观看所显示的图像或可视呈示的不同部分时才需要他们滚动这些条。
所以，本发明的目的是提供更方便的和直观的控制显示器的方法。
为此，本发明提供一种用于控制显示器的方法，该方法包括在显示器上显示可视呈示的一部分和把包括照相机的指点装置瞄准目标区域以指示在可视呈示中的目标，由此，该目标可以是在显示器上当前可看见的可视呈示的里面或外面。由指点装置瞄准的目标区域的图像被生成，并且这个目标区域的图像被解译，以便在可视呈示内确定目标的位置。可视呈示按需要被调整以显示包括目标点的可视呈示的那个部分，这个目标点可以在显示器的中心或偏离中心。
使用按照本发明的方法来控制显示器的一个合适的系统包括一个照相机，以便按指点装置所瞄准的方向生成目标区域的图像，该目标区域指示在可视呈示中的目标，这里的目标可以在显示器上当前可看见的可视呈示的一部分的里面或外面。而且，系统包括用于分析图像的图像分析单元；用于按照图像分析的结果生成控制信号的控制信号生成单元；以及用于施加控制信号以调整显示器上可视呈示的显示控制单元。
按照本发明的方法开辟了指点装置的全新应用。藉助于这样的指点装置，用户只要把指点装置瞄准想要的内容的假设的位置就可以使得显示器的内容以任何想要的方向滚动，而不仅是水平或垂直方向。指点装置的这种直观应用，与它的方便的指向模式组合在一起，使得本发明成为在控制任何种类的显示器时使用的实际的工具。
从属权利要求和以后的说明具体地公开本发明的有利的实施例和特性。
在按照本发明的方法中使用的指点装置至少包括一个照相机，用于沿指点装置瞄准的方向生成目标区域的图像。
照相机优选地被合并在指点装置中，但它同样可被安装在指点装置上，并且优选地以这种方式取向以使得它生成由用户瞄准的指点装置前面的区域的图像。由用户瞄准的“目标”可以是点或区域，而目标区域是在指点装置前面的、可以由照相机摄取为一个图像的区域，该图像即目标区域图像。照相机可以以基本方式被构建，或它可以具有诸如变焦能力或某些类型的滤色镜的强大功能的特征。
优选地，用于分析图像的图像分析单元和用于生成用于显示器的显示控制信号的控制信号生成单元被合并到显示控制接口中，该接口与显示控制单元(例如个人计算机的图形卡)进行互动。这样的显示控制接口如有必要还包括发送单元，用于把显示控制信号传送到显示控制单元。正如后面说明的，显示控制接口可被合并到指点装置中，或可以被实现为外部单元，通过适当的通信接口与指点装置耦合。
显示器可以是任何种类的显示器，诸如在幕壁上的投影，电视机屏幕，计算机监视器，或用来可视呈示信息给用户的任何装置的显示器，诸如售票机，旅游信息点等等。在显示器上可以显示的任何内容在下面被称为“可视呈示(visual presentation)”，它可以是桌面环境、菜单分级结构、地图，事实上，可以是任何种类的图像。可视呈示的尺寸不限于显示器的尺度，而是可以是大于和小于显示器尺度的任何尺寸。然而，在下面假设可视呈示实际上大于显示器，这样，在显示器上在任何时间仅仅可以显示可视呈示的一部分。
当用户把指点装置瞄准在显示器外面的可视呈示的目标处时，显示的内容优选地通过把想要的部分滚动到显示器的可见的区域而被调整或被更新。滚动可以是平滑的，这样，可视呈示在显示器上是滑动的，或可以是递增的，这样，可视呈示在显示器上分级移动。滚动反映指点装置所取的方向，这样，如果指点装置沿东北方向按对角线移动，即从显示器的中间移到显示器的右上角之外，则内容或可视呈示将向西南方向滚动，以显示可视呈示的被瞄准的部分。简言之，指点装置可以沿任何方向移动，不一定是直线。滚动可以在指点装置由用户移动时就开始滚动，不断地反映它的运动，并且一旦指点装置不动就停止滚动。替换地，当用户移动指点装置时，首先发生滚动，然后以某种方式表明他已结束瞄准。
在本发明的优选实施例中，滚动速率可以由在显示器上的目标与参考点之间的距离确定，这样，离用户瞄准指点装置的显示越远，滚动的速率越快。这在相对于显示器的尺寸的非常大的可视呈示的情形下是特别合适的，这样，在这个大显示器上的滚动或浏览不会花费太长时间。
在本发明的另一个优选实施例中，滚动的速率可以由指点装置的移动的速率所确定。例如，如果用户缓慢地移动指点装置远离显示，则可视呈示按比例地被缓慢地调整以显示想要的内容。把指点装置快速移动而远离显示，导致相应的快速更新或调整显示器上的可视呈示。由指点装置进行的移动的速率和路径可以通过把适当的分析技术或算法施加到由照相机拍摄的图像上而被确定。指点装置也可以包括运动传感器以检测和报告它的相对运动。这样的运动传感器一旦在用户从休息状态拿起或移动指点装置时就可起动。
在本发明的替换实施例中，不是通过滚动可视呈示来更新显示，而是可以立刻更新显示而无需滚动，从而使原先的内容立刻被包括指点装置所瞄准的目标在内的可视呈示的那个部分所替换。
指点装置优选地具有用于允许或禁止调整显示器上的可视呈示的控制输入装置的特性。这样的控制输入装置可以是在指点装置上的按钮，当使指点装置离开显示并朝向显示目标移动时，用户保持按下按钮，而当指点装置瞄准想要的目标时就放开按钮。只要按钮保持按下，滚动就被驱动，以作为有一个意义的特性，并且可视呈示按照由照相机记录的图像被更新。一旦按钮放开，指点装置可以返回到不工作或停止状态。
指点装置的有用的添加部分可以是一个聚集光束源，例如激光器，它被安排在指点装置上或其中，以使得聚集光束优选地按指点装置瞄准的基本上相同的方向发送到由照相机摄取的目标区域的中部。这样的光源通常被用于像激光指点器这样装置。每当光束射到它的路径上的目标时就出现一个光点。这里，光点可以帮助用户把指点装置瞄准想要的目标，因为光点向他相当精确地显示他把指点装置瞄准在哪个方向。
为了帮助用户把当前在显示器上显示的可视呈示的那个部分放置在总的可视呈示中的它的实际的位置上，有利的是向用户提供一种可能性以使他一眼就能看到整个可视呈示，并显示围绕当前所显示的可视呈示的那个部分的轮廓。为此，可以在显示器的一小部分上显示适当地被缩小的整个可视呈示，或可以概略地替换显示的实际的内容。因此用户可以容易地找出他在可视呈示中的走向，而且更容易在相对较大的可视呈示中进行浏览。用户甚至可以使用指点装置来发起这样的步骤。例如，他可以以预定的方式摇动指点装置诸如通过画一个圆或来回地轻点指点装置。替换地，他可以按压指点装置上的按钮而同时在显示上瞄准指点装置，或可以经由与显示器有关的键板或键盘输入适当的命令。
把可视呈示的可看见部分快速放置在总的图像中的另一个方法，指点装置可以提供附加的“变焦”功能。所以，在显示器上可看见的可视呈示的量优选地可以由指点装置与显示器之间的距离表示。例如，通过把指点装置瞄准显示器和同时把它向后移动离开显示器，则可视呈示被减小或被“缩小”，从而使得它的大部分可在显示器上显示。用户因此可以容易找出他在可视呈示上的走向。通过移动指点装置朝向显示器返回，就可恢复可视呈示的原先的放大倍数。
为了容易确定用户把指点装置瞄准的目标或目标点，设备控制接口的图像分析单元优选地通过应用通常的图像处理技术或计算机图像算法来跟踪指点装置的路径。目标区域的图像可包括仅仅与整个图像的重要的点有关的图像数据，例如，增强的轮廓、拐角、边缘等等，或可以是具有画面质量的详细的图像。由图像分析单元计算的路径然后被有效地重叠在可视呈示上，以便识别用户在显示器上想要看到的可视呈示的那个部分。
使用计算机视觉算法来处理目标区域图像的方法可包括：检测在目标图像上特定的点；在样板上确定相应的点；以及计算指点装置相对于与显示器相关的某些参考点的行进路径。参考点可以是显示的中心、显示器的拐角、或某些其它适当的点。参考点可以是固定的，即预定的，这样，当计算指点装置的行进路径时，总是使用这一个参考点。替换地，参考点可以在每次用户发起指向动作时被重新规定。为此，图像分析单元可以简单地从第一图像之一取适当的点，并使用这个点作为用于跟踪计算的参考点。
对于其周围没有明显改变的显示，给图像分析单元提供图像或带有它的周围的显示的样板，可能是方便的。这样，跟踪指点装置的路径就被减小成为把最后的目标区域图像与样板之一相匹配这种相对较简单的任务。在显示器上目标点对参考点的相对位置于是可以容易地计算，而且在可视呈示中相应的区域可以同样容易在显示器上被识别和被显示。
在不同的时间可以呈现不同周围环境的显示器，诸如可以在任何位置建立的投影仪的屏或背景幕壁的情形下，跟踪指点装置的路径的过程可以通过向图像分析单元提供至少显示器的样板，特别是显示器的边缘的样板而被简化。图像分析单元然后通过在指点装置移动时不断比较由照相机生成的接连的图像而确定指点装置移动的方向和指点装置在何处与显示器的边缘交截。图像分析单元然后可以检取可容易识别的目标或点，并在接连的图像上跟踪该点。可以检取和跟踪多个这样的点，直至达到目标区域图像为止。通过这个阶段，图像分析单元将能跟踪目标点的路径，并且可以把这个路径应用到可视呈示上。以便识别想要的内容。显示器然后被更新或被调整，以显示这些想要的内容。指点装置的移动速率也可以使用这些跟踪技术来确定，从而可以应用按比例的滚动速率。
跟踪目标点的另一个方式是通过使用运动传感器以检测指点装置移动的方向和它行进的距离。指点装置相对于显示器上参考点的运动通过使用可被合并到指点装置中的运动传感器来检测，运动传感器甚至可以佩带在用户握持指点装置的手上。例如，在某些情形下，显示器的周围环境并不总能提供适当的点以帮助图像分析单元跟踪目标的路径。显示可被设在一个不带有任何标记的平而均匀的表面上。在这样的情形下，运动传感器可被用来补充已描述的跟踪技术，因为图像分析单元只在至少显示器的一部分在每个目标区域图像上是可见的情形下才能跟踪目标点，所以，可视呈示的尺寸在这种情形下被显示器的尺寸和照相机的能力所限制。该限制可以使用运动传感器去跟踪指点装置的路径而被消除。初始的图像可被用来识别显示器上的参考点，而目标的路径此后可以通过使用由运动传感器提供的信息来确定，直至用户以某种方式(例如通过按下或放开指点装置上的按钮，或通过以预定的时间长度稳定地握住指点装置)指示他这时正把指点装置瞄准在可视呈示的所需位置上。在这种情形下，如果用户使指点装置倾斜，而不是沿横向方向真正移动它，则净直线运动必须通过考虑指点装置与显示器之间的距离而从指点装置倾斜的角度得出。
所以，由指点装置瞄准的目标点构成的路径优选地可以使用图像的跟踪点与运动传感器信息的组合来计算。
显示器的样板和/或它的周围环境可被存储在显示控制接口的内部存储器，或同样地可以从外部源获取。优选地，显示器控制接口包括具有适当的接口的存取单元，以用于从例如内部或外部存储器、存储棒，内部网络或互联网获得预定的用于显示的样板。这样，显示器的用户每当显示移动到新的位置时，或每当显示的周围环境改变时，可以通过拍摄显示器的图像和它的周围环境，并把它们下载到显示控制接口而更新样板。显示器的制造商可以为显示器提供合适的样板，和按需要更新这些样板。
优选地，用于控制显示器的显示控制接口可以合并在指点装置中。在这种情形下，显示控制接口不需要接收机，因为它可以直接从照相机得到图像。图像分析和控制信号生成可以在指点装置中进行，并且控制信号可以以适当的形式从指点装置直接传送到显示器。
另一方面，由于这些单元的能力可能受指点装置的物理尺度所限制，而这样的指点装置优选地要能舒服地握在手中，因此这样的图像分析单元也许只能满足初步的图像分析，而需要有较大的单元来进行的更先进的图像处理，则可能要和生成控制信号一起在外部显示控制接口中进行。
在本发明的特别优选实施例中，指点装置包括显示控制接口以及一个发送单元或发射机，用于把图像发射到外部显示控制单元。替换地，指点装置可以完全不需要图像分析和控制信号生成功能，让这样任务由外部显示控制接口实现，由此允许指点装置以较小而要紧凑的形式来实现。
如上所述的外部显示控制接口可以是独立的装置，或可以被合并到已经存在的家庭娱乐设备或个人计算机中，或可以用专用显示控制接口来实现，或被合并到诸如通常在图形卡上能找到的显示控制单元中。为了接收来自指点装置的信息，外部显示控制接口具有用于接收图像的接收单元的特性。
显然，显示控制接口不限于和单个指点装置一起使用。任何数目的不同的指点装置可被用来把图像数据发送到显示控制接口。由于通常希望在任何一个时间只有一个用户具有对于显示器的控制，每个指点装置可以把某种识别号连同图像一起发送到显示控制接口，它优选地具有某种优先权或排队管理，以确定哪个指点装置当前是“工作的”。一个先进的实现方案可以预见到连同图像数据一起发送授权码的指点装置，这样，例如可视呈示的某些区域对于不具有必需的授权的用户是“禁止入内的”。授权码可以在指点装置内是被硬连线的，或可以通过适当的接口下载，或由用户以某种方式例如藉助于适当的控制输入装置而输入。
总之，本发明因此提供容易的和灵活的方式来控制任何类型显示器。为了易于使用，指点装置可以具有细长形式的棒或笔的形状，用户可以舒服地握持。因此用户可以把指点装置指向目标，而同时放置在离显示器一个舒适的距离。同样地，指点装置可以按手枪的形式成形。而且，可以把光源合并或安装在指点装置上，用来照明指点装置瞄准的区域，这样，用户即使在黑暗中仍可使用指点装置来控制显示器。
指点装置和显示控制接口进行组合以给出功能强大的显示控制系统，以便实际上可在任何种类的环境下使用。例如，可设想该系统在机场或展览会环境中找到用途，其中旅行者或贵宾可以使用指点装置以方便和直观的方式浏览庞大的信息显示器。
通过结合附图考虑的以下的详细说明，本发明的其它方面和特性将变得显而易见。然而，应当看到，附图仅仅被设计来用于说明的目的，而不是规定本发明的范围。
图1是按照本发明的实施例的、包括指点装置和显示控制接口的系统的示意图；
图2是按照本发明的实施例的指点装置的示意图；
图3是按照本发明的实施例的指点装置和显示控制接口的示意图；
图4a是可视呈示的示意图；
图4b是指点装置和显示可视呈示的第一部分的显示的示意图；
图4c-4f显示可视呈示的目标区域图像；
图4g是显示器和可视呈示的示意图，其中一部分可视呈示被显示在显示器上；
图4h是显示可视呈示的第二部分的显示的示意图。
在图上，相同的号码是指所有图上相同的目标。所描述的指点装置由一个用户握持和操作，在图上未示出。
图1显示用于控制显示器4的系统15。对于本发明特别适用的应用是用于‘成束器(beamer)’，它被用来把可视呈示投影到幕壁，诸如投影仪屏幕上。在这种情形下，为了图上清晰起见，显示器4是像个人计算机那种设备10的监视器。通常，这样的设备10包含显示控制单元5，例如图形卡。
通过把指点装置1瞄准显示器4里面或外面的区域，用户可以指示被显示的可视呈示VP的所需调整。这样的可视呈示VP可以是用户正在对其浏览的菜单分级结构，或可以是在屏幕4上显示的任何类型的图像。为此，用户想像他能够看见整个可视呈示VP，并把指点装置瞄准他想要在显示器4上显示的那个部分。在本例中，假设用户通过把指点装置1瞄准显示器4的某个地方(参考点PC位于该地方)，然后把指点装置向显示器4的左面移到他想像能找到可视呈示VP的所需部分，从而开始滚动过程。
指点装置1中的照相机2生成沿指点装置瞄准的方向D在指点装置0的前面生成目标区域A的图像。由照相机2生成的每个图像都以目标点P作为中心。图像由指点装置1的发送单元12发送到显示控制接口8。
显示控制接口8的接收机9接收图像3，并把它们转发到图像分析单元6，图像分析单元分析图像3，以确定在图像3的目标点PT与参考点PC之间的关系，在本例中参考点PC是显示器4的中心。为此，已描述的跟踪技术被用来识别和跟踪在接连的图像3中的各个点，以确定指点装置1的路径，并且如果需要的话，确定它的运动速率。图像分析的结果被转发到控制信号生成器7，该生成器据此生成控制信号17。这些信号被传送到应用接口11，该应用接口在发送出其形式适合于发送到显示控制单元5的信号27之前进行任何必需的变换。
接收到的信号27由显示控制单元5进行处理以给出可被用来驱动个人计算机10的监视器4的信号37。
用户不限于水平或垂直地进行滚动，而是可以通过简单地把指点装置1瞄准合适的方向而使得可视呈示VP按对角线滚动。
如果指点装置1配备有激光源，从该激光源基本上沿指点方向发出激光束，则随后的激光点会帮助用户正确地瞄准想要的方向，每当该光点照射到指点装置1的“视线”中的目标时它将是可看见的。优选地，光点与目标完全重合。
显示控制接口不一定是独立的装置。这样的接口的功能可以合并到指点装置本身。图2更详细地显示这样的指点装置1的组成模块。照相机2沿指向的方向D在指点装置1的前面的区域生成图像3。指点装置1在本实施例中具有细长的形式，因此，指点方向P沿着指点装置1的纵轴。照相机2放置成朝向指点装置1的前面，这样，在用户(图上未示出)瞄准的指点装置1的前面的区域生成图像3。
这些图像3被传送到图像分析单元6’，在其中分析这些图像。分析的结果被发送到控制信号生成器7’，在其中生成用于显示的控制信号17。此外或作为替换例，为了藉助于单独的图像分析来确定可视显示VP的想要的部分，在指点装置1中的运动传感器16可以发出有关指点装置1相对于参考点的位置或运动的信息18。这个信息18可用来确定滚动的量和方向，或可用来作为图像分析的补充。
在本例中，用户可以藉助于安装在指点装置1上的控制输入装置13，诸如按钮，驱动或关断控制过程。用户可以把指点装置1大致瞄准所需方向，然后，当用户正确地瞄准指点装置1时，他可以通过控压控制输入装置13表示他的意向。来自控制输入装置13的适当信号14被转发到控制信号生成器7’，表示用户指明了可视呈示VP的所需部分。控制信号生成器7’根据图像3、控制输入信号14和/或运动传感器信息18生成控制信号17。控制信号17以无线方式(例如蓝牙、802.116或移动电话标准)通过显示控制接口8’的应用接口11’被传送到显示单元(图上未示出)。
指点装置1可以不断地生成图像3和发送控制信号17，或如果它在某个时间长度内不移动，则可以自动停止操作。为此，当首先从停止状态移动时，运动传感器16可以启动指点装置1，并且如果在某个预定的时间长度内没有记录到运动的改变，可以把指点装置1返回到停止状态。由于指点装置1很可能由电池供电(图上未示出)，为了延长电池寿命，合适的是当用户真正把指点装置瞄准可视呈示VP上一个点时，才发送数据到显示控制接口。
如图2所示，能够在本地执行图像处理和控制信号，意味着指点装置1并不必需如图1描述的与单独的显示控制接口8通信。由于图像分析的质量可能受指点装置1的物理尺度所限制，而这种指点装置很可能是以小型和实际的形式实现的，这个“独立应用的”实施例对于其中图像分析的精度实际上不重要的情形或对于其中指点装置1不能与外部显示控制接口8通信的情形可能是足够的。
这个实施例当然可以仅仅是图1的一种扩展，这样，除了本地显示控制接口8’以外，指点装置1还有助于图1上描述的发送单元12，除了它的独立应用的功能以外，还允许它结合外部显示控制接口8进行操作。
替换实施例示于图3，在其中用于诸如电视机那样的设备10的显示器4的显示控制接口8”被合并到设备10中。用于控制电视机10的显示器4的指点装置1只需要安装一个发送单元12以发送由指点装置1的照相机2生成的目标区域A的图像3。接收机9”接收图像3，并把图像转发到图像分析单元6”，图像在那里被解释并转发到控制信号生成器7”。在这里生成控制信号17，并把它传送到显示电视机10的控制单元5，诸如图形卡，它使得在电视机屏幕4上相应地调整可视呈示VP。显示控制接口8”可以是显示控制单元5的一部分，或反之亦然。
图4a-4h详细地说明在显示器4上滚动可视呈示VP的处理过程。用户正观看显示器4上的图像。为了画面清晰起见，在本例中的图像或可视呈示VP是国际象棋的棋盘图。可视呈示VP整体地显示在图4a。
如图4b所示，仅仅可视呈示VP的一部分(在本例中是左下角)可以安排在显示器4中，该显示器可以是诸如电视机、个人计算机等等的设备10的显示器。在本例中，用户希望把镜头摇到可视呈示VP的右上角。为此，他把指点装置从指点显示器4移到可视呈示VP的右上角的虚拟点，就好像他“看见”整体的可视呈示VP。
在用户移动指点装置1离开显示器4而朝向所需目标时，照相机2生成由指点装置1指点的区域接连的图像。在图上，显示了整个可视呈示VP，这里，在显示器4上未示出的可视呈示VP的部分在色调上是较浅的，并且当把指点装置1瞄准所需目标时，仅仅用来说明用户成像的虚拟的可视呈示。为了简化，在图4c-4f上仅仅显示四个这样的图像3a，3b，3c，3d。事实上，图像的数目可能大得多，这取决于照相机的能力和所需精度。在图4c-4e，图上显示在到图4f所示的最终的图像3d的路程上所作出的目标区域图像3a，3b，3c，“瞬时”目标点被表示为P1，P2，P3。
为了确定指点装置移动的方向，图像分析单元确定接连的图像中相应各点的组的位置。为此，可以使用模式匹配技术，其中把指示显示器的边缘或拐角的图像与显示的样板进行比较，以便跟踪指点装置的运动。
显示器4的右上角给定第一目标区域图像3a上的一个点，其目标区域图像坐标为(x1，y1)。在第二图像上这同一个点移动到目标区域图像3b上新的位置，这时的坐标为(x2，y2)。同样地，在第三图像3c上显示器的右上角这时的坐标为(x3，y3)。通过计算这个点在接连的图像上所表现的“移动”方向，图像分析单元可以计算指点装置1的行进的路径。如有必要，可识别新的点，例如像拐角这样容易识别的点。这里，坐标为(x4，y4)的附加点在目标区域图像3c上被识别，因为相应于显示器4的右上角的点具有从由指点装置1瞄准的目标区域消失的危险。在最后的图像3d，新的点已经“移动”，这时的坐标为(x5，y5)。
在最后图像3d被分析以前，图像分析单元具有足够的数据来计算这些点行进的路径，如图4g所示，所以，可以计算最后的目标点PT相对于参考点的PC的位置。这个信息进而又允许控制信号生成单元生成对于滚动可视呈示VP的需要的控制信号，以显示包括最后目标点PT的那个部分。然后可视呈示VP的所需部分被显示在屏幕4上，如图4h所示。
虽然本发明是以优选实施例及其变例的形式公开的，但将会看到，可以在不背离本发明的范围的条件下作出许多附加的修改方案和变例。作为对于笔的形状的替换，指点装置例如也可以是具有内置照相机的个人数字助理(PDA)，或具有内置照相机的移动电话。
为了清晰起见，还应当看到，在本申请中“一个”的使用不排除多个，以及“包括”不排除其它步骤或单元。“单元”可包括多个块或装置，除非明显地描述为单个实体。

Claims (13)

1.一种用于控制显示器(4)的方法，所述方法包括：
-在显示器(4)上显示可视呈示(VP)的一部分；
-用包括照相机(2)的指点装置(1)瞄准目标区域(A)以指示可视呈示(VP)中的目标(PT)，从而目标(PT)可以是在显示器(4)上当前可见的可视呈示(VP)的部分(14)的里面或外面；
-由照相机(2)生成由指点装置(1)瞄准的目标区域(A)的图像(3)；
-解释目标区域图像(3)，以确定目标(PT)在可视呈示(VP)内的位置；
-按需要调整可视呈示(VP)，以显示包括目标(PT)的可视呈示(VP)的那个部分。
2.按照权利要求1的方法，其中调整可视呈示(VP)以显示包括目标(PT)在内的可视呈示(VP)的部分包括在显示器(4)上滚动可视呈示(VP)。
3.按照权利要求2的方法，其中可视呈示(VP)在显示器(4)上的滚动速率取决于在目标区域(A)中目标(PT)相对于显示器(4)上的参考点(PC)的位置。
4.按照权利要求2的方法，其中可视呈示(VP)在显示器(4)上的滚动速率取决于指点装置(1)相对于可视呈示(VP)的运动。
5.按照权利要求1或权利要求2的方法，其中在显示器(4)上可看见的可视呈示(VP)的部分由在指点装置(1)与显示器(4)之间的距离指示。
6.一种用于通过使用按照权利要求1到5的任一项的方法控制显示器(4)的系统(15)，包括：
-指点装置(1)，指点装置(1)包括照相机(2)，用于在指点装置(1)瞄准的方向(D)上生成目标区域(A)的图像(3)以指示在可视呈示(VP)中的目标(PT)，从而目标(PT)可以在显示器(4)上当前可看见的可视呈示(VP)的一部分(14)的里面或外面；
-图像分析单元(6，6’)，用于分析图像(3)；
-控制信号生成单元(7，7’)，用于按照图像分析的结果生成控制信号(17)；
-显示控制单元(5)，用于施加控制信号(17)以调整显示器(4)上的可视呈示(VP)。
7.用在按照权利要求6的系统中的指点装置(1)，包括显示控制接口(8’)，用于与显示控制单元(5)互动，所述显示控制接口(8’)包括：
-图像分析单元(6’)，用于分析图像(3)，
-控制信号生成单元(7’)，用于按照图像分析的结果生成用于显示控制单元(5)的控制信号(17)，以及
-发送单元(11’)，用于把控制信号(17)传送到显示控制单元(5)。
8.用在按照权利要求6的系统中的指点装置(1)，包括发送单元(12)，用于把图像(3)传送到外部显示控制接口(8)，后者根据图像(3)生成用于显示控制单元(5)的控制信号(17)。
9.用在按照权利要求6的系统中的指点装置(1)，包括运动传感器(16)，用于检测指点装置(1)的相对运动。
10.用在按照权利要求6的系统中的指点装置(1)，包括控制输入装置(13)，用于启动或禁止对显示器(4)上的可视呈示(VP)的调整。
11.按照权利要求10的指点装置(1)，其中，所述控制输入装置(13)包括按钮。
12.一种显示控制接口(8)，包括：
-接收单元(9)，用于从指点装置(1)接收指点装置(1)瞄准的目标区域(A)的图像(3)，指示可视呈示(VP)中的目标(PT)，从而目标(PT)可以在显示器(4)上当前可见的可视呈示(VP)的部分(14)的里面或外面；
-图像分析单元(6)，用于分析图像(3)以确定目标(PT)在可视呈示(VP)内的位置；
-控制信号生成单元(7)，用于生成用于显示控制单元(5)的显示控制信号(17)以显示包括目标(PT)的可视呈示(VP)的那个部分；以及
-应用接口(11)，用于把显示控制信号(17)传送到显示控制单元(5)，显示控制单元(5)根据需要调整可视呈示(VP)以便显示包括目标(PT)的可视呈示(VP)的那个部分。
13.一种显示控制单元(5)，包括：
-接收单元(9”)，用于从指点装置(1)接收指点装置(1)瞄准的目标区域(A)的图像(3)，其中指点装置(1)瞄准目标区域(A)以指示显示器(4)上可视呈示(VP)中的目标(PT)，从而目标(PT)可以在显示器(4)上当前可见的可视呈示(VP)的部分(14)的里面或外面；
-图像分析单元(6”)，用于分析图像(3)以确定目标(PT)在可视呈示(VP)内的位置；
-控制信号生成单元(7”)，用于生成用于显示器(4)的显示控制信号(17)，其中显示控制单元(5)根据需要调整可视呈示(VP)以便显示包括目标(PT)的可视呈示(VP)的那个部分。
CN2005800272414A 2004-08-12 2005-08-05 用于控制显示器的方法和系统 Active CN101002165B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP04103898.5 2004-08-12
EP04103898 2004-08-12
PCT/IB2005/052614 WO2006018775A2 (en) 2004-08-12 2005-08-05 Method and system for controlling a display

Publications (2)

Publication Number Publication Date
CN101002165A CN101002165A (zh) 2007-07-18
CN101002165B true CN101002165B (zh) 2010-06-23

Family

ID=35907786

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2005800272414A Active CN101002165B (zh) 2004-08-12 2005-08-05 用于控制显示器的方法和系统

Country Status (7)

Country Link
US (1) US9268411B2 (zh)
EP (1) EP1779226B1 (zh)
JP (1) JP4991541B2 (zh)
KR (1) KR101231577B1 (zh)
CN (1) CN101002165B (zh)
TR (1) TR201819463T4 (zh)
WO (1) WO2006018775A2 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8291346B2 (en) * 2006-11-07 2012-10-16 Apple Inc. 3D remote control system employing absolute and relative position detection
JP4767200B2 (ja) * 2007-03-08 2011-09-07 任天堂株式会社 情報選択装置および情報選択プログラム
JP4964729B2 (ja) * 2007-10-01 2012-07-04 任天堂株式会社 画像処理プログラムおよび画像処理装置
US20090169060A1 (en) * 2007-12-26 2009-07-02 Robert Bosch Gmbh Method and apparatus for spatial display and selection
US20110063522A1 (en) * 2009-09-14 2011-03-17 Jeyhan Karaoguz System and method for generating television screen pointing information using an external receiver
WO2011140567A1 (en) * 2010-05-07 2011-11-10 Crowdlight System and method for transmitting information
US20120194692A1 (en) * 2011-01-31 2012-08-02 Hand Held Products, Inc. Terminal operative for display of electronic record
US20120194415A1 (en) * 2011-01-31 2012-08-02 Honeywell International Inc. Displaying an image
EP2693330A1 (en) * 2012-08-03 2014-02-05 Alcatel Lucent A method, a server and a pointing device for enhancing presentations
US8531518B1 (en) * 2012-08-28 2013-09-10 Google Inc. System and method for capturing videos with a mobile device
JP6398248B2 (ja) 2014-01-21 2018-10-03 セイコーエプソン株式会社 位置検出システム、及び、位置検出システムの制御方法
US10209871B2 (en) * 2015-10-21 2019-02-19 International Business Machines Corporation Two-dimensional indication in contents
GB201807749D0 (en) * 2018-05-13 2018-06-27 Sinden Andrew James A control device for detection

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5138304A (en) * 1990-08-02 1992-08-11 Hewlett-Packard Company Projected image light pen
CN1361466A (zh) * 2000-12-25 2002-07-31 株式会社日立制作所 应用图像传感器的电子设备

Family Cites Families (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59206437A (ja) 1983-05-10 1984-11-22 Sumitomo Chem Co Ltd ポリオレフイン成形品への光または放射線硬化樹脂組成物の塗布方法
JPH02306294A (ja) * 1989-05-22 1990-12-19 Wacom Co Ltd 位置検出装置及び該位置検出装置を利用した画像表示装置
JP2790965B2 (ja) 1992-08-19 1998-08-27 富士通株式会社 光学式ポインティングシステム
US5528263A (en) * 1994-06-15 1996-06-18 Daniel M. Platzker Interactive projected video image display system
JP3517482B2 (ja) 1995-06-08 2004-04-12 キヤノン株式会社 座標検出装置及び方法
US5936618A (en) * 1996-04-19 1999-08-10 U.S. Philips Corporation Information display device with adaptive scroll speed
GB9608770D0 (en) * 1996-04-27 1996-07-03 Philips Electronics Nv Projection display system
US5937110A (en) * 1996-12-20 1999-08-10 Xerox Corporation Parallel propagating embedded binary sequences for characterizing objects in N-dimensional address space
JP3937533B2 (ja) * 1997-11-07 2007-06-27 セイコーエプソン株式会社 遠隔座標入力装置および遠隔座標入力方法
US6050690A (en) * 1998-01-08 2000-04-18 Siemens Information And Communication Networks, Inc. Apparatus and method for focusing a projected image
US6057840A (en) * 1998-03-27 2000-05-02 Sony Corporation Of Japan Computer-implemented user interface having semi-transparent scroll bar tool for increased display screen usage
JPH11327433A (ja) 1998-05-18 1999-11-26 Denso Corp 地図表示装置
JP3287312B2 (ja) * 1998-08-13 2002-06-04 日本電気株式会社 ポインティング装置
WO2000023938A1 (de) 1998-10-21 2000-04-27 Vlg Virtual Laser Systems Gmbh Eingabevorrichtung für einen computer
US6952198B2 (en) 1999-07-06 2005-10-04 Hansen Karl C System and method for communication with enhanced optical pointer
US20010010514A1 (en) * 1999-09-07 2001-08-02 Yukinobu Ishino Position detector and attitude detector
US6727885B1 (en) * 1999-09-07 2004-04-27 Nikon Corporation Graphical user interface and position or attitude detector
US6346933B1 (en) * 1999-09-21 2002-02-12 Seiko Epson Corporation Interactive display presentation system
US20010030668A1 (en) * 2000-01-10 2001-10-18 Gamze Erten Method and system for interacting with a display
US7187412B1 (en) * 2000-01-18 2007-03-06 Hewlett-Packard Development Company, L.P. Pointing device for digital camera display
KR20010095815A (ko) * 2000-04-12 2001-11-07 홍영표 지도를 이용한 지역별 웹사이트검색시스템 및 그 것을이용한 분양식 전자상거래시스템
US6704000B2 (en) * 2000-11-15 2004-03-09 Blue Iris Technologies Method for remote computer operation via a wireless optical device
US6972776B2 (en) * 2001-03-20 2005-12-06 Agilent Technologies, Inc. Scrolling method using screen pointing device
GB2374663A (en) * 2001-04-18 2002-10-23 Nokia Corp Presentation of images
JP3618303B2 (ja) 2001-04-24 2005-02-09 松下電器産業株式会社 地図表示装置
US7075513B2 (en) * 2001-09-04 2006-07-11 Nokia Corporation Zooming and panning content on a display screen
US20030067441A1 (en) * 2001-09-28 2003-04-10 Fuji Photo Optical Co., Ltd. Presentation system using laser pointer
CA2468904C (en) 2001-12-21 2009-06-30 British Telecommunications Public Limited Company Device and method for calculating a location on a display
US7176881B2 (en) * 2002-05-08 2007-02-13 Fujinon Corporation Presentation system, material presenting device, and photographing device for presentation
TWI234105B (en) * 2002-08-30 2005-06-11 Ren-Guang King Pointing device, and scanner, robot, mobile communication device and electronic dictionary using the same
US7502507B2 (en) * 2002-10-31 2009-03-10 Microsoft Corporation Active embedded interaction code
JP2004157839A (ja) 2002-11-07 2004-06-03 Canon Inc 画像登録及び表示方法
JP2004318823A (ja) * 2003-03-28 2004-11-11 Seiko Epson Corp 情報表示システム、情報処理装置、ポインティング装置および情報表示システムにおけるポインタマーク表示方法
CA2429880C (en) * 2003-05-27 2009-07-07 York University Collaborative pointing devices
JP4035497B2 (ja) * 2003-09-26 2008-01-23 キヤノン株式会社 画像表示システム、画像表示装置、画像表示方法ならびにプログラム
US7420540B2 (en) * 2003-12-01 2008-09-02 Olbrich Craig A Determining positioning and/or relative movement of graphical-user interface element based on display images
KR101163084B1 (ko) * 2003-12-18 2012-07-06 코닌클리케 필립스 일렉트로닉스 엔.브이. 디바이스 제어를 위한 방법 및 시스템
US20050162384A1 (en) * 2004-01-28 2005-07-28 Fujinon Corporation Pointing device, method for displaying point image, and program therefor
US7683881B2 (en) * 2004-05-24 2010-03-23 Keytec, Inc. Visual input pointing device for interactive display system
JP4839603B2 (ja) * 2004-11-22 2011-12-21 ソニー株式会社 表示装置、表示方法、表示プログラム及び表示プログラムを記録した記録媒体
US7477784B2 (en) * 2005-03-01 2009-01-13 Microsoft Corporation Spatial transforms from displayed codes
TWI281623B (en) * 2005-05-10 2007-05-21 Pixart Imaging Inc Orientation point orientating method of orientation device and device thereof
US7400777B2 (en) * 2005-05-25 2008-07-15 Microsoft Corporation Preprocessing for information pattern analysis
KR101261550B1 (ko) * 2006-02-01 2013-05-06 삼성전자주식회사 가상 영역을 이용한 포인팅 장치, 포인터 디스플레이 장치,포인팅 방법 및 포인터 디스플레이 방법
US7768527B2 (en) * 2006-05-31 2010-08-03 Beihang University Hardware-in-the-loop simulation system and method for computer vision
JP4745316B2 (ja) * 2007-11-07 2011-08-10 シャープ株式会社 表示システムおよび指示位置の検出方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5138304A (en) * 1990-08-02 1992-08-11 Hewlett-Packard Company Projected image light pen
CN1361466A (zh) * 2000-12-25 2002-07-31 株式会社日立制作所 应用图像传感器的电子设备

Also Published As

Publication number Publication date
JP4991541B2 (ja) 2012-08-01
KR101231577B1 (ko) 2013-02-08
EP1779226A2 (en) 2007-05-02
WO2006018775A2 (en) 2006-02-23
CN101002165A (zh) 2007-07-18
US20090219303A1 (en) 2009-09-03
JP2008510215A (ja) 2008-04-03
US9268411B2 (en) 2016-02-23
KR20070041570A (ko) 2007-04-18
WO2006018775A3 (en) 2006-11-16
TR201819463T4 (tr) 2019-01-21
EP1779226B1 (en) 2018-10-24

Similar Documents

Publication Publication Date Title
CN101002165B (zh) 用于控制显示器的方法和系统
US7142191B2 (en) Image information displaying device
US20070205980A1 (en) Mobile projectable gui
KR101079598B1 (ko) 디스플레이장치 및 그 제어방법
US9939943B2 (en) Display apparatus, display system, and display method
US20220124288A1 (en) Output control apparatus, display terminal, remote control system, control method, and non-transitory computer-readable medium
JP2017033294A (ja) ３次元描画システム及び３次元描画プログラム
CN113485626A (zh) 一种智能显示设备、移动终端和显示控制方法
JP2007074603A (ja) 電子番組ガイド表示装置
EP2874405B1 (en) A client device, system and software for providing a defined view of an image on a client device
KR20120136719A (ko) 손과 눈의 3차원 위치정보를 이용한 원거리 스크린 상의 물체지목 및 제어방법
CN113170231A (zh) 跟随用户运动控制播放视频内容的方法和装置
JP2008182287A (ja) 電子番組ガイド表示装置
CN112738404B (zh) 电子设备的控制方法及电子设备
CN111782053B (zh) 模型编辑方法、装置、设备及存储介质
KR101473563B1 (ko) 레이저 광과 마우스 커서를 동기화시키는 프리젠터
WO2020095784A1 (ja) 表示制御装置、表示制御方法、及びプログラムが格納された非一時的なコンピュータ可読媒体
CN111857461A (zh) 图像显示方法、装置、电子设备及可读存储介质
CN112051919A (zh) 一种基于位置的交互方法和交互系统
KR102020376B1 (ko) 증강현실제공 서버가 이동 단말기에 증강현실정보를 제공하는 방법 및 증강현실제공 서버
KR20040066776A (ko) 일반 적외선 리모콘 통신 기능을 겸비한 이미지센서이용방식 원격 포인팅 시스템
JP2009210963A (ja) プラネタリウム装置
JP3161662U (ja) プラネタリウム装置
KR20150145243A (ko) 영상표시장치 및 그 동작방법
JP2021132254A (ja) 制御装置及びその制御方法及びプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant