CN105320274A - 使用光追踪和相对位置检测的直接三维指向 - Google Patents

使用光追踪和相对位置检测的直接三维指向 Download PDF

Info

Publication number
CN105320274A
CN105320274A CN201510443005.6A CN201510443005A CN105320274A CN 105320274 A CN105320274 A CN 105320274A CN 201510443005 A CN201510443005 A CN 201510443005A CN 105320274 A CN105320274 A CN 105320274A
Authority
CN
China
Prior art keywords
light source
sensing
image
input media
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510443005.6A
Other languages
English (en)
Other versions
CN105320274B (zh
Inventor
郑楷先
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
AMEC Video Technology Co.,Ltd.
Original Assignee
AMCHAEL VISUAL Tech CORP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by AMCHAEL VISUAL Tech CORP filed Critical AMCHAEL VISUAL Tech CORP
Priority to CN202111355669.9A priority Critical patent/CN114047831B/zh
Publication of CN105320274A publication Critical patent/CN105320274A/zh
Application granted granted Critical
Publication of CN105320274B publication Critical patent/CN105320274B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0308—Detection arrangements using opto-electronic means comprising a plurality of distinctive and separately oriented light emitters or reflectors associated to the pointing device, e.g. remote cursor controller with distinct and separately oriented LEDs at the tip whose radiations are captured by a photo-detector associated to the screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03542—Light pens for emitting or receiving light

Abstract

一个用于三维直接指向的运算系统，包含至少一个运算装置，以及一个指向/输入装置。此指向/输入装置包含至少一个光源和一个行动传感器模块，其作用为计算此指向/输入装置之绝对与相对位移。本系统配置了至少一个取像装置，用于撷取三维空间中移动的指向/输入装置上的光源图像。本系统亦可配置两个或多个取像装置。一个计算机程序从多个光源连续图像中，使用绝对与相对位移的资讯，计算指向/输入装置上的光源在三维空间中的运动位置，以及指向/输入装置在萤幕上所瞄准的位置，并在屏幕上以光标的形式呈现此位置以及其运动过程。本揭示亦描述了三维空间直接指向与指令输入的方法。

Description

使用光追踪和相对位置检测的直接三维指向
相关文件的交叉引用
本发明申请要求2014年7月24日提交的序列号为62/028,335的美国临时专利申请和2014年12月17日提交的申请号为14/573,008的美国专利申请的优先权，其公开的全部内容通过引用的方式并入本文。
技术领域
本发明涉及人机交互系统。本发明尤其涉及与三维指向有关的方法和系统，采用结合了绝对点检测和相对点检测两者的系统。还公开了可用在所述方法和系统中的指向/输入装置的实施例。
背景技术
如图1所示，对于二维(2D)屏幕上的三维(3D)指向，用户0使用手持3D指向装置2在2D图像显示装置4的显示表面3上对准一点。在系统中，指向装置2发射光束(见虚线)，光束接触到显示表面的位置形成点。示例指向装置2包括计算机鼠标、视频游戏控制台或所谓的“智能”电视遥控器。显示表面3可以是计算机装置的、视频游戏控制台等的显示屏幕。
在系统中，指针比如是游标、十字线或其他指示物，总会显示在显示表面上指向装置2所对准的点处，该指向装置2被称为直接或绝对指向装置，并且该过程被称为直接或绝对指向过程。另一方面，在系统中，指针不需要显示在显示表面上的指向装置2所对准的点处，该指向装置2被称为相对指向装置，并且该过程被称为相对指向过程。在附图2和3中更详细描述这些概念。
图2A描述相对指向过程的初始状态。系统将对准点20和显示点21设置为一致。一旦指向装置2的对准点20离开显示表面的边界(见图2B)，显示点21不会跟随离开，但会维持在一点X，该点X表示该对准点20离开显示表面边界位置处的斑点。在这样的系统中，当对准点20返回到显示表面的边界内时，显示表面边界外的指向装置2游历的累积位移被记录和添加至显示点21的最终位置。因此，如图2C所示，在该过程之后，显示点21与对准点20不相同。这明显地偏离操作者的认知和直觉。操作者所需要的是指向装置总能够直接地进行指向，即是，显示点21总与对准点一致，甚至当指向装置2离开显示表面3且再次进入显示表面3时也能一致，如图3C所示。
然而，几乎所有当前的3D指向装置以及比如用于智能电视的3D遥控器都是相对指向装置。这是因为这些装置使用运动传感器模块来提供信息用于确定显示屏幕上的指针的位置，而运动传感器提供的信息是相对信息。例如，运动传感器模块可以包括重力传感器、陀螺仪传感器和磁场传感器。这些传感器提供相对于指向装置2先前位置的转动信息(方位、俯仰和自转)和加速度/速度信息(线性加速度，角速度)。公知多种补偿技术以修正指向装置2的对准点20和显示点21之间的偏差。然而，因为不知道指向装置2相对于显示表面的位置，这些补偿技术降低了效率。
除了运动传感器模块，公知地在指向装置中包含成像装置以提供附加的信息用于确定对准点。如图4所示，在指向装置2中可以包含有比如是红外(IR)摄像管32的成像装置，从而一起使用由传感条36中的光源34发射的光图以及运动传感器模块30提供的信息，以准确地识别指向装置2的对准点38并且提供指针或其他与现实表明40上的对准点38一致的图示。该方案在多数装置中采用，比如应用在的的uWand和的某些技术中。
图4所述的系统具有某些缺点。因为成像装置32安装在指向装置2中，操作者必须确保指向装置2持续地面向传感条36，使成像装置能够捕捉传感条36的图像。然后，因为指向装置2中包含的模块完成计算以确定对准点38的位置，使系统不能利用控制台42的所有计算功能。如果用于所述计算的责权转移至控制台42，如果指向装置2和控制台42之间连线那么指向装置2不便于用户操作。替代地，在无线配置中，在指向装置2和控制台42之间需要用到高带宽无线传输。而且，系统不能利用显示表面40的任何成像功能(例如，集成的或附加的网络摄像头)。此外，由于空间考虑，不能对比如在图4所示系统的成像功能作改进，因为由于空间考虑，通常不可能想指向装置2增加附加的成像装置，即是原因在于指向装置2不能简单地供应附加的成像器。唯一的解决方案是尝试改进包含在指向装置2中的成像装置的分辨率，但这是不期望的，原因在于成本考虑和分辨率的限制，尤其是适用于用户手持操作的指向装置2中或上的合适尺寸最高效成像装置的分辨率限制。
因此在本领域中有识别需求，使直接指向系统能够使用控制台的计算功能，而不是只依靠指向装置提供的计算能力，使该系统还可以使用整合或附加到显示表面中的成像装置，比如计算机装置屏幕、智能电视屏幕等。还期望与多个图像装置的交互。而且，该系统可以提供使显示表面上的指向装置的显示点与指向装置的对准点一致，甚至当对准点离开显示表面的边界然后再次从边界进入时也能使显示点与对准点一致。
发明内容
为了解决上述的技术问题和满足本领域中的识别需要，本发明提供一种直接指向系统，能够利用控制台的计算能力和配备有一个或多个成像装置的显示表面的成像功能。所述的系统可以灵活运作，并且还能够提供良好的直接指向结果。
一方面，本发明描述一种用于直接三维指向和命令输入的计算系统。该系统包括至少一个计算装置和图形用户界面。提供包含至少一个光源和运动传感器模块的指向/输入装置。运动传感器模块提供与指向/输入装置的绝对和相对位移相关的信息。至少一个成像装置可操作地链接至所述计算装置的处理器，并且可以与图形用户界面关联。在多个实施例中，多个成像装置与图形用户界面关联并且可操作地链接至计算装置的处理器。
所述成像装置被配置为在所述指向/输入装置在一三维空间中并在至少一个成像装置的视场内被握持和/或移动时捕获多个图像帧，其中每一图像帧均包括至少一个光源的视图。一个可操作在所述计算装置上的非暂时性计算机程序产品包括可执行的指令，用于从多个顺序的图像帧和所述指向/输入装置的绝对和相对位移信息中计算所述至少一个光源在三维空间中的至少一个位置和/或运动，以及用于在图形用户界面中渲染与计算出的至少一个光源的位置和/或运动对应的视觉指示器。
在多个实施例中，所述计算机程序产品包括可执行的指令，通过确定所述至少一个光源在捕获的图像帧中的当前位置以及确定所述至少一个光源在至少一个捕获的图像帧中的先前位置，从而确定至少一个光源在三维空间中的位置和/或运动。计算装置从运动传感器模块提供的信息中确定所述指向/输入装置的相对位移。然后从确定的相对位移信息和确定的至少一个光源的当前和先前位置中计算所述至少一个光源在三维空间中的位置。从运动传感器模块提供的信息中确定所述指向/输入装置的指向方向，定义所述指向/输入装置的一轴线。从计算出的至少一个光源的三维位置以及由运动传感器模块提供的确定的指向/输入装置的指向方向，计算装置处理器计算指向/输入装置的轴线和图形用户界面的交点，并将其在图形用户界面中显示为可视化的指示器(图标、交叉线、指针等)。计算装置处理器可以将指向/输入装置的移动解释为特定的命令输入。
在多个实施例中，所述计算机程序产品包括可执行指令，通过识别与至少一个光源在捕获的图像帧中的位置对应的第一区域以及与至少一个光源在至少一个先前捕获的图像帧中的位置对应的第二区域，从至少一个光源确定的当前和先前位置中计算所述至少一个光源在三维空间中的位置。从那些识别的区域中，计算至少一个光源在捕获的图像帧中的第一位置以及所述至少一个光源在所述至少一个先前捕获的图像帧中第二位置。然后，计算所述指向/输入装置由于在所述第一区域和第二区域间平移所述至少一个光源所导致的位移向量。在成功设置当前和先前捕获的图像帧中重复该过程。
另一方面，提供一种用于在计算系统环境中追踪指向/输入装置的方法，使用光源位置和指向/输入装置从前述的系统获取绝对和相对位移信息。
在说明书中将阐明这些和其他的实施例、方面、优点和特征，它们在本领域技术人员通过参考下面的说明书和附图或者同事实践本发明时变得部分明晰。尤其依靠附属的权利要求指出的手段、程序和组合可以实现和达到所述的方面、优点和特征。除非其他说明，本文讨论的任何专利和/或非专利引文被明确地以全文的参考方式并入本文。
附图说明
并入且形成说明书的一部分的附图，阐述了本发明的各种实施方式，并且与说明书一起用于解释本发明的原理。在这些附图中：
图1示出了用户使用现有系统，其通过手持指示器实现三维指向；
图2示出了相关的指向处理的现有系统和方法，显示了初始一致的对准点和显示点(图2A)，对准点离开显示界面以及显示点保持不变(图2B)，以及对准点返回至显示界面与显示点不同的区域(图2C)；
图3示出了直接指向处理的现有系统和方法，显示了初始一致的对准点和显示点(图3A)，对准点离开显示界面(图3B)，以及对准点返回显示界面(图3C)；
图4示出了三维指向的现有系统，包括具有整合的IR摄像头和与感应条相关的显示界面；
图5示出了根据本发明的三维指向和命令输入系统，包括指向/输入装置和显示界面；
图6示出了根据本发明的指向/输入装置；
图7示出了根据本发明的显示界面上显示点的计算过程；
图8显示了根据本发明的使用与显示界面相关联的单个成像装置的直接三维指向方法的流程图形式的计算过程；
图9示出了基于时间序列tk、tk+1、tk+2获取图像帧的过程；
图10更详细地示出了根据图7的显示界面上的显示点的计算过程；
图11单独示出了图10所示的指向/输入装置的位移向量的计算过程；
图12示出了由根据本发明的指向/输入装置的运动传感器模块获取的数据；
图13示出了根据本发明的三维指向和命令输入系统，包括指向/输入装置和包括两个成像装置的显示界面；
图14示出了根据本发明的使用图13所示系统的三维指向的流程图形式的计算过程；以及
图15示出了使用图13所示的系统的显示界面上显示点的计算过程。
具体实施方式
在下面详细描述所说明的实施例中，我们会参考所附的图纸，这些图纸构成本披露的一部分，并在其中显示具体的实施例，以说明本发明的可实行性。这些实施例中描述足够的细节，使那些对此一方向熟练的人可实践本发明。同时，应该理解的是，其它实施例亦可被使用，而其过程，试剂，材料，软件，和/或其他部分可做一些改变而并不偏离本发明的范围。
在一个高水平，本发明提供的系统和方法用于在一个使用整合的绝对和相对设施的影像显示装置上获得视觉标记的绝对位置，此视觉标记可以是一个指针例如一个光标，十字标等。如图5，该系统包括一个指向/输入设备50，一个图像显示设备52，至少一个取像装置54，以及一个计算装置56。在不加诸任何限制下，可考虑的图像显示设备包括投影仪，电视屏幕，一个图形用户界面，例如计算器显示器(其可以是二维或三维)，和类似物。实施例的取像设备包括摄像头等，可使用的计算设备包括计算设备(个人计算器，智能电话，平板计算机，笔记本计算机等)，游戏机等。应当理解的是，在取像装置54和计算装置56之间有一个传送机制。这个机制可以是有线或无线的，如本领域中已知之技术。
在使用上，本指向/输入设备50的功能形式上类似一个激光笔，只是它移动的是一个指示器，例如一个光标，十字标等，而不是一个红点。当操作者0使用指向装置50瞄准图像显示设备52上的一个点(例如，图5中的点70)，光标将出现在指向装置50所指的位置。当指示装置50改变其方向时，光标也将移动，但总是出现在图像显示设备52上该指示装置50所指的位置。
本发明的指向/输入设备50也可以作为输入设备，在功能上与计算机鼠标或其他输入设备基本类似。指向/输入设备50在图像显示设备52上所指的位置的XY坐标求得后，此XY坐标可以用来确定图像显示设备52上所显示的一个项目或图标。因此，通过操纵指向/输入设备50，用户可以和大多数的操作系统交互沟通(例如，或微软)，例如选择文件，程序，浏览图片等，并可以自由移动文件，程序等，发出命令或执行特定的动作。
至少有三个组件装置在指向/输入设备50中(图6)：光源62，控制面板66和运动传感器模块64。在一个实施例中，该光源62是发光二极管，但也有其他合适的光源。控制面板64包括多个按钮，它可以提供直接的命令功能，如的数字键，箭头键，进入按钮，电源按钮等。系统使用取像装置54拍摄的光源62影像和运动传感器模块66提供的信息来确定指向/输入设备50所指的位置，下面将详细描述。据此，我们可以精确计算在图像显示设备52上用来代表指向/输入设备50所瞄准的位置的一个图标，例如，一个光标或一个十字表，的绝对位置。
运动传感器模块66包括一组运动检测传感器，并透过无线管道即时的把装置本身的绝对的和相对运动的资讯(例如，加速度，旋转等)提供给计算装置56。该组包含的运动传感器模块66中可以包括重力加速度传感器，陀螺仪传感器，地磁传感器，及其它运动检测传感器。
取像装置54的功能相当于计算装置56的视觉系统，以每秒固定的帧速率摄取图像显示设备52前面的场景。这些图像被送到计算装置56作后续处理。任何常规的取像装置/成像装置54，包括单透镜成像器件如一个标准的摄像头，都可使用。在一般实施例中，取像装置54应具有每秒30帧的取像率。
计算设施56的处理器提供光源位置确定功能，以及计算图像显示装置52上指向/输入装置50所指的点的位置。当计算设备56接收来自取像装置54的图像时，它首先使用光源追踪程序识别光源62在影像中的位置。接下来它使用光源62在先前由取像装置54发送的影像中的位置，和运动传感器模块66所发送的相对位移信息计算指向设备50上光源62在三维空间中的位置。最后，它使用光源62的三维位置和运动传感器模块66发送的方向角信息计算指向/输入设施50之轴线与图像显示设备52的交点(如图7)。这个点就是图像显示设备52上指向/输入设备50所指的点。因此，通过在该图像显示设备52上显示一个光标或其他图标，就完成直接指向的工作。
计算装置56处理器的计算过程，显示于图8所示的流程图中。在这里，为了便于解释，我们假设在图像显示设备52的中心处安装了取像设备54，其焦点72与图像显示设备的屏幕52同平面。替代的配置将于后面讨论。场景使用右手坐标系，坐标系原点设置在的图像显示设备52的中点，这个点也是取像装置54的焦点。x轴是一条通过图像显示设备52中心点的水平线，Y轴是一条通过图像显示设备52中心点的垂直线。所有后续图形都是场景在XZ平面的投影，XZ平面平行于房间的地面。在下面的讨论中，我们将详细解释计算过程。
在步骤80中，计算装置56处理器确认取像装置54在时间tk+1(如图9)所取得的影像中对应于光源的区域。这个确认过程使用追踪技术和相关的软件进行。一个适宜的光线跟踪技术披露于受让人目前的美国专利申请案中S.N.14/089,881(“算法，软件，和一个支持一个空中鼠标操作的相互作用的系统”)，本文引用披露的整体为参考。
上述区域的中心点在取像装置54的影像记录装置76(如CCD)将被记为74(参见图7和图10)。之后我们透过取像装置54的焦点72把点74映射到虚拟图像平面1004一个点102(见图10)，此虚拟影像平面大小与图像显示装置相同。此时我们假设同样的工作已经对在时间tk所撷取的图像执行过(如图9)，也就是说，在时间tk所撷取的影像中对应于光源的区域的中心点已经被确认，记为78，并透过焦点72被映射到虚拟图像平面1004的一个点104(见图10)。如果点74与点78相同，我们对随后撷取的图像重复这一过程直到时间点tk+i+1，i＞0，使得在tk+i和tk+i+1所得到的点不同。为了符号的简便起见，这些点也将被记为74和78。请注意，在图10中，74和78代表不同的点，即使他们看来似乎重合在同一点。
在步骤82中，计算装置56之处理器使用步骤88和90得到的信息计算三维空间中光源62的位置。由于操作员可以移动或旋转指向装置50，光源经历平移和旋转。步骤88和90提供了光源在时间tk到tk+1的位移向量。为了容易说明，我们将图10中虚线圆1008内的部分放大，如图11，在图11中，1102和1104分别代表光源62在时间tk和tk+1的位置，而点1106代表在时间tk+1时指向装置50的旋转轴。光源在时间tk到tk+1的位移向量表示为是在点1102与1104间的向量。如果我们知道我们可以像下面这样计算1102和1104：在线1110上找一个用图像点74和虚拟平面1004上点1112所定义的点A，在线1114上找一个用图像点74和虚拟平面1004上点1116所定义的点B(如图10或图11)使得
由1110和1114的参数表示可以知道，找到A和B是一个简单的过程，1102是A以及1104是B，所以接下来的任务是要找这个过程在下面讨论。
如果我们用r(t)代表时间t时光源62在影像的位置，位移向量可以表示如下
代表LED光源在时间t的速度，而Δtk≡tk+1-tk。然而，手持装置不具有惯性，所以在上面的公式可以忽略简化的公式如下
由于指向/输入设备50经历平移和自转，可以表示如下
ω(t)是r(t)在时间t的角速度，x(t)是r(t)在时间t的旋转轴，×是交叉乘积，v(t)是r(t)在时间t的线性速度.从理论上来说，在时间tk+1时v(t)的值可计算如下
v(tk+1)＝v(tk)+a(tk+1)*Δtk(3)
a(tk+1)是r(t)在时间tk+1的线性加速度，因为手持装置没有贯性，所以在公式(3)可以忽略v(tk)，简化公式如下v(tk+1)：
v(tk+1)＝a(tk+1)*Δtk(4)
因此，从公式(1)、(2)、(4)我们可以得到公式如下
ω(tk+1)和a(tk+1)的值可以从运动传感器66中的陀螺仪传感器与重力加速度传感器得到。另一方面r(tk+1)-x(tk+1)无非是D2(指向装置在时间tk+1的方向2，定义如下)，1104与1106间的距离如图11
r(tk+1)-x(tk+1)＝L*D2(6)
因此，将公式(6)带入公式(5)我们可以得到以下公式
要想定义D2，先令N＝(xN，0，zN)为向北的单位向量，即：
令指向/输入设备上的运动传感器模块提供的tk+1时间的方位角(azimuth)、仰角(pitch)、自转角(roll)，分别为α，β，γ，方位角是顺时针绕Y轴旋转，其旋转矩阵如下
仰角是顺时针绕X轴旋转，其旋转矩阵如下
自转角是顺时针绕Z轴旋转，其旋转矩阵如下
通过将上述三个矩阵相乘，我们得到一个单独的旋转矩阵
要想找到指向/输入设备50在时间tk+1的方向D2，仅需将单位向量N与旋转矩阵R(γ，β，α)相乘：
D2＝R(γ，β，α)N(9)
在步骤84，计算装置56的处理器计算指向/输入装置50的轴线与图像显示设备52在时间tk+1的交点(如图9)。交点70的位置是操作人员0希望在图像显示设备上显示的光标的位置52。指向/输入设备50的轴线，记为1118，可以表示为：
L(u)＝B+t*D2t∈R
此处B1104是LED光源62的位置，D2是指向/输入设备50在tk+1的轴线方向(如图11)。B可以从步骤88求得而D2可从步骤90求得(见图8)。因此，欲找到的点70，只需要找到方程(10)所定义的L(t)与z＝0的交点。
在步骤86中，计算装置56处理器发送指令显示一个光标于步骤84中所计算的位置，或将光标从它以前的位置移动到在步骤84所计算的新位置。该计算设施56处理器还将执行使用者0通过指向/输入设备50上控制面板64的相互作用所需的动作。
当然，计算设备56对每一个取像装置所发送的新影像会重复上述步骤。
前述讨论描述了一个系统，其包括一个单一的成像装置54，但多个成像装置可以被纳入到目前披露的系统中。在一个实施例中，如图13所示，一个指向系统包括两个成像装置1302和1304，分别安装在显示表面(52)的左上角和右上角。计算装置56处理器在这种情况下的计算过程示意图显示在图14，并将在下面的讨论中详细解释。
步骤1402的工作方式类似于图8中的步骤80，只除了同样的工作现在必须对成像设施1302与1304都执行。对成像设施1302，1304在时间tk所拍摄的影像，计算装置56处理器在这些影像中(在捕获的图像帧)把对应于光源62的区域标识出来。这些区域的中心点分别记为1502和1504(如图15)。中心点1502和1504然后分别通过焦点1512和1514映像到虚拟图像平面的1506与1508(如图15)。
在步骤1404(图14)中，使用标准的三角剖分方法，在三维空间中寻找光源62的位置。三角测量法计算通过1502和1512的射线(或通过1512及1506)和通过1504和1514的射线(或1514及1508)的交点。这个交点是光源62在三维空间中的位置。Hartley等人1997年的论文“三角剖分“(计算器视觉和图像理解，卷68，第2，PP146-157)是一个很好的三角剖分算法，其他三角剖分的算法也有许多适用的，也可在此处使用。
一旦光源在三维空间中的位置是已知的，在图14中所描绘的其余步骤与图8中的对应步骤是相同的，即，步骤1406将使用步骤1408所提供的资讯计算方程(9)所定义的指向装置50的方向D2，然后用光源的3D位置以及指向装置50的方向找到指向装置50的轴线与图像显示设备的显示面52在时间点tk的交点。这个交点就是指向设备50所瞄准的点的位置。
综合言之，本说明提供了利用光追踪和相对坐标检测技术做三维指向的强大算法和系统。一个有利的因素是，所公开的方法与系统简单、经济，而且除了指向/输入设备50及软件外，其他的组件可能在许多家庭已经有了。应该注意到，除了指向/输入设备50和软件，额外的硬件需求只有一个计算装置56和常规取像设备54如标准网络摄像头，对于指向/输入设备50和取像装置54之间有线或无线连接(如电线或电缆，或一个专门的IR或其它信号)并没有任何特定的要求。本系统最特别的优势在于它允许一个用户用三维模式对计算设备，“智能”电视，以及类似的产品做指向和/或输入手势命令。
本领域的技术人员应可认识到本发明允许额外的实施范例，而不偏离本文的教导。因此，前面的描述是为了说明本发明的目的，和使技术人员认识本发明的附加实施例是可能的。给出如此详细和示例性实施具体细节主要为了清楚理解，且没有不必要的限制进口，本领域技术人员通过阅读本说明用于改进将变得明显，不脱离本发明的精神或范围。当然，相对明显的修改，包括将一个或多个数字的各种特性结合起来，具有一个或多个数字特征。所有这些修改变化都在本发明由所付权利要求时，根据他们相当的宽度，合法公正的父与解释在确定的范围之内。

Claims (10)

1.一种用于直接三维指向和输入命令的计算系统，包括：
至少一个计算装置，具有至少一个处理器(CPU)、至少一个记忆体，以及至少一个图形用户接口(屏幕)；
一种指向/输入装置包含至少一个光源和一个运动传感器模块，该装置提供指向/输入装置的绝对和相对位移的信息给予计算装置；
至少一个连接到计算装置处理器的取像装置，用于撷取多个连续影像，每祯影像场景中都包含指向/输入装置上的光源在三维空间中的静止或移动的位置；
至少一个在计算装置的处理器上运行的非暂时性的计算机程序产品；
计算机程序产品包括可执行指令，以计算至少一个位置和/或至少一个光源在三维空间运动，此计算是根据多张连续的影像帧以及指向/输入装置的绝对和相对位移信息，此计算机程序亦将所计算的光源位置与运动信息以光标的形式显示于图形接口上。
2.权利要求1所述的系统中，包括至少两个成像装置。
3.权利要求1所述的系统中，通过以下步骤确定光源在三维空间中的运动：
确定当前撷取影像中光源位置；
确定前一个撷取影像中光源位置；
确定由运动传感器模块提供的指向/输入装置相对位移信息；
从相对位移信息与光源在撷取影像中的目前位置与前一个位置，计算光源在三维空间的位置；
由运动传感器模块提供的信息，确定指向/输入装置的轴线以及指向；以及
并从所计算的光源位置以及指向/输入装置所指的方向，计算指向/输入装置轴线与用户界面的交点。
4.权利要求3所述的系统中，光源在三维空间中当下和前一个位置以下述方式计算：
确定当前撷取影像中对应于光源位置的区域(第一区块)以及在前一个撷取影像中对应于光源位置的区域(第二区块)；
从第一区块获得光源第一位置，并在第二区块获得光源第二位置；以及
从上述第一位置与第二位置，再计算由于光源的移动所导致的指向/输入装置的位移向量。
5.权利要求4所述的系统中，计算机程序计算当下和先前拍摄的影像集合，迭代地重复识别第一和第二位置，并算出一个位移向量。
6.权利要求1所述的系统中，取像装置具有每秒至少30帧的取像率。
7.在一个计算系统环境下，一个追踪指向/输入装置的方法，包含了：
在三维空间中，手持/移动一个包含了至少一个光源和一个运动传感器模块的指向/输入装置，此装置置身于至少一个取像装置的视角中，此取像装置连接到一个至少有一个处理器，一个记忆体，以及一个图形用户界面的计算装置；
通过取像装置撷取光源在取像装置视角内的多个连续影像；
由运动传感器模块获得指向/输入装置的绝对与相对位移信息；
利用所撷取的多个连续影像以及绝对与相对位移信息，由处理器计算光源在三维空间中的位置和运动；
在图形接口上以光标形式呈现光源的位置和运动。
8.权利要求7所述的方法中，还包括如何阐述预定为指向/输入指令的至少一个光源其位置和/或运动的方法。
9.权利要求7所述的方法中，至少一个光源在三维空间中的位置和运动的计算方法如下：
确定光源在所撷取的图像的位置；
确定光源在所撷取的前一个图像的位置；
确定由运动传感器模块提供的指向/输入装置相对位移信息；
从相对位移信息计算光源目前在三维空间的位置和前一个时间点的位置；
由运动传感器提供的资讯定出指向/输入装置的轴向及其所指的方向；以及
由所计算的指向/输入装置其光源在三维空间的位置以及由运动传感器提供的指向/输入装置的方向信息；计算指向/输入装置其轴线与图形接口的交点。
10.权利要求9所述的方法中，光源在三维空间中的位置计算方式如下：
在所撷取影像中，确定光源目前的位置所对应的区域，以及在前一祯所撷取的影像中光源位置所对应的区域；
由所确定的两个区域，计算光源目前所在的位置以及前一个时间点的位置；
计算指向/输入装置由前一个位置到目前位置之间的位移向量。
CN201510443005.6A 2014-07-24 2015-07-24 直接三维指向的计算系统和追踪指向/输入装置的方法 Active CN105320274B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111355669.9A CN114047831B (zh) 2014-07-24 2015-07-24 直接三维指向的计算系统和追踪指向/输入装置的方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201462028335P 2014-07-24 2014-07-24
US62/028,335 2014-07-24
US14/573,008 US20160026264A1 (en) 2014-07-24 2014-12-17 Direct three-dimensional pointing using light tracking and relative position detection
US14/573,008 2014-12-17

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202111355669.9A Division CN114047831B (zh) 2014-07-24 2015-07-24 直接三维指向的计算系统和追踪指向/输入装置的方法

Publications (2)

Publication Number Publication Date
CN105320274A true CN105320274A (zh) 2016-02-10
CN105320274B CN105320274B (zh) 2021-12-03

Family

ID=55166748

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202111355669.9A Active CN114047831B (zh) 2014-07-24 2015-07-24 直接三维指向的计算系统和追踪指向/输入装置的方法
CN201510443005.6A Active CN105320274B (zh) 2014-07-24 2015-07-24 直接三维指向的计算系统和追踪指向/输入装置的方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202111355669.9A Active CN114047831B (zh) 2014-07-24 2015-07-24 直接三维指向的计算系统和追踪指向/输入装置的方法

Country Status (2)

Country Link
US (3) US20160026264A1 (zh)
CN (2) CN114047831B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10228766B2 (en) * 2014-09-12 2019-03-12 Microsoft Technology Licensing, Llc Enhanced Display Rotation
US9883800B2 (en) * 2016-02-11 2018-02-06 General Electric Company Wireless patient monitoring system and method
US11604517B2 (en) * 2016-09-02 2023-03-14 Rakuten Group, Inc. Information processing device, information processing method for a gesture control user interface
EP3326576B1 (en) 2016-11-25 2019-03-20 3M Innovative Properties Company A dental treatment system
US10930062B2 (en) * 2019-07-18 2021-02-23 Raytheon Company 3D view model generation of an object utilizing geometrically diverse image clusters

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101206539A (zh) * 2006-12-18 2008-06-25 三星电子株式会社 在3d空间中输入信息的信息输入装置和方法以及介质
US20100286940A1 (en) * 2009-05-07 2010-11-11 Takuhiro Dohta Storage medium storing information processing program, and information processing apparatus
US20110163950A1 (en) * 2010-01-06 2011-07-07 Cywee Group Ltd. 3d pointing device and method for compensating movement thereof
US20130023341A1 (en) * 2010-03-30 2013-01-24 Capcom Co., Ltd. Program and recording medium on which the program is recorded
CN103376916A (zh) * 2012-04-30 2013-10-30 晶隼科技股份有限公司 三维指向装置及系统
CN103443746A (zh) * 2010-12-22 2013-12-11 Z空间股份有限公司 用户控制装置的在空间中的三维跟踪

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5917486A (en) * 1996-11-04 1999-06-29 Prolexia Reading Education Software Corporation System and method for client program control of a computer display cursor
US7961909B2 (en) * 2006-03-08 2011-06-14 Electronic Scripting Products, Inc. Computer interface employing a manipulated object with absolute pose detection component and a display
CN101782823B (zh) * 2009-01-15 2011-10-12 汉王科技股份有限公司 基于图像传感器的位移检测输入装置及方法
US9733727B2 (en) * 2012-12-07 2017-08-15 Wen-Chieh Geoffrey Lee Optical mouse with cursor rotating ability
TWI497099B (zh) * 2013-04-19 2015-08-21 Pixart Imaging Inc 位移偵測裝置及其動態調整影像感測區域之方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101206539A (zh) * 2006-12-18 2008-06-25 三星电子株式会社 在3d空间中输入信息的信息输入装置和方法以及介质
US20100286940A1 (en) * 2009-05-07 2010-11-11 Takuhiro Dohta Storage medium storing information processing program, and information processing apparatus
US20110163950A1 (en) * 2010-01-06 2011-07-07 Cywee Group Ltd. 3d pointing device and method for compensating movement thereof
US20130023341A1 (en) * 2010-03-30 2013-01-24 Capcom Co., Ltd. Program and recording medium on which the program is recorded
CN103443746A (zh) * 2010-12-22 2013-12-11 Z空间股份有限公司 用户控制装置的在空间中的三维跟踪
CN103376916A (zh) * 2012-04-30 2013-10-30 晶隼科技股份有限公司 三维指向装置及系统

Also Published As

Publication number Publication date
US20210208699A1 (en) 2021-07-08
US20200142506A1 (en) 2020-05-07
US11669173B2 (en) 2023-06-06
US20160026264A1 (en) 2016-01-28
CN114047831A (zh) 2022-02-15
CN114047831B (zh) 2023-10-13
CN105320274B (zh) 2021-12-03

Similar Documents

Publication Publication Date Title
US11100649B2 (en) Fiducial marker patterns, their automatic detection in images, and applications thereof
EP3246660B1 (en) System and method for referencing a displaying device relative to a surveying instrument
US11669173B2 (en) Direct three-dimensional pointing using light tracking and relative position detection
US20140313228A1 (en) Image processing device, and computer program product
US9268410B2 (en) Image processing device, image processing method, and program
US20130208005A1 (en) Image processing device, image processing method, and program
CN106843602B (zh) 一种大屏幕遥控交互系统及其交互方法
JP2016173698A (ja) 没入型仮想空間でオブジェクト操作を制御するためのコンピュータ・プログラムおよびコンピュータ・システム
CN112288825A (zh) 相机标定方法、装置、电子设备、存储介质和路侧设备
CN114706489A (zh) 一种输入设备的虚拟方法、装置、设备和存储介质
JP2008181199A (ja) 画像表示システム
KR20160072306A (ko) 스마트 펜 기반의 콘텐츠 증강 방법 및 시스템
JP2016181302A (ja) 没入型仮想空間でオブジェクト操作を制御するためのコンピュータ・プログラムおよびコンピュータ・システム
CN113557492B (zh) 利用二维摄像头来辅助对象控制的方法、系统和非暂时性计算机可读记录介质
JP6382772B2 (ja) 視線誘導装置、視線誘導方法、および視線誘導プログラム
WO2019130729A1 (ja) 情報処理装置、情報処理方法および情報処理システム
JP6689492B2 (ja) 端末装置、データ処理システム及びプログラム
JP6242009B2 (ja) 広域画像に撮影領域枠を重畳表示する映像転送システム、端末、プログラム及び方法
CN110069065B (zh) 一种基于激光导航与图片识别的agv站点定位系统
JP2013257830A (ja) 情報処理装置
JP5493581B2 (ja) 情報処理システム、情報処理装置、情報管理装置及びプログラム
JP2017084004A (ja) 警備シミュレーション装置
JP2015194975A (ja) 電子機器、表示方法、プログラム及び通信システム
KR20120070318A (ko) 스테레오 비전을 이용한 위치검출 시스템 및 위치검출 방법
Hoang et al. Augmented Viewport: Towards precise manipulation at a distance for outdoor augmented reality wearable computers

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220307

Address after: Pepper Hill Road, Lexington, Kentucky, USA

Patentee after: AMEC Video Technology Co.,Ltd.

Address before: Taiwan, Hsinchu, China

Patentee before: AMCHAEL VISUAL TECHNOLOGY Corp.