CN102073393B - 应用于三维指向系统的方法 - Google Patents

Abstract

本发明提供一种运用于三维指向系统的方法。该三维指向系统包含有指向装置、感测阵列与显示面板，该感测阵列嵌设于该显示面板中。并且，该指向装置将指针投射于该显示面板上，以形成投射图像，并且通过该感测阵列来产生包含该投射图像的感测画面，本发明方法用以依据该感测画面来决定该指向装置所对应的至少一空间状态信息。

Description

应用于三维指向系统的方法

技术领域

本发明是关于三维指向系统，尤指一种运用于一三维指向系统的方法，该方法可决定该三维指向系统中的指向装置的位置。

背景技术

指向装置通常提供使用者输入与空间状态相关的信息至一计算机或一电子装置。传统上，指向装置的类型包含有鼠标、轨迹球、触控板等。而为了提供使用者更直觉式的指向装置，目前的相关技术已开发出通过照相机为或者是追踪感测器(tracking sensor)来检测使用者肢体上的动态，进而将这些动态作为使用者的输入信息的三维指向架构。然而这些架构往往伴随着某些限制，例如：使用者必须处于照相机或者是追踪感测器的感测范围内，其肢体动态才能被精准地撷取。再者，这些指向装置的外观尺寸也相对较大，且通常须设置于显示装置的附近，无疑增加了显示装置的体积。

另一方面，这些架构对于使用者所输入的空间信息的估算仍缺乏准确性与效率。因此，已知的相关技术中，仍有许多亟待改进之处。

发明内容

有鉴于此，本发明提供一种运用于一三维指向系统的方法，该方法可决定该三维指向系统中的指向装置的位置与相关的空间状态信息。

依据本发明的一实施例，其提供一种用于一三维指向系统的方法。该三维指向系统包含有一指向装置，一显示面板与一感测阵列，该感测阵列嵌设于该显示面板中。该方法用以决定该指向装置所对应的至少一空间状态信息。再者，该方法包含：利用该指向装置将一指针投射于该显示面板上形成一投射图像；利用该感测阵列产生包含该投射图像的一感测画面，其中该感测画面具有多个像素；计算该感测画面中多个第一感测区域所分别对应的多个第一感测值；以及依据该多个第一感测值，决定出该至少一空间状态信息中的一第一维度信息与一第二维度信息。

较佳者，该方法还包含有：依据该第一维度信息与该第二维度信息以于该感测画面中建立一第二感测区域；以及调整该第二感测区域的范围大小，并依据该第二感测区域内的一第二感测值的变化，决定该至少一空间状态信息中的一第三维度信息。

较佳者，该方法还包含有：依据该第一维度信息与该第二维度信息以于该感测画面中决定具有旋转关系的多个第三感测区域；产生分别对应于该多个第三感测区域的多个第三感测值；以及依据该多个第三感测值来决定该至少一空间状态信息中的一旋转信息。

较佳者，该方法还包含：依据该感测画面中的该投射图像所对应的一几何比例，决定该至少一空间状态信息中的一倾斜信息。

附图说明

图1为本发明方法所应用的一三维指向系统的结构示意图。

图2为本发明方法中决定一第一维度信息与一第二维度信息的概念示意图。

图3为本发明方法中决定该第一维度信息与该第二维度信息的概念示意图。

图4为本发明方法中决定一第三维度信息的概念示意图。

图5为本发明方法中决定一旋转信息的概念示意图。

图6为本发明方法中决定该旋转信息的概念示意图。

图7为本发明方法中决定一倾斜信息的概念示意图。

图8为解释本发明方法所决定的不同空间状态的关系示意图。

图9为本发明方法的一实施例的流程图。

图10～14为绘示运用本发明方法的该三维指向系统中该指针所具备的型样。

[主要元件标号说明]

100                               三维指向系统

110                               指向装置

115                               指针

120                               感测阵列

125                               显示面板

201_1～201_n、301～305、401～419  感测区域

P                                 投射图像

910～950                          步骤

A～D                              矩阵

具体实施方式

本发明的概念将于下文中搭配不同实施例与相关图式来进行说明。其中，于不同图式中具有相同标号的元件与图形代表着两者本质上相同。故，以下内文将会省略重复性的叙述。再者，文中不同实施例中所提及的不同技术特征，并不局限于该实施例，事实上，于本发明的合理范畴中，可通过对某个实施例的适当修改，以使其具备其它实施例所特有的技术特征。

此外，以下的说明为使阅读者可清晰并毫无窒碍地理解本发明的概念，故通过特定的数值来解释本发明的细节，但这些数值与这些数值所衍生的对应过程与结果仅代表本发明的一种可能实施态样，而非本发明的限制。

请参考图1，其为运用本发明方法的三维指向系统的结构示意图。如图所示，三维指向系统100包含有指向装置110与感测阵列120。其中，感测阵列120被嵌设于显示面板125中，进而形成感测系统。较佳地，感测阵列120大致上构成一平行于显示面板125的显示面的平面。指向装置110会产生一投射光线，用以将其输出方的一具有特定形状的指针115投射于显示面板125上形成一投射图像P。使用上，使用者可握持指向装置110，并通过摆动或旋转指向装置110来输入特定的控制信息，进而于显示面板125上形成不同的投射图像P。本发明的方法即通过投射图像P来判断指向装置110于空间中的位置与状态(如：倾斜或旋转)。接着，分析这些相关信息可解读出使用者所输入的控制信息。

本发明方法可能以软件或固件的形式被一处理装置(未示出)所执行，而该处理装置依据感测阵列120所产生的感测信息(如：一输出感测画面)来决定指向装置110所对应的空间状态信息，其中可能包含有一第一维度信息X、一第二维度信息Y、一第三维度信息Z、一旋转信息θ以及一倾斜信息ψ，这些不同空间状态信息的关系请参考图8。其中，第一维度信息X、第二维度信息Y以及第三维度信息Z代表指向装置110于卡氏坐标系统中的对应位置。而旋转信息θ代表指向装置110于XY平面上的投影与X轴的夹角，倾斜信息ψ则代表指向装置110与Z轴的夹角。

本发明的方法进行之初，会通过感测阵列120来产生包含投射图像P的一感测画面SeF，且感测画面SeF具有多个像素。其中，每一像素会对应由感测阵列120所实时产生的多个亮度值(分别由其中的感测单元所产生)。接着，请参考图2，其解释本发明如何决定指向装置110的空间状态信息中的一第一维度信息X与一第二维度信息Y。基本上，第一维度信息X与第二维度信息Y代表着指向装置110的指针115的中心点于感测阵列上的投射位置。为了求得第一维度信息X与第二维度信息Y，本发明方法会计算感测画面SeF中多个第一感测区域200_1～200_n所分别对应的多个第一感测值，其中，每一第一感测区域200_1～200_n又分别包含有多个像素Pi(图示中仅于第一感测区域200_3m+1中绘示出)。而第一感测值是通过计算第一感测区域中像素的亮度值总和所得。当每一第一感测区域的第一感测值计算出来以后，可进一步决定出空间状态信息中的第一维度信息X与第二维度信息Y。接着，本发明方法将自多个第一感测值中决定一最大值。举例来说，由于投射图像P的位置大概落于第一感测区域200_1、200_2、200_m+1以及200_m+2，所以这几个第一感测区域理论上会具有较大的第一感测值。再者，由于第一感测区域200_m+1中所包含的投射图像P的部分较靠近于中心点O，所以该部分会有较大的亮度值，因而使得第一感测区域200_m+1的第一感测值又会大于第一感测区域200_1、200_2以及200_m+2。因此，当具有最大的第一感测值的第一感测区域200_m+1被决定出来以后，接着便可进一步决定出第一维度信息X与第二维度信息Y，而关于其中的细节请参考图3。

当第一感测区域200_m+1被选出以后，则观察其中每一个像素的亮度值。由于投射图像P的中心点O(对应于指向装置110的指针115的中心点，该点会输出具有最大强度的投射光线)恰落于像素(8,m+2)的位置，所以，该像素会具有最大的亮度值，本发明方法即利用所选出的第一感测区域中具有最大亮度值的像素的相关位置(8,m+2)来决定此时指向装置110的第一维度信息X与第二维度信息Y为(8,m+2)。

接着，当第一维度信息X与第二维度信息Y信息决定后，便可依据第一维度信息X与第二维度信息Y来决定指向装置110的空间状态信息中的第三维度信息Z，其中的详细概念请参考图4。如图所示，由于第三维度信息Z代表于指向装置110与感测阵列120之间的距离，因此，依据投射图像P的大小便可得知第三维度信息Z的对应数值。本发明通过一尺寸大小递增的一第二感测区域，来决定投射图像P的大小，藉此判断第三维度信息Z。最初，本发明方法会先于感测画面SeF中建立一第二感测区域的初始区域范围301(其可能对应于第三维度信息Z的最小值a)，并且初始区域范围301的中心点即为投射图像P的中心点位置(8,m+2)，之后，计算初始区域范围301的第二感测值S1(可能由计算区域范围301中的像素亮度值总和所得)。接着，调整第二感测区域的初始区域范围301，以得到第二感测区域的一调整后目前区域范围302(其对应于第三维度信息Z的值b)，并计算其中的像素亮度值总和S2。接着，本发明方法比较第二感测值S1与第二感测值S2之间的差值，当这个差值小于一临界值时则表示目前区域范围302与初始区域范围301所包含的投射图像P的部分已大致相差无几，换言之，初始区域范围301已包含投射图像P的大部分，因此投射图像P的第三维度信息Z应该是初始区域范围301所对应的值a。

然而，若是第二感测值S1与第二感测值S2之间的差值大于该临界值时，则表示目前区域范围302与初始区域范围301所包含的投射图像P的部分还相差甚多，因此要再调整区域范围302的大小，以产生一更大的区域范围303(对应于第三维度信息Z的值c，且中心点仍维持于(8,m+2))，并且计算出其中的第二感测值S3，而第二感测值S3与第二感测值S2的差值仍需被比较，并决定是否继续调整目前区域范围302的大小，抑或是可将第三维度信息Z决定为c。于图4所代表的范例，一直调整到成区域范围305时，才发现区域范围304的第二感测值S4与区域范围305的第二感测值S5相差无几，此时便得出第三维度信息Z的值为区域范围304所对应的值d。

接着，本发明会进一步计算的旋转信息θ，关于计算旋转信息θ的方式，请参考图5。首先，本发明方法依据指向装置110的第一维度信息X与该第二维度信息Y：(8,m+2)来于感测画面SeF中决定出多个具有旋转关系的第三感测区域401～419(仅绘示部分)，其中，每一第三感测区域是围绕着中心点(8,m+2)而有相隔10度的旋转(请注意，这个数值与衍生的过程和结果皆非本发明的限制)。因此，第三感测信息401对应的旋转信息θ为0度，第三感测信息402对应的旋转信息θ为10度，第三感测信息410对应的旋转信息θ为90度，以及第三感测信息411对应的旋转信息θ为100度，依此类推。其次，本发明会接着计算每一第三感测区域401～419所分别对应的第三感测值。其中，计算每一第三感测值方式为计算第三感测区域中所包含的多个像素的亮度值的总和。

再者，当所有的第三感测值都被计算出来以后，本发明会接着自多个第三感测值中决定一最大值，其中该最大值对应于一特定第三感测区域即，并且该特定第三感测区域所对应的旋转角度即会作为来旋转信息θ。举例来说，于图5的范例中，第三感测区域403所对应的第三感测值应为最大值(因其包含了投射图像P的大部分)，故此时指向装置110的旋转信息θ应为100度。然而，应当注意的是，以上的角度间隔仅为本发明诸多实施态样中一者，并非本发明的限制，于本发明其它实施例中，应有其它不同的角度间隔。

为了加速旋转信息θ的计算方法，本发明方法会利用一查找表来记录对应多个不同旋转角度的多个像素排列型样，并且利用多个像素排列型样来产生第三感测区域401～419，关于这种加速方式请参考图6。举例来说，矩阵A将会对应旋转角度为0度的像素排列型样，而若是将以中心点为(8,m+2)的7*7个像素的亮度值所组成的矩阵D乘上矩阵A(此时，中心点(8,m+2)的亮度值即为a25，其它矩阵元素与像素亮度值的关系可依此类推)时，则可计算得对应于旋转角度0度的第三感测区域401所对应的第三感测值(换言之，矩阵A等效上对应于第三感测区域419)。而若是将矩阵D乘上矩阵B时，则可计算得对应于旋转角度40度的第三感测区域405的的第三感测值，以及若是将矩阵D乘上矩阵C，则可计算得对应于旋转角度90度的第三感测区域410的第三感测值。换言之，该查找表记录了对应于不同旋转角度的多个矩阵。通过该多个矩阵，可决定具有最大的第三感测值的一特定第三感测区域，而其所对应的特定旋转角度即可作为旋转信息θ所对应的角度值。因为，这样的情形代表投射图像P的大部分范围被该特定第三感测区域所包含，所以投射图像P的旋转角度应与该特定第三感测区域的旋转角度相仿，故该特定第三感测区域的旋转角度可代表投射图像P的旋转角度以作为指向装置110的旋转信息θ。

关于指向装置110的倾斜信息ψ的决定方式请参考图7，其主要依据投射图像P的一几何比例来决定。其中，本发明方法会先计算投射图像P的一第一轴Axis_A1与一第二轴Axis_A1的长度，之后再取得两者的比例值RP。再来，本发明方法会计算指向装置110的指针115的一第一轴Axis_A0与一第二轴Axis_A0的长度，以及两者的比例R1。其主要概念在于，当指向装置110所产生的光线若非垂直于感测阵列120(或者是显示面板125)时，则投射图像P的几何比例RP并不会等同于指针115的几何比例R1。因此，通过比较几何比例RP与几何比例R1的关系，可得知指向装置110的倾斜信息ψ。为能加速倾斜信息ψ的计算，本发明进一步利用一查找表来记录基于一固定比例值R1(亦即，指向装置110的指针115的形状为固定)的情形下，倾斜角度与比例值RP的关系。故本发明方法在运用上可自多个基于不同比例值R1的查找表中选择对应于目前指针115的比例值R1的一查找表，该查找表会储存多个预定比例值RR1～RRn，其中比例值RR1～RRn分别映射至多个不同倾斜角度。再者，本发明方法依据比例值RP来与预定比例值RR1～RRn比对，以决定最适合的一倾斜角度，并以该倾斜角度来作为指向装置110的倾斜信息ψ。

指向装置110的倾斜角度可能会进一步影响其它空间装置信息的判断正确率，这是因为当指向装置100处于过度倾斜的状态时，则投射图像P将无法完全生成于感测阵列120上。亦即，部分的投射图像P将会超出感测阵列120的范围，故导致指向装置110所对应的倾斜角度无法正确地被决定。因此，于本发明的一实施例中，当倾斜信息ψ所对应的倾斜角度大于一特定值时，则本发明会终止决定其它空间状态信息的步骤。

依据一实施例，本发明的方法可归纳为图9所示的流程图。请参考图9。最初，为了增加空间状态信息的正确性，本发明方法会先取得倾斜信息，因此，于步骤910中，会依据一感测画面中的一投射图像所对应的一几何比例来决定一倾斜信息。接着，于步骤920中，会进行该倾斜信息的判断，以判别该倾斜信息是否大于一预定数值。若结果为是，则代表指向装置过于倾斜，故本发明方法至此将结束；若否，则继续进入步骤930。于步骤930中，会计算感测画面中多个第一感测区域所分别对应的多个第一感测值，并且依据该多个第一感测值，决定出一第一维度信息与一第二维度信息。之后，继续进入步骤940，依据该第一维度信息与该第二维度信息以于该感测画面中建立一第二感测区域，并且调整该第二感测区域的范围大小，依据该第二感测区域内的一第二感测值的变化来决定该至少一空间状态信息中的一第三维度信息。最后，进行步骤950，依据该第一维度信息与该第二维度信息以于该感测画面中决定具有旋转关系的多个第三感测区域，并且产生分别对应于该多个第三感测区域的多个第三感测值，以及依据该多个第三感测值来决定一旋转信息。此外，为增加本发明方法所产生的空间信息的正确率，于本发明的一实施例中，在取得该感测画面后，可能会先对该感测画面进行降低背景噪声等额外的信号处理。待信号处理完毕后，处理后的该感测画面才会被用于决定该空间信息。

此外，应当注意的是，指针115需具备指向形功能，为不对称形图案，例如为一T字状的型样。然而，于本发明其它实施例中，指针115仍可能由其它型样来加以实施。其中，部分可能的型样是绘示于图10～14。举例来说，指针115可能为图11所示的箭头状型样，因此，于后续操作中，感测面120会产生包含有近似于箭头状的一投射图像的感测画面，而本发明方法则可据此等感测画面来决定指向装置110的空间状态信息。换言之，图10～14所示的指针型样均可适用于本发明。因此，说明书与图式中出现的指针型样并非本发明方法于应用上的限制。广义上来说，本发明方法是运用具有特定型样的指针所产生的投射图像来决定空间状态信息。故凡是在操作概念上与本发明相符的技术手段均应视为本发明的范畴，而非局限于具有某种特定型样的指针。

总结来说，虽然三维指向系统可提供使用者相当直觉式的操控感受，然而随着三维指向系统的架构不同，目前相关技术对于其中的指向装置的定位演算仍有诸多亟待改善之处，而本发明对于指向装置的空间信息的取得提供了相当准确且具效率的方式。

以上所述仅为本发明的较佳实施例，凡依本发明权利要求范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (13)

1.一种用于三维指向系统的方法，该三维指向系统包含有指向装置、显示面板与感测阵列，该感测阵列嵌设于该显示面板中，该方法包含： 

利用该指向装置将指针投射于该显示面板上形成投射图像； 

利用该感测阵列产生包含该投射图像的感测画面，其中该感测画面具有多个像素； 

计算该感测画面中多个第一感测区域所分别对应的多个第一感测值； 

依据该多个第一感测值，决定出至少一空间状态信息中的第一维度信息与第二维度信息； 

依据该第一维度信息与该第二维度信息以于该感测画面中建立第二感测区域；以及 

调整该第二感测区域的范围大小，并依据该第二感测区域内的第二感测值的变化，决定该至少一空间状态信息中的第三维度信息， 

其中第一维度信息、第二维度信息以及第三维度信息代表指向装置于卡氏坐标系统中的对应位置，而旋转信息代表指向装置于XY平面上的投影与X轴的夹角，倾斜信息则代表指向装置与Z轴的夹角。 

2.根据权利要求1所述的方法，其中计算该感测画面中该多个第一感测区域所分别对应的该多个第一感测值的步骤包含： 

计算每一第一感测区域中所包含的多个像素的多个亮度值总和，以产生每一第一感测区域所对应的第一感测值。 

3.根据权利要求2所述的方法，其中决定出该第一维度信息与该第二维度信息的步骤包含： 

自该多个第一感测值中决定最大值； 

自该最大值所对应的特定第一感测区域中决定具有最大亮度值的特定像素；以及 

依据该特定像素所对应的位置信息，来决定该第一维度信息与该第二维度信息。 

4.根据权利要求1所述的方法，其中决定该第三维度信息的步骤包含： 

依据该第二感测区域的初始区域范围内的多个像素的亮度值来产生对应该初始区域范围的该第二感测值； 

调整该第二感测区域的该初始区域范围而得到目前区域范围；以及 

进行第三维度信息产生操作： 

依据该第二感测区域的该目前区域范围内的多个像素的亮度值来产生对应该目前区域范围的该第二感测值； 

当对应该目前区域范围的该第二感测值与对应前一区域范围的第二感测值之间的差异小于一临界值时，依据该第二感测区域的该目前区域范围的大小来决定该第三维度信息；以及 

当对应该目前区域范围的该第二感测值与对应前一区域范围的第二感测值之间的差异不小于该临界值时，更新该第二感测区域的该目前区域范围，并重复执行该第三维度信息产生操作。 

5.根据权利要求4所述的方法，其中产生对应该初始区域范围的该第二感测值的步骤包含有：计算该第二感测区域的该初始区域范围内的该多个像素的亮度值的总和来产生对应该初始区域范围的该第二感测值；以及对应该目前区域范围的该第二感测值的步骤包含有：计算该第二感测区域的该目前区域范围内的该多个像素的亮度值的总和来作为对应该目前区域范围的该第二感测值。 

6.根据权利要求1所述的方法，还包含有： 

依据该第一维度信息与该第二维度信息以于该感测画面中决定具有旋转关系的多个第三感测区域； 

产生分别对应于该多个第三感测区域的多个第三感测值；以及 

依据该多个第三感测值来决定该至少一空间状态信息中的旋转信息。 

7.根据权利要求6所述的方法，其中依据该第一维度信息与该第二维度信息以于该感测画面中决定具有旋转关系的该多个第三感测区域的步骤包含有： 

提供查找表，其储存多个像素排列型样分别映射至多个不同旋转角度；以及 

依据该查找表与该第一、第二维度信息，自该感测画面中决定出分别对应该多个不同旋转角度的该多个第三感测区域。 

8.根据权利要求7所述的方法，其中产生分别对应于该多个第三感测区域的该多个第三感测值的步骤包含：计算每一第三感测区域中所包含的多个像素的多个亮度值的总和，来作为每一第三感测区域的第三感测值；以及依 据该多个第三感测值来决定该至少一空间状态信息中的该旋转信息的步骤包含： 

自该多个第三感测值中决定最大值，其中该最大值对应特定第三感测区域；以及 

依据该特定第三感测区域所对应的旋转角度来决定该旋转信息。 

9.根据权利要求1所述的方法，还包含： 

依据该感测画面中的该投射图像所对应的几何比例，决定该至少一空间状态信息中的倾斜信息。 

10.根据权利要求9所述的方法，还包含： 

依据该倾斜信息来决定是否执行决定其它空间状态信息的步骤。 

11.根据权利要求9所述的方法，其中决定该倾斜信息的步骤包含有： 

计算该指针的第一轴所对应的长度与第二轴所对应的长度之间的第一比例值； 

计算该投射图像的第一轴所对应的长度与第二轴所对应的长度之间的第二比例值；以及 

依据该第一比例值与该第二比例值的关系来决定该倾斜信息。 

12.根据权利要求11所述的方法，其中依据该第一比例值与该第二比例值的关系来决定该倾斜信息的步骤包含有： 

依据该第一比例值选择查找表，其储存多个第二预定比例值分别映射至多个倾斜角度；以及 

依据该第二比例值与该多个第二预定比例值以自该查找表中决定特定倾斜角度；以及 

依据该特定倾斜角度来决定该倾斜信息。 

13.根据权利要求1所述的方法，其中该指针包含非对称形图案。 

Images