CN103941884B - 具有较大可操作范围的指向系统及图像系统 - Google Patents

Abstract

本发明涉及一种具有较大可操作范围的指向系统及图像系统。一种指向系统，包含图像传感器、多个参考点以及处理单元。所述图像传感器用以获取包含所述参考点中的至少一个参考点的图像的图像帧。所述处理单元识别参考点图像的图像数目并根据相对所述图像数目的定位演算法来计算瞄准点坐标。

Description

具有较大可操作范围的指向系统及图像系统

技术领域

本发明是关于一种互动式系统，特别是关于一种可根据不同的参考点图像的图像数目使用不同的定位演算法的指向系统及图像系统。

背景技术

光学式指向系统通常是利用图像传感器获取多个参考点的参考点图像，并根据所述参考点图像预先设计定位演算法并内建于处理单元中。所述处理单元在实际操作时，即利用所述定位演算法以及所述图像传感器获取的所述参考点图像来进行瞄准点定位。

然而某些情形下，例如操作距离太近，所述参考点图像其中一部分可能未被包含于所述图像传感器所获取的图像帧中，所述处理单元则无法根据内建的定位演算法进行瞄准点定位。

例如，国际专利公开第WO2012/114240号揭示一种从相机远端控制估测控制参数的方法。如图1A所示，所述估测方法利用遥控器10获取两系统参考点31、32的参考点图像并根据两参考点图像进行定位，当所述遥控器10无法同时获取到两系统参考点31、32的参考点图像时，所述遥控器10则先利用两环境光源41、42的光源图像估测出两系统参考点31、32的参考点图像的图像信息后，再根据所估测的图像信息进行瞄准点定位。

如图1B所示，当目前图像I1中仅包含一个系统参考点32的参考点图像32′但未包含另一个系统参考点31的参考点图像31′时，所述遥控器10则必须根据所述目前图像I₁的前一张图像I₂中的参考点图像31′、32′和光源图像41′、42′以及所述目前图像I₁中的参考点图像32′和光源图像41′、42′估测所述目前图像I₁中所述参考点图像31′的图像信息。

换句话说，所述估测方法必须根据所有参考点图像，例如31′、32′，方能进行瞄准点定位，当无法取得所有参考点图像时则无法进行瞄准点定位。

有鉴于此，本发明还提出一种可根据不同参考点图像的图像数目使用不同的定位演算法的互动系统，可增加有效可操作视野和有效可操作距离。

发明内容

本发明的目的在提供一种具有较大可操作范围的指向系统及图像系统，其透过内建不同定位演算法以根据不同的参考点图像数目进行指标定位。

本发明另一目的在提供一种可使用较小尺寸的图像感测阵列的指向系统及图像系统。

本发明提供一种指向系统，包含多个参考点以及遥控器。所述参考点以可识别光谱发光。所述遥控器用以获取包含所述参考点中至少一个参考点图像的图像帧，根据相对所述图像帧中参考点图像的图像数目的定位演算法进行指标定位。

本发明还提供一种图像系统，包含显示装置、多个参考点以及遥控器。所述显示装置显示有光标。所述参考点以可识别光谱发光。所述遥控器用以获取包含所述参考点中至少一个参考点的图像的图像帧，根据相对所述图像帧中参考点图像的图像数目的定位演算法计算并输出所述光标的光标坐标。

本发明还提供一种指向系统，包含多个参考点以及遥控器。所述参考点以可识别光谱发光。所述遥控器用以获取包含所述参考点中至少一个参考点的图像的图像帧和识别所述图像帧中的参考点的图像数目，当所述参考点的图像数目等于所述参考点的参考点数目时根据所述图像帧输出指向坐标，当所述参考点图像数目小于所述参考点数目时根据所述图像帧输出相对位移。

一实施例中，所述参考点可结合于所述显示装置或与所述显示装置分离；其中，当所述参考点另外设置于独立装置上时，在运作时所述参考点只要放置于方便使用者操作之处即可，可增加使用便利性。

一实施例中，所述遥控器包含用以执行相对不同的所述图像数目的所述定位演算法的处理单元。例如，所述处理单元可选择执行相对1-4个所述图像数目的定位演算法其中一者。此外，当所述图像帧中的图像数目大于4时，所述处理单元可根据相对4个所述图像数目的定位演算法进行指标定位，以减少内建的演算法数目。

一实施例中，为了能够区别不同的参考点并与环境光区隔，所述参考点较佳具有不同的特征以供所述遥控器能够分辨不同的参考点图像的特征值；其中，所述不同特征例如可于发光时以不同频率或不同亮度发光或于制作时将各参考点设计成具有不同面积或不同形状等。如果不同的参考点可被分辨，于操作时则同时能够根据不同参考点的位置及空间关系识别遥控器的二维或三维旋转角度，以增进定位精确度。

一实施例中，所述遥控器所获取的图像帧中可能仅包含1个参考点图像，因此所述遥控器可选择设置三轴加速度计或重力加速度计来配合参考点图像于图像帧中的相对位移量以输出指向坐标。此外，所述遥控器也可能根据2个以上的参考点图像的其中一者或其平均位置计算相对位移量，并配合三轴加速度计或重力加速度输出指向坐标。

本发明实施例的指向系统及图像系统中，由于图像帧中不论包含多少个参考点图像，所述遥控器均能够据此进行指标定位、计算指向坐标或相对位移，因此即使使用者靠近所述参考点或指向方向发生偏移，仍能够正确进行指标定位。此外，遥控器可选择使用具有较小尺寸的感测阵列以降低成本。

附图说明

图1A显示已知指向系统的示意图；

图1B显示图1A的指向系统所获取的图像帧的示意图；

图2A显示本发明实施例的图像系统的示意图；

图2B显示本发明实施例的指向系统及图像系统的遥控器的方块示意图；

图3显示本发明实施例的指向系统及图像系统的示意图，其包含四个参考点；

图4显示本发明实施例的图像系统的操作示意图，其中所述图像传感器的视野范围仅包含三个参考点；

图5显示本发明实施例的图像系统的操作示意图，其中所述图像传感器的视野范围仅包含两个参考点；

图6显示本发明实施例的图像系统的操作示意图，其中所述图像传感器的视野范围仅包含一个参考点；

图6A显示本发明实施例的图像系统的操作示意图，其中所述遥控器包含三轴加速度计；

图7A显示本发明实施例的指向系统及图像系统中，不同参考点以不同频率发光的示意图；

图7B显示本发明实施例的指向系统及图像系统中，不同参考点以不同亮度发光的示意图；

图7C-7D显示本发明实施例的指向系统及图像系统中，不同参考点的不同特征的示意图；

图8显示本发明实施例的指向系统及图像系统的操作示意图。

附图标记说明

10 遥控器 20 显示屏

31、32 系统参考点 41、42 环境光源

31′、32′ 参考点图像 41′、42′ 光源图像

5 显示装置 51 显示屏

511 光标 61-64 参考点

7 遥控器 71 图像传感器

72 处理单元 73 存储单元

74 输出单元 75 加速度计

751-753 加速度传感器 754 控制电路

FV-FV₆ 视野范围 IF 图像帧。

具体实施方式

为了让本发明的上述和其他目的、特征、和优点能更明显，下文将配合所附图示，作详细说明如下。在本发明的说明中，相同的构件以相同的符号表示，在此提前说明。

请参照图2A所示，其显示本发明实施例的图像系统的示意图，包含显示装置5、多个参考点（此处例如显示为四个参考点61-64，但不限于此）以及遥控器7。所述显示装置5可为液晶显示装置、投影显示装置、电浆显示装置或其他用以显示图像的装置，其可具有显示屏51以显示光标511。所述遥控器7供使用者（未绘示）握持以相对控制所述显示装置5。所述参考点61-64例如可为发光二极体、雷射二极体或其他主动式点光源，以可识别光谱发光；例如，为了避免影响使用者观看所述显示屏51所显示的图像，所述参考点61-64可发出不可见光，例如红外光。此外，所述参考点61-64可结合于所述显示装置5上（如图2A所示）或另外设置于独立装置以与所述显示装置5实体分离（如图2B所示），只要于使用时放置在适当位置即可。可以了解的是，图2A和2B中各元件的比例关系仅为例示性，并非用以限定本发明。

所述遥控器7则根据所获取的图像帧中相对所述参考点61-64的参考点图像的位置、空间关系或位置变化来控制所述光标511在所述显示屏51上移动或控制应用程式的执行。本实施例中，所述遥控器7用以获取包含所述参考点中至少一参考点图像的图像帧，根据相对所述图像帧中所述参考点图像的图像数目的定位演算法进行指标定位；其中，当所述遥控器7用以控制所述光标511的动作时，所述遥控器7则计算并输出所述光标511的光标坐标和/或相对位移量。

请参照图2B所示，其显示本发明实施例的图像系统及指向系统的遥控器7的方块示意图，其包含图像传感器71、处理单元72、存储单元73以及输出单元74。

所述图像传感器71例如为CCD图像传感器、CMOS图像传感器或其他用以感测光能量的感测装置，并具有视野范围FV（如图2A）。所述图像传感器71可以固定或可变的采样频率（sampling frequency）获取并输出图像帧IF。可以了解的是，本发明说明中所述视野范围FV的形状仅为例示性。

所述处理单元72例如可为数位处理器（DSP），其接收来自所述图像传感器71的图像帧IF后即先识别所述图像帧IF中参考点图像的图像数目。接着，所述处理单元72选择执行相对所述参考点图像的图像数目的定位演算法进行指标定位、计算指向坐标、计算光标坐标和/或计算相对位移量。

所述存储单元73储存有相对不同图像数目的不同定位演算法。一实施例中，所述存储单元73储存有分别相对1-4个所述图像数目的定位演算法。一实施例中，当所述图像数目大于4时，由于根据4个参考点图像即可识别所述遥控器7的二维和三维旋转角度以及计算指向坐标，所述遥控器7则可根据相对4个所述图像数目的定位演算法进行指标定位。更详细的讲，当所述处理单元72识别出超过4个参考点图像时，所述处理单元72可选择其中4个参考点图像进行指标定位、计算光标坐标和/或计算相对位移量。另一实施例中，所述遥控器7内也可内建相对5个、6个甚至更多参考点图像的定位演算法，并无特定限制。一实施例中，所述存储单元73可包含于所述处理单元72内以形成处理单元72′，故所述处理单元72′包含所述存储单元73的功能。所述处理单元72′接收来自所述图像传感器71的图像帧IF后即先识别所述图像帧IF中参考点图像的图像数目，并选择执行相对不同的所述图像数目的所述定位演算法其中一者。

所述输出单元74则透过有线或无线的方式将所述处理单元72所求得的结果传送至所述显示装置5以进行相对应控制；其中，有线和无线传输技术已为已知，故在此不再赘述。

当所述图像传感器7的视野范围FV包含所有参考点时，所述遥控器7可识别出其所获取的图像帧IF中包含N个参考点图像，并根据相对于N个参考点图像的定位演算法进行指标定位、计算指向坐标、计算光标坐标和/或计算相对位移量。

例如一实施例中，本发明实施例的图像系统可包含至少三个不共线且分别被给定不同识别码的定位参考点61-63以及位于或邻近于所述定位参考点61-63其中两定位参考点的连线的辅助参考点64（即N=4），如图3所示。所述遥控器7则用以侦测所述定位参考点61-63和辅助参考点64。借此，所述遥控器7可根据所述定位参考点61-63和辅助参考点64的空间关系求得所述定位参考点61-63的识别码，当遥控器7于获取图像时相对于所述定位参考点61-63旋转（如图3所示箭头）时仍能够正确识别各定位参考点61-63并据此正确进行坐标运算。关于利用4个参考点进行指标定位的详细实施方式例如可参照本案相同受让人所拥有的美国专利公开第20060261247号所揭示的内容。然而必须说明的是，利用4个参考点进行指标定位的方式并不限定为此种实施方式。此外，根据不同的演算法，所述参考点的排列方式也可以不同，例如可位于四个角落。

当所述遥控器7较为靠近所述参考点61-64或操作角度并非正向面对所述参考点而导致所述视野范围FV仅包含部分参考点时，所述遥控器7则根据相对不同的参考点图像的定位演算法来进行指标定位、计算指向坐标、计算光标坐标和/或计算相对位移量。

一实施例中，当视野范围FV₁包含3个参考点62-64而未包含参考点61时，如图4所示，所述遥控器7（或所述处理单元72）则可识别出图像帧中仅包含3个参考点图像。此时，所述遥控器7可于图像帧中标记出各参考点图像并计算所述参考点图像的投影转换矩阵，接着将所述投影转换矩阵映射至平面坐标空间，以计算旋转角度和瞄准点坐标。关于利用3个参考点图像所计算出的转换矩阵来进行指标定位和/或计算光标坐标的详细实施方式，例如可参照本案相同受让人所拥有的美国专利第7857703号、第7611412号以及第8206221号所揭示的内容。然而必须说明的是，利用3个参考点进行指标定位的方式并不限定为这些实施方式。同理，参考点的排列方式和所述视野范围FV₁所包含的参考点也并不限于图4所揭示的内容。

一实施例中，当所述视野范围包含2个参考点时，所述遥控器7（或所述处理单元72）则可识别出图像帧中仅包含2个参考点图像，例如图5所示的视野范围FV₂或FV₃。此时，所述遥控器7即可根据2个参考点图像进行距离补偿和角度补偿以正确进行指标定位和/或计算光标坐标。关于利用2个参考点图像的定位演算法例如可参照本案相同受让人所拥有的美国专利公开第20070273646号以及20080158436号所揭示的内容。同理，参考点的排列方式和所述视野范围FV₂或FV₃所包含的参考点也并不限于图5所揭示内容。

一实施例中，当所述视野范围包含1个参考点时，所述遥控器7（或所述处理单元72）则可识别出图像帧中仅包含一个参考点图像，例如图6所示的视野范围FV₄-FV₆。此时，所述遥控器7即可根据所述参考点图像在图像帧中的位置变化计算相对位移量。此外，为了同时能够侦测所述遥控器7的旋转角度，所述遥控器7较佳包含三轴加速度计（accelerometer）75以根据加速度感测信号来修正所计算出的参考点图像的坐标位置，或者将所述参考点设计成具有能够分辨出旋转角度的特征（例如L型）以修正所计算出的参考点图像的坐标位置。

例如图6A显示本发明实施例的遥控器7的透视图，其包含所述图像传感器71、所述三轴加速度计75以及所述处理单元72。所述三轴加速度计75用以感测加速度值V_X、V_Y及V_Z，其中加速度值V_X、V_Y及V_Z分别代表遥控器7在空间上的三个维度（例如分别以X、Y与Z这三个轴来表示）的加速度值。在此例中，所述三轴加速度计75包括有三个加速度传感器（分别以751-753来标示）与一个控制电路754。所述加速度传感器751、752与753分别用以感测加速度值V_X、V_Y和V_Z，并分别将感测到的加速度值输出至控制电路754。所述控制电路754用以判断加速度值V_X、V_Y和V_Z之和的绝对值是否在预定加速度范围内，所述预定加速度范围例如是重力单位（g）。当判断结果为是时，控制电路754便产生加速度传感信号来代表其中二个加速度值的比，例如是代表加速度值V_X和加速度值V_Y的比。

由于图像传感器71所获取的图像帧的长边设定为平行于X轴，而图像传感器71所获取的图像帧的短边设定为平行于Y轴，因此当使用者握着遥控器7而停悬在空中，并使得加速度传感器752的感应轴实质上平行于重力方向，而加速度传感器751与753的感应轴都实质上垂直于重力方向时，加速度值V_Y则为+g或-g的其中一者，而加速度值V_X和V_Z都为零。反之，当使用者握着遥控器7而停悬在空中，并将握着遥控器7的手的手腕旋转180度，使得图像传感器71所获取的图像也跟着旋转180度，且使得加速度传感器752的感应轴仍实质上平行于重力方向，而加速度传感器751与753的感应轴仍都实质上垂直于重力方向时，加速度值V_Y则为+g或-g其中另一者，而加速度值V_X和V_Z都为零。

因此，控制电路754可以去判断加速度值V_X、V_Y和V_Z之和的绝对值是否落于重力单位。当判断结果为否时，表示此时遥控器7受外力而突然移动，因此控制电路754不输出任何信号。而当判断结果为是时，控制电路754便可产生加速度感测信号来代表加速度值V_X和加速度值V_Y的比。由于加速度感测信号可代表加速度值V_X和加速度值V_Y的比，因此处理单元72（72′）在接收到图像传感器71的光学感测信号与三轴加速度计75的加速度感测信号后，便可依据加速度感测信号来判断遥控器7沿其轴向的旋转角度，并可依据加速度感测信号来修正光学感测信号中的坐标位置，据此产生输出信号。如此一来，与遥控器7搭配使用的主机便可根据此输出信号来控制显示装置所显示的画面上的物体，例如控制画面上的光标，而不会发生错误。

关于利用1个参考点图像的定位演算法例如可参照本案相同受让人所拥有的台湾专利申请第101120524号所揭示的内容。同理，参考点的排列方式和所述视野范围FV₄-FV₆所包含的参考点也并不限于图6所揭示内容。

虽然上述各实施例中指出所述遥控器7所获取的图像帧IF中可分别包含1-4个参考点图像，但本发明并不以此为限。本发明实施例的图像系统和指向系统也可能包含4个以上的参考点。一种实施例中，当所述遥控器7识别出4个以上的参考点图像时，可选择其中4个参考点图像并根据相对应的定位演算法进行指标定位和/或计算光标坐标；另一实施例中，所述遥控器7（或所述处理单元72′内）可另储存有相对应的定位演算法，例如本案相同受让人所拥有的美国专利公开第20090153479号中记载有根据6个参考点计算出转换矩阵来进行指标定位的方法，而所述遥控器7则可根据相对应的定位演算法来运作。

此外，如前所述，所述遥控器7（或所述处理单元72）于某些情况下较佳能够分辨出每一个参考点。因此，本发明实施例的图像系统及指向系统较佳还包含调变单元用以调变所述参考点的发光频率和/或发光亮度，而所述遥控器7则具备解调变的功能以识别不同的参考点。例如，所述调变单元可以不同频率调变不同参考点以使得不同参考点可具有不同特征值，如图7A所示；其中，关于以不同频率区别不同参考点以及区隔环境光的方式例如可参照本案相同受让人所拥有的美国专利公开第20080180396号中记载的内容。例如，所述调变单元可以不同亮度调变不同参考点以使得不同参考点可具有不同特征值，如图7B所示；其中，关于以不同亮度区别不同参考点以及区隔环境光的方式例如可参照本案相同受让人所拥有的美国专利公开第20110032230号中记载的内容。此外，所述遥控器7还可根据所述参考点图像的特征值区别不同的参考点并与环境光区隔，例如将不同参考点赋予不同的其他特征值，例如不同形状（如图7C）和不同面积（如图7D）等方式以供所述遥控器7来区别。一实施例中，参考点的不同特征例如可利用多个点光源排列而成。换句话说，每一个参考点可由多个点光源排列而成，所述遥控器7将排列成的参考点视为一个整体，而不区分每个用以排列成参考点的各别点光源。

如上所述，由于本发明中所述遥控器7只要能至少获取一参考点图像即可，因此可操作距离和可操作视野均增加了。此外，某些情形下可选择使用具有较小尺寸的感测阵列的图像传感器以节省成本。

此外，另一实施例中，所述遥控器7（或所述处理单元72′）中可仅储存有两种定位演算法，例如图像系统或指向系统包含N个参考点（参考点数目N例如，但不限于，为4）。所述遥控器7同样用以获取包含所述参考点（例如图2A的参考点61-64）中至少一参考点图像的图像帧和根据所述图像帧识别参考点图像数目，当所述参考点图像数目等于N时根据所述图像帧输出指向坐标，当所述参考点图像数目小于N时则根据所述图像帧输出相对位移。

例如当参考点图像数目等于N（例如N=4）时，所述遥控器7则进入第一模式，所述第一模式中所述遥控器7则根据前述相对4个参考点图像的定位演算法计算指向坐标或光标坐标。当参考点图像数目小于N时，所述遥控器7则可根据至少其中一个参考点图像在图像帧中的位移来计算相对位移，并输出所述相对位移至所述显示装置5以相对控制光标的移动；其中，当所述参考点图像数目小于N且大于1时，所述遥控器7可根据所述图像帧中所述参考点图像其中一者或所述参考点图像的平均位置（中心或重心）计算所述相对位移，而所选择的参考点图像可根据上述不同特征值进行区别和选择。

如图8所示，一实施例中，当所述遥控器7的瞄准点为所述图像传感器71所获取图像帧IF₆（其例如对应图6的FV₆）的中心点C时，所述处理单元72可根据所述参考点图像61′与所述图像帧IF₆的中心点C的相对位置关系（例如距离D）以及所述显示装置5的硬体参数取得光标511的指向坐标或相对位移量。另一实施例中，当所述图像帧IF₆包含两个参考点图像时，所述处理单元72可根据所述参考点图像的平均位置或中心位置与所述图像帧IF₆的中心点C的相对位置关系以及所述显示装置5的硬体参数取得光标511的指向坐标或相对位移量。

综上所述，习知瞄准点估测方法必需根据所有参考点图像进行指标定位，当参考点图像不足时则无法正确操作或必需先估测出遗失的图像信息方能进行指标定位，因此具有较小的可操作范围。本发明还提出一种图像系统及指向系统（图2A、2B），其可根据不同数目的参考点图像信息以及不同定位演算法进行指标定位、计算光标坐标、计算指向坐标和/或计算位移量，因而具有较大的有效可操作视野以及较大的有效可操作距离。

虽然本发明已被前述实施例披露，但是其并非用以限定本发明，任何本发明所属技术领域中具有通常知识的技术人员，在不脱离本发明的精神和范围内，当可作各种的更动与修改。因此本发明的保护范围当视后附的权利要求所界定的范围为准。

Claims (13)

1.一种指向系统，该指向系统包含：

多个参考点，以可识别光谱发光；以及

遥控器，包含存储单元用以储存分别相对不同的参考点图像数目的不同定位演算法，所述遥控器用以获取包含所述多个参考点中至少一个参考点的图像的图像帧，识别所述图像帧中包含的参考点图像的参考点图像数目，当所述至少一个参考点的所述参考点图像数目等于第一数目时，选择所述不同定位演算法中的第一定位演算法根据所述图像帧计算指向坐标以控制光标，当所述至少一个参考点的所述参考点图像数目等于第二数目时，选择所述不同定位演算法中的第二定位演算法根据所述图像帧计算所述光标的相对位移，其中所述第二数目不同于所述第一数目。

2.根据权利要求1所述的指向系统，其中所述参考点结合于包含显示屏的显示装置。

3.根据权利要求1所述的指向系统，其中所述遥控器还包含三轴加速度计。

4.根据权利要求1所述的指向系统，其中所述遥控器还包含处理单元，该处理单元用以执行相对所述不同的参考点图像数目的所述不同定位演算法。

5.根据权利要求4所述的指向系统，其中所述处理单元选择执行相对1-4个参考点图像数目的定位演算法的其中一者；当所述参考点图像数目大于4时，所述处理单元根据相对4个参考点图像数目的定位演算法计算所述指向坐标或所述相对位移。

6.根据权利要求1所述的指向系统，该指向系统还包含用以调变所述参考点的发光频率和/或发光亮度的调变单元。

7.根据权利要求1-6中任一项权利要求所述的指向系统，其中所述遥控器还根据所述参考点图像的特征值区别不同的参考点并与环境光区隔。

8.一种指向系统，该指向系统包含：

多个参考点，以可识别光谱发光；以及

遥控器，用以获取包含所述多个参考点中的至少一个参考点的图像的图像帧以及识别所述图像帧中包含的所述至少一个参考点的参考点图像数目，当所述至少一个参考点的所述参考点图像数目等于所述参考点的参考点数目时根据所述图像帧输出指向坐标，当所述参考点的所述参考点图像数目小于所述参考点数目时根据所述图像帧输出光标的相对位移。

9.根据权利要求8所述的指向系统，其中当所述参考点的所述参考点图像数目小于所述参考点数目且大于1时，所述遥控器根据所述图像帧中所述参考点图像的其中一者或所述参考点图像的平均位置来计算所述光标的所述相对位移。

10.根据权利要求8所述的指向系统，其中所述参考点数目为4。

11.根据权利要求8所述的指向系统，其中所述遥控器还包含三轴加速度计。

12.根据权利要求8所述的指向系统，该指向系统还包含用以调变所述参考点的发光频率和/或发光亮度的调变单元。

13.根据权利要求8-12中任一项权利要求所述的指向系统，其中所述遥控器还根据所述参考点图像的特征值区别不同的参考点并与环境光区隔。