CN104731310B - 光学式对象追踪方法及其相关光学式追踪系统 - Google Patents

Abstract

本发明公开了一种光学式对象追踪方法及其相关光学式追踪系统，其中光学式对象追踪方法包括在一个时段内取得涵盖参考光源的连续图像组，以及辨识所述连续图像组的图像特征变化。所述参考光源首先维持在恒亮模式，并在所述时段内产生已知亮度变化。所述光学式对象追踪方法还包括比较所述图像特征变化与所述已知亮度变化，用以决定是否启动预定功能。所述预定功能为计算所述参考光源在所述连续图像组的图像中的位置信息。本发明可以利用随机闪烁的参考光源有效增进光学式追踪系统的对象追踪效能、及简化光学式追踪系统的软硬件配备来降低产品成本。

Description

光学式对象追踪方法及其相关光学式追踪系统

技术领域

本发明涉及一种光学式对象追踪方法及其相关光学式追踪系统，特别是有关一种具有环境噪声高抵抗能力的光学式对象追踪方法及其相关光学式追踪系统。

背景技术

传统的多点式对象追踪方法规律地开关参考点来产生闪烁光源，图像传感器同步取得涵盖参考点的连续图像，控制器通过分析连续图像中的规律亮暗变化找出参考点位置，以产生对象追踪遥控所需的坐标。图像传感器的获取频率和参考点的闪烁光源的同步误差容忍度较小，故传统多点式对象追踪方法的参考点控制器所需精密度较高，同步控制技术的复杂度相应地提高产品成本。此外，在家用环境或工作环境的背景光源多以规律亮暗的闪烁方式呈现，但传统多点式对象追踪方法难以正确区分规律变动的背景噪声和参考点的闪烁光源。参考点进行规律闪烁时有将近一半的时间属于低电位状态(光源关闭或切换成低亮度)，故会降低图像传感器取得有效参考点的图像数。综合来说，传统多点式对象追踪方法对于规律变动的背景噪声的分辨率较差，并且有效参考点的取得数量较少，具有对象追踪与遥控性能不佳的缺点。

发明内容

本发明提供一种具有环境噪声高抵抗能力的光学式对象追踪方法及其相关光学式追踪系统，以解决上述的问题。

本发明公开一种光学式对象追踪方法，包括在一个时段内取得涵盖参考光源的连续图像组，以及辨识所述连续图像组的图像特征变化。所述参考光源首先维持在恒亮模式，并在所述时段内产生已知亮度变化。所述光学式对象追踪方法还包括比较所述图像特征变化与所述已知亮度变化，用以决定是否启动预定功能。所述预定功能为计算所述参考光源在所述连续图像组的图像中的位置信息。

本发明还公开所述光学式对象追踪方法进一步包括判断所述连续图像组的非恒亮图像的获取时间是否符合所述已知亮度变化，所述非恒亮图像符合所述已知亮度变化时，辨识出所述非恒亮图像中具有所述已知亮度变化的对象为所述参考光源，以及根据所述参考光源的位置信息产生相对应坐标。

本发明还公开一种光学式追踪系统，其包括显示器以及遥控器。所述显示器包括参考光源。所述遥控器用来取得所述遥控器相对在所述显示器的距离与角度，以产生相对应坐标。所述遥控器包括图像传感器以及控制单元。所述图像传感器用来在一个时段内取得涵盖所述参考光源的连续图像组。所述控制单元电连接所述图像传感器。所述控制单元驱动所述参考光源在所述时段内产生已知亮度变化。所述控制单元还辨识所述连续图像组的图像特征变化，并比较所述图像特征变化与所述已知亮度变化，用以决定是否启动预定功能。

本发明还公开一种光学式追踪系统，其包括显示器以及遥控器。所述显示器包括参考光源，所述参考光源在一个时段内产生已知亮度变化。所述遥控器用来取得所述遥控器相对在所述显示器的距离与角度，以产生相对应坐标。所述遥控器包括图像传感器以及控制单元。所述图像传感器用来在所述时段取得涵盖所述参考光源的连续图像组。所述控制单元电连接所述图像传感器。所述控制单元辨识所述连续图像组的图像特征变化，并比较所述图像特征变化与所述已知亮度变化，用以决定是否启动预定功能。

本发明可以利用随机闪烁的参考光源有效增进光学式追踪系统的对象追踪效能、及简化光学式追踪系统的软硬件配备来降低产品成本。

附图说明

图1为本发明实施例的光学式追踪系统的示意图。

图2本发明实施例的参考光源与图像传感器的波形比较图。

图3为本发明第一实施例的光学式对象追踪方法的流程图。

图4为本发明第二实施例的光学式对象追踪方法的流程图。

其中，附图标记说明如下：

10 光学式追踪系统

12 显示器

14 遥控器

16 参考光源

18 图像传感器

20 控制单元

22 第一通信单元

24 第二通信单元

W1 环境噪声

W2 已知亮度变化

W3 图像传感器的获取频率

t1 第一时段

t2 第二时段

t3 第三时段

I 延迟时间差

步骤 300、302、304、306、308、310、312

步骤 400、402、404、406、408、410、412

具体实施方式

请参阅图1，图1为本发明实施例的光学式追踪系统10的示意图。光学式追踪系统10包括显示器12以及遥控器14。遥控器14用来取得遥控器14相对于显示器12的距离与角度，并且产生对应坐标进行遥控。显示器12包括参考光源16，通常设置在显示器12的上端或是下端。遥控器14包括图像传感器18以及控制单元20，控制单元20电连接图像传感器18。参考光源16会输出具有可辨识特征的光信号，例如具有特定闪烁速率或在特定时段闪烁的光信号，产生已知亮度变化。图像传感器18取得涵盖参考光源16的连续图像组。控制单元20联机到图像传感器18以分析连续图像组的图像特征变化，从中找出符合参考光源16亮度变化的图像，并判断参考光源16在图像中的位置信息，得知光学追踪技术所需的参考点。

本发明提出一种高效能的噪声滤除技术。参考光源16优选地可维持在恒亮模式，并依照环境噪声的干扰情形在一个时段内关闭(off mode)一次或数次来产生已知亮度变化，供遥控器14获取与分析。已知亮度变化完成后，参考光源16则回复到恒亮模式。本发明以随机方式或默认算法计算已知亮度变化的时段特性，例如时段的持续长度或触发时间点、或是在某些实施例也可以一起包括持续长度与触发时间点(或者是一组连续的亮暗变化)，因此已知亮度变化可以是非周期性或是周期性的规律信号。参考光源16的亮度变化是遥控器14的已知参数，遥控器14可以轻易区分参考光源16和其它环境噪声的不同。特别一提的是，恒亮模式可将参考光源16选择性设定在最高亮度、次高亮度或是低亮度状态。参考光源16的亮度值不需限制在特定范围内，凡是可将参考光源16在时段内维持恒亮(意即非关闭状态)，皆属于本发明的设计范畴。已知亮度变化可包括多种实施态样。举例来说，参考光源16在选定时段内短暂关闭参考光源16，使得参考光源16具有全暗时间长度固定的已知亮度变化；或是在选定时段内重复开关参考光源16，使得参考光源16具有亮暗变化固定的已知亮度变化，然不限于此；当然，在时段内也可以只让参考光源16产生两种不同的亮度变化，例如与恒亮模式相同亮度的第一亮度，搭配为恒亮模式一半亮度的第二亮度；或者也可以是与恒亮模式相同亮度的第一亮度，搭配不发光的第二亮度(即亮度为0)。

若是图像传感器18的曝光时间同时涵盖到参考光源16的高电位状态(恒亮模式)和低电位状态(非恒亮图像)，控制单元20难以精确判断图像特征变化的特性。图像传感器18的占空比优选地可小于已知亮度变化的持续长度(意即参考光源16的关闭时间)，确保图像传感器18在单位曝光时间内可以取得参考光源16关闭或调为低亮度的有效非恒亮图像，例如图像传感器18的单位曝光时间小于参考光源16的最短关闭时间。当参考光源16的亮度变化是遥控器14的已知参数，控制单元20可从图像传感器18的连续图像组中找出符合已知亮度变化的图像特征变化，图像特征变化可以是非恒亮图像的获取时间和数量(或是只有获取时间、或是只有数量)。非恒亮图像的获取时间和(或)数量符合已知亮度变化时，控制单元20判断非恒亮图像中具有已知亮度变化的对象为参考光源16，取得光学追踪参考点。其中，不符合已知亮度变化的其它图像特征通常是环境噪声，直接排除不需列入考虑。

请参阅图2，图2为本发明实施例的参考光源16与图像传感器18的波形比较图。环境噪声W1可以是规律或是不规律的闪烁光信号，参考光源16的已知亮度变化W2以随机方式或依照默认算法产生。特别一提的是，参考光源16在不需执行对象追踪时维持在恒亮模式，当控制单元20无法读取真实参考点时，参考光源16才会产生已知亮度变化W2，供控制单元20辨识已知亮度变化W2的图像特征变化，决定是否启动光学式对象追踪的预定功能。因此，已知亮度变化W2优选地为非周期性变化，图像特征的产生时间点不定。光学式追踪系统10已知的时段特性只有已知亮度变化W2在低电位状态(Off mode)的持续长度和触发时间点。图像传感器18的获取频率W3较高，其占空比小于已知亮度变化W2的低电位状态的时间长度。参考光源16的已知亮度变化W2和图像传感器18的获取频率W3不需要同步。参考光源16只要在宽松的时段范围内产生已知亮度变化W2，图像传感器18就能轻易辨识环境噪声W1与已知亮度变化W2的不同而找出参考点。

如图2所示，参考光源16在第一时段t1处在恒亮模式(On mode)，图像传感器18在第一时段t1拍摄得到的恒亮图像(高亮度图像)，可用来取得有效参考点。图像传感器18在第二时段t2会获取到非恒亮图像(低亮度或全暗图像)，然而第二时段t2得到的非恒亮图像不符合已知亮度变化W2，控制单元20判定这些非恒亮图像是对应在环境噪声W1的低电位状态(Off mode)。在第二时段t2的时候虽然噪声关闭，但参考光源16仍然维持恒亮模式，此时控制单元20可个别辨识不同的图像特征，意即判断其中一个对象图像(参考光源16)仍是恒亮模式，并且判断另一个对象图像(环境噪声)是非恒亮模式。图像传感器18在第三时段t3获取到非恒亮图像(低亮度或全暗图像)，控制单元20也是针对图像中的个别对象进行判断，如前述第二时段t2的辨识过程。判断其中一个对象图像的非恒亮模式符合已知亮度变化W2的低电位特征时，可确认所述对象就是参考光源16，并且计算参考光源16在图像中的位置信息。其中，第三时段t3除了是参考光源16保持一定时间的关闭(全暗的时间长度为特定值)以外，也可以是特定频率的亮暗变化。

参考光源16可利用两种方式产生已知亮度变化。本发明的第一实施例是由遥控器14驱动参考光源16产生已知亮度变化，第二实施例则是显示器12自行驱动参考光源16产生已知亮度变化。如图1所示，显示器12还包括第一通信单元22，电连接参考光源16。遥控器14还包括第二通信单元24，电连接控制单元20。第一实施例中，控制单元20经由第一通信单元22和第二通信单元24输出控制信号到显示器12。控制信号在传递过程中可能因系统电压、温度、湿度等环境因素会有系统延迟时间差I。参考光源16依照控制信号执行已知亮度变化，图像传感器18相应地取得相关的连续图像组。接着，控制单元20考虑了包括前述系统延迟时间差I的可控制变因后，就能从连续图像组中辨识出产生已知亮度变化的对象为参考光源16。

在第二实施例中，参考光源16会自行产生已知亮度变化，并通过第一通信单元22和第二通信单元24传递通知信息给遥控器14。通知信息启动图像传感器18取得连续图像组。接着，计算通知信息的传递时间以及系统延迟时间差I等变因后，控制单元20就能滤除环境噪声，从连续图像组中辨识出产生已知亮度变化的对象为参考光源16。

请参阅图3，图3为本发明第一实施例的光学式对象追踪方法的流程图。图3所示的光学式对象追踪方法适用于图1与图2所示的光学式追踪系统10。首先执行步骤300，参考光源16维持在恒亮模式。接着，执行步骤302至步骤306，以随机方式或算法计算触发参考光源16的时段，控制单元20输出控制信号以驱动参考光源16在时段内产生已知亮度变化，并且图像传感器18同步启动以实时取得连续图像组。接着，执行步骤308，控制单元20比较连续图像组和已知亮度变化的图样差异，以判断是否需要计算参考光源16在图像中的位置信息。连续图像组的非恒亮图像不符合已知亮度变化时，控制单元20个别辨识不同的对象图像，判断参考光源16仍然是恒亮模式，图像特征变化是非恒亮模式的环境噪声造成，控制单元20不计算参考光源16的位置信息，回复到步骤302。连续图像组的非恒亮图像符合已知亮度变化时，判断参考光源16切换成非恒亮模式，执行步骤310，控制单元20可辨识出参考光源16，计算并输出参考光源16的位置信息给显示器12作为对象追踪坐标。最后，执行步骤312，在触发时段结束后，控制单元20将参考光源16回复到恒亮模式。

请参阅图4，图4为本发明第二实施例的光学式对象追踪方法的流程图。图4所示的光学式对象追踪方法适用于图1与图2所示的光学式追踪系统10。首先执行步骤400，参考光源16维持在恒亮模式。接着，执行步骤402到步骤406，以随机方式或算法计算参考光源16的触发时段，由参考光源16在时段内自行产生已知亮度变化，并利用第一通信单元22和第二通信单元24输出通知信息给遥控器14，以驱动图像传感器18取得相应的连续图像组。接着，执行步骤408，控制单元20比较连续图像组和已知亮度变化是否相符，以判断是否需要计算参考光源16在图像中的位置信息。连续图像组的非恒亮图像不符合已知亮度变化时，回复到步骤402。连续图像组的非恒亮图像符合已知亮度变化时，执行步骤410，控制单元20计算并输出参考光源16的位置信息作为对象追踪坐标。最后，执行步骤412，参考光源16自行回复到恒亮模式。第二实施例与第一实施例的差异为，参考光源16的处理器可用来执行步骤402-406，以进行已知亮度变化与恒亮模式的切换，并通过通信单元通知遥控器14所述多个已知亮度变化的特征。

本发明的光学式对象追踪方法及其相关光学式追踪系统将参考光源维持在恒亮模式。参考光源依照默认算法产生已知亮度变化，表示当控制单元无法正确取得有效参考点时，参考光源可被触发并且在特定时段内产生已知亮度变化，让遥控器进行参考光源的位置辨识与校正。参考光源以随机方式产生已知亮度变化，表示每间隔一个预定时段后，参考光源计算及取得一组随机时间差，经过随机时间差就自动产生已知亮度变化。换句话说，本发明的参考光源不是规律变动的闪烁光源，而是根据环境噪声的干扰情况或随机运算结果产生亮度变化，并且此亮度变化特性是遥控器的已知参数。由于参考光源不需要规律闪烁，光学式追踪系统可以大幅提高参考光源的开启时间(恒亮模式)，增加有效参考点的取得数量。本发明仅要求参考光源在特定时段(不论是感测噪声所得或随机取得的时段)产生亮度变化，参考光源与图像传感器不需要执行同步控制，故可简化参考光源的控制复杂度，有效降低显示器的制造成本。

综合来说，本发明可以利用随机闪烁的参考光源有效增进光学式追踪系统的对象追踪效能、及简化光学式追踪系统的软硬件配备来降低产品成本。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (26)

1.一种光学式对象追踪方法，其特征在于，所述方法包括：

在一个时段内取得涵盖参考光源的连续图像组，所述参考光源在所述时段内产生已知亮度变化，所述参考光源在所述时段以外维持恒亮模式；

辨识所述连续图像组的图像特征变化；以及

比较所述图像特征变化与所述已知亮度变化，用以决定是否启动预定功能。

2.如权利要求1所述的方法，其特征在于，所述预定功能为计算所述参考光源在所述连续图像组的图像中的位置信息。

3.如权利要求1所述的方法，其特征在于，比较所述图像特征变化与所述已知亮度变化的步骤包括：

判断所述连续图像组的非恒亮图像的获取时间是否符合所述已知亮度变化。

4.如权利要求3所述的方法，其特征在于，判断所述非恒亮图像的获取时间是否符合所述已知亮度变化的步骤包括：

所述非恒亮图像符合所述已知亮度变化时，辨识出所述非恒亮图像中具有所述已知亮度变化的对象为所述参考光源；以及

根据所述参考光源的位置信息产生相对应坐标。

5.如权利要求3所述的方法，其特征在于，判断所述非恒亮图像的获取时间是否符合所述已知亮度变化的步骤包括：

所述非恒亮图像不符合所述已知亮度变化时，判断所述非恒亮图像中具有亮度变化的对象不是所述参考光源。

6.如权利要求1所述的方法，其特征在于，所述方法进一步包括：

以随机方式或依照默认算法计算所述时段的长度及时间点。

7.如权利要求6所述的方法，其特征在于，所述参考光源每超过一个预定时段后，经过计算所得的随机时间差即产生所述已知亮度变化。

8.如权利要求1所述的方法，其特征在于，所述方法应用在遥控器，所述遥控器利用图像传感器取得所述连续图像组，并且所述图像传感器的占空比小于所述已知亮度变化的时间长度。

9.如权利要求8所述的方法，其特征在于，所述遥控器输出控制信号，所述控制信号经由通信单元传给所述参考光源，以驱动所述参考光源在所述时段内产生所述已知亮度变化。

10.如权利要求8所述的方法，其特征在于，所述参考光源自行在所述时段内产生所述已知亮度变化，并利用通信单元输出通知信息给所述图像传感器。

11.如权利要求1所述的方法，其特征在于，所述已知亮度变化包括所述参考光源的全暗时间长度固定、或是所述参考光源在特定频率的亮暗变化。

12.一种光学式追踪系统，其特征在于，所述光学式追踪系统包括：

显示器，所述显示器包括参考光源；以及

遥控器，用来取得所述遥控器相对于所述显示器的距离与角度，以产生相对应坐标，所述遥控器包括：

图像传感器，用来在一个时段内取得涵盖所述参考光源的连续图像组；以及

控制单元，电连接所述图像传感器，所述控制单元驱动所述参考光源在所述时段内产生已知亮度变化并控制所述参考光源在所述时段以外维持在恒亮模式，所述控制单元还要辨识所述连续图像组的图像特征变化，并比较所述图像特征变化与所述已知亮度变化，用以决定是否启动预定功能。

13.如权利要求12所述的光学式追踪系统，其特征在于，所述预定功能为计算所述参考光源在所述连续图像组的所述图像中的位置信息。

14.如权利要求12所述的光学式追踪系统，其特征在于，所述显示器还包括第一通信单元，电连接所述参考光源，所述遥控器还包括第二通信单元，电连接所述控制单元，所述控制单元利用所述第二通信单元与所述第一通信单元驱动所述参考光源产生所述已知亮度变化。

15.如权利要求12所述的光学式追踪系统，其特征在于，所述控制单元在所述连续图像组的非恒亮图像的获取时间符合所述已知亮度变化时，辨识出所述非恒亮图像中具有所述已知亮度变化的对象为所述参考光源。

16.如权利要求12所述的光学式追踪系统，其特征在于，所述控制单元以随机方式或依照默认算法计算所述时段的长度及时间点。

17.如权利要求16所述的光学式追踪系统，其特征在于，所述控制单元每超过一个预定时段后，经过计算所得的随机时间差就驱动所述参考光源产生所述已知亮度变化。

18.如权利要求12所述的光学式追踪系统，其特征在于，所述图像传感器的占空比小于所述已知亮度变化的时间长度。

19.一种光学式追踪系统，其特征在于，所述光学式追踪系统包括：

显示器，所述显示器包括参考光源，所述参考光源在一个时段内产生已知亮度变化，所述参考光源在所述时段以外维持在恒亮模式；以及

遥控器，用来取得所述遥控器相对于所述显示器的距离与角度，以产生相对应坐标，所述遥控器包括：

图像传感器，用来在所述时段内取得涵盖所述参考光源的连续图像组；以及

控制单元，电连接所述图像传感器，所述控制单元辨识所述连续图像组的图像特征变化，并比较所述图像特征变化与所述已知亮度变化，用以决定是否启动预定功能。

20.如权利要求19所述的光学式追踪系统，其特征在于，所述预定功能为计算所述参考光源在所述连续图像组的所述图像中的位置信息。

21.如权利要求19所述的光学式追踪系统，其特征在于，所述显示器还包括第一通信单元，电连接所述参考光源，所述遥控器还包括第二通信单元，电连接所述控制单元，所述显示器利用所述第二通信单元与所述第一通信单元输出有关所述已知亮度变化的通知信息给所述遥控器。

22.如权利要求19所述的光学式追踪系统，其特征在于，所述控制单元在所述连续图像组的非恒亮图像的获取时间符合所述已知亮度变化时，辨识出所述非恒亮图像中具有所述已知亮度变化的对象为所述参考光源。

23.如权利要求19所述的光学式追踪系统，其特征在于，所述参考光源以随机方式或依照默认算法计算所述时段的长度及时间点。

24.如权利要求23所述的光学式追踪系统，其特征在于，所述参考光源每超过一个预定时段后，经过计算所得的随机时间差就产生所述已知亮度变化。

25.如权利要求19所述的光学式追踪系统，其特征在于，所述图像传感器的占空比小于所述已知亮度变化的时间长度。

26.一种用于光学追踪系统的遥控器，其特征在于，

所述光学追踪系统还包括显示器，所述显示器包括参考光源，所述参考光源在一个时段内产生已知亮度变化，所述参考光源在所述时段以外维持在恒亮模式；

所述遥控器用来取得所述遥控器相对于所述显示器的距离与角度，以产生相对应坐标，包括：

图像传感器，用来在所述时段内取得涵盖所述参考光源的连续图像组；以及

控制单元，电连接所述图像传感器，所述控制单元辨识所述连续图像组的图像特征变化，并比较所述图像特征变化与所述已知亮度变化，用以决定是否启动预定功能。