CN103970262B

CN103970262B - 光学式指向系统

Info

Publication number: CN103970262B
Application number: CN201310048439.7A
Authority: CN
Inventors: 梁家钧
Original assignee: Pixart Imaging Inc
Current assignee: Pixart Imaging Inc
Priority date: 2013-02-06
Filing date: 2013-02-06
Publication date: 2018-01-16
Anticipated expiration: 2033-02-06
Also published as: CN107992198B; CN107992198A; CN103970262A

Abstract

一种光学式指向系统，包含图像传感器、储存单元、处理单元以及至少一个参考光源。所述图像传感器用以获取包含与所述至少一个参考光源相关的参考光源图像的图像帧。所述储存单元用以储存所述图像帧中至少一个物体图像的图像数据。所述处理单元用以依次处理所述图像帧的每一个像素以判断所述物体图像，并即时移除或合并所述储存单元所储存的所述图像帧的像素范围内的两个物体图像相关的图像数据，以节省储存空间。

Description

光学式指向系统

技术领域

本发明是关于一种人机互动系统，特别是关于一种光学式指向系统。

背景技术

已知遥控器包含多个按键，使用者透过按压至少一个按键来发出控制信号以相对控制家电装置。然而，按键所能控制的功能有限，因此业界发展出了利用图像传感器所传感的图像来控制家电装置的指向系统。

指向系统中，通常包含多个系统参考点以供所述图像传感器获取其图像，处理单元则根据所获取的图像计算所述参考点图像的位置变化以作为位移量，所述位移量则可用以相对控制光标动作。

所述处理单元接收到图像帧时，则依次侦测所述图像帧中的每一个像素以判定是否存在物体图像，并将与物体图像相关的像素信息储存于暂存器中。参照图1所示，例如图像帧90中包含三个物体图像91-93；其中，物体图像91和92表示系统参考点而物体图像93表示环境噪声。所述处理单元会先将所有物体图像91-93的数据储存至暂存器后再进行后续处理，例如判定91-93何者为环境噪声。

上述方法中，由于一张图像帧中的所有物体图像数据都先会被储存，因此会占用较大的储存空间而有可能需要使用具有较大储存空间的暂存器，否则于某些操作环境下，例如存在较多环境光源时，则可能会出现储存空间不足的问题。

有鉴于此，本发明提出一种可即时释放暂存器被占用的储存空间的光学式指向装置。

发明内容

本发明的目的在提供一种光学式指向系统，其可降低暂存器被占用的存储空间。

本发明提供一种光学式指向系统，包含至少一个参考光源、图像传感器、储存单元以及处理单元。所述图像传感器用以获取包含所述至少一个参考光源相关的参考光源图像的图像帧。所述储存单元用以储存所述图像帧中至少一个物体图像的图像数据。所述处理单元用以在扫描期间依次处理所述图像帧每一个像素以判断所述至少一个物体图像，当所述扫描期间内所述图像帧的净空范围内同时出现两物体图像时，移除所述储存单元中所述净空范围内所述两物体图像相关的图像数据。

本发明还提供一种光学式指向系统，包含至少一个参考光源、图像传感器、储存单元以及处理单元。所述图像传感器用以获取包含所述至少一个参考光源相关的参考光源图像的图像帧。所述储存单元用以储存所述图像帧中至少一个物体图像的图像数据。所述处理单元用以在扫描期间依次处理所述图像帧每一个像素以判断所述至少一个物体图像，当所述扫描期间内所述图像帧的可合并范围内同时出现多个物体图像时，合并所述储存单元中所述可合并范围内所述物体图像相关的图像数据。

本发明还提供一种光学式指向系统，包含至少一个参考光源、图像传感器、储存单元以及处理单元。所述图像传感器用以获取包含所述至少一个参考光源相关的参考光源图像的图像帧。所述储存单元用以储存所述图像帧中至少一个物体图像的图像数据。所述处理单元用以在扫描期间依次处理所述图像帧每一个像素以判断所述至少一个物体图像，当所述扫描期间内判断出目前物体图像且所述图像帧中存在先前物体图像时，计算所述目前物体图像与所述先前物体图像的图像距离并据此释放部分所述至少一个物体图像的图像数据。

一实施例中，当像素区域的每一像素的亮度大于等于亮度阈值、累积像素面积大于等于面积阈值和/或符合预设特征时，所述处理单元判断所述像素区域为物体图像；其中，所述物体图像可包含参考光源图像和环境光图像且所述像素区域是由相邻接的多个像素所构成。

一实施例中，所述净空范围和所述可合并范围是从物体图像的中心、重心或边界向外延伸。

一实施例中，所述净空范围和所述可合并范围可为固定的预设像素范围或根据两参考光源的设置间距、图像传感器的取像角度和遥控器的可操作距离等系统参数求得。

本发明实施例的光学式指向装置中，由于所述处理单元可于扫描期间内即时地将预设像素范围内的物体图像数据移除或合并，故可释放所述储存单元的部分存储空间以节省系统资源。

附图说明

图1显示指向系统的图像传感器所获取的图像帧的示意图；

图2显示本发明实施例的光学式指向系统的示意图；

图3显示图2的光学式指向系统的图像传感器所获取的图像帧的示意图；

图4A和4B显示本发明实施例的光学式指向系统的储存单元中所储存的图像数据变化的示意图；

图5A显示本发明另一实施例的光学式指向系统的示意图；

图5B显示图5A的光学式指向系统的图像传感器所获取的图像帧的示意图；

图6显示本发明实施例的光学式指向系统的运作方法的流程图。

附图标记说明

10 遥控器 11 图像传感器

12 处理单元 13 储存单元

2、2′ 参考光源 8 显示装置

81 光标 IR₁ 净空范围

IR₂ 可合并范围 d′、d₁、d₂ 图像距离

I₂、I₂′、O₁、O₂ 物体图像 IF、IF′ 图像帧

d 设置间距 D 可操作距离

90 图像帧 91-93 物体图像。

具体实施方式

为了让本发明的上述和其他目的、特征、和优点能更明显，下文将配合所附图示，作详细说明如下。于本发明的说明中，相同的构件是以相同的符号表示，于此提前说明。

请参照图2所示，其显示本发明实施例光学式指向系统的示意图，其包含遥控器10和至少一个参考光源（此处显示为一个参考光源2）。本实施例中，所述参考光源2例如可为发光二极体、雷射二极体、一个主动点光源或多个主动点光源排列而成，其较佳发出可识别光谱，例如红外光。所述遥控器10例如可为家电遥控器，其上可另外设置有多个按键以供使用者按压；使用者可透过所述遥控器10操控家电设备的动作，例如启闭及输出参数等。例如一实施例中，使用者可透过所述遥控器10获取图像帧，其包含所述参考光源2相关的参考光源图像，并根据所述图像帧中所述参考光源图像的变化操控显示装置8显示的光标81的动作。其他实施例中，所述遥控器10可为可携式电子装置。

所述遥控器10包含图像传感器11、处理单元12以及储存单元13。所述图像传感器11较佳为主动式图像传感器，例如CMOS图像传感器，用以获取包含所述至少一个参考光源相关的参考光源图像的图像帧IF。例如参照图3所示，其显示所述图像传感器11所获取的图像帧IF，其中所述图像帧IF包含参考光源图像I₂。

所述储存单元13例如可为暂存器（buffer），用以储存所述图像帧IF中至少一个物体图像的图像数据；其中，所述图像数据例如包含物体图像的亮度、位置、大小等参数。一实施例中，所述储存单元13可具有多个储存区块，不同物体图像相关的图像数据可分别储存于不同的储存区块。

所述处理单元12例如可为数位处理器（DSP），用以于扫描期间依次处理所述图像帧IF每一个像素以判断所述至少一个物体图像，其中所述扫描期间是指依次侦测所述图像帧IF每一个像素的期间；例如图3中，扫描期间中，左上方第一个像素P_1,1先被侦测，而后依次侦测第一列的其他像素P_1,2、P_1,3-P_1,m，接着依次侦测第二列的像素P_2,1-P_2,m，最后侦测最后一列的像素P_n,1-P_n,m；其中，n、m为正整数，其数值例如可由所述图像传感器11的传感阵列的尺寸所确定。此外，所述扫描期间也可以先扫描第一行的各像素后再依次扫描其他行的各像素。本实施例中，所述至少一物体图像可包含所述参考光源图像I₂以及环境光图像（例如O₁和O₂）；其中，所述环境光图像是指环境中的其他主动光源（但非所述参考光源）或反射所述参考光源所发出的光的反射光源。因此，当像素区域的每一像素的亮度大于等于亮度阈值、累积像素面积（例如于所述扫瞄期间所累积大于等于所述亮度阈值的累积像素个数）大于等于面积阈值和/或符合预设特征时，所述处理单元12则判断所述像素区域为物体图像；其中，所述像素区域是由一个或多个相邻接的像素所构成。所述预设特征是指调变频率、形状等可用以区别出参考点图像的特征。可以了解的是，一般图像帧IF中会存在噪声，因此即使像素区域的亮度大于等于亮度阈值，仍有可能为噪声所造成，因此较佳像素区域的累积像素面积同时大于面积阈值时才判定为物体图像；例如图3中，像素P_4,1的亮度大于亮度阈值，然而其面积太小（此处显示为一个像素范围），因此像素P_4,1将不会被判定为一个物体图像。

本实施例中，当所述处理单元12识别出物体图像时，即先将所述物体图像相关的图像数据暂存于所述储存单元13中。接着，所述处理单元12判断一次扫描期间是否出现两物体图像，当识别出两物体图像时则计算所述两物体图像的图像距离以确定是否移除或合并所述储存单元13中所述两物体图像相关的图像数据。例如参照图3所示，当所述处理单元12于一次扫描期间内判断出目前物体图像O₂（或I₂）且所述图像帧IF中存在先前物体图像O₁（或O₂）时，计算所述目前物体图像O₂（或I₂）与所述先前物体图像O₁（或O₂）的图像距离d₁（或d₂）并据此释放部分所述至少一个物体图像相关的图像数据。可以了解的是，图3所示物体图像的形状和大小仅为例示性，并非用以限定本发明。

本发明中，所述处理单元12可将预设像素范围内的物体图像予以排除或合并，以降低存储空间。

请参照图2、3和4A所示，接着说明移除所述储存单元13中物体图像相关的图像数据的实施方式。此时，假设光学式指向系统包含单一参考光源2，而所述图像传感器11所获取的图像帧IF中包含环境光图像O₁和O2。所述处理单元12用以于扫描期间依次处理所述图像帧IF每一个像素以判断所述至少一个物体图像，当所述扫描期间内所述图像帧IF的净空范围IR₁内同时出现两物体图像时（例如O₁及O₂），移除所述储存单元13中所述净空范围IR₁内所述两物体图像相关的图像数据。

本发明的光学式指向系统于出厂前，即设定了所述遥控器的可操作范围D，例如1-10公尺，但不以此为限；并可假设所述参考光源2周围的空间范围R₁（图2）内不会存在其他参考光源图像。因此，根据所述可操作范围D和所述空间范围R₁则可推算出所述图像传感器11于所述可操作范围D内获取的图像帧IF中的净空范围IR₁；也即，所述净空范围IR₁可为预先所设定固定的预设像素范围，其映射（mapping）自所述空间范围R₁。

当所述处理单元12接收到所述图像帧IF时，依次处理每一个像素P_1,1-P_n,m。当识别出物体图像O₁时，将所述物体图像O₁相关的图像数据暂存于所述储存单元13中，如图4A的数据O₁；接着，继续处理其他像素，当所述处理单元12识别出目前物体图像O₂时，将所述目前物体图像O₂相关的图像数据暂存于所述储存单元13中，如图4A的数据O₂。由于所述图像帧IF中存在先前物体图像O₁，所述处理单元12则计算所述目前物体图像O₂与所述先前物体图像O₁的图像距离d₁，且当所述图像距离d₁小于等于所述净空范围IR₁时，移除所述储存单元13中所述目前物体图像O₂和所述先前物体图像O₁相关的图像数据（如图4A）。本实施例中，所述图像距离d₁为所述目前物体图像O₂与所述先前物体图像O₁的中心、重心或边界间的距离。

另一实施例中，所述处理单元12可在每识别出物体图像时（例如图3的物体图像O₂），即于所述物体图像周围确定所述净空范围IR₁，且当识别出所述净空范围IR₁内包含另一个物体图像时（例如图3的物体图像O₁），则移除所述储存单元13中所述净空范围IR₁内所述两物体图像（即O₁及O₂）相关的图像数据。本实施例中，所述净空范围IR₁是从所述至少一个物体图像的中心、重心、边界或可代表物体图像位置处向外延伸的像素范围；例如，图3显示从所述物体图像O₂的中心向外延伸形成所述净空范围IR₁。

请参照图2、3和4B所示，接着说明合并所述储存单元13中物体图像相关的图像数据的实施方式。此时，假设光学式指向系统包含单一参考光源2，而所述图像传感器11所获取的图像帧IF中包含参考光源图像I₂和环境光图像O₂；所述处理单元12用以于扫描期间依次处理所述图像帧IF每一个像素以判断所述至少一个物体图像，当所述扫描期间内所述图像帧的可合并范围IR₂内同时出现多个物体图像时（例如O₂及I₂），合并所述储存单元13中所述可合并范围IR₂内所述物体图像相关的图像数据。

本发明的光学式指向系统于出厂前，即设定了所述可合并范围IR₂。于操作时，可将所述可合并范围IR₂内的物体图像合并视为同一个物体图像。

当所述处理单元12接收到所述图像帧IF时，则依次处理每一个像素P_1,1-P_n,m，当识别出物体图像O₂时，则将所述物体图像O₂相关的图像数据暂存于所述储存单元13中，如图4B的数据O₂；接着，继续处理其他像素，当所述处理单元12识别出目前物体图像I₂时，则将所述目前物体图像I₂相关的图像数据暂存于所述储存单元13中，如图4B的数据I₂。由于所述图像帧IF中存在先前物体图像O₂，所述处理单元12则计算所述目前物体图像I₂与所述先前物体图像O₂的图像距离d₂，且当所述图像距离d₂小于等于所述可合并范围IR₂时，合并所述储存单元13中所述目前物体图像I₂和所述先前物体图像O₂相关的图像数据（如图4B显示将数据O₂和数据I₂合并为数据O）。本实施例中，所述图像距离d₂为所述目前物体图像I₂与所述先前物体图像O₂的中心、重心或边界间的距离。

另一实施例中，所述处理单元12可在每识别出物体图像时（例如图3的物体图像I₂），即于所述物体图像周围确定所述可合并范围IR₂，且当识别出所述可合并范围IR₂内包含另一个物体图像时（例如图3的物体图像O₂），则合并所述储存单元13中所述可合并范围IR₂内所述两物体图像相关的图像数据。必须说明的是，虽然图3仅以可合并范围IR₂内包含两物体图像为例进行说明，然而当所述可合并范围IR₂内包含两个以上物体图像时，所述物体图像可均合并成为一个物体图像。所述可合并范围IR₂是从所述至少一个物体图像的中心、重心、边界或可代表物体图像位置处向外延伸的像素范围；例如，图3显示从所述物体图像I₂的中心向外延伸形成所述可合并范围IR₂。

另一实施例中，假设光学式指向系统包含两参考光源，所述处理单元12则可根据系统参数确定所述净空范围IR₁和所述可合并范围IR₂。例如参照图5A和5B所示，其中图5B显示图像传感器11所获取图像帧IF′的示意图。两参考光源2、2′相距设置间距d，所述遥控器10的可操作距离为D，则所述图像传感器11所获取的图像帧IF′中会包含两参考光源图像I₂、I₂′，此外图5B另绘示物体图像O₃、O₄以及O₅、O₆以方便说明。所述两参考光源图像I₂、I₂′的图像距离假设为d′，可假设所述图像距离为d′的范围内不会存在其他物体图像，故可将本发明的净空范围IR₁设为所述图像距离d′或略小于所述图像距离为d′。然而，由于所述图像距离d′会随着所述设置间距d、所述可操作距离D（例如1-10公尺）、所述图像传感器11的取像角度θ等系统参数改变，因此所述处理单元12可根据所述系统参数计算所述净空范围IR₁；而所述可合并范围IR₂可设定为所述净空范围IR₁的比例而为变动值。另一实施例中，所述净空范围IR₁和所述可合并范围IR₂也可为预先设定的固定的预设像素范围。此外，除了确定所述净空范围IR₁和所述可合并范围IR₂的方式外，其他实施方式则类似于图3及其相关说明，故于此不再赘述。

换句话说，本发明实施例的净空范围IR₁和可合并范围IR₂可为固定的预设像素范围或根据系统参数求得；其中，系统参数可包括参考光源的设置间距、图像传感器的取像角度和操作距离。例如，假设可操作距离为1-10公尺，在所述可操作距离内以不同取像角度θ获取的图像帧中两参考光源图像的距离（例如d′）均可事先量测而得；而所述取像角度θ也可于运作时动态的计算而得。借此，所述处理单元12根据图像帧求得参考光源图像的距离和图像传感器的取像角度θ后即可利用查表或演算法求得所述遥控器10与参考光源2、2′的实际距离，并据此确定所述净空范围IR₁和所述可合并范围IR₂。

请参照图6所示，其显示本发明实施例的光学式指向系统的运作方法的流程图，包含下列步骤：获取图像帧（步骤S₃₁）；识别所述图像帧中的物体图像（步骤S₃₂）；比较图像距离与距离阈值（步骤S₃₃）；当所述图像距离大于所述距离阈值时，执行物体追踪（步骤S₃₄）；以及当所述图像距离小于等于所述距离阈值时，即时合并或移除两物体图像相关的图像数据（步骤S₃₅）；其中，所述距离阈值例如包含前述净空范围（第一阈值）和/或可合并范围（第二阈值）。参照图2-5B，接着说明本实施例的运作方法。

步骤S₃₁：所述图像传感器11获取图像帧（例如图3或5B）并传送至所述处理单元12。

步骤S₃₂：所述处理单元12根据邻接像素的像素区域的像素亮度、累积像素面积和预设特征进行物体图像识别，例如可识别出图3的物体图像O₁、O₂、I₂或者图5的I₂、I₂、O₃-O₆；其中，物体图像的识别方式已为已知，本发明的精神在于针对已识别出的物体图像进行合并或删除。

步骤S₃₃：所述处理单元12则比较图3中所述物体图像O₁与O₂间（假设仅包含物体图像O₁、O₂）或所述物体图像O₂与I₂间（假设仅包含物体图像O₂、I₂）的图像距离，其中所述图像距离d₁、d₂可为两物体图像的中心、重心、边界或可代表物体图像的位置间的距离。

步骤S₃₄：当所述处理单元12判定所述图像距离大于第一阈值（如所述净空范围IR₁）时（如图5B的物体图像I₂、I₂′），则视为两不同物体。所述处理单元12则针对所述两物体进行物体追踪，例如根据所述张图像帧计算物体坐标或根据所述张图像帧和其前一张图像帧计算物体位移量；其中，计算物体坐标和物体位移量的方式已为已知，故于此不再赘述。

步骤S₃₅：当所述处理单元12判定所述图像距离小于等于第一阈值并大于第二阈值（例如所述可合并范围IR₂）时（如图5B的物体图像O₃、O₄），则移除所述储存单元13中所述两物体图像相关的图像数据；当所述处理单元12判定所述图像距离小于等于所述第二阈值时（如图5B的物体图像O₅、O₆），则合并所述储存单元13中所述两物体图像相关的图像数据，借此降低被占用的存储空间。当预设像素范围内的物体图像被移除或合并后，所述处理单元12则根据剩下的物体图像和/或合并后的物体图像进行物体追踪。本实施例中，所述第二阈值系小于所述第一阈值。

本发明中，所述移除物体数据步骤与所述合并物体数据步骤可单独实施或合并实施。

必须说明的是，虽然本发明实施例中仅以一个和两个参考光源来说明，本发明并不以此为限，参考光源的数目是根据计算位移量和坐标所使用的演算法而定，并无特定限制。本发明的精神在于当所述遥控器10识别出净空范围或可合并范围内出现多个物体图像时，即将至少一部分所述物体图像相关的存储空间释放，以降低被占用的存储空间。

此外，虽然图4A和图4B中显示图像数据是连续储存，但其仅用以说明并非限定图像数据于所述储存单元13中的储存方式。

综上所述，已知指向装置会先将所识别出的全部物体图像进行暂存后，再于扫描结束后判定其是否属于系统参考点，因而于操作时会占用较大的存储空间。本发明另提出一种光学式指向装置（图2、5A），其可于扫描图像帧的同时即时释放纪录环境光数据的存储空间，借此降低被占用的储存空间。

虽然本发明已被前述实施例披露，但是其并非用以限定本发明，任何本发明所属技术领域中具有通常知识的技术人员，在不脱离本发明的精神和范围内，当可作各种的更动与修改。因此本发明的保护范围当视后附的权利要求所界定的范围为准。

Claims

1.一种光学式指向系统，该光学式指向系统包含：

至少一个参考光源；

图像传感器，用以获取包含所述至少一个参考光源相关的参考光源图像的图像帧；

储存单元，用以储存所述图像帧中至少一个物体图像的图像数据；以及

处理单元，用以在扫描期间依次处理所述图像帧的每一个像素以判断所述至少一个物体图像，在所述扫描期间内判断出所述图像帧中的目前物体图像且所述图像帧中存在先前物体图像时，计算所述图像帧中所述目前物体图像与所述先前物体图像的图像距离并比较所述图像距离与距离阈值，当所述图像距离大于第一阈值时执行物体追踪，以及当所述图像距离小于等于所述第一阈值时释放部分所述至少一个物体图像的图像数据。

2.根据权利要求1所述的光学式指向系统，其中所述至少一个物体图像包含所述参考光源图像和环境光图像。

3.根据权利要求1所述的光学式指向系统，其中当像素区域的每一像素的亮度大于等于亮度阈值、累积像素面积大于等于面积阈值和/或符合预设特征时，所述处理单元判断所述像素区域为所述至少一个物体图像。

4.根据权利要求1所述的光学式指向系统，其中当所述图像距离小于等于所述第一阈值时，移除所述储存单元中所述目前物体图像和所述先前物体图像相关的图像数据。

5.根据权利要求4所述的光学式指向系统，其中所述第一阈值为固定的预设像素范围或根据系统参数求得。

6.根据权利要求1所述的光学式指向系统，其中当所述图像距离小于等于第二阈值时，合并所述储存单元中所述目前物体图像和所述先前物体图像相关的图像数据，其中，所述第二阈值小于所述第一阈值。

7.根据权利要求6所述的光学式指向系统，其中所述第二阈值为固定的预设像素范围或根据系统参数求得。

8.根据权利要求1-7中任一项权利要求所述的光学式指向系统，其中所述图像距离为所述目前物体图像与所述先前物体图像的中心、重心或边界间的距离。