CN103019374A

CN103019374A - 一种基于对象跟踪的远程控制系统

Info

Publication number: CN103019374A
Application number: CN2012104692553A
Authority: CN
Inventors: 周宗煜
Original assignee: Sichuan Hongwei Technology Co Ltd
Current assignee: Sichuan Hongwei Technology Co Ltd
Priority date: 2012-11-20
Filing date: 2012-11-20
Publication date: 2013-04-03

Abstract

本发明公开了一种基于对象跟踪的远程控制系统，通过在远端手持控制设备前端加装一个红外发光源并作为跟踪对象，同时，在视频采集装置前方安装红外滤波片，滤除红外发光源的波长以外的光线，这样，几乎不受使用环境的限制和干扰，并且红外发光源是非可见，也不会在被控电子设备的屏幕上反射而影响用户的观看。本发明基于对象跟踪的远程控制系统供的光标位置以及运动轨迹根据采集的跟踪对象图像得到，与用户手持远端手持控制设备的角度无关，仅与其在空中运动的轨迹相关，因此能以一种更自然的方式进行空中手写输入。

Description

一种基于对象跟踪的远程控制系统

技术领域

本发明属于电子设备的远程控制技术领域，更为具体地讲，涉及一种基于对象跟踪的远程控制系统，可用于智能电视或计算机等智能电子设备的远程操控和输入。

背景技术

目前带操作系统的智能电子设备大量涌现，然而远程控制技术的发展却严重滞后，多数智能电子设备仍在使用传统遥控器，在需要进行光标操作时很难满足用户需求。

尽管基于陀螺仪和加速度传感器的空中鼠标也能提供远程光标控制的功能，但是一方面它的成本还是相对偏高，主要用在一些高端的电子设备中，另一方面由于它的运动轨迹和用户持握空中鼠标的角度相关，因此通过它进行空中手写输入的体验感较差。为了解决体验感较差的问题，一些智能建筑产品将空中鼠标和触摸板功能集成在一起，这进一步推高了遥控设备的成本。

目前也有其它一些基于视频图像的对象跟踪方法来解决体验感较差的问题，比如在图像中对某个特定颜色和形状的刚性物体即对象进行跟踪，或基于图像分析的手势控制。但由于这些对象都不是主动发光，因此在环境光照不好的时候无法使用。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于对象跟踪的远程控制系统，在环境光照不好的情况下，也可实现基本的光标控制功能。

为实现上述目的，本发明基于对象跟踪的远程控制系统，包括远端手持控制设备以及与被控电子设备主处理器相连的视频采集装置，其中，被控电子设备主处理器上运行有根据视频采集装置采集的跟踪对象图像进行运算处理，得到光标位置及运动轨迹的处理软件；其特征在于：

所述远端手持控制设备前端安装有一个红外发光源，在进行光标操作时，作为跟踪对象，处于常亮状态；

所述视频采集装置前方安装红外滤光片，该红外滤光片与红外发光源的波长向对应，用于滤除红外发光源的波长以外的光线即只有红外发光源发出的红外光能有效地透过红外滤光片；

在进行光标操作时，视频采集装置对红外发光源进行图像采集，并将采集的红外发光源图像送入被控电子设备主处理器进行运算处理，得到光标位置及运动轨迹，实现光标操作。

本发明的发明目的是这样实现的：

本发明基于对象跟踪的远程控制系统，通过在远端手持控制设备前端加装一个红外发光源并作为跟踪对象，同时，在视频采集装置前方安装红外滤波片，滤除红外发光源的波长以外的光线，这样，几乎不受使用环境的限制和干扰，并且红外发光源是非可见，也不会在被控电子设备的屏幕上反射而影响用户的观看。

本发明基于对象跟踪的远程控制系统供的光标位置以及运动轨迹根据采集的跟踪对象图像得到，与用户手持远端手持控制设备的角度无关，仅与其在空中运动的轨迹相关，因此能以一种更自然的方式进行空中手写输入；另一方面，包括智能电视在内的很多智能电子设备现在已经集成了摄像头装置，而且很多用户家里还有闲置的摄像头，通过本发明公开的方法，只需对现有摄像头上加装红外滤光片和遥控器上加装红外发光源进行少量改动即可提供远距离的光标输入功能。

附图说明

图1是本发明基于对象跟踪的远程控制系统一种具体实施方式原理图；

图2是被控电子设备中视频采集装置结构及其与主处理器的连接图；

图3是远端手持控制设备运动轨迹和屏幕光标显示的映射关系图；

图4是本发明基于对象跟踪的远程控制系统的一种跟踪对象图像处理方法流程图。

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

如图1、2所示，在本实施例中，本发明基于对象跟踪的远程控制系统10包括远端手持控制设备20以及与被控电子设备主处理器相连的视频采集装置30，其中，被控电子设备主处理器上运行有根据视频采集装置采集的跟踪对象图像进行运算处理，得到光标位置及运动轨迹的处理软件。

所述远端手持控制设备20前端安装有一个红外发光源22，在进行光标操作时，作为跟踪对象，处于常亮状态。

在具体实施过程中，作为跟踪对象的红外发光源22要有足够的发光强度，确保在有效操作距离内能通过视频采集装置30捕获到跟踪对象即红外发光源22。在本实施例中，红外发光源22发光源的红外波长为850纳米或940纳米。

红外发光源22要有足够较大的发光范围，确保使用过程中，远端手持控制设备20在发生角度偏转的时候仍能有效跟踪。在本实施例中，红外发光源22为广视角的红外发光源，经过实测，选用120度发光范围的红外发光源已可满足正常操作的需求，如果选用180度的红外发光源则效果更佳。

红外发光源22安装在远端手持控制设备20前方，且尽量让其发光部分暴露在远端手持控制设备20外部。由于采用的是红外发光方式，因此在使用过程中不会因为屏幕反光对用户的观看造成影响。

在本实施例中，所述远端手持控制设备20内壁安装有一个电容式触摸感应器26，用户拿起远端手持控制设备20时，电容式触摸感应器感应到，触发远端手持控制设备20点亮红外发光源22、并发出命令被控电子设备，启动视频采集以及跟踪对象图像运算处理，这样可以延长红外发光源22的使用时间。

在本实施例中，所述远端手持控制设备20按照使用需求设置按键和滚轮等操作部件21，操作部件的数据通过远端手持控制设备20的2.4G无线发送端24发送到被控电子设备的2.4G接收端25。所述操作部件数据的传输也可以复用红外发光源22，被控电子设备通过红外接收器23进行接收，以节省系统成本。

所述视频采集装置30前方安装红外滤光片34，该红外滤光片34与红外发光源22的波长相对应，用于滤除红外发光源22的波长以外的光线即只有红外发光源发出的红外光能有效地透过红外滤光片34。

视频采集装置的参数决定了本发明所述系统的工作性能，在实施时要综合考虑被控电子设备的操控精度和系统成本要求。在本实施例中，所述视频采集装置30包含以下特性：

a、一个视频传感器32用于捕获远端手持控制设备上的红外发光源22，经验证，市面上大量的低端摄像头即可满足要求，视频分辨率在VGA（640x480）、帧率为25fps便可支持到4m距离的有效操作。如果采用更高规格的摄像头，光标操作体验感将会进一步提升。

b、在上述视频传感器32前方安装一个滤光片切换器33，滤光片切换器33上有红外滤光片34，其与红外发光源22的波长对应，即能保证该红外光能有效透过滤光片，而过滤掉其他波长的光线，这样绝大部分可见光就会被基本过滤掉。在一些应用场合下，比如在智能电视上安装摄像头，用户可能会因为担心家庭隐私泄露而拒绝相关产品。由于本系统通过红外滤光片过滤了可见光，因此也对用户隐私提供了保护，只有当用户明确需要使用常规视频采集功能时，系统会切换滤光片切换器33到非滤光片模式，将红外滤光片34从视频传感器32前方移开。

c、在具体实施过程中，视频采集装置30也不一定采用上述专用装置，如果用户已有摄像头，在该摄像头前手动加装一个红外滤光片罩36，也可以达到同样的效果。

采用红外滤光片34一方面确保了系统的环境适应性和稳健型，另一方面也大大降低了算法的计算量，使算法可以直接运行于被控电子设备的主处理器上，节省了系统成本。

在本实施例中，如图4所示，所述被控电子设备上运行的根据视频采集装置采集的跟踪对象图像进行运算处理，得到光标位置及运动轨迹的处理软件包含以下步骤：

41、当电容式触摸感应器26检测到远端手持控制设备20后，使红外发光源22处于点亮模式，并通过无线传输方式通知被控电子设备进行远程控制功能的初始化工作：滤光片切换器33切换到使用红外滤光片模式即红外滤光片34移动到视频传感器32前方；

42、启动对象跟踪软件的初始化过程，并将屏幕光标置于预设初始化位置，或上一次操作的最终光标位置；

43、捕获一帧图像，并分割其中的红外跟踪对象，捕获到一帧图像后并对其进行预处理，使跟踪对象的特征更为明显，预处理过程首先将图像转换到RGB色彩空间，然后分析每个像素点R、G、B三个分量的值是否符合红外光源的特性，通过这一步可以非红外发光源的影响，然后对整个图像进行一次2D降噪处理。预处理后从当前图像中提取出红外跟踪对象，提取的过程要根据帧间运动的相关性排除一些干扰对象的影响。

44、提取跟踪对象的运动轨迹，并对轨迹进行平滑处理：在运动幅度较大时上述过程中提取到的跟踪对象运动轨迹可能不连续，如果出现这种情况，需要对运动轨迹进行修复。修复后的连续运动轨迹并不能直接使用，而是要进一步提取该运动轨迹的中心轴线，提取中心轴线的过程为根据当前帧和前面2帧的跟踪轨迹中心点拟合出当前帧的初步运动轴线，然后根据当前帧的运动轨迹像素点对该初步运动轴线进行小幅度的调整。得到的中心轴线还需要进一步地进行平滑处理，以消除用户空中操作时手的细微抖动造成的影响。

45、将运动轨迹映射到屏幕11光标坐标12：为了使用户的操作更加流畅，需要对映射光标进行插帧处理。首先根据当前帧用户操作动作的大小确定当前帧需要插入多少个光标点，然后根据保存的历史操作数据确定每个插入点的相关映射参数，最后得到映射后的一系列屏幕光标位置。

图3说明了捕获的红外对象跟踪轨迹37和屏幕显示光标轨迹12之间的对应关系。

46、屏幕光标显示：映射后的屏幕光标序列，结合红外接收器23或2.4G无线传输接收器25收到的按键信息，形成标准外设输入事情，提供给被控电子设备的系统使用。当前帧产生的屏幕光标，将按指定的时间间隔，依次显示在屏幕上。

47、用户操作结束判断：用户结束操作并放下远端手持控制设备20后，系统会接收到相应事情，此时将执行本次操作的结束处理，否则返回步骤43。结束过程包括关闭摄像头、保存相关历史操作参数等处理。

本发明基于对象跟踪的远程控制系统，在对现有电子设备进行少量改动的情况下，即可实现空中鼠标的功能，而且在进行空中手写输入时，能获得比基于加速度和陀螺仪的空鼠中标更好的使用体验感。同时，由于采用了红外滤光片，大大降低了相关算法的计算量和难度，提供了更好的系统稳定性。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims

1.一种基于对象跟踪的远程控制系统，包括远端手持控制设备以及与被控电子设备主处理器相连的视频采集装置，其中，被控电子设备主处理器上运行有根据视频采集装置采集的跟踪对象图像进行运算处理，得到光标位置及运动轨迹的处理软件；

其特征在于：

2.根据权利要求1所述的基远程控制系统，其特征在于，所述远端手持控制设备内壁安装有一个电容式触摸感应器，用户拿起远端手持控制设备时，电容式触摸感应器感应到，触发远端手持控制设备点亮红外发光源并发出命令被控电子设备，启动视频采集以及跟踪对象图像运算处理。

3.根据权利要求2所述的远程控制系统，其特征在于，所述远端手持控制设备按照使用需求设置操作部件，操作部件的数据通过远端手持控制设备的2.4G无线发送端发送到被控电子设备的2.4G接收端。

4.根据权利要求2所述的远程控制系统，其特征在于，所述远端手持控制设备按照使用需求设置操作部件，操作部件的数据通过复用远端手持控制设备的红外发光源发送给被控电子设备，被控电子设备通过红外接收器进行接收。

5.根据权利要求2所述的远程控制系统，其特征在于，所述视频采集装置包括：

一个视频传感器，用于捕获手持控制设备上的红外发光源，视频分辨率在VGA（640x480）、帧率为25fps以上；

一个滤光片切换器，安装在所述视频传感器前方，滤光片切换器放置红外滤光片，其与红外发光源的波长对应，即能保证该红外光能有效透过滤光片，而过滤掉其他波长的光线，这样绝大部分可见光就会被基本过滤掉；

滤光片切换器只有当用户明确需要使用常规视频采集功能时，会切换滤光片切换器到非滤光片模式，将红外滤光片从视频传感器前方移开。