CN103019374A - 一种基于对象跟踪的远程控制系统 - Google Patents
一种基于对象跟踪的远程控制系统 Download PDFInfo
- Publication number
- CN103019374A CN103019374A CN2012104692553A CN201210469255A CN103019374A CN 103019374 A CN103019374 A CN 103019374A CN 2012104692553 A CN2012104692553 A CN 2012104692553A CN 201210469255 A CN201210469255 A CN 201210469255A CN 103019374 A CN103019374 A CN 103019374A
- Authority
- CN
- China
- Prior art keywords
- hand
- far
- electronic equipment
- opertaing device
- infraluminescence source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Position Input By Displaying (AREA)
- Details Of Television Systems (AREA)
Abstract
本发明公开了一种基于对象跟踪的远程控制系统,通过在远端手持控制设备前端加装一个红外发光源并作为跟踪对象,同时,在视频采集装置前方安装红外滤波片,滤除红外发光源的波长以外的光线,这样,几乎不受使用环境的限制和干扰,并且红外发光源是非可见,也不会在被控电子设备的屏幕上反射而影响用户的观看。本发明基于对象跟踪的远程控制系统供的光标位置以及运动轨迹根据采集的跟踪对象图像得到,与用户手持远端手持控制设备的角度无关,仅与其在空中运动的轨迹相关,因此能以一种更自然的方式进行空中手写输入。
Description
技术领域
本发明属于电子设备的远程控制技术领域,更为具体地讲,涉及一种基于对象跟踪的远程控制系统,可用于智能电视或计算机等智能电子设备的远程操控和输入。
背景技术
目前带操作系统的智能电子设备大量涌现,然而远程控制技术的发展却严重滞后,多数智能电子设备仍在使用传统遥控器,在需要进行光标操作时很难满足用户需求。
尽管基于陀螺仪和加速度传感器的空中鼠标也能提供远程光标控制的功能,但是一方面它的成本还是相对偏高,主要用在一些高端的电子设备中,另一方面由于它的运动轨迹和用户持握空中鼠标的角度相关,因此通过它进行空中手写输入的体验感较差。为了解决体验感较差的问题,一些智能建筑产品将空中鼠标和触摸板功能集成在一起,这进一步推高了遥控设备的成本。
目前也有其它一些基于视频图像的对象跟踪方法来解决体验感较差的问题,比如在图像中对某个特定颜色和形状的刚性物体即对象进行跟踪,或基于图像分析的手势控制。但由于这些对象都不是主动发光,因此在环境光照不好的时候无法使用。
发明内容
本发明的目的在于克服现有技术的不足,提供一种基于对象跟踪的远程控制系统,在环境光照不好的情况下,也可实现基本的光标控制功能。
为实现上述目的,本发明基于对象跟踪的远程控制系统,包括远端手持控制设备以及与被控电子设备主处理器相连的视频采集装置,其中,被控电子设备主处理器上运行有根据视频采集装置采集的跟踪对象图像进行运算处理,得到光标位置及运动轨迹的处理软件;其特征在于:
所述远端手持控制设备前端安装有一个红外发光源,在进行光标操作时,作为跟踪对象,处于常亮状态;
所述视频采集装置前方安装红外滤光片,该红外滤光片与红外发光源的波长向对应,用于滤除红外发光源的波长以外的光线即只有红外发光源发出的红外光能有效地透过红外滤光片;
在进行光标操作时,视频采集装置对红外发光源进行图像采集,并将采集的红外发光源图像送入被控电子设备主处理器进行运算处理,得到光标位置及运动轨迹,实现光标操作。
本发明的发明目的是这样实现的:
本发明基于对象跟踪的远程控制系统,通过在远端手持控制设备前端加装一个红外发光源并作为跟踪对象,同时,在视频采集装置前方安装红外滤波片,滤除红外发光源的波长以外的光线,这样,几乎不受使用环境的限制和干扰,并且红外发光源是非可见,也不会在被控电子设备的屏幕上反射而影响用户的观看。
本发明基于对象跟踪的远程控制系统供的光标位置以及运动轨迹根据采集的跟踪对象图像得到,与用户手持远端手持控制设备的角度无关,仅与其在空中运动的轨迹相关,因此能以一种更自然的方式进行空中手写输入;另一方面,包括智能电视在内的很多智能电子设备现在已经集成了摄像头装置,而且很多用户家里还有闲置的摄像头,通过本发明公开的方法,只需对现有摄像头上加装红外滤光片和遥控器上加装红外发光源进行少量改动即可提供远距离的光标输入功能。
附图说明
图1是本发明基于对象跟踪的远程控制系统一种具体实施方式原理图;
图2是被控电子设备中视频采集装置结构及其与主处理器的连接图;
图3是远端手持控制设备运动轨迹和屏幕光标显示的映射关系图;
图4是本发明基于对象跟踪的远程控制系统的一种跟踪对象图像处理方法流程图。
具体实施方式
下面结合附图对本发明的具体实施方式进行描述,以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是,在以下的描述中,当已知功能和设计的详细描述也许会淡化本发明的主要内容时,这些描述在这里将被忽略。
如图1、2所示,在本实施例中,本发明基于对象跟踪的远程控制系统10包括远端手持控制设备20以及与被控电子设备主处理器相连的视频采集装置30,其中,被控电子设备主处理器上运行有根据视频采集装置采集的跟踪对象图像进行运算处理,得到光标位置及运动轨迹的处理软件。
所述远端手持控制设备20前端安装有一个红外发光源22,在进行光标操作时,作为跟踪对象,处于常亮状态。
在具体实施过程中,作为跟踪对象的红外发光源22要有足够的发光强度,确保在有效操作距离内能通过视频采集装置30捕获到跟踪对象即红外发光源22。在本实施例中,红外发光源22发光源的红外波长为850纳米或940纳米。
红外发光源22要有足够较大的发光范围,确保使用过程中,远端手持控制设备20在发生角度偏转的时候仍能有效跟踪。在本实施例中,红外发光源22为广视角的红外发光源,经过实测,选用120度发光范围的红外发光源已可满足正常操作的需求,如果选用180度的红外发光源则效果更佳。
红外发光源22安装在远端手持控制设备20前方,且尽量让其发光部分暴露在远端手持控制设备20外部。由于采用的是红外发光方式,因此在使用过程中不会因为屏幕反光对用户的观看造成影响。
在本实施例中,所述远端手持控制设备20内壁安装有一个电容式触摸感应器26,用户拿起远端手持控制设备20时,电容式触摸感应器感应到,触发远端手持控制设备20点亮红外发光源22、并发出命令被控电子设备,启动视频采集以及跟踪对象图像运算处理,这样可以延长红外发光源22的使用时间。
在本实施例中,所述远端手持控制设备20按照使用需求设置按键和滚轮等操作部件21,操作部件的数据通过远端手持控制设备20的2.4G无线发送端24发送到被控电子设备的2.4G接收端25。所述操作部件数据的传输也可以复用红外发光源22,被控电子设备通过红外接收器23进行接收,以节省系统成本。
所述视频采集装置30前方安装红外滤光片34,该红外滤光片34与红外发光源22的波长相对应,用于滤除红外发光源22的波长以外的光线即只有红外发光源发出的红外光能有效地透过红外滤光片34。
在进行光标操作时,视频采集装置对红外发光源进行图像采集,并将采集的红外发光源图像送入被控电子设备主处理器进行运算处理,得到光标位置及运动轨迹,实现光标操作。
视频采集装置的参数决定了本发明所述系统的工作性能,在实施时要综合考虑被控电子设备的操控精度和系统成本要求。在本实施例中,所述视频采集装置30包含以下特性:
a、一个视频传感器32用于捕获远端手持控制设备上的红外发光源22,经验证,市面上大量的低端摄像头即可满足要求,视频分辨率在VGA(640x480)、帧率为25fps便可支持到4m距离的有效操作。如果采用更高规格的摄像头,光标操作体验感将会进一步提升。
b、在上述视频传感器32前方安装一个滤光片切换器33,滤光片切换器33上有红外滤光片34,其与红外发光源22的波长对应,即能保证该红外光能有效透过滤光片,而过滤掉其他波长的光线,这样绝大部分可见光就会被基本过滤掉。在一些应用场合下,比如在智能电视上安装摄像头,用户可能会因为担心家庭隐私泄露而拒绝相关产品。由于本系统通过红外滤光片过滤了可见光,因此也对用户隐私提供了保护,只有当用户明确需要使用常规视频采集功能时,系统会切换滤光片切换器33到非滤光片模式,将红外滤光片34从视频传感器32前方移开。
c、在具体实施过程中,视频采集装置30也不一定采用上述专用装置,如果用户已有摄像头,在该摄像头前手动加装一个红外滤光片罩36,也可以达到同样的效果。
采用红外滤光片34一方面确保了系统的环境适应性和稳健型,另一方面也大大降低了算法的计算量,使算法可以直接运行于被控电子设备的主处理器上,节省了系统成本。
在本实施例中,如图4所示,所述被控电子设备上运行的根据视频采集装置采集的跟踪对象图像进行运算处理,得到光标位置及运动轨迹的处理软件包含以下步骤:
41、当电容式触摸感应器26检测到远端手持控制设备20后,使红外发光源22处于点亮模式,并通过无线传输方式通知被控电子设备进行远程控制功能的初始化工作:滤光片切换器33切换到使用红外滤光片模式即红外滤光片34移动到视频传感器32前方;
42、启动对象跟踪软件的初始化过程,并将屏幕光标置于预设初始化位置,或上一次操作的最终光标位置;
43、捕获一帧图像,并分割其中的红外跟踪对象,捕获到一帧图像后并对其进行预处理,使跟踪对象的特征更为明显,预处理过程首先将图像转换到RGB色彩空间,然后分析每个像素点R、G、B三个分量的值是否符合红外光源的特性,通过这一步可以非红外发光源的影响,然后对整个图像进行一次2D降噪处理。预处理后从当前图像中提取出红外跟踪对象,提取的过程要根据帧间运动的相关性排除一些干扰对象的影响。
44、提取跟踪对象的运动轨迹,并对轨迹进行平滑处理:在运动幅度较大时上述过程中提取到的跟踪对象运动轨迹可能不连续,如果出现这种情况,需要对运动轨迹进行修复。修复后的连续运动轨迹并不能直接使用,而是要进一步提取该运动轨迹的中心轴线,提取中心轴线的过程为根据当前帧和前面2帧的跟踪轨迹中心点拟合出当前帧的初步运动轴线,然后根据当前帧的运动轨迹像素点对该初步运动轴线进行小幅度的调整。得到的中心轴线还需要进一步地进行平滑处理,以消除用户空中操作时手的细微抖动造成的影响。
45、将运动轨迹映射到屏幕11光标坐标12:为了使用户的操作更加流畅,需要对映射光标进行插帧处理。首先根据当前帧用户操作动作的大小确定当前帧需要插入多少个光标点,然后根据保存的历史操作数据确定每个插入点的相关映射参数,最后得到映射后的一系列屏幕光标位置。
图3说明了捕获的红外对象跟踪轨迹37和屏幕显示光标轨迹12之间的对应关系。
46、屏幕光标显示:映射后的屏幕光标序列,结合红外接收器23或2.4G无线传输接收器25收到的按键信息,形成标准外设输入事情,提供给被控电子设备的系统使用。当前帧产生的屏幕光标,将按指定的时间间隔,依次显示在屏幕上。
47、用户操作结束判断:用户结束操作并放下远端手持控制设备20后,系统会接收到相应事情,此时将执行本次操作的结束处理,否则返回步骤43。结束过程包括关闭摄像头、保存相关历史操作参数等处理。
本发明基于对象跟踪的远程控制系统,在对现有电子设备进行少量改动的情况下,即可实现空中鼠标的功能,而且在进行空中手写输入时,能获得比基于加速度和陀螺仪的空鼠中标更好的使用体验感。同时,由于采用了红外滤光片,大大降低了相关算法的计算量和难度,提供了更好的系统稳定性。
尽管上面对本发明说明性的具体实施方式进行了描述,以便于本技术领域的技术人员理解本发明,但应该清楚,本发明不限于具体实施方式的范围,对本技术领域的普通技术人员来讲,只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内,这些变化是显而易见的,一切利用本发明构思的发明创造均在保护之列。
Claims (5)
1.一种基于对象跟踪的远程控制系统,包括远端手持控制设备以及与被控电子设备主处理器相连的视频采集装置,其中,被控电子设备主处理器上运行有根据视频采集装置采集的跟踪对象图像进行运算处理,得到光标位置及运动轨迹的处理软件;
其特征在于:
所述远端手持控制设备前端安装有一个红外发光源,在进行光标操作时,作为跟踪对象,处于常亮状态;
所述视频采集装置前方安装红外滤光片,该红外滤光片与红外发光源的波长向对应,用于滤除红外发光源的波长以外的光线即只有红外发光源发出的红外光能有效地透过红外滤光片;
在进行光标操作时,视频采集装置对红外发光源进行图像采集,并将采集的红外发光源图像送入被控电子设备主处理器进行运算处理,得到光标位置及运动轨迹,实现光标操作。
2.根据权利要求1所述的基远程控制系统,其特征在于,所述远端手持控制设备内壁安装有一个电容式触摸感应器,用户拿起远端手持控制设备时,电容式触摸感应器感应到,触发远端手持控制设备点亮红外发光源并发出命令被控电子设备,启动视频采集以及跟踪对象图像运算处理。
3.根据权利要求2所述的远程控制系统,其特征在于,所述远端手持控制设备按照使用需求设置操作部件,操作部件的数据通过远端手持控制设备的2.4G无线发送端发送到被控电子设备的2.4G接收端。
4.根据权利要求2所述的远程控制系统,其特征在于,所述远端手持控制设备按照使用需求设置操作部件,操作部件的数据通过复用远端手持控制设备的红外发光源发送给被控电子设备,被控电子设备通过红外接收器进行接收。
5.根据权利要求2所述的远程控制系统,其特征在于,所述视频采集装置包括:
一个视频传感器,用于捕获手持控制设备上的红外发光源,视频分辨率在VGA(640x480)、帧率为25fps以上;
一个滤光片切换器,安装在所述视频传感器前方,滤光片切换器放置红外滤光片,其与红外发光源的波长对应,即能保证该红外光能有效透过滤光片,而过滤掉其他波长的光线,这样绝大部分可见光就会被基本过滤掉;
滤光片切换器只有当用户明确需要使用常规视频采集功能时,会切换滤光片切换器到非滤光片模式,将红外滤光片从视频传感器前方移开。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2012104692553A CN103019374A (zh) | 2012-11-20 | 2012-11-20 | 一种基于对象跟踪的远程控制系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2012104692553A CN103019374A (zh) | 2012-11-20 | 2012-11-20 | 一种基于对象跟踪的远程控制系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN103019374A true CN103019374A (zh) | 2013-04-03 |
Family
ID=47968058
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2012104692553A Pending CN103019374A (zh) | 2012-11-20 | 2012-11-20 | 一种基于对象跟踪的远程控制系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103019374A (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103488294A (zh) * | 2013-09-12 | 2014-01-01 | 华南理工大学 | 一种基于用户交互习惯的非接触手势控制映射调整方法 |
CN103984412A (zh) * | 2014-04-29 | 2014-08-13 | 上海斐讯数据通信技术有限公司 | 一种基于演讲模式的功能实现方法、系统及移动终端 |
CN105445937A (zh) * | 2015-12-27 | 2016-03-30 | 深圳游视虚拟现实技术有限公司 | 基于标记点的多目标实时定位追踪装置、方法及系统 |
CN105979119A (zh) * | 2016-06-02 | 2016-09-28 | 深圳迪乐普数码科技有限公司 | 一种红外摇臂跟踪运动数据的滤波方法和终端 |
CN108388355A (zh) * | 2018-03-14 | 2018-08-10 | 极鱼(北京)科技有限公司 | 空中鼠标控制装置和方法 |
CN112612403A (zh) * | 2020-12-01 | 2021-04-06 | 深圳市普乐方文化科技股份有限公司 | 一种用于娱乐互动的光学感应设备控制系统 |
CN113365125A (zh) * | 2021-05-31 | 2021-09-07 | 北京字节跳动网络技术有限公司 | 终端的控制方法、装置、终端和存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1782972A (zh) * | 2004-11-30 | 2006-06-07 | 夏普株式会社 | 遥控装置和显示装置 |
CN101290711A (zh) * | 2007-04-18 | 2008-10-22 | 北京威亚视讯科技有限公司 | 一种遥控装置、指向交互系统及光标控制方法 |
CN101674435A (zh) * | 2008-09-12 | 2010-03-17 | 索尼株式会社 | 图像显示设备和检测方法 |
CN101794171A (zh) * | 2010-01-29 | 2010-08-04 | 广州酷智电子科技有限公司 | 基于红外光运动捕捉的无线感应交互系统 |
CN101859209A (zh) * | 2010-05-28 | 2010-10-13 | 程宇航 | 红外线检测装置和方法、红外线输入装置以及图形用户设备 |
JP2011053990A (ja) * | 2009-09-02 | 2011-03-17 | Nippon Telegr & Teleph Corp <Ntt> | 外部機器連携装置及び方法及び外部機器連携制御プログラム |
-
2012
- 2012-11-20 CN CN2012104692553A patent/CN103019374A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1782972A (zh) * | 2004-11-30 | 2006-06-07 | 夏普株式会社 | 遥控装置和显示装置 |
CN101290711A (zh) * | 2007-04-18 | 2008-10-22 | 北京威亚视讯科技有限公司 | 一种遥控装置、指向交互系统及光标控制方法 |
CN101674435A (zh) * | 2008-09-12 | 2010-03-17 | 索尼株式会社 | 图像显示设备和检测方法 |
JP2011053990A (ja) * | 2009-09-02 | 2011-03-17 | Nippon Telegr & Teleph Corp <Ntt> | 外部機器連携装置及び方法及び外部機器連携制御プログラム |
CN101794171A (zh) * | 2010-01-29 | 2010-08-04 | 广州酷智电子科技有限公司 | 基于红外光运动捕捉的无线感应交互系统 |
CN101859209A (zh) * | 2010-05-28 | 2010-10-13 | 程宇航 | 红外线检测装置和方法、红外线输入装置以及图形用户设备 |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103488294A (zh) * | 2013-09-12 | 2014-01-01 | 华南理工大学 | 一种基于用户交互习惯的非接触手势控制映射调整方法 |
CN103488294B (zh) * | 2013-09-12 | 2016-08-17 | 华南理工大学 | 一种基于用户交互习惯的非接触手势控制映射调整方法 |
CN103984412A (zh) * | 2014-04-29 | 2014-08-13 | 上海斐讯数据通信技术有限公司 | 一种基于演讲模式的功能实现方法、系统及移动终端 |
CN103984412B (zh) * | 2014-04-29 | 2018-09-28 | 上海斐讯数据通信技术有限公司 | 一种基于演讲模式的功能实现方法、系统及移动终端 |
CN105445937A (zh) * | 2015-12-27 | 2016-03-30 | 深圳游视虚拟现实技术有限公司 | 基于标记点的多目标实时定位追踪装置、方法及系统 |
CN105979119A (zh) * | 2016-06-02 | 2016-09-28 | 深圳迪乐普数码科技有限公司 | 一种红外摇臂跟踪运动数据的滤波方法和终端 |
CN105979119B (zh) * | 2016-06-02 | 2019-07-16 | 深圳迪乐普数码科技有限公司 | 一种红外摇臂跟踪运动数据的滤波方法和终端 |
CN108388355A (zh) * | 2018-03-14 | 2018-08-10 | 极鱼(北京)科技有限公司 | 空中鼠标控制装置和方法 |
CN112612403A (zh) * | 2020-12-01 | 2021-04-06 | 深圳市普乐方文化科技股份有限公司 | 一种用于娱乐互动的光学感应设备控制系统 |
CN113365125A (zh) * | 2021-05-31 | 2021-09-07 | 北京字节跳动网络技术有限公司 | 终端的控制方法、装置、终端和存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103019374A (zh) | 一种基于对象跟踪的远程控制系统 | |
CN102016773B (zh) | 具有光学边框的交互输入系统 | |
US20090109178A1 (en) | Non-contact selection device | |
CN101794171A (zh) | 基于红外光运动捕捉的无线感应交互系统 | |
CN102945091B (zh) | 一种基于激光投影定位的人机交互方法与系统 | |
CN102597935A (zh) | 具有提高的信噪比(snr)的交互输入系统和图像捕获方法 | |
CN102253737A (zh) | 一种屏幕视觉鼠标系统及其实现方法 | |
GB2474536A (en) | Computer vision gesture based control by hand shape recognition and object tracking | |
CN103294280A (zh) | 光学触控装置、被动式触控系统及其输入侦测方法 | |
CN103425354A (zh) | 数据处理装置、显示装置以及数据处理装置的控制方法 | |
KR20110074488A (ko) | 촬상 장치, 표시 촬상 장치 및 전자 기기 | |
CN105807989A (zh) | 一种手势触控方法和系统 | |
CN101901087A (zh) | 基于线性图像传感器的表面定位装置及方法 | |
CN102868925A (zh) | 智能电视控制方法 | |
WO2011047459A1 (en) | Touch-input system with selectively reflective bezel | |
CN102999158B (zh) | 互动系统的手势辨识方法及互动系统 | |
US20090051651A1 (en) | Apparatus for remote pointing using image sensor and method of the same | |
CN106371594A (zh) | 一种双目红外视觉便携式手势操控投影系统和方法 | |
CN104267802A (zh) | 人机交互式虚拟触控装置、系统及方法 | |
CN201359720Y (zh) | 多点触摸控制台 | |
CN104914985A (zh) | 手势控制方法及系统与视频流处理装置 | |
CN202110500U (zh) | 一种屏幕视觉鼠标系统 | |
KR20180000109A (ko) | 디스플레이 디바이스 및 그 제어 방법 | |
CN109451171A (zh) | 一种调节背光亮度的方法和设备 | |
CN105511649B (zh) | 一种多点定位系统及多点定位方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20130403 |