CN202075718U - 基于颜色识别的手指多点触控系统 - Google Patents

Abstract

本实用新型涉及一种基于颜色识别的手指多点触控系统，包括带有凌动芯片的中央处理平台，摄像头，电视机模块，LED显示屏，OpenCV图像处理和模式识别模块；所述的带有凌动芯片的中央处理平台采用EMB-4650工控板；所述的摄像头采用CMOS摄像头；所述的电视机模块采用TM系列电视棒；所述的LED显示屏采用DVI-D接口的液晶显示屏。本实用新型基于手势识别和手势跟踪技术，通过计算机视觉，使用户在较复杂背景环境下，通过手势实现对计算机进行稳定、精确和快速的无接触式的多点“触控”操作。

Description

基于颜色识别的手指多点触控系统

技术领域

本实用新型属于新型人机交互系统技术领域，特别是涉及一种基于颜色识别的手指多点触控系统。

背景技术

计算机视觉是使用计算机及相关设备对生物视觉的一种模拟，用各种成象系统代替视觉器官作为输入敏感手段，由计算机来代替大脑完成处理和解释。它的主要任务就是通过对采集的图片或视频进行处理以获得相应场景的三维信息，就像人类和许多其他类生物每天所做的那样，最终目标就是使计算机能象人那样通过视觉观察和理解世界，具有自主适应环境的能力。

随着计算机技术和计算机硬件设备快速的发展，由当初的只有键盘输入到目前的鼠标、遥杆、无线设备输入等等都大大地便利了人们与计算机之间的交互，使得人们能够更方便地操作计算机，从而能够快速的完成一定的任务。WIMp(Windos，Ieon，Menus，pointdeviees)在现代图形接口(eux)占有着重要的位置，它代表一种交互方式，即通过点设备来选择相应的菜单或者屏幕上的某点。在大多数的应用当中，wIMP都要求用户与物理设备有一定的接触才能完成相应的输入。但是很快人们也发现了这种方式在某些特定的场合上固有的约束，比如当显示设备不断的扩大，而人们又想更好的与此显示场景进行交互，那么wIMP就显示出了相应的弱点，所以我们需要寻找一种更好的交互方式来完成此些任务。

在人机交流的领域，国际上已经研究成功了多种模式的人机交流系统，并且将其付诸于应用方面。2003年7月，索尼计算机娱乐公司(SonyComPuterEniertailunent)发布了一款名为EyeToy的手势识别设备，这种设备能将玩游戏者的视频资料传输到游戏的画面中，使游戏与玩游戏者互动。同年12月，美国密歇根州的cybemetsystems技术研发公司成功开发出一套名为手势风暴的软件系统，天气预报员通过使用这种系统，只需将手轻轻拨动几下就能制造出特别的视频效果来配合他们所预报的天气。

2008年9月2日roshiba位于英国剑桥(cambridgc)的研究实验室，在IFA上展示了大家图片辨识与手势辨识与电视操作结合的技术：主要是透过摄影机捕捉人手的动作，一旦握拳则进入操作模式，放松变为掌面则表示关闭操作，算是相当直觉。在握拳的时候，拳头便可做为光标操作的指令输入端，而手掌除了可以解除指令之外，也可以拿来在作为三度空间影像的转动、移动，不过目前的效果并非相当理想。

国内吴江琴、高文通过研究ANN-HMM混合方法，成功开发出有18个传感器的Cyber-Glover型号数据手套的中国手语识别系统。在单目视觉下的手势识别方面，2000年，清华大学祝远新、徐光枯等对有关连续动态手势的识别进行了研究，通过融合手势运动信息和皮肤颜色信息，成功的进行了复杂背景下的手势分割。2008年9月，中国科学院计算技术研究所手语识别与合成课题组历时8年，开发出了先进的手语识别与合成技术：基于运动跟踪的原理，使用了2只数据手套和3个六自由度位置跟踪器，记录真实人体演示每个手语词的运动数据，以建立初始的手语词运动数据库。建立成功数据库后，再对数据库里的每个手语词的运动数据进行编辑与微调，最后得到高质量的手语词运动数据库虽然使用数据手套可识别的手势种类多，能够获得手势的精确数据，对手势能够做准确地分析，且能够进行实时地识别。但是这些系统都有漏洞，或是成本过高的问题，具体表现在：

1.传感器手套类的使用者需要穿戴复杂的数据手套和位置跟踪器，给使用者造成了一定的不便，影响了人机交互的自然性，并且输入设备比较昂贵。

2.视频类受到外部因素影响比较多，比如光照、抖动等，因此在稳定性和准确率方面还有很大的提升空间。

发明内容

本实用新型所要解决的技术问题是提供一种基于颜色识别的手指多点触控系统，通过采用肤色模型和改进型Camshift算法相结合的方式，在颜色跟踪窗口中包含一定数量肤色二值像素时才认为是有效目标，在跟踪前进行现场颜色提取，增强跟踪效果，从而减弱由于现场环境的不同导致光照对系统跟踪的影响，以解决人与人之间肤色差异引起的手势跟踪问题和基于常规Camshift算法的手势跟踪容易受背景色干扰的问题。

本实用新型解决其技术问题所采用的技术方案是：提供一种基于颜色识别的手指多点触控系统，包括带有凌动芯片的中央处理平台，摄像头，电视机模块，LED显示屏，OpenCV图像处理和模式识别模块；所述的摄像头通过USB与带有凌动芯片的中央处理平台连接，所述的电视模块通过USB接口与带有凌动芯片的中央处理平台连接；所述的LED显示屏通过DVI-D接口与带有凌动芯片的中央处理平台连接；所述的OpenCV图像处理和模式识别模块与带有凌动芯片的中央处理平台连接。

所述的带有凌动芯片的中央处理平台采用EMB-4650工控板。

所述的摄像头采用CMOS摄像头。

所述的电视机模块采用TM系列电视棒。

所述的LED显示屏采用DVI-D接口的液晶显示屏。

所述的TM系列电视棒通过鱼骨天线接收模拟信号。

有益效果

本实用新型提供一种基于颜色识别的手指多点触控系统，基于手势识别和手势跟踪技术，达到了对视频的手势多点触控技术的稳定、精确、快速实现。此外本实用新型操作简单，价格低廉，人机交互方便友好。

附图说明

图1为系统结构示意图。

具体实施方式

下面结合具体实施例，进一步阐述本实用新型。应理解，这些实施例仅用于说明本实用新型而不用于限制本实用新型的范围。此外应理解，在阅读了本实用新型讲授的内容之后，本领域技术人员可以对本实用新型作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。

实施例1

如图1所示，本实用新型包括带有凌动芯片的中央处理平台，摄像头，电视机模块，LED显示屏，OpenCV图像处理和模式识别模块，所述的摄像头通过USB与带有凌动芯片的中央处理平台连接；所述的电视模块通过USB接口与带有凌动芯片的中央处理平台连接；所述的LED显示屏通过DVI-D接口与带有凌动芯片的中央处理平台连接；所述的OpenCV图像处理和模式识别模块与带有凌动芯片的中央处理平台连接；所述的带有凌动芯片的中央处理平台采用EMB-4650工控板；所述的摄像头采用CMOS摄像头；所述的电视机模块采用TM系列电视棒；所述的LED显示屏采用DVI-D接口的液晶显示屏；所述的OpenCV图像处理和模式识别模块采用OpenCV+MFC构成，所述的图像处理和模式识别模块采用现场颜色提取技术，系统开始工作前对现场颜色进行采样提取，所述的TM系列电视棒通过鱼骨天线接收模拟信号。

本系统采用EMB-4650工控板作为核心控制系统。EMB-4650是一款基于Intel Menlow平台，为用户精心设计的高性能、低功耗EPIC规格主板。该板采用Intel Menlow处理器，CPU速度可达到1.1G/1.6G，支持超线程技术，内存采用的是板载DDR II 512MB内存。主板采用无风扇设计，其强大的稳定性能；超低的功耗，整合性能强劲。显示终端的显示类型丰富多样，分别为：DVI和LVDS接口，可以满足不同客户显示方面的需求。采用Realtek 8111C/D千兆网卡设计，具有IDE和CF，SD卡等多存储手段；2个COM口，其中COM2支持RS232/422/485可选，1个LPT，8个USB；接口丰富为客户提供更多的可选择性。1个PCI槽；一个PC104接口，一个LPC扩展口极大地提升了外围的扩充弹性。板上的JTAG口可以让用户更方便的进行调试。

本系统定位在一个通用的人机交互界面，对于通用用户来说，昂贵的人机界面并不适用。本系统没有采用CCD摄像头和图像采集卡，而是使用了普通的PC用USB摄像头，但是由于采用了现场颜色提取技术使得对摄像头精度要求大幅度较低，一般CMOS摄像头完全满足了本系统对视频采集的需要。这也是本系统相对于过去各种图像识别系统的系统优势所在。

相比于CCD摄像头，本系统使用的CMOS摄像头有很多优点。CCD和CMOS在制造上的主要区别是CCD是集成在半导体单晶材料上，而CMOS是集成在被称做金属氧化物的半导体材料上，工作原理没有本质的区别。CCD只有少数几个厂商例如索尼、松下等掌握这种技术。而且CCD制造工艺较复杂，采用CCD的摄像头价格都会相对比较贵。事实上经过技术改造，目前CCD和CMOS的实际效果的差距已经减小了不少。而且CMOS的制造成本和功耗都要低于CCD不少，所以很多摄像头生产厂商采用的CMOS感光元件。成像方面：在相同像素下CCD的成像通透性、明锐度都很好，色彩还原、曝光可以保证基本准确。而CMOS的产品往往通透性一般，对实物的色彩还原能力偏弱，曝光也都不太好，由于自身物理特性的原因，CMOS的成像质量和CCD还是有一定距离的。但由于低廉的价格以及高度的整合性，因此在摄像头领域还是得到了广泛的应用。

在应用中数码摄像头中以CMOS感光器件的为主。在采用CMOS为感光元器件的产品中，通过采用影像光源自动增益补强技术，自动亮度、白平衡控制技术，色饱和度、对比度、边缘增强以及伽马矫正等先进的影像控制技术，完全可以达到与CCD摄像头相媲美的效果。事实上，摄像头采用CCD图像传感器的厂商为数不多，主要原因是采用CCD图像传感器成本高的影响。

所示，USB接收棒是一款功能强大的国标数字移动电视接收棒，只要你的电脑有个高速USB2.0接口芯片。您就可以尽情的收看国标数字移动电视了。它的通用播放软件不仅能让您收看电视，更能播放DVD，VCD，SVCD，CD，MP3，MP4，RMMOV，SWF，WMV，DIVX等格式的媒体资料。

电视棒我们使用的是TM系列电视棒，该电视棒使用USB接口，可以接受模拟电视信号在电脑上显示电视画面，并且我们通过鱼骨天线接收模拟信号，实现了电视信号的加强。最终在电脑上也可以实现看电视的功能，通过本系统的视频手势识别，可以通过手指动作控制电视频道的变化和音量的变化。

该系统使用的电视棒有如下特点：

1、符合DMB-TH标准。

2、支持多国语言。

3、支持电子节目单(EPG)、时光平移、智能搜索。

4、支持市场上大部分带有BDA接口的电视卡。

5、支持WINDOWS98/ME/2000XP等操作系统。

6、U盘大小电视盒，携带方便，更适合笔记本用户使用

7、独创软压录像暂停功能，轻松跳过广告，节约硬盘空间

8、可随意缩放影像窗口(4∶3或16∶9)或全屏收看电视节目

9、电视频道编排功能，可自定义喜爱电视频道名称，任意排序

10、可实现多频道预览、实时/预约录制电视节目等高级功能。

11、可实现定时录制DVD视频/音频、屏幕截取、书签管理、桌面播放等多种扩展功能。

12、支持高清晰数字电视(HDTV)、图文广播(TELETEXT)和数字FM广播节目。

液晶显示屏我们采用了DVI-D接口的液晶显示屏，一般的VGA接口只能传输模拟信号，而计算机内部的传输用的是数字信号，这样一来显卡在对显示器传输信号的时候，就要把数字信号转换成模拟信号，传输到显示器上，然后显示器会再把计算机传输过来的模拟信号转换成数字信号，最后才能被显示出来。而DVI-D接口可以直接传输数字信号，因此在显示数据的时候可以不用经过数字→模拟→数字繁琐的转换过程，最终使传输速度加快。而且显示出来的画面要更清晰流畅。

VGA(Video Graphics Array)接口，也叫D-Sub接口。VGA接口是一种D型接口，上面共有15针空，分成三排，每排五个。VGA接口是显卡上应用最为广泛的接口类型，多数的显卡都带有此种接口。有些不带VGA接口而带有DVI接口的显卡，也可以通过一个简单的转接头将DVI接口转成VGA接口，通常没有VGA接口的显卡会附赠这样的转接头。

DVI是由DDWG(Digital Display working Group，数字显示工作组)发明的一种高速传输数字信号的技术，有DVI-D和DVI-I两种不同的接口形式。DVI-D只有数字接口，DVI-I有数字和模拟接口，目前应用主要以DVI-D为主。DVI是基于TMDS(Transition MinimizedDifferential Signaling，转换最小差分信号)技术来传输数字信号，TMDS运用先进的编码算法把8bit数据(R、G、B中的每路基色信号)通过最小转换编码为10bit数据(包含行场同步信息、时钟信息、数据DE、纠错等)，经过DC平衡后，采用差分信号传输数据，它和LVDS、TTL相比有较好的电磁兼容性能，可以用低成本的专用电缆实现长距离、高质量的数字信号传输。对显示器显示要求较高，甚至是专业作图人员而言，DVI接口是有必要的。上面的文章中，我们已经看到了DVI接口在显示文字方面的优势。此外，DVI接口不会带来任何信号的损失，并且支持更高的带宽传输这对专业用户而言非常重要。

计算机视觉(computer vision)是在数字图像处理的基础上发展起来的新兴学科，它从信息处理的层次研究视觉信息的认知过程，研究视觉信息处理的计算理论和表达与计算方法，包括图像特征提取，摄像机定标，立体视觉，运动视觉(或称序列图像分析)，由图像灰度恢复三维物体形状的方法，物体建模与识别方法以及距离图像分析方法等方面。

OpenCV的全称是：Open Source Computer Vision Library.作为一个基本的计算机视觉、图像处理和模式识别的开源项目，OpenCV可以直接应用于很多领域，作为二次开发的理想工具。

本系统上位机采用OpenCV+MFC构成，基于图像差异检测对驾驶员酒精检测进行监控，主要方法为：

结合肤色识别和Camshift颜色跟踪算法，在每帧同时得到Camshift颜色跟踪窗口以及肤色二值图像，在颜色跟踪窗口中包含一定数量肤色二值像素时才认为是有效目标，如图五。合成的方案具有较好的识别跟踪效果，并使用改进的Camshift算法，即便出现跟踪丢失现象，也会在数帧内再次跟踪上目标颜色。

为了实现更好的效果，系统开始前进行现场颜色采样，提高系统捕捉目标的性能。本实用新型可以让用户在较复杂背景环境下，通过手势对计算机进行无接触式的多点“触控”操作，体验前所未有的操控体验，系统具体运作流程如下：

1.在手指上戴上我们特制的指套，计算机对手指进行颜色跟踪，在开机颜色校正时刻尽量使用与背景颜色不同的指套进行颜色校正跟踪以达到最佳效果。当手移动式，鼠标随着手指移动，当右手食指拇指“捏”在一起时，为单击操作；当左右手食指拇指分别“捏”在一起，进行拉伸或者凑近时，为多点触控。

2.摄像头对前方环境进行拍摄，并对捕获的图像进行处理，检测有没有目标颜色，并且在颜色跟踪窗口中包含一定数量肤色二值像素时才认为是有效目标。进而手指的动作进行识别，来确定是否要执行对应的操作。

3.系统有4个体验功能，用户通过“单击”来进入相应的功能模块：

a)无线电视节目功能：左右手同时“捏住”动作实现换台和调节音量功能。“捏住”横向拉开是向上调台，横向缩回是向下调台，纵向拉开是增大音量，纵向缩回是减小音量。

b)PDF浏览功能。通过右手“捏”动作实现单机效果，通过“捏住动作”实现抓取拖动，通过左手捏住，右手上移超过左手高度实现向上翻页功能，而右手下一低于左手高度实现下翻页。

c)画图功能。通过右手“捏住”功能在Windows自带画图工具上画图。

d)图片浏览功能。通过双手多点触控操作可实现类似于IPod的多点触控功能。

4.要关闭某个功能模块，只需将两手的食指拇指同时聚在一起2秒钟便可关闭。

Claims (5)

1.一种基于颜色识别的手指多点触控系统，包括带有凌动芯片的中央处理平台，摄像头，电视机模块，LED显示屏，OpenCV图像处理和模式识别模块；其特征在于，所述的摄像头通过USB与带有凌动芯片的中央处理平台连接；所述的电视模块通过USB接口与带有凌动芯片的中央处理平台连接；所述的LED显示屏通过DVI-D接口与带有凌动芯片的中央处理平台连接；所述的OpenCV图像处理和模式识别模块与带有凌动芯片的中央处理平台连接。

2.根据权利要求1所述的一种所述的基于颜色识别的手指多点触控系统，其特征在于，所述的带有凌动芯片的中央处理平台采用EMB-4650工控板。

3.根据权利要求1所述的一种所述的基于颜色识别的手指多点触控系统，其特征在于，所述的摄像头采用CMOS摄像头；所述的电视机模块采用TM系列电视棒。

4.根据权利要求1所述的一种所述的基于颜色识别的手指多点触控系统，其特征在于，所述的LED显示屏采用DVI-D接口的液晶显示屏。

5.根据权利要求1所述的一种所述的基于颜色识别的手指多点触控系统，其特征在于，所述的TM系列电视棒通过鱼骨天线接收模拟信号。

Images