CN103139627A - 智能电视及其手势控制方法 - Google Patents

智能电视及其手势控制方法 Download PDF

Info

Publication number
CN103139627A
CN103139627A CN2013100487268A CN201310048726A CN103139627A CN 103139627 A CN103139627 A CN 103139627A CN 2013100487268 A CN2013100487268 A CN 2013100487268A CN 201310048726 A CN201310048726 A CN 201310048726A CN 103139627 A CN103139627 A CN 103139627A
Authority
CN
China
Prior art keywords
module
finger
gesture
hand
intelligent television
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2013100487268A
Other languages
English (en)
Inventor
赵宇航
李琛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai IC R&D Center Co Ltd
Original Assignee
Shanghai Integrated Circuit Research and Development Center Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Integrated Circuit Research and Development Center Co Ltd filed Critical Shanghai Integrated Circuit Research and Development Center Co Ltd
Priority to CN2013100487268A priority Critical patent/CN103139627A/zh
Publication of CN103139627A publication Critical patent/CN103139627A/zh
Pending legal-status Critical Current

Links

Images

Abstract

本发明公开了一种智能电视的手势控制方法,包括通过CMOS图像传感器撷取手部的图像;判断手部的手指是否持续停留在定点且停留时间达到预设值;若手指持续停留在定点的时间达到预设值,则撷取所述手指的动作变化;识别手指的动作变化是否符合特定手势,其中特定手势为由特定手指产生的符合特定运动轨迹的手势;以及当所述手指的动作变化符合所述特定手势时,在所述显示屏幕的操作界面上执行对应的功能。本发明还提供了一种具有手势控制功能的智能电视。本发明有效提高了人机交互中手势控制的准确性,增强了人机交互的亲和力。

Description

智能电视及其手势控制方法
技术领域
本发明涉及手势控制技术,特别涉及一种智能电视及其手势控制方法。
背景技术
智能电视是指具有全开放式平台,搭载了操作系统,可以由用户自行安装和卸载软件、游戏等第三方服务商提供的程序,通过此类程序来不断对彩电的功能进行扩充,并可以通过网线、无线网络来实现上网冲浪的这样一类彩电的总称。
目前智能电视的到来,顺应了电视机高清化、网络化、智能化的趋势。智能电视除了传统的电视现实屏幕、显示驱动以外,还包括高性能的运算处理器芯片、信道信源解码芯片、图像与数据处理芯片、高速大容量存储媒介、高速数据传输接口等组成。所以,智能电视首先意味着硬件技术的升级和革命,只有配备了业界领先的高配置、高性能芯片,才能顺畅运行大型3D体感游戏和各种软件程序;其次,智能电视意味着软件内容技术的革命,智能电视必然是一款可定制功能的电视;第三,智能电视必须搭载全开放式平台,只有通过全开放平台,才能广泛发动消费者积极参与彩电的功能制定,才能实现彩电的“需求定制化”、“彩电娱乐化”,才是解决彩电智能化发展的唯一有效途径。
智能电视已经不仅仅是一台电视机,更是一台集人机交互、通讯、娱乐、上网等功能于一体的智能系统。主要的功能包括:(1)具有网络搜索、IP电视、视频点播、数字音乐、网络新闻、网络视频电话等各种应用服务;(2)成为了继计算机、手机之后的第三种信息访问终端,用户可随时访问自己需要的信息;(3)成为了一种智能设备,实现电视、网络和程序之间跨平台搜索;(4)智能电视是一个“娱乐中心”,用户可以搜索电视频道、录制电视节目、能够播放卫星和有线电视节目以及网络视频。
值得注意的是,高度智能化是智能电视发展的重要趋势,而人机交互功能是智能电视高度智能化的重要特性。传统的人机交互功能主要通过手柄式传感器来实现,通过操作者操作或者晃动手中的手柄传感器来实现对电视机的各种指令控制,然而,这种方式需要借助外部设备来实现人机交互,对操作者来说增加了操作媒介、降低了操作体验的亲和感。近年来,另一种基于红外传感器的人机交互功能也已经面世,这种通过红外传感器直接捕捉操作者动态信号的方式有效避免了中介媒介的存在,增强了人机交互的亲和力,但是,由于红外传感器的分辨率、精度、光源性能等问题,使得这种方式的操作体验难以达到最佳效果。
发明内容
本发明的主要目的在于克服现有技术的缺陷,提供一种基于摄像头图像识别的智能电视人机交互方式,通过CMOS图像传感器捕捉操作者动态信号,并通过操作者手势控制、动态图象分析和处理,来实现对智能电视的人机交互远程功能。另外本发明还提供防止误触的机制以避免因操作者手势误动作而造成智能电视执行不期望的功能所引起的不便。
为达成上述目的,本发明提供一种智能电视的手势控制方法,所述智能电视包括CMOS图像传感器及具有操作界面的屏幕,所述手势控制方法包括:
通过所述CMOS图像传感器撷取手部的图像;
判断所述手部的手指是否持续停留在定点且停留时间达到预设值;
若所述手指持续停留在所述定点的时间达到所述预设值,则撷取所述手指的动作变化;
识别所述手指的动作变化是否符合特定手势,其中所述特定手势为由特定手指产生的符合特定运动轨迹的手势;以及
当所述手指的动作变化符合所述特定手势时,则在所述显示屏幕的操作界面上执行对应的操作功能。
优选的,判断所述手部的手指是否持续停留在定点且停留时间达到预设值的步骤包括:根据所撷取的手部的图像在所述CMOS图像传感器的像素阵列中定义对应于手指的特征点;判断所述特征点是否持续停留在所述CMOS图像传感器像素阵列的固定位置且停留时间达到所述预设值。
优选的,若所述手指持续停留在所述定点的时间达到所述预设值,则根据所述特征点的变化以撷取所述手指的动作变化。
优选的,所述对应的操作功能包括鼠标光标产生/消失功能,鼠标光标移动功能,鼠标左键单击功能,鼠标左键双击功能,鼠标右键单击功能,页面翻页功能,显示区域缩小/放大功能以及滑键功能。
优选的,当判断所述手部的手指持续停留在所述定点且停留时间达到所述预设值时,通过鼠标光标产生/消失模块在所述操作界面的对应区域产生鼠标光标;当识别所述特定手势为第一特定手指慢速移动时,通过鼠标光标移动模块在所述操作界面上相应移动所述鼠标光标,其中所述第一特定手指的数量小于全部手指,所述慢速移动的判断由预置值确定;当识别所述特定手势为所述第一特定手指点击一次时,通过鼠标左键单击功能模块在所述操作界面上相应执行鼠标左键单击功能;当识别所述第一特定手指连续点击两次时,通过鼠标左键双击功能模块在所述操作界面上相应执行鼠标左键双击功能;当识别所述特定手势为第二特定手指点击一次时,通过鼠标右键单击功能模块在所述操作界面上相应执行鼠标右键单击功能,其中所述第二特定手指与所述第一特定手指的数量相同;当识别所述特定手势为所述第一特定手指在所述操作界面的特定区域滑动时,通过滑键模块锁定/解锁所述操作界面;当识别所述特定手势为所述第一特定手指沿特定方向快速移动或者全部手指同时沿特定方向移动时,通过页面翻页模块在所述操作界面上相应进行页面翻页,所述快速移动的判断由预置值确定;当识别所述特定手势为全部手指同时靠近/远离手部的手心移动时,通过显示区域缩小/放大模块在所述操作界面上相应对所述鼠标光标的显示区域进行缩小/放大;当识别所述特定手势为全部手指同时以手心为圆心进行左右摇晃时,通过所述鼠标光标产生/消失模块使所述鼠标光标消失。
优选的,根据所述特征点的变化识别所述特定运动轨迹,并根据变化的所述特征点在所撷取的手部的图像的轮廓中的位置识别所述特定手指。
本发明还提供了一种具有手势控制功能的智能电视,该智能电视包括:显示屏幕,显示操作界面;CMOS图像传感器,用以撷取手部的图像;普通电视功能处理模块;数字信号处理模块,与所述CMOS图像传感器相连,用以在所述手部的手指持续停留在定点的时间达到预设值时,撷取之后所述手指的动作变化;时间停留判断模块,与所述数字信号处理模块与动态手势识别模块相连,用以判断所述手部的手指是否持续停留在所述定点且停留时间达到所述预设值;动态手势识别模块,与所述数字信号处理模块相连,用以识别特定手势,所述特定手势为由特定手指产生的符合特定运动轨迹的手势;以及执行模块,与所述动态手势识别模块及显示屏幕相连,用以在所述操作界面上执行对应操作功能。
优选的,所述数字信号处理模块根据所撷取的手部的图像在所述CMOS图像传感器的像素阵列中定义对应于手指的特征点;所述时间停留判断模块判断所述特征点是否持续停留在所述CMOS图像传感器像素阵列的固定位置且停留时间达到所述预设值;所述动态手势识别模块根据所述特征点的变化识别所述特定运动轨迹,并根据变化的所述特征点在所撷取的手部的图像的轮廓中的位置识别所述特定手指。
优选的,在所述手指持续停留在所述定点的时间达到所述预设值时,所述数字信号处理模块根据所述特征点的变化以撷取所述手指的动作变化。
优选的,所述执行模块包括鼠标光标产生/消失模块,鼠标光标移动模块,鼠标左键单击功能模块,鼠标左键双击功能模块,鼠标右键单击功能模块,页面翻页模块,显示区域缩小/放大模块以及滑键模块。
本发明的有益效果在于利用通过基于摄像头图像识别的智能电视手势控制方法,不仅避免了外部设备进行人机交互的隔阂,而且由于高分辨率CMOS图像传感器的采用,大幅提高了手势动作的识别精度,增强了人机交互的亲和力,使得操作者的操作体验达到最佳效果,真正实现了智能电视的高度智能化,为智能电视的视频、通讯、娱乐、上网等功能提供了极大的人及交互智能远程控制体验与享受。此外,由于在手势控制时,操作者无意的或习惯性的手势动作也会使智能电视产生不期望的反应,因此本发明还通过在人机交互的操作流程中对手势停留在定点的时间长短以及发生变化的手指的判断,以决定是否要对操作者的手势操作进行反应,如此能有效避免手势误动作所造成的不便。
附图说明
图1所示为本发明实施例一种具有手势控制功能的智能电视的示意图;
图2所示为本发明实施例的一种具有手势控制功能的智能电视的方块图;
图3所示为本发明实施例的一种智能电视的手势控制方法的流程图;
图4所示为本发明实施例智能电视的执行模块中各功能模块示意图;
图5a-5f所示分别为本发明实施例的手势控制中的特定手势。
具体实施方式
为使本发明的内容更加清楚易懂,以下结合说明书附图,对本发明的内容作进一步说明。当然本发明并不局限于该具体实施例,本领域内的技术人员所熟知的一般替换也涵盖在本发明的保护范围内。
图1所示为本发明的具有手势控制功能的智能电视的示意图,智能电视包括智能电视显示屏幕1以及CMOS图像传感器2,其中显示屏幕1可显示操作界面供操作者操作,CMOS图像传感器2用以撷取操作者手部图像。
图2所示为图1所示的具有手势控制功能的智能电视的方块图。智能电视包括显示屏幕1,CMOS图像传感器2,数字信号处理模块(DSP)3,时间停留判断模块4,动态手势识别模块5,执行模块6以及普通电视功能处理模块7。该智能电视的手势控制功能可由普通的电视遥控器实施开启或关闭动作。以下将针对智能电视各个模块进行功能上的说明。
在本实施例中,显示屏1可用来显示智能电视的各种操作界面。普通电视功能处理模块7与显示屏1相连,主要功能是接收并播放视频电视信号。
CMOS图像传感器2用以撷取手部的图像。在本发明中,CMOS图像传感器2作为摄像头的核心传感器部件,是捕捉外部操作者手势的重要介面,其分辨率和精度直接决定着手势的识别精度。在本实施例中,CMOS图像传感器2的像素要求为200万像素以上,即包括横向1920个像素、纵向1080个像素的像素阵列。另外,为了使得人机交互具有足够的亲和感,便于以更高精度、更细腻地处理手势动作,并在各种环境光照强度下都能有效识别摄像头所捕捉的手势,对CMOS图像传感器2的动态范围和灵敏度也有一定的要求。在本实施例中,CMOS图像传感器2的动态范围要求达到60dB以上;灵敏度要求达到50dB以上,较佳为55dB。整个CMOS图像传感器2可采用先进的55nm CIS前照工艺来加工实现。
数字信号处理模块3,与CMOS图像传感器2及时间停留判断模块4相连,用以根据时间停留判断模块4所产生的判断结果,决定是否检测之后手指的动作变化。如果手指持续停留在定点的时间达到预设值,之后产生手指的动作变化时,则数字信号处理模块3撷取手指的动作变化。
时间停留判断模块4与数字信号处理模块3及动态手势识别模块5相连,用以判断手部的手指是否持续停留在定点且在该定点的停留时间达到预设值。其中,定点可以是CMOS图像传感器2广角镜头范围内的任何位置,而预设值例如是介于0.2至0.8秒之间的数值。
动态手势识别模块5,与数字信号处理模块3相连,用以识别特定手势,其中特定手势为由特定手指产生的符合特定运动轨迹的手势。
执行模块6,与动态手势识别模块5及显示屏幕1相连,根据特定手势在显示屏幕的操作界面上执行对应图4中各功能模块的操作。
由于目前的普通电视功能模块7中均有微处理器,上述相关所有的控制均可借助微处理器配合数字信号处理模块3完成实施。
以下将以智能电视的手势控制流程来对本发明进行更进一步的说明。图3是依照本发明实施例所示的进行一次手势控制的流程图,请同时参阅图2与图3。
在本实施例中,智能电视的显示屏幕1显示有操作界面,当操作者希望通过手势控制对操作界面进行操作时,首先将手部放在智能电视屏幕前,此时如步骤31所示,通过CMOS图像传感器1将撷取到操作者手部的图像,也即是接收到操作者手部的图像信息。
接着如步骤32所示,时间停留判断模块4会判断手部的各手指是否停留在定点且停留时间达到预设值,如0.2~0.8秒。在本实施例中,数字信号处理模块3首先根据撷取的手部图像信息在CMOS图像传感器1的1920×1080个像素的像素阵列中定义出对应于手部手指的特征点,之后时间停留判断模块4会判断该特征点是否持续停留在CMOS图像传感器像素阵列的固定位置且停留时间达到该预设值。时间停留判断模块4可在接收数字信号处理模块4定义出特征点时开始计数,若在计数时间达到预设值之前手指移动了,那么手指在CMOS图像传感器像素阵列中对应的特征点将发生变化,那么本次手势控制的流程结束。若时间停留判断模块4所计数的时间到达预设值,若操作者的手指接着发生动作变化产生运动轨迹,那么如步骤33所示,由数字信号处理模块4撷取手指的动作变化,在本实施例中可通过特征点的变化来撷取手指的动作变化。因此,通过在手势控制中对手势是否停留在定点及停留时间长短的判断,能够确保智能电视不会过快对手势动作进行反应,进而避免其执行操作者的误动作。
接着,在步骤34中,动态手势识别模块5识别手指的动作变化是否符合特定手势,如果符合特定手势,则如步骤35中执行模块6根据特定手势在显示屏幕1的操作界面上执行对应的操作功能,此次手势控制流程结束。
其中,特定手势指的是由特定手指所形成的符合特定运动轨迹的手势。举例来说,操作者的右手的五根手指中,若定义食指的点击为特定运动手势的话,那么对于中指的点击动作或食指的移动动作,智能电视均不会有所反应,而只有当食指点击时,才认为符合特定手势,执行模块6会执行相应的操作功能。具体进行识别时,数字信号处理模块3可根据撷取的手部图像信息提取出手部轮廓,并在CMOS图像传感器的1920×1080个像素的像素阵列中撷取对应于手指的特征点的变化,而动态手势识别模块5可根据特征点的变化识别出手指的动作变化是否符合特定运动轨迹,并且根据发生变化的特征点在手部轮廓的位置识别出发生特定运动轨迹的手势是否由特定手指形成。例如当操作者仅伸出食指进行点击操作,由于在点击时食指会在极短的时间内发生下按-抬起动作,食指所对应的特征点在像素阵列中也会发生相应的位移变化(如图5b所示),再结合手部轮廓就可以识别发生这一位移变化的手指为食指,从而识别该特定手势食指的点击动作。又例如当操作者伸出多根手指而仅由食指点击时,通过数字信号处理模块3所撷取的这些手指对应的特征点中,仅有一个手指的特征点变化,再根据变化的特征点在手部轮廓中的位置即可识别出食指点击手势。本发明中动态手势识别模块不仅可以识别手指的动作变化,更能识别出是哪个手指发生动作变化,由于特定功能只有特定手指才能完成,因此也可以起到防止手势误动作的作用。此外,由于不同手指的运动轨迹可以对应不同的执行功能,因此以简单的手指动作就能够实现多种功能的控制,更具有灵活性和多样性。
如图4所示,执行模块6可包括鼠标光标产生/消失模块,鼠标光标移动模块,鼠标左键单击功能模块,鼠标左键双击功能模块,鼠标右键单击功能模块,页面翻页模块,显示区域缩小/放大模块以及滑键模块,用以分别执行多种鼠标操作功能和页面操作功能。以下将结合图5a~5f所示的具体手势对本发明的手势控制方法加以阐述。
请参考图5a,当伸出右手一个手指(如食指)时,CMOS图像传感器将通过广角镜头捕捉到操作者右手的图像,数字信号处理模块会根据手部图像在CMOS图像传感器1920×1080的像素阵列中定义对应食指的一个特征点,时间停留判断模块判断该特征点是否持续停留在CMOS图像传感器像素阵列的固定位置且停留时间达到预设值,当判断为特征点停留在固定位置达到预设值,说明操作者的右手保持固定姿态达到一定时间,认为接下来的手势动作为操作者想要进行的手势而非误动作。此时,鼠标光标产生/消失模块将根据特征点在CMOS图像传感器像素阵列的位置相应地在显示屏幕的操作界面的对应区域产生鼠标光标。之后,当操作者沿箭头方向慢速移动右手食指时,通过数字信号处理模块跟踪对应于食指的特征点的动态位置,撷取食指的运动轨迹。由于食指的移动符合预设的特定手势,动态手势识别模块识别出该特定手势同时触发鼠标光标移动模块使显示屏幕上的鼠标光标随食指的移动而移动。其中,慢速移动的判断可由预置值确定。
在另一实施例中,如图5b所示,操作者的特定手势为略微按压右手食指一次,其功能定义为鼠标左键单击,当进行该特定手势动作时,触发鼠标左键单击功能模块对智能电视显示屏幕上鼠标光标位置进行点击操作;进一步的,当进行略微连续按压右手食指两次时,则触发鼠标左键双击功能执行鼠标左键双击功能,在此不做赘述。在又一实施例中,特定手势为略微按压右手中指,此时鼠标右键单击功能模块在操作界面上相应执行鼠标右键单击功能,例如可显示功能选项列表。如图5c所示的另一实施例中,执行鼠标右键单击功能所对应的特定手势为食指和拇指共同按压,通过对应的特征点的变化(如两指对应特征点之间距离的变化)并结合手部轮廓来识别食指和拇指点击的手势并由鼠标右键单击功能模块执行右键单击,当然以何种手势触发该功能可依据需求设定,并不限于此。由此可见,对于不同的手指进行相同的动作变化,本发明可实现不同的功能,而这一手指、动作变化及功能的一一对应关系,在实际智能电视的人机交互中具有较高的应用性。例如利用智能电视互动教学,如通过手势控制来进行打字教学或钢琴训练时,要求必须以特定手指完成特定运动轨迹,因此就能够有效规范操作者采用正确的打字或弹琴姿势。值得注意的是,在本发明中,并不限定一开始时手部的姿态,例如要执行鼠标左键点击功能时,操作者可只伸出食指,也可将五个手指全部伸出。只要动态手势识别模块识别出“食指发生了一次点击动作”这一特定手势,即可触发鼠标左键单击功能模块执行对应的鼠标左键点击功能。因此,本发明可在维持基本相同的手部姿态的情况下,充分利用了手指的灵活性以实现不同的手势控制。
在另一实施例中,特定手势为食指在操作界面的特定区域滑动,其对应的操作功能为屏幕锁定/解锁控制,滑键模块会对显示屏幕的操作界面锁定/解锁操作。在其他实施例中,特定手势还可为食指在点击后进行移动,则执行模块在操作界面上将鼠标光标位置处图标进行拖移操作。
以下将结合图5d,5e描述利用手势控制对操作界面页面进行操作。
请继续参考图5d,当伸出右手五个手指时,CMOS图像传感器将通过广角镜头捕捉到操作者右手的图像,数字信号处理模块3会根据手部图像在CMOS图像传感器1920×1080的像素阵列中定义对应这五个手指的五个特征点,时间停留判断模块判断这些特征点是否都持续停留在CMOS图像传感器像素阵列的固定位置且停留时间达到预设值,当判断为全部特征点停留在固定位置达到预设值,说明接下来的手势动作为操作者想要进行的手势而非误动作。此时,鼠标光标产生/消失模块将根据特征点在CMOS图像传感器像素阵列的位置相应地在显示屏幕的操作界面的对应区域产生鼠标光标。之后,当操作者的五个手指同时靠近手心移动时(即做出抓手动作),通过数字信号处理模块跟踪对应于五个手指的特征点的动态位置,撷取运动轨迹。动态手势识别模块识别出此特定手势,其对应的执行功能为抓手手势缩小控制,触发显示区域缩小/放大模块将相应在智能电视显示屏幕操作界面上鼠标光标显示区域进行缩小(zoom in)操作;相对应的,当操作者将五个手指同时远离手心移动时(即做出伸展手指动作),此特定手势对应的执行功能为伸放手势放大控制,因此将触发显示区域缩小/放大模块在鼠标光标显示区域进行放大操作(zoom out)。
如图5e所示,在另一实施例中,特定手势为五个手指同时向左移动(即做出左挥手动作),其对应的执行功能为挥手手势后翻页控制,页面翻页模块会对显示屏幕的操作界面进行后翻页(page down)操作;当特定手势为五个手指同时向右移动时(即做出右挥手动作),其对应的功能为挥手手势前翻页控制,页面翻页模块对显示屏幕的操作界面进行前翻页(page up)操作。在其他实施例中,对应于挥手手势后翻页控制这一功能的特定手势也可为操作者沿特定方向快速移动食指,其中快速移动的判断可由预置值确定。
在又一实施例中,如图5f所示,当特定手势为操作者的五个手指同时以手心为圆心进行左右摇晃(即做出摇手动作)时,则鼠标光标产生/消失模块使屏幕上的鼠标光标消失。
需要特别说明的是,在上述各个实施例中特定手势的种类、以及特定手势与执行功能之间的对应关系仅是为了方便说明而举出的范例,但并不用以限制本发明的范围。
综上所述,通过本发明的具有手势控制功能的智能电视及手势控制方法,不仅避免了通过外部设备进行人机交互的隔阂,而且由于高分辨率CMOS图像传感器的采用,大幅提高了手势的识别精度,增强了人机交互的亲和力,使得操作者的操作体验达到最佳效果。此外,本发明还提供双重的防止误触的机制,通过在人机交互的操作流程中对手势停留在定点的时间长短以及发生动作变化的特定手指的判断来避免因操作者手势误动作造成智能电视执行不期望的功能而引起的不便,提高了手势控制的准确性。
虽然本发明已以较佳实施例揭示如上,然所述诸多实施例仅为了便于说明而举例而已,并非用以限定本发明,本领域的技术人员在不脱离本发明精神和范围的前提下可作若干的更动与润饰,本发明所主张的保护范围应以权利要求书所述为准。

Claims (10)

1.一种智能电视的手势控制方法,所述智能电视包括CMOS图像传感器及显示有操作界面的屏幕,其特征在于,所述手势控制方法包括:
通过所述CMOS图像传感器撷取手部的图像;
判断所述手部的手指是否持续停留在定点且停留时间达到预设值;
若所述手指持续停留在所述定点的时间达到所述预设值,则撷取所述手指的动作变化;
识别所述手指的动作变化是否符合特定手势,其中所述特定手势为由特定手指产生的符合特定运动轨迹的手势;以及
当所述手指的动作变化符合所述特定手势时,则在所述显示屏幕的操作界面上执行对应的操作功能。
2.根据权利要求1所述的智能电视的手势控制方法,其特征在于,判断所述手部的手指是否持续停留在定点且停留时间达到预设值的步骤包括:
根据所撷取的手部的图像在所述CMOS图像传感器的像素阵列中定义对应于手指的特征点;
判断所述特征点是否持续停留在所述CMOS图像传感器像素阵列的固定位置且停留时间达到所述预设值。
3.根据权利要求2所述的智能电视的手势控制方法,其特征在于,若所述手指持续停留在所述定点的时间达到所述预设值,则根据所述特征点的变化以撷取所述手指的动作变化。
4.根据权利要求3所述的智能电视的手势控制方法,其特征在于,所述对应的操作功能包括鼠标光标产生/消失功能,鼠标光标移动功能,鼠标左键单击功能,鼠标左键双击功能,鼠标右键单击功能,页面翻页功能,显示区域缩小/放大功能以及滑键功能。
5.根据权利要求4所述的智能电视的手势控制方法,其特征在于,
当判断所述手部的手指持续停留在所述定点且停留时间达到所述预设值时,通过鼠标光标产生/消失模块在所述操作界面的对应区域产生鼠标光标;
当识别所述特定手势为第一特定手指慢速移动时,通过鼠标光标移动模块在所述操作界面上相应移动所述鼠标光标,其中所述第一特定手指的数量小于全部手指,所述慢速移动的判断由预置值确定;
当识别所述特定手势为所述第一特定手指点击一次时,通过鼠标左键单击功能模块在所述操作界面上相应执行鼠标左键单击功能;
当识别所述第一特定手指连续点击两次时,通过鼠标左键双击功能模块在所述操作界面上相应执行鼠标左键双击功能;
当识别所述特定手势为第二特定手指点击一次时,通过鼠标右键单击功能模块在所述操作界面上相应执行鼠标右键单击功能,其中所述第二特定手指与所述第一特定手指的数量相同;
当识别所述特定手势为所述第一特定手指在所述操作界面的特定区域滑动时,通过滑键模块锁定/解锁所述操作界面;
当识别所述特定手势为所述第一特定手指沿特定方向快速移动或者全部手指同时沿特定方向移动时,通过页面翻页模块在所述操作界面上相应进行页面翻页,所述快速移动的判断由预置值确定;
当识别所述特定手势为全部手指同时靠近/远离手部的手心移动时,通过显示区域缩小/放大模块在所述操作界面上相应对所述鼠标光标的显示区域进行缩小/放大;
当识别所述特定手势为全部手指同时以手心为圆心进行左右摇晃时,通过所述鼠标光标产生/消失模块使所述鼠标光标消失。
6.根据权利要求3所述的智能电视的手势控制方法,其特征在于,根据所述特征点的变化识别所述特定运动轨迹,并根据变化的所述特征点在所撷取的手部的图像的轮廓中的位置识别所述特定手指。
7.一种具有手势控制功能的智能电视,其特征在于,所述智能电视包括:
显示屏幕,显示操作界面;
CMOS图像传感器,用以撷取手部的图像;
普通电视功能处理模块;
数字信号处理模块,与所述CMOS图像传感器相连,用以在所述手部的手指持续停留在定点的时间达到预设值时,撷取之后所述手指的动作变化;
时间停留判断模块,与所述数字信号处理模块与动态手势识别模块相连,用以判断所述手部的手指是否持续停留在所述定点且停留时间达到所述预设值;
动态手势识别模块,与所述数字信号处理模块相连,用以识别特定手势,所述特定手势为由特定手指产生的符合特定运动轨迹的手势;以及
执行模块,与所述动态手势识别模块及显示屏幕相连,用以在所述操作界面上执行对应操作功能。
8.根据权利要求7所述的智能电视,其特征在于,所述数字信号处理模块根据所撷取的手部的图像在所述CMOS图像传感器的像素阵列中定义对应于手指的特征点;
所述时间停留判断模块判断所述特征点是否持续停留在所述CMOS图像传感器像素阵列的固定位置且停留时间达到所述预设值;
所述动态手势识别模块根据所述特征点的变化识别所述特定运动轨迹,并根据变化的所述特征点在所撷取的手部的图像的轮廓中的位置识别所述特定手指。
9.根据权利要求8所述的智能电视,其特征在于,在所述手指持续停留在所述定点的时间达到所述预设值时,所述数字信号处理模块根据所述特征点的变化以撷取所述手指的动作变化。
10.根据权利要求9所述的智能电视,其特征在于,所述执行模块包括鼠标光标产生/消失模块,鼠标光标移动模块,鼠标左键单击功能模块,鼠标左键双击功能模块,鼠标右键单击功能模块,页面翻页模块,显示区域缩小/放大模块以及滑键模块。
CN2013100487268A 2013-02-07 2013-02-07 智能电视及其手势控制方法 Pending CN103139627A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2013100487268A CN103139627A (zh) 2013-02-07 2013-02-07 智能电视及其手势控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2013100487268A CN103139627A (zh) 2013-02-07 2013-02-07 智能电视及其手势控制方法

Publications (1)

Publication Number Publication Date
CN103139627A true CN103139627A (zh) 2013-06-05

Family

ID=48498837

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2013100487268A Pending CN103139627A (zh) 2013-02-07 2013-02-07 智能电视及其手势控制方法

Country Status (1)

Country Link
CN (1) CN103139627A (zh)

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103327385A (zh) * 2013-06-08 2013-09-25 上海集成电路研发中心有限公司 基于单一图像传感器的距离识别方法及装置
CN103543833A (zh) * 2013-10-30 2014-01-29 天津三星电子有限公司 一种显示器参数遥控调节方法、装置及显示器
CN103686284A (zh) * 2013-12-16 2014-03-26 深圳Tcl新技术有限公司 基于手势识别的遥控方法及系统
ITTO20130659A1 (it) * 2013-08-01 2015-02-02 St Microelectronics Srl Procedimento, apparecchiatura e dispositivo per il riconoscimento di gesti, prodotto informatico relativo
ITTO20130657A1 (it) * 2013-08-01 2015-02-02 St Microelectronics Srl Procedimento, apparecchiatura e dispositivo per il riconoscimento di gesti, prodotto informatico relativo
CN104866081A (zh) * 2014-02-25 2015-08-26 中兴通讯股份有限公司 一种终端操作方法、装置及终端
CN104978013A (zh) * 2014-04-08 2015-10-14 立普思股份有限公司 体感侦测器的手势辨识方法
CN105282582A (zh) * 2014-06-16 2016-01-27 深圳Tcl新技术有限公司 手指识别遥控方法及装置
CN105302404A (zh) * 2014-07-25 2016-02-03 深圳Tcl新技术有限公司 鼠标指针快速移动的方法及系统
CN105814511A (zh) * 2013-10-14 2016-07-27 诺基亚技术有限公司 偏差平面手腕输入
CN106028104A (zh) * 2016-05-27 2016-10-12 王增飞 一种基于2d视觉的体感操作实现方法及系统
CN106033256A (zh) * 2015-03-17 2016-10-19 深圳市加珠宝有限公司 一种人机互动装置
CN106369755A (zh) * 2016-09-18 2017-02-01 珠海格力电器股份有限公司 一种终端的空调控制方法、装置及智能终端
CN106507201A (zh) * 2016-10-09 2017-03-15 乐视控股(北京)有限公司 一种视频播放控制方法及装置
CN106686437A (zh) * 2017-01-17 2017-05-17 泰康保险集团股份有限公司 智能电视操作方法及系统
CN109327733A (zh) * 2018-10-30 2019-02-12 北京达佳互联信息技术有限公司 视频播放方法、视频播放装置、电子设备及存储介质
CN109688467A (zh) * 2018-12-11 2019-04-26 新视家科技(北京)有限公司 电视内容控制方法及其装置、电子设备、计算机可读介质
CN109782639A (zh) * 2018-12-29 2019-05-21 深圳市中孚能电气设备有限公司 一种电子设备工作模式的控制方法及控制装置
CN109803165A (zh) * 2019-02-01 2019-05-24 北京达佳互联信息技术有限公司 视频处理的方法、装置、终端及存储介质
CN110020634A (zh) * 2019-04-15 2019-07-16 刘政操 一种企业管理用资料展示板
CN110151187A (zh) * 2019-04-09 2019-08-23 缤刻普达(北京)科技有限责任公司 健身动作识别方法、装置、计算机设备及存储介质
CN111722703A (zh) * 2019-03-22 2020-09-29 上海博泰悦臻网络技术服务有限公司 手势交互方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005114556A2 (en) * 2004-05-14 2005-12-01 Honda Motor Co., Ltd Sign based human-machine interaction
CN101763515A (zh) * 2009-09-23 2010-06-30 中国科学院自动化研究所 一种基于计算机视觉的实时手势交互方法
CN102426480A (zh) * 2011-11-03 2012-04-25 康佳集团股份有限公司 一种人机交互系统及其实时手势跟踪处理方法
CN102467237A (zh) * 2011-11-17 2012-05-23 厦门集芯科技有限公司 一种由非接触式手势动作实现鼠标功能的装置及其方法
CN102685581A (zh) * 2012-05-24 2012-09-19 尹国鑫 智能电视多人手控系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005114556A2 (en) * 2004-05-14 2005-12-01 Honda Motor Co., Ltd Sign based human-machine interaction
CN101763515A (zh) * 2009-09-23 2010-06-30 中国科学院自动化研究所 一种基于计算机视觉的实时手势交互方法
CN102426480A (zh) * 2011-11-03 2012-04-25 康佳集团股份有限公司 一种人机交互系统及其实时手势跟踪处理方法
CN102467237A (zh) * 2011-11-17 2012-05-23 厦门集芯科技有限公司 一种由非接触式手势动作实现鼠标功能的装置及其方法
CN102685581A (zh) * 2012-05-24 2012-09-19 尹国鑫 智能电视多人手控系统

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103327385A (zh) * 2013-06-08 2013-09-25 上海集成电路研发中心有限公司 基于单一图像传感器的距离识别方法及装置
CN103327385B (zh) * 2013-06-08 2019-03-19 上海集成电路研发中心有限公司 基于单一图像传感器的距离识别方法及装置
US9910503B2 (en) 2013-08-01 2018-03-06 Stmicroelectronics S.R.L. Gesture recognition method, apparatus and device, computer program product therefor
US9971429B2 (en) 2013-08-01 2018-05-15 Stmicroelectronics S.R.L. Gesture recognition method, apparatus and device, computer program product therefor
ITTO20130659A1 (it) * 2013-08-01 2015-02-02 St Microelectronics Srl Procedimento, apparecchiatura e dispositivo per il riconoscimento di gesti, prodotto informatico relativo
ITTO20130657A1 (it) * 2013-08-01 2015-02-02 St Microelectronics Srl Procedimento, apparecchiatura e dispositivo per il riconoscimento di gesti, prodotto informatico relativo
US10551934B2 (en) 2013-08-01 2020-02-04 Stmicroelectronics S.R.L. Gesture recognition method, apparatus and device, computer program product therefor
CN105814511A (zh) * 2013-10-14 2016-07-27 诺基亚技术有限公司 偏差平面手腕输入
CN103543833B (zh) * 2013-10-30 2016-03-23 天津三星电子有限公司 一种显示器参数遥控调节方法、装置及显示器
CN103543833A (zh) * 2013-10-30 2014-01-29 天津三星电子有限公司 一种显示器参数遥控调节方法、装置及显示器
CN103686284B (zh) * 2013-12-16 2017-12-12 深圳Tcl新技术有限公司 基于手势识别的遥控方法及系统
CN103686284A (zh) * 2013-12-16 2014-03-26 深圳Tcl新技术有限公司 基于手势识别的遥控方法及系统
CN104866081A (zh) * 2014-02-25 2015-08-26 中兴通讯股份有限公司 一种终端操作方法、装置及终端
CN104978013A (zh) * 2014-04-08 2015-10-14 立普思股份有限公司 体感侦测器的手势辨识方法
CN105282582B (zh) * 2014-06-16 2019-04-16 深圳Tcl新技术有限公司 手指识别遥控方法及装置
CN105282582A (zh) * 2014-06-16 2016-01-27 深圳Tcl新技术有限公司 手指识别遥控方法及装置
CN105302404A (zh) * 2014-07-25 2016-02-03 深圳Tcl新技术有限公司 鼠标指针快速移动的方法及系统
CN106033256A (zh) * 2015-03-17 2016-10-19 深圳市加珠宝有限公司 一种人机互动装置
CN106028104A (zh) * 2016-05-27 2016-10-12 王增飞 一种基于2d视觉的体感操作实现方法及系统
CN106369755B (zh) * 2016-09-18 2019-09-10 珠海格力电器股份有限公司 一种终端的空调控制方法、装置及智能终端
CN106369755A (zh) * 2016-09-18 2017-02-01 珠海格力电器股份有限公司 一种终端的空调控制方法、装置及智能终端
CN106507201A (zh) * 2016-10-09 2017-03-15 乐视控股(北京)有限公司 一种视频播放控制方法及装置
CN106686437A (zh) * 2017-01-17 2017-05-17 泰康保险集团股份有限公司 智能电视操作方法及系统
CN109327733A (zh) * 2018-10-30 2019-02-12 北京达佳互联信息技术有限公司 视频播放方法、视频播放装置、电子设备及存储介质
CN109688467A (zh) * 2018-12-11 2019-04-26 新视家科技(北京)有限公司 电视内容控制方法及其装置、电子设备、计算机可读介质
CN109782639A (zh) * 2018-12-29 2019-05-21 深圳市中孚能电气设备有限公司 一种电子设备工作模式的控制方法及控制装置
CN109803165A (zh) * 2019-02-01 2019-05-24 北京达佳互联信息技术有限公司 视频处理的方法、装置、终端及存储介质
CN111722703A (zh) * 2019-03-22 2020-09-29 上海博泰悦臻网络技术服务有限公司 手势交互方法及系统
CN110151187A (zh) * 2019-04-09 2019-08-23 缤刻普达(北京)科技有限责任公司 健身动作识别方法、装置、计算机设备及存储介质
CN110151187B (zh) * 2019-04-09 2022-07-05 缤刻普达(北京)科技有限责任公司 健身动作识别方法、装置、计算机设备及存储介质
CN110020634A (zh) * 2019-04-15 2019-07-16 刘政操 一种企业管理用资料展示板

Similar Documents

Publication Publication Date Title
CN103139627A (zh) 智能电视及其手势控制方法
US9448620B2 (en) Input method and apparatus of portable device for mapping segments of a hand to a plurality of keys
US10120454B2 (en) Gesture recognition control device
US10338776B2 (en) Optical head mounted display, television portal module and methods for controlling graphical user interface
US8648811B2 (en) Remote control system for electronic device and remote control method thereof
US20090284469A1 (en) Video based apparatus and method for controlling the cursor
US20120229509A1 (en) System and method for user interaction
US20090158222A1 (en) Interactive and dynamic screen saver for use in a media system
CN111031398A (zh) 一种视频控制方法及电子设备
KR20130061149A (ko) 모바일 디바이스 원격 복귀 채널
CN101452356A (zh) 输入装置、显示装置、输入方法、显示方法及程序
US20090283341A1 (en) Input device and control method thereof
JP2013533541A (ja) 文字の選択
WO2020000975A1 (zh) 视频拍摄方法、客户端、终端及介质
CN113747216B (zh) 一种显示设备及触控菜单交互方法
CN103543825A (zh) 摄像机光标系统
CN110717993B (zh) 一种分体式ar眼镜系统的交互方法、系统及介质
CN104914985A (zh) 手势控制方法及系统与视频流处理装置
CN1991697A (zh) 交互式设备的输入装置
KR20230168568A (ko) 정보 입력 방법 및 장치, 전자 기기 및 저장 매체
CN110650304A (zh) 一种视频生成方法及电子设备
CN107179835A (zh) 一种输入方法和装置、一种用于输入的装置
CN206162471U (zh) 虚拟键盘装置
US20100053080A1 (en) Method For Setting Up Location Information On Display Screens And A Recognition Structure Thereof
CN113821138A (zh) 提示方法、装置及电子设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20130605