一种人机交互动作识别系统及方法
技术领域
本发明涉及人机交互技术领域,特别是涉及一种人机交互动作识别系统及方法。
背景技术
现在传统的人机交互动作识别系统通过摄像头、键盘、操纵杆中的采集信号,然后通过网络或者串口通信发送给计算机。但是,采用不同设备进行动作信息采集的话,只能通过不同系统完成。例如采用摄像头采集信息,对物体的移动信息、手指的点击信息、距离的检测信息或者手指的识别信息都是通过不同的系统完成的,而其分别采集到的信息都会传输给信息处理模块,但是其中采集到的信息很多都是相同的。因此,就会导致系统出现大量的冗余,操作和维护都非常复杂,并且维护成本很高。
发明内容
本发明的目的在于提供一种人机交互动作识别系统及方法,以解决现阶段人机交互动作识别系统不能集合多种采集设备对动作进行识别采集的问题。
本发明提供了一种人机交互动作识别系统,其包括:
S1:通过切换键确定场景信息采集模式,其中,所述场景信息采集模式包括人体移动识别模式、笔迹识别模式、手指识别模式以及雷达识别模式;
S2:将采集到的数据转化为图像信息,并将图像信息处理为灰度图;
S3:将灰度图进行分析处理,得到基于设备位图点的图像坐标信息;
S4:将所述图像坐标信息转化为屏幕坐标;
S5:根据所述屏幕坐标,将一个图像平面分割为一个以上的单元平面,记录所述单元平面四个角的点信息;
S6:通过仿射变换,将所述点信息映射到屏幕上;
S7:根据映射在屏幕上的点信息,对设备发出响应信息。
在一些实施例中,优选为,所述人体移动识别模式为通过红外摄像头采集显示面上的人的移动行为信息;所述笔迹识别模式为通过红外摄像头和红外笔或红外电子教鞭采集显示画上的书写信息;所述手指识别模式为通过红外摄像头采集显示面上的手指操作信息;所述雷达识别模式为通过雷达设备采集人手指的位置信息或者人站立的位置信息、以及移动行为信息。
在一些实施例中,优选为,所述人体移动识别模式采用红外灯进行补光。
在一些实施例中,优选为,所述S3为:根据所述场景信息采集模式,将灰度图进行背景减除处理、去噪处理、模糊处理、二值化处理和轮廓发现处理中的至少一种,并得到基于设备位图点的图像坐标信息。
在一些实施例中,优选为,所述S3包括:
将所述灰度图进行背景减除处理;
判断所述采集到的数据的采集模式;
若场景信息采集模式为人体移动识别模式、笔迹识别模式、手指识别模式,则进行去噪处理,否则,不进行;
进行模糊处理、二值化处理和轮廓发现处理;
得到基于设备位图点的图像坐标信息。
在一些实施例中,优选为,所述图像坐标信息包括设备位图点的坐标、轮廓大小、点出现或者停留的时间、点的ID信息。
在一些实施例中,优选为,所述S5包括:
根据所述屏幕坐标,将一个图像平面分割为一个以上的单元平面;
提取所述图像信息中交叠的图像数据;
将所述交叠的图像数据的单元平面记为同一单元平面;
记录所有单元平面四个角的点信息。
针对上述方法,本发明还公开了一种人机交互动作识别系统,其包括:依次连接的信息采集模块、信息分析模块、信息转换模块和信息处理模块;
所述信息采集模块用于图像信息的采集,并将所述图像信息处理为灰度图;所述信息采集模块包括红外采集设备和雷达采集设备;
所述信息分析模块用于将灰度图进行分析处理,以及输出基于设备位图点的图像坐标信息;
所述信息转换模块用于将所述图像坐标信息转化为屏幕坐标,以及将一个图像平面分割为一个以上的单元平面,记录所述单元平面四个角的点信息,并通过仿射变换将所述点信息映射到屏幕上;
所述信息处理模块用于根据映射在屏幕上的点信息,对设备发出响应信息。
在一些实施例中,优选为,所述摄像头采集设备包括红外摄像头、红外灯、红外笔、红外电子教鞭、红外激光器。
在一些实施例中,优选为,信息采集模块还包括切换键,所述切换键用于选择图像信息的采集设备。
在一些实施例中,优选为,所述信息分析模块包括背景减除单元、去噪单元、模糊单元、二值化单元和轮廓发现单元。
本发明实施例提供的人机交互动作识别方法及系统,与现有技术相比,可根据实际场景的需要,选择图像信息采集的采集模式,该采集模式包括人体移动识别模式、笔迹识别模式、手指识别模式以及雷达识别模式。因此,实现了一个交互系统就可以使用不同的图像信息采集设备,通过一套系统来管理不同的场景,并且可以切换摄像头和雷达2种采集设备。进而有效解决了现阶段人机交互动作识别系统不能集合多种采集设备对动作进行识别采集的问题。
附图说明
图1为本发明一个实施例中人机交互动作识别方法步骤示意图;
图2为本发明一个实施例中人机交互动作识别系统示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
针对现阶段人机交互动作识别系统不能集合多种采集设备对动作进行识别采集的问题,本发明提出了一种人机交互动作识别方法。如图1所示,该方法包括:
S1:通过切换键确定场景信息采集模式,其中,场景信息采集模式包括人体移动识别模式、笔迹识别模式、手指识别模式以及雷达识别模式;
S2:将采集到的数据转化为图像信息,并将图像信息处理为灰度图;
S3:将灰度图进行分析处理,得到基于设备位图点的图像坐标信息;
S4:将图像坐标信息转化为屏幕坐标;
S5:根据屏幕坐标,将一个图像平面分割为一个以上的单元平面,记录单元平面四个角的点信息;
S6:通过仿射变换,将点信息映射到屏幕上;
S7:根据映射在屏幕上的点信息,对设备发出响应信息。
针对4种不同的应用场景分别做了一套算法进行统一识别,因此一种场景确定为一种场景信息采集模式。人体移动识别模式为,将显示画面投射到显示面,可以是墙面或者地面,可以很清楚的识别每个人的移动,并将每个人的运动坐标转化为屏幕坐标传送出来,此时采用的是红外摄像头采集和红外灯进行补光。笔迹模式:通过红外笔在显示画面书写进行触发,书写产生的压力使得红外笔发出非可见的红外光,这个时候通过红外感应摄像头进行捕捉,将捕捉到的笔发光的信息转化为屏幕坐标传送出来,此时采用的是红外摄像头和红外笔或红外电子教鞭。手指模式:通过手指点击显示面,这个时候由于遮挡了红外激光器发出的平面光,产生了亮点,被红外摄像头识别,然后将摄像头采集到的坐标转化为屏幕坐标输出出来,此时用的设备是红外摄像头。雷达模式:可以精确识别到人手指的位置或者人站立的位置,范围从4M到80M之间都可以识别,识别点距离雷达的角度和距离可以被雷达检测出来,然后转化为图像信息,最后转化为屏幕坐标,交由计算机处理.此时采用的仅是雷达设备。
在上述S2中,采集到摄像头信息或者是雷达信息的数据之后,若需要将其转化为图像信息,则进行图像信息转化,然后将图像信息转化为灰度图。处理完之后,将灰度图继续传输处理,传输过程中,输入为图像的二进制数值。
在上述S3中,将灰度图进行分析处理为背景减除处理,去噪处理,模糊处理,二值化处理,轮廓发现处理输出手或者人体在设备图像中的坐标,由于对应不同的硬件,所以经过这些处理对应的参数不同。比如在背景减除处理,如果是移动识别,那么背景在不停的更新,如果是红外笔的识别,那么背景只有第一次使用的时候更新,如果是手的识别,那么背景在更新,但是没有移动识别的快,在比如去噪处理,如果是雷达模式,那么就不需要去噪,摄像头才需要去噪。这样输出出来的是基于设备位图点的信息,包括点的坐标,轮廓大小,点出现或者停留的时间,点的ID等信息。
上述S4和S5中,将图像坐标信息转化为屏幕坐标后,通过将1个大的平面分割为若干个单元平面,每个实际的单元平面的4个角在设备位图里面都有对应的4个角,然后通过仿射变换,将设备位图每一个点映射到屏幕上,如果有多个设备级联,就要处理多个设备位图交叠的部分,交叠的点只能算一次。
通过采集真实屏幕点的信息,然后针对设备产生响应,设备可以是鼠标信息,触摸屏信息,串口信息,网络信息,如果对应不同的游戏场景,那产生的信息也可能不同,发出的点的信息主要包括以下属性,点的坐标,是出现还是消失,一般出现对应按下,消失对应抬起,点的ID,看是哪个人或者哪个手指产生的,点持续的时间,点所在的区域,区域由用户指定。
针对上述人机交互动作识别方法,本发明还公开了一种人机交互动作识别系统,如图2所示,该系统包括依次连接的信息采集模块、信息分析模块、信息转换模块和信息处理模块。
信息采集模块用于图像信息的采集,并将图像信息处理为灰度图;信息采集模块包括红外采集设备和雷达采集设备;摄像头采集设备包括红外摄像头、红外灯、红外笔、红外电子教鞭、红外激光器。采集模块还包括切换键,切换键用于选择图像信息的采集设备。
信息分析模块用于将灰度图进行分析处理,以及输出基于设备位图点的图像坐标信息。信息分析模块包括背景减除单元、去噪单元、模糊单元、二值化单元和轮廓发现单元。信息分析模块的输入为图像的二进制数值,背景减除单元、去噪单元、模糊单元、二值化单元和轮廓发现单元分别对数据进行背景减除处理,去噪处理,模糊处理,二值化处理,轮廓发现处理。
信息转换模块用于将图像坐标信息转化为屏幕坐标,以及将一个图像平面分割为一个以上的单元平面,记录单元平面四个角的点信息,并通过仿射变换将点信息映射到屏幕上。
信息处理模块用于根据映射在屏幕上的点信息,对设备发出响应信息。
该人机交互动作识别系统可以针对不同的互动场景一键切换,则通过一套系统即可管理不同的场景,并且可以切换摄像头和雷达2种采集设备。用户在进行区域选择,游戏添加,屏幕校准与调整时,都只用操作一次,极大的方便了用户。在系统维护方面,每一个设备都通过外链不同的参数进行配置,维护简单方便,不容易出错,极大的提升了维护成本。并且,该人机交互动作识别系统可同其他需要行为识别的系统或设备联通使用,即通过该系统的安装及设置,就可以通过该系统识别出行为的操作信息(也包括位置信息),为其他系统设备提供行为操作信息。例如游戏体验方面,通过系统自带定时器播放不同的游戏,自动选择对应的响应方式,通过该系统就能够实现多个不同游戏的无缝切换。并且游戏内容还可以从网上下载对应的flash游戏,程序可以自动识别,极大的扩充了游戏的内容量。
该人机交互动作识别系统的原理同上述人机交互动作识别方法的原理相同,故不再做详细陈述。
以上仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。