CN1564105A - 一种基于图像的互动输入控制方法及系统 - Google Patents

Abstract

本发明公开了一种基于图像的互动输入控制方法，包括如下步骤：进行图像采集；对前述采集的图像进行处理；对前述处理后的图像进行分析判断，并得出判断结果；对前述判断结果进行信号转换，转换为计算机可识别的信号。在本发明中，所述方法在所述信号转换处理后，还包括进行图像合成的步骤。其中，所述图像采集可通过一个或多个图像输入设备(例如摄像头或摄像机)，来采集使用者的动态或静态影像。采用本发明后，可实现实时、互动、灵活地输入。

Description

一种基于图像的互动输入控制方法及系统

技术领域

本发明涉及基于动态图像的互动输入控制方法及系统，尤指一种使用摄像机或摄像头摄取动态图像的互动输入控制方法及系统。

背景技术

传统的计算机输入控制装置主要包括键盘、鼠标、操纵杆(含各类方向盘、操控手柄、跳舞毯等)和定位装置(如简单的超声波定位系统、电磁式定位系统等)。但是，除定位装置以外，上述所有的输入控制装置均需要使用者直接接触，因此在一定程度上限制了使用者的操作空间。

对于传统的定位装置，使用者在操作时均需要佩戴与之配套的传感器或反光球。例如，光学捕捉设备就是通过提供一定数量的专用反光球给使用者，让他们绑定在身体的关键部位，然后通过若干高速摄像机捕捉并分析使用者的动作，进而输出使用者身体各部位的三维坐标及空间方向。虽然上述光学捕捉设备能提供高精度的数据，但是其费用高昂、调试复杂，因而家庭用户无法接受。

另一方面，传统的计算机游戏都是让使用者去扮演或控制一个或多个虚拟角色来进行游戏的，因此使用者与虚拟角色之间在视觉上是隔离的。

最后，传统的计算机输入方式均采用一台图像输入设备(例如摄像头或摄像机)，因此其视野范围狭窄。

有鉴于此，提供一种基于图像的互动输入控制系统以克服上述缺点实为必要。

发明内容

本发明的主要目的在于提供一种基于图像的互动输入控制方法，可实现实时、互动、灵活的输入。

本发明的另一目的在于提供一种基于图像的互动输入控制系统，可实现实时、互动、灵活的输入。

为达到上述目的，一种基于图像的互动输入控制方法，包括如下步骤：进行图像采集；对前述采集的图像进行处理；对前述处理后的图像进行分析判断，并得出判断结果；对前述判断结果进行信号转换，转换为计算机可识别的信号。

在本发明中，所述图像采集可通过一个或多个图像输入设备来进行。所述对采集的图像进行处理的步骤包括：将采集的图像数据中的每一帧进行缩放处理；对缩放后的图像进行色彩转换处理；对色彩转换后的图像进行降噪处理。

所述对处理后的图像进行分析判断的步骤包括：将降噪处理后的图像进行比较处理；将比较处理得到的图像进行阈值处理；将N帧(N为整数)经前述处理的图像进行结合；将前述结合后的图像进行区域判断。在本发明中，所述方法在所述信号转换处理后，还包括进行图像合成的步骤。在进行图像合成前，所述方法还包括判断所述图像输入设备是否超过一个的步骤。

若进行图像采集的图形输入设备只有一个时，则直接将计算机产生的虚拟图像与采集的图像进行叠加；若图形输入设备为多个，则对多个图像输入设备采集的图像进行配对，并连接多个图像输入设备采集的图像，最后将计算机所产生的虚拟图像和经所述连接处理后的图像进行叠加处理。

本发明一种基于图像的互动输入控制系统，包括图像采样模块、图像处理模块、图像分析模块、信号转换模块。在本发明另一个实施例中，所述互动输入控制系统还包括图像合成模块。

在本发明中，图像采样模块可进行图像采集并将采集的图像输入计算机。在本发明一个实施例中，图像采样模块为一个或多个图像输入设备(例如摄像头或摄像机)，用于采集使用者的动态或静态影像。

所述图像处理模块包括三个控制模块，分别为缩放模块(Resize module)、色彩转换模块(Color space conversion module)和降噪模块(Noise reduction module)。图像处理模块的功能在于将图像采样模块采集的图像数据中的每一帧进行缩放、色彩转换和降噪。

其中，缩放模块用于将图像采样模块采集的图像的分辨率进行缩小，以减少系统的运算负荷；色彩转换模块用于对经缩放模块处理后的图像的颜色进行转换，从BGR模式转为GREY模式的功能；而降噪模块则用于对经过色彩转换模块处理后的图像进行降噪处理，以去除图像中不必要的噪点。

所述图像分析模块包括四个控制模块，分别为比较模块(Calculate differencemodule)、阈值模块(Threshold module)、历史储存模块(Update history module)和判断模块。所述图像分析模块用于对图像处理模块处理后的图像数据进行分析，并对使用者的动作进行判断。

其中，所述比较模块的作用在于通过将图像处理模块处理的当前帧与上一帧图像的逐个象素进行相减，得到反映这两帧图像差别之处的图像。所述阈值模块用于对前述反映两帧图像差别之处的图像进行阈值处理，得到只有黑白的图像；所述历史储存模块用于对所述阈值模块中所产生的黑白图像以“与”操作的方式和前N帧同样经过前述处理的图像进行结合(N为整数，视具体情况确定N的值)。所述判断模块用于对经历史储存模块结合后的图像进行区域判断，即计算出每个区域中白色象素占该区域总面积的百分比。

所述信号转换模块的功能在于对所述历史储存模块计算的百分比结果进行转换，借以转化为计算机所能识别的输入信号，安装于计算机的计算机软件利用此已转化的信号实现使用者与计算机之间的互动控制。

图像合成模块功能在于对图像信息和虚拟场景进行叠加，并经计算而产生合成的虚拟图像。所述图像合成模块包括配对模块(Match module)、连接模块和叠加模块。

其中，当所述图像采样模块仅采用一个图像输入设备进行图像采集时，所述配对模块不予执行；当图像采样模块采用两个图像输入设备进行图像采集时，系统执行本模块。该配对模块的工作原理如下(以二个图像输入设备为例)：

首先，所述配对模块首先对第一图像输入设备所采集的图像进行抽样，假设抽取图像样本；然后利用此样本在第二图像输入设备所采集的图像中进行查找，并得到与此样本相似的图像样本，并输出该图像样本所在区域的坐标信息。

在本发明中，所述连接模块用于连接多个图像输入设备所采集的图像，该模块只有当配对模块被执行后才有效。该模块的工作原理如下(以前述二个图像输入设备为例)：

首先，连接模块对前述两个图像的亮度进行分析，得到该两个图像亮度的平均值，然后利用此平均值分别设置这两个图像的亮度；接着利用配对模块所得到的图像样本所在区域的坐标信息连接两个图像，其中图像以部分叠加的形式重合于图像之上，两个图像重合的地方为最相似的区域。

在本发明中，叠加模块用于将计算机所产生的虚拟图像和图像采样模块所采集的图像进行叠加处理，并且计算机所产生的虚拟图像位于图像采样模块所采集的图像之上。当图像采样模块采用两个以上图像输入设备进行图像采集时，叠加模块则将计算机所产生的虚拟图像和所述连接模块处理后的图像进行叠加处理。

通过该计算机系统，进行计算机图像处理的方法是：令一摄像头或摄像机对使用者或场景进行持续拍摄，经过由计算机采集，得到使用者或场景的影像，此影像被存储于计算机内存中，假设命名为Img0，影像的色彩可以为彩色或灰度。令一图像处理模块中的缩放模块来降低摄像头或摄像机所采集的影像Img0的分辨率，根据具体情况缩小为原尺寸的1/2或1/4甚至更小，借以减少计算机的运算量，假设另存为Img1；令一色彩转换模块图像处理模块对缩小后的影像Img1进行色彩空间的转换，把图像从BGR彩色模式转为GREY灰度，假设另存为Img2，若计算机采集时已为灰度图像则比步骤可忽略；令一图像处理模块中的降噪模块对Img2进行降噪处理，借以减少由图像来源或环境所产生的不可预知的噪点。令一图像分析模块中的比较模块对经过以上同样处理的当前帧(假设为Img2_current)与前一帧(假设为Img2_pre)相减比较，通过对两个帧图像的象素间的相减运算，借以得到他们的差异之处，假设结果为Img3；令一图像分析模块中的阈值模块对相减后的图像Img3进行阈值(Threshold)处理，产生黑白单色图像Img4。令一图像分析模块中的历史储存模块来储存该黑白图像Img4于一个记录单色的历史库Img_istory中，该历史库视具体需要以″与″操作合成之前一定数量的经过同样处理的黑白图像，例如前15帧；令一图像分析模块中的判断模块对图像Img_history进行切割，视具体需要来细分切割的块数，并分别统计每块中白色象素占该区域面积的百分比，当此百分比超过一定数量时，令一信号转换模块输出控制响应信号，例如前进、后退、左移、右移等等。当本系统的采集图像是通过两个摄像头或摄像机进行采集时，令另一个摄像头或摄像机所采集的图像Img0_2进行如上步骤的相同处理，然后令一图像合成模块中的配对模块对图像Img0进行抽样，样本来自图像Img0的接近四个图像边缘中的任意一个矩形区域，假设结果为Img0_sample，该区域的提取位置视合成的图像的需要而决定；利用Img0_sample在Img0_2中查找与Img0_sample相似的区域，并得到该相似区域的四个顶点的坐标信息，根据实际情况拾取其中的一个值，假如图像1与图像2左右连接时，该值为X坐标上最大的值，此坐标值有两对，可随机抽取其中的一对，假设为(Matched_x，Matched_y)。令一图像合成模块中的连接模块，取Img0_2中X坐标从Matched_x到Img0_2的宽度，Y坐标从0到Img0_2的高度的部分图像Img0_2_1，取Img0的整幅图像与Img0_2_1相连接，形成新的图像Img_combined。令一图像合成模块中的叠加模块对计算机所产生的虚拟图像与Img_combined进行叠加，并成为最终的显示输出效果。

当本系统的采集图像是通过一个摄像头或摄像机进行采集时，直接令一图像合成模块中的叠加模块对计算机所产生的虚拟图像与Img0进行叠加，并成为最终的显示输出效果。

采用本发明后，由于采用摄像头来制作捕捉设备，使用者可以在摄像头或摄像机拍摄的有效范围内做随意的动作，与传统的输入设备相比较，使用者不需要直接与硬件接触，输入方式灵活，而且设置简单。

其次，本发明一改传统的纯虚拟交互的形式，并且改变了传统输入方式视觉上虚拟场景和真实角色之间的隔离感；本发明可实现身临其境的互动方式，让使用者在视觉上感受到其本人已经成为游戏中的一份子，在虚拟时空中的物体互动。例如，使使用者在进行游戏时可以通过摄像头对其肢体动作进行捕捉并分析，最终成为游戏能识别的输入控制信号，而且使用者的相貌也可显示在游戏中，所以大大加深玩家投入度以及游戏的趣味性。

再次，本发明可以在成本低廉的机器上实现实时处理，即具有实时性。并且由于所需要的设备均为通用设备，所以不需要专业人员维护，维护简单。

最后，本发明可采用多台图像输入设备(例如摄像头或摄像机)，因此使其视野范围更加广阔。

附图说明

图1为本发明互动输入控制系统的物理模块图；

图2-4为本发明进行图像叠加的原理图；

图5为本发明互动输入控制系统工作流程图；

图6为本发明互动输入控制系统在采用单个图像输入设备时的图像采集示意图；

图7为本发明互动输入控制系统在采用单个图像输入设备时的图像采集示意图；

图8为本发明互动输入控制系统一个实施例的腿部图像捕捉的示意图。

具体实施方式

下面结合附图对本发明做进一步的说明。

如图1所示，本发明一种基于图像的互动输入控制系统，包括图像采样模块1、图像处理模块2、图像分析模块3、信号转换模块4。在本发明另一个实施例中，所述互动输入控制系统还包括图像合成模块5。

在本发明中，图像采样模块1可进行图像采集并将采集的图像输入计算机。在本发明一个实施例中，图像采样模块1为一个或多个图像输入设备(例如摄像头或摄像机)，用于采集使用者的动态或静态影像。

所述图像处理模块2包括三个控制模块，分别为缩放模块21(Resizemodule)、色彩转换模块22(Color space conversion module)和降噪模块23(Noisereduction module)。图像处理模块2的功能在于将图像采样模块1采集的图像数据中的每一帧进行缩放、色彩转换和降噪。

其中，缩放模块21用于将图像采样模块1采集的图像的分辨率进行缩小，以减少系统的运算负荷；色彩转换模块22用于对经缩放模块21处理后的图像的颜色进行转换，从BGR模式转为GREY模式的功能；而降噪模块23则用于对经过色彩转换模块22处理后的图像进行降噪处理，以去除图像中不必要的噪点。

所述图像分析模块3包括四个控制模块，分别为比较模块31(Calculatedifference module)、阈值模块32(Threshold module)、历史储存模块33(Updatehistory module)和判断模块34。所述图像分析模块3用于对图像处理模块2处理后的图像数据进行分析，并对使用者的动作进行判断。

其中，所述比较模块31的作用在于通过将图像处理模块2处理的当前帧与上一帧图像的逐个象素进行相减，得到反映这两帧图像差别之处的图像。所述阈值模块32用于对前述反映两帧图像差别之处的图像进行阈值处理，得到只有黑白的图像；所述历史储存模块33用于对所述阈值模块32中所产生的黑白图像以“与”操作的方式和前N帧同样经过前述处理的图像进行结合(N为整数，视具体情况确定N的值)。所述判断模块34用于对经历史储存模块33结合后的图像进行区域判断，即计算出每个区域中白色象素占该区域总面积的百分比。

所述信号转换模块4的功能在于对所述历史储存模块33计算的百分比结果进行转换，借以转化为计算机所能识别的输入信号，安装于计算机的计算机软件利用此已转化的信号实现使用者与计算机之间的互动控制。

图像合成模块5功能在于对图像信息和虚拟场景进行叠加，并经计算而产生合成的虚拟图像。所述图像合成模块5包括配对模块51(Matchmodule)、连接模块52和叠加模块53。

其中，当所述图像采样模块1仅采用一个图像输入设备进行图像采集时，所述配对模块51不予执行；当图像采样模块1采用两个图像输入设备进行图像采集时，系统执行本模块。参考图2，该配对模块51的工作原理如下(以二个图像输入设备为例)：

首先，参考图2，所述配对模块51首先对第一图像输入设备所采集的图像80进行抽样，假设抽取图像样本95；然后利用此样本95在第二图像输入设备所采集的图像82中进行查找，并得到与此样本相似的图像样本97，如图3所示，并输出该图像样本97所在区域的坐标信息。

在本发明中，所述连接模块52用于连接多个图像输入设备所采集的图像，该模块只有当配对模块51被执行后才有效。该模块的工作原理如下(以前述二个图像输入设备为例)：

首先，连接模块52对图3所示的两个图像80，82的亮度进行分析，得到该两个图像80，82亮度的平均值，然后利用此平均值分别设置这两个图像80，82的亮度；接着利用配对模块51所得到的图像样本97所在区域的坐标信息连接两个图像80，82，其中图像80以部分叠加的形式重合于图像82之上，两个图像80，82重合的地方为最相似的区域，如图4所示。

在本发明中，叠加模块53用于将计算机所产生的虚拟图像和图像采样模块1所采集的图像进行叠加处理，并且计算机所产生的虚拟图像位于图像采样模块1所采集的图像之上。当图像采样模块1采用两个以上图像输入设备进行图像采集时，叠加模块53则将计算机所产生的虚拟图像和所述连接模块52处理后的图像进行叠加处理。

如图5所示，本发明基于图像的互动输入控制方法包括如下步骤：

步骤100：进行图像采集；在本发明中，可通过一个或多个图像输入设备进行图像采集。

步骤200：进行图像处理；在本发明一个实施例中，所述步骤200包括三个子流程，分别为：1.将采集的图像数据中的每一帧进行缩放处理，步骤211，即将采集图像的分辨率缩小，以减少系统运算负荷的功能；2.对缩放后的图像进行色彩转换处理，步骤212，即将缩放处理后的图像的颜色空间进行转换，以实现从BGR模式到GREY模式的转换流程；3.对色彩转换后的图像进行降噪处理，步骤213，以去除图像中不必要的噪点。

步骤300：进行图像分析。在本发明一个实施例中，所述步骤300包括四个子流程，分别为：1.对经上述处理后的图像进行比较处理，步骤311，即对图像处理后的当前帧与上一帧图像进行逐个象素的相减，得到这两帧图像的差别之处；2.将比较处理得到的图像进行阈值处理，步骤312，得到只有黑白的图像；3.将N帧(N为整数，视具体情况确定N的值)经前述处理的图像进行结合，步骤313，即将经前述处理所产生的N帧黑白图像以“与”操作的方式进行结合；4.将前述结合后的图像进行区域判断，步骤314，即视具体情况，对每个区域中白色象素占该区域总面积的百分比进行计算。

步骤400：将区域判断结果进行信号转换，转换为计算机可识别的信号；计算机软件利用此已转化的信号实现使用者与计算机之间的互动控制。

步骤500：进行图像合成。该流程可对图像输入设备采集并处理的图像信息和计算机所产生的虚拟场景进行实时缝合。

在进行图像合成前，本发明互动输入控制系统的工作流程中还包括步骤450，即判断图像采样模块中的图像输入设备是否超过一个。若只采用一个图形输入设备进行图像采集时，则系统直接将计算机产生的虚拟图像与采集的图像进行叠加，即步骤513。若图形输入设备为多个，则系统对多个图像输入设备采集的图像进行配对，步骤511，并连接多个图像输入设备采集的图像，步骤512，最后将计算机所产生的虚拟图像和经所述连接处理后的图像进行叠加处理，步骤513。

通过以上所述的各个流程，一种基于图像的互动输入控制方法就这样完成了。

下面将结合具体实施例进一步对本发明进行详细说明，以便对本发明的目的，特征及优点进行更深入的理解。

                            实施例一

参考图6，所示的是本发明采用单个摄像头或摄像机11(图像输入设备)时的图像采集示意图。

使用者612需要站在摄像头或摄像机11的可视范围中，也可以只拍摄上半身，所拍摄的可视范围视具体应用而定。使用者612在使用本发明系统时只需要正对着摄像头或摄像机11，按指示做相应的动作。

在本发明中，首先摄像头或摄像机11对使用者612进行图像采集，采集的图像分辨率为640*480，颜色深度为24位，帧速为30FPS，当前帧图像储存为Img_capture。

参考图1和图5，缩放模块21对摄像头或摄像机11所采集的图像Img_capture的分辨率进行缩小，缩小后的尺寸为320*240，从而系统减少了3/4的运算量，图像储存为Img_resized；经过缩放处理之后，色彩转换模块22会把图像Img_resized的颜色深度从BGR彩色模式转换为GREY灰度模式，由于GREY灰度模式的图像所需要的内存空间只是同样尺寸的BGR彩色模式图像的1/3，从而再一次减少图像的处理量，图像储存为Img_grey；接着，降噪模块23对转换后的图像Img_grey进行降噪，降噪的方法主要是通过降低取样比和提高采样比来实现，也可以通过高斯模糊来实现，以降低摄像头或摄像机11或环境所产生的不可预知的噪点，从而减少图像分析中的误差，图像储存为Img_smooth。

然后，比较模块31对经过以上同样处理的当前帧Img_smooth_current与前一帧Img_smooth_last进行相减比较，通过对两个帧图像的逐个象素间的相减运算，并对相减结果采用绝对值处理，借以得到它们之间的差异(Difference)，每个象素的取值的范围为0-255，相减后的图像储存为Img_diff。接着，阈值模块32对相减后的图像Img_diff进行阈值(Threshold)处理，该模块对每个象素中少于10的值为0，而大于或等于10的值则为1，借以产生黑白图像Img_bw。下一步，历史储存模块33储存该黑白图像Img_bw于一个记录单色的历史库Img_history中，该历史库以″与″操作合成前0.3秒的经过同样处理的黑白图像，也就是0.3*30FPS＝9帧。最后，判断模块34对图像Img_history进行切割，画面被平均分割为四个矩形区域，分别统计每个区域中白色象素所占的该区域面积的比例。

然后，信号转换模块4对上述判断模块34统计的各个区域的比例结果进行转换，若此比例超过30％，则程序响应左上区域为计算机小键盘的“7”键；相应地，程序响应右上区域为计算机小键盘的“9”键；程序响应左下区域为计算机小键盘的“1”键；程序响应右下区域为计算机小键盘的“3”键。

最终，本发明通过叠加模块53对计算机611所产生的虚拟图像与图像Img_capture进行合成，并输出到计算机611的显示设备中。

                         实施例二

图7所示的是本发明采用两个摄像头或摄像机11，12(图像输入设备)时的图像采集示意图。其中两个摄像头11，12分别被放置在不同高度的同一垂线上，各自的拍摄方向持一定角度，并保留一定的夹角。本实施例以拍摄使用者612全身为例进行说明。

摄像头11采集图像并储存为Img_cam1，摄像头12采集图像并储存为Img_cam2。摄像头11主要拍摄使用者612的上半身，而摄像头12主要拍摄使用者612的下半身。

假设上述采集的图像分辨率均为320*240，颜色深度为24位，帧速为25FPS。图像处理模块2中的缩放模块21对摄像头所采集的图像Img_cam1和Img_cam2的分辨率进行缩小，缩小尺寸为160*120，并另存为Img_cam1_sm和Img_cam2_sm；图像处理模块2中的色彩转换模块22分别对图像Img_cam1_sm和Img_cam2_sm的颜色深度从BGR彩色模式转换为GREY灰度模式，并分别保存为Img_cam1_sm1和Img_cam2_sm1。

图像处理模块2中的降噪模块23对转换后的图像Img_cam1_sm1和Img_cam2_sm1进行处理，并保存为相同的变量名。

下面将描述第一个摄像头11的捕捉原理，也就是摄像头11对使用者612头部的捕捉处理。

首先，系统在第一次运行时创建一个与Img_cam1_sm1尺寸和颜色深度相同的空白图像Img_cam1_sm1_pre。

其次，通过图像分析模块3中的比较模块31对经过以上同样处理的当前帧Img_cam1_sm1与上一帧Img_cam1_sm1_pre的比较，得出不同的灰度图像Img_cam1_diff。图像分析模块3中的阈值模块32对灰度图像Img_cam1_diff进行阈值(Threshold)处理，产生黑白单色图像Img_cam1_bw，保存Img_cam1_sm1为Img_cam1_sm1_pre。对Img_cam1_bw的上半部分进行从上往下的逐行扫描，统计每行所含有白色象素的数量N_cam1。若N_cam1超过1/4当前扫描水平线上的总象素(水平线上的总象素为160)时，停止扫描。记录当前停留的位置Img_cam1_pos，此位置为使用者612头部的当前位置。若程序为第一次运行时则记录Img_cam1_pos为Img_cam1_last，并且不执行以下程序；当Img_cam1_pos大于Img_cam1_last时，计算Img_cam1_pos减去Img_cam1_last的值，而且该相减后值的比较大时，得到使用者612跳跃的高度(相对于摄像头所采集的图像而言)，借以响应响应程序中的“跳”输入操作。

下面将描述第二个摄像头12的捕捉原理，也就是摄像头12对使用者612腿部的捕捉处理。

首先，系统在第一次运行时创建一个与Img_cam2_sm2尺寸和颜色深度相同的空白图像Img_cam2_sm2_pre。

其次，图像分析模块3中的比较模块31对经过以上同样处理的当前帧Img_cam2_sm2与Img_cam2_sm2_pre的比较，得出不同的灰度图像Img_cam2_diff。图像分析模块3中的阈值模块32对灰度图像Img_cam2_diff进行阈值(Threshold)处理，产生黑白单色图像Img_cam2_bw。储存该黑白图像Img_cam2_bw于一个记录单色的历史库Img_cam2_history中，该历史库视具体需要以″与″操作合成之前的图像。图像分析模块3中的历史储存模块33来储存该黑白图像Img_cam2_bw于一个记录单色的历史库Img_cam2_history中，该历史库以″与″操作合成之前0.2秒的图像，即0.2*30FPS＝6帧。

对Img_cam2_history进行分析，在图像的高度的一半的地方查找第一个和最后一个连续出现的两个连续的白色象素的位置，如图8所示，图8所示的使用者612的一个腿81’处第一个连续出现的两个连续的白色象素的位置83，使用者612的另一个腿82’处最后一个连续出现的两个连续的白色象素的位置84，并保存为Pos_begin和Pos_end。Po_begin和Pos_end之间的距离可粗略的看作为使用者612的两只腿81’-82’的宽度。图像分析模块3中的判断模块34决定Pos_begin和Pos_end之间的中点，此中点可粗略地区分使用者的左右腿。以此中点分别向其左右方设置两个矩形区域，Rect1和Rect2，并计算这两区域中白色象素的总数量。若任一矩形区域的白色象素的总数量值为另一区域白色象素总数值的2倍时，则可判断使用者612相应位置的腿在移动。若左右腿分别移动的间隔时间少于0.5秒，则判断使用者612的状态为行走或跑，借以响应程序中的“跑”输入操作。

最后，图像合成模块5中的配对模块51在Img_cam1靠下方的位置上抽取一宽为Img_cam1宽度一半，高度为3个象素的一个矩形区域，并存为图像Img_cam1_sample。然后，配对模块51在Img_cam2中搜索与样本Img_cam1_sample相似的区域，并得到四个矩形顶点相应的坐标，任意取Y坐标值最大的两组坐标值中的一对，并存为(Matched_x，Matched_y)。然后合成模块5中的连接模块52对图像Img_cam1与Img_cam2的亮度信息进行分析，得到这两幅图像的亮度信息的平均值，利用此平均值分别设置图像Img_cam1与Img_cam2的亮度。下一步是合成模块5中的连接模块52对图像Img_cam1中的整幅图像和Img_cam2中X坐标从0到图像Img_cam2的宽度，Y坐标从Matched_y到Img_cam2的高度的图像相连接，并保存为Img_combined。因此Img_combined的宽度为Img_cam1的宽度(Img_cam1的宽度与Img_cam2的宽度相等)，高度为：Img_cam1的高度+(Img_cam2的高度-Matched_y)。最后，图像合成模块5中的叠加模块53对计算机产生的虚拟图像和图像Img_combined进行叠加，并输出到计算机设备的显示设备中。

在本发明中，以上所说的计算机可以为个人计算机、图像工作站、手提计算机、电视游戏机、便携式游戏机、个人数字助理以及移动电话其中任一种装置。

所述摄像头的光学感应器件是CMOS或CCD，接口为USB或AV接口。其中，CMOS芯片的优点是价格低廉，但刷新率比较低，在室内日光灯做主照明时只能达到10-20 FPS(Frames Per Second，每秒显示的帧数)，部分采用内置图像加速芯片的摄像头则可达到18-25 FPS。而采用CCD芯片的摄像头普遍可以稳定保持在25 FPS以上，但CCD芯片的成本远高于CMOS芯片，故一般只有中高端的摄像头才会采用CCD芯片作为其光学感应器件。因此，用户可根据需要加以选择，但是在选用用于家庭捕捉系统的摄像头就必须选择能达到20 FPS以上的，以确保画面的流畅性，减少滞后。

以上所揭露的仅为本发明的较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明申请专利范围所作的等同变化，仍属本发明所涵盖的范围。

Claims (10)

1.一种基于图像的互动输入控制方法，包括如下步骤：

进行图像采集；

对前述采集的图像进行处理；

对前述处理后的图像进行分析判断，并得出判断结果；

对前述判断结果进行信号转换，转换为计算机可识别的信号。

2.根据权利要求1所述的互动输入控制方法，其特征在于：所述图像采集可通过一个或多个图像输入设备来进行。

3.根据权利要求1所述的互动输入控制方法，其特征在于：所述对采集的图像进行处理的步骤包括：

将采集的图像数据中的每一帧进行缩放处理；

对缩放后的图像进行色彩转换处理；

对色彩转换后的图像进行降噪处理。

4.根据权利要求3所述的互动输入控制方法，其特征在于：所述对处理后的图像进行分析判断的步骤包括：

将降噪处理后的图像进行比较处理；

将比较处理得到的图像进行阈值处理；

将N帧(N为整数)经前述处理的图像进行结合；

将前述结合后的图像进行区域判断。

5.根据权利要求1或4所述的互动输入控制方法，其特征在于：所述方法在所述信号转换处理后，还包括进行图像合成的步骤。

6.根据权利要求5所述的互动输入控制方法，其特征在于：在进行图像合成前，所述方法还包括判断所述图像输入设备是否超过一个的步骤。

7.根据权利要求6所述的互动输入控制方法，其特征在于：若进行图像采集的图形输入设备只有一个时，则直接将计算机产生的虚拟图像与采集的图像进行叠加；若图形输入设备为多个，则对多个图像输入设备采集的图像进行配对，并连接多个图像输入设备采集的图像，最后将计算机所产生的虚拟图像和经所述连接处理后的图像进行叠加处理。

8.一种基于图像的互动输入控制系统，其特征在于：所述系统包括：

图像采样模块；用于图像采集并将采集的图像输入计算机；

图像处理模块；用于将所述图像采样模块采集的图像数据中的每一帧进行缩放、色彩转换和降噪。

图像分析模块；用于对图像处理模块处理后的图像数据进行分析判断，并得出判断结果；

信号转换模块；用于对前述判断结果进行信号转换，转换为计算机可识别的信号。

9.根据权利8所述的互动输入控制系统，其特征在于：所述图像采样模块可包括一个或多个图像输入设备。

10.根据权利9所述的互动输入控制系统，其特征在于：所述系统还包括一个图像合成模块，其中所述图像合成模块包括：

配对模块(Match module)；当所述图像采样模块仅采用一个图像输入设备进行图像采集时，所述配对模块不予执行；当图像采样模块采用两个以上的图像输入设备进行图像采集时，系统执行本模块；

连接模块；所述连接模块用于连接多个图像输入设备所采集的图像，该模块只有当配对模块被执行后才有效；

叠加模块；当采用一个图形输入设备进行图像采集时，则系统直接将计算机产生的虚拟图像与采集的图像进行叠加；若图形输入设备为多个，则系统对多个图像输入设备采集的图像进行配对，并连接多个图像输入设备采集的图像，最后将计算机所产生的虚拟图像和经所述连接处理后的图像进行叠加处理。

Images