CN103135748B - 人机交互操作指令的触发控制方法和系统 - Google Patents

Abstract

本发明公开了一种人机交互操作指令的触发控制方法和系统，所述方法预先存储光源在摄像画面中的显示方式与人机交互指令的映射关系；在触发控制时包括：获取摄像装置拍摄的摄像画面；在摄像画面中检测光源，分析所检测到的光源在所述摄像画面中的显示方式；根据所述预先存储的映射关系，确定当前检测到的光源在所述摄像画面中的显示方式所对应的人机交互操作指令，并触发该人机交互操作指令。所述装置对应包括：映射关系库、摄像获取模块、光源检测模块、分析模块、以及指令识别模块。利用本发明，可以实现较高精度的非接触式人机交互。

Description

人机交互操作指令的触发控制方法和系统

技术领域

本发明涉及人机交互系统技术，尤其涉及一种人机交互操作指令的触发控制方法及系统。

背景技术

人机交互技术(Human-ComputerInteractionTechniques)是指通过机器的输入、输出设备，以有效的方式实现人与机器交互的技术。它包括机器通过输出或显示设备给人提供大量有关信息及提示请示等，人通过输入设备给机器输入有关信息和操作指令等。

目前各种机器的人机交互方式主要包括：按键键盘、鼠标、触摸屏或多点触摸屏。上述人机交互方式虽然目前已经被广泛接受，但在易用性上依然不够自然直接，不能实现非接触的人机交互操作。例如触摸屏操作，需要用户用手指在屏幕上触摸，这种操作不卫生，在设备屏幕上也带来太多指纹痕迹；而对于中远程的人机交互场景，例如利用大屏幕或投影设备进行讲解的场景中，讲解人往往离计算机较远，当需要对计算机进行操作时，往往需要讲解人接近计算机进行相应的鼠标和键盘操作，这样无法实现中远程的人机交互，不方便用户进行人机交互操作。

虽然目前也有直接用手势手型等进行非接触式人机交互输入的方案，但是目前直接识别手势手型信号的抗干扰能力很差，操作精度太差。

发明内容

有鉴于此，本发明的主要目的在于提供一种人机交互操作指令的触发控制方法和系统，以实现较高精度的非接触式人机交互。

本发明的技术方案是这样实现的：

一种人机交互操作指令的触发控制方法，预先存储光源在摄像画面中的显示方式与人机交互指令的映射关系；在触发控制时包括：

获取摄像装置拍摄的摄像画面；

在摄像画面中检测光源，分析所检测到的光源在所述摄像画面中的显示方式；

根据所述预先存储的映射关系，确定当前检测到的光源在所述摄像画面中的显示方式所对应的人机交互操作指令，并触发该人机交互操作指令。

一种人机交互操作指令的触发控制系统，该系统包括：

映射关系库，用于存储光源在摄像画面中的显示方式与人机交互指令的映射关系；

摄像获取模块，用于获取摄像装置拍摄的摄像画面；

光源检测模块，用于在摄像画面中检测光源；

分析模块，用于分析所检测到的光源在所述摄像画面中的显示方式；

指令识别模块，用于根据所述预先存储的映射关系，确定当前检测到的光源在所述摄像画面中的显示方式所对应的人机交互操作指令，并触发该人机交互操作指令。

与现有技术相比，本发明所提供的方案以光源作为人机交互依据，通过检测和识别光源在摄像画面中的显示方式来确定并触发对应的人机交互操作指令。从而一方面可以实现非接触式的人机交互；另一方面由于光源在画面中的敏感性和易捕获性，有非常好的抗干扰能力，因此可以提高非接触式人机交互的操作精度。

附图说明

图1为本发明所述方法的一种应用场景的一种器件系统连接示意图；

图2为本发明所述人机交互操作指令的触发控制方法的一种流程图；

图3为在摄像头所拍摄的摄像画面中检测识别光源的处理过程示意图；

图4为表1和表2所述光源区域编码和人机交互指令在摄像画面区域上的示意图；

图5为摄像画面中光源轨迹和人机交互指令的一种示意图；

图6为一种光源脉冲闪断对应操作方式的示意图；

图7为本发明所述的人机交互操作指令的触发控制系统的一种组成示意图；

图8为所述光源检测模块的一种内部组成示意图；

图9为本发明所述触发控制系统采用编码转换的方式存储所述映射关系的一种示意图。

具体实施方式

下面结合附图及具体实施例对本发明再作进一步详细的说明。

本发明的核心技术方案是：预先存储光源在摄像画面中的显示方式与人机交互指令的映射关系；在触发控制时包括：获取摄像装置拍摄的摄像画面；在摄像画面中检测光源，分析所检测到的光源在所述摄像画面中的显示方式；根据所述预先存储的映射关系，确定当前检测到的光源在所述摄像画面中的显示方式所对应的人机交互操作指令，并触发该人机交互操作指令。

图1为本发明所述方法的一种应用场景的一种器件系统连接示意图。参见图1，本实施例中所述摄像装置为摄像头101，所述数据处理设备102通过摄像头接口104与摄像头101连接，其连接方式可以是诸如通用串行总线(USB)等有线连接或者wifi等无线连接方式等各种业内成熟的连接解决方案。在另一种实现方式中所述摄像头101也可以不是单独的设备，而是数据处理设备102中的内置摄像头。

所述摄像头的可视区域103就是摄像头101所拍摄的摄像画面，摄像头101通过人工设置或自动调节而完整捕获可视区域103并进行清晰对焦。在该可视区域103中，操作人员可以手持一个发光设备(本发明中简称光源)进行交互操作，所述光源例如可以是普通的手电筒或手机灯光、或者专门制作的带有开关或颜色选择的发光设备等。在摄像头101的摄像画面中，可以将所述光源105的影像拍摄下来，作为后续的检测分析处理的基础，当然所述摄像画面中还有操作人员的身体107以及其他的环境图像，这些图像在后续处理的过程中需要去除掉。

当摄像头101完整捕获可视区域103并进行清晰对焦之后，可以启动数据处理设备102上的触发控制系统106。

所述的数据处理设备102的可以是指有处理和计算功能的计算系统，可以提供程序运行的环境，典型的例子为台式计算机、笔记本电脑，平板电脑以及具有计算能力的智能手机等手持设备及有计算能力的机器人设备等，还可以是具有数据处理能力的电视机、机顶盒等家庭常用的设备。

数据处理设备102上运行的触发控制系统106是一种软件系统，用于将通过摄像头101获取可视区域103的摄像画面，并进行视频图像分析计算，检测出光源在所述摄像画面中的显示方式；根据所述预先存储的光源在摄像画面中显示方式与人机交互指令的映射关系，确定当前检测到的光源在所述摄像画面中的显示方式所对应的人机交互操作指令，向机器侧触发该人机交互操作指令。

本发明可以通过所述光源的显示方式映射多种人机交互操作指令，例如可以模拟电脑操作指令、以及电视机遥控指令等，可以由一个光源模拟单一控制点的操作指令，也可以由一个以上光源模拟多控制点的操作指令。

本发明需要在所述触发控制系统106中预先存储光源在摄像画面中的显示方式与人机交互指令的映射关系。所述光源在摄像画面中的显示方式可以是光源在摄像画面中的区域、轨迹、颜色、或脉冲闪断。

在预先存储光源在摄像画面中的显示方式与人机交互指令的映射关系时，一种实施方式是可以直接存储光源在摄像画面中显示方式与人机交互指令的直接映射关系，在这种情况下只需要一个光源在摄像画面中显示方式和人机交互指令的映射库即可，在触发控制过程中从摄像画面中检测识别出光源的显示方式后，与该映射库中的显示方式进行比对，从而获得对应的人机交互指令。

另一种实施方式中，为了更加灵活地处理光源显示方式所代指的操作指令，可以存储编码转换的映射关系，此时需要建立两个库，即编码库和编码指令映射库。其中所述编码库用于存储光源在摄像画面中的显示方式与对应的编码的映射关系；所述编码指令映射库用于存储所述编码与对应人机交互指令的映射关系。在触发控制过程中从摄像画面中检测识别出光源的显示方式后，先与所述编码库中的显示方式进行比对，从而获得对应的编码，再用该编码与所述编码指令映射库中的编码进行比对，从而获得对应的人机交互指令。在该种实施方式中，所述编码库是比较固定的，一般封装在所述触发控制系统中，所述编码指令映射库可以对编码对应的人机交互指令进行修改，以便更高效率地解决多种编码和多种指令的灵活配置和维护，乃至提供用户根据自己的偏好进行自定义编码或编码对应指令的功能。

下面介绍所述触发控制系统106通过检测识别光源模拟操作视频播放设备(如电脑播放器、电视机、机顶盒等)对本发明进行具体说明。

在对所述视频播放设备进行触发控制前需要将所述摄像头对准操作人员所持的光源并进行调焦以清晰地拍摄到画面，具体的触发控制过程如图2所示，包括以下步骤：

步骤s01、通过摄像头接口104获取利用摄像头所拍摄的摄像画面即所述可视区域103。

步骤s02、在摄像头所拍摄的摄像画面中检测识别光源。

图3为在摄像头所拍摄的摄像画面中检测识别光源的处理过程示意图。参见图3，其中子画面301代表人眼所看到的摄像头正常拍摄到的画面，其中的圆圈105为操作人员所持的光源。触发控制系统需要对摄像画面进行图像背景弱化处理，以去除与所述光源无关的图像信息而凸显光源。首先触发控制系统通过控制摄像头的曝光量去除与光源无关的图像信息而凸显光源信息，例如一种典型的方式是把摄像头的曝光量降到最低，这样摄像画面由于亮度远远低于光源，因此摄像画面中除了光源的其它部分画面就黯淡了，而光源由于其高亮依然保持清晰。如子画面302所示。

接下来，触发控制系统还可以对子画面302的图像进一步进行图像处理，典型的方式是通过对图像色阶的调整，进一步弱化图像信息，即去除残留的黯淡影像信号，并且进一步凸显高亮的光源，如子画面303所示的效果。此处的图像处理知识属于公知常见技术，当然，本发明还可以通过其它的图像处理方法实现去除与光源无关的图像信息而凸显光源信息。

最终，控制程序将摄像头所拍摄的画面处理得到类似子画面304所示的结果画面。该结果画面是仅有光源的画面，依据该结果画面，可以按照现有的图像坐标分析技术非常容易地捕获所述光源，即最终检测到了光源，并可以据此计算光源的显示方式。

在一种有干扰光源的场景中，摄像画面中可能会拍摄到不止一个光源，其中包括不是作为操作控制用途的其他光源，例如照明灯光。在这种情况下，本发明可以通过对摄像头的视频序列画面对画面的背景进行分离。其原理是用于操作控制的手持光源是运动的，而通过视频多帧画面中的图像处理对比，可以检出运动部分，而去除不动的画面，例如其他照明灯。即可排除其他灯光的干扰。具体的处理方法是：持续检测所拍摄的每一帧画面中的光源，识别在最近连续的指定数量(如最近100帧)的帧画面中位置不变的光源，从所述画面中去除该位置不变的光源。识别位置不变的光源的具体方法可以是：栅格化所述摄像装置拍摄的画面，计算所检测到的光源在所述摄像画面中的坐标，根据所述栅格化参数，确定所述检测到的光源在摄像画面中的栅格区域，如果在连续的指定数量(如最近100帧)的帧画面中，某个光源持续在一个栅格区域中，则判定该光源为干扰光源，将该干扰光源从所述304的画面中去除。

步骤s03、分析所检测到的光源在所述摄像画面中的显示方式。

步骤s04、根据所述预先存储的映射关系，确定当前检测到的光源在所述摄像画面中的显示方式所对应的人机交互操作指令，向机器侧触发该人机交互操作指令。

本发明中，所述光源在摄像画面中的显示方式可以是光源在摄像画面中的区域、轨迹、颜色、或脉冲闪断。下面分别介绍每种显示方式的分析方法，和对应人机交互操作指令的确定方法。

(一)所述光源在摄像画面中的显示方式为：光源在摄像画面中的区域。这种显示方式的实施例中，预先存储光源在摄像画面中的区域与人机交互指令的映射关系。本实施例中采用编码转换的方式存储所述映射关系，即存储编码库和编码指令映射库。

下面以光源在摄像画面中区域编码在电视机遥控操作为例进行说明，如下面表1为编码库，表2为编码指令映射库。

编码	区域参数(设摄像头拍摄画面的左上角为原点，)
		A	左边界＝0，右边界＝图像宽/3，上边界＝0，下边界＝图像高/3
B	左边界＝图像宽/3，右边界＝图像宽*2/3，上边界＝0，下边界＝图像高/3
		C	左边界＝图像宽*2/3，右边界＝图像宽，上边界＝0，下边界＝图像高/3
D	左边界＝0，右边界＝图像宽/3，上边界＝图像高/3，下边界＝图像高*2/3
		E	左边界＝图像宽/3，右边界＝图像宽*2/3，上边界＝图像高/3，下边界＝图像高*2/3
F	左边界＝图像宽*2/3，右边界＝图像宽，上边界＝图像高/3，下边界＝图像高*2/3
		G	左边界＝0，右边界＝图像宽/3，上边界＝图像高*2/3，下边界＝图像高
H	左边界＝图像宽/3，右边界＝图像宽*2/3，上边界＝图像高*2/3，下边界＝图像高
		I	左边界＝图像宽*2/3，右边界＝图像宽，上边界＝图像高*2/3，下边界＝图像高

表1

编码	人机交互指令	说明
			A	放大音量	当光源出现在摄像头图像的左上角，就放大音量
C	换下一个频道	当光源出现在摄像头图像的右上角，就换上个频道
			D	减小音量	当光源出现在摄像头图像的左中区，就缩小音量
G	静音	当光源出现在摄像头图像的左下角，就静音
			I	换下一个频道	当光源出现在摄像头图像的右下角，就换下个频道

表2

步骤s03中，所述分析所检测到的光源在所述摄像画面中的区域的具体方法为：按照编码库中的区域参数将所述摄像装置拍摄的画面预先划分区域；分析所检测到的光源在所述摄像画面103中的坐标，由于光源的往往不是一点，因此在一种具体实施方式中是计算出光源的平均中心在摄像画面103中的坐标值。至于具体的计算坐标的方法，可以直接调用现有的应用程序编程接口(API，ApplicationProgrammingInterface)来计算分析坐标值。之后根据所述编码库中所述的区域参数，确定所述检测到的光源在摄像画面中的区域，假设此时确定的区域为左中区。则在步骤s04中，先从编码库中比对所述光源所在区域对应的编码，例如此处的可以根据左中区比对确定出的编码为D，然后从所述编码指令映射库中比对编码D对应的人机交互指令，得到的指令是减小音量，从而触发减小音量的操作。

图4为表1和表2所述光源区域编码和人机交互指令在摄像画面区域上的示意图。参见图4，摄像画面103被所述区域参数划分为9个区域，每个区域对应编码，每个编码映射对应有操作指令，当然在操作指令较少的情况下，某些区域也可以不映射操作指令，成为空白区域。

通过上述处理，运行在电视设备或者机顶盒上的控制软件很容易根据摄像头检测出的光源在摄像画面中的位置而做出控制判断。对于家庭用户来说，手机可以作为光源，从而不再烦恼遥控器找不到的情形。

(二)所述光源在摄像画面中的显示方式为：光源在摄像画面中的轨迹。

这种显示方式的实施例中，预先存储光源在摄像画面中的轨迹与人机交互指令的映射关系，如前所述，可以存储直接的映射关系，也可以采用编码转换的方式存储所述映射关系。其中的编码库和编码指令映射库与上述表1和表2的形式类似，本实施例中不再赘述所述编码库和编码指令映射库，而直接通过光源轨迹和人机交互指令的示意图来说明两者之间的映射关系。如图5为摄像画面中光源轨迹和人机交互指令的一种示意图。参见图5，是以光源运动轨迹编码在电脑操作中为例进行说明，本实施例中需要对摄像装置拍摄的摄像画面进行栅格化处理；如果光源的轨迹向下运动3格，则对应的电脑操作指令为：向下滚动内容；如果光源的轨迹向右运动3格，则对应的电脑操作指令为：翻下一页；如果光源的轨迹斜向上运动3格，则对应的电脑操作指令为：放大画面。其他的操作指令可以依次类推，本文不再赘述。

步骤s02和s03中，所述在摄像画面中检测识别光源，分析所检测到的光源在所述摄像画面中的轨迹的具体方法为：对画面建立栅格坐标体系，持续检测识别所拍摄的每一帧画面中的光源，并计算每一帧画面中光源的坐标，得到光源的运动轨迹栅格坐标序列，只需要判断光源栅格坐标序列穿过栅格的个数和方向就可以得到光源在摄像画面中的运动轨迹。并在步骤s04中，根据预存的所述运动轨迹和操作指令的映射关系，确定该运动轨迹对应的电脑操作指令。比如图5中所示向下穿越3个栅格的轨迹编码，就映射为电脑操作指令：向下滚动内容。

下面举例说明所述的轨迹检测方法：

已知条件：(1)、已知当前光源坐标换算出来的在栅格中的位置坐标；(2)、以及待检测的运动轨迹描述，运动轨迹描述则为一组栅格坐标序列，该组栅格坐标如果绘制在栅格上，就成为一个标准的轨迹样本。

假定栅格坐标体系中的左上角为坐标原点。此处举例，有两个运动轨迹，也就是有组栅格坐标序列，第一组M1：(1，1)、(1，2)、(1，3)、(1、4)，描述为一组从上到下的四个连续栅格，表示一个从上到下的标准运动轨迹。第二组M2：(1，1)、(1，2)、(1，3)、(2，3)，标示一个“L”型的轨迹坐标序列。

设定检测窗口为4个坐标，软件持续记录过去4个光源运动的坐标，形成一组坐标序列，例如：(5，5)、(5，6)、(5，7)、(5、6)，将该坐标序列的起点变换为(1，1)，其他点坐标用相同的相对值进行变换，得到(1，1)、(1，2)、(1，3)、(1，2)，将该组变换后的序列标准运动轨迹的序列进行比对，如果一致，则判断为某组运动轨迹。如果不一致，则继续记录和检测。

一个成功检测序列例如：(7，7)、(7，8)、(7，9)、(8，9)，坐标变化后得到(1，1)、(1，2)、(1，3)、(2，3)，即符合上例的“L”型的轨迹坐标序列。

上述描述即为轨迹检测方法，如果用公式表达，则如下：

有标准轨迹M1[(m1x1，m1y1)、(m1x2、m1y2)...]，M2，...Mn

有即时过去记录的运动轨迹，也就是一组坐标序列，C[(x1，y1)、(x2、y2)、(x3、y3)、...]

将C的坐标变换(即起点变换成相同的坐标，其他点坐标用相同的相对值进行变换)后与M1到MN进行逐一比较，即可得出轨迹判断。

(三)所述光源在摄像画面中的显示方式为：光源在摄像画面中的颜色。

这种显示方式的实施例中，预先存储光源在摄像画面中的颜色与人机交互指令的映射关系，如前所述，可以存储直接的映射关系，也可以采用编码转换的方式存储所述映射关系。其中的编码库和编码指令映射库与上述表1和表2的形式类似，本实施例中不再赘述所述编码库和编码指令映射库。

步骤s03中，所述分析所检测到的光源在所述摄像画面中的颜色的具体方法为：计算所检测到的光源在所述摄像画面中的坐标；从摄像画面中提取该坐标处的颜色参数。此处具体的颜色参数提取方式可以利用摄像装置的API接口获取所述颜色参数，通常为三色值，如R/G/B三色值。所述预先存储的光源在摄像画面中的颜色与人机交互指令的映射关系中，所述颜色编码可以用R/G/B三色的取值范围来表示，例如颜色编码可以分为红/黄/蓝/绿/紫/白，每种颜色都对应R/G/B三色的取值范围。在步骤s04中，只要检测到的光源点的R/G/B三色值落入某一颜色编码的R/G/B三色的取值范围就可以确定该光源点的颜色编码，进而确定其对应的操作指令。

(四)所述光源在摄像画面中的显示方式为：光源在摄像画面中的脉冲闪断。

这种显示方式的实施例中，预先存储光源在摄像画面中的脉冲闪断与人机交互指令的映射关系，如前所述，可以存储直接的映射关系，也可以采用编码转换的方式存储所述映射关系。其中的编码库和编码指令映射库与上述表1和表2的形式类似，本实施例中不再赘述所述编码库和编码指令映射库。

图6为一种光源脉冲闪断对应操作方式的示意图。参见图6，所述纵坐标为光源开启状态，方波上沿表示光源开启，方波下沿表示光源关闭，不同的光源脉冲闪断方式对应了不同的人机交互操作，例如此图6中以对应电视机遥控操作为例进行说明。

步骤s03中，所述分析所检测到的光源在所述摄像画面中的脉冲闪断的具体方法为：持续检测所拍摄的每一帧画面中的光源，在一预定的检测时间区间(该检测时间区间与图6中所示的检测时间区间相同)中分析所述连续的帧画面中光源的脉冲闪断。并在步骤s04中，与预设的(如图6所示的闪烁方式)由光源的脉冲闪断与人机交互指令的映射关系进行匹配，如果匹配某一脉冲闪断方式，则触发对应的人机交互操作指令。

上面介绍了四种主要的光源显示方式及其对应的确定人机交互指令的方式，但是，本发明并不局限上述几种显示方式，依据本发明的原理所述控制软件可以编制和解读其他的光源显示方式来代表对应的人机交互指令。

图7为本发明所述的人机交互操作指令的触发控制系统106的一种组成示意图，参见图7，该触发控制系统106主要用于实施本发明上述的处理方法，其中具体包括：

映射关系库601，用于存储光源在摄像画面中的显示方式与人机交互指令的映射关系；

摄像获取模块602，用于获取摄像装置拍摄的摄像画面；

光源检测模块603，用于在摄像画面中检测光源；

分析模块604，用于分析所检测到的光源在所述摄像画面中的显示方式；

指令识别模块605，用于根据所述预先存储的映射关系，确定当前检测到的光源在所述摄像画面中的显示方式所对应的人机交互操作指令，并触发该人机交互操作指令。

进一步的，如图8所示，所述光源检测模块603具体包括：

图像处理子模块631，用于对摄像画面进行图像背景弱化处理，去除与所述光源无关的图像信息而凸显光源。

捕获子模块632，用于从所述经过图像处理子模块641处理的摄像画面中捕获所述凸显的光源。

为了去除干扰光源，所述光源检测模块603中还可以进一步包括：

干扰光源去除子模块633，用于对所述图像处理子模块631和捕获子模块632持续检测出的每一帧画面中的光源进行分析，识别在最近连续的指定数量的帧画面中位置不变的光源，从所述画面中去除该位置不变的光源。

在一种实施例中，采用编码转换的方式存储所述映射关系。图9为本发明所述触发控制系统采用编码转换的方式存储所述映射关系的一种示意图。参见图8，所述映射关系库601中具体包括编码库611和编码指令映射库612；所述编码库611用于存储光源在摄像画面中的显示方式与对应编码的映射关系；所述编码指令映射库612用于存储所述编码与对应人机交互指令的映射关系。所述指令识别模块605具体包括编码识别模块651和编码指令映射模块652；所述编码识别模块651用于查询所述编码库611，确定当前检测到的光源在所述摄像画面中的显示方式所对应的编码；所述编码指令映射模块652用于根据所述编码识别模块651输出的编码查询所述编码指令映射库612，确定所述编码对应的人机交互操作指令。

本发明中，所述光源在摄像画面中的显示方式可以是光源在摄像画面中的区域、轨迹、颜色、或脉冲闪断。对应的，所述分析模块至少包括以下子模块中的一种：

区域分析子模块，用于计算所检测到的光源在所述摄像画面中的坐标，根据对所述摄像画面预先划分的区域坐标参数，确定所述检测到的光源在摄像画面中的区域，输出给指令识别模块。所述指令识别模块根据所确定的所述光源在摄像画面中的区域查询对应的区域编码库和编码指令映射库，从而得到对应的操作指令进行触发操作。

轨迹分析子模块，用于持续分析所检测到的每一帧画面中的光源，并计算每一帧画面中光源的坐标，得到光源的运动轨迹坐标序列，对画面建立栅格坐标体系，通过判断光源坐标序列穿过栅格的个数和方向确定光源在所述摄像画面中的轨迹，输出给指令识别模块。所述指令识别模块根据所确定的所述光源在摄像画面中的轨迹查询对应的轨迹编码库和编码指令映射库，从而得到对应的操作指令进行触发操作。

颜色分析子模块，用于计算所检测到的光源在所述摄像画面中的坐标，利用应用程序编程接口从摄像画面中提取该坐标处的颜色参数，输出给指令识别模块。所述指令识别模块根据所确定的所述光源在摄像画面中的颜色查询对应的颜色编码库和编码指令映射库，从而得到对应的操作指令进行触发操作。

脉冲闪断分析子模块，用于持续分析所检测到的每一帧画面中的光源，在一预定的检测时间区间中确定所述连续的帧画面中光源的脉冲闪断，输出给指令识别模块。所述指令识别模块根据所确定的所述光源在摄像画面中的脉冲闪断查询所述脉冲闪断编码库和编码指令映射库，从而得到对应的操作指令进行触发操作。

当然，本发明还可以模拟利用一个以上光源设备模拟的多点触操作。当模拟多点触操作时，需要摄像头拍摄操作者所持的一个以上光源设备，每个光源的检测和分析显示方式的方法与上述相同，指示需要对应存储相应的多点光源显示方式的编码库和编码指令映射库，当一个以上的光源的显示方式匹配所述编码库中的多点显示方式时，确定对应的编码，并最终确定最终的多点触操作。例如两个光源同时向相反的外方向移动对应放大操作，两个光源同时向相反的内方向移动对应缩小操作。

综上所述，本发明将通过基于辅助光源和摄像头进行配合，操作者只需要使用本发明提出的光源设备和摄像头及控制软件的配合，即可获得直观操控的人机互动方式。以计算机为例，可以通过本方案获得模拟鼠标运动和键盘按键的效果。在电视上的应用则可以作为换台或调节音量，以及玩简单操控的游戏等等。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (14)

1.一种人机交互操作指令的触发控制方法，其特征在于，预先存储光源在摄像画面中的显示方式与人机交互指令的映射关系，其中，所述光源在摄像画面中的显示方式包括如下方式中的任一方式：光源在摄像画面中的区域、光源在摄像画面中的轨迹、光源在摄像画面中的颜色、光源在摄像画面中的脉冲闪断；在触发控制时包括：

获取摄像装置拍摄的摄像画面；

在摄像画面中检测光源，分析所检测到的光源在所述摄像画面中的显示方式；

根据所述预先存储的映射关系，确定当前检测到的光源在所述摄像画面中的显示方式所对应的人机交互操作指令，并触发该人机交互操作指令；

所述存储光源在摄像画面中的显示方式与人机交互指令的映射关系具体为存储编码转换的映射关系，包括：存储光源在摄像画面中的显示方式与对应编码的映射关系，存储所述编码与对应人机交互指令的映射关系；

所述根据所述预先存储的映射关系，确定当前检测到的光源在所述摄像画面中的显示方式所对应的人机交互操作指令的具体方式为：先确定当前检测到的光源在所述摄像画面中的显示方式所对应的编码；再确定该编码对应的人机交互操作指令。

2.根据权利要求1所述的方法，其特征在于，所述在摄像画面中检测光源的具体方法为：

对摄像画面进行图像背景弱化处理，去除与所述光源无关的图像信息而凸显光源，捕获所述凸显的光源。

3.根据权利要求2所述的方法，其特征在于，所述在摄像画面中检测光源的具体方法进一步包括：

持续检测捕获所拍摄的每一帧画面中的光源，确定在最近连续的指定数量的帧画面中位置不变的光源，从所述画面中去除该位置不变的光源。

4.根据权利要求1至3任一项所述的方法，其特征在于，

如果光源在摄像画面中的显示方式为光源在摄像画面中的区域，所述分析所检测到的光源在所述摄像画面中的区域的具体方法为：

预先将所述摄像装置的拍摄画面划分区域；计算所检测到的光源在所述摄像画面中的坐标；根据区域参数，确定所述检测到的光源在摄像画面中的区域。

5.根据权利要求1至3任一项所述的方法，其特征在于，

如果所述光源在摄像画面中的显示方式为光源在摄像画面中的轨迹，所述在摄像画面中检测识别光源，分析所检测到的光源在所述摄像画面中的轨迹的具体方法为：

对画面建立栅格坐标体系，持续检测识别所拍摄的每一帧画面中的光源，并计算每一帧画面中光源的栅格坐标，得到光源的运动轨迹栅格坐标序列；通过判断光源栅格坐标序列穿过栅格的个数和方向确定光源在所述摄像画面中的轨迹。

6.根据权利要求1至3任一项所述的方法，其特征在于，

如果所述光源在摄像画面中的显示方式为光源在摄像画面中的颜色，所述分析所检测到的光源在所述摄像画面中的颜色的具体方法为：

计算所检测到的光源在所述摄像画面中的坐标；利用应用程序编程接口从摄像画面中提取该坐标处的颜色参数。

7.根据权利要求1至3任一项所述的方法，其特征在于，

如果所述光源在摄像画面中的显示方式为光源在摄像画面中的脉冲闪断，所述检测所述摄像画面中的光源，分析所检测到的光源在所述摄像画面中的脉冲闪断的具体方法为：

持续检测所拍摄的每一帧画面中的光源，在一预定的检测时间区间中确定所述连续的帧画面中光源的脉冲闪断。

8.一种人机交互操作指令的触发控制系统，其特征在于，该系统包括：

映射关系库，用于存储光源在摄像画面中的显示方式与人机交互指令的映射关系，其中，所述光源在摄像画面中的显示方式包括如下方式中的任一种方式：光源在摄像画面中的区域、光源在摄像画面中的轨迹、光源在摄像画面中的颜色、光源在摄像画面中的脉冲闪断；

摄像获取模块，用于获取摄像装置拍摄的摄像画面；

光源检测模块，用于在摄像画面中检测光源；

分析模块，用于分析所检测到的光源在所述摄像画面中的显示方式；

指令识别模块，用于根据所述预先存储的映射关系，确定当前检测到的光源在所述摄像画面中的显示方式所对应的人机交互操作指令，并触发该人机交互操作指令；

所述映射关系库中具体包括编码库和编码指令映射库；所述编码库用于存储光源在摄像画面中的显示方式与对应编码的映射关系；所述编码指令映射库用于存储所述编码与对应人机交互指令的映射关系；

所述指令识别模块具体包括编码识别模块和编码指令映射模块；所述编码识别模块用于查询所述编码库，确定当前检测到的光源在所述摄像画面中的显示方式所对应的编码；所述编码指令映射模块用于根据所述编码识别模块输出的编码查询所述编码指令映射库，确定所述编码对应的人机交互操作指令。

9.根据权利要求8所述的系统，其特征在于，所述光源检测模块具体包括：

图像处理子模块，用于对摄像装置摄像画面进行图像背景弱化处理，去除与所述光源无关的图像信息而凸显光源；

捕获子模块，用于从所述经过图像处理子模块处理的摄像画面中捕获所述凸显的光源。

10.根据权利要求9所述的系统，其特征在于，所述光源检测模块中进一步包括：

干扰光源去除子模块，用于对所述图像处理子模块和捕获子模块持续检测出的每一帧画面中的光源进行分析，识别在最近连续的指定数量的帧画面中位置不变的光源，从所述画面中去除该位置不变的光源。

11.根据权利要求8至10任一项所述的系统，其特征在于，

如果所述光源在摄像画面中的显示方式为光源在摄像画面中的区域，所述分析模块包括：区域分析子模块，用于计算所检测到的光源在所述摄像画面中的坐标，根据对所述摄像画面预先划分的区域坐标参数，确定所述检测到的光源在摄像画面中的区域。

12.根据权利要求8至10任一项所述的系统，其特征在于，

如果所述光源在摄像画面中的显示方式为光源在摄像画面中的轨迹，所述分析模块包括：轨迹分析子模块，用于持续分析所检测到的每一帧画面中的光源，并计算每一帧画面中光源的坐标，得到光源的运动轨迹坐标序列，对画面建立栅格坐标体系，通过判断光源坐标序列穿过栅格的个数和方向确定光源在所述摄像画面中的轨迹。

13.根据权利要求8至10任一项所述的系统，其特征在于，

如果所述光源在摄像画面中的显示方式为光源在摄像画面中的颜色，所述分析模块包括：颜色分析子模块，用于计算所检测到的光源在所述摄像画面中的坐标，利用应用程序编程接口从摄像画面中提取该坐标处的颜色参数。

14.根据权利要求8至10任一项所述的系统，其特征在于，

如果所述光源在摄像画面中的显示方式为光源在摄像画面中的脉冲闪断，所述分析模块包括：脉冲闪断分析子模块，用于持续分析所检测到的每一帧画面中的光源，在一预定的检测时间区间中确定所述连续的帧画面中光源的脉冲闪断。