CN101477631B - 图像中提取目标的方法、设备及人机交互系统 - Google Patents

Abstract

本发明公开了一种图像中提取目标的方法、设备及人机交互系统，其方法包括：S1、获取红外光图像和可见光图像，并根据光照情况在所述红外光图像和可见光图像中选择其一为主图像，另一为辅图像；S2、对所述主图像进行分割和识别，查找到所述目标的成像作为候选目标；S3、根据预设的约束在所述辅图像中确定所述目标的成像区域；S4、将每个所述成像区域与所述候选目标配对，并至少选择其中的一个的配对输出。采用本发明提高了目标提取的稳定性以及速度；也提高了基于该设备的人机交互系统的稳定性以及速度。

Description

图像中提取目标的方法、设备及人机交互系统

技术领域

本发明涉及一种计算机视觉与识别系统，尤其涉及的是，一种图像中提取目标的方法、设备及基于该设备的人机交互系统。

背景技术

现有技术中，图像中提取目标的方法，都使用某一个波段的成像来检测目标，通常有采用红外光波段的、可见光波段的、超声波段的等等，但是，仅使用红外光波段，则检测到的信息较少；单纯使用可见光波段，检测信息比较困难，处理速度较慢。同时，单纯使用单个波段的图像，容易外界受光照强度影响，当阳光斜射时，使用红外光波段图像则容易形成大片的明亮区域，对检测不利；而光线较暗时，使用可见光波段进行图像处理提取特征也较为困难。

在人机交互系统中，为了提高用户体验时的沉浸感，将立体视觉技术应用于人机交互，基于图像提取的控制器的空间数据进行一系列的算法转换为相应的控制指令，例如，申请号是CN200610083199.4公开了一种基于立体视觉的游戏控制系统及方法，其采用的是，通过可见光波段的图像确定玩家空间位置及姿态，将结果转化为游戏控制指令。在从图像提取目标时也存在上述的问题。

因此，现有技术还有待于改进和发展。

发明内容

本发明的目的在于提供一种图像中提取目标的方法、设备及人机交互系统，采用本发明能够提高图像中提取目标的速度、精度和稳定性。

本发明的技术方案如下：

一种图像中提取目标的方法，包括：

S1、获取红外光图像和可见光图像，并根据光照情况在所述红外光图像和可见光图像中选择其一为主图像，另一为辅图像；

S2、对所述主图像进行分割和识别，查找到所述目标的成像作为候选目标；

S3、根据预设的约束在所述辅图像中确定所述目标的成像区域；

S4、将每个所述成像区域与所述候选目标配对，并至少选择其中的一个的配对输出。

所述的方法，其中，所述步骤S1包括：计算所述可见光图像中亮度高于预设亮度的像素所占的比率，如果所述比率大于预设的阈值，则选择所述可见光图像为主图像，所述红外光图像为辅图像。

所述的方法，其中，所述步骤S2中的识别是将分割后的图像与预先输入的所述目标样本进行对比。

本发明还提供一种图像中提取目标的设备，包括以下依次连接的：图像获取模块，用于同时获取包含所述目标的红外光图像和可见光图像；图像选择模块，用于根据光照情况在所述红外光图像和可见光图像中选择其一为主图像，另一为辅图像；候选目标模块，用于对所述主图像进行分割和识别，查找到所述目标的成像作为候选目标；约束模块，用于根据预设的约束在所述辅图像中确定目标的成像区域；配对模块，将每个所述成像区域与所述候选目标配对，并至少选择其中的一个的配对输出。

所述的设备，其中，所述图像获取模块包括与所述图像选择模块连接的热红外摄像机。

所述的设备，其中，所述图像获取模块包括带有红外滤光片的普通摄像机，所述红外滤光片用于滤除所述普通摄像机采集到全部波长光波中可见光光波。

所述的设备，其中，所述图像选择模块包括：亮度计算单元，用于计算所述可见光图像中亮度高于预设亮度的像素所占的比率；标识单元，用于在所述比率大于预设的阈值时，将所述可见光图像标识为主图像，所述红外光图像标识为辅图像。

所述的设备，其中，所述候选目标模块包括：分割单元，用于对所述主图像进行分割；识别单元，用于对分割后主图像与预先输入的所述目标样本进行对比，查找到所述目标的成像作为候选目标。

所述的设备，其中，所述配对模块包括：面积计算单元，用于计算每对配对中所述成像区域与所述候选目标面积之和；输出单元，用于将所述面积计算单元计算的最大值的配对输出。

本发明还提供一种利用所述的图像中提取目标的设备的人机交互系统，其中，所述提取的目标是控制器，还包括：三维数据模块，用于利用由所述配对模块确定的所述控制器的二维信息，获得三维坐标；运动序列模块，用于利用当前三维坐标和之前的三维坐标生成运动序列；指令映射模块，用于将运动序列映射到相应的控制指令。

本发明所提供的图像中提取目标的方法，与现有技术相比，同时利用红外光图像和可见光图像进行目标的提取，由于先在两种不同波段的图像进行目标识别分别得到成像，再根据之前标识的主图像和辅图像进行配对完成互补，最终确认目标的二维信息；这综合了两个不同波段的图像根据完成的目标提取方法和设备，提高了目标提取的稳定性、精度以及速度；也提高了基于该设备的人机交互系统的稳定性、精度以及速度。

附图说明

图1是本发明的图像中提取目标的方法的流程图；

图2是本发明的图像中提取目标的设备的原理框图；

图3是本发明设备的图像选择模块的结构框图；

图4是本发明设备的一种具体实施方式的结构框图；

图5是本发明设备的一种具体实施方式的工作流程图；

图6是本发明的人机交互系统的原理框图；

图7是本发明的人机交互系统中的命令解析装置的结构框图；

图8是本发明的人机交互系统的工作流程图。

具体实施方式

以下结合附图对本发明做具体说明。

本发明的图像中提取目标的方法，主要是选取一幅较为可靠的图像提取目标成像，然后到另外一幅图像中去找该目标的成像。包括以下步骤，见图1：

100、获取红外光图像和可见光图像；

200、根据光照情况在所述红外光图像和可见光图像中选择其一为主图像，另一为辅图像；本步骤可以在第一次运行时保存结果、也可以每帧都可以运行。本步骤具体采用以下流程：

210、统计所述可见光图像的亮度分量直方图的分布；

220、计算可见光图像中亮度高于预设亮度Y_threshold的像素与总像素的比率n/N，n是图像中亮度大于预设亮度Y_threshold的像素数量，N是图像像素的总数量；如果该比率n/N大于预设的阈值ratio_threshold，则执行步骤230；否则执行步骤240；可将预设亮度Y_threshold的取值设为192，预设的阈值ratio_threshold的取0.4；

230、选择可见光图像为主图像，所述红外光图像为辅图像；可通过将可见光图像的主图像标识取真、将可见光图像的主图像标识取假实现。

240、选择红外光图像为主图像，所述可见光图像为辅图像；可通过将红外光图像的主图像标识取真、将可见光图像的主图像标识取假实现。

300、对所述主图像进行分割和识别，查找到所述目标的成像作为候选目标；所述识别是将分割后的图像与预先输入的所述目标样本进行对比。

本步骤是在选择了优先选用的主图像后，对主图像进行分割得到分割对象；再对分割得到的对象进行识别，判断是否为目标成像，判断方法可采用模式识别的方法进行：在系统运行前，采集目标的红外光(可见光)样本给识别器学习；系统运行时，使用识别器进行识别。

400、根据预设的约束在所述辅图像中确定所述目标的成像区域；

本步骤是在优先选择的图像中找到目标成像后，可根据一些约束，如成像外极线约束、运动速度有限性约束、目标跟踪约束等确定目标在另外一幅图像中的成像区域，并对计算出的成像区域对应图像进行分割，检测识别目标，识别方法也可以采用模式识别的方法进行。

500、将每个所述成像区域与所述候选目标配对，至少选择其中的一个的配对输出。

由于计算出的每个成像区域都可能找到候选的目标，这样也就产生了多个候选目标配对，此时需要判定哪一个或者哪几个才是目标的成像配对，可以选择相似性较高的配对，或者称之为可能性最大或者大于某阈值。“可能性”的确定方法为综合候选目标的空间相似性、时间相似性。空间相似性指当前时刻两幅图像(红外图像、可见光图像)间，候选目标的最小面积包围矩形的面积、候选目标的最小面积包围矩形的长宽比、候选目标的目标面积与其最小面积外接矩形面积比、以及候选目标的致密性等特征的相似性。时间相似性指两个连续的采样时刻，同种类型图像中候选目标的最小面积包围矩形的面积、候选目标最小面积包围矩形长宽比以及致密性等特征的相似性。

空间相似性计算指标：

${\mathrm{index}}_s=\frac{\min ({\mathrm{area}}_k^1,{\mathrm{area}}_k^2)}{\max ({\mathrm{area}}_k^1,{\mathrm{area}}_k^2)}+\frac{\min (\frac{{\mathrm{width}}_k^1}{{\mathrm{height}}_k^1},\frac{{\mathrm{width}}_k^2}{{\mathrm{height}}_k^2})}{\max (\frac{{\mathrm{width}}_k^1}{{\mathrm{height}}_k^1},\frac{{\mathrm{width}}_k^2}{{\mathrm{height}}_k^2})}+\frac{\min (\frac{{\mathrm{area}}_k^1}{{\mathrm{width}}_k^1*{\mathrm{height}}_k^1},\frac{{\mathrm{area}}_k^2}{{\mathrm{width}}_k^2*{\mathrm{height}}_k^2})}{\max (\frac{{\mathrm{area}}_k^1}{{\mathrm{width}}_k^1*{\mathrm{height}}_k^1},\frac{{\mathrm{area}}_k^2}{{\mathrm{width}}_k^2*{\mathrm{height}}_k^2})}$

时间相似性计算指标：

${\mathrm{index}}_t^i=\frac{\min ({\mathrm{area}}_{k-1}^i,{\mathrm{area}}_k^i)}{\max ({\mathrm{area}}_{k-1}^i,{\mathrm{area}}_k^i)}+\frac{\min (\frac{{\mathrm{width}}_{k-1}^i}{{\mathrm{height}}_{k-1}^i},\frac{{\mathrm{width}}_k^i}{{\mathrm{height}}_k^i})}{\max (\frac{{\mathrm{width}}_{k-1}^i}{{\mathrm{height}}_{k-1}^i},\frac{{\mathrm{width}}_k^i}{{\mathrm{height}}_k^i})}+\frac{\min (\frac{{\mathrm{area}}_{k-1}^i}{{\mathrm{width}}_{k-1}^i*{\mathrm{height}}_{k-1}^i},\frac{{\mathrm{area}}_k^i}{{\mathrm{width}}_k^i*{\mathrm{height}}_k^i})}{\max (\frac{{\mathrm{area}}_{k-}^i}{{\mathrm{width}}_{k-1}^i*{\mathrm{height}}_{k-1}^i},\frac{{\mathrm{area}}_k^i}{{\mathrm{width}}_k^i*{\mathrm{height}}_k^i})}$

其中，k代表当前图像采集时刻，k-4代表上一个图像采集时刻；i代表图像类型的编号，例如红外光图像为1，可见光图像为2；width代表最小面积外接矩形的长度，height代表最小面积外接矩形的高度，area代表候选目标的面积。

当不存在时间相似性时(例如第一帧图像或者目标丢失后重现时)，相似性的衡量指标index＝index_s。需要指出的是，此时也可以用其它方法，如由用户指定、或者选取成像质量最好的几个配对，即成像区域与所述候选目标面积之和最大的几个配对。

当存在时间相似性时(连续多个采样时刻都找到目标)，相似性的衡量指标 $\mathrm{index}={\mathrm{index}}_s+{\mathrm{index}}_i^1+{\mathrm{index}}_i^2.$

本方法的核心在于将多光补偿技术用于三维目标的识别及匹配，即，同时利用红外光图像和可见光图像进行目标的提取。因为在复杂背景环境下，红外光摄像机对较强光的鲁棒性不够，但能实时准确提取目标；而可见光摄像机虽然无法同时满足实时性、稳定性和精确性的要求，但却能容忍多变背景光带来的干扰；基于可见光和红外光的光补偿技术提供的冗余信息能够弥补单独使用前两种系统的自身缺陷。

本发明还提供一种图像中提取目标的设备，见图2，包括依次连接的：图像获取模块，图像选择模块，候选目标模块，约束模块和配对模块。

图像获取模块，用于同时获取包含目标的红外光图像和可见光图像；图像获取模块至少包括两台摄像机，其中一台用于获取可见光图像，另一台用于获取红外光图像；用于获取红外光图像的摄像机可以是热红外摄像机，也可以使用带有红外滤光片的普通摄像机，使用红外滤光片的功能是滤除普通摄像机采集到全部波长光波中的可见光光波。

图像选择模块，用于根据光照情况在所述红外光图像和可见光图像中选择其一为主图像，另一为辅图像。所述图像选择模块包括：亮度计算单元，阈值存储单元，与亮度计算单元和阈值存储单元连接的标识单元。亮度计算单元，用于计算可见光图像中亮度高于预设亮度的像素与总像素的比率；阈值存储单元，用于存储预设的阈值；标识单元，用于在所述比率大于预设的阈值时，将所述可见光图像标识为主图像，所述红外光图像标识为辅图像；其结构如图3所示。

候选目标模块，用于对所述主图像进行分割和识别，查找到所述目标的成像作为候选目标；所述候选目标模块包括：分割单元，用于对所述主图像进行分割；识别单元，用于对分割后主图像与预先输入的所述目标样本进行对比，查找到所述目标的成像作为候选目标。

约束模块用于根据预设的约束在所述辅图像中确定目标的成像区域；

配对模块，将每个所述成像区域与所述候选目标配对，并至少选择其中的一个配对输出。所述配对模块包括：面积计算单元，用于计算每对配对中所述成像区域与所述候选目标面积之和；输出单元，用于将所述面积计算单元计算的最大值的配对输出。当然，根据不同的选择配对的方式，面积计算单元还可以由相似性计算单元替换，或者通过交互系统直接交由用户进行指定。

相似性计算单元用于计算每对配对中所述成像区域与所述候选目标相似性指标值，输出单元用于将所述相似性计算单元计算的最大值的配对输出。

作为一种具体的实施方式，可以根据不同的主图像选择建立两个并列的设备，将上述的候选目标模块分别集成在红外光图像目标提取设备和可见光图像目标提取设备中，将约束模块集成在候选区域计算设备中，配对模块设置在目标决策单元中，这样提高了系统的集成化，结构如图4所示。

工作过程如下，流程图见图5：红外光图像目标提取设备根据相应的优先标记进行操作，当优先标记为真时，在红外光图像中提取候选红外光目标，将候选红外光目标交予候选区域计算设备计算候选可见光目标在可见光图像中所在区域。同时，红外光图像目标提取设备还根据候选区域计算设备提供的红外光候选目标的区域，在区域内提取红外光目标。

候选区域计算设备用于根据红外光图像目标提取设备提取的候选红外光目标的信息，计算各个候选目标在可见光图像中的可能成像区域，并交予可见光图像目标提取设备处理。

可见光图像目标提取设备根据相应的优先标记进行操作，当优先标记为真时，在可见光图像中提取候选可见光目标，将候选可见光目标交予候选区域计算设备计算候选红外光目标在红外光图像中所在区域。同时，可见光图像目标提取设备还根据候选区域计算设备提供的候选可见光目标的区域，在区域内提取可见光目标。

候选区域计算设备用于根据可见光图像目标提取设备提取的候选可见光的信息，计算各个候选目标在红外光图像中的可能成像区域，并交予红外光图像目标提取设备处理。

红外光图像目标提取设备和可见光图像目标提取设备分别将各自图像中提取的候选目标交予目标决策单元进行决策。正常情况下，红外光图像目标提取设备和可见光图像目标提取设备提供给目标决策单元的候选目标数量至少有一个为1，此时将数量为1的目标及其在另一幅图像中的目标进行配对，作为目标在两幅图像的成像即目标的二维位置信息。在某些情况下，比如系统初始化时，可能会出现同时红外光图像目标提取设备和可见光图像目标提取设备提供给目标决策单元的候选目标数量都大于1的情况，此时可以由用户确定一个或者多个，也可以自动选取成像质量比较好的，例如，可选取候选目标以及红外光候选目标的成像最大的一个或几个组合。

本发明还提供一种利用上述的图像中提取目标的设备的人机交互系统，本系统同时采用红外光波段图像和可见光波段图像，进行信息检测与处理，完成基于可见光和红外光的多光补偿的交互系统。该系统中，用户使用控制器操作被控对象，控制器是红外光发光物体，可以是人的身体部位，例如手，此时的摄像机可以使用热红外摄像机；也可以是涂有红外光反光材料的物体，此时的摄像机可使用带有红外滤光片的普通摄像机，所述红外滤光片的功能是滤除所述普通摄像机采集到全部波长光波中可见光光波；控制器就是要图像提取目标设备所提取的目标，本系统可以集成在被控对象上，也可单独设置。所述被控对象可以是电视机等电子电器，也可以是娱乐软件设备。

本系统包括，目标提取装置、命令解析装置和命令执行装置，原理框图见图6。

目标提取装置即上述的图像中提取目标的设备，包括依次连接的图像获取模块、图像选择模块、候选目标模块、约束模块和配对模块。

如图7，命令解析装置包括：与所述配对模块连接的三维数据模块、指令映射模块、设置在三维数据模块和指令映射模块之间的运动序列模块。

三维数据模块用于利用由所述配对模块输出的所述控制器的二维信息，通过计算获得三维坐标，计算的方法可以采用例如立体视觉等算法。

运动序列模块用于利用当前三维坐标和之前的三维坐标形成运动序列；运动序列模块包括与三维数据模块连接的历史数据存储单元、与历史数据存储单元连接的动作形成单元。历史数据存储单元用于存储控制器的历史数据；为了防止历史数据存储单元存储的数据量持续增大，可仅存储部分历史数据。当达到最大存储量时，将最早的数据删除，将保存最新数据。动作形成单元用于根据当前三维坐标及历史数据存储单元里的历史三维坐标提取出动作的运动轨迹；可以使用最新的若干个点作为动作的运动轨迹。

指令映射模块用于将运动序列映射到相应的控制指令；指令映射包括与动作形成单元连接的动作识别单元、与动作识别单元连接的指令生成单元。动作识别单元用于将所述动作形成单元提供的运动轨迹识别为相应的动作。指令生成单元用于将动作识别单元识别出的动作应设为控制指令。在系统运行前，首先采集相应的动作，给动作识别单元学习，并且设定每个动作为相应的控制指令。以网球游戏为例，可将控制器快速抬起的动作设定为抛球动作，将控制器快速向下扣的动作设定为扣球动作，将两个动作连起来，设定为发球动作。采集每个映射为指令的动作的样本，交给识别器学习。在程序运行中，实时进行动作识别，一旦识别出映射为指令的动作，则将给命令执行装置。

系统总的工作流程见图8所示，系统中装有至少一台可见光摄像机和至少一台红外光摄像机，使用摄像机采集图像后，提取控制器在各自图像中的二维信息，再计算控制器的三维数据，并将新的三维数据与以前时刻的数据形成运动轨迹，将运动轨迹映射为控制指令，并由被控对象执行控制指令，完成人机交互。本系统利用红外光图像和可见光图像进行控制器三维数据的提取，因为在复杂背景环境下，红外光摄像机对较强光的鲁棒性不够，但能实时准确提取目标；而可见光摄像机虽然无法同时满足实时性、稳定性和精确性的要求，但却能容忍多变背景光带来的干扰；基于可见光和红外光的光补偿技术提供的冗余信息能够弥补单独使用前两种系统的自身缺陷，提高系统的稳定性。

应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (10)

1.一种图像中提取目标的方法，用于确认目标的二维信息，包括：

S1、获取红外光图像和可见光图像，并根据光照情况在所述红外光图像和可见光图像中选择其一为主图像，另一为辅图像；

S2、对所述主图像进行分割得到分割对象；对分割得到的对象进行识别，判断是否为目标成像，查找到所述目标的成像作为候选目标；

S3、根据预设的约束在所述辅图像中确定所述目标的成像区域，并对计算出的成像区域对应图像进行分割，检测识别目标；

S4、将每个所述成像区域与所述候选目标配对，并至少选择其中的一个配对输出，作为目标在两幅图像的成像即目标的二维位置信息。

2.根据权利要求1所述的方法，其特征在于，所述步骤S1包括：

计算所述可见光图像中亮度高于预设亮度的像素所占的比率，如果所述比率大于预设的阈值，则选择所述可见光图像为主图像，所述红外光图像为辅图像。

3.根据权利要求1或2所述的方法，其特征在于，所述步骤S2中的识别是将分割后的图像与预先输入的所述目标样本进行对比。

4.一种图像中提取目标的设备，其特征在于，用于确认目标的二维信息，包括以下依次连接的：

图像获取模块，用于同时获取包含所述目标的红外光图像和可见光图像；

图像选择模块，用于根据光照情况在所述红外光图像和可见光图像中选择其一为主图像，另一为辅图像；

候选目标模块，用于对所述主图像进行分割得到分割对象；对分割得到的对象进行识别，判断是否为目标成像，查找到所述目标的成像作为候选目标；

约束模块，用于根据预设的约束在所述辅图像中确定目标的成像区域，并对计算出的成像区域对应图像进行分割，检测识别目标；

配对模块，将每个所述成像区域与所述候选目标配对，并至少选择其中的一个的配对输出，作为目标在两幅图像的成像即目标的二维位置信息。

5.根据权利要求4所述的设备，其特征在于，所述图像获取模块包括与所述图像选择模块连接的热红外摄像机。

6.根据权利要求4所述的设备，其特征在于，所述图像获取模块包括带有红外滤光片的普通摄像机，所述红外滤光片用于滤除所述普通摄像机采集到全部波长光波中可见光光波。

7.根据权利要求4所述的设备，其特征在于，所述图像选择模块包括：

亮度计算单元，用于计算所述可见光图像中亮度高于预设亮度的像素所占的比率；

标识单元，用于在所述比率大于预设的阈值时，将所述可见光图像标识为主图像，所述红外光图像标识为辅图像。

8.根据权利要求4所述的设备，其特征在于，所述候选目标模块包括：

分割单元，用于对所述主图像进行分割；

识别单元，用于对分割后主图像与预先输入的所述目标样本进行对比，查找到所述目标的成像作为候选目标。

9.根据权利要求4所述的设备，其特征在于，所述配对模块包括：

面积计算单元，用于计算每对配对中所述成像区域与所述候选目标面积之和；

输出单元，用于将所述面积计算单元计算的最大值的配对输出。

10.一种利用权利要求4所述的图像中提取目标的设备的人机交互系统，其中所述目标是控制器，其特征在于，还包括：

三维数据模块，用于利用由所述配对模块确定的所述控制器的二维信息，获得三维坐标；

运动序列模块，用于利用当前三维坐标和之前的三维坐标生成运动序列；

指令映射模块，用于将运动序列映射到相应的控制指令。

Images