CN108960096B - 基于立体视觉和红外成像的人体识别方法 - Google Patents

Abstract

公开一种基于立体视觉和红外成像的人体识别方法，包括处理器，RAM，第一红外成像模组和第二红外成像模组，处理器内部设置人体识别方法，包括以下步骤：1.获取场景的红外图像f¹(x,y)和f²(x,y)；2.对f¹(x,y)二值化处理，得到二值图I₀(x,y)；3.对I₀(x,y)腐蚀运算，得到腐蚀图I₁(x,y)；4.对I₁(x,y)膨胀运算，得到膨胀图I₂(x,y)；5.对I₂(x,y)循环腐蚀，直到只剩下核心点o_j；在I₁(x,y)中，采用图像区域像素面积计算算法得到o_j所在区域的像素面积s_j；6.计算f¹(x,y)和f²(x,y)的视差图像d(x,y)；7.核心点o_j对应的视差d(x_j,y_j)，然后计算距离D_j；8.计算成像区域面积S_j；9.根据S_j大小，判断成像区域是否可能为人体。

Description

基于立体视觉和红外成像的人体识别方法

技术领域

本发明涉及基于立体视觉和红外成像的人体识别方法，属于传感器检测领域。

背景技术

人体目标检测具有非常广泛的应用，比如智能监控，根据人体目标的位置调整摄像机的角度，获得最佳的监控效果，还有智能家居，根据人体目标的位置调整空调的出风方向或者取暖设备的供暖方向，达到最舒适的效果，也可以根据环境内是否有人存在，而控制空调设备的启动或者停止，达到节约能源的目的。但是目前人体目标检测的方式，主要有两个：第一种是人体红外热释电的检测方式，这个方式只能检测动态人体，具有很大的局限性；第二种是机器视觉方式，这种方式容易被复杂场景干扰，环境中静态人像也会被误判断。

发明内容

针对上述问题，本发明提供基于立体视觉和红外成像的人体识别方法，该方案通过红外成像模块获取环境的红外图像，并根据人体特征温度进行人体目标提取，同时根据成像区域大小进行筛选，该方法具有检测可靠，误识别率低的优点。

本发明解决其技术问题所采用的技术方案是：

基于立体视觉和红外成像的人体识别方法，包括进行集中处理的处理器，与所述的处理器连接的第一红外成像模组和第二红外成像模组，与所述的处理器连接的存储数据的RAM，还包括提供工作电压的电源，所述的第一红外成像模组和第二红外成像模组的光轴相互平行，基线长度为b，并且参数一致，焦距为f，像素面积为A，所述的处理器内部设置人体识别方法，所述的人体识别方法包括以下步骤：

(1) 所述的处理器每个固定周期通过所述的第一红外成像模组和第二红外成像模组获取场景的红外图像f¹(x,y)和f²(x,y)，其中x=1~M，y=1~N，M为x轴方向上的最大像素个数，N为y轴方向上的最大像素个数，并存储在所述的RAM中；

(2) 对红外图像f¹(x,y)进行二值化处理，得到二值图I₀(x,y)，采用的方法为：当T_L<f¹(x,y)<T_H，则I₀(x,y)=1，否则I₀(x,y)=0，其中，T_L为人体温度对应红外辐射强度采样值的下限值，T_H为人体温度对应红外辐射强度采样值的上限值，那么I₀(x,y)=1的区域就是可能为人体目标的兴趣区域；

(3) 对二值图I₀(x,y)进行腐蚀运算，消除成像过程中产生的噪声，得到腐蚀图I₁(x,y)；

(4) 对腐蚀图I₁(x,y)进行膨胀运算，去除成像过程中产生的中空区域后得到膨胀图I₂(x,y)；

(5) 对膨胀图I₂(x,y)执行循环腐蚀算法，直到只剩下核心点o_j(x_j,y_j)，j=0，1，2......，核心点o_j(x_j,y_j)代表兴趣区域的近似中心；然后，在腐蚀图I₁(x,y)中，采用图像区域像素面积计算算法得到核心点o_j(x_j,y_j)所在兴趣区域的像素面积s_j；

(6) 采用OpenCV中的视差函数，以红外图像f¹(x,y)为基准，计算f¹(x,y)和f²(x,y)的视差图像d(x,y)；

(7) 从视差图像d(x,y)中查询核心点o_j(x_j,y_j)对应的视差d(x_j,y_j)，然后计算核心点o_j(x_j,y_j)到所述的第一红外成像模组的距离D_j=b*f/d(x_j,y_j)；

(8) 计算核心点o_j(x_j,y_j)对应的成像区域面积S_j=s_j*A*b/d(x_j,y_j)；

(9) 如果T_min≤S_j≤T_max，则核心点o_j(x_j,y_j)对应成像区域可能为人体，其中T_min和T_max为人体成像面积的最小阈值和最大阈值。

本发明的有益效果主要表现在：1、通过红外成像模块获取环境的红外图像，并根据人体特征温度进行人体目标提取，具有抗干扰能力强的优点；2、基于立体视觉测距的方法，获取成像区域的距离，并计算成像区域的实际面积，进行有效性筛选，该方法具有检测可靠，误识别率低的优点。

附图说明

图1是外观图；

图2是系统框图；

图3是图像区域像素面积计算算法的示意图。

具体实施方式

下面结合附图对本发明作进一步描述：

参照图1－3，基于立体视觉和红外成像的人体识别方法，包括进行集中处理的处理器1，与所述的处理器1连接的第一红外成像模组3和第二红外成像模组2，与所述的处理器1连接的存储数据的RAM4，还包括提供工作电压的电源5，所述的第一红外成像模组3和第二红外成像模组2的光轴相互平行，并且参数一致，基线长度为b，焦距为f，像素面积为A。

所述的处理器1内部设置人体识别方法，所述的人体识别方法包括以下步骤：

(1) 所述的处理器1每个固定周期通过所述的第一红外成像模组3和第二红外成像模组2获取场景的红外图像f¹(x,y)和f²(x,y)，其中x=1~M，y=1~N，M为x轴方向上的最大像素个数，N为y轴方向上的最大像素个数，并存储在所述的RAM4中；

所述的处理器1获取的红外图像f¹(x,y)和f²(x,y)的数值跟场景中的温度成正比，温度越高数值越大。

(2) 对红外图像f¹(x,y)进行二值化处理，得到二值图I₀(x,y)，采用的方法为：当T_L<f¹(x,y)<T_H，则I₀(x,y)=1，否则I₀(x,y)=0，其中，T_L为人体温度对应红外辐射强度采样值的下限值，T_H为人体温度对应红外辐射强度采样值的上限值，那么I₀(x,y)=1的区域就是可能为人体目标的兴趣区域；

健康人体温度是36°，在异常情况下，体温也不会偏离很大，因此步骤2中，根据实际测量的人体目标红外图像数据值，设定上下限阈值T_L和T_H，以此对红外图像f¹(x,y)进行二值化，提取可能为人体目标的兴趣区域。

(3) 对二值图I₀(x,y)进行腐蚀运算，消除成像过程中产生的噪声，得到腐蚀图I₁(x,y)；

(4) 对腐蚀图I₁(x,y)进行膨胀运算，去除成像过程中产生的中空区域后得到膨胀图I₂(x,y)；

步骤(3)和(4)是对二值图I₀(x,y)进行预处理，可采用3*3的模板。

(5) 对膨胀图I₂(x,y)执行循环腐蚀算法，直到只剩下核心点o_j(x_j,y_j)，j=0，1，2......，核心点o_j(x_j,y_j)代表兴趣区域的近似中心；然后，在腐蚀图I₁(x,y)中，采用图像区域像素面积计算算法得到核心点o_j(x_j,y_j)所在兴趣区域的像素面积s_j；

步骤(5)是通过腐蚀算法将膨胀图I₂(x,y)中的兴趣区域不断腐蚀缩小，采用3*3的模板，每循环一次，兴趣区域从外围向中心缩进1个像素的范围，直到剩余一个像素点，这个像素点为核心点o_j(x_j,y_j)，代表兴趣区域的近似中心。然后根据核心点o_j(x_j,y_j)，找到腐蚀图I₁(x,y)中对应的区域，并采用图像区域像素面积计算算法计算该区域的像素面积s_j，所述的图像区域像素面积计算算法后面进行详细介绍。

(6) 采用OpenCV中的视差函数，以红外图像f¹(x,y)为基准，计算f¹(x,y)和f²(x,y)的视差图像d(x,y)；

可以采用OpenCV中的视差函数cvFindStereoCorrespondenceBM，计算f¹(x,y)和f²(x,y)的视差图像d(x,y)。

(7) 从视差图像d(x,y)中查询核心点o_j(x_j,y_j)对应的视差d(x_j,y_j)，然后计算核心点o_j(x_j,y_j)到所述的第一红外成像模组3的距离D_j=b*f/d(x_j,y_j)；

根据双目立体视觉的景深公式，以及基线长度b，焦距f，可以计算出核心点o_j到所述的第一红外成像模组3的距离为D_j=b*f/d(x_j,y_j)。

(8) 计算核心点o_j(x_j,y_j)对应的成像区域面积S_j=s_j*A*b/d(x_j,y_j)；

核心点o_j所在兴趣区域的像素物理面积为s_j*A，根据相似三角形性质，可以计算核心点o_j对应的成像区域面积为S_j=s_j*A*D_j/f，即S_j=s_j*A*b/d(x_j,y_j)。

(9) 如果T_min≤S_j≤T_max，则核心点o_j(x_j,y_j)对应成像区域可能为人体，其中T_min和T_max为人体成像面积的最小阈值和最大阈值。

在步骤(5)中，所述的图像区域像素面积计算算法通过如下步骤实现：

(5-1) 设置链表L={a_i}，其中a_i=(p,q)，i=1,2,3......，设置表尾指针ep，指向链表L中最新数据的位置，初始值为0，设置兴趣区域的像素面积s_j，初始值为1；

步骤(5-1)为后续计算做准备。链表L用于存储从中心向四周辐射搜索的最外围像素。

(5-2) 初始化链表L，如果I₁(x_j+1,y_j)等于1，则s_j=s_j+1，ep=ep+1，a_ep=(x_j+1,y_j)，I₁(x_j+1,y_j)=0；如果I₁(x_j,y_j+1)等于1，则s_j=s_j+1，ep=ep+1，a_ep=(x_j,y_j+1)，I₁(x_j,y_j+1)=0；如果I₁(x_j-1,y_j)等于1，则s_j=s_j+1，ep=ep+1，a_ep=(x_j-1,y_j)，I₁(x_j-1,y_j)=0；如果I₁(x_j,y_j-1)等于1，则s_j=s_j+1，ep=ep+1，a_ep=(x_j,y_j-1)，I₁(x_j,y_j-1)=0；

在步骤(5-2)中，以核心点o_j(x_j,y_j)为中心，建立初始搜索路径，是核心点o_j上下左右的相邻点。

(5-3) 对于链表L，如果ep等于0，则计算完成，得到图像区域的像素面积值s，结束该过程；如果a_ep.p-x_j>0，并且a_ep.q-y_j≥0，执行步骤(5-4)；如果a_ep.p-x_j≤0，并且a_ep.q-y_j>0，执行步骤(5-5)；如果a_ep.p-x_j<0，并且a_ep.q-y_j≤0，执行步骤(5-6)；如果a_ep.p-x_j≥0，并且a_ep.q-y_j<0，执行步骤(5-7)；

步骤(5-3)是循环搜索的入口，因此首先进行结束条件的判断，如果ep等于0，则完成了图像区域的像素面积s_j的计算，结束该过程；否则，对链表L中最新数据的位置进行判断，根据处在相对于核心点o_j(x_j,y_j)的象限位置选择不同的步骤进行处理。

(5-4) 建立临时变量(m,n)，令m=a_ep.p，n=a_ep.q，然后ep=ep-1；如果I₁(m+1,n)等于1，则s_j=s_j+1，ep=ep+1，a_ep=(m+1,n)，I₁(m+1,n)=0；如果I₁(m,n+1)等于1，则s_j=s_j+1，ep=ep+1，a_ep=(m,n+1)，I₁(m,n+1)=0；返回步骤(3)；

(5-5) 建立临时变量(m,n)，令m=a_ep.p，n=a_ep.q，然后ep=ep-1；如果I₁(m-1,n)等于1，则s_j=s_j+1，ep=ep+1，a_ep=(m-1,n)，I₁(m-1,n)=0；如果I₁(m,n+1)等于1，则s_j=s_j+1，ep=ep+1，a_ep=(m,n+1)，I₁(m,n+1)=0；返回步骤(3)；

(5-6) 建立临时变量(m,n)，令m=a_ep.p，n=a_ep.q，然后ep=ep-1；如果I₁(m-1,n)等于1，则s_j=s_j+1，ep=ep+1，a_ep=(m-1,n)，I₁(m-1,n)=0；如果I₁(m,n-1)等于1，则s_j=s_j+1，ep=ep+1，a_ep=(m,n-1)，I₁(m,n-1)=0；返回步骤(3)；

(5-7) 建立临时变量(m,n)，令m=a_ep.x，n=a_ep.y，然后ep=ep-1；如果I₁(m+1,n)等于1，则s_j=s_j+1，ep=ep+1，a_ep=(m+1,n)，I₁(m+1,n)=0；如果I₁(m,n-1)等于1，则s_j=s_j+1，ep=ep+1，a_ep=(m,n-1)，I₁(m,n-1)=0；返回步骤(3)。

步骤(5-4)是第一象限的搜索方法，先向右再向上；步骤(5-5)是第二象限的搜索方法，先向左再向上；步骤(5-6)是第三象限的搜索方法，先向左再向下；步骤(5-7)是第四象限的搜索方法，先向右再向下。当所有路径到达图像区域的最外围，则链表L中的数据逐个被删除，而没有新数据加入，则最终ep等于0，结束计算过程。

Claims (1)

1.基于立体视觉和红外成像的人体识别方法，包括进行集中处理的处理器，与所述的处理器连接的第一红外成像模组和第二红外成像模组，与所述的处理器连接的存储数据的RAM，还包括提供工作电压的电源，所述的第一红外成像模组和第二红外成像模组的光轴相互平行，基线长度为b，并且参数一致，焦距为f，像素面积为A，其特征在于：所述的处理器内部设置人体识别方法，所述的人体识别方法包括以下步骤：

(1) 所述的处理器每个固定周期通过所述的第一红外成像模组和第二红外成像模组获取场景的红外图像f¹(x,y)和f²(x,y)，其中x=1~M，y=1~N，M为x轴方向上的最大像素个数，N为y轴方向上的最大像素个数，并存储在所述的RAM中；

(2) 对红外图像f¹(x,y)进行二值化处理，得到二值图I₀(x,y)，采用的方法为：当T_L<f¹(x,y)<T_H，则I₀(x,y)=1，否则I₀(x,y)=0，其中，T_L为人体温度对应红外辐射强度采样值的下限值，T_H为人体温度对应红外辐射强度采样值的上限值，那么I₀(x,y)=1的区域就是可能为人体目标的兴趣区域；

(3) 对二值图I₀(x,y)进行腐蚀运算，消除成像过程中产生的噪声，得到腐蚀图I₁(x,y)；

(4) 对腐蚀图I₁(x,y)进行膨胀运算，去除成像过程中产生的中空区域后得到膨胀图I₂(x,y)；

(5) 对膨胀图I₂(x,y)执行循环腐蚀算法，直到只剩下核心点o_j(x_j,y_j)，j=0，1，2......，核心点o_j(x_j,y_j)代表兴趣区域的近似中心；然后，在腐蚀图I₁(x,y)中，采用图像区域像素面积计算算法得到核心点o_j(x_j,y_j)所在兴趣区域的像素面积s_j；所述的图像区域像素面积计算算法通过如下步骤实现：

(5-1) 设置链表L={a_i}，其中a_i=(p,q)，i=1,2,3......，设置表尾指针ep，指向链表L中最新数据的位置，初始值为0，设置兴趣区域的像素面积s_j，初始值为1；

(5-2) 初始化链表L，如果I₁(x_j+1,y_j)等于1，则s_j=s_j+1，ep=ep+1，a_ep=(x_j+1,y_j)，I₁(x_j+1,y_j)=0；如果I₁(x_j,y_j+1)等于1，则s_j=s_j+1，ep=ep+1，a_ep=(x_j,y_j+1)，I₁(x_j,y_j+1)=0；如果I₁(x_j-1,y_j)等于1，则s_j=s_j+1，ep=ep+1，a_ep=(x_j-1,y_j)，I₁(x_j-1,y_j)=0；如果I₁(x_j,y_j-1)等于1，则s_j=s_j+1，ep=ep+1，a_ep=(x_j,y_j-1)，I₁(x_j,y_j-1)=0；

(5-3) 对于链表L，如果ep等于0，则计算完成，得到图像区域的像素面积值s，结束该过程；如果a_ep.p-x_j>0，并且a_ep.q-y_j≥0，执行步骤(5-4)；如果a_ep.p-x_j≤0，并且a_ep.q-y_j>0，执行步骤(5-5)；如果a_ep.p-x_j<0，并且a_ep.q-y_j≤0，执行步骤(5-6)；如果a_ep.p-x_j≥0，并且a_ep.q-y_j<0，执行步骤(5-7)；

(5-4) 建立临时变量(m,n)，令m=a_ep.p，n=a_ep.q，然后ep=ep-1；如果I₁(m+1,n)等于1，则s_j=s_j+1，ep=ep+1，a_ep=(m+1,n)，I₁(m+1,n)=0；如果I₁(m,n+1)等于1，则s_j=s_j+1，ep=ep+1，a_ep=(m,n+1)，I₁(m,n+1)=0；返回步骤(3)；

(5-5) 建立临时变量(m,n)，令m=a_ep.p，n=a_ep.q，然后ep=ep-1；如果I₁(m-1,n)等于1，则s_j=s_j+1，ep=ep+1，a_ep=(m-1,n)，I₁(m-1,n)=0；如果I₁(m,n+1)等于1，则s_j=s_j+1，ep=ep+1，a_ep=(m,n+1)，I₁(m,n+1)=0；返回步骤(3)；

(5-6) 建立临时变量(m,n)，令m=a_ep.p，n=a_ep.q，然后ep=ep-1；如果I₁(m-1,n)等于1，则s_j=s_j+1，ep=ep+1，a_ep=(m-1,n)，I₁(m-1,n)=0；如果I₁(m,n-1)等于1，则s_j=s_j+1，ep=ep+1，a_ep=(m,n-1)，I₁(m,n-1)=0；返回步骤(3)；

(5-7) 建立临时变量(m,n)，令m=a_ep.x，n=a_ep.y，然后ep=ep-1；如果I₁(m+1,n)等于1，则s_j=s_j+1，ep=ep+1，a_ep=(m+1,n)，I₁(m+1,n)=0；如果I₁(m,n-1)等于1，则s_j=s_j+1，ep=ep+1，a_ep=(m,n-1)，I₁(m,n-1)=0；返回步骤(3)；

(6) 采用OpenCV中的视差函数，以红外图像f¹(x,y)为基准，计算f¹(x,y)和f²(x,y)的视差图像d(x,y)；

(7) 从视差图像d(x,y)中查询核心点o_j(x_j,y_j)对应的视差d(x_j,y_j)，然后计算核心点o_j(x_j,y_j)到所述的第一红外成像模组的距离D_j=b*f/d(x_j,y_j)；

(8) 计算核心点o_j(x_j,y_j)对应的成像区域面积S_j=s_j*A*b/d(x_j,y_j)；

(9) 如果T_min≤S_j≤T_max，则核心点o_j(x_j,y_j)对应成像区域可能为人体，其中T_min和T_max为人体成像面积的最小阈值和最大阈值。

Images