CN111414827B - 基于稀疏编码特征的深度图像人体检测方法及系统 - Google Patents

Abstract

本发明涉及图像处理技术领域，本发明旨在解决现有基于深度图像识别人体存在误检和漏检的问题，提出一种基于稀疏编码特征的深度图像人体检测方法及系统，所述方法包括以下步骤：获取多个深度图像，在所述深度图像中标注人体，得到包含人体图像的目标图像和不包含人体图像的背景图像组成的训练集；从所述人体图像中采样图像小块并生成字典，根据所述字典计算各深度图像的稀疏编码特征；根据所述稀疏编码特征和训练集训练得到分类模型；计算待检测深度图像的稀疏编码特征，并将其输入所述分类模型中，以得出待检测深度图像是否包含人体以及人体的位置。本发明只需要少量标注样本就能进行高准确度的检测，且具有对人体部分遮挡的鲁棒性，运算速度快。

Description

基于稀疏编码特征的深度图像人体检测方法及系统

技术领域

本发明涉及图像处理技术领域，具体来说涉及一种深度图像人体检测方法及系统。

背景技术

计算机视觉领域的一个重要任务就是对人体进行检测，可以用于人流量统计、人群异常监控、人体跟踪等领域，国际上也有相应赛事，例如著名的kitti 2D ObjectDetection(Pedestrian)竞赛；而基于深度图像的人体检测则是最近一些年兴起的趋势，因为深度图像可以克服传统光学图像存在的易受到光照和背景干扰、容易泄露隐私信息等缺陷，能够部署在医院住院病房、家庭住宅环境中。当前基于深度图像的人体检测所使用的方法主要是深度学习与一些直接基于特征的传统方法，但是标注样本较少时，这些方法检测效果或不稳定、或不甚理想。

中国专利申请号CN201110026465.0，记载了一种“基于深度图像进行人体检测的方法”，该方法根据深度图像的像素提取特征，再通过预设的分类模型实现人体检测。然而深度图像像素本身存在一定的测距误差，从图像像素直接提取特征的方法在标注样本较少时容易产生误检和漏检。

发明内容

本发明旨在解决现有基于深度图像识别人体存在误检和漏检的问题，提出一种基于稀疏编码特征的深度图像人体检测方法及系统。

本发明解决上述技术问题所采用的技术方案是：基于稀疏编码特征的深度图像人体检测方法，包括以下步骤：

步骤1.获取多个深度图像，在所述深度图像中标注人体，得到包含人体图像的目标图像和不包含人体图像的背景图像组成的训练集；

步骤2.从所述人体图像中采样图像小块并生成字典，根据所述字典计算各深度图像的稀疏编码特征；

步骤3.根据所述稀疏编码特征和训练集训练得到分类模型；

步骤4.计算待检测深度图像的稀疏编码特征，并将其输入所述分类模型中，以得出待检测深度图像是否包含人体以及人体的位置。

进一步的，为实现对人体的标注，步骤1中，所述在深度图像中标注人体具体包括：

将深度图像的深度值线性转换为灰度图像，并用矩形框标注人体图像。

进一步的，为采样图像小块，步骤2中，所述从人体图像中采样图像小块具体包括：

将标注的所有人体图像缩放至第一预设大小，对于每个人体图像，截取第二预设大小的图像小块，将所有图像小块按先行后列展成列向量，得到集合Y＝{y₁，...，y_n}，其中，列向量y_i表示一个图像小块。

进一步的，为生成字典，步骤2中，所述生成字典具体包括：

根据字典学习算法K-SVD优化以下目标函数，得到最优的字典：

其中，D表示字典，D＝{d₁,d₂,…,d_m}，m表示字典长度，d_i表示与图像小块y_i大小相同的列向量，K表示设定编码的稀疏程度，X表示稀疏编码，X＝{x₁,x₂,…,x_n}，x_i表示大小为m的列向量。

进一步的，为计算稀疏编码特征，步骤2中，所述根据字典计算各深度图像的稀疏编码特征具体包括：

将人体图像缩放到第一预设大小，并计算背景图像的图像金字塔序列，对于这些深度图像的每一个像素点，以其为中心截取第二预设大小的图像小块，根据所述字典和正交匹配跟踪算法计算得到该像素的稀疏编码；

将所述深度图像切割成大于图像小块大小的细胞单元，再把像素点的稀疏编码绝对值向量分配到最近的四个细胞单元，当所有稀疏编码分配完成后，对于每一个细胞单元都进行二范数归一化，得到该深度图像的m*细胞单元数目大小的稀疏编码特征。

进一步的，为得到分类模型，步骤3中，所述根据稀疏编码特征和训练集训练得到分类模型具体包括：

步骤A.将从目标图像中缩放至第一预设大小的人体图像作为正样本，从背景图像的图像金字塔序列中选取与人体图像缩放后大小相同的图像作为负样本，并将正样本和负样本的稀疏编码特征输入分类模型进行训练。

进一步的，为提高分类模型的准确度，所述步骤A之后还包括：

步骤B.基于训练好的分类模型从背景图像中找出分类错误或者位于分类间隔内的困难负样本；

步骤C.使用困难负样本和正样本重新训练分类模型；

步骤D.重复步骤B和步骤C直到满足预设条件。

进一步的，为实现检测是否存在人体以及人体的位置，所述步骤4具体包括：

计算待检测深度图像的金字塔序列，在金字塔各层滑动获取第一预设大小的图像框，并计算其稀疏编码特征，将稀疏编码特征输入分类模型，使用非极大值抑制检测所述待检测深度图像是否包含人体以及人体位置。

进一步的，为节约成本，所述分类模型为支持向量机模型。

本发明还提出一种基于稀疏编码特征的深度图像人体检测系统，包括：

获取单元，用于获取多个深度图像，在所述深度图像中标注人体，得到包含人体图像的目标图像和不包含人体图像的背景图像组成的训练集；

计算单元，用于从所述人体图像中采样图像小块并生成字典，根据所述字典计算各深度图像的稀疏编码特征；

训练单元，用于根据所述稀疏编码特征和训练集训练得到分类模型；

检测单元，用于计算待检测深度图像的稀疏编码特征，并将其输入所述分类模型中，以得出待检测深度图像是否包含人体以及人体的位置。

本发明的有益效果是：本发明所述的基于稀疏编码特征的深度图像人体检测方法及系统，以图像小块为基，即“坐标轴”，计算人体目标的稀疏编码，即“坐标”，区别于传统方法中直接从样本图像像素上提取特征，同时我们用困难负样本挖掘的技巧提高分类模型性能。本发明与现有技术相比只需要少量标注样本就能进行高准确度的检测，且具有对人体部分遮挡的鲁棒性，运算速度快。

附图说明

图1为本发明实施例所述的基于稀疏编码特征的深度图像人体检测方法的流程示意图；

图2为本发明实施例所述的基于稀疏编码特征的深度图像人体检测系统的结构示意图。

具体实施方式

下面将结合附图对本发明的实施方式进行详细描述。

本发明所述的基于稀疏编码特征的深度图像人体检测方法，包括以下步骤：步骤1.获取多个深度图像，在所述深度图像中标注人体，得到包含人体图像的目标图像和不包含人体图像的背景图像组成的训练集；步骤2.从所述人体图像中采样图像小块并生成字典，根据所述字典计算各深度图像的稀疏编码特征；步骤3.根据所述稀疏编码特征和训练集训练得到分类模型；步骤4.计算待检测深度图像的稀疏编码特征，并将其输入所述分类模型中，以得出待检测深度图像是否包含人体以及人体的位置。

具体而言，本发明包括离线训练和在线检测流程，离线训练时，首先对深度图像进行标注人体得到训练集，然后从标注的人体图像框内选取图像小块，训练生成字典；接着按照生成的字典计算训练集图片的稀疏编码以及编码特征，再用得到的编码特征训练分类器。离线训练完成后，对于输入的图像序列或视频，通过计算其编码特征便可在线进行人体检测。

实施例

本发明实施例所述的基于稀疏编码特征的深度图像人体检测方法，如图1所示，包括以下步骤：

步骤S1.获取多个深度图像，在所述深度图像中标注人体，得到包含人体图像的目标图像和不包含人体图像的背景图像组成的训练集；

具体的，所述在深度图像中标注人体具体可以包括：将深度图像的深度值线性转换为灰度图像，并用矩形框标注人体图像。

步骤S2.从所述人体图像中采样图像小块并生成字典，根据所述字典计算各深度图像的稀疏编码特征；

其中，所述从人体图像中采样图像小块具体包括：将标注的所有人体图像缩放至第一预设大小M×N，对于每个人体图像框，截取第二预设大小p×p的图像小块，将所有图像小块按先行后列展成长度为p×p的列向量y_i，记所有的图像小块为Y＝{y₁,y₂,…,y_n}。

其中，所述生成字典具体包括：

根据字典学习算法K-SVD优化以下目标函数，得到最优的字典：

其中，D表示字典，D＝{d₁,d₂,…,d_m}，m表示字典长度，d_i表示与图像小块yi大小相同的列向量，K表示设定编码的稀疏程度，X表示稀疏编码，X＝{x₁,x₂,…,x_n}，x_i表示大小为m的列向量。

其中，所述根据字典计算各深度图像的稀疏编码特征具体包括：

将人体图像缩放到第一预设大小，并计算背景图像的图像金字塔序列，对于这些深度图像的每一个像素点，以其为中心截取第二预设大小的图像小块，根据所述字典和正交匹配跟踪算法计算得到该像素的稀疏编码；

将所述深度图像切割成大于图像小块大小的细胞单元，再把像素点的稀疏编码绝对值向量分配到最近的四个细胞单元，当所有稀疏编码分配完成后，对于每一个细胞单元都进行二范数归一化，得到该深度图像的m*细胞单元数目大小的稀疏编码特征。

具体而言，包括两个步骤：1).把人体图像框缩放到M×N大小，并计算背景图像的图像金字塔序列；对于深度图像的每一个像素点(i,j)，以其为中心取p×p的图像小块，利用已知的字典和正交匹配跟踪算法(OMP)可得到该像素的稀疏编码x(i,j)；

2).将1)中的深度图像切割成大小为q×q的细胞单元(q＞p)，再把像素点(i,j)的稀疏编码绝对值向量|x(i,j)|分配到最近的四个细胞单元。当所有稀疏编码分配完成后，对于每一个细胞单元都进行二范数归一化就能得到该深度图像的稀疏编码特征，稀疏编码特征为一个张量，例如对缩放后的人体图像框，张量大小为

其中，m为字典长度。

步骤S3.根据所述稀疏编码特征和训练集训练得到分类模型；

其中，所述根据稀疏编码特征和训练集训练得到分类模型具体包括：

步骤A.将从目标图像中缩放至第一预设大小的人体图像作为正样本，从背景图像的图像金字塔序列中选取与人体图像缩放后大小相同的图像作为负样本，将正样本和负样本的稀疏编码特征输入分类模型进行训练。

具体而言，本实施例中的分类模型可以是支持向量机分类模型，步骤A具体包括：以目标图像中缩放到M×N大小的人体图像框为正样本；并从背景图像金字塔序列的每一层中间隔q行q列滑动选择M×N大小的图像框，作为负样本；再将正负样本大小为

的稀疏编码特征输入支持向量机分类模型中进行训练；

为进一步提高分类模型的准确度，所述步骤A之后还可以包括：

步骤B.基于训练好的分类模型从背景图像中找出分类错误或者位于分类间隔内的困难负样本；

步骤C.使用困难负样本和正样本重新训练分类模型；

步骤D.重复步骤B和步骤C直到满足预设条件。

步骤S4.计算待检测深度图像的稀疏编码特征，并将其输入所述分类模型中，以得出待检测深度图像是否包含人体以及人体的位置。

所述步骤S4具体包括：

计算待检测深度图像的金字塔序列，在金字塔各层滑动获取第一预设大小的图像框，并计算其稀疏编码特征，将稀疏编码特征输入分类模型，使用非极大值抑制检测所述待检测深度图像是否包含人体以及人体位置。具体而言，计算输入待检测图像的金字塔序列，依次按步长q滑动获取M×N大小的图像框，计算其稀疏编码特征，再将大小为

的编码特征上述步骤得到的训练好的分类模型中，并使用非极大值抑制(NMS)检测待检测图像是否包含人体以及人体的位置。基于分类模型使用非极大值抑制对待检测图像进行检测属于现有技术，此处不再赘述。

基于上述技术方案，本发明实施例还提出一种基于稀疏编码特征的深度图像人体检测系统，如图2所示，包括：

获取单元，用于获取多个深度图像，在所述深度图像中标注人体，得到包含人体图像的目标图像和不包含人体图像的背景图像组成的训练集；

计算单元，用于从所述人体图像中采样图像小块并生成字典，根据所述字典计算各深度图像的稀疏编码特征；

训练单元，用于根据所述稀疏编码特征和训练集训练得到分类模型；

检测单元，用于计算待检测深度图像的稀疏编码特征，并将其输入所述分类模型中，以得出待检测深度图像是否包含人体以及人体的位置。

可以理解，由于本发明实施例所述的基于稀疏编码特征的深度图像人体检测系统是用于实现实施例所述基于稀疏编码特征的深度图像人体检测方法的系统，对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的较为简单，相关之处参见方法的部分说明即可。

Claims (10)

1.基于稀疏编码特征的深度图像人体检测方法，其特征在于，包括以下步骤：

步骤1.获取多个深度图像，在所述深度图像中标注人体，得到包含人体图像的目标图像和不包含人体图像的背景图像组成的训练集；

步骤2.从所述人体图像中采样图像小块并生成字典，根据所述字典计算各深度图像的稀疏编码特征；

步骤3.根据所述稀疏编码特征和训练集训练得到分类模型；

步骤4.计算待检测深度图像的稀疏编码特征，并将其输入所述分类模型中，以得出待检测深度图像是否包含人体以及人体的位置。

2.如权利要求1所述的基于稀疏编码特征的深度图像人体检测方法，其特征在于，步骤1中，所述在深度图像中标注人体具体包括：

将深度图像的深度值线性转换为灰度图像，并用矩形框标注人体图像。

3.如权利要求1所述的基于稀疏编码特征的深度图像人体检测的方 法，其特征在于，步骤2中，所述从人体图像中采样图像小块具体包括：

将标注的所有人体图像缩放至第一预设大小，对于每个人体图像，截取第二预设大小的图像小块，将所有图像小块按先行后列展成列向量，得到集合Y＝{y₁，...，y_n}，其中，列向量y_i表示一个图像小块。

4.如权利要求3所述的基于稀疏编码特征的深度图像人体检测方法，其特征在于，步骤2中，所述生成字典具体包括：

根据字典学习算法K-SVD优化以下目标函数，得到最优的字典：

其中，D表示字典，D＝{d₁,d₂,...,d_m}，m表示字典长度，d_i表示与图像小块y_i大小相同的列向量，K表示设定编码的稀疏程度，X表示稀疏编码，X＝{x₁,x₂,...,x_n}，x_i表示大小为m的列向量。

5.如权利要求1所述的基于稀疏编码特征的深度图像人体检测方法，其特征在于，步骤2中，所述根据字典计算各深度图像的稀疏编码特征具体包括：

将人体图像缩放到第一预设大小，并计算背景图像的图像金字塔序列，对于这些深度图像的每一个像素点，以其为中心截取第二预设大小的图像小块，根据所述字典和正交匹配跟踪算法计算得到该像素的稀疏编码；

将所述深度图像切割成大于图像小块大小的细胞单元，再把像素点的稀疏编码绝对值向量分配到最近的四个细胞单元，当所有稀疏编码分配完成后，对于每一个细胞单元都进行二范数归一化，得到该深度图像的m*细胞单元数目大小的稀疏编码特征。

6.如权利要求5所述的基于稀疏编码特征的深度图像人体检测方法，其特征在于，步骤3中，所述根据稀疏编码特征和训练集训练得到分类模型具体包括：

步骤A.将从目标图像中缩放至第一预设大小的人体图像作为正样本，从背景图像的图像金字塔序列中选取与人体图像缩放后大小相同的图像作为负样本，并将正样本和负样本的稀疏编码特征输入分类模型进行训练。

7.如权利要求6所述的基于稀疏编码特征的深度图像人体检测方法，其特征在于，所述步骤A之后还包括：

步骤B.基于训练好的分类模型从背景图像中找出分类错误或者位于分类间隔内的困难负样本；

步骤C.使用困难负样本和正样本重新训练分类模型；

步骤D.重复步骤B和步骤C直到满足预设条件。

8.如权利要求1所述的基于稀疏编码特征的深度图像人体检测方法，其特征在于，所述步骤4具体包括：

计算待检测深度图像的金字塔序列，在金字塔各层滑动获取第一预设大小的图像框，并计算其稀疏编码特征，将稀疏编码特征输入分类模型，使用非极大值抑制检测所述待检测深度图像是否包含人体以及人体位置。

9.如权利要求1至8任一项所述的基于稀疏编码特征的深度图像人体检测方法，其特征在于，所述分类模型为支持向量机模型。

10.基于稀疏编码特征的深度图像人体检测系统，其特征在于，包括：

获取单元，用于获取多个深度图像，在所述深度图像中标注人体，得到包含人体图像的目标图像和不包含人体图像的背景图像组成的训练集；

计算单元，用于从所述人体图像中采样图像小块并生成字典，根据所述字典计算各深度图像的稀疏编码特征；

训练单元，用于根据所述稀疏编码特征和训练集训练得到分类模型；

检测单元，用于计算待检测深度图像的稀疏编码特征，并将其输入所述分类模型中，以得出待检测深度图像是否包含人体以及人体的位置。

Images