CN112541471B - 一种基于多特征融合的遮挡目标识别方法 - Google Patents

Abstract

本发明公开了一种基于多特征融合的遮挡目标识别方法。现有的遮挡识别方法识别准确率低，且计算特征点的计算量大影响实时性。本发明主要包括以下几个方面：(1)利用多特征融合的方式，依托颜色及轮廓减小无关检测区域；(2)SIFT算法实现兴趣点检测与描述以及目标模板图像与检测图像像中多角度兴趣点的匹配；(3)在上述关键技术基础上，采用RANSAC剔除误匹配点后的图像区域进行定位。基于该方法可以提高未被遮挡区域图像显著性，提升匹配的实时性。

Description

一种基于多特征融合的遮挡目标识别方法

技术领域

本发明属于机器视觉技术领域，是一种基于视觉的目标检测与定位方法。

背景技术

机器人视觉技术模拟了人类眼睛及大脑的感知及分类功能，具有搜寻范围广、目标信息完整等优势，它是移动机器人智能化关键技术之一。遮挡目标识别技术是仿照人类双眼识别和分辨物体种类的方法，实现对物体特征信息的感知，在实现上采用基于颜色、轮廓、角点、特征点相互结合的方法，利用多种特征对同一物体从不同位置采集成像，从而在图像中分辨物体类别及定位，是机器人视觉研究的一个重要分支。对于大部分服务型移动机器人来说，机器人视觉已成为其基本组成部分。由于设备要求度低、数据采集简单迅速可以应用于各种复杂恶劣的环境中，物体遮挡识别被广泛应用于车辆检测、人脸识别、医学成像、机器人目标跟踪等领域，具有广泛的应用性。

发明内容

本发明所要解决的技术问题是针对视觉处理中由低成本硬件系统及视觉检测所造成的误检测，根据多特征结合的方式，凸显未被遮挡部分，针对该部分进行相关检测，提出一种基于多特征融合的遮挡目标识别方法。

本发明包括如下步骤：

步骤一、多特征模板图像数据库的构建：

1.1获取大小m×n的彩色模板图像，对模板图像的颜色特征、轮廓特征、关键点特征进行提取；其中关键点特征包括SIFT(Scale-invariant feature transform)、SURF(Speeded Up Robust Features)、ORB(OrientedFast and RotatedBrief)等一种；

所述的提取技术为本领域常规技术，故不详解。

所述模板图像为目标正视图；

对模板图像中颜色特征提取是基于模板图像转化为H-S彩色模型下的图像时进行的。

1.2根据步骤1.1提取的颜色特征构建彩色信息直方图，从上述彩色信息直方图选取主成颜色阈值T₁和T₂；通过主成颜色阈值T₁和T₂对模板图像进行阈值分割,得到主成颜色分割后的模板图像；

1.3对步骤1.2主成颜色分割后的模板图像进行Canny算法，提取目标轮廓的边界信息，得到所需目标轮廓，并计算目标轮廓的面积大小、长宽比等信息；再通过寻找目标轮廓的最小外接矩阵的方法，将最小外接矩阵作为目标框。

步骤二、检测图像的多特征提取：

2.1颜色特征提取

2.1.1对检测图像进行H-S彩色模型的图像转化，得到彩色检测图像；通过多特征模板图像数据库中主成颜色阈值T₁和T₂对彩色检测图像进行阈值分割，得到切割后的检测图像；

切割后的检测图像与多特征模板图像数据库中主成颜色分割后的模板图像根据式(1)进行相关性对比，对比系数记为d(H₁,H₂)。

式中，H₁(I)为切割后的检测图像中第I个颜色区间上的值，I＝1,2,3…N，N为直方图中颜色区间的个数；H₂(I)为切割后的模板图像中第I个颜色区间上的值；k取值1和2，j＝I。

2.1.2颜色描述子提取

在HSI颜色空间模型下对颜色分量进行求矩运算，得到颜色描述子：

C_features＝(u_h,δ_h,γ_h,u_s,δ_s,γ_s,u_i,δ_i,γ_i) (3)

其中u_h,δ_h,γ_h表示H色调分量图颜色的三阶矩描述，u_s,δ_s,γ_s表示S饱和度分量图颜色的三阶矩描述，u_i,δ_i,γ_i表示I亮度分量图颜色的三阶矩描述。

以I亮度分量图颜色的三阶矩描述为例，H色调分量图和S饱和度分量图颜色的三阶矩描述与上述类似：

式中u_i表示第i个颜色通道分量中图像颜色特征的一阶矩，δ_i表示第i个颜色通道分量中图像颜色特征的二阶矩，γ_i表示第i个颜色通道分量中图像颜色的特征的三阶矩，p_i,j为彩色图像中第i个颜色通道分量中灰度为j的像素出现的概率，N为颜色区间的个数，M为像素个数。

2.2轮廓特征提取

2.2.1对步骤2.1切割后的检测图像进行轮廓特征的提取，得到检测目标的外轮廓；对检测目标的外轮廓最小外接矩阵定义为重点区域，即图像中关键图像信息的定位，截取并保存作为重点区域图像。

2.2.2轮廓描述子

首先获取待识别目标物体的外围轮廓点集，对轮廓的外围轮廓点集进行均匀采样，得到一个采样集合π＝{r₁,r₂,…,r_n},r_i∈R²,R²为2D欧式空间。以任意一点r_i为对数极坐标系下原点，而轮廓上的个点会落在以r_i为极坐标原点的对数坐标系中，X_iY_i为r_i在直角坐标系下的点，r_i即可以和轮廓上其他n-1个轮廓点构成形状特征向量形成对数极坐标直方图h_i。

h_i(k)＝{p_j≠p_i&p_j∈b_n}(i≠j) (7)

其中直方图统计落在每个区域的点个数,p_j和p_i分别为目标轮廓上不同的轮廓点，b_n为极坐标系中第n个区域,n为极坐标系分割的区域数量，1≤n≤60。

轮廓描述子为M_sc：

M_SC＝(b₁,b₂,…,b₆₀) (8)

2.3关键点特征提取

由于步骤2.2重点区域下包含了物体未被遮挡的信息成分，此时进行多特征检测，匹配图像中关键角点、拐点。

本发明选取SIFT特征作为检测目标的匹配标准，具体是：

2.3.1使用不同高斯滤波器对重点区域图像进行卷积处理，得到不同尺度层高斯金字塔，对其中一层进行斑点检测，获取26个斑点(包括同尺度层8个及上下尺度层各9个点)，选出极大值或极小值为关键特征点；

作为优选，通过三维二次函数筛选剔除不稳定点。

2.3.2以步骤2.3.1中提取的关键特征点为中心的3×3矩形的区域内剩余的邻域区域称为周边的相邻区域，然后以边长为3进行分块处理，计算各个块内的梯度直方图，该部分信息不随尺度变化、视角变化影响，可以构成4*4*8的128维SIFT特征点描述子。

2.4多特征融合

选用颜色描述子、轮廓描述子、SIFT描述子进行融合，级联成一种新的CSCSIFT(Color Shape-contours SIFT)描述子检测算法，得到多特征融合值：

M_CSCSIFT＝(u_h,δ_h,γ_h,u_s,δ_s,γ_s,u_i,δ_i,γ_i,b₁,…,b₆₀,s₁,…,s₁₂₈) (9)

步骤三、通过匹配算法，将模板图像的多特征融合值与重点区域图像的多特征融合值进行匹配，匹配度即为识别准确率。

作为优选，采用RANSAC算法剔除误匹配点，提高匹配准确率。

本发明的另一个目的是提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行上述的方法。

本发明的又一个目的是提供一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现上述的方法。

本发明提出的多特征融合的方式，能够适应复杂环境下由于遮挡带来的识别困难，该方法解决了因遮挡带来的识别率低、实时性差的问题。利用多特征融合的方式，依托颜色及轮廓减小无关检测区域。

本发明采用SIFT算法实现兴趣点检测与描述以及目标模板图像与检测图像像中多角度兴趣点的匹配。

基于本发明提出的基于多特征融合识别方法，能够有效的对机器人采集图像进行关键定位及筛选重点区域进行图像分析，为机器人识别提高的准确率。

附图说明

图1是模板图像数据库的构建流程图；

图2是本发方法流程图。

具体实施方式

下面结合具体实施例对本发明做进一步分析。

如图2一种基于多特征融合的遮挡目标识别方法，包括如下步骤：

步骤一、多特征模板图像数据库的构建，如图1：

1.1获取大小m×n的彩色模板图像，对模板图像的颜色特征、轮廓特征、关键点特征进行提取；其中关键点特征包括SIFT(Scale-invariant feature transform)、SURF(Speeded Up Robust Features)、ORB(Oriented Fast and Rotated Brief)等一种；

所述的提取技术为本领域常规技术，故不详解。

所述模板图像为目标正视图；

对模板图像中颜色特征提取是基于模板图像转化为H-S彩色模型下的图像时进行的。

1.2根据步骤1.1提取的颜色特征构建彩色信息直方图，从上述彩色信息直方图选取主成颜色阈值T₁和T₂；通过主成颜色阈值T₁和T₂对模板图像进行阈值分割,得到主成颜色分割后的模板图像；

1.3对步骤1.2主成颜色分割后的模板图像进行Canny算法，提取目标轮廓的边界信息，得到所需目标轮廓，并计算目标轮廓的面积大小、长宽比等信息；再通过寻找目标轮廓的最小外接矩阵的方法，将最小外接矩阵作为目标框。

步骤二、检测图像的多特征提取：

2.1颜色特征提取

2.1.1对检测图像进行H-S彩色模型的图像转化，得到彩色检测图像；通过多特征模板图像数据库中主成颜色阈值T₁和T₂对彩色检测图像进行阈值分割，得到切割后的检测图像；

切割后的检测图像与多特征模板图像数据库中主成颜色分割后的模板图像根据式(1)进行相关性对比，对比系数记为d(H₁,H₂)。

式中，H₁(I)为切割后的检测图像中第I个颜色区间上的值，I＝1,2,3…N，N为直方图中颜色区间的个数；H₂(I)为切割后的模板图像中第I个颜色区间上的值；k取值1和2，j＝I。

2.1.2颜色描述子提取

在HSI颜色空间模型下对颜色分量进行求矩运算，得到颜色描述子：

C_features＝(u_h,δ_h,γ_h,u_s,δ_s,γ_s,u_i,δ_i,γ_i) (3)

其中u_h,δ_h,γ_h表示H色调分量图颜色的三阶矩描述，u_s,δ_s,γ_s表示S饱和度分量图颜色的三阶矩描述，u_i,δ_i,γ_i表示I亮度分量图颜色的三阶矩描述。

以I亮度分量图颜色的三阶矩描述为例：

式中u_i表示第i个颜色通道分量中图像颜色特征的一阶矩，δ_i表示第i个颜色通道分量中图像颜色特征的二阶矩，γ_i表示第i个颜色通道分量中图像颜色的特征的三阶矩，p_i,j为彩色图像中第i个颜色通道分量中灰度为j的像素出现的概率，N为颜色区间的个数，M为像素个数。

2.2轮廓特征提取

2.2.1对步骤2.1切割后的检测图像进行轮廓特征的提取，得到检测目标的外轮廓；对检测目标的外轮廓最小外接矩阵定义为重点区域，即图像中关键图像信息的定位，截取并保存作为重点区域图像。

2.2.2轮廓描述子

首先获取待识别目标物体的外围轮廓点集，对轮廓的外围轮廓点集进行均匀采样，得到一个采样集合π＝{r₁,r₂,…,r_n},r_i∈R²,R²为2D欧式空间。以任意一点r_i为对数极坐标系下原点，而轮廓上的个点会落在以r_i为极坐标原点的对数坐标系中，X_iY_i为r_i在直角坐标系下的点，r_i即可以和轮廓上其他n-1个轮廓点构成形状特征向量形成对数极坐标直方图h_i。

h_i(k)＝{p_j≠p_i&p_j∈b_n}(i≠j) (7)

其中直方图统计落在每个区域的点个数,p_j和p_i分别为目标轮廓上不同的轮廓点，b_n为极坐标系中第n个区域,n为极坐标系分割的区域数量，1≤n≤60。

轮廓描述子为M_sc：

M_SC＝(b₁,b₂,…,b₆₀) (8)

2.3关键点特征提取

由于步骤2.2重点区域下包含了物体未被遮挡的信息成分，此时进行多特征检测，匹配图像中关键角点、拐点。

本发明选取SIFT特征作为检测目标的匹配标准，具体是：

2.3.1使用不同高斯滤波器对重点区域图像进行卷积处理，得到不同尺度层高斯金字塔，对其中一层进行斑点检测，获取26个斑点(包括同尺度层8个及上下尺度层各9个点)，选出极大值或极小值为关键特征点；

作为优选，通过三维二次函数筛选剔除不稳定点。

2.3.2以步骤2.3.1中提取的关键特征点为中心的3×3矩形的区域内剩余的邻域区域称为周边的相邻区域，然后以边长为3进行分块处理，计算各个块内的梯度直方图，该部分信息不随尺度变化、视角变化影响，可以构成4*4*8的128维SIFT特征点描述子。

2.4多特征融合

选用颜色描述子、轮廓描述子、SIFT描述子进行融合，级联成一种新的CSCSIFT(ColorShape-contoursSIFT)描述子检测算法，得到多特征融合值：

M_CSCSIFT＝(u_h,δ_h,γ_h,u_s,δ_s,γ_s,u_i,δ_i,γ_i,b₁,…,b₆₀,s₁,…,s₁₂₈) (9)

步骤三、通过匹配算法，将模板图像的多特征融合值与重点区域图像的多特征融合值进行匹配，匹配度即为识别准确率。

作为优选，采用RANSAC算法剔除误匹配点，提高匹配准确率。

实验对比结果

表1融合算法对A类物体的检测数据

表2融合算法对B类物体的检测数据

表3融合算法对不同物体的检测准确率

表中CSIFT表示颜色描述子和SIFT级联成的描述子检测算法，SCSIFT表示轮廓描述子和SIFT级联成描述子算法。A、B、C、D、E分别表示五类物体，表中的数据表示物体检测的识别率

由表1-2可知，通过融合后的算法减少了物体特征点时间，从而使得程序运行总时间减少了，其中由于采用多种特征的描述子，在保持SIFT算法的优点的基础上，CSCSIFT在实时性和准确率方面都得到了3％-10％的提升。

Claims (8)

1.一种基于多特征融合的遮挡目标识别方法，其特征在于包括以下步骤：

步骤一、多特征模板图像数据库的构建：

步骤二、检测图像的多特征提取：

2.1颜色特征提取

2.1.1对检测图像进行H-S彩色模型的图像转化，得到彩色检测图像；通过多特征模板图像数据库中主成颜色阈值T₁和T₂对彩色检测图像进行阈值分割，得到切割后的检测图像；

切割后的检测图像与多特征模板图像数据库中主成颜色分割后的模板图像根据式(1)进行相关性对比，对比系数记为d(H₁,H₂)；

式中，H₁(I)为切割后的检测图像中第I个颜色区间上的值，I＝1,2,3…N，N为直方图中颜色区间的个数；H₂(I)为切割后的模板图像中第I个颜色区间上的值；k取值1和2，j＝I；

2.1.2颜色描述子提取

在HSI颜色空间模型下对颜色分量进行求矩运算，得到颜色描述子：

C_features＝(u_h,δ_h,γ_h,u_s,δ_s,γ_s,u_i,δ_i,γ_i) (3)

其中u_h,δ_h,γ_h表示H色调分量图颜色的三阶矩描述，u_s,δ_s,γ_s表示S饱和度分量图颜色的三阶矩描述，u_i,δ_i,γ_i表示I亮度分量图颜色的三阶矩描述；

2.2轮廓特征提取

2.2.1对步骤2.1切割后的检测图像进行轮廓特征的提取，得到检测目标的外轮廓；对检测目标的外轮廓最小外接矩阵定义为重点区域，即图像中关键图像信息的定位，截取并保存作为重点区域图像；

2.2.2轮廓描述子

首先获取待识别目标物体的外围轮廓点集，对轮廓的外围轮廓点集进行均匀采样，得到一个采样集合π＝{r₁,r₂,…,r_n},r_i∈R²,R²为2D欧式空间；以任意一点r_i为对数极坐标系下原点，而轮廓上的个点会落在以r_i为极坐标原点的对数坐标系中，X_iY_i为r_i在直角坐标系下的点，r_i即可以和轮廓上其他n-1个轮廓点构成形状特征向量形成对数极坐标直方图h_i；

h_i(k)＝{p_j≠p_i&p_j∈b_n}(i≠j) (7)

其中直方图统计落在每个区域的点个数,p_j和p_i分别为目标轮廓上不同的轮廓点，b_n为极坐标系中第n个区域,n为极坐标系分割的区域数量，1≤n≤60；

轮廓描述子为M_sc：

M_SC＝(b₁,b₂,…,b₆₀) (8)

2.3关键点特征提取

2.3.1使用不同高斯滤波器对重点区域图像进行卷积处理，得到不同尺度层高斯金字塔，对其中一层进行斑点检测，获取26个点，选出极大值或极小值为关键特征点；

2.3.2以步骤2.3.1中提取的关键特征点为中心的3×3矩形的区域内剩余的邻域区域称为周边的相邻区域，然后以边长为3进行分块处理，计算各个块内的梯度直方图，关键特征点周边的梯度变化信息不随尺度变化、视角变化影响，可以构成4*4*8的128维SIFT特征点描述子；

2.4多特征融合

选用颜色描述子、轮廓描述子、SIFT描述子进行融合，级联得到多特征融合值：

M_CSCSIFT＝(u_h,δ_h,γ_h,u_s,δ_s,γ_s,u_i,δ_i,γ_i,b₁,…,b₆₀,s₁,…,s₁₂₈) (9)

步骤三、通过匹配算法，将模板图像的多特征融合值与重点区域图像的多特征融合值进行匹配，匹配度即为识别准确率。

2.如权利要求1所述的一种基于多特征融合的遮挡目标识别方法，其特征在于步骤一具体是：

1.1获取大小m×n的彩色模板图像，对模板图像的颜色特征、轮廓特征、关键点特征进行提取；

对模板图像中颜色特征提取是基于模板图像转化为H-S彩色模型下的图像时进行的；

1.2根据步骤1.1提取的颜色特征构建彩色信息直方图，从上述彩色信息直方图选取主成颜色阈值T₁和T₂；通过主成颜色阈值T₁和T₂对模板图像进行阈值分割,得到主成颜色分割后的模板图像；

1.3对步骤1.2主成颜色分割后的模板图像进行Canny算法，提取目标轮廓的边界信息，得到所需目标轮廓，并计算目标轮廓的面积大小、长宽比信息；再通过寻找目标轮廓的最小外接矩阵的方法，将最小外接矩阵作为目标框。

3.如权利要求1或2所述的一种基于多特征融合的遮挡目标识别方法，其特征在于所述模板图像为目标正视图。

4.如权利要求1所述的一种基于多特征融合的遮挡目标识别方法，其特征在于步骤2.1.2以I亮度分量图颜色的三阶矩描述为例：

式中u_i表示第i个颜色通道分量中图像颜色特征的一阶矩，δ_i表示第i个颜色通道分量中图像颜色特征的二阶矩，γ_i表示第i个颜色通道分量中图像颜色的特征的三阶矩，p_i,j为彩色图像中第i个颜色通道分量中灰度为j的像素出现的概率，N为颜色区间的个数，M为像素个数。

5.如权利要求1所述的一种基于多特征融合的遮挡目标识别方法，其特征在于步骤2.3.1通过三维二次函数筛选剔除不稳定点。

6.如权利要求1所述的一种基于多特征融合的遮挡目标识别方法，其特征在于步骤三采用RANSAC算法剔除误匹配点。

7.一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行权利要求1-6中任一项所述的方法。

8.一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求1-6中任一项所述的方法。