CN109784261A - 基于机器视觉的行人分割与识别方法 - Google Patents

Abstract

一种基于机器视觉的行人分割与识别方法，包括：(1)获取行人目标监控图像并分割得到人体区域；(2)根据行人人体结构数据计算人体区域宽、高及重心位置，以人体重心为椭圆圆心，人体高、宽为椭圆长短轴画椭圆，将人体区域近似为椭圆形状；(3)沿椭圆长、短轴方向划线将椭圆区域分割为多个子块区域；(4)利用LBP算法提取各子块区域的纹理细节特征，并形成特征向量集合；(5)计算各子块区域几何中心到人体重心即椭圆圆心的距离，推导出各子块区域特征匹配权重；(6)归一化待检测行人人体区域，与行人目标人体区域尺寸一致；(7)计算待检测行人各子块区域特征向量集，通过特征值匹配算法计算与行人目标特征向量集之间的相似度，实现行人再识别。该发明可在人体姿态发生一定程度的角度变化情况下提高行人特征值匹配的稳定性，保证行人识别的准确率。

Description

基于机器视觉的行人分割与识别方法

技术领域

本发明涉及一种行人分割与识别方法，具体地说是一种基于机器视觉的行人分割与识别方法。

技术背景

公共安全是国民经济发展和社会稳定的前提，也是预防和应对各类重大事故，保护人民生命财产安全的基础保障。近年来，我国加大了对公共安全领域的支持力度，基础设施得到快速发展，截止2017年，用于公共服务的监控摄像头已经达到3000万台，大量的摄像头被安置在易发生安全事件的人群密集场所。如此庞大的监控系统，每时每刻会产生大量的监控数据，为安全事件溯源、目标跟踪等提供了丰富的数据源。行人目标是监控视频里面常见和最为关注的目标，针对特定的人进行检索可以解决嫌疑犯跟踪、失踪人员寻回等问题，但传统人工检索耗时费力，易引起视觉疲劳，严重影响跟踪准确率。计算机视觉技术的发展，催生了基于机器视觉的行人分割与识别方法，近年来深度学习理论极大的推动了行人识别技术的成熟，为视频检索提供了一种新的解决方案，对维护国家的治安、提高公安办案效率有着重要的意义。

深度学习在计算机视觉上取得的巨大成功，使得在行人再识别领域的研究也日益增加，学者提出了大量的算法。如利用Siamese网络去进行有监督的学习,来匹配和区分行人；将长短时记忆网络引入Siamese网络，对行人图像进行分割，用LSTM依次捕捉各区域之间的空间关系，增强网络的判别能力；利用端到端的基于比较性注意力网络，使用LSTM来循环生成局部注意力的特征，提取到更多局部的辨别性信息，有效提高行人再识别算法性能；利用卷积神经网络捕捉图像特征，循环神经网络捕捉帧与帧的时空关系特征来配合Siamese网络，取得了很好的实验结果等。但由于监控模式下行人处于非受控状态，行人姿态多变，导致人体区域特征发现变化，在与标准模板对比时，严重影响匹配精度。基于此，本发明提出一种基于机器视觉的行人分割与识别方法，可在人体姿态发生一定程度的角度变化情况下提高行人特征值匹配的稳定性，保证行人识别的准确率。

发明内容

为解决上述的技术问题，本发明提供一种基于机器视觉的行人分割与识别方法，可实现人体姿态变化时行人的有效分割与识别。

本发明采取以下技术方案是：一种基于机器视觉的行人分割与识别方法，包括以下步骤：

S1，获取行人目标监控图像并分割得到人体区域A_T；

S2，根据行人人体结构数据计算人体区域宽W、人体区域高H及人体重心位置C(X_c，Y_c)，以人体重心C为椭圆圆心，人体区域高H、人体区域宽W为椭圆长轴、短轴画椭圆，将人体区域近似为椭圆形状；

S3，沿椭圆长轴、短轴方向，间隔距离M个像素划线，将椭圆区域划分为多个子块区域；

S4，沿行人目标监控图像Y坐标系方向，从左至右逐行排列划分的多个子块区域，形成一维子块图像区域集合R_s＝{I₁,I₂,I₃,...,I_N}，I_N为R_s中的子块图像区域，N为一维子块图像区域集合R_s中图像个数；

S5，利用图像特征提取算法提取一维子块图像区域集合R_s中各子块区域的图像特征，并形成特征向量集合 为子块I_N的特征值；

S6，计算一维子块图像区域集合R_s中各子块区域几何中心位置到人体重心C的距离I_j为一维子块图像区域集合R_s中的图像，j为图像块的索引，且j∈[1,N]，利用以下公式计算一维子块图像区域集合R_s各子块区域特征匹配权重：

其中，为I_j的特征匹配权重，为I_j几何中心的X坐标，为I_j几何中心的Y坐标，由公式计算各子块区域的匹配权重，形成子块权重集合

S7，获取待匹配行人区域A_d，并归一化与人体区域A_T尺寸一致；

S8，依次利用S2、S3、S4、S5的方法对待匹配行人区域A_d操作，得到待匹配行人一维子块区域图像集合R_D＝{g₁,g₂,g₃,...,g_N}，g_N为R_D中的子块图像，N为一维子块图像区域集合R_D中图像个数，匹配目标的特征向量集合 为子块g_N的特征值；

S9，采用特征值匹配算法依次检测特征向量集合F_s与特征向量集合D_s对应图像特征向量的相似度，形成特征匹配相似度集合O_F&D＝{o₁,o₂,o₃,...o_N}，o_N为和的相似度；

S10，以以下模型判定最终识别结果，

T为最终的相似度，λ为判定阈值，当T>λ时即认为待匹配行人为跟踪目标；

所述的S5图像特征提取算法，分别提取图像特征极值点、极值点位置、尺度、旋转不变量和局部的纹理细节特征。

作为对本发明的改进，所述步骤S4子块区域图像集合，通过子块区域面积去除不满足判定条件的S_b为子块面积。

作为对本发明的改进，所述步骤S8待匹配目标特征向量集D_s，为保证与特征向量集合F_s一一对应，通过以下方法处理：

1)分割待匹配行人区域A_d时同样沿椭圆长、短轴方向，间隔距离M个像素划线，将待匹配行人椭圆区域划分为多个子块区域，与人体区域A_T分割结果相同；

2)在形成一维子块图像区域集合R_s过程中，记录被删除的子区域在人体区域A_T中所处的位置，在形成一维子块图像区域集合R_D时将待匹配行人区域A_d对应位置的子区域删除，确保一维子块图像区域集合R_s、一维子块图像区域集合R_D元素个数都为N，且一一对应。

作为对本发明的改进，所述S4一维子块图像区域集合R_s中图像个数N，N为大于0的整数，且

作为对本发明的改进，所述S6子块区域特征匹配权重满足w∈[0,1]。

作为对本发明的改进，所述的S2人体结构数据，包括人体轮廓、人体骨架关节点数据及能量图等等。

与现有技术对比，本发明专利的有益效果为：当确定行人跟踪目标后，根据人体结构特点，将人体区域近似为椭圆形状，分割出图像中人体子区域，同时根据各子块区域到人体重心的距离，计算各子块区域的匹配权重系数，可在不明显增强计算复杂度的同时大幅减少行人图像中背景区域对行人识别的影响，另外结合LBP算法提取各区域纹理细节特征，最终通过人体子块区域特征向量集的相似度计算实现行人再识别，可在人体姿态发生一定程度的角度变化情况下提高行人特征值匹配的稳定性，保证行人识别的准确率。

附图说明

图1为本发明方案示意图；

图2为本发明算法流程示意图；

图3为本发明人体区域椭圆近似示意图；

图4为本发明人体椭圆区域分割示意图。

具体实施方式

为便于本领域技术人员的理解，下面结合附图对本发明作进一步的描述。

如图1所示，本发明揭示了一种基于机器视觉的行人分割与识别方法，包括以下步骤：首先确定行人跟踪目标，分割行人目标图像，提取子图像区域的特征，并计算各子块区域的匹配权重系数；其次获取待检测行人图像，以相同方法分割待检测行人图像，提取子图像区域特征；最后利用设计的匹配模型，匹配跟踪目标特征与待匹配行人特征，得出匹配结果。详细方法流程图见图2所示，具体实施方法如下，其中人体检测、分割、特征提取、特征值匹配算法仅用于举例说明，不局限于所举例方法。

S1，获取行人跟踪目标监控图像，采用人体骨架检测模型定位人体位置，进而基于人体关节信息分割得到人体区域A_T。

S2，根据行人人体关节点分布，即关节点位置数据计算人体区域宽W、人体区域高H及人体重心位置C(X_c，Y_c)，以人体重心位置C为椭圆圆心，人体区域高H、人体区域宽W为椭圆长轴、短轴画椭圆，将人体区域近似为椭圆形状，如图3所示。

S3，沿椭圆长轴、短轴方向，间隔距离M个像素划线，以M＝20个像素点为例，将椭圆区域划分为多个子块区域，如附图4所示。

S4，沿行人跟踪目标监控图像Y坐标系方向，从左至右逐行排列划分的多个子块区域，形成一维子块区域图像集合R_s＝{I₁,I₂,I₃,...,I_N}，I_N为一维子块图像区域集合R_s中的子块图像区域，N为一维子块图像区域集合R_s中图像个数。

如图4所示，首先排列椭圆范围内第一行子块，此例第一行有4个子块，接着排列第二行的4个，然后排列第三行的6个，依次类推直到将椭圆内的所有子块都排列完成。其中例如第三行排列时，由于第1、第6子块面积小于M*M＝400，故被删除，不进行排列，以下各行子块也将按此方法删除。

S5，利用SIFT算法与LBP算法结合的方法提取一维子块图像区域集合R_s中各子块区域的图像特征，并形成特征向量集合 为子块I_N的特征值。

其中SIFT算法用于提取子块区域图像的尺度不变特征，包括极值点位置、尺度、旋转不变量等，LBP算法用于提取子块区域的纹理特征。

S6，计算一维子块图像区域集合R_s中各子块区域几何中心位置到人体重心C的距离I_j为一维子块图像区域集合R_s中的图像，j为图像块的索引，且j∈[1,N]，利用以下公式计算一维子块图像区域集合R_s各子块区域特征匹配权重：

其中，为I_j的特征匹配权重，为I_j几何中心的X坐标，为I_j几何中心的Y坐标，由公式计算各子块区域的匹配权重，形成子块权重集合

S7，获取待匹配行人区域A_d，并归一化与人体区域A_T尺寸一致。

S8，依次利用S2、S3、S4、S5的方法对待匹配行人区域A_d操作，得到待匹配行人一维子块区域图像集合R_D＝{g₁,g₂,g₃,...,g_N}，g_N为一维子块区域图像集合R_D中的子块图像，N为一维子块图像区域集合R_D中图像个数，匹配目标的特征向量集合 为子块g_N的特征值。

S9，采用马氏距离度量算法依次检测一维子块图像区域集合F_s与特征向量集合D_s对应图像特征向量的相似度，形成特征匹配相似度集合O_F&D＝{o₁,o₂,o₃,...o_N}，o_N为和的相似度。

S10，设计以下模型判定最终识别结果，

T为最终的相似度，λ为判定阈值，当T>λ时即认为待匹配行人为跟踪目标，此处的λ＝0.9。

优选的，S4所述的子块区域图像集合，通过子块区域面积去除不满足判定条件的S_b为子块面积。所述的一维子块图像区域集合R_s中图像个数N，N为大于0的整数，且

优选的，S6所述的子块区域特征匹配权重满足w∈[0,1]。

优选的，S8所述的待匹配目标特征向量集D_s，为保证与特征向量集合F_s一一对应，通过以下方法处理：

1)分割待匹配行人区域A_d时同样沿椭圆长、短轴方向，间隔距离M个像素划线，将待匹配行人椭圆区域划分为多个子块区域，与人体区域A_T分割结果相同；

2)在形成一维子块图像区域集合R_s过程中，记录被删除的子区域在人体区域A_T中所处的位置，在形成一维子块图像区域集合R_D时将待匹配行人区域A_d对应位置的子区域删除，确保一维子块图像区域集合R_s、一维子块图像区域集合R_D元素个数都为N，且一一对应。

本发明基于机器视觉的行人分割与识别方法，包括：(1)获取行人目标监控图像并分割得到人体区域；(2)根据行人人体结构数据计算人体区域宽、高及重心位置，以人体重心为椭圆圆心，人体高、宽为椭圆长短轴画椭圆，将人体区域近似为椭圆形状；(3)沿椭圆长、短轴方向划线将椭圆区域分割为多个子块区域；(4)利用LBP算法提取各子块区域的纹理细节特征，并形成特征向量集合；(5)计算各子块区域几何中心到人体重心即椭圆圆心的距离，推导出各子块区域特征匹配权重；(6)归一化待检测行人人体区域，与行人目标人体区域尺寸一致；(7)计算待检测行人各子块区域特征向量集，通过特征值匹配算法计算与行人目标特征向量集之间的相似度，实现行人再识别。该发明可在人体姿态发生一定程度的角度变化情况下提高行人特征值匹配的稳定性，保证行人识别的准确率。

Claims (7)

1.一种基于机器视觉的行人分割与识别方法，包括以下步骤：

S1，获取行人目标监控图像并分割得到人体区域A_T；

S2，根据行人人体结构数据计算人体区域宽W、人体区域高H及人体重心位置C(X_c，Y_c)，以人体重心位置C为椭圆圆心，人体区域高H、人体区域宽W分别为椭圆长轴、短轴画椭圆，将人体区域近似为椭圆形状；

S3，沿椭圆长轴、短轴方向，间隔距离M个像素划线，将椭圆区域划分为多个子块区域；

S4，沿行人目标监控图像Y坐标系方向，在椭圆区域内从左至右逐行排列划分的多个子块图像区域，形成一维子块图像区域集合R_s＝{I₁,I₂,I₃,...,I_N}，I_N为R_s中的子块图像区域，N为一维子块图像区域集合R_s中图像个数；

S5，利用图像特征提取算法提取一维子块图像区域集合R_s中各子块区域的图像特征，并形成特征向量集合 为子块I_N的特征值；

S6，计算一维子块图像区域集合R_s中各子块区域几何中心位置到椭圆圆心C的距离I_j为R_s中的图像，j为图像块的索引，且j∈[1,N]，利用以下公式计算一维子块图像区域集合R_s各子块区域特征匹配权重：

其中，为I_j的特征匹配权重，为I_j几何中心的X坐标，为I_j几何中心的Y坐标，由公式计算各子块区域的匹配权重，形成子块权重集合

S7，获取待匹配行人区域A_d，并归一化与人体区域A_T尺寸一致；

S8，依次利用步骤S2、步骤S3、步骤S4、步骤S5的方法对待匹配行人区域A_d操作，得到待匹配行人一维子块区域图像集合R_D＝{g₁,g₂,g₃,...,g_N}，g_N为R_D中的子块图像，N为一维子块图像区域集合R_D中图像个数，匹配目标的特征向量集合 为子块g_N的特征值；

S9，采用特征值匹配算法依次检测特征向量集合F_s与特征向量集合D_s对应图像特征向量的相似度，形成特征匹配相似度集合O_F&D＝{o₁,o₂,o₃,...o_N}，o_N为子块I_N的特征值和子块g_N的特征值的相似度；

S10，以以下模型判定最终识别结果，

T为最终的相似度，λ为判定阈值，当T>λ时即认为待匹配行人为跟踪目标。

2.根据权利要求1所述的基于机器视觉的行人分割与识别方法，其特征在于：S5图像特征提取算法中的图像特征是指分别提取图像特征极值点、极值点位置、尺度、旋转不变量和局部的纹理细节特征。

3.根据权利要求1基于机器视觉的行人分割与识别方法，其特征在于：S4步中所述子块图像区域集合，通过子块区域面积去除不满足判定条件的S_b为子块面积。

4.根据权利要求1所述的基于机器视觉的行人分割与识别方法，其特征在于：S8步中待匹配目标特征向量集D_s，为保证与特征向量集合F_s一一对应，通过以下方法处理：

1)分割待匹配行人区域A_d时同样沿椭圆长、短轴方向，间隔距离M个像素划线，将待匹配行人椭圆区域划分为多个子块区域，与人体区域A_T分割结果相同；

2)在形成一维子块图像区域集合R_s过程中，记录被删除的子区域在人体区域A_T中所处的位置，在形成待匹配行人一维子块图像区域图像集合R_D时将待匹配行人区域A_d对应位置的子区域删除，确保一维子块图像区域集合R_s、待匹配行人一维子块图像区域图像集合R_D元素个数都为N，且一一对应。

5.根据权利要求1所述的基于机器视觉的行人分割与识别方法，其特征在于：步骤S4一维子块图像区域集合R_s中图像个数N，N为大于0的整数，且

6.根据权利要求1所述的基于机器视觉的行人分割与识别方法，其特征在于：步骤S6子块区域特征匹配权重满足w∈[0,1]。

7.根据权利要求1所述的基于机器视觉的行人分割与识别方法，其特征在于：步骤S2人体结构数据，包括人体轮廓、人体骨架关节点数据和能量图。