CN110232717A - 一种适用于多对多目标识别的目标同一性识别方法 - Google Patents

Abstract

本发明公开了一种适用于多对多目标识别的目标同一性识别方法，将多个可见光摄像头固定安装在场景内，开机，调整多可见光摄像头的视场覆盖目标识别所需区域，调整全部可见光摄像头的焦距、视角、位姿参数并在后续的操作中维持不变，所述方法是：首先对可见光摄像头进行标定，然后对多目标进行目标同一性识别；本发明可有效对不同摄像头所观测到的目标进行同一性识别，进而判断不同摄像头所观测到的目标之间的信息是否可整合，为多对多场景下的后续目标识别与跟踪等算法实现奠定了必备基础。

Description

一种适用于多对多目标识别的目标同一性识别方法

技术领域

本发明涉及视频目标检测与识别领域，具体涉及一种适用于多对多目标识别的目标同一性识别方法。

背景技术

随着目标识别技术的应用范围越来越广，应用场景越来越复杂，处理对象越来越多元化，利用单一摄像头的信息进行目标识别已经无法实现全场景、全时段的准确目标识别，例如：仅利用单一摄像头信息无法有效应对目标存在部分遮挡情况下的目标识别问题。另一方面，随着摄像头技术等相关技术的进步发展，图像精度/分辨率进一步提升，硬件成本进一步降低，利用多个摄像头对同一视场区域内的多个目标进行目标识别(即多对多目标识别)已经成为目标识别技术发展的必然趋势。

发明内容

本发明拟提出一种适用于多对多目标识别的目标同一性识别方法，判断不同摄像头所观测到的目标是否为同一目标，在确定为同一目标后，将确定为同一目标的视频/图像信息进行整合，进而得到对于同一目标在不同观测角度下、由不同的可见光摄像头所采集到的图像观测整合信息，利用该信息进行目标识别。

为了实现上述目的，本发明的技术方案是：

一种适用于多对多目标识别的目标同一性识别方法，将多个可见光摄像头固定安装在场景内，开机，调整多可见光摄像头的视场覆盖目标识别所需区域，调整全部可见光摄像头的焦距、视角、位姿参数并在后续的操作中维持不变，所述方法是：首先对可见光摄像头进行标定，然后对多目标进行目标同一性识别；

所述对可见光摄像头进行标定是：将棋盘格标识物放置在场景中，利用所述标识物对全部可见光摄像头进行标定，获得在当前摄像头安装与参数设置状态下的自身图像坐标系与统一世界坐标系的坐标转换关系；

所述对多目标进行目标同一性识别是：

第一步：多个可见光摄像头获取无被识别目标存在条件下的场景内图像，使用GMM算法确定GMM算法背景图像训练模型；

第二步：多个可见光摄像头获取含有多目标的场景内图像，使用GMM算法背景图像训练模型将不符合背景图像信息的图像信息分隔出来形成对多目标的图像信息分割；

第三步：确定多个可见光摄像头的多目标的图像信息中各个目标的中心坐标；

第四步：对多个可见光摄像头各自的各个目标的中心坐标，利用所述坐标转换关系转换为统一世界坐标系；

第五步：对得到的多目标世界坐标信息进行聚类匹配，得到目标的同一性识别结果。

方案进一步是：所述GMM算法是高斯混合背景模型基础公式：

其中：

X_t：t帧的当前像素的RGB色彩向量；

K：高斯模型的总数，设为3；

μ_i,t：t帧的第i个高斯分布的均值向量；

t帧的第i个高斯分布的协方差矩阵，I₃代表3×3的单位矩阵，σ_i,t代表方差；

ω_i,t：t帧的第i个高斯分布的权重，且满足条件

方案进一步是：所述使用GMM算法确定GMM算法背景图像训练模型的步骤包括：

第一步：模型初始化，将视频序列中的第一帧图像的每一个像素点的彩色向量值初始化确定该像素的K个高斯分布的平均取值；

第二步：模型排序，将每个像素的所有高斯分布排序，由大到小，排序规则按照ω_i,t/σ_i,t的比值，并根据下述公式：

计算出分布排序B值，根据上述排序取出B值，作为背景像素的高斯分布结果，得到GMM算法背景图像训练模型。

方案进一步是：所述使用GMM算法背景图像训练模型将不符合背景图像信息的图像信息分隔出来形成对多目标的图像信息分割，是利用模型更新对多目标的图像信息中的多目标分割，具体的执行步骤是：

对获取的含有多目标的场景内图像判断匹配性，当获得每一帧的图像时，将这帧图像的每个像素点与该像素已存在的K个高斯分布一一进行匹配，对于不匹配的像素点进行更新，否则不予更新，匹配成功的判断准则是：

对匹配的第i个高斯分布的参数更新公式如下：

μ_i，t＝(1-ρ_i，t)μ_i，-1+ρ_i，tX_t；

其中，ρ_i,t＝0.005/ω_i,t，ρ_i,t为参数学习速率；

如果没有与X_t互相搭配的高斯分布，那么此时确定的该像素的高斯分布就要以X_t作为平均值分配给最小权重的高斯分布，接下来改高斯分布再次分配较小的权重和较大的方差。同时按照下式更新权重：

ω_i,t＝(1-α)ω_i,t-1+αM_i,t

上式中：

其中：所述不匹配的像素点是多目标分割信息。

方案进一步是：所述聚类匹配使用的是密度聚类算法(Density-Based SpatialClustering of Applications with Noise，DBSCAN)，应用DBSCAN算法后，可坐标聚为几类，而被划为一类的坐标则被认为是同一目标，从而完成了目标同一性识别。

本发明的有益效果是：

(1)本发明提出了一种适用于多对多场景下的目标同一性识别的解决方案，可有效对不同摄像头所观测到的目标进行同一性识别，进而判断不同摄像头所观测到的目标之间的信息是否可整合，为多对多场景下的后续目标识别与跟踪等算法实现奠定了必备基础。

(2)本发明所设计的目标同一性识别算法，仅在设备布置阶段需要辅助设备参与，利用辅助设备完成可见光摄像头的标定，而在后续的实施阶段并不需要任何辅助设备即可以完成全部运算。

(3)在本发明所设计的目标同一性识别算法中，并不直接需要用到各个可见光摄像头所拍摄到的图像信息，而是仅需要转换后得到的目标坐标信息，极大的缩减了算法的计算量和传输的数据量，保证了算法可以在线实现。

下面结合附图和实施例对本发明进行详细描述。

附图说明

图1是方法整体运行流程；

图2是标定流程示意图；

图3是标定结果示意图；

图4是目标信息与背景区分结果示意图。

具体实施方式

本实施例是解决多个摄像头对多个目标进行目标识别的场景下，判断不同摄像头所观测到的目标是否为同一目标的问题。该方法首先对已经安放完毕的全部摄像头进行标定，标定完成后的摄像头具有将所观测到目标信息在图像坐标系下的坐标转换至世界坐标系下的坐标的能力，在此基础上，进一步执行同一性识别算法：首先各个摄像头利用自身视频信息结合目标分割算法对目标进行独立提取分割，得到自身所观测到的目标在自身图像坐标系下的坐标，进而将不同摄像头所观测到的目标在各自图像坐标系下的坐标转换至统一的世界坐标系下，对转换至统一世界坐标系下的目标坐标利用聚类算法进行聚类分析，将聚类结果为同一类的结果认为是同一目标，从而完成多对多场景下的目标的同一性识别，为后续的信息处理奠定基础。识别原理是：首先，完成相关场景的布控与安装；其次使用棋盘格图像利用张正友标定算法完成对全部摄像头的标定工作，获取全部可见光摄像头相关参数和坐标转换关系；在此基础上，每个可见光摄像头仅利用自身信息完成目标的分割(即将目标信息从背景信息中分割出来)，分割完成后，则可以获得目标在各自图像坐标系下的坐标；进而利用图像坐标系下坐标结合各可见光摄像头标定结果进行坐标转换，得到目标在统一的世界坐标系下的坐标信息，进而利用世界坐标系下的坐标信息进行聚类分析，从而得到同一性识别结果。整体运行流程如图1所示。

将上述描述可以归纳为：一种适用于多对多目标识别的目标同一性识别方法，将多个可见光摄像头固定安装在场景内，确保多可见光摄像头的视场可以充分覆盖目标识别所需区域，开机，调整多可见光摄像头的视场覆盖目标识别所需区域，调整全部可见光摄像头的焦距、视角、位姿参数并在后续的操作中维持不变，所述方法是：首先对可见光摄像头进行标定，标定流程如图2所示，然后对多目标进行目标同一性识别；

所述对可见光摄像头进行标定是：标定采用的张正友标定法为业界广泛通用的摄像头标定方法，将棋盘格标识物放置在场景中，利用所述标识物对全部可见光摄像头进行标定，对于每一个可见光摄像头而言，可以获得在当前摄像头安装与参数设置状态下的自身图像坐标系与统一世界坐标系的坐标转换关系；利用该坐标转换关系可以将自身图像坐标系下的坐标转换至世界坐标系，标定结果示意图如图3所示(以其中一个可见光摄像头结果为例)；为了后续说明上的方便，此处假定场景布置了四个可见光摄像头，依序为a，b，c，d；场景中共存在四个待识别目标，依序为1,2,3,4；同时定义，对于可见光摄像头a而言，其对应的自身图像坐标系至统一的世界坐标系的转换关系为f_a，f_a代表一系列变换的叠加组合，为方便说明，此处f_a等效为函数进行介绍。f_a的含义为：当给定可见光摄像头a所对应的图像坐标系下的一组坐标(p)后，经过一系列运算(f_a)后，便可以得到对应的在统一世界坐标系下的坐标(f_a(p))。

经过摄像头标定计算后，可以得到四组坐标变换关系，分别为f_a,f_b,f_c,f_d，分别代表了可见光摄像头a，b，c，d在各自图像坐标系下的坐标至统一世界坐标系的转换关系。

接下来进入多目标同一性判断阶段，每个可见光摄像头仅利用自身的信息，各自独立的完成视频场景分割(即从原始视频信息中完成目标信息的提取)，同时获得多目标在各自图像坐标系下的坐标。在本阶段中，主要进行场景分割，即从原始图像中分割获得目标的图像信息，工程中有很多种分割算法可以采用，例如背景差分法，光流法，帧间差分法等。本专利中采用高斯混合模型算法(Gaussian Mixture Model，GMM)，GMM算法运算原理如下(以其中一个可见光摄像头为例进行说明)：

所述对多目标进行目标同一性识别是：

第一步：多个可见光摄像头获取无被识别目标存在条件下的场景内图像，利用场景的背景信息使用GMM算法进行GMM模型训练，确定GMM算法背景图像训练模型；

第二步：多个可见光摄像头获取含有多目标的场景内图像，使用GMM算法背景图像训练模型将不符合背景图像信息的图像信息分隔出来形成对多目标的图像信息分割；

第三步：确定多个可见光摄像头的多目标的图像信息中各个目标的中心坐标；

第四步：对多个可见光摄像头各自的各个目标的中心坐标，利用所述坐标转换关系转换为统一世界坐标系；

第五步：对得到的多目标世界坐标信息进行聚类匹配，得到目标的同一性识别结果。

其中：所述GMM算法是高斯混合背景模型基础公式：

其中：

X_t：t帧的当前像素的RGB色彩向量；

K：高斯模型的总数，设为3；

μ_i,t：t帧的第i个高斯分布的均值向量；

t帧的第i个高斯分布的协方差矩阵，I₃代表3×3的单位矩阵，σ_i,t代表方差；

ω_i,t：t帧的第i个高斯分布的权重，且满足条件

其中：所述使用GMM算法确定GMM算法背景图像训练模型的步骤包括：

第一步：模型初始化，将视频序列中的第一帧图像的每一个像素点的彩色向量值初始化确定该像素的K个高斯分布的平均取值，同时确立较大的方差(此处设置为36)和的权重；

第二步：模型排序，将每个像素的所有高斯分布排序，由大到小，排序规则按照ω_i,t/σ_i,t的比值，并根据下述公式：

计算出分布排序B值，根据上述排序取出B值，作为背景像素的高斯分布结果，得到GMM算法背景图像训练模型。

当完成GMM算法的训练后，可以利用训练好的模型进行视频信息的背景检测/目标分割。

因此：所述使用GMM算法背景图像训练模型将不符合背景图像信息的图像信息分隔出来形成对多目标的图像信息分割，是利用模型更新对多目标的图像信息中的多目标分割，具体的执行步骤是：

对获取的含有多目标的场景内图像判断匹配性，当获得每一帧的图像时，将这帧图像的每个像素点与该像素已存在的K个高斯分布一一进行匹配，对于不匹配的像素点进行更新，否则不予更新，匹配成功的判断准则是：

对匹配的第i个高斯分布的参数更新公式如下：

μ_i,t＝(1-ρ_i,t)μ_i,t-1+ρ_i,tX_t；

其中，ρ_i,t＝0.005/ω_i,t，ρ_i,t为参数学习速率；

如果没有与X_t互相搭配的高斯分布，那么此时确定的该像素的高斯分布就要以X_t作为平均值分配给最小权重的高斯分布，接下来改高斯分布再次分配较小的权重和较大的方差。同时按照下式更新权重：

ω_i,t＝(1-α)ω_i,t-1+αM_i,t

上式中：

其中：所述不匹配的像素点是多目标分割信息。

具体原理为：如果前B个高斯分布中其中任意一个能够与X_t匹配，则这一个匹配的就是背景点，否则是前景点。通过GMM算法可以准确地区分前景与背景信息。利用GMM算法对场景内的前景(目标信息)与背景区分结果如图4所示(以其中一个可见光摄像头为例)。在获得目标信息的分割结果后，则可以进一步获得目标在各自图像坐标系下的坐标，对于可见光摄像头a而言，对四个目标的观测结果为：对于可见光摄像头b而言，对四个目标的观测结果为：对于可见光摄像头c而言，对四个目标的观测结果为：对于可见光摄像头d而言，对四个目标的观测结果为：此处需要说明的是，由于分割后得到的图像信息为一片图像区域，因此此处选择的目标在图像坐标系下的坐标为对应目标图像区域的中心坐标，对应于图4中的各目标框的中心点。

对于第四步：对多个可见光摄像头各自的各个目标的中心坐标，利用所述坐标转换关系转换为统一世界坐标系；以上述的四个目标坐标f_a,f_b,f_c,f_d为例：具体计算结果如下：对于可见光摄像头a而言，对四个目标的观测结果在世界坐标系下的坐标为：对于可见光摄像头b而言，对四个目标的观测结果在世界坐标系下的坐标为：对于可见光摄像头c而言，对四个目标的观测结果在世界坐标系下的坐标为：对于可见光摄像头d而言，对四个目标的观测结果在世界坐标系下的坐标为：

本实施例中：所述聚类匹配使用的是密度聚类算法(Density-Based SpatialClustering of Applications with Noise，DBSCAN)，应用DBSCAN算法后，可坐标聚为几类，而被划为一类的坐标则被认为是同一目标，从而完成了目标同一性识别。

综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种适用于多对多目标识别的目标同一性识别方法，将多个可见光摄像头固定安装在场景内，开机，调整多可见光摄像头的视场覆盖目标识别所需区域，调整全部可见光摄像头的焦距、视角、位姿参数并在后续的操作中维持不变，其特征在于，首先对可见光摄像头进行标定，然后对多目标进行目标同一性识别；

所述对可见光摄像头进行标定是：将棋盘格标识物放置在场景中，利用所述标识物对全部可见光摄像头进行标定，获得在当前摄像头安装与参数设置状态下的自身图像坐标系与统一世界坐标系的坐标转换关系；

所述对多目标进行目标同一性识别是：

第一步：多个可见光摄像头获取无被识别目标存在条件下的场景内图像，使用GMM算法确定GMM算法背景图像训练模型；

第二步：多个可见光摄像头获取含有多目标的场景内图像，使用GMM算法背景图像训练模型将不符合背景图像信息的图像信息分隔出来形成对多目标的图像信息分割；

第三步：确定多个可见光摄像头的多目标的图像信息中各个目标的中心坐标；

第四步：对多个可见光摄像头各自的各个目标的中心坐标，利用所述坐标转换关系转换为统一世界坐标系；

第五步：对得到的多目标世界坐标信息进行聚类匹配，得到目标的同一性识别结果。

2.根据权利要求1所述的目标同一性识别方法，其特征在于，所述GMM算法是高斯混合背景模型基础公式：

其中：

X_t：t帧的当前像素的RGB色彩向量；

K：高斯模型的总数，设为3；

μ_i,t：t帧的第i个高斯分布的均值向量；

t帧的第i个高斯分布的协方差矩阵，I₃代表3×3的单位矩阵，σ_i,t代表方差；

ω_i,t：t帧的第i个高斯分布的权重，且满足条件

3.根据权利要求2所述的目标同一性识别方法，其特征在于，所述使用GMM算法确定GMM算法背景图像训练模型的步骤包括：

第一步：模型初始化，将视频序列中的第一帧图像的每一个像素点的彩色向量值初始化确定该像素的K个高斯分布的平均取值；

第二步：模型排序，将每个像素的所有高斯分布排序，由大到小，排序规则按照ω_i,t/σ_i,t的比值，并根据下述公式：

计算出分布排序B值，根据上述排序取出B值，作为背景像素的高斯分布结果，得到GMM算法背景图像训练模型。

4.根据权利要求3所述的所述的目标同一性识别方法，其特征在于，所述使用GMM算法背景图像训练模型将不符合背景图像信息的图像信息分隔出来形成对多目标的图像信息分割，是利用模型更新对多目标的图像信息中的多目标分割，具体的执行步骤是：

对获取的含有多目标的场景内图像判断匹配性，当获得每一帧的图像时，将这帧图像的每个像素点与该像素已存在的K个高斯分布一一进行匹配，对于不匹配的像素点进行更新，否则不予更新，匹配成功的判断准则是：

对匹配的第i个高斯分布的参数更新公式如下：

μ_i,t＝(1-ρ_i,t)μ_i,t-1+ρ_i,tX_t；

其中，ρ_i,t＝0.005/ω_i,t，ρ_i,t为参数学习速率；

如果没有与X_t互相搭配的高斯分布，那么此时确定的该像素的高斯分布就要以X_t作为平均值分配给最小权重的高斯分布，接下来改高斯分布再次分配较小的权重和较大的方差。同时按照下式更新权重：

ω_i,t＝(1-α)ω_i,t-1+αM_i,t

上式中：

其中：所述不匹配的像素点是多目标分割信息。

5.根据权利要求1所述的所述的目标同一性识别方法，其特征在于，所述聚类匹配使用的是密度聚类算法(Density-Based Spatial Clustering of Applications with Noise，DBSCAN)，应用DBSCAN算法后，可坐标聚为几类，而被划为一类的坐标则被认为是同一目标，从而完成了目标同一性识别。