CN103177247B - 一种融合多视角信息的目标检测方法 - Google Patents

Abstract

本发明公开了一种融合多视角信息的目标检测方法，涉及人体检测领域，本方法包括：获取运动前景来降低误检率，然后在前景范围内进行人体检测，并通过仿射变换将视角间的信息直接关联起来，通过不同视角间检测出来的人体来弥补单视角下人体检测出现的漏检状况，来达到提高检测率的目的。本方法提高了空间位置映射的准确度，降低了目标匹配的难度，避免了存在位置偏差急剧增大的情况，进而能够得到更加准确的映射目标人体，同时利用快匹配信息融合在一定程度上解决了单个视角出现的遮挡问题。

Description

一种融合多视角信息的目标检测方法

技术领域

本发明涉及人体检测领域，特别涉及一种融合多视角信息的目标检测方法。

背景技术

人体的检测一直是很多人机交互体系和智能监控系统中的一个重要和基本的问题。现存的人体检测方向主要是在单视角、多视角和最近比较热的深度摄像头下进行的。单视角下的行人检测方法一直是很多学者关注的焦点，参见参考文献[1]和[2]，这种方式一般是在单一的画面下找到人体区别于背景等其它物体的特征，其优点在于通过单一画面就能获取到人体目标，然而由于单视角信息有限，很多算法会存在漏检和误检。

为了克服单视角信息不足的情况，ZhengzhiZhan和K.R.S.Kodagoda在参考文献[3]中提出多传感器融合的方式来增加能够得到的信息量，这种方式的优点在于通过使用激光扫描的方式来获取感兴趣区域，进而提高识别的准确率。然而，这种方式是在提供外加设备的基础上实现的，很多情况下监控系统还是基于视频的基础上进行的。

在这种情况下，多视角方法开始逐渐被采用，例如：KyungnamKim和LarryS.Davis在参考文献[4]中提出一种多视角关联方法，在不进行3D重建的基础上通过将两个视角的人体位置信息映射到水平面中来得到交叉点获取位置信息。

发明人在实现本发明的过程中，发现现有技术中至少存在以下缺点和不足：

多视角方法是通过视角间的信息间接获取水平面位置信息，因此在映射线角度比较小的情况下存在位置偏差急剧增大的情况，导致空间位置映射不准确，增加了目标匹配的难度。

发明内容

本发明提供了一种融合多视角信息的目标检测方法，本方法提高了空间位置映射的准确度，降低了目标匹配的难度，避免了存在位置偏差急剧增大的情况详见下文描述：

一种融合多视角信息的目标检测方法，所述目标检测方法包括以下步骤：

（1）对每个视角摄像头采集到的视频内容进行背景建模，通过得到的背景建模结果来提取前景区域；

（2）通过人体检测模型对所述前景区域进行检测，获取前景区域内的第一人体区域；

（3）对所述第一人体区域做基于空间信息的多视角关联，获取第二人体区域；

（4）通过基于块的人体检测模型对所述第一人体区域和所述第二人体区域分别进行检测，提取所述第一人体区域和所述第二人体区域各自的身体块信息，即第一身体块信息和第二身体块信息；

（5）对所述第一身体块信息和所述第二身体块信息进行相似度计算，获取最大相似度值，判断所述最大相似度值是否大于设定阈值，如果是，执行步骤（6）；如果否，执行步骤（7）；

（6）所述第一人体区域和所述第二人体区域对应的是同一个人，流程结束；

（7）所述第一人体区域和所述第二人体区域对应的不是同一个人，通过第二人体着地点和所述第一人体区域构建人体参考区域，流程结束。

所述对所述第一人体区域做基于空间信息的多视角关联，获取第二人体区域的步骤包括：

1）在当前视角下获取所述第一人体区域内的第一人体着地点；

2）通过空间仿射变换将所述第一人体着地点映射到当前视角以外的视角下，获取所述第二人体着地点；

3）获取所述第二人体着地点的临域；

4）判断所述临域内是否检测到人体，如果是，将人体所在的区域作为所述第二人体区域，执行步骤（4）；如果否，执行步骤5）；

5）通过所述第二人体着地点和所述第一人体区域构建所述人体参考区域，流程结束。

所述第一人体着地点和第二人体着地点具体为：

以视频图像左上角点为原点，水平方向为横坐标轴，垂直方向为纵坐标轴，且以水平向右和垂直向下为正方向建立图像坐标系，在人体区域中提取人体轮廓，将人体轮廓所有点中纵坐标值最大的点作为人体着地点。

所述临域具体为：以所述第二人体着地点为中心的预设面积的区域。

所述对所述第一身体块信息和所述第二身体块信息进行相似度计算，获取最大相似度值的步骤包括：

1）计算第一人体区域和第二人体区域各自包含的8个块的两两相似度值；

2）通过相似度值构建相似度矩阵C；

3）通过所述相似度矩阵C获取所述第一人体区域和所述第二人体区域之间的最大相似度路径，对所述最大相似度路径进行求解得到所述第一人体区域和所述第二人体区域之间的最大相似度值。

本发明提供的技术方案的有益效果是：本方法提高了空间位置映射的准确度，降低了目标匹配的难度，避免了存在位置偏差急剧增大的情况；利用仿射变换得到的映射信息能够更加准确的映射到人体目标；利用人体块信息匹配在一定程度上解决了遮挡问题。

附图说明

图1为一种融合多视角信息的目标检测方法的流程图；

图2为人体着地点的示意图；

图3a、图3b、图3c和图3d为试验的效果图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

为了提高空间位置映射的准确度，降低目标匹配的难度，避免存在位置偏差急剧增大的情况，本发明实施例提供了一种融合多视角信息的目标检测方法，首先获取运动前景来降低误检率，然后在前景范围内进行人体检测，并通过仿射变换将视角间的信息直接关联起来，通过不同视角间检测出来的人体来弥补单视角下人体检测出现的漏检状况，来达到提高检测率的目的，参见图1，详见下文描述：

101：对每个视角摄像头采集到的视频内容进行背景建模，通过得到的背景建模结果来提取前景区域；

由于HOG（梯度方向直方图）检测是在每帧图像上遍历进行的，多视角情况下同时需要遍历的范围为单视角的N倍（N为视角个数），为此首先提取前景区域。对视频内容进行背景建模的操作、以及通过得到的背景建模结果来提取前景区域的操作为本领域技术人员所公知，本发明实施例采用了参考文献[5]中所提出的背景剪裁算法进行说明，在此不做赘述。

102：通过人体检测模型对前景区域进行检测，获取前景区域内的第一人体区域；

对各个视角，分别进行人体检测模型学习，例如：视角1对应人体检测模型。在各个视角视频帧的前景区域内，分别采用相应人体检测模型进行人体检测，仅仅保留包含人体的前景区域，作为后续多视角关联对象。

人体检测模型的学习思想是：首先，计算图像窗口的一阶梯度来捕获轮廓和纹理特征，并弱化光照的影响；其次，将图像窗口分成若干“单元格”，将各单元格中所有象素的一维梯度直方图[6]累加，并将该方向直方图映射到固定的角度上，使得该特征对图像中人体姿势和外观具有弱敏感性；最后，对各个单元格内梯度直方图进行归一化，待检测窗口中所有单元格的特征描述组成了该窗口图像的特征表示。在获得各个区域方向梯度直方图后，可以采用支持向量机模型[7]进行人体模型学习。

103：对第一人体区域做基于空间信息的多视角关联；

由于不同摄像头的视频信息在空间上是有关联的，在这种情况下，本方法通过空间仿射变换将各个视角检测结果关联起来，该步骤具体为：

1）在当前视角下获取第一人体区域内的第一人体着地点；

以视频图像左上角点为原点，水平方向为横坐标轴，垂直方向为纵坐标轴，且以水平向右和垂直向下为正方向建立图像坐标系，在第一人体区域中提取人体轮廓，将人体轮廓所有点中纵坐标值最大的点作为第一人体着地点。

其中，当纵坐标值最大的点为若干个时，可以将其中任意一个点作为第一人体着地点。人体轮廓提取采用参考文献[8]中的方法，本发明实施例在此不做赘述。

2）通过空间仿射变换将第一人体着地点映射到其他视角（当前视角以外的视角）下，获取相应视角下的第二人体着地点；

其中，第二人体着地点和第一人体着地点的含义一样，本发明实施例在此不做赘述。在图像处理中，空间仿射变换为二维坐标到二维坐标的线性变换，保持二维图形的平直性和平行性，空间仿射变换可以通过一系列的原子变换来实现，包括：平移、缩放、翻转和旋转。空间仿射变换[9]的元素包括一个变换矩阵A和一个向量u。

变换矩阵A的形式如（1）中等号左边所示，等号右边为具体表示形式：

$\left[\begin{array}{ccc}{d}^{00}& d^{01}& d^{02}\\ d^{10}& d^{11}& d^{12}\\ 0& 0& 1\end{array}\right]=\left[\begin{array}{ccc}\mathrm{\μ}\cos \mathrm{\θ}& -\mathrm{\μ}\sin \mathrm{\θ}& x_0\\ \mathrm{\μ}\sin \mathrm{\θ}& u\cos \mathrm{\θ}& y_0\\ 0& 0& 1\end{array}\right]---\left(1\right)$

其中，μ为坐标轴放缩参数，θ为坐标系旋转参数，(x₀,y₀)为坐标原点分别对应的横坐标和纵坐标平移参数，{d⁰⁰,d⁰¹,d⁰²,d¹⁰,d¹¹,d¹²}6个参数为待求变换矩阵。

向量u的形式为[x,y,1]^T（x,y）为待变换坐标；变换后的向量表示为[x',y',1]^T，这样仿射变换就可表示如下：

$\left[\begin{array}{c}{x}^{\′}\\ y^{\′}\\ 1\end{array}\right]=\left[\begin{array}{ccc}{d}^{00}& d^{01}& d^{02}\\ d^{10}& d^{11}& d^{12}\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]=\left[\begin{array}{ccc}{d}^{00}\×x& d^{01}\×y& d^{02}\\ d^{10}\×x& d^{11}\×y& d^{12}\\ 0& 0& 1\end{array}\right]---\left(2\right)$

对于仿射变换矩阵A中的6个参数，可以通过人为给定的3个对应点对带入公式（2）中形成（3）所示的6个方程构成的方程组求解而得，便可得到变换矩阵A：

$\left\{\begin{array}{c}{x}_1^{\′}=d^{00}{x}_1+d^{01}{y}_1+d^{02}\\ x_2^{\′}=d^{00}{x}_2+d^{01}{y}_2+d^{02}\\ x_3^{\′}=d^{00}{x}_3+d^{01}{y}_3+d^{02}\\ y_1^{\′}=d^{10}{x}_1+d^{01}{y}_1+d^{12}\\ y_2^{\′}=d^{10}{x}_2+d^{01}{y}_2+d^{12}\\ y_3^{\′}=d^{10}{x}_3+d^{01}{y}_3+d^{12}\end{array}\right.---\left(3\right)$

其中，(x₁,y₁)与(x₁',y₁')，(x₂,y₂)与(x'₂,y'₂)，(x₃,y₃)与(x'₃,y'₃)为给定的3对点。在实际应用中，可以通过人为标注得到两幅图像的相互对应的3组对应点对（可以在场景内摆放3个相对离散的点状标志物，这样在获取视角图像时就可以标记出这3个点在图像内的坐标），通过（3）方程组计算得到{d⁰⁰,d⁰¹,d⁰²,d¹⁰,d¹¹,d¹²}6个变换矩阵参数后，也就是得到了变换矩阵A，便可以将图像中的任意点映射到对应的图像中。

以上介绍的是两个视角间空间放射变换矩阵A的计算方法，该方法为本领域技术人员所公知。对于多视角情况（例如3视角），只需计算视角1和视角2，视角2和视角3，视角3和视角1之间的三个方式变换矩阵，对于视角1、2、3的选择可以根据实际需要随意选择，在这里不作限制。

3）获取第二人体着地点的临域；

其中，临域为以第二人体着地点为中心的预设面积的区域，预设面积根据实际应用中的需要进行设定，本发明实施例对此不做限制。

4）判断临域内是否检测到人体，如果是，将人体所在的区域作为第二人体区域，执行步骤104；如果否，执行步骤5）；

当临域内存在其他人体着地点（除第一人体着地点和第二人体着地点以外的人体着地点）时，即检测到人体；相反，临域内不存在其他人体着地点时，即没有检测到人体。

5）通过第二人体着地点和第一人体区域构建人体参考区域，流程结束。

其中，人体参考区域为第一人体区域在其他视角下的映射区域（例如：第一人体区域为视角1下的，人体参考区域为视角2下的第一人体区域的映射区域），即通过第二参考区域弥补对应视角下漏检的人体。假设第一人体区域为长方形，将第一人体区域的第一人体着地点映射到其他视角下，作为第二人体着地点(例如：图2中矩形区域的点)，以人体着地点为基准，将第一人体区域的长和宽作为人体参考区域的长和宽，以经过人体着地点的中垂线为矩形的对称中心扩充得到图中矩形区域作为得到的第二人体区域；假设第一人体区域为椭圆形，同样道理，以人体着地点为基准，将第一人体区域的长和宽作为参考椭圆的长半轴和短半轴，以经过着地点的中垂线为椭圆的对称中心扩充得到图中椭圆区域作为得到的第二人体区域。

以一个具体的实例详细描述步骤103的操作过程，例如：视角1与视角2间的空间仿射变换矩阵为A₁₂，利用空间仿射变换矩阵A₁₂计算视角1中第一人体区域中的第一人体着地点在视角2中的第二人体着地点，构建第二人体着地点的临域（第二人体着地点为中心，宽和高分别为W和H的矩形，本实验中设定W=40，H=40），将第二人体着地点作为视角1中第一人体着地点在视角2中的位置；如果视角2中的临域内出现人体，将人体所在的区域作为第二人体区域，采用步骤104判定第一人体区域和第二人体区域是否为同一人体。如果视角2中的临域内没出现人体，通过第二人体着地点和第一人体区域构建人体参考区域，弥补对应视角下漏检的人体。

104：通过基于块的人体检测模型对第一人体区域和第二人体区域分别进行检测，提取第一人体区域和第二人体区域各自的身体块信息，即第一身体块信息和第二身体块信息；

本方法采用了基于块信息的人体检测算法[10]对第一人体区域和第二人体区域进行身体块信息检测。该人体检测算法能够在人体检测基础上提供肢体关键块区域位置（包括：2条腿、2只脚、头、胸、2个胳膊共8个块位置信息），为进一步进行人体区域匹配提供基础。对于每个身体块，采用视觉特征描述，表示成高维特征向量，本方法采用梯度方向直方图[6]特征进行表示，本发明实施例在此不做赘述。

105：对第一身体块信息和第二身体块信息进行相似度计算，获取最大相似度值，判断最大相似度值是否大于设定阈值TH1（参考值0.35），如果是，执行步骤106；如果否，执行步骤107；

其中，该步骤具体为：

1）计算第一人体区域和第二人体区域各自包含的8个块的两两相似度

即计算出64个相似度值，可以采用灰度直方图的交进行计算：

$d(H_{A_i},H_{B_i})=\underset{k=1}{\overset{N}{\mathrm{\Σ}}}\min (H_{A_i}\left(k\right),H_{B_i}\left(k\right))---\left(4\right)$

其中和分别为A_i和B_i的灰度直方图，i=1,2,…,8，A_i和B_i表示第一人体区域和第二人体区域各自的8个块，(k)和(k)分别为A_i和B_i直方图的第k个bin（组距）的特征统计，N为直方图bin的数目，参考值为10；min表示取(k)和(k)的最小值。

2）通过相似度值构建相似度矩阵C；

例如：A₁和B_i的8个块分别利用步骤1）获取相似度值（按照i值的顺序依次计算），将8个相似度值作为相似度矩阵C的第一行，将A₂和B_i的8个块的相似度值作为相似度矩阵C的第二行，依此类推，这样便会得到8×8的相似度矩阵C。

3）通过相似度矩阵C获取第一人体区域和第二人体区域之间的最大相似度路径，对最大相似度路径进行求解得到第一人体区域和第二人体区域之间的最大相似度值；

根据线性规划基本原理[11]第一人体区域和第二人体区域的相似度匹配问题可以归结为求取最优路径问题，也就是从相似度矩阵C中找到使第一人体区域和第二人体区域具有最大相似度的路径。该最优路径求解可以参考线性规划求解算法[11]进行求解，经求解得到第一人体区域和第二人体区域的最大相似度。

4）判断最大相似度值是否大于设定阈值TH1（参考值0.35），如果是，执行步骤106；如果否，执行步骤107。

106：第一人体区域和第二人体区域对应的是同一个人，流程结束；

107：第一人体区域和第二人体区域对应的不是同一个人，通过第二人体着地点和第一人体区域构建人体参考区域，流程结束。

下面通过具体的实验来验证本发明实施例提供的一种融合多视角信息的目标检测方法的可行性，详见下文描述：

图3a、图3b、图3c和图3d为检测和融合最后得到的效果图，本实验采用4个摄像头，分别安置在室内场景天花板的4个角，这样能够获取尽可能大的重叠区域，图中实线为每个视角下人体检测得到的结果，虚线为漏检的人体通过本方法得到的映射融合后的结果，4个视角下相同灰度值矩形代表的区域为同一人体，从最终结果中看出通过本方法能够充分利用多视角的丰富信息，在很大程度上弥补单独检测出现的不足，同时，利用本融合方法能够解决图3c、3d中出现的遮挡问题，体现出本方法解决遮挡问题的优越性。

参考文献

[1]K.O.Arras,O.MartnezMozos,andW.Burgard,“Usingboostedfeaturesforthedetectionofpeoplein2drangedata",inProc.oftheInt.Conf.onRobotics&Automation,2007.

[2]N.Dalal,B.Triggs,C.Schmid,”Humandetectionusingorientedhistogramsofflowandappearance,in:EuropeanConferenceonComputerVision,Graz,Austria,May7–13,2006

[3]ZhengzhiZhang,KodagodaK.R.S.“,Multi-sensorapproachforpeopledetection”,IntelligentSensors,SensorNetworksandInformationProcessingConference,2005.Proceedingsofthe2005InternationalConferenceonDigitalObjectIdentifier:Page(s):355–360,2005

[4]KyungnamKimandLarryS.Davis,”Multi-cameraTrackingandSegmentationofOccludedPeopleonGroundPlaneUsingSearch-GuidedParticleFiltering”,Page(s):98-109,2006

[5]Kasaei,S.MohsenAmiri,S.Bassirnia,A.Mansouri,P,”InformationandCommunicationTechnologies”,2006.ICTTA'06.2^nd2006,Page(s):1790–1793

[6]N.DalalandB.Triggs,“Histogramsoforientedgradientsforhumandetection,"inProc.oftheIEEEConf.onComp.Vis.andPat.Rec.(CVPR),2005.

[7]Corinna.Cortes,Vladimir.Vapnik:Support-VectorNetworks,MachineLearning,20,273-297,1995

[8]Chan,TonyF.,Vese.LuminitaA.“Activecontourswithoutedges”ImageProcessing,Page(s):266–2772001

[9]S.Ghali,“IntroductiontoGeometricComputing”,SpringerVerlag,London,2008

[10]P.Felzenszwalb,R.Girshick,D.McAllesterandD.Ramanan,“Objectdetectionwithdiscriminativelytrainedpartbasedmodels”,InPAMI,2010

[11]LeonidNisonVaserstein:“IntroductiontoLinearProgramming”,PearsonEducation(US),2002

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种融合多视角信息的目标检测方法，其特征在于，所述目标检测方法包括以下步骤：

(1)对每个视角摄像头采集到的视频内容进行背景建模，通过得到的背景建模结果来提取前景区域；

(2)通过人体检测模型对所述前景区域进行检测，获取前景区域内的第一人体区域；

(3)对所述第一人体区域做基于空间信息的多视角关联，获取第二人体区域；

(4)通过基于块的人体检测模型对所述第一人体区域和所述第二人体区域分别进行检测，提取所述第一人体区域和所述第二人体区域各自的身体块信息，即第一身体块信息和第二身体块信息；

(5)对所述第一身体块信息和所述第二身体块信息进行相似度计算，获取最大相似度值，判断所述最大相似度值是否大于设定阈值，如果是，执行步骤(6)；如果否，执行步骤(7)；

(6)所述第一人体区域和所述第二人体区域对应的是同一个人，流程结束；

(7)所述第一人体区域和所述第二人体区域对应的不是同一个人，通过第二人体着地点和所述第一人体区域构建人体参考区域，流程结束；

所述对所述第一人体区域做基于空间信息的多视角关联，获取第二人体区域的步骤包括：

1)在当前视角下获取所述第一人体区域内的第一人体着地点；

2)通过空间仿射变换将所述第一人体着地点映射到当前视角以外的视角下，获取所述第二人体着地点；

3)获取所述第二人体着地点的临域；

4)判断所述临域内是否检测到人体，如果是，将人体所在的区域作为所述第二人体区域，执行步骤(4)；如果否，执行步骤5)；

5)通过所述第二人体着地点和所述第一人体区域构建所述人体参考区域，流程结束。

2.根据权利要求1所述的一种融合多视角信息的目标检测方法，其特征在于，所述第一人体着地点和第二人体着地点具体为：

以视频图像左上角点为原点，水平方向为横坐标轴，垂直方向为纵坐标轴，且以水平向右和垂直向下为正方向建立图像坐标系，在人体区域中提取人体轮廓，将人体轮廓所有点中纵坐标值最大的点作为人体着地点。

3.根据权利要求1所述的一种融合多视角信息的目标检测方法，其特征在于，所述临域具体为：以所述第二人体着地点为中心的预设面积的区域。

4.根据权利要求1所述的一种融合多视角信息的目标检测方法，其特征在于，所述对所述第一身体块信息和所述第二身体块信息进行相似度计算，获取最大相似度值的步骤包括：

1)计算第一人体区域和第二人体区域各自包含的8个块的两两相似度值；

$d(H_{A_i},H_{B_i})=\underset{k=1}{\overset{N}{\Σ}}\min \left(H_{A_i}\right(k),H_{B_i}(k\left)\right)$

其中，和分别为A_i和B_i的灰度直方图，i＝1,2,…,8，A_i和B_i表示第一人体区域和第二人体区域各自的8个块，和分别为A_i和B_i直方图的第k个组距的特征统计，N为直方图的数目；min表示取和的最小值；

2)通过相似度值构建相似度矩阵C；

3)通过所述相似度矩阵C获取所述第一人体区域和所述第二人体区域之间的最大相似度路径，对所述最大相似度路径进行求解得到所述第一人体区域和所述第二人体区域之间的最大相似度值。