CN103281513A

CN103281513A - 一种无重叠域监控系统中行人识别方法

Info

Publication number: CN103281513A
Application number: CN2013101782016A
Authority: CN
Inventors: 范彩霞; 朱虹; 蔺广逢; 陈亚军
Original assignee: Xian University of Technology
Current assignee: Xian University of Technology
Priority date: 2013-05-14
Filing date: 2013-05-14
Publication date: 2013-09-04
Anticipated expiration: 2033-05-14
Also published as: CN103281513B

Abstract

本发明公开了一种无重叠域监控系统中行人识别方法，首先进行多摄像机间的颜色校正，校正后的图像为IMⁱ,i＝(R,G,B)；再将步骤1中校正后的图像IMⁱ,i＝(R,G,B)表示为本征反射图像RIⁱ,i＝(R,G,B)和照射图像SIⁱ,i＝(R,G,B)的乘积，提取目标图像的本征反射图像RIⁱ,i＝(R,G,B)；以本征反射图像RIⁱ,i＝(R,G,B)来提取空间直方图；最后进行目标识别；计算所有监控系统中的摄像机与摄像机1所采集的图像的空间直方图的相似度，当所得的最大相似度大于或等于设定阈值Th时将这两幅图像认为是同一目标，否则表示目标已走出监控视场。本发明的有益之处是能达到不同摄像机、不同光源和不同环境下同一个目标的正确识别。

Description

一种无重叠域监控系统中行人识别方法

技术领域

本发明属于视频监控技术领域，涉及一种无重叠域监控系统中行人识别方法。

背景技术

在无重叠视域的视频监控系统中，针对基于行人目标的颜色特征建立目标外观模型进行目标识别时，由于光照环境和所使用摄像机的不同导致同一目标间颜色存在差异的问题，需要提出一种基于摄像机间颜色校正和提取目标反射图像，利用空间直方图建立目标外观模型，并通过空间直方图匹配进行行人目标识别的方法。为后续目标的持续跟踪提供有效依据。

由于地理环境和成本的限制，近年来，无重叠视域的摄像机联合监控在监控系统中的应用越来越多。不同时刻、不同摄像机中同一目标的正确识别是多摄像机间目标持续跟踪中需要解决的关键问题之一。由于缺乏可参考的路径信息和时间的限制，行人目标识别只能通过建立目标外观模型并通过一定的相似度度量方法得到。由于颜色特征对时空不连续性具有很好的适应性，是常采用的特征。但颜色特征容易受到光源、噪声、阴影、光学传感器的灵敏性等影响，导致同一目标的颜色在不同摄像机视场中存在很大的差异。为此，需要一种行人目标本征颜色提取的方法，既能消除不同摄像机对颜色的影响，也能消除光源和环境对目标颜色的影响。目前，基于颜色的目标识别方法并没有从本质上考虑目标颜色变化的原因，并采取有针对性的方法。

发明内容

本发明一种无重叠域监控系统中行人识别方法的目的在提供一种无重叠域监控系统中行人识别方法，解决了现有的同一目标的颜色在不同摄像机视场不同环境中存在很大的差异，导致不能正确判断目标的问题。

本发明所采用的技术方案是一种无重叠域监控系统中行人识别方法由以下步骤组成：

步骤1：进行多摄像机间的颜色校正：

对于监控系统的中的多个摄像机，首先用每一个待安装的摄像机在同一光照环境下拍摄一次标准色靶，选定任意一个摄像机作为颜色的基准，此摄像机标记为摄像机1，其他摄像机的颜色向其进行转换得到校正图像，校正后的图像为IMⁱ,i＝(R,G,B)；

步骤2：将步骤1中校正后的图像IMⁱ,i＝(R,G,B)表示为本征反射图像RIⁱ,i＝(R,G,B)和照射图像SIⁱ,i＝(R,G,B)的乘积，提取目标图像的本征反射图像RIⁱ,i＝(R,G,B)；

步骤3：以步骤2得到的本征反射图像RIⁱ,i＝(R,G,B)来提取空间直方图：

将图像RIⁱ,i＝(R,G,B)从RGB颜色空间转换到HSV颜色空间，得到与原图像大小一致的M行N列的三个矩阵H、S、V，对H、S、V进行量化，得到量化后的矩阵

设矩阵

的空间直方图由m个三维立体块组成，则第n个三维立体块可以表示为s_n＝<h_n,μ_n,Σ_n>,n＝1,2,……m，其中h_n为具有同一颜色值的所有像素的个数占图像总像素个数的比例，即图像直方图，μ_n为具有同一颜色值的所有像素的坐标均值，Σ_n为具有同一颜色值的所有像素的坐标协方差矩阵，公式为：

h_{n} = \frac{1}{Num} Σ_{t = 1}^{Num} δ_{tn},

μ_{n} = \frac{1}{Σ_{t = 1}^{Num} δ_{tn}} Σ_{t = 1}^{Num} X_{1} δ_{tn},

Σ_{n} = \frac{1}{(Σ_{t = 1}^{Num} δ_{tn}) - 1} Σ_{t = 1}^{Num} (X_{t} - μ_{n}) {(X_{t} - μ_{n})}^{T} δ_{tn},

式中，Num为图像的总像素数，X_t＝[x_t,y_t]^T表示对图像进行逐行扫描的第t像素的二维空间坐标；δ_tn是一个δ函数，表示当第t像素在第n个三维立体块内时，其值为1，否则为0；

步骤4：进行目标识别：

计算空间直方图的相似度，监控系统中除了摄像机1外的任意一台摄像机所采集的图像与摄像机1所采集的图像分别带入步骤3中得到的公式

s_n＝<h_n,μ_n,Σ_n>,n＝1,2,……m中求解得到空间直方图s.与s.'，两个空间直方图s.与s.'的相似度计算公式为：

ρ (s ., {s .}^{'}) = Σ_{n = 1}^{m} \frac{2 \sqrt{{h .}_{n} {h .}_{n}^{'}} | {Σ .}_{n} {Σ .}_{n}^{'} |^{\frac{1}{4}}}{| {Σ .}_{n} + {Σ .}_{n}^{'} |} e^{- \frac{1}{2} {({μ .}_{n} - {μ .}_{n}^{'})}^{T} {(2 ({Σ .}_{n} + {Σ .}_{n}^{'}))}^{- 1} ({μ .}_{n} - {μ .}_{n}^{'})}

，|·|表示矩阵的行列式。依次计算所有监控系统中的摄像机与摄像机1所采集的图像的空间直方图的相似度，当所得的相似度大于或等于设定阈值Th时将这两幅图像认为是同一目标，否则表示目标已走出监控视场。

本发明的特点还在于，

标准色靶为爱色丽公司用于相机校准的24色色靶。

步骤1中将校正后的图像表示为IMⁱ,i＝(R,G,B)的算法过程为：以步骤1中选定的做为颜色基准的摄像机为摄像机1，其余任一台摄像机为摄像机2，摄像机2与摄像机1之间的颜色映射关系采用七次多项式建立：

R_1,k＝a_R0+a_R1R_2,k+a_R2G_2,k+a_R3B_2,k+a_R4R_2,kG_2,k+a_R5G_2,kB_2,k+a_R6B_2,kR_2,k

k＝1,2,……,24，

G_1,k＝a_G0+a_G1R_2,k+a_G2G_2,k+a_G3B_2,k+a_G4R_2,kG_2,k+a_G5G_2,kB_2,k+a_G6B_2,kR_2,k

k＝1,2,……,24，

B_1,k＝a_B0+a_B1R_2,k+a_B2G_2,k+a_B3B_2,k+a_B4R_2,kG_2,k+a_B5G_2,kB_2,k+a_B6B_2,kR_2,k

k＝1,2,……,24，

用矩阵P_R＝[R_1,1 R_1,2 R_1,3 R_1,4 …… R_1,24]表示摄像机1采集的24色标准色靶中各个色块的红R色值；

用矩阵P_G＝[G_1,1 G_1,2 G_1,3 G_1,4 …… G_1,24]表示摄像机1采集的24色标准色靶中各个色块的绿G色值；

用矩阵P_B＝[B_1,1 B_1,2 B_1,3 B_1,4 …… B_1,24]表示摄像机1采集的24色标准色靶中各个色块的蓝B色值；

用矩阵

V = {[\begin{matrix} 1 & 1 & 1 & 1 & \cdot \cdot \cdot \cdot \cdot \cdot & 1 \\ R_{2,1} & R_{2,2} & R_{2,3} & R_{2,4} & \cdot \cdot \cdot \cdot \cdot \cdot & R_{2,24} \\ G_{2,1} & G_{2,2} & G_{2,3} & G_{2,4} & \cdot \cdot \cdot \cdot \cdot \cdot & G_{2,24} \\ B_{2,1} & B_{2,2} & B_{2,3} & B_{2,4} & \cdot \cdot \cdot \cdot \cdot \cdot & B_{2,24} \\ R_{2,1} G_{2,1} & R_{2,2} G_{2,2} & R_{2,3} G_{2,3} & R_{2,4} G_{2,4} & \cdot \cdot \cdot \cdot \cdot \cdot & R_{2,24} G_{2,24} \\ G_{2,1} B_{2,1} & G_{2,2} B_{2,2} & G_{2,3} B_{2,3} & G_{2,4} B_{2,4} & \cdot \cdot \cdot \cdot \cdot \cdot & G_{2,24} B_{2,24} \\ B_{2,1} R_{2,1} & B_{2,2} R_{2,2} & B_{2,3} R_{2,3} & B_{2,4} R_{2,4} & \cdot \cdot \cdot \cdot \cdot \cdot & B_{2,24} R_{2,24} \end{matrix}]}_{7 \times 24}

表示摄像机2采集的24色标准色靶中各个色块的红R、绿G、蓝B颜色值以及它们之间的乘积，用矩阵

A_R＝[a_R0，a_R1，a_R2，a_R3，a_R4，a_R5，a_R6，]，

A_G＝[a_G0，a_G1，a_G2，a_G3，a_G4，a_G5，a_G6，],

A_B＝[a_B0，a_B1，a_B2，a_B3，a_B4，a_B5，a_B6，]

表示需要求解的系数；

则系数矩阵A_R、A_G、A_B分别由下式求得：

A_R＝(P_RV^T)(VV^T)^-1，

A_G＝(P_GV^T)(VV^T)^-1，

A_B＝(P_BV^T)(VV^T)^-1，

设摄像机2采集的彩色图像为Iⁱ,i＝(R,G,B)，设图像Iⁱ,i＝(R,G,B)像素为M行N列，即共有M×N个像素，设校正后的图像的R、G、B通道的颜色值分别用

IMC^R＝(R₁ R₂ R₃ R₄ …… R_M×N)，

IMC^G＝(G₁ G₂ G₃ G₄ …… G_M×N)，

IMC^B＝(B₁ B₂ B₃ B₄ …… B_M×N)

表示，用矩阵，

VI = {[\begin{matrix} 1 & 1 & 1 & 1 & \cdot \cdot \cdot \cdot \cdot \cdot & 1 \\ I_{1}^{R} & I_{2}^{R} & I_{3}^{R} & I_{4}^{r} & \cdot \cdot \cdot \cdot \cdot \cdot & I_{M \times N}^{R} \\ I_{1}^{G} & I_{2}^{G} & I_{3}^{G} & I_{4}^{G} & \cdot \cdot \cdot \cdot \cdot \cdot & I_{M \times N}^{G} \\ I_{1}^{B} & I_{2}^{B} & I_{3}^{B} & I_{4}^{B} & \cdot \cdot \cdot \cdot \cdot \cdot & I_{M \times N}^{B} \\ I_{1}^{R} I_{1}^{G} & I_{2}^{R} I_{2}^{G} & I_{3}^{R} I_{3}^{G} & I_{4}^{R} I_{4}^{G} & \cdot \cdot \cdot \cdot \cdot \cdot & I_{M \times N}^{R} I_{M \times N}^{G} \\ I_{1}^{B} I_{1}^{G} & I_{2}^{B} I_{2}^{G} & I_{3}^{B} I_{3}^{G} & I_{4}^{B} I_{4}^{G} & \cdot \cdot \cdot \cdot \cdot \cdot & I_{M \times N}^{B} I_{M \times N}^{G} \\ I_{1}^{R} I_{1}^{B} & I_{2}^{R} I_{2}^{B} & I_{3}^{R} I_{3}^{B} & I_{4}^{R} I_{4}^{B} & \cdot \cdot \cdot \cdot \cdot \cdot & I_{M \times N}^{R} I_{M \times N}^{B} \end{matrix}]}_{7 \times (M \times N)},

表示对彩色图像Iⁱ,i＝(R,G,B)按行进行扫描时各像素的红R、绿G、蓝B颜色值以及它们之间的乘积，校正后的图像的R、G、B通道的颜色值IMC^R、IMC^G、IMC^B用下式分别求得：

IMC^R＝A_RVI，

IMC^G＝A_GVI，

IMC^B＝A_BVI，

设校正后的图像为IMⁱ,i＝(R,G,B)，其表示如下：

IM = {[\begin{matrix} (R_{1}, G_{1}, B_{1}) & (R_{2}, G_{2}, B_{2}) & (R_{3}, G_{3}, B_{3}) & \cdot \cdot \cdot \cdot \cdot \cdot & (R_{N}, G_{N}, B_{N}) \\ (R_{N + 1}, G_{N + 1,} B_{N + 1}) & (R_{N + 2}, G_{N + 2}, B_{N + 2}) & (R_{N + 3}, G_{N + 3}, B_{N + 3}) & \cdot \cdot \cdot \cdot \cdot \cdot & (R_{2 N}, G_{2 N}, B_{2 N}) \\ (R_{2 N + 1}, G_{2 N + 1}, B_{2 N + 1}) & (R_{2 N + 2}, G_{2 N + 2}, B_{2 N + 2}) & (R_{2 N + 3}, G_{2 N + 3}, B_{2 N + 3}) & \cdot \cdot \cdot \cdot \cdot \cdot & (R_{3 N}, G_{3 N}, B_{3 N}) \\ \cdot & \cdot & \cdot & \cdot & \cdot \\ \cdot & \cdot & \cdot & \cdot & \cdot \\ \cdot & \cdot & \cdot & \cdot & \cdot \\ \cdot & \cdot & \cdot & \cdot & \cdot \\ \cdot & \cdot & \cdot & \cdot & \cdot \\ \cdot & \cdot & \cdot & \cdot & \cdot \\ (R_{(M - N) + 1}, G_{(M - N) + 1}, B_{(M - N) + 1}) & (R_{(M - N) + 2}, G_{(M - N) + 2}, B_{(M - N) + 2}) & (R_{(M - N) + 3}, G_{(M - N) + 3} B_{(M - N) + 3}) & \cdot \cdot \cdot \cdot \cdot \cdot & (R_{MN}, G_{MN}, B_{MN}) \end{matrix}]}_{M \times N}

最后，图像IMⁱ,i＝(R,G,B)由IMC^R、IMC^G、IMC^B合并得到。

步骤2提取本征反射图像的过程为：

获取图像对数域梯度：

对IMⁱ,i＝(R,G,B)取对数

i＝(R,G,B)，得到对数域图像

将对数域图像

i＝(R,G,B)按照下式计算得到水平和垂直方向的梯度图像

i＝(R,G,B)，

{IM}_{Lx}^{i} (x, y) = | {IM}_{L}^{i} (x, y) - {IM}_{L}^{i} (x, y + 1) |,

i＝(R,G,B)

{IM}_{Ly}^{i} (x, y) = | {IM}_{L}^{i} (x, y) - {IM}_{L}^{i} (x + 1, y) |,

i＝(R,G,B)

其中，（x，y）表示图像中各个像素的坐标，x表示行坐标，y表示列坐标；

对梯度进行分类：

将图像IMⁱ,i＝(R,G,B)按照下式转换到归一化颜色c₁c₂空间和二维对立颜色o₁o₂空间得到c₁、c₂、o₁、o₂各分量，

\{\begin{matrix} c_{1} = \arctan (\frac{{IM}^{R}}{{IM}^{B}}) \\ c_{2} = \arctan (\frac{{IM}^{G}}{{IM}^{B}}) \end{matrix}

\{\begin{matrix} o_{1} = \frac{({IM}^{R} - {IM}^{G})}{2} \\ o_{2} = \frac{{IM}^{B}}{2} - \frac{({IM}^{R} + {IM}^{G})}{4} \end{matrix},

采用多尺度的形态学梯度算子对c₁c₂、o₁o₂的各个分量c₁、c₂、o₁、o₂进行处理：

G = \frac{1}{2} Σ_{j = 1}^{n} [((f &CirclePlus; B_{j}) - (fΘ B_{j})) Θ B_{j - 1}]

式中，f表示c₁c₂、o₁o₂的各个分量c₁、c₂、o₁、o₂，

为膨胀操作，Θ为腐蚀操作，B_j为一组正方形的结构元素，B_j的大小为(2j-1)×(2j-1)像素，G表示得到的c₁、c₂、o₁、o₂各个分量对应的梯度，其中c₁对应的梯度为

c₂对应的梯度为

o₁对应的梯度为o₂对应的梯度为

计算

和

中绝对值最大的值

\{\begin{matrix} M_{cc} =max (| {&dtri; c}_{1} |, | {&dtri; c}_{2} |) \\ M_{oo} = \max (| {&dtri; o}_{1} |, | {&dtri; o}_{2} |) \end{matrix},

则c₁c₂、o₁o₂颜色空间的加强边缘W为：

W＝M_cc·M_oo，

可以用下式对加强边缘W进行分类，得到M_c，

其中，阈值T_c＝A+D，A为加强边缘W的均值，D为加强边缘W的方差，A与D由下式计算得到：

A = \frac{1}{M \times N} Σ_{x = 1}^{M} Σ_{y = 1}^{N} W (x, y),

D = \sqrt{\frac{1}{M \times N} Σ_{x = 1}^{M} Σ_{y = 1}^{N} {(W (x, y) - A)}^{2}},

加强边缘W也为M行N列，其共有M×N个像素，（x，y）表示加强边缘W中各个值的坐标，x表示行坐标，y表示列坐标；

根据M_c对得到的图像对数域梯度

i＝(R,G,B)进行分类，将其分类为反射梯度

i＝(R,G,B)和照射梯度

i＝(R,G,B)；

恢复目标本征反射图像：

得到反射梯度

i＝(R,G,B)后，对数域的本征反射图像

i＝(R,G,B)由下式得到：

{RI}_{L}^{i} = g * [(f_{x}^{r} * {RI}_{Lx}^{i}) + (f_{y}^{r} * {RI}_{Ly}^{i})],

i＝(R,G,B)，

其中，*表示卷积，

g为满足下式的解

g * [(f_{x}^{r} * f_{x}) + (f_{y}^{r} * f_{y})] = δ,

其中，f_x＝[0,1,-1]；f_y＝[0,1,-1]^T，T表示转置，δ为冲激函数。对于g可以通过快速傅里叶变换FFT求得。之后，通过指数变换得到本征反射图像：

{RI}^{i} = \exp ({RI}_{L}^{i}),

i＝(R,G,B)。

本发明的有益效果是提出了一种基于行人目标本征颜色的目标识别方法，既能消除摄像机自身的光谱响应等参数对目标颜色的影响，又能消除光源和环境对颜色的影响，同时考虑行人目标颜色的空间分布，采用目标的空间直方图建立目标外观模型，并进行相似度匹配，尽可能地达到不同摄像机、不同光源和不同环境下同一目标的正确识别。

附图说明

图1是本发明一种无重叠域监控系统中行人识别方法的步骤图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明提供一种无重叠域监控系统中行人识别方法，如图1所示，按照以下步骤实施：

步骤1：进行多摄像机间的颜色校正：

建立多摄像机间的颜色映射关系，对于监控系统的中的多个摄像机，首先用每个待安装的摄像机在同一光照环境下拍摄一次爱色丽公司用于相机校准的24色标准色靶，选定某一个摄像机作为颜色的基准，其他摄像机的颜色向其进行转换，以两个摄像机的颜色校正过程来说明，多个摄像机的情况采用相同的方法。

在Photoshop软件中分别得到两个摄像机采集的24色标准色靶的各个色块的红R、绿G、蓝B颜色值，选定摄像机1为颜色的基准，摄像机1采集的色靶各个色块的颜色值用(R_1,k,G_1,k,B_1,k),k＝1,2……24，下标1表示摄像机1采集的色靶各个色块的颜色值，下标k表示24个色块的标号，摄像机2采集的色靶各个色块的颜色值用(R_2,k,G_2,k,B_2,k),k＝1,2……24表示。在分别得到两个摄像机下的24色色靶的各个色块的颜色值之后，以摄像机1的颜色为基准，摄像机2的颜色向其进行校正，摄像机1与摄像机2之间的颜色映射关系可以采用七次多项式建立：

k＝1,2,……,24，

式中，（a_R0、a_R1、……a_R6）、（a_G0、a_G1、……a_G6）、（a_B0、a_B1、……a_B6）为建立颜色映射关系时需要求解的多项式系数。用矩阵

P_R＝[R_1,1 R_1,2 R_1,3 R_1,4 …… R_1,24]

表示摄像机1采集的24色标准色靶中各个色块的红R色值；

用矩阵P_B＝[B_1,1 B_1,2 B_1,3 B_1,4 …… B_1,24]表示摄像机1采集的24色标准色靶中各个色块的蓝B色值；用矩阵

V = {[\begin{matrix} 1 & 1 & 1 & 1 & \cdot \cdot \cdot \cdot \cdot \cdot & 1 \\ R_{2,1} & R_{2,2} & R_{2,3} & R_{2,4} & \cdot \cdot \cdot \cdot \cdot \cdot & R_{2,24} \\ G_{2,1} & G_{2,2} & G_{2,3} & G_{2,4} & \cdot \cdot \cdot \cdot \cdot \cdot & G_{2,24} \\ B_{2,1} & B_{2,2} & B_{2,3} & B_{2,4} & \cdot \cdot \cdot \cdot \cdot \cdot & B_{2,24} \\ R_{2,1} G_{2,1} & R_{2,2} G_{2,2} & R_{2,3} G_{2,3} & R_{2,4} G_{2,4} & \cdot \cdot \cdot \cdot \cdot \cdot & R_{2,24} G_{2,24} \\ G_{2,1} B_{2,1} & G_{2,2} B_{2,2} & G_{2,3} B_{2,3} & G_{2,4} B_{2,4} & \cdot \cdot \cdot \cdot \cdot \cdot & G_{2,24} B_{2,24} \\ B_{2,1} R_{2,1} & B_{2,2} R_{2,2} & B_{2,3} R_{2,3} & B_{2,4} R_{2,4} & \cdot \cdot \cdot \cdot \cdot \cdot & B_{2,24} R_{2,24} \end{matrix}]}_{7 \times 24}

A_R＝[a_R0，a_R1，a_R2，a_R3，a_R4，a_R5，a_R6，]，

A_G＝[a_G0，a_G1，a_G2，a_G3，a_G4，a_G5，a_G6，],

A_B＝[a_B0，a_B1，a_B2，a_B3，a_B4，a_B5，a_B6，]表示需要求解的系数。

则系数矩阵A_R、A_G、A_B可分别由下式求得：

A_R＝(P_RV^T)(VV^T)^-1，

A_G＝(P_GV^T)(VV^T)^-1，

A_B＝(P_BV^T)(VV^T)^-1，

其中，上标T表示矩阵的转置，上标-1表示矩阵的逆。

解得系数A_R、A_G、A_B后就建立起了摄像机1和摄像机2之间的颜色映射关系，可以利用该系数对摄像机2采集的其他图像进行颜色校正。

根据建立的颜色映射关系进行颜色校正：

以摄像机2采集的某一帧彩色图像为例说明颜色校正的过程，其他图像采用相同的方法。设摄像机2采集的彩色图像为Iⁱ,i＝(R,G,B)，i表示彩色图像各像素的R、G、B通道的颜色值，设图像Iⁱ,i＝(R,G,B)大小为M行N列，共有M×N个像素。建立的颜色映射关系以摄像机1的颜色为基准对摄像机2采集的彩色图像Iⁱ,i＝(R,G,B)进行颜色校正，设校正后的图像的R、G、B通道的颜色值分别用

IMC^R＝(R₁ R₂ R₃ R₄ …… R_M×N)，

IMC^G＝(G₁ G₂ G₃ G₄ …… G_M×N)，

IMC^B＝(B₁ B₂ B₃ B₄ …… B_M×N)

表示，用矩阵

VI = {[\begin{matrix} 1 & 1 & 1 & 1 & \cdot \cdot \cdot \cdot \cdot \cdot & 1 \\ I_{1}^{R} & I_{2}^{R} & I_{3}^{R} & I_{4}^{r} & \cdot \cdot \cdot \cdot \cdot \cdot & I_{M \times N}^{R} \\ I_{1}^{G} & I_{2}^{G} & I_{3}^{G} & I_{4}^{G} & \cdot \cdot \cdot \cdot \cdot \cdot & I_{M \times N}^{G} \\ I_{1}^{B} & I_{2}^{B} & I_{3}^{B} & I_{4}^{B} & \cdot \cdot \cdot \cdot \cdot \cdot & I_{M \times N}^{B} \\ I_{1}^{R} I_{1}^{G} & I_{2}^{R} I_{2}^{G} & I_{3}^{R} I_{3}^{G} & I_{4}^{R} I_{4}^{G} & \cdot \cdot \cdot \cdot \cdot \cdot & I_{M \times N}^{R} I_{M \times N}^{G} \\ I_{1}^{B} I_{1}^{G} & I_{2}^{B} I_{2}^{G} & I_{3}^{B} I_{3}^{G} & I_{4}^{B} I_{4}^{G} & \cdot \cdot \cdot \cdot \cdot \cdot & I_{M \times N}^{B} I_{M \times N}^{G} \\ I_{1}^{R} I_{1}^{B} & I_{2}^{R} I_{2}^{B} & I_{3}^{R} I_{3}^{B} & I_{4}^{R} I_{4}^{B} & \cdot \cdot \cdot \cdot \cdot \cdot & I_{M \times N}^{R} I_{M \times N}^{B} \end{matrix}]}_{7 \times (M \times N)},

表示对彩色图像Iⁱ,i＝(R,G,B)按行进行扫描时各像素的红R、绿G、蓝B颜色值以及它们之间的乘积，上标R、G、B表示各像素的红R、绿G、蓝B颜色值，下标1,2，……M×N表示按行扫描时像素的标号。那么校正后的图像的R、G、B通道的颜色值IMC^R、IMC^G、IMC^B可用下式分别求得：

IMC^R＝A_RVI，

IMC^G＝A_GVI，

IMC^B＝A_BVI，

设校正后的图像为IMⁱ,i＝(R,G,B)，其表示如下：

IM = {[\begin{matrix} (R_{1}, G_{1}, B_{1}) & (R_{2}, G_{2}, B_{2}) & (R_{3}, G_{3}, B_{3}) & \cdot \cdot \cdot \cdot \cdot \cdot & (R_{N}, G_{N}, B_{N}) \\ (R_{N + 1}, G_{N + 1,} B_{N + 1}) & (R_{N + 2}, G_{N + 2}, B_{N + 2}) & (R_{N + 3}, G_{N + 3}, B_{N + 3}) & \cdot \cdot \cdot \cdot \cdot \cdot & (R_{2 N}, G_{2 N}, B_{2 N}) \\ (R_{2 N + 1}, G_{2 N + 1}, B_{2 N + 1}) & (R_{2 N + 2}, G_{2 N + 2}, B_{2 N + 2}) & (R_{2 N + 3}, G_{2 N + 3}, B_{2 N + 3}) & \cdot \cdot \cdot \cdot \cdot \cdot & (R_{3 N}, G_{3 N}, B_{3 N}) \\ \cdot & \cdot & \cdot & \cdot & \cdot \\ \cdot & \cdot & \cdot & \cdot & \cdot \\ \cdot & \cdot & \cdot & \cdot & \cdot \\ \cdot & \cdot & \cdot & \cdot & \cdot \\ \cdot & \cdot & \cdot & \cdot & \cdot \\ \cdot & \cdot & \cdot & \cdot & \cdot \\ (R_{(M - N) + 1}, G_{(M - N) + 1}, B_{(M - N) + 1}) & (R_{(M - N) + 2}, G_{(M - N) + 2}, B_{(M - N) + 2}) & (R_{(M - N) + 3}, G_{(M - N) + 3} B_{(M - N) + 3}) & \cdot \cdot \cdot \cdot \cdot \cdot & (R_{MN}, G_{MN}, B_{MN}) \end{matrix}]}_{M \times N}

图像IMⁱ,i＝(R,G,B)由IMC^R、IMC^G、IMC^B合并得到，可对IMC^R、IMC^G、IMC^B中各个元素：

(R₁ R₂ R₃ R₄ …… R_M×N)、(G₁ G₂ G₃ G₄…… G_M×N)、(B₁ B₂ B₃ B₄ …… B_M×N)进行扫描得到，当R、G、B的下标为N的倍数时，N为上述MxN中的N，后续的元素在图像IMⁱ,i＝(R,G,B)中进行换行。图像IMⁱ,i＝(R,G,B)大小也为M行N列，其共有M×N个像素，每个像素由R、G、B三个值组成。

步骤2：提取本征反射图像：

以步骤1校正后的图像IMⁱ,i＝(R,G,B)为例说明本征反射图像的提取过程，其他图像采用相同的方法。根据图像成像模型，彩色图像IMⁱ,i＝(R,G,B)可表示为反射图像RIⁱ,i＝(R,G,B)和照射图像SIⁱ,i＝(R,G,B)的乘积，获取目标的本征反射图像即要将图像IMⁱ,i＝(R,G,B)分解得到反射图像RIⁱ,i＝(R,G,B)。这里通过以下步骤获取校正后的图像IMⁱ,i＝(R,G,B)的本征反射图像RIⁱ,i＝(R,G,B)；

获取图像对数域梯度：

对IMⁱ,i＝(R,G,B)取对数

i＝(R,G,B)，得到对数域图像

i＝(R,G,B)，将对数域图像按照下式计算得到水平和垂直方向的梯度图像

i＝(R,G,B)，

{IM}_{Lx}^{i} (x, y) = | {IM}_{L}^{i} (x, y) - {IM}_{L}^{i} (x, y + 1) |,

i＝(R,G,B)

{IM}_{Ly}^{i} (x, y) = | {IM}_{L}^{i} (x, y) - {IM}_{L}^{i} (x + 1, y) |,

i＝(R,G,B)

其中，（x，y）表示图像中各个像素的坐标，x表示行坐标，y表示列坐标。

对梯度进行分类：

将图像IMⁱ,i＝(R,G,B)按照下式转换到归一化颜色c₁c₂空间和二维对立颜色o₁o₂空间得到c₁、c₂、o₁、o₂各分量：

\{\begin{matrix} c_{1} = \arctan (\frac{{IM}^{R}}{{IM}^{B}}) \\ c_{2} = \arctan (\frac{{IM}^{G}}{{IM}^{B}}) \end{matrix},

\{\begin{matrix} o_{1} = \frac{({IM}^{R} - {IM}^{G})}{2} \\ o_{2} = \frac{{IM}^{B}}{2} - \frac{({IM}^{R} + {IM}^{G})}{4} \end{matrix},

上述公式中的IM^R、IM^G、IM^B为图像IMⁱ,i＝(R,G,B)的R、G、B分量，它们大小为M行N列。采用多尺度的形态学梯度算子对c₁c₂、o₁o₂的各个分量c₁、c₂、o₁、o₂进行处理，

G = \frac{1}{2} Σ_{j = 1}^{n} [((f &CirclePlus; B_{j}) - (fΘ B_{j})) Θ B_{j - 1}]

式中，f表示c₁c₂、o₁o₂的各个分量c₁、c₂、o₁、o₂，为膨胀操作，Θ为腐蚀操作，B_j为一组正方形的结构元素，B_j的大小为(2j-1)×(2j-1)像素，在基于多尺度的形态学梯度算子中一般取n＝3。G表示得到的c₁、c₂、o₁、o₂各个分量对应的梯度，其中c₁对应的梯度为

c₂对应的梯度为

o₁对应的梯度为

o₂对应的梯度为

计算

和

中绝对值最大的值：

\{\begin{matrix} M_{cc} =max (| {&dtri; c}_{1} |, | {&dtri; c}_{2} |) \\ M_{oo} = \max (| {&dtri; o}_{1} |, | {&dtri; o}_{2} |) \end{matrix},

则c₁c₂、o₁o₂颜色空间的加强边缘W为：

W＝M_cc·M_oo，

可以用下式对加强边缘W进行分类，得到M_c。

其中，阈值T_c＝A+D，A为加强边缘W的均值，D为加强边缘W的方差，可由下式计算得到：

A = \frac{1}{M \times N} Σ_{x = 1}^{M} Σ_{y = 1}^{N} W (x, y),

D = \sqrt{\frac{1}{M \times N} Σ_{x = 1}^{M} Σ_{y = 1}^{N} {(W (x, y) - A)}^{2}},

加强边缘W也为M行N列，其共有M×N个像素，（x，y）表示加强边缘W中各个值的坐标，x表示行坐标，y表示列坐标。

根据M_c对得到的图像对数域梯度

i＝(R,G,B)进行分类，将其分类为反射梯度

i＝(R,G,B)和照射梯度 i＝(R,G,B)，分类公式如下：

\{\begin{matrix} {RI}_{j}^{i} = \{\begin{matrix} {IM}_{j}^{i} & if & M_{c} = 1 \\ 0 & if & M_{c} = 0 \end{matrix}, j = Lx, Ly \\ {SI}_{j}^{i} = \begin{matrix}  \end{matrix} \{\begin{matrix} 0 & if & M_{c} = 1 \\ {IM}_{j}^{i} & if & M_{c} = 0 \end{matrix}, j = Lx, Ly \end{matrix},

i＝(R,G,B)

恢复目标本征反射图像：

根据得到反射梯度

i＝(R,G,B)，可得到对数域的本征反射图像

i＝(R,G,B)：

{RI}_{L}^{i} = g * [(f_{x}^{r} * {RI}_{Lx}^{i}) + (f_{y}^{r} * {RI}_{Ly}^{i})],

i＝(R,G,B)，

其中，*表示卷积，

g为满足下式的解

g * [(f_{x}^{r} * f_{x}) + (f_{y}^{r} * f_{y})] = δ,

其中，f_x＝[0,1,-1]；f_y＝[0,1,-1]^T，T表示转置，

δ为冲激函数。对于g可以通过快速傅里叶变换FFT求得。之后，通过指数变换得到本征反射图像：

{RI}^{i} = \exp ({RI}_{L}^{i}),

i＝(R,G,B)；

步骤3：提取空间直方图：

以步骤2得到的本征反射图像RIⁱ,i＝(R,G,B)来说明空间直方图的提取方法，其他图像采用相同的方法。

颜色空间转换：

将图像RIⁱ,i＝(R,G,B)从RGB颜色空间转换到HSV颜色空间，转换公式如下：

H = \{\begin{matrix} θ & G &GreaterEqual; B \\ 2 π - θ & G < B \end{matrix},

θ = \cos^{- 1} [\frac{\frac{1}{2} [(R - G) + (R - B)]}{\sqrt{{(R - G)}^{2} + (R - B) (G - B)}}],

S = 1 - \frac{3 \min (R, G, B)}{R + G + B},

V = \frac{1}{\sqrt{3}} (R + G + B),

公式中的R、G、B参数为图像RIⁱ,i＝(R,G,B)中各个像素的R、G、B的值。

经过颜色空间转换得到大小为M行N列的三个矩阵H、S、V：

对H、S、V进行量化

对H、S、V采用下式进行量化，得到矩阵

\hat{H} = int ((L_{H} - 1) \cdot (H / \max (H))),

\hat{S} = int ((L_{S} - 1) \cdot (S / \max (S))),

\hat{V} = int ((L_{V} - 1) \cdot (V / \max (V))),

其中，int()为取整数函数，量化级别L_H、L_S、L_V的大小根据项目所需要的跟踪精度确定，对于一般用于安防的监控系统，取L_H＝16、L_S＝16、L_V＝4。

图像的空间直方图包含了图像直方图和像素位置信息两部分，其中像素位置信息又由具有同一颜色值的所有像素的坐标均值和坐标协方差矩阵构成，因此，所有具有同一颜色值的像素的空间直方图可以表示为一个三维立体块。设空间直方图由m个三维立体块组成，则第n个三维立体块可以表示为

其中h_n为具有同一颜色值的所有像素的个数占图像总像素个数的比例，即图像直方图，μ_n为具有同一颜色值的所有像素的坐标均值，Σ_n为具有同一颜色值的所有像素的坐标协方差矩阵：

h_{n} = \frac{1}{Num} Σ_{t = 1}^{Num} δ_{tn},

μ_{n} = \frac{1}{Σ_{t = 1}^{Num} δ_{tn}} Σ_{t = 1}^{Num} X_{t} δ_{tn},

Σ_{n} = \frac{1}{(Σ_{t = 1}^{Num} δ_{tn}) - 1} Σ_{t = 1}^{Num} (X_{t} - μ_{n}) {(X_{t} - μ_{n})}^{T} δ_{tn},

式中，Num为图像的总像素数；X_t＝[x_t,y_t]^T表示对图像进行逐行扫描的第t像素的二维空间坐标；δ_tn是一个δ函数，当第t像素在第n个三维立体块内时，其值为1，否则为0。

根据上述空间直方图的表示方法和计算过程计算图像RIⁱ,i＝(R,G,B)在HSV颜色空间的空间直方图，即计算矩阵

的空间直方图，以

的空间直方图计算为例，

的空间直方图采用相似的计算方法。因为

为H的16级量化，所以

中的颜色为16种，则

的空间直方图由16个三维立体块组成。将

中的16种颜色值从小到大进行排列，分别统计

中具有同一颜色值的像素的个数和空间坐标，根据上述空间直方图的计算方法分别计算组成这16种颜色的三维立体块的直方图、坐标均值和坐标协方差，则这16个三维立体块组成

的空间直方图，记为s^h。同理计算

的空间直方图，记为s^s、s^v，由于矩阵

分别为S、V的16级和4级量化，所以s^s、s^v中三维立体块的个数分别为16，4。

步骤4：目标识别：

应用步骤3中空间直方图表达式，设摄像机1和摄像机2采集的两幅图像的空间直方图分别为

s._n＝<h._n,μ._n,Σ._n>,n＝1,2,……m和s.'_n＝<h.'_n,μ.'_n,Σ.'_n>,n＝1,2,……m，从两个空间直方图中包含的所有三维立体块中将下标n相同的每对三维立体块的图像直方图相似度和像素位置相似度通过公式

ρ (s ., {s .}^{'}) = Σ_{n = 1}^{m} \frac{2 \sqrt{{h .}_{n} {h .}_{n}^{'}} | {Σ .}_{n} {Σ .}_{n}^{'} |^{\frac{1}{4}}}{| {Σ .}_{n} + {Σ .}_{n}^{'} |} e^{- \frac{1}{2} {({μ .}_{n} - {μ .}_{n}^{'})}^{T} {(2 ({Σ .}_{n} + {Σ .}_{n}^{'}))}^{- 1} ({μ .}_{n} - {μ .}_{n}^{'})}

计算，|·|表示矩阵的行列式。因此，两个空间直方图的相似度其值越大表明两个空间直方图的相似度越高，其值小表明两个空间直方图的相似度越低。当相似度大于或等于设定阈值Th=0.89时认为这一对目标图像为匹配结果，否则表示目标已走出监控视场。

设根据步骤3计算的摄像机1采集的一幅行人目标图像的H、S、V空间直方图为

摄像机2采集的一幅行人目标图像的H、S、V空间直方图为

根据上述公式计算这两幅图像的H、S、V分量对应的空间直方图的相似度，分别得到

将这三个相似度相加得到摄像机1采集的行人目标图像和摄像机2采集的行人目标图像的相似度ρ。

ρ = ρ (s_{1}^{h}, s_{1}^{h}) + ρ (s_{1}^{s}, s_{2}^{s}) + ρ (s_{1}^{v}, s_{2}^{v}),

当ρ值大于或等于设定阈值Th，则表示目标包含在监控视场中，否则表示目标已走出监控视场。其中Th为判断阈值，为保证目标识别的准确，一般取Th=0.89。

本发明的目的在于实现一种对摄像机特性、光照环境、姿态和视角变化具有较强鲁棒性的无重叠视域多摄像机间的行人目标识别方法。首先，采用爱色丽24色标准色靶在同一光照环境下对不同的摄像机进行颜色校正；其次，根据本征图像分解原理，利用基于图像成像物理模型下的色彩空间不变性得到目标的本征反射图像；最后，通过在目标的本征反射图像中提取其空间直方图建立目标外观模型并通过一定的相似度度量方式进行行人目标识别。本发明设计了一种在无重叠视域监控系统中，利用标准色靶进行摄像机间颜色校正，通过提取目标本征反射图像，采用空间直方图对目标进行识别的方法，从而为监控系统中目标的持续跟踪提供可靠数据。

以下通过具体实施例来进行说明：

实施例1：为了测试所提出的行人目标识别方法，使用不同的摄像机，在不同时刻、不同视角和不同光照条件下采集行人视频序列。以无重叠视域监控系统中的2个摄像机检测的3个目标为例说明行人目标识别过程，其他摄像机采集的目标识别采用相同的方法。首先在同一光照环境下使用这两个摄像机采集一次爱色丽标准色靶，以便建立两个摄像机间的颜色映射关系。获取色靶中各个色块的颜色值，根据步骤1解得多项式系数为：

A_R＝[-3.3022 1.0040 -0.0210 0.0161 0.0001 0.0000 -0.0001]、

A_G＝[-0.9293 -0.0175 0.9734 0.0090 0.0002 0.0000 -0.0001]、

A_B＝[-0.7378 -0.0283 -0.0169 1.0230 0.0002 -0.0001 -0.0000]，根据解得的多项式系数对摄像机2采集的图像进行颜色校正，本实施例采用整帧图像，在实际应用中只需对提取的行人目标图像进行颜色校正即可。这样可以提高效率。颜色校正之后即可提取行人目标的本征反射图像，根据步骤2分别提取摄像机1和摄像机2中各个目标图像的本征反射图像，摄像机1中的黄色目标记为

蓝色目标记为

白色目标记为

第一个下标表示摄像机1采集的目标图像，第二个下标表示目标标号，摄像机2中的黄色目标记为

蓝色目标记为

白色目标记为之后根据步骤3将摄像机1和摄像机2中各个目标图像的本征反射图像由RGB颜色空间转换到HSV颜色空间，分别得到三个矩阵H、S、V，并将得到的H、S、V进行16级、16级和4级量化，得到

之后分别计算

的空间直方图。其3×3的图像

f = [\begin{matrix} 2 & 5 & 3 \\ 3 & 2 & 5 \\ 2 & 3 & 5 \end{matrix}]

的空间直方图的计算过程和

的空间直方图的计算过程采用相同的方法，图像f中共有3种颜色[2,3,5]，则其空间直方图由3个三维立体块组成，按照颜色值从小到大排列，则颜色值为2的像素点落在第1个三维立体块内，即s₁＝<h₁,μ₁,Σ₁>，其空间直方图计算和其他颜色值的三维立体块采用相同的方法计算。图像f共有9个像素，则Num＝9，颜色值为2的像素共有3个，其坐标分别为[1,1]^T，[2,2]^T，[3,1]^T，则

Σ_{1} = [\begin{matrix} 1 & 0 \\ 0 & \frac{1}{3} \end{matrix}] .

根据步骤3计算得到的摄像机1和摄像机2中各个目标图像的本征反射图像的空间直方图分别记为：摄像机1中黄色目标记为

蓝色目标记为

白色目标记为

摄像机2中黄色目标记为蓝色目标记为白色目标记为

以摄像机1中的目标作为候选目标，摄像机2中的目标为待识别目标，根据步骤4分别计算摄像机1采集的目标和摄像机2采集的各个目标间的空间直方图的相似度ρ_k,k',k＝1,2,3,k'＝1,2,3，k表示摄像机1采集的目标标号，k'表示摄像机2采集的目标标号，计算得到的相似度如表1所示。

表1摄像机1与摄像机2中目标相似度计算结果

当ρ_k,k',k＝1,2,3,k'＝1,2,3的值大于或等于设定阈值Th=0.89时，则认为这两幅图像为同一目标，否则表示目标已走出监控视场。表1中，摄像机1采集的三个目标黄色目标、蓝色目标、白色目标分别与摄像机2采集的三个目标黄色目标、蓝色目标、白色目标两两进行相似度计算后的结果表示为表格中的数值，可以看出，只有摄像机1与摄像机2中目标颜色相同的情况下计算出来的相似度数值才会大于设定的阈值，否则不同颜色之间的相似度数值小于设定的阈值，说明根据本发明的方法计算出来的结果可以正确判断出不同摄像机是否拍摄到了同一个目标。

以两个摄像机中共有的目标，黄色目标和蓝色目标说明方法的识别效率，并与没有用本发明方法未进行摄像机颜色校正和本征反射图像提取直接提取空间直方图进行目标识别的结果进行比较，见表2所示。

表2目标识别结果比较

由表2可以看出，没有用本发明方法得到的不同摄像机目标相似度的识别率分别为：黄色目标为58.6%，蓝色目标67.4%，而采用本发明的方法得到的最终识别率分别为黄色目标为88.5%，蓝色目标90.5%，本发明方法得到的识别率远远高于未使用本发明方法得到的识别率。