CN105740768A - 一种局部和全局特征相结合的无人驾驶叉运装置 - Google Patents

Abstract

本发明公开了一种局部和全局特征相结合的无人驾驶叉运装置，包括无人驾驶叉车和安装在无人驾驶叉车上的监控装置，监控装置具体包括预处理模块、检测跟踪模块、识别输出模块，其中预处理模块包含图像转化、图像滤波、图像增强三个子模块，检测跟踪模块包含构建、丢失判别、更新三个子模块。本无人驾驶叉车将视频图像技术运用在无人驾驶叉车上，能有效监控记录恶意破坏行为，具有实时性好、定位准确、自适应能力强、图像细节保留完整和鲁棒性强等优点。

Description

一种局部和全局特征相结合的无人驾驶叉运装置

技术领域

本发明涉及叉运装置领域，具体涉及一种局部和全局特征相结合的无人驾驶叉运装置。

背景技术

工业搬运车辆广泛应用于港口、车站、机场、货场、工厂车间、仓库、流通中心和配送中心等，在船舱、车厢和集装箱内进行托盘货物的装卸、搬运作业，是托盘运输、集装箱运输中必不可少的设备。

叉运装置，主要指叉车，在企业的物流系统中扮演着非常重要的角色，是物料搬运设备中的主力军。广泛应用于车站、港口、机场、工厂、仓库等国民经济中的各个部门。第二次世界大战期间，叉车得到发展。中国从20世纪50年代初开始制造叉车。特别是随着中国经济的快速发展，大部分企业的物料搬运已经脱离了原始的人工搬运，取而代之的是以叉车为主的机械化搬运。因此，在过去的几年中，中国叉车市场的需求量每年都以两位数的速度增长。而无人叉车又是近年来兴起的一种新型叉运装置，可以大大提高自动化程度并减少人工劳作量。

另外，无人驾驶叉运装置作为一种重要的昂贵设备，其安全性尤为重要，必须能防止和监视恶意破坏行为。

发明内容

针对上述问题，本发明提供一种局部和全局特征相结合的无人驾驶叉运装置。

本发明的目的采用以下技术方案来实现：

一种局部和全局特征相结合的无人驾驶叉运装置，包括无人驾驶叉车和安装在无人驾驶叉车上的监测装置，监测装置用于对无人驾驶叉车附近的活动进行视频图像监测，监测装置包括预处理模块、检测跟踪模块、识别输出模块；

(1)预处理模块,用于对接收到的图像进行预处理，具体包括图像转化子模块、图像滤波子模块和图像增强子模块：

图像转化子模块,用于将彩色图像转化为灰度图像:

$H\left(x,y\right)=\frac{\max \left(R\left(x,y\right),G\left(x,y\right),B\left(x,y\right)\right)+\min \left(R\left(x,y\right),G\left(x,y\right),B\left(x,y\right)\right)}{2}+2(\max \left(R\left(x,y\right),G\left(x,y\right),B\left(x,y\right)\right)-$

$min\left(R\right(x,y),G(x,y),B(x,y)\left)\right)$

其中，R(x,y)、G(x,y)、B(x,y)分别代表像素(x,y)处的红绿蓝强度值，H(x,y)代表坐标(x,_y)处的像素灰度值；图像大小为m×n；

图像滤波子模块，用于对灰度图像进行滤波：

采用维纳滤波来进行一级滤除后，定义svlm图像，记为M_svlm(x,y)，具体定义公式为：M_svlm(x，y)＝a₁J₁(x，y)+a₂J₂(x，y)+a₃J₃(x，y)+a₄J₄(x，y)，其中a₁、a₂、a₃、a₄为可变权值，i＝1，2，3，4；J(x,y)为经滤波后的图像；

图像增强子模块：

当 $|128-m|>\sqrt[3]{|\mathrm{\ω}-50|}$ 时， $L(x,y)=255\×{\left(\frac{H(x,y)}{255}\right)}^{\mathrm{\ψ}(x,y)},$ 其中，L(x,y)为增强后的灰度值；ψ(x,y)是包含有局部信息的伽马校正系数，此时α是范围为0到1的可变参数，

当 $|128-m|\≤\sqrt[3]{|\mathrm{\ω}-50|}$ 且ω＞50时， $L(x,y)=255\×{\left(\frac{H(x,y)}{255}\right)}^{\mathrm{\ψ}(x,y)\×(1-\frac{\mathrm{\ω}-50}{{\mathrm{\ω}}^2})},$ 其中ψ(x，y)＝ψ_α(M_svlm(x，y))，m_H是图像中灰度值高于128的所有像素的均值，m_L是灰度值低于128的所有像素的均值，且此时m＝min(m_H，m_L)，在α值已知的情况下，计算出256个ψ校正系数作为查找表，记为其中i为索引值，利用M_svlm(x,y)的灰度值作为索引，根据ψ(x，y)＝ψ_α(M_svlm(x，y))快速获得图像中每个像素的伽马校正系数ψ(x,y)；为模板修正系数；

(2)检测跟踪模块，具体包括构建子模块、丢失判别子模块和更新子模块：

构建子模块，用于视觉字典的构建：

在初始帧获取跟踪目标的位置和尺度，在其周围选取正负样本训练跟踪器，将跟踪结果作为训练集X＝{x₁，x₂，……x_N}^T；并对训练集中的每幅目标图像提取128维的SIFT特征其中S_t表示训练集中第t幅目标图像中SIFT特征的个数；跟踪N帧以后，通过聚类算法将这些特征划分为K个簇，每个簇的中心构成特征单词，记为能够提取到的特征总量其中K＜＜F_N，且视觉字典构建好以后，每幅训练图像表示为特征包的形式，用于表示视觉字典中特征单词出现的频率，用直方图h(x_t)表示，h(x_t)通过以下方式获取：将一幅训练图像X_t中的每一个特征f_s ^(t)向视觉字典投影，用投影距离最短的特征单词表示该特征，对所有特征投影完毕后，统计每个特征单词的出现频率，并归一化得到训练图像X_t的特征直方图h(x_t)；

丢失判别子模块，用于判别目标的丢失与否：

当新一帧图像到来时，从K个直方图柱中随机选取Z<K个直方图柱，且Z＝4，形成新的大小为Z的子直方图h^(z)(x_t)，子直方图的个数最多为个；计算候选目标区域和训练集中某个目标区域对应子直方图的相似性Ф_{t_z}，其中t＝1，2，…，N，z＝1，2，…，N_s，然后计算总体相似性Φ_t＝1-∏_z(1-Φ_{t_z})；候选目标区域与目标的相似性用Ф＝max{Ф_t,t}表示，则目标丢失判断式为： $u=sign\left(\mathrm{\&Phi;}\right)=\left\{\begin{array}{cc}1& \mathrm{\&Phi;}\&GreaterEqual;gs\\ 0& \mathrm{\&Phi;}<gs\end{array}\right.,$ 其中gs为人为设定的判失阀值；当u＝1时目标被稳定跟踪，当u＝0时，目标丢失；

当目标丢失时，定义仿射变换模型： $\left(\begin{array}{c}{x}_t\\ y_t\end{array}\right)=\left(\begin{array}{cc}s.cos({\mathrm{\&mu;}}_1\&times;\mathrm{\&theta;})& s.sin({\mathrm{\&mu;}}_1\&times;\mathrm{\&theta;})\\ -s.sin({\mathrm{\&mu;}}_1\&times;\mathrm{\&theta;})& s.cos({\mathrm{\&mu;}}_1\&times;\mathrm{\&theta;})\end{array}\right)\left(\begin{array}{c}{x}_{t-1}\\ y_{t-1}\end{array}\right)+{\mathrm{\&mu;}}_2\left(\begin{array}{c}e\\ f\end{array}\right),$ 其中(x_t,y_t)和(x_t-1,y_t-1)分别为当前帧目标中某个SITF特征点的位置坐标和前一个帧目标中对应匹配特征点的位置坐标，两者均为已知量；s为尺度系数，θ为旋转系数，e和f代表了平移系数， ${\mathrm{\&mu;}}_1=\left\{\begin{array}{cc}1-\frac{|T-T_0|}{1000T_0}& T\&GreaterEqual;T_0\\ 1+\frac{|T-T_0|}{1000T_0}& T<T_0\end{array}\right.$ 为温度旋转修正系数， ${\mathrm{\&mu;}}_2=\left\{\begin{array}{cc}\sqrt{1-\frac{|T-T_0|}{1000T_0}}& T\&GreaterEqual;T_0\\ \sqrt{1+\frac{|T-T_0|}{1000T_0}}& T<T_0\end{array}\right.$ 为温度平移修正系数，μ₁和μ₂用于修正因为环境温度偏差造成的图像旋转和平移误差，T₀为人为设定的标准温度，设为20度，T为由温度传感器实时监测得到的温度值；采用Ransac估计算法求取仿射变换模型的参数，最后在新的尺度s和旋转系数θ下采集正负样本，更新分类器；

更新子模块，用于视觉字典的更新：

在每帧图像获得目标位置以后，根据仿射变换参数的计算结果，收集所有满足结果参数的SIFT特征点经过F＝3帧以后，获得新的特征点集其中S_t-F代表了从F帧图像中得到的总特征点数；利用下式对新旧特征点重新进行K聚类： 其中表示新的视觉字典，视觉字典的大小保持不变；是遗忘因子，表明了旧字典所占的比重，越小，新特征对目标丢失的判断贡献越多，取

(3)识别输出模块，用于图像的识别和输出：在待识别的图像序列中利用跟踪算法获取目标区域，将目标区域映射到已知训练数据形成的子空间，计算子空间中目标区域与训练数据之间的距离，获得相似性度量，判定目标类别，并输出识别结果。

优选的，采用维纳滤波来进行一级滤除后，此时图像信息还包含有残余的噪音，采用以下的二级滤波器进行二次滤波：

$J(x,y)={\mathrm{\&Sigma;}}_{i=-m/2}^{m/2}{\mathrm{\&Sigma;}}_{j=-n/2}^{n/2}H(x,y)P_g(x+i,y+j)$

其中，J(x,y)为经过滤波后的图像；P_g(x+i，y+j)代表尺度为m×n的函数，且P_g(x+i，y+j)＝q×exp(-(x²+y²)/ω)，其中q是将函数归一化的系数，即：∫∫q×exp(-(x²+y²)/ω)dxdy＝1。

本无人驾驶叉运装置的有益效果为：在图像预处理阶段，增强的图像能够根据模板的大小自适应调整，提高增强效果，且在在不同模板大小时判断条件能自动修正，且考虑了视觉习惯以及人眼对不同色彩的感知度同色彩强度的非线性关系；将M×N个幂指数运算降低为256个，提高了计算效率；在目标检测和跟踪阶段，能够消除不同温度导致图像的旋转和平移造成的误差，提高识别率，经处理后的图像细节更加清晰，且计算量相对于传统方法大幅度减少，能够有效适应目标尺度变化，并能够准确判定目标是否发生丢失，在目标重新回到视场后能够被重新检测并稳定跟踪。此外，该无人驾驶叉车具有实时性好、定位准确和鲁棒性强的优点，且在快速有遮挡的目标检测和跟踪方面取得了很好的效果。

附图说明

利用附图对本发明作进一步说明，但附图中的实施例不构成对本发明的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。

图1是一种局部和全局特征相结合的无人驾驶叉运装置的结构框图；

图2是一种局部和全局特征相结合的无人驾驶叉运装置的外部示意图。

具体实施方式

结合以下实施例对本发明作进一步描述。

实施例1：如图1-2所示，一种局部和全局特征相结合的无人驾驶叉运装置，包括无人驾驶叉车5和安装在无人驾驶叉车5上的监测装置4，监测装置4用于对无人驾驶叉车附近的活动进行视频图像监测，监测装置4包括预处理模块1、检测跟踪模块2、识别输出模块3。

(1)预处理模块1,用于对接收到的图像进行预处理，具体包括图像转化子模块11、图像滤波子模块12和图像增强子模块13：

图像转化子模块11,用于将彩色图像转化为灰度图像:

$\begin{array}{c}H\left(x,y\right)=\frac{\max \left(R\left(x,y\right),G\left(x,y\right),B\left(x,y\right)\right)+\min \left(R\left(x,y\right),G\left(x,y\right),B\left(x,y\right)\right)}{2}+2(\max \left(R\left(x,y\right),G\left(x,y\right),B\left(x,y\right)\right)-\\ min\left(R\right(x,y),G(x,y),B(x,y)\left)\right)\end{array}$

其中，R(x,y)、G(x,y)、B(x,y)分别代表像素(x,y)处的红绿蓝强度值，H(x,y)代表坐标(x,y)处的像素灰度值；图像大小为m×n；

图像滤波子模块12，用于对灰度图像进行滤波：

采用维纳滤波来进行一级滤除后，定义svlm图像，记为M_svlm(x,y)，具体定义公式为：M_svlm(x，y)＝a₁J₁(x，y)+a₂J₂(x，y)+a₃J₃(x，y)+a₄J₄(x，y)，其中a₁、a₂、a₃、a₄为可变权值，i＝1，2，3，4；J(x,y)为经滤波后的图像；

图像增强子模块13：

当 $|128-m|>\sqrt[3]{|\mathrm{\&omega;}-50|}$ 时， $L(x,y)=255\&times;{\left(\frac{H(x,y)}{255}\right)}^{\mathrm{\&psi;}(x,y)},$ 其中，L(x,y)为增强后的灰度值；ψ(x,y)是包含有局部信息的伽马校正系数，此时α是范围为0到1的可变参数，

当 $|128-m|>\sqrt[3]{|\mathrm{\&omega;}-50|}$ 且ω＞50时， $L(x,y)=255\&times;{\left(\frac{H(x,y)}{255}\right)}^{\mathrm{\&psi;}(x,y)\&times;(1-\frac{\mathrm{\&omega;}-50}{{\mathrm{\&omega;}}^2})},$ 其中ψ(x，y)＝ψ_α(M_svlm(x，y))，m_H是图像中灰度值高于128的所有像素的均值，m_L是灰度值低于128的所有像素的均值，且此时m＝min(m_H，m_L)，在α值已知的情况下，计算出256个ψ校正系数作为查找表，记为其中i为索引值，利用M_svlm(x,y)的灰度值作为索引，根据ψ(x，y)＝ψ_α(M_svlm(x，y))快速获得图像中每个像素的伽马校正系数ψ(x,y)；为模板修正系数；

(2)检测跟踪模块2，具体包括构建子模块21、丢失判别子模块22和更新子模块23：

构建子模块21，用于视觉字典的构建：

在初始帧获取跟踪目标的位置和尺度，在其周围选取正负样本训练跟踪器，将跟踪结果作为训练集X＝{x₁,x₂,……x_N}^T；并对训练集中的每幅目标图像提取128维的SIFT特征其中S_t表示训练集中第t幅目标图像中SIFT特征的个数；跟踪N帧以后，通过聚类算法将这些特征划分为K个簇，每个簇的中心构成特征单词，记为能够提取到的特征总量其中K＜＜F_N，且视觉字典构建好以后，每幅训练图像表示为特征包的形式，用于表示视觉字典中特征单词出现的频率，用直方图h(x_t)表示，h(x_t)通过以下方式获取：将一幅训练图像X_t中的每一个特征f_s ^(t)向视觉字典投影，用投影距离最短的特征单词表示该特征，对所有特征投影完毕后，统计每个特征单词的出现频率，并归一化得到训练图像X_t的特征直方图h(x_t)；

丢失判别子模块22，用于判别目标的丢失与否：

当新一帧图像到来时，从K个直方图柱中随机选取Z<K个直方图柱，且Z＝4，形成新的大小为Z的子直方图h^(z)(x_t)，子直方图的个数最多为个；计算候选目标区域和训练集中某个目标区域对应子直方图的相似性Ф_{t_z}，其中t＝1，2，…，N，z＝1，2，…，N_s，然后计算总体相似性Φ_t＝1-∏_z(1-Φ_{t_z})；候选目标区域与目标的相似性用Ф＝max{Ф_t,t}表示，则目标丢失判断式为： $u=sign\left(\mathrm{\&Phi;}\right)=\left\{\begin{array}{cc}1& \mathrm{\&Phi;}\&GreaterEqual;gs\\ 0& \mathrm{\&Phi;}<gs\end{array}\right.,$ 其中gs为人为设定的判失阀值；当u＝1时目标被稳定跟踪，当u＝0时，目标丢失；

当目标丢失时，定义仿射变换模型： $\left(\begin{array}{c}{x}_t\\ y_t\end{array}\right)=\left(\begin{array}{cc}s.cos({\mathrm{\&mu;}}_1\&times;\mathrm{\&theta;})& s.sin({\mathrm{\&mu;}}_1\&times;\mathrm{\&theta;})\\ -s.sin({\mathrm{\&mu;}}_1\&times;\mathrm{\&theta;})& s.cos({\mathrm{\&mu;}}_1\&times;\mathrm{\&theta;})\end{array}\right)\left(\begin{array}{c}{x}_{t-1}\\ y_{t-1}\end{array}\right)+{\mathrm{\&mu;}}_2\left(\begin{array}{c}e\\ f\end{array}\right),$ 其中(x_t,_t)和(x_t-1,y_t-1)分别为当前帧目标中某个SITF特征点的位置坐标和前一个帧目标中对应匹配特征点的位置坐标，两者均为已知量；s为尺度系数，θ为旋转系数，e和f代表了平移系数， ${\mathrm{\&mu;}}_1=\left\{\begin{array}{cc}1-\frac{|T-T_0|}{1000T_0}& T\&GreaterEqual;T_0\\ 1+\frac{|T-T_0|}{1000T_0}& T<T_0\end{array}\right.$ 为温度旋转修正系数， ${\mathrm{\&mu;}}_2=\left\{\begin{array}{cc}\sqrt{1-\frac{|T-T_0|}{1000T_0}}& T\&GreaterEqual;T_0\\ \sqrt{1+\frac{|T-T_0|}{1000T_0}}& T<T_0\end{array}\right.$ 为温度平移修正系数，μ₁和μ₂用于修正因为环境温度偏差造成的图像旋转和平移误差，T₀为人为设定的标准温度，设为20度，T为由温度传感器实时监测得到的温度值；采用Ransac估计算法求取仿射变换模型的参数，最后在新的尺度s和旋转系数θ下采集正负样本，更新分类器；

更新子模块23，用于视觉字典的更新：

在每帧图像获得目标位置以后，根据仿射变换参数的计算结果，收集所有满足结果参数的SIFT特征点经过F＝3帧以后，获得新的特征点集其中S_t-F代表了从F帧图像中得到的总特征点数；利用下式对新旧特征点重新进行K聚类： 其中表示新的视觉字典，视觉字典的大小保持不变；是遗忘因子，表明了旧字典所占的比重，越小，新特征对目标丢失的判断贡献越多，取

(3)识别输出模块，用于图像的识别和输出：在待识别的图像序列中利用跟踪算法获取目标区域，将目标区域映射到已知训练数据形成的子空间，计算子空间中目标区域与训练数据之间的距离，获得相似性度量，判定目标类别，并输出识别结果。

优选的，采用维纳滤波来进行一级滤除后，此时图像信息还包含有残余的噪音，采用以下的二级滤波器进行二次滤波：

$J(x,y)={\mathrm{\&Sigma;}}_{i=-m/2}^{m/2}{\mathrm{\&Sigma;}}_{j=-n/2}^{n/2}H(x,y)P_g(x+i,y+j)$

其中，J(x,y)为经过滤波后的图像；P_g(x+i,y+j)代表尺度为m×n的函数，且P_g(x+i，y+j)＝q×exp(-(x²+y²)/ω)，其中q是将函数归一化的系数，即：∫∫q×exp(-(x²+y²)/ω)dxdy＝1。

此实施例的无人驾驶叉运装置，在图像预处理阶段，增强的图像能够根据模板的大小自适应调整，提高增强效果，且在在不同模板大小时判断条件能自动修正，且考虑了视觉习惯以及人眼对不同色彩的感知度同色彩强度的非线性关系；充分利用了图像的局部特征和全局特征，具有自适应性，可以抑制过度增强，对复杂光照环境下获取的图像增强效果明显；将M×N个幂指数运算降低为256个，提高了计算效率，Z＝4，F＝3，计算平均帧率为15FPS，计算量小于同类型的字典算法；在目标检测和跟踪阶段，能够消除不同温度导致图像的旋转和平移造成的误差，提高识别率，经处理后的图像细节更加清晰，且计算量相对于传统方法大幅度减少，能够有效适应目标尺度变化，并能够准确判定目标是否发生丢失，在目标重新回到视场后能够被重新检测并稳定跟踪，直至110帧后仍能稳定跟踪目标。此外，该无人驾驶叉车具有实时性好、定位准确和鲁棒性强的优点，且在快速有遮挡的目标检测和跟踪方面有很好的效果，取得了意想不到的效果。

实施例2：如图1-2所示，一种局部和全局特征相结合的无人驾驶叉运装置，包括无人驾驶叉车5和安装在无人驾驶叉车5上的监测装置4，监测装置4用于对无人驾驶叉车5附近的活动进行视频图像监测，监测装置4包括预处理模块1、检测跟踪模块2、识别输出模块3。

(1)预处理模块1,用于对接收到的图像进行预处理，具体包括图像转化子模块11、图像滤波子模块12和图像增强子模块13:

图像转化子模块11,用于将彩色图像转化为灰度图像:

$\begin{array}{c}H\left(x,y\right)=\frac{\max \left(R\left(x,y\right),G\left(x,y\right),B\left(x,y\right)\right)+\min \left(R\left(x,y\right),G\left(x,y\right),B\left(x,y\right)\right)}{2}+2(\max \left(R\left(x,y\right),G\left(x,y\right),B\left(x,y\right)\right)-\\ min\left(R\right(x,y),G(x,y),B(x,y)\left)\right)\end{array}$

其中，R(x,y)、G(x,y)、B(x,y)分别代表像素(x,y)处的红绿蓝强度值，H(x,y)代表坐标(x,y)处的像素灰度值；图像大小为m×n；

图像滤波子模块12，用于对灰度图像进行滤波：

采用维纳滤波来进行一级滤除后，定义svlm图像，记为M_svlm(x,y)，具体定义公式为：M_svlm(x，y)＝a₁J₁(x，y)+a₂J₂(x，y)+a₃J₃(x，y)+a₄J₄(x，y)，其中a₁、a₂、a₃、a₄为可变权值，i＝1，2，3，4；J(x,y)为经滤波后的图像；

图像增强子模块13：

当 $|128-m|>\sqrt[3]{|\mathrm{\&omega;}-50|}$ 时， $L(x,y)=255\&times;{\left(\frac{H(x,y)}{255}\right)}^{\mathrm{\&psi;}(x,y)},$ 其中，L(x,y)为增强后的灰度值；ψ(x,y)是包含有局部信息的伽马校正系数，此时α是范围为0到1的可变参数，

当 $|128-m|>\sqrt[3]{|\mathrm{\&omega;}-50|}$ 且ω＞50时， $L(x,y)=255\&times;{\left(\frac{H(x,y)}{255}\right)}^{\mathrm{\&psi;}(x,y)\&times;(1-\frac{\mathrm{\&omega;}-50}{{\mathrm{\&omega;}}^2})},$ 其中ψ(x，y)＝ψ_α(M_svlm(x，y))，m_H是图像中灰度值高于128的所有像素的均值，m_L是灰度值低于128的所有像素的均值，且此时m＝min(m_H，m_L)，在α值已知的情况下，计算出256个ψ校正系数作为查找表，记为其中i为索引值，利用M_svlm(x,y)的灰度值作为索引，根据ψ(x，y)＝ψ_α(M_svlm(x，y))快速获得图像中每个像素的伽马校正系数ψ(x,y)；为模板修正系数；

(2)检测跟踪模块2，具体包括构建子模块21、丢失判别子模块22和更新子模块23：

构建子模块21，用于视觉字典的构建：

在初始帧获取跟踪目标的位置和尺度，在其周围选取正负样本训练跟踪器，将跟踪结果作为训练集X＝{x₁，x₂，……x_N}^T；并对训练集中的每幅目标图像提取128维的SIFT特征其中S_t表示训练集中第t幅目标图像中SIFT特征的个数；跟踪N帧以后，通过聚类算法将这些特征划分为K个簇，每个簇的中心构成特征单词，记为能够提取到的特征总量其中K＜＜F_N，且视觉字典构建好以后，每幅训练图像表示为特征包的形式，用于表示视觉字典中特征单词出现的频率，用直方图h(x_t)表示，h(x_t)通过以下方式获取：将一幅训练图像X_t中的每一个特征f_s ^(t)向视觉字典投影，用投影距离最短的特征单词表示该特征，对所有特征投影完毕后，统计每个特征单词的出现频率，并归一化得到训练图像X_t的特征直方图h(x_t)；

丢失判别子模块22，用于判别目标的丢失与否：

当新一帧图像到来时，从K个直方图柱中随机选取Z<K个直方图柱，且Z＝5，形成新的大小为Z的子直方图h^(z)(x_t)，子直方图的个数最多为个；计算候选目标区域和训练集中某个目标区域对应子直方图的相似性Φ_{t_z}，其中t＝1，2，…，N，z＝1，2，…，N_s，然后计算总体相似性Φ_t＝1-∏_z(1-Φ_{t_z})；候选目标区域与目标的相似性用Ф＝max{Ф_t,t}表示，则目标丢失判断式为： $u=sign\left(\mathrm{\&Phi;}\right)=\left\{\begin{array}{cc}1& \mathrm{\&Phi;}\&GreaterEqual;gs\\ 0& \mathrm{\&Phi;}<gs\end{array}\right.,$ 其中gs为人为设定的判失阀值；当u＝1时目标被稳定跟踪，当u＝0时，目标丢失；

当目标丢失时，定义仿射变换模型： $\left(\begin{array}{c}{x}_t\\ y_t\end{array}\right)=\left(\begin{array}{cc}s.cos({\mathrm{\&mu;}}_1\&times;\mathrm{\&theta;})& s.sin({\mathrm{\&mu;}}_1\&times;\mathrm{\&theta;})\\ -s.sin({\mathrm{\&mu;}}_1\&times;\mathrm{\&theta;})& s.cos({\mathrm{\&mu;}}_1\&times;\mathrm{\&theta;})\end{array}\right)\left(\begin{array}{c}{x}_{t-1}\\ y_{t-1}\end{array}\right)+{\mathrm{\&mu;}}_2\left(\begin{array}{c}e\\ f\end{array}\right),$ 其中(x_t,y_t)和(x_t-1,y_t-1)分别为当前帧目标中某个SITF特征点的位置坐标和前一个帧目标中对应匹配特征点的位置坐标，两者均为已知量；s为尺度系数，θ为旋转系数，e和f代表了平移系数， ${\mathrm{\&mu;}}_1=\left\{\begin{array}{cc}1-\frac{|T-T_0|}{1000T_0}& T\&GreaterEqual;T_0\\ 1+\frac{|T-T_0|}{1000T_0}& T<T_0\end{array}\right.$ 为温度旋转修正系数， ${\mathrm{\&mu;}}_2=\left\{\begin{array}{cc}\sqrt{1-\frac{|T-T_0|}{1000T_0}}& T\&GreaterEqual;T_0\\ \sqrt{1+\frac{|T-T_0|}{1000T_0}}& T<T_0\end{array}\right.$ 为温度平移修正系数，μ₁和μ₂用于修正因为环境温度偏差造成的图像旋转和平移误差，T₀为人为设定的标准温度，设为20度，T为由温度传感器实时监测得到的温度值；采用Ransac估计算法求取仿射变换模型的参数，最后在新的尺度s和旋转系数θ下采集正负样本，更新分类器；

更新子模块23，用于视觉字典的更新：

在每帧图像获得目标位置以后，根据仿射变换参数的计算结果，收集所有满足结果参数的SIFT特征点经过F＝4帧以后，获得新的特征点集其中S_t-F代表了从F帧图像中得到的总特征点数；利用下式对新旧特征点重新进行K聚类： 其中表示新的视觉字典，视觉字典的大小保持不变；是遗忘因子，表明了旧字典所占的比重，越小，新特征对目标丢失的判断贡献越多，取

(3)识别输出模块，用于图像的识别和输出：在待识别的图像序列中利用跟踪算法获取目标区域，将目标区域映射到已知训练数据形成的子空间，计算子空间中目标区域与训练数据之间的距离，获得相似性度量，判定目标类别，并输出识别结果。

优选的，采用维纳滤波来进行一级滤除后，此时图像信息还包含有残余的噪音，采用以下的二级滤波器进行二次滤波：

$J(x,y)={\mathrm{\&Sigma;}}_{i=-m/2}^{m/2}{\mathrm{\&Sigma;}}_{j=-n/2}^{n/2}H(x,y)P_g(x+i,y+j)$

其中，J(x,y)为经过滤波后的图像；P_g(x+i,y+j)代表尺度为m×n的函数，且P_g(x+i，y+j)＝q×exp(-(x²+y²)/ω)，其中q是将函数归一化的系数，即：∫∫q×exp(-(x²+y²)/ω)dxdy＝1。

此实施例的无人驾驶叉运装置，在图像预处理阶段，增强的图像能够根据模板的大小自适应调整，提高增强效果，且在在不同模板大小时判断条件能自动修正，且考虑了视觉习惯以及人眼对不同色彩的感知度同色彩强度的非线性关系；充分利用了图像的局部特征和全局特征，具有自适应性，可以抑制过度增强，对复杂光照环境下获取的图像增强效果明显；将M×N个幂指数运算降低为256个，提高了计算效率，Z＝5，F＝4，计算平均帧率为16FPS，计算量小于同类型的字典算法；在目标检测和跟踪阶段，能够消除不同温度导致图像的旋转和平移造成的误差，提高识别率，经处理后的图像细节更加清晰，且计算量相对于传统方法大幅度减少，能够有效适应目标尺度变化，并能够准确判定目标是否发生丢失，在目标重新回到视场后能够被重新检测并稳定跟踪，直至115帧后仍能稳定跟踪目标。此外，该无人驾驶叉车具有实时性好、定位准确和鲁棒性强的优点，且在快速有遮挡的目标检测和跟踪方面有很好的效果，取得了意想不到的效果。

实施例3：如图1-2所示，一种局部和全局特征相结合的无人驾驶叉运装置，包括无人驾驶叉车5和安装在无人驾驶叉车5上的监测装置4，监测装置4用于对无人驾驶叉车5附近的活动进行视频图像监测，监测装置4包括预处理模块1、检测跟踪模块2、识别输出模块3。

(1)预处理模块1,用于对接收到的图像进行预处理，具体包括图像转化子模块11、图像滤波子模块12和图像增强子模块13：

图像转化子模块11,用于将彩色图像转化为灰度图像:

$\begin{array}{c}H\left(x,y\right)=\frac{\max \left(R\left(x,y\right),G\left(x,y\right),B\left(x,y\right)\right)+\min \left(R\left(x,y\right),G\left(x,y\right),B\left(x,y\right)\right)}{2}+2(\max \left(R\left(x,y\right),G\left(x,y\right),B\left(x,y\right)\right)-\\ min\left(R\right(x,y),G(x,y),B(x,y)\left)\right)\end{array}$

其中，R(x,y)、G(x,y)、B(x,y)分别代表像素(x,y)处的红绿蓝强度值，H(x,y)代表坐标(x,y)处的像素灰度值；图像大小为m×n；

图像滤波子模块12，用于对灰度图像进行滤波：

采用维纳滤波来进行一级滤除后，定义svlm图像，记为M_svlm(x,y)，具体定义公式为：M_svlm(x，y)＝a₁J₁(x，y)+a₂J₂(x，y)+a₃J₃(x，y)+a₄J₄(x，y)，其中a₁、a₂、a₃、a₄为可变权值，i＝1，2，3，4；J(x,y)为经滤波后的图像；

图像增强子模块13：

当 $|128-m|>\sqrt[3]{|\mathrm{\&omega;}-50|}$ 时， $L(x,y)=255\&times;{\left(\frac{H(x,y)}{255}\right)}^{\mathrm{\&psi;}(x,y)},$ 其中，L(x,y)为增强后的灰度值；ψ(x,y)是包含有局部信息的伽马校正系数，此时α是范围为0到1的可变参数，

当 $|128-m|\&le;\sqrt[3]{|\mathrm{\&omega;}-50|}$ 且ω＞50时， $L(x,y)=255\&times;{\left(\frac{H(x,y)}{255}\right)}^{\mathrm{\&psi;}(x,y)\&times;(1-\frac{\mathrm{\&omega;}-50}{{\mathrm{\&omega;}}^2})},$ 其中ψ(x，y)＝ψ_α(M_svlm(x，y))，m_H是图像中灰度值高于128的所有像素的均值，m_L是灰度值低于128的所有像素的均值，且此时m＝min(m_H，m_L)，在α值已知的情况下，计算出256个ψ校正系数作为查找表，记为其中i为索引值，利用M_svlm(x,y)的灰度值作为索引，根据ψ(x，y)＝ψ_α(M_svlm(x，y))快速获得图像中每个像素的伽马校正系数ψ(x,y)；为模板修正系数；

(2)检测跟踪模块2，具体包括构建子模块21、丢失判别子模块22和更新子模块23：

构建子模块21，用于视觉字典的构建：

在初始帧获取跟踪目标的位置和尺度，在其周围选取正负样本训练跟踪器，将跟踪结果作为训练集X＝{x₁，x₂，……x_N}^T；并对训练集中的每幅目标图像提取128维的SIFT特征其中S_t表示训练集中第t幅目标图像中SIFT特征的个数；跟踪N帧以后，通过聚类算法将这些特征划分为K个簇，每个簇的中心构成特征单词，记为能够提取到的特征总量其中K＜＜F_N，且视觉字典构建好以后，每幅训练图像表示为特征包的形式，用于表示视觉字典中特征单词出现的频率，用直方图h(x_t)表示，h(x_t)通过以下方式获取：将一幅训练图像X_t中的每一个特征f_s ^(t)向视觉字典投影，用投影距离最短的特征单词表示该特征，对所有特征投影完毕后，统计每个特征单词的出现频率，并归一化得到训练图像X_t的特征直方图h(x_t)；

丢失判别子模块22，用于判别目标的丢失与否：

当新一帧图像到来时，从K个直方图柱中随机选取Z<K个直方图柱，且Z＝6，形成新的大小为Z的子直方图h^(z)(x_t)，子直方图的个数最多为个；计算候选目标区域和训练集中某个目标区域对应子直方图的相似性Ф_{t_z}，其中t＝1，2，…，N，z＝1，2，…，N_s，然后计算总体相似性Φ_t＝1-∏_z(1-Φ_{t_z})；候选目标区域与目标的相似性用Ф＝max{Ф_t,t}表示，则目标丢失判断式为： $u=sign\left(\mathrm{\&Phi;}\right)=\left\{\begin{array}{cc}1& \mathrm{\&Phi;}\&GreaterEqual;gs\\ 0& \mathrm{\&Phi;}<gs\end{array}\right.,$ 其中gs为人为设定的判失阀值；当u＝1时目标被稳定跟踪，当u＝0时，目标丢失；

当目标丢失时，定义仿射变换模型： $\left(\begin{array}{c}{x}_t\\ y_t\end{array}\right)=\left(\begin{array}{cc}s.cos({\mathrm{\&mu;}}_1\&times;\mathrm{\&theta;})& s.sin({\mathrm{\&mu;}}_1\&times;\mathrm{\&theta;})\\ -s.sin({\mathrm{\&mu;}}_1\&times;\mathrm{\&theta;})& s.cos({\mathrm{\&mu;}}_1\&times;\mathrm{\&theta;})\end{array}\right)\left(\begin{array}{c}{x}_{t-1}\\ y_{t-1}\end{array}\right)+{\mathrm{\&mu;}}_2\left(\begin{array}{c}e\\ f\end{array}\right),$ 其中(x_t,y_t)和(x_t-1,y_t-1)分别为当前帧目标中某个SITF特征点的位置坐标和前一个帧目标中对应匹配特征点的位置坐标，两者均为已知量；s为尺度系数，θ为旋转系数，e和f代表了平移系数， ${\mathrm{\&mu;}}_1=\left\{\begin{array}{cc}1-\frac{|T-T_0|}{1000T_0}& T\&GreaterEqual;T_0\\ 1+\frac{|T-T_0|}{1000T_0}& T<T_0\end{array}\right.$ 为温度旋转修正系数， ${\mathrm{\&mu;}}_2=\left\{\begin{array}{cc}\sqrt{1-\frac{|T-T_0|}{1000T_0}}& T\&GreaterEqual;T_0\\ \sqrt{1+\frac{|T-T_0|}{1000T_0}}& T<T_0\end{array}\right.$ 为温度平移修正系数，μ₁和μ₂用于修正因为环境温度偏差造成的图像旋转和平移误差，T₀为人为设定的标准温度，设为20度，T为由温度传感器实时监测得到的温度值；采用Ransac估计算法求取仿射变换模型的参数，最后在新的尺度s和旋转系数θ下采集正负样本，更新分类器；

更新子模块23，用于视觉字典的更新：

在每帧图像获得目标位置以后，根据仿射变换参数的计算结果，收集所有满足结果参数的SIFT特征点经过F＝5帧以后，获得新的特征点集其中S_t-F代表了从F帧图像中得到的总特征点数；利用下式对新旧特征点重新进行K聚类： 其中表示新的视觉字典，视觉字典的大小保持不变；是遗忘因子，表明了旧字典所占的比重，越小，新特征对目标丢失的判断贡献越多，取

(3)识别输出模块3，用于图像的识别和输出：在待识别的图像序列中利用跟踪算法获取目标区域，将目标区域映射到已知训练数据形成的子空间，计算子空间中目标区域与训练数据之间的距离，获得相似性度量，判定目标类别，并输出识别结果。

优选的，采用维纳滤波来进行一级滤除后，此时图像信息还包含有残余的噪音，采用以下的二级滤波器进行二次滤波：

$J(x,y)={\mathrm{\&Sigma;}}_{i=-m/2}^{m/2}{\mathrm{\&Sigma;}}_{j=-n/2}^{n/2}H(x,y)P_g(x+i,y+j)$

其中，J(x,y)为经过滤波后的图像；P_g(x+i，y+j)代表尺度为m×n的函数，且P_g(x+i，y+j)＝q×exp(-(x²+y²)/ω)，其中q是将函数归一化的系数，即：∫∫q×exp(-(x²+y²)/ω)dxdy＝1。

此实施例的无人驾驶叉运装置，在图像预处理阶段，增强的图像能够根据模板的大小自适应调整，提高增强效果，且在在不同模板大小时判断条件能自动修正，且考虑了视觉习惯以及人眼对不同色彩的感知度同色彩强度的非线性关系；充分利用了图像的局部特征和全局特征，具有自适应性，可以抑制过度增强，对复杂光照环境下获取的图像增强效果明显；将M×N个幂指数运算降低为256个，提高了计算效率，Z＝6，F＝5，计算平均帧率为17FPS，计算量小于同类型的字典算法；在目标检测和跟踪阶段，能够消除不同温度导致图像的旋转和平移造成的误差，提高识别率，经处理后的图像细节更加清晰，且计算量相对于传统方法大幅度减少，能够有效适应目标尺度变化，并能够准确判定目标是否发生丢失，在目标重新回到视场后能够被重新检测并稳定跟踪，直至120帧后仍能稳定跟踪目标。此外，该无人驾驶叉车具有实时性好、定位准确和鲁棒性强的优点，且在快速有遮挡的目标检测和跟踪方面有很好的效果，取得了意想不到的效果。

实施例4：如图1-2所示，一种局部和全局特征相结合的无人驾驶叉运装置，包括无人驾驶叉车5和安装在无人驾驶叉车5上的监测装置4，监测装置4用于对无人驾驶叉车5附近的活动进行视频图像监测，监测装置4包括预处理模块1、检测跟踪模块2、识别输出模块3。

(1)预处理模块1,用于对接收到的图像进行预处理，具体包括图像转化子模块11、图像滤波子模块12和图像增强子模块13：

图像转化子模块11,用于将彩色图像转化为灰度图像:

$\begin{array}{c}H\left(x,y\right)=\frac{\max \left(R\left(x,y\right),G\left(x,y\right),B\left(x,y\right)\right)+\min \left(R\left(x,y\right),G\left(x,y\right),B\left(x,y\right)\right)}{2}+2(\max \left(R\left(x,y\right),G\left(x,y\right),B\left(x,y\right)\right)-\\ min\left(R\right(x,y),G(x,y),B(x,y)\left)\right)\end{array}$

其中，R(x,y)、G(x,y)、B(x,y)分别代表像素(x,y)处的红绿蓝强度值，H(x,y)代表坐标(x,y)处的像素灰度值；图像大小为m×n；

图像滤波子模块12，用于对灰度图像进行滤波：

采用维纳滤波来进行一级滤除后，定义svlm图像，记为M_svlm(x,y)，具体定义公式为：M_svlm(x，y)＝a₁J₁(x，y)+a₂J₂(x，y)+a₃J₃(x，y)+a₄J₄(x，y)，其中a₁、a₂、a₃、a₄为可变权值，i＝1，2，3，4；J(x,y)为经滤波后的图像；

图像增强子模块13：

当 $|128-m|>\sqrt[3]{|\mathrm{\&omega;}-50|}$ 时， $L(x,y)=255\&times;{\left(\frac{H(x,y)}{255}\right)}^{\mathrm{\&psi;}(x,y)},$ 其中，L(x,y)为增强后的灰度值；ψ(x,y)是包含有局部信息的伽马校正系数，此时α是范围为0到1的可变参数，

当 $|128-m|\&le;\sqrt[3]{|\mathrm{\&omega;}-50|}$ 且ω＞50时， $L(x,y)=255\&times;{\left(\frac{H(x,y)}{255}\right)}^{\mathrm{\&psi;}(x,y)\&times;(1-\frac{\mathrm{\&omega;}-50}{{\mathrm{\&omega;}}^2})},$ 其中ψ(x，y)＝ψ_α(M_svlm(x，y))，m_H是图像中灰度值高于128的所有像素的均值，m_L是灰度值低于128的所有像素的均值，且此时m＝min(m_H，m_L)，在α值已知的情况下，计算出256个ψ校正系数作为查找表，记为其中i为索引值，利用M_svlm(x,y)的灰度值作为索引，根据ψ(x，y)＝ψ_α(M_svlm(x，y))快速获得图像中每个像素的伽马校正系数ψ(x,y)；为模板修正系数；

(2)检测跟踪模块2，具体包括构建子模块21、丢失判别子模块22和更新子模块23：

构建子模块21，用于视觉字典的构建：

在初始帧获取跟踪目标的位置和尺度，在其周围选取正负样本训练跟踪器，将跟踪结果作为训练集X＝{x₁，x₂，……x_N}^T；并对训练集中的每幅目标图像提取128维的SIFT特征其中S_t表示训练集中第t幅目标图像中SIFT特征的个数；跟踪N帧以后，通过聚类算法将这些特征划分为K个簇，每个簇的中心构成特征单词，记为能够提取到的特征总量其中K＜＜F_N，且视觉字典构建好以后，每幅训练图像表示为特征包的形式，用于表示视觉字典中特征单词出现的频率，用直方图h(x_t)表示，h(x_t)通过以下方式获取：将一幅训练图像X_t中的每一个特征f_s ^(t)向视觉字典投影，用投影距离最短的特征单词表示该特征，对所有特征投影完毕后，统计每个特征单词的出现频率，并归一化得到训练图像X_t的特征直方图h(x_t)；

丢失判别子模块22，用于判别目标的丢失与否：

当新一帧图像到来时，从K个直方图柱中随机选取Z<K个直方图柱，且Z＝7，形成新的大小为Z的子直方图h^(z)(x_t)，子直方图的个数最多为个；计算候选目标区域和训练集中某个目标区域对应子直方图的相似性Ф_{t_z}，其中t＝1，2，…，N，z＝1，2，…，N_s，然后计算总体相似性Φ_t＝1-∏_z(1-Φ_{t_z})；候选目标区域与目标的相似性用Ф＝max{Ф_t,t}表示，则目标丢失判断式为： $u=sign\left(\mathrm{\&Phi;}\right)=\left\{\begin{array}{cc}1& \mathrm{\&Phi;}\&GreaterEqual;gs\\ 0& \mathrm{\&Phi;}<gs\end{array}\right.,$ 其中gs为人为设定的判失阀值；当u＝1时目标被稳定跟踪，当u＝0时，目标丢失；

当目标丢失时，定义仿射变换模型： $\left(\begin{array}{c}{x}_t\\ y_t\end{array}\right)=\left(\begin{array}{cc}s.cos({\mathrm{\&mu;}}_1\&times;\mathrm{\&theta;})& s.sin({\mathrm{\&mu;}}_1\&times;\mathrm{\&theta;})\\ -s.sin({\mathrm{\&mu;}}_1\&times;\mathrm{\&theta;})& s.cos({\mathrm{\&mu;}}_1\&times;\mathrm{\&theta;})\end{array}\right)\left(\begin{array}{c}{x}_{t-1}\\ y_{t-1}\end{array}\right)+{\mathrm{\&mu;}}_2\left(\begin{array}{c}e\\ f\end{array}\right),$ 其中(x_t,y_t)和(x_t-1,y_t-1)分别为当前帧目标中某个SITF特征点的位置坐标和前一个帧目标中对应匹配特征点的位置坐标，两者均为已知量；s为尺度系数，θ为旋转系数，e和f代表了平移系数， ${\mathrm{\&mu;}}_1=\left\{\begin{array}{cc}1-\frac{|T-T_0|}{1000T_0}& T\&GreaterEqual;T_0\\ 1+\frac{|T-T_0|}{1000T_0}& T<T_0\end{array}\right.$ 为温度旋转修正系数， ${\mathrm{\&mu;}}_2=\left\{\begin{array}{cc}\sqrt{1-\frac{|T-T_0|}{1000T_0}}& T\&GreaterEqual;T_0\\ \sqrt{1+\frac{|T-T_0|}{1000T_0}}& T<T_0\end{array}\right.$ 为温度平移修正系数，μ₁和μ₂用于修正因为环境温度偏差造成的图像旋转和平移误差，T₀为人为设定的标准温度，设为20度，T为由温度传感器实时监测得到的温度值；采用Ransac估计算法求取仿射变换模型的参数，最后在新的尺度s和旋转系数θ下采集正负样本，更新分类器；

更新子模块23，用于视觉字典的更新：

在每帧图像获得目标位置以后，根据仿射变换参数的计算结果，收集所有满足结果参数的SIFT特征点经过F＝6帧以后，获得新的特征点集其中S_t-F代表了从F帧图像中得到的总特征点数；利用下式对新旧特征点重新进行K聚类： 其中表示新的视觉字典，视觉字典的大小保持不变；是遗忘因子，表明了旧字典所占的比重，越小，新特征对目标丢失的判断贡献越多，取

(3)识别输出模块3，用于图像的识别和输出：在待识别的图像序列中利用跟踪算法获取目标区域，将目标区域映射到已知训练数据形成的子空间，计算子空间中目标区域与训练数据之间的距离，获得相似性度量，判定目标类别，并输出识别结果。

优选的，采用维纳滤波来进行一级滤除后，此时图像信息还包含有残余的噪音，采用以下的二级滤波器进行二次滤波：

$J(x,y)={\mathrm{\&Sigma;}}_{i=-m/2}^{m/2}{\mathrm{\&Sigma;}}_{j=-n/2}^{n/2}H(x,y)P_g(x+i,y+j)$

其中，J(x,y)为经过滤波后的图像；P_g(x+i，y+j)代表尺度为m×n的函数，且P_g(x+i，y+j)＝q×exp(-(x²+y²)/ω)，其中q是将函数归一化的系数，即：∫∫q×exp(-(x²+y₂)/ω)dxdy＝1。

此实施例的无人驾驶叉运装置，在图像预处理阶段，增强的图像能够根据模板的大小自适应调整，提高增强效果，且在在不同模板大小时判断条件能自动修正，且考虑了视觉习惯以及人眼对不同色彩的感知度同色彩强度的非线性关系；充分利用了图像的局部特征和全局特征，具有自适应性，可以抑制过度增强，对复杂光照环境下获取的图像增强效果明显；将M×N个幂指数运算降低为256个，提高了计算效率，Z＝7，F＝6，φ＝0.18，计算平均帧率为18FPS，计算量小于同类型的字典算法；在目标检测和跟踪阶段，能够消除不同温度导致图像的旋转和平移造成的误差，提高识别率，经处理后的图像细节更加清晰，且计算量相对于传统方法大幅度减少，能够有效适应目标尺度变化，并能够准确判定目标是否发生丢失，在目标重新回到视场后能够被重新检测并稳定跟踪，直至125帧后仍能稳定跟踪目标。此外，该无人驾驶叉车具有实时性好、定位准确和鲁棒性强的优点，且在快速有遮挡的目标检测和跟踪方面有很好的效果，取得了意想不到的效果。

实施例5：如图1-2所示，一种局部和全局特征相结合的无人驾驶叉运装置，包括无人驾驶叉车5和安装在无人驾驶叉车5上的监测装置4，监测装置4用于对无人驾驶叉车5附近的活动进行视频图像监测，监测装置4包括预处理模块1、检测跟踪模块2、识别输出模块3。

(1)预处理模块1,用于对接收到的图像进行预处理，具体包括图像转化子模块11、图像滤波子模块12和图像增强子模块13：

图像转化子模块11,用于将彩色图像转化为灰度图像:

$\begin{array}{c}H\left(x,y\right)=\frac{\max \left(R\left(x,y\right),G\left(x,y\right),B\left(x,y\right)\right)+\min \left(R\left(x,y\right),G\left(x,y\right),B\left(x,y\right)\right)}{2}+2(\max \left(R\left(x,y\right),G\left(x,y\right),B\left(x,y\right)\right)-\\ min\left(R\right(x,y),G(x,y),B(x,y)\left)\right)\end{array}$

其中，R(x,y)、G(x,y)、B(x,y)分别代表像素(x,y)处的红绿蓝强度值，H(x,y)代表坐标(x,y)处的像素灰度值；图像大小为m×n；

图像滤波子模块12，用于对灰度图像进行滤波：

采用维纳滤波来进行一级滤除后，定义svlm图像，记为M_svlm(x,y)，具体定义公式为：M_svlm(x，y)＝a₁J₁(x，y)+a₂J₂(x，y)+a₃J₃(x，y)+a₄J₄(x，y)，其中a₁、a₂、a₃、a₄为可变权值，i＝1，2，3，4；J(x,y)为经滤波后的图像；

图像增强子模块13：

当 $|128-m|>\sqrt[3]{|\mathrm{\&omega;}-50|}$ 时， $L(x,y)=255\&times;{\left(\frac{H(x,y)}{255}\right)}^{\mathrm{\&psi;}(x,y)},$ 其中，L(x,y)为增强后的灰度值；ψ(x,y)是包含有局部信息的伽马校正系数，此时α是范围为0到1的可变参数，

当 $|128-m|\&le;\sqrt[3]{|\mathrm{\&omega;}-50|}$ 且ω＞50时， $L(x,y)=255\&times;{\left(\frac{H(x,y)}{255}\right)}^{\mathrm{\&psi;}(x,y)\&times;(1-\frac{\mathrm{\&omega;}-50}{{\mathrm{\&omega;}}^2})},$ 其中ψ(x，y)＝ψ_α(M_svlm(x，y))，m_H是图像中灰度值高于128的所有像素的均值，m_L是灰度值低于128的所有像素的均值，且此时m＝min(m_H，m_L)，在α值已知的情况下，计算出256个ψ校正系数作为查找表，记为其中i为索引值，利用M_svlm(x,y)的灰度值作为索引，根据ψ(x，y)＝ψ_α(M_svlm(x，y))快速获得图像中每个像素的伽马校正系数ψ(x,y)；为模板修正系数；

(2)检测跟踪模块2，具体包括构建子模块21、丢失判别子模块22和更新子模块23：

构建子模块21，用于视觉字典的构建：

在初始帧获取跟踪目标的位置和尺度，在其周围选取正负样本训练跟踪器，将跟踪结果作为训练集X＝{x₁,x₂,……x_N}^T；并对训练集中的每幅目标图像提取128维的SIFT特征其中S_t表示训练集中第t幅目标图像中SIFT特征的个数；跟踪N帧以后，通过聚类算法将这些特征划分为K个簇，每个簇的中心构成特征单词，记为能够提取到的特征总量其中K＜＜F_N，且视觉字典构建好以后，每幅训练图像表示为特征包的形式，用于表示视觉字典中特征单词出现的频率，用直方图h(x_t)表示，h(x_t)通过以下方式获取：将一幅训练图像x_t中的每一个特征f_s ^(t)向视觉字典投影，用投影距离最短的特征单词表示该特征，对所有特征投影完毕后，统计每个特征单词的出现频率，并归一化得到训练图像X_t的特征直方图h(x_t)；

丢失判别子模块22，用于判别目标的丢失与否：

当新一帧图像到来时，从K个直方图柱中随机选取Z<K个直方图柱，且Z＝8，形成新的大小为Z的子直方图h^(z)(x_t)，子直方图的个数最多为个；计算候选目标区域和训练集中某个目标区域对应子直方图的相似性Ф_{t_z}，其中t＝1，2，…，N，z＝1，2，…，N_s，然后计算总体相似性Φ_t＝1-∏_z(1-Φ_{t_z})；候选目标区域与目标的相似性用Ф＝max{Ф_t,t}表示，则目标丢失判断式为： $u=sign\left(\mathrm{\&Phi;}\right)=\left\{\begin{array}{cc}1& \mathrm{\&Phi;}\&GreaterEqual;gs\\ 0& \mathrm{\&Phi;}<gs\end{array}\right.,$ 其中gs为人为设定的判失阀值；当u＝1时目标被稳定跟踪，当u＝0时，目标丢失；

当目标丢失时，定义仿射变换模型： $\left(\begin{array}{c}{x}_t\\ y_t\end{array}\right)=\left(\begin{array}{cc}s.cos({\mathrm{\&mu;}}_1\&times;\mathrm{\&theta;})& s.sin({\mathrm{\&mu;}}_1\&times;\mathrm{\&theta;})\\ -s.sin({\mathrm{\&mu;}}_1\&times;\mathrm{\&theta;})& s.cos({\mathrm{\&mu;}}_1\&times;\mathrm{\&theta;})\end{array}\right)\left(\begin{array}{c}{x}_{t-1}\\ y_{t-1}\end{array}\right)+{\mathrm{\&mu;}}_2\left(\begin{array}{c}e\\ f\end{array}\right),$ 其中(x_t,y_t)和(x_t-1,y_t-1)分别为当前帧目标中某个SITF特征点的位置坐标和前一个帧目标中对应匹配特征点的位置坐标，两者均为已知量；s为尺度系数，θ为旋转系数，e和f代表了平移系数， ${\mathrm{\&mu;}}_1=\left\{\begin{array}{cc}1-\frac{|T-T_0|}{1000T_0}& T\&GreaterEqual;T_0\\ 1+\frac{|T-T_0|}{1000T_0}& T<T_0\end{array}\right.$ 为温度旋转修正系数， ${\mathrm{\&mu;}}_2=\left\{\begin{array}{cc}\sqrt{1-\frac{|T-T_0|}{1000T_0}}& T\&GreaterEqual;T_0\\ \sqrt{1+\frac{|T-T_0|}{1000T_0}}& T<T_0\end{array}\right.$ 为温度平移修正系数，μ₁和μ₂用于修正因为环境温度偏差造成的图像旋转和平移误差，T₀为人为设定的标准温度，设为20度，T为由温度传感器实时监测得到的温度值；采用Ransac估计算法求取仿射变换模型的参数，最后在新的尺度s和旋转系数θ下采集正负样本，更新分类器；

更新子模块23，用于视觉字典的更新：

在每帧图像获得目标位置以后，根据仿射变换参数的计算结果，收集所有满足结果参数的SIFT特征点经过F＝7帧以后，获得新的特征点集其中F_t-F代表了从F帧图像中得到的总特征点数；利用下式对新旧特征点重新进行K聚类： 其中表示新的视觉字典，视觉字典的大小保持不变；是遗忘因子，表明了旧字典所占的比重，越小，新特征对目标丢失的判断贡献越多，取

(3)识别输出模块3，用于图像的识别和输出：在待识别的图像序列中利用跟踪算法获取目标区域，将目标区域映射到已知训练数据形成的子空间，计算子空间中目标区域与训练数据之间的距离，获得相似性度量，判定目标类别，并输出识别结果。

优选的，采用维纳滤波来进行一级滤除后，此时图像信息还包含有残余的噪音，采用以下的二级滤波器进行二次滤波：

$J(x,y)={\mathrm{\&Sigma;}}_{i=-m/2}^{m/2}{\mathrm{\&Sigma;}}_{j=-n/2}^{n/2}H(x,y)P_g(x+i,y+j)$

其中，J(x,y)为经过滤波后的图像；P_g(x+i，y+j)代表尺度为m×n的函数，且P_g(x+i，y+j)＝q×exp(-(x²+y²)/ω)，其中q是将函数归一化的系数，即：∫∫q×exp(-(x²+y²)/ω)dxdy＝1。

此实施例的无人驾驶叉运装置，在图像预处理阶段，增强的图像能够根据模板的大小自适应调整，提高增强效果，且在在不同模板大小时判断条件能自动修正，且考虑了视觉习惯以及人眼对不同色彩的感知度同色彩强度的非线性关系；充分利用了图像的局部特征和全局特征，具有自适应性，可以抑制过度增强，对复杂光照环境下获取的图像增强效果明显；将M×N个幂指数运算降低为256个，提高了计算效率，Z＝8，F＝7，计算平均帧率为19FPS，计算量小于同类型的字典算法；在目标检测和跟踪阶段，能够消除不同温度导致图像的旋转和平移造成的误差，提高识别率，经处理后的图像细节更加清晰，且计算量相对于传统方法大幅度减少，能够有效适应目标尺度变化，并能够准确判定目标是否发生丢失，在目标重新回到视场后能够被重新检测并稳定跟踪，直至130帧后仍能稳定跟踪目标。此外，该无人驾驶叉车具有实时性好、定位准确和鲁棒性强的优点，且在快速有遮挡的目标检测和跟踪方面有很好的效果，取得了意想不到的效果。

Claims (2)

1.一种局部和全局特征相结合的无人驾驶叉运装置，包括无人驾驶叉车和安装在无人驾驶叉车上的监测装置，监测装置用于对无人驾驶叉车附近的活动进行视频图像监测，其特征是，监测装置包括预处理模块、检测跟踪模块、识别输出模块；

(1)预处理模块，用于对接收到的图像进行预处理，具体包括图像转化子模块、图像滤波子模块和图像增强子模块：

图像转化子模块，用于将彩色图像转化为灰度图像：

$\begin{array}{c}H\left(x,y\right)=\frac{\max \left(R\left(x,y\right),G\left(x,y\right),B\left(x,y\right)\right)+\min \left(R\left(x,y\right),G\left(x,y\right),B\left(x,y\right)\right)}{2}+2(\max \left(R\left(x,y\right),G\left(x,y\right),B\left(x,y\right)\right)-\\ min\left(R\right(x,y),G(x,y),B(x,y)\left)\right)\end{array}$

其中，R(x，y)、G(x，y)、B(x，y)分别代表像素(x，y)处的红绿蓝强度值，H(x，y)代表坐标(x，y)处的像素灰度值；图像大小为m×n；

图像滤波子模块，用于对灰度图像进行滤波：

采用维纳滤波来进行一级滤除后，定义svlm图像，记为M_svlm(x，y)，具体定义公式为：M_svlm(x，y)＝a₁J₁(x，y)+a₂J₂(x，y)+a₃J₃(x，y)+a₄J₄(x，y)，其中a₁、a₂、a₃、a₄为可变权值，i＝1，2，3，4；J(x，y)为经滤波后的图像；

图像增强子模块：

当时， $L(x,y)=255\&times;{\left(\frac{H(x,y)}{255}\right)}^{\mathrm{\&psi;}(x,y)},$ 其中，L(x，y)为增强后的灰度值；ψ(x，y)是包含有局部信息的伽马校正系数，此时α是范围为0到1的可变参数，ω为模板尺度大小参量，尺度越大则模板中包含的邻域像素信息就越多，输入图像经过不同尺度ω_i的模板，得到的图像J_i将会包含不同范围的邻域信息；

当 $\left|128-m\right|\&le;\sqrt[3]{\left|\mathrm{\&omega;}-50\right|}$ 且ω＞50时， $L(x,y)=255\&times;{\left(\frac{H(x,y)}{255}\right)}^{\mathrm{\&psi;}(x,y)\&times;(1-\frac{\mathrm{\&omega;}-50}{{\mathrm{\&omega;}}^2})},$ 其中ψ(x，y)＝ψ_α(M_svlm(x，y))，m_H是图像中灰度值高于128的所有像素的均值，m_L是灰度值低于128的所有像素的均值，且此时m＝min(m_H，m_L)，在α值已知的情况下，计算出256个ψ校正系数作为查找表，记为其中i为索引值，利用M_svlm(x，y)的灰度值作为索引，根据ψ(x，y)＝ψ_α(M_svlm(x，y))快速获得图像中每个像素的伽马校正系数ψ(x，y)；为模板修正系数；

(2)检测跟踪模块，具体包括构建子模块、丢失判别子模块和更新子模块：

构建子模块，用于视觉字典的构建：

在初始帧获取跟踪目标的位置和尺度，在其周围选取正负样本训练跟踪器，将跟踪结果作为训练集X＝{x₁，x₂，......x_N}^T；并对训练集中的每幅目标图像提取128维的SIFT特征其中S_t表示训练集中第t幅目标图像中SIFT特征的个数；跟踪N帧以后，通过聚类算法将这些特征划分为K个簇，每个簇的中心构成特征单词，记为能够提取到的特征总量其中K＜＜F_N，且视觉字典构建好以后，每幅训练图像表示为特征包的形式，用于表示视觉字典中特征单词出现的频率，用直方图h(x_t)表示，h(x_t)通过以下方式获取：将一幅训练图像X_t中的每一个特征f_s ^(t)向视觉字典投影，用投影距离最短的特征单词表示该特征，对所有特征投影完毕后，统计每个特征单词的出现频率，并归一化得到训练图像X_t的特征直方图h(x_t)；

丢失判别子模块，用于判别目标的丢失与否：

当新一帧图像到来时，从K个直方图柱中随机选取Z＜K个直方图柱，且Z＝4，形成新的大小为Z的子直方图h^(z)(x_t)，子直方图的个数最多为个；计算候选目标区域和训练集中某个目标区域对应子直方图的相似性Φ_{t_z}，其中t＝1，2，...，N，z＝1，2，...，N_s，然后计算总体相似性Φ_t＝1-∏_z(1-Φ_{t_z})；候选目标区域与目标的相似性用Φ＝max{Φ_t，t}表示，则目标丢失判断式为： $u=sign\left(\mathrm{\&Phi;}\right)=\left\{\begin{array}{cc}1& \mathrm{\&Phi;}\&GreaterEqual;gs\\ 0& \mathrm{\&Phi;}<gs\end{array}\right.,$ 其中gs为人为设定的判失阀值；当u＝1时目标被稳定跟踪，当u＝0时，目标丢失；当目标丢失时，定义仿射变换模型： $\left(\begin{array}{c}{x}_t\\ y_t\end{array}\right)=\left(\begin{array}{cc}s.cos({\mathrm{\&mu;}}_1\&times;\mathrm{\&theta;})& s.sin({\mathrm{\&mu;}}_1\&times;\mathrm{\&theta;})\\ -s.sin({\mathrm{\&mu;}}_1\&times;\mathrm{\&theta;})& s.cos({\mathrm{\&mu;}}_1\&times;\mathrm{\&theta;})\end{array}\right)\left(\begin{array}{c}{x}_{t-1}\\ y_{t-1}\end{array}\right)+{\mathrm{\&mu;}}_2\left(\begin{array}{c}e\\ f\end{array}\right),$ 其中(x_t，y_t)和(x_t-1，y_t-1)分别为当前帧目标中某个SITF特征点的位置坐标和前一个帧目标中对应匹配特征点的位置坐标，两者均为已知量；s为尺度系数，θ为旋转系数，e和f代表了平移系数， ${\mathrm{\&mu;}}_1=\left\{\begin{array}{cc}1-\frac{|T-T_0|}{1000T_0}& T\&GreaterEqual;T_0\\ 1+\frac{|T-T_0|}{1000T_0}& T<T_0\end{array}\right.$ 为温度旋转修正系数， ${\mathrm{\&mu;}}_2=\left\{\begin{array}{cc}\sqrt{1-\frac{|T-T_0|}{1000T_0}}& T\&GreaterEqual;T_0\\ \sqrt{1+\frac{|T-T_0|}{1000T_0}}& T<T_0\end{array}\right.$ 为温度平移修正系数，μ₁和μ₂用于修正因为环境温度偏差造成的图像旋转和平移误差，T₀为人为设定的标准温度，设为20度，T为由温度传感器实时监测得到的温度值；采用Ransac估计算法求取仿射变换模型的参数，最后在新的尺度s和旋转系数θ下采集正负样本，更新分类器；

更新子模块，用于视觉字典的更新：

在每帧图像获得目标位置以后，根据仿射变换参数的计算结果，收集所有满足结果参数的SIFT特征点经过F＝3帧以后，获得新的特征点集其中S_t-F代表了从F帧图像中得到的总特征点数；利用下式对新旧特征点重新进行K聚类： 其中表示新的视觉字典，视觉字典的大小保持不变；是遗忘因子，表明了旧字典所占的比重，越小，新特征对目标丢失的判断贡献越多，取

(3)识别输出模块，用于图像的识别和输出：在待识别的图像序列中利用跟踪算法获取目标区域，将目标区域映射到已知训练数据形成的子空间，计算子空间中目标区域与训练数据之间的距离，获得相似性度量，判定目标类别，并输出识别结果。

2.根据权利要求1所述的一种局部和全局特征相结合的无人驾驶叉运装置，其特征是，采用维纳滤波来进行一级滤除后，此时图像信息还包含有残余的噪音，采用以下的二级滤波器进行二次滤波：

$J(x,y)={\mathrm{\&Sigma;}}_{i=-m/2}^{m/2}{\mathrm{\&Sigma;}}_{j=-n/2}^{n/2}H(x,y)P_g(x+i,y+j)$

其中，J(x，y)为经过滤波后的图像；P_g(x+i，y+j)代表尺度为m×n的函数，且P_g(x+i，y+j)＝q×exp(-(x²+y²)/ω)，其中q是将函数归一化的系数，即：∫∫q×exp(-(x²+y²)/ω)dxdy＝1。