CN105718910A - 一种局部和全局特征相结合的蓄电池室 - Google Patents

一种局部和全局特征相结合的蓄电池室 Download PDF

Info

Publication number
CN105718910A
CN105718910A CN201610049001.4A CN201610049001A CN105718910A CN 105718910 A CN105718910 A CN 105718910A CN 201610049001 A CN201610049001 A CN 201610049001A CN 105718910 A CN105718910 A CN 105718910A
Authority
CN
China
Prior art keywords
image
target
feature
submodule
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610049001.4A
Other languages
English (en)
Inventor
孟玲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201610049001.4A priority Critical patent/CN105718910A/zh
Publication of CN105718910A publication Critical patent/CN105718910A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • G06F18/232Non-hierarchical techniques
    • G06F18/2321Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Abstract

本发明公开了一种局部和全局特征相结合的蓄电池室,包括蓄电池室和安装在蓄电池室上的监控装置,监控装置具体包括预处理模块、检测跟踪模块、识别输出模块,其中预处理模块包含图像转化、图像滤波、图像增强三个子模块,检测跟踪模块包含构建、丢失判别、更新三个子模块。本蓄电池室将视频图像技术运用在蓄电池室上,能有效监控记录对文物的恶意破坏行为,具有实时性好、定位准确、自适应能力强、图像细节保留完整和鲁棒性强等优点。

Description

一种局部和全局特征相结合的蓄电池室
技术领域
本发明涉及蓄电池领域,具体涉及一种局部和全局特征相结合的蓄电池室。
背景技术
蓄电池室是用于安装存放蓄电池的舱室,广泛应用于发电厂、变电站等电力领域。蓄电池是将化学能直接转化成电能的一种装置,是按可再充电设计的电池,通过可逆的化学反应实现再充电,通常是指铅酸蓄电池,它是电池中的一种,属于二次电池。它的工作原理:充电时利用外部的电能使内部活性物质再生,把电能储存为化学能,需要放电时再次把化学能转换为电能输出,比如生活中常用的手机电池等。
另外,蓄电池作为一种重要的昂贵设备,其安全性尤为重要,必须能防止和监视恶意破坏行为。
发明内容
针对上述问题,本发明提供一种局部和全局特征相结合的蓄电池室。
本发明的目的采用以下技术方案来实现:
一种局部和全局特征相结合的蓄电池室,包括蓄电池室和安装在蓄电池室上的监测装置,监测装置用于对蓄电池室内的活动进行视频图像监测,监测装置包括预处理模块、检测跟踪模块、识别输出模块;
(1)预处理模块,用于对接收到的图像进行预处理,具体包括图像转化子模块、图像滤波子模块和图像增强子模块:
图像转化子模块,用于将彩色图像转化为灰度图像:
H ( x , y ) = max ( R ( x , y ) , G ( x , y ) , B ( x , y ) ) + m i n ( R ( x , y ) , G ( x , y ) , B ( x , y ) ) 2 + 2 ( max ( R ( x , y ) , G ( x , y ) , B ( x , y ) ) - m i n ( R ( x , y ) , G ( x , y ) , B ( x , y ) ) )
其中,R(x,y)、G(x,y)、B(x,y)分别代表像素(x,y)处的红绿蓝强度值,H(x,y)代表坐标(x,y)处的像素灰度值;图像大小为m×n;
图像滤波子模块,用于对灰度图像进行滤波:
采用维纳滤波来进行一级滤除后,定义svlm图像,记为Msvlm(x,y),具体定义公式为:Msvlm(x,y)=a1J1(x,y)+a2J2(x,y)+a3J3(x,y)+a4J4(x,y),其中a1、a2、a3、a4为可变权值,i=1,2,3,4;J(x,y)为经滤波后的图像;
图像增强子模块:
| 128 - m | > | ω - 50 | 3 时, L ( x , y ) = 255 × ( H ( x , y ) 255 ) ψ ( x , y ) , 其中,L(x,y)为增强后的灰度值;ψ(x,y)是包含有局部信息的伽马校正系数,此时α是范围为0到1的可变参数,
| 128 - m | ≤ | ω - 50 | 3 且ω>50时, L ( x , y ) = 255 × ( H ( x , y ) 255 ) ψ ( x , y ) × ( 1 - ω - 50 ω 2 ) , 其中ψ(x,y)=ψα(Msvlm(x,y)),mH是图像中灰度值高于128的所有像素的均值,mL是灰度值低于128的所有像素的均值,且此时m=min(mH,mL),在α值已知的情况下,计算出256个ψ校正系数作为查找表,记为其中i为索引值,利用Msvlm(x,y)的灰度值作为索引,根据ψ(x,y)=ψα(Msvlm(x,y))快速获得图像中每个像素的伽马校正系数ψ(x,y);为模板修正系数;
(2)检测跟踪模块,具体包括构建子模块、丢失判别子模块和更新子模块:
构建子模块,用于视觉字典的构建:
在初始帧获取跟踪目标的位置和尺度,在其周围选取正负样本训练跟踪器,将跟踪结果作为训练集X={x1,x2,……xN}T;并对训练集中的每幅目标图像提取128维的SIFT特征其中St表示训练集中第t幅目标图像中SIFT特征的个数;跟踪N帧以后,通过聚类算法将这些特征划分为K个簇,每个簇的中心构成特征单词,记为能够提取到的特征总量其中K<<FN,且视觉字典构建好以后,每幅训练图像表示为特征包的形式,用于表示视觉字典中特征单词出现的频率,用直方图h(xt)表示,h(xt)通过以下方式获取:将一幅训练图像Xt中的每一个特征fs (t)向视觉字典投影,用投影距离最短的特征单词表示该特征,对所有特征投影完毕后,统计每个特征单词的出现频率,并归一化得到训练图像Xt的特征直方图h(xt);
丢失判别子模块,用于判别目标的丢失与否:
当新一帧图像到来时,从K个直方图柱中随机选取Z<K个直方图柱,且Z=4,形成新的大小为Z的子直方图h(z)(xt),子直方图的个数最多为个;计算候选目标区域和训练集中某个目标区域对应子直方图的相似性Фt_z其中t=1,2,…,N,z=1,2,…,Ns,然后计算总体相似性Фt=1-∏z(1-Фt_z);候选目标区域与目标的相似性用Ф=max{Фt,t}表示,则目标丢失判断式为: u = s i g n ( &Phi; ) = 1 &Phi; &GreaterEqual; g s 0 &Phi; < g s , 其中gs为人为设定的判失阀值;当u=1时目标被稳定跟踪,当u=0时,目标丢失;
当目标丢失时,定义仿射变换模型: x t y t = s . cos ( &mu; 1 &times; &theta; ) s . sin ( &mu; 1 &times; &theta; ) - s . sin ( &mu; 1 &times; &theta; ) s . cos ( &mu; 1 &times; &theta; ) x t - 1 y t - 1 + &mu; 2 e f , 其中(xt,yt)和(xt-1,yt-1)分别为当前帧目标中某个SITF特征点的位置坐标和前一个帧目标中对应匹配特征点的位置坐标,两者均为已知量;s为尺度系数,θ为旋转系数,e和f代表了平移系数, &mu; 1 = 1 - | T - T 0 | 1000 T 0 T &GreaterEqual; T 0 1 + | T - T 0 | 1000 T 0 T < T 0 为温度旋转修正系数, &mu; 2 = 1 - | T - T 0 | 1000 T 0 T &GreaterEqual; T 0 1 + | T - T 0 | 1000 T 0 T < T 0 为温度平移修正系数,μ1和μ2用于修正因为环境温度偏差造成的图像旋转和平移误差,T0为人为设定的标准温度,设为20度,T为由温度传感器实时监测得到的温度值;采用Ransac估计算法求取仿射变换模型的参数,最后在新的尺度s和旋转系数θ下采集正负样本,更新分类器;
更新子模块,用于视觉字典的更新:
在每帧图像获得目标位置以后,根据仿射变换参数的计算结果,收集所有满足结果参数的SIFT特征点经过F=3帧以后,获得新的特征点集其中St-F代表了从F帧图像中得到的总特征点数;利用下式对新旧特征点重新进行K聚类: 其中表示新的视觉字典,视觉字典的大小保持不变;是遗忘因子,表明了旧字典所占的比重,越小,新特征对目标丢失的判断贡献越多,取
(3)识别输出模块,用于图像的识别和输出:在待识别的图像序列中利用跟踪算法获取目标区域,将目标区域映射到已知训练数据形成的子空间,计算子空间中目标区域与训练数据之间的距离,获得相似性度量,判定目标类别,并输出识别结果。
优选的,采用维纳滤波来进行一级滤除后,此时图像信息还包含有残余的噪音,采用以下的二级滤波器进行二次滤波:
J ( x , y ) = &Sigma; i = - m / 2 m / 2 &Sigma; j = - n / 2 n / 2 H ( x , y ) P g ( x + i , y + j )
其中,J(x,y)为经过滤波后的图像;Pg(x+i,y+j)代表尺度为m×n的函数,且Pg(x+i,y+j)=q×exp(-(x2+y2)/ω),其中q是将函数归一化的系数,即:∫∫q×exp(-(x2+y2)/ω)dxdy=1。
本蓄电池室的有益效果为:在图像预处理阶段,增强的图像能够根据模板的大小自适应调整,提高增强效果,且在在不同模板大小时判断条件能自动修正,且考虑了视觉习惯以及人眼对不同色彩的感知度同色彩强度的非线性关系;将M×N个幂指数运算降低为256个,提高了计算效率;在目标检测和跟踪阶段,能够消除不同温度导致图像的旋转和平移造成的误差,提高识别率,经处理后的图像细节更加清晰,且计算量相对于传统方法大幅度减少,能够有效适应目标尺度变化,并能够准确判定目标是否发生丢失,在目标重新回到视场后能够被重新检测并稳定跟踪。此外,该蓄电池室具有实时性好、定位准确和鲁棒性强的优点,且在快速有遮挡的目标检测和跟踪方面取得了很好的效果。
附图说明
利用附图对本发明作进一步说明,但附图中的实施例不构成对本发明的任何限制,对于本领域的普通技术人员,在不付出创造性劳动的前提下,还可以根据以下附图获得其它的附图。
图1是一种局部和全局特征相结合的蓄电池室的结构框图;
图2是一种局部和全局特征相结合的蓄电池室的外部示意图。
具体实施方式
结合以下实施例对本发明作进一步描述。
实施例1:如图1-2所示,一种局部和全局特征相结合的蓄电池室,包括蓄电池室5和安装在蓄电池室5上的监测装置4,监测装置4用于对蓄电池室内的活动进行视频图像监测,监测装置4包括预处理模块1、检测跟踪模块2、识别输出模块3。
(1)预处理模块1,用于对接收到的图像进行预处理,具体包括图像转化子模块11、图像滤波子模块12和图像增强子模块13:
图像转化子模块11,用于将彩色图像转化为灰度图像:
H ( x , y ) = max ( R ( x , y ) , G ( x , y ) , B ( x , y ) ) + m i n ( R ( x , y ) , G ( x , y ) , B ( x , y ) ) 2 + 2 ( max ( R ( x , y ) , G ( x , y ) , B ( x , y ) ) - m i n ( R ( x , y ) , G ( x , y ) , B ( x , y ) ) )
其中,R(x,y)、G(x,y)、B(x,y)分别代表像素(x,y)处的红绿蓝强度值,H(x,y)代表坐标(x,y)处的像素灰度值;图像大小为m×n;
图像滤波子模块12,用于对灰度图像进行滤波:
采用维纳滤波来进行一级滤除后,定义svlm图像,记为Msvlm(x,y),具体定义公式为:Msvlm(x,y)=a1J1(x,y)+a2J2(x,y)+a3J3(x,y)+a4J4(x,y),其中a1、a2、a3、a4为可变权值,i=1,2,3,4;J(x,y)为经滤波后的图像;
图像增强子模块13:
| 128 - m | > | &omega; - 50 | 3 时, L ( x , y ) = 255 &times; ( H ( x , y ) 255 ) &psi; ( x , y ) , 其中,L(x,y)为增强后的灰度值;ψ(x,y)是包含有局部信息的伽马校正系数,此时α是范围为0到1的可变参数,
| 128 - m | &le; | &omega; - 50 | 3 且ω>50时, L ( x , y ) = 255 &times; ( H ( x , y ) 255 ) &psi; ( x , y ) &times; ( 1 - &omega; - 50 &omega; 2 ) , 其中ψ(x,y)=ψα(Msvlm(x,y)),mH是图像中灰度值高于128的所有像素的均值,mL是灰度值低于128的所有像素的均值,且此时m=min(mH,mL),在α值已知的情况下,计算出256个ψ校正系数作为查找表,记为其中i为索引值,利用Msvlm(x,y)的灰度值作为索引,根据ψ(x,y)=ψα(Msvlm(x,y))快速获得图像中每个像素的伽马校正系数ψ(x,y);为模板修正系数;
(2)检测跟踪模块2,具体包括构建子模块21、丢失判别子模块22和更新子模块23:
构建子模块21,用于视觉字典的构建:
在初始帧获取跟踪目标的位置和尺度,在其周围选取正负样本训练跟踪器,将跟踪结果作为训练集X={x1,x2,……xN}T;并对训练集中的每幅目标图像提取128维的SIFT特征其中St表示训练集中第t幅目标图像中SIFT特征的个数;跟踪N帧以后,通过聚类算法将这些特征划分为K个簇,每个簇的中心构成特征单词,记为能够提取到的特征总量其中K<<FN,且视觉字典构建好以后,每幅训练图像表示为特征包的形式,用于表示视觉字典中特征单词出现的频率,用直方图h(xt)表示,h(xt)通过以下方式获取:将一幅训练图像Xt中的每一个特征fs (t)向视觉字典投影,用投影距离最短的特征单词表示该特征,对所有特征投影完毕后,统计每个特征单词的出现频率,并归一化得到训练图像Xt的特征直方图h(xt);
丢失判别子模块22,用于判别目标的丢失与否:
当新一帧图像到来时,从K个直方图柱中随机选取Z<K个直方图柱,且Z=4,形成新的大小为Z的子直方图h(z)(xt),子直方图的个数最多为个;计算候选目标区域和训练集中某个目标区域对应子直方图的相似性Фt_z其中t=1,2,…,N,z=1,2,…,Ns,然后计算总体相似性Фt=1-∏z(1-Фt_z);候选目标区域与目标的相似性用Ф=max{Фt,t}表示,则目标丢失判断式为: u = s i g n ( &Phi; ) = 1 &Phi; &GreaterEqual; g s 0 &Phi; < g s , 其中gs为人为设定的判失阀值;当u=1时目标被稳定跟踪,当u=0时,目标丢失;
当目标丢失时,定义仿射变换模型: x t y t = s . cos ( &mu; 1 &times; &theta; ) s . sin ( &mu; 1 &times; &theta; ) - s . sin ( &mu; 1 &times; &theta; ) s . cos ( &mu; 1 &times; &theta; ) x t - 1 y t - 1 + &mu; 2 e f , 其中(xt,yt)和(xt-1,yt-1)分别为当前帧目标中某个SITF特征点的位置坐标和前一个帧目标中对应匹配特征点的位置坐标,两者均为已知量;s为尺度系数,θ为旋转系数,e和f代表了平移系数, &mu; 1 = 1 - | T - T 0 | 1000 T 0 T &GreaterEqual; T 0 1 + | T - T 0 | 1000 T 0 T < T 0 为温度旋转修正系数, &mu; 2 = 1 - | T - T 0 | 1000 T 0 T &GreaterEqual; T 0 1 + | T - T 0 | 1000 T 0 T < T 0 为温度平移修正系数,μ1和μ2用于修正因为环境温度偏差造成的图像旋转和平移误差,T0为人为设定的标准温度,设为20度,T为由温度传感器实时监测得到的温度值;采用Ransac估计算法求取仿射变换模型的参数,最后在新的尺度s和旋转系数θ下采集正负样本,更新分类器;
更新子模块23,用于视觉字典的更新:
在每帧图像获得目标位置以后,根据仿射变换参数的计算结果,收集所有满足结果参数的SIFT特征点经过F=3帧以后,获得新的特征点集其中St-F代表了从F帧图像中得到的总特征点数;利用下式对新旧特征点重新进行K聚类: 其中表示新的视觉字典,视觉字典的大小保持不变;是遗忘因子,表明了旧字典所占的比重,越小,新特征对目标丢失的判断贡献越多,取
(3)识别输出模块,用于图像的识别和输出:在待识别的图像序列中利用跟踪算法获取目标区域,将目标区域映射到已知训练数据形成的子空间,计算子空间中目标区域与训练数据之间的距离,获得相似性度量,判定目标类别,并输出识别结果。
优选的,采用维纳滤波来进行一级滤除后,此时图像信息还包含有残余的噪音,采用以下的二级滤波器进行二次滤波:
J ( x , y ) = &Sigma; i = - m / 2 m / 2 &Sigma; j = - n / 2 n / 2 H ( x , y ) P g ( x + i , y + j )
其中,J(x,y)为经过滤波后的图像;Pg(x+i,y+j)代表尺度为m×n的函数,且Pg(x+i,y+j)=q×exp(-(x2+y2)/ω),其中q是将函数归一化的系数,即:∫∫q×exp(-(x2+y2)/ω)dxdy=1。
此实施例的蓄电池室,在图像预处理阶段,增强的图像能够根据模板的大小自适应调整,提高增强效果,且在在不同模板大小时判断条件能自动修正,且考虑了视觉习惯以及人眼对不同色彩的感知度同色彩强度的非线性关系;充分利用了图像的局部特征和全局特征,具有自适应性,可以抑制过度增强,对复杂光照环境下获取的图像增强效果明显;将M×N个幂指数运算降低为256个,提高了计算效率,Z=4,F=3,计算平均帧率为15FPS,计算量小于同类型的字典算法;在目标检测和跟踪阶段,能够消除不同温度导致图像的旋转和平移造成的误差,提高识别率,经处理后的图像细节更加清晰,且计算量相对于传统方法大幅度减少,能够有效适应目标尺度变化,并能够准确判定目标是否发生丢失,在目标重新回到视场后能够被重新检测并稳定跟踪,直至110帧后仍能稳定跟踪目标。此外,该蓄电池室具有实时性好、定位准确和鲁棒性强的优点,且在快速有遮挡的目标检测和跟踪方面有很好的效果,取得了意想不到的效果。
实施例2:如图1-2所示,一种局部和全局特征相结合的蓄电池室,包括蓄电池室5和安装在蓄电池室5上的监测装置4,监测装置4用于对蓄电池室5内的活动进行视频图像监测,监测装置4包括预处理模块1、检测跟踪模块2、识别输出模块3。
(1)预处理模块1,用于对接收到的图像进行预处理,具体包括图像转化子模块11、图像滤波子模块12和图像增强子模块13:
图像转化子模块11,用于将彩色图像转化为灰度图像:
H ( x , y ) = max ( R ( x , y ) , G ( x , y ) , B ( x , y ) ) + m i n ( R ( x , y ) , G ( x , y ) , B ( x , y ) ) 2 + 2 ( max ( R ( x , y ) , G ( x , y ) , B ( x , y ) ) - m i n ( R ( x , y ) , G ( x , y ) , B ( x , y ) ) )
其中,R(x,y)、G(x,y)、B(x,y)分别代表像素(x,y)处的红绿蓝强度值,H(x,y)代表坐标(x,y)处的像素灰度值;图像大小为m×n;
图像滤波子模块12,用于对灰度图像进行滤波:
采用维纳滤波来进行一级滤除后,定义svlm图像,记为Msvlm(x,y),具体定义公式为:Msvlm(x,y)=a1J1(x,y)+a2J2(x,y)+a3J3(x,y)+a4J4(x,y),其中a1、a2、a3、a4为可变权值,i=1,2,3,4;J(x,y)为经滤波后的图像;
图像增强子模块13:
| 128 - m | > | &omega; - 50 | 3 时, L ( x , y ) = 255 &times; ( H ( x , y ) 255 ) &psi; ( x , y ) , 其中,L(x,y)为增强后的灰度值;ψ(x,y)是包含有局部信息的伽马校正系数,此时α是范围为0到1的可变参数,
| 128 - m | &le; | &omega; - 50 | 3 且ω>50时, L ( x , y ) = 255 &times; ( H ( x , y ) 255 ) &psi; ( x , y ) &times; ( 1 - &omega; - 50 &omega; 2 ) , 其中ψ(x,y)=ψα(Msvlm(x,y)),mH是图像中灰度值高于128的所有像素的均值,mL是灰度值低于128的所有像素的均值,且此时m=min(mH,mL),在α值已知的情况下,计算出256个ψ校正系数作为查找表,记为其中i为索引值,利用Msvlm(x,y)的灰度值作为索引,根据ψ(x,y)=ψα(Msvlm(x,y))快速获得图像中每个像素的伽马校正系数ψ(x,y);为模板修正系数;
(2)检测跟踪模块2,具体包括构建子模块21、丢失判别子模块22和更新子模块23:
构建子模块21,用于视觉字典的构建:
在初始帧获取跟踪目标的位置和尺度,在其周围选取正负样本训练跟踪器,将跟踪结果作为训练集X={x1,x2,……xN}T;并对训练集中的每幅目标图像提取128维的SIFT特征其中St表示训练集中第t幅目标图像中SIFT特征的个数;跟踪N帧以后,通过聚类算法将这些特征划分为K个簇,每个簇的中心构成特征单词,记为能够提取到的特征总量其中K<<FN,且视觉字典构建好以后,每幅训练图像表示为特征包的形式,用于表示视觉字典中特征单词出现的频率,用直方图h(xt)表示,h(xt)通过以下方式获取:将一幅训练图像Xt中的每一个特征fs (t)向视觉字典投影,用投影距离最短的特征单词表示该特征,对所有特征投影完毕后,统计每个特征单词的出现频率,并归一化得到训练图像Xt的特征直方图h(xt);
丢失判别子模块22,用于判别目标的丢失与否:
当新一帧图像到来时,从K个直方图柱中随机选取Z<K个直方图柱,且Z=5,形成新的大小为Z的子直方图h(z)(xt),子直方图的个数最多为个;计算候选目标区域和训练集中某个目标区域对应子直方图的相似性Фt_z其中t=1,2,…,N,z=1,2,…,Ns,然后计算总体相似性Фt=1-∏z(1-Фt_z);候选目标区域与目标的相似性用Ф=max{Фt,t}表示,则目标丢失判断式为: u = s i g n ( &Phi; ) = 1 &Phi; &GreaterEqual; g s 0 &Phi; < g s , 其中gs为人为设定的判失阀值;当u=1时目标被稳定跟踪,当u=0时,目标丢失;
当目标丢失时,定义仿射变换模型: x t y t = s . cos ( &mu; 1 &times; &theta; ) s . sin ( &mu; 1 &times; &theta; ) - s . sin ( &mu; 1 &times; &theta; ) s . cos ( &mu; 1 &times; &theta; ) x t - 1 y t - 1 + &mu; 2 e f , 其中(xt,yt)和(xt-1,yt-1)分别为当前帧目标中某个SITF特征点的位置坐标和前一个帧目标中对应匹配特征点的位置坐标,两者均为已知量;s为尺度系数,θ为旋转系数,e和f代表了平移系数, &mu; 1 = 1 - | T - T 0 | 1000 T 0 T &GreaterEqual; T 0 1 + | T - T 0 | 1000 T 0 T < T 0 为温度旋转修正系数, &mu; 2 = 1 - | T - T 0 | 1000 T 0 T &GreaterEqual; T 0 1 + | T - T 0 | 1000 T 0 T < T 0 为温度平移修正系数,μ1和μ2用于修正因为环境温度偏差造成的图像旋转和平移误差,T0为人为设定的标准温度,设为20度,T为由温度传感器实时监测得到的温度值;采用Ransac估计算法求取仿射变换模型的参数,最后在新的尺度s和旋转系数θ下采集正负样本,更新分类器;
更新子模块23,用于视觉字典的更新:
在每帧图像获得目标位置以后,根据仿射变换参数的计算结果,收集所有满足结果参数的SIFT特征点经过F=4帧以后,获得新的特征点集其中St-F代表了从F帧图像中得到的总特征点数;利用下式对新旧特征点重新进行K聚类: 其中表示新的视觉字典,视觉字典的大小保持不变;是遗忘因子,表明了旧字典所占的比重,越小,新特征对目标丢失的判断贡献越多,取
(3)识别输出模块,用于图像的识别和输出:在待识别的图像序列中利用跟踪算法获取目标区域,将目标区域映射到已知训练数据形成的子空间,计算子空间中目标区域与训练数据之间的距离,获得相似性度量,判定目标类别,并输出识别结果。
优选的,采用维纳滤波来进行一级滤除后,此时图像信息还包含有残余的噪音,采用以下的二级滤波器进行二次滤波:
J ( x , y ) = &Sigma; i = - m / 2 m / 2 &Sigma; j = - n / 2 n / 2 H ( x , y ) P g ( x + i , y + j )
其中,J(x,y)为经过滤波后的图像;Pg(x+i,y+j)代表尺度为m×n的函数,且Pg(x+i,y+j)=q×exp(-(x2+y2)/ω),其中q是将函数归一化的系数,即:∫∫q×exp(-(x2+y2)/ω)dxdy=1。
此实施例的蓄电池室,在图像预处理阶段,增强的图像能够根据模板的大小自适应调整,提高增强效果,且在在不同模板大小时判断条件能自动修正,且考虑了视觉习惯以及人眼对不同色彩的感知度同色彩强度的非线性关系;充分利用了图像的局部特征和全局特征,具有自适应性,可以抑制过度增强,对复杂光照环境下获取的图像增强效果明显;将M×N个幂指数运算降低为256个,提高了计算效率,Z=5,F=4,计算平均帧率为16FPS,计算量小于同类型的字典算法;在目标检测和跟踪阶段,能够消除不同温度导致图像的旋转和平移造成的误差,提高识别率,经处理后的图像细节更加清晰,且计算量相对于传统方法大幅度减少,能够有效适应目标尺度变化,并能够准确判定目标是否发生丢失,在目标重新回到视场后能够被重新检测并稳定跟踪,直至115帧后仍能稳定跟踪目标。此外,该蓄电池室具有实时性好、定位准确和鲁棒性强的优点,且在快速有遮挡的目标检测和跟踪方面有很好的效果,取得了意想不到的效果。
实施例3:如图1-2所示,一种局部和全局特征相结合的蓄电池室,包括蓄电池室5和安装在蓄电池室5上的监测装置4,监测装置4用于对蓄电池室5内的活动进行视频图像监测,监测装置4包括预处理模块1、检测跟踪模块2、识别输出模块3。
(1)预处理模块1,用于对接收到的图像进行预处理,具体包括图像转化子模块11、图像滤波子模块12和图像增强子模块13:
图像转化子模块11,用于将彩色图像转化为灰度图像:
H ( x , y ) = max ( R ( x , y ) , G ( x , y ) , B ( x , y ) ) + m i n ( R ( x , y ) , G ( x , y ) , B ( x , y ) ) 2 + 2 ( max ( R ( x , y ) , G ( x , y ) , B ( x , y ) ) - m i n ( R ( x , y ) , G ( x , y ) , B ( x , y ) ) )
其中,R(x,y)、G(x,y)、B(x,y)分别代表像素(x,y)处的红绿蓝强度值,H(x,y)代表坐标(x,y)处的像素灰度值;图像大小为m×n;
图像滤波子模块12,用于对灰度图像进行滤波:
采用维纳滤波来进行一级滤除后,定义svlm图像,记为Msvlm(x,y),具体定义公式为:Msvlm(x,y)=a1J1(x,y)+a2J2(x,y)+a3J3(x,y)+a4J4(x,y),其中a1、a2、a3、a4为可变权值,i=1,2,3,4;J(x,y)为经滤波后的图像;
图像增强子模块13:
| 128 - m | > | &omega; - 50 | 3 时, L ( x , y ) = 255 &times; ( H ( x , y ) 255 ) &psi; ( x , y ) , 其中,L(x,y)为增强后的灰度值;ψ(x,y)是包含有局部信息的伽马校正系数,此时α是范围为0到1的可变参数,
| 128 - m | &le; | &omega; - 50 | 3 且ω>50时, L ( x , y ) = 255 &times; ( H ( x , y ) 255 ) &psi; ( x , y ) &times; ( 1 - &omega; - 50 &omega; 2 ) , 其中ψ(x,y)=ψα(Msvlm(x,y)),mH是图像中灰度值高于128的所有像素的均值,mL是灰度值低于128的所有像素的均值,且此时m=min(mH,mL),在α值已知的情况下,计算出256个ψ校正系数作为查找表,记为其中i为索引值,利用Msvlm(x,y)的灰度值作为索引,根据ψ(x,y)=ψα(Msvlm(x,y))快速获得图像中每个像素的伽马校正系数ψ(x,y);为模板修正系数;
(2)检测跟踪模块2,具体包括构建子模块21、丢失判别子模块22和更新子模块23:
构建子模块21,用于视觉字典的构建:
在初始帧获取跟踪目标的位置和尺度,在其周围选取正负样本训练跟踪器,将跟踪结果作为训练集X={x1,x2,……xN}T;并对训练集中的每幅目标图像提取128维的SIFT特征其中St表示训练集中第t幅目标图像中SIFT特征的个数;跟踪N帧以后,通过聚类算法将这些特征划分为K个簇,每个簇的中心构成特征单词,记为能够提取到的特征总量其中K<<FN,且视觉字典构建好以后,每幅训练图像表示为特征包的形式,用于表示视觉字典中特征单词出现的频率,用直方图h(xt)表示,h(xt)通过以下方式获取:将一幅训练图像Xt中的每一个特征fs (t)向视觉字典投影,用投影距离最短的特征单词表示该特征,对所有特征投影完毕后,统计每个特征单词的出现频率,并归一化得到训练图像Xt的特征直方图h(xt);
丢失判别子模块22,用于判别目标的丢失与否:
当新一帧图像到来时,从K个直方图柱中随机选取Z<K个直方图柱,且Z=6,形成新的大小为Z的子直方图h(z)(xt),子直方图的个数最多为个;计算候选目标区域和训练集中某个目标区域对应子直方图的相似性Фt_z其中t=1,2,…,N,z=1,2,…,Ns,然后计算总体相似性Фt=1-∏z(1-Фt_z);候选目标区域与目标的相似性用Ф=max{Фt,t}表示,则目标丢失判断式为: u = s i g n ( &Phi; ) = 1 &Phi; &GreaterEqual; g s 0 &Phi; < g s , 其中gs为人为设定的判失阀值;当u=1时目标被稳定跟踪,当u=0时,目标丢失;
当目标丢失时,定义仿射变换模型: x t y t = s . cos ( &mu; 1 &times; &theta; ) s . sin ( &mu; 1 &times; &theta; ) - s . sin ( &mu; 1 &times; &theta; ) s . cos ( &mu; 1 &times; &theta; ) x t - 1 y t - 1 + &mu; 2 e f , 其中(xt,yt)和(xt-1,yt-1)分别为当前帧目标中某个SITF特征点的位置坐标和前一个帧目标中对应匹配特征点的位置坐标,两者均为已知量;s为尺度系数,θ为旋转系数,e和f代表了平移系数, &mu; 1 = 1 - | T - T 0 | 1000 T 0 T &GreaterEqual; T 0 1 + | T - T 0 | 1000 T 0 T < T 0 为温度旋转修正系数, &mu; 2 = 1 - | T - T 0 | 1000 T 0 T &GreaterEqual; T 0 1 + | T - T 0 | 1000 T 0 T < T 0 为温度平移修正系数,μ1和μ2用于修正因为环境温度偏差造成的图像旋转和平移误差,T0为人为设定的标准温度,设为20度,T为由温度传感器实时监测得到的温度值;采用Ransac估计算法求取仿射变换模型的参数,最后在新的尺度s和旋转系数θ下采集正负样本,更新分类器;
更新子模块23,用于视觉字典的更新:
在每帧图像获得目标位置以后,根据仿射变换参数的计算结果,收集所有满足结果参数的SIFT特征点经过F=5帧以后,获得新的特征点集其中St-F代表了从F帧图像中得到的总特征点数;利用下式对新旧特征点重新进行K聚类: 其中表示新的视觉字典,视觉字典的大小保持不变;是遗忘因子,表明了旧字典所占的比重,越小,新特征对目标丢失的判断贡献越多,取
(3)识别输出模块3,用于图像的识别和输出:在待识别的图像序列中利用跟踪算法获取目标区域,将目标区域映射到已知训练数据形成的子空间,计算子空间中目标区域与训练数据之间的距离,获得相似性度量,判定目标类别,并输出识别结果。
优选的,采用维纳滤波来进行一级滤除后,此时图像信息还包含有残余的噪音,采用以下的二级滤波器进行二次滤波:
J ( x , y ) = &Sigma; i = - m / 2 m / 2 &Sigma; j = - n / 2 n / 2 H ( x , y ) P g ( x + i , y + j )
其中,J(x,y)为经过滤波后的图像;Pg(x+i,y+j)代表尺度为m×n的函数,且Pg(x+i,y+j)=q×exp(-(x2+y2)/ω),其中q是将函数归一化的系数,即:∫∫q×exp(-(x2+y2)/ω)dxdy=1。
此实施例的蓄电池室,在图像预处理阶段,增强的图像能够根据模板的大小自适应调整,提高增强效果,且在在不同模板大小时判断条件能自动修正,且考虑了视觉习惯以及人眼对不同色彩的感知度同色彩强度的非线性关系;充分利用了图像的局部特征和全局特征,具有自适应性,可以抑制过度增强,对复杂光照环境下获取的图像增强效果明显;将M×N个幂指数运算降低为256个,提高了计算效率,Z=6,F=5,计算平均帧率为17FPS,计算量小于同类型的字典算法;在目标检测和跟踪阶段,能够消除不同温度导致图像的旋转和平移造成的误差,提高识别率,经处理后的图像细节更加清晰,且计算量相对于传统方法大幅度减少,能够有效适应目标尺度变化,并能够准确判定目标是否发生丢失,在目标重新回到视场后能够被重新检测并稳定跟踪,直至120帧后仍能稳定跟踪目标。此外,该蓄电池室具有实时性好、定位准确和鲁棒性强的优点,且在快速有遮挡的目标检测和跟踪方面有很好的效果,取得了意想不到的效果。
实施例4:如图1-2所示,一种局部和全局特征相结合的蓄电池室,包括蓄电池室5和安装在蓄电池室5上的监测装置4,监测装置4用于对蓄电池室5内的活动进行视频图像监测,监测装置4包括预处理模块1、检测跟踪模块2、识别输出模块3。
(1)预处理模块1,用于对接收到的图像进行预处理,具体包括图像转化子模块11、图像滤波子模块12和图像增强子模块13:
图像转化子模块11,用于将彩色图像转化为灰度图像:
H ( x , y ) = max ( R ( x , y ) , G ( x , y ) , B ( x , y ) ) + m i n ( R ( x , y ) , G ( x , y ) , B ( x , y ) ) 2 + 2 ( max ( R ( x , y ) , G ( x , y ) , B ( x , y ) ) - m i n ( R ( x , y ) , G ( x , y ) , B ( x , y ) ) )
其中,R(x,y)、G(x,y)、B(x,y)分别代表像素(x,y)处的红绿蓝强度值,H(x,y)代表坐标(x,y)处的像素灰度值;图像大小为m×n;
图像滤波子模块12,用于对灰度图像进行滤波:
采用维纳滤波来进行一级滤除后,定义svlm图像,记为Msvlm(x,y),具体定义公式为:Msvlm(x,y)=a1J1(x,y)+a2J2(x,y)+a3J3(x,y)+a4J4(x,y),其中a1、a2、a3、a4为可变权值,i=1,2,3,4;J(x,y)为经滤波后的图像;
图像增强子模块13:
| 128 - m | > | &omega; - 50 | 3 时, L ( x , y ) = 255 &times; ( H ( x , y ) 255 ) &psi; ( x , y ) , 其中,L(x,y)为增强后的灰度值;ψ(x,y)是包含有局部信息的伽马校正系数,此时α是范围为0到1的可变参数,
| 128 - m | &le; | &omega; - 50 | 3 且ω>50时, L ( x , y ) = 255 &times; ( H ( x , y ) 255 ) &psi; ( x , y ) &times; ( 1 - &omega; - 50 &omega; 2 ) , 其中ψ(x,y)=ψα(Msvlm(x,y)),mH是图像中灰度值高于128的所有像素的均值,mL是灰度值低于128的所有像素的均值,且此时m=min(mH,mL),在α值已知的情况下,计算出256个ψ校正系数作为查找表,记为其中i为索引值,利用Msvlm(x,y)的灰度值作为索引,根据ψ(x,y)=ψα(Msvlm(x,y))快速获得图像中每个像素的伽马校正系数ψ(x,y);为模板修正系数;
(2)检测跟踪模块2,具体包括构建子模块21、丢失判别子模块22和更新子模块23:
构建子模块21,用于视觉字典的构建:
在初始帧获取跟踪目标的位置和尺度,在其周围选取正负样本训练跟踪器,将跟踪结果作为训练集X={x1,x2,……xN}T;并对训练集中的每幅目标图像提取128维的SIFT特征其中St表示训练集中第t幅目标图像中SIFT特征的个数;跟踪N帧以后,通过聚类算法将这些特征划分为K个簇,每个簇的中心构成特征单词,记为能够提取到的特征总量其中K<<FN,且视觉字典构建好以后,每幅训练图像表示为特征包的形式,用于表示视觉字典中特征单词出现的频率,用直方图h(xt)表示,h(xt)通过以下方式获取:将一幅训练图像Xt中的每一个特征fs (t)向视觉字典投影,用投影距离最短的特征单词表示该特征,对所有特征投影完毕后,统计每个特征单词的出现频率,并归一化得到训练图像Xt的特征直方图h(xt);
丢失判别子模块22,用于判别目标的丢失与否:
当新一帧图像到来时,从K个直方图柱中随机选取Z<K个直方图柱,且Z=7,形成新的大小为Z的子直方图h(z)(xt),子直方图的个数最多为个;计算候选目标区域和训练集中某个目标区域对应子直方图的相似性Фt_z其中t=1,2,…,N,z=1,2,…,Ns,然后计算总体相似性Фt=1-∏z(1-Фt_z);候选目标区域与目标的相似性用Ф=max{Фt,t}表示,则目标丢失判断式为: u = s i g n ( &Phi; ) = 1 &Phi; &GreaterEqual; g s 0 &Phi; < g s , 其中gs为人为设定的判失阀值;当u=1时目标被稳定跟踪,当u=0时,目标丢失;
当目标丢失时,定义仿射变换模型: x t y t = s . cos ( &mu; 1 &times; &theta; ) s . sin ( &mu; 1 &times; &theta; ) - s . sin ( &mu; 1 &times; &theta; ) s . cos ( &mu; 1 &times; &theta; ) x t - 1 y t - 1 + &mu; 2 e f , 其中(xt,yt)和(xt-1,yt-1)分别为当前帧目标中某个SITF特征点的位置坐标和前一个帧目标中对应匹配特征点的位置坐标,两者均为已知量;s为尺度系数,θ为旋转系数,e和f代表了平移系数, &mu; 1 = 1 - | T - T 0 | 1000 T 0 T &GreaterEqual; T 0 1 + | T - T 0 | 1000 T 0 T < T 0 为温度旋转修正系数, &mu; 2 = 1 - | T - T 0 | 1000 T 0 T &GreaterEqual; T 0 1 + | T - T 0 | 1000 T 0 T < T 0 为温度平移修正系数,μ1和μ2用于修正因为环境温度偏差造成的图像旋转和平移误差,T0为人为设定的标准温度,设为20度,T为由温度传感器实时监测得到的温度值;采用Ransac估计算法求取仿射变换模型的参数,最后在新的尺度s和旋转系数θ下采集正负样本,更新分类器;
更新子模块23,用于视觉字典的更新:
在每帧图像获得目标位置以后,根据仿射变换参数的计算结果,收集所有满足结果参数的SIFT特征点经过F=6帧以后,获得新的特征点集其中St-F代表了从F帧图像中得到的总特征点数;利用下式对新旧特征点重新进行K聚类: 其中表示新的视觉字典,视觉字典的大小保持不变;是遗忘因子,表明了旧字典所占的比重,越小,新特征对目标丢失的判断贡献越多,取
(3)识别输出模块3,用于图像的识别和输出:在待识别的图像序列中利用跟踪算法获取目标区域,将目标区域映射到已知训练数据形成的子空间,计算子空间中目标区域与训练数据之间的距离,获得相似性度量,判定目标类别,并输出识别结果。
优选的,采用维纳滤波来进行一级滤除后,此时图像信息还包含有残余的噪音,采用以下的二级滤波器进行二次滤波:
J ( x , y ) = &Sigma; i = - m / 2 m / 2 &Sigma; j = - n / 2 n / 2 H ( x , y ) P g ( x + i , y + j )
其中,J(x,y)为经过滤波后的图像;Pg(x+i,y+j)代表尺度为m×n的函数,且Pg(x+i,y+j)=q×exp(-(x2+y2)/ω),其中q是将函数归一化的系数,即:∫∫q×exp(-(x2+y2)/ω)dxdy=1。
此实施例的蓄电池室,在图像预处理阶段,增强的图像能够根据模板的大小自适应调整,提高增强效果,且在在不同模板大小时判断条件能自动修正,且考虑了视觉习惯以及人眼对不同色彩的感知度同色彩强度的非线性关系;充分利用了图像的局部特征和全局特征,具有自适应性,可以抑制过度增强,对复杂光照环境下获取的图像增强效果明显;将M×N个幂指数运算降低为256个,提高了计算效率,Z=7,F=6,φ=0.18,计算平均帧率为18FPS,计算量小于同类型的字典算法;在目标检测和跟踪阶段,能够消除不同温度导致图像的旋转和平移造成的误差,提高识别率,经处理后的图像细节更加清晰,且计算量相对于传统方法大幅度减少,能够有效适应目标尺度变化,并能够准确判定目标是否发生丢失,在目标重新回到视场后能够被重新检测并稳定跟踪,直至125帧后仍能稳定跟踪目标。此外,该蓄电池室具有实时性好、定位准确和鲁棒性强的优点,且在快速有遮挡的目标检测和跟踪方面有很好的效果,取得了意想不到的效果。
实施例5:如图1-2所示,一种局部和全局特征相结合的蓄电池室,包括蓄电池室5和安装在蓄电池室5上的监测装置4,监测装置4用于对蓄电池室5内的活动进行视频图像监测,监测装置4包括预处理模块1、检测跟踪模块2、识别输出模块3。
(1)预处理模块1,用于对接收到的图像进行预处理,具体包括图像转化子模块11、图像滤波子模块12和图像增强子模块13:
图像转化子模块11,用于将彩色图像转化为灰度图像:
H ( x , y ) = max ( R ( x , y ) , G ( x , y ) , B ( x , y ) ) + m i n ( R ( x , y ) , G ( x , y ) , B ( x , y ) ) 2 + 2 ( max ( R ( x , y ) , G ( x , y ) , B ( x , y ) ) - m i n ( R ( x , y ) , G ( x , y ) , B ( x , y ) ) )
其中,R(x,y)、G(x,y)、B(x,y)分别代表像素(x,y)处的红绿蓝强度值,H(x,y)代表坐标(x,y)处的像素灰度值;图像大小为m×n;
图像滤波子模块12,用于对灰度图像进行滤波:
采用维纳滤波来进行一级滤除后,定义svlm图像,记为Msvlm(x,y),具体定义公式为:Msvlm(x,y)=a1J1(x,y)+a2J2(x,y)+a3J3(x,y)+a4J4(x,y),其中a1、a2、a3、a4为可变权值,i=1,2,3,4;J(x,y)为经滤波后的图像;
图像增强子模块13:
| 128 - m | > | &omega; - 50 | 3 时, L ( x , y ) = 255 &times; ( H ( x , y ) 255 ) &psi; ( x , y ) , 其中,L(x,y)为增强后的灰度值;ψ(x,y)是包含有局部信息的伽马校正系数,此时α是范围为0到1的可变参数,
| 128 - m | &le; | &omega; - 50 | 3 且ω>50时, L ( x , y ) = 255 &times; ( H ( x , y ) 255 ) &psi; ( x , y ) &times; ( 1 - &omega; - 50 &omega; 2 ) , 其中ψ(x,y)=ψα(Msvlm(x,y)),mH是图像中灰度值高于128的所有像素的均值,mL是灰度值低于128的所有像素的均值,且此时m=min(mH,mL),在α值已知的情况下,计算出256个ψ校正系数作为查找表,记为其中i为索引值,利用Msvlm(x,y)的灰度值作为索引,根据ψ(x,y)=ψα(Msvlm(x,y))快速获得图像中每个像素的伽马校正系数ψ(x,y);为模板修正系数;
(2)检测跟踪模块2,具体包括构建子模块21、丢失判别子模块22和更新子模块23:
构建子模块21,用于视觉字典的构建:
在初始帧获取跟踪目标的位置和尺度,在其周围选取正负样本训练跟踪器,将跟踪结果作为训练集X={x1,x2,……xN}T;并对训练集中的每幅目标图像提取128维的SIFT特征其中St表示训练集中第t幅目标图像中SIFT特征的个数;跟踪N帧以后,通过聚类算法将这些特征划分为K个簇,每个簇的中心构成特征单词,记为能够提取到的特征总量其中K<<FN,且视觉字典构建好以后,每幅训练图像表示为特征包的形式,用于表示视觉字典中特征单词出现的频率,用直方图h(xt)表示,h(xt)通过以下方式获取:将一幅训练图像Xt中的每一个特征fs (t)向视觉字典投影,用投影距离最短的特征单词表示该特征,对所有特征投影完毕后,统计每个特征单词的出现频率,并归一化得到训练图像Xt的特征直方图h(xt);
丢失判别子模块22,用于判别目标的丢失与否:
当新一帧图像到来时,从K个直方图柱中随机选取Z<K个直方图柱,且Z=8,形成新的大小为Z的子直方图h(z)(xt),子直方图的个数最多为个;计算候选目标区域和训练集中某个目标区域对应子直方图的相似性Фt_z其中t=1,2,…,N,z=1,2,…,Ns,然后计算总体相似性Фt=1-∏z(1-Фt_z);候选目标区域与目标的相似性用Ф=max{Фt,t}表示,则目标丢失判断式为: u = s i g n ( &Phi; ) = 1 &Phi; &GreaterEqual; g s 0 &Phi; < g s , 其中gs为人为设定的判失阀值;当u=1时目标被稳定跟踪,当u=0时,目标丢失;
当目标丢失时,定义仿射变换模型: x t y t = s . cos ( &mu; 1 &times; &theta; ) s . sin ( &mu; 1 &times; &theta; ) - s . sin ( &mu; 1 &times; &theta; ) s . cos ( &mu; 1 &times; &theta; ) x t - 1 y t - 1 + &mu; 2 e f , 其中(xt,yt)和(xt-1,yt-1)分别为当前帧目标中某个SITF特征点的位置坐标和前一个帧目标中对应匹配特征点的位置坐标,两者均为已知量;s为尺度系数,θ为旋转系数,e和f代表了平移系数, &mu; 1 = 1 - | T - T 0 | 1000 T 0 T &GreaterEqual; T 0 1 + | T - T 0 | 1000 T 0 T < T 0 为温度旋转修正系数, &mu; 2 = 1 - | T - T 0 | 1000 T 0 T &GreaterEqual; T 0 1 + | T - T 0 | 1000 T 0 T < T 0 为温度平移修正系数,μ1和μ2用于修正因为环境温度偏差造成的图像旋转和平移误差,T0为人为设定的标准温度,设为20度,T为由温度传感器实时监测得到的温度值;采用Ransac估计算法求取仿射变换模型的参数,最后在新的尺度s和旋转系数θ下采集正负样本,更新分类器;
更新子模块23,用于视觉字典的更新:
在每帧图像获得目标位置以后,根据仿射变换参数的计算结果,收集所有满足结果参数的SIFT特征点经过F=7帧以后,获得新的特征点集其中St-F代表了从F帧图像中得到的总特征点数;利用下式对新旧特征点重新进行K聚类: 其中表示新的视觉字典,视觉字典的大小保持不变;是遗忘因子,表明了旧字典所占的比重,越小,新特征对目标丢失的判断贡献越多,取
(3)识别输出模块3,用于图像的识别和输出:在待识别的图像序列中利用跟踪算法获取目标区域,将目标区域映射到已知训练数据形成的子空间,计算子空间中目标区域与训练数据之间的距离,获得相似性度量,判定目标类别,并输出识别结果。
优选的,采用维纳滤波来进行一级滤除后,此时图像信息还包含有残余的噪音,采用以下的二级滤波器进行二次滤波:
J ( x , y ) = &Sigma; i = - m / 2 m / 2 &Sigma; j = - n / 2 n / 2 H ( x , y ) P g ( x + i , y + j )
其中,J(x,y)为经过滤波后的图像;Pg(x+i,y+j)代表尺度为m×n的函数,且Pg(x+i,y+j)=q×exp(-(x2+y2)/ω),其中q是将函数归一化的系数,即:∫∫q×exp(-(x2+y2)/ω)dxdy=1。
此实施例的蓄电池室,在图像预处理阶段,增强的图像能够根据模板的大小自适应调整,提高增强效果,且在在不同模板大小时判断条件能自动修正,且考虑了视觉习惯以及人眼对不同色彩的感知度同色彩强度的非线性关系;充分利用了图像的局部特征和全局特征,具有自适应性,可以抑制过度增强,对复杂光照环境下获取的图像增强效果明显;将M×N个幂指数运算降低为256个,提高了计算效率,Z=8,F=7,计算平均帧率为19FPS,计算量小于同类型的字典算法;在目标检测和跟踪阶段,能够消除不同温度导致图像的旋转和平移造成的误差,提高识别率,经处理后的图像细节更加清晰,且计算量相对于传统方法大幅度减少,能够有效适应目标尺度变化,并能够准确判定目标是否发生丢失,在目标重新回到视场后能够被重新检测并稳定跟踪,直至130帧后仍能稳定跟踪目标。此外,该蓄电池室具有实时性好、定位准确和鲁棒性强的优点,且在快速有遮挡的目标检测和跟踪方面有很好的效果,取得了意想不到的效果。

Claims (2)

1.一种局部和全局特征相结合的蓄电池室,包括蓄电池室和安装在蓄电池室上的监测装置,监测装置用于对蓄电池室内的活动进行视频图像监测,其特征是,监测装置包括预处理模块、检测跟踪模块、识别输出模块;
(1)预处理模块,用于对接收到的图像进行预处理,具体包括图像转化子模块、图像滤波子模块和图像增强子模块:
图像转化子模块,用于将彩色图像转化为灰度图像:
H ( x , y ) = max ( R ( x , y ) , G ( x , y ) , B ( x , y ) ) + min ( R ( x , y ) , G ( x , y ) , B ( x , y ) ) 2 + 2 ( max ( R ( x , y ) , G ( x , y ) , B ( x , y ) ) - min ( R ( x , y ) , G ( x , y ) , B ( x , y ) ) )
其中,R(x,y)、G(x,y)、B(x,y)分别代表像素(x,y)处的红绿蓝强度值,H(x,y)代表坐标(x,y)处的像素灰度值;图像大小为m×n;
图像滤波子模块,用于对灰度图像进行滤波:
采用维纳滤波来进行一级滤除后,定义svlm图像,记为Msvlm(x,y),具体定义公式为:Msvlm(x,y)=a1J1(x,y)+a2J2(x,y)+a3J3(x,y)+a4J4(x,y),其中a1、a2、a3、a4为可变权值, a i = J i J 1 + J 2 + J 3 + J 4 , i = 1 , 2 , 3 , 4 ; J(x,y)为经滤波后的图像;
图像增强子模块:
| 128 - m | > | &omega; - 50 | 3 时, L ( x , y ) = 255 &times; ( H ( x , y ) 255 ) &psi; ( x , y ) , 其中,L(x,y)为增强后的灰度值;ψ(x,y)是包含有局部信息的伽马校正系数,此时α是范围为0到1的可变参数,ω为模板尺度大小参量,尺度越大则模板中包含的邻域像素信息就越多,输入图像经过不同尺度ωi的模板,得到的图像Ji将会包含不同范围的邻域信息;
| 128 - m | &le; | &omega; - 50 | 3 且ω>50时, L ( x , y ) = 255 &times; ( H ( x , y ) 255 ) &psi; ( x , y ) &times; ( 1 - &omega; - 50 &omega; 2 ) , 其中ψ(x,y)=ψα(Msvlm(x,y)),mH是图像中灰度值高于128的所有像素的均值,mL是灰度值低于128的所有像素的均值,且此时m=min(mH,mL),在α值已知的情况下,计算出256个ψ校正系数作为查找表,记为其中i为索引值,利用Msvlm(x,y)的灰度值作为索引,根据ψ(x,y)=ψα(Msvlm(x,y))快速获得图像中每个像素的伽马校正系数ψ(x,y);为模板修正系数;
(2)检测跟踪模块,具体包括构建子模块、丢失判别子模块和更新子模块:
构建子模块,用于视觉字典的构建:
在初始帧获取跟踪目标的位置和尺度,在其周围选取正负样本训练跟踪器,将跟踪结果作为训练集X={x1,x2,……xN}T;并对训练集中的每幅目标图像提取128维的SIFT特征其中St表示训练集中第t幅目标图像中SIFT特征的个数;跟踪N帧以后,通过聚类算法将这些特征划分为K个簇,每个簇的中心构成特征单词,记为能够提取到的特征总量其中K<<FN,且视觉字典构建好以后,每幅训练图像表示为特征包的形式,用于表示视觉字典中特征单词出现的频率,用直方图h(xt)表示,h(xt)通过以下方式获取:将一幅训练图像Xt中的每一个特征向视觉字典投影,用投影距离最短的特征单词表示该特征,对所有特征投影完毕后,统计每个特征单词的出现频率,并归一化得到训练图像Xt的特征直方图h(xt);
丢失判别子模块,用于判别目标的丢失与否:
当新一帧图像到来时,从K个直方图柱中随机选取Z<K个直方图柱,且Z=4,形成新的大小为Z的子直方图h(z)(xt),子直方图的个数最多为个;计算候选目标区域和训练集中某个目标区域对应子直方图的相似性Фt_z其中t=1,2,…,N,z=1,2,…,Ns,然后计算总体相似性Фt=1-∏z(1-Фt_z);候选目标区域与目标的相似性用Ф=max{Фt,t}表示,则目标丢失判断式为: u = s i g n ( &Phi; ) = 1 &Phi; &GreaterEqual; g s 0 &Phi; < g s , 其中gs为人为设定的判失阀值;当u=1时目标被稳定跟踪,当u=0时,目标丢失;当目标丢失时,定义仿射变换模型: x t y t = s . cos ( &mu; 1 &times; &theta; ) s . sin ( &mu; 1 &times; &theta; ) - s . sin ( &mu; 1 &times; &theta; ) s . cos ( &mu; 1 &times; &theta; ) x t - 1 y t - 1 + &mu; 2 e f , 其中(xt,yt)和(xt-1,yt-1)分别为当前帧目标中某个SITF特征点的位置坐标和前一个帧目标中对应匹配特征点的位置坐标,两者均为已知量;s为尺度系数,θ为旋转系数,e和f代表了平移系数, &mu; 1 = 1 - | T - T 0 | 1000 T 0 T &GreaterEqual; T 0 1 + | T - T 0 | 1000 T 0 T < T 0 为温度旋转修正系数, &mu; 2 = 1 - | T - T 0 | 1000 T 0 T &GreaterEqual; T 0 1 + | T - T 0 | 1000 T 0 T < T 0 为温度平移修正系数,μ1和μ2用于修正因为环境温度偏差造成的图像旋转和平移误差,T0为人为设定的标准温度,设为20度,T为由温度传感器实时监测得到的温度值;采用Ransac估计算法求取仿射变换模型的参数,最后在新的尺度s和旋转系数θ下采集正负样本,更新分类器;
更新子模块,用于视觉字典的更新:
在每帧图像获得目标位置以后,根据仿射变换参数的计算结果,收集所有满足结果参数的SIFT特征点经过F=3帧以后,获得新的特征点集其中St-F代表了从F帧图像中得到的总特征点数;利用下式对新旧特征点重新进行K聚类: 其中表示新的视觉字典,视觉字典的大小保持不变;是遗忘因子,表明了旧字典所占的比重,越小,新特征对目标丢失的判断贡献越多,取
(3)识别输出模块,用于图像的识别和输出:在待识别的图像序列中利用跟踪算法获取目标区域,将目标区域映射到已知训练数据形成的子空间,计算子空间中目标区域与训练数据之间的距离,获得相似性度量,判定目标类别,并输出识别结果。
2.根据权利要求1所述的一种局部和全局特征相结合的蓄电池室,其特征是,采用维纳滤波来进行一级滤除后,此时图像信息还包含有残余的噪音,采用以下的二级滤波器进行二次滤波:
J ( x , y ) = &Sigma; i = - m / 2 m / 2 &Sigma; j = - n / 2 n / 2 H ( x , y ) P g ( x + i , y + j )
其中,J(x,y)为经过滤波后的图像;Pg(x+i,y+j)代表尺度为m×n的函数,且Pg(x+i,y+j)=q×exp(-(x2+y2)/ω),其中q是将函数归一化的系数,即:∫∫q×exp(-(x2+y2)/ω)dxdy=1。
CN201610049001.4A 2016-01-22 2016-01-22 一种局部和全局特征相结合的蓄电池室 Pending CN105718910A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610049001.4A CN105718910A (zh) 2016-01-22 2016-01-22 一种局部和全局特征相结合的蓄电池室

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610049001.4A CN105718910A (zh) 2016-01-22 2016-01-22 一种局部和全局特征相结合的蓄电池室

Publications (1)

Publication Number Publication Date
CN105718910A true CN105718910A (zh) 2016-06-29

Family

ID=56154843

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610049001.4A Pending CN105718910A (zh) 2016-01-22 2016-01-22 一种局部和全局特征相结合的蓄电池室

Country Status (1)

Country Link
CN (1) CN105718910A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109064701A (zh) * 2018-07-27 2018-12-21 清华大学 电池火灾预警系统及方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104766343A (zh) * 2015-03-27 2015-07-08 电子科技大学 一种基于稀疏表示的视觉目标跟踪方法
US20150324659A1 (en) * 2014-05-08 2015-11-12 Mitsubishi Electric Research Laboratories, Inc. Method for detecting objects in stereo images

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150324659A1 (en) * 2014-05-08 2015-11-12 Mitsubishi Electric Research Laboratories, Inc. Method for detecting objects in stereo images
CN104766343A (zh) * 2015-03-27 2015-07-08 电子科技大学 一种基于稀疏表示的视觉目标跟踪方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
吴京辉: ""视频监控目标的跟踪与识别研究"", 《中国博士学位论文全文数据库 信息科技辑》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109064701A (zh) * 2018-07-27 2018-12-21 清华大学 电池火灾预警系统及方法

Similar Documents

Publication Publication Date Title
CN115457004B (zh) 基于计算机视觉的锌膏的智能检测方法
CN105718896A (zh) 一种具有目标识别功能的智能机器人
US20170061252A1 (en) Method and device for classifying an object of an image and corresponding computer program product and computer-readable medium
CN108596087B (zh) 一种基于双网络结果的驾驶疲劳程度检测回归模型
CN111382808A (zh) 一种车辆检测处理方法及装置
CN110728236A (zh) 车辆定损方法及其专用设备
CN112001950B (zh) 一种基于目标检测与特征提取结合模型的多目标跟踪算法
CN105718895A (zh) 一种基于视觉特征的无人机
CN104537273B (zh) 一种溺水模式智能推理系统及方法
CN112257527A (zh) 基于多目标融合与时空视频序列的手机检测方法
CN105718910A (zh) 一种局部和全局特征相结合的蓄电池室
CN105740768A (zh) 一种局部和全局特征相结合的无人驾驶叉运装置
CN105574517A (zh) 一种具有稳定跟踪功能的电动汽车充电桩
CN105718897A (zh) 一种基于视觉特征的数控车床
CN111968078A (zh) 一种变电设备的外观检测方法、装置、设备和存储介质
CN115187969B (zh) 一种基于视觉识别的铅酸电池回收系统和方法
CN105869185A (zh) 一种自动门
CN105718899A (zh) 一种基于视觉特征的太阳能热水器
Jin et al. Performance comparison of moving target recognition between Faster R-CNN and SSD
CN115984723A (zh) 道路破损检测方法、系统、装置、存储介质及计算机设备
CN112288019B (zh) 一种基于关键点定位的厨师帽检测方法
CN105718911A (zh) 一种具有目标识别功能的室外变压器
CN105718901A (zh) 一种具有目标识别功能的电气配电室
CN105740865A (zh) 一种局部和全局特征相结合的桥梁施工装置
CN105740766A (zh) 一种具有稳定跟踪功能的温室大棚生态系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20160629

RJ01 Rejection of invention patent application after publication