CN105718900A - 一种基于视觉特征的文物展示柜 - Google Patents

一种基于视觉特征的文物展示柜 Download PDF

Info

Publication number
CN105718900A
CN105718900A CN201610046388.8A CN201610046388A CN105718900A CN 105718900 A CN105718900 A CN 105718900A CN 201610046388 A CN201610046388 A CN 201610046388A CN 105718900 A CN105718900 A CN 105718900A
Authority
CN
China
Prior art keywords
image
target
feature
submodule
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610046388.8A
Other languages
English (en)
Inventor
张健敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201610046388.8A priority Critical patent/CN105718900A/zh
Publication of CN105718900A publication Critical patent/CN105718900A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47FSPECIAL FURNITURE, FITTINGS, OR ACCESSORIES FOR SHOPS, STOREHOUSES, BARS, RESTAURANTS OR THE LIKE; PAYING COUNTERS
    • A47F3/00Show cases or show cabinets
    • A47F3/002Devices for protection against sunlight or theft

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于视觉特征的文物展示柜,包括文物展示柜和安装在文物展示柜上的监控装置,监控装置具体包括预处理模块、检测跟踪模块、识别输出模块,其中预处理模块包含图像转化、图像滤波、图像增强三个子模块,检测跟踪模块包含构建、丢失判别、更新三个子模块。本文物展示柜将视频图像技术运用在文物展示柜上,能有效监控记录对文物的恶意破坏行为,具有实时性好、定位准确、自适应能力强、图像细节保留完整和鲁棒性强等优点。

Description

一种基于视觉特征的文物展示柜
技术领域
本发明涉及展示柜领域,具体涉及一种基于视觉特征的文物展示柜。
背景技术
中国是世界文明古国之一,有着悠久的历史和丰富的文化遗产,这些文化遗产大都以遗物、遗址、遗迹等形式保留下来,这就是我们大家现在所说的文物。文物展柜作为文物的重要载体,对安全性的要求很高。而视频监测,是保证文物展示柜安全的一个重要手段,它能准确实时地监测和记录在展示柜附近发生的一切活动,是对抗恶意破坏行为的一个行之有效的方法。
而现在具有视频监测装置的文物展示柜,往往存在图像实时性不足、定位不够准确、自适应能力不强、图像细节保留不够完整和鲁棒性弱等却点,无法将其对文物展示柜的保护功能发挥到最大。
发明内容
针对上述问题,本发明提供一种基于视觉特征的文物展示柜。
本发明的目的采用以下技术方案来实现:
一种基于视觉特征的文物展示柜,包括文物展示柜和安装在文物展示柜上的监测装置,监测装置用于对文物展示柜附近的活动进行视频图像监测,监测装置包括预处理模块、检测跟踪模块、识别输出模块;
(1)预处理模块,用于对接收到的图像进行预处理,具体包括图像转化子模块、图像滤波子模块和图像增强子模块:
图像转化子模块,用于将彩色图像转化为灰度图像:
H ( x , y ) = max ( R ( x , y ) , G ( x , y ) , B ( x , y ) ) + min ( R ( x , y ) , G ( x , y ) , B ( x , y ) ) 2 + 2 ( max ( R ( x , y ) , G ( x , y ) , B ( x , y ) ) - m i n ( R ( x , y ) , G ( x , y ) , B ( x , y ) ) )
其中,R(x,y)、G(x,y)、B(x,y)分别代表像素(x,y)处的红绿蓝强度值,H(x,y)代表坐标(x,y)处的像素灰度值;图像大小为m×n;
图像滤波子模块,用于对灰度图像进行滤波:
采用维纳滤波来进行一级滤除后,定义svlm图像,记为Msvlm(x,y),具体定义公式为:Msvlm(x,y)=a1J1(x,y)+a2J2(x,y)+a3J3(x,y)+a4J4(x,y),其中a1、a2、a3、a4为可变权值, a i = J i J 1 + J 2 + J 3 + J 4 , i = 1,2,3,4 ; J(x,y)为经滤波后的图像;
图像增强子模块:
| 128 - m | ≤ | ω - 50 | 3 时, L ( x , y ) = 255 × ( H ( x , y ) 255 ) ψ ( x , y ) , 其中,L(x,y)为增强后的灰度值;ψ(x,y)是包含有局部信息的伽马校正系数,此时α是范围为0到1的可变参数,
| 128 - m | ≤ | ω - 50 | 3 且ω>50时, L ( x , y ) = 255 × ( H ( x , y ) 255 ) ψ ( x , y ) × ( 1 - ω - 50 ω 2 ) , 其中ψ(x,y)=ψα(Msvlm(x,y)),mH是图像中灰度值高于128的所有像素的均值,mL是灰度值低于128的所有像素的均值,且此时m=min(mH,mL),在α值已知的情况下,计算出256个ψ校正系数作为查找表,记为其中i为索引值,利用Msvlm(x,y)的灰度值作为索引,根据ψ(x,y)=ψα(Msvlm(x,y))快速获得图像中每个像素的伽马校正系数ψ(x,y);为模板修正系数;
(2)检测跟踪模块,具体包括构建子模块、丢失判别子模块和更新子模块:
构建子模块,用于视觉字典的构建:
在初始帧获取跟踪目标的位置和尺度,在其周围选取正负样本训练跟踪器,将跟踪结果作为训练集X={x1,x2,......xN}T;并对训练集中的每幅目标图像提取128维的SIFT特征其中St表示训练集中第t幅目标图像中SIFT特征的个数;跟踪N帧以后,通过聚类算法将这些特征划分为K个簇,每个簇的中心构成特征单词,记为能够提取到的特征总量其中K<<FN,且视觉字典构建好以后,每幅训练图像表示为特征包的形式,用于表示视觉字典中特征单词出现的频率,用直方图h(xt)表示,h(xt)通过以下方式获取:将一幅训练图像Xt中的每一个特征向视觉字典投影,用投影距离最短的特征单词表示该特征,对所有特征投影完毕后,统计每个特征单词的出现频率,并归一化得到训练图像Xt的特征直方图h(xt);
丢失判别子模块,用于判别目标的丢失与否:
当新一帧图像到来时,从K个直方图柱中随机选取Z<K个直方图柱,且Z=4,形成新的大小为Z的子直方图h(z)(xt),子直方图的个数最多为个;计算候选目标区域和训练集中某个目标区域对应子直方图的相似性Φt_z其中t=1,2,...,N,z=1,2,...,Ns,然后计算总体相似性Φt=1-∏z(1-Φt_z);候选目标区域与目标的相似性用Φ=max{Φt,t}表示,则目标丢失判断式为: u = s i g n ( &Phi; ) = 1 &Phi; &GreaterEqual; g s 0 &Phi; < g s , 其中gs为人为设定的判失阀值;当u=1时目标被稳定跟踪,当u=0时,目标丢失;
当目标丢失时,定义仿射变换模型: x t y t = s . c o s ( &mu; 1 &times; &theta; ) s . s i n ( &mu; 1 &times; &theta; ) - s . s i n ( &mu; 1 &times; &theta; ) s . c o s ( &mu; 1 &times; &theta; ) x t - 1 y t - 1 + &mu; 2 e f , 其中(xt,yt)和(xt-1,yt-1)分别为当前帧目标中某个SITF特征点的位置坐标和前一个帧目标中对应匹配特征点的位置坐标,两者均为已知量;s为尺度系数,θ为旋转系数,e和f代表了平移系数, &mu; 1 = 1 - | T - T 0 | 1000 T 0 T &GreaterEqual; T 0 1 + | T - T 0 | 1000 T 0 T < T 0 为温度旋转修正系数, &mu; 2 = 1 - | T - T 0 | 1000 T 0 T &GreaterEqual; T 0 1 + | T - T 0 | 1000 T 0 T < T 0 为温度平移修正系数,μ1和μ1用于修正因为环境温度偏差造成的图像旋转和平移误差,T0为人为设定的标准温度,设为20度,T为由温度传感器实时监测得到的温度值;采用Ransac估计算法求取仿射变换模型的参数,最后在新的尺度s和旋转系数θ下采集正负样本,更新分类器;
更新子模块,用于视觉字典的更新:
在每帧图像获得目标位置以后,根据仿射变换参数的计算结果,收集所有满足结果参数的SIFT特征点经过F=3帧以后,获得新的特征点集其中St-F代表了从F帧图像中得到的总特征点数;利用下式对新旧特征点重新进行K聚类: 其中表示新的视觉字典,视觉字典的大小保持不变;是遗忘因子,表明了旧字典所占的比重,越小,新特征对目标丢失的判断贡献越多,取
(3)识别输出模块,用于图像的识别和输出:在待识别的图像序列中利用跟踪算法获取目标区域,将目标区域映射到已知训练数据形成的子空间,计算子空间中目标区域与训练数据之间的距离,获得相似性度量,判定目标类别,并输出识别结果。
优选的,采用维纳滤波来进行一级滤除后,此时图像信息还包含有残余的噪音,采用以下的二级滤波器进行二次滤波:
J ( x , y ) = &Sigma; i = - m / 2 m / 2 &Sigma; j = - n / 2 n / 2 H ( x , y ) P g ( x + i , y + j )
其中,J(x,y)为经过滤波后的图像;Pg(x+i,y+j)代表尺度为m×n的函数,且Pg(x+i,y+j)=q×exp(-(x2+y2)/ω),其中q是将函数归一化的系数,即:∫∫q×exp(-(x2+y2)/ω)dxdy=1。
本文物展示柜的有益效果为:在图像预处理阶段,增强的图像能够根据模板的大小自适应调整,提高增强效果,且在在不同模板大小时判断条件能自动修正,且考虑了视觉习惯以及人眼对不同色彩的感知度同色彩强度的非线性关系;将M×N个幂指数运算降低为256个,提高了计算效率;在目标检测和跟踪阶段,能够消除不同温度导致图像的旋转和平移造成的误差,提高识别率,经处理后的图像细节更加清晰,且计算量相对于传统方法大幅度减少,能够有效适应目标尺度变化,并能够准确判定目标是否发生丢失,在目标重新回到视场后能够被重新检测并稳定跟踪。此外,该文物展示柜具有实时性好、定位准确和鲁棒性强的优点,且在快速有遮挡的目标检测和跟踪方面取得了很好的效果。
附图说明
利用附图对本发明作进一步说明,但附图中的实施例不构成对本发明的任何限制,对于本领域的普通技术人员,在不付出创造性劳动的前提下,还可以根据以下附图获得其它的附图。
图1是一种基于视觉特征的文物展示柜的结构框图;
图2是一种基于视觉特征的文物展示柜的外部示意图。
具体实施方式
结合以下实施例对本发明作进一步描述。
实施例1:如图1-2所示,一种基于视觉特征的文物展示柜,包括文物展示柜5和安装在文物展示柜5上的监测装置4,监测装置4用于对文物展示柜附近的活动进行视频图像监测,监测装置4包括预处理模块1、检测跟踪模块2、识别输出模块3。
(1)预处理模块1,用于对接收到的图像进行预处理,具体包括图像转化子模块11、图像滤波子模块12和图像增强子模块13:
图像转化子模块11,用于将彩色图像转化为灰度图像:
H ( x , y ) = max ( R ( x , y ) , G ( x , y ) , B ( x , y ) ) + min ( R ( x , y ) , G ( x , y ) , B ( x , y ) ) 2 + 2 ( max ( R ( x , y ) , G ( x , y ) , B ( x , y ) ) - m i n ( R ( x , y ) , G ( x , y ) , B ( x , y ) ) )
其中,R(x,y)、G(x,y)、B(x,y)分别代表像素(x,y)处的红绿蓝强度值,H(x,y)代表坐标(x,y)处的像素灰度值;图像大小为m×n;
图像滤波子模块12,用于对灰度图像进行滤波:
采用维纳滤波来进行一级滤除后,定义svlm图像,记为Msvlm(x,y),具体定义公式为:Msvlm(x,y)=a1J1(x,y)+a2J2(x,y)+a3J3(x,y)+a4J4(x,y),其中a1、a2、a3、a4为可变权值, a i = J i J 1 + J 2 + J 3 + J 4 , i = 1,2,3,4 ; J(x,y)为经滤波后的图像;
图像增强子模块13:
| 128 - m | > | &omega; - 50 | 3 时, L ( x , y ) = 255 &times; ( H ( x , y ) 255 ) &psi; ( x , y ) , 其中,L(x,y)为增强后的灰度值;ψ(x,y)是包含有局部信息的伽马校正系数,此时α是范围为0到1的可变参数,
| 128 - m | &le; | &omega; - 50 | 3 且ω>50时, L ( x , y ) = 255 &times; ( H ( x , y ) 255 ) &psi; ( x , y ) &times; ( 1 - &omega; - 50 &omega; 2 ) , 其中ψ(x,y)=ψα(Msvlm(x,y)),mH是图像中灰度值高于128的所有像素的均值,mL是灰度值低于128的所有像素的均值,且此时m=min(mH,mL),在α值已知的情况下,计算出256个ψ校正系数作为查找表,记为其中i为索引值,利用Msvlm(x,y)的灰度值作为索引,根据ψ(x,y)=ψα(Msvlm(x,y))快速获得图像中每个像素的伽马校正系数ψ(x,y);为模板修正系数;
(2)检测跟踪模块2,具体包括构建子模块21、丢失判别子模块22和更新子模块23:
构建子模块21,用于视觉字典的构建:
在初始帧获取跟踪目标的位置和尺度,在其周围选取正负样本训练跟踪器,将跟踪结果作为训练集X={x1,x2,......xN}T;并对训练集中的每幅目标图像提取128维的SIFT特征其中St表示训练集中第t幅目标图像中SIFT特征的个数;跟踪N帧以后,通过聚类算法将这些特征划分为K个簇,每个簇的中心构成特征单词,记为能够提取到的特征总量其中K<<FN,且视觉字典构建好以后,每幅训练图像表示为特征包的形式,用于表示视觉字典中特征单词出现的频率,用直方图h(xt)表示,h(xt)通过以下方式获取:将一幅训练图像Xt中的每一个特征向视觉字典投影,用投影距离最短的特征单词表示该特征,对所有特征投影完毕后,统计每个特征单词的出现频率,并归一化得到训练图像Xt的特征直方图h(xt);
丢失判别子模块22,用于判别目标的丢失与否:
当新一帧图像到来时,从K个直方图柱中随机选取Z<K个直方图柱,且Z=4,形成新的大小为Z的子直方图h(z)(xt),子直方图的个数最多为个;计算候选目标区域和训练集中某个目标区域对应子直方图的相似性Φt_z其中t=1,2,...,N,z=1,2,...,Ns,然后计算总体相似性Φt=1-∏z(1-Φt_z);候选目标区域与目标的相似性用Φ=max{Φt,t}表示,则目标丢失判断式为: u = s i g n ( &Phi; ) = 1 &Phi; &GreaterEqual; g s 0 &Phi; < g s , 其中gs为人为设定的判失阀值;当u=1时目标被稳定跟踪,当u=0时,目标丢失;
当目标丢失时,定义仿射变换模型: x t y t = s . c o s ( &mu; 1 &times; &theta; ) s . s i n ( &mu; 1 &times; &theta; ) - s . s i n ( &mu; 1 &times; &theta; ) s . c o s ( &mu; 1 &times; &theta; ) x t - 1 y t - 1 + &mu; 2 e f , 其中(xt,yt)和(xt-1,yt-1)分别为当前帧目标中某个SITF特征点的位置坐标和前一个帧目标中对应匹配特征点的位置坐标,两者均为已知量;s为尺度系数,θ为旋转系数,e和f代表了平移系数, &mu; 1 = 1 - | T - T 0 | 1000 T 0 T &GreaterEqual; T 0 1 + | T - T 0 | 1000 T 0 T < T 0 为温度旋转修正系数, &mu; 2 = 1 - | T - T 0 | 1000 T 0 T &GreaterEqual; T 0 1 + | T - T 0 | 1000 T 0 T < T 0 为温度平移修正系数,μ1和μ2用于修正因为环境温度偏差造成的图像旋转和平移误差,T0为人为设定的标准温度,设为20度,T为由温度传感器实时监测得到的温度值;采用Ransac估计算法求取仿射变换模型的参数,最后在新的尺度s和旋转系数θ下采集正负样本,更新分类器;
更新子模块23,用于视觉字典的更新:
在每帧图像获得目标位置以后,根据仿射变换参数的计算结果,收集所有满足结果参数的SIFT特征点经过F=3帧以后,获得新的特征点集其中St-F代表了从F帧图像中得到的总特征点数;利用下式对新旧特征点重新进行K聚类: 其中表示新的视觉字典,视觉字典的大小保持不变;是遗忘因子,表明了旧字典所占的比重,越小,新特征对目标丢失的判断贡献越多,取
(3)识别输出模块,用于图像的识别和输出:在待识别的图像序列中利用跟踪算法获取目标区域,将目标区域映射到已知训练数据形成的子空间,计算子空间中目标区域与训练数据之间的距离,获得相似性度量,判定目标类别,并输出识别结果。
优选的,采用维纳滤波来进行一级滤除后,此时图像信息还包含有残余的噪音,采用以下的二级滤波器进行二次滤波:
J ( x , y ) = &Sigma; i = - m / 2 m / 2 &Sigma; j = - n / 2 n / 2 H ( x , y ) P g ( x + i , y + j )
其中,J(x,y)为经过滤波后的图像;Pg(x+i,y+j)代表尺度为m×n的函数,且Pg(x+i,y+j)=q×exp(-(x2+y2)/ω),其中q是将函数归一化的系数,即:∫∫q×exp(-(x2+y2)/ω)dxdy=1。
此实施例的文物展示柜,在图像预处理阶段,增强的图像能够根据模板的大小自适应调整,提高增强效果,且在在不同模板大小时判断条件能自动修正,且考虑了视觉习惯以及人眼对不同色彩的感知度同色彩强度的非线性关系;充分利用了图像的局部特征和全局特征,具有自适应性,可以抑制过度增强,对复杂光照环境下获取的图像增强效果明显;将M×N个幂指数运算降低为256个,提高了计算效率,Z=4,F=3,计算平均帧率为15FPS,计算量小于同类型的字典算法;在目标检测和跟踪阶段,能够消除不同温度导致图像的旋转和平移造成的误差,提高识别率,经处理后的图像细节更加清晰,且计算量相对于传统方法大幅度减少,能够有效适应目标尺度变化,并能够准确判定目标是否发生丢失,在目标重新回到视场后能够被重新检测并稳定跟踪,直至110帧后仍能稳定跟踪目标。此外,该文物展示柜具有实时性好、定位准确和鲁棒性强的优点,且在快速有遮挡的目标检测和跟踪方面有很好的效果,取得了意想不到的效果。
实施例2:如图1-2所示,一种基于视觉特征的文物展示柜,包括文物展示柜5和安装在文物展示柜5上的监测装置4,监测装置4用于对文物展示柜5附近的活动进行视频图像监测,监测装置4包括预处理模块1、检测跟踪模块2、识别输出模块3。
(1)预处理模块1,用于对接收到的图像进行预处理,具体包括图像转化子模块11、图像滤波子模块12和图像增强子模块13:
图像转化子模块11,用于将彩色图像转化为灰度图像:
H ( x , y ) = max ( R ( x , y ) , G ( x , y ) , B ( x , y ) ) + min ( R ( x , y ) , G ( x , y ) , B ( x , y ) ) 2 + 2 ( max ( R ( x , y ) , G ( x , y ) , B ( x , y ) ) - m i n ( R ( x , y ) , G ( x , y ) , B ( x , y ) ) )
其中,R(x,y)、G(x,y)、B(x,y)分别代表像素(x,y)处的红绿蓝强度值,H(x,y)代表坐标(x,y)处的像素灰度值;图像大小为m×n;
图像滤波子模块12,用于对灰度图像进行滤波:
采用维纳滤波来进行一级滤除后,定义svlm图像,记为Msvlm(x,y),具体定义公式为:Msvlm(x,y)=a1J1(x,y)+a2J2(x,y)+a3J3(x,y)+a4J4(x,y),其中a1、a2、a3、a4为可变权值, a i = J i J 1 + J 2 + J 3 + J 4 , i = 1,2,3,4 ; J(x,y)为经滤波后的图像;
图像增强子模块13:
| 128 - m | > | &omega; - 50 | 3 时, L ( x , y ) = 255 &times; ( H ( x , y ) 255 ) &psi; ( x , y ) , 其中,L(x,y)为增强后的灰度值;ψ(x,y)是包含有局部信息的伽马校正系数,此时α是范围为0到1的可变参数,
| 128 - m | &le; | &omega; - 50 | 3 且ω>50时, L ( x , y ) = 255 &times; ( H ( x , y ) 255 ) &psi; ( x , y ) &times; ( 1 - &omega; - 50 &omega; 2 ) , 其中ψ(x,y)=ψα(Msvlm(x,y)),mH是图像中灰度值高于128的所有像素的均值,mL是灰度值低于128的所有像素的均值,且此时m=min(mH,mL),在α值已知的情况下,计算出256个ψ校正系数作为查找表,记为其中i为索引值,利用Msvlm(x,y)的灰度值作为索引,根据ψ(x,y)=ψα(Msvlm(x,y))快速获得图像中每个像素的伽马校正系数ψ(x,y);为模板修正系数;
(2)检测跟踪模块2,具体包括构建子模块21、丢失判别子模块22和更新子模块23:
构建子模块21,用于视觉字典的构建:
在初始帧获取跟踪目标的位置和尺度,在其周围选取正负样本训练跟踪器,将跟踪结果作为训练集X={x1,x2,......xN}T;并对训练集中的每幅目标图像提取128维的SIFT特征其中St表示训练集中第t幅目标图像中SIFT特征的个数;跟踪N帧以后,通过聚类算法将这些特征划分为K个簇,每个簇的中心构成特征单词,记为能够提取到的特征总量其中K<<FN,且视觉字典构建好以后,每幅训练图像表示为特征包的形式,用于表示视觉字典中特征单词出现的频率,用直方图h(xt)表示,h(xt)通过以下方式获取:将一幅训练图像Xt中的每一个特征向视觉字典投影,用投影距离最短的特征单词表示该特征,对所有特征投影完毕后,统计每个特征单词的出现频率,并归一化得到训练图像Xt的特征直方图h(xt);
丢失判别子模块22,用于判别目标的丢失与否:
当新一帧图像到来时,从K个直方图柱中随机选取Z<K个直方图柱,且Z=5,形成新的大小为Z的子直方图h(z)(xt),子直方图的个数最多为个;计算候选目标区域和训练集中某个目标区域对应子直方图的相似性Φt_z其中t=1,2,...,N,z=1,2,...,Ns,然后计算总体相似性Φt=1-∏z(1-Φt_z);候选目标区域与目标的相似性用Φ=max{Φt,t}表示,则目标丢失判断式为: u = s i g n ( &Phi; ) = 1 &Phi; &GreaterEqual; g s 0 &Phi; < g s , 其中gs为人为设定的判失阀值;当u=1时目标被稳定跟踪,当u=0时,目标丢失;
当目标丢失时,定义仿射变换模型: x t y t = s . c o s ( &mu; 1 &times; &theta; ) s . s i n ( &mu; 1 &times; &theta; ) - s . s i n ( &mu; 1 &times; &theta; ) s . c o s ( &mu; 1 &times; &theta; ) x t - 1 y t - 1 + &mu; 2 e f , 其中(xt,yt)和(xt-1,yt-1)分别为当前帧目标中某个SITF特征点的位置坐标和前一个帧目标中对应匹配特征点的位置坐标,两者均为已知量;s为尺度系数,θ为旋转系数,e和f代表了平移系数, &mu; 1 = 1 - | T - T 0 | 1000 T 0 T &GreaterEqual; T 0 1 + | T - T 0 | 1000 T 0 T < T 0 为温度旋转修正系数, &mu; 2 = 1 - | T - T 0 | 1000 T 0 T &GreaterEqual; T 0 1 + | T - T 0 | 1000 T 0 T < T 0 为温度平移修正系数,μ1和μ2用于修正因为环境温度偏差造成的图像旋转和平移误差,T0为人为设定的标准温度,设为20度,T为由温度传感器实时监测得到的温度值;采用Ransac估计算法求取仿射变换模型的参数,最后在新的尺度s和旋转系数θ下采集正负样本,更新分类器;
更新子模块23,用于视觉字典的更新:
在每帧图像获得目标位置以后,根据仿射变换参数的计算结果,收集所有满足结果参数的SIFT特征点经过F=4帧以后,获得新的特征点集其中St-F代表了从F帧图像中得到的总特征点数;利用下式对新旧特征点重新进行K聚类: 其中表示新的视觉字典,视觉字典的大小保持不变;是遗忘因子,表明了旧字典所占的比重,越小,新特征对目标丢失的判断贡献越多,取
(3)识别输出模块,用于图像的识别和输出:在待识别的图像序列中利用跟踪算法获取目标区域,将目标区域映射到已知训练数据形成的子空间,计算子空间中目标区域与训练数据之间的距离,获得相似性度量,判定目标类别,并输出识别结果。
优选的,采用维纳滤波来进行一级滤除后,此时图像信息还包含有残余的噪音,采用以下的二级滤波器进行二次滤波:
J ( x , y ) = &Sigma; i = - m / 2 m / 2 &Sigma; j = - n / 2 n / 2 H ( x , y ) P g ( x + i , y + j )
其中,J(x,y)为经过滤波后的图像;Pg(x+i,y+j)代表尺度为m×n的函数,且Pg(x+i,y+j)=q×exp(-(x2+y2)/ω),其中q是将函数归一化的系数,即:∫∫q×exp(-(x2+y2)/ω)dxdy=1。
此实施例的文物展示柜,在图像预处理阶段,增强的图像能够根据模板的大小自适应调整,提高增强效果,且在在不同模板大小时判断条件能自动修正,且考虑了视觉习惯以及人眼对不同色彩的感知度同色彩强度的非线性关系;充分利用了图像的局部特征和全局特征,具有自适应性,可以抑制过度增强,对复杂光照环境下获取的图像增强效果明显;将M×N个幂指数运算降低为256个,提高了计算效率,Z=5,F=4,计算平均帧率为16FPS,计算量小于同类型的字典算法;在目标检测和跟踪阶段,能够消除不同温度导致图像的旋转和平移造成的误差,提高识别率,经处理后的图像细节更加清晰,且计算量相对于传统方法大幅度减少,能够有效适应目标尺度变化,并能够准确判定目标是否发生丢失,在目标重新回到视场后能够被重新检测并稳定跟踪,直至115帧后仍能稳定跟踪目标。此外,该文物展示柜具有实时性好、定位准确和鲁棒性强的优点,且在快速有遮挡的目标检测和跟踪方面有很好的效果,取得了意想不到的效果。
实施例3:如图1-2所示,一种基于视觉特征的文物展示柜,包括文物展示柜5和安装在文物展示柜5上的监测装置4,监测装置4用于对文物展示柜5附近的活动进行视频图像监测,监测装置4包括预处理模块1、检测跟踪模块2、识别输出模块3。
(1)预处理模块1,用于对接收到的图像进行预处理,具体包括图像转化子模块11、图像滤波子模块12和图像增强子模块13:
图像转化子模块11,用于将彩色图像转化为灰度图像:
H ( x , y ) = max ( R ( x , y ) , G ( x , y ) , B ( x , y ) ) + min ( R ( x , y ) , G ( x , y ) , B ( x , y ) ) 2 + 2 ( max ( R ( x , y ) , G ( x , y ) , B ( x , y ) ) - m i n ( R ( x , y ) , G ( x , y ) , B ( x , y ) ) )
其中,R(x,y)、G(x,y)、B(x,y)分别代表像素(x,y)处的红绿蓝强度值,H(x,y)代表坐标(x,y)处的像素灰度值;图像大小为m×n;
图像滤波子模块12,用于对灰度图像进行滤波:
采用维纳滤波来进行一级滤除后,定义svlm图像,记为Msvlm(x,y),具体定义公式为:Msvlm(x,y)=a1J1(x,y)+a2J2(x,y)+a3J3(x,y)+a4J4(x,y),其中a1、a2、a3、a4为可变权值, a i = J i J 1 + J 2 + J 3 + J 4 , i = 1,2,3,4 ; J(x,y)为经滤波后的图像;
图像增强子模块13:
| 128 - m | > | &omega; - 50 | 3 时, L ( x , y ) = 255 &times; ( H ( x , y ) 255 ) &psi; ( x , y ) , 其中,L(x,y)为增强后的灰度值;ψ(x,y)是包含有局部信息的伽马校正系数,此时α是范围为0到1的可变参数,
| 128 - m | &le; | &omega; - 50 | 3 且ω>50时, L ( x , y ) = 255 &times; ( H ( x , y ) 255 ) &psi; ( x , y ) &times; ( 1 - &omega; - 50 &omega; 2 ) , 其中ψ(x,y)=ψα(Msvlm(x,y)),mH是图像中灰度值高于128的所有像素的均值,mL是灰度值低于128的所有像素的均值,且此时m=min(mH,mL),在α值已知的情况下,计算出256个ψ校正系数作为查找表,记为其中i为索引值,利用Msvlm(x,y)的灰度值作为索引,根据ψ(x,y)=ψα(Msvlm(x,y))快速获得图像中每个像素的伽马校正系数ψ(x,y);为模板修正系数;
(2)检测跟踪模块2,具体包括构建子模块21、丢失判别子模块22和更新子模块23:
构建子模块21,用于视觉字典的构建:
在初始帧获取跟踪目标的位置和尺度,在其周围选取正负样本训练跟踪器,将跟踪结果作为训练集X={x1,x2,......xN}T;并对训练集中的每幅目标图像提取128维的SIFT特征其中St表示训练集中第t幅目标图像中SIFT特征的个数;跟踪N帧以后,通过聚类算法将这些特征划分为K个簇,每个簇的中心构成特征单词,记为能够提取到的特征总量其中K<<FN,且视觉字典构建好以后,每幅训练图像表示为特征包的形式,用于表示视觉字典中特征单词出现的频率,用直方图h(xt)表示,h(xt)通过以下方式获取:将一幅训练图像Xt中的每一个特征向视觉字典投影,用投影距离最短的特征单词表示该特征,对所有特征投影完毕后,统计每个特征单词的出现频率,并归一化得到训练图像Xt的特征直方图h(xt);
丢失判别子模块22,用于判别目标的丢失与否:
当新一帧图像到来时,从K个直方图柱中随机选取Z<K个直方图柱,且Z=6,形成新的大小为Z的子直方图h(z)(xt),子直方图的个数最多为个;计算候选目标区域和训练集中某个目标区域对应子直方图的相似性Φt_z其中t=1,2,...,N,z=1,2,...,Ns,然后计算总体相似性Φt=1-∏z(1-Φt_z);候选目标区域与目标的相似性用Φ=max{Φt,t}表示,则目标丢失判断式为: u = s i g n ( &Phi; ) = 1 &Phi; &GreaterEqual; g s 0 &Phi; < g s , 其中gs为人为设定的判失阀值;当u=1时目标被稳定跟踪,当u=0时,目标丢失;
当目标丢失时,定义仿射变换模型: x t y t = s . c o s ( &mu; 1 &times; &theta; ) s . s i n ( &mu; 1 &times; &theta; ) - s . s i n ( &mu; 1 &times; &theta; ) s . c o s ( &mu; 1 &times; &theta; ) x t - 1 y t - 1 + &mu; 2 e f , 其中(xt,yt)和(xt-1,yt-1)分别为当前帧目标中某个SITF特征点的位置坐标和前一个帧目标中对应匹配特征点的位置坐标,两者均为已知量;s为尺度系数,θ为旋转系数,e和f代表了平移系数, &mu; 1 = 1 - | T - T 0 | 1000 T 0 T &GreaterEqual; T 0 1 + | T - T 0 | 1000 T 0 T < T 0 为温度旋转修正系数, &mu; 2 = 1 - | T - T 0 | 1000 T 0 T &GreaterEqual; T 0 1 + | T - T 0 | 1000 T 0 T < T 0 为温度平移修正系数,μ1和μ2用于修正因为环境温度偏差造成的图像旋转和平移误差,T0为人为设定的标准温度,设为20度,T为由温度传感器实时监测得到的温度值;采用Ransac估计算法求取仿射变换模型的参数,最后在新的尺度s和旋转系数θ下采集正负样本,更新分类器;
更新子模块23,用于视觉字典的更新:
在每帧图像获得目标位置以后,根据仿射变换参数的计算结果,收集所有满足结果参数的SIFT特征点经过F=5帧以后,获得新的特征点集其中St-F代表了从F帧图像中得到的总特征点数;利用下式对新旧特征点重新进行K聚类: 其中表示新的视觉字典,视觉字典的大小保持不变;是遗忘因子,表明了旧字典所占的比重,越小,新特征对目标丢失的判断贡献越多,取
(3)识别输出模块3,用于图像的识别和输出:在待识别的图像序列中利用跟踪算法获取目标区域,将目标区域映射到已知训练数据形成的子空间,计算子空间中目标区域与训练数据之间的距离,获得相似性度量,判定目标类别,并输出识别结果。
优选的,采用维纳滤波来进行一级滤除后,此时图像信息还包含有残余的噪音,采用以下的二级滤波器进行二次滤波:
J ( x , y ) = &Sigma; i = - m / 2 m / 2 &Sigma; j = - n / 2 n / 2 H ( x , y ) P g ( x + i , y + j )
其中,J(x,y)为经过滤波后的图像;Pg(x+i,y+j)代表尺度为m×n的函数,且Pg(x+i,y+j)=q×exp(-(x2+y2)/ω),其中q是将函数归一化的系数,即:∫∫q×exp(-(x2+y2)/ω)dxdy=1。
此实施例的文物展示柜,在图像预处理阶段,增强的图像能够根据模板的大小自适应调整,提高增强效果,且在在不同模板大小时判断条件能自动修正,且考虑了视觉习惯以及人眼对不同色彩的感知度同色彩强度的非线性关系;充分利用了图像的局部特征和全局特征,具有自适应性,可以抑制过度增强,对复杂光照环境下获取的图像增强效果明显;将M×N个幂指数运算降低为256个,提高了计算效率,Z=6,F=5,计算平均帧率为17FPS,计算量小于同类型的字典算法;在目标检测和跟踪阶段,能够消除不同温度导致图像的旋转和平移造成的误差,提高识别率,经处理后的图像细节更加清晰,且计算量相对于传统方法大幅度减少,能够有效适应目标尺度变化,并能够准确判定目标是否发生丢失,在目标重新回到视场后能够被重新检测并稳定跟踪,直至120帧后仍能稳定跟踪目标。此外,该文物展示柜具有实时性好、定位准确和鲁棒性强的优点,且在快速有遮挡的目标检测和跟踪方面有很好的效果,取得了意想不到的效果。
实施例4:如图1-2所示,一种基于视觉特征的文物展示柜,包括文物展示柜5和安装在文物展示柜5上的监测装置4,监测装置4用于对文物展示柜5附近的活动进行视频图像监测,监测装置4包括预处理模块1、检测跟踪模块2、识别输出模块3。
(1)预处理模块1,用于对接收到的图像进行预处理,具体包括图像转化子模块11、图像滤波子模块12和图像增强子模块13:
图像转化子模块11,用于将彩色图像转化为灰度图像:
H ( x , y ) = max ( R ( x , y ) , G ( x , y ) , B ( x , y ) ) + min ( R ( x , y ) , G ( x , y ) , B ( x , y ) ) 2 + 2 ( max ( R ( x , y ) , G ( x , y ) , B ( x , y ) ) - m i n ( R ( x , y ) , G ( x , y ) , B ( x , y ) ) )
其中,R(x,y)、G(x,y)、B(x,y)分别代表像素(x,y)处的红绿蓝强度值,H(x,y)代表坐标(x,y)处的像素灰度值;图像大小为m×n;
图像滤波子模块12,用于对灰度图像进行滤波:
采用维纳滤波来进行一级滤除后,定义svlm图像,记为Msvlm(x,y),具体定义公式为:Msvlm(x,y)=a1J1(x,y)+a2J2(x,y)+a3J3(x,y)+a4J4(x,y),其中a1、a2、a3、a4为可变权值, a i = J i J 1 + J 2 + J 3 + J 4 , i = 1,2,3,4 ; J(x,y)为经滤波后的图像;
图像增强子模块13:
| 128 - m | > | &omega; - 50 | 3 时, L ( x , y ) = 255 &times; ( H ( x , y ) 255 ) &psi; ( x , y ) , 其中,L(x,y)为增强后的灰度值;ψ(x,y)是包含有局部信息的伽马校正系数,此时α是范围为0到1的可变参数,
| 128 - m | &le; | &omega; - 50 | 3 且ω>50时, L ( x , y ) = 255 &times; ( H ( x , y ) 255 ) &psi; ( x , y ) &times; ( 1 - &omega; - 50 &omega; 2 ) , 其中ψ(x,y)=ψα(Msvlm(x,y)),mH是图像中灰度值高于128的所有像素的均值,mL是灰度值低于128的所有像素的均值,且此时m=min(mH,mL),在α值已知的情况下,计算出256个ψ校正系数作为查找表,记为其中i为索引值,利用Msvlm(x,y)的灰度值作为索引,根据ψ(x,y)=ψα(Msvlm(x,y))快速获得图像中每个像素的伽马校正系数ψ(x,y);为模板修正系数;
(2)检测跟踪模块2,具体包括构建子模块21、丢失判别子模块22和更新子模块23:
构建子模块21,用于视觉字典的构建:
在初始帧获取跟踪目标的位置和尺度,在其周围选取正负样本训练跟踪器,将跟踪结果作为训练集X={x1,x2,......xN}T;并对训练集中的每幅目标图像提取128维的SIFT特征其中St表示训练集中第t幅目标图像中SIFT特征的个数;跟踪N帧以后,通过聚类算法将这些特征划分为K个簇,每个簇的中心构成特征单词,记为能够提取到的特征总量其中K<<FN,且视觉字典构建好以后,每幅训练图像表示为特征包的形式,用于表示视觉字典中特征单词出现的频率,用直方图h(xt)表示,h(xt)通过以下方式获取:将一幅训练图像Xt中的每一个特征向视觉字典投影,用投影距离最短的特征单词表示该特征,对所有特征投影完毕后,统计每个特征单词的出现频率,并归一化得到训练图像Xt的特征直方图h(xt);
丢失判别子模块22,用于判别目标的丢失与否:
当新一帧图像到来时,从K个直方图柱中随机选取Z<K个直方图柱,且Z=7,形成新的大小为Z的子直方图h(z)(xt),子直方图的个数最多为个;计算候选目标区域和训练集中某个目标区域对应子直方图的相似性Φt_z其中t=1,2,...,N,z=1,2,...,Ns,然后计算总体相似性Φt=1-∏z(1-Φt_z);候选目标区域与目标的相似性用Φ=max{Φt,t}表示,则目标丢失判断式为: u = s i g n ( &Phi; ) = 1 &Phi; &GreaterEqual; g s 0 &Phi; < g s , 其中gs为人为设定的判失阀值;当u=1时目标被稳定跟踪,当u=0时,目标丢失;
当目标丢失时,定义仿射变换模型: x t y t = s . c o s ( &mu; 1 &times; &theta; ) s . s i n ( &mu; 1 &times; &theta; ) - s . s i n ( &mu; 1 &times; &theta; ) s . c o s ( &mu; 1 &times; &theta; ) x t - 1 y t - 1 + &mu; 2 e f , 其中(xt,yt)和(xt-1,yt-1)分别为当前帧目标中某个SITF特征点的位置坐标和前一个帧目标中对应匹配特征点的位置坐标,两者均为已知量;s为尺度系数,θ为旋转系数,e和f代表了平移系数, &mu; 1 = 1 - | T - T 0 | 1000 T 0 T &GreaterEqual; T 0 1 + | T - T 0 | 1000 T 0 T < T 0 为温度旋转修正系数, &mu; 2 = 1 - | T - T 0 | 1000 T 0 T &GreaterEqual; T 0 1 + | T - T 0 | 1000 T 0 T < T 0 为温度平移修正系数,μ1和μ2用于修正因为环境温度偏差造成的图像旋转和平移误差,T0为人为设定的标准温度,设为20度,T为由温度传感器实时监测得到的温度值;采用Ransac估计算法求取仿射变换模型的参数,最后在新的尺度s和旋转系数θ下采集正负样本,更新分类器;
更新子模块23,用于视觉字典的更新:
在每帧图像获得目标位置以后,根据仿射变换参数的计算结果,收集所有满足结果参数的SIFT特征点经过F=6帧以后,获得新的特征点集其中St-F代表了从F帧图像中得到的总特征点数;利用下式对新旧特征点重新进行K聚类: 其中表示新的视觉字典,视觉字典的大小保持不变;是遗忘因子,表明了旧字典所占的比重,越小,新特征对目标丢失的判断贡献越多,取
(3)识别输出模块3,用于图像的识别和输出:在待识别的图像序列中利用跟踪算法获取目标区域,将目标区域映射到已知训练数据形成的子空间,计算子空间中目标区域与训练数据之间的距离,获得相似性度量,判定目标类别,并输出识别结果。
优选的,采用维纳滤波来进行一级滤除后,此时图像信息还包含有残余的噪音,采用以下的二级滤波器进行二次滤波:
J ( x , y ) = &Sigma; i = - m / 2 m / 2 &Sigma; j = - n / 2 n / 2 H ( x , y ) P g ( x + i , y + j )
其中,J(x,y)为经过滤波后的图像;Pg(x+i,y+j)代表尺度为m×n的函数,且Pg(x+i,y+j)=q×exp(-(x2+y2)/ω),其中q是将函数归一化的系数,即:∫∫q×exp(-(x2+y2)/ω)dxdy=1。
此实施例的文物展示柜,在图像预处理阶段,增强的图像能够根据模板的大小自适应调整,提高增强效果,且在在不同模板大小时判断条件能自动修正,且考虑了视觉习惯以及人眼对不同色彩的感知度同色彩强度的非线性关系;充分利用了图像的局部特征和全局特征,具有自适应性,可以抑制过度增强,对复杂光照环境下获取的图像增强效果明显;将M×N个幂指数运算降低为256个,提高了计算效率,Z=7,F=6,φ=0.18,计算平均帧率为18FPS,计算量小于同类型的字典算法;在目标检测和跟踪阶段,能够消除不同温度导致图像的旋转和平移造成的误差,提高识别率,经处理后的图像细节更加清晰,且计算量相对于传统方法大幅度减少,能够有效适应目标尺度变化,并能够准确判定目标是否发生丢失,在目标重新回到视场后能够被重新检测并稳定跟踪,直至125帧后仍能稳定跟踪目标。此外,该文物展示柜具有实时性好、定位准确和鲁棒性强的优点,且在快速有遮挡的目标检测和跟踪方面有很好的效果,取得了意想不到的效果。
实施例5:如图1-2所示,一种基于视觉特征的文物展示柜,包括文物展示柜5和安装在文物展示柜5上的监测装置4,监测装置4用于对文物展示柜5附近的活动进行视频图像监测,监测装置4包括预处理模块1、检测跟踪模块2、识别输出模块3。
(1)预处理模块1,用于对接收到的图像进行预处理,具体包括图像转化子模块11、图像滤波子模块12和图像增强子模块13:
图像转化子模块11,用于将彩色图像转化为灰度图像:
H ( x , y ) = max ( R ( x , y ) , G ( x , y ) , B ( x , y ) ) + min ( R ( x , y ) , G ( x , y ) , B ( x , y ) ) 2 + 2 ( max ( R ( x , y ) , G ( x , y ) , B ( x , y ) ) - m i n ( R ( x , y ) , G ( x , y ) , B ( x , y ) ) )
其中,R(x,y)、G(x,y)、B(x,y)分别代表像素(x,y)处的红绿蓝强度值,H(x,y)代表坐标(x,y)处的像素灰度值;图像大小为m×n;
图像滤波子模块12,用于对灰度图像进行滤波:
采用维纳滤波来进行一级滤除后,定义svlm图像,记为Msvlm(x,y),具体定义公式为:Msvlm(x,y)=a1J1(x,y)+a2J2(x,y)+a3J3(x,y)+a4J4(x,y),其中a1、a2、a3、a4为可变权值, a i = J i J 1 + J 2 + J 3 + J 4 , i = 1,2,3,4 ; J(x,y)为经滤波后的图像;
图像增强子模块13:
| 128 - m | > | &omega; - 50 | 3 时, L ( x , y ) = 255 &times; ( H ( x , y ) 255 ) &psi; ( x , y ) , 其中,L(x,y)为增强后的灰度值;ψ(x,y)是包含有局部信息的伽马校正系数,此时α是范围为0到1的可变参数,
| 128 - m | &le; | &omega; - 50 | 3 且ω>50时, L ( x , y ) = 255 &times; ( H ( x , y ) 255 ) &psi; ( x , y ) &times; ( 1 - &omega; - 50 &omega; 2 ) , 其中ψ(x,y)=ψα(Msvlm(x,y)),mH是图像中灰度值高于128的所有像素的均值,mL是灰度值低于128的所有像素的均值,且此时m=min(mH,mL),在α值已知的情况下,计算出256个ψ校正系数作为查找表,记为其中i为索引值,利用Msvlm(x,y)的灰度值作为索引,根据ψ(x,y)=ψα(Msvlm(x,y))快速获得图像中每个像素的伽马校正系数ψ(x,y);为模板修正系数;
(2)检测跟踪模块2,具体包括构建子模块21、丢失判别子模块22和更新子模块23:
构建子模块21,用于视觉字典的构建:
在初始帧获取跟踪目标的位置和尺度,在其周围选取正负样本训练跟踪器,将跟踪结果作为训练集X={x1,x2,......xN}T;并对训练集中的每幅目标图像提取128维的SIFT特征其中St表示训练集中第t幅目标图像中SIFT特征的个数;跟踪N帧以后,通过聚类算法将这些特征划分为K个簇,每个簇的中心构成特征单词,记为能够提取到的特征总量其中K<<FN,且视觉字典构建好以后,每幅训练图像表示为特征包的形式,用于表示视觉字典中特征单词出现的频率,用直方图h(xt)表示,h(xt)通过以下方式获取:将一幅训练图像Xt中的每一个特征向视觉字典投影,用投影距离最短的特征单词表示该特征,对所有特征投影完毕后,统计每个特征单词的出现频率,并归一化得到训练图像Xt的特征直方图h(xt);
丢失判别子模块22,用于判别目标的丢失与否:
当新一帧图像到来时,从K个直方图柱中随机选取Z<K个直方图柱,且Z=8,形成新的大小为Z的子直方图h(z)(xt),子直方图的个数最多为个;计算候选目标区域和训练集中某个目标区域对应子直方图的相似性Φt_z其中t=1,2,...,N,z=1,2,...,Ns,然后计算总体相似性Φt=1-∏z(1-Φt_z);候选目标区域与目标的相似性用Φ=max{Φt,t}表示,则目标丢失判断式为: u = s i g n ( &Phi; ) = 1 &Phi; &GreaterEqual; g s 0 &Phi; < g s , 其中gs为人为设定的判失阀值;当u=1时目标被稳定跟踪,当u=0时,目标丢失;
当目标丢失时,定义仿射变换模型: x t y t = s . c o s ( &mu; 1 &times; &theta; ) s . s i n ( &mu; 1 &times; &theta; ) - s . s i n ( &mu; 1 &times; &theta; ) s . c o s ( &mu; 1 &times; &theta; ) x t - 1 y t - 1 + &mu; 2 e f , 其中(xt,yt)和(xt-1,yt-1)分别为当前帧目标中某个SITF特征点的位置坐标和前一个帧目标中对应匹配特征点的位置坐标,两者均为已知量;s为尺度系数,θ为旋转系数,e和f代表了平移系数, &mu; 1 = 1 - | T - T 0 | 1000 T 0 T &GreaterEqual; T 0 1 + | T - T 0 | 1000 T 0 T < T 0 为温度旋转修正系数, &mu; 2 = 1 - | T - T 0 | 1000 T 0 T &GreaterEqual; T 0 1 + | T - T 0 | 1000 T 0 T < T 0 为温度平移修正系数,μ1和μ2用于修正因为环境温度偏差造成的图像旋转和平移误差,T0为人为设定的标准温度,设为20度,T为由温度传感器实时监测得到的温度值;采用Ransac估计算法求取仿射变换模型的参数,最后在新的尺度s和旋转系数θ下采集正负样本,更新分类器;
更新子模块23,用于视觉字典的更新:
在每帧图像获得目标位置以后,根据仿射变换参数的计算结果,收集所有满足结果参数的SIFT特征点经过F=7帧以后,获得新的特征点集其中St-F代表了从F帧图像中得到的总特征点数;利用下式对新旧特征点重新进行K聚类: 其中表示新的视觉字典,视觉字典的大小保持不变;是遗忘因子,表明了旧字典所占的比重,越小,新特征对目标丢失的判断贡献越多,取
(3)识别输出模块3,用于图像的识别和输出:在待识别的图像序列中利用跟踪算法获取目标区域,将目标区域映射到已知训练数据形成的子空间,计算子空间中目标区域与训练数据之间的距离,获得相似性度量,判定目标类别,并输出识别结果。
优选的,采用维纳滤波来进行一级滤除后,此时图像信息还包含有残余的噪音,采用以下的二级滤波器进行二次滤波:
J ( x , y ) = &Sigma; i = - m / 2 m / 2 &Sigma; j = - n / 2 n / 2 H ( x , y ) P g ( x + i , y + j )
其中,J(x,y)为经过滤波后的图像;Pg(x+i,y+j)代表尺度为m×n的函数,且Pg(x+i,y+j)=q×exp(-(x2+y2)/ω),其中q是将函数归一化的系数,即:∫∫q×exp(-(x2+y2)/ω)dxdy=1。
此实施例的文物展示柜,在图像预处理阶段,增强的图像能够根据模板的大小自适应调整,提高增强效果,且在在不同模板大小时判断条件能自动修正,且考虑了视觉习惯以及人眼对不同色彩的感知度同色彩强度的非线性关系;充分利用了图像的局部特征和全局特征,具有自适应性,可以抑制过度增强,对复杂光照环境下获取的图像增强效果明显;将M×N个幂指数运算降低为256个,提高了计算效率,Z=8,F=7,计算平均帧率为19FPS,计算量小于同类型的字典算法;在目标检测和跟踪阶段,能够消除不同温度导致图像的旋转和平移造成的误差,提高识别率,经处理后的图像细节更加清晰,且计算量相对于传统方法大幅度减少,能够有效适应目标尺度变化,并能够准确判定目标是否发生丢失,在目标重新回到视场后能够被重新检测并稳定跟踪,直至130帧后仍能稳定跟踪目标。此外,该文物展示柜具有实时性好、定位准确和鲁棒性强的优点,且在快速有遮挡的目标检测和跟踪方面有很好的效果,取得了意想不到的效果。

Claims (2)

1.一种基于视觉特征的文物展示柜,包括文物展示柜和安装在文物展示柜上的监测装置,监测装置用于对文物展示柜附近的活动进行视频图像监测,其特征是,监测装置包括预处理模块、检测跟踪模块、识别输出模块;
(1)预处理模块,用于对接收到的图像进行预处理,具体包括图像转化子模块、图像滤波子模块和图像增强子模块:
图像转化子模块,用于将彩色图像转化为灰度图像:
H ( x , y ) = max ( R ( x , y ) , G ( x , y ) , B ( x , y ) ) + min ( R ( x , y ) , G ( x , y ) , B ( x , y ) ) 2 + 2 ( max ( R ( x , y ) , G ( x , y ) , B ( x , y ) ) - m i n ( R ( x , y ) , G ( x , y ) , B ( x , y ) ) )
其中,R(x,y)、G(x,y)、B(x,y)分别代表像素(x,y)处的红绿蓝强度值,H(x,y)代表坐标(x,y)处的像素灰度值;图像大小为m×n;
图像滤波子模块,用于对灰度图像进行滤波:
采用维纳滤波来进行一级滤除后,定义svlm图像,记为Msvlm(x,y),具体定义公式为:Msvlm(x,y)=a1J1(x,y)+a2J2(x,y)+a3J3(x,y)+a4J4(x,y),其中a1、a2、a3、a4为可变权值,i=1,2,3,4;J(x,y)为经滤波后的图像;
图像增强子模块:
| 128 - m | > | &omega; - 50 | 3 时, L ( x , y ) = 255 &times; ( H ( x , y ) 255 ) &psi; ( x , y ) , 其中,L(x,y)为增强后的灰度值;ψ(x,y)是包含有局部信息的伽马校正系数,此时α是范围为0到1的可变参数,ω为模板尺度大小参量,尺度越大则模板中包含的邻域像素信息就越多,输入图像经过不同尺度ωi的模板,得到的图像Ji将会包含不同范围的邻域信息;
| 128 - m | &le; | &omega; - 50 | 3 且ω>50时, L ( x , y ) = 255 &times; ( H ( x , y ) 255 ) &psi; ( x , y ) &times; ( 1 - &omega; - 50 &omega; 2 ) , 其中ψ(x,y)=ψα(Msvlm(x,y)),mH是图像中灰度值高于128的所有像素的均值,mL是灰度值低于128的所有像素的均值,且此时m=min(mH,mL),在α值已知的情况下,计算出256个ψ校正系数作为查找表,记为其中i为索引值,利用Msvlm(x,y)的灰度值作为索引,根据ψ(x,y)=ψα(Msvlm(x,y))快速获得图像中每个像素的伽马校正系数ψ(x,y);为模板修正系数;
(2)检测跟踪模块,具体包括构建子模块、丢失判别子模块和更新子模块:
构建子模块,用于视觉字典的构建:
在初始帧获取跟踪目标的位置和尺度,在其周围选取正负样本训练跟踪器,将跟踪结果作为训练集X={x1,x2,......xN}T;并对训练集中的每幅目标图像提取128维的SIFT特征其中St表示训练集中第t幅目标图像中SIFT特征的个数;跟踪N帧以后,通过聚类算法将这些特征划分为K个簇,每个簇的中心构成特征单词,记为能够提取到的特征总量其中K<<FN,且视觉字典构建好以后,每幅训练图像表示为特征包的形式,用于表示视觉字典中特征单词出现的频率,用直方图h(xt)表示,h(xt)通过以下方式获取:将一幅训练图像Xt中的每一个特征fs (t)向视觉字典投影,用投影距离最短的特征单词表示该特征,对所有特征投影完毕后,统计每个特征单词的出现频率,并归一化得到训练图像Xt的特征直方图h(xt);
丢失判别子模块,用于判别目标的丢失与否:
当新一帧图像到来时,从K个直方图柱中随机选取Z<K个直方图柱,且Z=4,形成新的大小为Z的子直方图h(z)(xt),子直方图的个数最多为个;计算候选目标区域和训练集中某个目标区域对应子直方图的相似性Φt_z其中t=1,2,...,N,z=1,2,...,Ns,然后计算总体相似性Φt=1-∏z(1-Φt_z);候选目标区域与目标的相似性用Φ=max{Φt,t}表示,则目标丢失判断式为: u = s i g n ( &Phi; ) = 1 &Phi; &GreaterEqual; g s 0 &Phi; < g s , 其中gs为人为设定的判失阀值;当u=1时目标被稳定跟踪,当u=0时,目标丢失;当目标丢失时,定义仿射变换模型: x t y t = s . c o s ( &mu; 1 &times; &theta; ) s . s i n ( &mu; 1 &times; &theta; ) - s . s i n ( &mu; 1 &times; &theta; ) s . c o s ( &mu; 1 &times; &theta; ) x t - 1 y t - 1 + &mu; 2 e f , 其中(xt,yt)和(xt-1,yt-1)分别为当前帧目标中某个SITF特征点的位置坐标和前一个帧目标中对应匹配特征点的位置坐标,两者均为已知量;s为尺度系数,θ为旋转系数,e和f代表了平移系数, &mu; 1 = 1 - | T - T 0 | 1000 T 0 T &GreaterEqual; T 0 1 + | T - T 0 | 1000 T 0 T < T 0 为温度旋转修正系数, &mu; 2 = 1 - | T - T 0 | 1000 T 0 T &GreaterEqual; T 0 1 + | T - T 0 | 1000 T 0 T < T 0 为温度平移修正系数,μ1和μ2用于修正因为环境温度偏差造成的图像旋转和平移误差,T0为人为设定的标准温度,设为20度,T为由温度传感器实时监测得到的温度值;采用Ransac估计算法求取仿射变换模型的参数,最后在新的尺度s和旋转系数θ下采集正负样本,更新分类器;
更新子模块,用于视觉字典的更新:
在每帧图像获得目标位置以后,根据仿射变换参数的计算结果,收集所有满足结果参数的SIFT特征点经过F=3帧以后,获得新的特征点集其中St-F代表了从F帧图像中得到的总特征点数;利用下式对新旧特征点重新进行K聚类: 其中表示新的视觉字典,视觉字典的大小保持不变;是遗忘因子,表明了旧字典所占的比重,越小,新特征对目标丢失的判断贡献越多,取
(3)识别输出模块,用于图像的识别和输出:在待识别的图像序列中利用跟踪算法获取目标区域,将目标区域映射到已知训练数据形成的子空间,计算子空间中目标区域与训练数据之间的距离,获得相似性度量,判定目标类别,并输出识别结果。
2.根据权利要求1所述的一种基于视觉特征的文物展示柜,其特征是,采用维纳滤波来进行一级滤除后,此时图像信息还包含有残余的噪音,采用以下的二级滤波器进行二次滤波:
J ( x , y ) = &Sigma; i = - m / 2 m / 2 &Sigma; j = - n / 2 n / 2 H ( x , y ) P g ( x + i , y + j )
其中,J(x,y)为经过滤波后的图像;Pg(x+i,y+j)代表尺度为m×n的函数,且Pg(x+i,y+j)=q×exp(-(x2+y2)/ω),其中q是将函数归一化的系数,即:∫∫q×exp(-(x2+y2)/ω)dxdy=1。
CN201610046388.8A 2016-01-22 2016-01-22 一种基于视觉特征的文物展示柜 Pending CN105718900A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610046388.8A CN105718900A (zh) 2016-01-22 2016-01-22 一种基于视觉特征的文物展示柜

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610046388.8A CN105718900A (zh) 2016-01-22 2016-01-22 一种基于视觉特征的文物展示柜

Publications (1)

Publication Number Publication Date
CN105718900A true CN105718900A (zh) 2016-06-29

Family

ID=56153898

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610046388.8A Pending CN105718900A (zh) 2016-01-22 2016-01-22 一种基于视觉特征的文物展示柜

Country Status (1)

Country Link
CN (1) CN105718900A (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040175021A1 (en) * 2002-11-29 2004-09-09 Porter Robert Mark Stefan Face detection
CN104778699A (zh) * 2015-04-15 2015-07-15 西南交通大学 一种自适应对象特征的跟踪方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040175021A1 (en) * 2002-11-29 2004-09-09 Porter Robert Mark Stefan Face detection
CN104778699A (zh) * 2015-04-15 2015-07-15 西南交通大学 一种自适应对象特征的跟踪方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
吴京辉: ""视频监控目标的跟踪与识别研究"", 《中国博士学位论文全文数据库 信息科技辑》 *

Similar Documents

Publication Publication Date Title
CN105469041B (zh) 基于多任务正则化与逐层监督神经网络的人脸点检测系统
CN104063722B (zh) 一种融合hog人体目标检测和svm分类器的安全帽识别方法
CN105404847B (zh) 一种遗留物实时检测方法
CN105160297B (zh) 基于肤色特征的蒙面人事件自动检测方法
CN109670441A (zh) 一种实现安全帽穿戴识别的方法、系统、终端以及计算机可读存储介质
CN106548165A (zh) 一种基于图像分块加权的卷积神经网络的人脸识别方法
CN104408406B (zh) 基于帧差法和减背景法的人员离岗检测方法
CN106709450A (zh) 一种指纹图像识别方法及系统
CN103020992B (zh) 一种基于运动颜色关联的视频图像显著性检测方法
CN105718896A (zh) 一种具有目标识别功能的智能机器人
CN103473564B (zh) 一种基于敏感区域的正面人脸检测方法
CN101715111B (zh) 视频监控中滞留物主自动搜寻方法
CN110298297A (zh) 火焰识别方法和装置
WO2019228040A1 (zh) 一种面部图像评分方法及摄像机
CN108537143B (zh) 一种基于重点区域特征比对的人脸识别方法与系统
CN105844245A (zh) 一种伪装人脸检测方法及系统
CN107895157B (zh) 一种低分辨率图像虹膜中心精确定位的方法
CN111914761A (zh) 一种热红外人脸识别的方法及系统
CN107944403A (zh) 一种图像中的行人属性检测方法及装置
CN105678735A (zh) 一种用于雾天图像的目标显著性检测方法
CN109902613A (zh) 一种基于迁移学习和图像增强的人体特征提取方法
CN107808524A (zh) 一种基于无人机的道路交叉口车辆检测方法
CN105718895A (zh) 一种基于视觉特征的无人机
CN105740768A (zh) 一种局部和全局特征相结合的无人驾驶叉运装置
CN105718897A (zh) 一种基于视觉特征的数控车床

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20160629