CN101336824B - 图像纹理复杂度的视觉感知响应强度检测装置 - Google Patents
图像纹理复杂度的视觉感知响应强度检测装置 Download PDFInfo
- Publication number
- CN101336824B CN101336824B CN2008100634355A CN200810063435A CN101336824B CN 101336824 B CN101336824 B CN 101336824B CN 2008100634355 A CN2008100634355 A CN 2008100634355A CN 200810063435 A CN200810063435 A CN 200810063435A CN 101336824 B CN101336824 B CN 101336824B
- Authority
- CN
- China
- Prior art keywords
- region
- image
- unit image
- edge
- response intensity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000004044 response Effects 0.000 title claims abstract description 67
- 230000016776 visual perception Effects 0.000 title claims description 63
- 238000001514 detection method Methods 0.000 claims abstract description 7
- 230000005764 inhibitory process Effects 0.000 claims description 2
- 230000000007 visual effect Effects 0.000 abstract description 39
- 230000004438 eyesight Effects 0.000 abstract description 14
- 238000000034 method Methods 0.000 abstract description 11
- 238000012545 processing Methods 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 abstract description 3
- 238000013441 quality evaluation Methods 0.000 abstract description 2
- 230000001953 sensory effect Effects 0.000 abstract 4
- 230000035807 sensation Effects 0.000 abstract 2
- 239000003112 inhibitor Substances 0.000 description 7
- 230000008447 perception Effects 0.000 description 5
- 238000001914 filtration Methods 0.000 description 4
- 230000035945 sensitivity Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 210000004556 brain Anatomy 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000000873 masking effect Effects 0.000 description 2
- 238000011017 operating method Methods 0.000 description 2
- 210000000857 visual cortex Anatomy 0.000 description 2
- 230000005284 excitation Effects 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 210000003977 optic chiasm Anatomy 0.000 description 1
- 230000004413 optic chiasma Effects 0.000 description 1
- 210000001328 optic nerve Anatomy 0.000 description 1
- 230000037361 pathway Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 241000894007 species Species 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种针对图像纹理复杂度的视觉感知响应强度检测装置及方法,视频图像经视频采集器采集并存放在图像缓存器中,再依次经过边缘检测器、方向复杂度检测器、初始视觉感知响应强度生成器和视觉感知响应强度抑制器处理得到纹理复杂度感知图。本发明的视觉感知响应强度检测装置及检测方法,利用图像区域的边缘方向信息来模拟人类视觉系统对图像纹理复杂度的感知工作机制,采用的操作步骤简洁,处理效率高效,在视觉和视频信号的许多处理领域都具有应用价值,例如客观视觉质量评价系统和基于区域的视频编码系统。
Description
技术领域
本发明涉及视觉和视频信号处理领域,具体来说是指一种根据人类视觉系统工作机制,针对图像纹理复杂度的视觉感知响应强度检测装置。
背景技术
光线从人眼进入到视网膜后,再经过视神经和视交叉进入外膝体,然后到达视皮层,经过视皮层以及脑部其它区域的进一步处理后,形成了对视频场景的感知结果。人类视觉系统实际的视觉通路和感知机制远较上述过程描述的复杂。可以把大脑对视频场景的视觉感知分为三个不同的处理区域。低级视觉区域主要是处理诸如亮度和纹理等初级视觉信息,中级视觉区域关注的是对象形状、空间关系等视觉信息,而在高级视觉区域中,主要涉及对视频场景内容的识别、理解等更高层次的视觉处理。
在人类视觉系统的众多视觉处理机制中,视觉信号的空间对比度感知是人类视觉系统最为基本的视觉处理机制,是人类视觉系统感知纹理等空间形状的必要条件。空间对比敏感度表征了人类视觉系统对视觉信号的敏感程度,定义为观察者能检测出测试激励的最小对比度值的倒数,它会受视觉信号的空间频率因素影响。时域静止的视觉信号空间对比敏感度在空间频率为4-5周期每度处达到峰值,并且随着频率的进一步升高,人类视觉系统对视觉信号的敏感度会快速地下降。另外,当视觉信号运动时,其时域频率也会对对比敏感度产生影响。视觉信号不同频率导致的对比敏感度变化,称之为视觉敏感度感知机制。人类视觉系统另外一个较为重要的感知机制为视觉掩盖效应,是指另外一个视觉信号的存在会降低人类视觉系统对目标视觉信号的敏感度,比如纹理复杂的图像区域相对于纹理简单的图像区域对视觉信号失真具有更强的掩盖能力。
一方面,由于人类视觉系统的频率分辩能力和视觉选择特性,人类视觉系统在关注视频场景时,会优先注意边缘方向单一的结构化纹理区域,而对边缘方向种类多的随机纹理区域的关注度较低;另一方面,由于人类视觉系统的视觉掩盖效应感知机制,随机纹理区域中的视觉信号失真难以被人类视觉系统察觉,而结构化纹理区域和平滑区域对视觉信号失真具有较低的掩盖能力,因此容易被人类视觉系统注意。因此,综合上面两个因素,人类视觉系统对结构化纹理区域具有最高的视觉感知响应强度,而对随机纹理区域的视觉感知响应强度应该最低。
现有技术中,Tang C W,Chen C H,Yu Y H等人的文章“Visualsensitivity guided bit allocation for video coding”(《IEEE Transactions onMultimedia》2006,8(1):11-18)中对视觉感知响应强度做了报道,但该技术中操作步骤非常复杂,也没有考虑边缘方向和抑制检测,检测效果和处理效率都比较低。
发明内容
本发明提供了一种根据人类视觉系统工作机制,针对图像纹理复杂度的视觉感知响应强度检测装置。
一种针对图像纹理复杂度的视觉感知响应强度检测装置,包括:
用于读取并检测视频图像的边缘的边缘检测器;
用于将视频图像划分为若干个单位图像区域,并根据得到的边缘数据检测单位图像区域的纹理方向复杂度的方向复杂度检测器;
用于计算单位图像区域初始视觉感知响应强度的初始视觉感知响应强度生成器;
用于抑制某些单位图像区域视觉感知响应强度的视觉感知响应强度抑制器;
从外部采集的视频图像依次经过边缘检测器、方向复杂度检测器、初始视觉感知响应强度生成器和视觉感知响应强度抑制器处理得到纹理复杂度感知图。
所述的从外部采集的视频图像可以通过现有技术的各类视频采集器进行采集,采集后缓存在图像缓存器中,边缘检测器从图像缓存器中读取视频图像数据。
本发明还提供了一种针对图像纹理复杂度的视觉感知响应强度检测方法,包括以下步骤:
(1)视频采集器采集视频场景图像,并存入到图像缓存器中;边缘检测器从图像缓存器中获取视频场景图像,计算视频场景图像中每个像素点的点边缘方向类型。
计算时使用四组不同方向的高通滤波器,分别计算出像素点在{0°或者180°,45°或者135°,90°或者270°,135°或者315°}四类边缘方向上的边缘强度;对于任意像素点,当在四个边缘方向上计算得到的边缘强度都小于阈值t_s(t_s可以取1~25)时,认为该点不包含边缘;否则,当四个边缘方向上的边缘强度至少有一个方向上的边缘强度大于等于阈值时,把四个边缘方向上的边缘强度中的最大值所对应的边缘方向作为该像素点的点边缘方向类型。
若出现多个上的边缘强度相同,取最初选取的边缘方向作为该像素点的点边缘方向类型。
(2)将视频图像均匀划分为若干个N×N像素大小的单位图像区域,根据每个单位图像区域中具有某种点边缘方向类型的边缘点的个数,统计每个单位图像区域中的纹理边缘方向类型个数和总边缘点数;
将视频图像划分为若干个N×N(N可以取6~32)像素大小的单位图像区域,判断每个单位图像区域中具有某种点边缘方向类型的边缘点的个数是否大于给定阈值e_c,当每种点边缘方向上的边缘点数大于给定阈值e_c时,就认为该单位图像区域存在与这种点边缘方向同类型的纹理边缘方向;阈值e_c的取值和N的大小有关,取[0.5N,2N]之间的一个数值。
(3)初始视觉感知响应强度生成器计算每个单位图像区域的初始视觉感知响应强度;
根据每个单位图像区域中纹理边缘方向类型个数和总边缘点数确定该单位图像区域的初始视觉感知响应强度。
计算出的整个图像的初始视觉感知响应强度称作初始纹理复杂度感知图,用TC表示。
(4)视觉感知响应强度抑制器对每个单位图像区域的初始视觉感知响应强度执行抑制检测后得到抑制后的视觉感知响应强度,将所有单位图像区域的抑制后的视觉感知响应强度输出得到纹理复杂度感知图。
视觉感知响应强度抑制器仅在只包含有一种纹理边缘方向类型的单位图像区域执行抑制检测。
执行抑制检测时,以当前单位图像区域为中心在其周边确定一个包含有若干个单位图像区域的邻域图像区域,邻域图像区域的大小可以是包含有3×3、5×5、7×7或更多个个单位图像区域。
在邻域图像区域中统计与当前单位图像区域中纹理边缘方向类型相同的单位图像区域的个数,该个数超过阈值d_c(d_c可以取4~8)时,则当前单位图像区域的初始视觉感知响应强度被抑制成最低的视觉感知响应强度。执行抑制检测后的纹理复杂度感知图用P表示,P为本发明装置最终输出的视觉感知响应强度检测结果。
本发明的视觉感知响应强度检测装置及检测方法,利用图像区域的边缘方向信息来模拟人类视觉系统对图像纹理复杂度的感知工作机制,采用的操作步骤简洁,处理效率高效。本发明在视觉和视频信号的许多处理领域都具有应用价值,例如客观视觉质量评价系统和基于区域的视频编码系统。
附图说明
图1为采用本发明视觉感知响应强度检测装置结构框图;
图2为本发明方法中每个单位图像区域的初始视觉感知响应强度计算算法流程图;
图3为本发明方法获得的纹理复杂度感知图的示意图;
图4为本发明方法中高通滤波器的示意图。
具体实施方式
如图1所示,本发明针对图像纹理复杂度的视觉感知响应强度检测装置,包括:
用于读取并检测图像边缘的边缘检测器130;
用于将视频图像划分为若干个单位图像区域,并根据得到的边缘数据检测单位图像区域的纹理方向复杂度的方向复杂度检测器140;
用于计算每个块图像区域初始视觉感知响应强度的初始视觉感知响应强度生成器150;
用于抑制某些块图像区域视觉感知响应强度的视觉感知响应强度抑制器160。
视频图像利用现有技术经视频采集器110采集并存放在图像缓存器120中,图像缓存器120中的数据被本发明视觉感知响应强度检测装置读取后依次经过边缘检测器130、方向复杂度检测器140、初始视觉感知响应强度生成器150和视觉感知响应强度抑制器160处理得到纹理复杂度感知图。
采用本发明装置检测针对图像纹理复杂度的视觉感知响应强度,包括以下步骤:
(1)视频采集器110采集视频场景图像,并存入到图像缓存器120中;边缘检测器130从图像缓存器120中获取图像,计算图像每个像素点的点边缘方向类型:使用四组不同方向的高通滤波器,分别计算出像素点在0°或者180°;90°或者270°;45°或者135°;135°或者315°四类边缘方向(即水平、垂直和±45°这四个方向)上的边缘强度;对于任意像素点,当在四个边缘方向上计算得到的边缘强度都小于阈值t_s(t_s可以取1~25)时,认为该点不包含边缘;否则,把边缘强度最大值所对应的边缘方向作为该像素点的点边缘方向类型;若出现多个上的边缘强度相同,取最初选取的边缘方向作为该像素点的点边缘方向类型;
(2)方向复杂度检测器140将视频图像均匀划分为若干个N×N(N可以取6~32)像素大小的单位图像区域,统计每个单位图像区域的纹理边缘方向种类数和总边缘点数:当每种点边缘方向上的边缘点数大于给定阈值e_c时,就认为该单位图像区域存在与这种点边缘方向同类型的纹理边缘方向;阈值e_c的取值和N的大小有关,取[0.5N,2N]之间的一个数值;总共拥有的纹理边缘方向数用cd表示;同时统计每个单位图像区域的总边缘点数,如果总边缘点数大于给定阈值s_e,阈值s_e的取值和N的大小有关,取[N,5N]之间的一个数值,则置标号ce为s1,否则置它为s0,并且s1的取值要大于s0的取值;
(3)初始视觉感知响应强度生成器150计算每个单位图像区域的初始视觉感知响应强度:按图2所示的算法流程图计算每个单位图像区域的初始视觉感知响应强度,具体过程为:获得一个单位图像区域的cd和ce,如果cd等于0,则置该单位图像区域的初始视觉感知响应为v1;如果cd等于1,则置该单位图像区域的初始视觉感知响应为v2;如果cd等于2,则置该单位图像区域的初始视觉感知响应为v2减去ce;如果cd等于3,则置该单位图像区域的初始视觉感知响应为v1减去ce;如果cd等于其他值,则置该单位图像区域的初始视觉感知响应为v0。并且满足如下约束条件:v2要大于v1,而v1要大于v0,v2和v1都要大于等于ce,计算出的最小初始视觉感知响应强度为v0。计算出的整个视频图像的初始视觉感知响应强度称作初始纹理复杂度感知图,用TC表示;
(4)视觉感知响应强度抑制器160对只包含一种纹理边缘方向类型的单位图像区域进行处理。
执行抑制检测时,以当前单位图像区域为中心在其周边确定一个包含有若干个单位图像区域的邻域图像区域。
在邻域图像区域中统计与当前单位图像区域中纹理边缘方向类型相同的单位图像区域的个数,该个数超过阈值d_c(d_c可以取4~8)时,则当前单位图像区域的初始视觉感知响应强度被抑制成最低的视觉感知响应强度v0。执行抑制检测后的纹理复杂度感知图用P表示,P为本发明装置最终输出的视觉感知响应强度检测结果。
在所述的检测方法中,阈值具体取值的一个例子如下表所示:
采用上述阈值的取值,检测得到的纹理复杂度感知图的一个例子如图3所示。其中,左侧子图为视频图像;右侧子图为纹理复杂度感知图,黑色区域的视觉感知响应强度为0,灰色区域的视觉感知响应强度为1,靠近白色区域的视觉感知响应强度为2。
如图4所示,高通滤波器410用于0°或者180°边缘方向上的高通滤波操作;高通滤波器420用于45°或者135°边缘方向上的高通滤波操作;高通滤波器430用于90°或者270°边缘方向上的高通滤波操作;高通滤波器440用于135°或者315°边缘方向上的高通滤波操作。
Claims (1)
1.一种针对图像纹理复杂度的视觉感知响应强度检测方法,包括以下步骤:
(1)计算采集得到的视频图像中每个像素点的点边缘方向类型;
计算时使用四组不同方向的高通滤波器,分别计算出每个像素点在0°或者180°;45°或者135°;90°或者270°;135°或者315°四个边缘方向上的边缘强度,当四个边缘方向上的边缘强度至少有一个方向上的边缘强度大于等于阈值时,把四个边缘方向上的边缘强度中的最大值所对应的边缘方向作为该像素点的点边缘方向类型;
(2)将视频图像均匀划分为若干个N×N像素大小的单位图像区域,根据每个单位图像区域中具有某种点边缘方向类型的边缘点的个数,统计每个单位图像区域中的纹理边缘方向类型个数和总边缘点数;
统计每个单位图像区域的纹理边缘方向类型个数时,判断每个单位图像区域中具有某种点边缘方向类型的边缘点的个数是否大于给定阈值,若大于给定阈值,则认为该单位图像区域存在与这种点边缘方向类型相同的纹理边缘方向;
(3)根据每个单位图像区域中纹理边缘方向类型个数和总边缘点数确定该单位图像区域的初始视觉感知响应强度;
(4)对每个单位图像区域的初始视觉感知响应强度执行抑制检测后得到抑制后的视觉感知响应强度,将所有单位图像区域的抑制后的视觉感知响应强度输出得到纹理复杂度感知图;
仅在只包含有一种纹理边缘方向类型的单位图像区域执行抑制检测;
执行抑制检测时,以当前单位图像区域为中心在其周边确定一个包含有若干个单位图像区域的邻域图像区域,在邻域图像区域中统计与当前单位图像区域中纹理边缘方向类型相同的单位图像区域的个数,该个数超过阈值时,则当前单位图像区域的初始视觉感知响应强度被抑制成最低的视觉感知响应强度。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2008100634355A CN101336824B (zh) | 2008-08-08 | 2008-08-08 | 图像纹理复杂度的视觉感知响应强度检测装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2008100634355A CN101336824B (zh) | 2008-08-08 | 2008-08-08 | 图像纹理复杂度的视觉感知响应强度检测装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101336824A CN101336824A (zh) | 2009-01-07 |
CN101336824B true CN101336824B (zh) | 2010-08-04 |
Family
ID=40211105
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2008100634355A Expired - Fee Related CN101336824B (zh) | 2008-08-08 | 2008-08-08 | 图像纹理复杂度的视觉感知响应强度检测装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101336824B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101621709B (zh) * | 2009-08-10 | 2011-01-05 | 浙江大学 | 一种全参考型图像客观质量评价方法 |
CN106943116B (zh) * | 2017-03-13 | 2018-10-12 | 广东顺德中山大学卡内基梅隆大学国际联合研究院 | 一种婴幼儿视力自动检测方法 |
CN109714530B (zh) * | 2018-12-25 | 2020-08-21 | 中国科学院长春光学精密机械与物理研究所 | 一种航空相机图像调焦方法 |
-
2008
- 2008-08-08 CN CN2008100634355A patent/CN101336824B/zh not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
CN101336824A (zh) | 2009-01-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104851086B (zh) | 一种针对缆索表面缺陷的图像检测方法 | |
CN105096259B (zh) | 深度图像的深度值恢复方法和系统 | |
CN103679180B (zh) | 一种基于单摄像头单光源的视线追踪方法 | |
CN103093210B (zh) | 人脸识别中眼镜的鉴别方法及装置 | |
CN104637031B (zh) | 眼部图像处理方法和装置 | |
CN105069778B (zh) | 基于目标特征显著图构建的工业产品表面缺陷检测方法 | |
CN109344717A (zh) | 一种多阈值动态统计的深海目标在线检测识别方法 | |
CN104346626A (zh) | 基于图像识别的sf6气体泄漏在线模式识别方法 | |
CN116071657B (zh) | 一种建筑施工视频监控大数据的智能预警系统 | |
CN103475800B (zh) | 图像序列中前景的检测方法和装置 | |
CN101336824B (zh) | 图像纹理复杂度的视觉感知响应强度检测装置 | |
CN109003233A (zh) | 一种基于自适应权重全变分模型的图像去噪方法 | |
JP4383352B2 (ja) | 核多形性の組織学的評価 | |
CN108648204A (zh) | 一种实现人工智能区域屏蔽的人体安检的方法和装置 | |
CN106327436A (zh) | 一种基于多通道噪声检测的滤波方法及装置 | |
CN105791635B (zh) | 基于gpu的视频增强去噪方法及装置 | |
Onkaew et al. | Automatic extraction of retinal vessels based on gradient orientation analysis | |
CN106920266A (zh) | 验证码的背景生成方法和装置 | |
CN105719252A (zh) | 一种铁路巡检图像实时高动态范围绘制方法和装置 | |
RU2510897C2 (ru) | Способ сегментации сложноструктурированных растровых полутоновых изображений на основе составных морфологических операторов | |
CN110403604A (zh) | 基于注意力集中程度构建环境空间和训练注意力的方法 | |
CN102855612A (zh) | 基于灰度线阵ccd图像的自适应增强算法 | |
Gao et al. | New edge detection algorithms using alpha weighted quadratic filter | |
CN115423861A (zh) | 气体泄露检测方法及装置、设备、存储介质 | |
CN111192332A (zh) | 一种基于烟雾检测的烟机控制方法以及烟机 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20100804 Termination date: 20200808 |
|
CF01 | Termination of patent right due to non-payment of annual fee |