CN1409268A - 用于实时人类视觉系统行为建模的时间处理 - Google Patents
用于实时人类视觉系统行为建模的时间处理 Download PDFInfo
- Publication number
- CN1409268A CN1409268A CN02142812.3A CN02142812A CN1409268A CN 1409268 A CN1409268 A CN 1409268A CN 02142812 A CN02142812 A CN 02142812A CN 1409268 A CN1409268 A CN 1409268A
- Authority
- CN
- China
- Prior art keywords
- time
- linear
- test
- image signal
- temporal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
在空间实时人类视觉系统行为建模算法的输入处增加用于实时人类视觉系统行为建模的时间处理过程。该时间处理过程包括在各参照信道和测试信道中串联的线性和非线性时间过滤器,参照信道的输入是参照图像信号,测试信道的输入是测试图像信号,测试图像信号是参照图像信号的弱化形式。非线性时间过滤模拟带有神经突击和衰减的过程,以便补偿峰值敏感度中的变换以及空间-时间敏感度函数中的频率加倍。线性时间过滤负责空间-时间敏感度函数中的其余的细小区别。
Description
有关受联邦资助的研究或开发的声明
根据空军部合同F30602-98-C-0218的规定,政府就本发明享有某些权利。
发明领域
本发明涉及视频图像质量评估,更具体地说,本发明涉及用于实时人类视觉系统行为建模的时间处理。
背景技术
一般地说,用下列参数来描述业已用于探测人类视觉系统(HVS)的刺激源:时间频率、空间频率、平均亮度或横向掩蔽效果、目标图像在视网膜上的角度范围或尺寸、相对视觉中心(中央凹)的偏心度或角距离、等价的眼睛运动、旋转定向、环绕。再有,可将多种刺激源分类到下列范畴之一:驻波、行波、临时脉冲和阶梯;以上事物的组合(旋转、目标图像图案和掩蔽);以及,“自然的”场景/序列。已将对这些刺激源的响应参数化为:辨别中的感觉阈值;阈上的时间对比感觉;感觉到的空间频率,包括混叠/加倍;感觉到的时间频率,包括闪烁等;感觉到的速度(速率和方向);感觉到的幻影信号(噪声、余像、额外/遗漏的脉冲等);感觉到的图像质量;以及,神经响应(电压波形等)。
问题是形成用于在给定相应一组刺激源的情况下再现并预测人类响应的方法。最终的目标是预测图像质量。假定为了达到这一目标,最少应尽可能地模仿阈值和阈上响应。此外,希望预测诸如空间频率加倍或与见到额外(幻影)脉冲有关的之类的视错觉等等,但被认为是次重要的。最后,预测应与神经及其它中间响应相一致。
本文件中的HVS模型不负责时间响应、不考虑基础方面(诸如用于驻波的双峰空间-时间阈值表面、掩蔽、空间频率加倍等)并且/或者在计算上过于复杂或者对大多数应用来是不够的。
本发明人于1999年11月11日提交的、题为“实时人类视觉系统行为建模”的共同未决的US专利申请书第09/438697号提供了一种HVS行为建模算法,该算法在本质上是空间的并且简单得足以在实时视频环境中加以执行。在独立的信道中处理参照和测试图像信号。对每个信号均进行空间上的低通过滤、分成相应的区域,并从过滤的信号中减去所述区域均值。然后,在噪声喷射之后,两个处理过的图像信号彼此相减,并且,每个段都确定方差,可根据这种方差确定视频图像质量的度量标准。但是,这种建模过程未考虑时间效应。
神经响应一般具有快速突击性和慢速衰减性,并且,有迹象表明,某些视网膜神经节细胞对正的时间脉冲有响应,某些细胞对负的有响应,而某些细胞对两者都有响应。在每一种情况下,若突击比衰减快,则会产生与时间频率有关的校正。在校正变成主要的关键时间频率之上,空间频率加倍。这种关键的时间频率刚好对应于空间-时间响应中的次峰值,在上述空间-时间响应中,空间频率敏感度(以及相关的对比敏感度对频率-CSF)曲线在OHz处大致向下移动倍频程。
所希望的是用于实时HVS行为建模的算法,它能提高预测HVS的时间响应的效率和精确度。
发明概述
因此,本发明提供了一种用于实时人类视觉系统行为建模的时间处理算法,它是在空间处理算法之前增加的,以便改进对HVS行为建模的时间响应的预测。时间处理包括在各参照信道和测试信道中串行地进行线性和非线性时间过滤,参照信道的输入是参照图像信号,测试信道的输入是测试图像信号,测试图像信号是参照图像信号的弱化形式。非线性时间过滤模拟带有神经突击和衰减的过程,以便解决峰值敏感度中的变换以及空间-时间敏感度函数中的频率加倍。线性时间过滤解决空间-时间敏感度函数中的其余的细小区别。
在连同后附权利要求和附图一道阅读时,可从以下详细说明中看出本发明的目的、优点和其它新颖特征。
附图简述
图1是依照本发明的主观视频质量定级测量计的高效预测器的框图;
图2是依照本发明的图1的预测器的时间处理部分的框图;
图3是依照本发明的用于图2的时间处理部分的线性时间过滤器的框图;
图4是依照本发明的用于图2的时间处理部分的非线性时间过滤器的框图。
本发明的详细描述
参照图1,以与上述共同未决申请书所述相类似的方式示出了用于图像质量评价的流程图。将参照图像信号和弱化(测试)图像信号输入给相应的显示模块11、12,以便转换成亮度单位。亮度数据输入给空间建模算法10,该算法被实现为相应的两维低通过滤器13、14以及一个隐式高通过滤器(在步骤17、18分别从各个像素中减去来自步骤15、16的局部平均数(低通))。这种过滤器的组合能满足本文中用于各方向、平均亮度和分段区域的数据(对比敏感度对频率)提出的要求。与先有技术中从过滤器组输出的多个图像相反,从这一阶段上只输出有一个由后续用于各图像的阶段来加以处理的图像。
诸如就三个像素由三个像素块来计算块均值15、16。在信道中,根据块均值和其它简单块统计值对图像分段20。但是,为减化并减少计算资源起见,可省略步骤20。当前分段算法中使用的块统计值包括局部(块)平均亮度和先前的方差。但是,对区域的增加而言,可仅使用最大和最小值。在形成新块均值所属的段上将各块均值平均起来。从相应块内的各像素中减去这些均值17、18,以便完成隐性高通过滤。
借助取样操作21、22通过选择过滤的输入图像的绝对值与噪音的空间固定图案的绝对值之间较大的一个在各像素注入来自噪音生成器24的噪音,其中
core(A、B)={(|A|-|B|),若|A|>|B|;0,若|A|<|B|}*sign(A)
其中,A为信号,B为噪音。就参照图像段以及参照图像与测试图像段之间的差26计算段方差。通过按参照方差使不同的信道方差标准化(分割)而将两个信道段方差数据集组合起来用于各段。
最后,计算各段的标准化了方差的均值的第N次根32以便形成合计的测量值。对此例而言,N=4,其中,N可以是任何整数值。合计测量值可以按比例缩放或者以另外方式转换成诸如JND、MOS等适当的单位。
在输入给空间建模算法10之前,在各信道内增加一额外步骤即时间处理过程35、36。以上在背景部分中有关神经响应所讨论的内容表明,用于频率加倍的同样机制还解决了空间-时间敏感度表面的次峰值的空间-时间频率坐标。在空间处理过程之前向时间处理过程35、36提供神经突击和衰减可模拟峰值敏感度与频率加倍方面的转换(峰值的空间频率位置是时间频率的函数)。这一点可用非线牲时间过滤器37、38来实现,如图2所示。然后,线性时间过滤器39、40解决空间-时间敏感度函数中的其余的细小区别。线性和非线性过滤器的组合还能根据振幅和持续时间解决脉冲检测的阈值、根据振幅和与场景变化的时间接近度解决衰减量并且根据调制振幅解决闪烁和融合。
图3所示的线性时间过滤器39、40具有低通和带通过滤器的组合特征。亮度数据输入给一系列域延迟模块41-44,这些模块在各个域处均带有接头。将接头的输出输入给相应的乘法器45-48,其中,对这些输出用相应的系数b0、Dac*b0、b1、Dac*b1加权并在求和电路50内对它们求和。线性时间过滤器39、40基本上是按帧的不同来加权的,对两个域中的较早的一个来说,每个帧均具有适当的衰减(Dac)。对空间位置(x,y)处的各像素而言,给定了过滤器输出LTF(域),则可用下式给出过滤器输入D[]:
LTF(域)=(D[域]+D[域-1]*Dac)*b0+(D[域-2]+D[域-3]*Dac)*b1
其中:域=域序号;LTF(域)=特定像素(LTF[x,y,域])处的线性过滤器输出;D[域]=特定(x,y,域)坐标处的来自亮度数据的输入像素;b0,b1=FIR过滤系数(例如,b0=1;b1=-0.5);以及,Dac=衰减。B0系数标称为1,b1系数控制约8Hz处的增加量。在校准非线性时间过渡器37、38之后,校准B1参数。Dac标称为1或更少,这取决于取样率。
图4所示的非线性时间过滤器37、38具有包络随动器或振幅调制(AM)检测器/解调器的特征。其突击要快于衰减。
衰减*NFF[域-1];若LTF{域}<衰减*NTF[域-1]NTF[域]=
[1-突击]*LTF[域]+衰减*NTF[域-1]*衰减;否则其中,NTF[域]=特定像素(NTF[x,y;域])处的非线性过滤器输出;突击=0.9(较高的突击系数对应于较低的初始响应);以及,衰减=-0.98(较高的衰减系数对应对于较低的恢复率)。将非线性时间过滤器37、39的输出输入给延迟器51并随后在第一乘法器52中乘以衰减度。然后,在比较器54中将衰减了的输出与来自线性时间过滤器39、40的输出作比较。在第二乘法器56中将比较的结果乘以(1-突击)并输入给整流器58。在求和电路60中组合整流器58的输出,以产生过滤器输出。通过使HVS模型对准空间-时间阈值表面和空间频率加倍错觉的相应阈上区域而确定突击和衰减时间。非线性时间过滤器37、38负责大多数时间掩蔽和与时间有关的视错觉。
所示出的特定实施形式对正变换要比对负变换更敏感,不完全考虑对负变换或对视网膜中央凹细胞的响应,视网膜中央凹细胞则被认为是对正负变换作同样的响应。可通过包括伪随机位置处与所提出的感光器类型的理论分布相对应的那些响应而进行在精度方面的改进。仅有流整器58需要以偏振或通过包括带绝对值(完全整波)的两者而进行改变。在有不超过多个像素的伪随机位移的情况下,使完全整波时间处理器在空间上分布于按10×10像素网格选定的像素位置可解决多种视错觉,包括运动逆转和闪烁噪音。但是,对某些应用来说,不希望有所需的额外处理。
因此,本发明提供了用于通过在空间处理之前插入两级时间过滤器-一个线性时间过滤器,随后是非线性时间过滤器—以模拟神经突击和衰减从而实时进行HVS行为建模的时间处理过程。
Claims (2)
1、一种改进的实时人类视觉系统行为建模的方法,它进行空间建模,以便获得源于参照图像信号的测视图像信号的可见的衰减的测量值,所述方法包括下列步骤:在空间建模之前按时间处理参照和测试图像信号,以解决时间响应。
2、如权利要求1的改进方法,其特征在于,所述提供步骤包括下列步骤:
对参照和测试图像信号进行线性时间过滤,以便产生参照和测试低通过滤器输出;以及
对参照和测试低通过滤器输出进行非线性时间过滤,以产生参照和测试非线性过滤器输出,将参照和测试非线性过滤器输出输入给空间建模步骤,以产生可见的衰减的测量值。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US09/955,614 US6941017B2 (en) | 2001-09-18 | 2001-09-18 | Temporal processing for realtime human vision system behavior modeling |
US09/955614 | 2001-09-18 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1409268A true CN1409268A (zh) | 2003-04-09 |
CN1237486C CN1237486C (zh) | 2006-01-18 |
Family
ID=25497079
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN02142812.3A Expired - Fee Related CN1237486C (zh) | 2001-09-18 | 2002-09-18 | 用于实时人类视觉系统行为建模的时间处理 |
Country Status (5)
Country | Link |
---|---|
US (1) | US6941017B2 (zh) |
EP (1) | EP1294199B1 (zh) |
JP (1) | JP3955517B2 (zh) |
CN (1) | CN1237486C (zh) |
DE (1) | DE60217243T2 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102845071A (zh) * | 2010-04-19 | 2012-12-26 | 杜比实验室特许公司 | 高动态范围、视觉动态范围和宽色域的图像与视频的质量评估 |
CN104781847A (zh) * | 2012-09-28 | 2015-07-15 | 独立行政法人科学技术振兴机构 | 视错觉分析装置及方法、参考视错觉的图像生成装置及方法 |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6876322B2 (en) * | 2003-06-26 | 2005-04-05 | Battelle Memorial Institute | Concealed object detection |
US7365672B2 (en) * | 2001-03-16 | 2008-04-29 | Battelle Memorial Institute | Detection of a concealed object |
US7405692B2 (en) * | 2001-03-16 | 2008-07-29 | Battelle Memorial Institute | Detecting concealed objects at a checkpoint |
DE102004016350A1 (de) * | 2004-04-02 | 2005-10-27 | Micronas Gmbh | Verfahren und Vorrichtung zur Interpolation eines Bildpunktes einer Zwischenzeile eines Halbbildes |
US7405747B2 (en) * | 2004-04-14 | 2008-07-29 | Tektronix, Inc. | Extended K2T measurement of video |
US7253766B2 (en) * | 2004-09-24 | 2007-08-07 | Battelle Memorial Institute | Three-dimensional surface/contour processing based on electromagnetic radiation interrogation |
US7801385B2 (en) * | 2005-05-10 | 2010-09-21 | Intel Corporation | Perceptual filter support techniques |
US7844081B2 (en) * | 2006-05-15 | 2010-11-30 | Battelle Memorial Institute | Imaging systems and methods for obtaining and using biometric information |
CN101389045B (zh) * | 2008-10-23 | 2013-04-10 | 北京中星微电子有限公司 | 一种图像质量的评测方法及装置 |
US8781222B2 (en) * | 2008-12-12 | 2014-07-15 | Tektronix, Inc. | Method and apparatus for automatic illuminant compensation in video surveillance |
TWI392379B (zh) * | 2009-06-02 | 2013-04-01 | Mstar Semiconductor Inc | Television image adjustment method and device |
WO2012142285A2 (en) | 2011-04-12 | 2012-10-18 | Dolby Laboratories Licensing Corporation | Quality assessment for images that have extended dynamic ranges or wide color gamuts |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4907069A (en) * | 1988-06-01 | 1990-03-06 | Zenith Electronics Corporation | Two-channel compatible HDTV system |
JPH0372778A (ja) * | 1989-08-11 | 1991-03-27 | Fuji Xerox Co Ltd | 画像処理装置の領域識別方式 |
US5049993A (en) * | 1990-10-03 | 1991-09-17 | Bell Communications Research, Inc. | Format conversion preprocessing method and circuit |
US5446492A (en) * | 1993-01-19 | 1995-08-29 | Wolf; Stephen | Perception-based video quality measurement system |
US5790717A (en) * | 1993-10-26 | 1998-08-04 | Bell Communications Research Inc. | Apparatus and method for predicting subjective quality of compressed images |
DE19529950C1 (de) * | 1995-08-14 | 1996-11-14 | Deutsche Forsch Luft Raumfahrt | Verfahren zum Nachführen eines Stereo-Laparoskops in der minimalinvasiven Chirurgie |
US6119083A (en) * | 1996-02-29 | 2000-09-12 | British Telecommunications Public Limited Company | Training process for the classification of a perceptual signal |
US5974159A (en) * | 1996-03-29 | 1999-10-26 | Sarnoff Corporation | Method and apparatus for assessing the visibility of differences between two image sequences |
US5719966A (en) * | 1996-03-29 | 1998-02-17 | David Sarnoff Research Center, Inc. | Apparatus for assessing the visiblity of differences between two image sequences |
US6360022B1 (en) * | 1997-04-04 | 2002-03-19 | Sarnoff Corporation | Method and apparatus for assessing the visibility of differences between two signal sequences |
GB9803580D0 (en) | 1998-02-21 | 1998-04-15 | Nds Ltd | Determining visually noticeable differences between two images |
US6278735B1 (en) * | 1998-03-19 | 2001-08-21 | International Business Machines Corporation | Real-time single pass variable bit rate control strategy and encoder |
US6408103B1 (en) * | 1998-12-31 | 2002-06-18 | Eastman Kodak Company | Method for preserving spatial detail and color content when adjusting the tone scale of a digital color image |
US6678424B1 (en) * | 1999-11-11 | 2004-01-13 | Tektronix, Inc. | Real time human vision system behavioral modeling |
US6690839B1 (en) * | 2000-01-17 | 2004-02-10 | Tektronix, Inc. | Efficient predictor of subjective video quality rating measures |
-
2001
- 2001-09-18 US US09/955,614 patent/US6941017B2/en not_active Expired - Lifetime
-
2002
- 2002-09-16 EP EP02256384A patent/EP1294199B1/en not_active Expired - Lifetime
- 2002-09-16 DE DE60217243T patent/DE60217243T2/de not_active Expired - Lifetime
- 2002-09-18 JP JP2002271953A patent/JP3955517B2/ja not_active Expired - Fee Related
- 2002-09-18 CN CN02142812.3A patent/CN1237486C/zh not_active Expired - Fee Related
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102845071A (zh) * | 2010-04-19 | 2012-12-26 | 杜比实验室特许公司 | 高动态范围、视觉动态范围和宽色域的图像与视频的质量评估 |
CN102845071B (zh) * | 2010-04-19 | 2015-01-28 | 杜比实验室特许公司 | 高动态范围、视觉动态范围和宽色域的图像与视频的质量评估 |
CN104781847A (zh) * | 2012-09-28 | 2015-07-15 | 独立行政法人科学技术振兴机构 | 视错觉分析装置及方法、参考视错觉的图像生成装置及方法 |
CN104781847B (zh) * | 2012-09-28 | 2018-02-06 | 独立行政法人科学技术振兴机构 | 视错觉分析装置及方法、参考视错觉的图像生成装置及方法 |
Also Published As
Publication number | Publication date |
---|---|
US6941017B2 (en) | 2005-09-06 |
JP2003158753A (ja) | 2003-05-30 |
DE60217243T2 (de) | 2007-10-25 |
CN1237486C (zh) | 2006-01-18 |
US20030053698A1 (en) | 2003-03-20 |
EP1294199A1 (en) | 2003-03-19 |
JP3955517B2 (ja) | 2007-08-08 |
EP1294199B1 (en) | 2007-01-03 |
DE60217243D1 (de) | 2007-02-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN1237486C (zh) | 用于实时人类视觉系统行为建模的时间处理 | |
CN111709902B (zh) | 基于自注意力机制的红外和可见光图像融合方法 | |
Watson | High frame rates and human vision: A view through the window of visibility | |
Koch et al. | Neuromorphic vision chips | |
CN109685072B (zh) | 一种基于生成对抗网络的复合降质图像高质量重建方法 | |
Le Meur et al. | A coherent computational approach to model bottom-up visual attention | |
Li et al. | Comparison of two image quality models | |
US8636361B2 (en) | Learning-based visual attention prediction system and method thereof | |
DE60020795T2 (de) | Echtzeitmodellierung des Verhaltens menschlicher Sehvermögenssysteme | |
CN107808397B (zh) | 瞳孔定位装置、瞳孔定位方法和视线追踪设备 | |
CN102740114B (zh) | 一种视频主观质量的无参评估方法 | |
CN110619301A (zh) | 一种基于双模态信号的情绪自动识别方法 | |
CN1386020A (zh) | 用于人类视觉系统模型的自适应时空滤波器 | |
Geisler et al. | Real-time simulation of arbitrary visual fields | |
CN115880225A (zh) | 一种基于多尺度注意力机制的动态光照人脸图像质量增强方法 | |
Zhu et al. | Ultra-high temporal resolution visual reconstruction from a fovea-like spike camera via spiking neuron model | |
CN101411190B (zh) | 虚假运动过滤器 | |
CN113034404A (zh) | 一种基于多尺度对抗学习的交通图像去模糊方法及装置 | |
Har-Noy et al. | LCD motion blur reduction: A signal processing approach | |
CN102510436A (zh) | 高速微小目标仿蝇视觉在线实时检测装置及检测方法 | |
Tianyi et al. | Federated learning based nonlinear two-stage framework for full-reference image quality assessment: An application for biometric | |
CN115374831B (zh) | 多模态配准和时空特征注意的动静结合速度想象分类方法 | |
CN112672072B (zh) | 一种基于改进欧拉放大的分段平稳视频放大方法 | |
CN115601813A (zh) | 基于震动图像的无接触情绪检测系统 | |
CN115022617A (zh) | 基于脑电信号和时空多尺度联合网络的视频质量评价方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right |
Effective date of registration: 20190918 Address after: oregon Patentee after: Giant Plan Co.,Ltd. Address before: oregon Patentee before: Tektronix, Inc. |
|
TR01 | Transfer of patent right | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20060118 Termination date: 20210918 |
|
CF01 | Termination of patent right due to non-payment of annual fee |