CN111259311A - 尖峰噪声处理方法 - Google Patents

尖峰噪声处理方法 Download PDF

Info

Publication number
CN111259311A
CN111259311A CN202010037484.2A CN202010037484A CN111259311A CN 111259311 A CN111259311 A CN 111259311A CN 202010037484 A CN202010037484 A CN 202010037484A CN 111259311 A CN111259311 A CN 111259311A
Authority
CN
China
Prior art keywords
data
spike noise
value
array
noise
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010037484.2A
Other languages
English (en)
Other versions
CN111259311B (zh
Inventor
俞兵
韩占锁
曹锋
尤越
罗蓓蓓
秦艳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian institute of Applied Optics
Original Assignee
Xian institute of Applied Optics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian institute of Applied Optics filed Critical Xian institute of Applied Optics
Priority to CN202010037484.2A priority Critical patent/CN111259311B/zh
Publication of CN111259311A publication Critical patent/CN111259311A/zh
Application granted granted Critical
Publication of CN111259311B publication Critical patent/CN111259311B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations

Abstract

本发明属于光学计量技术领域,具体涉及一种尖峰噪声处理方法,其针对尖峰噪声和信号的特性差异,利用二者采样过程中变化速率的不同,使用了限定斜率的处理方法对二者进行有效区分,并结合工作经验给出了所述限定斜率的计算方法和取值范围;在使用本发明公布的尖峰噪声处理方法滤除尖峰噪声后,对结果进一步进行线性修正,提高了算法的可靠性和准确性。本发明解决了现有数据处理技术中尖峰噪声难以有效处理的问题,首次提出了以限定斜率为判据的滤波方法,并给出了限定斜率的计算原理、计算方法和合理范围,在一维数据、数字图象处理等领域具有广泛的应用前景。

Description

尖峰噪声处理方法
技术领域
本发明属于光学计量技术领域,具体涉及一种尖峰噪声处理方法。
背景技术
在数据处理中,经常会遇到一类持续时间很短、相对强度很高的闪烁干扰,如果将带有上述闪烁干扰的信号用“幅值-时间”坐标系绘制出来,闪烁干扰经常表现为一个个孤立的又细又高的尖刺,我们称之为“尖峰噪声”。如果有效信号是二维图像中的一个目标,那么尖峰噪声就表现为该图像平面中的一个个闪烁的亮点。
尖峰噪声的产生,可能源于探测器的缺陷,可能源于周围环境或自身电路系统的电磁干扰,可能源于敌方释放的意图使我方丢失跟踪目标的短时强干扰,可能源于前续数据处理中由于未知的算法缺陷导致的异常值等等。由于尖峰噪声的成因比较复杂,因此无法从实验、工作环境或实验装置、电气设计等方面着手来实现完全避免,也就是说,尖峰噪声即便在没有明确干扰源的情况下也可能出现在最终的信号中。由于尖峰噪声的幅值很高,会对信号或数据处理产生较大影响。对于图像中存在闪烁干扰的情况,如果不能有效处理尖峰噪声,会导致丢失跟踪目标等严重后果。
惯用做法中,对尖峰噪声的处理,只是简单笼统地把偏离数据正常水平的值去掉,表述为“剔除异常值”,而没有明确的通用做法,对于最大幅值没有明显偏离数据正常水平的尖峰噪声和叠加在信号上的尖峰噪声可能被当作有效信号,进入最终的数据处理和计算,给最终结果带来误差。与普通白噪声、随机噪声的幅值在某一范围高低起伏不同,尖峰噪声的幅值均为正值,如果用现有专用算法处理存在缺陷,例如用高斯滤波等数据平滑的方式消除,则将尖峰噪声“平摊”到有效信号中;如果用中值滤波等处理方式则不能消除连续出现的尖峰噪声。
总之,对于尖峰噪声,目前没有一种普遍适用且有效的处理方法。
发明内容
(一)要解决的技术问题
本发明要解决的技术问题是:针对现有数据处理方法的不足,如何提供一种针对尖峰噪声的信号处理方法。
(二)技术方案
为解决上述技术问题,本发明提供一种尖峰噪声处理方法,所述尖峰噪声处理方法所针对的含有尖峰噪声的初始数据的类型包括两种:
一种是一维数组
Figure BDA0002366557990000021
即包含N个数据的数据序列,另一种是表示一帧图像的Q行、N列面阵数据
Figure BDA0002366557990000022
其中,j是面阵数据的行序列数,i是一维数组或面阵数据第j行对应数据的采样序号,Di是所述一维数组第i个采样序号的值,Dij是面阵数据第j行,第i个采样序号的值;
具体而言,所述处理方法包括如下步骤:
步骤1:计算获得限定斜率k;
根据公式(1)计算限定斜率k,
Figure BDA0002366557990000023
其中,ΔT是初始数据中相邻两个采样序列之间的时间间隔;
M是信号最大瞬时能量增量的一个预估值,M的物理含义是被测信号或目标的能量在ΔT的时间间隔内,以最快的速度增加或减小的值;
Figure BDA0002366557990000031
的物理含义是有效信号的最快起伏速率;
e是斜率修正系数,用来对有效信号的最快起伏速率进行修正;
步骤2:载入预存的初始数据;
判断初始数据是一维数组
Figure BDA0002366557990000032
还是面阵数据
Figure BDA0002366557990000033
如果初始数据是一维数组
Figure BDA0002366557990000034
则进入步骤3,如果初始数据是面阵数据
Figure BDA0002366557990000035
则进入步骤5;
步骤3:剔除数据中的负值;
对一维数组
Figure BDA0002366557990000036
的N个数依次进行判断,将其中的负值记为0,即用公式(2)的方法得到预处理数据
Figure BDA0002366557990000037
其中Ai是第i个采样序号的值;
Figure BDA0002366557990000038
处理的过程中将负值数据对应的序号记下来,并存储到数组B中,即数组B为公式(3)表述的集合。
B={i|Di<0} (3)
之后进入步骤4;
步骤4:剔除尖峰噪声;
为了计算方便,设A0=0;
所述步骤4包括如下步骤:
步骤41:判断第i个采样值是否存在尖峰噪声;
i初值为1,按1,2,3…N顺次递增,逐个判断下述公式(4)是否成立
Figure BDA0002366557990000041
如果公式(4)不成立,则说明Ai存在尖峰噪声,进入步骤42;
如果公式(4)成立,则说明Ai不存在尖峰噪声,i继续增加1,通过公式(4)判断下一个点是否存在尖峰噪声,直至i=N时判断结束,进入步骤43;
步骤42:滤除尖峰噪声并记录采样点序号;
将i当前值保存在数组C中,即数组C满足公式(5)
Figure BDA0002366557990000042
将采样点Ai的值设置为该值之前最邻近的非尖峰噪声值;
Ai=Am,m=max{1,2,3,...,i-1}且
Figure BDA0002366557990000043
由公式(6)可以看出,Am是位于当前尖峰噪声之前最近的有效信号,m是该有效信号的的采样序号;
i值继续增加1,返回步骤41;
步骤43:修正滤除尖峰噪声后的结果;
判断数组C是否为空,如果为空说明本次处理并未发现尖峰噪声,处理过程结束,进入步骤6;
如果数组C不为空则找出数组中的连续点,即判断数组C中是否存在满足公式(7)的点:
n∈C且n+1,n+2,...,n+p∈C (7)
其中,n为数组C中的元素,p为大于0的整数;
如果没有n能使得公式(7)成立,说明本次处理的初始数据中仅存在孤立的尖峰噪声,当前处理结果无需进一步修正,本次尖峰噪声处理结束,进入步骤6;
如果存在n使得公式(7)成立,说明存在连续的尖峰噪声,使用下述公式(8)对连续尖峰噪声位置对应的当前值作进一步修正;
Figure BDA0002366557990000051
步骤5:面阵数据处理;
如果初始数据是面阵数据
Figure BDA0002366557990000052
此数据包含Q行N列,所以每一行都是与前述一维数组
Figure BDA0002366557990000053
一样的数据形式,使用前述步骤3、步骤4对这Q个一维数据按顺序进行尖峰噪声处理,得到Q个新的一位数组
Figure BDA0002366557990000054
把这Q个新的一维数组按照各自对应的处理前的一维数组在面阵数据中的顺序重新组合,还原为Q×N的面阵数据,从而完成对面阵数据的尖峰噪声处理;
步骤6,处理结束
将处理后的初始数据存储在计算机/单片机的存储单元中,反馈处理结束信息,尖峰噪声处理过程结束。
其中,所述步骤1中,M值的获得方法如下:
如果对被测信号或目标的物理特性比较清楚,比如被测对象为电发光器件,那么结合目标耗电功率和发光特性就可以估算其发光能量水平,比如被测对象为视场中的物体,则根据其自身温度、材质和大气透过率数据,就可以预估出目标辐射能量或反射能量的一般水平,进而估算出目标作用到采集或探测设备的响应值,此响应值设为M值。
其中,所述步骤1中,M值的获得方法如下:
如果完全不掌握被测对象的信息,也不明白被测对象的物理特征,那么可以直接对初始数据
Figure BDA0002366557990000055
Figure BDA0002366557990000056
的采样数据进行从大到小排序,将所有数据中幅值较大的1/3个数据视为尖峰噪声,将所有数据中幅值较小的1/3个数据视为背景噪声,中间大小的1/3个数据进行算术平均,将此平均值设为M。
其中,所述步骤1中,e的取值范围是0.5<e<3。
其中,e取值1.8。
其中,所述步骤4中,A0不是预处理数据
Figure BDA0002366557990000061
中的点,只是作为一个常数,方便计算。
其中,对公式(8)对应的数据处理含义描述如下:
在使用公式(8)对数据进行修正之前,对于连续出现的尖峰噪声的值,直接赋值为位于本组连续尖峰噪声之前紧邻的有效信号,这一做法没有考虑到连续噪声持续过程中的信号起伏;
而公式(8)使用连续尖峰噪声前后紧邻的有效信号对连续尖峰噪声持续过程中的值进行了线性修正,保证了后续数据更准确可靠。
其中,所述初始数据存储于计算机/单片机的存储单元中。
其中,所述初始数据是数据采集卡或目标探测设备直接输出的数据。
其中,所述初始数据是数据采集卡或目标探测设备直接输出后经过了数据处理但仍包含尖峰噪声的数据。
(三)有益效果
与现有技术相比较,本发明提供一种基于斜率限定的针对尖峰噪声的信号处理方法。本方法用于对存在尖峰噪声的信号或图像进行处理,滤除其中的尖峰噪声,从而保证数据可靠有效,保证图像中目标清晰准确。
具体而言,本发明针对尖峰噪声的处理中针对尖峰噪声和信号的特性差异,利用二者采样过程中变化速率的不同,使用了限定斜率的处理方法对二者进行有效区分,并结合工作经验给出了所述限定斜率的计算方法和取值范围;在使用本发明公布的尖峰噪声处理方法滤除尖峰噪声后,对结果进一步进行线性修正,提高了算法的可靠性和准确性。
附图说明
图1为本发明处理的带有尖峰噪声的信号示意图。
具体实施方式
为使本发明的目的、内容、和优点更加清楚,下面结合附图和实施例,对本发明的具体实施方式作进一步详细描述。
本发明的实施以现有数据采集卡或目标探测设备获得的数据为前置条件。实施本发明需要一台装有尖峰噪声处理逻辑的计算机或单片机,计算机/单片机的存储单元预存有待处理的数据,以下称初始数据,初始数据可以是所述数据采集卡或目标探测设备直接输出的数据,也可以是所述数据采集卡或目标探测设备直接输出后经过了一些其它数据处理但仍可能包含尖峰噪声的数据;此外还存储有斜率修正系数e,信号最大瞬时能量增量的预估值M。
初始数据的类型包括两种,一种是一维数组
Figure BDA0002366557990000071
即包含N个数据的数据序列,一种是表示一帧图像的Q行、N列面阵数据
Figure BDA0002366557990000072
其中,j是面阵数据的“行”序列数,i是一维数组或面阵数据第j行对应数据的采样序号,Di是所述一维数组第i个采样序号的值,Dij是面阵数据第j行,第i个采样序号的值;由于M×N的面阵数据可以表示为Q个包含N个数据的序列,所以本发明公布的尖峰噪声处理方法只针对N个数据的序列进行处理,对于Q×N的面阵数据,在顺次对该数据的Q个序列进行处理后,再把处理后的序列按原顺序组合成M×N的面阵数据,以完成对该面阵数据对应图像的尖峰噪声处理。
以采样顺序为横坐标,以每个数据的幅值为纵坐标,本发明要处理序列的示意图如图1所示,图中横向延伸、较粗的曲线是信号,纵向的细直线是尖峰噪声。由图中可以看出,a位置和c位置的尖峰噪声是孤立噪声,左右均为有效信号或背景;b位置的尖峰噪声是连续出现两次的尖峰噪声;d位置的尖峰噪声是连续出现的。a、b、c、d位置对应的尖峰噪声自身均有较大的幅值,如果不消除会严重干扰真实信号;如果用高斯滤波,则所有尖峰噪声均叠加到信号中,虽然最终得到的数据波形比较平滑,但可能导致信号出现畸变,不可取;如果用传统的“设置某一阈值,大于该阈值的视为噪声”方法处理,a位置的尖峰噪声会保留下来,因为a位置尖峰噪声的最大幅值小于信号的最大值;如果用中值滤波方法进行处理,能够滤除a位置和c位置的尖峰噪声,而b位置和d位置处连续出现的尖峰噪声会有一个或多个被保留下来,仍然影响最终结果。基于以上分析,本发明提出一种包含了“有限斜率法”的尖峰噪声处理方法。
具体而言,本发明技术方案提供一种尖峰噪声处理方法,所述尖峰噪声处理方法所针对的含有尖峰噪声的初始数据的类型包括两种:
一种是一维数组
Figure BDA0002366557990000081
即包含N个数据的数据序列,另一种是表示一帧图像的Q行、N列面阵数据
Figure BDA0002366557990000082
其中,j是面阵数据的行序列数,i是一维数组或面阵数据第j行对应数据的采样序号,Di是所述一维数组第i个采样序号的值,Dij是面阵数据第j行,第i个采样序号的值;
具体而言,所述处理方法包括如下步骤:
步骤1:计算获得限定斜率k;
根据公式(1)计算限定斜率k,
Figure BDA0002366557990000083
其中,ΔT是初始数据中相邻两个采样序列之间的时间间隔;
M是信号最大瞬时能量增量的一个预估值,M的物理含义是被测信号或目标的能量在ΔT的时间间隔内,以最快的速度增加或减小的值;
Figure BDA0002366557990000084
的物理含义是有效信号的最快起伏速率;
e是斜率修正系数,用来对有效信号的最快起伏速率进行修正;
步骤2:载入预存的初始数据;
判断初始数据是一维数组
Figure BDA0002366557990000091
还是面阵数据
Figure BDA0002366557990000092
如果初始数据是一维数组
Figure BDA0002366557990000093
则进入步骤3,如果初始数据是面阵数据
Figure BDA0002366557990000094
则进入步骤5;
步骤3:剔除数据中的负值;
对一维数组
Figure BDA0002366557990000095
的N个数依次进行判断,将其中的负值记为0,即用公式(2)的方法得到预处理数据
Figure BDA0002366557990000096
其中Ai是第i个采样序号的值;
Figure BDA0002366557990000097
处理的过程中将负值数据对应的序号记下来,并存储到数组B中,即数组B为公式(3)表述的集合。
B={i|Di<0} (3)
之后进入步骤4;
步骤4:剔除尖峰噪声;
为了计算方便,设A0=0;
所述步骤4包括如下步骤:
步骤41:判断第i个采样值是否存在尖峰噪声;
i初值为1,按1,2,3…N顺次递增,逐个判断下述公式(4)是否成立
Figure BDA0002366557990000098
如果公式(4)不成立,则说明Ai存在尖峰噪声,进入步骤42;
如果公式(4)成立,则说明Ai不存在尖峰噪声,i继续增加1,通过公式(4)判断下一个点是否存在尖峰噪声,直至i=N时判断结束,进入步骤43;
步骤42:滤除尖峰噪声并记录采样点序号;
将i当前值保存在数组C中,即数组C满足公式(5)
Figure BDA0002366557990000101
将采样点Ai的值设置为该值之前最邻近的非尖峰噪声值;
Ai=Am,m=max{1,2,3,...,i-1}且
Figure BDA0002366557990000102
由公式(6)可以看出,Am是位于当前尖峰噪声之前最近的有效信号,m是该有效信号的的采样序号;
i值继续增加1,返回步骤41;
步骤43:修正滤除尖峰噪声后的结果;
判断数组C是否为空,如果为空说明本次处理并未发现尖峰噪声,处理过程结束,进入步骤6;
如果数组C不为空则找出数组中的连续点,即判断数组C中是否存在满足公式(7)的点:
n∈C且n+1,n+2,...,n+p∈C (7)
其中,n为数组C中的元素,p为大于0的整数;
如果没有n能使得公式(7)成立,说明本次处理的初始数据中仅存在孤立的尖峰噪声,当前处理结果无需进一步修正,本次尖峰噪声处理结束,进入步骤6;
如果存在n使得公式(7)成立,说明存在连续的尖峰噪声,使用下述公式(8)对连续尖峰噪声位置对应的当前值作进一步修正;
Figure BDA0002366557990000103
步骤5:面阵数据处理;
如果初始数据是面阵数据
Figure BDA0002366557990000111
此数据包含Q行N列,所以每一行都是与前述一维数组
Figure BDA0002366557990000112
一样的数据形式,使用前述步骤3、步骤4对这Q个一维数据按顺序进行尖峰噪声处理,得到Q个新的一位数组
Figure BDA0002366557990000113
把这Q个新的一维数组按照各自对应的处理前的一维数组在面阵数据中的顺序重新组合,还原为Q×N的面阵数据,从而完成对面阵数据的尖峰噪声处理;
步骤6,处理结束
将处理后的初始数据存储在计算机/单片机的存储单元中,反馈处理结束信息,尖峰噪声处理过程结束。
其中,所述步骤1中,M值的获得方法如下:
如果对被测信号或目标的物理特性比较清楚,比如被测对象为电发光器件,那么结合目标耗电功率和发光特性就可以估算其发光能量水平,比如被测对象为视场中的物体,则根据其自身温度、材质和大气透过率数据,就可以预估出目标辐射能量或反射能量的一般水平,进而估算出目标作用到采集或探测设备的响应值,此响应值设为M值。
其中,所述步骤1中,M值的获得方法如下:
如果完全不掌握被测对象的信息,也不明白被测对象的物理特征,那么可以直接对初始数据
Figure BDA0002366557990000114
Figure BDA0002366557990000115
的采样数据进行从大到小排序,将所有数据中幅值较大的1/3个数据视为尖峰噪声,将所有数据中幅值较小的1/3个数据视为背景噪声,中间大小的1/3个数据进行算术平均,将此平均值设为M。
其中,所述步骤1中,e的取值范围是0.5<e<3。
其中,e取值1.8。
其中,所述步骤4中,A0不是预处理数据
Figure BDA0002366557990000121
中的点,只是作为一个常数,方便计算。
其中,对公式(8)对应的数据处理含义描述如下:
在使用公式(8)对数据进行修正之前,对于连续出现的尖峰噪声的值,直接赋值为位于本组连续尖峰噪声之前紧邻的有效信号,这一做法没有考虑到连续噪声持续过程中的信号起伏;
而公式(8)使用连续尖峰噪声前后紧邻的有效信号对连续尖峰噪声持续过程中的值进行了线性修正,保证了后续数据更准确可靠。
其中,所述初始数据存储于计算机/单片机的存储单元中。
其中,所述初始数据是数据采集卡或目标探测设备直接输出的数据。
其中,所述初始数据是数据采集卡或目标探测设备直接输出后经过了数据处理但仍包含尖峰噪声的数据。
实施例
为进一步解释本发明技术方案,下面结合一个具体实施例来详细描述本发明,本实施例在计算机/单片机上电后,开始执行尖峰噪声处理方法,其包括以下步骤:
第一步,计算限定斜率k
根据公式(1)计算限定斜率k,
Figure BDA0002366557990000122
其中,ΔT是初始数据中相邻两个采样序列之间的时间间隔;M是信号最大瞬时能量增量的一个预估值,M的物理含义是被测信号或目标在ΔT的时间间隔内,以最快的速度增加或减小的值;M值的获得方法介绍如下:如果对被测信号或目标的物理特性比较清楚,比如被测对象为电发光器件,那么结合目标耗电功率和发光特性就可以估算其发光能量水平,比如被测对象为视场中的物体,则根据其自身温度、材质和大气透过率等数据,就可以预估出目标辐射能量或反射能量的一般水平,进而估算出目标作用到采集或探测设备的响应值,此响应值设为M值;如果完全不掌握被测对象的信息,也不明白被测对象的物理特征,那么可以直接对初始数据
Figure BDA0002366557990000131
Figure BDA0002366557990000132
的采样数据进行从大到小排序,将所有数据中幅值较大的1/3个数据视为尖峰噪声,将所有数据中幅值较小的1/3个数据视为背景噪声,中间大小的1/3个数据进行算术平均,将此平均值设为M。
通过以上解释可以看出,本领域一般技术人员可以容易地得到M值,同时,M值并不是一个严格、准确的值。M值不严格不准确,并不影响本发明的实施,理由如下:由图1结合前文对尖峰噪声的特性介绍可知,有效信号都是平缓变化的,而尖峰噪声具有急剧变化的特点,基于信号特点估算的M值即使出现估算上的偏差,也可以用于区分信号和尖峰噪声。此外,对于信号也和尖峰噪声一样幅值剧烈变化特殊情况,比如信号本身是一系列的窄脉冲,这种情况下本发明提供的尖峰噪声处理方法不适用,此时对于信号具有周期性规律的可以通过斩波或周期滤波等本领域惯用技术手段处理,如果信号没有周期性规律,则可通过设定阈值滤除噪声等本领域惯用技术手段处理。
通过前述对M值的论述可以得出,
Figure BDA0002366557990000133
的物理含义是有效信号的最快起伏速率。
e是斜率修正系数,用来对有效信号的最快起伏速率进行修正,由于M值是估计值,为确保在处理尖峰噪声过程中不损失真实信号,使用最快起伏速率
Figure BDA0002366557990000141
乘以斜率修正系数e得到限定斜率k。e的取值太小,会导致部分变化剧烈的有效信号被当作尖峰噪声而滤除,e的取值太大,会导致部分变化幅度较小的尖峰噪声被当作有效信号加以保留,依据实际经验,e的取值的合理范围是0.5<e<3,本实施例中e取1.8。
第二步,载入预存的原始数据
判断初始数据是一维数组还是面阵数据,如果初始数据是一维数组则进入第三步,如果初始数据是面阵数据则进入第五步。
第三步,剔除数据中的负值
对一维数组
Figure BDA0002366557990000142
的N个数依次进行判断,将其中的负值记为0,即用公式(2)的方法得到预处理数据
Figure BDA0002366557990000143
其中Ai是第i个采样序号的值。
Figure BDA0002366557990000144
处理的过程中将负值数据对应的序号记下来,并存储到数组B中,即数组B为公式(3)表述的集合。
B={i|Di<0} (3)
之后进入第四步。
第四步,剔除尖峰噪声;
为了计算方便,设A0=0;需要指出的是,A0不是预处理数据
Figure BDA0002366557990000145
中的点,只是作为一个常数,方便本实施例中的计算。
该第四步包括如下步骤:
步骤4.1:判断第i个采样值是否存在尖峰噪声;
i初值为1,按1,2,3…N顺次递增,逐个判断下述公式(4)是否成立
Figure BDA0002366557990000151
如果公式(4)不成立,说明Ai存在尖峰噪声,进入步骤4.2。
如果公式(4)成立则说明Ai不存在尖峰噪声,i继续增加1,用公式(4)判断下一个点是否存在尖峰噪声,直至i=N时判断结束,进入步骤4.3。
步骤4.2:滤除尖峰噪声并记录采样点序号;
将i当前值保存在数组C中,即数组C满足公式(5)
Figure BDA0002366557990000152
将采样点Ai的值设置为该值之前最邻近的非尖峰噪声值;
Ai=Am,m=max{1,2,3,...,i-1}且
Figure BDA0002366557990000155
由公式(6)可以看出,Am是位于当前尖峰噪声之前最近的有效信号,m是该有效信号的的采样序号;
i值继续增加1,返回步骤4.1。
步骤4.3:修正滤除尖峰噪声后的结果;
判断数组C是否为空,如果为空说明本次处理并未发现尖峰噪声,处理过程结束,进入步骤六;
如果数组C不为空则找出数组中的连续点,即判断数组C中是否存在满足公式(7)的点:
n∈C且n+1,n+2,...,n+p∈C (7)
其中,n为数组C中的元素,p为大于0的整数;
如果没有n能使得公式(7)成立,说明本次处理的初始数据中仅存在孤立的尖峰噪声,当前处理结果无需进一步修正,本次尖峰噪声处理结束,进入步骤六;
如果存在n使得公式(7)成立,说明存在连续的尖峰噪声,使用下述公式(8)对连续尖峰噪声位置对应的当前值作进一步修正;
Figure BDA0002366557990000161
对公式(8)对应的数据处理含义描述如下:在使用公式(8)对数据进行修正之前,对于连续出现的尖峰噪声的值,直接赋值为位于本组连续尖峰噪声之前紧邻的有效信号,这一做法没有考虑到连续噪声持续过程中的信号起伏;公式(8)使用连续尖峰噪声前后紧邻的有效信号对连续尖峰噪声持续过程中的值进行了线性修正,保证了使用本发明尖峰噪声处理方法之后的数据更准确可靠;
步骤五,面阵数据处理;
如果初始数据是表述如下的面阵数据
Figure BDA0002366557990000162
此数据包含Q行N列,所以每一行都是与前述一维数组
Figure BDA0002366557990000163
一样的数据形式,使用前述第三步、第四步介绍的方法对这Q个一维数据按顺序进行尖峰噪声处理,得到Q个新的一位数组
Figure BDA0002366557990000164
把这Q个新的一维数组按照各自对应的处理前的一维数组在面阵数据中的顺序重新组合,还原为Q×N的面阵数据,从而完成对面阵数据的尖峰噪声处理;
步骤六,处理结束
将处理后的初始数据存储在计算机/单片机的存储单元中,反馈处理结束信息,尖峰噪声处理过程结束;
关闭计算机/单片机,断电。
综上,本发明属于光学计量技术领域,具体涉及一种尖峰噪声处理方法,其针对尖峰噪声和信号的特性差异,利用二者采样过程中变化速率的不同,使用了限定斜率的处理方法对二者进行有效区分,并结合工作经验给出了所述限定斜率的计算方法和取值范围;在使用本发明公布的尖峰噪声处理方法滤除尖峰噪声后,对结果进一步进行线性修正,提高了算法的可靠性和准确性。本发明解决了现有数据处理技术中尖峰噪声难以有效处理的问题,首次提出了以限定斜率为判据的滤波方法,并给出了限定斜率的计算原理、计算方法和合理范围,在一维数据、数字图象处理等领域具有广泛的应用前景。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明技术原理的前提下,还可以做出若干改进和变形,这些改进和变形也应视为本发明的保护范围。

Claims (10)

1.一种尖峰噪声处理方法,其特征在于,所述尖峰噪声处理方法所针对的含有尖峰噪声的初始数据的类型包括两种:
一种是一维数组
Figure FDA0002366557980000011
即包含N个数据的数据序列,另一种是表示一帧图像的Q行、N列面阵数据
Figure FDA0002366557980000012
其中,j是面阵数据的行序列数,i是一维数组或面阵数据第j行对应数据的采样序号,Di是所述一维数组第i个采样序号的值,Dij是面阵数据第j行,第i个采样序号的值;
具体而言,所述处理方法包括如下步骤:
步骤1:计算获得限定斜率k;
根据公式(1)计算限定斜率k,
Figure FDA0002366557980000013
其中,ΔT是初始数据中相邻两个采样序列之间的时间间隔;
M是信号最大瞬时能量增量的一个预估值,M的物理含义是被测信号或目标的能量在ΔT的时间间隔内,以最快的速度增加或减小的值;
Figure FDA0002366557980000014
的物理含义是有效信号的最快起伏速率;
e是斜率修正系数,用来对有效信号的最快起伏速率进行修正;
步骤2:载入预存的初始数据;
判断初始数据是一维数组
Figure FDA0002366557980000015
还是面阵数据
Figure FDA0002366557980000016
如果初始数据是一维数组
Figure FDA0002366557980000017
则进入步骤3,如果初始数据是面阵数据
Figure FDA0002366557980000018
则进入步骤5;
步骤3:剔除数据中的负值;
对一维数组
Figure FDA0002366557980000019
的N个数依次进行判断,将其中的负值记为0,即用公式(2)的方法得到预处理数据
Figure FDA0002366557980000021
其中Ai是第i个采样序号的值;
Figure FDA0002366557980000022
处理的过程中将负值数据对应的序号记下来,并存储到数组B中,即数组B为公式(3)表述的集合。
B={i|Di<0} (3)
之后进入步骤4;
步骤4:剔除尖峰噪声;
为了计算方便,设A0=0;
所述步骤4包括如下步骤:
步骤41:判断第i个采样值是否存在尖峰噪声;
i初值为1,按1,2,3…N顺次递增,逐个判断下述公式(4)是否成立
Figure FDA0002366557980000023
如果公式(4)不成立,则说明Ai存在尖峰噪声,进入步骤42;
如果公式(4)成立,则说明Ai不存在尖峰噪声,i继续增加1,通过公式(4)判断下一个点是否存在尖峰噪声,直至i=N时判断结束,进入步骤43;
步骤42:滤除尖峰噪声并记录采样点序号;
将i当前值保存在数组C中,即数组C满足公式(5)
Figure FDA0002366557980000024
将采样点Ai的值设置为该值之前最邻近的非尖峰噪声值;
Figure FDA0002366557980000031
由公式(6)可以看出,Am是位于当前尖峰噪声之前最近的有效信号,m是该有效信号的的采样序号;
i值继续增加1,返回步骤41;
步骤43:修正滤除尖峰噪声后的结果;
判断数组C是否为空,如果为空说明本次处理并未发现尖峰噪声,处理过程结束,进入步骤6;
如果数组C不为空则找出数组中的连续点,即判断数组C中是否存在满足公式(7)的点:
n∈C且n+1,n+2,...,n+p∈C (7)
其中,n为数组C中的元素,p为大于0的整数;
如果没有n能使得公式(7)成立,说明本次处理的初始数据中仅存在孤立的尖峰噪声,当前处理结果无需进一步修正,本次尖峰噪声处理结束,进入步骤6;
如果存在n使得公式(7)成立,说明存在连续的尖峰噪声,使用下述公式(8)对连续尖峰噪声位置对应的当前值作进一步修正;
Figure FDA0002366557980000032
步骤5:面阵数据处理;
如果初始数据是面阵数据
Figure FDA0002366557980000033
此数据包含Q行N列,所以每一行都是与前述一维数组
Figure FDA0002366557980000034
一样的数据形式,使用前述步骤3、步骤4对这Q个一维数据按顺序进行尖峰噪声处理,得到Q个新的一位数组
Figure FDA0002366557980000035
把这Q个新的一维数组按照各自对应的处理前的一维数组在面阵数据中的顺序重新组合,还原为Q×N的面阵数据,从而完成对面阵数据的尖峰噪声处理;
步骤6,处理结束
将处理后的初始数据存储在计算机/单片机的存储单元中,反馈处理结束信息,尖峰噪声处理过程结束。
2.如权利要求1所述的尖峰噪声处理方法,其特征在于,所述步骤1中,M值的获得方法如下:
如果对被测信号或目标的物理特性比较清楚,比如被测对象为电发光器件,那么结合目标耗电功率和发光特性就可以估算其发光能量水平,比如被测对象为视场中的物体,则根据其自身温度、材质和大气透过率数据,就可以预估出目标辐射能量或反射能量的一般水平,进而估算出目标作用到采集或探测设备的响应值,此响应值设为M值。
3.如权利要求1所述的尖峰噪声处理方法,其特征在于,所述步骤1中,M值的获得方法如下:
如果完全不掌握被测对象的信息,也不明白被测对象的物理特征,那么可以直接对初始数据
Figure FDA0002366557980000041
Figure FDA0002366557980000042
的采样数据进行从大到小排序,将所有数据中幅值较大的1/3个数据视为尖峰噪声,将所有数据中幅值较小的1/3个数据视为背景噪声,中间大小的1/3个数据进行算术平均,将此平均值设为M。
4.如权利要求1所述的尖峰噪声处理方法,其特征在于,所述步骤1中,e的取值范围是0.5<e<3。
5.如权利要求4所述的尖峰噪声处理方法,其特征在于,e取值1.8。
6.如权利要求1所述的尖峰噪声处理方法,其特征在于,所述步骤4中,A0不是预处理数据
Figure FDA0002366557980000051
中的点,只是作为一个常数,方便计算。
7.如权利要求1所述的尖峰噪声处理方法,其特征在于,对公式(8)对应的数据处理含义描述如下:
在使用公式(8)对数据进行修正之前,对于连续出现的尖峰噪声的值,直接赋值为位于本组连续尖峰噪声之前紧邻的有效信号,这一做法没有考虑到连续噪声持续过程中的信号起伏;
而公式(8)使用连续尖峰噪声前后紧邻的有效信号对连续尖峰噪声持续过程中的值进行了线性修正,保证了后续数据更准确可靠。
8.如权利要求1所述的尖峰噪声处理方法,其特征在于,所述初始数据存储于计算机/单片机的存储单元中。
9.如权利要求1所述的尖峰噪声处理方法,其特征在于,所述初始数据是数据采集卡或目标探测设备直接输出的数据。
10.如权利要求1所述的尖峰噪声处理方法,其特征在于,所述初始数据是数据采集卡或目标探测设备直接输出后经过了数据处理但仍包含尖峰噪声的数据。
CN202010037484.2A 2020-01-14 2020-01-14 尖峰噪声处理方法 Active CN111259311B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010037484.2A CN111259311B (zh) 2020-01-14 2020-01-14 尖峰噪声处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010037484.2A CN111259311B (zh) 2020-01-14 2020-01-14 尖峰噪声处理方法

Publications (2)

Publication Number Publication Date
CN111259311A true CN111259311A (zh) 2020-06-09
CN111259311B CN111259311B (zh) 2023-03-24

Family

ID=70945204

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010037484.2A Active CN111259311B (zh) 2020-01-14 2020-01-14 尖峰噪声处理方法

Country Status (1)

Country Link
CN (1) CN111259311B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112345759A (zh) * 2020-11-16 2021-02-09 三诺生物传感股份有限公司 一种用于荧光强度峰检测的方法
CN113343897A (zh) * 2021-06-25 2021-09-03 中国电子科技集团公司第二十九研究所 一种基于辐射信号斜率变化加快信号处理的方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005043085A1 (ja) * 2003-10-31 2005-05-12 Hitachi Chemical Co., Ltd. 平均化反復法を用いたスパイクノイズ除去方法及びコンピュータプログラム
CN101598798A (zh) * 2008-12-31 2009-12-09 中国资源卫星应用中心 一种对高光谱干涉数据进行光谱重建的系统和方法
CN110542926A (zh) * 2019-09-02 2019-12-06 吉林大学 一种地震数据尖峰噪声簇的自主检测和压制方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005043085A1 (ja) * 2003-10-31 2005-05-12 Hitachi Chemical Co., Ltd. 平均化反復法を用いたスパイクノイズ除去方法及びコンピュータプログラム
CN101598798A (zh) * 2008-12-31 2009-12-09 中国资源卫星应用中心 一种对高光谱干涉数据进行光谱重建的系统和方法
CN110542926A (zh) * 2019-09-02 2019-12-06 吉林大学 一种地震数据尖峰噪声簇的自主检测和压制方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
万玲等: "基于能量运算的磁共振信号尖峰噪声抑制方法", 《地球物理学报》 *
胡翔宇等: "嵌入式生物芯片检测分析系统设计", 《计算机应用研究》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112345759A (zh) * 2020-11-16 2021-02-09 三诺生物传感股份有限公司 一种用于荧光强度峰检测的方法
CN112345759B (zh) * 2020-11-16 2022-07-12 三诺生物传感股份有限公司 一种用于荧光强度峰检测的方法
CN113343897A (zh) * 2021-06-25 2021-09-03 中国电子科技集团公司第二十九研究所 一种基于辐射信号斜率变化加快信号处理的方法

Also Published As

Publication number Publication date
CN111259311B (zh) 2023-03-24

Similar Documents

Publication Publication Date Title
CN111259311B (zh) 尖峰噪声处理方法
CN110082754A (zh) 基于跟踪反馈的微弱目标自适应检测系统及检测方法
JP5551169B2 (ja) 全てディジタルの見通し線(los)プロセッサアーキテクチャ
CN100587719C (zh) 低复杂度的尺度自适应视频目标跟踪方法
CN109633633B (zh) 一种基于分段分类增强处理的生命信号增强方法
CN110906875B (zh) 一种孔径测量的视觉处理方法
CN111274904B (zh) 针对尖峰噪声的信号处理系统
CN111856411A (zh) 一种双门限目标检测方法及装置
Yang et al. Variance WIE based infrared images processing
CN113253240B (zh) 一种基于光子探测的空间目标识别分法、存储介质和系统
CN107422311B (zh) 一种基于α-β滤波的抗距离拖引方法
CN112332807A (zh) 一种弱包络信号检测方法和系统
CN110233682B (zh) 一种实时门限信号检测方法
US20230204723A1 (en) Lidar control method, terminal apparatus, and computer-readable storage medium
CN108196221B (zh) 一种基于多基线干涉仪角度模糊区间的去野值方法
CN112230199B (zh) 一种基于高维特征值分析的激光雷达回波盲去噪方法
US6683820B1 (en) Method and apparatus for tracking sonar targets
CN111830488A (zh) 一种基于gm-apd激光测距系统的回波信号数据处理方法及系统
JPH0611562A (ja) Mtiプロセッサ用振幅比弁別システム
Peng et al. Infrared small target detection under complex background
CN111537986B (zh) 一种信号捕获方法及装置
CN116626650B (zh) 一种单光子探测的运动目标全波形恢复方法与系统
US20220276380A1 (en) Method, computer program, electronic memory medium, and device for evaluating optical reception signals
JPH0738226B2 (ja) 動く物体に用いられる分離方法及び装置
CN115540909A (zh) 一种惯性平台系统调平电流异常值检测处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant