CN117664906A - 基于光谱特征的水体抗生素污染检测方法 - Google Patents
基于光谱特征的水体抗生素污染检测方法 Download PDFInfo
- Publication number
- CN117664906A CN117664906A CN202410137261.1A CN202410137261A CN117664906A CN 117664906 A CN117664906 A CN 117664906A CN 202410137261 A CN202410137261 A CN 202410137261A CN 117664906 A CN117664906 A CN 117664906A
- Authority
- CN
- China
- Prior art keywords
- data
- detected
- denoising
- window
- water body
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 title claims abstract description 198
- 230000003595 spectral effect Effects 0.000 title claims abstract description 116
- 230000003115 biocidal effect Effects 0.000 title claims abstract description 26
- 238000001514 detection method Methods 0.000 title description 5
- 238000001228 spectrum Methods 0.000 claims abstract description 75
- 238000000034 method Methods 0.000 claims abstract description 67
- 239000003242 anti bacterial agent Substances 0.000 claims abstract description 26
- 229940088710 antibiotic agent Drugs 0.000 claims abstract description 26
- 238000011156 evaluation Methods 0.000 claims abstract description 15
- 238000002835 absorbance Methods 0.000 claims description 68
- 230000008569 process Effects 0.000 claims description 19
- 238000004364 calculation method Methods 0.000 claims description 12
- 230000011218 segmentation Effects 0.000 claims description 9
- 238000010606 normalization Methods 0.000 claims description 6
- 238000011109 contamination Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 abstract description 5
- 230000008859 change Effects 0.000 description 25
- 230000000694 effects Effects 0.000 description 9
- 239000000126 substance Substances 0.000 description 9
- 230000003044 adaptive effect Effects 0.000 description 6
- 238000001914 filtration Methods 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 238000010521 absorption reaction Methods 0.000 description 4
- 238000004611 spectroscopical analysis Methods 0.000 description 3
- 238000004451 qualitative analysis Methods 0.000 description 2
- 238000004445 quantitative analysis Methods 0.000 description 2
- 238000004566 IR spectroscopy Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000009395 breeding Methods 0.000 description 1
- 230000001488 breeding effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 238000002329 infrared spectrum Methods 0.000 description 1
- 238000004895 liquid chromatography mass spectrometry Methods 0.000 description 1
- 239000002906 medical waste Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000010183 spectrum analysis Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A20/00—Water conservation; Efficient water supply; Efficient water use
- Y02A20/20—Controlling water pollution; Waste water treatment
Landscapes
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
本发明涉及数据处理技术领域,具体涉及基于光谱特征的水体抗生素污染检测方法,包括:获取待检测水体的光谱数据;获取待检测水体的光谱数据中每个去噪数据区间的目标数据点;根据待检测水体的光谱数据中每个去噪数据区间的预设窗口,获取每个去噪数据区间的搜索窗口和滑动窗口每次滑动步长;根据去噪后的待检测水体的光谱数据,获取待检测水体中含有的抗生素含量的评价指标,进而完成对待检测水体中抗生素含量的评估。本发明使得根据光谱数据来评价水体中的抗生素含量时更加的准确。
Description
技术领域
本发明涉及数据处理技术领域,具体涉及基于光谱特征的水体抗生素污染检测方法。
背景技术
抗生素污染在近年来已成为全球关注的问题。抗生素通过人类活动(如养殖业、医疗废物排放等)进入水体,可能对环境和人类健康产生严重影响,如破坏水环境生态平衡、诱发抗生素抗药性等。然而,由于抗生素种类繁多、浓度低且分布广,传统的检测方法如液相色谱-质谱法(LC-MS)虽然准确度高,但测试成本较高且操作复杂。而基于光谱特征的水体抗生素污染检测主要利用了光谱分析技术。光谱分析是根据物质吸收、散射或发射光的强度随波长(或频率)变化的规律进行定性、定量分析的方法。在这里,可以通过抗生素在特定波长下的吸光度(或透射度、反射度)与其浓度之间的关系,对水体样本中的抗生素进行定量检测。但是因为在通过光谱仪来获得水体的光谱曲线时,获得的光谱数据存在噪声,因此需要对光谱数据进行去噪处理。
在现有技术中,对数据去噪的算法中最小均方自适应滤波(LMS)算法具有较好的效果,LMS算法主要基于均方误差准则,试图找到一组滤波器权重,使得输出误差的均方值最小。这个过程通常采用梯度下降方法求解,每次迭代时,都会根据当前的误差来调整滤波器的权重。步长参数是梯度下降算法中的一个重要参数,它决定了权值更新的速度。如果步长参数设置得过大,可能会导致算法无法收敛;反之,如果设置得过小,则算法的收敛速度可能会很慢。因此本发明根据获得的光谱数据的变化自适应步长,从而使得该算法具有较好的去噪效果。
发明内容
为了解决上述问题,本发明提供基于光谱特征的水体抗生素污染检测方法,所述方法包括:
获取待检测水体的光谱数据;
根据待检测水体的光谱数据,获取待检测水体的光谱数据中每个数据点为分割数据点的可能程度;根据每个数据点为分割数据点的可能程度,获取待检测水体的光谱数据的所有去噪数据区间;获取每个去噪数据区间中每个数据点作为目标数据点的可能程度;根据每个去噪数据区间中每个数据点作为目标数据点的可能程度,获取每个去噪数据区间的目标数据点;
获取每个去噪数据区间的目标窗口大小;根据每个去噪数据区间的目标数据点和目标窗口大小,获取每个去噪数据区间的搜索窗口和滑动窗口;根据每个去噪数据区间的搜索窗口和滑动窗口吸光度差异,每个去噪数据区间的搜索窗口和滑动窗口每次滑动步长;
根据每个去噪数据区间的搜索窗口和滑动窗口每次滑动步长,获取去噪后的待检测水体的光谱数据;根据去噪后的待检测水体的光谱数据,获取待检测水体中含有的抗生素含量的评价指标。
优选的,所述根据待检测水体的光谱数据,获取待检测水体的光谱数据中每个数据点为分割数据点的可能程度,包括的具体方法为:
根据待检测水体的光谱数据,构建待检测水体的光谱曲线,横坐标为波数,纵坐标为吸光度,将第个数据点左右相邻预设参数/>个的数据点,作为第/>个数据点的邻域数据点;则待检测水体的光谱数据中第/>个数据点为分割数据点的可能程度的计算方法为:
式中,表示待检测水体的光谱数据中第/>个数据点为分割数据点的可能程度;表示待检测水体的光谱数据中所有数据点的吸光度最大值;/>表示待检测水体的光谱数据中第/>个数据点的吸光度;/>为预设参数;/>表示待检测水体的光谱数据中第/>个数据点的斜率;/>表示待检测水体的光谱数据中第/>个数据点的第/>个邻域数据点的斜率;表示以自然常数为底数的指数函数;/>表示取绝对值;/>表示线性归一化函数。
优选的,所述根据每个数据点为分割数据点的可能程度,获取待检测水体的光谱数据的所有去噪数据区间,包括的具体方法为:
若第个数据点为分割数据点的可能程度大于预设阈值/>,则将第/>个数据点作为分割数据点;进而获得待检测水体的光谱数据的所有分割数据点;将待检测水体的光谱数据的第1个分割数据点和第2个分割数据点之间的所有数据点组成数据区间,作为待检测水体的光谱数据的去噪数据区间,所述去噪数据区间包含第1个分割数据点,不包含第2个分割数据点;将待检测水体的光谱数据的第2个分割数据点和第3个分割数据点之间的所有数据点组成数据区间,作为待检测水体的光谱数据的去噪数据区间,所述去噪数据区间包含第2个分割数据点,不包含第3个分割数据点;将待检测水体的光谱数据的第3个分割数据点和第4个分割数据点之间的所有数据点组成数据区间,作为待检测水体的光谱数据的去噪数据区间,所述去噪数据区间包含第3个分割数据点,不包含第4个分割数据点;以此类推,获取待检测水体的光谱数据的所有去噪数据区间。
优选的,所述获取每个去噪数据区间中每个数据点作为目标数据点的可能程度的具体公式为:
式中,表示待检测水体的光谱数据中第/>个去噪数据区间中第/>个数据点作为目标数据点的可能程度;/>表示待检测水体的光谱数据中第/>个去噪数据区间中第/>个数据点的吸光度;/>表示待检测水体的光谱数据中第/>个去噪数据区间中所有数据点的吸光度均值;/>表示待检测水体的光谱数据中第/>个去噪数据区间中第/>个数据点与第个数据点的斜率差值;/>表示待检测水体的光谱数据中第/>个去噪数据区间中第/>个数据点与第/>个数据点的斜率差值;/>表示取绝对值。
优选的,所述根据每个去噪数据区间中每个数据点作为目标数据点的可能程度,获取每个去噪数据区间的目标数据点,包括的具体方法为:
对于待检测水体的光谱数据中第个去噪数据区间,将第/>个去噪数据区间中作为目标数据点的可能程度最大的数据点作为第/>个去噪数据区间的目标数据点,进而获得待检测水体的光谱数据中每个去噪数据区间的目标数据点。
优选的,所述获取每个去噪数据区间的目标窗口大小的具体公式为:
式中,表示待检测水体的光谱数据中第/>个去噪数据区间的目标窗口大小;/>表示待检测水体的光谱数据中第/>个去噪数据区间中所有数据点的吸光度方差;/>表示待检测水体的光谱数据中第/>个去噪数据区间中所有数据点的吸光度最大值;/>表示待检测水体的光谱数据中第/>个去噪数据区间中所有数据点的吸光度最小值;/>表示待检测水体的光谱数据中第/>个去噪数据区间中所有数据点的吸光度均值;/>表示向上取整。
优选的,所述根据每个去噪数据区间的目标数据点和目标窗口大小,获取每个去噪数据区间的搜索窗口和滑动窗口,包括的具体方法为:
对于待检测水体的光谱数据中第个去噪数据区间,以第/>个去噪数据区间的目标数据点为起点,在第/>个去噪数据区间的目标数据点左侧建立目标窗口大小的搜索窗口,在第/>个去噪数据区间的目标数据点右侧建立目标窗口大小的滑动窗口。
优选的,所述根据每个去噪数据区间的搜索窗口和滑动窗口吸光度差异,每个去噪数据区间的搜索窗口和滑动窗口每次滑动步长,包括的具体方法为:
根据每个去噪数据区间的搜索窗口和滑动窗口吸光度差异,获取搜索窗口和滑动窗口的滑动步长的判断因子;若搜索窗口和滑动窗口的滑动步长的判断因子大于预设阈值,则搜索窗口和滑动窗口的第一次滑动步长为1;若搜索窗口和滑动窗口的滑动步长的判断因子小于或等于预设阈值/>,则搜索窗口和滑动窗口的第一次滑动步长为目标窗口大小;根据搜索窗口和滑动窗口的滑动步长的判断因子的计算方法,获取搜索窗口和滑动窗口的第二次滑动步长的判断因子,若搜索窗口和滑动窗口的滑动步长的判断因子大于预设阈值/>,则搜索窗口和滑动窗口的第二次滑动步长为1;若搜索窗口和滑动窗口的滑动步长的判断因子小于或等于预设阈值/>,则搜索窗口和滑动窗口的第二次滑动步长为目标窗口大小;根据搜索窗口和滑动窗口的滑动步长的判断因子的计算方法,获取搜索窗口和滑动窗口的第三次滑动步长的判断因子,若搜索窗口和滑动窗口的滑动步长的判断因子大于预设阈值/>,则搜索窗口和滑动窗口的第三次滑动步长为1;若搜索窗口和滑动窗口的滑动步长的判断因子小于或等于预设阈值/>,则搜索窗口和滑动窗口的第三次滑动步长为目标窗口大小;以此类推,获取第/>个去噪数据区间的搜索窗口和滑动窗口每次滑动步长;进而获取待检测水体的光谱数据中每个去噪数据区间的搜索窗口和滑动窗口每次滑动步长。
优选的,所述根据每个去噪数据区间的搜索窗口和滑动窗口吸光度差异,获取搜索窗口和滑动窗口的滑动步长的判断因子的具体公式为:
式中,表示搜索窗口和滑动窗口的滑动步长的判断因子;/>表示搜索窗口内所有数据点的吸光度方差;/>表示滑动窗口内所有数据点的吸光度方差;/>表示搜索窗口内所有数据点的吸光度均值;/>表示滑动窗口内所有数据点的吸光度均值;/>表示以自然常数为底数的指数函数;/>表示取绝对值。
优选的,所述根据去噪后的待检测水体的光谱数据,获取待检测水体中含有的抗生素含量的评价指标的具体公式为:
式中,表示待检测水体中含有的抗生素含量的评价指标;/>表示去噪后的待检测水体的光谱数据中波数为400-2500nm之间的所有数据点的吸光度最大值;/>表示去噪后的待检测水体的光谱数据中波数为400-2500nm之间的所有数据点的吸光度最小值;/>表示去噪后的待检测水体的光谱数据中波数为400-2500nm之间的所有数据点的吸光度均值;/>表示线性归一化函数。
本发明的技术方案的有益效果是:在通过红外光谱法对水体中的抗生素含量进行评价时,因为获得的光谱数据中存在噪声,因此本发明通过最小均方自适应滤波算法对光谱数据进行去噪,因为步长参数时该算法的一个重要参数,因此本发明光谱数据的变化来自适应步长参数,使得该算法能够自适应数据的变化,进而能够具有更好的去噪效果;而在自适应步长时,本发明首先根据不同物质在光谱中的波数变化区间不同,对数据进行区间的划分,然后根据每一区间中数据的变化来获得目标数据点,进而再获得目标窗口大小,然后根据目标数据点左右侧数据的变化来自适应步长参数,该方法能够对不同含量的物质在光谱中的数据响应不同,使其对噪声的敏感程度不同,进而获得的步长参数能够自适应数据的变化,使其在去噪的过程中不会破坏原始数据,最后根据光谱数据来评价水体中的抗生素含量时更加的准确。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明基于光谱特征的水体抗生素污染检测方法的步骤流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的基于光谱特征的水体抗生素污染检测方法,其具体实施方式、结构、特征及其功效,详细说明如下。在下述说明中,不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外,一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的基于光谱特征的水体抗生素污染检测方法的具体方案。
请参阅图1,其示出了本发明一个实施例提供的基于光谱特征的水体抗生素污染检测方法的步骤流程图,该方法包括以下步骤:
步骤S001:获取待检测水体的光谱数据。
需要说明的是,光谱分析是根据物质吸收、散射或发射光的强度随波长变化的规律进行定性、定量分析的方法。进而可以通过抗生素在特定波长下的吸光度与其浓度之间的关系,对水体样本中的抗生素进行定量检测。但是因为在通过光谱仪来获得水体的光谱曲线时,获得的光谱数据存在噪声,因此需要对光谱数据进行去噪处理。
具体的,为了实现本实施例提出的基于光谱特征的水体抗生素污染检测方法,首先需要采集待检测水体的光谱数据,具体过程为:
使用IT2000红外光谱仪来获取待检测水体的红外光谱图像,将待检测水体的红外光谱图像传输到数据分析系统中,获得待检测水体的光谱数据;其中,待检测水体的光谱数据包含若干个数据点,数据点具有波数和吸光度两个特征。
至此,通过上述方法得到待检测水体的光谱数据。
步骤S002:获取待检测水体的光谱数据中每个去噪数据区间的目标数据点。
需要说明的是,通过最小均方自适应滤波算法对光谱数据进行去噪时,因为该算法性能高度依赖于步长参数的选择,选择太小的步长可能导致算法收敛速度慢,需要更多的迭代次数才能达到理想的去噪效果,而选择太大的步长可能导致算法不稳定,甚至无法收敛。并且该算法的优化目标是最小化均方误差,但存在多个局部最小值,因此算法可能陷入局部最小值而无法达到全局最小值。因此需要根据数据的变化来自适应步长,从而使得局部数据的最小化均方误差达到更好的评价效果,从而使得对光谱数据的去噪效果更好。
1.获取待检测水体的光谱数据的若干个去噪数据区间。
需要说明的是,在对光谱数据进行去噪时,不同物质对红外光的吸收能力不同,因此在红外光谱曲线中会有不同的响应,并且物质的含量不同,其吸光度也不同,那么在光谱数据中就会在不同的数据区间中产生不同的数据响应。但是因为在采集数据时,常常会受到各种噪声的影响,如仪器噪声、环境噪声等,因此需要获得的光谱数据进行去噪处理。但是因为不同数据区间的数据变化程度不同,那么在去噪的过程中,就需要对不同数据区间的数据进行不同程度的去噪,这样才不会改变原始光谱数据的变化趋势,使得对水体中的抗生素含量进行准确的检测。
预设一个参数,其中本实施例以/>为例进行叙述,本实施例不进行具体限定,其中/>根据具体实施情况而定。
具体的,根据待检测水体的光谱数据,构建待检测水体的光谱曲线,其中,横坐标表示波数,纵坐标表示吸光度;对于待检测水体的光谱数据中第个数据点,将第/>个数据点左右相邻预设参数/>个的数据点,作为第/>个数据点的邻域数据点;则待检测水体的光谱数据中第/>个数据点为分割数据点的可能程度的计算方法为:
式中,表示待检测水体的光谱数据中第/>个数据点为分割数据点的可能程度;表示待检测水体的光谱数据中所有数据点的吸光度最大值;/>表示待检测水体的光谱数据中第/>个数据点的吸光度;/>为预设参数;/>表示待检测水体的光谱数据中第/>个数据点的斜率;/>表示待检测水体的光谱数据中第/>个数据点的第/>个邻域数据点的斜率;表示以自然常数为底数的指数函数;/>表示取绝对值;/>表示线性归一化函数。
需要说明的是,第个数据点的幅值与最大值之间的差异,因为在光谱数据中,吸光度越大的数据点,其幅值是越小的,因此当第/>个数据点的邻域数据点的变化程度越大,但是第/>个点与最大幅值之间的差异越小时,说明该点就为数据响应的变化点。因此乘以第个数据点之后的邻域数据斜率与该点斜率的差值,其斜率的差异越大,说明数据的变化程度越大,因此第/>个数据点越可能为分割数据点。
预设一个阈值,其中本实施例以/>为例进行叙述,本实施例不进行具体限定,其中/>根据具体实施情况而定。
进一步,对于待检测水体的光谱数据中第个数据点,若第/>个数据点为分割数据点的可能程度大于预设阈值/>,则将第/>个数据点作为分割数据点;进而获得待检测水体的光谱数据的所有分割数据点;将待检测水体的光谱数据的第1个分割数据点和第2个分割数据点之间的所有数据点组成数据区间,作为待检测水体的光谱数据的去噪数据区间,所述去噪数据区间包含第1个分割数据点,不包含第2个分割数据点;将待检测水体的光谱数据的第2个分割数据点和第3个分割数据点之间的所有数据点组成数据区间,作为待检测水体的光谱数据的去噪数据区间,所述去噪数据区间包含第2个分割数据点,不包含第3个分割数据点;将待检测水体的光谱数据的第3个分割数据点和第4个分割数据点之间的所有数据点组成数据区间,作为待检测水体的光谱数据的去噪数据区间,所述去噪数据区间包含第3个分割数据点,不包含第4个分割数据点;以此类推,获取待检测水体的光谱数据的所有去噪数据区间。
其中,待检测水体的光谱数据的最后一个去噪数据区间是包含最后一个分割数据点。
至此,获得待检测水体的光谱数据的若干个去噪数据区间。
2.获取待检测水体的光谱数据中每个去噪数据区间的目标数据点。
需要说明的是,上述确定了去噪数据区间是不同物质在光谱曲线中的不同响应,因此每一去噪数据区间表示表示一种物质的光谱数据变化。因为在采集数据产生噪声的因素是相同的,但是因为不同物质的含量不同,导致噪声对数据的影响程度不同,因此需要根据每一去噪数据区间中数据的变化来获得每一去噪数据区间的自适应步长。因此首先根据上述获得的去噪数据区间来获得每一去噪数据区间的目标数据点。
具体的,待检测水体的光谱数据中第个去噪数据区间中第/>个数据点作为目标数据点的可能程度的计算方法为:
式中,表示待检测水体的光谱数据中第/>个去噪数据区间中第/>个数据点作为目标数据点的可能程度;/>表示待检测水体的光谱数据中第/>个去噪数据区间中第/>个数据点的吸光度;/>表示待检测水体的光谱数据中第/>个去噪数据区间中所有数据点的吸光度均值;/>表示待检测水体的光谱数据中第/>个去噪数据区间中第/>个数据点与第个数据点的斜率差值;/>表示待检测水体的光谱数据中第/>个去噪数据区间中第/>个数据点与第/>个数据点的斜率差值;/>表示取绝对值。
需要说明的是,因为在光谱数据曲线中,吸光度越大,则说明其对物质的响应程度越大,因此第个数据点的吸光度与第/>个去噪数据区间中所有数据点的吸光度均值之间的差值越大,则作为目标数据点的可能程度越大;数据点的斜率表示了数据点局部范围的变化程度,其斜率越大,则说明该数据点的变化程度越大,因此第/>个数据点与相邻数据点之间的斜率差值越大,将其作为目标数据点的可能程度越大。
进一步,对于待检测水体的光谱数据中第个去噪数据区间,将第/>个去噪数据区间中作为目标数据点的可能程度最大的数据点作为第/>个去噪数据区间的目标数据点,进而获得待检测水体的光谱数据中每个去噪数据区间的目标数据点。
至此,通过上述方法得到待检测水体的光谱数据中每个去噪数据区间的目标数据点。
步骤S003:根据待检测水体的光谱数据中每个去噪数据区间的预设窗口,获取每个去噪数据区间的搜索窗口和滑动窗口每次滑动步长。
1.获取待检测水体的光谱数据中每个去噪数据区间的预设窗口。
需要说明的是,根据上述确定的每个去噪数据区间的目标数据点,然后根据目标数据点与其他数据点的变化来自适应步长。因为上述获得的目标数据点是数据点在每个去噪数据区间中随机分布的,并不是从去噪数据区间的第一个数据点开始,因此在确定步长时,本实施例以目标数据点开始,向目标数据点的两侧进行滑动,然后根据数据的变化来确定步长。但是再确定滑动步长时,首先需要确定预设窗口的大小,预设窗口的作用是为了对局部数据的变化进行描述,窗口内的数据变化程度越大,则说明其受到噪声的干扰程度可能越大,因此首先根据每一去噪区间数据的变化确定预设窗口的大小。
具体的,待检测水体的光谱数据中第个去噪数据区间的目标窗口大小的计算方法为:
式中,表示待检测水体的光谱数据中第/>个去噪数据区间的目标窗口大小;/>表示待检测水体的光谱数据中第/>个去噪数据区间中所有数据点的吸光度方差;/>表示待检测水体的光谱数据中第/>个去噪数据区间中所有数据点的吸光度最大值;/>表示待检测水体的光谱数据中第/>个去噪数据区间中所有数据点的吸光度最小值;/>表示待检测水体的光谱数据中第/>个去噪数据区间中所有数据点的吸光度均值;/>表示向上取整。
需要说明的是,第个去噪数据区间中所有数据点的吸光度方差表示该取整数据区间中数据的波动性,波动程度越大,说明该去噪数据区间可能受到噪声的影响程度越大,因此需要的窗口越小,这样才能够在滑动的过程中体现数据细节的变化;第/>个去噪数据区间所有数据点的吸光度极差越大,说明数据的整体差异越大,第/>个去噪数据区间所有数据点的吸光度均值越小,则说明数据整体的变化程度越小,因此窗口可以较大,这样不会损失数据的细节。
至此,获得待检测水体的光谱数据中每个去噪数据区间的预设窗口。
2.获取待检测水体的光谱数据中每个去噪数据区间的搜索窗口和滑动窗口每次滑动步长。
具体的,对于待检测水体的光谱数据中第个去噪数据区间,以第/>个去噪数据区间的目标数据点为起点,在第/>个去噪数据区间的目标数据点左侧建立目标窗口大小的搜索窗口,在第/>个去噪数据区间的目标数据点右侧建立目标窗口大小的滑动窗口;其中,滑动窗口的滑动方向为第/>个去噪数据区间的目标数据点右侧,搜索窗口的滑动方向为第/>个去噪数据区间的目标数据点左侧。
进一步,搜索窗口和滑动窗口的滑动步长的判断因子的计算方法为:
式中,表示搜索窗口和滑动窗口的滑动步长的判断因子;/>表示搜索窗口内所有数据点的吸光度方差;/>表示滑动窗口内所有数据点的吸光度方差;/>表示搜索窗口内所有数据点的吸光度均值;/>表示滑动窗口内所有数据点的吸光度均值;/>表示以自然常数为底数的指数函数;/>表示取绝对值。
预设一个阈值,其中本实施例以/>为例进行叙述,本实施例不进行具体限定,其中/>根据具体实施情况而定。
若搜索窗口和滑动窗口的滑动步长的判断因子大于预设阈值,则搜索窗口和滑动窗口的第一次滑动步长为1;若搜索窗口和滑动窗口的滑动步长的判断因子小于或等于预设阈值/>,则搜索窗口和滑动窗口的第一次滑动步长为目标窗口大小;根据搜索窗口和滑动窗口的滑动步长的判断因子的计算方法,获取搜索窗口和滑动窗口的第二次滑动步长的判断因子,若搜索窗口和滑动窗口的滑动步长的判断因子大于预设阈值/>,则搜索窗口和滑动窗口的第二次滑动步长为1;若搜索窗口和滑动窗口的滑动步长的判断因子小于或等于预设阈值/>,则搜索窗口和滑动窗口的第二次滑动步长为目标窗口大小;根据搜索窗口和滑动窗口的滑动步长的判断因子的计算方法,获取搜索窗口和滑动窗口的第三次滑动步长的判断因子,若搜索窗口和滑动窗口的滑动步长的判断因子大于预设阈值/>,则搜索窗口和滑动窗口的第三次滑动步长为1;若搜索窗口和滑动窗口的滑动步长的判断因子小于或等于预设阈值/>,则搜索窗口和滑动窗口的第三次滑动步长为目标窗口大小;以此类推,获取第/>个去噪数据区间的搜索窗口和滑动窗口每次滑动步长;进而获取待检测水体的光谱数据中每个去噪数据区间的搜索窗口和滑动窗口每次滑动步长。
至此,通过上述方法得到待检测水体的光谱数据中每个去噪数据区间的搜索窗口和滑动窗口每次滑动步长。
步骤S004:根据去噪后的待检测水体的光谱数据,获取待检测水体中含有的抗生素含量的评价指标,进而完成对待检测水体中抗生素含量的评估。
具体的,根据待检测水体的光谱数据中每个去噪数据区间的搜索窗口和滑动窗口每次滑动步长,通过最小均方自适应滤波算法对待检测水体的光谱数据每个去噪数据区间内所有数据进行去噪,获得去噪后的待检测水体的光谱数据。
其中,最小均方自适应滤波算法为现有技术,本实施例不作过多赘述。
需要说明的是,根据去噪后的待检测水体的光谱数据对待检测水体中含有的抗生素进行评价,因为抗生素对红外光的吸收波长处于400-2500nm之间,因此根据此范围内光谱数据的变化来判断待检测水体中含有的抗生素的含量。
具体的,待检测水体中含有的抗生素含量的评价指标的计算方式为:
式中,表示待检测水体中含有的抗生素含量的评价指标;/>表示去噪后的待检测水体的光谱数据中波数为400-2500nm之间的所有数据点的吸光度最大值;/>表示去噪后的待检测水体的光谱数据中波数为400-2500nm之间的所有数据点的吸光度最小值;/>表示去噪后的待检测水体的光谱数据中波数为400-2500nm之间的所有数据点的吸光度均值;/>表示线性归一化函数。
预设一个阈值,其中本实施例以/>为例进行叙述,本实施例不进行具体限定,其中/>根据具体实施情况而定。
进一步,若待检测水体中含有的抗生素含量的评价指标大于或等于预设阈值,则待检测水体中抗生素污染严重;反之,待检测水体中含有的抗生素含量合格。
至此,本实施例完成。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.基于光谱特征的水体抗生素污染检测方法,其特征在于,该方法包括以下步骤:
获取待检测水体的光谱数据;
根据待检测水体的光谱数据,获取待检测水体的光谱数据中每个数据点为分割数据点的可能程度;根据每个数据点为分割数据点的可能程度,获取待检测水体的光谱数据的所有去噪数据区间;获取每个去噪数据区间中每个数据点作为目标数据点的可能程度;根据每个去噪数据区间中每个数据点作为目标数据点的可能程度,获取每个去噪数据区间的目标数据点;
获取每个去噪数据区间的目标窗口大小;根据每个去噪数据区间的目标数据点和目标窗口大小,获取每个去噪数据区间的搜索窗口和滑动窗口;根据每个去噪数据区间的搜索窗口和滑动窗口吸光度差异,每个去噪数据区间的搜索窗口和滑动窗口每次滑动步长;
根据每个去噪数据区间的搜索窗口和滑动窗口每次滑动步长,获取去噪后的待检测水体的光谱数据;根据去噪后的待检测水体的光谱数据,获取待检测水体中含有的抗生素含量的评价指标。
2.根据权利要求1所述基于光谱特征的水体抗生素污染检测方法,其特征在于,所述根据待检测水体的光谱数据,获取待检测水体的光谱数据中每个数据点为分割数据点的可能程度,包括的具体方法为:
根据待检测水体的光谱数据,构建待检测水体的光谱曲线,横坐标为波数,纵坐标为吸光度,将第个数据点左右相邻预设参数/>个的数据点,作为第/>个数据点的邻域数据点;则待检测水体的光谱数据中第/>个数据点为分割数据点的可能程度的计算方法为:
式中,表示待检测水体的光谱数据中第/>个数据点为分割数据点的可能程度;/>表示待检测水体的光谱数据中所有数据点的吸光度最大值;/>表示待检测水体的光谱数据中第/>个数据点的吸光度;/>为预设参数;/>表示待检测水体的光谱数据中第/>个数据点的斜率;/>表示待检测水体的光谱数据中第/>个数据点的第/>个邻域数据点的斜率;/>表示以自然常数为底数的指数函数;/>表示取绝对值;/>表示线性归一化函数。
3.根据权利要求1所述基于光谱特征的水体抗生素污染检测方法,其特征在于,所述根据每个数据点为分割数据点的可能程度,获取待检测水体的光谱数据的所有去噪数据区间,包括的具体方法为:
若第个数据点为分割数据点的可能程度大于预设阈值/>,则将第/>个数据点作为分割数据点;进而获得待检测水体的光谱数据的所有分割数据点;将待检测水体的光谱数据的第1个分割数据点和第2个分割数据点之间的所有数据点组成数据区间,作为待检测水体的光谱数据的去噪数据区间,所述去噪数据区间包含第1个分割数据点,不包含第2个分割数据点;将待检测水体的光谱数据的第2个分割数据点和第3个分割数据点之间的所有数据点组成数据区间,作为待检测水体的光谱数据的去噪数据区间,所述去噪数据区间包含第2个分割数据点,不包含第3个分割数据点;将待检测水体的光谱数据的第3个分割数据点和第4个分割数据点之间的所有数据点组成数据区间,作为待检测水体的光谱数据的去噪数据区间,所述去噪数据区间包含第3个分割数据点,不包含第4个分割数据点;以此类推,获取待检测水体的光谱数据的所有去噪数据区间。
4.根据权利要求1所述基于光谱特征的水体抗生素污染检测方法,其特征在于,所述获取每个去噪数据区间中每个数据点作为目标数据点的可能程度的具体公式为:
式中,表示待检测水体的光谱数据中第/>个去噪数据区间中第/>个数据点作为目标数据点的可能程度;/>表示待检测水体的光谱数据中第/>个去噪数据区间中第/>个数据点的吸光度;/>表示待检测水体的光谱数据中第/>个去噪数据区间中所有数据点的吸光度均值;/>表示待检测水体的光谱数据中第/>个去噪数据区间中第/>个数据点与第/>个数据点的斜率差值;/>表示待检测水体的光谱数据中第/>个去噪数据区间中第/>个数据点与第/>个数据点的斜率差值;/>表示取绝对值。
5.根据权利要求1所述基于光谱特征的水体抗生素污染检测方法,其特征在于,所述根据每个去噪数据区间中每个数据点作为目标数据点的可能程度,获取每个去噪数据区间的目标数据点,包括的具体方法为:
对于待检测水体的光谱数据中第个去噪数据区间,将第/>个去噪数据区间中作为目标数据点的可能程度最大的数据点作为第/>个去噪数据区间的目标数据点,进而获得待检测水体的光谱数据中每个去噪数据区间的目标数据点。
6.根据权利要求1所述基于光谱特征的水体抗生素污染检测方法,其特征在于,所述获取每个去噪数据区间的目标窗口大小的具体公式为:
式中,表示待检测水体的光谱数据中第/>个去噪数据区间的目标窗口大小;/>表示待检测水体的光谱数据中第/>个去噪数据区间中所有数据点的吸光度方差;/>表示待检测水体的光谱数据中第/>个去噪数据区间中所有数据点的吸光度最大值;/>表示待检测水体的光谱数据中第/>个去噪数据区间中所有数据点的吸光度最小值;/>表示待检测水体的光谱数据中第/>个去噪数据区间中所有数据点的吸光度均值;/>表示向上取整。
7.根据权利要求1所述基于光谱特征的水体抗生素污染检测方法,其特征在于,所述根据每个去噪数据区间的目标数据点和目标窗口大小,获取每个去噪数据区间的搜索窗口和滑动窗口,包括的具体方法为:
对于待检测水体的光谱数据中第个去噪数据区间,以第/>个去噪数据区间的目标数据点为起点,在第/>个去噪数据区间的目标数据点左侧建立目标窗口大小的搜索窗口,在第/>个去噪数据区间的目标数据点右侧建立目标窗口大小的滑动窗口。
8.根据权利要求1所述基于光谱特征的水体抗生素污染检测方法,其特征在于,所述根据每个去噪数据区间的搜索窗口和滑动窗口吸光度差异,每个去噪数据区间的搜索窗口和滑动窗口每次滑动步长,包括的具体方法为:
根据每个去噪数据区间的搜索窗口和滑动窗口吸光度差异,获取搜索窗口和滑动窗口的滑动步长的判断因子;若搜索窗口和滑动窗口的滑动步长的判断因子大于预设阈值,则搜索窗口和滑动窗口的第一次滑动步长为1;若搜索窗口和滑动窗口的滑动步长的判断因子小于或等于预设阈值/>,则搜索窗口和滑动窗口的第一次滑动步长为目标窗口大小;根据搜索窗口和滑动窗口的滑动步长的判断因子的计算方法,获取搜索窗口和滑动窗口的第二次滑动步长的判断因子,若搜索窗口和滑动窗口的滑动步长的判断因子大于预设阈值,则搜索窗口和滑动窗口的第二次滑动步长为1;若搜索窗口和滑动窗口的滑动步长的判断因子小于或等于预设阈值/>,则搜索窗口和滑动窗口的第二次滑动步长为目标窗口大小;根据搜索窗口和滑动窗口的滑动步长的判断因子的计算方法,获取搜索窗口和滑动窗口的第三次滑动步长的判断因子,若搜索窗口和滑动窗口的滑动步长的判断因子大于预设阈值/>,则搜索窗口和滑动窗口的第三次滑动步长为1;若搜索窗口和滑动窗口的滑动步长的判断因子小于或等于预设阈值/>,则搜索窗口和滑动窗口的第三次滑动步长为目标窗口大小;以此类推,获取第/>个去噪数据区间的搜索窗口和滑动窗口每次滑动步长;进而获取待检测水体的光谱数据中每个去噪数据区间的搜索窗口和滑动窗口每次滑动步长。
9.根据权利要求8所述基于光谱特征的水体抗生素污染检测方法,其特征在于,所述根据每个去噪数据区间的搜索窗口和滑动窗口吸光度差异,获取搜索窗口和滑动窗口的滑动步长的判断因子的具体公式为:
式中,表示搜索窗口和滑动窗口的滑动步长的判断因子;/>表示搜索窗口内所有数据点的吸光度方差;/>表示滑动窗口内所有数据点的吸光度方差;/>表示搜索窗口内所有数据点的吸光度均值;/>表示滑动窗口内所有数据点的吸光度均值;/>表示以自然常数为底数的指数函数;/>表示取绝对值。
10.根据权利要求1所述基于光谱特征的水体抗生素污染检测方法,其特征在于,所述根据去噪后的待检测水体的光谱数据,获取待检测水体中含有的抗生素含量的评价指标的具体公式为:
式中,表示待检测水体中含有的抗生素含量的评价指标;/>表示去噪后的待检测水体的光谱数据中波数为400-2500nm之间的所有数据点的吸光度最大值;/>表示去噪后的待检测水体的光谱数据中波数为400-2500nm之间的所有数据点的吸光度最小值;/>表示去噪后的待检测水体的光谱数据中波数为400-2500nm之间的所有数据点的吸光度均值;/>表示线性归一化函数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410137261.1A CN117664906B (zh) | 2024-02-01 | 2024-02-01 | 基于光谱特征的水体抗生素污染检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410137261.1A CN117664906B (zh) | 2024-02-01 | 2024-02-01 | 基于光谱特征的水体抗生素污染检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117664906A true CN117664906A (zh) | 2024-03-08 |
CN117664906B CN117664906B (zh) | 2024-04-30 |
Family
ID=90077291
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410137261.1A Active CN117664906B (zh) | 2024-02-01 | 2024-02-01 | 基于光谱特征的水体抗生素污染检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117664906B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20090034129A (ko) * | 2007-10-02 | 2009-04-07 | 대한민국(관리부서:농촌진흥청) | 우유 내 항생제의 농도를 측정하기 위한 노출형 근적외선분광분석장치 및 측정방법 |
CN102721663A (zh) * | 2012-05-28 | 2012-10-10 | 中国科学院长春光学精密机械与物理研究所 | 一种基于自适应滤波的近红外土壤光谱去噪方法 |
KR20150057846A (ko) * | 2013-11-20 | 2015-05-28 | 국방과학연구소 | 신호 처리 장치 및 그 방법 |
CN105260990A (zh) * | 2015-09-18 | 2016-01-20 | 新疆医科大学第一附属医院 | 染噪红外光谱信号的去噪方法 |
CN109946253A (zh) * | 2019-04-08 | 2019-06-28 | 中南大学 | 一种光谱去噪方法 |
CN116883674A (zh) * | 2023-09-08 | 2023-10-13 | 张家港福吉佳食品股份有限公司 | 多光谱图像去噪装置及使用该装置的食品品质检测系统 |
CN117235547A (zh) * | 2023-11-15 | 2023-12-15 | 大连力德气体科技股份有限公司 | 一种氧气浓度检测数据自适应滤波方法 |
CN117405622A (zh) * | 2023-12-14 | 2024-01-16 | 广东伊茗药业有限公司 | 一种燕窝中亚硝酸盐含量智能检测方法 |
-
2024
- 2024-02-01 CN CN202410137261.1A patent/CN117664906B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20090034129A (ko) * | 2007-10-02 | 2009-04-07 | 대한민국(관리부서:농촌진흥청) | 우유 내 항생제의 농도를 측정하기 위한 노출형 근적외선분광분석장치 및 측정방법 |
CN102721663A (zh) * | 2012-05-28 | 2012-10-10 | 中国科学院长春光学精密机械与物理研究所 | 一种基于自适应滤波的近红外土壤光谱去噪方法 |
KR20150057846A (ko) * | 2013-11-20 | 2015-05-28 | 국방과학연구소 | 신호 처리 장치 및 그 방법 |
CN105260990A (zh) * | 2015-09-18 | 2016-01-20 | 新疆医科大学第一附属医院 | 染噪红外光谱信号的去噪方法 |
CN109946253A (zh) * | 2019-04-08 | 2019-06-28 | 中南大学 | 一种光谱去噪方法 |
CN116883674A (zh) * | 2023-09-08 | 2023-10-13 | 张家港福吉佳食品股份有限公司 | 多光谱图像去噪装置及使用该装置的食品品质检测系统 |
CN117235547A (zh) * | 2023-11-15 | 2023-12-15 | 大连力德气体科技股份有限公司 | 一种氧气浓度检测数据自适应滤波方法 |
CN117405622A (zh) * | 2023-12-14 | 2024-01-16 | 广东伊茗药业有限公司 | 一种燕窝中亚硝酸盐含量智能检测方法 |
Non-Patent Citations (1)
Title |
---|
郑国梁等: "改进LMS的光谱信号去噪算法", 光谱学与光谱分析, no. 02, 15 February 2020 (2020-02-15), pages 317 - 323 * |
Also Published As
Publication number | Publication date |
---|---|
CN117664906B (zh) | 2024-04-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Primpke et al. | Automated identification and quantification of microfibres and microplastics | |
US9128055B2 (en) | Information processing apparatus, information processing method, program, and method of correcting intensity of fluorescence spectrum | |
US5734587A (en) | Method of analyzing clinically relevant liquids and suspensions | |
CN110705372B (zh) | 基于深度学习卷积神经网络的libs多成分定量反演方法 | |
CN111678599B (zh) | 基于深度学习优化s-g滤波的激光光谱降噪方法及装置 | |
Hanes et al. | Globular clusters as extragalactic distance indicators-Maximum-likelihood methods | |
CN109060760B (zh) | 分析模型建立方法、气体分析装置及方法 | |
CN106018331B (zh) | 多通道光谱系统的稳定性评价方法及预处理优化方法 | |
CN108802002B (zh) | 一种快速无损鉴别解除滞育的蚕卵拉曼光谱模型构建方法 | |
EP3892982A1 (en) | Cartridge for spectroscopic device for quantification in biological fluids, respective kit and method of use thereof | |
CN117664906B (zh) | 基于光谱特征的水体抗生素污染检测方法 | |
CN112630180B (zh) | 水体中有机磷农药浓度检测的紫外/可见光吸收光谱模型 | |
CN110987866A (zh) | 一种汽油性质评价方法及装置 | |
CN108827909B (zh) | 基于可见近红外光谱与多目标融合的土壤快速分类方法 | |
CN116883674B (zh) | 多光谱图像去噪装置及使用该装置的食品品质检测系统 | |
CN112651428A (zh) | 一种用于远程拉曼矿物识别的深度学习模型多分类方法 | |
CN113567375B (zh) | 一种基于线性特征分离的自适应多金属离子浓度回归预测方法及系统 | |
CN114062306B (zh) | 一种近红外光谱数据分段预处理方法 | |
CN112326574B (zh) | 一种基于贝叶斯分类的光谱波长选择方法 | |
CN112801936B (zh) | 一种x射线荧光光谱自适应本底扣除方法 | |
CN113011321B (zh) | 一种基于联合字典的光谱信号去噪方法、系统、终端及可读存储介质 | |
CN109324017B (zh) | 一种提高近红外光谱分析技术建模光谱质量的方法 | |
CN111415715A (zh) | 一种基于多元光谱数据的智能校正方法、系统及装置 | |
CN112966726B (zh) | 一种基于光谱技术的近海沉积物粒径大小分类方法 | |
CN117825601B (zh) | 一种食品中二氧化硫的测定方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |