CN117557917B - 水质检测方法和装置 - Google Patents

水质检测方法和装置 Download PDF

Info

Publication number
CN117557917B
CN117557917B CN202410041346.XA CN202410041346A CN117557917B CN 117557917 B CN117557917 B CN 117557917B CN 202410041346 A CN202410041346 A CN 202410041346A CN 117557917 B CN117557917 B CN 117557917B
Authority
CN
China
Prior art keywords
frequency band
water body
original
weighting
quality detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410041346.XA
Other languages
English (en)
Other versions
CN117557917A (zh
Inventor
王志鹏
傅斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN202410041346.XA priority Critical patent/CN117557917B/zh
Publication of CN117557917A publication Critical patent/CN117557917A/zh
Application granted granted Critical
Publication of CN117557917B publication Critical patent/CN117557917B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/194Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01Arrangements or apparatus for facilitating the optical investigation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A20/00Water conservation; Efficient water supply; Efficient water use
    • Y02A20/152Water filtration

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Pathology (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Remote Sensing (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

本申请实施例提供了水质检测方法和装置,其中方法包括:基于待测光谱数据,确定待测水体为预设水体类型的置信度;针对每个预设水体类型,对各个频段的原始特征进行加权,得到第一频段的加权特征,其中,加权系数与各个频段和第一频段的相关性正相关,第一频段为各个频段中的任意频段,预设水体类型不同,相同频段的相关性不同;基于各个频段的加权特征,确定待测水体对应于各预设水体类型的原始水质检测结果;将待测水体对应于各预设水体类型的原始水质检测结果进行加权处理,得到目标水质检测结果;加权系数与置信度正相关。应用本申请实施例提供的技术方案,能够提高水质检测的精度。

Description

水质检测方法和装置
技术领域
本申请涉及高光谱数据预测水质指标技术领域,特别是涉及水质检测方法和装置。
背景技术
对于内陆水,由于内陆水体光学属性复杂,通常不同水体中物质含量的差异巨大,因此不同水体光谱形态具有较大差异,如果所有水体的光谱采用同一预测模型进行预测,势必会造成干扰进而影响水质检测的精度。并且对于采集的光谱数据,受一个水质指标影响的频段可能相距较远,但是现有技术中并不能看出相关性,也即现有水质检测方法感受野较小,无法捕捉全局光谱特征信息, 因此水质检测的精度较低。
发明内容
本申请实施例的目的在于提供水质检测方法和装置,以实现提高水质检测的精度。具体技术方案如下:
第一方面,本申请实施例提供了一种水质检测方法,所述方法包括:
获取待测水体的光谱数据,作为待测光谱数据;
针对每个预设水体类型,基于所述待测光谱数据,确定所述待测水体为所述预设水体类型的置信度;
分别提取所述待测光谱数据在各个频段上的特征,得到各个频段的原始特征;
针对每个所述预设水体类型,对各个频段的所述原始特征进行加权,得到第一频段的加权特征,其中,对所述原始特征进行加权的加权系数与各个频段和所述第一频段的相关性正相关,所述第一频段为所述各个频段中的任意频段;其中,所述预设水体类型不同,相同频段的相关性不同;
基于各个频段的所述加权特征,确定所述待测水体对应于各所述预设水体类型的原始水质检测结果;
将所述待测水体对应于各所述预设水体类型的原始水质检测结果进行加权处理,得到目标水质检测结果;其中,对所述原始水质检测结果进行加权的加权系数与所述置信度正相关。
在一些实施例中,所述加权特征为多维度特征,所述基于各个频段的所述加权特征,确定所述待测水体对应于各所述预设水体类型的原始水质检测结果,包括:
基于各个频段的所述加权特征,确定各特征维度的重要程度;
对各特征维度上的加权特征值进行加权,得到所述待测水体各个频段的二次加权特征;其中,对各特征维度上的加权特征值进行加权的加权系数与所述各特征维度的重要程度正相关;
基于各个频段的所述二次加权特征,确定所述待测水体对应于各所述预设水体类型的原始水质检测结果。
在一些实施例中,所述基于各个频段的所述二次加权特征,确定所述待测水体对应于各所述预设水体类型的原始水质检测结果,包括:
将各个频段的所述二次加权特征与所述原始特征相加,作为所述待测水体的残差特征;
基于所述残差特征,确定所述待测水体对应于各所述预设水体类型的原始水质检测结果。
在一些实施例中,所述各个频段的所述原始特征以特征图的形式表示,所述特征图表示为p×q的矩阵,所述特征图的第m行第k列表示所述待测光谱数据的第m个频段的第k个特征的值,其中,所述p为所述待测光谱数据的频段数目,所述q为各个频段上提取的特征的数目,所述m为1至p中的任意一个正整数,所述k为1至q中的任意一个正整数;
所述相关性以相关性图的形式表示,所述相关性图表示为p×p的矩阵,所述相关性图的第i行第j列表示多个样本光谱数据的第i个频段与第j个频段的相关性,其中,p表示所述样本光谱数据的频段数目,所述样本光谱数据的频段数目大于等于所述待测光谱数据的频段数目;所述i和j为1至p中的任意一个正整数;所述多个样本光谱数据为一个所述预设水体类型的多个样本光谱数据。
在一些实施例中,预先训练得到预测模型,所述预测模型包括特征提取模块、加权模块以及预测模块,所述分别提取所述待测光谱数据在各个频段上的特征,得到各个频段的原始特征,包括:
将所述待测光谱数据输入所述特征提取模块,得到所述特征提取模块输出的各个频段的所述原始特征;
所述对各个频段的所述原始特征进行加权,得到第一频段的加权特征,包括:
将所述相关性和各个频段的所述原始特征输入所述加权模块,得到所述加权模块输出的各个频段的所述加权特征;
所述基于各个频段的所述加权特征,确定所述待测水体对应于所述预设水体类型的原始水质检测结果,包括:
将各个频段的所述加权特征输入所述预测模块,得到所述预测模块输出的所述待测水体对应于所述预设水体类型的原始水质检测结果。
在一些实施例中,所述获取待测水体的光谱数据,作为待测光谱数据,包括:
获取在有补光的情况拍摄待测水体得到的光谱数据,作为原始光谱数据;
计算所述原始光谱数据各个频段光谱数据的均值;
计算所述各个频段的光谱数据与所述各个频段光谱数据的均值的比值,作为待测光谱数据。
第二方面,本申请实施例还提供了一种水质检测装置,所述装置包括:
获取模块:用于获取待测水体的光谱数据,作为待测光谱数据;
第一确定模块:用于针对每个预设水体类型,基于所述待测光谱数据,确定所述待测水体为所述预设水体类型的置信度;
特征提取模块:用于分别提取所述待测光谱数据在各个频段上的特征,得到各个频段的原始特征;
第一加权模块:用于针对每个所述预设水体类型,对各个频段的所述原始特征进行加权,得到第一频段的加权特征,其中,对所述原始特征进行加权的加权系数与各个频段和所述第一频段的相关性正相关,所述第一频段为所述各个频段中的任意频段;其中,所述预设水体类型不同,相同频段的相关性不同;
第二确定模块:用于基于各个频段的所述加权特征,确定所述待测水体对应于各所述预设水体类型的原始水质检测结果;
第二加权模块:用于将所述待测水体对应于各所述预设水体类型的原始水质检测结果进行加权处理,得到目标水质检测结果;其中,对所述原始水质检测结果进行加权的加权系数与所述置信度正相关。
在一些实施例中,所述加权特征为多维度特征,所述第二确定模块,包括:
第一确定子模块:用于基于各个频段的所述加权特征,确定各特征维度的重要程度;
加权子模块:用于对各特征维度上的加权特征值进行加权,得到所述待测水体各个频段的二次加权特征;其中,对各特征维度上的加权特征值进行加权的加权系数与所述各特征维度的重要程度正相关;
第二确定子模块:用于基于各个频段的所述二次加权特征,确定所述待测水体对应于各所述预设水体类型的原始水质检测结果。
在一些实施例中,所述第二确定子模块,具体用于:
将各个频段的所述二次加权特征与所述原始特征相加,作为所述待测水体的残差特征;
基于所述残差特征,确定所述待测水体对应于各所述预设水体类型的原始水质检测结果。
在一些实施例中,所述各个频段的所述原始特征以特征图的形式表示,所述特征图表示为p×q的矩阵,所述特征图的第m行第k列表示所述待测光谱数据的第m个频段的第k个特征的值,其中,所述p为所述待测光谱数据的频段数目,所述q为各个频段上提取的特征的数目,所述m为1至p中的任意一个正整数,所述k为1至q中的任意一个正整数;
所述相关性以相关性图的形式表示,所述相关性图表示为p×p的矩阵,所述相关性图的第i行第j列表示多个样本光谱数据的第i个频段与第j个频段的相关性,其中,p表示所述样本光谱数据的频段数目,所述样本光谱数据的频段数目大于等于所述待测光谱数据的频段数目;所述i和j为1至p中的任意一个正整数;所述多个样本光谱数据为一个所述预设水体类型的多个样本光谱数据。
在一些实施例中,预先训练得到预测模型,所述预测模型包括特征提取模块、加权模块以及预测模块,所述分别提取所述待测光谱数据在各个频段上的特征,得到各个频段的原始特征,包括:
将所述待测光谱数据输入所述特征提取模块,得到所述特征提取模块输出的各个频段的所述原始特征;
所述对各个频段的所述原始特征进行加权,得到第一频段的加权特征,包括:
将所述相关性和各个频段的所述原始特征输入所述加权模块,得到所述加权模块输出的各个频段的所述加权特征;
所述基于各个频段的所述加权特征,确定所述待测水体对应于所述预设水体类型的原始水质检测结果,包括:
将各个频段的所述加权特征输入所述预测模块,得到所述预测模块输出的所述待测水体对应于所述预设水体类型的原始水质检测结果。
在一些实施例中,所述获取模块,具体用于:
获取在有补光的情况拍摄待测水体得到的光谱数据,作为原始光谱数据;
计算所述原始光谱数据各个频段光谱数据的均值;
计算所述各个频段的光谱数据与所述各个频段光谱数据的均值的比值,作为待测光谱数据。
第三方面,本申请实施例还提供了一种电子设备,包括:
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现上述任一所述的水质检测方法。
第四方面,本申请实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时,实现上述任一所述的水质检测方法。
第五方面,本申请实施例还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述任一所述的水质检测方法。
本申请实施例有益效果:
本申请实施例提供的技术方案中,得到待测光谱数据各个频段的原始特征后,对各个频段的原始特征进行加权,得到第一频段的加权特征,而对原始特征进行加权的加权系数与各个频段和第一频段的相关性正相关,也即,与第一频段相关性越高的频段,在对第一频段的原始特征进行加权时,权重系数越大,由此,得到的第一频段的加权特征能够体现待测光谱数据中所有频段的原始特征,且第一频段的加权特征中与第一频段相关性高的频段的原始特征占比较高,同时,由于第一频段为各个频段中的任意频段,因此,对各个频段的原始特征进行加权后,各个频段的加权特征均能体现待测光谱数据中所有原始频段的原始特征,且各个频段的加权特征中与自身相关性高的频段的原始特征占比较高。由此,基于各个频段的加权特征确定待测水体对应于各预设水体类型的原始水质检测结果,能够避免现有技术中感受野较小,无法捕捉全局光谱特征信息的问题,提高了水质检测的精度。
此外,设置了多个预设水体类型,并确定了待测水体为各个预设水体类型的置信度,由待测水体为各个预设水体类型的置信度,以及待测水体对应于各预设水体类型的原始水质检测结果共同确定待测水体的目标水质检测结果,进一步提高了水质检测的精度。
当然,实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,还可以根据这些附图获得其他的实施例。
图1为本申请实施例提供的水质检测方法的第一种流程示意图;
图2为上述图1所示实施例中确定原始水质检测结果的一种细化示意图;
图3为本申请实施例提供的水质检测方法的第二种流程示意图;
图4为本申请实施例提供的预测模型的一种结构示意图;
图5为本申请实施例提供的预测模型中多注意力残差模块的一种结构示意图;
图6为本申请实施例提供的水质检测方法的第三种流程示意图;
图7为本申请实施例提供的水质检测方法的第四种流程示意图;
图8为本申请实施例提供的水质检测装置的一种结构示意图;
图9为本申请实施例提供的电子设备的一种结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员基于本申请所获得的所有其他实施例,都属于本申请保护的范围。
下面对本申请实施例中出现的名词进行解释:
感受野:卷积神经网络每一层输出的特征图(feature map)上的像素点映射回输入图像上的区域大小。也即,特征图上一点相对于原图的大小,也是卷积神经网络特征所能看到输入图像的区域。
对于内陆水,由于内陆水体光学属性复杂,通常不同水体中物质含量的差异巨大,因此不同水体光谱形态具有较大差异,如果所有水体的光谱采用同一预测模型进行预测,势必会造成干扰进而影响水质检测的精度。并且对于采集的光谱数据,受一个水质指标影响的频段可能相距较远,但是现有技术中并不能看出相关性,也即现有水质检测方法感受野较小,无法捕捉全局光谱特征信息, 因此水质检测的精度较低。
为解决上述技术问题,本申请实施例提供了一种水质检测方法,该方法中:得到待测光谱数据各个频段的原始特征后,对各个频段的原始特征进行加权,得到第一频段的加权特征,而对原始特征进行加权的加权系数与各个频段和第一频段的相关性正相关,也即,与第一频段相关性越高的频段,在对第一频段的原始特征进行加权时,权重系数越大,由此,得到的第一频段的加权特征能够体现待测光谱数据中所有频段的原始特征,且第一频段的加权特征中与第一频段相关性高的频段的原始特征占比较高,同时,由于第一频段为各个频段中的任意频段,因此,对各个频段的原始特征进行加权后,各个频段的加权特征均能体现待测光谱数据中所有原始频段的原始特征,且各个频段的加权特征中与自身相关性高的频段的原始特征占比较高。由此,基于各个频段的加权特征确定待测水体对应于各预设水体类型的原始水质检测结果,能够避免现有技术中感受野较小,无法捕捉全局光谱特征信息的问题,提高了水质检测的精度。
此外,设置了多个预设水体类型,并确定了待测水体为各个预设水体类型的置信度,由待测水体为各个预设水体类型的置信度,以及待测水体对应于各预设水体类型的原始水质检测结果共同确定待测水体的目标水质检测结果,进一步提高了水质检测的精度。
下面,通过具体实施例,对本申请实施例提供的水质检测方法进行详细说明。
本申请实施例提供的水质检测方法可以应用于电子设备,具体的,该电子设备可以为台式计算机、便携式计算机、智能移动终端等,为便于描述,后续以电子设备为执行主体进行示例性说明,以下示例对本申请并不起限定作用。
参见图1,图1为本申请实施例提供的水质检测方法的第一种流程示意图,包括如下步骤:
步骤S11:获取待测水体的光谱数据,作为待测光谱数据。
步骤S12:针对每个预设水体类型,基于待测光谱数据,确定待测水体为预设水体类型的置信度。
步骤S13:分别提取待测光谱数据在各个频段上的特征,得到各个频段的原始特征。
步骤S14:针对每个预设水体类型,对各个频段的原始特征进行加权,得到第一频段的加权特征,其中,对原始特征进行加权的加权系数与各个频段和第一频段的相关性正相关,第一频段为各个频段中的任意频段;其中,预设水体类型不同,相同频段的相关性不同。
步骤S15:基于各个频段的加权特征,确定待测水体对应于各预设水体类型的原始水质检测结果。
步骤S16:将待测水体对应于各预设水体类型的原始水质检测结果进行加权处理,得到目标水质检测结果;其中,对原始水质检测结果进行加权的加权系数与置信度正相关。
上述步骤S12为确定待测水体为预设水体类型的置信度的步骤,步骤S13-步骤S15为确定水质指标的步骤,步骤S12和步骤S13-步骤S15互不影响,因此,电子设备可以先执行步骤S12,再执行步骤S13-步骤S15;或者,电子设备可以先执行步骤S13-步骤S15,再执行步骤S12;再或者,电子设备可以同时或交替地执行步骤S12和步骤S13-步骤S15,对此不进行限定。
本申请实施例提供的技术方案中,得到待测光谱数据各个频段的原始特征后,对各个频段的原始特征进行加权,得到第一频段的加权特征,而对原始特征进行加权的加权系数与各个频段和第一频段的相关性正相关,也即,与第一频段相关性越高的频段,在对第一频段的原始特征进行加权时,权重系数越大,由此,得到的第一频段的加权特征能够体现待测光谱数据中所有频段的原始特征,且第一频段的加权特征中与第一频段相关性高的频段的原始特征占比较高,同时,由于第一频段为各个频段中的任意频段,因此,对各个频段的原始特征进行加权后,各个频段的加权特征均能体现待测光谱数据中所有原始频段的原始特征,且各个频段的加权特征中与自身相关性高的频段的原始特征占比较高。由此,基于各个频段的加权特征确定待测水体对应于各预设水体类型的原始水质检测结果,能够避免现有技术中感受野较小,无法捕捉全局光谱特征信息的问题,提高了水质检测的精度。
此外,设置了多个预设水体类型,并确定了待测水体为各个预设水体类型的置信度,由待测水体为各个预设水体类型的置信度,以及待测水体对应于各预设水体类型的原始水质检测结果共同确定待测水体的目标水质检测结果,进一步提高了水质检测的精度。
上述步骤S11中,可以通过光谱仪采集待测水体的光谱数据,再将待测水体的光谱数据上传至电子设备,或者,电子设备可以主动从光谱仪中获取待测水体的光谱数据。电子设备获取到待测水体的光谱数据后,可以直接将获取到的待测水体的光谱数据作为待测光谱数据,也可以从获取到的待测水体的光谱数据中截取一段光谱数据作为待测光谱数据。
在一些实施例中,光谱数据可以为光谱仪采集到的待测水体的高光谱数据,电子设备获取到待测水体的高光谱数据后,可以直接将获取的高光谱数据作为待测光谱数据,也可以从获取的高光谱数据中任意截取一段高光谱数据作为待测光谱数据,例如,电子设备获取的到的高光谱数据为300-1000nm的高光谱数据,则电子设备可以从300-1000nm的高光谱数据中任意截取一段高光谱数据作为待测光谱数据,如截取长度为400-950nm的高光谱数据为待测光谱数据。
相较于光谱数据,高光谱数据能够提取更丰富的光谱信息,在不同频段上能够捕捉到更多细微的光谱特征,更能够反映待测水体中不同物质的含量和特性,因此,本申请实施例中采集高光谱数据作为待测光谱数据,更能够提高水质检测的准确性。
上述步骤S12中,预先设置有多个预设水体类型,预设水体类型可以为预先确定的待测水体可能属于的水体类型,基于待测光谱数据,电子设备可以确定待测水体属于每一个预设水体类型的置信度,置信度可以以数值的形式进行表示,如置信度可以以百分比的形式表示。
例如,预设水体类型包括水体类型1、水体类型2和水体类型3,则基于待测光谱数据,电子设备可以确定待测水体属于水体类型1的置信度为10%,属于水体类型2的置信度为20%,以及属于水体类型3的置信度为70%。
在一些实施例中,可以使用光谱仪预先采集大量各种水体的光谱数据,电子设备对采集到的光谱数据进行分析,将相似的光谱数据分为一类,也即,将相似的光谱数据对应的水体分为一类水体,由此,得到多个预设水体类型。
例如,电子设备对获取到的大量各种水体的光谱数据进行分析,将这些光谱数据分为了六类,这六类光谱数据对应的水体类型分别为保护水源地水体、饮用水水体、自然河道水体、城市河道水体、轻度污染水体、重度污染水体,则可以以这六类水体作为预设水体类型。
本申请实施例中,将具有相似的光谱数据的水体分为一类,作为一个预设水体类型,这样,后续对预设水体类型对应的水体的多个光谱数据的各个频段进行统计后,得到的各个频段之间的相关性才能体现预设水体类型对应的各个水体各频段间的相关性。若将光谱数据差异较大的水体分为一类,后续在统计预设水体类型对应的相关性时,得到的相关性虽也能体现该预设水体类型各个频段间的相关性,但并不具有代表性。例如,水体1和水体2的光谱数据相似,水体1和水体3的光谱数据差异较大,此时,若将水体1和水体2分为同一类水体,则可以分别获取水体1和水体2的光谱数据,对水体1的光谱数据和水体2的光谱数据进行统计分析,得到水体1和水体2对应的水体类型的相关性,此时,得到的相关性与水体1各频段之间的相关性紧密相关,且与水体2各频段之间的相关性紧密相关,相关性具有代表性;而若将水体1和水体3分为同一类水体,则分别获取水体1和水体3的光谱数据后,对水体1的光谱数据和水体3的光谱数据进行统计分析,得到水体1和水体2对应的水体类型的相关性,此时,相关性虽基于水体1和水体3的光谱数据得到,但由于水体1和水体3光谱数据差异较大,因此,得到的相关性与水体1和水体3个光谱数据实际的相关性差距较大,并不具有代表性。
在一些实施例中,可以预先训练光谱分类模型,并将预先训练好的光谱分类模型部署至电子设备中,由此,电子设备获取到待测光谱数据后,可以将待测光谱数据输入训练好的光谱分类模型中,得到训练好的光谱分类模型输出的待测水体属于每一个预设水体类型的置信度。其中,训练光谱分类模型的样本为属于预设水体类型的水体的光谱数据。例如,当预设水体类型包括保护水源地水体、饮用水水体、自然河道水体、城市河道水体、轻度污染水体、重度污染水体这六类时,训练光谱分类模型的样本可以包括保护水源地水体的光谱数据、饮用水水体的光谱数据、自然河道水体的光谱数据、城市河道水体的光谱数据、轻度污染水体的光谱数据、重度污染水体的光谱数据。
下面以预设水体类型包括保护水源地水体、饮用水水体和自然河道水体为例,对训练光谱分类模型的方式进行说明,当预设水体类型包括其他预设水体类型时,其训练光谱分类模型的流程相似,在此不再一一赘述。
电子设备获取样本光谱数据,样本光谱数据可以包括保护水源地水体的光谱数据、饮用水水体的光谱数据和自然河道水体的光谱数据,将样本光谱数据输入初始光谱分类模型,得到初始光谱分类模型输出的样本光谱数据属于保护水源地水体的置信度、属于饮用水水体的置信度、以及属于自然河道水体的置信度,基于初始光谱分类模型输出的样本光谱数据属于每个预设水体类型的置信度,调整初始光谱分类模型的参数,得到第一次调整后的光谱分类模型,再将样本光谱数据输入第一次调整后的光谱分类模型,基于第一次调整后的光谱分类模型输出的样本光谱数据属于每个预设水体类型的置信度,再次对第一次调整后的光谱分类模型的模型参数进行调整,得到第二次调整后的光谱分类模型,由此,重复上述步骤,直至光谱分类模型收敛或达到预设训练次数,此时的光谱分类模型即为训练好的光谱分类模型。
上述步骤S13中,电子设备获取到待测光谱数据后,可以按照待测光谱数据的分辨率将待测光谱数据划分为多个频段,之后,可以通过卷积、频域变换等方式,分别提取各个频段的特征,从而得到各个频段的原始特征。
例如,电子设备获取的待测光谱数据为400-950nm分辨率为1nm的高光谱数据,由于获取的高光谱数据的分辨率为1nm,因此,对高光谱数据进行划分的最小单位为1nm,则对高光谱数据进行划分的单位可以为1nm,也可以为2nm、3nm等大于1nm的值。若直接以1nm作为划分单位,则第一个频段可以为400nm至401nm、第二个频段可以为401nm至402nm、以此类推,最后一个频段为949nm至950nm,共划分为550个频段;若以2nm作为划分单位,则第一个频段可以为400nm至402nm、第二个频段可以为402nm至404nm、以此类推,最后一个频段为948nm至950nm。
继续以将待测光谱数据划分为550个频段为例,电子设备可以通过卷积的方式分别提取这550个频段的特征,由此,得到待测光谱数据中各个频段的原始特征。
在一些实施例中,各个频段的原始特征可以以特征图的形式表示,特征图可以表示为p×q的矩阵,特征图的第m行第k列可以表示待测光谱数据的第m个频段的第k个特征的值,其中,p为待测光谱数据的频段数目,q为各个频段上提取的特征的数目,也即,特征维度的数目,m为1至p中的任意一个正整数,k为1至q中的任意一个正整数。
继续以上述实施例中所示的将待测光谱数据划分为550个频段为例,若从各个频段上提取的特征的数目为n,则p的值为待测光谱数据的频段数目,即550;q的值为特征维度的数目,即n;此时,特征图可以表示为550×n的矩阵,m为1至550中的任意一个正整数,k为1至n中的任意一个正整数,待测光谱数据的特征图可以表示为如下(1)所示的形式:
(1);
其中,由上述内容可知,m可以用于表示第m个频段,n可以用于表示第n个特征维度,则特征图中的各个值的形式可以理解为fmn,表示第m个频段在第n个特征维度的特征值;由此,f11表示第1个频段在第1个特征维度的特征值;f550n表示第550个频段的在第n个特征维度的特征值;特征图中的其他符号可以以此类推。
上述步骤S14中,待测光谱数据中包括多个频段,基于上述步骤S13,在各个频段中分别提取了多个特征,则各个频段的原始特征为各个频段的各个特征,对各个频段的原始特征进行加权,也即,对各个频段的各个原始特征进行加权。其中,计算哪个频段的加权特征,其加权系数和该频段与其他各频段的相关性正相关,该频段即为第一频段,第一频段为各频段中的任意频段。对原始特征进行加权的加权系数与各个频段和第一频段的相关性正相关,也即,对原始特征进行加权时,与第一频段相关性越高的频段其加权系数越大,在第一频段的加权特征中占比越高。在一些实施例中,为便于计算,可以直接以各个频段与第一频段的相关性作为对原始特征进行加权的加权系数。
下面先对确定相关性的方式进行描述,可以理解的,相关性为光谱数据中各个频段间的相关性,而对于不同水体类型,其光谱数据中各个频段间的相关性应是不同的,因此,针对每一个预设水体类型,均须确定其对应的相关性。例如,预设水体类型包括保护水源地水体、饮用水水体、自然河道水体、城市河道水体、轻度污染水体、重度污染水体这六类,则需分别确定这六类水体对应的相关性,下面以饮用水水体为例,对获取饮用水水体对应的相关性的方式进行说明,获取其他预设水体类型对应的相关性的方式与获取饮用水体对应的相关性的方式相同,此处不再一一赘述。
第一阶段:电子设备获取多个饮用水水体的光谱数据,并确定光谱数据中各个频段的值,这多个饮用水水体的光谱数据处于相同维度。
例如,电子设备预先获取了N个饮用水水体光谱数据,这N个饮用水水体的光谱数据处于相同维度,如这N个饮用水水体的光谱数据均为400-950nm分辨率为1nm的高光谱数据,此时可参照上述步骤S13所示实施例中的方式,以1nm作为划分单位,将400-950nm的高光谱数据划分为550个频段,之后,分别确定这550个频段的值,此时,这N个饮用水水体各个频段的值可以表示为如下表1所示的形式:
表1
;
其中,R1所在的行表示第一个饮用水水体光谱数据,RN所在的行表示第N个饮用水水体的光谱数据;C1所在的列表示这N个饮用水水体的光谱数据中的第一个频段的值,C550所在的列表示这N个饮用水水体的光谱数据中的第550个频段的值;aN_1表示第N个饮用水水体的光谱数据中第一个频段的值,aN_550表示第N个饮用水水体的光谱数据中第550个频段的值。表1中的其他符号可以以此类推。其中,N表示采集的饮用水水体的个数,N的值越大(采集的饮用水的水体越多),能够用于统计各个频段之间相关性的数据越多,得到的相关性越准确。
第二阶段:统计分析N个饮用水水体中各个频段间的相关性,作为饮用水水体各个频段间的相关性。
例如,根据上述表1中的内容,分别对表1中各列之间数值的相关性进行统计分析,得到饮用水水体各个频段间的相关性,如下表2所示:
表2
;
其中,C1C1表示对上述表1中C1列和C1列进行计算后得到的皮尔逊(Pearsoncorrelation coefficient,pearson)相关系数的绝对值,该值的大小体现了饮用水水体的光谱数据中不同频段(即C1频段和C1频段)的相关性强弱;C1C2表示对上述表1中的C1列和C2列进行计算后得到的皮尔逊相关系数的绝对值,该值相关性的大小体现了饮用水水体的光谱数据中不同频段(即C1频段和C2频段)的相关性强弱;则表2中第一行表示饮用水水体第C1列与包括C1列在内的其他任意列的相关性,也即,饮用水水体中第C1个频段与包括第C1个频段在内的其他任意频段的相关性;表2中的其他符号可以以此类推。由此,表2表示了饮用水水体不同频段的相关性,即饮用水对应的相关性。此处,只需考虑相关性的强弱,无需考虑正相关和负相关。
在一些实施例中,相关性可以以相关性图的形式表示,相关性图可以表示为p×p的矩阵,相关性图的第i行第j列表示多个样本光谱数据的第i个频段与第j个频段的相关性,其中,p表示所述样本光谱数据的频段数目,样本光谱数据的频段数目大于等于待测光谱数据的频段数目;i和j为1至p中的任意一个正整数;多个样本光谱数据为一个预设水体类型的多个样本光谱数据。
以上述表2所表示的饮用水水体对应的相关性为例,则样本光谱数据为饮用水水体的光谱数据,样本光谱数据的频段数目为饮用水水体光谱数据的频段数目,即550个频段,因此,该相关性图为550×550维度的矩阵,此时,i和j为1至550中的任意一个正整数,由此,饮用水水体的相关性图的矩阵可以表示为如下(2)所示的形式:
(2);
其中,C1C1表示饮用水水体中第C1个频段与第C1个频段的相关性,C1C2表示饮用水水体中第C1个频段与第C2个频段的相关性,该矩阵第一行表示饮用水水体第C1个频段与包括第C1个频段在内的其他任意频段的相关性。矩阵中的其他符号可以以此类推。
本申请实施例中,若以上述(1)所示的矩阵表示待测光谱数据的各个频段的原始特征,上述(2)表示饮用水水体对应的相关性为例,以饮用水水体对应的相关性直接作为加权系数,则可以通过如下公式(3)计算得到各个频段的加权特征,
(3);
其中,r1_1表示在饮用水体中,待测光谱数据的第一个频段的第一个原始特征的加权特征,r1_1的计算方式为,r1_1所在的矩阵中其他符号的意义和计算方式可以以此类推。
可见,待测光谱数据的第一个频段中的第一个原始特征在进行加权后,得到的加权特征r1_1融合了所有频段的第一个原始特征,也即,r1_1可以体现所有频段的第一个原始特征的值。此外,在计算r1_1时,将C1C1×f11也作为了计算r1_1的一个参数,C1C1为第一个频段与第一个频段的相关性,其相关性强度较高,这样r1_1在结合其他频段特征的同时更能体现自身所在频段的特征;同时,可以理解的,对于相隔较远的频段,若该频段与第一频段的相关性较高,则该频段的特征在第一频段的加权特征中占比较高,也即,第一频段在体现其他各个频段的特征的同时,更能够体现与第一频段相关性较高的频段的特征,与相隔较远且相关性较强的频段建立联系。如计算计算r1_1时,第550个频段与第一个频段的相关性较高,也即C1C550的值较大,则由上述计算r1_1的方式可知,第550个频段的第一个特征(即f5501)在r1_1中的占比较高。由此,第一个频段的加权特征在体现各个频段的原始特征的同时,更能够体现与第一个频段相关性较高的频段的原始特征。因此,依次计算各个频段的加权特征,能够与相隔较远的频段的特征建立联系,避免了现有技术中感受野较小,无法捕捉全局光谱特征信息的问题,提高了水质检测的精度。
本申请实施例中,可以理解的,预设有多个水体类型,每个水体类型对应的相关性并不相同,因此,需分别使用每个预设水体类型对待测光谱数据的各个频段的原始特征进行加权,得到每个预设水体类型对应的待测光谱数据各个频段的加权特征。
例如,预设水体类型包括保护水源地水体、饮用水水体、自然河道水体、城市河道水体、轻度污染水体、重度污染水体这六类,则电子设备需分别用这六类水体对应的相关性对待测光谱数据各个频段的原始特征进行加权,得到这六类水体对应的待测光谱数据各个频段的加权特征。
上述步骤S15中,原始水质检测结果为待测水体对应于各预设水体类型的检测结果,也即,对于每个预设水体类型,均可得到一个原始水质检测结果。例如,预设水体类型分别为水体类型1、水体类型2和水体类型3,则分别以待测水体属于水体类型1进行检测,得到待测水体对应于水体类型1的原始水质检测结果;以待测水体属于水体类型2进行检测,得到待测水体对应于水体类型2的原始水质检测结果;以待测水体属于水体类型3进行检测,得到待测水体对应于水体类型3的原始水质检测结果,这3个原始水质检测结果即为待测水体对应于各预设水体类型的原始水质检测结果。
其中,水质检测结果可以视为检测得到的多个水质指标的得分,可以理解的,由于这多个水质指标的得分是通过待测水体的光谱数据确定,因此,这多个水质指标应为能够对水体的光谱数据造成影响,且能够反映水质情况的水质指标,如pH值(酸碱值)、叶绿素等,这样,通过光谱数据确定各个水质指标的得分,由各个水质指标的得分反映水质检测结果,能够得到更准确的水质检测结果。其中,水质指标的数量可以根据实际情况进行设置,对此不进行限定。
可以理解的,由上述步骤S14中的内容可知,针对每个预设水体类型,均计算了待测光谱数据各个频段的加权特征值,因此,电子设备可以基于各预设水体类型对应的待测光谱数据的加权特征值,确定待测水体对应于各预设水体类型的原始水质检测结果。
例如,预设水体类型为水体类型1和水体类型2,则电子设备可以用水体类型1对应的待测光谱数据的加权特征值,确定待测水体对应于水体类型1的原始水质检测结果;同时,电子设备可以用水体类型2对应的待测光谱数据的加权特征值,确定待测水体对应于水体类型2的原始水质检测结果。
上述步骤S16中,目标水质检测结果为对待测水体的水质检测结果,电子设备可以对得到的各个原始水质检测结果进行加权处理,得到待测水体的目标水质检测结果,其中,权重系数与预设水体类型的置信度正相关。
在一些实施例中,原始水质检测结果可以为检测得到的多个水质指标的得分,则目标水质检测结果可以为对各个原始水质检测结果中各个水质指标的得分进行加权后得到的各个水质指标的新的得分。
例如,预设水体类型为水体类型1和水体类型2,待测水体为水体类型1的置信度为20%,待测水体为水体类型1的置信度为80%;水质检测结果中的水质指标为指标1和指标2,待测水体对应于水体类型1的原始水质检测结果为:指标1的得分为0.8,指标2的得分为0.2;待测水体对应于水体类型2的原始水质检测结果为:得分为0.6,指标2的得分为0.4,此时,若直接以置信度作为假案系数,则指标1的新的得分即为20%×0.8+80%×0.6,指标2的新的得分即为20%×0.2+80%×0.4,此时,指标1的新的得分和指标2的新的得分即为待测水体的目标水质检测结果。
在一些实施例中,加权特征为多维度特征,参见图2,图2为上述图1所示实施例中确定原始水质检测结果的一种细化示意图,可以包括如下步骤:
步骤S21:基于各个频段的加权特征,确定各特征维度的重要程度。
步骤S22:对各特征维度上的加权特征值进行加权,得到待测水体各个频段的二次加权特征;其中,对各特征维度上的加权特征值进行加权的加权系数与各特征维度的重要程度正相关。
步骤S23:基于各个频段的二次加权特征,确定待测水体对应于各预设水体类型的原始水质检测结果。
本申请实施例提供的技术方案中,根据各个特征维度的重要程度,对各个特征维度上的加权特征值进行加权,明确了不同特征维度的特征值的重要程度,提高了确定各个预设水质指标的准确度,进而提高了水质检测的精度。
上述步骤S21中,电子设备可以对各个频段的加权特征进行处理,确定各个特征维度的重要程度。
在一些实施例中,电子设备可以先将各个频段的加权特征输入全局池化层,得到全局池化层的处理结果,再将全局池化层的处理结果输入第一全链接层,得到第一全链接层的处理结果后,再将第一全链接层的结果输入第二全链接层,第二全链接层的处理结果即为各个特征维度的重要程度。
上述步骤S22中,电子设备得到各个频段的加权特征,以及各个特征维度的重要程度后,可以对各特征维度上的加权特征值进行加权处理,得到二次加权特征,此时,加权系数与各个特征维度的重要程度正相关。
继续以上述(3)中所示的r1_1所在的矩阵为例,按上述步骤S21中所示的内容对r1_1所在的矩阵,即对待测光谱数据各个频段的加权特征进行处理,得到各个特征维度的重要程度为K1,K2,K3,…,Kn,若将各个特征维度的重要程度表示为矩阵,则可以表示为[K1,K2,K3,…,Kn],其中,Kn可以理解为第n个特征维度的重要程度,矩阵中的其他符号可以以此类推,此时,在Kn这个特征维度上的加权特征值即为各个频段的第n个特征的特征值,该矩阵可以表示不同水体高光谱特征的重要程度。
若直接以各个特征维度的重要程度作为加权系数,以[R1,R2,R3,…,Rn]表示上述(3)中所示的r1_1所在的矩阵,其中,R1表示r1_1所在的矩阵中的第一列加权特征值,R1可以表示为如下(4)所示的矩阵形式,[R1,R2,R3,…,Rn]中的其他符号可以以此类推。这样,得到的二次加权特征表示为矩阵形式可以为[K1R1,K2 R2,K3 R3,…,Kn Rn]。
(4);
上述步骤S23中,电子设备在得到各频段的二次加权特征后,基于二次加权特征即可确定待测水体对应于各个预设水体类型的原始水质检测结果。
在一些实施例中,电子设备还可以将各个频段的二次加权特征与原始特征相加,作为待测水体的残差特征;基于残差特征,确定待测水体在各个预设水质指标上对应于预设水体类型的得分。由此,提高待测水体原始特征对预设水质指标得分的影响,提高水质检测结果的准确性。
在一些实施例中,参见图3,图3为本申请实施例提供的水质检测方法的第二种流程示意图,可以包括如下步骤:
步骤S31:获取在有补光的情况拍摄待测水体得到的光谱数据,作为原始光谱数据。
步骤S32:计算原始光谱数据各个频段光谱数据的均值。
步骤S33:计算各个频段的光谱数据与各个频段光谱数据的均值的比值,作为待测光谱数据。
后续步骤S34-S38与上述图1中步骤S12-步骤S16相同,此处不再赘述。
本申请实施例提供的技术方案中,当存在补光灯时,通过补光灯采集到的待测水体的光谱数据会受到水位高低影响,因此,当电子设备获取的光谱数据为在有补光灯的情况下拍摄的光谱数据时,需分别计算计算各个频段的光谱数据与各个频段光谱数据的均值的比值,以此作为待测光谱数据,降低补光灯对光谱数据造成的影响,提高水质检测的精度。
上述步骤S31中,在夜间或光线较暗的环境中,可以在补光灯开启的情况下采集待测水体的光谱数据,由此电子设备获取到的待测水体的光谱数据为在有补光灯的情况下采集到的待测水体的光谱数据,该光谱数据为原始光谱数据。
上述步骤S32至步骤S33中,电子设备获取到原始光谱数据后,可以获取原始光谱数据中各个频段的值,并计算这各个频段的值的均值。之后,电子设备分别计算原始光谱数据中各个频段的值与均值的比值,进而确定待测光谱数据各个频段的值,得到待测光谱数据。
在一些实施例中,可以采用面归一化的方式计算待测光谱数据各个频段的值,计算公式可以表示为如下(5)所示的形式,
(5);
其中,spectrum_post表示待测光谱数据中第x个频段的值;spectrum x 表示原始光谱数据中第x个频段的值;spectrum表示采集的待测水体的原始光谱数据,mean()表示计算均值的函数,mean(spectrum)表示计算得到的原始光谱数据中各个频段的均值;x表示第x个频段。采用面归一化的方式确定待测光谱数据各个频段的值也可以称为面归一化的结果。
在一些实施例中,电子设备中预先配置有训练好的针对每个预设水体类型的预测模型,如预设水体类型为保护水源地水体、饮用水水体、自然河道水体、城市河道水体、轻度污染水体、重度污染水体这六类,则电子设备中预先配置有分别对应于这六类水体类型的六个预测模型,这六个预测模型的结构和功能相同,仅训练数据不同,预测模型的训练数据与对应的水体类型有关,如保护水源地水体对应的预测模型的训练数据为多个保护水源地水体的光谱数据、这多个保护水源地水体对应的各个预设指标的得分、以及保护水源地水体对应的相关性图。其他预设水体类型对应的预测模型的训练数据可以以此类推。
预测模型可以包括特征提取模块、加权模块以及预测模块,其中,特征提取模块用于执行上述步骤S13所示的内容,即将待测光谱数据输入特征提取模块后,特征提取模块可以输出各个频段的原始特征;加权模块用于执行上述步骤S14所示的内容,即将各个频段的原始特征输入加权模块,加权模块可以输出各个频段的加权特征;预测模块用于执行上述步骤S15中的内容,即预测模块可以基于各个频段的加权特征,确定待测水体对应于各预设水体类型的原始水质检测结果。
在一些实施例中,参见图4,图4为本申请实施例提供的预测模型的一种结构示意图,如图4所示,预测模型中包括两个卷积模块(conv_block1、conv_block2)、三个多注意力残差模块(Attention_res_block1、Attention_res_block2、Attention_res_block3)以及一个全链接层(Fc_block1)。其中,conv_block1为图4中位于多注意力残差模块之前的卷积模块,可以用于提取待测光谱数据各个频段的原始特征;三个多注意力残差模块的结构和功能相同,均用于根据相关性图(Relation_map),即上述相关性对各个频段的原始特征进行加权;全链接层用于根据各个频段的加权特征确定原始水质检测结果,原始水质检测结果可以为多个水质检测指标的得分,如图4中指标1-指标N。
在一些实施例中,参见图5,图5为本申请实施例提供的预测模型中多注意力残差模块的一种结构示意图,如图5所示,多注意力残差模块包括两个卷积层(conv1x1、conv1x2)、两个激活函数层(Rectified Linear Unit,Relu)、一个矩阵乘积层(matmul)、一个全局池化层(global averge pooling,GAP)、两个全链接层(Fully Connected Layer,FC),分别为Fc1和Fc2、一个点积层(Dot)以及一个求和层(SUM),其中,矩阵乘积层用于根据相关性图对各个频段的原始特征进行加权处理,具体可参见上述步骤S14中所示的内容;全局池化层和全链接层用于执行上述步骤S21中所示的内容;点积层用于执行步骤S22中所示的内容;求和层用于计算点积层输出的二次加权特征与前置层(previous_layer)输出的原始特征的和值,具体可参见上述步骤S23中所示的内容,其中,前置层表示当前层的输入是来自前一层的输出,如图5中的前置层可以表示当前层的输入来自图4中多注意力残差模块之前的卷积模块的输出。
在一些实施例中,以获取的光谱数据为高光谱数据、预设水体类型为六类为例,参见图6,图6为本申请实施例提供的水质检测方法的第三种流程示意图;图6中场景一至场景六分别表示这六类预设水体类型中的一类,如图6所示,将待测水体的高光谱数据输入光谱分类模型后,光谱分类模型可以输出场景一分类概率-场景六分类概率,具体内容可参见上述步骤S12中的描述;电子设备中预先配置有针对六种场景的预测模型,如场景一预测模型-场景六预测模型,并且预先确定了各个预测模型对应的光谱特征相关性图,如光谱特征相关性图一-光谱特征相关性图六,确定相关性图的方式可参见上述步骤S14中的描述,将高光谱数据和对应的光谱特征相关性图输入对应场景的预测模型后,可以得到预测模型输出的预测结果,即场景一结果-场景六结果,也即各个预测模型得到的原始水质检测结果,具体内容可参见上述步骤S15中的描述。之后,根据场景一至场景六的分类概率,对场景一至场景六的结果进行加权处理,得到最终预测估值,即通过加权混合计算得到最终预测估值,即目标水质检测结果,具体内容可参见上述步骤S16中的描述。
在一些实施例中,以获取的光谱数据为夜间高光谱数据、预设水体类型为六类为例,参见图7,图7为本申请实施例提供的水质检测方法的第四种流程示意图。如图7所示,当获取的光谱数据为夜间高光谱数据时,需对夜间高光谱数据进行预处理,预处理的步骤可参见上述图3所示实施例中的内容;将预处理后的夜间高光谱数据输入夜间光谱分类模型后,夜间光谱分类模型可以输出夜间场景一分类概率-夜间场景六分类概率,具体内容可参见上述步骤S12中的描述;电子设备中预先配置有针对六种场景的夜间预测模型,如夜间场景一预测模型-夜间场景六预测模型,并且预先确定了各个夜间预测模型对应的夜间光谱特征相关性图,如夜间光谱特征相关性图一-夜间光谱特征相关性图六,确定相关性的方式可参加上述步骤S14中的描述,将预处理后的夜间高光谱数据和对应的夜间光谱特征相关性图输入对应夜间场景的预测模型后,可以得到夜间预测模型输出的预测结果,即夜间场景一结果-夜间场景六结果,也即各个夜间预测模型得到的原始水质检测结果,具体内容可参见上述步骤S15中的描述,之后,根据夜间场景一至夜间场景六的分类概率,对夜间场景一结果至夜间场景六结果进行加权处理,得到最终预测估值,即通过加权混合计算得到最终预测估值,即目标水质检测结果,具体内容可参见上述步骤S16中的描述。其中,为保证光谱分类模型、预测模型以及相关性图的准确性,当光谱数据是在存在补光灯的情况下采集的光谱数据时,采用的光谱分类模型和预测模型为夜间光谱分类模型和夜间预测模型,用于训练夜间光谱分类模型和夜间预测模型的样本光谱数据均为在补光灯开启情况下采集的光谱数据。
与上述水质检测方法对应,本申请实施例还提供了一种水质检测装置,如图8所示,包括:
获取模块81:用于获取待测水体的光谱数据,作为待测光谱数据;
第一确定模块82:用于针对每个预设水体类型,基于待测光谱数据,确定待测水体为预设水体类型的置信度;
特征提取模块83:用于分别提取待测光谱数据在各个频段上的特征,得到各个频段的原始特征;
第一加权模块84:用于针对每个预设水体类型,对各个频段的原始特征进行加权,得到第一频段的加权特征,其中,对原始特征进行加权的加权系数与各个频段和第一频段的相关性正相关,第一频段为各个频段中的任意频段;其中,预设水体类型不同,相同频段的相关性不同;
第二确定模块85:用于基于各个频段的加权特征,确定待测水体对应于各预设水体类型的原始水质检测结果;
第二加权模块86:用于将待测水体对应于各预设水体类型的原始水质检测结果进行加权处理,得到目标水质检测结果;其中,对原始水质检测结果进行加权的加权系数与置信度正相关。
本申请实施例提供的技术方案中,得到待测光谱数据各个频段的原始特征后,对各个频段的原始特征进行加权,得到第一频段的加权特征,而对原始特征进行加权的加权系数与各个频段和第一频段的相关性正相关,也即,与第一频段相关性越高的频段,在对第一频段的原始特征进行加权时,权重系数越大,由此,得到的第一频段的加权特征能够体现待测光谱数据中所有频段的原始特征,且第一频段的加权特征中与第一频段相关性高的频段的原始特征占比较高,同时,由于第一频段为各个频段中的任意频段,因此,对各个频段的原始特征进行加权后,各个频段的加权特征均能体现待测光谱数据中所有原始频段的原始特征,且各个频段的加权特征中与自身相关性高的频段的原始特征占比较高。由此,基于各个频段的加权特征确定待测水体对应于各预设水体类型的原始水质检测结果,能够避免现有技术中感受野较小,无法捕捉全局光谱特征信息的问题,提高了水质检测的精度。
此外,设置了多个预设水体类型,并确定了待测水体为各个预设水体类型的置信度,由待测水体为各个预设水体类型的置信度,以及待测水体对应于各预设水体类型的原始水质检测结果共同确定待测水体的目标水质检测结果,进一步提高了水质检测的精度。
在一些实施例中,加权特征为多维度特征,上述第二确定模块85,包括:
第一确定子模块:用于基于各个频段的加权特征,确定各特征维度的重要程度;
加权子模块:用于对各特征维度上的加权特征值进行加权,得到待测水体各个频段的二次加权特征;其中,对各特征维度上的加权特征值进行加权的加权系数与各特征维度的重要程度正相关;
第二确定子模块:用于基于各个频段的二次加权特征,确定待测水体对应于各预设水体类型的原始水质检测结果。
在一些实施例中,上述第二确定子模块,具体用于:
将各个频段的二次加权特征与原始特征相加,作为待测水体的残差特征;
基于残差特征,确定待测水体对应于各预设水体类型的原始水质检测结果。
在一些实施例中,各个频段的原始特征以特征图的形式表示,特征图表示为p×q的矩阵,特征图的第m行第k列表示待测光谱数据的第m个频段的第k个特征的值,其中,p为待测光谱数据的频段数目,q为各个频段上提取的特征的数目,m为1至p中的任意一个正整数,k为1至q中的任意一个正整数;
相关性以相关性图的形式表示,相关性图表示为p×p的矩阵,相关性图的第i行第j列表示多个样本光谱数据的第i个频段与第j个频段的相关性,其中,p表示样本光谱数据的频段数目,样本光谱数据的频段数目大于等于待测光谱数据的频段数目;i和j为1至p中的任意一个正整数;多个样本光谱数据为一个预设水体类型的多个样本光谱数据。
在一些实施例中,预先训练得到预测模型,预测模型包括特征提取模块、加权模块以及预测模块,分别提取待测光谱数据在各个频段上的特征,得到各个频段的原始特征,包括:
将待测光谱数据输入特征提取模块,得到特征提取模块输出的各个频段的原始特征;
对各个频段的原始特征进行加权,得到第一频段的加权特征,包括:
将相关性和各个频段的原始特征输入加权模块,得到加权模块输出的各个频段的加权特征;
基于各个频段的加权特征,确定待测水体对应于预设水体类型的原始水质检测结果,包括:
将各个频段的加权特征输入预测模块,得到预测模块输出的待测水体对应于预设水体类型的原始水质检测结果。
在一些实施例中,上述获取模块81,具体用于:
获取在有补光的情况拍摄待测水体得到的光谱数据,作为原始光谱数据;
计算原始光谱数据各个频段光谱数据的均值;
计算各个频段的光谱数据与各个频段光谱数据的均值的比值,作为待测光谱数据。
本申请实施例还提供了一种电子设备,如图9所示,包括:
存储器91,用于存放计算机程序;
处理器92,用于执行存储器91上所存放的程序时,实现上述任一所述的水质检测方法。
并且上述电子设备还可以包括通信总线和/或通信接口,处理器92、通信接口、存储器91通过通信总线完成相互间的通信。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,PCI)总线或扩展工业标准结构(Extended IndustryStandardArchitecture,EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital SignalProcessor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本申请提供的又一实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述任一水质检测方法的步骤。
在本申请提供的又一实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例中任一水质检测方法。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者固态硬盘(Solid StateDisk,SSD)等。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置、电子设备、存储介质、计算机程序产品实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的较佳实施例,并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本申请的保护范围内。

Claims (7)

1.一种水质检测方法,其特征在于,所述方法包括:
获取待测水体的光谱数据,作为待测光谱数据;
针对每个预设水体类型,基于所述待测光谱数据,确定所述待测水体为所述预设水体类型的置信度;
分别提取所述待测光谱数据在各个频段上的特征,得到各个频段的原始特征;
针对每个所述预设水体类型,对各个频段的所述原始特征进行加权,得到各个频段的加权特征,其中,对所述原始特征进行加权的加权系数与各个频段和第一频段的相关性正相关,所述第一频段为所计算的加权特征所属的频段;其中,所述预设水体类型不同,相同频段的相关性不同;
基于各个频段的所述加权特征,确定所述待测水体对应于各所述预设水体类型的原始水质检测结果;
将所述待测水体对应于各所述预设水体类型的原始水质检测结果进行加权处理,得到目标水质检测结果;其中,对所述原始水质检测结果进行加权的加权系数与所述置信度正相关。
2.根据权利要求1所述的方法,其特征在于,所述加权特征为多维度特征,所述基于各个频段的所述加权特征,确定所述待测水体对应于各所述预设水体类型的原始水质检测结果,包括:
基于各个频段的所述加权特征,确定各特征维度的重要程度;
对各特征维度上的加权特征值进行加权,得到所述待测水体各个频段的二次加权特征;其中,对各特征维度上的加权特征值进行加权的加权系数与所述各特征维度的重要程度正相关;
基于各个频段的所述二次加权特征,确定所述待测水体对应于各所述预设水体类型的原始水质检测结果。
3.根据权利要求2所述的方法,其特征在于,所述基于各个频段的所述二次加权特征,确定所述待测水体对应于各所述预设水体类型的原始水质检测结果,包括:
将各个频段的所述二次加权特征与所述原始特征相加,作为所述待测水体的残差特征;
基于所述残差特征,确定所述待测水体对应于各所述预设水体类型的原始水质检测结果。
4.根据权利要求1所述的方法,其特征在于,所述各个频段的所述原始特征以特征图的形式表示,所述特征图表示为p×q的矩阵,所述特征图的第m行第k列表示所述待测光谱数据的第m个频段的第k个特征的值,其中,所述p为所述待测光谱数据的频段数目,所述q为各个频段上提取的特征的数目,所述m为1至p中的任意一个正整数,所述k为1至q中的任意一个正整数;
所述相关性以相关性图的形式表示,所述相关性图表示为p×p的矩阵,所述相关性图的第i行第j列表示多个样本光谱数据的第i个频段与第j个频段的相关性,其中,p表示所述样本光谱数据的频段数目,所述样本光谱数据的频段数目大于等于所述待测光谱数据的频段数目;所述i和j为1至p中的任意一个正整数;所述多个样本光谱数据为一个所述预设水体类型的多个样本光谱数据。
5.根据权利要求1所述的方法,其特征在于,预先训练得到预测模型,所述预测模型包括特征提取模块、加权模块以及预测模块,所述分别提取所述待测光谱数据在各个频段上的特征,得到各个频段的原始特征,包括:
将所述待测光谱数据输入所述特征提取模块,得到所述特征提取模块输出的各个频段的所述原始特征;
所述对各个频段的所述原始特征进行加权,得到各个频段的加权特征,包括:
将所述相关性和各个频段的所述原始特征输入所述加权模块,得到所述加权模块输出的各个频段的所述加权特征;
所述基于各个频段的所述加权特征,确定所述待测水体对应于所述预设水体类型的原始水质检测结果,包括:
将各个频段的所述加权特征输入所述预测模块,得到所述预测模块输出的所述待测水体对应于所述预设水体类型的原始水质检测结果。
6.根据权利要求1所述的方法,其特征在于,所述获取待测水体的光谱数据,作为待测光谱数据,包括:
获取在有补光的情况拍摄待测水体得到的光谱数据,作为原始光谱数据;
计算所述原始光谱数据各个频段光谱数据的均值;
计算所述各个频段的光谱数据与所述各个频段光谱数据的均值的比值,作为待测光谱数据。
7.一种水质检测装置,其特征在于,所述装置包括:
获取模块:用于获取待测水体的光谱数据,作为待测光谱数据;
第一确定模块:用于针对每个预设水体类型,基于所述待测光谱数据,确定所述待测水体为所述预设水体类型的置信度;
特征提取模块:用于分别提取所述待测光谱数据在各个频段上的特征,得到各个频段的原始特征;
第一加权模块:用于针对每个所述预设水体类型,对各个频段的所述原始特征进行加权,得到各个频段的加权特征,其中,对所述原始特征进行加权的加权系数与各个频段和第一频段的相关性正相关,所述第一频段为所计算的加权特征所属的频段;其中,所述预设水体类型不同,相同频段的相关性不同;
第二确定模块:用于基于各个频段的所述加权特征,确定所述待测水体对应于各所述预设水体类型的原始水质检测结果;
第二加权模块:用于将所述待测水体对应于各所述预设水体类型的原始水质检测结果进行加权处理,得到目标水质检测结果;其中,对所述原始水质检测结果进行加权的加权系数与所述置信度正相关。
CN202410041346.XA 2024-01-11 2024-01-11 水质检测方法和装置 Active CN117557917B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410041346.XA CN117557917B (zh) 2024-01-11 2024-01-11 水质检测方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410041346.XA CN117557917B (zh) 2024-01-11 2024-01-11 水质检测方法和装置

Publications (2)

Publication Number Publication Date
CN117557917A CN117557917A (zh) 2024-02-13
CN117557917B true CN117557917B (zh) 2024-05-03

Family

ID=89823663

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410041346.XA Active CN117557917B (zh) 2024-01-11 2024-01-11 水质检测方法和装置

Country Status (1)

Country Link
CN (1) CN117557917B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09159606A (ja) * 1995-07-31 1997-06-20 Instrumentation Metrics Inc 液体相関分光測定法
CN1779482A (zh) * 2004-11-26 2006-05-31 中国船舶重工集团公司第七一五研究所 水声超宽带组合声阵与发射的方法及其装置
CN113049500A (zh) * 2021-03-19 2021-06-29 杭州海康威视数字技术股份有限公司 水质检测模型训练和水质检测方法、电子设备及存储介质
CN113160183A (zh) * 2021-04-26 2021-07-23 山东深蓝智谱数字科技有限公司 一种高光谱数据处理方法、设备及介质
CN113310909A (zh) * 2021-05-14 2021-08-27 山东深蓝智谱数字科技有限公司 一种基于高光谱的水质测定方法及设备
CN113358224A (zh) * 2021-06-15 2021-09-07 杭州海康威视数字技术股份有限公司 一种光谱反射率检测方法及系统
CN113537239A (zh) * 2021-07-08 2021-10-22 宁波大学 一种基于全局关系感知注意力的高光谱图像波段选择方法
CN113567357A (zh) * 2021-07-26 2021-10-29 杭州海康威视数字技术股份有限公司 一种光谱数据的融合方法、以及装置
CN113916847A (zh) * 2021-07-20 2022-01-11 江苏省扬州环境监测中心 一种基于光谱技术和线性支持向量算法的水质检测方法
CN115424032A (zh) * 2022-07-27 2022-12-02 浙江大华技术股份有限公司 目标检测模型训练方法、设备及计算机可读存储介质
CN115963066A (zh) * 2022-12-30 2023-04-14 江苏海洋大学 一种陆基鱼塘养殖水质光谱检测方法、装置及计算机设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NO20230396A1 (en) * 2020-10-06 2023-04-11 Baker Hughes Oilfield Operations Llc Data-driven solution for inverse elemental modeling

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09159606A (ja) * 1995-07-31 1997-06-20 Instrumentation Metrics Inc 液体相関分光測定法
CN1779482A (zh) * 2004-11-26 2006-05-31 中国船舶重工集团公司第七一五研究所 水声超宽带组合声阵与发射的方法及其装置
CN113049500A (zh) * 2021-03-19 2021-06-29 杭州海康威视数字技术股份有限公司 水质检测模型训练和水质检测方法、电子设备及存储介质
CN113160183A (zh) * 2021-04-26 2021-07-23 山东深蓝智谱数字科技有限公司 一种高光谱数据处理方法、设备及介质
CN113310909A (zh) * 2021-05-14 2021-08-27 山东深蓝智谱数字科技有限公司 一种基于高光谱的水质测定方法及设备
CN113358224A (zh) * 2021-06-15 2021-09-07 杭州海康威视数字技术股份有限公司 一种光谱反射率检测方法及系统
CN113537239A (zh) * 2021-07-08 2021-10-22 宁波大学 一种基于全局关系感知注意力的高光谱图像波段选择方法
CN113916847A (zh) * 2021-07-20 2022-01-11 江苏省扬州环境监测中心 一种基于光谱技术和线性支持向量算法的水质检测方法
CN113567357A (zh) * 2021-07-26 2021-10-29 杭州海康威视数字技术股份有限公司 一种光谱数据的融合方法、以及装置
CN115424032A (zh) * 2022-07-27 2022-12-02 浙江大华技术股份有限公司 目标检测模型训练方法、设备及计算机可读存储介质
CN115963066A (zh) * 2022-12-30 2023-04-14 江苏海洋大学 一种陆基鱼塘养殖水质光谱检测方法、装置及计算机设备

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Bed level changes in the surf zone during post-storm beach recovery;Pengpeng Hu等;fronties in marine science;20230823;第1-18页 *
光谱二阶微分波动指数的河道水质类型识别方法研究;李澜;田华;季铁梅;巩彩兰;胡勇;王歆晖;何志杰;;光谱学与光谱分析;20200515(第05期);全文 *
基于主成分分析和模糊综合评价的地下水水质评价――以大连市为例;薛伟锋;褚莹倩;吕莹;侯辰侠;沈葆真;孙德栋;孙鹏;;环境保护科学;20200930(第05期);全文 *
紫外 可见光水质参数在线监测技术研究进展;陈洁等;自然资源遥感;20211231;第1-9页 *

Also Published As

Publication number Publication date
CN117557917A (zh) 2024-02-13

Similar Documents

Publication Publication Date Title
CN110675623B (zh) 基于混合深度学习的短时交通流量预测方法、系统、装置
CN109376574B (zh) 基于cnn的可拒判雷达hrrp目标识别方法
Wang Identification of crop diseases and insect pests based on deep learning
CN110532932B (zh) 一种多分量雷达信号脉内调制方式识别方法
CN113049500B (zh) 水质检测模型训练和水质检测方法、电子设备及存储介质
CN113066065B (zh) 无参考图像质量检测方法、系统、终端及介质
CN108319672A (zh) 基于云计算的移动终端不良信息过滤方法及系统
CN110018294B (zh) 土壤重金属检测值校正方法、装置和计算机存储介质
CN115546608A (zh) 一种无人机数据链电磁干扰分类和威胁评估方法
CN117633588A (zh) 基于频谱加权和残差卷积神经网络的管道泄漏定位方法
CN117557917B (zh) 水质检测方法和装置
CN113269706B (zh) 激光雷达图像质量评价方法、装置、设备及存储介质
CN113567357B (zh) 一种光谱数据的融合方法、以及装置
CN116662929A (zh) 雷达信号识别模型的训练方法以及雷达信号识别方法
CN115456957B (zh) 一种全尺度特征聚合的遥感影像变化检测的方法
CN116718890A (zh) 电路故障的检测方法、装置及计算机可读存储介质
CN116030300A (zh) 一种用于零样本sar目标识别的渐进式域自适应识别方法
CN110751201A (zh) 基于纹理特征变换的sar装备任务失效成因推理方法
CN110852300A (zh) 地物分类的方法、地图的绘制方法、装置及电子设备
CN116167936A (zh) 一种用于洪水监测的山体阴影去除方法及装置
CN113253196B (zh) 一种多信号测向方法、装置和电子设备
CN113989632A (zh) 一种遥感图像桥梁检测方法、装置、电子设备及存储介质
Favenza et al. A machine learning approach to GNSS scintillation detection: Automatic soft inspection of the events
Fu et al. Speech quality objective assessment using neural network
CN113361610B (zh) 葡萄酒产地智能识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant