CN108680552A - 基于信息熵的海洋光学溶解氧传感器标定数据融合算法 - Google Patents

基于信息熵的海洋光学溶解氧传感器标定数据融合算法 Download PDF

Info

Publication number
CN108680552A
CN108680552A CN201810767442.7A CN201810767442A CN108680552A CN 108680552 A CN108680552 A CN 108680552A CN 201810767442 A CN201810767442 A CN 201810767442A CN 108680552 A CN108680552 A CN 108680552A
Authority
CN
China
Prior art keywords
data
dissolved oxygen
comentropy
oxygen sensor
nominal data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810767442.7A
Other languages
English (en)
Inventor
高皜
李正宝
蔡玉龙
张晓楠
曲君乐
刘杰
陈杰
姚贵鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oceanographic Instrumentation Research Institute Shandong Academy of Sciences
Institute of Oceanographic Instrumentation Shandong Academy of Sciences
Original Assignee
Oceanographic Instrumentation Research Institute Shandong Academy of Sciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oceanographic Instrumentation Research Institute Shandong Academy of Sciences filed Critical Oceanographic Instrumentation Research Institute Shandong Academy of Sciences
Priority to CN201810767442.7A priority Critical patent/CN108680552A/zh
Publication of CN108680552A publication Critical patent/CN108680552A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/6428Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes"
    • G01N21/643Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes" non-biological material
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/6428Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes"
    • G01N2021/6432Quenching

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Immunology (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Biochemistry (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Chemical Kinetics & Catalysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

本发明属于信号处理技术领域,涉及海洋光学溶解氧传感器标定数据融合算法。基于信息熵的海洋光学溶解氧传感器标定数据融合算法,主要步骤包括:1、利用MEM方法估计获得离散标定数据的概率分布;2、根据求得的标定实验测量数据的不确定度,推定有效的置信区间;依托该置信区间,进行粗差辨别和剔除;3、针对有效标定数据,开展基于信息熵的定权归一和数据融合。本发明的基于信息熵的海洋光学溶解氧传感器标定数据融合算法,解决了国产光学溶解氧传感器标定过程中的单传感器测量数据处理的难题。该算法能够最大程度克服测量过程主观因素在数据处理中的影响,充分考虑了各种不同样本数据的非线性、不确定性成分,能够有效提升测量数据的可靠性和精确度。

Description

基于信息熵的海洋光学溶解氧传感器标定数据融合算法
技术领域
本发明属于信号处理技术领域,涉及海洋光学溶解氧传感器标定数据融合算法。
背景技术
海水溶解氧是维持海洋生物生存的重要物质,是评价水体受污染情况的重要指标。快速 准确、长期连续地监测水体溶解氧浓度对于海洋环境保护、水质生态危机预报预警、海岸带 综合修复状况评价以及科学指导水产养殖都具有重要意义。现有的基于荧光猝灭原理的光学 溶解氧传感器,尤其是国产传感器存在连续工作稳定性可靠性差、易污染、易生物附着、测 量数据易漂移等问题。究其原因,在于传感器测量系统中,由于传感器精度、传输误差、计 算误差和人为干扰等因素的影响,测量数据中通常含有不确定性,需要对测量数据进行有效 处理。
目前广泛使用的方法是信息融合,也称数据融合,主要思想是通过获取多组传感器或多 次测量的信息,进行统筹考虑、整合处理,从而得到比独立传感器或单独一次测量值更可信 的数据,国内外研究人员针对类似的多传感器数据融合算法开展了大量研究。在实际工程应 用的各种测控系统中,单传感器测量或多传感器独立分布、组网测量的方式仍然广泛使用。 然而,针对单传感器信息融合问题的研究要少的多。根据统计理论分批估计的方法,含有测 量数据符合正态分布的主观假设,具有一定局限性。因此,通过开展单传感器测量系统数据 融合算法的研究来提高测量数据准确性和可靠性,仍具有十分重要的意义。
发明内容
本发明的目的就是针对现有技术中存在的不足,在前期研制的具有自主知识产权的 HJY1-1型光学溶解氧传感器的基础上,从C.E.Shannon提出的信息熵概念出发,针对该型 溶解氧传感器标定数据融合问题,提出了一种基于信息熵的单传感器融合算法,并结合光学 溶解氧传感器标定实验,对算法有效性作出评估。
本发明的基于信息熵的海洋光学溶解氧传感器标定数据融合算法,主要步骤包括:1、利 用MEM方法估计获得离散标定数据的概率分布;2、根据求得的标定实验测量数据的不确定度, 推定有效的置信区间;依托该置信区间,进行粗差辨别和剔除;3、针对有效标定数据,开展 基于信息熵的定权归一和数据融合。
所述的步骤1,离散标定数据的概率分布通过以下方法计算出,离散随机变量M的最大 离散熵为:
式中,P(mi)为每组溶解氧浓度梯度处的测量数据样本的概率,其满足约束条件为:
式中,<fn(mi)>为若干函数fn(mi)的期望值,N为期望函数的个数;
为计算该概率分布及对应的最大熵,可运用拉格朗日乘数法,计算公式如(3)、(4)所 示:
所述的步骤2,在获得最大离散熵概率分布的基础上,估计出测量列的概率密度函数为 P(mi),故离散测量列的不确定度有:
置信区间为再根据该置信区间来判别测量数据中是否含有粗大误差,在该 置信区间之外的数据被视为含有粗大误差,从测量列中剔除,构造新的测量列参与数据融合。
所述的步骤3,利用步骤1中获得的最大熵分布,计算每组样本数据的自信息量,定义 信息比率描述单个测量数据在总体测量数据中的不确定性程度,有:
式中,I(mi)=-logP(mi);
其次,规定数据融合权系数,进行统一归一化处理,有:
最后,针对剔除粗差后的有效数据,进行数据融合:
本发明的基于离散信息熵的标定数据融合算法,解决了国产光学溶解氧传感器标定过程 中的单传感器测量数据处理的难题。该算法能够最大程度克服测量过程主观因素在数据处理 中的影响,充分考虑了各种不同样本数据的非线性、不确定性成分,能够有效提升测量数据 的可靠性和精确度。
附图说明
图1是本发明的基于信息熵的海洋光学溶解氧传感器标定数据融合算法流程图;
图2是采用光学溶解氧传感器对本发明的算法进行验证的标定过程流程图;
图3是测量数据的自信息量和概率分布曲线。
具体实施方式
下面结合具体实施例对本发明的基于信息熵的海洋光学溶解氧传感器标定数据融合算法 进行详细的阐述。
本发明在前期研制的具有自主知识产权的HJY1-1型光学溶解氧传感器(专利号:2015106752707)和新型光学溶解氧标定装置(专利号:2017207058996)的基础上,从C.E.Shannon提出的信息熵概念出发,针对该型溶解氧传感器标定数据融合问题,提出了一种基于信息熵的单传感器融合算法,并结合光学溶解氧传感器标定实验,对该算法有效性作出评 估。算法步骤流程如图1所示,具体内容如下所述。
一、基于最大熵方法的样本概率分布估计
最大熵方法(Maximum Entropy Method,MEM)的中心思想是:在仅能获知局部信息的条 件下对开展系统状态估计时,所选择的合理状态应为信息熵值最大且符合约束条件的那组, 它是现有条件下能作出的唯一公正的选择,所有选择的其他状态都代表改变了原有假设或添 加了其他约束,无法做到不偏不倚。因次,对于单传感器测量控制系统而言,如果条件只允 许获得测量数据的样本情况而不具备充足的理由确定出测量数据的解析分布函数,则可以通 过MEM方法来估计确定出最不偏不倚、不带任何倾向性的测量数据概率分布。
对于光学溶解氧传感器标定实验,假设每组浓度梯度处,水体溶解氧含量稳定后,待标 定传感器对溶解氧浓度参数进行k次独立重复测量,获得的样本数据表示为m1,m2,L,mn。由 于实际标定实验中,对每组溶解氧浓度梯度处的测量为有限次,因此,获得的测量列是一列 离散值。由C.E.Shannon信息熵定义,计算测量列最大离散熵来估计样本数据的概率分布 形式。
离散随机变量M的最大离散熵为:
式中,P(mi)为每组溶解氧浓度梯度处的测量数据样本的概率,其满足约束条件为:
式中,<fn(mi)>为若干函数fn(mi)的期望值,N为期望函数的个数。
为计算该概率分布及对应的最大熵,可运用拉格朗日乘数法,计算公式如(3)、(4)所 示。
对于光学溶解氧传感器标定实验这类单传感器测量情况下,在已获知测量样本数据的条 件下,可选择离散测量数据列的期望和方差作为期望函数,带入计算。
二、基于最大离散熵的误差剔除
当单传感器测量系统获得的测量数据较少或测量次数不多时,样本数据无法满足统计规 律,因此,不能获得测量值的概率分布。传统的、建立在数理统计基础上的粗差判别准则, 将不再适用。本发明在获得测量数据最大离散熵的基础上,估计其概率分布,进而计算出离 散测量数据的不确定度,在根据由此推定的有效置信区间进行粗差的辨别和剔除。
在获得最大离散熵概率分布的基础上,估计出测量列的概率密度函数为P(mi),故离散 测量列的不确定度有:
置信区间为再根据该置信区间来判别测量数据中是否含有粗大误差,在该 置信区间之外的数据被视为含有粗大误差,从测量列中剔除,构造新的测量列参与数据融合。
三、基于信息熵的数据融合
根据C.E.Shannon信息熵定义可知,信息熵是信息量的度量,是衡量不确定性程度的 指标。根据测量样本数据的不确定性大小来分配不同的权系数,进行数据融合,能够有效削 弱融合结果对不确定性因素的敏感程度。因此,基于信息熵的数据融合理论,可以用来进行 单传感器测量数据的修正处理。
对于光学溶解氧传感器标定实验这类单传感器独立重复观测,每一个测量数据mi所携带 的信息量可以用自信息量I(mi)来描述。而测量列总体的平局不确定度可以用信息熵来描述。 因此,可以用信息比率,即自信息量与信息熵的比值,来描述单个测量样本数据在总体测量 数据中的不确定性程度。显然,在工程实际应用中,每个单传感器测量数据,其越是接近真 值,发生的概率越大,对应的不确定性越小,自信息量越小;相反,测量数据越是偏离真值, 发生的概率越小,其不确定性越大,自信息量越大。由此可知,测量数据自信息量与融合相 应的权系数呈反比关系。
综上分析,本发明设计的适用于传感器标定数据融合的算法步骤如下:
首先,利用MEM估计测量数据的最大熵分布,计算每组样本数据的自信息量,定义信息 比率描述单个测量数据在总体测量数据中的不确定性程度,有:
式中,I(mi)=-logP(mi)。
其次,规定数据融合权系数,进行统一归一化处理,有:
最后,针对剔除粗差后的有效数据,进行数据融合:
四、实验验证
以HJY1-1型光学溶解氧传感器标定实验为实例,对本发明提出的算法有效性进行评估。 整个标定过程,依托新型光学溶解氧传感器标定装置、使用编号为101的HJY1-1型原位光学 溶解氧传感器,按照如图2所示的流程进行。
针对每一组设定温度下的每一处溶解氧浓度梯度,均可以获得如表1所示的一组测量样 本数据。表中数据表示用同一款HJY1-1型光学溶解氧传感器在温度设定为2℃时,同一水体 溶解氧含量情况下,连续进行多次采样,获得的8个溶解氧浓度测量样本数据,采用国标碘 量法(GB7489-87)获得的测量结果为9.37mg/L。
表1光学溶解氧传感器在设定温度及浓度情况下8个样本数据
选取测量样本数据的绝对误差和均方误差作为衡量数据融合效果的精度指标。上表中,8 组测量数据的期望和方差分别为:
离散测量数据样本概率分布满足的约束条件,有:
运用MATLAB软件,根据最大熵方法,按照拉格朗日乘数法可以计算得到拉格朗日系数, 分别为:-4.69、0.69、5.97,进而可得:
该组离散测量数据概率分布为:
P(mi)=exp[4.69-0.69mi-5.97(mi-9.39)2]
最大离散熵为:
Hmax=1.8199
测量数据自信息量为:
I(mi)=-[4.69-0.69mi-5.97(mi-9.41)2]
表1中8组测量数据分别的对应的概率和自信息量如表2所示。
表2该组8个测量数据的概率和自信息量
结合表中数据,可得8组样本最大熵分布和自信息量分布曲线图,如图3所示。从图中 可以看出,距离真值(即国标碘量法测定溶解氧浓度)越远,其自信息量越大、概率越小;距离真值越近,自信息量越小、概率越大。
由测量数据的最大离散熵概率分布,可得测量的不确定度为:
故可以推定,该组测量数据的有效置信区间为:
依据该有效置信区间,进行粗大误差判别。经过判断,显然,该组测量数据8个样本中, 第3,5,7等3个数据含有粗差,需从测量列中剔除。剩余的5个有效测量数据,按照前文提 出的数据融合算法,在获得自信息量的基础上,匹配融合权系数,参与数据融合运算。融合 算法运算结果,该组测量样本的数据融合结果是为9.36mg/L,具体运算数据如表3所示。
表3该组测量数据5个有效样本数据融合权系数
针对该组测量数据,选取除本发明方法外的其余多种算法,进行数据融合计算。统一将 国标碘量法的测点结果9.37mg/L作为真值,选取绝对误差和均方误差作为判定融合效果的精 度指标,则各种方法融合结果如下表所示。
表4 5种算法数据融合结果对比
从上表中不难看出,与水体溶解氧浓度测量的国标碘量法测量结果9.37mg/L对比,上述 所有算法中,本发明提出的基于信息熵的数据融合算法绝对误差最小,融合结果的均方误差 也大大小于其余算法,可以说,该算法是一种实用、有效的光学溶解氧传感器数据融合算法, 能够明显提高传感器整体的工作可靠性和测量数据稳定性。另外,该算法的相关探索,对于 多传感器数据融合与测量信息论的研究,均具有一定的参考意义。

Claims (4)

1.基于信息熵的海洋光学溶解氧传感器标定数据融合算法,其特征在于:主要步骤包括:(1)、利用MEM方法估计获得离散标定数据的概率分布;(2)、根据求得的标定实验测量数据的不确定度,推定有效的置信区间;依托该置信区间,进行粗差辨别和剔除;(3)、针对有效标定数据,开展基于信息熵的定权归一和数据融合。
2.根据权利要求1所述的基于信息熵的海洋光学溶解氧传感器标定数据融合算法,其特征在于:所述的步骤1,离散标定数据的概率分布通过以下方法计算出,离散随机变量M的最大离散熵为:
式中,P(mi)为每组溶解氧浓度梯度处的测量数据样本的概率,其满足约束条件为:
式中,<fn(mi)>为若干函数fn(mi)的期望值,N为期望函数的个数;
为计算该概率分布及对应的最大熵,可运用拉格朗日乘数法,计算公式如(3)、(4)所示:
3.根据权利要求2所述的基于信息熵的海洋光学溶解氧传感器标定数据融合算法,其特征在于:所述的步骤2,在获得最大离散熵概率分布的基础上,估计出测量列的概率密度函数为P(mi),故离散测量列的不确定度有:
置信区间为再根据该置信区间来判别测量数据中是否含有粗大误差,在该置信区间之外的数据被视为含有粗大误差,从测量列中剔除,构造新的测量列参与数据融合。
4.根据权利要求3所述的基于信息熵的海洋光学溶解氧传感器标定数据融合算法,其特征在于:所述的步骤3,利用步骤1中获得的最大熵分布,计算每组样本数据的自信息量,定义信息比率描述单个测量数据在总体测量数据中的不确定性程度,有:
式中,I(mi)=-logP(mi);
其次,规定数据融合权系数,进行统一归一化处理,有:
最后,针对剔除粗差后的有效数据,进行数据融合:
CN201810767442.7A 2018-07-13 2018-07-13 基于信息熵的海洋光学溶解氧传感器标定数据融合算法 Pending CN108680552A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810767442.7A CN108680552A (zh) 2018-07-13 2018-07-13 基于信息熵的海洋光学溶解氧传感器标定数据融合算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810767442.7A CN108680552A (zh) 2018-07-13 2018-07-13 基于信息熵的海洋光学溶解氧传感器标定数据融合算法

Publications (1)

Publication Number Publication Date
CN108680552A true CN108680552A (zh) 2018-10-19

Family

ID=63813810

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810767442.7A Pending CN108680552A (zh) 2018-07-13 2018-07-13 基于信息熵的海洋光学溶解氧传感器标定数据融合算法

Country Status (1)

Country Link
CN (1) CN108680552A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112344979A (zh) * 2019-08-07 2021-02-09 杭州海康威视数字技术股份有限公司 传感器的检出稳定性调节方法及装置
CN114911789A (zh) * 2022-07-15 2022-08-16 武汉大学 基于雷视多传感器数据的水位数据融合方法及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104101751A (zh) * 2014-07-03 2014-10-15 电子科技大学 基于信息熵的数字存储示波器垂直分辨率提高方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104101751A (zh) * 2014-07-03 2014-10-15 电子科技大学 基于信息熵的数字存储示波器垂直分辨率提高方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112344979A (zh) * 2019-08-07 2021-02-09 杭州海康威视数字技术股份有限公司 传感器的检出稳定性调节方法及装置
CN114911789A (zh) * 2022-07-15 2022-08-16 武汉大学 基于雷视多传感器数据的水位数据融合方法及装置

Similar Documents

Publication Publication Date Title
CN101793887B (zh) 大菱鲆养殖水质评价的模糊神经网络专家系统的构建方法
Whitlock The heritability of fluctuating asymmetry and the genetic control of developmental stability
CN109001136B (zh) 一种基于紫外—可见光吸收光谱的cod在线监测方法
Chong et al. Application of multiple linear regression, central composite design, and ANFIS models in dye concentration measurement and prediction using plastic optical fiber sensor
CN108680552A (zh) 基于信息熵的海洋光学溶解氧传感器标定数据融合算法
CN109165504A (zh) 一种基于对抗生成网络的电力系统虚假数据攻击识别方法
CN106841075A (zh) 基于神经网络的cod紫外光谱在线检测优化方法
CN109932496A (zh) 一种基于多参数耦合交叉的水质在线监测方法和系统
CN104776827B (zh) Gps高程异常数据的粗差探测方法
CN106770620B (zh) 用溅射深度剖析技术确定薄膜中元素成分深度分布的方法
CN109190865A (zh) 贝叶斯网络水质指标评价方法、水域水质等级评价方法、水质指标预测方法
CN105445344A (zh) 一种水环境重金属检测系统的温度补偿方法
CN107312850A (zh) 一种pcr无效扩增的检测方法
CN106557652A (zh) 判断样品检测数据可疑值的方法
CN106093326B (zh) 一种近岸海水pH值的检测方法
CN106202926B (zh) 基于多节点协同探测的空间系统偏差配准优化方法
CN111929262A (zh) 水质cod预测方法
CN115127965B (zh) 一种混杂颗粒系粒径分布反演方法与系统
CN109101759A (zh) 一种基于正逆响应面法的参数识别方法
CN110413949A (zh) 一种呈递增或递减变化趋势的数据处理方法
CN107941723A (zh) 一种cod的双光源测量装置及方法
Elskens et al. Statistical process control in assessing production and dissolution rates of biogenic silica in marine environments
Chen et al. Criteria of determining the P/T upper limits of GR&R in MSA
Adamchuk et al. On-the-go mapping of soil pH using antimony electrodes
CN114543711B (zh) 一种气体距离测量系统传感数据处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181019