CN116881646A - 一种甜菊糖苷生产监测数据管理系统 - Google Patents

一种甜菊糖苷生产监测数据管理系统 Download PDF

Info

Publication number
CN116881646A
CN116881646A CN202311140537.3A CN202311140537A CN116881646A CN 116881646 A CN116881646 A CN 116881646A CN 202311140537 A CN202311140537 A CN 202311140537A CN 116881646 A CN116881646 A CN 116881646A
Authority
CN
China
Prior art keywords
concentration data
characteristic
data
limit value
abnormal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311140537.3A
Other languages
English (en)
Other versions
CN116881646B (zh
Inventor
郑越
刘夫锋
苏延营
郑潇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Aochuang Intelligent Technology Co ltd
Zoucheng Aojing Stevia Glycoside Biological Research Institute
Shandong Aojing Biological Technology Co ltd
Original Assignee
Shandong Aochuang Intelligent Technology Co ltd
Zoucheng Aojing Stevia Glycoside Biological Research Institute
Shandong Aojing Biological Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Aochuang Intelligent Technology Co ltd, Zoucheng Aojing Stevia Glycoside Biological Research Institute, Shandong Aojing Biological Technology Co ltd filed Critical Shandong Aochuang Intelligent Technology Co ltd
Priority to CN202311140537.3A priority Critical patent/CN116881646B/zh
Publication of CN116881646A publication Critical patent/CN116881646A/zh
Application granted granted Critical
Publication of CN116881646B publication Critical patent/CN116881646B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/22Fuels; Explosives
    • G01N33/225Gaseous fuels, e.g. natural gas
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/10Pre-processing; Data cleansing
    • G06F18/15Statistical pre-processing, e.g. techniques for normalisation or restoring missing data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2123/00Data types
    • G06F2123/02Data types in the time domain, e.g. time-series data
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Food Science & Technology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Medicinal Chemistry (AREA)
  • Oil, Petroleum & Natural Gas (AREA)
  • General Chemical & Material Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Chemical Kinetics & Catalysis (AREA)
  • Automatic Analysis And Handling Materials Therefor (AREA)

Abstract

本发明涉及异常数据检测技术领域,具体涉及一种甜菊糖苷生产监测数据管理系统。该系统包括存储器和处理器,所述处理器执行所述存储器存储的计算机程序,以实现如下步骤:基于甜菊糖苷生产过程中所有采集时刻的乙醇浓度数据构建乙醇浓度数据序列,对乙醇浓度数据序列进行分解获得下限值和上限值,进而筛选出疑似异常浓度数据;根据各疑似异常浓度数据的邻域内疑似异常浓度数据的数量筛选特征浓度数据;根据乙醇浓度数据序列中各特征浓度数据的邻域内疑似异常浓度数据、特征浓度数据、下限值以及上限值,得到对应的第一可疑程度和第二可疑程度,进而获得异常浓度数据。本发明提高了甜菊糖苷生产过程中乙醇含量的异常检测结果的准确度。

Description

一种甜菊糖苷生产监测数据管理系统
技术领域
本发明涉及异常数据检测技术领域,具体涉及一种甜菊糖苷生产监测数据管理系统。
背景技术
甜菊糖苷是从菊科草本植物甜叶菊叶子中精提得到的一种天然糖苷,目前对于甜菊糖苷的提取方法有很多,其中采用乙醇提取的方式可以实现甜叶菊绿原酸和甜菊糖苷的同步提取;而为了保证提取分离的效果,需要在生产过程中严格地控制各工段乙醇溶液的浓度。在甜菊糖苷的生产过程中,乙醇作为重要的溶剂和反应物几乎参与到甜菊糖苷的各个生产加工阶段当中,不同阶段对于乙醇浓度含量的需求各不相同,乙醇含量异常会对成品的质量产生影响,增加成品的不合格率,因此需要对甜菊糖苷生产过程中各阶段的乙醇含量进行监测,判断是否出现异常。
对于甜菊糖苷生产过程中乙醇含量浓度数据的异常监测传统方式往往使用STL时序分解得到残差项,并基于箱线图准则得到残差的上限和下限,将位于两界限外的数据点视为异常点,该方法对于突变点即数据差异相较于数据集中普遍存在的数据点较大的数据获取敏感,但由于甜菊糖苷生产过程中乙醇的浓度含量是随着生产加工阶段的交替变换而逐步递增或递减的,因此异常值往往并不存在突变特征,反而存在的噪声数据干扰其突变特征明显,往往会被视为乙醇含量异常的数据点,因此该方法对于甜菊糖苷生产过程中乙醇含量的异常检测具有一定的局限性,会导致甜菊糖苷生产过程中乙醇含量的异常检测结果的准确度较低。
发明内容
为了解决现有方法存在的甜菊糖苷生产过程中乙醇含量的异常检测结果的准确度较低的问题,本发明的目的在于提供一种甜菊糖苷生产监测数据管理系统,所采用的技术方案具体如下:
本发明提供了一种甜菊糖苷生产监测数据管理系统,包括存储器和处理器,所述处理器执行所述存储器存储的计算机程序,以实现如下步骤:
获取甜菊糖苷生产过程中各采集时刻的乙醇浓度数据,基于所有采集时刻的乙醇浓度数据构建乙醇浓度数据序列;
对所述乙醇浓度数据序列进行分解获得残差项,基于所述残差项确定下限值和上限值,基于下限值和上限值筛选所述乙醇浓度数据序列中的疑似异常浓度数据;根据所述乙醇浓度数据序列中各疑似异常浓度数据的邻域内疑似异常浓度数据的数量,筛选特征浓度数据;
根据所述乙醇浓度数据序列中各特征浓度数据的邻域内疑似异常浓度数据与特征浓度数据的数量差异,得到各特征浓度数据对应的第一可疑程度;根据所述乙醇浓度数据序列中各特征浓度数据的邻域内疑似异常浓度数据与所对应的下限值或上限值之间的差异,以及各特征浓度数据的邻域内特征浓度数据与所对应的下限值或上限值之间的差异,得到各特征浓度数据对应的第二可疑程度;
基于所述第一可疑程度和所述第二可疑程度,获得异常浓度数据。
优选的,所述根据所述乙醇浓度数据序列中各疑似异常浓度数据的邻域内疑似异常浓度数据的数量,筛选特征浓度数据,包括:
对于所述乙醇浓度数据序列中的任一疑似异常浓度数据:计算该疑似异常浓度数据的邻域内疑似异常浓度数据的数量与该疑似异常浓度数据的邻域内乙醇浓度数据的总数量的比值,对所述比值进行负相关归一化,将归一化结果确定为该疑似异常浓度数据的突变程度;
将突变程度小于预设突变程度阈值的疑似异常浓度数据确定为特征浓度数据。
优选的,所述根据所述乙醇浓度数据序列中各特征浓度数据的邻域内疑似异常浓度数据与特征浓度数据的数量差异,得到各特征浓度数据对应的第一可疑程度,包括:
对于任一特征浓度数据:
将该特征浓度数据的邻域内疑似异常浓度数据的数量记为第一数量;将该特征浓度数据的邻域内特征浓度数据的数量记为第二数量;
将所述第一数量与所述第二数量的差值的绝对值记为第一差异,对所述第一差异进行负相关归一化获得该特征浓度数据对应的第一可疑程度。
优选的,所述根据所述乙醇浓度数据序列中各特征浓度数据的邻域内疑似异常浓度数据与所对应的下限值或上限值之间的差异,以及各特征浓度数据的邻域内特征浓度数据与所对应的下限值或上限值之间的差异,得到各特征浓度数据对应的第二可疑程度,包括:
对于任一特征浓度数据:
将该特征浓度数据的邻域内各疑似异常数据与其对应的特征值之间的差异,记为该特征浓度数据的邻域内各疑似异常数据对应的第二差异;将该特征浓度数据的邻域内各特征浓度数据与其对应的特征值之间的差异,记为该特征浓度数据的邻域内各特征浓度数据对应的第三差异;根据所述第二差异和所述第三差异,得到该特征浓度数据对应的第二可疑程度;
其中,疑似异常数据对应的特征值的获取方法为:若疑似异常数据小于所述下限值,则将所述下限值作为疑似异常数据对应的特征值;若疑似异常数据大于所述上限值,则将所述上限值作为疑似异常数据对应的特征值;
特征浓度数据对应的特征值的获取方法为:若特征浓度数据小于所述下限值,则将所述下限值作为特征浓度数据对应的特征值;若特征浓度数据大于所述上限值,则将所述上限值作为特征浓度数据对应的特征值。
优选的,根据所述第二差异和所述第三差异,得到该特征浓度数据对应的第二可疑程度,包括:
将该特征浓度数据的邻域内所有疑似异常数据对应的第二差异的均值记为第一均值;将该特征浓度数据的邻域内所有特征浓度数据对应的第三差异的均值记为第二均值;
对所述第一均值与所述第二均值之间的差值绝对值进行负相关归一化,获得该特征浓度数据对应的第二可疑程度。
优选的,所述基于所述第一可疑程度和所述第二可疑程度,获得异常浓度数据,包括:
对于任一特征浓度数据:将特征浓度数据对应的第一可疑程度和预设第一权重的乘积记为第一指标,将特征浓度数据对应的第二可疑程度和预设第二权重的乘积记为第二指标;将所述第一指标与所述第二指标的和值确定为特征浓度数据的异常程度;
判断各特征浓度数据的异常程度是否大于或等于预设异常程度阈值,若大于或等于,则将对应特征浓度数据确定为异常浓度数据。
优选的,所述基于下限值和上限值筛选所述乙醇浓度数据序列中的疑似异常浓度数据,包括:
将所述乙醇浓度数据序列中小于下限值或大于上限值的乙醇浓度数据,确定为疑似异常浓度数据。
本发明至少具有如下有益效果:
本发明首先对甜菊糖苷生产过程中的乙醇浓度数据进行了分解获得了残差值,基于残差值确定了下限值和上限值,进而对甜菊糖苷生产过程中的乙醇浓度数据进行了初步筛选,筛选出了疑似异常浓度数据,又结合每个疑似异常浓度数据时序上邻近的疑似异常浓度数据的数量,从疑似异常浓度数据中筛选出了特征浓度数据,特征浓度数据为异常浓度数据的概率较高,由于甜菊糖苷制备生产阶段受设备和原料以及不同工艺参数差异的影响,乙醇在各阶段的含量并不是稳定变化的,尤其是在发酵阶段到分离阶段过程中,乙醇浓度含量变化不大,即其在该时间段内所有采集时刻采集到的乙醇浓度数据构成的时序曲线递增趋势小于其他生产阶段,该时间段对应的时序曲线进行分解得到的残差项相对会较为离散,为了提高异常浓度数据的获取精度,还需要对特征浓度数据进一步评估分析,本发明又结合每个特征浓度数据的邻域内疑似异常浓度数据和特征浓度数据,分别对每个特征浓度数据进行分析和判断,从所有特征浓度数据中筛选出真正的异常浓度数据,提高了甜菊糖苷生产过程中乙醇含量的异常检测结果的准确度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。
图1为本发明实施例所提供的一种甜菊糖苷生产监测数据管理系统所执行的方法的流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的一种甜菊糖苷生产监测数据管理系统进行详细说明如下。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种甜菊糖苷生产监测数据管理系统的具体方案。
一种甜菊糖苷生产监测数据管理系统实施例:
本实施例所针对的具体场景为:在甜菊糖苷的生产过程中,乙醇作为重要的溶剂和反应物几乎参与到甜菊糖苷的各个生产加工阶段当中,不同阶段对于乙醇浓度含量的需求各不相同,乙醇含量异常会对成品的质量产生影响,为了提高成品的合格率,本实施例结合甜菊糖苷生产过程中乙醇浓度变化特征对时序数据进行分解筛选出疑似异常浓度数据,并对疑似异常数据及其时序上邻近的数据进行分析和计算,排除噪声数据的干扰得到异常程度较高的数据,也即真正的异常浓度数据,实现对乙醇浓度异常数据的准确识别和监测,在提高异常浓度数据的识别精度的同时能够提高分析结果的准确度。
本实施例提出了一种甜菊糖苷生产监测数据管理系统,该系统以实现如图1所示的步骤,具体步骤如下:
步骤S1,获取甜菊糖苷生产过程中各采集时刻的乙醇浓度数据,基于所有采集时刻的乙醇浓度数据构建乙醇浓度数据序列。
由于甜菊糖苷的不同生产阶段对于乙醇的需求不同,且乙醇对于不同阶段的化学反应带来的作用不同,因此乙醇作为溶剂或反应物参与到甜菊糖苷的每个生产阶段,在不同阶段甜菊糖苷浓度含量不同;生产阶段存在前后顺序之分,通常首先进行发酵处理,该阶段的乙醇产量一般在36小时之后达到最高点,浓度为5%左右;而接下来为分离阶段,该阶段乙醇作为溶剂参与其中,此时具体的浓度含量主要取决于原料和工艺参数,但通常相较于发酵阶段变化不大,一般为10%左右;而最后进行的精制阶段中乙醇主要作用为提纯,因此该阶段的含量相对较高,可以达到30%~40%左右。
本实施例首先采集甜菊糖苷生产过程中的乙醇浓度数据,本实施例设置乙醇浓度 数据每1秒采集一次,在具体应用中,实施者可根据具体情况进行设置。至此,本实施例获得 了甜菊糖苷生产过程中每个采集时刻的乙醇浓度数据,基于甜菊糖苷生产过程中每个采集 时刻的乙醇浓度数据,按照采集时刻的先后顺序,构建乙醇浓度数据序列,其中,为乙醇浓度数据序列,n为甜菊糖苷生产过程中采集时刻的总 个数,为甜菊糖苷生产过程中第1个采集时刻的乙醇浓度数据,为甜菊糖苷生产过程中 第2个采集时刻的乙醇浓度数据,为甜菊糖苷生产过程中第n个采集时刻的乙醇浓度数 据。
至此,获得了乙醇浓度数据序列。
步骤S2,对所述乙醇浓度数据序列进行分解获得残差项,基于所述残差项确定下限值和上限值,基于下限值和上限值筛选所述乙醇浓度数据序列中的疑似异常浓度数据;根据所述乙醇浓度数据序列中各疑似异常浓度数据的邻域内疑似异常浓度数据的数量,筛选特征浓度数据。
本实施例已经获得了乙醇浓度数据序列,对乙醇浓度数据序列中的数据进行拟合获得乙醇浓度曲线,乙醇浓度曲线的横轴为采集时刻,纵轴为乙醇浓度数据;对乙醇浓度曲线进行STL时序分解,获取其中的残差项。将上述处理得到的残差项基于箱线图准则求得上限值和下限值;该算法操作是分别计算出乙醇浓度数据序列中数据的上四分位数、下四分位数和中位数,也即分别获取75%分位点对应的数据、25%分位点对应的数据和50%分位点对应的数据,然后基于上四分位数、下四分位数和中位数获得下限值和上限值,该方法为现有技术,此处不再过多赘述。将乙醇浓度数据序列中小于下限值或大于上限值的乙醇浓度数据作为疑似乙醇异常浓度数据。
本实施例对乙醇浓度数据序列中的乙醇浓度数据进行了初步筛选,获得了疑似乙醇异常浓度数据,疑似乙醇异常浓度数据中可能存在部分正常浓度数据,因此需要结合当前场景下数据特征对疑似乙醇异常浓度数据进行分析判断,筛选出特征浓度数据,获得第一可疑程度和第二可疑程度,并由此对疑似乙醇异常浓度数据进行智能评估,排除噪声数据和其他因素的干扰,并获得真实异常浓度数据。因此本实施例接下来将对甜菊糖苷生产过程中的疑似异常浓度数据的突变程度进行评估。
甜菊糖苷生产过程中乙醇浓度的异常数据表现为小于箱线图划分的下限值或高于箱线图划分的上限值,即甜菊糖苷生产阶段的某一时刻的乙醇浓度数据不在合理的浓度含量阈值中,此时的浓度过大或过小;但由于客观情况下浓度的变化不存在突变,因此本实施例获得的疑似异常浓度数据中突变即孤立的时序数据更有可能为噪声数据带来的干扰,其为真实异常数据点的可能性较小;结合此特征和甜菊糖苷生产过程中客观浓度变化特征,对疑似异常浓度数据的突变程度进行分析。
具体的,对于所述乙醇浓度数据序列中的任一疑似异常浓度数据:计算该疑似异常浓度数据的邻域内疑似异常浓度数据的数量与该疑似异常浓度数据的邻域内乙醇浓度数据的总数量的比值,对所述比值进行负相关归一化,将归一化结果确定为该疑似异常浓度数据的突变程度。该疑似异常浓度数据的突变程度的具体计算公式为:
其中,γ为该疑似异常浓度数据的突变程度,M为该疑似异常浓度数据的邻域内疑似异常浓度数据的数量,N为该疑似异常浓度数据的邻域内乙醇浓度数据的总数量,exp( )为以自然常数为底数的指数函数。
本实施例中的邻域的长度为10,对于该疑似异常浓度数据,其邻域内的所有乙醇浓度数据为以乙醇浓度数据序列中的该乙醇浓度数据为中心,与该疑似异常浓度数据对应的采集时刻时间间隔最短的10个乙醇浓度数据,也即乙醇浓度数据序列中的该疑似异常浓度数据左侧与该疑似异常浓度数据距离最近的5个乙醇浓度数据和该乙醇浓度数据右侧与该疑似异常浓度数据距离最近的5个乙醇浓度数据,在具体应用中,邻域的长度实施者可根据具体情况进行设置。
表示该疑似异常浓度数据的邻域内疑似异常浓度数据的数量占比,也即该疑似 异常浓度数据的邻域内疑似异常浓度数据的数量与该疑似异常浓度数据的邻域内乙醇浓 度数据的总数量的比值,比值越小,说明该疑似异常浓度数据的突变程度越高,因此本实施 例用反比例归一化函数对其进行负相关归一化处理。当该疑似异常浓度数据的邻域内疑似 异常浓度数据的数量占比越大时,该疑似异常浓度数据越可能为异常浓度数据,其对应的 突变程度越小;当该疑似异常浓度数据的邻域内疑似异常浓度数据的数量占比越小时,该 疑似异常浓度数据越可能为正常浓度数据,其对应的突变程度越大。
采用上述方法,能够获得每个疑似异常浓度数据的突变程度。对于突变程度较高的数据,其受到了噪声的干扰,而对于突变程度较低的数据,由于其具备浓度变化特征,也即递增或递减的变化,且低于下限值或高于上限值数值要求,因此其为真实异常浓度数据的可能性较高,需要对其进行后续的分析处理。突变程度越小,说明对应疑似异常浓度数据越有可能为异常浓度数据,因此将突变程度小于预设突变程度阈值的疑似异常浓度数据确定为特征浓度数据,本实施例的预设突变程度阈值0.7,在具体应用中,实施者可根据具体情况进行设置。至此,基于每个疑似异常浓度数据的突变程度从所有的疑似异常浓度数据中筛选出了特征浓度数据,特征浓度数据更有可能为异常浓度数据。
步骤S3,根据所述乙醇浓度数据序列中各特征浓度数据的邻域内疑似异常浓度数据与特征浓度数据的数量差异,得到各特征浓度数据对应的第一可疑程度;根据所述乙醇浓度数据序列中各特征浓度数据的邻域内疑似异常浓度数据与所对应的下限值或上限值之间的差异,以及各特征浓度数据的邻域内特征浓度数据与所对应的下限值或上限值之间的差异,得到各特征浓度数据对应的第二可疑程度。
本实施例根据突变程度排除了疑似异常浓度数据中突变程度较高的数据的干扰,筛选出了特征浓度数据,但对于特征浓度数据而言,由于甜菊糖苷制备生产阶段受设备和原料以及不同工艺参数差异的影响,乙醇在各阶段的含量并不是稳定变化的,尤其是在发酵阶段到分离阶段的过程中,乙醇浓度含量变化不大,即其在该阶段内所有采集时刻采集到的乙醇浓度数据构成的时序曲线递增趋势小于其他生产阶段,该阶段对应的时序曲线进行STL时序分解得到的残差项数据相对较为离散,由于该阶段乙醇浓度数据的变化趋势相较于整体乙醇浓度数据递增的趋势程度更低,因此时序分解获得的残差项会较为离散,该情况下的残差项离散,其极有可能处于箱线图划分的上限值和下限值之外,因此需要对特征浓度数据进一步评估分析。特征浓度数据对应的采集时刻的邻近采集时刻内疑似异常浓度数据与特征浓度数据的数量越接近,说明特征浓度数据越可能为真正的异常浓度数据。基于此,本实施例将根据特征浓度数据的邻域内疑似异常浓度数据与特征浓度数据之间的数量差异,确定每个特征浓度数据对应的第一可疑程度,根据特征浓度数据的邻域内疑似异常数据与所对应的下限值或上限值之间的差异和特征浓度数据的邻域内特征浓度数据与所对应的下限值或上限值之间的差异,确定每个特征浓度数据对应的第二可疑程度。
具体的,对于任一特征浓度数据:
将该特征浓度数据的邻域内疑似异常浓度数据的数量记为第一数量;将该特征浓度数据的邻域内特征浓度数据的数量记为第二数量;将所述第一数量与所述第二数量的差值的绝对值记为第一差异,对所述第一差异进行负相关归一化获得该特征浓度数据对应的第一可疑程度。该特征浓度数据对应的第一可疑程度的具体计算公式为:
其中,X为该特征浓度数据对应的第一可疑程度,为该特征浓度数据的邻域内疑 似异常浓度数据的数量,为该特征浓度数据的邻域内特征浓度数据的数量,exp( )为以 自然常数为底数的指数函数,| |为取绝对值符号。
表示第一数量,表示第二数量,表示第一差异,也即该特征浓度数据 的邻域内疑似异常浓度数据与特征浓度数据的数量差异。当该特征浓度数据的邻域内疑似 异常浓度数据与特征浓度数据的数量差异越小时,说明该特征浓度数据越可能为真正的异 常浓度数据,即第一可疑程度越大。当该特征浓度数据的邻域内疑似异常浓度数据与特征 浓度数据的数量差异越大时,说明该特征浓度数据越不可能为真正的异常浓度数据,即第 一可疑程度越小。
将该特征浓度数据的邻域内各疑似异常数据与其对应的特征值之间的差异,记为该特征浓度数据的邻域内各疑似异常数据对应的第二差异;将该特征浓度数据的邻域内各特征浓度数据与其对应的特征值之间的差异,记为该特征浓度数据的邻域内各特征浓度数据对应的第三差异;将该特征浓度数据的邻域内所有疑似异常数据对应的第二差异的均值记为第一均值;将该特征浓度数据的邻域内所有特征浓度数据对应的第三差异的均值记为第二均值;对所述第一均值与所述第二均值之间的差值绝对值进行负相关归一化,获得该特征浓度数据对应的第二可疑程度。其中,疑似异常数据对应的特征值的获取方法为:若疑似异常数据小于所述下限值,则将所述下限值作为疑似异常数据对应的特征值;若疑似异常数据大于所述上限值,则将所述上限值作为疑似异常数据对应的特征值;特征浓度数据对应的特征值的获取方法为:若特征浓度数据小于所述下限值,则将所述下限值作为特征浓度数据对应的特征值;若特征浓度数据大于所述上限值,则将所述上限值作为特征浓度数据对应的特征值。该特征浓度数据对应的第二可疑程度的具体计算公式为:
其中,Y为该特征浓度数据对应的第二可疑程度,J为该特征浓度数据的邻域内疑 似异常数据的数量,为该特征浓度数据的邻域内第j个疑似异常数据,为该特征浓度 数据的邻域内第j个疑似异常数据对应的特征值,K为该特征浓度数据的邻域内特征浓度数 据的数量,为该特征浓度数据的邻域内第k个特征浓度数据,为该特征浓度数据的邻 域内第k个特征浓度数据对应的特征值,exp( )为以自然常数为底数的指数函数,| |为取 绝对值符号。
表示该特征浓度数据的邻域内第j个疑似异常数据对应的第二差异,表示该特征浓度数据的邻域内第k个特征浓度数据对应的第三差异,表示第一均值,也即该特征浓度数据的邻域内所有疑似异常数据对应的 第二差异的均值;表示第二均值,也即该特征浓度数据的邻域内所有特 征浓度数据对应的第三差异的均值;表示第一均 值与第二均值之间的差异。当该特征浓度数据的邻域内所有疑似异常数据对应的第二差异 的均值与该特征浓度数据的邻域内所有特征浓度数据对应的第三差异的均值之间的差异 越小时,该特征浓度数据越可能为真正的异常浓度数据,即该特征浓度数据对应的第二可 疑程度越大;当该特征浓度数据的邻域内所有疑似异常数据对应的第二差异的均值与该特 征浓度数据的邻域内所有特征浓度数据对应的第三差异的均值之间的差异越大时,该特征 浓度数据越不可能为真正的异常浓度数据,即该特征浓度数据对应的第二可疑程度越小。
至此,采用上述方法,获得了每个特征浓度数据对应的第一可疑程度和第二可疑程度。
步骤S4,基于所述第一可疑程度和所述第二可疑程度,获得异常浓度数据。
本实施例已经获得了每个特征浓度数据对应的第一可疑程度和第二可疑程度,第一可疑程度越大,说明对应特征浓度数据越可能为异常浓度数据;第二可疑程度越大,说明对应特征浓度数据越可能为异常浓度数据;因此第一可疑程度和第二可疑程度均与异常程度呈正相关关系,本实施例将根据每个特征浓度数据对应的第一可疑程度和第二可疑程度,获得每个特征浓度数据的异常程度。
具体的,对于任一特征浓度数据:将特征浓度数据对应的第一可疑程度和预设第一权重的乘积记为第一指标,将特征浓度数据对应的第二可疑程度和预设第二权重的乘积记为第二指标,将所述第一指标与所述第二指标的和值确定为特征浓度数据的异常程度;该特征浓度数据的异常程度的具体计算公式为:
其中,Q为该特征浓度数据的异常程度,为预设第一权重,为预设第二权重,X 为该特征浓度数据对应的第一可疑程度,Y为该特征浓度数据对应的第二可疑程度。
由于第一可疑程度是根据征浓度数据的邻域内疑似异常浓度数据与特征浓度数据之间的数量相近情况进行评估获得的,相较于第二可疑程度可信度更高且计算更加准确,因此本实施例设置预设第一权重的值为0.6,预设第二权重的值为0.4,在具体应用中,实施者可根据具体情况进行设置。当特征浓度数据对应的第一可疑程度和第二可疑程度均越大时,说明特征浓度数据越可能为异常浓度数据,也即特征浓度数据的异常程度越大;当特征浓度数据对应的第一可疑程度和第二可疑程度均越小时,说明特征浓度数据越可能为正常浓度数据,也即特征浓度数据的异常程度越小。
异常程度越大,说明对应特征浓度数据越可能为异常浓度数据;本实施例分别判断各特征浓度数据的异常程度是否大于或等于预设异常程度阈值,若大于或等于,则将对应特征浓度数据确定为异常浓度数据;若小于,则将对应特征浓度数据确定为正常浓度数据。本实施例中的预设异常程度阈值为0.8,在具体应用中,实施者可根据具体情况进行设置。
至此,本实施例筛选出了异常浓度数据,对筛选出的异常浓度数据进行标记,也即对甜菊糖苷生产过程中的异常浓度数据进行了筛选,本实施例提供的系统针对于甜菊糖苷生产场景特征实现对乙醇浓度数据中异常数据的准确监测和识别,提高了甜菊糖苷生产过程中乙醇含量的异常检测结果的准确度。
本实施例首先对甜菊糖苷生产过程中的乙醇浓度数据进行了分解获得了残差值,基于残差值确定了下限值和上限值,进而对甜菊糖苷生产过程中的乙醇浓度数据进行了初步筛选,筛选出了疑似异常浓度数据,又结合每个疑似异常浓度数据时序上邻近的疑似异常浓度数据的数量,从疑似异常浓度数据中筛选出了特征浓度数据,特征浓度数据为异常浓度数据的概率较高,由于甜菊糖苷制备生产阶段受设备和原料以及不同工艺参数差异的影响,乙醇在各阶段的含量并不是稳定变化的,尤其是在发酵阶段到分离阶段过程中,乙醇浓度含量变化不大,即其在该时间段内所有采集时刻采集到的乙醇浓度数据构成的时序曲线递增趋势小于其他生产阶段,该时间段对应的时序曲线进行分解得到的残差项相对会较为离散,为了提高异常浓度数据的获取精度,还需要对特征浓度数据进一步评估分析,本实施例又结合每个特征浓度数据的邻域内疑似异常浓度数据和特征浓度数据,分别对每个特征浓度数据进行分析和判断,从所有特征浓度数据中筛选出真正的异常浓度数据,提高了甜菊糖苷生产过程中乙醇含量的异常检测结果的准确度。

Claims (7)

1.一种甜菊糖苷生产监测数据管理系统,包括存储器和处理器,其特征在于,所述处理器执行所述存储器存储的计算机程序,以实现如下步骤:
获取甜菊糖苷生产过程中各采集时刻的乙醇浓度数据,基于所有采集时刻的乙醇浓度数据构建乙醇浓度数据序列;
对所述乙醇浓度数据序列进行分解获得残差项,基于所述残差项确定下限值和上限值,基于下限值和上限值筛选所述乙醇浓度数据序列中的疑似异常浓度数据;根据所述乙醇浓度数据序列中各疑似异常浓度数据的邻域内疑似异常浓度数据的数量,筛选特征浓度数据;
根据所述乙醇浓度数据序列中各特征浓度数据的邻域内疑似异常浓度数据与特征浓度数据的数量差异,得到各特征浓度数据对应的第一可疑程度;根据所述乙醇浓度数据序列中各特征浓度数据的邻域内疑似异常浓度数据与所对应的下限值或上限值之间的差异,以及各特征浓度数据的邻域内特征浓度数据与所对应的下限值或上限值之间的差异,得到各特征浓度数据对应的第二可疑程度;
基于所述第一可疑程度和所述第二可疑程度,获得异常浓度数据。
2.根据权利要求1所述的一种甜菊糖苷生产监测数据管理系统,其特征在于,所述根据所述乙醇浓度数据序列中各疑似异常浓度数据的邻域内疑似异常浓度数据的数量,筛选特征浓度数据,包括:
对于所述乙醇浓度数据序列中的任一疑似异常浓度数据:计算该疑似异常浓度数据的邻域内疑似异常浓度数据的数量与该疑似异常浓度数据的邻域内乙醇浓度数据的总数量的比值,对所述比值进行负相关归一化,将归一化结果确定为该疑似异常浓度数据的突变程度;
将突变程度小于预设突变程度阈值的疑似异常浓度数据确定为特征浓度数据。
3.根据权利要求1所述的一种甜菊糖苷生产监测数据管理系统,其特征在于,所述根据所述乙醇浓度数据序列中各特征浓度数据的邻域内疑似异常浓度数据与特征浓度数据的数量差异,得到各特征浓度数据对应的第一可疑程度,包括:
对于任一特征浓度数据:
将该特征浓度数据的邻域内疑似异常浓度数据的数量记为第一数量;将该特征浓度数据的邻域内特征浓度数据的数量记为第二数量;
将所述第一数量与所述第二数量的差值的绝对值记为第一差异,对所述第一差异进行负相关归一化获得该特征浓度数据对应的第一可疑程度。
4.根据权利要求1所述的一种甜菊糖苷生产监测数据管理系统,其特征在于,所述根据所述乙醇浓度数据序列中各特征浓度数据的邻域内疑似异常浓度数据与所对应的下限值或上限值之间的差异,以及各特征浓度数据的邻域内特征浓度数据与所对应的下限值或上限值之间的差异,得到各特征浓度数据对应的第二可疑程度,包括:
对于任一特征浓度数据:
将该特征浓度数据的邻域内各疑似异常数据与其对应的特征值之间的差异,记为该特征浓度数据的邻域内各疑似异常数据对应的第二差异;将该特征浓度数据的邻域内各特征浓度数据与其对应的特征值之间的差异,记为该特征浓度数据的邻域内各特征浓度数据对应的第三差异;根据所述第二差异和所述第三差异,得到该特征浓度数据对应的第二可疑程度;
其中,疑似异常数据对应的特征值的获取方法为:若疑似异常数据小于所述下限值,则将所述下限值作为疑似异常数据对应的特征值;若疑似异常数据大于所述上限值,则将所述上限值作为疑似异常数据对应的特征值;
特征浓度数据对应的特征值的获取方法为:若特征浓度数据小于所述下限值,则将所述下限值作为特征浓度数据对应的特征值;若特征浓度数据大于所述上限值,则将所述上限值作为特征浓度数据对应的特征值。
5.根据权利要求4所述的一种甜菊糖苷生产监测数据管理系统,其特征在于,根据所述第二差异和所述第三差异,得到该特征浓度数据对应的第二可疑程度,包括:
将该特征浓度数据的邻域内所有疑似异常数据对应的第二差异的均值记为第一均值;将该特征浓度数据的邻域内所有特征浓度数据对应的第三差异的均值记为第二均值;
对所述第一均值与所述第二均值之间的差值绝对值进行负相关归一化,获得该特征浓度数据对应的第二可疑程度。
6.根据权利要求1所述的一种甜菊糖苷生产监测数据管理系统,其特征在于,所述基于所述第一可疑程度和所述第二可疑程度,获得异常浓度数据,包括:
对于任一特征浓度数据:将特征浓度数据对应的第一可疑程度和预设第一权重的乘积记为第一指标,将特征浓度数据对应的第二可疑程度和预设第二权重的乘积记为第二指标;将所述第一指标与所述第二指标的和值确定为特征浓度数据的异常程度;
判断各特征浓度数据的异常程度是否大于或等于预设异常程度阈值,若大于或等于,则将对应特征浓度数据确定为异常浓度数据。
7.根据权利要求1所述的一种甜菊糖苷生产监测数据管理系统,其特征在于,所述基于下限值和上限值筛选所述乙醇浓度数据序列中的疑似异常浓度数据,包括:
将所述乙醇浓度数据序列中小于下限值或大于上限值的乙醇浓度数据,确定为疑似异常浓度数据。
CN202311140537.3A 2023-09-06 2023-09-06 一种甜菊糖苷生产监测数据管理系统 Active CN116881646B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311140537.3A CN116881646B (zh) 2023-09-06 2023-09-06 一种甜菊糖苷生产监测数据管理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311140537.3A CN116881646B (zh) 2023-09-06 2023-09-06 一种甜菊糖苷生产监测数据管理系统

Publications (2)

Publication Number Publication Date
CN116881646A true CN116881646A (zh) 2023-10-13
CN116881646B CN116881646B (zh) 2023-11-21

Family

ID=88260844

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311140537.3A Active CN116881646B (zh) 2023-09-06 2023-09-06 一种甜菊糖苷生产监测数据管理系统

Country Status (1)

Country Link
CN (1) CN116881646B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117195008A (zh) * 2023-11-08 2023-12-08 山东神光航天科技有限公司 一种用于空气质量监测的异常数据处理方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112285287A (zh) * 2020-10-19 2021-01-29 广东长天思源环保科技股份有限公司 一种烟气在线监测数据预处理方法
WO2021212752A1 (zh) * 2020-04-23 2021-10-28 平安科技(深圳)有限公司 基于设备指标数据的异常检测方法、装置、设备及存储介质
CN114547145A (zh) * 2022-02-21 2022-05-27 苏州浪潮智能科技有限公司 一种时序数据异常检测方法、系统、存储介质及设备
CN115098345A (zh) * 2022-08-25 2022-09-23 广州简悦信息科技有限公司 数据异常检测方法、电子设备及可读存储介质
CN115994248A (zh) * 2023-03-24 2023-04-21 青岛精锐机械制造有限公司 阀门故障的数据检测方法及系统
CN116108008A (zh) * 2023-04-13 2023-05-12 山东明远生物科技有限公司 一种装饰材料甲醛检测数据处理方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021212752A1 (zh) * 2020-04-23 2021-10-28 平安科技(深圳)有限公司 基于设备指标数据的异常检测方法、装置、设备及存储介质
CN112285287A (zh) * 2020-10-19 2021-01-29 广东长天思源环保科技股份有限公司 一种烟气在线监测数据预处理方法
CN114547145A (zh) * 2022-02-21 2022-05-27 苏州浪潮智能科技有限公司 一种时序数据异常检测方法、系统、存储介质及设备
CN115098345A (zh) * 2022-08-25 2022-09-23 广州简悦信息科技有限公司 数据异常检测方法、电子设备及可读存储介质
CN115994248A (zh) * 2023-03-24 2023-04-21 青岛精锐机械制造有限公司 阀门故障的数据检测方法及系统
CN116108008A (zh) * 2023-04-13 2023-05-12 山东明远生物科技有限公司 一种装饰材料甲醛检测数据处理方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CHAOLI ZHANG ET AL.: "TFAD: A Decomposition Time Series Anomaly Detection Architecture with Time-Frequency Analysis", PROCEEDINGS OF THE 31ST ACM INTERNATIONAL CONFERENCE ON INFORMATION & KNOWLEDGE MANAGEMENT, pages 1 - 11 *
王忠民 等: "一种基于时序分析异常数据的跌倒行为监测方法", 计算机应用研究, pages 1 - 7 *
许春杰: "无线传感网中恶意节点以及异常数据检测方案的研究", 中国优秀硕士学位论文全文数据库信息科技辑, vol. 2020, no. 02, pages 136 - 1504 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117195008A (zh) * 2023-11-08 2023-12-08 山东神光航天科技有限公司 一种用于空气质量监测的异常数据处理方法
CN117195008B (zh) * 2023-11-08 2024-03-12 山东神光航天科技有限公司 一种用于空气质量监测的异常数据处理方法

Also Published As

Publication number Publication date
CN116881646B (zh) 2023-11-21

Similar Documents

Publication Publication Date Title
CN116881646B (zh) 一种甜菊糖苷生产监测数据管理系统
CN108763346B (zh) 一种滑窗箱型图中值滤波的异常点处理方法
CN116756529B (zh) 一种吊白块生产设备运行状态检测系统
JP2001523824A (ja) スペクトル信号監視システム
CN101534305A (zh) 网络流量异常检测方法和系统
CN110245460B (zh) 一种基于多阶段oica的间歇过程故障监测方法
CN115982602B (zh) 一种光伏变压器电故障检测方法
CN115860579B (zh) 一种用于面粉加工的生产质量监测系统
CN117290802B (zh) 一种基于数据处理的主机电源运行监测方法
CN113100786A (zh) 一种稳态视觉诱发电位信号的频率识别方法
CN106446081A (zh) 基于变化一致性挖掘时序数据关联关系的方法
CN112098361A (zh) 一种基于近红外光谱的玉米种子鉴别方法
CN116881635A (zh) 一种用于纺织品洗涤剂设备数据管理系统
CN113495193A (zh) 一种基于多小波变换和聚类分析的故障诊断方法
CN111339986A (zh) 基于时域/频域分析的装备用频规律挖掘方法和系统
CN113705656A (zh) 一种异距数列等分筛选方法、系统、存储介质
CN114692683A (zh) 一种基于csi的跌倒检测方法、装置及存储介质
CN114186596A (zh) 一种谱图峰的多窗口识别方法、装置以及电子设备
CN110117798B (zh) 一种铝电解的氧化铝浓度估计方法及装置
CN117439827B (zh) 一种网络流量大数据分析方法
CN117290559B (zh) 一种水处理剂含量监测方法及系统
CN113341926B (zh) 一种基于稀疏加权邻域保持嵌入的多阶段间歇过程故障检测方法
CN117971625B (zh) 基于计算机云平台的性能数据智能监测系统
CN116341993B (zh) 一种用于聚苯乙烯生产过程中状态监测方法及系统
CN117368388A (zh) 一种基于二级质谱定性结果的代谢组学色谱峰提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant