CN111339074A - 阈值生成方法、装置、设备和存储介质 - Google Patents

阈值生成方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN111339074A
CN111339074A CN202010115819.8A CN202010115819A CN111339074A CN 111339074 A CN111339074 A CN 111339074A CN 202010115819 A CN202010115819 A CN 202010115819A CN 111339074 A CN111339074 A CN 111339074A
Authority
CN
China
Prior art keywords
data
early warning
threshold
signal
threshold value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010115819.8A
Other languages
English (en)
Other versions
CN111339074B (zh
Inventor
张全平
乔献强
任万千
黄光强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Mastercom Technology Corp
Original Assignee
Shenzhen Mastercom Technology Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Mastercom Technology Corp filed Critical Shenzhen Mastercom Technology Corp
Priority to CN202010115819.8A priority Critical patent/CN111339074B/zh
Publication of CN111339074A publication Critical patent/CN111339074A/zh
Application granted granted Critical
Publication of CN111339074B publication Critical patent/CN111339074B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • G06F16/215Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28Databases characterised by their database models, e.g. relational or object models
    • G06F16/284Relational databases
    • G06F16/285Clustering or classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • G06N20/10Machine learning using kernel methods, e.g. support vector machines [SVM]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

本发明公开了一种阈值生成方法,包括以下步骤:获取监测预警系统采集的历史数据,根据所述历史数据进行建模,生成信号识别模型,将所述历史数据反向输入信号识别模型,调整生成阈值。本发明还公开了一种阈值生成装置、设备和存储介质。本发明实现了阈值的动态生成,构建自反馈监测预警系统,持续进行系统自动调整,使得阈值随着监测预警系统的运行时长增加而更趋近于准确。

Description

阈值生成方法、装置、设备和存储介质
技术领域
本发明涉及智能监测与预警技术领域,尤其涉及阈值生成方法、装置、设备和存储介质。
背景技术
目前在各个生产领域特别是移动通信领域,各种监测预警系统的应用越来越广泛,作为监测预警系统的关键,监测预警系统的阈值的准确性关乎监测预警系统的效果。
当前行业中较多的监测预警系统主要还是通过传统的方式凭借经验获取阈值并人工手动设置,随着技术的发展,行业中虽出现了一些阈值动态生成的方法,但主要还是通过类似数据采集模块先采集配置的预设阈值、活动周期内预估的业务指标数据和预估业务趋势数据,对数据进行分析,通过类似权重计算模块,计算各个业务指标数据的权重系数,根据各个指标的权重在原预设阈值基础上进行调整获取新阈值,最后通过类似阈值上下限约束模块,对新产生的阈值进行裁剪,获取最终的阈值,该方法虽一定程度上实现了阈值的动态生成,但获取的阈值并不准确。
发明内容
本发明的主要目的在于提供一种阈值生成方法、装置、设备和存储介质,旨在解决监测预警系统无法设置准确的阈值的技术问题。
为实现上述目的,本发明提供阈值生成方法,所述阈值生成方法包括以下步骤:
获取数据库中的历史数据;
根据所述历史数据中的监测信号时域数据和场景数据进行建模,生成信号识别模型;
将所述历史数据中的预设阈值和预警数据输入信号识别模型,生成新阈值。
在一实施例中,所述获取数据库中的历史数据的步骤之前,包括:
采集预设阈值、监测信号时域数据、预警数据和场景数据,将所述预设阈值、所述监测信号时域数据、所述预警数据和所述场景数据作为历史数据写入数据库。
在一实施例中,述根据所述历史数据中的监测信号时域数据和场景数据进行建模,生成信号识别模型的步骤,包括:
对所述历史数据中的监测信号时域数据和场景数据进行数据清洗,生成训练数据;
使用所述训练数据构建第一特征向量,使用所述第一特征向量训练生成信号识别模型。
在一实施例中,所述预警数据中包含准确预警数据和准确预警信号数据;
所述将所述历史数据中的预设阈值和预警数据输入信号识别模型,生成新阈值的步骤包括:
根据所述历史数据中的准确预警数据和准确预警信号数据构建第二特征向量;
通过所述第二特征向量训练所述信号识别模型,获得调整后的信号识别模型;
将所述预设阈值输入所述调整后的信号识别模型中,生成新阈值。
在一实施例中,所述预警数据中包含误预警数据和误预警信号数据;
所述将所述历史数据中的预设阈值和预警数据输入信号识别模型,生成新阈值的步骤,包括:
根据所述历史数据中的误预警数据和误预警信号数据构建第三特征向量;
通过所述第三特征向量训练所述信号识别模型,获得调整后的信号识别模型;
将所述预设阈值输入所述调整后的信号识别模型中,生成新阈值。
在一实施例中,所述将所述历史数据中的预设阈值和预警数据输入信号识别模型,生成新阈值的步骤之后,包括:
获取所述预设阈值中的最大阈值和最小阈值,判断所述新阈值是否在所述最大阈值和所述最小阈值之间;
若所述新阈值在所述最大阈值和所述最小阈值之间,则舍弃所述新阈值。
在一实施例中,所述将所述历史数据中的预设阈值和预警数据输入信号识别模型,生成新阈值的步骤之后,包括:
将所述新阈值作为预设阈值添加到历史数据中,将新的历史数据输入至信号识别模型,并根据新的历史数据更新所述信号识别模型。
此外,为实现上述目的,本发明还提供一种阈值生成装置,其特征在于,所述阈值生成装置包括:
数据获取模块:用于获取数据库中的历史数据;
模型建立模块:用于根据所述历史数据中的监测信号时域数据和场景数据进行建模,生成信号识别模型;
阈值生成模块:用于将所述历史数据中的预设阈值和预警数据输入信号识别模型,生成新阈值。
此外,为实现上述目的,本发明还提供一种阈值生成设备;
所述阈值生成设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其中:
所述计算机程序被所述处理器执行时实现如上所述的阈值生成方法的步骤。
此外,为实现上述目的,本发明还提供计算机存储介质;
所述计算机存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上述的阈值生成方法的步骤。
本发明实施例提出的一种阈值生成方法、装置、设备和存储介质,通过获取监测预警系统运行的历史数据,使用所述历史数据中的监测信号时域数据和场景数据进行建模,生成信号识别模型,再将历史数据中的准确预警数据、准确预警信号数据、误预警数据和误预警信号数据输入所述信号识别模型,形成自反馈监测预警系统,对所述信号识别模型和阈值进行调整,实现了阈值的动态生成,构建自反馈监测预警系统,持续进行系统自动调整,使得阈值随着监测预警系统的运行时长增加而更趋近于准确。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的装置结构示意图;
图2为本发明阈值生成方法第一实施例的流程示意图;
图3为本发明阈值生成方法第三实施例的流程示意图。
本发明目的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
由于现有监测预警系统主要还是依赖技术人员凭借经验获取阈值,并进行人工手动设置,因此阈值获取和设置并不方便也不准确。随着技术发展,行业中虽然出现了一些阈值动态生成的方法,但是主要还是通过类似数据采集模块先采集配置的历史预设阈值、活动周期内预估的业务指标数据和预估业务趋势数据,对数据进行分析,通过类似权重计算模块,计算各个业务指标数据的权重系数,根据各个指标的权重在原预设阈值基础上进行调整获取新阈值,最后通过类似阈值上下限约束模块,对新产生的阈值进行裁剪,获取最终的阈值,该方法虽一定程度上实现了阈值的动态生成,但因为系统中采用了业务指标和业务趋势的预估数据,从根本上无法保证源数据的真实性和准确性,从而导致最终获取的阈值可能失真,同时在系统中没有利用实际工作中经过核实的预警信息进行自我纠偏,随着系统的长期运行,预设阈值可能越来越偏离实际情况。
本发明提供一种解决方案,通过获取监测预警系统运行的历史数据,使用所述历史数据中的监测信号时域数据和场景数据进行建模,生成信号识别模型,再将历史数据中的准确预警数据、准确预警信号数据、误预警数据和误预警信号数据输入所述信号识别模型,形成自反馈监测预警系统,对所述信号识别模型和阈值进行调整,实现了阈值的动态生成,构建自反馈监测预警系统,持续进行系统自动调整,使得阈值随着监测预警系统的运行时长增加而更趋近于准确。
如图1所示,图1是本发明实施例方案涉及的硬件运行环境的终端(又叫阈值生成设备,其中,阈值生成设备可以是由单独的阈值生成装置构成,也可以是由其他装置与阈值生成装置组合形成)结构示意图。
如图1所示,该终端可以包括:处理器1001,例如,中央处理器Central ProcessingUnit,CPU),网络接口1004,用户接口1003,存储器1005,通信总线1002。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真WIreless-FIdelity,WIFI接口)。存储器1005可以是高速RAM存储器,也可以是稳定的存储器(non-volatile memory),例如,磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
可选地,终端还可以包括摄像头、RF(Radio Frequency,射频)电路,传感器、音频电路、WiFi模块;输入单元,比显示屏,触摸屏;网络接口可选除无线接口中除WiFi外,蓝牙、探针等等。其中,传感器比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器;当然,移动终端还可配置陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
本领域技术人员可以理解,图1中示出的终端结构并不构成对终端的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,该计算机软件产品存储在一个存储介质(存储介质:又叫计算机存储介质、计算机介质、可读介质、可读存储介质、计算机可读存储介质或者直接叫介质等,存储介质可以是非易失性可读存储介质,如RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法,作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及计算机程序。
在图1所示的终端中,网络接口1004主要用于连接后台服务器,与后台服务器进行数据通信;用户接口1003主要用于连接客户端(用户端),与客户端进行数据通信;而处理器1001可以用于调用存储器1005中存储的计算机程序,并执行本发明以下实施例提供的阈值生成方法中的步骤。
参照图2,本发明一种阈值生成方法的第一实施例中,所述阈值生成方法包括:
步骤S10,获取数据库中的历史数据。
监测预警系统是根据所研究对象的特点,通过收集相关的资料信息,监控风险因素的变动趋势,并评价各种风险状态偏离预警线的强弱程度,向决策层发出预警信号并提前采取预控对策的系统。因此,要构建监测预警系统必须先构建评价指标体系,即监测预警系统的阈值,并对指标类别加以分析处理;其次,依据预警模型,对评价指标体系进行综合评判,并采取相应对策。
本实施例的阈值生成方法适用于多个监测预警场景,包括通信监测预警系统、灾难监测预警系统和铁路监测预警系统等,在此不作具体限定,仅以通信监测预警系统为例。
通信监测预警系统将产生的数据写入数据库中,以进行备份以及后续在此输入系统进行信号识别模型的训练调整,将所述当前时刻之前产生的数据称为历史数据,所述历史数据包含预设阈值、监测信号时域数据、场景数据和预警数据,所预警数据经过技术人员现场核实,包含准确预警数据、准确预警信号数据、误预警数据、误预警信号数据,例如:在光缆监测预警系统中,通过监测光缆中光信号波动值,并将所述波动值与预先设定的阈值比较以判断光缆是否正遭到破坏,在所述系统中,光信号波动值是一个跟随时间不规律变化的数据,即为监测信号的时域数据,可以理解的是,光缆可能敷设于桥梁、农田等环境中,光缆在敷设于桥梁时震动较为剧烈且频繁,而敷设于农田时则相对稳定平静,因此在考量监测预警系统的工作状况时需要考量场景数据,场景是指描述一个物理位置特征的一组属性值,该属性值至少包括该物理位置的经纬度信息,环境信息(如该位置属于农田,公路,桥梁等),由于后续模型训练需要使用准确的数据支持,因此需要一段历史窗口时间内的预警数据支持,即经过现场核实的预警数据,所述经过现场核实的预警数据是技术人员接警后经过现场核实的数据,以确保用于训练的数据准确性。本实施中,通信监测预警系统从数据库中获取历史数据,以进行后续操作。
步骤S20,根据所述历史数据中的监测信号时域数据和场景数据进行建模,生成信号识别模型。
前述步骤中的历史数据反映了通信监测预警系统的预警效果,对于监测预警系统的阈值生成具有一定指导意义,在本实施例中,使用如支持向量机(Support VectorMachine,SVM)、聚类算法(Clustering Algorithms)等机器学习算法,在此不作具体限定,对所述检测信号时域数据、场景数据进行特征量提取,构建信号识别模型,所述信号识别模型用于识别输入的历史数据中的预警信号和干扰信号。
步骤S30,将所述历史数据中的预设阈值和预警数据输入信号识别模型,生成新阈值。
在所述信号识别模型构建完成后,将历史数据中的预设阈值、准确预警数据、准确预警信号数据、误预警数据和误预警信号数据输入所述信号识别模型,为所述信号识别模型提供新的训练维度,并通过所述输入的历史数据进行训练,进一步完善所述信号识别模型,所述信号识别模型用于识别历史数据中的准确预警信号及与准确预警信号相似的信号、过滤干扰信号及与干扰信号相似的信号,并调整阈值生成新阈值。所述历史数据还包含监测系统实时产生的数据,将所述数据反向输入至信号识别模型中,作为新的训练数据,继续训练调整提升信号识别模型和阈值的准确度,形成自反馈机制,即,监测预警系统的输出作为信号识别模型输入的一部分,因此信号识别模型时刻都在进行训练调整,阈值也在时刻进行调整,因此所述阈值为一条连续的曲线。
在本实施例中,通过使用机器学习算法利用历史数据构建信号识别模型,并将历史数据反向输入至信号识别模型以进行信号识别模型和阈值动态调整,由于形成自反馈监测预警系统,使得信号识别模型和阈值随着监测预警系统的运行时长增加而更趋近于准确。
进一步的,在本发明以上实施例的基础上,进一步提出了本发明阈值生成方法的第二实施例,本实施例是步骤S10的前置步骤,所述阈值生成方法包括:
步骤a1,采集预设阈值、监测信号时域数据、预警数据和场景数据,将所述预设阈值、所述监测信号时域数据、所述预警数据和所述场景数据作为历史数据写入数据库。
监测预警系统采集预设阈值、监测信号时域数据、场景数据和经过现场核实的预警数据,所述经过现场核实的预警数据包含准确预警数据、准确预警信号数据、误预警数据、误预警信号数据,将所述监测预警系统采集的数据和输出的数据写入数据库,以进行备份以及后续在此输入系统进行信号识别模型的训练调整。
在本实施例中,监测预警系统采集预设阈值、监测信号时域数据、场景数据和预警数据,以用于后续生成信号识别模型和阈值,也作为备份数据用于容灾和兼顾技术人员核查监测预警系统历史运行状况。
进一步的,参照图3,在本发明以实施例的基础上,进一步提出本发明阈值生成方法的第三实施例,本实施例是步骤S20的细化,所述阈值生成方法包括:
步骤S21,对所述历史数据中的监测信号时域数据和场景数据进行数据清洗,生成训练数据。
在本实施例中,为提高后续建模的准确性,需要对历史数据中的监测信号时域数据、场景数据进行数据清洗,如:删除重复数据、纠正存在错误的数据、一致性检查等,以提高数据的准确性,预处理完成后,得到训练模型所需的数据。
步骤S22,使用所述训练数据构建第一特征向量,使用所述第一特征向量训练生成信号识别模型。
使用机器学习方法,使用如支持向量机(Support Vector Machine,SVM)、聚类算法(Clustering Algorithms)等机器学习算法,构建所述训练数据的第一特征向量,并使用所述第一特征向量训练生成信号识别模型,所述信号识别模型是一个至少具备时间、场景两种维度的初始模型。例如:在通信领域,光缆中光信号的波动可反应光缆本身的震动,因此,常通过监测光缆中光信号波动以判断光缆是否正遭到破坏,在一光缆监测预警系统中,光缆信号的时域波动值作为预警中的检测信号时域数据,而场景数据则为光缆区段的经纬度和所处环境等,所处环境又如在农田、公路、桥梁等,所述数据经预处理后提取特征向量,并使用所述特征向量通过机器学习方法建模,构建出包含监测信号特征、时间、场景的三维模型。
在本实施例中,通过对监测信号时域数据、场景数据所述进行数据清洗处理后提取特征向量,并通过机器学习建立信号识别模型,初步搭建了一个可用于识别预警信号和过滤干扰信号的模型,通过所述信号识别模型区分准确预警信号和误预警信号,并大致确定所述准确预警信号和误预警信号的界限。
进一步的,在本发明以上实施例的基础上,进一步提出了本发明阈值生成方法的第四实施例,本实施例是步骤S30的细化,所述阈值生成方法包括:
步骤b1,根据所述历史数据中的准确预警数据和准确预警信号数据构建第二特征向量。
监测预警系统根据所述历史数据中的准确预警数据和准确预警信号数据构建第二特征向量,所述历史数据中的准确预警数据和准确预警信号数据为经过技术人员现场核实的准确数据。在本方法应用于监测预警系统之前以及本方法运用在监测预警系统运行初期,可能存在误预警情况,因此需要技术人员对预警进行现场核实,例如:在光缆的震动监测中,监测预警系统获取光缆光信号波动值超过阈值,则触发预警,在光缆线路上存在如施工、地质灾害等可能导致光缆受损的险情,技术人员根据预警进行核实,并将核实结果记录,若险情属实,作为准确预警数据,则产生的预警信号数据为准确预警信号数据,若险情不属实,作为误预警数据,则产生的预警信号数据为误预警信号数据,上述数据可反映当前的阈值是否准确,以进一步调优。
步骤b2,通过所述第二特征向量训练所述信号识别模型,获得调整后的信号识别模型。
监测预警系统将所述第二特征向量输入信号识别模型,调整信号识别模型获得调整后的信号识别模型。监测预警系统将所述第二特征向量输入信号识别模型,为信号识别模型提供一个新的模型维度,相当于信号识别模型的训练、调优过程,由于新维度加入,所述调整后的信号识别模型可识别准确预警信号以及与所述准确预警信号相似的信号,例如:在光缆的震动监测中,技术人员将一段历史时间窗口内已进行现场核实的正确预警数据输入监测预警系统中,用于信号识别模型的训练,训练后的信号识别模型具有识别准确预警信号及相似信号的能力。
步骤b3,将所述预设阈值输入所述调整后的信号识别模型中,生成新阈值。
监测预警系统将历史数据中的预设阈值输入所述调整后的信号识别模型中,根据调整后的信号识别模型已具有的被准确预警信号及相似信号的能力,对现有的预设阈值进行调优,生成更加准确的新阈值。
在本实施例中,将使用现场核实的准确预警数据、经过现场核实的准确预警信号数据提取的特征值输入至信号识别模型,经过训练调整后得到可识别准确预警信号及相似信号的调整后的信号识别模型,再将预设阈值输入调整后的信号识别模型,实现了新阈值自动生成的同时获得了更加优化的信号识别模型和更加准确的新阈值。
进一步的,在本发明以上实施例的基础上,进一步提出了本发明阈值生成方法的第四实施例,本实施例是步骤S30的细化,所述阈值生成方法包括:
步骤c1,根据所述历史数据中的误预警数据和误预警信号数据构建第三特征向量。
监测预警系统根据所述历史数据中的误预警数据和误预警信号数据构建第三特征向量,所述历史数据中的误预警数据和误预警信号数据为经过技术人员现场核实的准确数据。在本方法应用于监测预警系统之前以及本方法运用在监测预警系统运行初期,可能存在误预警情况,因此需要技术人员对预警进行现场核实,例如:在光缆的震动监测中,监测预警系统获取光缆光信号波动值超过阈值,则触发预警,在光缆线路上存在如施工、地质灾害等可能导致光缆受损的险情,技术人员根据预警进行核实,并将核实结果记录,若险情属实,作为准确预警数据,则产生的预警信号数据为准确预警信号数据,若险情不属实,作为误预警数据,则产生的预警信号数据为误预警信号数据,上述数据可反映当前的阈值是否准确,以进一步调优。
步骤c2,通过所述第三特征向量训练所述信号识别模型,获得调整后的信号识别模型。
监测预警系统将所述第三特征向量输入信号识别模型,调整信号识别模型获得调整后的信号识别模型。监测预警系统将所述第三特征向量输入信号识别模型,为信号识别模型提供一个新的模型维度,相当于信号识别模型的训练、调优过程,由于新维度加入,所述调整后的信号识别模型可识别误预警信号以及与所述误预警信号相似的信号,例如:在光缆的震动监测中,技术人员将一段历史时间窗口内已进行现场核实的误预警数据输入监测预警系统中,用于信号识别模型的训练,训练后的信号识别模型具有识别误预警信号及相似信号的能力。
步骤c3,将所述预设阈值输入所述调整后的信号识别模型中,生成新阈值。
监测预警系统将历史数据中的预设阈值输入所述调整后的信号识别模型中,根据调整后的信号识别模型已具有的被准确预警信号及相似信号的能力,对现有的预设阈值进行调优,生成更加准确的新阈值。
在本实施例中,将使用现场核实的误预警数据、经过现场核实的误预警信号数据提取的特征值输入至信号识别模型,经过训练调整后得到可识别误预警信号及相似信号的调整后的信号识别模型,再将预设阈值输入调整后的信号识别模型,实现了新阈值自动生成的同时获得了更加优化的信号识别模型和更加准确的新阈值。
上述第四、第五实施例分别介绍了两种新阈值生成方法,即分别通过将准确预警数据和误预警数据输入构建的信号识别模型中,对信号识别模型进行训练获得调整后的信号识别模型,再将预设阈值输入所述调整后的信号识别模型,生成新阈值,因此两种方法生成的阈值并不相同。此外,上述第四第五实施例可组合实施,以达到生成更准确阈值的效果,以下详细介绍所述组合实施方法:
方法一:将根据历史数据中的准确预警数据、准确预警信号数据、误预警数据和误预警信号数据构建的第二特征向量和第三特征向量一并输入信号识别模型中,对模型进行训练调整后生调整后的信号识别模型,将预设阈值输入所述调整后的信号识别模型生成新阈值。
方法二:根据准确预警数据和误预警数据的占总训练数据量的权重,对计算第四实施例和第五实施例中分别获取的新阈值进行加权计算,将计算结果作为最终阈值。
上述两种方法都可做到使阈值更加准确的目的。
进一步的,在本发明以上实施例的基础上,进一步提出了本发明阈值生成的第六实施例,本实施例是步骤S30的后置步骤,所述阈值生成方法包括:
步骤d1,获取所述预设阈值中的最大阈值和最小阈值,判断所述新阈值是否在所述最大阈值和所述最小阈值之间。
步骤d2,若所述新阈值在所述最大阈值和所述最小阈值之间,则舍弃所述新阈值。
由于本系统采取自反馈的工作方式,通过将系监测预警系统输出的数据作为模型训练数据反向输入系统中,对信号识别模型进行持续的训练,并持续更新阈值,这是一个阈值趋于稳定、准确的过程,因此在所述监测预警系统工作初期的产生的阈值是相对不太准确的,通过判断后续产生阈值是否介于历史数据中的预设阈值最大值和最小值之间可确定所述阈值是否准确,若所述阈值处于历史数据中的预设阈值最大值和最小值之间则为可用阈值,反之,则将所述阈值舍弃,以避免不准确的阈值加入历史数据中对下轮信号模型训练和阈值生成产生影响。
在本实施例中,通过判断产生的阈值是否介于历史数据中的预设阈值最大值和最小值之间,可避免部分因训练数据异常或是监测预警系统异常而产生的偏离正常值的阈值影响后续的系统工作,保证了阈值的持续准确和监测预警系统的稳定运行。
进一步的,在本发明以上实施例的基础上,进一步提出了本发明阈值生成的第七实施例,本实施例是步骤S30的后置步骤,所述阈值生成方法包括:
步骤e1,将所述新阈值作为预设阈值添加到历史数据中,将新的历史数据输入至信号识别模型,并根据新的历史数据更新所述信号识别模型。
监测预警系统在新阈值生成之后,将所述新阈值作为预设阈值添加至历史数据中,并将新的历史数据作为监测预警系统输入数据的一部分,用于信号识别模型的训练和生成新的阈值,形成自反馈机制,持续优化信号识别模型和阈值。
在本实施例中,通过将生成的新阈值作为预设阈值加入历史数据中,并将新的历史数据输入监测预警系统,以用于训练信号识别模型和调整生成新的阈值,形成自反馈机制,最终获取具有空间连续性的动态预设阈值,实现了阈值的自动优化,并随着系统运行时间越长,信号识别模型与阈值就更加准确。
此外,本发明实施例还提出一种阈值生成装置,所述阈值生成装置包括:
数据获取模块:用于获取数据库中的历史数据;
模型建立模块:用于根据所述历史数据中的监测信号时域数据和场景数据进行建模,生成信号识别模型;
阈值生成模块:用于将所述历史数据中的预设阈值和预警数据输入信号识别模型,生成新阈值。
在一实施例中,所述阈值生成装置还包括:
采集写入模块:用于采集预设阈值、监测信号时域数据、预警数据和场景数据,将所述预设阈值、所述监测信号时域数据、所述预警数据和所述场景数据作为历史数据写入数据库。
在一实施例中,所述模型建立模块,包括:
数据处理子模块:用于对所述历史数据中的监测信号时域数据和场景数据进行数据清洗,生成训练数据;
模型生成子模块:用于使用所述训练数据构建第一特征向量,使用所述第一特征向量训练生成信号识别模型。
在一实施例中,所述阈值生成模块,包括:
第一构建子模块,用于根据所述历史数据中的准确预警数据和准确预警信号数据构建第二特征向量;
第一信号模型调整子模块,用于通过所述第二特征向量训练所述信号识别模型,获得调整后的信号识别模型;
第一新阈值模块,用于将所述预设阈值输入所述调整后的信号识别模型中,生成新阈值。
在一实施例中,所述阈值生成模块,还包括:
第二构建子模块,用于根据所述历史数据中的误预警数据和误预警信号数据构建第三特征向量;
第二信号模型调整子模块,用于通过所述第三特征向量训练所述信号识别模型,获得调整后的信号识别模型;
第二阈值生成子模块,用于将所述预设阈值输入所述调整后的信号识别模型中,生成新阈值。
在一实施例中,所述阈值生成装置,还包括:
获取判断模块:用于获取所述预设阈值中的最大阈值和最小阈值,判断所述新阈值是否在所述最大阈值和所述最小阈值之间;
阈值舍弃模块:用于若所述新阈值在所述最大阈值和所述最小阈值之间,则舍弃所述新阈值。
在一实施例中,所述阈值生成装置,还包括:
历史数据更新模块:用于若所述新阈值在所述最大阈值和所述最小阈值之间,则舍弃所述新阈值。
其中,阈值生成装置的各个功能模块实现的步骤可参照本发明阈值生成方法的各个实施例,此处不再赘述。
此外,本发明实施例还提出一种计算机存储介质。
所述计算机存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现上述实施例提供的阈值生成方法中的操作。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体/操作/对象与另一个实体/操作/对象区分开来,而不一定要求或者暗示这些实体/操作/对象之间存在任何这种实际的关系或者顺序;术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
对于装置实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中作为分离部件说明的单元可以是或者也可以不是物理上分开的。可以根据实际的需要选择中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所做的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种阈值生成方法,其特征在于,所述阈值生成方法应用于监测预警平台,所述阈值生成方法包括以下步骤:
获取数据库中的历史数据;
根据所述历史数据中的监测信号时域数据和场景数据进行建模,生成信号识别模型;
将所述历史数据中的预设阈值和预警数据输入信号识别模型,生成新阈值。
2.如权利要求1所述的阈值生成方法,其特征在于,所述获取数据库中的历史数据的步骤之前,包括:
采集预设阈值、监测信号时域数据、预警数据和场景数据,将所述预设阈值、所述监测信号时域数据、所述预警数据和所述场景数据作为历史数据写入数据库。
3.如权利要求1所述的阈值生成方法,其特征在于,所述根据所述历史数据中的监测信号时域数据和场景数据进行建模,生成信号识别模型的步骤,包括:
对所述历史数据中的监测信号时域数据和场景数据进行数据清洗,生成训练数据;
使用所述训练数据构建第一特征向量,使用所述第一特征向量训练生成信号识别模型。
4.如权利要求1所述的阈值生成方法,其特征在于,所述预警数据中包含准确预警数据和准确预警信号数据;
所述将所述历史数据中的预设阈值和预警数据输入信号识别模型,生成新阈值的步骤包括:
根据所述历史数据中的准确预警数据和准确预警信号数据构建第二特征向量;
通过所述第二特征向量训练所述信号识别模型,获得调整后的信号识别模型;
将所述预设阈值输入所述调整后的信号识别模型中,生成新阈值。
5.如权利要求1所述的阈值生成方法,其特征在于,所述预警数据中包含误预警数据和误预警信号数据;
所述将所述历史数据中的预设阈值和预警数据输入信号识别模型,生成新阈值的步骤,包括:
根据所述历史数据中的误预警数据和误预警信号数据构建第三特征向量;
通过所述第三特征向量训练所述信号识别模型,获得调整后的信号识别模型;
将所述预设阈值输入所述调整后的信号识别模型中,生成新阈值。
6.如权利要求1所述的阈值生成方法,其特征在于,所述将所述历史数据中的预设阈值和预警数据输入信号识别模型,生成新阈值的步骤之后,包括:
获取所述预设阈值中的最大阈值和最小阈值,判断所述新阈值是否在所述最大阈值和所述最小阈值之间;
若所述新阈值在所述最大阈值和所述最小阈值之间,则舍弃所述新阈值。
7.如权利要求1至6中任意一项所述的阈值生成方法,其特征在于,所述将所述历史数据中的预设阈值和预警数据输入信号识别模型,生成新阈值的步骤之后,包括:
将所述新阈值作为预设阈值添加到历史数据中,将新的历史数据输入至信号识别模型,并根据新的历史数据更新所述信号识别模型。
8.一种阈值生成装置,其特征在于,所述阈值生成装置包括:
数据获取模块:用于获取数据库中的历史数据;
模型建立模块:用于根据所述历史数据中的监测信号时域数据和场景数据进行建模,生成信号识别模型;
阈值生成模块:用于将所述历史数据中的预设阈值和预警数据输入信号识别模型,生成新阈值。
9.一种阈值生成设备,其特征在于,所述阈值生成设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其中:
所述计算机程序被所述处理器执行时实现如权利要求1至7中任一项所述的阈值生成方法的步骤。
10.一种计算机存储介质,其特征在于,所述计算机存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的阈值生成方法的步骤。
CN202010115819.8A 2020-02-24 2020-02-24 阈值生成方法、装置、设备和存储介质 Active CN111339074B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010115819.8A CN111339074B (zh) 2020-02-24 2020-02-24 阈值生成方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010115819.8A CN111339074B (zh) 2020-02-24 2020-02-24 阈值生成方法、装置、设备和存储介质

Publications (2)

Publication Number Publication Date
CN111339074A true CN111339074A (zh) 2020-06-26
CN111339074B CN111339074B (zh) 2023-05-05

Family

ID=71185458

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010115819.8A Active CN111339074B (zh) 2020-02-24 2020-02-24 阈值生成方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN111339074B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112061028A (zh) * 2020-09-15 2020-12-11 黑龙江风声水起科技有限公司 一种用于观光车辆的监测预警装置
CN112185070A (zh) * 2020-09-11 2021-01-05 珠海格力电器股份有限公司 故障预警方法、存储介质及电子设备
CN112433919A (zh) * 2020-11-25 2021-03-02 深圳前海微众银行股份有限公司 一种信息告警方法、设备及存储介质
CN112798689A (zh) * 2020-12-30 2021-05-14 北京万集科技股份有限公司 道路状况监测系统及其监测方法
CN113254049A (zh) * 2021-06-21 2021-08-13 南京苏城环保科技有限公司 一种智能水务管理系统及方法
CN114973765A (zh) * 2022-04-29 2022-08-30 中科蓝卓(北京)信息科技有限公司 一种环境自适应式碰撞报警系统
CN115077482A (zh) * 2022-06-17 2022-09-20 西安捷达测控有限公司 一种崩塌网状监测设备、方法及系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105956935A (zh) * 2016-05-06 2016-09-21 泉州亿兴电力有限公司 一种配电网变压器阈值更新方法及系统
CN106407082A (zh) * 2016-09-30 2017-02-15 国家电网公司 一种信息系统告警方法和装置
CN108388503A (zh) * 2018-02-13 2018-08-10 中体彩科技发展有限公司 数据库性能监控方法、系统、设备及计算机可读存储介质
CN109376909A (zh) * 2018-09-27 2019-02-22 中国农业科学院农业信息研究所 一种农产品监测预警模型系统
CN109524139A (zh) * 2018-10-23 2019-03-26 中核核电运行管理有限公司 一种基于设备工况变化的实时设备性能监测方法
CN109992470A (zh) * 2017-12-29 2019-07-09 北京国双科技有限公司 一种阈值调整方法和装置
US20190347573A1 (en) * 2018-05-14 2019-11-14 Silicon Motion Inc. Method for performing memory access management with aid of machine learning in memory device, associated memory device and controller thereof, and associated electronic device
CN110490720A (zh) * 2019-07-08 2019-11-22 深圳壹账通智能科技有限公司 财务数据分析预警方法、装置、计算机设备和存储介质
CN110489306A (zh) * 2019-08-26 2019-11-22 北京博睿宏远数据科技股份有限公司 一种报警阈值确定方法、装置、计算机设备及存储介质
CN110529202A (zh) * 2019-09-26 2019-12-03 齐鲁工业大学 基于电厂数据的汽轮机故障诊断检测及预警方法及系统
US20190384255A1 (en) * 2018-06-19 2019-12-19 Honeywell International Inc. Autonomous predictive real-time monitoring of faults in process and equipment

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105956935A (zh) * 2016-05-06 2016-09-21 泉州亿兴电力有限公司 一种配电网变压器阈值更新方法及系统
CN106407082A (zh) * 2016-09-30 2017-02-15 国家电网公司 一种信息系统告警方法和装置
CN109992470A (zh) * 2017-12-29 2019-07-09 北京国双科技有限公司 一种阈值调整方法和装置
CN108388503A (zh) * 2018-02-13 2018-08-10 中体彩科技发展有限公司 数据库性能监控方法、系统、设备及计算机可读存储介质
US20190347573A1 (en) * 2018-05-14 2019-11-14 Silicon Motion Inc. Method for performing memory access management with aid of machine learning in memory device, associated memory device and controller thereof, and associated electronic device
US20190384255A1 (en) * 2018-06-19 2019-12-19 Honeywell International Inc. Autonomous predictive real-time monitoring of faults in process and equipment
CN109376909A (zh) * 2018-09-27 2019-02-22 中国农业科学院农业信息研究所 一种农产品监测预警模型系统
CN109524139A (zh) * 2018-10-23 2019-03-26 中核核电运行管理有限公司 一种基于设备工况变化的实时设备性能监测方法
CN110490720A (zh) * 2019-07-08 2019-11-22 深圳壹账通智能科技有限公司 财务数据分析预警方法、装置、计算机设备和存储介质
CN110489306A (zh) * 2019-08-26 2019-11-22 北京博睿宏远数据科技股份有限公司 一种报警阈值确定方法、装置、计算机设备及存储介质
CN110529202A (zh) * 2019-09-26 2019-12-03 齐鲁工业大学 基于电厂数据的汽轮机故障诊断检测及预警方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MOHAMED SALAH SALHI: "An adaptative thresholding SOM-wavelet packet model to improve the phonemic recognition rate" *
曹维东: "融合深度学习的自动化海洋锋精细识别" *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112185070A (zh) * 2020-09-11 2021-01-05 珠海格力电器股份有限公司 故障预警方法、存储介质及电子设备
CN112061028A (zh) * 2020-09-15 2020-12-11 黑龙江风声水起科技有限公司 一种用于观光车辆的监测预警装置
CN112061028B (zh) * 2020-09-15 2023-04-14 黑龙江风声水起科技有限公司 一种用于观光车辆的监测预警装置
CN112433919A (zh) * 2020-11-25 2021-03-02 深圳前海微众银行股份有限公司 一种信息告警方法、设备及存储介质
CN112798689A (zh) * 2020-12-30 2021-05-14 北京万集科技股份有限公司 道路状况监测系统及其监测方法
CN112798689B (zh) * 2020-12-30 2023-04-14 北京万集科技股份有限公司 道路状况监测系统及其监测方法
CN113254049A (zh) * 2021-06-21 2021-08-13 南京苏城环保科技有限公司 一种智能水务管理系统及方法
CN114973765A (zh) * 2022-04-29 2022-08-30 中科蓝卓(北京)信息科技有限公司 一种环境自适应式碰撞报警系统
CN115077482A (zh) * 2022-06-17 2022-09-20 西安捷达测控有限公司 一种崩塌网状监测设备、方法及系统
CN115077482B (zh) * 2022-06-17 2024-02-13 西安捷达测控有限公司 一种崩塌网状监测设备、方法及系统

Also Published As

Publication number Publication date
CN111339074B (zh) 2023-05-05

Similar Documents

Publication Publication Date Title
CN111339074A (zh) 阈值生成方法、装置、设备和存储介质
CN110880984B (zh) 基于模型的流量异常监测方法、装置、设备及存储介质
CN112987675B (zh) 一种异常检测的方法、装置、计算机设备和介质
CN112364439A (zh) 自动驾驶系统的仿真测试方法、装置以及存储介质
CN110968072B (zh) 一种基于人工智能的电气自动化设备监测系统和方法
CN112763993A (zh) 标定雷达参数的方法和装置、电子设备、存储介质
CN115045714A (zh) 矿物开采预警方法、设备及计算机可读存储介质
CN112163618A (zh) 一种设备故障的检测方法及检测系统
CN110398775B (zh) 隧道突涌水灾害微震事件信号波动初至拾取方法及系统
CN111400114A (zh) 基于深度递归网络大数据计算机系统故障检测方法及系统
CN111444233A (zh) 基于复制器神经网络模型发现环境监测异常数据的方法
CN114413409A (zh) 用于空调故障概率的检测方法及装置、智能空调
EP4096187A1 (en) Method and apparatus for managing internet of things device
CN112462759B (zh) 规控算法的评估方法、系统及计算机存储介质
CN112380073B (zh) 一种故障位置的检测方法、装置及可读存储介质
Kim et al. Automated damping identification of long-span bridge using long-term wireless monitoring data with multiple sensor faults
JP6587950B2 (ja) スカラ特徴量によって時系列変化点を検出可能なプログラム、装置及び方法
CN111340975A (zh) 异常数据特征提取方法、装置、设备及存储介质
CN115278757A (zh) 一种检测异常数据的方法、装置及电子设备
JP2016532221A (ja) モデル適合のための装置および方法
CN111798237A (zh) 基于应用日志的异常交易诊断方法及系统
CN111883226A (zh) 一种信息处理和模型训练方法、装置、设备及存储介质
CN116627693A (zh) 一种微服务系统中的故障检测方法及装置
CN111189533A (zh) 外力入侵监测方法、装置、计算机设备和存储介质
Bayma et al. Fault diagnosis methodology based on nonlinear system modelling and frequency analysis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant