CN110674126A - 得到异常数据的方法及系统 - Google Patents

得到异常数据的方法及系统 Download PDF

Info

Publication number
CN110674126A
CN110674126A CN201910969970.5A CN201910969970A CN110674126A CN 110674126 A CN110674126 A CN 110674126A CN 201910969970 A CN201910969970 A CN 201910969970A CN 110674126 A CN110674126 A CN 110674126A
Authority
CN
China
Prior art keywords
data
abnormal
image
detected
trend curve
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910969970.5A
Other languages
English (en)
Other versions
CN110674126B (zh
Inventor
罗晓
童国炜
王灵军
王敉佳
黄泽鑫
赵新宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gree Electric Appliances Inc of Zhuhai
Original Assignee
Gree Electric Appliances Inc of Zhuhai
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gree Electric Appliances Inc of Zhuhai filed Critical Gree Electric Appliances Inc of Zhuhai
Priority to CN201910969970.5A priority Critical patent/CN110674126B/zh
Publication of CN110674126A publication Critical patent/CN110674126A/zh
Application granted granted Critical
Publication of CN110674126B publication Critical patent/CN110674126B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2462—Approximate or statistical queries

Abstract

本发明公开了一种得到异常数据的方法及系统。其中，得到异常数据的方法，包括步骤：为每一条待测数据赋予一个唯一的数据标签；将所述待测数据发送给第三方软件生成带数据标签的图形，并获取所述图形对应的图像；将所述图像与预设的数据趋势曲线进行比较，找到图像中偏离所述数据趋势曲线大于预设阈值的异常点，获取异常点的数据标签，定位数据标签对应的异常数据。本发明在较低的研发成本下就可以自动获得异常数据，为厂家的异常分析提供便利的条件。

Description

得到异常数据的方法及系统
技术领域
本发明涉及数据分析技术，尤其涉及一种基于图形的快速识别异常数据的方法及系统。
背景技术
识别数据异常的方法有多种，现有技术中往往是将待测数据与以往存储数据相比较，偏差较大，则可视为有异常，又或者根据存储数据预测绘制数据趋势曲线，判断实际值是否有偏离数据趋势曲线，若实际值偏离该数据趋势曲线，则视为异常，也可结合工程实际应用负载情况推算额定值，识别实际数据超过额定值，则可视为异常。以上方法，更多是在数据分析软件实现，要么不够直观，要么需要人为分析，不适用需要自动分析数据异常的应用场合。
也有的现有技术将待测数据绘制成专业的图形，异常数据的点通常都会发生较大的偏离，没有规律，然后通过人工来进行判断异常点，但是这种方法虽然在图中可以看到有异常数据，但是具体异常数据代表的是哪部分具体的数据值还需要人工进一步去查验，且在数据量较多的情况下，绘图也需要占用研发成本，人工判断更加需要耗费较多的精力。而现有技术中存在比较专业的绘图软件却不能直接利用来进行自动的异常数据的分析，导致资源的浪费或耗费。
发明内容
为了解决现有技术中如何利用第三方专业的制图软件来自动获得异常数据的技术问题，提出了得到异常数据的方法及系统。
本发明提出的得到异常数据的方法，包括步骤：
为每一条待测数据赋予一个唯一的数据标签；
将所述待测数据发送给第三方软件生成带数据标签的图形，并获取所述图形对应的图像；
将所述图像与预设的数据趋势曲线进行比较，找到图像中偏离所述数据趋势曲线大于预设阈值的异常点，获取异常点的数据标签，定位数据标签对应的异常数据。
在一个实施例中，所述数据趋势曲线与预设阈值根据经过检验的正确的实验数据得出。在另一个实施例中，所述数据趋势曲线与预设阈值根据预设的数学模型得出。
优选的，所述待测数据为相关数据的本次取值与上一次取值之间的差值。
具体的，所述获取异常点的数据标签，定位数据标签对应的异常数据具体包括步骤：将所述图像进行放大；直至可以清晰捕捉到数据标签的内容；根据所述数据标签查找到对应的待测数据，将该待测数据判定为异常数据。
具体的，所述第三方软件为tableau软件或spark软件。
具体的，所述图形包括直方图、散点图和圆环图当中的至少一种。
具体的，通过摄像头或扫描仪获取所述图形对应的图像。
本发明提出的得到异常数据的系统采用了上述技术方案中的方法，该系统包括：图像获取单元，获取第三方软件生成的图形并形成图像；数据获取单元，用于获取待测数据并为其赋予数据标签，将待测数据发送给第三方软件；数据处理单元，将所述图像与预设的数据趋势曲线进行比较，找到图像中偏离所述数据趋势曲线的异常点，获取异常点的数据标签，定位数据标签对应的异常数据；数据存储单元，用于存储所述预设的数据趋势曲线，以及带唯一的数据标签的待测数据和数据处理单元的处理结果。
具体的，所述图像获取单元为扫描仪或相机。
本发明基于图形识别数据异常，利用第三方软件将数据顺利地通过图形绘制出来，减轻了研发成本，同时通过图像识别，就可以轻松自动找到数据异常点。
附图说明
下面结合实施例和附图对本发明进行详细说明，其中：
图1是本发明装置的结构框图。
图2是本发明异常数据偏离正常数据的示意图。
图3是本发明通过差值得到异常数据的示意图。
具体实施方式
下面结合附图详细说明本发明的原理及实施例。
如图1所示，本发明的系统包括了图像获取单元，数据获取单元，数据处理单元和数据存储单元。图像获取单元获取第三方软件生成的图形并形成图像。数据获取单元用来获取待测数据并为其赋予数据标签，将待测数据发送给第三方软件。数据处理单元将图像与预设的数据趋势曲线进行比较，找到图像中偏离所述数据趋势曲线的异常点，获取异常点的数据标签，定位数据标签对应的异常数据。而数据存储单元用来存储预设的数据趋势曲线，以及带唯一的数据标签的待测数据和数据处理单元的处理结果。本系统在工作时，数据获取单元与数据源和第三方软件进行通讯，从数据源获取待测试数据，并为每一条待测数据赋予一个唯一的数据标签，然后将待测数据发送给第三方软件。图像获取单元获取第三方软件生成的图形对应的图像，然后交给数据处理单元，数据处理单元对图像进行分析处理，将图像与数据存储单元中预设的数据趋势曲线进行比较，找到图像中偏离数据趋势曲线大于预设阈值的异常点，获取异常点的数据标签，然后根据数据存储单元中存储的待测数据来定位数据标签对应的异常数据。
本发明的数据趋势曲线和预设阈值可以通过两种方式获得，一种是通过实验获取到正确的实验数据，根据正确的实验数据可以得知相应的数据趋势曲线以及相应的偏差阈值，该偏差阈值作为预设阈值。另一种是通过大数据量训练并建立数学模型，如发电数学模型，基于发电数学模型，在每天的每个时间点发电数据将可预测，通过数学模型预测的数据来得到预设的数据趋势曲线和偏差阈值，当实际数据偏离发电数学模型预测的数值大于偏差阈值时，即可视为异常。
本发明的第三方软件为tableau软件或spark软件，以tableau工具为例，其可以对能源数据进行数据分析，并绘制了直方图、散点图、圆环图等。本发明将第三方软件绘制的这些图形通过图像获取单元获取过来展示并可以自动分析得到异常数据。采用第三方软件的好处在于可以节约研发成本，若是通过自己编程来实现图形展示，需要用java等语言重写直方图、散点图等分析图形的绘制，无成熟的接口可以直接调用，而且绘制直方图、散点图等涉及复杂数学计算过程、绘制过程，非一般人能理解，研发成本较大。
本发明的图像获取单元可以是扫描仪也可以是摄像头。以扫描仪为例，本发明将第三方软件生成的图形（包括但不限于直方图、散点图和圆环图）通过扫描仪获取为图像，通过对图像进行分析，可以很直观地看出，圆圈标注的为异常数据，如图2所示，因为在整体系统运行过程中，每天的数据是会呈现规律性变化，正常情况下，总会在一条数据趋势曲线运行，当数据较大偏离该数据趋势曲线时，已可断定为异常数据。
具体的，当数据处理单元找到异常点时，可以将图像进行放大，直至可以清晰捕捉到数据标签的内容，由于数据标签跟对应的待测数据之间具有关联，因此可以根据数据标签查找到对应的待测数据，再将该待测数据判定为异常数据。
待测数据除了可以是当前系统运行的参数的一个具体取值，有了为了便于分析，待测数据还可以是相关数据的本次取值与上一次取值之间的差值。如图3所示，又以直方图为例，先以今天的数值减去昨天对应时间点的数值，再绘制直方图，结合在正常情况下，整体系统应该会在一条数据趋势曲线运行，因此每个时间点相减的值应全趋近为0，否则，数据异常，通过差值可以快速判断到异常数据。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种得到异常数据的方法，其特征在于，包括步骤：
为每一条待测数据赋予一个唯一的数据标签；
将所述待测数据发送给第三方软件生成带数据标签的图形，并获取所述图形对应的图像；
将所述图像与预设的数据趋势曲线进行比较，找到图像中偏离所述数据趋势曲线大于预设阈值的异常点，获取异常点的数据标签，定位数据标签对应的异常数据。
2.如权利要求1所述的得到异常数据的方法，其特征在于，所述数据趋势曲线与预设阈值根据经过检验的正确的实验数据得出。
3.如权利要求1所述的得到异常数据的方法，其特征在于，所述数据趋势曲线与预设阈值根据预设的数学模型得出。
4.如权利要求1所述的得到异常数据的方法，其特征在于，所述获取异常点的数据标签，定位数据标签对应的异常数据具体包括步骤：
将所述图像进行放大；
直至可以清晰捕捉到数据标签的内容；
根据所述数据标签查找到对应的待测数据，将该待测数据判定为异常数据。
5.如权利要求1所述的得到异常数据的方法，其特征在于，所述待测数据为相关数据的本次取值与上一次取值之间的差值。
6.如权利要求1所述的得到异常数据的方法，其特征在于，所述第三方软件为tableau软件或spark软件。
7.如权利要求1所述的得到异常数据的方法，其特征在于，所述图形包括直方图、散点图和圆环图当中的至少一种。
8.如权利要求1所述的得到异常数据的方法，其特征在于，通过摄像头或扫描仪获取所述图形对应的图像。
9.一种采用了上述如权利要求1至8任意一项所述的得到异常数据的方法的系统，其特征在于，包括：
图像获取单元，获取第三方软件生成的图形并形成图像；
数据获取单元，用于获取待测数据并为其赋予数据标签，将待测数据发送给第三方软件；
数据处理单元，将所述图像与预设的数据趋势曲线进行比较，找到图像中偏离所述数据趋势曲线的异常点，获取异常点的数据标签，定位数据标签对应的异常数据；
数据存储单元，用于存储所述预设的数据趋势曲线，以及带唯一的数据标签的待测数据和数据处理单元的处理结果。
10.如权利要求9所述的系统，其特征在于，所述图像获取单元为扫描仪或相机。
CN201910969970.5A 2019-10-12 2019-10-12 得到异常数据的方法及系统 Active CN110674126B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910969970.5A CN110674126B (zh) 2019-10-12 2019-10-12 得到异常数据的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910969970.5A CN110674126B (zh) 2019-10-12 2019-10-12 得到异常数据的方法及系统

Publications (2)

Publication Number Publication Date
CN110674126A true CN110674126A (zh) 2020-01-10
CN110674126B CN110674126B (zh) 2020-12-11

Family

ID=69082179

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910969970.5A Active CN110674126B (zh) 2019-10-12 2019-10-12 得到异常数据的方法及系统

Country Status (1)

Country Link
CN (1) CN110674126B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008008713A (ja) * 2006-06-28 2008-01-17 Fujifilm Corp 測定データの比較方法及びプログラム
CN103473473A (zh) * 2013-09-26 2013-12-25 深圳市华傲数据技术有限公司 一种基于散点图的数据质量检测方法及系统
CN106649050A (zh) * 2016-09-09 2017-05-10 西安交通大学 时序系统多参数运行态势图形表示方法
CN106933691A (zh) * 2017-03-09 2017-07-07 深圳市彬讯科技有限公司 一种针对季节性时序数据序列中异常点的识别方法及系统
CN107133140A (zh) * 2016-02-29 2017-09-05 施耐德电气美国股份有限公司 基于相片的图像分析的监控系统
CN107766299A (zh) * 2017-10-24 2018-03-06 携程旅游信息技术（上海）有限公司 数据指标异常的监控方法及其系统、存储介质、电子设备
WO2018136899A1 (en) * 2017-01-23 2018-07-26 Paypal, Inc. Identifying computer behavior using visual data organization and graphs
CN108830835A (zh) * 2018-05-25 2018-11-16 北京长木谷医疗科技有限公司 识别脊柱矢状位图像异常的方法及计算设备
CN108960480A (zh) * 2018-05-18 2018-12-07 北京工业职业技术学院 沉降预测方法及装置
CN109600578A (zh) * 2017-09-29 2019-04-09 株式会社理光 图像处理装置、图像处理系统、图像处理方法
CN109726029A (zh) * 2017-10-27 2019-05-07 波音公司 利用图形转换时间数据的交通工具故障检测系统及方法
CN110321914A (zh) * 2018-03-30 2019-10-11 中国石化销售有限公司 一种油品质量分析管控系统

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008008713A (ja) * 2006-06-28 2008-01-17 Fujifilm Corp 測定データの比較方法及びプログラム
CN103473473A (zh) * 2013-09-26 2013-12-25 深圳市华傲数据技术有限公司 一种基于散点图的数据质量检测方法及系统
CN107133140A (zh) * 2016-02-29 2017-09-05 施耐德电气美国股份有限公司 基于相片的图像分析的监控系统
CN106649050A (zh) * 2016-09-09 2017-05-10 西安交通大学 时序系统多参数运行态势图形表示方法
WO2018136899A1 (en) * 2017-01-23 2018-07-26 Paypal, Inc. Identifying computer behavior using visual data organization and graphs
CN106933691A (zh) * 2017-03-09 2017-07-07 深圳市彬讯科技有限公司 一种针对季节性时序数据序列中异常点的识别方法及系统
CN109600578A (zh) * 2017-09-29 2019-04-09 株式会社理光 图像处理装置、图像处理系统、图像处理方法
CN107766299A (zh) * 2017-10-24 2018-03-06 携程旅游信息技术（上海）有限公司 数据指标异常的监控方法及其系统、存储介质、电子设备
CN109726029A (zh) * 2017-10-27 2019-05-07 波音公司 利用图形转换时间数据的交通工具故障检测系统及方法
CN110321914A (zh) * 2018-03-30 2019-10-11 中国石化销售有限公司 一种油品质量分析管控系统
CN108960480A (zh) * 2018-05-18 2018-12-07 北京工业职业技术学院 沉降预测方法及装置
CN108830835A (zh) * 2018-05-25 2018-11-16 北京长木谷医疗科技有限公司 识别脊柱矢状位图像异常的方法及计算设备

Also Published As

Publication number Publication date
CN110674126B (zh) 2020-12-11

Similar Documents

Publication Publication Date Title
CN109142366B (zh) 球形外壳缺陷检测方法、装置及计算机可读存储介质
US20170358931A1 (en) Charging method and electronic device
CN107766208B (zh) 一种监控业务系统的方法、系统及装置
CN104765664A (zh) Pci设备检测系统及方法
CN109919488B (zh) 一种基于在线监测数据的保护装置状态趋势分析方法
CN110750413A (zh) 多机房温度报警方法、装置及存储介质
CN111126196A (zh) 一种设备漏油检测方法
CN110942455A (zh) 输电线路开口销缺失检测方法、装置和计算机设备
CN106711933B (zh) 一种设备供电异常处理方法、装置及摄像机
CN110674126B (zh) 得到异常数据的方法及系统
CN113470005A (zh) 一种圆柱电池盖帽的焊点检测装置和焊点检测方法
CN114200877B (zh) 一种用电设备的监控方法和装置
CN114511284A (zh) 基于bim的全过程信息化监管方法、系统、装置及存储介质
CN110659717B (zh) 一种智能识别染色体数量的方法及系统
CN116633002B (zh) 一种基于人工智能的uv变频电源并联运行控制系统
CN111397853B (zh) 背光自检系统及方法
CN111784042B (zh) 一种用电节点安全风险预测方法、装置及存储介质
CN110441714B (zh) 指示灯的检测方法、装置及计算机可读存储介质
CN104951555A (zh) 一种日志信息管理方法及日志信息管理终端
CN116488578A (zh) 一种基于ai视觉辅助的光伏设备分析方法
CN115965625A (zh) 一种基于视觉识别的仪表检测装置及其检测方法
CN115436834A (zh) 一种嵌入式电源异常检测方法及系统
WO2019075907A1 (zh) 检测规则更新方法、装置、用电安全监测系统及存储介质
CN112924890A (zh) 一种检测电源的方法、装置和电子设备
CN110806729B (zh) 生产线的开关机及供断电控制方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant