CN106022592B - 一种用电行为异常检测与治安风险预警方法及装置 - Google Patents

一种用电行为异常检测与治安风险预警方法及装置 Download PDF

Info

Publication number
CN106022592B
CN106022592B CN201610323606.8A CN201610323606A CN106022592B CN 106022592 B CN106022592 B CN 106022592B CN 201610323606 A CN201610323606 A CN 201610323606A CN 106022592 B CN106022592 B CN 106022592B
Authority
CN
China
Prior art keywords
power consumption
period
behavior
abnormal
electricity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610323606.8A
Other languages
English (en)
Other versions
CN106022592A (zh
Inventor
敖乃翔
石立新
王德勇
顾洪健
师文喜
郭静
焦栋
徐心毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Academy of Electronic and Information Technology of CETC
Original Assignee
China Academy of Electronic and Information Technology of CETC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Academy of Electronic and Information Technology of CETC filed Critical China Academy of Electronic and Information Technology of CETC
Priority to CN201610323606.8A priority Critical patent/CN106022592B/zh
Publication of CN106022592A publication Critical patent/CN106022592A/zh
Application granted granted Critical
Publication of CN106022592B publication Critical patent/CN106022592B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0635—Risk analysis of enterprise or organisation activities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/80—Management or planning
    • Y02P90/82—Energy audits or management systems therefor

Landscapes

  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Engineering & Computer Science (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Marketing (AREA)
  • General Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Educational Administration (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Game Theory and Decision Science (AREA)
  • Development Economics (AREA)
  • Public Health (AREA)
  • Water Supply & Treatment (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提出了一种用电行为异常检测与治安风险预警方法及装置，该方法包括：从用户档案数据库和电力运营数据库中读取数据项，将所述数据项保存至中间库，将中间库的数据项经过格式转换后存储至分布式数据库；对所述分布式数据库中的数据项进行用电特征提取；根据所述用电特征对数据项进行筛选，得到待检测数据项，并对所述待检测数据项进行用电异常行为检测。通过对用电量数据的实时监测，实现了对嫌疑人员的管控手段；实现对异常用电行为的自动识别和对危险迹象的自动预警；实现基于大数据分析架构的异常用电行为自动判别，提升社会治安的监测预警能力。

Description

一种用电行为异常检测与治安风险预警方法及装置
技术领域
本发明涉及信息技术领域，尤其涉及一种用电行为异常检测与治安风险预警方法及装置。
背景技术
在社会现代化程度不断加深的今天，电力作为主要的二次能源，已成为日常生产、生活中必不可少的关键要素。电力大数据在电力生产和使用过程中产生，数据来源涉及电力生产和电能使用过程中的发电、输电、变电、配电、用电和调度等各个环节。
电力大数据具有大数据普遍特征，具有以下为5个特点：数据量大；数据类型多；需快速处理；数据准确性高；数据价值高。对电力大数据的挖掘分析，可产生巨大的社会价值和商业价值。例如：对区域用电量数据的分析可反映区域发展水平、产业分布和经济走势；对电力生产数据和企业、家庭、楼宇用电数据进行关联分析，可为相关部门提供实时响应电价、供需平衡等方面的决策支持，提升能效管理水平；对配电、调度、采集设备自身状态数据的分析，可及时发现故障原因和潜在风险，避免不必要的损失。
此外，根据公安部门在近年来重大公共安全案件侦破过程中的经验，在袭击或爆炸事件的组织和实施过程中，涉案人员的用电行为很可能呈现出明显的异常特征。电力数据的挖掘分析，对社会治安风险的监测预警具有重要意义。
现有的电力数据异常检测方法，主要关注配电、调度和采集设备故障或异常状态的检测，缺乏对用户用电量数据进行异常用电行为检测。现有的对设备运行状态的异常检测方法，主要是根据已知的设备异常运行状态反映在数据上的特征，设计数据挖掘分析算法，进行匹配判别，缺乏采用从海量数据中自动学习和归纳普遍规律的方法，因而无法自动识别区别于普遍规律的或未知的异常行为特征。并且现有技术中缺乏对基于人员日常用电行为数据挖掘分析的异常动向自动识别和潜在治安风险提前预警方法。
发明内容
本发明要解决的技术问题是，提供一种用电行为异常检测与治安风险预警方法及装置，克服现有技术中基于人员对电行为异常检测效率低下的缺陷，实现了通过大数据分析架构对异常用电行为进行自动判断。
本发明采用的技术方案是，所述用电行为异常检测与治安风险预警方法，包括：
步骤一，从用户档案数据库和电力运营数据库中读取数据项，将所述数据项保存至中间库，将中间库的数据项经过格式转换后存储至分布式数据库；
步骤二，对所述分布式数据库中的数据项进行用电特征提取；
步骤三，根据所述用电特征对数据项进行筛选，得到待检测数据项，并对所述待检测数据项进行用电异常行为检测。
进一步的，所述数据项包括：所述用户档案数据项和所述运营数据数据项；
所述步骤一，包括：
步骤A1，从所述用户档案数据库读取的用户档案数据项包括：采集终端的编号、采集时间、用户注册姓名、用户电表编号、和用户电表所在地址；从所述电力运营数据库中读取运营数据数据项包括：当前用电最总量、峰时段累积用电量、平时段累积用电量和谷时段累积用电量；
步骤A2，在电力内网中建立所述中间库，将所述数据项中的所述用户档案数据项和所述运营数据数据项分别由所述用户档案数据库和所述电力运营数据库同步至所述中间库；同时，定期对所述中间库中的所述数据项进行更新；
步骤A3，从所述中间库读取所述数据项，将所述数据项与所述用户电表编号进行关联，将关联后的数据项转换为Key-Value格式数据项，并存储至分布式数据库；若所述中间库中的数据项进行更新，则将更新的数据项转换为所述Key-Value格式数据项，并对所述分布式数据库中的所述Key-Value格式数据项进行更新；
其中，所述Key-Value格式数据项包括：Key和Column Value；
将所述数据项的所述用户电表编号与所述采集时间拼接后的数字串作为所述Key；将数据项中的采集终端的编号、当前用电总量、峰时段累积用电量、平时段累积用电量和谷时段累积用电量作为所述Column Value；
在存储至分布式数据库的过程中，当从所述中间库读取所述数据项进行挖掘分析和异常检测时，需要通过防火墙做路由，经过入侵检测系统IPS、接入控制网关AC和强隔离设备访问所述中间库；
当从所述中间库读取所述数据项进行社会治安风险预警时，异常用电行为检测的社会治安风险预警系统设置在政法或公安部门专网，通过数据传输专线，经过所述防火墙、所述IPS、所述AC和所述强隔离设备访问所述中间库。
进一步的，所述步骤二，包括：
步骤B1，对所述Key-Value格式数据项是否为异常特征数据项进行判断，并对判定为所述异常特征数据项的Key-Value格式数据项进行剔除，得到待特征提取Key-Value格式数据项；
其中，任一所述Key-Value格式数据项i天的当前用电最总量为sum_cur_totali，其中，i的取值范围为：1＜i＜n，i和n为整数；
第i天的任一所述Key-Value格式数据项的用电量为Ai；
Ai＝Sum_cur_totali-Sum_cur_totali-1；
若所述Ai＜0，则判定Ai＜0对应的Key-Value格式数据项为异常特征数据项；
若i天的峰时段累积用电量、平时段累积用电量和谷时段累积用电量总和与当前用电最总量为不相等，则判定该Key-Value格式数据项为异常特征数据项；
步骤B2，对所述待特征提取Key-Value格式数据项进行用电特征提取；
其中，所述用电特征包括：第i天峰时段用电量、第i天平时段用电量、第i天谷时段用电量、第i天中峰时段用电量占比、第i天平时段用电量占比、第i天谷时段用电量占比、日用电量占比的波动系数、各时段用电量占比的波动系数和各时段用电量占比的波动系数；
各时段包括：峰时段、平时段和谷时段；
步骤B3，对提取的所述用电特征进行正常用电行为特征判断，得到所述正常用电行为特征对应的Key-Value格式数据项；
其中，所述正常用电行为特征包括：
若所有所述待特征提取Key-Value格式数据项的所述第i天峰时段用电量>所述第i天平时段用电量>所述第i天谷时段用电量的占比大于90％，则所述第i天峰时段用电量>所述第i天平时段用电量>所述第i天谷时段用电量的用电行为判定为正常用电行为特征；
若所有所述待特征提取Key-Value格式数据项的所述第i天谷时段用电量占比<0.25的占比大于85％，则所述第i天谷时段用电量占比<0.25的用电行为判定为正常用电行为特征；
若所有所述待特征提取Key-Value格式数据项的所述第i天谷时段用电量占比的波动系数<1的占比大于85％，则所述第i天谷时段用电量占比的波动系数<1的用电行为判定为正常用电行为特征；
若所有所述待特征提取Key-Value格式数据项的所述第i天谷时段用电量占比波动系数＜5的占比大于99％，则所述第i天谷时段用电量占比波动系数＜5的用电行为判定为正常用电行为特征。
进一步的，所述步骤三，包括：
步骤C1，对所述Key-Value格式数据项中所述异常特征和所述正常用电行为特征对应的Key-Value格式数据项进行剔除，得到待检测的Key-Value格式数据项；
步骤C2，通过MapReduce计算模型对所述待检测的Key-Value格式数据项进行用电异常行为检测；
Map过程：计算最近一周和最近一个月每个所述待检测的Key-Value格式数据项的每日用电量、每日各时段用电量和每日各时段用电量占比；计算最近一周和最近一个月每个所述待检测的Key-Value格式数据项的所述每日用电量的均值、所述每日用电量的方差、所述每日用电量波动的系数、所述每日各时段用电量的均值、所述每日各时段用电量的方差、所述每日各时段用电量的波动系数、所述每日各时段用电量占比的均值、所述每日各时段用电量占比的方差和所述每日各时段用电量占比的波动系数；
Reduce过程：根据所述Map过程计算得到的所述每日用电量、所述每日各时段用电量、所述每日各时段用电量占比、所述每日用电量的均值、所述每日用电量的方差、所述每日用电量波动的系数、所述每日各时段用电量的均值、所述每日各时段用电量的方差、所述每日各时段用电量的波动系数、所述每日各时段用电量占比的均值、所述每日各时段用电量占比的方差和所述每日各时段用电量占比的波动系数，基于聚类特征项对待检测的Key-Value格式数据项执行聚类操作，得到不属于聚类特征的Key-Value格式数据项；
其中，所述聚类特征项包括：全天用电量波动系数、峰时段用电量波动系数、平时段用电量波动系数、谷时段用电量波动系数、峰时段用电量占比波动系数、平时段用电量占比波动系数和谷时段用电量占比波动系数；
应用局部异常因子LOF算法对所述不属于聚类特征的Key-Value格式数据项进行的异常检测，根据LOF算法score值分布，得到用电异常行为等级最高的Key-Value格式数据项；
步骤C3，对所述用电异常行为等级最高的Key-Value格式数据项进一步进行用电异常行为判断，得到用电异常行为报警信息；
报警类型1：若所述用电异常行为等级最高的Key-Value格式数据项第i天谷时段用电量波动系数和谷时段用电量占比波动系数的增幅大于50％，第i天谷时段用电量与峰时段用电量和平时段用电量的比例关系为Ai,valley/(Ai,peak+Ai,normal)，若Ai,valley＞2Ai-1,valley，则判定为用电异常行为，并生成报警类型1的用电异常行为报警信息；随报警类型1用电异常行为持续天数的增加，报警类型1用电异常行为用电异常行为报警级别逐步提高；
报警类型2：若所述用电异常行为等级最高的Key-Value格式数据项当前用电最总量连续3天增加，且累积增加幅度超过100％，则判定为用电异常行为，生成报警类型2的用电异常行为报警信息；随报警类型2用电异常行为持续天数的增加，报警类型2用电异常行为报警级别逐步提高；
报警类型3：若所述用电异常行为等级最高的Key-Value格式数据项第i天全天用电量降为0，第i天之后连续三天全天用电量持续为0，则判定为用电异常行为，生成报警类型3的用电异常行为报警信息；随报警类型3用电异常行为持续天数的增加，报警类型3用电异常行为报警级别逐步提高；
报警类型4：若所述用电异常行为等级最高的Key-Value格式数据项第i天全天用电量降幅度超过50％，第i天之后连续3天全天用电量波动幅度不超过20％，并且谷时段、峰时段和平时段用电量占比的相互差距均不超过20％，则为用电异常行为，生成报警类型4的用电异常行为报警信息；随报警类型4用电异常行为持续天数的增加，报警类型4用电异常行为报警级别逐步提高。
进一步的，所述步骤三之后，所述方法还包括：
步骤四，将所述用电异常行为报警信息与地理信息系统GIS相结合，将用电异常行为报警的电表位置在GIS地图进行显示；
基于所述用电异常行为报警信息与所述数据项的映射关系，可以得到用电异常行为报警的用户电表所在地址；将所述用电异常行为报警的用户电表所在地址在所述GIS地图上进行显示，同时将所述GIS地图内的用电异常行为报警信息以列表形式进行显示，所述列表包括：告警等级、用户名和报警时间；通过点击所述用电异常行为报警的用户电表所在地址查看用户详细信息、报警类型和用电曲线信息；
步骤五，对所述GIS地图中设定区域内的用电异常行为报警的用户电表进行统计，得到设定区域内用电异常指标；
所述用电异常指标包括：设定区域内用电异常行为报警级别和用电异常电表数量；
步骤六，对所述GIS地图中设定区域内嫌疑人员用电行为，执行步骤一至步骤三进行判断所述区域内嫌疑人员是否为用电异常行为。
本发明还提供一种用电行为异常检测与治安风险预警装置，包括：
存储模块，用于从用户档案数据库和电力运营数据库中读取数据项，将所述数据项保存至中间库，将中间库的数据项经过格式转换后存储至分布式数据库；
特征提取模块，用于对所述分布式数据库中的数据项进行用电特征提取；
检测模块，用于根据所述用电特征对数据项进行筛选，得到待检测数据项，并对所述待检测数据项进行用电异常行为检测。
进一步的，所述存储模块，包括：
读取模块，用于从所述用户档案数据库读取的用户档案数据项包括：采集终端的编号、采集时间、用户注册姓名、用户电表编号和用户电表所在地址；从所述电力运营数据库中读取运营数据数据项包括：当前用电最总量、峰时段累积用电量、平时段累积用电量和谷时段累积用电量；
所述数据项包括：所述用户档案数据项和所述运营数据数据项；
同步模块，用于在电力内网中建立所述中间库，将所述数据项中的所述用户档案数据项和所述运营数据数据项分别由所述用户档案数据库和所述电力运营数据库同步至所述中间库；同时，定期对所述中间库中的所述数据项进行更新；
分布存储模块，用于从所述中间库读取所述数据项，将所述数据项与所述用户电表编号进行关联，将关联后的数据项转换为Key-Value格式数据项，并存储至分布式数据库；若所述中间库中的数据项进行更新，则将更新的数据项转换为所述Key-Value格式数据项，并对所述分布式数据库中的所述Key-Value格式数据项进行更新；
其中，所述Key-Value格式数据项包括：Key和Column Value；
将所述数据项的所述用户电表编号与所述采集时间拼接后的数字串作为所述Key；将数据项中的采集终端的编号、当前用电最总量、峰时段累积用电量、平时段累积用电量和谷时段累积用电量作为所述Column Value；
传输保护模块，用于在存储至分布式数据库的过程中，当从所述中间库读取所述数据项进行挖掘分析和异常检测时，需要通过防火墙做路由，经过入侵检测系统IPS、接入控制网关AC和强隔离设备访问所述中间库；
当从所述中间库读取所述数据项进行社会治安风险预警时，异常用电行为检测的社会治安风险预警系统设置在政法或公安部门专网，通过数据传输专线，经过所述防火墙、所述IPS、所述AC和所述强隔离设备访问所述中间库。
进一步的，所述特征提取模块，包括：
异常特征判断模块，用于对所述Key-Value格式数据项是否为异常特征数据项进行判断，并对判定为所述异常特征数据项的Key-Value格式数据项进行剔除，得到待特征提取Key-Value格式数据项；
其中，任一所述Key-Value格式数据项i天的当前用电最总量为sum_cur_totali，其中，i的取值范围为：1＜i＜n，i和n为整数；
第i天的任一所述Key-Value格式数据项的用电量为Ai；
Ai＝Sum_cur_totali-Sum_cur_totali-1；
若所述Ai＜0，则判定Ai＜0对应的Key-Value格式数据项为异常特征数据项；
若i天的峰时段累积用电量、平时段累积用电量和谷时段累积用电量总和与当前用电最总量为不相等，则判定该Key-Value格式数据项为异常特征数据项；
用电特征计算模块，用于对所述待特征提取Key-Value格式数据项进行用电特征提取；
其中，所述用电特征包括：第i天峰时段用电量、第i天平时段用电量、第i天谷时段用电量、第i天中峰时段用电量占比、第i天平时段用电量占比、第i天谷时段用电量占比、日用电量占比的波动系数、各时段用电量占比的波动系数和各时段用电量占比的波动系数；
各时段包括：峰时段、平时段和谷时段；
正常用电行为特征判断模块，用于对提取的所述用电特征进行正常用电行为特征判断，得到所述正常用电行为特征对应的Key-Value格式数据项；
其中，所述正常用电行为特征包括：
若所有所述待特征提取Key-Value格式数据项的所述第i天峰时段用电量>所述第i天平时段用电量>所述第i天谷时段用电量的占比大于90％，则所述第i天峰时段用电量>所述第i天平时段用电量>所述第i天谷时段用电量的用电行为判定为正常用电行为特征；
若所有所述待特征提取Key-Value格式数据项的所述第i天谷时段用电量占比<0.25的占比大于85％，则所述第i天谷时段用电量占比<0.25的用电行为判定为正常用电行为特征；
若所有所述待特征提取Key-Value格式数据项的所述第i天谷时段用电量占比的波动系数<1的占比大于85％，则所述第i天谷时段用电量占比的波动系数<1的用电行为判定为正常用电行为特征；
若所有所述待特征提取Key-Value格式数据项的所述第i天谷时段用电量占比波动系数＜5的占比大于99％，则所述第i天谷时段用电量占比波动系数＜5的用电行为判定为正常用电行为特征。
进一步的，所述检测模块，包括：
预处理模块，用于对所述Key-Value格式数据项中所述异常特征和所述正常用电行为特征对应的Key-Value格式数据项进行剔除，得到待检测的Key-Value格式数据项；
用电异常行为检测模块，用于通过MapReduce计算模型对所述待检测的Key-Value格式数据项进行用电异常行为检测；
Map过程：计算最近一周和最近一个月每个所述待检测的Key-Value格式数据项的每日用电量、每日各时段用电量和每日各时段用电量占比；计算最近一周和最近一个月每个所述待检测的Key-Value格式数据项的所述每日用电量的均值、所述每日用电量的方差、所述每日用电量波动的系数、所述每日各时段用电量的均值、所述每日各时段用电量的方差、所述每日各时段用电量的波动系数、所述每日各时段用电量占比的均值、所述每日各时段用电量占比的方差和所述每日各时段用电量占比的波动系数；
Reduce过程：根据所述Map过程计算得到的所述每日用电量、所述每日各时段用电量、所述每日各时段用电量占比、所述每日用电量的均值、所述每日用电量的方差、所述每日用电量波动的系数、所述每日各时段用电量的均值、所述每日各时段用电量的方差、所述每日各时段用电量的波动系数、所述每日各时段用电量占比的均值、所述每日各时段用电量占比的方差和所述每日各时段用电量占比的波动系数，基于聚类特征项对待检测的Key-Value格式数据项执行聚类操作；得到不属于聚类特征的Key-Value格式数据项；
其中，所述聚类特征项包括：全天用电量波动系数、峰时段用电量波动系数、平时段用电量波动系数、谷时段用电量波动系数、峰时段用电量占比波动系数、平时段用电量占比波动系数和谷时段用电量占比波动系数；
应用局部异常因子LOF算法对所述不属于聚类特征的Key-Value格式数据项进行的异常检测，根据LOF算法score值分布，得到用电异常行为等级最高的Key-Value格式数据项；
报警模块，用于对所述用电异常行为等级最高的Key-Value格式数据项进一步进行用电异常行为判断，得到用电异常行为报警信息；
报警类型1：若所述用电异常行为等级最高的Key-Value格式数据项第i天谷时段用电量波动系数和谷时段用电量占比波动系数的增幅大于50％，第i天谷时段用电量与峰时段用电量和平时段用电量的比例关系为Ai,valley/(Ai,peak+Ai,normal)，若Ai,valley＞2Ai-1,valley，则判定为用电异常行为，并生成报警类型1的用电异常行为报警信息；随报警类型1用电异常行为持续天数的增加，报警类型1用电异常行为用电异常行为报警级别逐步提高；
报警类型2：若所述用电异常行为等级最高的Key-Value格式数据项当前用电最总量连续3天增加，且累积增加幅度超过100％，则判定为用电异常行为，生成报警类型2的用电异常行为报警信息；随报警类型2用电异常行为持续天数的增加，报警类型2用电异常行为报警级别逐步提高；
报警类型3：若所述用电异常行为等级最高的Key-Value格式数据项第i天全天用电量降为0，第i天之后连续三天全天用电量持续为0，则判定为用电异常行为，生成报警类型3的用电异常行为报警信息；随报警类型3用电异常行为持续天数的增加，报警类型3用电异常行为报警级别逐步提高；
报警类型4：若所述用电异常行为等级最高的Key-Value格式数据项第i天全天用电量降幅度超过50％，第i天之后连续3天全天用电量波动幅度不超过20％，并且谷时段、峰时段和平时段用电量占比的相互差距均不超过20％，则为用电异常行为，生成报警类型4的用电异常行为报警信息；随报警类型4用电异常行为持续天数的增加，报警类型4用电异常行为报警级别逐步提高。
进一步的，所述装置，还包括：
地图显示模块，用于将所述用电异常行为报警信息与地理信息系统GIS相结合，将用电异常行为报警的电表位置在GIS地图进行显示；
基于所述用电异常行为报警信息与所述数据项的映射关系，可以得到用电异常行为报警的用户电表所在地址；将所述用电异常行为报警的用户电表所在地址在所述GIS地图上进行显示，同时将所述GIS地图内的用电异常行为报警信息以列表形式进行显示，所述列表包括：告警等级、用户名和报警时间；通过点击所述用电异常行为报警的用户电表所在地址查看用户详细信息、报警类型和用电曲线信息；
地图统计模块，用于对所述GIS地图中设定区域内的用电异常行为报警的用户电表进行统计，得到设定区域内用电异常指标；
所述用电异常指标包括：设定区域内用电异常行为报警级别和用电异常电表数量；
嫌疑人监控模块，用于对所述GIS地图中设定区域内嫌疑人员用电行为，通过所述存储模块、所述特征提取模块和所述检测模块进行判断所述区域内嫌疑人员是否为用电异常行为。
采用上述技术方案，本发明至少具有下列优点：
本发明所述一种用电行为异常检测与治安风险预警方法及装置，通过对用电量数据的实时监测，实现了对嫌疑人员的管控手段；实现对异常用电行为的自动识别和对危险迹象的自动预警；实现基于大数据分析架构的异常用电行为自动判别，提升社会治安的监测预警能力。
附图说明
图1为本发明第一实施例的用电行为异常检测与治安风险预警方法流程图；
图2为本发明第二实施例的用电行为异常检测与治安风险预警方法流程图；
图3为本发明第三实施例的用电行为异常检测与治安风险预警装置组成结构示意图；
图4为本发明第四实施例的用电行为异常检测与治安风险预警装置组成结构示意图；
图5为本发明第五实施例的用电行为异常检测数据传输示意及系统拓扑图；
图6为本发明第五实施例的MapReduce工作机制流程图；
图7为本发明第五实施例的夜间用电量突增类异常特征示意图；
图8为本发明第五实施例的全天用电量突增且剧烈波动类异常特征示意图；
图9为本发明第五实施例的用电量锐减且持续无回升类异常特征示意图。
具体实施方式
为更进一步阐述本发明为达成预定目的所采取的技术手段及功效，以下结合附图及较佳实施例，对本发明进行详细说明如后。
本发明第一实施例，一种用电行为异常检测与治安风险预警方法，如图1所示，包括以下具体步骤：
步骤S101，从用户档案数据库和电力运营数据库中读取数据项，将数据项保存至中间库，将中间库的数据项经过格式转换后存储至Hbase分布式数据库。
具体的，步骤S101，包括：
步骤A1，从用户档案数据库和电力运营数据库中读取数据项。
具体的，步骤A1，包括：
数据项包括：用户档案数据项和运营数据数据项。
从用户档案数据库读取的用户档案数据项包括：采集终端的编号Measure_id、采集时间Date、用户注册姓名User_name、用户电表编号User_id和用户电表所在地址User_address；
从电力运营数据库中读取运营数据数据项包括：当前用电最总量Sum_cur_total、峰时段累积用电量Sum_cur_peak、平时段累积用电量Sum_cur_normal和谷时段累积用电量Sum_cur_valley。
步骤A2，建立中间库，将数据项保存至中间库，并每天对中间库中的数据项进行更新。
在电力内网中建立中间库，将数据项中的用户档案数据项和运营数据数据项分别通过Goldengate数据同步技术由用户档案数据库和电力运营数据库同步至中间库。同时，每天对中间库中的数据项进行更新。
步骤A3，将中间库中的数据项进行分布式存储。
从中间库读取数据项，将数据项中的用户档案数据项和运营数据数据项与用户电表编号User_id进行关联，将关联后的数据项转化为Key-Value格式数据项，并存储在Hbase分布式数据库。若中间库中的数据项进行更新，则将更新的数据项转换为Key-Value格式数据项，并对Hbase分布式数据库中的Key-Value格式数据项进行更新。
其中，Key-Value格式数据项包括：Key和Column Value。
将数据项用户电表编号User_id与采集时间Date拼接后的数字串作为Key；将数据项中的采集终端的编号Measure_id、当前用电最总量Sum_cur_total、峰时段累积用电量Sum_cur_peak、平时段累积用电量Sum_cur_normal和谷时段累积用电量Sum_cur_valley作为Column Value。
例如，User_id为10001000，采集时期位20151231，那么1000100020151231则为Key值。
步骤A4，对数据项传输通道进行隔离保护。
当从中间库读取数据项进行挖掘分析和异常检测时，需要通过防火墙做路由，经过IPS(Intrusion Prevention System，入侵检测系统)、AC(Access Controller，接入控制网关)和强隔离设备访问电力内网中的中间库。将中间库配置为数据源，将数据项传输设置为从中间库到用电异常分析系统的数据库的单向传输。
当从中间库读取数据项进行社会治安风险预警时，基于异常用电行为检测的社会治安风险预警系统设置在政法或公安部门专网，通过数据传输专线，经过防火墙、IPS、AC和强隔离设备访问电力内网区域的中间库。将中间库配置为数据源，将数据传输设置为从中间库到用电异常分析系统的数据库的单向传输。
步骤S102，对Hbase分布式数据库中的Key-Value格式数据项进行用电特征提取。
具体的，步骤S102，包括：
步骤B1，对Key-Value格式数据项是否为异常特征数据项进行判断，并对判定为异常特征数据项的Key-Value格式数据项进行剔除，得到待特征提取Key-Value格式数据项。
对于任一Key-Value格式数据项，i天的当前用电最总量为sum_cur_totali，其中，i的取值范围为：1＜i＜n，i和n为整数。
第i天的任一Key-Value格式数据项的用电量为Ai。
Ai＝Sum_cur_totali-Sum_cur_totali-1
若Ai＜0，则判定该Key-Value格式数据项为异常特征数据项，并剔除该Key-Value格式数据项。
若i天的峰时段累积用电量Sum_cur_peaki、平时段累积用电量Sum_cur_normali和谷时段累积用电量Sum_cur_valleyi总和与当前用电最总量为sum_cur_totali不相等，则判定该Key-Value格式数据项为异常特征数据项，并剔除该Key-Value格式数据项。
步骤B2，对待特征提取Key-Value格式数据项进行用电特征提取。
用电特征包括：第i天峰时段用电量、第i天平时段用电量、第i天谷时段用电量、第i天中峰时段用电量占比、第i天平时段用电量占比、第i天谷时段用电量占比、日用电量占比的波动系数、各时段用电量占比的波动系数和各时段用电量占比的波动系数。
提取第i天峰时段、平时段和谷时段用电量。
第i天的峰时段用电量Ai,peak＝Sum_cur_peaki-Sum_cur_peaki-1。
第i天的平时段用电量Ai,normal＝Sum_cur_normali-Sum_cur_normali-1。
第i天的谷时段用电量Ai,valley＝Sum_cur_valleyi-Sum_cur_valleyi-1。
其中，峰时段为6时至10时和18时至22时。
谷时段为22时至6时。
平时段为10时至18时。
提取第i天中峰时段、平时段和谷时段用电量占比。
第i天的峰时段用电量占比ratioi,peak＝Ai,peak/Ai。
第i天的平时段用电量占比ratioi,normal＝Ai,normal/Ai。
第i天的谷时段用电量占比ratioi,valley＝Ai,valley/Ai。
提取日用电量、各时段用电量和各时段用电量占比的波动系数。
首先计算日用电量、各时段用电量和各时段用电量占比的均值。
日用电量均值
Figure BDA0000991034050000161
峰时段用电量均值
Figure BDA0000991034050000162
平时段用电量均值
Figure BDA0000991034050000163
谷时段用电量均值
Figure BDA0000991034050000164
峰时段用电量占比均值
Figure BDA0000991034050000165
平时段用电量占比均值
Figure BDA0000991034050000166
谷时段用电量占比均值
Figure BDA0000991034050000167
计算日用电量、各时段用电量和各时段用电量占比的方差，：
日用电量的方差
Figure BDA0000991034050000168
峰时段用电量方差
Figure BDA0000991034050000169
平时段用电量方差
Figure BDA00009910340500001610
谷时段用电量方差
Figure BDA00009910340500001611
峰时段用电量占比的方差
Figure BDA00009910340500001612
平时段用电量占比的方差
Figure BDA00009910340500001613
谷时段用电量占比的方差
Figure BDA00009910340500001614
计算日用电量、各时段用电量和各时段用电量占比波动系数。
日用电量波动系数
Figure BDA0000991034050000171
峰时段用电量波动系数
Figure BDA0000991034050000172
平时段用电量波动系数
Figure BDA0000991034050000173
其中，各时段包括：峰时段、平时段和谷时段。
步骤B3，对提取的用电特征进行正常用电行为特征判断，得到。
若所有待特征提取Key-Value格式数据项的第i天峰时段用电量>第i天平时段用电量>第i天谷时段用电量的占比大于90％，则第i天峰时段用电量>第i天平时段用电量>第i天谷时段用电量的用电行为判定为正常用电行为特征；
若所有待特征提取Key-Value格式数据项的第i天谷时段用电量占比<0.25的占比大于85％，则第i天谷时段用电量占比<0.25的用电行为判定为正常用电行为特征；
若所有待特征提取Key-Value格式数据项的第i天谷时段用电量占比的波动系数<1的占比大于85％，则第i天谷时段用电量占比的波动系数<1的用电行为判定为正常用电行为特征；
若所有待特征提取Key-Value格式数据项的第i天谷时段用电量占比波动系数＜5的占比大于99％，则第i天谷时段用电量占比波动系数＜5的用电行为判定为正常用电行为特征。
对正常用电行为特征对应的Key-Value格式数据项进行剔除。
步骤S103，根据用电特征，对Key-Value格式数据项进行筛选，得到待检测的Key-Value格式数据项，并对待检测的Key-Value格式数据项进行用电异常行为检测。
具体的，步骤S103，包括：
步骤C1，对Key-Value格式数据项中异常特征和正常用电行为特征对应的Key-Value格式数据项进行剔除，得到待检测的Key-Value格式数据项。
步骤C2，通过MapReduce计算模型对待检测的Key-Value格式数据项进行用电异常行为检测。
Map过程：计算最近一周和最近一个月每个待检测的Key-Value格式数据项的每日用电量、每日各时段用电量和每日各时段用电量占比；计算最近一周和最近一个月每个待检测的Key-Value格式数据项的每日用电量的均值、每日用电量的方差、每日用电量波动的系数、每日各时段用电量的均值、每日各时段用电量的方差、每日各时段用电量的波动系数、每日各时段用电量占比的均值、每日各时段用电量占比的方差和每日各时段用电量占比的波动系数。
Reduce过程：根据Map过程计算得到的每日用电量、每日各时段用电量、每日各时段用电量占比、每日用电量的均值、每日用电量的方差、每日用电量波动的系数、每日各时段用电量的均值、每日各时段用电量的方差、每日各时段用电量的波动系数、每日各时段用电量占比的均值、每日各时段用电量占比的方差和每日各时段用电量占比的波动系数，基于聚类特征项对待检测的Key-Value格式数据项通过K-Means算法执行聚类操作；得到不属于聚类特征的Key-Value格式数据项。
其中，聚类特征项包括：全天用电量波动系数Cv_cur_total、峰时段用电量波动系数Cv_cur_peak、平时段用电量波动系数Cv_cur_normal、谷时段用电量波动系数Cv_cur_valley、峰时段用电量占比波动系数Cv_ratio_peak、平时段用电量占比波动系数Cv_ratio_normal和谷时段用电量占比波动系数Cv_ratio_valley。
应用LOF(Local Outlier Factor，局部异常因子)算法对不属于聚类特征的Key-Value格式数据项进行的异常检测，根据LOF算法score值分布，得到用电异常行为等级最高的Key-Value格式数据项。该技术为现有技术，在此不详术。
例如：通过R语言应用LOF(Local Outlier Factor局部异常因子)算法，对不属于聚类特征的Key-Value格式数据项进行进一步的异常检测：
R语言代码包括：
Library(methods)；
Library(lattice)；
Library(grid)；
Library(DmwR)；
ds<-read.table(“./mid_feather.xls”)；
pdf(file＝”./outlier_figure.pdf”)；
ft_set<-ds[,38:44]；
outlier.scores<-lofactor(ft_set,k＝5)；
plot(density(outlier.scores))；
dev.off()；
outliers<-order(outlier.scores,decreasing＝T)[1:10]；
write.table(ds[outliers,],”outliers.xls”；
quote＝FALSE,row.names＝FALSE,col.name＝FALSE,sep＝”\t”,eol＝”\n”；
步骤C3，对用电异常行为等级最高的Key-Value格式数据项进一步进行用电异常行为判断，得到用电异常行为报警信息。
报警类型1：若用电异常行为等级最高的Key-Value格式数据项第i天谷时段用电量波动系数和谷时段用电量占比波动系数的增幅大于50％，第i天谷时段用电量与峰时段用电量和平时段用电量的比例关系为Ai,valley/(Ai,peak+Ai,normal)，若Ai,valley＞2Ai-1,valley，则判定为用电异常行为，并生成报警类型1的用电异常行为报警信息；随报警类型1用电异常行为持续天数的增加，报警类型1用电异常行为用电异常行为报警级别逐步提高；
报警类型2：若用电异常行为等级最高的Key-Value格式数据项当前用电最总量连续3天增加，且累积增加幅度超过100％，则判定为用电异常行为，生成报警类型2的用电异常行为报警信息；随报警类型2用电异常行为持续天数的增加，报警类型2用电异常行为报警级别逐步提高；
报警类型3：若用电异常行为等级最高的Key-Value格式数据项第i天全天用电量降为0，第i天之后连续三天全天用电量持续为0，则判定为用电异常行为，生成报警类型3的用电异常行为报警信息；随报警类型3用电异常行为持续天数的增加，报警类型3用电异常行为报警级别逐步提高；
报警类型4：若用电异常行为等级最高的Key-Value格式数据项第i天全天用电量降幅度超过50％，第i天之后连续3天全天用电量波动幅度不超过20％，并且谷时段、峰时段和平时段用电量占比的相互差距均不超过20％，则为用电异常行为，生成报警类型4的用电异常行为报警信息；随报警类型4用电异常行为持续天数的增加，报警类型4用电异常行为报警级别逐步提高。
本发明第二实施例，一种用电行为异常检测与治安风险预警方法，本实施例所述方法与第一实施例大致相同，区别在于，如图2所示，本实施例的所述方法，还包括以下具体步骤：
步骤S104，将用电异常行为报警信息与GIS(Geographic Information System，地理信息系统)相结合，将用电异常行为报警的电表位置在GIS地图进行显示。
基于用电异常行为报警信息与数据项的映射关系，可以得到用电异常行为报警的用户电表所在地址User_address。将用电异常行为报警的用户电表所在地址User_address在GIS地图上进行显示，同时将GIS地图内的用电异常行为报警信息以列表形式进行显示，列表中显示的内容包括告警等级、用户名和报警时间等。通过点击用电异常行为报警的用户电表所在地址User_address查看用户详细信息，报警类型和用电曲线等具体信息。
步骤S105，对GIS地图中设定区域内的用电异常行为报警的用户电表进行统计，得到设定区域内用电异常指标。
用电异常指标包括：设定区域内用电异常行为报警级别和用电异常电表数量。
步骤S106，对GIS地图中设定区域内嫌疑人员用电行，执行步骤S101至步骤S103进行判断区域内嫌疑人员是否为用电异常行为。
本发明第三实施例，与第一实施例对应，本实施例介绍一种用电行为异常检测与治安风险预警装置，如图3所示，包括以下组成部分：
存储模块100，用于从用户档案数据库和电力运营数据库中读取数据项，将所述数据项保存至中间库，将中间库的数据项经过格式转换后存储至分布式数据库。
具体的，存储模块，包括：
读取模块101，用于从用户档案数据库读取的用户档案数据项包括：采集终端的编号、采集时间、用户注册姓名、用户电表编号和用户电表所在地址；从电力运营数据库中读取运营数据数据项包括：当前用电最总量、峰时段累积用电量、平时段累积用电量和谷时段累积用电量；
数据项包括：用户档案数据项和运营数据数据项；
同步模块102，用于在电力内网中建立中间库，将数据项中的用户档案数据项和运营数据数据项分别由用户档案数据库和电力运营数据库同步至中间库；同时，每天对中间库中的数据项进行更新；
分布存储模块103，用于从中间库读取数据项，将数据项中与用户电表编号进行关联，将关联后的数据项转换为Key-Value格式数据项，并存储至分布式数据库；若中间库中的数据项进行更新，则将更新的数据项转换为Key-Value格式数据项，并对分布式数据库中的Key-Value格式数据项进行更新；
其中，Key-Value格式数据项包括：Key和Column Value。
将数据项的用户电表编号User_id与采集时间Date拼接后的数字串作为Key；将数据项中的采集终端的编号Measure_id、当前用电最总量Sum_cur_total、峰时段累积用电量Sum_cur_peak、平时段累积用电量Sum_cur_normal和谷时段累积用电量Sum_cur_valley作为Column Value；
传输保护模块104，用于在存储至分布式数据库的过程中，当从中间库读取数据项进行挖掘分析和异常检测时，需要通过防火墙做路由，经过入侵检测系统IPS、接入控制网关AC和强隔离设备访问中间库；
当从中间库读取数据项进行社会治安风险预警时，异常用电行为检测的社会治安风险预警系统设置在政法或公安部门专网，通过数据传输专线，经过防火墙、IPS、AC和强隔离设备访问中间库。
特征提取模块200，用于对分布式数据库中的数据项进行用电特征提取。
具体的，特征提取模块，包括：
异常特征判断模块201，用于对Key-Value格式数据项是否为异常特征数据项进行判断，并对判定为异常特征数据项的Key-Value格式数据项进行剔除，得到待特征提取Key-Value格式数据项；
其中，任一Key-Value格式数据项i天的当前用电最总量为sum_cur_totali，其中，i的取值范围为：1＜i＜n，i和n为整数；
第i天的任一Key-Value格式数据项的用电量为Ai；
Ai＝Sum_cur_totali-Sum_cur_totali-1；
若Ai＜0，则判定Ai＜0对应的Key-Value格式数据项为异常特征数据项；
若i天的峰时段累积用电量Sum_cur_peaki、平时段累积用电量Sum_cur_normali和谷时段累积用电量Sum_cur_valleyi总和与当前用电最总量为sum_cur_totali不相等，则判定该Key-Value格式数据项为异常特征数据项；
用电特征计算模块202，用于对待特征提取Key-Value格式数据项进行用电特征提取；
其中，用电特征包括：第i天峰时段用电量、第i天平时段用电量、第i天谷时段用电量、第i天中峰时段用电量占比、第i天平时段用电量占比、第i天谷时段用电量占比、日用电量占比的波动系数、各时段用电量占比的波动系数和各时段用电量占比的波动系数；
其中，第i天的峰时段用电量Ai,peak＝Sum_cur_peaki-Sum_cur_peaki-1；
第i天的平时段用电量Ai,normal＝Sum_cur_normali-Sum_cur_normali-1；
第i天的谷时段用电量Ai,valley＝Sum_cur_valleyi-Sum_cur_valleyi-1；
峰时段为6时至10时和18时至22时；
谷时段为22时至6时；
平时段为10时至18时；
第i天的峰时段用电量占比ratioi,peak＝Ai,peak/Ai；
第i天的平时段用电量占比ratioi,normal＝Ai,normal/Ai；
第i天的谷时段用电量占比ratioi,valley＝Ai,valley/Ai；
计算日用电量、各时段用电量和各时段用电量占比的波动系数；
首先计算日用电量、各时段用电量和各时段用电量占比的均值。
日用电量均值
Figure BDA0000991034050000231
峰时段用电量均值
Figure BDA0000991034050000232
平时段用电量均值
Figure BDA0000991034050000233
谷时段用电量均值
Figure BDA0000991034050000234
峰时段用电量占比均值
Figure BDA0000991034050000235
平时段用电量占比均值
Figure BDA0000991034050000236
谷时段用电量占比均值
Figure BDA0000991034050000237
计算日用电量、各时段用电量和各时段用电量占比的方差，：
日用电量的方差
Figure BDA0000991034050000238
峰时段用电量方差
Figure BDA0000991034050000239
平时段用电量方差
Figure BDA00009910340500002310
谷时段用电量方差
Figure BDA00009910340500002311
峰时段用电量占比的方差
Figure BDA0000991034050000241
平时段用电量占比的方差
Figure BDA0000991034050000242
谷时段用电量占比的方差
Figure BDA0000991034050000243
计算日用电量、各时段用电量和各时段用电量占比波动系数。
日用电量波动系数
Figure BDA0000991034050000244
峰时段用电量波动系数
Figure BDA0000991034050000245
平时段用电量波动系数
Figure BDA0000991034050000246
谷时段用电量波动系数
Figure BDA0000991034050000247
峰时段用电量占比波动系数
Figure BDA0000991034050000248
平时段用电量占比波动系数
Figure BDA0000991034050000249
谷时段用电量占比波动系数
Figure BDA00009910340500002410
各时段包括：峰时段、平时段和谷时段。
正常用电行为特征判断模块203，用于对提取的用电特征进行正常用电行为特征判断，得到正常用电行为特征对应的Key-Value格式数据项；
其中，正常用电行为特征包括：
若所有待特征提取Key-Value格式数据项的第i天峰时段用电量>第i天平时段用电量>第i天谷时段用电量的占比大于90％，则第i天峰时段用电量>第i天平时段用电量>第i天谷时段用电量的用电行为判定为正常用电行为特征；
若所有待特征提取Key-Value格式数据项的第i天谷时段用电量占比<0.25的占比大于85％，则第i天谷时段用电量占比<0.25的用电行为判定为正常用电行为特征；
若所有待特征提取Key-Value格式数据项的第i天谷时段用电量占比的波动系数<1的占比大于85％，则第i天谷时段用电量占比的波动系数<1的用电行为判定为正常用电行为特征；
若所有待特征提取Key-Value格式数据项的第i天谷时段用电量占比波动系数＜5的占比大于99％，则第i天谷时段用电量占比波动系数＜5的用电行为判定为正常用电行为特征。
检测模块300，用于根据用电特征，对数据项进行筛选，得到待检测数据项，并对数据项进行用电异常行为检测。
具体的，检测模块，包括：
预处理模块301，用于对Key-Value格式数据项中异常特征和正常用电行为特征对应的Key-Value格式数据项进行剔除，得到待检测的Key-Value格式数据项；
用电异常行为检测模块302，用于通过MapReduce计算模型对待检测的Key-Value格式数据项进行用电异常行为检测；
Map过程：计算最近一周和最近一个月每个待检测的Key-Value格式数据项的每日用电量、每日各时段用电量和每日各时段用电量占比；计算最近一周和最近一个月每个待检测的Key-Value格式数据项的每日用电量的均值、每日用电量的方差、每日用电量波动的系数、每日各时段用电量的均值、每日各时段用电量的方差、每日各时段用电量的波动系数、每日各时段用电量占比的均值、每日各时段用电量占比的方差和每日各时段用电量占比的波动系数；
Reduce过程：根据Map过程计算得到的每日用电量、每日各时段用电量、每日各时段用电量占比、每日用电量的均值、每日用电量的方差、每日用电量波动的系数、每日各时段用电量的均值、每日各时段用电量的方差、每日各时段用电量的波动系数、每日各时段用电量占比的均值、每日各时段用电量占比的方差和每日各时段用电量占比的波动系数，基于聚类特征项对待检测的Key-Value格式数据项通过K-Means算法执行聚类操作；得到不属于聚类特征的Key-Value格式数据项；
其中，聚类特征项包括：全天用电量波动系数Cv_cur_total、峰时段用电量波动系数Cv_cur_peak、平时段用电量波动系数Cv_cur_normal、谷时段用电量波动系数Cv_cur_valley、峰时段用电量占比波动系数Cv_ratio_peak、平时段用电量占比波动系数Cv_ratio_normal和谷时段用电量占比波动系数Cv_ratio_valley；
应用LOF(Local Outlier Factor，局部异常因子)算法对不属于聚类特征的Key-Value格式数据项进行的异常检测，根据LOF算法score值分布，得到用电异常行为等级最高的Key-Value格式数据项；
报警模块303，用于对用电异常行为等级最高的Key-Value格式数据项进一步进行用电异常行为判断，得到用电异常行为报警信息；
报警类型1：若用电异常行为等级最高的Key-Value格式数据项第i天谷时段用电量波动系数和谷时段用电量占比波动系数的增幅大于50％，第i天谷时段用电量与峰时段用电量和平时段用电量的比例关系为Ai,valley/(Ai,peak+Ai,normal)，若Ai,valley＞2Ai-1,valley，则判定为用电异常行为，并生成报警类型1的用电异常行为报警信息；随报警类型1用电异常行为持续天数的增加，报警类型1用电异常行为用电异常行为报警级别逐步提高；
报警类型2：若用电异常行为等级最高的Key-Value格式数据项当前用电最总量连续3天增加，且累积增加幅度超过100％，则判定为用电异常行为，生成报警类型2的用电异常行为报警信息；随报警类型2用电异常行为持续天数的增加，报警类型2用电异常行为报警级别逐步提高；
报警类型3：若用电异常行为等级最高的Key-Value格式数据项第i天全天用电量降为0，第i天之后连续三天全天用电量持续为0，则判定为用电异常行为，生成报警类型3的用电异常行为报警信息；随报警类型3用电异常行为持续天数的增加，报警类型3用电异常行为报警级别逐步提高；
报警类型4：若用电异常行为等级最高的Key-Value格式数据项第i天全天用电量降幅度超过50％，第i天之后连续3天全天用电量波动幅度不超过20％，并且谷时段、峰时段和平时段用电量占比的相互差距均不超过20％，则为用电异常行为，生成报警类型4的用电异常行为报警信息；随报警类型4用电异常行为持续天数的增加，报警类型4用电异常行为报警级别逐步提高。
本发明第四实施例，一种用电行为异常检测与治安风险预警装置，本实施例所述方法与第三实施例大致相同，区别在于，如图4所示，本实施例的所述装置，还包括以下模块：
地图显示模块400，用于将用电异常行为报警信息与地理信息系统GIS相结合，将用电异常行为报警的电表位置在GIS地图进行显示；
基于用电异常行为报警信息与数据项的映射关系，可以得到用电异常行为报警的用户电表所在地址；将用电异常行为报警的用户电表所在地址在GIS地图上进行显示，同时将GIS地图内的用电异常行为报警信息以列表形式进行显示，列表包括：告警等级、用户名和报警时间；通过点击用电异常行为报警的用户电表所在地址查看用户详细信息、报警类型和用电曲线信息；
地图统计模块500，用于对GIS地图中设定区域内的用电异常行为报警的用户电表进行统计，得到设定区域内用电异常指标；
用电异常指标包括：设定区域内用电异常行为报警级别和用电异常电表数量；
嫌疑人监控模块600，用于对GIS地图中设定区域内嫌疑人员用电行为，通过存储模块100、特征提取模块200和检测模块300顺序进行判断区域内嫌疑人员是否为用电异常行为。
本发明第五实施例，本实施例是在上述实施例的基础上，结合附图5～9介绍一个本发明的应用实例。
步骤S401，数据接入
具体的，步骤S401，包括：
步骤E1，数据项提取。
用户档案数据库和电力运营数据库是电网数据采集系统中关系型数据库的核心部分。本发明方法在数据接入阶段，首先选取分析预警阶段需读取的数据项，包括电表编号、用户身份和用电位置等档案数据，以及电表当前正向示值，各时段累积用电量等运营数据，具体需抽取的初始数据项如表1所示。
表1
序号 数据项名称 数据项定义
1 Measure_id 采集终端的编号
2 Date 采集时间
3 User_name 用户注册姓名
4 User_id 用户电表编号
5 User_address 用户电表所在地址
6 Sum_cur_total 当前用电最总量(电能表正向有功示值)
7 Sum_cur_peak 峰时段累积用电量
8 Sum_cur_normal 平时段累积用电量
9 Sum_cur_valley 谷时段累积用电量
步骤E2，中间库搭建
在电力内网搭建接口服务器，建立关系型数据库。数据通过Goldengate数据同步技术从电网数据采集系统的数据库同步到中间库。其中，用户档案数据库中的档案数据和电力运营数据库中的历史运营数据采用数据泵技术一次性同步到中间库，电网数据采集系统新采集的用电数据每天同步更新到中间库。
步骤E3，数据传输
数据传输通道采用强隔离技术。这种技术是让外网可以访问内网数据库的一种技术，但外网看到的数据库只是一个虚拟的数据库，同时还能够在强隔离中增加策略来防止用户的非法访问。
数据传输架构如图5所示。由于中间库在电力内网区域，要从中间库读取数据进行挖掘分析和异常检测，首先需要通过防火墙做路由，然后经过IPS(Intrusion PreventionSystem，入侵检测系统)和AC(Access Controller，接入控制网关)后，连接强隔离设备方可实现访问，如果基于异常用电行为检测的社会治安风险预警系统部署在政法、公安部门专网，需使用数据传输专线，一端通过上述步骤连接部署在电力内网的中间库，以及IPS等安全系统外侧的防火墙，另一端通过安全接入平台接入相应专网。将中间库配置为数据源，只允许中间库到用电异常分析系统的数据库的单向传输。
步骤E4，数据分布式存储
将从中间哭读取的档案数据与运营数据按照User_id关联后，对历史数据采用Key-Value方式存储在Hbase分布式数据库。由于用户电表编号User_id是唯一的，将User_id与采集时间Date拼接后的数字串作为Key。
例如，User_id为10001000，采集时期位20151231，那么1000100020151231则为Key值。
采集终端编号、各时段用电量累积值等作为Column Value。当有新的数据输入时，首先按照Key-Value格式生成数据记录，然后执行查询、将每条插入同一key所在的数据块中。
步骤S402，特征提取
在设备状态监测时，可利用明确的故障特征进行异常识别。与此不同，对异常用电行为此前并没有明确的定义，只能通过历史数据学习普遍的用电行为规律，提取正常用电行为特征，再利用数据挖掘方法找出显著偏离“正常”范围的“异常”特征，从而实现异常用电行为识别。选取某市一个月采集的居民用电数据作为训练集，特征提取方案如下：
具体的，步骤S402，包括：
步骤F1，数据预处理，剔除出现B类异常特征的数据。
对于每个电表，一个月中各天的正向电能示值为Sum_cur_totali，其中，i∈[1,2,3,...,31，]则各天的用电量为Ai＝Sum_cur_totali+1-Sum_cur_totali，若出现Ai＜0，或者某天出现三个时段的用电量示值总和与Sum_cur_totali不相等的情况，则剔除相应电表的数据。
表2
特征编号 特征描述
BA 出现电能表示值减小
BB 采集到的电能表示值为0
BC 电表疑似过零
BD 电表疑似换表
BE 采集终端数据来自于调度数据
BF B类特征中仅满足BA(电能表示值减小、终端故障)
步骤F2，计算每天中各时段的用电量
电力部门根据用电量将一天分为三个时段，及峰时段、平时段和谷时段。对于居民用电来说，峰时段也就是电力需求最高的时段，一般在清晨和夜间，以我国位于东八区的地区为例，峰时段为6时至10时，晚上18时至22时；谷时段也就是用电需求最低的时段，一般为午夜到凌晨，东八区为22时至6时；平时段用电需求介于峰时段和谷时段之间。对于每个没有被剔除的电表，分别计算各天三个时段的用电量如下：
峰时段用电量Ai,peak＝Sum_cur_peaki+1-Sum_cur_peaki；
平时段用电量Ai,normal＝Sum_cur_normali+1-Sum_cur_normali；
谷时段用电量Ai,valley＝Sum_cur_valleyi+1-Sum_cur_valleyi。
步骤F3，计算每天中各时段用电量的占比
计算峰、平、谷各时段用电量占当天用电总量的比例如下：
峰时段用电量占比ratioi,peak＝Ai,peak/Ai；
平时段用电量占比ratioi,normal＝Ai,normal/Ai；
谷时段用电量占比ratioi,valley＝Ai,valley/Ai。
步骤F4，计算日用电量、各时段用电量和各时段用电量占比的波动系数。
首先计算日用电量、各时段用电量和各时段用电量占比的均值。一个月内：
日用电量均值
Figure BDA0000991034050000311
峰时段用电量均值
Figure BDA0000991034050000312
平时段用电量均值
Figure BDA0000991034050000313
谷时段用电量均值
Figure BDA0000991034050000314
峰时段用电量占比均值
Figure BDA0000991034050000315
平时段用电量占比均值
Figure BDA0000991034050000316
谷时段用电量占比均值
Figure BDA0000991034050000317
计算日用电量、各时段用电量和各时段用电量占比的方差，一个月内：
日用电量的方差
Figure BDA0000991034050000318
峰时段用电量方差
Figure BDA0000991034050000319
平时段用电量方差
Figure BDA00009910340500003110
谷时段用电量方差
Figure BDA00009910340500003111
峰时段用电量占比的方差
Figure BDA0000991034050000321
平时段用电量占比的方差
Figure BDA0000991034050000322
谷时段用电量占比的方差
Figure BDA0000991034050000323
计算一个月中，日用电量、各时段用电量和各时段用电量占比波动系数。
日用电量波动系数
Figure BDA0000991034050000324
峰时段用电量波动系数
Figure BDA0000991034050000325
平时段用电量波动系数
Figure BDA0000991034050000326
谷时段用电量波动系数
Figure BDA0000991034050000327
峰时段用电量占比波动系数
Figure BDA0000991034050000328
平时段用电量占比波动系数
Figure BDA0000991034050000329
谷时段用电量占比波动系数
Figure BDA00009910340500003210
步骤F5，分析各时段用电量、各时段用电量占比及其波动系数的分布。
通过各参量分布，可得出正常用电行为的普遍规律包括：
1)用电行为符合峰时段用电量>平时段用电量>谷时段用电量的用户比例超过90％；
2)用电行为符合谷时段用电量占比<0.25的用户超过85％；
3)谷时段用电量占比的波动系数小于1的用户比例超过85％，99.9％的用户的谷时段用电量占比波动系数都小于5。
显然，如果谷时段用电量及其占比显著增大，各时段用电量及其占比剧烈波动，则属于用电行为异常。
其中，剧烈波动为波动系数的值显著大于正常范围的值。
步骤S403，异常检测
用电行为异常检测过程分为两大部分，即异常行为发现和异常特征分析。前一阶段用于识别异常的用电行为，后一阶段对异常用电行为特征与实际案例中案犯的用电行为特征进行匹配计算，以生成精确的预警信息。
步骤G1，如图6所示，异常行为发现过程采用MapReduce计算模型。
1)分别执行两类Map任务，即分别针对最近一周和最近一个月计算每个电表的每日用电量、每日各时段用电量和每日各时段用电量占比，以及这些参量在选定周期内的均值、方差和波动系数。
2)Reduce过程执行聚类操作，选定的聚类特征如表3所示。聚类后可得出数据特征明显区别于绝大多数电表的少量电表。
表3
序号 特征名称 特征定义
1 Cv_cur_total 全天用电量波动系数
2 Cv_cur_peak 峰时段用电量波动系数
3 Cv_cur_normal 平时段用电量波动系数
4 Cv_cur_valley 谷时段用电量波动系数
5 Cv_ratio_peak 峰时段用电量占比波动系数
6 Cv_ratio_normal 平时段用电量占比波动系数
7 Cv_ratio_valley 谷时段用电量占比波动系数
3)进一步异常检测。应用LOF(Local Outlier Factor局部异常因子)算法，进行进一步的异常检测，可以根据score值分布，找到异常等级最高的用电行为。R语言代码实现原理如图3所示。
步骤G2，异常特征分析过程结合已发案件中案犯在组织、实施过程中的用电行为特征，将异常行为发现过程提取的异常行为数据与已有特征库进行相似度计算，以确认异常用电行为是否满足告警条件，并输出精确的预警类型。
1)验证夜间用电量及其占比的波动系数是否同时剧增。如图7所示，团伙在作案前连续两日在某案犯家中聚集，其午夜(谷时段)用电量剧增，而峰、时段和平时段用电量无明显变化，因而导致该电表的谷时段用电量波动系数及谷时段用电量占比波动系数同时突增。此类异常行为生成的预警类型为夜间用电异常。判定条件如下：对于谷时段用电量波动系数和谷时段用电量占比波动系数的突增幅度大于50％的用户，计算突变当天以及前一天谷时段用电量与其他两个时段用电量的比例关系，即Ai,valley/(Ai,peak+Ai,normal)，若当天该值大于前一天该值的2倍，则生成该类报警信息。
2)各时段用电量波动系数均持续增大。如图8所示，某案犯在作案准备阶段，在家中使用大功率电器制造作案工具。各时段用电量均出现明显增长，并且在时间窗内剧烈波动。此类异常行为生成的预警类型为全天用电量异常波动。具体判定条件如下：计算全天用电量波动系数Cv_cur_total，若该值连续3天增加，且累积增加幅度超过100％，则生成该类报警信息。
3)用电量锐减甚至趋近于0且持续无回升。如图9所示，案犯在案发前夕，便举家离开住所，与作案团伙汇合。其用电量趋近于0，而各时段用电量无波动。此类异常行为生成的预警类型时疑似离家。具体判定条件如下：a)全天用电量突降为0，且连续三天持续为0，则生成该类报警信息，随时用电量持续为0天数的增加，报警级别逐步提高；全天用电量突降幅度超过50％，且之后连续3天，全天用电量波动幅度不超过20％，且三个不同时段用电量占比的值相互差距均不超过20％，则生成此类报警信息。
步骤S404，告警可视化。
1)预警信息可视化。可视化界面主要以GIS(Geographic Information System，地理信息系统)应用为基础，基于档案数据中的用电地址信息将产生用电异常预警的电表位置在GIS地图显示，同时将辖区内的所有用电预警信息以列表形式展示在页面上。列表中显示的内容包括告警等级、用户名、报警时间等。此外，地图上直观的展示告警发生的位置，可以点击报警位置查看用户详细信息，报警类型、用电曲线等具体信息。
其中，用电地址信息包括：地名和经纬度。
2)区域预警可视化。从判断用电异常电表位置是否在某区域集中，以及各个重点监控区域内的嫌疑人员用电是否异常这两个维度，计算区域用电异常指标。指标的高低主要取决于区域内用电异常的等级以及用电异常电表的数量，使用不同颜色表示不同的区域预警等级。
通过具体实施方式的说明，应当可对本发明为达成预定目的所采取的技术手段及功效得以更加深入且具体的了解，然而所附图示仅是提供参考与说明之用，并非用来对本发明加以限制。

Claims (8)

1.一种用电行为异常检测与治安风险预警方法，其特征在于，包括：
步骤一，从用户档案数据库和电力运营数据库中读取数据项，将所述数据项保存至中间库，将中间库的数据项经过格式转换后存储至分布式数据库；
步骤二，对所述分布式数据库中的数据项进行用电特征提取；
步骤三，根据所述用电特征对数据项进行筛选，得到待检测数据项，并对所述待检测数据项进行用电异常行为检测；
所述步骤二，包括：
步骤B1，对Key-Value格式数据项是否为异常特征数据项进行判断，并对判定为所述异常特征数据项的Key-Value格式数据项进行剔除，得到待特征提取Key-Value格式数据项；其中，任一所述Key-Value格式数据项i天的当前用电最总量为sum_cur_totali，其中，i的取值范围为：1＜i＜n，i和n为整数；第i天的任一所述Key-Value格式数据项的用电量为Ai；Ai＝Sum_cur_totali-Sum_cur_totali-1；若所述Ai＜0，则判定Ai＜0对应的Key-Value格式数据项为异常特征数据项；若i天的峰时段累积用电量、平时段累积用电量和谷时段累积用电量总和与当前用电最总量为不相等，则判定该Key-Value格式数据项为异常特征数据项；
步骤B2，对所述待特征提取Key-Value格式数据项进行用电特征提取；
其中，所述用电特征包括：第i天峰时段用电量、第i天平时段用电量、第i天谷时段用电量、第i天中峰时段用电量占比、第i天平时段用电量占比、第i天谷时段用电量占比、日用电量占比的波动系数、各时段用电量占比的波动系数和各时段用电量占比的波动系数；各时段包括：峰时段、平时段和谷时段；
步骤B3，对提取的所述用电特征进行正常用电行为特征判断，得到所述正常用电行为特征对应的Key-Value格式数据项；
其中，所述正常用电行为特征包括：若所有所述待特征提取Key-Value格式数据项的所述第i天峰时段用电量>所述第i天平时段用电量>所述第i天谷时段用电量的占比大于90％，则所述第i天峰时段用电量>所述第i天平时段用电量>所述第i天谷时段用电量的用电行为判定为正常用电行为特征；若所有所述待特征提取Key-Value格式数据项的所述第i天谷时段用电量占比<0.25的占比大于85％，则所述第i天谷时段用电量占比<0.25的用电行为判定为正常用电行为特征；若所有所述待特征提取Key-Value格式数据项的所述第i天谷时段用电量占比的波动系数<1的占比大于85％，则所述第i天谷时段用电量占比的波动系数<1的用电行为判定为正常用电行为特征；若所有所述待特征提取Key-Value格式数据项的所述第i天谷时段用电量占比波动系数＜5的占比大于99％，则所述第i天谷时段用电量占比波动系数＜5的用电行为判定为正常用电行为特征。
2.根据权利要求1所述的用电行为异常检测与治安风险预警方法，其特征在于，所述数据项包括：用户档案数据项和所述运营数据数据项；
所述步骤一，包括：
步骤A1，从所述用户档案数据库读取的用户档案数据项包括：采集终端的编号、采集时间、用户注册姓名、用户电表编号、和用户电表所在地址；从所述电力运营数据库中读取运营数据数据项包括：当前用电最总量、峰时段累积用电量、平时段累积用电量和谷时段累积用电量；
步骤A2，在电力内网中建立所述中间库，将所述数据项中的所述用户档案数据项和所述运营数据数据项分别由所述用户档案数据库和所述电力运营数据库同步至所述中间库；同时，定期对所述中间库中的所述数据项进行更新；
步骤A3，从所述中间库读取所述数据项，将所述数据项与所述用户电表编号进行关联，将关联后的数据项转换为Key-Value格式数据项，并存储至分布式数据库；若所述中间库中的数据项进行更新，则将更新的数据项转换为所述Key-Value格式数据项，并对所述分布式数据库中的所述Key-Value格式数据项进行更新；
其中，所述Key-Value格式数据项包括：Key和Column Value；
将所述数据项的所述用户电表编号与所述采集时间拼接后的数字串作为所述Key；将数据项中的采集终端的编号、当前用电总量、峰时段累积用电量、平时段累积用电量和谷时段累积用电量作为Column Value；
在存储至分布式数据库的过程中，当从所述中间库读取所述数据项进行挖掘分析和异常检测时，需要通过防火墙做路由，经过入侵检测系统IPS、接入控制网关AC和强隔离设备访问所述中间库；
当从所述中间库读取所述数据项进行社会治安风险预警时，异常用电行为检测的社会治安风险预警系统设置在政法或公安部门专网，通过数据传输专线，经过所述防火墙、所述IPS、所述AC和所述强隔离设备访问所述中间库。
3.根据权利要求1所述的用电行为异常检测与治安风险预警方法，其特征在于，所述步骤三，包括：
步骤C1，对所述Key-Value格式数据项中所述异常特征和所述正常用电行为特征对应的Key-Value格式数据项进行剔除，得到待检测的Key-Value格式数据项；
步骤C2，通过MapReduce计算模型对所述待检测的Key-Value格式数据项进行用电异常行为检测；
Map过程：计算最近一周和最近一个月每个所述待检测的Key-Value格式数据项的每日用电量、每日各时段用电量和每日各时段用电量占比；计算最近一周和最近一个月每个所述待检测的Key-Value格式数据项的所述每日用电量的均值、所述每日用电量的方差、所述每日用电量波动的系数、所述每日各时段用电量的均值、所述每日各时段用电量的方差、所述每日各时段用电量的波动系数、所述每日各时段用电量占比的均值、所述每日各时段用电量占比的方差和所述每日各时段用电量占比的波动系数；
Reduce过程：根据所述Map过程计算得到的所述每日用电量、所述每日各时段用电量、所述每日各时段用电量占比、所述每日用电量的均值、所述每日用电量的方差、所述每日用电量波动的系数、所述每日各时段用电量的均值、所述每日各时段用电量的方差、所述每日各时段用电量的波动系数、所述每日各时段用电量占比的均值、所述每日各时段用电量占比的方差和所述每日各时段用电量占比的波动系数，基于聚类特征项对待检测的Key-Value格式数据项执行聚类操作，得到不属于聚类特征的Key-Value格式数据项；
其中，所述聚类特征项包括：全天用电量波动系数、峰时段用电量波动系数、平时段用电量波动系数、谷时段用电量波动系数、峰时段用电量占比波动系数、平时段用电量占比波动系数和谷时段用电量占比波动系数；
应用局部异常因子LOF算法对所述不属于聚类特征的Key-Value格式数据项进行的异常检测，根据LOF算法score值分布，得到用电异常行为等级最高的Key-Value格式数据项；
步骤C3，对所述用电异常行为等级最高的Key-Value格式数据项进一步进行用电异常行为判断，得到用电异常行为报警信息；
报警类型1：若所述用电异常行为等级最高的Key-Value格式数据项第i天谷时段用电量波动系数和谷时段用电量占比波动系数的增幅大于50％，第i天谷时段用电量与峰时段用电量和平时段用电量的比例关系为Ai,valley/(Ai,peak+Ai,normal)，若Ai,valley＞2Ai-1,valley，则判定为用电异常行为，并生成报警类型1的用电异常行为报警信息；随报警类型1用电异常行为持续天数的增加，报警类型1用电异常行为用电异常行为报警级别逐步提高；
报警类型2：若所述用电异常行为等级最高的Key-Value格式数据项当前用电最总量连续3天增加，且累积增加幅度超过100％，则判定为用电异常行为，生成报警类型2的用电异常行为报警信息；随报警类型2用电异常行为持续天数的增加，报警类型2用电异常行为报警级别逐步提高；
报警类型3：若所述用电异常行为等级最高的Key-Value格式数据项第i天全天用电量降为0，第i天之后连续三天全天用电量持续为0，则判定为用电异常行为，生成报警类型3的用电异常行为报警信息；随报警类型3用电异常行为持续天数的增加，报警类型3用电异常行为报警级别逐步提高；
报警类型4：若所述用电异常行为等级最高的Key-Value格式数据项第i天全天用电量降幅度超过50％，第i天之后连续3天全天用电量波动幅度不超过20％，并且谷时段、峰时段和平时段用电量占比的相互差距均不超过20％，则为用电异常行为，生成报警类型4的用电异常行为报警信息；随报警类型4用电异常行为持续天数的增加，报警类型4用电异常行为报警级别逐步提高。
4.根据权利要求1所述的用电行为异常检测与治安风险预警方法，其特征在于，所述步骤三之后，所述方法还包括：
步骤四，将所述用电异常行为报警信息与地理信息系统GIS相结合，将用电异常行为报警的电表位置在GIS地图进行显示；
基于所述用电异常行为报警信息与所述数据项的映射关系，可以得到用电异常行为报警的用户电表所在地址；将所述用电异常行为报警的用户电表所在地址在所述GIS地图上进行显示，同时将所述GIS地图内的用电异常行为报警信息以列表形式进行显示，所述列表包括：告警等级、用户名和报警时间；通过点击所述用电异常行为报警的用户电表所在地址查看用户详细信息、报警类型和用电曲线信息；
步骤五，对所述GIS地图中设定区域内的用电异常行为报警的用户电表进行统计，得到设定区域内用电异常指标；
所述用电异常指标包括：设定区域内用电异常行为报警级别和用电异常电表数量；
步骤六，对所述GIS地图中设定区域内嫌疑人员用电行为，执行步骤一至步骤三进行判断所述区域内嫌疑人员是否为用电异常行为。
5.一种用电行为异常检测与治安风险预警装置，其特征在于，包括：
存储模块，用于从用户档案数据库和电力运营数据库中读取数据项，将所述数据项保存至中间库，将中间库的数据项经过格式转换后存储至分布式数据库；
特征提取模块，用于对所述分布式数据库中的数据项进行用电特征提取；
检测模块，用于根据所述用电特征对数据项进行筛选，得到待检测数据项，并对所述待检测数据项进行用电异常行为检测；
所述特征提取模块，包括：
异常特征判断模块，用于对Key-Value格式数据项是否为异常特征数据项进行判断，并对判定为所述异常特征数据项的Key-Value格式数据项进行剔除，得到待特征提取Key-Value格式数据项；
其中，任一所述Key-Value格式数据项i天的当前用电最总量为sum_cur_totali，其中，i的取值范围为：1＜i＜n，i和n为整数；
第i天的任一所述Key-Value格式数据项的用电量为Ai；
Ai＝Sum_cur_totali-Sum_cur_totali-1；
若所述Ai＜0，则判定Ai＜0对应的Key-Value格式数据项为异常特征数据项；若i天的峰时段累积用电量、平时段累积用电量和谷时段累积用电量总和与当前用电最总量为不相等，则判定该Key-Value格式数据项为异常特征数据项；
用电特征计算模块，用于对所述待特征提取Key-Value格式数据项进行用电特征提取；
其中，所述用电特征包括：第i天峰时段用电量、第i天平时段用电量、第i天谷时段用电量、第i天中峰时段用电量占比、第i天平时段用电量占比、第i天谷时段用电量占比、日用电量占比的波动系数、各时段用电量占比的波动系数和各时段用电量占比的波动系数；
各时段包括：峰时段、平时段和谷时段；
正常用电行为特征判断模块，用于对提取的所述用电特征进行正常用电行为特征判断，得到所述正常用电行为特征对应的Key-Value格式数据项；
其中，所述正常用电行为特征包括：若所有所述待特征提取Key-Value格式数据项的所述第i天峰时段用电量>所述第i天平时段用电量>所述第i天谷时段用电量的占比大于90％，则所述第i天峰时段用电量>所述第i天平时段用电量>所述第i天谷时段用电量的用电行为判定为正常用电行为特征；若所有所述待特征提取Key-Value格式数据项的所述第i天谷时段用电量占比<0.25的占比大于85％，则所述第i天谷时段用电量占比<0.25的用电行为判定为正常用电行为特征；若所有所述待特征提取Key-Value格式数据项的所述第i天谷时段用电量占比的波动系数<1的占比大于85％，则所述第i天谷时段用电量占比的波动系数<1的用电行为判定为正常用电行为特征；若所有所述待特征提取Key-Value格式数据项的所述第i天谷时段用电量占比波动系数＜5的占比大于99％，则所述第i天谷时段用电量占比波动系数＜5的用电行为判定为正常用电行为特征。
6.根据权利要求5所述的用电行为异常检测与治安风险预警装置，其特征在于，所述存储模块，包括：
读取模块，用于从所述用户档案数据库读取的用户档案数据项包括：采集终端的编号、采集时间、用户注册姓名、用户电表编号和用户电表所在地址；从所述电力运营数据库中读取运营数据数据项包括：当前用电最总量、峰时段累积用电量、平时段累积用电量和谷时段累积用电量；
所述数据项包括：所述用户档案数据项和所述运营数据数据项；
同步模块，用于在电力内网中建立所述中间库，将所述数据项中的所述用户档案数据项和所述运营数据数据项分别由所述用户档案数据库和所述电力运营数据库同步至所述中间库；同时，定期对所述中间库中的所述数据项进行更新；
分布存储模块，用于从所述中间库读取所述数据项，将所述数据项与所述用户电表编号进行关联，将关联后的数据项转换为Key-Value格式数据项，并存储至分布式数据库；若所述中间库中的数据项进行更新，则将更新的数据项转换为所述Key-Value格式数据项，并对所述分布式数据库中的所述Key-Value格式数据项进行更新；
其中，所述Key-Value格式数据项包括：Key和ColumnValue；
将所述数据项的所述用户电表编号与所述采集时间拼接后的数字串作为所述Key；将数据项中的采集终端的编号、当前用电最总量、峰时段累积用电量、平时段累积用电量和谷时段累积用电量作为Column Value；
传输保护模块，用于在存储至分布式数据库的过程中，当从所述中间库读取所述数据项进行挖掘分析和异常检测时，需要通过防火墙做路由，经过入侵检测系统IPS、接入控制网关AC和强隔离设备访问所述中间库；
当从所述中间库读取所述数据项进行社会治安风险预警时，异常用电行为检测的社会治安风险预警系统设置在政法或公安部门专网，通过数据传输专线，经过所述防火墙、所述IPS、所述AC和所述强隔离设备访问所述中间库。
7.根据权利要求5所述的用电行为异常检测与治安风险预警装置，其特征在于，所述检测模块，包括：
预处理模块，用于对所述Key-Value格式数据项中所述异常特征和所述正常用电行为特征对应的Key-Value格式数据项进行剔除，得到待检测的Key-Value格式数据项；
用电异常行为检测模块，用于通过MapReduce计算模型对所述待检测的Key-Value格式数据项进行用电异常行为检测；
Map过程：计算最近一周和最近一个月每个所述待检测的Key-Value格式数据项的每日用电量、每日各时段用电量和每日各时段用电量占比；计算最近一周和最近一个月每个所述待检测的Key-Value格式数据项的所述每日用电量的均值、所述每日用电量的方差、所述每日用电量波动的系数、所述每日各时段用电量的均值、所述每日各时段用电量的方差、所述每日各时段用电量的波动系数、所述每日各时段用电量占比的均值、所述每日各时段用电量占比的方差和所述每日各时段用电量占比的波动系数；
Reduce过程：根据所述Map过程计算得到的所述每日用电量、所述每日各时段用电量、所述每日各时段用电量占比、所述每日用电量的均值、所述每日用电量的方差、所述每日用电量波动的系数、所述每日各时段用电量的均值、所述每日各时段用电量的方差、所述每日各时段用电量的波动系数、所述每日各时段用电量占比的均值、所述每日各时段用电量占比的方差和所述每日各时段用电量占比的波动系数，基于聚类特征项对待检测的Key-Value格式数据项执行聚类操作；得到不属于聚类特征的Key-Value格式数据项；
其中，所述聚类特征项包括：全天用电量波动系数、峰时段用电量波动系数、平时段用电量波动系数、谷时段用电量波动系数、峰时段用电量占比波动系数、平时段用电量占比波动系数和谷时段用电量占比波动系数；
应用局部异常因子LOF算法对所述不属于聚类特征的Key-Value格式数据项进行的异常检测，根据LOF算法score值分布，得到用电异常行为等级最高的Key-Value格式数据项；
报警模块，用于对所述用电异常行为等级最高的Key-Value格式数据项进一步进行用电异常行为判断，得到用电异常行为报警信息；
报警类型1：若所述用电异常行为等级最高的Key-Value格式数据项第i天谷时段用电量波动系数和谷时段用电量占比波动系数的增幅大于50％，第i天谷时段用电量与峰时段用电量和平时段用电量的比例关系为Ai,valley/(Ai,peak+Ai,normal)，若Ai,valley＞2Ai-1,valley，则判定为用电异常行为，并生成报警类型1的用电异常行为报警信息；随报警类型1用电异常行为持续天数的增加，报警类型1用电异常行为用电异常行为报警级别逐步提高；
报警类型2：若所述用电异常行为等级最高的Key-Value格式数据项当前用电最总量连续3天增加，且累积增加幅度超过100％，则判定为用电异常行为，生成报警类型2的用电异常行为报警信息；随报警类型2用电异常行为持续天数的增加，报警类型2用电异常行为报警级别逐步提高；
报警类型3：若所述用电异常行为等级最高的Key-Value格式数据项第i天全天用电量降为0，第i天之后连续三天全天用电量持续为0，则判定为用电异常行为，生成报警类型3的用电异常行为报警信息；随报警类型3用电异常行为持续天数的增加，报警类型3用电异常行为报警级别逐步提高；
报警类型4：若所述用电异常行为等级最高的Key-Value格式数据项第i天全天用电量降幅度超过50％，第i天之后连续3天全天用电量波动幅度不超过20％，并且谷时段、峰时段和平时段用电量占比的相互差距均不超过20％，则为用电异常行为，生成报警类型4的用电异常行为报警信息；随报警类型4用电异常行为持续天数的增加，报警类型4用电异常行为报警级别逐步提高。
8.根据权利要求5所述的用电行为异常检测与治安风险预警装置，其特征在于，所述装置，还包括：
地图显示模块，用于将所述用电异常行为报警信息与地理信息系统GIS相结合，将用电异常行为报警的电表位置在GIS地图进行显示；
基于所述用电异常行为报警信息与所述数据项的映射关系，可以得到用电异常行为报警的用户电表所在地址；将所述用电异常行为报警的用户电表所在地址在所述GIS地图上进行显示，同时将所述GIS地图内的用电异常行为报警信息以列表形式进行显示，所述列表包括：告警等级、用户名和报警时间；通过点击所述用电异常行为报警的用户电表所在地址查看用户详细信息、报警类型和用电曲线信息；
地图统计模块，用于对所述GIS地图中设定区域内的用电异常行为报警的用户电表进行统计，得到设定区域内用电异常指标；
所述用电异常指标包括：设定区域内用电异常行为报警级别和用电异常电表数量；
嫌疑人监控模块，用于对所述GIS地图中设定区域内嫌疑人员用电行为，通过所述存储模块、所述特征提取模块和所述检测模块进行判断所述区域内嫌疑人员是否为用电异常行为。
CN201610323606.8A 2016-05-16 2016-05-16 一种用电行为异常检测与治安风险预警方法及装置 Active CN106022592B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610323606.8A CN106022592B (zh) 2016-05-16 2016-05-16 一种用电行为异常检测与治安风险预警方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610323606.8A CN106022592B (zh) 2016-05-16 2016-05-16 一种用电行为异常检测与治安风险预警方法及装置

Publications (2)

Publication Number Publication Date
CN106022592A CN106022592A (zh) 2016-10-12
CN106022592B true CN106022592B (zh) 2021-12-28

Family

ID=57098424

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610323606.8A Active CN106022592B (zh) 2016-05-16 2016-05-16 一种用电行为异常检测与治安风险预警方法及装置

Country Status (1)

Country Link
CN (1) CN106022592B (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107945050B (zh) * 2017-11-30 2021-12-28 北京汇通金财信息科技有限公司 一种用电客户类型的识别与标识方法、装置及中央服务器
CN108022043B (zh) * 2017-11-30 2021-08-20 北京汇通金财信息科技有限公司 一种异常用电行为的识别方法、装置及中央服务器
CN108446349B (zh) * 2018-03-08 2022-03-25 国网四川省电力公司电力科学研究院 一种gis异常数据的检测方法
CN108628960A (zh) * 2018-04-15 2018-10-09 广东电网有限责任公司 一种专变电量数据异常快速诊断流程方法
CN108647246A (zh) * 2018-04-15 2018-10-12 广东电网有限责任公司 专变电量异常诊断平台架构的诊断方法
CN108593990B (zh) * 2018-06-04 2021-06-01 国网天津市电力公司 一种基于电能用户用电行为模式的窃电检测方法和应用
CN110135612B (zh) * 2018-07-05 2023-11-28 国网江苏省电力有限公司物资分公司 基于用电量分析的物资供应商生产能力监控及异常预警方法
CN108959611A (zh) * 2018-07-16 2018-12-07 中国联合网络通信集团有限公司 数据割接方法及装置
CN109579913A (zh) * 2018-12-21 2019-04-05 云南电网有限责任公司电力科学研究院 一种配电变压器多态监测方法与系统
CN110046796A (zh) * 2019-01-04 2019-07-23 国网浙江省电力有限公司 一种基于机器学习模型的电力风险客户筛选方法
CN110175200A (zh) * 2019-05-31 2019-08-27 国网上海市电力公司 一种基于人工智能算法的异常用能分析方法及系统
CN110189049A (zh) * 2019-06-05 2019-08-30 重庆两江新区管理委员会 一种基于预警机制的监管系统
CN110443723A (zh) * 2019-07-04 2019-11-12 佛山科学技术学院 一种用电监测可视化方法及系统
CN111160662A (zh) * 2019-12-31 2020-05-15 咪咕文化科技有限公司 一种风险预测方法、电子设备及存储介质
CN111398886B (zh) * 2020-04-09 2022-12-16 国网山东省电力公司营销服务中心(计量中心) 一种自动化检定流水线表位在线异常的检测方法及系统
CN111539845B (zh) * 2020-04-21 2020-12-29 国网四川省电力公司电力科学研究院 一种基于用电模式隶属评分的企业环保管控响应研判方法
CN111784042B (zh) * 2020-06-28 2022-11-25 佛山市南海区公共安全技术研究院 一种用电节点安全风险预测方法、装置及存储介质
CN111817294B (zh) * 2020-07-07 2022-02-11 郑州工程技术学院 基于数学模型的电网供电控制系统、方法及设备
CN112687364B (zh) * 2020-12-24 2023-08-01 宁波金唐软件有限公司 一种基于Hbase的医疗数据管理方法及其系统
CN112671108B (zh) * 2021-01-21 2024-01-30 云南电力技术有限责任公司 一种过零点检测的线路控制系统
CN113325232B (zh) * 2021-06-09 2023-02-17 贵州电网有限责任公司 一种基于电能表负荷记录的电量追补装置和方法
CN113887804B (zh) * 2021-09-30 2024-06-14 沈阳工程学院 一种基于改进局部异常因子算法的短期风电功率预测方法
CN115912359B (zh) * 2023-02-23 2023-07-25 豪派(陕西)电子科技有限公司 基于大数据的数字化安全隐患识别排查治理方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102982489A (zh) * 2012-11-23 2013-03-20 广东电网公司电力科学研究院 一种基于海量计量数据的电力客户在线分群方法
CN103679357A (zh) * 2013-12-06 2014-03-26 国网山东省电力公司 基于价格和激励的电力需求响应的智能决策方法
CN103700210A (zh) * 2013-12-09 2014-04-02 中国南方电网有限责任公司超高压输电公司检修试验中心 一种基于WebGIS的综合告警展现方法
CN103995161A (zh) * 2014-06-03 2014-08-20 深圳市康拓普信息技术有限公司 一种用于甄别偷漏电用户的方法及系统
CN104036357A (zh) * 2014-06-12 2014-09-10 国家电网公司 用户用电窃电行为模式的分析方法
CN104330764A (zh) * 2014-10-16 2015-02-04 深圳供电局有限公司 一种用于电表用电检测装置及其操作方法
CN104361452A (zh) * 2014-11-14 2015-02-18 云南电网公司 一种多网融合的大用户用电异常预警系统
CN105468885A (zh) * 2014-09-04 2016-04-06 秦皇岛中科百捷电子信息科技有限公司 一种能耗数据的可视化分析方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7714735B2 (en) * 2005-09-13 2010-05-11 Daniel Rockwell Monitoring electrical assets for fault and efficiency correction

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102982489A (zh) * 2012-11-23 2013-03-20 广东电网公司电力科学研究院 一种基于海量计量数据的电力客户在线分群方法
CN103679357A (zh) * 2013-12-06 2014-03-26 国网山东省电力公司 基于价格和激励的电力需求响应的智能决策方法
CN103700210A (zh) * 2013-12-09 2014-04-02 中国南方电网有限责任公司超高压输电公司检修试验中心 一种基于WebGIS的综合告警展现方法
CN103995161A (zh) * 2014-06-03 2014-08-20 深圳市康拓普信息技术有限公司 一种用于甄别偷漏电用户的方法及系统
CN104036357A (zh) * 2014-06-12 2014-09-10 国家电网公司 用户用电窃电行为模式的分析方法
CN105468885A (zh) * 2014-09-04 2016-04-06 秦皇岛中科百捷电子信息科技有限公司 一种能耗数据的可视化分析方法
CN104330764A (zh) * 2014-10-16 2015-02-04 深圳供电局有限公司 一种用于电表用电检测装置及其操作方法
CN104361452A (zh) * 2014-11-14 2015-02-18 云南电网公司 一种多网融合的大用户用电异常预警系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Research of WSN and big data analysis based continuous pulse monitoring system for efficient physical training";Payam Zamani-Dehkordi 等;《2015 IEEE 14th International Conference on Machine Learning and Applications (ICMLA)》;20151211;1050-1055 *
"面向智能电表的用电信息管理系统研究";陈万昆;《中国优秀硕士论文全文数据库 工程科技Ⅱ辑》;20120415;C042-869,第34，45页 *

Also Published As

Publication number Publication date
CN106022592A (zh) 2016-10-12

Similar Documents

Publication Publication Date Title
CN106022592B (zh) 一种用电行为异常检测与治安风险预警方法及装置
CN110097297B (zh) 一种多维度窃电态势智能感知方法、系统、设备及介质
Calikus et al. A data-driven approach for discovering heat load patterns in district heating
CN111291076B (zh) 基于大数据的异常用水监测报警系统及其构建方法
CN111160791A (zh) 一种基于gbdt算法及因素融合的异常用户识别方法
CN106327062A (zh) 一种配电网设备的状态评估方法
CN105426980B (zh) 一种配电网健康指数评估工程应用系统
CN106570778A (zh) 一种基于大数据的数据集成与线损分析计算的方法
CN112688431A (zh) 一种基于大数据的配电网负荷过载可视化方法及系统
CN112131441A (zh) 一种快速识别用电异常行为的方法及系统
CN111552686B (zh) 一种电力数据质量评估方法及其装置
CN111506618A (zh) 一种结合lightgbm-stacking算法的异常用电行为分析方法
CN111861786A (zh) 一种基于特征选择和孤立随机森林的专变窃电识别方法
CN111415107A (zh) 配电网台区画像生成方法、装置、计算机设备和存储介质
CN117132025A (zh) 一种基于多源数据融合的用电监测预警系统
CN116011827A (zh) 一种用于重点小区的停电监测分析与预警系统及方法
CN116340437A (zh) 一种面向大规模多源异构数据的多聚类方法
CN116522746A (zh) 高耗能企业配电托管方法
CN115049410A (zh) 窃电行为识别方法、装置、电子设备及计算机可读存储介质
KR20160074325A (ko) 기상변화에 따른 전력수요지수 예측 시스템 및 그 방법
CN112015724A (zh) 一种对电力运营数据计量异常进行分析的方法
CN113688870A (zh) 一种采用混合算法的基于用户用电行为的群租房识别方法
CN111612054A (zh) 一种基于非负矩阵分解和密度聚类的用户窃电行为识别方法
CN115905319B (zh) 一种海量用户电费异常的自动识别方法及系统
JP2015198535A (ja) 太陽光発電システム、端末、解析処理方法、及び、プログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant