CN110457557A - 一种自动标记行为数据的智慧城市网络管理方法 - Google Patents
一种自动标记行为数据的智慧城市网络管理方法 Download PDFInfo
- Publication number
- CN110457557A CN110457557A CN201910659525.9A CN201910659525A CN110457557A CN 110457557 A CN110457557 A CN 110457557A CN 201910659525 A CN201910659525 A CN 201910659525A CN 110457557 A CN110457557 A CN 110457557A
- Authority
- CN
- China
- Prior art keywords
- user
- classification
- data
- behavioral data
- emphasis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003542 behavioural effect Effects 0.000 claims abstract description 59
- 230000006399 behavior Effects 0.000 claims abstract description 39
- 238000000034 method Methods 0.000 claims abstract description 26
- 238000010801 machine learning Methods 0.000 claims abstract description 25
- 230000002159 abnormal effect Effects 0.000 claims abstract description 7
- 230000002688 persistence Effects 0.000 claims abstract description 4
- 230000006870 function Effects 0.000 claims description 8
- 238000007476 Maximum Likelihood Methods 0.000 claims description 7
- 238000004458 analytical method Methods 0.000 claims description 4
- 238000007726 management method Methods 0.000 abstract description 9
- 230000000694 effects Effects 0.000 abstract description 4
- 238000012423 maintenance Methods 0.000 abstract description 3
- 238000012544 monitoring process Methods 0.000 description 4
- 230000000739 chaotic effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000007405 data analysis Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/951—Indexing; Web crawling techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- General Engineering & Computer Science (AREA)
- Tourism & Hospitality (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Marketing (AREA)
- Medical Informatics (AREA)
- Strategic Management (AREA)
- Primary Health Care (AREA)
- Human Resources & Organizations (AREA)
- General Health & Medical Sciences (AREA)
- Economics (AREA)
- Health & Medical Sciences (AREA)
- Educational Administration (AREA)
- General Business, Economics & Management (AREA)
- Development Economics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种自动标记行为数据的智慧城市网络管理方法,包括:步骤1、自动获取系统用户基本资料及登录时间信息;步骤2、对用户进行活跃时长分类,活跃时长大于设定值为重点用户,否则为普通用户;步骤3、对系统用户进行行为数据爬取,对系统用户进行行为数据爬取,分别通过机器学习的分类法和聚类法将行为数据进行分类,分别对应得到普通用户和的重点用户的分类;步骤4、根据得到的分类对应添加用户的行为属性并永久保存,行为属性以单位时间为间隔更新。本发明可根据用户的行为属性对用户的行为数据进行监控,很容易找到行为数据异常和特定行为数据的用户,据此找到利用平台进行非法或恶意活动的用户,对维护网络平台的安全有极大帮助。
Description
技术领域
本发明属于网络信息技术领域,具体涉及一种自动标记行为数据的智慧城市网络管理方法。
背景技术
随着智慧城市网络的普及和发展,各种平台和系统的网络用户数量非常的庞大,随之而来的网络用户管理就成了很大的问题。一方面网络用户的数量庞大,需要对其所有的用户基本信息进行管理,便于查找用户和查看用户使用情况,帮助了解用户的使用情况以对平台及系统功能进行改善。另一方面,用户数量很多,会造成一系列网络安全问题,用户利用平台进行非法或恶意活动,无法有效监控,造成现在智慧城市的网络环境混乱,难以维护安全问题。常用的用户行为数据分析方法可以帮助得到用户喜好及使用情况,能够以此对智慧城市平台及系统功能进行改善,但是用户行为数据分析方法不能有效地根据行为数据对用户进行分析,不能找到行为数据异常或特定行为数据的用户,无法监控管理用户利用平台进行非法或恶意活动。
发明内容
本发明的目的在于:解决目前的智慧城市网络用户管理只能采集用户行为数据,不能有效地根据行为数据对用户进行分析,不能找到行为数据异常或特定行为数据的用户,进而无法有效监控管理用户利用智慧城市平台进行非法或恶意活动的问题,提出了一种自动标记行为数据的智慧城市网络管理方法。
本发明采用的技术方案如下:
一种自动标记行为数据的智慧城市网络管理方法,步骤如下:
步骤1、自动获取系统用户基本资料及登录时间信息;
步骤2、根据用户基本资料及登录时间信息,对用户进行活跃时长分类,活跃时长大于设定值时,为重点用户,否则为普通用户;
步骤3、对系统用户进行行为数据爬取,通过机器学习的分类法将其中普通用户的行为数据通过机器学习的分类法进行分类,将其中重点用户的行为数据通过机器学习的聚类法进行分类,分别对应得到普通用户和的重点用户的分类;
步骤4、根据步骤3得到的分类对应添加用户的行为属性并永久保存,行为属性以单位时间为间隔进行更新。
进一步,所述活跃时长分类采用机器学习的分类法进行分类。
进一步,所述用户的行为数据包括:用户使用系统功能相关数据、用户使用出错相关数据、用户使用时长相关数据、用户使用异常相关数据和用户喜好相关数据。
进一步,所述步骤4中单位时间为一周。
进一步,所述普通用户的行为数据通过机器学习的分类法进行分类的具体步骤如下:
步骤3.1.1、对普通用户基于爬取的行为数据进行类别定义;
步骤3.1.2、基于步骤3.1中定义的类别,采用最大似然分类法将普通用户的行为数据进行分类,得到普通用户基于步骤3.1定义的类别的分类。
进一步,所述重点用户的行为数据通过机器学习的聚类法进行分类的具体步骤如下:
步骤3.2.1、采用相似度分析算法对重点用户的行为数据进行分组;
步骤3.2.2、根据步骤3.2.1的分组结果,采用k-means算法对重点用户的行为数据进行组内聚类分析,得到带有分组分类和组内分类的重点用户的分类。
综上所述,由于采用了上述技术方案,本发明的有益效果是:
1、本发明中,先将庞大的用户群体根据活跃时长进行第一层分类,用户活跃时长较短的行为数据较少,其可归为普通用户,用户活跃时长较长的行为数据较多,其归为重点用户,采集用户行为数据,通过对行为数据采用机器学习的方法分析,得到用户的分类,并将其分类保存为用户的行为属性,可以根据用户的行为属性有效地对用户的行为数据进行监控,很容易找到行为数据异常和特定行为数据的用户,据此可以利用平台进行非法或恶意活动的用户,对维护智慧城市网络平台的安全有极大的帮助。并且将普通用户与重点用户分开分析,提高了效率且避免因数据庞大而采用一种分类法导致分类混乱的问题。
2、本发明中,普通用户的行为数据通过机器学习的分类法进行分类,先对普通用户基于爬取的行为数据进行类别定义,再基于定义的类别,采用最大似然分类法将普通用户的行为数据进行分类,得到普通用户基于定义的类别的分类,最大似然法处理效率高,速度快之外,在分类方法中其分类精度较高,分类更加准确。
3、本发明中,重点用户的行为数据通过机器学习的聚类法进行分类,先采用相似度分析算法对重点用户的行为数据进行分组,再根据分组结果,采用k-means算法对重点用户的行为数据进行组内聚类分析,得到带有分组分类和组内分类的重点用户的分类,重点用户的行为数据较多,先分组再细分使得效率更高,分组分类和组内分类使得类别更加细化,用户分类也更加准确。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本发明方法流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明,即所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
一种自动标记行为数据的智慧城市网络管理方法,步骤如下:
步骤1、自动获取系统用户基本资料及登录时间信息;
步骤2、根据用户基本资料及登录时间信息,对用户进行活跃时长分类,活跃时长大于设定值时,为重点用户,否则为普通用户;
步骤3、对系统用户进行行为数据爬取,通过机器学习的分类法将其中普通用户的行为数据通过机器学习的分类法进行分类,将其中重点用户的行为数据通过机器学习的聚类法进行分类,分别对应得到普通用户和的重点用户的分类;
步骤4、根据步骤3得到的分类对应添加用户的行为属性并永久保存,行为属性以单位时间为间隔进行更新。
本发明中,先将庞大的用户群体根据活跃时长进行第一层分类,用户活跃时长较短的行为数据较少,其可归为普通用户,用户活跃时长较长的行为数据较多,其归为重点用户,采集用户行为数据,通过对行为数据采用机器学习的方法分析,得到用户的分类,并将其分类保存为用户的行为属性,可以根据用户的行为属性有效地对用户的行为数据进行监控,很容易找到行为数据异常和特定行为数据的用户,据此可以利用平台进行非法或恶意活动的用户,对维护网络平台的安全有极大的帮助。并且将普通用户与重点用户分开分析,提高了效率且避免因数据庞大而采用一种分类法导致分类混乱的问题。
进一步,所述活跃时长分类采用机器学习的分类法进行分类。活跃时长可为单位时间内的累计活跃时长,此单位时间与步骤4中单位时间相同,可定义用户的活跃时长为5小时以下的为普通用户,活跃时长为5小时以上的为重点用户。
进一步,所述用户的行为数据包括:用户使用系统功能相关数据、用户使用出错相关数据、用户使用时长相关数据、用户使用异常相关数据和用户喜好相关数据。例如:
用户完成规定任务所用的时间、在限定时间内完成的任务数量(或比例)、正确的交互操作与所发生错误之间的比率、用户出错的数量、用户用到的命令或其他功能的数量、使用某项功能的频度及使用时间、用户与其它用户交互的时间、用户与其它用户交互时使用的功能、用户与其它用户交互时发生的异常情况及其数量等。
进一步,所述步骤4中单位时间为一周。
进一步,所述普通用户的行为数据通过机器学习的分类法进行分类的具体步骤如下:
步骤3.1.1、对普通用户基于爬取的行为数据进行类别定义;
步骤3.1.2、基于步骤3.1中定义的类别,采用最大似然分类法将普通用户的行为数据进行分类,得到普通用户基于步骤3.1定义的类别的分类。
本发明中,普通用户的行为数据通过机器学习的分类法进行分类,先对普通用户基于爬取的行为数据进行类别定义,再基于定义的类别,采用最大似然分类法将普通用户的行为数据进行分类,得到普通用户基于定义的类别的分类,最大似然法除了处理效率高,速度快之外,在分类方法中其分类精度较高,分类更加准确。
进一步,所述重点用户的行为数据通过机器学习的聚类法进行分类的具体步骤如下:
步骤3.2.1、采用相似度分析算法对重点用户的行为数据进行分组;
步骤3.2.2、根据步骤3.2.1的分组结果,采用k-means算法对重点用户的行为数据进行组内聚类分析,得到带有分组分类和组内分类的重点用户的分类。
本发明中,重点用户的行为数据通过机器学习的聚类法进行分类,先采用相似度分析算法对重点用户的行为数据进行分组,再根据分组结果,采用k-means算法对重点用户的行为数据进行组内聚类分析,得到带有分组分类和组内分类的重点用户的分类,重点用户的行为数据较多,先分组再细分使得效率更高,分组分类和组内分类使得类别更加细化,用户分类也更加准确。
以下结合实施例对本发明的特征和性能作进一步的详细描述。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (6)
1.一种自动标记行为数据的智慧城市网络管理方法,其特征在于:步骤如下:
步骤1、自动获取系统用户基本资料及登录时间信息;
步骤2、根据用户基本资料及登录时间信息,对用户进行活跃时长分类,活跃时长大于设定值时,为重点用户,否则为普通用户;
步骤3、对系统用户进行行为数据爬取,通过机器学习的分类法将其中普通用户的行为数据通过机器学习的分类法进行分类,将其中重点用户的行为数据通过机器学习的聚类法进行分类,分别对应得到普通用户和的重点用户的分类;
步骤4、根据步骤3得到的分类对应添加用户的行为属性并永久保存,行为属性以单位时间为间隔进行更新。
2.根据权利要求1所述的一种自动标记行为数据的智慧城市网络管理方法,其特征在于:所述活跃时长分类采用机器学习的分类法进行分类。
3.根据权利要求1所述的一种自动标记行为数据的智慧城市网络管理方法,其特征在于:所述用户的行为数据包括:用户使用系统功能相关数据、用户使用出错相关数据、用户使用时长相关数据、用户使用异常相关数据和用户喜好相关数据。
4.根据权利要求1所述的一种自动标记行为数据的智慧城市网络管理方法,其特征在于:所述步骤4中单位时间为一周。
5.根据权利要求1所述的一种自动标记行为数据的智慧城市网络管理方法,其特征在于:所述普通用户的行为数据通过机器学习的分类法进行分类的具体步骤如下:
步骤3.1.1、对普通用户基于爬取的行为数据进行类别定义;
步骤3.1.2、基于步骤3.1中定义的类别,采用最大似然分类法将普通用户的行为数据进行分类,得到普通用户基于步骤3.1定义的类别的分类。
6.根据权利要求1所述的一种自动标记行为数据的智慧城市网络管理方法,其特征在于:所述重点用户的行为数据通过机器学习的聚类法进行分类的具体步骤如下:
步骤3.2.1、采用相似度分析算法对重点用户的行为数据进行分组;
步骤3.2.2、根据步骤3.2.1的分组结果,采用k-means算法对重点用户的行为数据进行组内聚类分析,得到带有分组分类和组内分类的重点用户的分类。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910659525.9A CN110457557A (zh) | 2019-07-29 | 2019-07-29 | 一种自动标记行为数据的智慧城市网络管理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910659525.9A CN110457557A (zh) | 2019-07-29 | 2019-07-29 | 一种自动标记行为数据的智慧城市网络管理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110457557A true CN110457557A (zh) | 2019-11-15 |
Family
ID=68481649
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910659525.9A Pending CN110457557A (zh) | 2019-07-29 | 2019-07-29 | 一种自动标记行为数据的智慧城市网络管理方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110457557A (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100281059A1 (en) * | 2009-05-01 | 2010-11-04 | Ebay Inc. | Enhanced user profile |
CN107122390A (zh) * | 2017-03-04 | 2017-09-01 | 华数传媒网络有限公司 | 基于用户群组的推荐系统构建方法 |
CN108320168A (zh) * | 2017-01-16 | 2018-07-24 | 北京金山云网络技术有限公司 | 一种数据分析方法及装置 |
CN108427669A (zh) * | 2018-02-27 | 2018-08-21 | 华青融天(北京)技术股份有限公司 | 异常行为监控方法和系统 |
CN109583651A (zh) * | 2018-12-03 | 2019-04-05 | 焦点科技股份有限公司 | 一种保险电商平台用户流失预测的方法和装置 |
-
2019
- 2019-07-29 CN CN201910659525.9A patent/CN110457557A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100281059A1 (en) * | 2009-05-01 | 2010-11-04 | Ebay Inc. | Enhanced user profile |
CN108320168A (zh) * | 2017-01-16 | 2018-07-24 | 北京金山云网络技术有限公司 | 一种数据分析方法及装置 |
CN107122390A (zh) * | 2017-03-04 | 2017-09-01 | 华数传媒网络有限公司 | 基于用户群组的推荐系统构建方法 |
CN108427669A (zh) * | 2018-02-27 | 2018-08-21 | 华青融天(北京)技术股份有限公司 | 异常行为监控方法和系统 |
CN109583651A (zh) * | 2018-12-03 | 2019-04-05 | 焦点科技股份有限公司 | 一种保险电商平台用户流失预测的方法和装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Jerlin et al. | A new malware detection system using machine learning techniques for API call sequences | |
US8918431B2 (en) | Adaptive ontology | |
Kirubavathi et al. | Structural analysis and detection of android botnets using machine learning techniques | |
US20160055044A1 (en) | Fault analysis method, fault analysis system, and storage medium | |
CN107368856B (zh) | 恶意软件的聚类方法及装置、计算机装置及可读存储介质 | |
US20170149800A1 (en) | System and method for information security management based on application level log analysis | |
CN112183758A (zh) | 用于实现模型训练的方法及装置、计算机存储介质 | |
CN103368904A (zh) | 移动终端、可疑行为检测及判定系统和方法 | |
Davidov et al. | Extraction and approximation of numerical attributes from the web | |
WO2016156115A1 (en) | Anomaly detection by multi-level tolerance relations | |
CN110633211A (zh) | 对于多接口的测试方法、装置、服务器及介质 | |
CN109067800A (zh) | 一种固件漏洞的跨平台关联检测方法 | |
Li et al. | Ungrafting malicious code from piggybacked android apps | |
CN104504334A (zh) | 用于评估分类规则选择性的系统及方法 | |
Lota et al. | A systematic literature review on sms spam detection techniques | |
Martinelli et al. | Classifying android malware through subgraph mining | |
Skopik et al. | Smart Log Data Analytics | |
CN110457557A (zh) | 一种自动标记行为数据的智慧城市网络管理方法 | |
CN100558056C (zh) | 自动化一致性测试方法和装置 | |
CN108268775B (zh) | 一种Web漏洞检测方法、装置、电子设备及存储介质 | |
CN112464218B (zh) | 模型训练方法、装置、电子设备及存储介质 | |
US20190156024A1 (en) | Method and apparatus for automatically classifying malignant code on basis of malignant behavior information | |
KR20220117187A (ko) | 보안 규제 준수 자동화 장치 | |
Borutta et al. | Structural graph representations based on multiscale local network topologies | |
Yoon et al. | Graphlets over Time: A New Lens for Temporal Network Analysis |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |