CN106789292A - 一种异常行为监控方法和装置 - Google Patents

一种异常行为监控方法和装置 Download PDF

Info

Publication number
CN106789292A
CN106789292A CN201611245790.5A CN201611245790A CN106789292A CN 106789292 A CN106789292 A CN 106789292A CN 201611245790 A CN201611245790 A CN 201611245790A CN 106789292 A CN106789292 A CN 106789292A
Authority
CN
China
Prior art keywords
historical behavior
data
user
real
user identity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611245790.5A
Other languages
English (en)
Inventor
秦基伟
张丛喆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Netposa Technologies Ltd
Original Assignee
Netposa Technologies Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Netposa Technologies Ltd filed Critical Netposa Technologies Ltd
Priority to CN201611245790.5A priority Critical patent/CN106789292A/zh
Publication of CN106789292A publication Critical patent/CN106789292A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14Network analysis or design

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供了一种异常行为监控方法和装置,其中,该方法包括:获取用户的多个历史行为数据,多个历史行为数据由接入的多个不同的业务系统提供,多个不同的业务系统包括以下系统中的任意多个:售票系统、消费系统、通话系统、住宿系统、聊天系统、犯罪系统和账务系统;对预设时间间隔内获取的多个历史行为数据和分别进行聚类分析,得到与用户对应的行为标签,行为标签用于表征用户的历史行为数据符合预设阈值,历史行为数据和为预设时间间隔内获取的历史行为数据的和值;在接入用户的实时行为数据时,根据行为标签判断实时行为数据是否发生异常,其利用大数据分析和机器学习技术实现对用户的实时异常监控,省时省力,实用性较佳。

Description

一种异常行为监控方法和装置
技术领域
本发明涉及数据挖掘技术领域,具体而言,涉及一种异常行为监控方法和装置。
背景技术
在“大数据”时代,谁率先拥有大数据、善于利用大数据,谁就能掌握主动、赢得未来。为了有效维护社会信息条件下的国家安全和社会稳定,公安机关就必须加强对各类信息(如出行信息、通话信息、消费信息、住宿信息和聊天信息)的全面整合、综合分析和预警监测。
现有技术中提供了一种行为分析方法,该方法主要依赖办案人员的人工处理,即办案人员首先从各个业务系统中获取登记人员的日常活动信息(如出行信息、消费信息等等),然后对上述日常活动信息进行纸质分类记录,最后根据纸质分类记录对登记人员的行为进行分析。
发明人在研究中发现,现有技术中的行为分析方法,采用人工的方式对登记人员的活动信息进行纸质分类以进行人员行为分析,耗费的人力和时间成本较高,且无法对异常行为进行实时监控,实用性较差。
发明内容
有鉴于此,本发明的目的在于提供一种异常行为监控方法和装置,利用大数据分析和机器学习技术实现对用户的实时监控,省时省力,实用性较佳。
第一方面,本发明实施例提供了一种异常行为监控方法,所述方法包括:
获取用户的多个历史行为数据,多个所述历史行为数据由接入的多个不同的业务系统提供,所述多个不同的业务系统包括以下系统中的任意多个:售票系统、消费系统、通话系统、住宿系统、聊天系统、犯罪系统和账务系统;
对预设时间间隔内获取的多个历史行为数据和分别进行聚类分析,得到与所述用户对应的行为标签,所述行为标签用于表征所述用户的所述历史行为数据符合预设阈值,所述历史行为数据和为预设时间间隔内获取的所述历史行为数据的和值;
在接入所述用户的实时行为数据时,根据所述行为标签判断所述实时行为数据是否发生异常。
结合第一方面,本发明实施例提供了第一方面的第一种可能的实施方式,其中,所述获取用户的多个历史行为数据和对预设时间间隔内获取的多个历史行为数据和分别进行聚类分析之间,包括:
将获取的多个所述历史行为数据进行过滤,得到过滤后的所述历史行为数据;
对过滤后的多个所述历史行为数据进行类别分析,并将分析后的每个所述历史行为数据均存储于对应的第一数据库中,其中,所述历史行为数据至少包括:第一用户身份标识和对应的历史行为信息;
基于所述第一用户身份标识从所述第一数据库中读取出对应的多个所述历史行为信息;
将所述第一用户身份标识和多个所述历史行为信息之间的对应关系存储于第二数据库中,所述第二数据库为:基于Hadoop平台运行的HBase数据库。
结合第一方面的第一种可能的实施方式,本发明实施例提供了第一方面的第二种可能的实施方式,其中,所述对预设时间间隔内获取的多个历史行为数据和分别进行聚类分析,得到与所述用户对应的行为标签,包括:
从所述第二数据库中读取预设时间间隔内对应于所述第一用户身份标识的多个所述历史行为信息和,所述历史行为信息和为预设时间间隔内读取的所述历史行为信息的和值;
基于并行框架利用聚类算法对多个所述历史行为信息和分别进行聚类分析,得到与所述第一用户身份标识相对应的行为标签,所述并行框架为:基于Hadoop平台运行的SPARK并行框架。
结合第一方面的第二种可能的实施方式,本发明实施例提供了第一方面的第三种可能的实施方式,其中,所述对预设时间间隔内获取的多个历史行为数据和分别进行聚类分析,得到与所述用户对应的行为标签之后,包括:
将所述第一用户身份标识及其对应的所述行为标签存储于第三数据库中;
所述根据所述行为标签判断所述实时行为数据是否发生异常,包括:
接入所述用户的实时行为数据,并提取所述实时行为数据中的第二用户身份标识;
从所述第三数据库中读取出与所述第二用户身份标识相同的所述第一用户身份标识;
根据读取出的所述第一用户身份标识的所述行为标签判断所述实时行为数据是否发生异常;若所述实时行为数据不符合所述预设阈值,则判断发生异常。
结合第一方面的第三种可能的实施方式,本发明实施例提供了第一方面的第四种可能的实施方式,其中,还包括:通过短信和/或邮箱的方式将与所述行为标签不符的所述实时行为数据和对应的所述行为标签发送至异常处理人员以进行异常预警。
第二方面,本发明实施例还提供了一种异常行为监控装置,所述装置包括:
获取模块,用于获取用户的多个历史行为数据,多个所述历史行为数据由接入的多个不同的业务系统提供,所述多个不同的业务系统包括以下系统中的任意多个:售票系统、消费系统、通话系统、住宿系统、聊天系统、犯罪系统和账务系统;
第一分析模块,用于对预设时间间隔内获取的多个历史行为数据和分别进行聚类分析,得到与所述用户对应的行为标签,所述行为标签用于表征所述用户的所述历史行为数据符合预设阈值,所述历史行为数据和为预设时间间隔内获取的所述历史行为数据的和值;
判断模块,用于在接入所述用户的实时行为数据时,根据所述行为标签判断所述实时行为数据是否发生异常。
结合第二方面,本发明实施例提供了第二方面的第一种可能的实施方式,其中,还包括:过滤模块、第二分析模块、读取模块和第一存储模块;
所述过滤模块,用于将获取的多个所述历史行为数据进行过滤,得到过滤后的所述历史行为数据;
所述第二分析模块,用于对过滤后的多个所述历史行为数据进行类别分析,并将分析后的每个所述历史行为数据均存储于对应的第一数据库中,其中,所述历史行为数据至少包括:第一用户身份标识和对应的历史行为信息;
所述读取模块,用于基于所述第一用户身份标识从所述第一数据库中读取出对应的多个所述历史行为信息;
所述第一存储模块,用于将所述第一用户身份标识和多个所述历史行为信息之间的对应关系存储于第二数据库中,所述第二数据库为:基于Hadoop平台运行的HBase数据库。
结合第二方面的第一种可能的实施方式,本发明实施例提供了第二方面的第二种可能的实施方式,其中,所述第一分析模块包括:
读取单元,用于从所述第二数据库中读取预设时间间隔内对应于所述第一用户身份标识的多个所述历史行为信息和,所述历史行为信息和为预设时间间隔内读取的所述历史行为信息的和值;
分析单元,用于基于并行框架利用聚类算法对多个所述历史行为信息和分别进行聚类分析,得到与所述第一用户身份标识相对应的行为标签,所述并行框架为:基于Hadoop平台运行的SPARK并行框架。
结合第二方面的第二种可能的实施方式,本发明实施例提供了第二方面的第三种可能的实施方式,其中,还包括:第二存储模块;
所述第二存储模块,用于将所述第一用户身份标识及其对应的所述行为标签存储于第三数据库中;
所述判断模块,还用于接入所述用户的实时行为数据,并提取所述实时行为数据中的第二用户身份标识;从所述第三数据库中读取出与所述第二用户身份标识相同的所述第一用户身份标识;根据读取出的所述第一用户身份标识的所述行为标签判断所述实时行为数据是否发生异常;若所述实时行为数据不符合所述预设阈值,则判断发生异常。
结合第二方面的第三种可能的实施方式,本发明实施例提供了第二方面的第四种可能的实施方式,其中,还包括预警模块;所述预警模块,用于通过短信和/或邮箱的方式将与所述行为标签不符的所述实时行为数据和对应的所述行为标签发送至异常处理人员以进行异常预警。
本发明实施例提供的异常行为监控方法和装置,与现有技术中的行为分析方法,采用人工的方式耗费的人力和时间成本较高,且无法对异常行为进行实时监控,实用性较差相比,其首先获取用户的多个历史行为数据,其中,多个历史行为数据由接入的多个不同的业务系统提供,然后对预设时间间隔内获取的多个历史行为数据和分别进行聚类分析,得到与上述用户对应的行为标签,最后在接入用户的实时行为数据时,根据得到的行为标签判断该实时行为数据是否发生异常,其利用大数据分析和机器学习技术对用户的历史活动信息进行聚类分析,并根据聚类分析得到的行为标签判断用户的实时行为是否存在异常,实现对用户的实时监控,省时省力,实用性较佳。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本发明实施例所提供的一种异常行为监控方法的流程图;
图2示出了本发明实施例所提供的另一种异常行为监控方法的流程图;
图3示出了本发明实施例所提供的另一种异常行为监控方法的流程图;
图4示出了本发明实施例所提供的另一种异常行为监控方法的流程图;
图5示出了本发明实施例所提供的一种异常行为监控装置的结构示意图;
图6示出了本发明实施例所提供的一种异常行为监控装置中第一分析模块的结构示意图。
主要元件符号说明:
11、获取模块;22、第一分析模块;33、判断模块;221、读取单元;222、分析单元。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
考虑到现有技术中的行为分析方法,采用人工的方式对登记人员的活动信息进行纸质分类以进行人员行为分析,耗费的人力和时间成本较高,且无法对异常行为进行实时监控,实用性较差。基于此,本发明实施例提供了一种异常行为监控方法和装置,利用大数据分析和机器学习技术实现对用户的实时监控,省时省力,实用性较佳。
参见图1所示的本发明实施例提供的异常行为监控方法的流程图,所述方法具体包括如下步骤:
S101、获取用户的多个历史行为数据,多个历史行为数据由接入的多个不同的业务系统提供,多个不同的业务系统包括以下系统中的任意多个:售票系统、消费系统、通话系统、住宿系统、聊天系统、犯罪系统和账务系统;
具体的,考虑到本发明实施例所提供的异常行为监控方法的具体应用场景,本发明实施例中的历史行为数据来源于公安大数据,众所周知,公安行业每天获取的数据数以千万,这些数据包含了各种各样公众的历史行为数据,例如出行活动信息、通话活动信息、聊天活动信息、消费活动信息等等。其中,上述历史行为数据可以由不同的业务系统来提供,其中,为了更全面的对用户的历史行为数据进行分析,本发明实施例中,一般是对两个或两个以上的业务系统获取的历史行为数据进行分析,以提高实用性。
其中,上述业务系统的接入方式有多种,本发明实施例主要采用如下两种方式:一是公安文件提供,二是通过定制接入协议(如HTTP\UDP\TCP协议)。
S102、对预设时间间隔内获取的多个历史行为数据和分别进行聚类分析,得到与用户对应的行为标签,行为标签用于表征用户的历史行为数据符合预设阈值,历史行为数据和为预设时间间隔内获取的历史行为数据的和值;
具体的,本发明实施例所提供的异常行为监控方法能够对预设时间间隔内产生的多个历史行为数据和分别进行聚类分析,得到与用户对应的行为标签,其中,该行为标签与用户的历史行为数据相对应,对于每一个历史行为数据将对应一个行为标签。该行为标签是用于表征用户的历史行为数据符合预设阈值。
其中,可以对从犯罪系统中获取的历史行为数据进行聚类分析,判断该用户是否是犯案人员,若是,添加重点人员的行为标签,还可以对从售票系统中获取的历史行为数据进行聚类分析,分析该用户的出行记录,添加国内出行、海外出行、很少出行、经常出行等出行的行为标签,还可以对消费系统中获取的历史行为数据进行聚类分析,添加消费水平高、消费水平低、经常网购、偶尔网购、从不网购、有大额转账记录、无大额转账记录、从未使用网上转账等用户消费的行为标签,还可以对从通话系统中获取的历史行为数据进行聚类分析,添加本地通话为主、外地通话为主、白天通话较多、晚上通话较多等通话的行为标签。
S103、在接入用户的实时行为数据时,根据行为标签判断实时行为数据是否发生异常。
具体的,本发明实施例所提供的异常行为监控方法对于实时接入的实时行为数据将和上述聚类分析得到的行为标签进行对比,以判断该实时行为数据是否发生异常。
本发明实施例提供的异常行为监控方法,与现有技术中的行为分析方法,采用人工的方式耗费的人力和时间成本较高,且无法对异常行为进行实时监控,实用性较差相比,其首先获取用户的多个历史行为数据,其中,多个历史行为数据由接入的多个不同的业务系统提供,然后对预设时间间隔内获取的多个历史行为数据和分别进行聚类分析,得到与上述用户对应的行为标签,最后在接入用户的实时行为数据时,根据得到的行为标签判断该实时行为数据是否发生异常,其利用大数据分析和机器学习技术对用户的历史活动信息进行聚类分析,并根据聚类分析得到的行为标签判断用户的实时行为是否存在异常,实现对用户的实时监控,省时省力,实用性较佳。
为了更好的对历史行为数据进行聚类分析,本发明实施例所提供的异常行为监控方法还将对获取的历史行为数据进行过滤和类别分析,以及对类别分析结果进行存储,参见图2,具体通过如下步骤实现:
S201、将获取的多个历史行为数据进行过滤,得到过滤后的历史行为数据;
S202、对过滤后的多个历史行为数据进行类别分析,并将分析后的每个历史行为数据均存储于对应的第一数据库中,其中,历史行为数据至少包括:第一用户身份标识和对应的历史行为信息;
S203、基于第一用户身份标识从第一数据库中读取出对应的多个历史行为信息;
S204、将第一用户身份标识和多个历史行为信息之间的对应关系存储于第二数据库中,第二数据库为:基于Hadoop平台运行的HBase数据库。
具体的,本发明实施例所提供的异常行为监控方法将对获取的每一个历史行为数据均进行过滤,去除噪音数据,其中,本发明实施例设置的清洗过滤规则主要有:数据缺失、缺少关键字段、重复数据、无用数据,即,本发明实施例将不符合过滤规则的历史行为数据进行过滤,以得到符合需求的数据。其中,考虑到本发明实施例后续的聚类分析是基于用户标识的,所以,上述缺少关键字段主要是指缺少用户身份标识,如缺少身份证号。
通过上述过滤后,将对过滤后的多个历史行为数据进行类别分析,并将分析后的每个历史行为数据均存储于对应的第一数据库。可见,上述历史行为数据将根据不同的类别被存储于不同的第一数据库中。其中,每一个第一数据库将对应于每一个业务系统,且每一个第一数据库中存储的历史行为数据是包括所有用户在内的历史行为数据。在进行上述类别分析后,本发明实施例所提供的异常行为监控方法还将基于第一用户身份标识从第一数据库中读取出对应的多个历史行为信息,并将第一用户身份标识和多个历史行为信息之间的对应关系存储于第二数据库中。可见,对于类别分析后的历史行为数据,本发明实施例还基于第一用户身份标识将对应的多个历史行为信息列式存储在第二数据库中,其中,上述第二数据库优选的采用基于Hadoop平台运行的HBase数据库,上述第一用户身份标识对应于唯一的一个用户,且该第一用户身份标识为HBase数据库的ROWKEY。采用上述列式存储方式能够更快的读取数据,以进一步提高聚类分析的效率。
本发明实施例所提供的异常行为监控方法将对预设时间间隔内Hadoop平台运行的HBase数据库中存储的数据进行聚类分析,参见图3,该分析过滤具体通过如下步骤实现:
S301、从第二数据库中读取预设时间间隔内对应于第一用户身份标识的多个历史行为信息和,历史行为信息和为预设时间间隔内读取的历史行为信息的和值;
S302、基于并行框架利用聚类算法对多个历史行为信息和分别进行聚类分析,得到与第一用户身份标识相对应的行为标签,并行框架为:基于Hadoop平台运行的SPARK并行框架。
具体的,本发明实施例所提供的异常行为监控方法能够从第二数据库中以第一身份标识为单位读取预设时间间隔(如近三年)内用户的多个历史行为信息和,其中,该历史行为信息和为预设时间间隔内读取的历史行为信息的和值。在读取上述历史行为信息和后,将采用SPARK并行框架下的聚类算法对其进行聚类分析,得到与第一用户身份标识相对应的行为标签。
其中,本发明实施例所提供的异常行为监控方法中的聚类算法优选采用k-means算法。其中,利用该k-means算法得到对应的行为标签,举例如下:公众境内消费标设定报警阈值80(满分100),聚类算法获取某公众日常三年内所有的消费记录,按消费次数和消费境内外种类,使用k-means算法最终产生日常行为库中境内消费标签值90,证明公众偏向境内消费,即给该公众添加对应的偏向境内消费的行为标签。
其中,在聚类分析得到上述行为标签后,还将该行为标签及其对应的第一用户身份标识存储在第三数据库中。
另外,本发明实施例所提供的异常行为监控方法在接入用户的实时行为数据后,还将根据存储在第三数据库中的行为标签对该实时行为数据进行异常判断,参见图4,该判断过程具体包括:
S401、接入用户的实时行为数据,并提取实时行为数据中的第二用户身份标识;
S402、从第三数据库中读取出与第二用户身份标识相同的第一用户身份标识;
S403、根据读取出的第一用户身份标识的行为标签判断实时行为数据是否发生异常;若实时行为数据不符合预设阈值,则判断发生异常。
具体的,本发明实施例在接入用户的实时行为数据后,将提取实时行为数据中的第二用户身份标识,然后从第三数据库中读取出与第二用户身份标识相同的第一用户身份标识,并根据读取出的第一用户身份标识的行为标签判断实时行为数据是否发生异常,且在实时行为数据不符合预设阈值,则判断发生异常。
其中,在上述实时行为数据发生异常时,本发明实施例所提供的异常行为监控方法还将对异常进行预警,其可以通过短信和/或邮箱的方式将与行为标签不符的实时行为数据和对应的行为标签发送至异常处理人员以进行异常预警。
具体的,本发明实施例所提供的异常行为监控方法可以通过短信和/或邮箱提醒的方式提醒异常处理人员。具体的,在判断出用户的实时行为数据异常时,将组织报警内容,该内容主要包括什么人(即第二用户身份标识)、什么时间、做了什么事以及报警依据(即行为标签)。举例说明,在上述添加有偏向境内消费的行为标签的用户产生境外消费记录时,将发出告警。如张三在2016.01.01 19:55:50秒往境外某账户,账户号XXXX转入了RMBxxx,报警依据:根据张三的日常行为库(第三数据库)分析,该用户在最近三年内从未产生过境外转账记录。产生报警信息后,由后端自动连接短信和/或邮箱系统,将信息推送给异常处理人员(如民警)。
另外,对于一些特殊用户,本发明实施例还将对其做特殊处理。如接入公众为犯案人员,则,在其进出境、产生大额交易、旅馆住宿均将产生报警;如接入公众的消费记录和日常行为库发生较大偏差时,将产生报警;如接入公众的通话数据以本地通话为主,一段时间内频繁产生国际通话,可能存在电信诈骗,也将产生报警。
可见,本发明提供的异常行为监控方法能够对海量数据按照多个维度进行提取分析,并通过机器学习为每一个人建立全方位日常行为库,当公众的日常行为(如消费、出行)与个人日常行为库产生较大偏差时自动给公安机关发出预警,以达到对可能发生的犯罪违法事件及时预防和处理的目的。
本发明实施例提供的异常行为监控方法,与现有技术中的行为分析方法,采用人工的方式耗费的人力和时间成本较高,且无法对异常行为进行实时监控,实用性较差相比,其首先获取用户的多个历史行为数据,其中,多个历史行为数据由接入的多个不同的业务系统提供,然后对预设时间间隔内获取的多个历史行为数据和分别进行聚类分析,得到与上述用户对应的行为标签,最后在接入用户的实时行为数据时,根据得到的行为标签判断该实时行为数据是否发生异常,其利用大数据分析和机器学习技术对用户的历史活动信息进行聚类分析,并根据聚类分析得到的行为标签判断用户的实时行为是否存在异常,实现对用户的实时监控,省时省力,实用性较佳。
本发明实施例还提供了一种异常行为监控装置,所述装置用于执行上述异常行为监控方法,参见图5,所述装置包括:
获取模块11,用于获取用户的多个历史行为数据,多个历史行为数据由接入的多个不同的业务系统提供,多个不同的业务系统包括以下系统中的任意多个:售票系统、消费系统、通话系统、住宿系统、聊天系统、犯罪系统和账务系统;
第一分析模块22,用于对预设时间间隔内获取的多个历史行为数据和分别进行聚类分析,得到与用户对应的行为标签,行为标签用于表征用户的历史行为数据符合预设阈值,历史行为数据和为预设时间间隔内获取的历史行为数据的和值;
判断模块33,用于在接入用户的实时行为数据时,根据行为标签判断实时行为数据是否发生异常。
为了更好的对历史行为数据进行聚类分析,本发明实施例所提供的异常行为监控装置还包括:过滤模块、第二分析模块、读取模块和第一存储模块;
过滤模块,用于将获取的多个历史行为数据进行过滤,得到过滤后的历史行为数据;
第二分析模块,用于对过滤后的多个历史行为数据进行类别分析,并将分析后的每个历史行为数据均存储于对应的第一数据库中,其中,历史行为数据至少包括:第一用户身份标识和对应的历史行为信息;
读取模块,用于基于第一用户身份标识从第一数据库中读取出对应的多个历史行为信息;
第一存储模块,用于将第一用户身份标识和多个历史行为信息之间的对应关系存储于第二数据库中,第二数据库为:基于Hadoop平台运行的HBase数据库。
参见图6,本发明实施例所提供的异常行为监控装置中的第一分析模块22包括:读取单元221和分析单元222,其中:
读取单元221,用于从第二数据库中读取预设时间间隔内对应于第一用户身份标识的多个历史行为信息和,历史行为信息和为预设时间间隔内读取的历史行为信息的和值;
分析单元222,用于基于并行框架利用聚类算法对多个历史行为信息和分别进行聚类分析,得到与第一用户身份标识相对应的行为标签,并行框架为:基于Hadoop平台运行的SPARK并行框架。
其中,在聚类分析得到上述行为标签后,还将通过第二存储模块将该行为标签及其对应的第一用户身份标识存储在第三数据库中。
另外,本发明实施例所提供的异常行为监控装置在接入用户的实时行为数据后,还将通过判断模块33对实时行为数据进行异常判断,其中,该判断模块33,接入用户的实时行为数据,并提取实时行为数据中的第二用户身份标识;从第三数据库中读取出与第二用户身份标识相同的第一用户身份标识;根据读取出的第一用户身份标识的行为标签判断实时行为数据是否发生异常;若实时行为数据不符合预设阈值,则判断发生异常。
其中,在上述实时行为数据发生异常时,本发明实施例所提供的异常行为监控装置还将根据预警模块进行预警,其中,该预警模块是通过短信和/或邮箱的方式将与行为标签不符的实时行为数据和对应的行为标签发送至异常处理人员以进行异常预警。
本发明实施例提供的异常行为监控装置,与现有技术中的行为分析方法,采用人工的方式耗费的人力和时间成本较高,且无法对异常行为进行实时监控,实用性较差相比,其首先获取用户的多个历史行为数据,其中,多个历史行为数据由接入的多个不同的业务系统提供,然后对预设时间间隔内获取的多个历史行为数据和分别进行聚类分析,得到与上述用户对应的行为标签,最后在接入用户的实时行为数据时,根据得到的行为标签判断该实时行为数据是否发生异常,其利用大数据分析和机器学习技术对用户的历史活动信息进行聚类分析,并根据聚类分析得到的行为标签判断用户的实时行为是否存在异常,实现对用户的实时监控,省时省力,实用性较佳。
本发明实施例所提供的进行异常行为监控的方法的计算机程序产品,包括存储了程序代码的计算机可读存储介质,所述程序代码包括的指令可用于执行前面方法实施例中所述的方法,具体实现可参见方法实施例,在此不再赘述。
本发明实施例所提供的异常行为监控的装置可以为设备上的特定硬件或者安装于设备上的软件或固件等。本发明实施例所提供的装置,其实现原理及产生的技术效果和前述方法实施例相同,为简要描述,装置实施例部分未提及之处,可参考前述方法实施例中相应内容。所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,前述描述的系统、装置和单元的具体工作过程,均可以参考上述方法实施例中的对应过程,在此不再赘述。
在本发明所提供的实施例中,应该理解到,所揭露装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明提供的实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释,此外,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
最后应说明的是:以上所述实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种异常行为监控方法,其特征在于,包括:
获取用户的多个历史行为数据,多个所述历史行为数据由接入的多个不同的业务系统提供,所述多个不同的业务系统包括以下系统中的任意多个:售票系统、消费系统、通话系统、住宿系统、聊天系统、犯罪系统和账务系统;
对预设时间间隔内获取的多个历史行为数据和分别进行聚类分析,得到与所述用户对应的行为标签,所述行为标签用于表征所述用户的所述历史行为数据符合预设阈值,所述历史行为数据和为预设时间间隔内获取的所述历史行为数据的和值;
在接入所述用户的实时行为数据时,根据所述行为标签判断所述实时行为数据是否发生异常。
2.根据权利要求1所述的方法,其特征在于,所述获取用户的多个历史行为数据和对预设时间间隔内获取的多个历史行为数据和分别进行聚类分析之间,包括:
将获取的多个所述历史行为数据进行过滤,得到过滤后的所述历史行为数据;
对过滤后的多个所述历史行为数据进行类别分析,并将分析后的每个所述历史行为数据均存储于对应的第一数据库中,其中,所述历史行为数据至少包括:第一用户身份标识和对应的历史行为信息;
基于所述第一用户身份标识从所述第一数据库中读取出对应的多个所述历史行为信息;
将所述第一用户身份标识和多个所述历史行为信息之间的对应关系存储于第二数据库中,所述第二数据库为:基于Hadoop平台运行的HBase数据库。
3.根据权利要求2所述的方法,其特征在于,所述对预设时间间隔内获取的多个历史行为数据和分别进行聚类分析,得到与所述用户对应的行为标签,包括:
从所述第二数据库中读取预设时间间隔内对应于所述第一用户身份标识的多个所述历史行为信息和,所述历史行为信息和为预设时间间隔内读取的所述历史行为信息的和值;
基于并行框架利用聚类算法对多个所述历史行为信息和分别进行聚类分析,得到与所述第一用户身份标识相对应的行为标签,所述并行框架为:基于Hadoop平台运行的SPARK并行框架。
4.根据权利要求3所述的方法,其特征在于,所述对预设时间间隔内获取的多个历史行为数据和分别进行聚类分析,得到与所述用户对应的行为标签之后,包括:
将所述第一用户身份标识及其对应的所述行为标签存储于第三数据库中;
所述根据所述行为标签判断所述实时行为数据是否发生异常,包括:
接入所述用户的实时行为数据,并提取所述实时行为数据中的第二用户身份标识;
从所述第三数据库中读取出与所述第二用户身份标识相同的所述第一用户身份标识;
根据读取出的所述第一用户身份标识的所述行为标签判断所述实时行为数据是否发生异常;若所述实时行为数据不符合所述预设阈值,则判断发生异常。
5.根据权利要求4所述的方法,其特征在于,还包括:通过短信和/或邮箱的方式将与所述行为标签不符的所述实时行为数据和对应的所述行为标签发送至异常处理人员以进行异常预警。
6.一种异常行为监控装置,其特征在于,包括:
获取模块,用于获取用户的多个历史行为数据,多个所述历史行为数据由接入的多个不同的业务系统提供,所述多个不同的业务系统包括以下系统中的任意多个:售票系统、消费系统、通话系统、住宿系统、聊天系统、犯罪系统和账务系统;
第一分析模块,用于对预设时间间隔内获取的多个历史行为数据和分别进行聚类分析,得到与所述用户对应的行为标签,所述行为标签用于表征所述用户的所述历史行为数据符合预设阈值,所述历史行为数据和为预设时间间隔内获取的所述历史行为数据的和值;
判断模块,用于在接入所述用户的实时行为数据时,根据所述行为标签判断所述实时行为数据是否发生异常。
7.根据权利要求6所述的装置,其特征在于,还包括:过滤模块、第二分析模块、读取模块和第一存储模块;
所述过滤模块,用于将获取的多个所述历史行为数据进行过滤,得到过滤后的所述历史行为数据;
所述第二分析模块,用于对过滤后的多个所述历史行为数据进行类别分析,并将分析后的每个所述历史行为数据均存储于对应的第一数据库中,其中,所述历史行为数据至少包括:第一用户身份标识和对应的历史行为信息;
所述读取模块,用于基于所述第一用户身份标识从所述第一数据库中读取出对应的多个所述历史行为信息;
所述第一存储模块,用于将所述第一用户身份标识和多个所述历史行为信息之间的对应关系存储于第二数据库中,所述第二数据库为:基于Hadoop平台运行的HBase数据库。
8.根据权利要求7所述的装置,其特征在于,所述第一分析模块包括:
读取单元,用于从所述第二数据库中读取预设时间间隔内对应于所述第一用户身份标识的多个所述历史行为信息和,所述历史行为信息和为预设时间间隔内读取的所述历史行为信息的和值;
分析单元,用于基于并行框架利用聚类算法对多个所述历史行为信息和分别进行聚类分析,得到与所述第一用户身份标识相对应的行为标签,所述并行框架为:基于Hadoop平台运行的SPARK并行框架。
9.根据权利要求8所述的装置,其特征在于,还包括:第二存储模块;
所述第二存储模块,用于将所述第一用户身份标识及其对应的所述行为标签存储于第三数据库中;
所述判断模块,还用于接入所述用户的实时行为数据,并提取所述实时行为数据中的第二用户身份标识;从所述第三数据库中读取出与所述第二用户身份标识相同的所述第一用户身份标识;根据读取出的所述第一用户身份标识的所述行为标签判断所述实时行为数据是否发生异常;若所述实时行为数据不符合所述预设阈值,则判断发生异常。
10.根据权利要求9所述的装置,其特征在于,还包括预警模块;所述预警模块,用于通过短信和/或邮箱的方式将与所述行为标签不符的所述实时行为数据和对应的所述行为标签发送至异常处理人员以进行异常预警。
CN201611245790.5A 2016-12-29 2016-12-29 一种异常行为监控方法和装置 Pending CN106789292A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611245790.5A CN106789292A (zh) 2016-12-29 2016-12-29 一种异常行为监控方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611245790.5A CN106789292A (zh) 2016-12-29 2016-12-29 一种异常行为监控方法和装置

Publications (1)

Publication Number Publication Date
CN106789292A true CN106789292A (zh) 2017-05-31

Family

ID=58928810

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611245790.5A Pending CN106789292A (zh) 2016-12-29 2016-12-29 一种异常行为监控方法和装置

Country Status (1)

Country Link
CN (1) CN106789292A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107274132A (zh) * 2017-06-19 2017-10-20 上海德启信息科技有限公司 一种异常用户信息的处理方法及装置
CN107506952A (zh) * 2017-10-12 2017-12-22 杭州中奥科技有限公司 危险指数的评估方法、装置及电子设备
CN109145109A (zh) * 2017-06-19 2019-01-04 国家计算机网络与信息安全管理中心 基于社交网络的用户群体消息传播异常分析方法及装置
CN109165637A (zh) * 2018-10-08 2019-01-08 武汉爱迪科技股份有限公司 一种基于动态视频分析的身份识别方法及系统
CN110020223A (zh) * 2017-12-26 2019-07-16 浙江宇视科技有限公司 行为数据分析方法及装置
WO2019141008A1 (zh) * 2018-01-22 2019-07-25 中兴通讯股份有限公司 一种基于网络通讯的身份认证方法及计算机设备
CN110120964A (zh) * 2018-02-07 2019-08-13 北京三快在线科技有限公司 用户行为监控方法和装置以及计算设备
CN111163065A (zh) * 2019-12-13 2020-05-15 国家计算机网络与信息安全管理中心 异常用户检测方法及装置
CN111221809A (zh) * 2020-01-08 2020-06-02 国电联合动力技术有限公司 基于实时数据库存储的数据清洗方法和系统及存储介质
CN111400415A (zh) * 2020-03-12 2020-07-10 深圳市天彦通信股份有限公司 涉稳人员的管理方法及相关装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102413013A (zh) * 2011-11-21 2012-04-11 北京神州绿盟信息安全科技股份有限公司 网络异常行为检测方法及装置
CN105516152A (zh) * 2015-12-15 2016-04-20 云南大学 异常行为检测方法
CN105528535A (zh) * 2015-12-25 2016-04-27 北京奇虎科技有限公司 基于行为日志信息的用户行为分析方法及装置
CN105744005A (zh) * 2016-04-30 2016-07-06 平安证券有限责任公司 客户定位分析方法及服务器
CN105868256A (zh) * 2015-12-28 2016-08-17 乐视网信息技术(北京)股份有限公司 处理用户行为数据的方法和系统
CN106127400A (zh) * 2016-06-29 2016-11-16 北京奇虎科技有限公司 工作行为分析方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102413013A (zh) * 2011-11-21 2012-04-11 北京神州绿盟信息安全科技股份有限公司 网络异常行为检测方法及装置
CN105516152A (zh) * 2015-12-15 2016-04-20 云南大学 异常行为检测方法
CN105528535A (zh) * 2015-12-25 2016-04-27 北京奇虎科技有限公司 基于行为日志信息的用户行为分析方法及装置
CN105868256A (zh) * 2015-12-28 2016-08-17 乐视网信息技术(北京)股份有限公司 处理用户行为数据的方法和系统
CN105744005A (zh) * 2016-04-30 2016-07-06 平安证券有限责任公司 客户定位分析方法及服务器
CN106127400A (zh) * 2016-06-29 2016-11-16 北京奇虎科技有限公司 工作行为分析方法及装置

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107274132A (zh) * 2017-06-19 2017-10-20 上海德启信息科技有限公司 一种异常用户信息的处理方法及装置
CN109145109A (zh) * 2017-06-19 2019-01-04 国家计算机网络与信息安全管理中心 基于社交网络的用户群体消息传播异常分析方法及装置
CN109145109B (zh) * 2017-06-19 2022-06-03 国家计算机网络与信息安全管理中心 基于社交网络的用户群体消息传播异常分析方法及装置
CN107506952A (zh) * 2017-10-12 2017-12-22 杭州中奥科技有限公司 危险指数的评估方法、装置及电子设备
CN110020223A (zh) * 2017-12-26 2019-07-16 浙江宇视科技有限公司 行为数据分析方法及装置
CN110020223B (zh) * 2017-12-26 2021-04-20 浙江宇视科技有限公司 行为数据分析方法及装置
WO2019141008A1 (zh) * 2018-01-22 2019-07-25 中兴通讯股份有限公司 一种基于网络通讯的身份认证方法及计算机设备
CN110071896A (zh) * 2018-01-22 2019-07-30 中兴通讯股份有限公司 一种基于网络通讯的身份认证方法及计算机设备
CN110120964A (zh) * 2018-02-07 2019-08-13 北京三快在线科技有限公司 用户行为监控方法和装置以及计算设备
CN110120964B (zh) * 2018-02-07 2022-07-08 北京三快在线科技有限公司 用户行为监控方法和装置以及计算设备
CN109165637A (zh) * 2018-10-08 2019-01-08 武汉爱迪科技股份有限公司 一种基于动态视频分析的身份识别方法及系统
CN111163065A (zh) * 2019-12-13 2020-05-15 国家计算机网络与信息安全管理中心 异常用户检测方法及装置
CN111221809A (zh) * 2020-01-08 2020-06-02 国电联合动力技术有限公司 基于实时数据库存储的数据清洗方法和系统及存储介质
CN111221809B (zh) * 2020-01-08 2024-05-24 国电联合动力技术有限公司 基于实时数据库存储的数据清洗方法和系统及存储介质
CN111400415A (zh) * 2020-03-12 2020-07-10 深圳市天彦通信股份有限公司 涉稳人员的管理方法及相关装置
CN111400415B (zh) * 2020-03-12 2024-05-17 深圳市天彦通信股份有限公司 人员的管理方法及相关装置

Similar Documents

Publication Publication Date Title
CN106789292A (zh) 一种异常行为监控方法和装置
CN104615852B (zh) 针对保障网上预约挂号秩序及提高号源使用效率的方法
CN106453357A (zh) 一种网络购票异常行为的识别方法、系统及设备
CN104184763B (zh) 一种反馈信息处理方法及系统、服务设备
CN108694657A (zh) 客户识别装置、方法及计算机可读存储介质
CN107808502B (zh) 一种图像检测报警方法及装置
CN109523276A (zh) 用户投诉的预警监控方法及装置
CN107886079A (zh) 对象识别方法、装置及系统
CN113412607B (zh) 内容推送方法、装置、移动终端及存储介质
CN108366045A (zh) 一种风控评分卡的设置方法和装置
CN107179827A (zh) 一种金融设备的智能交互方法及系统
CN103678417A (zh) 人机交互数据处理方法和装置
CN106657007A (zh) 识别基于dbscan模型的非正常批量购票行为的方法
CN109241062A (zh) 一种政务数据目录的生成方法及装置
CN105096195A (zh) 基于互联网应用平台的账户资金数值处理方法和系统
CN110458594A (zh) 一种基于用户权重的网络调查问卷生成方法和装置
CN108520471A (zh) 重叠社区发现方法、装置、设备及存储介质
CN112437034B (zh) 虚假终端检测方法和装置、存储介质及电子装置
CN107944293A (zh) 虚拟资产保护方法、系统、设备及存储介质
CN114331473A (zh) 电信诈骗事件的识别方法及其装置、计算机可读存储介质
CN106817262A (zh) 一种日志分析装置
CN109979056A (zh) 基于图像识别技术的门禁系统及方法
CN104580731B (zh) 通话界面的显示方法、装置及移动终端
CN108259312A (zh) 信息发布方法、装置及服务器
CN106201410A (zh) 一种信息展示方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170531