CN116257560A - 用户行为数据分析装置、方法、存储介质及电子设备 - Google Patents
用户行为数据分析装置、方法、存储介质及电子设备 Download PDFInfo
- Publication number
- CN116257560A CN116257560A CN202310099441.0A CN202310099441A CN116257560A CN 116257560 A CN116257560 A CN 116257560A CN 202310099441 A CN202310099441 A CN 202310099441A CN 116257560 A CN116257560 A CN 116257560A
- Authority
- CN
- China
- Prior art keywords
- data
- user behavior
- real
- behavior data
- analysis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000007405 data analysis Methods 0.000 title claims abstract description 33
- 238000003860 storage Methods 0.000 title claims abstract description 28
- 230000006399 behavior Effects 0.000 claims abstract description 217
- 238000004458 analytical method Methods 0.000 claims abstract description 99
- 238000004364 calculation method Methods 0.000 claims abstract description 50
- 238000013507 mapping Methods 0.000 claims abstract description 19
- 238000012545 processing Methods 0.000 claims description 18
- 238000009826 distribution Methods 0.000 claims description 17
- 238000010606 normalization Methods 0.000 claims description 14
- 238000013480 data collection Methods 0.000 claims description 11
- 238000013500 data storage Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 8
- 238000007418 data mining Methods 0.000 claims description 7
- 230000002776 aggregation Effects 0.000 claims description 6
- 238000004220 aggregation Methods 0.000 claims description 6
- 238000011156 evaluation Methods 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000012544 monitoring process Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000012795 verification Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004140 cleaning Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000013481 data capture Methods 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2457—Query processing with adaptation to user needs
- G06F16/24578—Query processing with adaptation to user needs using ranking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
- G06F21/57—Certifying or maintaining trusted computer platforms, e.g. secure boots or power-downs, version controls, system software checks, secure updates or assessing vulnerabilities
- G06F21/577—Assessing vulnerabilities and evaluating computer system security
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请公开了一种用户行为数据分析装置、方法、存储介质及电子设备,其中装置包括:数据采集模块,用于基于多个不同类别的终端采集用户行为数据;分布式实时计算模块,包括规则映射单元、实时流计算单元和内存计算单元;所述规则映射单元,用于基于信息安全防护系统发送的安全防护规则对所述用户行为数据进行规则匹配;所述实时流计算单元,用于对规则匹配后的用户行为数据进行实时流计算,得到实时流数据;所述内存计算单元,用于对所述实时流数据进行建模分析,得到用户行为分析结果;数据展示模块,用于展示所述用户行为分析结果。本申请提供的装置和方法,提高了分析用户行为数据的实时性和准确性。
Description
技术领域
本申请涉及信息安全技术领域,具体而言,涉及一种用户行为数据分析装置、方法、存储介质及电子设备。
背景技术
随着互联网信息技术的不断发展,社会的信息化和网络化程度不断增加,用户隐私泄露的风险也越来越大,因此,信息安全领域不断面临新的挑战。在信息安全领域,身份验证技术作为领域核心技术之一,能够鉴别终端用户身份的真实性和合法性,防止非法人员对系统进行攻击和破坏。身份验证技术作为信息安全防护的第一道防线发挥着举足轻重的作用。
现有的身份验证技术包括口令认证、智能卡认证和生物特征认证等。但在用户的身份信息被窃取时,现有的身份验证技术无法对用户身份的真实性和合法性进行实时识别和实时分析。
用户行为数据是指用户与终端进行交互时产生的行为特征,其变化反映出用户的行为习惯,对用户与终端交互过程中的行为进行分析,可以验证用户的身份。
因此,如何对用户行为数据进行实时分析成为业界亟待解决的技术问题。
发明内容
第一方面,本申请提供了一种用户行为数据分析装置,包括:
数据采集模块,用于基于多个不同类别的终端采集用户行为数据;
分布式实时计算模块,包括规则映射单元、实时流计算单元和内存计算单元;
所述规则映射单元,用于基于信息安全防护系统发送的安全防护规则对所述用户行为数据进行规则匹配;
所述实时流计算单元,用于对规则匹配后的用户行为数据进行实时流计算,得到实时流数据;
所述内存计算单元,用于对所述实时流数据进行建模分析,得到用户行为分析结果;
数据展示模块,用于展示所述用户行为分析结果。
在一些实施例中,所述内存计算单元包括:
数据预处理子单元,用于对所述实时流数据进行归一化处理;
数据建模子单元,用于确定用户行为分析模型;
关系引擎,用于确定归一化处理后的实时流数据的存储模式;
计算引擎,用于基于所述用户行为分析模型对所述归一化处理后的实时流数据进行预测分析,得到所述用户行为分析结果。
在一些实施例中,所述数据采集单元具体用于:
对所述多个不同类别的终端中的程序代码进行全埋点,或者基于业务场景进行自定义埋点;
基于所述程序代码中的埋点位置采集所述用户行为数据。
在一些实施例中,所述数据采集单元还用于:
确定分析模式;
基于所述分析模式确定待采集的用户行为数据的数据类型;
基于所述数据类型采集所述用户行为数据;
其中,所述分析模式包括行为评估模式、行为序列模式和行为数据挖掘模式中的至少一种。
在一些实施例中,所述规则映射单元具体用于:
接收所述信息安全防护系统发送的安全防护规则;
基于所述安全防护规则以对所述用户行为数据进行规则匹配;
其中,所述安全防护规则包括风险事件规则、数据安全规则和系统漏洞规则中的至少一种。
在一些实施例中,所述装置还包括:
数据存储模块,用于将所述用户行为数据和所述行为分析结果存储至数据库中。
在一些实施例中,所述装置还包括数据分发模块和数据归集模块:
所述数据分发模块的输入端与所述数据采集模块的输出端连接,输出端与所述分布式实时计算模块的输入端连接;
所述数据归集模块的输入端与所述分布式实时计算模块的输出端连接,输出端与所述数据展示模块的输入端以及所述数据存储模块的输入端连接;
所述数据分发模块和所述数据归集模块是基于Kafka实现的。
第二方面,本申请提供了一种用户行为数据分析方法,包括:
基于多个不同类别的终端采集用户行为数据;
基于信息安全防护系统发送的安全防护规则对所述用户行为数据进行规则匹配;
对规则匹配后的用户行为数据进行实时流计算,得到实时流数据;
对所述实时流数据进行建模分析,得到用户行为分析结果;
展示所述用户行为分析结果。
第三方面,本申请提供了一种计算机可读的存储介质,所述计算机可读的存储介质包括存储的程序,其中,所述程序运行时执行上述的方法。
第四方面,本申请提供了一种电子设备,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器被设置为通过所述计算机程序执行所述程序时实现上述的方法。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
为了更清楚地说明本申请或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请一个实施例提供的用户行为数据分析装置的结构示意图;
图2是本申请一个实施例提供的用户行为数据分析方法的流程示意图;
图3是本申请另一个实施例提供的用户行为数据分析方法的流程示意图;
图4是本申请一个实施例提供的电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元或模块,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元或模块。
在本申请的技术方案中,所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理,均符合相关法律法规的规定,采取了必要保密措施,且不违背公序良俗。
图1为本申请一个实施例提供的用户行为数据分析装置的结构示意图;如图1所示,该装置包括数据采集模块110、分布式实时计算模块120和数据展示模块130。其中,分布式实时计算模块120包括规则映射单元121、实时流计算单元122和内存计算单元123。
数据采集模块110,用于基于多个不同类别的终端采集用户行为数据。
具体地,多个不同类别的终端可以包括web端、移动应用端、桌面应用端和小程序端等。
用户行为数据为用户与多个不同类别的终端进行互动的数据,可以用于记录用户点击页面、浏览页面、转换页面和分享页面等用户行为。用户行为数据可以是预设条件范围内用户对于多个不同类别的终端的所有操作对应的数据的集合。
数据采集模块可以从多个不同类别的终端实时采集用户行为数据,并将采集的用户行为数据发送至分布式实时计算模块中的规则映射单元。
规则映射单元121,用于基于信息安全防护系统发送的安全防护规则对用户行为数据进行规则匹配。
具体地,信息安全防护系统为保护信息和信息系统免受未经授权的访问、使用、泄露、中断、修改或毁坏等的系统。信息安全防护系统中包括多种安全防护规则,信息安全防护系统将该多种安全防护规则发送至规则映射单元,规则映射单元根据该多种安全防护规则对接收的用户行为数据进行规则匹配。
在用户行为数据进行规则匹配后,规则映射单元将规则匹配后的用户行为数据发送至实时流计算单元。
实时流计算单元122,用于对规则匹配后的用户行为数据进行实时流计算,得到实时流数据。
具体地,因为规则映射单元只是对用户行为数据进行初步的识别,若用户行为数据进行规则匹配后,如果匹配结果为成功,则表明根据现有的信息安全防护系统发送的安全防护规则,可以对用户行为数据所体现的用户身份进行确认,确认其属于真实用户或者非法用户。
如果匹配结果为失败,则需要进一步对用户行为数据进行分析,以确定用户身份的真实性和合法性。
实时流计算可以基于Flink组件大吞吐量、可扩展性、高容错性、高可靠性和易操作性的特性,对用户行为数据进行数据捕获、数据转换、数据合并和数据清洗等,从而得到实时流数据。
实时流计算单元接收规则映射单元发送的规则匹配后的用户行为数据,对该用户行为数据进行实时流计算,可以得到实时流数据。实时流计算单元将该实时流数据发送至内存计算单元。
内存计算单元123,用于对实时流数据进行建模分析,得到用户行为分析结果。
具体地,内存计算单元接收实时流计算单元发送的实时流数据,并对该实时流数据进行建模分析,从而得到用户行为分析结果。内存计算单元将该用户行为分析结果发送至数据展示模块。
根据用户行为结果可以判断当前终端用户身份的真实性和合法性。
数据展示模块130,用于展示用户行为分析结果。
具体地,为了更直观地查看用户行为分析结果,可以将用户行为分析结果在终端的显示界面上进行展示。用户行为分析结果的展示方式可以为图表的方式。
例如,数据展示模块接收到用户行为分析结果后,根据该用户行为分析结果输出数据图表,并将该图表展示在终端的显示页面中。
本申请实施例的用户行为数据分析装置可以为终端中独立设置的硬件设备,也可以为运行在终端中的软件程序。
根据本申请的实施例,数据采集模块、分布式实时计算模块和数据展示模块中的任意多个模块可以合并在一个模块中实现,或者其中的任意一个模块可以被拆分成多个模块。
或者,这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合,并在一个模块中实现。
根据本申请的实施例,数据采集模块、分布式实时计算模块和数据展示模块中的至少一个可以至少被部分地实现为硬件电路,例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC),或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现,或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。
或者,数据采集模块、分布式实时计算模块和数据展示模块中的至少一个可以至少被部分地实现为计算机程序模块,当该计算机程序模块被运行时,可以执行相应的功能。
本申请实施例提供的用户行为数据分析装置,通过数据采集模块,可以从多个不同类别的终端来采集用户行为数据,采集的数据更加全面,提高了用户行为数据分析的准确性;通过分布式实时计算模块中的规则映射单元将信息安全防护系统发送的安全防护规则对用户行为数据进行规则匹配,可以将现有的安全防护规则有效地融入到本申请的技术方案中;通过分布式实时计算模块中的实时流计算单元对用户行为数据进行实时流计算,可以对用户行为数据进行实时计算和分析,得到实时流数据;通过分布式实时计算模块中的内存计算单元对实时流数据进行建模分析,可以得到实时的用户行为分析结果;通过数据展示模块,可以展示用户行为分析结果,能够更加直观地查看用户行为分析结果,提升用户体验感。
在一些实施例中,内存计算单元包括:
数据预处理子单元,用于对实时流数据进行归一化处理;
数据建模子单元,用于确定用户行为分析模型;
关系引擎,用于确定归一化处理后的实时流数据的存储模式;
计算引擎,用于基于用户行为分析模型对归一化处理后的实时流数据进行预测分析,得到用户行为分析结果。
具体地,数据归一化(标准化)处理是数据挖掘的一项基础操作。因为实时流数据中不同的数据指标往往具有不同的量纲和量纲单位,从而影响到用户行为分析结果,为了消除不同的数据指标之间的量纲影响,需要对实时流数据进行归一化处理,以解决数据指标之间的可比性。实时流数据经过数据标准化处理后,各数据指标处于同一数量级,进而可以进行统一分析。
因此,内存计算单元为了对接收的实时流数据进行统一处理,需要通过内存计算单元中的数据预处理子单元对实时流数据进行归一化处理。归一化处理后的实时流数据可以直接用来计算。
数据建模子单元可以进行数据建模,通过数据建模可以满足各种数据类型进行集成的需求。
根据数据建模子单元来确定用户行为分析模型,用户行为分析模型可以对实时流数据进行分析,并输出用户行为分析结果。数据建模子单元的预测分析算法库中存储有多种算法(用户行为分析模型),可以根据归一化处理后的实时流数据的类型在预测分析算法库中选取对应的算法。
关系引擎可以提供行式存储和列式存储两种存储模式,关系引擎具有提供根据不同类型的数据对应的读写需求选择合适的存储模式的功能。关系引擎可以根据归一化处理后的实时流数据的数据类型来确定其对应的存储模式,并将其存入到存储库中。
计算引擎可以根据归一化处理后的实时流数据的存储模式,从存储库中依次取出该归一化处理后的实时流数据,并从预测分析算法库中调用该归一化处理后的实时流数据对应的算法,来实现对归一化处理后的实时流数据的计算和预测分析,并输出用户行为分析结果。
本申请实施例提供的用户行为数据分析装置,通过将关系引擎和计算引擎相结合,在内存中完成所有的计算,可以得到用户行为数据的实时计算结果数据,可以提升计算效率。
在一些实施例中,数据采集单元具体用于:
对多个不同类别的终端中的程序代码进行全埋点,或者基于业务场景进行自定义埋点;
基于程序代码中的埋点位置采集用户行为数据。
具体地,可以在终端安装软件开发工具包(Software Development Kit,SDK),根据需要获取的用户行为数据的类别通过SDK预先对程序代码进行全埋点,即通过SDK在程序代码上一次性嵌入监测代码;或者根据业务场景进行自定义埋点,即根据业务场景确定待监测点,根据待监测点的位置在程序代码上加入监测代码。
以全埋点为例,若需要获取的用户行为数据为页面转换数据,则预先在所有关于页面转换的程序代码上一次性地嵌入监测代码,当用户在任一类别的终端中进行页面转换操作时,该页面转换操作数据都会被监控和记录。
本申请实施例提供的用户行为数据分析装置,可以根据实际需求进行全埋点或者自定义埋点,实现用户行为数据的采集,采集效率高。
在一些实施例中,数据采集单元还用于:
确定分析模式;
基于分析模式确定待采集的用户行为数据的数据类型;
基于数据类型采集用户行为数据;
其中,分析模式包括行为评估模式、行为序列模式和行为数据挖掘模式中的至少一种。
具体地,可以根据实际情况来确定不同分析模式,确定分析模式可以确定需要采集的用户行为数据的数据类型。数据类型可以包括:点击页面的次数、浏览页面的时长、转换页面的频率和分享页面次数等。
分析模式包括行为评估模式、行为序列模式和行为数据挖掘模式中的至少一种。即可以只使用一种分析模式,也可以将多种分析模式结合使用,具体可以根据实际情况来设置。
以分析模式为行为评估模式为例。当前需要评估用户浏览页面的时长,则需要采集的用户行为数据为用户浏览多个类型的终端的页面时长的数据集合。
以分析模式为行为序列模式为例。行为序列模式需要采集用户点击页面的次数,则采集的用户行为数据为用户在多个类型的终端的页面的点击数据。根据点击数据可以得到一个点击数据序列表,通过点击数据序列表可以统计出用户点击页面的次数。
以分析模式为行为数据挖掘模式为例,因为行为数据挖掘需要较大的数据量,所以需要采集多种类型的用户行为数据,例如采集用户点击页面的数据、用户浏览页面的数据和用户分享页面的数据等。
本申请实施例提供的用户行为数据分析装置,通过选择分析模式来确定采集哪些用户行为数据,可以根据实际情况针对性地采集用户行为数据,提高用户行为数据分析的分析效率。
在一些实施例中,规则映射单元具体用于:
接收信息安全防护系统发送的安全防护规则;
基于安全防护规则以对用户行为数据进行规则匹配;
其中,安全防护规则包括风险事件规则、数据安全规则和系统漏洞规则中的至少一种。
具体地,风险事件规则中包括多次输入错误密码的数据特征和多次输入错误的验证码等。例如,当前用户行为数据中包括用户多次输入错误密码的数据,将该用户行为数据与风险事件规则进行规则匹配,确定用户行为数据与多次输入错误密码的数据特征相匹配,匹配结果为成功,则当前输入密码的用户可能不是真实用户或合法用户。
数据安全规则中包括网络机器人操作数据特征等。例如,对当前用户行为数据进行解析,确定用户一秒钟点击了页面300次,将当前用户行为数据与数据安全规则进行规则匹配,确定点击频次与数据安全规则中设置的非法点击频次相匹配,匹配结果为成功,此时的用户可能是网络机器人,则当前用户可能不是真实用户或合法用户。
系统漏洞规则中包括漏洞库,将当前用户行为数据与漏洞库中的各种漏洞特征相匹配,若匹配结果为成功,则当前用户可能不是真实用户或合法用户。
安全防护规则还可以包括其他规则,例如包括指纹识别规则等。对当前用户行为数据进行解析,确定用户在操作终端过程中的指纹特征数据。指纹识别规则中存储有真实用户的指纹特征数据,将当前用户行为数据与指纹识别规则相匹配,若匹配结果为失败,则当前用户可能不是真实用户或合法用户。
本申请实施例提供的用户行为数据分析装置,通过接收信息安全防护系统发送的安全防护规则,可以有效地将信息安全防护系统中的安全防护规则与本申请的用户行为数据分析技术相融合。可以通过安全防护规则对用户行为数据进行初步地分析。若规则匹配结果为成功,则可结束对当前用户行为数据的分析;若规则匹配结果为失败,则进一步对该用户行为数据进行分析,提高了用户行为数据的分析效率。
在一些实施例中,装置还包括:
数据存储模块,用于将用户行为数据和行为分析结果存储至数据库中。
具体地,本申请实施例的数据库为根据HDFS、Hive、Hbase、关系型数据库和Redis在内的综合数据存储体系构建的数据库。
本申请实施例提供的用户行为数据分析装置,通过数据存储模块可以及时地将用户行为数据和用户行为分析结果进行存储,可以与数据展示模块相结合展示用户行为数据分析结果;还可以与应用模块相结合,提供行为监控、运营分析、风险处置、指标模型以及综合管理在内的综合应用功能。
在一些实施例中,装置还包括数据分发模块和数据归集模块:
数据分发模块的输入端与数据采集模块的输出端连接,输出端与分布式实时计算模块的输入端连接;
数据归集模块的输入端与分布式实时计算模块的输出端连接,输出端与数据展示模块的输入端以及数据存储模块的输入端连接;
数据分发模块和数据归集模块是基于Kafka实现的。
具体地,根据Kafka构建数据分发模块,将采集的用户行为数据进行削峰填谷,以及对该用户行为数据进行分发以产生稳定的数据源。
根据Kafka构建数据归集模块,将用户行为分析结果的相关数据通过数据归集模块传输到数据展示模块及应用模块。
Kafka是一种高吞吐量的分布式发布订阅消息系统,与大多数的分布式实时流计算系统之间具有良好的兼容性。通过Kafka构建数据接口层中的消息队列,可以实现将多个不同类别的终端采集的用户行为数据进行分发,产生稳定的数据源用于后续的计算分析。
本申请实施例提供的用户行为数据分析装置,通过Kafka构建数据分发模块和数据归集模块,完成用户行为数据的接入,可以将多个不同类别的终端采集的用户行为数据进行分发,产生稳定的数据源以便于后续的计算分析。通过数据归集模块,可以将用户行为分析结果发送至数据展示模块和应用模块,提高了用户的体验感。
下面对本申请实施例提供的用户行为数据分析方法进行描述,下文描述的用户行为数据分析方法与上文描述的用户行为数据分析装置可相互对应参照。
图2是本申请一个实施例提供的用户行为数据分析方法的流程示意图,如图2所示,该方法包括步骤210、步骤220、步骤230、步骤240和步骤250。该方法流程步骤仅仅作为本申请一个可能的实现方式。
步骤210、基于多个不同类别的终端采集用户行为数据。
步骤220、基于信息安全防护系统发送的安全防护规则对用户行为数据进行规则匹配。
步骤230、对规则匹配后的用户行为数据进行实时流计算,得到实时流数据。
步骤240、对实时流数据进行建模分析,得到用户行为分析结果。
步骤250、展示用户行为分析结果
具体地,本申请实施例提供的用户行为数据分析方法的执行主体为用户行为数据分析装置。
本申请实施例提供的用户行为数据分析方法,通过从多个不同类别的终端来采集用户行为数据,采集的数据更加全面;通过将信息安全防护系统发送的安全防护规则对用户行为数据进行规则匹配,可以将现有的安全防护规则有效地融入到本申请的技术方案中;通过对用户行为数据进行实时流计算,可以对用户行为数据进行实时计算和分析,得到实时流数据;通过对实时流数据进行建模分析,可以得到实时的用户行为分析结果;通过展示用户行为分析结果,能够更加直观地查看用户行为分析结果,提升用户体验感。
图3是本申请另一个实施例提供的用户行为数据分析方法的流程示意图,如图3所示,该方法包括步骤310、步骤320、步骤330、步骤340、步骤350和步骤360。
步骤310、构建覆盖web页面、移动应用、小程序、桌面应用的多端采集埋点SDK。
SDK需支持自动埋点(全埋点,一次嵌入即可满足采集用户行为数据的需求)和手动埋点(自定义埋点,定制化采集用户行为数据)两种埋点方式;还需支持按照分析模式的选择差异进行用户行为数据采集任务的自动化适配操作。
步骤320、引入Kafka构建具有数据分发和数据归集处理功能的模块,实现将多个不同类别的终端采集的用户行为数据进行分发。
步骤330、进行分布式实时计算,与信息安全防护系统相结合,获取信息安全防护系统发送的安全防护规则,并对用户行为数据进行规则匹配。安全防护规则包括风险事件规则、数据安全规则和系统漏洞规则等规则。
根据Flink对用户行为数据进行数据捕获、数据转换、数据合并和数据清洗等,得到实时流数据。
对实时流数据进行预处理。通过数据建模满足各类型数据集成的需求。通过关系引擎提供行式存储和列式存储两种存储模式,提供根据不同类型的数据对应的读写需求选择合适的存储模式的功能;通过计算引擎从预测分析算法库中调用算法,来实现对预处理后的实时流数据的计算和预测分析。
步骤340、通过Kafka实现数据归集处理功能,按照后续操作的差异将计算后的实时流数据进行归集和发送。
步骤350、将计算后的实时流数据中待存储的数据存储到数据库中。根据存储数据的格式差异及应用场景的不同,提供包括HDFS、Hive、Hbase、关系型数据库(DataBase,DB)和Redis在内的数据库。
步骤360、将计算后的实时流数据中待应用的数据与各种应用相关联,实现行为监控、运营分析、风险处置、指标模型以及综合管理在内的综合应用功能。
本申请实施例提供的用户行为数据分析方法,通过从多个不同类别的终端采集用户行为数据,可以在信息安全防护领域根据用户行为数据开展信息安全防护操作;通过实时流的方式保障了用户行为数据的时效性,保障了处理的有效性;将信息安全防护系统的功能综合运用,最大化发挥信息安全防护功能;通过采集用户行为数据、数据分发、数据计算、数据存储和数据应用的全流程步骤,可以实时地和高效地识别用户身份的真实性和合法性。
需要说明的是,本申请每一个实施方式可以自由组合、调换顺序或者单独执行,并不需要依靠或依赖固定的执行顺序。
图4为本申请一个实施例提供的电子设备的结构示意图,如图4所示,该电子设备可以包括:处理器(Processor)410、通信接口(Communications Interface)420、存储器(Memory)430和通信总线(Communications Bus)440,其中,处理器410,通信接口420,存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑命令,以执行用户行为数据分析方法,该方法包括:
基于信息安全防护系统发送的安全防护规则对用户行为数据进行规则匹配;对规则匹配后的用户行为数据进行实时流计算,得到实时流数据;对实时流数据进行建模分析,得到用户行为分析结果;展示用户行为分析结果。
此外,上述的存储器中的逻辑命令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干命令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请实施例提供的电子设备中的处理器可以调用存储器中的逻辑指令,实现上述方法,其具体的实施方式与前述方法实施方式一致,且可以达到相同的有益效果,此处不再赘述。
本申请实施例还提供一种非暂态计算机可读的存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各实施例提供的方法。
其具体的实施方式与前述方法实施方式一致,且可以达到相同的有益效果,此处不再赘述。
本申请实施例提供一种计算机程序产品,包括计算机程序,计算机程序被处理器执行时实现如上述方法。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (10)
1.一种用户行为数据分析装置,其特征在于,包括:
数据采集模块,用于基于多个不同类别的终端采集用户行为数据;
分布式实时计算模块,包括规则映射单元、实时流计算单元和内存计算单元;
所述规则映射单元,用于基于信息安全防护系统发送的安全防护规则对所述用户行为数据进行规则匹配;
所述实时流计算单元,用于对规则匹配后的用户行为数据进行实时流计算,得到实时流数据;
所述内存计算单元,用于对所述实时流数据进行建模分析,得到用户行为分析结果;
数据展示模块,用于展示所述用户行为分析结果。
2.根据权利要求1所述的用户行为数据分析装置,其特征在于,所述内存计算单元包括:
数据预处理子单元,用于对所述实时流数据进行归一化处理;
数据建模子单元,用于确定用户行为分析模型;
关系引擎,用于确定归一化处理后的实时流数据的存储模式;
计算引擎,用于基于所述用户行为分析模型对所述归一化处理后的实时流数据进行预测分析,得到所述用户行为分析结果。
3.根据权利要求1所述的用户行为数据分析装置,其特征在于,所述数据采集单元具体用于:
对所述多个不同类别的终端中的程序代码进行全埋点,或者基于业务场景进行自定义埋点;
基于所述程序代码中的埋点位置采集所述用户行为数据。
4.根据权利要求1所述的用户行为数据分析装置,其特征在于,所述数据采集单元还用于:
确定分析模式;
基于所述分析模式确定待采集的用户行为数据的数据类型;
基于所述数据类型采集所述用户行为数据;
其中,所述分析模式包括行为评估模式、行为序列模式和行为数据挖掘模式中的至少一种。
5.根据权利要求1所述的用户行为数据分析装置,其特征在于,所述规则映射单元具体用于:
接收所述信息安全防护系统发送的安全防护规则;
基于所述安全防护规则以对所述用户行为数据进行规则匹配;
其中,所述安全防护规则包括风险事件规则、数据安全规则和系统漏洞规则中的至少一种。
6.根据权利要求1所述的用户行为数据分析装置,其特征在于,所述装置还包括:
数据存储模块,用于将所述用户行为数据和所述行为分析结果存储至数据库中。
7.根据权利要求6所述的用户行为数据分析装置,其特征在于,所述装置还包括数据分发模块和数据归集模块:
所述数据分发模块的输入端与所述数据采集模块的输出端连接,输出端与所述分布式实时计算模块的输入端连接;
所述数据归集模块的输入端与所述分布式实时计算模块的输出端连接,输出端与所述数据展示模块的输入端以及所述数据存储模块的输入端连接;
所述数据分发模块和所述数据归集模块是基于Kafka实现的。
8.一种用户行为数据分析方法,其特征在于,包括:
基于多个不同类别的终端采集用户行为数据;
基于信息安全防护系统发送的安全防护规则对所述用户行为数据进行规则匹配;
对规则匹配后的用户行为数据进行实时流计算,得到实时流数据;
对所述实时流数据进行建模分析,得到用户行为分析结果;
展示所述用户行为分析结果。
9.一种计算机可读的存储介质,其特征在于,所述计算机可读的存储介质包括存储的程序,其中,所述程序运行时执行权利要求8所述的用户行为数据分析方法。
10.一种电子设备,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为通过所述计算机程序执行权利要求8所述的用户行为数据分析方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310099441.0A CN116257560A (zh) | 2023-02-09 | 2023-02-09 | 用户行为数据分析装置、方法、存储介质及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310099441.0A CN116257560A (zh) | 2023-02-09 | 2023-02-09 | 用户行为数据分析装置、方法、存储介质及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116257560A true CN116257560A (zh) | 2023-06-13 |
Family
ID=86685765
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310099441.0A Pending CN116257560A (zh) | 2023-02-09 | 2023-02-09 | 用户行为数据分析装置、方法、存储介质及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116257560A (zh) |
-
2023
- 2023-02-09 CN CN202310099441.0A patent/CN116257560A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108062629B (zh) | 交易事件的处理方法、终端设备及介质 | |
CN110517097B (zh) | 识别异常用户的方法、装置、设备及存储介质 | |
CN110781433B (zh) | 数据类型的确定方法和装置、存储介质及电子装置 | |
CN104836781A (zh) | 区分访问用户身份的方法及装置 | |
CN110855676A (zh) | 网络攻击的处理方法、装置及存储介质 | |
CN111145779B (zh) | 一种音频文件的目标检测方法及相关设备 | |
CN113315828B (zh) | 一种流量录制方法、装置及流量录制设备、存储介质 | |
CN107302586A (zh) | 一种Webshell检测方法以及装置、计算机装置、可读存储介质 | |
CN115174231B (zh) | 一种基于AI Knowledge Base的网络欺诈分析方法及服务器 | |
CN111404937A (zh) | 一种服务器漏洞的检测方法和装置 | |
CN112437034B (zh) | 虚假终端检测方法和装置、存储介质及电子装置 | |
CN111611519A (zh) | 一种个人异常行为检测方法及装置 | |
CN112307464A (zh) | 诈骗识别方法、装置及电子设备 | |
CN115174205A (zh) | 一种网络空间安全实时监测方法、系统及计算机存储介质 | |
CN111222181A (zh) | Ai模型的监管方法、系统、服务器及存储介质 | |
CN107294981B (zh) | 一种认证的方法和设备 | |
CN113886821A (zh) | 基于孪生网络的恶意进程识别方法、装置、电子设备及存储介质 | |
CN108647284A (zh) | 记录用户行为的方法及装置、介质和计算设备 | |
CN117097571A (zh) | 一种网络传输敏感数据的检测方法、系统、装置及介质 | |
CN116257560A (zh) | 用户行为数据分析装置、方法、存储介质及电子设备 | |
CN111786991B (zh) | 基于区块链的平台认证登录方法及相关装置 | |
CN111339829B (zh) | 用户身份鉴定方法、装置、计算机设备和存储介质 | |
CN110990810B (zh) | 一种用户操作数据处理方法、装置、设备及存储介质 | |
CN114189585A (zh) | 骚扰电话异常检测方法、装置及计算设备 | |
CN115967542B (zh) | 基于人因的入侵检测方法、装置、设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |