CN113689246B - 基于人工智能的网站监控方法、装置、电子设备及介质 - Google Patents

基于人工智能的网站监控方法、装置、电子设备及介质 Download PDF

Info

Publication number
CN113689246B
CN113689246B CN202111014418.4A CN202111014418A CN113689246B CN 113689246 B CN113689246 B CN 113689246B CN 202111014418 A CN202111014418 A CN 202111014418A CN 113689246 B CN113689246 B CN 113689246B
Authority
CN
China
Prior art keywords
data
product
target
user
transformation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111014418.4A
Other languages
English (en)
Other versions
CN113689246A (zh
Inventor
周冰为
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Life Insurance Company of China Ltd
Original Assignee
Ping An Life Insurance Company of China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Life Insurance Company of China Ltd filed Critical Ping An Life Insurance Company of China Ltd
Priority to CN202111014418.4A priority Critical patent/CN113689246B/zh
Publication of CN113689246A publication Critical patent/CN113689246A/zh
Application granted granted Critical
Publication of CN113689246B publication Critical patent/CN113689246B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201Market modelling; Market analysis; Collecting market data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/958Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Game Theory and Decision Science (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及人工智能技术领域,提供一种基于人工智能的网站监控方法、装置、电子设备及介质,在根据目标网站的点击量确定多个极大值点时刻后,获取每个极大值点时刻的多个产品数据和多个用户数据,通过提取目标产品数据及目标用户数据,由于提取的目标产品数据及目标用户数据的数据量较少,因此基于目标产品数据和目标用户数据进行数据分析,提高了分析效率,对目标产品数据和目标用户数据进行数据过滤,可以过滤掉非法数据,保留有用数据,提高了数据质量,从而基于对过滤后的目标产品数据和对过滤后的目标用户数据进行数据分析时,能够提高数据分析的准确度,利用基于分组后的产品数据和分组后的用户数据对对目标网站进行监控,监控效率高。

Description

基于人工智能的网站监控方法、装置、电子设备及介质
技术领域
本发明涉及人工智能技术领域,具体涉及一种基于人工智能的网站监控方法、装置、电子设备及介质。
背景技术
当公司举办促销活动时,营销量和关注量会急剧上涨,同时相关网站的访问量也会急剧上涨,此时的数据量庞大,往往会给相关网站带来数据负担,因而需要对网站进行监控,避免网站崩溃,无法继续提供相关服务。
发明人在实现本发明的过程中发现,现有技术是通过监控网站的数据指标是否超过预设阈值来实现网站的监控,然而,在确定数据指标时,通过梯度导数计算最优解从而获得数据的关键数据,在计算导数时需要用到灵敏度方程和伴随方程,然而在数据量较大的情况下,需要针对不同的问题分别导出灵敏度方程和伴随方程再进行求解,程序编写繁琐,需要耗费大量的时间,无法实时的获取关键数据,因而无法实时的对网站进行监控,监控不及时,导致监控效果差。
发明内容
鉴于以上内容,有必要提出一种基于人工智能的网站监控方法、装置、电子设备及介质,能够快速的确定目标产品数据和目标用户数据,从而基于目标产品数据和目标用户数据实现对网站的实时监控,监控效率高。
本发明的第一方面提供一种基于人工智能的网站监控方法,所述方法包括:
实时获取目标网站的点击量,根据所述点击量确定多个极大值点时刻;
获取每个所述极大值点时刻的多个产品数据和多个用户数据;
提取所述多个产品数据中的目标产品数据,及提取所述多个用户数据中的目标用户数据;
对所述目标产品数据进行数据过滤,及对所述目标用户数据进行数据过滤;
根据所述产品数据对应的产品种类对过滤后的目标产品数据进行数据分组,及根据所述用户数据对应的用户最关注产品种类对过滤后的目标用户数据进行分组;
基于分组后的产品数据和分组后的用户数据对所述目标网站进行监控。
根据本发明的一个可选的实施方式,所述实时获取目标网站的点击量,根据所述点击量确定多个极大值点时刻包括:
在所述目标网站中设置数据传输代码;
通过所述数据传输代码获取所述目标网站中的基本信息;
从所述基本信息中提取目标时间段内的点击量,并根据所述点击量及所述目标时间段绘制点击量图表;
根据所述点击量图表提取所述多个极大值点时刻。
根据本发明的一个可选的实施方式,所述提取所述多个产品数据中的目标产品数据,及提取所述多个用户数据中的目标用户数据包括:
对每个所述产品数据进行Box-Cox变换,得到产品变换数据,及对每个所述用户数据进行Box-Cox变换,得到用户变换数据;
将多个所述产品变换数据输入至第一XGBoost模型,并获取所述第一XGBoost输出的每个所述产品变换数据的第一权重;
将多个所述用户变换数据输入至第二XGBoost模型,并获取所述第二XGBoost输出的每个所述用户变换数据的第二权重;
根据所述第一权重从多个所述产品变换数据中获取目标产品数据,及根据所述第二权重从多个所述用户变换数据中获取目标用户数据。
根据本发明的一个可选的实施方式,所述对每个所述产品数据进行Box-Cox变换,得到产品变换数据,及对每个所述用户数据进行Box-Cox变换,得到用户变换数据包括:
获取每个所述产品数据中的第一最大值,及获取每个所述用户数据中的第二最大值;
根据所述第一最大值确定第一变换参数,根据所述第二最大值确定第二变换参数;
根据所述第一变换参数确定第一变换函数,根据所述第二变换参数确定第二变换函数;
使用所述第一变换函数对对应的所述产品数据进行变换,得到产品变换数据,使用所述第二变换函数对对应的所述用户数据进行变换,得到用户变换数据。
根据本发明的一个可选的实施方式,所述根据所述第一权重从多个所述产品变换数据中获取目标产品数据包括:
计算多个所述第一权重的第一权重和;
对多个所述第一权重进行从大到小的排序;
计算排序在第一个的第一权重占所述第一权重和的第一占比;
当所述第一占比大于预设第一占比阈值,则将所述排序在第一个的第一权重对应的产品变换数据作为所述目标产品数据;
当所述第一占比小于所述预设第一占比阈值,则计算排序在第一个的第一权重和排序在第二个的第一权重之和占所述第一权重和的第二占比,并在所述第二占比大于所述预设第一占比阈值时,将所述排序在第一个的第一权重对应的产品变换数据及所述排序在第二个的第一权重对应的产品变换数据作为所述目标产品数据。
根据本发明的一个可选的实施方式,所述对所述目标产品数据进行数据过滤,及对所述目标用户数据进行数据过滤包括:
调用缺失值比率算法对所述目标产品数据进行一次数据过滤,及对所述目标用户数据进行一次数据过滤;
调用高相关滤波算法对过滤后的目标产品数据进行二次数据过滤,及对过滤后的目标用户数据进行二次数据过滤。
根据本发明的一个可选的实施方式,
所述基于分组后的产品数据和分组后的用户数据对所述目标网站进行监控包括:
监控每组的产品数据是否大于对应的预设产品数据阈值,当任意一组的产品数据大于对应的预设产品数据阈值时,显示所述任意一组的产品数据并触发预设第一报警指令;
监控每组的用户数据是否大于对应的预设用户数据阈值,当任意一组的产品数据大于对应的预设用户数据阈值时,显示所述任意一组的用户数据并触发预设第二报警指令。
本发明的第二方面提供一种基于人工智能的网站监控装置,所述装置包括:
确定模块,用于实时获取目标网站的点击量,根据所述点击量确定多个极大值点时刻;
获取模块,用于获取每个所述极大值点时刻的多个产品数据和多个用户数据;
提取模块,用于提取所述多个产品数据中的目标产品数据,及提取所述多个用户数据中的目标用户数据;
过滤模块,用于对所述目标产品数据进行数据过滤,及对所述目标用户数据进行数据过滤;
分组模块,用于根据所述产品数据对应的产品种类对过滤后的目标产品数据进行数据分组,及根据所述用户数据对应的用户最关注产品种类对过滤后的目标用户数据进行分组;
监控模块,用于基于分组后的产品数据和分组后的用户数据对所述目标网站进行监控。
本发明的第三方面提供一种电子设备,所述电子设备包括处理器和存储器,所述处理器用于执行所述存储器中存储的计算机程序时实现所述基于人工智能的网站监控方法。
本发明的第四方面提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现所述基于人工智能的网站监控方法。
综上所述,本发明所述的基于人工智能的网站监控方法、装置、电子设备及介质,通过实时获取的目标网站的点击量确定多个极大值点时刻,可以准确的确定促销时期的峰值时刻,从而获取每个极大值点时刻的多个产品数据和多个用户数据。随后,通过提取多个产品数据中的目标产品数据,及提取多个用户数据中的目标用户数据,由于提取的目标产品数据相较于多个产品数据的数据量减少,且提取的目标用户数据相较于多个用户数据的数据量减少,因此基于目标产品数据和目标用户数据进行数据分析,能够提高分析的速度和效率。接着,对所述目标产品数据进行数据过滤,及对所述目标用户数据进行数据过滤,通过数据过滤可以过滤掉非法数据,保留有用数据,提高了数据质量,从而基于对过滤后的目标产品数据和对过滤后的目标用户数据进行数据分析时,能够提高数据分析的准确度。最后,利用基于分组后的产品数据和分组后的用户数据对对目标网站进行监控,实现对网站的实时监控,监控效率高。
附图说明
图1是本发明实施例一提供的基于人工智能的网站监控方法的流程图。
图2是本发明实施例二提供的基于人工智能的网站监控装置的结构图。
图3是本发明实施例三提供的电子设备的结构示意图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点,下面结合附图和具体实施例对本发明进行详细描述。需要说明的是,在不冲突的情况下,本发明的实施例及实施例中的特征可以相互组合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述在一个可选的实施方式中实施例的目的,不是旨在于限制本发明。
本发明实施例提供的基于人工智能的网站监控方法由电子设备执行,相应地,基于人工智能的网站监控装置运行于电子设备中。
本申请实施例可以基于人工智能技术对目标网站进行监控。其中,人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
实施例一
图1是本发明实施例一提供的基于人工智能的网站监控方法的流程图。所述基于人工智能的网站监控方法具体包括以下步骤,根据不同的需求,该流程图中步骤的顺序可以改变,某些可以省略。
S11,实时获取目标网站的点击量,根据所述点击量确定多个极大值点时刻。
其中,所述目标网站可以是指进行促销活动而需要进行监控的网站,所述点击量可以包括对目标网站主页的点击量。例如,某网站主页的点击量为1000。
本实施例通过获取目标网站的点击量来确定多个极大值点时刻,每个极大值点时刻表示了数据量的峰值时刻。
在一个可选的实施方式中,所述实时获取目标网站的点击量,根据所述点击量确定多个极大值点时刻包括:
在所述目标网站中设置数据传输代码;
通过所述数据传输代码获取所述目标网站中的基本信息;
从所述基本信息中提取目标时间段内的点击量,并根据所述点击量及所述目标时间段绘制点击量图表;
根据所述点击量图表提取所述多个极大值点时刻。
为了获取目标网站的点击量,可以在所述目标网站中设置数据统计代码及设置数据传输代码。
其中,所述数据统计代码用于对网站的访问量基本信息进行统计和记录,并将所述基本信息缓存于redis内存服务器中。所述基本信息可以包括用户数据、网站的点击量、用户访问的产品数据及用户访问网站或者产品的时间数据等。所述数据统计代码基于所述时间数据和所述点击量建立第一对应关系,基于所述时间数据和所述产品数据建立第二对应关系,及基于所述时间数据和所述用户数据建立第三对应关系。通过redis核心内存处理框架可以更快速的实现数据的存取,比使用关系数据库性能更高。在一个可能的实施方式中,在每个页面里添加数据统计代码,每次有用户访问时,判断是否有登记的cookie信息,如果有登记的cookie信息,则直接将记录到da_suname中的记录,作为用户登录的依据,如果没有登记的cookie信息,则创建一个新的cookie内容,从而保证内容的唯一性,用于进行用户身份认证。
所述数据传输代码用于将缓存在redis内存服务器中的基本信息传输至数据处理服务器进行后续的数据分析。在一个可能的实施方式中,根据所述第一对应关系从所述基本信息中提取目标时间段内的点击量包,并将所述点击量包中的点击量传输给数据处理服务器,数据处理服务器根据所述点击量和所述目标时间段绘制以时间为横轴,点击量为纵轴的点击量图表。根据所述点击量图表得到多个极大值点,并将所述多个极大值点对应的时间点作为极大值点时刻。其中,所述极大值点表示促销时的峰值。通过绘制点击量图表,并得到极大值点,可以准确的确定促销时期的几个峰值时刻。
S12,获取每个所述极大值点时刻的多个产品数据和多个用户数据。
其中,所述产品数据是指用户访问的产品的相关信息,例如,产品种类、产品余量、产品功能、产品价格、产品材质等。
其中,所述用户数据是指访问所述目标网站的用户的信息,例如,用户账号和用户最喜爱的产品种类等。
在获取每个所述极大值点时刻的多个产品数据之前,根据所述第二对应关系和所述极大值点时刻,通过所述数据传输代码从所述基本信息中提取与所述极大值点时刻对应的产品数据,并将所述产品数据传输给数据处理服务器进行后续的数据分析。
在获取每个所述极大值点时刻的多个用户数据之前,根据所述第三对应关系和所述极大值点时刻,通过所述数据传输代码从所述基本信息中提取与所述极大值点时刻对应的用户数据,并将所述用户数据传输给数据处理服务器进行后续的数据分析。
S13,提取所述多个产品数据中的目标产品数据,及提取所述多个用户数据中的目标用户数据。
在获取到多个产品数据和多个用户数据之后,由于产品促销时期的数据量十分庞大,数据杂乱,在对数据进行处理时十分耗时耗力,且一些无关紧要的数据还会影响数据分析的准确率,为了提高数据处理速度和准确率,可以通过提取数据中的目标数据来对数据进行分析。具体而言,提取多个产品数据中的目标产品数据及提取多个用户数据中的目标用户数据,然后基于目标产品数据和目标用户数据进行数据分析。
在一个可选的实施方式中,所述提取所述多个产品数据中的目标产品数据,及提取所述多个用户数据中的目标用户数据包括:
对每个所述产品数据进行Box-Cox变换,得到产品变换数据,及对每个所述用户数据进行Box-Cox变换,得到用户变换数据;
将多个所述产品变换数据输入至第一XGBoost模型,并获取所述第一XGBoost输出的每个所述产品变换数据的第一权重;
将多个所述用户变换数据输入至第二XGBoost模型,并获取所述第二XGBoost输出的每个所述用户变换数据的第二权重;
根据所述第一权重从多个所述产品变换数据中获取目标产品数据,及根据所述第二权重从多个所述用户变换数据中获取目标用户数据。
Box-Cox变换的主要特点是引入一个参数,通过数据本身估计该参数进而确定应采取的数据变换形式,Box-Cox变换可以明显地改善数据的正态性、对称性和方差相等性。
电子设备可以预先训练第一XGBoost模型和第二XGBoost模型,第一XGBoost模型可以与第二XGBoost模型相同,也可以不同。
第一XGBoost模型可以用于对输入的多个所述产品变换数据进行分类,在输出类别的同时,还会输出每个产品变换数据的第一权重。第一权重表示了对应的产品变换数据对于模型分类的重要程度,第一权重越大,则表明对应的产品变换数据越对模型分类起到重要作用,第一权重越小,则表明对应的产品变换数据越对模型分类起到削弱作用。
第二XGBoost模型可以用于对输入的多个所述用户变换数据进行分类,在输出类别的同时,还会输出每个用户变换数据的第二权重。第二权重表示了对应的用户变换数据对于模型分类的重要程度,第二权重越大,则表明对应的用户变换数据越对模型分类起到重要作用,第二权重越小,则表明对应的用户变换数据越对模型分类起到削弱作用。
该可选的实施方式,通过对产品数据及用户数据进行Box-Cox变换后得到的数据能够更好的满足数据正态性要求,有利于通过XGBoost模型进行分类,从而得到分类准确率较高的类别,进而得到准确率较高的权重,最后根据第一权重能够准确的从多个产品变换数据中获取目标产品数据,及根据第二权重从多个用户变换数据中获取目标用户数据。目标产品数据相较于多个产品数据,目标用户数据相较于多个用户数据而言,数据量大大的降低,基于目标产品数据和目标用户数据进行数据分析时,能够减少数据分析量,提高数据分析效率。
在一个可能的实施方式中,所述对每个所述产品数据进行Box-Cox变换,得到产品变换数据,及对每个所述用户数据进行Box-Cox变换,得到用户变换数据包括:
获取每个所述产品数据中的第一最大值,及获取每个所述用户数据中的第二最大值;
根据所述第一最大值确定第一变换参数,根据所述第二最大值确定第二变换参数;
根据所述第一变换参数确定第一变换函数,根据所述第二变换参数确定第二变换函数;
使用所述第一变换函数对对应的所述产品数据进行变换,得到产品变换数据,使用所述第二变换函数对对应的所述用户数据进行变换,得到用户变换数据。
示例性的,假设产品数据包括:产品种类、产品余量、产品功能、产品价格、产品材质等,首先将产品种类、产品功能、产品材质等非数值型数据进行数值映射,得到数值型数据,然后将多个极大值点时刻的产品种类对应的数值进行排序,根据排序后的产品种类对应的数值得到产品种类的第一最大值,最后根据产品种类的第一最大值对产品种类进行变换,得到产品种类变换数据。同理,得到产品余量的第一最大值并根据产品余量的第一最大值对产品余量进行变换,得到产品功能的第一最大值并根据产品功能的第一最大值对产品功能进行变换,得到产品价格的第一最大值并根据产品价格的第一最大值对产品价格进行变换,产品材质的第一最大值并根据产品材质的第一最大值对产品材质进行变换。
获取每个所述用户数据中的第二最大值的过程与获取每个所述产品数据中的第一最大值的过程相同,不再详细阐述。
该可选的实施方式中,可以采用似然函数获取每个所述产品数据中的第一最大值,及获取每个所述用户数据中的第二最大值,通过似然函数进行线性计算能够得到最优的变换参数,从而得到最优的变换函数,进而基于最优的变换函数对产品数据和用户数据进行变换,得到产品变换数据和用户变换数据也必然是最优的。
其次,使用似然函数计算最大值,最大值的置信区间较高,使得变换参数的搜索步长较短,因而能够快速的确定出变换参数,从而快速的确定变换函数,进而能够快速的得到产品变换数据和用户变换数据。
在得到产品变换数据和用户变换数据之后,产品变换数据和用户变换数据还可能存在以下问题:
(1)不属于同一量纲:即特征的规格不一样,不能够放在一起比较。
(2)信息冗余:对于某些定量特征,其包含的有效信息为区间划分,例如学习成绩,分为“及格”或“不及格”。
(3)定性特征不能直接使用,某些机器学习算法和模型只能接受定量特征的输入。
(4)存在缺失值。
对于产品变换数据和用户变换数据不属于同一量纲的问题,可以通过去量纲的方式进行解决,将产品变换数据和用户变换数据变为无量纲的数据特征。
对于信息冗余的问题,则可以通过二值化的方式进行解决,例如,设置一个阈值,将产品变换数据和用户变换数据中大于所述阈值的设置为“1”,将产品变换数据和用户变换数据中小于所述阈值的设置为“0”。
对于定性特征不能直接使用的问题,可以将定性特征转换为定量特征。在一种可能的实施方式中,可以为每一种定性值指定一个定量值,但是这种方式增加了调参的工作,效率较低。在另一种可能的实施方式中,可以使用哑编码的方式将定性特征转换为定量特征,例如,假设有N种定性值,则将这一个特征扩展为N种特征,当原始特征值为第i种定性值时,第i个扩展特征赋值为1,其他扩展特征赋值为0。哑编码的方式相比直接指定的方式,不用增加调参的工作,对于线性模型来说,使用哑编码后的特征可达到非线性的效果。
对于产品变换数据中存在缺失值的问题,则可以通过计算产品变换数据的第一均值,将第一均值填充在缺失值处。对于用户变换数据中存在缺失值的问题,则可以通过计算用户变换数据的第二均值,将第二均值填充在缺失值处。
在一个可选的实施方式中,所述根据所述第一权重从多个所述产品变换数据中获取目标产品数据包括:
计算多个所述第一权重的第一权重和;
对多个所述第一权重进行从大到小的排序;
计算排序在第一个的第一权重占所述第一权重和的第一占比;
当所述第一占比大于预设第一占比阈值,则将所述排序在第一个的第一权重对应的产品变换数据作为所述目标产品数据;
当所述第一占比小于所述预设第一占比阈值,则计算排序在第一个的第一权重和排序在第二个的第一权重之和占所述第一权重和的第二占比,并在所述第二占比大于所述预设第一占比阈值时,将所述排序在第一个的第一权重对应的产品变换数据及所述排序在第二个的第一权重对应的产品变换数据作为所述目标产品数据。
示例性的,假设从大到小的多个第一权重为T1,T2,T3,T4,T5,则这5个第一权重的第一权重和为T=T1+T2+T3+T4+T5。如果T1/T大于预先设置的第一占比阈值(例如,90%),则T1对应的产品变换数据为目标产品数据。如果T1/T小于预先设置的第一占比阈值(例如,90%),则计算(T1+T2)/T是否大于预先设置的第一占比阈值。
如果(T1+T2)/T大于预先设置的第一占比阈值(例如,90%),则T1对应的产品变换数据及T2对应的产品变换数据为目标产品数据。如果(T1+T2)/T小于预先设置的第一占比阈值(例如,90%),则计算(T1+T2+T3)/T是否大于预先设置的第一占比阈值。如果(T1+T2+T3)/T大于预先设置的第一占比阈值(例如,90%),则T1对应的产品变换数据、T2对应的产品变换数据及T3对应的产品变换数据为目标产品数据。
以此类推,直至某几个第一权重之和与第一权重和的占比大于预先设置的第一占比阈值,则将这几个第一权重对应的产品变换数据确定为目标产品数据。
在一个可选的实施方式中,所述根据所述第二权重从多个所述用户变换数据中获取目标用户数据包括:计算多个所述第二权重的第二权重和;对多个所述第二权重进行从大到小的排序;计算排序在第一个的第二权重占所述第二权重和的第三占比;当所述第三占比大于预设第二占比阈值,则将所述排序在第一个的第二权重对应的用户变换数据作为所述目标用户数据;当所述第三占比小于所述预设第二占比阈值,则计算排序在第一个的第二权重和排序在第二个的第二权重之和占所述第二权重和的第四占比,并在所述第四占比大于所述预设第二占比阈值时,将所述排序在第一个的第二权重对应的用户变换数据及所述排序在第二个的第二权重对应的用户变换数据作为所述目标用户数据。
S14,对所述目标产品数据进行数据过滤,及对所述目标用户数据进行数据过滤。
由于获取的所述目标产品数据和所述目标用户数据中包含无用信息和高相关信息,因此需要进行数据过滤。
在一个可选的实施方式中,所述对所述目标产品数据进行数据过滤,及对所述目标用户数据进行数据过滤包括:
调用缺失值比率算法对所述目标产品数据进行一次数据过滤,及对所述目标用户数据进行一次数据过滤;
调用高相关滤波算法对过滤后的目标产品数据进行二次数据过滤,及对过滤后的目标用户数据进行二次数据过滤。
缺失值比率算法认为包含太多缺失值的数据列,包含有用信息的可能性较少。因此,可以将数据列缺失值大于第一阈值的列去掉,从而得到利用价值较高的特征数据。其中,所述第一阈值可以根据用户的需求进行设定。
高相关滤波认为当两列数据变化趋势相似时,它们包含的信息也相似。因此,使用相似列中的一列就可以满足机器学习模型。对于数值列之间的相似性通过计算相关系数来获取,对于名词类列的相似性可以通过计算皮尔逊卡方值来获取。相似性大于第二阈值的两列只保留一列。
通过数据过滤可以过滤掉非法数据,保留有用数据。
S15,根据所述产品数据对应的产品种类对过滤后的目标产品数据进行数据分组,及根据所述用户数据对应的用户最关注产品种类对过滤后的目标用户数据进行分组。
在获取每个产品数据对应的产品种类之后,根据产品种类对产品数据进行分组,将产品种类相同的产品数据划分为一组,将产品种类不同的产品数据划分为不同的组,得到多个第一数据组。
在获取每个用户数据对应的用户最关注产品种类之后,可以根据用户最关注产品种类对用户数据进行分组,将用户最关注产品种类相同的用户数据划分为一组,将用户最关注产品种类不同的用户数据划分为不同的组,得到多个第二数据组。
例如,产品数据A对应的产品种类为医疗保险类,产品数据B对应的产品种类为养老保险类,产品数据C对应的产品种类为养老保险类,那么产品数据A为一组,产品数据B和产品数据C为一组。
根据产品种类对产品数据进行分组及根据用户最关注产品种类对用户数据进行分组,更加直观且简单。
通过对数据进行分组处理,可以减少大数据量分析对服务器性能的影响,处理速度快,内容精准。
S16,基于分组后的产品数据和分组后的用户数据对所述目标网站进行监控。
为了便于随时提取和查看,将所述分组后的产品数据和分组后的用户数据统一存储于数据库中。当促销过程发生异常状况时,可以随时从数据库中提取分组后的产品数据和分组后的用户数据,从而进行异常监控,进而实现对目标网站的异常监控。
在一个可选的实施方式中,所述基于分组后的产品数据和分组后的用户数据对所述目标网站进行监控包括:
监控每组的产品数据是否大于对应的预设产品数据阈值,当任意一组的产品数据大于对应的预设产品数据阈值时,显示所述任意一组的产品数据并触发预设第一报警指令;
监控每组的用户数据是否大于对应的预设用户数据阈值,当任意一组的产品数据大于对应的预设用户数据阈值时,显示所述任意一组的用户数据并触发预设第二报警指令。
不同组的产品数据可以对应不同的产品数据阈值,不同组的用户数据可以对应不同的用户数据阈值。当某组的产品数据大于对应的预设产品数据阈值时,表明该组的产品数据超出了目标网站所能承受的最大负载,则显示该组的产品数据并触发预设第一报警指令,从而通知目标网站的运维人员及时的根据所显示的产品数据进行异常排查。当某组的用户数据大于对应的预设用户数据阈值时,表明该组的用户数据超出了目标网站所能承受的最大负载,则显示该组的用户数据并触发预设第二报警指令,从而通知目标网站的运维人员及时的根据所显示的用户数据进行异常排查。
本发明所述的基于人工智能的网站监控方法,通过实时获取的目标网站的点击量确定多个极大值点时刻,可以准确的确定促销时期的峰值时刻,从而获取每个极大值点时刻的多个产品数据和多个用户数据。随后,通过提取多个产品数据中的目标产品数据,及提取多个用户数据中的目标用户数据,由于提取的目标产品数据相较于多个产品数据的数据量减少,且提取的目标用户数据相较于多个用户数据的数据量减少,因此基于目标产品数据和目标用户数据进行数据分析,能够提高分析的速度和效率。接着,对所述目标产品数据进行数据过滤,及对所述目标用户数据进行数据过滤,通过数据过滤可以过滤掉非法数据,保留有用数据,提高了数据质量,从而基于对过滤后的目标产品数据和对过滤后的目标用户数据进行数据分析时,能够提高数据分析的准确度。最后,利用基于分组后的产品数据和分组后的用户数据对对目标网站进行监控,实现对网站的实时监控,监控效率高。
实施例二
图2是本发明实施例二提供的基于人工智能的网站监控装置的结构图。
在一些实施例中,所述基于人工智能的网站监控装置20可以包括多个由计算机程序段所组成的功能模块。所述基于人工智能的网站监控装置20中的各个程序段的计算机程序可以存储于电子设备的存储器中,并由至少一个处理器所执行,以执行(详见图1描述)基于人工智能的网站监控的功能。
本实施例中,所述基于人工智能的网站监控装置20根据其所执行的功能,可以被划分为多个功能模块。所述功能模块可以包括:确定模块201、获取模块202、提取模块203、过滤模块204、分组模块205及监控模块206。本发明所称的模块是指一种能够被至少一个处理器所执行并且能够完成固定功能的一系列计算机程序段,其存储在存储器中。在本实施例中,关于各模块的功能将在后续的实施例中详述。
所述确定模块201,用于实时获取目标网站的点击量,根据所述点击量确定多个极大值点时刻。
其中,所述目标网站可以是指进行促销活动而需要进行监控的网站,所述点击量可以包括对目标网站主页的点击量。例如,某网站主页的点击量为1000。
本实施例通过获取目标网站的点击量来确定多个极大值点时刻,每个极大值点时刻表示了数据量的峰值时刻。
在一个可选的实施方式中,所述确定模块201实时获取目标网站的点击量,根据所述点击量确定多个极大值点时刻包括:
在所述目标网站中设置数据传输代码;
通过所述数据传输代码获取所述目标网站中的基本信息;
从所述基本信息中提取目标时间段内的点击量,并根据所述点击量及所述目标时间段绘制点击量图表;
根据所述点击量图表提取所述多个极大值点时刻。
为了获取目标网站的点击量,可以在所述目标网站中设置数据统计代码及设置数据传输代码。
其中,所述数据统计代码用于对网站的访问量基本信息进行统计和记录,并将所述基本信息缓存于redis内存服务器中。所述基本信息可以包括用户数据、网站的点击量、用户访问的产品数据及用户访问网站或者产品的时间数据等。所述数据统计代码基于所述时间数据和所述点击量建立第一对应关系,基于所述时间数据和所述产品数据建立第二对应关系,及基于所述时间数据和所述用户数据建立第三对应关系。通过redis核心内存处理框架可以更快速的实现数据的存取,比使用关系数据库性能更高。在一个可能的实施方式中,在每个页面里添加数据统计代码,每次有用户访问时,判断是否有登记的cookie信息,如果有登记的cookie信息,则直接将记录到da_suname中的记录,作为用户登录的依据,如果没有登记的cookie信息,则创建一个新的cookie内容,从而保证内容的唯一性,用于进行用户身份认证。
所述数据传输代码用于将缓存在redis内存服务器中的基本信息传输至数据处理服务器进行后续的数据分析。在一个可能的实施方式中,根据所述第一对应关系从所述基本信息中提取目标时间段内的点击量包,并将所述点击量包中的点击量传输给数据处理服务器,数据处理服务器根据所述点击量和所述目标时间段绘制以时间为横轴,点击量为纵轴的点击量图表。根据所述点击量图表得到多个极大值点,并将所述多个极大值点对应的时间点作为极大值点时刻。其中,所述极大值点表示促销时的峰值。通过绘制点击量图表,并得到极大值点,可以准确的确定促销时期的几个峰值时刻。
所述获取模块202,用于获取每个所述极大值点时刻的多个产品数据和多个用户数据。
其中,所述产品数据是指用户访问的产品的相关信息,例如,产品种类、产品余量、产品功能、产品价格、产品材质等。
其中,所述用户数据是指访问所述目标网站的用户的信息,例如,用户账号和用户最喜爱的产品种类等。
在获取每个所述极大值点时刻的多个产品数据之前,根据所述第二对应关系和所述极大值点时刻,通过所述数据传输代码从所述基本信息中提取与所述极大值点时刻对应的产品数据,并将所述产品数据传输给数据处理服务器进行后续的数据分析。
在获取每个所述极大值点时刻的多个用户数据之前,根据所述第三对应关系和所述极大值点时刻,通过所述数据传输代码从所述基本信息中提取与所述极大值点时刻对应的用户数据,并将所述用户数据传输给数据处理服务器进行后续的数据分析。
所述提取模块203,用于提取所述多个产品数据中的目标产品数据,及提取所述多个用户数据中的目标用户数据。
在获取到多个产品数据和多个用户数据之后,由于产品促销时期的数据量十分庞大,数据杂乱,在对数据进行处理时十分耗时耗力,且一些无关紧要的数据还会影响数据分析的准确率,为了提高数据处理速度和准确率,可以通过提取数据中的目标数据来对数据进行分析。具体而言,提取多个产品数据中的目标产品数据及提取多个用户数据中的目标用户数据,然后基于目标产品数据和目标用户数据进行数据分析。
在一个可选的实施方式中,所述提取模块203提取所述多个产品数据中的目标产品数据,及提取所述多个用户数据中的目标用户数据包括:
对每个所述产品数据进行Box-Cox变换,得到产品变换数据,及对每个所述用户数据进行Box-Cox变换,得到用户变换数据;
将多个所述产品变换数据输入至第一XGBoost模型,并获取所述第一XGBoost输出的每个所述产品变换数据的第一权重;
将多个所述用户变换数据输入至第二XGBoost模型,并获取所述第二XGBoost输出的每个所述用户变换数据的第二权重;
根据所述第一权重从多个所述产品变换数据中获取目标产品数据,及根据所述第二权重从多个所述用户变换数据中获取目标用户数据。
Box-Cox变换的主要特点是引入一个参数,通过数据本身估计该参数进而确定应采取的数据变换形式,Box-Cox变换可以明显地改善数据的正态性、对称性和方差相等性。
电子设备可以预先训练第一XGBoost模型和第二XGBoost模型,第一XGBoost模型可以与第二XGBoost模型相同,也可以不同。
第一XGBoost模型可以用于对输入的多个所述产品变换数据进行分类,在输出类别的同时,还会输出每个产品变换数据的第一权重。第一权重表示了对应的产品变换数据对于模型分类的重要程度,第一权重越大,则表明对应的产品变换数据越对模型分类起到重要作用,第一权重越小,则表明对应的产品变换数据越对模型分类起到削弱作用。
第二XGBoost模型可以用于对输入的多个所述用户变换数据进行分类,在输出类别的同时,还会输出每个用户变换数据的第二权重。第二权重表示了对应的用户变换数据对于模型分类的重要程度,第二权重越大,则表明对应的用户变换数据越对模型分类起到重要作用,第二权重越小,则表明对应的用户变换数据越对模型分类起到削弱作用。
该可选的实施方式,通过对产品数据及用户数据进行Box-Cox变换后得到的数据能够更好的满足数据正态性要求,有利于通过XGBoost模型进行分类,从而得到分类准确率较高的类别,进而得到准确率较高的权重,最后根据第一权重能够准确的从多个产品变换数据中获取目标产品数据,及根据第二权重从多个用户变换数据中获取目标用户数据。目标产品数据相较于多个产品数据,目标用户数据相较于多个用户数据而言,数据量大大的降低,基于目标产品数据和目标用户数据进行数据分析时,能够减少数据分析量,提高数据分析效率。
在一个可能的实施方式中,所述对每个所述产品数据进行Box-Cox变换,得到产品变换数据,及对每个所述用户数据进行Box-Cox变换,得到用户变换数据包括:
获取每个所述产品数据中的第一最大值,及获取每个所述用户数据中的第二最大值;
根据所述第一最大值确定第一变换参数,根据所述第二最大值确定第二变换参数;
根据所述第一变换参数确定第一变换函数,根据所述第二变换参数确定第二变换函数;
使用所述第一变换函数对对应的所述产品数据进行变换,得到产品变换数据,使用所述第二变换函数对对应的所述用户数据进行变换,得到用户变换数据。
示例性的,假设产品数据包括:产品种类、产品余量、产品功能、产品价格、产品材质等,首先将产品种类、产品功能、产品材质等非数值型数据进行数值映射,得到数值型数据,然后将多个极大值点时刻的产品种类对应的数值进行排序,根据排序后的产品种类对应的数值得到产品种类的第一最大值,最后根据产品种类的第一最大值对产品种类进行变换,得到产品种类变换数据。同理,得到产品余量的第一最大值并根据产品余量的第一最大值对产品余量进行变换,得到产品功能的第一最大值并根据产品功能的第一最大值对产品功能进行变换,得到产品价格的第一最大值并根据产品价格的第一最大值对产品价格进行变换,产品材质的第一最大值并根据产品材质的第一最大值对产品材质进行变换。
获取每个所述用户数据中的第二最大值的过程与获取每个所述产品数据中的第一最大值的过程相同,不再详细阐述。
该可选的实施方式中,可以采用似然函数获取每个所述产品数据中的第一最大值,及获取每个所述用户数据中的第二最大值,通过似然函数进行线性计算能够得到最优的变换参数,从而得到最优的变换函数,进而基于最优的变换函数对产品数据和用户数据进行变换,得到产品变换数据和用户变换数据也必然是最优的。
其次,使用似然函数计算最大值,最大值的置信区间较高,使得变换参数的搜索步长较短,因而能够快速的确定出变换参数,从而快速的确定变换函数,进而能够快速的得到产品变换数据和用户变换数据。
在得到产品变换数据和用户变换数据之后,产品变换数据和用户变换数据还可能存在以下问题:
(1)不属于同一量纲:即特征的规格不一样,不能够放在一起比较。
(2)信息冗余:对于某些定量特征,其包含的有效信息为区间划分,例如学习成绩,分为“及格”或“不及格”。
(3)定性特征不能直接使用,某些机器学习算法和模型只能接受定量特征的输入。
(4)存在缺失值。
对于产品变换数据和用户变换数据不属于同一量纲的问题,可以通过去量纲的方式进行解决,将产品变换数据和用户变换数据变为无量纲的数据特征。
对于信息冗余的问题,则可以通过二值化的方式进行解决,例如,设置一个阈值,将产品变换数据和用户变换数据中大于所述阈值的设置为“1”,将产品变换数据和用户变换数据中小于所述阈值的设置为“0”。
对于定性特征不能直接使用的问题,可以将定性特征转换为定量特征。在一种可能的实施方式中,可以为每一种定性值指定一个定量值,但是这种方式增加了调参的工作,效率较低。在另一种可能的实施方式中,可以使用哑编码的方式将定性特征转换为定量特征,例如,假设有N种定性值,则将这一个特征扩展为N种特征,当原始特征值为第i种定性值时,第i个扩展特征赋值为1,其他扩展特征赋值为0。哑编码的方式相比直接指定的方式,不用增加调参的工作,对于线性模型来说,使用哑编码后的特征可达到非线性的效果。
对于产品变换数据中存在缺失值的问题,则可以通过计算产品变换数据的第一均值,将第一均值填充在缺失值处。对于用户变换数据中存在缺失值的问题,则可以通过计算用户变换数据的第二均值,将第二均值填充在缺失值处。
在一个可选的实施方式中,所述根据所述第一权重从多个所述产品变换数据中获取目标产品数据包括:
计算多个所述第一权重的第一权重和;
对多个所述第一权重进行从大到小的排序;
计算排序在第一个的第一权重占所述第一权重和的第一占比;
当所述第一占比大于预设第一占比阈值,则将所述排序在第一个的第一权重对应的产品变换数据作为所述目标产品数据;
当所述第一占比小于所述预设第一占比阈值,则计算排序在第一个的第一权重和排序在第二个的第一权重之和占所述第一权重和的第二占比,并在所述第二占比大于所述预设第一占比阈值时,将所述排序在第一个的第一权重对应的产品变换数据及所述排序在第二个的第一权重对应的产品变换数据作为所述目标产品数据。
示例性的,假设从大到小的多个第一权重为T1,T2,T3,T4,T5,则这5个第一权重的第一权重和为T=T1+T2+T3+T4+T5。如果T1/T大于预先设置的第一占比阈值(例如,90%),则T1对应的产品变换数据为目标产品数据。如果T1/T小于预先设置的第一占比阈值(例如,90%),则计算(T1+T2)/T是否大于预先设置的第一占比阈值。
如果(T1+T2)/T大于预先设置的第一占比阈值(例如,90%),则T1对应的产品变换数据及T2对应的产品变换数据为目标产品数据。如果(T1+T2)/T小于预先设置的第一占比阈值(例如,90%),则计算(T1+T2+T3)/T是否大于预先设置的第一占比阈值。如果(T1+T2+T3)/T大于预先设置的第一占比阈值(例如,90%),则T1对应的产品变换数据、T2对应的产品变换数据及T3对应的产品变换数据为目标产品数据。
以此类推,直至某几个第一权重之和与第一权重和的占比大于预先设置的第一占比阈值,则将这几个第一权重对应的产品变换数据确定为目标产品数据。
在一个可选的实施方式中,所述根据所述第二权重从多个所述用户变换数据中获取目标用户数据包括:计算多个所述第二权重的第二权重和;对多个所述第二权重进行从大到小的排序;计算排序在第一个的第二权重占所述第二权重和的第三占比;当所述第三占比大于预设第二占比阈值,则将所述排序在第一个的第二权重对应的用户变换数据作为所述目标用户数据;当所述第三占比小于所述预设第二占比阈值,则计算排序在第一个的第二权重和排序在第二个的第二权重之和占所述第二权重和的第四占比,并在所述第四占比大于所述预设第二占比阈值时,将所述排序在第一个的第二权重对应的用户变换数据及所述排序在第二个的第二权重对应的用户变换数据作为所述目标用户数据。
所述过滤模块204,用于对所述目标产品数据进行数据过滤,及对所述目标用户数据进行数据过滤。
由于获取的所述目标产品数据和所述目标用户数据中包含无用信息和高相关信息,因此需要进行数据过滤。
在一个可选的实施方式中,所述过滤模块204对所述目标产品数据进行数据过滤,及对所述目标用户数据进行数据过滤包括:
调用缺失值比率算法对所述目标产品数据进行一次数据过滤,及对所述目标用户数据进行一次数据过滤;
调用高相关滤波算法对过滤后的目标产品数据进行二次数据过滤,及对过滤后的目标用户数据进行二次数据过滤。
缺失值比率算法认为包含太多缺失值的数据列,包含有用信息的可能性较少。因此,可以将数据列缺失值大于第一阈值的列去掉,从而得到利用价值较高的特征数据。其中,所述第一阈值可以根据用户的需求进行设定。
高相关滤波认为当两列数据变化趋势相似时,它们包含的信息也相似。因此,使用相似列中的一列就可以满足机器学习模型。对于数值列之间的相似性通过计算相关系数来获取,对于名词类列的相似性可以通过计算皮尔逊卡方值来获取。相似性大于第二阈值的两列只保留一列。
通过数据过滤可以过滤掉非法数据,保留有用数据。
所述分组模块205,用于根据所述产品数据对应的产品种类对过滤后的目标产品数据进行数据分组,及根据所述用户数据对应的用户最关注产品种类对过滤后的目标用户数据进行分组。
在获取每个产品数据对应的产品种类之后,根据产品种类对产品数据进行分组,将产品种类相同的产品数据划分为一组,将产品种类不同的产品数据划分为不同的组,得到多个第一数据组。
在获取每个用户数据对应的用户最关注产品种类之后,可以根据用户最关注产品种类对用户数据进行分组,将用户最关注产品种类相同的用户数据划分为一组,将用户最关注产品种类不同的用户数据划分为不同的组,得到多个第二数据组。
例如,产品数据A对应的产品种类为医疗保险类,产品数据B对应的产品种类为养老保险类,产品数据C对应的产品种类为养老保险类,那么产品数据A为一组,产品数据B和产品数据C为一组。
根据产品种类对产品数据进行分组及根据用户最关注产品种类对用户数据进行分组,更加直观且简单。
通过对数据进行分组处理,可以减少大数据量分析对服务器性能的影响,处理速度快,内容精准。
所述监控模块206,用于基于分组后的产品数据和分组后的用户数据对所述目标网站进行监控。
为了便于随时提取和查看,将所述分组后的产品数据和分组后的用户数据统一存储于数据库中。当促销过程发生异常状况时,可以随时从数据库中提取分组后的产品数据和分组后的用户数据,从而进行异常监控,进而实现对目标网站的异常监控。
在一个可选的实施方式中,所述监控模块206基于分组后的产品数据和分组后的用户数据对所述目标网站进行监控包括:
监控每组的产品数据是否大于对应的预设产品数据阈值,当任意一组的产品数据大于对应的预设产品数据阈值时,显示所述任意一组的产品数据并触发预设第一报警指令;
监控每组的用户数据是否大于对应的预设用户数据阈值,当任意一组的产品数据大于对应的预设用户数据阈值时,显示所述任意一组的用户数据并触发预设第二报警指令。
不同组的产品数据可以对应不同的产品数据阈值,不同组的用户数据可以对应不同的用户数据阈值。当某组的产品数据大于对应的预设产品数据阈值时,表明该组的产品数据超出了目标网站所能承受的最大负载,则显示该组的产品数据并触发预设第一报警指令,从而通知目标网站的运维人员及时的根据所显示的产品数据进行异常排查。当某组的用户数据大于对应的预设用户数据阈值时,表明该组的用户数据超出了目标网站所能承受的最大负载,则显示该组的用户数据并触发预设第二报警指令,从而通知目标网站的运维人员及时的根据所显示的用户数据进行异常排查。
本发明所述的基于人工智能的网站监控装置,通过实时获取的目标网站的点击量确定多个极大值点时刻,可以准确的确定促销时期的峰值时刻,从而获取每个极大值点时刻的多个产品数据和多个用户数据。随后,通过提取多个产品数据中的目标产品数据,及提取多个用户数据中的目标用户数据,由于提取的目标产品数据相较于多个产品数据的数据量减少,且提取的目标用户数据相较于多个用户数据的数据量减少,因此基于目标产品数据和目标用户数据进行数据分析,能够提高分析的速度和效率。接着,对所述目标产品数据进行数据过滤,及对所述目标用户数据进行数据过滤,通过数据过滤可以过滤掉非法数据,保留有用数据,提高了数据质量,从而基于对过滤后的目标产品数据和对过滤后的目标用户数据进行数据分析时,能够提高数据分析的准确度。最后,利用基于分组后的产品数据和分组后的用户数据对对目标网站进行监控,实现对网站的实时监控,监控效率高。
实施例三
本实施例提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现上述基于人工智能的网站监控方法实施例中的步骤,例如图1所示的S11-S16:
S11,实时获取目标网站的点击量,根据所述点击量确定多个极大值点时刻;
S12,获取每个所述极大值点时刻的多个产品数据和多个用户数据;
S13,提取所述多个产品数据中的目标产品数据,及提取所述多个用户数据中的目标用户数据;
S14,对所述目标产品数据进行数据过滤,及对所述目标用户数据进行数据过滤;
S15,根据所述产品数据对应的产品种类对过滤后的目标产品数据进行数据分组,及根据所述用户数据对应的用户最关注产品种类对过滤后的目标用户数据进行分组;
S16,基于分组后的产品数据和分组后的用户数据对所述目标网站进行监控。
或者,该计算机程序被处理器执行时实现上述装置实施例中各模块/单元的功能,例如图2中的模块201-206:
所述确定模块201,用于实时获取目标网站的点击量,根据所述点击量确定多个极大值点时刻;
所述获取模块202,用于获取每个所述极大值点时刻的多个产品数据和多个用户数据;
所述提取模块203,用于提取所述多个产品数据中的目标产品数据,及提取所述多个用户数据中的目标用户数据;
所述过滤模块204,用于对所述目标产品数据进行数据过滤,及对所述目标用户数据进行数据过滤;
所述分组模块205,用于根据所述产品数据对应的产品种类对过滤后的目标产品数据进行数据分组,及根据所述用户数据对应的用户最关注产品种类对过滤后的目标用户数据进行分组;
所述监控模块206,用于基于分组后的产品数据和分组后的用户数据对所述目标网站进行监控。
实施例四
参阅图3所示,为本发明实施例三提供的电子设备的结构示意图。在本发明较佳实施例中,所述电子设备3包括存储器31、至少一个处理器32、至少一条通信总线34及收发器33。
本领域技术人员应该了解,图3示出的电子设备的结构并不构成本发明实施例的限定,既可以是总线型结构,也可以是星形结构,所述电子设备3还可以包括比图示更多或更少的其他硬件或者软件,或者不同的部件布置。
在一些实施例中,所述电子设备3是一种能够按照事先设定或存储的指令,自动进行数值计算和/或信息处理的设备,其硬件包括但不限于微处理器、专用集成电路、可编程门阵列、数字处理器及嵌入式设备等。所述电子设备3还可包括客户设备,所述客户设备包括但不限于任何一种可与客户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互的电子产品,例如,个人计算机、平板电脑、智能手机、数码相机等。
需要说明的是,所述电子设备3仅为举例,其他现有的或今后可能出现的电子产品如可适应于本发明,也应包含在本发明的保护范围以内,并以引用方式包含于此。
在一些实施例中,所述存储器31中存储有计算机程序,所述计算机程序被所述至少一个处理器32执行时实现如所述的基于人工智能的网站监控方法中的全部或者部分步骤。所述存储器31包括只读存储器(Read-Only Memory,ROM)、可编程只读存储器(Programmable Read-Only Memory,PROM)、可擦除可编程只读存储器(ErasableProgrammable Read-Only Memory,EPROM)、一次可编程只读存储器(One-timeProgrammable Read-Only Memory,OTPROM)、电子擦除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory,EEPROM)、只读光盘(CompactDisc Read-Only Memory,CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
进一步地,所述计算机可读存储介质可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序等;存储数据区可存储根据区块链节点的使用所创建的数据等。
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
在一些实施例中,所述至少一个处理器32是所述电子设备3的控制核心(ControlUnit),利用各种接口和线路连接整个电子设备3的各个部件,通过运行或执行存储在所述存储器31内的程序或者模块,以及调用存储在所述存储器31内的数据,以执行电子设备3的各种功能和处理数据。例如,所述至少一个处理器32执行所述存储器中存储的计算机程序时实现本发明实施例中所述的基于人工智能的网站监控方法的全部或者部分步骤;或者实现基于人工智能的网站监控装置的全部或者部分功能。所述至少一个处理器32可以由集成电路组成,例如可以由单个封装的集成电路所组成,也可以是由多个相同功能或不同功能封装的集成电路所组成,包括一个或者多个中央处理器(Central Processing unit,CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。
在一些实施例中,所述至少一条通信总线34被设置为实现所述存储器31以及所述至少一个处理器32等之间的连接通信。
尽管未示出,所述电子设备3还可以包括给各个部件供电的电源(比如电池),优选的,电源可以通过电源管理装置与所述至少一个处理器32逻辑相连,从而通过电源管理装置实现管理充电、放电、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备3还可以包括多种传感器、蓝牙模块、Wi-Fi模块等,在此不再赘述。
上述以软件功能模块的形式实现的集成的单元,可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,电子设备,或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分。
在本发明所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理单元,既可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外,显然“包括”一词不排除其他单元或,单数不排除复数。说明书中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一,第二等词语用来表示名称,而并不表示任何特定的顺序。
最后应说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或等同替换,而不脱离本发明技术方案的精神和范围。

Claims (6)

1.一种基于人工智能的网站监控方法,其特征在于,所述方法包括:
实时获取目标网站的点击量,根据所述点击量确定多个极大值点时刻;
获取每个所述极大值点时刻的多个产品数据和多个用户数据;
提取所述多个产品数据中的目标产品数据,及提取所述多个用户数据中的目标用户数据,包括:获取每个所述产品数据中的第一最大值,及获取每个所述用户数据中的第二最大值;根据所述第一最大值确定第一变换参数,根据所述第二最大值确定第二变换参数;根据所述第一变换参数确定第一变换函数,根据所述第二变换参数确定第二变换函数;使用所述第一变换函数对对应的所述产品数据进行变换,得到产品变换数据,使用所述第二变换函数对对应的所述用户数据进行变换,得到用户变换数据;将多个所述产品变换数据输入至第一XGBoost模型,并获取所述第一XGBoost输出的每个所述产品变换数据的第一权重;将多个所述用户变换数据输入至第二XGBoost模型,并获取所述第二XGBoost输出的每个所述用户变换数据的第二权重;根据所述第一权重从多个所述产品变换数据中获取目标产品数据,及根据所述第二权重从多个所述用户变换数据中获取目标用户数据;
对所述目标产品数据进行数据过滤,及对所述目标用户数据进行数据过滤,包括:调用缺失值比率算法对所述目标产品数据进行一次数据过滤,及对所述目标用户数据进行一次数据过滤;调用高相关滤波算法对过滤后的目标产品数据进行二次数据过滤,及对过滤后的目标用户数据进行二次数据过滤;
根据所述产品数据对应的产品种类对过滤后的目标产品数据进行数据分组,及根据所述用户数据对应的用户最关注产品种类对过滤后的目标用户数据进行分组;
基于分组后的产品数据和分组后的用户数据对所述目标网站进行监控,包括:监控每组的产品数据是否大于对应的预设产品数据阈值,当任意一组的产品数据大于对应的预设产品数据阈值时,显示所述任意一组的产品数据并触发预设第一报警指令;监控每组的用户数据是否大于对应的预设用户数据阈值,当任意一组的产品数据大于对应的预设用户数据阈值时,显示所述任意一组的用户数据并触发预设第二报警指令。
2.如权利要求1所述的基于人工智能的网站监控方法,其特征在于,所述实时获取目标网站的点击量,根据所述点击量确定多个极大值点时刻包括:
在所述目标网站中设置数据传输代码;
通过所述数据传输代码获取所述目标网站中的基本信息,其中所述基本信息包括所述用户数据、网站的点击量、用户访问的产品数据及用户访问网站或者产品的时间数据;
从所述基本信息中提取目标时间段内的点击量,并根据所述点击量及所述目标时间段绘制点击量图表;
根据所述点击量图表提取所述多个极大值点时刻。
3.如权利要求1所述的基于人工智能的网站监控方法,其特征在于,所述根据所述第一权重从多个所述产品变换数据中获取目标产品数据包括:
计算多个所述第一权重的第一权重和;
对多个所述第一权重进行从大到小的排序;
计算排序在第一个的第一权重占所述第一权重和的第一占比;
当所述第一占比大于预设第一占比阈值,则将所述排序在第一个的第一权重对应的产品变换数据作为所述目标产品数据;
当所述第一占比小于所述预设第一占比阈值,则计算排序在第一个的第一权重和排序在第二个的第一权重之和占所述第一权重和的第二占比,并在所述第二占比大于所述预设第一占比阈值时,将所述排序在第一个的第一权重对应的产品变换数据及所述排序在第二个的第一权重对应的产品变换数据作为所述目标产品数据。
4.一种基于人工智能的网站监控装置,其特征在于,所述装置实现如权利要求1至3中任意一项所述基于人工智能的网站监控方法,所述装置包括:
确定模块,用于实时获取目标网站的点击量,根据所述点击量确定多个极大值点时刻;
获取模块,用于获取每个所述极大值点时刻的多个产品数据和多个用户数据;
提取模块,用于提取所述多个产品数据中的目标产品数据,及提取所述多个用户数据中的目标用户数据;
过滤模块,用于对所述目标产品数据进行数据过滤,及对所述目标用户数据进行数据过滤;
分组模块,用于根据所述产品数据对应的产品种类对过滤后的目标产品数据进行数据分组,及根据所述用户数据对应的用户最关注产品种类对过滤后的目标用户数据进行分组;
监控模块,用于基于分组后的产品数据和分组后的用户数据对所述目标网站进行监控。
5.一种电子设备,其特征在于,所述电子设备包括处理器和存储器,所述处理器用于执行所述存储器中存储的计算机程序时实现如权利要求1至3中任意一项所述基于人工智能的网站监控方法。
6.一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至3中任意一项所述基于人工智能的网站监控方法。
CN202111014418.4A 2021-08-31 2021-08-31 基于人工智能的网站监控方法、装置、电子设备及介质 Active CN113689246B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111014418.4A CN113689246B (zh) 2021-08-31 2021-08-31 基于人工智能的网站监控方法、装置、电子设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111014418.4A CN113689246B (zh) 2021-08-31 2021-08-31 基于人工智能的网站监控方法、装置、电子设备及介质

Publications (2)

Publication Number Publication Date
CN113689246A CN113689246A (zh) 2021-11-23
CN113689246B true CN113689246B (zh) 2023-09-12

Family

ID=78584693

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111014418.4A Active CN113689246B (zh) 2021-08-31 2021-08-31 基于人工智能的网站监控方法、装置、电子设备及介质

Country Status (1)

Country Link
CN (1) CN113689246B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101631036A (zh) * 2008-07-14 2010-01-20 中兴通讯股份有限公司 网站点击量统计方法及设备
CN104462156A (zh) * 2013-09-25 2015-03-25 阿里巴巴集团控股有限公司 一种基于用户行为的特征提取、个性化推荐方法和系统
WO2018228285A1 (zh) * 2017-06-15 2018-12-20 北京国双科技有限公司 一种数据采集、查询方法、装置、存储介质及处理器
CN109560977A (zh) * 2017-09-25 2019-04-02 北京国双科技有限公司 网站业务监控方法、装置、存储介质、处理器及电子设备
CN111159519A (zh) * 2019-12-26 2020-05-15 北京工业大学 一种基于网站点击流的公共安全舆情分析方法
CN111538931A (zh) * 2020-03-27 2020-08-14 中国平安财产保险股份有限公司 基于大数据的舆情监控方法、装置、计算机设备及介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9858341B2 (en) * 2006-08-02 2018-01-02 Jason Frankovitz Method and apparatus for remotely monitoring a social website
US11055764B2 (en) * 2018-01-29 2021-07-06 Selligent, S.A. Systems and methods for providing personalized online content

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101631036A (zh) * 2008-07-14 2010-01-20 中兴通讯股份有限公司 网站点击量统计方法及设备
CN104462156A (zh) * 2013-09-25 2015-03-25 阿里巴巴集团控股有限公司 一种基于用户行为的特征提取、个性化推荐方法和系统
WO2018228285A1 (zh) * 2017-06-15 2018-12-20 北京国双科技有限公司 一种数据采集、查询方法、装置、存储介质及处理器
CN109560977A (zh) * 2017-09-25 2019-04-02 北京国双科技有限公司 网站业务监控方法、装置、存储介质、处理器及电子设备
CN111159519A (zh) * 2019-12-26 2020-05-15 北京工业大学 一种基于网站点击流的公共安全舆情分析方法
CN111538931A (zh) * 2020-03-27 2020-08-14 中国平安财产保险股份有限公司 基于大数据的舆情监控方法、装置、计算机设备及介质

Also Published As

Publication number Publication date
CN113689246A (zh) 2021-11-23

Similar Documents

Publication Publication Date Title
CN106371975B (zh) 一种运维自动化预警方法和系统
CN111506723B (zh) 问答响应方法、装置、设备及存储介质
CN111652280B (zh) 基于行为的目标物数据分析方法、装置及存储介质
CN113592019A (zh) 基于多模型融合的故障检测方法、装置、设备及介质
CN113836131A (zh) 一种大数据清洗方法、装置、计算机设备及存储介质
CN114612194A (zh) 产品推荐方法、装置、电子设备及存储介质
CN111696663A (zh) 疾病风险的分析方法、装置、电子设备及计算机存储介质
CN114862520A (zh) 产品推荐方法、装置、计算机设备及存储介质
CN113707323B (zh) 基于机器学习的疾病预测方法、装置、设备及介质
CN114220541A (zh) 疾病预测方法、装置、电子设备及存储介质
CN113420018A (zh) 用户行为数据分析方法、装置、设备及存储介质
CN116843395A (zh) 一种业务系统的告警分级方法、装置、设备及存储介质
CN113689246B (zh) 基于人工智能的网站监控方法、装置、电子设备及介质
CN114841165B (zh) 用户数据分析及展示方法、装置、电子设备及存储介质
CN116108276A (zh) 基于人工智能的信息推荐方法、装置及相关设备
CN113780457B (zh) 中医资源消耗的异常检测方法、装置、设备及介质
CN113642669B (zh) 基于特征分析的防欺诈检测方法、装置、设备及存储介质
CN113094597B (zh) 基于机器学习的千人千面门户处理方法、装置及相关设备
CN114996386A (zh) 业务角色识别方法、装置、设备及存储介质
CN114881313A (zh) 基于人工智能的行为预测方法、装置及相关设备
CN113657546A (zh) 信息分类方法、装置、电子设备及可读存储介质
CN114201328A (zh) 基于人工智能的故障处理方法、装置、电子设备及介质
CN113963413A (zh) 基于人工智能的疫情排查方法、装置、电子设备及介质
CN113110804A (zh) 重复图片删除方法、装置、设备及存储介质
CN113722590B (zh) 基于人工智能的医学信息推荐方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant