CN116257884A - 一种基于流量分析的电商平台客户数据处理方法与系统 - Google Patents

一种基于流量分析的电商平台客户数据处理方法与系统 Download PDF

Info

Publication number
CN116257884A
CN116257884A CN202310267641.2A CN202310267641A CN116257884A CN 116257884 A CN116257884 A CN 116257884A CN 202310267641 A CN202310267641 A CN 202310267641A CN 116257884 A CN116257884 A CN 116257884A
Authority
CN
China
Prior art keywords
access
data
client data
frequency
preset time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310267641.2A
Other languages
English (en)
Other versions
CN116257884B (zh
Inventor
朱宝金
陈上巨
姜涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Linrui Technology Co ltd
Original Assignee
Hangzhou Linrui Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Linrui Technology Co ltd filed Critical Hangzhou Linrui Technology Co ltd
Priority to CN202310267641.2A priority Critical patent/CN116257884B/zh
Publication of CN116257884A publication Critical patent/CN116257884A/zh
Application granted granted Critical
Publication of CN116257884B publication Critical patent/CN116257884B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Physics & Mathematics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • Software Systems (AREA)
  • Economics (AREA)
  • Finance (AREA)
  • Educational Administration (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioethics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Databases & Information Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供一种基于流量分析的电商平台客户数据处理方法与系统，属于数据处理技术领域，具体包括：当电商平台的客户数据的最近第一预设时间的访问频率大于设定频率时，基于最近第一预设时间的访问频率、访问用户的IP地址、访问用户的获取数据类型、访问用户的单位时间的数据流量，采用基于机器学习算法的评估模型得到访问风险值，并当访问风险值小于第一阈值时，基于客户数据的最近第一预设时间的访问频率、最近第二预设时间内的累计访问时间、最近一次的访问时间与当前时间的时间差得到客户数据的频繁度评估值，并基于频繁度评估值对客户数据采用在线存储或者近线存储的存储方式，从而进一步提升了客户数据的安全性和访问的效率。

Description

一种基于流量分析的电商平台客户数据处理方法与系统
技术领域
本发明属于数据处理技术领域，尤其涉及一种基于流量分析的电商平台客户数据处理方法与系统。
背景技术
为了实现电商平台的客户数据的处理和保护，在授权发明专利授权公告号CN113139182B《一种在线电商平台的数据入侵检测方法》中通过获取待检测在线电商数据，确定待检测在线电商数据的初始化网站流量指标，其次对电商产品进行评估，这样能够根据得到产品优势性指标快速、准确地分析出业务下单转化数据，对在线电商数据中的各类指标进行解析，以得到初始化解析信息，进而判断出初始化解析信息与初始化网站流量指标的第一指标更新信息，根据第一指标更新信息校正当前全局会员类指标和当前全局流量质量类指标，但是却存在以下技术问题：
1、未考虑基于异常流量数据的识别结果实现对客户数据的针对性的保护性处理，对于流量数据存在异常或者风险的情况下，若不能对于涉及客户隐私的客户数据进行针对性的保护性处理，则有可能会导致客户数据出现泄密等情况。
2、未考虑基于对电商平台的客户数据的访问频率等数据实现对客户数据的针对性的处理，对于访问频率较低、累计使用时间使用过短的客户数据，若和访问频率较高、累计使用时间使用较久的客户数据采用相同的处理和存储方式，则会导致不必要的存储空间的浪费，同时也会使得数据的读取和处理的效率变慢。
针对上述技术问题，本发明提供了一种基于流量分析的电商平台客户数据处理方法与系统。
发明内容
为实现本发明目的，本发明采用如下技术方案：
根据本发明的一个方面，提供了一种基于流量分析的电商平台客户数据处理方法。
一种基于流量分析的电商平台客户数据处理方法，其特征在于，具体包括：
S11基于电商平台的客户数据的最近第一预设时间的访问频率，并判断所述访问频率是否大于设定频率，若是，则进入步骤S13，若否，则进入步骤S12；
S12基于所述客户数据的访问用户的IP地址，判断是否所述IP地址存在异常且所述访问用户的单位时间的数据流量存在异常，若否，则进入步骤S14，若是，则进入步骤S13；
S13基于所述客户数据的最近第一预设时间的访问频率、访问用户的IP地址、访问用户的获取数据类型、访问用户的单位时间的数据流量，采用基于机器学习算法的评估模型，得到所述客户数据的本次的访问风险值，并基于所述访问风险值确定是否需要对所述客户数据进行限制性访问处理，若否，则进入步骤S14，若是，则对所述客户数据进行限制性访问处理；
S14基于所述客户数据的最近第一预设时间的访问频率确定是否需要在线存储，若是，则基于在线存储的存储方式对所述客户数据进行存储，若否，则进入步骤S15；
S15基于所述客户数据的最近第一预设时间的访问频率、最近第二预设时间内的累计访问时间、最近一次的访问时间与当前时间的时间差，得到所述客户数据的频繁度评估值，并基于所述客户数据的频繁度评估值，对所述客户数据采用在线存储或者近线存储的存储方式。
通过设定频率的设置，从而实现了对疑似的客户数据的异常访问的筛选，提升了对于异常访问的判断的效率，并且进一步降低了客户数据被泄露的风险，提升了数据的安全性和可靠性。
通过基于IP地址的异常状态的判断以及访问用户的单位时间的数据流量异常状态的判断，从而进一步实现了对疑似的客户数据的异常访问的筛选，在保证客户数据的安全性和隐私性的基础上，进一步也提升了对客户数据的存储方式判断的效率，保证了数据的提取和处理的效率。
通过采用基于机器学习算法的评估模型，得到所述客户数据的本次的访问风险值，从而实现了对于客户数据的访问风险的准确评估，进一步保证了客户数据的安全性和隐私性，并且也实现了从数据的角度对访问风险的评估。
通过基于所述客户数据的最近第一预设时间的访问频率、最近第二预设时间内的累计访问时间、最近一次的访问时间与当前时间的时间差，实现对所述客户数据的频繁度评估值的评估，从而实现了从多角度的方式对客户数据的频繁度评估值的评估，在保证访问频繁度较高的数据的访问的效率和可靠性的基础上，同时也实现了对数据的针对性处理的准确评估。
另一方面，本申请实施例中提供一种计算机系统，包括：通信连接的存储器和处理器，以及存储在所述存储器上并能够在所述处理器上运行的计算机程序，其特征在于：所述处理器运行所述计算机程序时上述一种基于流量分析的电商平台客户数据处理方法。
另一方面，本发明提供了一种计算机存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行上述的一种基于流量分析的电商平台客户数据处理方法。
其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
通过参照附图详细描述其示例实施方式，本发明的上述和其它特征及优点将变得更加明显。
图1是根据实施例1的一种基于流量分析的电商平台客户数据处理方法的流程图；
图2是根据实施例1的客户数据的本次的访问风险值构建的具体步骤的流程图；
图3是根据实施例1的客户数据的频繁度评估值的评估的具体步骤的流程图；
图4是根据实施例1的客户数据的存储方式确定的具体步骤的流程图；
图5是根据实施例3的一种计算机存储介质的框架图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的实施方式；相反，提供这些实施方式使得本发明将全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。图中相同的附图标记表示相同或类似的结构，因而将省略它们的详细描述。
用语“一个”、“一”、“该”、“所述”用以表示存在一个或多个要素/组成部分/等；用语“包括”和“具有”用以表示开放式的包括在内的意思并且是指除了列出的要素/组成部分/等之外还可存在另外的要素/组成部分/等。
申请人发现，在进行电商平台的客户数据的处理时，原有的技术方案忽视了基于异常流量数据的识别结果实现对客户数据的针对性的保护性处理，对于流量数据存在异常或者风险的情况下，若不能对于涉及客户隐私的客户数据进行针对性的保护性处理，则有可能会导致客户数据出现泄密等情况；同时也未考虑基于对电商平台的客户数据的访问频率等数据实现对客户数据的针对性的处理，对于访问频率较低、累计使用时间使用过短的客户数据，若和访问频率较高、累计使用时间使用较久的客户数据采用相同的处理和存储方式，则会导致不必要的存储空间的浪费，同时也会使得数据的读取和处理的效率变慢。
实施例1
为解决上述问题，根据本发明的一个方面，如图1所示，提供了一种基于流量分析的电商平台客户数据处理方法，其特征在于，具体包括：
S11基于电商平台的客户数据的最近第一预设时间的访问频率，并判断所述访问频率是否大于设定频率，若是，则进入步骤S13，若否，则进入步骤S12；
具体的，所述设定频率根据所述电商平台的客户数据的最近第一预设时间的平均的访问频率、所述客户数据的最近第二预设时间的月均的访问频率进行确定，其中所述电商平台的客户数据的最近第一预设时间的平均的访问频率越高、所述客户数据的最近第二预设时间的月均的访问频率越高，则说明设定频率越大。
在另外一种可能的实施例中，在实际的操作过程中，可以直接将客户数据的最近第二预设时间的月均的访问频率或者电商平台的客户数据的最近第一预设时间的平均的访问频率作为设定频率。
具体的举个例子，若电商平台的客户数据的最近第一预设时间的访问频率为每月30次，而设定频率为20次，则说明存在异常风险，直接进入步骤S13，进行访问风险值的评估。
通过设定频率的设置，从而实现了对疑似的客户数据的异常访问的筛选，提升了对于异常访问的判断的效率，并且进一步降低了客户数据被泄露的风险，提升了数据的安全性和可靠性。
S12基于所述客户数据的访问用户的IP地址，判断是否所述IP地址存在异常且所述访问用户的单位时间的数据流量存在异常，若否，则进入步骤S14，若是，则进入步骤S13；
具体的，当所述IP地址不属于所述客户数据的历史访问的IP地址，则确定所述IP地址存在异常。
具体的举个例子，当所述客户数据的访问用户的IP地址不属于所述客户数据的历史访问的IP地址，也即是该IP地址从未访问过所述客户数据，则确定所述IP地址存在异常。
具体的，基于所述访问用户在单位时间的数据流量的幅值进行所述访问用户的单位时间的数据流量是否存在异常的确定。
具体的举个例子，访问用户的单位时间的数据流量一般都在一定的流量阈值范围以内，当所述访问用户的单位时间的数据流量过多时，则说明存在潜在的访问风险，也即处于疑似异常状态。
通过基于IP地址的异常状态的判断以及访问用户的单位时间的数据流量异常状态的判断，从而进一步实现了对疑似的客户数据的异常访问的筛选，在保证客户数据的安全性和隐私性的基础上，进一步也提升了对客户数据的存储方式判断的效率，保证了数据的提取和处理的效率。
S13基于所述客户数据的最近第一预设时间的访问频率、访问用户的IP地址、访问用户的获取数据类型、访问用户的单位时间的数据流量，采用基于机器学习算法的评估模型，得到所述客户数据的本次的访问风险值，并基于所述访问风险值确定是否需要对所述客户数据进行限制性访问处理，若否，则进入步骤S14，若是，则对所述客户数据进行限制性访问处理；
具体的举个例子，限制性访问处理包括但不限于拒绝访问、将所述客户数据进行加密处理、提升客户数据的访问的权限要求。
具体的，如图2所示，客户数据的本次的访问风险值构建的具体步骤为：
S21判断所述访问用户的IP地址是否属于所述客户数据的历史访问的异常IP地址，若是，则将所述客户数据的本次的访问风险值设置为1，若否，则进入步骤S22；
在另外一种的可能的实施例中，异常IP地址根据所述客户数据的历史访问时，最终判定存在访问异常的IP地址，若访问用户的IP地址属于上述IP地址时，则断定此时存在访问风险，因此将所述客户数据的本次的访问风险值设置为1。
S22判断是否所述访问用户的单位时间的数据流量处于异常状态且所述客户数据的最近第一预设时间的访问频率大于设定频率，若是，则将所述客户数据的本次的访问风险值设置为1，若否，则进入步骤S23；
在另外一种可能的实施例中，当访问用户的单位时间的数据流量较多，即处于异常状态时，同时客户数据的最近第一预设时间的访问频率大于设定频率时，则说明此时不管从数据流量，还是从访问频率均存在异常，则将此时的客户数据的本次的访问风险值设置为1。
具体的举个例子，单位时间可以为最近一天内的一小时、15分钟、5分钟等。
S23基于所述客户数据的访问频率、访问用户的IP地址、访问用户的获取数据类型、访问用户的单位时间的数据流量，采用基于机器学习算法的评估模型，得到所述客户数据的本次的基础访问风险值；
具体的举个例子，基于所述客户数据的访问频率、访问用户的IP地址、访问用户的获取数据类型、访问用户的单位时间的数据流量构建输入集，其中输入集为X＝{P1、D1、L1、L2}，其中所述P1、D1、L1、L2分别为所述客户数据的访问频率、访问用户的IP地址、访问用户的获取数据类型、访问用户的单位时间的数据流量。
具体的举个例子，访问用户的IP地址的取值为0、1，其中0表示访问用户的IP地址在历史中从未访问过所述客户数据，1表示访问用户的IP地址在历史中访问过所述客户数据。
具体的举个例子，访问用户的获取数据类型的取值为0,1，其中0表示访问用户的获取数据类型中不存在隐私数据，1表示访问用户的获取数据类型中存在隐私数据。
具体的举个例子，所述基于机器学习算法的评估模型采用基于WOA-GRU算法的评估模型。
具体的举个例子，所述评估模型构建的具体步骤为：
Step1：初始化GRU网络参数、确定网络结构和参数，对样本数据预处理，输入训练集。
Step2：初始化WOA参数，设置种群规模数和迭代次数等参数，根据待优化参数确定鲸鱼个体的维度，并将GRU网络模型的误差函数作为WOA的适应度函数。
Step3：根据GRU网络的训练批次数和隐含层神经元数编码每个鲸鱼个体的位置，并将初始化参数用于神经网络训练，计算鲸鱼个体的适应度(GRU网络模型的训练误差(MSE))，通过比较个体适应度，找出最佳搜索代理的位置。
Step4：根据WOA更新公式更新鲸鱼个体的位置，判断鲸鱼个体的位置边界。计算更新后个体的适应度，并判断适应度是否比历史最优适应度小，如果更新后适应度小于历史最优适应度，则更新全局最优个体和最优适应度值；否则，全局最优个体和最优适应度值保持不变。
Step5：当达到最大迭代次数时，结束迭代，得到全局最优个体*X8；否者返回Step4继续搜索全局最佳个体。
Step6：将WOA最优个体的位置参数解码，并将参数返回GRU网络，该参数即为GRU网络的最优参数。
Step7：利用数据集训练优化后的GRU网络模型，然后用测试数据集预测基础访问风险值，记录预测结果。
在另外一种可能的实施例中，WOA是一种新型群智能优化算法，它是由澳大利亚学者2016年提出来。该算法的灵感来源于座头鲸捕猎时相互合作对猎物进行驱赶和围捕的行为，模仿了座头鲸“螺旋气泡网”攻击策略。WOA具有设置参数少，操作简单，寻优能力强等优点。该算法主要包含了3个环节：包围猎物、气泡网攻击和随机寻找猎物。
具体的举个例子，鲸鱼优化算法无论执行包围猎物还是随机寻找猎物策略都由受向量A的值控制，因此A的值对算法的性能有重要影响作用，为了弥补WOA全局搜索能力不足和易于早熟等缺点，有效地平衡WOA的勘探和开发能力，需要对WOA进行改进，在原始WOA中，向量A的值的大小控制着算法执行搜索猎物或者包围猎物策略，进而影响算法的勘探和开发能力，而a的变化直接影响向量A的值的变化，因此，通过改变a的值，可以提供一种新的改进原始鲸鱼算法策略，为此，本发明提出一种全新的非线性收敛因子，用其替代a的值，表达式为:
Figure BDA0004133522170000071
/>
具体的，用向量
Figure BDA0004133522170000072
来代替向量a的值，k为当前迭代次数，K为最大迭代次数。
S24基于所述访问用户的IP地址在最近第二预设时间的所述客户数据的访问用户的IP地址的记录中出现的次数构建IP历史访问次数，并基于所述IP历史访问次数是否正常，若否，则进入步骤S25，若是，则将所述客户数据的本次的基础访问风险值作为所述客户数据的本次的访问风险值；
具体的举个例子，当访问用户的IP地址在最近第二预设时间内访问客户数据的次数为100次，则IP历史访问次数为100次，当其大于60次时，说明此IP地址无风险，因此将将所述客户数据的本次的基础访问风险值作为所述客户数据的本次的访问风险值。
S25基于所述IP历史访问次数对所述基础访问风险值进行修正，得到所述客户数据的本次的访问风险值。
具体的举个例子，基于IP历史访问次数与所述客户数据的最近第二预设时间内的访问次数的总数的比值对基础访问风险值进行修正，一般来说，该比值越小，则本次的访问风险值越大。
具体的举个例子，所述访问风险值的计算公式为：
Figure BDA0004133522170000081
其中C为IP历史访问次数与所述客户数据的最近第二预设时间内的访问次数的总数的比值，C1为比值阈值，S1为基础访问风险值。
具体的，所述获取数据类型包括客户数据的隐私数据和非隐私数据。
通过采用基于机器学习算法的评估模型，得到所述客户数据的本次的访问风险值，从而实现了对于客户数据的访问风险的准确评估，进一步保证了客户数据的安全性和隐私性，并且也实现了从数据的角度对访问风险的评估。
S14基于所述客户数据的最近第一预设时间的访问频率确定是否需要在线存储，若是，则基于在线存储的存储方式对所述客户数据进行存储，若否，则进入步骤S15；
S15基于所述客户数据的最近第一预设时间的访问频率、最近第二预设时间内的累计访问时间、最近一次的访问时间与当前时间的时间差，得到所述客户数据的频繁度评估值，并基于所述客户数据的频繁度评估值，对所述客户数据采用在线存储或者近线存储的存储方式。
具体的，如图3所示，客户数据的频繁度评估值的评估的具体步骤为：
S31基于所述客户数据的最近第二预设时间的累计访问时间确定所述客户数据是否频繁访问，若是，则进入步骤S32,若否，则进入步骤S33；
具体的，可以通过设定一定的时间量，当大于该时间量时，确定客户数据被频繁访问。
S32基于所述客户数据的最近第一预设时间的访问频率确定所述客户数据在最近第一预设时间内是否频繁访问，若是，则将所述客户数据的频繁度评估值设置为1，若否，则进入步骤S33；
具体的，可以通过设定一定的时间量，当大于该时间量时，确定客户数据被频繁访问。
S33基于所述客户数据的最近第一预设时间的访问频率、最近第二预设时间内的累计访问时间、最近一次的访问时间与当前时间的时间差，采用基于机器学习算法的预测模型，得到所述客户数据的频繁度评估值。
具体的举个例子，所述基于机器学习算法的预测模型采用
具体的，如图4所示，客户数据的存储方式确定的具体步骤为：
S41基于所述客户数据的频繁度评估值确定所述客户数据是否需要在线存储，若是，则用在线存储的方式对所述客户数据进行存储，若否，则进入步骤S42；
S42基于所述客户数据的频繁度评估值确定所述客户数据是否需要近线存储，其中所述第一预设时间小于第二预设时间，其中所述第一预设时间的取值范围在1个月到3个月之间，所述第二预设时间的取值范围在1整年到3整年之间，若是，则进入步骤S44，若否，则进入步骤S43；
具体的，当用户的频繁度评估值较低时，此时无须再进行累计访问时间的判断，可以直接确定采用近线存储的方式对所述客户数据进行存储，具体的可以通过设置一定的数据量的方式进行确定。
S43基于所述客户数据的最近第二预设时间内的累计访问时间确定所述客户数据是否被频繁访问，若是，则采用在线存储的方式对所述客户数据进行存储，若否，则进入步骤S44；
S44采用近线存储的方式对所述客户数据进行存储。
具体的举个例子，在线存储指联网状态下将资料放在网络上存储。从用户角度来讲用户不仅可以通过web方式进行在线手动文件管理，并且可以通过客户端方式实现离线编辑和在线自动同步上传，用户可以通过修改本地磁盘文件来修改网络文件。即无论客户机处于在线状态还是处于离线状态，用户都可以对本地文件夹中的文件进行编辑，一旦客户机处于在线状态，系统会自动同步文件到网上。从服务器角度来讲系统将底层存储细节和存储过程屏蔽，达到用户方便易用的目的。用户可以在任何时间、任何地方，透过任何可连网的计算机设备连接到网上方便地读取数据。在线存储(OnStore)是工作级的存储，在线存储的最大特征是存储设备和所存储的数据时刻保持“在线”状态，可以随时读取和修改，以满足前端应用服务器或数据库对数据访问的速度要求。
具体的举个例子，近线存储(Nearline storage)，是随着客户存储环境的细化所提出的一个概念，所谓的近线存储，外延相对较广泛，主要定位于客户在线存储和离线存储之间的应用。就是指将那些并不是经常用到，或者说数据的访问量并不大的数据存放在性能较低的存储设备上。但同时对这些的设备要求是寻址迅速、传输率高。(例如客户一些长期保存的不常用的文件的归档)。
通过基于所述客户数据的最近第一预设时间的访问频率、最近第二预设时间内的累计访问时间、最近一次的访问时间与当前时间的时间差，实现对所述客户数据的频繁度评估值的评估，从而实现了从多角度的方式对客户数据的频繁度评估值的评估，在保证访问频繁度较高的数据的访问的效率和可靠性的基础上，同时也实现了对数据的针对性处理的准确评估。
实施例2
本申请实施例中提供一种计算机系统，包括：通信连接的存储器和处理器，以及存储在所述存储器上并能够在所述处理器上运行的计算机程序，其特征在于：所述处理器运行所述计算机程序时上述的一种基于流量分析的电商平台客户数据处理方法。
具体的，本实施例还提供了一种计算机系统，该计算机系统包括通过系统总线连接的处理器、存储器、网络接口和数据库；其中，该计算机系统的处理器用于提供计算和控制能力；该计算机系统的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现上述的一种基于流量分析的电商平台客户数据处理方法。
实施例3
如图5所示，本发明提供了一种计算机存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行上述的一种基于流量分析的电商平台客户数据处理方法。
具体的，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统和方法，也可以通过其它的方式实现。以上所描述的系统实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。

Claims (10)

1.一种基于流量分析的电商平台客户数据处理方法，其特征在于，具体包括：
S11基于电商平台的客户数据的最近第一预设时间的访问频率，并判断所述访问频率是否大于设定频率，若是，则进入步骤S13，若否，则进入步骤S12；
S12基于所述客户数据的访问用户的IP地址，判断是否所述IP地址存在异常且所述访问用户的单位时间的数据流量存在异常，若否，则进入步骤S14，若是，则进入步骤S13；
S13基于所述客户数据的最近第一预设时间的访问频率、访问用户的IP地址、访问用户的获取数据类型、访问用户的单位时间的数据流量，采用基于机器学习算法的评估模型，得到所述客户数据的本次的访问风险值，并基于所述访问风险值确定是否需要对所述客户数据进行限制性访问处理，若否，则进入步骤S14，若是，则对所述客户数据进行限制性访问处理；
S14基于所述客户数据的最近第一预设时间的访问频率确定是否需要在线存储，若是，则基于在线存储的存储方式对所述客户数据进行存储，若否，则进入步骤S15；
S15基于所述客户数据的最近第一预设时间的访问频率、最近第二预设时间内的累计访问时间、最近一次的访问时间与当前时间的时间差，得到所述客户数据的频繁度评估值，并基于所述客户数据的频繁度评估值，对所述客户数据采用在线存储或者近线存储的存储方式。
2.如权利要求1所述的电商平台客户数据处理方法，其特征在于，所述设定频率根据所述电商平台的客户数据的最近第一预设时间的平均的访问频率、所述客户数据的最近第二预设时间的月均的访问频率进行确定，其中所述电商平台的客户数据的最近第一预设时间的平均的访问频率越高、所述客户数据的最近第二预设时间的月均的访问频率越高，则说明设定频率越大。
3.如权利要求1所述的电商平台客户数据处理方法，其特征在于，当所述IP地址不属于所述客户数据的历史访问的IP地址，则确定所述IP地址存在异常。
4.如权利要求1所述的电商平台客户数据处理方法，其特征在于，客户数据的本次的访问风险值构建的具体步骤为：
判断所述访问用户的IP地址是否属于所述客户数据的历史访问的异常IP地址，若是，则将所述客户数据的本次的访问风险值设置为1，若否，则进入下一步骤；
判断是否所述访问用户的单位时间的数据流量处于异常状态且所述客户数据的最近第一预设时间的访问频率大于设定频率，若是，则将所述客户数据的本次的访问风险值设置为1，若否，则进入下一步骤；
基于所述客户数据的访问频率、访问用户的IP地址、访问用户的获取数据类型、访问用户的单位时间的数据流量，采用基于机器学习算法的评估模型，得到所述客户数据的本次的基础访问风险值；
基于所述访问用户的IP地址在最近第二预设时间的所述客户数据的访问用户的IP地址的记录中出现的次数构建IP历史访问次数，并基于所述IP历史访问次数是否正常，若否，则进入下一步骤，若是，则将所述客户数据的本次的基础访问风险值作为所述客户数据的本次的访问风险值；
基于所述IP历史访问次数对所述基础访问风险值进行修正，得到所述客户数据的本次的访问风险值。
5.如权利要求4所述的电商平台客户数据处理方法，其特征在于，所述获取数据类型包括客户数据的隐私数据和非隐私数据。
6.如权利要求1所述的电商平台客户数据处理方法，其特征在于，客户数据的频繁度评估值的评估的具体步骤为：
S31基于所述客户数据的最近第二预设时间的累计访问时间确定所述客户数据是否频繁访问，若是，则进入步骤S32,若否，则进入步骤S33；
S32基于所述客户数据的最近第一预设时间的访问频率确定所述客户数据在最近第一预设时间内是否频繁访问，若是，则将所述客户数据的频繁度评估值设置为1，若否，则进入步骤S33；
S33基于所述客户数据的最近第一预设时间的访问频率、最近第二预设时间内的累计访问时间、最近一次的访问时间与当前时间的时间差，采用基于机器学习算法的预测模型，得到所述客户数据的频繁度评估值。
7.如权利要求1所述的电商平台客户数据处理方法，其特征在于，客户数据的存储方式确定的具体步骤为：
S41基于所述客户数据的频繁度评估值确定所述客户数据是否需要在线存储，若是，则用在线存储的方式对所述客户数据进行存储，若否，则进入步骤S42；
S42基于所述客户数据的频繁度评估值确定所述客户数据是否需要近线存储，若是，则进入步骤S44，若否，则进入步骤S43；
S43基于所述客户数据的最近第二预设时间内的累计访问时间确定所述客户数据是否被频繁访问，若是，则采用在线存储的方式对所述客户数据进行存储，若否，则进入步骤S44；
S44采用近线存储的方式对所述客户数据进行存储。
8.如权利要求7所述的电商平台客户数据处理方法，其特征在于，所述第一预设时间小于第二预设时间，其中所述第一预设时间的取值范围在1个月到3个月之间，所述第二预设时间的取值范围在1整年到3整年之间。
9.一种计算机系统，包括：通信连接的存储器和处理器，以及存储在所述存储器上并能够在所述处理器上运行的计算机程序，其特征在于：所述处理器运行所述计算机程序时执行权利要求1-8任一项所述的一种基于流量分析的电商平台客户数据处理方法。
10.一种计算机存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行权利要求1-8任一项所述的一种基于流量分析的电商平台客户数据处理方法。
CN202310267641.2A 2023-03-20 2023-03-20 一种基于流量分析的电商平台客户数据处理方法与系统 Active CN116257884B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310267641.2A CN116257884B (zh) 2023-03-20 2023-03-20 一种基于流量分析的电商平台客户数据处理方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310267641.2A CN116257884B (zh) 2023-03-20 2023-03-20 一种基于流量分析的电商平台客户数据处理方法与系统

Publications (2)

Publication Number Publication Date
CN116257884A true CN116257884A (zh) 2023-06-13
CN116257884B CN116257884B (zh) 2023-09-05

Family

ID=86684322

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310267641.2A Active CN116257884B (zh) 2023-03-20 2023-03-20 一种基于流量分析的电商平台客户数据处理方法与系统

Country Status (1)

Country Link
CN (1) CN116257884B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116723138A (zh) * 2023-08-10 2023-09-08 杭银消费金融股份有限公司 一种基于流量探针染色的异常流量监控方法及系统
CN116743501A (zh) * 2023-08-10 2023-09-12 杭银消费金融股份有限公司 一种异常流量控制方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014183514A1 (zh) * 2013-11-19 2014-11-20 中兴通讯股份有限公司 一种分级存储方法、装置和计算机存储介质
CN107204971A (zh) * 2016-11-03 2017-09-26 深圳汇网天下科技有限公司 Web站电商劫持检测方法
CN110912874A (zh) * 2019-11-07 2020-03-24 苏宁云计算有限公司 有效识别机器访问行为的方法及系统
CN111600880A (zh) * 2020-05-14 2020-08-28 深信服科技股份有限公司 异常访问行为的检测方法、系统、存储介质和终端
CN111629006A (zh) * 2020-05-29 2020-09-04 重庆理工大学 融合深度神经网络和层级注意力机制的恶意流量更新方法
US10885167B1 (en) * 2018-08-31 2021-01-05 Intuit Inc. Intrusion detection based on anomalies in access patterns
US20210049074A1 (en) * 2019-08-13 2021-02-18 International Business Machines Corporation Cognitive data backup
CN113139182A (zh) * 2021-05-17 2021-07-20 毕晓柏 一种在线电商平台的数据入侵检测方法
CN115796327A (zh) * 2022-10-20 2023-03-14 海南师范大学 一种基于vmd和iwoa-f-gru模型的风电功率区间预测方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014183514A1 (zh) * 2013-11-19 2014-11-20 中兴通讯股份有限公司 一种分级存储方法、装置和计算机存储介质
CN107204971A (zh) * 2016-11-03 2017-09-26 深圳汇网天下科技有限公司 Web站电商劫持检测方法
US10885167B1 (en) * 2018-08-31 2021-01-05 Intuit Inc. Intrusion detection based on anomalies in access patterns
US20210049074A1 (en) * 2019-08-13 2021-02-18 International Business Machines Corporation Cognitive data backup
CN110912874A (zh) * 2019-11-07 2020-03-24 苏宁云计算有限公司 有效识别机器访问行为的方法及系统
CN111600880A (zh) * 2020-05-14 2020-08-28 深信服科技股份有限公司 异常访问行为的检测方法、系统、存储介质和终端
CN111629006A (zh) * 2020-05-29 2020-09-04 重庆理工大学 融合深度神经网络和层级注意力机制的恶意流量更新方法
CN113139182A (zh) * 2021-05-17 2021-07-20 毕晓柏 一种在线电商平台的数据入侵检测方法
CN115796327A (zh) * 2022-10-20 2023-03-14 海南师范大学 一种基于vmd和iwoa-f-gru模型的风电功率区间预测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
谢逸 等: "基于 Web 用户浏览行为的统计异常检测", 《软件学报》, pages 967 - 977 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116723138A (zh) * 2023-08-10 2023-09-08 杭银消费金融股份有限公司 一种基于流量探针染色的异常流量监控方法及系统
CN116743501A (zh) * 2023-08-10 2023-09-12 杭银消费金融股份有限公司 一种异常流量控制方法及系统
CN116723138B (zh) * 2023-08-10 2023-10-20 杭银消费金融股份有限公司 一种基于流量探针染色的异常流量监控方法及系统
CN116743501B (zh) * 2023-08-10 2023-10-20 杭银消费金融股份有限公司 一种异常流量控制方法及系统

Also Published As

Publication number Publication date
CN116257884B (zh) 2023-09-05

Similar Documents

Publication Publication Date Title
CN116257884B (zh) 一种基于流量分析的电商平台客户数据处理方法与系统
CN101529526B (zh) 用于估计和报告闪存盘存储器的预期寿命的方法
CN111369299B (zh) 识别的方法、装置、设备及计算机可读存储介质
CN111639798A (zh) 智能的预测模型选择方法及装置
US11675799B2 (en) Anomaly detection system
KR20210032140A (ko) 뉴럴 네트워크에 대한 프루닝을 수행하는 방법 및 장치
CN112232495B (zh) 预测模型的训练方法、装置、介质和计算设备
Wiedenmann et al. An evaluation of acceptable biological catch (ABC) harvest control rules designed to limit overfishing
CN116029876B (zh) 智慧校园综合管理装置与方法
US11379576B2 (en) Identification of database intrusion by changes in data tables
Ma et al. RBER-aware lifetime prediction scheme for 3D-TLC NAND flash memory
CN112202726A (zh) 一种基于上下文感知的系统异常检测方法
Kumaraswamy et al. Context-dependent upper-confidence bounds for directed exploration
CN115936159A (zh) 基于自动特征挖掘的可解释信贷违约率预测方法、系统
CN116389108B (zh) Ab实验方法、系统与存储介质
CN117149293B (zh) 一种操作系统个性化配置方法
CN116797226B (zh) 一种基于大数据的咖啡现货交易的信息安全的评估方法
CN116055900B (zh) 一种基于摄像装置的图像质量修正方法
CN116067524B (zh) 一种用于油浸变压器内部组件的实时温度监测方法
CN116033142B (zh) 一种基于摄像装置的环境光测量方法与系统
CN112529315B (zh) 一种滑坡的预测方法、装置、设备和存储介质
CN110322055B (zh) 一种提高数据风险模型评分稳定性的方法和系统
CN114792007A (zh) 代码检测方法、装置、设备、存储介质和计算机程序产品
CN116455642B (zh) 一种基于日志分析的访问风险实时审计方法与系统
CN116046077B (zh) 一种基于温湿度监测的gis状态检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant