CN113538022A - 流量监测方法、装置、设备及存储介质 - Google Patents

流量监测方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113538022A
CN113538022A CN202010277553.7A CN202010277553A CN113538022A CN 113538022 A CN113538022 A CN 113538022A CN 202010277553 A CN202010277553 A CN 202010277553A CN 113538022 A CN113538022 A CN 113538022A
Authority
CN
China
Prior art keywords
data
click
user equipment
flow
exposure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010277553.7A
Other languages
English (en)
Other versions
CN113538022B (zh
Inventor
李成林
雷章明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Wodong Tianjun Information Technology Co Ltd
Original Assignee
Beijing Wodong Tianjun Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Wodong Tianjun Information Technology Co Ltd filed Critical Beijing Wodong Tianjun Information Technology Co Ltd
Priority to CN202010277553.7A priority Critical patent/CN113538022B/zh
Publication of CN113538022A publication Critical patent/CN113538022A/zh
Application granted granted Critical
Publication of CN113538022B publication Critical patent/CN113538022B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0242—Determining effectiveness of advertisements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Development Economics (AREA)
  • Databases & Information Systems (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Finance (AREA)
  • Computer Security & Cryptography (AREA)
  • Accounting & Taxation (AREA)
  • General Engineering & Computer Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computer Hardware Design (AREA)
  • Game Theory and Decision Science (AREA)
  • Data Mining & Analysis (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本公开提供了一种流量监测方法、装置、设备及存储介质，涉及计算机技术领域。该方法包括：接收媒体平台发送的数据投放请求，所述数据投放请求包括：请求用户的用户设备信息；根据所述用户设备信息，确定投放数据；将所述投放数据返回给所述媒体平台，并将所述投放数据同步到HIVE数据库中；获取与所述用户设备信息中的用户设备标识绑定的客户端的点击或曝光数据，并将所述点击或曝光数据同步到HIVE数据库中；根据所述投放数据及所述用户设备信息，基于流量检测模型，确定所述点击或曝光数据是否为异常流量数据。该方法能够降低投放成本，提高投资回报率。

Description

流量监测方法、装置、设备及存储介质
技术领域
本公开涉及计算机技术领域，尤其涉及一种流量监测方法、装置、设备及存储介质。
背景技术
媒体平台可以通过识别设备号历史数据，向每个用户投放不同的商品和活动页面。投放方期望在媒体投放后达到预期的曝光量、转化率等指标，以提高ROI(Return OnInvestment，投资回报率)。
在实际应用中，存在通过各种手段人为提高流量的情况，这样的流量即为作弊流量。
相关技术中，为避免媒体投放时出现作弊流量，会引入第三方监测机构共同组成三方审计模式，该模式主要审计曝光量和点击量。
由于第三方监测机构不了解投放端、媒体端业务逻辑和用户画像，无法识别出异常流量。而投放方为了保证投放效果，期望能及早识别异常流量，减少或停止对应投放位投放，降低成本。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开的目的在于提供一种流量监测方法、装置、设备及存储介质，能够及早识别出异常流量，降低投放成本，提高投资回报率。
本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
根据本公开的一个方面，提供一种流量监测方法，包括：接收媒体平台发送的数据投放请求，数据投放请求包括：请求用户的用户设备信息；根据用户设备信息，确定投放数据；将投放数据返回给媒体平台，并将投放数据同步到HIVE数据库中；获取与用户设备信息中的用户设备标识绑定的客户端的点击或曝光数据，并将点击或曝光数据同步到HIVE数据库中；根据投放数据及用户设备信息，基于流量检测模型，确定点击或曝光数据是否为异常流量数据。
在本公开一个实施例中，将投放数据同步到HIVE数据库中包括：将投放数据编码后写入本地数据文件；定时地将本地数据文件中的投放数据进行压缩，并将压缩后的本地数据文件上传到私有文件服务器；通过专用服务器定时遍历私有服务器，确定私有服务器中未同步的投放数据；下载并解压未同步的投放数据；将解压后的未同步的投放数据同步到HIVE数据库中。
在本公开一个实施例中，上述方法还包括：当确定点击或曝光数据为异常流量数据时，停止向媒体平台投放数据。
在本公开一个实施例中，当确定点击或曝光数据为异常流量数据时，方法还包括：当确定与点击或曝光数据关联的用户设备标识异常时，拒绝客户端的曝光请求，并向媒体服务器发送退量请求；当确定与点击或曝光数据关联的投放位异常时，向媒体服务器发送投放位屏蔽请求。
在本公开一个实施例中，流量检测模型的训练包括：获取历史流量数据；基于预设特征，分别选取历史流量数据中的异常流量数据及正常流量数据作为训练数据；将训练数据输入到神经网络中进行训练，以获得流量算法模型。
在本公开一个实施例中，在神经网络的训练过程中，通过均方误差损失函数反向求导求解神经网络中的模型参数。
在本公开一个实施例中，预设特征包括：当天每小时点击数据、当天每分钟点击数据、截止当前时刻点击数据、当前时间点数据、投放位属性信息或媒体平台属性信息中的至少一项。
根据本公开的另一个方面，提供一种流量监测装置，包括：请求接收模块，用于接收媒体平台发送的数据投放请求，数据投放请求包括：请求用户的用户设备信息；数据确定模块，用于根据用户设备信息，确定投放数据；数据返回模块，用于将投放数据返回给媒体平台，并将投放数据同步到HIVE数据库中；数据获取模块，用于获取与用户设备信息中的用户设备标识绑定的客户端的点击或曝光数据，并将点击或曝光数据同步到HIVE数据库中；异常确定模块，用于根据投放数据及用户设备信息，基于流量检测模型，确定点击或曝光数据是否为异常流量数据。
本公开实施例提供的流量监测方法，投放方根据用户设备信息，确定投放数据；将投放数据及客户端的点击或曝光数据同步到HIVE数据库中；根据投放数据及用户设备信息，基于流量监测模型，对投放数据及点击或曝光数据进行分析，确定点击或曝光数据是否为异常流量数据。该方法中，投放方可以及早识别出异常流量数据，方便后续对异常流量数据采取措施，可以减少投放损失，降低投放成本，提高投资回报率。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本公开一个示例性实施例提供的系统结构及交互的流程图。
图2是根据一示例性实施方式示出的一种流量监测方法的流程图。
图3是根据一示例性示出的一种投放端与媒体平台交互的示意图。
图4是根据一示例性实施方式示出的另一种流量监测方法的流程图。
图5是根据一示例示出的准实时同步系统的示意图。
图6是根据一示例性实施方式示出的一种流量检测模型的训练方法的流程图。
图7是根据一示例性实施方式示出的一种流量监测装置的框图。
图8是根据一示例性实施方式示出的一种计算机系统的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。
此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
图1是本公开一个示例性实施例提供的系统结构及交互的流程图。
如图1所示，本公开的系统例如可以由投放方系统、媒体平台、客户端及第三方监测系统构成。
投放方系统例如可以为广告主系统，媒体平台例如可以为广告媒体平台，媒体平台包括媒体平台服务器，客户端例如可以为手机、电脑等设备。
参考图1，本公开的系统之间的交互包括：
在步骤S1中，客户端打开媒体平台。
在步骤S2中，媒体平台向投放端发送数据投放请求。
媒体平台可以向投放端请求推荐数据。
在步骤S3中，投放端向媒体平台发送投放数据。
投放端可以向媒体平台发送个性化推荐结果。
在步骤S3.1及S3.1.1中，投放方系统基于准实时同步系统，将投放数据同步到HIVE(蜂房)数据库中。
在步骤S4中，媒体平台根据投放数据，向客户端投放广告。
在步骤S5中，客户端向投放方系统发送点击或曝光数据。
在步骤S5.1中，客户端向第三方监测系统发送点击或曝光数据。
在步骤S6中，投放方系统将点击或曝光数据同步到HIVE数据库中。
在步骤S7中，投放方系统根据投放数据及用户设备信息，基于流量检测模型，判断点击或曝光数据是否为异常流量数据。
在步骤S8中，当点击或曝光数据为异常流量数据时，投放端对相应的投放位进行退量或停止投放。
下面，将结合附图及实施例对本公开示例实施例中的流量监测方法方法的各个步骤进行更详细的说明。
图2是根据一示例性实施方式示出的一种流量监测方法的流程图。本公开实施例提供的方法可以由如图1所示的投放方系统执行。
如图2所示，流量监测方法10包括：
在步骤S102中，接收媒体平台发送的数据投放请求。
数据投放请求包括：请求用户的用户设备信息。
媒体平台例如可以为广告媒体平台。
媒体平台包括媒体平台服务器。
在步骤S104中，根据用户设备信息，确定投放数据。
投放方接收到请求用户的用户设备信息后，可以根据用户设备信息，确定个性化的投放数据。
投放数据例如可以为广告投放数据。
例如，针对经常访问服装类产品的用户，投放数据可以为服装类的广告数据；针对经常电子类产品的用户，投放数据可以为电子类的广告数据。
根据用户设备信息，确定个性化的投放数据，可以提高投放效果。
在步骤S106中，将投放数据返回给媒体平台，并将投放数据同步到HIVE数据库中。
投放方将确定好的投放数据返回给媒体平台，并将该投放数据同步到HIVE数据库中。
将该投放数据同步到HIVE数据库中，有利于后续识别劣质流量。
例如可以基于准实时同步系统，将投放数据同步到HIVE数据库中。
在步骤S108中，获取与用户设备信息中的用户设备标识绑定的客户端的点击或曝光数据，并将点击或曝光数据同步到HIVE数据库中。
投放方例如可以通过点击/曝光入口获取与用户设备信息中的用户设备标识绑定的客户端的点击或曝光数据，并将点击或曝光数据同步到HIVE数据库中。
用户设备标识例如可以为用户设备ID(Identity Document，身份标识)。客户端例如可以为手机、电脑等。
点击数据例如可以包括该客户端每小时或每分钟的点击量、总点击量、点击频率等。
曝光数据例如可以为广告的曝光次数、曝光人数等。
在步骤S110中，根据投放数据及用户设备信息，基于流量检测模型，确定点击或曝光数据是否为异常流量数据。
将HIVE数据库中的投放数据及对应的用户设备信息数据输入到流量检测模型中，可以判断点击或曝光数据是否为异常流量数据。
异常流量数据例如可以为作弊流量数据。
作弊流量例如可以为IP(Internet Protocol，网际互连协议)重复刷量、换不同IP重复刷量、机器智能作弊，流量劫持等。
作弊流量可以降低投放方的投资回报率。
投放方基于流量检测模型，对投放数据和客户端反馈的点击或曝光数据进行分析，可以快速识别出异常流量。
图3是根据一示例性示出的一种投放端与媒体平台交互的示意图。
如图3所示，当点击或曝光数据不是异常流量数据时，投放方继续向媒体平台发送投放数据；当点击或曝光数据为异常流量时，投放方可以及时采取措施，减少投放损失。
在一些实施例中，方法10还包括：
在步骤S112中，当确定点击或曝光数据为异常流量数据时，停止向媒体平台投放数据。
当基于流量检测模型，确定出点击或曝光数据为异常流量数据时，投放方可以停止向媒体平台投放数据，减少投放损失。
在一些实施例中，当确定与点击或曝光数据关联的用户设备标识异常时，拒绝客户端的曝光请求，并向媒体服务器发送退量请求。
如图3所示，当确定点击或曝光数据为异常流量数据，并进一步确定与点击或曝光数据关联的用户设备标识异常时，可以认为客户端存在风险，例如频繁刷新请求、在同一地点多个设备号相似操作等，投放方可以拒绝该客户端的曝光请求，并向媒体服务器发送退量请求。媒体服务器可以对该客户端进行退量操作，减少损失。
在一些实施例中，当确定与点击或曝光数据关联的投放位异常时，向媒体服务器发送投放位屏蔽请求。
如图3所示，当确定点击或曝光数据为异常流量数据，并进一步确定与点击或曝光数据关联的投放位异常时，可以认为该投放渠道下的投放位存在风险，例如请求被植入页面自动刷新等，投放方可以向媒体服务器发送投放位屏蔽请求。媒体服务器可以屏蔽该投放位，减少损失。
本公开实施例提供的流量监测方法，投放方根据用户设备信息，确定投放数据；将投放数据及客户端的点击或曝光数据同步到HIVE数据库中；根据投放数据及用户设备信息，基于流量监测模型，对投放数据及点击或曝光数据进行分析，确定点击或曝光数据是否为异常流量数据。该方法中，投放方可以及早识别出异常流量数据，方便后续对异常流量数据采取措施，可以减少投放损失，降低投放成本，提高点击率、转化率等指标，进而提高投资回报率。
图4是根据一示例性实施方式示出的另一种流量监测方法的流程图。
与图2所示的流量监测方法10不同的是，图4所示的流量监测方法进一步提供了如何将投放数据同步到HIVE数据库中，也即提供了上述步骤S106的一种实施例。
参考图4，步骤S106包括：
在步骤S1061中，将投放数据编码后写入本地数据文件。
图5是根据一示例示出的准实时同步系统的示意图。
如图5所示，可以基于准实时同步系统，将投放数据同步到HIVE数据库中。
准实时同步系统可以分为收集端、同步端两部分。
准实时同步系统收集端可以部署在投放端内部，通过AOP(Aspect OrientedProgramming，面向切面编程)拦截业务线程处理的请求和返回的响应，通过BASE64(基于64个可打印字符来表示二进制数据的方法)，将投放数据编码后写入本地数据文件。
在步骤S1062中，定时地将本地数据文件中的投放数据进行压缩，并将压缩后的本地数据文件上传到私有文件服务器。
例如可以启动后台定时任务定时地对本地数据文件中的投放数据进行压缩，并上传到私有服务器。
在步骤S1063中，通过专用服务器定时遍历私有服务器，确定私有服务器中未同步的投放数据。
准实时同步系统的同步端可以部署在专用服务器上。
通过专用服务器定时遍历私有服务器，将私有服务器中的数据文件与HIVE数据库中的数据文件进行对比，确定私有服务器中未同步的投放数据。
在步骤S1064中，下载并解压未同步的投放数据。
将对比后得到的未同步到HIVE数据库中的投放数据进行下载并解压。
在步骤S1065中，将解压后的未同步的投放数据同步到HIVE数据库中。
基于HIVE同步进程，将解压后的未同步的投放数据同步到HIVE数据库中，HIVE的底层文件为HDFS(Hadoop Distributed File System，分布式文件系统)，然后刷新分区信息，将投放数据解析到HIVE数据表中，数据正式生效可见。
准实时同步系统的收集端写入本地数据文件、压缩上传都为异步操作，可以降低对业务接口性能影响，并与业务逻辑解耦隔离。同步端与投放端环境隔离便于统一调度，减少对业务服务器CPU(Central Processing Unit，中央处理器)和带宽的压力。
通过准实时数据同步系统可以达到分钟级同步十亿级数据。
流量监测方法20与流量监测方法10相同的步骤在此不再赘述。
图6是根据一示例性实施方式示出的一种流量检测模型的训练方法的流程图。
如图6所示，流量检测模型的训练方法20包括：
在步骤S202中，获取历史流量数据。
例如可以获取广告投放的历史流量数据作为训练样本。
在步骤S204中，基于预设特征，分别选取历史流量数据中的异常流量数据及正常流量数据作为训练数据。
在一些实施例中，预设特征包括：当天每小时点击数据、当天每分钟点击数据、截止当前时刻点击数据、当前时间点数据、投放位属性信息或媒体平台属性信息中的至少一项。
投放位属性信息例如可以为广告位属性信息，广告位属性信息可以包括广告位置、广告投放时间段及广告投放效果等。
媒体平台属性信息可以包括媒体类型、媒体投放量等。
例如可以分别对历史流量数据中的异常流量数据及正常流量数据制作标签。
异常流量数据及正常流量数据可以通过第三方检测或人工判断得到。
例如可以将异常流量数据作为正样本，标签为1；将正常流量数据作为负样本，标签为0。一般情况下正样本数量相对较少，负样本可以随机采样取出相应数量的样本。
在步骤S206中，将训练数据输入到神经网络中进行训练，以获得流量算法模型。
在一些实施例中，在神经网络的训练过程中，通过均方误差损失函数反向求导求解神经网络中的模型参数。
均方误差(MSE)函数表示如下：
Figure BDA0002445375620000091
其中：n为样本数量，yi为真实值，
Figure BDA0002445375620000092
训练预测值。
在神经网络的预测结构中，可以首先将数据特征离散化，通过Embedding层，将高维稀疏的数据映射到低维空间中，方便使用神经网络异常预测。DNN(Deep NeuralNetwork，深度神经网络)层可以为标准的三层神经网络架构，维度分别为512，128，16，激活函数可以采用Relu函数，输出层可以为Logistics层(逻辑层)，输出两个结构，分别表示是否有流量异常。
需要注意的是，上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
下述为本公开装置实施例，可以用于执行本公开方法实施例。对于本公开装置实施例中未披露的细节，请参照本公开方法实施例。
图7是根据一示例性实施方式示出的一种流量监测装置的框图。
如图7所示，流量监测装置30包括：请求接收模块302、数据确定模块304、数据返回模块306、数据获取模块308及异常确定模块310。
其中，请求接收模块302用于接收媒体平台发送的数据投放请求，数据投放请求包括：请求用户的用户设备信息；
数据确定模块304用于根据用户设备信息，确定投放数据；
数据返回模块306用于将投放数据返回给媒体平台，并将投放数据同步到HIVE数据库中；
数据获取模块308用于获取与用户设备信息中的用户设备标识绑定的客户端的点击或曝光数据，并将点击或曝光数据同步到HIVE数据库中；
异常确定模块310用于根据投放数据及用户设备信息，基于流量检测模型，确定点击或曝光数据是否为异常流量数据。
在一些实施例中，数据返回模块306包括：文件写入单元、文件上传单元、数据确定单元、数据下载单元及数据同步单元。其中，文件写入单元用于将投放数据编码后写入本地数据文件；文件上传单元用于定时地将本地数据文件中的投放数据进行压缩，并将压缩后的本地数据文件上传到私有文件服务器；数据确定单元用于通过专用服务器定时遍历私有服务器，确定私有服务器中未同步的投放数据；数据下载单元用于下载并解压未同步的投放数据；数据同步单元用于将解压后的未同步的投放数据同步到HIVE数据库中。
在一些实施例中，装置30还包括：投放停止模块，用于当确定点击或曝光数据为异常流量数据时，停止向媒体平台投放数据。
在一些实施例中，投放停止模块还包括：退量请求单元，用于当确定与点击或曝光数据关联的用户设备标识异常时，拒绝客户端的曝光请求，并向媒体服务器发送退量请求；屏蔽请求单元，用于当确定与点击或曝光数据关联的投放位异常时，向媒体服务器发送投放位屏蔽请求。
在一些实施例中，流量检测模型的训练包括：数据获取单元、数据选取单元及数据训练单元。其中，数据获取单元用于获取历史流量数据；数据选取单元用于基于预设特征，分别选取历史流量数据中的异常流量数据及正常流量数据作为训练数据；数据训练单元用于将训练数据输入到神经网络中进行训练，以获得流量算法模型。
在一些实施例中，在神经网络的训练过程中，通过均方误差损失函数反向求导求解神经网络中的模型参数。
本公开实施例提供的流量监测装置，投放方根据用户设备信息，确定投放数据；将投放数据及客户端的点击或曝光数据同步到HIVE数据库中；根据投放数据及用户设备信息，基于流量监测模型，对投放数据及点击或曝光数据进行分析，确定点击或曝光数据是否为异常流量数据。该装置中，投放方可以及早识别出异常流量数据，方便后续对异常流量数据采取措施，可以减少投放损失，降低投放成本，提高点击率、转化率等指标，进而提高投资回报率。
需要注意的是，上述附图中所示的框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
图8是根据一示例性实施方式示出的一种计算机设备的结构示意图。需要说明的是，图8示出的计算机设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图8所示，计算机设备800包括中央处理单元(CPU)801，其可以根据存储在只读存储器(ROM)802中的程序或者从存储部分808加载到随机访问存储器(RAM)803中的程序而执行各种适当的动作和处理。在RAM 803中，还存储有系统800操作所需的各种程序和数据。CPU 801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。
以下部件连接至I/O接口805：包括键盘、鼠标等的输入部分806；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分807；包括硬盘等的存储部分808；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至I/O接口805。可拆卸介质811，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器810上，以便于从其上读出的计算机程序根据需要被安装入存储部分808。
特别地，根据本发明的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分809从网络上被下载和安装，和/或从可拆卸介质811被安装。在该计算机程序被中央处理单元(CPU)801执行时，执行本发明的系统中限定的上述功能。
需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括发送单元、获取单元、确定单元和第一处理单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，发送单元还可以被描述为“向所连接的服务端发送图片获取请求的单元”。
作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：
接收媒体平台发送的数据投放请求，数据投放请求包括：请求用户的用户设备信息；
根据用户设备信息，确定投放数据；
将投放数据返回给媒体平台，并将投放数据同步到HIVE数据库中；
获取与用户设备信息中的用户设备标识绑定的客户端的点击或曝光数据，并将点击或曝光数据同步到HIVE数据库中；
根据投放数据及用户设备信息，基于流量检测模型，确定点击或曝光数据是否为异常流量数据。
以上具体地示出和描述了本发明的示例性实施方式。应可理解的是，本发明不限于这里描述的详细结构、设置方式或实现方法；相反，本发明意图涵盖包含在所附权利要求的精神和范围内的各种修改和等效设置。

Claims (10)

1.一种流量监测方法，其特征在于，包括：
接收媒体平台发送的数据投放请求，所述数据投放请求包括：请求用户的用户设备信息；
根据所述用户设备信息，确定投放数据；
将所述投放数据返回给所述媒体平台，并将所述投放数据同步到HIVE数据库中；
获取与所述用户设备信息中的用户设备标识绑定的客户端的点击或曝光数据，并将所述点击或曝光数据同步到HIVE数据库中；
根据所述投放数据及所述用户设备信息，基于流量检测模型，确定所述点击或曝光数据是否为异常流量数据。
2.根据权利要求1所述的方法，其特征在于，将所述投放数据同步到HIVE数据库中包括：
将所述投放数据编码后写入本地数据文件；
定时地将本地数据文件中的投放数据进行压缩，并将压缩后的所述本地数据文件上传到私有文件服务器；
通过专用服务器定时遍历所述私有服务器，确定所述私有服务器中未同步的投放数据；
下载并解压所述未同步的投放数据；
将解压后的所述未同步的投放数据同步到所述HIVE数据库中。
3.根据权利要求1所述的方法，其特征在于，还包括：
当确定所述点击或曝光数据为异常流量数据时，停止向所述媒体平台投放数据。
4.根据权利要求3所述的方法，其特征在于，当确定所述点击或曝光数据为异常流量数据时，所述方法还包括：
当确定与所述点击或曝光数据关联的用户设备标识异常时，拒绝所述客户端的曝光请求，并向所述媒体服务器发送退量请求；
当确定与所述点击或曝光数据关联的投放位异常时，向所述媒体服务器发送投放位屏蔽请求。
5.根据权利要求1-4任一项所述的方法，其特征在于，所述流量检测模型的训练包括：
获取历史流量数据；
基于预设特征，分别选取所述历史流量数据中的异常流量数据及正常流量数据作为训练数据；
将所述训练数据输入到神经网络中进行训练，以获得流量算法模型。
6.根据权利要求5所述的方法，其特征在于，在所述神经网络的训练过程中，通过均方误差损失函数反向求导求解所述神经网络中的模型参数。
7.根据权利要求5所述的方法，所述预设特征包括：当天每小时点击数据、当天每分钟点击数据、截止当前时刻点击数据、当前时间点数据、投放位属性信息或媒体平台属性信息中的至少一项。
8.一种流量监测装置，其特征在于，包括：
请求接收模块，用于接收媒体平台发送的数据投放请求，所述数据投放请求包括：请求用户的用户设备信息；
数据确定模块，用于根据所述用户设备信息，确定投放数据；
数据返回模块，用于将所述投放数据返回给所述媒体平台，并将所述投放数据同步到HIVE数据库中；
数据获取模块，用于获取与所述用户设备信息中的用户设备标识绑定的客户端的点击或曝光数据，并将所述点击或曝光数据同步到HIVE数据库中；
异常确定模块，用于根据所述投放数据及所述用户设备信息，基于流量检测模型，确定所述点击或曝光数据是否为异常流量数据。
9.一种计算机设备，包括：存储器、处理器及存储在所述存储器中并可在所述处理器中运行的可执行指令，其特征在于，所述处理器执行所述可执行指令时实现如权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机可执行指令，其特征在于，所述可执行指令被处理器执行时实现如权利要求1-7任一项所述的方法。
CN202010277553.7A 2020-04-10 2020-04-10 流量监测方法、装置、设备及存储介质 Active CN113538022B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010277553.7A CN113538022B (zh) 2020-04-10 2020-04-10 流量监测方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010277553.7A CN113538022B (zh) 2020-04-10 2020-04-10 流量监测方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN113538022A true CN113538022A (zh) 2021-10-22
CN113538022B CN113538022B (zh) 2024-07-16

Family

ID=78087775

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010277553.7A Active CN113538022B (zh) 2020-04-10 2020-04-10 流量监测方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113538022B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114826682A (zh) * 2022-03-30 2022-07-29 京东科技信息技术有限公司 信息投放管理的方法、装置和系统
CN115034830A (zh) * 2022-06-29 2022-09-09 腾云天宇科技(苏州)有限公司 数据处理的方法、装置、设备、存储介质和程序产品

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7849502B1 (en) * 2006-04-29 2010-12-07 Ironport Systems, Inc. Apparatus for monitoring network traffic
CN108243068A (zh) * 2016-12-23 2018-07-03 北京国双科技有限公司 一种确定异常流量的方法及服务器
CN108667855A (zh) * 2018-07-19 2018-10-16 百度在线网络技术（北京）有限公司 网络流量异常监测方法、装置、电子设备及存储介质
CN108985823A (zh) * 2018-06-27 2018-12-11 腾讯科技（深圳）有限公司 一种信息投放方法、装置、服务器及存储介质
CN109561052A (zh) * 2017-09-26 2019-04-02 北京国双科技有限公司 网站异常流量的检测方法及装置
CN110097389A (zh) * 2018-01-31 2019-08-06 上海甚术网络科技有限公司 一种广告流量反作弊方法
CN110545292A (zh) * 2019-09-29 2019-12-06 秒针信息技术有限公司 一种异常流量监测的方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7849502B1 (en) * 2006-04-29 2010-12-07 Ironport Systems, Inc. Apparatus for monitoring network traffic
CN108243068A (zh) * 2016-12-23 2018-07-03 北京国双科技有限公司 一种确定异常流量的方法及服务器
CN109561052A (zh) * 2017-09-26 2019-04-02 北京国双科技有限公司 网站异常流量的检测方法及装置
CN110097389A (zh) * 2018-01-31 2019-08-06 上海甚术网络科技有限公司 一种广告流量反作弊方法
CN108985823A (zh) * 2018-06-27 2018-12-11 腾讯科技（深圳）有限公司 一种信息投放方法、装置、服务器及存储介质
CN108667855A (zh) * 2018-07-19 2018-10-16 百度在线网络技术（北京）有限公司 网络流量异常监测方法、装置、电子设备及存储介质
CN110545292A (zh) * 2019-09-29 2019-12-06 秒针信息技术有限公司 一种异常流量监测的方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114826682A (zh) * 2022-03-30 2022-07-29 京东科技信息技术有限公司 信息投放管理的方法、装置和系统
CN115034830A (zh) * 2022-06-29 2022-09-09 腾云天宇科技(苏州)有限公司 数据处理的方法、装置、设备、存储介质和程序产品

Also Published As

Publication number Publication date
CN113538022B (zh) 2024-07-16

Similar Documents

Publication Publication Date Title
US11823142B2 (en) Method and system for allocating virtual articles
US11475055B2 (en) Artificial intelligence based method and apparatus for determining regional information
CN110830437B (zh) 高频业务数据的数据压缩方法、装置、设备及存储介质
CN105808652B (zh) 在线客服的实现方法和装置
CN111414516A (zh) 一种直播间消息处理方法、装置、电子设备及存储介质
CN113094136A (zh) 页面显示控制方法、装置、存储介质及电子设备
CN110866040B (zh) 用户画像生成方法、装置和系统
CN113538022B (zh) 流量监测方法、装置、设备及存储介质
CN114915689A (zh) 一种视频问诊处理方法和装置
CN111339495A (zh) 直播间在线人数的统计方法、装置、电子设备及存储介质
CN111949678A (zh) 跨时间窗口的非累加指标的处理方法和装置
CN114168452A (zh) 一种ab测试试验程序可视化操作平台
CN111124858B (zh) 无埋点插码数据处理方法、系统、终端设备及存储介质
CN115103015B (zh) 一种数据推送方法、装置、电子设备及计算机可读介质
CN116204428A (zh) 一种测试用例生成方法和装置
EP4209933A1 (en) Data processing method and apparatus, and electronic device and storage medium
CN107920100B (zh) 信息推送方法和装置
CN115277835A (zh) 信息推送方法、装置、存储介质及电子设备
CN109727072B (zh) 用于处理信息的方法和设备
CN114171172A (zh) 一种医疗信息匹配与分发的系统和方法
CN110119364B (zh) 一种输入/输出批量提交的方法和系统
CN112910855A (zh) 一种样例报文处理方法及装置
CN106547788B (zh) 数据处理方法和装置
CN113190745B (zh) 信息发送方法、装置、电子设备和计算机可读介质
US20230169345A1 (en) Multiscale dimensional reduction of data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant