CN112162993A - 黑名单的数据更新方法、装置以及计算机设备 - Google Patents

黑名单的数据更新方法、装置以及计算机设备 Download PDF

Info

Publication number
CN112162993A
CN112162993A CN202011247743.0A CN202011247743A CN112162993A CN 112162993 A CN112162993 A CN 112162993A CN 202011247743 A CN202011247743 A CN 202011247743A CN 112162993 A CN112162993 A CN 112162993A
Authority
CN
China
Prior art keywords
blacklist
visitor
risk
information
behavior
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011247743.0A
Other languages
English (en)
Inventor
袁康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Puhui Enterprise Management Co Ltd
Original Assignee
Ping An Puhui Enterprise Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Puhui Enterprise Management Co Ltd filed Critical Ping An Puhui Enterprise Management Co Ltd
Priority to CN202011247743.0A priority Critical patent/CN112162993A/zh
Publication of CN112162993A publication Critical patent/CN112162993A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Data Mining & Analysis (AREA)
  • Tourism & Hospitality (AREA)
  • Game Theory and Decision Science (AREA)
  • General Business, Economics & Management (AREA)
  • Operations Research (AREA)
  • Development Economics (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • Marketing (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供了一种黑名单的数据更新方法、装置以及计算机设备，其中方法包括：检测所述访问者的行为信息；将所述访问者的行为信息输入至预训练的风险行为模型中，得到所述访问者的行为信息对应的风险系数；根据所述风险系数判断是否将所述访问者加入所述预设的黑名单数据库内。本发明的有益效果：通过预设的黑名单数据库对访问者进行检测，然后监督访问者的行为信息，并通过预训练的风险行为模型进行计算，当计算结果为该访问者满足黑名单条件时，将该访问者加入对应黑名单数据库中，从而实现对黑名单数据库的自助更新，无需购买第三方接口的昂贵数据，减小了经济支出。

Description

黑名单的数据更新方法、装置以及计算机设备
技术领域
本发明涉及数据更新领域，特别涉及一种黑名单的数据更新方法、装置以及计算机设备。
背景技术
为了防止其他人员恶意获取相关数据，现有技术中都会构建对应的黑名单数据库，但是黑名单数据库的数据来源一般都是通过购买第三方接口的数据，而且无法对黑名单数据进行管理，购买第三方接口的数据会产生昂贵的费用，而且数据来源有限，无法及时更新对应的黑名单数据，因此，亟需一种黑名单的数据更新方法。
发明内容
本发明的主要目的为提供一种黑名单的数据更新方法、装置以及计算机设备，旨在解决无法及时更新对应的黑名单数据的问题。
本发明提供了一种黑名单的数据更新方法，包括：
获取访问者的唯一标识性信息，所述唯一标识性信息至少包括身份信息、IP地址、电话中的一种或多种；
根据所述唯一标识性信息判断所述访问者是否在预设的黑名单数据库内；
若不在预设的黑名单数据库内，则检测所述访问者的行为信息；
将所述访问者的行为信息输入至预训练的风险行为模型中，得到所述访问者的行为信息对应的风险系数；
根据所述风险系数判断是否将所述访问者加入所述预设的黑名单数据库内。
进一步地，所述将所述访问者的行为信息输入至预训练的风险行为模型中，得到所述访问者的行为信息对应的风险系数的步骤之前，还包括：
获取所述黑名单数据库中各黑名人员的行为信息以及对应的风险系数；
按照预设的维度将所述行为信息转化为多维向量；其中，所述多维向量为Xj＝(x1j，x2j…xij…xnj)，Xj表示第j个黑名人员的多维向量，xij表示第j个黑名人员的第i维向量；
将各所述多维向量以及对应的所述风险系数输入至风险行为初始模型中进行训练，得到所述预训练的风险行为模型；其中所述初始模型为hw(x)＝w0+w1x1+w2x2+wixi…+wnxn，其中，hw(x)为所述风险系数，w0，w1，…，wn均为待训练的参数值，xi表示所述多维向量中的第i维向量。
进一步地，所述将各所述多维向量以及对应的所述黑名单时间输入至风险行为初始模型中进行训练，得到所述预训练的风险行为模型的步骤，包括：
获取各黑名人员的实际风险系数和所述预训练的风险行为模型的预测风险系数；
根据损失函数公式计算所述预训练的风险行为模型的损失值；其中所述损失函数公式为：
Figure BDA0002770609940000021
yj表示第j个黑名人员的实际风险系数，hw(xij)表示第j个黑名人员根据其所述行为信息得到的预测风险系数，n表示所述多维向量的维度，
Figure BDA0002770609940000022
表示预设的参数值，
Figure BDA0002770609940000023
表示所述预训练的风险行为模型的损失值；
判断所述损失值是否超过了预设损失值；
若超过了所述预设损失值，则继续训练所述预训练的风险行为模型。
进一步地，所述根据所述风险系数判断是否将所述访问者加入所述预设的黑名单数据库内的步骤之后，还包括：
检测所述黑名单数据库中各所述黑名单数据的时间标签是否达到了黑名单失效时间；
若达到了所述黑名单失效时间，则将对应的黑名单数据移出所述黑名单数据库。
进一步地，根据所述唯一标识性信息判断所述访问者是否在预设的黑名单数据库内的步骤之前，还包括：
通过sqoop脚本获取各平台数据的黑名单中历史访问者的黑名信息，其中，所述黑名信息包括对应访问者的所述唯一标志性信息、黑名原因、以及对应的获取平台；
根据所述黑名信息计算对应所述历史访问者的风险系数，并建立访问者与风险系数的对应关系；
根据各所述历史访问者以及相应的对应关系构建所述黑名单数据库。
进一步地，所述根据所述风险系数判断是否将所述访问者加入所述预设的黑名单数据库内的步骤，包括：
判断所述风险系数是否大于预设的系数值；
若所述风险系数大于所述预设的系数值，则根据公式t＝f(xi)+b计算所述风险系数对应的黑名单时间；其中，所述t表示黑名单时间，f(xi)表示风险系数与对应时间的函数关系，b表示黑名单时间的最小值，xi表示第i个访问者的风险系数，所述黑名单时间为对应的所述访问者在所述黑名单数据库内的时长；
根据所述黑名单时间为所述对应的访问者设置对应的时间标签。
本发明还一种黑名单的数据更新装置，包括：
唯一标识性信息获取模块，用于获取访问者的唯一标识性信息，所述唯一标识性信息至少包括身份信息、IP地址、电话中的一种或多种；
访问者判断模块，用于根据所述唯一标识性信息判断所述访问者是否在预设的黑名单数据库内；
行为信息检测模块，用于若不在预设的黑名单数据库内，则检测所述访问者的行为信息；
风险系数计算模块，用于将所述访问者的行为信息输入至预训练的风险行为模型中，得到所述访问者的行为信息对应的风险系数；
黑名单数据库添加模块，用于根据所述风险系数判断是否将所述访问者加入所述预设的黑名单数据库内。
进一步地，所述黑名单的数据更新装置，还包括：
黑名人员信息获取模块，用于获取所述黑名单数据库中各黑名人员的行为信息以及对应的风险系数；
多维向量转化模块，用于按照预设的维度将所述行为信息转化为多维向量；其中，所述多维向量为Xj＝(x1j，x2j…xij…xnj)，Xj表示第j个黑名人员的多维向量，xij表示第j个黑名人员的第i维向量；
风险行为初始模型训练模块，用于将各所述多维向量以及对应的所述风险系数输入至风险行为初始模型中进行训练，得到所述预训练的风险行为模型；其中所述初始模型为hw(x)＝w0+w1x1+w2x2+wixi…+wnxn，其中，hw(x)为所述风险系数，w0，w1，…，wn均为待训练的参数值，xi表示所述多维向量中的第i维向量。
本发明还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。
本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法的步骤。
本发明的有益效果：通过预设的黑名单数据库对访问者进行检测，然后监督访问者的行为信息，并通过预训练的风险行为模型进行计算，当计算结果为该访问者满足黑名单条件时，将该访问者加入对应黑名单数据库中，从而实现对黑名单数据库的自助更新，无需购买第三方接口的昂贵数据，减小了经济支出。
附图说明
图1是本发明一实施例的一种黑名单的数据更新方法的流程示意图；
图2是本发明一实施例的一种黑名单的数据更新装置的结构示意框图；
图3为本申请一实施例的计算机设备的结构示意框图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明，本发明实施例中所有方向性指示(诸如上、下、左、右、前、后等)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变，所述的连接可以是直接连接，也可以是间接连接。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。
另外，在本发明中如涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
参照图1，本发明提出一种黑名单的数据更新方法，包括：
S1：获取访问者的唯一标识性信息，所述唯一标识性信息至少包括身份信息、IP地址、电话中的一种或多种；
S2：根据所述唯一标识性信息判断所述访问者是否在预设的黑名单数据库内；
S3：若不在预设的黑名单数据库内，则检测所述访问者的行为信息；
S4：将所述访问者的行为信息输入至预训练的风险行为模型中，得到所述访问者的行为信息对应的风险系数；
S5：根据所述风险系数判断是否将所述访问者加入所述预设的黑名单数据库内。
如上述步骤S1所述，获取访问者的唯一标识性信息，所述唯一标识性信息至少包括身份信息、IP地址、电话中的一种或多种。由于每个访问者都有其对应的唯一标志性信息，例如身份信息、IP地址、电话等，可以获取其唯一标识性信息用于标识对应的访问者，以便于快速检测该访问者是否在黑名单数据库内。
如上述步骤S2所述，根据所述唯一标识性信息判断所述访问者是否在预设的黑名单数据库内，由于每个访问者都具有唯一标识性信息，因此，可以根据该唯一标识性信息进行判定。另外，需要说明的是，唯一标识性信息可能会包括多个维度信息，而黑名单数据库中只有一个或者部分维度信息时，则黑名单只根据数据库中所包含的维度信息进行判定。
如上述步骤S3所述，若不在预设的黑名单数据库内，则检测所述访问者的行为信息。即访问者可能不在预设的黑名单数据库内，但是其行为信息已经满足黑名单的预设条件，其中，该行为信息为预先设置的，例如套用密码的次数达到设定次数，或者下载用户的隐私信息等，则认为该行为信息满足黑名单的预设条件。此时可以检测用户的行为信息判断访问者是否为潜在的黑名单用户。
如上述步骤S4所述，将所述访问者的行为信息输入至预训练的风险行为模型中，得到所述访问者的行为信息对应的风险系数。其中，预训练的风险行为模型为事先根据黑名人员及其对应的风险行为训练而成，而不同的行为信息具有不同等级的黑名情况，此时可以根据行为信息计算出对应的风险系数，为访问者进行标记。
如上述步骤S5所述，根据所述风险系数判断是否将所述访问者加入所述预设的黑名单数据库内，每个访问者都会对应一个风险系数，此时可以根据风险系数的大小判定访问者是否满足黑名条件。具体的判断方法可以是设定一个风险系数阈值，当大于该风险系数阈值时，则判定该访问者满足加入预设的黑名单数据库的条件。
在一个实施例中，所述将所述访问者的行为信息输入至预训练的风险行为模型中，得到所述访问者的行为信息对应的风险系数的步骤S4之前，还包括：
S301：获取所述黑名单数据库中各黑名人员的行为信息以及对应的风险系数；
S302：按照预设的维度将所述行为信息转化为多维向量；其中，所述多维向量为Xj＝(x1j，x2j…xij…xnj)，Xj表示第j个黑名人员的多维向量，xij表示第j个黑名人员的第i维向量；
S303：将各所述多维向量以及对应的所述风险系数输入至风险行为初始模型中进行训练，得到所述预训练的风险行为模型；其中所述初始模型为hw(x)＝w0+w1x1+w2x2+wixi…+wnxn，其中，hw(x)为所述风险系数，w0，w1，…，wn均为待训练的参数值，xi表示所述多维向量中的第i维向量。
如上述步骤S301-S303所述，实现了预训练的风险行为模型的训练。通过已有的黑名单数据库各黑名人员数据进行训练，将对应的行为信息转化为多维向量，其中，多维向量的维度可以包括黑名人员的身份、各网站的访问次数，访问方式等，将各个多维向量输入至风险行为初始模型中进行训练，以得到风险行为初始模型中的参数数据，使其计算的结果可以接近黑名单数据库中的黑名人员的判断结果，另外，风险行为初始模型的函数可以是hw(x)＝w0+w1x1+w2x2+wixi…+wnxn，然后通过线性回归算法以及各多维向量计算参数值w0，w1，…，wn，然后将计算得到的参数值赋予至该函数中，得到预训练的风险行为模型，另外根据风险系数与黑名单时间的对应关系，可以将得到的风险系数换算成对应的黑名单时间。
在一个实施例中，所述将各所述多维向量以及对应的所述黑名单时间输入至风险行为初始模型中进行训练，得到所述预训练的风险行为模型的步骤S303，包括：
S3041：获取各黑名人员的实际风险系数和所述预训练的风险行为模型的预测风险系数；
S3042：根据损失函数公式计算所述预训练的风险行为模型的损失值；其中所述损失函数公式为：
Figure BDA0002770609940000081
yj表示第j个黑名人员的实际风险系数，hw(xij)表示第j个黑名人员根据其所述行为信息得到的预测风险系数，n表示所述多维向量的维度，
Figure BDA0002770609940000082
表示预设的参数值，
Figure BDA0002770609940000083
表示所述预训练的风险行为模型的损失值；
S3043：判断所述损失值是否超过了预设损失值；
S3044：若超过了所述预设损失值，则继续训练所述预训练的风险行为模型。
如上述步骤S3041-S3044所述，实现了对预训练的风险行为模型的参数检测。通过对黑名人员的实际风险系数，以及预训练的风险行为模型的预测风险系数进行损失值计算，计算的损失函数为
Figure BDA0002770609940000091
需要注意的是wi为预训练的风险行为模型中与第i维对应的参数值，而非是一个不确定的参数值，然后根据计算得到的损失值判断预训练的风险行为模型是否满足要求，若不满足要求，则继续训练直至预训练的风险行为模型的损失值小于预设损失值。
在一个实施例中，所述根据所述风险系数判断是否将所述访问者加入所述预设的黑名单数据库内的步骤S5之后，还包括：
S601：检测所述黑名单数据库中各所述黑名单数据的时间标签是否达到了黑名单失效时间；
S602：若达到了所述黑名单失效时间，则将对应的黑名单数据移出所述黑名单数据库。
如上述步骤S601-S602所述，实现了实时更新黑名单数据库中的黑名单数据。即周期性检测黑名单数据库的黑名单数据对应的时间标签是否达到了黑名单失效时间，当达到了该对应的失效时间时，将对应的黑名单数据移出，即说明该黑名单数据不能当作黑名单来处理，故将其移出黑名单中，从而实现了黑名单数据库的数据的实时更新。具体地，检测所述黑名单数据库中各所述黑名单数据的时间标签是否达到了黑名单失效时间中的检测方法可以是通过周期性遍历黑名单数据库中所有的黑名单数据，检测各黑名单数据各自对应的失效时间，然后获取当前时间，若当前时间已经达到或超过了失效时间，则说明该黑名单数据可以移出黑名单数据库。
在一个实施例中，根据所述唯一标识性信息判断所述访问者是否在预设的黑名单数据库内的步骤S2之前，还包括：
S101：通过sqoop脚本获取各平台数据的黑名单中历史访问者的黑名信息，其中，所述黑名信息包括对应访问者的所述唯一标志性信息、黑名原因、以及对应的获取平台；
S102：根据所述黑名信息计算对应所述历史访问者的风险系数，并建立访问者与风险系数的对应关系；
S103：根据各所述历史访问者以及相应的对应关系构建所述黑名单数据库。
如上述步骤S101-S103所述，实现了黑名单数据库根据其他平台的黑名单信息的自动扩展。即通过sqoop脚本获取每个平台数据中的黑名单的黑名信息，根据黑名信息获取得到该历史访问者的唯一标识性信息，然后再将黑名信息中的行为信息输入至预训练的风险行为模型中，得到对应的风险系数，将风险系数与历史访问者进行对应，以此构建对应的黑名单数据库。具体地，Sqoop脚本是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库(例如：MySQL，Oracle，Postgres等)中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。即通过Sqoop脚本在各个平台的对应位置处爬取获得对应的黑名信息，计算风险系数的方法可以是将黑名信息转化为多维向量后，导入预训练的风险行为模型获得，然后根据对应的唯一标志性信息、黑名原因、以及对应的获取平台构建对应的黑名单数据库。
在一个实施例中，所述根据所述风险系数判断是否将所述访问者加入所述预设的黑名单数据库内的步骤S5，包括：
S501：判断所述风险系数是否大于预设的系数值；
S502：若所述风险系数大于所述预设的系数值，则根据公式t＝f(xi)+b计算所述风险系数对应的黑名单时间；其中，所述t表示黑名单时间，f(xi)表示风险系数与对应时间的函数关系，b表示黑名单时间的最小值，xi表示第i个访问者的风险系数，所述黑名单时间为对应的所述访问者在所述黑名单数据库内的时长；
S503：根据所述黑名单时间为所述对应的访问者设置对应的时间标签。
如上述步骤S501-S503所述，实现了根据风险系数为每个黑名单对应的访问者设定一个黑名单时间，即根据公式t＝f(xi)+b进行计算，其中，f(xi)函数中xi的取值范围应当设定为大于一定值，即风险系数值没有超过预设的系数值，则不属于黑名单数据，即不应设置黑名单时间，另外，f(xi)函数可以是一次函数，也可以是二次函数，也可以是复合函数，本申请对此不做限定，应当进行说明的是，该f(xi)函数应当是随着xi的数值增加而增加的增函数，即随着风险系数的增大，其对应的黑名单时间的时长也越长。
参照图2，本发明提出一种黑名单的数据更新装置，包括：
唯一标识性信息获取模块10，用于获取访问者的唯一标识性信息，所述唯一标识性信息至少包括身份信息、IP地址、电话中的一种或多种；
访问者判断模块20，用于根据所述唯一标识性信息判断所述访问者是否在预设的黑名单数据库内；
行为信息检测模块30，用于若不在预设的黑名单数据库内，则检测所述访问者的行为信息；
风险系数计算模块40，用于将所述访问者的行为信息输入至预训练的风险行为模型中，得到所述访问者的行为信息对应的风险系数；
黑名单数据库添加模块50，用于根据所述风险系数判断是否将所述访问者加入所述预设的黑名单数据库内。
在一个实施例中，黑名单的数据更新装置，还包括：
黑名人员信息获取模块，用于获取所述黑名单数据库中各黑名人员的行为信息以及对应的风险系数；
多维向量转化模块，用于按照预设的维度将所述行为信息转化为多维向量；其中，所述多维向量为Xj＝(x1j，x2j…xij…xnj)，Xj表示第j个黑名人员的多维向量，xij表示第j个黑名人员的第i维向量；
风险行为初始模型训练模块，用于将各所述多维向量以及对应的所述风险系数输入至风险行为初始模型中进行训练，得到所述预训练的风险行为模型；其中所述初始模型为hw(x)＝w0+w1x1+w2x2+wixi…+wnxn，其中，hw(x)为所述风险系数，w0，w1，…，wn均为待训练的参数值，xi表示所述多维向量中的第i维向量。
在一个实施例中，风险行为初始模型训练模块，包括：
风险系数获取子模块，用于获取各黑名人员的实际风险系数和所述预训练的风险行为模型的预测风险系数；
损失值计算子模块，用于根据损失函数公式计算所述预训练的风险行为模型的损失值；其中所述损失函数公式为：
Figure BDA0002770609940000121
yj表示第j个黑名人员的实际风险系数，hw(xij)表示第j个黑名人员根据其所述行为信息得到的预测风险系数，n表示所述多维向量的维度，
Figure BDA0002770609940000122
表示预设的参数值，
Figure BDA0002770609940000123
表示所述预训练的风险行为模型的损失值；
损失值判断子模块，用于判断所述损失值是否超过了预设损失值；
风险行为模型训练子模块，用于若超过了所述预设损失值，则继续训练所述预训练的风险行为模型。
在一个实施例中，黑名单的数据更新装置，还包括：
失效时间检测模块，用于检测所述黑名单数据库中各所述黑名单数据的时间标签是否达到了黑名单失效时间；
移出模块，用于若达到了所述黑名单失效时间，则将对应的黑名单数据移出所述黑名单数据库。
在一个实施例中，黑名单的数据更新装置，还包括：
黑名信息获取模块，用于通过sqoop脚本获取各平台数据的黑名单中历史访问者的黑名信息，其中，所述黑名信息包括对应访问者的所述唯一标志性信息、黑名原因、以及对应的获取平台；
对应关系建立模块，用于根据所述黑名信息计算对应所述历史访问者的风险系数，并建立访问者与风险系数的对应关系；
数据库构建模块，用于根据各所述历史访问者以及相应的对应关系构建所述黑名单数据库。
在一个实施例中，黑名单数据库添加模块50，包括：
风险系数判断子模块，用于判断所述风险系数是否大于预设的系数值；
黑名单时间计算子模块，用于若所述风险系数大于所述预设的系数值，则根据公式t＝f(xi)+b计算所述风险系数对应的黑名单时间；其中，所述t表示黑名单时间，f(xi)表示风险系数与对应时间的函数关系，b表示黑名单时间的最小值，xi表示第i个访问者的风险系数，所述黑名单时间为对应的所述访问者在所述黑名单数据库内的时长；
时间标签设置子模块，用于根据所述黑名单时间为所述对应的访问者设置对应的时间标签。
本发明的有益效果：通过预设的黑名单数据库对访问者进行检测，然后监督访问者的行为信息，并通过预训练的风险行为模型进行计算，当计算结果为该访问者满足黑名单条件时，将该访问者加入对应黑名单数据库中，从而实现对黑名单数据库的自助更新，无需购买第三方接口的昂贵数据，减小了经济支出。
参照图3，本申请实施例中还提供一种计算机设备，该计算机设备可以是服务器，其内部结构可以如图3所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储各种黑名单数据等。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时可以实现上述任一实施例所述的黑名单的数据更新方法。
本领域技术人员可以理解，图3中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定。
本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时可以实现上述任一实施例所述的黑名单的数据更新方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储与一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM一多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双速据率SDRAM(SSRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。

Claims (10)

1.一种黑名单的数据更新方法，其特征在于，包括：
获取访问者的唯一标识性信息，所述唯一标识性信息至少包括身份信息、IP地址、电话中的一种或多种；
根据所述唯一标识性信息判断所述访问者是否在预设的黑名单数据库内；
若不在预设的黑名单数据库内，则检测所述访问者的行为信息；
将所述访问者的行为信息输入至预训练的风险行为模型中，得到所述访问者的行为信息对应的风险系数；
根据所述风险系数判断是否将所述访问者加入所述预设的黑名单数据库内。
2.如权利要求1所述的黑名单的数据更新方法，其特征在于，所述将所述访问者的行为信息输入至预训练的风险行为模型中，得到所述访问者的行为信息对应的风险系数的步骤之前，还包括：
获取所述黑名单数据库中各黑名人员的行为信息以及对应的风险系数；
按照预设的维度将所述行为信息转化为多维向量；其中，所述多维向量为Xj＝(x1j，x2j…xij…xnj)，Xj表示第j个黑名人员的多维向量，xij表示第j个黑名人员的第i维向量；
将各所述多维向量以及对应的所述风险系数输入至风险行为初始模型中进行训练，得到所述预训练的风险行为模型；其中所述初始模型为hw(x)＝w0+w1x1+w2x2+wixi…+wnxn，其中，hw(x)为所述风险系数，w0，w1，…，wn均为待训练的参数值，xi表示所述多维向量中的第i维向量。
3.如权利要求2所述的黑名单的数据更新方法，其特征在于，所述将各所述多维向量以及对应的所述黑名单时间输入至风险行为初始模型中进行训练，得到所述预训练的风险行为模型的步骤，包括：
获取各黑名人员的实际风险系数和所述预训练的风险行为模型的预测风险系数；
根据损失函数公式计算所述预训练的风险行为模型的损失值；其中所述损失函数公式为：
Figure FDA0002770609930000021
yj表示第j个黑名人员的实际风险系数，hw(xij)表示第j个黑名人员根据其所述行为信息得到的预测风险系数，n表示所述多维向量的维度，
Figure FDA0002770609930000022
表示预设的参数值，
Figure FDA0002770609930000023
表示所述预训练的风险行为模型的损失值；
判断所述损失值是否超过了预设损失值；
若超过了所述预设损失值，则继续训练所述预训练的风险行为模型。
4.如权利要求1所述的黑名单的数据更新方法，其特征在于，所述根据所述风险系数判断是否将所述访问者加入所述预设的黑名单数据库内的步骤之后，还包括：
检测所述黑名单数据库中各所述黑名单数据的时间标签是否达到了黑名单失效时间；
若达到了所述黑名单失效时间，则将对应的黑名单数据移出所述黑名单数据库。
5.如权利要求1所述的黑名单的数据更新方法，其特征在于，根据所述唯一标识性信息判断所述访问者是否在预设的黑名单数据库内的步骤之前，还包括：
通过sqoop脚本获取各平台数据的黑名单中历史访问者的黑名信息，其中，所述黑名信息包括对应访问者的所述唯一标志性信息、黑名原因、以及对应的获取平台；
根据所述黑名信息计算对应所述历史访问者的风险系数，并建立访问者与风险系数的对应关系；
根据各所述历史访问者以及相应的对应关系构建所述黑名单数据库。
6.如权利要求1所述的黑名单的数据更新方法，其特征在于，所述根据所述风险系数判断是否将所述访问者加入所述预设的黑名单数据库内的步骤，包括：
判断所述风险系数是否大于预设的系数值；
若所述风险系数大于所述预设的系数值，则根据公式t＝f(xi)+b计算所述风险系数对应的黑名单时间；其中，所述t表示黑名单时间，f(xi)表示风险系数与对应时间的函数关系，b表示黑名单时间的最小值，xi表示第i个访问者的风险系数，所述黑名单时间为对应的所述访问者在所述黑名单数据库内的时长；
根据所述黑名单时间为所述对应的访问者设置对应的时间标签。
7.一种黑名单的数据更新装置，其特征在于，包括：
唯一标识性信息获取模块，用于获取访问者的唯一标识性信息，所述唯一标识性信息至少包括身份信息、IP地址、电话中的一种或多种；
访问者判断模块，用于根据所述唯一标识性信息判断所述访问者是否在预设的黑名单数据库内；
行为信息检测模块，用于若不在预设的黑名单数据库内，则检测所述访问者的行为信息；
风险系数计算模块，用于将所述访问者的行为信息输入至预训练的风险行为模型中，得到所述访问者的行为信息对应的风险系数；
黑名单数据库添加模块，用于根据所述风险系数判断是否将所述访问者加入所述预设的黑名单数据库内。
8.如权利要求7所述的黑名单的数据更新装置，其特征在于，所述黑名单的数据更新装置，还包括：
黑名人员信息获取模块，用于获取所述黑名单数据库中各黑名人员的行为信息以及对应的风险系数；
多维向量转化模块，用于按照预设的维度将所述行为信息转化为多维向量；其中，所述多维向量为Xj＝(x1j，x2j…xij…xnj)，Xj表示第j个黑名人员的多维向量，xij表示第j个黑名人员的第i维向量；
风险行为初始模型训练模块，用于将各所述多维向量以及对应的所述风险系数输入至风险行为初始模型中进行训练，得到所述预训练的风险行为模型；其中所述初始模型为hw(x)＝w0+w1x1+w2x2+wixi…+wnxn，其中，hw(x)为所述风险系数，w0，w1，…，wn均为待训练的参数值，xi表示所述多维向量中的第i维向量。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
CN202011247743.0A 2020-11-10 2020-11-10 黑名单的数据更新方法、装置以及计算机设备 Pending CN112162993A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011247743.0A CN112162993A (zh) 2020-11-10 2020-11-10 黑名单的数据更新方法、装置以及计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011247743.0A CN112162993A (zh) 2020-11-10 2020-11-10 黑名单的数据更新方法、装置以及计算机设备

Publications (1)

Publication Number Publication Date
CN112162993A true CN112162993A (zh) 2021-01-01

Family

ID=73865723

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011247743.0A Pending CN112162993A (zh) 2020-11-10 2020-11-10 黑名单的数据更新方法、装置以及计算机设备

Country Status (1)

Country Link
CN (1) CN112162993A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113364764A (zh) * 2021-06-02 2021-09-07 中国移动通信集团广东有限公司 基于大数据的信息安全防护方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120089744A1 (en) * 2010-10-12 2012-04-12 Microsoft Corporation Range Weighted Internet Protocol Address Blacklist
CN107888571A (zh) * 2017-10-26 2018-04-06 江苏省互联网行业管理服务中心 一种基于HTTP日志的多维度webshell入侵检测方法及检测系统
CN108052824A (zh) * 2017-12-25 2018-05-18 北京奇艺世纪科技有限公司 一种风险防控方法、装置及电子设备
CN109861985A (zh) * 2019-01-02 2019-06-07 平安科技（深圳）有限公司 基于风险等级划分的ip风控方法、装置、设备和存储介质
CN110109905A (zh) * 2019-04-26 2019-08-09 深圳前海微众银行股份有限公司 风险名单数据生成方法、装置、设备及计算机存储介质
CN110460587A (zh) * 2019-07-23 2019-11-15 平安科技（深圳）有限公司 一种异常账号检测方法、装置及计算机存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120089744A1 (en) * 2010-10-12 2012-04-12 Microsoft Corporation Range Weighted Internet Protocol Address Blacklist
CN107888571A (zh) * 2017-10-26 2018-04-06 江苏省互联网行业管理服务中心 一种基于HTTP日志的多维度webshell入侵检测方法及检测系统
CN108052824A (zh) * 2017-12-25 2018-05-18 北京奇艺世纪科技有限公司 一种风险防控方法、装置及电子设备
CN109861985A (zh) * 2019-01-02 2019-06-07 平安科技（深圳）有限公司 基于风险等级划分的ip风控方法、装置、设备和存储介质
CN110109905A (zh) * 2019-04-26 2019-08-09 深圳前海微众银行股份有限公司 风险名单数据生成方法、装置、设备及计算机存储介质
CN110460587A (zh) * 2019-07-23 2019-11-15 平安科技（深圳）有限公司 一种异常账号检测方法、装置及计算机存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113364764A (zh) * 2021-06-02 2021-09-07 中国移动通信集团广东有限公司 基于大数据的信息安全防护方法及装置

Similar Documents

Publication Publication Date Title
CN112699946B (zh) 一种针对传感监测数据的异常检测方法、装置及相关设备
CN110138669B (zh) 接口访问处理方法、装置、计算机设备及存储介质
JP2017215898A (ja) 機械学習システム
KR20180076753A (ko) 이상패턴 감지 시스템 및 방법
CN110824587A (zh) 图像预测方法、装置、计算机设备和存储介质
CN112949462A (zh) 三维人体姿态的估计方法、装置、设备及存储介质
CN111177485A (zh) 基于参数规则匹配设备故障的预测方法、设备及介质
CN112162993A (zh) 黑名单的数据更新方法、装置以及计算机设备
CN112884199A (zh) 水电站设备故障预测方法、装置、计算机设备和存储介质
JP2023012311A (ja) 情報処理装置、情報処理方法及びプログラム
CN115186062A (zh) 多模态预测方法、装置、设备及存储介质
CN113758652B (zh) 换流变压器漏油检测方法、装置、计算机设备和存储介质
CN114157551B (zh) 适用于微服务的熔断识别方法、装置、设备及存储介质
CN111178714A (zh) 亲密度确定方法、装置、计算机设备和存储介质
CN110969261A (zh) 基于加密算法的模型构建方法及相关设备
CN113642984A (zh) 基于人工智能的员工考勤方法、装置、设备及存储介质
CN113506293A (zh) 一种图像处理方法、装置、设备及存储介质
CN110503296B (zh) 测试方法、装置、计算机设备和存储介质
CN115766383B (zh) 一种基于算法融合技术的设备状态评估预警方法和系统
KR20210046423A (ko) 머신러닝 기반 보안관제 장치 및 방법
CN112365149A (zh) 绩效评估的方法、装置、设备及存储介质
CN114004377A (zh) 基于维保数据的电梯督促维修方法、装置、设备及介质
CN112989788A (zh) 关系三元组的提取方法、装置、设备及介质
CN113239171A (zh) 对话管理系统更新方法、装置、计算机设备及存储介质
CN110781366A (zh) 网页数据处理方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination