CN109525548B - 一种基于代价函数的白名单更新方法、装置及电子设备 - Google Patents
一种基于代价函数的白名单更新方法、装置及电子设备 Download PDFInfo
- Publication number
- CN109525548B CN109525548B CN201811116210.1A CN201811116210A CN109525548B CN 109525548 B CN109525548 B CN 109525548B CN 201811116210 A CN201811116210 A CN 201811116210A CN 109525548 B CN109525548 B CN 109525548B
- Authority
- CN
- China
- Prior art keywords
- weight
- processed
- cost
- flow data
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1425—Traffic logging, e.g. anomaly detection
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Traffic Control Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及大数据技术领域,揭示了一种基于代价函数的白名单更新方法、装置及电子设备。所述方法包括:获取待处理流量数据对应的若干特征值;对获取到的特征值执行归一化操作,获得归一化特征值;利用包含代价参数的迭代算法遍历所有归一化特征值,获得待处理流量数据对应的权重值;当所获的权重值大于预设权重阈值且待处理流量数据为白名单上的某一个流量数据时,将待处理流量数据从白名单中删除。此方法下,利用包含代价参数的迭代算法对待处理流量数据的若干特征值进行处理,可以获得较准确的用于指示待处理流量数据的异常程度的权重值,从而实现对白名单的进一步准确更新。
Description
技术领域
本发明涉及大数据技术领域,特别涉及一种基于代价函数的白名单更新方法、装置及电子设备。
背景技术
目前互联网领域中存在较多异常流量的行为,例如,当某一应用发放优惠券且限制一个账号仅限领一个优惠券时,用户通过机器刷机注册多个新账号,并通过所注册的多个新账号在该某一应用中产生异常流量,再例如,基于互联网的黑产业链(涉及木马制作、木马播种、流量交易以及虚拟财产套现等诸多环节)中也存在大量异常流量。
为了降低互联网领域中异常流量的行为、营造安全的互联网环境,通常会依据用户是否发出的异常流量将用户分为白名单用户、黑名单用户以及不确定用户。但是,在实践中发现,一些从事黑产业的用户伪装成白名单用户的情况时有发生,所以如何对白名单用户进行进一步的甄别以获得更纯洁的白名单用户就显得尤为重要。
发明内容
为了将伪装成白名单用户的黑名单用户从白名单用户中甄别出来以获得更加纯洁的白名单用户,本发明提供了一种基于代价函数的白名单更新方法、装置及电子设备。
一种基于代价函数的白名单更新方法,其特征在于,所述方法包括:
获取待处理流量数据对应的若干特征值;
对所述特征值执行归一化操作,获得归一化特征值;
利用包含代价参数的迭代算法遍历所有所述归一化特征值,获得所述待处理流量数据对应的权重值;其中,所述权重值用于指示所述待处理流量数据的异常程度;
当所述权重值大于预设权重阈值且所述待处理流量数据为白名单上的某一个流量数据时,将所述待处理流量数据从所述白名单中删除。
一种基于代价函数的白名单更新装置,其特征在于,所述装置包括:
获取单元,用于获取待处理流量数据对应的若干特征值;
处理单元,用于对所述特征值执行归一化操作,获得归一化特征值,以及利用包含代价参数的迭代算法遍历所有所述归一化特征值,获得所述待处理流量数据对应的权重值;其中,所述权重值用于指示所述待处理流量数据的异常程度;
更新单元,用于当所述权重值大于预设权重阈值且所述待处理流量数据为白名单上的某一个流量数据时,将所述待处理流量数据从所述白名单中删除。
一种计算机可读存储介质,其特征在于,其存储计算机程序,所述计算机程序使得计算机执行权利要求1~7任一项所述的基于代价函数的白名单更新方法。
一种电子设备,其特征在于,所述电子设备包括:
处理器;
存储器,所述存储器上存储有计算机可读指令,所述计算机可读指令被所述处理器执行时,实现如权利要求1至7任一项所述的基于代价函数的白名单更新方法。
本发明的实施例提供的技术方案可以包括以下有益效果:
本发明所提供的基于代价函数的白名单更新方法包括如下步骤,获取待处理流量数据对应的若干特征值;对获取到的特征值执行归一化操作,获得归一化特征值;利用包含代价参数的迭代算法遍历所有归一化特征值,获得待处理流量数据对应的权重值;当所获的权重值大于预设权重阈值且待处理流量数据为白名单上的某一个流量数据时,将待处理流量数据从白名单中删除。
基于大数据分析处理技术,利用包含代价参数的迭代算法对待处理流量数据的若干特征值进行处理,可以获得较准确的用于指示待处理流量数据的异常程度的权重值,基于权重值可以将异常程度大的流量数据从白名单中删除,以实现对白名单的进一步准确更新。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性的,并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并于说明书一起用于解释本发明的原理。
图1是根据一示例性实施例示出的一种基于代价函数的白名单更新装置的示意图;
图2是根据一示例性实施例示出的一种基于代价函数的白名单更新方法的流程图;
图3是根据图2对应实施例示出的步骤230的细节的流程图;
图4是根据一示例性实施例示出的一种基于代价函数的白名单更新装置的框图。
具体实施方式
这里将详细地对示例性实施例执行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
本发明的实施环境可以是便携移动设备,例如智能手机、平板电脑、台式电脑。本发明实施例所公开的基于代价函数的白名单更新方法可以适用于运行于便携移动设备上的任意应用程序。
图1是根据一示例性实施例示出的一种基于代价函数的白名单更新装置的示意图。该装置100可以是上述便携移动设备。如图1所示,装置100可以包括以下一个或多个组件:处理组件102,存储器104,电源组件106,多媒体组件108,音频组件110,传感器组件114以及通信组件116。
处理组件102通常控制装置100的整体操作,诸如与显示,电话呼叫,数据通信,相机操作以及记录操作相关联的操作等。处理组件102可以包括一个或多个处理器118来执行指令,以完成下述的方法的全部或部分步骤。此外,处理组件102可以包括一个或多个模块,用于便于处理组件102和其他组件之间的交互。例如,处理组件102可以包括多媒体模块,用于以方便多媒体组件108和处理组件102之间的交互。
存储器104被配置为存储各种类型的数据以支持在装置100的操作。这些数据的示例包括用于在装置100上操作的任何应用程序或方法的指令。存储器104可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(Static RandomAccess Memory,简称SRAM),电可擦除可编程只读存储器(Electrically ErasableProgrammable Read-Only Memory,简称EEPROM),可擦除可编程只读存储器(ErasableProgrammable Read Only Memory,简称EPROM),可编程只读存储器(Programmable Red-Only Memory,简称PROM),只读存储器(Read-Only Memory,简称ROM),磁存储器,快闪存储器,磁盘或光盘。存储器104中还存储有一个或多个模块,用于该一个或多个模块被配置成由该一个或多个处理器118执行,以完成如下所示方法中的全部或者部分步骤。
电源组件106为装置100的各种组件提供电力。电源组件106可以包括电源管理系统,一个或多个电源,及其他与为装置100生成、管理和分配电力相关联的组件。
多媒体组件108包括在所述装置100和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(Liquid Crystal Display,简称LCD)和触摸面板。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。屏幕还可以包括有机电致发光显示器(Organic Light Emitting Display,简称OLED)。
音频组件110被配置为输出和/或输入音频信号。例如,音频组件110包括一个麦克风(Microphone,简称MIC),当装置100处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器104或经由通信组件116发送。在一些实施例中,音频组件110还包括一个扬声器,用于输出音频信号。
传感器组件114包括一个或多个传感器,用于为装置100提供各个方面的状态评估。例如,传感器组件114可以检测到装置100的打开/关闭状态,组件的相对定位,传感器组件114还可以检测装置100或装置100一个组件的位置改变以及装置100的温度变化。在一些实施例中,该传感器组件114还可以包括磁传感器,压力传感器或温度传感器。
通信组件116被配置为便于装置100和其他设备之间有线或无线方式的通信。装置100可以接入基于通信标准的无线网络,如WiFi(Wireless-Fidelity,无线保真)。在一个示例性实施例中,通信组件116经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件116还包括近场通信(Near FieldCommunication,简称NFC)模块,用于以促进短程通信。例如,在NFC模块可基于射频识别(Radio Frequency Identification,简称RFID)技术,红外数据协会(Infrared DataAssociation,简称IrDA)技术,超宽带(Ultra Wideband,简称UWB)技术,蓝牙技术和其他技术来实现。
在示例性实施例中,装置100可以被一个或多个应用专用集成电路(ApplicationSpecific Integrated Circuit,简称ASIC)、数字信号处理器、数字信号处理设备、可编程逻辑器件、现场可编程门阵列、控制器、微控制器、微处理器或其他电子元件实现,用于执行下述方法。
图2是根据一示例性实施例示出的一种基于代价函数的白名单更新方法的流程图。如图2所示,此方法包括以下步骤。
步骤210,获取待处理流量数据对应的若干特征值。
在本发明实施例中,待处理流量数据的特征至少包含路径重复度排名、用户风控参数异常率、后端埋点比重、风控ip发散率、风控ip访问账号数、风控ip访问次数、风控ip_wifi名个数、风控ip累积风险得分、风控ip周期内用户数均值、风控ip周期内用户方差、风控ip周期内访问次数均值、风控ip周期内访问次数方差、周期内手机号段用户登录均值,以及周期内手机号段用户登录方差等。其中,上述每一特征对应有特征值,特征值和特征为一一对应关系。
步骤220,对上述特征值执行归一化操作,获得归一化特征值。
优选的,对上述特征值执行归一化操作,获得归一化特征值的方式具体可以是,从上述若干特征值中确定出待处理流量数据的最小特征值和中位特征值;
根据最小特征值和中位特征值,对上述特征值执行归一化操作,获得归一化特征值。
在一示例性实施例中,上述中位特征值可以是指上述若干特征值中大于99%的特征值的某一特征值,若用x、xmin、xmax以及分别表示待处理流量数据的特征值、最小特征值,中位特征值和归一化特征值,那么,的计算公式可以包括:
其中,执行归一化操作的特征值可以是指上述若干特征值中的部分特征值也可以是指上述若干特征值中的全部特征值,本发明实施例不做限定。利用中位特征值对特征值进行归一化操作可以避免偶然出现的较大特征值的影响。
步骤230,利用包含代价参数的迭代算法遍历上述归一化特征值,获得待处理流量数据对应的权重值。
上述权重值用于指示待处理流量数据的异常程度,待处理流量数据的异常程度越高,其所对应的权重值越大。
步骤240,当上述权重值大于预设权重阈值且待处理流量数据为白名单上的某一个流量数据时,将上述待处理流量数据从白名单中删除。
在另一示例性实施例中,步骤240中提及的预设权重阈值的确定方式具体可以为,以所有待处理流量数据为纵轴,以所有待处理流量数据对应的权重值为横轴,获得流量数据分布图;确定流量数据分布图中每个原始流量数据点的代价值;其中,每个原始流量数据点的代价值用于表示流量数据分布图中每个原始流量数据点与拟合后的流量数据分布图中每个流量数据点的相似程度;将所有原始流量数据的代价值中最小的代价值对应的原始流量数据点确定为目标拐点,并将所述目标拐点的纵坐标确定为预设权重阈值。
由于每个原始流量数据点的代价值的计算方式相同,在另一示例性实施例中仅对某一个原始流量数据点的代价值的计算方式进行介绍,如下:将流量数据分布图中的某一原始流量数据点作为拐点;分别拟合该拐点左侧和右侧的所有点,获得拟合之后除拐点之外的所有点的纵坐标,根据除拐点之外的所有点拟合之前和拟合之后的纵坐标,计算平方差即为该某一个原始流量数据点的代价值。
在另一示例性实施例中,步骤240之后,图2所示方法还可以包括:
当上述权重值小于或者等于预设权重阈值且上述待处理流量数据为黑名单中的某一个流量数据时,将待处理流量数据从黑名单中删除,并在白名单中添加待处理流量数据。通过实施该示例性实施例将错分到黑名单中的待处理流量数据添加到白名单中,可以使得白名单的更新更加全面。
图3是根据图2对应实施例示出的步骤230的细节的流程图。如图3所示,步骤230包括:
步骤231,根据上述归一化特征值、若干阈值以及初始权重,进行权重误差计算,获得权重误差集合;该权重误差集合包括若干权重误差,每一个权重误差对应一个所述阈值。
其中,上述若干阈值是按照等步长法,从与上述归一化特征值的范围相匹配的预设范围内选取的。在一示例性实施例中,若上述归一化特征值的范围为[0,1],那么上述若干阈值的预设范围也为[0,1]。步长若为0.1,第一个阈值设置为0.1,那么第二个阈值就为0.2,第三个阈值就为0.3等等,直至以该规则得到预设数量的阈值。
在另一示例性实施例中,若用error表示权重误差,error(Xi)表示待处理流量数据xi的错误判定误差,ωi表示待处理流量数据xi的初始权重,那么,权重误差error的计算公式可以表示为:其中,n为待处理流量数据的个数,ωi的初始值可以设置为1/n,首先,从待处理流量数据xi的若干特征值中选取一个特征值,通过比较上述阈值与该特征值的大小关系确定error(Xi)为0还是为1,具体的确定方法如下:当该特征值小于或者等于上述阈值时,基于该特征值指示待处理流量数据xi为白名单中的流量数据,若实际待处理流量数据xi来源于白名单,那么,error(Xi)为0,若实际待处理流量数据xi来源于黑名单,那么,error(Xi)为1;当该特征值大于上述阈值时,基于该特征值指示待处理流量数据xi为黑名单中的流量数据,若实际待处理流量数据xi来源于黑名单,那么,error(Xi)为0,若实际待处理流量数据xi来源于白名单,那么,error(Xi)为1,鉴于上述描述确定error(Xi)之后,可以得到该特征值对应的权重误差,组合该特征值的所有权重误差形成该特征值对应的权重误差集合。可以根据上述方法遍历待处理流量数据的上述若干特征值中的全部或部分特征值得到多组权重误差集合,优选的,该多组权重误差集合通过遍历待处理流量数据的上述若干特征值中的全部特征值得到。
步骤232,从所有的上述权重误差集合中确定出最小权重误差。
步骤232所提及到的所有的上述权重误差集合可以为上述多组权重误差集合,即从上述多组权重误差集合中确定出最小权重误差。
步骤233,将最小权重误差对应的归一化特征值和阈值分别确定为理性特征值和理性阈值。
步骤234,比较上述理性特征值和上述理性阈值,获得待处理流量数据的来源指向。
当理性特征值小于或者等于理性阈值时,基于该理性特征值指示待处理流量数据的来源指向为白名单,当理性特征值大于理性阈值时,基于该理性特征值指示待处理流量数据的来源指向为黑名单。
步骤235,根据上述来源指向,判断是否需要对上述初始权重进行代价补充,如果是,执行步骤236;如果否,执行步骤237。
在另一示例性实施例中,根据所述来源指向,判断是否需要对上述初始权重进行代价补充,包括:判断上述来源指向是否与待处理流量数据的实际指向相匹配;当上述来源指向与实际指向相匹配时,确定不需要对上述初始权重进行代价补充;当上述来源指向与实际指向不相匹配时,判断实际指向是否为黑名单,以及当实际指向黑名单时,确定需要对所述初始权重进行代价补充,以及当实际指向不为黑名单时,确定不需要对上述初始权重进行代价补充。
步骤236,利用代价参数对上述初始权重进行代价补充。
在另一示例性实施例中,若用λ表示代价参数,那么对初始权重ωi进行代价补充的公式可以表示为:ωi=ωi×(1+λ)。本发明实施例中对初始权重ωi进行代价补充可以突出异常流量数据,使得异常流量数据的识别可以更加准确。
步骤237,按照预设规则更新上述初始权重。
按照预设规则更新上述初始权重,包括:计算本次迭代的误判定率;当上述来源指向与实际指向相匹配时,根据第一预设规则、误判定率、本次迭代的初始权重以及本次迭代之前的每次迭代的初始权重,计算用于更新上述初始权重的更新权重。
当上述来源指向与实际指向不相匹配时,根据第二预设规则、误判定率、本次迭代的初始权重以及本次迭代之前的每次迭代的初始权重,计算用于更新上述初始权重的更新权重;利用更新权重更新上述初始权重。
在另一示例性实施例中,第一预设规则和第二预设规则可以以公式方式表示,其中,第一预设规则和第二预设规则可以分别表示为:
上述公式中用ωi (t+1)表示本次迭代更新之后的初始权重,sum(ωi (t))为本次迭代之前每次迭代更新之后的初始权重之和,α为依据本次迭代的误判定率计算出的中间数,其中,若用ε表示本次迭代的误判定率,中间数α的计算公式可以表示为:
可见,按照第一预设规则更新初始权重使得初始权重越来越小,按照第二预设规则更新初始权重反而使得初始权重越来越大。需要说明的是,α≤0(即ε≥0.5)时,说明误判定率过高,丢弃,这样可以保证α>0(即ε<0.5),由于指数函数的特点是一开始的几次迭代中按照指数函数上升或下降得慢,后来的迭代中上升或下降得快,因此,这使得只有很多次迭代中都上升或下降的流量数据权重才能达到一个很高的权重值,减少了由于初始选取特征和阈值不理想等原因造成的阈值上升或下降带来的影响,可见,该公式有利于判定结果的正确率。
步骤238,判断迭代次数是否到达预设迭代次数,如果否,执行继续执行步骤231~步骤238;如果是,执行步骤239。
步骤239,将代价补充/更新之后的上述初始权重确定为待处理流量数据对应的权重值。
在另一示例性实施例中,步骤236中提及的代价参数λ的确定方式具体可以是,预先用若干白用户流量数据样本和黑用户流量数据样本组成的样本集合训练多个分类器;预先设定λ值的取值集合,例如0.1,0.2,0.3,0.4……1;选取取值集合中一个λ值,让多个分类器分别根据该λ值按照步骤231~步骤238的描述确定每个分类器中每个流量数据的权重,比较权重与预设权重阈值,将超过预设权重阈值的流量数据作为黑名单流量数据从每个分类器的流量数据中删除,剩下的为每个分类器净化后的白名单流量数据;由于每个分类器中的流量数据的实际指向(白用户流量数据样本或者黑用户流量数据样本)是已知的,基于这个基础可以获得每个分类器的准确率和召回率,其中,召回率为识别结果正确的个数除以流量数据的总数,召回率为黑名单流量数据中识别错误的数目除以黑名单流量数据的总数;将各分类器得到准确率和召回率分别取平均,得到了该λ值下的平均准确率和平均召回率;依据指定规则、每个λ值下的平均准确率和平均召回率,计算取值集合中每一λ值的优先级系数;将优先级系数最大的λ值确定为代价参数。
优选的,可以按照平均准确率和平均召回率的加权平均值计算每一λ值对应的优先级系数,其中,平均召回率的权重可以大于平均准确率的权重,这样可以降低将黑名单流量数据识别错误的概率。进一步可选的,还可以预设第一预设区间和第二预设区间,当平均召回率落入第一预设区间时,且平均准确率落入第二预设区间时,才进行加权平均,如果不满足则直接淘汰。
图4是根据一示例性实施例示出的一种基于代价函数的白名单更新装置的框图。如图4所示,该基于代价函数的白名单更新装置包括:
获取单元410,用于获取待处理流量数据对应的若干特征值。
处理单元420,用于对上述特征值执行归一化操作,获得归一化特征值,以及利用包含代价参数的迭代算法遍历所有归一化特征值,获得待处理流量数据对应的权重值;其中,该权重值用于指示待处理流量数据的异常程度。
更新单元430,用于当上述权重值大于预设权重阈值且待处理流量数据为白名单上的某一个流量数据时,将待处理流量数据从白名单中删除。
本发明还提供一种电子设备,该电子设备包括:
处理器;
存储器,该存储器上存储有计算机可读指令,该计算机可读指令被处理器执行时,实现如前所示的基于代价函数的白名单更新方法。
该电子设备可以是图1所示的基于代价函数的白名单更新装置100。
在一示例性实施例中,本发明还提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时,实现如前所示的基于代价函数的白名单更新方法。
应当理解的是,本发明并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围执行各种修改和改变。本发明的范围仅由所附的权利要求来限制。
Claims (9)
1.一种基于代价函数的白名单更新方法,其特征在于,所述方法包括:
获取待处理流量数据对应的若干特征值;
对所述特征值执行归一化操作,获得归一化特征值;
利用包含代价参数的迭代算法遍历所有所述归一化特征值,获得所述待处理流量数据对应的权重值;其中,所述权重值用于指示所述待处理流量数据的异常程度,所述利用包含代价参数的迭代算法遍历所有所述归一化特征值,获得所述待处理流量数据对应的权重值,包括:根据所述归一化特征值、若干阈值以及初始权重,进行权重误差计算,获得权重误差集合;所述权重误差集合包括若干权重误差,每一个所述权重误差对应一个所述阈值;从所有的所述权重误差集合中确定出最小权重误差;将所述最小权重误差对应的归一化特征值和阈值分别确定为理性特征值和理性阈值;比较所述理性特征值和所述理性阈值,获得所述待处理流量数据的来源指向;根据所述来源指向,判断是否需要对所述初始权重进行代价补充;当需要对所述初始权重进行代价补充时,利用所述代价参数对所述初始权重进行代价补充;当不需要对所述初始权重进行代价补充时,按照预设规则更新所述初始权重;判断迭代次数是否到达预设迭代次数;当未到达所述预设迭代次数时,执行所述的根据所述归一化特征值、若干阈值以及初始权重,进行权重误差计算,获得权重误差集合;当到达所述预设迭代次数时,将代价补充/更新之后的初始权重确定为所述待处理流量数据对应的权重值;
当所述权重值大于预设权重阈值且所述待处理流量数据为白名单上的某一个流量数据时,将所述待处理流量数据从所述白名单中删除。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
当所述权重值小于或者等于所述预设权重阈值且所述待处理流量数据为黑名单中的某一个流量数据时,将所述待处理流量数据从所述黑名单中删除,并在所述白名单中添加所述待处理流量数据。
3.根据权利要求1所述的方法,其特征在于,所述若干阈值是按照等步长法,从与所述归一化特征值的范围相匹配的预设范围内选取的。
4.根据权利要求1所述的方法,其特征在于,所述根据所述来源指向,判断是否需要对所述初始权重进行代价补充,包括:
判断所述来源指向是否与所述待处理流量数据的实际指向相匹配;
当所述来源指向与所述实际指向相匹配时,确定不需要对所述初始权重进行代价补充;
当所述来源指向与所述实际指向不相匹配时,判断所述实际指向是否为黑名单,以及当所述实际指向所述黑名单时,确定需要对所述初始权重进行代价补充,以及当所述实际指向不为所述黑名单时,确定不需要对所述初始权重进行代价补充。
5.根据权利要求4所述的方法,其特征在于,所述按照预设规则更新所述初始权重,包括:
计算本次迭代的误判定率;
当所述来源指向与所述实际指向相匹配时,根据第一预设规则、所述误判定率、本次迭代的初始权重以及本次迭代之前的每次迭代的初始权重,计算用于更新所述初始权重的更新权重;
当所述来源指向与所述实际指向不相匹配时,根据第二预设规则、所述误判定率、本次迭代的初始权重以及本次迭代之前的每次迭代的初始权重,计算用于更新所述初始权重的更新权重;
利用所述更新权重更新所述初始权重。
6.根据权利要求1所述的方法,其特征在于,所述对所述特征值执行归一化操作,获得归一化特征值,包括:
从所述若干特征值中确定出所述待处理流量数据的最小特征值和中位特征值;
根据所述最小特征值和所述中位特征值,对所述特征值执行归一化操作,获得归一化特征值。
7.一种基于代价函数的白名单更新装置,其特征在于,所述装置包括:
获取单元,用于获取待处理流量数据对应的若干特征值;
处理单元,用于对所述特征值执行归一化操作,获得归一化特征值,以及利用包含代价参数的迭代算法遍历所有所述归一化特征值,获得所述待处理流量数据对应的权重值;其中,所述权重值用于指示所述待处理流量数据的异常程度,所述利用包含代价参数的迭代算法遍历所有所述归一化特征值,获得所述待处理流量数据对应的权重值,包括:根据所述归一化特征值、若干阈值以及初始权重,进行权重误差计算,获得权重误差集合;所述权重误差集合包括若干权重误差,每一个所述权重误差对应一个所述阈值;从所有的所述权重误差集合中确定出最小权重误差;将所述最小权重误差对应的归一化特征值和阈值分别确定为理性特征值和理性阈值;比较所述理性特征值和所述理性阈值,获得所述待处理流量数据的来源指向;根据所述来源指向,判断是否需要对所述初始权重进行代价补充;当需要对所述初始权重进行代价补充时,利用所述代价参数对所述初始权重进行代价补充;当不需要对所述初始权重进行代价补充时,按照预设规则更新所述初始权重;判断迭代次数是否到达预设迭代次数;当未到达所述预设迭代次数时,执行所述的根据所述归一化特征值、若干阈值以及初始权重,进行权重误差计算,获得权重误差集合;当到达所述预设迭代次数时,将代价补充/更新之后的初始权重确定为所述待处理流量数据对应的权重值;
更新单元,用于当所述权重值大于预设权重阈值且所述待处理流量数据为白名单上的某一个流量数据时,将所述待处理流量数据从所述白名单中删除。
8.一种计算机可读存储介质,其特征在于,其存储计算机程序,所述计算机程序使得计算机执行权利要求1~6任一项所述的基于代价函数的白名单更新方法。
9.一种电子设备,其特征在于,所述电子设备包括:
处理器;
存储器,所述存储器上存储有计算机可读指令,所述计算机可读指令被所述处理器执行时,实现如权利要求1至6任一项所述的基于代价函数的白名单更新方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811116210.1A CN109525548B (zh) | 2018-09-25 | 2018-09-25 | 一种基于代价函数的白名单更新方法、装置及电子设备 |
PCT/CN2019/072197 WO2020062731A1 (zh) | 2018-09-25 | 2019-01-17 | 一种基于代价函数的白名单更新方法、装置及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811116210.1A CN109525548B (zh) | 2018-09-25 | 2018-09-25 | 一种基于代价函数的白名单更新方法、装置及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109525548A CN109525548A (zh) | 2019-03-26 |
CN109525548B true CN109525548B (zh) | 2021-10-29 |
Family
ID=65769782
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811116210.1A Active CN109525548B (zh) | 2018-09-25 | 2018-09-25 | 一种基于代价函数的白名单更新方法、装置及电子设备 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN109525548B (zh) |
WO (1) | WO2020062731A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113327601B (zh) * | 2021-05-26 | 2024-02-13 | 清华大学 | 有害语音的识别方法、装置、计算机设备和存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106713324A (zh) * | 2016-12-28 | 2017-05-24 | 北京奇艺世纪科技有限公司 | 一种流量检测方法及装置 |
CN107194460A (zh) * | 2017-05-22 | 2017-09-22 | 厦门大学 | 金融时间序列预测的量子粒子群优化递归神经网络方法 |
CN107801090A (zh) * | 2017-11-03 | 2018-03-13 | 北京奇虎科技有限公司 | 利用音频信息检测异常视频文件的方法、装置及计算设备 |
EP3370191A1 (en) * | 2017-03-02 | 2018-09-05 | Sony Corporation | Apparatus and method implementing an artificial neural network training algorithm using weight tying |
CN108566364A (zh) * | 2018-01-15 | 2018-09-21 | 中国人民解放军国防科技大学 | 一种基于神经网络的入侵检测方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104519031B (zh) * | 2013-09-30 | 2018-03-09 | 西门子公司 | 一种用于恶意网络行为检测的方法和装置 |
US9619481B2 (en) * | 2014-06-17 | 2017-04-11 | Adobe Systems Incorporated | Method and apparatus for generating ordered user expert lists for a shared digital document |
CN106777024A (zh) * | 2016-12-08 | 2017-05-31 | 北京小米移动软件有限公司 | 识别恶意用户的方法及装置 |
-
2018
- 2018-09-25 CN CN201811116210.1A patent/CN109525548B/zh active Active
-
2019
- 2019-01-17 WO PCT/CN2019/072197 patent/WO2020062731A1/zh active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106713324A (zh) * | 2016-12-28 | 2017-05-24 | 北京奇艺世纪科技有限公司 | 一种流量检测方法及装置 |
EP3370191A1 (en) * | 2017-03-02 | 2018-09-05 | Sony Corporation | Apparatus and method implementing an artificial neural network training algorithm using weight tying |
CN107194460A (zh) * | 2017-05-22 | 2017-09-22 | 厦门大学 | 金融时间序列预测的量子粒子群优化递归神经网络方法 |
CN107801090A (zh) * | 2017-11-03 | 2018-03-13 | 北京奇虎科技有限公司 | 利用音频信息检测异常视频文件的方法、装置及计算设备 |
CN108566364A (zh) * | 2018-01-15 | 2018-09-21 | 中国人民解放军国防科技大学 | 一种基于神经网络的入侵检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN109525548A (zh) | 2019-03-26 |
WO2020062731A1 (zh) | 2020-04-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107102746B (zh) | 候选词生成方法、装置以及用于候选词生成的装置 | |
US11367075B2 (en) | Method, apparatus and electronic device for identifying risks pertaining to transactions to be processed | |
CN109257354B (zh) | 基于模型树算法的异常流量分析方法及装置、电子设备 | |
EP2960823B1 (en) | Method, device and system for managing authority | |
CN103092604B (zh) | 一种应用程序分类方法和装置 | |
CN110134593B (zh) | 软件测试方法、装置、电子设备及存储介质 | |
CN111428032B (zh) | 内容质量评价方法及装置、电子设备、存储介质 | |
CN110460583B (zh) | 一种敏感信息记录方法及装置、电子设备 | |
CN110162442B (zh) | 一种系统性能瓶颈定位方法及系统 | |
CN110717509B (zh) | 基于树分裂算法的数据样本分析方法及装置 | |
KR20160090743A (ko) | 음성 신호를 기초로 한 텍스트 편집 장치 및 텍스트 편집 방법 | |
CN110659133B (zh) | 一种资源分配方法及分配装置、存储介质、电子设备 | |
CN110348703B (zh) | 基于用户行为画像的数据处理方法、装置及电子设备 | |
CN110162956B (zh) | 确定关联账户的方法和装置 | |
CN109670313B (zh) | 系统运行中进行风险评估的方法、装置和可读存储介质 | |
CN109525548B (zh) | 一种基于代价函数的白名单更新方法、装置及电子设备 | |
CN111382064B (zh) | 一种测试方法、装置、介质和电子设备 | |
CN109766247B (zh) | 基于系统数据监控的报警设置方法及系统 | |
US10403277B2 (en) | Method and apparatus for information search using voice recognition | |
CN109284307B (zh) | 一种流量数据的聚类处理方法、装置及电子设备 | |
CN109800784B (zh) | 基于神经网络的合同核对方法及装置 | |
CN110457365B (zh) | 基于时序并行的决策树生成方法及装置、电子设备 | |
CN109413063B (zh) | 一种基于大数据的白名单更新方法、装置及电子设备 | |
CN109460458B (zh) | 查询改写意图的预测方法及装置 | |
CN111813932A (zh) | 文本数据的处理方法、分类方法、装置及可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |