CN111600877A - 一种基于MF-Ada算法的LDoS攻击检测方法 - Google Patents
一种基于MF-Ada算法的LDoS攻击检测方法 Download PDFInfo
- Publication number
- CN111600877A CN111600877A CN202010406743.4A CN202010406743A CN111600877A CN 111600877 A CN111600877 A CN 111600877A CN 202010406743 A CN202010406743 A CN 202010406743A CN 111600877 A CN111600877 A CN 111600877A
- Authority
- CN
- China
- Prior art keywords
- data
- tcp
- udp
- detection method
- ldos
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 43
- 238000004422 calculation algorithm Methods 0.000 title claims abstract description 27
- 238000012549 training Methods 0.000 claims abstract description 41
- 238000012360 testing method Methods 0.000 claims abstract description 17
- 238000013145 classification model Methods 0.000 claims abstract description 16
- 238000000605 extraction Methods 0.000 claims abstract description 12
- 238000005070 sampling Methods 0.000 claims description 9
- 238000000546 chi-square test Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 238000010219 correlation analysis Methods 0.000 claims description 5
- 238000002790 cross-validation Methods 0.000 claims description 2
- 239000013598 vector Substances 0.000 claims description 2
- 238000000034 method Methods 0.000 abstract description 9
- 239000000654 additive Substances 0.000 description 4
- 230000000996 additive effect Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 230000008260 defense mechanism Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1425—Traffic logging, e.g. anomaly detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1441—Countermeasures against malicious traffic
- H04L63/1458—Denial of Service
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种基于多流量特征和Adaboost(MF‑Ada)算法的慢速拒绝服务(LDoS)攻击检测方法,属于网络安全领域。其中所述方法内容包括:在单位时间内,抓取网络关键路由节点中的所有相关数据报文,形成训练样本和测试样本;对训练样本和测试样本进行特征提取和特征选择,得到训练样本的最佳特征数据和测试样本的最佳特征数据;用训练样本的最佳特征数据训练Adaboost分类模型,使Adaboost分类模型学习并记忆LDoS攻击的特征,得到可用于LDoS攻击检测的模型;用训练后的Adaboost分类模型对测试样本的最佳特征数据进行检测。根据判定准则,判断该最佳特征数据对应的单位时间内是否发生LDoS攻击。本发明提出的基于MF‑Ada算法的检测方法具有较低的误报率和漏报率以及自适应调整参数的优点,是一种检测性能较好的LDoS攻击检测方法。
Description
技术领域
本发明属于计算机网络安全领域,具体涉及一种基于多流量特征和Adaboost(MF-Ada)算法的慢速拒绝服务(LDoS)攻击检测方法。
背景技术
拒绝服务(DoS)攻击通过向攻击目标持续发送高强度攻击流,耗尽攻击目标的资源,使得正常用户长时间得不到有效服务。慢速拒绝服务(LDoS)攻击是DoS攻击的一个变种。与DoS攻击不同,LDoS攻击是以周期性的方式,向攻击目标发送高强度脉冲,使网络不断的拥塞,从而达到与DoS攻击同样的攻击效果。因此,与传统DoS攻击相比,LDoS攻击能够以更小的攻击代价对攻击目标实现相同甚至更大的损害。
迄今为止,尽管很多人提出了不少的方法,却仍没有成熟的解决方案。目前LDoS攻击检测存在两个方面的问题:其一,由于其周期性的攻击方式,LDoS攻击具有更好的隐蔽性,因此针对传统DoS攻击的检测和防御机制对LDoS攻击的检测和防御并不适用;其二是已有的LDoS攻击检测方法普遍存在高误报率和高漏报率,自适应能力差等不足之处。
本发明提出了一种基于MF-Ada算法的LDoS攻击检测方法。网络流量是一种时间序列,因此可以使用时间序列的方法来分析网络流量的变化。时间序列拥有大量的统计学特征,这些特征可以用来表征网络的状态。除此以外,信息学中的信息熵、能量谱中的能量值以及用于表征网络多重分形特征的Hurst值都会被LDoS攻击所改变。当攻击发生时,这些特征会出现不同程度的变化。在不同网络中,由于网络环境、协议和拓扑结构的不同,LDoS攻击对网络流量特征造成的影响是不一样的。因此,分析网络流量内部特征的变化与LDoS攻击产生的结果的相关性是有必要的,这可以作为检测LDoS攻击的基础。LDoS攻击会使网络流量特征值的统计分布形态发生变化。因此,可以将攻击前与攻击后看成两种网络流量。Adaboost分类器可以通过训练样本来学习和记忆这两种网络流量的特征,从而具备识别LDoS攻击的能力。
发明内容
针对传统LDoS攻击检测方法普遍存在高误报率和高漏报率,自适应能力差等不足,提出了一种LDoS攻击检测方法。该LDoS攻击检测方法,构造了一个特征集,该特征集包含了多个网络流量特征。特征集用于网络流量数据的特征提取和特征选择。基于卡方检验算法的特征选择将保留网络流量数据中最优的特征数据。Adaboost算法是一种优秀的分类算法,通过网络流量的特征数据对其进行训练,训练后的Adaboost算法模型将能很好地分辨含有LDoS攻击的网络流量。而最优的特征数据能够使Adaboost算法得到较好的训练,进而保证检测方法的有效性。
本发明为实现上述目标所采用的技术方案为:该LDoS攻击检测方法主要包括四个步骤:数据采样、数据处理、模型训练以及判定检测。
1.数据采样。抓取网络关键路由节点中的相关数据报文,以时间间隔为Δt对单位时间内所有相关数据报文进行采样,形成训练样本和测试样本。
2.数据处理。对训练样本和测试样本进行特征提取和特征选择,得到训练样本的最佳特征数据和测试样本的最佳特征数据。其中,特征包括TCP总量、UDP总量、总数据量(TCP总量与UDP总量之和)、TCP占比、UDP占比、UDP均值、TCP均值、TCP方差、UDP方差、TCP与UDP的协方差、TCP信息熵、UDP信息熵、TCPHurst值、UDP Hurst值、TCP最大值、UDP最大值、TCP最小值、UDP最小值、TCP极差、UDP极差、TCP偏度、UDP偏度、TCP峰度、UDP峰度、TCP变异系数、UDP变异系数、TCP平均绝对方差、UDP平均绝对方差。TCP代表一段时间内网络中的TCP流量数据,UDP代表一段时间内网络中的UDP流量数据。这些网络流量特征一起构成一个特征集,该特征集将作为特征提取和特征选择的基础。具体为:在该单位时间内,以数据片(一个单位时间内的数据,可均分为若干个恰当时间长度的分片,每个这样的分片称为一个数据片)为特征提取单位,得到该单位时间内所有数据片的特征向量。基于卡方检验算法,对每种特征数据与数据片真实类别(无攻击数据片或有攻击数据片)进行相关性分析。根据相关性分析的结果,每个特征会分配一个优先级,优先级高的特征会先于其他特征被选择。基于特征的优先级,检测方法通过交叉验证的方式确定最佳特征的个数,从而得到样本的最佳特征数据。
其中,A代表自变量(特征),E代表因变量(数据片真实类别)。则卡方检验算法计算公式可表示为:
3.模型训练。用训练样本的最佳特征数据训练Adaboost分类模型。Adaboost分类模型的输出结果为两个数值,一般为“0”和“1”,分别代表无攻击和有攻击。Adaboost分类模型通过不断训练多个基分类器来提高分类能力,并基于上一个分类器的错误率来训练下一个分类器并调整样本的权值分布,使用的损失函数为指数损失函数。Adaboost分类模型通过对一系列弱分类器进行线性加权,形成一个强分类器。Adaboost分类模型将学习并记忆LDoS攻击的特征,最终得到可用于LDoS攻击检测的模型。
Adaboost算法主要涉及到两个部分:加法模型和前向分步算法。加法模型是指强分类器是由一系列弱分类器线性组合而成。加法模型一般表达形式如下:
其中,ht(x)表示弱分类器,αt是弱学习在强分类器中的权重,H(x)m表示弱分类器的线性组合。
前向分步算法指的是在训练过程中,下一轮迭代产生的分类器是在上一轮的基础上训练得来的。它可以表示为:
H(x)m=H(x)m-1+αtht(x)
其中,ht(x)表示这一轮迭代中的弱分类器,αt该弱分类器的权重,H(x)m-1是上一轮所有弱分类器的组合。
弱分类器权重计算公式可表示为:
其中,εt为第t轮迭代的分类错误率。
训练样本权重分布调整公式可表示为:
其中,wt表示上一轮训练样本的分布权重,y表示分类标签,zt是归一化因子。
最终的强分类器可表示为:
f(x)=sign(H(x))
其中,sign为符号函数。
4.判定检测。用训练后的Adaboost分类模型对测试样本的最佳特征数据进行检测。根据判定准则,判断该最佳特征数据对应的单位时间内是否发生LDoS攻击。对LDoS攻击的判定准则为:对单个数据片,将该数据片通过特征提取和特征选择得到的最佳特征数据输入到训练好的Adaboost分类模型中,若模型输出结果为“1”,则说明该数据片存在LDoS攻击;若模型输出结果为“0”,则说明该数据片不存在LDoS攻击。
有益效果
该LDoS攻击检测方法,误报率和漏报率低,对LDoS攻击的检测准确度较高,同时该方法可以结合GPU硬件实现并发高效检测,以满足网络快速检测的需求。因此,该检测方法可普适于准确检测LDoS攻击。
附图说明
图1为一种基于MF-Ada算法的LDoS攻击检测方法的流程图。
图2为样本特征数据与相应的数据片真实类别的相关性得分。该得分通过卡方检验算法计算得到的P值转换获得。特征得分越高,特征与数据片真实类别的相关性越强。检测模型基于该相关性得分为每个特征分配一个优先级,以此完成特征选择。
图3为Adaboost算法模型示意图。Adaboost算法模型示意图体现了它的两个核心部分:加法模型和前向分步算法。加法模型表示的是最终的强分类器是由一系列弱分类器线性组合而成。前向分步算法指的是在训练过程中,下一轮迭代产生的分类器是在上一轮的基础上训练得来的。具体为,网络流量样本数据基于上一轮弱分类器的分类结果调整权值的分布;再使用调整后的网络流量样本数据训练下一个弱分类器并基于分类结果计算该弱分类的权值;最后将该弱分类器与上一个分类器进行加权结合。
具体实施方式
下面结合附图对本发明进一步说明。
如图1所示,该LDoS攻击检测方法主要包括四个步骤:数据采样、数据处理、模型训练以及判定检测。其中,数据采样是指以固定的时间间隔对网络流量进行采样,形成训练集和特征集。数据处理包括网络流量特征的提取以及特征选择两个部分。模型训练是指Adaboost分类模型通过训练数据获取检测LDoS攻击的能力。判定检测是指检测模型基于判定准则对测试集进行LDoS攻击检测。
图2为样本特征数据与相应的数据片真实类别的相关性得分。该过程包含两个步骤,具体为:1)基于卡方检验算法,得到每个特征与数据片真实类别的P值;2)通过数值处理,将P值转换为相关性得分。检测算法根据相关性得分为每个特征分配一个优先级。该优先级将作为特征选择的基础。图中数据显示,LDoS攻击对网络流量特征的影响具有差异性。这种差异反映出不同网络流量特征对最终的检测结果具有不同的决定作用,这也是特征选择的原理所在。
图3为Adaboost算法模型结构示意图。它的工作机制主要有以下几步:首先,对训练集的样本初始化一个权值并使用训练集和初始的的权值训练第一个弱分类器;再根据弱分类器的结果对训练样本分布进行调整,使得之前被弱分类器分类错误的训练样本在接下来的弱分类器中受到更多的关注;然后基于调整后的训练样本来训练下一个弱分类器;重复进行前面的步骤,直到弱分类器数量达到设定的值T,最终将这T个弱分类器进行加权结合,得到一个强分类器。
Claims (9)
1.一种基于多流量特征和Adaboost(MF-Ada)算法的慢速拒绝服务(LDoS)攻击检测方法,其特征在于,所述LDoS攻击检测方法包括以下几个步骤:
步骤1、数据采样:抓取网络关键路由节点中的相关数据报文,对单位时间内所有相关数据报文进行采样,形成训练样本和测试样本;
步骤2、数据处理:对训练样本和测试样本进行特征提取和特征选择,得到训练样本的最佳特征数据和测试样本的最佳特征数据;
步骤3、模型训练:用训练样本的最佳特征数据训练Adaboost分类模型;
步骤4、判定检测:用训练后的Adaboost分类模型对测试样本的最佳特征数据进行检测。根据判定准则,判断该最佳特征数据对应的单位时间内是否发生LDoS攻击。
2.根据权利要求1中所述的LDoS攻击检测方法,其特征在于,步骤1中对网络关键路由节点中的相关数据报文,以固定取样时间抓取固定时间长度内所有相关数据报文,形成训练样本和测试样本。
3.根据权利要求1中所述的LDoS攻击检测方法,其特征在于,步骤2中对步骤1得到的训练样本和测试样本进行特征提取,其中,特征包括TCP总量、UDP总量、总数据量(TCP总量与UDP总量之和)、TCP占比、UDP占比、UDP均值、TCP均值、TCP方差、UDP方差、TCP与UDP的协方差、TCP信息熵、UDP信息熵、TCP Hurst值、UDP Hurst值、TCP最大值、UDP最大值、TCP最小值、UDP最小值、TCP极差、UDP极差、TCP偏度、UDP偏度、TCP峰度、UDP峰度、TCP变异系数、UDP变异系数、TCP平均绝对方差、UDP平均绝对方差。其中,TCP代表一段时间内TCP流量数据,UDP代表一段时间内UDP流量数据。
4.根据权利要求1中所述的LDoS攻击检测方法,其特征在于,步骤2中对训练样本和测试样本进行特征提取和特征选择,得到训练样本的最佳特征数据和测试样本的最佳特征数据,包含三个步骤:
步骤2.1、在该单位时间内,以数据片为特征提取单位,得到该单位时间内所有数据片的特征向量;
步骤2.2、基于卡方检验算法,对每种特征数据与数据片真实类别(无攻击数据片或有攻击数据片)进行相关性分析;
步骤2.3、基于相关性分析结果,选择样本的最佳特征数据。
5.根据权利要求4中所述的LDoS攻击检测方法,其特征在于,步骤2.1中数据片的定义为:一个单位时间内的数据,可均分为若干个恰当时间长度的分片,每个这样的分片称为一个数据片。
6.根据权利要求4中所述的LDoS攻击检测方法,其特征在于,步骤2.2中根据相关性分析的结果,每个特征会分配一个优先级,优先级高的特征会先于其他特征被选择。
7.根据权利要求4中所述的LDoS攻击检测方法,其特征在于,步骤2.3中检测方法通过交叉验证的方式确定最佳特征的个数,从而得到样本的最佳特征数据。
8.根据权利要求1中所述的LDoS攻击检测方法,其特征在于,步骤3中用训练样本的最佳特征数据训练Adaboost分类模型,使Adaboost分类模型学习并记忆LDoS攻击的特征,最终得到可用于LDoS攻击检测的模型。
9.根据权利要求1中所述的LDoS攻击检测方法,其特征在于,步骤4中对LDoS攻击的判定准则为:对单个数据片,将该数据片通过特征提取和特征选择得到的最佳特征数据输入到训练好的Adaboost分类模型中,若模型输出结果为“1”,则说明该数据片存在LDoS攻击;若模型输出结果为“0”,则说明该数据片不存在LDoS攻击。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010406743.4A CN111600877A (zh) | 2020-05-14 | 2020-05-14 | 一种基于MF-Ada算法的LDoS攻击检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010406743.4A CN111600877A (zh) | 2020-05-14 | 2020-05-14 | 一种基于MF-Ada算法的LDoS攻击检测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111600877A true CN111600877A (zh) | 2020-08-28 |
Family
ID=72188971
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010406743.4A Pending CN111600877A (zh) | 2020-05-14 | 2020-05-14 | 一种基于MF-Ada算法的LDoS攻击检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111600877A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112437085A (zh) * | 2020-11-23 | 2021-03-02 | 中国联合网络通信集团有限公司 | 一种网络攻击的识别方法及装置 |
CN112788057A (zh) * | 2021-01-28 | 2021-05-11 | 湖南大学 | 一种基于FSWT时频分布的LDoS攻击检测方法 |
CN114039780A (zh) * | 2021-11-10 | 2022-02-11 | 湖南大学 | 基于流量系数的低速DoS攻击实时响应方案 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130254886A1 (en) * | 2009-11-18 | 2013-09-26 | At&T Intellectual Property I, L.P. | Mitigating Low-Rate Denial-Of-Service Attacks in Packet-Switched Networks |
CN109450957A (zh) * | 2019-01-03 | 2019-03-08 | 湖南大学 | 一种基于云模型的低速拒绝服务攻击检测方法 |
CN110572413A (zh) * | 2019-09-27 | 2019-12-13 | 湖南大学 | 一种基于Elman神经网络的低速率拒绝服务攻击检测方法 |
-
2020
- 2020-05-14 CN CN202010406743.4A patent/CN111600877A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130254886A1 (en) * | 2009-11-18 | 2013-09-26 | At&T Intellectual Property I, L.P. | Mitigating Low-Rate Denial-Of-Service Attacks in Packet-Switched Networks |
CN109450957A (zh) * | 2019-01-03 | 2019-03-08 | 湖南大学 | 一种基于云模型的低速拒绝服务攻击检测方法 |
CN110572413A (zh) * | 2019-09-27 | 2019-12-13 | 湖南大学 | 一种基于Elman神经网络的低速率拒绝服务攻击检测方法 |
Non-Patent Citations (1)
Title |
---|
DAN TANG ETC: "MF-Adaboost: LDoS attack detection based on multi-features and improved Adaboost", 《FUTURE GENERATION COMPUTER SYSTEMS》 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112437085A (zh) * | 2020-11-23 | 2021-03-02 | 中国联合网络通信集团有限公司 | 一种网络攻击的识别方法及装置 |
CN112437085B (zh) * | 2020-11-23 | 2023-03-24 | 中国联合网络通信集团有限公司 | 一种网络攻击的识别方法及装置 |
CN112788057A (zh) * | 2021-01-28 | 2021-05-11 | 湖南大学 | 一种基于FSWT时频分布的LDoS攻击检测方法 |
CN114039780A (zh) * | 2021-11-10 | 2022-02-11 | 湖南大学 | 基于流量系数的低速DoS攻击实时响应方案 |
CN114039780B (zh) * | 2021-11-10 | 2022-08-16 | 湖南大学 | 基于流量系数的低速DoS攻击实时响应方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112398779B (zh) | 一种网络流量数据分析方法及系统 | |
Loukas et al. | Likelihood ratios and recurrent random neural networks in detection of denial of service attacks | |
CN111600877A (zh) | 一种基于MF-Ada算法的LDoS攻击检测方法 | |
CN109729090B (zh) | 一种基于wedms聚类的慢速拒绝服务攻击检测方法 | |
CN109067586B (zh) | DDoS攻击检测方法及装置 | |
CN111600876B (zh) | 一种基于mfopa算法的慢速拒绝服务攻击检测方法 | |
CN105245503B (zh) | 隐马尔可夫模型检测LDoS攻击方法 | |
CN109729091A (zh) | 一种基于多特征融合和CNN算法的LDoS攻击检测方法 | |
CN112202791B (zh) | 一种基于p-f的软件定义网络慢速拒绝服务攻击检测方法 | |
CN108932535B (zh) | 一种基于机器学习的边缘计算克隆节点识别方法 | |
CN112235288B (zh) | 一种基于gan的ndn网络入侵检测方法 | |
CN102420723A (zh) | 一种面向多类入侵的异常检测方法 | |
CN112434298B (zh) | 一种基于自编码器集成的网络威胁检测系统 | |
CN113645182B (zh) | 一种基于二次特征筛选的拒绝服务攻击随机森林检测方法 | |
CN111262849A (zh) | 一种基于流表信息的网络异常流量行为识别阻断的方法 | |
CN111600878A (zh) | 一种基于maf-adm的低速率拒绝服务攻击检测方法 | |
CN109033836B (zh) | 基于统计学习的恶意代码多模型交叉检测方法 | |
CN110719270A (zh) | 一种基于fcm算法的慢速拒绝服务攻击检测方法 | |
CN111767538A (zh) | 一种基于相关信息熵的工控入侵检测系统特征选择方法 | |
Ghalehgolabi et al. | Intrusion detection system using genetic algorithm and data mining techniques based on the reduction | |
CN114844679A (zh) | 一种SDN中基于MCA-KMeans算法的分布式拒绝服务攻击检测方法 | |
CN111444501A (zh) | 一种基于梅尔倒谱与半空间森林结合的LDoS攻击检测方法 | |
Ao | Using machine learning models to detect different intrusion on NSL-KDD | |
Hlaing | Feature selection and fuzzy decision tree for network intrusion detection | |
Tang et al. | A new detection method for LDoS attacks based on data mining |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200828 |
|
WD01 | Invention patent application deemed withdrawn after publication |