CN108681585A - 一种基于NetSim-TL的多源迁移学习标签流行性预测模型的构建方法 - Google Patents

一种基于NetSim-TL的多源迁移学习标签流行性预测模型的构建方法 Download PDF

Info

Publication number
CN108681585A
CN108681585A CN201810453558.3A CN201810453558A CN108681585A CN 108681585 A CN108681585 A CN 108681585A CN 201810453558 A CN201810453558 A CN 201810453558A CN 108681585 A CN108681585 A CN 108681585A
Authority
CN
China
Prior art keywords
network
source
domain
transfer learning
community
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810453558.3A
Other languages
English (en)
Inventor
傅晨波
郑永立
王金焕
宣琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN201810453558.3A priority Critical patent/CN108681585A/zh
Publication of CN108681585A publication Critical patent/CN108681585A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01Social networking

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

一种基于NetSim‑TL的多源迁移学习标签流行性预测模型的构建方法,包括以下步骤:(1)计算网络的结构相似性,根据WL图核方法,分别计算源领域和目标领域网络结构之间的相似性大小;(2)构建单源迁移学习的基学习器,利用基本的机器学习方法支持向量机分别构建多源迁移学习的基学习器;(3)构建多源迁移学习模型框架,根据不同源领域与目标领域之间的相似性大小,对多个基学习器进行加权,得出基于网络结构相似性的多源迁移学习标签流行性预测模型框架。本发明提出了利用社区网络结构之间的相似性来作为不同领域社区之间迁移学习模型的权重,进行多源迁移学习模型的构建,在跨社区的标签流行性发展趋势预测上具有较好的效果。

Description

一种基于NetSim-TL的多源迁移学习标签流行性预测模型的 构建方法
技术领域
本发明涉及数据挖掘、图结构分析技术,特别是涉及一种基于NetSim-TL的多源迁移学习标签流行性预测模型的构建方法。
背景技术
随着互联网技术的快速发展,越来越多的人喜欢花费时间在网络上发布和搜索自己想要的信息,积累了大量的知识问答数据。由于人工智能技术的快速发展,人们对已有的问答数据进行分析,建模以及预测,使得其能够更好的服务于用户。问答社区中的标签数据越来越受到人们的关注,例如研究标签推荐,基于标签的答案推荐,问题推荐等。我们主要研究在问答社区中新提出的标签在未来的流行性趋势预测问题。基于大规模数据的标签流行性趋势预测能够有较好的预测结果,但是在一些冷门问答社区或者是新出现的问答社区,由于具有标记的数据很难获得或者数据量比较少,无法准确的构建较好的预测或者分类模型,于是我们采用迁移学习的方法,即利用相似的较大的问答社区里的数据,来对目标领域的任务进行预测或者分类。
迁移学习依据领域和任务是否相同,大致分为四类:(1)基于实例的迁移学习;(2)基于特征的迁移学习;(3)基于参数的迁移学习;(4)基于相关性的迁移学习。目前迁移学习已经在很多领域得到应用,并取得较好的结果,例如软件缺陷预测,人类活动行为的分类和识别,图片分类,文本语义分类等等。在单源领域迁移的问题上,已提出很多方法,例如TrAdaboost、TrBagg、A-SVM等单源迁移学习方法。在多源数据迁移方面已经有很多工作,大部分工作基于数据特征分布之间差异,即用最大均方差异(maximum mean discrepancy,MMD)作为源社区与目标社区之间的相似性,或者在此基础上,增加一些参数项,调整训练模型的损失函数,达到优化的目的。还有的则是对样本实例进行加权的方法,通过对源领域的数据样本进行数据筛选加权,多次迭代得出最后的权重,例如Yao等人通过改进戴文源等提出的TrAdaboost的方法,将其应用到多源领域,提出了MSTrAdaboost多源迁移模型框架。
已有的多源迁移学习模型,在衡量领域相似差异方面主要还是基于特征分布上的差异,这些方法在已有的任务或者应用上已经能够得到较好的应用,但是在网络分类或者涉及到网络特征的多源迁移任务模型中,则不能达到很好的迁移效果。
发明内容
为了更好的衡量涉及网络结构的领域之间的差异性,改善多源迁移学习在涉及网络结构方面的任务上的效果,本发明提出一种基于NetSim-TL的多源迁移学习标签流行性预测模型的构建方法,使用图核表征方法计算两两网络结构之间的相似性大小,作为目标领域与源领域之间的距离,并将此作为多源迁移学习模型中多个基学习器的权重,对基学习器的预测结果进行加权投票,得出最后的预测结果。本方法提高了多源迁移学习问答社区标签流行性预测的效果。
本发明解决其技术问题所采用的技术方案如下:
一种基于网络结构相似的多源迁移学习模型的构建方法,包括如下步骤:
步骤1:计算网络的结构相似性,给定n个源领域和目标领域数据集的网络集合通过Weisfeiler-Lehman(WL)图核方法,计算源领域中网络与目标领域网络GT之间的网络结构相似性大小Ki,得出集合Ω中源社区网络与目标社区网络之间的相似性W1×n={K1,K2,…,Kn};
步骤2:构建单源迁移学习的基学习器,分别使用源领域的标记数据和目标领域GT的部分标记数据利用机器学习方法支持向量机(SVM)的方法,训练得出n个单源迁移学习模型的基学习器f={f1,f2,…,fn};
步骤3:构建多源迁移学习模型框架。根据步骤1,2得到的源领域社区网络和目标领域社区网络的结构相似性W1×n和分类器f={f1,f2,…,fn}。将Ki作为源社区迁移到目标领域社区构建的基学习器fi的权重,通过对n个基学习器的预测结构进行加权得到最后的预测结果。
进一步,所述步骤1中,计算网络的结构相似性的过程为:给定源领域和目标领域的网络集合依次选取集合Ω中每一个源领域网络通过WL图核方法计算源领域社区网络和目标领域社区网络GT网络之间的相似性,给定源领域网络和目标领域网络GT,取迭代次数h=1,当h=0时,对网络中每一个节点分别根据其度值进行重新标记,分别得到两个网络中所有标签种类的频率向量当h=1时,对网络中的每一个节点,将其本身标签和其邻居节点的标签进行数学加和,作为新的标签,最后统计各个网络中所有新标签的频率向量迭代次数结束后,统计每次迭代产生的频率向量,进行拼接得到网络和GT的WL所有子树结构的频率向量利用余弦公式计算得到Ki
作为网络和GT之间的结构相似性,最后得出n个源领域社区网络和目标领域社区网络之间的相似性向量,即W1×n={K1,K2,…Kn}。
再进一步,所述步骤2中,单源迁移学习模型的构建过程为:设定n个源领域标记数据集为目标领域数据集为DT={(xT,c(xT))},其中为目标领域有标记数据集,为目标领域无标记数据集,c(x)函数表示样本x的标记函数,c(x)∈{0,1},依次选择源领域数据集和目标领域有标记数据集采用支持向量机(SVM)作为基学习器的方法,核函数为高斯核,在不同源领域和目标领域标记数据上训练基学习器f={f1,f2,…,fn}。
更近一步,所述步骤3中,构建多源迁移学习模型框架的过程为:对步骤1,2中得到的结构相似性W1×n和n个基分类器f={f1,f2,…,fn},选择Ki作为源社区迁移到目标领域社区构建的基学习器fi的权重,n个基学习器的权重进行归一化,之和为1,然后进行对每个基学习器的预测结果进行加权投票得出最后的标签流行性预测模型:
本发明的有益效果表现在:提出了利用社区网络结构之间的相似性来作为不同领域社区之间迁移学习模型的权重,进行多源迁移学习模型的构建,在跨社区的标签流行性发展趋势预测上具有较好的效果。
附图说明
图1为WL核方法计算网络结构相似性大小的图例说明;
图2为本发明中基于网络结构相似加权的多源迁移模型框架。
具体实施方式
下面结合说明书附图对本发明的具体实施方式作进一步详细的描述。
参照图1和图2,一种基于NetSim-TL的多源迁移学习标签流行性预测模型的构建方法,本发明使用了Stack Exchange问答网站中进行实例分析,数据采用了部分问答社区的网络结构数据,流行标签和非流行标签的标记数据及网络结构特征和非结构特征数据等。
本发明具体分为以下三个步骤:
步骤1:计算网络的结构相似性;
步骤2:构建单源迁移学习的基学习器;
步骤3:构建多源迁移学习模型框架。
所述步骤1中,计算网络的结构相似性,即计算目标领域与源领域网络结构之间的相似性程度,给定n个源领域和目标领域数据集的网络集合通过Weisfeiler-Lehman(WL)图核方法,计算源领域中网络与目标领域网络GT之间的网络结构相似性大小Ki,得出集合Ω中源社区网络和目标社区网络之间的相似性W1×n={K1,K2,…,Kn}。
所述步骤1中,计算网络结构相似性的图核方法的过程如下:依次选取集合Ω中每一个源领域网络通过WL核方法计算源领域社区网络和目标领域社区网络GT网络之间的相似性,如附图1所示,给定源领域网络和目标领域网络GT,取迭代次数h=1,当h=0时,对网络中每一个节点分别根据其度值进行重新标记,得到各个网络中标签的频率向量当h=1时,对网络中的每一个节点,将其本身标签和其邻居节点的标签进行数学加和,作为新的标签,最后统计各个网络中所有新标签的频率向量迭代次数结束后,统计每次迭代产生的频率向量,进行拼接得到网络和GT的WL所有子树结构的频率向量利用余弦公式:
作为网络GSi和GT之间的结构相似性,最后得出n个源领域社区网络和目标领域社区网络之间的相似性向量,即W1×n={K1,K2,…,Kn}。
所述步骤2中,构建单源迁移学习的基学习器的过程为:设定n个源领域标记数据集为目标领域数据集为DT={(xT,c(xT))},其中为目标领域有标记数据集,为目标领域无标记数据集,c(x)函数表示样本x的标记函数。依次选择源领域数据集和目标领域有标记数据集构成基学习器模型的训练数据集选择模型测试数据集为采用常用的机器学习方法支持向量机(SVM)来构建单源迁移学习的基学习器fi,最后共得到n个单源迁移学习的标签流行性预测基学习器f={f1,f2,…,fn}。
所述步骤3中,构建多源迁移学习模型框架的过程为:如图2所示,对步骤2中得到n个基分类器f={f1,f2,…,fn},将其分别在测试集Dtest上进行预测,得出预测结果,最后不同源领域与目标领域之间网络结构的相似性Ki进行加权,得出最终的模型预测结果:
如上所述为本发明在问答网站Stack Exchange中进行了多源迁移学习标签流行性模型的构建,本发明选择多个较大社区里的标记数据作为源领域数据,对目标领域社区中进行多源迁移模型的构建,根据不同社区之间的网络结构相似性,对不同的单源迁移标签流行性预测模型进行加权,得出最后的多源迁移学习标签流行性预测模型,能够得出较好的预测精度。本专业技术人员理解,在发明权利要求所限定的精神和范围内可对其进行许多改变,修改,甚至等效,但都将落入本发明的保护范围内。

Claims (4)

1.一种基于NetSim-TL的多源迁移学习标签流行性预测模型的构建方法,其特征在于,所述方法包括如下步骤:
步骤1:计算网络的结构相似性,给定n个源领域和目标领域数据集的网络集合通过Weisfeiler-Lehman图核方法,计算源领域中网络与目标领域网络GT之间的网络结构相似性大小Ki,得出集合Ω中源社区网络和目标社区网络结构之间的相似性W1×n={K1,K2,…,Kn};
步骤2:构建单源迁移学习的基学习器,分别使用源领域的标记数据和目标领域GT的部分标记数据利用机器学习方法支持向量机的方法,训练得出n个单源迁移学习模型的基学习器f={f1,f2,…,fn};
步骤3:构建多源迁移学习模型框架,根据步骤1,2得到的源领域社区网络和目标领域社区网络的结构相似性W1×n和分类器f={f1,f2,…,fn},将Ki作为源社区Si迁移到目标领域社区构建的基学习器fi的权重,通过对n个基学习器的预测结构进行加权得到最后的预测结果。
2.如权利要求1所述的一种基于NetSim-TL的多源迁移学习标签流行性预测模型的构建方法,其特征在于:在所述步骤1中,计算网络的结构相似性的过程为:给定源领域和目标领域的网络集合依次选取集合Ω中每一个源领域网络通过WL图核方法计算源领域社区网络和目标领域社区网络GT网络之间的相似性,给定源领域网络和目标领域网络GT,取迭代次数h=1,当h=0时,对网络中每一个节点分别根据其度值进行重新标记,分别得到两个网络中所有标签种类的频率向量当h=1时,对网络中的每一个节点,将其本身标签和其邻居节点的标签进行数学加和,作为新的标签,最后统计各个网络中所有新标签的频率向量迭代次数结束后,统计每次迭代产生的频率向量,进行拼接得到网络和GT的WL所有子树结构的频率向量利用余弦公式计算得到Ki
作为网络和GT之间的结构相似性,最后得出n个源领域社区网络和目标领域社区网络之间的相似性向量,即W1×n={K1,K2,…,Kn}。
3.如权利要求1或2所述的一种基于NetSim-TL的多源迁移学习标签流行性预测模型的构建方法,其特征在于:所述步骤2中,单源迁移学习模型的构建过程为:设定n个源领域标记数据集为目标领域数据集为DT={(xT,c(xT))},其中为目标领域有标记数据集,为目标领域无标记数据集,c(x)函数表示样本x的标记函数,c(x)∈{0,1},依次选择源领域数据集和目标领域有标记数据集采用支持向量机作为基学习器的训练方法,在不同源领域和目标领域标记数据上训练得到基学习器f={f1,f2,…,fn}。
4.如权利要求3所述的一种基于NetSim-TL的多源迁移学习标签流行性预测模型的构建方法,其特征在于:所述步骤3中,构建多源迁移学习模型框架的过程为:对步骤1,2中得到的结构相似性W1×n和n个基分类器f={f1,f2,…,fn},选择Ki作为源社区迁移到目标领域社区构建的基学习器fi的权重,n个基学习器的权重进行归一化,之和为1,然后进行对每个基学习器的预测结果进行加权投票得出最后的标签流行性预测模型:
CN201810453558.3A 2018-05-14 2018-05-14 一种基于NetSim-TL的多源迁移学习标签流行性预测模型的构建方法 Pending CN108681585A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810453558.3A CN108681585A (zh) 2018-05-14 2018-05-14 一种基于NetSim-TL的多源迁移学习标签流行性预测模型的构建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810453558.3A CN108681585A (zh) 2018-05-14 2018-05-14 一种基于NetSim-TL的多源迁移学习标签流行性预测模型的构建方法

Publications (1)

Publication Number Publication Date
CN108681585A true CN108681585A (zh) 2018-10-19

Family

ID=63806131

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810453558.3A Pending CN108681585A (zh) 2018-05-14 2018-05-14 一种基于NetSim-TL的多源迁移学习标签流行性预测模型的构建方法

Country Status (1)

Country Link
CN (1) CN108681585A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109597993A (zh) * 2018-11-30 2019-04-09 深圳前海微众银行股份有限公司 语句分析处理方法、装置、设备以及计算机可读存储介质
CN109934248A (zh) * 2018-12-11 2019-06-25 广州中医药大学(广州中医药研究院) 一种针对迁移学习的多模型随机生成与动态自适应组合方法
CN110109543A (zh) * 2019-04-30 2019-08-09 福州大学 基于被试迁移的c-VEP识别方法
CN110398986A (zh) * 2019-04-28 2019-11-01 清华大学 一种多源数据迁移的无人机密集树林感知技术
CN110674849A (zh) * 2019-09-02 2020-01-10 昆明理工大学 基于多源域集成迁移的跨领域情感分类方法
CN111915058A (zh) * 2020-06-29 2020-11-10 河海大学 基于长短时记忆网络和迁移学习的洪水预测方法与装置
CN112085085A (zh) * 2020-09-03 2020-12-15 哈尔滨工业大学 一种基于图结构的多源迁移学习方法
CN112581250A (zh) * 2019-09-30 2021-03-30 深圳无域科技技术有限公司 模型生成方法、装置、计算机设备和存储介质
CN113420824A (zh) * 2021-07-03 2021-09-21 上海理想信息产业(集团)有限公司 针对工业视觉应用的预训练数据筛选及训练方法、系统
CN115310727A (zh) * 2022-10-11 2022-11-08 山东建筑大学 一种基于迁移学习的建筑冷热电负荷预测方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170011306A1 (en) * 2015-07-06 2017-01-12 Microsoft Technology Licensing, Llc Transfer Learning Techniques for Disparate Label Sets
CN106951471A (zh) * 2017-03-06 2017-07-14 浙江工业大学 一种基于svm的标签发展趋势预测模型的构建方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170011306A1 (en) * 2015-07-06 2017-01-12 Microsoft Technology Licensing, Llc Transfer Learning Techniques for Disparate Label Sets
CN106951471A (zh) * 2017-03-06 2017-07-14 浙江工业大学 一种基于svm的标签发展趋势预测模型的构建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
赵传君等: "基于集成深度迁移学习的多源跨领域情感分类", 《山西大学学报(自然科学版)》 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109597993A (zh) * 2018-11-30 2019-04-09 深圳前海微众银行股份有限公司 语句分析处理方法、装置、设备以及计算机可读存储介质
WO2020107765A1 (zh) * 2018-11-30 2020-06-04 深圳前海微众银行股份有限公司 语句分析处理方法、装置、设备以及计算机可读存储介质
CN109934248A (zh) * 2018-12-11 2019-06-25 广州中医药大学(广州中医药研究院) 一种针对迁移学习的多模型随机生成与动态自适应组合方法
CN109934248B (zh) * 2018-12-11 2023-05-19 广州中医药大学(广州中医药研究院) 一种针对迁移学习的多模型随机生成与动态自适应组合方法
CN110398986A (zh) * 2019-04-28 2019-11-01 清华大学 一种多源数据迁移的无人机密集树林感知技术
CN110109543A (zh) * 2019-04-30 2019-08-09 福州大学 基于被试迁移的c-VEP识别方法
CN110109543B (zh) * 2019-04-30 2021-08-31 福州大学 基于被试迁移的c-VEP识别方法
CN110674849A (zh) * 2019-09-02 2020-01-10 昆明理工大学 基于多源域集成迁移的跨领域情感分类方法
CN112581250A (zh) * 2019-09-30 2021-03-30 深圳无域科技技术有限公司 模型生成方法、装置、计算机设备和存储介质
CN112581250B (zh) * 2019-09-30 2023-12-29 深圳无域科技技术有限公司 模型生成方法、装置、计算机设备和存储介质
CN111915058B (zh) * 2020-06-29 2022-08-26 河海大学 基于长短时记忆网络和迁移学习的洪水预测方法与装置
CN111915058A (zh) * 2020-06-29 2020-11-10 河海大学 基于长短时记忆网络和迁移学习的洪水预测方法与装置
CN112085085A (zh) * 2020-09-03 2020-12-15 哈尔滨工业大学 一种基于图结构的多源迁移学习方法
CN112085085B (zh) * 2020-09-03 2024-02-23 哈尔滨工业大学 一种基于图结构的多源迁移学习方法
CN113420824A (zh) * 2021-07-03 2021-09-21 上海理想信息产业(集团)有限公司 针对工业视觉应用的预训练数据筛选及训练方法、系统
CN115310727A (zh) * 2022-10-11 2022-11-08 山东建筑大学 一种基于迁移学习的建筑冷热电负荷预测方法及系统
CN115310727B (zh) * 2022-10-11 2023-02-03 山东建筑大学 一种基于迁移学习的建筑冷热电负荷预测方法及系统

Similar Documents

Publication Publication Date Title
CN108681585A (zh) 一种基于NetSim-TL的多源迁移学习标签流行性预测模型的构建方法
CN104881689B (zh) 一种多标签主动学习分类方法及系统
CN110795619B (zh) 一种融合多目标的教育资源个性化推荐系统及方法
CN111275092B (zh) 一种基于无监督域适应的图像分类方法
CN110580500A (zh) 一种面向人物交互的网络权重生成少样本图像分类方法
CN104933428B (zh) 一种基于张量描述的人脸识别方法及装置
CN107729497A (zh) 一种基于知识图谱的词嵌入深度学习方法
CN110472665A (zh) 模型训练方法、文本分类方法及相关装置
CN111639679A (zh) 一种基于多尺度度量学习的小样本学习方法
CN110263979A (zh) 基于强化学习模型预测样本标签的方法及装置
CN106971200A (zh) 一种基于自适应迁移学习的图像记忆度预测方法
CN110263822A (zh) 一种基于多任务学习方式的图像情感分析方法
CN113051404B (zh) 一种基于张量分解的知识推理方法、装置、设备
CN112532746A (zh) 一种云边协同感知的方法及系统
Hamim et al. Student profile modeling using boosting algorithms
Zhang et al. An efficient method for automatic generation of labanotation based on bi-directional lstm
Swamy et al. Deep knowledge tracing for free-form student code progression
CN112200262B (zh) 支持多任务和跨任务的小样本分类训练方法及装置
Lo Predicting software reliability with support vector machines
Tang et al. A practical exploration of constructive english learning platform informatization based on rbf algorithm
Song An Evaluation Method of English Teaching Ability Based on Deep Learning
Guo et al. Deep multi-task augmented feature learning via hierarchical graph neural network
CN108764537B (zh) 一种基于A-TrAdaboost算法的多源社区标签发展趋势预测方法
Li A Model for analyzing teaching quality data of sports faculties based on particle swarm optimization neural network
CN114254199A (zh) 基于二分图投影和node2vec的课程推荐方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20181019

RJ01 Rejection of invention patent application after publication