CN111931668A - 一种基于自适应卷积神经网络的目标属性识别方法及系统 - Google Patents
一种基于自适应卷积神经网络的目标属性识别方法及系统 Download PDFInfo
- Publication number
- CN111931668A CN111931668A CN202010818058.2A CN202010818058A CN111931668A CN 111931668 A CN111931668 A CN 111931668A CN 202010818058 A CN202010818058 A CN 202010818058A CN 111931668 A CN111931668 A CN 111931668A
- Authority
- CN
- China
- Prior art keywords
- features
- feature
- neural network
- attribute
- convolutional neural
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 25
- 230000003044 adaptive effect Effects 0.000 title claims description 25
- 230000005012 migration Effects 0.000 claims abstract description 32
- 238000013508 migration Methods 0.000 claims abstract description 32
- 238000000926 separation method Methods 0.000 claims abstract description 28
- 238000000605 extraction Methods 0.000 claims abstract description 21
- 230000004913 activation Effects 0.000 claims description 3
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 abstract description 6
- 230000006870 function Effects 0.000 description 10
- 238000012549 training Methods 0.000 description 8
- 230000008901 benefit Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明提出一种基于自适应卷积神经网络的目标属性识别方法及系统，包括：对输入的待识别车辆图像进行特征提取；根据待识别的属性类别数设置对应数量的特征分离分支，将提取的特征分别输入各所述特征分离分支获取多维属性特征，将所述多维属性特征进行拼接后得到合并特征；将所述合并特征分别输入多个特征迁移层，获取多个迁移特征，并对所述迁移特征进行分类，输出多属性识别结果；本发明通过设计轻量级自适应神经网络，同时进行多个属性的识别，可有效提高属性识别效率及精度。
Description
技术领域
本发明涉及智慧交通领域，尤其涉及一种基于自适应卷积神经网络的目标属性识别方法及系统。
背景技术
车辆多属性识别，是智慧交通的一项关键技术，属性识别同时也是近年来计算机视觉领域的研究热门之一。车辆属性识别通过对实际城市交通道路中的各类车辆图像数据进行多任务学习，实现车型、车辆颜色、车辆品牌以及年份等多种属性的识别，具有重要应用价值和社会意义。
目前，车辆属性识别通常是将深度学习直接应用于车辆某个单一属性的分析中，这样需要对每一个属性单独进行识别，耗费大量时间，并且没有充分发挥深度神经网络的优势功能，很大程度上限制了其强大的深度特征学习能力，因此将多任务学习的思想引入深度学习方法是今后的重点发展方向。同时，多任务学习的权值共享策略可以使得各个任务之间的学习相互促进，有助于学习出一个更为鲁棒的识别网络。如何能将这种共享机制最大化地发挥出来，是急需考察的待解决问题。
发明内容
鉴于以上现有技术存在的问题，本发明提出一种基于自适应卷积神经网络的目标属性识别方法及系统，主要解决传统方法进行多属性识别时效率和精度不高的问题。
为了实现上述目的及其他目的，本发明采用的技术方案如下。
一种基于自适应卷积神经网络的目标属性识别方法，包括：
对输入的待识别车辆图像进行特征提取；
根据待识别的属性类别数设置对应数量的特征分离分支，将提取的特征分别输入各所述特征分离分支获取多维属性特征，将所述多维属性特征进行拼接后得到合并特征；
将所述合并特征分别输入多个特征迁移层，获取多个迁移特征，并对所述迁移特征进行分类，输出多属性识别结果。
可选地，通过预训练的轻量级网络对所述车辆图像进行特征提取。
可选地，所述轻量级网络至少包括MobileNet V2网络。
可选地，每个所述特征分离分支至少包括：卷积层、批量规范化层、非线性层。
可选地，所述特征迁移层由卷积核为1*1的卷积层组成。
可选地，所述非线性层采用Relu函数作为激活函数。
可选地，将每个所述特征迁移层输出端连接至少一层全连接层进行分类，分别获取每一个特征迁移层对应的分类结果。
可选地，通过交叉熵构建所述全连接层的损失函数；获取每个属性类别对应的损失值，构建总损失函数，根据所述总损失函数获取网络参数梯度，并采用梯度下降法进行所述网络参数更新。
一种基于自适应卷积神经网络的目标属性识别系统，包括：
特征提取模块，用于对输入的待识别车辆图像进行特征提取；
特征分离模块，用于根据待识别的属性类别数设置对应数量的特征分离分支，将提取的特征分别输入各所述特征分离分支获取多维属性特征；
多属性识别模块，用于将所述多维属性特征进行拼接后得到合并特征，将所述合并特征分别输入多个特征迁移层，获取多个迁移特征，并对所述迁移特征进行分类，输出多属性识别结果。
可选地，包括特征提取模型，用于通过预训练的轻量级网络对所述车辆图像进行特征提取。
如上所述，本发明一种基于自适应卷积神经网络的目标属性识别方法及系统，具有以下有益效果。
通过个特征分离分支共享特征，可节省计算，提高识别效率；通过多个迁移层共享合并特征，可使得多属性识别任务相互促进，提高各属性识别的准确性。
附图说明
图1为本发明一实施例中基于自适应卷积神经网络的目标属性识别方法的流程图。
图2为本发明一实施例中基于自适应卷积神经网络的目标属性识别方法的网络结构示意图；
图3为本发明一实施例中基于自适应卷积神经网络的目标属性识别系统的模块图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
请参阅图1，本发明提供一种基于自适应卷积神经网络的目标属性识别方法，包括步骤S01-S03。
在步骤S01中，对输入的待识别车辆图像进行特征提取：
在一实施例中，在进行待识别车辆图像特征提取之前，可预先通过训练样本集进行模型训练获取，用于识别车辆图像的识别模型。具体的可采集某一时间段对应路面车辆图像作为样本图像构建训练样本集，也可直接从已有的数据库中获取一定量的样本图像用于构建训练样本集。其中，识别模型至少包括特征提取部分、自适应特征分离部分和特征分类部分。
在一实施例中，在通过训练样本集进行模型训练之前，可对样本集中的样本图像进行预处理，如将图像裁剪成预先设定的大小(如224×224等)，减去每个颜色通道的灰度均值，得到处理后样本图像。
请参阅图2，在一实施例中，特征提取部分可采用轻量级网络作为主干网络，如可采用MobileNet V2网络作为主干网络进行特征提取。MobileNet V2采用深度可分离卷积(depth-wise convolution)和点卷积(point-wise convolution)。其中，深度可分离卷积用于特征提取，它的一个卷积核负责一个通道，一个通道只被一个卷积核所卷积。然而，深度可分离卷积后的特征图个数无法改变，因此使用点卷积来实现特征图的增加和减少。具体地，请参阅下表。
输入通过1x1的conv+ReLU层将维度从k维增加到tk维，之后通过3x3conv+ReLU可分离卷积对图像进行降采样(stride>1时)，此时特征维度已经为tk维度，最后通过1x1conv(无ReLU)进行降维，维度从tk降低到K’维。
在步骤S02中，根据待识别的属性类别数设置对应数量的特征分离分支，将提取的特征分别输入各所述特征分离分支获取多维属性特征：
在一实施例中，MobileNet V2的最后一层卷积层输出的特征，分别输入多个特征分离分支。其中，可根据待识别的车辆属性类别数设置特征分离分支的数量。如设有n个待识别车辆属性，则可设置n个特征分离分支。通过n个特征分离分支共享MobileNet V2提取的特征。每个特征分离分支至少包括卷积层、批量规范化层(BatchNorm)和非线性层(Relu)，非线性层采用Relu函数作为激活函数。通过n个特征分离分支获取n维属性特征。进一步地，可将n维属性特征通过特征拼接(concat操作)，得到合并特征。通过这种自适应的特征分离策略，可获取更丰富的特征表达。
在步骤S03中，将所述合并特征分别输入多个特征迁移层，获取多个迁移特征，并对所述迁移特征进行分类，输出多属性识别结果：
在一实施例中，特征迁移层可由卷积核为1*1的卷积层组成，输出通道数等于输入通道数，不同位置间不相互影响，也不会对输入的特征图进行下采样，可保持特征图原有的特征维度。具体地，可针对每个待识别属性类别设置一个特征迁移层。将合并特征分别输入每个特征迁移层进行特征过滤，得到每一个待识别属性类别的专用特征(即迁移特征)。
在一实施例中，在每个特征迁移层后接入至少一层全连接层，对迁移特征进行分类。其中，最后一层全连接层的神经元数量等于每个车辆属性对应的分类类别数目，如车辆属性颜色对应的分类类别数目可包括白色、红色、黑色等。
在一实施例中，可通过最后一层全连接层获取每一个车辆属性类别的得分，并将该得分通过softmax函数获取概率输出。将概率输出与真实车辆属性类别的one hot形式进行交叉熵损失函数的计算。得到各车辆属性的分类损失。进一步地，可将各分类损失进行加权求和得到总的损失值，利用总损失值计算整个识别模型参数的梯度，采用随机梯度下降法进行参数更新，调节参数直至识别模型收敛到稳定状态为止。
完成识别模型训练后，可将待识别的车辆图像输入识别模型中，通过识别模型输出多属性识别结果。
请参阅图3本实施例中还提供了一种基于自适应卷积神经网络的目标属性识别系统，用于执行前述方法实施例中所述的基于自适应卷积神经网络的目标属性识别方法。由于装置实施例的技术原理与前述方法实施例的技术原理相似，因而不再对同样的技术细节做重复性赘述。
在一实施例中，基于自适应卷积神经网络的目标属性识别系统包括特征提取模块10、特征分离模块11和多属性识别模块12，特征提取模块10用于辅助执行前述方法实施例介绍的步骤S01；特征分离模块11用于辅助执行前述方法实施例介绍的步骤S02；多属性识别模块12用于辅助执行前述方法实施例介绍的步骤S03。
在一实施例中，系统还包括特征提取模型，用于通过预训练的轻量级网络对车辆图像进行特征提取。
综上所述，本发明一种基于自适应卷积神经网络的目标属性识别方法及系统，通过轻量级神经网络的设计，将各个属性识别任务有机结合，提高多属性识别准确率；只用一个神经网络就能同时识别多种车辆属性，且特征分离分支之间共享特征，节省计算，实现高效识别；多个特征迁移层在训练时起到相互促进的作用，有助于提高各属性的识别准确率；结合轻量级深度卷积神经网络，有效缩短识别时间，利于产业化。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。
Claims (10)
1.一种基于自适应卷积神经网络的目标属性识别方法，其特征在于，包括：
对输入的待识别车辆图像进行特征提取；
根据待识别的属性类别数设置对应数量的特征分离分支，将提取的特征分别输入各所述特征分离分支获取多维属性特征，将所述多维属性特征进行拼接后得到合并特征；
将所述合并特征分别输入多个特征迁移层，获取多个迁移特征，并对所述迁移特征进行分类，输出多属性识别结果。
2.根据权利要求1所述的基于自适应卷积神经网络的目标属性识别方法，其特征在于，通过预训练的轻量级网络对所述车辆图像进行特征提取。
3.根据权利要求2所述的基于自适应卷积神经网络的目标属性识别方法，其特征在于，所述轻量级网络至少包括MobileNet V2网络。
4.根据权利要求1所述的基于自适应卷积神经网络的目标属性识别方法，其特征在于，每个所述特征分离分支至少包括：卷积层、批量规范化层、非线性层。
5.根据权利要求1所述的基于自适应卷积神经网络的目标属性识别方法，其特征在于，所述特征迁移层由卷积核为1*1的卷积层组成。
6.根据权利要求4所述的基于自适应卷积神经网络的目标属性识别方法，其特征在于，所述非线性层采用Relu函数作为激活函数。
7.根据权利要求1所述的基于自适应卷积神经网络的目标属性识别方法，其特征在于，将每个所述特征迁移层输出端连接至少一层全连接层进行分类，分别获取每一个特征迁移层对应的分类结果。
8.根据权利要求7所述的基于自适应卷积神经网络的目标属性识别方法，其特征在于，通过交叉熵构建所述全连接层的损失函数；获取每个属性类别对应的损失值，构建总损失函数，根据所述总损失函数获取网络参数梯度，并采用梯度下降法进行所述网络参数更新。
9.一种基于自适应卷积神经网络的目标属性识别系统，其特征在于，包括：
特征提取模块，用于对输入的待识别车辆图像进行特征提取；
特征分离模块，用于根据待识别的属性类别数设置对应数量的特征分离分支，将提取的特征分别输入各所述特征分离分支获取多维属性特征；
多属性识别模块，用于将所述多维属性特征进行拼接后得到合并特征，将所述合并特征分别输入多个特征迁移层，获取多个迁移特征，并对所述迁移特征进行分类，输出多属性识别结果。
10.根据权利要求9所述的基于自适应卷积神经网络的目标属性识别系统，其特征在于，包括特征提取模型，用于通过预训练的轻量级网络对所述车辆图像进行特征提取。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010818058.2A CN111931668A (zh) | 2020-08-14 | 2020-08-14 | 一种基于自适应卷积神经网络的目标属性识别方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010818058.2A CN111931668A (zh) | 2020-08-14 | 2020-08-14 | 一种基于自适应卷积神经网络的目标属性识别方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111931668A true CN111931668A (zh) | 2020-11-13 |
Family
ID=73310378
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010818058.2A Pending CN111931668A (zh) | 2020-08-14 | 2020-08-14 | 一种基于自适应卷积神经网络的目标属性识别方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111931668A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109344288A (zh) * | 2018-09-19 | 2019-02-15 | 电子科技大学 | 一种基于多模态特征结合多层注意力机制的结合视频描述方法 |
| CN110516526A (zh) * | 2019-07-03 | 2019-11-29 | 杭州电子科技大学 | 一种基于特征原型度量学习的小样本目标识别方法 |
| US20200110777A1 (en) * | 2017-06-28 | 2020-04-09 | Zhejiang University | System and Method of Graph Feature Extraction Based on Adjacency Matrix |
| CN110991349A (zh) * | 2019-12-05 | 2020-04-10 | 中国科学院重庆绿色智能技术研究院 | 一种基于度量学习的轻量级车辆属性识别方法 |
| CN111159367A (zh) * | 2019-12-11 | 2020-05-15 | 中国平安财产保险股份有限公司 | 一种信息处理方法及相关设备 |
| CN111314733A (zh) * | 2020-01-20 | 2020-06-19 | 北京百度网讯科技有限公司 | 用于评估视频清晰度的方法和装置 |
-
2020
- 2020-08-14 CN CN202010818058.2A patent/CN111931668A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200110777A1 (en) * | 2017-06-28 | 2020-04-09 | Zhejiang University | System and Method of Graph Feature Extraction Based on Adjacency Matrix |
| CN109344288A (zh) * | 2018-09-19 | 2019-02-15 | 电子科技大学 | 一种基于多模态特征结合多层注意力机制的结合视频描述方法 |
| CN110516526A (zh) * | 2019-07-03 | 2019-11-29 | 杭州电子科技大学 | 一种基于特征原型度量学习的小样本目标识别方法 |
| CN110991349A (zh) * | 2019-12-05 | 2020-04-10 | 中国科学院重庆绿色智能技术研究院 | 一种基于度量学习的轻量级车辆属性识别方法 |
| CN111159367A (zh) * | 2019-12-11 | 2020-05-15 | 中国平安财产保险股份有限公司 | 一种信息处理方法及相关设备 |
| CN111314733A (zh) * | 2020-01-20 | 2020-06-19 | 北京百度网讯科技有限公司 | 用于评估视频清晰度的方法和装置 |
Non-Patent Citations (1)
| Title |
|---|
| 张桐等: "基于深度多分支特征融合网络的光学遥感场景分类", 《光子学报》 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109902806B (zh) | 基于卷积神经网络的噪声图像目标边界框确定方法 | |
| CN108615010B (zh) | 基于平行卷积神经网络特征图融合的人脸表情识别方法 | |
| CN111310773B (zh) | 一种高效的卷积神经网络的车牌定位方法 | |
| CN109034224B (zh) | 基于双分支网络的高光谱分类方法 | |
| CN111582225B (zh) | 一种遥感图像场景分类方法及装置 | |
| CN110991349B (zh) | 一种基于度量学习的轻量级车辆属性识别方法 | |
| CN110175615B (zh) | 模型训练方法、域自适应的视觉位置识别方法及装置 | |
| CN111339935B (zh) | 一种基于可解释cnn图像分类模型的光学遥感图片分类方法 | |
| CN107025440A (zh) | 一种基于新型卷积神经网络的遥感图像道路提取方法 | |
| CN111652273B (zh) | 一种基于深度学习的rgb-d图像分类方法 | |
| CN110490915B (zh) | 一种基于卷积受限玻尔兹曼机的点云配准方法 | |
| CN114463812B (zh) | 基于双通道多分支融合特征蒸馏的低分辨率人脸识别方法 | |
| CN112733602B (zh) | 关系引导的行人属性识别方法 | |
| CN113449671A (zh) | 一种多尺度多特征融合的行人重识别方法及装置 | |
| CN116071668A (zh) | 基于多尺度特征融合的无人机航拍图像目标检测方法 | |
| CN112364705A (zh) | 基于多层次特征融合的轻量型cnn的表情识别方法 | |
| CN111310820A (zh) | 基于交叉验证深度cnn特征集成的地基气象云图分类方法 | |
| CN115965864A (zh) | 一种用于农作物病害识别的轻量级注意力机制网络 | |
| CN114972753A (zh) | 基于上下文信息聚合和辅助学习的轻量级语义分割方法及系统 | |
| CN113076873A (zh) | 一种基于多阶段训练的农作物病害长尾图像识别方法 | |
| CN115965819A (zh) | 一种基于Transformer结构的轻量化害虫识别方法 | |
| CN111695450A (zh) | 一种基于IMobileNet的人脸快速识别方法 | |
| CN111931668A (zh) | 一种基于自适应卷积神经网络的目标属性识别方法及系统 | |
| CN115512220A (zh) | 一种基于改进Unet网络模型的遥感图像道路分割方法 | |
| CN110941994B (zh) | 一种基于元类基学习器的行人重识别集成方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201113 |
|
| RJ01 | Rejection of invention patent application after publication |