CN115249228A - 胸部x射线图像识别方法、装置、计算机设备和存储介质 - Google Patents

胸部x射线图像识别方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN115249228A
CN115249228A CN202111542388.4A CN202111542388A CN115249228A CN 115249228 A CN115249228 A CN 115249228A CN 202111542388 A CN202111542388 A CN 202111542388A CN 115249228 A CN115249228 A CN 115249228A
Authority
CN
China
Prior art keywords
module
convolution
branch
chest
ray image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111542388.4A
Other languages
English (en)
Inventor
王威
文晓维
王新
罗艳红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changsha University of Science and Technology
Original Assignee
Changsha University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changsha University of Science and Technology filed Critical Changsha University of Science and Technology
Priority to CN202111542388.4A priority Critical patent/CN115249228A/zh
Publication of CN115249228A publication Critical patent/CN115249228A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种胸部X射线图像识别方法、装置、计算机设备和存储介质。所述方法包括：获取若干带标识的胸部X射线图像，并得到训练样本；构建胸部X射线图像识别网络；该网络包括stem模块、若干个连续的ConvTransBlock模块和分类网络；ConvTransBlock模块包括卷积分支、Transformer分支和FCU模块；卷积分支用于提取局部特征；Transformer分支用于提取全局特征；FCU模块用于将局部特征与全局特征进行融合；利用训练样本对网络进行训练，将训练好的胸部X射线图像识别网络用于图像识别，得到胸部X射线图像的类别。本方法的模型参数量少、收敛速度快，且识别精度较高。

Description

胸部X射线图像识别方法、装置、计算机设备和存储介质
技术领域
本申请涉及图像处理技术领域，特别是涉及一种胸部X射线图像识别方法、装置、计算机设备和存储介质。
背景技术
胸腔被喻为人体健康与疾病的镜子，因为它包含了人体许多种重要的组织结构，可以提供人体多方面的信息，如肺部疾病的诊断、肋骨骨折及损伤、心脏扩大症状、心肺系数等都可由胸部X射线图像来识别与确认。胸部X线仍为医院影像诊断的常规检查项目，即使需要ct、mri检查的病例，也常需要参考胸部X射线检查的表现。X射线胸片以其低廉的价格和微弱的放射剂量占所有放射影像诊断的40％以上。这体现了X射线胸片的在医学领域的重要应用价值。但是如何分析胸片是一项极具挑战性的任务，即使是经验丰富的专家也经常会感到棘手。近年来，深度学习已经成为人工智能中的热门研究领域之一。深度卷积神经网络(Deep Convolutional Neural Network,DCNN)在图像识别、图像分割和目标检测等计算机视觉任务中均有着优异的表现，并且被广泛应用于医学图像处理领域，能够解决医学图像领域中复杂的计算机视觉问题。
胸部X射线图像具有类别间相似度高且类别内变异性低，这增加了网络模型识别胸部X射线图像病灶信息的难度。在COVID-19疫情爆发后，使用DCNN对COVID-19进行检测已经成为一种公认的研究方向，同时，该方向下涌现了许多出色的研究成果。但是现有的研究成果中模型的参数量随着分类准确率的提升而增多，并且网络收敛速度低。
发明内容
基于此，有必要针对上述技术问题，提供一种胸部X射线图像识别方法、装置、计算机设备和存储介质。
一种胸部X射线图像识别方法，所述方法包括：
获取若干带标识的胸部X射线图像，并对所述胸部X射线图像进行预处理，得到训练样本。
构建胸部X射线图像识别网络；所述胸部X射线图像识别网络包括stem模块、特征提取网络和分类网络；所述Stem模块用于通过卷积和最大值池化操作提取训练样本的初始局部特征；所述特征提取网络包括若干个连续的ConvTransBlock模块，所述ConvTransBlock模块包括卷积分支、Transformer分支以及桥接双分支的FCU模块；所述卷积分支用于采用由卷积层构成的反残差结构提取输入特征的局部特征；所述Transformer分支用于提取输入特征的复杂空间变换和长距离特征的依赖性，得到全局特征；所述FCU模块用于将卷积分支的局部特征与Transformer分支的全局特征进行融合；所述分类网络用于根据最后一个ConvTransBlock模块的卷积分支和Transformer分支的输出特征分别进行图像识别，并将得到的两个分类预测结果进行融合，得到样本预测分类结果。
根据所述训练样本的标识和将所述训练样本输入到所述胸部X射线图像识别网络得到的样本预测分类结果，对所述胸部X射线图像识别网络进行训练，得到训练好的胸部X射线图像识别网络。
将待测胸部X射线图像输入到训练好的胸部X射线图像识别网络中，得到胸部X射线图像的类别。
一种胸部X射线图像识别装置，所述装置包括：
训练样本确定模块，用于获取若干带标识的胸部X射线图像，并对所述胸部X射线图像进行预处理，得到训练样本。
胸部X射线图像识别网络构建模块，用于构建胸部X射线图像识别网络；所述胸部X射线图像识别网络包括stem模块、特征提取网络和分类网络；所述Stem模块用于通过卷积和最大值池化操作提取训练样本的初始局部特征；所述特征提取网络包括若干个连续的ConvTransBlock模块；所述ConvTransBlock模块包括卷积分支、Transformer分支以及桥接双分支的FCU模块；所述卷积分支用于采用由卷积层构成的反残差结构提取输入特征的局部特征；所述Transformer分支用于提取输入特征的复杂空间变换和长距离特征的依赖性，得到全局特征；所述FCU模块用于将卷积分支的局部特征与Transformer分支的全局特征进行融合；所述分类网络用于根据最后一个ConvTransBlock模块的卷积分支和Transformer分支的输出特征分别进行图像识别，并将得到的两个分类预测结果进行融合，得到样本预测分类结果。
胸部X射线图像识别网络训练模块，用于根据所述训练样本的标识和将所述训练样本输入到所述胸部X射线图像识别网络得到的样本预测分类结果，对所述胸部X射线图像识别网络进行训练，得到训练好的胸部X射线图像识别网络。
胸部X射线图像的类别确定模块，用于将待测胸部X射线图像输入到训练好的胸部X射线图像识别网络中，得到胸部X射线图像的类别。
上述胸部X射线图像识别方法、装置、计算机设备和存储介质，所述方法包括：获取若干带标识的胸部X射线图像，并对其进行预处理，得到训练样本；构建胸部X射线图像识别网络；该包括stem模块、若干个连续的ConvTransBlock模块和分类网络；ConvTransBlock模块包括卷积分支、Transformer分支以及桥接双分支的FCU模块；卷积分支用于提取输入特征的局部特征；Transformer分支用于全局特征；FCU模块用于将卷积分支的局部特征与Transformer分支的全局特征进行融合；利用训练样本对该网络进行训练，利用训练好的胸部X射线图像识别网络对待测胸部X射线图像进行识别，得到胸部X射线图像的类别。本方法的模型参数量少、收敛速度快，具有较高的识别精度。
附图说明
图1为一个实施例中胸部X射线图像识别方法的流程示意图；
图2为一个实施例中胸部X射线图像识别结构图；
图3为一个实施例中ConvTransBlock模块结构图；
图4为另一个实施例中FCU结构；
图5为一个实施例中胸部X射线图像识别装置的结构框图；
图6为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，如图1所示，提供了一种胸部X射线图像识别方法，该方法包括以下步骤：
一种胸部X射线图像识别方法，方法包括：
步骤100：获取若干带标识的胸部X射线图像，并对胸部X射线图像进行预处理，得到训练样本。
具体的，胸部X射线图像包括细菌性肺炎(Pneu-Bacteria)、病毒性肺炎(Pneu-Viral)、新冠肺炎(COVID-19)以及正常(Noremal)的胸部X射线图像。
步骤102：构建胸部X射线图像识别网络。
胸部X射线图像识别网络包括stem模块、特征提取网络和分类网络。
Stem模块用于通过卷积和最大值池化操作提取训练样本的初始局部特征。
特征提取网络包括若干个连续的ConvTransBlock模块；ConvTransBlock模块包括卷积分支、Transformer分支以及桥接双分支的FCU模块；卷积分支用于采用由卷积层构成的反残差结构提取输入特征的局部特征；Transformer分支用于提取输入特征的复杂空间变换和长距离特征的依赖性，得到全局特征；FCU模块用于将卷积分支的局部特征与Transformer分支的全局特征进行融合。卷积网络擅长提取图片局部特征，而transformer结构擅长提取图片的全局特征。
分类网络用于根据最后一个ConvTransBlock模块的卷积分支和Transformer分支的输出特征分别进行图像识别，并将得到的两个分类预测结果进行融合，得到样本预测分类结果。
卷积网络擅长提取图片局部特征，而transformer结构擅长提取图片的全局特征，根据卷积网络和transformer结构各自提取图像特征的特点，改进提出一种新的并联网络模块胸部X射线图像识别网络。针对卷积网络与transformer网络提取特征时，特征维度不一致该模块采用FCU结构进行信息交互。针对transformer结构往往参数量大且收敛速度慢，该结构运用参数量较小的反残差结构进行卷积特征提取，以减少参数量、加快收敛速度。
步骤104：根据训练样本的标识和将训练样本输入到胸部X射线图像识别网络得到的样本预测分类结果，对胸部X射线图像识别网络进行训练，得到训练好的胸部X射线图像识别网络。
步骤106：将待测胸部X射线图像输入到训练好的胸部X射线图像识别网络中，得到胸部X射线图像的类别。
上述胸部X射线图像识别方法中，所述方法包括：获取若干带标识的胸部X射线图像，并对其进行预处理，得到训练样本；构建胸部X射线图像识别网络；该网络包括stem模块、若干个连续的ConvTransBlock模块和分类网络；ConvTransBlock模块包括卷积分支、Transformer分支以及桥接双分支的FCU模块；卷积分支用于提取输入特征的局部特征；Transformer分支用于全局特征；FCU模块用于将卷积分支的局部特征与Transformer分支的全局特征进行融合；利用训练样本对该网络进行训练，利用训练好的胸部X射线图像识别网络对待测胸部X射线图像进行识别，得到胸部X射线图像的类别。本方法的模型参数量少、收敛速度快，识别胸部X射线图像时具有较高的识别精度，尤其对各类肺炎患者的胸部X射线图像都具有很强的识别能力，在该疾病的辅助诊断过程中有着重要的意义。
在其中一个实施例中，Stem模块由1层卷积层和1层最大值池化层组成；特征提取网络还包括1个卷积分支和1个Transformer分支；步骤104包括：将训练样本输入到Stem模块的卷积层进行特征提取，并将提取到的特征输入到最大值池化层，得到初始局部特征；将初始局部特征和经过Project模块和归一化处理后的初始局部特征分别输入到卷特征提取网络的卷积分支和Transformer分支中，得到第一个ConvTransBlock模块的卷积分支输入特征和Transformer分支输入特征；将卷积分支输入特征和Transformer分支输入特征输入到第一个ConvTransBlock模块中，得到第一局部特征和第一全局特征；将第一局部特征和第一全局特征分别作为第二个ConvTransBlock模块的卷积分支和Transformer分支的输入进行特征提取，依此类推，将得到的第N-1个ConvTransBlock模块输出的第N-1局部特征和第N-1全局特征分别输入到第N个ConvTransBlock模块的卷积分支和Transformer分支，得到局部特征和全局特征；将局部特征和全局特征输入到分类网络中，得到样本预测分类结果；根据训练样本的标识、样本预测分类结果以及预设的损失函数，对胸部X射线图像识别网络进行训练，得到训练好的胸部X射线图像识别网络。
Procject模块包含：patch embedding和class embedding操作，Procject模块用于将给定的输入特征图像被分割成固定大小的小块后，通过patch embedding操作展开成一维向量后，再经过class embedding操作，在一维向量中加入class_token向量后输出一维向量；其中class_token是transformer分支中进行分类要用的一个向量。例如：14*14的特征图经过patch embedding变为196*1的特征向量，经过class embedding加入class_token后变为197*1的特征向量。class embedding的主要特点是：(1)不基于图像内容；(2)位置编码固定。
具体的，胸部X射线图像识别网络的结构如图2所示。胸部X射线图像识别网络包括一个stem模块、N个ConvTransBlock模块和两个分类器。Stem模块由一个步长为2的7×7卷积和步长为2的3×3的最大值池化层组成，用于提取初始局部特征。N个ConvTransBlock模块先后连接，组成一个分别由卷积分支和Transformer分支组成的双分支的特征提取网络，Transformer分支是将初始局部特征通过project模块进行连接映射，将特征图转换为指定维度的特征向量，而卷积分支是将初始局部特征图直接输入到分支中。ConvTransBlock模块的卷积分支和Transformer分支分别由多个卷积层和Transformer块组成，ConvTransBlock模块的结构如图3所示。这种并发结构意味着卷积分支和Transformer分支分别可以最大限度地保留局部特征和全局表示。FCU作为一个桥接模块将卷积分支的局部特征与Transformer分支的全局特征融合，沿着这些分支结构，FCU会以交互式的方式逐步融合特征图和patch embedding。
最后，对于由卷积分支组成的分支，所有的特征被合并之后输入给一个分类器。对于有Transformer分支组成分支，在transformer中会在其中嵌入可训练的类别编码，类别编码通过将类别编号添加至输入维度来嵌入，由于卷积分支中已包含位置信息，transformer将不用嵌入位置编码，最后送入给上分支网络分类器进行分类。
在其中一个实施例中，如图3所示的ConvTransBlock模块结构图，卷积分支由两个反残差模块组成；反残差模块由1层点卷积层、1层深度卷积层和1层点卷积层组成，深度卷积层的卷积核为3×3；Transformer分支包括多头注意力机制和多层感知器；FCU模块包括下采样融合分支和上采样融合分支；步骤104还包括：将所述卷积分支输入特征输入到第一个ConvTransBlock模块的卷积分支的第一个反残差模块的第一个点卷积层中进行特征提取，并将提取的特征进行归一化处理，得到第一标准化局部特征；将第一标准化局部特征输入到第一个ConvTransBlock模块的卷积分支的第一个反残差模块的深度卷积层中，并将得到的结果进行归一化处理，得到第一深度卷积特征；将第一深度卷积特征输入到第一个ConvTransBlock模块的卷积分支的第一个反残差模块的第二个点卷积层中，得到第二卷积特征；将第二卷积特征和初始局部特征进行加和，将得到的结果输入到第一个ConvTransBlock模块的卷积分支的第二个反残差模块的第一个点卷积层中，得到第三卷积特征；将第一深度卷积特征输入到第一个ConvTransBlock模块的FCU模块的下采样融合分支中，得到局部融合特征；将局部融合特征与初始局部特征通过Project模块处理后得到的特征图进行加和，得到Transformer分支输入特征；将Transformer分支输入特征进行归一化处理后输入到第一个ConvTransBlock模块的Transformer分支的多头注意力机制中，得到全局注意力特征；将Transformer分支输入特征与全局注意力特征进行加和后进行归一化处理，将得到的归一化结果输入到第一个ConvTransBlock模块的Transformer分支的多层感知器中，得到第一全局特征；将第一全局特征输入到第一个ConvTransBlock模块的FCU模块的上采样融合分支中，得到全局融合特征；将第三卷积特征和全局融合特征进行加和后输入到第一个ConvTransBlock模块的卷积分支的第二个反残差模块的深度卷积层中，并将得到的结果进行归一化处理，得到第二深度卷积特征；将第二深度卷积特征输入到第一个ConvTransBlock模块的卷积分支的第二个反残差模块的第二个点卷积层中，并将得到的卷积结果和第二卷积特征进行加和，得到第一局部特征。
具体的，ConvTransBlock模块由三部分组成：卷积分支、Transformer分支、特征耦合单元(FCU模块)。该模块中的卷积分支用于收集局部特征，并保留局部线索作为特征，相较于经典的卷积层，残差结构参数更小，更容易收敛。
卷积分支由两个反残差结构组成，其中1×1的卷积用于改变通道数，3×3的深度卷积(Depthwise Convolution,DW卷积)用于提取各通道的特征。
Transformer分支用于提取复杂的空间变换和长距离特征依赖性，从而获得全局特征表示。
Transformer分支由两部分组成：多头注意力机制和多层感知器(MLP),两部分前均运用LayerNorm进行归一化，给定的输入特征图像被分割成固定大小的小块后展开成的一维向量(patch embedding)输入transformer分支内，由于卷积分支(3×3DW卷积)同时编码局部特征和空间位置信息，因此该分支中的transformer结构不再需要位置编码(position encoding)。
FCU模块的作用在于消除给定卷积分支中的特性映射和Transformer分支中的patch embedding之间的特征错位，因为卷积分支和Transformer分支的产生特征维度是不一致需要进行维度对齐，因此，当输入给Transformer分支时，首先需要通过1×1卷积来对齐通道维度，然后进行下采样操作将特征图转变为对应transformer分支的特征向量，如图4所示。当从Transformer分支中的一维特征向量送入到卷积分支时，也是需要通过1×1卷积来对齐通道维度，进行上采样操作将特征向量转变为特征图，由于特征向量在进行维度转变时，1×196的特征向量只能转换为对应14×14的特征图，所以将1×196转变为更大的特征图时要进行上采样处理进行向量填充，如图4所示。
此外LayerNorm和Batch Normalization分别用于transformer分支和卷积分支中进行特征的归一化处理。
图3中BN代表Batch Normalization，是一种数据归一化方法。其作用可以加快模型训练时的收敛速度，使得模型训练过程更加稳定，避免梯度爆炸或者梯度消失。
在其中一个实施例中，下采样融合分支包括点卷积层和下采样模块；步骤104还包括：将第一深度卷积特征输入到第一个ConvTransBlock模块的FCU模块的下采样分支的点卷积层中进行通道维度对齐，并将得到的通道维度对齐的特征输入到第一个ConvTransBlock模块的FCU模块的下采样分支中的下采样模块进行下采样；将得到的下采样结果进行归一化处理，得到局部融合特征。
在其中一个实施例中，上采样融合分支包括点卷积层和下采样模块；步骤104还包括：将第一全局特征输入到第一个ConvTransBlock模块的FCU模块的上采样分支中的上采样模块中，得到上采样结果；将上采样结果输入到第一个ConvTransBlock模块的FCU模块的点卷积层中，并将得到的通道维度对齐的特征；输入到第一个ConvTransBlock模块的FCU模块的上采样分支的下采样模块中进行下采样；将得到的上采样结果进行归一化处理，得到全局融合特征。
在其中一个实施例中，分类网络包括两个分类器；步骤104还包括：将局部特征进行池化处理后输入到第一个分类器中，得到第一预测分类结果；将全局特征输入到第二个分类器中，得到第二预测分类结果；将第一预测分类结果和第二预测分类结果进行加和，得到样本预测分类结果。
在其中一个实施例中，预设的损失函数为两个交叉熵损失函数。
应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图5所示，提供了一种胸部X射线图像识别装置，包括：训练样本确定模块、胸部X射线图像识别网络构建模块、胸部X射线图像识别网络训练模块和胸部X射线图像的类别确定模块，其中：
训练样本确定模块，用于获取若干带标识的胸部X射线图像，并对胸部X射线图像进行预处理，得到训练样本。
胸部X射线图像识别网络构建模块，用于构建胸部X射线图像识别网络；胸部X射线图像识别网络包括stem模块、特征提取网络和分类网络；Stem模块用于通过卷积和最大值池化操作提取训练样本的初始局部特征；特征提取网络包括若干个连续的ConvTransBlock模块；ConvTransBlock模块包括卷积分支、Transformer分支以及桥接双分支的FCU模块；卷积分支用于采用由卷积层构成的反残差结构提取输入特征的局部特征；Transformer分支用于提取输入特征的复杂空间变换和长距离特征的依赖性，得到全局特征；FCU模块用于将卷积分支的局部特征与Transformer分支的全局特征进行融合；分类网络用于根据最后一个ConvTransBlock模块的卷积分支和Transformer分支的输出特征分别进行图像识别，并将得到的两个分类预测结果进行融合，得到样本预测分类结果。
胸部X射线图像识别网络训练模块，用于根据训练样本的标识和将训练样本输入到胸部X射线图像识别网络得到的样本预测分类结果，对胸部X射线图像识别网络进行训练，得到训练好的胸部X射线图像识别网络。
胸部X射线图像的类别确定模块，用于将待测胸部X射线图像输入到训练好的胸部X射线图像识别网络中，得到胸部X射线图像的类别。
在其中一个实施例中，Stem模块由1层卷积层和1层最大值池化层组成；特征提取网络还包括1个卷积分支和1个Transformer分支；胸部X射线图像识别网络训练模块，还用于将训练样本输入到Stem模块的卷积层进行特征提取，并将提取到的特征输入到最大值池化层，得到初始局部特征；将初始局部特征和经过Project模块和归一化处理后的初始局部特征分别输入到卷特征提取网络的卷积分支和Transformer分支中，得到第一个ConvTransBlock模块的卷积分支输入特征和Transformer分支输入特征；将卷积分支输入特征和Transformer分支输入特征输入到第一个ConvTransBlock模块中，得到第一局部特征和第一全局特征；将第一局部特征和第一全局特征分别作为第二个ConvTransBlock模块的卷积分支和Transformer分支的输入进行特征提取，依此类推，将得到的第N-1个ConvTransBlock模块输出的第N-1局部特征和第N-1全局特征分别输入到第N个ConvTransBlock模块的卷积分支和Transformer分支，得到局部特征和全局特征；将局部特征和全局特征输入到分类网络中，得到样本预测分类结果；根据训练样本的标识、样本预测分类结果以及预设的损失函数，对胸部X射线图像识别网络进行训练，得到训练好的胸部X射线图像识别网络。
在其中一个实施例中，卷积分支由两个反残差模块组成；反残差模块由1层点卷积层、1层深度卷积层和1层点卷积层组成，深度卷积层的卷积核为3×3；Transformer分支包括多头注意力机制和多层感知器；FCU模块包括下采样融合分支和上采样融合分支；胸部X射线图像识别网络训练模块，还用于将所述卷积分支输入特征输入到第一个ConvTransBlock模块的卷积分支的第一个反残差模块的第一个点卷积层中进行特征提取，并将提取的特征进行归一化处理，得到第一标准化局部特征；将第一标准化局部特征输入到第一个ConvTransBlock模块的卷积分支的第一个反残差模块的深度卷积层中，并将得到的结果进行归一化处理，得到第一深度卷积特征；将第一深度卷积特征输入到第一个ConvTransBlock模块的卷积分支的第一个反残差模块的第二个点卷积层中，得到第二卷积特征；将第二卷积特征和初始局部特征进行加和，将得到的结果输入到第一个ConvTransBlock模块的卷积分支的第二个反残差模块的第一个点卷积层中，得到第三卷积特征；将第一深度卷积特征输入到第一个ConvTransBlock模块的FCU模块的下采样融合分支中，得到局部融合特征；将局部融合特征与初始局部特征通过Project模块处理后得到的特征图进行加和，得到Transformer分支输入特征；将Transformer分支输入特征进行归一化处理后输入到第一个ConvTransBlock模块的Transformer分支的多头注意力机制中，得到全局注意力特征；将Transformer分支输入特征与全局注意力特征进行加和后进行归一化处理，将得到的归一化结果输入到第一个ConvTransBlock模块的Transformer分支的多层感知器中，得到第一全局特征；将第一全局特征输入到第一个ConvTransBlock模块的FCU模块的上采样融合分支中，得到全局融合特征；将第三卷积特征和全局融合特征进行加和后输入到第一个ConvTransBlock模块的卷积分支的第二个反残差模块的深度卷积层中，并将得到的结果进行归一化处理，得到第二深度卷积特征；将第二深度卷积特征输入到第一个ConvTransBlock模块的卷积分支的第二个反残差模块的第二个点卷积层中，并将得到的卷积结果和第二卷积特征进行加和，得到第一局部特征。
在其中一个实施例中，下采样融合分支包括点卷积层和下采样模块；胸部X射线图像识别网络训练模块，还用于将第一深度卷积特征输入到第一个ConvTransBlock模块的FCU模块的下采样分支的点卷积层中进行通道维度对齐，并将得到的通道维度对齐的特征输入到第一个ConvTransBlock模块的FCU模块的下采样分支中的下采样模块进行下采样；将得到的下采样结果进行归一化处理，得到局部融合特征。
在其中一个实施例中，上采样融合分支包括点卷积层和下采样模块；胸部X射线图像识别网络训练模块，还用于将第一全局特征输入到第一个ConvTransBlock模块的FCU模块的上采样分支中的上采样模块中，得到上采样结果；将上采样结果输入到第一个ConvTransBlock模块的FCU模块的点卷积层中，并将得到的通道维度对齐的特征；输入到第一个ConvTransBlock模块的FCU模块的上采样分支的下采样模块中进行下采样；将得到的上采样结果进行归一化处理，得到全局融合特征。
在其中一个实施例中，分类网络包括两个分类器；胸部X射线图像识别网络训练模块，还用于将局部特征进行池化处理后输入到第一个分类器中，得到第一预测分类结果；将全局特征输入到第二个分类器中，得到第二预测分类结果；将第一预测分类结果和第二预测分类结果进行加和，得到样本预测分类结果。
在其中一个实施例中，胸部X射线图像识别网络训练模块中预设的损失函数为两个交叉熵损失函数。作为优选，两个交叉熵损失函数的重要性权重设置为是相同。
关于胸部X射线图像识别装置的具体限定可以参见上文中对于胸部X射线图像识别方法的限定，在此不再赘述。上述胸部X射线图像识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种胸部X射线图像识别方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现上述实施例中方法的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例中方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
在一个验证性实施例中，实验数据集应用MCFF-Ne论文中的医学图像分类数据集Dataset-B进行实验，Dataset-B收集了来自于五个不同公共数据库中的CXR图像，这些数据库分别是：(1)Actualmed-COVID-chestxray-dataset；(2)COVID-19RadiographyDatabase；(3)Figure1-COVID-chestxray-dataset；(4)Pneumonia Virus vs PneumoniaBacteria；(5)Chest X-ray Image。Dataset-B包含四种类别的CXR图像，分别为COVID-19、正常、细菌性肺炎和病毒性肺炎，总计5985张。训练集共5300张，其中COVID-19患者图像800张，正常图像1300张，病毒性肺炎1600张，细菌性肺炎1600张。测试集共741张图片，其中COVID-19患者图像142张，正常图像200张，细菌性肺炎202张，病毒性肺炎197张。
(1)模型复杂度和有效性
本网络与conformer网络和ResNet101网络的参数量和计算量如表1所示，本发明提出的网络结构缓解了transformer网路结构参数量计算量较大的问题，并且从测试集上各项指标结果对比本文提出的网络结构更容易收敛。
表1模型的参数量与计算量
Figure BDA0003409047590000141
为了体现本网络在医学图像分类数据集上的识别效果，使用ResNet101网络模型与Conformer-Ti网络模型进行对比实验。表2为在同等的硬件环境下，运行120个epoch记录ResNet101网络模型、Conformer-Ti网络模型、本网络在数据集上的最佳准确率。由表2可以看出本网络的分类准确率比ResNet101网络模型高出1％左右，比Conformer-Ti网络模型准确率高出2％。
可以发现本网络模型的准确率的数值平稳性优于ResNet101网络模型和Conformer-Ti网络模型。同时，可以通过计算得出这三种网络的其他模型评价指标的值，如灵敏度，特异度，精度，F1值等
表2测试集上各项指标结果
Figure BDA0003409047590000151
上述结果表明本网络模型在实验的胸部X射线图像数据集上的最佳准确率可达95.33％，识别肺炎的精度与灵敏度分别为95.30％与95.33％。相比其他方法，本网络模型能更快速地从胸部X射线图像中检测出各项肺炎，能帮助提升人工阅片的准确率，节省影像科医生的精力。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种胸部X射线图像识别方法，其特征在于，所述方法包括：
获取若干带标识的胸部X射线图像，并对所述胸部X射线图像进行预处理，得到训练样本；
构建胸部X射线图像识别网络；所述胸部X射线图像识别网络包括stem模块、特征提取网络和分类网络；所述Stem模块用于通过卷积和最大值池化操作提取训练样本的初始局部特征；所述特征提取网络包括若干个连续的ConvTransBlock模块，所述ConvTransBlock模块包括卷积分支、Transformer分支以及桥接双分支的FCU模块；所述卷积分支用于采用由卷积层构成的反残差结构提取输入特征的局部特征；所述Transformer分支用于提取输入特征的复杂空间变换和长距离特征的依赖性，得到全局特征；所述FCU模块用于将卷积分支的局部特征与Transformer分支的全局特征进行融合；所述分类网络用于根据最后一个ConvTransBlock模块的卷积分支和Transformer分支的输出特征分别进行图像识别，并将得到的两个分类预测结果进行融合，得到样本预测分类结果；
根据所述训练样本的标识和将所述训练样本输入到所述胸部X射线图像识别网络得到的样本预测分类结果，对所述胸部X射线图像识别网络进行训练，得到训练好的胸部X射线图像识别网络；
将待测胸部X射线图像输入到训练好的胸部X射线图像识别网络中，得到胸部X射线图像的类别。
2.根据权利要求1所述方法，其特征在于，所述Stem模块由1层卷积层和1层最大值池化层组成；所述特征提取网络还包括1个卷积分支和1个Transformer分支；
根据所述训练样本的标识和将所述训练样本输入到所述胸部X射线图像识别网络得到的样本预测分类结果，对所述胸部X射线图像识别网络进行训练，得到训练好的胸部X射线图像识别网络，包括：
将所述训练样本输入到Stem模块的卷积层进行特征提取，并将提取到的特征输入到最大值池化层，得到初始局部特征；
将所述初始局部特征和经过Project模块和归一化处理后的初始局部特征分别输入到卷特征提取网络的卷积分支和Transformer分支中，得到第一个ConvTransBlock模块的卷积分支输入特征和Transformer分支输入特征；
将所述卷积分支输入特征和所述Transformer分支输入特征输入到第一个ConvTransBlock模块中，得到第一局部特征和第一全局特征；
将第一局部特征和第一全局特征分别作为第二个ConvTransBlock模块的卷积分支和Transformer分支的输入进行特征提取，依此类推，将得到的第N-1个ConvTransBlock模块输出的第N-1局部特征和第N-1全局特征分别输入到第N个ConvTransBlock模块的卷积分支和Transformer分支，得到局部特征和全局特征；
将所述局部特征和所述全局特征输入到分类网络中，得到样本预测分类结果；
根据所述训练样本的标识、所述样本预测分类结果以及预设的损失函数，对所述胸部X射线图像识别网络进行训练，得到训练好的胸部X射线图像识别网络。
3.根据权利要求2所述的方法，其特征在于，所述卷积分支由两个反残差模块组成；所述反残差模块由1层点卷积层、1层深度卷积层和1层点卷积层组成，所述深度卷积层的卷积核为3×3；所述Transformer分支包括多头注意力机制和多层感知器；所述FCU模块包括下采样融合分支和上采样融合分支；
将所述卷积分支输入特征和所述Transformer分支输入特征输入到第一个ConvTransBlock模块中，得到第一局部特征和第一全局特征，包括：
将所述卷积分支输入特征输入到第一个ConvTransBlock模块的卷积分支的第一个反残差模块的第一个点卷积层中进行特征提取，并将提取的特征进行归一化处理，得到第一标准化局部特征；
将所述第一标准化局部特征输入到第一个ConvTransBlock模块的卷积分支的第一个反残差模块的深度卷积层中，并将得到的结果进行归一化处理，得到第一深度卷积特征；
将所述第一深度卷积特征输入到第一个ConvTransBlock模块的卷积分支的第一个反残差模块的第二个点卷积层中，得到第二卷积特征；
将所述第二卷积特征和所述初始局部特征进行加和，将得到的结果输入到第一个ConvTransBlock模块的卷积分支的第二个反残差模块的第一个点卷积层中，得到第三卷积特征；
将所述第一深度卷积特征输入到第一个ConvTransBlock模块的FCU模块的下采样融合分支中，得到局部融合特征；
将所述Transformer分支输入特征输入到第一个ConvTransBlock模块的Transformer分支的多头注意力机制中，得到全局注意力特征；
将所述Transformer分支输入特征与所述全局注意力特征进行加和后进行归一化处理，将得到的归一化结果输入到第一个ConvTransBlock模块的Transformer分支的多层感知器中，得到第一全局特征；
将所述第一全局特征输入到第一个ConvTransBlock模块的FCU模块的上采样融合分支中，得到全局融合特征；
将所述第三卷积特征和所述全局融合特征进行加和后输入到第一个ConvTransBlock模块的卷积分支的第二个反残差模块的深度卷积层中，并将得到的结果进行归一化处理，得到第二深度卷积特征；
将所述第二深度卷积特征输入到第一个ConvTransBlock模块的卷积分支的第二个反残差模块的第二个点卷积层中，并将得到的卷积结果和所述第二卷积特征进行加和，得到第一局部特征。
4.根据权利要求3所述的方法，其特征在于，所述下采样融合分支包括点卷积层和下采样模块；
将所述第一深度卷积特征输入到第一个ConvTransBlock模块的FCU模块的下采样融合分支中，得到局部融合特征，包括：
将所述第一深度卷积特征输入到第一个ConvTransBlock模块的FCU模块的下采样分支的点卷积层中进行通道维度对齐，并将得到的通道维度对齐的特征输入到第一个ConvTransBlock模块的FCU模块的下采样分支中的下采样模块进行下采样；
将得到的下采样结果进行归一化处理，得到局部融合特征。
5.根据权利要求3所述的方法，其特征在于，所述上采样融合分支包括点卷积层和下采样模块；
将所述第一全局特征输入到第一个ConvTransBlock模块的FCU模块的上采样融合分支中，得到全局融合特征，包括：
将所述第一全局特征输入到第一个ConvTransBlock模块的FCU模块的上采样分支中的上采样模块中，得到上采样结果；
将所述上采样结果输入到第一个ConvTransBlock模块的FCU模块的点卷积层中，并将得到的通道维度对齐的特征；输入到第一个ConvTransBlock模块的FCU模块的上采样分支的下采样模块中进行下采样；
将得到的上采样结果进行归一化处理，得到全局融合特征。
6.根据权利要求2所述的方法，其特征在于，分类网络包括两个分类器；
将所述局部特征和所述全局特征输入到分类网络中，得到样本预测分类结果，包括：
将所述局部特征进行池化处理后输入到第一个分类器中，得到第一预测分类结果；
将所述全局特征输入到第二个分类器中，得到第二预测分类结果；
将所述第一预测分类结果和所述第二预测分类结果进行加和，得到样本预测分类结果。
7.根据权利要求2所述的方法，其特征在于，根据所述训练样本的标识、所述样本预测分类结果以及预设的损失函数，对所述胸部X射线图像识别网络进行训练，得到训练好的胸部X射线图像识别网络，步骤中所述预设的损失函数为两个交叉熵损失函数。
8.一种胸部X射线图像识别装置，其特征在于，所述装置包括：
训练样本确定模块，用于获取若干带标识的胸部X射线图像，并对所述胸部X射线图像进行预处理，得到训练样本；
胸部X射线图像识别网络构建模块，用于构建胸部X射线图像识别网络；所述胸部X射线图像识别网络包括stem模块、特征提取网络和分类网络；所述Stem模块用于通过卷积和最大值池化操作提取训练样本的初始局部特征；所述特征提取网络包括若干个连续的ConvTransBlock模块；所述ConvTransBlock模块包括卷积分支、Transformer分支以及桥接双分支的FCU模块；所述卷积分支用于采用由卷积层构成的反残差结构提取输入特征的局部特征；所述Transformer分支用于提取输入特征的复杂空间变换和长距离特征的依赖性，得到全局特征；所述FCU模块用于将卷积分支的局部特征与Transformer分支的全局特征进行融合；所述分类网络用于根据最后一个ConvTransBlock模块的卷积分支和Transformer分支的输出特征分别进行图像识别，并将得到的两个分类预测结果进行融合，得到样本预测分类结果；
胸部X射线图像识别网络训练模块，用于根据所述训练样本的标识和将所述训练样本输入到所述胸部X射线图像识别网络得到的样本预测分类结果，对所述胸部X射线图像识别网络进行训练，得到训练好的胸部X射线图像识别网络；
胸部X射线图像的类别确定模块，用于将待测胸部X射线图像输入到训练好的胸部X射线图像识别网络中，得到胸部X射线图像的类别。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储器，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述方法的步骤。
CN202111542388.4A 2021-12-14 2021-12-14 胸部x射线图像识别方法、装置、计算机设备和存储介质 Pending CN115249228A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111542388.4A CN115249228A (zh) 2021-12-14 2021-12-14 胸部x射线图像识别方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111542388.4A CN115249228A (zh) 2021-12-14 2021-12-14 胸部x射线图像识别方法、装置、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN115249228A true CN115249228A (zh) 2022-10-28

Family

ID=83697704

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111542388.4A Pending CN115249228A (zh) 2021-12-14 2021-12-14 胸部x射线图像识别方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN115249228A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117372744A (zh) * 2023-09-21 2024-01-09 深圳市眼科医院(深圳市眼病防治研究所) 眼表彩色照相图像分类方法、系统、电子设备及存储介质
CN117708507A (zh) * 2024-02-05 2024-03-15 成都麦特斯科技有限公司 一种基于人工智能的高效α和β射线的识别与分类方法
CN118334752A (zh) * 2024-06-11 2024-07-12 杭州智诺科技股份有限公司 融合3dcnn与注意力机制的行为识别模型训练方法和系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117372744A (zh) * 2023-09-21 2024-01-09 深圳市眼科医院(深圳市眼病防治研究所) 眼表彩色照相图像分类方法、系统、电子设备及存储介质
CN117708507A (zh) * 2024-02-05 2024-03-15 成都麦特斯科技有限公司 一种基于人工智能的高效α和β射线的识别与分类方法
CN117708507B (zh) * 2024-02-05 2024-04-26 成都麦特斯科技有限公司 一种基于人工智能的高效α和β射线的识别与分类方法
CN118334752A (zh) * 2024-06-11 2024-07-12 杭州智诺科技股份有限公司 融合3dcnn与注意力机制的行为识别模型训练方法和系统
CN118334752B (zh) * 2024-06-11 2024-08-30 杭州智诺科技股份有限公司 融合3dcnn与注意力机制的行为识别模型训练方法和系统

Similar Documents

Publication Publication Date Title
JP7143008B2 (ja) 深層学習に基づく医用画像検出方法及び装置、電子機器及びコンピュータプログラム
Khouloud et al. W-net and inception residual network for skin lesion segmentation and classification
CN115249228A (zh) 胸部x射线图像识别方法、装置、计算机设备和存储介质
Štern et al. Automated age estimation from hand MRI volumes using deep learning
Farhan et al. Automatic lung disease classification from the chest X-ray images using hybrid deep learning algorithm
CN109308495B (zh) 从患者的医学图像自动预测生理状况的装置和系统
CN113850753B (zh) 医学图像信息计算方法、装置、边缘计算设备和存储介质
CN111681233A (zh) 基于深度神经网络的us-ct图像分割方法、系统及设备
Khademi et al. Spatio-temporal hybrid fusion of cae and swin transformers for lung cancer malignancy prediction
Wali et al. Stynmedgan: medical images augmentation using a new GAN model for improved diagnosis of diseases
CN116825344A (zh) 基于多模态深度学习的心血管疾病风险预测方法及装置
CN113706451A (zh) 颅内动脉瘤识别检测的方法、装置、系统和计算机可读存储介质
Ilesanmi et al. Organ segmentation from computed tomography images using the 3D convolutional neural network: a systematic review
Rizvi et al. Local contrastive learning for medical image recognition
Athina et al. Multi-classification Network for Detecting Skin Diseases using Deep Learning and XAI
Wu et al. Human identification with dental panoramic images based on deep learning
Sha et al. A robust segmentation method based on improved U-Net
Qin et al. Residual block-based multi-label classification and localization network with integral regression for vertebrae labeling
Bhavya et al. Cervical spine fracture detection using pytorch
Kwolek et al. Measuring the angle of hallux valgus using segmentation of bones on x-ray images
Maram et al. Brain tumour detection on brats 2020 using u-net
Adegun et al. Deep convolutional network-based framework for melanoma lesion detection and segmentation
CN113962990B (zh) 胸部ct图像识别方法、装置、计算机设备和存储介质
CN113379770B (zh) 鼻咽癌mr图像分割网络的构建方法、图像分割方法及装置
Pang et al. Correlation matters: multi-scale fine-grained contextual information extraction for hepatic tumor segmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination