CN115409733A - 一种基于图像增强和扩散模型的低剂量ct图像降噪方法 - Google Patents

一种基于图像增强和扩散模型的低剂量ct图像降噪方法 Download PDF

Info

Publication number
CN115409733A
CN115409733A CN202211070585.5A CN202211070585A CN115409733A CN 115409733 A CN115409733 A CN 115409733A CN 202211070585 A CN202211070585 A CN 202211070585A CN 115409733 A CN115409733 A CN 115409733A
Authority
CN
China
Prior art keywords
image
dose
diffusion
module
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211070585.5A
Other languages
English (en)
Other versions
CN115409733B (zh
Inventor
蹇木伟
于小洋
靳悦
王芮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Jiude Intelligent Technology Co ltd
Shandong University of Finance and Economics
Original Assignee
Shandong Jiude Intelligent Technology Co ltd
Shandong University of Finance and Economics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Jiude Intelligent Technology Co ltd, Shandong University of Finance and Economics filed Critical Shandong Jiude Intelligent Technology Co ltd
Priority to CN202211070585.5A priority Critical patent/CN115409733B/zh
Publication of CN115409733A publication Critical patent/CN115409733A/zh
Application granted granted Critical
Publication of CN115409733B publication Critical patent/CN115409733B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种基于图像增强和扩散模型的低剂量CT图像降噪方法,S1：构建低剂量CT图像样本集
Figure 100004_DEST_PATH_IMAGE002
，对
Figure 100004_DEST_PATH_IMAGE004
进行多步处理以达到
Figure 100004_DEST_PATH_IMAGE006
的成像水平；S2：将
Figure 160153DEST_PATH_IMAGE004
通过
Figure 100004_DEST_PATH_IMAGE008
滤波器，得到输出
Figure 100004_DEST_PATH_IMAGE010
；S3：对
Figure 139610DEST_PATH_IMAGE010
进行CT图像特征增强，得到输出
Figure 100004_DEST_PATH_IMAGE012
；S4：
Figure 981664DEST_PATH_IMAGE012
通过残差卷积模块对图像进行降噪重建，输出图像
Figure 100004_DEST_PATH_IMAGE014
；S5：将
Figure 698910DEST_PATH_IMAGE014
输入到公开的深度生成模型扩散去噪模型（DDPM）中，将原始数据分布变为正态分布
Figure 100004_DEST_PATH_IMAGE016
，使用参数化的U‑Net神经网络将
Figure 575599DEST_PATH_IMAGE016
从正态分布恢复到原始数据分布
Figure 100004_DEST_PATH_IMAGE018
。通过本发明的技术方案，采用基于视觉Transformer和扩散概率模型的低剂量CT图像联合降噪技术来实现降低CT图像噪点以达到提升图像质量的目标。具体实施时，本发明技术方案可采用计算机软件技术实现自动运行流程。

Description

一种基于图像增强和扩散模型的低剂量CT图像降噪方法
技术领域
本发明涉及医学图像重建技术领域，具体而言，特别涉及一种基于图像增强和扩散模型的低剂量CT图像降噪方法。
背景技术
现代医疗诊断的方法近年来发展迅速，其中最重要的工具是计算机断层扫描CT，其通常用于帮助诊断复杂的骨折、肿瘤、心脏病、肺气肿等，但由于患者暴露于不同时间的放射性波，CT会增加人类从医疗器械中接收的辐射，甚至导致其成为继背景辐射之后影响人类的第二大辐射源。减少CT扫描中射线的剂量已成为一种趋势，但这会导致诸如噪声增加、边缘、角落和锐利特征的对比度降低以及图像过度平滑等负面效果。
为了解决这个固有的物理问题，已经涌现出很多深度卷积网络方法来提高低剂量CT图像的质量，但现有的卷积网络方法会面临诸如过度平滑、边缘丢失和纹理细节破坏等问题，而卷积神经网络本质上是隐含地将降噪与全局范围内的操作联系起来，而忽略了利用局部视觉信息。视觉Transformer中的局部注意力机制对局部乃至全局的特征增强和扩散模型的高质量图像生成在许多计算机视觉任务中取得了巨大成功，包括图像恢复和重建领域，而在医学图像数据集上的利用目前还处于起步阶段；扩散概率模型应用在核磁共振影像的分割和检测中已经取得了初步的成效，但在CT图像的应用场景中仍有待开发。因此，采用先进技术提高降噪后的低剂量CT图像质量仍然是研究人员需要解决的关键问题。
发明内容
为了弥补现有技术的不足，本发明提供了一种基于图像增强和扩散模型的低剂量CT图像降噪方法。
本发明是通过如下技术方案实现的：一种基于图像增强和扩散模型的低剂量CT图像降噪方法，具体包括以下步骤：
S1：构建低剂量CT图像样本集
Figure DEST_PATH_IMAGE001
，其中
Figure 67178DEST_PATH_IMAGE002
为低剂量CT图像，
Figure DEST_PATH_IMAGE003
为普通剂量CT图像，对
Figure 833009DEST_PATH_IMAGE002
进行多步处理以达到
Figure 988046DEST_PATH_IMAGE003
的成像水平；
S2：将
Figure 929458DEST_PATH_IMAGE002
通过
Figure 901962DEST_PATH_IMAGE004
滤波器，得到输出
Figure DEST_PATH_IMAGE005
；
S3：对
Figure 30455DEST_PATH_IMAGE005
进行CT图像特征增强，通过局部注意力模块，在图像空间域应用滑动窗口计算注意力，在特征空间域应用聚类计算注意力，最终得到输出
Figure 848238DEST_PATH_IMAGE006
；
S4：
Figure 644156DEST_PATH_IMAGE006
通过残差卷积模块对图像进行降噪重建，输出图像
Figure DEST_PATH_IMAGE007
；对经过纹理增强后的图像进行降噪可以在获得降噪效果的同时不丢失纹理细节；
S5：将
Figure 70718DEST_PATH_IMAGE007
输入到公开的深度生成模型扩散去噪模型（DDPM）中，模型分为扩散过程和逆扩散过程两个阶段，在扩散阶段，通过不断对
Figure 76721DEST_PATH_IMAGE007
添加高斯噪声，将原始数据分布变为正态分布
Figure 573561DEST_PATH_IMAGE008
；在逆扩散阶段，使用参数化的U-Net神经网络将
Figure 489564DEST_PATH_IMAGE008
从正态分布恢复到原始数据分布
Figure DEST_PATH_IMAGE009
。
作为优选方案，步骤S2具体包括以下步骤：
S2-1：将两种类型包括垂直、水平方向的算子定义为一组，与
Figure 741554DEST_PATH_IMAGE002
进行卷积运算，获得一组特征图
Figure 500432DEST_PATH_IMAGE010
，以提取边缘信息；
S2-2：将上一步输出的特征图与
Figure DEST_PATH_IMAGE011
在通道维度上叠加，得到该模块的最终输出
Figure 269804DEST_PATH_IMAGE005
；
Figure 164948DEST_PATH_IMAGE012
(1)
其中，
Figure DEST_PATH_IMAGE013
表示利用
Figure 853418DEST_PATH_IMAGE004
算子进行卷积运算。
作为优选方案，步骤S3具体包括以下步骤：
S3-1：利用公开的预训练模型ViT中线性嵌入层的操作,对
Figure 974958DEST_PATH_IMAGE005
进行变换得到该模块的输入
Figure 79180DEST_PATH_IMAGE014
；
Figure DEST_PATH_IMAGE015
(2)
其中，
Figure 297672DEST_PATH_IMAGE016
为线性嵌入层操作，该操作将每个二维图像块展平为一维向量嵌入然后将其线性投影到所需的输入维度中；
S3-2：通过局部注意力机制模块
Figure DEST_PATH_IMAGE017
，
Figure 422623DEST_PATH_IMAGE018
：
Figure DEST_PATH_IMAGE019
(3)
其中，
Figure 234721DEST_PATH_IMAGE020
表示第一阶段局部注意力机制模块；
S3-3：
Figure 267268DEST_PATH_IMAGE006
依次输入到
Figure DEST_PATH_IMAGE021
，
Figure 481212DEST_PATH_IMAGE022
，
Figure DEST_PATH_IMAGE023
中，共计4阶段，并在相邻局部注意力机制模块中间插入一次卷积层作为特征融合，共计3次，最终得到输出
Figure 42643DEST_PATH_IMAGE006
；
Figure 607617DEST_PATH_IMAGE024
(7)
Figure DEST_PATH_IMAGE025
(8)
Figure 647117DEST_PATH_IMAGE026
(9)
其中，
Figure DEST_PATH_IMAGE027
表示开源的Python机器学习库torch.nn中的Conv2d函数，卷积核为3×3大小，步长为2。
进一步地，步骤S3-2具体包括以下步骤：
S3-2-1：
Figure 105780DEST_PATH_IMAGE014
通过正则化层与公开的预训练模型Swin Transformer中图像空间局部注意力模块
Figure 713479DEST_PATH_IMAGE028
后在图像空间域进行特征增强得到
Figure DEST_PATH_IMAGE029
；
Figure 890382DEST_PATH_IMAGE030
(4)
其中
Figure 608940DEST_PATH_IMAGE028
是图像空间局部注意力模块，
Figure DEST_PATH_IMAGE031
是正则化层，过程采用了开源的Python机器学习库torch.nn中的LayerNorm函数，后续提及的正则化层均为当前正则化层的相同操作；
S3-2-2：
Figure 922109DEST_PATH_IMAGE029
先后通过正则化层和公开的预训练模型BOAT中图像特征空间局部注意力模块
Figure 966289DEST_PATH_IMAGE032
中，得到
Figure DEST_PATH_IMAGE033
；
Figure 364909DEST_PATH_IMAGE034
(5)
其中，
Figure DEST_PATH_IMAGE035
表示图像特征空间局部注意力模块；
S3-2-3：
Figure 887157DEST_PATH_IMAGE033
通过正则化层和全连接层后得到第一阶段局部注意力模块的输出
Figure 326272DEST_PATH_IMAGE006
，此过程包含残差快速链接；
Figure 541353DEST_PATH_IMAGE036
(6)
其中，
Figure DEST_PATH_IMAGE037
表示全连接层。
作为优选方案，步骤S4具体包括以下步骤：
S4-1：对
Figure 161690DEST_PATH_IMAGE006
变形为特征图
Figure 487629DEST_PATH_IMAGE038
，输送到包含两个卷积层和一个激活层的ResNet模块中得到输出
Figure DEST_PATH_IMAGE039
；
Figure 775391DEST_PATH_IMAGE040
(10)
S4-2：类似地，
Figure 895794DEST_PATH_IMAGE039
通过另一个相同的
Figure DEST_PATH_IMAGE041
模块后得到输出
Figure 269006DEST_PATH_IMAGE007
；
Figure 398636DEST_PATH_IMAGE042
(11)
其中，
Figure DEST_PATH_IMAGE043
表示torch.nn中的Conv2d函数，卷积核为3×3大小，步长为1,
Figure 275325DEST_PATH_IMAGE044
表示torch.nn中的ReLU函数，变形操作采用了开源的数值计算扩展库Numpy中的reshape函数。
作为优选方案，步骤S5具体包括以下步骤：
S5-1：执行扩散过程，在扩散过程方差设置为从
Figure DEST_PATH_IMAGE045
到
Figure 691263DEST_PATH_IMAGE046
线性增加的常数，
Figure DEST_PATH_IMAGE047
设置为1000，直到图像信号被完全破坏，通过马尔可夫过程的特性可以推导出任意时间步
Figure 286192DEST_PATH_IMAGE048
的解析式：
Figure DEST_PATH_IMAGE049
(12)
其中，
Figure 953934DEST_PATH_IMAGE050
，
Figure DEST_PATH_IMAGE051
，
Figure 685130DEST_PATH_IMAGE048
为某一时刻t的加噪声图像，
Figure 678494DEST_PATH_IMAGE052
是和
Figure 26298DEST_PATH_IMAGE009
等维度的隐变量；
S5-2：执行逆扩散过程，该过程使用参数化的神经网络来建模, 公式表达如下：
Figure DEST_PATH_IMAGE053
(13)
其中，
Figure 966573DEST_PATH_IMAGE054
表示为
Figure 349012DEST_PATH_IMAGE048
到
Figure DEST_PATH_IMAGE055
过程的噪声分布预测，遵从
Figure 982119DEST_PATH_IMAGE056
的分布，
Figure DEST_PATH_IMAGE057
表示U-Net神经网络中的可训练参数。
本发明由于采用了以上技术方案，与现有技术相比使其具有以下有益效果：一是将CT图像边缘增强和特征增强联合增强以提升降噪效果，同时边缘增强又可辅助特征增强，在降噪前对低剂量CT图像进行增强旨在对降噪后的CT图像依然能够比肩和普通剂量CT图像中真实的纹理和易丢失的细节；边缘检测器Sobel滤波可以提取图像的纹理边缘，同时与原图像加和能够实现边缘细节增强；利用公开的SwinTransformer和BOAT中的局部注意力机制实现在空间域和特征域进行增强，不同于卷积神经网络框架，局部注意力机制能够完成对图像全局信息的捕获，从而提取细微的图像语义信息；其次，在降噪阶段引入公开的扩散概率模型（DDPM），作为当今前沿的深度生成模型，可以生成质量更高的降噪CT图像。另外，本发明整体上采用了端到端的训练方式，减少了工程学习的复杂度。
本发明的附加方面和优点将在下面的描述部分中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1为基于局部注意力机制和扩散概率模型的低剂量CT图像降噪流程图；
图2为图1的详细流程图；
图3为改进后的Sobel滤波器示例；
图4为局部注意力机制流程图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
本发明面向低剂量CT图像，为解决目前低剂量CT图像质量较差，噪点明显的问题，采用基于视觉Transformer和扩散概率模型的低剂量CT图像联合降噪技术来实现降低CT图像噪点以达到提升图像质量的目标。具体实施时，本发明技术方案可采用计算机软件技术实现自动运行流程。下面结合图1至图4对本发明的实施例的基于图像增强和扩散模型的低剂量CT图像降噪方法进行具体说明。
如图1至图4所示，本发明提出了一种基于图像增强和扩散模型的低剂量CT图像降噪方法，S1：构建低剂量CT图像样本集
Figure DEST_PATH_IMAGE059
，其中
Figure DEST_PATH_IMAGE061
为低剂量CT图像，
Figure DEST_PATH_IMAGE063
为普通剂量CT图像，对
Figure 82799DEST_PATH_IMAGE061
进行多步处理以达到
Figure 482556DEST_PATH_IMAGE063
的成像水平；将
Figure 860448DEST_PATH_IMAGE061
以7/2/1的比例随机分离分别用于训练，验证和测试，样本集采用了2016年NIH AAPM-Mayo Clinic Low-Dose CT GrandChallenge数据集；作为当前低剂量CT图像降噪领域的主流方法所采用的数据集，它包含从患者收集的百余组普通剂量CT图像集
Figure 664456DEST_PATH_IMAGE063
和合成的低剂量CT图像集
Figure 252432DEST_PATH_IMAGE061
，每张图像大小为
Figure DEST_PATH_IMAGE065
像素；
其中，
Figure 393564DEST_PATH_IMAGE061
是通过将泊松噪声插入投影数据中生成的合成CT图像，在
Figure 625962DEST_PATH_IMAGE063
插入泊松噪声以达到普通剂量成像水平1/4的效果，每张CT图像都以DICOM（医学数字成像和通信）文件格式给出；将
Figure 928767DEST_PATH_IMAGE061
作为模型的输入，目标为达到
Figure 467022DEST_PATH_IMAGE063
成像水平；
S2：将
Figure 818368DEST_PATH_IMAGE061
通过
Figure DEST_PATH_IMAGE067
滤波器，得到输出
Figure DEST_PATH_IMAGE069
，过程中采用了开源的计算机视觉库OpenCV中的
Figure 92224DEST_PATH_IMAGE067
函数，以提取出不同强度的边缘信息来增强纹理表现，S3过程的CT图像特征增强操作可以从中受益；
S2-1：将两种类型包括垂直、水平方向的算子定义为一组，与
Figure 238034DEST_PATH_IMAGE061
进行卷积运算，获得一组特征图
Figure DEST_PATH_IMAGE071
，以提取边缘信息；
S2-2：将上一步输出的特征图与
Figure DEST_PATH_IMAGE073
在通道维度上叠加，得到该模块的最终输出
Figure 659657DEST_PATH_IMAGE069
；
Figure 549116DEST_PATH_IMAGE067
滤波器的目标是丰富模型的输入信息，加强边缘信息对模型的作用以获得较强的纹理细节表现，从而在接下来的CT图像特征增强操作中起到辅助作用；
Figure DEST_PATH_IMAGE075
(1)
其中，
Figure DEST_PATH_IMAGE077
表示利用
Figure 84002DEST_PATH_IMAGE067
算子进行卷积运算；
S3：对
Figure 525348DEST_PATH_IMAGE069
进行CT图像特征增强，通过局部注意力模块，在图像空间域应用滑动窗口计算注意力，在特征空间域应用聚类计算注意力，最终得到输出
Figure DEST_PATH_IMAGE079
；
S3-1：利用公开的预训练模型ViT中线性嵌入层的操作,对
Figure 653841DEST_PATH_IMAGE069
进行变换得到该模块的输入
Figure DEST_PATH_IMAGE081
；对
Figure 206045DEST_PATH_IMAGE069
中的一张图像进行等切分成1024个图像块，切分后的每张图像块大小为16
Figure DEST_PATH_IMAGE083
16像素，随后进行线性映射和位置编码组成的嵌入层（embedding）得到变换后的图像块
Figure DEST_PATH_IMAGE085
，
Figure DEST_PATH_IMAGE087
，其中，
Figure DEST_PATH_IMAGE089
是通道数；
Figure DEST_PATH_IMAGE091
(2)
其中，
Figure DEST_PATH_IMAGE093
为线性嵌入层操作，该操作将每个二维图像块展平为一维向量嵌入然后将其线性投影到所需的输入维度中；
S3-2：通过局部注意力机制模块
Figure DEST_PATH_IMAGE095
，
Figure DEST_PATH_IMAGE097
,以
Figure DEST_PATH_IMAGE099
为例：
Figure DEST_PATH_IMAGE101
(3)
其中，
Figure 47968DEST_PATH_IMAGE099
表示第一阶段局部注意力机制模块；
S3-2-1：
Figure 801160DEST_PATH_IMAGE081
通过正则化层与公开的预训练模型Swin Transformer中图像空间局部注意力模块
Figure DEST_PATH_IMAGE103
后在图像空间域进行特征增强得到
Figure DEST_PATH_IMAGE105
，此过程包含残差快速链接；
Swin Transformer中的图像空间局部注意力机制是包含滑窗操作，具有层级设计的Transformer，其中滑窗操作包括不重叠的local window和重叠的cross-window，将注意力计算限制在一个窗口中，可以加强相邻图像块之间的联系，层级设计通过合并图像块可以将全局的信息捕获，增强特征的表现；
Figure DEST_PATH_IMAGE107
(4)
其中
Figure 135059DEST_PATH_IMAGE103
是图像空间局部注意力模块，
Figure DEST_PATH_IMAGE109
是正则化层，过程采用了开源的Python机器学习库torch.nn中的LayerNorm函数，后续提及的正则化层均为当前正则化层的相同操作；
S3-2-2：
Figure 100741DEST_PATH_IMAGE105
先后通过正则化层和公开的预训练模型BOAT中图像特征空间局部注意力模块
Figure DEST_PATH_IMAGE111
中，得到
Figure DEST_PATH_IMAGE113
，此过程包含残差快速链接；
BOAT的特征空间局部自注意力机制认为在图像空间距离较远但在特征空间距离较近的图像块会对彼此有很大的影响，在特征空间对图像块进行聚类，将CT图像中不相邻但相似的图像块集群在图像特征域计算注意力，以此来作为S3-2-1的补充，进一步实现特征增强；
Figure DEST_PATH_IMAGE115
(5)
其中，
Figure DEST_PATH_IMAGE117
表示图像特征空间局部注意力模块；
S3-2-3：
Figure 678396DEST_PATH_IMAGE113
通过正则化层和全连接层后得到第一阶段局部注意力模块的输出
Figure 727123DEST_PATH_IMAGE079
，此过程包含残差快速链接；
Figure DEST_PATH_IMAGE119
(6)
其中，
Figure DEST_PATH_IMAGE121
表示全连接层；
S3-3：
Figure 689263DEST_PATH_IMAGE079
依次输入到
Figure DEST_PATH_IMAGE123
，
Figure DEST_PATH_IMAGE125
，
Figure DEST_PATH_IMAGE127
中，共计4阶段，并在相邻局部注意力机制模块中间插入一次卷积层作为特征融合，共计3次，最终得到输出
Figure 52111DEST_PATH_IMAGE079
；
Figure DEST_PATH_IMAGE129
(7)
Figure DEST_PATH_IMAGE131
(8)
Figure DEST_PATH_IMAGE133
(9)
其中，
Figure DEST_PATH_IMAGE135
表示开源的Python机器学习库torch.nn中的Conv2d函数，卷积核为3×3大小，步长为2；
S4：
Figure 478413DEST_PATH_IMAGE079
通过残差卷积模块对图像进行降噪重建，输出图像
Figure DEST_PATH_IMAGE137
；对经过纹理增强后的图像进行降噪可以在获得降噪效果的同时不丢失纹理细节；
S4-1：对
Figure 166884DEST_PATH_IMAGE079
变形为特征图
Figure DEST_PATH_IMAGE139
，输送到包含两个卷积层和一个激活层的ResNet模块中得到输出
Figure DEST_PATH_IMAGE141
；
Figure DEST_PATH_IMAGE143
(10)
S4-2：类似地，
Figure 350740DEST_PATH_IMAGE141
通过另一个相同的
Figure DEST_PATH_IMAGE145
模块后得到输出
Figure 782859DEST_PATH_IMAGE137
；
Figure DEST_PATH_IMAGE147
(11)
其中，
Figure DEST_PATH_IMAGE149
表示torch.nn中的Conv2d函数，卷积核为3×3大小，步长为1,
Figure DEST_PATH_IMAGE151
表示torch.nn中的ReLU函数，变形操作采用了开源的数值计算扩展库Numpy中的reshape函数；
S5：将
Figure 735771DEST_PATH_IMAGE137
输入到公开的深度生成模型扩散去噪模型（DDPM）中，模型分为扩散过程和逆扩散过程两个阶段，在扩散阶段，通过不断对
Figure 1667DEST_PATH_IMAGE137
添加高斯噪声，将原始数据分布变为正态分布
Figure DEST_PATH_IMAGE153
；在逆扩散阶段，使用参数化的U-Net神经网络将
Figure 203979DEST_PATH_IMAGE153
从正态分布恢复到原始数据分布
Figure DEST_PATH_IMAGE155
；
S5-1：执行扩散过程，扩散过程是一个马尔可夫链，它逐渐向与采样相反方向的Ctrl图像添加均值为0，方差为
Figure DEST_PATH_IMAGE157
的高斯噪声，在扩散过程方差设置为从
Figure DEST_PATH_IMAGE159
到
Figure DEST_PATH_IMAGE161
线性增加的常数，
Figure DEST_PATH_IMAGE163
设置为1000，直到图像信号被完全破坏，通过马尔可夫过程的特性可以推导出任意时间步
Figure DEST_PATH_IMAGE165
的解析式：
Figure DEST_PATH_IMAGE167
(12)
其中，
Figure DEST_PATH_IMAGE169
，
Figure DEST_PATH_IMAGE171
，
Figure 892318DEST_PATH_IMAGE165
为某一时刻t的加噪声图像，
Figure DEST_PATH_IMAGE173
是和
Figure 106261DEST_PATH_IMAGE155
等维度的隐变量；
S5-2：执行逆扩散过程，逆扩散过程也称去噪过程，学习这条链的转换来逆转一个扩散过程，该过程使用参数化的神经网络来建模,假定逆扩散过程仍然是一个马尔可夫链的过程，公式表达如下
Figure DEST_PATH_IMAGE175
(13)
其中，
Figure DEST_PATH_IMAGE177
表示为
Figure 136534DEST_PATH_IMAGE165
到
Figure DEST_PATH_IMAGE179
过程的噪声分布预测，遵从
Figure DEST_PATH_IMAGE181
的分布，
Figure DEST_PATH_IMAGE183
表示U-Net神经网络中的可训练参数。
在本发明的描述中，术语“多个”则指两个或两个以上，除非另有明确的限定，术语“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制；术语“连接”、“安装”、“固定”等均应做广义理解，例如，“连接”可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
在本说明书的描述中，术语“一个实施例”、“一些实施例”、“具体实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或实例。而且，描述的具体特征、结构、材料或特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于图像增强和扩散模型的低剂量CT图像降噪方法，其特征在于,具体包括以下步骤：
S1：构建低剂量CT图像样本集
Figure DEST_PATH_IMAGE002
，其中
Figure DEST_PATH_IMAGE004
为低剂量CT图像，
Figure DEST_PATH_IMAGE006
为普通剂量CT图像，对
Figure 740460DEST_PATH_IMAGE004
进行多步处理以达到
Figure 736229DEST_PATH_IMAGE006
的成像水平；
S2：将
Figure 594594DEST_PATH_IMAGE004
通过
Figure DEST_PATH_IMAGE008
滤波器，得到输出
Figure DEST_PATH_IMAGE010
；
S3：对
Figure 954251DEST_PATH_IMAGE010
进行CT图像特征增强，通过局部注意力模块，在图像空间域应用滑动窗口计算注意力，在特征空间域应用聚类计算注意力，最终得到输出
Figure DEST_PATH_IMAGE012
；
S4：
Figure 394721DEST_PATH_IMAGE012
通过残差卷积模块对图像进行降噪重建，输出图像
Figure DEST_PATH_IMAGE014
；对经过纹理增强后的图像进行降噪可以在获得降噪效果的同时不丢失纹理细节；
S5：将
Figure DEST_PATH_IMAGE016
输入到公开的深度生成模型扩散去噪模型（DDPM）中，模型分为扩散过程和逆扩散过程两个阶段，在扩散阶段，通过不断对
Figure 205068DEST_PATH_IMAGE014
添加高斯噪声，将原始数据分布变为正态分布
Figure DEST_PATH_IMAGE018
；在逆扩散阶段，使用参数化的U-Net神经网络将
Figure 567042DEST_PATH_IMAGE018
从正态分布恢复到原始数据分布
Figure DEST_PATH_IMAGE020
。
2.根据权利要求1所述的一种基于图像增强和扩散模型的低剂量CT图像降噪方法,其特征在于,所述步骤S2具体包括以下步骤：
S2-1：将两种类型包括垂直、水平方向的算子定义为一组，与
Figure 64145DEST_PATH_IMAGE004
进行卷积运算，获得一组特征图
Figure DEST_PATH_IMAGE022
，以提取边缘信息；
S2-2：将上一步输出的特征图与
Figure DEST_PATH_IMAGE024
在通道维度上叠加，得到该模块的最终输出
Figure 166312DEST_PATH_IMAGE010
；
Figure DEST_PATH_IMAGE026
(1)
其中，
Figure DEST_PATH_IMAGE028
表示利用
Figure 129982DEST_PATH_IMAGE008
算子进行卷积运算。
3.根据权利要求1所述的一种基于图像增强和扩散模型的低剂量CT图像降噪方法,其特征在于,所述步骤S3具体包括以下步骤：
S3-1：利用公开的预训练模型ViT中线性嵌入层的操作,对
Figure 222660DEST_PATH_IMAGE010
进行变换得到该模块的输入
Figure DEST_PATH_IMAGE030
；
Figure DEST_PATH_IMAGE032
(2)
其中，
Figure DEST_PATH_IMAGE034
为线性嵌入层操作，该操作将每个二维图像块展平为一维向量嵌入然后将其线性投影到所需的输入维度中；
S3-2：通过局部注意力机制模块
Figure DEST_PATH_IMAGE036
，
Figure DEST_PATH_IMAGE038
：
Figure DEST_PATH_IMAGE040
(3)
其中，
Figure DEST_PATH_IMAGE042
表示第一阶段局部注意力机制模块；
S3-3：
Figure 317261DEST_PATH_IMAGE012
依次输入到
Figure DEST_PATH_IMAGE044
，
Figure DEST_PATH_IMAGE046
，
Figure DEST_PATH_IMAGE048
中，共计4阶段，并在相邻局部注意力机制模块中间插入一次卷积层作为特征融合，共计3次，最终得到输出
Figure 844843DEST_PATH_IMAGE012
；
Figure DEST_PATH_IMAGE050
(7)
Figure DEST_PATH_IMAGE052
(8)
Figure DEST_PATH_IMAGE054
(9)
其中，
Figure DEST_PATH_IMAGE056
表示开源的Python机器学习库torch.nn中的Conv2d函数，卷积核为3×3大小，步长为2。
4.根据权利要求3所述的一种基于图像增强和扩散模型的低剂量CT图像降噪方法,其特征在于,所述步骤S3-2具体包括以下步骤：
S3-2-1：
Figure 927550DEST_PATH_IMAGE030
通过正则化层与公开的预训练模型Swin Transformer中图像空间局部注意力模块
Figure DEST_PATH_IMAGE058
后在图像空间域进行特征增强得到
Figure DEST_PATH_IMAGE060
；
Figure DEST_PATH_IMAGE062
(4)
其中
Figure 218110DEST_PATH_IMAGE058
是图像空间局部注意力模块，
Figure DEST_PATH_IMAGE064
是正则化层，过程采用了开源的Python机器学习库torch.nn中的LayerNorm函数，后续提及的正则化层均为当前正则化层的相同操作；
S3-2-2：
Figure 379052DEST_PATH_IMAGE060
先后通过正则化层和公开的预训练模型BOAT中图像特征空间局部注意力模块
Figure DEST_PATH_IMAGE066
中，得到
Figure DEST_PATH_IMAGE068
；
Figure DEST_PATH_IMAGE070
(5)
其中，
Figure DEST_PATH_IMAGE072
表示图像特征空间局部注意力模块；
S3-2-3：
Figure 144227DEST_PATH_IMAGE068
通过正则化层和全连接层后得到第一阶段局部注意力模块的输出
Figure 558022DEST_PATH_IMAGE012
，此过程包含残差快速链接；
Figure DEST_PATH_IMAGE074
(6)
其中，
Figure DEST_PATH_IMAGE076
表示全连接层。
5.根据权利要求1所述的一种基于图像增强和扩散模型的低剂量CT图像降噪方法,其特征在于,所述步骤S4具体包括以下步骤：
S4-1：对
Figure 257250DEST_PATH_IMAGE012
变形为特征图
Figure DEST_PATH_IMAGE078
，输送到包含两个卷积层和一个激活层的ResNet模块中得到输出
Figure DEST_PATH_IMAGE080
；
Figure DEST_PATH_IMAGE082
(10)
S4-2：类似地，
Figure 605840DEST_PATH_IMAGE080
通过另一个相同的
Figure DEST_PATH_IMAGE084
模块后得到输出
Figure 261074DEST_PATH_IMAGE014
；
Figure DEST_PATH_IMAGE086
(11)
其中，
Figure DEST_PATH_IMAGE088
表示torch.nn中的Conv2d函数，卷积核为3×3大小，步长为1,
Figure DEST_PATH_IMAGE090
表示torch.nn中的ReLU函数，变形操作采用了开源的数值计算扩展库Numpy中的reshape函数。
6.根据权利要求1所述的一种基于图像增强和扩散模型的低剂量CT图像降噪方法,其特征在于,所述步骤S5具体包括以下步骤：
S5-1：执行扩散过程，在扩散过程方差设置为从
Figure DEST_PATH_IMAGE092
到
Figure DEST_PATH_IMAGE094
线性增加的常数，
Figure DEST_PATH_IMAGE096
设置为1000，直到图像信号被完全破坏，通过马尔可夫过程的特性可以推导出任意时间步
Figure DEST_PATH_IMAGE098
的解析式：
Figure DEST_PATH_IMAGE100
(12)
其中，
Figure DEST_PATH_IMAGE102
，
Figure DEST_PATH_IMAGE104
，
Figure 630790DEST_PATH_IMAGE098
为某一时刻t的加噪声图像，
Figure DEST_PATH_IMAGE106
是和
Figure 676368DEST_PATH_IMAGE020
等维度的隐变量；
S5-2：执行逆扩散过程，该过程使用参数化的神经网络来建模, 公式表达如下：
Figure DEST_PATH_IMAGE108
(13)
其中，
Figure DEST_PATH_IMAGE110
表示为
Figure 687704DEST_PATH_IMAGE098
到
Figure DEST_PATH_IMAGE112
过程的噪声分布预测，遵从
Figure DEST_PATH_IMAGE114
的分布，
Figure DEST_PATH_IMAGE116
表示U-Net神经网络中的可训练参数。
CN202211070585.5A 2022-09-02 2022-09-02 一种基于图像增强和扩散模型的低剂量ct图像降噪方法 Active CN115409733B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211070585.5A CN115409733B (zh) 2022-09-02 2022-09-02 一种基于图像增强和扩散模型的低剂量ct图像降噪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211070585.5A CN115409733B (zh) 2022-09-02 2022-09-02 一种基于图像增强和扩散模型的低剂量ct图像降噪方法

Publications (2)

Publication Number Publication Date
CN115409733A true CN115409733A (zh) 2022-11-29
CN115409733B CN115409733B (zh) 2023-06-02

Family

ID=84163429

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211070585.5A Active CN115409733B (zh) 2022-09-02 2022-09-02 一种基于图像增强和扩散模型的低剂量ct图像降噪方法

Country Status (1)

Country Link
CN (1) CN115409733B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116312983A (zh) * 2023-03-21 2023-06-23 西安交通大学 基于噪声生成机制的隐正则化低剂量ct图像重建方法及系统
CN116309437A (zh) * 2023-03-15 2023-06-23 中国铁塔股份有限公司河北省分公司 一种灰尘检测方法、装置及存储介质
CN116433501A (zh) * 2023-02-08 2023-07-14 阿里巴巴（中国）有限公司 图像处理方法及装置
CN116645287A (zh) * 2023-05-22 2023-08-25 北京科技大学 一种基于扩散模型的图像去模糊方法
CN116725560A (zh) * 2023-06-27 2023-09-12 深圳扬奇医芯智能科技有限公司 一种基于空间扩散模型的低剂量dsa血管造影方法
CN116824146A (zh) * 2023-07-05 2023-09-29 深圳技术大学 一种小样本ct图像分割方法、系统、终端及存储介质
CN117274080A (zh) * 2023-09-13 2023-12-22 西安交通大学 一种低剂量ct弦图恢复方法及相关装置
CN117649351A (zh) * 2024-01-30 2024-03-05 武汉大学 一种基于扩散模型的工业缺陷图像仿真方法及装置
CN117911303A (zh) * 2024-03-15 2024-04-19 吉林大学 一种面向水下弱光场景的图像质量增强方法及装置
CN117994593A (zh) * 2024-04-03 2024-05-07 青岛大学 一种基于多源数据复合模型的自动配棉方法
CN116824146B (zh) * 2023-07-05 2024-06-07 深圳技术大学 一种小样本ct图像分割方法、系统、终端及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108492269A (zh) * 2018-03-23 2018-09-04 西安电子科技大学 基于梯度正则卷积神经网络的低剂量ct图像去噪方法
CN112862784A (zh) * 2021-02-08 2021-05-28 杭州深睿博联科技有限公司 基于非局部注意力机制的多期相融合器官分割方法及装置
WO2022000183A1 (zh) * 2020-06-29 2022-01-06 深圳高性能医疗器械国家研究院有限公司 一种ct图像降噪系统及方法
CN114219719A (zh) * 2021-10-27 2022-03-22 浙江工业大学 基于双重注意力和多尺度特征的cnn医学ct图像去噪方法
CN114708352A (zh) * 2022-04-22 2022-07-05 重庆邮电大学 一种基于无监督学习的低剂量ct图像恢复方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108492269A (zh) * 2018-03-23 2018-09-04 西安电子科技大学 基于梯度正则卷积神经网络的低剂量ct图像去噪方法
WO2022000183A1 (zh) * 2020-06-29 2022-01-06 深圳高性能医疗器械国家研究院有限公司 一种ct图像降噪系统及方法
CN112862784A (zh) * 2021-02-08 2021-05-28 杭州深睿博联科技有限公司 基于非局部注意力机制的多期相融合器官分割方法及装置
CN114219719A (zh) * 2021-10-27 2022-03-22 浙江工业大学 基于双重注意力和多尺度特征的cnn医学ct图像去噪方法
CN114708352A (zh) * 2022-04-22 2022-07-05 重庆邮电大学 一种基于无监督学习的低剂量ct图像恢复方法及系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
何琳;张权;上官宏;张芳;张鹏程;刘;孙未雅;桂志国;: "低剂量CT图像的自适应广义总变分降噪算法" *
何琳;张权;上官宏;张芳;张鹏程;刘;孙未雅;桂志国;: "低剂量CT图像的自适应广义总变分降噪算法", 计算机应用, no. 01 *
詹毅;李梦;: "图像插值的一个变指数变分模型" *
詹毅;李梦;: "图像插值的一个变指数变分模型", 计算机应用, no. 07 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116433501B (zh) * 2023-02-08 2024-01-09 阿里巴巴（中国）有限公司 图像处理方法及装置
CN116433501A (zh) * 2023-02-08 2023-07-14 阿里巴巴（中国）有限公司 图像处理方法及装置
CN116309437A (zh) * 2023-03-15 2023-06-23 中国铁塔股份有限公司河北省分公司 一种灰尘检测方法、装置及存储介质
CN116312983A (zh) * 2023-03-21 2023-06-23 西安交通大学 基于噪声生成机制的隐正则化低剂量ct图像重建方法及系统
CN116312983B (zh) * 2023-03-21 2023-09-22 西安交通大学 基于噪声生成机制的隐正则化低剂量ct图像重建方法及系统
CN116645287A (zh) * 2023-05-22 2023-08-25 北京科技大学 一种基于扩散模型的图像去模糊方法
CN116645287B (zh) * 2023-05-22 2024-03-29 北京科技大学 一种基于扩散模型的图像去模糊方法
CN116725560A (zh) * 2023-06-27 2023-09-12 深圳扬奇医芯智能科技有限公司 一种基于空间扩散模型的低剂量dsa血管造影方法
CN116725560B (zh) * 2023-06-27 2024-05-10 深圳扬奇医芯智能科技有限公司 一种基于空间扩散模型的低剂量dsa血管造影方法
CN116824146A (zh) * 2023-07-05 2023-09-29 深圳技术大学 一种小样本ct图像分割方法、系统、终端及存储介质
CN116824146B (zh) * 2023-07-05 2024-06-07 深圳技术大学 一种小样本ct图像分割方法、系统、终端及存储介质
CN117274080A (zh) * 2023-09-13 2023-12-22 西安交通大学 一种低剂量ct弦图恢复方法及相关装置
CN117274080B (zh) * 2023-09-13 2024-04-12 西安交通大学 一种低剂量ct弦图恢复方法及相关装置
CN117649351A (zh) * 2024-01-30 2024-03-05 武汉大学 一种基于扩散模型的工业缺陷图像仿真方法及装置
CN117649351B (zh) * 2024-01-30 2024-04-19 武汉大学 一种基于扩散模型的工业缺陷图像仿真方法及装置
CN117911303A (zh) * 2024-03-15 2024-04-19 吉林大学 一种面向水下弱光场景的图像质量增强方法及装置
CN117994593A (zh) * 2024-04-03 2024-05-07 青岛大学 一种基于多源数据复合模型的自动配棉方法

Also Published As

Publication number Publication date
CN115409733B (zh) 2023-06-02

Similar Documents

Publication Publication Date Title
CN115409733B (zh) 一种基于图像增强和扩散模型的低剂量ct图像降噪方法
CN113674253B (zh) 基于U-Transformer的直肠癌CT影像自动分割方法
CN113012172A (zh) 一种基于AS-UNet的医学图像分割方法及系统
CN105654425A (zh) 一种应用于医学x光图像的单幅图像超分辨率重建方法
CN111583285A (zh) 一种基于边缘关注策略的肝脏影像语义分割方法
CN114219719A (zh) 基于双重注意力和多尺度特征的cnn医学ct图像去噪方法
CN117132774B (zh) 一种基于pvt的多尺度息肉分割方法及系统
Zhao et al. D2a u-net: Automatic segmentation of covid-19 lesions from ct slices with dilated convolution and dual attention mechanism
CN117058307A (zh) 心脏三维核磁共振图像生成方法、系统、设备及储存介质
Zhang et al. A novel denoising method for low-dose CT images based on transformer and CNN
CN116664397A (zh) TransSR-Net结构化图像超分辨重建方法
Xia et al. Deep residual neural network based image enhancement algorithm for low dose CT images
Lei et al. CT Image Denoising and Deblurring With Deep Learning: Current Status and Perspectives
Lai et al. Generative focused feedback residual networks for image steganalysis and hidden information reconstruction
CN116563554A (zh) 基于混合表征学习的低剂量ct图像去噪方法
CN117078941A (zh) 一种基于上下文级联注意力的心脏mri分割方法
CN111768420A (zh) 一种细胞图像分割模型
El-Shafai et al. Single image super-resolution approaches in medical images based-deep learning: a survey
Yang et al. X‐Ray Breast Images Denoising Method Based on the Convolutional Autoencoder
Zhang et al. Multi Morphological Sparse Regularized Image Super-Resolution Reconstruction Based on Machine Learning Algorithm
Zhang et al. Deep residual network based medical image reconstruction
CN114187181B (zh) 基于残差信息精炼的双路径肺部ct图像超分辨率方法
CN114494498B (zh) 一种基于双域傅里叶神经网络的金属伪影去除方法
Hasan et al. Semantic Lung Segmentation from Chest X-Ray Images Using Seg-Net Deep CNN Model
CN117291928A (zh) 融合扩散模型和投票机制的胰腺实性假乳头状瘤病灶分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CB03 Change of inventor or designer information

Inventor after: Jian Muwei

Inventor after: Yu Xiaoyang

Inventor after: Jin Yue

Inventor after: Wang Rui

Inventor after: Wu Yuzeng

Inventor before: Jian Muwei

Inventor before: Yu Xiaoyang

Inventor before: Jin Yue

Inventor before: Wang Rui

CB03 Change of inventor or designer information