CN112652031A - 伪影校正分析方法、电子设备及存储介质 - Google Patents
伪影校正分析方法、电子设备及存储介质 Download PDFInfo
- Publication number
- CN112652031A CN112652031A CN202011606804.8A CN202011606804A CN112652031A CN 112652031 A CN112652031 A CN 112652031A CN 202011606804 A CN202011606804 A CN 202011606804A CN 112652031 A CN112652031 A CN 112652031A
- Authority
- CN
- China
- Prior art keywords
- image
- artifact
- model
- corrected
- artifact correction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012937 correction Methods 0.000 title claims abstract description 246
- 238000004458 analytical method Methods 0.000 title claims abstract description 32
- 238000000034 method Methods 0.000 claims abstract description 20
- 238000012545 processing Methods 0.000 claims description 36
- 238000000605 extraction Methods 0.000 claims description 23
- 238000012549 training Methods 0.000 claims description 23
- 238000004590 computer program Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 6
- 230000008439 repair process Effects 0.000 claims description 5
- 208000011580 syndromic disease Diseases 0.000 claims 1
- 238000002059 diagnostic imaging Methods 0.000 description 6
- 239000002184 metal Substances 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000003702 image correction Methods 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 210000001519 tissue Anatomy 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 210000002808 connective tissue Anatomy 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 210000000981 epithelium Anatomy 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000003205 muscle Anatomy 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 238000003908 quality control method Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000007943 implant Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
- G06T11/008—Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明提供一种伪影校正分析方法、电子设备及存储介质，该方法包括：获取待校正图像；将所述待校正图像输入预设的伪影校正模型，得到所述待校正图像的目标伪影校正图像；其中，所述伪影校正模型用于预测所述待校正图像的初步伪影校正图像，并对所述初步伪影校正图像进行细节修复，得到所述待校正图像的目标伪影校正图像。本发明能够避免伪影校正后的图像丢失细节，提高图像伪影校正的准确性。
Description
技术领域
本发明属于图像处理技术领域，尤其涉及一种伪影校正分析方法、电子设备及存储介质。
背景技术
医学成像技术是各种疾病的重要检查和筛选方式，但在对病人进行扫描时，病人的运动会导致图像中出现各种各样的运动伪影。此外，病人体外的金属物品或体内的各种金属植入物也会导致金属伪影的产生。这些成像过程中产生的伪影有时候会严重影响图像质量，进而导致医生无法进行疾病的诊断，这就需要对病人再次进行扫描。然而，对病人每进行一次扫描产生的辐射都会对病人造成伤害。因此对医学成像进行伪影校正是非常重要的。
现有的伪影校正算法都是基于ResNet和UNet等模型结构实现，并使用成对的伪影和无伪影数据之间的均方误差或结构相似性损失函数来优化模型。然而，这类网络结构需要进行多次降采样来提升感受野，尽管模型中存在残差链接，但还是可能存在部分信息丢失，导致伪影校正后的图像可能存在细节丢失的情况，此外多次降采样的存在还可能导致棋盘效应。
发明内容
针对现有技术伪影校正后的图像可能存在细节丢失的问题，本发明提供一种伪影校正分析方法、电子设备及存储介质。
为了实现上述目的，本发明提供一种伪影校正分析方法，包括：
获取待校正图像；
将所述待校正图像输入预设的伪影校正模型，得到所述待校正图像的目标伪影校正图像；
其中，所述伪影校正模型用于预测所述待校正图像的初步伪影校正图像，并对所述初步伪影校正图像进行细节修复，得到所述待校正图像的目标伪影校正图像。
在本发明一个优选实施例中，所述伪影校正模型包括特征提取子模型、伪影校正子模型和细节修复子模型；
所述特征提取子模型用于提取待校正图像的特征；
所述伪影校正子模型用于根据所述待校正图像的特征，预测所述待校正图像的初步伪影校正图像，并将所述待校正图像的初步伪影校正图像输入所述特征提取子模型进行处理，得到所述待校正图像的初步伪影校正图像的特征；
所述细节修复子模型用于根据所述待校正图像的初步伪影校正图像的特征，对所述待校正图像的初步伪影校正图像进行细节修复，得到所述待校正图像的目标伪影校正图像。
在本发明一个优选实施例中，所述伪影校正模型还用于预测所述待校正图像为伪影图像的概率。
在本发明一个优选实施例中，所述方法还包括：
根据所述待校正图像与所述目标伪影校正图像，获取所述待校正图像中的目标伪影图；
根据所述目标伪影图，确定所述待校正图像的伪影严重程度。
在本发明一个优选实施例中，所述根据所述目标伪影图，确定所述待校正图像的伪影严重程度，包括：
对所述目标伪影图进行二值化处理，得到对应的掩码图；
根据所述掩码图中伪影区域的面积，确定所述待校正图像的伪影严重程度。
在本发明一个优选实施例中，所述伪影校正模型的训练过程如下：
获取数据集，所述数据集包括若干样本对，所述样本对包括样本图像、以及与所述样本图像对应的标准无伪影图像；
将所述样本图像输入至所述伪影校正模型中进行处理，得到所述伪影校正模型输出的中间结果和最终结果，并根据所述中间结果和最终结果、以及所述样本图像对应的标准无伪影图像，确定模型损失；
根据所述模型损失，对所述伪影校正模型进行迭代训练，直到满足预设的训练终止条件。
在本发明一个优选实施例中，所述将所述样本图像输入至所述伪影校正模型中进行处理，得到所述伪影校正模型输出的中间结果和最终结果，并根据所述中间结果和最终结果、以及所述样本图像对应的标准无伪影图像，确定模型损失，包括：
根据所述样本图像与对应的所述标准无伪影图像，获取所述样本图像中的标准伪影图；
将所述样本图像输入所述特征提取子模型进行处理，得到所述样本图像的特征；
将所述样本图像的特征输入所述伪影校正子模型进行处理，得到所述样本图像中的初步伪影图，并根据所述样本图像中的初步伪影图对所述样本图像进行校正，得到所述样本图像的初步伪影校正图像；
将所述样本图像的初步伪影校正图像输入所述特征提取子模型进行处理，得到所述样本图像的初步伪影校正图像的特征；
将所述样本图像的初步伪影校正图像的特征输入所述细节修复子模型进行处理，得到所述样本图像的初步伪影校正图中丢失的细节图，并根据所述细节图对所述样本图像的初步伪影校正图像进行细节修复，得到所述样本图像的目标伪影校正图像；
根据所述样本图像中的初步伪影图和对应的标准伪影图，计算伪影损失；
根据所述样本图像的目标伪影校正图像和对应的标准无伪影图像，计算细节损失；
根据所述伪影损失和细节损失，计算模型损失。
在本发明一个优选实施例中，所述伪影校正模型还包括分类子模型，所述分类子模型用于根据样本图像的特征，预测所述样本图像为伪影图像的概率；
所述数据集还包括：所述样本图像是否为伪影图像的标准分类结果；
所述将所述样本图像输入至所述伪影校正模型中进行处理，得到所述伪影校正模型输出的中间结果和最终结果，并根据所述中间结果和最终结果、以及所述样本图像对应的标准无伪影图像，确定模型损失，还包括：
将所述样本图像的特征输入所述分类子模型进行处理，得到所述样本图像为伪影图像的概率；
根据所述样本图像为伪影图像的概率和所述标准分类结果，计算分类损失；
所述根据所述伪影损失和细节损失，计算模型损失，包括：
根据所述伪影损失、细节损失和分类损失，计算所述模型损失。
为了实现上述目的，本发明还提供一种电子设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现前述方法的步骤。
为了实现上述目的，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现前述方法的步骤。
本发明的积极进步效果在于：本发明通过将待校正图像输入预设的伪影校正模型，得到所述待校正图像的目标伪影校正图像，其中，所述伪影校正模型用于预测所述待校正图像的初步伪影校正图像，并对所述初步伪影校正图像进行细节修复，得到所述待校正图像的目标伪影校正图像。由于伪影校正模型在预测到所述待校正图像的初步伪影校正图像后，还会对所述初步伪影校正图像进行细节修复，从而可以避免伪影校正后的图像丢失细节，提高图像伪影校正的准确性。并且进一步地，本发明还根据所述待校正图像与所述目标伪影校正图像获取所述待校正图像中的目标伪影图，并根据所述目标伪影图确定待校正图像的伪影严重程度，由于经过细节修复的目标伪影校正图像是准确的，即基于目标伪影校正图像得到的目标伪影图能够真实反映待校正图像中的伪影情况，因而根据目标伪影图进行伪影严重程度分析不会产生误差。
附图说明
图1为本发明实施例1的伪影校正分析方法的流程图；
图2为本发明实施例1中训练伪影校正模型的流程图；
图3为本发明实施例1中步骤S22的流程图；
图4为本发明实施例2的伪影校正分析方法的流程图；
图5为本发明实施例3中步骤S22的流程图；
图6本发明实施例4的伪影校正分析装置的结构框图；
图7本发明实施例5的伪影校正分析装置的结构框图；
图8为本发明实施例7的电子设备的硬件架构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
实施例1
如图1所示，本实施例提供一种伪影校正分析方法，该方法具体包括以下步骤：
S1，获取待校正图像。
在本实施例中，待校正图像是指需要进行伪影校正的图像。例如，通过医学成像设备(如CT、MRI、PET等)对扫描物体进行扫描得到的医学图像。扫描物体可以包括生物体的组织、器官等。例如，组织可以包括上皮组织、结缔组织、肌肉组织、神经组织等中的一种或多种的组合。由于扫描物体的运动或者扫描物体内部或外部的金属物，有可能会使得所拍摄的医学图像产生伪影，需要对其进行伪影校正。
S2，将所述待校正图像输入预设的伪影校正模型，得到所述待校正图像的目标伪影校正图像。其中，所述伪影校正模型用于预测所述待校正图像的初步伪影校正图像，并对所述初步伪影校正图像进行细节修复，得到所述待校正图像的目标伪影校正图像。
在本实施例中，所述伪影校正模型包括特征提取子模型、伪影校正子模型和细节修复子模型。其中，所述特征提取子模型用于提取待校正图像的特征；所述伪影校正子模型用于根据所述待校正图像的特征，预测所述待校正图像的初步伪影校正图像，并将所述待校正图像的初步伪影校正图像输入所述特征提取子模型进行处理，得到所述待校正图像的初步伪影校正图像的特征；所述细节修复子模型用于根据所述待校正图像的初步伪影校正图像的特征，对所述待校正图像的初步伪影校正图像进行细节修复，得到所述待校正图像的目标伪影校正图像。
在本实施例中，特征提取模块作为骨干网络，可以采用任意神经网络结构实现，包括但不限于RestNet、DesNet和HRNet等模型以及这些模型的改进结构。伪影校正子模型和细节修复子模型可以采用任意Decode(解码)网络结构，包括但不限于UNet的解码模块等。
本实施例通过采用用于预测所述待校正图像的初步伪影校正图像，并对所述初步伪影校正图像进行细节修复的伪影校正模型对所述待校正图像进行处理，由于本实施例中的伪影校正模型能够进行细节修复，因而可以避免伪影校正后的图像丢失细节，提高图像伪影校正的准确性。
在本实施例中，所述伪影校正模型经过预先训练得到。如图2所示，所述伪影校正模型的训练过程如下：
S21，获取数据集，所述数据集包括若干样本对，所述样本对包括样本图像、以及与所述样本图像对应的标准无伪影图像。
在本实施例中，样本图像包括伪影样本图像和非伪影样本图像。其中，伪影样本图像是指含有伪影的样本图像，将该图像中的伪影去除后即可得到其对应的标准无伪影图像；非伪影样本图像对应的标准无伪影图像是其本身。
S22，将所述样本图像输入至所述伪影校正模型中进行处理，得到所述伪影校正模型输出的中间结果和最终结果，并根据所述中间结果和最终结果、以及所述样本图像对应的标准无伪影图像，确定模型损失，具体来说，如图 3所示，本步骤的实现过程如下：
S2200，根据所述样本图像Iinput与对应的所述标准无伪影图像Itarget，获取所述样本图像中的标准伪影图Iart。
具体地，将所述样本图像Iinput减去对应的所述标准无伪影图像Itarget，即得到所述样本图像中的标准伪影图Iart。
S2201，将所述样本图像Iinput输入所述特征提取子模型进行处理，得到所述样本图像的特征Ifeat。
S2202，将所述样本图像的特征Ifeat输入所述伪影校正子模型进行处理，得到所述样本图像中的初步伪影图Part。
S2203，根据所述样本图像中的初步伪影图Part对所述样本图像Iinput进行校正，得到所述样本图像的初步伪影校正图像Pcorrection。
具体地，通过将样本图像Iinput减去样本图像中的初步伪影图Part，即可得到所述样本图像的初步伪影校正图像Pcorrection，此时得到的初步伪影校正图像 Pcorrection可能会丢失一些图像细节信息，因此需要进行细节修复。
S2204，将所述样本图像的初步伪影校正图像Pcorrection输入所述特征提取子模型进行处理，得到所述初步伪影校正图像Pcorrection的特征。
S2205，将所述初步伪影校正图像Pcorrection的特征输入所述细节修复子模型进行处理，得到所述样本图像的初步伪影校正图像中丢失的细节图Pdetail，并根据所述细节图Pdetail对所述样本图像的初步伪影校正图像Pcorrection进行细节修复，得到所述样本图像的目标伪影校正图像Pfinal。
具体地，将初步伪影校正图像Pcorrection加上细节图Pdetail，即可得到样本图像的目标伪影校正图像Pfinal。
S2206，根据所述样本图像中的初步伪影图Part和对应的标准伪影图Iart，按照如下式(1)计算伪影损失lart：
S2207，根据所述样本图像的目标伪影校正图像Pfinal和对应的标准无伪影图像Itarget，按照如下式(2)计算细节损失ldetail：
S2208，根据所述伪影损失lart和细节损失ldetail，按照如下式(3)计算模型损失l：
l＝lart+α.ldetail (3)
其中，α为预设的细节损失权重，例如α＝0.1。
S23，根据所述模型损失l，对所述伪影校正模型进行迭代训练，直到满足预设的训练终止条件。
在本实施例中，训练终止条件可以是训练次数达到目标次数，也可以是模型损失l收敛或小于预设值，本实施例对此不做任何具体限定。
优选地，本实施例可以使用Adam优化器，根据l对整个模型进行迭代优化。
进一步优选地，当样本图像为CT图像时，为了使扫描物体更加清晰，在执行步骤S22之前，通过如下公式(4)-(6)对Iinput和Itarget进行窗宽窗位调整：
min_value＝(window_center-window_width/2) (4)
max_value＝(window_center+window_width/2) (5)
其中，window_center表示相应扫描物体的窗位，window_width表示相应扫描物体的窗宽，Ii表示第i个像素的CT值。
此外，为了提高模型收敛速度，在窗宽窗位调整之后，还可以对各像素的CT值进行归一化处理，以将各像素的CT值映射到(0,1)范围之间。
本实施例在训练伪影校正模型时，通过根据所述样本图像中的初步伪影图和对应的标准伪影图计算伪影损失，以衡量伪影校正子模型的输出误差；同时根据所述样本图像的目标伪影校正图像和对应的标准无伪影图像计算细节损失，以衡量细节修复子模型的输出误差；最后结合所述伪影损失和细节损失构建的模型损失对所述伪影校正模型进行端到端的迭代训练，能够训练得到准确的伪影校正模型。
实施例2
本实施例是在实施例1基础上的进一步改进。如图4所示，本实施例的伪影校正分析方法在实施例1的基础上增加了以下步骤：
S3，根据所述待校正图像与所述待校正图像对应的目标伪影校正图像，获取所述待校正图像中的目标伪影图。
具体地，将目标伪影校正图像减去待校正图像，即可得到待校正图像中的目标伪影图。
S4，根据所述目标伪影图，确定所述待校正图像的伪影严重程度，具体来说：
首先，按照预设阈值对所述目标伪影图进行二值化处理，得到对应的掩码图。在掩码图中，伪影区域各像素点的掩码值为1，伪影区域之外的各像素点的掩码值为0。
而后，根据所述掩码图中伪影区域的面积，分析所述待校正图像的伪影严重程度。应该理解，伪影区域的面积越大，表示伪影越严重。
具体地，可以通过如下公式确定伪影严重程度score：
其中，
表示目标伪影图对应的掩码图中第i个像素点的掩码值，
表示目标伪影校正图像对应的掩码图中第i个像素点的掩码值，N表示目标伪影图和目标伪影校正图像的像素点总数。
此外，本实施例还可以根据掩码图中各像素的掩码平均值、以及伪影区域在该掩码图中所占的面积比例所构成的线性组合确定伪影严重程度。
本实施例根据所述待校正图像与所述目标伪影校正图像获取所述待校正图像中的目标伪影图，并根据所述目标伪影图确定待校正图像的伪影严重程度，由于经过细节修复的目标伪影校正图像是准确的，即基于目标伪影校正图像得到的目标伪影图能够真实反映待校正图像中的伪影情况，因而根据目标伪影图进行伪影严重程度分析不会产生误差，有利于医学成像质量控制。
实施例3
本实施例是在实施例1和2基础上的进一步改进。
在本实施例中，步骤S2包括：
将所述待校正图像输入预设的伪影校正模型，得到所述待校正图像的目标伪影校正图像、以及待校正图像为伪影图像的概率。
其中，所述伪影校正模型用于预测所述待校正图像的初步伪影校正图像以及待校正图像为伪影图像的概率，并对所述初步伪影校正图像进行细节修复，得到所述待校正图像的目标伪影校正图像。
具体地，本实施例中的伪影校正模型除了包括前述特征提取子模型、伪影校正子模型和细节修复子模型以外，还包括分类子模型，该分类子模型用于根据待校正图像的特征，预测待校正图像为伪影图像的概率。
本实施例通过采用用于预测所述待校正图像的初步伪影校正图像以及待校正图像为伪影图像的概率，并对所述初步伪影校正图像进行细节修复的伪影校正模型对所述待校正图像进行处理，由于本实施例中的伪影校正模型增加了预测待校正图像为伪影图像概率的功能，因而本实施例能够在避免伪影校正后的图像丢失细节的同时，准确识别待校正图像为伪影图像的概率，便于进行分类。
为了对本实施例中的伪影校正模型进行训练，步骤S21获取的样本图像还标注有其是否为伪影图像的标准分类结果Icls。例如，当样本图像为伪影图像时，该标本图像标注类别标签“1”，当样本图像为非伪影图像时，该标本图像标注类别标签“0”。
如图5所示，本实施例在对伪影校正模型进行训练时，步骤S22还包括：
S2209，将所述样本图像的特征Ifeat输入所述分类子模型进行处理，得到所述样本图像为伪影图像的概率Pcls。此处，分类子模型用于根据样本图像的特征，预测样本图像为伪影图像的概率。
S2210，根据所述样本图像为伪影图像的概率Pcls和所述标准分类结果Icls，按照如下式(8)计算分类损失lcls：
lcls＝-Icls log Pcls-(1-Icls)log(1-Pcls) (8)
此外，在本实施例中，步骤S228根据所述伪影损失、细节损失和分类损失，按照如下式(9)计算所述模型损失l：
l＝lart+α.ldetail+β.lcls (9)
其中，α为预设的细节权重，β为预设的分类损失权重，例如α＝0.1，β＝0.1。
本实施例在训练伪影校正模型时，通过根据所述样本图像中的初步伪影图和对应的标准伪影图计算伪影损失，以衡量伪影校正子模型的输出误差；通过根据所述样本图像的目标伪影校正图像和对应的标准无伪影图像计算细节损失，以衡量细节修复子模型的输出误差；此外，还通过根据样本图像为伪影图像的概率和样本图像的标准分类结果计算分类损失，以衡量分类子模型的输出误差；最后结合所述伪影损失、细节损失和分类损失构建的模型损失对所述伪影校正模型进行端到端的迭代训练，能够训练得到准确的伪影校正模型。并且，本实施例中伪影校正子模型、细节修复子模型和分类子模型中输入的特征均由同一特征提取子模型提取得到，能够有效减少模型训练的参数数量，提升计算速度。
优选地，本实施例还可以加入辨别网络以与前述伪影校正模型构建成生成对抗网络(Generative Adversarial Network,GAN)，以便采用各种对抗学习的方式对伪影校正模型进行训练。
在本实施例中，步骤S4根据所述目标伪影图，确定所述待校正图像的伪影严重程度的过程如下：
首先，根据待校正图像为伪影图像的概率，判断待校正图像是否为伪影图像。具体地，当待校正图像为伪影图像的概率大于预定概率阈值时，则判定其为伪影图像，反之，则判定其为非伪影图像。
而后，当待校正图像判定为伪影图像时，按照预设阈值对所述待校正图像对应的目标伪影图进行二值化处理，得到对应的掩码图。
最后，根据所述掩码图中伪影区域的面积，分析所述待校正图像的伪影严重程度。应该理解，面积越大，表示伪影越严重。
在本实施例中，由于能够准确获得待校正图像为伪影图像的概率，因而根据获得的概率可以准确判断待校正图像是否为伪影图像，当待校正图像识别为非伪影图像时，无需对其进行伪影严重程度分析，从而可以减少运算量。
实施例4
如图6所示，本实施例提供一种伪影校正分析装置，该装置具体包括：
图像获取模块11，用于获取待校正图像。
在本实施例中，待校正图像是指需要进行伪影校正的图像。例如，通过医学成像设备(如CT、MRI、PET等)对扫描物体进行扫描得到的医学图像。扫描物体可以包括生物体的组织、器官等。例如，组织可以包括上皮组织、结缔组织、肌肉组织、神经组织等中的一种或多种的组合。由于扫描物体的运动或者扫描物体内部或外部的金属物，有可能会使得所拍摄的医学图像产生伪影，需要对其进行伪影校正。
图像校正模块12，用于将所述待校正图像输入预设的伪影校正模型，得到所述待校正图像的目标伪影校正图像。其中，所述伪影校正模型用于预测所述待校正图像的初步伪影校正图像，并对所述初步伪影校正图像进行细节修复，得到所述待校正图像的目标伪影校正图像。
在本实施例中，所述伪影校正模型包括特征提取子模型、伪影校正子模型和细节修复子模型。其中，所述特征提取子模型用于提取待校正图像的特征；所述伪影校正子模型用于根据所述待校正图像的特征，预测所述待校正图像的初步伪影校正图像，并将所述待校正图像的初步伪影校正图像输入所述特征提取子模型进行处理，得到所述待校正图像的初步伪影校正图像的特征；所述细节修复子模型用于根据所述待校正图像的初步伪影校正图像的特征，对所述待校正图像的初步伪影校正图像进行细节修复，得到所述待校正图像的目标伪影校正图像。
在本实施例中，特征提取模块作为骨干网络，可以采用任意神经网络结构实现，包括但不限于RestNet、DesNet和HRNet等模型以及这些模型的改进结构。伪影校正子模型和细节修复子模型可以采用任意Decode(解码)网络结构，包括但不限于UNet的解码模块等。
本实施例通过采用用于预测所述待校正图像的初步伪影校正图像，并对所述初步伪影校正图像进行细节修复的伪影校正模型对所述待校正图像进行处理，由于本实施例中的伪影校正模型能够进行细节修复，因而可以避免伪影校正后的图像丢失细节，提高图像伪影校正的准确性。
在本实施例中，所述伪影校正模型经过预先训练得到。所述伪影校正模型的训练过程可以参见实施例1。
本实施例在训练伪影校正模型时，通过根据所述样本图像中的初步伪影图和对应的标准伪影图计算伪影损失，以衡量伪影校正子模型的输出误差；同时根据所述样本图像的目标伪影校正图像和对应的标准无伪影图像计算细节损失，以衡量细节修复子模型的输出误差；最后结合所述伪影损失和细节损失构建的模型损失对所述伪影校正模型进行端到端的迭代训练，能够训练得到准确的伪影校正模型。
实施例5
本实施例是在实施例4基础上的进一步改进。如图7所示，本实施例的伪影校正分析装置在实施例4的基础上增加了以下模块：
伪影图获取模块13，用于根据所述待校正图像与所述待校正图像对应的目标伪影校正图像，获取所述待校正图像中的目标伪影图。
具体地，将目标伪影校正图像减去待校正图像，即可得到待校正图像中的目标伪影图。
伪影程度分析模块14，用于根据所述目标伪影图，确定所述待校正图像的伪影严重程度，具体来说：
首先，按照预设阈值对所述目标伪影图进行二值化处理，得到对应的掩码图。在掩码图中，伪影区域各像素点的掩码值为1，伪影区域之外的各像素点的掩码值为0。
而后，根据所述掩码图中伪影区域的面积，分析所述待校正图像的伪影严重程度。应该理解，伪影区域的面积越大，表示伪影越严重。
具体地，可以通过如下公式确定伪影严重程度score：
其中，
表示目标伪影图对应的掩码图中第i个像素点的掩码值，
表示目标伪影校正图像对应的掩码图中第i个像素点的掩码值，N表示目标伪影图和目标伪影校正图像的像素点总数。
此外，本实施例还可以根据掩码图中各像素的掩码平均值、以及伪影区域在该掩码图中所占的面积比例所构成的线性组合确定伪影严重程度。
本实施例根据所述待校正图像与所述目标伪影校正图像获取所述待校正图像中的目标伪影图，并根据所述目标伪影图确定待校正图像的伪影严重程度，由于经过细节修复得到的目标伪影校正图像是准确的，即基于目标伪影校正图像得到的目标伪影图能够真实反映待校正图像中的伪影情况，因而根据目标伪影图进行伪影严重程度分析不会产生误差，有利于医学成像质量控制。
实施例6
本实施例是在实施例4和5基础上的进一步改进。
在本实施例中，伪影校正模块12还用于：将所述待校正图像输入预设的伪影校正模型，得到所述待校正图像的目标伪影校正图像、以及待校正图像为伪影图像的概率。
其中，所述伪影校正模型用于预测所述待校正图像的初步伪影校正图像以及待校正图像为伪影图像的概率，并对所述初步伪影校正图像进行细节修复，得到所述待校正图像的目标伪影校正图像。
具体地，本实施例中的伪影校正模型除了包括前述特征提取子模型、伪影校正子模型和细节修复子模型以外，还包括分类子模型，该分类子模型用于根据待校正图像的特征，预测待校正图像为伪影图像的概率。
本实施例通过采用用于预测所述待校正图像的初步伪影校正图像以及待校正图像为伪影图像的概率，并对所述初步伪影校正图像进行细节修复的伪影校正模型对所述待校正图像进行处理，由于本实施例中的伪影校正模型增加了预测待校正图像为伪影图像概率的功能，因而本实施例能够在避免伪影校正后的图像丢失细节的同时，准确识别待校正图像为伪影图像的概率，便于进行分类。
本实施例中伪影校正模型的训练过程可以参见实施例3。
在本实施例中，伪影程度分析模块14根据所述目标伪影图，确定所述待校正图像的伪影严重程度的过程如下：
首先，根据待校正图像为伪影图像的概率，判断待校正图像是否为伪影图像。具体地，当待校正图像为伪影图像的概率大于预定概率阈值时，则判定其为伪影图像，反之，则判定其为非伪影图像。
而后，当待校正图像判定为伪影图像时，按照预设阈值对所述待校正图像对应的目标伪影图进行二值化处理，得到对应的掩码图。
最后，根据所述掩码图中伪影区域的面积，分析所述待校正图像的伪影严重程度。应该理解，面积越大，表示伪影越严重。
在本实施例中，由于能够准确获得待校正图像为伪影图像的概率，因而根据获得的概率可以准确判断待校正图像是否为伪影图像，当待校正图像识别为非伪影图像时，无需对其进行伪影严重程度分析，从而可以减少运算量。
实施例7
本实施例提供一种电子设备，电子设备可以通过计算设备的形式表现 (例如可以为服务器设备)，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中处理器执行计算机程序时可以实现本发明实施例1、2或3中的伪影校正分析方法。
具体地，上述伪影校正分析方法包括以下步骤：获取待校正图像；将所述待校正图像输入预设的伪影校正模型，得到所述待校正图像的目标伪影校正图像；其中，所述伪影校正模型用于预测所述待校正图像的初步伪影校正图像，并对所述初步伪影校正图像进行细节修复，得到所述待校正图像的目标伪影校正图像。优选地，该方法还包括根据所述待校正图像与所述目标伪影校正图像，获取所述待校正图像中的目标伪影图；根据所述目标伪影图，确定所述待校正图像的伪影严重程度。进一步优选地，将所述待校正图像输入预设的伪影校正模型后，还可以得到所述待校正图像为伪影图像的概率。
图8示出了本实施例的硬件结构示意图，如图8所示，电子设备9具体包括：
至少一个处理器91、至少一个存储器92以及用于连接不同系统组件(包括处理器91和存储器92)的总线93，其中：
总线93包括数据总线、地址总线和控制总线。
存储器92包括易失性存储器，例如随机存取存储器(RAM)921和/或高速缓存存储器922，还可以进一步包括只读存储器(ROM)923。
存储器92还包括具有一组(至少一个)程序模块924的程序/实用工具 925，这样的程序模块924包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
处理器91通过运行存储在存储器92中的计算机程序，从而执行各种功能应用以及数据处理，例如本发明实施例1、2或3的伪影校正分析方法。
电子设备9进一步可以与一个或多个外部设备94(例如键盘、指向设备等)通信。这种通信可以通过输入/输出(I/O)接口95进行。并且，电子设备9还可以通过网络适配器96与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器96通过总线93与电子设备9的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备9使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID(磁盘阵列)系统、磁带驱动器以及数据备份存储系统等。
应当注意，尽管在上文详细描述中提及了电子设备的若干单元/模块或子单元/模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
实施例8
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，程序被处理器执行时实现本发明实施例1、2或3伪影校正分析方法的步骤。具体地，上述伪影校正分析方法包括以下步骤：获取待校正图像；将所述待校正图像输入预设的伪影校正模型，得到所述待校正图像的目标伪影校正图像；其中，所述伪影校正模型用于预测所述待校正图像的初步伪影校正图像，并对所述初步伪影校正图像进行细节修复，得到所述待校正图像的目标伪影校正图像。优选地，该方法还包括根据所述待校正图像与所述目标伪影校正图像，获取所述待校正图像中的目标伪影图；根据所述目标伪影图，确定所述待校正图像的伪影严重程度。进一步优选地，将所述待校正图像输入预设的伪影校正模型后，还可以得到所述待校正图像为伪影图像的概率。
其中，可读存储介质可以采用的更具体可以包括但不限于：便携式盘、硬盘、随机存取存储器、只读存储器、可擦拭可编程只读存储器、光存储器件、磁存储器件或上述的任意合适的组合。
在可能的实施方式中，本发明还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行实现本发明实施例1、2或3伪影校正分析方法的步骤。
其中，可以以一种或多种程序设计语言的任意组合来编写用于执行本发明的程序代码，所述程序代码可以完全地在用户设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户设备上部分在远程设备上执行或完全在远程设备上执行。
虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。
Claims (10)
1.一种伪影校正分析方法，其特征在于，包括：
获取待校正图像；
将所述待校正图像输入预设的伪影校正模型，得到所述待校正图像的目标伪影校正图像；
其中，所述伪影校正模型用于预测所述待校正图像的初步伪影校正图像，并对所述初步伪影校正图像进行细节修复，得到所述待校正图像的目标伪影校正图像。
2.根据权利要求1所述的伪影校正分析方法，其特征在于，所述伪影校正模型包括特征提取子模型、伪影校正子模型和细节修复子模型；
所述特征提取子模型用于提取待校正图像的特征；
所述伪影校正子模型用于根据所述待校正图像的特征，预测所述待校正图像的初步伪影校正图像，并将所述初步伪影校正图像输入所述特征提取子模型进行处理，得到所述初步伪影校正图像的特征；
所述细节修复子模型用于根据所述初步伪影校正图像的特征，对所述初步伪影校正图像进行细节修复，得到所述待校正图像的目标伪影校正图像。
3.根据权利要求1所述的伪影校正分析方法，其特征在于，所述伪影校正模型还用于预测所述待校正图像为伪影图像的概率。
4.根据权利要求1所述的伪影校正分析方法，其特征在于，所述方法还包括：
根据所述待校正图像与所述目标伪影校正图像，获取所述待校正图像中的目标伪影图；
根据所述目标伪影图，确定所述待校正图像的伪影严重程度。
5.根据权利要求4所述的伪影校正分析方法，其特征在于，所述根据所述目标伪影图，确定所述待校正图像的伪影严重程度，包括：
对所述目标伪影图进行二值化处理，得到对应的掩码图；
根据所述掩码图计算伪影区域的面积，确定所述待校正图像的伪影严重程度。
6.根据权利要求2所述的伪影校正分析方法，其特征在于，所述伪影校正模型的训练过程如下：
获取数据集，所述数据集包括若干样本对，所述样本对包括样本图像、以及与所述样本图像对应的标准无伪影图像；
将所述样本图像输入至所述伪影校正模型中进行处理，得到所述伪影校正模型输出的中间结果和最终结果，并根据所述中间结果和最终结果、以及所述样本图像对应的标准无伪影图像，确定模型损失；
根据所述模型损失，对所述伪影校正模型进行迭代训练，直到满足预设的训练终止条件。
7.根据权利要求6所述的伪影校正分析方法，其特征在于，所述将所述样本图像输入至所述伪影校正模型中进行处理，得到所述伪影校正模型输出的中间结果和最终结果，并根据所述中间结果和最终结果、以及所述样本图像对应的标准无伪影图像，确定模型损失，包括：
根据所述样本图像与对应的所述标准无伪影图像，获取所述样本图像中的标准伪影图；
将所述样本图像输入所述特征提取子模型进行处理，得到所述样本图像的特征；
将所述样本图像的特征输入所述伪影校正子模型进行处理，得到所述样本图像中的初步伪影图，并根据所述样本图像中的初步伪影图对所述样本图像进行校正，得到所述样本图像的初步伪影校正图像；
将所述初步伪影校正图像输入所述特征提取子模型进行处理，得到所述初步伪影校正图像的特征；
将所述初步伪影校正图像的特征输入所述细节修复子模型进行处理，得到所述初步伪影校正图像中丢失的细节图，并根据所述细节图对所述样本图像的初步伪影校正图像进行细节修复，得到所述样本图像的目标伪影校正图像；
根据所述样本图像中的初步伪影图和对应的标准伪影图，计算伪影损失；
根据所述样本图像的目标伪影校正图像和对应的标准无伪影图像，计算细节损失；
根据所述伪影损失和细节损失，计算模型损失。
8.根据权利要求7所述的伪影校正分析方法，其特征在于，
所述伪影校正模型还包括分类子模型，所述分类子模型用于根据样本图像的特征，预测所述样本图像为伪影图像的概率；
所述数据集还包括：所述样本图像是否为伪影图像的标准分类结果；
所述将所述样本图像输入至所述伪影校正模型中进行处理，得到所述伪影校正模型输出的中间结果和最终结果，并根据所述中间结果和最终结果、以及所述样本图像对应的标准无伪影图像，确定模型损失，还包括：
将所述样本图像的特征输入所述分类子模型进行处理，得到所述样本图像为伪影图像的概率；
根据所述样本图像为伪影图像的概率和所述标准分类结果，计算分类损失；
所述根据所述伪影损失和细节损失，计算模型损失，包括：
根据所述伪影损失、细节损失和分类损失，计算所述模型损失。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011606804.8A CN112652031A (zh) | 2020-12-30 | 2020-12-30 | 伪影校正分析方法、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011606804.8A CN112652031A (zh) | 2020-12-30 | 2020-12-30 | 伪影校正分析方法、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112652031A true CN112652031A (zh) | 2021-04-13 |
Family
ID=75364326
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011606804.8A Pending CN112652031A (zh) | 2020-12-30 | 2020-12-30 | 伪影校正分析方法、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112652031A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113792736A (zh) * | 2021-10-22 | 2021-12-14 | 上海联影智能医疗科技有限公司 | 基于深度学习的医学图像处理方法、设备及介质 |
| CN115115552A (zh) * | 2022-08-25 | 2022-09-27 | 腾讯科技（深圳）有限公司 | 图像矫正模型训练及图像矫正方法、装置和计算机设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016106990A1 (zh) * | 2014-12-30 | 2016-07-07 | 深圳先进技术研究院 | Ct成像方法和系统 |
| CN106909947A (zh) * | 2017-03-03 | 2017-06-30 | 中南大学 | 基于Mean Shift算法的CT图像金属伪影消除方法及消除系统 |
| CN110378982A (zh) * | 2019-07-23 | 2019-10-25 | 上海联影医疗科技有限公司 | 重建图像处理方法、装置、设备及存储介质 |
| CN110866880A (zh) * | 2019-11-14 | 2020-03-06 | 上海联影智能医疗科技有限公司 | 图像伪影检测方法、装置、设备和存储介质 |
| CN111080584A (zh) * | 2019-12-03 | 2020-04-28 | 上海联影智能医疗科技有限公司 | 医学图像的质控方法、计算机设备和可读存储介质 |
-
2020
- 2020-12-30 CN CN202011606804.8A patent/CN112652031A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016106990A1 (zh) * | 2014-12-30 | 2016-07-07 | 深圳先进技术研究院 | Ct成像方法和系统 |
| CN106909947A (zh) * | 2017-03-03 | 2017-06-30 | 中南大学 | 基于Mean Shift算法的CT图像金属伪影消除方法及消除系统 |
| CN110378982A (zh) * | 2019-07-23 | 2019-10-25 | 上海联影医疗科技有限公司 | 重建图像处理方法、装置、设备及存储介质 |
| CN110866880A (zh) * | 2019-11-14 | 2020-03-06 | 上海联影智能医疗科技有限公司 | 图像伪影检测方法、装置、设备和存储介质 |
| CN111080584A (zh) * | 2019-12-03 | 2020-04-28 | 上海联影智能医疗科技有限公司 | 医学图像的质控方法、计算机设备和可读存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 周洋: "两种锥形束CT金属伪影的定量研究", 中国优秀博硕士学位论文全文数据库, vol. 2018, no. 1, pages 4 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113792736A (zh) * | 2021-10-22 | 2021-12-14 | 上海联影智能医疗科技有限公司 | 基于深度学习的医学图像处理方法、设备及介质 |
| CN115115552A (zh) * | 2022-08-25 | 2022-09-27 | 腾讯科技（深圳）有限公司 | 图像矫正模型训练及图像矫正方法、装置和计算机设备 |
| CN115115552B (zh) * | 2022-08-25 | 2022-11-18 | 腾讯科技（深圳）有限公司 | 图像矫正模型训练及图像矫正方法、装置和计算机设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102581685B1 (ko) | 딥 러닝을 이용한 3d 구강 악안면 구조의 분류 및 3d 모델링 | |
| CN109620205B (zh) | 心电数据分类方法、装置、计算机设备和存储介质 | |
| CN112348936B (zh) | 一种基于深度学习的低剂量锥束ct图像重建方法 | |
| CN111862044B (zh) | 超声图像处理方法、装置、计算机设备和存储介质 | |
| CN110991636B (zh) | 生成式对抗网络的训练方法及装置、图像增强方法及设备 | |
| CN112652031A (zh) | 伪影校正分析方法、电子设备及存储介质 | |
| JP2012512730A (ja) | 医療用途のデジタルｘ線画像の対象領域における明るさレベルを計算する方法 | |
| CN107862665B (zh) | Ct图像序列的增强方法及装置 | |
| CN117956265A (zh) | 用于激光光束近场检测的相机智能控制方法 | |
| CN112818946A (zh) | 年龄识别模型的训练、年龄识别方法、装置及电子设备 | |
| CN109002758A (zh) | 人脸特征点定位方法、装置、设备及存储介质 | |
| CN113762522A (zh) | 机器学习模型的训练方法、装置和图像的重建方法、装置 | |
| CN116993712A (zh) | 一种基于深度学习处理口腔cbct图像的方法和装置 | |
| CN115439423B (zh) | 一种基于ct图像的识别方法、装置、设备及存储介质 | |
| TWI781000B (zh) | 機器學習裝置以及方法 | |
| CN113792736B (zh) | 基于深度学习的医学图像处理方法、设备及介质 | |
| CN112530554B (zh) | 一种扫描定位方法、装置、存储介质及电子设备 | |
| CN115797186A (zh) | 一种图像修复方法、装置、电子设备及存储介质 | |
| CN113674261B (zh) | 骨骼检测方法、系统、电子设备和存储介质 | |
| CN113538470B (zh) | 一种基于神经网络的图像层间边界确定方法及装置 | |
| CN115423832B (zh) | 肺动脉分割模型构建方法、肺动脉分割方法和装置 | |
| CN118866332A (zh) | 基于ai辅助的三维医学影像智能诊断系统及方法 | |
| CN117636195A (zh) | 医学视频分类方法、电子设备和存储介质 | |
| CN118506957A (zh) | 基于深度学习的医学影像报告自动生成系统及方法 | |
| CN117876509A (zh) | 一种基于深度学习的ct图像评估方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |