CN110443254B - 图像中金属区域的检测方法、装置、设备和存储介质 - Google Patents
图像中金属区域的检测方法、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN110443254B CN110443254B CN201910712023.8A CN201910712023A CN110443254B CN 110443254 B CN110443254 B CN 110443254B CN 201910712023 A CN201910712023 A CN 201910712023A CN 110443254 B CN110443254 B CN 110443254B
- Authority
- CN
- China
- Prior art keywords
- image
- initial
- metal area
- layer
- metal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000002184 metal Substances 0.000 title claims abstract description 216
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000001514 detection method Methods 0.000 claims abstract description 64
- 238000012549 training Methods 0.000 claims abstract description 40
- 238000003062 neural network model Methods 0.000 claims abstract description 32
- 230000008447 perception Effects 0.000 claims abstract description 22
- 238000012805 post-processing Methods 0.000 claims abstract description 14
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 53
- 238000000605 extraction Methods 0.000 claims description 45
- 230000004927 fusion Effects 0.000 claims description 30
- 238000005070 sampling Methods 0.000 claims description 23
- 238000004422 calculation algorithm Methods 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 12
- 230000000877 morphologic effect Effects 0.000 claims description 9
- 230000007704 transition Effects 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 230000017105 transposition Effects 0.000 claims 2
- 238000010586 diagram Methods 0.000 description 5
- 229910052755 nonmetal Inorganic materials 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000005855 radiation Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 230000014759 maintenance of location Effects 0.000 description 2
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Radiology & Medical Imaging (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Biophysics (AREA)
- High Energy & Nuclear Physics (AREA)
- Artificial Intelligence (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例公开了一种图像中金属区域的检测方法、装置、设备和存储介质。该方法包括：获取待检测金属区域的待检测图像；将所述待检测图像输入目标金属区域检测模型，生成标记金属区域初始边缘的初始二值图像，其中，所述目标金属区域检测模型基于改进的类别语义感知的神经网络模型预先训练而获得；对所述初始二值图像进行后处理，生成标记金属区域的目标二值图像。通过上述技术方案，实现了对较小的扫描剂量所得的图像中金属区域的有效检测，降低了人体所受剂量及提高了图像质量。
Description
技术领域
本发明实施例涉及医学图像处理技术，尤其涉及一种图像中金属区域的检测方法、装置、设备和存储介质。
背景技术
一些医疗影像设备(例如C型臂)的临床使用场景中经常会出现较多的金属，例如各种手术器械等。当拍摄的图像视野中存在大面积的高衰减金属时，会导致重建图像中感兴趣区域(Region Of Interest,ROI)的灰度较低，针对该情况的解决方案通常是增大扫描时人体所受剂量，以使ROI区域内的灰度达到目标灰度。另外，在图像处理模块中，由于金属区域较复杂，传统的图像检测算法无法将图像中的金属区域有效剔除，使得图像处理时容易出现将金属区域与人体区域一并处理的情况，导致图像质量低。
综上，现有技术中对于扫描视野中存在大面积的高衰减金属的处理方式，不仅增加人体所受剂量，造成人体的剂量伤害，而且所得的图像质量也较低，无法满足临床需求。
发明内容
本发明实施例提供一种图像中金属区域的检测方法、装置、设备和存储介质，以实现对较小的扫描剂量所得的图像中金属区域的有效检测，降低人体所受剂量及提高图像质量。
第一方面，本发明实施例提供了一种图像中金属区域的检测方法，包括：
获取待检测金属区域的待检测图像；
将所述待检测图像输入目标金属区域检测模型，生成标记金属区域初始边缘的初始二值图像，其中，所述目标金属区域检测模型基于改进的类别语义感知的神经网络模型预先训练而获得；
对所述初始二值图像进行后处理，生成标记金属区域的目标二值图像。
第二方面，本发明实施例还提供了一种图像中金属区域的检测装置，该装置包括：
待检测图像获取模块，用于获取待检测金属区域的待检测图像；
初始二值图像生成模块，用于将所述待检测图像输入目标金属区域检测模型，生成标记金属区域初始边缘的初始二值图像，其中，所述目标金属区域检测模型基于改进的类别语义感知的神经网络模型预先训练而获得；
目标二值图像生成模块，用于对所述初始二值图像进行后处理，生成标记金属区域的目标二值图像。
第三方面，本发明实施例还提供了一种电子设备，该电子设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明任意实施例所提供的图像中金属区域的检测方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现本发明任意实施例所提供的图像中金属区域的检测方法。
本发明实施例通过预先基于改进的类别语义感知的神经网络模型训练获得目标金属区域检测模型，为后续从待检测图像中提取金属区域提供了模型基础。通过获取待检测金属区域的待检测图像；将待检测图像输入目标金属区域检测模型，生成标记金属区域初始边缘的初始二值图像；对初始二值图像进行后处理，生成标记金属区域的目标二值图像。实现了对较小的扫描剂量所得的待检测图像中金属区域的有效检测，提高了图像中金属区域的自动识别精度和效率，降低了人体所受辐射剂量，提高了图像质量。
附图说明
图1a是本发明实施例一中的一种图像中金属区域的检测方法的流程图；
图1b是本发明实施例一中的待检测图像；
图1c是本发明实施例一中的初始二值图像；
图1d是本发明实施例一中的目标二值图像；
图2是本发明实施例一中的类别语义感知的神经网络模型的模型结构示意图；
图3是本发明实施例二中的改进的类别语义感知的神经网络模型的模型结构示意图；
图4a是本发明实施例二中的一种图像中金属区域的检测方法中目标金属区域检测模型的训练方法的流程图；
图4b是本发明实施例二中的训练图像集中的两组待训练图像及其对应的参考二值图像；
图5是本发明实施例三中的一种图像中金属区域的检测装置的结构示意图；
图6是本发明实施例四中的一种电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
本实施例提供的图像中金属区域的检测方法可适用于检测图像中存在的金属区域，尤其适用于医学图像中金属区域的检测。该方法可以由图像中金属区域的检测装置来执行，该装置可以由软件和/或硬件的方式实现，该装置可以集成在具有图像处理功能的电子设备中，例如个人计算机、服务器或网络设备等。参见图1a，本实施例的方法具体包括如下步骤：
S110、获取待检测金属区域的待检测图像。
首先需要获取用于进行金属区域检测的图像，即待检测图像。该待检测图像可以是仅包含待检测金属所在的区域(即待检测金属区域)的图像，也可以是包含待检测金属区域和其他非金属区域的图像。例如，待检测图像可以为医疗影像设备对扫描对象进行扫描所获得的医学图像。参见图1b，待检测图像100-1中包含的黑色区域便为金属区域101。
示例性地，获取待检测金属区域的待检测图像包括：获取待检测金属区域的初始图像；对初始图像进行预处理，获得待检测图像，预处理包含灰度归一化及图像边界填充。
本发明实施例中是通过目标金属区域检测模型对待检测图像进行金属区域的检测，故需要按照模型的输入要求对包含待检测金属区域的初始图像进行预处理，例如灰度归一化的图像灰度处理和图像边界填充的图像大小处理等，预处理后的初始图像便为能够输入模型进行金属区域检测的待检测图像。
S120、将待检测图像输入目标金属区域检测模型，生成标记金属区域初始边缘的初始二值图像。
其中，目标金属区域检测模型是指用于对图像进行金属区域检测的模型，目标金属区域检测模型基于改进的类别语义感知的神经网络模型预先训练而获得。类别语义感知的神经网络模型是能够进行不同类别的目标识别的深度神经网络模型，其网络模型结构如图2所示，其包含初始特征提取结构和特征融合结构两部分，初始特征提取结构用于从图像中初步进行特征提取，即残差块1、残差块2、残差块3及第二次卷积操作输出的图像便为初步特征提取结果。这里的残差块具有跳跃连接结构，能降低特征信息的损失，同时，也能防止网络在参数更新的过程中因梯度消失而导致的训练失败的问题，提高模型训练效率。特征融合结构将上述获得的各初步特征提取结果进行融合，所获得融合图像便为模型输出结果。改进的类别语义感知的神经网络模型是对类别语义感知的神经网络模型进行模型的改进，例如在初始特征提取结构的基础上，进一步增加二次特征提取结构，从而进一步提升特征提取精度。
将待检测图像100-1输入目标金属区域检测模型，经过模型的处理，可获得如图1c所示的模型输出图像(即初始二值图像)100-2，该模型输出图像为二值化的图像，图像中的不同值分别表征金属区域的边缘和非金属边缘的其他图像内容，如白色边缘均表示金属区域的边缘，而图像中的黑色区域均表示非金属边缘的其他图像内容。由于模型可能仍然存在一定的误差，故模型输出图像中的金属区域边缘存在不完整的可能性，故将此时提取获得的金属区域边缘称为金属区域初始边缘，而模型输出图像称为初始二值图像。
S130、对初始二值图像进行后处理，生成标记金属区域的目标二值图像。
为了完整地标记图像中的金属区域，需要对初始二值图像100-2进行后处理，例如图像去噪、边缘连通或区域填充等，以便修正初始二值图像100-2中的金属区域初始边缘，并填充修正后的金属区域初始边缘对应的金属区域，获得完整标记金属区域的二值化图像，即图1d的目标二值图像100-3，其中的白色区域对应于待检测图像100-1中的金属区域，黑色区域则为待检测图像100-1中的非金属区域。
示例性地，对初始二值图像进行后处理，生成标记金属区域的目标二值图像包括：
A、若初始二值图像中的金属区域初始边缘对应的区域为连通区域，则利用形态学重建算法填充连通区域，作为金属区域，生成标记金属区域的目标二值图像。
对初始二值图像进行后处理时，先判断初始二值图像中的金属区域初始边缘所包围的区域是否为连通区域。如果是，那么该金属区域初始边缘可作为修正后的金属区域初始边缘，无需进行边缘修正。此时，只需基于形态学重建算法(morphologicalreconstruction)，利用金属区域的边缘对应的数值填充金属区域初始边缘形成的连通区域，填充后的连通区域便为金属区域，而数值填充后的初始二值图像便为目标二值图像。
B、若初始二值图像中的金属区域初始边缘对应的区域为非连通区域，则利用预设边缘处理算法对金属区域初始边缘进行边缘连接处理，生成金属区域完整边缘，并利用形态学重建算法填充金属区域完整边缘内的区域，作为金属区域，生成标记金属区域的目标二值图像。
与步骤A并列的后处理步骤为：若判断初始二值图像中的金属区域初始边缘所包围的区域为非连通区域，说明金属区域初始边缘并不是金属区域的完整边缘，那么就需要修正金属区域初始边缘。此时，利用诸如膨胀算法、边界追踪算法或区域生成算法等预设边缘处理算法来连接金属区域初始边缘，形成金属区域完整边缘。该金属区域完整边缘所包围的区域为连通区域。之后，基于形态学重建算法，利用金属区域的边缘对应的数值填充金属区域完整边缘形成的连通区域，便可获得目标二值图像。这样设置的好处在于，能够进一步提高目标二值图像中金属区域的标记精度。
本实施例的技术方案，通过预先基于改进的类别语义感知的神经网络模型训练获得目标金属区域检测模型，为后续从待检测图像中提取金属区域提供了模型基础。通过获取待检测金属区域的待检测图像；将待检测图像输入目标金属区域检测模型，生成标记金属区域初始边缘的初始二值图像；对初始二值图像进行后处理，生成标记金属区域的目标二值图像。实现了对较小的扫描剂量所得的待检测图像中金属区域的有效检测，提高了图像中金属区域的自动识别精度和效率，降低了人体所受辐射剂量，提高了图像质量。
实施例二
本实施例在上述实施例一的基础上，对“目标金属区域检测模型”的训练进行了进一步优化。其中与上述各实施例相同或相应的术语的解释在此不再赘述。
本发明实施例中的目标金属区域检测模型基于改进的类别语义感知的神经网络模型训练而成，在训练获得目标金属区域检测模型之前，先对改进的类别语义感知的神经网络模型进行说明。
参见图3，改进的类别语义感知的神经网络模型包含初始特征提取结构310、融合特征提取结构320和特征融合结构330；
初始特征提取结构310用于从待检测图像301中初步提取金属区域的边缘特征。初始特征提取结构310包含第一卷积层311、至少三个过渡层312、与每个过渡层312相连接的残差块313以及包含插值和卷积的第二卷积层314，残差块313和第二卷积层314均生成初始特征，即每个残差块和第二卷积层的输出图像为初步进行特征提取所获得的初始特征。
融合特征提取结构320用于对待检测图像进行二次特征提取，即在初始特征的基础上，进一步提取金属区域的边缘特征。融合特征提取结构320包含至少一个上采样层321，上采样层321包含至少一个转置卷积322。且上采样层321与残差块313对应连接，用于对残差块313生成的初始特征进行二次特征提取，生成融合特征。融合特征提取结构320中上采样层的数量大于或等于1，且小于或等于初始特征提取结构310中的残差块的数量。上采样层的数量越多，则融合特征的提取更加精确和全面。每个上采样层的输出图像便为一个对初始特征进行二次特征提取的结果，即融合特征。
特征融合结构330与第二卷积层314和各上采样层321连接，用于融合第二卷积层314生成的初始特征以及各上采样层321生成的融合特征，生成初始二值图像302。
本实施例中改进的类别语义感知的神经网络模型在类别语义感知的神经网络模型的基础上，横向增加了至少一个神经网络层。这是因为，类别语义感知的神经网络模型等深度神经网络的浅层网络提取的特征容易理解，可以理解为模糊的边缘或是区域特征，但是网络层次越深，提取的特征就越抽象。如果单纯的增加纵向的网络深度，得到的结果只能是更抽象的特征。基于此，本发明实施例中横向增加了特征提取的网络层，以此兼顾学习浅层次特征与深层次特征，进而将多层次的特征融合，从而更有利于提升图像中金属区域检测的效果。
示例性地，上采样层的数量与残差块的数量对应一致，且深度较深的残差块对应的上采样层包含的转置卷积的数量大于或等于深度较浅的残差块对应的上采样层包含的转置卷积的数量。这样设置的好处在于，第一，纵向网络层输出的图像特征具有特征抽象的特点，且网络层次越深特征越抽象，而特征融合结构的作用是从特征中提炼出边缘特征信息，越抽象的特征越容易丢失边缘信息，故本实施例中为每个残差块均增加一个横向特征提取的网络层(即上采样层)，以更好地还原各初始特征中的边缘特征，提高每个残差块输出的初始特征的边缘信息的保留率，避免因上采样层的数量少而丢失信息；第二，纵向网络层输出的图像特征还具有图像维度减小的特点，且网络层次越深维度越小，意味着随着残差块所在网络层次的加深，其输出的初始特征的维度就越小，但是特征融合结构还需要边缘特征信息恢复到和原始图像一样大小，维度更小的抽象特征也需要渐进式的恢复到原始图像大小，避免因一次性恢复到原始图像大小而丢失信息，故层次越深的上采样层所需的转置卷积的数量越多，从而进一步提高初始特征中的边缘信息的保留率。
示例性地，初始特征提取结构包含三个残差块，融合特征提取结构包含三个上采样层，并且最浅层的残差块对应的上采样层包含一个转置卷积，中间层的残差块对应的上采样层包含两个转置卷积，最深层的残差块对应的上采样层包含四个转置卷积。
为了进一步提高融合特征的全面性和精度，本实施例中将初始特征提取结构310中包含的残差块313设置为三个，同时将融合特征提取结构320中包含的上采样层321设置为三个，并且最浅层的残差块(即残差块1)对应的上采样层设置为只包含一个转置卷积，中间层的残差块(即残差块2)对应的上采样层设置为包含两个转置卷积，最深层的残差块(即残差块3)对应的上采样层设置为包含四个转置卷积。
参见图4a，本实施例提供的图像中金属区域的检测方法中目标金属区域检测模型的训练方法包括：
S210、获取包含至少两组图像的训练图像集，每组图像包含待训练图像和待训练图像对应的标记金属区域完整边缘的参照二值图像。
神经网络模型的训练需要收集大量的训练样本图像，构建训练图像集。训练图像集中的图像以图像对形式存在，参见图4b，每一个待训练图像401(深色区域即为金属区域)对应有一个参照二值图像402(白色边缘即为金属区域边缘)。每个参照二值图像402均是以其对应的待训练图像401为基础，进行金属区域识别、金属边缘勾画及二值化等处理而生成，其内部的金属区域的边缘为完整边缘，其是待训练图像的金标准，用于模型训练中的模型输出结果的误差计算及误差反传计算。例如，可以收集临床扫描所得的DICOM图像，并生成每个DICOM图像对应的参照二值图像。由于目标金属区域检测模型输出的初始二值图像仅需要标记金属区域的边缘，故参照二值图像中也只需将金属区域的边缘和其他非边缘图像内容进行二值区分便可。
S220、分别将每组图像输入初始金属区域检测模型进行模型训练，生成目标金属区域检测模型。
模型训练之前，需要先构建初始的训练模型，即初始金属区域检测模型，该模型的架构与上述说明的改进的类别语义感知的神经网络模型相同。并且初始金属区域检测模型中的各个模型参数均为初始模型参数。初始模型参数均为基于零均值及预设方差(小方差，如0.01)的随机数，后续模型训练的过程便是不断迭代更新模型参数的过程。另外，初始金属区域检测模型中的损失函数为多类别比较损失函数，该损失函数用于计算模型输出结果与参照二值图像之间的误差及确定误差反传方式，从而驱动模型不断进行迭代训练。
初始金属区域检测模型确定之后，便以组为单位，依次将训练图像集中的相应图像输入初始金属区域检测模型进行模型训练，直至达到模型训练要求，如模型输出结果与参照二值图像之间的误差满足预设误差要求，此时便可获得更新后的模型参数。将更新后的模型参数替代初始金属区域检测模型中的初始模型参数，便可获得目标金属区域检测模型。
本实施例的技术方案，通过改进的类别语义感知的神经网络模型、初始模型参数和多类别比较损失函数构建初始金属区域检测模型，并分别将包含待训练图像及其参照二值图像的每组图像输入初始金属区域检测模型进行模型训练，生成目标金属区域检测模型，实现了目标金属区域检测模型的训练，为后续从待检测图像中提取金属区域提供了模型基础。
实施例三
本实施例提供一种图像中金属区域的检测装置，参见图5，该装置具体包括：
待检测图像获取模块510，用于获取待检测金属区域的待检测图像；
初始二值图像生成模块520，用于将待检测图像输入目标金属区域检测模型，生成标记金属区域初始边缘的初始二值图像，其中，目标金属区域检测模型基于改进的类别语义感知的神经网络模型预先训练而获得；
目标二值图像生成模块530，用于对初始二值图像进行后处理，生成标记金属区域的目标二值图像。
可选地，目标二值图像生成模块530具体用于：
若初始二值图像中的金属区域初始边缘对应的区域为连通区域，则利用形态学重建算法填充连通区域，作为金属区域，生成标记金属区域的目标二值图像；或，
若初始二值图像中的金属区域初始边缘对应的区域为非连通区域，则利用预设边缘处理算法对金属区域初始边缘进行边缘连接处理，生成金属区域完整边缘，并利用形态学重建算法填充金属区域完整边缘内的区域，作为金属区域，生成标记金属区域的目标二值图像。
可选地，在上述装置的基础上，该装置还包括模型训练模块，用于通过如下方式预先训练目标金属区域检测模型：
获取包含至少两组图像的训练图像集，每组图像包含待训练图像和待训练图像对应的标记金属区域完整边缘的参照二值图像；
分别将每组图像输入初始金属区域检测模型进行模型训练，生成目标金属区域检测模型，其中，初始金属区域检测模型的模型结构、模型参数和损失函数分别为改进的类别语义感知的神经网络模型、初始模型参数和多类别比较损失函数，初始模型参数为基于零均值及预设方差的随机数。
可选地，改进的类别语义感知的神经网络模型包含初始特征提取结构、融合特征提取结构和特征融合结构；
初始特征提取结构包含第一卷积层、至少三个过渡层、与每个过渡层相连接的残差块以及第二卷积层，其中，残差块和第二卷积层均生成初始特征，第二卷积层包含插值和卷积；
融合特征提取结构包含至少一个上采样层，上采样层包含至少一个转置卷积，且上采样层与残差块对应连接，用于对残差块生成的初始特征进行二次特征提取，生成融合特征；
特征融合结构与第二卷积层和各上采样层连接，用于融合第二卷积层生成的初始特征以及各上采样层生成的融合特征，生成初始二值图像。
其中，上采样层的数量与残差块的数量对应一致，且深度较深的残差块对应的上采样层包含的转置卷积的数量大于或等于深度较浅的残差块对应的上采样层包含的转置卷积的数量。
进一步地，初始特征提取结构包含三个残差块，融合特征提取结构包含三个上采样层，并且最浅层的残差块对应的上采样层包含一个转置卷积，中间层的残差块对应的上采样层包含两个转置卷积，最深层的残差块对应的上采样层包含四个转置卷积。
可选地，待检测图像获取模块510具体用于：
获取待检测金属区域的初始图像；
对初始图像进行预处理，获得待检测图像，预处理包含灰度归一化及图像边界填充。
通过本发明实施例三的一种图像中金属区域的检测装置，实现了对较小的扫描剂量所得的待检测图像中金属区域的有效检测，提高了图像中金属区域的自动识别精度和效率，降低了人体所受辐射剂量，提高了图像质量。
本发明实施例所提供的图像中金属区域的检测装置可执行本发明任意实施例所提供的图像中金属区域的检测方法，具备执行方法相应的功能模块和有益效果。
值得注意的是，上述图像中金属区域的检测装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
实施例四
参见图6，本实施例提供了一种电子设备600，其包括：一个或多个处理器620；存储装置610，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器620执行，使得一个或多个处理器620实现本发明实施例所提供的图像中金属区域的检测方法，包括：
获取待检测金属区域的待检测图像；
将待检测图像输入目标金属区域检测模型，生成标记金属区域初始边缘的初始二值图像，其中，目标金属区域检测模型基于改进的类别语义感知的神经网络模型预先训练而获得；
对初始二值图像进行后处理，生成标记金属区域的目标二值图像。
当然，本领域技术人员可以理解，处理器620还可以实现本发明任意实施例所提供的图像中金属区域的检测方法的技术方案。
图6显示的电子设备600仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图6所示，该电子设备600包括处理器620、存储装置610、输入装置630和输出装置640；电子设备中处理器620的数量可以是一个或多个，图6中以一个处理器620为例；电子设备中的处理器620、存储装置610、输入装置630和输出装置640可以通过总线或其他方式连接，图6中以通过总线660连接为例。
存储装置610作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的图像中金属区域的检测方法对应的程序指令/模块(例如，图像中金属区域的检测装置中的待检测图像获取模块、初始二值图像生成模块和目标二值图像生成模块)。
存储装置610可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储装置610可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储装置610可进一步包括相对于处理器620远程设置的存储器，这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置630可用于接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入。输出装置640可包括显示屏等显示设备。
实施例五
本实施例提供一种包含计算机可执行指令的存储介质，计算机可执行指令在由计算机处理器执行时用于执行一种图像中金属区域的检测方法，该方法包括：
获取待检测金属区域的待检测图像；
将待检测图像输入目标金属区域检测模型，生成标记金属区域初始边缘的初始二值图像，其中，目标金属区域检测模型基于改进的类别语义感知的神经网络模型预先训练而获得；
对初始二值图像进行后处理，生成标记金属区域的目标二值图像。
当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上的方法操作，还可以执行本发明任意实施例所提供的图像中金属区域的检测方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台电子设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所提供的图像中金属区域的检测方法。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (9)
1.一种图像中金属区域的检测方法，其特征在于，包括：
获取待检测金属区域的待检测图像；
将所述待检测图像输入目标金属区域检测模型，生成标记金属区域初始边缘的初始二值图像，其中，所述目标金属区域检测模型基于改进的类别语义感知的神经网络模型预先训练而获得；
对所述初始二值图像进行后处理，生成标记金属区域的目标二值图像；
所述改进的类别语义感知的神经网络模型包含初始特征提取结构、融合特征提取结构和特征融合结构；
所述初始特征提取结构包含第一卷积层、至少三个过渡层、与每个所述过渡层相连接的残差块以及第二卷积层，其中，所述残差块和所述第二卷积层均生成初始特征，所述第二卷积层包含插值和卷积；
所述融合特征提取结构包含至少一个上采样层，所述上采样层包含至少一个转置卷积，且所述上采样层与所述残差块对应连接，用于对所述残差块生成的初始特征进行二次特征提取，生成融合特征；
所述特征融合结构与所述第二卷积层和各所述上采样层连接，用于融合所述第二卷积层生成的初始特征以及各所述上采样层生成的融合特征，生成所述初始二值图像。
2.根据权利要求1所述的方法，其特征在于，所述对所述初始二值图像进行后处理，生成标记金属区域的目标二值图像包括：
若所述初始二值图像中的所述金属区域初始边缘对应的区域为连通区域，则利用形态学重建算法填充所述连通区域，作为所述金属区域，生成标记金属区域的目标二值图像；
若所述初始二值图像中的所述金属区域初始边缘对应的区域为非连通区域，则利用预设边缘处理算法对所述金属区域初始边缘进行边缘连接处理，生成金属区域完整边缘，并利用所述形态学重建算法填充所述金属区域完整边缘内的区域，作为所述金属区域，生成标记金属区域的目标二值图像。
3.根据权利要求1所述的方法，其特征在于，所述目标金属区域检测模型通过如下方式预先训练：
获取包含至少两组图像的训练图像集，每组图像包含待训练图像和所述待训练图像对应的标记金属区域完整边缘的参照二值图像；
分别将每组图像输入初始金属区域检测模型进行模型训练，生成所述目标金属区域检测模型，其中，所述初始金属区域检测模型的模型结构、模型参数和损失函数分别为所述改进的类别语义感知的神经网络模型、初始模型参数和多类别比较损失函数，所述初始模型参数为基于零均值及预设方差的随机数。
4.根据权利要求1所述的方法，其特征在于，所述上采样层的数量与所述残差块的数量对应一致，且深度较深的残差块对应的上采样层包含的转置卷积的数量大于或等于深度较浅的残差块对应的上采样层包含的转置卷积的数量。
5.根据权利要求4所述的方法，其特征在于，所述初始特征提取结构包含三个残差块，所述融合特征提取结构包含三个上采样层，并且最浅层的残差块对应的上采样层包含一个转置卷积，中间层的残差块对应的上采样层包含两个转置卷积，最深层的残差块对应的上采样层包含四个转置卷积。
6.根据权利要求1所述的方法，其特征在于，所述获取待检测金属区域的待检测图像包括：
获取待检测金属区域的初始图像；
对所述初始图像进行预处理，获得所述待检测图像，所述预处理包含灰度归一化及图像边界填充。
7.一种图像中金属区域的检测装置，其特征在于，包括：
待检测图像获取模块，用于获取待检测金属区域的待检测图像；
初始二值图像生成模块，用于将所述待检测图像输入目标金属区域检测模型，生成标记金属区域初始边缘的初始二值图像，其中，所述目标金属区域检测模型基于改进的类别语义感知的神经网络模型预先训练而获得；
目标二值图像生成模块，用于对所述初始二值图像进行后处理，生成标记金属区域的目标二值图像；
所述改进的类别语义感知的神经网络模型包含初始特征提取结构、融合特征提取结构和特征融合结构；
所述初始特征提取结构包含第一卷积层、至少三个过渡层、与每个所述过渡层相连接的残差块以及第二卷积层，其中，所述残差块和所述第二卷积层均生成初始特征，所述第二卷积层包含插值和卷积；
所述融合特征提取结构包含至少一个上采样层，所述上采样层包含至少一个转置卷积，且所述上采样层与所述残差块对应连接，用于对所述残差块生成的初始特征进行二次特征提取，生成融合特征；
所述特征融合结构与所述第二卷积层和各所述上采样层连接，用于融合所述第二卷积层生成的初始特征以及各所述上采样层生成的融合特征，生成所述初始二值图像。
8.一种电子设备，其特征在于，所述电子设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6中任一所述的图像中金属区域的检测方法。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-6中任一所述的图像中金属区域的检测方法。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910712023.8A CN110443254B (zh) | 2019-08-02 | 2019-08-02 | 图像中金属区域的检测方法、装置、设备和存储介质 |
| PCT/CN2020/091967 WO2020238817A1 (en) | 2019-05-24 | 2020-05-24 | Systems and methods for processing x-ray images |
| EP20814241.4A EP3958742A4 (en) | 2019-05-24 | 2020-05-24 | Systems and methods for processing x-ray images |
| US17/456,393 US20220092787A1 (en) | 2019-05-24 | 2021-11-24 | Systems and methods for processing x-ray images |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910712023.8A CN110443254B (zh) | 2019-08-02 | 2019-08-02 | 图像中金属区域的检测方法、装置、设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110443254A CN110443254A (zh) | 2019-11-12 |
| CN110443254B true CN110443254B (zh) | 2023-06-20 |
Family
ID=68432966
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910712023.8A Active CN110443254B (zh) | 2019-05-24 | 2019-08-02 | 图像中金属区域的检测方法、装置、设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110443254B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020238817A1 (en) * | 2019-05-24 | 2020-12-03 | Shanghai United Imaging Healthcare Co., Ltd. | Systems and methods for processing x-ray images |
| CN111339993A (zh) * | 2020-03-16 | 2020-06-26 | 上海联影医疗科技有限公司 | 一种x射线图像金属检测方法和系统 |
| CN110992642B (zh) * | 2019-12-25 | 2021-11-05 | 辽宁石油化工大学 | 一种基于深度学习的火灾检测方法 |
| CN111563439B (zh) * | 2020-04-28 | 2023-08-08 | 京东科技信息技术有限公司 | 一种水产生物病害检测方法、装置及设备 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104599239A (zh) * | 2013-10-31 | 2015-05-06 | 通用电气公司 | 一种医学图像中的金属伪影消除方法及装置 |
| CN105142523A (zh) * | 2013-04-25 | 2015-12-09 | 株式会社岛津制作所 | 图像处理装置 |
| JP2015225462A (ja) * | 2014-05-27 | 2015-12-14 | 株式会社横浜アートニクス | 判別装置、判別プログラムおよび判別方法 |
| CN108364288A (zh) * | 2018-03-01 | 2018-08-03 | 北京航空航天大学 | 用于乳腺癌病理图像的分割方法和装置 |
| CN109242849A (zh) * | 2018-09-26 | 2019-01-18 | 上海联影智能医疗科技有限公司 | 医学图像处理方法、装置、系统和存储介质 |
| CN109447990A (zh) * | 2018-10-22 | 2019-03-08 | 北京旷视科技有限公司 | 图像语义分割方法、装置、电子设备和计算机可读介质 |
| CN109872364A (zh) * | 2019-01-28 | 2019-06-11 | 腾讯科技（深圳）有限公司 | 图像区域定位方法、装置、存储介质和医学影像处理设备 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5645399B2 (ja) * | 2009-12-18 | 2014-12-24 | キヤノン株式会社 | Ｘ線画像処理装置、ｘ線画像処理方法、及びコンピュータプログラム |
| US10395397B2 (en) * | 2016-11-14 | 2019-08-27 | Carestream Health, Inc. | Metal artifacts reduction for cone beam CT |
| US10580131B2 (en) * | 2017-02-23 | 2020-03-03 | Zebra Medical Vision Ltd. | Convolutional neural network for segmentation of medical anatomical images |
| US10410353B2 (en) * | 2017-05-18 | 2019-09-10 | Mitsubishi Electric Research Laboratories, Inc. | Multi-label semantic boundary detection system |
-
2019
- 2019-08-02 CN CN201910712023.8A patent/CN110443254B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105142523A (zh) * | 2013-04-25 | 2015-12-09 | 株式会社岛津制作所 | 图像处理装置 |
| CN104599239A (zh) * | 2013-10-31 | 2015-05-06 | 通用电气公司 | 一种医学图像中的金属伪影消除方法及装置 |
| JP2015225462A (ja) * | 2014-05-27 | 2015-12-14 | 株式会社横浜アートニクス | 判別装置、判別プログラムおよび判別方法 |
| CN108364288A (zh) * | 2018-03-01 | 2018-08-03 | 北京航空航天大学 | 用于乳腺癌病理图像的分割方法和装置 |
| CN109242849A (zh) * | 2018-09-26 | 2019-01-18 | 上海联影智能医疗科技有限公司 | 医学图像处理方法、装置、系统和存储介质 |
| CN109447990A (zh) * | 2018-10-22 | 2019-03-08 | 北京旷视科技有限公司 | 图像语义分割方法、装置、电子设备和计算机可读介质 |
| CN109872364A (zh) * | 2019-01-28 | 2019-06-11 | 腾讯科技（深圳）有限公司 | 图像区域定位方法、装置、存储介质和医学影像处理设备 |
Non-Patent Citations (3)
| Title |
|---|
| CASENet: Deep Category-Aware Semantic Edge Detection;Zhiding Yu，et al;《2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)》;20171109;第1761-1770页 * |
| 基于主动轮廓模型的红外图像轮廓提取算法;董恩增等;《激光与红外》;20170320(第03期);第125-130页 * |
| 基于数学形态学的单像素连续边缘检测方法;王蓉等;《中国人民公安大学学报(自然科学版)》;20130815(第03期);第78-81页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110443254A (zh) | 2019-11-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110443254B (zh) | 图像中金属区域的检测方法、装置、设备和存储介质 | |
| CN107480677B (zh) | 一种识别三维ct图像中感兴趣区域的方法及装置 | |
| CN105917353B (zh) | 用于生物认证的特征提取及匹配以及模板更新 | |
| CN110473243B (zh) | 基于深度轮廓感知的牙齿分割方法、装置及计算机设备 | |
| JP7134017B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| CN107644225A (zh) | 肺部病灶识别方法、装置和实现装置 | |
| CN112102237A (zh) | 基于半监督学习的脑部肿瘤识别模型的训练方法及装置 | |
| CN111914665B (zh) | 一种人脸遮挡检测方法、装置、设备及存储介质 | |
| JP2005296605A (ja) | 放射線写真画像を診断関連領域と診断非関連領域とにセグメント化する方法 | |
| CN111161279A (zh) | 医学图像分割方法、装置及服务器 | |
| CN113554742B (zh) | 一种三维图像的重建方法、装置、设备及存储介质 | |
| CN112132854B (zh) | 图像分割的方法及装置，以及电子设备 | |
| CN111815606B (zh) | 图像质量评估方法、存储介质及计算装置 | |
| CN111242926A (zh) | 病灶检测方法、装置及电子设备 | |
| CN111311621A (zh) | 放射源成像的图像处理方法、装置和电子设备 | |
| CN112967293A (zh) | 一种图像语义分割方法、装置及存储介质 | |
| CN115222755B (zh) | 一种基于医疗成像设备的医疗图像目标分割方法及装置 | |
| CN114187303A (zh) | 口腔图像处理方法、装置、电子设备及计算机存储介质 | |
| CN113379770B (zh) | 鼻咽癌mr图像分割网络的构建方法、图像分割方法及装置 | |
| CN115100050A (zh) | Ct图像环状伪影的去除方法、装置、设备及存储介质 | |
| CN111753723B (zh) | 一种基于密度校准的指纹识别方法及装置 | |
| CN113130028A (zh) | 基于区块链的医疗电子病历信息管理方法及系统 | |
| CN113239978B (zh) | 医学图像预处理模型与分析模型的相关方法和装置 | |
| CN116258717B (zh) | 病灶识别方法、装置、设备和存储介质 | |
| CN116503708A (zh) | 基于特征增强的目标检测方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 201807 Shanghai City, north of the city of Jiading District Road No. 2258 Applicant after: Shanghai Lianying Medical Technology Co.,Ltd. Address before: 201807 Shanghai City, north of the city of Jiading District Road No. 2258 Applicant before: SHANGHAI UNITED IMAGING HEALTHCARE Co.,Ltd. |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |