CN112381777A - 一种图像处理方法、装置及电子设备和存储介质 - Google Patents
一种图像处理方法、装置及电子设备和存储介质 Download PDFInfo
- Publication number
- CN112381777A CN112381777A CN202011240592.6A CN202011240592A CN112381777A CN 112381777 A CN112381777 A CN 112381777A CN 202011240592 A CN202011240592 A CN 202011240592A CN 112381777 A CN112381777 A CN 112381777A
- Authority
- CN
- China
- Prior art keywords
- image
- tissue
- target
- segmentation
- branch
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 31
- 230000011218 segmentation Effects 0.000 claims abstract description 158
- 238000013528 artificial neural network Methods 0.000 claims abstract description 79
- 238000000605 extraction Methods 0.000 claims abstract description 68
- 238000000034 method Methods 0.000 claims abstract description 30
- 238000012545 processing Methods 0.000 claims abstract description 14
- 238000002604 ultrasonography Methods 0.000 claims description 77
- 238000012549 training Methods 0.000 claims description 30
- 230000009466 transformation Effects 0.000 claims description 20
- 230000008520 organization Effects 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 11
- 238000007488 musculoskeletal ultrasound Methods 0.000 claims description 7
- 238000013519 translation Methods 0.000 claims description 4
- 210000001519 tissue Anatomy 0.000 description 190
- 238000002474 experimental method Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 230000001360 synchronised effect Effects 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 210000002435 tendon Anatomy 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 210000000323 shoulder joint Anatomy 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 210000000988 bone and bone Anatomy 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种图像处理方法、装置及一种电子设备和计算机可读存储介质，该方法包括：当接收到目标超声图像时，将所述目标超声图像输入训练完成的目标神经网络中；其中，所述目标神经网络包括所述特征提取部分、切面分类分支和组织分割分支；利用所述特征提取部分提取所述目标超声图像的图像特征；将所述图像特征输入所述切面分类分支和所述组织分割分支中，以便利用所述切面分类分支预测所述目标超声图像的切面类别、利用所述组织分割分支对所述目标超声图像进行组织分割。本申请提供的图像处理方法，提高了超声图像切面分类的精度和组织分割的准确度。
Description
技术领域
本申请涉及图像处理技术领域，更具体地说，涉及一种图像处理方法、装置及一种电子设备和一种计算机可读存储介质。
背景技术
对于肌骨超声图像的处理，需要对其进行标准切面分类和组织分割。在相关技术中，可以采用先分类后分割的方案，例如，利用ResNet分类网络对肌骨超声图像进行标准切面的分类，再利用Mask R-CNN分割网络进行组织分割。上述方案步骤繁琐、耗时较长，分类和分割精度均较差。另外，在相关技术中，还可以采用先分割再分类的方案，在该方案中，标准切面分类的准确度依赖于组织分割的结果，若组织分割时存在信息丢失，会造成标准切面分类的准确度较差。
因此，如何提高超声图像切面分类的精度和组织分割的准确度是本领域技术人员需要解决的技术问题。
申请内容
本申请的目的在于提供一种图像处理方法、装置及一种电子设备和一种计算机可读存储介质，提高了超声图像切面分类的精度和组织分割的准确度。
为实现上述目的，本申请提供了一种图像处理方法，包括：
当接收到目标超声图像时，将所述目标超声图像输入训练完成的目标神经网络中；其中，所述目标神经网络包括特征提取部分、切面分类分支和组织分割分支；
利用所述特征提取部分提取所述目标超声图像的图像特征；
将所述图像特征输入所述切面分类分支和所述组织分割分支中，以便利用所述切面分类分支预测所述目标超声图像的切面类别、利用所述组织分割分支对所述目标超声图像进行组织分割。
其中，还包括：
获取分类数据集和分割数据集；其中，所述分类数据集包括已标注切面类别的第一超声图像，所述分割数据集包括已标注切面类别与组织信息的第二超声图像；
利用所述分类数据集和所述分割数据集训练所述目标神经网络，得到训练完成的目标神经网络。
其中，所述利用所述分类数据集和所述分割数据集训练所述目标神经网络，得到训练完成的目标神经网络，包括：
利用所述分类数据集训练所述目标神经网络，以调整所述目标神经网络中特征提取部分和切面分类分支的参数；
利用所述分割数据集再次训练所述目标神经网络，以微调所述特征提取部分和切面分类分支的参数，并调整所述组织分割分支的参数，得到训练完成的目标神经网络。
其中，所述获取分类数据集和分割数据集，包括：
获取已标注切面类别的原始第一超声图像和已标注切面类别与组织信息的原始第二超声图像；
对所述原始第一超声图像和所述原始第二超声图像进行图像变换操作；其中，所述图像变换操作包括图像平移、图像缩放和图像翻转中的任一项或任几项的组合；
基于每个变换后的第一超声图像对应的原始第一超声图像和图像变换操作，对每个所述变换后的第一超声图像进行切面类别标注；基于每个变换后的第二超声图像对应的原始第二超声图像和图像变换操作，对每个所述变换后的第二超声图像进行切面类别与组织信息标注；
基于所述原始第一超声图像和所述变换后的第一超声图像构建所述分类数据集，基于所述原始第二超声图像和所述变换后的第二超声图像构建所述分割数据集。
其中，利用所述组织分割分支对所述目标超声图像进行组织分割，包括：
利用所述组织分割分支预测所述目标超声图像包含的所有组织和每个所述组织的组织信息；其中，所述组织信息包括组织类别、位置和分割掩码。
其中，所述利用所述组织分割分支预测所述目标超声图像包含的每个组织的组织类别、位置和分割掩码之后，还包括：
根据切面分类分支预测的切面类别确定所述目标超声图像的切面类别对应的候选组织类别；
在所有所述组织中剔除组织类别不属于所述候选组织类别的组织，得到所述目标超声图像的最终组织分割结果。
其中，所述目标神经网络包括共用特征提取部分的Mask-RCNN和ResNet网络，所述特征提取部分具体为ResNet backbone，所述切面分类分支包括全连接层，所述组织分割分支包括FPN、RPN、ROI Align和预测子分支。
其中，所述目标超声图像包括肌骨超声图像。
为实现上述目的，本申请提供了一种图像处理装置，包括：
输入模块，用于当接收到目标超声图像时，将所述目标超声图像输入训练完成的目标神经网络中；其中，所述目标神经网络包括特征提取部分、切面分类分支和组织分割分支；
提取模块，用于利用所述特征提取部分提取所述目标超声图像的图像特征；
预测模块，用于将所述图像特征输入所述切面分类分支和所述组织分割分支中，以便利用所述切面分类分支预测所述目标超声图像的切面类别、利用所述组织分割分支对所述目标超声图像进行组织分割。
为实现上述目的，本申请提供了一种电子设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上述图像处理方法的步骤。
为实现上述目的，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述图像处理方法的步骤。
通过以上方案可知，本申请提供的一种图像处理方法，包括：当接收到目标超声图像时，将所述目标超声图像输入训练完成的目标神经网络中；其中，所述目标神经网络包括所述特征提取部分、切面分类分支和组织分割分支；利用所述特征提取部分提取所述目标超声图像的图像特征；将所述图像特征输入所述切面分类分支和所述组织分割分支中，以便利用所述切面分类分支预测所述目标超声图像的切面类别、利用所述组织分割分支对所述目标超声图像进行组织分割。
本申请提供的图像处理方法，利用训练完成的目标神经网络同时对目标超声图像进行切面分类和组织分割。目标神经网络中的切面分类分支用于对目标超声图像进行切面分类，组织分割分支对目标超声图像进行组织分割，切面分类分支和组织分割分支共用特征提取部分提取的图像特征，可以减少切面分类和组织分割的时间。另外，目标神经网络同时服务于切面分类任务和组织分割任务，在训练目标神经网络的过程中，切面分类任务和组织分割任务共同训练特征提取部分中的参数，由于多任务之间的相关性，可以提高特征提取部分的算法性能，即利用特征提取部分可以提取到更符合原始目标超声图像的图像特征，进而提高了切面分类的精度和组织分割的准确度。本申请还公开了一种图像处理装置及一种电子设备和一种计算机可读存储介质，同样能实现上述技术效果。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本申请。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：
图1为根据一示例性实施例示出的一种图像处理方法的流程图；
图2为根据一示例性实施例示出的一种目标神经网络的结构图；
图3为根据一示例性实施例示出的另一种图像处理方法的流程图；
图4为根据一示例性实施例示出的又一种图像处理方法的流程图；
图5为根据一示例性实施例示出的一种图像处理装置的结构图；
图6为根据一示例性实施例示出的一种电子设备的结构图。
具体实施方式
本申请的申请人经研究发现，相关技术中切面分类任务和组织分割任务先后执行，切面分类的精度较差、组织分割的准确度较差。因此，在本申请中，利用训练完成的目标神经网络同时对目标超声图像进行切面分类和组织分割，在训练目标神经网络的过程中，切面分类任务和组织分割任务共同训练特征提取部分中的参数，由于多任务之间的相关性，可以提高特征提取部分的算法性能，即利用特征提取部分可以提取到更符合原始目标超声图像的图像特征，进而提高了切面分类的精度和组织分割的准确度。
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。另外，在本申请实施例中，“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
本申请实施例公开了一种图像处理方法，提高了超声图像切面分类的精度和组织分割的准确度。
参见图1，根据一示例性实施例示出的一种图像处理方法的流程图，如图1所示，包括：
S101：当接收到目标超声图像时，将所述目标超声图像输入训练完成的目标神经网络中；其中，所述目标神经网络包括特征提取部分、切面分类分支和组织分割分支；
本实施例的目的在于实现目标超声图像的切面分类任务和组织分割任务，此处的目标超声图像可以为肌骨超声图像，切面分类任务为识别目标超声图像的切面类别，即识别目标超声图像属于哪一个标准切面，例如，对于人体肩关节共包括11个标准切面，切面分类任务为识别接收到的人体肩关节的肌骨超声图像属于具体的哪一个标准切面。组织分割任务为识别目标超声图像包含的所有组织和每个组织的组织类别。
在具体实施中，目标神经网络包括特征提取部分、切面分类分支和组织分割分支，特征提取部分用于提取目标超声图像的图像特征，切面分类分支用于利用该图像特征进行对目标超声图像进行切面分类，组织分割分支用于利用该图像特征进行对目标超声图像进行组织分割。
本实施例不对目标神经网络的具体类型进行限定，如图2所示，目标神经网络包括共用特征提取部分的Mask-RCNN网络和ResNet网络，特征提取部分具体为ResNetbackbone，切面分类分支包括全连接层，组织分割分支包括FPN(Feature PyramidNetwork)、RPN(Region Proposal Network)、ROI Align和预测子分支。即相当于特征提取部分与切面分类分支构成原ResNet网络、特征提取部分与组织分割分支构成原Mask RCNN网络。图2中ResNet50/101是以ResNet为基础的分类网络中的特征提取部分，SCN为切面分类分支，包括用于输出切面类别的全连接层。FPN是为解决小目标特征提取不佳而构建的多尺度特征金字塔结构，RPN用于产生组织的建议区域，ROI Align用于将建议区域映射成固定大小的特征图，预测子分支包括输出组织类别的mrcnn_class、用于输出组织的位置的mrcnn_box和用于输出组织的分割掩码的mrcnn_mask。
可以理解的是，上述特征提取部分也可以为其他分类网络的特征提取部分，上述切面分类分支可以参照其他分类网络或算法，组织分割分支可参照其他分割网络或算法等进行实现。
S102：利用所述特征提取部分提取所述目标超声图像的图像特征；
S103：将所述图像特征输入所述切面分类分支和所述组织分割分支中，以便利用所述切面分类分支预测所述目标超声图像的切面类别、利用所述组织分割分支对所述目标超声图像进行组织分割。
在目标超声图像的切面分类和组织分割过程中，将目标超声图像输入目标神经网络的特征提取部分中以提取目标超声图像的图像特征，再将提取到的图像特征输入切面分类分支中以预测目标超声图像的切面类别，其中，预测得到切面类别可以以切面类别编号的形式标记在目标超声图像的预设位置，如左上角。同时将提取到的图像特征输入组织分割分支以对目标超声图像进行组织分割。可见，切面分类分支和组织分割分支共用特征提取部分提取的图像特征，可以减少切面分类和组织分割的时间。
具体的，利用所述组织分割分支对所述目标超声图像进行组织分割，包括：利用所述组织分割分支预测所述目标超声图像包含的所有组织和每个所述组织的组织信息；其中，所述组织信息包括组织类别、位置和分割掩码。在具体实施中，不同组织类别的组织可以以不同的颜色进行标记，每个组织的附近可以标记该组织的组织类别、分割掩码和置信度，组织类别可以以组织类别编号的形式进行标记。
本申请实施例提供的图像处理方法，利用训练完成的目标神经网络同时对目标超声图像进行切面分类和组织分割。目标神经网络中的切面分类分支用于对目标超声图像进行切面分类，组织分割分支对目标超声图像进行组织分割，切面分类分支和组织分割分支共用特征提取部分提取的图像特征，可以减少切面分类和组织分割的时间。另外，目标神经网络同时服务于切面分类任务和组织分割任务，在训练目标神经网络的过程中，切面分类任务和组织分割任务共同训练特征提取部分中的参数，由于多任务之间的相关性，可以提高特征提取部分的算法性能，即利用特征提取部分可以提取到更符合原始目标超声图像的图像特征，进而提高了切面分类的精度和组织分割的准确度。
下面介绍目标神经网络的训练过程，具体的：
参见图3，根据一示例性实施例示出的又一种图像处理方法的流程图，如图3所示，包括：
S201：获取分类数据集和分割数据集；其中，所述分类数据集包括已标注切面类别的第一超声图像，所述分割数据集包括已标注切面类别和组织信息的第二超声图像；
S202：利用所述分类数据集和所述分割数据集训练所述目标神经网络，得到训练完成的目标神经网络。
在本实施例中，利用分类数据集和分割数据集训练目标神经网络，其中，分类数据集包括已标注切面类别的第一超声图像，分割数据集包括已标注切面类别和组织信息的第二超声图像。
在具体实施中，训练目标神经网络的参数的过程为：利用分类数据集训练目标神经网络，以调整目标神经网络中特征提取部分和切面分类分支的参数；利用分割数据集再次训练目标神经网络，以微调特征提取部分和切面分类分支的参数，并调整组织分割分支的参数，得到训练完成的目标神经网络。
可以理解的是，由于超声图像的组织信息的标注难度远高于切面类别的标注难度，导致用于组织分割训练的数据集样本较少，即第一超声图像的数量远高于第二超声图像，利用较少数量的第二超声图像进行训练会造成目标神经网络中参数训练的精度较差。为此可采用预训练方案，即首先利用容易构建的分类数据集调整特征提取部分和切面分类分支的参数，再利用不易构建的分割数据集微调特征提取部分和切面分类分支的参数，提高特征提取部分和切面分类分支的参数的精度。另外，在训练目标神经网络的过程中，分类数据集和分割数据集共同训练特征提取部分中的参数，由于同一超声图像的切面类别和组织类别之间的相关性，可以提高训练完成的特征提取部分的算法性能，即利用特征提取部分可以提取到更符合原始目标超声图像的图像特征。
需要说明的是，为了进一步增大训练数据集的样本数量，进一步提高目标神经网络中参数训练的精度，可以对分类数据集和分割数据集进行数据增强，即所述获取分类数据集和分割数据集，包括：获取已标注切面类别的原始第一超声图像和已标注切面类别和组织信息的原始第二超声图像；对所述原始第一超声图像和所述原始第二超声图像进行图像变换操作；其中，所述图像变换操作包括图像平移、图像缩放和图像翻转中的任一项或任几项的组合；基于每个变换后的第一超声图像对应的原始第一超声图像和图像变换操作，对每个所述变换后的第一超声图像进行切面类别标注；基于每个变换后的第二超声图像对应的原始第二超声图像和图像变换操作，对每个所述变换后的第二超声图像进行切面类别和组织信息标注；基于所述原始第一超声图像和所述变换后的第一超声图像构建所述分类数据集，基于所述原始第二超声图像和所述变换后的第二超声图像构建所述分割数据集。
在具体实施中，对原始第一超声图像和原始第二超声图像进行图像变换操作，模拟实际应用中超声图像可能出现的情形，并对变换后的第一超声图像和变换后的第二超声图像进行标注从而增加样本数量，提高算法鲁棒性。可以理解的是，变换后的第一超声图像与对应的原始第一超声图像的切面类别一致，变换后的第二超声图像中的组织与对应的原始第二超声图像中的对应组织仅存在位置不同，变换后的第二超声图像中组织的组织位置与对应的原始第二超声图像中组织的组织位置之间的关系可以根据进行的图像变换操作进行确定，即基于变换后的第二超声图像对应的原始第二超声图像和图像变换操作可以确定变换后的第二超声图像中各组织的组织类别、位置、分割掩码等。
由此可见，本实施例采用分类数据集和分割数据集共同训练特征提取部分中的参数，由于同一超声图像的切面类别和组织类别之间的相关性，可以提高训练完成的特征提取部分的算法性能，即利用特征提取部分可以提取到更符合原始目标超声图像的图像特征，进而提高了切面分类的精度和组织分割的准确度。
本申请实施例公开了一种图像处理方法，相对于第一个实施例，本实施例对技术方案作了进一步的说明和优化。具体的：
参见图4，根据一示例性实施例示出的又一种图像处理方法的流程图，如图4所示，包括：
S301：当接收到目标超声图像时，将所述目标超声图像输入训练完成的目标神经网络中；其中，所述目标神经网络包括所述特征提取部分、切面分类分支和组织分割分支；
S302：利用所述特征提取部分提取所述目标超声图像的图像特征；
S303：将所述图像特征输入所述切面分类分支和所述组织分割分支中，以便利用所述切面分类分支预测所述目标超声图像的切面类别、利用所述组织分割分支预测所述目标超声图像包含的所有组织和每个所述组织的组织信息；其中，所述组织信息包括组织类别、位置和分割掩码；
S304：根据切面分类分支预测的切面类别确定所述目标超声图像的切面类别对应的候选组织类别；
S305：在所有所述组织中剔除组织类别不属于所述候选组织类别的组织，得到所述目标超声图像的最终组织分割结果。
可以理解的是，对于一种组织类别的组织，均对应可能存在的切面类别和不可能存在的切面类别，例如，组织类别为大/小结节的组织可能存在于切面类别为肱二头肌长头腱短轴的标准切面中，而不可能存在于切面类别为冈上肌腱短轴的标准切面中。在对目标超声图像的组织分割过程中，可能分割出不属于其对应的标准切面的组织。
因此，在本实施例中，预测得到目标超声图像的切面类别后，确定该切面类别对应的候选组织类别，在预测得到的目标超声图像包含的所有组织中剔除组织类别不属于候选组织类别的组织，得到目标超声图像的最终组织分割结果。例如，预测得到的目标超声图像的切面类别为1，其对应的候选组织类别仅包括组织类别A，而预测得到的目标超声图像包含的组织为组织类别为A和B的组织，根据筛选规则，保留组织类别为A的组织，而剔除组织类别为B的组织。
在具体实施中，可以构建每个切面类别的标准切面的组织列表，每个标准切面的组织列表只包含可能出现在当前切面的组织类别，即上述候选组织类别为切面类别对应的标准切面的组织列表中的组织类别，根据组织列表对组织分割结果进行筛选。
例如，对于肌骨超声图像来说，切面类别为肱二头肌长头腱短轴的组织列表如表1所示。
表1
可见，基于表1可以对切面类别为肱二头肌长头腱短轴的目标超声图像进行组织筛选。
由此可见，本实施例基于切面类别对应的候选组织类别对预测得到的目标超声图像中的所有组织进行筛选，剔除组织类别不属于候选组织类别的组织，即利用切面分类分支预测结果对组织分割分支预测结果进行限制，提高了超声图像组织分割的准确度。
下面介绍本申请提供的一种应用实施例，具体的，实验1为ResNet分类网络对标准切面的分类实验，实验2为Mask R-CNN实例分割网络对标准切面的组织分割实验，实验3为如图2所示的目标神经网络进行切面分类和组织分割的实验。在相同的硬件设备条件和实验参数下，各实验的时间性能如表2所示：
表2
| 实验1 | 实验2 | 实验3 | |
| 权重加载时间(s) | 7.1534 | 6.7834 | 5.8022 |
| 单张图像推理时间(s) | 0.0311 | 0.5030 | 0.5008 |
| 模型大小(M) | 93 | 180 | 181 |
从模型加载时间来看，目标神经网络为5.8022s，不到ResNet和Mask R-CNN两者总时间13.9368s的一半左右；而对于单张推理时间，目标神经网络为0.5008s，ResNet为0.0311s，Mask R-CNN为0.5030s，可知同时分类分割算法比两者和的总推理时间要少33.3ms。因此，利用目标神经网络对超声图像同时分类分割的算法，可有效减少算法的权重加载和推理时间。
下面对本申请实施例提供的一种图像处理装置进行介绍，下文描述的一种图像处理装置与上文描述的一种图像处理方法可以相互参照。
参见图5，根据一示例性实施例示出的一种图像处理装置的结构图，如图5所示，包括：
输入模块501，用于当接收到目标超声图像时，将所述目标超声图像输入训练完成的目标神经网络中；其中，所述目标神经网络包括特征提取部分、切面分类分支和组织分割分支；
提取模块502，用于利用所述特征提取部分提取所述目标超声图像的图像特征；
预测模块503，用于将所述图像特征输入所述切面分类分支和所述组织分割分支中，以便利用所述切面分类分支预测所述目标超声图像的切面类别、利用所述组织分割分支对所述目标超声图像进行组织分割。
本申请实施例提供的图像处理装置，利用训练完成的目标神经网络同时对目标超声图像进行切面分类和组织分割。目标神经网络中的切面分类分支用于对目标超声图像进行切面分类，组织分割分支对目标超声图像进行组织分割，切面分类分支和组织分割分支共用特征提取部分提取的图像特征，可以减少切面分类和组织分割的时间。另外，目标神经网络同时服务于切面分类任务和组织分割任务，在训练目标神经网络的过程中，切面分类任务和组织分割任务共同训练特征提取部分中的参数，由于多任务之间的相关性，可以提高特征提取部分的算法性能，即利用特征提取部分可以提取到更符合原始目标超声图像的图像特征，进而提高了切面分类的精度和组织分割的准确度。
在上述实施例的基础上，作为一种优选实施方式，还包括：
获取模块，用于获取分类数据集和分割数据集；其中，所述分类数据集包括已标注切面类别的第一超声图像，所述分割数据集包括已标注切面类别和组织信息的第二超声图像；
训练模块，用于利用所述分类数据集和所述分割数据集训练所述目标神经网络，得到训练完成的目标神经网络。
在上述实施例的基础上，作为一种优选实施方式，所述训练模块包括：
第一训练单元，用于利用所述分类数据集训练所述目标神经网络，以调整所述目标神经网络中特征提取部分和切面分类分支的参数；
第二训练单元，用于利用所述分割数据集再次训练所述目标神经网络，以微调所述特征提取部分和切面分类分支的参数，并调整所述组织分割分支的参数，得到训练完成的目标神经网络。
在上述实施例的基础上，作为一种优选实施方式，所述获取模块包括：
获取单元，用于获取已标注切面类别的原始第一超声图像和已标注切面类别和组织信息的原始第二超声图像；
变换单元，用于对所述原始第一超声图像和所述原始第二超声图像进行图像变换操作；其中，所述图像变换操作包括图像平移、图像缩放和图像翻转中的任一项或任几项的组合；
标注单元，用于基于每个变换后的第一超声图像对应的原始第一超声图像和图像变换操作，对每个所述变换后的第一超声图像进行切面类别标注；基于每个变换后的第二超声图像对应的原始第二超声图像和图像变换操作，对每个所述变换后的第二超声图像进行切面类别和组织信息标注；
构建单元，用于基于所述原始第一超声图像和所述变换后的第一超声图像构建所述分类数据集，基于所述原始第二超声图像和所述变换后的第二超声图像构建所述分割数据集。
在上述实施例的基础上，作为一种优选实施方式，所述预测模块503具体为将所述图像特征输入所述切面分类分支和所述组织分割分支中，以便利用所述切面分类分支预测所述目标超声图像的切面类别、利用所述组织分割分支预测所述目标超声图像包含的所有组织和每个所述组织的组织信息的模块；其中，所述组织信息包括组织类别、位置和分割掩码。
在上述实施例的基础上，作为一种优选实施方式，还包括：
确定模块，用于确定所述目标超声图像的切面类别对应的候选组织类别；
剔除模块，用于在所有所述组织中剔除组织类别不属于所述候选组织类别的组织，得到所述目标超声图像的最终组织分割结果。
在上述实施例的基础上，作为一种优选实施方式，所述目标神经网络包括共用特征提取部分的Mask-RCNN和ResNet网络，所述特征提取部分具体为ResNet backbone，所述切面分类分支包括全连接层，所述组织分割分支包括FPN、RPN、ROI Align和预测子分支。
在上述实施例的基础上，作为一种优选实施方式，所述目标超声图像包括肌骨超声图像。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
基于上述程序模块的硬件实现，且为了实现本申请实施例的方法，本申请实施例还提供了一种电子设备，图6为根据一示例性实施例示出的一种电子设备的结构图，如图6所示，电子设备包括：
通信接口1，能够与其它设备比如网络设备等进行信息交互；
处理器2，与通信接口1连接，以实现与其它设备进行信息交互，用于运行计算机程序时，执行上述一个或多个技术方案提供的应用的图像处理方法。而所述计算机程序存储在存储器3上。
当然，实际应用时，电子设备中的各个组件通过总线系统4耦合在一起。可理解，总线系统4用于实现这些组件之间的连接通信。总线系统4除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图6中将各种总线都标为总线系统4。
本申请实施例中的存储器3用于存储各种类型的数据以支持电子设备的操作。这些数据的示例包括：用于在电子设备上操作的任何计算机程序。
可以理解，存储器3可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM，Read Only Memory)、可编程只读存储器(PROM，Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM，Erasable Programmable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，Electrically Erasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM，ferromagnetic random access memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact Disc Read-Only Memory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM，Random AccessMemory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM，Static Random Access Memory)、同步静态随机存取存储器(SSRAM，Synchronous Static Random Access Memory)、动态随机存取存储器(DRAM，Dynamic Random Access Memory)、同步动态随机存取存储器(SDRAM，SynchronousDynamic Random Access Memory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM，Double Data Rate Synchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAM，Enhanced Synchronous Dynamic Random Access Memory)、同步连接动态随机存取存储器(SLDRAM，SyncLink Dynamic Random Access Memory)、直接内存总线随机存取存储器(DRRAM，Direct Rambus Random Access Memory)。本申请实施例描述的存储器2旨在包括但不限于这些和任意其它适合类型的存储器。
上述本申请实施例揭示的方法可以应用于处理器2中，或者由处理器2实现。处理器2可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器2中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器2可以是通用处理器、DSP，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器2可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤，可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中，该存储介质位于存储器3，处理器2读取存储器3中的程序，结合其硬件完成前述方法的步骤。
处理器2执行所述程序时实现本申请实施例的各个方法中的相应流程，为了简洁，在此不再赘述。
在示例性实施例中，本申请实施例还提供了一种存储介质，即计算机存储介质，具体为计算机可读存储介质，例如包括存储计算机程序的存储器3，上述计算机程序可由处理器2执行，以完成前述方法所述步骤。计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、Flash Memory、磁表面存储器、光盘、或CD-ROM等存储器。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台电子设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。
Claims (11)
1.一种图像处理方法，其特征在于，包括：
当接收到目标超声图像时，将所述目标超声图像输入训练完成的目标神经网络中；其中，所述目标神经网络包括特征提取部分、切面分类分支和组织分割分支；
利用所述特征提取部分提取所述目标超声图像的图像特征；
将所述图像特征输入所述切面分类分支和所述组织分割分支中，以便利用所述切面分类分支预测所述目标超声图像的切面类别、利用所述组织分割分支对所述目标超声图像进行组织分割。
2.根据权利要求1所述图像处理方法，其特征在于，还包括：
获取分类数据集和分割数据集；其中，所述分类数据集包括已标注切面类别的第一超声图像，所述分割数据集包括已标注切面类别和组织信息的第二超声图像；
利用所述分类数据集和所述分割数据集训练所述目标神经网络，得到训练完成的目标神经网络。
3.根据权利要求2所述图像处理方法，其特征在于，所述利用所述分类数据集和所述分割数据集训练所述目标神经网络，得到训练完成的目标神经网络，包括：
利用所述分类数据集训练所述目标神经网络，以调整所述目标神经网络中特征提取部分与切面分类分支的参数；
利用所述分割数据集再次训练所述目标神经网络，以微调所述特征提取部分与切面分类分支的参数，并调整所述组织分割分支的参数，得到训练完成的目标神经网络。
4.根据权利要求2所述图像处理方法，其特征在于，所述获取分类数据集和分割数据集，包括：
获取已标注切面类别的原始第一超声图像和已标注组织类别的原始第二超声图像；
对所述原始第一超声图像和所述原始第二超声图像进行图像变换操作；其中，所述图像变换操作包括图像平移、图像缩放和图像翻转中的任一项或任几项的组合；
基于每个变换后的第一超声图像对应的原始第一超声图像和图像变换操作，对每个所述变换后的第一超声图像进行切面类别标注；基于每个变换后的第二超声图像对应的原始第二超声图像和图像变换操作，对每个所述变换后的第二超声图像进行切面类别和组织信息标注；
基于所述原始第一超声图像和所述变换后的第一超声图像构建所述分类数据集，基于所述原始第二超声图像和所述变换后的第二超声图像构建所述分割数据集。
5.根据权利要求1所述图像处理方法，其特征在于，利用所述组织分割分支对所述目标超声图像进行组织分割，包括：
利用所述组织分割分支预测所述目标超声图像包含的所有组织和每个所述组织的组织信息；其中，所述组织信息包括组织类别、位置和分割掩码。
6.根据权利要求5所述图像处理方法，其特征在于，所述利用所述组织分割分支预测所述目标超声图像包含的每个组织的组织类别、位置和分割掩码之后，还包括：
根据切面分类分支预测的切面类别确定所述目标超声图像的切面类别对应的候选组织类别；
在所有所述组织中剔除组织类别不属于所述候选组织类别的组织，得到所述目标超声图像的最终组织分割结果。
7.根据权利要求1所述图像处理方法，其特征在于，所述目标神经网络包括共用特征提取部分的Mask-RCNN和ResNet网络，所述特征提取部分具体为ResNet backbone，所述切面分类分支包括全连接层，所述组织分割分支包括FPN、RPN、ROI Align和预测子分支。
8.根据权利要求1所述图像处理方法，其特征在于，所述目标超声图像包括肌骨超声图像。
9.一种图像处理装置，其特征在于，包括：
输入模块，用于当接收到目标超声图像时，将所述目标超声图像输入训练完成的目标神经网络中；其中，所述目标神经网络包括特征提取部分、切面分类分支和组织分割分支；
提取模块，用于利用所述特征提取部分提取所述目标超声图像的图像特征；
预测模块，用于将所述图像特征输入所述切面分类分支和所述组织分割分支中，以便利用所述切面分类分支预测所述目标超声图像的切面类别、利用所述组织分割分支对所述目标超声图像进行组织分割。
10.一种电子设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至8中任一项所述图像处理方法的步骤。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述图像处理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011240592.6A CN112381777A (zh) | 2020-11-09 | 2020-11-09 | 一种图像处理方法、装置及电子设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011240592.6A CN112381777A (zh) | 2020-11-09 | 2020-11-09 | 一种图像处理方法、装置及电子设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112381777A true CN112381777A (zh) | 2021-02-19 |
Family
ID=74579128
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011240592.6A Pending CN112381777A (zh) | 2020-11-09 | 2020-11-09 | 一种图像处理方法、装置及电子设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112381777A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113012041A (zh) * | 2021-04-06 | 2021-06-22 | 重庆大学 | 一种ct/mri模拟超声的新方法、系统 |
| CN116778696A (zh) * | 2023-08-14 | 2023-09-19 | 易启科技(吉林省)有限公司 | 一种基于视觉的城市内涝智能预警方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105263420A (zh) * | 2013-04-03 | 2016-01-20 | 皇家飞利浦有限公司 | 3d超声成像系统 |
| CN110706793A (zh) * | 2019-09-25 | 2020-01-17 | 天津大学 | 一种基于注意力机制的甲状腺结节半监督分割方法 |
| CN111012377A (zh) * | 2019-12-06 | 2020-04-17 | 北京安德医智科技有限公司 | 超声心动图心脏参数计算以及心肌应变测量方法、装置 |
| CN111383207A (zh) * | 2018-12-11 | 2020-07-07 | 深圳开立生物医疗科技股份有限公司 | 一种肌骨超声图像处理方法、系统、装置及可读存储介质 |
| CN111862044A (zh) * | 2020-07-21 | 2020-10-30 | 长沙大端信息科技有限公司 | 超声图像处理方法、装置、计算机设备和存储介质 |
-
2020
- 2020-11-09 CN CN202011240592.6A patent/CN112381777A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105263420A (zh) * | 2013-04-03 | 2016-01-20 | 皇家飞利浦有限公司 | 3d超声成像系统 |
| CN111383207A (zh) * | 2018-12-11 | 2020-07-07 | 深圳开立生物医疗科技股份有限公司 | 一种肌骨超声图像处理方法、系统、装置及可读存储介质 |
| CN110706793A (zh) * | 2019-09-25 | 2020-01-17 | 天津大学 | 一种基于注意力机制的甲状腺结节半监督分割方法 |
| CN111012377A (zh) * | 2019-12-06 | 2020-04-17 | 北京安德医智科技有限公司 | 超声心动图心脏参数计算以及心肌应变测量方法、装置 |
| CN111862044A (zh) * | 2020-07-21 | 2020-10-30 | 长沙大端信息科技有限公司 | 超声图像处理方法、装置、计算机设备和存储介质 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113012041A (zh) * | 2021-04-06 | 2021-06-22 | 重庆大学 | 一种ct/mri模拟超声的新方法、系统 |
| CN113012041B (zh) * | 2021-04-06 | 2023-12-12 | 重庆大学 | 一种ct/mri模拟超声的新方法、系统 |
| CN116778696A (zh) * | 2023-08-14 | 2023-09-19 | 易启科技(吉林省)有限公司 | 一种基于视觉的城市内涝智能预警方法及系统 |
| CN116778696B (zh) * | 2023-08-14 | 2023-11-14 | 易启科技(吉林省)有限公司 | 一种基于视觉的城市内涝智能预警方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2020224424A1 (zh) | 图像处理方法、装置、计算机可读存储介质和计算机设备 | |
| CN107169049A (zh) | 应用的标签信息生成方法及装置 | |
| CN111583210B (zh) | 基于卷积神经网络模型集成的乳腺癌图像自动识别方法 | |
| CN111598876B (zh) | 甲状腺结节自动识别模型构建方法、系统及设备 | |
| Kadam et al. | Detection and localization of multiple image splicing using MobileNet V1 | |
| CN112508835B (zh) | 一种基于gan的无造影剂医学图像增强建模方法 | |
| CN112381777A (zh) | 一种图像处理方法、装置及电子设备和存储介质 | |
| WO2021057148A1 (zh) | 基于神经网络的脑组织分层方法、装置、计算机设备 | |
| CN113689436B (zh) | 图像语义分割方法、装置、设备及存储介质 | |
| Li et al. | Deeplayout: A semantic segmentation approach to page layout analysis | |
| CN116092122A (zh) | 一种协作多特征聚类无监督行人再识别方法和系统 | |
| CN114783070A (zh) | 活体检测模型的训练方法、装置、电子设备及存储介质 | |
| CN113177554B (zh) | 甲状腺结节识别与分割方法、系统、存储介质及设备 | |
| Lee et al. | The surprisingly straightforward scene text removal method with gated attention and region of interest generation: A comprehensive prominent model analysis | |
| CN114548213A (zh) | 模型训练方法、图像识别方法、终端设备及计算机介质 | |
| Rezaei et al. | A hierarchical GAN method with ensemble CNN for accurate nodule detection | |
| Jiang et al. | Improve object detection by data enhancement based on generative adversarial nets | |
| CN112529849A (zh) | 一种ct肋骨自动计数方法及装置 | |
| CN116486071A (zh) | 图像分块特征提取方法、装置及存储介质 | |
| KR102435035B1 (ko) | 가짜 뉴스 동영상 탐지 시스템 및 그의 방법 | |
| CN112766073B (zh) | 表格提取方法、装置、电子设备及可读存储介质 | |
| US20230023148A1 (en) | System and method for performing face recognition | |
| CN114300097A (zh) | 一种超声检查报告生成方法、装置及电子设备和存储介质 | |
| Wang et al. | Mtfcn: multi-task fully convolutional network for cow face detection | |
| WO2024078426A1 (zh) | 样本处理方法、装置、计算设备和计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |