CN109498061A - 超声图像处理方法、装置、设备及计算机可读存储介质 - Google Patents
超声图像处理方法、装置、设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN109498061A CN109498061A CN201811614759.3A CN201811614759A CN109498061A CN 109498061 A CN109498061 A CN 109498061A CN 201811614759 A CN201811614759 A CN 201811614759A CN 109498061 A CN109498061 A CN 109498061A
- Authority
- CN
- China
- Prior art keywords
- image
- tubercle
- region
- target
- resemblance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
- A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
- A61B8/085—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating body or organic structures, e.g. tumours, calculi, blood vessels, nodules
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
- A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Medical Informatics (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Public Health (AREA)
- Heart & Thoracic Surgery (AREA)
- Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Physiology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Vascular Medicine (AREA)
- Image Processing (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
本发明公开了一种超声图像处理方法，包括：提取超声图像的抽象特征；利用抽象特征及超声图像的候选框图像区域，确定包含结节的目标图像；计算目标图像中结节的外形特征；确定目标图像的超声影像特征；根据外形特征、超声影像特征以及分级规则，生成超声图像中结节的分级结果。可见，本方案通过对超声图像的处理得到结节的外形特征、超声影像特征以及预先设定的分级规则，可以得到超声图像中结节的分级结果，通过该分级结果可以确定结节的风险程度，从而协助医生客观的、快速的进行结节分级，节省医生时间，提高医生工作效率。本发明还公开了一种超声图像处理装置、设备及计算机可读存储介质，同样能实现上述技术效果。
Description
技术领域
本发明涉及图像处理技术领域，更具体地说，涉及一种超声图像处理方法、装置、设备及计算机可读存储介质。
背景技术
近年来，随着计算机技术及数字图像处理技术的飞速发展，数字图像处理技术越来越多的应用于辅助医学诊断领域，以通过对图像处理技术获得图像中有价值的医学诊断信息。目前通过超声图像对甲状腺结节识别时，是通过深度卷积神经网络对甲状腺结节的良恶性进行判定，而甲状腺结节的良恶性仅仅是一种间接的结果，因此仅根据超声影像得到良恶性的结论并不让人信服，临床上病理切片才是良恶性判断的金标准，即使有最专业的医生来读片，超声影像也无法准确确定结节良恶性，因为可能存在良性和恶性结节有相同超声影像的情况。所以，良恶性的学习难以达到很高的准确性；并且，目前直接通过超声图像代替医生下良恶性的结论，无法给出判断的依据，无法有效指导医生，且很有可能对医生造成误导。
因此，如何通过对超声图像的处理得到更有效的处理结果，从而更好的协助医生，提高医生的工作效率，是本领域技术人员需要解决的问题。
发明内容
本发明的目的在于提供一种超声图像处理方法、装置、设备及计算机可读存储介质，以实现通过对超声图像的处理得到更有效的处理结果，从而更好的协助医生，提高医生的工作效率。
为实现上述目的，本发明实施例提供了如下技术方案：
一种超声图像处理方法，包括：
提取超声图像的抽象特征；
利用所述抽象特征及所述超声图像的候选框图像区域，确定包含结节的目标图像；其中，所述候选框图像区域为超声图像中与不同候选框对应的图像区域；
计算所述目标图像中结节的外形特征；
确定所述目标图像的超声影像特征；
根据所述外形特征、所述超声影像特征以及分级规则，生成所述超声图像中结节的分级结果。
其中，所述利用所述抽象特征及所述超声图像的候选框图像区域，确定包含结节的目标图像，包括：
将所述抽象特征及所述候选框图像区域输入结节分类网络和回归网络，得到结节分类结果和回归结果；其中，所述结节分类结果为所述结节分类网络从所有候选框图像区域中选择的包含真实结节的目标候选框图像区域，所述回归结果为通过所述回归网络对每个候选框图像区域进行调节，得到的与真实结节区域一致的调节后的候选框图像区域；
从所述结节分类结果和所述回归结果中，确定与所述目标候选框图像区域对应的调节后的候选框图像区域，作为包含结节的目标图像。
其中，计算所述目标图像中结节的外形特征，包括：
将所述目标图像输入分割网络，通过所述分割网络确定所述目标图像中结节的Mask掩模，计算所述Mask掩模的外形特征，将所述外形特征作为所述目标图像中结节的外形特征。
其中，所述根据所述外形特征、所述超声影像特征以及分级规则，生成所述超声图像中结节的分级结果，包括：
根据所述外形特征、所述超声影像特征、结节血供信息以及分级规则，生成所述超声图像中结节的分级结果；所述分级规则包括至少一种甲状腺超声指南中的甲状腺诊断规则。
其中，根据所述外形特征、所述超声影像特征以及分级规则，生成所述超声图像中结节的分级结果，包括：
从所述外形特征和所述超声影像特征中选择与所述分级规则相对应的目标特征；
利用所述目标特征及所述分级规则，确定所述超声图像中结节的分级结果。
一种超声图像处理装置，包括：
特征提取模块，用于提取超声图像的抽象特征；
目标图像确定模块，用于利用所述抽象特征及所述超声图像的候选框图像区域，确定包含结节的目标图像；其中，所述候选框图像区域为超声图像中与不同候选框对应的图像区域；
外形特征计算模块，用于计算所述目标图像中结节的外形特征；
超声影像特征确定模块，用于确定所述目标图像的超声影像特征；
分级结果生成模块，用于根据所述外形特征、所述超声影像特征以及分级规则，生成所述超声图像中结节的分级结果。
其中，所述目标图像确定模块，包括：
分类结果确定单元，用于将所述抽象特征及所述候选框图像区域输入结节分类网络，得到结节分类结果；其中，所述结节分类结果为所述结节分类网络从所有候选框图像区域中选择的包含真实结节的目标候选框图像区域；
回归结果确定单元，用于将所述抽象特征及所述候选框图像区域输入回归网络，得到回归结果；其中，所述回归结果为通过所述回归网络对每个候选框图像区域进行调节，得到的与真实结节区域一致的调节后的候选框图像区域；
目标图像确定单元，用于从所述结节分类结果和所述回归结果中，确定与所述目标候选框图像区域对应的调节后的候选框图像区域，作为包含结节的目标图像。
其中，所述外形特征计算模块，包括：
分割单元，用于将所述目标图像输入分割网络，通过所述分割网络确定所述目标图像中结节的Mask掩模；
外形特征计算单元，用于计算所述Mask掩模的外形特征，将所述外形特征作为所述目标图像中结节的外形特征。
一种超声图像处理设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上述超声图像处理方法的步骤。
一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述超声图像处理方法的步骤。
通过以上方案可知，本发明实施例提供的一种超声图像处理方法，包括：提取超声图像的抽象特征；利用所述抽象特征及所述超声图像的候选框图像区域，确定包含结节的目标图像；其中，所述候选框图像区域为超声图像中与不同候选框对应的图像区域；计算所述目标图像中结节的外形特征；确定所述目标图像的超声影像特征；根据所述外形特征、所述超声影像特征以及分级规则，生成所述超声图像中结节的分级结果。
可见，在本实施例中，通过对超声图像的处理得到结节的外形特征、超声影像特征以及预先设定的分级规则，可以得到超声图像中结节的分级结果，通过该分级结果可以确定结节的风险程度，从而协助医生客观的、快速的进行结节分级，节省医生时间，提高医生工作效率。
本发明还公开了一种超声图像处理装置、设备及计算机可读存储介质，同样能实现上述技术效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例公开的一种超声图像处理方法流程示意图；
图2为本发明实施例公开的另一种超声图像处理方法流程示意图；
图3为本发明实施例公开的超声图像处理流程示意图；
图4为本发明实施例公开的另一种超声图像处理方法流程示意图；
图5为本发明实施例公开的一种超声图像处理装置结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例公开了一种超声图像处理方法、装置、设备及计算机可读存储介质，以实现通过对超声图像的处理得到更有效的处理结果，从而更好的协助医生，提高医生的工作效率。
本发明实施例公开一种超声图像处理方法。
参照图1，图1为本发明一实施例的流程示意图，在本实施例中，该方法包括：
S101、提取超声图像的抽象特征；
需要说明的是，S101中的超声图像是进行预处理后生成的超声图像，在本实施例中，对原始超声图像的预处理，包括重采样、图像标准化等处理，该重采样包括从高分辨率图像提取低分辨率图像，或者从低分辨率图像提取高分辨率图像的过程，该图像标准化处理主要起到图像归一化的作用，需要说明的是，对超声图像进行预处理的过程与相关技术中预处理过程相同，在此并不具体赘述。
S102、利用所述抽象特征及所述超声图像的候选框图像区域，确定包含结节的目标图像；其中，所述候选框图像区域为超声图像中与不同候选框对应的图像区域；
在本实施例中，候选框是不同大小、偏移、长宽比例的遍布图像的密集长方形序列，在超声图像上，每个候选框都有与之对应的候选框图像区域，通过该抽象特征及候选框序列，从超声图像上的不同候选框图像区域中确定包含结节的目标图像，并通过进一步的图像分割处理，得到目标图像中的结节区域，从而实现了从超声图像中分割结节目的。
需要说明的是，该候选框图像区域是根据候选框在超声图像的大小、偏移、长宽比例的不同从超声图像上确定的，也就是说，该候选框图像区域本质上还是超声图像上的一个图像区域，并没有与超声图像的抽象特征进行分割；该目标图像，是从不同的候选框图像区域中确定的包含结节的区域，该目标图像需要进行后续步骤的特征提取操作等操作。
S103、计算所述目标图像中结节的外形特征；
在本实施例中，该外形特征可以包括结节的大小、结节纵横比等等，也即：目标图像中结节的所有外部形状的特征，均可称之为外形特征；需要说明的是，在计算外形特征时，具体计算哪种类型的外形特征均可通过预先设定，可以计算结节的所有的外形特征，也可以根据分级规则中涉及的外形特征来针对性选取，例如：若分级规则中仅仅涉及到结节的大小、那么在本步骤中，只需要计算目标图像中结节的大小，而不需要计算全部的外形特征，通过这种针对性的外形特征计算方式，可以节省计算外形特征的计算量。
需要说明的是，该外形特征可通过多种方式计算，例如：可通过直接检测目标图像中的结节的方式来计算，也可以根据结节的mask掩模计算出结节的外形特征，在此并不具体限定，只要能确定结节的外形特征均可。
S104、确定所述目标图像的超声影像特征；
可以理解的是，该超声影像特征包括结节成分、边缘、回声、强回声灶、声晕、包膜、淋巴结转移、纵横比等等。在本实施例中，可预先确定分析规则中所涉及的超声影像特征，进而通过对样本数据中结节的各个超声影像特征进行标注，并设计深度神经网络来学习这些特征，从而生成超声影像特征分类网络，利用该超声影像特征分类网络来对目标图像中的结节进行分类识别，得到该目标图像的超声影像特征。
S105、根据所述外形特征、所述超声影像特征以及分级规则，生成所述超声图像中结节的分级结果。
可以理解的是，结节的良恶性仅仅是一种间接的判定结果，而超声影像特征则是直接判定的特征，超声影像特征很大程度反应结节良恶性的可能，而由于仅根据超声影像得到良恶性的结论并不让人信服，因为可能存在良性和恶性结节有相同超声影像的情况，因此，对结节良恶性的学习难以达到很高的准确性，从而难以有效的指导医生诊断。
目前，已发布了包括2015 ATA(American Thyroid Association)、2016 AACE(American Association of Clinical Endocrinologists)、2017 ACR(American Collegeof Radiology)在内的多种甲状腺超声指南，甲状腺超声指南正在逐步建立与完善之中，各种指南均依赖于多种超声影像的特征，然而超声影像特征的分类依赖于医生的主观判断，医生在实际诊断中会根据甲状腺指南的描述对结节进行打分，从而进行结节的分级，根据最终结果来给出诊疗建议，但是由于不同年资的医生有可能存在差异，且计算分级需要较多时间来进行判断与计算，工作量相对较大。因此在本方案中，通过对结节的超声影像特征的识别及分析，能得到准确的结节的外形特征及超声影像特征，进而根据与各个特征对应的分级规则，自动生成准确的结节分级结果。
需要说明的是，本方案根据外形特征、超声影像特征以及分级规则，生成超声图像中结节的分级结果，可以包括：根据外形特征、超声影像特征、结节血供信息以及分级规则，生成超声图像中结节的分级结果；分级规则包括至少一种甲状腺超声指南中的甲状腺诊断规则。
目前，由于甲状腺还缺乏最权威的指南，因此，本方案中的分级规则包括至少一种甲状腺超声指南中的甲状腺诊断规则，通多对个甲状腺超声指南的分析，总结了各种指南的基础超声影像特征，该基础超声影像特征的类型可以与S104中获得的超声影像特征中的特征类型相同，也就是说，根据不同指南中的基础超声影像特征训练超声影像特征分类网络后，通过该超声影像特征分类网络获得目标图像的超声影像特征，进而根据不同甲状腺诊断规则所确定的分级规则，以及外形特征、超声影像特征来对结节进行分级。
并且，由于本方案中的分级规则是根据不同的甲状腺超声指南中的甲状腺诊断规则确定的，因此本方案中，可以根据所需要分析的领域的不同，重新对分级规则中的特征进行重新排列组合，实现指南的自定义，从而可制定出更加有针对性的细分领域的新指南。
进一步，通过分级规则对结节进行分级时，需要根据特征的具体特征来确定最终的分级结果，该特征可以为上述步骤中获得的外形特征、超声影像特征，还可以包括结节血供信息，由于结节血供信息不能从超声影像获得，因此需要医生手动输入，也就是说，特征的选取可根据具体分级规则中所涉及的特征来选取。而对于每个特征，都有与该结节对应的状态，通过不同特征的不同状态，综合决定最终的结节分级结果。
可以看出，通过对超声图像的处理得到结节的外形特征、超声影像特征以及预先设定的分级规则，可以得到超声图像中结节的分级结果，通过该分级结果可以确定结节的风险程度，从而协助医生客观的、快速的进行结节分级，节省医生时间，提高医生工作效率。
进一步，本发明实施例公开了一种超声图像处理方法。
参照图2，图2为本发明另一实施例的流程示意图，在本实施例中，该方法包括：
S201、提取超声图像的抽象特征；
S202、将所述抽象特征及所述候选框图像区域输入结节分类网络和回归网络，得到结节分类结果和回归结果；
其中，所述结节分类结果为所述结节分类网络从所有候选框图像区域中选择的包含真实结节的目标候选框图像区域，所述回归结果为通过所述回归网络对每个候选框图像区域进行调节，得到的与真实结节区域一致的调节后的候选框图像区域；
S203、从所述结节分类结果和所述回归结果中，确定与所述目标候选框图像区域对应的调节后的候选框图像区域，作为包含结节的目标图像；
S204、将所述目标图像输入分割网络，通过所述分割网络确定所述目标图像中结节的Mask掩模；
S205、计算所述Mask掩模的外形特征，将所述外形特征作为所述目标图像中结节的外形特征；
S206、确定所述目标图像的超声影像特征；
S207、根据所述外形特征、所述超声影像特征以及分级规则，生成所述超声图像中结节的分级结果。
参见图3，为本实施例公开的超声图像处理流程示意图，通过图3可以看出，在本实施例中存在一个卷积神经网络，该卷积神经网络通过输入带标注(结节区域、结节轮廓、结节超声影像特征)的超声影像样本，并设置相应分类、回归、结节分割、超声影像特征分类的损失函数以及优化器来训练所有卷积核的参数，得到不同网络，例如图3中的结节分类网络、回归网络、结节分割网络及超声影像特征分类网络；需要说明的是，该卷积神经网络的训练过程及实现过程与相关技术中公开的内容相同，在此并不具体赘述。
在S201中，将预处理后的超声图像输入特征提取网络，通过特征提取网络提取该超声图像初级到高级的抽象特征(Feature maps)，该抽象特征为表示超声图像的二维数据特征；进一步，将抽象特征输入结节分类网络和回归网络，通过这两个网络来综合确定目标图像，通过图3可以看出，本方案将抽象特征及由候选框序列确定的候选框图像区域分别输入结节分类网络和回归网络后，得到结节分类结果和回归结果，通过结节分类结果和回归结果对包含结节的候选框图像区域和不包含结节的候选框图像区域进行分类，并将包含结节的目标图像输入结节分割网络，通过结节分割网络实现对结节的分割。
抽象特征经过结节分类网络，预测了不同候选框对应的候选框图像区域的分类，比如有1类(结节)，就预测了一个值class1，(class1是0至1之间的数)，根据预先设定的阈值来判断候选框图像区域是否是结节，该阈值可设置为0.5。同时，回归网络预测了不同候选框对应的候选框图像区域的4个参数，x、y中心坐标和x、y方向的偏移。
需要说明的是，在确定了若干个候选框图像区域后，需要对这若干个候选框图像区域进行回归得到若干ROI(region of interest，感兴趣区域)，然后用nms(非极大值抑制)去掉重复的ROI，得到得分最高的ROI，作为真实结节区域。在进行结节分类时，结节分类网络需要根据抽象特征、真实结节区域、及各个候选框图像区域，从中选择包含结节的目标候选框图像区域。在本实施例中，结节分类网络用于根据候选框图像区域与真实结节区域的交并比(Intersection-over-Union，IOU)来判断该候选框图像区域是否结节，参见公式1，若通过公式1求得的IOU大于预先设定的阈值，则判定目标候选框图像区域为结节，否则，不为结节，从而实现了对不同候选框图像区域的分类，本方案中的结节分类结果便为结节分类网络从所有候选框图像区域中选择的包含真实结节的目标候选框图像区域。
进一步，回归网络对各个候选框图像区域的中心点、宽、高进行调整，使其回归到与结节ROI(region of interest)一致，得到与每个候选框图像区域对应的调节后的候选框图像区域，本方案中的回归结果便为通过回归网络对每个候选框图像区域进行调节后，得到的与结节ROI区域一致的调节后的候选框图像区域。得到结节分类结果和回归结果后，便可直接从回归结果中，选择与结节分类结果中目标候选框图像区域对应的调整后的目标候选框图像区域，作为包含结节的目标图像。
由于以上得到的目标图像是一个矩形，并不知道矩形区域里面哪些位置是结节，因此将目标图像输入分割网络后，会得到结节的Mask掩模，该Mask掩模即为找到的结节的轮廓，因此，可以通过计算Mask掩模的外形特征作为目标图像中结节的外形特征，例如：结节的大小信息及横纵比等，该纵横比是用包围mask的矩形框的高除以宽就得到的。
本方案中的超声影像特征分类网络在对超声影像特征进行分类时，输出的特征比如有3个，每个特征分别有4,3,6个分类，那么输出就是(4+3+6)*结节个数个结果，该特征的分类为特征的具体类型，若特征为边界，那么边界的分类为：光滑，不清，不规则这三个分类，从而输出特征边界的三个分类的三个结果，最终会从这三个分类的结果中选择分值最高的分类结果，作为该特征的具体类别。
具体来说：如果结节数量为1个，超声影像特征有3个：特征1、特征2、特征3，对于特征1有4个分类，对于特征2有3个分类，对于特征3有6个分类，那么输出的就是特征1的4个结果，特征2的3个结果，特征3的6个结果，共4+3+6个结果，这4+3+6个结果是1个结节的，因此，对于多结节情况下，共输出(4+3+6)*结节个数个结果。进而每个特征根据分数来判断属于哪个分类，例如：特征1输出有4个分类的结果，每一类的结果为一个分值，如果特征1的第一类的分值最高，则说明特征1属于第一类。
综上可以看出，本实施例提供的这种超声图像处理方法，在对目标图像进行确定时，可通过结节分类网络和回归网络同时对抽象特征候选框图像区域进行处理，快速的从不同的候选框图像区域中找出结节，得到包括结节的调整后的候选框图像区域，提高超声图像的处理速度。
本发明实施例公开一种超声图像处理方法。
参照图4，图4为本发明另一实施例的流程示意图，在本实施例中，该方法包括：
S301、提取超声图像的抽象特征；
S302、利用所述抽象特征及所述超声图像的候选框图像区域，确定包含结节的目标图像；其中，所述候选框图像区域为超声图像中与不同候选框对应的图像区域；
S303、计算所述目标图像中结节的外形特征；
S304、确定所述目标图像的超声影像特征；
S305、从所述外形特征和所述超声影像特征中选择与所述分级规则相对应的目标特征；
S306、利用所述目标特征及所述分级规则，确定所述超声图像中结节的分级结果。
需要说明的是，由于本方案中的分级规则中的特征权重及特征类型是可以自定义的，在得到分级结果时，并不是一定需要所有外形特征和超声影像特征，因此，需要根据分级规则从外形特征及超声影像特征中选取对应的目标特征。目标特征确定后，需要根据分级规则及目标特征对结节进行分级，得到分级结果。可以理解的是，通过分级规则对结节进行分类时，可通过多种方法进行分级，在本实施例中，仅以如下两种情况为例进行说明，但并不局限于这两种分级方法。
方法一：如果目标特征满足某一级别的条件，则判定结节属于该级别；例如：若根据某一指南的第2-7条特征来确定结节的分级结果，该分级结果包括2类、3类、4类、5类、x类；根据这2-7条特征的类型从外形特征和超声影像特征中选择目标特征，根据目标特征确定结节的分级结果。例如：
若目标特征满足2类结节的条件，则判定该结节为2类结节；
若目标特征满足3类结节的条件，则判定该结节为3类结节；
若目标特征满足4类结节的条件，则判定该结节为4类结节；
若目标特征满足5类结节的条件，则判定该结节为5类结节；
若目标特征同时不满足上述任意级别结节的条件，则判定该阶级是属于X类。
可以看出，如果结节的各个目标特征满足某一级别的条件，则说明该结节属于该类的级别。
方法二：在目标特征确定后，需要从分级规则中确定针对每个目标特征的参数值确定规则，该参数值确定规则中体现了每个特征的权重，例如：若目标特征为边缘特征，则与边缘特征对应的参数值确定规则为：若边缘为光滑，则参数值为3，若边缘为粗糙，则参数值为0；因此，根据目标特征的类型，以及参数值确定规则，便可以确定该目标特征的特征参数值，例如：目标特征为边缘特征，目标特征的类型为光滑，则对应的特征参数值变为0，通过这种方式，便可以得到不同目标特征的特征参数值。
进一步，本方案根据不同目标特征的特征参数值，确定所述超声图像中结节的分级结果，可以包括：计算所有目标特征的特征参数值的和，生成总特征参数值；从不同等级的参数范围中确定所述总特征参数值所属的目标参数范围；确定所述目标参数范围所对应的目标结节等级，将所述目标结节等级作为所述超声图像中结节的分级结果。
可以理解的是，分级规则中不仅仅包括与每个目标特征对应的参数值确定规则，还包括与不同等级对应的参数范围；获得每个目标特征的特征参数值之后，需要计算所有目标特征的特征参数值之和，得到总特征参数值，进而判断该总特征参数值在哪个参数范围内，则与该参数范围所对应的等级便为超声图像中结节的等级。
例如：一级参数范围：0≤总特征参数值＜30；二级参数范围：
30≤总特征参数值＜60；三级参数范围：60≤总特征参数值≤90；如果通过计算得到的所有目标特征的特征参数值之和为56，则判定超声图像中结节的等级信息为二级。
可以看出，本方案可自动实现对超声图像中结节的检测、分割以及结节的分级，以实现帮助医生进行结节风险评估，高效且能排除主观因素，医生只需对自动预测的结果进行确认，能较大的提升医生的工作效率及准确性。
下面对本发明实施例提供的超声图像处理装置进行介绍，下文描述的超声图像处理装置与上文描述的超声图像处理方法可以相互参照。
参见图5，本发明实施例提供的一种超声图像处理装置，包括：
特征提取模块100，用于提取超声图像的抽象特征；
目标图像确定模块200，用于利用所述抽象特征及所述超声图像的候选框图像区域，确定包含结节的目标图像；其中，所述候选框图像区域为超声图像中与不同候选框对应的图像区域；
外形特征计算模块300，用于计算所述目标图像中结节的外形特征；
超声影像特征确定模块400，用于确定所述目标图像的超声影像特征；
分级结果生成模块500，用于根据所述外形特征、所述超声影像特征以及分级规则，生成所述超声图像中结节的分级结果。
其中，所述目标图像确定模块，包括：
分类结果确定单元，用于将所述抽象特征及所述候选框图像区域输入结节分类网络，得到结节分类结果；其中，所述结节分类结果为所述结节分类网络从所有候选框图像区域中选择的包含真实结节的目标候选框图像区域；
回归结果确定单元，用于将所述抽象特征及所述候选框图像区域输入回归网络，得到回归结果；其中，所述回归结果为通过所述回归网络对每个候选框图像区域进行调节，得到的与真实结节区域一致的调节后的候选框图像区域；
目标图像确定单元，用于从所述结节分类结果和所述回归结果中，确定与所述目标候选框图像区域对应的调节后的候选框图像区域，作为包含结节的目标图像。
其中，外形特征计算模块包括：
图像分割单元，用于将所述目标图像输入分割网络，通过所述分割网络确定所述目标图像中结节的Mask掩模；
计算单元，用于计算所述Mask掩模的外形特征，将所述外形特征作为所述目标图像中结节的外形特征。
其中，所述分级结果生成模块，具体用于根据所述外形特征、所述超声影像特征、结节血供信息以及分级规则，生成所述超声图像中结节的分级结果；所述分级规则包括至少一种甲状腺超声指南中的甲状腺诊断规则。
其中，分级结果生成模块，包括：
目标特征确定单元，用于从所述外形特征和所述超声影像特征中选择与所述分级规则相对应的目标特征；
分级结果确定单元，用于利用所述目标特征及所述分级规则，确定所述超声图像中结节的分级结果。
本发明实施例还公开了一种超声图像处理设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上述方法实施例所述的超声图像处理方法的步骤。
本发明实施例还公开了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述方法实施例所述的超声图像处理方法的步骤。
其中，该存储介质可以包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种超声图像处理方法，其特征在于，包括：
提取超声图像的抽象特征；
利用所述抽象特征及所述超声图像的候选框图像区域，确定包含结节的目标图像；其中，所述候选框图像区域为超声图像中与不同候选框对应的图像区域；
计算所述目标图像中结节的外形特征；
确定所述目标图像的超声影像特征；
根据所述外形特征、所述超声影像特征以及分级规则，生成所述超声图像中结节的分级结果。
2.根据权利要求1所述的超声图像处理方法，其特征在于，所述利用所述抽象特征及所述超声图像的候选框图像区域，确定包含结节的目标图像，包括：
将所述抽象特征及所述候选框图像区域输入结节分类网络和回归网络，得到结节分类结果和回归结果；其中，所述结节分类结果为所述结节分类网络从所有候选框图像区域中选择的包含真实结节的目标候选框图像区域，所述回归结果为通过所述回归网络对每个候选框图像区域进行调节，得到的与真实结节区域一致的调节后的候选框图像区域；
从所述结节分类结果和所述回归结果中，确定与所述目标候选框图像区域对应的调节后的候选框图像区域，作为包含结节的目标图像。
3.根据权利要求1所述的超声图像处理方法，其特征在于，计算所述目标图像中结节的外形特征，包括：
将所述目标图像输入分割网络，通过所述分割网络确定所述目标图像中结节的Mask掩模，计算所述Mask掩模的外形特征，将所述外形特征作为所述目标图像中结节的外形特征。
4.根据权利要求1所述的超声图像处理方法，其特征在于，所述根据所述外形特征、所述超声影像特征以及分级规则，生成所述超声图像中结节的分级结果，包括：
根据所述外形特征、所述超声影像特征、结节血供信息以及分级规则，生成所述超声图像中结节的分级结果；所述分级规则包括至少一种甲状腺超声指南中的甲状腺诊断规则。
5.根据权利要求1至4中任意一项所述的超声图像处理方法，其特征在于，根据所述外形特征、所述超声影像特征以及分级规则，生成所述超声图像中结节的分级结果，包括：
从所述外形特征和所述超声影像特征中选择与所述分级规则相对应的目标特征；
利用所述目标特征及所述分级规则，确定所述超声图像中结节的分级结果。
6.一种超声图像处理装置，其特征在于，包括：
特征提取模块，用于提取超声图像的抽象特征；
目标图像确定模块，用于利用所述抽象特征及所述超声图像的候选框图像区域，确定包含结节的目标图像；其中，所述候选框图像区域为超声图像中与不同候选框对应的图像区域；
外形特征计算模块，用于计算所述目标图像中结节的外形特征；
超声影像特征确定模块，用于确定所述目标图像的超声影像特征；
分级结果生成模块，用于根据所述外形特征、所述超声影像特征以及分级规则，生成所述超声图像中结节的分级结果。
7.根据权利要求6所述的超声图像处理装置，其特征在于，所述目标图像确定模块，包括：
分类结果确定单元，用于将所述抽象特征及所述候选框图像区域输入结节分类网络，得到结节分类结果；其中，所述结节分类结果为所述结节分类网络从所有候选框图像区域中选择的包含真实结节的目标候选框图像区域；
回归结果确定单元，用于将所述抽象特征及所述候选框图像区域输入回归网络，得到回归结果；其中，所述回归结果为通过所述回归网络对每个候选框图像区域进行调节，得到的与真实结节区域一致的调节后的候选框图像区域；
目标图像确定单元，用于从所述结节分类结果和所述回归结果中，确定与所述目标候选框图像区域对应的调节后的候选框图像区域，作为包含结节的目标图像。
8.根据权利要求7所述的超声图像处理装置，其特征在于，所述外形特征计算模块，包括：
分割单元，用于将所述目标图像输入分割网络，通过所述分割网络确定所述目标图像中结节的Mask掩模；
外形特征计算单元，用于计算所述Mask掩模的外形特征，将所述外形特征作为所述目标图像中结节的外形特征。
9.一种超声图像处理设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至5任一项所述超声图像处理方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述超声图像处理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811614759.3A CN109498061A (zh) | 2018-12-27 | 2018-12-27 | 超声图像处理方法、装置、设备及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811614759.3A CN109498061A (zh) | 2018-12-27 | 2018-12-27 | 超声图像处理方法、装置、设备及计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109498061A true CN109498061A (zh) | 2019-03-22 |
Family
ID=65755561
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811614759.3A Pending CN109498061A (zh) | 2018-12-27 | 2018-12-27 | 超声图像处理方法、装置、设备及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109498061A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110111329A (zh) * | 2019-05-17 | 2019-08-09 | 四川大学华西第二医院 | 一种基于人工智能超声影像检测方法及系统 |
| CN111951268A (zh) * | 2020-08-11 | 2020-11-17 | 长沙大端信息科技有限公司 | 颅脑超声图像并行分割方法及装置 |
| CN112184671A (zh) * | 2020-09-29 | 2021-01-05 | 平安科技（深圳）有限公司 | 甲状腺结节纵横比计算方法、装置、设备和存储介质 |
| CN112927808A (zh) * | 2021-03-01 | 2021-06-08 | 北京小白世纪网络科技有限公司 | 一种基于甲状腺超声图像的结节分级系统及方法 |
| CN113299391A (zh) * | 2021-05-25 | 2021-08-24 | 李玉宏 | 远程甲状腺结节超声影像的风险评估方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6654728B1 (en) * | 2000-07-25 | 2003-11-25 | Deus Technologies, Llc | Fuzzy logic based classification (FLBC) method for automated identification of nodules in radiological images |
| CN108734694A (zh) * | 2018-04-09 | 2018-11-02 | 华南农业大学 | 基于faster r-cnn的甲状腺肿瘤超声图像自动识别方法 |
| CN108742679A (zh) * | 2018-06-29 | 2018-11-06 | 上海联影医疗科技有限公司 | 结节检测装置和方法 |
-
2018
- 2018-12-27 CN CN201811614759.3A patent/CN109498061A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6654728B1 (en) * | 2000-07-25 | 2003-11-25 | Deus Technologies, Llc | Fuzzy logic based classification (FLBC) method for automated identification of nodules in radiological images |
| CN108734694A (zh) * | 2018-04-09 | 2018-11-02 | 华南农业大学 | 基于faster r-cnn的甲状腺肿瘤超声图像自动识别方法 |
| CN108742679A (zh) * | 2018-06-29 | 2018-11-06 | 上海联影医疗科技有限公司 | 结节检测装置和方法 |
Non-Patent Citations (2)
| Title |
|---|
| DONG GYU NA等: "Thyroid Imaging Reporting and Data System Risk Stratification of Thyroid Nodules: Categorization Based on Solidity and Echogenicity", 《THYROID RADIOLOGY AND NUCLEAR MEDICINE》 * |
| 张知航: "基于TI-RADS的甲状腺结节超声图像特征提取与可视化技术研究", 《中国优秀硕士学位论文全文数据库 医药卫生科技辑》 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110111329A (zh) * | 2019-05-17 | 2019-08-09 | 四川大学华西第二医院 | 一种基于人工智能超声影像检测方法及系统 |
| CN111951268A (zh) * | 2020-08-11 | 2020-11-17 | 长沙大端信息科技有限公司 | 颅脑超声图像并行分割方法及装置 |
| CN111951268B (zh) * | 2020-08-11 | 2024-06-07 | 深圳蓝湘智影科技有限公司 | 颅脑超声图像并行分割方法及装置 |
| CN112184671A (zh) * | 2020-09-29 | 2021-01-05 | 平安科技（深圳）有限公司 | 甲状腺结节纵横比计算方法、装置、设备和存储介质 |
| CN112184671B (zh) * | 2020-09-29 | 2023-12-19 | 平安科技（深圳）有限公司 | 甲状腺结节纵横比计算方法、装置、设备和存储介质 |
| CN112927808A (zh) * | 2021-03-01 | 2021-06-08 | 北京小白世纪网络科技有限公司 | 一种基于甲状腺超声图像的结节分级系统及方法 |
| CN113299391A (zh) * | 2021-05-25 | 2021-08-24 | 李玉宏 | 远程甲状腺结节超声影像的风险评估方法 |
| CN113299391B (zh) * | 2021-05-25 | 2023-11-03 | 李玉宏 | 远程甲状腺结节超声影像的风险评估方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109498061A (zh) | 超声图像处理方法、装置、设备及计算机可读存储介质 | |
| Cha et al. | Urinary bladder segmentation in CT urography using deep‐learning convolutional neural network and level sets | |
| CN105976400B (zh) | 基于神经网络模型的目标跟踪方法及装置 | |
| CN109741346A (zh) | 感兴趣区域提取方法、装置、设备及存储介质 | |
| Zhang et al. | Intelligent scanning: Automated standard plane selection and biometric measurement of early gestational sac in routine ultrasound examination | |
| CN109241967A (zh) | 基于深度神经网络的甲状腺超声图像自动识别系统、计算机设备、存储介质 | |
| CN109272002B (zh) | 一种骨龄片的分类方法及装置 | |
| CN111340130A (zh) | 一种基于深度学习和影像组学的泌尿结石检测分类方法 | |
| CN108875590A (zh) | Bmi预测方法、装置、计算机设备和存储介质 | |
| CN109559295A (zh) | 图像分析系统、方法、计算机可读存储介质、及电子终端 | |
| CN108647732A (zh) | 一种基于深度神经网络的病理图像分类方法及装置 | |
| CN109363698A (zh) | 一种乳腺影像征象识别的方法及装置 | |
| CN109509177A (zh) | 一种脑部影像识别的方法及装置 | |
| Engeland et al. | Finding corresponding regions of interest in mediolateral oblique and craniocaudal mammographic views | |
| CN109363699A (zh) | 一种乳腺影像病灶识别的方法及装置 | |
| CN110929728A (zh) | 一种图像感兴趣区域划分方法、图像分割方法及装置 | |
| CN111383215A (zh) | 一种基于生成对抗网络的病灶检测模型的训练方法 | |
| CN109255786B (zh) | 一种检测骨龄的方法及装置 | |
| CN107292346A (zh) | 一种基于局部子空间学习的mr图像海马体分割算法 | |
| CN111368837B (zh) | 一种图像质量评价方法、装置、电子设备及存储介质 | |
| Yuan et al. | An efficient multi-path 3D convolutional neural network for false-positive reduction of pulmonary nodule detection | |
| Kwon et al. | Multistage probabilistic approach for the localization of cephalometric landmarks | |
| Wang et al. | Tumor detection for whole slide image of liver based on patch-based convolutional neural network | |
| CN111833321A (zh) | 一种调窗优化增强的颅内出血检测模型及其构建方法 | |
| CN113034528A (zh) | 基于影像组学的靶区及危及器官勾画轮廓准确性检验方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190322 |
|
| RJ01 | Rejection of invention patent application after publication |