CN113658145B - 一种肝脏超声标准切面识别方法、装置、电子设备及存储介质 - Google Patents

一种肝脏超声标准切面识别方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113658145B
CN113658145B CN202110961123.1A CN202110961123A CN113658145B CN 113658145 B CN113658145 B CN 113658145B CN 202110961123 A CN202110961123 A CN 202110961123A CN 113658145 B CN113658145 B CN 113658145B
Authority
CN
China
Prior art keywords
feature
image
liver
standard
identified
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110961123.1A
Other languages
English (en)
Other versions
CN113658145A (zh
Inventor
程栋梁
洪洋
何年安
刘振
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Hebin Intelligent Robot Co ltd
Original Assignee
Hefei Hebin Intelligent Robot Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Hebin Intelligent Robot Co ltd filed Critical Hefei Hebin Intelligent Robot Co ltd
Priority to CN202110961123.1A priority Critical patent/CN113658145B/zh
Publication of CN113658145A publication Critical patent/CN113658145A/zh
Application granted granted Critical
Publication of CN113658145B publication Critical patent/CN113658145B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30056—Liver; Hepatic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种肝脏超声标准切面识别方法、装置、电子设备及存储介质，属于智能医疗技术领域。该方法包括获取待识别的图像，将所述待识别图像的感兴趣区域输入预置的特征提取网络模型，提取第一特征向量；将所述第一特征向量与预置的肝脏切面检索库中第二特征向量进行匹配，获得对应的匹配度；根据所述匹配度大小，判断所述第一特征向量对应的待识别图像是否为肝脏标准切面。通过自监督对比学习可以训练所有的原始多样性样本，使预置的特征提取网络模型学到的特征具有极强的泛化性，可以显著降低误检；建立的肝脏标准切面特征检索库，采用特征向量匹配的方式识别肝脏标准切面，能够得到准确的分类结果，同时降低了噪声的干扰。

Description

一种肝脏超声标准切面识别方法、装置、电子设备及存储介质
技术领域
本发明属于智能医疗技术领域，具体地说，涉及一种肝脏超声标准切面识别方法、装置、电子设备及存储介质。
背景技术
肝脏是身体内以代谢功能为主的一个器官，并在身体里面起着去氧化、储存肝糖分泌性蛋白质等作用。据国际癌症研究中心的最新资料表明，2018年全球肝癌新发人数超过84万，因肝癌导致的死亡人数约为78万。其中，约一半的肝癌新发病例发生在我国。因此，尽早发现、诊断、治疗在肝癌的治疗中起到非常重要的作用。
目前，医学影像检查，可较全面地观察肝脏器官，分析与评估此类浅表器官组织病变。而超声成像因为其价格最为低廉，对患者无侵入性伤害且辐射低以及筛查效率高等特性导致超声图像成为目前最流行的肝脏病变早期筛查手段。
现有肝脏的超声临床诊断分为以下三个步骤：一、临床医生定位肝脏检查中的标准切面图像。二、测量标准切面中的具体特征，比如肝脏的尺度，肝脏周围血管的厚度等。三、医生结合在标准切面中得到的特征做出最终的临床诊断。其中，肝脏超声标准切面图像是指在特定角度下拍摄的肝脏超声图像。标准切面可以反映出肝脏的解剖结构，有助于医生观察肝脏的病变情况。然而，不同患者的肝脏特征都有所不同，这导致每一次标准切面的定位都不具有标准化步骤。因此，定位标准切面的过程需要超声医生具有丰富的临床经验以及完善的专业知识。为了提高医生的诊断效率，降低临床的经验门槛，计算机辅助诊断系统应运而生。
对于医学图像处理，现有的方法一方面是基于传统的手工设计的图像特征设计医疗图像处理算法。图像特征的设计过程一般需要研究者的大量研究经验，而且人工设计的图像特征的鲁棒性一般不强，无法适应大部分的图像。
另一方面是基于深度学习的医疗图像处理算法能够获得更高的准确率比起传统基于设计特征的算法。例如，现有中国专利申请号为CN201810658611.3，公开的一种基于超声图像的多模型肝脏弥漫性疾病智能诊断方法及系统，其技术方案为：一种基于超声图像的多模型肝脏弥漫性疾病智能诊断方法及系统，具体涉及利用深度学习算法提取图像特征与图像纹理特征相结合并应用XGBoost算法在超声图像上实现肝脏弥漫性疾病智能诊断的方法，它是人工智能方法在基于超声图像的诊断中的应用，可以为医生的疾病诊断提供辅助建议。
但是，上述方法中深度学习在医疗图像处理上的应用具有天然的瓶颈。这主要的原因如下：其一，深度学习网络通常需要大量的数据集才能发挥网络的最佳性能；然而医学图像数据集往往图像收集难度大，收集耗时长。其二，医学图像和自然图像最大的差别是，医学图像的特征不明确，并且由于不同操作员技术上的差异导致，图像质量也是参差不齐，导致深度学习的数据需要进一步处理，这也加大了深度学习在医疗图像运用的难度。
因此，如何根据现实中较少可用训练数据，能够准确提取超声图像的特征，提高肝脏标准切面的分类准确率成为当前亟需解决的问题。
发明内容
针对如何根据现实中较少可用训练数据，提高肝脏标准切面的分类准确率的问题，本发明提供一种肝脏超声标准切面识别方法，该方法通过自监督对比学习，可以训练所有的原始多样性样本，使预置的特征提取网络模型学到的特征具有极强的泛化性，可以显著降低误检；来达到使用较少可用训练数据，提高肝脏标准切面的分类准确率之目的。建立的肝脏标准切面特征检索库，采用特征向量匹配的方式识别肝脏标准切面，能够得到准确的分类结果，同时降低了噪声的干扰，实现了自动识别分类，另外随着特征数据库中特征数量的不断扩充，识别精度也将不断提高。
为实现上述目的，本发明采用如下的技术方案。
本发明第一方面提供一种肝脏超声标准切面识别方法，所述方法包括：
获取待识别的图像，提取所述待识别图像的感兴趣区域，其中所述待识别图像包括肝脏部位的超声图像；
将所述待识别图像的感兴趣区域输入预置的特征提取网络模型，提取第一特征向量；
将所述第一特征向量与预置的肝脏切面检索库中第二特征向量进行匹配，获得对应的匹配度；
根据所述匹配度大小，判断所述第一特征向量对应的待识别图像是否为肝脏标准切面；
将所述匹配度符合预定范围的对应待识别图像标记为肝脏标准切面，并输出。
在一些实施例中，所述提取待识别图像的感兴趣区域步骤前，还包括：
将所述待识别的图像通过图像增强获得多组第一图像；所述第一图像为与待识别的图像具有同一目标，但在不同视角下的图像。
在一些实施例中，所述预置的肝脏切面检索库包括：标准肝脏切面检索子库以及非标准肝脏切面检索子库；
所述第二特征向量包括与所述标准肝脏切面检索子库对应的第三特征向量，以及与所述非标准肝脏切面检索子库对应的第四特征向量；
将所述第一特征向量分别与所述第三特征向量和第四特征向量进行特征匹配，获得对应的匹配度。
在一些实施例中，所述提取所述待识别图像的感兴趣区域步骤包括：
将第一图像进行二值化处理，所述二值化后的背景区域为黑色，将二值化后白色的超声扇形区域定义为感兴趣区域；
对二值化后图像进行开运算，去除白色的超声扇形区域边缘噪点，截取剩余白色区域的最小外接矩形区域，作为感兴趣区域。
在一些实施例中，所述预置的特征提取网络模型训练步骤包括：
S202：构建训练集，所述训练集包括多张包含肝脏超声标准切面图像以及肝脏超声非标准切面图像；
S204：对训练集中的每张训练图像X进行扩增，获得与每张训练图像X对应的多张变换图像；
S206：任选两张变换图像X1和变换图像X2作为一组，提取变化图像X1的第一特征Z1，提取变化图像X2的第二特征Z2；
S208：将所述第一特征Z1和第二特征Z2进行变换，获得与所述第一特征Z1对应的变换特征P1以及与所述第二特征Z2对应变换特征P2；
S210：根据第一特征Z1与变换特征P2的余弦值以及第二特征Z2与变换特征P1的余弦值，确定特征提取网络模型损失函数，根据损失计算梯度更新特征提取网络模型参数，获得预置的特征提取网络模型。
在一些实施例中，所述步骤S210包括：
计算Z2和P1的最小化余弦相似度
Figure BDA0003222100190000031
计算Z1和P2的最小化余弦相似度
Figure BDA0003222100190000032
特征提取网络模型损失函数模型为
Figure BDA0003222100190000033
本发明第二方面提供一种肝脏超声标准切面识别装置，包括：
图像截取模块，其用于获取待识别的图像，提取所述待识别图像的感兴趣区域，其中所述待识别图像包括具有肝脏部位的超声图像；
特征提取模块，其用于将所述待识别图像的感兴趣区域输入预置的特征提取网络模型，提取第一特征向量；
特征匹配模块，其用于将所述第一特征向量与预置的肝脏切面检索库中第二特征向量进行匹配，获得对应的匹配度；
判断模块，其用于根据所述匹配度大小，判断所述第一特征向量对应的待识别图像是否为肝脏标准切面。
在一些实施例中，所述图像截取模块还包括图像增强单元，所述图像增强单元用于将所述待识别的图像通过图像增强获得多组第一图像；所述第一图像为与待识别的图像具有同一目标，但在不同视角下的图像。
在一些实施例中，所述预置的肝脏切面检索库包括：标准肝脏切面检索子库以及非标准肝脏切面检索子库；
所述第二特征向量包括与所述标准肝脏切面检索子库对应的第三特征向量，以及与所述非标准肝脏切面检索子库对应的第四特征向量；
将所述第一特征向量分别与所述第三特征向量和第四特征向量进行特征匹配，获得对应的匹配度。
本发明第三方面提供一种电子设备，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器依次连接，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如上述的方法。
本发明第四方面提供一种可读存储介质，所述存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如上述的方法。
相比于现有技术，本发明的有益效果为：
(1)本发明建立的肝脏标准切面特征检索库，采用特征向量匹配的方式识别肝脏标准切面，能够得到准确的分类结果，同时对待识别图像感兴趣区域(ROI)进行开处理，降低了噪声的干扰，利于实现自动识别分类，另外随着特征数据库中特征数量的不断扩充，识别精度也将不断提高。
(2)本发明通过自监督对比学习的训练方式不需要标注样本，其借助自身非对称式的孪生网络结构，自动对同类数据进行相似的编码，并使用不同类的数据的编码结果尽可能的不同；相较于监督学习，自监督对比学习学到的特征更加的鲁棒，其既可以直接作为特征提取网络，将提取的特征进行相似度比对，使预置的特征提取网络模型学到的特征具有极强的泛化性，可以显著降低误检。
(3)本发明在预置的特征提取网络模型训练过程中，通过数据增强算法用于获得同一目标训练图像下不同视角的图像，再分别输入模型中非对称的上下两部分，使网络模型学习的目的对于同一目标不同视角的输入都应具有视觉表征不变性；另一方面通过编码器对输入图像进行从浅到深的特征提取，对同类数据进行相似的编码，并使用不同类的数据的编码结果尽可能的不同，拉近相似的样本，推开不相似的样本，使获得的预置特征提取网络模型提取的效果更佳。
(4)本发明对于识别结果错误图像，无需重新训练模型，只需要在肝脏标准切面特征检索库补入该图像，重新建立索引库，就可以解决该类图像识别，简单方便。
当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。附图中：
图1为本发明实施例提供的一种肝脏超声标准切面识别方法流程图；
图2为本发明实施例提供的一种肝脏超声标准切面识别装置框图；
图3为本发明实施例提供的预置的特征提取网络模型训练方法流程图
图4图示了根据本申请实施例的电子设备的框图；
图5为本发明实施例提供的标准肝脏切面图像；
图6为本发明实施例提供的预置的特征提取网络模型训练步骤原理图；
图7为本发明实施例提供的编码器模型结构图。
具体实施方式
下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。
示例性方法
如图1所示，本示例提供一种肝脏超声标准切面识别方法，所述方法包括：
S102：获取待识别的图像，提取所述待识别图像的感兴趣区域，其中所述待识别图像包括肝脏部位的超声图像。
具体的，本示例中待识别的图像是指腹部肝脏在超声设备下，不同角度的扫查图像，从不同扫查切面来观察肝脏器官的不同部分。获取待识别的图像的方式可以是基于超声波(超声)的医学影像设备拍摄的待识别的肝脏的影像，也可以是下载缓存在服务器中的已经拍摄的具有肝脏部位的超声图像。
需要说明的是，本示例中所指的待识别图像的感兴趣区域，是将待识别图像二值化处理后，二值化后的待识别图像背景区域为黑色，将二值化后白色的超声扇形区域定义为感兴趣区域；对二值化后图像进行开运算，去除白色的超声扇形区域边缘噪声，截取剩余白色区域的最小外接矩形区域，作为感兴趣区域，获得超声主体目标。
需要说明的是，通常情况下，含有噪声的图像二值化后，得到的图像边界是不平滑的，物体区域具有一些错判的孔洞，背景区域散布着一些小的噪声物体。对一个图像先进行腐蚀运算然后再膨胀的操作过程称为开运算，它可以消除细小的物体、在纤细点处分离物体、平滑较大物体的边界时不明显的改变其面积。
S104：将所述待识别图像的感兴趣区域输入预置的特征提取网络模型，提取第一特征向量。
具体的，所指的预置的特征提取网络模型是预先通过标准肝脏切面以及非标准肝脏切面进行训练的，这里提取的第一特征向量是指预置的特征提取网络模型的输出，本示例中为一个2048维的向量，该特征向量反映了图像中物体的高层语义信息。
S106：将所述第一特征向量与预置的肝脏切面检索库中第二特征向量进行匹配，获得对应的匹配度。
具体的，肝脏切面检索库也是预先构建的，本示例中预置的肝脏切面检索库包括：标准肝脏切面检索子库以及非标准肝脏切面检索子库；应当理解此处的预置的肝脏切面检索库也可以仅是非标准肝脏切面检索子库或者标准肝脏切面检索子库。
将上述第一特征向量与第二特征向量进行匹配，可以通过计算第一特征向量与第二特征向量这两个特征的余弦相似度作为匹配度。
S108：根据所述匹配度大小，判断所述第一特征向量对应的待识别图像是否为肝脏标准切面；将所述匹配度符合预定范围的对应待识别图像标记为肝脏标准切面，并输出。
具体的，本示例匹配度，可以根据实际运用进行设置。例如当匹配度大于95％的待识别图像作为标准切面，匹配率低于95％的作为非标准切面。其中，图5为肝脏的8个标准切面超声图像，从左至右，从上至下，分别为肝右叶纵切面，剑突下肝脏斜切面，剑突下肝左叶斜切面，剑突下经腹主动脉左肝纵切面，剑突下左右肝斜切面，右肋间经第一肝门右肝斜切面，右肋缘下经下腔静脉和胆囊肝脏斜切面，右肋缘下右肝及右肾纵切面。需要说明的是，不同的肝脏标准切面为医生从肝脏的8个不同位置和角度来观察肝脏的不同部位、血管、胆囊等，从而全面的排查肝脏部位的病变。
作为一个变化例，提取待识别图像的感兴趣区域步骤前，还包括：
将待识别的图像通过图像增强获得多组第一图像；所述第一图像为与待识别的图像具有同一目标，但在不同视角下的图像，这里的同一目标指的是待识别图像的图像主体相同，例如都是肝脏器官。
进一步常用的图像增强方式包括常见的随机裁剪，随机亮度、对比度、饱和度和色相变换，随机高斯模糊，随机水平翻转，图像增强用于获得同一目标不同视角。可以将待识别图像的不同视角的图像按照上述流程，判断其是否为标准肝脏切面，结合待识别图像的原始图像判断结果进行参考。
更进一步，对于上述图像增强获得多组第一图像也可以通过步骤S102中的方法提取其感兴趣区域。
作为一个变化例，所述预置的肝脏切面检索库包括：标准肝脏切面检索子库以及非标准肝脏切面检索子库；第二特征向量包括与所述标准肝脏切面检索子库对应的第三特征向量，以及与所述非标准肝脏切面检索子库对应的第四特征向量；将所述第一特征向量分别与所述第三特征向量和第四特征向量进行特征匹配，获得对应的匹配度。
具体的，构建检索库的时候，通常具有丰富临床经验的专家级医师挑选具有代表性的肝脏标准切面与非标准肝脏切面图像构建数据库。挑选的原则是：标准肝脏切面必须是扫查视频序列中符合标准切面评价标准，并且最有利于医生做后续诊断的图像，非标准切面既要保证类型覆盖多样且数量均衡，同时也要包含容易错误识别为标准切面的图像。
将上述挑选的图像可以通过步骤S102获得感兴趣区域；通过S104中的预置的特征提取网络模型，对数据库中所有肝脏标准切面图像提取第三特征，然后使用k-means算法获得第三特征的一个聚类中心，这个聚类中心代表了肝脏标准切面图像的共同属性，同理数据库中非标准肝脏切面也会获得第四特征的一个聚类中心。
当所述第一特征向量与第三特征向量进行匹配，得到第一个余弦相似度(匹配度)，当所述第一特征向量与第四特征向量进行匹配，得到第二个余弦相似度，将上述第一个余弦相似度与第二个余弦相似度进行比较。例如当第一个余弦相似度大于第二个余弦相似度时，则将待识别图像判断为标准肝脏切面，否则结果相反。通过引入标准和非标准两个数据库能够对待识别图像进行至少两次匹配计算，对于其分类结果更加准确。
本领域技术人员应当理解，本示例中的预置的肝脏切面检索库也可以仅仅是标准肝脏切面检索子库，在此不作为对本发明的限定。需要说明的是，在整个超声扫查过程中可能会有多个图像帧被识别为标注切面，因此需要设置两个变量来分别记录为标准切面得分最高的视频帧及相应的得分。
如图7所示，作为一个变化例，所述预置的特征提取网络模型训练步骤包括：
S202：构建训练集，所述训练集包括多张包含肝脏超声标准切面图像以及肝脏超声非标准切面图像。
S204：对训练集中的每张训练图像X进行扩增，获得与每张训练图像X对应的多张变换图像。
将训练集中的图像，分别经过两种不同的数据增强算法，获得多张变换图像，数据增强算法包含常见的随机裁剪，随机亮度、对比度、饱和度和色相变换，随机高斯模糊，随机水平翻转。数据增强用于获得同一目标不同视角，分别输入编码器f进行学习，其目的是对于同一目标不同视角的输入都应具有视觉表征不变性。
S206：任选两张变换图像X1和变换图像X2作为一组，提取变化图像X1的第一特征Z1，提取变化图像X2的第二特征Z2。
具体的，将增强后的两张变换图像X1和变换图像X2输入到相同的编码器f提取特征z1和z2，编码器f采用了ResNet50网络，编码器的作用是对输入图像进行从浅到深的特征提取，对同类数据进行相似的编码，并使不同类的数据的编码结果尽可能的不同，拉近相似的样本，推开不相似的样本。
如图6所示，原始的ResNet50网络如图中虚线框中所示，由一个Conv层、一个Max_Pool层、四个ResBlock层、一个Avg_Pool层和最后的FC层组成。本示例中的编码器在ResNet50的基础上在Avg_Pool层和FC层之间增加了MLP1结构，获得更加高层抽象的语义特征，其中图像输入大小为3x224x224，经过卷积下采样的特征提取过程，获得从浅层的结构特征到高层的语义特征。其中Conv表示卷积层，Max_Pool表示最大池化层，ResBlock表示残差结构层，Avg_Pool表示平均池化层，FC表示全连接层，BN表示批量归一化层，ReLU表示激活函数，MLP表示多层感知机。
S208：将所述第一特征Z1和第二特征Z2进行变换，获得与所述第一特征Z1对应的变换特征P1以及与所述第二特征Z2对应变换特征P2。
具体的，将上述特征Z1和第二特征Z2通过预测器h获得特征变换，本示例中预测器为两层FC组成的MLP结构，去掉了后面的BN和ReLU层。其作用是对特征空间进行变换，获得网络结构的非对称性，避免模型收敛到常数解出现退化。
S210：根据第一特征Z1与变换特征P2的余弦值以及第二特征Z2与变换特征P1的余弦值，确定特征提取网络模型损失函数，根据损失计算梯度更新特征提取网络模型参数，获得预置的特征提取网络模型。
具体的，所述步骤S210包括：计算Z2和P1的最小化余弦相似度
Figure BDA0003222100190000081
计算Z1和P2的最小化余弦相似度
Figure BDA0003222100190000082
特征提取网络模型损失函数模型为
Figure BDA0003222100190000083
通过上述损失计算梯度更新编码器f和预测器h的模型参数。
示例性装置
如图2所示，本示例提供一种肝脏超声标准切面识别装置，包括：
图像截取模块20，其用于获取待识别的图像，提取所述待识别图像的感兴趣区域，其中所述待识别图像包括具有肝脏部位的超声图像；
特征提取模块30，其用于将所述待识别图像的感兴趣区域输入预置的特征提取网络模型，提取第一特征向量；
特征匹配模块40，其用于将所述第一特征向量与预置的肝脏切面检索库中第二特征向量进行匹配，获得对应的匹配度；
判断模块50，其用于根据所述匹配度大小，判断所述第一特征向量对应的待识别图像是否为肝脏标准切面。
所述图像截取模块还包括图像增强单元，所述图像增强单元用于将所述待识别的图像通过图像增强获得多组第一图像；所述第一图像为与待识别的图像具有同一目标，但在不同视角下的图像。
所述预置的肝脏切面检索库包括：标准肝脏切面检索子库以及非标准肝脏切面检索子库；
所述第二特征向量包括与所述标准肝脏切面检索子库对应的第三特征向量，以及与所述非标准肝脏切面检索子库对应的第四特征向量；
将所述第一特征向量分别与所述第三特征向量和第四特征向量进行特征匹配，获得对应的匹配度。
示例性电子设备
下面，参考图4来描述根据本申请实施例的电子设备。该电子设备可以是可移动设备本身，或与其独立的单机设备，该单机设备可以与可移动设备以及超声医疗设备进行通信，以从它们接收所采集到的输入信号，并向其发送所选择的目标决策行为。
图4图示了根据本申请实施例的电子设备的框图。
如图4所示，电子设备10包括一个或多个处理器11和存储器12。
处理器11可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备10中的其他组件以执行期望的功能。
存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本申请的各个实施例的决策行为决策方法以及/或者其他期望的功能。
在一个示例中，电子设备10还可以包括：输入装置13和输出装置14，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。例如，该输入设备13可以包括例如车载诊断系统(OBD)、摄像头、工业相机等各种设备。该输入设备13还可以包括例如键盘、鼠标等等。该输出装置14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然，为了简化，图4中仅示出了该电子设备10中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备10还可以包括任何其他适当的组件。
示例性计算机程序产品和计算机可读存储介质
除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的决策行为决策方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的决策行为决策方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。
本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (8)

1.一种肝脏超声标准切面识别方法，其特征在于，所述方法包括：
获取待识别的图像，提取所述待识别图像的感兴趣区域，其中所述待识别图像为包括肝脏部位的超声图像；
将所述待识别图像的感兴趣区域输入预置的特征提取网络模型，提取第一特征向量；
将所述第一特征向量与预置的肝脏切面检索库中第二特征向量进行匹配，获得对应的匹配度；
根据所述匹配度大小，判断所述第一特征向量对应的待识别图像是否为肝脏标准切面；
所述预置的肝脏切面检索库包括：标准肝脏切面检索子库以及非标准肝脏切面检索子库；
所述第二特征向量包括与所述标准肝脏切面检索子库对应的第三特征向量，以及与所述非标准肝脏切面检索子库对应的第四特征向量；
将所述第一特征向量分别与所述第三特征向量和第四特征向量进行特征匹配，获得对应的匹配度；
通过的预置的特征提取网络模型，对数据库中所有肝脏标准切面图像提取第三特征，使用k-means算法获得第三特征的一个聚类中心，这个聚类中心代表了肝脏标准切面图像的共同属性，同理数据库中非标准肝脏切面也会获得第四特征的一个聚类中心；
所述预置的特征提取网络模型训练步骤包括：
S202：构建训练集，所述训练集包括多张包含肝脏超声标准切面图像以及肝脏超声非标准切面图像；
S204：对训练集中的每张训练图像X进行扩增，获得与每张训练图像X对应的多张变换图像；
S206：任选两张变换图像X1和变换图像X2作为一组，提取变化图像X1的第一特征Z1，提取变化图像X2的第二特征Z2；
S208：将所述第一特征Z1和第二特征Z2进行变换，获得与所述第一特征Z1对应的变换特征P1以及与所述第二特征Z2对应变换特征P2；
S210：根据第一特征Z1与变换特征P2的余弦值以及第二特征Z2与变换特征P1的余弦值，确定特征提取网络模型损失函数，根据损失计算梯度更新特征提取网络模型参数，获得预置的特征提取网络模型；
所述步骤S210包括：
计算Z2和P1的最小化余弦相似度
Figure FDA0003678273000000011
计算Z1和P2的最小化余弦相似度
Figure FDA0003678273000000021
特征提取网络模型损失函数模型为
Figure FDA0003678273000000022
将增强后的两张变换图像X1和变换图像X2输入到相同的编码器中提取特征z1和z2，编码器采用ResNet50网络，编码器的作用是对输入图像进行从浅到深的特征提取，对同类数据进行相似的编码，并使不同类的数据的编码结果尽可能的不同，拉近相似的样本，推开不相似的样本；
所述ResNet50网络，由一个卷积层、一个最大池化层、四个残差结构层、一个平均池化层和最后的全连接层组成，其中编码器在ResNet50的基础上在平均池化层和全连接层之间增加了多层感知机结构，用于获得更加高层抽象的语义特征，经过卷积下采样的特征提取过程，获得从浅层的结构特征到高层的语义特征。
2.根据权利要求1所述的一种肝脏超声标准切面识别方法，其特征在于，在提取待识别图像的感兴趣区域步骤前，还包括：
将所述待识别的图像通过图像增强方法获得多组第一图像；所述第一图像为与待识别的图像具有同一目标，但在不同视角下的图像。
3.根据权利要求2所述的一种肝脏超声标准切面识别方法，其特征在于，提取所述待识别图像的感兴趣区域步骤包括：
将第一图像进行二值化处理，二值化后的第一图像背景区域为黑色，将二值化后白色的超声扇形区域定义为感兴趣区域；
对二值化后图像进行开运算，去除白色的超声扇形区域边缘噪声，截取剩余白色区域的最小外接矩形区域，作为感兴趣区域图像。
4.一种肝脏超声标准切面识别装置，其特征在于，包括：
图像截取模块，其用于获取待识别的图像，提取所述待识别图像的感兴趣区域，其中所述待识别图像包括具有肝脏部位的超声图像；
特征提取模块，其用于将所述待识别图像的感兴趣区域输入预置的特征提取网络模型，提取第一特征向量；
特征匹配模块，其用于将所述第一特征向量与预置的肝脏切面检索库中第二特征向量进行匹配，获得对应的匹配度；
判断模块，其用于根据所述匹配度大小，判断所述第一特征向量对应的待识别图像是否为肝脏标准切面；
通过的预置的特征提取网络模型，对数据库中所有肝脏标准切面图像提取第三特征，使用k-means算法获得第三特征的一个聚类中心，这个聚类中心代表了肝脏标准切面图像的共同属性，同理数据库中非标准肝脏切面也会获得第四特征的一个聚类中心；
所述预置的特征提取网络模型训练步骤包括：
构建训练集，所述训练集包括多张包含肝脏超声标准切面图像以及肝脏超声非标准切面图像；
对训练集中的每张训练图像X进行扩增，获得与每张训练图像X对应的多张变换图像；
任选两张变换图像X1和变换图像X2作为一组，提取变化图像X1的第一特征Z1，提取变化图像X2的第二特征Z2；
将所述第一特征Z1和第二特征Z2进行变换，获得与所述第一特征Z1对应的变换特征P1以及与所述第二特征Z2对应变换特征P2；
根据第一特征Z1与变换特征P2的余弦值以及第二特征Z2与变换特征P1的余弦值，确定特征提取网络模型损失函数，根据损失计算梯度更新特征提取网络模型参数，获得预置的特征提取网络模型；
所述损失函数步骤包括：
计算Z2和P1的最小化余弦相似度
Figure FDA0003678273000000031
计算Z1和P2的最小化余弦相似度
Figure FDA0003678273000000032
特征提取网络模型损失函数模型为
Figure FDA0003678273000000033
将增强后的两张变换图像X1和变换图像X2输入到相同的编码器中提取特征z1和z2，编码器采用ResNet50网络，编码器的作用是对输入图像进行从浅到深的特征提取，对同类数据进行相似的编码，并使不同类的数据的编码结果尽可能的不同，拉近相似的样本，推开不相似的样本；
所述ResNet50网络，由一个卷积层、一个最大池化层、四个残差结构层、一个平均池化层和最后的全连接层组成，其中编码器在ResNet50的基础上在平均池化层和全连接层之间增加了多层感知机结构，用于获得更加高层抽象的语义特征，经过卷积下采样的特征提取过程，获得从浅层的结构特征到高层的语义特征。
5.根据权利要求4所述的一种肝脏超声标准切面识别装置，其特征在于，所述图像截取模块还包括图像增强单元；
所述图像增强单元用于将所述待识别的图像通过图像增强获得多组第一图像；所述第一图像为与待识别的图像具有同一目标，但在不同视角下的图像。
6.根据权利要求5所述的一种肝脏超声标准切面识别装置，其特征在于，所述预置的肝脏切面检索库包括：标准肝脏切面检索子库以及非标准肝脏切面检索子库；
所述第二特征向量包括与所述标准肝脏切面检索子库对应的第三特征向量，以及与所述非标准肝脏切面检索子库对应的第四特征向量；
将所述第一特征向量分别与所述第三特征向量和第四特征向量进行特征匹配，获得对应的匹配度。
7.一种电子设备，其特征在于，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器依次连接，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如权利要求1-3任一项所述的方法。
8.一种可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1-3任一项所述的方法。
CN202110961123.1A 2021-08-20 2021-08-20 一种肝脏超声标准切面识别方法、装置、电子设备及存储介质 Active CN113658145B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110961123.1A CN113658145B (zh) 2021-08-20 2021-08-20 一种肝脏超声标准切面识别方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110961123.1A CN113658145B (zh) 2021-08-20 2021-08-20 一种肝脏超声标准切面识别方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN113658145A CN113658145A (zh) 2021-11-16
CN113658145B true CN113658145B (zh) 2022-08-02

Family

ID=78481530

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110961123.1A Active CN113658145B (zh) 2021-08-20 2021-08-20 一种肝脏超声标准切面识别方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113658145B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115620062A (zh) * 2022-10-24 2023-01-17 推想医疗科技股份有限公司 一种肝脏血管分类的方法、装置、设备和介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111461235A (zh) * 2020-03-31 2020-07-28 合肥工业大学 音视频数据处理方法、系统、电子设备及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210027169A1 (en) * 2019-07-25 2021-01-28 Rochester Institute Of Technology Method for Training Parametric Machine Learning Systems
US11321853B2 (en) * 2019-08-08 2022-05-03 Nec Corporation Self-supervised visual odometry framework using long-term modeling and incremental learning
CN111915562A (zh) * 2020-07-02 2020-11-10 杭州深睿博联科技有限公司 一种深度学习的儿童超声心动图标准切面识别方法及装置
CN112102230B (zh) * 2020-07-24 2024-09-20 湖南大学 超声切面识别方法、系统、计算机设备和存储介质
CN112381116B (zh) * 2020-10-21 2022-10-28 福州大学 基于对比学习的自监督图像分类方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111461235A (zh) * 2020-03-31 2020-07-28 合肥工业大学 音视频数据处理方法、系统、电子设备及存储介质

Also Published As

Publication number Publication date
CN113658145A (zh) 2021-11-16

Similar Documents

Publication Publication Date Title
CN109461495B (zh) 一种医学图像的识别方法、模型训练的方法及服务器
CN109886933B (zh) 一种医学图像识别方法、装置和存储介质
CN106682435B (zh) 一种多模型融合自动检测医学图像中病变的系统及方法
Trajanovski et al. Tongue tumor detection in hyperspectral images using deep learning semantic segmentation
EP3046478B1 (en) Image analysis techniques for diagnosing diseases
US9959615B2 (en) System and method for automatic pulmonary embolism detection
Gridach PyDiNet: Pyramid dilated network for medical image segmentation
CN110751636B (zh) 一种基于改进型编解码网络的眼底图像视网膜动脉硬化检测方法
CN116681958B (zh) 基于机器学习的胎儿肺脏超声影像成熟度预测方法
CN114092450B (zh) 一种基于胃镜检查视频的实时图像分割方法、系统、装置
Zhang et al. Two-step registration on multi-modal retinal images via deep neural networks
CN111476796A (zh) 一种结合多种网络的半监督冠状动脉分割系统及分割方法
US20210319880A1 (en) Diagnostic Support System and a Diagnostic Support Method
CN111462049A (zh) 一种乳腺超声造影视频中病灶区形态自动标注方法
CN113298830A (zh) 一种基于自监督的急性颅内ich区域图像分割方法
CN112288752B (zh) 一种基于胸部平扫ct的冠脉钙化灶全自动分割方法
CN114066884A (zh) 视网膜血管分割方法及装置、电子设备和存储介质
Peixoto et al. Floor of log: a novel intelligent algorithm for 3D lung segmentation in computer tomography images
Nie et al. Recent advances in diagnosis of skin lesions using dermoscopic images based on deep learning
CN113658145B (zh) 一种肝脏超声标准切面识别方法、装置、电子设备及存储介质
JP2024027078A (ja) マルチスケールに基づく全スライド病理特徴融合抽出方法、システム、電子機器及び記憶媒体
Tyagi et al. An amalgamation of vision transformer with convolutional neural network for automatic lung tumor segmentation
Gan et al. Needle in a Haystack: Spotting and recognising micro-expressions “in the wild”
Ali et al. Efficient video indexing for monitoring disease activity and progression in the upper gastrointestinal tract
WO2022252107A1 (zh) 一种基于眼部图像的疾病检测系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant