CN117036480B - 一种颈动脉斑块定位方法、检测方法、装置及电子设备 - Google Patents

一种颈动脉斑块定位方法、检测方法、装置及电子设备 Download PDF

Info

Publication number
CN117036480B
CN117036480B CN202311044890.1A CN202311044890A CN117036480B CN 117036480 B CN117036480 B CN 117036480B CN 202311044890 A CN202311044890 A CN 202311044890A CN 117036480 B CN117036480 B CN 117036480B
Authority
CN
China
Prior art keywords
feature
image
feature map
key frame
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311044890.1A
Other languages
English (en)
Other versions
CN117036480A (zh
Inventor
吴蓉
石一磊
贾彩霞
张璐妮
赵星
胡敬良
牟立超
侯雨
陈咏红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Maide Intelligent Technology Wuxi Co ltd
Shanghai First Peoples Hospital
Original Assignee
Maide Intelligent Technology Wuxi Co ltd
Shanghai First Peoples Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Maide Intelligent Technology Wuxi Co ltd, Shanghai First Peoples Hospital filed Critical Maide Intelligent Technology Wuxi Co ltd
Priority to CN202311044890.1A priority Critical patent/CN117036480B/zh
Publication of CN117036480A publication Critical patent/CN117036480A/zh
Application granted granted Critical
Publication of CN117036480B publication Critical patent/CN117036480B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种颈动脉斑块定位方法、检测方法、装置及电子设备，应用于图像处理技术领域，其中，方法包括：获取待定位图像对应的第一特征图以及关键帧图像对应的第二特征图；其中，待定位图像以及关键帧图像为超声造影视频的单帧图像，关键帧图像为待定位图像前面的一帧图像；计算第一特征图与第二特征图之间的相似度，得到相似度得分；根据相似度得分判断是否将待定位图像更新为新的关键帧图像；根据判断结果对待定位图像中的颈动脉斑块进行定位，得到定位结果。可以对超声造影图像中的颈动脉斑块进行定位，其中，与现有技术中利用静态的图像进行颈动脉斑块的定位相比，本申请实施例采用动态的超声造影图像进行颈动脉斑块定位的准确度较高。

Description

一种颈动脉斑块定位方法、检测方法、装置及电子设备
技术领域
本申请涉及图像处理技术领域，具体而言，涉及一种颈动脉斑块定位方法、检测方法、装置及电子设备。
背景技术
2021年全球卒中负担报告显示，我国是全球卒中发病率最高的国家，脑卒中已成为我国成人致死致残的首要病因。由于脑卒中致残率高、复发率高、预后差，因此，脑卒中的预防和高危人群筛查及早期风险管理至关重要。其中，颈动脉硬化斑块所致的颈动脉管腔狭窄是缺血性卒中发生的重要因素，因此，通过影像学方法早期识别颈动脉易损斑块，对卒中的预防和临床早期干预意义重大。
其中，易损斑块病理特征包括脂质坏死核心、薄纤维帽、炎性细胞浸润、溃疡、斑块内出血、斑块内新生血管等。在现有技术中，可以采用高分辨率磁共振的方式提供颈动脉斑块内多种成分信息，但该方式由于费用较高、操作复杂、检查时间长等因素而难以普及；可以采用CT血管造影判断斑块表面溃疡和颈动脉管腔狭窄程度，但该方式对斑块内成分识别特异度不高，加之辐射、碘造影剂副作用等问题限制其使用；可以采用常规超声检查筛查颈动脉疾病，该方式具有无创、无辐射、实时、经济便捷等优点，但对斑块内成分的识别敏感度和特异度有限。
斑块内新生血管是易损斑块的特征生物学标志，同时也是颈动脉斑块破裂引发卒中的独立危险因素。超声造影是一种纯血池显像技术，通过静脉注射超声造影剂，可实时动态地显示斑块内新生血管的情况，并对斑块位置、形态、表面溃疡以及颈动脉狭窄程度作出实时准确地判断。因此，超声造影是临床评估颈动脉狭窄程度和颈动脉斑块易损性的常用方法，为卒中高危患者的风险分层和干预提供了准确高效的筛查工具。
目前对颈动脉斑块分割定位的研究主要集中在针对静态的灰度超声图像、磁共振图像上，对颈动脉斑块超声造影视频数据动态实时分割定位的研究较少。基于上述颈动脉超声造影在临床中的重要价值，亟需一种能够在超声造影视频图像上自动识别定位颈动脉斑块的方法，对超声造影视频图像上的斑块进行快速、准确的分割定位。
发明内容
本申请实施例的目的在于提供一种颈动脉斑块定位方法、检测方法、装置及电子设备，用以对超声造影视频图像上的斑块进行快速、准确的分割定位。
第一方面，本申请实施例提供一种颈动脉斑块定位方法，包括：获取待定位图像对应的第一特征图以及关键帧图像对应的第二特征图；其中，所述待定位图像以及所述关键帧图像为超声造影视频的单帧图像，所述关键帧图像为所述待定位图像前面的一帧图像；计算所述第一特征图与所述第二特征图之间的相似度，得到相似度得分；根据所述相似度得分判断是否将所述待定位图像更新为新的关键帧图像；根据判断结果对所述待定位图像中的颈动脉斑块进行定位，得到定位结果。
在上述方案中，可以对超声造影图像中的颈动脉斑块进行定位，其中，与现有技术中利用静态的图像进行颈动脉斑块的定位相比，本申请实施例采用动态的超声造影图像进行颈动脉斑块定位的准确度较高。其中，在定位超声造影图像中的颈动脉斑块的过程中，可以判断超声造影视频图像中的某一帧图像(即待定位图像)是否为关键帧图像，并基于上述判断结果对超声造影图像采用不同的定位方式，从而可以实现对动态图像进行颈动脉斑块定位。
在可选的实施方式中，所述根据判断结果对所述待定位图像中的颈动脉斑块进行定位，得到定位结果，包括：若所述判断结果表征不将所述待定位图像更新为新的关键帧图像，则将所述第一特征图、所述第二特征图以及所述关键帧图像对应的第三特征图输入特征传递模块，得到所述特征传递模块输出的传递特征图；其中，所述第二特征图以及所述第三特征图通过不同的特征提取方式得到；将所述第一特征图以及所述传递特征图输入特征融合模块，得到所述特征融合模块输出的所述定位结果。在上述方案中，在判断得到待定位图像不是关键帧图像时，可以利用特征传递模块将关键帧图像的特征传递至待定位图像上，得到传递特征图，再将上述传递特征图与待定位图像对应的第一特征图进行特征融合，最终得到准确度较高的定位结果。其中，采用特征传递的方式，可以在保证定位精度的同时减少计算量，从而降低对硬件的要求。
在可选的实施方式中，所述将所述第一特征图、所述第二特征图以及所述关键帧图像对应的第三特征图输入特征传递模块，得到所述特征传递模块输出的传递特征图，包括：将所述第一特征图以及所述第二特征图进行特征融合，分别得到第一融合特征图以及第二融合特征图；利用两路卷积层分别对所述第一融合特征图进行特征提取，并将特征提取后的两个特征图与所述第二融合特征图进行融合；对融合后的特征图进行特征提取，得到像素差异性表征特征图；将所述像素差异性表征特征图与所述第三特征图相乘并进行特征提取，得到所述传递特征图。在上述方案中，可以利用特征传递模块将关键帧图像的特征传递至待定位图像上，从而在保证定位精度的同时减少了计算量，因此，可以降低对硬件的要求。
在可选的实施方式中，所述将所述第一特征图以及所述传递特征图输入特征融合模块，得到所述特征融合模块输出的所述定位结果，包括：将所述第一特征图以及所述传递特征图进行特征汇总；对特征汇总后的特征图进行空间注意力特征提取，得到空间注意力特征向量；对所述空间注意力特征向量以及特征汇总后的特征图进行融合，得到所述定位结果。在上述方案中，在对第一特征图以及传递特征图进行特征融合的过程中，可以利用空间注意力特征向量提高特征融合的效果，从而提高定位结果的准确度。
在可选的实施方式中，在所述将所述第一特征图、所述第二特征图以及所述关键帧图像对应的第三特征图输入特征传递模块，得到所述特征传递模块输出的传递特征图之前，所述方法还包括：将所述关键帧图像输入第一特征提取模块，得到所述第一特征提取模块输出的所述第三特征图。在上述方案中，可以采用不同的特征提取方式对关键帧图像进行两次特征提取；其中一种特征提取方式可以仅用于提取关键帧图像的特征，另一种特征提取方式可以用于提取关键帧图像的特征并将提取的特征传递给待定位图像，从而可以提高定位的速度。
在可选的实施方式中，所述根据判断结果对所述待定位图像中的颈动脉斑块进行定位，得到定位结果，包括：若所述判断结果表征将所述待定位图像更新为新的关键帧图像，则将所述第一特征图以及所述待定位图像对应的第四特征图输入特征融合模块，得到所述特征融合模块输出的所述定位结果；其中，所述第一特征图以及所述第四特征图通过不同的特征提取方式得到。在上述方案中，在判断得到待定位图像是关键帧图像时，可以将待定位图像对应的第一特征图以及第四特征图进行特征融合，最终得到准确度较高的定位结果。
在可选的实施方式中，所述将所述第一特征图以及所述待定位图像对应的第四特征图输入特征融合模块，得到所述特征融合模块输出的所述定位结果，包括：将所述第一特征图以及所述第四特征图进行特征汇总；对特征汇总后的特征图进行空间注意力特征提取，得到空间注意力特征向量；对所述空间注意力特征向量以及特征汇总后的特征图进行融合，得到所述定位结果。在上述方案中，在对第一特征图以及第四特征图进行特征融合的过程中，可以利用空间注意力特征向量提高特征融合的效果，从而提高定位结果的准确度。
在可选的实施方式中，在所述将所述第一特征图以及所述待定位图像对应的第四特征图输入特征融合模块，得到所述特征融合模块输出的所述定位结果之前，所述方法还包括：将所述待定位图像输入第一特征提取模块，得到所述第一特征提取模块输出的所述第四特征图。在上述方案中，可以采用不同的特征提取方式对待定位图像进行两次特征提取，通过将两次特征提取到的特征图进行融合，从而可以提高定位结果的准确度。
在可选的实施方式中，所述计算所述第一特征图与所述第二特征图之间的相似度，得到相似度得分，包括：将所述第一特征图以及所述第二特征图输入相似度鉴别模块，得到所述相似度鉴别模块输出的所述相似度得分。在上述方案中，可以利用相似度鉴别模型计算待定位图像对应的第一特征图与关键帧图像对应的第二特征图之间的相似度，从而可以判断是否将待定位图像确定为关键帧图像，并根据判断结果对待定位图像采用不同的定位方式，从而可以提高定位结果的准确度并提高定位的速度。
在可选的实施方式中，所述将所述第一特征图以及所述第二特征图输入相似度鉴别模块，得到所述相似度鉴别模块输出的所述相似度得分，包括：将所述第一特征图与所述第二特征图进行通道拼接；对通道拼接后的特征图进行特征提取，得到相似性度量特征图；其中，所述相似性度量特征图中每个像素点对应的两通道数值分别表征该像素点在所述待定位图像与所述关键帧图像之间的横向差异度量值以及纵向差异度量值；根据所述相似性度量特征图计算所述相似度得分。在上述方案中，可以通过提取第一特征图与第二特征图之间的横向差异度量值以及纵向差异度量值，从而计算第一特征图与第二特征图之间的相似度。
在可选的实施方式中，所述根据所述相似性度量特征图计算所述相似度得分，包括：利用如下公式计算所述相似度得分：
其中，i表示所述相似性度量特征图上的横向索引，j表示所述相似性度量特征图上的纵向索引，I×J表示所述相似性度量特征图上像素点的总数目，αij表示所述相似性度量特征图上横向索引为i且纵向索引为j的像素点的横向差异度量值，βij表示所述相似性度量特征图上横向索引为i且纵向索引为j的像素点的纵向差异度量值。在上述方案中，可以通过提取第一特征图与第二特征图之间的横向差异度量值以及纵向差异度量值，从而计算第一特征图与第二特征图之间的相似度。
在可选的实施方式中，所述获取待定位图像对应的第一特征图以及关键帧图像对应的第二特征图，包括：将所述待定位图像输入第二特征提取模块，得到所述第二特征提取模块输出的所述第一特征图；以及，将所述关键帧图像输入所述第二特征提取模块，得到所述第二特征提取模块输出的所述第二特征图。在上述方案中，可以利用第二特征提取模块进行特征提取，从而可以基于特征提取得到的特征图判断待定位图像与关键帧图像是否相似，并根据判断结果对待定位图像采用不同的定位方式，从而可以提高定位结果的准确度并提高定位的速度。
第二方面，本申请实施例提供一种颈动脉斑块定位装置，包括：获取模块，用于获取待定位图像对应的第一特征图以及关键帧图像对应的第二特征图；其中，所述待定位图像以及所述关键帧图像为超声造影视频的单帧图像，所述关键帧图像为所述待定位图像前面的一帧图像；计算模块，用于计算所述第一特征图与所述第二特征图之间的相似度，得到相似度得分；判断模块，用于根据所述相似度得分判断是否将所述待定位图像更新为新的关键帧图像；定位模块，用于根据判断结果对所述待定位图像中的颈动脉斑块进行定位，得到定位结果。
在上述方案中，可以对超声造影图像中的颈动脉斑块进行定位，其中，与现有技术中利用静态的图像进行颈动脉斑块的定位相比，本申请实施例采用动态的超声造影图像进行颈动脉斑块定位的准确度较高。其中，在定位超声造影图像中的颈动脉斑块的过程中，可以判断超声造影图像中的某一帧图像(即待定位图像)是否为关键帧图像，并基于上述判断结果对超声造影图像采用不同的定位方式，从而可以实现对动态图像进行颈动脉斑块定位，从而提高颈动脉斑块定位的准确度。
在可选的实施方式中，所述定位模块具体用于：若所述判断结果表征不将所述待定位图像更新为新的关键帧图像，则将所述第一特征图、所述第二特征图以及所述关键帧图像对应的第三特征图输入特征传递模块，得到所述特征传递模块输出的传递特征图；其中，所述第二特征图以及所述第三特征图通过不同的特征提取方式得到；将所述第一特征图以及所述传递特征图输入特征融合模块，得到所述特征融合模块输出的所述定位结果。在上述方案中，在判断得到待定位图像不是关键帧图像时，可以利用特征传递模块将关键帧图像的特征传递至待定位图像上，得到传递特征图，再将上述传递特征图与待定位图像对应的第一特征图进行特征融合，最终得到准确度较高的定位结果。其中，采用特征传递的方式，可以在保证定位精度的同时减少了计算量，从而降低对硬件的要求。
在可选的实施方式中，所述定位模块还用于：将所述第一特征图以及所述第二特征图进行特征融合，分别得到第一融合特征图以及第二融合特征图；利用两路卷积层分别对所述第一融合特征图进行特征提取，并将特征提取后的两个特征图与所述第二融合特征图进行融合；对融合后的特征图进行特征提取，得到像素差异性表征特征图；将所述像素差异性表征特征图与所述第三特征图相乘并进行特征提取，得到所述传递特征图。在上述方案中，可以利用特征传递模块将关键帧图像的特征传递至待定位图像上，从而在保证定位精度的同时减少了计算量，因此，可以降低对硬件的要求。
在可选的实施方式中，所述定位模块还用于：将所述第一特征图以及所述传递特征图进行特征汇总；对特征汇总后的特征图进行空间注意力特征提取，得到空间注意力特征向量；对所述空间注意力特征向量以及特征汇总后的特征图进行融合，得到所述定位结果。在上述方案中，在对第一特征图以及传递特征图进行特征融合的过程中，可以利用空间注意力特征向量提高特征融合的效果，从而提高定位结果的准确度。
在可选的实施方式中，所述颈动脉斑块定位装置还包括：第一输入模块，用于将所述关键帧图像输入第一特征提取模块，得到所述第一特征提取模块输出的所述第三特征图。在上述方案中，可以采用不同的特征提取方式对关键帧图像进行两次特征提取；其中一种特征提取方式可以仅用于提取关键帧图像的特征，另一种特征提取方式可以用于提取关键帧图像的特征并将提取的特征传递给待定位图像，从而可以提高定位的速度。
在可选的实施方式中，所述定位模块具体用于：若所述判断结果表征将所述待定位图像更新为新的关键帧图像，则将所述第一特征图以及所述待定位图像对应的第四特征图输入特征融合模块，得到所述特征融合模块输出的所述定位结果；其中，所述第一特征图以及所述第四特征图通过不同的特征提取方式得到。在上述方案中，在判断得到待定位图像是关键帧图像时，可以将待定位图像对应的第一特征图以及第四特征图进行特征融合，最终得到准确度较高的定位结果。
在可选的实施方式中，所述定位模块还用于：将所述第一特征图以及所述第四特征图进行特征汇总；对特征汇总后的特征图进行空间注意力特征提取，得到空间注意力特征向量；对所述空间注意力特征向量以及特征汇总后的特征图进行融合，得到所述定位结果。在上述方案中，在对第一特征图以及第四特征图进行特征融合的过程中，可以利用空间注意力特征向量提高特征融合的效果，从而提高定位结果的准确度。
在可选的实施方式中，所述颈动脉斑块定位装置还包括：第二输入模块，用于将所述待定位图像输入第一特征提取模块，得到所述第一特征提取模块输出的所述第四特征图。在上述方案中，可以采用不同的特征提取方式对待定位图像进行两次特征提取，通过将两次特征提取到的特征图进行融合，从而可以提高定位结果的准确度。
在可选的实施方式中，所述计算模块具体用于：将所述第一特征图以及所述第二特征图输入相似度鉴别模块，得到所述相似度鉴别模块输出的所述相似度得分。在上述方案中，可以利用相似度鉴别模型计算待定位图像对应的第一特征图与关键帧图像对应的第二特征图之间的相似度，从而可以判断是否将待定位图像确定为关键帧图像，并根据判断结果对待定位图像采用不同的定位方式，从而可以提高定位结果的准确度并提高定位的速度。
在可选的实施方式中，所述计算模块还用于：将所述第一特征图与所述第二特征图进行通道拼接；对通道拼接后的特征图进行特征提取，得到相似性度量特征图；其中，所述相似性度量特征图中每个像素点对应的两通道数值分别表征该像素点在所述待定位图像与所述关键帧图像之间的横向差异度量值以及纵向差异度量值；根据所述相似性度量特征图计算所述相似度得分。在上述方案中，可以通过提取第一特征图与第二特征图之间的横向差异度量值以及纵向差异度量值，从而计算第一特征图与第二特征图之间的相似度。
在可选的实施方式中，所述计算模块还用于：利用如下公式计算所述相似度得分：
其中，i表示所述相似性度量特征图上的横向索引，j表示所述相似性度量特征图上的纵向索引，I×J表示所述相似性度量特征图上像素点的总数目，αij表示所述相似性度量特征图上横向索引为i且纵向索引为j的像素点的横向差异度量值，βij表示所述相似性度量特征图上横向索引为i且纵向索引为j的像素点的纵向差异度量值。在上述方案中，可以通过提取第一特征图与第二特征图之间的横向差异度量值以及纵向差异度量值，从而计算第一特征图与第二特征图之间的相似度。
在可选的实施方式中，所述获取模块具体用于：将所述待定位图像输入第二特征提取模块，得到所述第二特征提取模块输出的所述第一特征图；以及，将所述关键帧图像输入所述第二特征提取模块，得到所述第二特征提取模块输出的所述第二特征图。在上述方案中，可以利用第二特征提取模块进行特征提取，从而可以基于特征提取得到的特征图判断待定位图像与关键帧图像是否相似，并根据判断结果对待定位图像采用不同的定位方式，从而可以提高定位结果的准确度并提高定位的速度。
第三方面，本申请实施例提供一种颈动脉斑块检测方法，包括：获取利用如第一方面所述的颈动脉斑块定位方法得到的定位结果；在显示界面上对所述定位结果进行标记。
第四方面，本申请实施例提供一种电子设备，包括：处理器、存储器和总线；所述处理器和所述存储器通过所述总线完成相互间的通信；所述存储器存储有可被所述处理器执行的计算机程序指令，所述处理器调用所述计算机程序指令能够执行如第一方面所述的颈动脉斑块定位方法或者如第三方面所述的颈动脉斑块检测方法。
第五方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储计算机程序指令，所述计算机程序指令被计算机运行时，使所述计算机执行如第一方面所述的颈动脉斑块定位方法或者如第三方面所述的颈动脉斑块检测方法。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举本申请实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种颈动脉斑块定位方法的流程图；
图2为本申请实施例提供的一种特征传递模块的结构示意图；
图3为本申请实施例提供的一种特征融合模块的结构示意图；
图4为本申请实施例提供的一种第一特征提取模块的结构示意图；
图5为本申请实施例提供的一种相似度鉴别模块的结构示意图；
图6为本申请实施例提供的一种第二特征提取模块的结构示意图；
图7为本申请实施例提供的一种颈动脉斑块定位模型的结构框图；
图8为本申请实施例提供的一种颈动脉斑块检测方法的流程图；
图9为本申请实施例提供一种颈动脉斑块定位装置的结构框图；
图10为本申请实施例提供的一种电子设备的结构框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
请参照图1，图1为本申请实施例提供的一种颈动脉斑块定位方法的流程图，该颈动脉斑块定位方法可以包括如下步骤：
步骤S101：获取待定位图像对应的第一特征图以及关键帧图像对应的第二特征图。
步骤S102：计算第一特征图与第二特征图之间的相似度，得到相似度得分。
步骤S103：根据相似度得分判断是否将待定位图像更新为新的关键帧图像。
步骤S104：根据判断结果对待定位图像中的颈动脉斑块进行定位，得到定位结果。
具体的，在上述步骤S101中，待定位图像以及关键帧图像均为超声造影动态视频的单帧图像。
可以理解的是，超声造影动态视频图像可以包括多帧超声造影图像，可以对上述多帧超声造影图像中的每一帧超声造影图像均进行颈动脉斑块定位，其中，在本申请实施例中，关键帧图像可以为待定位图像前面的一帧图像，例如：关键帧图像为第一帧图像，待定位图像为第二帧图像；或者，关键帧图像为第一帧图像，待定位图像为第三帧图像；或者，关键帧图像为第二帧图像，待定位图像为第三帧图像等。
待定位图像对应的第一特征图是指对待定位图像进行特征提取后得到的特征图；类似的，关键帧图像对应的第二特征图是指对关键帧图像进行特征提取后得到的特征图。需要说明的是，本申请实施例对上述特征提取的具体实施方式不作具体的限定，本领域技术人员可以根据实际情况，结合现有技术以及后续实施例中的介绍进行合适的调整。
此外，本申请实施例对获取上述第一特征图以及第二特征图的具体实施方式同样不作具体的限定，本领域技术人员可以根据实际情况进行合适的调整。举例来说，可以接收外部设备发送的第一特征图以及第二特征图；或者，可以读取本地或者云端存储的第一特征图以及第二特征图；或者，可以基于待定位图像以及关键帧图像生成对应的第一特征图以及第二特征图等。
在上述步骤S102中，可以计算第一特征图与第二特征图之间的相似度，得到相似度得分。其中，上述相似度得分可以表征待定位图像与关键帧图像之间的相似程度，可以理解的是，若上述相似度得分较高，则表征定位图像与关键帧图像之间的相似程度较高；若上述相似度得分较低，则表征定位图像与关键帧图像之间的相似程度较低。
需要说明的是，本申请实施例对上述计算得到相似度得分的具体实施方式不作具体的限定，本领域技术人员可以根据实际情况进行合适的调整。举例来说，可以利用相似度计算公式计算第一特征图与第二特征图之间的相似度；或者，可以利用神经网络模型计算第一特征图与第二特征图之间的相似度等。
在上述步骤S103中，根据相似度得分可以判断待定位图像与关键帧图像之间的相似程度，从而可以进一步根据两者之间的相似程度判断是否将待定位图像更新为新的关键帧图像。
作为一种实施方式，可以将相似度得分与预先设置的相似度阈值进行比较。可以理解的是，本申请实施例对上述相似度阈值的大小不作具体的限定，举例来说，可以为0.5、0.65、0.8等。
该相似度阈值用于平衡定位精度与定位速度，当相似度阈值设置过小时，超声造影图像中非关键帧图像占比大，定位速度较快，但定位精度会有所降低；当相似度阈值设置过大时，超声造影图像中关键帧图像占比大，降低了定位速度，但定位精度会有所提升。
其中，若上述相似度得分大于相似度阈值，则表征定位图像与关键帧图像之间的相似程度较高，可以确定不需要将待定位图像更新为新的关键帧图像，此时，可以基于上述关键帧图像对待定位图像中的颈动脉斑块进行定位；若上述相似度得分不大于相似度阈值，则表征定位图像与关键帧图像之间的相似程度较低，可以确定需要将待定位图像更新为新的关键帧图像，此时，无需基于上述关键帧图像对待定位图像中的颈动脉斑块进行定位。
在步骤S104中，根据上述判断结果，可以采用不同的定位方式对待定位图像中的颈动脉斑块进行定位，从而得到定位结果。其中，将在后续实施例中对上述不同的定位方式进行详细的介绍，此处暂不说明。
在本申请实施例中，作为一种实施方式，上述待定位图像可以为超声造影视频中，除第一帧之外的其他图像；对于第一帧图像，可以直接将该帧图像确定为关键帧图像，并采用对关键帧图像进行定位的方式对该帧图像进行颈动脉斑块的定位。
作为另一种实施方式，上述待定位图像也可以为超声造影视频中的所有图像；类似的，将第一帧图像确定为第一帧关键帧图像，对于第一帧图像，其与关键帧图像之间的相似度为1，因此，同样可以采用对关键帧图像进行定位的方式对该帧图像进行颈动脉斑块的定位。
在上述方案中，可以对超声造影动态视频图像中的颈动脉斑块进行定位，其中，与现有技术中利用静态的图像进行颈动脉斑块的定位相比，本申请实施例采用动态的超声造影图像进行颈动脉斑块定位的准确度较高。其中，在定位超声造影图像中的颈动脉斑块的过程中，可以判断超声造影图像中的某一帧图像(即待定位图像)是否为关键帧图像，并基于上述判断结果对超声造影图像采用不同的定位方式，从而可以实现对动态图像进行颈动脉斑块定位，从而提高颈动脉斑块定位的准确度。
进一步的，在上述实施例的基础上，作为一种实施方式，上述步骤S104具体可以包括如下步骤：
步骤1)，若判断结果表征不将待定位图像更新为新的关键帧图像，则将第一特征图、第二特征图以及关键帧图像对应的第三特征图输入特征传递模块，得到特征传递模块输出的传递特征图。
步骤2)，将第一特征图以及传递特征图输入特征融合模块，得到特征融合模块输出的定位结果。
具体的，在上述步骤1)中，关键帧图像对应的第三特征图是指对关键帧图像进行特征提取后得到的特征图，其中，步骤S101中的第二特征图与上述第三特征图是通过不同的特征提取方式得到。
当不需要将待定位图像更新为新的关键帧图像时，可以基于关键帧图像对待定位图像进行颈动脉斑块的定位。首先，可以将待定位图像对应的第一特征图、关键帧图像对应的第二特征图以及关键帧图像对应的第三特征图同时输入特征传递模块，利用特征传递模块将关键帧图像的特征传递至待定位图像上，从而得到特征传递模块输出的传递特征图。
在上述步骤2)中，在得到上述传递特征图之后，将第一特征图以及传递特征图输入特征融合模块，利用特征融合模块对待定位图像对应的第一特征图以及传递特征图进行特征融合，从而得到特征融合模块输出的定位结果。
在上述方案中，在判断得到待定位图像不是关键帧图像时，可以利用特征传递模块将关键帧图像的特征传递至待定位图像上，得到传递特征图，再将上述传递特征图与待定位图像对应的第一特征图进行特征融合，最终得到准确度较高的定位结果。其中，采用特征传递的方式，可以在保证定位精度的同时减少了计算量，从而降低对硬件的要求。
进一步的，在上述实施例的基础上，请参照图2，图2为本申请实施例提供的一种特征传递模块的结构示意图，其中，⊕符号表示特征图按通道拼接，符号表示特征图相乘。基于上述特征传递模块，上述将第一特征图、第二特征图以及关键帧图像对应的第三特征图输入特征传递模块，得到特征传递模块输出的传递特征图的步骤，具体可以包括如下步骤：
步骤1)，将第一特征图以及第二特征图进行特征融合，分别得到第一融合特征图以及第二融合特征图。
步骤2)，利用两路卷积层分别对第一融合特征图进行特征提取，并将特征提取后的两个特征图与第二融合特征图进行融合。
步骤3)，对融合后的特征图进行特征提取，得到像素差异性表征特征图。
步骤4)，将像素差异性表征特征图与第三特征图相乘并进行特征提取，得到传递特征图。
具体的，假设第一特征图以及第二特征图是采用相同的特征提取方式得到的，因此，可以将第一特征图以及第二特征图均表示为F2；此外，第一特征图以及第二特征图均为：通道数为2，尺寸大小为的特征图，其中，M为待定位图像以及关键帧图像的尺寸。
首先，在上述步骤1)中，可以将上述第一特征图F2以及第二特征图F2按通道进行拼接，相继用两个卷积层进行特征融合、下采样，每个卷积层的卷积步长都设置为2，分别得到尺寸大小为的第一融合特征图以及尺寸大小为/>的第二融合特征图。
然后，在上述步骤2)中，利用两路卷积层对上述第二融合特征图进行特征提取。其中，一路卷积层包括一个转置卷积层，该转置卷积层中的卷积步长设置为2，可以得到尺寸大小为的特征图；另一路卷积层包括卷积层、转置卷积层以及卷积层，该转置卷积层中的卷积步长可以设置为2，同样可以得到尺寸大小为/>的特征图。再将特征提取后的两帧特征图与第二融合特征图按通道拼接进行融合。
接下来，在上述步骤3)中，对融合后的特征图用一卷积层进行特征提取，随后使用双线性插值的方式进行上采样，得到尺寸大小为通道数与第三特征图相同的特征图，即为像素差异性表征特征图。其中，像素差异性表征特征图表征待定位图像与关键帧图像之间每个像素点的差异。
最后，在上述步骤4)中，将像素差异性表征特征图与第三特征图相乘，即对应通道、对应像素索引处的特征值相乘，并将相乘结果输入到一卷积层中提取特征，得到尺寸大小和通道数都与第三特征图相同的特征图，即为将关键帧图像中的特征传递至待定位图像中的传递特征图。
需要说明的是，本申请实施例中涉及的卷积层的数量以及步长仅为示例，本领域技术人员可以根据实际情况对卷积层的数量以及步长进行合适的调整。
在上述方案中，可以利用特征传递模块将关键帧图像的特征传递至待定位图像上，从而在保证定位精度的同时减少了计算量，因此，可以降低对硬件的要求。
进一步的，在上述实施例的基础上，请参照图3，图3为本申请实施例提供的一种特征融合模块的结构示意图，其中，符号表示特征图按通道拼接，/>符号表示特征图相乘，◎符号表示特征图相加。基于上述特征融合模块，上述将第一特征图以及传递特征图输入特征融合模块，得到特征融合模块输出的定位结果的步骤，具体可以包括如下步骤：
步骤1)，将第一特征图以及传递特征图进行特征汇总。
步骤2)，对特征汇总后的特征图进行空间注意力特征提取，得到空间注意力特征向量。
步骤3)，对空间注意力特征向量以及特征汇总后的特征图进行融合，得到定位结果。
具体的，首先，在上述步骤1)中，将第一特征图以及传递特征图按通道拼接后输入一卷积层进行特征汇总，该卷积层处理后得到尺寸不变(即)的特征图。
然后，在上述步骤2)中，特征汇总后的特征图可以经一个空间注意力层提取空间注意力特征向量。在空间注意力层中，分别计算特征汇总后的特征图在通道维度上的最大值和平均值，得到两个通道数为1、尺寸大小为的特征图，随后将该两个特征图按通道进行拼接，并用一卷积积分提取特征，降低通道数，得到一个通道数为1，尺寸大小为/>的特征图，该特征图经过Sigmoid激活函数处理之后即为空间注意力特征向量。
其中，Sigmoid函数具体计算方法可以参照如下公式：
其中，xi表示激活函数的输入，xi ′表示激活函数的输出。
最后，在上述步骤3)中，将空间注意力特征向量与特征汇总后的特征图相乘，即将空间注意力特征向量的每一个参数值在空间方向上与特征汇总后的特征图对应索引位置参数值相乘，得到新的特征图，该特征图与特征汇总后的特征图的通道和尺寸相同。
将特征汇总后的特征图与上述新的特征图的对应通道、对应索引位置的参数值相加，并用两组卷积-上采样层来融合特征及扩增特征图尺寸，此处上采样同样可以使用双线性插值的方式，最后得到通道数为2，尺寸为M的特征图。
基于上述尺寸为M的特征图中的任一像素点，若该像素点第一通道的像素值大于等于该像素点第二通道的像素值，则将该像素点的像素值置为0；若该像素点第一通道的像素值小于该像素点第二通道的像素值，则将该像素点的像素值置为255。
因此，可以得到通道数为1的定位指示mask，即为定位结果。其中，上述mask的像素值为255表示在超声造影图像上，该处像素点为颈动脉斑块的一个像素点；上述mask的像素值为0表示该处像素点不是颈动脉斑块的一个像素点。因此，利用上述mask即可在超声造影图像上显示斑块的位置轮廓。
需要说明的是，本申请实施例中涉及的激活函数、卷积层的数量以及步长仅为实例，本领域技术人员可以根据实际情况对激活函数卷积层的数量以及步长进行合适的调整。
在上述方案中，在对第一特征图以及传递特征图进行特征融合的过程中，可以利用空间注意力特征向量提高特征融合的效果，从而提高定位结果的准确度。
进一步的，在上述实施例的基础上，在上述将第一特征图、第二特征图以及关键帧图像对应的第三特征图输入特征传递模块，得到特征传递模块输出的传递特征图的步骤之前，本申请实施例提供的颈动脉斑块定位方法还可以包括如下步骤：
将关键帧图像输入第一特征提取模块，得到第一特征提取模块输出的第三特征图。
具体的，可以利用第一特征提取模块提取关键帧图像的特征，从而可以将提取到的特征传递至待定位图像中。请参照图4，图4为本申请实施例提供的一种第一特征提取模块的结构示意图，其中，⊕符号表示特征图按通道拼接。基于该第一特征提取模块，上述将关键帧图像输入第一特征提取模块，得到第一特征提取模块输出的第三特征图的步骤，具体可以包括如下内容：
首先，使用步长为2的卷积层实现特征图下采样，在下采样过程中，特征图尺寸逐渐缩小，分别得到大小为的特征图，M为关键帧图像的尺寸。其中，每一个卷积层均包括卷积积分、批归一化和激活三种操作，作为一种实施方式，激活函数可以使用Leaky Relu函数，其计算方法可以参照如下公式：
其中，xi表示激活函数的输入，xi ′表示激活函数的输出。
然后，在下采样得到特征图的卷积层后面设置有注意力优化模块，在注意力优化模块中，首先通过一个全局池化、卷积积分、批归一化和激活操作在特征图的每个通道上计算全局语义，将输出特征的重要性(即全局语义)编码成注意向量，随后将注意向量与优化模块的输入特征图按通道相乘，即对各个通道特征进行加权，实现使用注意向量来指导网络学习分布在各个通道上、具有不同重要性的特征，增强网络的特征提取能力。
接下来，在特征图经过注意力优化模块处理后，使用双线性插值方式对特征图逐渐进行上采样，使特征图尺寸逐渐增大。其中，不同注意力优化模块的输出按通道进行拼接，并使用卷积层来提取汇总特征，得到尺寸大小为的第三特征图。
需要说明的是，本申请实施例中涉及的激活函数、卷积层的数量以及步长仅为实例，本领域技术人员可以根据实际情况对激活函数卷积层的数量以及步长进行合适的调整。
此外，在将关键帧图像进行特征提取之前，还可以对关键帧图像进行预处理，例如：对待定位图像进行图像标准化处理、归一化处理等。
在上述方案中，可以采用不同的特征提取方式对关键帧图像进行两次特征提取；其中一种特征提取方式可以仅用于提取关键帧图像的特征，另一种特征提取方式可以用于提取关键帧图像的特征并将提取的特征传递给待定位图像，从而可以提高定位的速度。
进一步的，在上述实施例的基础上，作为另一种实施方式，上述步骤S104具体可以包括如下步骤：
若判断结果表征将待定位图像更新为新的关键帧图像，则将第一特征图以及待定位图像对应的第四特征图输入特征融合模块，得到特征融合模块输出的定位结果。
具体的，待定位图像对应的第四特征图是指对待定位图像进行特征提取后得到的特征图，其中，步骤S101中的第一特征图以及上述第四特征图是通过不同的特征提取方式得到。
当需要将待定位图像更新为新的关键帧图像时，可以直接对待定位图像进行颈动脉斑块的定位，即将待定位图像对应的第一特征图以及待定位图像对应的第四特征图输入特征融合模块，利用特征融合模块对待定位图像对应的第一特征图以及待定位图像对应的第四特征图进行特征融合，从而得到特征融合模块输出的定位结果。
在上述方案中，在判断得到待定位图像是关键帧图像时，可以将待定位图像对应的第一特征图以及第四特征图进行特征融合，最终得到准确度较高的定位结果。
进一步的，在上述实施例的基础上，请参照图3，基于上述特征融合模块，上述将第一特征图以及待定位图像对应的第四特征图输入特征融合模块，得到特征融合模块输出的定位结果的步骤，具体可以包括如下步骤：
步骤1)，将第一特征图以及第四特征图进行特征汇总。
步骤2)，对特征汇总后的特征图进行空间注意力特征提取，得到空间注意力特征向量。
步骤3)，对空间注意力特征向量以及特征汇总后的特征图进行融合，得到定位结果。
具体的，具体的，首先，在上述步骤1)中，将第一特征图以及第四特征图按通道拼接后输入一卷积层进行特征汇总，该卷积层处理后得到尺寸不变(即)的特征图。
然后，在上述步骤2)中，第四特征图可以经一个空间注意力层提取空间注意力特征向量。
最后，在上述步骤3)中，将空间注意力特征向量与第四特征图相乘，即将空间注意力特征向量的每一个参数值在空间方向上与第四特征图对应索引位置参数值相乘，得到新的特征图，该特征图与第四特征图的通道和尺寸相同。
将第四特征图与上述新的特征图的对应通道、对应索引位置的参数值相加，并用两组卷积-上采样层来融合特征及扩增特征图尺寸，此处上采样同样可以使用双线性插值的方式，最后得到通道数为2，尺寸为M的特征图。
基于上述尺寸为M的特征图中的任一像素点，若该像素点第一通道的像素值大于等于该像素点第二通道的像素值，则将该像素点的像素值置为0；若该像素点第一通道的像素值小于该像素点第二通道的像素值，则将该像素点的像素值置为255。
因此，可以得到通道数为1的定位指示mask，即为定位结果。其中，上述mask的像素值为255表示在超声造影图像上，该处像素点为颈动脉斑块的一个像素点；上述mask的像素值为0表示该处像素点不是颈动脉斑块的一个像素点。因此，利用上述mask即可在超声造影图像上显示斑块的位置轮廓。
需要说明的是，本申请实施例中涉及的卷积层的数量以及步长仅为实例，本领域技术人员可以根据实际情况对激活函数卷积层的数量以及步长进行合适的调整。
在上述方案中，在对第一特征图以及第四特征图进行特征融合的过程中，可以利用空间注意力特征向量提高特征融合的效果，从而提高定位结果的准确度。
进一步的，在上述实施例的基础上，在上述将第一特征图以及待定位图像对应的第四特征图输入特征融合模块，得到特征融合模块输出的定位结果之前，本申请实施例提供的颈动脉斑块定位方法还可以包括如下步骤：
将待定位图像输入第一特征提取模块，得到第一特征提取模块输出的第四特征图。
具体的，可以利用第一特征提取模块提取待定位图像的特征。请参照图4，基于该第一特征提取模块，上述将待定位图像输入第一特征提取模块，得到第一特征提取模块输出的第四特征图的步骤，具体可以包括如下内容：
首先，使用步长为2的卷积层实现特征图下采样，在下采样过程中，特征图尺寸逐渐缩小，分别得到大小为的特征图，M为待定位图像的尺寸。
然后，在下采样得到特征图的卷积层后面设置有注意力优化模块，对特征图进行优化处理。
接下来，在特征图经过注意力优化模块处理后，使用双线性插值方式对特征图逐渐进行上采样，使特征图尺寸逐渐增大。其中，不同注意力优化模块的输出按通道进行拼接，并使用卷积层来提取汇总特征，得到尺寸大小为的第四特征图。
需要说明的是，本申请实施例中涉及的卷积层的数量以及步长仅为实例，本领域技术人员可以根据实际情况对激活函数卷积层的数量以及步长进行合适的调整。
此外，在将待定位图像进行特征提取之前，还可以对待定位图像进行预处理，例如：对待定位图像进行图像标准化处理、归一化处理等。
在上述方案中，可以采用不同的特征提取方式对待定位图像进行两次特征提取，通过将两次特征提取到的特征图进行融合，从而可以提高定位结果的准确度。
进一步的，在上述实施例的基础上，上述步骤S102具体可以包括如下步骤：
将第一特征图以及第二特征图输入相似度鉴别模块，得到相似度鉴别模块输出的相似度得分。
在上述方案中，可以利用相似度鉴别模型计算待定位图像对应的第一特征图与关键帧图像对应的第二特征图之间的相似度，从而可以判断是否将待定位图像确定为关键帧图像，并根据判断结果对待定位图像采用不同的定位方式，从而可以提高定位结果的准确度并提高定位的速度。
进一步的，在上述实施例的基础上，请参照图5，图5为本申请实施例提供的一种相似度鉴别模块的结构示意图，其中，⊕符号表示特征图按通道拼接。基于上述相似度鉴别模块，上述将第一特征图以及第二特征图输入相似度鉴别模块，得到相似度鉴别模块输出的相似度得分的步骤，具体可以包括如下步骤：
步骤1)，将第一特征图与第二特征图进行通道拼接。
步骤2)，对通道拼接后的特征图进行特征提取，得到相似性度量特征图。
步骤3)，根据相似性度量特征图计算相似度得分。
具体的，首先，在上述步骤1)中，将第一特征图与第二特征图按通道进行拼接。
然后，在上述步骤2)中，将通道拼接后的特征图相继输入到两个步长为2的转置卷积层进行上采样，在每个转置卷积层后面都设置有标准卷积层，用于提取特征，降低特征图的通道数，得到尺寸大小为M、通道数为2的相似性度量特征图。其中，相似性度量特征图中每个像素点对应的两通道数值分别表征该像素点在待定位图像与关键帧图像之间的横向差异度量值以及纵向差异度量值。
最后，在上述步骤3)中，根据上述相似性度量特征图，可以计算得到相似度得分。
在上述方案中，可以通过提取第一特征图与第二特征图之间的横向差异度量值以及纵向差异度量值，从而计算第一特征图与第二特征图之间的相似度。
进一步的，在上述实施例的基础上，上述根据相似性度量特征图计算相似度得分的步骤，具体可以包括如下步骤：
利用如下公式计算相似度得分：
其中，i表示相似性度量特征图上的横向索引，j表示相似性度量特征图上的纵向索引，I×J表示相似性度量特征图上像素点的总数目，αij表示相似性度量特征图上横向索引为i且纵向索引为j的像素点的横向差异度量值，βij表示相似性度量特征图上横向索引为i且纵向索引为j的像素点的纵向差异度量值。
在上述方案中，可以通过提取第一特征图与第二特征图之间的横向差异度量值以及纵向差异度量值，从而计算第一特征图与第二特征图之间的相似度。
进一步的，在上述实施例的基础上，上述步骤S101具体可以包括如下步骤：
将待定位图像输入第二特征提取模块，得到第二特征提取模块输出的第一特征图；以及，将关键帧图像输入第二特征提取模块，得到第二特征提取模块输出的第二特征图。
具体的，可以利用第二特征提取模块分别提取待定位图像以及关键帧图像的特征。请参照图6，图6为本申请实施例提供的一种第二特征提取模块的结构示意图，其中，⊕符号表示特征图按通道拼接。基于上述第二特征提取模块，上述将待定位图像输入第二特征提取模块，得到第二特征提取模块输出的第一特征图的步骤，具体可以包括如下内容：
首先，利用两个卷积层对待定位图像进行特征提取，两个卷积层的步长均为2，故经过该两步操作之后得到特征图的尺寸为
然后，将上述特征图分别输入到三个并列的卷积层中，这三个卷积层中采用膨胀卷积操作。其中，膨胀卷积操作可以在不增加计算量的前提下扩大卷积核的感受野，提取更多的全局语义信息，同时保留特征图相对的空间位置信息。
膨胀卷积的超参数膨胀率表示卷积核的扩张系数，膨胀卷积的卷积核尺寸大小的计算方法可以参照如下公式：
K′＝K+(K-1)(d-1)；
其中，K′为膨胀卷积的卷积核尺寸大小，K为标准卷积核尺寸，膨胀卷积的感受野为K′×K，当d＝1时，膨胀卷积退化为标准卷积。其中，三个并列卷积层中卷积操作的膨胀率可以分别设置为3、6和9。
接下来，三个并列卷积层的输出结果按通道进行拼接，并用一个卷积层提取汇总特征。
最后，将特征汇总后的特征图与特征提取后的特征图按通道进行拼接，并再用一个卷积层提取汇总特征，得到第一特征图，该第一特征图的尺寸为
基于上述第二特征提取模块，上述将关键帧图像输入第二特征提取模块，得到第二特征提取模块输出的第二特征图的步骤，具体可以包括如下内容：
首先，利用两个卷积层对关键帧图像进行特征提取，两个卷积层的步长均为2，故经过该两步操作之后得到特征图的尺寸为
然后，将上述特征图分别输入到三个并列的卷积层中，这三个卷积层中采用膨胀卷积操作，三个并列卷积层中卷积操作的膨胀率可以分别设置为3、6和9。
接下来，三个并列卷积层的输出结果按通道进行拼接，并用一个卷积层提取汇总特征。
最后，将特征汇总后的特征图与特征提取后的特征图按通道进行拼接，并再用一个卷积层提取汇总特征，得到第二特征图，该第二特征图的尺寸为
此外，在将待定位图像以及关键帧图像进行特征提取之前，还可以对待定位图像以及关键帧图像进行预处理，例如：对待定位图像以及关键帧图像进行图像标准化处理、归一化处理等。
在上述方案中，可以利用第二特征提取模块进行特征提取，从而可以基于特征提取得到的特征图判断待定位图像与关键帧图像是否相似，并根据判断结果对待定位图像采用不同的定位方式，从而可以提高定位结果的准确度并提高定位的速度。
请参照7，图7为本申请实施例提供的一种颈动脉斑块定位模型的结构框图，该颈动脉斑块定位模型可以包括：第一特征提取模块、第二特征提取模块、特征融合模块、相似度鉴别模块、特征传递模块。
首先，利用第二特征提取模块分别提取待定位图像以及关键帧图像的特征，得到第一特征图以及第二特征图；然后，利用相似度鉴别模块计算得到第一特征图以及第二特征图之间的相似度得分，并基于上述相似度得分判断待定位图像以及关键帧图像之间的相似度。
当相似度得分大于相似度阈值时，利用第一特征提取模块对关键帧图像进行特征提取，得到第三特征图；然后利用特征传递模块将第三特征图的图像传递至第一特征图，得到传递特征图；最后利用特征融合模块融合传递特征图以及第一特征图的特征，得到定位结果。
当相似度得分不大于相似度阈值时，利用第一特征提取模块对待定位图像进行特征提取，得到第四特征图；然后利用特征融合模块融合第四特征图以及第一特征图的特征，得到定位结果。
举例来说，由于本申请实施例提供的颈动脉斑块定位方法是用于处理超声造影动态视频图像，因此，可以采用如下过程对每一帧超声造影图像进行定位：将第一帧超声造影图像确定为关键帧图像，并利用特征融合模块进行特征融合，得到第一帧超声造影图像对应的定位结果；针对第二帧超声造影图像，利用相似度鉴别模块计算得到第一帧超声造影图像与第二帧超声造影图像之间的相似度得分，相似度得分小于相似度阈值，将第二帧超声造影图像确定为新的关键帧图像，并利用特征融合模块进行特征融合，得到第二帧超声造影图像对应的定位结果；针对第三帧超声造影图像，利用相似度鉴别模块计算得到第三帧超声造影图像与第二帧超声造影图像之间的相似度得分，相似度得分大于相似度阈值，利用特征传递模块将第二帧超声造影图像的特征传递至第三帧超声造影图像，并利用特征融合模块进行特征融合，得到第三帧超声造影图像对应的定位结果；依次类推，实现对每一帧超声造影图像的颈动脉斑块定位。
请参照图8，图8为本申请实施例提供的一种颈动脉斑块检测方法的流程图，该颈动脉斑块检测方法可以包括如下步骤：
步骤S801：获取利用上述颈动脉斑块定位方法得到的定位结果。
步骤S802：在显示界面上对定位结果进行标记。
在上述方案中，采用上述颈动脉斑块定位方法得到定位结果之后，可以在显示界面上对上述定位结果进行标记。由于超声造影图像可以连续不断的在显示界面上输出，因此，通过在上述超声造影图像上标记定位结果，使得用户可以从显示界面上清楚明了的看到颈动脉斑块在超声造影图像上的位置。
请参照图9，图9为本申请实施例提供一种颈动脉斑块定位装置的结构框图，该颈动脉斑块定位装置900包括：获取模块901，用于获取待定位图像对应的第一特征图以及关键帧图像对应的第二特征图；其中，所述待定位图像以及所述关键帧图像为超声造影视频的单帧图像，所述关键帧图像为所述待定位图像前面的一帧图像；计算模块902，用于计算所述第一特征图与所述第二特征图之间的相似度，得到相似度得分；判断模块903，用于根据所述相似度得分判断是否将所述待定位图像更新为新的关键帧图像；定位模块904，用于根据判断结果对所述待定位图像中的颈动脉斑块进行定位，得到定位结果。
在上述方案中，可以对超声造影图像中的颈动脉斑块进行定位，其中，与现有技术中利用静态的图像进行颈动脉斑块的定位相比，本申请实施例采用动态的超声造影图像进行颈动脉斑块定位的准确度较高。其中，在定位超声造影图像中的颈动脉斑块的过程中，可以判断超声造影图像中的某一帧图像(即待定位图像)是否为关键帧图像，并基于上述判断结果对超声造影图像采用不同的定位方式，从而可以实现对动态图像进行颈动脉斑块定位，从而提高颈动脉斑块定位的准确度。
进一步的，在上述实施例的基础上，所述定位模块904具体用于：若所述判断结果表征不将所述待定位图像更新为新的关键帧图像，则将所述第一特征图、所述第二特征图以及所述关键帧图像对应的第三特征图输入特征传递模块，得到所述特征传递模块输出的传递特征图；其中，所述第二特征图以及所述第三特征图通过不同的特征提取方式得到；将所述第一特征图以及所述传递特征图输入特征融合模块，得到所述特征融合模块输出的所述定位结果。
在上述方案中，在判断得到待定位图像不是关键帧图像时，可以利用特征传递模块将关键帧图像的特征传递至待定位图像上，得到传递特征图，再将上述传递特征图与待定位图像对应的第一特征图进行特征融合，最终得到准确度较高的定位结果。其中，采用特征传递的方式，可以在保证定位精度的同时减少了计算量，从而降低对硬件的要求。
进一步的，在上述实施例的基础上，所述定位模块904还用于：将所述第一特征图以及所述第二特征图进行特征融合，分别得到第一融合特征图以及第二融合特征图；利用两路卷积层分别对所述第一融合特征图进行特征提取，并将特征提取后的两个特征图与所述第二融合特征图进行融合；对融合后的特征图进行特征提取，得到像素差异性表征特征图；将所述像素差异性表征特征图与所述第三特征图相乘并进行特征提取，得到所述传递特征图。
在上述方案中，可以利用特征传递模块将关键帧图像的特征传递至待定位图像上，从而在保证定位精度的同时减少了计算量，因此，可以降低对硬件的要求。
进一步的，在上述实施例的基础上，所述定位模块904还用于：将所述第一特征图以及所述传递特征图进行特征汇总；对特征汇总后的特征图进行空间注意力特征提取，得到空间注意力特征向量；对所述空间注意力特征向量以及特征汇总后的特征图进行融合，得到所述定位结果。
在上述方案中，在对第一特征图以及传递特征图进行特征融合的过程中，可以利用空间注意力特征向量提高特征融合的效果，从而提高定位结果的准确度。
进一步的，在上述实施例的基础上，所述颈动脉斑块定位装置900还包括：第一输入模块，用于将所述关键帧图像输入第一特征提取模块，得到所述第一特征提取模块输出的所述第三特征图。
在上述方案中，可以采用不同的特征提取方式对关键帧图像进行两次特征提取；其中一种特征提取方式可以仅用于提取关键帧图像的特征，另一种特征提取方式可以用于提取关键帧图像的特征并将提取的特征传递给待定位图像，从而可以提高定位的速度。
进一步的，在上述实施例的基础上，所述定位模块904具体用于：若所述判断结果表征将所述待定位图像更新为新的关键帧图像，则将所述第一特征图以及所述待定位图像对应的第四特征图输入特征融合模块，得到所述特征融合模块输出的所述定位结果；其中，所述第一特征图以及所述第四特征图通过不同的特征提取方式得到。
在上述方案中，在判断得到待定位图像是关键帧图像时，可以将待定位图像对应的第一特征图以及第四特征图进行特征融合，最终得到准确度较高的定位结果。
进一步的，在上述实施例的基础上，所述定位模块904还用于：将所述第一特征图以及所述第四特征图进行特征汇总；对特征汇总后的特征图进行空间注意力特征提取，得到空间注意力特征向量；对所述空间注意力特征向量以及特征汇总后的特征图进行融合，得到所述定位结果。
在上述方案中，在对第一特征图以及第四特征图进行特征融合的过程中，可以利用空间注意力特征向量提高特征融合的效果，从而提高定位结果的准确度。
进一步的，在上述实施例的基础上，所述颈动脉斑块定位装置900还包括：第二输入模块，用于将所述待定位图像输入第一特征提取模块，得到所述第一特征提取模块输出的所述第四特征图。
在上述方案中，可以采用不同的特征提取方式对待定位图像进行两次特征提取，通过将两次特征提取到的特征图进行融合，从而可以提高定位结果的准确度。
进一步的，在上述实施例的基础上，所述计算模块902具体用于：将所述第一特征图以及所述第二特征图输入相似度鉴别模块，得到所述相似度鉴别模块输出的所述相似度得分。
在上述方案中，可以利用相似度鉴别模型计算待定位图像对应的第一特征图与关键帧图像对应的第二特征图之间的相似度，从而可以判断是否将待定位图像确定为关键帧图像，并根据判断结果对待定位图像采用不同的定位方式，从而可以提高定位结果的准确度并提高定位的速度。
进一步的，在上述实施例的基础上，所述计算模块902还用于：将所述第一特征图与所述第二特征图进行通道拼接；对通道拼接后的特征图进行特征提取，得到相似性度量特征图；其中，所述相似性度量特征图中每个像素点对应的两通道数值分别表征该像素点在所述待定位图像与所述关键帧图像之间的横向差异度量值以及纵向差异度量值；根据所述相似性度量特征图计算所述相似度得分。
在上述方案中，可以通过提取第一特征图与第二特征图之间的横向差异度量值以及纵向差异度量值，从而计算第一特征图与第二特征图之间的相似度。
进一步的，在上述实施例的基础上，所述计算模块902还用于：利用如下公式计算所述相似度得分：
其中，i表示所述相似性度量特征图上的横向索引，j表示所述相似性度量特征图上的纵向索引，I×J表示所述相似性度量特征图上像素点的总数目，αij表示所述相似性度量特征图上横向索引为i且纵向索引为j的像素点的横向差异度量值，βij表示所述相似性度量特征图上横向索引为i且纵向索引为j的像素点的纵向差异度量值。
在上述方案中，可以通过提取第一特征图与第二特征图之间的横向差异度量值以及纵向差异度量值，从而计算第一特征图与第二特征图之间的相似度。
进一步的，在上述实施例的基础上，所述获取模块901具体用于：将所述待定位图像输入第二特征提取模块，得到所述第二特征提取模块输出的所述第一特征图；以及，将所述关键帧图像输入所述第二特征提取模块，得到所述第二特征提取模块输出的所述第二特征图。
在上述方案中，可以利用第二特征提取模块进行特征提取，从而可以基于特征提取得到的特征图判断待定位图像与关键帧图像是否相似，并根据判断结果对待定位图像采用不同的定位方式，从而可以提高定位结果的准确度并提高定位的速度。
请参照图10，图10为本申请实施例提供的一种电子设备的结构框图，该电子设备1000包括：至少一个处理器1001，至少一个通信接口1002，至少一个存储器10010和至少一个通信总线1004。其中，通信总线1004用于实现这些组件直接的连接通信，通信接口1002用于与其他节点设备进行信令或数据的通信，存储器1003存储有处理器1001可执行的机器可读指令。当电子设备1000运行时，处理器1001与存储器1003之间通过通信总线1004通信，机器可读指令被处理器1001调用时执行上述颈动脉斑块定位方法或者颈动脉斑块检测方法。
其中，处理器1001包括一个或多个，其可以是一种集成电路芯片，具有信号的处理能力。上述的处理器1001可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、微控制单元(Micro Controller Unit，简称MCU)、网络处理器(NetworkProcessor，简称NP)或者其他常规处理器；还可以是专用处理器，包括神经网络处理器(Neural-network Processing Unit，简称NPU)、图形处理器(Graphics Processing Unit，简称GPU)、数字信号处理器(Digital Signal Processor，简称DSP)、专用集成电路(Application Specific Integrated Circuits，简称ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。并且，在处理器1001为多个时，其中的一部分可以是通用处理器，另一部分可以是专用处理器。
存储器1003包括一个或多个，其可以是，但不限于，随机存取存储器(RandomAccess Memory，简称RAM)，只读存储器(Read Only Memory，简称ROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，可擦除可编程只读存储器(ErasableProgrammable Read-Only Memory，简称EPROM)，电可擦除可编程只读存储器(ElectricErasable Programmable Read-Only Memory，简称EEPROM)等。
可以理解，图10所示的结构仅为示意，电子设备1000还可包括比图10中所示更多或者更少的组件，或者具有与图10所示不同的配置。图10中所示的各组件可以采用硬件、软件或其组合实现。于本申请实施例中，电子设备1000可以是，但不限于台式机、笔记本电脑、智能手机、智能穿戴设备、车载设备等实体设备，还可以是虚拟机等虚拟设备。另外，电子设备1000也不一定是单台设备，还可以是多台设备的组合，例如服务器集群，等等。
其中，本申请实施例的处理器1001通过通信总线1004从存储器1003读取计算机程序并执行该计算机程序可以实现如下方法：获取待定位图像对应的第一特征图以及关键帧图像对应的第二特征图；其中，所述待定位图像以及所述关键帧图像为超声造影视频的单帧图像，所述关键帧图像为所述待定位图像前面的一帧图像；计算所述第一特征图与所述第二特征图之间的相似度，得到相似度得分；根据所述相似度得分判断是否将所述待定位图像更新为新的关键帧图像；根据判断结果对所述待定位图像中的颈动脉斑块进行定位，得到定位结果。
或者，执行如下方法：若所述判断结果表征不将所述待定位图像更新为新的关键帧图像，则将所述第一特征图、所述第二特征图以及所述关键帧图像对应的第三特征图输入特征传递模块，得到所述特征传递模块输出的传递特征图；其中，所述第二特征图以及所述第三特征图通过不同的特征提取方式得到；将所述第一特征图以及所述传递特征图输入特征融合模块，得到所述特征融合模块输出的所述定位结果。
或者，执行如下方法：将所述第一特征图以及所述第二特征图进行特征融合，分别得到第一融合特征图以及第二融合特征图；利用两路卷积层分别对所述第一融合特征图进行特征提取，并将特征提取后的两个特征图与所述第二融合特征图进行融合；对融合后的特征图进行特征提取，得到像素差异性表征特征图；将所述像素差异性表征特征图与所述第三特征图相乘并进行特征提取，得到所述传递特征图。
或者，执行如下方法：将所述第一特征图以及所述传递特征图进行特征汇总；对特征汇总后的特征图进行空间注意力特征提取，得到空间注意力特征向量；对所述空间注意力特征向量以及特征汇总后的特征图进行融合，得到所述定位结果。
或者，执行如下方法：在所述将所述第一特征图、所述第二特征图以及所述关键帧图像对应的第三特征图输入特征传递模块，得到所述特征传递模块输出的传递特征图之前，所述方法还包括：将所述关键帧图像输入第一特征提取模块，得到所述第一特征提取模块输出的所述第三特征图。
或者，执行如下方法：若所述判断结果表征将所述待定位图像更新为新的关键帧图像，则将所述第一特征图以及所述待定位图像对应的第四特征图输入特征融合模块，得到所述特征融合模块输出的所述定位结果；其中，所述第一特征图以及所述第四特征图通过不同的特征提取方式得到。
或者，执行如下方法：将所述第一特征图以及所述第四特征图进行特征汇总；对特征汇总后的特征图进行空间注意力特征提取，得到空间注意力特征向量；对所述空间注意力特征向量以及特征汇总后的特征图进行融合，得到所述定位结果。
或者，执行如下方法：将所述待定位图像输入第一特征提取模块，得到所述第一特征提取模块输出的所述第四特征图。
或者，执行如下方法：将所述第一特征图以及所述第二特征图输入相似度鉴别模块，得到所述相似度鉴别模块输出的所述相似度得分。
或者，执行如下方法：将所述第一特征图与所述第二特征图进行通道拼接；对通道拼接后的特征图进行特征提取，得到相似性度量特征图；其中，所述相似性度量特征图中每个像素点对应的两通道数值分别表征该像素点在所述待定位图像与所述关键帧图像之间的横向差异度量值以及纵向差异度量值；根据所述相似性度量特征图计算所述相似度得分。
或者，执行如下方法：利用如下公式计算所述相似度得分：
其中，i表示所述相似性度量特征图上的横向索引，j表示所述相似性度量特征图上的纵向索引，I×J表示所述相似性度量特征图上像素点的总数目，αij表示所述相似性度量特征图上横向索引为i且纵向索引为j的像素点的横向差异度量值，βij表示所述相似性度量特征图上横向索引为i且纵向索引为j的像素点的纵向差异度量值。
或者，执行如下方法：将所述待定位图像输入第二特征提取模块，得到所述第二特征提取模块输出的所述第一特征图；以及，将所述关键帧图像输入所述第二特征提取模块，得到所述第二特征提取模块输出的所述第二特征图。
本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储计算机程序指令，所述计算机程序指令被计算机运行时，使所述计算机执行前述方法实施例所述的颈动脉斑块定位方法或者颈动脉斑块检测方法。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
需要说明的是，功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (7)

1.一种颈动脉斑块定位方法，其特征在于，包括：
获取待定位图像对应的第一特征图以及关键帧图像对应的第二特征图；其中，所述待定位图像以及所述关键帧图像为超声造影视频的单帧图像，所述关键帧图像为所述待定位图像前面的一帧图像；
计算所述第一特征图与所述第二特征图之间的相似度，得到相似度得分；
根据所述相似度得分判断是否将所述待定位图像更新为新的关键帧图像；
根据判断结果对所述待定位图像中的颈动脉斑块进行定位，得到定位结果；
所述根据判断结果对所述待定位图像中的颈动脉斑块进行定位，得到定位结果，包括：
若所述判断结果表征不将所述待定位图像更新为新的关键帧图像，则将所述第一特征图、所述第二特征图以及所述关键帧图像对应的第三特征图输入特征传递模块，得到所述特征传递模块输出的传递特征图；其中，所述第二特征图以及所述第三特征图通过不同的特征提取方式得到；
将所述第一特征图以及所述传递特征图输入特征融合模块，得到所述特征融合模块输出的所述定位结果；
或者，
若所述判断结果表征将所述待定位图像更新为新的关键帧图像，则将所述第一特征图以及所述待定位图像对应的第四特征图输入特征融合模块，得到所述特征融合模块输出的所述定位结果；其中，所述第一特征图以及所述第四特征图通过不同的特征提取方式得到；
所述将所述第一特征图、所述第二特征图以及所述关键帧图像对应的第三特征图输入特征传递模块，得到所述特征传递模块输出的传递特征图，包括：
将所述第一特征图以及所述第二特征图进行特征融合，分别得到第一融合特征图以及第二融合特征图；
利用两路卷积层分别对所述第一融合特征图进行特征提取，并将特征提取后的两个特征图与所述第二融合特征图进行融合；
对融合后的特征图进行特征提取，得到像素差异性表征特征图；
将所述像素差异性表征特征图与所述第三特征图相乘并进行特征提取，得到所述传递特征图。
2.根据权利要求1所述的颈动脉斑块定位方法，其特征在于，所述将所述第一特征图以及所述传递特征图输入特征融合模块，得到所述特征融合模块输出的所述定位结果，包括：
将所述第一特征图以及所述传递特征图进行特征汇总；
对特征汇总后的特征图进行空间注意力特征提取，得到空间注意力特征向量；
对所述空间注意力特征向量以及特征汇总后的特征图进行融合，得到所述定位结果。
3.根据权利要求1所述的颈动脉斑块定位方法，其特征在于，所述计算所述第一特征图与所述第二特征图之间的相似度，得到相似度得分，包括：
将所述第一特征图与所述第二特征图进行通道拼接；
对通道拼接后的特征图进行特征提取，得到相似性度量特征图；其中，所述相似性度量特征图中每个像素点对应的两通道数值分别表征该像素点在所述待定位图像与所述关键帧图像之间的横向差异度量值以及纵向差异度量值；
根据所述相似性度量特征图计算所述相似度得分。
4.一种颈动脉斑块定位装置，其特征在于，包括：
获取模块，用于获取待定位图像对应的第一特征图以及关键帧图像对应的第二特征图；其中，所述待定位图像以及所述关键帧图像为超声造影视频的单帧图像，所述关键帧图像为所述待定位图像前面的一帧图像；
计算模块，用于计算所述第一特征图与所述第二特征图之间的相似度，得到相似度得分；
判断模块，用于根据所述相似度得分判断是否将所述待定位图像更新为新的关键帧图像；
定位模块，用于根据判断结果对所述待定位图像中的颈动脉斑块进行定位，得到定位结果；
所述定位模块具体用于：
若所述判断结果表征不将所述待定位图像更新为新的关键帧图像，则将所述第一特征图、所述第二特征图以及所述关键帧图像对应的第三特征图输入特征传递模块，得到所述特征传递模块输出的传递特征图；其中，所述第二特征图以及所述第三特征图通过不同的特征提取方式得到；
将所述第一特征图以及所述传递特征图输入特征融合模块，得到所述特征融合模块输出的所述定位结果；
或者，
若所述判断结果表征将所述待定位图像更新为新的关键帧图像，则将所述第一特征图以及所述待定位图像对应的第四特征图输入特征融合模块，得到所述特征融合模块输出的所述定位结果；其中，所述第一特征图以及所述第四特征图通过不同的特征提取方式得到；
所述定位模块还用于：
将所述第一特征图以及所述第二特征图进行特征融合，分别得到第一融合特征图以及第二融合特征图；
利用两路卷积层分别对所述第一融合特征图进行特征提取，并将特征提取后的两个特征图与所述第二融合特征图进行融合；
对融合后的特征图进行特征提取，得到像素差异性表征特征图；
将所述像素差异性表征特征图与所述第三特征图相乘并进行特征提取，得到所述传递特征图。
5.一种颈动脉斑块检测方法，其特征在于，包括：
获取利用如权利要求1-3任一项所述的颈动脉斑块定位方法得到的定位结果；
在显示界面上对所述定位结果进行标记。
6.一种电子设备，其特征在于，包括：处理器、存储器和总线；
所述处理器和所述存储器通过所述总线完成相互间的通信；
所述存储器存储有可被所述处理器执行的计算机程序指令，所述处理器调用所述计算机程序指令能够执行如权利要求1-3任一项所述的颈动脉斑块定位方法。
7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储计算机程序指令，所述计算机程序指令被计算机运行时，使所述计算机执行如权利要求1-3任一项所述的颈动脉斑块定位方法。
CN202311044890.1A 2023-08-17 2023-08-17 一种颈动脉斑块定位方法、检测方法、装置及电子设备 Active CN117036480B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311044890.1A CN117036480B (zh) 2023-08-17 2023-08-17 一种颈动脉斑块定位方法、检测方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311044890.1A CN117036480B (zh) 2023-08-17 2023-08-17 一种颈动脉斑块定位方法、检测方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN117036480A CN117036480A (zh) 2023-11-10
CN117036480B true CN117036480B (zh) 2024-06-04

Family

ID=88631420

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311044890.1A Active CN117036480B (zh) 2023-08-17 2023-08-17 一种颈动脉斑块定位方法、检测方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN117036480B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109978756A (zh) * 2019-03-18 2019-07-05 腾讯科技（深圳）有限公司 目标检测方法、系统、装置、存储介质和计算机设备
CN110766651A (zh) * 2019-09-05 2020-02-07 无锡祥生医疗科技股份有限公司 颈动脉斑块的性质判别方法、训练方法及超声设备
CN111145185A (zh) * 2019-12-17 2020-05-12 天津市肿瘤医院 一种基于聚类关键帧提取ct图像的肺实质分割方法
CN111950388A (zh) * 2020-07-22 2020-11-17 上海市同仁医院 一种易损性斑块跟踪识别系统及方法
WO2021224921A1 (en) * 2020-05-05 2021-11-11 Techsomed Medical Technologies Ltd. Monitoring thermal ablation using registration of b-mode ultrasound images
CN113657307A (zh) * 2021-08-20 2021-11-16 北京市商汤科技开发有限公司 一种数据标注方法、装置、计算机设备及存储介质
CN114359775A (zh) * 2021-11-22 2022-04-15 腾讯科技（深圳）有限公司 关键帧检测方法、装置、设备及存储介质、程序产品
CN116601668A (zh) * 2020-12-18 2023-08-15 高通股份有限公司 对象分割与特征跟踪

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109978756A (zh) * 2019-03-18 2019-07-05 腾讯科技（深圳）有限公司 目标检测方法、系统、装置、存储介质和计算机设备
CN110766651A (zh) * 2019-09-05 2020-02-07 无锡祥生医疗科技股份有限公司 颈动脉斑块的性质判别方法、训练方法及超声设备
CN111145185A (zh) * 2019-12-17 2020-05-12 天津市肿瘤医院 一种基于聚类关键帧提取ct图像的肺实质分割方法
WO2021224921A1 (en) * 2020-05-05 2021-11-11 Techsomed Medical Technologies Ltd. Monitoring thermal ablation using registration of b-mode ultrasound images
CN111950388A (zh) * 2020-07-22 2020-11-17 上海市同仁医院 一种易损性斑块跟踪识别系统及方法
CN116601668A (zh) * 2020-12-18 2023-08-15 高通股份有限公司 对象分割与特征跟踪
CN113657307A (zh) * 2021-08-20 2021-11-16 北京市商汤科技开发有限公司 一种数据标注方法、装置、计算机设备及存储介质
CN114359775A (zh) * 2021-11-22 2022-04-15 腾讯科技（深圳）有限公司 关键帧检测方法、装置、设备及存储介质、程序产品

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Refined Feature-based Multi-frame and Multi-scale Fusing Gate network for accurate segmentation of plaques in ultrasound videos;Xifeng Hu et al.;Computers in Biology and Medicine;全文 *
颈动脉斑块的分割和三维图像显示;蒋先刚 等;中国医学物理学杂志;第40卷(第5期);全文 *

Also Published As

Publication number Publication date
CN117036480A (zh) 2023-11-10

Similar Documents

Publication Publication Date Title
US11328430B2 (en) Methods, systems, and media for segmenting images
CN112598643B (zh) 深度伪造图像检测及模型训练方法、装置、设备、介质
Kou et al. Microaneurysms segmentation with a U-Net based on recurrent residual convolutional neural network
WO2022032823A1 (zh) 图像分割方法、装置、设备及存储介质
Chen et al. PCAT-UNet: UNet-like network fused convolution and transformer for retinal vessel segmentation
CN110276408B (zh) 3d图像的分类方法、装置、设备及存储介质
CN114565763B (zh) 图像分割方法、装置、设备、介质及程序产品
WO2023082870A1 (zh) 图像分割模型的训练方法、图像分割方法、装置及设备
CN111209916A (zh) 病灶识别方法及系统、识别设备
CN112396605B (zh) 网络训练方法及装置、图像识别方法和电子设备
WO2023005634A1 (zh) 一种基于ct图像的肺结节良恶性诊断方法及装置
Li et al. Learning depth via leveraging semantics: Self-supervised monocular depth estimation with both implicit and explicit semantic guidance
Zhao et al. D2a u-net: Automatic segmentation of covid-19 lesions from ct slices with dilated convolution and dual attention mechanism
Qi et al. Automatic lacunae localization in placental ultrasound images via layer aggregation
Yao et al. Claw u-net: A unet variant network with deep feature concatenation for scleral blood vessel segmentation
Wang et al. Deep learning approach for bubble segmentation from hysteroscopic images
Peng et al. Cov-TransNet: Dual branch fusion network with transformer for COVID-19 infection segmentation
CN117036480B (zh) 一种颈动脉斑块定位方法、检测方法、装置及电子设备
CN116433695B (zh) 一种乳腺钼靶图像的乳腺区域提取方法及系统
CN113096132B (zh) 图像处理的方法、装置、存储介质和电子设备
WO2024051018A1 (zh) 一种pet参数图像的增强方法、装置、设备及存储介质
EP4174774A1 (en) Planar surface detection apparatus and method
CN112801964B (zh) 肺部ct图像的多标签智能检测方法、装置、设备和介质
Lu et al. Medical image segmentation using boundary-enhanced guided packet rotation dual attention decoder network
CN117078664B (zh) 计算机可读存储介质、超声图像质量评估装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant