CN117094976A - 病灶漏检判断方法、装置和电子设备 - Google Patents

病灶漏检判断方法、装置和电子设备 Download PDF

Info

Publication number
CN117094976A
CN117094976A CN202311070816.7A CN202311070816A CN117094976A CN 117094976 A CN117094976 A CN 117094976A CN 202311070816 A CN202311070816 A CN 202311070816A CN 117094976 A CN117094976 A CN 117094976A
Authority
CN
China
Prior art keywords
target
preset
ultrasonic
ultrasonic image
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311070816.7A
Other languages
English (en)
Other versions
CN117094976B (zh
Inventor
石一磊
曹旭
胡敬良
牟立超
侯雨
陈咏虹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Maide Intelligent Technology Wuxi Co ltd
Original Assignee
Maide Intelligent Technology Wuxi Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Maide Intelligent Technology Wuxi Co ltd filed Critical Maide Intelligent Technology Wuxi Co ltd
Priority to CN202311070816.7A priority Critical patent/CN117094976B/zh
Publication of CN117094976A publication Critical patent/CN117094976A/zh
Application granted granted Critical
Publication of CN117094976B publication Critical patent/CN117094976B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30084—Kidney; Renal

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本申请提供一种病灶漏检判断方法、装置和电子设备，该方法的一具体实施方式包括：获取待处理视频；所述待处理视频包括多帧与肾脏相关的超声图像；针对构成预设肾脏模型的每一帧预设超声图像，从待处理的多帧超声图像中查找与该预设超声图像匹配的目标超声图像；基于查找到的目标超声图像，生成目标肾脏模型；若所述目标肾脏模型的填充度大于预设填充度阈值，则判定病灶检测完全。该方法可以改善漏检病灶的情况。

Description

病灶漏检判断方法、装置和电子设备
技术领域
本申请涉及超声检查领域，具体而言，涉及一种病灶漏检判断方法、装置和电子设备。
背景技术
超声检查是指用弱超声波照射到身体上，将组织的反射波进行图像化处理，通过测量生理组织的形态和数据，为疾病发现和诊断提供依据。
在相关技术中，可以通过超声采集肾脏图像，以获知其大小、形态、肾盂等结构数据，然后可以通过这些结构数据判断肾脏是否存在病灶。但是在利用超声检查肾脏的过程中，通常由操作人员人工截取肾脏的超声图像，从而存在漏检病灶的情况。
发明内容
本申请实施例的目的在于提供一种病灶漏检判断方法、装置和电子设备，用以改善漏检病灶的情况。
第一方面，本申请实施例提供了一种病灶漏检判断方法，该方法包括：获取待处理视频；所述待处理视频包括多帧与肾脏相关的超声图像；针对构成预设肾脏模型的每一帧预设超声图像，从待处理的多帧超声图像中查找与该预设超声图像匹配的目标超声图像；基于查找到的目标超声图像，生成目标肾脏模型；若所述目标肾脏模型的填充度大于预设填充度阈值，则判定病灶检测完全。这样，通过重建的目标肾脏模型的完整程度反映操作人员是否将肾脏部位检测完全，从而可以判定是否存在没有检测到的病灶，改善了漏检病灶的情况。
可选地，所述基于查找到的目标超声图像，生成目标肾脏模型，包括：若查找到所述目标超声图像，则将所述目标超声图像填充到所述预设肾脏模型的目标位置上，以生成目标肾脏模型；所述目标位置为所述目标超声图像对应的帧预设超声图像在所述预设肾脏模型中的位置。这样，可以直接将目标超声图像填充到预设肾脏模型中，而不用额外采集目标超声图像在肾脏中的位置信息，简化了重建步骤，提高了目标肾脏模型的重建准确率。
可选地，所述基于查找到的目标超声图像，生成目标肾脏模型，包括：若查找到目标超声图像，则获取超声探头在采集所述目标超声图像时的姿态信息；所述姿态信息包括所述超声探头在世界坐标系下的位置信息以及旋转角度信息；根据所述姿态信息，将所述目标超声图像中肾脏部位的图像坐标转换到世界坐标系下；根据所述目标超声图像以及对应的世界坐标生成目标肾脏模型。这样，可以不依赖于预设肾脏模型，而是通过超声探头的姿态信息重建目标肾脏模型，这样能够使操作人员对各个目标超声图像在目标肾脏模型中的位置更加清晰，便于其准确定位想要查看的肾脏部位。
可选地，所述针对构成预设肾脏模型的每一帧预设超声图像，从待处理的多帧超声图像中查找与该预设超声图像匹配的目标超声图像，包括：若超声探头的位置没有变化，暂停从待处理的多帧超声图像中查找该帧预设超声图像对应的目标超声图像；若超声探头的位置变化，继续从待处理的多帧超声图像中查找与该帧预设超声图像匹配的目标超声图像。这样，可以通过超声探头的世界坐标是否变化确定是否继续查找目标超声图像，从而节省了计算资源，提高了目标肾脏模型的重建效果。
可选地，在所述基于查找到的目标超声图像，生成目标肾脏模型之后，所述方法还包括：若接收到病灶位置查看指令，展示所述病灶在所述目标肾脏模型中的位置信息；所述病灶位置查看指令包括超声探头的姿态信息；所述姿态信息包括所述超声探头在世界坐标系下的位置信息以及旋转角度信息。这样，超声仪器在重建出目标肾脏模型之后，还可以向操作人员以及病人可视化展示病灶在目标肾脏模型中的具体位置，在一定程度上有利于制定医治方案。
可选地，在所述针对构成预设肾脏模型的每一帧预设超声图像，从待处理的多帧超声图像中查找与该预设超声图像匹配的目标超声图像之前，所述方法还包括：利用分割网络分割所述待处理视频，得到肾脏视频；其中，所述分割网络基于多尺度注意力机制分割所述待处理视频；以及所述从待处理的多帧超声图像中查找与该预设超声图像匹配的目标超声图像，包括：从所述肾脏视频所包括的多帧肾脏分割图像中查找与该预设超声图像匹配的目标超声图像。这样，可以通过分割网络先分割出肾脏部位的图像，以剔除与肾脏病灶无关的图像区域，在一定程度上便于重建目标肾脏模型。
可选地，所述利用分割网络分割所述待处理视频，得到肾脏视频，包括利用所述分割网络执行以下步骤：针对所述待处理视频中的每一帧超声图像，生成多个尺度下的特征图；针对每一个尺度下的特征图，分别生成注意力特征图以及分割特征图；融合所述注意力特征图以及所述分割特征图，得到所述肾脏分割图像。这样，由于注意力特征图中包含了更广泛的上下文信息，因此在一定程度上提高了识别出肾脏区域的准确性。
第二方面，本申请实施例提供了一种病灶漏检判断装置，该装置包括：获取模块，用于获取待处理视频；所述待处理视频包括多帧与肾脏相关的超声图像；查找模块，用于针对构成预设肾脏模型的每一帧预设超声图像，从待处理的多帧超声图像中查找与该预设超声图像匹配的目标超声图像；生成模块，用于基于查找到的目标超声图像，生成目标肾脏模型；判断模块，用于若所述目标肾脏模型的填充度大于预设填充度阈值，判定病灶检测完全。这样，可以改善漏检病灶的情况。
第三方面，本申请实施例提供一种电子设备，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如上述第一方面提供的所述方法中的步骤。
第四方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时运行如上述第一方面提供的所述方法中的步骤。
本申请的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请实施例了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种病灶漏检判断方法的流程图；
图2为本申请实施例提供的一种目标肾脏模型的生成过程示意图；
图3为本申请实施例提供的一种分割模型的结构示意图；
图4为本申请实施例提供的一种位置注意力模块处理特征图的示意图；
图5为本申请实施例提供的一种病灶漏检判断装置的结构框图；
图6为本申请实施例提供的一种用于执行病灶漏检判断方法的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
应当说明的是，在不冲突的情况下，本申请中的实施例或者实施例中的技术特征可以进行结合。
相关技术中，存在漏检病灶的问题；为了解决该问题，本申请提供一种病灶漏检判断方法、装置和电子设备；进一步地，通过重建病人的肾脏模型，以通过肾脏模型的完整程度反映是否漏检了某些肾脏部位，从而改善了病灶的漏检情况。
以上相关技术中的方案所存在的缺陷，均是发明人在经过实践并仔细研究后得出的结果，因此，上述问题的发现过程以及下文中本发明实施例针对上述问题所提出的解决方案，都应该是发明人在本发明过程中对本发明做出的贡献。
在一些应用场景中，上述肾脏图像定位方法可以应用于超声仪器中，也可以应用于实质上能够进行图像处理的其他终端设备或者服务端。上述终端设备例如可以包括台式电脑、笔记本电脑等，上述服务端例如可以包括服务器集群、云平台等。示例性地，本申请下文以应用于超声仪器行文。
请参考图1，其示出了本申请实施例提供的一种病灶漏检判断方法的流程图。如图1所示，该病灶漏检判断方法包括以下步骤101至步骤104。
步骤101，获取待处理视频；所述待处理视频包括多帧与肾脏相关的超声图像；
在一些应用场景中，操作人员可以将超声仪器的超声探头放在病人的肾脏位置，并可以移动超声探头来采集肾脏的超声图像，多帧超声图像可以组成超声视频，继而该超声视频可以视为上述待处理视频。
步骤102，针对构成预设肾脏模型的每一帧预设超声图像，从待处理的多帧超声图像中查找与该预设超声图像匹配的目标超声图像；
上述预设肾脏模型可以视为完整的肾脏模型，每帧预设超声图像可以体现正常肾脏某个部位的结构数据。
超声仪器获取到待处理视频之后，可以在多帧超声图像中查找与每帧预设超声图像匹配的目标超声图像。例如，预设肾脏模型由100帧预设超声图像构成，超声仪器则可以从待处理的多帧超声图像中查找分别与这100帧预设超声图像匹配的目标超声图像。在一些应用场景中，例如可以将图像信息相同的超声图像视为与预设超声图像匹配的目标超声图像。上述图像信息例如可以包括纹理、颜色等信息。
步骤103，基于查找到的目标超声图像，生成目标肾脏模型；
在查找目标超声图像的过程中，由于待处理视频是操作人员利用超声探头采集的肾脏图像，因此针对于大多数预设超声图像，都可以查找到与之匹配的目标超声图像。
然后，超声仪器可以利用查找到的目标超声图像重新生成当前病人所对应的目标肾脏模型。在一些应用场景中，例如可以基于特征匹配的方法将多帧目标超声图像拼接为统一的图像，形成肾脏的整体视图。然后，通过曲面重建算法重建出三维模型。
步骤104，若所述目标肾脏模型的填充度大于预设填充度阈值，则判定病灶检测完全。
上述填充度可以视为目标肾脏模型的完整程度。在一些应用场景中，例如可以通过预设肾脏模型来计算该填充度。具体的，可以将查找到的目标超声图像的帧数与预设超声图像的帧数作商得到上述填充度。例如，预设超声图像为100帧，目标超声图像为98帧，则目标肾脏模型的填充度为98％，若预设填充度阈值为96％，则该目标肾脏模型的填充度大于预设填充度阈值。
这样，如果目标肾脏模型的完成程度大于预设填充度阈值，可以视为操作人员已经将肾脏的各个部位检测完全，不存在漏检肾脏部位的情况，从而可以视为病灶检测完全。
在本实现方式中，通过重建的目标肾脏模型的完整程度反映操作人员是否将肾脏部位检测完全，从而可以判定是否存在没有检测到的病灶，改善了漏检病灶的情况。
进一步的，本实现方式可以向操作人员或者病患可视化展示目标肾脏模型，从而提高了检测结果的可信度。
在一些可选的实现方式中，上述步骤103中所述的基于查找到的目标超声图像，生成目标肾脏模型，包括：若查找到所述目标超声图像，则将所述目标超声图像填充到所述预设肾脏模型的目标位置上，以生成目标肾脏模型；所述目标位置为所述目标超声图像对应的帧预设超声图像在所述预设肾脏模型中的位置。
在一些应用场景中，构成预设肾脏模型的每一帧预设超声图像在预设肾脏模型中均有对应的预设位置(也即上述目标位置)。继而，若查找到与某帧预设超声图像匹配的目标超声图像，可以将该目标超声图像填充到该预设位置中。这样，预设肾脏模型在填充之后也可以生成目标肾脏模型。
在本实现方式中，可以直接将目标超声图像填充到预设肾脏模型中，而不用额外采集目标超声图像在肾脏中的位置信息，简化了重建步骤，提高了目标肾脏模型的重建准确率。
在一些可选的实现方式中，上述步骤103中所述的基于查找到的目标超声图像，生成目标肾脏模型，包括：
子步骤1031，若查找到目标超声图像，则获取超声探头在采集所述目标超声图像时的姿态信息；所述姿态信息包括所述超声探头在世界坐标系下的位置信息以及旋转角度信息；
子步骤1032，根据所述姿态信息，将所述目标超声图像中肾脏部位的图像坐标转换到世界坐标系下；
在一些应用场景中，例如可以通过从图像坐标到世界坐标的变换矩阵将肾脏部位的图像坐标转换到世界坐标系下。该转换过程为本领域技术人员所公知，此处不赘述。
子步骤1033，根据所述目标超声图像以及对应的世界坐标生成目标肾脏模型。
超声仪器在确定出各个肾脏部位图像所对应的世界坐标之后，可以拼接各个肾脏部位图像。例如，可以任选一个肾脏部位图像的世界坐标作为坐标原点，然后分别计算其他肾脏部位图像对应的世界坐标与该坐标原点之间的距离以及旋转角度。从而可以根据距离以及旋转角度拼接出目标肾脏模型。
在本实现方式中，可以不依赖于预设肾脏模型，而是通过超声探头的姿态信息重建目标肾脏模型，这样能够使操作人员对各个目标超声图像在目标肾脏模型中的位置更加清晰，便于其准确定位想要查看的肾脏部位。
在一些可选的实现方式中，上述步骤102可以包括：若超声探头的位置没有变化，暂停从待处理的多帧超声图像中查找该帧预设超声图像对应的目标超声图像；若超声探头的位置变化，继续从待处理的多帧超声图像中查找与该帧预设超声图像匹配的目标超声图像。
操作人员在检查过程中，存在将超声探头停留在某个位置，以仔细观察某个肾脏部位是否存在病灶的情况。这样，虽然超声探头的位置没有变化，但其也在获取超声图像，这样会导致获取到多帧相同的超声图像，从而匹配出多帧相同的目标超声图像，浪费了计算资源。并且，相邻帧目标超声图像之间的图像信息较为相似或完全相同，从而导致目标肾脏模型中存在较多重复内容，影响了目标肾脏模型的重建效果。
因此，超声仪器可以在检测到超声探头的世界坐标不变的情况下，暂停查找与当前预设超声图像匹配的目标超声图像，并可以在超声探头重新运动时，重新开始查找与该帧预设超声图像匹配的目标超声图像。
在本实现方式中，可以通过超声探头的世界坐标是否变化确定是否继续查找目标超声图像，从而节省了计算资源，提高了目标肾脏模型的重建效果。
在一些可选的实现方式中，在上述步骤103中所述的基于查找到的目标超声图像，生成目标肾脏模型之后，所述方法还包括：若接收到病灶位置查看指令，展示所述病灶在所述目标肾脏模型中的位置信息；所述病灶位置查看指令包括超声探头的姿态信息；所述姿态信息包括所述超声探头在世界坐标系下的位置信息以及旋转角度信息。
上述病灶位置查看指令例如可以包括超声探头的位置在3秒内没有变化，或者在查看指令输入框中输入了超声探头的姿态信息等。
在本实现方式中，超声仪器在重建出目标肾脏模型之后，还可以向操作人员以及病人可视化展示病灶在目标肾脏模型中的具体位置，在一定程度上有利于制定医治方案。
在一些可选的实现方式中，在上述步骤102中所述的针对构成预设肾脏模型的每一帧预设超声图像，从待处理的多帧超声图像中查找与该预设超声图像匹配的目标超声图像之前，所述方法还包括：利用分割网络分割所述待处理视频，得到肾脏视频；其中，所述分割网络基于多尺度注意力机制分割所述待处理视频；
在一些应用场景中，超声仪器可以利用分割网络处理该处理视频。具体的，超声仪器可以将待处理视频输入分割网络，分割网络基于多尺度注意力机制分割出每一帧超声图像中的肾脏部分图像，得到上述肾脏视频。在这些应用场景中，该分割网络例如可以通过MSANet(多尺度注意力网络，Multi Scale Attention Network，简称MSANet)实现。
这样，上述步骤103中所述的从待处理的多帧超声图像中查找与该预设超声图像匹配的目标超声图像，包括：从所述肾脏视频所包括的多帧肾脏分割图像中查找与该预设超声图像匹配的目标超声图像。
请参阅图2，其示出了利用上述分割模型分割出肾脏视频之后，针对该肾脏视频的每一帧目标超声图像生成目标肾脏模型的过程示意图。也即，超声仪器利用超声探头获取到超声图像，然后将该超声图像输入分割网络分割出肾脏分割图像，然后利用肾脏分割图像重建出目标肾脏模型的过程。
在本实现方式中，可以通过分割网络先分割出肾脏部位的图像，以剔除与肾脏病灶无关的图像区域，在一定程度上便于重建目标肾脏模型。
在一些可选的实现方式中，所述利用分割网络分割所述待处理视频，得到肾脏视频，包括利用所述分割网络执行以下步骤：
步骤一，针对所述待处理视频中的每一帧超声图像，生成多个尺度下的特征图；
超声仪器将待处理视频输入分割模型之后，分割模型会对每帧超声图像进行缩放处理，以生成不同尺度的图像，然后再分别提取出图像特征，从而得到不同尺度下的特征图。
在一些可选的实现方式中，所述针对所述待处理视频中的每一帧超声图像，生成多个尺度下的特征图，包括：针对每一帧超声图像，将该超声图像以不同缩放比例缩放为多个尺度的图像；从各个尺度的图像中分别提取出大小相同的特征图。
在一些应用场景中，请参阅图3，分割模型针对超声图像I，例如可以将其按照1:0.8:0.5的比例缩放为3个尺度的图像(I1，I2，I3)，然后可以在卷积模块中通过卷积操作从各个尺度的图像中分别提取出大小均为64×112×112的3个特征图(A1，A2，A3)。
在本实现方式中，从各个尺度的图像中分别提取出大小相同的特征图可以使各个特征图能够在同一维度上进行融合，在一定程度上提高了图像融合的便捷性。
步骤二，针对每一个尺度下的特征图，分别生成注意力特征图以及分割特征图；
上述注意力特征图可以视为整合了该尺度下的特征图的上下文信息的特征图。上述上下文信息例如可以包括相邻像素之间的颜色信息、纹理信息以及在卷积过程中的变化信息等。
上述分割图像可以视为分割出的肾脏区域图像。在一些应用场景中例如可以通过基于区域的分割方法、基于边缘的分割方法等分割出肾脏区域图像。
步骤三，融合所述注意力特征图以及所述分割特征图，得到所述肾脏分割图像。
分割网络在生成注意力特征图以及分割特征图之后，可以将两者进行融合。请继续参阅图3，不同尺度下的3个特征图(A1，A2，A3)可以分别输入位置注意力模块中，该位置注意力模块将其生成对应的3个注意力特征图(a1，a2，a3)。然后，三个特征图(A1，A2，A3)也分别输入分割模块，得到对应的三个分割特征图(S1，S2，S3)。然后，可以将a1与S1融合，将a2与S2融合，将a3与S3融合，并将融合后得到的三个图像再次进行融合(例如可以将三个图像中对应像素的像素值相加)，得到该帧超声图像对应的肾脏分割图像。
在本实现方式中，由于注意力特征图中包含了更广泛的上下文信息，因此在一定程度上提高了识别出肾脏区域的准确性。
在一些可选的实现方式中，针对每一个尺度下的特征图，生成注意力特征图，包括：
步骤1，针对每一个尺度下的特征图，分别生成多个中间特征图；
在一些应用场景中，分割模型在生成注意力特征图时，可以先生成中间特征图。请参阅图4，其示出了上述位置注意力模块的一种结构。例如，针对于特征图A1，可以在卷积模块中通过卷积操作提取出三个中间特征图(也即中间特征图B、中间特征图C以及中间特征图D)。
步骤2，从所述多个中间特征图中任意选择两个中间特征图，并计算出所述两个中间特征图之间的空间注意力图；
分割模型在生成了多个中间特征图之后，可以从中任意选择两个中间特征图，并计算两者之间的空间注意力图，以捕捉任意两个位置之间的空间依赖信息。
请继续参阅图4，分割模型在提取出中间特征图B、中间特征图C以及中间特征图D之后，可以先计算中间特征图B、C之间的空间注意力图。在一些应用场景中，例如可以将中间特征图B的像素矩阵与中间特征图的像素矩阵的转置执行矩阵乘法运算，并应用归一化指数函数(SoftMax)计算出空间注意力图S。该过程例如可以通过计算式表征；其中，N表示像素总数，Sji表示第i个像素点对j个像素点的影响；Bi表示中间特征图B的第i个像素点；Cj表示中间特征图C的第j个像素点。
步骤3，计算所述空间注意力图与下一中间特征图之间的新空间注意力图，直至所述多个中间特征图均被计算；其中，所述下一中间特征图为尚未计算过的中间特征图。
类似的，分隔模型可以继续计算当前的空间注意力图(例如上述中间注意力图S)与下一中间特征图D之间的新空间注意力图，直至将多个中间特征图计算完全。
应当说明的是，上述输入图像、特征图、中间特征图等均在同一图像维度下，也即，输入图像I∈RC×H×W、特征图(A1,A2,A3)∈RC×H×W、中间特征图(B，C)∈RC×H×W；其中，c表示图像深度，H表示图像高度、W表示图像宽度；R表示当前输入的超声图像。在计算空间注意力图时可以将计算对象(例如任意两个中间特征图)进行重塑，以将计算对象调整为固定尺度，且不产生变形。
步骤4，基于最后一个中间特征图与当前的新空间注意力图，重塑出与该尺度下的原始特征图匹配的重塑图像。
请继续参阅图4，其中间特征图D为最后一个中间特征图，基于当前的新空间注意力图S与中间特征图D可以重塑出与当前输入的超声图像R大小相同的重塑图像，此时该重塑图像与该超声图像R匹配。
步骤5，聚合所述重塑图像与所述原始特征图，得到所述注意力特征图。
在一些应用场景中，在聚合重塑图像与原始特征图时，针对同一位置相同的像素点，例如可以将较大的像素值作为该像素点在注意力特征图中的像素值，从而得到注意力特征图。
在本实现方式中，可以根据空间注意力图选择性地聚合超声图像的全局上下文信息，这样得到的注意力特征图能够提高肾脏分割图像的准确率。
在一些可选的实现方式中，上述步骤5中所述的聚合所述重塑图像与所述原始特征图，得到所述注意力特征图，包括：
计算所述原始特征图中的每一个特征与所述重塑图像中对应位置的影响因子之间的乘积；
将多个乘积的累加和与尺度参数相乘，得到该尺度下被影响后的特征图；
将所述被影响后的特征图与所述原始特征图进行加权求和，得到所述注意力特征图。
延续上述图4所示的位置注意力模块示例，该聚合过程可以通过计算式实现。其中，Ej表示注意力特征图；/>表示重塑图像；Aj表示原始特征图中的第j个像素点上的特征；a表示尺度参数；β表示原始特征图的像素值所占的权重。
在本实现方式中，可以将重塑图像与原始特征图逐像素点求和，从而聚合得到注意力特征图。这样，该注意力特征图中每个位置的像素值可以视为该帧超声图像的所有位置的融合特征与其原始特征的加权和，因此其具有全局的上下文信息，在一定程度上提高了肾脏分割图像的准确率。
本领域技术人员可以理解，在具体实施例的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
请参考图5，其示出了本申请实施例提供的一种病灶漏检判断装置的结构框图，该病灶漏检判断装置可以是电子设备上的模块、程序段或代码。应理解，该装置与上述图1方法实施例对应，能够执行图1方法实施例涉及的各个步骤，该装置具体的功能可以参见上文中的描述，为避免重复，此处适当省略详细描述。
可选地，上述病灶漏检判断装置包括获取模块501、查找模块502、生成模块503以及判断模块504。其中，获取模块501，用于获取待处理视频；所述待处理视频包括多帧与肾脏相关的超声图像；查找模块502，用于针对构成预设肾脏模型的每一帧预设超声图像，从待处理的多帧超声图像中查找与该预设超声图像匹配的目标超声图像；生成模块503，用于基于查找到的目标超声图像，生成目标肾脏模型；判断模块504，用于若所述目标肾脏模型的填充度大于预设填充度阈值，判定病灶检测完全。
可选地，所述生成模块503进一步用于：若查找到所述目标超声图像，则将所述目标超声图像填充到所述预设肾脏模型的目标位置上，以生成目标肾脏模型；所述目标位置为所述目标超声图像对应的帧预设超声图像在所述预设肾脏模型中的位置。
可选地，所述生成模块503进一步用于：若查找到目标超声图像，则获取超声探头在采集所述目标超声图像时的姿态信息；所述姿态信息包括所述超声探头在世界坐标系下的位置信息以及旋转角度信息；根据所述姿态信息，将所述目标超声图像中肾脏部位的图像坐标转换到世界坐标系下；根据所述目标超声图像以及对应的世界坐标生成目标肾脏模型。
可选地，所述查找模块502进一步用于：若超声探头的位置没有变化，暂停从待处理的多帧超声图像中查找该帧预设超声图像对应的目标超声图像；若超声探头的位置变化，继续从待处理的多帧超声图像中查找与该帧预设超声图像匹配的目标超声图像。
可选地，所述装置还包括展示模块，上述展示模块用于：在所述基于查找到的目标超声图像，生成目标肾脏模型之后，若接收到病灶位置查看指令，展示所述病灶在所述目标肾脏模型中的位置信息；所述病灶位置查看指令包括超声探头的姿态信息；所述姿态信息包括所述超声探头在世界坐标系下的位置信息以及旋转角度信息。
可选地，所述装置还包括分割模块，上述分割模块用于：在所述针对构成预设肾脏模型的每一帧预设超声图像，从待处理的多帧超声图像中查找与该预设超声图像匹配的目标超声图像之前，利用分割网络分割所述待处理视频，得到肾脏视频；其中，所述分割网络基于多尺度注意力机制分割所述待处理视频；以及查找模块502进一步用于：从所述肾脏视频所包括的多帧肾脏分割图像中查找与该预设超声图像匹配的目标超声图像。
可选地，所述分割模块进一步用于利用所述分割网络执行以下步骤：针对所述待处理视频中的每一帧超声图像，生成多个尺度下的特征图；针对每一个尺度下的特征图，分别生成注意力特征图以及分割特征图；融合所述注意力特征图以及所述分割特征图，得到所述肾脏分割图像。
需要说明的是，本领域技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再重复描述。
请参照图6，图6为本申请实施例提供的一种用于执行病灶漏检判断方法的电子设备的结构示意图，所述电子设备可以包括：至少一个处理器601，例如CPU，至少一个通信接口602，至少一个存储器603和至少一个通信总线604。其中，通信总线604用于实现这些组件直接的连接通信。其中，本申请实施例中设备的通信接口602用于与其他节点设备进行信令或数据的通信。存储器603可以是高速RAM存储器，也可以是非易失性的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器603可选的还可以是至少一个位于远离前述处理器的存储装置。存储器603中存储有计算机可读取指令，当所述计算机可读取指令由所述处理器601执行时，电子设备可以执行上述图1所示方法过程。
可以理解，图6所示的结构仅为示意，所述电子设备还可包括比图6中所示更多或者更少的组件，或者具有与图6所示不同的配置。图6中所示的各组件可以采用硬件、软件或其组合实现。
本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，可以执行如图1所示方法实施例中电子设备所执行的方法过程。
本申请实施例提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如，该方法可以包括：获取待处理视频；所述待处理视频包括多帧与肾脏相关的超声图像；针对构成预设肾脏模型的每一帧预设超声图像，从待处理的多帧超声图像中查找与该预设超声图像匹配的目标超声图像；基于查找到的目标超声图像，生成目标肾脏模型；若所述目标肾脏模型的填充度大于预设填充度阈值，则判定病灶检测完全。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种病灶漏检判断方法，其特征在于，包括：
获取待处理视频；所述待处理视频包括多帧与肾脏相关的超声图像；
针对构成预设肾脏模型的每一帧预设超声图像，从待处理的多帧超声图像中查找与该预设超声图像匹配的目标超声图像；
基于查找到的目标超声图像，生成目标肾脏模型；
若所述目标肾脏模型的填充度大于预设填充度阈值，则判定病灶检测完全。
2.根据权利要求1所述的方法，其特征在于，所述基于查找到的目标超声图像，生成目标肾脏模型，包括：
若查找到所述目标超声图像，则将所述目标超声图像填充到所述预设肾脏模型的目标位置上，以生成目标肾脏模型；所述目标位置为所述目标超声图像对应的帧预设超声图像在所述预设肾脏模型中的位置。
3.根据权利要求1所述的方法，其特征在于，所述基于查找到的目标超声图像，生成目标肾脏模型，包括：
若查找到目标超声图像，则获取超声探头在采集所述目标超声图像时的姿态信息；所述姿态信息包括所述超声探头在世界坐标系下的位置信息以及旋转角度信息；
根据所述姿态信息，将所述目标超声图像中肾脏部位的图像坐标转换到世界坐标系下；
根据所述目标超声图像以及对应的世界坐标生成目标肾脏模型。
4.根据权利要求3所述的方法，其特征在于，所述针对构成预设肾脏模型的每一帧预设超声图像，从待处理的多帧超声图像中查找与该预设超声图像匹配的目标超声图像，包括：
若超声探头的位置没有变化，暂停从待处理的多帧超声图像中查找该帧预设超声图像对应的目标超声图像；
若超声探头的位置变化，继续从待处理的多帧超声图像中查找与该帧预设超声图像匹配的目标超声图像。
5.根据权利要求1-4任一项所述的方法，其特征在于，在所述基于查找到的目标超声图像，生成目标肾脏模型之后，所述方法还包括：
若接收到病灶位置查看指令，展示所述病灶在所述目标肾脏模型中的位置信息；所述病灶位置查看指令包括超声探头的姿态信息；所述姿态信息包括所述超声探头在世界坐标系下的位置信息以及旋转角度信息。
6.根据权利要求1所述的方法，其特征在于，在所述针对构成预设肾脏模型的每一帧预设超声图像，从待处理的多帧超声图像中查找与该预设超声图像匹配的目标超声图像之前，所述方法还包括：
利用分割网络分割所述待处理视频，得到肾脏视频；其中，所述分割网络基于多尺度注意力机制分割所述待处理视频；以及
所述从待处理的多帧超声图像中查找与该预设超声图像匹配的目标超声图像，包括：
从所述肾脏视频所包括的多帧肾脏分割图像中查找与该预设超声图像匹配的目标超声图像。
7.根据权利要求6所述的方法，其特征在于，所述利用分割网络分割所述待处理视频，得到肾脏视频，包括利用所述分割网络执行以下步骤：
针对所述待处理视频中的每一帧超声图像，生成多个尺度下的特征图；
针对每一个尺度下的特征图，分别生成注意力特征图以及分割特征图；
融合所述注意力特征图以及所述分割特征图，得到所述肾脏分割图像。
8.一种病灶漏检判断装置，其特征在于，包括：
获取模块，用于获取待处理视频；所述待处理视频包括多帧与肾脏相关的超声图像；
查找模块，用于针对构成预设肾脏模型的每一帧预设超声图像，从待处理的多帧超声图像中查找与该预设超声图像匹配的目标超声图像；
生成模块，用于基于查找到的目标超声图像，生成目标肾脏模型；
判断模块，用于若所述目标肾脏模型的填充度大于预设填充度阈值，判定病灶检测完全。
9.一种电子设备，其特征在于，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如权利要求1-7任一所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时运行如权利要求1-7任一所述的方法。
CN202311070816.7A 2023-08-23 2023-08-23 病灶漏检判断方法、装置和电子设备 Active CN117094976B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311070816.7A CN117094976B (zh) 2023-08-23 2023-08-23 病灶漏检判断方法、装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311070816.7A CN117094976B (zh) 2023-08-23 2023-08-23 病灶漏检判断方法、装置和电子设备

Publications (2)

Publication Number Publication Date
CN117094976A true CN117094976A (zh) 2023-11-21
CN117094976B CN117094976B (zh) 2024-03-01

Family

ID=88772818

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311070816.7A Active CN117094976B (zh) 2023-08-23 2023-08-23 病灶漏检判断方法、装置和电子设备

Country Status (1)

Country Link
CN (1) CN117094976B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110584714A (zh) * 2019-10-23 2019-12-20 无锡祥生医疗科技股份有限公司 超声融合成像方法、超声装置及存储介质
CN112330731A (zh) * 2020-11-30 2021-02-05 深圳开立生物医疗科技股份有限公司 图像处理装置、方法、设备、超声系统及可读存储介质
CN114758137A (zh) * 2022-06-15 2022-07-15 深圳瀚维智能医疗科技有限公司 超声图像分割方法、装置及计算机可读存储介质
WO2023015743A1 (zh) * 2021-08-11 2023-02-16 北京航空航天大学杭州创新研究院 病灶检测模型的训练方法及识别图像中的病灶的方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110584714A (zh) * 2019-10-23 2019-12-20 无锡祥生医疗科技股份有限公司 超声融合成像方法、超声装置及存储介质
CN112330731A (zh) * 2020-11-30 2021-02-05 深圳开立生物医疗科技股份有限公司 图像处理装置、方法、设备、超声系统及可读存储介质
WO2023015743A1 (zh) * 2021-08-11 2023-02-16 北京航空航天大学杭州创新研究院 病灶检测模型的训练方法及识别图像中的病灶的方法
CN114758137A (zh) * 2022-06-15 2022-07-15 深圳瀚维智能医疗科技有限公司 超声图像分割方法、装置及计算机可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈锐锋;方路平;潘清;曹平;高坤;: "多模态医学图像融合超声检查系统的设计与实现", 计算机工程, no. 04 *

Also Published As

Publication number Publication date
CN117094976B (zh) 2024-03-01

Similar Documents

Publication Publication Date Title
TWI715117B (zh) 醫療影像處理方法及裝置、電子設備及儲存介質
JP7183376B2 (ja) 検出精度を向上させるために関心領域の異なるビューからの複数の画像を用いるコンピュータ支援検出
CN111325739B (zh) 肺部病灶检测的方法及装置，和图像检测模型的训练方法
CN107480677B (zh) 一种识别三维ct图像中感兴趣区域的方法及装置
WO2020228570A1 (zh) 乳腺钼靶图像处理方法、装置、系统及介质
CN111862044B (zh) 超声图像处理方法、装置、计算机设备和存储介质
US10039501B2 (en) Computer-aided diagnosis (CAD) apparatus and method using consecutive medical images
US20110262015A1 (en) Image processing apparatus, image processing method, and storage medium
CN109124662B (zh) 肋骨中心线检测装置及方法
CN112435341B (zh) 三维重建网络的训练方法及装置、三维重建方法及装置
EP3910592A1 (en) Image matching method, apparatus and device, and storage medium
JP3712234B2 (ja) 関心領域抽出方法及び画像処理サーバ
US20220383661A1 (en) Method and device for retinal image recognition, electronic equipment, and storage medium
CN111553892A (zh) 基于深度学习的肺结节分割计算方法、装置及系统
JP2021536330A (ja) 深層学習を使用する３ｄデータセット内のオブジェクトの成長率の決定
CN110738633B (zh) 一种机体组织的三维图像处理方法及相关设备
CN110738702A (zh) 一种三维超声图像的处理方法、装置、设备及存储介质
JP2009301254A (ja) 画像処理装置および方法ならびにプログラム
CN115965570A (zh) 超声乳腺三维全景图的生成方法和超声设备
US11416994B2 (en) Method and system for detecting chest x-ray thoracic diseases utilizing multi-view multi-scale learning
CN112750110A (zh) 基于神经网络对肺部病灶区进行评估的评估系统和相关产品
CN117094976B (zh) 病灶漏检判断方法、装置和电子设备
CN112862785B (zh) Cta影像数据识别方法、装置及存储介质
CN117095177B (zh) 肾脏图像定位方法、装置和电子设备
US11138736B2 (en) Information processing apparatus and information processing method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant