CN117252927B - 一种基于小目标检测的导管下介入目标定位方法及系统 - Google Patents

一种基于小目标检测的导管下介入目标定位方法及系统 Download PDF

Info

Publication number
CN117252927B
CN117252927B CN202311543036.XA CN202311543036A CN117252927B CN 117252927 B CN117252927 B CN 117252927B CN 202311543036 A CN202311543036 A CN 202311543036A CN 117252927 B CN117252927 B CN 117252927B
Authority
CN
China
Prior art keywords
target
image
catheter
detection image
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311543036.XA
Other languages
English (en)
Other versions
CN117252927A (zh
Inventor
陈磊
郑传胜
吴林霞
赵煌旋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tongji Medical College of Huazhong University of Science and Technology
Original Assignee
Tongji Medical College of Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tongji Medical College of Huazhong University of Science and Technology filed Critical Tongji Medical College of Huazhong University of Science and Technology
Priority to CN202311543036.XA priority Critical patent/CN117252927B/zh
Publication of CN117252927A publication Critical patent/CN117252927A/zh
Application granted granted Critical
Publication of CN117252927B publication Critical patent/CN117252927B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Quality & Reliability (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明涉及医学图像处理技术领域，具体涉及一种基于小目标检测的导管下介入目标定位方法及系统，包括以下步骤：获取用于识别导管下介入目标的医学影像作为第一检测图像；通过第一定位网络以清除非导管下介入目标的图像特征的方式，对所述第一检测图像进行目标降维，得到第二检测图像；通过超分辨率处理以增强导管下介入目标的图像特征的方式，对所述第二检测图像进行目标增强，得到第三检测图像；再通过第二定位网络以识别导管下介入目标的图像特征的方式，对所述第三检测图像进行目标定位，得到导管下介入目标的图像坐标。本发明实现对微小病变区域进行有效识别，提高微小病变区域的定位精度，提高导管介入穿刺的准确性。

Description

一种基于小目标检测的导管下介入目标定位方法及系统
技术领域
本发明涉及医学图像处理技术领域，具体涉及一种基于小目标检测的导管下介入目标定位方法及系统。
背景技术
导管介入式治疗是利用X线透视、CT定位、B型超声仪等医疗影像设备做导向，将特制的导管或器械经人体动脉、静脉、消化系统的自然管道、胆道或手术后的引流管道抵达体内病变区域，取得组织细胞、细菌或生化方面的资料，也可以进行造影摄片获得影像学资料，由上可知，导管介入式治疗的效果取决于病变区域的定位是否准确，或者说病变区域的定位精准是导管介入式治疗的关键。
现有技术中当病变区域位于大血管周边或位于重要器官周边时，小病变区域的难以精准识别并定位，因此会造成病变区域的定位遗漏，最终影响导管介入式治疗的效果。
发明内容
本发明的目的在于提供一种基于小目标检测的导管下介入目标定位方法及系统，以解决现有技术中小病变区域的难以精准识别并定位，造成病变区域的定位遗漏的技术问题。
为解决上述技术问题，本发明具体提供下述技术方案：
一种基于小目标检测的导管下介入目标定位方法，包括以下步骤：
获取用于识别导管下介入目标的医学影像作为第一检测图像；
通过第一定位网络以清除非导管下介入目标的图像特征的方式，对所述第一检测图像进行目标降维，得到第二检测图像；
通过超分辨率处理以增强导管下介入目标的图像特征的方式，对所述第二检测图像进行目标增强，得到第三检测图像；
再通过第二定位网络以识别导管下介入目标的图像特征的方式，对所述第三检测图像进行目标定位，得到导管下介入目标的图像坐标。
作为本发明的一种优选方案，所述第一定位网络的构建，包括：
随机选取多个第一检测图像作为第一样本图像，并标记出第一样本图像中非导管下介入目标的图像区域作为第一目标区域；
将第一样本图像作为第一YOLO V5神经网络的输入项，将第一目标区域作为第一YOLO V5神经网络的输出项；
利用所述第一YOLO V5神经网络对第一YOLO V5神经网络的输入项和第一YOLO V5神经网络的输出项进行学习训练，得到所述第一定位网络；
所述第一定位网络的表达式为：
L_no= YOLO V5_1（G）；
式中，L_no为第一目标区域，G为第一样本图像，YOLO V5_1为第一YOLO V5神经网络。
作为本发明的一种优选方案，所述通过第一定位网络以清除非导管下介入目标的图像特征的方式，对所述第一检测图像进行目标降维，得到第二检测图像，包括：
将第一检测图像输入至第一定位网络中，得到第一检测图像中的第一目标区域，所述第一目标区域对应于非导管下介入目标的图像区域；
在第一检测图像中提取出第一目标区域的多个邻域；
将第一目标区域的多个邻域进行聚类分析，得到多个区域集合；
将邻域数量最多的区域集合中的所有邻域进行像素加权平均，得到填充像素；
将填充像素填充至第一检测图像的第一目标区域中，得到第二检测图像。
作为本发明的一种优选方案，所述通过超分辨率处理以增强导管下介入目标的图像特征的方式，对所述第二检测图像进行目标增强，得到第三检测图像，包括：
将第二检测图像中第一目标区域与第三检测图像中第一目标区域间的差异度最小化，作为超分辨率处理的第一优化目标，所述第一优化目标的表达式为：
R1=min{1/[1+sim(g21,g31)]}；
式中，R1为第一优化目标，min为最小化运算符，sim为相似度运算符，g21为第二检测图像中第一目标区域，g31为第三检测图像中第一目标区域，sim(g21,g31)为g21和g31之间的相似度；
将第二检测图像与第三检测图像间的差异度最大化，作为超分辨率处理的第二优化目标，所述第二优化目标的表达式为：
R2=max{1/[1+sim(G2,G3)]}；
式中，R2为第二优化目标，max为最大化运算符，sim为相似度运算符，G2为第二检测图像，G3为第三检测图像，sim(G2,G3)为G2和G3之间的相似度；
将超分辨率处理的可设定参数的取值范围作为约束条件；
基于第一优化目标和第二优化目标，在约束条件下对超分辨率处理的设定参数中进行求解，得到超分辨率处理的可设定参数的最优取值；
根据超分辨率处理的可设定参数的最优取值，对第二检测图像进行超分辨率处理，得到第三检测图像；
所述超分辨率处理通过拉普拉斯金字塔进行重建，所述超分辨率处理的可设定参数包括拉普拉斯金子塔的高斯模糊设定参数和下采样设定参数、以及拉普拉斯金子塔的融合重构权重。
作为本发明的一种优选方案，所述第二定位网络的构建，包括：
随机选取多个第三检测图像作为第二样本图像，将第二样本图像中的导管下介入目标的图像区域作为第二目标区域；
将所述第三检测图像作为第二YOLO V5神经网络的输入项，将第二目标区域作为第二YOLO V5神经网络的输出项；
利用所述第二YOLO V5神经网络对第二YOLO V5神经网络的输入项和第二YOLO V5神经网络的输出项进行学习训练，得到所述第二定位网络；
所述第二定位网络的表达式为：
L_yes= YOLO V5_2（G）；
式中，L_yes为第二目标区域，G为第二样本图像，YOLO V5_2为第二YOLO V5神经网络。
作为本发明的一种优选方案，所述通过第二定位网络以识别导管下介入目标的图像特征的方式，对所述第三检测图像进行目标定位，得到导管下介入目标的图像坐标，包括：
将第三检测图像输入至第二定位网络，由第二定位网格输出第三检测图像中的第二目标区域；
将第二目标区域的图像坐标作为导管下介质目标的图像坐标。
作为本发明的一种优选方案，所述第一检测图像、第二检测图像和第三检测图像的图像像素坐标矩阵相一致。
作为本发明的一种优选方案，所述第二YOLO V5神经网络和第一YOLO V5神经网络的网络结构相同。
作为本发明的一种优选方案，所述相似度运算符包括以下计算方式中的至少一种：欧氏距离、皮尔逊相关系数、结构性相似度。
作为本发明的一种优选方案，本发明提供了一种应用所述的一种基于小目标检测的导管下介入目标定位方法的目标定位系统，包括：
数据采集单元，包括X线透视仪、CT扫描仪、B型超声仪，用于获取用于识别导管下介入目标的医学影像作为第一检测图像；
数据处理单元，用于通过第一定位网络以清除非导管下介入目标的图像特征的方式，对所述第一检测图像进行目标降维，得到第二检测图像；
用于通过超分辨率处理以增强导管下介入目标的图像特征的方式，对所述第二检测图像进行目标增强，得到第三检测图像；以及
用于再通过第二定位网络以识别导管下介入目标的图像特征的方式，对所述第三检测图像进行目标定位，得到导管下介入目标的图像坐标；
数据存储单元，用于存储第一定位网络、第二定位网络。
本发明与现有技术相比较具有如下有益效果：
本发明通过第一定位网络进行目标降维，通过超分辨率处理进行目标增强，以及通过第二定位网络进行目标定位，得到导管下介入目标的图像坐标，实现对微小病变区域进行有效识别，提高微小病变区域的定位精度，提高导管介入穿刺的准确性。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
图1为本发明实施例提供的导管下介入目标定位方法流程图；
图2为本发明实施例提供的定位系统框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明提供了一种基于小目标检测的导管下介入目标定位方法，包括以下步骤：
获取用于识别导管下介入目标的医学影像作为第一检测图像；
通过第一定位网络以清除非导管下介入目标的图像特征的方式，对第一检测图像进行目标降维，得到第二检测图像；
通过超分辨率处理以增强导管下介入目标的图像特征的方式，对第二检测图像进行目标增强，得到第三检测图像；
再通过第二定位网络以识别导管下介入目标的图像特征的方式，对第三检测图像进行目标定位，得到导管下介入目标的图像坐标。
本发明为了能够在导管介入场景下有效的识别出微小病变区域，即实现导管下介入目标的微小化识别定位，精准化病灶穿刺，避免病变区域遗漏以及小病变区域定位不准，导致介入穿刺效果时受周边大血管或重要器官的影响，将介入目标（即病变区域）的识别定位利用小目标检测方式进行识别，实现在导管介入场景下对微小病变区域进行有效的识别。
本发明为了在导管介入场景下对病变区域进行小目标检测，实现对微小病变区域进行有效的识别，或称介入目标的微小化识别，依次对用于识别导管下介入目标的医学影像，进行目标降维、目标增强以及目标定位，使得医学影像中介入目标的特征得以净化、增强，提高神经网络对微小介入目标的识别灵敏度。
进一步的，本发明为了净化医学图像中介入目标的像素特征，对医学图像中会对介入目标造成干扰的像素特征（比如血管，器官在医学影像上呈现的像素特征）进行去除，通过预建立的第一定位网络识别出非导管下介入目标（比如血管，器官），并对非导管下介入目标的像素特征利用相邻域上的像素进行填充，使得血管，器官在医学影像上呈现的像素特征变为背景像素，实现在医学影像上对血管，器官在医学影像上呈现的像素特征进行清除，避免在识别介入目标产生干扰，能够使得医学影像上尽可能只保留下介入目标的像素特征，实现在医学影像上实现介入目标的特征净化，提高介入目标的识别准确度。
本发明为了增强医学图像中介入目标的像素特征，让介入目标在小目标检测时具有更高的准确性，利用高分辨率处理方式使得介入目标的图像特征得以增强，即使得医学影像中介入目标的中像素特征增多，分辨率提高，避免小目标检测时由于可用特征少，分辨率低造成的检测不准确，因此，通过增强医学图像中介入目标的像素特征，能够从数据层面提高微小介入目标的识别准确度，避免病变区域遗漏以及小病变区域定位不准，导致介入穿刺效果时受周边大血管或重要器官的影响。
本发明为了从神经网络层面提高微小介入目标的识别准确性，通过预建立的第二定位网络对具有增强特征的医学影像进行提取，能够准确识别出微小介入目标，实现提取网络与数据层面的结合，共同提高微小介入目标的识别准确度。
更进一步的，本发明为了增强医学图像中介入目标的像素特征，能够从数据层面提高微小介入目标的识别准确度，通过多目标优化的方式在超分辨率处理中实现医学图像中介入目标的像素特征的增强，使得医学图像中介入目标的像素特征得到最大程度增强，而非医学图像中介入目标的像素特征得到最小程度增强，进一步扩大二者之间的像素特征区别，在识别微小介入目标时，不会受周边大血管或重要器官的影响。
本发明利用超分辨率处理前后的医学影像整体特征之间的差异度和超分辨率处理前后的医学影像非介入目标特征之间的差异度，分别作为两个优化目标，使得超分辨率处理前后的医学影像整体特征之间的差异最大化，超分辨率处理前后的医学影像非介入目标特征之间的差异最小化，达到在超分辨率处理之后，医学影像的分辨率得以最大提升，非介入目标的分辨率得到最大抑制，两个优化目标配合实现了医学影像中介入目标的分辨率得以最大程度提升，实现介入目标和非介入目标二者之间的像素特征差异性扩大，更有利于介入目标的识别，且规避非介入目标的干扰。
本发明为了净化医学图像中介入目标的像素特征，对医学图像中会对介入目标造成干扰的像素特征（比如血管，器官在医学影像上呈现的像素特征）进行去除，具体如下：
第一定位网络的构建，包括：
随机选取多个第一检测图像作为第一样本图像，并标记出第一样本图像中非导管下介入目标的图像区域作为第一目标区域；
将第一样本图像作为第一YOLO V5神经网络的输入项，将第一目标区域作为第一YOLO V5神经网络的输出项；
利用第一YOLO V5神经网络对第一YOLO V5神经网络的输入项和第一YOLO V5神经网络的输出项进行学习训练，得到第一定位网络；
第一定位网络的表达式为：
L_no= YOLO V5_1（G）；
式中，L_no为第一目标区域，G为第一样本图像，YOLO V5_1为第一YOLO V5神经网络。
通过第一定位网络以清除非导管下介入目标的图像特征的方式，对第一检测图像进行目标降维，得到第二检测图像，包括：
将第一检测图像输入至第一定位网络中，得到第一检测图像中的第一目标区域，第一目标区域对应于非导管下介入目标的图像区域；
在第一检测图像中提取出第一目标区域的多个邻域；
将第一目标区域的多个邻域进行聚类分析，得到多个区域集合；
将邻域数量最多的区域集合中的所有邻域进行像素加权平均，得到填充像素；
将填充像素填充至第一检测图像的第一目标区域中，得到第二检测图像。
本发明中利用非导管下介入目标周围的最多像素进行填充，而最多的像素大多为背景像素，不会对介入目标的识别产生影响，因此可以用作填充消除非导管下介入目标的像素特征。
本发明为了增强医学图像中介入目标的像素特征，让介入目标在小目标检测时具有更高的准确性，利用高分辨率处理方式使得介入目标的图像特征得以增强，具体如下：
通过超分辨率处理以增强导管下介入目标的图像特征的方式，对第二检测图像进行目标增强，得到第三检测图像，包括：
将第二检测图像中第一目标区域与第三检测图像中第一目标区域间的差异度最小化，作为超分辨率处理的第一优化目标，第一优化目标的表达式为：
R1=min{1/[1+sim(g21,g31)]}；
式中，R1为第一优化目标，min为最小化运算符，sim为相似度运算符，g21为第二检测图像中第一目标区域，g31为第三检测图像中第一目标区域，sim(g21,g31)为g21和g31之间的相似度；
将第二检测图像与第三检测图像间的差异度最大化，作为超分辨率处理的第二优化目标，第二优化目标的表达式为：
R2=max{1/[1+sim(G2,G3)]}；
式中，R2为第二优化目标，max为最大化运算符，sim为相似度运算符，G2为第二检测图像，G3为第三检测图像，sim(G2,G3)为G2和G3之间的相似度；
将超分辨率处理的可设定参数的取值范围作为约束条件；
基于第一优化目标和第二优化目标，在约束条件下对超分辨率处理的设定参数中进行求解，得到超分辨率处理的可设定参数的最优取值；
根据超分辨率处理的可设定参数的最优取值，对第二检测图像进行超分辨率处理，得到第三检测图像；
超分辨率处理通过拉普拉斯金字塔进行重建，超分辨率处理的可设定参数包括拉普拉斯金子塔的高斯模糊设定参数和下采样设定参数、以及拉普拉斯金子塔的融合重构权重。
本发明为了增强医学图像中介入目标的像素特征，能够从数据层面提高微小介入目标的识别准确度，通过多目标优化的方式在超分辨率处理中实现医学图像中介入目标的像素特征的增强，使得医学图像中介入目标的像素特征得到最大程度增强，而非医学图像中介入目标的像素特征得到最小程度增强，进一步扩大二者之间的像素特征区别，在识别微小介入目标时，不会受周边大血管或重要器官的影响。
本发明利用超分辨率处理前后的医学影像整体特征之间的差异度和超分辨率处理前后的医学影像非介入目标特征之间的差异度，分别作为两个优化目标，使得超分辨率处理前后的医学影像整体特征之间的差异最大化，超分辨率处理前后的医学影像非介入目标特征之间的差异最小化，达到在超分辨率处理之后，医学影像的分辨率得以最大提升，非介入目标的分辨率得到最大抑制，两个优化目标配合实现了医学影像中介入目标的分辨率得以最大程度提升，实现介入目标和非介入目标二者之间的像素特征差异性扩大，更有利于介入目标的识别，且规避非介入目标的干扰。
本发明为了从神经网络层面提高微小介入目标的识别准确性，通过预建立的第二定位网络对具有增强特征的医学影像进行提取，能够准确识别出微小介入目标，实现提取网络与数据层面的结合，共同提高微小介入目标的识别准确度，具体如下：
第二定位网络的构建，包括：
随机选取多个第三检测图像作为第二样本图像，将第二样本图像中的导管下介入目标的图像区域作为第二目标区域；
将第三检测图像作为第二YOLO V5神经网络的输入项，将第二目标区域作为第二YOLO V5神经网络的输出项；
利用第二YOLO V5神经网络对第二YOLO V5神经网络的输入项和第二YOLO V5神经网络的输出项进行学习训练，得到第二定位网络；
第二定位网络的表达式为：
L_yes= YOLO V5_2（G）；
式中，L_yes为第二目标区域，G为第二样本图像，YOLO V5_2为第二YOLO V5神经网络。
通过第二定位网络以识别导管下介入目标的图像特征的方式，对第三检测图像进行目标定位，得到导管下介入目标的图像坐标，包括：
将第三检测图像输入至第二定位网络，由第二定位网格输出第三检测图像中的第二目标区域；
将第二目标区域的图像坐标作为导管下介质目标的图像坐标，再由图像坐标转换病患体内坐标得到导管下介质目标的体内坐标，用于指引介入穿刺。
第一检测图像、第二检测图像和第三检测图像的图像像素坐标矩阵相一致。
第二YOLO V5神经网络和第一YOLO V5神经网络的网络结构相同。
相似度运算符包括以下计算方式中的至少一种：欧氏距离、皮尔逊相关系数、结构性相似度。
如图2所示，本发明提供了一种应用的一种基于小目标检测的导管下介入目标定位方法的目标定位系统，包括：
数据采集单元，包括X线透视仪、CT扫描仪、B型超声仪，用于获取用于识别导管下介入目标的医学影像作为第一检测图像；
数据处理单元，用于通过第一定位网络以清除非导管下介入目标的图像特征的方式，对第一检测图像进行目标降维，得到第二检测图像；
用于通过超分辨率处理以增强导管下介入目标的图像特征的方式，对第二检测图像进行目标增强，得到第三检测图像；以及
用于再通过第二定位网络以识别导管下介入目标的图像特征的方式，对第三检测图像进行目标定位，得到导管下介入目标的图像坐标；
数据存储单元，用于存储第一定位网络、第二定位网络。
数据处理单元将第一检测图像输入至第一定位网络中，得到第一检测图像中的第一目标区域，第一目标区域对应于非导管下介入目标的图像区域；
在第一检测图像中提取出第一目标区域的多个邻域；
将第一目标区域的多个邻域进行聚类分析，得到多个区域集合；
将邻域数量最多的区域集合中的所有邻域进行像素加权平均，得到填充像素；
将填充像素填充至第一检测图像的第一目标区域中，得到第二检测图像。
数据处理单元将第二检测图像中第一目标区域与第三检测图像中第一目标区域间的差异度最小化，作为超分辨率处理的第一优化目标，第一优化目标的表达式为：
R1=min{1/[1+sim(g21,g31)]}；
式中，R1为第一优化目标，min为最小化运算符，sim为相似度运算符，g21为第二检测图像中第一目标区域，g31为第三检测图像中第一目标区域，sim(g21,g31)为g21和g31之间的相似度；
将第二检测图像与第三检测图像间的差异度最大化，作为超分辨率处理的第二优化目标，第二优化目标的表达式为：
R2=max{1/[1+sim(G2,G3)]}；
式中，R2为第二优化目标，max为最大化运算符，sim为相似度运算符，G2为第二检测图像，G3为第三检测图像，sim(G2,G3)为G2和G3之间的相似度；
将超分辨率处理的可设定参数的取值范围作为约束条件；
基于第一优化目标和第二优化目标，在约束条件下对超分辨率处理的设定参数中进行求解，得到超分辨率处理的可设定参数的最优取值；
根据超分辨率处理的可设定参数的最优取值，对第二检测图像进行超分辨率处理，得到第三检测图像；
超分辨率处理通过拉普拉斯金字塔进行重建，超分辨率处理的可设定参数包括拉普拉斯金子塔的高斯模糊设定参数和下采样设定参数、以及拉普拉斯金子塔的融合重构权重。
数据处理单元将第三检测图像输入至第二定位网络，由第二定位网格输出第三检测图像中的第二目标区域；
将第二目标区域的图像坐标作为导管下介质目标的图像坐标。
本发明通过第一定位网络进行目标降维，通过超分辨率处理进行目标增强，以及通过第二定位网络进行目标定位，得到导管下介入目标的图像坐标，实现对微小病变区域进行有效识别，提高微小病变区域的定位精度，提高导管介入穿刺的准确性。
以上实施例仅为本申请的示例性实施例，不用于限制本申请，本申请的保护范围由权利要求书限定。本领域技术人员可以在本申请的实质和保护范围内，对本申请做出各种修改或等同替换，这种修改或等同替换也应视为落在本申请的保护范围内。

Claims (9)

1.一种基于小目标检测的导管下介入目标定位方法，其特征在于：包括以下步骤：
获取用于识别导管下介入目标的医学影像作为第一检测图像；
通过第一定位网络以清除非导管下介入目标的图像特征的方式，对所述第一检测图像进行目标降维，得到第二检测图像；
通过超分辨率处理以增强导管下介入目标的图像特征的方式，对所述第二检测图像进行目标增强，得到第三检测图像；
再通过第二定位网络以识别导管下介入目标的图像特征的方式，对所述第三检测图像进行目标定位，得到导管下介入目标的图像坐标；
通过超分辨率处理以增强导管下介入目标的图像特征的方式，对第二检测图像进行目标增强，得到第三检测图像，包括：
将第二检测图像中第一目标区域与第三检测图像中第一目标区域间的差异度最小化，作为超分辨率处理的第一优化目标，第一优化目标的表达式为：
R1=min{1/[1+sim(g21,g31)]}；式中，R1为第一优化目标，min为最小化运算符，sim为相似度运算符，g21为第二检测图像中第一目标区域，g31为第三检测图像中第一目标区域，sim(g21,g31)为g21和g31之间的相似度；将第二检测图像与第三检测图像间的差异度最大化，作为超分辨率处理的第二优化目标，第二优化目标的表达式为：
R2=max{1/[1+sim(G2,G3)]}；式中，R2为第二优化目标，max为最大化运算符，sim为相似度运算符，G2为第二检测图像，G3为第三检测图像，sim(G2,G3)为G2和G3之间的相似度；
将超分辨率处理的可设定参数的取值范围作为约束条件；
基于第一优化目标和第二优化目标，在约束条件下对超分辨率处理的设定参数中进行求解，得到超分辨率处理的可设定参数的最优取值；
根据超分辨率处理的可设定参数的最优取值，对第二检测图像进行超分辨率处理，得到第三检测图像；
超分辨率处理通过拉普拉斯金字塔进行重建，超分辨率处理的可设定参数包括拉普拉斯金子塔的高斯模糊设定参数和下采样设定参数、以及拉普拉斯金子塔的融合重构权重。
2.根据权利要求1所述的一种基于小目标检测的导管下介入目标定位方法，其特征在于：所述第一定位网络的构建，包括：
随机选取多个第一检测图像作为第一样本图像，并标记出第一样本图像中非导管下介入目标的图像区域作为第一目标区域；
将第一样本图像作为第一YOLO V5神经网络的输入项，将第一目标区域作为第一YOLOV5神经网络的输出项；
利用所述第一YOLO V5神经网络对第一YOLO V5神经网络的输入项和第一YOLO V5神经网络的输出项进行学习训练，得到所述第一定位网络；
所述第一定位网络的表达式为：
L_no= YOLO V5_1（G）；
式中，L_no为第一目标区域，G为第一样本图像，YOLO V5_1为第一YOLO V5神经网络。
3.根据权利要求2所述的一种基于小目标检测的导管下介入目标定位方法，其特征在于：通过第一定位网络以清除非导管下介入目标的图像特征的方式，对所述第一检测图像进行目标降维，得到第二检测图像，包括：
将第一检测图像输入至第一定位网络中，得到第一检测图像中的第一目标区域，所述第一目标区域对应于非导管下介入目标的图像区域；
在第一检测图像中提取出第一目标区域的多个邻域；
将第一目标区域的多个邻域进行聚类分析，得到多个区域集合；
将邻域数量最多的区域集合中的所有邻域进行像素加权平均，得到填充像素；
将填充像素填充至第一检测图像的第一目标区域中，得到第二检测图像。
4.根据权利要求3所述的一种基于小目标检测的导管下介入目标定位方法，其特征在于：所述第二定位网络的构建，包括：
随机选取多个第三检测图像作为第二样本图像，将第二样本图像中的导管下介入目标的图像区域作为第二目标区域；
将所述第三检测图像作为第二YOLO V5神经网络的输入项，将第二目标区域作为第二YOLO V5神经网络的输出项；
利用所述第二YOLO V5神经网络对第二YOLO V5神经网络的输入项和第二YOLO V5神经网络的输出项进行学习训练，得到所述第二定位网络；
所述第二定位网络的表达式为：
L_yes= YOLO V5_2（G2）；
式中，L_yes为第二目标区域，G2为第二样本图像，YOLO V5_2为第二YOLO V5神经网络。
5.根据权利要求4所述的一种基于小目标检测的导管下介入目标定位方法，其特征在于：通过第二定位网络以识别导管下介入目标的图像特征的方式，对所述第三检测图像进行目标定位，得到导管下介入目标的图像坐标，包括：
将第三检测图像输入至第二定位网络，由第二定位网格输出第三检测图像中的第二目标区域；
将第二目标区域的图像坐标作为导管下介质目标的图像坐标。
6.根据权利要求5所述的一种基于小目标检测的导管下介入目标定位方法，其特征在于：所述第一检测图像、第二检测图像和第三检测图像的图像像素坐标矩阵相一致。
7.根据权利要求6所述的一种基于小目标检测的导管下介入目标定位方法，其特征在于：所述第二YOLO V5神经网络和第一YOLO V5神经网络的网络结构相同。
8.根据权利要求7所述的一种基于小目标检测的导管下介入目标定位方法，其特征在于：所述相似度运算符包括以下计算方式中的至少一种：欧氏距离、皮尔逊相关系数、结构性相似度。
9.一种应用权利要求1-8任一项所述的一种基于小目标检测的导管下介入目标定位方法的目标定位系统，其特征在于，包括：
数据采集单元，包括X线透视仪、CT扫描仪、B型超声仪，用于获取用于识别导管下介入目标的医学影像作为第一检测图像；
数据处理单元，用于通过第一定位网络以清除非导管下介入目标的图像特征的方式，对所述第一检测图像进行目标降维，得到第二检测图像；
用于通过超分辨率处理以增强导管下介入目标的图像特征的方式，对所述第二检测图像进行目标增强，得到第三检测图像；以及
用于再通过第二定位网络以识别导管下介入目标的图像特征的方式，对所述第三检测图像进行目标定位，得到导管下介入目标的图像坐标；
数据存储单元，用于存储第一定位网络、第二定位网络。
CN202311543036.XA 2023-11-20 2023-11-20 一种基于小目标检测的导管下介入目标定位方法及系统 Active CN117252927B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311543036.XA CN117252927B (zh) 2023-11-20 2023-11-20 一种基于小目标检测的导管下介入目标定位方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311543036.XA CN117252927B (zh) 2023-11-20 2023-11-20 一种基于小目标检测的导管下介入目标定位方法及系统

Publications (2)

Publication Number Publication Date
CN117252927A CN117252927A (zh) 2023-12-19
CN117252927B true CN117252927B (zh) 2024-02-02

Family

ID=89129898

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311543036.XA Active CN117252927B (zh) 2023-11-20 2023-11-20 一种基于小目标检测的导管下介入目标定位方法及系统

Country Status (1)

Country Link
CN (1) CN117252927B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101809618A (zh) * 2007-10-01 2010-08-18 皇家飞利浦电子股份有限公司 对介入工具的探测和跟踪
CN114170608A (zh) * 2021-12-01 2022-03-11 上海东普信息科技有限公司 超分辨文本图像识别方法、装置、设备及存储介质
CN114332019A (zh) * 2021-12-29 2022-04-12 小荷医疗器械(海南)有限公司 内窥镜图像检测辅助系统、方法、介质和电子设备
CN115082775A (zh) * 2022-07-27 2022-09-20 中国科学院自动化研究所 基于图像分块的超分辨率增强小目标检测方法
CN115330696A (zh) * 2022-07-21 2022-11-11 推想医疗科技股份有限公司 一种支架的检测方法、装置、设备及存储介质
KR20230048727A (ko) * 2021-10-05 2023-04-12 인하대학교 산학협력단 적대적 초해상도 다중 스케일 특징맵 학습 및 객체 검출기
WO2023070968A1 (zh) * 2021-10-29 2023-05-04 苏州润迈德医疗科技有限公司 介入手术机器人系统以及导航方法
CN116523739A (zh) * 2023-02-28 2023-08-01 中国科学院重庆绿色智能技术研究院 一种无监督的隐式建模盲超分辨重建方法及装置
US20230309943A1 (en) * 2019-01-11 2023-10-05 Pie Medical Imaging B.V. Methods and systems for dynamic coronary roadmapping

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9225889B1 (en) * 2014-08-18 2015-12-29 Entropix, Inc. Photographic image acquisition device and method
JP7429120B2 (ja) * 2017-04-20 2024-02-07 ザ クリーヴランド クリニック ファウンデーション ホログラフィック画像ガイダンスのための非血管性経皮処置のシステム及び方法
KR102305965B1 (ko) * 2021-05-25 2021-09-29 재단법인 아산사회복지재단 가이드와이어 검출 방법 및 장치

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101809618A (zh) * 2007-10-01 2010-08-18 皇家飞利浦电子股份有限公司 对介入工具的探测和跟踪
US20230309943A1 (en) * 2019-01-11 2023-10-05 Pie Medical Imaging B.V. Methods and systems for dynamic coronary roadmapping
KR20230048727A (ko) * 2021-10-05 2023-04-12 인하대학교 산학협력단 적대적 초해상도 다중 스케일 특징맵 학습 및 객체 검출기
WO2023070968A1 (zh) * 2021-10-29 2023-05-04 苏州润迈德医疗科技有限公司 介入手术机器人系统以及导航方法
CN116999167A (zh) * 2021-10-29 2023-11-07 苏州润迈德智能科技发展有限公司 介入手术机器人系统以及导航方法
CN114170608A (zh) * 2021-12-01 2022-03-11 上海东普信息科技有限公司 超分辨文本图像识别方法、装置、设备及存储介质
CN114332019A (zh) * 2021-12-29 2022-04-12 小荷医疗器械(海南)有限公司 内窥镜图像检测辅助系统、方法、介质和电子设备
WO2023124876A1 (zh) * 2021-12-29 2023-07-06 小荷医疗器械(海南)有限公司 内窥镜图像检测辅助系统、方法、介质和电子设备
CN115330696A (zh) * 2022-07-21 2022-11-11 推想医疗科技股份有限公司 一种支架的检测方法、装置、设备及存储介质
CN115082775A (zh) * 2022-07-27 2022-09-20 中国科学院自动化研究所 基于图像分块的超分辨率增强小目标检测方法
CN116523739A (zh) * 2023-02-28 2023-08-01 中国科学院重庆绿色智能技术研究院 一种无监督的隐式建模盲超分辨重建方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
A survey of catheter tracking concepts and methodologies;Ardit Ramadan等;《Medical Image Analysis 》;第82卷;第1-26页 *
基于FCM聚类算法与自适应阈值的冠脉钙化分割与量化;赵聪;陈晓冬;张佳琛;汪毅;贾忠伟;陈向志;;中国生物医学工程学报(第05期);第41-47页 *

Also Published As

Publication number Publication date
CN117252927A (zh) 2023-12-19

Similar Documents

Publication Publication Date Title
US11633169B2 (en) Apparatus for AI-based automatic ultrasound diagnosis of liver steatosis and remote medical diagnosis method using the same
CN107361791B (zh) 一种快速超分辨血流成像方法
JP4891637B2 (ja) 画像解析装置
CN108420529A (zh) 基于电磁定位技术和术中图像引导的手术导航仿真方法
CN1599916A (zh) 用于在空间上增强有噪影像中的结构的医学观察系统和方法
CN111681254A (zh) 用于血管动脉瘤介入手术导航系统的导管检测方法及系统
Daoud et al. A hybrid camera-and ultrasound-based approach for needle localization and tracking using a 3D motorized curvilinear ultrasound probe
CN117252927B (zh) 一种基于小目标检测的导管下介入目标定位方法及系统
CN109919953B (zh) 颈动脉内中膜厚度测量的方法、系统和设备
CN117012344B (zh) 一种4cmos相机采集的图像分析方法
CN111466952B (zh) 一种超声内镜与ct三维图像实时转化方法和系统
CN112465771B (zh) 脊柱核磁共振图像的分析方法、装置和计算机设备
CN116309647B (zh) 颅脑病灶图像分割模型构建方法、图像分割方法及设备
CN115953420B (zh) 深度学习网络模型以及医疗图像分割方法、装置和系统
CN116649994A (zh) Cta与dsa图像智能融合方法、装置、设备及介质
CN116109603A (zh) 基于造影图像特征提取的前列腺癌病灶检测模型构建方法
CN113192099B (zh) 一种组织提取方法、装置、设备和介质
CN114708283A (zh) 图像目标的分割方法、装置、电子设备及存储介质
KR20220135683A (ko) 저선량 ct 영상 노이즈 저감 장치와 이를 위한 학습 장치 및 방법
CN113177953A (zh) 肝脏区域分割方法、装置、电子设备及存储介质
CN113808105B (zh) 一种基于超声扫查的病灶检测方法
CN114418920B (zh) 一种内窥镜多焦点图像融合方法
CN113693739B (zh) 肿瘤导航修正方法、装置及便携式荧光影像导航设备
CN116807361B (zh) Ct影像显示方法、电子设备及装置
CN116549019A (zh) 生物体组织内标记物的超声识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant