CN111513823B - 基于多任务神经网络与偏转扫描的穿刺针定位系统 - Google Patents

基于多任务神经网络与偏转扫描的穿刺针定位系统 Download PDF

Info

Publication number
CN111513823B
CN111513823B CN202010367691.4A CN202010367691A CN111513823B CN 111513823 B CN111513823 B CN 111513823B CN 202010367691 A CN202010367691 A CN 202010367691A CN 111513823 B CN111513823 B CN 111513823B
Authority
CN
China
Prior art keywords
needle
puncture needle
angle
neural network
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010367691.4A
Other languages
English (en)
Other versions
CN111513823A (zh
Inventor
高君
张琳
刘西耀
刘东权
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Stork Healthcare Technology Co ltd
Original Assignee
Chengdu Stork Healthcare Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Stork Healthcare Technology Co ltd filed Critical Chengdu Stork Healthcare Technology Co ltd
Priority to CN202010367691.4A priority Critical patent/CN111513823B/zh
Publication of CN111513823A publication Critical patent/CN111513823A/zh
Application granted granted Critical
Publication of CN111513823B publication Critical patent/CN111513823B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/34—Trocars; Puncturing needles
    • A61B17/3403—Needle locating or guiding means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/34—Trocars; Puncturing needles
    • A61B17/3403—Needle locating or guiding means
    • A61B2017/3413—Needle locating or guiding means guided by ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/102—Modelling of surgical devices, implants or prosthesis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Geometry (AREA)
  • Robotics (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本发明公开了医学图像分析与医学图像介入技术领域的一种基于多任务神经网络与偏转扫描的穿刺针定位方法和系统，方法的步骤包括：A，实时采集偏转扫描超声图像和正常超声图像；B，将偏转扫描超声图像输入预先训练好的多任务神经网络，输出所述偏转扫描超声图像中含有穿刺针的概率值、所述穿刺针的针体分割图以及所述穿刺针的针尖分割图；C，判断含有穿刺针的概率值是否大于第一阈值，如果是，则根据针体分割图和针尖分割图，在正常超声图像中显示穿刺针的融合图。本发明将偏转扫描与多任务神经网络相结合，大幅度提高了现有方法的定位精度，降低了算法运算时间，可以达到实时实现针体和针尖的定位和增强显示。

Description

基于多任务神经网络与偏转扫描的穿刺针定位系统
技术领域
本发明涉及医学图像分析与医学图像介入技术领域，具体而言，涉及基于多任务神经网络与偏转扫描的穿刺针定位方法和系统。
背景技术
医学超声技术被广泛的运用在治疗性注射、活检、麻醉等介入性手术中。在这些应用在穿刺针的针体的清晰显示与针尖位置的精准定位是十分关键的。但是由于穿刺针的表面光滑的特性，在超声穿刺成像时，穿刺针的显示往往十模糊，甚至是有时是不可见的。另外，由于生物体组织的复杂性，常常有骨头以及软组织等高亮反射信号出现在穿刺针的介入路径上，从而进一步的影响穿刺针的显示。所以精确的检测与定位穿针现在仍然是一个非常具有挑战性的工作。
现有的穿针定位与增强方法与系统主要包括两个大类：基于硬件的方法与基于软件算法的方法。
基于硬件的方法主要包括：a)主动磁导航技术，b)被动磁定位技术，c)红外导航技术，d)穿刺架辅助导引技术等。这些技术主要是动过增强硬件设备，通过不同原理的定位技术，定位穿刺针进入人体后的位置，并显示在超声图像上，为临床医生准确的把握穿刺在人体内的位置，减小穿刺中的风险。
基于软件的方法主要包括：a)线检测算法，b)3D超声下的定位技术，c)基于投影的定位技术，d)基于学习的定位技术等等，这些技术部依赖于增加硬件设备，他们使用不同的软件算法，检测并定位穿刺针在超声图像中的位置，并增强显示到超声图像上，为超声医师提供准确的穿刺针在人体内的信息，减少穿刺中的风险。
然而，基于硬件的技术需要增加额外的设备，价格非常昂贵，增加患者的开支，同时使用起来限制很多，对使用环境要求高。软件的方法中的a)线检测算法，b)3D超声下的定位技术和c)基于投影的定位技术方法是基于穿刺针在超声图像中的强度信息来检测定位穿刺针，但是由于穿刺针表面光滑，并且超声波的反射特性作用下，穿刺针在图像中的强度很微弱，有时甚至看不见，同时由于人体组织结构的复杂性，进一步的影响了穿刺针的强度信息。所以此类方法检测定位非常的不稳定。
基于学习的方法依靠算法本身的能力，很大程度上缓解了算法稳定性的问题，但是由于算法的复杂性，很多算法不能实时实现穿刺针的定位(需要满足每秒30帧的处理速度)。论文“Hatt,C.R.,et al.:Enhanced needle localization in ultrasound usingbeam steering and learning-based segmentation.Comput Med Imaging Graph,41,46-54(2015)”公开了一种基于机器学习的二维波束引导超声图像针分割方法，采用像素级分类器来进行针的分割，然后利用Radon变换从分割后的图像中找到针的位置和方向，但是采用该方法，运行时间较长，定位的准确性也有待提高。
发明内容
本发明的目的在于克服现有技术中所存在的上述不足，结合偏转扫描与多任务神经网络，实现了穿刺针的实时定位和增强，不仅能实时准确定位针尖，也能实时定位针体，大大降低算法运算时间，提供了一种基于多任务神经网络与偏转扫描的穿刺针定位方法和系统。
为了实现上述发明目的，本发明提供了以下技术方案：
基于多任务神经网络与偏转扫描的穿刺针定位方法，包括以下步骤：
S1，采用超声波束的偏转角度采集第一偏转扫描超声图像；
S2，将第一偏转扫描超声图像输入预先训练好的多任务神经网络，输出第一偏转扫描超声图像中含有穿刺针的第一概率值；
S3，判断第一概率值是否大于第一阈值，如果是，则设置当前偏转角度为超声前端发射角度，执行步骤S4，否则，调整超声波束的偏转角度，返回步骤S1；
S4，采用超声前端发射角度采集第二偏转扫描超声图像，同时采用超声波束的常规角度采集正常超声图像；
S5，将第二偏转扫描超声图像输入预先训练好的多任务神经网络，输出第二偏转扫描超声图像中含有穿刺针的第二概率值、穿刺针的针体分割图以及穿刺针的针尖分割图；
S6，判断第二概率值是否大于第一阈值，如果是，则根据针体分割图和针尖分割图，在正常超声图像中显示穿刺针的融合图；否则，调整超声波束的偏转角度，返回步骤S4。
作为本发明的优选方案，多任务神经网络包括图像分割器模型和图像分类器模型，图像分割器模型主干是一个U-net神经网络，并且在U-net的最后一个上采样层添加了两个分支网络，其中一个分支网络用于分割出穿刺针体，输出针体分割图；另一个分支网络用于分割出穿刺针尖，输出针尖分割图。
进一步的，图像分类器模型是在U-net神经网络最后一个下采样层添加一个第二分支网络，第二分支网络输出概率值，用于判别偏转扫描超声图像中是否含有穿刺针。
进一步的，多任务神经网络在训练的过程中采用了鉴别器模型，鉴别器模型为PatchGan对抗网络，多任务神经网络训练过程包括以下步骤：
A1：将多任务神经网络输出的针体分割图以及针尖分割图输入到鉴别器模型，同时输入鉴别器模型的还包括标记图像，标记图像上对穿刺针的针尖和针体进行了人为标注；
A2：鉴别器模型输出N×N的矩阵块的判别结果，鉴别器模型基于二值交叉熵训练得到；
A3：根据判别结果调整多任务神经网络的参数。
作为本发明的优选方案，根据针体分割图和针尖分割图，在正常超声图像中显示穿刺针的融合图，具体包括以下步骤：
B1：将针体分割图和针尖分割图分别进行中值滤波，输出滤波后的针体分割滤波图和针尖分割滤波图；
B2：采用质心检测算法，从针尖分割滤波图中获取针尖的位置；
采用最小二乘回归算法，检测出针体分割滤波图中的穿刺针角度；
根据针尖的位置和穿刺针角度，生成偏转扫描超声图像中针尾的坐标；
B3：将针尾的坐标进行偏转角度—正常角度的坐标变换，输出穿刺针在正常超声图像中的针尾坐标；
将针尖的位置进行偏转角度—正常角度的坐标变换，输出穿刺针在正常超声图像中的针尖坐标；
根据穿刺针在正常超声图像中的针尾坐标和针尖坐标，生成穿刺针图像，并在正常超声图像中显示穿刺针图像。
作为本发明的优选方案，根据穿刺针在正常超声图像中的角度和针尖位置，生成一个宽度为8个像素宽的穿刺针；
根据公式SFusion＝max(γSMask+NI,255)，0≤γ≤1，实现穿刺针与所述正常超声图像的融合，在所述正常超声图像中显示所述穿刺针图像，其中，NI为所述正常超声图像，γ为融合系数，SMask是穿刺针的图像，SFusion是融合后的图像。
进一步的，步骤S6具体包括以下步骤：
S601，判断第二概率值是否大于第一阈值，如果是，则执行步骤S602，否则，调整超声波束的入射角度，返回步骤S4；
S602，根据针体分割图和针尖分割图，计算穿刺针的插入角度和针尖的位置；
S603，根据超声波束的入射角度和穿刺针的插入角度，计算参考角度；
S604，如果参考角度小于或等于第二阈值，则根据针体分割图和针尖分割图，在正常超声图像中显示穿刺针的融合图；否则，调整超声波束的入射角度，使得超声波束的入射方向与穿刺针垂直或近似垂直，返回步骤S4。
进一步的，参考角度的计算公式为
Delta_angle＝abs(90°-shaft_angle-FE_angle)
其中，shaft_angle为穿刺针的插入角度，FE_angle为偏转角度，Delta_angle为参考角度。
作为本发明的优选方案，当超声波束的入射方向与穿刺针近似垂直时，85≤α≤95，其中，α是超声波束的入射角度和穿刺针的插入角度之和。
基于相同的构思，本发明还提出了基于多任务神经网络与偏转扫描的穿刺针定位系统，包括超声波束发射部件、多任务神经网络模块和穿刺融合增强模块，
超声波束发射部件，交替发射正常角度和偏转角度的超声波束，并获得偏转扫描超声图像和正常超声图像，并将偏转扫描超声图像输入到多任务神经网络模块，将正常超声图像输出到穿刺融合增强模块；
多任务神经网络模块接收超声波束发射部件输入的偏转扫描超声图像，根据预先训练好的多任务神经网络，生成穿刺针的针体分割图以及针尖分割图，并同时输出偏转扫描超声图像中含有穿刺针的概率值，当概率值大于阈值时，输出穿刺针的针体分割图以及针尖分割图到穿刺融合增强模块；
穿刺融合增强模块根据穿刺针的针体分割图以及针尖分割图，在正常超声图像中显示穿刺针的融合图。
与现有技术相比，本发明的有益效果：
1.本发明的一种基于多任务神经网络与偏转扫描的穿刺针定位方法，将偏转扫描超声图像输入预先训练好的多任务神经网络，输出偏转扫描超声图像中含有穿刺针的概率值、穿刺针的针体分割图以及穿刺针的针尖分割图；比较概率值和第一阈值，用于确定穿刺针是否出现在偏转扫描超声图像中，当确定穿刺针出现在偏转扫描超声图像中时，根据针体分割图和针尖分割图，在正常超声图像中显示穿刺针的融合图。上述方法将偏转扫描与多任务神经网络相结合，大幅度提高了现有方法的定位精度。
2.通过对U-net神经网络进行改进，运用了多任务神经网络，能同时输出偏转扫描超声图像中含有穿刺针的概率值、穿刺针的针体分割图以及穿刺针的针尖分割图，降低了算法运算时间，可以实时实现针体和针尖的定位和增强显示。
3.本发明根据所述针体分割图和所述针尖分割图，在所述正常超声图像中显示穿刺针的融合图，增强了穿刺针显示效果。针尖的定位误平均误差为0.23±0.12mm，穿刺针方向定位误差为：0.32°±0.21°，以预测针尖位置与标准位置的间的欧几里距离小于1mm为标准时，穿刺针检测成功率为99.3％，平均处理时间为：0.016±0.005s，每秒大约63帧。实时本发明的方法采用的硬件包括显卡(NVIDIA GeForce GTX 1050Ti 4GB GPU)，处理器(3.70GHz Intel(R)Core(TM)i7-8700k 16GB CPU)，操作系统为Windows PC。
附图说明
图1为本发明一种基于多任务神经网络与偏转扫描的穿刺针定位方法的流程图；
图2为本发明实施例1中发射超声波束的角度示意图；
图3为本发明实施例1中多任务神经网络的网络架构示意图；
图4为本发明实施例1中针体针尖融合预处理流程图；
图5为本发明实施例1中针体融合步骤的流程图；
图6为本发明实施例2中本发明方法的示例效果图。
具体实施方式
下面结合试验例及具体实施方式对本发明作进一步的详细描述。但不应将此理解为本发明上述主题的范围仅限于以下的实施例，凡基于本发明内容所实现的技术均属于本发明的范围。
实施例1
本发明一种基于多任务神经网络与偏转扫描的穿刺针定位方法的流程图如图1所示，具体的，主要包括两个阶段：
第一阶段，
S1，控制超声探头以偏转角度偏转扫描，实时采集偏转扫描超声图像。
S2，将偏转扫描超声图像输入预先训练好的多任务神经网络，输出偏转扫描超声图像中含有穿刺针的概率值。
S3，判断概率值是否大于第一阈值，如果是，则设置当前偏转角度为超声前端发射角度，否则调整偏转角度，返回步骤S1。
超声探头正常垂直扫描和偏转角度偏转扫描的示意图如图2所述，作为优选方案，步骤S3中调整偏转角度的方法为，偏转角度FE_angle以正常垂直扫描角度为起点，每轮次偏转5°后，然后返回步骤S1，进行下一轮偏转扫描超声图像。
因此，超声探头每隔5°发射一次偏转超声波束，获取偏转扫描超声图像，通过多任务神经网络，计算偏转扫描超声图像中含有穿刺针的概率值，如果偏转扫描超声图像中含有穿刺针的概率值小于或等于阈值，则S1-S3步骤循环，直到偏转扫描超声图像中含有穿刺针的概率值大于第一阈值，此时，设置当前偏转角度为超声前端发射角度。通常，设置第一阈值为0.9，也可以根据需求设置。
第二阶段，
S4，控制超声探头采用正常垂直扫描，获取正常超声图像，同时控制超声探头以第一阶段获取的超声前端发射角度偏转扫描，实时采集偏转扫描超声图像。
S5，将采集的偏转扫描超声图像输入预先训练好的多任务神经网络，输出所述偏转扫描超声图像中含有穿刺针的概率值、穿刺针的针体分割图以及穿刺针的针尖分割图。
S6，如果概率值大于第一阈值，根据针体分割图和针尖分割图，在正常超声图像中显示穿刺针的融合图，如果概率值小于或等于第一阈值，返回步骤S4，进行下一轮偏转扫描超声图像的采集和识别。
作为优选方案，根据针体分割图和针尖分割图，在正常超声图像中显示穿刺针的融合图的具体步骤包括：
S61，根据针体分割图和针尖分割图，计算穿刺针的插入角度和针尖的位置；
S62，根据超声前端发射角度和穿刺针的插入角度，计算参考角度，如果参考角度小于或等于第二阈值，则根据所述针体分割图和所述针尖分割图，在所述正常超声图像中显示穿刺针的融合图；否则，调整超声前端发射角度，使得穿刺针与超声前端发射角度最大程度的垂直，然后再返回步骤S4，进行下一轮偏转扫描超声图像的采集和识别。
进一步的，步骤S61中，计算穿刺针的插入角度和针尖的位置的步骤包括：
将针体分割图和针尖分割图分别进行中值滤波，输出滤波后的针体分割滤波图和针尖分割滤波图；
采用质心检测算法，从针尖分割滤波图中获取针尖的位置；
采用最小二乘回归算法，检测出针体分割滤波图中的穿刺针角度。
进一步的，步骤S6中，对概率值小于或等于第一阈值的发生次数进行计数，当概率值小于或等于阈值的情况发生一次，则失败统计计数参数Failue_count加1，如果失败统计计数参数Failue_count连续累计计数达到第三阈值，则返回第一阶段确定超声前端发射角度，只要概率值大于第一阈值的情况发生一次，则失败统计计数参数Failue_count清零。通常第三阈值设置为20次，如果连续20次都没检测到穿刺针，则返回第一阶段的步骤S1，确定超声前端发射角度。
步骤S62中，参考角度用于判断穿刺针与超声前端发射角度是否垂直或接近垂直，通常第二阈值为5°，也可以是其他取值。作为优选方案，参考角度的计算公式为
Delta_angle＝abs(90°-shaft_angle-FE_angle)
其中，shaft_angle为穿刺针的插入角度，FE_angle为偏转角度，Delta_angle为参考角度。
另外，步骤S62中，调整超声前端发射角度，使得穿刺针插入角度与超声前端发射角度垂直或近似垂直，目的在于增强穿刺针在偏转角度图像中的显示强度。超声前端发射角度与穿刺针插入角度垂直，用公式表示为
FE_angle＝90°-shaft_angle
在实际应用中，近似垂直也能达到相同的效果，设α＝FE_angle+shaft_angle，则当85≤α≤95时，就认为超声波束扫描时的方向与穿刺针的针体角度近似垂直。
作为优选方案，第一阶段和第二阶段中，将获取的偏转扫描超声图像输入预先训练好的多任务神经网络，多任务神经网络用于输出三部分：1)偏转扫描超声图像中含有穿刺针的概率值；2)穿刺针的针体的分割图；3)穿刺针针尖分割图。
基于上述三个功能，多任务神经网络也相应地由三部分组成：图像分割器模型、分类器模型、鉴别器模型。多任务神经网络的网络架构如图3所示。
图像分割器模型主干是一个U-net神经网络，U-net神经网络是卷积神经网络的一种变形，其结构画出来形似字母U(见图3)，因而得名U-Net。整个U-net神经网络主要有两部分组成：收缩路径(contracting path)和扩展路径(expanding path)。搜索路径主要是用来捕捉图片中的上下文信息(context information)，而与之相对称的扩展路径则是为了对图片中所需要分割出来的部分进行精准定位(localization)。U-Net神经网络主要优势在于，其他很多深度学习的网络结构需要大量的训练样本和计算资源，但是U-Net基于FCN(Fully Convultional Neural Network，全卷积神经网络)进行改进，并且利用数据增强(data augmentation)可以对一些比较少样本的数据进行训练，特别适合应用于对医学数据的处理(医学数据比一般我们所看到的图片及其他文本数据的获取成本更大，不论是时间还是资源的消耗)，所以医学影像常采用U-Net神经网络对超声图像进行处理。
U-Net神经网络中在收缩路径上提取出来的高像素特征会在升采样(upsampling)过程中与新的特征图(feature map)进行结合，最大程度的保留前面降采样(downsampling)过程一些重要的特征信息。并且为了能使网络结构能更高效的运行，结构中是没有全连接层(fully connected layers)，可以很大程度上减少需要训练的参数，并通过U形结构很好的保留图片中的所有信息。
收缩路径上是每两个3*3的卷积层(unpadded convolutional layers)后会跟一个2*2的最大池化层(Maxpooling layer步长为2)，并且每个卷积层后面采用relu激活函数来对原始图片进行降采样操作，除此之外，每一次降采样都会增加一倍通道数(double thenumber of feature channel)。
在扩展路径的向上采样(deconvolution)中，每一步会有一个2*2的卷积层(激活函数也是relu)和两个3*3的卷积层，同时，每一步的升采样都会加入来自相对应收缩路径的特征图(经裁剪以保持相同的形状shape)。
在网络的最后一层是一个1*1的卷积层，通过这一操作可以将64通道的特征向量转换为所需要的分类结果的数量，因此，U-Net的整个网络一共有23层卷积层。
本发明的图像分割器模型是以U-net神经网络为主干，并对U-net神经网络进行了改进，具体的改进为：在U-net神经网络的第22层卷积层之后，增加了两个分支网络，两个分支网络结构相同，每一个分支网络包括一个2*2的最大池化层和两个3*3的卷积层，卷积层的激活函数也是relu。其中一个分支网络用于分割出穿刺针体，输出针体分割图，另一个分支网络用于分割出穿刺针尖，输出针尖分割图，用SNS(SI,θs)表示针体分割图，用SLM(SI,θs)表示针尖分割图。其中，SI是输入的偏转扫描超声图像，θs是神经网络的参数。
本发明采用了加权二值交叉熵Lns对针体分割图和真实标记图进行比较，对图像分割器模型进行训练。Lns的计算公式如公式(1)所示。
Lns＝wns∑i[-(yi log pi+(1-yi)log(1-pi))] (1)
其中，yi是标注数据，p是偏转图像的像素中穿刺针的概率值，wns是权重值，wns＝T/(2Tc+1)，wns根据类别c得到，c∈(针体，背景)，T是一个训练样本中总的像素点个数，Tc是类别c中像素点的个数。
对于针尖的分割，采用加权均方差LLM作为损失函数，LLM的计算公式如公式(2)所示。
Figure SMS_1
其中，g是针尖的真实标记，
Figure SMS_2
是神经网络预测的针尖的标记，为了在训练中平衡样本数量，增加了权重系数wlm，wlm＝N×(N+Nc)/Nc，wlm根据类别c得到，c∈(针尖，背景)，N是一个训练样本中总的像素点个数，Nc是类别c中像素点的个数。
图像分类器模型是在上述U-net神经网络最后一个下采样层添加了1个第二分支网络，如图3所示，第二分支网络输出偏转扫描超声图像中含有穿刺针的概率值，用于判别偏转扫描超声图像中是否含有穿刺针，当偏转扫描超声图像中有穿刺针时，才进行针体和针尖的融合，图像分类器模型使用传统的二值交叉熵损失函数(LCE)。
鉴别器模型为PatchGan对抗网络模型，只用于多任务神经网络的训练阶段，主要用于去除图像分割器模型输出结果的噪声，提高图像分割器模型输出结果的准确性。
将图像分割器模型输出的针体分割图和针尖分割图输出到鉴别器模型中，同时输入鉴别器模型的还包括真实标记图，真实标记图上对穿刺针的针尖和针体进行了人为标注。鉴别器模型用于预测基于NM图像块的图像分割器模型输出结果是否正确。采用的损失函数为二值交叉熵函数LAD，LAD的计算公式如公式(3)所示。
Figure SMS_3
其中，m表示一个图像块，y是真实的标准(真或假)，p是预测为真(或假)的概率值，鉴别器模型用于将针体分割图和针尖分割图融合后，与真实标记图进行比较判断，根据判断结果，调整多任务神经网络的参数，使得输出的结果有较高的准确性。
通过鉴别器模型对图像分割器模型进行训练包括以下步骤：
设定SNS(SI,θs)表示针体分割图，SLM(SI,θs)表示针尖分割图，训练时，以L(θs)为最小为目的。L(θs)的计算公式如公式(4)所示。
L(θs)＝μ1LNS(SNS(SI；θs),p)+μ2LLM(SLM(SI；θs),q)+μ3LAD(D(m；θd),t) (4)
其中，p是真实标记图中的针体部分，q是真实标记图中的针尖部分，μ1是图像分割器模型中针体分割损失函数的加权系数，μ2是图像分割器模型中针尖分割损失函数的加权系数，μ3是鉴别器模型的损失函数的加权系数。m是针体分割图和针尖分割图的连接图，t是值为1的16×16图像块。鉴别器模型还受到公式(5)的约束，将针体分割图和针尖分割图融合后，与真实标记图进行比较判断。
L(θd)＝LAD(D(Contatenate(p,q)；θd),t)+LAD(D(m；θd),f) (5)
其中，f是值为0的16×16图像块。
图像分割器模型以Adam优化器，batch size为4训练30个epoch。公式(4)中，μ1设置为0.5，μ2设置为0.5，μ3设置为0.1。图像分割器模型的学习速率设置为1×e-6，对抗网络鉴别器模型的学习速率设置为2×e-4。分类器当分割器被训练为10个epoch后开始进行训练，batch size为16，以Adam优化器，学习率为5×e-4。在训练分类器时，分割器模型的参数会被锁定，不会因为分类器的训练而改变。
当图像分类器模型输出的概率值大于或等于阈值(例如0.9)时，判定偏转扫描超声图像中含有穿刺针，可以进行后续的针体针尖融合。针体针尖融合主要包括预处理步骤和针体融合步骤。
预处理步骤如图4所示，包括以下步骤：
将针体分割图和针尖分割图分别进行中值滤波，输出滤波后的针体分割滤波图和针尖分割滤波图；将针体分割图和针尖分割图分别进行中值滤波可以用公式(6)表示，
SNS_M＝median_fiter(SNS),SLM_M＝median_fiter(SLM) (6)
采用质心检测算法，在SLM_M图像中检测出质心(xtip，ytip)，该质心的位置作为针尖分割滤波图中获取针尖的位置；
在SLM_M图像中采用最小二乘回归算法估算针体角度αs。
针体融合步骤如图5所示，包括以下步骤：
接收预处理步骤输出的针尖的位置(xtip，ytip)和穿刺针角度αs，根据针尖质心和针体角度得到针尾坐标(xtail，ytail)，此时的针尖的位置(xtip，ytip)是在偏转扫描超声图像中的位置，针尾坐标(xtail，ytail)是在偏转扫描超声图像中的针尾坐标。
将针尖的位置(xtip，ytip)进行偏转角度—正常角度的坐标变换，输出穿刺针针尖在正常超声图像中的坐标(xtip_n，ytip_n)，坐标(xtip_n，ytip_n)的计算公式如公式(7)所示。
xtip_n＝xtip-ytip×sin(θ)，ytip_n＝ytip×cos(θ)(7)
将针尾坐标(xtail，ytail)进行偏转角度—正常角度的坐标变换，输出穿刺针针尾在正常超声图像中坐标(xtail_n，ytail_n)，坐标(xtail_n，ytail_n)的计算公式如公式(8)所示。
xtail_n＝xtail-ytail×sin(θ)，ytail_n＝ytail×cos(θ) (8)
其中，θ是超声波束扫描时的偏转角度，当超声波束扫描时的方向与穿刺针的针体角度呈90°时，穿刺针显示的效果最好。
根据穿刺针在正常超声图像中的针尾和针尖位置，生成一个宽度为8个像素的穿刺针SMask；根据公式(9)实现穿刺针与正常超声图像的融合，在正常超声图像中显示穿刺针图像。
SFusion＝max(γSMask+NI,255)，0≤γ≤1 (9)
其中，NI为所述正常超声图像，γ为融合系数，SMask是穿刺针的图像，SFusion是融合后的图像。
定性的结果，图6中的(a)～(f)图显示了本发明方法的示例，其中，在正常超声图像中几乎看不见针尖和针体(图6a与图6d)，但是采用本发明的方法可以精确定位针尖和针体(图6c与图6f)。这是因为本发明的方法检测并定位了转向图像中的穿刺针，然后将结果融合回了正常角度的图像中。图6b与图6e为中间结果，即多任务分割网络输出的针体与针尖的融合图。

Claims (7)

1.基于多任务神经网络与偏转扫描的穿刺针定位系统，其特征在于，包括超声波束发射部件、多任务神经网络模块和穿刺融合增强模块，
所述超声波束发射部件，交替发射正常角度和偏转角度的超声波束，并获得偏转扫描超声图像和正常超声图像，并将所述偏转扫描超声图像输入到所述多任务神经网络模块，将所述正常超声图像输出到所述穿刺融合增强模块；
所述多任务神经网络模块接收所述超声波束发射部件输入的所述偏转扫描超声图像，根据预先训练好的多任务神经网络，生成穿刺针的针体分割图以及针尖分割图，并同时输出所述偏转扫描超声图像中含有穿刺针的概率值，当所述概率值大于阈值时，输出所述穿刺针的针体分割图以及针尖分割图到所述穿刺融合增强模块；
所述穿刺融合增强模块根据所述穿刺针的针体分割图以及针尖分割图，在所述正常超声图像中显示穿刺针的融合图，所述显示穿刺针的融合图具体通过以下步骤实现：
B1：将所述针体分割图和所述针尖分割图分别进行中值滤波，输出滤波后的针体分割滤波图和针尖分割滤波图；
B2：采用质心检测算法，从所述针尖分割滤波图中获取针尖的位置；
采用最小二乘回归算法，检测出所述针体分割滤波图中的穿刺针角度；
根据所述针尖的位置和所述穿刺针角度，生成所述偏转扫描超声图像中针尾的坐标；
B3：将所述针尾的坐标进行偏转角度—正常角度的坐标变换，输出穿刺针在所述正常超声图像中的针尾坐标；
将所述针尖的位置进行偏转角度—正常角度的坐标变换，输出穿刺针在所述正常超声图像中的针尖坐标；
根据所述穿刺针在正常超声图像中的针尾坐标和针尖坐标，生成穿刺针图像，并在所述正常超声图像中显示所述穿刺针图像；
根据所述穿刺针在正常超声图像中的角度和所述针尖位置，生成一个宽度为8个像素宽的穿刺针；
根据公式
Figure QLYQS_1
，/>
Figure QLYQS_2
，实现穿刺针与所述正常超声图像的融合，在所述正常超声图像中显示所述穿刺针图像，其中，NI为所述正常超声图像，/>
Figure QLYQS_3
为融合系数，SMask是穿刺针的图像，SFusion是融合后的图像；
所述系统执行了基于多任务神经网络与偏转扫描的穿刺针定位方法，所述方法包括以下步骤：
S1，采用超声波束的偏转角度采集第一偏转扫描超声图像；
S2，将所述第一偏转扫描超声图像输入预先训练好的多任务神经网络，输出所述第一偏转扫描超声图像中含有穿刺针的第一概率值；
S3，判断所述第一概率值是否大于第一阈值，如果是，则设置当前偏转角度为超声前端发射角度，执行步骤S4，否则，调整所述超声波束的偏转角度，返回所述步骤S1；
S4，采用所述超声前端发射角度采集第二偏转扫描超声图像，同时采用超声波束的常规角度采集正常超声图像；
S5，将所述第二偏转扫描超声图像输入预先训练好的多任务神经网络，输出所述第二偏转扫描超声图像中含有穿刺针的第二概率值、所述穿刺针的针体分割图以及所述穿刺针的针尖分割图；
S6，判断所述第二概率值是否大于第一阈值，如果是，则根据所述针体分割图和所述针尖分割图，在所述正常超声图像中显示穿刺针的融合图；否则，调整所述超声波束的偏转角度，返回所述步骤S4。
2.根据权利要求1所述的基于多任务神经网络与偏转扫描的穿刺针定位系统，其特征在于，所述多任务神经网络包括图像分割器模型和图像分类器模型，所述图像分割器模型主干是一个U-net神经网络，并且在U-net的最后一个上采样层添加了两个分支网络，其中一个分支网络用于分割出穿刺针体，输出所述针体分割图；另一个分支网络用于分割出穿刺针尖，输出所述针尖分割图。
3.根据权利要求2所述的基于多任务神经网络与偏转扫描的穿刺针定位系统，其特征在于，所述图像分类器模型是在所述U-net神经网络最后一个下采样层添加一个第二分支网络，所述第二分支网络输出概率值，用于判别所述偏转扫描超声图像中是否含有穿刺针。
4.根据权利要求3所述的基于多任务神经网络与偏转扫描的穿刺针定位系统，其特征在于，所述多任务神经网络在训练的过程中采用了鉴别器模型，所述鉴别器模型为PatchGan对抗网络，所述多任务神经网络训练过程包括以下步骤：
A1：将所述多任务神经网络输出的所述针体分割图以及所述针尖分割图输入到所述鉴别器模型，同时输入所述鉴别器模型的还包括标记图像，所述标记图像上对穿刺针的针尖和针体进行了人为标注；
A2：所述鉴别器模型输出N×N的矩阵块的判别结果，所述鉴别器模型基于二值交叉熵训练得到；
A3：根据所述判别结果调整所述多任务神经网络的参数。
5.根据权利要求1-4任一所述的基于多任务神经网络与偏转扫描的穿刺针定位系统，其特征在于，步骤S6具体包括以下步骤：
S601，判断所述第二概率值是否大于第一阈值，如果是，则执行步骤S602，否则，调整超声波束的入射角度，返回步骤S4；
S602，根据所述针体分割图和所述针尖分割图，计算穿刺针的插入角度和针尖的位置；
S603，根据所述超声波束的入射角度和所述穿刺针的插入角度，计算参考角度；
S604，如果所述参考角度小于或等于第二阈值，则根据所述针体分割图和所述针尖分割图，在所述正常超声图像中显示穿刺针的融合图；否则，调整所述超声波束的入射角度，使得所述超声波束的入射方向与所述穿刺针垂直或近似垂直，返回所述步骤S4。
6.根据权利要求5所述的基于多任务神经网络与偏转扫描的穿刺针定位系统，其特征在于，所述参考角度的计算公式为
Figure QLYQS_4
其中，shaft_angle为穿刺针的插入角度，FE_angle为偏转角度，Delta_angle为参考角度。
7.根据权利要求6所述的基于多任务神经网络与偏转扫描的穿刺针定位系统，其特征在于，当所述超声波束的入射方向与所述穿刺针近似垂直时，
Figure QLYQS_5
，其中，/>
Figure QLYQS_6
是超声波束的入射角度和穿刺针的插入角度之和。
CN202010367691.4A 2020-04-30 2020-04-30 基于多任务神经网络与偏转扫描的穿刺针定位系统 Active CN111513823B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010367691.4A CN111513823B (zh) 2020-04-30 2020-04-30 基于多任务神经网络与偏转扫描的穿刺针定位系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010367691.4A CN111513823B (zh) 2020-04-30 2020-04-30 基于多任务神经网络与偏转扫描的穿刺针定位系统

Publications (2)

Publication Number Publication Date
CN111513823A CN111513823A (zh) 2020-08-11
CN111513823B true CN111513823B (zh) 2023-06-23

Family

ID=71907518

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010367691.4A Active CN111513823B (zh) 2020-04-30 2020-04-30 基于多任务神经网络与偏转扫描的穿刺针定位系统

Country Status (1)

Country Link
CN (1) CN111513823B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113450538A (zh) * 2021-06-28 2021-09-28 杭州电子科技大学 基于痛苦表情识别及跌倒行为检测的警示系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105496515A (zh) * 2015-12-04 2016-04-20 深圳华声医疗技术有限公司 穿刺增强方法及系统
CN105761229A (zh) * 2016-03-15 2016-07-13 深圳市理邦精密仪器股份有限公司 超声穿刺针图像的增强方法及装置
CN105844650A (zh) * 2016-04-14 2016-08-10 深圳市理邦精密仪器股份有限公司 超声引导下穿刺的针信号增强方法及装置
CN106388911A (zh) * 2016-09-21 2017-02-15 深圳华声医疗技术有限公司 超声图像标识的显示方法及装置
CN109044398A (zh) * 2018-06-07 2018-12-21 深圳华声医疗技术股份有限公司 超声系统成像方法、装置及计算机可读存储介质
WO2020036968A1 (en) * 2018-08-13 2020-02-20 Rutgers, The State University Of New Jersey Computer vision systems and methods for real-time localization of needles in ultrasound images

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105496515A (zh) * 2015-12-04 2016-04-20 深圳华声医疗技术有限公司 穿刺增强方法及系统
CN105761229A (zh) * 2016-03-15 2016-07-13 深圳市理邦精密仪器股份有限公司 超声穿刺针图像的增强方法及装置
CN105844650A (zh) * 2016-04-14 2016-08-10 深圳市理邦精密仪器股份有限公司 超声引导下穿刺的针信号增强方法及装置
CN106388911A (zh) * 2016-09-21 2017-02-15 深圳华声医疗技术有限公司 超声图像标识的显示方法及装置
CN109044398A (zh) * 2018-06-07 2018-12-21 深圳华声医疗技术股份有限公司 超声系统成像方法、装置及计算机可读存储介质
WO2020036968A1 (en) * 2018-08-13 2020-02-20 Rutgers, The State University Of New Jersey Computer vision systems and methods for real-time localization of needles in ultrasound images

Also Published As

Publication number Publication date
CN111513823A (zh) 2020-08-11

Similar Documents

Publication Publication Date Title
US6055295A (en) Method and apparatus for automatic collimation in x-ray peripheral imaging
JP5226978B2 (ja) 超音波診断装置及び画像処理プログラム
Ding et al. A real‐time biopsy needle segmentation technique using Hough Transform
KR101121396B1 (ko) 2차원 초음파 영상에 대응하는 2차원 ｃｔ 영상을 제공하는 시스템 및 방법
US20030174890A1 (en) Image processing device and ultrasonic diagnostic device
CN110772286B (zh) 一种基于超声造影识别肝脏局灶性病变的系统
US11426142B2 (en) Computer vision systems and methods for real-time localization of needles in ultrasound images
US9082158B2 (en) Method and system for real time stent enhancement on live 2D fluoroscopic scene
US9990710B2 (en) Apparatus and method for supporting computer aided diagnosis
CN110974306B (zh) 一种超声内镜下识别和定位胰腺神经内分泌肿瘤的系统
JP5160825B2 (ja) 超音波診断装置及び画像処理プログラム
CN101615292A (zh) 基于灰度信息的人眼精确定位方法
CN107203743B (zh) 一种人脸深度跟踪装置及实现方法
CN111583250B (zh) 一种基于深度学习的超声图像二尖瓣的定位方法及系统
US20030083567A1 (en) Medical imaging station with a function of extracting a path within a ramified object
CN111513823B (zh) 基于多任务神经网络与偏转扫描的穿刺针定位系统
US20090123047A1 (en) Method and system for characterizing prostate images
CN112861588B (zh) 一种活体检测的方法、装置
CN113963427B (zh) 一种快速活体检测的方法与系统
CN114332858A (zh) 病灶检测方法及装置、病灶检测模型获取方法
CN115482223A (zh) 图像处理方法、装置、存储介质及电子设备
Vilarino et al. Linear radial patterns characterization for automatic detection of tonic intestinal contractions
JP2001216517A (ja) 物体認識方法
CN109727297B (zh) 医学图像重建方法、系统、可读存储介质和设备
US20220405957A1 (en) Computer Vision Systems and Methods for Time-Aware Needle Tip Localization in 2D Ultrasound Images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant