CN111134727B - 基于神经网络的静脉与动脉识别的穿刺引导系统 - Google Patents
基于神经网络的静脉与动脉识别的穿刺引导系统 Download PDFInfo
- Publication number
- CN111134727B CN111134727B CN201811301540.8A CN201811301540A CN111134727B CN 111134727 B CN111134727 B CN 111134727B CN 201811301540 A CN201811301540 A CN 201811301540A CN 111134727 B CN111134727 B CN 111134727B
- Authority
- CN
- China
- Prior art keywords
- neural network
- puncture
- network model
- ultrasonic image
- vein
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
- A61B8/0891—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of blood vessels
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B17/34—Trocars; Puncturing needles
- A61B17/3403—Needle locating or guiding means
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B17/34—Trocars; Puncturing needles
- A61B17/3403—Needle locating or guiding means
- A61B2017/3413—Needle locating or guiding means guided by ultrasound
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Surgery (AREA)
- Heart & Thoracic Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Pathology (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Physics & Mathematics (AREA)
- Biophysics (AREA)
- Radiology & Medical Imaging (AREA)
- Vascular Medicine (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
本发明提供一种基于神经网络的静脉与动脉识别的穿刺引导系统,包括:超声图像输入单元,用于输入超声图像,将待识别的超声图像输入神经网络模型进行处理;神经网络模型,用于通过所述神经网络模型从待识别超声图像中获取静脉和动脉的位置信息;超声图像生成单元,根据获取的位置信息区别标记静脉与动脉,并生成含有静脉标记和动脉标记的超声图像;超声图像显示模块,用于实时显示穿刺针与静脉标记和动脉标记的相对位置图像,以及穿刺参数;穿刺引导单元,根据所述相对位置图像以及所述穿刺参数引导穿刺针进行穿刺。本发明能够对待识别的超声图像中的动脉和静脉进行自动识别,进而辅助医生进行静脉穿刺。
Description
技术领域
本发明涉及医学超声技术领域,尤其是一种基于神经网络的静脉与动脉识别方法与系统。
背景技术
在临床医学上,很多血管内手术在静脉上进行导管放置、需要穿刺等操作,例如在右侧颈静脉进行,如中心静脉导管放置、血流动力学测量、心肌活检和心脏消融等。颈静脉穿刺术的过程中,医生凭借视觉、触觉和经验等人工判断血管的位置,如通过检测血管内压力、观察血液颜色等鉴别血管的性质。这些通过血管压力、血液颜色判断颈静脉的方法可靠性差,如果穿刺针进入颈静脉血管,则继续后续的扩张、置管等操作;若穿刺针位于颈动脉血管,则撤回穿刺针,压迫穿刺点,重新进行穿刺。不同患者的静脉血管位置的难易判断程度不同,据调查显示,不经意穿刺到颈动脉的概率为2%到8%,这通常会导致相关并发症,如局部血肿等。如果病人有凝血障碍,血肿可能会迅速扩大,甚至出现气道阻塞,假性动脉瘤、动静脉瘘,这些都可能会有致命的后果。
数字图像处理技术飞速发展,计算机辅助诊断在医疗领域随处可见。鉴于超声引导技术的优点,超声B模式下超声图像引导颈静脉穿刺术对穿刺前定位血管十分有益,降低了以上风险发生的概率。但是目前对超声图像中动脉和静脉判别仍几乎由人工完成,尤其是颈动脉和颈静脉的识别,这需要操作者具有超声影像的专业知识,也就造成了判别结果的不确定性,不能最小化手术的风险;同时也使超声引导颈静脉穿刺的推广和普及受到限制。
因此,如何解决上述技术问题,即在实时利用超声引导颈静脉穿刺的进行时如何在基于人工智能或神经网络下自动识别动脉或静脉,尤其是自动快速识别颈动脉、颈静脉,成为本领域的研究人员面临的问题。
发明内容
本发明的目的在于克服现有技术中存在的不足,提供一种基于神经网络的静脉与动脉识别的穿刺引导系统,用于对待识别的超声图像中的动脉和静脉进行自动识别,帮助医生提高诊断准确度,更好地辅助医生进行动脉与静脉的识别,进而辅助医生进行静脉穿刺。本发明采用的技术方案是:
一种基于神经网络的静脉与动脉识别的穿刺引导系统,包括:
超声图像输入单元,用于输入超声图像,将待识别的超声图像输入神经网络模型进行处理;
神经网络模型,用于通过所述神经网络模型从待识别超声图像中获取静脉和动脉的位置信息;
超声图像生成单元,根据获取的位置信息区别标记静脉与动脉,并生成含有静脉标记和动脉标记的超声图像;
超声图像显示模块,用于实时显示穿刺针与静脉标记和动脉标记的相对位置图像,以及穿刺参数;
穿刺引导单元,根据所述相对位置图像以及所述穿刺参数引导穿刺针进行穿刺。
进一步地,所述穿刺的参数至少包括穿刺的网格信息、深度信息或角度信息。
进一步地,所述穿刺引导单元包括:
位置获取单元,用于获取穿刺针穿刺的位置信息;
参数更新单元,根据所述位置信息实时更新所述穿刺参数。
更进一步地,所述穿刺引导单元还包括:
机械穿刺模块,与所述穿刺针连接,用于根据所述穿刺参数控制所述穿刺针进行穿刺。
具体地,所述机械穿刺模块包括:
第一机械臂,用于将换能器移动至待穿刺部位;
第二机械臂,用于固定穿刺针,并将穿刺针移动靠近至待穿刺部位后刺入待穿刺的静脉;
其中,所述第一机械臂能够调节换能器的位置和角度;所述第二机械臂能够调节穿刺针的位置和角度。
更进一步地,所述穿刺引导单元还包括:穿刺报警单元,所述穿刺报警单元配置成在所述穿刺针距离动脉的距离低于预设距离时,发出报警提示信息。
进一步地,所述的基于神经网络的静脉与动脉识别的穿刺引导系统,还包括:
超声图像标记单元,用于对预采集超声图像中的动脉和静脉进行标记;
神经网络训练单元,通过设定数量被标记的预采集超声图像输入神经网络模型进行训练,得到能够自动识别超声图像中动脉和静脉的所述神经网络模型。
具体地,超声图像标记单元具体用于:
预采集一定数量的超声图像并进行筛选;
将筛选后的超声图像划分为训练集、验证集和测试集;
供用户对划分后的超声图像中的静脉和动脉进行标记;
其中,所述训练集用于训练神经网络模型,所述验证集用于验证神经网络的识别准确度并优化神经网络模型的权重参数,所述测试集用于最终评价神经网络模型的识别准确度。
具体地,神经网络模型中,通过所述神经网络模型从待识别超声图像中获取静脉和动脉的位置信息具体包括:
获取待识别的超声图像,将获取的超声图像固定到与神经网络模型相适配的尺寸并对超声图像进行归一化;
将待识别的超声图像输入到训练好神经网络模型,获取神经网络模型输出的所有边界框;
根据设定概率阈值筛选输出的边界框,进而获取静脉和动脉的位置信息。
更进一步地,根据设定概率阈值筛选输出的边界框具体包括:
挑选预测概率大于设定概率阈值的边界框作为预测结果;
在预测概率大于设定概率阈值的边界框中,采用极大值抑制方法筛选预测概率最高的边界框作为筛选结果,进而获取静脉和动脉的位置信息。
进一步地,神经网络训练单元训练神经网络模型具体包括:
将超声图像固定到设定尺寸,并归一化同样尺寸的超声图像;
建立神经网络模型,所述神经网络模型包括一个输入层、多个隐含层和一个输出层,神经网络模型中的各隐含层之间、输入层和隐含层之间、隐含层和输出层之间通过权重参数相连接;输入层尺寸设置为与输入神经网络模型的超声图像的尺寸相一致;
初始化神经网络模型,将所述权重参数设置为随机数;
采用归一化后的超声图像训练神经网络模型;
根据损失函数计算训练神经网络模型产生预测误差,在所述损失函数收敛时,计算训练后得到的权重参数;
更新神经网络模型中的权重参数,得到自动识别超声图像中动脉和静脉的神经网络模型。
进一步地,神经网络模型的结构具体包括:所述隐含层包括卷积层和最大池化层;首先是数个卷积层和数个最大池化层交替连接,然后再连接若干卷积层,最后连接输出层;
或,
神经网络模型的结构具体包括:所述隐含层包括卷积层、最大池化层和结合层;首先是数个卷积层和数个最大池化层交替连接,然后再连接若干卷积层,随后再连接一个结合层,将结合层之前相连接的高级特征层与该高级特征层之前的一层或数层隐含层相结合;该高级特征层与相结合的隐含层的输出图像的长和宽必需相应一致;该高级特征层与之前的一层或数层隐含层相结合后一起输入到最后一个卷积层;
或,
神经网络模型的结构具体包括:在所述多个隐含层,超声图像先经过基础的特征提取网络,提取到若干特征图像,然后再经过一系列卷积运算,得到具有不同分辨率的特征图像;再分别通过卷积运算在这些不同分辨率特征图像的不同位置上同时生成不同尺寸的边界框,在输出层对这些边界框进行分类和位置回归,分别来预测边界框的类别和具体位置。
更进一步地,所述输出层配置为输出若干个预测的边界框;
其中,所述边界框的信息包括边界框中的图像是动脉或静脉的概率信息,以及边界框的位置信息和尺寸信息。
更进一步地,所述损失函数包括:
包含有目标对象的边界框的概率预测的误差;
包含有目标对象的边界框的位置和尺寸的预测误差;
不包含有目标对象的边界框的概率预测的误差;
包含有目标对象的网格单元预测类别的误差。
本发明的优点:本发明在基于对超声图像中的动脉和静脉自动准确识别基础上,能够更好地辅助医生进行静脉穿刺术。
附图说明
图1-a为本发明的基于神经网络的颈静脉穿刺实时超声引导系统训练模式下示意图。
图1-b为本发明的基于神经网络的颈静脉穿刺实时超声引导系统正常工作模式下示意图。
图1-c为本发明的穿刺引导单元示意图。
图2为本发明的系统控制流程示意图。
图3为本发明的超声图像标记单元的处理流程示意图。
图4为本发明的神经网络训练单元的处理流程
图5为本发明实施例中建立的第一种神经网络结构示意图。
图6为本发明实施例中建立的第三种神经网络结构示意图。
图7为本发明的从待识别超声图像中获取动脉和静脉的位置信息处理流程流程图。
图8是本发明实施例中带有专家标记矩形框的超声图像的原始图像。
图9是本发明实施例中第一种神经网络结构对应系统的颈静脉穿刺引导效果图像。
具体实施方式
下面结合具体附图和实施例对本发明作进一步说明。
在此发明中,当描述了一个系统包括(或者包含或者有)一些单元、模块、模型时,应该理解,它可以包括(或者包含或者有)仅那些单元,或者在没有具体限制的情况下它可以包括(或者包含或者具有)其它单元。如本文中使用的术语“模块”“单元”意指但不限于执行特定任务的软件或硬件组件,诸如现场可编程门阵列(FPGA)或专用集成电路(ASIC)。模块可以被配置为在可寻址存储介质中并且配置为在一个或多个处理器上执行。模块可以包括组件(诸如软件组件、面向对象软件组件、类组件和任务组件)、进程、函数、属性、过程、子例行程序、程序代码段、驱动程序、固件、微码、电路、数据、数据库、数据结构、表、数组和变量。在单元和模块中提供的功能性可以被组合成更少的组件和模块或者进一步分成附加的组件和模块。
本文中使用的术语“图像”可以表示由离散图像因子(例如,二维(2D)图像中的像素和3D图像中的像素)组成的多维数据或二维图像数据或三维图像数据。
而且,本文中使用的术语“对象”可以包括人、动物的静脉、动脉。术语“对象”可以包括人造模型。
本文中使用的术语“用户”是非限制性的,可以是是医生、护士、医学技师、医学图像专家等,或者可以是维修医学设备的工程师。
图1-a所示,是一种基于神经网络的颈静脉穿刺实时超声引导系统,该系统包括:换能器,换能器用于发射与接收超声波信号;超声图像合成模块,超声图像合成模块与换能器连接,用于将换能器传输的超声波信号合成超声图像;超声图像处理模块,包括超声图像输入单元、超声图像标记单元、神经网络训练单元,超声图像输入单元用于输入超声图像,用户通过超声图像标记单元对超声图像进行标记,例如对超声图像分别标记超声图像中的静脉与动脉,标记符号可以是一个图形,例如正方形,长方形,三角形或者其他规则图形,这样超声图像标记单元得到被用户标记的超声图像,通过神经网络训练单元对被标记的超声图像进行训练,得到能够自动识别超声图像中动脉和静脉的神经网络模型,通过神经网络模型能够得到动脉和静脉的位置信息,自动匹配动脉或静脉,通过用户设置的标记符号进行区分;所述超声图像处理模板分别与超声图像合成模块、超声图像显示模块连接,超声图像处理模块将处理后的含有静脉标记和动脉标记的超声图像传输至超声图像显示模块进行图像显示。
本系统所述的连接方式可以是有线连接,比如点连接等,也可以为无线连接,比如通过蓝牙、wifi等方式进行连接。
超声图像显示模块可以是包括含有显示装置的模块,显示装置可以是触摸屏显示器、移动终端显示器(手机、ipad)、液晶显示器、LED显示器等显示器装置的一种或多种。
图1-a中的上述实施例为本发明在工程师模式或厂家进行设置选择的系统,当系统得到能够自动识别超声图像中动脉和静脉的神经网络模型后,超声图像处理模块被配置为包含超声图像输入单元、神经网络模型、超声图像生成单元,神经网络模型自动识别超声图像中动脉和静脉;此时,如图1-b所示,本发明的系统如下,该系统包括:换能器,换能器用于发射与接收超声波信号;超声图像合成模块,超声图像合成模块与换能器连接,用于将换能器传输的超声波信号合成超声图像;超声图像处理模块中,超声图像输入单元,用于输入超声图像,将待识别的超声图像输入神经网络模型进行处理;通过所述神经网络模型从待识别超声图像中获取静脉和动脉的位置信息;超声图像生成单元,根据获取的位置信息区别标记静脉与动脉,并生成含有静脉标记和动脉标记的超声图像;这样输入的超声图像被配置为被标记的超声图像,标记可以是一个图形或符号,例如正方形框,矩形框,三角形框或者其他规则图形,通过神经网络模型能够得到动脉和静脉的位置信息;所述超声图像处理模板分别与超声图像合成模块、超声图像显示模块连接,超声图像处理模块将处理后的含有静脉标记和动脉标记的超声图像传输至超声图像显示模块进行图像显示。
图1-a、图1-b所示的系统中,所述的动脉、静脉可以是颈动脉、颈静脉,也可以是其他部位的静脉与动脉。
在本发明一实施例中,如图1-b所示,本发明的系统用于辅助静脉穿刺,此时系统包括:换能器,换能器用于发射与接收超声波信号;超声图像合成模块,超声图像合成模块与换能器连接,用于将换能器传输的超声波信号合成超声图像;超声图像处理模块中,超声图像输入单元,用于输入超声图像,将待识别的超声图像输入神经网络模型进行处理;通过所述神经网络模型从待识别超声图像中获取静脉和动脉的位置信息;超声图像生成单元,根据获取的位置信息区别标记静脉与动脉,并生成含有静脉标记和动脉标记的超声图像;这样输入的超声图像被配置为被标记的超声图像,标记可以是一个图形或符号,例如正方形框,矩形框,三角形框或者其他规则图形,神经网络模型能够得到动脉和静脉的位置信息;所述超声图像处理模块分别与超声图像合成模块、超声图像显示模块连接,超声图像处理模块将处理后的含有静脉标记和动脉标记的超声图像传输至超声图像显示模块进行图像显示;穿刺引导单元,穿刺引导单元与超声图像处理模块连接,穿刺引导单元通过在超声图像显示模块上显示穿刺的参数,例如穿刺的网格、深度、角度信息等;从而,在进行静脉穿刺时,超声图像显示模块能够实时显示穿刺针与静脉标记和动脉标记的相对位置图像,以及穿刺参数;穿刺引导单元就可以根据所述相对位置图像以及所述穿刺参数引导穿刺针进行穿刺。
如图1-c所示,所述穿刺引导单元包括:位置获取单元,用于获取穿刺针穿刺的位置信息;参数更新单元,根据所述位置信息实时更新所述穿刺参数;穿刺针可以通过医生进行操作,也可以进一步通过机械穿刺模块实现自动化操作;因而,穿刺引导单元进一步可包括与穿刺针连接的机械穿刺模块,用于根据所述穿刺参数控制所述穿刺针进行穿刺;所述机械穿刺模块包括:第一机械臂,用于将换能器移动至待穿刺部位;第二机械臂,用于固定穿刺针,并将穿刺针移动靠近至待穿刺部位后刺入待穿刺的静脉;其中,所述第一机械臂能够调节换能器的位置和角度;所述第二机械臂能够调节穿刺针的位置和角度。为了防止在静脉穿刺过程中误伤及动脉,穿刺引导单元进一步可包括穿刺报警单元,所述穿刺报警单元配置成在所述穿刺针距离动脉的距离低于预设距离时,发出报警提示信息。
如图2所示,换能器放置在患者待检测部位(同时也是待穿刺部位),本例中是放置于患者颈部;换能器发射与接收超声波信号,并将超声波信号传输至超声图像合成模块,以合成超声图像;通过超声图像处理模块的神经网络模型对输入的超声图像进行处理,将超声图像中的动脉和静脉自动识别,并将含有静脉标记和动脉标记的超声图像传输至图像显示模块;图像显示模块显示带静脉标记和动脉标记的超声图像,本实施例中超声图像中显示的是颈动脉和颈静脉的横截面。
本发明提出的基于神经网络的静脉与动脉识别方法,主要包括以下步骤:
步骤S1,收集检测部位的超声图像,用户通过超声图像标记单元标记超声图像中的静脉与动脉;本实施例中优选收集的是颈部的超声图像,并标记超声图像中的颈动脉和颈静脉;
步骤S2,通过神经网络训练单元,基于所标记的超声图像,训练得到神经网络模型;
步骤S3,将待识别超声图像输入经过训练得到的神经网络模型进行处理;通过所述神经网络模型从待识别超声图像中获取静脉和动脉的位置信息;根据获取的位置信息区别标记静脉与动脉,并生成含有静脉标记和动脉标记的超声图像。
如图3所示,超声图像标记单元的处理流程包括:
步骤S11,对收集的超声图像进行筛选;
步骤S12,对筛选后的超声图像划分训练集、验证集和测试集;
步骤S13,用户对超声图像中的动脉和静脉进行标记;
具体地,步骤S11,对收集的超声图像进行筛选包括:过滤不清晰、不完全、重复的超声图像;去除超声图像中与自动引导颈静脉穿刺过程不相关信息;例如,去除收集的所有超声图像中不清晰或不完全导致无法进行标记工作的那些超声图像,去除会导致标记工作重复且对神经网络训练没有附加价值的重复的超声图像;去除超声图像中与自动判别动脉和静脉过程不相关信息,包括超声图像的深度、宽度、探头方向等参数信息;
具体地,步骤S12中,在收集的所有超声图像中随机选取3/5的图像作为训练集;随机选取1/5的图像作为验证集;剩下的1/5的超声图像作为测试集使用;所述训练集用于训练神经网络模型,所述验证集用于验证神经网络的识别准确度并优化神经网络模型的权重参数,所述测试集用于最终评价神经网络模型的识别准确度;当然随机选取的比例可以是3/5、1/5、1/5,也可以是其他的比例;
具体地,步骤S13中,采用矩形框标记出所有超声图像中的动脉和静脉,记录矩形框的信息:包括坐标信息和类别信息;如矩形框坐标信息包括矩形框的左上角和右下角两个点的坐标信息,类别信息包括标记的矩形框代表动脉或静脉;标记可以是一个图形或符号,例如正方形框,矩形框,三角形或者其他规则图形。
如图4所示,神经网络训练单元的处理流程包括:
步骤S21,超声图像预处理:将超声图像固定到一定尺寸,并归一化同样尺寸的超声图像;如预处理后的超声图像为416×416×1;416×416表示预处理后超声图像的长和宽,即416像素长,416像素宽,可选地,将超声图像固定到一定尺寸时,保持原始图像的长宽比例,或者改变保持原始图像的长宽比例;对超声图像进行归一化操作的具体处理方法为将超声图像中每个像素值减去图像像素的均值后除以图像像素的方差;归一化后将超声图像的每个像素值转化到0~1之间;
由于超声图像预处理时超声图像的尺寸发生了变化,所有超声图像的标记信息也需要进行相应比例的改变;本实施例的处理方法是将超声图像的标记信息由绝对数转化为占原始超声图像的比例数;具体计算方法为:
其中,width、height分别表示超声图像输入神经网络前原始的长度和宽度;(xmin,ymin),(xmax,ymax)为标记工作记录的原始矩形框左上角和右下角两个点的坐标;x_new,y_new为超声图像预处理即改变尺寸后的矩形框的中心坐标信息,w_new、h_new分别表示超声图像预处理即改变尺寸后的矩形框的长度和宽度;
步骤S22,建立神经网络模型的结构;
所述神经网络模型包括一个输入层、多个隐含层和一个输出层;所述神经网络模型的多个隐含层用来自动提取超声图像中动脉和静脉的特征;所述隐含层包含若干个卷积层、若干个池化层等;神经网络模型中的各隐含层之间、输入层和隐含层之间、隐含层和输出层之间通过权重参数相连接;所述隐含层还包括防止过拟合的一些设置,如随机失活一些输入层与隐含层之间或隐含层与输出层之间的权重参数,即反向传播算法不对这些失活权重进行调整;
首先设置输入层尺寸,以和输入神经网络模型的超声图像的尺寸相适配;
如图5所示,本发明实施例中建立的第一种神经网络模型的结构包括一输入层,与输入层连接的多个隐含层,与最高层的隐含层连接的一输出层;图5中显示了神经网络模型的各隐含层和输出层;图5中神经网络模型的所有隐含层包括8个卷积层,5个最大池化层,输出层为1个Softmax分类层;首先是5个卷积层和5个最大池化层交替连接,每个最大池化层都起到对特征进行降维的作用;然后再连接3个卷积层,这些卷积层提取了高层的特征信息;最后连接输出层,输出神经网络的结果;图5中每层之间连接的箭头体现了神经网络模型各层之间的权重参数。
如表一所示,显示了本发明实施例中建立的第二种神经网络模型的结构;表一中包括了该神经网络模型的各隐含层;表一中共四列,分别表示隐含层各层的名称,每层的过滤器数量、每层的输入图像尺寸和输出图像尺寸(图像尺寸的列中前两个数字表示长度和宽度);其中过滤器起到连接神经网络模型的不同隐含层的作用,其体现了神经网络模型的权重参数;该神经网络模型的所有隐含层先是5个卷积层和5个最大池化层交替连接;接着是连接若干个卷积层,表一选择连接了两个卷积层;随后再连接一个结合层(Route层),用于将结合层之前相连接的高级特征层(表一中的第11层)与该高级特征层之前的一层或数层隐含层相结合,以使得高级特征层与低级细粒度特征结合;该高级特征层与相结合的隐含层的输出图像的长和宽必需相应一致;表一中将第11层和第9层(一个最大池化层)结合,也可以将第11层和第9层、第10层结合;该高级特征层与之前的一层或数层隐含层相结合后一起输入到最后一个卷积层;这样增加了神经网络对偏小的目标对象的检测效果。
表一
如图6所示,显示了本发明实施例中建立的第三种神经网络模型的结构;
图6中640×512的超声图像经过基础的特征提取网络,比如VGG,Inception,Alexnet等提取到若干特征图像,即图6中的52×52的特征图像;然后再经过一系列卷积运算,得到具有不同分辨率的特征图像,即图6中的26×26、13×13、7×7、4×4的特征图像;这些特征图像在图6中以长方体的形式表示,长方体的厚度代表特征图像的数量,长方体的长和宽对应特征图像的长和宽;图中长方体左下角的Conv即表示卷积运算,即体现了神经网络的权重参数;图中水平的直线表示分别通过卷积运算在这些不同分辨率的特征图像的不同位置上同时生成不同尺寸的边界框,这是第三种神经网络模型结构不同于前两者的地方;最后,即图6中的输出层对这些边界框进行softmax分类和位置回归,分别来预测边界框的类别和具体位置。
最后,对应上述三种神经网络模型的结构,设置神经网络模型的输出层输出SxS个网格单元,例如13x13个网格单元,在每个网格单元输出B个预测的边界框,例如5个预测的边界框;神经网络开始训练前,用K均值的方法对训练集中的超声图像的动脉、静脉的长度和宽度数值进行聚类,得出B个聚类中心,作为神经网络输出边界框的先验知识;每个边界框的信息需要用2+4+1=7个数字表示,其中2个数字分别表示该边界框中的图像是动脉、静脉的概率信息,两个概率信息分别记作c1,c2;4个数字表示该边界框的中心位置的坐标信息(横坐标、纵坐标)和长度、宽度信息,中心位置的坐标信息用与网格单元的相对值记录,长宽信息是相对于整幅超声图像的预测值;1个数字记录了该边界框中含有动脉或静脉的可能性的大小,若该边界框中既不含有动脉也不含有静脉,则该数值接近0,表示不含有目标对象;否则,接近1,表示含有目标对象;目标对象是指动脉或静脉;
基于以上可选的参数设置,神经网络模型的可选的输出大小为13×13×35,其中35记录了超声图像中每个网格单元中输出的5个边界框含有动脉或静脉的信息。在神经网络模型的最后设置softmax分类层,将2个概率信息限制到0到1之间,且当边界框中含有动脉或静脉时,2个概率信息c1,c2之和为1。边界框的中心位置横坐标、纵坐标、宽度、长度记作x,y,h,w,边界框中含有目标对象的可能性记作pc,则每个边界框的输出可以表示为:
步骤S23,初始化神经网络模型:将神经网络模型的权重参数设置为随机数;
步骤S24,定义神经网络模型的损失函数;
神经网络模型的损失函数包括四项,分别为:
含有目标对象的边界框的概率预测的误差;
含有目标对象的边界框的位置和尺寸的预测误差;
不含有目标对象的边界框的概率预测的误差;
每个含有目标对象的网格单元预测类别的误差;
其中,边界框含有目标对象的判断标准是预测的边界框与超声图像中该网格单元中的真实矩形框(即用户在步骤S13进行的标记)的重叠比例大于设定阈值,具体衡量指标记为IOU;
可选地,IOU大于0.6的边界框作为含有目标对象的边界框;
网格单元含有目标对象的判断标准是真实矩形框的中心落在该网格单元中;一张超声图像的损失函数的具体计算公式为:
其中,λ1-λ4表示各项误差在总的损失函数中占的比重,各项误差都选用平方误差的形式;
损失函数的第一项表示含有目标对象的边界框的概率预测的误差;其中,S2表示将超声图像划分成S×S个网格单元,B表示每个网格单元设置的边界框数量,表示第i个网格单元的第j个边界框是否含有目标对象,Ci表示第i个网格单元的概率向量,表示该网格单元当前的第j个边界框的概率向量,这两个概率向量在本发明中的长度为2,即表示边界框是静脉、动脉的概率;
损失函数的第二项表示含有目标对象的边界框的位置和尺寸的预测误差;其中xi,yi,hi,wi分别表示第i个网格单元的矩形框的中心位置横坐标、纵坐标和宽度、长度信息,分别表示预测的边界框相应的中心位置横坐标、纵坐标和宽度、长度信息;宽度、长度的误差部分采用根号形式目的是权衡不同大小的目标对象的预测误差;
损失函数的第三项是不含有目标对象的边界框的概率预测的误差,表示第i个网格单元的第j个边界框是否不含有目标对象;因为不含有目标对象的边界框占多数,所以λ3通常会设置得比λ1小,否则无法训练得到识别效果较好的神经网络。可选的,λ1=5,λ2=λ3=λ4=1;
损失函数的第四项表示每个含有目标对象的网格单元预测类别的误差,其中,当动脉或静脉的中心落在某网格单元时,否则pi(c)表示第i个网格单元是否含有第c个类别的目标对象,即静脉或动脉,取值为0或1;表示预测第i个网格单元含有第c个类别的目标对象的概率,数值范围为[0,1]。
步骤S25,训练神经网络模型,得到能够自动识别超声图像中动脉和静脉的神经网络模型;
此步骤中,用归一化后的训练集的超声图像训练神经网络模型;
优选地,随机选择训练集中的超声图像,对这些超声图像进行弹性形变后输入神经网络模型,对神经网络模型进行训练;这样能得到鲁棒性更好的神经网络模型。
具体可采用反向传播算法训练神经网络模型;神经网络模型的权重参数初始值随机设置,迭代过程中按规律变化;将学习率设置为0.0001,动量设置为0.9,每迭代100次后,保存权重参数至网络参数文件,神经网络模型的最大迭代次数设置为50k;神经网络模型迭代过程中,计算神经网络模型在验证集上的召回率,即验证集中超声图像的真实的矩形框被识别出来的比例;待神经网络模型的损失函数收敛后,将收敛时对应的在验证集上识别效果最佳的权重参数作为神经网络模型的权重参数。
如图7所示,通过所述神经网络模型从待识别超声图像中获取静脉和动脉的位置信息的处理流程包括:
步骤S31,获取待识别的超声图像,并将超声图像固定到与神经网络模型输入层相适配的同样尺寸,对超声图像进行归一化;
本例中,待识别的超声图像来自测试集;
步骤S32,将待识别的超声图像输入训练好的神经网络模型,得到神经网络模型输出的所有边界框;
所有边界框代表了对超声图像中动脉或静脉的预测;
步骤S33,筛选边界框得到最终的识别结果。
进一步地,筛选边界框是指挑选预测概率大于设定阈值的边界框作为预测结果;
在预测概率大于设定阈值的边界框中,使用极大值抑制方法进一步进行筛选,具体做法是计算边界框之间的重叠度,在重叠度指标大于设定阈值的边界框中,选择预测概率最高的边界框作为识别结果。
最后,超声图像生成单元根据超声图像中识别出的静脉与动脉,生成含有静脉标记和动脉标记的超声图像。
参照图9,是本发明实施例中第二种神经网络模型结构对应系统的颈静脉穿刺引导效果图像,与原始图像图8对应。图中artery标识着颈动脉的位置,vein标识着颈静脉的位置。
最后所应说明的是,以上具体实施方式仅用以说明本发明的技术方案而非限制,尽管参照实例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本发明技术方案的精神和范围,其均应涵盖在本发明的权利要求范围当中。
Claims (9)
1.一种基于神经网络的静脉与动脉识别的穿刺引导系统,其特征在于,包括:
超声图像输入单元,用于输入超声图像,将待识别的超声图像输入神经网络模型进行处理;
神经网络模型,用于通过所述神经网络模型从待识别超声图像中获取静脉和动脉的位置信息;
超声图像生成单元,根据获取的位置信息区别标记静脉与动脉,并生成含有静脉标记和动脉标记的超声图像;
超声图像显示模块,用于实时显示穿刺针与静脉标记和动脉标记的相对位置图像,以及穿刺参数;
穿刺引导单元,根据所述相对位置图像以及所述穿刺参数引导穿刺针进行穿刺;
超声图像标记单元,用于对预采集超声图像中的动脉和静脉采用矩形框进行标记;
神经网络训练单元,通过设定数量被标记的预采集超声图像输入神经网络模型进行训练,得到能够自动识别超声图像中动脉和静脉的所述神经网络模型;
神经网络训练单元的处理流程包括:
超声图像预处理:将超声图像固定到一定尺寸,并归一化同样尺寸的超声图像;所有超声图像的标记信息也需要进行相应比例的改变;处理方法是将超声图像的标记信息由绝对数转化为占原始超声图像的比例数;
建立神经网络模型的结构;设置神经网络模型的输出层输出SxS个网格单元,在每个网格单元输出B个预测的边界框;神经网络开始训练前,用K均值的方法对训练集中的超声图像的动脉、静脉的长度和宽度数值进行聚类,得出B个聚类中心,作为神经网络输出边界框的先验知识;每个边界框的信息需要用2+4+1=7个数字表示,其中2个数字分别表示该边界框中的图像是动脉、静脉的概率信息,两个概率信息分别记作c1,c2;4个数字表示该边界框的中心位置的坐标信息即横坐标、纵坐标和长度、宽度信息;1个数字记录了该边界框中含有动脉或静脉的可能性的大小;在神经网络模型的最后设置softmax分类层,将2个概率信息限制到0到1之间,且当边界框中含有动脉或静脉时,2个概率信息c1,c2之和为1;
初始化神经网络模型:将神经网络模型的权重参数设置为随机数;
定义神经网络模型的损失函数;边界框含有目标对象的判断标准是预测的边界框与超声图像中该网格单元中的真实矩形框的重叠比例大于设定阈值;
训练神经网络模型,得到能够自动识别超声图像中动脉和静脉的神经网络模型。
2.如权利要求1所述的基于神经网络的静脉与动脉识别的穿刺引导系统,其特征在于,
所述穿刺的参数至少包括穿刺的网格信息、深度信息或角度信息。
3.如权利要求1或2所述的基于神经网络的静脉与动脉识别的穿刺引导系统,其特征在于,所述穿刺引导单元包括:
位置获取单元,用于获取穿刺针穿刺的位置信息;
参数更新单元,根据所述位置信息实时更新所述穿刺参数。
4.如权利要求3所述的基于神经网络的静脉与动脉识别的穿刺引导系统,其特征在于,所述穿刺引导单元还包括:
机械穿刺模块,与所述穿刺针连接,用于根据所述穿刺参数控制所述穿刺针进行穿刺。
5.如权利要求4所述的基于神经网络的静脉与动脉识别的穿刺引导系统,其特征在于,所述机械穿刺模块包括:
第一机械臂,用于将换能器移动至待穿刺部位;
第二机械臂,用于固定穿刺针,并将穿刺针移动靠近至待穿刺部位后刺入待穿刺的静脉;
其中,所述第一机械臂能够调节换能器的位置和角度;所述第二机械臂能够调节穿刺针的位置和角度。
6.如权利要求3所述的基于神经网络的静脉与动脉识别的穿刺引导系统,
所述穿刺引导单元还包括:穿刺报警单元,所述穿刺报警单元配置成在所述穿刺针距离动脉的距离低于预设距离时,发出报警提示信息。
7.如权利要求1所述的基于神经网络的静脉与动脉识别的穿刺引导系统,其特征在于,
超声图像标记单元具体用于:
预采集一定数量的超声图像并进行筛选;
将筛选后的超声图像划分为训练集、验证集和测试集;
供用户对划分后的超声图像中的静脉和动脉进行标记;
其中,所述训练集用于训练神经网络模型,所述验证集用于验证神经网络的识别准确度并优化神经网络模型的权重参数,所述测试集用于最终评价神经网络模型的识别准确度。
8.如权利要求1所述的基于神经网络的静脉与动脉识别的穿刺引导系统,其特征在于,
神经网络模型中,通过所述神经网络模型从待识别超声图像中获取静脉和动脉的位置信息具体包括:
获取待识别的超声图像,将获取的超声图像固定到与神经网络模型相适配的尺寸并对超声图像进行归一化;
将待识别的超声图像输入到训练好的 神经网络模型,获取神经网络模型输出的所有边界框;
根据设定概率阈值筛选输出的边界框,进而获取静脉和动脉的位置信息。
9.如权利要求8所述的基于神经网络的静脉与动脉识别的穿刺引导系统,其特征在于,
根据设定概率阈值筛选输出的边界框具体包括:
挑选预测概率大于设定概率阈值的边界框作为预测结果;
在预测概率大于设定概率阈值的边界框中,采用极大值抑制方法筛选预测概率最高的边界框作为筛选结果,进而获取静脉和动脉的位置信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811301540.8A CN111134727B (zh) | 2018-11-02 | 2018-11-02 | 基于神经网络的静脉与动脉识别的穿刺引导系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811301540.8A CN111134727B (zh) | 2018-11-02 | 2018-11-02 | 基于神经网络的静脉与动脉识别的穿刺引导系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111134727A CN111134727A (zh) | 2020-05-12 |
CN111134727B true CN111134727B (zh) | 2022-12-20 |
Family
ID=70516227
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811301540.8A Active CN111134727B (zh) | 2018-11-02 | 2018-11-02 | 基于神经网络的静脉与动脉识别的穿刺引导系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111134727B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111931626B (zh) * | 2020-08-03 | 2023-12-26 | 深圳市爱博医疗机器人有限公司 | 一种基于深度学习的血管介入机器人自动手术方法 |
CN112075981B (zh) * | 2020-08-27 | 2021-09-03 | 同济大学 | 静脉穿刺机器人控制方法、装置及计算机可读存储介质 |
CN112163506A (zh) * | 2020-09-25 | 2021-01-01 | 伏羲九针智能科技(北京)有限公司 | 基于超声的静脉血管识别方法、装置及设备 |
JPWO2022107441A1 (zh) * | 2020-11-19 | 2022-05-27 | ||
EP4265195A4 (en) * | 2020-12-17 | 2024-06-19 | FUJIFILM Corporation | ULTRASOUND DIAGNOSTIC APPARATUS AND METHOD FOR CONTROLLING AN ULTRASOUND DIAGNOSTIC APPARATUS |
CN113018600B (zh) * | 2021-03-06 | 2023-08-15 | 中山市人民医院 | 一种急诊科用输液装置 |
CN113838028A (zh) * | 2021-09-24 | 2021-12-24 | 无锡祥生医疗科技股份有限公司 | 一种颈动脉超声自动多普勒方法、超声设备及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102078202A (zh) * | 2009-11-30 | 2011-06-01 | Ge医疗系统环球技术有限公司 | 用于识别动脉静脉的方法及超声成像设备 |
CN107563983A (zh) * | 2017-09-28 | 2018-01-09 | 上海联影医疗科技有限公司 | 图像处理方法以及医学成像设备 |
CN107812283A (zh) * | 2017-10-18 | 2018-03-20 | 北京工商大学 | 一种自动确定穿刺点位置的方法 |
CN108210024A (zh) * | 2017-12-29 | 2018-06-29 | 威朋(苏州)医疗器械有限公司 | 手术导航方法及系统 |
CN108596046A (zh) * | 2018-04-02 | 2018-09-28 | 上海交通大学 | 一种基于深度学习的细胞检测计数方法及系统 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10667776B2 (en) * | 2016-08-11 | 2020-06-02 | Siemens Healthcare Gmbh | Classifying views of an angiographic medical imaging system |
-
2018
- 2018-11-02 CN CN201811301540.8A patent/CN111134727B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102078202A (zh) * | 2009-11-30 | 2011-06-01 | Ge医疗系统环球技术有限公司 | 用于识别动脉静脉的方法及超声成像设备 |
CN107563983A (zh) * | 2017-09-28 | 2018-01-09 | 上海联影医疗科技有限公司 | 图像处理方法以及医学成像设备 |
CN107812283A (zh) * | 2017-10-18 | 2018-03-20 | 北京工商大学 | 一种自动确定穿刺点位置的方法 |
CN108210024A (zh) * | 2017-12-29 | 2018-06-29 | 威朋(苏州)医疗器械有限公司 | 手术导航方法及系统 |
CN108596046A (zh) * | 2018-04-02 | 2018-09-28 | 上海交通大学 | 一种基于深度学习的细胞检测计数方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN111134727A (zh) | 2020-05-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111134727B (zh) | 基于神经网络的静脉与动脉识别的穿刺引导系统 | |
JP7407790B2 (ja) | 誘導肝イメージングのための人工ニューラルネットワークを有する超音波システム | |
CN112215843B (zh) | 超声智能成像导航方法、装置、超声设备及存储介质 | |
CN110870792B (zh) | 用于超声导航的系统和方法 | |
JP7330207B2 (ja) | 適応的超音波スキャニング | |
CN102056547B (zh) | 医用图像处理装置及医用图像处理方法 | |
CN103222879B (zh) | 用于识别超声成像的最佳图像帧的系统和方法 | |
CN111214255B (zh) | 一种医学超声图像计算机辅助方法 | |
JP2019521745A (ja) | ユーザによる超音波装置の操作を援助するための自動画像取得 | |
EP3776353B1 (en) | Ultrasound system with artificial neural network for retrieval of imaging parameter settings for recurring patient | |
CN110584714A (zh) | 超声融合成像方法、超声装置及存储介质 | |
CN111145137B (zh) | 基于神经网络的静脉与动脉识别方法 | |
CN110960262B (zh) | 超声扫查系统、方法及介质 | |
CN111242921A (zh) | 一种医学超声图像辅助诊断系统自动更新的方法及系统 | |
CN111144163B (zh) | 基于神经网络的静脉与动脉识别系统 | |
CN112603373A (zh) | 用于经由超声成像来诊断肌腱损伤的方法和系统 | |
WO2020087732A1 (zh) | 基于神经网络的静脉与动脉识别方法与系统 | |
US20220084194A1 (en) | Computer program, processor for endoscope, and information processing method | |
CN106028946A (zh) | 用于监测病变尺寸趋势的系统及其操作方法 | |
JP2024521848A (ja) | 超音波画像シーケンスを取得する装置及び関連する方法 | |
CN113081030A (zh) | 用于基于m模式分析进行辅助超声扫描平面识别的方法和系统 | |
US20240225589A1 (en) | Device for acquiring a sequence of ultrasonograms and associated method | |
EP4062838A1 (en) | Method for use in ultrasound imaging | |
US20220367038A1 (en) | Ultrasonic diagnostic device and diagnostic assisting method | |
CN115633986A (zh) | 全自动超声机器人心脏检测辅助定位方法、系统及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |