CN111144163B - 基于神经网络的静脉与动脉识别系统 - Google Patents
基于神经网络的静脉与动脉识别系统 Download PDFInfo
- Publication number
- CN111144163B CN111144163B CN201811301602.5A CN201811301602A CN111144163B CN 111144163 B CN111144163 B CN 111144163B CN 201811301602 A CN201811301602 A CN 201811301602A CN 111144163 B CN111144163 B CN 111144163B
- Authority
- CN
- China
- Prior art keywords
- neural network
- network model
- ultrasonic image
- layer
- vein
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000003462 vein Anatomy 0.000 title claims abstract description 97
- 210000001367 artery Anatomy 0.000 title claims abstract description 94
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 42
- 238000003062 neural network model Methods 0.000 claims abstract description 111
- 238000012545 processing Methods 0.000 claims abstract description 18
- 238000002604 ultrasonography Methods 0.000 claims description 48
- 238000012549 training Methods 0.000 claims description 38
- 238000000034 method Methods 0.000 claims description 18
- 238000011176 pooling Methods 0.000 claims description 12
- 238000012216 screening Methods 0.000 claims description 10
- 238000012795 verification Methods 0.000 claims description 10
- 238000012360 testing method Methods 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 3
- 230000005764 inhibitory process Effects 0.000 claims description 2
- 238000003745 diagnosis Methods 0.000 abstract 1
- 210000004731 jugular vein Anatomy 0.000 description 18
- 230000006870 function Effects 0.000 description 13
- 230000015572 biosynthetic process Effects 0.000 description 7
- 210000001715 carotid artery Anatomy 0.000 description 7
- 238000003786 synthesis reaction Methods 0.000 description 7
- 210000004204 blood vessel Anatomy 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000001914 filtration Methods 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 230000002194 synthesizing effect Effects 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 206010018852 Haematoma Diseases 0.000 description 2
- 239000008280 blood Substances 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000012804 iterative process Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 208000000884 Airway Obstruction Diseases 0.000 description 1
- 206010053567 Coagulopathies Diseases 0.000 description 1
- 208000009087 False Aneurysm Diseases 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000001574 biopsy Methods 0.000 description 1
- 230000023555 blood coagulation Effects 0.000 description 1
- 238000013153 catheter ablation Methods 0.000 description 1
- 238000004195 computer-aided diagnosis Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000000004 hemodynamic effect Effects 0.000 description 1
- 230000000415 inactivating effect Effects 0.000 description 1
- 230000002779 inactivation Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000002107 myocardial effect Effects 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Abstract
本发明提供一种基于神经网络的静脉与动脉识别系统，包括：超声图像输入单元，用于输入超声图像，将待识别的超声图像输入神经网络模型进行处理；神经网络模型，用于通过所述神经网络模型从待识别超声图像中获取静脉和动脉的位置信息；超声图像生成单元，根据获取的位置信息区别标记静脉与动脉，并生成含有静脉标记和动脉标记的超声图像。本发明用于对待识别的超声图像中的动脉和静脉进行自动识别，此系统安全高效，能够帮助医生提高诊断准确度，更好地辅助医生进行动脉与静脉的识别，进而进一步辅助医生进行静脉穿刺。
Description
技术领域
本发明涉及医学超声技术领域，尤其是一种基于神经网络的静脉与动脉识别方法与系统。
背景技术
在临床医学上，很多血管内手术在静脉上进行导管放置、需要穿刺等操作，例如在右侧颈静脉进行，如中心静脉导管放置、血流动力学测量、心肌活检和心脏消融等。颈静脉穿刺术的过程中，医生凭借视觉、触觉和经验等人工判断血管的位置，如通过检测血管内压力、观察血液颜色等鉴别血管的性质。这些通过血管压力、血液颜色判断颈静脉的方法可靠性差，如果穿刺针进入颈静脉血管，则继续后续的扩张、置管等操作；若穿刺针位于颈动脉血管，则撤回穿刺针，压迫穿刺点，重新进行穿刺。不同患者的静脉血管位置的难易判断程度不同，据调查显示，不经意穿刺到颈动脉的概率为2％到8％，这通常会导致相关并发症，如局部血肿等。如果病人有凝血障碍，血肿可能会迅速扩大，甚至出现气道阻塞，假性动脉瘤、动静脉瘘，这些都可能会有致命的后果。
数字图像处理技术飞速发展，计算机辅助诊断在医疗领域随处可见。鉴于超声引导技术的优点，超声B模式下超声图像引导颈静脉穿刺术对穿刺前定位血管十分有益，降低了以上风险发生的概率。但是目前对超声图像中动脉和静脉判别仍几乎由人工完成，尤其是颈动脉和颈静脉的识别,这需要操作者具有超声影像的专业知识，也就造成了判别结果的不确定性，不能最小化手术的风险；同时也使超声引导颈静脉穿刺的推广和普及受到限制。
因此，如何解决上述技术问题，即在实时利用超声引导颈静脉穿刺的进行时如何在基于人工智能或神经网络下自动识别动脉或静脉，尤其是自动快速识别颈动脉、颈静脉，成为本领域的研究人员面临的问题。
发明内容
本发明的目的在于克服现有技术中存在的不足，提供一种基于神经网络的静脉与动脉识别系统，用于对待识别的超声图像中的动脉和静脉进行自动识别，该系统安全高效，能够帮助医生提高诊断准确度，更好地辅助医生进行动脉与静脉的识别，进而进一步辅助医生进行静脉穿刺。本发明采用的技术方案是：
一种基于神经网络的静脉与动脉识别系统，包括：
超声图像输入单元，用于输入超声图像，将待识别的超声图像输入神经网络模型进行处理；
神经网络模型，用于通过所述神经网络模型从待识别超声图像中获取静脉和动脉的位置信息；
超声图像生成单元，根据获取的位置信息区别标记静脉与动脉，并生成含有静脉标记和动脉标记的超声图像。
进一步地，所述的基于神经网络的静脉与动脉识别系统，还包括：
超声图像标记单元，用于对预采集超声图像中的动脉和静脉进行标记；
神经网络训练单元，通过设定数量被标记的预采集超声图像输入神经网络模型进行训练，得到能够自动识别超声图像中动脉和静脉的所述神经网络模型。
更进一步地，超声图像标记单元具体用于：
预采集一定数量的超声图像并进行筛选；
将筛选后的超声图像划分为训练集、验证集和测试集；
供用户对划分后的超声图像中的静脉和动脉进行标记；
其中，所述训练集用于训练神经网络模型，所述验证集用于验证神经网络的识别准确度并优化神经网络模型的权重参数，所述测试集用于最终评价神经网络模型的识别准确度。
更进一步地，神经网络训练单元训练神经网络模型具体包括：
将超声图像固定到设定尺寸，并归一化同样尺寸的超声图像；
建立神经网络模型，所述神经网络模型包括一个输入层、多个隐含层和一个输出层，神经网络模型中的各隐含层之间、输入层和隐含层之间、隐含层和输出层之间通过权重参数相连接；输入层尺寸设置为与输入神经网络模型的超声图像的尺寸相一致；
初始化神经网络模型，将所述权重参数设置为随机数；
采用归一化后的超声图像训练神经网络模型；
根据损失函数计算训练神经网络模型产生预测误差，在所述损失函数收敛时，计算训练后得到的权重参数；
更新神经网络模型中的权重参数，得到自动识别超声图像中动脉和静脉的神经网络模型。
更进一步地，神经网络模型的结构具体包括：所述隐含层包括卷积层和最大池化层；首先是数个卷积层和数个最大池化层交替连接，然后再连接若干卷积层，最后连接输出层。
或，
神经网络模型的结构具体包括：所述隐含层包括卷积层、最大池化层和结合层；首先是数个卷积层和数个最大池化层交替连接，然后再连接若干卷积层，随后再连接一个结合层，将结合层之前相连接的高级特征层与该高级特征层之前的一层或数层隐含层相结合；该高级特征层与相结合的隐含层的输出图像的长和宽必需相应一致；该高级特征层与之前的一层或数层隐含层相结合后一起输入到最后一个卷积层。
或，
神经网络模型的结构具体包括：在所述多个隐含层，超声图像先经过基础的特征提取网络，提取到若干特征图像，然后再经过一系列卷积运算，得到具有不同分辨率的特征图像；再分别通过卷积运算在这些不同分辨率特征图像的不同位置上同时生成不同尺寸的边界框，在输出层对这些边界框进行softmax分类和位置回归，分别来预测边界框的类别和具体位置。
更进一步地，所述输出层配置为输出若干个预测的边界框；
其中，所述边界框的信息包括边界框中的图像是动脉或静脉的概率信息，以及边界框的位置信息和尺寸信息。
更进一步地，所述损失函数包括：
包含有目标对象的边界框的概率预测的误差；
包含有目标对象的边界框的位置和尺寸的预测误差；
不包含有目标对象的边界框的概率预测的误差；
包含有目标对象的网格单元预测类别的误差。
进一步地，神经网络模型中，通过所述神经网络模型从待识别超声图像中获取静脉和动脉的位置信息具体包括：
获取待识别的超声图像，将获取的超声图像固定到与神经网络模型相适配的尺寸并对超声图像进行归一化；
将待识别的超声图像输入到训练好神经网络模型，获取神经网络模型输出的所有边界框；
根据设定概率阈值筛选输出的边界框，进而获取静脉和动脉的位置信息。
更进一步地，根据设定概率阈值筛选输出的边界框具体包括：
挑选预测概率大于设定概率阈值的边界框作为预测结果；
在预测概率大于设定概率阈值的边界框中，采用极大值抑制方法筛选预测概率最高的边界框作为筛选结果，进而获取静脉和动脉的位置信息。
更进一步地，所述隐含层还包括过拟合设置，所述过拟合设置为随机失活一些输入层与隐含层之间或隐含层与输出层之间的权重参数。
本发明的优点：本发明能够对超声图像中的动脉和静脉位置进行准确的识别，从而能更好地辅助医生进行静脉穿刺术。
附图说明
图1-a为本发明的基于神经网络的颈静脉穿刺实时超声引导系统训练模式下示意图。
图1-b为本发明的基于神经网络的颈静脉穿刺实时超声引导系统正常工作模式下示意图。
图2为本发明的系统控制流程示意图。
图3为本发明的超声图像标记单元的处理流程示意图。
图4为本发明的神经网络训练单元的处理流程
图5为本发明实施例中建立的第一种神经网络结构示意图。
图6为本发明实施例中建立的第三种神经网络结构示意图。
图7为本发明的从待识别超声图像中获取动脉和静脉的位置信息处理流程流程图。
图8是本发明实施例中带有专家标记矩形框的超声图像的原始图像。
图9是本发明实施例中第一种神经网络结构对应系统的颈静脉穿刺引导效果图像。
具体实施方式
下面结合具体附图和实施例对本发明作进一步说明。
在此发明中，当描述了一个系统包括(或者包含或者有)一些单元、模块、模型时，应该理解，它可以包括(或者包含或者有)仅那些单元，或者在没有具体限制的情况下它可以包括(或者包含或者具有)其它单元。如本文中使用的术语“模块”“单元”意指但不限于执行特定任务的软件或硬件组件，诸如现场可编程门阵列(FPGA)或专用集成电路(ASIC)。模块可以被配置为在可寻址存储介质中并且配置为在一个或多个处理器上执行。模块可以包括组件(诸如软件组件、面向对象软件组件、类组件和任务组件)、进程、函数、属性、过程、子例行程序、程序代码段、驱动程序、固件、微码、电路、数据、数据库、数据结构、表、数组和变量。在单元和模块中提供的功能性可以被组合成更少的组件和模块或者进一步分成附加的组件和模块。
本文中使用的术语“图像”可以表示由离散图像因子(例如，二维(2D)图像中的像素和3D图像中的像素)组成的多维数据或二维图像数据或三维图像数据。
而且，本文中使用的术语“对象”可以包括人、动物的静脉、动脉。术语“对象”可以包括人造模型。
本文中使用的术语“用户”是非限制性的，可以是是医生、护士、医学技师、医学图像专家等，或者可以是维修医学设备的工程师。
图1-a所示，是一种基于神经网络的颈静脉穿刺实时超声引导系统，该系统包括：换能器，换能器用于发射与接收超声波信号；超声图像合成模块，超声图像合成模块与换能器连接，用于将换能器传输的超声波信号合成超声图像；超声图像处理模块，包括超声图像输入单元、超声图像标记单元、神经网络训练单元，超声图像输入单元用于输入超声图像，用户通过超声图像标记单元对超声图像进行标记，例如对超声图像分别标记超声图像中的静脉与动脉，标记符号可以是一个图形，例如正方形，长方形，三角形或者其他规则图形，这样超声图像标记单元得到被用户标记的超声图像，通过神经网络训练单元对被标记的超声图像进行训练，得到能够自动识别超声图像中动脉和静脉的神经网络模型，通过神经网络模型能够得到动脉和静脉的位置信息，自动匹配动脉或静脉，通过用户设置的标记符号进行区分；所述超声图像处理模板分别与超声图像合成模块、超声图像显示模块连接，超声图像处理模块将处理后的含有静脉标记和动脉标记的超声图像传输至超声图像显示模块进行图像显示。
本系统所述的连接方式可以是有线连接，比如点连接等，也可以为无线连接，比如通过蓝牙、wifi等方式进行连接。
超声图像显示模块可以是包括含有显示装置的模块，显示装置可以是触摸屏显示器、移动终端显示器(手机、ipad)、液晶显示器、LED显示器等显示器装置的一种或多种。
图1-a中的上述实施例为本发明在工程师模式或厂家进行设置选择的系统，当系统得到能够自动识别超声图像中动脉和静脉的神经网络模型后，超声图像处理模块被配置为包含超声图像输入单元、神经网络模型、超声图像生成单元，神经网络模型自动识别超声图像中动脉和静脉；此时，如图1-b所示，本发明的系统如下，该系统包括：换能器，换能器用于发射与接收超声波信号；超声图像合成模块，超声图像合成模块与换能器连接，用于将换能器传输的超声波信号合成超声图像；超声图像处理模块中，超声图像输入单元，用于输入超声图像，将待识别的超声图像输入神经网络模型进行处理；通过所述神经网络模型从待识别超声图像中获取静脉和动脉的位置信息；超声图像生成单元，根据获取的位置信息区别标记静脉与动脉，并生成含有静脉标记和动脉标记的超声图像；这样输入的超声图像被配置为被标记的超声图像，标记可以是一个图形或符号，例如正方形框，矩形框，三角形框或者其他规则图形，通过神经网络模型能够得到动脉和静脉的位置信息；所述超声图像处理模板分别与超声图像合成模块、超声图像显示模块连接，超声图像处理模块将处理后的含有静脉标记和动脉标记的超声图像传输至超声图像显示模块进行图像显示。
图1-a、图1-b所示的系统中，所述的动脉、静脉可以是颈动脉、颈静脉，也可以是其他部位的静脉与动脉。
在本发明一实施例中，如图1-b所示，本发明的系统用于辅助静脉穿刺，此时系统包括：换能器，换能器用于发射与接收超声波信号；超声图像合成模块，超声图像合成模块与换能器连接，用于将换能器传输的超声波信号合成超声图像；超声图像处理模块中，超声图像输入单元，用于输入超声图像，将待识别的超声图像输入神经网络模型进行处理；通过所述神经网络模型从待识别超声图像中获取静脉和动脉的位置信息；超声图像生成单元，根据获取的位置信息区别标记静脉与动脉，并生成含有静脉标记和动脉标记的超声图像；这样输入的超声图像被配置为被标记的超声图像，标记可以是一个图形或符号，例如正方形框，矩形框，三角形框或者其他规则图形，神经网络模型能够得到动脉和静脉的位置信息；所述超声图像处理模块分别与超声图像合成模块、超声图像显示模块连接，超声图像处理模块将处理后的含有静脉标记和动脉标记的超声图像传输至超声图像显示模块进行图像显示；静脉穿刺引导单元，静脉穿刺引导单元与超声图像处理模块连接，静脉穿刺引导单元，通过在超声图像显示模块上显示穿刺的参数，例如穿刺的网格、深度、角度信息等，辅助用户进行穿静脉穿刺。
如图2所示，换能器放置在患者待检测部位，本例中是放置于患者颈部；换能器发射与接收超声波信号，并将超声波信号传输至超声图像合成模块，以合成超声图像；通过超声图像处理模块的神经网络模型对输入的超声图像进行处理，将超声图像中的动脉和静脉自动识别，并将含有静脉标记和动脉标记的超声图像传输至图像显示模块；图像显示模块显示带静脉标记和动脉标记的超声图像，本实施例中超声图像中显示的是颈动脉和颈静脉的横截面。
本发明提出的基于神经网络的静脉与动脉识别方法，主要包括以下步骤：
步骤S1，收集检测部位的超声图像，用户通过超声图像标记单元标记超声图像中的静脉与动脉；本实施例中优选收集的是颈部的超声图像，并标记超声图像中的颈动脉和颈静脉；
步骤S2，通过神经网络训练单元，基于所标记的超声图像，训练得到神经网络模型；
步骤S3，将待识别超声图像输入经过训练得到的神经网络模型进行处理；通过所述神经网络模型从待识别超声图像中获取静脉和动脉的位置信息；根据获取的位置信息区别标记静脉与动脉，并生成含有静脉标记和动脉标记的超声图像。
如图3所示，超声图像标记单元的处理流程包括：
步骤S11，对收集的超声图像进行筛选；
步骤S12，对筛选后的超声图像划分训练集、验证集和测试集；
步骤S13，用户对超声图像中的动脉和静脉进行标记；
具体地，步骤S11，对收集的超声图像进行筛选包括：过滤不清晰、不完全、重复的超声图像；去除超声图像中与自动引导颈静脉穿刺过程不相关信息；例如，去除收集的所有超声图像中不清晰或不完全导致无法进行标记工作的那些超声图像，去除会导致标记工作重复且对神经网络训练没有附加价值的重复的超声图像；去除超声图像中与自动判别动脉和静脉过程不相关信息，包括超声图像的深度、宽度、探头方向等参数信息；
具体地，步骤S12中，在收集的所有超声图像中随机选取3/5的图像作为训练集；随机选取1/5的图像作为验证集；剩下的1/5的超声图像作为测试集使用；所述训练集用于训练神经网络模型，所述验证集用于验证神经网络的识别准确度并优化神经网络模型的权重参数，所述测试集用于最终评价神经网络模型的识别准确度；当然随机选取的比例可以是3/5、1/5、1/5，也可以是其他的比例；
具体地，步骤S13中，采用矩形框标记出所有超声图像中的动脉和静脉，记录矩形框的信息：包括坐标信息和类别信息；如矩形框坐标信息包括矩形框的左上角和右下角两个点的坐标信息，类别信息包括标记的矩形框代表动脉或静脉；标记可以是一个图形或符号，例如正方形框，矩形框，三角形或者其他规则图形。
如图4所示，神经网络训练单元的处理流程包括：
步骤S21，超声图像预处理：将超声图像固定到一定尺寸，并归一化同样尺寸的超声图像；如预处理后的超声图像为416×416×1；416×416表示预处理后超声图像的长和宽，即416像素长，416像素宽，可选地，将超声图像固定到一定尺寸时，保持原始图像的长宽比例，或者改变保持原始图像的长宽比例；对超声图像进行归一化操作的具体处理方法为将超声图像中每个像素值减去图像像素的均值后除以图像像素的方差；归一化后将超声图像的每个像素值转化到0～1之间；
由于超声图像预处理时超声图像的尺寸发生了变化，所有超声图像的标记信息也需要进行相应比例的改变；本实施例的处理方法是将超声图像的标记信息由绝对数转化为占原始超声图像的比例数；具体计算方法为：
其中，width、height分别表示超声图像输入神经网络前原始的长度和宽度；(xmin,ymin),(xmax,ymax)为标记工作记录的原始矩形框左上角和右下角两个点的坐标；x_new,y_new为超声图像预处理即改变尺寸后的矩形框的中心坐标信息，w_new、h_new分别表示超声图像预处理即改变尺寸后的矩形框的长度和宽度；
步骤S22，建立神经网络模型的结构；
所述神经网络模型包括一个输入层、多个隐含层和一个输出层；所述神经网络模型的多个隐含层用来自动提取超声图像中动脉和静脉的特征；所述隐含层包含若干个卷积层、若干个池化层等；神经网络模型中的各隐含层之间、输入层和隐含层之间、隐含层和输出层之间通过权重参数相连接；所述隐含层还包括防止过拟合的一些设置，如随机失活一些输入层与隐含层之间或隐含层与输出层之间的权重参数，即反向传播算法不对这些失活权重进行调整；
首先设置输入层尺寸，以和输入神经网络模型的超声图像的尺寸相适配；
如图5所示，本发明实施例中建立的第一种神经网络模型的结构包括一输入层，与输入层连接的多个隐含层，与最高层的隐含层连接的一输出层；图5中显示了神经网络模型的各隐含层和输出层；图5中神经网络模型的所有隐含层包括8个卷积层，5个最大池化层，输出层为1个Softmax分类层；首先是5个卷积层和5个最大池化层交替连接，每个最大池化层都起到对特征进行降维的作用；然后再连接3个卷积层，这些卷积层提取了高层的特征信息；最后连接输出层，输出神经网络的结果；图5中每层之间连接的箭头体现了神经网络模型各层之间的权重参数。
如表一所示，显示了本发明实施例中建立的第二种神经网络模型的结构；表一中包括了该神经网络模型的各隐含层；表一中共四列，分别表示隐含层各层的名称，每层的过滤器数量、每层的输入图像尺寸和输出图像尺寸(图像尺寸的列中前两个数字表示长度和宽度)；其中过滤器起到连接神经网络模型的不同隐含层的作用，其体现了神经网络模型的权重参数；该神经网络模型的所有隐含层先是5个卷积层和5个最大池化层交替连接；接着是连接若干个卷积层，表一选择连接了两个卷积层；随后再连接一个结合层(Route层)，用于将结合层之前相连接的高级特征层(表一中的第11层)与该高级特征层之前的一层或数层隐含层相结合，以使得高级特征层与低级细粒度特征结合；该高级特征层与相结合的隐含层的输出图像的长和宽必需相应一致；表一中将第11层和第9层(一个最大池化层)结合，也可以将第11层和第9层、第10层结合；该高级特征层与之前的一层或数层隐含层相结合后一起输入到最后一个卷积层；这样增加了神经网络对偏小的目标对象的检测效果。
表一
如图6所示，显示了本发明实施例中建立的第三种神经网络模型的结构；
图6中640×512的超声图像经过基础的特征提取网络，比如VGG,Inception,Alexnet等提取到若干特征图像，即图6中的52×52的特征图像；然后再经过一系列卷积运算，得到具有不同分辨率的特征图像，即图6中的26×26、13×13、7×7、4×4的特征图像；这些特征图像在图6中以长方体的形式表示，长方体的厚度代表特征图像的数量，长方体的长和宽对应特征图像的长和宽；图中长方体左下角的Conv即表示卷积运算，即体现了神经网络的权重参数；图中水平的直线表示分别通过卷积运算在这些不同分辨率的特征图像的不同位置上同时生成不同尺寸的边界框，这是第三种神经网络模型结构不同于前两者的地方；最后，即图6中的输出层对这些边界框进行softmax分类和位置回归，分别来预测边界框的类别和具体位置。
最后，对应上述三种神经网络模型的结构，设置神经网络模型的输出层输出SxS个网格单元，例如13x13个网格单元，在每个网格单元输出B个预测的边界框，例如5个预测的边界框；神经网络开始训练前，用K均值的方法对训练集中的超声图像的动脉、静脉的长度和宽度数值进行聚类，得出B个聚类中心，作为神经网络输出边界框的先验知识；每个边界框的信息需要用2+4+1＝7个数字表示，其中2个数字分别表示该边界框中的图像是动脉、静脉的概率信息，两个概率信息分别记作c1，c2；4个数字表示该边界框的中心位置的坐标信息(横坐标、纵坐标)和长度、宽度信息，中心位置的坐标信息用与网格单元的相对值记录，长宽信息是相对于整幅超声图像的预测值；1个数字记录了该边界框中含有动脉或静脉的可能性的大小，若该边界框中既不含有动脉也不含有静脉，则该数值接近0，表示不含有目标对象；否则，接近1，表示含有目标对象；目标对象是指动脉或静脉；
基于以上可选的参数设置，神经网络模型的可选的输出大小为13×13×35，其中35记录了超声图像中每个网格单元中输出的5个边界框含有动脉或静脉的信息。在神经网络模型的最后设置softmax分类层，将2个概率信息限制到0到1之间，且当边界框中含有动脉或静脉时，2个概率信息c1，c2之和为1。边界框的中心位置横坐标、纵坐标、宽度、长度记作x，y，h，w，边界框中含有目标对象的可能性记作pc，则每个边界框的输出可以表示为：
步骤S23，初始化神经网络模型：将神经网络模型的权重参数设置为随机数；
步骤S24，定义神经网络模型的损失函数；
神经网络模型的损失函数包括四项，分别为：
含有目标对象的边界框的概率预测的误差；
含有目标对象的边界框的位置和尺寸的预测误差；
不含有目标对象的边界框的概率预测的误差；
每个含有目标对象的网格单元预测类别的误差；
其中，边界框含有目标对象的判断标准是预测的边界框与超声图像中该网格单元中的真实矩形框(即用户在步骤S13进行的标记)的重叠比例大于设定阈值，具体衡量指标记为IOU；
可选地，IOU大于0.6的边界框作为含有目标对象的边界框；
网格单元含有目标对象的判断标准是真实矩形框的中心落在该网格单元中；一张超声图像的损失函数的具体计算公式为：
其中，λ1-λ4表示各项误差在总的损失函数中占的比重，各项误差都选用平方误差的形式；
损失函数的第一项表示含有目标对象的边界框的概率预测的误差；其中，S2表示将超声图像划分成S×S个网格单元，B表示每个网格单元设置的边界框数量，表示第i个网格单元的第j个边界框是否含有目标对象，Ci表示第i个网格单元的概率向量，/>表示该网格单元当前的第j个边界框的概率向量，这两个概率向量在本发明中的长度为2，即表示边界框是静脉、动脉的概率；
损失函数的第二项表示含有目标对象的边界框的位置和尺寸的预测误差；其中xi，yi，hi，wi分别表示第i个网格单元的矩形框的中心位置横坐标、纵坐标和宽度、长度信息，分别表示预测的边界框相应的中心位置横坐标、纵坐标和宽度、长度信息；宽度、长度的误差部分采用根号形式目的是权衡不同大小的目标对象的预测误差；
损失函数的第三项是不含有目标对象的边界框的概率预测的误差，表示第i个网格单元的第j个边界框是否不含有目标对象；因为不含有目标对象的边界框占多数，所以λ3通常会设置得比λ1小，否则无法训练得到识别效果较好的神经网络。可选的，λ1＝5，λ2＝λ3＝λ4＝1；
损失函数的第四项表示每个含有目标对象的网格单元预测类别的误差，其中，当动脉或静脉的中心落在某网格单元时，否则/>pi(c)表示第i个网格单元是否含有第c个类别的目标对象，即静脉或动脉，取值为0或1；/>表示预测第i个网格单元含有第c个类别的目标对象的概率，数值范围为[0,1]。
步骤S25，训练神经网络模型，得到能够自动识别超声图像中动脉和静脉的神经网络模型；
此步骤中，用归一化后的训练集的超声图像训练神经网络模型；
优选地，随机选择训练集中的超声图像,对这些超声图像进行弹性形变后输入神经网络模型，对神经网络模型进行训练；这样能得到鲁棒性更好的神经网络模型。
具体可采用反向传播算法训练神经网络模型；神经网络模型的权重参数初始值随机设置，迭代过程中按规律变化；将学习率设置为0.0001，动量设置为0.9，每迭代100次后，保存权重参数至网络参数文件，神经网络模型的最大迭代次数设置为50k；神经网络模型迭代过程中，计算神经网络模型在验证集上的召回率，即验证集中超声图像的真实的矩形框被识别出来的比例；待神经网络模型的损失函数收敛后，将收敛时对应的在验证集上识别效果最佳的权重参数作为神经网络模型的权重参数。
如图7所示，通过所述神经网络模型从待识别超声图像中获取静脉和动脉的位置信息的处理流程包括：
步骤S31，获取待识别的超声图像，并将超声图像固定到与神经网络模型输入层相适配的同样尺寸，对超声图像进行归一化；
本例中，待识别的超声图像来自测试集；
步骤S32，将待识别的超声图像输入训练好的神经网络模型，得到神经网络模型输出的所有边界框；
所有边界框代表了对超声图像中动脉或静脉的预测；
步骤S33，筛选边界框得到最终的识别结果。
进一步地，筛选边界框是指挑选预测概率大于设定阈值的边界框作为预测结果；
在预测概率大于设定阈值的边界框中，使用极大值抑制方法进一步进行筛选，具体做法是计算边界框之间的重叠度，在重叠度指标大于设定阈值的边界框中，选择预测概率最高的边界框作为识别结果。
最后，超声图像生成单元根据超声图像中识别出的静脉与动脉，生成含有静脉标记和动脉标记的超声图像。
参照图9，是本发明实施例中第二种神经网络模型结构对应系统的颈静脉穿刺引导效果图像，与原始图像图8对应。图8和图9中artery标识着颈动脉的位置，vein标识着颈静脉的位置。
最后所应说明的是，以上具体实施方式仅用以说明本发明的技术方案而非限制，尽管参照实例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。
Claims (7)
1.一种基于神经网络的静脉与动脉识别系统，其特征在于，包括：
超声图像输入单元，用于输入超声图像，将待识别的超声图像输入神经网络模型进行处理；
神经网络模型，用于通过所述神经网络模型从待识别超声图像中获取静脉和动脉的位置信息；
超声图像生成单元，根据获取的位置信息区别标记静脉与动脉，并生成含有静脉标记和动脉标记的超声图像，还包括：
超声图像标记单元，用于对预采集超声图像中的动脉和静脉进行标记；
神经网络训练单元，通过设定数量被标记的预采集超声图像输入神经网络模型进行训练，得到能够自动识别超声图像中动脉和静脉的所述神经网络模型，
神经网络训练单元训练神经网络模型具体包括：
将超声图像固定到设定尺寸，并归一化同样尺寸的超声图像；
建立神经网络模型，所述神经网络模型包括一个输入层、多个隐含层和一个输出层，神经网络模型中的各隐含层之间、输入层和隐含层之间、隐含层和输出层之间通过权重参数相连接；输入层尺寸设置为与输入神经网络模型的超声图像的尺寸相一致；
初始化神经网络模型，将所述权重参数设置为随机数；
采用归一化后的超声图像训练神经网络模型；
根据损失函数计算训练神经网络模型产生预测误差，在所述损失函数收敛时，计算训练后得到的权重参数；
更新神经网络模型中的权重参数，得到自动识别超声图像中动脉和静脉的神经网络模型，
神经网络模型的结构具体包括：所述隐含层包括卷积层、最大池化层和结合层；首先是数个卷积层和数个最大池化层交替连接，然后再连接若干卷积层，随后再连接一个结合层，将结合层之前相连接的高级特征层与该高级特征层之前的一层或数层隐含层相结合；该高级特征层与相结合的隐含层的输出图像的长和宽必需相应一致；该高级特征层与之前的一层或数层隐含层相结合后一起输入到最后一个卷积层；
或，
神经网络模型的结构具体包括：在所述多个隐含层，超声图像先经过基础的特征提取网络，提取到若干特征图像，然后再经过一系列卷积运算，得到具有不同分辨率的特征图像；再分别通过卷积运算在这些不同分辨率特征图像的不同位置上同时生成不同尺寸的边界框，在输出层对这些边界框进行分类和位置回归，分别来预测边界框的类别和具体位置。
2.如权利要求1所述的基于神经网络的静脉与动脉识别系统，其特征在于，
超声图像标记单元具体用于：
预采集一定数量的超声图像并进行筛选；
将筛选后的超声图像划分为训练集、验证集和测试集；
供用户对划分后的超声图像中的静脉和动脉进行标记；
其中，所述训练集用于训练神经网络模型，所述验证集用于验证神经网络的识别准确度并优化神经网络模型的权重参数，所述测试集用于最终评价神经网络模型的识别准确度。
3.如权利要求1所述的基于神经网络的静脉与动脉识别系统，其特征在于，
所述输出层配置为输出若干个预测的边界框；
其中，所述边界框的信息包括边界框中的图像是动脉或静脉的概率信息，以及边界框的位置信息和尺寸信息。
4.如权利要求1所述的基于神经网络的静脉与动脉识别系统，其特征在于，
所述损失函数包括：
包含有目标对象的边界框的概率预测的误差；
包含有目标对象的边界框的位置和尺寸的预测误差；
不包含有目标对象的边界框的概率预测的误差；
包含有目标对象的网格单元预测类别的误差。
5.如权利要求1所述的基于神经网络的静脉与动脉识别系统，其特征在于，
神经网络模型中，通过所述神经网络模型从待识别超声图像中获取静脉和动脉的位置信息具体包括：
获取待识别的超声图像，将获取的超声图像固定到与神经网络模型相适配的尺寸并对超声图像进行归一化；
将待识别的超声图像输入到训练好神经网络模型，获取神经网络模型输出的所有边界框；
根据设定概率阈值筛选输出的边界框，进而获取静脉和动脉的位置信息。
6.如权利要求5所述的基于神经网络的静脉与动脉识别系统，其特征在于，
根据设定概率阈值筛选输出的边界框具体包括：
挑选预测概率大于设定概率阈值的边界框作为预测结果；
在预测概率大于设定概率阈值的边界框中，采用极大值抑制方法筛选预测概率最高的边界框作为筛选结果，进而获取静脉和动脉的位置信息。
7.如权利要求1所述的基于神经网络的静脉与动脉识别系统，其特征在于，
所述隐含层还包括过拟合设置，所述过拟合设置为随机失活一些输入层与隐含层之间或隐含层与输出层之间的权重参数。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811301602.5A CN111144163B (zh) | 2018-11-02 | 2018-11-02 | 基于神经网络的静脉与动脉识别系统 |
| PCT/CN2018/123978 WO2020087732A1 (zh) | 2018-11-02 | 2018-12-26 | 基于神经网络的静脉与动脉识别方法与系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811301602.5A CN111144163B (zh) | 2018-11-02 | 2018-11-02 | 基于神经网络的静脉与动脉识别系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111144163A CN111144163A (zh) | 2020-05-12 |
| CN111144163B true CN111144163B (zh) | 2023-11-21 |
Family
ID=70516268
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811301602.5A Active CN111144163B (zh) | 2018-11-02 | 2018-11-02 | 基于神经网络的静脉与动脉识别系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111144163B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111931626B (zh) * | 2020-08-03 | 2023-12-26 | 深圳市爱博医疗机器人有限公司 | 一种基于深度学习的血管介入机器人自动手术方法 |
| CN113838028A (zh) * | 2021-09-24 | 2021-12-24 | 无锡祥生医疗科技股份有限公司 | 一种颈动脉超声自动多普勒方法、超声设备及存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107563983A (zh) * | 2017-09-28 | 2018-01-09 | 上海联影医疗科技有限公司 | 图像处理方法以及医学成像设备 |
| CN108596046A (zh) * | 2018-04-02 | 2018-09-28 | 上海交通大学 | 一种基于深度学习的细胞检测计数方法及系统 |
-
2018
- 2018-11-02 CN CN201811301602.5A patent/CN111144163B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107563983A (zh) * | 2017-09-28 | 2018-01-09 | 上海联影医疗科技有限公司 | 图像处理方法以及医学成像设备 |
| CN108596046A (zh) * | 2018-04-02 | 2018-09-28 | 上海交通大学 | 一种基于深度学习的细胞检测计数方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111144163A (zh) | 2020-05-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111134727B (zh) | 基于神经网络的静脉与动脉识别的穿刺引导系统 | |
| CN102056547B (zh) | 医用图像处理装置及医用图像处理方法 | |
| CN106456125B (zh) | 用于将医学图像中的特征链接到解剖结构模型的系统以及其操作方法 | |
| CN103222879B (zh) | 用于识别超声成像的最佳图像帧的系统和方法 | |
| CN111340682A (zh) | 利用深度神经网络将医学图像转换为不同样式图像的方法和系统 | |
| CN111145137B (zh) | 基于神经网络的静脉与动脉识别方法 | |
| JP2021520939A (ja) | 適応的超音波スキャニング | |
| EP2340444A1 (en) | 3-d ultrasound imaging | |
| CN111971688A (zh) | 具有用于检索复发患者的成像参数设置的人工神经网络的超声系统 | |
| US11564663B2 (en) | Ultrasound imaging apparatus and control method thereof | |
| CN102265308A (zh) | 用于监视医学异常的系统及其操作方法 | |
| CN112614133B (zh) | 一种无锚点框的三维肺结节检测模型训练方法及装置 | |
| CN111144163B (zh) | 基于神经网络的静脉与动脉识别系统 | |
| JP2020137974A (ja) | 超音波プローブ用ナビゲートシステム、および、そのナビゲート表示装置 | |
| CN111242921A (zh) | 一种医学超声图像辅助诊断系统自动更新的方法及系统 | |
| JP2010200844A (ja) | 超音波診断装置および超音波診断装置のデータ処理プログラム | |
| JP6815711B1 (ja) | 診断支援プログラム、装置、及び方法 | |
| JP2023525741A (ja) | 超音波プロトコルツリーの自動評価 | |
| CN112603373A (zh) | 用于经由超声成像来诊断肌腱损伤的方法和系统 | |
| CN111820948B (zh) | 胎儿生长参数测量方法、系统及超声设备 | |
| WO2020087732A1 (zh) | 基于神经网络的静脉与动脉识别方法与系统 | |
| CN110033846B (zh) | 一种产科临床辅助顺产装置及控制方法、计算机程序 | |
| CN113194837A (zh) | 用于帧索引和图像复查的系统和方法 | |
| EP4239576A1 (en) | Method and system for registering images acquired with different modalities for generating fusion images from registered images acquired with different modalities | |
| CN113487665B (zh) | 一种管腔缺口的测量方法、装置、设备和介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |