CN110309849B - 血管图像处理方法、装置、设备及存储介质 - Google Patents

血管图像处理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN110309849B
CN110309849B CN201910390826.6A CN201910390826A CN110309849B CN 110309849 B CN110309849 B CN 110309849B CN 201910390826 A CN201910390826 A CN 201910390826A CN 110309849 B CN110309849 B CN 110309849B
Authority
CN
China
Prior art keywords
blood vessel
image
processed
pixel point
original
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910390826.6A
Other languages
English (en)
Other versions
CN110309849A (zh
Inventor
余双
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Healthcare Shenzhen Co Ltd
Original Assignee
Tencent Healthcare Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Healthcare Shenzhen Co Ltd filed Critical Tencent Healthcare Shenzhen Co Ltd
Priority to CN201910670551.1A priority Critical patent/CN110348541B/zh
Priority to CN201910390826.6A priority patent/CN110309849B/zh
Publication of CN110309849A publication Critical patent/CN110309849A/zh
Application granted granted Critical
Publication of CN110309849B publication Critical patent/CN110309849B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种血管图像处理方法、装置、设备及存储介质；方法包括：从待处理血管图像中提取原始特征图；基于原始特征图中各个像素点的特征，确定待处理血管图像中各个像素点属于血管的概率值，以形成待处理血管图像的血管分割概率图；基于血管分割概率图中对应各个像素点的概率值的分布情况，为各个像素点分配对应的权重；将待处理血管图像中各个像素点的权重与原始特征图中相应像素点的特征进行融合，得到融合特征图；基于融合特征图中各个像素点的特征，确定待处理血管图像中各个像素点分别属于不同类型血管的概率值，以形成待处理血管图像的血管分类概率图。通过本发明，能够自动化和高精度地实现血管分割和血管分类。

Description

血管图像处理方法、装置、设备及存储介质
技术领域
本发明涉及医疗图像处理技术，尤其涉及一种血管图像处理方法、装置、设备及存储介质。
背景技术
对图像中的血管进行分割(即将血管从背景中识别出来)和分类(即对血管进行分类)在临床诊断和治疗中具有重要意义。
以眼底血管为例，眼底是人体唯一一处可以直接无介入观测血管的区域，很多全身性的疾病和心脑血管疾病都会影响眼底血管的形态，并且对动脉和静脉的形成不同的影响。比如，临床研究证实眼底动静脉宽度比的降低，会引起脑卒中风险的升高；眼底动脉的变窄和高血压以及糖尿病的发展相关。
相关技术尚无有效方案兼容实现血管分割和分类多任务的自动化。
发明内容
本发明实施例提供一种血管图像处理方法、装置、设备及存储介质，能够自动化和高精度地实现血管分割和血管分类。
本发明实施例的技术方案是这样实现的：
本发明实施例提供一种血管图像处理方法，包括：
从待处理血管图像中提取原始特征图；
基于所述原始特征图中各个像素点的特征，确定所述待处理血管图像中各个像素点属于血管的概率值，以形成所述待处理血管图像的血管分割概率图；
基于所述血管分割概率图中对应所述各个像素点的概率值的分布情况，为所述各个像素点分配对应的权重；
将所述各个像素点的权重与所述原始特征图中相应像素点的特征进行融合，得到融合特征图；
基于所述融合特征图中各个像素点的特征，确定所述待处理血管图像中各个像素点分别属于不同类型血管的概率值，以形成所述待处理血管图像的血管分类概率图。
本发明实施例提供一种血管图像处理装置，包括：
特征提取模块，用于从待处理血管图像中提取原始特征图；
输出模块，基于所述原始特征图中各个像素点的特征，确定所述待处理血管图像中各个像素点属于血管的概率值，以形成所述待处理血管图像的血管分割概率图；
激活模块，用于基于所述血管分割概率图中对应所述各个像素点的概率值的分布情况，为所述各个像素点分配对应的权重；
所述输出模块，用于将所述各个像素点的权重与所述原始特征图中相应像素点的特征进行融合，得到融合特征图；
所述输出模块，用于基于所述融合特征图中各个像素点的特征，确定所述待处理血管图像中各个像素点分别属于不同类型血管的概率值，以形成所述待处理血管图像的血管分类概率图。
上述方案中，血管图像处理装置还包括：
扩展压缩模块，用于：扩展所述待处理血管图像的通道的数量；将扩展后的所述待处理血管图像的通道的数量进行压缩，以适配用于对所述待处理血管图像进行下采样的输入通道数。
上述方案中，所述输入模块还用于：
获取原始血管图像，以分块的形式从所述原始血管图像中提取至少两个所述待处理血管图像；
上述方案中，所述输出模块，还用于：
按照提取顺序将所述至少两个待处理血管图像的血管分割概率图进行拼接，得到所述原始血管图像的血管分割结果，并
按照提取顺序将所述至少两个待处理血管图像的分类结果拼接，得到所述原始血管图像的血管分类结果。
上述方案中，所述输出模块还用于：
对所述原始特征图进行降维处理，并对降维处理后的原始特征图进行批处理以得到归一化的原始特征图；
通过激活函数将所述归一化的原始特征图中各个像素点的特征，对应映射为所述待处理血管图像中各个像素点分别是血管像素点的概率值。
上述方案中，所述激活模块，还用于：
通过激活函数对所述概率图中符合毛细血管和血管边界的概率值分布的概率值分配第一权重；
通过所述激活函数对所述概率图中符合动脉、静脉和图像背景的概率值分布的概率值分配第二权重，且所述第二权重小于所述第一权重；
基于所述概率图中的概率值以及对应分配的权重形成所述激活权重图。
上述方案中，所述输出模块，还用于：
将所述原始特征图中各个像素点的权重，与所述原始特征图中相应像素点的特征进行点乘运算处理，得到所述各个像素点的点乘运算结果；
将所述各个像素点的点乘运算结果组合形成所述融合特征图。
上述方案中，所述输出模块，还用于：
对所述融合特征图进行降维处理，并对降维处理后的融合特征图进行批处理以得到归一化的融合特征图；
通过激活函数将归一化的融合特征图中各个像素点的特征，对应映射为所述待处理血管图像中各个像素点分别是不同类型血管的概率值。
上述方案中，所述血管图像处理装置还包括：
侧输出层，用于将所述待处理血管图像进行多个层次的下采样时所输出的下采样特征，与所述下采样特征的参考标准，得到下采样的损失；
训练模块，用于基于所述下采样的损失、所述血管分割概率图和所述血管分类概率图的预测损失、以及用于预测所述血管分割概率图和所述血管分类概率图的神经网络模型的网络权重，构建所述神经网络模型的损失函数；基于所述损失函数更新所述神经网络模型以使所述损失函数收敛。
本发明实施例提供一种血管图像处理的设备，包括：
存储器，用于存储可执行指令；
处理器，用于执行所述存储器中存储的可执行指令时，实现本发明实施例提供的血管图像处理方法。
本发明实施例提供一种存储介质，存储有可执行指令，用于引起处理器执行时，实现本发明实施例提供的血管图像处理方法。
本发明实施例具有以下有益效果：
将血管分割和分类的结果通过两个不同的概率图输出，并且利用血管分割任务的结果辅助分类，保证了分类的鲁棒性；根据像素点的概率值为像素点针对性地分配权重，从而能够侧重于难以分类的血管类型的像素点的分类处理，保证了分类精度。
附图说明
图1是本发明实施例提供的血管图像处理系统10的应用场景示意图；
图2是本发明实施例提供的血管图像处理设备500的结构示意图；
图3是本发明实施例提供的血管图像处理装置555的结构示意图；
图4A至图4D是本发明实施例提供的血管图像处理方法的流程示意图；
图5是本发明实施例提供的神经网络模型进行眼底图像的分割和分类处理的示意图；
图6是本发明实施例提供的原始的眼底彩照进行归一化和增强处理的示意图；
图7A是本发明实施例提供的神经网络模型中的输入模块的结构示意图；
图7B是本发明实施例提供的神经网络模型中的特征提取模块的结构示意图；
图7C是本发明实施例提供的神经网络模型中输出模块的结构示意图；
图8A至图8C是本发明实施例提供的侧输出层的结构示意图；
图9是本发明实施例提供的神经网络模型中激活模块的结构示意图；
图10是本发明实施例提供的激活模块所生成的激活权重图的示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，所描述的实施例不应视为对本发明的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本发明实施例的目的，不是旨在限制本发明。
对本发明实施例进行进一步详细说明之前，对本发明实施例中涉及的名词和术语进行说明，本发明实施例中涉及的名词和术语适用于如下的解释。
1)血管分割：将待处理血管图像中的血管与背景进行区分，血管分割可以是像素级别，即对待处理血管图像中的各个像素点，分别区分是否属于血管(即是否是血管像素点)。
2)血管分类：对待处理血管图像包括的血管进行分类，例如动脉、静脉分类。血管分割可以是像素级别，例如对待处理血管图像中的各个像素点，分别确定属于动脉还是静脉(即，是动脉像素点还是静脉像素点)。
3)血管分割概率图：包括与待处理血管图像中的像素点一一对应的概率值，表示待处理血管图像中的各个像素点属于血管(即是血管像素点)可能性。
4)血管分类概率图：包括与待处理血管图像中的像素点一一对应的概率值，表示待处理血管图像中的各个像素点属于某一类(例如动脉、静脉)血管(即是某一类血管像素点)的可能性。
5)特征图：从待处理图像中直接或间接提取的多个特征，特征图的分辨率可以小于待处理血管图像的分辨率，也可以等于待处理血管图像的分辨率。特征图可以从待处理血管图像中直接提取得到，也可以从待处理血管图像的特征图中进一步提取(即间接提取)得到。
下面分析相关技术提供的关于血管分割和血管分类的方案。
在相关技术中，自动化的动静脉分类过程一般分为两个连续的阶段：在第一阶段进行视网膜血管分割，在第二阶段，在分割所得的血管基础上进行动脉和静脉的分类。其中存在血管分类的表现完全依赖于血管分割结果而导致缺乏鲁棒性的问题。以基于图论的方法来说，第一阶段血管分割的缺陷，尤其是断点和分割错误的血管，其影响在第二阶段会被放大进而影响血管分类的精度。对于基于特征提取的方法来说，动静脉分类的准确率依赖于人工设计的特征的有效性，并且需要连续的进行血管分割，图结构重建(如果是基于图论的方法)，特征提取和动静脉分类等步骤，在系统实现时耗时和复杂度都会比较明显。
另外，相关技术也有利用深度学习框架(例如各种基础网络)将像素点区分为动脉、静脉和背景的方案。但是深度学习框架学习的特征不充分，导致血管的分类仍然比较困难，进而在此基础上进行血管分割的精度受到影响，尤其是小血管的分割。
可见，对于兼顾血管分割和动静脉分类两个任务的精度，并实现两个任务的自动化，相关技术缺乏有效解决方案。
为至少解决相关技术的上述技术问题，本发明实施例提供血管图像处理方法、装置、设备和存储介质，能够自动化和高精度地实现血管分割和血管分类。下面说明本发明实施例提供的血管图像处理设备的示例性应用，本发明实施例提供的血管图像处理设备可以是服务器，例如部署在云端的服务器，根据用户提交的待处理血管图像，向用户提供远程的血管图像处理功能(包括血管分割和血管分类)；也可是疾病诊断设备，例如可以是一种或多种疾病(例如比如糖尿病、视网膜病变和心脑血管疾病等)的诊断设备，能够对眼部或其他病灶部位的血管图像进行血管分割和血管分类，以辅助进行疾病的诊断和治疗；甚至可以是手持终端等设备。
血管图像处理设备通过运行本发明实施例提供的动静脉血管分割和分类的方案，可以利用眼底动脉和静脉形态学参数的量化系统，或者形成量化动脉和静脉特征及变化的系统，为临床研究眼底血管和全身性疾病以及心脑血管疾病的生物标记等相关研究提供支持，进而利用该系统量化和预测全身性疾病的发展进度以及预测心脑血管疾病的风险因子。
当然，血管图像处理设备也可以应用到眼底筛查系统中，判断眼底血管分布的是否正常与否，辅助眼底疾病和全身性疾病(比如高血压和高血脂)的预测和诊断。
作为示例，参见图1，图1是本发明实施例提供的血管图像处理系统10的应用场景示意图，终端200可以位于各种具有医疗属性的机构(例如医院、医学研究院)中，可以被用来采集(例如，例如终端200的图像采集装置，或者通过其他的图像采集设备400)患者的眼底图像(即待处理血管图像)。
在一些实施例中，终端200本地执行本发明实施例提供的血管图像处理方法来完成眼底图像的血管分割和血管分类，将血管分割和血管分类的结果以图形化方式输出，从而供医生、研究人员进行疾病的诊断、复诊和治疗方法的研究，例如可以根据眼底图像的血管分割结果和血管分类结果，确定不同类型血管在形态学上的表现，进而来辅助或者直接诊断患者是否有心脑血管疾病风险或者高血压视网膜病变。
终端200也可以通过网络300向服务器100发送眼底图像，并调用服务器100提供的远程诊断服务的功能，服务器100通过本发明实施例提供的血管图像处理方法进行血管分割和血管分类的多任务，将血管分割和血管分类的结果返回终端200，供医生、研究人员进行疾病的诊断、复诊和治疗方法的研究。
终端200可以在图形界面210中显示血管图像处理的各种中间结果和最终结果，例如眼底图像、眼底血管的分割结果和分类结果等。
继续说明本发明实施例提供的血管图像处理设备的结构，血管图像处理设备可以是各种终端，例如医疗诊断设备、电脑等，也可以是如图1示出的服务器100。
参见图2，图2是本发明实施例提供的血管图像处理设备500的结构示意图，图2所示的血管图像处理设备500包括：至少一个处理器510、存储器550、至少一个网络接口520和用户接口530。血管图像处理设备500中的各个组件通过总线系统540耦合在一起。可理解，总线系统540用于实现这些组件之间的连接通信。总线系统540除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图2中将各种总线都标为总线系统540。
处理器510可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器(DSP，Digital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。
用户接口530包括使得能够呈现媒体内容的一个或多个输出装置531，包括一个或多个扬声器和/或一个或多个视觉显示屏。用户接口530还包括一个或多个输入装置532，包括有助于用户输入的用户接口部件，比如键盘、鼠标、麦克风、触屏显示屏、摄像头、其他输入按钮和控件。
存储器550包括易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM，Read Onl y Memory)，易失性存储器可以是随机存取存储器(RAM，Random Access M emory)。本发明实施例描述的存储器550旨在包括任意适合类型的存储器。存储器550可选地包括在物理位置上远离处理器510的一个或多个存储设备。
在一些实施例中，存储器550能够存储数据以支持各种操作，这些数据的示例包括程序、模块和数据结构或者其子集或超集，下面示例性说明。
操作系统551，包括用于处理各种基本系统服务和执行硬件相关任务的系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务；
网络通信模块552，用于经由一个或多个(有线或无线)网络接口520到达其他计算设备，示例性的网络接口520包括：蓝牙、无线相容性认证(WiFi)、和通用串行总线(USB，Universal Serial Bus)等；
显示模块553，用于经由一个或多个与用户接口530相关联的输出装置531(例如，显示屏、扬声器等)使得能够呈现信息(例如，用于操作外围设备和显示内容和信息的用户接口)；
输入处理模块554，用于对一个或多个来自一个或多个输入装置532之一的一个或多个用户输入或互动进行检测以及翻译所检测的输入或互动。
在一些实施例中，本发明实施例提供的血管图像处理装置可以采用软硬件结合的方式实现，作为示例，本发明实施例提供的装置可以是采用硬件译码处理器形式的处理器，其被编程以执行本发明实施例提供的。。方法，例如，硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路(ASIC，Appl ication Specific Integrated Circuit)、DSP、可编程逻辑器件(PLD，Programma ble Logic Device)、复杂可编程逻辑器件(CPLD，Complex Programmable Lo gic Device)、现场可编程门阵列(FPGA，Field-ProgrammableGate Array)或其他电子元件。
在另一些实施例中，本发明实施例提供的血管图像处理装置可以采用软件方式实现，图2示出了存储在存储器550中的血管图像处理装置555，其可以是程序和插件等形式的软件，并包括一系列的模块，包括神经网络模型以及用于训练神经网络模型的训练模块5557；其中，神经网络模型用于实现本发明实施例提供的血液图像处理方法中血管分割和血管分类的功能，包括一系列的模块(将在下文进行说明)，训练模块5557用于实现本发明实施例提供的神经网络模型的训练功能。
结合本发明实施例提供的终端的示例性应用和实施，说明本发明实施例提供的血管处理处理方法，根据上文可以理解，本发明实施例提供的血管图像处理方法可以由各种类型的血管处理处理设备，例如疾病诊断设备、电脑和服务器等。
参见图3和图4A，图3是本发明实施例提供的血管图像处理装置555的结构示意图，示出了神经网络模型中的一系列模块实现血管分割以及血管分类的处理流程，图4A是本发明实施例提供的血管图像处理方法的流程示意图，将结合图3对图4A示出的步骤进行说明。
在步骤101中，从待处理血管图像中提取原始特征图。
在一些实施例中，使用U型网络来提取原始特征图，U型网络也称为统一网络(U-Net，Unity Networking)，其特征提取的过程包括下采样和上采样两个阶段，对待处理血管图像进行多个层次的下采样且下采样的分辨率逐渐降低，例如对16×16(分辨率的宽×高，单位为像素)的待处理血管图像进行3个层次的下采样，各个对应下采样得到的下采样特征图的分辨率分别为：16×16，8×8，4×4，最终得到小于待处理血管图像的分辨率的下采样特征图，下采样特征图包括待处理血管图像的可视化的特征，比如边界，颜色，还可以包括抽象的特征(即无法使用可视化的特征来描述)。
之后，对下采样特征图进行多个层次的上采样，上采样得到的上采样特征图的分辨率与不同层次的下采样特征图的分辨率对应，逐个层次增大，例如4×4，8×8，16×16；且每个层次的上采样结果与相同分辨率的下采样特征图拼接，以作为下一层次的上采样的输入，例如，8×8的上采样特征图与8×8的下采样特征图拼接，然后进行16×16上采样，得到与待处理血管图像的分辨率一致的原始特征图。
通过在上采样过程中融合了不同层次的特征，能够使得后续的血管分割效果更加精细。
作为示例，参见图3，通过神经网络模型中的特征提取模块5551中的编码器进行下采样，其中编码器中可以包括多个级联的编码层，通过多个级联的编码层依次对待处理血管图像进行下采样，即一个编码层的下采样结果将输入下一个编码层继续进行下采样，直至遍历所有的编码层，输出最终的下采样特征图。同理，通过神经网络模型中的特征提取模块5551中的解码器进行下采样，其中解码器中可以包括多个级联的解码层，通过多个级联的解码层依次对下采样特征图进行上采样，即一个解码层的上采样结果将输入下一个解码层继续进行下采样，直至遍历所有的解码层，最后一个层次的解码器输出与待处理血管图像的分辨率一致的上采样特征图作为原始特征图。
当然，从待处理血管图像中提取原始特征图不局限于U型网络，还可以替换为各种基础网络，例如全卷积网络(FCN，Fully Convolutional Network)以及其他各种网络。
在步骤102中，基于原始特征图中各个像素点的特征，确定待处理血管图像中各个像素点属于血管的概率值，以形成待处理血管图像的血管分割概率图。
在一些实施例中，对原始特征图进行降维处理，并对降维处理后的原始特征图进行批处理以得到归一化的原始特征图；通过激活函数将归一化的原始特征图中的各个像素点的特征，对应映射为待处理血管图像中各个像素点分别是血管像素点的概率值。
作为示例，参见图3，通过输出模块中血管分割分支中的卷积层进行降维处理，通过血管分割分支中的批处理归一化(BN，Batch Normalize)层对降维处理后的原始特征图进行批处理以得到归一化的原始特征图；通过血管分割分支中的线性整流函数(ReLU，Rectified Linear Unit)将归一化的原始特征图中对应待处理血管图像中各个像素点的特征，对应映射为像素点是血管像素点的概率值，待处理血管图像中各个像素点是血管像素点的概率值即构成血管分割概率图。
在步骤103中，基于血管分割概率图中对应各个像素点的概率值的分布情况，为各个像素点分配对应的权重。
在一些实施例中，通过激活函数对血管概率图中符合毛细血管和血管边界的概率值分布的概率值分配第一权重；通过激活函数对血管分割概率图中符合动脉、静脉和图像背景的概率值分布的概率值分配第二权重，且第二权重小于第一权重；基于血管分割概率图中的概率值以及对应分配的权重形成激活权重图。
作为示例，参见图3，通过激活模块5553接收输出模块5552的血管分割分支输出的血管分割概率图，并通过激活模块5553的激活函数来拟合血管分割概率图中对应待处理血管图像的各个像素点的概率值，从而将血管分割概率图中的符合毛细血管和血管边界的概率值分布的概率值，即分布处于以0.5为中间值的区间的概率值时，分配相较于边缘区域(即动脉、静脉和图像背景的像素点的概率值的取值区间，是以0.5为中间值的区间的之外的区间，也就是概率值接近0和接近1的区间)的概率值的权重(即第二权重)更高的权重(即第一权重)，可以理解，第一权重和第二权重仅为区分针对不同分布的概率值分配的权重，不是特指一个权重而是一类权重。就毛细血管和血管边界的各个像素点而言，其对应的第一权重的取值上可以相同也可以不同。
通过增强毛细血管和血管边界的像素点的概率值的权重，可以使得后续的血管分类过程中的能够轻易将毛细血管与动脉、静脉和图像背景进行区分，从而提升血管分类的鲁棒性。
在步骤104中，将待处理血管图像中各个像素点的权重与原始特征图中相应像素点的特征进行融合，得到融合特征图。
在一些实施例中，将激活权重图中对应待处理血管图像的各个像素点的权重，与原始特征图中相应像素点的特征进行点乘运算处理，得到各个像素点的点乘运算结果；将各个像素点的点乘运算结果组合形成融合特征图。
作为示例，参见图3，输出模块5552基于血管分割分支输出的血管分割概率图，并使用激活函数拟合血管分割概率图中的概率值而形成激活权重图后，将激活权重图中对应待处理血管图像的各个像素点的权重，与原始特征图中相应像素点的特征进行点乘运算处理，即针对待处理血管图像中的每个像素点，将像素点在原始特征图中对应的特征与在激活权重图中对应的权重进行乘法运算，各个像素点的乘法运算结果结合即构成融合特征图。
通过将像素点的权重与特征融合，能够使原本可能被分割为血管的一些毛细血管(其在分割概率图中的概率值在0.5为中间值的区间)经过激活模块5553激活处理和输出模块5552的融合处理后，能获得较在分割概率图中的原始权重更大的权重，并使得背景和动/静脉像素点获得较毛细血管更小的权重，从而提升后续的分类精度。
在步骤105中，基于融合特征图中各个像素点的特征，确定待处理血管图像中各个像素点分别属于不同类型血管的概率值，以形成待处理血管图像的血管分类概率图。
在一些实施例中，对融合特征图进行降维处理，并对降维处理后的融合特征图进行批处理以得到归一化的融合特征图；通过激活函数将归一化的融合特征图中像素级别的特征，对应映射为待处理血管图像中各个像素点分别是不同类型血管的概率值。
作为示例，参见图3，输出模块5552中的血管分类分支，通过卷积层对融合特征图中对应待处理血管图像中的各个像素点进行降维处理，通过BN层对降维处理后的融合特征图进行批处理以得到归一化的融合特征图，通过ReLU函数将归一化的融合特征图中对应待处理血管图像的各个像素点的特征，一一映射为像素点是不同类型血管像素点的概率，从而形成血管分类概率图。以动脉/静脉分类为例，血管分类概率图包括2个通道，一个通道表示待处理血管图像的各个像素点是动脉像素点的概率，另一个通道表示待处理血管图像的各个像素点是静脉像素点的概率。
在一些实施例中，当从血管区域采集的原始彩色图像的分辨率没有超出神经模型能够接受的分辨率时，原始彩色图像可以作为待处理血管图像进行血管分类和血管分类的任务。
在另一些实施例中，参见图4B，基于图4A，图4B是本发明实施例提供的血管图像处理方法的流程示意图，当从血管区域采集的原始彩色图像的分辨率超出神经网络模型支持输入的分辨率时，在步骤101之前，还可以在步骤106中获取原始血管图像，以分块的形式从原始血管图像中提取至少两个待处理血管图像，以使分块的形式提取的待处理血管图像的分辨率不超出神经网络模型支持输入的分辨率；并通过步骤101至步骤105获得每个待处理血管图像的分类概率图和分割概率图后，在步骤107中按照提取顺序将至少两个待处理血管图像的血管分割概率图进行拼接，得到原始血管图像的血管分割结果，并在步骤108中并按照提取顺序将至少两个待处理血管图像的分类结果拼接，得到原始血管图像的血管分类结果。
例如，参见图3，通过输入模块5554获取原始血管图像，以分块的形式从原始血管图像中提取至少两个待处理血管图像；当输出模块5552对每个分块对应的待处理血管图像执行血管分割和血管分类任务后，按照提取顺序，将对每个分块对应的待处理血管图像的血管分割概率图拼接，形成原始血管图像的血管分割概率图，同时每个分块对应的待处理血管图像的血管分类概率图拼接，形成原始血管图像的血管分类概率图。
通过对各个分块对应的概率图的拼接，能够适应从血管区域采集的任意分辨率的血管分割和血管分类任务，具有良好的兼容性。
在一些实施例中，待处理血管图像的类型可以是从血管区域采集的原始彩色图像，使得神经网络模型基于一种先验知识进行血管分割和血管分类。
在另一些实施例中，待处理血管图像的类型可以是多个，从而形成多输入的待处理血管图像。参见图4C，基于图4A，图4C是本发明实施例提供的血管图像处理方法的流程示意图，在步骤101之前，还可以在步骤109中获取对血管区域进行图像采集得到的原始彩色图像；对原始彩色图像中的各个像素点进行亮度归一化处理，得到亮度归一化图像；在步骤110中，将原始彩色图像中的血管与背景的对比度进行增强处理，得到血管增强图像，例如，采用Gabor滤波器进行增强处理的增强图像，采用线性检测器(Linear Detector)进行增强处理得到的增强图像；在步骤111中，将原始彩色图像、亮度归一化图像和血管增强图像中的至少一个标记为待处理图像。然后通过步骤101至步骤105进行血管分割和血管分类任务。
例如，参见图3，通过神经网络模型的输入模块5554对待处理血管图像分别进行亮度归一化和血管增强处理，从而形成多输入的先验知识。通过将原始彩色图像、亮度归一化预处理和血管增强的效果图作为血管分类和血管分割的先验知识，能够增强神经网络模型的泛化能力，降低神经网络模型对测试集差异的敏感性。
在一些实施例中，参见图4D，基于图4A，图4D是本发明实施例提供的血管图像处理方法的流程示意图，在从待处理血管图像中提取原始特征图之前，还可以在步骤112中扩展待处理血管图像的通道的数量；在步骤113中将扩展后的待处理血管图像的通道的数量进行压缩，以适配用于对待处理血管图像进行下采样的输入通道数。
例如，参见图3，待处理血管图像为8×64×64(通道数×宽×高)，通过输入扩展压缩模块555中的2个级联的扩展层进行扩展，每个扩展层包括：卷积层(卷积核2×2)，BN层，激活函数为ReLU。扩展后的待处理血管图像为32×64×64，然后通过扩展压缩模块555的压缩层的通道数进行压缩，压缩层包括：卷积层(卷积核7×7，步长2)；BN层，ReLU。压缩后的待处理血管图像为3×64×64，与特征提取模块5551中编码器的输入通道数一致。
在一些实施例中，针对神经网络模型的训练进行说明，确定对待处理血管图像进行多个层次的下采样时各个层次的损失；基于各个层次的损失、血管分割概率图和血管分类概率图的预测损失、以及用于预测血管分割概率图和血管分类概率图的神经网络模型的网络权重，构建神经网络的损失函数；基于损失函数更新神经网络以使损失函数收敛。
例如，参见图3，通过侧输出层5556获取特征提取模块5551中编码器的每个编码层输出的下采样特征图，与每个编码层的下采样特征图的参考标准(G T，Ground-Truth)比较，将差值作为下采样损失。
训练模块5557还确定神经网络模型的网络权重的范数，神经网络模型的分类概率图和分割概率图的预测损失(即针对测试集中的待处理血管图像预测的分割概率图、分类概率图，与分割概率图和分类概率图的参考标准的差值)，将下采样损失是、预测损失和网络权重的范数进行加权，得到神经网络模型的损失函数，运行反向传播算法逐层更新神经网络模型，直至损失函数收敛。
在编码器部分添加额外的侧输出层来对神经网络模型的训练进行深度监督，侧输出层在神经网络模型的浅层中学习更多的语义信息可以帮助实现的更好性能，并使得来自编码器的浅层的含有更高的分辨率和较少的语义信息的特征，与自编码器的含有更多的语义信息和较低的分辨率的深层的特征更好融合，避免了利用反向传播算法训练神经网络模型时梯度消失的问题，以帮助浅层网络提取更多的语义特征和加速收敛。
至此已经结合本发明实施例提供的血管图像处理方法以及在血管图像处理装置中的示例性应用，下面继续说明本发明实施例提供的血管图像处理装置555中各个模块实现配合实现进行血管图像处理的方案。
在神经网络模型的血管分割任务中，特征提取模块5551从待处理血管图像中提取原始特征图；输出模块5552基于原始特征图中各个像素点的特征，确定待处理血管图像中各个像素点属于血管的概率值，以形成待处理血管图像的血管分割概率图。
例如，输出模块5552对原始特征图进行降维处理，并对降维处理后的原始特征图进行批处理以得到归一化的原始特征图；通过激活函数将归一化的原始特征图中的各个像素点的特征，对应映射为待处理血管图像中各个像素点分别是血管像素点的概率值。
在神经网络模型的血管分类任务中，激活模块5553基于血管分割概率图中对应各个像素点的概率值的分布情况，为各个像素点分配对应的权重，例如：通过激活函数对概率图中符合毛细血管和血管边界的概率值分布的概率值分配第一权重；通过激活函数对概率图中符合动脉、静脉和图像背景的概率值分布的概率值分配第二权重，且第二权重小于第一权重；基于概率图中的概率值以及对应分配的权重形成激活权重图。
输出模块5552将各个像素点的权重与原始特征图中相应像素点的特征进行融合，得到融合特征图；例如：将待处理血管图像中各个像素点的权重，与原始特征图中相应像素点的特征进行点乘运算处理，得到各个像素点的点乘运算结果；将各个像素点的点乘运算结果组合形成融合特征图。
输出模块5552于基于融合特征图中各个像素点的特征，确定待处理血管图像中分别属于不同类型血管的概率值，以形成待处理血管图像的血管分类概率图。
例如，输出模块5552对融合特征图进行降维处理，并对降维处理后的融合特征图进行批处理以得到归一化的融合特征图；通过激活函数将归一化的融合特征图中各个像素点的特征，对应映射为待处理血管图像中各个像素点分别是不同类型血管的概率值。
在一些实施例中，特征提取模块5551对待处理血管图像进行多个层次的下采样，得到小于待处理血管图像的分辨率的下采样特征图；对下采样特征图进行多个层次的上采样，并将每个层次的上采样结果与相同分辨率的下采样特征图拼接以作为下一层次的上采样的输入，得到与待处理血管图像的分辨率一致的原始特征图。
在一些实施例中，神经网络模型还可以应用多输入的方案，输入模块5554获取对血管区域进行图像采集得到的原始彩色图像；对原始彩色图像中的各个像素点进行亮度归一化处理，得到亮度归一化图像；将原始彩色图像中的血管与背景的对比度进行增强处理，得到血管增强图像；将原始彩色图像、亮度归一化图像和血管增强图像中的至少一个标记为待处理图像。
在一些实施例中，扩展压缩模块5555扩展待处理血管图像的通道的数量；将扩展后的待处理血管图像的通道的数量进行压缩，以适配用于对待处理血管图像进行下采样的输入通道数。
在一些实施例中，提供对从血管区域进行图像采集得到的原始彩色图像进行分块，然后将预测的概率图拼接的方案，输入模块5554获取原始血管图像，以分块的形式从原始血管图像中提取至少两个待处理血管图像；输出模块5552按照提取顺序将至少两个待处理血管图像的血管分割概率图进行拼接，得到原始血管图像的血管分割结果，并按照提取顺序将至少两个待处理血管图像的分类结果拼接，得到原始血管图像的血管分类结果。
在一些实施例中，提供对神经网络模型进行辅助监督的方案，侧输出层5556将待处理血管图像进行多个层次的下采样时所输出的下采样特征，与下采样特征的参考标准，得到下采样的损失；训练模块5557基于下采样的损失、血管分割概率图和血管分类概率图的预测损失、以及用于预测血管分割概率图和血管分类概率图的神经网络模型的网络权重，构建神经网络模型的损失函数函数；基于损失函数更新神经网络模型以使损失函数收敛。
本发明实施例还提供一种存储有可执行指令的存储介质，其中存储有可执行指令，当可执行指令被处理器执行时，将引起处理器执行本发明实施例提供的血管图像处理方法，例如，如图4A至图4D示出的血管图像处理方法。
在一些实施例中，存储介质可以是FRAM、ROM、PROM、EPROM、EE PROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备。
在一些实施例中，可执行指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言(包括编译或解释语言，或者声明性或过程性语言)来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
作为示例，可执行指令可被部署为在一个计算设备上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行。
下面再以眼底图像(即视网膜图像)为例，说明基于本发明实施例提供的神经网络模型进行分割和分类的处理方案。
作为一个示例性应用，本发明实施例提供的神经网络模型可以应用到利用眼底动脉和静脉形态学参数的量化系统中，或者应用到量化动脉和静脉特征及变化的系统中，为临床研究眼底血管和全身性疾病以及心脑血管疾病的生物标记等相关研究提供支持，进而利用系统量化和预测全身性疾病的发展进度以及预测心脑血管疾病的风险因子。
作为另一个示例性应用，本发明实施例提供的神经网络模型还应用到眼底筛查系统中，判断眼底血管分布的正常与否，辅助眼底疾病和全身性疾病(比如高血压和高血脂)的预测和诊断。当然，本发明实施例提供的神经网络模型也可以应用在其他模态的眼底图、或者其他类型的医疗图像中的进行分割和分类任务；或者在眼底图中分割除动/静脉以外的其他眼底结构或者病灶。
参见图5，图5是本发明实施例提供的神经网络模型进行眼底图像的分割和分类处理的示意图。在阶段(a)，将原始的眼底彩照经过亮度归一化，得到亮度归一化图像。在阶段(b)，将原始的眼底彩照进行血管增强处理，得到血管增强图像。从而形成3种不同来源的图像作为先验知识，即：原始眼底彩照，原始眼底彩照的亮度归一化图像和原始眼底彩照的血管增强图像。
作为示例，参见图6，图6是本发明实施例提供的原始的眼底彩照进行归一化和增强处理的示意图，示出了原始的眼底彩照(A)经过亮度归一化处理后得到的亮度归一化图像(B)，原始的眼底彩照(A)经过多分辨率的Gabor滤波器进行增强处理的增强图像(C)，原始的眼底彩照(A)经过线性检测器进行增强处理得到的增强图像(D)。
当然，不排除使用采用其他处理方式对眼底图像进行处理后的图像作为先验知识送入网络，或者使用多尺度Gabor滤波器和线性检测器之外的其他血管增强方式的图像。
在阶段(c)，从三个不同来源的图像中分别提取图像区块(patch)，然后在阶段(d)将提取的图像区块送入神经网络模型进行预测。在阶段(e)神经网络模型针对每个图像输出3个通道(即动脉，静脉和所有血管图)的预测结果(即3个通道的概率图，分别表示眼底图像中每个像素点属于动脉、静脉和血管的概率)，遍历预测所有图像区块，然后进入阶段(f)。在阶段(f)，将各个图像区块的相同通道的预测结果按照提取顺序进行拼接，即得到最后的血管分割结果、动脉分类结果和静脉分类结果，分别对应血管分割的概率图、动脉分类的概率图和静脉分类的概率图。
继续参见图7A、图7B和图7C，是本发明实施例提供的神经网络模型的结构示意图，其中图7A示出了神经网络模型的输入模块，图7B示出了神经网络模型的特征提取模块和侧输出层，图7C示出了神经网络模型的输出模块。
首先对图7A、图7B和图7C中标识方式说明如下。
CONV1：卷积层，BN层；
CONV3：卷积层；BN层，激活函数为线性整流函数(Rectified Linear U nit,ReLU)，卷积核2×2；
CONV7：卷积层，步长(Stride)2；BN层，激活函数为ReLU，卷积核7×7；
MAX：最大池化层(Maxpooling)，池化核2×2；
UP：上采样层(UPsampling)；
RES1，RES2，RES3：深度残差网络(ResNet)；
⊙：点乘操作；
Figure GDA0002160799360000201
连接操作；
Ds-1，Ds-2，Ds-3：深度监督(辅助监督)模块。
参见图7A，神经网络模型的输入模块可以为多输入模块(MIs，Multiple Inputs)，除了输入原始的眼底彩照，还可以对原始的眼底彩照进行处理得到其他类型的图像，例如对眼底彩照进行亮度归一化方法处理得到的亮度归一化图像，以及对眼底彩照进行采用血管增强的方法处理得到的血管增强图像，其中血管增强的方法可以包括多分辨率的Gabor滤波器和线性检测器。原始的眼底彩照和亮度归一化图像分别具有3个通道，即红绿蓝3个通道，此外，多分辨率的Gabor滤波器和线性检测器分别输出一个通道的增强图像，共计3个来源、8个通道的图像。
在小数据量下，结合上述多种图像作为先验知识，能够增强神经网络模型的泛化能力，可以降低神经网络模型对测试集差异的敏感性。
参见图7B，神经网络模型在图7B示出的部分中使用U型网络来提取特征，U型网络包括编码器(也称为下采样部分)和解码器(也称为上采样部分)，其中编码器使用多个级联的ResNet层(RES1、RES2和RES3)，浅层的ResNet层(例如RES1)可以抓取图像的一些简单的特征，比如边界，颜色，而深层的ResNet层(例如RES3)能抓取到眼底图像的更为抽象的特征。
对于编码器抽取的特征，解码器多个级联的解码层顺序进行上采样，每个解码层将来自前一层的上采样特征与编码层输出的相同分辨率的特征级联拼接，最终将特征还原到与输入神经网络模型的眼底图像相同的分辨率。
在一些实施例中，为了适应多输入通道(总共8个通道)，在ResNet层之前还设置有卷积层作为扩展层，并插入一个最大池化层作为压缩层，通过扩展层将输入的眼底图像扩展到更高的维度，通过压缩层压缩为3通道的图像，以匹配ResNet层的标准输入通道。
参见图7C，神经网络模型的输出模块使用多任务输出模块，用于同时进行有效的全血管分割和动脉/静脉分类。为了获得更准确的动脉/静脉分类结果，神经网络模型需要学习动脉和静脉之间更多的区分特征。但是，相关技术提供的神经网络模型仅关注动脉/静脉分类，则可能无法分割细小的毛细血管。
在一些实施例中，为了使本发明实施例提供的神经网络模型学习动脉和静脉之间的更多共同特征，即血管特征，神经网络模型的网络末端包括有两个并行分支，其中血管分割分支侧重于提取动脉和静脉之间的共同特征，并生成血管分割的概率图，同时血管分类分支侧重辨别动脉/静脉特征，两个分支的输出被合并，并进一步用于生成动脉/静脉分类的最终结果。
在一些实施例中，为了进一步利用血管分割的结果来辅助动脉/静脉分类，特别是毛细血管，如图7C所示，神经网络模型中可以设置有应用激活机制(A C，ACtivition)的激活模块，在图7C中为了表示数据流的流转，将激活模块以嵌入输出模块中的方式示出。参见图9，图9是本发明实施例提供的神经网络模型中激活模块的结构示意图，其采用激活机制具体算法如下公式(1)所示。
Figure GDA0002160799360000211
当然，本发明实施例不排除利用基于其他公式的激活机制，来改变分割目标中不同部位的权重。
本发明实施例提供的激活机制基于对血管分割概率图的观察，毛细血管和血管边界像素在血管概率图中通常具有约0.5的值，而粗血管和背景像素具有接近1或0的值。为了突出毛细血管的重要性，在激活模块中采用高斯函数来增强概率值约为0.5的像素点的权重，另外，激活函数中还可以被添加一个偏差e-1/4，以将权重限制在[1,1+σ(1-e-1/4)]的区间内。
参见图10，图10是本发明实施例提供的激活模块所生成的激活权重图的示意图，被分割为血管的一些微小的静脉像素点和动脉的像素点(概率值在0.5左右)经过激活模块后能获得接近如2-exp(1/4)的较大的权重，而其他的背景或者很容易被分割的动/静脉像素点获得到了接近1的权重。
在神经网络模型的输出模块中，激活权重图与动脉/静脉分类分支的特征图(feature maps)通过点乘的方式融合，并通过激活层输出动脉、静脉两个通道的分类的概率图。
在相关技术提供的U型网络中，浅层和深层的特征是通过连接(concat)的方法结合起来的。鉴于来自浅层的特征含有更高的分辨率和较少的语义信息，而来自深层的特征含有更多的语义信息和较低的分辨率，由于空间分辨率和语义信息的不同，直接结合时可能会影响分类效果。因此，在浅层网络中学习更多的语义信息可以帮助U型网络实现的更好性能，并克服消失梯度使得浅层的损失反向传播效果较差的问题。
参见图8A至图8C，图8A至图8C是本发明实施例提供的侧输出层的结构示意图，可以设置在如图7B所示在U型网络的编码器部分中设置有侧输出层中，即图8A至图8C示出的Ds-1、Ds-2和Ds-3，通过侧输出层来对神经网络模型的训练进行辅助的深度监督，以在网络的浅层提取更多的语义特征和加速收敛。
下面说明本发明实施例提供的神经网络模型的训练方案。本发明实施例神经网络模型通过构造的损失函数，并运用反向传播算法进行训练而得到。神经网络模型的损失函数Loss，由3个部分组成，包括最终的分类预测结果的交叉熵损失、辅助监督层的交叉熵损失和网络参数正则化损失，如公式(2)所示：
Figure GDA0002160799360000231
其中，sidei表示第i个辅助监督模块的输出，θ表示神经网络模型的参数权重，||θ||表示网络权重的范数；CE是交叉熵损失，表示两个数值之间的差异性，output模型输出的预测结果，GT表示预测结果的参考标准。
交叉熵损失CE如以下公式(3)所示：
Figure GDA0002160799360000232
其中，pred表示分类结果的预测值，target表示分类结果的标签(Lable)值，其中每个类的权重分配的μc为：所有血管3/7，动脉2/7，静脉2/7。当然，本发明实施例不排除使用其他不同权重，来改变不同类别的权重。
下面结合本发明实施例提供的神经网络模型的实验测试数据说明在血管分割和血管分类方面的优势。
Figure GDA0002160799360000233
表格1
表格1示出不同模块的组合下神经网络模型的性能表现，可以看出当神经网络模型采用多输入模块时，动/静脉分类的结果可以提升0.9％。当神经网络模型采用多任务输出模块(MTs，Multiple Tasks)，同时提升了血管分割和动静脉分类的精度。当神经网络模型采用引入激活机制时，将动静脉分类的结果提升了1.7％。
其中，ROC曲线下方的面积(AUC，Area under the Curve of ROC)包括四个指标，分别是伪阳性率(也叫假正类率，False Positive Rate)，真阳性率(真正类率，TruePositive Rate)，真阴性率(真负类率，True Negative Rat e)和伪阴性率(假负类率，False Negative Rate)。
方法 精确性 特异性 敏感性 AUC
Liskowski et al. 0.9535 0.9807 0.7811 0.9790
MO et al. 0.9521 0.9780 0.7779 0.9782
Wu et al. 0.9567 0.9819 0.7844 0.9807
本发明实施例 0.9570 0.9811 0.7916 0.9810
表格2
方法 精确性 特异性 敏感性
Dashtbozorg et al. 0.874 0.90 0.84
Estrada et al. 0.935 0.93 0.941
Xu et al. 0.923 0.929 0.915
Zhao et al. 0.919 0.915
AlBadawi et al. 0.935
本发明实施例(Ground-truth Vesels) 0.9246 0.9194 0.9205
本发明实施例(Segmented Vessels) 0.9445 0.9332 0.9537
表格3
表格2和表格3示出本发明实施例提供的神经网络模型在AV-DRIVE数据集上与相关技术的血管分割结果的比较，本发明实施例提供的血管分类和血管分割方法在AV-DRIVE公开数据集上，同时达到了血管分割和动静脉分类的最优结果。表格3中的动/静脉分类指标，所列文献中的分类方法都是基于分割出来的血管(Segmented Vessels)基础之上的动/静脉分类准确率，而表格1中的指标是基于参考标准血管(Ground-truth Vessels)的动/静脉分类，因此更为严格。当使用和文献中一样的标准时，本发明实施例可以达到94.45％的动/静脉分类准确率。
综上所述，本发明实施例提供一种基于空间激活机制的多任务的神经网络模型，能够实现端到端的动脉，静脉和所有血管的并行分割和分类，具体包括以下有益效果：
1)结合传统眼底图像预处理和血管分割的先验知识，融入到神经网络模型的输入端，通过多通道输入，提高了模型的稳定性和在测试集上的表现。
2)通过在神经网络模型中实现多任务的输出模块，将血管分割和分类的结果并行输出，同时可以利用血管分割的结果辅助血管分类，解决了相关技术利用深度学习方法进行血管分割精度较低的问题。
3)在神经网络模型的网络输出端实现了空间激活机制，利用血管分割的结果对分类的特征图进行空间加权，加强了细小血管的权重，提升了细小血管分类的精度。
以上所述，仅为本发明的实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和范围之内所作的任何修改、等同替换和改进等，均包含在本发明的保护范围之内。

Claims (15)

1.一种血管图像处理方法，其特征在于，包括：
从待处理血管图像中提取原始特征图；
基于所述原始特征图中各个像素的特征，确定所述待处理血管图像中各个像素点属于血管的概率值，以形成所述待处理血管图像的血管分割概率图；
基于所述血管分割概率图中对应所述各个像素点的概率值的分布情况，为所述各个像素点分配对应的权重；
将所述原始特征图中各个像素点的权重与所述原始特征图中相应像素点的特征进行融合，得到融合特征图；
基于所述融合特征图中各个像素点的特征，确定所述待处理血管图像中各个像素点分别属于不同类型血管的概率值，以形成所述待处理血管图像的血管分类概率图。
2.根据权利要求1所述的方法，其特征在于，所述从待处理血管图像中提取原始特征图，包括：
对所述待处理血管图像进行多个层次的下采样，得到小于所述待处理血管图像的分辨率的下采样特征图；
对所述下采样特征图进行多个层次的上采样，并将每个层次的上采样结果与相同分辨率的下采样特征图拼接作为下一层次的上采样的输入，以得到与所述待处理血管图像的分辨率一致的所述原始特征图。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取对血管区域进行图像采集得到的原始彩色图像；
对所述原始彩色图像中的各个像素点进行亮度归一化处理，得到亮度归一化图像；
将所述原始彩色图像中的血管与背景的对比度进行增强处理，得到血管增强图像；
将所述原始彩色图像、所述亮度归一化图像和血管增强图像中的至少一个标记为所述待处理图像。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
扩展所述待处理血管图像的通道的数量；
将扩展后的所述待处理血管图像的通道的数量进行压缩，以适配用于对所述待处理血管图像进行下采样的输入通道数。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取原始血管图像，以分块的形式从所述原始血管图像中提取至少两个所述待处理血管图像；
按照提取顺序将所述至少两个待处理血管图像的血管分割概率图进行拼接，得到所述原始血管图像的血管分割结果，以及
按照提取顺序将所述至少两个待处理血管图像的分类结果拼接，得到所述原始血管图像的血管分类结果。
6.根据权利要求1所述的方法，其特征在于，所述基于所述原始特征图中各个像素的特征，确定所述待处理血管图像中各个像素点属于血管的概率值，包括：
对所述原始特征图进行降维处理，并对降维处理后的原始特征图进行批处理以得到归一化的原始特征图；
通过激活函数将所述归一化的原始特征图中各个像素点的特征，对应映射为所述待处理血管图像中各个像素点分别是血管像素点的概率值。
7.根据权利要求1所述的方法，其特征在于，所述基于所述血管分割概率图中对应所述各个像素点的概率值的分布情况，为所述各个像素点分配对应的权重，包括：
通过激活函数对所述血管分割概率图中符合毛细血管和血管边界的概率值分布的概率值分配第一权重；
通过所述激活函数对所述血管分割概率图中符合动脉、静脉和图像背景的概率值分布的概率值分配第二权重，且所述第二权重小于所述第一权重；
基于所述血管分割概率图中的概率值以及对应分配的权重形成激活权重图。
8.根据权利要求1所述的方法，其特征在于，所述将所述各个像素点的权重与所述原始特征图中相应像素点的特征进行融合，得到融合特征图，包括：
将所述原始特征图中各个像素点的权重，与所述原始特征图中相应像素点的特征进行点乘运算处理，得到所述各个像素点的点乘运算结果；
将所述各个像素点的点乘运算结果组合形成所述融合特征图。
9.根据权利要求1所述的方法，其特征在于，所述基于所述融合特征图中各个像素点的特征，确定所述待处理血管图像中各个像素点分别属于不同类型血管的概率值，包括：
对所述融合特征图进行降维处理，并对降维处理后的融合特征图进行批处理以得到归一化的融合特征图；
通过激活函数将归一化的融合特征图中各个像素点的特征，对应映射为所述待处理血管图像中各个像素点分别是不同类型血管的概率值。
10.根据权利要求1至9任一项所述的方法，其特征在于，所述方法还包括：
将所述待处理血管图像进行多个层次的下采样时所输出的下采样特征，与所述下采样特征的参考标准，得到下采样的损失；
基于所述下采样的损失、所述血管分割概率图和所述血管分类概率图的预测损失、以及用于预测所述血管分割概率图和所述血管分类概率图的神经网络模型的网络权重，构建所述神经网络模型的损失函数；
基于所述损失函数更新所述神经网络模型以使所述损失函数收敛。
11.一种血管图像处理装置，其特征在于，包括：
特征提取模块，用于从待处理血管图像中提取原始特征图；
输出模块，基于所述原始特征图中各个像素的特征，确定所述待处理血管图像中各个像素点属于血管的概率值，以形成所述待处理血管图像的血管分割概率图；
激活模块，用于基于所述血管分割概率图中对应所述各个像素点的概率值的分布情况，为所述各个像素点分配对应的权重；
所述输出模块，用于将所述各个像素点的权重与所述原始特征图中相应像素点的特征进行融合，得到融合特征图；
所述输出模块，用于基于所述融合特征图中各个像素点的特征，确定所述待处理血管图像中各个像素点分别属于不同类型血管的概率值，以形成所述待处理血管图像的血管分类概率图。
12.根据权利要求11所述的装置，其特征在于，
所述特征提取模块，还用于：
对所述待处理血管图像进行多个层次的下采样，得到小于所述待处理血管图像的分辨率的下采样特征图；
对所述下采样特征图进行多个层次的上采样，并将每个层次的上采样结果与相同分辨率的下采样特征图拼接以作为下一层次的上采样的输入，得到与所述待处理血管图像的分辨率一致的所述原始特征图。
13.根据权利要求11或12所述的装置，其特征在于，还包括：
输入模块，用于：
获取对血管区域进行图像采集得到的原始彩色图像；
对所述原始彩色图像中的各个像素点进行亮度归一化处理，得到亮度归一化图像；
将所述原始彩色图像中的血管与背景的对比度进行增强处理，得到血管增强图像；
将所述原始彩色图像、所述亮度归一化图像和血管增强图像中的至少一个标记为所述待处理图像。
14.一种血管图像处理的设备，其特征在于，包括：
存储器，用于存储可执行指令；
处理器，用于执行所述存储器中存储的可执行指令时，实现权利要求1至10任一项所述的血管图像处理方法。
15.一种存储介质，其特征在于，存储有可执行指令，用于引起处理器执行时，实现权利要求1至10任一项所述的血管图像处理方法。
CN201910390826.6A 2019-05-10 2019-05-10 血管图像处理方法、装置、设备及存储介质 Active CN110309849B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910670551.1A CN110348541B (zh) 2019-05-10 2019-05-10 眼底血管图像分类方法、装置、设备及存储介质
CN201910390826.6A CN110309849B (zh) 2019-05-10 2019-05-10 血管图像处理方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910390826.6A CN110309849B (zh) 2019-05-10 2019-05-10 血管图像处理方法、装置、设备及存储介质

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201910670551.1A Division CN110348541B (zh) 2019-05-10 2019-05-10 眼底血管图像分类方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN110309849A CN110309849A (zh) 2019-10-08
CN110309849B true CN110309849B (zh) 2021-08-06

Family

ID=68074700

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201910390826.6A Active CN110309849B (zh) 2019-05-10 2019-05-10 血管图像处理方法、装置、设备及存储介质
CN201910670551.1A Active CN110348541B (zh) 2019-05-10 2019-05-10 眼底血管图像分类方法、装置、设备及存储介质

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201910670551.1A Active CN110348541B (zh) 2019-05-10 2019-05-10 眼底血管图像分类方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (2) CN110309849B (zh)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110796161A (zh) * 2019-09-18 2020-02-14 平安科技（深圳）有限公司 识别模型训练、眼底特征的识别方法、装置、设备及介质
CN110807788B (zh) * 2019-10-21 2023-07-21 腾讯科技（深圳）有限公司 医学图像处理方法、装置、电子设备及计算机存储介质
CN110827963A (zh) * 2019-11-06 2020-02-21 杭州迪英加科技有限公司 针对病理图像的语义分割方法和电子设备
CN111080592B (zh) * 2019-12-06 2021-06-01 广州柏视医疗科技有限公司 一种基于深度学习的肋骨提取方法及装置
CN111383191B (zh) * 2019-12-11 2024-03-08 北京深睿博联科技有限责任公司 用于血管断裂修复的图像处理方法及装置
CN111161270B (zh) * 2019-12-24 2023-10-27 上海联影智能医疗科技有限公司 医学影像的血管分割方法、计算机设备和可读存储介质
CN111161240B (zh) * 2019-12-27 2024-03-05 上海联影智能医疗科技有限公司 血管分类方法、装置、计算机设备和可读存储介质
CN111145163B (zh) * 2019-12-30 2021-04-02 深圳市中钞科信金融科技有限公司 一种纸张褶皱缺陷检测方法及装置
CN111047613B (zh) * 2019-12-30 2021-04-27 北京小白世纪网络科技有限公司 基于分支注意力及多模型融合的眼底血管分割方法
CN111292801A (zh) * 2020-01-21 2020-06-16 西湖大学 蛋白质质谱结合深度学习评估甲状腺结节的方法
CN111369499A (zh) * 2020-02-21 2020-07-03 北京致远慧图科技有限公司 一种眼底图像的处理方法及装置
CN111369582B (zh) * 2020-03-06 2023-04-07 腾讯科技（深圳）有限公司 图像分割方法、背景替换方法、装置、设备及存储介质
CN111445486B (zh) * 2020-03-25 2023-10-03 腾讯科技（深圳）有限公司 图像处理方法、装置、设备及计算机可读存储介质
CN111507208B (zh) * 2020-03-30 2021-06-25 中国科学院上海微系统与信息技术研究所 一种基于巩膜识别的身份验证方法、装置、设备和介质
CN112288683A (zh) * 2020-06-30 2021-01-29 深圳市智影医疗科技有限公司 基于多模态融合的肺结核病判定装置和方法
CN112016477B (zh) * 2020-08-31 2023-06-09 电子科技大学 一种基于深度学习的测井沉积微相识别方法
CN112288794B (zh) * 2020-09-04 2021-09-07 深圳硅基智能科技有限公司 眼底图像的血管管径的测量方法及测量装置
CN112163506A (zh) * 2020-09-25 2021-01-01 伏羲九针智能科技(北京)有限公司 基于超声的静脉血管识别方法、装置及设备
CN112233789A (zh) * 2020-10-12 2021-01-15 辽宁工程技术大学 一种区域特征融合的高血压视网膜病变分类方法
CN112330684B (zh) * 2020-11-23 2022-09-13 腾讯科技（深圳）有限公司 对象分割方法、装置、计算机设备及存储介质
CN112465054B (zh) * 2020-12-07 2023-07-11 深圳市检验检疫科学研究院 一种基于fcn的多变量时间序列数据分类方法
CN112949654A (zh) * 2021-02-25 2021-06-11 上海商汤智能科技有限公司 图像检测方法及相关装置、设备
CN112950611A (zh) * 2021-03-18 2021-06-11 西安智诊智能科技有限公司 一种基于ct图像的肝脏血管分割方法
CN113486925A (zh) * 2021-06-07 2021-10-08 北京鹰瞳科技发展股份有限公司 模型训练方法、眼底图像生成方法、模型评估方法及装置
CN113576399B (zh) * 2021-08-02 2024-03-08 北京鹰瞳科技发展股份有限公司 一种糖网分析方法、系统以及电子设备
CN114359284B (zh) * 2022-03-18 2022-06-21 北京鹰瞳科技发展股份有限公司 用于对视网膜眼底图像进行分析的方法及其相关产品
CN114693648A (zh) * 2022-04-02 2022-07-01 深圳睿心智能医疗科技有限公司 一种血管中心线提取方法及其系统
CN117237270B (zh) * 2023-02-24 2024-03-19 靖江仁富机械制造有限公司 耐磨防腐管道生产用成型控制方法及系统
CN116740203B (zh) * 2023-08-15 2023-11-28 山东理工职业学院 用于眼底相机数据的安全存储方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101515365B (zh) * 2009-03-25 2011-05-11 沈阳东软医疗系统有限公司 一种ct影像中的粘连血管型肺结节自动分割方法
CN102800087B (zh) * 2012-06-28 2014-12-31 华中科技大学 超声颈动脉血管膜的自动分割方法
CN104899876B (zh) * 2015-05-18 2018-04-06 天津工业大学 一种基于自适应高斯差分的眼底图像血管分割方法
CN106920227B (zh) * 2016-12-27 2019-06-07 北京工业大学 基于深度学习与传统方法相结合的视网膜血管分割方法
WO2018159708A1 (ja) * 2017-02-28 2018-09-07 富士フイルム株式会社 血流解析装置および方法並びにプログラム
CN107292887B (zh) * 2017-06-20 2020-07-03 电子科技大学 一种基于深度学习自适应权重的视网膜血管分割方法
WO2019013779A1 (en) * 2017-07-12 2019-01-17 Mohammed Alauddin Bhuiyan AUTOMATED DETECTION AND QUANTIFICATION OF BLOOD VESSEL CHARACTERISTICS FOR RETINAL IMAGE CLASSIFICATION AND DISEASE SCREENING
CN107590510A (zh) * 2017-08-29 2018-01-16 上海联影医疗科技有限公司 一种图像定位方法、装置、计算机及存储介质
CN109345538B (zh) * 2018-08-30 2021-08-10 华南理工大学 一种基于卷积神经网络的视网膜血管分割方法
CN109598732B (zh) * 2018-12-11 2022-06-14 厦门大学 一种基于三维空间加权的医学图像分割方法

Also Published As

Publication number Publication date
CN110309849A (zh) 2019-10-08
CN110348541B (zh) 2021-12-10
CN110348541A (zh) 2019-10-18

Similar Documents

Publication Publication Date Title
CN110309849B (zh) 血管图像处理方法、装置、设备及存储介质
CN110120047B (zh) 图像分割模型训练方法、图像分割方法、装置、设备及介质
JP7058373B2 (ja) 医療画像に対する病変の検出及び位置決め方法、装置、デバイス、及び記憶媒体
US20210248751A1 (en) Brain image segmentation method and apparatus, network device, and storage medium
US20190191988A1 (en) Screening method for automated detection of vision-degenerative diseases from color fundus images
KR102125127B1 (ko) 딥러닝 기반 뇌 질환 진단 방법
JP2020518915A (ja) 自動眼底画像分析用のシステムおよび方法
CN111899252B (zh) 基于人工智能的病理图像处理方法和装置
CN110276408B (zh) 3d图像的分类方法、装置、设备及存储介质
US20220122729A1 (en) Apparatus for learning cerebrovascular disease, apparatus for detecting cerebrovascular disease, mehtod of learning cerebrovascular disease and method of detecting cerebrovascular disease
CN110738660B (zh) 基于改进U-net的脊椎CT图像分割方法及装置
CN109919915A (zh) 基于深度学习的视网膜眼底图像异常区域检测方法及设备
CN114419054A (zh) 视网膜血管图像分割方法、装置及相关设备
CN111325725A (zh) 视网膜图像识别方法及装置、电子设备、存储介质
WO2021159811A1 (zh) 青光眼辅助诊断装置、方法及存储介质
CN112541924A (zh) 眼底图像生成方法、装置、设备以及存储介质
WO2024074921A1 (en) Distinguishing a disease state from a non-disease state in an image
Kaur et al. UNIConv: An enhanced U‐Net based InceptionV3 convolutional model for DR semantic segmentation in retinal fundus images
Gulati et al. Comparative analysis of deep learning approaches for the diagnosis of diabetic retinopathy
CN112053363B (zh) 视网膜血管分割方法、装置及模型构建方法
KR102100699B1 (ko) 병변 통합 학습 모델을 구축하는 장치와 방법, 및 상기 병변 통합 학습 모델을 사용하여 병변을 진단하는 장치와 방법
Tian et al. Learning discriminative representations for fine-grained diabetic retinopathy grading
CN113705595A (zh) 异常细胞转移程度的预测方法、装置和存储介质
CN113379770B (zh) 鼻咽癌mr图像分割网络的构建方法、图像分割方法及装置
CN113384261B (zh) 一种基于深度学习的椎体压缩性骨折多模态智能诊断系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant