CN113205524A - 基于U-Net的血管图像分割方法、装置和设备 - Google Patents

基于U-Net的血管图像分割方法、装置和设备 Download PDF

Info

Publication number
CN113205524A
CN113205524A CN202110550651.8A CN202110550651A CN113205524A CN 113205524 A CN113205524 A CN 113205524A CN 202110550651 A CN202110550651 A CN 202110550651A CN 113205524 A CN113205524 A CN 113205524A
Authority
CN
China
Prior art keywords
blood vessel
segmentation
scale
image
image segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110550651.8A
Other languages
English (en)
Other versions
CN113205524B (zh
Inventor
彭凌西
李动员
肖鸿鑫
张一梵
彭绍湖
董志明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Wanzhida Enterprise Management Co ltd
Original Assignee
Guangzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou University filed Critical Guangzhou University
Priority to CN202110550651.8A priority Critical patent/CN113205524B/zh
Publication of CN113205524A publication Critical patent/CN113205524A/zh
Application granted granted Critical
Publication of CN113205524B publication Critical patent/CN113205524B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/048Activation functions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration using histogram techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]
    • G06V10/464Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20132Image cropping
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30041Eye; Retina; Ophthalmic
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于U‑Net的血管图像分割方法、装置和设备,方法包括:获取血管分割数据集;对血管分割数据集进行预处理;对预处理后的血管分割图像进行图像块裁剪操作,得到样本数据;根据样本数据,通过Pytorch深度学习框架搭建血管图像分割网络;根据血管图像分割网络进行血管图像分割,并对血管图像分割的结果进行评价。本发明的管图像分割网络中的卷积块由多尺度特征聚集块替换;多尺度特征聚集块的第一输入为多尺度高层特征,多尺度特征聚集块的第二输入为多尺度低层特征;血管图像分割网络通过MS‑CAM模块将多尺度特征聚集块中的多尺度高层特征和多尺度低层特征进行融合,能够提高分割性能,可广泛应用于人工智能技术领域。

Description

基于U-Net的血管图像分割方法、装置和设备
技术领域
本发明涉及人工智能技术领域,尤其是基于U-Net的血管图像分割方法、装置和设备。
背景技术
视网膜血管的可见结构能预示着许多疾病。精确的分割有助于捕捉视网膜血管结构的可见变化,这有助于医生诊断与眼睛相关的疾病。因此,它在当前的视网膜图像分析任务中尤为重要。例如,高血压性视网膜病是一种由高血压引起的视网膜疾病,高血压患者可以发现血管曲度增加或狭窄。传统上,人工分割是由专家执行的,这是费力的、耗时的,并且受到专家之间的主观性的影响。在临床实践中,为了提高效率和可靠性,减少医生的工作量,对自动分割方法有很高的要求。
近年来,随着深度学习研究热潮的兴起,一些医学研宄人员将深度神经网络引入到视网膜血管分割任务中,提升了视网膜血管分割的效果,其中UNET网络已经广泛用于生物图像分割,如视网膜血管分割,肺部CT图像,冠状动脉血管图像等,并取得了良好的效果。该算法建立在全卷积网络(FCN)上,由一个编码器和一个解码器组成,网络的形状类似于“U”形,因此称为“U-Net”。
一般来说,目前的基于U-Net的分割模型大多侧重于解码器,而编码器方面的创新成果很少。对于编码器,常用的是经典的预训练图像特征提取模型,如ResNet、VGG16和DenseNet,或者只采用一系列交替的常规卷积层和下采样层。这两类编码器的主要缺陷包括:首先,医学图像与自然图像在特征和成像原理上存在巨大差异,导致特征提取模型在这两个数据集上的可移植性较差。也就是说,直接将在自然图像或其他医学数据集上预先训练的模型应用于目标图像通常仅提取浅层特征。其次,编码阶段下采样过程中丢失的图像信息限制了解码器的恢复能力,不仅会导致模型分割结果过于平滑,而且容易对小对象进行欠分割。因此,能够感知图像像素的多尺度上下文信息特征的提取模块能够为解码器提供丰富的图像特征,从而对整个模型的分割精度和泛化能力产生积极的影响。
其次每个阶段中的普通跳跃连接通常直接结合局部信息,这引入了太多不相关的背景噪声,使得难以将视网膜血管与周围的模仿物和噪声区分开来,尤其是微小血管。原则上,从深层阶段获得的高层特征具有丰富的语义信息但缺乏足够的分辨率,而从浅层阶段获得的低层特征具有丰富的空间细节但缺乏全局语义信息。
发明内容
有鉴于此,本发明实施例提供基于U-Net的血管图像分割方法、装置和设备,以提高分割性能。
本发明的第一方面提供了一种基于U-Net的血管图像分割方法,包括:
获取血管分割数据集;
对所述血管分割数据集进行预处理;
对预处理后的血管分割图像进行图像块裁剪操作,得到样本数据;
根据所述样本数据,通过Pytorch深度学习框架搭建血管图像分割网络;
根据所述血管图像分割网络进行血管图像分割,并对所述血管图像分割的结果进行评价;
其中,所述血管图像分割网络中的卷积块由多尺度特征聚集块替换;所述多尺度特征聚集块的第一输入为多尺度高层特征,所述多尺度特征聚集块的第二输入为多尺度低层特征;所述血管图像分割网络通过MS-CAM模块将所述多尺度特征聚集块中的多尺度高层特征和多尺度低层特征进行融合。
可选地,所述对所述血管分割数据集进行预处理,包括:
提取所述血管分割数据集中RGB图像的绿色通道;
对所述绿色通道进行白化处理;
对所述白化处理后的图像进行自适应直方图均衡化处理;
对所述自适应直方图均衡化处理后的图像进行伽马变换处理。
可选地,所述对预处理后的血管分割图像进行图像块裁剪操作,得到样本数据,包括:
对所述血管分割图像进行图像块裁剪操作,得到随机坐标;
将所述随机坐标作为中心点,裁剪得到48×48的图像块,并将所述图像块作为样本数据。
可选地,所述根据所述样本数据,通过Pytorch深度学习框架搭建血管图像分割网络这一步骤中,
所述血管图像分割网络的网络架构为U型架构,所述U型架构包括一个编码器和一个解码器;所述编码器包括四层结构;
所述多尺度特征聚集块用于:通过1×1卷积将输入数据分为左分支和右分支;
所述右分支的输入数据经过下采样处理后通过卷积操作进行特征提取,得到多尺度高层特征;
所述左分支的输入数据经过上采样处理后通过卷积操作进行特征提取,得到多尺度低层特征;
通过MS-CAM特征融合模块将所述多尺度高层特征和所述多尺度低层特征进行处理,得到一个用于注意力操作的注意力权重;
根据所述注意力权重进行注意力操作得到编码器的输出。
可选地,所述MS-CAM模块在注意力操作的过程中将局部信息融入全局信息,通过使用点卷积作为局部通信信息整合器;
其中,所述局部通道信息的计算公式为:
L(X)=B(PWConv2(δ(B(PWConv1(X)))))
其中,L(X)代表局部通道信息;B代表批量归一化;PWConv1表示通过1*1卷积将输入的特征X通道数减少为原先的
Figure BDA0003069029200000031
δ表示ReLU激活函数;PWConv2表示通过1x1卷积将通道数目恢复成与原输入通道数目相同。
可选地,所述解码器包括四层结构;
所述解码器通过自适应特征融合模块来实现相邻层之间的融合。
可选地,所述对所述血管图像分割的结果进行评价,包括:
获取样本标注图像的目标对象的第一像素点,获取预测分割图像的目标对象的第二像素点;
根据所述第一像素点和所述第二像素点计算得到重叠度评价指标;
获取预测分割图像中正样本预测为真的目标对象的第三像素点,获取预测分割图像中负样本预测为真的目标对象的第四像素点,获取正样本预测为假的目标对象的第五像素点;
根据所述第三像素点和所述第四像素点计算得到精密度评价指标;
根据所述第三像素点和所述第五像素点计算得到查全率评价指标;
根据所述精密度评价指标和所述查全率评价指标,计算得到均值评价指标。
本发明实施例的第二方面提供了基于U-Net的血管图像分割装置,包括:
第一模块,用于获取血管分割数据集;
第二模块,用于对所述血管分割数据集进行预处理;
第三模块,用于对预处理后的血管分割图像进行图像块裁剪操作,得到样本数据;
第四模块,用于根据所述样本数据,通过Pytorch深度学习框架搭建血管图像分割网络;
第五模块,用于根据所述血管图像分割网络进行血管图像分割,并对所述血管图像分割的结果进行评价;
其中,所述血管图像分割网络中的卷积块由多尺度特征聚集块替换;所述多尺度特征聚集块的第一输入为多尺度高层特征,所述多尺度特征聚集块的第二输入为多尺度低层特征;所述血管图像分割网络通过MS-CAM模块将所述多尺度特征聚集块中的多尺度高层特征和多尺度低层特征进行融合。
本发明实施例的第三方面提供了一种电子设备,包括处理器以及存储器;
所述存储器用于存储程序;
所述处理器执行所述程序实现如前面所述的方法。
本发明实施例的第四方面提供了一种计算机可读存储介质,所述存储介质存储有程序,所述程序被处理器执行实现如前面所述的方法。
本发明实施例还公开了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行前面的方法。
本发明的实施例的管图像分割网络中的卷积块由多尺度特征聚集块替换;所述多尺度特征聚集块的第一输入为多尺度高层特征,所述多尺度特征聚集块的第二输入为多尺度低层特征;所述血管图像分割网络通过MS-CAM模块将所述多尺度特征聚集块中的多尺度高层特征和多尺度低层特征进行融合,能够提高分割性能。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来将,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明的血管图像分割方法的流程示意图;
图2是本发明中多尺度特征聚合模块(MSAB)的结构示意图;
图3是本发明中MS-CAM特征融合模块的结构示意图;
图4是本发明中自适应特征融合模块(AFF)的结构示意图;
图5是本发明中提出的改进的分割网络的整体设计图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
针对现有技术的问题,本发明提出了一种基于U-Net的血管图像分割方法,包括:
获取血管分割数据集;
对所述血管分割数据集进行预处理;
对预处理后的血管分割图像进行图像块裁剪操作,得到样本数据;
根据所述样本数据,通过Pytorch深度学习框架搭建血管图像分割网络;
根据所述血管图像分割网络进行血管图像分割,并对所述血管图像分割的结果进行评价;
其中,所述血管图像分割网络中的卷积块由多尺度特征聚集块替换;所述多尺度特征聚集块的第一输入为多尺度高层特征,所述多尺度特征聚集块的第二输入为多尺度低层特征;所述血管图像分割网络通过MS-CAM模块将所述多尺度特征聚集块中的多尺度高层特征和多尺度低层特征进行融合。
可选地,所述对所述血管分割数据集进行预处理,包括:
提取所述血管分割数据集中RGB图像的绿色通道;
对所述绿色通道进行白化处理;
对所述白化处理后的图像进行自适应直方图均衡化处理;
对所述自适应直方图均衡化处理后的图像进行伽马变换处理。
可选地,所述对预处理后的血管分割图像进行图像块裁剪操作,得到样本数据,包括:
对所述血管分割图像进行图像块裁剪操作,得到随机坐标;
将所述随机坐标作为中心点,裁剪得到48×48的图像块,并将所述图像块作为样本数据。
可选地,所述根据所述样本数据,通过Pytorch深度学习框架搭建血管图像分割网络这一步骤中,
所述血管图像分割网络的网络架构为U型架构,所述U型架构包括一个编码器和一个解码器;所述编码器包括四层结构;
所述多尺度特征聚集块用于:通过1×1卷积将输入数据分为左分支和右分支;
所述右分支的输入数据经过下采样处理后通过卷积操作进行特征提取,得到多尺度高层特征;
所述左分支的输入数据经过上采样处理后通过卷积操作进行特征提取,得到多尺度低层特征;
通过MS-CAM特征融合模块将所述多尺度高层特征和所述多尺度低层特征进行处理,得到一个用于注意力操作的注意力权重;
根据所述注意力权重进行注意力操作得到编码器的输出。
可选地,所述MS-CAM模块在注意力操作的过程中将局部信息融入全局信息,通过使用点卷积作为局部通信信息整合器;
其中,所述局部通道信息的计算公式为:
L(X)=B(PWConv2(δ(B(PWConv1(X)))))
其中,L(X)代表局部通道信息;B代表批量归一化;PWConv1表示通过1*1卷积将输入的特征X通道数减少为原先的
Figure BDA0003069029200000061
δ表示ReLU激活函数;PWConv2表示通过1x1卷积将通道数目恢复成与原输入通道数目相同。
可选地,所述解码器包括四层结构;
所述解码器通过自适应特征融合模块来实现相邻层之间的融合。
可选地,所述对所述血管图像分割的结果进行评价,包括:
获取样本标注图像的目标对象的第一像素点,获取预测分割图像的目标对象的第二像素点;
根据所述第一像素点和所述第二像素点计算得到重叠度评价指标;
获取预测分割图像中正样本预测为真的目标对象的第三像素点,获取预测分割图像中负样本预测为真的目标对象的第四像素点,获取正样本预测为假的目标对象的第五像素点;
根据所述第三像素点和所述第四像素点计算得到精密度评价指标;
根据所述第三像素点和所述第五像素点计算得到查全率评价指标;
根据所述精密度评价指标和所述查全率评价指标,计算得到均值评价指标。
本发明实施例还提供了基于U-Net的血管图像分割装置,包括:
第一模块,用于获取血管分割数据集;
第二模块,用于对所述血管分割数据集进行预处理;
第三模块,用于对预处理后的血管分割图像进行图像块裁剪操作,得到样本数据;
第四模块,用于根据所述样本数据,通过Pytorch深度学习框架搭建血管图像分割网络;
第五模块,用于根据所述血管图像分割网络进行血管图像分割,并对所述血管图像分割的结果进行评价;
其中,所述血管图像分割网络中的卷积块由多尺度特征聚集块替换;所述多尺度特征聚集块的第一输入为多尺度高层特征,所述多尺度特征聚集块的第二输入为多尺度低层特征;所述血管图像分割网络通过MS-CAM模块将所述多尺度特征聚集块中的多尺度高层特征和多尺度低层特征进行融合。
本发明实施例还提供了一种电子设备,包括处理器以及存储器;
所述存储器用于存储程序;
所述处理器执行所述程序实现如前面所述的方法。
本发明实施例还提供了一种计算机可读存储介质,所述存储介质存储有程序,所述程序被处理器执行实现如前面所述的方法。
本发明实施例还公开了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行前面的方法。
下面结合说明书附图,对本发明的血管图像分割方法的具体实现过程进行详细描述:
图1为本发明提供的一种视网膜血管分割方法的流程示意图,具体参见图1所示,该方法可以包括如下步骤:
步骤S1:获得血管分割数据集,并将前70%和后30%的图像分别划分为训练集和测试集。
步骤S2:对获得的图像进行预处理使得血管图像整体对比度得到增强,这也保证了在之后的实验中,模型能够更好的拟合血管图像数据,从而更好的实现分割结果。
步骤S2.1:提取原始RGB图像的绿色通道,因为血管在绿色通道中比在红色和蓝色通道中呈现出良好的对比度。
步骤S2.2:对绿色通道进行白化处理,通过白化处理可以解决外部环境亮度、物体反射等因素对图像的影响。对图像求均值μ和方差δ的公式如下:
Figure BDA0003069029200000071
然后对原始图像的每个像素pij进行转换计算得到新的像素值
Figure BDA0003069029200000072
最后得到白化处理后的图像。具体公式如下:
Figure BDA0003069029200000073
步骤S2.3:自适应直方图均衡化处理(又名CLAHE操作),CLAHE操作将原图像的灰度直方图进行了一定的拉伸,提高了对比度,同时也限制了局部较亮或较暗区域,防止了直方图均衡化操作出现信息丢失的情况。
步骤S2.4:伽马变换处理,使处理后的血管图像的灰度值与处理前图像的灰度值之间呈现非线性指数关系,实现灰度拉伸。
伽马变换公式如下:
Figure BDA0003069029200000081
输入灰度级取0到255,并对输入输出灰度级都做归一化为0到1之间,当γ较小时,图像的整体亮度得到非线性提高,当γ较大时,图像的整体亮度会被非线性降低。
步骤S3:完成图像预处理操作之后,进行图像块裁剪操作,裁剪时生成一组随机坐标,以这些坐标为中心点,裁剪大小为48x48的图像块,得到的大量的样本数据用于训练分割模型。
步骤S4:使用Pytorch深度学习框架搭建本网络,本发明所提出的卷积神经网络的结构如图5所示,基于经典的U-Net,对网络的卷积模块和跳跃连接进行了重新设计。是借鉴U-Net网络,采用U型架构,总体结构由一个编码器、一个解码器构成。
编码器总共有四层,在网络中本发明使用设计的如图2所示的多尺度特征聚集块(MSAB)替换普通卷积块。对于多尺度特征聚集块首先将输入经过一个1x1卷积平分为左右两个分支,这样设计是为了减少计算量。在右分支中输入图像首先经过下采样,然后输出再经过两组3x1和1x3卷积模组对特征进行提取。在特征提取的过程中采用了两组3x1和1x3卷积等效于一个5x5卷积的设计思路,这样既加深了网络的深度也可以减少参数。经过感受野为3和5的多尺度特征提取后再进行上采样,这样整个右分支就完成了多尺度高层特征的提取。同样对于左侧分支输入首先经过上采样,然后输出同样经过两组3x1和1x3卷积模组对特征进行提取。特征提取结束后再经过一个下采样,这样左侧分支就完成了对尺度低层特征的提取。在左右两个分支对特征提取结束后本发明使用如图3所示的MS-CAM特征融合模块对两个分支进行处理产生一个用于注意力操作的权重。对于MS-CAM模块通过使用不同的空间池化获得的多尺度特征,并在不同尺度特征上实施通道注意力操作。为了维持轻量模型仅在注意力模块中将局部信息融入全局信息,通过使用点卷积即1x1卷积作为局部通道信息整合器,其利用了不同通道的对应像素点做信息交互。为了不增加参数量,在计算局部通道信息L(X)时使用了一个瓶颈结构。局部通道信息计算如下所示:
L(X)=B(PWConv2(δ(B(PWConv1(X)))))
其中PWConv1表示通过1*1卷积将输入的特征X通道数减少为原先的
Figure BDA0003069029200000082
B表示BatchNorm层,δ表示ReLU激活函数,PWConv2又通过1x1卷积将通道数目恢复成与原输入通道数目相同,因此局部通道信息L(X)的形状和输入X的形状保持一致。通过使用全局平均池化得到全局通道信息g(X)并与局部通道信息L(X)融合,并输出一个权重值用来对输入特征X做注意力操作后得到输出
Figure BDA0003069029200000091
具体计算如下所示:
Figure BDA0003069029200000092
其中M(X)表示有MS-CAM产生的注意力权重,
Figure BDA0003069029200000093
表示加法,
Figure BDA0003069029200000094
表示特征图对应元素相乘。
解码器同编码器一样也是四层,并且解码器中的卷积块也使用本发明设计的多尺度特征聚集块。编码器经过三次下采样将提取到的特征信息传播到解码器,由于高级特征包含丰富的语义信息,可以帮助低级特征识别语义上重要的位置。然而,由于相对粗糙的分辨率,它缺乏必要的空间信息。相比之下,低层特征包含丰富的空间信息,这对于高层特征重建精确的细节是有用的。然而,它缺乏必要的语义信息来从全局角度识别目标对象。因此,语义信息丰富的高层特征和空间信息丰富的低层特征在本质上是互补的。所以在网络中本发明将传统的跳跃连接替换为一个自适应特征融合(AFF)模块来指导相邻层之间的融合,该模块基于挤压和激励(se)操作来建模两个相邻层之间的特征通道之间的相关性。如图4所示,通过计算加权向量来重新加权低层特征并抑制不相关背景噪声的干扰,所提出的网络可以保留更重要的上下文语义信息以进行更精确的定位。具体来说,本发明首先连接相邻级别的特征图,并对组合特征通道之间的相关性进行建模:
Figure BDA0003069029200000095
其中,
Figure BDA0003069029200000096
表示低级特征,
Figure BDA0003069029200000097
表示经过上采样得到的高级特征,Γ表示挤压和激励操作,其能够自适应地重新校准通道式特征响应。之后,输出γf (t)被喂入1×1的卷积以减小滤波器的尺寸。然后利用全局平均池进一步提取全局上下文信息。为了抑制不相关背景噪声的干扰,本发明将Sigmoid函数生成的权重向量乘以低层特征,然后将重新加权的低层特征添加到高层特征以产生最终结果:
Figure BDA0003069029200000098
其中F表示1x1卷积,
Figure BDA0003069029200000099
Figure BDA00030690292000000910
表示相加和相乘,GAP表示全局平均池化,sigmoid表示激活函数,通过使用AFF来逐步引导高级特征和低级特征之间的融合。
步骤S5:血管分割模型训练完成后,根据评价指标对血管分割结果进行评价。评价指标包括重叠度(IOU)、精密度(Precision)、查全率(Recall)和加权调和均值(F-Measure)。公式如下:
Figure BDA0003069029200000101
其中,Target是样本标注图像的目标对象的像素点,Prediction是预测分割图像的目标对象的像素点。
Figure BDA0003069029200000102
其中,TP是正样本预测为真的目标对象的像素点,FP是负样本预测为真的目标对象的像素点。
Figure BDA0003069029200000103
其中,TP是正样本预测为真的目标对象的像素点,FN是正样本预测为假的目标对象的像素点。
Figure BDA0003069029200000104
其中,
Figure BDA0003069029200000105
是权重。
综上所述,本发明提出了一种新的多尺度和上下文敏感的深度卷积网络来全面解决视网膜血管分割的挑战。本发明的模型是基于经典的编解码结构实现的,由两个核心模块组成。首先,在编码器模块,本发明提出了一种新的多尺度感知特征聚合模块(MSAB)来有效提取多尺度上下文信息。通过这种方式,从粗到细的上下文信息在每个尺度上被共享和聚集,从而改善毛细血管的分割。其次,在解码器的每个阶段,本发明用自适应特征融合(AFF)模块代替经典U-Net模型的跳跃连接,通过使用AFF模块,网络可以有效地引导相邻层次特征的融合,以获取更多可区分的语义信息,从而最终细化血管图。
相较于现有技术,本发明具有以下优点:
1、本发明使用多尺度特征聚集块替换替换传统卷积块,将输入通道分为两支,一支提取多尺度高层特征,另一支提取多尺度低层特征。特征提取结束后使用MS-CAM模块能更好的融合语义和尺度不一致的特征。
2、在多尺度聚集块中将普通3x3卷积用一个3x1和1x3卷积串联进行替换,同时使用两组3x1和1x3卷积串联代替5x5卷积,这样设计既加深了网络深度又减少了参数。
3、使用AFF特征融合模块替换跳跃连接,不仅可以抑制无关的背景噪声,还可以保留更详细的局部语义信息,从而将血管从背景和噪声中分离出来。
在一些可选择的实施例中,在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如,取决于所涉及的功能/操作,连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外,在本发明的流程图中所呈现和描述的实施例以示例的方式被提供,目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的,其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
此外,虽然在功能性模块的背景下描述了本发明,但应当理解的是,除非另有相反说明,所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中,或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是,有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说,考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下,在工程师的常规技术内将会了解该模块的实际实现。因此,本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是,所公开的特定概念仅仅是说明性的,并不意在限制本发明的范围,本发明的范围由所附权利要求书及其等同方案的全部范围来决定。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例,本领域的普通技术人员可以理解:在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由权利要求及其等同物限定。
以上是对本发明的较佳实施进行了具体说明,但本发明并不限于所述实施例,熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换,这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (10)

1.基于U-Net的血管图像分割方法,其特征在于,包括:
获取血管分割数据集;
对所述血管分割数据集进行预处理;
对预处理后的血管分割图像进行图像块裁剪操作,得到样本数据;
根据所述样本数据,通过Pytorch深度学习框架搭建血管图像分割网络;
根据所述血管图像分割网络进行血管图像分割,并对所述血管图像分割的结果进行评价;
其中,所述血管图像分割网络中的卷积块由多尺度特征聚集块替换;所述多尺度特征聚集块的第一输入为多尺度高层特征,所述多尺度特征聚集块的第二输入为多尺度低层特征;所述血管图像分割网络通过MS-CAM模块将所述多尺度特征聚集块中的多尺度高层特征和多尺度低层特征进行融合。
2.根据权利要求1所述的基于U-Net的血管图像分割方法,其特征在于,所述对所述血管分割数据集进行预处理,包括:
提取所述血管分割数据集中RGB图像的绿色通道;
对所述绿色通道进行白化处理;
对所述白化处理后的图像进行自适应直方图均衡化处理;
对所述自适应直方图均衡化处理后的图像进行伽马变换处理。
3.根据权利要求1所述的基于U-Net的血管图像分割方法,其特征在于,所述对预处理后的血管分割图像进行图像块裁剪操作,得到样本数据,包括:
对所述血管分割图像进行图像块裁剪操作,得到随机坐标;
将所述随机坐标作为中心点,裁剪得到48×48的图像块,并将所述图像块作为样本数据。
4.根据权利要求1所述的基于U-Net的血管图像分割方法,其特征在于,所述根据所述样本数据,通过Pytorch深度学习框架搭建血管图像分割网络这一步骤中,
所述血管图像分割网络的网络架构为U型架构,所述U型架构包括一个编码器和一个解码器;所述编码器包括四层结构;
所述多尺度特征聚集块用于:通过1×1卷积将输入数据分为左分支和右分支;
所述右分支的输入数据经过下采样处理后通过卷积操作进行特征提取,得到多尺度高层特征;
所述左分支的输入数据经过上采样处理后通过卷积操作进行特征提取,得到多尺度低层特征;
通过MS-CAM特征融合模块将所述多尺度高层特征和所述多尺度低层特征进行处理,得到一个用于注意力操作的注意力权重;
根据所述注意力权重进行注意力操作得到编码器的输出。
5.根据权利要求4所述的基于U-Net的血管图像分割方法,其特征在于,所述MS-CAM模块在注意力操作的过程中将局部信息融入全局信息,通过使用点卷积作为局部通信信息整合器;
其中,所述局部通道信息的计算公式为:
L(X)=B(PWConv2(δ(B(PWConv1(X)))))
其中,L(X)代表局部通道信息;B代表批量归一化;PWConv1表示通过1*1卷积将输入的特征X通道数减少为原先的
Figure FDA0003069029190000021
δ表示ReLU激活函数;PWConv2表示通过1x1卷积将通道数目恢复成与原输入通道数目相同。
6.根据权利要求5所述的基于U-Net的血管图像分割方法,其特征在于,所述解码器包括四层结构;
所述解码器通过自适应特征融合模块来实现相邻层之间的融合。
7.根据权利要求1所述的基于U-Net的血管图像分割方法,其特征在于,所述对所述血管图像分割的结果进行评价,包括:
获取样本标注图像的目标对象的第一像素点,获取预测分割图像的目标对象的第二像素点;
根据所述第一像素点和所述第二像素点计算得到重叠度评价指标;
获取预测分割图像中正样本预测为真的目标对象的第三像素点,获取预测分割图像中负样本预测为真的目标对象的第四像素点,获取正样本预测为假的目标对象的第五像素点;
根据所述第三像素点和所述第四像素点计算得到精密度评价指标;
根据所述第三像素点和所述第五像素点计算得到查全率评价指标;
根据所述精密度评价指标和所述查全率评价指标,计算得到均值评价指标。
8.基于U-Net的血管图像分割装置,其特征在于,包括:
第一模块,用于获取血管分割数据集;
第二模块,用于对所述血管分割数据集进行预处理;
第三模块,用于对预处理后的血管分割图像进行图像块裁剪操作,得到样本数据;
第四模块,用于根据所述样本数据,通过Pytorch深度学习框架搭建血管图像分割网络;
第五模块,用于根据所述血管图像分割网络进行血管图像分割,并对所述血管图像分割的结果进行评价;
其中,所述血管图像分割网络中的卷积块由多尺度特征聚集块替换;所述多尺度特征聚集块的第一输入为多尺度高层特征,所述多尺度特征聚集块的第二输入为多尺度低层特征;所述血管图像分割网络通过MS-CAM模块将所述多尺度特征聚集块中的多尺度高层特征和多尺度低层特征进行融合。
9.一种电子设备,其特征在于,包括处理器以及存储器;
所述存储器用于存储程序;
所述处理器执行所述程序实现如权利要求1-7中任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,所述存储介质存储有程序,所述程序被处理器执行实现如权利要求1-7中任一项所述的方法。
CN202110550651.8A 2021-05-17 2021-05-17 基于U-Net的血管图像分割方法、装置和设备 Active CN113205524B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110550651.8A CN113205524B (zh) 2021-05-17 2021-05-17 基于U-Net的血管图像分割方法、装置和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110550651.8A CN113205524B (zh) 2021-05-17 2021-05-17 基于U-Net的血管图像分割方法、装置和设备

Publications (2)

Publication Number Publication Date
CN113205524A true CN113205524A (zh) 2021-08-03
CN113205524B CN113205524B (zh) 2023-04-07

Family

ID=77032141

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110550651.8A Active CN113205524B (zh) 2021-05-17 2021-05-17 基于U-Net的血管图像分割方法、装置和设备

Country Status (1)

Country Link
CN (1) CN113205524B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114119638A (zh) * 2021-12-02 2022-03-01 上海理工大学 一种融合多尺度特征和注意力机制的医学图像分割方法
CN114387436A (zh) * 2021-12-28 2022-04-22 北京安德医智科技有限公司 壁冠状动脉检测方法及装置、电子设备和存储介质
CN114445422A (zh) * 2022-01-13 2022-05-06 同济大学 基于transformer的医学图像分割方法、系统、介质及电子设备
CN115713535A (zh) * 2022-11-07 2023-02-24 阿里巴巴(中国)有限公司 图像分割模型确定方法以及图像分割方法
CN116205967A (zh) * 2023-04-27 2023-06-02 中国科学院长春光学精密机械与物理研究所 医学影像语义分割方法、装置、设备及介质
WO2024021641A1 (zh) * 2022-07-25 2024-02-01 推想医疗科技股份有限公司 一种血管分割方法、装置、设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108776807A (zh) * 2018-05-18 2018-11-09 复旦大学 一种基于可跳层双支神经网络的图像粗细粒度分类方法
CN110930421A (zh) * 2019-11-22 2020-03-27 电子科技大学 一种用于cbct牙齿图像的分割方法
CN111145170A (zh) * 2019-12-31 2020-05-12 电子科技大学 一种基于深度学习的医学影像分割方法
CN111161287A (zh) * 2019-12-05 2020-05-15 山东科技大学 基于对称双向级联网络深度学习的视网膜血管分割方法
CN112183360A (zh) * 2020-09-29 2021-01-05 上海交通大学 高分辨率遥感影像的轻量化语义分割方法
CN112287940A (zh) * 2020-10-30 2021-01-29 西安工程大学 一种基于深度学习的注意力机制的语义分割的方法
CN112508864A (zh) * 2020-11-20 2021-03-16 昆明理工大学 基于改进UNet++的视网膜血管图像分割方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108776807A (zh) * 2018-05-18 2018-11-09 复旦大学 一种基于可跳层双支神经网络的图像粗细粒度分类方法
CN110930421A (zh) * 2019-11-22 2020-03-27 电子科技大学 一种用于cbct牙齿图像的分割方法
CN111161287A (zh) * 2019-12-05 2020-05-15 山东科技大学 基于对称双向级联网络深度学习的视网膜血管分割方法
CN111145170A (zh) * 2019-12-31 2020-05-12 电子科技大学 一种基于深度学习的医学影像分割方法
CN112183360A (zh) * 2020-09-29 2021-01-05 上海交通大学 高分辨率遥感影像的轻量化语义分割方法
CN112287940A (zh) * 2020-10-30 2021-01-29 西安工程大学 一种基于深度学习的注意力机制的语义分割的方法
CN112508864A (zh) * 2020-11-20 2021-03-16 昆明理工大学 基于改进UNet++的视网膜血管图像分割方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
JIE HU ET AL: "Squeeze-and-Excitation Networks", 《ARXIV》 *
SOHAM CHATTOPADHYAY ET AL.: "Multi-scale Attention U-Net (MsAUNet): A Modified U-Net Architecture for Scene Segmentation", 《ARXIV》 *
XIAO MA ET AL: "MS-CAM: Multi-Scale Class Activation Maps", 《IEEE》 *
YIMIAN DAI ET AL: "Attentional Feature Fusion", 《ARXIV》 *
朱辉 等: "基于多尺度特征结构的U-Net肺结节检测算法", 《计算机工程》 *
胡扬涛 等: "空洞残差U 型网络用于视网膜血管分割", 《计算机工程与应用》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114119638A (zh) * 2021-12-02 2022-03-01 上海理工大学 一种融合多尺度特征和注意力机制的医学图像分割方法
CN114387436A (zh) * 2021-12-28 2022-04-22 北京安德医智科技有限公司 壁冠状动脉检测方法及装置、电子设备和存储介质
CN114445422A (zh) * 2022-01-13 2022-05-06 同济大学 基于transformer的医学图像分割方法、系统、介质及电子设备
WO2024021641A1 (zh) * 2022-07-25 2024-02-01 推想医疗科技股份有限公司 一种血管分割方法、装置、设备及存储介质
CN115713535A (zh) * 2022-11-07 2023-02-24 阿里巴巴(中国)有限公司 图像分割模型确定方法以及图像分割方法
CN115713535B (zh) * 2022-11-07 2024-05-14 阿里巴巴(中国)有限公司 图像分割模型确定方法以及图像分割方法
CN116205967A (zh) * 2023-04-27 2023-06-02 中国科学院长春光学精密机械与物理研究所 医学影像语义分割方法、装置、设备及介质

Also Published As

Publication number Publication date
CN113205524B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN113205524B (zh) 基于U-Net的血管图像分割方法、装置和设备
CN111784671B (zh) 基于多尺度深度学习的病理图像病灶区域检测方法
CN109886273B (zh) 一种cmr图像分割分类系统
CN115205300B (zh) 基于空洞卷积和语义融合的眼底血管图像分割方法与系统
CN113205537B (zh) 基于深度学习的血管图像分割方法、装置、设备及介质
CN113205538A (zh) 基于CRDNet的血管图像分割方法及装置
CN112991346B (zh) 用于医学图像分析的学习网络的训练方法和训练系统
CN113393469A (zh) 基于循环残差卷积神经网络的医学图像分割方法和装置
CN112862805B (zh) 听神经瘤图像自动化分割方法及系统
CN116309648A (zh) 一种基于多注意力融合的医学图像分割模型构建方法
CN112884788B (zh) 基于丰富上下文网络的视杯视盘分割方法及成像方法
CN115861616A (zh) 面向医学图像序列的语义分割系统
CN115546570A (zh) 一种基于三维深度网络的血管图像分割方法及系统
CN113012163A (zh) 一种基于多尺度注意力网络的视网膜血管分割方法、设备及存储介质
CN114419054A (zh) 视网膜血管图像分割方法、装置及相关设备
Yang et al. RADCU-Net: Residual attention and dual-supervision cascaded U-Net for retinal blood vessel segmentation
CN117392082A (zh) 基于全尺度跳跃连接的肝脏ct图像分割方法及系统
Gulati et al. Comparative analysis of deep learning approaches for the diagnosis of diabetic retinopathy
CN117115444B (zh) 一种多任务图像分割方法、系统、计算机设备和存储介质
CN117635625A (zh) 基于自动数据增强策略和多注意力辅助UNet的胰腺肿瘤分割方法
CN117633558A (zh) 基于视觉语言模型的多激励融合零样本病变检测方法
CN117576383A (zh) 一种基于注意力解码的可信息肉分割方法及系统
CN117314935A (zh) 基于扩散模型的低质量眼底图像的增强及分割方法及系统
CN117611602A (zh) 一种基于u-net网络双编码器结构的纤维束分割方法
Xian et al. Automatic tongue image quality assessment using a multi-task deep learning model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240523

Address after: 1003, Building A, Zhiyun Industrial Park, No. 13 Huaxing Road, Tongsheng Community, Dalang Street, Longhua District, Shenzhen City, Guangdong Province, 518000

Patentee after: Shenzhen Wanzhida Enterprise Management Co.,Ltd.

Country or region after: China

Address before: 510006 No. 230 West Ring Road, University of Guangdong, Guangzhou

Patentee before: Guangzhou University

Country or region before: China