CN111681242B - 视网膜血管动静脉区分方法和装置、设备 - Google Patents
视网膜血管动静脉区分方法和装置、设备 Download PDFInfo
- Publication number
- CN111681242B CN111681242B CN202010815698.8A CN202010815698A CN111681242B CN 111681242 B CN111681242 B CN 111681242B CN 202010815698 A CN202010815698 A CN 202010815698A CN 111681242 B CN111681242 B CN 111681242B
- Authority
- CN
- China
- Prior art keywords
- blood vessel
- image
- arteriovenous
- vein
- sections
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 210000001210 retinal vessel Anatomy 0.000 title abstract description 19
- 210000004204 blood vessel Anatomy 0.000 claims abstract description 404
- 210000003462 vein Anatomy 0.000 claims abstract description 59
- 238000000605 extraction Methods 0.000 claims abstract description 53
- 210000001367 artery Anatomy 0.000 claims abstract description 46
- 238000005259 measurement Methods 0.000 claims abstract description 11
- 210000001525 retina Anatomy 0.000 claims abstract description 11
- 230000002792 vascular Effects 0.000 claims description 32
- 230000002207 retinal effect Effects 0.000 claims description 30
- 230000004069 differentiation Effects 0.000 claims description 21
- 238000001514 detection method Methods 0.000 claims description 20
- 230000006870 function Effects 0.000 claims description 8
- 238000012216 screening Methods 0.000 claims description 6
- 239000004429 Calibre Substances 0.000 claims description 4
- 238000012360 testing method Methods 0.000 abstract description 18
- 238000004422 calculation algorithm Methods 0.000 abstract description 13
- 230000000694 effects Effects 0.000 abstract description 5
- 210000001927 retinal artery Anatomy 0.000 abstract description 4
- 238000012549 training Methods 0.000 description 24
- 238000010586 diagram Methods 0.000 description 11
- 208000011775 arteriosclerosis disease Diseases 0.000 description 3
- 230000001788 irregular Effects 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 206010003210 Arteriosclerosis Diseases 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 2
- 238000004195 computer-aided diagnosis Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000008030 elimination Effects 0.000 description 2
- 238000003379 elimination reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 210000003733 optic disk Anatomy 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 208000020296 Abnormal vascular morphology Diseases 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
-
- G06T5/77—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
Abstract
本申请公开了一种视网膜血管动静脉区分方法，包括获取血管提取图像、眼底图像和视盘中心坐标，依据血管提取图像、眼底图像和视盘中心坐标进行主干血管的提取，得到主干血管图像，并基于主干血管图像对主干血管进行截取得到多个单一血管段，将多个单一血管段进行管径测量得到各单一血管段的管径宽度，并根据各管径宽度选取得到多个动静脉血管对。以使在实际场景眼底视网膜彩色图像上测试效果表现优异，对于不同类型、不同品牌、不同等级图像质量的眼底图像皆有较好效果，算法鲁棒性和普适性较强，为视网膜血管动静脉区分及管径测量算法实际场景落地提供可能。
Description
技术领域
本公开涉及计算机辅助诊断技术领域，尤其涉及一种视网膜血管动静脉区分方法和装置、设备。
背景技术
眼底视网膜血管动静脉管径比指标是医生在诊断动脉硬化疾病时的重要参考指标。然而医生实际阅片时，依旧凭借目测的方法，给出动静脉管径比的一个大致比值：大于1/2、大于1/3且小于1/2、小于1/3等。然而目测的方法毕竟存在较大误差，尤其对于新晋眼科医生或普通眼科医生在阅片过程中难免存在误判等情况。因此，通过计算机准确测量出视网膜主干血管动静脉管径比的比值对于医生临床诊断动脉硬化具有极大帮助，可有效提高医生阅片效率。另外，对于进一步实现计算机辅助诊断动脉硬化等存在血管形态异常表现的疾病同样具有重大意义。
基于机器学习方法区分视网膜血管动静脉的方法存在算法普适性和鲁棒性差问题。
发明内容
有鉴于此，本公开提出了一种视网膜血管动静脉区分方法，包括：
获取血管提取图像、眼底图像和视盘中心坐标；
依据所述血管提取图像、所述眼底图像和所述视盘中心坐标进行主干血管的提取，得到主干血管图像，并基于所述主干血管图像对所述主干血管进行截取得到多个单一血管段；
将多个所述单一血管段进行管径测量得到各所述单一血管段的管径宽度，并根据各所述管径宽度选取得到多个动静脉血管对；
由多个所述动静脉血管对中剔除不合格动静脉血管对，保留合格动静脉血管对的步骤；
其中，剔除不合格动静脉血管对，包括：
获取各所述动静脉血管对中单一血管段的平均图像亮度，并根据所述平均图像亮度由多个所述动静脉血管对中剔除所述不合格动静脉血管对。
在一种可能的实现方式中，还包括由多个所述动静脉血管对中剔除不合格动静脉血管对，保留合格动静脉血管对的步骤；
其中，剔除不合格动静脉血管对，包括：
获取各所述动静脉血管对中单一血管段的平均图像亮度，并根据所述平均图像亮度由多个所述动静脉血管对中剔除所述不合格动静脉血管对。
在一种可能的实现方式中，依据所述血管提取图像、所述眼底图像和所述视盘中心坐标进行主干血管的提取，包括：
去除所述血管提取图像中的断开血管得到最大的连通血管；
依据所述连通血管提取出血管骨架；
依据所述血管骨架提取出血管的交叉点并将所述交叉点去除；
依据所述视盘中心坐标和所述眼底图像将所述血管骨架的细小血管段和非主干血管分支去除得到主干血管；
其中，依据所述连通血管提取出血管骨架时，使用Opencv中的骨架提取函数将所述连通血管提取出所述血管骨架。
在一种可能的实现方式中，剔除不合格动静脉血管对，还包括：
获取各所述动静脉血管对中单一血管对中动脉血管和静脉血管之间的夹角，根据所述夹角由多个所述动静脉血管对中剔除所述不合格动静脉血管对；
获取各所述动静脉血管对中单一血管对中动脉血管和静脉血管之间的距离，根据所述距离由多个所述动静脉血管对中剔除所述不合格动静脉血管对。
在一种可能的实现方式中，依据所述血管骨架提取出血管的交叉点并将所述交叉点去除包括：
将所述血管骨架进行二值化得到灰度图像；
以3×3模板遍历所述灰度图像，通过枚举法提取所述灰度图像中的所述交叉点；
以所述交叉点为圆心，将半径为四个像素点内的像素值设置为0。
在一种可能的实现方式中，依据所述视盘中心坐标和所述眼底图像将所述血管骨架的细小血管段和非主干血管分支去除得到主干血管包括：
将所述视盘中心坐标和所述眼底图像的黄斑区连线为正半轴；
保留以所述正半轴的顺时针110°和所述正半轴的逆时针110°的区域；
采用3×3ELLIPSE对所述灰度图像进行细化得到主干血管。
在一种可能的实现方式中，基于所述主干血管图像对所述主干血管进行截取得到多个单一血管段，包括：
以所述视盘中心坐标为圆心，在预设半径内以预设步长向外遍历截取所述主干血管得到多个小血管段；
对多个所述小血管段进行凸包检测得到多个光滑血管段；
去除多个所述光滑血管段中大于预设弯曲度阈值的所述光滑血管段得到直线血管段；
将所述直线血管段使用Opencv中矩形检测API进行检测得到血管角度；
依据预设角度区间得到多个所述单一血管段。
在一种可能的实现方式中，将多个所述单一血管段进行管径测量得到各所述单一血管段的管径宽度，并根据各所述管径宽度选取得到多个动静脉血管对包括：
取各所述单一血管段的中线，将所述中线的中点向所述单一血管段的两端延伸预设像素得到中线线段；
计算所述中线线段的两端端点的垂线方程；
将所述垂线方程之间的所述单一血管段的一条轮廓线进行直线拟合得到第一直线；
基于所述第一直线的斜率采用最小二乘法对另一条所述轮廓线进行直线拟合得到第二直线；
计算所述第一直线与第二直线之间的距离得到血管管径；
选择多个所述单一血管段中管径最大的作为静脉；
计算所述静脉到其他单一血管段之间的距离，选取距离所述静脉最近的所述单一血管段作为动脉。
根据本公开的另一方面，提供了一种视网膜血管动静脉区分装置，其特征在于，包括数据获取模块、血管筛选模块和动静脉血管对选取模块；
所述数据获取模块，被配置为获取血管提取图像、眼底图像和视盘中心坐标；
所述血管筛选模块，被配置为依据所述血管提取图像、所述眼底图像和所述视盘中心坐标进行主干血管的提取，得到主干血管图像，并基于所述主干血管图像对所述主干血管进行截取得到多个单一血管段；
所述动静脉血管对选取模块，被配置为将多个所述单一血管段进行管径测量得到各所述单一血管段的管径宽度，并根据各所述管径宽度选取得到多个动静脉血管对；
由多个所述动静脉血管对中剔除不合格动静脉血管对，保留合格动静脉血管对的步骤；
其中，剔除不合格动静脉血管对，包括：
获取各所述动静脉血管对中单一血管段的平均图像亮度，并根据所述平均图像亮度由多个所述动静脉血管对中剔除所述不合格动静脉血管对。
根据本公开的另一方面，提供了一种视网膜血管动静脉区分设备，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述可执行指令时实现前面任一所述的方法。
通过获取血管提取图像、眼底图像和视盘中心坐标，依据血管提取图像、眼底图像和视盘中心坐标进行主干血管的提取，得到主干血管图像，并基于主干血管图像对主干血管进行截取得到多个单一血管段，将多个单一血管段进行管径测量得到各单一血管段的管径宽度，并根据各管径宽度选取得到多个动静脉血管对。以使在实际场景眼底视网膜彩色图像上测试效果表现优异，对于不同类型、不同品牌、不同等级图像质量的眼底图像皆有较好效果，算法鲁棒性和普适性较强，为视网膜血管动静脉区分及管径测量算法实际场景落地提供可能。
根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。
附图说明
包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的示例性实施例、特征和方面，并且用于解释本公开的原理。
图1示出本公开实施例的视网膜血管动静脉区分方法的流程图；
图2示出本公开实施例的视网膜血管动静脉区分方法的512×512尺寸眼底图像示意图；
图3示出本公开实施例的视网膜血管动静脉区分方法的512×512尺寸血管提取图像示意图；
图4示出本公开实施例的视网膜血管动静脉区分方法的血管提取测试图像示意图；
图5示出本公开实施例的视网膜血管动静脉区分方法的血管提取测试结果图像示意图；
图6示出本公开实施例的视网膜血管动静脉区分方法的另一流程图；
图7示出本公开实施例的视网膜血管动静脉区分方法的眼底图像示意图；
图8示出本公开实施例的视网膜血管动静脉区分方法的视盘检测测试图像示意图；
图9示出本公开实施例的视网膜血管动静脉区分方法的视盘检测测试结果图像示意图；
图10示出本公开实施例的视网膜血管动静脉区分方法的血管走向示意图；
图11示出本公开实施例的视网膜血管动静脉区分方法的黄斑区示意图；
图12示出本公开实施例的视网膜血管动静脉区分方法的圆环模板示意图；
图13示出本公开实施例的视网膜血管动静脉区分方法的小血管段示意图；
图14示出本公开实施例的视网膜血管动静脉区分方法的轮廓直线拟合示意图；
图15示出本公开实施例的视网膜血管动静脉区分方法的管径示意图；
图16示出本公开实施例的视网膜血管动静脉区分装置的框图；
图17示出本公开实施例的视网膜血管动静脉区分设备的框图。
具体实施方式
以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
另外，为了更好的说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。
图1示出根据本公开一实施例的视网膜血管动静脉区分方法的流程图。如图1所示，该视网膜血管动静脉区分方法包括：
步骤S100，获取血管提取图像、眼底图像和视盘中心坐标，步骤S200，依据血管提取图像、眼底图像和视盘中心坐标进行主干血管的提取，得到主干血管图像，并基于主干血管图像对主干血管进行截取得到多个单一血管段，步骤S300，将多个单一血管段进行管径测量得到各单一血管段的管径宽度，并根据各管径宽度选取得到多个动静脉血管对。
通过获取血管提取图像、眼底图像和视盘中心坐标，依据血管提取图像、眼底图像和视盘中心坐标进行主干血管的提取，得到主干血管图像，并基于主干血管图像对主干血管进行截取得到多个单一血管段，将多个单一血管段进行管径测量得到各单一血管段的管径宽度，并根据各管径宽度选取得到多个动静脉血管对。以使在实际场景眼底视网膜彩色图像上测试效果表现优异，对于不同类型、不同品牌、不同等级图像质量的眼底图像皆有较好效果，算法鲁棒性和普适性较强，为视网膜血管动静脉区分及管径测量算法实际场景落地提供可能。
首先，需要说明的是，本申请实施例的视网膜血管动静脉区分方法是基于机器学习来实现的。其中，对应本申请实施例的视网膜血管动静脉区分方法中，血管提取图像和视盘中心坐标的获取可以采用相应的网络模型来实现。
具体的，血管提取图像可以采用U-net网络结构来实现，视盘中心坐标同样也可以采用U-net网络结构来实现。
在采用U-net网络结构进行血管提取图像和视盘中心坐标的获取之前，需要先对所采用的网络模型进行训练，得到最终收敛后的网络结构。
其中，在对所采用的网络模型进行训练时，首先构建血管提取和视盘检测的训练数据集，在进行血管提取的训练数据集的构建中，使用DRIVE公开数据集中训练集20张及测试集18张，数据扩增后共3004张，测试集2张，共2张，其中图片均为565×584像素，在进行视盘检测的训练数据集的构建中，训练集为refuge2018训练集及验证集800张，drishti-gsl训练数据集50张、rim-one-r3训练数据集159张，数据扩增后共4036张，测试集包括refuge2018测试集400张，drishti-gsl测试集51张，共451张，进一步的，在血管提取层中，首先对训练数据集进行黑边裁剪，然后提取G通道，然后使用CLAHE（限制对比度自适应直方图均衡）图像增强，接着进行归一化，将图像水平反转、对比度调整和随机裁剪，将训练数据集扩增至3004张，其中，血管提取层的模型训练的网络结构为U-Net，输入尺寸为512×512，优化方法为Adam，学习率为0.0001，Batch_size为2，损失函数为dice_lose，训练次数为150epoch，并且添加early_stopping机制，模型测试图像参见图6，模型结果图像参见图7。同样的，在视盘检测层中，首先对训练集数据图像进行黑边裁剪，然后进行中值滤波，将图像缩放至512×512尺寸，接着提取G通道，然后使用CLAHE（限制对比度自适应直方图均衡）图像增强，接着进行归一化，将图像水平反转和对比度调整，将训练数据集扩增至4036张，视盘检测层的模型训练的网络结构为U-Net，输入尺寸为512×512，优化方法为Adam，学习率为0.0001，Batch_size为4，损失函数为dice_lose，训练次数为150epoch，并且添加early_stopping机制，模型测试图像参见图8，测试结果图像参见图9。
在对网络模型训练完成之后，即可采用训练好的网络模型进行血管提取图像和视盘中心坐标的获取。即，参见图1，执行步骤S100，获取血管提取图像、眼底图像和视盘中心坐标。
在一种可能的实现方式中，首先输入一张眼底视网膜彩色图像，参见图3并对其进行预处理操作，之后将其分别进行血管提取和视盘检测获得血管提取结果和视盘检测结果，上述操作全部完成后，将预处理后的彩色眼底图像、视网膜血管提取图像、视盘坐标作为输入送至动静脉区分模块进行静动脉的区分，举例来说，参见图2，执行步骤S100，参见图4和图5，可以直接从血管提取结果和视盘检测结果得到512×512尺寸且经过黑边裁剪后的彩色的视网膜眼底图像、512×512尺寸的血管提取图像以及基于512×512尺寸图像上视盘中心坐标。
进一步的，参见图1，执行步骤S200，依据血管提取图像、眼底图像和视盘中心坐标进行主干血管的提取，得到主干血管图像，并基于主干血管图像对主干血管进行截取得到多个单一血管段。
在一种可能的实现方式中，依据血管提取图像、眼底图像和视盘中心坐标进行主干血管的提取，包括：参见图2，执行步骤S200a，去除血管提取图像中的断开血管得到最大的连通血管，步骤S200b，依据连通血管提取出血管骨架，步骤S200c、步骤S200d以及步骤S200e，依据血管骨架提取出血管的交叉点并将交叉点去除，依据视盘中心坐标和眼底图像将血管骨架的细小血管段和非主干血管分支去除得到主干血管，其中，依据连通血管提取出血管骨架时，使用Opencv中的骨架提取函数将连通血管提取出血管骨架。
具体的，依据血管骨架提取出血管的交叉点并将交叉点去除包括：将血管骨架进行二值化得到灰度图像，以3×3模板遍历灰度图像，通过枚举法提取灰度图像中的交叉点，以交叉点为圆心，将半径为四个像素点内的像素值设置为0。
进一步的，依据视盘中心坐标和眼底图像将血管骨架的细小血管段和非主干血管分支去除得到主干血管包括：将视盘中心坐标和眼底图像的黄斑区连线为正半轴，保留以正半轴的顺时针110°和正半轴的逆时针110°的区域，采用3×3ELLIPSE对灰度图像进行细化得到主干血管。
进一步的，基于主干血管图像对主干血管进行截取得到多个单一血管段，包括：参见图2，步骤S200f，以视盘中心坐标为圆心，在预设半径内以预设步长向外遍历截取主干血管得到多个小血管段，为保证精细化剔除，执行步骤S200g，将小血管段分为上弓和下弓，进一步执行步骤S200h，对多个小血管段进行凸包检测得到多个光滑血管段，去除多个光滑血管段中大于预设弯曲度阈值的光滑血管段得到直线血管段，将直线血管段使用Opencv中矩形检测API进行检测得到血管角度，依据预设角度区间得到多个单一血管段。
示例性的，在进行主干血管的提取时，首先保留血管提取图像中最大的连通血管，再逐步剔除细小血管的分支，其中，通过Opencv形态学操作morphology库中骨架提取函数skeletonize()实现对血管骨架的提取，采用3×3模板遍历完整血管骨架的灰度图像，参见图10，由于交叉点在3×3区域内呈现状态有三种类型及四个方向，共十二种类型，故通过枚举方法即可实现血管骨架中全部交叉点的提取，解和采用3×3ELLIPSE类型形态学操作Kernel对灰度图像（血管二值图像）细化，细化后的细小分支血管状态为：完全腐蚀掉和存在间断。此时结合移除小区域操作即可实现细小血管分支的初步剔除。进一步的，由于上述操作无法彻底移除全部细小血管分支，故此处我们循环遍历主干血管的交叉点，并以交叉点为圆心，以4个像素点为半径的圆形模板将主干血管二值图像中交叉点位置圆形区域内像素点置0，并保留此圆环区域内的灰度图像（血管二值图像），通过移除小区域操作实现遗留细小血管段分支的二次剔除，之后再通过保留的血管交叉点位置圆形区域内图像填充至原始位置，实现血管图像交叉点位置图像还原。接着，参见图11，选取视盘中心坐标，以视盘中心坐标和黄斑区连线为横轴正半轴，截取上下0-110度区域血管，进一步剔除残余的视盘侧非主干血管分支即得到主干血管，接着以视盘中心坐标为圆心，固定步长圆环区域向外遍历，在剔除交叉点后的主干血管上截取小血管段。圆环截取完整范围参见图12中圆环围成区域所示，其中红色圆环和绿色圆环分别表示圆环截取范围的下边界和上边界，圆环遍历过程中截取的小血管段参见图13所示。进一步的，还需要对小血管段进行凸包检测，即对提取出来的小血管段计算其凸包，并分别统计凸包轮廓像素点及该血管段像素点个数，通过计算两者之间的差值，并设定阈值实现非规则血管段的剔除得到光滑血管段。其中，非规则血管段包括：分叉点位置、存在毛刺位置、血管形状极其不规则等情况。接着，对凸包检测合格的小血管段即光滑血管段，提取其中心线，并进行直线拟合操作，通过计算中心线上像素点到拟合直线之间距离的累加和及偏差，并设定阈值，剔除过于弯曲的小血管段得到直线血管段。再通过血管段走向的条件限制，剔除主干血管上的与主干血管的血管整体走向相悖的直线血管段，具体的，通过Opencv中矩形检测API实现血管段角度测量，并限制小血管段在5-85度区间范围内时保留，即得到了单一血管段。另外，还可以进行血管段长度限制剔除圆环模板截取出的由于剔除交叉点操作导致不完整的小血管段。
进一步的，执行步骤S300，将多个单一血管段进行管径测量得到各单一血管段的管径宽度，并根据各管径宽度选取得到多个动静脉血管对。
在一种可能的实现方式中，参见图2，执行步骤S300a，将多个单一血管段进行管径测量得到各单一血管段的管径宽度，进一步执行步骤S300b，并根据各管径宽度选取得到多个动静脉血管对包括：
取各单一血管段的中线，将中线的中点向单一血管段的两端延伸预设像素得到中线线段，计算中线线段的两端端点的垂线方程，将垂线方程之间的单一血管段的一条轮廓线进行直线拟合得到第一直线，基于第一直线的斜率采用最小二乘法对另一条轮廓线进行直线拟合得到第二直线，计算第一直线与第二直线之间的距离得到血管管径，选择多个单一血管段中管径最大的作为静脉，计算静脉到其他单一血管段之间的距离，选取距离静脉最近的单一血管段作为动脉。举例来说，通过灰度图像作为模板，在主干血管上截取该单一血管段中线，并对其进行直线拟合操作，之后定位该血管段中线中点位置坐标，向两侧延伸，参见图14，保留五个像素点的中线线段，分别在血管中线线段的两个端点处计算血管段的垂线方程，并分别在血管段垂线方程上截取固定长度的垂线段绘制图中进行实际效果展示，进一步的，参见图15，通过两条垂线段截取单一血管段轮廓像素点，再对截取出来的两条血管轮廓选择其中一条进行直线拟合，固定上述单一轮廓直线拟合后的斜率，采用最小二乘法实现该单一血管段两条垂线段之间另一条轮廓的直线拟合，通过计算两条直线之间的距离即可实现管径测量，接着循环遍历单一血管段，分别计算其管径值，选取管径值最大的假设其为静脉血管，计算该静脉血管段中心点到其他血管段中心点的距离，选取距离静脉血管段最近的单一血管段假设其为动脉，两个血管段构成一对动静脉血管对，保存相关数据。
需要说明的是，上述选择五个像素点的中线线段的原因是基于实际血管段截取长度设定，可根据实际血管段长度对其进行修改。
另外的，参见图2，执行步骤S300c回楼机制，还包括由多个动静脉血管对中剔除不合格动静脉血管对，保留合格动静脉血管对的步骤，其中，剔除不合格动静脉血管对，包括：获取各动静脉血管对中单一血管段的平均图像亮度，并根据平均图像亮度由多个动静脉血管对中剔除不合格动静脉血管对。举例来说，通过计算算法识别出的动静脉血管对中单一血管段的平均图像亮度，若其中动脉血管的亮度高于静脉血管，即保留该动静脉血管对。
需要说明的是，亮度的计算算法可以使用现有技术进行计算，此处不再进行赘述。
在一种可能的实现方式中，剔除不合格动静脉血管对还包括：获取各动静脉血管对中单一血管对中动脉血管和静脉血管之间的夹角，根据夹角由多个动静脉血管对中剔除不合格动静脉血管对，获取各动静脉血管对中单一血管对中动脉血管和静脉血管之间的距离，根据距离由多个动静脉血管对中剔除不合格动静脉血管对。举例来说，设定角度阈值为30度来剔除算法将一个主干血管和其分支血管误判为一对动静脉血管对情况，即若动静脉血管对中的动脉血管和静脉血管之间的夹角大于30度，去除这一对动静脉血管对，进一步的，若算法识别出的一对动静脉血管对中动脉血管段和静脉血管段之间距离较大，则该对动静脉血管段极大概率为非一对动静脉血管，则将该动静脉血管对剔除，并执行步骤S300d，保留其余的动静脉血管对。
需要说明的是，尽管以上述各个步骤作为示例介绍了如上所述的视网膜血管动静脉区分方法，但本领域技术人员能够理解，本公开应不限于此。事实上，用户完全可根据个人喜好和/或实际应用场景灵活设定视网膜血管动静脉区分方法，只要达到所需功能即可。
这样，通过获取血管提取图像、眼底图像和视盘中心坐标，依据血管提取图像、眼底图像和视盘中心坐标进行主干血管的提取，得到主干血管图像，并基于主干血管图像对主干血管进行截取得到多个单一血管段，将多个单一血管段进行管径测量得到各单一血管段的管径宽度，并根据各管径宽度选取得到多个动静脉血管对。以使在实际场景眼底视网膜彩色图像上测试效果表现优异，对于不同类型、不同品牌、不同等级图像质量的眼底图像皆有较好效果，算法鲁棒性和普适性较强，为视网膜血管动静脉区分及管径测量算法实际场景落地提供可能。
进一步的，根据本公开的另一方面，还提供了一种视网膜血管动静脉区分装置100。由于本公开实施例的视网膜血管动静脉区分装置100的工作原理与本公开实施例的视网膜血管动静脉区分方法的原理相同或相似，因此重复之处不再赘述。参见图16，本公开实施例的视网膜血管动静脉区分装置100包括：数据获取模块110、血管筛选模块120和动静脉血管对选取模块130，
数据获取模块110，被配置为获取血管提取图像、眼底图像和视盘中心坐标，
血管筛选模块120，被配置为依据血管提取图像、眼底图像和视盘中心坐标进行主干血管的提取，得到主干血管图像，并基于主干血管图像对主干血管进行截取得到多个单一血管段，
动静脉血管对选取模块130，被配置为将多个单一血管段进行管径测量得到各单一血管段的管径宽度，并根据各管径宽度选取得到多个动静脉血管对。
更进一步地，根据本公开的另一方面，还提供了一种视网膜血管动静脉区分设备200。参阅图17，本公开实施例视网膜血管动静脉区分设备200包括处理器210以及用于存储处理器210可执行指令的存储器220。其中，处理器210被配置为执行可执行指令时实现前面任一的视网膜血管动静脉区分方法。
此处，应当指出的是，处理器210的个数可以为一个或多个。同时，在本公开实施例的视网膜血管动静脉区分设备200中，还可以包括输入装置230和输出装置240。其中，处理器210、存储器220、输入装置230和输出装置240之间可以通过总线连接，也可以通过其他方式连接，此处不进行具体限定。
存储器220作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序和各种模块，如：本公开实施例的视网膜血管动静脉区分方法所对应的程序或模块。处理器210通过运行存储在存储器220中的软件程序或模块，从而执行视网膜血管动静脉区分设备200的各种功能应用及数据处理。
输入装置230可用于接收输入的数字或信号。其中，信号可以为产生与设备/终端/服务器的用户设置以及功能控制有关的键信号。输出装置240可以包括显示屏等显示设备。
根据本公开的另一方面，还提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，计算机程序指令被处理器210执行时实现前面任一的视网膜血管动静脉区分方法。
以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。
Claims (7)
1.一种视网膜血管动静脉区分方法，其特征在于，包括：
获取血管提取图像、眼底图像和视盘中心坐标；其中，所述血管提取图像采用U-net网络来实现，所述视盘中心坐标采用U-net网络来实现；
依据所述血管提取图像、所述眼底图像和所述视盘中心坐标进行主干血管的提取，得到主干血管图像，并基于所述主干血管图像对所述主干血管进行截取得到多个单一血管段；
将多个所述单一血管段进行管径测量得到各所述单一血管段的管径宽度，并根据各所述管径宽度选取得到多个动静脉血管对；
由多个所述动静脉血管对中剔除不合格动静脉血管对，保留合格动静脉血管对的步骤；
其中，剔除不合格动静脉血管对，包括：
获取各所述动静脉血管对中单一血管段的平均图像亮度，并根据所述平均图像亮度由多个所述动静脉血管对中剔除所述不合格动静脉血管对；
其中，基于所述主干血管图像对所述主干血管进行截取得到多个单一血管段，包括：
以所述视盘中心坐标为圆心，在预设半径内以预设步长向外遍历截取所述主干血管得到多个小血管段；
对多个所述小血管段进行凸包检测得到多个光滑血管段；
去除多个所述光滑血管段中大于预设弯曲度阈值的所述光滑血管段得到直线血管段；
将所述直线血管段使用Opencv中矩形检测API进行检测得到血管角度；
依据预设角度区间得到多个所述单一血管段；
其中，将多个所述单一血管段进行管径测量得到各所述单一血管段的管径宽度，并根据各所述管径宽度选取得到多个动静脉血管对包括：
取各所述单一血管段的中线，将所述中线的中点向所述单一血管段的两端延伸预设像素得到中线线段；
计算所述中线线段的两端端点的垂线方程；
将所述垂线方程之间的所述单一血管段的一条轮廓线进行直线拟合得到第一直线；
基于所述第一直线的斜率采用最小二乘法对另一条所述轮廓线进行直线拟合得到第二直线；
计算所述第一直线与第二直线之间的距离得到血管管径；
选择多个所述单一血管段中管径最大的作为静脉；
计算所述静脉到其他单一血管段之间的距离，选取距离所述静脉最近的所述单一血管段作为动脉。
2.根据权利要求1所述的方法，其特征在于，依据所述血管提取图像、所述眼底图像和所述视盘中心坐标进行主干血管的提取，包括：
去除所述血管提取图像中的断开血管得到最大的连通血管；
依据所述连通血管提取出血管骨架；
依据所述血管骨架提取出血管的交叉点并将所述交叉点去除；
依据所述视盘中心坐标和所述眼底图像将所述血管骨架的细小血管段和非主干血管分支去除得到主干血管；
其中，依据所述连通血管提取出血管骨架时，使用Opencv中的骨架提取函数将所述连通血管提取出所述血管骨架。
3.根据权利要求1所述的方法，其特征在于，剔除不合格动静脉血管对，还包括：
获取各所述动静脉血管对中单一血管对中动脉血管和静脉血管之间的夹角，根据所述夹角由多个所述动静脉血管对中剔除所述不合格动静脉血管对；
获取各所述动静脉血管对中单一血管对中动脉血管和静脉血管之间的距离，根据所述距离由多个所述动静脉血管对中剔除所述不合格动静脉血管对。
4.根据权利要求2所述的方法，其特征在于，依据所述血管骨架提取出血管的交叉点并将所述交叉点去除包括：
将所述血管骨架进行二值化得到灰度图像；
以3×3模板遍历所述灰度图像，通过枚举法提取所述灰度图像中的所述交叉点；
以所述交叉点为圆心，将半径为四个像素点内的像素值设置为0。
5.根据权利要求4所述的方法，其特征在于，依据所述视盘中心坐标和所述眼底图像将所述血管骨架的细小血管段和非主干血管分支去除得到主干血管包括：
将所述视盘中心坐标和所述眼底图像的黄斑区连线为正半轴；
保留以所述正半轴的顺时针110°和所述正半轴的逆时针110°的区域；
对所述灰度图像进行细化得到主干血管。
6.一种视网膜血管动静脉区分装置，其特征在于，包括数据获取模块、血管筛选模块和动静脉血管对选取模块；
所述数据获取模块，被配置为获取血管提取图像、眼底图像和视盘中心坐标；其中，所述数据获取模块采用U-net网络获取所述血管提取图像和所述视盘中心坐标；
所述血管筛选模块，被配置为依据所述血管提取图像、所述眼底图像和所述视盘中心坐标进行主干血管的提取，得到主干血管图像，并基于所述主干血管图像对所述主干血管进行截取得到多个单一血管段；
其中，基于所述主干血管图像对所述主干血管进行截取得到多个单一血管段，包括：
以所述视盘中心坐标为圆心，在预设半径内以预设步长向外遍历截取所述主干血管得到多个小血管段；
对多个所述小血管段进行凸包检测得到多个光滑血管段；
去除多个所述光滑血管段中大于预设弯曲度阈值的所述光滑血管段得到直线血管段；
将所述直线血管段使用Opencv中矩形检测API进行检测得到血管角度；
依据预设角度区间得到多个所述单一血管段；
所述动静脉血管对选取模块，被配置为将多个所述单一血管段进行管径测量得到各所述单一血管段的管径宽度，并根据各所述管径宽度选取得到多个动静脉血管对；
其中，将多个所述单一血管段进行管径测量得到各所述单一血管段的管径宽度，并根据各所述管径宽度选取得到多个动静脉血管对包括：
取各所述单一血管段的中线，将所述中线的中点向所述单一血管段的两端延伸预设像素得到中线线段；
计算所述中线线段的两端端点的垂线方程；
将所述垂线方程之间的所述单一血管段的一条轮廓线进行直线拟合得到第一直线；
基于所述第一直线的斜率采用最小二乘法对另一条所述轮廓线进行直线拟合得到第二直线；
计算所述第一直线与第二直线之间的距离得到血管管径；
选择多个所述单一血管段中管径最大的作为静脉；
计算所述静脉到其他单一血管段之间的距离，选取距离所述静脉最近的所述单一血管段作为动脉；
由多个所述动静脉血管对中剔除不合格动静脉血管对，保留合格动静脉血管对的步骤；
其中，剔除不合格动静脉血管对，包括：
获取各所述动静脉血管对中单一血管段的平均图像亮度，并根据所述平均图像亮度由多个所述动静脉血管对中剔除所述不合格动静脉血管对。
7.一种视网膜血管动静脉区分设备，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述可执行指令时实现权利要求1至5中任意一项所述的方法。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010815698.8A CN111681242B (zh) | 2020-08-14 | 2020-08-14 | 视网膜血管动静脉区分方法和装置、设备 |
| KR1020227015077A KR20220076507A (ko) | 2020-08-14 | 2021-08-13 | 망막 혈관 동정맥 구분 방법 및 장치, 기기 |
| JP2022512438A JP7333465B2 (ja) | 2020-08-14 | 2021-08-13 | 網膜血管の動静脈を判別する方法及び装置 |
| PCT/CN2021/112487 WO2022033580A1 (zh) | 2020-08-14 | 2021-08-13 | 视网膜血管动静脉区分方法和装置、设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010815698.8A CN111681242B (zh) | 2020-08-14 | 2020-08-14 | 视网膜血管动静脉区分方法和装置、设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111681242A CN111681242A (zh) | 2020-09-18 |
| CN111681242B true CN111681242B (zh) | 2020-11-17 |
Family
ID=72438772
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010815698.8A Active CN111681242B (zh) | 2020-08-14 | 2020-08-14 | 视网膜血管动静脉区分方法和装置、设备 |
Country Status (4)
| Country | Link |
|---|---|
| JP (1) | JP7333465B2 (zh) |
| KR (1) | KR20220076507A (zh) |
| CN (1) | CN111681242B (zh) |
| WO (1) | WO2022033580A1 (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111681242B (zh) * | 2020-08-14 | 2020-11-17 | 北京至真互联网技术有限公司 | 视网膜血管动静脉区分方法和装置、设备 |
| CN111932535A (zh) * | 2020-09-24 | 2020-11-13 | 北京百度网讯科技有限公司 | 用于处理图像的方法、装置、设备以及存储介质 |
| CN112652011B (zh) * | 2020-12-25 | 2023-04-14 | 北京阅影科技有限公司 | 目标血管的提取方法、提取装置与计算机可读存储介质 |
| CN115969310A (zh) * | 2020-12-28 | 2023-04-18 | 深圳硅基智能科技有限公司 | 高血压性视网膜病变的病变特征的测量系统及测量方法 |
| CN113269737B (zh) * | 2021-05-17 | 2024-03-19 | 北京鹰瞳科技发展股份有限公司 | 一种眼底视网膜动静脉血管直径计算方法及系统 |
| CN113344897B (zh) * | 2021-06-24 | 2022-01-11 | 推想医疗科技股份有限公司 | 肺部图像的管径测量方法及装置、图像处理方法及装置 |
| CN114973207B (zh) * | 2022-08-01 | 2022-10-21 | 成都航空职业技术学院 | 一种基于目标检测的路标识别方法 |
Family Cites Families (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10243924A (ja) * | 1997-03-05 | 1998-09-14 | Nippon Telegr & Teleph Corp <Ntt> | 眼底の動静脈径比の計測方法 |
| US7122007B2 (en) * | 2003-05-12 | 2006-10-17 | Caritas St. Elizabeth Medical Center Of Boston, Inc. | Methods of and systems and devices for assessing intracranial pressure non-invasively |
| JP2007097740A (ja) * | 2005-10-03 | 2007-04-19 | Hitachi Omron Terminal Solutions Corp | 眼底画像診断支援装置 |
| JP2008022928A (ja) * | 2006-07-19 | 2008-02-07 | Gifu Univ | 画像解析装置及び画像解析プログラム |
| US8080593B2 (en) * | 2006-11-29 | 2011-12-20 | University Of Southern California | Reversible thermoresponsive adhesives for implants |
| EP2262410B1 (en) * | 2008-04-08 | 2015-05-27 | National University of Singapore | Retinal image analysis systems and method |
| CN101999885B (zh) * | 2010-12-21 | 2011-12-21 | 中国人民解放军国防科学技术大学 | 一种自动分离动静脉血管的内源光学成像方法 |
| FR2970858B1 (fr) * | 2011-02-01 | 2013-02-08 | Imagine Eyes | Methode et dispositif d'imagerie retinienne a haute resolution |
| US8787638B2 (en) * | 2011-04-07 | 2014-07-22 | The Chinese University Of Hong Kong | Method and device for retinal image analysis |
| JP6215555B2 (ja) * | 2013-03-29 | 2017-10-18 | 株式会社ニデック | 眼底画像処理装置および眼底画像処理プログラム |
| JP6469387B2 (ja) * | 2014-08-26 | 2019-02-13 | 株式会社トプコン | 眼底解析装置 |
| CN108073918B (zh) * | 2018-01-26 | 2022-04-29 | 浙江大学 | 眼底视网膜的血管动静脉交叉压迫特征提取方法 |
| CN108765418A (zh) * | 2018-06-14 | 2018-11-06 | 四川和生视界医药技术开发有限公司 | 视网膜动静脉等效管径比检测方法及检测装置 |
| CN110874597B (zh) * | 2018-08-31 | 2023-03-24 | 福州依影健康科技有限公司 | 一种眼底图像血管特征提取方法、设备、系统和存储介质 |
| CN109166124B (zh) * | 2018-11-20 | 2021-12-14 | 中南大学 | 一种基于连通区域的视网膜血管形态量化方法 |
| CN110956107B (zh) * | 2019-11-21 | 2023-05-30 | 佛山科学技术学院 | 一种基于oct扫描系统的三维血管类型区分方法 |
| CN111000563B (zh) * | 2019-11-22 | 2020-12-11 | 北京理工大学 | 一种视网膜动脉静脉直径比自动测量方法及装置 |
| CN111681242B (zh) * | 2020-08-14 | 2020-11-17 | 北京至真互联网技术有限公司 | 视网膜血管动静脉区分方法和装置、设备 |
-
2020
- 2020-08-14 CN CN202010815698.8A patent/CN111681242B/zh active Active
-
2021
- 2021-08-13 KR KR1020227015077A patent/KR20220076507A/ko unknown
- 2021-08-13 WO PCT/CN2021/112487 patent/WO2022033580A1/zh active Application Filing
- 2021-08-13 JP JP2022512438A patent/JP7333465B2/ja active Active
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022033580A1 (zh) | 2022-02-17 |
| JP2022550669A (ja) | 2022-12-05 |
| CN111681242A (zh) | 2020-09-18 |
| KR20220076507A (ko) | 2022-06-08 |
| JP7333465B2 (ja) | 2023-08-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111681242B (zh) | 视网膜血管动静脉区分方法和装置、设备 | |
| CN111340789A (zh) | 眼底视网膜血管识别及量化方法、装置、设备及存储介质 | |
| SujithKumar et al. | Automatic detection of diabetic retinopathy in non-dilated RGB retinal fundus images | |
| Lupascu et al. | Automated detection of optic disc location in retinal images | |
| CN112716446B (zh) | 高血压性视网膜病变的病变特征的测量方法及测量系统 | |
| CN102314604B (zh) | 图像处理装置和图像处理方法 | |
| CN111932535A (zh) | 用于处理图像的方法、装置、设备以及存储介质 | |
| CN108764342B (zh) | 一种对于眼底图中视盘和视杯的语义分割方法 | |
| CN107292835B (zh) | 一种眼底图像视网膜血管自动矢量化的方法及装置 | |
| CN107564048A (zh) | 基于分叉点特征配准方法 | |
| CN105718919A (zh) | 一种眼底图像视盘定位方法及系统 | |
| Tan et al. | Automatic notch detection in retinal images | |
| CN113951813A (zh) | 视网膜血管分支角度计算方法、装置及电子设备 | |
| CN116309235A (zh) | 一种针对糖尿病预测的眼底图像的处理方法和系统 | |
| CN112381012A (zh) | 眼部图像中目标区域的识别方法、装置及电子设备 | |
| CN116030042B (zh) | 一种针对医生目诊的诊断装置、方法、设备及存储介质 | |
| CN112669273A (zh) | 眼底图像中玻璃膜疣自动分割方法、装置及可读存储介质 | |
| CN115511883B (zh) | 确定视网膜眼底血管的弯曲度的方法、设备和存储介质 | |
| US20210378502A1 (en) | Method for automatic shape quantification of an optic nerve head | |
| CN116452571A (zh) | 一种基于深度神经网络的图像识别方法 | |
| CN114549395A (zh) | 基于视计算的图像特征确定的方法、装置、介质和设备 | |
| CN116012594A (zh) | 眼底图像特征提取方法、装置和诊断系统 | |
| Biswal et al. | Robust segmentation of optic disc and optic cup using statistical Kurtosis test | |
| CN109447995B (zh) | 一种眼前节图像的分割方法及其相关装置 | |
| CN116385812B (zh) | 图像分类方法及装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address |
Address after: Room 707, Unit 1, Building 1, Courtyard 1, Longyu Middle Street, Huilongguan Town, Changping District, Beijing, 100085 Patentee after: Beijing Zhizhen Health Technology Co.,Ltd. Address before: 100085 room 1210, Building 29, yard 9, anningzhuang West Road, Haidian District, Beijing Patentee before: BEIJING ZHIZHEN INTERNET TECHNOLOGY CO.,LTD. |
|
| CP03 | Change of name, title or address |