CN117788473A - 一种基于双眼融合网络预测高血压的方法、系统和设备 - Google Patents
一种基于双眼融合网络预测高血压的方法、系统和设备 Download PDFInfo
- Publication number
- CN117788473A CN117788473A CN202410211417.6A CN202410211417A CN117788473A CN 117788473 A CN117788473 A CN 117788473A CN 202410211417 A CN202410211417 A CN 202410211417A CN 117788473 A CN117788473 A CN 117788473A
- Authority
- CN
- China
- Prior art keywords
- feature
- binocular
- fundus image
- sequence
- attention
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 100
- 238000000034 method Methods 0.000 title claims abstract description 49
- 230000036772 blood pressure Effects 0.000 title claims abstract description 24
- 238000000605 extraction Methods 0.000 claims abstract description 39
- 206010020772 Hypertension Diseases 0.000 claims abstract description 38
- 238000013528 artificial neural network Methods 0.000 claims abstract description 20
- 230000009466 transformation Effects 0.000 claims description 20
- 230000003993 interaction Effects 0.000 claims description 18
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 2
- 230000002452 interceptive effect Effects 0.000 claims 4
- 230000002349 favourable effect Effects 0.000 abstract 1
- 230000003449 preventive effect Effects 0.000 abstract 1
- 201000010099 disease Diseases 0.000 description 6
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 6
- 230000000875 corresponding effect Effects 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000035622 drinking Effects 0.000 description 4
- 230000000391 smoking effect Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000002679 ablation Methods 0.000 description 3
- 238000012512 characterization method Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000012800 visualization Methods 0.000 description 3
- 206010012689 Diabetic retinopathy Diseases 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- VJTZIJOEPIURRT-UHFFFAOYSA-N (2-methylquinolin-8-yl) n-methylcarbamate Chemical compound C1=C(C)N=C2C(OC(=O)NC)=CC=CC2=C1 VJTZIJOEPIURRT-UHFFFAOYSA-N 0.000 description 1
- 206010060965 Arterial stenosis Diseases 0.000 description 1
- 206010008190 Cerebrovascular accident Diseases 0.000 description 1
- 208000006550 Mydriasis Diseases 0.000 description 1
- 201000010183 Papilledema Diseases 0.000 description 1
- 208000006011 Stroke Diseases 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 208000026106 cerebrovascular disease Diseases 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000013399 early diagnosis Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000005802 health problem Effects 0.000 description 1
- 208000010125 myocardial infarction Diseases 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 230000002792 vascular Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Eye Examination Apparatus (AREA)
Abstract
本发明属于智能医疗领域，具体涉及一种基于双眼融合网络预测高血压的方法、系统和设备。方法包括：获取被试左/右眼的眼底图像和右眼的眼底图像；所述左/右眼的眼底图像输入Transformer编码器进行特征提取得到左/右眼底图像特征；将所述左/右眼底图像特征展开成2维左/右眼底特征序列，二者列连接得到双眼特征序列，在所述双眼特征序列上作用Transformer层后得到双眼融合特征序列，所述Transformer层由自注意力层和前馈神经网络组成，计算所述双眼融合特征序列的列均值得到双眼融合特征；基于所述双眼融合特征进行高血压预测。本发明可以预测个体未来是否会新发高血压，有利于指导个体采取预防和干预措施。
Description
技术领域
本发明涉及智能医疗技术领域，更具体地，涉及一种基于双眼融合网络预测高血压的方法、系统、设备和计算机可读存储介质。
背景技术
高血压是一种普遍而严重的健康问题，全球有超过10亿人受到其困扰。它会显著增加心肌梗死、脑血管意外等多种疾病的风险。因此，早期诊断和预防高血压对于保护个体健康至关重要。最近的研究阐明了高血压与眼部表现之间的强相关，包括眼底动脉狭窄、动静脉交叉压迫和视盘水肿。与过去十年间计算机视觉人工智能(AI)的迅猛发展相一致，研究人员已经开创性地运用深度学习算法分析眼底照片，以诊断当前的高血压，并取得了令人瞩目的预测准确性。然而，尽管这些模型能够准确诊断现有的高血压，但它们无法预测未来的风险概率，而这对于积极管理和早期发现至关重要。我们的研究旨在预测未来四年内新发高血压的概率。
预测未来新发高血压面临两个主要挑战：1)眼底图像通常是从左右眼同时捕获的。鉴于每只眼睛独立提供的信息性质，整合来自两只眼睛的数据用于预测是具有挑战性的。2)高血压的发病通常与患者的人口统计学和生活方式因素相关，包括年龄、性别、体重指数(BMI)、吸烟、饮酒等。将这些临床数据纳入图像特征提取以增强预测能力也是具有挑战性的。
发明内容
鉴于上述问题，本发明提供一种基于双眼融合网络预测高血压的方法，利用数据处理和特征提取捕捉时序数据中的信息，并对疾病预测模型的参数提出改进，并进行有效优化，从而构建形成适用于临床的疾病预警模型。
一种基于双眼融合网络预测高血压的方法，所述方法包括：
获取被试左眼的眼底图像和右眼的眼底图像；
所述左眼的眼底图像输入Transformer编码器进行特征提取得到左眼底图像特征，将右眼的眼底图像输入Transformer编码器进行特征提取得到右眼底图像特征；
将所述左眼底图像特征展开成2维左眼底特征序列，将所述右眼底图像特征展开成2维右眼底特征序列，将所述2维左眼底特征序列和2维右眼底特征序列进行列连接得到双眼特征序列，在所述双眼特征序列上作用Transformer层后得到双眼融合特征序列，所述Transformer层由自注意力层和前馈神经网络组成，所述双眼特征序列经过所述自注意力层后得到自注意力增强的双眼特征序列，所述自注意力增强的双眼特征序列经过前馈神经网络得到所述双眼融合特征序列，计算所述双眼融合特征序列的列均值得到双眼融合特征；
基于所述双眼融合特征进行高血压预测。
进一步，所述自注意力层将双眼特征序列通过自注意力增强得到双眼自注意力特征序列，所述双眼自注意力特征序列与所述双眼特征序列相加得到所述注意力增强的双眼特征序列，所述双眼自注意力特征序列是对进行线性变换后乘以权重进行缩放后通过激活函数转换为所述双眼自注意力特征序列，所述权重基于所述双眼特征序列的线性变换乘以双眼特征序列的转置的线性变换和双眼特征序列的维度计算得到。
进一步，所述自注意力层的计算表示如下：
其中，表示注意力增强的双眼特征序列，表示双眼特征序列，SA表示自注
意力增强过程，SA在数学上可表示为
其中，()、()、()表示线性变换层，C表示指定的输出维度，表示双眼
特征序列，表示双眼特征序列的转置。
进一步，所述注意力增强的双眼特征序列输入所述前馈神经网络对得到前馈注意力增强的双眼特征序列， 所述前馈注意力增强的双眼特征序列与所述注意力增强的双眼特征序列求和得到所述双眼融合特征序列。
进一步，所述前馈神经网络的计算用公式表示为：
+
其中，表示注意力增强的双眼特征序列，FFN()表示前馈神经网络，
得到前馈注意力增强的双眼特征序列，表示双眼融合特征序列。
进一步，同时获取被试的临床数据，所述临床数据经过结构化处理得到结构化临床数据，所述结构化临床数据进行特征嵌入得到临床嵌入，所述特征嵌入使所述临床嵌入的维度匹配所述左眼底图像特征和所述右眼底图像特征的维度，所述临床嵌入和所述左眼底图像特征进行特征交互得到左眼交互临床特征，所述左眼交互临床特征和所述左眼底图像特征求和得到增强的左眼底图像特征，所述临床嵌入和所述右眼底图像特征进行特征交互得到左眼交互临床特征，所述右眼交互临床特征和所述右眼底图像特征求和得到增强的右眼底图像特征，所述增强的左眼底图像特征展开得到2维左眼底特征序列，所述增强的右眼底图像特征展开得到2维右眼底特征序列，所述特征交互是对所述临床特征进行线性变换后乘以权重进行缩放后通过转换为概率分布，所述权重值基于所述左或右眼底图像特征的线性变换乘以所述临床特征的转置的线性变换和特征维度计算得到。
进一步，所述Transformer编码器包含S层，S为大于1的自然数，所述左/右眼的眼底图像输入第1层Transformer编码器进行特征提取得到第1左/右眼底图像特征，所述结构化临床数据进行特征嵌入1得到第1临床嵌入，所述特征嵌入1使第1临床嵌入和第1左/右眼底图像特征的维度匹配，所述第1临床嵌入和所述第1左/右眼底图像特征进行特征交互得到第1左/右眼交互临床特征，所述第1左/右眼交互临床特征和所述1左/右眼底图像特征求和得到增强的第1左/右眼底图像特征，第s层Transformer编码器的输入替换为增强的第s-1左/右眼底图像特征，输出第s左/右眼底图像特征，所述结构化临床数据进行特征嵌入s得到第s临床嵌入，所述特征嵌入s使第s临床嵌入和第s左/右眼底图像特征的维度匹配，所述第s临床嵌入和所述第s左/右眼底图像特征进行特征交互得到第s左/右眼交互临床特征，所述第s左/右眼交互临床特征和所述s左/右眼底图像特征求和得到增强的第s左/右眼底图像特征，其中，s=2，…,S，直至第S层输出增强的左/右眼底图像特征，所述增强的左/右眼底图像特征展开得到2维左/右眼底特征序列。
一种基于双眼融合网络预测高血压的系统，包括：
获取单元：用于获取被试左眼的眼底图像和右眼的眼底图像；
特征提取单元：用于所述左眼的眼底图像输入Transformer编码器进行特征提取得到左眼底图像特征，将右眼的眼底图像输入Transformer编码器进行特征提取得到右眼底图像特征；
特征融合单元：用于将所述左眼底图像特征展开成2维左眼底特征序列，将所述右眼底图像特征展开成2维右眼底特征序列，将所述2维左眼底特征序列和2维右眼底特征序列进行列连接得到双眼特征序列，在所述双眼特征序列上作用Transformer层后得到双眼融合特征序列，所述Transformer层由自注意力层和前馈神经网络组成，所述双眼特征序列经过所述自注意力层后得到自注意力增强的双眼特征序列，所述自注意力增强的双眼特征序列经过前馈神经网络得到所述双眼融合特征序列，计算所述双眼融合特征序列的列均值得到双眼融合特征；
预测单元：用于基于所述双眼融合特征进行高血压预测。
一种基于双眼融合网络预测高血压的设备，包括：存储器和处理器；所述存储器用于存储程序指令；所述处理器用于调用程序指令，当程序指令被执行时实现任意一项所述的基于双眼融合网络预测高血压的方法。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现任意一项所述的基于双眼融合网络预测高血压的方法。
本申请的优势：
1、本申请在预测未来新发高血压时融合了双眼的眼底图像特征，并且考虑到病灶只在局部位置上表征，应该对不同位置的特征，赋予不同的关注程度，使用自注意力机制为不同的特征赋予不同的权重，在融合双眼特征时起到侧重性融合的作用；
2、本申请采用多阶段Transformer特征提取网络提取双眼的眼底图像特征；
3、本申请在多阶段Transformer特征提取网络中采用临床信息指导双眼底图像的特征提取，增强了双眼的特征提取。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获取其他的附图。
图1是本发明实施例提供的一种基于双眼融合网络预测高血压的方法的示意流程图；
图2是本发明实施例提供的一种基于双眼融合网络预测高血压的系统的示意流程图；
图3是本发明实施例提供的一种基于双眼融合网络预测高血压的设备的示意框图；
图4是本发明实施例提供的多尺度临床信息指导的双目融合网络(MCBO)的示意图，将左右眼底图像与临床信息整合起来，预测未来四年内新发高血压。MCBO使用共享权重的基于Transformer的编码器从双目图像中提取特征，并通过多尺度临床信息指导网络(MCM)在每个阶段增强特征提取。提取的特征然后由双目融合网络(BFM)融合，并通过全连接(FC)预测器传递，以估计未来的高血压风险。此外，BFM可以通过注意机制生成可视化结果，反映网络对图像的关注程度。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
在本发明的说明书和权利要求书及上述附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如S101、S102等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获取的所有其他实施例，都属于本发明保护的范围。
图1是本发明实施例提供的一种基于双眼融合网络预测高血压的方法的示意流程图，具体地，所述方法包括如下步骤：
S101：获取被试左眼的眼底图像和右眼的眼底图像；
数据收集：这是一项随访研究，基线时间收集了1084名未患有高血压的被试，其中756名四年后仍未发高血压，328名发展为高血压，为了避免网络向多数类预测，对756名四年后未发高血压的患者进行随机部分采样，得到328名患者。最终纳入研究的被试有656名，包括新发高血压和未新发高血压各328名。
确定被试后，每个患者都有详细的左右眼的眼底图像、为期四年的随访记录以及临床数据，包括年龄、性别、体重指数(BMI)、吸烟和饮酒习惯。该数据集以7:1:2的比例随机划分为训练集、验证集和测试集。
其中左右眼底图像是基线时间的被试的眼底图像，眼底图像是由经过统一培训的专业研究人员采用彩色立体眼底照相机（CR6-45NM，佳能，日本），对所有参与2014年现场随访的研究对象进行眼底照相，获得双眼视网膜眼底图像。研究对象双眼各滴入1滴1%托比卡胺散瞳，至瞳孔充分扩大后对两眼分别采集两个视野的图片：以视乳头（糖尿病视网膜病变研究标准视野1）为中心的45°视野和以黄斑中心凹（糖尿病视网膜病变研究标准视野2）为中心的45°视野。
在一个实施例中，所述左/右眼的眼底图像经数据预处理后传入Transformer编码器，所述数据预处理包括下列一种或几种：图像对比度调整、图像旋转、图像翻转、图像缩放。
数据集预处理：对于眼底图像，我们首先应用对比度增强技术，以获得更清晰的视
觉效果。然后将图像调整大小为224×224的分辨率，以匹配基于Transformer的编码器的输
入大小，左右眼的眼底图像分别用表示，其中，3表示RGB格式图片通道数，H
表示图像的高度，W表示图像的宽度，在一个实施例中，H=W=224。在训练过程中，我们通过随
机翻转(50%的概率)和随机旋转(最多30度)来增强图像数据。
另一方面，临床数据经过结构化编码，被映射到它们各自的嵌入中：年龄被分成三个分段(40岁以下；40至59岁；60岁及以上)；性别被分为男性和女性两个类别；体重指数(BMI)被分为六个不同的区间(例如，低于18.5；在18.5和25.0之间；以此类推，最高到40.0以上)；吸烟和饮酒习惯被二值化为存在或不存在。
S102：所述左眼的眼底图像输入Transformer编码器进行特征提取得到左眼底图像特征，将右眼的眼底图像输入Transformer编码器进行特征提取得到右眼底图像特征；
在一个实施例中，所述Transformer编码器的权重是通过含有左/右眼底图像和未来是否发生高血压的数据集训练得到的。
在一个实施例中，基于所述双眼融合特征进行高血压预测的步骤包括：将所述双眼融合特征进行维度转换后输入全连接层，所述全连接层输出被试未来患高血压的可能性。
多阶段Transformer的特征提取
本发明提出的多尺度临床信息指导的双目融合网络(MCBO)的总体框架如图4所示，MCMO主要包括多阶段Transformer特征提取网络和双目融合网络（BFM），其中多阶段Transformer特征提取网络包括Transformer编码器（swin block）和多尺度临床信息指导网络(MCM)。具体实施步骤如下：
我们用表示输入模型的左右眼底图像和临床信息，其
中临床信息纳入年龄、性别、身体质量指数、吸烟习惯和饮酒习惯5个特征。MCBO模型将眼底
图像和临床信息进行紧密融合。
模型采用一个共享权重的S个阶段的基于Transformer的编码器，用于双目图像特
征提取，表示为（Transformer Feature），其中，表示第i个Transformer
编码器的特征提取过程，表示经过全部S个阶段的基于Transformer的编码器后得到的
左/右眼底图像特征。因此，在第个阶段提取的左/右眼底图像特征可以表示为，其中表示经过k个阶段的基于Transformer的编码器后得到的左/
右眼底图像特征。
我们设计的MCBO在上述的共享权重的S个阶段的基于Transformer的编码器中引
入我们设计的多尺度临床信息指导网络(MCM)：为了确保图像特征提取能够与临床数据密
切关联，我们开发了多尺度临床信息指导网络(MCM)。该模块用于在多个尺度上指导特征提
取，并与五个不同的临床信息相交互和融合。在MCM内部，被表示为的临床信息五元组被
转化为一系列的嵌入。这些嵌入被精心设计以匹配每个阶段图像特征的维度属
性。具体引入方式为：在每个阶段的Transformer编码器提取左右眼底图像特征后，通过MCM
来确保左/右眼底图像特征与临床信息的紧密融合，如图4所示。例如，在第阶段，带来
的融合效果可以表示为enhanced feature：,，其中表示MCM指
导的S个阶段的基于Transformer的编码器的第k个Transformer编码器提取到的左/右眼底
特征，角标的“’”表明这是我们设计的MCM指导的第k阶段的Transformer编码器提取到的特
征，这个特征是经过MCM融合了临床信息从而增强的左/右眼底图像特征。在第阶段，嵌入位于的域中，与该阶段的图像特征维度相匹配。受到交叉注意力原理的启发，
MCM在第阶段的眼底图像特征和相应的临床嵌入之间进行相互作用，数学上表达为：
这里，()、()、()表示线性变换层。随后，MCM带来的增强效果被捕捉为，其中表示第阶段的眼底图像特征和相应的临床嵌入之间的互信
息。
最终，在第S阶段输出最终阶段的特征提取结果：和，分别表示左/
右眼底图像经过MCM指导的S个阶段的Transformer特征提取网络后提取到的图像特征，其
中用和分别表示经过MCM指导的S个阶段的Transformer特征提
取网络输出的左/右眼眼底特征，其中C表示swin transformer模型提取的特征维度，这里
为768；H’和W'表示swin transformer提取特征后输出的特征图的长度和宽度，这里H’对应
7，W’同为7。
S103：将所述左眼底图像特征展开成2维左眼底特征序列，将所述右眼底图像特征展开成2维右眼底特征序列，将所述2维左眼底特征序列和2维右眼底特征序列进行列连接得到双眼特征序列，在所述双眼特征序列上作用Transformer层后得到双眼融合特征序列，所述Transformer层由自注意力层和前馈神经网络组成，所述双眼特征序列经过所述自注意力层后得到自注意力增强的双眼特征序列，所述自注意力增强的双眼特征序列经过前馈神经网络得到所述双眼融合特征序列，计算所述双眼融合特征序列的列均值得到双眼融合特征；
双目融合网络(BFM)
为了有效融合经过多阶段Transformer特征提取网络提取出的来自两只眼睛的特
征，分别用和表示（ENF表示enhanced feature），我们开发了双
目融合网络(BFM)，其中C表示swin transformer模型提取的特征维度，这里为768；H’和W'
表示swin transformer提取特征后输出的特征图的长度和宽度，这里H’对应7，W’同为7。我
们认为，多阶段Transformer特征提取网络提取出的特征和，
可以看作眼底图像上不同位置的特征序列。考虑到病灶只在局部位置上表征，应该对不同
位置的特征，赋予不同的关注程度。因此，我们结合自注意力机制，既自适应地增强病灶处
特征的重要性，又融合左右眼的特征。
随后，双目融合网络(BFM)将编码器终端中提取的双目特征（表示为,）进行融合，表示为(both eyes feature, BF),
融合后得到的。
具体做法如下：首先，将左右眼特征图,展开，得到，表示展开得到的向量，即所述的特征序列；这里，
表示多阶段Transformer特征提取网络输出的特征维度，而表示单眼图像特
征展开后的特征序列长度。然后，将左/右眼的特征序列连接到一起，得到BENF={,{A,B}表示将行维度相同的两个矩阵的进行列的前后拼接，BENF，（Both-eyes Enhanced Feature：BENF），该特征包含了左眼和右眼不同位置的特
征。为了确保对这些位置的特征进行赋予不同重要程度的融合，我们在BENF上作用
Transformer层，其由自注意力层(SA)和前馈神经网络组成，其中前馈神经网络部分包含两
个线性层（全连接层）和一个激活函数组成，具体公式如下：
+
此外，可以将BENF进行归一化后再通过前馈神经网络（FFN），公式表示为：
+
其中，BN为BatchNorm归一化层,SAF（self-attention feature）表示经过自注意力层后的特征，LF（linear feature）表示线性层输出的特征。
对于自注意力层（SA），其在数学上可表示为
其中，()、()、()表示不同的线性变换层。自注意力机制可以为不同的特征
赋予不同的权重，因此可以起到侧重性融合的作用。最后，通过计算中特征序列的平均
表示来得到融合的双目特征，表示为(final feature,FF):。
为便于本技术领域的人员更好理解，表1汇总了上述的具体实施例中用到特征描述及其对应的表达式。
表1. 具体实施方式的特征描述及对应的表达式
S104：基于所述双眼融合特征进行高血压预测。
FC层
最后，一个双层全连接(FC)预测器：()，用于估计即将发生的新发高血压的概
率。这产生一个二进制输出：
，
其中0表示随后四年内没有高血压的发生，而=1表示有高血压的发生。因
此，这是一个二元分类任务，使用经典的交叉熵损失进行优化：
，
其中是真实标签。
实现细节：在我们的实现中，我们采用Swin Transformer作为基于Transformer的
编码器。该编码器具有四个阶段()，使用ImageNet的预训练参数进行初始化。在这个
配置中，特征维度设置为768，维度和都是7，最终形成一个序列长度。
在交叉注意力和自注意力机制中，我们使用一个注意头和一个注意层。我们训练所提出的
模型和所有比较的基准模型共计200个epochs，每个批次包含16个样本。为了优化收敛性和
防止过拟合，我们采用了提前停止策略。我们使用AdamW算法作为优化器，学习率为。所
有代码都是使用PyTorch(版本1.12.1)实现的，我们的计算环境由一块带有16G内存的
NVIDIA V100 GPU提供支持。
实验结果
实验结果：本申请提出的MCBO框架与七个已建立的基准模型的比较性能详见表2，表格中粗体表示最佳表现，而下划线表示次佳表现。显然，MCBO在每个评估指标上都优于所有基准模型。具体而言，与次优模型相比，我们的方法在AUC上提高了6.7%，在ACC上提高了6.9%，在SEN上提高了5.1%，在SPE上提高了5.5%。总之，这些实证结果明确地证明了我们提出的方法优于现有的最先进模型。我们将这归因于BFM的全局融合能力以及MCM中图像和临床信息之间的相互作用。
表2. 我们提出的MCBO模型与七个基准模型的性能评估
消融实验
在我们的消融研究中，我们通过评估融合模块在不同融合策略下的性能来考察其重要性。这些策略包括求和、串联、早期融合和特征注意力。具体而言，“特征注意力”是指在骨干网络进行池化操作后，使用自注意力块来合并左右眼的特征。相反，“早期融合”涉及将左右眼底图像通道在输入阶段进行串联，然后由模型进行处理。
如表2所示，我们提出的BFM明显优于其他融合策略。具体而言，与次优的融合策略“特征注意力”相比，BFM将AUC提高了3.6%，ACC提高了1.6%。有趣的是，一些融合策略，如“求和”和“串联”，并没有超过单个眼底图像(左眼)的性能。这表明一个眼睛的图像可能固有地具有更多与疾病相关的特征。一些融合方法可能会在融合过程中无意中稀释这些显著特征，导致性能下降。这凸显了我们提出的BFM融合策略的功效和适用性。
此外，表3显示融合MCM提高了AUC 3.2%和ACC 4.6%。这凸显了临床信息在预测未来高血压发生的关键作用。将我们的两个新模块结合起来，AUC提高了5.2%，ACC提高了7.0%，进一步证明了我们提出的方法的优越性。
表3. 消融研究不同的融合策略和本申请提出的模块
可视化分析
为了说明我们提出的BFM在识别与疾病相关的关键特征和结合左右眼的特征方面的有效性，我们进行了可视化分析。该过程涉及从BFM生成的自注意力图中提取与“类记号”相关的行。这特定的行表示左右眼底图像中不同区域的特征对类记号的影响水平，作为它们在分类任务中重要性的代理。我们调整提取的行的形状，使其与两只眼睛的7×7大小的特征图对齐，并将其放大到原始输入的分辨率以进行可视化。
然后，将这一行注意力分数表示为热图，覆盖在两只眼睛的原始眼底图像上。在所给出的图中，可以看出活动增强的区域主要位于视盘周围，血管密集的区域。从临床角度来看，这些观察结果非常重要，因为它们与理解眼底图像血管结构的微小但关键的可能与高血压有关的变化相关。因此，这些可视化结果证实了BFM能够捕捉与疾病诊断相关的重要特征。
模型比较：鉴于目前关于预测未来新发高血压的研究有限，我们设计了几个预测模型作为比较基准。对于这些基准模型，我们使用了一系列经典的架构，包括ResNet18、ResNet50、mobilenetv3、mobilenetv2、DenseNet、ViT和Swin Transformer。这些架构用于双目图像特征提取，然后将这些特征连接起来，通过类似于MCBO的预测器进行预测。所有选择的架构都使用在ImageNet上预训练的参数进行初始化。
为了确保严格和全面的评估，我们采用了四个关键指标：曲线下面积(AUC)、准确率(ACC)、敏感度(SEN)和特异度(SPE)。每个指标进行了500轮的自助法抽样，结果以均值和标准差的形式呈现。
图2是本发明实施例提供的一种基于双眼融合网络预测高血压的系统的示意流程图。
一种基于双眼融合网络预测高血压的系统，包括：
获取单元201：用于获取被试左眼底图像和右眼底图像；
特征提取单元202：用于所述左眼底图像输入Transformer编码器进行特征提取得到左眼图像特征，将右眼底图像输入Transformer编码器进行特征提取得到右眼图像特征；
特征融合单元203：将所述左眼图像特征展开成2维左眼特征序列，将所述右眼图像特征展开成2维右眼特征序列，将所述左眼特征序列和右眼特征序列进行列连接得到双眼特征序列，在所述双眼特征序列上应用自注意力后得到双眼融合特征序列，再通过线性层变换得到双眼融合特征；
预测单元204：用于基于所述双眼融合特征进行高血压预测。
图3是本发明实施例提供的一种基于双眼融合网络预测高血压的设备的示意框图。
一种基于双眼融合网络预测高血压的设备，包括：存储器和处理器；
所述存储器用于存储程序指令；
所述处理器用于调用程序指令，当程序指令被执行时实现上述的基于双眼融合网络预测高血压的方法的步骤。
一种计算机可读存储介质，所述计算机可读取存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述的基于双眼融合网络预测高血压的方法步骤。
本验证实施例的验证结果表明，为适应症分配固有权重相对于默认设置来说可以适度改善本方法的性能。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器（ROM，Read Only Memory）、随机存取存储器（RAM，RandomAccess Memory）、磁盘或光盘等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上对本发明所提供的一种计算机设备进行了详细介绍，对于本领域的一般技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种基于双眼融合网络预测高血压的方法，其特征在于，所述方法包括：
获取被试左眼的眼底图像和右眼的眼底图像；
所述左眼的眼底图像输入Transformer编码器进行特征提取得到左眼底图像特征，将右眼的眼底图像输入Transformer编码器进行特征提取得到右眼底图像特征；
将所述左眼底图像特征展开成2维左眼底特征序列，将所述右眼底图像特征展开成2维右眼底特征序列，将所述2维左眼底特征序列和2维右眼底特征序列进行列连接得到双眼特征序列，在所述双眼特征序列上作用Transformer层后得到双眼融合特征序列，所述Transformer层由自注意力层和前馈神经网络组成，所述双眼特征序列经过所述自注意力层后得到自注意力增强的双眼特征序列，所述自注意力增强的双眼特征序列经过前馈神经网络得到所述双眼融合特征序列，计算所述双眼融合特征序列的列均值得到双眼融合特征；
基于所述双眼融合特征进行高血压预测。
2.根据权利要求1所述的基于双眼融合网络预测高血压的方法，其特征在于，所述自注意力层将双眼特征序列通过自注意力增强得到双眼自注意力特征序列，所述双眼自注意力特征序列与所述双眼特征序列相加得到所述注意力增强的双眼特征序列，所述双眼自注意力特征序列是对进行线性变换后乘以权重进行缩放后通过激活函数转换为所述双眼自注意力特征序列，所述权重基于所述双眼特征序列的线性变换乘以双眼特征序列的转置的线性变换和双眼特征序列的维度计算得到。
3.根据权利要求2所述的基于双眼融合网络预测高血压的方法，其特征在于，所述自注意力层的计算表示如下：
其中，表示注意力增强的双眼特征序列，/>表示双眼特征序列，SA表示自注意力增强过程，SA在数学上可表示为
其中，()、/>()、/>()表示线性变换层，C表示指定的输出维度，/>表示双眼特征序列，/>表示双眼特征序列的转置。
4.根据权利要求2所述的基于双眼融合网络预测高血压的方法，其特征在于，所述注意力增强的双眼特征序列输入所述前馈神经网络对得到前馈注意力增强的双眼特征序列，所述前馈注意力增强的双眼特征序列与所述注意力增强的双眼特征序列求和得到所述双眼融合特征序列。
5.根据权利要求5所述的基于双眼融合网络预测高血压的方法，其特征在于，所述前馈神经网络的计算用公式表示为：
+ />
其中，表示注意力增强的双眼特征序列，FFN()表示前馈神经网络，/>得到前馈注意力增强的双眼特征序列，/>表示双眼融合特征序列。
6.根据权利要求1所述的基于双眼融合网络预测高血压的方法，其特征在于，同时获取被试的临床数据，所述临床数据经过结构化处理得到结构化临床数据，所述结构化临床数据进行特征嵌入得到临床嵌入，所述特征嵌入使所述临床嵌入的维度匹配所述左眼底图像特征和所述右眼底图像特征的维度，所述临床嵌入和所述左眼底图像特征进行特征交互得到左眼交互临床特征，所述左眼交互临床特征和所述左眼底图像特征求和得到增强的左眼底图像特征，所述临床嵌入和所述右眼底图像特征进行特征交互得到左眼交互临床特征，所述右眼交互临床特征和所述右眼底图像特征求和得到增强的右眼底图像特征，所述增强的左眼底图像特征展开得到2维左眼底特征序列，所述增强的右眼底图像特征展开得到2维右眼底特征序列，所述特征交互是对所述临床特征进行线性变换后乘以权重进行缩放后通过转换为概率分布，所述权重值基于所述左或右眼底图像特征的线性变换乘以所述临床特征的转置的线性变换和特征维度计算得到。
7.根据权利要求6所述的基于双眼融合网络预测高血压的方法，其特征在于，所述Transformer编码器包含S层，S为大于1的自然数，所述左/右眼的眼底图像输入第1层Transformer编码器进行特征提取得到第1左/右眼底图像特征，所述结构化临床数据进行特征嵌入1得到第1临床嵌入，所述特征嵌入1使第1临床嵌入和第1左/右眼底图像特征的维度匹配，所述第1临床嵌入和所述第1左/右眼底图像特征进行特征交互得到第1左/右眼交互临床特征，所述第1左/右眼交互临床特征和所述1左/右眼底图像特征求和得到增强的第1左/右眼底图像特征，第s层Transformer编码器的输入替换为增强的第s-1左/右眼底图像特征，输出第s左/右眼底图像特征，所述结构化临床数据进行特征嵌入s得到第s临床嵌入，所述特征嵌入s使第s临床嵌入和第s左/右眼底图像特征的维度匹配，所述第s临床嵌入和所述第s左/右眼底图像特征进行特征交互得到第s左/右眼交互临床特征，所述第s左/右眼交互临床特征和所述s左/右眼底图像特征求和得到增强的第s左/右眼底图像特征，其中，s=2，…,S，直至第S层输出增强的左/右眼底图像特征，所述增强的左/右眼底图像特征展开得到2维左/右眼底特征序列。
8.一种基于双眼融合网络预测高血压的系统，其特征在于，包括：
获取单元：用于获取被试左眼的眼底图像和右眼的眼底图像；
特征提取单元：用于所述左眼的眼底图像输入Transformer编码器进行特征提取得到左眼底图像特征，将右眼的眼底图像输入Transformer编码器进行特征提取得到右眼底图像特征；
特征融合单元：用于将所述左眼底图像特征展开成2维左眼底特征序列，将所述右眼底图像特征展开成2维右眼底特征序列，将所述2维左眼底特征序列和2维右眼底特征序列进行列连接得到双眼特征序列，在所述双眼特征序列上作用Transformer层后得到双眼融合特征序列，所述Transformer层由自注意力层和前馈神经网络组成，所述双眼特征序列经过所述自注意力层后得到自注意力增强的双眼特征序列，所述自注意力增强的双眼特征序列经过前馈神经网络得到所述双眼融合特征序列，计算所述双眼融合特征序列的列均值得到双眼融合特征；
预测单元：用于基于所述双眼融合特征进行高血压预测。
9.一种基于双眼融合网络预测高血压的设备，其特征在于，包括：存储器和处理器；所述存储器用于存储程序指令；所述处理器用于调用程序指令，当程序指令被执行时实现权利要求1-7任意一项所述的基于双眼融合网络预测高血压的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-7任意一项所述的基于双眼融合网络预测高血压的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410211417.6A CN117788473B (zh) | 2024-02-27 | 2024-02-27 | 一种基于双眼融合网络预测高血压的方法、系统和设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410211417.6A CN117788473B (zh) | 2024-02-27 | 2024-02-27 | 一种基于双眼融合网络预测高血压的方法、系统和设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117788473A true CN117788473A (zh) | 2024-03-29 |
| CN117788473B CN117788473B (zh) | 2024-05-14 |
Family
ID=90380152
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410211417.6A Active CN117788473B (zh) | 2024-02-27 | 2024-02-27 | 一种基于双眼融合网络预测高血压的方法、系统和设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117788473B (zh) |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112233789A (zh) * | 2020-10-12 | 2021-01-15 | 辽宁工程技术大学 | 一种区域特征融合的高血压视网膜病变分类方法 |
| CN113177916A (zh) * | 2021-04-21 | 2021-07-27 | 清华大学深圳国际研究生院 | 一种基于少样本学习方法的轻微高血压眼底辨别模型 |
| CN113689954A (zh) * | 2021-08-24 | 2021-11-23 | 平安科技（深圳）有限公司 | 高血压风险预测方法、装置、设备及介质 |
| WO2022175945A1 (en) * | 2021-02-16 | 2022-08-25 | Spring Vision Ltd. | System and method for monitoring optic disc conditions |
| CN115205300A (zh) * | 2022-09-19 | 2022-10-18 | 华东交通大学 | 基于空洞卷积和语义融合的眼底血管图像分割方法与系统 |
| CN115578783A (zh) * | 2022-11-09 | 2023-01-06 | 北京鹰瞳科技发展股份有限公司 | 基于眼部图像进行眼部疾病识别的装置、方法及相关产品 |
| CN115841462A (zh) * | 2022-11-23 | 2023-03-24 | 沈阳尚仕科技有限公司 | 一种立体视觉感知和Transformer融合的无参考立体图像质量评价方法 |
| WO2023050720A1 (zh) * | 2021-09-28 | 2023-04-06 | 深圳市中兴微电子技术有限公司 | 图像处理方法、图像处理装置、模型训练方法 |
| CN115951775A (zh) * | 2022-12-16 | 2023-04-11 | 中国地质大学（武汉） | 基于mlp的三维视线估计方法、装置、设备及存储介质 |
| CN116168008A (zh) * | 2023-03-10 | 2023-05-26 | 辽宁大学 | 一种基于双目组合和多尺度Transformer的无参考立体图像质量评价方法 |
| CN116563681A (zh) * | 2023-05-09 | 2023-08-08 | 安徽理工大学 | 一种基于注意力交叉和双路特征融合网络的注视估计检测算法 |
| CN117152042A (zh) * | 2022-05-17 | 2023-12-01 | 北京航空航天大学 | 基于注意力机制的眼底彩照处理装置 |
-
2024
- 2024-02-27 CN CN202410211417.6A patent/CN117788473B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112233789A (zh) * | 2020-10-12 | 2021-01-15 | 辽宁工程技术大学 | 一种区域特征融合的高血压视网膜病变分类方法 |
| WO2022175945A1 (en) * | 2021-02-16 | 2022-08-25 | Spring Vision Ltd. | System and method for monitoring optic disc conditions |
| CN113177916A (zh) * | 2021-04-21 | 2021-07-27 | 清华大学深圳国际研究生院 | 一种基于少样本学习方法的轻微高血压眼底辨别模型 |
| CN113689954A (zh) * | 2021-08-24 | 2021-11-23 | 平安科技（深圳）有限公司 | 高血压风险预测方法、装置、设备及介质 |
| WO2023050720A1 (zh) * | 2021-09-28 | 2023-04-06 | 深圳市中兴微电子技术有限公司 | 图像处理方法、图像处理装置、模型训练方法 |
| CN117152042A (zh) * | 2022-05-17 | 2023-12-01 | 北京航空航天大学 | 基于注意力机制的眼底彩照处理装置 |
| CN115205300A (zh) * | 2022-09-19 | 2022-10-18 | 华东交通大学 | 基于空洞卷积和语义融合的眼底血管图像分割方法与系统 |
| CN115578783A (zh) * | 2022-11-09 | 2023-01-06 | 北京鹰瞳科技发展股份有限公司 | 基于眼部图像进行眼部疾病识别的装置、方法及相关产品 |
| CN115841462A (zh) * | 2022-11-23 | 2023-03-24 | 沈阳尚仕科技有限公司 | 一种立体视觉感知和Transformer融合的无参考立体图像质量评价方法 |
| CN115951775A (zh) * | 2022-12-16 | 2023-04-11 | 中国地质大学（武汉） | 基于mlp的三维视线估计方法、装置、设备及存储介质 |
| CN116168008A (zh) * | 2023-03-10 | 2023-05-26 | 辽宁大学 | 一种基于双目组合和多尺度Transformer的无参考立体图像质量评价方法 |
| CN116563681A (zh) * | 2023-05-09 | 2023-08-08 | 安徽理工大学 | 一种基于注意力交叉和双路特征融合网络的注视估计检测算法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117788473B (zh) | 2024-05-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Gour et al. | Multi-class multi-label ophthalmological disease detection using transfer learning based convolutional neural network | |
| Bi et al. | Early Alzheimer’s disease diagnosis based on EEG spectral images using deep learning | |
| Kwasigroch et al. | Deep CNN based decision support system for detection and assessing the stage of diabetic retinopathy | |
| Gupta et al. | Deep learning models-based CT-scan image classification for automated screening of COVID-19 | |
| Phong et al. | Brain hemorrhage diagnosis by using deep learning | |
| Islam et al. | Identifying diabetic retinopathy from oct images using deep transfer learning with artificial neural networks | |
| CN112101424B (zh) | 一种视网膜病变识别模型的生成方法、识别装置及设备 | |
| CN112017185A (zh) | 病灶分割方法、装置及存储介质 | |
| KR20190087681A (ko) | 자궁경부암에 대한 피검체의 발병 여부를 판정하는 방법 | |
| Bassi et al. | Deep learning diagnosis of pigmented skin lesions | |
| CN113012163A (zh) | 一种基于多尺度注意力网络的视网膜血管分割方法、设备及存储介质 | |
| Chen et al. | Toward reliable signals decoding for electroencephalogram: A benchmark study to EEGNeX | |
| Al-Fahdawi et al. | Fundus-deepnet: Multi-label deep learning classification system for enhanced detection of multiple ocular diseases through data fusion of fundus images | |
| Yilmaz et al. | Comparison of two different deep learning architectures on breast cancer | |
| Pious et al. | A review on early diagnosis of skin cancer detection using deep learning techniques | |
| Shenkut et al. | Fundus GAN-GAN-based fundus image synthesis for training retinal image classifiers | |
| KR20220106026A (ko) | 질병 진단 장치 및 방법 | |
| CN117788473B (zh) | 一种基于双眼融合网络预测高血压的方法、系统和设备 | |
| Alam et al. | Benchmarking Deep Learning Frameworks for Automated Diagnosis of Ocular Toxoplasmosis: A Comprehensive Approach to Classification and Segmentation | |
| Jiang et al. | Fusion of medical imaging and electronic health records with attention and multi-head machanisms | |
| Nguyen et al. | HS‐UNET‐ID: An approach for human skin classification integrating between UNET and improved dense convolutional network | |
| Caulfeild et al. | Stroke prediction | |
| Lo et al. | AML-Net: A Preliminary Screening Model for Mild Hypertension | |
| hamzah Abed et al. | Diabetic retinopathy diagnosis based on convolutional neural network | |
| Hatode et al. | Evolution and Testimony of Deep Learning Algorithm for Diabetic Retinopathy Detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |