CN111616800B - 眼科手术导航系统 - Google Patents
眼科手术导航系统 Download PDFInfo
- Publication number
- CN111616800B CN111616800B CN202010516777.9A CN202010516777A CN111616800B CN 111616800 B CN111616800 B CN 111616800B CN 202010516777 A CN202010516777 A CN 202010516777A CN 111616800 B CN111616800 B CN 111616800B
- Authority
- CN
- China
- Prior art keywords
- tracking
- module
- eye
- area
- surgery
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/361—Image-producing devices, e.g. surgical cameras
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
- A61F9/00—Methods or devices for treatment of the eyes; Devices for putting-in contact lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
- A61F9/007—Methods or devices for eye surgery
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/18—Arrangements with more than one light path, e.g. for comparing two specimens
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/361—Optical details, e.g. image relay to the camera or image sensor
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2065—Tracking using image or pattern recognition
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Surgery (AREA)
- Life Sciences & Earth Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Veterinary Medicine (AREA)
- Optics & Photonics (AREA)
- Heart & Thoracic Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Multimedia (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biomedical Technology (AREA)
- General Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Ophthalmology & Optometry (AREA)
- Pathology (AREA)
- Gynecology & Obstetrics (AREA)
- Radiology & Medical Imaging (AREA)
- Robotics (AREA)
- Vascular Medicine (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Eye Examination Apparatus (AREA)
Abstract
本发明提供了一种眼科手术导航系统,该眼科手术导航系统通过与手术显微镜的集成为术中医生提供眼睛位置、旋转信息,辅助医生进行手术,该系统基于人工智能图像处理算法实时获取手术视频,基于若干目标区域或特征提取对当前帧图像进行追踪,根据参考图像修正累计误差,最终确定眼睛缩放、位移、旋转、非刚性形变等信息,并将眼睛位置信息投影于手术显微镜中,实现对手术的实时、持续、自动、精准导航,避免了人工标记,实现个性化眼科手术,提升手术质量,改善患者术后视力恢复情况。
Description
技术领域
本发明涉及人工智能图像处理领域,具体涉及眼科手术导航系统。
背景技术
眼科手术是治疗眼科疾病的常用方法。例如,白内障手术通过切口、撕囊、超声乳化等步骤去除病眼内的白内障并完成人工晶体的置换。屈光白内障手术通过置换散光型人工晶体在去除白内障的同时矫正角膜散光,提高术后裸眼视力。散光型人工晶体具有方向性,特别是多焦点人工晶体,需要在手术中确保晶体的居中以及散光轴与术前计算方向一致。然而,病人眼睛生物参数(包括散光)的测量一般在手术前完成,在病人由坐立到侧卧过程中,以及手术过程中眼睛会发生显著的运动,使术者难以准确对齐人工晶体的中心和旋转角度。据统计,患者在坐位、卧位眼球平均旋转角度为4度以上。有30%以上的病人在白内障手术后存在1度以上的未校正屈光度,而每1度旋转角度的差异会导致3.3%的散光矫正误差。此外,切口、撕囊等位置由于眼睛在手术中的运动也难以准确定位。
以白内障手术为例,传统上,医生通过手动标记的方法在术前确定病眼的切口、撕囊位置、晶体植入轴等信息。然而,手工标记受主观因素影响较大,费力费时,对眼睛有创伤,易造成病人眼睛不适,且散瞳后容易被手术中的冲洗液洗掉,从而丢失标记信息。手术导航系统通过图像处理算法,通过视频中眼睛若干特征的提取,将手术所需的位置信息投影于手术显微镜的视野当中为术者提供实时导航信息,避免了手动标记,从而可以显著提高白内障手术的质量和效率,使医生和患者受益。对于其他眼科手术,包括但不限于准分子激光原地角膜消除术(LASIK)、全飞秒激光近视眼手术、全飞秒白内障手术、角膜移植手术、角膜缘松弛切口手术(limbal relaxing incision)等,但凡需要在术中获取眼睛某个特征的位置信息,均需要应用上述技术。
发明专利WO2006/044056A2公布了一种数字眼科手术工作台,主要包括一个摄像头,一个显示器以及一个处理器,用于将眼睛特征模板融合于摄像头拍摄的眼睛图像上。该发明通过设计光照方法避免眼睛图像中出现的强反射以及过饱和现象,通过图像后处理调节亮度、对比度、分辨率、放大倍数等方式优化图像显示、通过选取不同波长光照射眼睛避免术者暴露在激光照射下,并提供了测量、显示术中测量距离的方法。尽管该发明提到了通过将眼睛中心、旋转等信息以模板方式融合于图像中辅助手术,但却未包含如何实时获得并追踪眼球中心、旋转位置等信息的方法。
发明专利US2004/0102799A1、US2011/0157553A1公布了一个手术显微镜系统,包括光学设计、眼睛追踪器以及模式生成器,用于指导眼科手术。其中,眼睛追踪器通过阈值、滤波等简单的图像处理方法提取并追踪眼睛特征。然而,这些简单的图像处理方法需要设置若干阈值等经验参数,而这些参数一旦固定后难以适应手术过程中所有复杂情况下眼睛的特征追踪,如冲洗液冲刷、光照不均匀、手术器械干扰等,也难以适用于具有不同颜色、不同特征的病眼,因此在实际使用过程中存在追踪目标丢失、不准确或者抖动明显等缺陷。
发明专利US2009/0048608A1公布了一种用于辅助屈光性人工晶体植入的方法。该发明主要利用巩膜血管以及眼球表面地形图,计算并提供屈光性人工晶体的设计参数以及手术切口等信息。这些信息可通过透明接触镜或集成于镜头拆卸控制台等方式指导术者进行手术。然而,该方法并未包含具体图像处理算法用于术中眼球的特征提取,也无法完成动态眼球运动过程中位置的实时追踪。
发明专利US2010/0208199A1公布了一种对齐人工晶体的方法。该发明通过人工或自动检测散瞳前的瞳孔中心,并显示辐射状直线用于指导散瞳后人工晶体的放置。然而,该发明并未公布瞳孔中心检测的细节,也未包含术中自动计算眼球旋转角度的方法。
发明专利US2007/0055222A1公布了一个虹膜检测和追踪系统用于辅助眼睛屈光治疗。该发明主要依赖于虹膜特征或激光标记配准屈光检测系统如角膜地形图、波阵面像差采集的图像,以及指导随后的屈光性治疗。
文献《Computing Cyclotorsion in Refractive Cataract Surgery》IEEETRANSACTIONS ON BIOMEDICAL ENGINEERING,2016提出了一种配准白内障手术前坐姿图像和术中仰姿图像的方法。该方法主要利用虹膜的特征,采取了传统图像处理技术如基于Garbor滤波方法。然而,该方法配准一幅图像需要2s,无法用于术中动态眼球实时追踪。
发明内容
本发明的目的是提出一种基于人工智能图像处理方法的眼科手术导航系统,该系统可以实时追踪眼球的位置、旋转角度等信息,并将这些信息集成于眼科手术显微镜中,为眼科手术提供精准的导航。
为实现上述发明目的,本发明公开了一种基于人工智能图像处理方法的眼科手术导航系统,实时获取手术视频图像,基于若干目标区域如富含毛细血管的区域,或基于特征提取如血管分岔点等对当前帧图像进行追踪,并根据参考图像修正累计误差,最终确定眼睛缩放、位移、旋转、非刚性形变等位置信息,并将眼睛位置信息投影于手术显微镜中,实现对手术的实时、持续、自动、精准导航,提升手术质量,改善患者术后视力恢复情况。
本发明提出的一种眼科手术导航系统,其特征在于,该眼科手术导航系统通过与手术显微镜的集成为术中医生提供眼睛位置、旋转信息,辅助医生进行手术;
其中,手术显微镜主要包括目镜系统、分光镜系统和物镜系统;物镜系统将光束聚焦于病患眼睛实现清晰成像;分光镜系统将光束分为两路或多路,其中一路通向目镜,另一路通向手术导航系统摄录像系统,这个通路是集成手术导航系统于手术显微镜中的通路;目镜系统将像平面投射于医生眼睛中,使显微镜图像以及手术导航系统生成的投影图案可被医生直接观察;眼科手术导航系统具体通过分光镜系统与手术显微镜进行集成,并将手术导航信息投影于目镜系统中,使得术者可以实时观察到手术需要的导航图像;
手术导航系统主要包括摄录像系统、计算机、算法模块、投影模块,显示模块以及照明模块;摄录像系统实时采集由分光镜系统通路获得的术中眼睛视频,实时采集的术中眼睛视频中的视频图像和术前采集的参考图像储存于计算机内,作为人工智能算法模块的输入;算法模块实时计算眼睛的位移、旋转、缩放以及其他非刚性形变的实时位置信息,并将所述实时位置信息传输于投影模块;投影模块根据算法模块中的算法确定的眼睛实时位置信息,结合不同眼科手术的需求,生成特定的用于辅助医生进行手术的图案,并通过显示模块投影于手术显微镜的目镜系统视野中,或将手术导航图像投影于外接显示器上;照明模块根据手术中病患眼睛的个体特征差异设置不同亮度、不同波长、不同光照条件的照明光,使得实时采集的术中眼睛视频中的视频图像易于被算法模块进行处理;
手术导航系统中,算法模块是核心,其利用前一帧视频图像特征区域实现当前帧视频图像对应特征区域目标的追踪;这里的特征区域是指前一帧视频图像选取的目标追踪区域,追踪目标即为当前帧视频图像中对应该特征区域的目标位置;所述算法模块中的算法首先读取实时采集的术中眼睛视频中的当前帧视频图像,并根据实时采集的术中眼睛视频中的前一帧视频图像中的特征区域,通过追踪模块进行眼睛特征的检测和追踪,得到眼睛实时位置信息;下一步是对眼睛实时位置信息采用追踪结果评估模块进行评估,如果达到预设准确度和精度要求,则进入后续投影模块,使得术者通过手术显微镜实时观察到当前帧视频图像及其手术导航信息;
如果未达到要求或累计追踪帧数超过预设阈值,则通过与参考图像的配准修正累计误差后得到当前帧视频图像的眼睛实时位置信息,其中,参考图像可在术前散瞳前采集;预设阈值单位为帧数,可根据实际手术视频测试选取最佳值;如果结果评估进一步失败,则隐藏手术导航信息,避免对术者产生干扰,同时根据手术中视频的追踪结果可以在某一时刻自动重新选取眼睛的目标追踪区域,并应用于实时采集的术中眼睛视频中的下一帧视频图像的追踪。
本发明通过采用人工智能图像处理方法,实现眼球追踪,避免了人工标记;并结合手术显微镜系统,为术者提供术中实时、持续、自动、无标记精准导航,实现个性化眼科手术,提升手术质量,改善患者术后视力恢复情况。
附图说明
图1为本发明的眼科手术导航系统示意图
图2为一种基于检测和追踪的手术导航算法实现模块
图3为一种具体的检测和追踪术中眼睛算法的实现方式
图4为一种在巩膜区域选取视频中眼睛若干特征区域进行追踪的方法
图5为在极坐标系下选取若干巩膜特征区域进行追踪的方法
图6为另一种在虹膜区域选取视频中眼睛若干特征区域进行追踪的方法
图7为一种配准散瞳前后图像的方法
图8为一种基于特征点提取和匹配的眼睛追踪方法
图9为一种基于深度卷积神经网络的眼睛追踪方法
图10为一种显示术中导航信息的方法
具体实施方式
下面将结合附图对本发明实施例中的技术方案进行清楚、完整地描述。
如图1所示,本发明的眼科手术导航系统2通过与手术显微镜20的集成为术中医生提供眼睛位置、旋转等信息,辅助医生进行手术。其中,手术显微镜20是目前临床使用的标准显微镜系统,主要包括目镜系统21,分光镜系统22和物镜系统23。物镜系统23将光束聚焦于病患眼睛24实现清晰成像。分光镜系统22将光束分为两路或多路,其中一路通向目镜,另一路通向手术导航系统摄录像系统3,这个通路是本发明集成手术导航系统于手术显微镜中的通路。目镜系统21将像平面投射于医生眼睛中,使显微镜图像以及手术导航系统2生成的投影图案可被医生直接观察。眼科手术导航系统2具体通过分光镜系统22与手术显微镜20进行集成,并将手术导航信息投影于目镜系统21中,使得术者可以实时观察到手术需要的导航图像1。
手术导航系统2主要包括摄录像系统3,计算机6,算法模块7,投影模块8,显示模块9以及照明模块10。摄录像系统3实时采集由分光镜系统22通路获得的术中眼睛视频4。实时采集的术中眼睛视频4中的视频图像和术前采集的参考图像5储存于计算机6内,作为人工智能算法模块7的输入。算法模块7实时计算眼睛的位移、旋转、缩放以及其他非刚性形变信息,并将信息传输于投影模块8。为了满足实时手术导航的条件,算法模块7的计算时间小于50ms,即为了满足视频的实时处理和分析要求,每帧视频图像处理时间小于50ms。投影模块8根据算法模块7中的算法确定的眼睛实时位置信息,结合不同眼科手术的需求,生成特定的用于辅助医生进行手术的图案,并通过显示模块9投影于手术显微镜20的目镜系统21视野中,或将手术导航图像投影于外接显示器上。照明模块10可根据手术中病患眼睛24的个体特征差异设置不同亮度、不同波长、不同光照条件的照明光,使得实时采集的术中眼睛视频4中的视频图像易于被算法模块7进行处理。
手术导航系统2中,算法模块7是核心,如图2所示。利用前一帧视频图像特征区域实现当前帧视频图像对应特征区域目标的追踪。这里的特征区域是指前一帧选取的目标追踪区域,一般为富含毛细血管的巩膜区域(图4中有详细介绍),追踪目标即为当前帧中对应该特征区域的目标位置。算法模块7中的算法首先读取实时采集的术中眼睛视频4中的当前帧视频图像12,并根据实时采集的术中眼睛视频4中的前一帧视频图像中的特征区域,通过追踪模块30进行眼睛特征的检测和追踪,得到眼睛实时位置信息50。下一步是对追踪结果(即眼睛实时位置信息50)采用追踪结果评估模块进行评估31,如果达到预设准确度和精度要求,则进入后续投影模块8。如果未达到要求或累计追踪帧数超过预设阈值T,则通过与参考图像5的配准(35)和修正(32)累计误差后得到当前帧视频图像12的眼睛位置信息,其中,参考图像5可在术前散瞳前采集。预设阈值T单位为帧数,可根据实际手术视频测试选取最佳值。如果结果评估进一步失败,则隐藏导航信息(34),避免对术者产生干扰。同时根据手术中视频的追踪结果可以在某一时刻自动重新选取眼睛的目标追踪区域并应用于实时采集的术中眼睛视频4中的下一帧视频图像的追踪。
本发明基于人工智能图像处理算法,实时获取手术视频中眼睛位置信息,并将眼睛位置信息投影于手术显微镜视野中,为医生精准手术提供导航信息。具体实现方法为:
术前采集患者眼睛预设参考图像并完成术中需要的生物参数测量。
术中实时采集手术中眼睛视频图像,通过实时追踪眼睛视频图像中的眼睛目标区域特征,实时计算眼睛当前位置信息和与上一时刻的位置变化,其中,眼睛目标区域如富含毛细血管的区域,或基于特征提取如血管分岔点等;手术导航的信息通过特定设计的人工智能图像处理方法实现眼睛位置的实时追踪,并通过与预设参考图像的配准修正累计误差。对实时追踪结果进行评估,根据手术需要,将眼睛特定位置如中心以及旋转信息等生成特定图案投影于手术显微镜视野中,为术者提供手术导航。
其中,人工智能图像处理方法的一种实现方式是通过虹膜检测确定眼球中心;在巩膜或虹膜选取若干特征明显且分布较均匀的区域,对各区域进行分别追踪,通过各区域旋转、位移的分量确定眼睛整体的旋转角度和形变。
人工智能图像处理方法的另一种实现方式是通过离线数据训练深度卷积神经网络进行相关性学习,该卷积神经网络可采用孪生神经网络结构如文献(Li B,Wu W,Wang Q,etal.SiamRPN++:Evolution of Siamese Visual Tracking with Very Deep Networks,CVPR 2019)所述,或基于以上网络的变形。无论采用何种结构,网络主干包含若干卷积层、池化层等。术中将前一帧视频图像包含区域特征的目标位置和当前帧视频图像对应区域特征的候选区域整体输入该深度卷积神经网络,通过若干卷积层、池化层等运算,提取深度抽象特征并对两帧视频图像对应区域特征进行多尺度融合和相关性判别,对候选区域进行分类和坐标回归,判断眼球的旋转和位移。
优选的,一种眼睛特征的检测、追踪方法如图3所示。首先,该方法通过眼球边界分割模块41对当前帧图像12检测眼球边界,即通过虹膜边界或角膜缘的检测确定眼球中心。优选的,一种眼球边界分割的方法是通过全卷积深度卷积神经网络,如U-Net(O.Ronneberger,P.Fischer,and T.Brox,"U-Net:Convolutional Networks forBiomedical Image Segmentati on,"in Medical Image Computing and Computer-Assisted Intervention(2015),pp.234-241.)获取虹膜和瞳孔区域,并对获取到的虹膜和瞳孔区域进行椭圆拟合得到虹膜边界91,进而确定眼球中心44。根据眼球中心44在前一帧图像11和当前帧图像12中的位置变化,可以确定眼球的平移信息48;由于瞳孔92大小可能由于手术散瞳要求以及光照条件发生变化,检测虹膜边界或角膜缘可以获得更为一致的眼球大小和形状,而由此确定的眼球中心位置也更为准确。另外,由前后帧视频图像中虹膜边界的大小可以计算视野的缩放因子。其次,该方法根据前一帧视频图像11获得的若干目标追踪区域40对当前帧视频图像12对应的候选区域通过目标追踪模块45进行追踪,并进一步确定旋转47、非刚性形变49等眼睛位置信息。如果发生检测失败等原因需要重新进行目标追踪区域选取33,则通过眼球边界分割41模块获取的虹膜边界91辅助提取巩膜区域94或虹膜区域93进行目标追踪区域选取。优选的,一种目标追踪区域重选取的方法是在巩膜区域94进行血管检测42,选择血管密度较高的区域为目标追踪区域,进一步用于下一帧视频图像的追踪。目标追踪区域由若干矩形区域组成,这些目标追踪区域可从巩膜区域94选取,也可从虹膜区域93选取,或者从角膜缘边界选取,或者同时从以上区域选取。目标追踪区域的选择方式为自动,目标追踪区域的个数大于或等于1。
优选的,一种血管检测42的方法是通过Hessian矩阵特征值的分析,判断血管像素与周围区域像素颜色、亮度的梯度关系确定血管位置。另一种血管检测42的方法是通过设计匹配滤波器,对血管区域进行多角度卷积,提取卷积响应最强角度的位置作为血管区域。另一种血管检测42的方法是基于全卷积深度学习神经网络,通过训练数据进行血管分割端到端的训练,从而对当前帧视频图像中巩膜区域血管进行直接提取。
优选的,一种目标追踪45的方法是基于相关性分析,第一种相关性分析方法是对模板区域(即前一帧视频图像获得的目标追踪区域40)与目标区域(当前帧候选区域)的像素、灰度、彩色值进行相关性运算。相关性运算可在空间域完成,也可通过傅里叶变换转换到频域实现。转换到频域实现的一个好处是卷积在频域可通过乘积等效实现,且可受益于快速傅里叶变换的速度优势完成不同域间信息的转换,因此速度更快,有利于满足术中导航实时性要求。另一种相关性分析的方法是基于模板区域与目标区域提取的灰度、梯度、形状等特征。这些特征可经过传统的特征提取器进行提取,如SURF(Speeded Up RobustFeatures),HO G(histogram of oriented features)算子等,也可通过深度卷积神经网络提取。另外,相关性分析也可基于像素值和目标区域提取的特征的结合。
优选的,另外一种目标追踪45的方法是基于深度卷积神经网络。通过离线数据训练深度卷积神经网络,实现相关性学习。术中导航时,将模板区域与目标区域输入卷积神经网络,经过N层卷积层、池化层等的操作,对多尺度特征进行信息融合和相关性判别,实现目标的追踪。其中N大于3。
如图4所示,一种追踪区域重选取模块33的实现方法是在眼睛巩膜区域选取M个小矩形区域101-108作为追踪的目标,通过前一帧视频图像11和当前帧视频图像12对应目标追踪区域的匹配和追踪,实现眼睛旋转和非刚性形变的确定。优选的,目标追踪区域的一种选取方法是均匀覆盖巩膜各角度区域,即目标区域的选取方式为沿巩膜角度方向均匀分布。目标追踪区域的另一种选取方法是通过血管检测模块42,按照血管密度高低对所有区域进行排序,选取血管密度高的M个区域进行追踪。此外,目标追踪区域的选择也可协同考虑均匀分布以及较高血管密度的要求。尽管图4显示了M=8个矩形区域,但M可取1或1以上的任何值。一般来说,目标追踪区域选取的越多,眼睛非刚性形变计算也越准确,但计算时间也会相应变长。因此,目标追踪区域的多少是准确率和实时性要求取舍的折衷。优选的,M值可取4-8之间。
如图5所示,另外一种追踪区域选取/重选取,以及目标追踪的方法是将原始眼睛图像以眼球中心点44为中心变换到极坐标下,在极坐标下的巩膜区域进行目标区域的选取。相比直角坐标(原始图像),极坐标的优势在于原始直角坐标下的旋转分量转化为了平移分量,从而更易于设计追踪算法完成目标的追踪。
如图6所示,另外一种追踪区域的选取方式是在虹膜区域内选取均匀分布或血管密度较高的若干区域,血管密度较高的区域通过血管检测实现。由于不同个体虹膜的特征都不一样,虹膜区域的特征还可作为术中个体身份识别和验证的标准。与巩膜目标区域选取类似,虹膜目标区域的选取也可在极坐标系下完成。
如图7所示,参考图像5的采集一般在术前进行,可通过专门的生物参数测量仪或其他成像技术在病人坐立时采集。一般来说,参考图像采集时病人的瞳孔并未经过散瞳;而在手术过程中很可能因手术需要被散瞳。因此,瞳孔92的大小在参考图像与术中视频图像中可能存在显著差异。然而,巩膜或虹膜追踪区域并不受瞳孔大小的影响。因此,参考图像5和当前帧视频图像12的配准35可通过这些区域的特征提取和匹配完成。追踪可采用同样的眼睛追踪模块30。这些区域既可用于配准参考图像5和当前帧视频图像12,也可用于配准前一帧视频图像11和当前帧视频图像12。
如图8所示,另外一种眼睛追踪模块30的实现方式是基于特征提取与特征匹配。在眼球边界分割41的基础上,对虹膜和巩膜区域若干特征点进行提取。优选的,一种特征点提取模块51实现的方法是通过血管检测模块42,提取前一帧图像11和当前帧图像12血管分岔点作为特征点。通过眼球边界分割模块41进行眼球中心定位44。术中导航时,通过前一帧视频图像和当前帧视频图像或参考图像特征点的匹配52,结合眼球中心的定位44,完成眼睛缩放46、旋转47、平移48、非刚性形变49的确定,最后将眼睛位置信息输入后续的投影模块8。
如图9所示,优选的,另一种眼睛追踪模块30的实现方式是通过端到端的深度卷积神经网络。深度卷积神经网络通过离线数据训练进行相关性学习。优选的,离线数据的一种选取方式是医学影像数据,特别是眼睛手术视频数据,经过人工标记或计算机辅助标记后,形成训练数据。离线数据的另一种选取方式是运用自然图像数据完成相关性学习。自然图像的优势在于可通过网络获取,数量更大,但劣势在于与医学影像差异较大。
术中导航时,将前一帧视频图像11的模板区域输入深度卷积神经网络61,当前帧视频图像12的目标区域输入深度卷积神经网络62。一般来说,当前帧视频图像的目标区域相比模板区域较大,包含了目标存在可能的所有位置。尽管深度卷积神经网络61和62有多种实现方式,但至少包含N大于3层卷积层。特别的,无论深度卷积神经网络结构采取何种实现方式,深度卷积神经网络61和62的结构都保持相同,唯一的例外是深度卷积神经网络62中可包含一个额外的旋转和缩放模块63,用于计算眼睛的旋转和缩放。此单独的旋转和缩放模块63也可仅存在于深度卷积神经网络61结构内。深度卷积神经网络61和62中间层的特征可进行多处融合,即通过深度卷积神经网络提取的当前帧视频图像和前一帧视频图像的特征信息可在深度卷积神经网络内部任一深度融合。基于融合的特征65,深度卷积神经网络通过匹配/分类(66)输出判断当前候选区域与目标区域的相关或匹配程度,同时通过回归(67)分析确定目标的最佳位置,进而确定眼睛的缩放46、旋转47、平移48、非刚性形变49等位置信息。基于深度卷积网络提取并融合的特征,顺序或同时输出目标区域的匹配结果,以及目标区域的精确坐标。眼睛的位置信息变化包括缩放、旋转、平移、非刚性形变等。
如图10所示,由眼球追踪模块30确定的眼睛位置信息可通过多种方式投影于术中视频图像上。优选的,一种方式是由投影模块8生成不同的图案,标记眼球中心80、参考图像轴向位置81、当前帧眼睛的旋转位置82。具体图案大小、形状、颜色可包含多种个性化设计。优选的,在白内障手术过程中,81也可用于标记术前通过生物测量计算的人工晶体的散光轴。另外,投影模块8还可根据手术需要标记额外的导航信息。例如,白内障手术时,导航系统可提供切口位置83、环形撕囊位置84便于指导手术操作。另一个例子是眼科手术导航系统可标记角膜曲率最高的位置85,用于角膜手术的辅助。即投影于手术显微镜的导航信息包括眼球中心、旋转角度、人工晶体的散光角度、手术操作切口等位置信息。
以上所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
Claims (7)
1.一种眼科手术导航系统,其特征在于,该眼科手术导航系统(2)通过与手术显微镜(20)的集成为术中医生提供眼睛位置、旋转信息,辅助医生进行手术;
其中,手术显微镜(20)主要包括目镜系统(21)、分光镜系统(22)和物镜系统(23);物镜系统(23)将光束聚焦于病患眼睛(24)实现清晰成像;分光镜系统(22)将光束分为两路或多路,其中一路通向目镜,另一路通向手术导航系统摄录像系统(3),这个通路是集成手术导航系统于手术显微镜中的通路;目镜系统(21)将像平面投射于医生眼睛中,使显微镜图像以及手术导航系统(2)生成的投影图案能够被医生直接观察;眼科手术导航系统(2)具体通过分光镜系统(22)与手术显微镜(20)进行集成,并将手术导航信息投影于目镜系统(21)中,使得术者能够实时观察到手术需要的导航图像(1);
手术导航系统(2)主要包括摄录像系统(3)、计算机(6)、算法模块(7)、投影模块(8),显示模块(9)以及照明模块(10);摄录像系统(3)实时采集由分光镜系统(22)通路获得的术中眼睛视频(4),实时采集的术中眼睛视频(4)中的视频图像和术前采集的参考图像(5)储存于计算机(6)内,作为人工智能算法模块(7)的输入;算法模块(7)实时计算眼睛的位移、旋转、缩放以及其他非刚性形变的实时位置信息,并将所述实时位置信息传输于投影模块(8);为了满足实时手术导航的条件,算法模块(7)的计算时间小于50ms,即为了满足视频的实时处理和分析要求,每帧视频图像处理时间小于50ms;投影模块(8)根据算法模块(7)中的算法确定的眼睛实时位置信息,结合不同眼科手术的需求,生成用于辅助医生进行手术的图案,并通过显示模块(9)投影于手术显微镜(20)的目镜系统(21)视野中,或将手术导航图像投影于外接显示器上;照明模块(10)根据手术中病患眼睛(24)的个体特征差异设置不同亮度、不同波长、不同光照条件的照明光,使得实时采集的术中眼睛视频(4)中的视频图像易于被算法模块(7)进行处理;
手术导航系统(2)中,算法模块(7)是核心,其利用前一帧视频图像特征区域实现当前帧视频图像对应特征区域目标的追踪;这里的特征区域是指前一帧视频图像选取的目标追踪区域,追踪目标即为当前帧视频图像中对应该特征区域的目标位置;所述算法模块(7)中的算法首先读取实时采集的术中眼睛视频(4)中的当前帧视频图像(12),并根据实时采集的术中眼睛视频(4)中的前一帧视频图像中的特征区域,通过追踪模块(30)进行眼睛特征的检测和追踪,得到眼睛实时位置信息(50);下一步是对眼睛实时位置信息(50)采用追踪结果评估模块进行评估(31),如果达到预设准确度和精度要求,则进入后续投影模块(8),使得术者通过手术显微镜(20)实时观察到当前帧视频图像(12)及其手术导航信息;
如果未达到要求或累计追踪帧数超过预设阈值T,则通过与参考图像(5)的配准修正累计误差后得到当前帧视频图像(12)的眼睛实时位置信息(50),其中,参考图像(5)能够在术前散瞳前采集;如果结果评估进一步失败,则隐藏导航信息(34),避免对术者产生干扰,同时根据手术中视频的追踪结果在某一时刻通过追踪区域重选取模块(33)自动重新选取眼睛的目标追踪区域,并应用于实时采集的术中眼睛视频(4)中的下一帧视频图像的追踪;
其中,所述追踪模块(30)进行眼睛特征的检测和追踪方法具体为:通过眼球边界分割模块(41)对当前帧视频图像(12)检测眼球边界,即通过虹膜边界或角膜缘的检测确定眼球中心(44),根据眼球中心(44)在前一帧视频图像(11)和当前帧视频图像(12)中的位置变化,能够确定眼球的平移信息(48);另外,由前后帧视频图像中虹膜边界的大小计算视野的缩放因子;其次,根据前一帧视频图像(11)获得的若干目标追踪区域(40)对当前帧视频图像(12)对应的候选区域通过目标追踪模块(45)进行追踪,并进一步确定旋转(47)、非刚性形变(49)的眼睛位置信息;如果发生检测失败,需要重新通过追踪区域重选取模块(33)进行目标追踪区域选取,则通过眼球边界分割(41)模块获取的虹膜边界(91)辅助提取巩膜区域(94)或虹膜区域(93)进行目标追踪区域选取;其中,一种目标追踪区域重选取的方法是在巩膜区域(94)进行血管检测(42),选择血管密度高的区域为目标追踪区域,进一步用于下一帧视频图像的追踪,目标追踪区域由若干矩形区域组成,这些目标追踪区域从巩膜区域(94)选取,或者从虹膜区域(93)选取,或者从角膜缘边界选取,或者同时从以上区域选取,目标追踪区域的选择方式为自动,目标追踪区域的个数大于或等于1;
所述追踪区域重选取模块(33)的一种实现方法是在眼睛巩膜区域选取M=8个小矩形区域(101)-(108)作为追踪的目标,通过前一帧视频图像(11)和当前帧视频图像(12)对应目标追踪区域的匹配和追踪,实现眼睛旋转和非刚性形变的确定,目标追踪区域的一种选取方法是均匀覆盖巩膜各角度区域,即目标区域的选取方式为沿巩膜角度方向均匀分布;目标追踪区域的另一种选取方法是通过血管检测模块(42),按照血管密度高低对所有区域进行排序,选取血管密度高的M个区域进行追踪;所述追踪区域重选取模块(33)的另一种实现方法是将直角坐标下的原始眼睛图像以眼球中心点(44)为中心变换到极坐标下,在极坐标下的巩膜区域进行目标区域的选取,相比直角坐标下的原始图像,极坐标的优势在于原始直角坐标下的旋转分量转化为了平移分量,更易于设计追踪算法完成目标的追踪;
所述追踪区域重选取模块(33)的第三种实现方法是在虹膜区域内选取均匀分布或血管密度高的若干区域,血管密度高的区域通过血管检测实现,虹膜目标区域的选取在极坐标系下完成。
2.根据权利要求1所述的眼科手术导航系统,其特征在于,所述血管检测(42)的一种方法是通过Hessian矩阵特征值的分析,判断血管像素与周围区域像素颜色、亮度的梯度关系确定血管位置;第二种血管检测(42)的方法是通过设计匹配滤波器,对血管区域进行多角度卷积,提取卷积响应最强角度的位置作为血管区域;第三种血管检测(42)的方法是基于全卷积深度学习神经网络,通过训练数据进行血管分割端到端的训练,从而对当前帧视频图像中巩膜区域血管进行直接提取。
3.根据权利要求2所述的眼科手术导航系统,其特征在于,所述目标追踪模块(45)进行追踪一种是基于相关性分析的,第一种相关性分析的方法是对模板区域,即前一帧视频图像获得的目标追踪区域(40)与目标区域,即当前帧视频图像数的候选区域的像素、灰度、彩色值进行相关性运算,相关性运算在空间域完成,或通过傅里叶变换转换到频域实现;第二种相关性分析的方法是基于模板区域与目标区域提取的灰度、梯度、形状特征,这些特征经过传统的特征提取器进行提取,或通过深度卷积神经网络提取;第三种相关性分析的方法基于像素值和目标区域提取的特征的结合实现;
另外一种所述目标追踪模块(45)进行追踪的方法是基于深度卷积神经网络,通过离线数据训练深度卷积神经网络,实现相关性学习,术中导航时,将模板区域与目标区域输入卷积神经网络,经过N层卷积层、池化层的操作,对多尺度特征进行信息融合和相关性判别,实现目标的追踪,其中N大于3。
4.根据权利要求3所述的眼科手术导航系统,其特征在于,所述参考图像(5)的采集在术前进行,通过生物参数测量仪或其他成像技术在病人坐立时采集,参考图像(5)采集时病人的瞳孔并未经过散瞳;而在手术过程中因手术需要被散瞳,因此瞳孔(92)的大小在参考图像(5)与术中视频图像中存在显著差异,然而,巩膜或虹膜追踪区域并不受瞳孔大小的影响,因而参考图像(5)和当前帧视频图像(12)的配准(35)通过这些追踪区域的特征提取和匹配完成,追踪采用所述追踪模块(30),这些追踪区域既用于配准参考图像(5)和当前帧视频图像(12),也用于配准前一帧视频图像(11)和当前帧视频图像(12)。
5.根据权利要求4所述的眼科手术导航系统,其特征在于,所述追踪模块(30)的另外一种实现方式是基于特征提取与特征匹配,在眼球边界分割(41)的基础上,对虹膜和巩膜区域若干特征点进行提取;一种特征点提取模块(51)实现的方法是通过血管检测模块(42),提取前一帧视频图像(11)和当前帧视频图像(12)血管分岔点作为特征点,通过眼球边界分割模块(41)进行眼球中心定位(44);术中导航时,通过前一帧视频图像(11)和当前帧视频图像(12)或参考图像(5)特征点的匹配(52),结合眼球中心的定位(44),完成眼睛缩放(46)、旋转(47)、平移(48)、非刚性形变(49)的确定,最后将眼睛位置信息输入后续的投影模块(8);
第三种追踪模块(30)的实现方式是通过端到端的深度卷积神经网络,所述深度卷积神经网络通过离线数据训练进行相关性学习,所述离线数据的一种选取方式是医学影像数据,经过人工标记或计算机辅助标记后,形成训练数据;所述离线数据的另一种选取方式是运用自然图像数据完成相关性学习。
6.根据权利要求5所述的眼科手术导航系统,其特征在于,所述追踪模块(30)确定的眼睛位置信息通过多种方式投影于术中视频图像上:一种方式是由投影模块(8)生成不同的图案,标记眼球中心(80)、参考图像轴向位置(81)、当前帧眼睛的旋转位置(82);眼科手术导航系统(2)标记角膜曲率最高的位置(85),用于角膜手术的辅助,即投影于手术显微镜的导航信息包括眼球中心、旋转角度、人工晶体的散光角度、手术操作切口的位置信息。
7.根据权利要求6所述的眼科手术导航系统,其特征在于,所述特征区域为富含毛细血管的巩膜区域。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010516777.9A CN111616800B (zh) | 2020-06-09 | 2020-06-09 | 眼科手术导航系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010516777.9A CN111616800B (zh) | 2020-06-09 | 2020-06-09 | 眼科手术导航系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111616800A CN111616800A (zh) | 2020-09-04 |
CN111616800B true CN111616800B (zh) | 2023-06-09 |
Family
ID=72267558
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010516777.9A Active CN111616800B (zh) | 2020-06-09 | 2020-06-09 | 眼科手术导航系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111616800B (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112465785B (zh) * | 2020-11-30 | 2024-05-31 | 深圳大学 | 角膜动态参数提取方法及系统 |
CN112957005A (zh) * | 2021-02-01 | 2021-06-15 | 山西省眼科医院(山西省红十字防盲流动眼科医院、山西省眼科研究所) | 眼底造影图像无灌注区自动识别及激光光凝区域推荐算法 |
CN114903634A (zh) * | 2021-02-10 | 2022-08-16 | 苏州速迈医学科技股份有限公司 | 一种手术显微镜诊疗系统 |
DE102021109945B4 (de) * | 2021-04-20 | 2022-11-24 | Carl Zeiss Meditec Ag | Ki-basierte videoanalyse der kataraktchirurgie zur dynamischen anomalieerkennung und korrektur |
CN113786239B (zh) * | 2021-08-26 | 2023-08-01 | 哈尔滨工业大学(深圳) | 胃部消化道下手术器械追踪和实时预警的方法和系统 |
CN114041875B (zh) * | 2021-11-24 | 2023-07-18 | 电子科技大学 | 一种一体式手术定位导航系统 |
CN114931436B (zh) * | 2022-07-27 | 2022-11-15 | 中国科学院宁波材料技术与工程研究所 | 一种白内障手术导航系统 |
CN116681690A (zh) * | 2023-06-29 | 2023-09-01 | 业桓科技(成都)有限公司 | 眼球追踪方法、装置、计算机设备和存储介质 |
CN117653463B (zh) * | 2023-12-27 | 2024-08-09 | 上海交通大学医学院附属新华医院 | 用于眼科白内障手术的显微镜增强现实引导系统及方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2000021432A1 (en) * | 1998-10-15 | 2000-04-20 | Ophthalmic Imaging Systems, Inc. | Methods and apparatus for digital ocular imaging |
CN103793045A (zh) * | 2012-10-31 | 2014-05-14 | 原相科技股份有限公司 | 瞳孔追踪装置 |
CN107296650A (zh) * | 2017-06-01 | 2017-10-27 | 西安电子科技大学 | 基于虚拟现实和增强现实的智能手术辅助系统 |
CN108154778A (zh) * | 2017-12-28 | 2018-06-12 | 深圳科创广泰技术有限公司 | 基于运动捕捉和混合现实的眼科手术培训系统及方法 |
CN109567938A (zh) * | 2018-11-20 | 2019-04-05 | 苏州康捷医疗股份有限公司 | 一种白内障手术导航系统 |
CN109643582A (zh) * | 2016-08-24 | 2019-04-16 | 诺华股份有限公司 | 用于在眼科手术期间辅助医师的预测装置 |
CN110441901A (zh) * | 2019-08-14 | 2019-11-12 | 东北大学 | 一种可实时追踪注视位置的光学显微镜系统及方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9226798B2 (en) * | 2008-10-10 | 2016-01-05 | Truevision Systems, Inc. | Real-time surgical reference indicium apparatus and methods for surgical applications |
US10073515B2 (en) * | 2013-09-18 | 2018-09-11 | Nanophthalmos, Llc | Surgical navigation system and method |
DE102014106993A1 (de) * | 2014-05-19 | 2015-11-19 | Chronos Vision Gmbh | Verfahren und Vorrichtung zur Bestimmung der Ausrichtung des Auges bei Augenoperationen |
US20190069957A1 (en) * | 2017-09-06 | 2019-03-07 | Verily Life Sciences Llc | Surgical recognition system |
US10568765B2 (en) * | 2017-10-17 | 2020-02-25 | Amo Development, Llc | Ophthalmic docking system with 3-dimensional automatic positioning using magnetic sensing array |
-
2020
- 2020-06-09 CN CN202010516777.9A patent/CN111616800B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2000021432A1 (en) * | 1998-10-15 | 2000-04-20 | Ophthalmic Imaging Systems, Inc. | Methods and apparatus for digital ocular imaging |
CN103793045A (zh) * | 2012-10-31 | 2014-05-14 | 原相科技股份有限公司 | 瞳孔追踪装置 |
CN109643582A (zh) * | 2016-08-24 | 2019-04-16 | 诺华股份有限公司 | 用于在眼科手术期间辅助医师的预测装置 |
CN107296650A (zh) * | 2017-06-01 | 2017-10-27 | 西安电子科技大学 | 基于虚拟现实和增强现实的智能手术辅助系统 |
CN108154778A (zh) * | 2017-12-28 | 2018-06-12 | 深圳科创广泰技术有限公司 | 基于运动捕捉和混合现实的眼科手术培训系统及方法 |
CN109567938A (zh) * | 2018-11-20 | 2019-04-05 | 苏州康捷医疗股份有限公司 | 一种白内障手术导航系统 |
CN110441901A (zh) * | 2019-08-14 | 2019-11-12 | 东北大学 | 一种可实时追踪注视位置的光学显微镜系统及方法 |
Non-Patent Citations (2)
Title |
---|
全球导航卫星系统辅助与增强定位技术研究;张光华;《中国博士学位论文全文数据库 信息科技辑》;20140115(第1期);全文 * |
眼科手术导航的OCT图像畸变矫正;陈聪,杨帆等;《光学精密工程》;20200115;第28卷(第1期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN111616800A (zh) | 2020-09-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111616800B (zh) | 眼科手术导航系统 | |
EP2477587B1 (en) | Registration of corneal flap with ophthalmic measurement and/or treatment data for lasik and other procedures | |
EP2903497B1 (en) | Electronic eye marking/registration | |
RU2489121C2 (ru) | Выравнивание торических линз с использованием предоперационных изображений | |
US8201943B2 (en) | Adaptive optics line scanning ophthalmoscope | |
JP4256342B2 (ja) | 眼の第1画像と眼の第2画像とを重ね合わせるシステム | |
KR101073754B1 (ko) | 안구의 데이터를 얻고, 안구를 정렬하고 추적하기 위한시스템 및 방법 | |
JP2004534569A (ja) | 虹彩パターンの認識および整列 | |
WO2003053228A2 (en) | Method and apparatus for eye registration | |
WO2001078584A2 (en) | Eye registration and astigmatism alignment control systems and method | |
US20120249955A1 (en) | Retro-illumination and eye front surface feature registration for corneal topography and ocular wavefront system | |
EP3448229A1 (en) | Detachable miniature microscope mounted keratometer for cataract surgery | |
WO2018178269A1 (en) | Systems and methods for characterizing refraction with ophthalmic imaging systems | |
JP6940349B2 (ja) | 眼科装置 | |
Xin et al. | Optical coherence tomography-based deep learning algorithm for quantification of the location of the intraocular lens | |
Zhai et al. | Computer-aided intraoperative toric intraocular lens positioning and alignment during cataract surgery | |
CN113012151B (zh) | 用于ss-oct手术导航系统的oct图像矫正方法及系统 | |
Behshad et al. | Toric intraocular lens alignment: manual versus automated alignment techniques for toric IOLs | |
JP2022104239A (ja) | 眼科情報処理装置、眼科装置、眼科情報処理方法、及びプログラム | |
US20230115056A1 (en) | Ophthalmic apparatus, method of controlling the same, and recording medium | |
Goud | Anterior Segment of Eye: Imaging and Image Analysis |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |