CN114052911B - 一种近红外荧光术中导航系统、方法及可存储介质 - Google Patents

一种近红外荧光术中导航系统、方法及可存储介质 Download PDF

Info

Publication number
CN114052911B
CN114052911B CN202111459405.8A CN202111459405A CN114052911B CN 114052911 B CN114052911 B CN 114052911B CN 202111459405 A CN202111459405 A CN 202111459405A CN 114052911 B CN114052911 B CN 114052911B
Authority
CN
China
Prior art keywords
excitation light
fluorescent
signal
module
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111459405.8A
Other languages
English (en)
Other versions
CN114052911A (zh
Inventor
索永宽
段爽
刘弘光
程震
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Liaoning Beijing Medical Technology Co ltd
Original Assignee
Liaoning Beijing Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Liaoning Beijing Medical Technology Co ltd filed Critical Liaoning Beijing Medical Technology Co ltd
Priority to CN202111459405.8A priority Critical patent/CN114052911B/zh
Publication of CN114052911A publication Critical patent/CN114052911A/zh
Application granted granted Critical
Publication of CN114052911B publication Critical patent/CN114052911B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2055Optical tracking systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2065Tracking using image or pattern recognition

Abstract

本发明公开了一种近红外荧光术中导航系统、方法及可存储介质,涉及荧光成像技术领域,该系统包括一体化成像模块、激光器调节模块和图像处理模块;一体化成像模块向目标组织发射激发光,并将获取的荧光信号及目标组织对激发光的漫反射光信号传输至图像处理模块;图像处理模块将荧光信号转化为荧光图像,将漫反射光信号转化为激发光照度信息,并基于激发光照度信息对所述荧光图像进行灰度补正;激光器调节模块控制激发光的发射,并基于激发光照度信息对激发光的功率参数进行调整。本发明解决了手动校准激发光照度费时费力不利于操作的问题及由于目标组织不同部位激发光照度差异带来的图像失真问题,实现了激发光照度的自动校准和荧光图像的补正。

Description

一种近红外荧光术中导航系统、方法及可存储介质
技术领域
本发明涉及荧光成像技术领域,更具体的说是涉及一种近红外荧光术中导航系统、方法及可存储介质。
背景技术
近红外荧光成像技术能够在造影剂的作用下完成对目标组织的标记,由于其优秀的时空分辨率,应用场景也日益广泛。目前市面上已有的荧光成像系统没有激发光自动校准功能,激发光光照密度对成像效果有很大的影响。目前术中操作者只能通过手动调节激发光源位置和相机位置的方式来校准,费时费力,不利于操作。同时,成像目标组织区域常常为凹凸不平的照射面,不同部位受到的激发光照度不同,使荧光图像缺乏可对比性,影响临床判断。
因此,如何解决手动校准激发光照度费时费力不利于操作以及目标组织不同部位激发光照度差异带来的图像失真是本领域技术人员亟需解决的问题。
发明内容
有鉴于此,本发明提供了一种近红外荧光术中导航系统、方法及可存储介质,解决了手动校准激发光照度费时费力不利于操作的问题,以及由于目标组织不同部位激发光照度差异带来的图像失真问题,实现了激发光照度的自动校准和荧光图像的补正。
为了实现上述目的,本发明提供了一种近红外荧光术中导航系统,包括:一体化成像模块、激光器调节模块和图像处理模块;所述一体化成像模块分别与所述激光器调节模块、图像处理模块相连,所述图像处理模块与所述激光器调节模块相连;
所述一体化成像模块,用于向目标组织发射激发光,激发特定造影剂产生荧光信号,并将获取的荧光信号及目标组织对激发光的漫反射光信号传输至所述图像处理模块;
所述图像处理模块,用于将所述荧光信号转化为荧光图像,将所述漫反射光信号转化为激发光照度信息,并基于所述激发光照度信息对所述荧光图像进行灰度补正;
所述激光器调节模块,用于控制激发光的发射,并基于不同部位的激发光照度信息对激发光的功率参数进行调整。
上述的技术方案中公开了本发明中近红外荧光术中导航系统的具体结构设置,通过算法优化计算,控制激光器调节模块对激发光强度进行调节并对荧光图像进行补正,使不同时间内、不同区域内的图像的激发光照度保持一致。
可选的,所述一体化成像模块包括激发光源、成像用红外相机、校准用辅助相机;
所述激发光源,用于向目标组织发射激发光并将功率参数传输至所述图像处理模块;所述激发光激发造影剂产生荧光信号;
所述成像用红外相机,用于获取所述荧光信号并传输至图像处理模块;
所述校准用辅助相机,用于获取目标组织对激发光的漫反射光信号并传输至图像处理模块。
可选的,所述一体化成像模块还包括成像滤光片组;所述成像滤光片组安装在所述成像用红外相机上,用于过滤激发光,选择感兴趣的波段区间进行成像。
可选的,所述一体化成像模块还包括校准用滤光片组;所述校准用滤光片组安装在所述校准用辅助相机上,用于过滤荧光信号并允许漫反射光信号透过。
可选的,所述图像处理模块包括:
荧光信号处理单元,将所述荧光信号转化为荧光图像,通过内置的重建算法把每个像素点接收到的灰度值和像素点的位置信息,转换为图片或视频的形式;
漫反射光信号处理单元,通过计算不同部位的漫反射光信号的强度差异,获取激发光照度信息并通过所述激光器调节模块对激发光的功率参数进行调节使不同时间、不同区域内图像的激发光照度保持一致。
本发明还提供了一种近红外荧光术中导航方法,包括以下步骤:
向目标组织发射激发光,激发造影剂产生荧光信号;
获取造影剂产生的荧光信号及目标组织对所述激发光的漫反射光信号;
将所述荧光信号转化为荧光图像,根据所述漫反射光信号获取不同部位的激发光照度信息;
基于所述激发光照度信息对所述荧光图像进行灰度补正;
通过不同部位的激发光照度对激发光的功率参数进行调整。
可选的,所述荧光信号转化为荧光图像,通过内置的重建算法,将每个像素点接收到的灰度值和像素点的位置信息转换为图片或视频的形式,显示在用户界面上。
本发明还提供了一种计算机可存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述近红外荧光术中导航方法的步骤。
经由上述的技术方案可知,与现有技术相比,本发明公开提供了一种近红外荧光术中导航系统、方法及可存储介质,通过校准用辅助相机实时监测目标组织对激发光的漫反射信号。经图像处理模块计算优化,来对荧光图像进行荧光强度校正,同时检测照度参数,控制激光器调节模块使光照密度保持不变,实现不同时间内、不同区域内图像的激发光照度保持一致,解决了手动校准激发光照度费时费力不利于操作以及由于目标组织不同部位激发光照度差异带来的图像失真问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为实施例1中近红外荧光术中导航系统的结构示意图;
图2为实施例2中近红外荧光术中导航方法的流程图;
图1中的附图标记:1一体化成像模块、2成像用红外相机、3校准用辅助相机、4激发光源、5成像滤光片组、6校准用滤光片组、7激光器调节模块、8图像处理模块。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例1
本发明实施例公开了一种近红外荧光术中导航系统,如图1所示,包括:一体化成像模块1、激光器调节模块7和图像处理模块8;一体化成像模块1分别与激光器调节模块7、图像处理模块8相连,图像处理模块8与激光器调节模块7相连;
一体化成像模块1,用于向目标组织发射激发光,并将获取的荧光信号及目标组织对激发光的漫反射光信号传输至图像处理模块8;
图像处理模块8,用于将荧光信号转化为荧光图像,将漫反射光信号转化为激发光照度信息,并基于激发光照度信息对荧光图像进行灰度补正;
激光器调节模块7,用于控制激发光的发射,并基于激发光照度信息对激发光的功率参数进行调整。
具体的,一体化成像模块1包括激发光源4、成像用红外相机2、校准用辅助相机3;
激发光源4,向目标组织发射激发光并将功率参数传输至图像处理模块8;激发光照射到目标组织上激发造影剂产生荧光信号;
成像用红外相机2,获取造影剂产生的荧光信号并传输至图像处理模块9;
校准用辅助相机3,获取目标组织对激发光的漫反射光信号并传输至图像处理模块8。
进一步的,所述激发光源为808nm激光器;
进一步的,所述校准用辅助相机为近红外一区相机。
进一步优化,所述一体化成像模块1还包括成像滤光片组5,成像滤光片组5安装在成像用红外相机2上,用于过滤激发光,选择感兴趣的区域进行成像。
进一步优化,所述一体化成像模块1还包括校准用滤光片组6,校准用滤光片组6安装在校准用辅助相机3上,用于过滤荧光信号并允许漫反射光信号透过。
具体的,所述图像处理模块8包括:
荧光信号处理单元,将荧光信号转化为荧光图像,通过内置的重建算法把每个像素点接收到的灰度值和像素点的位置信息,转换为图片或视频的形式;
具体地,获取荧光图像:
首先通过成像用红外相机获取荧光信号,然后将荧光信号转换为荧光图像:成像用红外相机有特殊的能够感受900—1700nm波段的感光CCD,当荧光信号照射到CCD上时,CCD的每个有效像素点都会将光信号转换成一个电信号,然后通过感光元件中的控制信号线路对光电二极管产生的电流进行控制,由电流传输电路输出,CCD会将一次成像产生的电信号收集起来,统一输出到放大器。经过放大和滤波后的电信号被送到A/D,由A/D将电信号(此时为模拟信号)转换为数字信号,数值的大小和电信号的强度成正比。
同时,数字信号还将输出到数字信号处理器(DSP)。在DSP中,这些图像数据被进行一系列的校正和后期处理,最终转化为包含时间轴信息、像素点灰度值、像素点位置信息的数据文件,并由重建程序重建为灰度图像,呈现在用户界面上。
进一步,漫反射光信号处理单元,通过计算不同部位的漫反射光信号的强度差异,获取激发光照度信息并通过激光器调节模块7对激发光的功率参数进行调节使不同时间、不同区域内图像的激发光照度保持一致。
通过对漫反射光图像进行灰度分析,将不同部位的亮度与平均亮度进行比较可以了解到该部位的亮度情况,以此为依据对荧光图像做出相应的调整。由于漫反射光信号图像与激光强度是相关联的,光信号越强就代表激发光照度越强,通过控制激光器调节模块使激发光照度保持一致,即通过计算不同部位的光信号强度差异,然后通过激光器调节模块对激发光的功率参数进行调节,使得光强都保持一致就可以实现不同时间内、不同区域内图像的激发光照度保持一致了。
下面以肝部手术术中导航过程为例,实现不同时间内、不同区域内图像的激发光照度保持一致。
首先,需要了解的是:肝部手术的目标组织从腹部切开,露出肝脏及周围组织的一个创面,该创面凹凸不平且可能会随着手术过程发生移动。
其次,从时间角度来看,术中导航设备在整个肝部手术期间持续成像,通过荧光图像获取手术部位的相关信息,各区域的图像亮度及与周围区域的亮度差异信息均与病变有关,因此整个肝部手术过程中荧光图像的同一个位置的荧光强度应该保持一致,才能对荧光图像进行更精准地分析,进而才能通过荧光图像的引导获取最准确的手术部位的相关信息。
最后,从区域的角度来看,由于肝部手术创面的不规则性和不平整性,导致不同部位与激发光源的距离和所呈角度的不同,进而引起荧光信号的差异,即激发光照射密度的不同会导致荧光信号的差异。通过监测漫反射光信号可以间接的了解激发光照射的强度,以此为依据对荧光图像进行补正,使不同区域的激发光照度保持一致,可以更清楚地了解到手术部位的相关信息,有助于医生的临床判断。
实施例2
本发明实施例提出了一种近红外荧光术中导航方法,如图2所示,包括以下步骤:
向目标组织发射激发光,激发造影剂产生荧光信号;
获取造影剂产生的荧光信号及目标组织对激发光的漫反射光信号;
将荧光信号转化为荧光图像,根据漫反射光信号获取不同部位的激发光照度信息;
基于激发光照度信息对荧光图像进行灰度补正;
通过不同部位的激发光照度对激发光的功率参数进行调整。
进一步地,所述荧光信号转化为荧光图像,通过内置的重建算法,将每个像素点接收到的灰度值和像素点的位置信息转换为图片或视频的形式,显示在用户界面上。
在某些实施例中,自动调节补正功能是可控制开关的,开启自动调节模式会发挥自动调节功能,关闭自动调节模式时,只会监测参数,而不执行调节动作。
本发明实施例还提供了一种计算机可存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述近红外荧光术中导航方法的步骤。
本发明通过提供一种近红外荧光术中导航系统、方法及可存储介质,通过校准用辅助相机实时监测目标组织对激发光的漫反射光信号,经图像处理模块计算优化,来对荧光图像进行荧光强度校正,同时检测照度参数,控制激光器调节模块使光照密度保持不变,使不同时间内、不同区域内图像的激发光照度保持一致,达到了激发光照度自动校准及荧光图像补正的目的。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的方法而言,由于其与实施例公开的系统相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (6)

1.一种近红外荧光术中导航系统,其特征在于,包括:一体化成像模块、激光器调节模块和图像处理模块;所述一体化成像模块分别与所述激光器调节模块、图像处理模块相连,所述图像处理模块与所述激光器调节模块相连;
所述一体化成像模块,用于向目标组织发射激发光,并将获取的荧光信号及目标组织对激发光的漫反射光信号传输至所述图像处理模块;
所述图像处理模块,用于将所述荧光信号转化为荧光图像,将所述漫反射光信号转化为激发光照度信息,并基于所述激发光照度信息对所述荧光图像进行灰度补正;
所述激光器调节模块,用于控制激发光的发射,并基于不同部位的激发光照度信息对激发光的功率参数进行调整;
所述图像处理模块包括:
荧光信号处理单元,将所述荧光信号转化为荧光图像,通过内置的重建算法把每个像素点接收到的灰度值和像素点的位置信息,转换为图片或视频的形式;
漫反射光信号处理单元,通过计算不同部位的漫反射光信号的强度差异,获取激发光照度信息并通过所述激光器调节模块对激发光的功率参数进行调节使不同时间、不同区域内图像的激发光照度保持一致。
2.根据权利要求1所述的一种近红外荧光术中导航系统,其特征在于,所述一体化成像模块包括激发光源、成像用红外相机、校准用辅助相机;
所述激发光源,用于向目标组织发射激发光并将功率参数传输至所述图像处理模块;所述激发光激发造影剂产生荧光信号;
所述成像用红外相机,用于获取造影剂产生的荧光信号并传输至图像处理模块;
所述校准用辅助相机,用于获取目标组织对激发光的漫反射光信号并传输至图像处理模块。
3.根据权利要求2所述的一种近红外荧光术中导航系统,其特征在于,所述一体化成像模块还包括成像滤光片组;
所述成像滤光片组安装在所述成像用红外相机上,用于过滤激发光。
4.根据权利要求2所述的一种近红外荧光术中导航系统,其特征在于,所述一体化成像模块还包括校准用滤光片组;
所述校准用滤光片组安装在所述校准用辅助相机上,用于过滤荧光信号并允许漫反射光信号透过。
5.一种近红外荧光术中导航方法,其特征在于,包括以下步骤:
向目标组织发射激发光,激发造影剂产生荧光信号;
获取造影剂产生的荧光信号及目标组织对所述激发光的漫反射光信号;
将所述荧光信号转化为荧光图像,根据所述漫反射光信号获取不同部位的激发光照度信息;
基于所述激发光照度信息对所述荧光图像进行灰度补正;
通过不同部位的激发光照度对激发光的功率参数进行调整;
所述荧光信号转化为荧光图像,通过内置的重建算法,将每个像素点接收到的灰度值和像素点的位置信息转换为图片或视频的形式,显示在用户界面上。
6.一种计算机可存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求5所述近红外荧光术中导航方法的步骤。
CN202111459405.8A 2021-12-01 2021-12-01 一种近红外荧光术中导航系统、方法及可存储介质 Active CN114052911B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111459405.8A CN114052911B (zh) 2021-12-01 2021-12-01 一种近红外荧光术中导航系统、方法及可存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111459405.8A CN114052911B (zh) 2021-12-01 2021-12-01 一种近红外荧光术中导航系统、方法及可存储介质

Publications (2)

Publication Number Publication Date
CN114052911A CN114052911A (zh) 2022-02-18
CN114052911B true CN114052911B (zh) 2024-03-01

Family

ID=80228541

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111459405.8A Active CN114052911B (zh) 2021-12-01 2021-12-01 一种近红外荧光术中导航系统、方法及可存储介质

Country Status (1)

Country Link
CN (1) CN114052911B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014205738A1 (zh) * 2013-06-27 2014-12-31 中国科学院自动化研究所 基于内窥镜的多光谱视频导航系统和方法
CN108603642A (zh) * 2016-11-25 2018-09-28 深圳迈瑞生物医疗电子股份有限公司 一种内窥镜系统及其光源装置
CN108670172A (zh) * 2018-03-20 2018-10-19 广东欧谱曼迪科技有限公司 基于测光反馈的荧光导航系统及其术中荧光导航调整方法
CN109124768A (zh) * 2018-08-15 2019-01-04 南京航空航天大学 一种荧光成像手术导航系统
CN109662695A (zh) * 2019-01-16 2019-04-23 北京数字精准医疗科技有限公司 荧光分子成像系统、装置、方法及存储介质
CN109758094A (zh) * 2019-01-31 2019-05-17 广东欧谱曼迪科技有限公司 一种调焦反馈型荧光导航内窥镜系统及图像自处理方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020518349A (ja) * 2017-04-27 2020-06-25 キュラデル、エルエルシー 光学イメージングにおいての測距

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014205738A1 (zh) * 2013-06-27 2014-12-31 中国科学院自动化研究所 基于内窥镜的多光谱视频导航系统和方法
CN108603642A (zh) * 2016-11-25 2018-09-28 深圳迈瑞生物医疗电子股份有限公司 一种内窥镜系统及其光源装置
CN108670172A (zh) * 2018-03-20 2018-10-19 广东欧谱曼迪科技有限公司 基于测光反馈的荧光导航系统及其术中荧光导航调整方法
CN109124768A (zh) * 2018-08-15 2019-01-04 南京航空航天大学 一种荧光成像手术导航系统
CN109662695A (zh) * 2019-01-16 2019-04-23 北京数字精准医疗科技有限公司 荧光分子成像系统、装置、方法及存储介质
CN109758094A (zh) * 2019-01-31 2019-05-17 广东欧谱曼迪科技有限公司 一种调焦反馈型荧光导航内窥镜系统及图像自处理方法

Also Published As

Publication number Publication date
CN114052911A (zh) 2022-02-18

Similar Documents

Publication Publication Date Title
US9588046B2 (en) Fluorescence observation apparatus
JP5570373B2 (ja) 内視鏡システム
JP5467756B2 (ja) 内視鏡装置
JP3949698B2 (ja) 露出制御回路を有するx線検査装置
US20030183771A1 (en) Gain correction of image signal and calibration for gain correction
JP6129462B1 (ja) 内視鏡システム
US20120092471A1 (en) Endoscopic device
JP2004004588A (ja) 放射線変換パネルを用いた放射線画像情報読取装置および放射線変換パネルの感度補正方法
JP2007215907A (ja) 内視鏡プロセッサ、内視鏡システム、及びブラックバランス調整プログラム
CN114052911B (zh) 一种近红外荧光术中导航系统、方法及可存储介质
JP2009142586A (ja) 内視鏡システムの自動焦点調整方法および内視鏡システム
JP4171308B2 (ja) 照明装置の照度校正方法、照明装置の照度校正制御装置、照明装置の照度校正プログラム、このプログラムを記録した記録媒体および測定機
KR101298974B1 (ko) 광원 제어 및 영상 보정을 통한 영상 처리 장치 및 방법
JPH09500514A (ja) ハードコピーユニットの調整方法及び装置
US11122212B2 (en) Image recording method and image recording apparatus
CN113974832B (zh) 具有投影导航功能的近红外荧光手术导航系统及方法
WO2020170669A1 (ja) 光源装置、医療用観察システム、調整装置、照明方法、調整方法およびプログラム
EP0421632B1 (en) Digital X-ray image processing apparatus and method
JP4657003B2 (ja) 内視鏡プロセッサ
CN114098967A (zh) 一种具有辅助校准激光的荧光导航系统及方法
CN114052908B (zh) 一种基于照度调节的近红外荧光术中导航系统及方法
CN114052910A (zh) 一种基于激发光自动调节的术中荧光导航系统及方法
JP2007256981A (ja) 放射線変換パネルを用いた放射線画像情報読取装置および放射線変換パネルの状態判定方法
WO2022059293A1 (ja) 内視鏡用プロセッサ及び内視鏡システム
JP5247221B2 (ja) 放射線画像撮像システム及びその駆動方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant