CN116437221B - 一种内窥镜视频图像的截取方法及系统 - Google Patents

一种内窥镜视频图像的截取方法及系统 Download PDF

Info

Publication number
CN116437221B
CN116437221B CN202310453675.0A CN202310453675A CN116437221B CN 116437221 B CN116437221 B CN 116437221B CN 202310453675 A CN202310453675 A CN 202310453675A CN 116437221 B CN116437221 B CN 116437221B
Authority
CN
China
Prior art keywords
image
endoscope
brightness value
frame
light source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310453675.0A
Other languages
English (en)
Other versions
CN116437221A (zh
Inventor
王迎智
周毅
董先公
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jixian Artificial Intelligence Co Ltd
Original Assignee
Jixian Artificial Intelligence Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jixian Artificial Intelligence Co Ltd filed Critical Jixian Artificial Intelligence Co Ltd
Priority to CN202310453675.0A priority Critical patent/CN116437221B/zh
Publication of CN116437221A publication Critical patent/CN116437221A/zh
Application granted granted Critical
Publication of CN116437221B publication Critical patent/CN116437221B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/76Circuitry for compensating brightness variation in the scene by influencing the image signals
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02BCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B20/00Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
    • Y02B20/40Control techniques providing energy savings, e.g. smart controller or presence detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Endoscopes (AREA)

Abstract

本发明属于视频流处理技术领域,提供了一种内窥镜视频图像的截取方法及系统,包括:获取内窥镜视频流信息;通过实时控制内窥镜冷光源的输出亮度值,获得内窥镜视频流在对应不同亮度值下的多帧图像;合并多帧图像得到截图图像;本发明在通过实时控制内窥镜冷光源的输出亮度值,获得内窥镜视频流在对应不同亮度值下的多帧图像,然后合并多帧图像得到截图图像,可以合成高质量、高动态范围的内窥镜视频截图图像。

Description

一种内窥镜视频图像的截取方法及系统
技术领域
本发明属于视频流处理技术领域,尤其涉及一种内窥镜视频图像的截取方法及系统。
背景技术
在使用内窥镜进行手术操作过程中,术者观察通过内窥镜实时采集、处理的视频来操作手术器械完成内窥镜下手术操作,过程中术者会有对操作作记录的动作,主要是通过对实时视频的图像保存和视频录像来记录的。
发明人发现,在使用传统的内窥镜设备进行实时视频的图像保存时,一般都是通过直接截取实时视频流的图像来实现,这样容易存在一些问题:直接截取实时视频流的图像,一般曝光时间比较长,较容易造成拖影模糊的问题;内窥镜照明使用局部强光,镜下操作使用不锈钢材质器械,极容易造成图像画面局部高光过亮;或因局部过亮导致曝光策略过于积极或消极,使图像画面整体过亮或过暗。
发明内容
本发明为了解决上述问题,提出了一种内窥镜视频图像的截取方法及系统,通过实时控制内窥镜冷光源的输出亮度,获得多帧图像,进而可以合成高质量、高动态范围的内窥镜视频截图图像。
为了实现上述目的,本发明是通过如下的技术方案来实现:
第一方面,本发明提供了一种内窥镜视频图像的截取方法,包括:
获取内窥镜视频流信息;
通过实时控制内窥镜冷光源的输出亮度值,获得内窥镜视频流在对应不同亮度值下的多帧图像;
合并多帧图像得到截图图像。
进一步的,首先控制内窥镜冷光源输出瞬时第一亮度值,得到第一帧图像;然后控制内窥镜冷光源输出瞬时第二亮度值,得到第二帧图像;最后控制内窥镜冷光源输出瞬时第三亮度值,得到第三帧图像;合并所述第一帧图像、所述第二帧图像和所述第三帧图像,得到最终的截图图像;其中,所述第一亮度值大于所述第二亮度值,所述第二亮度值大于所述第三亮度值。
进一步的,所述第一亮度值为基本亮度值的2倍,内窥镜冷光源输出瞬时第一亮度值的时间与图像传感器曝光时间同步。
进一步的,所述第二亮度值为基本亮度值,以基本曝光参数曝光。
进一步的,所述第三亮度值为基本亮度值的1/2,内窥镜冷光源输出瞬时第三亮度值的时间与图像传感器曝光时间同步。
进一步的,多帧图像的曝光和间隔总时长小于内窥镜视频流输出单帧时间的一半。
进一步的,合成多帧图像时,首先将各帧图像对齐,然后转换图像计算不同部位信噪比赋不同权重后合成最终的截图图像。
第二方面,本发明还提供了一种内窥镜视频图像的截取系统,包括:
数据采集模块,被配置为:获取内窥镜视频流信息;
截图模块,被配置为:通过实时控制内窥镜冷光源的输出亮度值,获得内窥镜视频流在对应不同亮度值下的多帧图像;
合并模块,被配置为:合并多帧图像得到截图图像。
第三方面,本发明还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现了第一方面所述的内窥镜视频图像的截取方法的步骤。
第四方面,本发明还提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现了第一方面所述的内窥镜视频图像的截取方法的步骤。
与现有技术相比,本发明的有益效果为:
1、本发明在通过实时控制内窥镜冷光源的输出亮度值,获得内窥镜视频流在对应不同亮度值下的多帧图像,然后合并多帧图像得到截图图像,可以合成高质量、高动态范围的内窥镜视频截图图像;
2、本发明控制内窥镜冷光源输出亮度值为基本亮度值2倍的第一亮度值下,获得整体图像亮度偏亮,对应暗部细节保留较多的第一帧图像;控制内窥镜冷光源输出亮度值为基本亮度值的第一亮度值下,获得符合人眼观察状态的第二帧图像;控制内窥镜冷光源输出亮度值为基本亮度值1/2倍的第二亮度值下,获得整体图像亮度偏暗,对应的亮部细节保存较为丰富的第三帧图像;且内窥镜冷光源输出瞬时亮度值的时间与图像传感器曝光时间同步;解决了直接截取实时视频流的图像,因曝光时间较长造成拖影模糊的问题,以及避免了内窥镜照明使用局部强光造成图像画面局部高光过亮的问题,通过具有不同部位细节保留特征的多帧图像合并,避免了截图图像画面整体过亮或过暗的现象。
3、本发明中不改变图像传感器曝光参数来获取多帧曝光图像,减少了总曝光时间和曝光间隔时间,即减少了视频截图的总时间,便于多帧图像对齐和合成,提高了合成截图图像的质量;
4、本发明不必使用专用支持高动态范围的图像传感器来合成、获取高动态范围图像,节约了成本。
附图说明
构成本实施例的一部分的说明书附图用来提供对本实施例的进一步理解,本实施例的示意性实施例及其说明用于解释本实施例,并不构成对本实施例的不当限定。
图1为本发明实施例1的流程图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
应该指出,以下详细说明都是示例性的,旨在对本申请提供进一步的说明。除非另有指明,本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
动态范围:摄像系统在完成一次拍摄活动,能记录下最大亮度与最小亮度的比值。高动态范围(High Dynamic Range,HDR):在一般的拍照场景中,有些场景会造成亮处过曝且暗处欠曝,看起来亮处和暗处的细节都欠缺,不能真实的展现该场景的真实情况,为了提升拍照的质量和效果就引进了HDR;HDR原理上是一种多帧合成技术,传统的多帧合成技术就是利用点击拍照前后连续的几帧按照算法进行合成,这里的几帧的曝光时间是一致的,所以感光量一致,这几帧的图像亮度就是一致的。
基本亮度值:申请文件中涉及的基本亮度值为满足内窥镜下正常手术操作的冷光源亮度值;如在进行手术过程中通过内窥镜视频来呈现手术部位的状态,此时冷光源设置输出亮度可以为600lx或其他值,则该值为基本亮度值。
实施例1:
在使用内窥镜进行手术操作过程中,术者在进行手术操作时需要对当前视频流进行截图记录,术者操作内窥镜控制手柄按键或图像处理主机操作面板发出当前图像截图、保存指令,图像处理器接收当前图像截图指令并同时下发至内窥镜冷光源和内窥镜摄像头的图像传感器及图像信号处理(Image Signal Processing,ISP)模块,内窥镜冷光源可以设置为LED(Light-Emitting Diode)冷光源;内窥镜设备包括的内窥镜控制手柄按键、图像处理主机操作面板、内窥镜冷光源以及内窥镜摄像头的图像传感器和图像信号处理模块等均可以通过常规内窥镜实现,在此不再详述。
当接收到图像截图指令时,传统的内窥镜设备会直接截取实时视频流的图像,这样就存在曝光时间较长造成的拖影模糊问题,内窥镜照明使用的局部强光造成的图像画面局部高光过亮问题,以及因局部过亮导致曝光策略过于积极或消极使图像画面整体过亮或过暗的问题;为了解决上述问题,本实施例提供了一种内窥镜视频图像的截取方法,包括:
获取内窥镜视频流信息;
通过实时控制内窥镜冷光源的输出亮度值,获得内窥镜视频流在对应不同亮度值下的多帧图像;
合并多帧图像得到截图图像。
具体的,通过实时控制内窥镜冷光源的输出亮度值,获得内窥镜视频流在对应不同亮度值下的多帧图像,然后合并多帧图像得到截图图像,可以合成高质量、高动态范围的内窥镜视频截图图像,可以避免过亮或过暗的问题。
接收到截图指令后,图像传感器和ISP模块调用预先存储的曝光参数准备进行多组曝光动作,此处的曝光参数主要指曝光时间和图像传感器的原生感光度,而内窥镜镜头光圈值一般不可调整或较难调整故不作为该处的调整曝光参数。本实施例曝光参数的确定是在内窥镜冷光源输出基本亮度值时,图像传感器的原生感光度使用较低值和低增益以减少噪声值对图像噪声的影响来提高图像质量,曝光时间使用基于内窥镜冷光源输出的基本亮度和图像传感器的增益值来完成一次正确曝光,与人眼直接观察到的画面一致;曝光时间选较小值同时多次曝光间隔时间使用图像传感器的允许最低值,可以减少多次曝光可能带来的拖影和画面不同步的问题。
当内窥镜冷光源、内窥镜摄像头的图像传感器及ISP模块接收到截图指令后,首先控制内窥镜冷光源输出瞬时第一亮度值,得到第一帧图像;然后控制内窥镜冷光源输出瞬时第二亮度值,得到第二帧图像;最后控制内窥镜冷光源输出瞬时第三亮度值,得到第三帧图像;合并所述第一帧图像、所述第二帧图像和所述第三帧图像,得到最终的截图图像;可以对最终的截图图像进行保存;其中,所述第一亮度值大于所述第二亮度值,所述第二亮度值大于所述第三亮度值。
具体的,所述第一亮度值可以为基本亮度值的2倍,内窥镜冷光源输出瞬时第一亮度值的时间与图像传感器曝光时间同步或略长,保证第一帧图像按参数准确曝光。所述第二亮度值为基本亮度值,以基本曝光参数曝光,内窥镜摄像头以基本曝光参数曝光并保存第二帧图像。所述第三亮度值为基本亮度值的1/2,内窥镜冷光源输出瞬时第三亮度值的时间与图像传感器曝光时间同步或略长,保证第三帧图像按参数准确曝光。
第一帧图像、第二帧图像和第三帧图像多帧图像的曝光和间隔总时长小于内窥镜视频流输出单帧时间的一半,且值越小越好,以减少图像合成带来的拖影及便于图像对齐。
第二帧图像为正确曝光得到的符合人眼观察状态的图像;第一帧图像为过曝得到的图像,整体图像亮度会偏亮,对应的暗部细节会保留较多;第三帧图像为欠曝得到的图像,整体图像亮度偏暗,对应的亮部细节保存较为丰富。第一帧图像、第二帧图像和第三帧图像合成暗部和亮部细节都较为丰富的高动态范围图像;合成图像时首先将各帧图像对齐,然后转换图像计算不同部位信噪比赋不同权重后合成最终的截图图像。解决了直接截取实时视频流的图像,因曝光时间较长造成拖影模糊的问题,以及避免了内窥镜照明使用局部强光造成图像画面局部高光过亮的问题,通过具有不同部位细节保留特征的多帧图像合并,避免了截图图像画面整体过亮或过暗的现象。
实施例2:
本实施例提供了一种内窥镜视频图像的截取方法,与实施例1中方法不同之处在于:
本实施例中,内窥镜冷光源的输出亮度值设置了由大到小的第一亮度值、第二亮度值、第三亮度值、第四亮度值和第五亮度值,其中第三亮度值为基本亮度值;对应的,也会获得内窥镜视频流在对应不同亮度值下的多帧图像,包括第一帧图像、第二帧图像、第三帧图像、第四帧图像和第五帧图像;
在进行第一帧图像、第二帧图像、第三帧图像、第四帧图像和第五帧图像曝光时,各帧曝光时间和曝光间隔总时间同样应小于内窥镜视频流输出单帧时间的一半,且值越小越好。
实施例3:
本实施例提供了一种内窥镜视频图像的截取系统,包括:
数据采集模块,被配置为:获取内窥镜视频流信息;
截图模块,被配置为:通过实时控制内窥镜冷光源的输出亮度值,获得内窥镜视频流在对应不同亮度值下的多帧图像;
合并模块,被配置为:合并多帧图像得到截图图像。
所述系统的工作方法与实施例1的内窥镜视频图像的截取方法相同,这里不再赘述。
实施例4:
本实施例提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现了实施例1所述的内窥镜视频图像的截取方法的步骤。
实施例5:
本实施例提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现了实施例1所述的内窥镜视频图像的截取方法的步骤。
以上所述仅为本实施例的优选实施例而已,并不用于限制本实施例,对于本领域的技术人员来说,本实施例可以有各种更改和变化。凡在本实施例的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本实施例的保护范围之内。

Claims (8)

1.一种内窥镜视频图像的截取方法,其特征在于,包括:
获取内窥镜视频流信息;
通过实时控制内窥镜冷光源的输出亮度值,获得内窥镜视频流在对应不同亮度值下的多帧图像;
合并多帧图像得到截图图像;
具体的,首先控制内窥镜冷光源输出瞬时第一亮度值,得到第一帧图像;然后控制内窥镜冷光源输出瞬时第二亮度值,得到第二帧图像;最后控制内窥镜冷光源输出瞬时第三亮度值,得到第三帧图像;合并所述第一帧图像、所述第二帧图像和所述第三帧图像,得到最终的截图图像;其中,所述第一亮度值大于所述第二亮度值,所述第二亮度值大于所述第三亮度值;
所述第一亮度值为基本亮度值的2倍;所述第二亮度值为基本亮度值;所述第三亮度值为基本亮度值的1/2;
多帧图像的曝光和间隔总时长小于内窥镜视频流输出单帧时间的一半。
2.如权利要求1所述的一种内窥镜视频图像的截取方法,其特征在于,内窥镜冷光源输出瞬时第一亮度值的时间与图像传感器曝光时间同步。
3.如权利要求1所述的一种内窥镜视频图像的截取方法,其特征在于,所述基本亮度值以基本曝光参数曝光。
4.如权利要求1所述的一种内窥镜视频图像的截取方法,其特征在于,内窥镜冷光源输出瞬时第三亮度值的时间与图像传感器曝光时间同步。
5.如权利要求1所述的一种内窥镜视频图像的截取方法,其特征在于,合成多帧图像时,首先将各帧图像对齐,然后转换图像计算不同部位信噪比赋不同权重后合成最终的截图图像。
6.一种内窥镜视频图像的截取系统,用于执行实现权利要求1-5任一项所述的截取方法,其特征在于,包括:
数据采集模块,被配置为:获取内窥镜视频流信息;
截图模块,被配置为:通过实时控制内窥镜冷光源的输出亮度值,获得内窥镜视频流在对应不同亮度值下的多帧图像;
合并模块,被配置为:合并多帧图像得到截图图像;
具体的,首先控制内窥镜冷光源输出瞬时第一亮度值,得到第一帧图像;然后控制内窥镜冷光源输出瞬时第二亮度值,得到第二帧图像;最后控制内窥镜冷光源输出瞬时第三亮度值,得到第三帧图像;合并所述第一帧图像、所述第二帧图像和所述第三帧图像,得到最终的截图图像;其中,所述第一亮度值大于所述第二亮度值,所述第二亮度值大于所述第三亮度值;
所述第一亮度值为基本亮度值的2倍;所述第二亮度值为基本亮度值;所述第三亮度值为基本亮度值的1/2;
多帧图像的曝光和间隔总时长小于内窥镜视频流输出单帧时间的一半。
7.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现了如权利要求1-5任一项所述的内窥镜视频图像的截取方法的步骤。
8.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现了如权利要求1-5任一项所述的内窥镜视频图像的截取方法的步骤。
CN202310453675.0A 2023-04-21 2023-04-21 一种内窥镜视频图像的截取方法及系统 Active CN116437221B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310453675.0A CN116437221B (zh) 2023-04-21 2023-04-21 一种内窥镜视频图像的截取方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310453675.0A CN116437221B (zh) 2023-04-21 2023-04-21 一种内窥镜视频图像的截取方法及系统

Publications (2)

Publication Number Publication Date
CN116437221A CN116437221A (zh) 2023-07-14
CN116437221B true CN116437221B (zh) 2024-04-05

Family

ID=87079561

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310453675.0A Active CN116437221B (zh) 2023-04-21 2023-04-21 一种内窥镜视频图像的截取方法及系统

Country Status (1)

Country Link
CN (1) CN116437221B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104103053A (zh) * 2013-11-25 2014-10-15 北京华科创智健康科技股份有限公司 一种电子内窥镜图像增强的方法和装置
CN104398231A (zh) * 2014-12-04 2015-03-11 中国科学院深圳先进技术研究院 立体内窥镜光源亮度调节系统及方法
CN112243091A (zh) * 2020-10-16 2021-01-19 微创(上海)医疗机器人有限公司 三维内窥镜系统、控制方法和存储介质
CN112603240A (zh) * 2020-12-16 2021-04-06 刘奇为 能够实现智能图像处理的医用内窥镜系统
CN114125225A (zh) * 2021-11-18 2022-03-01 浙江大学 一种内窥镜亮度自动调节方法及装置、系统、电子设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11576554B2 (en) * 2019-12-20 2023-02-14 Verily Life Sciences Llc Method for adjusting an exposure of an endoscope

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104103053A (zh) * 2013-11-25 2014-10-15 北京华科创智健康科技股份有限公司 一种电子内窥镜图像增强的方法和装置
CN104398231A (zh) * 2014-12-04 2015-03-11 中国科学院深圳先进技术研究院 立体内窥镜光源亮度调节系统及方法
CN112243091A (zh) * 2020-10-16 2021-01-19 微创(上海)医疗机器人有限公司 三维内窥镜系统、控制方法和存储介质
CN112603240A (zh) * 2020-12-16 2021-04-06 刘奇为 能够实现智能图像处理的医用内窥镜系统
CN114125225A (zh) * 2021-11-18 2022-03-01 浙江大学 一种内窥镜亮度自动调节方法及装置、系统、电子设备

Also Published As

Publication number Publication date
CN116437221A (zh) 2023-07-14

Similar Documents

Publication Publication Date Title
JP6911202B2 (ja) 撮像制御方法および撮像装置
US9858666B2 (en) Medical skin examination device and method for processing and enhancing an image of a skin lesion
JP6143096B2 (ja) 眼底画像処理装置およびプログラム、並びに眼底画像撮影装置
TWI390971B (zh) 成像裝置,成像處理方法及成像控制程式
US8977073B2 (en) Apparatus and method for blending multiple images
JP3528184B2 (ja) 画像信号の輝度補正装置及び輝度補正方法
CN110266954B (zh) 图像处理方法、装置、存储介质及电子设备
KR20100053287A (ko) 다수 영상의 생성 및 합성을 통한 영상 보정 장치 및 그 방법
CN107888839B (zh) 高动态范围图像获取方法、装置及设备
CN110636227B (zh) 高动态范围hdr图像合成方法及集成该方法的高速相机
JP2012109900A (ja) 撮影装置、撮影方法、およびプログラム
JP2013258444A (ja) 画像処理装置、画像処理方法及びプログラム
JP2014017681A (ja) 撮像装置、該撮像装置の制御方法、プログラム、記憶媒体
KR101387023B1 (ko) 하이 다이나믹 레인지 영상 뷰어 및 그의 영상 처리 방법
JP2008206111A (ja) 撮影装置及び撮影方法
JP2010199727A (ja) 撮像装置
JP6543787B2 (ja) 画像処理装置および画像処理方法
CN116437221B (zh) 一种内窥镜视频图像的截取方法及系统
JP7315560B2 (ja) 医療用制御装置及び医療用観察装置
US8982244B2 (en) Image capturing apparatus for luminance correction, a control method therefor, and a recording medium
JP2013128212A (ja) 画像処理装置および撮像装置並びにその方法
JP2013138522A (ja) 画像処理装置、及び、プログラム
JP2013085040A (ja) 画像処理装置
US11936989B2 (en) Apparatuses, systems, and methods for gaze-based auto-exposure management of image frames
KR20160030352A (ko) 영상 처리 장치 및 영상 처리 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant