CN109246419A - 手术显微镜双路输出微型图案立体成像显示系统及方法 - Google Patents
手术显微镜双路输出微型图案立体成像显示系统及方法 Download PDFInfo
- Publication number
- CN109246419A CN109246419A CN201811081423.5A CN201811081423A CN109246419A CN 109246419 A CN109246419 A CN 109246419A CN 201811081423 A CN201811081423 A CN 201811081423A CN 109246419 A CN109246419 A CN 109246419A
- Authority
- CN
- China
- Prior art keywords
- image
- surgical operation
- operation microscope
- processing
- processing unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Microscoopes, Condenser (AREA)
Abstract
本发明实施例公开了一种手术显微镜双路输出微型图案立体成像显示系统及方法，系统包括手术显微镜、处理装置、裸眼3D显示设备以及投影屏幕，处理装置包括第一处理单元、第二处理单元以及两个输出端；第一处理单元对手术图像进行预处理，第二处理单元对预处理后的手术图像进行图像处理以得到目标图像，处理装置通过输出端将目标图像同步输出至裸眼3D显示设备和投影屏幕。实施本发明实施例，可以提高基于手术显微镜进行手术的学习和交流效果。
Description
技术领域
本发明涉及医疗技术领域，具体涉及一种手术显微镜双路输出微型图案立体成像显示系统及其方法。
背景技术
在医学领域，许多手术都需要借助显微镜进行操作实施。例如，耳科、眼科、神经外科和整形外科等都需要手术显微镜进行，术者必须经过专业训练。但由于受观察空间和观察条件的限制，手术显微镜所得到的手术实时信息仅能被主刀医生所得知，手术辅助人员或实习医生等无法准确感知，极大地降低了学习和交流效果。
发明内容
本发明实施例的目的在于提供一种手术显微镜双路输出微型图案立体成像显示系统及其方法，以提高基于手术显微镜进行手术的学习和交流效果。
为实现上述目的，第一方面，本发明实施例提供了一种手术显微镜双路输出微型图案立体成像显示系统，包括手术显微镜、处理装置、裸眼3D显示设备以及投影屏幕，所述手术显微镜用于获取手术图像。其中，所述处理装置包括第一处理单元、第二处理单元以及输出端；
所述第一处理单元用于对所述手术图像进行预处理，所述预处理包括灰度化处理和中值滤波处理；
所述第二处理单元用于对预处理后的所述手术图像进行图像分割、图像配准以及图像融合处理，通过渲染交织以得到带有深度值的目标图像；
所述处理装置用于通过输出端将所述目标图像同步输出至所述裸眼3D显示设备和投影屏幕。
作为本申请一种优选的实施方式，所述第二处理单元用于采用Canny边缘检测法对预处理后的所述手术图像进行分割。
作为本申请一种优选的实施方式，所述显示系统还包括数据传输模块和多个双摄像头组，双像头组对准人体的检测区域以同步采集同体双幅图像信息，并双路输出给所述数据传输模块；数据处理模块接收图像信息并处理，将带有深度值的图像信息传送至所述裸眼3D显示设备。
作为本申请一种优选的实施方式，所述数据传输模块包括柔性导线，所述柔性导线包括包层和内芯，所述包层上设有生物材料。
作为本申请一种优选的实施方式，所述内芯为一根或多根柔性光导纤维，所述生物材料包括医用硅胶。
第二方面，本发明实施例提供了一种手术显微镜双路输出微型图案立体成像显示方法，适用于第一方面所述的手术显微镜双路输出微型图案立体成像显示系统。所述方法包括：
所述手术显微镜双镜头获取手术图像，并以双路同步采集、同步对同一目标双路输出手术图像的图像信息；
所述第一处理单元对所述手术图像进行预处理，所述预处理包括灰度化处理和中值滤波处理；
所述第二处理单元对预处理后的所述手术图像进行图像分割、图像配准以及图像融合处理，通过渲染交织以得到带有深度值的目标图像；
所述处理装置通过输出端将所述目标图像同步输出至所述裸眼3D显示设备和投影屏幕。
作为本申请一种优选的实施方式，所述显示系统还包括VR显示器，所述处理装置还包括接收模块，所述方法还包括：
所述接收模块接收所述手术图像并将所述手术图像传送至所述VR显示器。
作为本申请一种优选的实施方式，所述显示系统还包括数据传输模块和多个双摄像头组，双像头组对准人体的检测区域以同步采集同体双幅图像信息，并双路输出给所述数据传输模块；数据处理模块接收图像信息并处理，将带有深度值的图像信息传送至所述裸眼3D显示设备；所述数据传输模块包括柔性导线，所述柔性导线包括包层和内芯，所述包层上设有生物材料。
实施本发明实施例的手术显微镜双路输出微型图案立体成像显示系统，处理装置对手术显微镜双路获取的手术图像进行一系列图像处理以得到目标图像，再通过输出端将目标图像同步输出至裸眼3D显示设备和投影屏幕；目标图像在裸眼3D显示设备后可展现出3D效果，便于手术辅助人员或实习医生准确感知手术信息，也方便进行学习和交流。此外，目标图像在投影屏幕可展现出二维平面效果，手术辅助人员或实习医生可以将裸眼3D显示设备和投影屏幕所展现的手术图像进行比对，从而更好地进行学习与交流。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。
图1是本发明第一实施例提供的手术显微镜双路输出微型图案立体成像显示系统的结构示意图。
图2是本发明第二实施例提供的手术显微镜双路输出微型图案立体成像显示系统的结构示意图。
图3是本发明第一实施例提供的手术显微镜双路输出微型图案立体成像显示方法的流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参考图1，是本发明第一实施例所提供的手术显微镜双路输出微型图案立体成像显示系统的结构示意图。如图所示，该显示系统包括包括手术显微镜100、处理装置200、裸眼3D显示设备300及投影屏幕400。手术显微镜100的输出端连接处理装置200，处理装置200包括两个输出端，分别连接裸眼3D显示设备300及投影屏幕400。
其中，手术显微镜100用于获取手术图像，并将手术图像传输至处理装置200。
处理装置200还包括第一处理单元201及第二处理单元202。第一处理单元201用于接收手术图像，并对其进行灰度化处理和中值滤波处理等预处理。
第二处理单元202用于对预处理后的手术图像进行图像分割、图像配准以及图像融合处理，通过渲染交织以得到带有深度值的目标图像。处理装置200还用于通过两个输出端将所述目标图像同步输出至所述裸眼3D显示设备300和投影屏幕400。需要说明的是，图像分割包括基于边界的分割方法和基于阈值的图像分割方法；图像配准是采用基于内部特征的图像配准方法；图像融合包括图像数据的融合和融合图像的显示，图像数据的融合采用以图像特征为基础的方法，进行特征提取和目标分割，融合图像的显示采用将融合后的图像数据以图像的形式进行显示。
在本实施例中，第二处理单元202采用Canny边缘检测法对预处理后的所述手术图像进行分割。Canny边缘检测法是基于边界的分割方法的一种，其是从不同视觉对象中提取有用的结构信息并大大减少要处理的数据量的一种技术，目前已广泛应用于各种计算机视觉系统。在不同视觉系统上对边缘检测的要求较为类似，因此，可以实现一种具有广泛应用意义的边缘检测技术。边缘检测的一般标准包括：
1、以低的错误率检测边缘，也即意味着需要尽可能准确的捕获图像中尽可能多的边缘。
2、检测到的边缘应精确定位在真实边缘的中心。
3、图像中给定的边缘应只被标记一次，并且在可能的情况下，图像的噪声不应产生假的边缘。
为了满足这些要求，在目前常用的边缘检测方法中，Canny边缘检测算法是具有严格定义的，可以提供良好可靠检测的方法之一。由于它具有满足边缘检测的三个标准和实现过程简单的优势，成为边缘检测最流行的算法之一。
Canny边缘检测算法可以分为以下5个步骤：
1、使用高斯滤波器，以平滑图像，滤除噪声。
2、计算图像中每个像素点的梯度强度和方向。
3、应用非极大值(Non-Maximum Suppression)抑制，以消除边缘检测带来的杂散响应。
4、应用双阈值(Double-Threshold)检测来确定真实的和潜在的边缘。
5、通过抑制孤立的弱边缘最终完成边缘检测。
可选地，在本发明其它实施例中，第二处理单元202可采用自适应阈值的分割方法对预处理后的所述手术图像进行分割。自适应阈值的分割方法是基于阈值的图像分割方法的一种。在具体应用时，可采用根据灰度、梯度、形态等参数来设定自适应阈值，该方法被称为大津法(OTSU)，它是按图像的灰度特性,将图像分成背景和目标2部分。背景和目标之间的类间方差越大，说明构成图像的2部分的差别越大，当部分目标错分为背景或部分背景错分为目标都会导致2部分差别变小。因此，使类间方差最大的分割意味着错分概率最小。
进一步地，为了提高成像质量，第二处理单元202还可对融合后的图像进行伪彩色处理，将其进行处理变换为彩色图像。具体地，伪彩色处理的方法采用灰度分割方法，包括：将融合后的图像的灰度图作为一个亮度函数，用一个平行于图像坐标轴的平面来切割亮度函数，把亮度函数分为两个灰度值区间，并赋予两种不同的颜色，将其推广，根据不同的灰度级划分灰度值区间，对每个灰度值区间内的像素赋予一种颜色。可选地，伪彩色处理的方法采用频域滤波法，包括：首先对融合后的图像进行傅里叶变换，根据图像中各区域中的不同频率分量给区域赋予不同的颜色，未得到不同的频率分量分别通过三个不同频带的滤波器产生不同的频率分量，再将输出的频率分量进行傅里叶反变换，最后将各通路的图像分别输入到处理子系统中彩色显示器对应的入口中。在应用时，所述滤波器包括红色高通滤波器、绿色带通滤波器和蓝色低通滤波器。
实施本发明实施例的手术显微镜双路输出微型图案立体成像显示系统，处理装置对手术显微镜双路获取的手术图像进行一系列图像处理以得到目标图像，再通过两个输出端将目标图像同步输出至裸眼3D显示设备和投影屏幕；目标图像在裸眼3D显示设备后可展现出3D效果，便于手术辅助人员或实习医生准确感知手术信息，也方便进行学习和交流。此外，目标图像在投影屏幕可展现出二维平面效果，手术辅助人员或实习医生可以将裸眼3D显示设备和投影屏幕所展现的手术图像进行比对，从而更好地进行学习与交流。
请参考图2，是本发明第二实施例所提供的手术显微镜双路输出微型图案立体成像显示系统的结构示意图。如图所示，该显示系统包括包括手术显微镜100’、处理装置200’、裸眼3D显示设备300’、投影屏幕400’、多个双摄像头组500、数据传输模块600及VR显示器700。
本实施例与第一实施例的区别在于：
多个双摄像头组500分别对准人体的检测区域以同步采集同体双幅图像信息，并双路输出给所述数据传输模块600；所述数据传输模块600接收图像信息并处理，将带有深度值的图像信息传送至所述裸眼3D显示设备300’；
所述数据传输模块600包括柔性导线。所述柔性导线包括包层和内芯，所述包层上设有生物材料。优选地，所述内芯为一根或多根柔性光导纤维，所述生物材料包括医用硅胶。采用柔性光导纤维可以将多个摄像头放置于人体的不同区域，从而可以同时对人体的不同部位同时进行检测以及立体呈现，提高了系统的工作效率。此外，包层上设置的生物材料采用医用硅胶，利用医用硅胶可降低患者出现过敏反应等风险。
所述处理装置200’还包括接收模块203，所述接收模块203用于接收所述手术图像并将所述手术图像传送至所述VR显示器700。该VR显示器700可以包括但不仅限于头戴式VR设备，当用户佩戴该VR显示器700时，可以更加直观地了解表征患者情况的手术信息。
需要说明的是，本实施例中的手术显微镜100’、处理装置200’、裸眼3D显示设备300’、投影屏幕400’、第一处理单元201’及第二处理单元202’的具体功能，请对应参照第一实施例中的手术显微镜100、处理装置200、裸眼3D显示设备300、投影屏幕400、第一处理单元201及第二处理单元202，在此不再赘述。
实施本发明实施例的手术显微镜双路输出微型图案立体成像显示系统，处理装置对手术显微镜双路获取的手术图像进行一系列图像处理以得到目标图像，再通过两个输出端将目标图像同步输出至裸眼3D显示设备和投影屏幕；目标图像在裸眼3D显示设备后可展现出3D效果，便于手术辅助人员或实习医生准确感知手术信息，也方便进行学习和交流。此外，目标图像在投影屏幕可展现出二维平面效果，手术辅助人员或实习医生可以将裸眼3D显示设备和投影屏幕所展现的手术图像进行比对，从而更好地进行学习与交流。
相应地，在上述实施例所提供的手术显微镜双路输出微型图案立体成像显示系统的基础上，本发明实施例还提供了一种手术显微镜双路输出微型图案立体成像显示方法，该方法适用于前述的手术显微镜双路输出微型图案立体成像显示系统。该方法包括以下步骤：
S101，手术显微镜采集手术图像，双路同步采集、输出图像信息。
S102，第一处理单元对所述手术图像进行预处理。
其中，所述预处理包括灰度化处理和中值滤波处理。
S103，第二处理单元对预处理后的所述手术图像进行图像分割、图像配准以及图像融合处理，通过渲染交织以得到带有深度值的目标图像。
S104，处理装置通过输出端将所述目标图像同步输出至所述裸眼3D显示设备和投影屏幕。
此外，本实施例中，显示系统还包括VR显示器，所述处理装置还包括接收模块，所述方法还包括：
所述接收模块接收所述手术图像并将所述手术图像传送至所述VR显示器。
进一步地，所述显示系统还包括数据传输模块和多个双摄像头组，双像头组对准人体的检测区域以同步采集同体双幅图像信息，并双路输出给所述数据传输模块；数据处理模块接收图像信息并处理，将带有深度值的图像信息传送至所述裸眼3D显示设备；所述数据传输模块包括柔性导线，所述柔性导线包括包层和内芯，所述包层上设有生物材料。
需要说明的是，该显示方法的具体步骤可参考前述显示系统部分的描述，在此不再赘述。
实施本发明实施例的手术显微镜双路输出微型图案立体成像显示方法，处理装置对手术显微镜双路获取的手术图像进行一系列图像处理以得到目标图像，再通过两个输出端将目标图像同步输出至裸眼3D显示设备和投影屏幕；目标图像在裸眼3D显示设备后可展现出3D效果，便于手术辅助人员或实习医生准确感知手术信息，也方便进行学习和交流。此外，目标图像在投影屏幕可展现出二维平面效果，手术辅助人员或实习医生可以将裸眼3D显示设备和投影屏幕所展现的手术图像进行比对，从而更好地进行学习与交流。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (9)
1.一种手术显微镜双路输出微型图案立体成像显示系统，包括手术显微镜、处理装置、裸眼3D显示设备以及投影屏幕，所述手术显微镜用于获取手术图像，其特征在于，所述处理装置包括第一处理单元、第二处理单元以及输出端；
所述第一处理单元用于对所述手术图像进行预处理，所述预处理包括灰度化处理和中值滤波处理；
所述第二处理单元用于对预处理后的所述手术图像进行图像分割、图像配准以及图像融合处理，通过渲染交织以得到带有深度值的目标图像；
所述处理装置用于通过输出端将所述目标图像同步输出至所述裸眼3D显示设备和投影屏幕。
2.如权利要求1所述的手术显微镜双路输出微型图案立体成像显示系统，其特征在于，所述第二处理单元用于采用Canny边缘检测法对预处理后的所述手术图像进行分割。
3.如权利要求1所述的手术显微镜双路输出微型图案立体成像显示系统，其特征在于，所述显示系统还包括数据传输模块和多个双摄像头组，双像头组对准人体的检测区域以同步采集同体双幅图像信息，并双路输出给所述数据传输模块；数据处理模块接收图像信息并处理，将带有深度值的图像信息传送至所述裸眼3D显示设备。
4.如权利要求3所述的手术显微镜双路输出微型图案立体成像显示系统，其特征在于，所述数据传输模块包括柔性导线，所述柔性导线包括包层和内芯，所述包层上设有生物材料。
5.如权利要求4所述的手术显微镜双路输出微型图案立体成像显示系统，其特征在于，所述内芯为一根或多根柔性光导纤维，所述生物材料包括医用硅胶。
6.如权利要求1所述的手术显微镜双路输出微型图案立体成像显示系统，其特征在于，所述显示系统还包括VR显示器，所述处理装置还包括接收模块，所述接收模块用于接收所述手术图像并将所述手术图像传送至所述VR显示器。
7.一种手术显微镜双路输出微型图案立体成像显示方法，适用于如权利要求1所述的手术显微镜双路输出微型图像的显示系统，其特征在于，所述方法包括：
所述手术显微镜双镜头获取手术图像，并以双路同步采集、同步对同一目标双路输出手术图像的图像信息；
所述第一处理单元对所述手术图像进行预处理，所述预处理包括灰度化处理和中值滤波处理；
所述第二处理单元对预处理后的所述手术图像进行图像分割、图像配准以及图像融合处理，通过渲染交织以得到带有深度值的目标图像；
所述处理装置通过输出端将所述目标图像同步输出至所述裸眼3D显示设备和投影屏幕。
8.如权利要求7所述的手术显微镜双路输出微型图案立体成像显示方法，其特征在于，所述显示系统还包括VR显示器，所述处理装置还包括接收模块，所述方法还包括：
所述接收模块接收所述手术图像并将所述手术图像传送至所述VR显示器。
9.如权利要求7或8所述的手术显微镜双路输出微型图案立体成像显示方法，其特征在于，所述显示系统还包括数据传输模块和多个双摄像头组，双像头组对准人体的检测区域以同步采集同体双幅图像信息，并双路输出给所述数据传输模块；数据处理模块接收图像信息并处理，将带有深度值的图像信息传送至所述裸眼3D显示设备；所述数据传输模块包括柔性导线，所述柔性导线包括包层和内芯，所述包层上设有生物材料。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811081423.5A CN109246419A (zh) | 2018-09-17 | 2018-09-17 | 手术显微镜双路输出微型图案立体成像显示系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811081423.5A CN109246419A (zh) | 2018-09-17 | 2018-09-17 | 手术显微镜双路输出微型图案立体成像显示系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109246419A true CN109246419A (zh) | 2019-01-18 |
Family
ID=65059558
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811081423.5A Pending CN109246419A (zh) | 2018-09-17 | 2018-09-17 | 手术显微镜双路输出微型图案立体成像显示系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109246419A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN202548430U (zh) * | 2011-12-14 | 2012-11-21 | 广州博冠企业有限公司 | 立体成像光学组件及基于单物镜的数字三维立体显微系统 |
| CN105791800A (zh) * | 2014-12-29 | 2016-07-20 | 深圳超多维光电子有限公司 | 立体显示系统及立体显示方法 |
| CN107479180A (zh) * | 2017-08-28 | 2017-12-15 | 中国科学院上海微系统与信息技术研究所 | 一种显微立体图像采集装置 |
| CN107595408A (zh) * | 2017-09-30 | 2018-01-19 | 华中科技大学 | 2d与裸眼3d双屏内窥镜系统及显示方法 |
| CN107689045A (zh) * | 2017-09-06 | 2018-02-13 | 艾瑞迈迪医疗科技（北京）有限公司 | 内窥镜微创手术导航的图像显示方法、装置及系统 |
-
2018
- 2018-09-17 CN CN201811081423.5A patent/CN109246419A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN202548430U (zh) * | 2011-12-14 | 2012-11-21 | 广州博冠企业有限公司 | 立体成像光学组件及基于单物镜的数字三维立体显微系统 |
| CN105791800A (zh) * | 2014-12-29 | 2016-07-20 | 深圳超多维光电子有限公司 | 立体显示系统及立体显示方法 |
| CN107479180A (zh) * | 2017-08-28 | 2017-12-15 | 中国科学院上海微系统与信息技术研究所 | 一种显微立体图像采集装置 |
| CN107689045A (zh) * | 2017-09-06 | 2018-02-13 | 艾瑞迈迪医疗科技（北京）有限公司 | 内窥镜微创手术导航的图像显示方法、装置及系统 |
| CN107595408A (zh) * | 2017-09-30 | 2018-01-19 | 华中科技大学 | 2d与裸眼3d双屏内窥镜系统及显示方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107137053B (zh) | 使用伪彩色的诸如显微镜或内窥镜的医疗检查装置 | |
| CA2939345C (en) | Method and system for providing recommendation for optimal execution of surgical procedures | |
| WO2023103467A1 (zh) | 图像处理方法、装置及设备 | |
| US11503201B2 (en) | Focus detection device and method | |
| US9635343B2 (en) | Stereoscopic endoscopic image processing apparatus | |
| CN106535736B (zh) | 图像处理装置、图像处理方法以及图像处理程序 | |
| CN107077630A (zh) | 半透明标记、用于合成及探测半透明标记的方法、透明标记、以及用于合成及探测透明标记的方法 | |
| CN109310278A (zh) | 图像处理装置、图像处理方法、程序和图像处理系统 | |
| CN104185441B (zh) | 立体视觉内窥镜系统 | |
| US20190274518A1 (en) | Medical observation device, such as a microscope or an endoscope, and method using a pseudo-color pattern having temporal and/or spatial modulation | |
| CN104116496A (zh) | 医用三维静脉血管增强现实装置及方法 | |
| CN109068035B (zh) | 一种智能微相机阵列内窥成像系统 | |
| CN105342561B (zh) | 无线声控穿戴式分子影像导航系统 | |
| CN105208909A (zh) | 用于立体显示图像数据的方法和装置 | |
| CN108064447A (zh) | 图像显示方法、智能眼镜及存储介质 | |
| CN106510626A (zh) | 基于双目立体视觉的人体浅层静脉三维重建装置及方法 | |
| CN115919239A (zh) | 用于3d内窥镜成像系统的成像方法和3d内窥镜成像系统 | |
| CN116172493A (zh) | 用于内窥镜系统的成像及显示方法和内窥镜系统 | |
| CN109091099A (zh) | 双目视觉的高清微型电子内窥镜系统 | |
| US20220308328A1 (en) | Binocular device | |
| Özgür et al. | [POSTER] visualizing in-organ tumors in augmented monocular laparoscopy | |
| CN109246419A (zh) | 手术显微镜双路输出微型图案立体成像显示系统及方法 | |
| JP2020124495A (ja) | 強度または輝度に依存する疑似色パターン特性の変化を使用する画像処理装置、画像処理方法およびそのような画像処理装置を備えた医療用観察装置 | |
| US10855980B2 (en) | Medical-image display control device, medical image display device, medical-information processing system, and medical-image display control method | |
| CN110070062A (zh) | 一种基于双目主动红外的人脸识别的系统和方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190118 |
|
| RJ01 | Rejection of invention patent application after publication |