CN113822862A - 一种工业窑炉高温工业内窥镜在线全智能自维护装置及其方法 - Google Patents

一种工业窑炉高温工业内窥镜在线全智能自维护装置及其方法 Download PDF

Info

Publication number
CN113822862A
CN113822862A CN202111047118.6A CN202111047118A CN113822862A CN 113822862 A CN113822862 A CN 113822862A CN 202111047118 A CN202111047118 A CN 202111047118A CN 113822862 A CN113822862 A CN 113822862A
Authority
CN
China
Prior art keywords
lens
image
endoscope
layer cylinder
industrial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111047118.6A
Other languages
English (en)
Other versions
CN113822862B (zh
Inventor
陈致蓬
吴婧祎
蒋朝辉
桂卫华
阳春华
沈玲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central South University
Original Assignee
Central South University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central South University filed Critical Central South University
Priority to CN202111047118.6A priority Critical patent/CN113822862B/zh
Publication of CN113822862A publication Critical patent/CN113822862A/zh
Application granted granted Critical
Publication of CN113822862B publication Critical patent/CN113822862B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407—Optical details
    • G02B23/2423—Optical details of the distal end
    • G02B23/243—Objectives for endoscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476—Non-optical details, e.g. housings, mountings, supports
    • G02B23/2492—Arrangements for use in a hostile environment, e.g. a very hot, cold or radioactive environment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20028—Bilateral filtering
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P10/00—Technologies related to metal processing
    • Y02P10/25—Process efficiency

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Astronomy & Astrophysics (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

本发明提供了一种工业窑炉高温工业内窥镜在线全智能自维护装置，包括有内窥镜镜头遮盖组件、内窥镜外壳与冷却组件、镜头在线更换推动组件以及与内窥镜通信连接的上位机；内窥镜外壳与冷却组件为内外双层筒状结构，内层筒与外层筒之间的空间为气孔通道，气孔通道分别与进气孔以及出气孔连通；镜头在线更换推动组件包括有更换推动组件以及镜头转动电机，更换推动组件包括有镜头组以及镜头推动组件；内窥镜镜头遮盖组件包括有内窥镜镜头遮盖以及舵机。本发明还提供了一种工业窑炉高温工业内窥镜在线全智能自维护方法。本发明在无需停止工业窑炉运行的前提下，利用螺纹机械旋转，并结合内窥镜镜头遮盖与进气孔控制，实现了内窥镜镜片的在线自动替换。

Description

一种工业窑炉高温工业内窥镜在线全智能自维护装置及其 方法
技术领域
本发明涉及工业窑炉设备技术领域，特别涉及工业窑炉高温工业内窥镜在线全智能自维护装置及其方法。
背景技术
随着冶炼工业技术的发展与成熟，安装内窥镜来观察并控制工业窑炉冶炼的方式被大量运用于实际。然而在内窥镜的使用中，由于工业窑炉内部拥有大量的高温粉尘，且内窥镜与炉内粉尘之间存在的温度差会产生吸附效应，所以内窥镜镜头极易沾染大量粉尘并难以将其清除。而镜头上沾染的粉尘会严重地干扰内窥镜对炉内画面的拍摄，不利于对炉内料面的观察与控制，会带来能耗排放增加、冶炼成本增加等负面问题，同时也无法保证工业窑炉顺行，埋下了安全隐患，最终影响工业窑炉的长期稳定运行。所以，保证内窥镜能长期稳定地拍摄并获取炉内清晰料面是保证工业窑炉长期稳定运行的关键。工业窑炉内具有高温、高压、高粉尘的特点，一般的设备在高温环境下暴露会极大地缩短使用寿命甚至瞬间损坏；高压环境则会增加设备的磨损率使得设备容易损坏，影响设备的稳定运行；炉内的大量高温粉尘则会在存在温度差的设备表面吸附结痂，导致设备无法继续使用。
在这种高温高压的环境下，考虑了耐高温的材料选择与耐高压的结构设计后，为减少炉内粉尘对内窥镜镜头带来的影响，工业窑炉内窥镜的改进分为了两种解决思路：一种为接触粉尘后清理粉尘，另一种为避免接触粉尘。而后者又分为两个处理方向，一个方向为增加装置外壳，另一个方向为增加伸缩装置。现逐一说明如下：
接触粉尘后清理粉尘：通过改进内窥镜，在内窥镜中增添气体通道，在通道内压入气体并在内窥镜镜头处喷出，形成气体屏障，从而保护摄像头不被粉尘污染，此方法同时也能起一定的冷却作用。但在遇到工业窑炉顶温异常的降温处理情况时，降温所用的喷水会与粉尘混合，而气体屏障难以完全隔绝水与粉尘的混合物，所以此时内窥镜镜头仍会被粉尘污染，最终无法进行正常拍摄。
增加装置外壳：通过在内窥镜外部增加保护外壳，以此避免接触工业窑炉内的粉尘，从而保护外壳内部的内窥镜。这种方式的确能够用物理隔绝的方式消除粉尘对内窥镜镜头的影响。但因保护外壳在被粉尘污染后仍需人工取出并更换，本质上并未解决因炉内粉尘而缩短的镜头使用寿命的问题。
增加伸缩装置：通过为内窥镜增加机械结构，使之能在工业窑炉内外伸缩，从而避免了内窥镜长期处于工业窑炉内部的高粉尘环境之中，有效地减少了内窥镜镜头沾染工业窑炉内的粉尘。拥有可伸缩机械结构的内窥镜一定程度上减少了粉尘对内窥镜的影响，但是这种装置运用时却拥有无法实时观测工业窑炉内部情况的致命缺点。无法实时观测工业窑炉内部情况则无法第一时间排除设备潜藏的安全问题，这将会带来严重的安全隐患。
专利公开号CN205281011U实用新型专利是一种耐高温防尘内窥摄像装置，该装置由摄像头与保护套管组成。摄像头会通过卡具固定在保护套管内管的头端。保护套管为套筒状结构且分为外管与内管，外管设有进水口与出水口，通过水流形成水冷套，起冷却作用；内管设置进气孔，气体从内管尾端输送到内管头端，通入的气体会在镜头处形成气体屏障，阻挡工业窑炉内的粉尘起防尘效果的同时也起到了气冷的效果。但此装置的明显缺点在于，当工业窑炉炉内处于顶温异常的降温处理阶段时，由于喷气的力量太弱，无法阻挡水和粉尘的结合物粘贴吸附在镜头上，因此内窥镜镜头仍会粘上大量粉尘，无法正常使用。
专利公开号CN213365178U实用新型专利是一种用于工业内窥镜防电防水防污的保护套，此保护套由保护罩、保护罩固定套、后固定套和后固定板等组件组成并固定在内窥镜外部。保护套的材料选择了非金属绝缘材料，以此达到防电的目的。同时，通过在组件之间添加密封圈以及设计各组件相互嵌合的组装方式，让保护外壳拥有了良好的密封性，从而使保护套具有了防水防污能力。这种为内窥镜增加保护外壳的方式的确能保护内窥镜镜头不受粉尘影响，避免了镜头的污染与损坏。但是当保护套受粉尘污染后，此时内窥镜还是无法正常拍摄，仍需停止工业窑炉的运行，进行人工更换保护套。
专利公开号CN209608754U实用新型专利是一种用于锅炉的内窥式监控摄像机构，工作原理为在需要监测炉内情况时，开启自封闭弹簧炉门，导轨滑块带动高温摄像头进入炉内拍摄。拍摄完毕后，导轨滑块带动高温摄像头从炉内移出，并关闭自封闭弹簧炉门。这种方式虽然能减少镜头在炉内接触粉尘的时间，从而减少镜头上沾染的粉尘量，有利于延长镜头的使用寿命。但利用这种伸缩结构观测到的炉内数据将不再是连续的，这种不连续且非实时性的数据可能会导致工作人员无法及时发现异常情况并最终产生严重后果。同时，这种伸缩结构在长期使用时，多次地伸缩可能导致机械结构损坏即伸缩机构无法正常运作，最终这将会影响整体装置的长期稳定运行。
发明内容
本发明的目的在于设计了一种高温工业内窥镜镜片的在线自维护装置，在无需停止工业窑炉运行的前提下，利用螺纹机械旋转，并结合内窥镜镜头遮盖与进气孔控制，实现了内窥镜镜片的在线自动替换。
本发明所述高温工业内窥镜镜片的在线自维护装置的技术方案如下：
一种工业窑炉高温工业内窥镜在线全智能自维护装置，包括有内窥镜镜头遮盖组件、内窥镜外壳与冷却组件、镜头在线更换推动组件以及与内窥镜通信连接的上位机。
内窥镜外壳与冷却组件为内外双层筒状结构，内层筒与外层筒之间的空间为气孔通道，气孔通道分别与设置在外层筒轴向外表面上端的进气孔以及设置在外层筒轴向外表面下端的出气孔连通；内层筒轴向外表面缠绕有螺旋形水管，其进出水端分别与设置在外层筒轴向外表面上端的进水口和出水口连通。
镜头在线更换推动组件包括有套设在内层筒内中后部的更换推动组件以及位于内窥镜外壳外部的镜头转动电机，更换推动组件包括有位于内层筒内中部且与内层筒内腔壁滑动连接的镜头组以及与嵌入式安装在内层筒内后端部且前端与镜头组螺纹连接而后端与镜头转动电机传动轴固定连接的镜头推动组件，镜头组与开设在内外层筒前中部的镜头镜片漏孔相对应。
内窥镜镜头遮盖组件包括有靠近外层筒前端且与外层筒前端端口对应的内窥镜镜头遮盖以及位于外层筒后端的舵机，舵机通过其舵机连动转轴沿外层筒轴向贯穿气孔通道与内窥镜镜头遮盖固定连接。
上位机用于接收内窥镜采集的料面图像，并对该料面图像进行处理和识别，并判断是否处于工业窑炉顶温异常的降温处理工况；其包括有图像预处理模块、边缘检测模块、特征识别模块以及判断模块；图像预处理模块，用于对料面图像进行图像灰度化、图像平滑处理以及直方图均衡化；边缘检测模块，用于对预处理后的图像，采用Sobel算子进行边缘检测；特征识别模块，用于对经过边缘检测后的图像进行矩形蒙版和规则匹配；判断模块，用于根据处理后的料面图像，判断炉内是否处于顶温异常的降温处理工况。
进一步地，镜头组前端设置有多个镜头镜片，其中部设置有透镜组，其尾部与镜头推动组件前端通过螺纹结构连接，镜头镜片、透镜组、镜头推动组件以及镜头转动电机传动轴四者的中心轴线为同一直线。
进一步地，镜头组和镜头推动组件均呈圆筒状结构，且两者的中心轴线均与内外层筒的中心轴线为同一直线。
进一步地，镜头镜片漏孔包括有开设在内层筒前中部且靠近镜头镜片位置的镜头镜片漏孔Ⅰ和开设在外层筒前中部且位于镜头镜片漏孔Ⅰ正下方的镜头镜片漏孔Ⅱ，镜头镜片漏孔Ⅰ和镜头镜片漏孔Ⅱ均与镜头镜片相对应。
本发明中，内窥镜镜头遮盖组件由内窥镜前端的内窥镜镜头遮盖、内窥镜内部的舵机连动转轴以及内窥镜后端的舵机组成，其主要作用为在判断出炉内处于顶温异常的降温处理工况时，及时通过物理遮挡的方式减少粉尘进一步对镜头进行污染，同时也在更换镜头时保证了更换后的新镜头不会被粉尘重新污染。
本发明中，内窥镜外壳与内窥镜镜头遮盖组件均采用耐高温材料制作；内窥镜镜头遮盖组件，具有双层筒结构，其中，内外双层筒之间为气孔通道，内层筒内则放置镜头在线更换推动组件；外壳上包含了进气孔、出气孔、进水口、出水口与镜头镜片漏孔；其中进气孔、出气孔、进水口以及出水口为冷却组件；进气孔与出气孔使气体在气孔通道内流通形成气冷效果；进水口中的水流经由内窥镜内部螺旋形水管最后到达出水口以此循环流通形成水冷效果。
本发明中，镜头组主要由不可更换的透镜组和可更换的一组蓝宝石材料制成的镜头镜片组成；镜头镜片处于内窥镜前端，靠近镜头镜片漏孔处；在镜头在线更换推动组件的推动下，第一块镜片将从镜头镜片漏孔处掉落，后面新的镜头镜片将会代替原来的镜片，以此完成镜头镜片的更换与替代。
本发明中，镜头在线更换推动组件由更换推动组件与镜头转动电机组成，更换推动组件又分为前端的镜头组和后端与电机固定相连的镜头推动组件；当镜头转动电机转动时，将带动与电机固定相连镜头推动组件的螺纹旋转，从而由螺纹旋转带动前端镜头组往前推动，以此形成把镜头镜片往前推动的功能。
针对工业窑炉顶温异常的降温处理工况识别方面，本发明还提供了一种工业窑炉高温工业内窥镜在线全智能自维护方法，通过图像灰度化、双边滤波、直方图均衡化、特征匹配等，能够在线地对工业窑炉顶温异常的降温处理工况进行识别与判断，以及通过在线的高温工业内窥镜镜头清理，解决了在工业窑炉顶温异常的降温处理阶段时内窥镜镜头因吸附粉尘结痂而导致内窥镜无法继续使用的问题，增加了高温工业内窥镜的使用寿命，节约了成本。
本发明所述高温工业内窥镜镜片的在线自维护方法的技术方案如下：
一种工业窑炉高温工业内窥镜在线全智能自维护方法，所述方法包括以下步骤：
步骤1.内窥镜采集炉内料面图像，并将采集的料面图像传送给上位机；
步骤2.上位机接收到传输的图像，先后对图像进行图像预处理、边缘检测及特征识别，判断此时是否处于工业窑炉顶温异常的降温处理工况；若判定此时处于工业窑炉顶温异常的降温处理工况，则继续进行步骤3，若不处于则回到步骤1；
步骤3.舵机带动舵机连动转轴自动转动，使内窥镜镜头遮盖合上，然后关闭进气孔；
步骤4.开启镜头转动电机，与镜头转动电机固定连接的镜头推动组件同时开始转动，并推动镜头镜片往前运动，当镜头镜片中的第一个镜片从镜头镜片漏孔处掉落后，完成受粉尘污染的镜头镜片的更换；
步骤5：打开进气口以及内窥镜镜头遮盖，在线自维护工作执行完毕，内窥镜继续正常运作并对炉内情况进行监测。
进一步地，所述图像预处理包括以下步骤：
图像灰度化：图像从RGB变为灰度图像，采用加权平均的方式，灰度化公式如下：
Gray(i,j)＝0.299*R(i,j)+0.578*G(i,j)+0.114*B(i,j) (1)
其中Gray(i,j)为灰度化后图像像素灰度值，R(i,j)为原图像红色分量，G(i,j)为原图像绿色分量；
图像平滑处理：用双边滤波方法对图像进行处理，其公式为：
Figure BDA0003248723830000051
其中，
Figure BDA0003248723830000052
BF[I]p为像素p经过边缘滤波后的结果，
Figure BDA0003248723830000053
起归一化作用，Iq为图像I在q点的灰度值，Ip为图像I在p点的灰度值，p、q分别代表图像I中的某个点即p＝(px,py)、q＝(qx,qy)，σS为空间域标准差，σr为像素范围域标准差，
Figure BDA0003248723830000054
代表着空间域权重(SpaceWeight)，
Figure BDA0003248723830000055
代表着像素范围域权重(Range Weight)；
直方图均衡化：计算原图像的灰度直方图nk，nk为图像中灰度级为k的像素个数，k∈0,1,…,L-1，其中L为图像的灰度级深度；
计算原图像像素总数N；
计算原始图像灰度累积分布频率，计算公式为：
Figure BDA0003248723830000061
其中，sk为原图像中灰度级为k的对应的均衡化后的灰度级；
根据sk，把原图像中的灰度都从k映射到sk，完成直方图均衡化。
进一步地，所述边缘检测的算子采用Sobel算子进行，Sobel算子对应的卷积模板如下：
Figure BDA0003248723830000062
Figure BDA0003248723830000063
其中，
Figure BDA0003248723830000064
进一步地，所述特征识别，包括蒙版匹配和规则匹配步骤，
其中，蒙版匹配包括以下步骤：
构建一个矩形蒙版，将水柱与火星可能会出现的位置灰度值置255，图像中完全不会出现水柱与火星的位置灰度值置0；
将矩形蒙版与经过边缘提取后的图像相与，当蒙版灰度值为255的区域经过与运算后灰度值未全是0时，则判定对应区域内出现了水柱或火星疑似轮廓；
其中，规则匹配，利用霍夫变换对经过蒙版匹配后的疑似轮廓进行直线检测和圆的检测；进行直线检测时，当图像中的像素点经过霍夫变换后在霍夫空间中交于同一点则可认为原图像坐标空间里的这些像素点组成的是一条直线；进行圆的检测时，当图像中像素点经过霍夫变换后在霍夫空间中形成的圆都经过同一个点，则可判定这些点在图像坐标空间里是组成了一个圆形。
与现有技术相比，本发明的有益效果在于：
1.在对处于工业窑炉顶温异常的降温处理工况，内窥镜镜头被粉尘污染后处理的方面，与现有技术相比，本发明放弃对镜片进行清洁处理，转而以新的镜头镜片在线更换被污染的镜片作为思路而设计了本发明。
2.在推动组件设计方面，利用电机与螺纹结合的机械结构来达到推动镜片的效果；这种机械结构，结构稳定、不易损坏、制作成本低廉、方便替换、满足实现在线自维护要求的硬件条件，且将螺纹设计于内窥镜后端，受炉内高温影响较小，能够支持内窥镜的长期稳定运行。
3.在内窥镜镜头遮盖运动设计方面，内窥镜镜头遮盖的旋转运动采用将镜头遮盖与旋转轴直接连接，并在内窥镜后端利用舵机进行控制遮盖旋转的方式；通过机械结构的连接，并把电气设备放置于内窥镜后端，有助于保证内窥镜镜头遮盖旋转功能的稳定性，确保遮盖的旋转能够长期地正常运作。
4.在图像的智能处理方面，会预先对图像进行灰度处理，并利用双边滤波在保留边缘信息的同时对图像进行平滑处理，最后采用直方图均衡化方法提高图像对比度并使之拥有更好的清晰度；图像的预处理使得图像在进行边缘检测前就有较好的画面质量，从而在进行边缘检测时，只需要用到Sobel这种简单的算子来进行检测即可完成检测目的，提高了整体图像处理的运算速度。
附图说明
构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是本发明实施例所述的工业窑炉高温工业内窥镜在线全智能自维护装置的结构示意图；
图2是本发明实施例所述的内窥镜外壳与冷却组件的结构示意图；
图3是本发明实施例所述的镜头在线更换推动组件的结构示意图；
图4是本发明实施例所述的工业窑炉高温工业内窥镜在线全智能自维护方法的流程图；
图5是本发明实施例所述的工业窑炉顶温异常的降温处理工况智能识别方法的流程图；
附图标记中，S1：内窥镜镜头遮盖；S2:舵机连动转轴；S3：镜头镜片；S4：透镜组；S5：舵机；S6：进气孔；S7：进水口；S8：出水口；S9：气孔通道；S10：镜头镜片漏孔；S11：出气孔；S12：螺纹结构；S13：镜头组；S14：镜头推动组件；S15：镜头转动电机；U1：图像预处理步骤；U2：图像边缘检测步骤；U3：图像特征识别步骤；U4：智能图像处理步骤；U5：在线自维护机械动作步骤。
具体实施方式
以下结合附图对本发明的实施例进行详细说明，但是本发明可以由权利要求限定和覆盖的多种不同方式实施。
如附图1所示，一种工业窑炉高温工业内窥镜在线全智能自维护装置，包括有内窥镜镜头遮盖组件、内窥镜外壳与冷却组件、镜头在线更换推动组件以及与内窥镜通信连接的上位机。
如附图2所示，内窥镜外壳与冷却组件为内外双层筒状结构，内层筒与外层筒之间的空间为气孔通道S9，气孔通道S9分别与设置在外层筒轴向外表面上端的进气孔S6以及设置在外层筒轴向外表面下端的出气孔S11连通；内层筒轴向外表面缠绕有螺旋形水管，其进出水端分别与设置在外层筒轴向外表面上端的进水口S7和出水口S8连通。
如附图3所示，镜头在线更换推动组件包括有套设在内层筒内中后部的更换推动组件以及位于内窥镜外壳外部的镜头转动电机S15，更换推动组件包括有位于内层筒内中部且与内层筒内腔壁滑动连接的镜头组S13以及与嵌入式安装在内层筒内后端部且前端与镜头组S13螺纹连接而后端与镜头转动电机S15传动轴固定连接的镜头推动组件S14，镜头组S13与开设在内外层筒前中部的镜头镜片漏孔S10相对应；镜头镜片漏孔S10包括有开设在内层筒前中部且靠近镜头镜片S3位置的镜头镜片漏孔Ⅰ和开设在外层筒前中部且位于镜头镜片漏孔Ⅰ正下方的镜头镜片漏孔Ⅱ，镜头镜片漏孔Ⅰ和镜头镜片漏孔Ⅱ均与镜头镜片S3相对应。
镜头组S13前端设置有多个镜头镜片S3，其中部设置有透镜组S4，其尾部与镜头推动组件S14前端通过螺纹结构S12连接，镜头镜片S3、透镜组S4、镜头推动组件S14以及镜头转动电机S15传动轴四者的中心轴线为同一直线；镜头组S13和镜头推动组件S14均呈圆筒状结构，且两者的中心轴线均与内外层筒的中心轴线为同一直线。
内窥镜镜头遮盖组件包括有靠近外层筒前端且与外层筒前端端口对应的内窥镜镜头遮盖S1以及位于外层筒后端的舵机S5，舵机S5通过舵机连动转轴S2沿外层筒轴向贯穿气孔通道S9与内窥镜镜头遮盖S1固定连接。
上位机用于接收内窥镜采集的料面图像，并对该料面图像进行处理和识别，并判断是否处于工业窑炉顶温异常的降温处理工况；其包括有图像预处理模块、边缘检测模块、特征识别模块以及判断模块；图像预处理模块，用于对料面图像进行图像灰度化、图像平滑处理以及直方图均衡化；边缘检测模块，用于对预处理后的图像，采用Sobel算子进行边缘检测；特征识别模块，用于对经过边缘检测后的图像进行矩形蒙版和规则匹配；判断模块，用于根据处理后的料面图像，判断炉内是否处于顶温异常的降温处理工况。
当装置安装完毕开始正常运行后，内窥镜对工业窑炉内部画面进行自动智能采集，并进行在线全智能自维护；本发明实施例提供的工业窑炉高温工业内窥镜在线全智能自维护方法，如附图4所示，所述方法包括以下步骤：
步骤S1.炉内处于非工业窑炉顶温异常的降温处理工况时，没有水和粉尘的混合物沾染内窥镜镜头，所以内窥镜此时正常工作运行，稳定地采集炉内料面图像，并将采集的料面图像传送给上位机；
步骤S2.如附图5所示，上位机接受到传输的图像后，先后对图像进行预处理、边缘检测及特征识别后，智能地做出此时是否处于工业窑炉顶温异常的降温处理工况的判断；若判断此时处于工业窑炉顶温异常的降温处理工况则继续进行步骤S3，若不处于则回到步骤S1；
步骤S3.在依靠图像智能判断并确定当前处于工业窑炉顶温异常的降温处理工况后，舵机S5带动舵机连动转轴S2转动，使内窥镜镜头遮盖S1合上；为防止在镜头掉落出时受到气体的影响，在内窥镜镜头遮盖S1合上后，关闭进气孔S6；
步骤S4.开启镜头转动电机S15，与电机相连的更换推动组件同时开始转动，并推动镜头镜片S3往前运动，当镜头镜片组第一个镜片从镜头镜片漏孔S10处掉落后，完成受粉尘污染的镜头镜片的更换；
步骤S5.打开进气口S6，打开内窥镜镜头遮盖S1，在线自维护工作执行完毕，内窥镜继续正常运作并继续对炉内情况进行监测。
步骤S2中，图像预处理，包括以下步骤：
步骤S201.图像灰度处理：图像从RGB变为灰度图像，采用加权平均的方式，灰度化公式如下：
Gray(i,j)＝0.299*R(i,j)+0.578*G(i,j)+0.114*B(i,j) (1)
其中，Gray(i,j)为灰度化后图像像素灰度值，R(i,j)为原图像红色分量，G(i,j)为原图像绿色分量。
步骤S202.图像平滑处理：图像平滑处理采用双边滤波算法进行；双边滤波算法最大的优势在于双边滤波有着可以去噪的同时保留图像边缘信息的特点，其原因在于双边滤波算法中的总权重不仅受空间域权重(Space Weight)影响，同时也受像素范围域权重(Range Weight)的影响，而像素范围域权重以像素值变化为基准，在即使因距离太远，空间域权重(Space Weight)太小时，由于边缘的像素值变化较大权重也变大，所以空间域权重与像素范围域权重相乘后的总权重系数相比于单个空间域权重时变大，这样就保存下了边缘信息，这也就是双边滤波能保存下图像边缘特点的实质，所以为了能更好的保留原图像的边缘，将用双边滤波方法对图像进行处理，其公式为：
Figure BDA0003248723830000101
其中，
Figure BDA0003248723830000102
其中BF[I]p为像素p经过边缘滤波后的结果，
Figure BDA0003248723830000103
起归一化作用，Iq为图像I在q点的灰度值，Ip为图像I在p点的灰度值，p、q分别代表图像I中的某个点即p＝(px,py)、q＝(qx,qy)，σS为空间域标准差，σr为像素范围域标准差，
Figure BDA0003248723830000104
代表着空间域权重(SpaceWeight)，
Figure BDA0003248723830000105
代表着像素范围域权重(Range Weight)。
步骤S203：直方图均衡化：为了增强获取到的炉内图像的对比度，采用直方图均衡化方法对图像各像素灰度进行处理，使其灰度分布尽量均衡，图像更清晰，方便后续处理。
(1)计算原图像的灰度直方图nk，nk为图像中灰度级为k的像素个数，k∈0,1,…,L-1，其中L为图像的灰度级深度。
(2)计算原图像像素总数N。
(3)计算原始图像灰度累积分布频率，
Figure BDA0003248723830000106
其中，sk为原图像中灰度级为k的对应的均衡化后的灰度级。
(4)根据sk，把原图像中的灰度都从k映射到sk，完成直方图均衡化。
步骤S204.利用Sobel算子进行边缘检测
在图像提前经过了图像灰度化、双边滤波与直方图均衡化的预处理后，图像的质量将会比原图有所改善，所以边缘检测的算子将采用复杂度不是很高的Sobel算子进行，Sobel算子对应的卷积模板如下：
Figure BDA0003248723830000111
Figure BDA0003248723830000112
梯度大小
Figure BDA0003248723830000113
步骤S205.蒙版匹配
由于在工业窑炉顶温异常的降温处理阶段，喷水柱与溅起的火星可明显地在内窥镜的拍摄图像中观测到，且喷水柱与火星在拍摄的图像中出现位置相对固定，由此可构建一个矩形蒙版，将水柱与火星可能会出现的位置灰度值置255，图像中完全不会出现水柱与火星的位置灰度值置0；将矩形蒙版与经过边缘提取后的图像相与，当蒙版灰度值为255的区域经过与运算后灰度值未全是0时，说明对应区域内出现了水柱或火星疑似轮廓，则需在下一步规则匹配中确定疑似轮廓是否为水柱或者火星。
步骤S206.规则匹配
利用霍夫变换对经过蒙版匹配后的疑似轮廓进行特征检测；对水柱的检测识别，实质是对直线的检测；对火星的检测识别，实质是对曲线的检测；霍夫变换的直线检测原理为，在图像坐标空间中，可从一条直线中任取两个点A(x1,y1),B(x2,y2)确定一条直线，直线表达式如下：
y＝ax+b (7)
而公式(7)从另一个角度看，也可以写成a,b为变量的表达式：
Figure BDA0003248723830000114
从表达式可以看出，经过霍夫变换，图像坐标空间中处于一条直线上的两个点，变为了在霍夫空间中交于同一点的两条直线；利用这个特点，当图像中的像素点经过霍夫变换后在霍夫空间中交于同一点则可认为原图像坐标空间里的这些像素点组成的是一条直线。
利用霍夫变换进行圆的检测时，圆的图像坐标空间公式如下式，
(x-a)2+(y-b)2＝r2 (9)
此时变量变为了a,b,r三个，霍夫变换的结果是将图像坐标空间中处于同一个圆上的多个点，变换成了霍夫空间中交于同一个点的多个圆，即当图像中像素点经过霍夫变换后在霍夫空间中形成的圆都经过同一个点，则可判定这些点在图像坐标空间里是组成了一个圆形。
本发明实施例通过对图像进行灰度处理，并利用双边滤波在保留边缘信息的同时对图像进行平滑处理，然后采用直方图均衡化、边缘检测、蒙版匹配和规则匹配，从而提高图像对比度并使之拥有更好的清晰度以及整体图像处理的运算速度，达到了在线地对工业窑炉顶温异常的降温处理工况进行识别与判断的目的；同时，通过在线的高温工业内窥镜镜头清理，解决了在工业窑炉顶温异常的降温处理阶段时内窥镜镜头因吸附粉尘结痂而导致内窥镜无法继续使用的问题，增加了高温工业内窥镜的使用寿命，节约了成本。

Claims (8)

1.一种工业窑炉高温工业内窥镜在线全智能自维护装置，包括有内窥镜镜头遮盖组件、内窥镜外壳与冷却组件、镜头在线更换推动组件以及与内窥镜通信连接的上位机，其特征在于：
所述内窥镜外壳与冷却组件为内外双层筒状结构，内层筒与外层筒之间的空间为气孔通道(S9)，所述气孔通道(S9)分别与设置在外层筒轴向外表面上端的进气孔(S6)以及设置在外层筒轴向外表面下端的出气孔(S11)连通；内层筒轴向外表面缠绕有螺旋形水管，其进出水端分别与设置在外层筒轴向外表面上端的进水口(S7)和出水口(S8)连通；
所述镜头在线更换推动组件包括有套设在内层筒内中后部的更换推动组件以及位于内窥镜外壳外部的镜头转动电机(S15)，所述更换推动组件包括有位于内层筒内中部且与内层筒内腔壁滑动连接的镜头组(S13)以及与嵌入式安装在内层筒内后端部且前端与镜头组(S13)螺纹连接而后端与镜头转动电机(S15)传动轴固定连接的镜头推动组件(S14)，所述镜头组(S13)与开设在内外层筒前中部的镜头镜片漏孔(S10)相对应；
所述内窥镜镜头遮盖组件包括有靠近外层筒前端且与外层筒前端端口对应的内窥镜镜头遮盖(S1)以及位于外层筒后端的舵机(S5)，所述舵机(S5)通过其舵机连动转轴(S2)沿外层筒轴向贯穿气孔通道(S9)与内窥镜镜头遮盖(S1)固定连接；
所述上位机用于接收内窥镜采集的料面图像，并对该料面图像进行处理和识别，并判断是否处于工业窑炉顶温异常的降温处理工况；其包括有图像预处理模块、边缘检测模块、特征识别模块以及判断模块；所述图像预处理模块，用于对料面图像进行图像灰度化、图像平滑处理以及直方图均衡化；所述边缘检测模块，用于对预处理后的图像，采用Sobel算子进行边缘检测；所述特征识别模块，用于对经过边缘检测后的图像进行矩形蒙版和规则匹配；所述判断模块，用于根据处理后的料面图像，判断炉内是否处于顶温异常的降温处理工况。
2.如权利要求1所述的工业窑炉高温工业内窥镜在线全智能自维护装置，其特征在于：
所述镜头组(S13)前端设置有多个镜头镜片(S3)，其中部设置有透镜组(S4)，其尾部与镜头推动组件(S14)前端通过螺纹结构(S12)连接，镜头镜片(S3)、透镜组(S4)、镜头推动组件(S14)以及镜头转动电机(S15)传动轴四者的中心轴线为同一直线。
3.如权利要求1或2所述的工业窑炉高温工业内窥镜在线全智能自维护装置，其特征在于：
所述镜头组(S13)和镜头推动组件(S14)均呈圆筒状结构，且两者的中心轴线均与内外层筒的中心轴线为同一直线。
4.如权利要求1所述的工业窑炉高温工业内窥镜在线全智能自维护装置，其特征在于：
所述镜头镜片漏孔(S10)包括有开设在内层筒前中部且靠近镜头镜片(S3)位置的镜头镜片漏孔Ⅰ和开设在外层筒前中部且位于镜头镜片漏孔Ⅰ正下方的镜头镜片漏孔Ⅱ，镜头镜片漏孔Ⅰ和镜头镜片漏孔Ⅱ均与镜头镜片(S3)相对应。
5.一种工业窑炉高温工业内窥镜在线全智能自维护方法，其特征在于，所述方法包括以下步骤：
步骤1.内窥镜采集炉内料面图像，并将采集的料面图像传送给上位机；
步骤2.上位机接收到传输的图像，先后对图像进行图像预处理、边缘检测及特征识别，判断此时是否处于工业窑炉顶温异常的降温处理工况；若判定此时处于工业窑炉顶温异常的降温处理工况，则继续进行步骤3，若不处于则回到步骤1；
步骤3.舵机(S5)带动舵机连动转轴(S2)自动转动，使内窥镜镜头遮盖(S1)合上，然后关闭进气孔(S6)；
步骤4.开启镜头转动电机(S15)，与镜头转动电机(S15)固定连接的镜头推动组件(S14)同时开始转动，并推动镜头镜片(S3)往前运动，当镜头镜片(S3)中的第一个镜片从镜头镜片漏孔(S10)处掉落后，完成受粉尘污染的镜头镜片的更换；
步骤5：打开进气口(S6)以及内窥镜镜头遮盖(S1)，在线自维护工作执行完毕，内窥镜继续正常运作并对炉内情况进行监测。
6.如权利要求5所述的一种工业窑炉高温工业内窥镜在线全智能自维护方法，其特征在于，所述图像预处理包括以下步骤：
图像灰度化：图像从RGB变为灰度图像，采用加权平均的方式，灰度化公式如下：
Gray(i,j)＝0.299*R(i,j)+0.578*G(i,j)+0.114*B(i,j) (1)
其中Gray(i,j)为灰度化后图像像素灰度值，R(i,j)为原图像红色分量，G(i,j)为原图像绿色分量；
图像平滑处理：用双边滤波方法对图像进行处理，其公式为：
Figure FDA0003248723820000021
其中，
Figure FDA0003248723820000031
BF[I]p为像素p经过边缘滤波后的结果，
Figure FDA0003248723820000032
起归一化作用，Iq为图像I在q点的灰度值，Ip为图像I在p点的灰度值，p、q分别代表图像I中的某个点即p＝(px,py)、q＝(qx,qy)，σS为空间域标准差，σr为像素范围域标准差，
Figure FDA0003248723820000033
代表着空间域权重(Space Weight)，
Figure FDA0003248723820000034
代表着像素范围域权重(Range Weight)；
直方图均衡化：计算原图像的灰度直方图nk，nk为图像中灰度级为k的像素个数，k∈0,1,…,L-1，其中L为图像的灰度级深度；
计算原图像像素总数N；
计算原始图像灰度累积分布频率，计算公式为：
Figure FDA0003248723820000035
其中，sk为原图像中灰度级为k的对应的均衡化后的灰度级；
根据sk，把原图像中的灰度都从k映射到sk，完成直方图均衡化。
7.如权利要求5所述的一种工业窑炉高温工业内窥镜在线全智能自维护方法，其特征在于，所述边缘检测的算子采用Sobel算子进行，Sobel算子对应的卷积模板如下：
Figure FDA0003248723820000036
Figure FDA0003248723820000037
其中，
Figure FDA0003248723820000038
8.如权利要求5所述的一种工业窑炉高温工业内窥镜在线全智能自维护方法，其特征在于，所述特征识别，包括蒙版匹配和规则匹配步骤，
其中，蒙版匹配包括以下步骤：
构建一个矩形蒙版，将水柱与火星可能会出现的位置灰度值置255，图像中完全不会出现水柱与火星的位置灰度值置0；
将矩形蒙版与经过边缘提取后的图像相与，当蒙版灰度值为255的区域经过与运算后灰度值未全是0时，则判定对应区域内出现了水柱或火星疑似轮廓；
其中，规则匹配，利用霍夫变换对经过蒙版匹配后的疑似轮廓进行直线检测和圆的检测；进行直线检测时，当图像中的像素点经过霍夫变换后在霍夫空间中交于同一点则可认为原图像坐标空间里的这些像素点组成的是一条直线；进行圆的检测时，当图像中像素点经过霍夫变换后在霍夫空间中形成的圆都经过同一个点，则可判定这些点在图像坐标空间里是组成了一个圆形。
CN202111047118.6A 2021-09-06 2021-09-06 一种工业窑炉高温工业内窥镜在线全智能自维护装置及其方法 Active CN113822862B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111047118.6A CN113822862B (zh) 2021-09-06 2021-09-06 一种工业窑炉高温工业内窥镜在线全智能自维护装置及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111047118.6A CN113822862B (zh) 2021-09-06 2021-09-06 一种工业窑炉高温工业内窥镜在线全智能自维护装置及其方法

Publications (2)

Publication Number Publication Date
CN113822862A true CN113822862A (zh) 2021-12-21
CN113822862B CN113822862B (zh) 2023-08-01

Family

ID=78914175

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111047118.6A Active CN113822862B (zh) 2021-09-06 2021-09-06 一种工业窑炉高温工业内窥镜在线全智能自维护装置及其方法

Country Status (1)

Country Link
CN (1) CN113822862B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3823120B1 (ja) * 2005-12-06 2006-09-20 カールストルツ・エンドスコピー・ジャパン株式会社 工業用内視鏡装置
JP2012235450A (ja) * 2011-03-21 2012-11-29 Edwin Sutton Gary 曲面状センサーカメラを有する移動通信装置、移動型光学部を有する曲面状センサーカメラ、及びシリコン繊維で製作される曲面状センサー
CN204484032U (zh) * 2015-01-28 2015-07-22 牡丹江医学院 设有自吸功能的自洁式内窥镜
CN106560152A (zh) * 2015-12-11 2017-04-12 王善林 低成本医用内窥镜及图像采集和处理方法
CN109031646A (zh) * 2018-07-24 2018-12-18 中南大学 一种真视红外工业内窥镜及其取像方法
CN109059571A (zh) * 2016-04-01 2018-12-21 四川省雷波明信化工有限公司 一种窥视镜的降温结构及降温方法
CN109283663A (zh) * 2018-11-16 2019-01-29 中南大学 一种大视场、高分辨的工业内窥镜光学系统
CN110355139A (zh) * 2019-08-12 2019-10-22 广州特种承压设备检测研究院 基于内窥镜的清洁装置
CN110687672A (zh) * 2019-10-18 2020-01-14 深圳市道通科技股份有限公司 一种内窥镜系统
CN211120705U (zh) * 2019-09-30 2020-07-28 上海杰汇炉窑新技术有限公司 一种工业炉高温内窥镜镜头保护装置
CN112584028A (zh) * 2020-12-29 2021-03-30 深圳市亚泰光电技术有限公司 一种摄像头模组以及内窥镜

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3823120B1 (ja) * 2005-12-06 2006-09-20 カールストルツ・エンドスコピー・ジャパン株式会社 工業用内視鏡装置
JP2012235450A (ja) * 2011-03-21 2012-11-29 Edwin Sutton Gary 曲面状センサーカメラを有する移動通信装置、移動型光学部を有する曲面状センサーカメラ、及びシリコン繊維で製作される曲面状センサー
CN204484032U (zh) * 2015-01-28 2015-07-22 牡丹江医学院 设有自吸功能的自洁式内窥镜
CN106560152A (zh) * 2015-12-11 2017-04-12 王善林 低成本医用内窥镜及图像采集和处理方法
CN109059571A (zh) * 2016-04-01 2018-12-21 四川省雷波明信化工有限公司 一种窥视镜的降温结构及降温方法
CN109031646A (zh) * 2018-07-24 2018-12-18 中南大学 一种真视红外工业内窥镜及其取像方法
CN109283663A (zh) * 2018-11-16 2019-01-29 中南大学 一种大视场、高分辨的工业内窥镜光学系统
CN110355139A (zh) * 2019-08-12 2019-10-22 广州特种承压设备检测研究院 基于内窥镜的清洁装置
CN211120705U (zh) * 2019-09-30 2020-07-28 上海杰汇炉窑新技术有限公司 一种工业炉高温内窥镜镜头保护装置
CN110687672A (zh) * 2019-10-18 2020-01-14 深圳市道通科技股份有限公司 一种内窥镜系统
CN112584028A (zh) * 2020-12-29 2021-03-30 深圳市亚泰光电技术有限公司 一种摄像头模组以及内窥镜

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
YONGCHAO ZOU等: "Ultra-compact optical zoom endoscope using solid tunable lenses", OPTICS EXPRESS, vol. 25, no. 17, pages 20675 - 20688 *
ZHIPENG CHEN等: "A Novel Device for Optical Imaging of Blast Furnace Burden Surface: Parallel Low-Light-Loss Backlight High-Temperature Industrial Endoscope", IEEE SENSORS JOURNAL, vol. 16, no. 17, pages 6703 - 6717, XP011618879, DOI: 10.1109/JSEN.2016.2587729 *
李超等: "工业内窥镜调整方式优化", 科技展望, no. 9, pages 188 *
荀鲁川等: "FUJINON电子内窥镜图像特殊故障的分析与维修", 医疗卫生装备, vol. 32, no. 6, pages 144 *

Also Published As

Publication number Publication date
CN113822862B (zh) 2023-08-01

Similar Documents

Publication Publication Date Title
CN110544261B (zh) 一种基于图像处理的高炉风口喷煤状态检测方法
CN208495208U (zh) 一种带有镜头除尘功能的监控摄像
CN109308447A (zh) 在电力远程监控中自动提取设备运行参数和运行状态的方法
CN114882044B (zh) 金属管件表面质量检测方法
CN113658131B (zh) 一种基于机器视觉巡游式环锭纺断纱检测方法
CN109623655B (zh) 一种砂轮工作状态在位监测系统及方法
CN110930366A (zh) 一种用于风电塔筒的螺母松动检测方法
CN111043964B (zh) 基于图像分析的土压平衡盾构机滚刀磨损监测装置及方法
CN113822862A (zh) 一种工业窑炉高温工业内窥镜在线全智能自维护装置及其方法
CN109540918B (zh) 一种热轧卷边部缺陷检测装置及方法
CN113947611A (zh) 一种液位检测方法、装置、存储介质及电子设备
CN113814212A (zh) 一种基于镜片模糊检测的前置镜片在线智能自清洗装置及其方法
CN114066993B (zh) 基于机器视觉的配电柜控制面板分割方法
CN110363749B (zh) 基于图像处理的防震锤锈蚀程度评价方法
CN109813726B (zh) 一种用于线路板信息集成的装置
CN206900615U (zh) 一种观察窗及水下潜航器
CN115256059B (zh) 一种磨片装置控制方法、系统及研磨抛光机
CN207799210U (zh) 一种道路监控变焦镜头用前光学组
CN114863086A (zh) 一种基于模板匹配的变电站多表盘多指针识别方法
CN209560196U (zh) 一种汽车内窥镜
CN109001956A (zh) 全视角内窥式高温摄像装置
CN111489561A (zh) 一种具有散热功能的电子眼
CN113112517A (zh) 一种基于颜色识别的变电站机器人自动巡检及充电方法
CN221448799U (zh) 一种视频识别一体机
CN219099313U (zh) 一种机坪输油管线阴保系统智能测试桩

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant