CN108521544A - 视频监控的聚焦方法及装置 - Google Patents

视频监控的聚焦方法及装置 Download PDF

Info

Publication number
CN108521544A
CN108521544A CN201810212251.4A CN201810212251A CN108521544A CN 108521544 A CN108521544 A CN 108521544A CN 201810212251 A CN201810212251 A CN 201810212251A CN 108521544 A CN108521544 A CN 108521544A
Authority
CN
China
Prior art keywords
motor
video monitoring
camera lens
monitoring image
focusing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810212251.4A
Other languages
English (en)
Other versions
CN108521544B (zh
Inventor
裴瑞宏
韩畅
花涛
刘彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen City Han Hui Weishi Technology Co Ltd
Original Assignee
Shenzhen City Han Hui Weishi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen City Han Hui Weishi Technology Co Ltd filed Critical Shenzhen City Han Hui Weishi Technology Co Ltd
Priority to CN201810212251.4A priority Critical patent/CN108521544B/zh
Publication of CN108521544A publication Critical patent/CN108521544A/zh
Application granted granted Critical
Publication of CN108521544B publication Critical patent/CN108521544B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automatic Focus Adjustment (AREA)
  • Lens Barrels (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种视频监控的聚焦方法及装置，方法包括：根据视频监控图像清晰度对应的统计算子计算镜头短焦端以及镜头长焦端电机的位置；根据视频监控图像清晰度对应的统计算子计算机械误差对应的马达驱动步长，并计算马达不同位置机械误差对应的马达驱动步长；从镜头短焦端到镜头长焦端根据统计算子做聚焦曲线拟合；当场景变化或手动触发聚焦时，根据当前视频监控图像清晰度统计算子以及马达当前的位置驱动马达，对重新获得的一帧视频监控图像继续进行清晰度算子的计算，获得新的对焦位置，不断循环直到找到最高清晰度的马达位置，聚焦完成。本发明能简化生产工序、提高生产效率、视频监控调焦由人工变成自动、节省人力、能提升点光源聚焦效果。

Description

视频监控的聚焦方法及装置
技术领域
本发明涉及视频监控领域，特别涉及一种视频监控的聚焦方法及装置。
背景技术
在视频监控领域，为了保证在变化的监控场景中图像始终清晰，通常要根据实际监控场景的变化进行聚焦，聚焦的方式通常采用人工手动聚焦，也就是视频监控画面清晰度的调节采用手动调节方式，当存在机械齿轮误差时，会对聚焦带来影响，通过人工手动匹配不同的机械后焦并消除由于机械结构齿轮空隙造成的机械误差，保证在变倍的过程中全程清晰，另外，人工聚焦时，存在点光源聚焦难的问题。可见，常规变倍模组生产机械后焦调节的工序较为复杂，这样不仅生产效率较低，还造成人力的浪费。
发明内容
本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种能简化生产工序、提高生产效率、视频监控调焦由人工变成自动、节省人力、能提升点光源聚焦效果的视频监控的聚焦方法及装置。
本发明解决其技术问题所采用的技术方案是：构造一种视频监控的聚焦方法，包括如下步骤：
A)根据视频监控图像清晰度对应的统计算子计算镜头短焦端以及镜头长焦端的电机的位置；
B)根据所述视频监控图像清晰度对应的统计算子计算机械误差对应的马达驱动步长，并使用差值算法计算马达不同位置机械误差对应的马达驱动步长；
C)从所述镜头短焦端到镜头长焦端根据统计算子做聚焦曲线拟合，确保从所述镜头短焦端到镜头长焦端变倍的过程中图像全程清晰；
D)当场景变化或手动触发聚焦时，根据当前视频监控图像清晰度统计算子以及马达当前的位置驱动所述马达，驱动所述马达后，对重新获得的一帧视频监控图像继续进行清晰度算子的计算，获得新的对焦位置，不断循环直到找到最高清晰度的马达位置，聚焦完成。
在本发明所述的视频监控的聚焦方法中，对于夜视点光源的场景，选用视频监控图像的亮度分量做辅助聚焦。
本发明还涉及一种实现上述视频监控的聚焦方法的装置，包括：
位置计算单元：用于根据视频监控图像清晰度对应的统计算子计算镜头短焦端以及镜头长焦端的电机的位置；
马达驱动步长单元：用于根据所述视频监控图像清晰度对应的统计算子计算机械误差对应的马达驱动步长，并使用差值算法计算马达不同位置机械误差对应的马达驱动步长；
聚焦曲线拟合单元：用于从所述镜头短焦端到镜头长焦端根据统计算子做聚焦曲线拟合，确保从所述镜头短焦端到镜头长焦端变倍的过程中图像全程清晰；
聚焦单元：用于当场景变化或手动触发聚焦时，根据当前视频监控图像清晰度统计算子以及马达当前的位置驱动所述马达，驱动所述马达后，对重新获得的一帧视频监控图像继续进行清晰度算子的计算，获得新的对焦位置，不断循环直到找到最高清晰度的马达位置，聚焦完成。
在本发明所述的装置中，对于夜视点光源的场景，选用视频监控图像的亮度分量做辅助聚焦。
实施本发明的视频监控的聚焦方法及装置，具有以下有益效果：由于根据视频监控图像清晰度对应的统计算子计算镜头短焦端以及镜头长焦端的电机的位置，这样可以消除机械后焦不同产生的影响；根据视频监控图像清晰度对应的统计算子计算机械误差对应的马达驱动步长，并使用差值算法计算马达不同位置机械误差对应的马达驱动步长，这样可以消除电机反向时的机械误差，本发明能简化生产工序、提高生产效率、视频监控调焦由人工变成自动、节省人力、能提升点光源聚焦效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明视频监控的聚焦方法及装置一个实施例中方法的流程图；
图2为所述实施例中装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明视频监控的聚焦方法及装置实施例中，其视频监控的聚焦方法的流程图如图1所示。图1中，该视频监控的聚焦方法包括如下步骤：
步骤S01根据视频监控图像清晰度对应的统计算子计算镜头短焦端以及镜头长焦端的电机的位置：本步骤中，根据视频监控图像清晰度对应的统计算子计算镜头短焦端WIDI以及镜头长焦端TELE的电机的位置，消除机械后焦不同产生的影响。
步骤S02根据视频监控图像清晰度对应的统计算子计算机械误差对应的马达驱动步长，并使用差值算法计算马达不同位置机械误差对应的马达驱动步长：本步骤中，根据视频监控图像清晰度对应的统计算子计算机械误差对应的马达驱动步长，并使用差值算法计算马达不同位置机械误差对应的马达驱动步长，消除电机反向时的机械误差。
步骤S03从镜头短焦端到镜头长焦端根据统计算子做聚焦曲线拟合，确保从镜头短焦端到镜头长焦端变倍的过程中图像全程清晰：本步骤中，从镜头短焦端WIDI到镜头长焦端TELE根据统计算子做聚焦曲线拟合，确保从镜头短焦端WIDI到镜头长焦端TELE变倍的过程中图像全程清晰。上述步骤S01至步骤S03组成自动学习锁焦过程。
步骤S04当场景变化或手动触发聚焦时，根据当前视频监控图像清晰度统计算子以及马达当前的位置驱动马达，驱动马达后，对重新获得的一帧视频监控图像继续进行清晰度算子的计算，获得新的对焦位置，不断循环直到找到最高清晰度的马达位置，聚焦完成：本步骤中，当场景变化或手动触发聚焦时，根据当前视频监控图像清晰度统计算子以及马达当前的位置驱动马达，驱动马达后，对重新获得的一帧视频监控图像继续进行清晰度算子的计算，获得新的对焦位置，不断循环直到找到最高清晰度的马达位置，至此聚焦完成。
本发明的视频监控的聚焦方法采用聚焦技术，在视频监控中根据实际监控场景的变化自动聚焦，保证在变化的监控场景中图像始终清晰。可以自动学习匹配不同的机械后焦，并消除由于机械结构齿轮空隙造成的机械误差，保证在变倍的过程中全程清晰。可以自动学习聚焦曲线，匹配与校正镜头的光学曲线。本发明的视频监控的聚焦方法能简化生产工序、提高生产效率、视频监控调焦由人工变成自动、节省人力、能提升点光源聚焦效果。
值得一提的是，对于夜视点光源的场景，由于点光源会影响到图像清晰度算子的准确度，造成清晰度算子的单峰性变差，伪波峰变多。对于点光源的场景，从清晰到模糊时，点光源的光晕会增大，相应的点光源的图像的亮度分量(Y)会增大，因此对于夜视点光源的场景，本发明的视频监控的聚焦方法选用视频监控图像的亮度分量(Y)做辅助聚焦。根据视频监控图像的高频分量的统计驱动Focus电机进行聚焦，辅助图像的亮度(Y)信号强度统计解决点光源难聚焦的问题。
本实施例还涉及一种实现上述视频监控的聚焦方法的装置，该装置的结构示意图如图2所示。图2中，该装置包括位置计算单元1、马达驱动步长单元2、聚焦曲线拟合单元3和聚焦单元4，其中，位置计算单元1用于根据视频监控图像清晰度对应的统计算子计算镜头短焦端以及镜头长焦端的电机的位置，消除机械后焦不同产生的影响；马达驱动步长单元2用于根据视频监控图像清晰度对应的统计算子计算机械误差对应的马达驱动步长，并使用差值算法计算马达不同位置机械误差对应的马达驱动步长，消除电机反向时的机械误差；聚焦曲线拟合单元3用于从镜头短焦端到镜头长焦端根据统计算子做聚焦曲线拟合，确保从镜头短焦端到镜头长焦端变倍的过程中图像全程清晰；聚焦单元4用于当场景变化或手动触发聚焦时，根据当前视频监控图像清晰度统计算子以及马达当前的位置驱动马达，驱动马达后，对重新获得的一帧视频监控图像继续进行清晰度算子的计算，获得新的对焦位置，不断循环直到找到最高清晰度的马达位置，聚焦完成。
本发明的装置采用聚焦技术，在视频监控中根据实际监控场景的变化自动聚焦，保证在变化的监控场景中图像始终清晰。可以自动学习匹配不同的机械后焦，并消除由于机械结构齿轮空隙造成的机械误差，保证在变倍的过程中全程清晰。可以自动学习聚焦曲线，匹配与校正镜头的光学曲线。本发明的装置能简化生产工序、提高生产效率、视频监控调焦由人工变成自动、节省人力、能提升点光源聚焦效果。
值得一提的是，对于夜视点光源的场景，由于点光源会影响到图像清晰度算子的准确度，造成清晰度算子的单峰性变差，伪波峰变多。对于点光源的场景，从清晰到模糊时，点光源的光晕会增大，相应的点光源的图像的亮度分量(Y)会增大，因此对于夜视点光源的场景，本发明的装置选用视频监控图像的亮度分量(Y)做辅助聚焦。根据视频监控图像的高频分量的统计驱动Focus电机进行聚焦，辅助图像的亮度(Y)信号强度统计解决点光源难聚焦的问题。
总之，本发明可以解决常规变倍模组生产机械后焦调节工序复杂的问题；可以解决传统视频监控画面清晰度的调节由手动调节方式浪费人力的问题；可以解决机械齿轮误差对聚焦带来的影响问题；可以解决点光源聚焦难的问题。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种视频监控的聚焦方法，其特征在于，包括如下步骤：
A)根据视频监控图像清晰度对应的统计算子计算镜头短焦端以及镜头长焦端的电机的位置；
B)根据所述视频监控图像清晰度对应的统计算子计算机械误差对应的马达驱动步长，并使用差值算法计算马达不同位置机械误差对应的马达驱动步长；
C)从所述镜头短焦端到镜头长焦端根据统计算子做聚焦曲线拟合，确保从所述镜头短焦端到镜头长焦端变倍的过程中图像全程清晰；
D)当场景变化或手动触发聚焦时，根据当前视频监控图像清晰度统计算子以及马达当前的位置驱动所述马达，驱动所述马达后，对重新获得的一帧视频监控图像继续进行清晰度算子的计算，获得新的对焦位置，不断循环直到找到最高清晰度的马达位置，聚焦完成。
2.根据权利要求1所述的视频监控的聚焦方法，其特征在于，对于夜视点光源的场景，选用视频监控图像的亮度分量做辅助聚焦。
3.一种实现如权利要求1所述的视频监控的聚焦方法的装置，其特征在于，包括：
位置计算单元：用于根据视频监控图像清晰度对应的统计算子计算镜头短焦端以及镜头长焦端的电机的位置；
马达驱动步长单元：用于根据所述视频监控图像清晰度对应的统计算子计算机械误差对应的马达驱动步长，并使用差值算法计算马达不同位置机械误差对应的马达驱动步长；
聚焦曲线拟合单元：用于从所述镜头短焦端到镜头长焦端根据统计算子做聚焦曲线拟合，确保从所述镜头短焦端到镜头长焦端变倍的过程中图像全程清晰；
聚焦单元：用于当场景变化或手动触发聚焦时，根据当前视频监控图像清晰度统计算子以及马达当前的位置驱动所述马达，驱动所述马达后，对重新获得的一帧视频监控图像继续进行清晰度算子的计算，获得新的对焦位置，不断循环直到找到最高清晰度的马达位置，聚焦完成。
4.根据权利要求3所述的实现如权利要求1所述的视频监控的聚焦方法的装置，其特征在于，对于夜视点光源的场景，选用视频监控图像的亮度分量做辅助聚焦。
CN201810212251.4A 2018-03-15 2018-03-15 视频监控的聚焦方法及装置 Active CN108521544B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810212251.4A CN108521544B (zh) 2018-03-15 2018-03-15 视频监控的聚焦方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810212251.4A CN108521544B (zh) 2018-03-15 2018-03-15 视频监控的聚焦方法及装置

Publications (2)

Publication Number Publication Date
CN108521544A true CN108521544A (zh) 2018-09-11
CN108521544B CN108521544B (zh) 2020-09-04

Family

ID=63433679

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810212251.4A Active CN108521544B (zh) 2018-03-15 2018-03-15 视频监控的聚焦方法及装置

Country Status (1)

Country Link
CN (1) CN108521544B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110392207A (zh) * 2019-07-01 2019-10-29 浙江大华技术股份有限公司 一种触发摄像设备聚焦的方法及装置
CN110662021A (zh) * 2019-09-27 2020-01-07 浙江大华技术股份有限公司 一种判断摄像设备是否聚焦成功的方法及装置
CN111158103A (zh) * 2019-12-31 2020-05-15 Oppo广东移动通信有限公司 变焦镜头、相机模组和电子装置
CN111327802A (zh) * 2020-02-28 2020-06-23 浙江大华技术股份有限公司 图像清晰度的调整方法及装置、存储介质、电子装置
CN111741218A (zh) * 2020-06-28 2020-10-02 浙江大华技术股份有限公司 一种聚焦方法、装置、电子设备及存储介质
CN113747042A (zh) * 2020-05-29 2021-12-03 杭州海康威视数字技术股份有限公司 一种步进步长控制方法、确定步进马达步进步长的方法
CN114022484A (zh) * 2022-01-10 2022-02-08 深圳金三立视频科技股份有限公司 一种点光源场景的图像清晰度值计算方法及终端
WO2023103207A1 (zh) * 2021-12-06 2023-06-15 江苏航天大为科技股份有限公司 一种指定监控区域的成像对焦系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080137938A1 (en) * 2006-12-11 2008-06-12 Cytyc Corporation Method for assessing image focus quality
CN101494737A (zh) * 2009-03-09 2009-07-29 杭州海康威视数字技术股份有限公司 一种一体化摄像机装置及自适应自动聚焦方法
CN102629978A (zh) * 2012-03-26 2012-08-08 深圳英飞拓科技股份有限公司 一种通过自动聚焦来检测靶面平整度的高清网络半球
CN106921830A (zh) * 2015-12-28 2017-07-04 浙江大华技术股份有限公司 一种自动聚焦的方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080137938A1 (en) * 2006-12-11 2008-06-12 Cytyc Corporation Method for assessing image focus quality
CN101494737A (zh) * 2009-03-09 2009-07-29 杭州海康威视数字技术股份有限公司 一种一体化摄像机装置及自适应自动聚焦方法
CN102629978A (zh) * 2012-03-26 2012-08-08 深圳英飞拓科技股份有限公司 一种通过自动聚焦来检测靶面平整度的高清网络半球
CN106921830A (zh) * 2015-12-28 2017-07-04 浙江大华技术股份有限公司 一种自动聚焦的方法及装置

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110392207A (zh) * 2019-07-01 2019-10-29 浙江大华技术股份有限公司 一种触发摄像设备聚焦的方法及装置
CN110392207B (zh) * 2019-07-01 2022-02-18 浙江大华技术股份有限公司 一种触发摄像设备聚焦的方法及装置
CN110662021B (zh) * 2019-09-27 2021-06-15 浙江大华技术股份有限公司 一种判断摄像设备是否聚焦成功的方法及装置
CN110662021A (zh) * 2019-09-27 2020-01-07 浙江大华技术股份有限公司 一种判断摄像设备是否聚焦成功的方法及装置
CN111158103A (zh) * 2019-12-31 2020-05-15 Oppo广东移动通信有限公司 变焦镜头、相机模组和电子装置
CN111158103B (zh) * 2019-12-31 2022-08-02 Oppo广东移动通信有限公司 变焦镜头、相机模组和电子装置
CN111327802A (zh) * 2020-02-28 2020-06-23 浙江大华技术股份有限公司 图像清晰度的调整方法及装置、存储介质、电子装置
CN111327802B (zh) * 2020-02-28 2022-05-03 浙江大华技术股份有限公司 图像清晰度的调整方法及装置、存储介质、电子装置
CN113747042A (zh) * 2020-05-29 2021-12-03 杭州海康威视数字技术股份有限公司 一种步进步长控制方法、确定步进马达步进步长的方法
CN111741218A (zh) * 2020-06-28 2020-10-02 浙江大华技术股份有限公司 一种聚焦方法、装置、电子设备及存储介质
CN111741218B (zh) * 2020-06-28 2021-06-15 浙江大华技术股份有限公司 一种聚焦方法、装置、电子设备及存储介质
WO2023103207A1 (zh) * 2021-12-06 2023-06-15 江苏航天大为科技股份有限公司 一种指定监控区域的成像对焦系统
CN114022484A (zh) * 2022-01-10 2022-02-08 深圳金三立视频科技股份有限公司 一种点光源场景的图像清晰度值计算方法及终端
CN114022484B (zh) * 2022-01-10 2022-04-29 深圳金三立视频科技股份有限公司 一种点光源场景的图像清晰度值计算方法及终端

Also Published As

Publication number Publication date
CN108521544B (zh) 2020-09-04

Similar Documents

Publication Publication Date Title
CN108521544A (zh) 视频监控的聚焦方法及装置
EP2171685B1 (en) Image processor, image processing method, digital camera, and imaging apparatus
DE112012005662B4 (de) Linseneinheit, Bildaufnahmegerät und Verfahren zur Steuerung einer Linseneinheit und eines Bildaufnahmegeräts
TW200819894A (en) Auto-focus apparatus, image capture apparatus, and auto-focus method
CN105359023A (zh) 镜头镜筒、相机系统以及摄像装置
CN105338881A (zh) 内窥镜系统
JP2003262788A (ja) オートフォーカス装置および撮像装置
JP2008262049A (ja) オートフォーカス装置、撮像装置及びオートフォーカス方法
CN105357433A (zh) 一种高速旋转焦距自适应全景成像方法
CN101710206B (zh) 高精度自动对焦装置
JP5996218B2 (ja) 内視鏡装置及び内視鏡装置の作動方法
CN106506939A (zh) 一种图像采集装置及采集方法
CN201667683U (zh) 一种大变焦比自动聚焦一体化摄像机
JP4928104B2 (ja) 撮像装置及びその制御方法
CN1727982A (zh) 图像传感装置及其控制方法和该装置的自动焦点调节装置
CN106303481A (zh) 一种投影电视对焦的方法及系统
CN107864321B (zh) 一种基于定焦镜头的电动调焦装置及方法
JP2007334143A (ja) レンズ交換式デジタルカメラ
US9122129B2 (en) Image pickup apparatus, driving control method thereof, and computer-readable recording medium
CN103973982A (zh) 一种自动聚焦激光夜视设备及聚焦方法
JP5171105B2 (ja) 撮影装置及び交換レンズ式撮影装置、交換レンズユニット
JP2007060520A (ja) 撮像装置
CN104950764A (zh) 遥控行驶系统用延时校正方法和遥控行驶系统
CN104318531A (zh) 一种消除图片中漏光现象的方法及装置
CN111198466B (zh) 一种手动调焦辅助方法、成像设备及汽车

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant