CN106657777A - 一种红外热像仪自动对焦方法和系统 - Google Patents
一种红外热像仪自动对焦方法和系统 Download PDFInfo
- Publication number
- CN106657777A CN106657777A CN201611073637.9A CN201611073637A CN106657777A CN 106657777 A CN106657777 A CN 106657777A CN 201611073637 A CN201611073637 A CN 201611073637A CN 106657777 A CN106657777 A CN 106657777A
- Authority
- CN
- China
- Prior art keywords
- focusing
- motor
- rotation direction
- value
- rotation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/30—Transforming light or analogous information into electric information
- H04N5/33—Transforming infrared radiation
Abstract
本发明公开一种红外热像仪自动对焦方法和系统，其方法具体如下：步骤1：确定待对焦区域；步骤2：电机全速转动，根据第一对焦评价函数计算出的第一转动方向值确定电机正确的转动方向；步骤3：在全速转动过程中，根据第一对焦评价函数计算出的第二转动方向值判断是否到达最佳对焦位置附近，如果第二转动方向值出现下降，则到达最佳对焦位置附近；步骤4：电机降速至全速一半并反转，根据第二对焦评价函数计算的第三转动方向值判断是否到达最佳对焦位置，如果第三转动方向值出现降低，则到达最佳对焦位置，自动对焦完成。该方法能同时提高红外热像仪自动对焦速度和对焦精度。
Description
技术领域
本发明涉及红外成像技术领域，具体涉及一种红外热像仪自动对焦方法和系统。
背景技术
对焦清晰是红外热像仪的红外图像观察和温度测量的前提。红外电动镜头包含一组聚焦镜片，通过驱动外置电机转动，改变镜片组的位置可调节对焦景深。通过自动对焦的方法和装置来替代人工手动对焦，可极大缩短对焦耗时和提高对焦精度，提高红外热像仪使用体验。自动对焦大体分为主动式和被动式两种，主动式自动对焦利用成像设备上的超声波发生器发出超声波或红外线发生器发出红外光到被摄物体上，成像设备的接收器接收反射信号并进行对焦。此方法在物体无反射时应用受限且需要额外器件，系统成本较高。被动式自动对焦直接分析来自景物自身的成像来判断成像是否清晰，从而驱动电机转动，寻找最佳对焦点。该方法属于纯软件算法，应用成本低，因此可广泛应用于各种成像系统。
由于红外热成像系统的中心波长约15倍于可见光系统，因此红外镜头不同于一般的可见光镜头，体积较大，电机系统反应迟钝。此外，红外图像信噪比低于可见光图像，因此现有的可见光图像的自动聚焦算法不能直接应用于红外热像仪。另外，现有的红外自动调焦技术存在速度慢、对焦精度低等问题。
发明内容
有鉴于此，有必要提供一种能提高自动调焦速度和对焦精度的红外热像仪自动对焦方法和系统。
一种红外热像仪自动对焦方法，包括如下步骤：
步骤1：确定待对焦区域；
步骤2：电机全速转动，采集待对焦区域的图像并获取每帧图像的像素值；采用第一对焦评价函数并根据每帧图像的像素值计算第一转动方向值；根据第一转动方向值确定电机的转动方向是否正确，如果正确，方向不变全速转动；如果否，方向反转并全速转动；
步骤3：在电机全速转动过程中，继续采集图像并采用第一对焦评价函数计算第二转动方向值；根据第二转动方向值判断电机是否到达最佳对焦位置附近；如果第二转动方向值不断增加，未到达最佳对焦位置附近，电机继续转动；如果第二转动方向值出现降低，则到达最佳对焦位置附近，电机立即停止转动；
步骤4：将电机转速降为全速的一半并反转，继续采集图像并获取每帧图像的像素值，采用第二对焦评价函数并根据半速反转过程中获取的像素值计算第三转动方向值；根据第三转动方向值判断对焦是否完成，如果第三转动方向值连续增加，保持电机转动方向不变，继续转动；如果第三转动方向值出现降低，立即停止电机转动，自动对焦完成。
以及，一种红外热像仪自动对焦系统，包括：
对焦区域确定单元，用于确定待对焦区域；
图像获取单元，用于采集待对焦区域的图像并获取每帧图像的像素值；
电机控制单元，用于控制电机转动的方向和速度；
全速方向确定单元，采用第一对焦评价函数，根据图像获取单元在电机全速转动过程中获取的像素值，计算第一转动方向值；根据第一转动方向值确定电机的转动方向是否正确；所述电机控制单元根据全速方向确定单元确定的结果控制电机全速转动；
对焦位置附近判断单元，采用第一对焦评价函数，根据图像获取单元在电机在全速方向确定单元确定的转动方向转动过程中获取的像素值，计算第二转动方向值；根据第二转动方向值判断电机是否到达最佳对焦位置附近；如果第二转动方向值出现降低，到达最佳对焦位置附近，电机控制单元控制电机立即停止转动，接着控制电机转速降为全速的一半并反转；
对焦完成判断单元，采用第二对焦评价函数，根据图像获取单元在电机在半速反转过程中获取的像素值，计算第三转动方向值；根据第三转动方向值判断对焦是否完成，如果第三转动方向值连续增加，对焦未完成，电机控制单元控制电机转动方向不变，继续转动；如果第三转动方向值出现降低，电机控制单元控制电机立即停止转动，自动对焦完成。
本发明的一种红外自动对焦方法和系统通过采用两个差异化的对焦评价函数，当电机高速转动时，采用低精度对焦评价函数，快速定位至附近；当电机低速转动时，采用高精度对焦评价函数，精确定位到最佳对焦位置，克服了红外对焦电机速度慢、响应慢的缺陷，提高了红外热像仪自动对焦速度和对焦精度。
附图说明
图1为本发明一种红外自动对焦方法的流程图；
图2为本发明一种红外自动对焦系统的框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明，应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明提供的一种红外热像仪自动对焦方法的流程，如图1所示，具体过程如下：
步骤1：确定待对焦区域。
具体的，在同一红外场景中，不同区域的景深不同，采用图像清晰度评价函数前首先应该确定待对焦区域。在本发明中，待对焦区域可通过通信命令、电脑鼠标或触摸显示屏指定。
步骤2：确定电机全速转动方向。
具体的，电机全速转动，转动的方向可任意选择，优选远焦方向为电机全速转动方向。在电机全速转动过程中，采集待对焦区域的图像并获取每帧图像的像素值。采用第一对焦评价函数并根据每帧图像的像素值计算第一转动方向值。根据第一转动方向值确定电机的转动方向是否正确。如果正确，方向不变全速转动。如果否，方向反转并全速转动。
其中，第一对焦评价函数GA采用sobel算子与与待对焦区域图像求平面卷积，得到边缘锐度因子，计算每个像素值的边缘因子平方和的平方根并求和。具体的，sobel算子为2组3×3矩阵，分别为横向算子和纵向算子。横向算子和纵向算子分别与待对焦区域的图像IM×N做平面卷积，分别得到横向边缘锐度因子Gh与纵向边缘锐度因子Gv，接着计算各个像素锐度因子平方和的平方根并求和，即得到第一转动方向值。具体如下：
如果第一转动方向值不断增加，则电机转动方向正确。如果第一转动方向值不断降低，则电机转动方向错误，将电机反转。如果不能判断增加或降低，则电机保持方向不变，继续转动，直至能确定方向。如果一直无法确定方向，则对焦失败。
步骤3：全速转动至最佳对焦位置附近。
具体的，在电机全速转动过程中，继续采集图像并采用第一对焦评价函数GA计算第二转动方向值。根据第二转动方向值判断电机是否到达最佳对焦位置附近。如果第二转动方向值不断增加，未到达最佳对焦位置附近，电机继续转动。如果第一转动方向值出现降低，则到达最佳对焦位置附近，电机立即停止转动。
步骤4：低速转动至最佳对焦位置。
具体的，将电机转速降为全速的一半并反转，继续采集图像并获取每帧图像的像素值。采用第二对焦评价函数和半速反转过程中获取的像素值计算第三转动方向值。根据第三转动方向值判断对焦是否完成。如果第三转动方向值连续增加，保持电机转动方向不变，继续转动。如果第三转动方向值出现降低，立即停止电机转动，自动对焦完成。
其中，第二对焦评价函数GB为待对焦区域内每帧图像中各个像素值的均方差。具体如下：
其中，f(x,y)为图像IM×N的像素值。
第二对焦评价函数GB根据半速反转过程中获取的每帧图像计算第三转动方向值。如果第三转动方向值连续增加，保持电机转动方向不变，继续转动。如果第三转动方向值出现降低，立即停止电机转动，自动对焦完成。
在对焦过程中，设置最长对焦时间，并记录整个方法运行时间。判断运行时间是否大于最长对焦时间。如果是，对焦失败停止电机转动。以防止电机堵转降低电机寿命。
本发明的一种红外热像仪自动对焦方法采用两个差异化的对焦评价函数，当电机高速转动时，采用低精度对焦评价函数，快速定位至附近；当电机低速转动时，采用高精度对焦评价函数，精确定位到最佳对焦位置，从而同时提高红外热像仪自动对焦速度和对焦精度。
同时，本发明还提供一种红外热像仪自动对焦系统，系统框图如图2所示，包括：
对焦区域确定单元，用于确定待对焦区域。
具体的，待对焦区域可通过通信命令、电脑鼠标或触摸显示屏指定。
图像获取单元，用于采集待对焦区域的图像并获取每帧图像的像素值。
电机控制单元，用于控制电机转动的方向和速度。
全速方向确定单元，采用第一对焦评价函数，根据图像获取单元在电机全速转动过程中获取的像素值，计算第一转动方向值；根据第一转动方向值确定电机的转动方向是否正确；所述电机控制单元根据全速方向确定单元确定的结果控制电机全速转动。
其中，第一对焦评价函数采用sobel算子与待对焦区域图像求平面卷积，得到边缘锐度因子，计算每个像素值的边缘因子平方和的平方根并求和，具体如式(1)所示。第一对焦评价函数根据图像获取单元在电机全速转动过程中获取的像素值，计算第一转动方向值。如果第一转动方向值不断增加，全速方向确定单元确定电机转动方向正确，所述电机控制单元控制电机继续保持转动。如果第一转动方向值不断降低，全速方向确定单元确定电机转动方向错误，所述电机控制单元控制电机反转。如果不能判断单调递增或递减，全速方向确定单元确定为电机转动方向不变，电机继续转动，直至能确定方向。如果一直无法确定方向，则确定为对焦失败。
对焦位置附近判断单元，采用第一对焦评价函数，根据图像获取单元在电机在全速方向确定单元确定的转动方向转动过程中获取的像素值，计算第二转动方向值；根据第二转动方向值判断电机是否到达最佳对焦位置附近；如果第二转动方向值出现降低，到达最佳对焦位置附近，所述电机控制单元控制电机立即停止转动，接着控制电机转速降为全速的一半并反转；
对焦完成判断单元，采用第二对焦评价函数，根据图像获取单元在电机在半速反转过程中获取的像素值，计算第三转动方向值；根据第三转动方向值判断对焦是否完成，如果第三转动方向值连续增加，电机控制单元控制电机转动方向不变，继续转动；如果第三转动方向值出现降低，电机控制单元控制电机立即停止转动，自动对焦完成。
其中，第二对焦评价函数为待对焦区域内每帧图像中各个像素值的均方差，具体如式(2)所示。第二对焦评价函数GB根据半速反转转动过程中获取的每帧图像计算第三转动方向值。如果第三转动方向值连续增加，对焦完成判断单元判断对焦未完成，则所述电机控制单元控制电机转动方向不变，继续转动。如果第三转动方向值出现降低，对焦完成判断单元判断对焦完成，所述电机控制单元控制电机立即停止转动。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种红外热像仪自动对焦方法，其特征在于，包括如下步骤：
步骤1：确定待对焦区域；
步骤2：电机全速转动，采集待对焦区域的图像并获取每帧图像的像素值；采用第一对焦评价函数并根据每帧图像的像素值计算第一转动方向值；根据第一转动方向值确定电机的转动方向是否正确，如果正确，方向不变全速转动；如果否，方向反转并全速转动；
步骤3：在电机全速转动过程中，继续采集图像并采用第一对焦评价函数计算第二转动方向值；根据第二转动方向值判断电机是否到达最佳对焦位置附近；如果第二转动方向值不断增加，未到达最佳对焦位置附近，电机继续转动；如果第二转动方向值出现降低，则到达最佳对焦位置附近，电机立即停止转动；
步骤4：将电机转速降为全速的一半并反转，继续采集图像并获取每帧图像的像素值，采用第二对焦评价函数并根据半速反转过程中获取的像素值计算第三转动方向值；根据第三转动方向值判断对焦是否完成，如果第三转动方向值连续增加，保持电机转动方向不变，继续转动；如果第三转动方向值出现降低，立即停止电机转动，自动对焦完成。
2.根据权利要求1所述的一种红外热像仪自动对焦方法，其特征在于，步骤2的第一对焦评价函数采用sobel算子与待对焦区域图像求平面卷积，得到边缘锐度因子，计算每个像素值的边缘因子平方和的平方根并求和。
3.根据权利要求1或2所述的一种红外热像仪自动对焦方法，其特征在于，步骤2中确定电机的转动方向的具体为：如果第一转动方向值不断增加，则电机转动方向正确；如果第一转动方向值不断降低，则电机转动方向错误，将电机反转；如果不能判断增加或降低，则电机保持方向不变，继续转动，直至能确定方向；如果一直无法确定方向，则对焦失败。
4.根据权利要求1所述的一种红外热像仪自动对焦方法，其特征在于，步骤4中的第二对焦评价函数为待对焦区域内每帧图像中各个像素值的均方差。
5.一种红外热像仪自动对焦系统，其特征在于，包括：
对焦区域确定单元，用于确定待对焦区域；
图像获取单元，用于采集待对焦区域的图像并获取每帧图像的像素值；
电机控制单元，用于控制电机转动的方向和速度；
全速方向确定单元，采用第一对焦评价函数，根据图像获取单元在电机全速转动过程中获取的像素值，计算第一转动方向值；根据第一转动方向值确定电机的转动方向是否正确；所述电机控制单元根据全速方向确定单元确定的结果控制电机全速转动；
对焦位置附近判断单元，采用第一对焦评价函数，根据图像获取单元在电机在全速方向确定单元确定的转动方向转动过程中获取的像素值，计算第二转动方向值；根据第二转动方向值判断电机是否到达最佳对焦位置附近；如果第二转动方向值出现降低，到达最佳对焦位置附近，电机控制单元控制电机立即停止转动，接着控制电机转速降为全速的一半并反转；
对焦完成判断单元，采用第二对焦评价函数，根据图像获取单元在电机在半速反转过程中获取的像素值，计算第三转动方向值；根据第三转动方向值判断对焦是否完成，如果第三转动方向值连续增加，对焦未完成，电机控制单元控制电机转动方向不变，继续转动；如果第三转动方向值出现降低，电机控制单元控制电机立即停止转动，自动对焦完成。
6.根据权利要求5所述的一种红外热像仪自动对焦系统，其特征在于，所述第一对焦评价函数采用sobel算子与待对焦区域图像求平面卷积，得到边缘锐度因子，计算每个像素值的边缘因子平方和的平方根并求和。
7.根据权利要求5或6所述的一种红外热像仪自动对焦系统，其特征在于，全速方向确定单元确定电机转动方向的具体方式为：如果第一转动方向值不断增加，则确定电机转动方向正确；如果第一转动方向值不断降低，则电机转动方向错误，所述电机控制单元控制电机反转；如果不能判断单调递增或递减，则确定为保持电机转动方向不变，所述电机控制单元控制电机继续转动，直至能确定方向；如果一直无法确定方向，则确定为对焦失败。
8.根据权利要求5所述的一种红外热像仪自动对焦系统，其特征在于，所述第二对焦评价函数为待对焦区域内每帧图像中各个像素值的均方差。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611073637.9A CN106657777A (zh) | 2016-11-29 | 2016-11-29 | 一种红外热像仪自动对焦方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611073637.9A CN106657777A (zh) | 2016-11-29 | 2016-11-29 | 一种红外热像仪自动对焦方法和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106657777A true CN106657777A (zh) | 2017-05-10 |
Family
ID=58814060
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611073637.9A Pending CN106657777A (zh) | 2016-11-29 | 2016-11-29 | 一种红外热像仪自动对焦方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106657777A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108156371A (zh) * | 2017-12-08 | 2018-06-12 | 北京航天计量测试技术研究所 | 一种红外自动对焦快速搜索方法 |
| CN108596878A (zh) * | 2018-03-30 | 2018-09-28 | 浙江大学山东工业技术研究院 | 图像清晰度评价方法 |
| CN109862270A (zh) * | 2019-02-25 | 2019-06-07 | 苏州长风航空电子有限公司 | 基于fpga红外视频流的实时自动调焦方法 |
| CN109991714A (zh) * | 2018-01-03 | 2019-07-09 | 深圳光峰科技股份有限公司 | 自动对焦方法、自动对焦系统以及投影设备 |
| CN110290315A (zh) * | 2019-06-14 | 2019-09-27 | 浙江大华技术股份有限公司 | 用于云台摄像机的跟踪聚焦方法、装置、摄像机和介质 |
| CN111026050A (zh) * | 2019-11-22 | 2020-04-17 | 北京航空航天大学 | 基于倍福工业以太网的热旋压加工智能控制系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110217030A1 (en) * | 2010-03-04 | 2011-09-08 | Digital Imaging Systems Gmbh | Method to determine auto focus of a digital camera |
| CN103973957A (zh) * | 2013-01-29 | 2014-08-06 | 上海八运水科技发展有限公司 | 双目3d相机自动调焦系统及方法 |
| CN104301601A (zh) * | 2013-11-27 | 2015-01-21 | 中国航空工业集团公司洛阳电光设备研究所 | 一种粗精调结合的红外图像自动调焦方法 |
| CN106125246A (zh) * | 2016-07-19 | 2016-11-16 | 湖北三江航天红峰控制有限公司 | 一种自寻激光焦平面的方法 |
-
2016
- 2016-11-29 CN CN201611073637.9A patent/CN106657777A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110217030A1 (en) * | 2010-03-04 | 2011-09-08 | Digital Imaging Systems Gmbh | Method to determine auto focus of a digital camera |
| CN103973957A (zh) * | 2013-01-29 | 2014-08-06 | 上海八运水科技发展有限公司 | 双目3d相机自动调焦系统及方法 |
| CN104301601A (zh) * | 2013-11-27 | 2015-01-21 | 中国航空工业集团公司洛阳电光设备研究所 | 一种粗精调结合的红外图像自动调焦方法 |
| CN106125246A (zh) * | 2016-07-19 | 2016-11-16 | 湖北三江航天红峰控制有限公司 | 一种自寻激光焦平面的方法 |
Non-Patent Citations (3)
| Title |
|---|
| 冯精武等: ""调焦系统中数字图像清晰度评价函数的研究"", 《机电工程》 * |
| 王永红等: ""TFT-LCD面板光学检测自动聚焦算法研究与比较"", 《液晶与显示》 * |
| 韩运红: "《中国优秀硕士学位论文全文数据库》", 15 June 2016 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108156371A (zh) * | 2017-12-08 | 2018-06-12 | 北京航天计量测试技术研究所 | 一种红外自动对焦快速搜索方法 |
| CN109991714A (zh) * | 2018-01-03 | 2019-07-09 | 深圳光峰科技股份有限公司 | 自动对焦方法、自动对焦系统以及投影设备 |
| CN108596878A (zh) * | 2018-03-30 | 2018-09-28 | 浙江大学山东工业技术研究院 | 图像清晰度评价方法 |
| CN108596878B (zh) * | 2018-03-30 | 2021-04-09 | 浙江大学山东工业技术研究院 | 图像清晰度评价方法 |
| CN109862270A (zh) * | 2019-02-25 | 2019-06-07 | 苏州长风航空电子有限公司 | 基于fpga红外视频流的实时自动调焦方法 |
| CN110290315A (zh) * | 2019-06-14 | 2019-09-27 | 浙江大华技术股份有限公司 | 用于云台摄像机的跟踪聚焦方法、装置、摄像机和介质 |
| CN111026050A (zh) * | 2019-11-22 | 2020-04-17 | 北京航空航天大学 | 基于倍福工业以太网的热旋压加工智能控制系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106657777A (zh) | 一种红外热像仪自动对焦方法和系统 | |
| US10652452B2 (en) | Method for automatic focus and PTZ camera | |
| CN101660946B (zh) | 热像仪自动聚焦方法及装置 | |
| CN104301601A (zh) | 一种粗精调结合的红外图像自动调焦方法 | |
| CN103945133B (zh) | 一种可见光镜头的自动聚焦装置及方法 | |
| US9706188B2 (en) | Binocular camera resetting method and binocular camera resetting apparatus | |
| CN103986876B (zh) | 一种图像获取终端和图像获取方法 | |
| CN104181685B (zh) | 基于显微镜的数字切片自动聚焦装置及其方法 | |
| Zhang et al. | Autofocus System and Evaluation Methodologies: A Literature Review. | |
| CN102419505B (zh) | 自动聚焦方法及系统和一体化摄像机 | |
| CN107529011A (zh) | 一种电动变焦镜头控制系统及方法 | |
| CN108881729A (zh) | 一种内窥镜的自动对焦方法 | |
| CN108156371B (zh) | 一种红外自动对焦快速搜索方法 | |
| CN1584729A (zh) | 图像投影方法和设备 | |
| CN103973957A (zh) | 双目3d相机自动调焦系统及方法 | |
| CN1595219A (zh) | 摄像装置和摄像装置的聚焦控制程序 | |
| TW201439659A (zh) | 自動對焦方法及自動對焦裝置 | |
| CN101950116A (zh) | 一种应用于多主体场景的视频自动聚焦方法 | |
| CN104580917A (zh) | 一种快速自动聚焦方法及装置 | |
| US10491804B2 (en) | Focus window determining method, apparatus, and device | |
| CN107390356A (zh) | 基于激光光斑图像自动聚焦的方法 | |
| CN104102069A (zh) | 一种成像系统的对焦方法及装置、成像系统 | |
| CN106556958A (zh) | 距离选通成像的自动聚焦方法 | |
| CN201532254U (zh) | 热像仪自动聚焦装置 | |
| CN103529544A (zh) | 一种可自动调位和聚焦的纳米膜厚测量仪 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170510 |
|
| RJ01 | Rejection of invention patent application after publication |