CN107943083A - 一种控制准确的飞行系统 - Google Patents

一种控制准确的飞行系统 Download PDF

Info

Publication number
CN107943083A
CN107943083A CN201711305805.7A CN201711305805A CN107943083A CN 107943083 A CN107943083 A CN 107943083A CN 201711305805 A CN201711305805 A CN 201711305805A CN 107943083 A CN107943083 A CN 107943083A
Authority
CN
China
Prior art keywords
mrow
msub
module
image
evaluation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201711305805.7A
Other languages
English (en)
Inventor
梁金凤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201711305805.7A priority Critical patent/CN107943083A/zh
Publication of CN107943083A publication Critical patent/CN107943083A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种控制准确的飞行系统，包括飞行器和控制中心，所述飞行器包括检测模块和第一通信模块，所述控制中心包括第二通信模块、虚拟现实模块和控制模块，所述检测模块包括摄像头和图像处理装置，所述摄像头用于获取飞行环境的视频图像序列，所述图像处理装置用于对所述视频图像进行去雾处理，所述第一通信模块用于将所述处理后的图像传输给控制中心，所述第二通信模块用于接收第一通信模块发送的图像，所述虚拟现实模块根据接收的图像生成飞行器飞行场景，所述控制模块根据飞行器飞行场景对飞行器进行遥控。本发明的有益效果为：利用虚拟现实技术，实现了对飞行器的精确控制，大大提高了飞行器的应用范围。

Description

一种控制准确的飞行系统
技术领域
本发明涉及飞行器技术领域，具体涉及一种控制准确的飞行系统。
背景技术
随着电子通信及传感技术的快速发展，各种无人驾驶飞行器成为人们的研究重点。
然而，现代社会工业生产的大规模扩张，加剧了能源消耗和环境污染，并直接导致了近年来城市雾霾天气频发，雾霾天气条件下，大气粒子对光线的散射作用，不仅使得物体反射光因能量衰减强度大幅降低，而且使得部分自然光依附在目标物体上，进入相机后造成图像清晰度大幅下降。这在很大程度上限制了无人驾驶飞行器的发展，无法实现对无人驾驶飞行器的准确控制。
发明内容
针对上述问题，本发明旨在提供一种控制准确的飞行系统。
本发明的目的采用以下技术方案来实现：
提供了一种控制准确的飞行系统，包括飞行器和控制中心，所述飞行器包括检测模块和第一通信模块，所述控制中心包括第二通信模块、虚拟现实模块和控制模块，所述检测模块包括摄像头和图像处理装置，所述摄像头用于获取飞行环境的视频图像序列，所述图像处理装置用于对所述视频图像进行去雾处理，所述第一通信模块用于将所述处理后的图像传输给控制中心，所述第二通信模块用于接收第一通信模块发送的图像，所述虚拟现实模块根据接收的图像生成飞行器飞行场景，所述控制模块根据飞行器飞行场景对飞行器进行遥控。
本发明的有益效果为：实现了飞行器的无人驾驶，利用虚拟现实技术，实现了对飞行器的精确控制，大大提高了飞行器的应用范围。
附图说明
利用附图对本发明作进一步说明，但附图中的实施例不构成对本发明的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。
图1是本发明的结构示意图；
附图标记：
飞行器1、控制中心2。
具体实施方式
结合以下实施例对本发明作进一步描述。
参见图1，本实施例的一种控制准确的飞行系统，包括飞行器1和控制中心2，所述飞行器1包括检测模块和第一通信模块，所述控制中心2包括第二通信模块、虚拟现实模块和控制模块，所述检测模块包括摄像头和图像处理装置，所述摄像头用于获取飞行环境的视频图像序列，所述图像处理装置用于对所述视频图像进行去雾处理，所述第一通信模块用于将所述处理后的图像传输给控制中心2，所述第二通信模块用于接收第一通信模块发送的图像，所述虚拟现实模块根据接收的图像生成飞行器1飞行场景，所述控制模块根据飞行器1飞行场景对飞行器1进行遥控。
本实施例实现了飞行器的无人驾驶，利用虚拟现实技术，实现了对飞行器的精确控制，大大提高了飞行器的应用范围。
优选的，所述图像处理装置包括建模模块、修复模块、修复评价模块和反馈模块，所述建模模块用于构建大气衰减模型，所述修复模块用于根据大气衰减模型对视频图像进行去雾处理，所述修复评价模块用于对所述修复模块的去雾效果进行评价，获取评价结果，所述反馈模块用于将评价结果不合格的图像返回修复模块重新进行去雾处理。
本优选实施例实现了雾霾视频的修复和对修复效果的评价，实现了飞行器在恶劣天气下的工作。
优选的，所述建模模块包括第一建模因子获取单元、第二建模因子获取单元和模型建立单元，所述第一建模因子获取单元用于获取当前环境中的雾霾浓度系数，所述第二建模因子获取单元用于获取当前大气覆盖，所述模型建立单元用于根据雾霾浓度系数和大气覆盖构建大气衰减模型。
所述第一建模因子获取单元用于获取当前环境中的雾霾浓度系数，具体采用以下方式：
获取采集到图像的暗原色图像：
式中，Ydark(x)表示采集到图像的暗原色图像，c∈{R,G,B}，Yc表示图像Y中的任一颜色通道，表示以x为中心的统计区域；
获取当前环境中的雾霾浓度系数：
式中，fβ表示当前环境中的雾霾浓度系数，δ为比例系数，δ∈[2,8]，Gdark(x)为暗原色图像中各像素点归一化灰度值，sum表示各像素归一化灰度值累加值，M表示暗原色图像宽度，N表示暗原色图像高度。
本优选实施例建模模块通过获取第一建模因子和第二建模因子，建立了准确的大气衰减模型，具体的，在获取第一建模因子的过程中，采用本发明算法计算暗原色图像，适用于不同雾气浓度下得到准确的暗原色图像，引入比例系数计算雾霾浓度系数，提高了计算效率，节约了计算时间。
优选的，所述第二建模因子获取单元用于获取当前大气覆盖，包括图像转换子单元和大气覆盖获取子单元，所述图像转换子单元将视频图像序列从RGB颜色空间转换到HSV颜色空间中，所述大气覆盖获取子单元用于对亮度分量进行引导滤波处理，获取大气覆盖Im；
所述模型建立单元用于根据雾霾浓度系数和大气覆盖构建大气衰减模型，具体为：
R＝fβ(E-Im)+Im
式中，R表示修复后的清晰图像，fβ表示当前环境中的雾霾浓度系数，E为雾霾影响下摄像机捕获的退化图像，Im表示当前大气覆盖。
本优选实施例在第二建模因子获取过程中，只对图像的亮度空间进行滤波处理，在对去雾效果影响不大的情况下，节省了三分之二的处理时间和计算开销，有助于后续实现图像的快速修复，根据雾霾浓度系数和大气覆盖构建大气衰减模型，为后续雾霾图像修复奠定了基础。
优选的，所述修复评价模块包括第一评价子模块、第二评价子模块和综合评价子模块，所述第一评价子模块用于获取去雾效果的第一评价值，所述第二评价子模块用于获取去雾效果的第二评价值，所述综合评价子模块用于根据第一评价值和第二评价值对去雾效果进行综合评价；
所述第一评价子模块用于获取去雾效果的第一评价值，具体采用下式进行：
式中，H1表示第一评价值，P(bi)表示经过去雾处理图像第i个灰度级像素点的概率，L表示图像灰度级的数目；
所述第二评价子模块用于获取去雾效果的第二评价值，具体采用下式进行：
式中，H2表示第二评价值，A1表示采集图像的对比度，A2表示去雾处理图像的对比度，B1表示采集图像的空间频率，B2表示去雾处理图像的空间频率；
所述综合评价子模块用于根据第一评价值和第二评价值对去雾效果进行综合评价，具体为：计算去雾效果的综合评价值：
H＝2+ln(H1+H2+1)+lg(H1+H2+1)
式中，H表示综合评价值；综合评价值越大，表示修复模块的去雾效果越好。
本优选实施例通过修复评价模块实现了图像去雾效果的准确评价，具体的，第一评价值考虑了去雾处理后图像信息量大小，第二评价值考虑了去雾处理后图像对比度和空间频率变化，综合评价值根据第一评价值和第二评价值计算得到，实现了去雾效果的准确评价，从而保证了无人驾驶飞行系统的性能。
采用本发明控制准确的飞行系统进行影视拍摄，选取5个拍摄地点进行实验，分别为拍摄地点1、拍摄地点2、拍摄地点3、拍摄地点4、拍摄地点5，对拍摄效率和拍摄成本进行统计，同有人驾驶飞机拍摄相比，产生的有益效果如下表所示：
拍摄效率提高 拍摄成本降低
拍摄地点1 29％ 27％
拍摄地点2 27％ 26％
拍摄地点3 26％ 26％
拍摄地点4 25％ 24％
拍摄地点5 24％ 22％
最后应当说明的是，以上实施例仅用以说明本发明的技术方案，而非对本发明保护范围的限制，尽管参照较佳实施例对本发明作了详细地说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的实质和范围。

Claims (7)

1.一种控制准确的飞行系统，其特征在于，包括飞行器和控制中心，所述飞行器包括检测模块和第一通信模块，所述控制中心包括第二通信模块、虚拟现实模块和控制模块，所述检测模块包括摄像头和图像处理装置，所述摄像头用于获取飞行环境的视频图像序列，所述图像处理装置用于对所述视频图像进行去雾处理，所述第一通信模块用于将所述处理后的图像传输给控制中心，所述第二通信模块用于接收第一通信模块发送的图像，所述虚拟现实模块根据接收的图像生成飞行器飞行场景，所述控制模块根据飞行器飞行场景对飞行器进行遥控。
2.根据权利要求1所述的控制准确的飞行系统，其特征在于，所述图像处理装置包括建模模块、修复模块、修复评价模块和反馈模块，所述建模模块用于构建大气衰减模型，所述修复模块用于根据大气衰减模型对视频图像进行去雾处理，所述修复评价模块用于对所述修复模块的去雾效果进行评价，获取评价结果，所述反馈模块用于将评价结果不合格的图像返回修复模块重新进行去雾处理。
3.根据权利要求2所述的控制准确的飞行系统，其特征在于，所述建模模块包括第一建模因子获取单元、第二建模因子获取单元和模型建立单元，所述第一建模因子获取单元用于获取当前环境中的雾霾浓度系数，所述第二建模因子获取单元用于获取当前大气覆盖，所述模型建立单元用于根据雾霾浓度系数和大气覆盖构建大气衰减模型。
4.根据权利要求3所述的控制准确的飞行系统，其特征在于，所述第一建模因子获取单元用于获取当前环境中的雾霾浓度系数，具体采用以下方式：
获取采集到图像的暗原色图像：
<mrow> <msup> <mi>Y</mi> <mrow> <mi>d</mi> <mi>a</mi> <mi>r</mi> <mi>k</mi> </mrow> </msup> <mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> <mo>=</mo> <msqrt> <mrow> <mn>1</mn> <mo>+</mo> <msup> <mrow> <mo>&amp;lsqb;</mo> <mi>m</mi> <mi>i</mi> <mi>n</mi> <mrow> <mo>(</mo> <mi>m</mi> <mi>i</mi> <mi>n</mi> <mo>(</mo> <msup> <mi>Y</mi> <mi>c</mi> </msup> <mo>(</mo> <mi>z</mi> <mo>)</mo> </mrow> <mo>)</mo> <mo>)</mo> <mo>&amp;rsqb;</mo> </mrow> <mn>2</mn> </msup> </mrow> </msqrt> </mrow>
式中，Ydark(x)表示采集到图像的暗原色图像，c∈{R,G,B}，Yc表示图像Y中的任一颜色通道，表示以x为中心的统计区域；
获取当前环境中的雾霾浓度系数：
<mrow> <msub> <mi>f</mi> <mi>&amp;beta;</mi> </msub> <mo>=</mo> <mi>&amp;delta;</mi> <mo>&amp;times;</mo> <mfrac> <mrow> <mi>s</mi> <mi>u</mi> <mi>m</mi> <mrow> <mo>(</mo> <msup> <mi>G</mi> <mrow> <mi>d</mi> <mi>a</mi> <mi>r</mi> <mi>k</mi> </mrow> </msup> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> <mo>)</mo> </mrow> <mrow> <mi>M</mi> <mo>&amp;times;</mo> <mi>N</mi> </mrow> </mfrac> </mrow>
式中，fβ表示当前环境中的雾霾浓度系数，δ为比例系数，δ∈[2,8]，Gdatk(x)为暗原色图像中各像素点归一化灰度值，sum表示各像素归一化灰度值累加值，M表示暗原色图像宽度，N表示暗原色图像高度。
5.根据权利要求4所述的控制准确的飞行系统，其特征在于，所述第二建模因子获取单元用于获取当前大气覆盖，包括图像转换子单元和大气覆盖获取子单元，所述图像转换子单元将视频图像序列从RGB颜色空间转换到HSV颜色空间中，所述大气覆盖获取子单元用于对亮度分量进行引导滤波处理，获取大气覆盖Im；
所述模型建立单元用于根据雾霾浓度系数和大气覆盖构建大气衰减模型，具体为：
R＝fβ(E-Im)+Im
式中，R表示修复后的清晰图像，fβ表示当前环境中的雾霾浓度系数，E为雾霾影响下摄像机捕获的退化图像，Im表示当前大气覆盖。
6.根据权利要求5所述的控制准确的飞行系统，其特征在于，所述修复评价模块包括第一评价子模块、第二评价子模块和综合评价子模块，所述第一评价子模块用于获取去雾效果的第一评价值，所述第二评价子模块用于获取去雾效果的第二评价值，所述综合评价子模块用于根据第一评价值和第二评价值对去雾效果进行综合评价；
所述第一评价子模块用于获取去雾效果的第一评价值，具体采用下式进行：
<mrow> <msub> <mi>H</mi> <mn>1</mn> </msub> <mo>=</mo> <msup> <mi>e</mi> <mrow> <mo>-</mo> <msubsup> <mi>&amp;Sigma;</mi> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>L</mi> </msubsup> <mi>P</mi> <mrow> <mo>(</mo> <msub> <mi>b</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> <msub> <mi>log</mi> <mn>2</mn> </msub> <mi>P</mi> <mrow> <mo>(</mo> <msub> <mi>b</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> </mrow> </msup> <mo>+</mo> <msup> <mn>2</mn> <mrow> <mo>-</mo> <msubsup> <mi>&amp;Sigma;</mi> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>L</mi> </msubsup> <mi>P</mi> <mrow> <mo>(</mo> <msub> <mi>b</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> <msub> <mi>log</mi> <mn>2</mn> </msub> <mi>P</mi> <mrow> <mo>(</mo> <msub> <mi>b</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> </mrow> </msup> </mrow>
式中，H1表示第一评价值，P(bi)表示经过去雾处理图像第i个灰度级像素点的概率，L表示图像灰度级的数目；
所述第二评价子模块用于获取去雾效果的第二评价值，具体采用下式进行：
<mrow> <msub> <mi>H</mi> <mn>2</mn> </msub> <mo>=</mo> <mroot> <mrow> <mo>(</mo> <mfrac> <msub> <mi>A</mi> <mn>2</mn> </msub> <msub> <mi>A</mi> <mn>1</mn> </msub> </mfrac> <mo>+</mo> <mfrac> <msub> <mi>B</mi> <mn>2</mn> </msub> <msub> <mi>B</mi> <mn>1</mn> </msub> </mfrac> <mo>)</mo> <mo>+</mo> <msup> <mrow> <mo>(</mo> <mfrac> <msub> <mi>A</mi> <mn>2</mn> </msub> <msub> <mi>A</mi> <mn>1</mn> </msub> </mfrac> <mo>+</mo> <mfrac> <msub> <mi>B</mi> <mn>2</mn> </msub> <msub> <mi>B</mi> <mn>1</mn> </msub> </mfrac> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow> <mn>3</mn> </mroot> </mrow>
式中，H2表示第二评价值，A1表示采集图像的对比度，A2表示去雾处理图像的对比度，B1表示采集图像的空间频率，B2表示去雾处理图像的空间频率。
7.根据权利要求6所述的控制准确的飞行系统，其特征在于，所述综合评价子模块用于根据第一评价值和第二评价值对去雾效果进行综合评价，具体为：计算去雾效果的综合评价值：
H＝2+ln(H1+H2+1)+lg(H1+H2+1)
式中，H表示综合评价值；综合评价值越大，表示修复模块的去雾效果越好。
CN201711305805.7A 2017-12-11 2017-12-11 一种控制准确的飞行系统 Withdrawn CN107943083A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711305805.7A CN107943083A (zh) 2017-12-11 2017-12-11 一种控制准确的飞行系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711305805.7A CN107943083A (zh) 2017-12-11 2017-12-11 一种控制准确的飞行系统

Publications (1)

Publication Number Publication Date
CN107943083A true CN107943083A (zh) 2018-04-20

Family

ID=61945520

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711305805.7A Withdrawn CN107943083A (zh) 2017-12-11 2017-12-11 一种控制准确的飞行系统

Country Status (1)

Country Link
CN (1) CN107943083A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020233607A1 (zh) * 2019-05-20 2020-11-26 深圳市道通智能航空技术有限公司 一种无人机控制方法与装置、计算机可读存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103544505A (zh) * 2013-07-31 2014-01-29 天津大学 面向无人机航拍图像的船只识别系统及方法
CN103824260A (zh) * 2013-12-20 2014-05-28 中国科学院遥感与数字地球研究所 一种高分辨率遥感图像薄雾快速去除技术
KR20160116132A (ko) * 2015-03-25 2016-10-07 주식회사 영신 무인 비행체를 이용한 촬영 영상 원격 모니터링 및 원격 분사 제어 기반의 안개제거 장치
CN106296612A (zh) * 2016-08-09 2017-01-04 南京工业大学 一种图像质量评价和天气状况引导的分级式监控视频清晰化系统及方法
CN106339079A (zh) * 2016-08-08 2017-01-18 清华大学深圳研究生院 一种基于计算机视觉的利用无人飞行器实现虚拟现实的方法及装置
CN206149414U (zh) * 2016-11-25 2017-05-03 尹文刚 基于虚拟现实第一视角警用的无人机侦察装置
CN107396053A (zh) * 2017-08-18 2017-11-24 深圳市益鑫智能科技有限公司 一种室外安防监控系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103544505A (zh) * 2013-07-31 2014-01-29 天津大学 面向无人机航拍图像的船只识别系统及方法
CN103824260A (zh) * 2013-12-20 2014-05-28 中国科学院遥感与数字地球研究所 一种高分辨率遥感图像薄雾快速去除技术
KR20160116132A (ko) * 2015-03-25 2016-10-07 주식회사 영신 무인 비행체를 이용한 촬영 영상 원격 모니터링 및 원격 분사 제어 기반의 안개제거 장치
CN106339079A (zh) * 2016-08-08 2017-01-18 清华大学深圳研究生院 一种基于计算机视觉的利用无人飞行器实现虚拟现实的方法及装置
CN106296612A (zh) * 2016-08-09 2017-01-04 南京工业大学 一种图像质量评价和天气状况引导的分级式监控视频清晰化系统及方法
CN206149414U (zh) * 2016-11-25 2017-05-03 尹文刚 基于虚拟现实第一视角警用的无人机侦察装置
CN107396053A (zh) * 2017-08-18 2017-11-24 深圳市益鑫智能科技有限公司 一种室外安防监控系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020233607A1 (zh) * 2019-05-20 2020-11-26 深圳市道通智能航空技术有限公司 一种无人机控制方法与装置、计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN107729808B (zh) 一种用于输电线路无人机巡检的图像智能采集系统及方法
CN111339893B (zh) 基于深度学习和无人机的管道检测系统及方法
CN108317953A (zh) 一种基于无人机的双目视觉目标表面3d检测方法及系统
CN101281142B (zh) 一种测量大气能见度的方法
CN108287164B (zh) 一种裂纹检测系统
CN109559310A (zh) 基于显著性检测的输变电巡检图像质量评价方法及系统
CN104601953A (zh) 一种视频图像融合处理系统
CN110046584B (zh) 一种基于无人机巡检的道路裂纹检测装置及检测方法
CN113298035A (zh) 基于图像识别的无人机电力杆塔检测及自主巡航方法
CN102419171A (zh) 一种基于无人机航拍的灾害监测电子勾绘系统
CN115240093B (zh) 基于可见光和激光雷达点云融合的输电通道自动巡检方法
CN112949452B (zh) 一种基于多任务共享网络的机器人弱光环境抓取检测方法
CN116797944A (zh) 一种基于无人机图像识别光伏面板清洁度的检测方法及系统
CN109828281A (zh) 一种用于根据照片计算裂缝尺寸的无人机设备
CN108008726A (zh) 一种智能无人驾驶汽车
CN117036300A (zh) 基于点云-rgb异源图像多级配准映射的路面裂缝识别方法
CN114454137A (zh) 基于双目视觉的钢结构损伤智能巡检方法、系统及机器人
CN107943083A (zh) 一种控制准确的飞行系统
CN112233079B (zh) 多传感器图像融合的方法及系统
CN107907006B (zh) 一种自动纠偏的瞄准镜及其自动纠偏方法
CN107458619B (zh) 一种全自动化微小型四旋翼自主降落与充电的方法及系统
CN108737775B (zh) 大数据采集平台
CN115601471B (zh) 基于大型无人机光电侦察扫过区域的绘制方法
CN116228860A (zh) 目标物的地理位置预测方法、装置、设备及存储介质
CN115713696A (zh) 一种基于无人机采集图像的反光膜识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20180420

WW01 Invention patent application withdrawn after publication