CN107678329A - 一种全景互联控制系统以及控制方法 - Google Patents

一种全景互联控制系统以及控制方法 Download PDF

Info

Publication number
CN107678329A
CN107678329A CN201710807654.9A CN201710807654A CN107678329A CN 107678329 A CN107678329 A CN 107678329A CN 201710807654 A CN201710807654 A CN 201710807654A CN 107678329 A CN107678329 A CN 107678329A
Authority
CN
China
Prior art keywords
panorama
management module
image
subsystem
circuit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710807654.9A
Other languages
English (en)
Inventor
黄汉贵
张孝兵
王恒
庄志光
刘念
何家宏
霍坤明
曾维坚
东莲正
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Dsppa Wisdom Technology Co Ltd
Original Assignee
Guangzhou Dsppa Wisdom Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Dsppa Wisdom Technology Co Ltd filed Critical Guangzhou Dsppa Wisdom Technology Co Ltd
Priority to CN201710807654.9A priority Critical patent/CN107678329A/zh
Publication of CN107678329A publication Critical patent/CN107678329A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/04Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/042Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
    • G05B19/0423Input/output
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/14Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/20Pc systems
    • G05B2219/25Pc structure of the system
    • G05B2219/25257Microcontroller

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种全景互联控制系统以及控制方法,控制系统包括地图数据管理模块、设备管理模块、策略管理模块;地图数据管理模块对系统所需的全景现场地图信息进行收集处理,全景现场地图信息包括总平面图、局部平面图以及全景图像;设备管理模块通过地图数据管理模块拍摄添加过的全景现场地图信息找到对应子系统所在点位,再进行所需设备的绑定并设置相应的设备参数,将配置信息传输到所述策略管理模块;策略管理模块在数据库中匹配好已添加好的子系统设备信息,根据需要设置对应的策略,当条件满足后设备间就相互联动。本发明低成本、快速地完成构建全景图像,使用者只需绑定子系统设备,设置相关参数,根据策略服务器实现设备间互联控制功能。

Description

一种全景互联控制系统以及控制方法
技术领域
本发明涉及到空间位置信息领域,尤其涉及到一种全景互联控制系统以及控制方法。
背景技术
在全景视觉系统中,除了全景视觉传感器以外,图像捕获、图像处理、图像显示等部分组成了图像采集处理系统。图像采集处理系统在当今工业、军事、医学各个领域都有着极其广泛的应用。如使用在远程监控、安防、可视电话、工业控制、图像模式识别、医疗器械等各个领域,图像采集处理系统所起到的作用显得越来越重要,而且越来越多的行业和设备开始使用到图像采集处理系统。
众所周知,视频图像数字化后数据量非常庞大,对于如此大量高速的数据进行实时处理是计算机应用领域中技术难度最大的部分。在传统的平台控制系统中,控制不同的子系统需要不同的控制界面去操作,操作复杂耗时耗力。当一个系统的某个点位出现故障时不能够及时的定位且不易排查,浪费人力物力。针对上述问题,一个好的互联控制系统需要解决:1)高速实时处理,并且低成本;2)设备间高效互联,系统控制。
发明内容
为了克服上述技术问题,本发明提出了一种全景互联控制系统以及控制方法,所述系统将每个子系统作为一个场景分布在一个全景地图中,在全景地图中可以很迅速地定位到子系统各个点位的位置,并且获取设备的运行状态,通过传输设备配置信息到策略服务器,即可实现在全景地图中对不同设备进行相应的实时互联控制。
为实现上述目的,本发明是根据以下技术方案实现的:
一种全景互联控制系统,其特征在于,所述控制系统包括:地图数据管理模块、设备管理模块、策略管理模块;其中,所述地图数据管理模块对系统所需的全景现场地图信息进行收集处理,其中所述全景现场地图信息包括总平面图、局部平面图以及全景图像;所述设备管理模块通过地图数据管理模块拍摄添加过的全景现场地图信息找到对应子系统所在点位,再进行所需设备的绑定并设置相应的设备参数,之后将配置信息传输到所述策略管理模块;所述策略管理模块在数据库中匹配好已添加好的子系统设备信息,根据需要设置对应的策略,当条件满足后设备间就会相互联动。
进一步的技术方案在于:所述全景图系统采用嵌入式图像处理平台,所述嵌入式图像处理平台采用核心组件和外设组件构成,所述核心组件包括DSP主处理器、存储单元、调试下载电路、电源,所述DSP主处理器与所述存储单元和所述调试下载电路连接;所述外设组件包括图像采集电路、图像显示电路、通讯电路、人机交互接口,其中,所述图像采集电路通过所述人机交互接口与所述图像显示电路以及所述通讯通讯电路连接,所述电源为其他部件供电。
进一步的技术方案在于:所述图像采集电路包括数据的采集电路和相机的控制电路,采用解码芯片,通过解码芯片在FPGA外部实现电平转换,将并行信号连接到FPGA自身的LVDS电平标准I/O。
进一步的技术方案在于:所述图像显示电路采用数字平板液晶显示器作为自身显示设备,所述数字液晶显示器与外接接口连接,扩展外部其他显示设备。
本发明的一种利用上述的一种全景互联控制系统的控制方法,其特征在于,所述控制方法包括如下步骤:
步骤S1:对实体场景进行扫描,并采集数据;
步骤S2:将获得的图像数据进行处理与构建;
步骤S3:构建子系统设备策略管理数据库;
步骤S4:根据构建的全景现场地图信息找到相应子系统所在点位;
步骤S5:根据子系统所需的设备进行绑定,设置相应设备参数;
步骤S6:判断满足条件,决定子系统设备间联动方式。
进一步的技术方案在于:所述步骤S1具体包括:利用数码相机拍摄需要的实景图像,利用文件读写类读取图像数据,存储于相应数组中。
进一步的技术方案在于:所述步骤S2具体包括:所述图像预处理模块是将采集到的彩色图像转为灰度图像;所述图像投影模块采用球面模型的等距投影方法,并以球面全景图像的形式存储,实现消除转视差;所述图像拼接模块将所有图像序列变换到统一的坐标系中,经过图像配准和图像融合之后得到宽广视角的全景图;所述图像平滑模块采用像素加权平均的方法消除边缘缝隙,使相邻图像间平滑过渡。
进一步的技术方案在于:所述步骤S3具体包括:使用策略算法在数据库中配置系统、设备层以及组织架构。
进一步的技术方案在于:所述步骤S4具体包括:将每个子系统作为一个场景分布在全景地图中,通过所述设备管理模块在全景地图中定位到子系统的点位的位置;
所述步骤S5具体包括:在已构建的全景图的基础上选择子系统设备区域,拖动添加已在数据库中配置完成的设备,将子系统配置信息与子系统设备策略管理数据库信息相匹配,结合需要设置对应的策略。
进一步的技术方案在于:所述步骤S6中的设备间相互联动具体包括:子系统利用发送信号的方式,通过匹配策略服务器中的配置信息与其他子系统进行通信,从而实现不同设备间快速准确相互联动控制。
本发明与现有技术相比,具有如下有益效果:
(1)更直观,反馈更真实迅速;
(2)不需要3D立体建模,只需要一幅3D全景图像即可实现多个子系统间设备的互联控制功能,高效实时,并且节省人力物力,有效节约成本;
(3)全景地图可以呈现对应的360°的真实场景,立体感更强,能够让使用者更快速和准确地对设备进行定位和处理;
(4)可以实现系统间的互联互通,系统资源得到更高效地利用;
(5)高分辨率地面全景立体影像包含了传统地图所不能表现的空间结构,从而避免了一般平面效果图视角单一,互动性更加强大。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显而易见地,下面描述中的附图仅仅是本发明的一些实施例。
图1为本发明的一种全景互联控制系统示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,下面所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下所获得的其他所有实施例,都属于本发明的保护范围。
在下面的描述中阐述了很多具体细节以便于充分理解本发明,但是本发明还可以采用其他不同于此描述的其他方式来实施,本领域技术人员可以在不违背本发明内涵的情况下做类似推广,因此本发明不受下面公开的具体实施例的限制。
图1为本发明的一种全景互联控制系统示意图,如图1所示,本发明的一种全景互联控制系统,包括:地图数据管理模块、设备管理模块、策略管理模块;其中,所述地图数据管理模块对系统所需的全景现场地图信息进行收集处理,其中所述全景现场地图信息包括总平面图、局部平面图以及全景图像;所述设备管理模块通过地图数据管理模块拍摄添加过的全景现场地图信息找到对应子系统所在点位,再进行所需设备的绑定并设置相应的设备参数,之后将配置信息传输到所述策略管理模块;所述策略管理模块在数据库中匹配好已添加好的子系统设备信息,根据需要设置对应的策略,当条件满足后设备间就会相互联动。
所述全景图系统采用嵌入式图像处理平台,所述嵌入式图像处理平台采用核心组件和外设组件构成,所述核心组件包括DSP主处理器、存储单元、调试下载电路、电源,所述DSP主处理器与所述存储单元和所述调试下载电路连接;所述外设组件包括图像采集电路、图像显示电路、通讯电路、人机交互接口,其中,所述图像采集电路通过所述人机交互接口与所述图像显示电路以及所述通讯通讯电路连接,所述电源为其他部件供电。
所述图像采集电路包括数据的采集电路和相机的控制电路,采用解码芯片,通过解码芯片在FPGA外部实现电平转换,将并行信号连接到FPGA自身的LVDS电平标准I/O。
所述图像显示电路采用数字平板液晶显示器作为自身显示设备,所述数字液晶显示器与外接接口连接,扩展外部其他显示设备。
本发明的一种利用上述的一种全景互联控制系统的控制方法,其特征在于,所述控制方法包括如下步骤:
步骤S1:对实体场景进行扫描,并采集数据;
步骤S2:将获得的图像数据进行处理与构建;
步骤S3:构建子系统设备策略管理数据库;
步骤S4:根据构建的全景现场地图信息找到相应子系统所在点位;
步骤S5:根据子系统所需的设备进行绑定,设置相应设备参数;
步骤S6:判断满足条件,决定子系统设备间联动方式。
所述的扫描实体场景采集数据,是指利用数码相机拍摄需要的实景图像,利用文件读写类读取图像数据,存储于相应数组中。
所述的扫描实体场景采集数据,是指利用数码相机拍摄需要的实景图像,利用文件读写类读取图像数据,存储于相应数组中。
所述的对图像进行处理与构建,是指所述图像预处理模块是将采集到的彩色图像转为灰度图像;所述图像投影模块采用球面模型的等距投影方法,并以球面全景图像的形式存储,可以实现消除转视差;所述图像拼接模块是将所有图像序列变换到统一的坐标系中,经过图像配准和图像融合之后得到宽广视角的全景图;所述图像平滑模块采用像素加权平均的方法消除边缘缝隙,使相邻图像间平滑过渡。
所述的构建子系统设备策略管理数据库,是指使用策略软件在数据库中配置系统、设备层以及组织架构。
所述的找到相应子系统的点位,是指将每个子系统作为一个场景分布在全景地图中,通过所述设备管理模块可在全景地图中定位到子系统的点位的位置。
所述的绑定子系统相应设备并设置相应参数,是指在已构建的全景图的基础上选择子系统设备区域,可拖动添加已在数据库中配置完成的设备。将子系统配置信息与子系统设备策略管理数据库信息相匹配,结合需要设置对应的策略。
所述的设备间相互联动,是指子系统利用发送信号的方式,通过匹配策略服务器中的配置信息与其他子系统进行通信,从而可实现不同设备间快速准确相互联动控制。
根据本发明的技术方案,可以在全景地图中看到门的开关状态,同时可以在地图中对门的开关进行控制。全景地图让人们看到更真实的场景,也可以360°观看现场场景,让人有置身其中的感觉。
虽然,上文中已经用一般性说明及具体实施例对本发明作了详尽的描述,但在本发明基础上,可以对之作一些修改或改进,这对本领域技术人员而言是显而易见的。因此,在不偏离本发明内涵的基础上所做的这些修改或改进,均属于本发明要求保护的范围。

Claims (10)

1.一种全景互联控制系统,其特征在于,所述控制系统包括:地图数据管理模块、设备管理模块、策略管理模块;其中,所述地图数据管理模块对系统所需的全景现场地图信息进行收集处理,其中所述全景现场地图信息包括总平面图、局部平面图以及全景图像;所述设备管理模块通过地图数据管理模块拍摄添加过的全景现场地图信息找到对应子系统所在点位,再进行所需设备的绑定并设置相应的设备参数,之后将配置信息传输到所述策略管理模块;所述策略管理模块在数据库中匹配好已添加好的子系统设备信息,根据需要设置对应的策略,当条件满足后设备间就会相互联动。
2.根据权利要求1所述的一种全景互联控制系统,其特征在于,所述全景图系统采用嵌入式图像处理平台,所述嵌入式图像处理平台采用核心组件和外设组件构成,所述核心组件包括DSP主处理器、存储单元、调试下载电路、电源,所述DSP主处理器与所述存储单元和所述调试下载电路连接;所述外设组件包括图像采集电路、图像显示电路、通讯电路、人机交互接口,其中,所述图像采集电路通过所述人机交互接口与所述图像显示电路以及所述通讯通讯电路连接,所述电源为其他部件供电。
3.根据权利要求2所述的一种全景互联控制系统,其特征在于,所述图像采集电路包括数据的采集电路和相机的控制电路,采用解码芯片,通过解码芯片在FPGA外部实现电平转换,将并行信号连接到FPGA自身的LVDS电平标准I/O。
4.根据权利要求3所述的一种全景互联控制系统,其特征在于:所述图像显示电路采用数字平板液晶显示器作为自身显示设备,所述数字液晶显示器与外接接口连接,扩展外部其他显示设备。
5.一种利用权利要求1-4任一项所述的一种全景互联控制系统的控制方法,其特征在于,所述控制方法包括如下步骤:
步骤S1:对实体场景进行扫描,并采集数据;
步骤S2:将获得的图像数据进行处理与构建;
步骤S3:构建子系统设备策略管理数据库;
步骤S4:根据构建的全景现场地图信息找到相应子系统所在点位;
步骤S5:根据子系统所需的设备进行绑定,设置相应设备参数;
步骤S6:判断满足条件,决定子系统设备间联动方式。
6.根据权利要求5所述的控制方法,其特征在于,所述步骤S1具体包括:利用数码相机拍摄需要的实景图像,利用文件读写类读取图像数据,存储于相应数组中。
7.根据权利要求5所述的控制方法,其特征在于,所述步骤S2具体包括:所述图像预处理模块是将采集到的彩色图像转为灰度图像;所述图像投影模块采用球面模型的等距投影方法,并以球面全景图像的形式存储,实现消除转视差;所述图像拼接模块将所有图像序列变换到统一的坐标系中,经过图像配准和图像融合之后得到宽广视角的全景图;所述图像平滑模块采用像素加权平均的方法消除边缘缝隙,使相邻图像间平滑过渡。
8.根据权利要求5所述的控制方法,其特征在于,所述步骤S3具体包括:使用策略算法在数据库中配置系统、设备层以及组织架构。
9.根据权利要求5所述的控制方法,其特征在于,所述步骤S4具体包括:将每个子系统作为一个场景分布在全景地图中,通过所述设备管理模块在全景地图中定位到子系统的点位的位置;
所述步骤S5具体包括:在已构建的全景图的基础上选择子系统设备区域,拖动添加已在数据库中配置完成的设备,将子系统配置信息与子系统设备策略管理数据库信息相匹配,结合需要设置对应的策略。
10.根据权利要求5所述的控制方法,其特征在于,所述步骤S6中的设备间相互联动具体包括:子系统利用发送信号的方式,通过匹配策略服务器中的配置信息与其他子系统进行通信,从而实现不同设备间快速准确相互联动控制。
CN201710807654.9A 2017-09-08 2017-09-08 一种全景互联控制系统以及控制方法 Pending CN107678329A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710807654.9A CN107678329A (zh) 2017-09-08 2017-09-08 一种全景互联控制系统以及控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710807654.9A CN107678329A (zh) 2017-09-08 2017-09-08 一种全景互联控制系统以及控制方法

Publications (1)

Publication Number Publication Date
CN107678329A true CN107678329A (zh) 2018-02-09

Family

ID=61135229

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710807654.9A Pending CN107678329A (zh) 2017-09-08 2017-09-08 一种全景互联控制系统以及控制方法

Country Status (1)

Country Link
CN (1) CN107678329A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110381260A (zh) * 2019-08-26 2019-10-25 山东浪潮人工智能研究院有限公司 一种基于硬件加速的全景图像生成方法及工具

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080259815A1 (en) * 2004-07-30 2008-10-23 Gorman Sean P System and method of mapping and analyzing vulnerabilities in networks
CN104181884A (zh) * 2014-08-11 2014-12-03 厦门立林科技有限公司 一种基于全景视图的智能家居控制装置及方法
CN106054655A (zh) * 2016-07-25 2016-10-26 青岛海信电器股份有限公司 一种智能家居联动控制方法和装置
CN106100866A (zh) * 2016-05-27 2016-11-09 上海物联网有限公司 一种基于区域联动的智能探测装置、配置装置及方法
CN106454226A (zh) * 2016-09-09 2017-02-22 苏州光格设备有限公司 基于360全景技术的综合管廊在线监控报警方法和系统
CN106485407A (zh) * 2016-09-27 2017-03-08 北京智汇盈科信息工程有限公司 一种基于全景技术的设备可视化管理方法
CN106485655A (zh) * 2015-09-01 2017-03-08 张长隆 一种基于四旋翼飞行器航拍地图生成系统及方法
CN106683045A (zh) * 2016-09-28 2017-05-17 深圳市优象计算技术有限公司 一种基于双目像机的全景图像拼接方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080259815A1 (en) * 2004-07-30 2008-10-23 Gorman Sean P System and method of mapping and analyzing vulnerabilities in networks
CN104181884A (zh) * 2014-08-11 2014-12-03 厦门立林科技有限公司 一种基于全景视图的智能家居控制装置及方法
CN106485655A (zh) * 2015-09-01 2017-03-08 张长隆 一种基于四旋翼飞行器航拍地图生成系统及方法
CN106100866A (zh) * 2016-05-27 2016-11-09 上海物联网有限公司 一种基于区域联动的智能探测装置、配置装置及方法
CN106054655A (zh) * 2016-07-25 2016-10-26 青岛海信电器股份有限公司 一种智能家居联动控制方法和装置
CN106454226A (zh) * 2016-09-09 2017-02-22 苏州光格设备有限公司 基于360全景技术的综合管廊在线监控报警方法和系统
CN106485407A (zh) * 2016-09-27 2017-03-08 北京智汇盈科信息工程有限公司 一种基于全景技术的设备可视化管理方法
CN106683045A (zh) * 2016-09-28 2017-05-17 深圳市优象计算技术有限公司 一种基于双目像机的全景图像拼接方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110381260A (zh) * 2019-08-26 2019-10-25 山东浪潮人工智能研究院有限公司 一种基于硬件加速的全景图像生成方法及工具

Similar Documents

Publication Publication Date Title
CN108304075B (zh) 一种在增强现实设备进行人机交互的方法与设备
CN103763479B (zh) 实时高速高清全景视频的拼接装置及其方法
CN104765905B (zh) 基于bim的平面图和第一视角分屏同步显示方法和系统
US11346665B2 (en) Method and apparatus for planning sample points for surveying and mapping, control terminal, and storage medium
DE112016004216T5 (de) Allgemeine Sphärische Erfassungsverfahren
CN111062873A (zh) 一种基于多对双目相机的视差图像拼接与可视化方法
US20060232584A1 (en) Stereoscopic picture generating apparatus
CN107635129A (zh) 三维三目摄像装置及深度融合方法
CN106296783A (zh) 一种结合空间全局3d视图和全景图片的空间展示方法
CN103226830A (zh) 三维虚实融合环境中视频纹理投影的自动匹配校正方法
CN109063039A (zh) 一种基于移动端的视频地图动态标签显示方法及系统
CN107451952A (zh) 一种全景视频的拼接融合方法、设备以及系统
CN110138831A (zh) 一种进行远程协助的方法与设备
CN104731338B (zh) 一种基于封闭式的增强虚拟现实系统及方法
CN107317998A (zh) 全景视频图像融合方法及装置
CN113869231B (zh) 一种用于获取目标对象的实时图像信息的方法与设备
US20090167786A1 (en) Methods and apparatus for associating image data
CN108509173A (zh) 图像展示系统及方法、存储介质、处理器
CN110070622A (zh) 一种基于ar技术的图书馆应用系统及使用方法
CN107783306A (zh) 一种基于仿真教学实训室的裸眼3d沉浸式交互方法及系统
CN103795978A (zh) 一种多画面智能识别方法及其装置
CN106530408A (zh) 博物馆临时展览规划设计的系统
CN106791629A (zh) 一种基于ar虚拟现实技术的楼房建造设计系统
CN109656259A (zh) 一种用于确定目标对象的图像位置信息的方法与设备
CN113253842A (zh) 场景编辑方法和相关装置、设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180209

RJ01 Rejection of invention patent application after publication