CN107220726A - 基于增强现实的消防设备定位方法、移动终端及系统 - Google Patents

基于增强现实的消防设备定位方法、移动终端及系统 Download PDF

Info

Publication number
CN107220726A
CN107220726A CN201710287181.4A CN201710287181A CN107220726A CN 107220726 A CN107220726 A CN 107220726A CN 201710287181 A CN201710287181 A CN 201710287181A CN 107220726 A CN107220726 A CN 107220726A
Authority
CN
China
Prior art keywords
fire
fighting equipment
current
mobile terminal
scene image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710287181.4A
Other languages
English (en)
Inventor
宋小强
王鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Technology (shenzhen) Co Ltd
Original Assignee
Technology (shenzhen) Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Technology (shenzhen) Co Ltd filed Critical Technology (shenzhen) Co Ltd
Priority to CN201710287181.4A priority Critical patent/CN107220726A/zh
Publication of CN107220726A publication Critical patent/CN107220726A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G06Q10/047—Optimisation of routes or paths, e.g. travelling salesman problem
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/023—Services making use of location information using mutual or relative location information between multiple location based services [LBS] targets or of distance thresholds
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W64/00—Locating users or terminals or network equipment for network management purposes, e.g. mobility management

Abstract

本发明公开了一种基于增强现实的消防设备定位方法、移动终端、系统及计算机可读存储介质，所述方法包括通过：获取当前实景图像；获取当前位置信息及当前朝向信息，根据当前位置信息确定预设场景模型中的当前坐标；根据当前坐标及当前朝向信息从预设场景模型中查找与当前朝向信息对应的各消防设备的设备坐标及设备标识；根据各消防设备的设备坐标及当前坐标确定各消防设备与移动终端之间的距离，将各距离嵌入当前实景图像中，并对当前实景图像进行展示。通过这种基于增强现实的方式能够更直观地指引相关工作人员寻找对应的消防设备，解决工作人员遇到建筑物内存在较多消防设备时，不能及时地获得目标消防设备在建筑物中具体方位的问题。

Description

基于增强现实的消防设备定位方法、移动终端及系统
技术领域
本发明涉及消防技术领域，尤其涉及一种基于增强现实的消防设备定位方法、移动终端、系统及计算机可读存储介质。
背景技术
消防设备作为企业资产构成的重要组成之一，是完成生产经营任务的重要保障，同时对企业安全状况起着重大的影响作用。因此加强管理，确保消防设备的完整、安全、充分利用是一件重要的管理工作，消防设备具有数量较多、分布地点较广、并且常常存储于建筑楼层的隐蔽的位置，工作人员在执行消防设备维保任务时，经常会出现找不到消防设备的问题，尤其对于方向感不好的工作人员来说，寻找待维保的消防设备更是件头疼的事情。
发明内容
本发明的主要目的在于提供了一种基于增强现实的消防设备定位方法、装置、系统及计算机可读存储介质，旨在解决工作人员在执行消防设备维保任务时找不到消防设备的问题。
为实现上述目的，本发明提供了一种基于增强现实的消防设备定位的方法，所述方法包括以下步骤:
移动终端获取当前实景图像；
获取当前位置信息及当前朝向信息，根据所述当前位置信息确定预设场景模型中的当前坐标；
根据所述当前坐标及当前朝向信息从所述预设场景模型中查找对应的各消防设备的设备坐标及设备标识；
根据各消防设备的设备坐标及所述当前坐标确定各消防设备与所述移动终端之间的距离；
将各消防设备的设备标识以及各消防设备与所述移动终端之间的距离嵌入所述当前实景图像，并对所述当前实景图像进行展示。
优选地，所述将各消防设备的设备标识以及各消防设备与所述移动终端之间的距离嵌入所述当前实景图像，并对所述当前实景图像进行展示之后，所述方法还包括：
响应于用户输入的选取指令，确定与所述选取指令对应的目标消防设备到所述移动终端的距离；
根据所述目标消防设备到所述移动终端的距离生成路线指示元素；
将所述目标消防设备到所述移动终端的距离及所述路线指示元素嵌入所述当前实景图像中。
优选地，所述将所述目标消防设备到移动终端的距离及所述路线指示元素嵌入所述当前实景图像中之后，所述方法还包括：
将所述当前朝向信息与所述路线指示元素进行比较，以获取偏离误差；
当所述偏离误差大于预设阈值时，对所述偏离误差进行提示。
优选地，所述当所述偏离误差大于预设阈值时，对所述偏离误差进行提示，具体包括：
当所述偏离误差大于预设阈值时，对所述偏离误差进行语音和/或振动提示，将所述偏离误差值嵌入所述当前实景图像中。
优选地，所述消防设备的标识信息包括设备图像和设备名称；
相应地，所述将各消防设备的设备标识以及各消防设备与移动终端之间的距离嵌入所述当前实景图像，具体包括：
将各消防设备的设备图像、设备名称以及各消防设备与移动终端之间的距离嵌入所述当前实景图像。
优选地，所述获取当前位置信息，具体包括：
获取当前位置信息，从所述当前位置信息中提取当前楼层；
根据所述当前楼层确定与所述当前楼层对应的预设场景模型。
可选地，所述根据所述当前楼层确定与所述当前楼层对应的预设场景模型，具体包括：
将所述当前楼层发送至后台服务器，以使得所述后台服务器根据所述当前楼层确定与所述当前楼层对应的预设场景模型，并反馈所述预设场景模型。
此外，为实现上述目的，本发明还提出一种移动终端，所述移动终端包括：
摄像头，配置为拍摄当前实景图像；方向传感器，配置为获取当前朝向信息；存储器及存储在所述存储器上并可在所述处理器上运行的基于增强现实的消防设备定位程序，所述基于增强现实的消防设备定位程序配置为实现上文所述的基于增强现实的消防设备定位程序的步骤。
此外，为实现上述目的，本发明还提出一种基于增强现实的消防设备定位系统，所述系统包括：上文所述的移动终端、消防设备和中间件；其中，所述中间件为各层楼中布置的至少4个无线网络热点，用于向外发送信号强度。
此外，为实现上述目的，本发明还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有基于增强现实的消防设备定位程序，所述基于增强现实的消防设备定位程序被处理器执行时实现如上文所述的基于增强现实的消防设备定位的方法的步骤。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的移动终端的结构示意图；
图2为本发明基于增强现实的消防设备定位方法第一实施例的流程示意图；
图3为本发明基于增强现实的消防设备定位方法第二实施例的流程示意图；
图4为本发明基于增强现实的消防设备定位方法第三实施例的流程示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
参照图1，图1为本发明实施例方案涉及的硬件运行环境的移动终端结构示意图。
如图1所示，该移动终端可以包括：处理器1001，例如CPU，通信总线1002、用户接口1003，网络接口1004，存储器1005，摄像头1006、方向传感器1007。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。方向传感器1007优选为是陀螺仪传感器。
本领域技术人员可以理解，图1中示出的移动终端结构并不构成对移动终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、数据存储模块、网络通信模块、用户接口模块以及基于增强现实的消防设备定位程序。
所述移动终端为用户随身携带移动终端，所述移动终端可以是一种特制的多功能消防维保装置，也可以是手机、平板电脑等；
在图1所示的移动终端中，网络接口1004主要用于与后台服务器进行数据通信；摄像头1006，配置为拍摄当前实景图像；方向传感器1007，配置为获取当前朝向信息；用户接口1003主要用于与用户进行数据交互；本发明移动终端中的处理器1001、存储器1005可以设置在移动终端中，所述移动终端通过处理器1001调用存储器1005中存储的基于增强现实的消防设备定位管理程序，并执行以下操作：
获取当前实景图像；
获取当前位置信息及当前朝向信息，根据所述当前位置信息确定预设场景模型中的当前坐标；
根据所述当前坐标及当前朝向信息从所述预设场景模型中查找对应的各消防设备的设备坐标及设备标识；
根据各消防设备的设备坐标及所述当前坐标确定各消防设备与所述移动终端之间的距离；
将各消防设备的设备标识以及各消防设备与所述移动终端之间的距离嵌入所述当前实景图像，并对所述当前实景图像进行展示。
进一步地，处理器1001可以调用存储器1005中存储的基于增强现实的消防设备定位程序，还执行以下操作：
响应于用户输入的选取指令，确定与所述选取指令对应的目标消防设备到所述移动终端的距离；
根据所述目标消防设备到所述移动终端的距离生成路线指示元素；
将所述目标消防设备到所述移动终端的距离及所述路线指示元素嵌入所述当前实景图像中。
进一步地，处理器1001可以调用存储器1005中存储的基于增强现实的消防设备定位程序，还执行以下操作：
将所述当前朝向信息与所述路线指示元素进行比较，以获取偏离误差；
当所述偏离误差大于预设阈值时，对所述偏离误差进行提示。
进一步地，处理器1001可以调用存储器1005中存储的基于增强现实的消防设备定位程序，还执行以下操作：
当所述偏离误差大于预设阈值时，对所述偏离误差进行语音和/或振动提示，将所述偏离误差值嵌入所述当前实景图像中。
进一步地，处理器1001可以调用存储器1005中存储的基于增强现实的消防设备定位程序，还执行以下操作：
将各消防设备的设备图像、设备名称以及各消防设备与所述移动终端之间的距离嵌入所述当前实景图像。
进一步地，处理器1001可以调用存储器1005中存储的基于增强现实的消防设备定位程序，还执行以下操作：
获取当前位置信息，从所述当前位置信息中提取当前楼层；
根据所述当前楼层确定与所述当前楼层对应的预设场景模型。
进一步地，处理器1001可以调用存储器1005中存储的基于增强现实的消防设备定位程序，还执行以下操作：
将所述当前楼层发送至后台服务器，以使得所述后台服务器根据所述当前楼层确定与所述当前楼层对应的预设场景模型，并反馈所述预设场景模型。
本发明实施例的有益效果是：移动终端通过获取当前实景图像，同时获取当前位置信息及当前朝向信息，根据当前位置信息确定预设场景模型中的当前坐标；根据所述当前坐标及当前朝向信息从预设场景模型中查找与当前朝向信息对应的各消防设备的设备坐标及设备标识；根据各消防设备的设备坐标及所述当前坐标确定各消防设备与移动终端之间的距离；将各消防设备的设备标识以及各消防设备与移动终端之间的距离嵌入当前实景图像中。通过这种基于增强现实的方式能够更直观地指引相关工作人员寻找对应的消防设备，解决目前工作人员遇到建筑物内存在较多消防设备时，不易或不能及时地找到目标消防设备的问题，进而提高消防维保工作执行的及时性和准确性。
基于上述硬件结构，提出本发明基于增强现实的消防设备定位方法实施例。
参照图2，图2为本发明一种基于增强现实的消防设备定位方法第一实施例的流程示意图。
本实施例中，所述方法包括以下步骤：
S10：移动终端获取当前实景图像；
需要说明的是，该移动终端可以是为用户(即执行消防设备定位任务的人员)随身携带的一种特制的多功能装置(比如智能眼镜、智能安全帽等)；也可以是手机、平板电脑等移动终端；本实施例的移动终端以手机为例，手机启动摄像头，此时屏幕画面中会生成当前实景图像；
本实施例的技术方案适用于多层高楼建筑物，当然，也可适用于只有一层楼的建筑物。
S20：获取当前位置信息及当前朝向信息，根据所述当前位置信息确定预设场景模型中的当前坐标；
需要说明的是，如果用户所属的建筑只有一层楼，可以优先地采用全球卫星定位系统(Global Positioning System，GPS)或者基站对当前移动终端的位置进行定位；
但如果用户所属的建筑为高层建筑时(此时GPS或者基站信号很差，无法实施位置定位)，可以采用包括但不限于无线网(Wireless Fidelity，Wi-fi)定位、射频识别(RadioFrequency Identification，RFID)电子标签定位或蓝牙定位等方式进行；
在具体实现中，优先地，本实施例采用Wi-fi定位，即首先要合理地对划分环境网格，并在所属建筑物的每层楼内合理部署无线网络热点(Wireless Access Point，AP)，确保每个AP信号能够辐射到所有网络位置点，优先地，可在每层楼内布置四个AP；然后，建立一个位置指纹识别数据库；分别测量所有网络位置各AP的信号强度值(Received SignalStrength Indication，RSSI),并将每一个网络位置对应的AP、MAC地址和位置信息存储到所述指纹识别数据库，存储形式为[RSSI1，RSSI2，RSSI3，····RSSIn，网络位置点]，并对每个网络位置点上的RSSI值进行多次测量，并在多次测量之后求取其平均值。
建立位置指纹识别数据库之后，由于RSSI是衡量接该网络位置点上的各个AP信号强弱的一个相对值，该网络位置点的AP信号强度值RSSI与该网络位置点到发出对应信号的AP点的距离存在一定关系，因此根据所述RSSI值计算出该网络位置点到发出对应信号的AP点之间的距离(可以近似的看成是该网络位置点与发出对应信号的AP点的距离比值)；采用最邻近规则分类算法(K-Nearest Neighbor)将所述移动终端检测到的各RSSI值与所述指纹识别数据库中已存储的记录进行比较和匹配，并结合三角定位法计算出所述移动终端的当前位置信息。
定时地将移动终端接受到的各AP的信号强度RSSI值与指纹库中的各数据项进行匹配，查找出指纹识别数据库中对应的记录，进而能确定所述移动终端的当前位置；然后根据所述移动终端的当前位置，查找当前位置在预设场景模型中的当前坐标；所述预设场景模型是预先通过使用360度全景摄像记录建筑物内现场实景及消防设备位置，并生成数字化(具有坐标系的)三维虚拟建筑场景模型并录入后台数据库中，该三维虚拟建筑场景模型是和现实建筑各层楼内场景一一对应的虚拟场景；
S30：根据所述当前坐标及当前朝向信息从所述预设场景模型中查找对应的各消防设备的设备坐标及设备标识；
可理解的是，所述移动终端的当前位置与该三维虚拟建筑场景模型(预设场景模型)中的某个坐标(所述当前坐标)具有一一对应的关系；由于在该三维虚拟建筑场景模型(预设场景模型)中有预设消防设备的位置坐标点，所以预设场景模型中各坐标位置在不同朝向会有不同的消防设备的位置坐标。
在确定所述当前坐标的同时，移动终端会通过其设有的方向传感器(可以是陀螺仪)确定移动终端的当前朝向信息，并根据当前朝向信息，确定该三维虚拟建筑场景模型(预设场景模型)中的当前坐标对应朝向的消防设备坐标；其中，在每个消防设备的设备坐标均附有设备标识。
S40：根据各消防设备的设备坐标及所述当前坐标确定各消防设备与所述移动终端之间的距离；
可理解的是，所述当前坐标确定各消防设备与移动终端之间的距离可以理解为：在该三维虚拟建筑场景模型(预设场景模型)中的所述当前坐标到对应消防设备位置坐标最短的路线距离；
在具体实现中，从当前坐标点a到某个消防设备位置坐标点b，系统会自动遍历预设场景模型中所有道路，尝试将a和b通过道路用不同的路线联通到一起，得出N条路线，并从这N条路线中选取长度最短的路线，将所述长度最短的路线作为当前移动终端到该消防设备的最佳距离；
S50：将各消防设备的设备标识以及各消防设备与所述移动终端之间的距离嵌入所述当前实景图像，并对所述当前实景图像进行展示。
可理解的是，该三维虚拟建筑场景模型(预设场景模型)是预先通过360度全景摄像记录建筑物内现场实景，包括各种虚拟的模拟场景视频及对应的多帧场景图像，并将所述多帧场景图像根据坐标点和该坐标点的朝向对这些场景图像进行分类并存储于场景模型数据库中；
基于移动终端的当前位置信息和预定场景模型中的当前坐标一一对应，该三维虚拟建筑场景模型(预设场景模型)与移动终端采集当前实景图像均存在一定的对应关系，当现实中的移动终端在建筑内移动时，系统会根据所述移动终端在现实建筑内的位置的移动以及朝向的变化，在该三维虚拟建筑场景模型(预设场景模型)中的以第一人称视角模拟出相应的虚拟场景画面，并且在所述相应的虚拟场景画面会生成当前坐标点到各消防设备坐标点的距离以及对应的消防设备的标识信息(所述消防设备的标识信息包括设备图像和设备名称)。当所述相应的虚拟场景画面与所述移动终端采集当前实景图像相匹配时，将虚拟场景画面中生成的虚拟元素(各消防设备的设备标识以及各消防设备与移动终端之间的距离)嵌入所述展示中当前实景图像，并将嵌入虚拟元素后的实景图像在所述移动终端的显示屏幕上展示。
本实施例移动终端通过获取当前实景图像；获取当前位置信息及当前朝向信息，根据当前位置信息确定预设场景模型中的当前坐标；根据所述当前坐标及当前朝向信息从预设场景模型中查找与当前朝向信息对应的各消防设备的设备坐标及设备标识；根据各消防设备的设备坐标及所述当前坐标确定各消防设备与移动终端之间的距离；将各消防设备的设备标识以及各消防设备与移动终端之间的距离嵌入当前实景图像中，并对当前实景图像进行展示。通过这种基于增强现实的方式能够更直观地指引相关工作人员寻找对应的消防设备，解决工作人员遇到建筑物内存在较多消防设备时，不能及时地获得目标消防设备在建筑物中具体方位的问题。
参照图3，图3为本发明一种基于增强现实的消防设备定位方法第二实施例的流程示意图，基于上述图2所示的实施例，提出本发明基于增强现实的消防设备定位方法的第二实施例。
本实施例中，所述将各消防设备的设备标识以及各消防设备与所述移动终端之间的距离嵌入所述当前实景图像，并对所述当前实景图像进行展示之后，所述方法还包括：
S60：响应于用户输入的选取指令，确定与所述选取指令对应的目标消防设备到所述移动终端的距离；
可理解的是，在本发明一种基于增强现实的消防设备定位方法的第一实施例的步骤S50中，已将嵌入虚拟元素(消防设备的标识以及与当前位置的距离)后的实景图像在移动终端的显示屏幕上进行展示，用户可以根据展示后的当前实景图像选择对应的消防设备的标识以确定目标消防设备。
S70：根据所述目标消防设备到所述移动终端的距离生成路线指示元素；将所述目标消防设备到所述移动终端的距离及所述路线指示元素嵌入所述当前实景图像中；
可理解的是，所述当前坐标确定各消防设备与移动终端之间的距离可以理解为，在该三维虚拟建筑场景模型(预设场景模型)中的当前坐标到对应消防设备位置坐标最短的路线规划距离；当确定好系统规划的路线后，会根据所述路线在该三维虚拟建筑场景模型(预设场景模型)中生成对应的虚拟路线指示元素；此时该三维虚拟建筑场景模型中的多帧场景图像中均包括对应的虚拟路线指示元素；所述路线指示元素可以是箭头，也可以是具有3D效果的人物，本实施例对此不加以限制；
在生成虚拟路线指示元素后，系统会确定与移动终端的当前朝向信息以及当前位置信息相对应的各虚拟场景图像；
提取当前实景图像中的各特征点(特征点集A)，根据当前实景图像中的各特征点(特征点集A)，将所述当前实景图像与各虚拟场景图像进行匹配，在匹配成功时，根据所述特征点集A确定所述(成功匹配的)虚拟场景图像中的各特征点(特征点集B)；将所述特征点集B的各特征点与所述特征点集A的各特征点相连(连线方向是由特征点集B到特征点集A的方向)，以确定所述虚拟路线指示元素在所述当前实景图像中的嵌入位置。
需要说明的是，本实施例中关于当前实景图像的特征点识别可以是基于尺度不变特征变换匹配SIFT算法，可以是基于SURF加速鲁棒特征算法，可以是基于FAST角点特征提取算法，可以是基于HArris角点特征提取算法，也可以是基于BRIEF算法，本实施例对此不加以限制；以基于SIFT尺度不变特征变换匹配算法为例，本算法步骤大概分为三步：步骤一，初始化操作，模拟所述当前展示图像的多尺度特征，用组与层的结构构建了一个具有线性关系的金字塔结构的尺度空间，建立所述当前展示图像数据的多尺度特征，让我们可以在连续的高斯核尺度上查找特征点；步骤二，在查找特征点的过程中对每一个像素点进行采样以寻找极值点，每一个采样点要和它所有的相邻点比较，看其是否比它的图像域和尺度域的相邻点大或者小，以确保在所述尺度空间和二维图像空间都检测到极值点，如果一个采样点在其图像域和尺度域中是最大或者最小值时，就认为所述该采集点为特征点；另外，需要说明的是，局部极值点可能并不是真正意义上的极值点，真正的极植点可以落在了离散点的缝隙中，因此要对这些缝隙位置进行插值，然后再求极值点的坐标位置。步骤三，确定特征点的方向，特征点的方向的求法是对特征点邻域内的点的梯度方向进行直方图统计，选取直方图中比重最大的方向为特征点的主方向，还可以选择一个辅方向；在计算特征点的矢量时，需要对局部图像进行沿主方向旋转，然后再进邻域内的梯度直方图统计。通过以上算法能够准确的识别出所述当前展示图像中的特征点的向量(带有方向的特征点)，将这些特征点的集合定义为特征点集A；对应的，所述特征点集A中的各个特征点的坐标组成所述原始坐标信息。相应地，同样地采用基于SIFT尺度不变特征变换匹配算法对所述待展示图像中的特征点进行识别；通过以上算法能够准确的识别出所述待展示图像中的特征点的向量(带有方向的特征点)，将这些特征点的集合定义为特征点集B；对应的，所述特征点集B中的各个特征点的坐标构成所述目标坐标信息；
S80：将所述当前朝向信息与所述路线指示元素进行比较，以获取偏离误差；当所述偏离误差大于预设阈值时，对所述偏离误差进行语音和/或振动提示，并将所述偏离误差值嵌入所述当前实景图像中。
可理解的是，由于该三维虚拟建筑场景模型(预设场景模型)与移动终端采集当前实景图像均存在一定的对应关系(移动终端的当前位置信息和预定场景模型中的当前坐标一一对应)；当现实中的移动终端(用户)在建筑内移动时，系统会根据所述移动终端在现实建筑内的位置的移动以及朝向的变化，在该三维虚拟建筑场景模型(预设场景模型)中的以第一人称视角模拟出相应的虚拟场景画面；相应地，当移动终端在现实建筑内的移动路线偏离了规划好的虚拟路线指示元素时，系统会计算偏离误差，并且在所述偏离误差大于预设阈值时，在虚拟场景画面中生成偏离误差；然后基于步骤S70中的特征点识别、图像匹配防法，将所述偏离误差值嵌入所述当前实景图像中。
本发明实施例的有益效果是：移动终端响应于用户输入的选取指令，确定与所述选取指令对应的目标消防设备到移动终端的距离，根据所述目标消防设备到移动终端的距离生成路线指示元素，将所述目标消防设备到移动终端的距离及所述路线指示元素嵌入所述当前实景图像中，并将所述当前朝向信息与所述路线指示元素进行比较，以获取偏离误差；当所述偏离误差大于预设阈值时，对所述偏离误差进行语音和/或振动提示，并将所述偏离误差值嵌入所述当前实景图像中。上述技术方案，移动端生成AR增强现实场景能够为相关工作人员有针对性地生产维保工作路线，给工作人员做出更直观地指引和向导，使消防维保工作更易执行。
参照图4，图4为本发明一种基于增强现实的消防设备定位方法第三实施例的流程示意图，基于上述图2或图3所示的实施例，提出本发明基于增强现实的消防设备定位方法的第三实施例。
在本实施例中，所述获取当前位置信息，具体包括：
S201：获取当前位置信息，从所述当前位置信息中提取当前楼层；
可理解的是，本实施例中，建筑物内的每层楼所部署的无线网络热点所向外发送的信号均涉及对应楼层的编号；
S202：根据所述当前楼层确定与所述当前楼层对应的预设场景模型。
可理解的是，在高层建筑中，当消防维保工作人员需要下楼或上楼时，对应的三维虚拟建筑场景模型(预设场景模型)也会根据移动终端所处楼层的变换而进行变更；每个三维虚拟建筑场景模型(预设场景模型)均与现实中的一个唯一的建筑楼层场景相对应。
需要说明的是，所述三维虚拟建筑场景模型(预设场景模型)可以存储于本地移动终端内设的场景模型数据库中；也可以存储于后台服务器数据库中，即通过无线网络连接后台服务器，与后台服务器数据库进行交互；
可理解的是，当所述场景模型数据库设于后台服务器时，将所述当前楼层发送至后台服务器，以使得所述后台服务器根据所述当前楼层确定与所述当前楼层对应的预设场景模型，并反馈所述预设场景模型给移动终端。
本实施例通过从所述当前位置信息中提取当前楼层，据所述当前楼层确定与所述当前楼层对应的预设场景模型，能够实现在工作人员下楼或上楼时，及时地切换对应楼层的预设场景模型。
此外，本发明实施例还提出一种基于增强现实的消防设备定位系统，其特征在于，所述系统包括：如图1所示的移动终端、消防设备和中间件；其中，所述中间件为各层楼中布置的至少4个无线网络热点，用于向外发送信号强度。
此外，本发明实施例还提出一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有基于增强现实的消防设备定位程序，所述基于增强现实的消防设备定位程序被处理器执行时实现如下操作：
获取当前实景图像；
获取当前位置信息及当前朝向信息，根据所述当前位置信息确定预设场景模型中的当前坐标；
根据所述当前坐标及当前朝向信息从所述预设场景模型中查找对应的各消防设备的设备坐标及设备标识；
根据各消防设备的设备坐标及所述当前坐标确定各消防设备与所述移动终端之间的距离；
将各消防设备的设备标识以及各消防设备与所述移动终端之间的距离嵌入所述当前实景图像，并对所述当前实景图像进行展示。
进一步地，基于增强现实的消防设备定位程序被处理器执行时还实现如下操作：
响应于用户输入的选取指令，确定与所述选取指令对应的目标消防设备到所述移动终端的距离；
根据所述目标消防设备到所述移动终端的距离生成路线指示元素；
将所述目标消防设备到所述移动终端的距离及所述路线指示元素嵌入所述当前实景图像中。
进一步地，基于增强现实的消防设备定位程序被处理器执行时还实现如下操作：
将所述当前朝向信息与所述路线指示元素进行比较，以获取偏离误差；
当所述偏离误差大于预设阈值时，对所述偏离误差进行提示。
进一步地，基于增强现实的消防设备定位程序被处理器执行时还实现如下操作：
当所述偏离误差大于预设阈值时，对所述偏离误差进行语音和/或振动提示，将所述偏离误差值嵌入所述当前实景图像中。
进一步地，基于增强现实的消防设备定位程序被处理器执行时还实现如下操作：
将各消防设备的设备图像、设备名称以及各消防设备与所述移动终端之间的距离嵌入所述当前实景图像。
进一步地，基于增强现实的消防设备定位程序被处理器执行时还实现如下操作：
获取当前位置信息，从所述当前位置信息中提取当前楼层；
根据所述当前楼层确定与所述当前楼层对应的预设场景模型。
进一步地，基于增强现实的消防设备定位程序被处理器执行时还实现如下操作：
将所述当前楼层发送至后台服务器，以使得所述后台服务器根据所述当前楼层确定与所述当前楼层对应的预设场景模型，并反馈所述预设场景模型。
本发明实施例的有益效果是：移动终端通过获取当前实景图像，同时获取当前位置信息及当前朝向信息，根据当前位置信息确定预设场景模型中的当前坐标；根据所述当前坐标及当前朝向信息从预设场景模型中查找与当前朝向信息对应的各消防设备的设备坐标及设备标识；根据各消防设备的设备坐标及所述当前坐标确定各消防设备与移动终端之间的距离；将各消防设备的设备标识以及各消防设备与移动终端之间的距离嵌入当前实景图像中。通过这种基于增强现实的方式能够更直观地指引相关工作人员寻找对应的消防设备，解决目前工作人员遇到建筑物内存在较多消防设备时，不易或不能及时地找到目标消防设备的问题，进而提高消防维保工作执行的及时性和准确性。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种基于增强现实的消防设备定位方法，其特征在于，所述方法包括：
移动终端获取当前实景图像；
获取当前位置信息及当前朝向信息，根据所述当前位置信息确定预设场景模型中的当前坐标；
根据所述当前坐标及当前朝向信息从所述预设场景模型中查找对应的各消防设备的设备坐标及设备标识；
根据各消防设备的设备坐标及所述当前坐标确定各消防设备与所述移动终端之间的距离；
将各消防设备的设备标识以及各消防设备与所述移动终端之间的距离嵌入所述当前实景图像，并对所述当前实景图像进行展示。
2.如权利要1所述的方法，其特征在于，所述将各消防设备的设备标识以及各消防设备与所述移动终端之间的距离嵌入所述当前实景图像，并对所述当前实景图像进行展示之后，所述方法还包括：
响应于用户输入的选取指令，确定与所述选取指令对应的目标消防设备到所述移动终端的距离；
根据所述目标消防设备到所述移动终端的距离生成路线指示元素；
将所述目标消防设备到所述移动终端的距离及所述路线指示元素嵌入所述当前实景图像中。
3.如权利要求2所述的方法，其特征在于，所述将所述目标消防设备到所述移动终端的距离及所述路线指示元素嵌入所述当前实景图像中之后，所述方法还包括：
将所述当前朝向信息与所述路线指示元素进行比较，以获取偏离误差；
当所述偏离误差大于预设阈值时，对所述偏离误差进行提示。
4.如权利要求3所述的方法，其特征在于，所述当所述偏离误差大于预设阈值时，对所述偏离误差进行提示，具体包括：
当所述偏离误差大于预设阈值时，对所述偏离误差进行语音和/或振动提示，将所述偏离误差值嵌入所述当前实景图像中。
5.如权利要1所述的方法，其特征在于，所述消防设备的标识信息包括设备图像和设备名称；
相应地，所述将各消防设备的设备标识以及各消防设备与所述移动终端之间的距离嵌入所述当前实景图像，具体包括：
将各消防设备的设备图像、设备名称以及各消防设备与所述移动终端之间的距离嵌入所述当前实景图像。
6.如权利要求1-5任一项所述的方法，其特征在于，所述获取当前位置信息，具体包括：
获取当前位置信息，从所述当前位置信息中提取当前楼层；
根据所述当前楼层确定与所述当前楼层对应的预设场景模型。
7.如权利要求6所述的方法，其特征在于，所述根据所述当前楼层确定与所述当前楼层对应的预设场景模型，具体包括：
将所述当前楼层发送至后台服务器，以使得所述后台服务器根据所述当前楼层确定与所述当前楼层对应的预设场景模型，并反馈所述预设场景模型。
8.一种移动终端，其特征在于，所述移动终端包括：
摄像头，配置为拍摄当前实景图像；方向传感器，配置为获取当前朝向信息；存储器及存储在所述存储器上并可在所述处理器上运行的基于增强现实的消防设备定位程序，所述基于增强现实的消防设备定位程序配置为实现如权利要求1至7中任一项所述的基于增强现实的消防设备定位程序方法的步骤。
9.一种基于增强现实的消防设备定位系统，其特征在于，所述系统包括：权利要求8所述的移动终端、消防设备和中间件；其中，所述中间件为各层楼中布置的至少4个无线网络热点，用于向外发送信号强度。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有基于增强现实的消防设备定位程序，所述基于增强现实的消防设备定位程序被处理器执行时实现如权利要求1至7中任一项所述的基于增强现实的消防设备定位的方法的步骤。
CN201710287181.4A 2017-04-26 2017-04-26 基于增强现实的消防设备定位方法、移动终端及系统 Pending CN107220726A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710287181.4A CN107220726A (zh) 2017-04-26 2017-04-26 基于增强现实的消防设备定位方法、移动终端及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710287181.4A CN107220726A (zh) 2017-04-26 2017-04-26 基于增强现实的消防设备定位方法、移动终端及系统

Publications (1)

Publication Number Publication Date
CN107220726A true CN107220726A (zh) 2017-09-29

Family

ID=59944680

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710287181.4A Pending CN107220726A (zh) 2017-04-26 2017-04-26 基于增强现实的消防设备定位方法、移动终端及系统

Country Status (1)

Country Link
CN (1) CN107220726A (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108303136A (zh) * 2018-01-17 2018-07-20 苏州诚满信息技术有限公司 一种基于数据获取与分析的集装箱分类及检验的方法
CN108614556A (zh) * 2018-05-07 2018-10-02 北京三辰环卫机械有限公司 控制洗地机的方法、装置及系统、洗地机
CN108802677A (zh) * 2018-07-05 2018-11-13 国网福建省电力有限公司 基于rfid的变电站工程验收智能辅助设备定位方法
CN109146411A (zh) * 2018-08-02 2019-01-04 广东展诚工程咨询有限公司 一种工程项目监理、造价、招标、咨询的综合管理系统
CN109218610A (zh) * 2018-08-15 2019-01-15 北京天元创新科技有限公司 一种基于增强现实的运营商网络资源展示方法与装置
CN110503001A (zh) * 2019-07-25 2019-11-26 青岛小鸟看看科技有限公司 一种虚拟现实vr设备及其避障方法、装置
CN110503216A (zh) * 2019-08-28 2019-11-26 国网重庆市电力公司电力科学研究院 一种电缆可视化巡检方法及装置
CN110542413A (zh) * 2019-08-23 2019-12-06 刘厚温 消防定位系统以及消防靴
CN111105660A (zh) * 2019-11-27 2020-05-05 重庆特斯联智慧科技股份有限公司 一种用于消防演练的增强现实立体显示方法和系统
CN111698646A (zh) * 2020-06-08 2020-09-22 浙江商汤科技开发有限公司 一种定位方法及装置
CN112131640A (zh) * 2020-09-14 2020-12-25 深圳移动互联研究院有限公司 一种基于svg的全景图像绘制方法、装置、计算机设备及存储介质
CN112308421A (zh) * 2020-10-31 2021-02-02 贵州电网有限责任公司 一种基于rfid的终端资产信息安全管理方法及系统
CN114116110A (zh) * 2021-07-20 2022-03-01 上海诺司纬光电仪器有限公司 基于增强现实的智能界面
CN115129213A (zh) * 2022-05-31 2022-09-30 瑞庭网络技术（上海）有限公司 数据处理方法、装置、电子设备及存储介质
CN115129213B (zh) * 2022-05-31 2024-04-26 瑞庭网络技术（上海）有限公司 数据处理方法、装置、电子设备及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103913174A (zh) * 2012-12-31 2014-07-09 深圳先进技术研究院 一种导航信息的生成方法和系统及移动客户端和服务器端
CN104660995A (zh) * 2015-02-11 2015-05-27 尼森科技（湖北）有限公司 一种救灾救援可视系统
CN104661101A (zh) * 2013-11-22 2015-05-27 胜华科技股份有限公司 针对多媒体数据提供增强现实效果的系统和方法
CN104748740A (zh) * 2014-05-14 2015-07-01 深圳视景文化科技有限公司 一种基于增强现实技术的导航方法、导航终端及导航系统
CN204465738U (zh) * 2015-02-11 2015-07-08 尼森科技（湖北）有限公司 一种救灾救援可视系统
CN105243142A (zh) * 2015-10-10 2016-01-13 安徽尚舟电子科技有限公司 一种基于增强现实与可视计算的智能信息推送方法
CN205482975U (zh) * 2015-12-31 2016-08-17 歌尔科技有限公司 一种增强现实的导航系统和头戴设备
CN105976636A (zh) * 2016-05-31 2016-09-28 上海美迪索科电子科技有限公司 一种利用增强现实技术的停车场寻车系统及其寻车方法
CN205656732U (zh) * 2015-12-24 2016-10-19 重庆甲虫网络科技有限公司 无线智能增强现实消防监控系统
CN106382937A (zh) * 2015-08-25 2017-02-08 深圳视景文化科技有限公司 一种导航方法及导航终端

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103913174A (zh) * 2012-12-31 2014-07-09 深圳先进技术研究院 一种导航信息的生成方法和系统及移动客户端和服务器端
CN104661101A (zh) * 2013-11-22 2015-05-27 胜华科技股份有限公司 针对多媒体数据提供增强现实效果的系统和方法
CN104748740A (zh) * 2014-05-14 2015-07-01 深圳视景文化科技有限公司 一种基于增强现实技术的导航方法、导航终端及导航系统
CN104660995A (zh) * 2015-02-11 2015-05-27 尼森科技（湖北）有限公司 一种救灾救援可视系统
CN204465738U (zh) * 2015-02-11 2015-07-08 尼森科技（湖北）有限公司 一种救灾救援可视系统
CN106382937A (zh) * 2015-08-25 2017-02-08 深圳视景文化科技有限公司 一种导航方法及导航终端
CN105243142A (zh) * 2015-10-10 2016-01-13 安徽尚舟电子科技有限公司 一种基于增强现实与可视计算的智能信息推送方法
CN205656732U (zh) * 2015-12-24 2016-10-19 重庆甲虫网络科技有限公司 无线智能增强现实消防监控系统
CN205482975U (zh) * 2015-12-31 2016-08-17 歌尔科技有限公司 一种增强现实的导航系统和头戴设备
CN105976636A (zh) * 2016-05-31 2016-09-28 上海美迪索科电子科技有限公司 一种利用增强现实技术的停车场寻车系统及其寻车方法

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108303136B (zh) * 2018-01-17 2021-01-15 智慧光科技（深圳）有限公司 一种基于数据获取与分析的集装箱分类及检验的方法
CN108303136A (zh) * 2018-01-17 2018-07-20 苏州诚满信息技术有限公司 一种基于数据获取与分析的集装箱分类及检验的方法
CN108614556A (zh) * 2018-05-07 2018-10-02 北京三辰环卫机械有限公司 控制洗地机的方法、装置及系统、洗地机
CN108802677A (zh) * 2018-07-05 2018-11-13 国网福建省电力有限公司 基于rfid的变电站工程验收智能辅助设备定位方法
CN108802677B (zh) * 2018-07-05 2022-07-05 国网福建省电力有限公司 基于rfid的变电站工程验收智能辅助设备定位方法
CN109146411A (zh) * 2018-08-02 2019-01-04 广东展诚工程咨询有限公司 一种工程项目监理、造价、招标、咨询的综合管理系统
CN109218610A (zh) * 2018-08-15 2019-01-15 北京天元创新科技有限公司 一种基于增强现实的运营商网络资源展示方法与装置
CN110503001A (zh) * 2019-07-25 2019-11-26 青岛小鸟看看科技有限公司 一种虚拟现实vr设备及其避障方法、装置
CN110542413A (zh) * 2019-08-23 2019-12-06 刘厚温 消防定位系统以及消防靴
CN110503216A (zh) * 2019-08-28 2019-11-26 国网重庆市电力公司电力科学研究院 一种电缆可视化巡检方法及装置
CN111105660A (zh) * 2019-11-27 2020-05-05 重庆特斯联智慧科技股份有限公司 一种用于消防演练的增强现实立体显示方法和系统
CN111105660B (zh) * 2019-11-27 2021-11-30 重庆特斯联智慧科技股份有限公司 一种用于消防演练的增强现实立体显示方法和系统
CN111698646A (zh) * 2020-06-08 2020-09-22 浙江商汤科技开发有限公司 一种定位方法及装置
CN111698646B (zh) * 2020-06-08 2022-10-18 浙江商汤科技开发有限公司 一种定位方法及装置
CN112131640A (zh) * 2020-09-14 2020-12-25 深圳移动互联研究院有限公司 一种基于svg的全景图像绘制方法、装置、计算机设备及存储介质
CN112308421A (zh) * 2020-10-31 2021-02-02 贵州电网有限责任公司 一种基于rfid的终端资产信息安全管理方法及系统
CN112308421B (zh) * 2020-10-31 2024-04-09 贵州电网有限责任公司 一种基于rfid的终端资产信息安全管理方法及系统
CN114116110A (zh) * 2021-07-20 2022-03-01 上海诺司纬光电仪器有限公司 基于增强现实的智能界面
CN115129213A (zh) * 2022-05-31 2022-09-30 瑞庭网络技术（上海）有限公司 数据处理方法、装置、电子设备及存储介质
CN115129213B (zh) * 2022-05-31 2024-04-26 瑞庭网络技术（上海）有限公司 数据处理方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN107220726A (zh) 基于增强现实的消防设备定位方法、移动终端及系统
US10499002B2 (en) Information processing apparatus and information processing method
US10462406B2 (en) Information processing apparatus and information processing method
KR102321325B1 (ko) 증강 현실 디스플레이를 위한 방법, 포즈 정보를 결정하기 위한 방법, 및 장치
CN105555373B (zh) 增强现实设备、方法和程序
CN103703758B (zh) 移动增强现实系统
CN105830062B (zh) 用于编码对象阵型的系统、方法及设备
CN104936283B (zh) 室内定位方法、服务器和系统
CN108120436A (zh) 一种iBeacon辅助地磁室内实景导航方法
CN103514432A (zh) 人脸特征提取方法、设备和计算机程序产品
JP2010118019A (ja) 端末装置、配信装置、端末装置の制御方法、配信装置の制御方法、制御プログラムおよび記録媒体
CN104781849A (zh) 单眼视觉同时定位与建图(slam)的快速初始化
CN110360999A (zh) 室内定位方法、室内定位系统和计算机可读介质
CN112815923B (zh) 视觉定位方法和装置
CN107038246A (zh) 生成逃生路线的方法、移动终端、系统及可读存储介质
CN107179524A (zh) 消防设备定位方法、装置、系统及计算机可读存储介质
CN108985220A (zh) 一种人脸图像处理方法、装置及存储介质
CN111986250A (zh) 物体体积测量方法、装置、测量设备及存储介质
CN109165606A (zh) 一种车辆信息的获取方法、装置以及存储介质
CN107193820B (zh) 位置信息获取方法、装置及设备
JP5920886B2 (ja) 端末の位置・方位情報に基づいてｐｏｉを推定するサーバ、システム、プログラム及び方法
CN111078751A (zh) 一种基于unreal4进行目标统计的方法及其系统
JP5901370B2 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
JP5951465B2 (ja) 道路情報に基づいて見通しエリアを決定するプログラム、情報端末、サーバ及び方法
KR101902131B1 (ko) 시뮬레이션 파노라마 실내영상 제작 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170929

RJ01 Rejection of invention patent application after publication