CN114442606B - 一种警情预警机器人及其控制方法 - Google Patents
一种警情预警机器人及其控制方法 Download PDFInfo
- Publication number
- CN114442606B CN114442606B CN202111556511.8A CN202111556511A CN114442606B CN 114442606 B CN114442606 B CN 114442606B CN 202111556511 A CN202111556511 A CN 202111556511A CN 114442606 B CN114442606 B CN 114442606B
- Authority
- CN
- China
- Prior art keywords
- robot
- primary
- fire disaster
- fire
- robots
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000013528 artificial neural network Methods 0.000 claims abstract description 26
- 238000004458 analytical method Methods 0.000 claims abstract description 10
- 238000004422 calculation algorithm Methods 0.000 claims description 16
- 238000003860 storage Methods 0.000 claims description 14
- 230000005484 gravity Effects 0.000 claims description 12
- 239000000463 material Substances 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000009826 distribution Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000002159 abnormal effect Effects 0.000 claims description 3
- 238000003064 k means clustering Methods 0.000 claims description 3
- 238000002360 preparation method Methods 0.000 claims description 3
- 239000003086 colorant Substances 0.000 claims description 2
- 239000000523 sample Substances 0.000 claims 1
- 239000000758 substrate Substances 0.000 claims 1
- 230000008859 change Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000000605 extraction Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
- G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
- G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
- G05D1/0285—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using signals transmitted via a public communication network, e.g. GSM network
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B17/00—Fire alarms; Alarms responsive to explosion
- G08B17/10—Actuation by presence of smoke or gases, e.g. automatic alarm devices for analysing flowing fluid materials by the use of optical means
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Abstract
本申请提供一种警情预警机器人及其控制方法。该方法包括：在初级机器人巡逻时，摄像头拍摄初级机器人四周的图像，将图像输入内置的火灾识别软件进行分析；当图像被分析为火灾图像时，初级机器人停止巡逻并向其周围最近的一个高级机器人发出呼叫请求；高级机器人响应呼叫请求，按照规划路径到达初级机器人的位置附近；高级机器人接收初级机器人的火灾指向信息，控制摄像头指向火灾方向拍摄视频，并将视频输入内置神经网络模块分析是否为真实火灾，如果高级机器人分析为真实火灾，则高级机器人向周围的初级机器人发出火灾警报，以控制周围的初级机器人向高级机器人当前所在地点集合。本申请实现对火灾的无人化预警，并减少误报警。
Description
技术领域
本申请涉及机器人技术领域，尤其涉及一种警情预警机器人及其控制方法。
背景技术
随着机器人技术的不断普及，在硬件上已经制造出了能够在火灾场景下进入并进行灭火的机器人，在很多危险的场景下，运用机器人进行灭火，不仅效率高，而且可以大大降低不确定危险源带来的二次伤害，挽救消防员的生命。但是目前，市面上的机器人其控制算法还存在目标着火点不容易识别、机器人动作控制不明确的问题，导致有时候机器人灭火盲目，不能有效的完成任务。
现有的火灾预警机器人，则往往仅仅通过图像、视频或者烟雾传感器的信号就简单的判断是否有火灾，往往由于太阳、灯光等干扰源导致误报警的现象发生，从而虚惊一场，浪费消防人力物力。
发明内容
有鉴于此，本申请的目的在于提出一种警情预警机器人的控制方法，本申请能够针对性的解决现有的机器人误报火警的问题。
基于上述目的，本申请提出了一种警情预警机器人的控制方法，包括：
启动多个警情预警机器人，在厂区内按照预设巡逻路线巡逻，所述机器人上安装有摄像头；其中，所述机器人分初级机器人和高级机器人，所述初级机器人内部内置火灾识别软件，所述高级机器人内置神经网络模块；
在初级机器人巡逻时，摄像头拍摄初级机器人四周的图像，将所述图像输入内置的火灾识别软件进行分析；当所述图像被分析为火灾图像时，初级机器人停止巡逻并向其周围最近的一个高级机器人发出呼叫请求；
所述高级机器人响应所述呼叫请求，停止巡逻并根据自身位置和所述初级机器人的位置进行路径规划，按照规划路径到达初级机器人的位置附近；
高级机器人接收初级机器人的火灾指向信息，控制摄像头指向火灾方向拍摄视频，并将所述视频输入内置神经网络模块分析是否为真实火灾，如果不是真实火灾则向初级机器人发出误报警提示，控制所述初级机器人沿预设路径继续巡逻；
如果高级机器人分析为真实火灾，则高级机器人向周围的初级机器人发出火灾警报，以控制所述周围的初级机器人向高级机器人当前所在地点集合，并打开自身储物门，通过语音播报提示使用自身携带的灭火物资。
进一步地，所述启动多个警情预警机器人，在厂区内按照预设巡逻路线巡逻，包括：
机器人沿着预设道路地图在所述厂区内遍历，通过激光雷达避开障碍物，通过机器人自带摄像头360度扫描厂区的全部房间门牌，得到各个房间门牌图像；
根据机器人内部的定位模块和行驶轨迹，结合激光雷达对于墙壁或门的测距，建立厂区的地图；
根据图像识别算法，识别所述各个房间门牌图像，得到每个房间对应的名称及编号，标记在所述厂区的各个房间上。
进一步地，所述火灾识别软件的火灾识别算法，包括：
S1.导入图像，并进行图像预处理和提取图像的HSV颜色特征；S2.判断HSV颜色空间中与火灾图像的共有颜色特征是否存在重叠，若存在重叠，继续执行步骤S3，若不存在重叠，则将该图像识别为非火灾图像，直接执行步骤S6；S3.利用SURF算法计算火灾类图像和非火灾类图像的局部特征；S4.采用K均值聚类算法针对局部特征分别计算出火灾类图像和非火灾类图像的聚类中心；S5.基于特征点分别与火灾类图像及非火灾类图像聚类中心的距离进行火灾图像识别；S6.输出图像识别结果。
进一步地，所述高级机器人响应所述呼叫请求，停止巡逻并根据自身位置和所述初级机器人的位置进行路径规划，按照规划路径到达初级机器人的位置附近，包括：
高级机器人响应所述呼叫请求，停止巡逻，所述呼叫请求包含初级机器人在所述厂区的地图中的位置；
根据所述高级机器人在所述厂区的地图中的位置，以及所述初级机器人的在所述厂区的地图中的位置，在所述地图上进行路径导航规划，得到多条导航路径；
计算所述多条导航路径的长度，按照最短长度的导航路径控制高级机器人运行，直至到达初级机器人的位置附近。
进一步地，所述高级机器人接收初级机器人的火灾指向信息，控制摄像头指向火灾方向拍摄视频，并将所述视频输入内置神经网络模块分析是否为真实火灾，包括：
初级机器人获取被内置火灾识别软件识别为火灾的图像拍摄时摄像头的三维空间指向信息；
将所述三维空间指向信息发送给高级机器人，作为火灾指向信息；
高级机器人控制自身摄像头旋转，按照所述火灾指向信息指向火灾方向并拍摄视频；
将所述视频输入内置神经网络模块分析是否为真实火灾。
进一步地，所述视频输入内置神经网络模块分析是否为真实火灾，包括：
对所述视频截取多个目标图像；
对多个目标图像进行预处理；
对预处理后的图像采用背景差分发法检测目标图像是否具有异常，得到可疑区域；
对所述可疑区域进行火焰特征的检测，包括火焰颜色的识别及火焰的动态特征识别，并设定阈值，将检测结果和设定的阈值进行比较；
根据所述比较的结果，通过人工神经网络精确识别火灾。
进一步地，所述火焰颜色的识别，包括：首先取疑似火焰物体的全部像素值，计算每个像素点的红色比重值；然后计算这些像素点的红色比重值的方差值，当可疑目标为火焰时，由于火焰颜色变化分布造成像素变化大，红色比重的方差值较大；而当可疑目标为太阳、灯光等干扰源时，颜色变化不明显，像素值基本保持在一个平均值附近波动，像素点的红色比重值的方差不大，接近零；
所述火焰的动态特征识别，包括：火焰尖角的识别：不稳定的火焰尖角由一个个的点组成，令尖角中某一行的亮点数为f(n)，上一行的亮点数记为f(n-1)，要求尖角狭长通过控制f(n)/f(n-1)的值来实现；火焰圆形度的计算：圆形度表征了物体形状的复杂程度，其计算公式为：圆形度＝周长的平方/(面积×4π)，周长为物体的边界长度，从边界链码中得到，垂直的和水平的步幅为单位长度，对角步幅的长度为两个直角步还原成一个对角度，其步幅是/>按上述规则遍历边界链码，算出边界长度；面积通过统计亮点数获得；圆形度对圆形物体取最小值4π，物体形状越复杂其值越大。
基于上述目的，本申请还提出了一种警情预警机器人，包括：
巡逻启动模块，用于启动多个警情预警机器人，在厂区内按照预设巡逻路线巡逻，所述机器人上安装有摄像头；其中，所述机器人分初级机器人和高级机器人，所述初级机器人内部内置火灾识别软件，所述高级机器人内置神经网络模块；
初级火灾识别模块，用于在初级机器人巡逻时，摄像头拍摄初级机器人四周的图像，将所述图像输入内置的火灾识别软件进行分析；当所述图像被分析为火灾图像时，初级机器人停止巡逻并向其周围最近的一个高级机器人发出呼叫请求；
路径规划模块，用于所述高级机器人响应所述呼叫请求，停止巡逻并根据自身位置和所述初级机器人的位置进行路径规划，按照规划路径到达初级机器人的位置附近；
高级火灾识别模块，用于高级机器人接收初级机器人的火灾指向信息，控制摄像头指向火灾方向拍摄视频，并将所述视频输入内置神经网络模块分析是否为真实火灾，如果不是真实火灾则向初级机器人发出误报警提示，控制所述初级机器人沿预设路径继续巡逻；
灭火预备模块，用于如果高级机器人分析为真实火灾，则高级机器人向周围的初级机器人发出火灾警报，以控制所述周围的初级机器人向高级机器人当前所在地点集合，并打开自身储物门，通过语音播报提示使用自身携带的灭火物资。
总的来说，本申请的优势及给用户带来的体验在于：
本申请实现对火灾的无人化预警，并通过设计两级预警机器人，在收到初级机器人的疑似火灾提示时，通过高级机器人到达疑似火灾现场进行二次确认，从而减少误报警的可能，使得火灾的智能化分析更加科学，能够提高火灾处置效率。
附图说明
在附图中，除非另外规定，否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解，这些附图仅描绘了根据本申请公开的一些实施方式，而不应将其视为是对本申请范围的限制。
图1示出本申请的系统架构原理示意图。
图2示出根据本申请实施例的警情预警机器人的控制方法的流程图。
图3示出根据本申请实施例的警情预警机器人的构成图。
图4示出了本申请一实施例所提供的一种电子设备的结构示意图；
图5示出了本申请一实施例所提供的一种存储介质的示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出本申请的系统架构原理示意图。本申请的实施例中，本申请提供一种警情预警机器人及其控制方法。该方法包括：在初级机器人巡逻时，摄像头拍摄初级机器人四周的图像，将图像输入内置的火灾识别软件进行分析；当图像被分析为火灾图像时，初级机器人停止巡逻并向其周围最近的一个高级机器人发出呼叫请求；高级机器人响应呼叫请求，按照规划路径到达初级机器人的位置附近；高级机器人接收初级机器人的火灾指向信息，控制摄像头指向火灾方向拍摄视频，并将视频输入内置神经网络模块分析是否为真实火灾，如果高级机器人分析为真实火灾，则高级机器人向周围的初级机器人发出火灾警报，以控制周围的初级机器人向高级机器人当前所在地点集合。
图2示出根据本申请实施例的警情预警机器人的控制方法的流程图。如图2所示，该警情预警机器人的控制方法包括：
步骤101：启动多个警情预警机器人，在厂区内按照预设巡逻路线巡逻，所述机器人上安装有摄像头；其中，所述机器人分初级机器人和高级机器人，所述初级机器人内部内置火灾识别软件，所述高级机器人内置神经网络模块。
本步骤中，首先机器人沿着预设道路地图在所述厂区内遍历，通过激光雷达避开障碍物，通过机器人自带摄像头360度扫描厂区的全部房间门牌，得到各个房间门牌图像；
根据机器人内部的定位模块和行驶轨迹，结合激光雷达对于墙壁或门的测距，建立厂区的地图；
根据图像识别算法，识别所述各个房间门牌图像，得到每个房间对应的名称及编号，标记在所述厂区的各个房间上。
本实施例中，机器人识别房间门牌图像的过程可以是：
利用识别模型对门牌图像进行分析，得到房间的标识信息，包括：对门牌图像进行紧致化处理，得到处理后的门牌图像；利用识别模型对处理后的门牌图像进行分析，得到处理后的门牌图像的标签得分矩阵；对处理后的门牌标识图片的标签得分矩阵进行分析，得到房间的标识信息。
在另一种可行的方案中，可以通过可微的二值化网络对房间门牌图像进行文字检测以得到多个文本框；将多个文本框合并成文本行；通过文字识别网络对文本行进行文字识别。例如，对门牌图像进行特征提取和分割，获取待检测的门牌图像的文本区域概率图，再根据文本区域概率图，确定门牌图像的文本区域二值图。其中，获取门牌图像的文本区域概率图可以通过对门牌图像进行特征提取，获得特征映射图。再将特征映射图进行上采样，并串联上采样后的特征；基于串联后的特征对应的特征映射图进行图像分割，获取文本区域概率图。具体地，可以使用神经网络模型的像素聚合网络(Pixel Aggregation Network，PAN)结构对门牌图像进行特征提取，获得PAN特征提取结果；将PAN特征提取结果输入神经网络模型的DB结构进行上采样，通过DB结构对上采样后的特征进行串联；并基于串联后的特征对应的特征映射图进行图像分割，获得门牌图像的文本区域的概率图。相比较于传统的文字检测方法，降低了检测数据计算量，节省了计算资源，提高了检测速度和效率。
步骤102：在初级机器人巡逻时，摄像头拍摄初级机器人四周的图像，将所述图像输入内置的火灾识别软件进行分析；当所述图像被分析为火灾图像时，初级机器人停止巡逻并向其周围最近的一个高级机器人发出呼叫请求。
本实施例中，火灾识别软件的火灾识别算法，包括：
S1.导入图像，并进行图像预处理和提取图像的HSV颜色特征；S2.判断HSV颜色空间中与火灾图像的共有颜色特征是否存在重叠，若存在重叠，继续执行步骤S3，若不存在重叠，则将该图像识别为非火灾图像，直接执行步骤S6；S3.利用SURF算法计算火灾类图像和非火灾类图像的局部特征；S4.采用K均值聚类算法针对局部特征分别计算出火灾类图像和非火灾类图像的聚类中心；S5.基于特征点分别与火灾类图像及非火灾类图像聚类中心的距离进行火灾图像识别；S6.输出图像识别结果。
步骤103：所述高级机器人响应所述呼叫请求，停止巡逻并根据自身位置和所述初级机器人的位置进行路径规划，按照规划路径到达初级机器人的位置附近，包括：
高级机器人响应所述呼叫请求，停止巡逻，所述呼叫请求包含初级机器人在所述厂区的地图中的位置；初级机器人和高级机器人都内置定位模块，以实时计算自身在厂区地图中的位置。同级别的机器人或者不同级别的机器人之间通过现有的中短距离通信方式zigbee、蓝牙、RFID、WIFI等方式完成无线通信，也可以通过远程的GPRS、GSM等远程无线通信方式完成呼叫。
根据所述高级机器人在所述厂区的地图中的位置，以及所述初级机器人的在所述厂区的地图中的位置，在所述地图上进行路径导航规划，得到多条导航路径；由于厂区地图的复杂性，在高级机器人和呼叫的初级机器人之间存在多种可能的到达路径，为此可以通过导航算法在地图中为高级机器人进行路径推荐。路径推荐算法已经是较为公知的技术，在此不再赘述。
计算所述多条导航路径的长度，按照最短长度的导航路径控制高级机器人运行，直至到达初级机器人的位置附近。
步骤104：高级机器人接收初级机器人的火灾指向信息，控制摄像头指向火灾方向拍摄视频，并将所述视频输入内置神经网络模块分析是否为真实火灾，如果不是真实火灾则向初级机器人发出误报警提示，控制所述初级机器人沿预设路径继续巡逻。
在这个步骤中，首先初级机器人获取被内置火灾识别软件识别为火灾的图像拍摄时摄像头的三维空间指向信息；
然后，初级机器人将所述三维空间指向信息发送给高级机器人，作为火灾指向信息；
高级机器人控制自身摄像头旋转，按照所述火灾指向信息指向火灾方向并拍摄视频；
将所述视频输入内置神经网络模块分析是否为真实火灾，包括：
对所述视频截取多个目标图像；
对多个目标图像进行预处理；
对预处理后的图像采用背景差分发法检测目标图像是否具有异常，得到可疑区域；
对所述可疑区域进行火焰特征的检测，包括火焰颜色的识别及火焰的动态特征识别，并设定阈值，将检测结果和设定的阈值进行比较；
根据所述比较的结果，通过人工神经网络精确识别火灾。
其中，火焰颜色的识别，包括：首先取疑似火焰物体的全部像素值，计算每个像素点的红色比重值；然后计算这些像素点的红色比重值的方差值，当可疑目标为火焰时，由于火焰颜色变化分布造成像素变化大，红色比重的方差值较大；而当可疑目标为太阳、灯光等干扰源时，颜色变化不明显，像素值基本保持在一个平均值附近波动，像素点的红色比重值的方差不大，接近零；
火焰的动态特征识别，包括：火焰尖角的识别：不稳定的火焰尖角由一个个的点组成，令尖角中某一行的亮点数为f(n)，上一行的亮点数记为f(n-1)，要求尖角狭长通过控制f(n)/f(n-1)的值来实现；火焰圆形度的计算：圆形度表征了物体形状的复杂程度，其计算公式为：圆形度＝周长的平方/(面积×4π)，周长为物体的边界长度，从边界链码中得到，垂直的和水平的步幅为单位长度，对角步幅的长度为两个直角步还原成一个对角度，其步幅是/>按上述规则遍历边界链码，算出边界长度；面积通过统计亮点数获得；圆形度对圆形物体取最小值4π，物体形状越复杂其值越大。
本实施例中，采用的人工神经网络，可以是多种形式，例如三层BP神经网络、卷积神经网络、LSTM网络等等。
步骤105：如果高级机器人分析为真实火灾，则高级机器人向周围的初级机器人发出火灾警报，以控制所述周围的初级机器人向高级机器人当前所在地点集合，并打开自身储物门，通过语音播报提示使用自身携带的灭火物资。
当高级机器人也判断为真实火灾后，高级机器人一边向远方的值守人员，例如保安、警察、消防等发送火灾警报。另一方面，为了最大限度的减少火灾的损失，为了防止到达火灾现场的人员没有救火物资从而无法灭火，可以在各个预警机器人内部内置消防灭火器等初级灭火设备。为了提供尽可能多的灭火物资，高级机器人通过呼叫附近的多个初级机器人，并将自身的位置也同步发送给这些机器人，使得这些机器人在收到位置信息后，也通过路径规划和导航的方式，改变当前巡逻状态，自动的移动到火灾现场附近，并提供出自身的灭火物资以应急。如此，极大的提高了灭火的及时性和准确性，为及早扑灭火灾提供了良好条件。
本申请实现对火灾的无人化预警，并通过设计两级预警机器人，在收到初级机器人的疑似火灾提示时，通过高级机器人到达疑似火灾现场进行二次确认，从而减少误报警的可能，使得火灾的智能化分析更加科学，能够提高火灾处置效率。
申请实施例提供了一种警情预警机器人，该系统用于执行上述实施例所述的警情预警机器人的控制方法，如图3所示，该系统包括：
巡逻启动模块501，用于启动多个警情预警机器人，在厂区内按照预设巡逻路线巡逻，所述机器人上安装有摄像头；其中，所述机器人分初级机器人和高级机器人，所述初级机器人内部内置火灾识别软件，所述高级机器人内置神经网络模块；
初级火灾识别模块502，用于在初级机器人巡逻时，摄像头拍摄初级机器人四周的图像，将所述图像输入内置的火灾识别软件进行分析；当所述图像被分析为火灾图像时，初级机器人停止巡逻并向其周围最近的一个高级机器人发出呼叫请求；
路径规划模块503，用于所述高级机器人响应所述呼叫请求，停止巡逻并根据自身位置和所述初级机器人的位置进行路径规划，按照规划路径到达初级机器人的位置附近；
高级火灾识别模块504，用于高级机器人接收初级机器人的火灾指向信息，控制摄像头指向火灾方向拍摄视频，并将所述视频输入内置神经网络模块分析是否为真实火灾，如果不是真实火灾则向初级机器人发出误报警提示，控制所述初级机器人沿预设路径继续巡逻；
灭火预备模块505，用于如果高级机器人分析为真实火灾，则高级机器人向周围的初级机器人发出火灾警报，以控制所述周围的初级机器人向高级机器人当前所在地点集合，并打开自身储物门，通过语音播报提示使用自身携带的灭火物资。
本申请的上述实施例提供的警情预警机器人与本申请实施例提供的警情预警机器人的控制方法出于相同的发明构思，具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。
本申请实施方式还提供一种与前述实施方式所提供的警情预警机器人的控制方法对应的电子设备，以执行上警情预警机器人的控制方法。本申请实施例不做限定。
请参考图4，其示出了本申请的一些实施方式所提供的一种电子设备的示意图。如图4所示，所述电子设备2包括：处理器200，存储器201，总线202和通信接口203，所述处理器200、通信接口203和存储器201通过总线202连接；所述存储器201中存储有可在所述处理器200上运行的计算机程序，所述处理器200运行所述计算机程序时执行本申请前述任一实施方式所提供的警情预警机器人的控制方法。
其中，存储器201可能包含高速随机存取存储器(RAM：Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口203(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网、广域网、本地网、城域网等。
总线202可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。其中，存储器201用于存储程序，所述处理器200在接收到执行指令后，执行所述程序，前述本申请实施例任一实施方式揭示的所述警情预警机器人的控制方法可以应用于处理器200中，或者由处理器200实现。
处理器200可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器200中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器200可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器201，处理器200读取存储器201中的信息，结合其硬件完成上述方法的步骤。
本申请实施例提供的电子设备与本申请实施例提供的警情预警机器人的控制方法出于相同的发明构思，具有与其采用、运行或实现的方法相同的有益效果。
本申请实施方式还提供一种与前述实施方式所提供的警情预警机器人的控制方法对应的计算机可读存储介质，请参考图5，其示出的计算机可读存储介质为光盘30，其上存储有计算机程序(即程序产品)，所述计算机程序在被处理器运行时，会执行前述任意实施方式所提供的警情预警机器人的控制方法。
需要说明的是，所述计算机可读存储介质的例子还可以包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他光学、磁性存储介质，在此不再一一赘述。
本申请的上述实施例提供的计算机可读存储介质与本申请实施例提供的警情预警机器人的控制方法出于相同的发明构思，具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。
需要说明的是：
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备有固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本申请也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本申请的内容，并且上面对特定语言所做的描述是为了披露本申请的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本申请并帮助理解各个发明方面中的一个或多个，在上面对本申请的示例性实施例的描述中，本申请的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本申请要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本申请的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本申请的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本申请的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本申请实施例的虚拟机的创建系统中的一些或者全部部件的一些或者全部功能。本申请还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者系统程序(例如，计算机程序和计算机程序产品)。这样的实现本申请的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本申请进行说明而不是对本申请进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本申请可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干系统的单元权利要求中，这些系统中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到其各种变化或替换，这些都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种警情预警机器人的控制方法，其特征在于，包括：
启动多个警情预警机器人，在厂区内按照预设巡逻路线巡逻，所述机器人上安装有摄像头；其中，所述机器人分初级机器人和高级机器人，所述初级机器人内部内置火灾识别软件，所述高级机器人内置神经网络模块；
在初级机器人巡逻时，摄像头拍摄初级机器人四周的图像，将所述图像输入内置的火灾识别软件进行分析；当所述图像被分析为火灾图像时，初级机器人停止巡逻并向其周围最近的一个高级机器人发出呼叫请求；
所述高级机器人响应所述呼叫请求，停止巡逻并根据自身位置和所述初级机器人的位置进行路径规划，按照规划路径到达初级机器人的位置附近；
高级机器人接收初级机器人的火灾指向信息，控制摄像头指向火灾方向拍摄视频，并将所述视频输入内置神经网络模块分析是否为真实火灾，如果不是真实火灾则向初级机器人发出误报警提示，控制所述初级机器人沿预设路径继续巡逻；
如果高级机器人分析为真实火灾，则高级机器人向周围的初级机器人发出火灾警报，以控制所述周围的初级机器人向高级机器人当前所在地点集合，并打开自身储物门，通过语音播报提示使用自身携带的灭火物资。
2.根据权利要求1所述的方法，其特征在于，
所述启动多个警情预警机器人，在厂区内按照预设巡逻路线巡逻，包括：
机器人沿着预设道路地图在所述厂区内遍历，通过激光雷达避开障碍物，通过机器人自带摄像头360度扫描厂区的全部房间门牌，得到各个房间门牌图像；
根据机器人内部的定位模块和行驶轨迹，结合激光雷达对于墙壁或门的测距，建立厂区的地图；
根据图像识别算法，识别所述各个房间门牌图像，得到每个房间对应的名称及编号，标记在所述厂区的各个房间上。
3.根据权利要求1或2所述的方法，其特征在于，
所述火灾识别软件的火灾识别算法，包括：
S1.导入图像，并进行图像预处理和提取图像的HSV颜色特征；S2.判断HSV颜色空间中与火灾图像的共有颜色特征是否存在重叠，若存在重叠，继续执行步骤S3，若不存在重叠，则将该图像识别为非火灾图像，直接执行步骤S6；S3.利用SURF算法计算火灾类图像和非火灾类图像的局部特征；S4.采用K均值聚类算法针对局部特征分别计算出火灾类图像和非火灾类图像的聚类中心；S5.基于特征点分别与火灾类图像及非火灾类图像聚类中心的距离进行火灾图像识别；S6.输出图像识别结果。
4.根据权利要求3所述的方法，其特征在于，
所述高级机器人响应所述呼叫请求，停止巡逻并根据自身位置和所述初级机器人的位置进行路径规划，按照规划路径到达初级机器人的位置附近，包括：
高级机器人响应所述呼叫请求，停止巡逻，所述呼叫请求包含初级机器人在所述厂区的地图中的位置；
根据所述高级机器人在所述厂区的地图中的位置，以及所述初级机器人的在所述厂区的地图中的位置，在所述地图上进行路径导航规划，得到多条导航路径；
计算所述多条导航路径的长度，按照最短长度的导航路径控制高级机器人运行，直至到达初级机器人的位置附近。
5.根据权利要求4所述的方法，其特征在于，
所述高级机器人接收初级机器人的火灾指向信息，控制摄像头指向火灾方向拍摄视频，并将所述视频输入内置神经网络模块分析是否为真实火灾，包括：
初级机器人获取被内置火灾识别软件识别为火灾的图像拍摄时摄像头的三维空间指向信息；
将所述三维空间指向信息发送给高级机器人，作为火灾指向信息；
高级机器人控制自身摄像头旋转，按照所述火灾指向信息指向火灾方向并拍摄视频；
将所述视频输入内置神经网络模块分析是否为真实火灾。
6.根据权利要求5所述的方法，其特征在于，
所述视频输入内置神经网络模块分析是否为真实火灾，包括：
对所述视频截取多个目标图像；
对多个目标图像进行预处理；
对预处理后的图像采用背景差分发法检测目标图像是否具有异常，得到可疑区域；
对所述可疑区域进行火焰特征的检测，包括火焰颜色的识别及火焰的动态特征识别，并设定阈值，将检测结果和设定阈值进行比较；
根据所述比较的结果，通过人工神经网络精确识别火灾。
7.根据权利要求6所述的方法，其特征在于，
所述火焰颜色的识别，包括：首先取疑似火焰物体的全部像素值，计算每个像素点的红色比重值；然后计算这些像素点的红色比重值的方差值，当可疑目标为火焰时，红色比重的方差值超过预设值；而当可疑目标为干扰源时，像素值基本保持在一个平均值附近波动，像素点的红色比重值的方差接近零；
所述火焰的动态特征识别，包括：火焰尖角的识别：不稳定的火焰尖角由一个个的点组成，令尖角中某一行的亮点数为f(n)，上一行的亮点数记为f(n-1)，要求尖角狭长通过控制f(n)/f(n-1)的值来实现；火焰圆形度的计算：圆形度表征了物体形状的复杂程度，其计算公式为：圆形度＝周长的平方/(面积×4π)，周长为物体的边界长度，从边界链码中得到，垂直的和水平的步幅为单位长度，对角步幅的长度为两个直角步还原成一个对角度，其步幅是/>按以上规则遍历边界链码，算出边界长度；面积通过统计亮点数获得；圆形度对圆形物体取最小值4π，物体形状越复杂其值越大。
8.一种警情预警机器人，其特征在于，包括：
巡逻启动模块，用于启动多个警情预警机器人，在厂区内按照预设巡逻路线巡逻，所述机器人上安装有摄像头；其中，所述机器人分初级机器人和高级机器人，所述初级机器人内部内置火灾识别软件，所述高级机器人内置神经网络模块；
初级火灾识别模块，用于在初级机器人巡逻时，摄像头拍摄初级机器人四周的图像，将所述图像输入内置的火灾识别软件进行分析；当所述图像被分析为火灾图像时，初级机器人停止巡逻并向其周围最近的一个高级机器人发出呼叫请求；
路径规划模块，用于所述高级机器人响应所述呼叫请求，停止巡逻并根据自身位置和所述初级机器人的位置进行路径规划，按照规划路径到达初级机器人的位置附近；
高级火灾识别模块，用于高级机器人接收初级机器人的火灾指向信息，控制摄像头指向火灾方向拍摄视频，并将所述视频输入内置神经网络模块分析是否为真实火灾，如果不是真实火灾则向初级机器人发出误报警提示，控制所述初级机器人沿预设路径继续巡逻；
灭火预备模块，用于如果高级机器人分析为真实火灾，则高级机器人向周围的初级机器人发出火灾警报，以控制所述周围的初级机器人向高级机器人当前所在地点集合，并打开自身储物门，通过语音播报提示使用自身携带的灭火物资。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器运行所述计算机程序以实现如权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行实现如权利要求1-7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111556511.8A CN114442606B (zh) | 2021-12-17 | 2021-12-17 | 一种警情预警机器人及其控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111556511.8A CN114442606B (zh) | 2021-12-17 | 2021-12-17 | 一种警情预警机器人及其控制方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114442606A CN114442606A (zh) | 2022-05-06 |
| CN114442606B true CN114442606B (zh) | 2024-04-05 |
Family
ID=81364120
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111556511.8A Active CN114442606B (zh) | 2021-12-17 | 2021-12-17 | 一种警情预警机器人及其控制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114442606B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0822526A2 (en) * | 1996-07-29 | 1998-02-04 | Nohmi Bosai Ltd. | Fire detection system |
| CN201164675Y (zh) * | 2008-02-01 | 2008-12-17 | 山东省科学院自动化研究所 | 隧道消防应急智能机器人系统 |
| CN102208018A (zh) * | 2011-06-01 | 2011-10-05 | 西安工程大学 | 一种基于视频差异分析的输电线路火灾识别方法 |
| CN108197540A (zh) * | 2017-12-22 | 2018-06-22 | 湖南源信光电科技股份有限公司 | 一种基于surf的火灾图像特征提取与识别方法 |
| CN109230148A (zh) * | 2018-08-02 | 2019-01-18 | 李丹 | 基于机器人的无人化智能仓储系统 |
| CN110509278A (zh) * | 2019-09-06 | 2019-11-29 | 云南电网有限责任公司电力科学研究院 | 一种变电站巡检机器人的集中管理系统及方法 |
| CN110812761A (zh) * | 2019-11-27 | 2020-02-21 | 长沙紫宸科技开发有限公司 | 一种利用火灾报警网络预定位机器人快速响应的灭火系统 |
| CN212963694U (zh) * | 2020-06-24 | 2021-04-13 | 特斯联科技集团有限公司 | 一种巡逻机器人 |
| CN113134187A (zh) * | 2021-04-19 | 2021-07-20 | 重庆大学 | 基于积分强化学习的多消防巡检协作机器人系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11327503B2 (en) * | 2019-08-18 | 2022-05-10 | Cobalt Robotics Inc. | Surveillance prevention by mobile robot |
-
2021
- 2021-12-17 CN CN202111556511.8A patent/CN114442606B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0822526A2 (en) * | 1996-07-29 | 1998-02-04 | Nohmi Bosai Ltd. | Fire detection system |
| CN201164675Y (zh) * | 2008-02-01 | 2008-12-17 | 山东省科学院自动化研究所 | 隧道消防应急智能机器人系统 |
| CN102208018A (zh) * | 2011-06-01 | 2011-10-05 | 西安工程大学 | 一种基于视频差异分析的输电线路火灾识别方法 |
| CN108197540A (zh) * | 2017-12-22 | 2018-06-22 | 湖南源信光电科技股份有限公司 | 一种基于surf的火灾图像特征提取与识别方法 |
| CN109230148A (zh) * | 2018-08-02 | 2019-01-18 | 李丹 | 基于机器人的无人化智能仓储系统 |
| CN110509278A (zh) * | 2019-09-06 | 2019-11-29 | 云南电网有限责任公司电力科学研究院 | 一种变电站巡检机器人的集中管理系统及方法 |
| CN110812761A (zh) * | 2019-11-27 | 2020-02-21 | 长沙紫宸科技开发有限公司 | 一种利用火灾报警网络预定位机器人快速响应的灭火系统 |
| CN212963694U (zh) * | 2020-06-24 | 2021-04-13 | 特斯联科技集团有限公司 | 一种巡逻机器人 |
| CN113134187A (zh) * | 2021-04-19 | 2021-07-20 | 重庆大学 | 基于积分强化学习的多消防巡检协作机器人系统 |
Non-Patent Citations (5)
| Title |
|---|
| Research on the identification method for the forest fire based on deep learning;Zhaochun Liu等;Optik;20201231;第223卷;第1-11页 * |
| 多机器人系统中的机器人合作问题研究;陈建平;中国博士学位论文全文数据库信息科技辑;20151115(第11（2015）期);第I140-27页 * |
| 火焰图像特征在火灾数字图像识别中的运用;王沁;现代机械;20081030;第60-61+64页 * |
| 煤矿救援机器人系统运载车关键技术研究;魏娟;中国博士学位论文全文数据库信息科技辑;20120115(第01（2012）期);第I140-40页 * |
| 自主巡逻机器人行进避障及火灾预警研究;李俊伟;中国优秀硕士学位论文全文数据库信息科技辑;20180215(02（2018）);第I138-2026页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114442606A (zh) | 2022-05-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3867841B1 (en) | System for controlling and managing a process within an environment using artificial intelligence techniques and relative method | |
| US20240062518A1 (en) | Method, apparatus, computer device and storage medium for detecting objects thrown from height | |
| EP3370416B1 (en) | Cctv automatic selection monitoring system, and cctv automatic selection monitoring management server and management method | |
| US20070008408A1 (en) | Wide area security system and method | |
| CN107645652A (zh) | 一种基于视频监控的非法越界报警系统 | |
| US10810866B2 (en) | Perimeter breach warning system | |
| US20030020808A1 (en) | Automatic zone monitoring | |
| US10614688B1 (en) | Detecting and identifying activities and events within a property's security perimeter using a configurable network of vibration and motion sensors | |
| Sowah et al. | Hardware module design and software implementation of multisensor fire detection and notification system using fuzzy logic and convolutional neural networks (CNNs) | |
| US11308792B2 (en) | Security systems integration | |
| US20230196895A1 (en) | Method for monitoring state of wearing safety protective equipment and server for providing the method | |
| TWI719766B (zh) | 警戒區域設定系統及其方法 | |
| JP2022548009A (ja) | 物体移動システム | |
| Park et al. | Small and overlapping worker detection at construction sites | |
| JP7282186B2 (ja) | 状況認識監視 | |
| CN114442606B (zh) | 一种警情预警机器人及其控制方法 | |
| RU2721178C1 (ru) | Интеллектуальная автоматическая система обнаружения нарушителей | |
| CN116704411A (zh) | 一种基于物联网的安防管控方法、系统及存储介质 | |
| CN207530963U (zh) | 一种基于视频监控的非法越界报警系统 | |
| WO2021038814A1 (ja) | コンピュータシステム、特定状況改善方法及びプログラム | |
| US20230230379A1 (en) | Safety compliance system and method | |
| CN110927731B (zh) | 一种立体防护方法、三维检测装置和计算机可读存储介质 | |
| CN113721621B (zh) | 车辆控制方法、装置、电子设备以及存储介质 | |
| US20230410421A1 (en) | Automated updating and distribution of digital reconnaissance maps of an incident scene | |
| US20240046647A1 (en) | Method and device for detecting obstacles, and computer storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20231213 Address after: 100600 District C, Qiankun Building, Chaoyang District, Beijing Applicant after: Beijing Weimo Zhuoran Technology Co.,Ltd. Address before: 401329 no.2-1, building 6, No.39 Xinggu Road, Jiulongpo District, Chongqing Applicant before: Chongqing Terminus Wisdom Science and Technology Inc., Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |