CN115720621A - 用于在视觉模糊环境中导航和地图生成的个人防护装备 - Google Patents
用于在视觉模糊环境中导航和地图生成的个人防护装备 Download PDFInfo
- Publication number
- CN115720621A CN115720621A CN202180042932.0A CN202180042932A CN115720621A CN 115720621 A CN115720621 A CN 115720621A CN 202180042932 A CN202180042932 A CN 202180042932A CN 115720621 A CN115720621 A CN 115720621A
- Authority
- CN
- China
- Prior art keywords
- data
- worker
- environment
- features
- ppens
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 230000001681 protective effect Effects 0.000 title claims abstract description 15
- 238000005259 measurement Methods 0.000 claims abstract description 23
- 230000033001 locomotion Effects 0.000 claims description 71
- 239000000779 smoke Substances 0.000 claims description 36
- 238000012545 processing Methods 0.000 claims description 33
- 230000008859 change Effects 0.000 claims description 26
- 230000006870 function Effects 0.000 claims description 21
- 238000013519 translation Methods 0.000 claims description 15
- 230000029058 respiratory gaseous exchange Effects 0.000 claims description 8
- 230000002123 temporal effect Effects 0.000 claims description 7
- 230000036962 time dependent Effects 0.000 claims description 5
- 239000012530 fluid Substances 0.000 claims 1
- 231100001261 hazardous Toxicity 0.000 abstract description 43
- 238000000034 method Methods 0.000 description 116
- 239000003550 marker Substances 0.000 description 113
- 230000008569 process Effects 0.000 description 39
- 238000004891 communication Methods 0.000 description 34
- 229920013636 polyphenyl ether polymer Polymers 0.000 description 20
- 238000013507 mapping Methods 0.000 description 18
- 238000004458 analytical method Methods 0.000 description 17
- 238000004422 calculation algorithm Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 15
- 230000000007 visual effect Effects 0.000 description 13
- 230000005855 radiation Effects 0.000 description 11
- 230000004044 response Effects 0.000 description 9
- 239000002131 composite material Substances 0.000 description 8
- 230000007613 environmental effect Effects 0.000 description 8
- 230000036961 partial effect Effects 0.000 description 8
- 238000012546 transfer Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 230000005670 electromagnetic radiation Effects 0.000 description 7
- 238000010801 machine learning Methods 0.000 description 7
- 230000009471 action Effects 0.000 description 6
- 238000012937 correction Methods 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 238000010276 construction Methods 0.000 description 4
- 238000013500 data storage Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 239000013589 supplement Substances 0.000 description 4
- 230000001755 vocal effect Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 238000013439 planning Methods 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 238000001931 thermography Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000000712 assembly Effects 0.000 description 2
- 238000000429 assembly Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000001816 cooling Methods 0.000 description 2
- 230000009193 crawling Effects 0.000 description 2
- 238000003066 decision tree Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000004880 explosion Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 238000012628 principal component regression Methods 0.000 description 2
- 230000000241 respiratory effect Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000007596 consolidation process Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000037361 pathway Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 238000012913 prioritisation Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000010972 statistical evaluation Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000003319 supportive effect Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
- G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
- G01C21/30—Map- or contour-matching
- G01C21/32—Structuring or formatting of map data
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3807—Creation or updating of map data characterised by the type of data
- G01C21/383—Indoor data
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3833—Creation or updating of map data characterised by the source of data
- G01C21/3848—Data obtained from both position sensors and additional sensors
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
- G01S13/867—Combination of radar systems with cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J2005/0077—Imaging
Landscapes
- Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- Navigation (AREA)
- Alarm Systems (AREA)
- User Interface Of Digital Computer (AREA)
- Traffic Control Systems (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
本公开描述了在危险环境(8)中导航的系统(2)。这些系统包括个人防护装备(PPE)(13)和计算设备(32),该计算设备被配置为:处理来自该PPE(13)的传感器数据,基于该经处理的传感器数据来生成工作人员(10)的姿态数据,并且在该工作人员(10)移动通过该危险环境(8)时跟踪该姿态数据。该PPE(13)可包括惯性测量设备和雷达设备,该惯性测量设备用于生成惯性数据并且该雷达设备用于生成雷达数据以便检测对象在视觉模糊环境(8)中的存在或排布。该PPE(13)可包括热图像捕获设备,该热图像捕获设备用于生成热图像数据以便对该危险环境(8)的热特征进行检测和分类。该PPE(13)可包括一个或多个传感器,该一个或多个传感器用于检测视觉模糊环境(8)中的基准标记(21)以便识别该视觉模糊环境(8)中的特征。以这些方式,这些系统(2)可更安全地为该工作人员(10)导航助其通过该危险环境(8)。
Description
技术领域
本公开涉及个人防护装备。
背景技术
个人防护装备(PPE)诸如呼吸器和防护眼镜被紧急救援人员用来在危险环境中提供保护。紧急救援人员经常被迫依靠视觉或听觉指令来导航通过危险环境。在一些情况下,各种传感器(诸如全球定位系统(GPS)设备)可帮助急救人员确定紧急救援人员的当前位置或向中央指挥部指示紧急救援人员的位置。然而,危险环境可包括各种状况,诸如烟雾或碎屑,这些状况会损害紧急救援人员的视线或可能使紧急救援人员无法进行识别,从而使得紧急救援人员难以在环境中导航并且有潜在危险。
发明内容
总的来讲,本公开描述了用于在危险环境中保护和帮助工人的个人防护装备(PPE)制品、系统和方法。更具体地,本发明描述了即使在原本将损害工人的视线并且使基于常规相机的系统受限的状况下也能够实现辅助实时地图构造和对危险环境的导航的PPE系统的技术解决方案。本发明描述了使得能够对从与多个工人的PPE相关联的传感器收集的数据进行自适应、实时整合以构造更完整的路径和/或地图信息从而帮助工人在环境中导航的技术。
如本文中进一步描述的,这些技术在例如烟雾或极端热事件(例如,由仍在继续的火灾造成的热区或熊熊燃烧)将通常阻碍此类操作的情况下提供弹性导航和地图构造。此外,本文所述的示例性系统还可整合指示此类环境状况的数据并将其关联到导航和地图构建中以帮助工人或其他紧急救援人员(例如,急救人员/指挥人员)安全穿行危险环境。本文所述的PPE设备和系统可例如实时地或伪实时地处理感测到的数据,以提供对动态变化的热事件(诸如,仍在继续的火灾、跳火和蒸汽)的稳健检测和分类,并且动态地构造二维(2d)或三维(3d)建图数据,该2d或3d建图数据即使当环境可能由于将阻碍常规系统的状况而遮挡视觉时,也在工人穿行危险环境时定位事件。
在本文所述的一些示例中,PPE系统捕获并整合检测到的通过空间的各个工作人员(例如,安全工人)的运动、检测到的关于移动中的工作人员的即时周围环境的信息、从运动和附近空间信息导出的特征以及运动和空间特征的置信度得分。PPE系统可以自动校正任何跟踪误差和/或数据冲突的方式动态地构造每个工作人员的带注释的运动踪迹并汇总信息。即使在不存在预先存在的地图、信息不完整并且必须向移动中的工作人员提供紧急出口引导的情况下,也可实时地使用本文所述的系统的各种方面。
本发明描述了示例性PPE系统,其包括危险环境中的工作人员(诸如,消防员或其他应急人员)所穿戴的PPE(诸如,呼吸装置、可穿戴包和头戴装置)。作为示例,PPE包括用于捕获危险环境内的地标特征信息和/或热事件的专用传感器(诸如,雷达设备、热图像捕获设备)以及用于跟踪运动以便帮助定位工作人员的传感器,诸如一个或多个惯性测量单元(IMU)。计算设备使用传感器数据来生成并跟踪表示在工作人员移动通过危险环境时工作人员的位置和取向的姿态数据,以及在一些示例中,热事件和/或地标特征的本地化信息,该本地化信息原本可能被常规传感器遮挡。计算设备可使用姿态数据和地标信息来识别和/或定位环境中的特征,与其他用户共享特征数据,并且将所识别的特征整合到环境的可导航合成地图或路径中。
一些示例性PPE系统被配置有集成的雷达传感器以生成视觉模糊环境的同步定位与建图信息(例如,SLAM数据)。在这些示例性系统中,PPE包括一个或多个集成的惯性测量设备和至少一个雷达扫描设备,以分别用于在工作人员移动通过视觉模糊环境时收集指示运动的惯性数据和通过实时扫描环境生成的雷达数据。如本文所认识到的,雷达波可能能够透射穿过遮挡视觉的介质(诸如,烟雾或蒸汽),从而产生包括粗粒度地标信息的雷达数据,该雷达数据可由计算设备处理以至少辨别特征(诸如,墙壁、开口、受阻挡区域)在视觉模糊环境内的存在或大体排布。计算设备可接着整合该数据以通过基于惯性数据和雷达数据维持工作人员的姿态数据的滑动窗口来提供增强的SLAM操作,并且可进一步实时构造视觉模糊环境的地图,该地图更准确地反映了工作人员相对于视觉模糊环境内的特征的粗粒度排布的定位。
作为附加示例,本文所述的一些示例性PPE系统被配置为使用热成像来捕获指示热事件的数据,并且处理该数据以对危险环境中的热事件进行分类。在这些示例性系统中,PPE包括与PPE集成的一个或多个热图像捕获设备,以用于在工作人员移动通过危险环境时收集热图像数据。工作人员可能无法轻而易举地基于视觉特性来识别热特征,诸如热表面。由PPE捕获的热图像数据可包括环境中的对象的展现各种热图案的时间或空间温度信息。计算设备识别热图像数据中的这些图案并且对环境内的热特征进行分类。计算设备可构建按位置定位热特征以及指示热事件类型(例如,热表面、热跳火、蒸汽发射等)的分类信息的地图,并且/或者可被配置为基于热事件的分类来计算以便工作人员至少避开热特征的子集的路线。
作为其他示例,本文所述的一些示例性PPE系统被配置为检测和处理基准标记以帮助对视觉模糊环境的导航。在这些示例性系统中,PPE包括传感器(诸如,雷达设备或热图像捕获设备),这些传感器被特别地配置用于:即使基准标记可能分布在视觉模糊环境各处或以其他方式位于视觉模糊环境内,使得用于读取基准标记的常规手段可能是无效的,也从基准标记收集基准信息。如本文所述,这些基准标记可被配置为透射或反射电磁辐射,诸如雷达波、红外波或无线电波,该电磁辐射能够透射穿过遮挡视觉的介质(诸如烟雾),以便由集成在PPE内的传感器检测到。电磁辐射诸如通过可读代码包括或指示与环境中的位置或特征相关联的基准数据。在此类示例中,计算设备被配置为使用基准数据来生成工人的姿态数据以补充从其他传感器(诸如雷达传感器)捕获的数据,从而更准确地识别工作人员在视觉模糊环境内的位置或取向。
在一些示例中,本文所述的PPE系统被配置为使用基于置信度的启发法基于来自两个或更多个工作人员的数据来构建地图。在这些示例性系统中,计算设备可生成包括姿态元数据的姿态数据,该姿态元数据指示用于生成姿态数据的传感器数据的置信水平或从传感器数据识别的特征的置信度。例如,基准数据可具有相对较高的置信度,并且惯性数据可具有随时间或距离而减小的置信度,因此表示可由于IMU传感器的漂移而诱发的误差。在从与另一工作人员相关联的PPE接收到冲突传感器数据和/或姿态信息时,计算设备基于姿态元数据和基于置信度的启发法来生成合并地图,使得该合并地图包括特征在环境内的更准确排布。
本文所述的PPE系统可在多种危险环境中使用。本文所述的示例性PPE系统使得能够在具有低可见性的危险环境中进行特征的实时、多用户定位和建图。在一些情况下,计算设备可用于向用户通知具有低可见性的不熟悉的环境。在一些情况下,不熟悉的环境可包括建筑物的未知结构,诸如墙壁、门、楼梯或出口。在其他情况下,不熟悉的环境可包括起伏不定的危险,诸如大小、强度、位置、移动性或增长潜力不同的热事件。在其他情况下,不熟悉的环境可包括必须对其进行跟踪诸如以便进行营救操作的移动中的合作者或装备。低可见性可能是由烟雾或黑暗引起的,使得用户难以对环境进行了解和导航。尽管可见性低,但传感器仍可工作,从而收集关于特征诸如基准、三维地标和热源的数据。计算设备可使用传感器数据以及在一些情况下来自其他用户的计算设备的数据来构造环境的视觉表示。计算设备还可呈现通过环境到目的地(诸如,出口或合作者),同时避开使用特征数据识别的危险的路线。以这种方式,传感器和计算设备改善了用户的情况感知。
在一些示例中,一种系统包括个人防护装备(PPE)和至少一个计算设备。该PPE被配置为由工作人员穿戴并且包括传感器组件,该传感器组件包括被配置为生成雷达数据的雷达设备和被配置为生成惯性数据的惯性测量设备。至少一个计算设备包括存储器和耦接到存储器的一个或多个处理器。该至少一个计算设备被配置为处理来自传感器组件的传感器数据。该传感器数据至少包括雷达数据和惯性数据。该至少一个计算设备被进一步配置为基于经处理的传感器数据来生成工作人员的姿态数据。姿态数据包括工作人员的根据时间而变的位置和取向。计算设备被进一步配置为在工作人员移动通过视觉模糊环境时跟踪工作人员的姿态数据。
在一些示例中,一种系统包括个人防护装备(PPE)和至少一个计算设备。该PPE被配置为由工作人员穿戴并且包括传感器组件,该传感器组件包括被配置为生成热图像数据的热图像捕获设备。至少一个计算设备包括存储器和耦接到存储器的一个或多个处理器。该至少一个计算设备被配置为处理来自传感器组件的传感器数据。该传感器数据至少包括热图像数据。该至少一个计算设备被进一步配置为基于经处理的传感器数据来生成工作人员的姿态数据。姿态数据包括工作人员的根据时间而变的位置和取向。该至少一个计算设备被进一步配置为在工作人员移动通过环境时跟踪工作人员的姿态数据。该至少一个计算设备被进一步配置为基于热图像数据来对环境的一个或多个热特征进行分类。
在一些示例中,一种系统包括个人防护装备(PPE)和至少一个计算设备。该PPE被配置为由工作人员穿戴并且包括传感器组件,该传感器组件包括被配置为生成传感器数据的一个或多个传感器,该传感器数据包括视觉模糊环境中的基准标记的指示。至少一个计算设备包括存储器和耦接到存储器的一个或多个处理器。该至少一个计算设备被配置为处理来自传感器组件的传感器数据以从基准标记的指示提取基准数据。该至少一个计算设备被进一步配置为基于基准数据来生成工作人员的姿态数据。姿态数据包括工作人员的根据时间而变的位置和取向。该至少一个计算设备被进一步配置为在工作人员移动通过视觉模糊环境时跟踪工作人员的姿态数据。
在附图和下文的描述中将示出一个或多个示例的细节。根据说明书和附图以及权利要求书,本公开的其他特征、目标和优点将显而易见。
附图说明
图1是示出根据本公开的一个方面的在一个或多个导航环境中采用个人防护装备导航系统(PPENS)的系统的框图。
图2是提供根据本公开的一个方面的PPENS作为基于云的平台托管时的操作透视图的框图,该基于云的平台能够支持具有穿戴一个或多个PPE制品的工作人员的多个不同的环境。
图3是示出根据本公开的一个方面的与PPENS通信的示例性显示器的概念图,该示例性显示器包括透过工作人员所穿戴的PPE制品在视觉模糊环境中看到的视场。
图4是示出根据本公开的一个方面的与PPENS通信的示例性显示器的概念图,该示例性显示器包括由中央指挥部看到的危险环境的地图。
图5是示出根据本公开的一个方面的穿戴一个或多个PPE制品的示例性工作人员的概念图,该一个或多个PPE制品包括用于从危险环境收集传感器数据的传感器组件。
图6A至图6C是示出根据本公开的一个或多个方面的对来自不同工作人员的地图进行的合并的概念性地图。
图7A至图7C是示出根据本发明的一个方面的工作人员基于识别的热特征进行的导航的概念性地图。
图8A至图8D是示出根据本公开的一个方面的对来自不同工作人员的地图进行的调整和合并的概念性地图。
图9A至图9C是示出根据本公开的一个方面的对来自不同工作人员的地图特征进行的合并的概念性地图。
图10A至图10C是根据本公开的一个方面的基于基准标记对来自不同工作人员的地图进行的合并的概念性地图。
图11A至图11C是示出根据本公开的一个方面的工作人员基于基准标记进行的导航的概念性地图。
图12是示出使用雷达数据来在视觉模糊环境中导航的示例性技术的流程图。
图13是示出使用热图像数据来在危险环境中导航的示例性技术的流程图。
图14是示出使用基准数据来在视觉模糊环境中导航的示例性技术的流程图。
具体实施方式
本发明描述了即使在原本将损害工人的视线并且使基于常规相机的系统受限的状况下也能够实现辅助实时地图构造和对危险环境的导航的PPE系统。本发明描述了使得能够对从与多个工人的PPE相关联的传感器收集的数据进行自适应、实时整合以构造更完整的路径和/或地图信息从而帮助工人在环境中导航的技术。如本文中进一步描述的,这些技术在例如烟雾或极端热事件(例如,由仍在继续的火灾造成的热区或熊熊燃烧)将通常阻碍此类操作的情况下提供弹性导航和地图构造。此外,本文所述的示例性系统还可整合指示此类环境状况的数据并将其关联到导航和地图构建中以帮助工人或其他紧急救援人员(例如,急救人员/指挥人员)安全穿行危险环境。
总的来讲,除了对工作人员造成物理损害之外,环境还可能遮挡视觉,诸如由于烟雾或空气传播的颗粒。当穿戴增强型PPE的工作人员在环境中导航时,本文所述的计算设备被配置为利用由一个或多个工作人员穿戴的增强型PPE的传感器所捕获的数据来生成每个工作人员的姿态信息,并且使用例如来自集成在PPE内的雷达设备的雷达数据来跟踪用户相对于环境特征的姿态。雷达数据可提供相对粗粒度的信息,该信息指示特征(诸如墙壁或门)在视觉模糊环境内的存在或排布,这些特征可能原本无法被未受协助的工作人员或无法通过使用短波长检测器检测到。例如,与可在烟雾中散射的可见光不同,雷达波可穿透烟雾并在散射相对较小的情况下从环境中的各种对象反射离开。
在一些情况下,增强型PPE和计算设备可将雷达数据与来自惯性测量设备的惯性数据组合使用,以生成姿态信息并且针对危险环境内的一个或多个工作人员执行同步定位与建图(SLAM)。例如,惯性数据可提供随时间而漂移的平移信息,使得随着工作人员从已知点前进,惯性数据可能变得不那么可靠。PPE用雷达数据补充惯性数据以更准确地生成工作人员的姿态,诸如通过生成平移信息或识别可用作参考点的特征。在一些情况下,PPE可单独使用雷达数据或者将雷达数据与其他数据组合使用以识别环境内的特征。例如,雷达数据可提供关于特征在环境内的存在或排布的信息,诸如墙壁的存在或距墙壁的距离或者对门口的识别。计算设备可使用姿态和/或特征来生成用户的地图、确定用户通过危险环境的路线,或者与其他用户(例如,该环境中的另一工作人员或监测该环境的中央指挥部)共享关于危险环境的信息。以这种方式,本文所讨论的PPE可帮助用户更安全且更准确地在视觉模糊环境中导航。
根据本公开的一些方面,增强型PPE和计算设备可帮助工作人员识别环境中的诸如由于环境中的视觉遮挡或缺乏关于环境的信息而可能难以在视觉上识别的各种热特征或事件,诸如烟雾或热空气。当工作人员在环境中导航时,计算设备基于来自PPE上的热图像设备的热图像数据来对环境中的热特征进行分类。例如,热特征可展现根据某些模式在时间上或在空间上变化的热性质(例如,温度)。计算设备可基于热图像数据中所指示的时间或空间标志来识别这些热特征和/或对这些热特征进行分类。以这种方式,本文所讨论的PPE可帮助用户快速且准确地识别并避开潜在危险热特征或事件。
根据本公开的一些方面,增强型PPE和计算设备加上视觉模糊环境中的各种基准标记可帮助工作人员对在视觉模糊环境中导航。当工作人员在视觉模糊环境中导航时,计算设备可使用雷达数据、热图像数据或能够识别视觉模糊环境中的基准标记的任何其他传感器数据来检测基准标记。例如,基准标记可包括反射根据特定图案的电磁辐射的反射表面或者可包括用于发射包括基准数据的无线信号的发射器。计算设备可从基准标记的图像或信号提取基准数据,并基于该基准数据来识别环境的一个或多个特征。例如,基准数据可指示与基准标记相邻的特征类型(例如,出口)或特定特征(例如,特定出口),该基准标记具有与通过例如点云或其他分析方法对该特征进行的识别相比高的置信度。以这种方式,本文所讨论的增强型PPE可帮助穿戴者更准确地在视觉模糊环境中导航。
在一些情况下,本文所讨论的增强型PPE可用于使用来自两个或更多个用户的数据来协调并生成合成地图。当用户在环境中导航时,计算设备可确定具有各种置信度的与传感器准确性、特征识别或环境认知相关的姿态。作为示例,惯性数据的平移信息可随时间而漂移,并且雷达数据可提供对象的相对较低的空间分辨率。计算设备可将这些各种置信度编码为由用户生成的传感器数据、姿态数据和/或地图数据的元数据,并且可采用多种基于置信度的启发法来协调在两个或更多个用户的计算设备之间交换的传感器数据、姿态数据和/或地图数据之间的差异。以这种方式,本文所讨论的PPE可基于来自多个用户的数据来生成更准确的路线或地图。
以这些不同的方式,本文所述的PPE系统可帮助工作人员在危险的和/或视觉模糊环境中导航。例如,当工作人员行进通过视觉模糊环境时,计算设备可使用雷达来更准确地跟踪该工作人员的位置或取向,并识别该环境内可能原本无法透过遮挡视觉的介质识别的特征。在遇到另一工作人员时,计算设备可与该工作人员交换数据并基于来自这两个工作人员的较高置信度数据来构建合并地图。计算设备可使用热成像来识别潜在的热事件并在热事件周围为工作人员规划路线。传感器可透过遮挡视觉的介质检测基准标记,并且计算设备可透过遮挡视觉的介质识别基准标记,并且该传感器和该计算设备可基于具有高置信度的基准标记来识别工作人员的位置或取向。
在一些情况下,本文所讨论的PPE可被消防员用来在潜在危险的建筑物中导航。例如,计算设备可使用雷达数据来识别用户与另一用户之间的遮挡视觉的墙壁,使用热图像数据来识别潜在跳火,或者使用雷达或热图像数据来识别指示用户在建筑物内(诸如,相对于正式出口(例如,门)或非正式出口(例如,窗))的位置或取向的基准标记。
图1是示出根据本公开的各种技术的包括PPE导航系统(PPENS)6的示例性计算系统2的框图,该PPENS用于向通过环境8A、8B(统称为“环境8”)的穿戴一个或多个增强型PPE制品13的工作人员10A-10N(统称为“工作人员10”)提供导航。总的来讲,PPENS 6可向环境8内的工作人员10和/或该环境外的用户提供数据获取、导航、地图构建和警示生成。如下文进一步所描述的,PPENS 6提供了集成的PPE导航工具的套件,并且实现了本公开的各种技术。也就是说,PPENS 6可提供集成的端对端系统,以用于处理来自由一个或多个环境8内的工作人员10穿戴的个人防护装备的传感器数据,并且使用该传感器数据向通过一个或多个环境8的工作人员10提供导航。本公开的技术可在计算环境2的各种部分内实现。
如图1的示例所示,系统2表示计算环境,其中多个物理环境8A、8B内的一个或多个计算设备经由一个或多个计算机网络4与PPENS 6电子通信。每个环境8表示物理环境(诸如危险的工作环境或紧急事件环境),在该环境中,一个或多个个体诸如工作人员10在相应环境内参与任务或活动时利用PPE。例如,每个环境8可以是危险的火灾环境,在该环境中,工作人员10是在火灾环境中灭火或导航通过火灾环境时利用呼吸装备的消防员。环境8包括但不限于火灾环境、施工环境、矿山环境、战场环境等。在一些情况下,环境8是视觉模糊环境。视觉模糊环境可以是用户(诸如工作人员10)可能无法仅使用可见光(诸如自然日光或来自手电筒的光)来导航的任何环境。作为一个示例,视觉模糊环境可包括其中存在烟雾,使得工作人员10可能无法透过烟雾清楚地看到对象的火灾环境。
在该示例中,环境8A被大体示出为具有工作人员10,而环境8B以扩展形式示出以提供更详细的示例。示出了穿戴相应PPE制品13A至13N的多个工作人员10A至10N。如图所示,例如,在图1中,每个工作人员10可穿戴作为PPE制品13A-13N的呼吸装置,而在其他示例中,工作人员10可使用一个或多个附加或另选的PPE制品13。PPE 13被配置为由工作人员穿戴。例如,PPE 13可包括呼吸装置,该呼吸装置包括可穿戴包和头戴装置,使得传感器组件可集成在可穿戴包的框架(例如,结构部件,诸如外表面或凹槽)、头戴装置(例如,头盔的结构部件)和/或手持设备内。
PPE 13中的每个PPE包括传感器组件,该传感器组件包括传感器,并且在一些示例中,包括处理电子器件,该处理电子器件被配置为当用户(例如,工作人员10)在穿戴着PPE13参与活动时实时地捕获数据。PPE 13可包括用于感测的多个传感器,包括但不限于雷达设备、惯性测量设备、热图像捕获设备、图像捕获设备(例如,相机)、音频捕获设备(例如,麦克风)等。上述传感器中的每一者可生成传感器数据,包括但不限于雷达数据、惯性数据、热图像数据、图像数据、音频数据等,如本文所述的。可根据环境8的各种状况来选择PPE 13上的传感器,如下文将进一步描述的。例如,对于视觉模糊环境,PPE 13可包括用于收集雷达数据的雷达设备。例如,PPE 13可包括被配置为发射和/或接收无线电波和/或微波(例如,具有在约1mm和约10,000km之间的波长的电磁波)的一个或多个雷达天线。作为另一示例,对于与外部无线定位系统(例如,全球定位系统(GPS)、蜂窝系统)相对隔绝的环境,PPE 13可包括惯性测量设备,诸如一个或多个磁场传感器、罗盘、陀螺仪和/或加速计。作为另一示例,对于包括热危险的环境,PPE 13可包括热图像捕获设备。例如,PPE 13可包括被配置为接收中红外辐射和/或远红外辐射(例如,具有在约1μm和约1mm之间的波长的电磁波)的一个或多个温度记录相机。
此外,PPE 13中的每个PPE可包括用于输出指示PPE 13的操作的数据和/或生成和输出与相应的工作人员10的通信的一个或多个输出设备。例如,PPE 13可包括一个或多个装置以生成听觉反馈(例如,一个或多个扬声器)、视觉反馈(例如,一个或多个显示器、发光二极管(LED)等)或触觉反馈(例如,振动或提供其他触觉反馈的设备)。
在一些情况下,环境8可包括一个或多个无人机12。无人机12可包括能够在环境8A中导航的任何自主、半自主或手动载具。无人机12可包括被配置为在无人机12行进通过环境8时实时地捕获数据的传感器组件,诸如上述传感器组件。无人机12可补充工作人员10所参与的一个或多个活动。
在一些情况下,环境8可包括一个或多个基准标记21。基准标记21可被配置为向环境8A中的工作人员10提供参考点,诸如当环境8A是视觉模糊环境时。例如,基准标记21可指示工作人员10在环境8A中的位置,诸如通过指示环境8A中的一个或多个地标特征。该一个或多个地标特征可包括对象、门、窗、指示牌、基准、入口、出口、楼梯、房间状态或工作人员10的任何其他参考点或兴趣点。基准标记21包括已发射的或已编码的基准数据。例如,基准数据可包括存储或包含在基准标记21上的代码。作为另一示例,基准标记21可包括机器可读的2维图案,诸如条形码、QR码等。对应地,PPE 13可包括被配置为从基准标记的指示提取基准数据的一个或多个传感器。
在一些示例中,基准标记21是无源的并且包括反射表面,该反射表面被配置为反射与表面中的图案或发射率水平对应的电磁辐射。基准标记21可被配置为反射和/或发射可见辐射、近红外(NIR)辐射、热波长辐射或雷达信息。在一些示例中,电磁辐射可具有大于约1微米的波长(例如,中红外辐射和远红外辐射、微波和/或无线电波)。作为一个示例,基准标记21的反射表面可被配置为反射和/或发射红外辐射,使得包括热图像捕获设备的PPE13可被配置为根据反射的红外光生成热图像数据。作为另一示例,基准标记21的反射表面可被配置为反射无线电波或微波,使得包括雷达设备的PPE 13可被配置为根据反射的无线电波或微波生成雷达数据。在一些示例中,基准标记21是有源的并且包括发射器,该发射器被配置为发射包括基准数据的无线信号,这包括有源标签技术,诸如射频标识(RFID)、蓝牙、Wi-Fi等。例如,PPE 13可被配置为基于与基准标记21的相对接近度来检测无线信号。在一些示例中,基准标记21可以是包括多于一种类型的基准标记的多模态基准标记。例如,基准标记21可包括有源和/或无源基准标记的任何组合。
总的来讲,环境8中的每个环境包括计算设施(例如,局域网),通过该计算设施,PPE 13能够与PPENS 6通信并且PPENS 6能够与显示设备通信。例如,环境8可被配置有无线技术,诸如802.11无线网络、802.15ZigBee网络等。在图1的示例中,环境8B包括本地网络7,该本地网络提供了基于分组的传输介质以用于经由网络4与PPENS 6通信。此外,环境8B包括多个无线接入点19A、19B、19C(统称为“无线接入点19”),这些无线接入点可在地理上遍布于环境中和/或与环境相邻以为整个环境8B中的无线通信提供支持。
PPE 13中的每个PPE被配置为经由无线通信诸如经由802.11Wi-Fi协议、蓝牙协议等传送数据,诸如感测到的运动、事件和状况。PPE 13可例如与无线接入点19直接通信。作为另一示例,每个工作人员10可配备有可穿戴通信集线器14A-14N中的相应可穿戴通信集线器,这些可穿戴通信集线器实现并有利于PPE 13与PPENS 6之间的通信。例如,用于相应工作人员10的PPE 13可经由蓝牙或其他短程协议与相应通信集线器14通信,并且通信集线器可经由无线接入点19处理的无线通信与PPENS 6通信。虽然被示出为可穿戴设备,但是集线器14可被实现为部署在环境8B内的独立式设备。
一般来讲,集线器14中的每一个用作中继与PPE 13的通信的用于PPE 13的无线设备,并且在PPENS 6丢失通信的情况下能够缓冲使用数据。此外,集线器14中的每个集线器能够经由PPENS 6编程,使得本地警示规则可在不需要连接到云的情况下安装并执行。因此,集线器14中的每个集线器对来自PPE 13和/或相应环境内的其他PPE的使用数据流提供中继,并且在与PPENS 6的通信丢失的事件中基于事件流提供用于本地化警示的本地计算环境。
如图1的示例所示,环境(诸如环境8B)还可包含在危险环境内提供准确位置信息的一个或多个支持无线的信标(诸如信标17A-17C)。例如,信标17A-17B可以是支持GPS的,使得相应信标内的控制器可能够精确地确定相应信标的位置。基于与信标17中的一个或多个信标的无线通信,工作人员10所穿戴的给定PPE 13或通信集线器14被配置为确定工作人员10在环境8B内的位置。以这种方式,报告给PPENS 6的事件数据可标记有位置信息以有助于由PPENS 6执行的分析、报告和/或分析。
此外,环境8中的每个环境包括计算设施,这些计算设施为最终用户计算设备16提供操作环境以用于经由网络4与PPENS 6进行交互。例如,环境8中的每个环境通常包括负责监督环境8内的导航的一个或多个命令中心。一般来讲,每个用户20可与计算设备16进行交互以访问PPENS 6。类似地,远程用户24可使用计算设备18来经由网络4与PPENS 6进行交互。出于举例的目的,最终用户计算设备16可以是膝上型计算机、台式计算机、移动设备诸如平板电脑或所谓的智能电话,等等。
用户20、24可与PPENS 6进行交互以控制和主动管理建图和导航的许多方面,诸如访问和查看即时感测环境数据、确定与即时感测环境相关的信息、分析和/或报告。例如,用户20、24可查看由PPENS 6获取、确定和/或存储的信息。此外,用户20、24可与PPENS 6进行交互以设置路线目的地、更新热事件的危险等级得分、识别对象等。
另外,PPENS 6集成了事件处理平台,该事件处理平台被配置为处理来自数字启用的PPE诸如PPE 13的数千甚至数百万个并发事件流。PPENS 6的基础分析引擎可将历史数据和模型应用于入站流以确定与工作人员10的视场相关的信息,诸如所预测的热事件的发生、工作人员10附近的潜在危险等。另外,PPENS 6提供实时警示和报告以向工作人员10和/或用户20、24通知任何潜在危险、热事件、地标、对象、工作人员、路线或可能对于工作人员10查看环境8的特定区域有用的其他信息。在一些示例中,PPENS 6的分析引擎可应用分析来识别视场、环境状况和其他因素之间的关系或相关性,并且分析是否向工作人员10提供关于相应视场的一个或多个指示图像。
以这种方式,PPENS 6通过基础分析引擎和通信系统紧密集成了用于管理环境导航的综合工具,以提供数据获取、监测、活动记录、报告、预测分析、地图构造、地图组合、路线引导确定和警示生成。此外,PPENS 6在系统2的各种元件之间提供由这些元件操作和利用的通信系统。用户20、24可访问PPENS 6以查看由PPENS 6对从通信集线器14获取的数据执行的任何分析的结果。在一些示例中,PPENS 6可经由web服务器(例如,HTTPS服务器)呈现基于web的界面,或可为由用户20、24使用的计算设备16、18中的设备(诸如,台式计算机、膝上型计算机、诸如智能电话和平板电脑的移动设备等)部署客户端应用程序。
在一些示例中,PPENS 6可提供数据库查询引擎,以用于直接查询PPENS 6来例如通过仪表板、警示通知、报告等查看所获取的地标、路径、热事件和分析引擎的任何结果。也就是说,用户20、24或在计算设备16、18上执行的软件可向PPENS 6提交查询,并且接收对应于这些查询的数据以便以一个或多个报告或仪表板的形式展示。此类仪表板可提供关于系统2的各种见解,诸如环境2内已经发生或预测将发生显著异常的热事件的任何空间的标识、相对于其他环境展现出异常热事件发生的环境2中的任一个环境的标识、由工作人员10指示的潜在危险等。
如下文详细说明的,PPENS 6可改善任务是为工作人员10导航助其通过环境8的个体工作流。也就是说,本公开的技术可实现主动环境建图,并且允许命令中心相对于环境8内的某些空间、潜在危险或各个工作人员10采取预防性或校正性动作。该技术还可允许命令中心实施由基础分析引擎数据驱动的工作流程。
PPENS 6可被配置为处理来自PPE 13的传感器数据。例如,在工作人员10移动通过环境8时,PPE 13可直接或通过通信集线器14向PPENS 6发射传感器数据。PPENS 6可被配置为基于经处理的传感器数据来生成工作人员的姿态数据。姿态数据包括工作人员10的根据时间而变的位置和取向。PPENS 6可被配置为在工作人员10移动通过环境8时跟踪工作人员10的姿态数据。
在一些情况下,环境8可以是视觉模糊环境。PPE 13包括被配置为生成雷达数据的雷达设备和被配置为生成惯性数据的惯性测量设备。PPENS 6可被配置为处理包括雷达数据和惯性数据的传感器数据。雷达数据可包括指示对象在视觉模糊环境内的存在或排布的粗粒度信息。PPENS 6可被配置为基于经处理的传感器数据来生成工作人员10的姿态数据,并且在工作人员10移动通过视觉模糊环境8时跟踪工作人员10的姿态数据。PPENS 6可被配置为基于雷达数据来确定对象在视觉模糊环境内的存在或排布。PPENS 6可被配置为使用雷达数据来构建视觉模糊环境的地图。
在一些情况下,环境8可以是包括各种热特征或事件的危险环境。PPE 13包括被配置为生成热图像数据的热图像捕获设备。PPENS 6可被配置为处理包括热图像数据的传感器数据。热图像数据可包括指示热特征的温度随时间的变化的时间标志或指示热特征的温度随空间的变化的空间标志。在一些情况下,PPENS 6可使用运动传感器数据(例如,来自惯性测量设备、雷达设备等)来区分热传感器的运动与热数据内的运动。PPENS 6可被配置为基于热图像数据来对环境8的一个或多个热特征进行分类。例如,热特征可包括温度、火、烟雾的存在、热表面、热空气的存在、变化温度层的存在等。
在一些情况下,环境8可以是包括一个或多个基准标记21的视觉模糊环境。PPE 13可包括被配置为生成传感器数据的一个或多个传感器,该传感器数据包括视觉模糊环境8中的基准标记21的指示。例如,PPE 13可包括雷达设备、热图像捕获设备、无线发射器等。PPENS 6可被配置为处理传感器数据以从基准标记的指示提取基准数据。PPENS 6可被配置为基于基准数据来生成工作人员10的姿态数据,并且在工作人员10移动通过视觉模糊环境8时跟踪工作人员10的姿态数据。
图2是提供根据本公开的各种技术的PPENS 6作为基于云的平台托管时的操作透视图的框图,该基于云的平台能够支持具有配备有PPE 13的总体工作人员群体10的多个不同的环境8。在图2的示例中,PPENS 6的部件根据实现本公开的技术的多个逻辑层进行布置。每个层可由一个或多个模块实现并且可包括硬件、软件或硬件和软件的组合。
在一些示例中,计算设备32、PPE 13、通信集线器14(在图2中被示出为与PPE 1 3集成)和/或信标17作为经由接口层36与PPENS 6通信的客户端30进行操作。计算设备32通常执行客户端软件应用程序,诸如桌面应用程序、移动应用程序和/或web应用程序。计算设备32可表示图1的计算设备16、18中的任一者。计算设备32的示例可包括但不限于便携式或移动计算设备(例如,智能电话、可穿戴计算设备、平板电脑)、膝上型计算机、台式计算机、智能电视平台和/或服务器。
在一些示例中,计算设备32、PPE 13、通信集线器14和/或信标17可与PPENS 6通信以发送和接收与工作人员10的视场相关的信息(例如,位置和取向)、与视场相关的信息的确定、潜在危险和/或热事件、指示图像的生成、警示生成等。在计算设备32上执行的客户端应用程序可与PPENS 6进行通信,以发送和接收由服务40检索、存储、生成和/或以其他方式处理的信息。例如,客户端应用程序可请求并编辑潜在危险或热事件、路线导航、对象或工作人员10标识或本文所述的包括存储在PPENS 6处和/或由其管理的分析数据的任何其他信息。在一些示例中,客户端应用程序可请求并且显示由PPENS 6生成的信息,诸如警示和/或指示图像。此外,客户端应用程序可与PPENS 6进行交互以查询关于所获取的地标、路径、热事件等的分析信息。客户端应用程序可输出从PPENS 6接收的信息以供显示,以便为客户端30的用户将此类信息可视化。如下文进一步所示和所述,PPENS 6可向客户端应用程序提供信息,客户端应用程序输出该信息以供在用户界面中显示。
在计算设备32上执行的客户端应用程序可被实现用于不同平台,但是包括类似或相同的功能性。例如,客户端应用程序可以是编译成在桌面操作系统上运行的桌面应用程序诸如Microsoft Windows、Apple OS x或Linux,仅举几个例子。作为另一个示例,客户端应用程序可以是编译成在移动操作系统上运行的移动应用程序诸如Google Android、Apple iOS、Microsoft Windows mobile或BlackBerry OS,这里仅举几个例子。作为另一个示例,客户端应用程序可为web应用程序,诸如显示从PPENS 6接收的web页面的web浏览器。在web应用程序的示例中,PPENS 6可接收来自web应用程序(例如,web浏览器)的请求、处理请求并往回向web应用程序发送一个或多个响应。以这种方式,web页面的收集、客户端侧处理的web应用程序以及由PPENS 6执行的服务器侧处理共同提供执行本公开的技术的功能。以此方式,客户端应用程序使用根据本公开的技术的PPENS 6的各种服务,并且这些应用程序可在不同的计算环境(例如,桌面操作系统、移动操作系统、web浏览器或其他处理器或处理电路,仅举几个示例)内操作。
如图2所示,在一些示例中,PPENS 6包括接口层36,该接口层表示由PPENS 6呈现和支持的一组应用程序编程接口(API)或协议接口。接口层36最初从客户端30中的任一个接收消息,以便在PPENS 6处进一步处理。因此,接口层36可提供在客户端30上执行的客户端应用程序可用的一个或多个接口。在一些示例中,接口可以是通过网络4访问的应用程序编程接口(API)。在一些示例性方法中,接口层36可用一个或多个web服务器来实现。该一个或多个web服务器可接收传入请求,可处理来自请求的信息,并且/或者可将该信息转发到服务40,并且基于从服务40接收到的信息来向初始发送请求的客户端应用程序提供一个或多个响应。在一些示例中,实现接口层36的一个或多个web服务器可包括运行环境以部署提供一个或多个接口的程序逻辑。如下文进一步所述,每个服务可提供能够经由接口层36访问的一组一个或多个接口。
在一些示例中,接口层36可提供使用HTTP方法与服务交互和操纵PPENS 6的资源的代表性状态传输(RESTful)接口。在此类示例中,服务40可生成JavaScript对象表示法(JSON)消息,接口层36将该JSON消息发送回提交初始请求的客户端应用程序。在一些示例中,接口层36提供使用简单对象访问协议(SOAP)的web服务来处理来自客户端应用程序的请求。在其他示例中,接口层36可使用远程过程调用(RPC)来处理来自客户端30的请求。在从客户端应用程序接收到使用一个或多个服务40的请求时,接口层36向包括服务40的应用层38发送信息。
如图2所示,PPENS 6还包括应用层38,该应用层表示用于实现PPENS 6的大部分基础操作的服务的集合。应用层38接收包括在从客户端应用程序接收到的并由接口层36转发的请求中的信息,并且根据请求调用的服务40中的一个或多个来处理接收到的信息。应用层38可被实现为在一个或多个应用服务器(例如,物理或虚拟机)上执行的一个或多个离散软件服务。也就是说,应用服务器提供用于执行服务40的运行环境。在一些示例中,如上所述的功能接口层36的功能和应用层38的功能可在同一服务器处实现。
应用层38可包括一个或多个独立的软件服务40(例如,过程),该一个或多个独立的软件服务可例如经由逻辑服务总线44进行通信。服务总线44通常表示诸如通过发布/订阅通信模型允许不同的服务将消息发送到其他服务的逻辑互连或一组接口。例如,服务40中的每个可基于针对相应服务的标准来订阅具体类型的消息。当服务发布服务总线44上特定类型的消息时,订阅该类型消息的其他服务将接收消息。以这种方式,服务40中的每个服务可彼此传送信息。又如,服务40可使用套接字或其他通信机制以点对点的方式通信。在描述服务40中的每个服务的功能性之前,本文简单地描述层。
PPENS 6的数据层46表示数据存储库48,该数据存储库使用一个或多个数据存储库48为PPENS 6中的信息提供持久性。数据存储库通常可为存储和/或管理数据的任何数据结构或软件。数据存储库的示例包括但不限于关系数据库、多维数据库、地图和散列表。数据层46可使用关系数据库管理系统(RDBMS)软件来实现以管理数据存储库48中的信息。RDBMS软件可管理一个或多个数据存储库48,使用结构化查询语言(SQL)可访问该一个或多个数据存储库。一个或多个数据库中的信息可使用RDBMS软件来存储、检索和修改。在一些示例中,可使用对象数据库管理系统(ODBMS)、在线分析处理(OLAP)数据库或任何其他合适的数据管理系统来实现数据层46。
如图2所示,服务40A-40J中的每个服务在PPENS 6内以模块化形式实现。虽然针对每个服务被示出为单独的模块,但是在一些示例中,两个或更多个服务的功能性可组合到单个模块或部件中。服务40中的每个服务可以软件、硬件或硬件和软件的组合来实现。此外,服务40可被实现为单独的设备、单独的虚拟机或容器、进程、线程或通常用于在一个或多个物理处理器或处理电路上执行的软件指令。
在一些示例中,服务40中的一个或多个可各自提供通过接口层36暴露的一个或多个接口42。因此,计算设备32的客户端应用程序可调用服务40中的一个或多个服务的一个或多个接口42来执行本公开的技术。
在一些情况下,服务40可包括被配置为将雷达数据处理成可用于确定姿态和/或特征信息的形式的雷达预处理器40A。例如,PPE 13可包括在工作人员10移动通过环境8时生成雷达数据的雷达设备。雷达数据包括指示对象在环境8内的存在或排布的粗粒度信息。雷达预处理器40A可从PPE 13接收雷达数据,并且使用雷达数据来生成与平移和/或旋转相关的信息。例如,雷达设备可以诸如可通过惯性数据来确定的已知角度朝向地面或其他对象取向。雷达预处理器40A可基于工作人员10与地面或其他对象之间的相对速度来确定频率偏移,并且根据该相对速度来确定工作人员10的相对位置。作为另一示例,雷达预处理器40A可分析连续的雷达扫描以确定旋转的变化,诸如通过使用迭代最近点算法。雷达预处理器40A可将雷达数据存储在传感器数据存储库48A中,并且还可创建、更新和/或删除存储在传感器数据存储库48A中的信息。
在一些示例中,雷达预处理器40A可被配置为将雷达数据处理成可用于识别环境8内的一个或多个特征的形式。例如,雷达预处理器40A可使用雷达数据来生成用于环境8中的一个或多个对象(例如,墙壁)的点云或其他参考框架。如上所述,虽然雷达可提供关于环境8的相对较低分辨率的特定信息,但雷达可能够透射穿过烟雾或其他遮挡视觉的介质,使得雷达数据可用于确定一个或多个对象在环境8中的存在或排布,如下文将进一步解释的。
在一些情况下,服务40可包括被配置为将惯性数据处理成可用于确定姿态和/或特征信息的形式的惯性预处理器40B。例如,PPE 13可包括被配置为在工作人员10移动通过环境8时生成惯性数据的惯性测量设备。惯性数据包括沿着多个轴的加速度和/或角速度和/或磁场的变化,以分别指示与平移和/或旋转相关的信息。惯性预处理器40B可从PPE 13接收惯性数据,并且使用惯性数据来生成与平移和旋转相关的信息。惯性预处理器40B可将惯性数据存储在传感器数据存储库48A中,并且还可创建、更新和/或删除存储在传感器数据存储库48A中的信息。
在一些情况下,服务40可包括被配置为将热图像数据处理成可用于确定姿态和/或特征信息的形式的热图像预处理器40C。例如,PPE 13可包括被配置为在工作人员10移动通过环境8时生成热图像数据的热图像捕获设备。该热图像数据可提供关于环境8的相对较高分辨率的空间信息,并且可透射穿过遮挡视觉的介质,该遮挡视觉的介质原本可能阻碍环境8的空间信息的收集。热图像预处理器40C可从PPE 13接收热图像数据,并且使用热图像数据来生成用于环境8中的一个或多个对象的点云或其他参考框架。该点云可指示环境8内可用于识别热特征的一个或多个热对象或表面的边界,如下文将相对于特征识别器40G描述的。热图像预处理器40C可将热图像数据存储在传感器数据存储库48A中,并且还可创建、更新和/或删除存储在传感器数据存储库48A中的信息。
在一些情况下,热图像预处理器40C可被配置为处理热图像数据以进一步调节或调谐热图像数据,以便从热图像数据识别热特征,诸如下文将相对于特征识别器40G描述的。例如,热图像数据可指示环境8内的相对温度。在相对低温或高温的环境中,可调整用于显示强度谱(例如,热区图上的色谱)的各种阈值以增加热图像数据内的对比度。作为一个示例,在具有火的环境中,热图像预处理器40C可调整对比度,使得可区分火(例如,>90℃)与热表面(例如,>50℃并且<90℃)或暖表面(例如,<50℃)。作为另一示例,在受害者援救环境中,热图像预处理器40C可调整对比度,使得可区分人(例如,约38℃)与辐射源(例如,约30℃)。
在一些情况下,服务40包括同步定位与建图(SLAM)处理器40D。SLAM处理器40D可被配置为基于经处理的传感器数据来生成工作人员10的姿态数据。姿态数据包括工作人员10的根据时间而变的位置和取向。例如,姿态数据可包括针对给定时间(例如,t)的空间坐标(例如,X、Y、Z)和四元数坐标(例如,q0、q1、q2、q3)。SLAM处理器40D可被配置为在工作人员移动通过环境8时跟踪工作人员的姿态数据。在一些示例中,传感器数据可用于诸如通过执行用于视觉辅助惯性导航(VINS)的SLAM来识别环境8内工作人员10可能正在观看的地方。在一些情况下,SLAM处理器40D可使用诸如来自分析服务40J的机器学习模型来确定准确姿态。SLAM处理器40D可将姿态数据存储在姿态数据存储库48B中,并且还可创建、更新和/或删除存储在姿态数据存储库48B中的信息。
在一些情况下,SLAM处理器40D可被配置为基于数据的置信度使用分级变换来评估一种或多种类型的传感器数据(诸如,惯性数据和雷达数据)的相对准确性。由PPE 13的传感器收集的传感器数据(诸如,雷达数据、惯性数据和热图像数据)可具有说明数据的准确性、可能性或噪声的相关联置信水平。例如,在工作人员10移动通过环境8时,由惯性数据指示的平移信息可经受漂移,使得惯性数据在从高置信度点(例如,由GPS或网络数据确定的入口通道)行进的距离或时间内变得不那么准确。SLAM处理器40D可被配置为基于雷达数据与惯性数据之间的相对权重来生成姿态数据。在一些示例中,SLAM处理器40D可被配置为使用惯性数据来生成与工作人员10的取向相关的姿态数据,并且使用雷达数据来生成与工作人员10的平移相关的姿态数据。SLAM处理器40D可被配置为基于工作人员10在环境8中(诸如从已知位置或已知取向)移动的距离或时间中的至少一者来改变惯性数据与雷达数据之间的相对权重。例如,SLAM处理器40D可被配置为在工作人员10相对接近已知参考点时使用惯性数据来生成与工作人员10的取向和平移相关的姿态数据,并且在工作人员10相对远离已知参考点时使用雷达数据来生成与工作人员10的平移相关的姿态数据。相对权重可基于时间置信度、X,Y置信度、Z置信度、偏航取向置信度、滚转或横摇取向置信度或俯仰取向置信度中的至少一者。
如上所述,姿态数据可提供关于工作人员10的位置和取向的信息。然而,此类姿态数据可提供关于环境的相对有限的信息。例如,当一个工作人员的姿态数据与另一工作人员的姿态数据冲突时,姿态数据本身可能不包括足够的信息来确定任一工作人员的姿态数据是否应取代另一工作人员的姿态数据。为了提供关于工作人员的环境的另外的信息,PPENS 6可包括用于生成姿态元数据的各种部件或模块,该姿态元数据识别环境的一个或多个特征或工作人员在环境中的移动和/或与姿态数据或特征信息相关联的一个或多个置信度。
在一些情况下,服务40包括特征识别器40G以使用传感器数据(例如,雷达数据、惯性数据、热图像数据)、姿态数据、音频数据(例如,口头报告)以及可指示关于环境8的特征和/或工作人员10在环境8中的移动的其他数据来识别环境8中的一个或多个特征。除了提供用作姿态数据(例如,位置和取向)的基于路径的信息之外,传感器数据(诸如来自雷达预处理器40A的雷达数据和/或来自热图像预处理器40C的热图像数据)还可提供关于对象在环境8中的存在或排布的基于特征的信息。特征识别器40G可被配置为接收传感器数据、姿态数据和/或外部数据并且产生表示环境8的一个或多个特征的姿态元数据。这些特征可用于进一步确定或细化工作人员10的位置和取向,或者可用于提供关于工作人员10可与其进行交互或避开的各种对象的更多定性信息。
在一些示例中,特征识别器40G对来自该组传感器数据处理器的表示工作人员10的视场的数据流执行深度处理。特征识别器40G可实时地执行该深度处理以向工作人员10和/或其他用户提供对姿态数据和元数据的实时警示和/或报告。此类深度处理可使得特征识别器40G能够确定危险和非危险的热事件、地标和对象。例如,来自雷达预处理器40A的雷达数据和/或来自热图像预处理器40C的热图像数据可包括用于识别环境中的对象的空间或特征特性的点云或其他参考框架。特征识别器40G可被配置为诸如通过根据一个或多个特征模型处理传感器数据流来检测数据流中的状况,如下文将进一步描述的。特征识别器40G可使用一个或多个模型,该一个或多个模型提供对在视场中的事件的可能性的统计评估或由该组传感器数据处理器确定的相关信息。特征识别器40G可包括决策支持系统,该决策支持系统提供用于处理数据以生成统计、结论和/或建议形式的断言的技术。例如,特征识别器40G可训练和应用存储在特征数据存储库48E-48I和/或分析数据存储库48L中的历史数据和/或模型来确定由传感器数据处理器处理的相关信息。
在一些示例中,特征识别器40G可被配置为基于一个或多个口头报告来生成表示环境8的一个或多个特征或环境8中的工作人员10的姿态元数据。例如,PPE 13可包括被配置为接收提供对一个或多个特征的描述的主动或被动音频数据的音频捕获设备,诸如麦克风。在一些示例中,特征识别器40G可基于由工作人员10提供的主动音频数据来识别一个或多个特征。例如,工作人员10可口头地提供对环境8中的一个或多个特征的描述(例如,“窗在我的左边”)或者工作人员10在环境8中的移动(例如,“蹲伏”)。在一些示例中,特征识别器可基于被动音频数据(诸如,指示环境8的一个或多个特征、环境8内的位置或其他工作人员10在环境8中的存在的环境声音)来识别一个或多个特征。以这些各种方式,特征识别器40G可用关于环境8的定性和情境信息来补充雷达数据、惯性数据、热图像数据和/或其他传感器数据,该定性和情境信息可更容易和/或更准确地被工作人员10捕获。
在一些示例中,特征识别器40G可被配置为生成表示与工作人员10在环境8中的移动对应的一个或多个运动特征的姿态元数据。运动特征可包括在工作人员10移动通过环境8时诸如可被工作人员10感知到的工作人员10的姿态或移动的任何组合。工作人员10可使用可基于姿态数据将其表征为一系列姿态的移动来移动通过环境8。在一些情况下,这些运动特征可提供关于工作人员10如何移动通过环境8的附加信息。例如,工作人员10的速度和高度的变化可指示工作人员10的蹲伏运动或爬行运动,诸如可能与环境中的危险相关联的运动。在一些情况下,这些运动特征可提供关于工作人员10如何移动通过环境8的更高置信度信息。例如,大多数建筑物可包括处于直角取向的结构特征(诸如走廊和墙壁),使得工作人员10可通常以90度的方向增量移动(例如,向右转、向左转、直接向前、直接向后)。因此,与跟踪的位置和/或取向相比,可在相对较高的确定性下确定这些运动特征。
特征识别器40G可被配置为基于传感器数据和/或姿态数据来识别一系列姿态,并且基于该一系列姿态来确定运动特征。与各种运动特征对应的运动模型可被存储在运动数据存储库48E中,使得特征识别器40G可接收传感器数据和/或姿态数据并且使用来自运动数据存储库48E的运动模型来识别一个或多个运动特征。例如,特征识别器40G可接收指示工作人员10的水平平移(例如,速度)的雷达数据和指示工作人员10的旋转或垂直平移的惯性数据,并且使用一个或多个运动模型来对由雷达数据和惯性数据指示的该一系列姿态进行分类。运动特征可包括工作人员的位置或取向的变化或工作人员的运动类型的变化中的至少一者。例如,位置或取向的变化可以是转向,而运动类型的变化可以是爬行或侧向跨步。在下面的表1中给出了各种示例性运动特征。
表1
在一些示例中,该一个或多个特征可包括与环境8中的对象的相对位置对应的一个或多个空间特征。空间特征可包括诸如可相对于工作人员10感知的对象在环境8中的存在或排布。特征识别器40G可被配置为使用雷达数据来确定空间特征,使得可在视觉模糊环境中识别出这些空间特征。例如,在工作人员10移动通过环境8时,雷达数据可提供关于工作人员10与对象之间和/或两个或更多个对象之间的相对速度(以及因此相对距离)的信息。该相对距离信息可用于确定一个或多个对象在环境8中的存在或排布,诸如对象与工作人员10的距离、两个或更多个对象之间的距离、对象的存在或不存在和/或工作人员10周围的空间量。
在一些情况下,该空间信息可向工作人员10提供足够的信息以便工作人员继续移动通过环境8。例如,工作人员10可移动通过具有低可见性的空间。雷达数据可指示在工作人员10的左侧和右侧存在墙壁以及在正前方不存在墙壁,使得工作人员10可继续向前移动。在一些情况下,该空间信息可提供关于工作人员10周围的空间的更多定性信息。例如,雷达数据可指示六英尺的墙壁之间的相对距离,从而指示走廊。
特征识别器40G可被配置为基于传感器数据和/或姿态数据来识别对象的相对位置,并且基于对象的相对位置来确定空间特征。与各种空间特征对应的空间模型可被存储在空间数据存储库48F中,使得特征识别器40G可接收传感器数据和/或姿态数据并且使用来自空间数据存储库48F的空间模型来识别一个或多个空间特征。例如,特征识别器40G可接收指示两个对象之间的相对位置的雷达数据,并且使用一个或多个空间模型来识别环境中的对象的一个或多个边界,使得特征识别器40G可识别出距对象的边界和/或对象的边界之间的相对距离。在下面的表2中给出了各种示例性空间特征。
表2
在一些示例中,该一个或多个特征可包括与环境中的一个或多个工作人员对应的一个或多个团队特征。团队特征可包括与工作人员10处于基于任务的关系的人(例如,另一工作人员)或一件装备(例如,软管)相关的任何特征。在一些情况下,团队特征可包括工作人员或一件装备的标识。例如,与特定工作人员相关联的无线信号或与装备类型相关联的基准标记可指示工作人员或装备的标识。在一些情况下,团队特征可包括指示特定任务的团队成员关系。例如,工作人员的排布和/或一件装备的存在可指示工作人员正在执行特定操作或者处于过程中的特定步骤。
特征识别器40G可被配置为基于传感器数据、姿态数据和/或其他数据来识别信号或对象,并且基于该信号或对象来确定团队特征。与各种团队特征对应的团队模型可被存储在团队数据存储库48G中,使得特征识别器40G可接收传感器数据、姿态数据和/或其他数据并且使用来自团队数据存储库48G的团队模型来识别一个或多个团队特征。例如,特征识别器40G可接收指示环境中存在两个工作人员的无线数据和指示环境中的两个对象之间的相对位置的雷达数据,并且使用一个或多个团队模型来将这两个对象识别为两个特定工作人员(例如,通过使用数据库)并且将这两个工作人员之间的相对位置确定为指示消防软管的操作。与各种团队特征对应的团队模型可被存储在团队数据存储库48G中,使得特征识别器40G可接收传感器数据、姿态数据、音频数据和/或网络数据并且使用来自团队数据存储库48G的团队模型来识别一个或多个团队特征。在下面的表3中示出了各种示例性团队特征。
表3
在一些示例中,该一个或多个特征可包括与环境中的一个或多个对象对应的一个或多个地标特征。地标特征可包括对象、门、窗、指示牌、基准、入口、出口、楼梯或房间状态中的任一者。在一些情况下,地标特征可包括为工作人员10提供参考的一个或多个对象。例如,特定地标特征(诸如窗)可与环境中的特定位置或与环境中的另一工作人员的相对位置相关联。在一些情况下,地标特征可包括为工作人员10提供关于导航结构的信息的一个或多个对象。例如,上述相同的窗可与紧急逃生出口或用于将一件装备引入环境中的通道相关联。
特征识别器40G可被配置为基于传感器数据和/或姿态数据来识别环境中的一个或多个对象,并且基于该一个或多个对象的特性来确定地标特征。与各种地标特征对应的地标模型可被存储在地标数据存储库48H中,使得特征识别器40G可接收传感器数据和/或姿态数据并且使用来自地标数据存储库48H的地标模型来识别一个或多个地标特征。例如,特征识别器40G可接收指示对象的存在的雷达数据,并且使用一个或多个地标模型来识别环境中的对象。在一些情况下,传感器数据(诸如雷达数据)可包括指示环境中的对象之间的相对边界的点云或其他参考框架。特征识别器40G可将传感器数据与地标数据进行比较以识别环境中的对象,诸如墙壁、家具、其他工作人员10等。在下面的表4中示出了各种示例性地标特征。
表4
在一些示例中,该一个或多个特征可包括与环境的一个或多个热性质对应的一个或多个热特征。PPE 13可包括被配置为生成热图像数据的热图像捕获设备,并且任选地包括被配置为生成温度数据的温度传感器。在工作人员10移动通过环境8时,工作人员10可能遇到各种热特征,包括具有热性质的表面、对象或体积的各种热特征,诸如火、热区、热表面、冷区、冷表面、烟雾、不同温度层和静态对象(例如,门口)。
特征识别器40G可被配置为基于热图像数据来识别热特征。与各种热特征对应的热模型可被存储在热数据存储库48I中,使得特征识别器40G可接收传感器数据、姿态数据和/或音频数据并且使用来自热数据存储库48I的热模型来识别一个或多个热特征。在一些示例中,特征识别器40G可被配置为使用其他类型的传感器数据来识别热特征。例如,为了识别烟雾,特征识别器40G可使用热图像数据和可见图像数据来确定热图像数据与可见图像数据之间的差异。在下面的表5中示出了各种示例性团队特征。
表5
在一些示例中,特征识别器40G可被配置为识别热图像数据的时间标志。该时间标志指示该一个或多个热特征的温度随时间的变化。在一些示例中,特征识别器40G可被配置为识别热图像数据的空间标志。特征识别器40G可被配置为基于热图像数据来对环境的一个或多个热特征进行分类。该一个或多个热特征包括温度、火、烟雾的存在、热表面、热空气的存在或变化温度层的存在中的至少一者。
在一些示例中,特征识别器40G可被配置为使用来自其他工作人员的信息来对一个或多个热特征进行分类。例如,特征识别器40G可从第一工作人员10A(诸如,从热图像预处理器40C)接收第一组热图像数据,从第二工作人员10B(诸如,通过无线传输)接收第二组热图像数据,并且基于第一热图像数据和第二热图像数据来对环境的该一个或多个热特征进行分类。第一组热图像数据和第二组热图像数据可表示热特征的不同方面,这些热特征的此类部分可能是模糊的或者难以从单个热图像捕获设备捕获。
在一些情况下,特征识别器40G可被配置为确定该一个或多个热特征的危险等级。特征识别器40G可被配置为确定该一个或多个热特征的危险等级满足危险阈值。与各种危险等级对应的危险模型和数据库可被存储在危险等级数据库48J中,使得特征识别器40G可接收指示一个或多个热特征的传感器数据和/或姿态数据并且使用来自危险等级数据存储库48J的危险模型和/或数据库来识别一个或多个危险等级。
在一些情况下,特征识别器40G可被配置为基于环境的温度数据和环境的已知温度来确定工作人员的位置。作为热图像捕获设备的补充或替代,PPE 13可包括被配置为生成温度数据(诸如,工作人员10周围的周围环境的温度)的温度传感器。环境内的各种位置或特征可具有与环境内的其他位置或特征不同的温度,使得可至少部分地基于温度来区分工作人员10的位置。例如,环境的该一个或多个热特征可对应于环境的地标特征,诸如具有火的地板。特征识别器40G可被配置为基于该一个或多个热特征来确定工作人员的位置,诸如通过在地标数据库中查找地标特征的位置或者在地标数据库中查找环境的温度,诸如可被存储在地标数据存储库48H和/或热数据存储库48I中的上述数据库。
特征识别器40G可被配置为基于该一个或多个热特征来预测未来的热事件。这些热特征(单独地或与其他指示组合地)可指示各种潜在的热事件,诸如跳火或骤燃。这些潜在的热事件可能不容易被工作人员10检测到。例如,工作人员10可能不知道要寻找什么性质,或者可能无法访问将指示热事件的信息(例如,热性质)。特征识别器40G可被配置为接收传感器数据(诸如,热图像数据和/或温度数据),并且使用来自热数据存储库48I的热模型来预测热事件。
在一些示例中,姿态元数据还包括与环境的该一个或多个特征对应的一个或多个置信度得分。该一个或多个置信度得分表示该一个或多个特征被准确识别的可能性。例如,特征识别器可相对知晓与某些类型的数据或模型相关联的准确性或用于识别一个或多个特征的假设的准确性。如下文将进一步描述的,这些置信度可用于使姿态数据和元数据与稍后捕获的同一工作人员的姿态数据或元数据或其他工作人员的姿态数据和元数据一致。在下面的表7中示出了各种示例性置信度得分。
表7
在一些情况下,服务40包括基准识别器40H,以使用传感器数据(例如,雷达数据、惯性数据、热图像数据)、姿态数据、音频数据(例如,口头报告)和可指示环境8内的一个或多个基准标记21的其他数据来识别环境8中的一个或多个基准标记。在视觉模糊环境中,特征识别器40G可能不容易识别环境内的一个或多个特征,诸如由于时间、处理能力、可见性有限。例如,地标特征和/或团队特征可能被烟雾遮挡。为了帮助识别环境内的特征,环境可包括一个或多个基准标记21。
基准识别器40H可被配置为接收传感器数据并且识别在传感器数据中捕获的一个或多个基准标记。PPE 13可包括被配置为生成传感器数据的一个或多个传感器,该传感器数据包括视觉模糊环境中的基准标记21的指示。基准识别器40H可被配置为处理传感器数据以从基准标记的指示提取基准数据。在一些情况下,基准标记21的指示可包括存储或包含在基准标记21上的代码。例如,为了区分基准标记21与环境中的其他标记或对象,基准标记21可包括能够被辨别的图案或其他代码。基准识别器40H可被配置为处理图案以从该图案提取代码。例如,基准识别器40H可基于图案中的一个或多个参考元素来为图案进行取向,并且基于图案中的一个或多个数据元素来提取基准数据。在一些情况下,基准识别器40H可查找由数据元素指示的代码,并且诸如从基准数据存储库48K提取关于基准标记21的基准数据。
在一些情况下,基准标记21可包括被配置为反射与图案对应的电磁辐射的反射表面,诸如发射表面。基准识别器40H可被配置为基于传感器数据(诸如,热图像数据或雷达数据)来检测发射表面中的图案或发射率水平。例如,反射表面可被配置为反射红外辐射,使得热图像捕获设备可根据所反射的红外光生产热图像数据。作为另一示例,反射表面可被配置为反射无线电波或微波,使得雷达设备可根据所反射的无线电波或微波生成雷达数据。在一些情况下,基准标记21可被配置为发射包括基准数据的无线信号,使得无线天线可基于与基准标记21的相对接近度来检测无线信号。
在一些情况下,基准识别器40H可包括基于各种传感器检测环境中的一个或多个对象的能力的一个或多个操作状态。例如,基准识别器40H可被配置为响应于确定可见图像捕获设备不能捕获可见光或红外光而操作雷达设备或热图像捕获设备中的至少一者。基准识别器40H可被配置为基于工作人员距基准标记21的距离或工作人员的移动时间中的至少一者来指示两种或更多种类型的传感器数据之间的相对权重的变化。
在一些示例中,特征识别器40G可被配置为基于基准标记来识别一个或多个地标特征。例如,基准标记21可在工作人员10遇到基准标记21之前放置在环境中的位置处。基准标记21可与环境中的特定位置相关联。例如,在工作人员10进入环境之前,另一工作人员可放置或定位将基准标记21与环境中的特定位置相关联的指示,诸如在基准数据存储库48K中。在其他示例中,同一工作人员或另一工作人员可在紧急情况期间存储指示,诸如通过将基准标记21放置在某一位置处以将该位置识别为先前遇到过的。特征识别器40G可被配置为基于该一个或多个地标特征来确定工作人员的位置。
虽然已关于使用雷达数据、热图像数据和基准数据来识别特征描述了特征识别器40G,但可使用其他类型的传感器数据或甚至其他数据。在一些示例中,特征识别器40G可使用音频数据来识别环境中的一个或多个特征,使得姿态元数据表示通过一个或多个工作人员的可听命令识别的一个或多个特征。例如,PPE 13可包括被配置为生成音频数据的音频捕获设备,诸如麦克风。该音频数据可包括关于环境中的一个或多个特征的信息。在一些情况下,音频数据可包括主动提供的关于环境的信息,诸如由工作人员10提供的信息。例如,工作人员10可提供关于环境的一个或多个特征的描述。特征识别器40G或音频预处理器(未示出)可处理音频数据以识别工作人员10所描述的一个或多个特征。在一些情况下,工作人员10还可提供用于将置信度得分与描述相关联的情境,诸如下文将进一步描述的。在一些情况下,音频数据可包括被动提供的关于环境的信息,诸如当工作人员10通过环境时从环境声音捕获的信息。
在一些情况下,服务40包括地图构建器40E,以使用姿态数据(例如,与工作人员10的位置和取向相关联)和/或元数据(例如,与工作人员10或环境8的一个或多个特征和/或姿态或特征的置信度相关联)来构建环境8的地图。例如,地图构建器40E可从SLAM处理器40D和/或其他工作人员10接收姿态数据并且/或者从特征识别器40G、基准识别器40H和/或其他工作人员10接收姿态元数据,并且使用所接收的姿态数据和/或姿态元数据来生成与环境8的地图对应的地图数据。在一些情况下,地图构建器40E被配置为使用雷达数据来构建视觉模糊环境的地图。例如,地图构建器40E可使用雷达数据来确定对象在视觉模糊环境内的存在或排布。地图构建器40E可将地图数据存储在地图数据存储库48C中。地图构建器40E还可创建、更新和/或删除存储在地图数据存储库48C中的信息。
在一些情况下,地图构建器40E可被配置为基于来自一个或多个工作人员的姿态数据和/或元数据来生成合并地图。地图构建器40E可从SLAM处理器40D、特征识别器40G和/或基准识别器40H接收第一组姿态数据或元数据,接收第二工作人员的第二组姿态数据和/或元数据,诸如按优先顺序无线地接收并且/或者在走查环境期间生成。地图构建器40E可基于第一组姿态数据和/或元数据和第二组姿态数据和/或元数据来生成环境的地图数据。例如,第一组姿态数据和/或元数据可表示环境中的第一组特征,而第二组姿态数据和/或元数据可表示环境中的第二组一个或多个特征。地图构建器40E可合并第一组姿态数据和/或元数据和第二组姿态数据和/或元数据以提供更全面(例如,通过添加特征)或更准确(例如,通过协调冲突的特征)的环境地图。例如,地图构建器40E可被配置为确定第一组一个或多个特征与第二组一个或多个特征之间的对应特征。作为另一示例,地图构建器40E可被配置为通过平移、缩放或旋转对应特征的子集来校正这些对应特征之间的差异。
地图构建器40E可被配置为基于表示第一组一个或多个特征的可能性的第一组置信度值与表示第二组一个或多个特征的可能性的第二组置信度值之间的相对权重来生成地图数据。例如,姿态元数据可包括一或多个姿态和/或环境内的一或多个特征的置信度值,如上文相对于特征识别器40G描述的。地图构建器40E可评估相对置信度值并且基于相对置信度值来生成合并地图。例如,地图构建器40E可组合一些特征(例如,基于置信度)和/或取代其他特征(例如,基于更高的二进制置信度)。
地图构建器40E可被配置为使用从雷达数据导出的特征来识别第一工作人员与第二工作人员之间的遮挡。例如,两组姿态数据和/或元数据可指示看似未被遮挡路径上的两个工作人员被一个或多个特征(诸如,墙壁或火)分隔开。地图构建器40E可基于在来自工作人员的相应姿态数据和/或元数据中识别的相对姿态或特征来确定遮挡的存在。例如,地图构建器40E可由于识别的分隔和/或在可能重叠的特定点处缺少共同特征而在两个工作人员之间识别到墙壁。地图构建器40E可周期性地刷新地图的构造以考虑新信息。
地图构建器40E可确定关于环境8的附加信息以提供给显示器。地图构建器40E可生成与关于工作人员10的视场的信息相关的一个或多个指示图像。在一些示例中,指示图像标记地图中具有特性(诸如,房间中没有其他人或楼梯井中存在潜在危险)的地标。在其他示例中,指示图像可向工作人员10传达对由路线构建器40F推荐的路线的解释(例如,以避开危险等级得分满足危险阈值的热事件)。
作为示例,该一个或多个指示图像可包括符号(例如,危险标志、复选标记、X、感叹号、箭头或另一符号)、通知或警示、信息框、状态指示、等级或严重程度指示等。地图构建器40E可从地图数据存储库48C读取信息以生成指示图像或以其他方式生成用于致使指示图像显示的命令。指示图像可被配置为将工作人员10的注意力引导到视场内的对象或提供关于视场内的对象的信息。例如,指示图像可被配置为突出显示潜在危险、紧急出口、一件装备等。
在一些示例中,地图构建器40E还可生成或致使生成动画或动态的指示图像。例如,地图构建器40E可生成闪烁、变色、移动或以其他方式动画或动态的指示图像。在一些情况下,待由指示图像指示的信息的排序、优先级或严重程度可考虑为指示图像生成的因素。例如,如果特征识别器40G确定视场内的第一危险事件比视场内的第二安全事件更严重,则地图构建器40E可生成第一指示图像,该第一指示图像被配置为与第二安全事件的指示图像相比将更多的注意力吸引到第一热事件(例如,与静态指示图像相比闪烁的指示图像)。
在一些示例中,地图构建器40E可使用基准数据来生成地图。例如,地图构建器40E可接收第一姿态数据和第二姿态数据以及第一工作人员和第二工作人员的基准数据,并且确定第一基准数据是否与第二基准数据匹配。响应于确定第一基准数据与第二基准数据匹配,地图构建器40E可基于第一姿态数据和第二姿态数据来生成地图数据。在一些示例中,地图构建器40E可通过基于第一基准数据和第二基准数据对准该一个或多个特征(诸如地标特征)来生成地图数据。地图构建器40E可基于该一个或多个地标特征来确定工作人员与该一个或多个地标特征之间的空间未被遮挡。
对地图构建器40E的进一步描述将在下文相对于图6至图11来提供。
在一些情况下,服务40包括路线构建器40F,以使用姿态数据(例如,与工作人员10的位置和取向相关联)和/或元数据(例如,与工作人员10或环境8的一个或多个特征和/或姿态或特征的置信度相关联)来构建工作人员10通过环境8的路线。
例如,路线构建器40F可确定工作人员10从过去位置、当前位置或未来位置到目的地的路线。路线构建器40F可根据地图数据存储库48C中的数据和/或模型来确定路线。在一些示例中,路线模型可包括考虑到最短距离(例如,当前位置与目的地之间的最短距离)、最安全路线(例如,避开已知或潜在危险的路线)、已知路线(例如,工作人员10或另一工作人员行进的先前路线)、共同路线(例如,可与一个或多个其他工作人员一起穿行的路线)和可能影响工作人员10的安全或效用的其他因素的模型。例如,路线构建器40F可使用路线模型来生成距最近出口的路线。作为另一示例,响应于识别出一个或多个热特征,路线构建器40F可使用路线模型来生成遵循存储的路径且避开存储的障碍和具有满足危险等级阈值的相应危险等级得分的热事件的新路线。路线构建器40F可周期性地刷新路线的构造以考虑新信息,诸如工作人员10的新位置。路线构建器40F可将地图数据存储在路线数据存储库48D中。路线构建器40F还可创建、更新和/或删除存储在路线数据存储库48D中的信息。
路线构建器40F的进一步操作将在下文相对于图6至图11来描述。
在一些情况下,服务40包括通知服务40I,以处理并生成给工作人员10的各种通知,诸如与危险相关的通知。例如,通知40I可接收与各个工作人员、工作人员的群体或样本集合和/或环境8相关的传感器数据、姿态数据或地图数据并且生成通知,这些数据指示一个或多个方向、危险或所感兴趣的其他信息。作为响应,通知服务40I生成要输出到PPE 13、集线器14或用户20、24所使用的设备的警示、指令、警告或其他类似消息。
在一些情况下,服务40包括分析服务40J,以更新并维护各种特征模型,诸如运动特征数据存储库48E、空间特征数据存储库48F、团队特征数据存储库48G、地标特征数据存储库48H或热特征数据存储库48I的模型,使得特征识别器40G可更准确地识别环境的一个或多个特征。分析服务40J可使用深度处理来基于新数据更新各种模型。例如,尽管可使用其他技术,但分析服务40J可在深度处理数据时利用机器学习。也就是说,分析服务40J可包括通过将机器学习应用于识别关于环境中的各种特征的规则或模式而生成的可执行代码。因此,上述特征识别器40G随后可将更新后的模型应用于由PPE 13生成或接收的数据,以使用特征识别器40G来检测类似的图案。分析服务40J可基于从雷达预处理器40A、惯性预处理器40B、热图像预处理器40C和SLAM处理器40D和/或PPENS 6的任何其他部件(包括其他工作人员10)接收的数据来更新模型,并且可将更新后的模型存储在运动特征数据存储库48E、空间特征数据存储库48F、团队特征数据存储库48G、地标特征数据存储库48H或热特征数据存储库48I中的任一者中以供特征识别器40G使用。
分析服务40J还可基于所执行的统计分析(诸如置信区间的计算)来更新模型,并且可将更新后的模型存储在运动特征数据存储库48E、空间特征数据存储库48F、团队特征数据存储库48G、地标特征数据存储库48H或热特征数据存储库48I中的任一者中。可用于生成模型的示例性机器学习技术可包括各种学习方式诸如监督学习、无监督学习和半监督学习。算法的示例性类型包括贝叶斯算法、聚类算法、决策树算法、正则化算法、回归算法、基于实例的算法、人工神经网络算法、深度学习算法、降维算法等。具体算法的各种示例包括贝叶斯线性回归、提升决策树回归和神经网络回归、反向传播神经网络、Apriori算法、K均值聚类、k最近邻(kNN)、学习矢量量化(LVQ)、自组织映射(SOM)、局部加权学习(LWL)、岭回归、最小绝对收缩和选择算子(LASSO)、弹性网络、最小角度回归(LARS)、主成分分析(PCA)和/或主成分回归(PCR)。此类机器学习算法和/或模型可被存储在分析数据存储库48L中。
一般来讲,虽然本文所述的某些技术或功能由某些部件或模块执行,但应当理解,本公开的技术不受这种方式限制。也就是说,本文所述的某些技术可由所述系统的部件或模块中的一个或多个来执行。有关哪些部件负责执行技术的确定可基于例如处理成本、财务成本、功率消耗等。
总的来讲,虽然本文所述的某些技术或功能由某些部件(例如,PPENS 6、PPE 13)执行,但应当理解,本公开的技术不受这种方式限制。也就是说,本文所述的某些技术可由所描述系统的部件中的一个或多个来执行。例如,在一些情况下,PPE 13可具有相对有限的传感器集合和/或处理能力。在此类情况下,通信集线器14中的一个通信集线器和/或PPENS6可负责处理数据、识别视场和相关信息中的大部分或全部。在其他示例中,PPE 13和/或通信集线器14可具有附加传感器、附加处理能力和/或附加存储器,从而允许PPE 13和/或通信集线器14执行附加技术。在其他示例中,系统2的其他部件可被配置为执行本文所述的技术中的任一种技术。例如,信标17、通信集线器14、移动设备、另一计算设备等可附加地或另选地执行本公开的技术中的一种或多种技术。有关哪些部件负责执行技术的确定可基于例如处理成本、财务成本、功率消耗等。
图3是示出根据本公开的各种技术的由PPENS 6和/或PPE 13构造的用于通过工作人员10的PPE 13的显示设备渲染的示例性视图300的概念图,其中视图300包括视场302和虚拟地图312。工作人员10可能处于危险环境(例如,环境8B)内并穿戴着具有一个或多个传感器(例如,PPE 13中的传感器组件中的传感器)和集成的或以其他方式连接的显示设备的PPE 13。如所描述的,环境8(图1)可能诸如由于黑暗或烟雾308而对工作人员10具有低可见性和/或视觉遮挡,并且可包括各种对象(例如,植物310等)、地标(例如,墙壁306、基准标记21等)和/或潜在危险。地图312可提供环境8的数字表示,包括对象、地标、潜在危险、工作人员10已穿行的路径和/或到目的地的引导路线316。
在一些示例中,工作人员10通过显示设备的视场302看到实际的物理环境8,并且由于环境状况的影响,可能相对清楚地看到或部分地看到或甚至完全被遮挡而看不到物理特征。在图3所示的示例中,工作人员10可看到与第二走廊相交的第一走廊,其被墙壁(例如,墙壁306)包围并且包含一个或多个对象(例如,植物310)和基准标记21。在其他示例中,工作人员10可能由于低可见性(诸如,由于黑暗或烟雾308)而不能清楚地看到环境8。在这种情况下,使用不依赖于对环境8的视觉访问的传感器(例如,雷达设备、热图像捕获设备、惯性测量设备等)的PPE 13可在视场302内构造和渲染环境8的检测到的物理特征的全部或部分的数字表示。在图3的示例中,PPE 13通过显示设备将地图312渲染为覆盖在物理视图上的内容。例如,地图312可处于显示设备的下部中心。工作人员10可具有对地图31 2之外的视场302的视觉访问。在该示例中,地图312显示提供到已知目的地(诸如安全出口)的引导路线316的视觉提示。
在一些示例中,PPE系统可使得能够使用雷达来导航通过在视场302中示出的视觉模糊环境。例如,PPENS 6可处理指示环境的各种特征的雷达数据,这些各种特征是诸如植物310的存在或与开口对应的墙壁306的排布(尽管烟雾308在视觉上遮挡墙壁306)。PPENS6可生成并跟踪包括植物310和/或墙壁306的存在和排布的姿态数据。PPENS 6还可将烟雾308识别为动态对象而不是静态对象,使得烟雾308可不干扰参考地面获得的平移信息。
在一些示例中,PPE系统可使得能够使用基准数据来导航通过在视场302中示出的视觉模糊环境。例如,尽管基准标记21在视觉上被烟雾308遮挡,PPENS 6也可从雷达数据或热图像数据接收基准标记21的指示。PPENS 6可处理雷达数据或热图像数据以从基准标记21的指示提取基准数据。例如,基准标记21可指示环境内的特定位置或者可指示工作人员10与基准标记21的角度关系。
地图312可通过一个或多个工作人员10的一个或多个相应路径来构造(例如,通过图2的PPENS 6的地图构建器40E来构造)。环境8的附加特征可提高地图312的准确性。例如,已知地标诸如基准标记21可增加跟踪精度的确定性。地图312示出了具有在由基准标记21标记的走廊的交汇处、在10英尺远处右转的引导路线。在这种情况下,由于基准标记21与PPE 13之间的视线清晰以及基准标记21和工作人员10的相应姿态(例如,如由图2的SLAM处理器40D所确定的),基准标记21可确认转向的距离318。在其他示例中,环境8(诸如植物310)的特征用作两个或更多个地图之间的共同特征并且有助于地图的准确合并。
在一些示例中,PPE系统可使得能够识别在视场302中示出的视觉模糊环境中的热特征。例如,PPENS 6可处理指示烟雾308的相对较高温度的热图像数据。PPENS 6可基于热图像数据来对烟雾308进行分类,诸如通过将烟雾308的温度随时间或空间的变化与对应于烟雾的热模型进行比较。
地图312可向工作人员10警示在工作人员1 0的视场302内的环境8B的特征,该特征是工作人员10原本可能不知晓的。例如,烟雾308可能阻碍工作人员10看到基准标记21,而包括在PPE 13中的传感器(例如,雷达设备)可帮助工作人员10看到基准标记21。作为另一示例,当检查房间搜寻居住者时,工作人员10可能被要求仔细地搜索居住者,而PPE 13可能能够快速地辨别出不存在居住者(例如,通过热成像传感器)。因此,在一些此类情况下,工作人员10可由于显示设备而能够更高效且更精确地工作。
在一些示例中,地图312的引导路线可基于来自地图中所包括的各种源的踪迹。PPENS 6可基于最短路径和最安全的通道来建议最优路线。在一些示例中,PPENS 6可辨别工作人员10与目的地之间的障碍,并且可绕过路线中的障碍。在此类示例中,障碍可包括对象(例如,植物310、墙壁306等)或具有满足阈值危险等级的危险等级得分的热事件(例如,火灾、预测的爆炸等)。在其他示例中,PPENS 6可辨别在工作人员10的视线中的基准标记21,并且参考基准标记21基于工作人员10的取向来提供详细的方向。
地图312可通过图像和文本的组合来表示信息。例如,在图3所示的示例中,三角形314表示工作人员10的当前位置和取向,并且线316表示路径,而文本318用于预示10英尺远的动作点。其他图像和文本可包括关于视场302的警示和特性,诸如用于表示房间没有居住者的复选标记、用于指示火的火焰图标、用于描述特定危险的消息“跳火”等。此外,地图312可向工作人员10警示不在工作人员10的视场302内但仍然影响工作人员10的决策的环境8B的特征。例如,当工作人员10考虑采用比地图312所建议的更直接的路线时,地图312可示出指向更直接的路线的箭头,例如消息“900°F”,以向工作人员10警示阻碍更直接的路线的危险物。因此,工作人员10可由于显示设备而能够更安全地工作。
虽然图3的地图312可提供本地显示和工作人员10的踪迹,但在一些情况下,PPENS6也可远程地诸如在命令中心处显示地图信息。图4是示出经由移动站的显示设备呈现的示例性显示400的概念图,其中移动站或PPENS 6的计算设备已为显示400构造了用于渲染地图404的内容。地图404示出了危险环境(例如,环境8B)中的工作人员10A-C以及工作人员10A和10B的踪迹406A和406B(统称为“踪迹406”)。仪表板402提供关于工作人员10的附加信息。
显示400可由工作人员10的主管在环境8的命令中心处查看。显示400使得主管能够知晓所有工作人员10的位置,提供用于完成工作人员10的任务的指令,并且监测工作人员10的安全。在一些示例中,可在环境8B附近或在该环境内查看显示400(例如,由图1的环境8A中的用户20查看)。在其他示例中,可远程地查看显示400(例如,由图1的远程用户24查看)。主管可在具有显示器的任何计算设备(诸如,膝上型计算机、台式计算机、智能电话、平板计算机等)上查看显示400。地图400示出了在由PPENS 6确定的环境8中的位置中的工作人员10。在一些示例中,工作人员400已在环境8内移动,生成了如踪迹406所示的一系列姿态。
PPENS 6可至少部分地根据踪迹406的姿态数据的组合来构造地图404。PPENS 6可处理来自通过环境8的工作人员10或无人机(例如,来自图1的无人机12)所携带的传感器(例如,PPE 13)的数据。PPENS 6可通过比较指示位置、取向和沿着踪迹406的对应特征的姿态数据和元数据来组合踪迹406中的两条或更多条踪迹。例如,如果两个工作人员10从某个门进入环境8,则该门可以是两个工作人员10的踪迹之间的共同特征,这使得PPENS 6能够组合这两个工作人员的踪迹。在另一示例中,在环境8内会合的任何点可被用作共同特征,以便PPENS 6汇合多组踪迹。在又一示例中,一旦两个或更多个PPE 13已处理放置在环境8B中的固定已知位置的基准,就可将该基准用作共同特征来汇合踪迹。可调整(例如,缩放、平移或旋转)一组踪迹来修正跟踪时的不准确性以便将这些踪迹与另一组踪迹汇合。关于建图的PPENS 6的示例将在下文在图6至图11中描述。
地图404可示出工作人员、踪迹、地标(例如,墙壁、基准等)或对象(例如,桌子、植物等)的任何子集。在一些示例中,地图404仅示出工作人员10和踪迹406。在其他示例中,除了包括窗、出口、室内门、楼梯井、潜在危险等的更多细节之外,地图404还示出了工作人员10和踪迹406。在其他示例中,地图404示出了指示图像(例如,火焰图标、警告符号、复选标记等)或文本(例如,“900°F”、“空房间”等)以进一步描述环境8的属性。地图400可示出环境8的任何视图。例如,地图404可为二维地图(例如,一次仅示出建筑物的一个楼层)或可为三维地图(例如,一次显示建筑物的多于一个楼层)。
仪表板402提供描述地图404的附加信息。在一些示例中,仪表板402通过名称识别工作人员10并且/或者提供关于工作人员10的特性,诸如位置、空气供应或在环境8中花费的时间。在其他示例中,仪表板402示出了地图404的第二版本,诸如来自不同角度的环境8B、对工作人员10中的一个工作人员的聚焦增加的地图404或来自工作人员10中的一个工作人员的视角的地图404。
图5是示出穿戴用于在危险环境(例如,环境8B)中操作的PPE 13的示例性工作人员10的透视图。PPE 13可包括,例如,自给式呼吸装置、空气净化装置、背包等。在图5的示例中,工作人员10正穿戴着包括头盔和腰包的呼吸装置的PPE 13;然而,在其他示例中,PPE13可包括背包或具有框架的其他包。
传感器组件500和502可包括热图像捕获设备、雷达设备、惯性测量设备、GPS设备、激光雷达设备、图像捕获设备或可提供关于危险环境的对象或状况的数据的任何其他设备中的一者或多者。在图5的示例中,PPE 13包括头盔上的头戴式传感器组件500和腰包上的安装在身上的传感器组件502。在一些示例中,头戴式传感器组件500可包括使用对象的视线的传感器设备,诸如可见图像捕获设备、热图像捕获设备、雷达设备等。在一些示例中,头戴式图像传感器组件500可包括面罩内显示器以向工作人员10呈现用户界面。在一些示例中,安装在身体上的传感器组件502可包括不使用工作人员10的视线或者可受益于该工作人员的身体而非头部的对准的传感器设备,诸如惯性测量设备、无线接收器、温度计等。例如,可将惯性测量设备安装在工作人员10的身体上以提取平移运动并使惯性测量设备的旋转与头部转动分离。PPE 13还可包括用于操作传感器组件500和502的辅助系统。例如,PPE13可包括用于操作PPE 13的传感器的电力装备,诸如电池。
在图5的示例中,工作人员10正穿戴着安装在手臂上的通信集线器14。通信集线器14可被配置为:执行图1和图2所描述的PPENS 6的一个或多个功能,向用于执行PPENS 6的一个或多个功能的集中式计算设备发射数据,并且/或者从已执行了PPENS 6的一个或多个功能的集中式计算设备接收数据。
图6A至图6C是用于工作人员10的危险环境(例如,环境8B)的示例性地图,并且示出了如何通过整合来自一个或多个信息源的数据来构建和/或组合地图(例如,由PPENS 6来进行)。
图6A是示出路径602A上的第一工作人员10A的示例性部分地图600A,而图6B是示出路径602B上的第二工作人员10B的示例性部分地图600B。在移动通过环境8之前,工作人员10A可位于(例如,从预先存在的地图数据或GPS数据知道的)已知点604A处,并且工作人员10B可位于已知点604B处。在工作人员10A从已知点604A移动通过环境时,PPENS 6生成并跟踪与踪迹602A对应的第一系列姿态。在工作人员10B从已知起点604B移动通过环境时,PPENS 6生成并跟踪与踪迹602B对应的第二系列姿态。PPENS 6可根据惯性测量设备、雷达设备、热图像捕获设备和/或全球定位系统(GPS)设备的测量值来编译对每一种姿态的准确估计。例如,PPENS 6可从工作人员10A和工作人员10B中的每一者接收雷达数据和惯性数据,并且使用雷达数据来生成在视觉模糊环境中的更准确和/或更全面的姿态数据,诸如通过识别在视觉模糊环境内的一个或多个特征或者生成相对于视觉模糊环境中的一个或多个对象的速度信息。
在某一点处,工作人员10A和工作人员10B可能相遇并交换信息。例如,每个工作人员10A和10B具有相应踪迹602A和602B以及包括各种置信度和特征的相关联的姿态数据和元数据。这些特征可能是相对稀疏地收集的,使得通过交换关于踪迹602A和602B的信息,工作人员10A和10B可具有关于环境的更完整的信息。在一些情况下,每个工作人员10A和工作人员10B的计算设备(例如,PPENS 6)可离线地交换数据,以生成合成踪迹602C。例如,PPENS6可将踪迹602A和602B的各种元素协调成合成踪迹602C,诸如将来自踪迹602A的姿态和来自踪迹602B的姿态组合成单个姿态。
图6C示出了根据图6A和图6B的部分地图600A和600B生成的示例性合成地图600C。如下文将在图7至图10中进一步描述的,PPENS 6可通过对准路径并且匹配地图600A与600B之间的共同特征来组合地图600A与600B。例如,通过计算每个路径上的每个点之间的最小两两距离来对准路径602A和602B,其中具有最小总距离的一组两两距离可确定路径602A和602B的重叠部分。还可通过调整(例如,通过缩放、平移和/或旋转)每个路径来对准路径602A和602B,以将路径602A汇合到路径602B。作为另一示例,工作人员10A和10B的相遇点(例如,如通过视线和/或类似姿态检测到的)可被认为是要汇合地图600A和600B的共同地点。其他共同特征包括两个工作人员10A和10B都经过的基准标记或两个工作人员10A和10B都使用的地标特征(例如,楼梯井)。PPENS 6使用共同特征将踪迹602A和602B连接成合成踪迹602C。工作人员10A和10B的组合踪迹602C的抽象表示可在下面的表7中示出:
表7
如表7所示,组合踪迹602C可包括工作人员10A的姿态、工作人员10B的姿态和/或工作人员10A和10B的组合姿态。通过将部分地图600A和600B组合成合成地图600C,PPENS 6实现了对环境8的合作探索。此外,如果工作人员10A受困于环境8中,则知道工作人员10B的踪迹可有助于搜索和营救,反之亦然。这样,组合地图600A和600B使得更高效地对环境8进行建图并且增加了工作人员10的安全。
在一些情况下,踪迹602A和/或602B的各种特征可具有不同的重要程度,这可导致可传送数据的顺序的优先级不同。例如,用作导航通道的各种特征(诸如,出口或门)可具有比用作导航辅助的特征(诸如,室内窗或其他地标)更高的安全值。在PPENS 6的地图构建功能为集中式的示例中,电力或可用带宽可限制传送所有数据的能力。在PPENS 6的地图构建功能为本地式的示例中,数据存储能力或距其他工作人员的距离可能限制传送所有数据的能力。在这些资源受约束的情况下,可能需要本地数据传送和本地处理来完成使这些更重要特征优先的部分地图整合过程。工作人员10A和/或工作人员10B的相应计算设备可自动向彼此传送所跟踪姿态数据的优先化子集,使得工作人员10A和/或工作人员10B的相应PPENS 6可合并并且协调姿态元数据来改善每个工作人员可用的信息。通过优先化数据传送并实施操作顺序,PPENS 6可为工作人员维持近似实时更新,同时节省电力。类似地,当PPENS 6为云连接的和/或云处理的服务时,PPENS 6可在本地电力和带宽考虑因素可能不允许实时上传整个数据集的情况下应用数据传送优先化。
不管PPENS 6的地图构建功能是集中式的还是本地式的,工作人员都可优选在发送信息之前接收信息,并且使用所接收的信息来扩充相应踪迹602。在一些示例中,工作人员10A和10B的相应PPENS 6可交替发送角色,并且根据所跟踪姿态数据的优先级遍历所跟踪姿态数据。作为另一示例,诸如在扑火情况下(或者在工作人员正穿戴着自给式呼吸装置的类似情况下),工作人员10A和10B的PPENS 6可优先化主要在一个方向上的数据传送,以有益于空气含量低的工作人员,诸如在两个工作人员之间或者整组工作人员之间剩余空气存在显著差异的情况下。
作为示例,较高价值信息可包括用于移动到出口的信息。例如,PPENS 6可发送指示出口的高置信度的所有姿态数据以共享出口的位置。作为下一优先级,PPENS 6可发送指示沿着到出口的连续路线的姿态的所跟踪姿态数据的部分(诸如,从最高汇总置信度开始),以共享到出口的已知路线。作为下一优先级,PPENS 6可发送姿态字段和到出口的路线上的姿态的相关联元数据(例如,地标特征(诸如室内门)和空间特征(诸如墙壁)),以共享关于已知出口路线的附加情境。例如,PPENS 6可诸如基于工作人员10A和10B的感测到的或通告的接近度来检测踪迹602A和602B的已知交汇点,并且基于从出口到交汇点的短距离(例如,诸如可以是可能的出口路径)、墙壁的存在(例如,诸如其可以是出口的引导)以及与通道(诸如,门、窗或楼梯)相关的地标特征的存在来选择提取特征的出口目的地。作为下一优先级,PPENS 6可发送剩余姿态的其他部分,诸如从当前楼层或出口楼层开始。
作为另一示例,较高价值信息可包括在工作人员的某一距离内的信息。例如,PPENS 6可发送与每个工作人员的当前姿态相关的姿态数据,诸如时间、X、Y和Z。作为下一优先级,PPENS 6可在相应工作人员10的第一距离阈值内发送姿态数据以共享附近的踪迹和情境,因为与远离彼此的工作人员相比,靠近彼此的工作人员交换信息可能更有价值。
作为另一示例,较高价值信息可包括关于室内门和墙壁的信息。例如,PPENS 6可发送指示室内门或墙壁的高置信度的姿态数据,以共享室内门或墙壁的位置。作为下一优先级,PPENS 6可发送指示沿着到室内门的连续路线的姿态的所跟踪姿态数据的部分(例如,时间、X、Y、Z)(诸如,从最高汇总置信度开始),以共享到室内门的已知路线。作为下一优先级,PPENS 6可发送指示室内门或墙壁的中等置信度的姿态数据。
在一些情况下,本文所述的PPE系统可被配置为基于使用来自一个或多个工作人员的热数据来检测热危险,并且为热危险周围的工作人员导航。图7A至图7C是用于工作人员10的危险环境(例如,环境8B)的示例性地图,其示出了本文所述的PPE系统(例如,PPENS6)可如何提供在热危险周围进行导航的引导路线。可使用从热传感器(诸如,温度计和/或热图像捕获设备)接收的热信息来构造图7A至图7C描述的地图。
图7A是示出工作人员10在第一路径706A上的移动的示例性地图700A。PPENS 6可在地图700A上生成第一路径706A以向工作人员10提供从参考点702到目的地704的推荐路线(例如,最快路线或最安全路线)。在图7A的示例中,PPENS 6可使用最短路径算法基于最佳可用信息来生成第一路径706A。在其他示例中,PPENS 6可使用最高置信度算法来生成路径706A,因为第一路径706A的一部分或全部可能由于先前经验而被工作人员10知晓(例如,进入或外出路线)。基于PPENS 6所提供的引导,工作人员10可选择穿行第一路径706A。在一些情况下,热信息不准确性可能是由于热传感器的运动而引起的。在这种情况下,PPENS 6可使用运动传感器数据(例如,来自惯性测量设备、雷达设备等)来区分热传感器的运动与热数据内的运动。
图7B是示出工作人员10遇到热危险708的示例性地图700B。例如,工作人员10可穿戴包括被配置为生成热图像数据的热图像捕获设备的PPE 13。热图像捕获设备可捕获热危险708的热图像数据。PPENS 6可处理热图像数据并基于热图像数据来识别热危险708的一个或多个热性质,诸如热危险708的空间边界或温度变化(例如,火的大小或火内的温度层)、热危险708的时间变化(例如,火内的温度移动)和/或热危险708与环境中的其他对象相比的相对温度(例如,火的温度强度)。例如,从软管释放的蒸汽的强度可基于时间(例如,当蒸汽冷却和/或冷凝时)和空间(例如,当蒸汽分散在一个区域上时)两者/时间或空间而消散和变化。基于热性质,PPENS 6可将热危险708分类为特定热特征,诸如火。例如,PPENS6可评估如分别由时间变化或空间变化指示的冷却速率或消散速率,并且基于冷却速率和/或消散速率而将热危险708分类为蒸汽。在一些示例中,PPENS 6可从另一工作人员接收热图像并基于这两个工作人员的热图像数据来对热危险708进行分类。热事件分类中的误差可能是由于缺乏数据或错误解释数据而引起的。在这种情况下,当组合来自工作人员10的地图时,PPENS 6可通过比较工作人员10之间的热事件分类来解决误差。
在一些示例中,PPENS 6可基于热危险708来确定工作人员10的当前位置。例如,热危险708可对应于环境的地标,诸如先前由另一工作人员识别的热特征或具有已知位置的热特征。在一些示例中,PPE 13可包括被配置为生成温度数据的温度传感器,并且PPENS 6可基于环境的温度数据和环境的已知温度(诸如,与热危险708及其对应位置相关联的温度)来确定工作人员的位置,而不是使用热图像数据来对热危险708进行分类。
在一些示例中,PPENS 6可确定热危险708的危险等级。例如,PPENS 6可确定热危险708的温度的强度和热危险708的大小与火的特定危险等级相关联。PPENS 6可确定热危险708的危险等级超过危险阈值,诸如温度和大小的危险阈值,使得可能无法沿着路线706A安全地导航通过热危险708。
在一些示例中,热危险708可表示潜在的或未来的热事件。PPENS 6可基于热特征来预测热危险708。例如,PPENS 6可接收一系列热图像数据(例如,温度随空间和/或时间的变化)并确定热危险708包括高温热源和可燃气体的存在。基于这些热状况,PPENS 6可将热危险708分类为当前的火和潜在的跳火。在一些情况下,PPENS 6可经由机器学习模型基于热事件的模板库来对热危险708进行分类。在其他情况下,可使用启发法来对热事件进行分类。例如,PPENS 6可考虑绝对表面温度和相对于周围表面的表面温度,以区分危险与无危险。作为另一示例,PPENS 6可将示出陡峭热梯度的任何空气空间标记为初期跳火(即,由于受困且经加热的气体而引起的危险爆炸)的指示。作为又一示例,PPENS 6可警告在已被抑制(例如,由于扑火技术)的大型热区附近的任何小热区,这指示存在残余的火。
在一些情况下,PPENS 6可向工作人员10和/或远程用户呈现热危险708。例如,PPENS 6可用颜色编码来渲染地图700B以示出相对表面温度(例如,较热区是红色,而较冷区是蓝色)。因此,地图700B可增加情况感知。
响应于确定可能无法在第一路径706A上安全地导航通过热危险708,PPENS 6可生成新的第二路径706B以避开热危险708。图7C是示出工作人员10在热危险708周围的第二路径706B上的示例性地图700C。PPENS 6可以最短路径算法来考虑热危险708,并且输出第二路径706B作为避开热危险708到达目的地704的路线。例如,可通过计算维持距危险状况(例如,高于某一温度的表面、具有满足阈值危险等级的危险等级得分的热事件等)有最小距离的最快路线来确定路线。
图8A至图8D是示出根据本公开的一个方面的对来自不同工作人员的地图进行的调整和合并的概念性地图。图8A至图8C表示包括角误差或缩放误差中的至少一者的地图,而图8D表示校正了图8A至图8C的误差的地图。为了简单起见,在图8A至图8C的示例中,将仅相对于使错误踪迹与正确踪迹一致来描述校正;然而,应当理解,可对任何数量的踪迹执行校正操作。例如,路径801可包括相对于路径802A的特征具有相对较高置信度的特征,但在其他示例中,两个路径均可各自具有置信度高于和低于另一路径的冲突特征的特征。
PPE系统(例如,PPENS 6)可被配置为解决两个或更多个踪迹之间的角误差。图8A示出了与图8D的正确地图800D相比具有角误差的地图800A。如图8A所示,地图800A包括第一工作人员10A的第一踪迹801和第二工作人员10B的第二踪迹802A。由于踪迹801和802A的接近度,PPENS 6可评估是否和/或如何合并踪迹801和802A。然而,踪迹801与802之间的角误差可能导致关于是否和/或如何组合两个踪迹的不确定性。例如,可能不确定踪迹801的走廊806A与踪迹802A的走廊806B或走廊806C是否汇合。然而,通过考虑其他特征并且/或者通过使用伴随的基于置信度的启发法,PPENS 6可合并踪迹801和踪迹802A,此时准确的可能性相对较高。
在一些情况下,PPENS 6可使用环境的预先存在和/或结构的信息来解决误差。例如,建筑物可具有相对直角的特征,诸如以90度角取向的走廊和房间。使用这种认识,PPENS6可偏移路径802A的角度来与路径801的大致取向对准。在一些情况下,PPENS 6可通过使用路径802A与801之间的距离来解决误差。例如,路径801的走廊806A比走廊806C更接近走廊806B,使得PPENS 6可旋转路径802A,使得走廊806B与走廊806A对准。
在一些示例中,PPENS 6可使用与路径801和路径802A相关联的一个或多个特征(诸如来自姿态元数据)来解决误差。例如,路径801和路径802A各自包括地标特征(分别在起始点804A和804B处的出口,以及窗808),以及每个踪迹的若干运动特征(向左/向右90°转向和180°转向)。PPENS 6可使用各种启发法来评估这些特征,以评估关于踪迹801与802A之间的关系的可能假设,从而确定踪迹801与802A的最可能组合。PPENS 6可选择支持性证据最多、反对性证据最少的假设和有牵连踪迹汇合动作,如下面的表8所示。
表8
在该示例中,最佳动作是逆时针旋转踪迹802A以汇合走廊806A和806B。虽然在该示例中未示出,但PPENS 6可使用结果的数值评分,包括通过启发式分析、经验研究和技术诸如机器学习确定的加权因子。
在一些示例中,PPENS 6可使用空间特征来解决误差。例如,第二工作人员10B可识别沿着第二踪迹802A的空间特征,诸如存在于走廊806B或窗808中的空间特征,该空间特征类似于由第一工作人员10A识别的沿着第一踪迹802B的空间特征。PPENS 6可认为两个工作人员10A和10B都检测到可汇合的具有窗808的墙壁。PPENS 6可考虑此类匹配以及在上面的表8中描述的运动与地标特征的匹配。
图8B示出了与图8D的正确地图800D相比具有北方/南方缩放误差的地图800B。类似于图8A,PPENS 6可评估不同的假设和动作,诸如增加踪迹804B北方/南方的比例、增加踪迹804B东方/西方的比例、旋转踪迹804B,以及它们的组合。仅第一解决方案将走廊806A和806B连接到一起,并且对准对应的运动特征(转向)。在一些示例中,PPENS 6可执行踪迹802B的逐步缩放。例如,PPENS 6可增加远离精确定位的原点(诸如804B)的点的延伸。例如,测量误差可能随着工作人员10B前进得更加远离精确定位的特征(诸如804B)而增大,尤其是对于基于通过整合加速度或速度获得的距离来跟踪路径而言。
图8C示出了与图8D的正确地图800D相比具有东北方/西南方缩放误差的地图800C。类似于图8B,PPENS 6可评估不同的假设和动作,诸如增加踪迹804B北方/南方的比例、增加踪迹804B东方/西方的比例、旋转踪迹804B,以及它们的组合。仅第一解决方案和第二解决方案的组合将走廊806A和806B连接到一起,并且对准对应的地标特征(例如,窗808)以及运动特征(转向)。
除了使用地图数据之外,PPENS 6还可使用姿态元数据来辨析墙壁或其他结构是否将两个或更多个踪迹或工作人员分隔开。例如,在图8B的地图800B中,踪迹802B和801可能基本上接近,但位置不确定性可足以使得可能存在居间遮挡,诸如墙壁。
PPENS 6可收集关于周围环境的传感器数据(诸如,来自雷达设备的在场景中的对象的相对较低保真度点云),并且推断在每个方向上可能存在或不存在墙壁。在不具有关于墙壁的传感器数据的情况下,PPENS 6可检测接近度,但不一定检测到房间入住率;然而,利用关于附近对象的传感器数据,我们可推断出墙壁位置。在图8B的示例中,走廊806B和806A附近的踪迹802B和801的区段分别可都包括指示在同一方向上的附近墙壁的姿态元数据,从而支持墙壁不分隔开踪迹802B和801的推断。然而,如果两个工作人员10A和10B都在面向相反方向的走廊806A和806B附近并且不能看到彼此,则推断可能是墙壁将他们分隔开了。这种类型的信息对于导航或情况感知可能是重要的,因为不正确地指示工作人员穿过墙壁来会合或共享外出路线可能是危险的。
虽然已相对于单个误差校正功能来描述了图8A至图8D,但在一些情况下,可使用一个或多个误差校正功能来合并地图。在一些示例中,PPENS 6可使用操作的相对分级结构来解决误差。PPENS 6可基于运动特征来确定直线方向。例如,运动特征可涉及相对直角转向。PPENS 6可诸如通过将运动特征与北-南-东-西(NSEW)网格对准来确定可能由于偏航漂移而发生的旋转以便匹配地图。PPENS 6可考虑是否可对准地标或空间特征。PPENS 6可考虑缩放或可能由于平移漂移而发生的其他变换,如下文将描述的。以这些各种方式,PPENS6可高效地对准并组合地图。
图9A至图9C是示出根据本公开的一个方面的对来自不同工作人员的地图特征进行的合并的概念性地图。
图9A是示出第一工作人员10A在从出口904A开始的第一路径902A上的概念性地图900A。在工作人员10A移动通过该环境时,PPENS 6可识别沿着路径902A的一个或多个特征。例如,PPENS 6可使用雷达数据来检测地标特征(诸如,出口904A附近的窗906A和906B、门908A和908B)、空间特征(诸如,走廊912A)和运动特征(诸如,沿着路径902A的两个90°转向910A和910B)。
图9B是示出第二工作人员10B在从出口904B开始的第二路径902B上的概念性地图900B。在工作人员10B移动通过该环境时,PPENS 6可识别沿着路径902B的一个或多个特征。例如,PPENS 6可使用雷达数据来检测地标特征(诸如,出口904B附近的窗906C和门908C)、空间特征(诸如,走廊912B)和运动特征(诸如,沿着路径902B的三个90°转向(910C、910D和910E))。PPENS 6还可识别分隔开工作人员10A和10B的墙壁,因为工作人员10A和10B可能不能看到彼此。
如上面的图9A和图9B所示,PPENS 6可不识别环境的所有特征以提供该环境的完整表示。例如,处理能力可能是相对有限的,诸如在PPENS 6可基本上驻留在PPE 13和/或通信集线器14中的示例中。相反,PPENS 6可捕获足够的姿态数据和元数据,使得各种特征可用于改善导航并且/或者协调地图以提供环境的更完整图片。PPENS 6可从传感器数据、手动输入(例如,音频数据)和外部信息(例如,当工作人员10在环境中时或在工作人员10进入环境之前发射给工作人员10的信息)的组合中识别特征。这些特征的数据源例如可包括工作人员的输入或通告、GPS数据、可见图像数据、热图像数据、惯性数据、激光雷达数据、雷达数据和/或无线电数据。对于可见性受损的环境,诸如填充有烟雾的空间,热图像数据和雷达图像数据可分别优于可见图像数据或激光雷达数据,因为它们的操作波长极大地减小了烟雾对有效性的负面影响,如上所述。
图9C是示出分别在工作人员10A和10B交换姿态数据之后图9A和图9B的地图900A和900B的组合的概念性合成地图。例如,工作人员10A和10B可在相遇点914处相遇。PPENS 6可将相遇点914解读为具有高度确定位置的环境的特征。PPENS 6可使用相遇点914作为共同特征来汇合地图900A和900B。两个或更多个路径之间的共同特征有助于路径的组合。PPENS 6可确定每个共同特征的置信度得分。置信度得分可取决于共同特征的类型、包括共同特征的路径数量等。在一些示例中,共同特征不具有足够高的确定性来促成路径汇合。例如,工作人员10A和10B都遇到了走廊,但他们无法证明他们遇到了同一走廊。在一些情况下,工作人员10A和10B可具有类似的姿态,但仍然不在同一走廊中,因为例如他们被墙壁分隔开。因此,走廊单独地可能不用作用于汇合地图900A和900B的共同特征。在其他示例中,共同特征可具有高确定性并且可用于汇合地图。例如,PPENS 6可识别共同地标特征(诸如门908C),并且对准姿态数据以减小相应踪迹902A与902B之间的姿态数据和/或元数据之间的误差。另选地或附加,具有高确定性的共同特征可包括工作人员10与地标(例如,门、窗、基准标记等)的接近度、子空间的布局(例如,形成走廊或房间的墙壁)或路径形状(例如,向左转向或向右转向)。因此,工作人员10A可知晓工作人员10B所遇到的特征,反之亦然。此外,环境中的其他工作人员10和命令中心可知晓工作人员10A和10B所遇到的特征。
PPENS 6还可被配置为将工作人员10的路径902与其他路径组合。其他路径可包括另一工作人员10行进通过环境的路径、先前访问(例如,为了安全调查或前期规划练习)的路径等。PPENS 6可从本地设备(例如,经由蓝牙)或从数据库接收其他路径。由于PPENS 6组合路径,工作人员10可增加对环境(诸如,环境的附加特征或其他工作人员10的当前位置)的感知。此外,PPENS 6可通过协调两个或更多个路径之间(例如,在取向、角度或比例方面)的差异、细化开放空间的大小或添加环境的缺失属性(例如,墙壁、门、窗等)来解决跟踪不准确性。
例如,工作人员10A现在可知晓出口904B和窗906C,包括到这些特征的路线,并且知晓存在室内门908C,而不是可能被推断为连续墙壁的门。作为另一示例,工作人员10A现在可知晓沿着到出口904B的整个路线的墙壁的存在。作为另一示例,工作人员10B现在可知晓出口904A以及窗906A和906B,包括到这些特征的路线。作为另一示例,工作人员10B现在可知晓墙壁可能不沿着到出口904B的整个路径延伸,这是个潜在缺点,该潜在缺点以及工作人员10B对路线的相对不熟悉可被考虑到路线规划中。作为另一示例,在工作人员10B接近工作人员10A的踪迹部分期间,工作人员10B可能更加确信:在工作人员10B的左侧确实没有墙,并且在工作人员10B的右侧有墙。
除了这两个带注释的踪迹的准确组合对每个工作人员10带来的益处之外,该组合还可改善情况感知,诸如对于在火灾现场的事故指挥人员而言。例如,利用由踪迹902表示的姿态数据和由特征904、906、908、910和912表示的元数据,事故指挥人员可能够向工作人员10提供针对活动的情境和指令。例如,事故指挥人员可向工作人员10B提供信息以完成对工作人员10B当前所处的房间的搜索。作为另一示例,事故指挥人员可指示工作人员10A将步伐折回到相遇点914附近的走廊开口,并且搜索房间的相对侧或者查明该房间是否是与工作人员10B的位置分隔开的空间。例如,如果组合地图不能确定墙壁结构中的一些墙壁结构,那么此类指令可能不准确。
在一些情况下,工作人员10能够获得足够的电力和网络带宽,使得他们能够共享他们已收集的关于环境的所有信息,包括环境的所有路径数据和所有特征。在这种情况下,工作人员10可共享所有数据。在其他情况下,工作人员10可能无法获得足够的电力或网络带宽来共享所有数据。在这种情况下,PPENS 6可优先化信息子集并且按优先级的顺序交换这些子集以节省电力和/或节省时间,如相对于图6A至图6B所解释的。在图9A至图9C的示例中,PPENS 6可交换关于沿着到出口904的路径的出口904和门906的信息,使得工作人员10都可访问出口信息。作为第二优先级,PPENS 6可交换关于沿着到出口904的路径的窗808的信息,因为此类窗可提供紧急逃生出口。作为下一优先级,PPENS 6可交换与沿着路径902的特征相关的其他数据。具有高优先级的类别的一些示例可包括出口的位置、到出口的路线、每个工作人员10的当前位置或每个工作人员10在当前位置附近的踪迹。具有较低优先级的类别的一些示例可包括室内门和墙壁的位置、到室内门和墙壁的路线或工作人员10远离任何位置的踪迹。
图10A至图10C是根据本公开的一个方面的基于基准标记对来自不同工作人员的地图进行的合并的概念性地图。基准标记可利用关于相对位置的附加信息向有意义的装备或人员提供路线引导。例如,添加有源或无源基准标记可使得能够更容易地识别对象并且/或者提供原本可能难以解码的信息(例如,对象的GPS位置、环境的楼层平面图、物品位于什么楼层、区域中存在什么危险、在区域中需要用什么PPE等)。
PPENS 6可将从基准标记获得的基准信息用于各种功能,如下文将描述的,包括:地图改进,诸如回路闭合、地图校正和多地图组合;导航,诸如朝向指示出口和/或对象的基准标记;和/或情况感知,诸如一个或多个特征的接近度/存在、对一个或多个特征的识别和/或工作人员或一个或多个对象相对于另一工作人员或另一对象的取向。编码在基准中的信息可提供关于环境中的特征的详细信息。例如,附接到地标特征(例如,墙壁)的基准可提供地标的精确坐标。作为另一示例,基准可帮助对对象或人(诸如软管喷嘴或工作人员10)的识别。这种信息可为搜索和营救任务提供关键性支持。
可经由尽管在视觉模糊环境中遮挡可见性但仍可访问的图案来对基准进行编码。图案可包括无源热红外(例如,变化的发射率)、雷达(例如,图案化雷达反射器)或无源无线电反射率(例如,射频识别标签)。在一些情况下,工作人员10和可见光传感器可能不会感知到具有视码(诸如条形码或QR码)的基准。在这种情况下,工作人员10可能缺少有助于完成任务的详细信息。因此,不依赖于视觉传感器的基准增强了工作人员10快速且有效地完成任务的能力。基准可被配置为作为标签安装在位置(例如,出口、楼梯等)上、安装在一件装备(例如,软管、软管喷嘴等)上或安装在工作人员10身上(例如,安装在个人防护装备制品上)。
图10A示出了其中工作人员10A接近基准标记1004的示例性部分地图1000A。工作人员10A已从门1006移动通过环境,如路径1002A所示,并且将基准标记1004放置在出口1006附近的位置处。在一些示例中,基准标记1004可具有与基准标记1004的放置相关联的固定已知位置。例如,基准标记1004的指示可与出口1006相关联。在这种情况下,PPENS 6可通过用基准标记1004校准传感器或通过调整地图以符合基准标记1004的位置来校正跟踪不准确性。PPENS 6还可根据传感器的具有基准标记1004的视线来细化开放空间的大小,或者可通过参考基准标记1004将其作为两个或更多个地图之间的共同特征来改善地图组合。
可在事故之前或期间在多个不同时间对基准标记1004进行定位。在一些示例中,可在走查期间对基准标记进行1004定位。走查可包括在事故之前或期间的任何调查,其中一个或多个基准标记1004与一个或多个位置相关联。
在一些情况下,工作人员10A可在事故之前对基准标记1004进行定位,诸如在前期规划期间。例如,工作人员10A可对基准标记1004进行定位并对数据库(例如,图2的基准数据存储库48K)进行编程以指示基准标记1004的特定位置。在一些情况下,PPENS 6可基于第三方数据将基准标记1004与环境内的一个或多个位置相关联。例如,PPENS 6可使用基准标记1004周围的附加情境来确定基准标记1004在环境内的位置。
在一些情况下,基准标记1004可能不具有预定义位置,而是可在事故期间放置。例如,工作人员10A可在首次访问建筑中的某个位置时将基准标记1004放置在该位置。在这种情况下,基准标记1004可提供遇到基准标记1004的一个或多个工作人员10的取向信息,诸如通过重置来自惯性数据、雷达数据和其他传感器数据的潜在漂移信息。例如,同一工作人员10可在行进离开基准标记1004随后返回之后第二次检测到该基准标记,使得可校正沿着居间路径的任何累积误差(例如,“回路闭合”)。
虽然已相对于地标特征描述了基准标记1004,但在一些示例中,基准标记1004可与团队特征相关联。作为一个示例,工作人员10可穿戴作为PPE 13的一部分的基准标记1004。例如,工作人员10可将基准标记1004安装在头盔上以支持从远处可见,将基准标记1004安装在靴子上以支持在有烟雾的状况下可见(例如,在地板附近的烟雾可能浓度更低),并且/或者将基准标记1004安装在肩带上,并且/或者将基准标记1004安装在面罩上以提供关于注视方向的信息。在这种情况下,PPENS 6可指示工作人员10之间的接近度,并且可基于他们相应的基准来识别工作人员10。作为另一示例,一件装备可包括基准标记1004。例如,一件特定的或特定类型的装备(诸如,软管的喷嘴)可提供识别信息(例如,装备的类型)或取向信息(例如,装备的操作方向)。
图10B示出了其中工作人员10B接近基准标记1004的示例性部分地图1000B。工作人员10B已从出口1008移动通过环境,如路径1002B所示。来自工作人员10B的传感器数据指示基准标记1004。PPENS 6处理传感器数据以根据基准标记1004生成基准数据。
在一些示例中,PPENS 6可使用雷达数据来检测基准标记1004。例如,基准标记1004可被配置为由雷达波检测。PPE 13可包括雷达设备,该雷达设备包括天线“波源”和天线基准接收器。基准标记1004可包括2D图案作为会雷达反射(使用具有唯一相对介电常数值的特别选择的材料)且“隐形”的材料的交替正方形。在一些示例中,PPENS 6可使用热图像数据来检测基准标记1004。例如,基准标记1004可被配置有特定发射率。PPE 13可包括高功能性热图像捕获设备,使得可能不需要光源和反射,因为发射率可不取决于反射。因此,热图像捕获设备可能需要比(例如)雷达设备更少的能量。在一些示例中,PPENS 6可在检测到可见和/或红外基准标记时使用这些可见和/或红外基准标记,并且在未检测到可见和/或红外基准标记时使用热图像数据和雷达基准标记。
在一些示例中,PPENS 6可使用基准标记1004的指示来确定地标特征、团队特征和/或空间特征的存在和/或接近度。例如,工作人员10B可能处于视觉模糊环境中,而不知晓走廊的位置。PPENS 6可处理包括基准标记1004的指示的传感器数据,并且确定基准标记1004的存在和/或该基准标记与工作人员10B的接近度。因此,工作人员10B可朝向基准标记1004前进。
在一些示例中,PPENS 6可使用基准标记1004的指示来确定地标特征和/或团队特征的标识。例如,工作人员10B可能不知晓建筑物的特定楼层或区域。PPENS 6可处理包括基准标记1004的指示的传感器数据,确定基准标记1004的标识,并且基于基准标记1004来确定工作人员10B在建筑内的位置。
在一些示例中,PPENS 6可使用基准标记1004的指示来确定工作人员10的取向。例如,工作人员10B可能不确定朝向基准标记1004的方向。PPENS 6可确定基准标记1004的方向性。PPE 13可包括被配置为检测视场(FOV)中的图案的检测器阵列。PPENS 6可通过比较从不同检测器获得的FOV来确定方向性。在一些示例中,PPE 13可包括窄角FOV检测器,并且PPENS 6可将FOV与从传感器数据(诸如,雷达数据和/或惯性数据)获得的取向信息相关。作为另一示例,PPE 13可包括广角FOV检测器,该广角FOV检测器被配置为根据阵列上的位置提供方向性。
PPENS 6可使用基准标记1004来汇合合成地图中的路径。例如,基准标记可与具有相对较高的置信度和/或确定性的地标特征(例如,出口1006)、团队特征(例如,基准标记1004附近的斧头)和/或空间特征(例如,走廊)相关联。因此,当具有相应PPE 13的一个或多个工作人员10遇到基准标记时,基准标记1004可以是工作人员10的路径1002之间的高确定性共同特征,并且可使得PPENS 6能够汇合路径1002。图10C示出了根据部分地图1000A-B生成的示例性合成地图1000C。路径1002A-B被基于基准标记1004进行组合以形成路径1002C,该基准标记是地图1000A-B之间的共同特征。因此,工作人员10和命令中心可知晓门1006与1008(环境的潜在出口)之间的路径1002C。
除了基准标记1004之外,两个或更多个地图之间的共同特征可有助于地图上的两个或更多个路径的组合。如上所述,基准标记1004可指示固定已知位置。工作人员10中的每个工作人员与基准标记1004之间的视线可指示:除了具有类似的姿态之外,工作人员10还处于同一走廊中,没有被墙壁分隔开。
图11A至图11C是示出根据本公开的一个方面的工作人员基于基准标记进行的导航的概念性地图。图11A至图11C可示出基准可如何增强导航以便一个工作人员10通过视觉模糊环境。在一些情况下,如图10A至图10C所描绘的,基准可通过提供两个或更多个工作人员10的相应路径之间的共同特征来增强导航,从而使得PPENS 6能够汇合路径或识别位置。在其他情况下,如图11A至图11C所描绘的,基准标记可在不具有关于环境的预先存在的信息的情况下(诸如,在不存在汇合工作人员10的相应路径的合成地图的情况下)增强对工作人员10的导航。
图11A是示出工作人员10A的进入的概念性地图1100A。在图11A的示例中,工作人员10沿着路径1102A从出口1106移动并遇到基准标记1004。工作人员10继续探索视觉模糊环境并再次遇到基准标记1004。PPENS 6可被配置为将路径1102A与和基准标记1104相关联的同一点相关联,使得基准标记1104可闭合路径1102A的先前回路。在一些示例中,当工作人员10穿行路径1102A时,工作人员10的路径1102A可能累积误差(例如,来自传感器误差)。在第二次遇到基准标记1102A时,PPENS 6可校正路径1102A。因此,当工作人员10第二次遇到基准标记1104时,PPENS 6可以可靠地确认工作人员10相对于先前位置的位置。工作人员10继续探索视觉模糊环境。
图11B是示出工作人员10沿着踪迹1102B外出的概念性地图1100B。工作人员10可继续沿着用于进入的先前路径1102A,直到遇到基准标记1104。例如,PPENS 6可存储足够的姿态数据以生成从当前位置到基准标记1104的路径。在遇到并识别基准标记1004时,PPENS6可确定基准标记1004与可避开的先前路径1102A的回路的闭合位置相关联。因此,工作人员10可继续去出口1106,而不前进通过路径1102B的剩余部分。
在一些示例中,PPENS 6可使用基准标记1104来将工作人员10引导到特定位置。图11C是示出工作人员10沿着路径1102C外出的概念性地图1100C。工作人员10可基于具有基准标记1104的视线来生成包括基准标记1104的指示的传感器数据。例如,雷达数据可包括检测到的图案,或者热图像数据可包括检测到的基准标记1104的发射率。PPENS 6可基于传感器数据来识别基准标记1104,使得尽管在工作人员10与基准标记1104之间存在视觉遮挡,工作人员10也可知晓基准标记1104。因此,工作人员10B可沿着工作人员10与基准标记1104之间的视线前进,而不是沿着先前路径1102A或1102B继续向下。因此,工作人员10B可比沿着遵循预先存在的路线的另一外出路径更快地导航到基准标记1104和出口1106。在图11C中未示出的示例中,环境可包括多于一个基准标记以使得能够导航到一系列基准标记从而完成外出,诸如以更快地到达位置或避开危险。
在一些示例中,基准标记1104可提供方向性。例如,基准标记1104可包括接近范围1108,在该接近范围内,工作人员10的一个或多个传感器可确定参照基准标记1104的平面的方向性。工作人员10可生成包括基准标记1104的方向性的指示的传感器数据。PPENS 6可基于基准标记1104的方向性来确定工作人员10相对于基准标记1104的取向。例如,PPENS 6可确定工作人员10正面向SSW并且可校正工作人员10的取向。
图12是示出使用雷达数据来在视觉模糊环境中导航的示例性技术的流程图。将相对于图1来描述图13的示例性技术,然而,图13的示例性技术可与各种系统一起使用。PPENS6从工作人员10所穿戴的PPE 13接收至少包括来自雷达设备的雷达数据和来自惯性测量设备的惯性数据的传感器数据(1200)。PPENS 6处理来自传感器组件的传感器数据(1202)。PPENS 6基于经处理的传感器数据来生成工作人员10的姿态数据(1204)。姿态数据包括工作人员10的根据时间而变的位置和取向。PPENS 6可基于雷达数据与惯性数据之间的相对权重来生成姿态数据。
PPENS 6基于传感器数据或所跟踪姿态数据中的至少一者来生成表示视觉模糊环境的一个或多个特征的姿态元数据(1206)。雷达数据包括指示对象在视觉模糊环境内的存在或排布的粗粒度信息。例如,该一个或多个特征包括以下项中的至少一项:与工作人员在环境中的移动对应的一个或多个运动特征、与环境中的对象的相对位置对应的一个或多个空间特征、与环境中的一个或多个工作人员对应的一个或多个团队特征、与环境中的一个或多个对象对应的一个或多个地标特征,或者与环境的一个或多个热性质对应的一个或多个热特征。作为另一示例,姿态元数据可包括与环境的该一个或多个特征对应的一个或多个置信度得分。该一个或多个置信度得分可表示该一个或多个特征被准确识别的相对可能性。作为另一示例,姿态元数据可表示通过一或多个工作人员的可听命令识别的一或多个特征。
PPENS 6在工作人员移动通过视觉模糊环境时跟踪工作人员的姿态数据(1208)。PPENS 6基于雷达数据来确定对象在视觉模糊环境内的存在或排布(1210)。例如,雷达数据可包括关于对象在视觉模糊环境内的存在或排布的粗粒度信息。
PPENS 6使用雷达数据来构建视觉模糊环境的地图(1212)。例如,工作人员可是第一工作人员,并且姿态元数据可以是表示环境中的第一组一个或多个特征的第一姿态元数据。PPENS 6可接收第二工作人员的第二姿态元数据。第二姿态元数据可表示环境中的第二组一个或多个特征。PPENS 6可基于第一姿态元数据和第二姿态元数据来生成环境的地图数据。PPENS 6可确定第一组一个或多个特征与第二组一个或多个特征之间的对应特征,并且通过平移、缩放或旋转这些对应特征的子集中的至少一种操作来校正这些对应特征之间的差异。
PPENS 6使用姿态数据(例如,与工作人员10的位置和取向相关联)和/或元数据(例如,与工作人员10或环境8的一个或多个特征和/或姿态或特征的置信度相关联)来构建工作人员10通过环境8的路线(1212)。例如,PPENS 6可确定工作人员10从过去位置、当前位置或未来位置到目的地的路线。在一些示例中,PPENS 6可基于最短距离(例如,当前位置与目的地之间的最短距离)、最安全路线(例如,避开已知或潜在危险的路线)、已知路线(例如,工作人员10或另一工作人员行进的先前路线)、共同路线(例如,可与一个或多个其他工作人员一起穿行的路线)和可能影响工作人员10的安全或效用的其他因素来构建路线。PPENS 6可将该路线传达给工作人员10。例如,PPENS 6可在地图上方显示路线并且/或者向工作人员10提供音频方向。
图13是示出使用热图像数据来在危险环境中导航的示例性技术的流程图。将相对于图1来描述图13的示例性技术,然而,图13的示例性技术可与各种系统一起使用。PPENS 6从工作人员10所穿戴的PPE 13接收包括来自PPE 13的热图像捕获设备的热图像数据的传感器数据(1300)。PPENS 6处理来自传感器组件的传感器数据(1302)。PPENS 6基于经处理的传感器数据来生成工作人员10的姿态数据(1304)。姿态数据包括工作人员1 0的根据时间而变的位置和取向。PPENS 6在工作人员10移动通过环境时跟踪工作人员10的姿态数据(1306)。
PPENS 6基于热图像数据来对环境的一个或多个热特征进行分类(1308)。PPENS 6可基于热图像数据的时间标志来对该一个或多个热特征进行分类。该时间标志可指示该一个或多个热特征的温度随时间的变化。PPENS 6可基于热图像数据的空间标志来对该一个或多个热特征进行分类。空间标志可指示该一个或多个热特征的温度随空间的变化。PPENS6可基于该一个或多个热特征来预测未来的热事件。在一些示例中,工作人员10是第一工作人员10A,并且热图像数据是环境中的第一工作人员10A的第一热图像数据。PPENS 6接收环境中的第二工作人员10B的第二热图像数据。PPENS 6基于第一热图像数据和第二热图像数据来对环境的该一个或多个热特征进行分类。
PPENS 6确定该一个或多个热特征的危险等级(1310)。PPENS 6可确定该一个或多个热特征的危险等级满足危险阈值。PPENS 6构建包括该一个或多个热特征的环境的地图(1312)。
PPENS 6可构建通过环境8的路径以避开该一个或多个热特征(1314)。例如,PPENS6最初可基于最短距离(例如,当前位置与目的地之间的最短距离)、最安全路线(例如,避开已知或潜在危险(包括该一个或多个热特征)的路线)、已知路线(例如,工作人员10或另一工作人员行进的先前路线)、公共路线(例如,可与一个或多个其他工作人员一起穿行的路线)和可能影响工作人员10的安全或效用的其他因素来确定工作人员10从过去位置、当前位置或未来位置到目的地的路线。PPENS 6可将该路线传达给工作人员10。例如,PPENS 6可在地图上方显示路线并且/或者向工作人员10提供音频方向。
图14是示出使用基准数据来在视觉模糊环境中导航的示例性技术的流程图。将相对于图1来描述图14的示例性技术,然而,图14的示例性技术可与各种系统一起使用。PPENS6从工作人员10所穿戴的PPE 13接收包括视觉模糊环境中的基准标记21的指示的传感器数据(1400)。
PPENS 6处理传感器数据以从基准标记21的指示提取基准数据(1402)。基准数据可包括存储或包含在基准标记21上的代码。在一些示例中,基准标记21包括发射表面,并且PPE 13包括热图像捕获设备。PPENS 6可基于热图像数据来检测发射表面中的图案或发射率水平。在一些示例中,基准标记21包括被配置为反射与图案对应的电磁辐射的反射表面。例如,反射表面可反射长波红外辐射,并且PPE 13可包括被配置为根据所反射的长波红外辐射生成热图像数据的热图像捕获设备。PPENS 6可基于热图像数据来检测反射面中的图案。作为另一示例,反射表面可反射无线电波或微波,并且PPE 13可包括被配置为根据所反射的无线电波或微波生成雷达数据的雷达设备。PPENS 6可基于雷达数据来检测反射表面的图案。在一些示例中,PPENS 6可响应于确定可见图像捕获设备不能捕获可见光或红外光而操作雷达设备或热图像捕获设备中的至少一者。在一些示例中,基准标记21可发射包括基准数据的无线信号,并且PPE 13可基于与基准标记21的相对接近度来检测无线信号。
PPENS 6基于基准数据来生成工作人员10的姿态数据和/或姿态元数据(1404)。姿态数据包括工作人员10的根据时间而变的位置和取向。PPENS 6可基于基准数据与其他传感器数据之间的相对权重来生成姿态数据。PPENS 6可基于工作人员距基准标记的距离或工作人员的移动时间中的至少一者来改变相对权重。PPENS 6在工作人员10移动通过视觉模糊环境时跟踪工作人员10的姿态数据(1406)。
PPENS 6基于来自基准标记21的基准数据来识别一个或多个地标特征(1408)。在一些示例中,PPENS 6基于该一个或多个地标特征来确定工作人员10的位置。例如,PPENS 6可基于该一个或多个地标特征来确定工作人员与该一个或多个地标特征之间的空间未被遮挡。
PPENS 6使用基准数据来构建视觉模糊环境的地图(1410)。在一些示例中,工作人员10是第一工作人员10A,姿态数据是第一姿态数据,并且基准数据是第一基准数据。PPENS6可接收包括第二基准数据的第二工作人员的第二姿态数据。PPENS 6可确定第一基准数据是否与第二基准数据匹配。响应于确定第一基准数据与第二基准数据匹配,PPENS 6可基于第一姿态数据和第二姿态数据来生成地图数据。PPENS 6可通过基于第一基准数据和第二基准数据对准该一个或多个地标特征来生成地图数据。
PPENS 6使用姿态数据(例如,与工作人员10的位置和取向相关联)和/或元数据(例如,与工作人员10或环境8的一个或多个特征和/或姿态或特征的置信度相关联)来构建工作人员10通过环境8的路线(1412)。例如,PPENS 6可确定工作人员10从过去位置、当前位置或未来位置到目的地的路线。在一些示例中,PPENS 6可基于最短距离(例如,当前位置(诸如通过基准数据确定的)与目的地之间的最短距离)、最安全路线(例如,避开已知或潜在危险的路线)、已知路线(例如,工作人员10或另一工作人员行进的先前路线,以及/或者由基准数据指示的路线)、共同路线(例如,可与一个或多个其他工作人员一起穿行的路线)和可能影响工作人员10的安全或效用的其他因素来构建路线。PPENS 6可将该路线传达给工作人员10。例如,PPENS 6可在地图上方显示路线并且/或者向工作人员10提供音频方向。
在一个或多个示例中,所述的功能可以硬件、软件、固件或它们的任何组合来实现。如果以软件实现,则这些功能可作为一个或多个指令或代码存储在计算机可读介质上或经由计算机可读介质传输,且由基于硬件的处理单元执行。计算机可读介质可包括计算机可读存储介质,其对应于诸如数据存储介质的有形介质,或通信介质,其包括例如根据通信协议促进将计算机程序从一处传送到另一处的任何介质。以该方式,计算机可读介质通常可对应于(1)非暂态的有形计算机可读存储介质或(2)通信介质,诸如信号或载波。数据存储介质可为可由一个或多个计算机或一个或多个处理器访问以检索用于实现本公开中所描述的技术的指令、代码和/或数据结构的任何可用介质。计算机程序产品可包括计算机可读介质。
作为示例而非限制,此类计算机可读存储介质可包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储、磁盘存储或其他磁存储设备、闪存或者可用来以指令或数据结构的形式存储期望的程序代码并且可由计算机访问的任何其他介质。而且,任何连接均被适当地称为计算机可读介质。例如,如果使用同轴电缆、光纤电缆、双绞线、数字用户线(DSL)或无线技术如红外线、无线电和微波从网站、服务器或其他远程源传输指令,则同轴电缆、光纤电缆、双绞线、DSL或无线技术如红外线、无线电和微波包括在介质的定义中。然而,应当理解,计算机可读存储介质和数据存储介质不包括连接、载波、信号或其他暂态介质,而是针对非暂态的有形存储介质。所使用的磁盘和光盘包括压缩盘(CD)、激光光盘、光学盘、数字多功能光盘(DVD)、软盘和蓝光光盘,其中磁盘通常以磁的方式再现数据,而光盘通过激光以光学方式再现数据。上述的组合也应当包括在计算机可读介质的范围内。
指令可由一个或多个处理器诸如一个或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其他等效集成或离散逻辑电路执行。因此,所使用的术语“处理器”可指任何前述结构或适用于实现所描述的技术的任何其他结构。此外,在一些方面,所描述的功能性可在专用硬件和/或软件模块内提供。此外,这些技术可完全在一个或多个电路或逻辑元件中实施。
本公开的技术可在包括无线手持机、集成电路(IC)或一组IC(例如,芯片集)的各种各样的设备或装置中实现。各种部件、模块或单元在本公开中进行了描述以强调被构造为执行所公开的技术的设备的功能方面,但是不一定需要通过不同的硬件单元来实现。相反,如上所述,各种单元组合可在硬件单元中组合或者通过包括如上所述的一个或多个处理器的互操作硬件单元的集合,结合合适的软件和/或固件来提供。
应当认识到,根据该示例,本文所述方法中的任一种的某些动作或事件可以不同的顺序实行,可一起添加、合并或省去(例如,不是所有所描述动作或事件对于方法的实践都是必需的)。此外,在某些示例中,动作或事件可例如通过多线程处理、中断处理或多个处理器同时而不是顺序地执行。
在一些示例中,计算机可读存储介质包括非暂态介质。在一些示例中,术语“非暂态”指示存储介质没有在载波或传播信号中体现。在某些示例中,非暂态存储介质存储可随时间改变的数据(例如,在RAM或高速缓存中)。
实施例
实施例1:一种系统,该系统包括:个人防护装备(PPE),该PPE被配置为由工作人员穿戴,其中该PPE包括传感器组件,该传感器组件包括被配置为生成雷达数据的雷达设备和被配置为生成惯性数据的惯性测量设备;和至少一个计算设备,该至少一个计算设备包括存储器和耦接到该存储器的一个或多个处理器,其中该至少一个计算设备被配置为:处理来自该传感器组件的传感器数据,其中该传感器数据至少包括该雷达数据和该惯性数据;基于该经处理的传感器数据来生成该工作人员的姿态数据,其中该姿态数据包括该工作人员的根据时间而变的位置和取向;以及在该工作人员移动通过视觉模糊环境时跟踪该工作人员的该姿态数据。
实施例2:根据实施例1所述的系统,其中该PPE包括呼吸装置,该呼吸装置包括可穿戴包和头戴装置,并且其中该传感器组件集成在该可穿戴包的框架、该头戴装置或手持传感器中的至少一者内。
实施例3:根据实施例1或2所述的系统,其中该雷达数据包括指示对象在该视觉模糊环境内的存在或排布的粗粒度信息,并且其中该至少一个计算设备被配置为基于该雷达数据来确定对象在该视觉模糊环境内的该存在或排布。
实施例4:根据实施例1至3中任一项所述的系统,其中该至少一个计算设备被配置为使用该雷达数据来构建该视觉模糊环境的地图。
实施例5:根据实施例1至4中任一项所述的系统,其中该至少一个计算设备被配置为基于该雷达数据与该惯性数据之间的相对权重来生成该姿态数据。
实施例6:根据实施例5所述的系统,其中该至少一个计算设备被配置为基于该工作人员在该环境中移动的距离或时间中的至少一者来改变该相对权重。
实施例7:根据实施例5或6所述的系统,其中该至少一个计算设备被配置为基于该工作人员从已知位置或已知取向移动的距离或时间中的至少一者来改变该相对权重。
实施例8:根据实施例5至7中任一项所述的系统,其中该相对权重是基于时间置信度、X,Y置信度、Z置信度、偏航取向置信度、滚转或横摇取向置信度或俯仰取向置信度中的至少一者的。
实施例9:根据实施例1至8中任一项所述的系统,其中该至少一个计算设备被配置为基于该传感器数据或所跟踪姿态数据中的至少一者来生成表示该视觉模糊环境的一个或多个特征的姿态元数据。
实施例10:根据实施例9所述的系统,其中该一个或多个特征包括以下项中的至少一项:与该工作人员在该环境中的移动对应的一个或多个运动特征、与该环境中的对象的相对位置对应的一个或多个空间特征、与该环境中的一个或多个工作人员对应的一个或多个团队特征、与该环境中的一个或多个对象对应的一个或多个地标特征,或者与该环境的一个或多个热性质对应的一个或多个热特征。
实施例11:根据实施例1至10中任一项所述的系统,其中该至少一个计算设备被配置为:基于该姿态数据来识别一系列姿态,以及基于该一系列姿态来确定运动特征。
实施例12:根据实施例11所述的系统,其中该运动特征包括该工作人员的取向或平移的变化或该工作人员的运动类型中的至少一者。
实施例13:根据实施例1至12中任一项所述的系统,其中该至少一个计算设备被配置为使用该雷达数据来确定空间特征。
实施例14:根据实施例13所述的系统,其中该空间特征包括对象和该工作人员之间的距离、两个或更多个对象之间的距离或对象的存在或不存在中的至少一者。
实施例15:根据实施例1至14中任一项所述的系统,其中该至少一个计算设备被配置为基于该传感器数据来识别地标特征。
实施例16:根据实施例15所述的系统,其中该地标特征包括对象、门、窗、指示牌、基准、入口、出口、楼梯或房间状态中的至少一者。
实施例17:根据实施例1至17中任一项所述的系统,其中该传感器组件包括被配置为生成热图像数据的热图像捕获设备,并且其中该至少一个计算设备被配置为基于该热图像数据来识别热特征。
实施例18:根据实施例17所述的系统,其中该一个或多个热特征包括温度、火、烟雾的存在、热表面、热空气的存在或变化温度层的存在中的至少一者。
实施例19:根据实施例9所述的系统,其中该姿态元数据还包括与该环境的该一个或多个特征对应的一个或多个置信度得分,并且其中该一个或多个置信度得分表示该一个或多个特征被准确地识别的相对可能性。
实施例20:根据实施例9所述的系统,其中该姿态元数据表示通过一个或多个工作人员的口头命令识别的一个或多个特征。
实施例21:根据实施例9所述的系统,其中该工作人员是第一工作人员,其中该姿态元数据是表示该环境中的第一组一个或多个特征的第一姿态元数据,并且其中该至少一个计算设备被进一步配置为:接收第二工作人员的第二姿态元数据,其中该第二姿态元数据表示该环境中的第二组一个或多个特征;以及基于该第一姿态元数据和该第二姿态元数据来生成该环境的地图数据。
实施例22:根据实施例21所述的系统,其中该至少一个计算设备被配置为:确定该第一组一个或多个特征与该第二组一个或多个特征之间的潜在对应特征;以及通过平移、缩放或旋转这些对应特征的子集中的至少一种操作来校正这些对应特征之间的差异。
实施例23:根据实施例21或22所述的系统,其中该第二姿态元数据是在走查环境期间生成的。
实施例24:根据实施例21至23中任一项所述的系统,其中该至少一个计算设备被配置为基于表示该第一组一个或多个特征的可能性的第一组置信度值与表示该第二组一个或多个特征的可能性的第二组置信度值之间的相对权重来生成地图数据。
实施例25:根据实施例21至24中任一项所述的系统,其中该至少一个计算设备被配置为使用雷达数据来识别该第一工作人员与该第二工作人员之间的遮挡。
实施例26:根据实施例21至24中任一项所述的系统,其中该至少一个计算设备被配置为无线地接收该第二姿态元数据。
实施例27:根据实施例21至24中任一项所述的系统,其中该至少一个计算设备被配置为按该第二组一个或多个特征的优先顺序来接收该第二元数据。
实施例28:一种方法,该方法包括:由至少一个计算设备从工作人员所穿戴的个人防护装备(PPE)的传感器组件接收传感器数据,其中该传感器数据至少包括来自该传感器组件的雷达设备的雷达数据和来自该传感器组件的惯性测量设备的惯性数据;由至少一个计算设备处理来自该传感器组件的传感器数据;由该至少一个计算设备基于该经处理的传感器数据来生成该工作人员的姿态数据,其中该姿态数据包括该工作人员的根据时间而变的位置和取向;以及由该至少一个计算设备在该工作人员移动通过视觉模糊环境时跟踪该工作人员的该姿态数据。
实施例29:根据示例28所述的方法,还包括:由该至少一个计算设备基于该雷达数据来确定对象在该视觉模糊环境内的存在或排布,其中该雷达数据包括指示对象在该视觉模糊环境内的存在或排布的粗粒度信息。
实施例30:根据示例28或29所述的方法,还包括:由该至少一个计算设备使用该雷达数据来构建该视觉模糊环境的地图。
实施例31:根据实施例28至30中任一项所述的方法,还包括:由该至少一个计算设备基于该雷达数据与该惯性数据之间的相对权重来生成该姿态数据。
实施例32:根据实施例28至31中任一项所述的方法,还包括:由该至少一个计算设备基于该传感器数据或所跟踪姿态数据中的至少一者来生成表示该视觉模糊环境的一个或多个特征的姿态元数据。
实施例33:根据实施例32所述的方法,其中该一个或多个特征包括以下项中的至少一项:与该工作人员在该环境中的移动对应的一个或多个运动特征、与该环境中的对象的相对位置对应的一个或多个空间特征、与该环境中的一个或多个工作人员对应的一个或多个团队特征、与该环境中的一个或多个对象对应的一个或多个地标特征,或者与该环境的一个或多个热性质对应的一个或多个热特征。
实施例34:根据实施例32所述的方法,其中该姿态元数据还包括与该环境的该一个或多个特征对应的一个或多个置信度得分,并且其中该一个或多个置信度得分表示该一个或多个特征被准确地识别的相对可能性。
实施例35:根据实施例32所述的方法,其中该姿态元数据表示通过一个或多个工作人员的可听命令识别的一个或多个特征。
实施例36:根据实施例28所述的方法,其中该工作人员是第一工作人员,其中该姿态元数据是表示该环境中的第一组一个或多个特征的第一姿态元数据,并且其中该方法还包括:由该至少一个计算设备接收第二工作人员的第二姿态元数据,其中该第二姿态元数据表示该环境中的第二组一个或多个特征;以及由该至少一个计算设备基于该第一姿态元数据和该第二姿态元数据来生成该环境的地图数据。
实施例37:根据实施例36所述的方法,还包括:由该至少一个计算设备确定该第一组一个或多个特征与该第二组一个或多个特征之间的潜在对应特征;以及由该至少一个计算设备通过平移、缩放或旋转这些对应特征的子集中的至少一种操作来校正这些对应特征之间的差异。
实施例38:一种系统,该系统包括:个人防护装备(PPE),该PPE被配置为由工作人员穿戴,其中该PPE包括传感器组件,该传感器组件包括被配置为生成热图像数据的热图像捕获设备;和至少一个计算设备,该至少一个计算设备包括存储器和耦接到该存储器的一个或多个处理器,其中该至少一个计算设备被配置为:处理来自该传感器组件的传感器数据,其中该传感器数据至少包括该热图像数据;基于该经处理的传感器数据来生成该工作人员的姿态数据,其中该姿态数据包括该工作人员的根据时间而变的位置和取向;在该工作人员移动通过环境时跟踪该工作人员的该姿态数据;以及基于该热图像数据来对该环境的一个或多个热特征进行分类。
实施例39:根据实施例38所述的系统,其中该PPE包括呼吸装置,该呼吸装置包括可穿戴包和头戴装置,并且其中该传感器组件集成在该可穿戴包的框架、该头戴装置或手持传感器中的至少一者内。
实施例40:根据实施例38或39所述的系统,其中该至少一个计算设备被配置为构建包括该一个或多个热特征的环境的地图。
实施例41:根据实施例38至40中任一项所述的系统,其中该一个或多个热特征包括温度、火、烟雾的存在、热表面、热空气的存在或变化温度层的存在中的至少一者。
实施例42:根据实施例38至41中任一项所述的系统,其中该至少一个计算设备被配置为基于该热图像数据的时间标志来对该一个或多个热特征进行分类,并且其中该时间标志指示该一个或多个热特征的温度随时间的变化。
实施例43:根据实施例38至42中任一项所述的系统,其中该至少一个计算设备被配置为基于该热图像数据的空间标志来对该一个或多个热特征进行分类,并且其中该空间标志指示该一个或多个热特征的温度随空间的变化。
实施例44:根据实施例38至43中任一项所述的系统,其中该工作人员是第一工作人员,其中该热图像数据是该环境中的该第一工作人员的第一热图像数据,并且其中该至少一个计算设备被配置为:接收该环境中的第二工作人员的第二热图像数据,以及基于该第一热图像数据和该第二热图像数据来对该环境的该一个或多个热特征进行分类。
实施例45:根据实施例38至44中任一项所述的系统,其中该计算设备被进一步配置为确定该一个或多个热特征的危险等级。
实施例46:根据实施例45所述的系统,其中该至少一个计算设备被配置为:确定该一个或多个热特征的危险等级满足危险阈值;以及生成用以避开该一个或多个热特征的新路线。
实施例47:根据实施例38至46中任一项所述的系统,其中该环境的该一个或多个热特征对应于该环境的地标,并且其中该至少一个计算设备被配置为基于该一个或多个热特征来确定该工作人员的位置。
实施例48:根据实施例38至47中任一项所述的系统,其中该传感器组件包括被配置为生成温度数据的温度传感器,并且其中该至少一个计算设备被配置为基于该环境的该温度数据和该环境的已知温度来确定该工作人员的位置。
实施例49:根据实施例38至48中任一项所述的系统,其中该计算设备被配置为基于该一个或多个热特征来预测未来的热事件。
实施例50:一种方法,该方法包括:由至少一个计算设备从工作人员所穿戴的个人防护装备(PPE)的传感器组件接收传感器数据,该传感器数据包括来自该传感器组件的热图像捕获设备的热图像数据;由该至少一个计算设备处理来自该传感器组件的传感器数据;由该至少一个计算设备基于该经处理的传感器数据来生成该工作人员的姿态数据,其中该姿态数据包括该工作人员的根据时间而变的位置和取向;由该至少一个计算设备在该工作人员移动通过环境时跟踪该工作人员的该姿态数据;以及由该至少一个计算设备基于该热图像数据来对该环境的一个或多个热特征进行分类。
实施例51:根据示例50所述的方法,还包括:由该至少一个计算设备构建包括该一个或多个热特征的环境的地图。
实施例52:根据实施例50或51所述的方法,还包括:由该至少一个计算设备基于该热图像数据的时间标志来对该一个或多个热特征进行分类,其中该时间标志指示该一个或多个热特征的温度随时间的变化。
实施例53:根据实施例50至52中任一项所述的方法,还包括:由该至少一个计算设备基于该热图像数据的空间标志来对该一个或多个热特征进行分类,其中该空间标志指示该一个或多个热特征的温度随空间的变化。
实施例54:根据实施例50至53中任一项所述的方法,其中该工作人员是第一工作人员,其中该热图像数据是该环境中的该第一工作人员的第一热图像数据,并且其中该方法还包括:由该至少一个计算设备接收该环境中的第二工作人员的第二热图像数据,以及由该至少一个计算设备基于该第一热图像数据和该第二热图像数据来对该环境的该一个或多个热特征进行分类。
实施例55:根据实施例50至54中任一项所述的方法,还包括:由该至少一个计算设备确定该一个或多个热特征的危险等级。
实施例56:根据实施例55所述的方法,还包:括由该至少一个计算设备确定该一个或多个热特征的危险等级满足危险阈值;以及由该至少一个计算设备生成用以避开该一或多个热特征的新路线。
实施例57:根据实施例50至56中任一项所述的方法,还包括:由该至少一个计算设备基于该一个或多个热特征来预测未来的热事件。
已经描述了本公开的各种示例。这些示例以及其他示例均在以下权利要求书的范围内。
Claims (15)
1.一种系统,所述系统包括:
个人防护装备(PPE),所述PPE被配置为由工作人员穿戴,其中所述PPE包括传感器组件,所述传感器组件包括被配置为生成雷达数据的雷达设备和被配置为生成惯性数据的惯性测量设备;和
至少一个计算设备,所述至少一个计算设备包括存储器和耦接到所述存储器的一个或多个处理器,其中所述至少一个计算设备被配置为:
处理来自所述传感器组件的传感器数据,其中所述传感器数据至少包括所述雷达数据和所述惯性数据;
基于所述经处理的传感器数据来生成所述工作人员的姿态数据,其中所述姿态数据包括所述工作人员的根据时间而变(作为时间的函数?)的位置和取向:以及
在所述工作人员移动通过视觉模糊环境时跟踪所述工作人员的所述姿态数据。
2.根据权利要求1所述的系统,
其中所述PPE包括呼吸装置,所述呼吸装置包括可穿戴包和头戴装置,并且
其中所述传感器组件集成在所述可穿戴包的框架、所述头戴装置或手持传感器中的至少一者内。
3.根据权利要求1所述的系统,
其中所述雷达数据包括指示对象在所述视觉模糊环境内的存在或排布的粗粒度信息,并且
其中所述至少一个计算设备被配置为基于所述雷达数据来确定对象在所述视觉模糊环境内的所述存在或排布。
4.根据权利要求1所述的系统,其中所述至少一个计算设备被配置为使用所述雷达数据来构建所述视觉模糊环境的地图。
5.根据权利要求1所述的系统,其中所述至少一个计算设备被配置为基于所述雷达数据与所述惯性数据之间的相对权重来生成所述姿态数据。
6.根据权利要求5所述的系统,其中所述至少一个计算设备被配置为基于所述工作人员在所述视觉模糊环境中移动的距离或时间中的至少一者来改变所述相对权重。
7.根据权利要求5所述的系统,其中所述至少一个计算设备被配置为基于所述工作人员从已知位置或已知取向移动的距离或时间中的至少一者来改变所述相对权重。
8.根据权利要求5所述的系统,其中所述相对权重是基于时间置信度、X,Y置信度、Z置信度、偏航取向置信度、滚转或横摇取向置信度或俯仰取向置信度中的至少一者的。
9.根据权利要求1所述的系统,其中所述至少一个计算设备被配置为基于所述传感器数据或所跟踪的姿态数据中的至少一者来生成表示所述视觉模糊环境的一个或多个特征的姿态元数据。
10.根据权利要求9所述的系统,其中所述一个或多个特征包括以下项中的至少一项:与所述工作人员在所述视觉模糊环境中的移动对应的一个或多个运动特征、与所述视觉模糊环境中的对象的相对位置对应的一个或多个空间特征、与所述视觉模糊环境中的一个或多个工作人员对应的一个或多个团队特征、与所述视觉模糊环境中的一个或多个对象对应的一个或多个地标特征,或者与所述视觉模糊环境的一个或多个热性质对应的一个或多个热特征。
11.根据权利要求9所述的系统,
其中所述工作人员是第一工作人员,
其中所述姿态元数据是表示所述视觉模糊环境中的第一组一个或多个特征的第一姿态元数据,并且
其中所述至少一个计算设备被进一步配置为:
接收第二工作人员的第二姿态元数据,其中所述第二姿态元数据表示所述视觉模糊环境中的第二组一个或多个特征;以及
基于所述第一姿态元数据和所述第二姿态元数据来生成所述视觉模糊环境的地图数据。
12.根据权利要求1所述的系统,其中所述至少一个计算设备被配置为:
基于所述姿态数据来识别一系列姿态,以及
基于所述一系列姿态来确定运动特征,所述运动特征与所述工作人员的取向或平移的变化或所述工作人员的运动类型中的至少一者相关联。
13.根据权利要求1所述的系统,其中所述至少一个计算设备被配置为使用所述雷达数据来确定与对象和所述工作人员之间的距离、两个或更多个对象之间的距离或对象的存在或不存在中的至少一者相关联的空间特征。
14.根据权利要求1所述的系统,其中所述至少一个计算设备被配置为基于所述传感器数据来识别指示对象、门、窗、指示牌、基准、入口、出口、楼梯或房间状态中的至少一者的地标特征。
15.根据权利要求1所述的系统,
其中所述传感器组件包括被配置为生成热图像数据的热图像捕获设备,
其中所述至少一个计算设备被配置为基于所述热图像数据来识别与温度、火、烟雾的存在、热表面、热空气的存在或变化温度层的存在中的至少一者相关联的热特征。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202063039013P | 2020-06-15 | 2020-06-15 | |
US63/039,013 | 2020-06-15 | ||
PCT/IB2021/055179 WO2021255606A1 (en) | 2020-06-15 | 2021-06-11 | Personal protective equipment for navigation and map generation within a visually obscured environment |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115720621A true CN115720621A (zh) | 2023-02-28 |
Family
ID=76662507
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202180042932.0A Withdrawn CN115720621A (zh) | 2020-06-15 | 2021-06-11 | 用于在视觉模糊环境中导航和地图生成的个人防护装备 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20230236017A1 (zh) |
EP (1) | EP4165373A1 (zh) |
JP (1) | JP2023530693A (zh) |
CN (1) | CN115720621A (zh) |
WO (1) | WO2021255606A1 (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023126737A1 (en) * | 2021-12-30 | 2023-07-06 | 3M Innovative Properties Company | Personal protective equipment with movement-based navigation |
GB2624621A (en) * | 2022-11-15 | 2024-05-29 | Continental Autonomous Mobility Germany GmbH | 3-Dimensional (3D) map generation system and method for creating 3D map of surroundings of a vehicle |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6898559B2 (en) * | 2000-12-08 | 2005-05-24 | Tracker R&D, Llc | System for dynamic and automatic building mapping |
US8773946B2 (en) * | 2010-12-30 | 2014-07-08 | Honeywell International Inc. | Portable housings for generation of building maps |
US10896492B2 (en) * | 2018-11-09 | 2021-01-19 | Qwake Technologies, Llc | Cognitive load reducing platform having image edge enhancement |
-
2021
- 2021-06-11 CN CN202180042932.0A patent/CN115720621A/zh not_active Withdrawn
- 2021-06-11 EP EP21735759.9A patent/EP4165373A1/en active Pending
- 2021-06-11 JP JP2022577099A patent/JP2023530693A/ja active Pending
- 2021-06-11 WO PCT/IB2021/055179 patent/WO2021255606A1/en unknown
- 2021-06-11 US US18/010,455 patent/US20230236017A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
JP2023530693A (ja) | 2023-07-19 |
EP4165373A1 (en) | 2023-04-19 |
WO2021255606A1 (en) | 2021-12-23 |
US20230236017A1 (en) | 2023-07-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11151799B2 (en) | System and method for monitoring field based augmented reality using digital twin | |
US9875648B2 (en) | Methods and systems for reducing false alarms in a robotic device by sensor fusion | |
US20210174952A1 (en) | Systems and methods for operations and incident management | |
JP6811341B2 (ja) | 追跡およびアカウンタビリティ装置およびシステム | |
US20140225814A1 (en) | Method and system for representing and interacting with geo-located markers | |
JP7337654B2 (ja) | 保全活動サポートシステムおよび保全活動サポート方法 | |
US20210343182A1 (en) | Virtual-reality-based personal protective equipment training system | |
US11341830B2 (en) | Infrastructure construction digital integrated twin (ICDIT) | |
CN115720621A (zh) | 用于在视觉模糊环境中导航和地图生成的个人防护装备 | |
US11182043B2 (en) | Interactive virtual interface | |
US11676291B1 (en) | Adaptive multimodal safety systems and methods | |
Yang et al. | Opportunities for improving construction health and safety using real-time H&S management innovations: a socio-technical-economic perspective | |
US20230384114A1 (en) | Personal protective equipment for navigation and map generation within a visually obscured environment | |
US20230221123A1 (en) | Personal protective equipment for navigation and map generation within a hazardous environment using fiducial markers | |
Orlosky et al. | On-body multi-input indoor localization for dynamic emergency scenarios: fusion of magnetic tracking and optical character recognition with mixed-reality display | |
Agrawal et al. | RescueAR: Augmented Reality Supported Collaboration for UAV Driven Emergency Response Systems | |
Allen et al. | Toward an autonomous aerial survey and planning system for humanitarian aid and disaster response | |
US11675878B1 (en) | Auto-labeling method for multimodal safety systems | |
Grewe et al. | Drone based user and heading detection using deep learning and stereo vision | |
Joseph et al. | A blind user-centered navigation system with crowdsourced situation awareness | |
US11803955B1 (en) | Multimodal safety systems and methods | |
WO2023135699A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
US20240062478A1 (en) | Spatial navigation to digital content | |
US10760913B2 (en) | Determining and reducing inertial navigation system drift | |
Chung | Mindful navigation with guiding light: design considerations for projector based indoor navigation assistance system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20230228 |