CN112119396A - 用于安全事件检测和可视化的具有增强现实的个人防护设备系统 - Google Patents
用于安全事件检测和可视化的具有增强现实的个人防护设备系统 Download PDFInfo
- Publication number
- CN112119396A CN112119396A CN201980029747.0A CN201980029747A CN112119396A CN 112119396 A CN112119396 A CN 112119396A CN 201980029747 A CN201980029747 A CN 201980029747A CN 112119396 A CN112119396 A CN 112119396A
- Authority
- CN
- China
- Prior art keywords
- view
- field
- display
- information
- ppe
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/44—Event detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
在一些示例中,系统包括:个人防护设备(PPE)制品,该PPE制品被配置为向用户展示(AR)增强现实显示;以及至少一个计算装置。计算装置可包括存储器和耦接到存储器的一个或多个处理器。存储器可包括指令,指令在由一个或多个处理器执行时:标识用户的视场;确定与用户的视场相关的信息;生成与所确定的视场的信息相关的一个或多个指示图像;并且生成至少包括一个或多个指示图像的AR显示。
Description
技术领域
本公开涉及个人防护设备的领域。
背景技术
个人防护设备(PPE)可用于帮助保护用户(例如,工人)免受由多种原因造成的伤害或损伤。例如,在许多不同工作环境中,工人可佩戴眼睛防护件诸如安全眼镜。作为另一个示例,当在潜在有害或甚至致命高度处操作时,工人可使用坠落防护设备。作为又另一个示例,当在已知存在或有可能存在具有潜在危险或有害于健康的灰尘、烟雾、气体或其它污染物的区域中工作时,工人通常使用呼吸器或清洁空气供应源,诸如电动空气净化呼吸器(PAPR)或自备式呼吸器(SCBA)。作为非限制性示例,其它PPE可包括听力护具、头部护具(例如,遮护件、安全帽等等)、防护服等。在一些情况下,在环境变得太危险或工人的健康恶化得太厉害之前,工人可能不会认识到即将发生的安全事件。
发明内容
本公开描述使得能够经由个人防护设备(PPE)制品展示工作环境的增强现实显示的制品、系统和方法。例如,安全眼镜、焊接面罩、面护罩或另一种PPE制品可被配置为(例如,通过PPE制品)显示工人正在其中查看的工作环境的增强现实视图。
作为一个示例,多种PPE和/或工作环境的其它部件可配备有电子传感器,这些电子传感器生成有关PPE的状态或操作、工作环境区域内的环境条件等的数据流。在计算环境中执行的工人安全管理系统包括解析流处理引擎,该解析流处理引擎被配置为诸如通过根据一个或多个模型处理PPE数据流来检测数据流中的条件。基于由解析流处理引擎检测到的条件和/或在特定工作环境中报告或以其它方式检测到的条件,工人安全管理系统生成待基于与个体相关联的增强现实显示装置的特定位置和取向实时或伪实时地显示给工作环境内的个体(例如,工人或安全管理人员)的可视化信息。
在一些示例中,增强现实显示可展示关于工作环境的一个或多个指示。例如,增强现实显示可展示与工作环境内的潜在危险相关的指示、与工作环境内的一个或多个工人有关的信息(诸如PPE合规性或工人的培训状态)、关于机器或另一个设备件的信息、任务列表等作为在工人正在观看的实际工作环境上的覆盖。以此方式,本文所述的技术可向工人(例如,穿戴被配置为展示增强现实显示的PPE制品的工人)警示工作环境内的潜在危险情况,以及展示对于工作环境内工人的生产率可能是有用的信息。因此,本文所述的技术可帮助防止和/或减少安全事件,提高工人的PPE合规性,提高工人的生产率等。
在一个示例中,系统包括:个人防护设备(PPE)制品,该PPE制品被配置为向用户展示(AR)增强现实显示;以及至少一个计算装置。计算装置可包括存储器和耦接到存储器的一个或多个处理器。存储器可包括指令,指令在由一个或多个处理器执行时:标识用户的视场;确定与用户的视场相关的信息;生成与所确定的视场的信息相关的一个或多个指示图像;并且生成至少包括一个或多个指示图像的AR显示。
在另一个示例中,方法包括:标识用户的视场;确定与用户的视场相关的信息;生成与所确定的视场的信息相关的一个或多个指示图像;以及生成至少包括一个或多个指示图像的增强现实(AR)显示。
在又另一个示例中,个人防护设备(PPE)制品包括:相机,相机被配置为捕获PPE制品的用户的视场;显示器,显示器被配置为向用户展示增强现实(AR)显示;以及通信地耦接到相机的至少一个计算装置。至少一个计算装置包括存储器和耦接到存储器的一个或多个处理器。存储器包括指令,指令在由所述一个或多个处理器执行时:经由相机,捕获表示用户的视场的信息;接收一个或多个指示图像,其中一个或多个指示图像与关于所捕获的视场的信息相关;以及经由显示器,展示至少包括一个或多个指示图像的AR显示。
在又另一个示例中,计算装置包括存储器和耦接到存储器的一个或多个处理器。一个或多个处理器被配置为:标识个人防护设备(PPE)制品的用户的视场;确定与用户的视场相关的信息;生成与所确定的视场的信息相关的一个或多个指示图像;并且至少将一个或多个指示图像发送到PPE制品。
附图和以下描述中示出了本公开的一个或多个示例的细节。根据说明书和附图以及权利要求书,本公开的其他特征、目标和优点将显而易见。
附图说明
图1是示出根据本公开的各种技术的示例性计算系统的框图,该示例性计算系统包括用于管理工人在工作环境内的安全的工人安全管理系统(WSMS),其中工人的增强现实显示装置提供增强安全信息。
图2是提供根据本公开的各种技术的WSMS作为基于云的平台托管时的操作透视图的框图,该基于云的平台能够支持具有配备有增强现实显示装置的总体工人群体的多个不同的工作环境。
图3是示出根据本公开的各种技术的被配置为展示工作环境的视场的AR显示的示例性增强现实显示装置的框图。
图4是示出根据本公开的技术的经由增强现实显示装置展示的示例性AR显示的概念图,该示例性AR显示包括如通过增强现实显示装置看到的视场和指明安全事件和潜在危险的指示图像。
图5是示出根据本公开的各种技术的经由增强现实显示装置展示的另一个示例性AR显示的概念图,该示例性AR显示包括如通过增强现实显示装置看到的视场和指明工人的PPE合规性的指示图像。
图6A是示出根据本公开的各种技术的工人正在执行手势输入的又另一个AR显示的概念图。
图6B是示出根据本公开的各种技术的在已经使用手势输入将多个指示图像放置在视场内之后的示例性AR显示的概念图。
图7是示出根据本公开的各种技术的经由增强现实显示装置展示的又另一个示例性AR显示的概念图,该示例性AR显示包括如通过增强现实显示装置看到的视场和提供与机器相关的信息的指示图像。
图8是示出根据本公开的各种技术的经由增强现实显示装置展示的又另一个示例性AR显示的概念图,该示例性AR显示包括如通过增强现实显示装置看到的视场和指明通过视场的路径的指示图像。
图9是示出根据本公开的各种技术的经由增强现实显示装置展示的又另一个示例性AR显示的概念图,该示例性AR显示包括如通过增强现实显示装置看到的视场以及被配置为提供关于视场的低可见度或不可见方面的附加信息的指示图像和被配置为遮蔽视场的一部分的指示图像。
图10是示出根据本公开的各种技术的在增强现实显示装置上展示AR显示的示例性技术的流程图。
应当理解,在不脱离本发明的范围的情况下,可利用实施例并且可进行结构改变。图未必按照比例绘制。图中使用的相似数字指代相似的部件。然而,应当理解,在给定图中使用数字指代部件不旨在限制另一个图中用相同数字标记的部件。
具体实施方式
本公开描述使得能够经由个人防护设备(PPE)制品展示工作环境的增强现实显示的制品、系统和方法。本文所述的用于经由个人防护设备(PPE)制品展示增强现实(AR)显示的技术可帮助减少或防止安全事件,向工人提供有帮助的信息,改进PPE合规性、生产率和/或工作环境的总体安全等。工作环境中的工人可能暴露于各种危险或安全事件(例如,空气污染、热、坠落等)。在一些示例中,工人可利用被配置为展示工作环境的AR显示的PPE制品,该AR显示可指示安全事件、潜在危险、工人的培训和/或PPE合规性、与特定工人或工作环境相关的信息或它们的组合。例如,工人安全管理系统可被配置为确定与工人通过PPE制品所看到的工作环境的视场相关的相关信息,并且PPE制品可被配置为经由在PPE制品上展示的AR显示展示此类信息或以其它方式警示工人。在一些示例中,AR显示可显示(例如,如通过PPE制品看到的)视场的至少一部分,并且将一个或多个指示图像或信息覆盖在视场之上,使得AR显示使真实世界视场与计算机生成的图像结合。此外,工人可能够经由PPE制品向工人安全管理系统提供信息,诸如指示环境条件、安全事件和/或潜在危险的信息。
在一些示例性具体实施中,与在工作环境内利用PPE的工人相关联的AR显示可由工人安全管理系统结合解析流处理引擎来控制,该解析流处理引擎被配置为检测由PPE内的传感器以及位于环境内的传感器提供的数据流中的条件。基于由解析流处理引擎检测到的条件和/或在特定工作环境中报告的或以其它方式检测到的条件,工人安全管理系统生成待基于与个体相关联的增强现实显示装置的特定姿势(位置和取向)实时或伪实时地显示给工作环境内的个体(例如,工人或安全管理人员)的可视化信息。
本文所述的技术可使得工人安全管理系统能够通过例如以下方式改进工人安全并提供优于其它系统的技术优点:基于工人通过被配置为展示工作环境的AR显示的PPE制品的视场向工人提供与安全、合规性、潜在危险等相关的实时警示。这些技术可例如基于通过解析流处理从PPE和/或其它传感器收集的数据确定的趋势和条件来提供增强AR信息,从而提供原本不可用的AR视图。作为示出本文所述的技术改进的一个示例,对数据流的解析处理可用于标识指示特定工人的安全或风险状态(例如,处于风险时)或工作环境内区域或对象的安全或风险状态(例如,危险)的趋势,并且可生成环境内的增强AR信息以用于由PPE的AR显示来显示。
作为另一个示例,本文所述的制品、系统和技术可帮助使得能够在安全事件发生之前采取纠正动作。例如,主管可能够在工人开始工作任务之前纠正工人的PPE不合规。作为另一个示例,PPE制品可使得工人能够向工人安全管理系统指示潜在安全危险,使得可向位于潜在危险附近内的其他工人通知潜在危险。此外,本文所述的制品、系统和技术可经由PPE制品的AR显示提供与安全无关的附加或另选的信息和/或功能。例如,PPE制品可展示关于待完成的任务、其他工人的位置或路径、导航信息、诊断信息、指令的信息。附加地或另选地,PPE制品可从视场中遮蔽使人分心的运动或对象,允许工人对视场进行注释,确定工人是否正集中注意力于某个任务或对象或它们的组合。
图1是示出根据本公开的各种技术的示例性计算系统2的框图,该示例性计算系统包括用于管理工人10A-10N(统称为“工人10”)在工作环境8A、8B(统称为“工作环境8”)内的安全的工人安全管理系统(WSMS)6。如本文所述,WSMS 6向被配置为展示AR显示的PPE制品提供与安全事件、潜在危险、工人10、机器相关的信息或与工作环境8相关的其它信息。在其它示例中,工人10中的一个或多个可利用与工人所穿戴的一个或多个PPE分开的AR显示。在该示例中,被配置为展示AR显示的PPE制品将在本文中描述为“安全眼镜”(例如,如图1所示的安全眼镜14A-14N)。然而,在其它示例中,被配置为展示AR显示的PPE制品可包括附加或另选的PPE制品,诸如焊接头盔、面罩、面护罩等。通过与WSMS 6进行交互,安全专业人员可例如评估和查看安全事件,管理区域检视、工人检视、工人健康和PPE合规性。
一般来讲,WSMS 6提供数据获取、监测、活动记录、报告、预测解析、PPE控制、用于控制AR覆盖展示和可视化的数据的生成和维护以及警示生成。例如,WSMS 6包括根据本文所述的各种示例的基础解析与工人安全管理引擎和警示系统。一般来讲,安全事件可以是指环境条件(例如,其可能是危险的)、PPE用户的活动、PPE制品的条件或可能有害于工人的安全和/或健康的另一种事件。在一些示例中,安全事件可以是损伤或工人状况、工作场所伤害、危险的环境条件或监管违规。例如,在坠落防护设备的情况下,安全事件可以是误用坠落防护设备,坠落设备的用户经历坠落或坠落防护设备失效。在呼吸器的情况下,安全事件可以是呼吸器的误用,呼吸器的用户没有接收到适当的质量和/或数量的空气,或呼吸器的失效。安全事件还可与PPE所位于的环境中的危险相关联,该危险诸如例如不良的空气质量、污染物的存在、机器或设备件的状态、火灾等。
如下文进一步所述,WSMS 6提供一套集成的个人安全管理工具,并且实现本公开的各种技术。也就是说,WSMS 6提供用于在一个或多个物理工作环境8内管理工人安全的集成的端对端系统,该一个或多个物理工作环境可以是施工场地、采矿或制造场地或任何物理环境。本公开的技术可在系统2的各个部分内实现。
如图1的示例所示,系统2表示其中多个物理工作环境8内的计算装置经由一个或多个计算机网络4与WSMS 6进行电子通信的计算环境。物理环境8中的每个物理环境表示其中一个或多个个体诸如工人10在从事相应环境内的任务或活动时利用PPE的物理环境。
在该示例中,环境8A被大体示出为具有工人10,而环境8B以扩展形式示出以提供更详细的示例。在图1的示例中,多个工人10A-10N被示出为正在利用相应安全眼镜14A-14N(统称为“安全眼镜14”)。根据本公开的技术,安全眼镜14被配置为展示工人10正通过相应安全眼镜14看到的工作环境的视场的AR显示。
也就是说,安全眼镜14被配置为展示相应工人10通过安全眼镜14的视场的至少一部分以及由WSMS 6确定为与视场相关的任何信息(例如,一个或多个指示图像)。例如,安全眼镜14可包括被配置为实时或近实时地捕获视场(或表示视场的信息)的相机或另一个传感器。在一些示例中,所捕获的视场和/或表示视场的信息可被发送到WSMS 6以供分析。在其它示例中,指示与视场相关联的位置和取向信息(即,姿势)的数据可被传送到WSMS 6。基于安全眼镜14的特定视场(例如,如根据位置和取向数据确定的),WSMS 6可确定与工人10的当前视场有关的附加信息以用于展示给用户。在一些示例中,与视场相关的信息可包括视场内的潜在危险、安全事件、机器或设备信息、导航信息、指令、诊断信息、关于其他工人10的信息、与作业任务相关的信息、与一个或多个PPE制品相关的信息等。如果WSMS 6确定与工人的视场相关的信息,则WSMS 6可生成与所确定的信息相关的一个或多个指示图像。例如,WSMS 6可经由安全眼镜14生成可用作AR显示的一部分的符号、通知或警示、路径、列表或另一个指示图像。WSMS 6可将指示图像或包括一个或多个指示图像的AR显示发送到安全眼镜14以供显示。在其它示例中,WSMS 6输出指示附加信息的数据诸如信息的标识符以及视图内用于呈现信息的位置,从而指示安全眼镜14构建待由AR显示展示的复合图像。然后,安全眼镜14可在AR显示上向工人10展示增强AR视图。
以此方式,AR显示可包括真实物理工作环境8B的直接或间接实况视图以及增强型计算机生成的信息。增强型计算机生成的信息可覆盖在工作环境8B的实况视图(例如,视场)上。在一些情况下,计算机生成的信息对于实况视场可以是构建性的(例如,可添加到真实世界工作环境8B)。附加地或另选地,计算机生成的信息对于实况视场可以是破坏性的(例如,掩藏真实世界视场的一部分)。在一些示例中,计算机生成的信息被显示为真实工作环境8B的沉浸式部分。例如,计算机生成的信息可在空间上与视场内的部件配准。在一些此类示例中,经由安全眼镜14的AR显示查看工作环境8B的工人10可对工作环境8B具有改变的感知。换句话讲,AR显示可将计算机生成的信息展示为视场的内聚部分,使得计算机生成的信息可看起来像真实世界视场的实际部件。此外,用于由AR显示呈现的图像数据可响应于从WSMS 6接收的标识和定位视图内的AR元素的数据和命令而由安全眼镜14内的部件在本地构建。另选地,可远程地构建图像数据的全部或一部分。将关于图4至图9更详细地描述根据本公开的技术由安全眼镜14展示的AR显示的示例。
如本文进一步所述,安全眼镜14中的每个安全眼镜可包括被配置为当用户(例如,工人)在穿戴安全眼镜14时从事活动时实时捕获数据的嵌入式传感器或监测装置和处理电子器件。例如,安全眼镜14可包括用于感测穿戴相应安全眼镜14的工人10的视场的一个或多个传感器。在一些此类示例中,安全眼镜14可包括用于确定工人10的视场的相机。例如,相机可被配置为确定工人10在通过安全眼镜14观看时实时或近实时地看到的实况视场。
此外,安全眼镜14中的每个安全眼镜可包括用于输出指示与工人10的视场相关的信息的数据的一个或多个输出装置。例如,安全眼镜14可包括用于生成视觉反馈(诸如AR显示)的一个或多个输出装置。在一些此类示例中,一个或多个输出装置可包括一个或多个显示器、发光二极管(LED)等。附加地或另选地,安全眼镜14可包括用于生成以下项的一个或多个输出装置:听觉反馈(例如,一个或多个扬声器)、触觉反馈(例如,振动或提供其它触觉反馈的装置)或两者。在一些示例中,安全眼镜14(或WSMS 6)可通信地耦接到被配置为生成视觉、听觉和/或触觉反馈的一个或多个其它PPE制品。
一般来讲,工作环境8中的每个工作环境包括安全眼镜14能够与WSMS 6通信所通过的计算设施(例如,局域网)。例如,工作环境8可配置有无线技术,诸如802.11无线网络、802.15ZigBee网络等。在图1的示例中,环境8B包括本地网络7,该本地网络提供基于分组的输送介质,以用于经由网络4与WSMS 6通信。此外,环境8B包括多个无线接入点19A、19B(统称为“无线接入点19”),这些无线接入点可在地理上遍布于环境中以在整个工作环境8B中提供对无线通信的支持。
安全眼镜14中的每个安全眼镜被配置为经由无线通信诸如经由802.11WiFi协议、蓝牙协议等传送数据诸如所捕获的视场、数据、事件、条件和/或手势。安全眼镜14可例如与无线接入点19直接通信。作为另一个示例,每个工人10可配备有可穿戴通信集线器13A-13N(统称为“通信集线器13”)中的相应通信集线器,这些可穿戴通信集线器实现并且促进安全眼镜14和WSMS 6之间的通信。例如,安全眼镜14以及用于相应工人10的其它PPE(诸如坠落防护设备、听力防护件、安全帽或其它设备)可经由蓝牙或其它短程协议与相应的通信集线器13通信,并且通信集线器13可经由通过无线接入点19处理的无线通信与WSMS 6通信。在一些示例中,如图1所示,通信集线器13可以是安全眼镜14的部件。在其它示例中,通信集线器13可实现为可穿戴装置、部署在环境8B内的独立装置或不同PPE制品的部件。
一般来讲,通信集线器13中的每个通信集线器作为安全眼镜14的中继往返于安全眼镜14的通信的无线装置操作,并且可能够在WSMS 6丢失通信的情况下缓冲使用数据。此外,通信集线器13中的每个通信集线器能够经由WSMS 6编程,使得本地规则可在不需要连接到云的情况下安装并执行。如此,通信集线器13中的每个通信集线器可向来自相应环境8B内的安全眼镜14的数据流(例如,表示视场的数据)提供中继,并且提供本地计算环境以用于在与WSMS 6的通信丢失的情况下基于事件流来本地化确定与视场相关的信息。
如图1的示例所示,环境8B还可包括在工作环境8B内提供准确的位置信息的一个或多个支持无线的信标17A-17C(统称为“信标17”)。例如,信标17可以是支持GPS的,使得相应信标17内的控制器可能够精确地确定相应信标17的位置。基于与信标17中的一个或多个信标的无线通信,工人10所穿戴的给定安全眼镜对14或通信集线器13可被配置为确定工人10在工作环境8B内的位置。以此方式,报告给WSMS 6的与工人10的视场相关的数据可加时间戳有位置信息以帮助由WSMS 6执行的分析、报告和解析。
此外,环境8B还可包括一个或多个支持无线的感测站21A、21B(统称为“感测站21”)。每个感测站21包括被配置为输出指示所感测的环境条件的数据的一个或多个传感器和一个控制器。此外,感测站21可定位在环境8B的相应地理区域内,或者以其它方式与信标17进行交互以确定相应位置并且在向WSMS 6报告环境数据时包括此类位置信息。如此,WSMS 6可被配置为使所感测的环境条件与特定区域相关,并且因此可在处理从安全眼镜14接收的视场数据时利用所捕获的环境数据。例如,WSMS 6可利用环境数据来帮助确定与视场相关的相关信息(例如,以用于在AR显示上展示),生成警示,提供指令和/或执行预测解析诸如确定某些环境条件(例如,热、湿度、可见性)与异常工人行为或增加的安全事件之间的任何相关性。如此,WSMS 6可利用当前环境条件来帮助生成用于AR显示的指示图像,向工人10通知环境条件或安全事件,以及帮助预测和避免即将发生的安全事件。可由感测站21感测的示例性环境条件包括但不限于:温度、湿度、气体的存在、压力、可见度、风等。
在一些示例中,环境8B还可包括一个或多个安全站15,该一个或多个安全站遍布于环境中以提供用于访问安全眼镜14的观察站。安全站15可允许工人10中的一个工人检查安全眼镜14和/或其它安全设备,验证安全设备适合于环境8中的特定环境和/或交换数据。例如,安全站15可将警示规则、软件更新或固件更新传输到安全眼镜14或其它设备。安全站15还可接收在安全眼镜14、通信集线器13和/或其它安全设备上缓存的数据。也就是说,虽然安全眼镜14(和/或通信集线器13)可通常将表示穿戴安全眼镜14的工人10的视场的数据实时地或近实时地传输到网络4,但是在一些实例中,安全眼镜14(和/或通信集线器13)可不具有到网络4的连接性。在此类实例中,安全眼镜14(和/或通信集线器13)可本地存储视场数据,并且在接近安全站15时将数据传输到安全站15。然后,安全站15可上传来自安全眼镜14的数据并且连接到网络4。
此外,环境8中的每个环境包括计算设施,这些计算设施为最终用户计算装置16提供操作环境以用于经由网络4与WSMS 6进行交互。例如,环境8中的每个环境通常包括负责监督环境8内的安全合规性的一个或多个安全管理人员。一般来讲,每个用户20可与计算装置16进行交互以访问WSMS 6。类似地,远程用户24可使用计算装置18来经由网络4与WSMS 6进行交互。出于举例的目的,最终用户计算装置16可以是膝上型计算机、台式计算机、诸如平板电脑或所谓的智能电话的移动装置等。
用户20、24可与WSMS 6进行交互以控制和主动管理工人安全的许多方面,诸如访问和查看视场数据、确定与视场相关的信息、解析和/或报告。例如,用户20、24可审阅由WSMS 6获取、确定和/或存储的信息。此外,用户20、24可与WSMS 6进行交互以更新工人培训,输入安全事件,为工人提供任务列表等。
另外,如本文所述,WSMS 6集成了事件处理平台,该事件处理平台被配置为处理来自数字启用的PPE诸如安全眼镜14的数千或甚至数百万个并发事件流。WSMS 6的基础解析引擎可将历史数据和模型应用于入站流以确定与工人10的视场相关的信息,诸如所预测的安全事件的发生、工人10附近的潜在危险、工人10的行为模式等。另外,WSMS 6提供实时警示和报告以向工人10和/或用户20、24通知任何潜在危险、安全事件、异常现象、趋势或对于工人10经由AR显示查看工作环境8B的特定区域可能是有用的其它信息。在一些示例中,WSMS 6的解析引擎可应用解析来标识所感测的视场、环境条件、地理区域和其它因素之间的关系或相关性,并且分析是否经由AR显示向工人10提供关于相应视场的一个或多个指示图像。
以此方式,WSMS 6通过基础解析引擎和通信系统紧密集成了用于管理工人安全的综合工具,以提供数据获取、监测、活动记录、报告、行为解析和警示生成。此外,WSMS 6在系统2的各种元件之间提供由这些元件操作和利用的通信系统。用户20、24可访问WSMS 6以查看由WSMS 6对从工人10获取的数据执行的任何解析的结果。在一些示例中,WSMS 6可经由web服务器(例如,HTTP服务器)展示基于web的界面,或者可对由用户20、24使用的计算装置16、18的装置诸如台式计算机、膝上型计算机、诸如智能电话和平板电脑的移动装置等部署客户端应用程序。
在一些示例中,WSMS 6可提供数据库查询引擎,用于直接查询WSMS 6以例如通过仪表板、警示通知、报告等查看所获取的安全信息、合规信息和解析引擎的任何结果。也就是说,用户24、26或在计算装置16、18上执行的软件可向WSMS 6提交查询,并且接收对应于这些查询的数据以便以一个或多个报告或仪表板的形式展示。此类仪表板可提供有关系统2的各种见解,诸如环境2内已经发生或预测发生不寻常的异常(例如,高)安全事件的任何地理区域的标识、相对于其它环境表现出异常安全事件发生的环境2中的任一个环境的标识、工人的PPE合规性、由工人10指示的潜在危险等。
如下文详细所示,WSMS 6可简化管理工人安全。也就是说,本公开的技术可启用主动安全管理,并且允许组织针对环境8内的某些区域、潜在危险、特定安全设备件或个别工人10采取预防或纠正动作,定义并且可进一步允许实体实现由基础解析引擎进行数据驱动的工作流过程。PPE和具有用于处理数据流的解析引擎的工人安全管理系统的另外的示例性细节在2017年6月23日提交的PCT专利申请PCT/US2017/039014、2016年6月23日提交的美国申请15/190,564、2016年10月14日提交的美国临时申请62/408,634中有所描述,这些申请中的每个申请的全部内容特此以引用方式明确并入本文。
图2是提供作为基于云的平台托管时WSMS 6的操作透视图的框图,该基于云的平台能够支持具有总体工人群体10的多个不同的工作环境8,该总体工人群体配备有根据本公开的各种技术的安全眼镜14。在图2的示例中,WSMS 6的部件根据实现本公开的技术的多个逻辑层进行布置。每个层可由一个或多个模块实现并且可包括硬件、软件或硬件和软件的组合。
在一些示例中,计算装置32、安全眼镜14、通信集线器13、信标17、感测站21和/或安全站15作为经由接口层36与WSMS 6通信的客户端30操作。计算装置32通常执行客户端软件应用程序,诸如桌面应用程序、移动应用程序和/或web应用程序。计算装置32可表示图1的计算装置16、18中的任一个计算装置。计算装置32的示例可包括但不限于便携式或移动计算装置(例如,智能手机、可穿戴计算装置、平板电脑)、膝上型计算机、台式计算机、智能电视平台和/或服务器。
在一些示例中,计算装置32、安全眼镜14、通信集线器13、信标17、感测站21和/或安全站15可与WSMS 6通信以发送和接收与工人10的视场相关的信息(例如,位置和取向)、与视场相关的信息的确定、潜在危险和/或安全事件、具有增强AR可视化的指示图像的生成和/或用于致使安全眼镜14本地生成指示图像的数据、警示生成等。在计算装置32上执行的客户端应用程序可与WSMS 6进行通信,以发送和接收由服务40检索、存储、生成和/或以其它方式处理的信息。例如,客户端应用程序可请求并编辑潜在危险或安全事件、机器状态、工人培训、PPE合规性信息或本文所述的包括存储在WSMS 6处和/或由WSMS 6管理的解析数据的任何其它信息。在一些示例中,客户端应用程序可请求并显示由WSMS 6生成的信息,诸如包括一个或多个指示图像的AR显示。此外,客户端应用程序可与WSMS 6进行交互以查询关于PPE合规性、安全事件信息、审计信息等的解析信息。客户端应用程序可输出从WSMS 6接收的信息以供显示,以便为客户端30的用户将此类信息可视化。如下文进一步所示和所述,WSMS 6可向客户端应用程序提供信息,客户端应用程序输出信息以供在用户界面中显示。
在计算装置32上执行的客户端应用程序可被实现用于不同平台,但是包括类似或相同的功能。例如,客户端应用程序可以是编译成在桌面操作系统上运行的桌面应用程序诸如Microsoft Windows、Apple OS x或Linux,仅举几个例子。作为另一个示例,客户端应用程序可以是编译成在移动操作系统上运行的移动应用程序诸如Google Android、AppleiOS、Microsoft Windows mobile或BlackBerry OS,这里仅举几个例子。作为另一个示例,客户端应用程序可以是web应用程序,诸如显示从WSMS 6接收的web页面的web浏览器。在web应用程序的示例中,WSMS 6可接收来自web应用程序(例如,web浏览器)的请求,处理请求并将一个或多个响应发送回web应用程序。以此方式,网页的收集、客户端侧处理的web应用程序以及由WSMS 6执行的服务器侧处理共同提供执行本公开的技术的功能。以此方式,客户端应用程序使用根据本公开的技术的WSMS 6的各种服务,并且这些应用程序可在不同的计算环境(例如,桌面操作系统、移动操作系统、web浏览器或其它处理器或处理电路,仅举几个示例)内操作。
如图2所示,在一些示例中,WSMS 6包括接口层36,该接口层表示由WSMS 6展示和支持的一组应用程序编程接口(API)或协议接口。接口层36最初从客户端30中的任一个客户端接收消息以供在WSMS 6处进一步处理。因此,接口层36可提供在客户端30上执行的客户端应用程序可用的一个或多个接口。在一些示例中,接口可以是通过网络4访问的应用程序编程接口(API)。在一些示例性方法中,接口层36可用一个或多个web服务器来实现。该一个或多个web服务器可接收传入请求,可处理来自请求的信息并且/或者可将该信息转发到服务40,并且基于从服务40接收到的信息来向初始发送请求的客户端应用程序提供一个或多个响应。在一些示例中,实现接口层36的该一个或多个web服务器可包括运行环境以部署提供一个或多个接口的程序逻辑。如下文进一步所述,每个服务可提供可经由接口层36访问的一组一个或多个接口。
在一些示例中,接口层36可提供使用HTTP方法与服务进行交互和操纵WSMS 6的资源的表示状态传输(RESTful)接口。在此类示例中,服务40可生成JavaScriptObjectNotation(JSON)消息,接口层36将JavaScriptObjectNotation(JSON)消息发送回提交初始请求的客户端应用程序。在一些示例中,接口层36提供使用简单对象访问协议(SOAP)的web服务来处理来自客户端应用程序的请求。在其他示例中,接口层36可使用远程过程调用(RPC)来处理来自客户端30的请求。在从客户端应用程序接收到使用一个或多个服务40的请求时,接口层36向包括服务40的应用层38发送信息。
如图2所示,WSMS 6还包括应用层38,该应用层表示用于实现WSMS 6的大部分基础操作的服务的集合。应用层38接收包括在从客户端应用程序接收到的并由接口层36转发的请求中的信息,并且根据请求调用的服务40中的一个或多个来处理接收到的信息。应用层38可实现为在一个或多个应用服务器(例如,物理或虚拟机)上执行的一个或多个离散软件服务。也就是说,应用服务器提供用于执行服务40的运行环境。在一些示例中,如上所述的功能接口层36的功能和应用层38的功能可在同一服务器处实现。
应用层38可包括一个或多个独立的软件服务40(例如,过程),该一个或多个独立的软件服务可例如经由逻辑服务总线44进行通信。服务总线44通常表示诸如通过发布/订阅通信模型允许不同的服务将消息发送到其他服务的逻辑互连或一组接口。例如,服务40中的每个可基于针对相应服务的标准来订阅具体类型的消息。当服务在服务总线44上发布特定类型的消息时,订阅该类型消息的其它服务将接收消息。以这种方式,服务40中的每个可彼此传达信息。作为另一个示例,服务40可使用套接字或其他通信机制以点对点的方式进行通信。在描述服务40中的每个的功能之前,本文简单地描述层。
WSMS 6的数据层46表示数据储存库48,该数据储存库使用一个或多个数据储存库48为WSMS 6中的信息提供持久性。数据储存库通常可以是存储和/或管理数据的任何数据结构或软件。数据储存库的示例包括但不限于关系数据库、多维数据库、地图和散列表。可使用关系数据库管理系统(RDBMS)软件管理数据储存库48中的信息来实现数据层46。RDBMS软件可管理一个或多个数据储存库48,使用结构化查询语言(SQL)可访问该一个或多个数据储存库。一个或多个数据库中的信息可使用RDBMS软件来存储、检索和修改。在一些示例中,可使用对象数据库管理系统(ODBMS)、在线分析处理(OLAP)数据库或任何其他合适的数据管理系统来实现数据层46。
如图2所示,服务40A-40H中的每个服务在WSMS 6内以模块化形式实现。虽然针对每个服务被示出为单独的模块,但是在一些示例中,两个或更多个服务的功能性可组合到单个模块或部件中。服务40中的每个可以软件、硬件或硬件和软件的组合来实现。此外,服务40可被实现为单独的装置、单独的虚拟机或容器、进程、线程或通常用于在一个或多个物理处理器或处理电路上执行的软件指令。
在一些示例中,服务40中的一个或多个可各自提供通过接口层36暴露的一个或多个接口42。因此,计算装置32的客户端应用程序可调用服务40中的一个或多个的一个或多个接口42来执行本公开的技术。
在一些情况下,服务40包括用于标识工人10透过安全眼镜14查看的环境8B的视场的视场分析器40A。例如,视场分析器40A可从客户端30诸如安全眼镜14接收当前姿势信息(位置和取向)、图像、视频或表示视场的其它信息,并且可读取存储在地标数据储存库48A中用于标识视场的信息。在一些示例中,地标数据储存库48A可表示地标在特定工作环境内的位置和标识的3D地图。在一些示例中,此信息可用于诸如通过执行用于视觉辅助惯性导航(VINS)的同步定位和建图(SLAM)来标识工作环境8B内工人10可能正在观看的地方。例如,地标数据储存库48A可包括与机器、设备、工人10、建筑物、窗、门、标志或工作环境8B内可用于标识视场的任何其它部件相关的标识特征、位置信息等。在其它示例中,来自一个或多个全球定位传感器(GPS)和加速度计的数据可由安全眼镜14发送到视场分析器40以用于确定工人在工人横穿工作环境时的位置和取向。在一些示例中,位置和取向跟踪可通过视觉和惯性数据、GPS数据和/或它们的组合执行,并且可由安全眼镜14内的估计部件在本地执行和/或由WSMS 6的视场分析器40A远程地执行。
在一些示例中,视场分析器40A可使用附加或另选的信息诸如工人10的位置、工作环境8B内工人10被安排工作所在的作业场地、其它PPE制品的感测数据等来标识工人10的视场。例如,在一些情况下,安全眼镜14可包括被配置为确定安全眼镜14的GPS位置、方向或取向和/或高度以确定视场的一个或多个部件。在一些此类情况下,地标数据储存库48A可包括工作环境8B的部件的相应位置、方向或取向和/或高度,并且可使用这些部件的位置、方向或取向和/或高度以基于安全眼镜14的GPS位置、方向或取向和/或高度来确定工人10的视场中的内容。
在一些示例中,视场分析器40A可处理所接收的图像、视频或表示视场的其它信息,以便包括呈与存储在地标数据储存库48A中的地标信息相同形式的信息。例如,视场分析器40A可分析图像或视频以提取包括在地标数据储存库48A中的数据和/或信息。作为一个示例,视场分析器40A可提取表示图像或视频内的特定机器和设备的数据,以将其与存储在地标数据储存库48A中的数据进行比较。
在一些示例中,工作环境8B可包括在整个工作环境8B中的标签或其它标识信息,并且视场分析器40A可从所接收的图像、视频和/或数据中提取此类信息以确定视场。例如,工作环境8B可包括遍布于工作环境8B中的多个快速响应(QR)代码,并且视场分析器40A可确定所接收的视场内的一个或多个QR代码并且将其与存储在地标数据储存库48A中的对应QR代码进行比较以标识视场。在其它示例中,除了QR码之外的不同标签或标识信息可遍布于工作环境8B中。
视场分析器40A还可能够标识关于工人10、工人10所穿戴的PPE制品、机器或视场的另一个方面的细节。例如,视场分析器40A可能够标识视场内工人10所穿戴的PPE制品的品牌、型号、尺寸等。作为另一个示例,视场分析器40A可能够确定视场内机器的机器状态。所标识的细节可保存在地标数据储存库48A、安全数据储存库48B或工人数据储存库48C中的至少一者中,可发送到信息处理器40B,或两者。视场分析器40A可进一步创建、更新和/或删除存储在地标数据48A、安全数据储存库48B和/或工人数据储存库48C中的信息。
视场分析器40A还可能够检测和/或标识由工人10在视场内作出的一个或多个手势。此类手势可由工人10出于各种原因来执行,诸如例如以向WSMS 6指示关于视场的信息,调整用户设置,生成一个或多个指示图像,请求附加信息等。例如,工人10可执行特定手势以指示视场内存在可能未用指示图像指示出的安全事件。作为另一个示例,工人10可使用手势以便使AR显示的一个或多个功能诸如一个或多个指示图像静默或将其关闭。WSMS 6和/或安全眼镜的手势输入和对应功能可存储在地标数据48A、安全数据储存库48B和/或工人数据储存库48C中的任一者中。
视场分析器40A可被配置为连续标识安全眼镜14的视场。例如,视场分析器40A可连续确定工人10正在行走或移动通过工作环境8B时的视场。以此方式,WSMS 6可连续生成和更新经由安全眼镜14实时或近实时地提供给工人10的指示图像、AR显示或其它信息。
信息处理器40B确定与由视场分析器40A确定的视场相关的信息。例如,如本文所述,信息处理器40B可确定潜在危险、安全事件、工人10的存在、机器或设备状态、PPE信息、位置信息、指令、任务列表或与视场相关的其它信息。例如,信息处理器40B可确定视场内的潜在危险和安全事件。
信息处理器40B可从安全数据储存库48B和/或工人数据储存库48C读取此类信息。例如,安全数据储存库48B可包括与以下项相关的数据:所记载的安全事件、所感测的环境条件、工人指示的危险、机器或设备状态、紧急出口信息、安全导航路径、正确的PPE使用指令、PPE制品的使用寿命或条件、地平线或地平面指示、边界、隐藏结构信息等。工人数据储存库48C可包括工人10的标识信息、工人10所需的PPE、各种工作环境8所需的PPE、工人10已受过培训以使用的PPE制品、与工人10的一个或多个PPE制品的各种尺寸有关的信息、工人的位置、工人10已沿循的路径、工人10所输入的手势或注释、工人10的机器或设备培训、工人10的位置限制、特定工人10的任务列表、工人10的PPE合规性信息、工人10的生理信息、工人10的运动等。在一些示例中,信息处理器40B可被配置为确定视场内信息的严重程度、排序或优先级。
信息处理器40B可进一步创建、更新和/或删除存储在安全数据储存库48B和/或工人数据储存库48C中的信息。例如,信息处理器40B可在工人10经历针对一个或多个PPE制品的培训之后更新工人数据储存库48C,或者如果工人10关于一个或多个PPE制品的培训已过期,则信息处理器40B可删除工人数据储存库48C中的信息。作为另一个示例,信息处理器40B可在分别检测到或推断出安全事件时更新或删除安全数据储存库48B中的安全事件。在其它示例中,由于附加或另选的原因,信息处理器40B可创建、更新和/或删除存储在安全数据储存库48B和/或工人数据储存库48C中的信息。
此外,在一些示例中,诸如在图2的示例中,安全管理人员可初始配置与关于视场的信息有关的一个或多个规则。同样,远程用户24可在计算装置18处提供一个或多个用户输入,该一个或多个用户输入配置与视场和/或工作环境8B相关的一组规则。例如,安全管理人员的计算装置32可发送定义或指定特定工作职能、特定环境8、特定工人10A等所需的该一个或多个PPE制品的消息。作为另一个示例,安全管理人员的计算装置32可发送定义或指定何时应将某些信息确定为与视场有关的消息。例如,消息可定义或指定工人10离安全事件或潜在危险的距离阈值,在距离阈值中安全事件或潜在危险变得与视场相关。此类消息可包括用于选择或创建规则的条件和动作的数据。作为又另一个示例,安全管理人员的计算装置32可发送定义或指定与视场相关的不同类型信息的严重程度、排序或优先级的消息。WSMS 6可在接口层36处接收消息,该接口层将消息转发到信息处理器40B,该信息处理器可另外被配置为提供用户界面,以指定规则的条件和动作,接收、组织、存储和更新包括在安全数据储存库48B和/或工人数据储存库48C中的规则诸如与各种情况下的视场相关的规则。
在一些示例中,存储规则可包括将规则与上下文数据相关联,使得信息处理器40B可执行查找以选择与匹配上下文数据相关联的规则。上下文数据可包括描述或表征工人、工人环境、个人防护设备的制品或任何其他实体的特性或操作的任何数据。在一些示例中,可基于由视场分析器40A标识的视场来确定上下文数据(或上下文数据的一部分)。工人的上下文数据可包括但不限于:工人的唯一标识符、工人的类型、工人的角色、工人的生理或生物特征、工人的经验、工人的培训、工人在特定时间间隔内工作的时间、工人的位置或描述或表征工人的任何其他数据。PPE制品的上下文数据可包括但不限于:PPE制品的唯一标识符;个人防护设备制品的个人防护设备的类型;个人防护设备制品在特定时间间隔内的使用时间;个人防护设备的使用寿命;个人防护设备制品内所包括的部件;个人防护设备制品在多名用户之中的使用历史;由个人防护设备检测到的污染物、危险或其他物理状况,个人防护设备制品的有效期限;个人防护设备的制品的操作度量;个人防护设备的尺寸;或描述或表征个人防护设备制品的任何其他数据。工作环境的上下文数据可包括但不限于:工作环境的位置、工作环境的边界或周边、工作环境的区域、工作环境中的危险、工作环境的物理条件、工作环境的许可、工作环境内的设备、工作环境的所有者、负责工作环境的主管和/或安全管理人员;或描述或表征工作环境的任何其它数据。
一般来讲,指示图像生成器40C操作来控制安全眼镜14的AR显示13对增强AR信息的显示。在一个示例中,指示图像生成器40C生成如信息处理器40B所确定的与有关于视场的信息相关的一个或多个指示图像(覆盖图像数据),并将覆盖图像传送到安全眼镜14。在其它示例中,指示图像生成器40C传送致使安全眼镜14在AR显示的区域上本地呈现AR元素的命令。作为一个示例性具体实施,指示图像生成器40C在安全眼镜14内安装和维护数据库(例如,下文所述的AR显示数据48D的全部或一部分的复制品),并且输出为待呈现的每个AR元素指定标识符和像素位置的命令。响应于命令,安全眼镜14生成用于经由AR显示13向工人展示增强AR信息的图像数据。
作为示例,一个或多个指示图像可包括符号(例如,危险标志、复选标记、X、感叹号、箭头或另一个符号)、列表、通知或警示、信息框、状态指示、路径、排序或严重程度指示、轮廓、水平线、指令框等。在任何情况下,指示图像可被配置为将工人的注意力引导到视场或视场的一部分内的对象或提供关于该对象的信息。例如,指示图像可被配置为突出显示安全事件、潜在危险、安全路径、紧急出口、机器或设备件、PPE制品、工人的PPE合规性或如本文所述的任何其它信息。
指示图像生成器40C可从AR显示数据储存库48D读取信息以生成指示图像或以其它方式生成用于致使指示图像显示的命令。例如,AR显示数据储存库48D可包括先前存储的指示图像,这些指示图像可理解为在本文也称为AR元素的图形元素,并且可存储与每个图形元素相关联的唯一标识符。因此,指示图像生成器40C可能够从AR显示数据储存库48D访问先前存储的指示图像,这可使得指示图像生成器40C能够使用先前存储的指示图像和/或通过修改先前存储的指示图像来生成一个或多个指示图像。附加地或另选地,指示图像生成器40C可呈现一个或多个新的指示图像,而不是使用或修改先前存储的指示图像。
在一些示例中,指示图像生成器40C还可生成或致使生成动画或动态的指示图像。例如,指示图像生成器40C可生成闪烁、变色、移动或以其它方式动画或动态的指示图像。在一些情况下,待由指示图像指示的信息的排序、优先级或严重程度可考虑为指示图像生成的因素。例如,如果信息处理器40B确定视场内的第一安全事件比视场内的第二安全事件更严重,则指示图像生成器40C可生成第一指示图像,该第一指示图像被配置为与第二安全事件的指示图像相比将更多的注意力吸引到第一安全事件(例如,与静态指示图像相比闪烁的指示图像)。
指示图像生成器40C可进一步创建、更新和/或删除存储在AR显示数据储存库48D中的信息。例如,指示图像生成器40C可更新AR显示数据储存库48D以包括一个或多个所呈现或所修改的指示图像。在其它示例中,指示图像生成器40C可创建、更新和/或删除存储在AR显示数据储存库48D中的信息以包括附加和/或另选的信息。
在一些示例中,WSMS 6包括生成AR显示的AR显示生成器40D。如上所述,在其它示例中,AR显示中的全部或至少一部分AR显示可由安全眼镜14响应于来自WSMS 6的命令以类似于本文所述示例的方式在本地生成。在一些示例中,AR显示生成器40D生成至少包括由指示图像生成器40C生成的一个或多个指示图像的AR显示。例如,AR显示生成器40D可被配置为基于所确定的视场将一个或多个指示图像布置成使得一个或多个指示图像覆盖和/或遮蔽视场的期望部分的配置。例如,AR显示生成器40D可生成包括特定位置中的安全事件的指示图像的AR显示,使得指示图像在经由安全眼镜14展示给工人10时覆盖在视场内的安全事件上。附加地或另选地,AR显示生成器40D可遮蔽视场的一部分。
在一些示例中,AR显示生成器40D可生成(或致使本地生成)多个AR显示以用于视场。在一些此类情况下,工人10可能够与AR显示中的一个或多个AR显示进行交互。例如,AR显示生成器40D可生成指示视场中的工人未正确配备有PPE的AR显示,并且工人10可能够与(例如,如通过安全眼镜14看到的)AR显示进行交互以请求关于工人未正确配备有PPE的附加信息。例如,工人10可能够在视场中完成手势,该手势导致经由安全眼镜14展示第二AR显示。第二显示可包括信息框作为指示图像以在视场中提供关于工人的不正确或缺失PPE的细节。因此,AR显示生成器40D可生成包括表明工人未正确配备有PPE的指示图像的第一AR显示和包括与工人的PPE相关的附加信息的第二AR显示两者。作为另一个示例,AR显示生成器40D可生成包括任务列表的第一AR显示以及包括如工人在视场内的手势所指示的那样标记出的任务的一个或多个附加AR显示。
在一些情况下,AR显示生成器40D可使用存储在AR显示数据储存库48D中的信息来生成AR显示(或致使安全眼镜14本地生成AR显示)。例如,AR显示生成器40D可针对如视场分析器40A所确定的类似或相同的视场使用或修改AR显示的所存储布置。此外,AR显示生成器40D可进一步创建、更新和/或删除存储在AR显示数据储存库48D中的信息。例如,AR显示生成器40D可更新AR显示数据储存库48D以包括单独的或包括视场的一部分的一个或多个指示图像的所布置显示。在其它示例中,AR显示生成器40D可创建、更新和/或删除存储在AR显示数据储存库48D中的信息以包括附加和/或另选的信息。
AR显示生成器40D可将所生成的AR显示发送到安全眼镜14以供展示。例如,AR显示生成器40D可发送包括待覆盖在通过安全眼镜14看到的视场上的一个或多个指示图像的布置的AR显示。作为另一个示例,AR显示生成器40D可发送包括所布置的指示图像和视场的至少一部分两者的所生成的AR显示。
在一些示例中,解析服务40F对来自PPE、视场、所标识的相关信息、所生成的AR显示等的数据流进行深度处理。这种深度处理可使得解析服务40F能够确定工人10的PPE合规性、安全事件或潜在危险的存在,更准确地标识视场,更准确地标识工人的手势,标识工人偏好等。
作为一个示例,PPE和/或工作环境的其它部件可配有电子传感器,这些电子传感器生成有关PPE的状态或操作、工作环境的区域内的环境条件等的数据流。解析服务40F可被配置为诸如通过根据一个或多个解析模型48E处理PPE数据流来检测数据流中的条件。基于由解析服务40F检测到的条件和/或在特定工作环境中报告的或以其它方式检测到的条件,解析服务40F可更新AR显示数据48D以包括指示,这些指示待基于与个体相关联的增强现实显示装置的特定位置和取向实时或伪实时地显示给工作环境内的个体(例如,工人或安全管理人员)。以此方式,可响应于对来自PPE和与特定工作环境共处一地的其它传感器的数据流的解析处理,以实时闭环方式控制经由安全眼镜14显示的AR信息。
在一些情况下,解析服务40F实时执行深度处理以提供实时警示和/或报告。以此方式,解析服务40F可被配置为主动工人安全管理系统,该主动工人安全管理系统在工人10的PPE不合规、安全事件或潜在危险等的情况下向安全管理人员、主管等提供实时警示和报告。这可使得安全管理人员和/或主管能够进行干预,使得工人10不会由于缺乏PPE合规性、安全事件或潜在危险等而处于受伤害、受伤、健康并发症或它们的组合的风险中。
此外,解析服务40F可包括决策支持系统,该决策支持系统提供用于处理数据以生成统计、结论和/或建议形式的断言的技术。例如,解析服务40F可应用存储在模型储存库48E中的历史数据和/或模型来确定由视场分析器40A确定的视场、由信息处理器40B确定的相关信息、由视场分析器40A确定的手势和/或由AR显示生成器40D生成的AR显示的准确度。在一些此类示例中,解析服务40F可计算与由视场分析器40A确定的视场的准确度、由信息处理器40B确定的相关信息、由视场分析器40A确定的手势和/或由AR显示生成器40D生成的AR显示的准确度相关的置信水平。作为一个示例,在工作环境8B的照明条件可能被降低的情况下,由解析服务40F针对所标识的视场计算的置信水平可能低于在照明条件未被降低时计算的置信水平。在一些情况下,如果所计算的置信水平小于或等于阈值置信水平,则通知服务40E可(例如,经由安全眼镜)展示警示以向工人10通知视场验证的结果可能不完全准确。因此,解析服务40F可维护或以其它方式使用一个或多个模型,该一个或多个模型提供对由视场分析器40A确定的视场、由信息处理器40B确定的相关信息、由视场分析器40A确定的手势和/或由AR显示生成器40D生成的AR显示的准确度的统计评估。在一个示例性方法中,此类模型存储在模型储存库48E中。
解析服务40F还可生成命令集、建议和质量措施。在一些示例中,解析服务40F可基于由WSMS 6存储的处理信息生成用户界面,以向客户端30中的任一个客户端提供可操作的信息。例如,解析服务40F可生成仪表板、警示通知、报告等以用于在客户端30中的任一个客户端处输出。此类信息可提供有关基线(“正常”)安全事件发生、PPE合规性、工人生产率等的各种见解。
此外,解析服务40F可使用深度处理来更准确地标识视场、与视场相关的相关信息、由工人输入的手势和/或用于AR显示的指示图像的布置。例如,尽管可使用其它技术,但解析服务40F可在深度处理数据时利用机器学习。也就是说,解析服务40F可包括通过应用机器学习生成的可执行代码以标识视场、与视场相关的相关信息、由工人输入的手势和/或用于AR显示的指示图像的布置、图像分析等。可执行代码可采取软件指令或规则集的形式,并且通常称为模型,该模型随后可应用于由WSMS 6生成或接收的数据,以用于检测类似模式,标识视场、与视场相关的相关信息、由工人输入的手势和/或用于AR显示的指示图像的布置,图像分析等。
在一些示例中,解析服务40F可生成针对每个工人10、针对特定工人群体10、针对特定工作环境8、针对特定视场、针对具体类型的安全事件或危险、针对机器和/或设备件、针对具体工作职能或针对它们的组合的单独模型,并且将这些模型存储在模型储存库48E中。解析服务40F可基于从安全眼镜14、通信集线器13、信标17、感测站21和/或WSMS 6的任何其它部件接收的数据来更新模型,并且可将所更新的模型存储在模型储存库48E中。解析服务40F还可基于所执行的统计分析诸如置信区间的计算来更新模型,并且可将所更新的模型存储在模型储存库48E中。
可用于生成模型的示例性机器学习技术可包括各种学习方式诸如监督学习、无监督学习和半监督学习。算法的示例性类型包括贝叶斯算法、聚类算法、决策树算法、正则化算法、回归算法、基于实例的算法、人工神经网络算法、深度学习算法、降维算法等。具体算法的各种示例包括贝叶斯线性回归、提升决策树回归和神经网络回归、反向传播神经网络、Apriori算法、K均值聚类、k-最近邻(kNN)、学习矢量量化(LVQ)、自我-组织地图(SOM)、局部加权学习(LWL)、岭回归、最小绝对收缩和选择算子(LASSO)、弹性网络、最小角度回归(LARS)、主成分分析(PCA)和/或主成分回归(PCR)。
记载管理和报告服务40G处理并且对经由接口层36从计算装置32接收到的消息和查询作出响应。例如,记载管理和报告服务40G可从客户端计算装置32接收对与个体工人、工人群体或样本集和/或环境8相关的数据的请求。作为响应,记载管理和报告服务40G基于请求来访问信息。在检索数据时,记载管理和报告服务40G构建对初始请求信息的客户端应用程序的输出响应。在一些示例中,数据可包括在文档中,诸如HTML文档,或者数据可以JSON格式进行编码,或由在请求客户端计算装置上执行的仪表板应用程序展示。
作为附加的示例,记载管理和报告服务40G可接收查找、分析和关联随时间推移的信息的请求。例如,记载管理和报告服务40G可从客户端应用程序接收对以下项的查询请求:安全事件、潜在危险、工人输入的手势、PPE合规性、机器状态或本文所述的在历史时间范围内存储在数据储存库48中的任何其它信息,使得用户可在一时间段内查看信息并且/或者计算装置可在该时间段内分析信息。
在一些示例中,服务40还可包括安全服务40H,该安全服务使用WSMS 6对用户和请求进行认证和授权。具体地,安全服务40H可接收来自客户端应用程序和/或其它服务40的认证请求,以访问数据层46中的数据并且/或者执行应用层38中的处理。认证请求可包括凭据诸如用户名和密码。安全服务40H可查询工人数据储存库48C以确定用户名和密码组合是否有效。工人数据储存库48C可包括为授权凭据、策略和用于控制对WSMS 6的访问的任何其它信息的形式的安全数据。工人数据储存库48C可包括授权凭据,诸如WSMS 6的授权用户的有效用户名和密码的组合。其它凭据可包括允许访问WSMS 6的装置标识符或装置配置文件。
安全服务40H可针对在WSMS 6处执行的操作提供审计和记录功能。例如,安全服务40H可记录由服务40执行的操作和/或数据层46中由服务40访问的数据。安全服务40H可将审计信息诸如所记录的操作、所访问的数据和规则处理结果存储在审计数据储存库48F中。在一些示例中,响应于满足一个或多个规则,安全服务40H可生成事件。安全服务40H可将指示这些事件的数据存储在审计数据储存库48F中。
尽管在本文中通常被描述为存储在数据储存库48中的图像、视频、手势、地标或本文所述的任何其它存储的信息,但在一些示例中,数据储存库48可附加地或另选地包括表示此类图像、视频、手势、地标或本文所述的任何其它存储的信息的数据。作为一个示例,除了先前存储的指示图像或AR显示本身之外或作为其另外一种选择,可存储表示先前存储的指示图像和/或AR显示的编码列表、矢量等。在一些示例中,与实际图像、视频、手势、地标或其它信息的存储相比,表示图像、视频、手势、地标或本文所述的任何其它存储的信息的此类数据可更简单地存储、评估、组织、分类等。
一般来讲,虽然本文所述的某些技术或功能由某些部件或模块执行,但应当理解,本公开的技术不受这种方式限制。也就是说,本文所述的某些技术可由所述系统的部件或模块中的一个或多个来执行。有关哪些部件负责执行技术的确定可基于例如处理成本、财务成本、功率消耗等。
一般来讲,虽然本文所述的某些技术或功能由某些部件(例如,WSMS 6、安全眼镜14或通信集线器13)执行,但是应当理解,本公开的技术不受这种方式限制。也就是说,本文所述的某些技术可由所描述系统的部件中的一个或多个来执行。例如,在一些实例中,安全眼镜14可具有相对有限的传感器组和/或处理能力。在此类实例中,通信集线器13中的一个通信集线器和/或WSMS 6可负责处理数据、标识视场和相关信息中的大部分或全部。在其它示例中,安全眼镜14和/或通信集线器13可具有附加传感器、附加处理能力和/或附加存储器,从而允许安全眼镜14和/或通信集线器13执行附加技术。在其它示例中,系统2的其它部件可被配置为执行本文所述的技术中的任一种技术。例如,其它PPE制品、安全站15、信标17、感测站21、通信集线器、移动装置、另一个计算装置等可附加地或另选地执行本公开的技术中的一种或多种技术。有关哪些部件负责执行技术的确定可基于例如处理成本、财务成本、功率消耗等。
图3是示出根据本公开的各种技术的被配置为展示工作环境的视场的AR显示的示例性增强现实显示装置49的框图。图3所示的AR显示装置49的架构仅出于示例性目的示出,并且AR显示装置49不应限于此架构。在其它示例中,AR显示装置49可以多种方式配置。在一些示例中,AR显示装置49可包括诸如图1的安全眼镜14的安全眼镜、焊接面罩、面护罩或另一个PPE制品。
如图3的示例所示,AR显示装置49包括一个或多个处理器50、一个或多个用户界面(UI)装置52、一个或多个通信单元54、相机56和一个或多个存储器单元58。AR显示装置49的存储器58包括可由处理器50执行的操作系统60、UI模块62、遥测模块64和AR单元66。AR显示装置49的部件、单元或模块中的每一者使用用于部件间通信的通信信道(物理地、通信地和/或操作地)耦接。在一些示例中,通信信道可包括系统总线、网络连接、进程间通信数据结构或用于传送数据的任何其它方法。
在一个示例中,处理器50可包括被配置为实现功能和/或处理用于在AR显示装置49内执行的指令的一个或多个处理器。例如,处理器50可能够处理由存储器58存储的指令。处理器50可包括例如微处理器、DSP、ASIC、FPGA、或等效的离散或集成逻辑电路或任何前述装置或电路的组合。
存储器58可被配置为在操作期间将信息存储在AR显示装置49内。存储器58可包括计算机可读存储介质或计算机可读存储装置。在一些示例中,存储器58包括短期存储器或长期存储器中的一者或多者。存储器58可包括例如RAM、DRAM、SRAM、磁盘、光盘、闪存存储器、或EPROM或EEPROM的形式。在一些示例中,存储器58用于存储用于由处理器50执行的程序指令。存储器58可由在AR显示装置49(例如,AR单元66)上运行的软件或应用程序使用,以在程序执行期间暂时存储信息。
AR显示装置49可利用通信单元54经由一个或多个网络或经由无线信号与其它系统(例如,图1的WSMS 6)进行通信。通信模块54可以是网络接口诸如以太网接口、光收发器、射频(RF)收发器或可发送和接收信息的任何其它类型的装置。接口的其它示例可包括Wi-Fi、NFC或无线电。
UI装置52可被配置为作为输入装置和输出装置两者来操作。例如,UI装置52可被配置为接收来自AR显示装置49的用户的触觉、音频或视觉输入。除了接收来自用户的输入之外,UI装置52可被配置为使用触觉、音频或视频刺激来向用户提供输出。例如,UI装置52可包括被配置为展示如本文所述的AR显示的显示器。显示器可布置在AR显示装置49上,使得AR显示装置49的用户通过显示器观看以看到视场。因此,显示器可以是至少部分透明的。显示器还可与用户的眼睛对准,诸如例如作为一副安全眼镜(例如,图1的安全眼镜14)的透镜(或其一部分)。UI装置52的其它示例包括用于检测来自用户的命令的任何其它类型的装置、声卡、视频图形适配器卡、或用于将信号转化为人类或机器可理解的适当的形式的任何其它类型的装置。
相机56可被配置为捕获用户通过AR显示装置49所看到的视场的图像、视频馈送或两者。在一些示例中,相机56可被配置为连续捕获图像和/或视频馈送,使得AR显示装置49可实时或近实时地生成AR显示。在一些情况下,相机56或附加相机或传感器可被配置为跟踪或标识用户眼睛的方向。例如,相机56或附加相机可被配置为捕获表示用户通过AR显示装置49可能正在观看的地方的图像、视频或信息。尽管在本文中被描述为相机56,但在其它示例中,相机56可包括能够检测AR显示装置49的视场的任何传感器。
操作系统60控制AR显示装置49的部件的操作。例如,在一个示例中,操作系统60促进UI模块62、遥测模块64和AR单元66与处理器50、UI装置52、通信单元54、相机56和存储器58的通信。UI模块62、遥测模块64和AR单元66可各自包括存储在存储器58中的可由处理器50执行的程序指令和/或数据。例如,AR单元66可包括致使AR显示装置49执行本文所述的技术中的一种或多种技术的指令。
UI模块62可以是被配置为与一个或多个UI装置52交互的软件和/或硬件。例如,UI模块62可生成音频或触觉输出诸如语音或触觉输出,以通过一个或多个UI装置52传输给用户。在一些示例中,UI模块62可在从UI装置52中的一个UI装置接收到输入之后处理输入,或者UI模块62可在将输出发送到UI装置52中的一个UI装置之前处理输出。
遥测模块62可以是被配置为与一个或多个通信单元54交互的软件和/或硬件。遥测模块62可生成和/或处理使用通信单元54发送或接收的数据分组。在一些示例中,遥测模块64可在从通信单元54中的一个通信单元接收到一个或多个数据分组之后处理一个或多个数据分组。在其它示例中,遥测模块64可在经由通信单元54发送一个或多个数据分组之前生成一个或多个数据分组或处理一个或多个数据分组。
在图3所示的示例中,AR单元66包括视场标识单元68、视场信息单元70、指示图像生成单元72、AR显示生成单元74和AR数据库76。视场标识单元68可与图2的视场分析器40A相同或基本上相同;视场信息单元70可与图2的信息处理器40B相同或基本上相同;指示图像生成单元72可与图2的指示图像生成器40C相同或基本上相同;AR显示生成单元74可与图2的AR显示生成器40D相同或基本上相同;并且AR数据库76可包括类似于图2的任何一个或多个数据储存库48的内容。因此,本文将不再重复视场标识单元68、视场信息单元70、指示图像生成单元72、AR显示生成单元74和AR数据库76的功能的描述。在一些示例中,如上所述,视场标识单元68可使用一个或多个加速度计、来自相机56的图像数据、GPS传感器或它们的组合来应用定位以确定位置和取向,并且可将信息传送到WSMS 6。
AR显示装置49可包括为清楚起见在图3中未示出的附加部件。例如,AR显示装置49可包括用于向AR显示装置49的部件提供电力的电池。类似地,在AR显示装置49的每个示例中,图3所示的AR显示装置49的部件可以不是必需的。例如,在一些情况下,WSMS 6、通信集线器13、移动装置、另一个计算装置等可执行归属于AR单元66的一些或所有技术,并且因此,在一些此类示例中,AR显示装置49可不包括AR单元66。
图4是示出根据本公开的各种技术的经由AR显示装置49展示的示例性AR显示80的概念图,该示例性AR显示包括如通过AR显示装置49看到的视场82和指明安全事件86和潜在危险88的指示图像84a、84b。工人10可在工作环境(例如,图1的工作环境8B)内并且正穿戴包括AR显示装置49的一个或多个PPE制品。在一些示例中,AR显示装置49可包括诸如图1的安全眼镜14的安全眼镜、焊接面罩、面护罩或另一个PPE制品。
工人10可通过AR显示装置49看到工作环境8B的特定视场82。例如,在图4所示的示例中,视场82包括气瓶和叉车。在一些示例中,诸如气瓶和叉车的对象可用于标识视场82(例如,通过图2的WSMS 6的视场分析器40A)。在一些示例中,视场82可包括工人10看到的真实工作环境8B的内容(例如,不包括任何增强或计算机生成的指示图像84a、84b)。在其它示例中,一个或多个指示图像84a、84b可被认为是视场82的一部分。
AR显示80包括视场82和指示图像84a、84b。在图4的示例中,AR显示80被配置为使用指示图像84a、84b将工人10的注意力吸引到安全事件(例如,气体泄漏)86和潜在危险(例如,移动叉车)88两者。指示图像84a、84b可以是增强或以其它方式计算机生成的图像(例如,由WSMS6的指示图像生成器40C生成)并且可覆盖在视场82上。以此方式,指示图像84a、84b可吸引工人10的注意力或者向工人10通知视场82内的安全事件86和潜在危险88的实际位置。继而,工人10可能够主动避免安全事件86和潜在危险88以防止伤害或损伤他自己或她自己。在一些示例中,指示图像84a、84b可用于将工人10的注意力吸引到视场82内的噪声相关、呼吸相关、热相关、声音水平相关、坠落相关和/或眼睛相关的危险或安全事件。
在一些情况下,指示图像84a、84b可向工人10警示原本工人10可能未意识到的视场82内的安全事件86和/或危险88。例如,包括气体泄漏的安全事件86在一些情况下可以是无色和无气味气体的气体泄漏。因此,在一些此类情况下,工人10可能未认识到气体泄漏的存在并且可能接近视场82内的该区域,这可导致健康并发症和/或损伤。然而,在使用被配置为展示AR显示80的AR显示装置49的情况下,即使气体泄漏包括无色和无气味气体,也可向工人10通知安全事件86。
指示图像84a、84b在图4中被示出为危险符号。在其它示例中,指示图像84a、84b可以是多种符号、形状或其它指示图像。此外,在一些示例中,指示图像84a、84b可以是彼此不同的符号、形状、颜色等。例如,在一些示例中,可基于安全事件86和/或危险88的排序、优先级和/或严重程度来展示指示图像84a、84b。例如,在图4的示例中,安全事件86可能已被指明为具有比潜在危险88更严重的事件。因此,指示图像84a可被配置为指示较高的相对严重程度。例如,指示图像84a可以是红色的、相对大的且闪烁的,而指示图像84b可以是黄色的、相对小的且静态的。以此方式,工人10可能够快速辨识AR显示80内的所指示的安全事件86和潜在危险88的相对严重程度、优先级和/或排序。在一些情况下,可基于上下文数据诸如关于图2描述的上下文数据来确定此类相对严重程度、优先级和/或排序。作为一个示例,可基于附近工人、工作环境8B内的其它危险、工人10或其他工人的生命体征、一个或多个PPE制品的状态或它们的组合来确定相对严重程度、优先级和/或排序。
在一些示例中,AR显示装置49(或另一个部件,诸如WSMS 6)可被配置为确定工人10正在观看的地方。例如,AR显示装置49可被配置为确定工人的眼睛是否定向于安全事件86或潜在危险88中的至少一者。在一些情况下,如果工人10未观看安全事件86或潜在危险88中的至少一者,则AR显示装置49可输出一个或多个附加或另选的图像指示84a、84b。例如,如果工人10正在观看视场82的底部而不是安全事件86或潜在危险88中的至少一者,则AR显示80可在视场82的底部处展示另一个指示图像,从而警示工人10以将注意力集中于安全事件86或潜在危险88。作为另一个示例,AR显示80可展示可更具捕获性的不同指示图像84a、84b,诸如更明亮着色的指示图像84a、84b、动画指示图像84a、84b、更大的指示图像84a、84b等。继而,工人的眼睛可朝向安全事件86或潜在危险88定向,这可防止工人10意外地与安全事件86或潜在危险88接触。
图5是示出根据本公开的各种技术的经由AR显示装置49展示的另一个示例性AR显示90的概念图,该示例性AR显示包括如通过AR显示装置49看到的视场92和指明工人96a-96c的PPE合规性的指示图像94a-94c。在图5的示例中,工人10可以是使用AR显示90来确定信息诸如视场92内的工人96a-96c的PPE合规性信息的主管或安全管理人员。在一些示例中,AR显示装置49可包括诸如图1的安全眼镜14的安全眼镜、焊接面罩、面护罩或另一个PPE制品。
在视场92中,看到三个工人96a-96c。AR显示90包括视场92内的每个工人96a-96c和与相应工人96a-96c的PPE合规性相关的指示图像94a-94c。例如,工人96a和96b各自具有指示正确PPE合规性(例如,复选标记)的指示图像94a和94b,并且工人96c具有指示PPE不合规(例如,X标记)的指示图像94c。以此方式,AR显示90使得工人10能够快速且容易地确定工人96a-96c是否符合PPE法规。在一个或多个工人不符合PPE法规诸如图5的示例中的工人96c的情况下,工人10可能够进行干预,使得工人96c在工作环境内受到适当保护。
在一些示例中,工人96a-96c的PPE合规性的确定可基于如本文所述的规则和/或上下文数据。例如,PPE合规性可使用诸如环境信息、工作环境内的机器或设备、工人96a-96c的培训、工人96a-96c的工作职能、工人96a-96c的运动信息、工人96a-96c的生理信息等信息来确定。
在一些情况下,工人10可能够使用AR显示90来获得与工人96a-96c或视场92的其它部分相关的附加信息。例如,工人10可能够使用视场92内工人96a-96c附近的手势输入和/或指示图像94a-94c来展示附加信息。在图5的示例中,工人10可能已经使用视场92内的手势输入打开包括与工人96c相关的附加信息的信息框98。将关于6A至图6B更详细地描述AR显示装置49的视场内的手势输入的示例。
信息框98可包括多种信息。作为一个示例,信息框98包括与工人96c的PPE不合规相关的信息。例如,信息框98包括表明工人96c缺失手套(例如,PPE制品)的指示图像102。信息框98还包括指示工人96c的PPE制品的剩余使用寿命的指示图像100。以此方式,除了工人96a-96c的PPE不合规之外或作为其另外一种选择,AR显示90可指示PPE的使用寿命、维护要求、损坏、诊断信息等。在图5的示例中,指示图像100可表明一个或多个PPE制品可能需要维护、可能到达使用寿命的结束、可能损坏等。因此,由于工人96a的PPE不符合(例如,缺失手套)和/或由于如指示图像100所指示的对一个或多个PPE制品的潜在减少的保护,可存在针对工人96c的否定指示图像94c。
附加地或另选地,AR显示90的一个或多个指示图像可指示工人是否已经对一件或多件PPE物品执行适当检视,自回缩生命线(SRL)效果指示(例如,使用机器视觉确定的)是否可见,工人96a-96c是否经过适当培训以使用一个或多个PPE制品,工人96a-96c是否有资格使用指派给工人96a-96c的各种机械件、一个或多个PPE制品,可提供关于工人96a-96c的众包数据,提供关于工人96a-96c的统计信息(例如,总计、最小值、最大值、平均值、中值、标准偏差等),比较工人96a-96c(例如,与彼此、较大的工人群体、统计信息等比较)等。
此外,指示图像94a-94c、98、100、102可以任何合适的形式展示。例如,使用寿命指示图像100在图5的示例中示出为状态条。在其它示例中,附加地或另选地,指示图像100可在AR显示90中展示为百分比、着色图像指示或任何其它合适的指示图像。在一些情况下,除了单独展示与工人96a-96c的PPE相关的信息之外或作为其另外一种选择,AR显示90还可被配置为指示与工人10自身的PPE的使用寿命、PPE状态、PPE合规性等相关的信息。
在一些示例中,AR显示装置49(或WSMS 6)可与一个或多个附加PPE制品通信。例如,AR显示装置49(或WSMS 6)可通信地耦接到耳罩、头盔或可能够向工人10输出可听信息的另一个PPE制品。在一些此类情况下,AR显示90中所包括的信息也可使用可听输出(例如,经由耳罩或头盔)展示给工人10。作为另一个示例,AR显示装置49(或WSMS6)可通信地耦接到包括麦克风或另一个输入装置的PPE制品。在一些此类示例中,麦克风或其它输入装置可能够确定关于声音危险的信息,生成声音地图,展示表示声音水平的指示图像,指示声源等,并且经由AR显示90展示此类信息。在一些示例中,此类信息可帮助确定视场92内的工人96a-96c是否能够听到工人10。附加地或另选地,机器视觉、GPS和/或位置信息等可用于帮助确定工人96a-96c是否能够听到工人10。此类信息可经由AR显示90展示。
图6A是示出根据本公开的各种技术的工人10正在执行手势输入124的又另一个AR显示120a的概念图。图6B是示出根据本公开的各种技术的在已经使用手势输入124将多个指示图像108放置在视场122b内之后的示例性AR显示120b的概念图。在一些示例中,AR显示装置49可包括诸如图1的安全眼镜14的安全眼镜、焊接面罩、面护罩或另一个PPE制品。在一些示例中,AR显示120a、120b可以是交互式的,并且使得工人10能够使用手势输入、语音输入或其它输入来对AR显示120a、120b进行注释,向其添加指示图像或以其它方式添加附加或另选的信息。
在图6A的示例中,工人10可看到视场122a中未指示的安全危险126(例如,气体泄漏)。例如,在图6a的视场122a中,安全危险126不包括用于向工人10警示潜在危险情况的指示图像或任何其它信息。AR显示120a可使得工人10能够使用手势输入来添加指示图像以向其他工人和/或WSMS 6警示安全事件126。手势输入可包括由工人10作出的任何类型的手势。例如,特定的手和/或手指配置、不同长度的手势、工人10的两只手的交互、工人10的手和/或手指的移动等可用于指明特定手势输入。在图6A的示例中,工人10正在视场122a内的安全事件126附近使用伸出手指手势124。
AR显示120b可以是AR显示装置49在工人10进行手势输入124之后展示的AR显示。例如,图6A所示的伸出手指手势124可导致包括危险符号的指示图像128a放置在安全事件126附近。工人10可能已经输入附加手势添加指示图像128b和128c,以提供有关安全事件126的附加警示。例如,指示图像128b包括工人10使用手势输入绘制的边界,并且指示图像128c包括工人10使用手势输入写入的注释。添加到显示120b的指示图像128a-128c可传送到WSPS 6以用于存储、分析、报告生成等。因此,WSPS 6可能够生成具有通过工人10的输入手势124提供给WSPS 6的指示图像128a-128c的后续AR显示诸如用于除工人10之外的工人的AR显示,这些指示图像包括视场内的安全事件126。附加地或另选地,工人10可能够将所添加的信息或指示图像128a-128c共享或推送到工作环境内的其他工人。例如,信息或指示图像128a-128c可作为通知展示在其他工人的AR显示装置49的AR显示上。
类似于本文所述的其它指示图像,WSPS 6、工人10、另一个工人、传感器、信标等可能够添加与安全事件126相关的附加信息。例如,指示图像128a可能够使用手势输入来选择,该手势输入可打开信息框或以其它方式经由AR显示120b提供来自WSPS 6、工人10、另一个工人、传感器、信标等的附加或另选信息。
尽管关于安全事件124进行了描述,但手势输入可能够用于宽泛范围的场景或者执行多种不同的功能。例如,手势输入可用于打开图5的信息框98。此外,手势输入可用于添加与总体视场、另一个工人、机器、潜在危险、PPE制品等相关的附加或另选的信息。此外,工人10使用手势输入124添加的信息可包括任何合适的信息,诸如例如安全事件或潜在危险的存在、关于指示图像或视场122a、122b的一部分的注解、严重程度、优先级和/或排序、是否需要检视、对先前添加的信息或指示图像的更新、状态等。
在一些情况下,手势输入可用于配置AR显示装置49的一个或多个用户设置。例如,工人10可执行手势输入124以使AR显示120b上的指示图像128a-128c静默,仅展示某些指示图像128a-128c,调整指示图像的颜色、尺寸、动画或其它参数等。在一些此类情况下,一个或多个设置可能无法由工人10修改。例如,工人10可能无法使与视场内或离工人10一定距离内的当前安全事件相关的指示图像静默。
除了手势输入124之外或作为其另一种选择,工人10可能够使用除手势输入之外的输入将信息添加到AR显示120a、120b。例如,语音输入诸如语音到文本输入可用于将信息添加到AR显示120a、120b。在其它示例中,可使用其它输入方法。
图7是示出根据本公开的各种技术的经由AR显示装置49展示的又另一个示例性AR显示130的概念图,该示例性AR显示包括如通过AR显示装置49看到的视场132和提供与机器134相关的信息的指示图像136、138。在图7的示例中,机器134包括叉车。在其它示例中,机器134可包括不同类型的机器和/或多个机器。在一些示例中,AR显示装置49可包括诸如图1的安全眼镜14的安全眼镜、焊接面罩、面护罩或另一个PPE制品。
AR显示130可包括被配置为提供与机器134相关的信息的指示图像136。例如,指示图像136包括机器134的状态(例如,“机器关闭”)以及接近机器134是否安全(例如,“接近是安全的”)。在一些示例中,除了单独关于机器134的信息之外,指示图像134可基于上下文数据。例如,工人10是否被允许进入工作环境的机器134所位于的区域中、工人10是否受过培训以使用机器134、工人10是否配备有正确PPE以操作机器134、在机器134附近是否存在任何安全事件或潜在危险、与除机器134之外的机器相关的信息、工作环境内其他工人的信息或任何其它信息可用于生成指示图像136。
附加地或另选地,AR显示130可展示包括工人10的任务列表的指示图像138。例如,工人10可使用机器134来完成如指示图像138所展示的多个任务。指示图像138还可使得工人10能够在任务完成时诸如通过使用手势输入核对任务。因此,包括任务列表的指示图像138可帮助使工人10保持生产率且继续进行任务,帮助防止工人10不能完成一个或多个任务,并且允许工人10跟踪完成的任务。
在一些示例中,针对PPE合规性,包括任务列表的指示图像可用于进入工作环境或工作环境的区域等。例如,被安排在坠落风险环境或密闭空间环境中工作的工人可必须在进入特定环境之前在包括所需PPE列表的指示图像上核对特定环境所需的每个PPE制品。在其它示例中,包括任务列表、所需PPE列表或任何其它类型的列表的指示图像可基于不同的规则集诸如由主管或安全管理人员定义的规则集。
图8是示出根据本公开的各种技术的经由AR显示装置49展示的又另一个示例性AR显示140的概念图,该示例性AR显示包括如通过AR显示装置49看到的视场142和指明通过视场142的路径的指示图像144、146。在一些示例中,AR显示装置49可包括诸如图1的安全眼镜14的安全眼镜、焊接面罩、面护罩或另一个PPE制品。
在一些示例中,AR显示140可被配置为指明通过视场142的一个或多个路径。作为一个示例,图8的指示图像144指明通过视场142朝向紧急出口148的路径。以此方式,在紧急情况下,工人10可能够沿循指示图像144所示的路径,该路径提供到紧急出口148的安全路径。在一些情况下,示出到紧急出口148的路径的指示图像144可在紧急情况期间推送到工作环境内的工人的AR显示装置49,以帮助工人安全地离开工作环境。指示图像144通常还可向工人10通知视场142或工作环境内的一个或多个紧急出口148的位置。
作为另一个示例,指示图像146可指明另一个工人150的路径。在一些示例中,工人10可跟随工人150,并且指示图像146可提供示出工人150正在行走的“面包屑”路径。在一些情况下,AR显示140可展示工人150的身份标识、工人150正行走的方向、离工人150的距离、到目的地的距离、离视场142内的一个或多个对象的距离等。在其它示例中,类似于指示图像146的其他工人150的所示路径可帮助工人10沿循通过视场142的相对安全的路径。例如,工人150可在整个工作环境中保持在所指明的路径内,或者指示图像146本身可仅突出显示被确定为安全的路径。
图9是示出根据本公开的各种技术的经由AR显示装置49展示的又另一个示例性AR显示160的概念图,该示例性AR显示包括如通过AR显示装置49看到的视场162和被配置为提供关于视场162的低可见度或不可见方面的附加信息的指示图像166、172以及被配置为遮蔽视场162的一部分的指示图像174。在一些示例中,AR显示装置49可包括诸如图1的安全眼镜14的安全眼镜、焊接面罩、面护罩或另一个PPE制品。
在一些示例中,工人10可能无法看到视场162的可有助于工人10看到的一个或多个部分。例如,断路器箱164可以是不透明的,并且因此,工人10在不打开断路器箱164的情况下可能不知道其后面是什么。在一些情况下,AR显示160可展示示出“x射线视觉”的指示图像166,该指示图像可包括关于视场162的工人10不能立即访问或工人10不能看到的一个或多个部分诸如断路器箱164的细节。以此方式,AR显示160可使得工人10能够在打开断路器箱164以查看其内容物是什么之前确定是否需要将其打开。附加地或另选地,指示图像可指示墙壁、设备件、面板、防护物等后面的内容物。被配置为提供关于不透明对象的附加信息的指示图像166可包括图像、示意图(例如,如图9所示),或者以其它方式向工人10提供附加细节。
指示图像还可被配置为提供指令、序列信息,指示应该采取的动作等。例如,AR显示160可展示指导工人10需要将锁168解锁以打开断路器箱164的指示图像。与锁168相关的指示图像可附加地或另选地提供关于将锁168解锁所要采取的动作序列、在何处找到锁168的钥匙等的信息。作为一个示例,指示图像可指明锁168需要解锁,然后一旦解锁,AR显示160可展示将工人10引导到待脱扣以打开断路器箱164的扣钩(未示出)的另一个指示图像。在一些此类示例中,指示图像可包括编号的步骤。例如,将锁168解锁可指示为步骤编号1,将扣钩脱扣可指示为步骤编号2,并且打开断路器箱164可指示为步骤编号3。当工人10移动通过相应步骤时,可经由AR显示60动态地显示此类编号的步骤。
在一些示例中,AR显示160可被配置为在低可见度情况期间帮助工人10获得关于他或她的周围环境的见解。例如,如果烟雾170、粉尘、雾、低照度或另一种低可见度情况存在于视场162内,则AR显示160可展示原本工人10可能无法看到的在烟雾170后面的其他工人172、机器、墙壁、门、窗户、潜在危险诸如高热区域等的指示图像。在一些情况下,指示图像172可基于如本文所述的上下文数据。此外,在一些示例中,AR显示160可使用指示图像来显示上下文数据中的至少一些。例如,AR显示160可展示注解低可见度情况的环境条件、工人172的健康信息等的指示图像。
除了提供关于视场162的低可见度或不可见方面的附加信息之外或作为其另一种选择,指示图像174可被配置为遮蔽视场162的一部分。在一些示例中,视场162的一部分可被认为使人分心(例如,运动、其他工人、对象等),并且AR显示160可包括用于从视场162遮蔽、遮挡和/或移除视场162的使人分心的部分的指示图像174。以此方式,指示图像174可帮助工人10聚焦于特定任务,防止(例如,由于工人10分心造成的)安全事件,提高工人10的生产率或它们的组合。
作为另一示例,指示图像可向坠落防护环境中的工人展示有帮助的信息。例如,工人可能正在倾斜或成角度的表面上执行任务,并且可能相对于工作环境的真地平线迷失方向。在一些此类示例中,AR显示可被配置为通过AR显示装置49展示指明工作环境相对于工人的视场的真地平线的指示图像。继而,工人在倾斜或成角度的表面上工作时可能够更好地相对于工作环境的真地平线保持取向。
此外,坠落防护环境中的工人可配备有一个或多个坠落防护设备制品。在一些此类示例中,配备有坠落防护用具的工人的AR显示可在工人的视场内展示示出附接到坠落防护用具的锚定点的一个或多个指示图像。
在一些示例中,在视场内,工人可能正在使用工具。在一些此类示例中,AR显示可被配置为提供使用指令,确定工人是否受过培训以使用工具,确定工人是否配备有正确的PPE以使用工具,确定工人在使用工具时是否正在使用安全姿势等。作为一个示例,在视场中,工人可能正在用一只手使用电动工具。AR显示(或WSPS 6)可确定工人正在使用不安全的姿势(例如,应当用双手握住电动工具)。在一些示例中,上下文数据诸如机器视觉、传感器、来自其他工人的输入或本文所述的任何其它上下文数据可用于确定工人是否正在正确地使用工具。然后,AR显示可展示指导工人正确姿势的一个或多个指示图像。例如,AR显示可在电动工具上展示第二只手的轮廓的指示图像、箭头和/或引导工人纠正他或她的姿势的注释或信息框。
作为如本文所述的在PPE制品上使用AR显示的附加示例,AR显示可能够标识成套PPE并且确定库存内是否存在所有成套PPE。例如,在一些情况下,由被配置为展示AR显示的一副安全眼镜捕获的视场以及上下文数据(例如,机器视觉、RFID信息、接近检测等)可用于确定本应归还到指明区域的所有成套PPE是否都已归还。例如,主管或安全管理人员可能够环视指明区域诸如具有用于多个工人的成套PPE的设备锁柜,以确定是否存在用于工人的所有成套PPE。如果一套或多套PPE不存在,则AR显示可展示指示哪些成套PPE缺失的指示图像。针对该示例的指示图像可包括陈述例如“10套PPE中的9套已归还”或“Bob Smith的一套PPE缺失”的文本或信息。以此方式,主管或安全管理人员可能够确定使用该套PPE的工人是否也失踪、该套PPE是否已经被盗等。
在一些示例中,本文所述的制品、系统和技术可用于帮助减轻用户(例如,工人)的疼痛。例如,在一些情况下,经受疼痛的工人可使用根据本公开的技术的AR显示或虚拟现实(VR)显示来帮助缓解疼痛。在一些示例中,AR或VR显示可能够基于客观疼痛测量进行调整。以此方式,AR或VR显示可适用于特定工人,确定显示的参数在减轻特定工人、工人群体、具有一定损伤或疼痛类型的工人等的疼痛方面有效。作为一个示例,当查看冰雪世界、水下世界等的AR或VR显示时,经受烧伤疼痛的工人可感觉到疼痛的缓解。
在一些情况下,可测量来自工人的客观生理测量以计算疼痛评分,该疼痛评分可用于确定展示给工人的AR或VR显示的有效性。目标生理测量可包括皮肤温度、皮肤电反应、皮质醇水平、肌肉张力、血压、心率、脑电图测量、呼吸深度、呼吸频率和/或瞳孔扩张。此类客观生理测量可使用红外温度计、电容测量、血液测试、抓持压力、心率监测器、血压监测器、脑电图、二氧化碳排出、胸部测量、相机图像或视频或任何其它测量技术中的一者或多者来测量。在一些示例中,测量可加时间戳。可周期性地或连续地进行测量。
在一些示例中,当进行客观生理测量以确定哪些参数比其它参数相对更有效时,可调整AR或VR显示的一个或多个参数。例如,可随时间推移来调整显示的一个或多个参数,并且可针对每个参数或参数组合来计算疼痛评分。疼痛评分可包括工人的客观生理测量的线性或非线性组合。
在一些情况下,疼痛评分可基于客观生理测量和进行测量的时间戳。例如,时间戳可用于基于工人疼痛和一个或多个客观生理测量中指示的对疼痛的反应之间的关系对客观生理测量结果进行时移。在一些示例中,疼痛评分还可基于工人的主观提问(例如,工人自己对疼痛的确定)。可将疼痛评分与基线值、群体平均值、患者特定平均值等进行比较,以确定哪些参数或参数组合在减轻疼痛方面比其它参数更有效。
在一些示例中,参数变化的定时和与工人的疼痛反应相关的主观生理测量可用于确定参数对客观生理测量的影响的时间不确定性,这可帮助通过实验确定疼痛减轻效果的时间进程以及特定参数或客观生理测量是工人所经受的疼痛的超前指标还是滞后指标。在一些情况下,参数可跨不同试验系统性地变化以确定对客观生理测量的影响的量值何时存在偏差。此类影响可由参数间的交互作用和/或先前参数的效果的衰减引起。在一些示例中,当以此方式建立时间进程时,一旦已知时间进程具有高置信度(例如,95%置信区间),则结果也可用于将特定参数与对疼痛缓解的相应效果相关联。例如,引导参数变化以隔离时间效应(包括在跨多个试验保持AR或VR显示的某些方面稳定的同时使参数组合变化和/或使特定参数引入之间的持续时间变化)的算法可用于确定各种AR或VR显示的特定疼痛缓解效果。
AR或VR显示的参数可包括所显示的总体环境类型(例如,冰雪世界或水下世界)和/或环境类型内的特定参数(例如,冰雪世界中是否正在下雪、环境中是否存在动物或人、环境内动物或人的特定动作等)。在一些示例中,参数可基于约束随机化和/或加权随机化来选择,其中特定参数对疼痛缓解可具有更大效果的可能性可基于历史数据、置信区间等来确定。在一些示例中,参数可被定义为多维空间中的点,其中每个维度对应于参数的特征,诸如参数的定时、所展示的参数的次序等。这种多维分析可使得疼痛评分能够反映单个参数或参数组合的疼痛减轻效果。
在一些情况下,参数也可以是交互式的(例如,类似于关于图6A和图6B所述的手势输入)。例如,AR或VR显示可展示为游戏、蜂鸣器、平台、模拟、运动、乐队播放环境等。在一些此类示例中,变化的参数可包括交互式环境内的挑战或任务、评分标准、难度水平、控制方案或它们的组合。
在一些情况下,与AR或VR显示的疼痛缓解效果相关的信息(例如,参数或参数组合)然后可用于诸如基于特定参数或参数的组合将对疼痛缓解有效的可能性来驱动针对疼痛缓解的未来AR或VR显示。在一些示例中,疼痛缓解信息可用于将AR或VR显示的特定参数与特定类型的疼痛缓解诸如烧伤治疗期间的疼痛缓解相关联。
本文所述的示例中的任一个示例可能够单独地或组合地用于AR显示中。此外,尽管关于AR显示装置49进行了描述,但是可使用附加或另选的PPE制品或其它AR装置来展示AR显示。例如,根据本公开的技术,可使用安全眼镜(例如,图1的安全眼镜14)、面护罩(例如,电动空气净化呼吸器(PAPR)的面护罩)、焊接面罩或任何其它PPE制品。此外,PPE制品(例如,安全眼镜14和/或AR显示装置49)中的任一者、WSMS6、单独的AR显示装置、通信集线器13、安全站15、基于云的平台或服务器、环境装置、移动装置或任何其它计算装置可用于执行本文所述的技术中的一种或多种技术,存储本文所述的任何数据或信息或两者。
在一些示例中,如上所述,上下文数据可与本公开的技术一起使用。此类上下文数据可包括但不限于:关于危险或安全事件的信息(例如,类型、严重程度、数量等)、一个或多个工人(例如,位置、运动、生理、培训、经验、PPE合规性记载等)、环境(例如,位置、类型、尺寸、风险水平、危险水平等)、机器或对象(例如,类型、机器操作、状态、所需培训等)、PPE制品(例如,类型、使用寿命、培训要求、检视历史等)、它们的组合或本文所述的任何其它上下文数据。
图10是示出根据本公开的各种技术的在AR显示装置上展示AR显示的示例性技术的流程图。将关于图2的工人安全管理系统的操作透视图来描述图10的技术。然而,在其它示例中,可使用其它系统来执行图10的技术。
安全眼镜14(或另一个AR显示装置,诸如图3的AR显示装置)可捕获工作环境(例如,图1的工作环境8B)内的工人10的视场(180)。例如,安全眼镜14上的相机或另一个传感器可被配置为捕获表示工人10的视场的图像、视频或其它信息。然后,安全眼镜14、通信集线器13或另一个客户端装置30可将表示所捕获的视场的信息发送到WSMS 6。WSMS6可接收表示视场的信息(182)。
然后,视场分析器40A可基于从安全眼镜14或另一个客户端装置30接收的表示视场的信息来标识视场(184)。例如,视场分析器40A可接收表示视场的图像、视频或其它信息,并且可读取存储在地标数据储存库48A中用于标识视场的信息。除此之外或作为另外一种选择,视场分析器40A可使用其它信息诸如工人10的位置、工作环境8B内工人10被安排工作所处的作业场地、其它PPE制品的感测数据、视场内的标签或标识信息等来标识工人10的视场。
图10的技术还包括信息处理器40B确定与视场相关的信息(186)。例如,处理器40B可确定潜在危险、安全事件、工人10的存在、机器或设备状态、PPE信息、位置信息、指令、任务列表或与视场相关的其它信息。在一些示例中,信息处理器40B可从安全数据储存库48B和/或工人数据储存库48C读取与视场相关的此类信息。例如,安全数据储存库48B可包括与以下项相关的数据:所记载的安全事件、所感测的环境条件、工人指示的危险、机器或设备状态、紧急出口信息、安全导航路径、正确的PPE使用指令、PPE制品的使用寿命或条件、地平线或地平面指示、边界、隐藏结构信息等,并且工人数据储存库48C可包括工人10的标识信息、工人10所需的PPE、各种工作环境8所需的PPE、工人10已受过培训以使用的PPE制品、与工人10的一个或多个PPE制品的各种尺寸有关的信息、工人的位置、工人10已沿循的路径、工人10所输入的手势或注释、工人10的机器或设备培训、工人10的位置限制、特定工人10的任务列表、工人10的合规性信息、工人10的生理信息、工人10的运动等。
基于与视场相关的信息诸如来自安全数据储存库48B和/或工人数据储存库48C的信息,信息处理器40B可确定是否存要经由安全眼镜14的AR显示向工人10指示的任何安全事件、危险、工人信息、环境信息、机器信息、PPE信息等(188)。如果信息处理器40B确定存在要经由安全眼镜14的AR显示向工人10指示的关于视场的相关信息(框188的是分支),则指示图像生成器40C可生成与有关于视场的信息相关的一个或多个指示图像(或用于构建图像的命令)(190)。例如,指示图像生成器40C可生成符号、列表、通知或警示、信息框、状态指示、路径、排序或严重程度指示、轮廓、水平线、指令框等。指示图像生成器40C可通过使用先前存储的指示图像(例如,存储在AR显示数据储存库48D中的指示图像)、修改先前存储的指示图像和/或呈现新的指示图像来生成一个或多个指示图像。
AR显示生成器40D然后可生成AR显示以用于经由安全眼镜14展示,并且/或者可输出命令以致使安全眼镜构建图像(192)。AR显示生成器40D可生成至少包括一个或多个指示图像的AR显示。例如,AR显示生成器40D可基于所确定的视场将一个或多个指示图像布置成使得一个或多个指示图像在经由安全眼镜14展示时覆盖和/或遮蔽视场的期望部分的配置。安全眼镜14可展示由AR显示生成器40D生成的AR显示(例如,至少包括一个或多个指示图像,诸如覆盖在视场上的一个或多个指示图像)(194)。
如果信息处理器40B确定不存在要经由安全眼镜14的AR显示向工人10指示的关于视场的相关信息(框188的否分支),则安全眼镜14可展示视场(196)。例如,安全眼镜14可在没有一个或多个指示图像的情况下展示如通过安全眼镜14看到的初始捕获的视场。
在一些示例中,当工人10穿戴安全眼镜14时,图10的技术可重复任何次数。例如,安全眼镜14捕获与第一视场不同的第二视场,视场分析器40A可标识第二视场,信息处理器40B可确定与第二视场相关的第二组信息,指示图像生成器40C可生成与所确定的第二视场的信息相关的第二组指示图像,并且AR显示生成器40D可生成至少包括第二组指示图像的第二AR显示。
应当理解,在不脱离所要求保护的本发明的实质和范围的情况下,本领域的技术人员可以容易地设计出许多不同的其他布置。例如,可使得全文描述的各种装置中的通信模块中的每一个能够作为更大网络的一部分进行通信或与其他装置进行通信以实现更智能的基础设施。由各种传感器收集的信息可与来自其他来源的信息(诸如通过工作空间的视频馈送或设备维护空间捕获的信息)组合。因此,在不脱离受权利要求书保护的本发明的精神和范围的情况下,可将附加的特征和部件添加到上述系统中的每个系统。
在优选实施方案的具体描述中参考了附图,这些附图示出了可实践本发明的具体实施方案。例示的实施方案并非旨在详尽列举根据本发明的所有实施方案。应当理解,在不脱离本发明范围的情况下,可利用其它实施方案,并且可进行结构性或逻辑性的改变。因此,不能认为以下的详细描述具有限制意义,并且本发明的范围由所附权利要求书限定。
除非另外指明,否则本说明书和权利要求书中所使用的表达特征尺寸、量和物理特性的所有数在所有情况下均应理解成由术语“约”修饰。因此,除非有相反的说明,否则在上述说明书和所附权利要求书中列出的数值参数均为近似值,这些近似值可根据本领域的技术人员利用本文所公开的教导内容来寻求获得的期望特性而变化。
除非内容另外明确指明,否则如本说明书和所附权利要求书中所使用的,单数形式“一个/种”和“所述”涵盖了具有多个指代物的实施方案。除非内容另外明确指明,否则如本说明书和所附权利要求书中使用的,术语“或”一般以其包括“和/或”的意义采用。
若在本文使用空间相关的术语,包括但不限于“近侧”、“远侧”、“下部”、“上部”、“下方”、“下面”、“上面”、和“在顶部上”,则用于方便描述一个或多个元件相对于另一个元件的空间关系。除了附图中描绘和本文所述的特定取向外,此类空间相关的术语涵盖装置在使用或操作时的不同取向。例如,如果图中所描绘的对象翻转或倒转,则先前描述为在其他元件下面或下方的部分就应当在这些其他元件上面或在其顶部上。
如本文所用,例如当元件、部件或层被描述为与另一元件、部件或层形成“一致界面”,或在“其上”、“连接到其”、“与其耦接”、“堆叠在其上”或“与其接触”,则可为直接在其上、直接连接到其、直接与其耦接、直接堆叠在其上或直接与其接触,或者例如居间的元件、部件或层可在特定元件、部件或层上,或连接到其、耦接到其或与其接触。例如,当元件、部件或层例如被称为“直接在”另一元件“上”、“直接连接到”另一元件、“直接与”另一元件“耦接”或“直接与”另一元件“接触”时,不存在居间的元件、部件或层。可在多种计算机装置中实施本公开的技术,该计算机装置为诸如服务器、膝上型计算机、台式计算机、笔记本电脑、平板计算机、手持式计算机、智能电话等。任何部件、模块或单元均被描述来强调功能方面,并且不一定需要由不同的硬件单元来实现。本文所述的技术还可在硬件、软件、固件、或他们的任何组合中实施。作为模块、单元或部件描述的任何特征可一起实施在集成式逻辑装置中或者可作为分立但彼此协作的逻辑装置来独立实施。在一些情况下,可将各种特征实施为集成电路装置,诸如集成电路芯片或芯片组。另外,尽管本说明书通篇描述了多种不同的模块,其中许多模块执行唯一的功能,但可将所有模块的所有功能组合到单个模块中,或者进一步拆分到其他附加的模块中。本文所述的模块仅是示例性的,并且被如此描述的目的是为了更容易理解。
如果在软件中实施,那么该技术可至少部分地通过包括下述指令的计算机可读介质来实现,该指令当在处理器中执行时执行上文所述方法中的一种或多种。计算机可读介质可包括有形计算机可读存储介质并且可形成计算机程序产品的一部分,计算机程序产品可包括包装材料。计算机可读存储介质可包括随机访问存储器(RAM)诸如同步动态随机访问存储器(SDRAM)、只读存储器(ROM)、非易失性随机访问存储器(NVRAM)、电可擦可编程的只读存储器(EEPROM)、闪速(FLASH)存储器、磁性或光学的数据存储介质等。计算机可读存储介质还可包括非易失性存储装置,诸如硬盘、磁带、光盘(CD)、数字多用光盘(DVD)、蓝光光盘、全息数据存储介质或其他非易失性存储装置。
如本文所用的术语“处理器”可指适用于实施本文所述的技术的前述结构中的任一者或任何其他结构。此外,在一些方面,本文所述的功能可提供在被配置为用于执行本公开的技术的专用软件模块或硬件模块内。即使在软件中实施,该技术也可使用用于执行软件的硬件例如处理器、以及用于存储软件的存储器。在任何此类情况下,本文所述的计算机可定义能够执行本文所述的特定功能的特定机器。另外,该技术可在也可被视为处理器的一个或多个电路或逻辑元件中全面实施。
在一个或多个示例中,所述的功能可以硬件、软件、固件或它们的任何组合来实现。如果以软件实现,则这些功能可作为一个或多个指令或代码存储在计算机可读介质上或经由计算机可读介质传输,且由基于硬件的处理单元执行。计算机可读介质可包括计算机可读存储介质,其对应于诸如数据存储介质的有形介质,或通信介质,其包括例如根据通信协议促进将计算机程序从一处传送到另一处的任何介质。以该方式,计算机可读介质通常可对应于(1)非暂态的有形计算机可读存储介质或(2)通信介质,诸如如信号或载波。数据存储介质可为可由一个或多个计算机或一个或多个处理器访问以检索用于实现本公开中所描述的技术的指令、代码和/或数据结构的任何可用介质。计算机程序产品可包括计算机可读介质。
作为示例而非限制,此类计算机可读存储介质可包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储、磁盘存储或其他磁存储装置、闪存或者可用来以指令或数据结构的形式存储期望的程序代码并且可由计算机访问的任何其他介质。而且,任何连接均被适当地称为计算机可读介质。例如,如果使用同轴电缆、光纤电缆、双绞线、数字用户线(DSL)或无线技术如红外线、无线电和微波从网站、服务器或其他远程源传输指令,则同轴电缆、光纤电缆、双绞线、DSL或无线技术如红外线、无线电和微波包括在介质的定义中。然而,应当理解,计算机可读存储介质和数据存储介质不包括连接、载波、信号或其他暂态介质,而是针对非暂态的有形存储介质。所使用的磁盘和光盘包括压缩盘(CD)、激光光盘、光学盘、数字多功能光盘(DVD)、软盘和蓝光光盘,其中磁盘通常以磁的方式再现数据,而光盘通过激光以光学方式再现数据。上述的组合也应当包括在计算机可读介质的范围内。
指令可由一个或多个处理器诸如一个或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其他等效集成或离散逻辑电路执行。因此,所使用的术语“处理器”可指任何前述结构或适用于实现所描述的技术的任何其他结构。此外,在一些方面,所描述的功能性可在专用硬件和/或软件模块内提供。而且,这些技术可完全在一个或多个电路或逻辑单元中实现。
本公开的技术可在包括无线手持机、集成电路(IC)或一组IC(例如,芯片集)的各种各样的装置或设备中实现。各种部件、模块或单元在本公开中进行了描述以强调被配置为执行所公开的技术的装置的功能方面,但是不一定需要通过不同的硬件单元来实现。相反,如上所述,各种单元组合可在硬件单元中组合或者通过包括如上所述的一个或多个处理器的互操作硬件单元的集合,结合合适的软件和/或固件来提供。
应当认识到,根据该示例,本文所述方法中的任一种的某些动作或事件可以不同的顺序实行,可一起添加、合并或省去(例如,不是所有所描述动作或事件对于方法的实践都是必需的)。此外,在某些示例中,动作或事件可例如通过多线程处理、中断处理或多个处理器同时而不是顺序地执行。
在一些示例中,计算机可读存储介质包括非暂态介质。在一些示例中,术语“非暂态”指示存储介质没有在载波或传播信号中体现。在某些示例中,非暂态存储介质存储可随时间改变的数据(例如,在RAM或高速缓存中)。
已描述了各种示例。这些示例以及其他示例均在如下权利要求书的范围内。
Claims (30)
1.一种系统,所述系统包括:
个人防护设备(PPE)制品,所述PPE制品被配置为向用户展示(AR)增强现实显示;和
至少一个计算装置,所述至少一个计算装置包括存储器和耦接到所述存储器的一个或多个处理器,其中所述存储器包括指令,所述指令在由所述一个或多个处理器执行时:
标识所述用户的视场;
确定与所述用户的所述视场相关的信息;
生成与所确定的所述视场的信息相关的一个或多个指示图像;以及
生成至少包括所述一个或多个指示图像的所述AR显示。
2.根据权利要求1所述的系统,其中所述存储器还包括指令,所述指令在由所述一个或多个处理器执行时:经由所述PPE制品展示至少包括所述一个或多个指示图像的所述AR显示。
3.根据权利要求1所述的系统,其中所述存储器还包括指令,所述指令在由所述一个或多个处理器执行时:从所述PPE制品接收表示所述用户的所述视场的信息,并且其中所述视场是基于所接收的表示所述视场的信息来标识的。
4.根据权利要求1所述的系统,其中确定与所述用户的所述视场相关的所述信息包括确定与以下项相关的信息中的至少一者:安全事件、潜在危险、另一个工人、PPE制品、机器、所述视场的不可见部分、路径或任务。
5.根据权利要求1所述的系统,其中确定与所述用户的所述视场相关的所述信息包括基于所标识的视场和与所述视场相关的上下文数据来确定所述信息。
6.根据权利要求1所述的系统,其中所述一个或多个指示图像包括以下项中的至少一者:符号、列表、通知、信息框、状态指示、路径、排序或严重程度指示、轮廓、水平线或指令框。
7.根据权利要求1所述的系统,其中所述存储器还包括指令,所述指令在由所述一个或多个处理器执行时:
接收由所述用户在所述视场内作出的手势输入,并且
标识所述手势输入。
8.根据权利要求7所述的系统,其中所述存储器还包括指令,所述指令在由所述一个或多个处理器执行时:基于所标识的手势输入来生成一个或多个指示图像。
9.根据权利要求8所述的系统,其中被配置为展示所述AR显示的所述PPE制品包括第一PPE制品,所述用户包括第一用户,并且所述AR显示包括第一AR显示,并且其中所述存储器还包括指令,所述指令在由所述一个或多个处理器执行时:经由被配置为向第二用户展示第二AR显示的第二PPE制品展示所述第二AR显示,所述第二AR显示包括基于所标识的所述第一用户的手势输入生成的所述一个或多个指示图像。
10.根据权利要求1所述的系统,其中所述视场包括第一视场,与所述视场相关的所述信息包括第一组信息,所述一个或多个指示图像包括第一组指示图像,并且所述AR显示包括第一AR显示,并且其中所述存储器还包括指令,所述指令在由所述一个或多个处理器执行时:
标识所述用户的第二视场,其中所述第二视场不同于所述第一视场;
确定与所述用户的所述第二视场相关的第二组信息;
生成与所确定的所述第二视场的信息相关的第二组指示图像;以及
生成至少包括所述第二组指示图像的第二AR显示。
11.根据权利要求1所述的系统,其中所述AR显示被配置为将所述一个或多个指示图像覆盖在所述视场之上。
12.根据权利要求1所述的系统,其中所述PPE制品包括以下项中的至少一者:安全眼镜、焊接面罩、面护罩或被配置为显示所述用户正在其中查看的工作环境的增强现实显示的另一个PPE制品。
13.一种方法,所述方法包括:
标识用户的视场;
确定与所述用户的所述视场相关的信息;
生成与所确定的所述视场的信息相关的一个或多个指示图像;以及
生成至少包括所述一个或多个指示图像的增强现实(AR)显示。
14.根据权利要求13所述的方法,所述方法还包括:展示至少包括所述一个或多个指示图像的所述AR显示。
15.根据权利要求14所述的方法,其中所述AR显示经由个人防护设备(PPE)制品来展示,并且其中所述PPE制品包括以下项中的至少一者:安全眼镜、焊接面罩、面护罩或被配置为显示所述用户正在其中查看的工作环境的增强现实显示的另一个PPE制品。
16.根据权利要求13所述的方法,所述方法还包括:接收表示所述用户的所述视场的信息,并且其中标识所述用户的所述视场包括基于所接收的表示所述视场的信息来标识所述用户的所述视场。
17.根据权利要求13所述的方法,其中确定与所述用户的所述视场相关的所述信息包括确定与以下项相关的信息中的至少一者:安全事件、潜在危险、另一个工人、PPE制品、机器、所述视场的不可见部分、路径或任务。
18.根据权利要求13所述的方法,其中确定与所述用户的所述视场相关的所述信息包括基于所标识的视场和与所述视场相关的上下文数据来确定所述信息。
19.根据权利要求13所述的方法,其中生成所述一个或多个指示图像包括生成以下项中的至少一者:符号、列表、通知、信息框、状态指示、路径、排序或严重程度指示、轮廓、水平线或指令框。
20.根据权利要求13所述的方法,所述方法还包括:
接收由所述用户作出的手势输入,以及
标识所述手势输入。
21.根据权利要求20所述的方法,所述方法还包括:基于所标识的手势输入来生成一个或多个指示图像。
22.根据权利要求21所述的方法,其中所述用户包括第一用户,并且所述AR显示包括第一AR显示,所述方法还包括向第二用户展示第二AR显示,其中所述第二AR显示包括基于所标识的所述第一用户的手势输入生成的所述一个或多个指示图像。
23.根据权利要求13所述的方法,其中所述视场包括第一视场,与所述视场相关的所述信息包括第一组信息,所述一个或多个指示图像包括第一组指示图像,并且所述AR显示包括第一AR显示,并且其中所述方法还包括:
标识所述用户的第二视场,其中所述第二视场不同于所述第一视场;
确定与所述用户的所述第二视场相关的第二组信息;
生成与所确定的所述第二视场的信息相关的第二组指示图像;以及
生成至少包括所述第二组指示图像的第二AR显示。
24.根据权利要求13所述的方法,其中生成所述AR显示包括生成包括被配置为覆盖在所述视场上的所述一个或多个指示图像的所述AR显示。
25.一种个人防护设备(PPE)制品,所述PPE制品包括:
相机,所述相机被配置为捕获所述PPE制品的用户的视场;
显示器,所述显示器被配置为向所述用户展示增强现实(AR)显示;以及
通信地耦接到所述相机的至少一个计算装置,所述至少一个计算装置包括存储器和耦接到所述存储器的一个或多个处理器,其中所述存储器包括指令,所述指令在由所述一个或多个处理器执行时:
经由所述相机,捕获表示所述用户的所述视场的信息;
接收一个或多个指示图像,其中所述一个或多个指示图像与关于所捕获的视场的信息相关;以及
经由所述显示器,展示至少包括所述一个或多个指示图像的所述AR显示。
26.根据权利要求25所述的PPE制品,其中展示至少包括所述一个或多个指示图像的所述AR显示包括将所接收的一个或多个指示图像覆盖在所述视场上。
27.根据权利要求25所述的PPE制品,其中所述相机被进一步配置为捕获由所述用户在所述视场内作出的手势输入。
28.根据权利要求25所述的PPE制品,其中PPE制品包括以下项中的至少一者:安全眼镜、焊接面罩、面护罩或被配置为显示所述用户正在其中查看的工作环境的增强现实显示的另一个PPE制品。
29.一种计算装置,包括:
存储器;以及
耦接到所述存储器的一个或多个处理器,其中所述一个或多个处理器被配置为:
标识个人防护设备(PPE)制品的用户的视场;
确定与所述用户的所述视场相关的信息;
生成与所确定的所述视场的信息相关的一个或多个指示图像;以及
至少将所述一个或多个指示图像发送到所述PPE制品。
30.根据权利要求29所述的计算装置,其中所述计算装置被进一步配置为生成包括所述一个或多个指示图像的增强现实(AR)显示,并且其中至少将所述一个或多个指示图像发送到所述PPE制品包括将所述AR显示发送到所述PPE制品。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862666593P | 2018-05-03 | 2018-05-03 | |
US62/666,593 | 2018-05-03 | ||
PCT/IB2019/053558 WO2019211764A1 (en) | 2018-05-03 | 2019-05-01 | Personal protective equipment system with augmented reality for safety event detection and visualization |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112119396A true CN112119396A (zh) | 2020-12-22 |
Family
ID=66867583
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980029747.0A Withdrawn CN112119396A (zh) | 2018-05-03 | 2019-05-01 | 用于安全事件检测和可视化的具有增强现实的个人防护设备系统 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20210216773A1 (zh) |
EP (1) | EP3788542A1 (zh) |
CN (1) | CN112119396A (zh) |
WO (1) | WO2019211764A1 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115273296A (zh) * | 2021-04-30 | 2022-11-01 | 霍尼韦尔国际公司 | 用于进入相关安全确定的系统、方法和计算机程序产品 |
US20230068757A1 (en) * | 2020-02-18 | 2023-03-02 | Nec Platforms, Ltd. | Work rate measurement device and work rate measurement method |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019215524A1 (en) * | 2018-05-08 | 2019-11-14 | 3M Innovative Properties Company | Personal protective equipment and safety management system for comparative safety event assessment |
US20190355177A1 (en) * | 2018-05-15 | 2019-11-21 | Honeywell International Inc. | Building system maintenance using mixed reality |
US20210256865A1 (en) * | 2018-08-29 | 2021-08-19 | Panasonic Intellectual Property Management Co., Ltd. | Display system, server, display method, and device |
GB2583733A (en) * | 2019-05-07 | 2020-11-11 | Mafic Ltd | User activity determining system |
US11816757B1 (en) * | 2019-12-11 | 2023-11-14 | Meta Platforms Technologies, Llc | Device-side capture of data representative of an artificial reality environment |
EP3893096A1 (en) * | 2020-04-06 | 2021-10-13 | Siemens Aktiengesellschaft | Aligning and augmenting a partial subspace of a physical infrastructure with at least one information element |
US20220270196A1 (en) * | 2020-04-26 | 2022-08-25 | Loci, Inc. | System and method for creating and transmitting an incentivized or mandated serious game safety test to occupants or users of liable property in an organization |
WO2021224728A1 (en) * | 2020-05-07 | 2021-11-11 | 3M Innovative Properties Company | Systems and methods for personal protective equipment compliance |
US11423583B2 (en) * | 2020-07-06 | 2022-08-23 | International Business Machines Corporation | Augmented reality enabled handling and risk mitigation |
US11341830B2 (en) | 2020-08-06 | 2022-05-24 | Saudi Arabian Oil Company | Infrastructure construction digital integrated twin (ICDIT) |
US11594335B2 (en) * | 2020-12-02 | 2023-02-28 | Optum, Inc. | Augmented reality virus transmission risk detector |
JP2022100660A (ja) * | 2020-12-24 | 2022-07-06 | セイコーエプソン株式会社 | ロボットの制御プログラムを作成する処理をプロセッサーに実行させるコンピュータープログラム、並びに、ロボットの制御プログラムを作成する方法及びシステム |
AU2022219920A1 (en) * | 2021-02-10 | 2023-06-01 | Attache Holdings Llc | Personal protection equipment network (ppe-n) |
WO2022245612A1 (en) * | 2021-05-19 | 2022-11-24 | Snap Inc. | Eyewear experience hub for network resource optimization |
CN117795535A (zh) * | 2021-08-12 | 2024-03-29 | 伊顿智能动力有限公司 | 基于ppe合规性的控制场地安全操作的方法 |
US11688107B2 (en) * | 2021-09-22 | 2023-06-27 | Rockwell Automation Technologies, Inc. | Systems and methods for modifying context-based data provided for an industrial automation system |
US11651528B2 (en) * | 2021-09-22 | 2023-05-16 | Rockwell Automation Technologies, Inc. | Systems and methods for providing context-based data for an industrial automation system |
CN117980931A (zh) * | 2021-10-25 | 2024-05-03 | 通用电气基础设施技术有限责任公司 | 安全现场导航和智能工厂管理 |
US11577170B1 (en) * | 2022-05-09 | 2023-02-14 | Bh2 Innovations Inc. | Systems and methods for gamification of instrument inspection and maintenance |
JP2024042545A (ja) * | 2022-09-15 | 2024-03-28 | 株式会社日立製作所 | 作業支援システム、および作業支援方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9140571B2 (en) * | 2011-08-11 | 2015-09-22 | Denso Corporation | Display control apparatus |
US9269239B1 (en) * | 2014-09-22 | 2016-02-23 | Rockwell Collins, Inc. | Situational awareness system and method |
US20170270362A1 (en) * | 2016-03-18 | 2017-09-21 | Daqri, Llc | Responsive Augmented Content |
WO2018132804A1 (en) * | 2017-01-16 | 2018-07-19 | Lang Philipp K | Optical guidance for surgical, medical, and dental procedures |
-
2019
- 2019-05-01 EP EP19730924.8A patent/EP3788542A1/en not_active Withdrawn
- 2019-05-01 CN CN201980029747.0A patent/CN112119396A/zh not_active Withdrawn
- 2019-05-01 US US17/250,012 patent/US20210216773A1/en not_active Abandoned
- 2019-05-01 WO PCT/IB2019/053558 patent/WO2019211764A1/en active Application Filing
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20230068757A1 (en) * | 2020-02-18 | 2023-03-02 | Nec Platforms, Ltd. | Work rate measurement device and work rate measurement method |
CN115273296A (zh) * | 2021-04-30 | 2022-11-01 | 霍尼韦尔国际公司 | 用于进入相关安全确定的系统、方法和计算机程序产品 |
Also Published As
Publication number | Publication date |
---|---|
WO2019211764A1 (en) | 2019-11-07 |
EP3788542A1 (en) | 2021-03-10 |
US20210216773A1 (en) | 2021-07-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112119396A (zh) | 用于安全事件检测和可视化的具有增强现实的个人防护设备系统 | |
US11676468B2 (en) | Context-based programmable safety rules for personal protective equipment | |
US20210248505A1 (en) | Personal protective equipment system having analytics engine with integrated monitoring, alerting, and predictive safety event avoidance | |
US11694536B2 (en) | Self-check for personal protective equipment | |
JP6929309B2 (ja) | モニタリング、アラート生成、及び予測的安全イベント回避を統合した解析エンジンを有する個人用保護具システム | |
US20210343182A1 (en) | Virtual-reality-based personal protective equipment training system | |
US20210210202A1 (en) | Personal protective equipment safety system using contextual information from industrial control systems | |
US20210350312A1 (en) | Automatic personal protective equipment constraint management system | |
US11933453B2 (en) | Dynamically determining safety equipment for dynamically changing environments | |
US20210052427A1 (en) | Respirator device with light exposure detection | |
KR20210006434A (ko) | 비교 안전 이벤트 평가를 위한 개인 보호 장비 및 안전 관리 시스템 | |
US20220134147A1 (en) | Sensor-enabled wireless respirator fit-test system | |
CN113678148A (zh) | 针对个人防护设备的动态消息管理 | |
US20220134137A1 (en) | Sensor-enabled respirator fit-test system with context-based remedial recommendations |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20201222 |