CN114625241A - 增强现实强化的情境感知 - Google Patents

增强现实强化的情境感知 Download PDF

Info

Publication number
CN114625241A
CN114625241A CN202111434876.3A CN202111434876A CN114625241A CN 114625241 A CN114625241 A CN 114625241A CN 202111434876 A CN202111434876 A CN 202111434876A CN 114625241 A CN114625241 A CN 114625241A
Authority
CN
China
Prior art keywords
user
area
program instructions
computer
program
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202111434876.3A
Other languages
English (en)
Inventor
R.P.纳加
S.K.拉克什
M.S.索迪
R.吉恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of CN114625241A publication Critical patent/CN114625241A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/438—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/487—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/489—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Library & Information Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种用于增强用户对区域内的问题的情境感知的方法。该方法包括一个或多个计算机从与用户相关联的设备接收对应于区域的视觉信息。该方法还包括从区域内的一个或多个传感器的组接收数据，其中该区域包括多个物理元件。该方法还包括基于分析从传感器的组接收的数据，确定在该区域内存在第一问题以及在该区域中与该第一问题对应的第一物理元件。该方法还包括生成与该区域内存在的第一问题相关的增强现实(AR)内容。该方法还包括经由与用户相关联的设备在对应于该区域的视觉信息内显示所生成的与问题相关的AR内容。

Description

增强现实强化的情境感知
技术领域
本发明总体上涉及增强现实(AR)的领域，更特别地涉及基于从物联网传感器获得的信息生成AR内容。
背景技术
物联网(IoT)被定义为各种物理设备和日常对象通过因特网彼此连接的能力。嵌入有电子件、因特网连接、以及其它形式的硬件(诸如传感器)，IoT设备可以在因特网、无线网络、以及其它设备间通信方法之上与其他设备通信和交互，使得IoT设备可以提供信息并且被远程监控/控制。IoT设备可以包括人对设备通信。例如，用户利用移动设备上的应用来联系IoT设备以标识建筑物或场所内的服务和/或导航。此外，一个区域中的一些IoT设备(例如，边缘设备)可以从传感器获得数据并执行边缘计算分析并与区域中的其他IoT设备接合。
增强现实(AR)是具有由计算机生成的感觉输入增强(覆盖)的元件的物理真实世界环境的视图，所述感觉输入诸如图形信息、触觉事件、听觉和/或其他感觉效果。通常，增强几乎实时地并且在具有各种环境元件的语义上下文中发生。AR覆盖图可以将虚拟信息(例如，形状、颜色、文本、到信息的链接、计算机生成的图形等)集成在与物理世界内的特征相关联的图像或视频流内，和/或集成与物理世界内的特征相关联的图像或视频流相关联的虚拟信息。各种电子(例如，计算)设备可以包括AR能力及/或接收AR内容信息，诸如智能电话、智能眼镜、抬头显示器、平板计算机等。
发明内容
根据本发明的方面，提供了一种用于增强用户对区域内问题的情境感知的方法、计算机程序产品和/或系统。该方法包括至少一个计算机处理器从与用户相关联的设备接收对应于区域的视觉信息。该方法还包括至少一个计算机处理器从该区域内的一个或多个传感器的组接收数据，其中该区域包括多个物理元件。该方法还包括至少一个计算机处理器从该区域内的一个或多个传感器的组接收数据，其中该区域还包括多个物理元件。该方法包括至少一个计算机处理器基于分析从传感器的组接收的数据，确定在该区域内存在第一问题，并且确定在对应于该第一问题的区域中的第一物理元件。该方法包括至少一个计算机处理器生成与存在于该区域内的第一问题相关的增强现实(AR)内容。该方法包括至少一个计算机处理器经由用户的设备在对应于所述区域的视觉信息内显示所生成的与问题相关的AR内容。
附图说明
图1示出了根据本发明的实施例的网络化站点环境。
图2描绘了根据本发明的实施例的情境感知程序的步骤的流程图。
图3描绘了根据本发明的实施例的时间可视化程序的步骤的流程图。
图4是根据本发明的实施例的计算机的组件的框图。
具体实施方式
本发明的实施例认识到，在区域内存在(即，发生)的各种问题可以作为次要问题开始，并且个体可能经常忽略或延迟解决问题。本发明的实施例认识到，忽略或未解决的问题可能逐渐恶化并生成其它事件和/或危险，这些问题如果不改正的话可能最终造成灾难性的情况或事件。类似地，本发明的实施例认识到，如果一个个体仅对区域内的问题应用临时修复，则在稍后时机进入该区域的不同个体可能不知道问题未被完全改正并且不知不觉地将他们自身暴露于与问题相关联的危险或者执行可能使问题恶化的动作。
本发明的实施例认识到，在一些情况下，区域内的问题是不言而喻的，因为该问题生成一个或多个感觉分量(例如，视觉、振动、嗅觉和/或听觉元素)。在其它情况下，因为由于问题隐藏在物体、壳体或一件装备内而问题不可能经由各种感觉分量来检测，所以进入区域的个体无法知道问题。本发明的实施例认识到，利用自动获得的传感器数据并向个体提供传感器数据或传感器数据的分析更易于标识问题，而不是利用个体的观察技能和能力。
本发明的实施例提高了用户(例如，个体)注意到问题的概率，向用户通知与该问题相关联的潜在危险；记录问题如何被改正；或者确定该问题被修补或忽略。本发明的实施例利用从区域内的传感器获得的和/或包括在区域内的各种元件或装备内的数据来自动地检测和标识区域内的问题。本发明的实施例利用从区域的单元内和/或与区域相关联的各种传感器和/或IoT使能设备获得的分析和上下文信息，来判断问题是否存在和/或预测问题可能由于区域内的情况而在将来的某个时刻发生。条件可以包括增加磨损、腐蚀、应力装备的环境因素；施工进度；增加的业务量，诸如人、车辆和/或材料；等等，用于
本发明的一个方面利用用户的设备的增强现实(AR)能力，所述设备诸如AR头戴式耳麦、智能眼镜、移动电话等；为了将用户(即，个体)的注意力或焦点吸引到存在问题、存在危险或预测将来会发生问题的区域内的特定位置。本发明的实施例确定问题的类型，并且随后确定表示问题和/或与问题相关的危险的图像。本发明的实施例利用AR和计算机生成的图形来强化和/或放大与问题相关联的图像，并将强化的图像嵌入到用户的视场内。与问题相关联的图像在用户的设备的视场内移动，直到用户/设备面对问题的位置。如果本发明的实施方式检测到用户的注意力没有针对问题的位置，则本发明的实施例进一步修改AR内容以使得问题和问题的位置更明显和/或经由用户的设备发起其他动作。
本发明的另一个方面利用由用户输入的时间信息、与问题相关的信息、以及用户执行或选择实现以缓解或临时改正问题的动作来作为由一套分析程序利用的因素。本发明的实施例使用分析套件的输出和预测来指示自动计算机图形程序生成与预报相关的图像、虚拟现实(VR)渲染和/或动画序列以及/或者描绘问题的未来状态和/或问题所位于的区域的投影事件的延时序列。
已经出于说明的目的而呈现了与本发明相关的各种情形、实例和示例的描述，但是其并非旨在是穷举的或者限于所公开的实施例。
现在将参照附图详细描述本发明。图1是示出根据本发明的实施例的环境100的功能框图。在一个实施例中，环境100包括系统110、传感器125和用户设备130，它们都通过网络140互连。在实施例中，环境100包括由传感器125的相应实例监控的区域120的一个或多个实例。
系统110和用户设备130可以是膝上型计算机、平板计算机、个人计算机、台式计算机或本领域已知的任何可编程计算机系统。在某些实施例中，系统110和用户设备130表示利用集群计算机和组件(例如，数据库服务器计算机、应用服务器计算机等)的计算机系统，当通过网络140访问时，集群计算机和组件充当单个无缝资源池，这在数据中心中且与云计算应用一起是常见的。在一些实施例中，用户设备130可以是个人数字助理(PDA)、智能电话、可穿戴设备(例如，智能眼镜、智能手表、电子纺织品、AR头戴式耳麦等)。通常，系统110和用户设备130代表能够执行机器可读程序指令并经由网络140与传感器125通信的任何可编程电子设备或可编程电子设备的组合。根据本发明的实施例，系统110和用户设备130可以包括如关于图4进一步详细描绘和描述的组件。
系统110包括历史信息112、分析套件113、问题解决信息114、媒体内容语料库115、计算机图形套件116、时间可视化程序300、以及多个其它程序和数据(未示出)。系统110中包括的其它程序和数据的示例可以包括一个或多个数据库、网页浏览器；认知程序，诸如自然语言处理(NLP)程序、图像识别程序、语义查询程序、视频分析程序、音频识别程序等；位置映射/地理围栏程序；接近度阈值；触觉事件生成程序；区域120的实例的地图；修理供应品和工具的列表；在区域120的实例内执行的功能和/或操作；等等。
历史信息112包括与区域120的实例相应关联的多个信息，诸如与区域120内的元件相关的传感器数据和分析的日志、与区域120相关联的问题(例如，已解决的、未解决的、延迟的、修补的或部分修复的等)的状态日志、与先前问题相关的严重度描述和/或评级、与问题相关联的危险、警告消息等。在一个实施例中，历史信息112还包括与区域120的实例相应关联装备和装备位置的列表、设施示意图(例如，电气、管路、通风等)、传感器位置等。在一些实施例中，历史信息112还包括与区域120的元件相关联的操作值和/或设置，诸如与各种操作条件相关联的安培数、温度和噪声水平。在其他实施例中，历史信息112还可以包括与从其他网络可访问资源(诸如公司维护和安全数据库或监管机构)获得的多个其他问题、事件和相应危险相关的参考信息。
分析套件113包括利用来自传感器125的数据、历史信息112和/或问题解决信息114的多个分析程序。在一些场景中，分析套件113确定区域120内存在一个或多个问题以及是否可能存在相关的危险。在其他场景中，分析套件113基于各种因素确定与区域120内的问题相关联的未来状态。例如，与问题相关联的未来状态可以包括由问题生成或释放的一个或多个危险、触发另一个问题发生、将受问题影响的区域120的元件、受问题或危险影响的区域120内的区域的大小的改变、改正问题的成本、改正问题所需的技能和/或个人保护装备(PPE)、指示以补偿问题的调整的时间表等。各种因素可以包括时间范围、用户的一个或多个动作、用户动作的缺乏、问题是否同时存在于区域120内、与区域120相关联的一个问题是否影响(例如，交互、恶化)存在于区域120内的另一问题。
在一些实施例中，分析套件113还估计当前问题的严重度评级，并且可以基于时间和/或用户的一个或多个动作来推断问题的严重度评级的变化。另外，分析套件113可以基于时间和/或用户的一个或多个动作来确定与区域120内的问题相关联的危险和/或危险交互相关的改变。在各种实施例中，分析套件113还利用从系统110和/或用户设备130内包括的其它程序获得的信息，诸如图像识别程序、音频分析程序等。在一些实施例中，分析套件113可以利用历史信息112内的数据和来自传感器125的数据来预测区域120内的问题的未来发生的概率。
问题解决信息114包括与改正在区域120的实例内标识的问题或潜在问题相关的信息。问题解决信息114可以包括判定树；软拷贝手册；历史问题以及用于改正问题的先前实例的对应技能、动作、供应品、PPE和/或装备；可接受的问题解决延迟值；等等。在各种实施例中，问题解决信息114包括用于改正、解决或修复问题的根本原因信息和对应的校正动作。在一些实施例中，问题解决信息114还可以表示与多个问题、事件和相应的校正动作、危险交互和/或从可经由网络140访问的其它资源获得的结果相关的资源，所述其它资源诸如公司健康和安全数据库、虚拟工程师、到软拷贝手册的链接、可从与健康和安全相关联的监管机构获得的安全和危险信息等。
媒体内容的语料库115表示与问题和/或危险(诸如图形表示、图像、视频、动画图像等)相关的媒体文件(例如，内容)的库、数据库和/或集合。媒体内容的语料库115还可以包括各种问题或危险的音频文件，诸如金属刮擦、火爆裂声、电弧放电、水流动、结构材料故障等。在一些实施例中，媒体内容的语料库115还可以表示由本发明的方面标识用于公共使用或许可的、并且从可经由诸如因特网的网络140访问的其他源获得的媒体文件。在其他实施例中，媒体内容的语料库115包括由计算机图形套件116产生的内容，诸如所生成的动画序列或所提取的内容。
计算机图形套件116表示自动化程序的套件，该自动化程序从媒体内容的语料库115和/或其他可网络访问源内的元件编辑、提取和/或生成视觉和/或音频，以生成和/或修改AR和/或VR内容。AR和/或VR内容可以存储在AR内容117内以供将来使用。在实施例中，计算机图形套件116基于从至少情境感知程序200获得的信息而生成AR内容。在一些实施例中，计算机图形套件116基于来自情境感知程序200的指令修改AR和/或VR内容。
在其他实施例中，计算机图形套件116利用用户输入的时间信息、分析套件113生成的信息以及来自时间可视化程序300的信息和/或指令来创建与随着时间变化的问题的进展或者描绘问题的潜在未来状态相关的基于时间的图像、动画序列和/或音频事件。
在一个实施例中，AR内容117是从媒体内容的语料库115和情境感知程序200获得的与区域120内的一个或多个问题相关联的媒体文件的库。在另一实施例中，AR内容117还包括由时间可视化程序300从媒体内容的语料库115中获得的与区域120内的一个或多个问题相关联的媒体文件。在其他实施例中，AR内容117还包括由计算机图形套件116响应于来自时间可视化程序300的指令而修改和/或生成的AR和/或VR内容。
时间可视化程序300是基于与问题相关的信息、与用户改正问题的动作的缺少或动作相关联的信息、以及指示用户输入的一个或多个时间来生成与问题和/或区域120的一个或多个未来状态相关的AR和/或VR内容(例如，媒体文件)的程序。在一个示例中，时间可视化程序300使用户能够获得未来固定点处问题状态的视觉预报(即，预测)，或者观看随着时间变化(例如，快进、时间增加等)的问题的变化状态，诸如响应于制冷单元故障的食物腐败。在另一示例中，如果用户选择执行诸如部分或临时修理等的不完全修复、修改参数和/或设置等，则时间可视化程序300可以与计算机图形套件116接合以生成与和所标识的问题相关的问题的未来状态相关联的AR和/或VR内容。
在各种实施例中，时间可视化程序300利用从分析套件113获得的信息和来自用户的输入来指示计算机图形套件116生成用于向用户显示的时间上操纵的AR和/或VR内容。在其他实施例中，时间可视化程序300可以响应于标识两个或更多个问题同时(例如，在相同时间间隔期间)存在于区域120内而确定交互且生成AR/VR内容。例如，如果一个问题至少部分地没有被修复，则时间可视化程序300确定由问题之间的交互引起的附加问题和/或危险，诸如当附近存在积水时试图修复带电电气问题；从而增加电击危险的风险和/或严重度(例如，加剧)。
区域120可以表示物理上界定的区域，诸如房间；较大区域内的地理围栏区域，诸如场地的房间或仓库的岛屿；和/或相对于用户设备130的位置接近(例如，围绕)用户的动态定义的区域。区域120可以包括多个元件(例如，物理特征)(未示出)，诸如设备；处理工具；计算机；公用基础设施，诸如加热、冷却和通风系统、管道系统、配电系统和通信网络；一个或多个安全系统；物理基础设施，诸如承滴盘(drip pan)和集液槽(sump)、运输机构等。区域120的一些元件包括IoT使能设备(未示出)。在一些实施例中，区域120还包括运输中元件，诸如易腐烂的货物或正被制造的物品。在一些情况下，当用户在区域120内时，在区域120内存在一个或多个问题(未示出)。问题可能指代在超出规范的条件下操作；与区域120的一个或多个元件相关的影响和/或缺陷，诸如损坏、磨损、结构疲劳、腐蚀、脆化、结构的变形、生物分解、泄漏、电弧等。问题也可能生成危险，诸如电击或打滑表面。
传感器125表示操作地耦合到物联网(IoT)使能设备的多个传感器和/或传感器，这些传感器确定与区域120相关的信息和/或包括在与区域120相关联的各种元件(先前在上面讨论)内的信息。传感器125可以包括热传感器、噪声传感器、化学传感器、人工鼻、各种电传感器(例如，电压传感器、电流传感器、热敏电阻、谐波失真传感器等)、湿度传感器、环境传感器(例如，温度、湿度、气流等)等。在一些实施例中，传感器125的一个或多个传感器还可以发送与传感器测量不同的信息，该信息诸如操作参数；信标信号；标识信息；与包括传感器的区域120的元件相关联的上下文信息，诸如装备ID或子装配件ID；等。在各种实施例中，根据本发明的实施例，传感器125的一个或多个传感器可以包括如关于图4进一步详细描绘和描述的组件。
在实施例中，与区域120相关联的传感器125的一些传感器利用网络140与系统110和用户设备130通信。在其它实施例中，传感器125的一个或多个传感器可以基于确定异常或超出规范的条件来分析和选择性地发送数据。在另一实施例中，与区域120相关联并且包括在IoT使能设备(未示出)内的传感器125中的一个或多个其他传感器可以在不利用网络140的情况下与用户设备130无线地通信。在一些场景中，用户设备130可以经由网络140将原始数据和/或分析的数据从传感器125的一个或多个传感器传送到系统110。
另外，控制和/或负责区域120的实例的用户(例如，所有者、管理员等)已经选择加入并授权了与实例区域120相关联的传感器125可以收集与区域120的实例相关联的数据。此外，根据本发明的各种实施例，控制和/或负责区域120的实例的用户(例如，所有者、管理员等)已经选择加入情境感知程序200和/或时间可视化程序300来处理从传感器125接收到的数据并将接收到的数据存储在历史数据112和/或其他位置内。
在实施例中，用户设备130包括用户界面(UI)132、输出设备134、增强现实(AR)程序135、情境感知程序200以及多个程序和数据(未示出)。其他程序和数据的示例可以包括全球定位系统(GPS)软件、网页浏览器、相机/视频应用、音频分析程序、图像识别软件、认知应用、区域120的一个或多个实例的地图、历史信息112的至少一部分的本地副本、从传感器125获得的数据等。在其他实施例中，用户设备130表示包括在区域120内的远程监控系统或机器人监控系统，该机器人监控系统可以与用户进入区域120的实例不同地遍历区域120，诸如响应于检测到可能影响用户的危险。
在各种实施例中，用户设备130还包括和/或可操作地耦合到与AR程序135和/或情境感知程序200相关联地利用的多个其他硬件特征(未示出)，诸如一个或多个相机；扬声器；头戴式耳机；触觉致动器；与传感器125的一个或多个传感器接口的无线通信技术和协议，诸如LTE-M、窄带IoT(NB-IoT)、近场通信(NFC)等；用于感测用户的位置、取向和/或一个或多个物理动作的罗盘和/或惯性监控系统；和/或输出设备134的不同实例，诸如AR头戴式耳麦；一副智能眼镜；抬头显示器。
本发明的各种实施例可以利用各种可访问的数据源，诸如历史数据112、问题解决信息114，其可以包括存储设备和与用户相关联的内容。在示例实施例中，情境感知程序200和/或时间可视化程序300的实例允许用户选择加入或选择退出暴露信息的类型和类别。情境感知程序200和/或时间可视化程序300的实例使得能够对诸如位置信息的用户信息以及可能已获得、维护和/或可访问的信息的类型和类别进行授权和安全处理。在另一示例中，用户选择加入以允许情境感知程序200记录判定或状态信息，但匿名化记录判定、更新状态或执行一个或多个动作的用户的ID。可以向用户提供信息类型和类别的收集的通知以及选择加入或选择退出收集过程的机会。准许可以采取几种形式。选择加入准许可以强制用户在收集数据之前采取肯定动作。或者，选择退出准许可以强制用户在收集数据之前采取防止收集数据的肯定动作。
在一个实施例中，UI 132可以是图形用户界面(GUI)或网页用户界面(WUI)。UI132可以显示文本、文档、表单、网页浏览器窗口、用户选项、应用界面和操作的指令，并且包括程序向用户呈现的信息，诸如图形、文本和声音。在各种实施例中，UI 132显示表示用户可以与用户设备130相关联地执行的应用的一个或多个图标。在一个示例中，UI 132表示情境感知程序200和/或时间可视化程序300的应用界面。另外，UI 132可以控制用户用来响应的动作的序列，和/或确认与情境感知程序200和/或时间可视化程序300相关联的动作。
在一些实施例中，用户设备130的用户可以经由单个设备与UI 132交互，所述单个设备诸如执行到GUI/WUI的输入以及作为呈现与描绘一个或多个执行中的软件应用的app和/或图像相关联的多个图标的输出设备(例如，显示器)两者的触摸屏(例如，显示器)。在各种实施例中，UI 132接受来自多个输入/输出(I/O)设备(未示出)的输入，所述输入/输出设备包括但不限于键盘、触觉传感器接口(例如，触摸屏、触摸板)、虚拟接口设备和/或自然用户界面(例如，语音控制单元、运动捕捉设备、眼睛跟踪、计算机化的手套、抬头显示器等)。除了音频和视觉交互以外，UI 132可以响应于设备130的用户利用设备130标示为信息和/或命令的自然语言(诸如书面词语或口头词语)来接收输入。
在一个实施例中，输出设备134被包括在用户设备130内，并且显示从用户设备130的相机(未示出)获得的AR/VR内容和图像/视频。在另一实施例中，输出设备134表示可操作耦合到用户设备130的显示技术，诸如抬头显示器、智能眼镜、虚拟视网膜显示器等。在各种实施例中，输出设备134是可以作为显示器和输入设备两者来操作的触摸屏设备。在一些实施例中，输出设备134还显示与在用户设备130上执行的其它程序相关的UI 132和GUI元件。在各种实施例中，输出设备134的不同实例向用户呈现不同的信息和/或图形元件。在其他实施例中，输出装置134表示区域120外部的一个或多个显示器，并且与远程或机器人监控系统相关联。
AR程序135是增强现实程序，其将AR元件和/或AR内容覆盖嵌入到由与用户设备130相关联的相机获得的捕获的图片(即，静止图像)或视频馈送内。在一个实施例中，AR程序135嵌入和/或移动AR内容和/或AR内容覆盖图，如由情境感知程序200和/或时间可视化程序300指示和/或生成的。在另一实施例中，AR程序135显示由计算机图形套件116生成的VR内容。在一些实施例中，AR程序135可以基于来自情境感知程序200的指令添加和/或修改从系统110接收的AR和/或VR内容，例如增加AR内容元件的大小、添加视觉效果、延长传感器事件的持续时间等。在其他实施例中，AR程序135显示视场的多个实例。
情境感知程序200是利用来自与区域120相关联的传感器125之中的数据来确定是否存在问题和/或危险的程序；或者具有在区域120内发生的可能性。在实施例中，响应于确定问题和/或一个或多个危险存在于或可能潜在地发生在区域120内，情境感知程序200利用AR程序135将与问题、情况和/或危险相关的AR内容嵌入在对应于区域120的一部分的图像或视频馈送内。在各种实施例中，情境感知程序200利用网络140来访问系统110的多个资源、文件和程序。
在一些实施例中，如果情境感知程序200确定用户的注意力没有被吸引到与发生的问题相关联的标识的位置，则情境感知程序200进一步修改(例如，增强、放大等)AR内容和/或AR内容的呈现以吸引用户的注意力。在各种实施例中，情境感知程序200可以对两个或更多个问题存在于区域120内的确定做出响应，并且基于用户输入生成不同的AR/VR内容。在其他实施例中，情境感知程序200与时间可视化程序300接合，且基于与对问题的不完全修复(诸如部分或临时修复、修改/调整操作设置等)相关的各种用户输入而获得与发生的问题相关的其它AR内容和/或VR内容；和/或基于用户输入的时间信息确定区域120内的问题的未来状态。
网络140可以是例如局域网(LAN)、电信网络(例如，蜂窝网络的一部分)、诸如内联网的无线局域网(WLAN)、诸如因特网的广域网(WAN)、或前述的任何组合，并且可以包括有线、无线、或光纤连接。通常，根据本发明的实施例，网络140可以是将支持系统110、传感器125、用户设备130和/或因特网之间的通信的连接和协议的任意组合。在各种实施例中，网络140经由有线、无线或光学连接在本地操作，并且可以是连接和协议的任意组合(例如，个人区域网(PAN)、
Figure BDA0003381437400000111
近场通信(NFC)、激光、红外、超声等)。
图2是描绘根据本发明的实施例的情境感知程序200的操作步骤的流程图，该程序用于分析从与区域相关联的一个或多个传感器接收的信息以标识问题，并随后修改与问题相关的AR内容来吸引用户对所标识的问题的注意力或焦点。在各种实施例中，情境感知程序200与时间可视化程序300接合，以响应于问题基于用户的一个或多个选择生成AR/VR内容，和/或修改AR/VR内容以根据一个或多个时间指示而描绘问题的潜在变化。在实施例中，用户可以动态地修改时间可视化程序300对AR和/或VR内容的生成，同时情景感知程序200向用户呈现AR/VR内容。
在步骤201中，情境感知程序200确定用户的位置。情境感知程序200可以利用用户设备130来连续地监控用户在区域120内的位置和移动。情境感知程序200利用用户设备130来确定用户接近区域120、确定用户在区域120内的位置或用户离开区域120。在一些实施例中，情境感知程序200还利用用户设备130来确定用户的取向。在各种实施例中，情境感知程序200指示用户选择加入一个或多个类型的数据，诸如用户的ID、与用户设备130相关联的ID、跟踪数据等。例如，用户可选择加入情境感知程序200以跟踪用户设备130，但选择退出标识用户设备130或与用户设备130相关联的用户。
在步骤202中，情境感知程序200撷取历史问题信息。在一个实施例中，响应于确定用户进入区域120或接近区域120的接近度阈值内，情境感知程序200从历史信息112撷取信息以确定已知问题是否活跃(例如，正在进行)或者是否被不完全地改正。情境感知程序200还可以从历史信息112撷取与和区域120相关联的改正的问题的先前实例相关的信息。在各种实施例中，情境感知程序200从各种源撷取与区域120的实例相关联的进一步信息，诸如与操作、公用图表、布局、传感器位置等相关联的相应值和设备的列表。
在步骤204中，情境感知程序200从传感器的组获得数据。情境感知程序200可以经由网络140从传感器125的传感器之中接收数据和/或经由无线通信技术直接将该数据通向用户设备130。在一些场景中，情境感知程序200轮询传感器125以获得与区域120的元件相关的数据。在其它场景中，情境感知程序200基于用户设备130的位置，诸如在进入区域120时，自动从传感器125的传感器中获得接收数据。
在另一实施例中，情境感知程序200从历史信息112获得传感器125中在与先前标识的问题相关联的区域120内的传感器的组相关的数据。在其他实施例中，情境感知程序200基于用户设备130的一个或多个特征和/或程序来确定与区域120相关联的其它数据。
在步骤206中，情境感知程序200分析传感器数据。情境感知程序200分析传感器数据以确定一个或多个问题是否存在于区域120内或者将来是否可能发生在区域120内。如果分析指示区域120内不存在问题，则情境感知程序200终止。在实施例中，情境感知程序200将从传感器125获得的数据与包括在历史信息112内的传感器数据和/或装备操作规范进行比较，以确定该比较是否指示在区域120内存在问题。情境感知程序200还可包括在各种分析内从数据用户设备130的一个或多个特征获得的数据。另外，情境感知程序200可以标识区域120内与问题相关联的一个或多个元件。
在另一实施例中，情境感知程序200从包括传感器并可以执行现场分析的一个或多个IoT使能设备(未示出)接收指示区域120内是否存在问题的结果。在一些实施例中，情境感知程序200利用分析套件113和/或认知程序来执行更复杂的分析，诸如确定与问题相关的严重度评级、确定问题可能产生的未来影响或事件等。
在步骤208中，情境感知程序200确定与问题相关联的上下文信息。情境感知程序200基于包括在一个或多个资源内的信息来确定上下文信息，所述信息诸如历史信息112或存储在系统110内的其他信息，诸如在区域120的一部分内执行的操作。与问题相关联的上下文信息可以包括问题释放或生成的一个或多个危险，诸如烟、火花、水；区域120内的问题正在发生的位置；问题的描述，诸如“在配电面板内”或“嵌入在装备ID X2B的子装配件325内”；等等。在其他实施例中，情境感知程序200还基于用户设备130的特征和/或程序来确定与区域120相关联的上下文信息，诸如标识声音和确定声音的方向。
在一些实施例中，响应于确定问题释放或生成危险，情境感知程序200利用网络140来访问其它资源(未示出)以确定危险是否是对用户和/或区域120的其它元件的威胁。在另一实施例中，情境感知程序200还访问问题解决信息114以标识改正或临时修复问题的一个或多个动作。
在步骤210中，情境感知程序200生成AR内容。在实施例中，情境感知程序200利用与问题和/或关于问题的危险相关联的信息来从媒体内容的语料库115或AR内容117中选择表示与问题相关的问题和/或危险的至少一个媒体文件。在一个示例中，与缓慢泄漏相关的AR内容可以由具有短线和两滴液体的管道表示，而更严重的泄漏可以由具有大裂缝和液体流的管道表示。在另一示例中，与电气问题相关的AR内容可以被描绘为一对闪电。如果还存在电弧，则情境感知程序200可以从媒体内容的语料库115下载音频内容或利用计算机图形套件116来向媒体文件内的闪电应用选通脉冲效果。
在各种实施例中，情境感知程序200指示AR程序135基于与问题相关的信息来修改AR内容。在一个示例中，情境感知程序200指示AR程序135基于问题是暴露的还是封闭的而在AR内容周围应用不同的视觉效果；如果问题在区域120的显示部分的另一元件之后，则时施加另一视觉效果；如果问题的位置在显示在输出设备134内的区域120的部分之外，则添加方向性指示，诸如箭头。在另一示例中，情境感知程序200指示AR程序135改变AR内容的亮度或修改视觉效果，诸如基于问题的严重程度评级的AR内容周围的颜色。在其他实施例中，如果情境感知程序200无法标识媒体内容的语料库115或其它网络可访问资源内可应用于问题的AR内容，则情境感知程序200利用认知程序及计算机图形套件116从与问题的一个或多个方面相关的影像提取及生成AR内容。
仍然参考步骤210，在一些实施例中，情境感知程序200还生成AR内容覆盖图，其包括与问题、问题相关的危险和/或其他相关信息相关联的上下文信息。例如，情境感知程序200生成AR内容覆盖图，其是悬停元件，包括装备ID、问题的严重度评级、警告消息、状态信息等。在其他实施例中，如果情境感知程序200不能标识问题或相关危险的表示，则情境感知程序200与计算机图形套件116接合以利用媒体内容的语料库115或其他网络可访问媒体文件内的其他存储的媒体文件来创建相应表示问题和/或相关危险的一个或多个媒体文件(例如，AR内容)。
在判定步骤211中，情境感知程序200确定是否标识出多个问题。在一个实施例中，情境感知程序200基于在步骤206中执行的分析来确定多个问题被标识。在另一实施例中，情境感知程序200确定在步骤206中执行的分析和历史信息112中的问题的状态日志上标识出多个问题。
响应于确定标识出多个问题(“是”分支，判定步骤211)，情境感知程序200确定与多个问题相关联的影响(步骤212)。
在步骤212中，情境感知程序200确定与多个问题相关联的影响。情境感知程序200可以利用一个或多个认知程序(未示出)来搜索和分析包括在各种信息源内的信息，以确定与问题相应关联的影响和/或危险。在实施例中，情境感知程序200基于历史信息112内所包括的信息、对传感器数据的分析、问题解决信息114、和/或其他内部信息源来确定与多个问题相关联的影响(例如，冲击)和/或危险。例如，标识区域120的一个部分内的卡顿(stuck)值引起区域120的不同部分中的设备内的过热问题。
在另一实施例中，情境感知程序200还利用分析套件113来确定用于解决(例如，修复)区域120内的多个问题的优先级。在一些实施例中，情境感知程序200搜索网络可访问资源，诸如可从一个或多个监管机构获得的安全和危险信息，以确定两个或更多个问题的影响和/或危险是否交互并增加问题的严重度和/或增加对区域120内的用户的风险。例如，通风减少的问题与生成烟雾危害的问题同时可能污染区域120或冒着使用者呼吸不安全水平的烟雾的风险。随后，在步骤214中，情境感知程序200向用户呈现与问题相关的AR内容。
参考判定步骤211，响应于确定多个问题未被标识(“否”分支，判定步骤211)，情境感知程序200向用户呈现与问题相关的AR内容(步骤214)。
在步骤214中，情境感知程序200向用户呈现与问题相关的AR内容。情境感知程序200利用AR程序135经由输出装置134显示AR和/或VR内容。在一个实施例中，情境感知程序200基于确定问题在区域120内的位置和/或其它因素来选择要呈现的AR内容(先前关于步骤210所讨论的)。在一些实施例中，响应于确定在区域120内存在多个问题，情境感知程序200呈现与每个问题相关的AR内容。另外，情境感知程序200还可以呈现与多个问题之间的交互相关联和/或与多个问题之间的交互相关的危险相关联的额外AR内容，诸如面罩图标、电绝缘靴和手套等。附加AR内容还可以包括内容覆盖图，其包括与多个问题之间的交互相关联的上下文和/或描述性信息。此外，情境感知程序200可以指示AR程序135基于与问题相应关联的严重度评级来调整相应AR内容的呈现。
在一个场景中，如果情境感知程序200确定问题位于在输出装置134内显示的区域120的部分内，则情境感知程序200在输出装置134内显示的问题的视觉位置附近应用与问题相关的AR内容。在另一情形中，如果情境感知程序200确定问题没被看见的(例如，被封闭在区域120的其它元件后面等)，则情境感知程序200在输出设备134内的问题显示器的近似视觉位置处呈现与问题相关的修改的AR内容。在其它场景中，如果情境感知程序200确定问题的位置不在区域120的显示部分内，则情境感知程序200指示AR程序135还包括与问题的位置相关的方向性指示，并且与和问题相关的AR内容相应关联。
在步骤216中，情境感知程序200确定与AR内容的呈现相关的用户响应。在一个实施例中，情境感知程序200基于用户设备向问题的位置移动来确定用户对AR内容的呈现做出响应。在各种实施例中，情境感知程序200基于用户激活UI 132来审查与要执行改正问题或标识对在步骤208中确定的问题的临时修复的动作相关的信息，确定用户响应。
在另一实施例中，情境感知程序200基于确定用户设备130在远离问题位置的方向上移动和/或取向而确定用户不对AR内容的呈现做出响应。在一些实施例中，情境感知程序200确定用户仅基于输入到UI 132的信息确认与呈现的AR相关联的问题。在其它实施例中，情境感知程序200基于用户执行时间可视化程序300来确定用户确认与所呈现的AR内容相关联的问题，以确定问题的一个或多个未来状态。
在判定步骤217中，情境感知程序200确定用户是否对问题做出响应。在一个实施例中，情境感知程序200通过确定用户至少访问问题解决信息114并且从传感器接收的数据的后续分析指示问题的缺乏(例如，问题被改正或临时修复)来确定用户对问题做出响应。在一些实施例中，情境感知程序200确定用户通过经由UI 132确认问题的存在来做出响应，但选择不改正该问题。在另一实施例中，情境感知程序200基于用户设备130在与问题的位置不同的方向上的移动和/或取向来确定用户不对问题做出响应。在其它实施例中，情境感知程序200基于用户执行时间可视化程序300来确定用户不对问题做出响应，以基于各种输入和/或选择来确定问题的一个或多个未来状态。
响应于确定用户不对问题做出响应(“否”分支，判定步骤217)，情境感知程序200更新呈现给用户的AR内容(步骤218)。
在步骤218中，情境感知程序200更新呈现给用户的AR内容。在一个实施例中，响应于确定用户基于移动远离问题的位置而未对问题做出响应，情境感知程序200更新和/或添加AR内容以吸引用户的注意力和/或提示用户对问题的响应。在一个示例中，情境感知程序200可以指示AR程序135修改与问题相关的AR内容的一个或多个方面，诸如增加AR内容的大小或修改与AR内容相关联的方向性指示。情境感知程序200可以继续指示AR程序135基于随后的响应或用户对问题的响应的缺乏来修改AR内容。在另一示例中，情境感知程序200还指示AR程序135移动修改的AR内容，以在用户移动时停留在输出设备134的视场中。响应于向用户呈现更新的AR和/或VR内容，情境感知程序200循环到步骤216以确定与AR和/或VR内容的另一呈现相关的用户响应。
在其它实施例中，情境感知程序200呈现从时间可视化程序300接收的更新的AR和/或VR内容，其描绘与和问题相关的AR内容相对的问题的一个或多个未来状态，与确定用户延迟对问题的响应以确定问题的一个或多个未来状态相关联，和/或与未改正的问题相关联的内容。在一些实施例中，响应于从时间可视化程序300接收AR和/或VR内容的多个项，情境感知程序200利用UI 132来通知用户关于可用内容并且允许用户选择所呈现的内容
仍然参考步骤218，在其他实施例中，情境感知程序200指示AR程序135基于用户的指示(诸如一个问题的不同时间快照，或查看不同问题的预报)呈现区域120的相同部分的多个实例，其包括不同的AR/VR内容。
参考判定步骤217，响应于确定用户对问题做出响应(“是”分支，判定步骤217)，情境感知程序200更新与问题相关联的信息(步骤220)。
在步骤220中，情境感知程序200更新与问题相关联的信息。情境感知程序200基于用户输入的信息和/或来自传感器125之中的后续数据更新历史信息112和/或问题解决信息114。用户输入的信息可以包括指示以下的信息：用于改正问题的动作、工具和/或供应品；记录问题(例如，写笔记、拍照、更新状态信息等)、在问题附近发现的危险、和/或影响区域120的一个或多个元件的问题的冲击。在实施例中，如果情境感知程序200确定用户确认问题但不改正问题，则情境感知程序200经由UI 132提示用户记录问题未被解决(例如，修复)的原因，并将问题和/或危险记录在历史信息112内。
在一个实施例中，情境感知程序200激活UI 132的另一个方面以接收与用户改正区域120内的问题相关联的用户输入。在另一实施例中，情境感知程序200激活UI 132的另一个方面以接收与用户执行对问题的不完全修复相关联的用户输入，诸如应用临时修复、修改参数/设置、实现“暂时解决办法(work around)”等。在一些实施例中，情境感知程序200还存储在时间可视化程序300的输入内；由时间可视化程序300生成的输出内；和/或分析套件113内的用户信息，诸如VR媒体文件、问题进展的描述、与在规定时间点的问题的未来状态相关的变化等。
图3是描绘根据本发明的实施例的时间可视化程序300的操作步骤的流程图，该程序用于响应于确定在区域内的区域内存在问题随着时间变化，基于用户的一个或多个选择生成和/或修改AR和/或VR内容。在各种实施例中，响应于在情境感知程序200执行时发起的一个或多个用户动作而执行时间可视化程序300。
在步骤302中，时间可视化程序300接收与问题相关的信息。在各种实施例中，时间可视化程序300接收与由情境感知程序200确定的区域120内的问题相关的信息，诸如传感器数据、一个或多个分析的结果、与问题和/或一个或多个相关危险相关联的上下文信息、两个或更多个问题之间的交互等。在一些实施例中，时间可视化程序300从历史问题信息112获得与问题相关的附加信息。在实施例中，时间可视化程序300访问网络可访问资源以获得与在不同于区域120的区域内发生的问题的类似实例相关的其他信息，诸如监控视频或记录受控条件下的问题进展的安全实验室。
在步骤304中，时间可视化程序300从用户接收输入。在一个实施例中，时间可视化程序300经由UI 132从用户输入接收时间指示和因素，诸如用于确定问题的状态的一个或多个未来时间段、严重度评级阈值、执行或不执行改正、缓解或临时修复问题的动作、解决多个问题的顺序等。在一些实施例中，时间可视化程序300还从用户接收指示如何向用户呈现AR和/或VR内容的输入，诸如以两小时增量、10:1时间压缩、或以预测严重度评级变化或危险发生时的时间间隔。
在步骤306中，时间可视化程序300确定与和问题相关的AR内容相关联的时间修改。在各种实施例中，时间可视化程序300基于步骤302中获得的信息从媒体内容的语料库115中包括的多个媒体文件中标识和选择AR和/或VR内容。在一个实施例中，时间可视化程序300基于原始时间指示和因素在步骤304处接收来确定与选择的与和问题相关的AR和/或VR内容相关联的一个或多个时间修改。在另一实施例中，时间可视化程序300基于响应于用户查看AR和/或VR内容的时间修改(在情境感知程序200中，步骤218)而接收的用户输入，确定与和问题相关的AR和/或VR内容相关联的一个或多个时间修改。在其他实施例中，时间可视化程序300可以基于确定来两个或更多个问题交互并恶化问题的一个或多个方面和/或危险，进一步修改AR和/或VR内容。时间可视化程序300可以存储修改和/或生成的AR和VR内容存储在AR内容117内。
在一些实施例中，时间可视化程序300利用计算机图形套件116基于从用户接收的输入来在时间上修改所选择的AR和/或VR内容。在其他实施例中，如果时间可视化程序300不能在媒体内容的语料库115或其他网络可访问资源内标识与问题相关的AR和/或VR内容以在时间上进行修改，则时间可视化程序300利用认知程序和计算机图形套件116从至少包括与问题的各方面相关的图像的可访问内容中提取并生成AR和/或VR内容。
在步骤308中，时间可视化程序300将时间上修改的AR内容发送到用户的设备。在实施例中，时间可视化程序300向用户设备130发送时间上修改的AR，诸如步骤218中，问题的未来状态的快照以供AR程序135或经由情境感知程序200呈现。在另一实施例中，时间可视化程序300将VR内容发送到用户设备130，诸如与基于时间信息和用户输入的因素的问题状态的预报或进展相关联的动画序列。
在判定步骤309中，时间可视化程序300确定是否接收到附加的用户输入。在实施例中，时间可视化程序300确定经由UI 132从用户设备130接收到附加用户输入。在一个示例中，时间可视化程序300接收到用户选择查看与区域120相关联的不同问题的VR进展的信息。在另一示例中，时间可视化程序300接收到用户选择实现对问题的临时修复的信息，并请求在1小时快照中查看VR序列，预报在接下来十天期间对区域120的影响。
响应于接收到附加用户输入(“是”分支，判定步骤309)，时间可视化程序300循环至步骤306以基于来自用户的附加输入来确定与和问题相关的AR和/或VR内容相关联的另一时间修改。参考判定步骤309，响应于确定没有接收到附加用户输入(“否”分支，判定步骤311)，时间可视化程序300确定用户是否改正了问题。
在决定步骤311中，时间可视化程序300确定用户是否改正问题。在一个实施例中，时间可视化程序300基于由情境感知程序200在步骤216和/或判定步骤217中确定的信息，诸如用户相对于问题位置的移动，来确定用户未改正问题；缺少历史信息112的变化；或者标识指示与问题相关的未解决、延迟等的日志状态。在另一实施例中，如果在区域120内存在多个问题，则时间可视化程序300可以对用户未改正的另一问题做出响应。在一个示例中，时间可视化程序300响应于用户改正低严重度评级问题，但指示延迟修复具有较高严重度评级的问题。在另一示例中，时间可视化程序300确定用户改正高严重度评级问题，并且另一问题具有可接受的解决延迟持续时间。在一些实施例中，时间可视化程序300确定用户基于对至少历史信息112的更新来改正问题。
响应于确定用户没有改正问题(“否”分支，判定步骤311)，时间可视化程序300确定与未改正的问题相关联的AR内容(步骤312)。
在步骤312，时间可视化程序300确定与未改正的问题相关联的AR内容。在实施例中，时间可视化程序300从包括在媒体内容的语料库115和AR内容117内的多个媒体文件中选择AR和/或VR内容，并且基于在步骤302和步骤304中获得的信息修改内容。在另一实施例中，时间可视化程序300基于响应于用户查看AR和/或VR内容的时间修改(在情境感知程序200中，步骤218)而接收的用户输入来确定与和未改正的问题相关的AR和/或VR内容相关联的一个或多个时间修改。在一些实施例中，时间可视化程序300可以基于确定一个未改正的问题的一个或多个方面和/或危险因另一未改正的问题加剧而进一步修改与未改正的问题相关的AR和/或VR内容。
在其他实施例中，时间可视化程序300利用计算机图形套件116来基于从用户接收的输入对所选择的AR或VR内容应用时间修改。在其他实施例中，如果时间可视化程序300不能标识与未改正的问题相关的AR和/或VR内容以在媒体内容的语料库115或其它网络可访问资源内进行修改，则时间可视化程序300利用认知程序和计算机图形套件116从至少包括与问题的各方面相关的图像的可访问内容源提取并生成AR和/或VR内容。
在步骤314中，时间可视化程序300将时间上修改的AR内容发送到用户的设备。在实施例中，时间可视化程序300将时间上修改的AR和/或VR内容发送到用户设备130，以经由用户设备130的AR程序135呈现给用户。在一些实施例中，时间可视化程序300将时间上修改的AR和/或VR内容发送到用户设备130，并与情境感知程序200的各种方面接合，诸如与步骤218、216和判定步骤217相关联的循环。
参照判定步骤311，响应于确定用户改正了问题(“是”分支，判定步骤311)，时间可视化程序300终止。
图4描绘了计算机系统400，其是代表性系统110和客户端设备130。计算机系统400还表示传感器125的一个或多个实例。计算机系统400是包括软件和数据412的系统的示例。计算机系统400包括(多个)处理器401、高速缓存403、存储器402、永久存储装置405、通信单元407、(多个)输入/输出(I/O)接口406和通信结构404。通信结构404提供高速缓存403、存储器402、永久存储装置405、通信单元407与输入/输出(I/O)接口406之间的通信。通信结构404可以用被设计用于在处理器(诸如微处理器、通信和网络处理器等)、系统存储器、外围设备与系统内的任何其它硬件组件之间传递数据和/或控制信息的任何架构来实现。例如，通信结构404可以用一个或多个总线或纵横开关来实现。
存储器402和永久存储装置405是计算机可读存储介质。在该实施例中，存储器402包括随机存取存储器(RAM)。通常，存储器402可以包括任何合适的易失性或非易失性计算机可读存储介质。高速缓存403是通过保存来自存储器402的最近访问的数据和最近访问的数据附近的数据来强化处理器401的性能的快速存储器。
用于实践本发明的实施例的程序指令和数据可以存储在永久存储装置405和存储器402中，以便由一个或多个相应的处理器401经由高速缓存403来执行。在实施例中，永久存储装置405包括磁硬盘驱动器。作为磁硬盘驱动器的替代或补充，永久存储装置405可以包括固态硬盘驱动器、半导体存储设备、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、闪速存储器或能够存储程序指令或数字信息的任何其它计算机可读存储介质。
永久存储装置405所使用的介质也可以是可移动的。例如，可移动硬盘驱动器可以用于永久存储装置405。其它示例包括光盘和磁盘、拇指驱动器和智能卡，它们被插入到驱动器中以便传送到也是持久存储405的一部分的另一计算机可读存储介质上。软件和数据412存储在永久存储装置405中，以便由一个或多个相应处理器401经由高速缓存403和存储器402的一个或多个存储器存取和/或执行。关于系统110、软件和数据412，历史信息112、分析套件113、问题解决信息114、媒体内容的语料库115、计算机图形套件116、AR内容117、时间可视化程序300、以及其他程序和数据(未示出)。关于客户端设备130，软件和数据412包括AR程序135、情境感知程序200和其它数据和程序(未示出)。关于传感器125的实例，软件和数据412包括固件、其它数据和程序(未示出)。
在这些示例中，通信单元407提供与其他数据处理系统或设备的通信，该其他处理系统或设备包括资源系统110、传感器125和客户端设备130。在这些示例中，通信单元407包括一个或多个网络接口卡和/或无线通信适配器。通信单元407可以通过使用物理和无线通信链路中的一种或两种来提供通信。用于实践本发明的实施例的程序指令和数据可以通过通信单元407下载到永久存储装置405。
I/O接口406允许与可以连接到每个计算机系统的其它设备输入和输出数据。例如，I/O接口406可以提供到外接设备408的连接，所述外接设备诸如键盘、小键盘、触摸屏和/或一些其它合适的输入设备。外接设备408还可以包括便携式计算机可读存储介质，诸如，例如，拇指驱动器、便携式光盘或磁盘、以及存储卡。用于实践本发明的实施例的软件和数据可以存储在这样的便携式计算机可读存储介质上，并且可以经由(一个或多个)I/O接口406加载到永久存储装置405上。I/O接口406还连接到显示器409。
显示器409提供向用户显示数据的机制，并且可以是例如计算机监控器。显示器409也可以用作触摸屏，诸如平板计算机或智能电话的显示器。或者，显示器409基于投影技术向用户显示信息，诸如虚拟视网膜显示器、虚拟显示器或图像投影仪。
这里描述的程序是基于在本发明的特定实施例中实现它们的应用来标识的。然而，应当理解，这里的任何特定程序术语仅是为了方便而使用，因此本发明不应当限于仅在由这样的术语标识和/或暗示的任何特定应用中使用。
本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括其上具有计算机可读程序指令的计算机可读存储介质(或多个介质)，所述计算机可读程序指令用于使处理器执行本发明的各方面。
计算机可读存储介质可以是能够保留和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质可以是例如但不限于电子存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或前述的任何合适的组合。计算机可读存储介质的更具体示例的非穷举列表包括以下：便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式光盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、诸如上面记录有指令的打孔卡或凹槽中的凸起结构的机械编码装置，以及上述的任何合适的组合。如本文所使用的计算机可读存储介质不应被解释为暂时性信号本身，诸如无线电波或其他自由传播的电磁波、通过波导或其他传输介质传播的电磁波(例如，通过光纤线缆的光脉冲)、或通过导线传输的电信号。
本文描述的计算机可读程序指令可以从计算机可读存储介质下载到相应的计算/处理设备，或者经由网络，例如因特网、局域网、广域网和/或无线网络，下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光传输光纤、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或网络接口从网络接收计算机可读程序指令，并转发计算机可读程序指令以存储在相应计算/处理设备内的计算机可读存储介质中。
用于实行本发明的操作的计算机可读程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据，或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言(诸如Smalltalk、C++等)以及常规的过程式编程语言(例如“C”编程语言或类似的编程语言)。计算机可读程序指令可以完全在用户的计算机上执行，部分在用户的计算机上执行，作为独立的软件包执行，部分在用户的计算机上并且部分在远程计算机上执行，或者完全在远程计算机或服务器上执行。在后一种情况下，远程计算机可以通过任何类型的网络连接到用户的计算机，包括局域网(LAN)或广域网(WAN)，或者可以连接到外部计算机(例如，使用因特网服务提供商通过因特网)。在一些实施例中，为了执行本发明的各方面，包括例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)的电子电路可以通过利用计算机可读程序指令的信息来执行计算机可读程序指令以使电子电路个性化。
在此参考根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述本发明的各方面。将理解，流程图和/或框图的每个框以及流程图和/或框图中的框的组合可以由计算机可读程序指令来实现。
这些计算机可读程序指令可以被提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器以产生机器，使得经由计算机或其他可编程数据处理装置的处理器执行的指令创建用于实现流程图和/或框图的一个或多个框中指定的功能/动作的构件。这些计算机可读程序指令还可以存储在计算机可读存储介质中，其可以引导计算机、可编程数据处理装置和/或其他设备以特定方式工作，使得其中存储有指令的计算机可读存储介质包括制品，该制品包括实现流程图和/或框图的一个或多个框中指定的功能/动作的各方面的指令。
计算机可读程序指令还可以被加载到计算机、其他可编程数据处理装置或其他设备上，以使得在计算机、其他可编程装置或其他设备上执行一系列操作步骤，以产生计算机实现的过程，使得在计算机、其他可编程装置或其他设备上执行的指令实现流程图和/或框图的一个或多个框中指定的功能/动作。
附图中的流程图和框图示出了根据本发明的各种实施例的系统、方法和计算机程序产品的可能实现的架构、功能和操作。在这点上，流程图或框图中的每个框可以表示指令的模块、段或部分，其包括用于实现指定的逻辑功能的一个或多个可执行指令。在一些替代实施方案中，框中所注明的功能可不按图中所注明的次序发生。例如，连续示出的两个框实际上可以作为一个步骤来实现，同时、基本同时、以部分或全部时间重叠的方式执行，或者这些框有时可以以相反的顺序执行，这取决于所涉及的功能。还将注意，框图和/或流程图图示的每个框以及框图和/或流程图图示中的框的组合可以由执行指定功能或动作或执行专用硬件和计算机指令的组合的专用的基于硬件的系统来实现。
已经出于说明的目的给出了本发明的各种实施例的描述，但是其不旨在是穷尽的或限于所公开的实施例。在不背离本发明的范围和精神的情况下，许多修改和变化对于本领域的普通技术人员来说是显而易见的。选择本文所使用的术语是为了最好地解释实施例的原理、实际应用或对市场上存在的技术改进，或为了使本领域的其他普通技术人员能够理解本文所公开的实施例。

Claims (21)

1.一种方法，包括：
由一个或多个计算机处理器从与用户相关联的设备接收对应于区域的视觉信息；
由一个或多个计算机处理器从所述区域内的一个或多个传感器的组接收数据，其中所述区域包括多个物理元件；
由一个或多个计算机处理器基于分析从所述传感器的组接收的所述数据，确定在所述区域内存在第一问题以及所述区域中对应于所述第一问题的第一物理元件；
由一个或多个计算机处理器生成与所述区域内存在的所述第一问题相关的增强现实(AR)内容；以及
由一个或多个计算机处理器经由与所述用户相关联的所述设备，在对应于所述区域的所述视觉信息内显示所生成的与所述问题相关的AR内容。
2.根据权利要求1所述的方法，还包括：
由一个或多个计算机处理器基于与所述用户相关联的所述设备来确定所述区域内对应于所述用户的位置和取向；
由一个或多个处理器基于对应于所述用户的所述位置和所述取向来确定与所述区域的一部分相关联的视场；以及
由一个或多个处理器基于对应于所述第一问题的位置在所确定的与所述区域相关联的视场内定位所生成的AR内容。
3.根据权利要求1所述的方法，还包括：
由一个或多个计算机处理器基于从所述传感器的组接收的数据来确定所述区域内对应于所述第一问题的位置以及所述区域中对应于所述第一问题的所述第一物理元件。
4.根据权利要求1所述的方法，其中生成对应于问题的AR内容还包括：
由一个或多个计算机处理器从多个媒体文件中选择与所述问题相关的图形元件；以及
由一个或多个计算机处理器基于从由增加所述图形元件的大小、添加视觉效果和添加方向性指示构成的组中选择的一个或多个项来修改与所述问题相关的所述图形元件的一个或多个方面。
5.根据权利要求1所述的方法，其中，显示所生成的与所述问题相关的AR内容还包括：
由一个或多个计算机处理器确定与所述问题相应关联的评级；以及
由一个或多个计算机处理器基于所确定的与所述问题相应关联的严重度评级来调整所生成的AR内容的一个或多个方面。
6.根据权利要求1所述的方法，其中，问题包括从由超出规范条件的操作条件、所述区域的基础设施内的缺陷、与所述区域内的一个或多个物理元件相关联的缺陷以及由所述问题生成的危险构成的组中选择的一个或多个项。
7.根据权利要求2所述的方法，还包括：
由一个或多个计算机处理器确定所述用户移动远离所述第一问题的所述位置；以及
响应于确定所述用户移动远离所述第一问题的所述位置，由一个或多个计算机处理器修改向所述用户显示的所生成的与所述第一问题相关的AR的一个或多个方面。
8.一种计算机程序产品，包括：
一个或多个计算机可读存储介质和存储在所述一个或多个计算机可读存储介质上的程序指令，所述程序指令由一个或多个计算机处理器可读取/可执行：
用于从与用户相关联的设备接收对应于区域的视觉信息的程序指令；
用于从所述区域内的一个或多个传感器的组接收数据的程序指令，其中所述区域包括多个物理元件；
用于基于分析从所述传感器的组接收的所述数据，确定在所述区域内存在第一问题以及所述区域中对应于所述第一问题的第一物理元件的程序指令；
用于生成与所述区域内存在的所述第一问题相关的增强现实(AR)内容的程序指令；以及
用于经由与所述用户相关联的所述设备在对应于所述区域的所述视觉信息内显示所生成的与所述问题相关的AR内容的程序指令。
9.根据权利要求8所述的计算机程序产品，还包括：
用于基于与所述用户相关联的所述设备来确定所述区域内对应于所述用户的位置和取向的程序指令；
用于基于与所述用户相对应的所述位置和所述取向来确定与所述区域的一部分相关联的视场的程序指令；以及
用于基于对应于所述第一问题的位置将所生成的AR内容定位在所确定的与所述区域相关联的视场内的程序指令。
10.根据权利要求8所述的计算机程序产品，还包括：
用于基于从所述传感器的组接收的数据来确定所述区域内对应于所述第一问题的位置以及所述区域中对应于所述第一问题的所述第一物理元件的程序指令。
11.根据权利要求8所述的计算机程序产品，其中，用于生成对应于问题的AR内容的程序指令还包括：
用于从多个媒体文件中选择与所述问题相关的图形元件的程序指令；以及
用于基于从由增加所述图形元件的大小、添加视觉效果和添加方向性指示构成的组中选择的一个或多个项来修改与所述问题相关的所述图形元件的一个或多个方面的程序指令。
12.根据权利要求8所述的计算机程序产品，其中，用于显示所生成的与所述问题相关的AR内容的程序指令还包括：
用于确定与所述问题相应关联的评级的程序指令；以及
用于基于所确定的与所述问题相应关联的严重度评级来调整所生成的AR内容的一个或多个方面的程序指令。
13.根据权利要求8所述的计算机程序产品，其中问题包括从由超出规范条件的操作条件、所述区域的基础设施内的缺陷、与所述区域内的一个或多个物理元件相关联的缺陷以及由所述问题生成的危险构成的组中选择的一个或多个项。
14.根据权利要求9所述的计算机程序产品，还包括：
用于确定所述用户移动远离所述第一问题的所述位置的程序指令；以及
响应于确定所述用户移动远离所述第一问题的所述位置，修改向所述用户显示的所生成的与所述第一问题相关的AR的一个或多个方面的程序指令。
15.一种计算机系统，包括：
一个或多个计算机处理器；
一个或多个计算机可读存储介质；以及
存储在所述计算机可读存储介质上以供所述一个或多个计算机处理器中的至少一个执行的程序指令，所述程序指令包括：
用于从与用户相关联的设备接收对应于区域的视觉信息的程序指令；
用于从所述区域内的一个或多个传感器的组接收数据的程序指令，其中所述区域包括多个物理元件；
用于基于分析从所述传感器的组接收的所述数据，确定在所述区域内存在第一问题以及所述区域中对应于所述第一问题的第一物理元件的程序指令；
用于生成与所述区域内存在的所述第一问题相关的增强现实(AR)内容的程序指令；以及
用于经由与所述用户相关联的所述设备在对应于所述区域的所述视觉信息内显示所生成的与所述问题相关的AR内容的程序指令。
16.根据权利要求15所述的计算机系统，还包括：
用于基于与所述用户相关联的所述设备来确定所述区域内对应于所述用户的位置和取向的程序指令；
用于基于与所述用户相对应的所述位置和所述取向来确定与所述区域的一部分相关联的视场的程序指令；以及
用于基于对应于所述第一问题的位置将所生成的AR内容定位在所确定的与所述区域相关联的视场内的程序指令。
17.根据权利要求15所述的计算机系统，还包括：
用于基于从所述传感器的组接收的数据来确定所述区域内对应于所述第一问题的位置以及所述区域中对应于所述第一问题的所述第一物理元件的程序指令。
18.根据权利要求15所述的计算机系统，其中，用于生成对应于问题的AR内容的程序指令还包括：
用于从多个媒体文件中选择与所述问题相关的图形元件的程序指令；以及
用于基于从由增加所述图形元件的大小、添加视觉效果和添加方向性指示构成的组中选择的一个或多个项来修改与所述问题相关的所述图形元件的一个或多个方面的程序指令。
19.根据权利要求15所述的计算机系统，其中，用于显示所生成的与所述问题相关的AR内容的程序指令还包括：
用于确定与所述问题相应关联的评级的程序指令；以及
用于基于所确定的与所述问题相应关联的严重度评级来调整所生成的AR内容的一个或多个方面的程序指令。
20.根据权利要求16所述的计算机系统，还包括：
用于确定所述用户移动远离所述第一问题的所述位置的程序指令；以及
响应于确定所述用户移动远离所述第一问题的所述位置，修改向所述用户显示的所生成的与所述第一问题相关的AR的一个或多个方面的程序指令。
21.一种系统，包括分别用于执行根据权利要求1-7中任一项所述的方法的步骤的模块。
CN202111434876.3A 2020-12-10 2021-11-29 增强现实强化的情境感知 Withdrawn CN114625241A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/117,637 US20220188545A1 (en) 2020-12-10 2020-12-10 Augmented reality enhanced situational awareness
US17/117,637 2020-12-10

Publications (1)

Publication Number Publication Date
CN114625241A true CN114625241A (zh) 2022-06-14

Family

ID=79163959

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111434876.3A Withdrawn CN114625241A (zh) 2020-12-10 2021-11-29 增强现实强化的情境感知

Country Status (5)

Country Link
US (1) US20220188545A1 (zh)
JP (1) JP2022092599A (zh)
CN (1) CN114625241A (zh)
DE (1) DE102021129177A1 (zh)
GB (1) GB2604977A (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11635742B2 (en) 2017-12-04 2023-04-25 Enertiv Inc. Technologies for fault related visual content
US11031128B2 (en) * 2019-01-25 2021-06-08 Fresenius Medical Care Holdings, Inc. Augmented reality-based training and troubleshooting for medical devices
US20220334787A1 (en) * 2021-04-14 2022-10-20 Cilag Gmbh International Customization of overlaid data and configuration
US11580734B1 (en) * 2021-07-26 2023-02-14 At&T Intellectual Property I, L.P. Distinguishing real from virtual objects in immersive reality
US12014030B2 (en) * 2021-08-18 2024-06-18 Bank Of America Corporation System for predictive virtual scenario presentation
US11941231B2 (en) 2021-08-29 2024-03-26 Snap Inc. Camera interfaces to interact with IoT devices
US20230063944A1 (en) * 2021-08-29 2023-03-02 Yu Jiang Tham Two-way control of iot devices using ar camera
US11954774B2 (en) 2021-08-29 2024-04-09 Snap Inc. Building augmented reality experiences with IoT devices
US12085714B2 (en) * 2021-12-20 2024-09-10 International Business Machines Corporation Device management in a smart environment
US12001750B2 (en) * 2022-04-20 2024-06-04 Snap Inc. Location-based shared augmented reality experience system

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160140868A1 (en) * 2014-11-13 2016-05-19 Netapp, Inc. Techniques for using augmented reality for computer systems maintenance
CN107111365A (zh) * 2014-12-22 2017-08-29 国际商业机器公司 将虚拟空间中呈现的应用与物理显示器进行选择性配对
CN110555357A (zh) * 2018-06-04 2019-12-10 苹果公司 数据安全传感器系统
CN111344748A (zh) * 2017-10-13 2020-06-26 施耐德电子系统美国股份有限公司 增强现实光信标

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6500008B1 (en) * 1999-03-15 2002-12-31 Information Decision Technologies, Llc Augmented reality-based firefighter training system and method
US20030210228A1 (en) * 2000-02-25 2003-11-13 Ebersole John Franklin Augmented reality situational awareness system and method
US6616454B2 (en) * 2000-03-15 2003-09-09 Information Decision Technologies, Llc Method of simulating nozzle spray interaction with fire, smoke and other aerosols and gases
US20100159434A1 (en) * 2007-10-11 2010-06-24 Samsun Lampotang Mixed Simulator and Uses Thereof
JP5691568B2 (ja) * 2011-01-28 2015-04-01 ソニー株式会社 情報処理装置、報知方法及びプログラム
JP6121647B2 (ja) * 2011-11-11 2017-04-26 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US20130321245A1 (en) * 2012-06-04 2013-12-05 Fluor Technologies Corporation Mobile device for monitoring and controlling facility systems
US20130342568A1 (en) * 2012-06-20 2013-12-26 Tony Ambrus Low light scene augmentation
US9135735B2 (en) * 2012-06-26 2015-09-15 Qualcomm Incorporated Transitioning 3D space information to screen aligned information for video see through augmented reality
US11504051B2 (en) * 2013-01-25 2022-11-22 Wesley W. O. Krueger Systems and methods for observing eye and head information to measure ocular parameters and determine human health status
US10431005B2 (en) * 2015-05-05 2019-10-01 Ptc Inc. Augmented reality system
WO2016187352A1 (en) * 2015-05-18 2016-11-24 Daqri, Llc Threat identification system
US10360728B2 (en) * 2015-05-19 2019-07-23 Hand Held Products, Inc. Augmented reality device, system, and method for safety
US10528021B2 (en) * 2015-10-30 2020-01-07 Rockwell Automation Technologies, Inc. Automated creation of industrial dashboards and widgets
US20170178013A1 (en) * 2015-12-21 2017-06-22 International Business Machines Corporation Augmented reality recommendations in emergency situations
US9836652B2 (en) * 2016-02-02 2017-12-05 International Business Machines Corporation Showing danger areas associated with objects using augmented-reality display techniques
US9792567B2 (en) * 2016-03-11 2017-10-17 Route4Me, Inc. Methods and systems for managing large asset fleets through a virtual reality interface
GB201613138D0 (en) * 2016-07-29 2016-09-14 Unifai Holdings Ltd Computer vision systems
US10169921B2 (en) * 2016-08-03 2019-01-01 Wipro Limited Systems and methods for augmented reality aware contents
US10617956B2 (en) * 2016-09-30 2020-04-14 Sony Interactive Entertainment Inc. Methods for providing interactive content in a virtual reality scene to guide an HMD user to safety within a real world space
US11054335B2 (en) * 2017-02-22 2021-07-06 Middle Chart, LLC Method and apparatus for augmented virtual models and orienteering
KR102555443B1 (ko) * 2017-05-01 2023-07-12 매직 립, 인코포레이티드 콘텐츠를 공간 3d 환경에 매칭
US11048218B2 (en) * 2017-05-10 2021-06-29 Katerra, Inc. Method and apparatus for controlling devices in a real property monitoring and control system
US10713922B1 (en) * 2017-05-10 2020-07-14 Katerra, Inc. Method and apparatus for exchanging messages with users of a real property monitoring and control system
US10878240B2 (en) * 2017-06-19 2020-12-29 Honeywell International Inc. Augmented reality user interface on mobile device for presentation of information related to industrial process, control and automation system, or other system
US10445944B2 (en) * 2017-11-13 2019-10-15 Rockwell Automation Technologies, Inc. Augmented reality safety automation zone system and method
US11635742B2 (en) * 2017-12-04 2023-04-25 Enertiv Inc. Technologies for fault related visual content
US10809077B2 (en) * 2018-01-10 2020-10-20 International Business Machines Corporation Navigating to a moving target
US10853647B2 (en) * 2018-07-12 2020-12-01 Dell Products, L.P. Environmental safety notifications in virtual, augmented, and mixed reality (xR) applications
US11244509B2 (en) * 2018-08-20 2022-02-08 Fisher-Rosemount Systems, Inc. Drift correction for industrial augmented reality applications
US10325485B1 (en) * 2018-09-11 2019-06-18 Rockwell Automation Technologies, Inc. System or process to detect, discriminate, aggregate, track, and rank safety related information in a collaborative workspace
US10993082B2 (en) * 2018-09-27 2021-04-27 Amber Solutions, Inc. Methods and apparatus for device location services
US11197153B2 (en) * 2018-09-27 2021-12-07 Amber Solutions, Inc. Privacy control and enhancements for distributed networks
US11205011B2 (en) * 2018-09-27 2021-12-21 Amber Solutions, Inc. Privacy and the management of permissions
US10665032B2 (en) * 2018-10-12 2020-05-26 Accenture Global Solutions Limited Real-time motion feedback for extended reality
US10832484B1 (en) * 2019-05-09 2020-11-10 International Business Machines Corporation Virtual reality risk detection
EP4070574A4 (en) * 2019-12-05 2024-01-17 Sol-X Pte. Ltd. OPERATIONS AND INCIDENT MANAGEMENT SYSTEMS AND METHODS
US11158177B1 (en) * 2020-11-03 2021-10-26 Samsara Inc. Video streaming user interface with data from multiple sources

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160140868A1 (en) * 2014-11-13 2016-05-19 Netapp, Inc. Techniques for using augmented reality for computer systems maintenance
CN107111365A (zh) * 2014-12-22 2017-08-29 国际商业机器公司 将虚拟空间中呈现的应用与物理显示器进行选择性配对
CN111344748A (zh) * 2017-10-13 2020-06-26 施耐德电子系统美国股份有限公司 增强现实光信标
CN110555357A (zh) * 2018-06-04 2019-12-10 苹果公司 数据安全传感器系统

Also Published As

Publication number Publication date
US20220188545A1 (en) 2022-06-16
GB202116917D0 (en) 2022-01-05
GB2604977A (en) 2022-09-21
JP2022092599A (ja) 2022-06-22
DE102021129177A1 (de) 2022-06-15

Similar Documents

Publication Publication Date Title
CN114625241A (zh) 增强现实强化的情境感知
US20200250462A1 (en) Key point detection method and apparatus, and storage medium
US20190355177A1 (en) Building system maintenance using mixed reality
US10593118B2 (en) Learning opportunity based display generation and presentation
EP3382643B1 (en) Automated object tracking in a video feed using machine learning
CN108228705B (zh) 直播视频反馈中的自动对象和活动跟踪设备、方法及介质
US20160035246A1 (en) Facility operations management using augmented reality
KR102158529B1 (ko) 확장현실과 사물인터넷기반 시설 및 산업안전에서 관제센터와 구조자 관점의 스마트생활안전 대응 제공 방법 및 시스템
US11710278B2 (en) Predictive virtual reconstruction of physical environments
CN111143906A (zh) 控制方法和控制装置
US20170148334A1 (en) Directing field of vision based on personal interests
CN113033529A (zh) 基于图像识别的预警方法、装置、电子设备和介质
US11340693B2 (en) Augmented reality interactive messages and instructions for batch manufacturing and procedural operations
KR20180046431A (ko) 성인의 인터넷중독 스크리닝을 위한 의사결정나무를 활용한 인터넷 과의존 분류 예측 장치 및 방법
CN116167935A (zh) 二维码的修复方法、装置、设备及介质
CN115766401A (zh) 工业告警信息解析方法、装置、电子设备与计算机介质
US11710483B2 (en) Controlling voice command execution via boundary creation
CN116027777A (zh) 人工智能模型在启用ai的自主机器人设备上的动态使用
KR101587877B1 (ko) 모니터링 시스템 및 방법, 이를 수행하기 위한 기록매체
CN112650896B (zh) 数据处理方法、装置、设备及存储介质
US20180012126A1 (en) Computer-Implemented System And Method For Predicting Activity Outcome Based On User Attention
US11270670B2 (en) Dynamic visual display targeting using diffraction grating
US12028379B2 (en) Virtual reality gamification-based security need simulation and configuration in any smart surrounding
KR102525305B1 (ko) 선박 유지 보수를 위한 통합 정보 관리 서비스를 제공하는 방법, 서버 및 시스템
McKay et al. Fixed AI-Powered Imaging for Automated Leak Detection on Offshore Production Platforms

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20220614