CN108228345A - 用于交互式认知任务协助的系统和方法 - Google Patents

用于交互式认知任务协助的系统和方法 Download PDF

Info

Publication number
CN108228345A
CN108228345A CN201711210508.4A CN201711210508A CN108228345A CN 108228345 A CN108228345 A CN 108228345A CN 201711210508 A CN201711210508 A CN 201711210508A CN 108228345 A CN108228345 A CN 108228345A
Authority
CN
China
Prior art keywords
data
task
sensor
execution
processing unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711210508.4A
Other languages
English (en)
Other versions
CN108228345B (zh
Inventor
W·J·伍德
M·H·博伊德
M·K·洛朗热
D·H·硞苏达
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Boeing Co
Original Assignee
Boeing Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Boeing Co filed Critical Boeing Co
Publication of CN108228345A publication Critical patent/CN108228345A/zh
Application granted granted Critical
Publication of CN108228345B publication Critical patent/CN108228345B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/042—Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
    • G05B19/0423—Input/output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G06F9/453—Help systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5038—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/20—Administration of product repair or maintenance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/24—Use of tools
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/20—Pc systems
    • G05B2219/24—Pc safety
    • G05B2219/24019—Computer assisted maintenance
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32014—Augmented reality assists operator in maintenance, repair, programming, assembly, use of head mounted display with 2-D 3-D display and voice feedback, voice and gesture command
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32226—Computer assisted repair, maintenance of system components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G06F16/243—Natural language query formulation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Human Resources & Organizations (AREA)
  • General Engineering & Computer Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Quality & Reliability (AREA)
  • Human Computer Interaction (AREA)
  • Educational Administration (AREA)
  • Operations Research (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Automation & Control Theory (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Educational Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Development Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Manufacturing & Machinery (AREA)
  • User Interface Of Digital Computer (AREA)
  • Testing And Monitoring For Control Systems (AREA)
  • Manipulator (AREA)
  • Debugging And Monitoring (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Testing Or Calibration Of Command Recording Devices (AREA)

Abstract

本申请公开了用于交互式认知任务协助的系统和方法。公开了一种允许维护者使用自然语言与应用程序对话的认知助手。所述维护者可以快速地与应用程序进行免手动交互，而无需使用复杂的用户界面或所记忆的语音命令。所述助手使用增强现实音频和视觉提示向维护者提供指令。所述助手向维护者仔细解释维护任务并且使用IoT传感器验证适当执行。如果在完成步骤之后，所述loT传感器并非预期的那样，那么通知维护者如何解决所述情况。

Description

用于交互式认知任务协助的系统和方法
技术领域
本发明涉及用于生产和维护物理结构的系统和方法，且确切地说涉及一种用于向用户提供指导以对物理结构执行任务的系统和方法。
背景技术
传统的维护活动使用用户(维护者)参照的纸质维护手册来查找适当的维护任务，并遵循这些任务的每个步骤。因此，维护者必须查找纸质维护手册，找到与期望维护任务有关的手册适当部分，确定需要哪些工具和其它资源(通常位于其它位置)，并获得这些工具和资源。然后，维护者必须针对每个步骤参照纸质维护手册，执行步骤，然后重新参照纸质维护手册以确定下一步。维护者必须不断地停止工作来参照每个步骤的手册指令，从而延长了执行任务所需的时间，并增加维护者出现错误的机会。总之，纸质维护手册必须被存储和检索，搜索和查询较为不易，并且需要维护者在维护任务与相关手册之间切换，这使得维护过程减慢。
虽然存在数字维护手册并且通过使其便携和可搜索缓解了这些缺点中的一些，但是维护者仍然必须腾出手与数字维护手册进行交互。数字维护手册可以包括视频，但是这样的视频通常不是比维护者执行步骤的能力更快就是更慢，因此维护者必须不断地启动和重启(或倒回)视频的播放。
可使用改进这样的数字维护手册的系统。例如，增强现实已经用于使用增强现实眼镜来指导维护者执行维护步骤。德国宝马汽车公司(Bavarian Motor Works)已经提出了一种这样的系统，如由Victoria Woollaston于2014年1月21日在《每日邮报(Daily Mail)》上发表的《机修工的末日？BMW智能眼镜使任何人仅通过查看就能定位和修理汽车引擎故障成为可能(End of the Mechanic？BMW Smart Glasses Make it Possible for Anyone toSpot and Fix a Car Engine Fault Just by Looking at It)》(以引用方式并入本文)中所描述。哥伦比亚大学计算机图形与用户界面实验室(Columbia University ComputerGraphics and User Interfaces Lab)的Steve Henderson和Steven Feiner在2016年公布的《增强现实用于维护和维修(Augmented Reality for Maintenance and Repair(ARMAR))》(也以引用方式并入本文)中描述了类似系统的示例。这公开了使用叠加并注册到实际修复设备上的实时计算机图形，通过使用头戴式运动跟踪显示器提高维护人员的生产率、准确性和安全性，以信息，例如子部件标签、指导维护步骤、实时诊断数据和安全警告，增强用户对系统的物理视角。这样的系统可以使用智能头盔，例如可向DAQRI购买的那些，Brian Barrett于2016年1月7日在《连线(wired)》上发表的《Daqri智能头盔(DaqriSmart Helmet)》(也以引用方式并入本文)中有描述。
很遗憾，这样的现有系统不能解决许多维护问题。例如，用户与BMW系统进行的交互涉及局限于维护者提供例如“下一步”等口头命令的语音交互。所述系统既不能使用来自用户的普通语言请求来确定要执行的任务，也不能确定所述任务的步骤。因此，对于给定的问题，维护者仍须确定要执行哪项任务(例如，没有诊断，也没有允许用户以普通语言实现找到适当任务或任务步骤的目标的任何特征)。在这一方面，ARMAR和DAQRI系统具有类似缺陷。
上述系统也不能监视步骤的执行(以提供反馈，所述反馈确认步骤已被适当执行或指示没有适当执行并提供纠正动作)或提供记录步骤执行的数据。例如，要执行的步骤可以是以特定转矩将螺母拧紧至螺栓。
关于监视步骤的执行以提供反馈，上述系统均不能感测维护者是否未将螺母拧紧至适当规格、维护者是否使用适当的工具、用户是否未在拧紧螺母之前将其对准螺栓的螺纹。这样的错误不太可能及时被发现，并且即使被发现了，也将浪费时间，因为它们可能需要拆卸或以相反顺序执行任务步骤以允许纠正错误。另外，上述系统均不能感测到在用户正在执行步骤的同时是否适当地执行步骤，并因此防止损坏所使用的工具或正在工作的结构。
关于记录，上述系统均未记录关于步骤执行的任何数据。这样的数据可用于进一步改进维护程序，或估计这样的程序应采用多长时间。所述数据还可以用于识别后续故障的原因(例如，当来自特定供应商的螺母被扭转至转矩规定的上限时，后续故障是更常见的)。
因此，期望具有一种考虑上面讨论的至少部分问题以及其它可能问题的方法和设备。
发明内容
为了满足上述要求，本文档公开了一种用于提供指导以执行具有对工作站处的物理结构执行的至少一个步骤的任务的系统和方法。在一个实施例中，所述方法包括：在指导处理单元中从执行实体接收命令，所述命令调用任务；在所述指导处理单元中根据命令确定至少一个步骤；从指导处理单元向执行实体传输指令数据，所述指令数据说明至少一个步骤的执行；在指导处理单元中接收由靠近物理结构的传感器生成的实时传感器数据，所述传感器感测步骤的执行；以及根据传感器数据计算步骤的执行度量。所述系统和方法可以例如通过增强现实环境传达音频和3D视觉提示组合而成的信息使维护操作完全免手动(hands-free)而使维护操作更有效率，因而减少了执行复杂维护操作的航空器或其它产品的维护、修复和维修时的错误、返工、安全风险和延迟。所述系统和方法还可以减少培训并降低用于执行复杂维护操作的航空器或其它产品的维护、修复和维修的执行成本。
另一实施例表现为一种用于提供指导以执行具有对工作站处的物理结构执行的至少一个步骤的任务的系统，其中所述系统包括靠近物理结构的传感器、呈现装置和包括处理器的指导处理单元，所述处理器通信地连接到存储指令的存储器，所述存储器包括指令。这些指令包括以下指令：用于从执行实体接收命令，所述命令调用所述任务；根据所述命令确定至少一个步骤；向执行实体传输说明至少一个步骤的执行的指令数据以供呈现装置呈现；接收由靠近物理结构的传感器生成的实时传感器数据，所述传感器感测步骤的执行；以及根据传感器数据计算步骤的执行度量。所述系统可以例如通过增强现实环境传达音频和3D视觉提示组合而成的信息使维护操作完全免手动而使维护操作更有效率，因而减少了执行复杂维护操作的航空器或其它产品的维护、修复和维修时的错误、返工、安全风险和延迟。所述系统和方法还可以减少培训并降低用于执行复杂维护操作的航空器或其它产品的维护、修复和维修的执行成本。
已经讨论的特征、功能和优点可以在本发明的各种实施例中独立实现，或可以在另外的实施例中组合，这些其它实施例的进一步细节可以参考以下描述和附图看出。
附图说明
现在参考附图，其中相同的附图标记表示全部对应部分：
图1是描绘示例性维护/组装/测试设施的图；
图2呈现工作站的一个实施例的功能框图；
图3A到3C是描绘可以用于指导用户完成任务的示例性过程步骤的一个实施例的图；
图4是说明指导处理单元与工作站的其它元件和中央处理器的操作的图；
图5A和5B是说明指导处理器和工作站的相关元件的示例性测试台实施方案的图；
图6是说明可以用于实施地理定位系统的处理元件的示例性计算机系统的图。
具体实施方式
在以下描述中，参考形成所述描述的一部分的附图并且通过说明的方式示出了几个实施例。应理解的是，在不脱离本发明的范围的情况下，可以利用其它实施例且可以做出结构改变。
概述
本文描述的系统和方法通过协助维护者定位正确的维护程序、使用音频和视觉队列引导维护者执行每个维护步骤以及通过使用传感器反馈验证每个步骤的正确性来改进平台或其它物理结构的维护者的表现和效率。在一个实施例中，传感器经由物联网(Internet of Things，IoT)进行集成。系统提供以下能力：(1)使用可视和其它IoT传感器来执行初始诊断为维护者选择适当的工作顺序；(2)自动收集与维护操作相关联的图像和数据以提供经传感器验证的审计跟踪，而不是依赖维护者手动输入；(3)自动收集执行和周期时间指标(示出维护步骤需要执行多长时间)来识别过程改进机会，包括维护者培训机会。在一个实施例中，系统在使用自然语言以发出命令并控制维护环境的语音控制下进行操作。例如，操作者可以通过声音要求开灯而不是伸手触及灯开关。
所述系统和方法为新的维护工具增加了几种认知能力，包括语音转文本、文本转语音、自然语言处理、机器学习和增强现实。这些能力允许维护者使用自然语音命令与维护工具交互，而无需记忆精确的语音命令。所述工具还利用自然语言处理和机器学习来确定语音命令的意图，并相应地对这些命令作出反应。来自所述工具的反馈使用免手动增强现实(提供自然语言音频命令和重叠于现实世界对象的3D视觉信息)呈现给维护者。
所述工具集成了几种不同的能力以使终端系统比每个单独部件更强大。在一个实施例中，所述工具组合了IoT、认知自然语言处理和高级文档索引和查询。这允许维护者容易地获得快速有效地执行维护所需的全部知识。所述工具还通过增强现实环境传达音频和3D视觉提示组合而成的信息来使维护操作完全免手动。所述工具还为现有的维护工具增加了认知能力和IoT反馈，否则需要大部分手动和未经验证的维护步骤。认知能力的增加允许维护者以快速有效的方式定位相关维护信息，且增加IoT反馈验证每个步骤的适当完成以减少返工。
虽然主要在执行维护任务方面进行了描述，但是所述工具也同样适用于生产应用，或在其中对物理结构执行任务(包括制造和质量控制)的任何地方。例如，下文描述的技术适用于包括汽车、航空器、航天器和水上运输工具的物理结构的组装和测试。
图1是描绘示例性维护/组装/测试(MAT)设施100(以下简称为设施或MAT 100)的图。MAT 100具有在其中执行任务的一个或更多个工作站102A到102N(以下替代地称为工作站102)。每个工作站102包括在其上执行维护、组装/拆卸零件或执行测试的物理结构106。工作站102还可以包括用于对物理结构106执行任务的一个或更多个工具110A到110N(以下替代地称为工具110)。这样的任务可以由一个或更多个用户，例如人108P或机器人108R(以下替代地称为用户108)执行。
物理结构106、工具110和用户108中的一个或更多个包括一个或更多个传感器(统称为传感器112)，其分别测量或监视相关物理结构106、工具110或用户108的特性。例如，物理结构106可以包括感测物理结构106的特性的一个或更多个物理结构传感器112B。此特性可以包括物理特性(例如附属物相对于物理结构106的另一部分的位置或角度)、电特性(例如导体或物理结构106的电压或电流测量值)或可由任何类型的传感器测量的任何其它特性。物理结构传感器112B可以包括作为物理结构106的完整组件的一部分的传感器或固定至物理结构106的物理结构传感器112B，其用于维护或生产目的并且随后在组装或维护完成之前被移除。例如，物理结构106可以包括飞行操纵面，例如包括积分电位计的方向舵，所述积分电位计测量方向舵的位置用于导航和控制。在此示例中，此电位计可以用作物理结构106的物理结构传感器112B中的一个，不仅用于操作组件，也用于测试用途。在其它实施例中，另一物理结构传感器112B可以附接至所述物理结构用于执行MAT操作。例如，可以将单独的电位计固定至方向舵，且可以通过积分电位计将以此传感器进行的方向舵位置测量值与方向舵的测量位置进行比较。
类似地，一个或更多个工具110各自可以包括分别用于感测或测量相关工具110A到110N的特性的一个或更多个传感器112DA到112DN。所述特性同样可以包括由传感器112测量的物理特性、电特性或任何其它特性中的一个或更多个。例如，工具110A可以包括转矩扳手，且传感器112DA可以测量通过转矩扳手施加至物理结构106的一部分(例如螺栓或螺母)上的转矩。这样的传感器112D还可以包括温度传感器(用于在使用期间监视工具110的温度)。
同样地，一个或更多个用户108可以包括或使用一个或更多个传感器112。(一个或更多个)用户108可以包括例如人108P或机器人108R。机器人108R可以包括一个或更多个机器人传感器112F，以感测机器人108R的特性、工作站102A的其它元件(包括物理结构106、工具110或人108P)的一个或更多个特性。在一个实施例中，机器人108R包括多个电位计，这些电位计提供机器人108R的结构的相对位置的指示，且可以根据这些电位计来确定机器人108R的头部或工作面的位置。这可以用于，例如确定作为时间函数的机器人108的工作端以及其任何结构的位置。在另一实施例中，机器人108R包括设置在工作端处或附近的照相机或其它可视传感器，使得可以获得工作端周围区域的视觉表示。传感器112F可以与机器人108R集成(例如，机器人108R使用传感器测量值来控制机器人对命令的响应)，或可以被增加至机器人108R以仅在工作站102处使用来执行MAT操作。这样的机器人传感器112F还可以包括温度传感器(用于在使用期间监视机器人108R或机器人108R的部分的温度)。
作为另一示例，人108P可以佩戴一个或更多个传感器112E。这样的传感器112E可以包括例如增强现实耳机。这样的耳机通常包括立体头戴式显示器(为人的每只眼睛提供单独的图像)和头部运动跟踪传感器。这样的运动跟踪传感器可以包括例如惯性传感器(例如加速度计和陀螺仪)、结构光系统和眼睛跟踪传感器。当增强现实耳机由人108P佩戴时，这个人可以查看他们的周围事物，但是立体图像被施加至这些周围事物上。这样的立体图像可以包括例如物理结构106的部分或任务的步骤所要求的对物理结构106的改变。惯性传感器和眼睛传感器可以用于确定用户在惯性空间中正查看的方向，以及叠加在那些图像上的物理结构的图像。
因为增强现实耳机不仅记录视频图像，而且还呈现被叠加在真实图像上的视频图像，所以这样的耳机不仅可以视为传感器，也可以视为向用户108呈现信息的增强现实耳机114B的呈现元件。工作站102A还可以包括用于显示指令信息的更常规的呈现装置，例如显示器114A。
传感器112E还可以包括可以测量人的附属物的惯性状态的其它传感器112E，例如加速计或陀螺仪等的例如附属物安装式惯性传感器。在一些实施例中，传感器可以包括用于监视人108P的传感器，例如测量温度或心率的传感器。由这样的传感器提供的信息用于确定由人108P执行的任务是否特别困难。
工作站102A还可以包括环境传感器112A。环境传感器112A是测量工作站102的环境特性的传感器。这可以包括例如(例如，使用温度计和湿度计)测量环境温度或湿度的传感器和确定工作站102的任何元件彼此的物理位置或接近度的可视传感器，这些元件包括物理结构106、工具110、用户108或指导处理单元104的元件。环境传感器112A可以包括设置在工作站102A的其它元件上的元件。环境传感器112A可以包括无源、有源或半有源系统。例如，有源环境传感器的一个实施例可以包括定位于工作站102的另一元件(例如，机器人108R的臂)上的反射器、照亮所述反射器的照明器以及测量已照亮的传感器的位置的可视传感器。无源环境传感器的示例是可能对可见光、紫外或红外波长敏感的视觉传感器，例如摄像机或静物照相机。环境传感器112A还可以包括可用于识别物理结构106和其特性的射频识别(RFID)系统。
任何或全部传感器112通信地连接到指导处理单元104(如由指示)，从而准许指导处理单元104从传感器接收数据。另外，指导处理单元104可以通信地连接到其它工作站102B到102N的指导处理单元以及中央处理器120(如由指示)。
图2是工作站102的一个实施例的图。工作站102包括指导处理单元104、一个或更多个传感器112、执行器202、呈现装置114(其包括显示器114A和增强现实耳机114B的呈现元件)和物理结构106。
指导处理单元104从传感器112接收传感器数据，并且在一些实施例中也向传感器112提供传感器命令。这样的命令可以包括例如关于传感器112的分辨率或有效范围的命令。指导处理单元104还发送命令并且从执行器接收数据。这样的执行器可能包括，例如控制传感器112或机器人108R中的一个的步进马达。
在所说明的实施例中，指导处理单元104包括通信地连接到处理器208的接口206。传感器112经由接口206向处理器208提供传感器数据。另外，传感器112可以经由接口206从处理器接收命令。类似地，处理器208通过接口206向执行器202提供命令，并且也可以从执行器202接收数据。
指导处理单元104向呈现装置114提供用于完成任务对物理结构执行的步骤的执行进行说明的指令数据，并且还可以经由接口206提供命令来控制传感器112。同样地，呈现装置114可以向指导处理单元104提供命令或信息。
指导处理单元104包括通信地连接到存储处理器指令的一个或更多个存储器的处理器208，这些处理器指令在被执行时使指导处理单元104执行下文描述的操作。处理器208可以包括多个处理器208，且这样的处理器208可以彼此远离地定位。在下面进一步描述的实施例中，处理器208包括分布式处理元件。
图3A和3B是描绘可用于指导用户108完成涉及对物理结构106进行的一个或更多个步骤的任务的示例性过程步骤的一个实施例的图。在框302中，用户108或执行实体传输命令，所述命令调用要对物理结构106执行的任务。在框304中，由指导处理单元104接收命令。
在一个实施例中，此命令是由音频传感器感测并且被提供给指导处理单元104的免手动(例如，语音)命令，其中音频命令被语音识别模块识别并且被转换成文本。这样的语音命令可以是固定的命令语言(其中用户108的责任是学习指导处理单元104所需的命令语法和措辞)和自然语言(其中指导处理单元104的责任是解译语音命令并且将它们转换为搜索适当任务和步骤所需的语法和措辞)的形式。固定的命令语言可以包括通过培训将用户的语音转换成文本的软件部件来完成的特定领域的培训。
在其它实施例中，所述命令包括经由通信地连接到指导处理单元104的控制器装置的数字命令，所述控制器装置例如遥控器、计算机键盘、鼠标、游戏控制器或触摸屏显示器。在另一实施例中，所述命令由监视系统感测并且被转换为数字命令。例如，可以使用由用户108执行、由成像传感器(例如，环境传感器112A)感测并且被提供给指导处理单元的手势来完全或部分地实施所述命令，这样的手势在指导处理单元中被分析、解译和转换成数字命令。
在另外其它实施例中，所述命令是经由系统到系统消息从用于机器人108R或其它工作站102处的其它机器人或中央处理器120的控制系统接收的数字命令。
接下来，指导处理单元104根据接收到的命令确定要执行的一个或更多个步骤。所接收的命令可以有许多不同的形式。在一个实施例中，所述命令包括广义目标而不是具体任务。例如，用户108可以发出命令“空调不工作”。鉴于此命令，指导处理单元104确定物理结构的哪些问题可能是空调不工作的原因。在做出此确定时，指导处理单元104可以从机载诊断(OBD)型传感器接受输入。然后，指导处理单元104响应于所述命令来确定一项或更多项任务，并且根据所确定的任务确定至少一个步骤。例如，在空调故障示例的情况下，指导处理单元可以生成多项任务(每项任务用于检查空调系统的每个部件)以及用于诊断哪个部件有缺陷的任务。每项任务具有层级低于其的一项或更多项子任务。在任务和子任务的层级的底部为表示适合于对用户108的具体指令的活动单元的步骤。在上述示例中，所述步骤可以是移除空调压缩机的单个螺钉，或移除空调压缩机的子系统。其中限定步骤的层级可以取决于步骤的复杂性和用户108的经验。例如，语音命令可以包括用户108的经验水平的指示和根据这种经验水平限定的步骤的层级。如本文进一步限定，指导处理单元104可以存储指示用户108执行步骤或任务的效果的执行数据，且此信息可用于确定用户108的经验水平，从而产生适合于用户的经验水平的步骤或指令。在这种情况下，用户108可以通过用户输入(例如，键入或说出用户的姓名)经由RFID技术或其它方式来确定。
在一个实施例中，根据所接收的命令确定任务包括使用自然语言解译器根据所接收的命令生成数据库查询。这样的解译器允许用户以普通会话语言发出命令。对命令中的单词进行解析，且针对语法、语义、话语和语音来分析所解析的单词。结果是以适当的语言和语法进行数据库查询。此查询被提供给通信地连接到指导处理单元(例如，中央处理器120)的数据库，且根据数据库查询的结果确定任务。一旦识别了任务，就可以基于任务生成查询以根据用户的经验和能力来检索要执行的适当步骤。
在一个实施例中，所述任务是要对物理结构106执行的多项任务中的一项，并且根据当前背景数据进一步确定数据库查询。这样的背景数据包括例如关于对物理结构106执行的多项任务中的其它任务的信息和由物理结构本身、环境施加给任务的约束(例如，其它元件或物理结构的位置、温度、湿度、工具110的执行限制)。例如，可能已经对物理结构106执行了任务，使得执行另一特定任务所需的步骤有所改变。返回至空调系统的示例，另一任务可能导致移除子系统或部分，使得所述子系统或部分的移除在当前任务中是不必要的。相反，可能已经执行了步骤或任务，使得执行当前任务需要附加步骤。例如，如果先前任务涉及粘合部件，那么当前任务可能需要等待一段时间来让胶水凝固。来自先前完成的任务的执行度量也可以用于更改或修改要对当前任务执行的步骤的限定。例如，如果先前任务包括以特定转矩拧紧螺栓上的螺母的步骤，那么被施加至螺栓的测量转矩(先前步骤的执行度量)可用于估计移除所述螺母以进行后续任务所需要的转矩。
在其它实施例中，可以使用与正在执行的工作相关的存储信息(例如工作顺序或其它信息)来确定任务。任务(和步骤)也可以基于由物理结构106的状态或环境施加的约束来确定。例如，先前任务可能已经拆卸物理结构106的至少一部分，在这样的情况下，不再需要拆卸物理结构的一部分所需的步骤。相反，先前任务可能已经修改了物理结构106，使得需要执行附加步骤。作为另一示例，可能需要在给定环境温度下执行步骤。如果环境温度太低，那么任务可能包括将环境温度升高至更高值的步骤，如果环境温度足够高，那么不需要所述步骤。作为另一示例，物理结构的电位计测量的电压可以取决于环境温度。环境传感器112A可以用于感测此温度，并且基于这样的环境温度来确定电位计的适当设置。其它环境约束可以包括，例如工作站102的其它元件(例如机器人108R的臂、工具110或其它物理结构)的位置，因为这些结构的位置可以防止拆卸物理结构106。在这种情况下，环境传感器可以包括感测物理结构106和附近元件的位置的可见光传感器。另外，环境可以包括哪些工具110在工作站102处可用，以及哪些工具必须从其它位置中检索以完成任务。在这种情况下，环境传感器112A可以包括工具上的RFID标签。
返回至图3A，如框308中所示，指导处理单元然后传输说明(一个或更多个)步骤的指令数据。如框310中所示，一个或更多个呈现装置114(其可以包括显示器114A和/或增强现实耳机114B的呈现元元件，或扬声器或其它音频传感器(未说明))接收指令数据。在视觉呈现装置的情况下，呈现步骤的视觉表示。在一个示例中，在显示器114A上呈现步骤的视觉表示。在另一示例中，经由增强现实耳机114B的呈现元件在增强现实中呈现步骤的视觉表示。
在一个实施例中，说明(一个或更多个)步骤的指令数据包括经由增强现实耳机在增强现实中呈现的步骤的视觉表示。增强现实耳机通常包括立体头盔式显示器(为每只眼睛提供单独的图像)、用于立体声的两个扬声器以及头部运动跟踪传感器(其可以包括陀螺仪、加速计和结构光系统)。一些增强现实耳机也具有眼睛跟踪传感器。通过使用头部(和可选地，眼睛)跟踪传感器，增强现实耳机意识到其在惯性空间中的位置和定向，并且将此信息提供给指导处理单元104。指导处理单元104使用此信息来确定用户108应该观看的内容，并且可以将其它图像叠加在呈现给用户108的图像上。例如，如果用户108正在查看物理结构106，那么指导处理单元104可以高亮显示必须被物理操纵的特定部分以执行被提供在增强现实耳机114B中的显示器上的指令。因此，当指导处理单元104正在做将所说明步骤与用户108所看到的背景图像进行匹配的工作时，用户108可以具体地意识到对于物理组件的每个部分必须完成哪些动作且哪些动作特别有用。其还消除了错误，因为用户108不太可能将物理结构106的一部分误认为另一部分(例如，用户将不会松开错误的螺栓)。指令数据还通常包括音频信息(例如，要执行的步骤的口头描述或物理结构在执行步骤期间或之后应该听上去像什么的听觉表现)，且增强现实耳机114B的呈现元件通常使用增强现实耳机114B中的扬声器来呈现此信息。在一个实施例中，口头指令是以自然语言(例如，普通人对话语言)提供。这样的自然语言指令可以是任何语言(例如英语、德语、中文等)形式。可以在各种装置上提供视频和/或音频指令，这些装置包括例如手机或平板电脑等移动计算装置以及桌面计算装置。
如框312中所示，用户108接收说明步骤的所呈现的指令数据，并且开始执行所述步骤。这通常由人108P完成，但是也可以由机器人108R或由人108P与机器人108R合作完成，其中人108P和机器人108R各自执行其步骤的子集，或人108P和机器人108R一起合作进行一个或更多个步骤。
如框314中所示，当执行步骤时，生成感测步骤执行的传感器数据。如框316中所示，传输传感器数据，以及如框318中所示，指导处理单元104接收传感器数据。传感器数据用于监视步骤的执行，例如以确定步骤的进度和步骤何时以及是否已完成。传感器数据还可以用于确定用户108何时开始实际上执行所述步骤(稍后用于计算用户108完成所述步骤花费的时间)。传感器数据也可用于存储指示步骤执行随时间变化的数据。这样的数据可能在后期的故障诊断中是有用的。
此传感器数据可以由工作站102处的传感器112中任何一个或组合生成。这样的传感器112可以观察：
在其上执行任务的物理结构106的一个或更多个状态：这可以使用与物理结构本身成一体或附接至物理结构本身的物理结构传感器112B或环境传感器112A来完成。物理结构传感器112B和环境传感器112A可以包括视觉和/或非视觉传感器。例如，在一个实施例中，环境传感器112A包括视觉传感器，所述视觉传感器使用类似于在无人驾驶汽车中使用的对象和模式识别技术来视觉地观察物理结构106的状态。这样的传感器112B可以包括嵌入式传感器和RFID标签。
执行任务的执行实体或用户108的一个或更多个状态：用于测量这样的状态的(一个或更多个)传感器112E可以包括头戴装置，包括音频传感器、成像和视频传感器、例如陀螺仪和加速计等惯性测量传感器和例如心率监视器等个人传感器；
用于执行任务的装置(例如，工具110、测试设备和零件)的一个或更多个状态：这可以使用被安装在工具110上或与其集成的传感器112DA到112DN或环境传感器112A以与环境传感器可以观察物理结构相同的方式来完成。这样的工具可以包括RFID标签或嵌入式工具传感器；
协作进行任务的装置的一个或更多个状态：这可以包括例如由(一个或更多个)机器人传感器112F测量的机器人108R的(一个或更多个)状态；或者
正在其中执行任务的周围环境的一个或更多个状态：这可以包括例如环境传感器112A感测工作站102或其任何元件的温度、工作站的湿度、工作站的功耗或作为时间函数的工作站102的元件的位置。这样的环境传感器可以包括成像传感器、音频传感器、温度传感器和湿度传感器。
在一个示例中，步骤是用户108使用作为转矩扳手的工具110A来拧紧螺栓上的螺母。转矩扳手包括感测由工具110A施加的转矩量的转矩传感器112DA。在此实施例中，转矩传感器112DA测量被施加至物理结构106的转矩，并且将包括所测量的转矩的传感器数据传输至指导处理单元104。这样的传输可以使用有线或无线方式完成。在另一示例中，所述步骤是用户转动螺钉直到微动开关被激活为止(例如，从断开位置切换至闭合位置)。在这种情况下，传感器在螺钉转动时传输与断开位置相关联的电压，并且当螺钉转动至适当位置时，开关被激活，且传输与闭合位置相关联的电压。在这种情况下，传输由一个电压或另一电压组成的实时传感器数据。
返回至图3A，如框中320所示，指导处理单元104根据传感器数据计算执行度量。这可以例如通过将接收到的传感器数据与阈值进行比较并且根据接收到的传感器数据与阈值的比较计算执行度量来完成。执行度量可用于监视步骤的执行和/或验证步骤的执行，如下文进一步描述。在用于以特定转矩拧紧螺栓上的螺母的转矩扳手的示例中，将接收到的实时传感器数据与阈值转矩值(例如，10牛顿米)进行比较，且根据所感测的转矩与阈值转矩值之差来计算执行度量。
在一个实施例中，指导处理单元104可选地向用户108提供关于任务的进度的实时反馈。这在图3B的虚线框中进行说明。框322可选地根据传感器数据与阈值的比较来生成和传输反馈数据。如框324和框326中所示，此反馈数据可选地由呈现装置114接收并且被呈现给用户108。执行数据的生成和反馈的传输允许用户在执行步骤本身的同时接收关于步骤进度的信息。例如，在用户108拧紧螺栓上的螺母的情况下，框322到框326可以计算包括所测量的转矩与转矩要求或阈值之差的执行度量，并且将此差以仪表、数字显示器或其它方式呈现给用户。反馈也可以是听觉的(例如，当实现了适当的转矩值时发出嘟嘟声)或听觉与视觉两者(例如，示出靶心图中的测量转矩与所需转矩之间的比较的视觉描绘以及当实现了适当转矩时发生音调的听觉反馈)或改变音高，允许用户在不观看视觉呈现的情况下调整转矩。
出于物理支持或安全考虑，反馈还可以提供与阈值的环境状态进行的比较。例如，这样的数据和相关阈值比较可以包括温度、湿度、危险装置的位置和/或移动(例如，在执行任务的一个或更多个步骤期间，叉车正在接近用户和/或在用户108的附属物可能所处的距离或阈值内)，并且启用或锁定安全装置。类似地，所收集的传感器数据可以被提供给其它工作站102处或MAT100中的工作站102之间的其它元件，以控制这些其它元件来防止出现这样的危害(例如，将传感器数据传输至叉车以警告操作者将要执行步骤以及叉车应该保持安全距离)。
在框328中，指导处理单元104确定步骤是否已经完成。这可以通过确定根据阈值和传感器数据计算的执行度量是否在规定的公差内来完成。在一个实施例中，这是通过将物理结构106、工作站102或MAT 100的元件状态与当针对测量或实际状态适当地完成了步骤时物理结构106、工作站102的元件(例如工具110)或MAT 100的元件的预期状态进行比较来完成。再次转至用户108拧紧螺栓上的螺母的示例，当执行度量(所测量的转矩与规定的所需转矩(表示所需值)之差)在所需转矩的公差(例如，0.1Nm)内时，框328将指示拧紧螺栓的步骤完成。
如果步骤未完成，那么处理回到框318以接收和处理其它传感器数据。所说明实施例还包括可选的步骤故障测试330，所述步骤故障测试330确定步骤的执行是否失败(例如，出现了妨碍步骤执行的问题)。如果步骤的执行失败，那么处理转到框306以确定另一步骤，以先前规定的步骤失败为背景。如果步骤的执行未失败，那么处理如之前一样回到框318以接收和处理附加传感器数据。可以使用当发送步骤的指令(例如，框308)时开始的定时器与预期完成步骤的时间之间的比较来确定步骤的失败。替代地，可以通过使用传感器数据来启动定时器，以指示何时在物理结构106上开始实际步骤。还可以根据执行步骤所需的工具110的故障或用于获得执行所述步骤所需的状态的工作站102的环境的故障来确定所述步骤的失败。例如，如果所述步骤需要23摄氏度的环境温度，且容纳工作站102的设施中的空调或加热不能达到所述值。
如果框328确定步骤完成，那么处理转到框332，其生成并传输关于所完成的步骤的执行的反馈数据。如框334到框336中所示，所述反馈数据被接收并且由呈现装置114或其它装置呈现给用户108。此反馈数据可以用于向用户108发送步骤已经成功(或未成功)完成的确认，并且在执行步骤之后呈现。
最后，参考图3C，框338存储关于步骤的执行而收集或计算的信息。此信息可以包括来自一些或全部传感器112的传感器数据以及执行度量。还可以存储其它信息，包括用户108执行所需步骤或任务需要的时间。
这样的数据可以用于确定所确定的步骤在执行所需任务时的有效性和经济性，并且可以与执行任务的其它可能步骤进行比较。例如，首先，可以向第一组工作站102提有用于完成任务的特定步骤序列，而可以向另一组工作站102提供不同的测试序列。可以针对每一组工作站确定执行测试所需的时间，且使用传感器数据将所述时间与执行步骤的效果方面的质量度量进行比较。以此方式，可以将两个可能的步骤序列与现实世界的结果进行比较，其中为未来活动选择这两个可能步骤序列中最有效的步骤序列。
可以使用传感器数据和执行度量来改进框306中所说明的确定步骤的过程。例如，有经验的用户108可能知道不仅仅是执行步骤，而且是如何执行步骤才能使得他们能够更准确地且在更短时间内完成工作。使用传感器数据，即使不在所需步骤的原始限定中，这样的技术和由用户108执行的附加步骤也可以被识别并且被并入到未来执行(一个或更多个)步骤的方式中。在早期生产中，例如，可以向有经验的用户提供步骤的一般概要，且可以使用这些用户的附加步骤或跳过步骤来优化确定执行任务所需的步骤的过程。
这可以通过使用机器学习技术来完成。例如，MAT 100向用户108提供指令以经由一系列步骤执行特定程序，且用户108执行所指示的步骤。然后，MAT 100可以使用执行步骤的用户108的传感器数据以及其它执行度量来“学习”(例如，经由机器学习)哪些指令(或哪种指令)使用户困惑并且根据需要修改指令以使指令更容易理解。
这可以例如根据步骤呈现给用户108至用户开始执行步骤经过的时间和/或用户108完成步骤的执行花费的时间(其中过多时间指示用户108对所述部分表示困惑)来确定。为了更加清楚或其它改进，MAT 100可以进一步使用机器学习技术来修改步骤。传感器数据可用于确定用户困惑的来源。例如，关于针对特定步骤选择的工具的传感器数据可以确认或反驳用户108使用适当的工具尝试执行步骤的打算。用户108还可以提供直接输入(他们感到困惑的陈述或用户108用于澄清他们发现不清楚的指令时所提出的问题)。
可以基于那些用户先前在执行步骤时的表现的总和，针对所有用户108来修改程序/步骤，或可以逐个用户地修改程序/步骤，使得通过MAT生成并呈现给每个用户108的步骤基于用户先前在先前执行的步骤或程序时的表现来为每个特定用户108定制。例如，MAT100可以生成完成特定任务要执行的一组基准步骤。更有经验的用户或已快速完成过这些任务的用户可能会被提供缩减版指令，而经验不丰富的用户或需要较长时间才能完成这些任务的用户可能会被提供有建议如何可能更好或更快地完成步骤的版本的指令。这样的版本可以基于例如更快速完成所分配的步骤或任务的其它用户108所编译的(compliedfrom)传感器数据。这允许与经验较少的用户快速共享执行任务的所有用户108的经验。另外，可以使用机器学习技术和传感器数据来估计用户的经验和专业知识，且MAT 100可以呈现与经验相称的指令。例如，可以生成用于执行相同任务的不同步骤指令集，而MAT 100可以取决于用户声称的的或估计的经验水平来决定向用户108提供哪个指令集。
机器学习技术还可用于使用在执行步骤时收集的传感器数据来诊断和排除问题。可以检查来自物理结构106的生产或维护的传感器数据，以尝试使用数据挖掘或机器学习技术将这些故障与在组装或维护产品时执行的一个或更多个步骤相关联。例如，可以发现一组产品具有特定故障(例如，螺栓的故障)。数据挖掘技术可以用于分析在物理结构106的生产或维护中收集的传感器数据，并且尝试将模式与故障的那些物理结构相关联。在一个示例中，这个分析可以得出结论：每个有故障的螺栓均被扭转得高于没有故障的螺栓，从而加大了转矩规格不正确且应该改变的可能性。在更复杂的示例中，所述分析可以显示故障的发生不是因为对螺栓施加了转矩，而是因为相关部分中的紧固模式或缺陷。
最后，框340确定任务是否完成(例如，是否需要附加步骤来完成任务)。在一个实施例中，这是通过将物理结构106、工作站102或MAT 100的元件的状态与当针对测量或实际状态适当地完成了任务时物理结构106、工作站102的元件(例如工具110)或MAT 100的元件的预期状态进行比较来完成。如果需要附加步骤，那么处理回到框306(其确定下一步骤)且如上所述继续处理。如果不需要附加步骤，那么框344将指导处理到下一任务(如果有)。在一个实施例中，这是通过将工作站102或MAT 100的元件的状态与适当地完成步骤和任务时工作站102或MAT 100的预期状态进行比较来完成。所述过程可以减少执行复杂维护操作的航空器或其它产品的维护、修复和维修时的错误、返工、安全风险和延迟。所述过程还可以减少培训并降低用于执行复杂维护操作的航空器或其它产品的维护、修复和维修的执行成本。
如框342中所示，可以可选地生成和存储关于任务执行的数据(例如，执行整项任务的所需时间或持续时间，或其它任务执行度量)。
任务或步骤执行数据和用于生成任务或步骤执行数据的传感器数据可以实时生成并且被传输至MAT 100的其它元件以用于步骤执行的实时数字文档，并且用于存档和/或优化、供应链更新的零件使用、审核日志和维护记录。
图4是说明指导处理单元104与工作站102的其它元件和中央处理器120的操作的图。在此实施例中，使用通信地连接到接口206的物联网(IoT)网关402来实施指导处理单元104，以从传感器112和执行器(例如，工具110)接收数据并且向其传输数据。
网关402使用传感器接口206从传感器112和工具110收集数据，并且提供此信息用于处理和/或存储一个或更多个公共服务器404A到404N(以下称为公共服务器404)和/或在MAT 100处的一个或更多个私人服务器406中。公共服务器404是位于“云端”(例如，远离工作站102或MAT 100并且通常由另一实体管理)的基于云的处理和存储装置。私人服务器406是数据处理和存储装置，其通常与工作站102和/或MAT 100一起设置并且由同一实体管理。
网关402还从(一个或更多个)公共服务器404和私人服务器406接收命令和数据，并且根据需要将这些命令提供给接口206，并且因此提供给(一个或更多个)传感器112和(一个或更多个)工具110。公共服务器404和私人服务器406还向例如显示器114A或音频再现装置的呈现装置204提供说明(一个或更多个)步骤的指令数据。机器学习/处理模块408访问指令数据，并且可以基于先前的指令数据以及传感器112和工具110的数据来修改指令数据。
图5A和5B是说明指导处理单元104和工作站102的相关元件的示例性测试台实施方案的图。在此实施例中，传感器112包括按钮502(例如，GROVE按钮，其通过输出具有逻辑高信号的数字电压信号来响应于瞬时按压并且在释放时输出逻辑低信号)和电位计504(提供模拟电压信号)。执行器或工具110包括例如接收数字命令的发光二极管506、接收数字命令的步进马达508和/或接收内置集成电路(I2C)命令的液晶显示器510。接口206可以由通信地连接到例如GROVE管座屏蔽(base shield)512等输入/输出(I/O)板的模块化处理器装置514(例如，ARDUINO处理器)来实施。
另外，在此实施例中，IoT网关402是由用操作系统(OS)518操作的网关处理器519来实施，所述操作系统(OS)518例如执行例如NODE-RED等IoT编程工具516的RASPBIAN。IoT网关402通过WiFi实施开源实时消息传递(MQTT)，并且可以从其它IoT网关402的任何组合发送信息并将信息发送到其它IoT网关402的任何组合。
IoT网关402与一个或更多个公共服务器404A到404N(以下统称为公共服务器404)和/或一个或更多个私人服务器406通信。每个公共服务器404A到404N分别包括相应的认知系统520A到520N以及各自实施提供硬件装置互通的软件集成工具的相应云平台528A到528N。每个认知系统520将人工智能(AI)和分析软件组合以产生可以回答问题的系统。
在一个实施例中，可以使用由不同供应商提供的不同软件构造来实施每个公共服务器404。例如，认知系统520A可以包括以运行NODE-RED软件集成工具522A的BLUEMIX云平台528A操作的IBM的WATSON IoT平台，而认知系统520N可以包括以运行JAVA应用程序集成工具522N的AZURE应用程序服务528N操作的MICROSOFT的AZURE IoT集线器(hub)。
服务器404和406经由符合表述性状态转移(REST)的应用程序接口(API)532与执行增强现实(AR)应用程序534的可视化工具536安全地通信，并且提供API安全性以确保仅授权实体可以访问系统。符合REST架构约束限制了元件之间的交互，标准化了语法和元件彼此通信的方式。结果是，架构元件基本上是“可插拔的”，允许架构元件的一个版本被另一版本替代，且其它架构元件的操作或变化中没有任何显著变化。在一个实施例中，可视化工具是由可从微软公司(MICROSOFT CORPORATION)购买的例如HOLOLENS等AR创作工具来实施。使用此可视化工具536，可以在移动装置上通过使用基于REST的API来提供对(一个或更多个)公共服务器404和/或(一个或更多个)私人服务器406的基于网络的访问来查看IoT数据。在一个实施例中，私人服务器406可以使用消息队列遥测传输(MQTT)代理524和运行NODE-RED软件集成工具526的操作系统530来实施。
硬件环境
图6说明了可以用于实施上述公开的处理元件的示例性计算机系统600，其包括指导处理单元104、中央处理器120、呈现装置114和/或传感器112。计算机602包括一个或更多个处理器604A和604B以及存储器，例如随机存取存储器(RAM)606。(一个或更多个)处理器可以包括通用处理器604A和/或专用处理器604B。通用处理器604A通常不需要任何特定的计算机语言或软件，并且被设计用来执行一般的处理操作，但是可被编程用于特殊应用。专用处理器604B可能需要特定的计算机语言或软件，可以在硬件中实施一些功能，并且通常针对具体应用进行优化。计算机602可操作地连接到显示器622，所述显示器622在图形用户界面(GUI)上向用户呈现例如窗口等图像。计算机602可以连接到其它装置，例如键盘614、鼠标装置616、打印机628等。当然，本领域技术人员将认识到，上述部件的任何组合或任何数量的不同部件、外围装置和其它装置可以与计算机602一起使用。
通常，计算机602在存储器606中存储的操作系统608的控制下操作，并且与用户对接以接受输入和命令并通过GUI模块618A呈现结果。虽然GUI模块618B被描绘为单独的模块，但是执行GUI功能的指令可以驻留在或分布在操作系统608、计算机程序610中，或以专用存储器和处理器来实施。计算机602还实施编译器612，所述编译器612允许以例如C++、C#、Java、Python等编程语言或其它语言编写的计算机应用程序610被转换成处理器604可读代码。在完成之后，计算机程序610使用利用编译器612生成的关系和逻辑来访问和操纵存储在计算机602的存储器606中的数据。计算机602还可选地包括例如调制解调器、卫星链路、以太网卡或用于与其它计算机通信的其它装置等外部通信装置。
在一个实施例中，实施操作系统608、计算机程序610和编译器612的指令被有形地包含在计算机可读介质(例如，数据存储装置624)中，所述计算机可读介质可以包括一个或更多个固定或可移动数据存储装置，例如硬盘驱动器、CD-ROM驱动器、闪存驱动器等。另外，操作系统608和计算机程序610是由指令组成，这些指令在由计算机602读取和执行时使计算机602执行本文描述的操作。计算机程序610和/或操作指令还可以被有形地包含在存储器606和/或数据通信装置630中，由此形成计算机程序产品或制品。因此，本文所使用的术语“制品”、“程序存储装置”和“计算机程序产品”旨在包括可从任何计算机可读装置或介质中访问的计算机程序。
本领域技术人员将认识到，在不脱离本发明的范围的情况下，可以对此配置进行许多修改。例如，本领域技术人员将认识到，可以使用上述部件的任何组合或任何数量的不同部件、外围装置和其它装置。
结论
这是对本发明优选实施例的描述的总结。
以上公开了一种允许维护者使用自然语言与应用程序对话的认知助手。维护者可以快速地与应用程序进行免手动交互，而无需使用复杂的用户界面或记忆语音命令。所述助手使用增强现实音频和视觉提示向维护者提供指令。所述助手向维护者仔细解释维护任务并且使用IoT传感器验证适当执行。如果在完成步骤之后，所述loT传感器并非预期的那样，那么通知维护者如何解决所述情况。
出于说明和描述目的已经提出优选实施例的以上描述。其不旨在穷举或将本发明限于所公开的精确形式。鉴于上述教导，许多修改和变化是可能的。意图是，权利范围不受此详细描述的限制，而是由所附权利要求限制。
另外，本发明包括根据以下实施例的实施例：
实施例1.一种提供指导以执行具有对工作站处的物理结构执行的至少一个步骤的任务的方法，其包括：
(a)在指导处理单元中从执行实体接收命令，所述命令调用所述任务；
(b)在所述指导处理单元中根据所述命令确定所述至少一个步骤；
(c)从所述指导处理单元向所述执行实体传输说明所述至少一个步骤的执行的指令数据；
(d)在所述指导处理单元中接收由靠近所述物理结构的传感器生成的实时传感器数据，所述传感器感测所述步骤的执行；以及
(e)根据所述实时传感器数据计算所述步骤的执行度量。
实施例2.根据实施例1所述的方法，其中计算所述步骤的执行度量包括：
将所述实时传感器数据与阈值进行比较；
根据所述比较计算所述执行度量；以及
根据所述执行度量验证所述步骤的执行。
实施例3.根据实施例2所述的方法，其进一步包括：
根据所述比较生成反馈数据；以及
从所述指导处理单元传输所述反馈数据以呈现在所述工作站处。
实施例4.根据实施例2所述的方法，其中根据所述实时传感器数据计算所述步骤的所述执行度量包括：
使用所述实时传感器数据生成反馈数据；以及
在所述工作站处呈现所述反馈数据。
实施例5.根据实施例4所述的方法，其中：
所述反馈数据的呈现与所述步骤的执行同时发生；
所述方法进一步包括：
重复步骤(c)和(d)直到所述步骤完成为止。
实施例6.根据实施例4所述的方法，其中在执行所述步骤之后呈现所述反馈数据。
实施例7.根据任何前述实施例所述的方法，其进一步包括：
由所述指导处理单元根据所述实时传感器数据计算所述步骤的所述执行的执行度量；以及
存储所述执行度量。
实施例8.根据实施例7所述的方法，其中：
所述执行度量是执行所述步骤经过的时间，所述经过的时间是根据阈值和所述实时传感器数据来计算。
实施例9.根据任何前述实施例所述的方法，其进一步包括：
由所述指导处理单元存储所述实时传感器数据；以及
将所述实时传感器数据与其它实时传感器数据进行比较，所述其它实时传感器数据感测对另一物理结构的所述步骤的另一执行。
实施例10.根据任何前述实施例所述的方法，其进一步包括：
根据接收到的命令确定所述任务；以及
根据确定的任务确定所述至少一个步骤。
实施例11.根据实施例10所述的方法，其中：
根据所述接收到的命令确定所述任务包括：
使用自然语言解释器根据所述接收到的命令生成数据库查询；
根据所述数据库查询来查询数据库以确定所述任务；以及
根据所述确定的任务确定所述至少一个步骤包括：
根据所述确定的任务确定所述至少一个步骤。
实施例12.根据实施例11所述的方法，其中：
所述任务是对所述物理结构执行的多项任务中的一项；
根据当前背景数据进一步确定所述数据库查询，所述当前背景数据包括：
关于对所述物理结构执行的多项任务中的其它任务的信息；以及
由物理结构和所述工作站的环境中的至少一个对所述任务施加的约束。
实施例13.根据任何前述实施例所述的方法，其中说明所述至少一个步骤的执行的所述指令数据包括用于经由增强现实耳机在增强现实中呈现的所述步骤的视觉表示。
实施例14.根据任何前述实施例所述的方法，其中所述实时传感器数据描述所述物理结构的状态。
实施例15.根据实施例14所述的方法，其中所述传感器是观察所述步骤的执行的可视传感器，且所述实时传感器数据包括视频数据。
实施例16.根据实施例14所述的方法，其中所述传感器被设置于在其上执行所述步骤的所述物理结构上。
实施例17.根据任何前述实施例所述的方法，其中所述实时传感器数据描述用于执行所述步骤的工具的状态。
实施例18.根据实施例17所述的方法，其中所述传感器是观察所述步骤的执行的可视传感器，且所述实时传感器数据包括视频数据。
实施例19.根据实施例17所述的方法，其中所述传感器设置在用于执行所述步骤的工具上。
实施例20.根据任何前述实施例所述的方法，其中所述实时传感器数据描述协作进行任务的装置的状态。
实施例21.根据任何前述实施例所述的方法，其中所述数据描述执行所述任务的环境的状态。
实施例22.根据任何前述实施例所述的方法，其中所述命令是来自用户的免手动命令。
实施例23.一种用于提供指导以执行具有对工作站处的物理结构执行的至少一个步骤的任务的系统，其包括：
指导处理单元，所述指导处理单元包括通信地连接到存储指令的存储器的处理器，所述指令包括以下指令：
从执行实体接收命令，所述命令调用所述任务；
根据所述命令确定所述至少一个步骤；
向所述执行实体传输说明所述至少一个步骤的执行的指令数据；
接收由靠近所述物理结构的传感器生成的实时传感器数据，所述传感器感测所述步骤的执行；以及
根据所述实时传感器数据计算所述步骤的执行度量。
实施例24.根据实施例23所述的系统，其中用于根据所述实时传感器数据计算所述步骤的执行度量的所述指令包括以下指令：
将所述实时传感器数据与阈值进行比较；
根据所述比较计算所述执行度量；以及
根据所述执行度量验证所述步骤的执行。
实施例25.根据实施例24所述的系统，其中所述指令进一步包括以下指令：
根据所述比较生成反馈数据；以及
从所述指导处理单元传输所述反馈数据以呈现在所述工作站处。
实施例26.根据实施例24所述的系统，其中用于根据所述实时传感器数据计算所述步骤的所述执行度量的所述指令包括以下指令：
使用所述实时传感器数据生成反馈数据；以及
在所述工作站处呈现所述反馈数据。
实施例27.根据实施例26所述的系统，其中：
所述反馈数据的呈现与所述步骤的执行同时发生；以及
所述指令进一步包括重复步骤(c)和(d)直到所述步骤完成为止的指令。
实施例28.根据实施例26所述的系统，其中在执行所述步骤之后呈现所述反馈数据。
实施例29.根据实施例23到28中任一项所述的系统，其中所述指令进一步包括以下指令：
根据所述实时传感器数据计算所述步骤的所述执行的执行度量；以及
存储所述执行度量。
实施例30.根据实施例29所述的系统，其中：
所述执行度量是执行所述步骤经过的时间，所述经过的时间是根据阈值和所述实时传感器数据来计算。
实施例31.根据实施例23到30中任一项所述的系统，其中所述指令进一步包括以下指令：
由所述指导处理单元存储所述实时传感器数据；以及
将所述实时传感器数据与其它实时传感器数据进行比较，所述其它实时传感器数据感测对另一物理结构的所述步骤的另一执行。
实施例32.根据实施例23到31中任一项所述的系统，其中所述指令进一步包括以下指令：
根据接收到的命令确定所述任务；以及
根据确定的任务确定所述至少一个步骤。
实施例33.根据实施例32所述的系统，其中：
用于根据所述接收到的命令确定所述任务的所述指令包括以下指令：
使用自然语言解释器根据所述接收到的命令生成数据库查询；以及根据所述数据库查询来查询数据库以确定所述任务；以及
用于根据所述确定的任务确定所述至少一个步骤的所述指令包括以下指令：
根据所述确定的任务确定所述至少一个步骤。
实施例34.根据实施例33所述的系统，其中：
所述任务是对所述物理结构执行的多项任务中的一项；以及
根据当前背景数据进一步确定所述数据库查询，所述当前背景数据包括：
关于对所述物理结构执行的多项任务中的其它任务的信息；
由物理结构和所述工作站的环境中的至少一个对所述任务施加的约束。
实施例35.根据实施例23到34中任一项所述的系统，其中说明所述至少一个步骤的执行的所述指令数据包括用于经由增强现实耳机在增强现实中呈现的所述步骤的视觉表示。
实施例36.根据实施例23到35中任一项所述的系统，其中所述实时传感器数据描述所述物理结构的状态。
实施例37.根据实施例36所述的系统，其中所述传感器是观察所述步骤的执行的可视传感器，且所述实时传感器数据包括视频数据。
实施例38.根据实施例36所述的系统，其中所述传感器被设置于在其上执行所述步骤的所述物理结构上。
实施例39.根据实施例23到38中任一项所述的系统，其中所述实时传感器数据描述用于执行所述步骤的工具的状态。
实施例40.根据实施例39所述的系统，其中所述传感器是观察所述步骤的执行的可视传感器，且所述实时传感器数据包括视频数据。
实施例41.根据实施例39所述的系统，其中所述传感器设置在用于执行所述步骤的工具上。
实施例42.根据实施例23到41中任一项所述的系统，其中所述数据描述协作进行任务的装置的状态。
实施例43.根据实施例23到42中任一项所述的系统，其中所述数据描述执行所述任务的环境的状态。
实施例44.根根据实施例23到43中任一项所述的系统，其中所述命令是来自用户的免手动命令。
实施例45.一种用于提供指导以执行具有对工作站处的物理结构执行的至少一个步骤的任务的系统，其包括：
传感器，其靠近所述物理结构；
呈现装置；以及
指导处理单元，所述指导处理单元包括通信地连接到存储指令的存储器的处理器，所述指令包括以下指令：
从执行实体接收命令，所述命令调用所述任务；
根据所述命令确定所述至少一个步骤；
向所述执行实体传输说明所述至少一个步骤的执行的指令数据以由所述呈现装置呈现；
接收由靠近所述物理结构的所述传感器生成的实时传感器数据，所述传感器感测所述步骤的执行；以及
根据所述实时传感器数据计算所述步骤的执行度量。

Claims (15)

1.一种提供指导以执行具有对工作站(102)处的物理结构(106)执行的至少一个步骤的任务的方法，其包括：
(a)在指导处理单元(104)中从执行实体(104)接收命令，所述命令调用所述任务；
(b)在所述指导处理单元(104)中根据所述命令确定所述至少一个步骤；
(c)从所述指导处理单元(104)向所述执行实体(104)传输说明所述至少一个步骤的执行的指令数据；
(d)在所述指导处理单元(104)中接收由靠近所述物理结构(106)的传感器(112)生成的实时传感器(112)数据，所述传感器(112)感测所述步骤的执行；以及
(e)根据所述实时传感器(112)数据计算所述步骤的执行度量。
2.根据权利要求1所述的方法，其中计算所述步骤的执行度量包括：
将所述实时传感器(112)数据与阈值进行比较；
根据所述比较计算所述执行度量；以及
根据所述执行度量验证所述步骤的执行。
3.根据权利要求2所述的方法，其进一步包括：
根据所述比较生成反馈数据；以及
从所述指导处理单元(104)传输所述反馈数据以呈现在所述工作站(102)处。
4.根据权利要求2所述的方法，其中根据所述实时传感器(112)数据计算所述步骤的所述执行度量包括：
使用所述实时传感器(112)数据生成反馈数据；以及
在所述工作站(102)处呈现所述反馈数据。
5.根据权利要求4所述的方法，其中：
所述反馈数据的呈现与所述步骤的执行同时发生；
所述方法进一步包括：
重复步骤(c)和(d)直到所述步骤完成为止。
6.根据任何前述权利要求所述的方法，其进一步包括：
由所述指导处理单元(104)根据所述实时传感器(112)数据计算所述步骤的所述执行的执行度量；以及
存储所述执行度量。
7.根据权利要求6所述的方法，其中：
所述执行度量是执行所述步骤的经过时间，所述经过时间是根据阈值和所述实时传感器(112)数据来计算。
8.根据权利要求1到5中任一项所述的方法，其进一步包括：
由所述指导处理单元(104)存储所述实时传感器(112)数据；以及
将所述实时传感器(112)数据与其它实时传感器(112)数据进行比较，所述其它实时传感器(112)数据感测对另一物理结构(106)的所述步骤的另一执行。
9.根据权利要求1到5所述的方法，其进一步包括：
根据接收到的命令确定所述任务；以及
根据确定的任务确定所述至少一个步骤。
10.根据权利要求9所述的方法，其中：
根据所述接收到的命令确定所述任务包括：
使用自然语言解释器根据所述接收到的命令生成数据库查询；
根据所述数据库查询来查询数据库以确定所述任务；以及
根据所述确定的任务确定所述至少一个步骤包括：
根据所述确定的任务确定所述至少一个步骤。
11.根据权利要求10所述的方法，其中：
所述任务是对所述物理结构(106)执行的多项任务中的一项；
根据当前背景数据进一步确定所述数据库查询，所述当前背景数据包括：
关于对所述物理结构(106)执行的所述多项任务中的其它任务的信息；以及
由物理结构(106)和所述工作站(102)的环境中的至少一个对所述任务施加的约束。
12.根据权利要求1到5所述的方法，其中说明所述至少一个步骤的执行的所述指令数据包括经由增强现实耳机(114B)在增强现实中呈现的所述步骤的视觉表示，其中所述实时传感器(112)数据可选地描述所述物理结构(106)的状态，并且其中所述实时传感器(112)数据可选地描述用于执行所述步骤的工具(110)的状态。
13.根据权利要求12所述的方法，其中所述传感器(112)是观察所述步骤的执行的可视传感器，且所述实时传感器(112)数据包括视频数据，并且其中所述传感器(112)可选地设置在用于执行所述步骤的所述工具(110)上。
14.根据权利要求1到5所述的方法，其中所述实时传感器(112)数据描述协作进行所述任务的装置的状态，其中所述数据可选地描述执行所述任务的环境的状态，并且其中所述命令可选地是来自用户的免手动命令。
15.一种用于提供指导以执行具有对工作站(102)处的物理结构(106)执行的至少一个步骤的任务的系统，其包括：
指导处理单元(104)，所述指导处理单元(104)包括通信地连接到存储指令的存储器(606)的处理器(604)，所述指令包括用于执行根据权利要求1到14中任一项所述的方法的指令。
CN201711210508.4A 2016-12-09 2017-11-28 用于交互式认知任务协助的系统和方法 Active CN108228345B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201662432495P 2016-12-09 2016-12-09
US62/432,495 2016-12-09
US15/649,382 US11348475B2 (en) 2016-12-09 2017-07-13 System and method for interactive cognitive task assistance
US15/649,382 2017-07-13

Publications (2)

Publication Number Publication Date
CN108228345A true CN108228345A (zh) 2018-06-29
CN108228345B CN108228345B (zh) 2023-06-02

Family

ID=60262671

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711210508.4A Active CN108228345B (zh) 2016-12-09 2017-11-28 用于交互式认知任务协助的系统和方法

Country Status (8)

Country Link
US (1) US11348475B2 (zh)
EP (1) EP3333654B1 (zh)
JP (1) JP7184511B2 (zh)
KR (1) KR102494817B1 (zh)
CN (1) CN108228345B (zh)
BR (1) BR102017025093A8 (zh)
CA (1) CA2982575A1 (zh)
RU (1) RU2767145C2 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110858158A (zh) * 2018-08-23 2020-03-03 北京京东金融科技控股有限公司 分布式任务调度方法、装置、电子设备、存储介质

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6995770B2 (ja) * 2016-06-15 2022-01-17 アイロボット・コーポレーション 自律移動ロボットを制御するためのシステムおよび方法
TWI659659B (zh) * 2017-09-06 2019-05-11 國立臺灣大學 車輛資訊及環境監測複合式車載系統及其資料處理及傳輸方法
CN108363556A (zh) * 2018-01-30 2018-08-03 百度在线网络技术（北京）有限公司 一种基于语音与增强现实环境交互的方法和系统
US10862971B2 (en) * 2018-04-27 2020-12-08 EMC IP Holding Company LLC Internet of things gateway service for a cloud foundry platform
US11406896B1 (en) 2018-06-08 2022-08-09 Meta Platforms, Inc. Augmented reality storytelling: audience-side
WO2020006142A1 (en) 2018-06-26 2020-01-02 Fanuc America Corporation Automatic dynamic diagnosis guide with augmented reality
US20200005165A1 (en) * 2018-06-28 2020-01-02 International Business Machines Corporation Dynamically determining a region of effectiveness of athletes during game play based on predictive factors
US11200811B2 (en) * 2018-08-03 2021-12-14 International Business Machines Corporation Intelligent recommendation of guidance instructions
DE102018213208A1 (de) * 2018-08-07 2020-02-13 MTU Aero Engines AG Verfahren zum Durchführen von Wartungsarbeiten an einer komplexen Montagebaugruppe
GB201817061D0 (en) 2018-10-19 2018-12-05 Sintef Tto As Manufacturing assistance system
JP7096544B2 (ja) * 2018-10-22 2022-07-06 株式会社Subaru ねじ締付装置及びねじ締付方法
US11890494B2 (en) 2018-11-09 2024-02-06 Qwake Technologies, Inc. Retrofittable mask mount system for cognitive load reducing platform
US10896492B2 (en) 2018-11-09 2021-01-19 Qwake Technologies, Llc Cognitive load reducing platform having image edge enhancement
US10417497B1 (en) 2018-11-09 2019-09-17 Qwake Technologies Cognitive load reducing platform for first responders
US10854007B2 (en) 2018-12-03 2020-12-01 Microsoft Technology Licensing, Llc Space models for mixed reality
US20200302331A1 (en) * 2019-03-20 2020-09-24 International Business Machines Corporation Intelligent problem solving using visual input
CN110011848B (zh) * 2019-04-03 2020-07-31 南方电网数字电网研究院有限公司 一种移动运维审计系统
JP7392281B2 (ja) * 2019-04-22 2023-12-06 株式会社ジェイテクト 作業支援システム
KR102104326B1 (ko) * 2019-06-28 2020-04-27 한화시스템 주식회사 증강현실 기반 정비 교육 시스템 및 방법
US11915376B2 (en) 2019-08-28 2024-02-27 Qwake Technologies, Inc. Wearable assisted perception module for navigation and communication in hazardous environments
US11958183B2 (en) * 2019-09-19 2024-04-16 The Research Foundation For The State University Of New York Negotiation-based human-robot collaboration via augmented reality
JP2021072001A (ja) * 2019-10-31 2021-05-06 キヤノン株式会社 プログラム、情報処理装置、情報処理方法、及び情報処理システム
US11894130B2 (en) 2019-12-26 2024-02-06 Augmenticon Gmbh Pharmaceutical manufacturing process control, support and analysis
TWI738214B (zh) * 2020-02-13 2021-09-01 國立虎尾科技大學 物聯網廣播設備名稱多對多狀態識別系統
JP2023045089A (ja) * 2021-09-21 2023-04-03 株式会社東芝 分析装置、分析システム、分析方法、プログラム、及び記憶媒体
CN116483192A (zh) * 2022-01-14 2023-07-25 台达电子工业股份有限公司 具有拆装检核功能的虚拟现实系统及其拆装检核方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020069072A1 (en) * 1999-03-02 2002-06-06 Wolfgang Friedrich Augmented-reality system with voice-based recording of information data, in particular of service reports
CN101159697A (zh) * 2007-11-23 2008-04-09 南京大学 无线传感器网络中时延限制下实现最小能耗路由的方法
WO2009079036A1 (en) * 2007-08-09 2009-06-25 Vialogy Llc Network centric sensor policy manager for ipv4/ipv6 capable wired and wireless networks
JP2011131331A (ja) * 2009-12-24 2011-07-07 Toyota Motor Corp 締結部材の締め付けトルク検査方法及び締め付けトルク検査システム
WO2012109593A1 (en) * 2011-02-11 2012-08-16 OPS Solutions, LLC Light guided assembly system and method
WO2012142250A1 (en) * 2011-04-12 2012-10-18 Radiation Monitoring Devices, Inc. Augumented reality system
JP2013166211A (ja) * 2012-02-15 2013-08-29 Honda Motor Co Ltd 締付方法及び締付機の制御装置
US20140176603A1 (en) * 2012-12-20 2014-06-26 Sri International Method and apparatus for mentoring via an augmented reality assistant
CN104937612A (zh) * 2013-01-17 2015-09-23 微软技术许可有限责任公司 通过用户生成的知识进行协同学习

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6633846B1 (en) 1999-11-12 2003-10-14 Phoenix Solutions, Inc. Distributed realtime speech recognition system
AU2002240192A1 (en) * 2001-01-30 2002-08-12 R. Christopher Decharms Methods for physiological monitoring, training, exercise and regulation
JP4093145B2 (ja) 2003-08-26 2008-06-04 松下電工株式会社 締付け工具
US7620894B1 (en) * 2003-10-08 2009-11-17 Apple Inc. Automatic, dynamic user interface configuration
US9183560B2 (en) * 2010-05-28 2015-11-10 Daniel H. Abelow Reality alternate
US9927940B2 (en) * 2011-06-03 2018-03-27 Massachusetts Institute Of Technology Method and apparatus accounting for independent cognitive capacities in the right vs. left half of vision
JP2013031900A (ja) 2011-08-02 2013-02-14 Mitsubishi Electric Corp ねじ締め装置およびねじ締め方法
US9504414B2 (en) * 2012-04-13 2016-11-29 Adidas Ag Wearable athletic activity monitoring methods and systems
US9406170B1 (en) * 2012-07-16 2016-08-02 Amazon Technologies, Inc. Augmented reality system with activity templates
US9058053B2 (en) 2012-10-26 2015-06-16 The Boeing Company Virtual reality display system
US20150088547A1 (en) * 2013-09-22 2015-03-26 Ricoh Company, Ltd. Mobile Information Gateway for Home Healthcare
US9911351B2 (en) 2014-02-27 2018-03-06 Microsoft Technology Licensing, Llc Tracking objects during processes
US10810529B2 (en) * 2014-11-03 2020-10-20 Hand Held Products, Inc. Directing an inspector through an inspection
WO2016171894A1 (en) * 2015-04-20 2016-10-27 NSF International Computer-implemented methods for remotely interacting with performance of food quality and workplace safety tasks using a head mounted display
US9610476B1 (en) * 2016-05-02 2017-04-04 Bao Tran Smart sport device
US10022614B1 (en) * 2016-05-02 2018-07-17 Bao Tran Smart device
US10042604B2 (en) * 2016-07-01 2018-08-07 Metrik LLC Multi-dimensional reference element for mixed reality environments
KR20180043627A (ko) * 2016-10-20 2018-04-30 삼성전자주식회사 디스플레이 장치 및 디스플레이 장치를 제어하는 방법
US10822108B2 (en) * 2017-03-06 2020-11-03 Textron Innovations Inc. Augmented reality system for pilot and passengers
US10692287B2 (en) * 2017-04-17 2020-06-23 Microsoft Technology Licensing, Llc Multi-step placement of virtual objects
US10127227B1 (en) * 2017-05-15 2018-11-13 Google Llc Providing access to user-controlled resources by automated assistants
US11056105B2 (en) * 2017-05-18 2021-07-06 Aiqudo, Inc Talk back from actions in applications
US11397558B2 (en) * 2017-05-18 2022-07-26 Peloton Interactive, Inc. Optimizing display engagement in action automation

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020069072A1 (en) * 1999-03-02 2002-06-06 Wolfgang Friedrich Augmented-reality system with voice-based recording of information data, in particular of service reports
WO2009079036A1 (en) * 2007-08-09 2009-06-25 Vialogy Llc Network centric sensor policy manager for ipv4/ipv6 capable wired and wireless networks
CN101159697A (zh) * 2007-11-23 2008-04-09 南京大学 无线传感器网络中时延限制下实现最小能耗路由的方法
JP2011131331A (ja) * 2009-12-24 2011-07-07 Toyota Motor Corp 締結部材の締め付けトルク検査方法及び締め付けトルク検査システム
WO2012109593A1 (en) * 2011-02-11 2012-08-16 OPS Solutions, LLC Light guided assembly system and method
WO2012142250A1 (en) * 2011-04-12 2012-10-18 Radiation Monitoring Devices, Inc. Augumented reality system
JP2013166211A (ja) * 2012-02-15 2013-08-29 Honda Motor Co Ltd 締付方法及び締付機の制御装置
US20140176603A1 (en) * 2012-12-20 2014-06-26 Sri International Method and apparatus for mentoring via an augmented reality assistant
CN104937612A (zh) * 2013-01-17 2015-09-23 微软技术许可有限责任公司 通过用户生成的知识进行协同学习

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
GUILAN LUO 等: "Real-time Threshold Routing Algorithm Based on Wireless Sensor Network" *
王博 等: "基于分支剔除的低轨星座实时传感器调度算法" *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110858158A (zh) * 2018-08-23 2020-03-03 北京京东金融科技控股有限公司 分布式任务调度方法、装置、电子设备、存储介质
CN110858158B (zh) * 2018-08-23 2024-04-05 京东科技控股股份有限公司 分布式任务调度方法、装置、电子设备、存储介质

Also Published As

Publication number Publication date
RU2767145C2 (ru) 2022-03-16
RU2017136560A3 (zh) 2021-02-10
CN108228345B (zh) 2023-06-02
KR102494817B1 (ko) 2023-02-02
KR20180066823A (ko) 2018-06-19
JP2018160232A (ja) 2018-10-11
EP3333654A1 (en) 2018-06-13
BR102017025093A2 (pt) 2018-06-26
RU2017136560A (ru) 2019-04-17
BR102017025093A8 (pt) 2023-04-25
US11348475B2 (en) 2022-05-31
CA2982575A1 (en) 2018-06-09
US20180165978A1 (en) 2018-06-14
JP7184511B2 (ja) 2022-12-06
EP3333654B1 (en) 2022-03-09

Similar Documents

Publication Publication Date Title
CN108228345A (zh) 用于交互式认知任务协助的系统和方法
US11481999B2 (en) Maintenance work support system and maintenance work support method
US20190146577A1 (en) Simulating and evaluating safe behaviors using virtual reality and augmented reality
US10366521B1 (en) Augmented reality assembly assistance and monitoring
US9965897B2 (en) Eyewear operational guide system and method
US11911912B2 (en) Robot control apparatus and method for learning task skill of the robot
KR101636360B1 (ko) 가상 현실을 이용한 가상 정비 훈련 시스템
US10817134B2 (en) Systems and methods for training robots using augmented reality and machine learning
WO2015136959A1 (ja) 制御システム、方法、プログラムおよび情報処理装置
CN110226095A (zh) 嵌入式系统的通用自动化测试
US11036474B2 (en) Automating service maturity analysis and estimation
JP7471428B2 (ja) 製造又は産業環境における協調ロボットとの相互作用のために仮想／拡張現実を使用するためのシステム、方法及びコンピュータ読み取り可能媒体
US20210201183A1 (en) Training Collaborative Robots through User Demonstrations
US20180053438A1 (en) Action evaluation apparatus, action evaluation method, and computer-readable storage medium
US20190370156A1 (en) Code coverage
US11455750B2 (en) Operator characteristic-based visual overlays
JP2023065371A (ja) 製造支援システム，方法，プログラム
WO2018100631A1 (ja) 情報処理装置
JP2021157284A (ja) 情報処理装置、情報処理システム、及びプログラム
EP3637339A1 (en) Method for in-procedure initialization of new instructural flow procedure on head-mounted display device
Thanki et al. Advanced Technologies for Industrial Applications
Ziaee et al. Augmented reality applications in manufacturing and its future scope in Industry 4.0
EP3379380A1 (en) Virtual reality system, operating method for mobile device, and non-transitory computer readable storage medium
US20240086843A1 (en) Method for augmenting procedures of a locked, regulated document
Tamboli et al. Multi-task surveillance robot using IoT

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant