CN104216762A - 跟踪用户以支持在复杂系统组件上执行的任务 - Google Patents

跟踪用户以支持在复杂系统组件上执行的任务 Download PDF

Info

Publication number
CN104216762A
CN104216762A CN201410232518.8A CN201410232518A CN104216762A CN 104216762 A CN104216762 A CN 104216762A CN 201410232518 A CN201410232518 A CN 201410232518A CN 104216762 A CN104216762 A CN 104216762A
Authority
CN
China
Prior art keywords
user
task
input
sourcing
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410232518.8A
Other languages
English (en)
Other versions
CN104216762B (zh
Inventor
B·D·劳克林
R·N·布莱尔
W·D·凯尔西
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Boeing Co
Original Assignee
Boeing Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Boeing Co filed Critical Boeing Co
Publication of CN104216762A publication Critical patent/CN104216762A/zh
Application granted granted Critical
Publication of CN104216762B publication Critical patent/CN104216762B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • General Factory Administration (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及跟踪用户以支持在复杂系统组件上执行的任务。本发明提供一种系统，其包括被配置为在执行任务以运行复杂系统组件期间提供包括用户的运动和/或取向的测量值的感测到的输入的传感器(106)。该系统包括前端系统(102)，其被配置为处理包括测量值的所述感测到的输入，从其中辨识表示感测到的输入的意义的已知模式，从而辩识电子资源(602)的操作。前端系统(102)被配置为形成并传送输入，以使电子资源执行操作(602)并产生输出。操作(602)包括在任务的执行期间用户的动作的确定，或任务的执行相关的工艺变量的计算。并且前端系统(102)被配置为从所述电子资源接收输出，并且将输出传送到显示装置(110)、音频输出装置或触觉传感器。

Description

跟踪用户以支持在复杂系统组件上执行的任务
技术领域
本公开总体涉及任务的执行，具体地，涉及跟踪用户以支持在复杂系统的组件上的任务的执行。
背景技术
许多现代的复杂系统如飞机通常由组件、子系统等组成。每个子系统由各自的部件组成，并且每个部件包括各自的特征。复杂系统的部件可被组装成数个子系统，其进而可以被组装成复杂的系统。其中在飞机的情况下，一个或更多个部件或子系统可以被设计为通常称作现场可更换单元(LRU)的飞机的模块化组件，其中的单个飞机可以包括数个LRU和其他部件或子系统。
复杂系统上的工作通常包括由数名工作人员包括技师、技工等执行的生产前、生产中和生产后活动。在复杂系统的生产中或生产后期间，例如，工作人员可执行数种活动，如建造、修理和/或维护活动。在各种示例中，可以根据形式化指令用于建造、创建或以其他方式完成飞机或飞机组件的工程设计的要求或意图的工作计划来执行这些以及类似的活动。该工程设计可包括指明飞机的规格、容差、用途、材料或其他方面的一组要求。工作计划可包括一系列的工作指令，它们一起构成由工作人员来完成的一组指示，并且每个工作指令可以包括一个或更多个工作任务，其中的一些可以有自己的工艺要求。
许多复杂的系统需要精确的环境以满足工程设计的要求，其多年来要求工作人员使用其中某些相当专业并且某些需要昂贵的反复校准的全套的工具。这通常会导致工作环境堆满昂贵的工具和各自的校准文件，并且会降低必须通过任务调度的队列移动的工具的吞吐量。
因此，可能期望具有考虑到上面讨论的问题以及可能存在的其他问题中的至少一些的系统和方法。
发明内容
本发明的示例实施方式总体涉及用于跟踪用户如工作人员以支持在复杂系统的组件上执行的任务的系统和方法。示例实施方式的系统和方法使工作人员和他们的环境共同完成任务。在一些示例中，该系统和方法使工作人员使用不太昂贵的、更常用的工具和仪器来完成任务目标。
根据示例实施方式，工作人员可以在其环境中执行复杂系统部件上的任务。示例实施方式的系统和方法集成传感器系统、移动计算和联网系统来感测工作人员、其环境和/或他们与其环境的交互。然后该系统和方法可以基于用户、环境或交互与一个或更多个电子资源交互，以支持同一个或另一个工作人员执行同一个或另一个任务。
在一些示例中，该系统和方法可进一步提供利用直观和自然的交互模型与交互模式的新的用户界面，并且其有时可在本文中称为一种泛在自然用户(UNU)系统。示例实施方式中的UNU系统可以形成增强现实系统的一部分，其包括个人显示系统，如增强现实(AR)的眼镜，包括显示装置，其可以使能免提交互和协作的信息共享。在一些示例中，UNU系统可以采用其他有源或无源的个人显示系统。
根据示例实施方式的一个方面，用户可以分派任务来执行操作复杂系统的组件如飞机的组件的任务。UNU系统包括一个或更多个传感器，其被配置为在任务的执行过程中提供包括用户的运动和/或取向的至少一个的测量值的感测到的输入。UNU系统还包括前端系统，其耦合到所述传感器，并且被配置为接收和处理包括测量值的所述感测到的输入，以确定表示所感测的输入的意义的已知模式，从中确定要执行的电子资源的操作。
前端系统被配置为形成并传送输入，以使电子资源执行操作并产生输出。操作包括在任务的执行过程中用户的动作的确定，或从包括测量值的感测到的输入中与任务的执行相关的工艺变量的计算。并且前端系统被配置为从所述电子资源接收输出，并且将输出传送到显示装置、音频输出装置或触觉传感器。
在一个示例中，所述任务具有包含或暗示已定义的用户的动作的任务定义。在这个示例中，所述的前端系统被配置为形成并传送输入，以使电子资源执行操作，这些操作包括用户的动作的确定，并且进一步包括已确定的动作和已定义的动作的比较，以及基于比较利用任务定义确定任务的执行的顺从性。也是在这个示例中，前端系统可以被配置为接收和传送顺从性的指示。
在一个示例中，前端系统可以被配置为形成并传送输入或另一个输入，以使所述电子资源或另一个电子资源基于所感测到的输入来执行或促进人体工程学的风险评估的执行。
在一个示例中，任务具有任务定义，其指定针对工艺变量指定工艺要求，工艺变量包括在任务的执行期间施加到紧固件的扭矩、摇摆力和预加负荷，该任务包括在复杂系统的组件上的紧固件的安装。在这个示例中，前端系统被配置为形成并传送输入以使电子资源执行操作，这些操作包括工艺变量的计算，并且进一步包括已计算的工艺变量和已指定的工艺要求的比较，以及基于所述比较利用已指定的工艺要求确定已计算的工艺变量的顺从性。也是在这个示例中，前端系统可以被配置为接收和传送顺从性的指示。
在进一步的示例中，(多个)传感器可以包括被配置为在任务的执行期间提供用户的肌肉活动的测量值的肌肉活动传感器。在此进一步的示例中，前端系统可以被配置为形成并传送输入以使电子资源来执行包括从肌肉活动的测量值中计算工艺变量的操作。
在进一步的示例中，前端系统可以被配置为接收和传送视觉线索、听觉反馈或触觉反馈，以提醒用户已计算的工艺变量符合指定的工艺要求。
在一个示例中，前端系统可以被配置为传送输出用于由包括显示装置的个人显示系统来显示。在这个示例中，个人显示系统可以被配置为产生或使能由显示装置显示的输出的增强的环境的即时显示或直接显示。
在示例实施方式中的其他方面，提供一种改进的方法和计算机可读存储介质用于跟踪用户以支持在复杂系统的组件上执行的任务。该计算机可读存储介质包括计算机可读程序代码，其响应于处理器的执行，使得设备至少进行以下：在由用户运行复杂系统组件的任务的执行期间接收来自一个或更多个传感器的包括用户的运动和/或取向中的至少一个的测量值的感测到的输入；并且处理包括测量值的感测到的输入，以从其中辨识表示感测到的输入的意义的已知模式，从而辨识电子资源的操作。计算机可读程序代码进一步使设备形成并传送输入，以使电子资源执行操作并产生输出，操作包括：在任务的执行期间用户的动作的确定；或从测量值中计算与任务的执行相关的工艺变量；以及接收来自电子资源的输出；以及将输出传送到显示装置、音频输出装置或触觉传感器。本文所讨论的特征、功能和优点可在不同的示例实施方式中被独立地实现，或结合参考下面的描述和附图可见的进一步细节的其他示例实施方式中的而实现。
附图说明
因此，已经概括地描述本公开的示例实施方式，现在将参考并非按比例绘制的附图，并且其中：
图1是根据示例实施方式的泛在自然用户(UNU)系统的示意图；
图2是以增强现实系统的形式的UNU系统的一种示例实施方式的示意图；
图3是根据示例实施方式的前端系统的示意图；
图4、图5、图6和图7根据示例实施方式分别示出传感器系统、分析系统、执行系统和评估系统；
图8是根据一种示例实施方式的飞机生产和服务方法的流程图的示意图；以及
图9是根据一种示例实施方式的飞机的框图的示意图。
具体实施方式
现在将参考附图在下文中更充分地描述本公开的一些实施方式，其中本公开的一些实施方式并非所有实施方式被示出。事实上，本公开的各种实施方式可以按照许多不同的形式来实施，并且不应被解释为限于本文所阐述的实施方式；相反，提供这些示例实施方式使得本公开彻底并且完整，并且充分地向本领域技术人员传达本公开的范围。例如，除非另有说明，标记某物为第一、第二等不应该被解释为暗示特定的顺序。并且，被描述为在其他物品上方的某物(除非另有说明)可以替代地在其他物品的下方，反之亦然；并且同样地，描述为在其他物品的左边的某物可替代地在其他物品的右边，反之亦然。相同的标号自始至终指代相同的元件。
本发明的示例实施方式总体涉及用于与一个或更多个电子资源交互的泛在自然用户(UNU)系统。一些示例实施方式可总体涉及用于跟踪用户(例如，工作人员)以支持在复杂的系统的组件上执行任务的系统和方法，并且这些示例实施方式可以与UNU系统进一步集成。UNU系统通常可以被配置为感测用户、用户的环境和/或用户与其环境的交互。用户、环境或交互的信息特性可以被分析以辩别可能引起一个或更多个电子资源执行的一个或更多个操作，从而该一个或更多个操作与各自的资源交互。(多个)操作可以被执行，并且可以被反馈到之前的分析用于进一步地评估以便改进未来的结果，并提供任何需要的或其他期望的操作变化的及时信息。
图1根据本公开的示例实施方式示出UNU系统100。UNU系统可以包括，例如，连接到或以其他方式耦合到的一个或更多个接口的用于发送、接收和/或输出信息的前端系统102。接口可以包括一个或更多个通信接口104、传感器106和/或用户界面。通信接口可以被配置为发送和/或接收信息，例如，发送到和/或接收自UNU系统的其他元件、一个或更多个资源主机系统108等。
通信接口104可以被配置为通过物理(有线)和/或无线通信链路传送和/或接收信息。这些无线通信链路具体地可以被配置为实现任何多个不同的无线接入技术，例如，3GPP或4GPP无线接入技术、UMTSUTRA、GSM无线接入技术、CDMA2000无线接入技术、WLAN(例如，IEEE802.xx，例如，802.11a、802.11b、802.11g、802.11n)、WiMAX、IEEE802.16，无线PAN(WPAN)(例如，IEEE802.15、 的低功率版本、IrDA、UWB、Wibree、)、近场通信技术等。
前端系统102还可以被耦合到被配置为提供所感测的输入到UNU系统100的一个或更多个传感器106。在一些示例中，传感器和通信接口104通常可以为前端系统提供必要的输入以便检测、识别和驱动自然用户界面的显示用于与各种电子资源交互。自然用户界面可以去除无关的设备和输入模态，并且可在地理时间上允许并且分派针对用户的角色(或许可级别)和权限定制的显著(salient)的交互。
传感器106可包括机载传感器、非机载传感器、传感器集中器、传感器聚合器等。传感器的合适类型的示例包括用户生理状况传感器、用户动作跟踪传感器、用户认知跟踪传感器、环境状况传感器、环境跟踪传感器等。
合适的用户的生理状况传感器的示例包括温度传感器(例如，温度计、热电偶)、心率传感器、呼吸传感器、排汗传感器、肌肉活动(例如，EMG-肌电图、MMG-肌动图)传感器、应变传感器、血压传感器等。合适的生理状况传感器的其他示例包括图像传感器，例如摄像机(例如，数码相机、红外线摄像机、热感摄像机、深度感知或范围摄像机、立体摄像机)、音频传感器(例如，麦克风)等。合适的用户动作跟踪传感器的示例包括位置传感器(例如，GPS、惯性导航、基于Wi-Fi的定位、基于RFID的定位)、运动传感器(例如，加速度计)、方位传感器(例如，陀螺仪、罗盘、磁强计)、惯性测量单元(IMU)、压力传感器、肌肉活动传感器等。合适的用户动作跟踪传感器的其他示例包括图像传感器(例如，摄像机)、音频传感器等。合适的用户认知跟踪传感器的示例包括关注传感器、焦点传感器等，其中的至少一些可包括一个或更多个传感器，其用于可根据适当的算法(例如，微表情、手势、相对于任务的相对运动)处理的一组用户动作。
合适的环境状况传感器的示例包括图像传感器(例如，摄像机)、音频传感器、位置传感器、时钟、日历、温度传感器、湿度传感器、光传感器、距离/深度传感器、三维(3D)扫描仪、激光测量传感器等。合适的环境跟踪传感器的示例包括图像传感器、音频传感器、日历、时钟、光传感器等。特别地，由于不同的传感器可以用于不同的目的，传感器106的一种类型的示例可以同样是传感器的另一种类型的示例。合适的传感器的其他示例包括倾斜传感器、地标系统、测力计、遥测传感器、光纤传感器等。更进一步地，在一些示例中，通信接口104可以充当用于从一个或更多个电子资源(例如本地高速缓存或后端信息系统)中提供信息的传感器。
前端系统102还可以耦合到一个或更多个用户接口用于输出和/或输入信息，例如，显示装置110、(多个)音频输出装置(例如，(多个)扬声器、耳机等)、被配置为提供如力、振动或运动的触觉反馈的(多个)触摸传感器。显示装置可以被配置为向用户呈现或以其他方式显示信息，并且在一些示例中可包括可佩戴式(例如，头戴式)或手持式个人显示系统的显示装置。合适的个人显示系统的示例可以包括如那些以以下形式提供的私人、(私有链接的)私人共享或公开的个人显示系统：以眼镜、安全护目镜、隐形眼镜等、图像投影仪、视频投影仪、任何多个其他主动或被动的显示系统、激光指示器等形式。在其他示例中，显示装置可以包括更传统的显示装置(例如，液晶显示器(LCD)、发光二极管显示器(LED)、等离子显示面板(PDP)等)，其可以或可以不采取个人显示系统(例如，智能手机、平板电脑)的形式。
用户接口还可以包括一个或更多个用户输入接口。这些用户输入接口可以是有线的或无线的，并且可以被配置为接收(例如用于处理、存储和/或显示的)从用户到UNU系统100的输入。用户输入界面的合适的示例包括麦克风、图像或视频捕获设备、键盘或小键盘，操纵杆、(与触摸屏分离或集成到触摸屏的)触敏表面、生物传感器等。类似于通信接口，在一些示例中，用户输入接口可以充当用于提供直接来自用户的信息的传感器。
如上面所建议的，示例实施方式的UNU系统100可以被配置为与一个或更多个资源主机系统108通信，其可以被配置为托管(host)电子资源。主机系统的一些示例可以远离UNU系统，例如跨过一个或更多个网络，而主机系统的其他示例可以在UNU系统本地。虽然合适的电子资源的示例一般可包括基于软件的系统，但是电子资源可以根据UNU系统的应用而变化。在一些示例中，资源主机系统可包括由电子资源可访问的适当的存储，例如文件存储、数据库存储、云存储等。
合适的基于软件的系统(电子资源)的示例包括信息系统、建筑管理系统、计算机辅助设计(CAD)系统等。合适的信息系统的示例可包括事务处理系统、办公系统、决策支持系统、知识管理系统、数据库管理系统、办公信息系统。合适的信息系统的其他示例可以包括数据仓库、资源规划系统、企业系统、专家系统、搜索引擎、地理信息系统、全球信息系统、办公自动化系统等。
资源主机系统108被示为与UNU系统100分离，但是在各个示例中，UNU系统可以包括一个或更多个资源主机系统。同样地，尽管传感器106和显示装置110被示为UNU系统的一部分，但是一个或更多个传感器和/或显示装置可以与UNU系统分离，而只是与UNU系统通信(例如在一个或更多个非机载传感器的情况下)。
图2是增强现实系统的形式的UNU系统200的一种示例实施方式的图示。如所示，UNU系统可包括计算机系统202，其在一些示例中计算机系统202可被配置为实现图1中UNU系统100的前端系统102和通信接口104。在一些示例中，计算机系统可以包含、包括便携式、基于硬件的电子装置(例如，智能电话、平板电脑等)或体现在该电子装置中。计算机系统可以(有线或无线地)耦合到一个或更多个可佩戴式(例如，头戴式)或手持式个人显示系统。在一些示例中，个人显示系统可以采取增强现实(AR)眼镜、安全护目镜、隐形眼镜等形式(通常为AR眼镜204)，其可以是由环境中的用户佩戴的。在一些示例中，UNU系统可被集成到AR眼镜。
计算机系统202和/或AR眼镜204(或其他个人显示系统)可配备有或(有线或无线地)耦合到一个或更多个传感器(例如，传感器106)，该一个或更多个传感器被配置为向计算机系统提供感测到的输入。如上面所建议的，例如，这些传感器可以包括环境状况传感器，例如3D扫描仪206，该环境状况传感器被配置为扫描用户的环境，并且提供环境中的对象表面上的点的测量值。这些测量值可被用于数种不同的目的，例如，用于产生用户环境的点云或其他3D模型。
这些传感器还可以包括一个或更多个摄像机208，其可被配置为用户动作跟踪传感器和/或环境状况传感器。(多个)摄像机可被配置为捕获用户和/或其物理的、真实世界环境的图像或视频；以及在一些情况下，(多个)摄像机可以由此捕获用户的手势。在一些示例中，传感器可以包括其他用户动作跟踪传感器，用户动作跟踪传感器在一些情况下可被配置为根据任何多个合适的手势识别技术捕获用户的手势。合适的传感器的示例包括一个或更多个加速度计210(运动传感器)、陀螺仪212(方位传感器)、IMU214、光纤传感器216、肌肉活动(例如，EMG)传感器218等。另外或替代地，例如，传感器可包括例如麦克风220的音频传感器，其被配置为捕获来自用户的音频(例如语音命令)。传感器可以采取数种不同的形式，并且在一些示例中可以是用户可佩戴的，例如在用户的手指、腕、臂、踝、腿、腰或躯干上。在一些示例中，AR眼镜204可以配备有3D扫描仪206和(多个)摄像机208，其可以使得3D扫描仪和(多个)摄像机能够提供自用户的视点的测量值和图像/视频。在一些示例中，AR眼镜和/或计算机系统202可以配备有(多个)各种加速度计210、(多个)陀螺仪212、(多个)IMU214和/或麦克风220。在一些示例中，计算机系统可以耦合到配备有(多个)各种加速度计、(多个)陀螺仪、(多个)IMU、(多个)光纤传感器216和/或(多个)肌肉活动(例如，EMG)的传感器218的有线手套、臂章或其他用户可穿戴装置或系统。合适的有线手套的一个示例是Fifth Dimension Technologies的5DT DataGlove Ultra。并且合适的臂章的一个示例是Thalmic Labs公司的MYO手势控制臂章。
在一些示例中，摄像机208和/或麦克风220可以被配置为生理状况传感器，其被配置为提供用户的图像/视频和/或音频。或者计算机系统202和/或AR眼镜204可配备有或(有线或无线地)耦合到被配置为提供所感测的用户的输入特征的一个或更多个其他生理状况传感器。此感测的输入在各个实施例中可以允许用户的识别。
在一些示例中，计算机系统202和/或AR眼镜204可配备有或耦合(通过有线或无线)到被配置为提供用户位置的测量值的一个或更多个位置传感器222。如上面所指出的，适合的位置传感器的示例包括支持GPS、惯性导航、基于Wi-Fi的定位、基于RFID的定位等的那些传感器。
AR眼镜204(或其他个人显示系统)可以产生或以其他方式使能用户的环境的即时显示或直接显示。AR眼镜还可以包括显示装置224(例如，显示装置110)用于显示来自(例如，实现UNU系统100的)计算机系统202的信息(例如由电子资源输出的信息)。在这方面，环境的即时显示或直接显示可以通过来自计算机系统的信息来增强。在一些示例中，计算机系统或AR眼镜可进一步包括或以其他方式被配置为与一个或更多个音频输出装置、用于提供听觉和/或触觉反馈的触觉传感器进行通信。显示装置除了提供的某些视觉反馈或信息，或者替代提供某些视觉反馈或信息，可以提供这种反馈。
如上面所建议的以及在下面解释的，来自计算机系统202的信息可取决于从一个或更多个传感器206-220所感测的输入，这些传感器中的一些可以由AR眼镜204和/或计算机系统配备并且其中的另一些可以耦合到AR眼镜204和/或计算机系统。在一个具体示例中，来自计算机系统的信息可以根据用户的视点而变化，其可以由从传感器例如摄像机208感测的输入来反射。在一些其他示例中，计算机系统可以耦合到多个AR眼镜；并且在这些示例中，根据AR眼镜各自的用户的视点，来自计算机系统的信息可以针对AR眼镜中的每个而变化。
图3根据一种示例实施方式示出前端系统300。图3的前端系统300可以是图1的UNU系统100的前端系统102的一个示例，并且前端系统300在一些示例中可以由图2的UNU系统200的计算机系统202实现。前端系统可以包括用于执行一个或更多个功能或操作以执行与一个或更多个电子资源进行用户交互的任何多个不同的子系统(每个为单独的系统)。如所示，例如，前端系统可包括传感器系统302、分析系统304、执行系统306和/或评估系统308。应当理解，虽然传感器系统、分析系统、执行系统和评估系统被示为前端系统的一部分，这些相应的系统中的一个或多个可以替代地与前端系统或者甚至是UNU系统分离，而是与前端系统或者甚至是UNU系统通信。进一步地，应当理解，这些子系统中的一个或更多个子系统可以充当或工作为单独的系统，而不考虑这些子系统中的其他子系统。并且应当理解，UNU系统可包括比图3中所示的那些子系统更多的一个或更多个附加的或可替换的子系统。
如下面更详细的解释，传感器系统302通常可被配置为接收来自一个或更多个传感器(例如，传感器106)的所感测的输入，该输入可以包括用户的信息特性、用户的环境和/或用户与其环境的交互。分析系统304可以处理此特征信息并将其与现有知识相关联，以便辨别特征信息的意图、目的或者意义，并从它的意义，辨别执行系统306可以使得一个或更多个电子资源进行执行的一个或更多个操作。评估系统308可以执行必要的分析并且返回反馈以改进未来的操作。现在将参考图4、图5、图6和图7，其根据本公开的示例实施方式分别示出合适的传感器系统、分析系统、执行系统和评估系统的更具体的示例。
图4根据一种示例实施方式示出传感器系统400。如上面所指出的，传感器系统400可以是图3的前端系统300的传感器系统302的一个示例。传感器系统可以被配置为从一个或更多个传感器(例如，传感器106)接收和收集所感测的输入。传感器通常可以被配置为感测用户、用户的环境和/或用户与其环境的交互；并且其感测到的输入可以是用户、用户的环境或用户与其环境交互的特性。在一些示例中，传感器系统可以使用各种感测到的输入以导出用户、用户的环境或用户与其环境交互的信息特征。如所示，然后，传感器系统可以包括一个或更多个检测器402，其被配置为(单独地或作为复合)根据相应的检测算法来处理各种感测到的输入，以形成经导出的感测到的输入。或者在一些示例中，感测到的输入可以解析成一个或更多个经导出的感测到的输入。
检测器402可以接收原始感测到的输入；辨识显著的信息和信息集；并且提供适当的计算、变换和组合。UNU系统100可以提供可扩展的方式来更新检测器，例如通过自举(bootstrap)启动；通过基于需求的动态重新配置过程(基于若干因素(例如用于跟踪关注的项目的装置的功率、电位)和背景(context))；和/或通过操作员直接选择。在一些示例中，来自不只一个传感器的感测到的输入可被用于实现检测器或用于改进检测器的性能。后者的示例可以是在飞机电气设备(EE)舱中检测对象(LRU)并且检索背景相关的信息时，针对背景相关的飞机使用飞机准备列表(ARL)，以及针对现场可更换单元(LRU)使用感测到的射频识别(RFID)和对象字符识别(OCR)。
如图4所示，合适的检测器402的示例可以包括颜色检测器、形状检测器、对象检测器、语音检测器(例如，语言/方言检测、情绪检测、应力检测、接触检测)、人脸检测(例如，表情检测、情绪检测、应力检测、接触检测)。合适的检测器的示例还可以包括运动检测器、身份检测器、和/或一个或更多个其他的检测器如特征检测器、人表征器等。在这方面，人的特征可包括，例如，角色特征、地理和/或时间定位、语言/方言特征、应力水平(例如，与可测量的因素、历史信息相关)、接触检测(例如，与可测量的因素、历史信息相关)等。
感测到的输入包括由该传感器系统400接收的(原始感测到的输入)以及任何导出的(经处理的感测到的输入)，其可以包括用户、用户的环境或用户与其环境交互的信息特性。并且传感器系统可将该特征信息传递给前端系统的其他子系统例如用于分析、评估等。
图5根据一种示例实施方式示出分析系统500，并且分析系统500可以是图3的前端系统300的分析系统304的一个示例。该分析系统通常可被配置为接收特征信息(例如，原始感测到的输入，经处理的感测到的输入)并且连续跟踪以及关联各自的信息来辨识其意义(意图)，并从它的意义中，辨识(多个)电子资源的(多个)操作。例如，该分析系统可以采用对象识别和跟踪以便确定飞机上的组件，然后其可以被用来提供允许用户与3D空间(加上时间)内的组件进行交互的动态产生的用户界面，或者用来在用户的任务相关的视野中辨识关注的项目。
如所示，分析系统500可以包括耦合到信息模型和/或历史的意图操作关联的持久性存储504的数个识别器502。这些识别器可以被配置为接收并根据各自的意图算法处理特征信息以辨识一个或更多个已知模式，已知模式可表明特征信息的意义(意图)。在一些示例中，一个或更多个识别器可以使用来自持久性存储的适当的信息模型处理特征信息。
由分析系统500辨识的模式可包括那些普遍应用的(例如，人类手持对象、车载对象、停止手势)、领域依赖的(例如，替换737NG起落装置灯、停止特殊操作力手势、停止飞机滑行手势)和/或用户特定的(例如，定期中断、机会性电子数据传输、残疾人需要的特殊工具、用户的任务表)模式。在一些示例中，各个识别器502可以是相互依赖的。在这些示例中，识别器之间的相互依赖性可以是背景敏感的，例如举例来说，其中地理和/或时间约束连同一个或更多个识别器影响结果。如所示，合适的识别器的示例包括背景管理、手势识别、语音识别(例如，文本到语音)、对象识别、情绪识别和/或行为识别。合适的识别器的其他示例包括点云识别、疲劳识别、焦点识别、用户取向、工具取向、对象跟踪、施加的力跟踪、任务跟踪和/或各种标识符(例如，声纹、指纹、热信号、面部识别)的识别器。
作为更具体的示例，考虑用于手势识别的识别器502(手势识别器)。手势识别器可以被配置为在用户的物理环境中的已定义的3D几何区域(例如，宽度，长度，高度)内识别对象(例如，手)动作。长方体区域可被定义为实现桌上的虚拟键盘，在空间上位于长方体区域之上的正方体区域可被定义为接受其他手势，并且在空间上位于该长方体的右侧的球体可被定义为更直接地与建筑管理系统接合来控制建筑照明。每个区域可以以数种不同的方式定义，例如，通过可以以典型的坐标(例如，x、y、z)表示的宽度、长度和高度，但区域还可以包括另外的参数，例如日期、时间、地理坐标等，如此以便创建情境的或背景敏感的用户界面(UI)的定制。
持久性存储504可以包括处理特征信息所依据的一个或更多个信息模型、过去的意图操作配对、和/或其他信息的存储。持久性存储可以提供方法和成功标准的历史记录，以及由个人和/或角色并且或许通过相关因素(例如，设备的地点、时间、可用性等)归类的加权性能指标。在一个示例中，由持久性存储进行存储的信息可以由评估系统来维持，例如图3的评估系统308。持久性存储结合识别器502可以提供跟踪、测定(gauge)和改进前端系统的性能的手段，该手段从而可以跟踪、测定和改进UNU系统的性能。
在更具体的示例中，通过识别器502处理的特征信息(例如，原始感测的输入、经处理的感测到的输入)和从该特征信息辨识的意义可以以二进制形式精简(condense)成特征意图配对(CIP)。CIP可以与(多个)电子资源的(多个)操作相关联，以形成相关的操作CIP配对(OCIP)，它在一个示例中可以对应于由持久性存储504存储的意图操作配对。根据示例实施方式，一个或更多个OCIP形成独特指纹用于从检测到识别到操作等范围的系列功能。并且在一些示例中，该指纹和/或其(多个)OCIP的一个或更多个基于由个人和/或角色并且或许通过相关因素(例如，设备的地点、时间、可用性等)归类的一个或更多个性能指标可以被加权。
识别器502可以基于一个或更多个意图操作配对(例如，形成独特指纹的一个或更多个OCIP)将辨识的意义与历史意义和相关操作的持久性存储504进行比较。在一个示例中，每个识别器可以被配置为基于辨识、操作建议以及或许其他权重(例如，用户、角色)比较这些操作并且产生加权评估。然后分析系统500可以将包括分析、选项、结果和/或其他的用户反馈(例如，听觉、视觉、触觉)传递到前端系统例如用于由一个或更多个电子资源执行一个或更多个操作，并且呈现来自电子资源的任何相应的输出。
图6根据一种示例实施方式示出执行系统600，并且执行系统600可以是图3的前端系统300的执行系统306的一个示例。执行系统通常可以被配置为接收操作信息，并且使得一个或更多个电子资源基于其执行一个或更多个操作。在各种实施例中，执行系统可基于特征信息(原始感测到的输入、经处理的感测到的输入)、之前成功的模式、算法操作等使操作被执行。操作可以取决于多种因素，例如，背景、需求、紧急性、计算能力、电池寿命等。
执行系统可包括数个操作引擎602，其中的每个可被配置为根据各自的算法处理操作信息，以便形成到一个或更多个电子资源的输入，从而使各自的(多个)资源执行一个或更多个操作。在各种示例中，虽然在各种情况下，系统导出的操作可以替代为用户请求的操作，或者用户请求的操作可以替代为系统产生的操作，但是操作引擎可以包括用于多个系统导出的操作602a和/或多个用户请求的操作602b的那些操作信息。
系统导出的操作引擎602a通常可以被配置为导致与例如由分析系统304从特征信息中辨识的意义(意图)相关的操作的执行。另一方面，用户请求的操作引擎602b通常可以被配置为导致特别是由用户请求的操作的执行。如所示，合适的系统导出的操作的示例包括基于角色的访问控制(RBAC)、定制UI、定制信息检索、定制信息传递等。系统导出的操作的示例还包括基于角色的质量保证监控/审核、音频输入处理(例如，语音命令)、视频输入处理(例如，手势、3D时空处理)、动作(或运动)输入处理(例如，手势)、传感器请求等。系统导出的操作的其他示例包括自动录音(例如，质量控制、系统记录)、系统校准、虚拟音频/视觉辅助、质量保证(QA)记录，背景跟踪细化等。
用户请求的操作的示例包括用于通知、处理、显示、通信、记载等的请求。用户请求的操作的示例还可以包括用于UI操作的请求、跟踪/监视对象的请求、用于通知/警告的请求等。用户请求的操作的其他示例包括执行器校准、记录音频/视频、记录静止图像、建立虚拟音频/视频连接、记录应用的紧固件扭矩、重放录音等。
由操作引擎602形成的输入可传送到由各自的本地或远程资源主机系统108托管的适当的电子资源，以便导致特定的操作的执行。电子资源可进而产生来自操作的执行的输出，并将输出返回到操作引擎用于通过UNU系统100的输出，例如通过其显示装置110、扬声器耳机等。
图7根据一种示例实施方式示出评估系统700，并且其可以是图3的前端系统300的评估系统308的一个示例。该评估系统通常可被配置为对比与操作以及或许由分析系统的导出相关的成功标准来评估执行的操作，这可以改进未来结果的执行和效率。如所示，评估系统可包括耦合到信息模型和/或历史的意图操作关联的持久性存储704的数个管理/评估引擎702。在一些示例中，持久性存储704可对应或以其他方式维持由分析系统500的持久性存储504存储的信息。类似于分析系统的持久性存储504，然后，评估系统的持久性存储704可以包括针对过去的意图操作配对的存储，和/或可以根据其处理特征信息的其他信息。持久性存储可以提供方法和成功标准的历史记录，以及由个人和/或角色并且或许也由相关因素(例如，设备的地点、时间、可用性等)归类的加权执行指标。
管理/评估引擎702可以包括管理引擎，如被配置为管理由持久性存储704存储的信息模型和意图操作配对的模型管理和关联管理引擎。管理/评估引擎702还可以包括被配置为跟踪特征信息(例如，由分析系统500确定的特征信息)的意义(意图)的评估引擎。并且管理/评估引擎可以包括被配置为评估意义和(多个)操作(例如，系统导出的、用户请求的)之间的相关性的评估引擎，(例如由执行系统600)基于其使电子资源执行该(多个)操作。
如所示，管理/评估引擎702的合适的评估引擎的示例包括用于跟踪情绪、行为等的那些评估引擎，以及用于评估情绪、行为等与(多个)电子资源的(多个)操作之间的相关性的那些评估引擎。合适的评估引擎的其他示例包括用于跟踪和/或评估背景、手势、语音、对象、点云、疲劳、焦点、用户取向、工具取向、作用力、任务等的相关性的那些评估引擎。在各种实施例中，由管理/评估引擎所执行的评估可以包括基于上述(多个)执行指标的权重的生产，并且其可以在不同的情况下被应用到由持久性存储704存储的一个或更多个意图操作配对(例如，OCIP)，从而改进未来结果的执行和效率。
示例实施方式的UNU系统100和方法可以用在各种潜在的应用中，如在复杂的系统(如飞机或任何数个其他结构)的背景中。复杂的系统通常可以由系统、子系统、配件、子配件、组件等(每个通常为“子系统”)组成。每个子系统可以由各自的部件组成，并且每个部件可以包括各自的特征。复杂系统的部件可被装配成多个子系统，其进而可以被装配成复杂的系统。在飞机的背景下，一个或更多个部件或子系统可以被设计为经常称为LRU的飞机的模块化组件，其中单个飞机可以包括数个LRU和其他部件或子系统。任何复杂的系统本身或任何其子系统、(子系统的)部件、(部件的)特征等有时可以统称为复杂系统的“组件”或“部件”。
合适的应用的一个示例是工程活动的支持，如在复杂的系统如飞机的生产前、生产中或生产后的过程中执行的那些活动。合适的应用的另一个示例是任务(如在复杂系统的组件上执行的生产前、生产中或生产后的任务)的支持。因此，现在参考图8和图9，示例实施方式可被使用在如图8所示的飞机制造和维护方法800以及图9所示的飞机900的背景中。在生产前，示例方法可以包括飞机的规格和设计802、生产顺序和处理规划以及材料采购804。在生产过程中，飞机的子系统和组件制造806以及系统集成808发生。此后，在生产后，飞机900可以通过认证和交付810以便投入使用812。当由客户使用时(也为生产后)，飞机可定期进行日常维修和维护814(其还可以包括修改、重新配置、翻新等)。
示例方法800的每个过程可以由系统集成商、第三方和/或操作员(例如，客户)执行或者进行。为了说明目的，系统集成商可包括例如任何数量的飞机制造商和主系统分包商；第三方可包括例如任何数量的销售商、分包商和供应商；并且操作员可以包括例如航空公司、租赁公司、军事实体、服务组织等。
如图9所示，通过示例方法800生产的示例飞机900可包括具有多个系统904(每个具有子系统或更多通常的组件)的机身902和内部906(包括各自的组件)。高级别系统904的示例包括推进系统908、电气系统910、液压系统912、环境系统914等中的一个或多个。可以包括任何数量的其他系统。虽然示出航空航天的示例，但是本公开的原理可以应用到其他工业，如海洋和汽车工业。
本文所公开的UNU系统100和方法可被专用于示例生产和维护方法800的任何一个或更多个阶段(包括生产前、生产中和/或生产后的中任何一个或更多个)期间。以下参考图2示出和描述的UNU系统的实施方式的背景说明示例，即以UNU系统200的形式。然而，应当理解，该方案同样适用于UNU系统的其他更广泛或更具体的实现方式，包括具有其他类型的个人显示系统的那些实现方式。
在生产前或生产中，例如，UNU系统200可用于在现实生活的环境中使用手势实时使能对实体模型的虚拟的、即时的设计和工程改造。它的使用从而可以简化、简单化并提高设计工作的质量；加强客户协作并且购买他们的产品；并降低成本。在一个方案中，例如，配备UNU系统的用户(例如，工程师)可戴着AR眼镜204步行穿过飞机内部的实体模型，AR眼镜204可配备有或耦合到(多个)传感器，如3D扫描仪206、摄像机208等。摄像机可以被配置为捕获用户的手势。或者在一些示例中，UNU系统可包括被配置为捕获用户的手势的一个或更多个附加的或替换的传感器，例如一个或更多个加速度计210(运动传感器)、陀螺仪212(取向传感器)、IMU214、光纤传感器216、肌肉活动(例如，EMG)传感器218等。
在步行穿过实体模型内部的过程中，用户可以指示计算机系统202(例如，通过语音指令、手势等)以使3D扫描仪208来扫描和提供在内部的对象的表面上的点的测量值(或测量)。更具体地，可以使3D扫描仪提供在用户环境中的对象的表面上的点的测量值，或者稍微更具体地，提供复杂系统的组件的实体模型的表面上的点的测量值。
计算机系统202可以接收和处理包括来自3D扫描仪206的测量值的感测到的输入，从其中辨识表示所感测的输入的意义的已知模式，从而辨识适当的电子资源的操作。该计算机系统可以形成并传送输入，以使电子资源执行操作。该输入可以包括测量值，并且操作可以包括从测量值中产生点云，以及将点云变换为内部(或更具体地，在用户的环境中的对象)的适当的3D模型(例如，3D CAD模型)。更具体地，例如，测量值可被输入到可产生点云的适当的电子资源，并且同一或另一电子资源然后可以将点云变换到实体模型内部的适当的3D模型，其可以被存储以便将来使用。在各种示例中，实体模型内部并且进而其3D模型可以例如通过线框、立体图、照片写实视图等反映特定类型的座椅配置，也可以反映实体模型内部的其他品质，例如座椅、地毯等的类型。
进一步在上述示例方案中，配备UNU系统200的同一或另一用户可戴着包括显示装置224的AR眼镜204步行穿过飞机的空的机身。在另一个示例中，除了或代替AR眼镜的显示装置，计算机系统可以被配置为与投影仪通信。在此步行穿过过程中，用户可以(例如，通过语音指令、手势等)指示计算机系统202输出实体模型内部的3D模型用于以生活中的尺寸大小来显示。更具体地，UNU系统可以被配置为接收包括来自(多个)电子资源的3D模型的输出，并且传送该输出用于通过显示装置进行显示，其中该3D模型可以是复杂系统的组件。
AR眼镜204可以产生或以其他方式使空机身即时显示或直接显示，其可由来自UNU系统200的计算机系统202中的实体模型内部的三维模型来增强。更普遍地，在该用户的环境包括设计用于组件的放置的复杂系统的空的空间的示例中，通过空的空间的即时显示或直接显示由3D模型增强，UNU系统可以被配置为传送输出用于显示。在一个示例中，UNU系统可以包括或耦合到多个AR眼镜，其包括各自的显示装置224并且由步行穿过空机身的各自的用户(在相同环境的用户)佩戴。在这个示例中，可指示UNU系统输出3D模型到每对AR眼镜的显示装置。由各自的显示装置所显示的3D模型可以被锚合到空的机身(用户的环境)，但3D模型取决于机身(环境)内的各自的用户的视点针对每对AR眼镜而不同。
UNU系统200可以进一步使得用户能够实时地对实体模型内部的3D模型做出工程改变，这可以更好地确保满足用户的要求。在一个示例中，配备UNU系统的用户可以使用手势改变所显示的3D模型，例如通过猛击他们的手、捏、缩放等来改变由3D模型所表示的实体模型内部的一个或更多个对象的配置、形状、姿势、取向、颜色组合等。用户可以使用手势来捏座椅，并向外拉以将其展开，或猛击移除它。该手势可以由一个或更多个适当的传感器208-218捕获，并(作为感测到的输入)被提供到计算机系统202。更普遍地，适当的传感器可以被配置为捕获指示改变3D模型的一部分的用户的手势，并且感测到的输入可以包括从传感器所捕获的手势。
计算机系统202可以处理包括所捕获的手势的感测到的输入，并且形成并传送输入，使适当的电子资源来实施由手势所指示的改变。电子资源可以将改变的3D模型或3D模型的改变的对象(例如，座椅)输出返回到计算机系统。也就是说，该输出至少可以包括3D模型的改变的部分，其进而可以被输出到AR眼镜204的显示装置224用于显示包括该改变部分的3D模型。该改变可以在3D模型制造时实时示出，并且可以由电子资源存储为3D模型的迭代或版本例如用于比较目的。
在一个示例中，反映飞机或其组件中的一个或更多个的操作的一个或更多个信息模型可以被进一步拖动(draw)入适当的电子资源，其可以模拟飞机/组件的操作。在模拟期间或模拟之后，电子资源可将模拟的结果输出到计算机系统202，其进而可以通过AR眼镜204的显示装置224将结果输出给用户。更普遍地，UNU系统可以被配置为从该复杂系统的操作的电子资源模拟接收输出，并传送该输出用于由显示装置进行显示。
除了或代替显示模拟的输出，该输出可被提供到其他用户接口，例如(多个)音频输出装置、(多个)触摸传感器等。(多个)音频输出装置可以向用户提供声音反馈，并且(多个)触摸传感器可以向用户提供触觉反馈，例如在模拟期间或作为模拟的结果用于警告用户必然事件，并且除了或代替来自AR眼镜204的显示装置224视觉反馈或其他信息，模拟可以被提供。合适的事件的示例可包括碰撞或其他冲突或组件之间的干扰，并且可能便于解决这些问题。
在一些示例中，UNU系统200可以基于用户的角色定制显示给用户的3D模型和/或其他信息。也就是说，计算机系统202可以被配置为传送输出用于由各自的用户佩戴的相应的多个AR眼镜204的多个显示装置224显示，显示装置中的每一个的输出根据各自的用户的角色而改变。在飞机制造商和客户的代表均佩戴AR眼镜的示例中，计算机系统可使该代表的AR眼镜不仅显示3D模型，而且也显示可用数据，提醒客户的过去的参数选择等，而客户的AR眼镜仅可以显示3D模型。
在飞机的生产过程中或生产后，例如，UNU系统200可以被用于支持多种活动，例如建造、修理和/或维修活动。在各种示例中，这些或类似的活动可以根据工作计划而被执行，工作计划形式化用于建造、创建或以其他方式完成飞机或飞机组件的工程设计的要求或意图的指令。工程设计可包括表明飞机的规格、公差、目的、材料或其他方面的一组要求。该工作计划包括一系列工作指令，其共同由一组由工作人员来完成的指令组成的，并且每个工作指令可以包括一项或更多项任务。任务可以指由工作人员执行的动作或一组动作，其代表工作人员的特定的和可重复的目的、运动或动作。
在一些示例中，任务可以被定义为包括或暗示用户的一个或更多个已定义的动作用于操作复杂系统组件；并且对于某些任务，用户可以使用一个或更多个工具(例如，手持工具、电动工具)来执行各自的动作。例如，可以向用户分派放置、排列或组装组件、安装或卸载组件、在组件中钻孔、在组件上安装紧固件、切断或将组件的一部分按路线伸出(route out)等任务。
在一些示例中，任务可以有任务定义，其包括或暗示可使工作人员遭受人体工程学风险的一个或更多个类型的已定义的动作，如举起、夹持、高空作业、推/拉、弯曲、跪坐等。举起可包括工作人员在一定次数举起一定重量。夹持可包括工作人员使用把手(如握式把手、捏式把手、手指/大拇指按压)施加一定次数一定量的力。高空作业可以包括工作人员将其手举过头部上方一定次数，其中每次达一定量的时间。推/拉可包括工作人员在一定次数用一定量的力推/拉(例如，单手/双手平推/拉、单臂/双臂垂直推/拉)。弯曲可以包括工作人员将其躯干弯曲向前(例如，大于45°)一定次数，其中每次达一定量的时间。并且类似地，跪坐可包括工作人员跪坐一定次数，其中每次达一定量的时间。
在一些示例中，任务定义可以为用户操作复杂系统的组件指定一个或更多个工艺要求，其在一些情况下可涉及适当的工具(例如，手持工具、电动工具)的使用。如上面所建议的，这些可包括例如，放置、排列或组装(多个)组件、安装或卸载(多个)组件、在组件中钻孔、在组件上安装紧固件、切断或将组件的一部分按路线伸出等要求。在更具体的示例中，安装紧固件的工作任务可以包括针对任务的执行相关的工艺变量要求，如扭矩、摇摆力和/或施加到所述紧固件的预加负荷。
在一个方案中，例如，配备UNU系统200和佩戴眼镜的AR204的用户(例如，工作人员)可以进入工作站点执行工作计划的已定义的(多个)任务。计算机系统202和/或AR眼镜可配备或耦合到一个或更多个传感器，其可以提供从其中计算机系统可以识别用户的感测到的输入。在一些示例中，计算机系统可使摄像机208来捕获用户的面部的图像，和/或可使麦克风220捕获用户的音频，其可以被提供给计算机系统作为感测到的输入。或者计算机系统可使其他生理状况传感器提供用户的感测到的输入特性。在这些示例中，计算机系统可以被配置为接收和处理感测到的输入以基于面部识别、声纹(voice print)等识别用户。计算机系统可以进一步基于所识别的用户与一个或更多个适当的电子资源通信，例如闹铃提示用户进入工作，和/或提供包括例如日常安全消息、小心过去有问题的事情的提醒等的工作日的日程。
当用户准备执行已定义的任务时，该传感器可以提供从其中计算机系统202可以与适当的(多个)电子资源通信的感测到的输入，以将用户引导到其中用户可以定位用于执行该任务的所需的项目的位置。计算机系统可进一步向用户提供用于执行任务的已知工作区域的指示，并且可以将到各自区域的路线输出到AR眼镜204的显示装置224。在一个示例中，所述计算机系统可使位置传感器222提供用户的位置的测量值，其可以被提供到计算机系统作为感测到的输入值。计算机系统可接收和处理所感测的输入来计算从用户的位置到相应的区域的路线。如之前，除了或代替显示装置，计算机系统可以与输出(在增强用户的环境的直接显示或实时显示的任一示例中的输出)可以显示在其中的投影仪通信。
计算机系统202可以使位置传感器222提供当用户移动时跟踪用户位置的测量值，其可被(作为感测到的输入)提供到计算机系统并且由计算机系统进行处理，以确定用户何时接近工作区域。计算机系统202可以与适当的(多个)电子资源通信，以提供给定任务相关的参考材料或其他信息。当用户到达工作区或在工作区附近时，计算机系统然后可以例如以连续的背景敏感的方式向AR眼镜204的显示装置224输出参考材料和其他相关信息。
当用户是在工作区或在工作区附近，计算机系统202可以使摄像机208例如从用户的视点自动捕获用户和/或其环境的图像或视频。当用户的视点变成对象的区域时，用户必须与对象进行交互来执行任务，计算机系统可接收并处理感测到的输入来识别对象；与适当的(多个)电子资源通信；并且输出增强用户直接显示的视觉线索用于突出各自的对象。在一些示例中，视觉线索可以具有可以被定制以反映物体的状态的特性(例如，颜色、阴影、模式、强度、方向)。计算机系统可以进一步(视觉和/或听觉)输出步进式的任务/动作，并可以在不同的情况下输出进一步的视觉辅助。这种视觉/听觉辅助可包括，例如，示出任务/动作的性能的辅助性视频、或组件组装的动画视图、或许具有描述正在执行的任务/动作的旁白、辅助笔记、任务/动作背后的基本原理等。
用户可以指示计算机系统202(例如，通过语音指令、手势等)与适当的(多个)电子资源通信，以提供关于关注物体的信息，计算机系统然后可以将该信息输出到AR眼镜204的显示装置224。例如，用户可以说出语音指令，例如“找到襟翼缝翼电子单元”，其可由麦克风220捕获并且由其处理以使得计算机系统与适当的(多个)电子资源通信，并输出增强用户的直接显示的视觉线索用于突出各自的襟翼缝翼电子单元(LRU)。自动地或响应于用户指令，可以使计算机系统定制视觉线索的特性以反映LRU的状态，或提供关于LRU的信息。
当用户执行任务时，计算机系统202可以使各种传感器提供感测到的输入，计算机系统可以从感测到的输入中跟踪任务的执行。例如，计算机系统可使摄像机208在用户执行任务时自动捕获视频。另外或替代地，例如，该计算机系统可使加速计210、陀螺仪212、IMU214、光纤传感器216、肌肉活动(例如，EMG)传感器218或其他适当的传感器提供用户的运动和/或方向的测量值，其可以是用户的一个或更多个动作的特性。这可包括用户举起、夹持、高空作业、推/拉、弯曲跪坐等测量特性。在一些示例中，肌肉活动传感器可提供用户的肌肉活动的测量值，可以从其中计算出来举起重量、夹持力和/或推/拉力。
在计算机系统202跟踪任务的执行的时候或之后，该计算机系统可以例如用于许多不同的目的向适当的电子资源输出视频和/或其他感测到的输入，以便用于存储和调用。例如，为了性能评估目的，计算机系统可以输出视频和/或其他感测到的输入到电子资源。如上面所指出的，可以定义任务以包括或暗示用户的已定义的动作。还如上面指出的，所感测的输入可包括用户的运动和/或方向的测量值，其可以是用户的一个或更多个动作的特性。在一些示例中，计算机系统然后可以输出视频和/或其他感测到的输入，从其中该电子资源可以在该任务的执行期间确定用户的一个或更多个动作，并且将所确定的动作与任务定义的相应的已定义的动作进行比较。电子资源可基于该比较用其定义确定用户的任务的执行的顺从性(compliance)，其从而可以使得用户的执行能够进行评估。
在一些示例中，为了人体工程学的评估，计算机系统202可以输出视频和/或其他感测到的输入到电子资源。如上面所建议的，用户的运动和/或方向可以是不同类型的动作的特性，其中一些可使工作人员遭受人体工学风险。因此，该计算机系统可以提供视频和/或其他感测到的输入到电子资源，其可以被配置为基于视频和/或其他感测到的输入执行或促进人体工程学的风险评估的执行。
在一些示例中，计算机系统202可以输出视频和/或其他感测到的输入到电子资源以用于检查目的。如上面所建议的，任务定义可以为用户操作复杂系统组件指定(多个)工艺要求。例如，紧固件的安装的任务可以包括针对工艺变量例如转矩、摇摆力和/或施加到紧固件的预加负荷的要求。在一些示例中，然后，计算机系统可输出肌肉活动的测量值，(除了或代替视频和/或其他感测到的输入)，电子资源从其中可以从测量值(包括转矩、摇摆力和/或由用户(直接地或使用工具)施加到所述紧固件的预加负荷)来计算许多不同的工艺变量。电子资源可以将计算的工艺变量与任务定义的各自指定的工艺要求进行比较。电子资源可基于该比较用各自指定的工艺要求确定所计算的工艺变量的顺从性，其从而可以使任务对比其工艺要求进行检查。
当用户执行任务时或执行任务之后，电子资源可产生并输出其评估或检查的结果。举例来说，其中当用户执行任务时，结果被输出，该结果可以例如根据任务的定义和指定的工艺要求促进用户任务的适当的执行。在任一情况下，然而，可能取决于各自的任务，结果可促进同一个或另一个用户的同一个或另一个任务的适当的执行。在一些示例中，任务完成的自动识别可推动调搏器板、仪表盘进度、完成度量软件等，这可以有助于改进实时生产状态。
电子资源可以产生评估或检查的任何数个不同的结果。例如，电子资源可产生用户的已确定动作、任务定义的相应的动作、和/或用户的任务的执行与其定义基于它们的比较的顺从性的一个或更多个的指示。在一个示例中，电子资源可产生所计算的工艺变量(例如，扭矩、摇摆力、预加负荷)、由任务定义指定的相应的工艺要求、和/或所计算的工艺变量和相应的工艺要求基于它们的比较的顺从性的一个或更多个的指示。在一些示例中，顺从任务定义或工艺要求的指示可以以多种相对程度反映，其可以通过顺从性的相应的范围区分，如完全顺从、部分顺从或不顺从。
在一些示例中，电子资源可以向计算机系统202输出评估或检查的结果，其可以进而通过AR眼镜204的显示装置224和/或通过其他用户界面(例如，音频输出装置、触觉传感器)将结果输出给用户。该结果可作为数字或文本反馈输出。另外或替代地，结果可以是作为在一些情况下可以反映对于任务定义或过程要求的顺从性程度的视觉、听觉和/或触摸提示输出。在紧固件安装的情况下，例如，计算机系统可以将视觉线索、听觉反馈和/或触觉反馈输出给用户，例如，以便提醒用户所计算的工艺变量(例如，扭矩、摇摆力、预加负荷)顺从规定的工艺要求。
按照示例实施方式中的方式执行的评估、检查和其他类似的(多个)操作也可以使得用户能够保持专注于他们的任务，而不是等待评估、检查或其他过程，这可能导致非常多的时间节省、更好建造质量和/或减少用户的认知混乱。另外，当发生用户休息或以其他方式中断(例如，UNU系统200出现故障)的事件时，用户的环境可被捕获。当返回任务时，可调出视频以协助用户利用背景完整无缺地程序地返回到其中断的点。
除了或代替上文所述的那些工艺，包括视频和其他信息的任务的记录的存储还可以确保数种其他工艺。利用数据分析的电子资源可以例如扫描这些记录以查找偏差、以及可被自动包含在未来的工艺改进活动中的改进。可以记录执行任务的每个示例的时间并将其输出用于显示在复合的、生动的“价值流图”，其可突出新的机会区域用于在各种任务中进行改进。
UNU系统200可以进一步使得用户通过适当的电子资源能够即时访问其他用户(例如，工程师、规划师)。用户可以由此与他人协作或以其他方式从他人接收辅助以解决任务或任务的问题。在这次协作中，用户可指示计算机系统202提供给其他用户可以有助于他们相互作用的背景或其他支持信息。甚至在飞机投入使用期间，这可以使得工作人员之间能够协作。例如，一名配备UNU系统的乘务员会发出语音指令，例如“我需要更多的咖啡”，以使计算机系统与适当的(多个)电子资源进行通信，来找到离咖啡最近的另一名乘务员或航空工作人员，并输出乘务员对咖啡的需求的提醒或其他指示。增强现实系统在这种情况下也可受益于在前述的'753申请中公开的系统的各个方面。此外，如上述建议的，UNU系统200可指导用户他们可将执行任务所需的物品放在哪里。这可以包括已列清单的物品，并且计算机系统202可以与适当的电子资源进行通信，以执行针对已列清单的物品的各种活动。合适的活动的示例包括清单控制和自动对账消费活动、置位/复位最小/最大清单水平、订货点等，支付消费清单等。这可将供应链同步到消费的要货(pull)信号，这可以有利于及时供应。
UNU系统100(和其示例UNU系统200)和示例实施方式的方法也可用在在各种各样的其他潜在应用中。UNU系统可在信息编织中具有应用程序，其中虚拟的和物理的可组合，如通过在使用的时间和点用虚拟的信息元素增加用户的物理环境，并以背景有关的方式。
在另一个示例中，示例实施方式中的UNU系统100可具有在事故调查中的应用程序。在这方面，点云可以从残骸区记录和产生用于分析，可以模拟不同的算法以告知关于无数的潜在事件实际上即将到来的调查。
在又一示例中，UNU系统100可具有情感、用户意图/行为中的应用程序。手势、口头情绪提示、微表情等可以是用于背景的元素。此信息可并入到背景信息来告知需要的预测能力。可以判断接合，信息和/或用户界面可以被更新(提供更多的帮助/信息)，和/或可向可用的(调用上次工作过的)专家进行联系。
在其他示例中，UNU系统100可以具有应在虚拟指导协助中的用程序；和/或移动的、网状网络，用于借用计算资源。在又一个示例中，UNU系统可具有人体路线跟踪中的应用程序，例如，如果指定的工作区没有输入，或者如果停留时间没有达到用于特定操作预期的阈值，以产生提醒。
根据本公开的示例实施方式，UNU系统100、资源主机系统108、以及其各自的子系统可以由各种构件来实现。同样地，UNU系统200、以及前端系统300、传感器系统400、分析系统500、执行系统600和评估系统700的示例包括其各自的子系统、元件等(例如，计算机系统202)中的每个，其可以根据示例实施方式由各种构件来实现。用于实现系统、子系统和其各自元件的构件可包括计算机硬件，该计算机硬件是独立的或在来自计算机可读存储介质的一个或更多个计算机程序代码指令、程序指令或可执行的计算机可读程序代码指令的指导下。
在一个示例中，可以提供一个或更多个设备，其被配置为用作或以其他方式实现本文示出和描述的系统、子系统和相应的元件。在涉及多于一个设备的示例中，相应的设备可以被连接到其他设备或以其他方式以数种不同的方式(例如经由有线或无线网络等直接或间接地)彼此通信。
通常，本公开的示例性实施方式的设备可以包含、包括或体现在一个或更多个固定的或可移动的、基于硬件的电子装置。合适的电子装置的示例包括智能电话、平板电脑、膝上型计算机、台式计算机、工作站计算机、服务器计算机等。所述设备可以包括多个的许多组件的每一个中的一个或更多个，例如，连接到存储器(例如，存储装置)的处理器。
处理器通常是能够处理信息如，例如，数据、计算机可读程序代码、指令等(一般为，“计算机程序”，例如，软件、固件等)和/或其他合适的电子信息的任何计算机硬件。更具体地，例如，所述处理器可被配置为执行计算机程序，其可以在处理器上存储或者以其他方式存储在的存储器(同一或另一设备)中。所述处理器可以是数个处理器、多处理器核处理器或一些其他类型的处理器，这取决于特定的实施方式。进一步地，所述处理器可以使用多种异构处理器系统实现，其中主处理器在单个芯片上存在有一个或更多个辅助处理器。作为另一个说明性示例，所述处理器可以是包含多种相同类型的处理器的对称多处理器系统。在又一示例中，所述处理器可以体现为或包括一个或更多个应用专用集成电路(ASIC)、现场可编程门阵列(FPGA)等。因此，虽然该处理器可以能够执行计算机程序来执行一个或更多个功能，各种示例的处理器不在计算机程序的辅助下能够执行一个或更多个功能。
存储器通常是能够在临时基础上和/或永久基础上存储信息如，例如，数据、计算机程序和/或其他合适的信息的任何计算机硬件。所述存储器可包括易失性和/或非易失性存储器，并且可以是固定的或可移动的。合适的存储器的示例包括随机存取存储器(RAM)、只读存储器(ROM)、硬盘驱动器、闪存、拇指驱动器、可移动计算机磁盘、光盘、磁带或以上的一些组合。光盘可包括压缩盘-只读存储器(CD-ROM)、光盘-读/写(CD-R/W)、DVD等。在各种情况下，该存储器可称为计算机可读存储介质，其作为能够存储信息的非临时性装置，可以从计算机可读传输介质中区分，例如能够将信息从一个位置携带到另一个位置的电子短暂信号。如本文所述的计算机可读介质通常可指计算机可读存储介质或计算机可读传输介质。
除所述存储器，所述处理器还可以连接到一个或更多个接口，用于发送、接收和/或输出信息。所述接口可以包括一个或更多个通信接口104、传感器106(例如，传感器206-220)和/或用户接口，其示例在以上参考通信接口104、传感器106和/或用户界面(包括显示装置108，例如，显示装置224)进行描述。
如上所示，程序代码指令可以存储在存储器中并由处理器执行以实现系统、子系统和本文中所描述的其相应元件的功能。如将理解的，任何合适的程序代码指令可以被加载到来自计算机可读存储介质的计算机或其他可编程设备，以产生特定的机器，使得特定的机器成为用于实现本文中指定的功能的构件。这些程序代码指令还可以被存储在计算机可读存储介质，其可以引导计算机、处理器或其他可编程设备以特定的方式起作用，从而产生特定的机器或特定的制品。存储在计算机可读存储介质中的指令可产生一种制品，其中所述制品成为用于实现本文中所描述的功能的构件。程序代码指令可以从计算机可读存储介质中获取并加载到计算机、处理器或其他可编程设备以配置计算机、处理器或其他可编程设备，从而执行在计算机、处理器或其他可编程设备上或由计算机、处理器或其他可编程设备上执行的操作。
程序代码指令的获取、加载和执行可以按顺序执行，使得在每次获取、加载并执行一个指令。在一些示例实施例中，获取、加载和/或执行可以并行执行，使得多个指令一起被获取、加载和/或执行。程序代码指令的执行可产生计算机实现的过程，使得由计算机、处理器或其他可编程设备执行的指令提供用于实现本文所描述的功能的操作。
由计算机可读存储介质中的处理器、指令的存储器执行指令支持操作的组合用于执行指定功能。还应当理解，一个或更多个功能以及功能的组合，可通过执行特定的功能或者专用硬件和程序代码指令的组合的专用的基于硬件的计算机系统和/或处理器来实现。
本文所述的本公开的许多修改和其它实施方式会由本公开涉及领域技术人员想到，其具有前述说明和相关附图中呈现的教导中的利益。因此，应该理解，本公开不限于公开的特定的实施方案，并且修改和其他实施方式旨在包括在所附权利要求的范围之内。而且，尽管前述说明和相关附图在特定示例组合的元件和/或功能的背景中描述示例实现，应该理解的是，不同组合的元件和/或功能由不脱离本附加权利要求的替代体现来提供。在这方面，例如，除上文明确描述的，不同组合的元件和/或功能也认为在一些所附权利要求中陈述。尽管在本文中采用了特定术语，其仅在通用的和描述性的意义中使用，而不是为了限制的目的。

Claims (10)

1.一种泛在自然用户系统(100)，其包括：
一个或更多个传感器(106)，其被配置为在由用户运行复杂系统组件的任务的执行期间提供包括所述用户的运动或取向中的至少一个的测量值的感测到的输入；以及
前端系统(102)，其耦合到所述一个或更多个传感器(106)，并且被配置为接收并处理包括所述测量值的所述感测到的输入，从其中辨识表示所述感测到的输入的意义的已知模式，从而辨识要执行的电子资源的操作(602)，
其中所述前端系统(102)被配置为形成并传送输入，以使所述电子资源执行所述操作(602)并产生输出，所述操作(602)包括在所述任务的执行期间所述用户的动作的确定，或者从包括所述测量值的所述感测到的输入中计算与所述任务的执行相关的工艺变量，以及
其中所述前端系统(102)被配置为从所述电子资源接收所述输出，并且将所述输出传送到显示装置(110)、音频输出装置或触觉传感器，从而使得所述用户在执行所述任务时能够访问或使用电子资源。
2.根据权利要求1所述的泛在自然用户系统(100)，其中所述任务具有包含或暗示所述用户的已定义的动作的任务定义，
其中所述前端系统(102)被配置为形成并传送所述输入包括被配置为形成并传送所述输入以使所述电子资源执行所述操作(602)，所述操作(602)包括所述用户的所述动作的确定，并且进一步包括所述已确定的动作和所述已定义的动作的比较，以及基于所述比较的具有所述任务定义的所述任务的执行的顺从性的确定，并且
其中所述前端系统(102)被配置为接收和传送所述输出包括被配置为接收和传送所述顺从性的指示。
3.根据权利要求1所述的泛在自然用户系统(100)，其中所述前端系统(102)被配置为形成并传送所述输入包括被配置为形成并传送所述输入或另一个输入，以使所述电子资源或另一个电子资源基于所述感测到的输入来执行或促进人体工程学的风险评估的执行。
4.根据权利要求1所述的泛在自然用户系统(100)，其中所述任务具有任务定义，其针对所述工艺变量指定工艺要求，所述工艺变量包括在所述任务执行期间施加到紧固件的扭矩、摇摆力或预加负荷，所述任务包括在所述复杂系统组件上的所述紧固件的安装，
其中所述前端系统(102)被配置为形成并传送所述输入包括被配置为形成并传送所述输入以使所述电子资源执行所述操作(602)，所述操作(602)包括所述工艺变量的计算，并且进一步包括已计算的工艺变量和已指定的工艺要求的比较，以及基于所述比较的具有所述已指定的工艺要求的所述已计算的执行变量的顺从性的确定，并且
其中所述前端系统(102)被配置为接收和传送所述输出包括被配置为接收和传送所述顺从性的指示。
5.根据权利要求4所述的泛在自然用户系统(100)，其中所述一个或更多个传感器(106)包括被配置为在所述任务的执行期间提供所述用户的肌肉活动的测量值的肌肉活动传感器，并且
其中所述前端系统(102)被配置为形成并传送所述输入包括被配置为形成并传送所述输入，以使所述电子资源来执行包括从肌肉活动的所述测量值中计算所述工艺变量的操作(602)。
6.根据权利要求1所述的泛在自然用户系统(100)，其中前端系统(102)被配置为传送所述输出包括被配置为传送所述输出用于由包括所述显示装置(110)的个人显示系统(110)显示，所述个人显示系统被配置为产生或使能由所述显示装置(110)显示的所述输出的增强的所述环境的即时显示或直接显示。
7.一种方法，其包括：
通过一个或更多个传感器(106)，在由用户运行复杂系统组件的任务的执行期间提供包括所述用户的运动或取向中的至少一个的测量值的感测到的输入；
接收和处理包括所述测量值的所述感测到的输入，从其中辨识表示所述感测到的输入的意义的已知模式，从而辨识要执行的电子资源的操作(602)；
形成并传送输入，以使所述电子资源执行所述操作并产生输出，所述操作(602)包括在任务的执行过程中用户的动作的确定，或从包括所述测量值的所述感测到的输入计算与所述任务的执行相关的工艺变量；以及
从所述电子资源接收所述输出，并且将所述输出传送到显示装置(110)、音频输出装置或触觉传感器，从而使所述用户在执行所述任务中能够访问或使用电子资源。
8.根据权利要求7所述的方法，其中所述任务具有包含或暗示所述用户的已定义的动作的任务定义，
其中形成并传送所述输入包括形成并传送所述输入以使所述电子资源执行所述操作(602)包括所述用户的动作的确定，并且进一步包括所述已确定的动作和所述已定义的动作的比较，以及基于所述比较利用所述任务定义的所述任务的执行的顺从性的确定，并且
其中接收并传送所述输出包括被配置为接收和传送所述顺从性的指示。
9.根据权利要求7所述的方法，其中所述任务具有任务定义，其针对所述工艺变量指定工艺要求，所述工艺变量包括在所述任务执行期间施加到紧固件的扭矩、摇摆力或预加负荷，所述任务包括在所述复杂系统组件上的所述紧固件的安装，
其中形成并传送所述输入包括形成并传送所述输入以使所述电子资源执行所述操作(602)，所述操作(602)包括所述工艺变量的计算，并且进一步包括所述已计算的工艺变量和所述已指定的工艺要求的比较，以及基于所述比较利用所述已指定的工艺要求确定所述已计算的执行变量的顺从性，并且
其中接收和传送所述输出包括接收和传送所述顺从性的指示。
10.根据权利要求9所述的方法，其中提供测量值包括由肌肉活动传感器在所述任务的执行期间提供所述用户的肌肉活动的测量值，并且
其中形成并传送所述输入包括形成并传送所述输入，以使所述电子资源执行包括从肌肉活动的测量值中计算所述工艺变量的所述操作(602)。
CN201410232518.8A 2013-05-28 2014-05-28 跟踪用户以支持在复杂系统组件上执行的任务 Active CN104216762B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/903,252 2013-05-28
US13/903,252 US9904356B2 (en) 2013-05-28 2013-05-28 Tracking a user to support tasks performed on complex-system components

Publications (2)

Publication Number Publication Date
CN104216762A true CN104216762A (zh) 2014-12-17
CN104216762B CN104216762B (zh) 2019-10-11

Family

ID=50841559

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410232518.8A Active CN104216762B (zh) 2013-05-28 2014-05-28 跟踪用户以支持在复杂系统组件上执行的任务

Country Status (6)

Country Link
US (1) US9904356B2 (zh)
EP (1) EP2808761B1 (zh)
JP (1) JP6386786B2 (zh)
CN (1) CN104216762B (zh)
AU (1) AU2014201776B2 (zh)
CA (1) CA2847398C (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105791379A (zh) * 2015-01-08 2016-07-20 波音公司 使用物联网网络来管理工厂生产的系统和方法
CN107690303A (zh) * 2015-06-04 2018-02-13 惠普发展公司， 有限责任合伙企业 生成三维模型
CN109964243A (zh) * 2016-09-20 2019-07-02 通用电气公司 用于环境感测的系统和方法
CN113793223A (zh) * 2021-09-17 2021-12-14 上海企庭实业股份有限公司 全球企业家多层次服务体系人工智能算法数据库模块系统

Families Citing this family (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9295391B1 (en) 2000-11-10 2016-03-29 The General Hospital Corporation Spectrally encoded miniature endoscopic imaging probe
US10528135B2 (en) 2013-01-14 2020-01-07 Ctrl-Labs Corporation Wearable muscle interface systems, devices and methods that interact with content displayed on an electronic display
CN105190578A (zh) 2013-02-22 2015-12-23 赛尔米克实验室公司 用于基于手势控制的组合肌肉活动传感器信号和惯性传感器信号的方法和设备
US9144905B1 (en) * 2013-03-13 2015-09-29 Hrl Laboratories, Llc Device and method to identify functional parts of tools for robotic manipulation
US10152082B2 (en) 2013-05-13 2018-12-11 North Inc. Systems, articles and methods for wearable electronic devices that accommodate different user forms
EA032658B1 (ru) 2013-07-15 2019-06-28 Вр Электроникс Лимитид Способ интерактивной физиологической синхронизации пользователя с виртуальной средой
US9446856B1 (en) * 2013-07-31 2016-09-20 Rockwell Collins, Inc. Method and apparatus for maintaining aircraft
US10042422B2 (en) 2013-11-12 2018-08-07 Thalmic Labs Inc. Systems, articles, and methods for capacitive electromyography sensors
US20150124566A1 (en) 2013-10-04 2015-05-07 Thalmic Labs Inc. Systems, articles and methods for wearable electronic devices employing contact sensors
US11921471B2 (en) 2013-08-16 2024-03-05 Meta Platforms Technologies, Llc Systems, articles, and methods for wearable devices having secondary power sources in links of a band for providing secondary power in addition to a primary power source
US11426123B2 (en) 2013-08-16 2022-08-30 Meta Platforms Technologies, Llc Systems, articles and methods for signal routing in wearable electronic devices that detect muscle activity of a user using a set of discrete and separately enclosed pod structures
US9788789B2 (en) 2013-08-30 2017-10-17 Thalmic Labs Inc. Systems, articles, and methods for stretchable printed circuit boards
US9372535B2 (en) * 2013-09-06 2016-06-21 Thalmic Labs Inc. Systems, articles, and methods for electromyography-based human-electronics interfaces
US9483123B2 (en) 2013-09-23 2016-11-01 Thalmic Labs Inc. Systems, articles, and methods for gesture identification in wearable electromyography devices
WO2015081113A1 (en) 2013-11-27 2015-06-04 Cezar Morun Systems, articles, and methods for electromyography sensors
US20150334346A1 (en) * 2014-05-16 2015-11-19 Elwha Llc Systems and methods for automatically connecting a user of a hands-free intercommunication system
US20160118036A1 (en) * 2014-10-23 2016-04-28 Elwha Llc Systems and methods for positioning a user of a hands-free intercommunication system
US9233469B2 (en) * 2014-02-13 2016-01-12 GM Global Technology Operations LLC Robotic system with 3D box location functionality
JP2017509386A (ja) 2014-02-14 2017-04-06 サルミック ラブス インコーポレイテッド 弾性電気ケーブルのためのシステム、製品、及び方法、並びに、それを用いるウェアラブル電子デバイス
US10199008B2 (en) 2014-03-27 2019-02-05 North Inc. Systems, devices, and methods for wearable electronic devices as state machines
US20150325202A1 (en) * 2014-05-07 2015-11-12 Thalmic Labs Inc. Systems, devices, and methods for wearable computers with heads-up displays
US9880632B2 (en) 2014-06-19 2018-01-30 Thalmic Labs Inc. Systems, devices, and methods for gesture identification
US9807221B2 (en) 2014-11-28 2017-10-31 Thalmic Labs Inc. Systems, devices, and methods effected in response to establishing and/or terminating a physical communications link
US20180044112A1 (en) * 2015-03-06 2018-02-15 Hitachi Transport System, Ltd. Task aid system, terminal device, and server
US10013540B2 (en) * 2015-03-10 2018-07-03 Lenovo (Singapore) Pte. Ltd. Authentication based on body movement
US10078435B2 (en) 2015-04-24 2018-09-18 Thalmic Labs Inc. Systems, methods, and computer program products for interacting with electronically displayed presentation materials
US10198620B2 (en) 2015-07-06 2019-02-05 Accenture Global Services Limited Augmented reality based component replacement and maintenance
US10275728B2 (en) * 2015-07-19 2019-04-30 Elie Nehme Makhoul System and method for capturing user activity using wearable devices
US11429883B2 (en) 2015-11-13 2022-08-30 Microsoft Technology Licensing, Llc Enhanced computer experience from activity prediction
US10769189B2 (en) * 2015-11-13 2020-09-08 Microsoft Technology Licensing, Llc Computer speech recognition and semantic understanding from activity patterns
US10715518B2 (en) 2015-12-08 2020-07-14 Lenovo (Singapore) Pte. Ltd. Determination of device with which to establish communication based on biometric input
US10171505B2 (en) * 2015-12-14 2019-01-01 International Business Machines Corporation Preventative enterprise change management
US20170193302A1 (en) * 2016-01-05 2017-07-06 Daqri, Llc Task management system and method using augmented reality devices
WO2017161798A1 (zh) * 2016-03-25 2017-09-28 深圳增强现实技术有限公司 智能穿戴设备、基于其的工作辅助方法和系统
US20170323240A1 (en) 2016-05-06 2017-11-09 General Electric Company Computing system to control the use of physical state attainment with inspection
US10990174B2 (en) 2016-07-25 2021-04-27 Facebook Technologies, Llc Methods and apparatus for predicting musculo-skeletal position information using wearable autonomous sensors
US11216069B2 (en) 2018-05-08 2022-01-04 Facebook Technologies, Llc Systems and methods for improved speech recognition using neuromuscular information
DE102016217770A1 (de) * 2016-09-16 2018-03-22 Audi Ag Verfahren zum Betrieb eines Kraftfahrzeugs
JP7057790B2 (ja) 2017-01-04 2022-04-20 インターリンク エレクトロニクス，インコーポレイテッド 電動工具のユーザインタフェースのためのマルチモーダルセンシング
US10419468B2 (en) 2017-07-11 2019-09-17 The Boeing Company Cyber security system with adaptive machine learning features
US11328623B2 (en) * 2017-07-31 2022-05-10 General Electric Company System and method for using wearable technology in manufacturing and maintenance
CN112040858A (zh) 2017-10-19 2020-12-04 脸谱科技有限责任公司 用于识别与神经肌肉源信号相关的生物结构的系统和方法
US11481030B2 (en) 2019-03-29 2022-10-25 Meta Platforms Technologies, Llc Methods and apparatus for gesture detection and classification
US11567573B2 (en) 2018-09-20 2023-01-31 Meta Platforms Technologies, Llc Neuromuscular text entry, writing and drawing in augmented reality systems
US11493993B2 (en) 2019-09-04 2022-11-08 Meta Platforms Technologies, Llc Systems, methods, and interfaces for performing inputs based on neuromuscular control
US11907423B2 (en) 2019-11-25 2024-02-20 Meta Platforms Technologies, Llc Systems and methods for contextualized interactions with an environment
US10937414B2 (en) 2018-05-08 2021-03-02 Facebook Technologies, Llc Systems and methods for text input using neuromuscular information
US11150730B1 (en) 2019-04-30 2021-10-19 Facebook Technologies, Llc Devices, systems, and methods for controlling computing devices via neuromuscular signals of users
US11961494B1 (en) 2019-03-29 2024-04-16 Meta Platforms Technologies, Llc Electromagnetic interference reduction in extended reality environments
JP2019191675A (ja) * 2018-04-19 2019-10-31 セイコーエプソン株式会社 透過型頭部装着型表示装置、支援システム、表示制御方法、およびコンピュータープログラム
US10592001B2 (en) 2018-05-08 2020-03-17 Facebook Technologies, Llc Systems and methods for improved speech recognition using neuromuscular information
US10860113B2 (en) * 2018-05-30 2020-12-08 Atheer, Inc. Augmented reality head gesture recognition systems
CN112996430A (zh) 2018-08-31 2021-06-18 脸谱科技有限责任公司 神经肌肉信号的相机引导的解释
EP3886693A4 (en) 2018-11-27 2022-06-08 Facebook Technologies, LLC. METHOD AND DEVICE FOR AUTOCALIBRATION OF A PORTABLE ELECTRODE SENSING SYSTEM
ES2761728A1 (es) * 2019-09-09 2020-05-20 Univ Madrid Politecnica Sistema y metodo para gestionar personal de operacion en entornos criticos
US11138805B2 (en) * 2019-10-18 2021-10-05 The Government Of The United States Of America, As Represented By The Secretary Of The Navy Quantitative quality assurance for mixed reality
US20210241190A1 (en) * 2020-01-21 2021-08-05 John Bradford Janik System and Method for Tracking, Recording and Monitoring Flow of Work Processes of Manufacturing, Assembly and Fabrication
SE2051359A1 (en) * 2020-11-20 2022-05-21 Wiretronic Ab Method and system for compliance determination
US11468713B2 (en) 2021-03-02 2022-10-11 Bank Of America Corporation System and method for leveraging a time-series of microexpressions of users in customizing media presentation based on users# sentiments
US11868531B1 (en) 2021-04-08 2024-01-09 Meta Platforms Technologies, Llc Wearable device providing for thumb-to-finger-based input gestures detected based on neuromuscular signals, and systems and methods of use thereof

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040189675A1 (en) * 2002-12-30 2004-09-30 John Pretlove Augmented reality system and method
US20110137464A1 (en) * 2008-08-05 2011-06-09 Universidad Miguel Hernandez Robotic Arm for Controlling the Movement of Human Arm
US20120056989A1 (en) * 2010-09-06 2012-03-08 Shimane Prefectural Government Image recognition apparatus, operation determining method and program

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009289112A (ja) * 2008-05-30 2009-12-10 Tokyo Electron Ltd 作業情報提供装置、作業情報提供方法、およびプログラム
JP5177154B2 (ja) * 2010-02-04 2013-04-03 日本電気株式会社 標準作業実行支援装置、および標準作業実行支援方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040189675A1 (en) * 2002-12-30 2004-09-30 John Pretlove Augmented reality system and method
US20110137464A1 (en) * 2008-08-05 2011-06-09 Universidad Miguel Hernandez Robotic Arm for Controlling the Movement of Human Arm
US20120056989A1 (en) * 2010-09-06 2012-03-08 Shimane Prefectural Government Image recognition apparatus, operation determining method and program

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105791379A (zh) * 2015-01-08 2016-07-20 波音公司 使用物联网网络来管理工厂生产的系统和方法
CN105791379B (zh) * 2015-01-08 2020-06-30 波音公司 使用物联网网络来管理工厂生产的系统和方法
CN107690303A (zh) * 2015-06-04 2018-02-13 惠普发展公司， 有限责任合伙企业 生成三维模型
CN109964243A (zh) * 2016-09-20 2019-07-02 通用电气公司 用于环境感测的系统和方法
CN109964243B (zh) * 2016-09-20 2023-09-08 通用电气公司 用于环境感测的系统和方法
CN113793223A (zh) * 2021-09-17 2021-12-14 上海企庭实业股份有限公司 全球企业家多层次服务体系人工智能算法数据库模块系统
CN113793223B (zh) * 2021-09-17 2023-11-14 上海企庭实业股份有限公司 全球企业家多层次服务体系人工智能算法数据库模块系统

Also Published As

Publication number Publication date
JP2014232531A (ja) 2014-12-11
US9904356B2 (en) 2018-02-27
EP2808761B1 (en) 2022-06-08
EP2808761A1 (en) 2014-12-03
CA2847398A1 (en) 2014-11-28
AU2014201776A1 (en) 2014-12-18
JP6386786B2 (ja) 2018-09-05
CN104216762B (zh) 2019-10-11
US20140354529A1 (en) 2014-12-04
AU2014201776B2 (en) 2019-02-21
CA2847398C (en) 2017-12-05

Similar Documents

Publication Publication Date Title
CN104216762A (zh) 跟踪用户以支持在复杂系统组件上执行的任务
EP3005032B1 (en) Ubiquitous natural user system
US9395810B2 (en) Ubiquitous natural user system
JP6588655B2 (ja) 車両保険調査任務の発表システム、装置、方法及び読み取り可能な記憶媒体
US20170193302A1 (en) Task management system and method using augmented reality devices
US20200143302A1 (en) Quantifying, tracking, and anticipating risk at a manufacturing facility based on staffing conditions and textual descriptions of deviations
Harriott et al. Modeling human performance for human–robot systems
CN109272994A (zh) 话音数据处理方法以及支持该话音数据处理方法的电子装置
KR102181643B1 (ko) 마이크의 배치 적합도를 결정하는 방법 및 이를 위한 장치
Bauer et al. Wear@ Work–A new approach for data acquisition using wearables
US20180349818A1 (en) Methods and Systems for Evaluating Performance of a Physical Space
KR20190104282A (ko) 영상 기반으로 정보를 제공하는 방법 및 이를 위한 이동 단말
US20210097884A1 (en) Work support apparatus, work support system, and work support method
Haas et al. Temporal binding of multimodal controls for dynamic map displays: a systems approach
Eder et al. Transformation of Cognitive Assistance Systems into Augmented Reality
Loch et al. An adaptive speech interface for assistance in maintenance and changeover procedures
KR102637554B1 (ko) 정보 보호 인증에 관한 프로젝트 내의 과제 분석 및 정보 제공 시스템
Sharma et al. Experience capturing with wearable technology in the WEKIT project
Peng et al. User-Device-Interaction Model: A Multimodal Interaction Εvaluation System Based on Analytic Hierarchy Process
Kang et al. Definition of Manufacturing Worker Musculoskeletal Dataset and Training and Validation of Dite-HRnet
Noghabaei Visual and Behavioral Data Analysis in Immersive Virtual Environments for Enhancing Construction Safety, Planning, and Control
Talamas A Mixed Reality Approach for In-Process Verification of Large Scale Assemblies
Peng et al. An intelligent method to select maintenance tools in immersive virtual environment
JP2019000970A (ja) ロボット管理システム及びロボット管理方法
Knigge Virtual Reality in Manual Order Picking

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant