CN109754148A - 使用对象识别和其他技术的检查工作流 - Google Patents

Abstract

本发明涉及使用对象识别和其他技术的检查工作流。用于指导用户通过工作流例程的系统可以包括检查工具、用户界面、存储器和处理器。该处理器可以经由用户界面提供指示用以使用检查工具执行工作流例程并且将获取检查数据保存到存储器。指令可以将用户指引至要检查哪个装置和/或如何采集与一件或多件装置相关联的检查数据。系统可以确定哪个装置可用于由用户检查，诸如经由图像识别或接近度检测，并且指示用户获取与这样的装置相关联的检查数据。可以经由各种设备、诸如检查工具、智能手机或平板电脑向用户提供工作流例程指令。

Description

使用对象识别和其他技术的检查工作流

交叉引用

本申请要求2017年11月6日提交的美国临时申请No. 62/582,137的优先权，通过引用将其内容以其整体合并于此。

背景技术

可以使用各种各样的检查工具（inspection tool）来执行各种检查程序，以便监视装置用于正确操作或检测异常操作状况。然而，某些环境可能包括多件用于检查的装置，并且一件或多件这样的装置可以具有与其相关联的几个检查过程，这可能会促成复杂和/或冗长的检查过程。这可能导致检查过程中的错误，诸如丢失的数据和/或不受欢迎地长的检查时间，这可能导致过多的停机时间（downtime）或在其他方面干扰典型的装置操作。当操作员缺乏经验和/或不熟悉进行检查所处的环境时，这样的困难可能会被夸大。

发明内容

该公开内容的方面的目的在于用于在工作流例程（workflow routine）期间采集数据的系统和方法。各个方法可以包括接收关于环境的信息以及输出关于环境中的多件装置的信息、诸如环境内可用于检查的多件装置、至一件所选装置的位置的方向（directionsto…）、与一件所选装置相关联的一个或多个参数、用于获取检查数据的工作流例程、和/或表示一件所选装置的参考图像。方法可以包括获取代表与所标识的该件装置相关联的至少一个参数的检查数据。例如，检查数据可以包括图像数据，诸如声像数据、红外图像数据和/或可见光图像数据。

示例性系统可以包括检查工具、用户界面、存储器和处理器。该处理器可以被配置成向用户提供指令用以使用检查工具执行工作流例程，以便经由检查工具采集检查数据、获取检查数据、并且将所获取的检查数据保存至存储器。提供指令可以包括显示作为工作流例程的一部分并且可用于检查的装置的列表。附加地或备选地，提供指令可以包括显示用来在工作流例程期间执行的步骤的列表。

附图说明

图1示出包括适用于检查和/或维护的多件装置的环境。

图2示出用于在环境内执行检查和/或维护的示例性工作流例程。

图3A示出用户在环境内沿着检查路径行进的图解。

图3B示出向用户图解一件装置（a piece of equipment）可用于检查的示例性界面。

图4A示出图3A的用户在环境内沿着检查路径的不同位置处的图解。

图4B示出在图4A中用户的预定接近度内的装置的列表的示例性表示。

图5A示出图3A和4A的用户在环境内沿着检查路径的不同位置处的图解。

图5B示出在图5A中用户的预定接近度内的装置的列表的示例性表示。

图6A示出用户在环境内沿着检查路径的位置处的图解。

图6B示出帮助用户捕获一件装置的适当图像的示例性界面。

图6C示出指示用户获取代表与一件装置相关联的参数的测量数据的示例性界面。

图7是图解用于在工作流例程期间采集数据并且保存和/或上传结果的各种各样的可能过程的过程流程图。

图8是图解用于指导用户通过工作流例程（guide a user through…）、在工作流例程期间采集数据并且保存和/或上传结果的各种各样的可能过程的过程流程图。

具体实施方式

对各种类型的装置（例如泵、电动机、变压器、配电板等）执行检查和/或维护例程的工人典型地将测量设备从一个地点携带到另一个地点，以指定的方式对各件装置采取测量，并且经常重复地这样做。这样的测量设备可以包括能够生成代表目标场景的图像数据的一个或多个成像工具和/或能够生成代表被测试对象的一个或多个参数的测量数据的一个或多个测试和测量工具。

示例性成像工具可以包括电磁成像工具，并且可以被配置成生成代表来自目标场景的电磁辐射的图像数据，诸如红外图像数据、可见光图像数据、紫外图像数据、毫米波图像数据等等。还可以使用一个或多个电磁谱的组合，例如如在题为“VISIBLE LIGHT AND IRCOMBINED IMAGE CAMERA WITH A LASER POINTER”的美国专利No. 7,538,326中描述的那样，该美国专利被转让给该即时申请（instant application）的受让人并且通过引用以其整体合并于此。

附加地或备选地，成像工具可以包括声成像工具，其包括被用来生成目标场景的声像的一个或多个声传感器元件。在2017年11月2日提交的且题为“FOCUS AND/ORPARALLAX ADJUSTMENT IN ACOUSTIC IMAGING USING DISTANCE INFORMATION”的美国专利申请No. 15/802,153中描述了示例性声成像工具以及声成像工具和电磁成像工具的组合，该美国专利申请被转让给该即时申请的受让人并且通过引用以其整体合并于此。

电磁成像工具和/或声成像工具可以被组合或者以其他方式彼此和/或与其他测试和测量工具通信，例如如在2015年9月16日提交的且题为“TEST AND MEASUREMENTSYSTEM WITH REMOVABLE IMAGING TOOL”的美国专利申请No. 14/855,884中描述的那样，该美国专利申请被转让给该即时申请的受让人并且通过引用以其整体合并于此。在一些示例中，成像和/或测试和测量在功能上可以被合并到用户的外部设备（例如智能手机、平板电脑等等）中，诸如在2015年9月17日提交的且题为“MOBILE DEVICE USED WITH ISOLATEDTEST AND MEASUREMENT INPUT BLOCK”的美国专利申请No. 14/855,864中描述的那样，该美国专利申请被转让给该即时申请的受让人并且通过引用以其整体合并于此。

还可以执行维护活动并且记录维护活动用于将来参考和分析。可以单独地或共同地分析检查和/或维护数据并且将其用于预测性维护或故障预测。

在某些情况下，维护和/或检查过程可能是复杂和/或冗长的，使得一致的检查难以在收集一组完整的正确数据的同时一致地执行。附加地或备选地，这样的过程可能由缺乏经验的工人和/或不熟悉一个或多个检查过程和/或其中正在执行维护和/或检查过程的特定环境的工人执行。

可以使用辅助技术和数据处理技术来指导并帮助个人来执行维护和/或检查过程，例如通过在数据采集工作流过程中帮助系统用户。这样的辅助可以导致更快、更容易且更可靠/一致的数据采集。在各个示例中，这些辅助技术可以支持或提供检查和/或维护工作流程序。例如，在一些实施例中，这样的技术在工作流期间向用户提供指导并且可能涉及来自用户的手动输入和/或获取和分析测量值的自动装置。

在各个示例中，用于在维护和/或检查程序中执行各种任务的有用信息可以在整个过程期间在持续的基础上被提供给用户，并且可以按需地或者自动地由处理/分析系统提供。这样的信息可能包括要被检查的装置的位置、应该如何采取测量、以及是否适当地采取所获得的测量。该信息可以以文本消息的形式、作为叠加在现场影像（live imagery）上的图形/文本指示符、作为声音提示、作为光指示符或通过其他方式被提供给用户。在各个实施例中，可以以各种各样的方式来确定应该向用户呈现哪些指示符，包括例如位置检测、处理现场影像以确定被测试对象的身份（identify），或从其他传感器设备采集的其他现场数据（例如相对于对象的接近度检测）。

在执行（一个或多个）维护和/或检查时或在执行（一个或多个）维护和/或检查之后，可以记录各种数据，诸如例如执行的检查/维护活动的记录、用户所做的条目、在检查期间被提供给用户的辅助数据、检查结果（测量值）、或其组合。可以使一个或多个这样的所记录的数据元素可用于计算机化维护管理系统（CMMS），其包括一个或多个维护操作的计算机数据库。这样的数据库条目可以包括各种各样的维护和/或检查信息，包括过去的结果、用于执行这样的过程的指令、在维护/检查期间可能观察到的可能的错误等等。因此本文中描述的辅助和处理技术以及结果提供改进这样的维护管理系统的有效性的有用数据。这样的附加数据连同由于辅助而增加的测量可靠性导致装置的更好维护以及更可靠的故障预测。

检查和/或维护工具和/或活动可以是总CMMS系统的一部分。例如，在一些实施例中，由用户所携带的一个或多个工具（例如测试和测量工具、成像工具等等）可以被配置成将来自检查和/或维护活动的输入提供给CMMS系统。附加地或备选地，这样的数据可以通过软件平台被录入（entered）给CMMS系统，该软件平台由单独的设备（诸如计算机工作站）、外部设备（诸如智能手机或平板电脑）等等访问。例如，在一些示例中，可以将由用户所携带的工具（例如成像工具、测试和测量工具等等）获取的数据传送给外部设备，诸如在2015年9月17日提交的且题为“DISPLAY OF IMAGES FROM AN IMAGING TOOL EMBEDDED OR ATTACHEDTO A TEST AND MEASUREMENT TOOL”的美国专利申请No. 14/855,989中描述的那样，该美国专利申请被转让给该即时申请的受让人并且通过引用以其整体合并于此。

在一些示例中，这样的软件平台可以涉及许可和交付模型（licensing anddelivery model），其中软件是在订阅（subscription）的基础上获得许可的并被集中地托管（hosted）并且可以被称作软件即服务（Software as a Service）或SAAS。可以经由网络浏览器或其他装置使用客户端使这样的系统对用户可访问。

测量数据（包括随时间例如针对一件特定装置的影像）以及从装置本身直接发送的这样的数据和/或信号的分析结果可以被提供给SAAS并且使得从SAAS可用。这样的数据可以包括来自各种各样的传感器设备的结果，包括来自IR、VL、声或其他成像系统的图像。数据可以附加地或备选地包括通过从这样的测量值和影像分析获得的度量/分析/趋势。在各个示例中，来自SAAS的数据（诸如针对多件装置中的一件装置的影像、测量数据和其他数据）可以自动地与该装置关联并且可以被提供给SAAS的用户，例如用以帮助将来的维护和/或检查过程。

可以将这样的影像、测量数据和其他数据（诸如分析结果和趋势数据）以按需的方式或自动地经由警报/通知系统提供给用户。例如，这样的数据可以从SAAS下载并且被存储在由用户所携带的一个或多个工具的板上（on board）的和/或用户个人设备（诸如智能手机或平板电脑）上的存储器中。附加地或备选地，用户可以从远程位置（诸如向用户提供访问的主机服务器（hosted server））例如经由工具和/或个人设备实时访问这样的数据。因此，用户可以接收数据（例如使用工具和/或个人设备），所述数据能够提供代表先前和/或预期测量信息的信息、用于执行一个或多个维护和/或检查过程的步骤、或其他装置信息。

在一些实施例中，与所指导的检查一起使用的趋势分析和/或生成CMMS或SAAS可以包括建立典型装置操作的统计数据库，例如如2016年6月23日提交的且题为“THERMALANOMALY DETECTION”的美国专利申请No. 15/190,792中描述的那样，该美国专利申请被转让给该即时申请的受让人并且通过引用以其整体合并于此。

除了装置信息之外或者作为对装置信息的备选，用户可以（例如经由板上存储器（on-board memory）、网络访问等等）被提供指示用户如何执行一个或多个维护和/或检查过程的工作流例程。在一些示例中，可以以程序的形式记载工作流例程，该程序可能是简短的或非常详细的。详细的程序可以包括例如要被检查和/或维护的装置的列表、针对要被检查的每件装置而使用的测量设备（传感器）、和/或在每个检查步骤都要使用测量设备的方法和/或设置。

在工作流期间使用的一个或多个测量设备（例如成像工具、测试和测量工具等等）可以包括允许访问/查看被存储为电子文档或指令集的工作流程序的界面，用户可以在检查期间随意检阅该电子文档或指令集。该电子文档或指令集可以驻留于在工作流期间使用的多个感测设备之一上，并且可以在所述多个感测设备之间共享。该电子文档可以驻留于在检查过程期间用户携带的单独设备（pc、智能手机或平板电脑）上，或者该电子文档可以远程驻留并且（从用于数据采集和处理的数据云或中央集线器（central hub））被传送至测量装置或用户携带的其他设备。

示例性工作流程序可以包括检查/维护的物理路线（physical route）、要被检查/维护的装置、在每个步骤检查每件装置中要使用的测量设备（例如成像工具、测试和测量工具等等）、测量设备设置、用于电气和其他接触检查的连接图、用于图像检查的所需的查看角度（viewing angles）和视角（perspectives）、和/或先前获取的参考图像，所述先前获得的参考图像指示影像在基于图像的检查的每个步骤的适当图像外观。这样的影像检查可以包括IR、VL、mm波、声或其他成像设备。

测量设备（成像器和其他传感器）或用户正携带的单独设备（pc、智能手机或平板电脑）可以访问电子工作流程序。附加地或备选地，用户可能能够手动记录它们在检查期间的进展和/或测量结果以及在工作流、例如将数据保存到SAAS和/或CMMS期间的测量值（measurements）。在一些示例中，可以自动记录通过工作流的进展和/或测量值本身。

在一些实施例中，可以在工作流期间自动跟踪或者可以由用户手动录入用户的和/或（一个或多个）测量设备的物理实时位置。自动方法可以包括通过外部设备的使用、通过放置在各个位置处的接近度或RFID传感器、或通过其他装置的GPS、惯性跟踪方法、三角测量。用以检查的装置的物理位置还可能是对处理系统已知的。操作员和传感器的实时位置数据可以被用来推断在给定时间可以检查哪些件装置（例如靠近用户，诸如在用户的预定接近度内）。这些确定可以在测量设备（例如成像工具、测试和测量工具等等）内部、在用户正携带的单独设备（例如pc、智能手机或平板电脑）中、或在与一个或多个这样的设备通信的单独处理集线器处进行。

在一些示例中，关于针对给定的一件或多件装置而采取的正确行动/测量可以向用户提供指导，所述给定的一件或多件装置对于给定点的检查是可访问的。例如，基于用户的已知位置和可用于检查的装置、用户是否希望在已知位置采取测量或采集图像，可以向用户指示用于在该位置处检查的一组候选装置。因此，用户可以从已知项目的候选列表中选择项目。这样的选择可以触发进一步指导的执行用于执行所选装置的维护和/或检查，和/或可以预加载代表装置的各种各样的可用数据，从而消除对一些这样的细节（诸如装置的全描述）的手动录入（manual entry）的需要。当用户验证感兴趣的装置的特定身份时，用于采取所需测量的指令可以被指示，并且任何后续测量可以自动地被关联到该特定装置用于将来的参考（例如在CMMS和/或SAAS中）。

在一些应用中，可以自动并实时地标识用户附近的一件特定装置。在各个示例中，这样的标识可以作为（一个或多个）检查设备和装置的已知物理位置的结果、或者通过从装置传输至检查设备的标识信号（主动或被动）、或者通过外部三角测量系统来实现。

附加地或备选地，当用户正携带成像工具（例如成像系统）时，装置的特定标识可能通过对象识别图像处理技术来实现，在此处实时地在影像内标识装置。这样的技术可以包括例如相关方法和二进制大型对象分析（blob analysis）。在一些实施例中，可能通过组合从多个不同的传感器（诸如声、mm波、视觉成像和IR成像）获得的现场数据来实现一件特定装置的标识。

在各个实施例中，如果感兴趣的装置（例如经由位置确定和/或图像识别）自动地被标识，则用户可能或可能不被提示例如从候选列表手动地选择装置，或者以其他方式确认自动标识的装置的身份。例如，在一些示例中，可以向用户指示要被检查的装置的标识，并且可以向用户自动提供关于特定装置的有用参考信息。特定装置身份与随后获得的成像器数据或其他传感器数据测量值的关联也可能是自动的。

在一些示例中，可以自动确定或由用户手动录入成像设备（IR、VL、mm波、声）的查看视角（取向、位置和测量距离）。该自动确定可能使用成像器内的传感器（例如经由加速计等等的取向感测、位置感测（诸如GPS等等）等等）或通过外部放置的传感器来实现，或者可能使用图像处理技术（诸如对象识别）从影像自身来确定。在一些示例中，可以由用户向系统指示程序步骤（例如在工作流例程中），一个或多个程序步骤与此（where）相关联，并且因此暗示针对一件特定装置的特定查看位置和视角。

在一些这样的示例中，系统（例如经由成像工具）可以将用户指引到用于从这样的预定位置捕获图像数据的位置。这样的图像捕获位置可以与先前捕获的并与程序步骤相关联的图像关联。因此，将用户指引到该位置可以包括重摄过程，以便再现先前捕获的图像的捕获点。在2011年12月20日提交的且题为“THERMAL IMAGING CAMERA FOR INFRAREDREPHOTOGRAPHY”的美国专利申请No. 13/331,633、2011年12月20日提交的且题为“THERMALIMAGING CAMERA FOR INFRARED REPHOTOGRAPHY”的美国专利申请No. 13/331,644、以及2011年12月23日提交的且题为“THERMAL IMAGING CAMERA FOR INFRARED REPHOTOGRAPHY”的美国专利申请No. 13/336,607中描述了示例性的这样的过程，所述美国专利申请中的每一个都被转让给该即时申请的受让人并且通过引用以其整体合并于此。

可以在执行工作流之前针对对于成像或数据采集感兴趣的每件装置存储位置/视角特定参考影像和其他数据。该数据可以被存储在测量设备、用户携带的单独设备中，或被存储在中央处理集线器中。该数据可以自动地或按需地在整个工作流期间（throughoutthe workflow）被提供给用户以供参考。在诸如红外、可见光或声测量的成像任务的情况下，该参考影像可以被用户用作指示在获取测量值时应该如何为成像器出现适当的视野（view）的指导。可以连同现场场景影像一起显示该参考影像，并且可以由系统处理其他数据以便向用户提供有用的指导和提示。

附加地或备选地，已知的实时成像视角和当前物理位置数据、连同先前获取的参考影像/数据、和其他数据可以被用来确定在给定时间在当前影像中要期望什么对象或装置。例如，在一个示例性实施例中，不是使用当前位置信息来指导用户将成像工具重定位（reposition）到先前位置，而是可以（例如经由处理器）使用当前位置信息的分析来确定工具以下位置附近，即从该位置捕获了先前图像数据（或其他数据）。可以将这样的位置或位于这样的位置处的装置作为可能的检查候选呈现给用户。

在一些示例中，可以将这样的潜在装置的通知或描述呈现给用户。这些指示可能包括装置的先前获取的参考图像的显示。对象识别图像处理技术（诸如相关或二进制大型对象分析方法）可以被用来在影像中搜索、指示并跟踪对象，所述对象是对于需要检查的已知多件装置的候选。可以与用来确认一件装置的身份的选项一起向用户呈现这样的候选。在一件特定装置被系统自动标识的情况下，在各个实施例中，用户可能或可能不被提示选择或确认装置的身份。在一些这样的示例中，于是可以自动执行至用户的任何相关消息发送或装置身份与图像和/或其他传感器数据的关联。

在一些实施例中，对象识别和其他图像处理技术可以被用来自动且实时地确定何时在图像场景中存在用于检查所需要的多件装置。这些技术还可以被用来确定何时对象存在但没有正被适当地查看以用于成像测量。图像处理和/或其他技术可以确定成像过程中的错误，并且可以向用户提供指导（例如用来重新聚焦、改变位置、改变查看视角等等）。此外，系统可以自动地确定用于获得装置影像的正确设置是否正被应用于成像器。如果不的话，则系统可以自动地向用户提供用于改变这些设置的适当指导。

在一些实施例中，在系统具有要被成像的一件或多件装置的图像外观的感知（awareness），并且针对每次测量具有对于成像器的正确设置的感知的场合（where），当对一件已知的装置进行检查或成像时，系统可以将适当的控制设置自动地应用于成像器。如果成像器设置和影像本身被确定成对针对一件装置的所需的测量是适当的，则可以提供消息以便向用户指示该状态，使得用户知道获得手动图像测量是适当的。在一些应用中，在系统确定成像器设置和现场图像内容适用于该装置的检查的情况下（例如如果图像被充分再现，或者如果装置的有关部分被识别为在所成像的场景内），可以自动为一件期望的装置捕获图像数据。

在一些应用中，如果来自图像处理的结果和其他传感器数据的组合指示测量不是正在被正确地采取（诸如不是正在从正确的视角、角度或位置查看期望对象），则为了正确地获取测量值，系统可以采取一个或多个校正动作。例如，在一些实施例中，系统可以用信号通知用户以便向用户警示错误。在一些示例中，如果图像正在被不正确地查看，则系统可以向能够将成像工具物理地移动到用于测量的适当查看位置和/或角度的定位设备提供信号。于是测量值可以由系统自动获取，或者提示用户获取一个或多个期望的测量值。

下面参考图1-8来描述系统操作的各个示例。

图1示出包括适用于检查和/或维护的多件装置A、B、C、D和E的环境10。路径20通过环境10延伸并且经过装置A、B、C、D和E。在一些实施例中，系统（例如测量设备、用户的移动设备、工作站、远程服务器等等）可以包括环境10的地图，例如示出用于执行检查和/或维护例程的路径20。可以由用户查看这样的地图用于确定用于执行给定工作流的适当路线。附加地或备选地，文本或其他描述可以被用来指导工作流。

图2示出用于在环境10内执行检查和/或维护的示例性工作流例程。这样的工作流可以包括诸如分析各种装置（诸如装置A-E）的步骤。在一些实施例中，可以在执行工作流和/或在工作流期间要被查看的步骤的检查列表之前作为工作流的概况向用户显示示出工作流（诸如图2中示出的工作流）的图形界面。在一些示例中，用户可以从图形工作流表示选择步骤以查看关于该步骤的附加信息，诸如各种分析和/或用以执行的其他步骤。图2中示出的示例性工作流进一步包括与每个步骤相关联的样本图像，这样的图像可以被存储在存储器中（例如作为CMMS和/或SAAS的一部分），并且可以被用作用于标识用于检查的装置的视觉辅助和/或用作用于在检查期间再现相似图像的模板或指导。

在一个示例性实施例中，可以在不访问地图（诸如图1中示出的地图）的情况下向用户呈现图2中示出的针对环境10的工作流。所提供的工作流向用户通知应该分析（例如检查）空间内的哪个装置。用户可以进入要成为（to being）检查过程的环境10，而并不明确知道用以分析的规定多件装置中的每一个的位置，但是可以被提供指示应该分析哪个装置的图像（例如如所示出的那样）。附加地或备选地，如本文中别的地方提到的，可以关于当前哪个装置可用于检查（例如由于处于这样的装置的某一接近度内）而警示用户。

图3A示出在环境10内沿着检查路径20的用户30。在各个实施例中，可以明确指导用户沿着路径20而下用于执行工作流例程，诸如经由GPS或其他实时位置监视技术。在其他示例中，路径20可以是通过环境10的仅有的实际路径。在又另外的示例中，用户可以经由任意路径（例如路径20）行进通过环境10。

在所图解的示例中，在用户的预定接近度40内的装置变得可用和/或被推荐用于检查。在一些这样的实施例中，在由用户携带的一个或多个测量设备（例如测试和测量工具、成像工具等等）之间的无线通信在接近度40内起作用。附加地或备选地，在一些实施例中，由用户携带的工具可以确定距一件或多件装置的距离，并且标识预定接近度（例如40）内的装置，该预定接近度诸如在其内用户应该能够标识用于分析的装置的经编程的接近度。在一些实施例中，这样的预定接近度可以是例如经由用户界面或远程服务器可调整的。

在图3A的所图解的示例中，装置A处于用户30的接近度40内。图3B示出向用户图解装置A可用于检查的示例性界面。可以经由工具（例如测试和测量工具、成像工具）、外部设备（例如智能手机、平板电脑等等）等等向用户提供这样的界面。在图3B的示例中，装置A被列出为可用于检查的装置，因为装置A处于用户30的接近度40内。在一个示例性实施例中，用户30可以在界面上选择装置A，并且接收用于执行装置A的维护和/或检查的后续指令。在一些示例中，用户可以接收代表装置A的附加数据，诸如代表性图像、典型操作参数等等。在一些实施例中，如果工具（例如成像工具、测试和测量工具、与工具面接（interfacingwith…）的远程设备等等）确定仅一件装置（例如装置A）处于该范围内，则该装置可以自动地被选择用于检查。例如，可以自动地呈现参考图像、检查过程、典型操作参数和/或与装置有关的其他信息。

图4A示出在环境10内沿着检查路径20的不同位置处的用户30。在图4A的所图解的示例中，用户30处于装置A、B和C的预定接近度40内。如所述的，在一些实施例中，可以向用户30呈现在用户30的预定接近度40内的装置的列表。图4B示出在图4A中用户30的预定接近度40内的装置的列表的示例性表示。在一些示例中，可用装置的列表包括可用装置的代表性图像。

如所示的，在给定用户30的位置的情况下，装置A、B和C被视为可用于检查。在一个示例性实施例中，用户可以从可用装置的列表中选择一件装置，以便接收关于装置和/或与之有关的检查过程的附加信息。

在一些实施例中，系统可以确定何时已经执行了针对一件给定装置的规定的维护（例如由于自动数据获取、接收手动数据录入、从用户接收指示检查完成的输入等等），并且可以更新界面以指示根据工作流例程已经分析了哪个装置以及哪个装置尚未被分析。例如，如果当在图3A中示出的位置处可用时用户30检查设备A，则当用户到达图4A中的位置时，装置A可以从用于检查的可用装置的列表被排除，或者在其他方面可以以与还没有获取检查数据所针对的装置不同的方式来呈现。在一些示例中，已经捕获了检查数据所针对的装置将以不同的颜色被显示，或者可以是灰色的（grayed out）和/或不可被用户选择。在一些实施例中，用户可以选择已经捕获了数据所针对的装置，以便检阅所捕获的数据或者捕获新的或附加的数据。

图5A示出在环境10内沿着检查路径20的还有另一不同位置处的用户30。在图5A所图解的示例中，用户30处于装置C、D和E的预定接近度40内。如所述的，在一些实施例中，可以向用户30呈现在用户30的预定接近度40内的装置的列表。图5B示出在图5A中用户30的预定接近度40内的装置的列表的示例性表示。在一些示例中，可用装置的列表包括可用装置的代表性图像。

如所示的，在给定用户30的位置的情况下，装置C、D和E被视为可用于检查。在一个示例性实施例中，用户可以从可用装置的列表中选择一件装置，以便接收关于装置和/或与之有关的检查过程的附加信息。如上所述的，在一些示例中，可以以与尚未获取（has yetto be acquired）数据所针对的装置不同的方式来呈现已经获取检查数据所针对的装置。例如，如果用户在图4A中示出的位置处时执行了装置C的检查，则装置C可以从图5B中示出的可用装置的列表被排除，或者在其他方面以与图5B中示出的可用装置的列表中的装置D和E不同的方式来呈现。

图6A示出在与图4A中示出的位置相类似的、环境10中沿着路径20的位置处的用户30。在图6A的所图解的示例中，装置C处于由用户30携带的工具（例如成像工具）的视场50中。如在本文中别的地方所述的，在一些示例中，检查系统（例如成像工具）可以帮助用户捕获装置的图像。图6B示出帮助用户捕获装置C的适当图像的示例性界面。在所图解的示例中，在与装置C相关联的界面上显示模板图像52（例如与规定的工作流例程相关联）。可以在模板图像旁边呈现现场图像54（例如其中一个或两个图像是部分透明的）用以帮助用户定位成像工具来捕获与同工作流例程相关联的图像类似的图像。除了提供模板图像之外或者作为提供模板图像的备选，可以提供其他指令/指导用于重新捕获对应于参考图像的新图像，诸如在美国专利申请No.13/331,633、13/331,644和13/336,607中描述的，所述美国专利申请中的每一个都通过引用被合并。

除了捕获图像数据之外或者作为捕获图像数据的备选，可以在工作流例程期间捕获各种其他参数，例如可以经由测试和测量工具捕获的测量数据。图6C示出指示用户获取代表与装置C相关联的参数（参数X、参数Y、参数Z）的测量数据的示例性界面。这样的参数可以包括各种各样的不同参数，所述不同参数例如可以使用可由用户携带的测试和测量工具被分析/获取。在一些实施例中，用户可以从参数的列表中进行选择以便查看关于如何测量这样的参数的指令。在选择参数时，可以向用户呈现用于获取代表该参数的测量数据的详细指令和/或在适用于执行测量数据获取的测量工具上的界面。

在各个实施例中，仅图像数据、仅测量数据、或图像数据和测量数据二者可以在工作流期间被需要（required）。因此，在各个实施例中，可以向用户呈现图像捕获界面（例如如在图6B中示出的）、测量数据获取界面（例如如在图6C中示出的）、或二者。在一些示例中，“获取图像数据”或类似步骤可以被呈现在用以在工作流例程期间执行的步骤的列表中。在各个示例中，系统可以单独地且按顺序向用户呈现工作流例程步骤以便指导用户通过工作流过程。备选地，可以向用户呈现步骤的列表，用户可以从该步骤的列表中选择过程中的步骤用以执行。在这样的选择下，系统可以帮助用户执行所选的步骤。

图7是图解用于在工作流例程期间采集数据（130）并且保存和/或上传结果（140）的各种各样的可能过程的过程流程图。在一个示例性过程中，用户可以接收指令用以执行一件给定装置的检查过程（100），并且可以接收该装置的代表性图像或描述用以帮助检查（102）。在接收到这样的帮助信息时，用户可以定位用于检查的装置（104）。

在另一示例性过程中，用户可以接收装置可用于检查的指示（110），并且例如从可用装置的列表中选择用于检查的装置（112）。在一些示例中，在选择时，用户可以接收所选装置的代表性图像或描述（102），或者可以基于例如来自所提供的可用装置的列表的信息来定位该装置（104）。

在还有另一示例性过程中，用户可以在环境内选择装置用于分析（120）并且将代表该装置的信息录入到检查系统中（例如经由成像工具、测试和测量工具、外部设备等等中的界面）。在各个示例中，用户可以捕获所选装置的图像，输入这样的装置的类型或位置等等。检查系统可以利用指令编程用以基于由用户输入的信息例如经由图像识别等等来标识用于检查的装置。在一些示例中，该系统可以呈现关于系统认为要被检查的装置的信息，这可以由用户确认（124）。

在装置被定位（104）和/或确认（124）之后，用户可以根据工作流例程来采集数据,或者在其他方面（otherwise）确认自动捕获的数据适宜于执行例程（130）。然后可以将结果（例如检查结果）在本地保存或上传到服务器（140）。

图8是图解用于指导用户通过工作流例程（225）、在工作流例程（例如检查过程）期间采集数据（230）并且保存和/或上传结果（240）的各种各样的可能过程的过程流程图。图8中的过程可以由维护/检查系统例如经由由用户携带的向用户提供指导/指令的一个或多个工具来执行。

在一个示例中，系统可以向用户提供指示用以执行一件装置的检查（200），并且可以提供装置的代表性图像或描述（202）以帮助用户找到该装置。

在另一示例性过程中，例如以一件或多件可用装置的列表的方式，该系统可以向用户提供装置可用于检查的指示（210）。该系统可以例如从这样的列表接收装置的选择（212）。在一些示例中，在接收到选择时，系统可以提供装置的代表性图像或描述（202）以帮助用户找到该装置。

在又另一示例性过程中，该系统可以从用户接收关于用于检查的装置的信息（220）。这样的信息可以包括所获取的图像或其他标识信息，系统可以使用所述所获取的图像或其他标识信息来例如经由查找表、图像识别等等来查找装置以便基于所接收的信息来确定要被检查的装置（222）。在一些示例中，该系统可以例如通过向用户指示系统基于所接收到的信息而标识过的装置来确认（例如根据步骤222）所确定的装置是正确的（224）。

一旦装置被选择和/或确认，系统就可以提供用于执行关于装置的工作流例程（诸如检查过程）的指导（225）。该系统可以从工作流例程（例如自动地）采集和/或（例如经由用户界面）接收数据、诸如图像数据、测量数据等等（230）并且在内部保存结果和/或将结果上传到单独位置、诸如远程服务器（240）。

在各个示例中，可以由分布在一个或多个系统部件（诸如由用户携带的工具（例如成像工具、测试和测量工具、外部设备等等））、远程服务器等等之中的一个或多个处理器来执行这样的系统过程。可以将被描述为处理器的部件单独地或以任何合适的组合实施为一个或多个处理器、诸如一个或多个微处理器、数字信号处理器（DSP）、专用集成电路（ASIC）、现场可编程门阵列（FPGA）、可编程逻辑电路等等。

已经描述了各个实施例。这样的示例是非限制性的，并且不以任何方式限定或限制本发明的范围。相反，这些和其他示例处于以下权利要求的范围内。

Claims (26)

1.一种系统，包括：

检查工具，其被配置成获取检查数据；

用户界面；

存储器；以及

与所述检查工具、所述用户界面和所述存储器通信的处理器，所述处理器被配置成：

经由所述用户界面提供指令用以使用所述检查工具来执行工作流例程，所述工作流例程至少包括采集与一件装置相关联的检查数据；

获取与所述装置相关联的检查数据；以及

将所获取的检查数据保存到所述存储器。

2.根据权利要求1所述的系统，其中所述用户界面、所述存储器和所述处理器被包括在所述检查工具中。

3.根据权利要求1所述的系统，其中所述工作流例程包括包含针对其来采集检查数据的多件装置的列表以及用于从所述多件装置中的每一件中采集检查数据的一个或多个步骤。

4.根据权利要求3所述的系统，其中所述工作流例程包括对于完成该例程必要的一个或多个设备的列表，所述一个或多个设备包括所述检查工具以及用于操作所述一个或多个设备中的至少一个设备的方法和/或设置。

5.根据权利要求1所述的系统，其中所述工作流例程被呈现为电子文档，并且其中所述用户界面包括计算机、智能手机或平板电脑。

6.根据权利要求1所述的系统，其中所述检查工具包括成像工具，并且其中所述工作流例程包括用于获取图像数据的指令，所述图像数据至少包括查看视角或参考图像。

7.根据权利要求6所述的系统，其中所述处理器被配置成：

从所述成像工具接收图像数据；以及

识别所接收的图像数据内的对象；以及

其中所述工作流例程包括用于采集与所识别的对象相关联的检查数据的指令。

8.根据权利要求1所述的系统，进一步包括与所述处理器通信的位置传感器，并且其中所述处理器被配置成经由所述用户界面提供指令用以基于来自所述位置传感器的所接收的位置信息来执行工作流例程。

9.根据权利要求8所述的系统，其中所述位置信息包括代表所述用户和一件装置之间的接近度的接近度信息。

10.根据权利要求1所述的系统，其中：

经由所述用户界面提供指令用以执行工作流例程包括在所述用户界面上显示作为所述工作流例程的一部分并且可用于检查的装置的列表；以及

所述处理器被配置成：

经由所述用户界面接收一件装置的选择；以及

经由所述用户界面提供用于采集与所选的该件装置相关联的检查数据的指令。

11.根据权利要求1所述的系统，其中：

经由所述用户界面提供指令用以执行工作流例程包括在所述用户界面上显示用以在所述工作流例程期间执行的步骤的列表，并且其中以与还没有被完成的步骤相区别的方式示出已经完成的步骤。

12.根据权利要求11所述的系统，其中所述处理器被配置成自动地确定何时完成所述工作流例程中的一个或多个步骤。

13.根据权利要求1所述的系统，其中所述处理器远离所述检查工具和所述用户界面定位，并且其中所述处理器经由网络与所述检查工具和所述用户界面通信。

14.一种在工作流例程期间采集数据的方法，包括：

接收关于环境的信息；

提供关于所述环境中的多件装置的信息；

标识用于检查的一件装置；

获取代表与所标识的该件装置相关联的至少一个参数的检查数据；

存储所述检查数据。

15.根据权利要求14所述的方法，进一步包括确定可用于检查的一件或多件装置；以及

其中提供关于所述环境中的多件装置的信息包括向用户通知当前可用于检查的至少一件装置；以及

标识用于检查的一件装置包括从指定所标识的该件装置的用户接收选择。

16.根据权利要求15所述的方法，进一步包括步骤：确定第一件装置处于预定接近度内，并且在确定该第一件装置处于所述预定接近度内时向所述用户通知该第一件装置可用于检查。

17.根据权利要求15所述的方法，其中确定一件或多件装置可用于检查包括识别在成像工具的视场内的一件或多件装置。

18.根据权利要求15所述的方法，其中确定一件或多件可用于检查包括确定还没有获取检查数据所针对的一件或多件装置。

19.根据权利要求15所述的方法，其中向用户通知当前可用于检查的至少一件装置包括向用户呈现包括当前可用于检查的装置的列表。

20.根据权利要求19所述的方法，其中包括当前可用于检查的装置的列表以在视觉上与还没有接收到检查数据所针对的装置相区别的方式呈现已经接收到检查数据所针对的装置。

21.根据权利要求20所述的方法，其中在列表中以与还没有接收到检查数据所针对的装置不同的颜色呈现已经接收到检查数据所针对的装置。

22.根据权利要求19所述的方法，其中接收一件装置的选择包括接收来自包括当前可用于检查的装置的列表中的选择。

23.根据权利要求15所述的方法，进一步包括输出与所标识的该件装置有关的信息，输出信息包括：

输出至所选的该件装置的位置的方向；

输出与所选的该件装置相关联的一个或多个参数；

输出用于获取所述检查数据的工作流例程；

和/或呈现代表所选的装置的参考图像。

24.根据权利要求14所述的方法，其中所述检查数据包括声像数据、红外图像数据和/或可见光图像数据。

25.根据权利要求14所述的方法，其中接收关于所述环境的信息包括确定所述环境中的一件或多件装置。

26.根据权利要求25所述的方法，其中确定所述环境中的一件或多件装置包括确定代表当前位置的位置信息；

接收指示所述环境的输入；

和/或接收代表与一件或多件装置的接近度的接近度信息。