CN110709788B

CN110709788B - 移动设备上的增强现实用户界面

Info

Publication number: CN110709788B
Application number: CN201880037697.6A
Authority: CN
Inventors: 格雷姆·莱科克; 彼得·霍斯利; 罗汉·麦卡丹
Original assignee: Honeywell International Inc
Current assignee: Honeywell International Inc
Priority date: 2017-06-19
Filing date: 2018-06-14
Publication date: 2022-11-08
Anticipated expiration: 2038-06-14
Also published as: EP3642680A1; US20180365495A1; US10878240B2; CN110709788A; AU2018288650A1; EP3642680A4; WO2018236665A1; AU2018288650B2

Abstract

本发明提供了一种方法，该方法包括识别(804)包含在由移动设备(122，200)捕获的至少一幅图像(404，414，424，434)中的一个或多个第一设备(406，102a，102b，106)。该方法还包括获得(806)与下述选项中的至少一者相关联的数据：一个或多个第一设备以及连接到一个或多个第一设备或与一个或多个第一设备交互的一个或多个第二设备(406，102a，102b，106)。该方法进一步包括由移动设备将叠加在至少一幅图像上的信息呈现(808)给用户，其中，呈现的信息包括该数据或基于该数据的信息。呈现的信息基于移动设备相对于一个或多个第一设备的觉知距离或接近度而变化。

Description

移动设备上的增强现实用户界面

技术领域

本公开整体涉及增强现实可视显示。更具体地讲，本公开涉及用于呈现与工业过程、控制和自动化系统或其他系统相关的信息的移动设备上的增强现实用户界面。

背景技术

工业过程控制和自动化系统常常用于使大型且复杂的工业过程自动化。工业过程通常使用大量设备来实施，诸如泵、阀门、压缩机或用于实施工业过程的各个方面的其他工业设备。控制和自动化系统常规地还包括用于监测和控制工业设备的大量设备，诸如传感器、致动器和可编程逻辑控制器(PLC)。

这些类型的系统中的许多设备可生成操作数据、诊断数据或其他数据，并且将这些数据传输到其他部件以供分析、存储或其他用途。例如，这些数据中的至少一些数据可用于识别控制和自动化系统中或基础工业过程中的问题。然后，可以派遣维护人员或其他人员来修理或更换设备，或者采取其他合适的纠正措施来解决这些问题。类似的操作可能发生在包括大量设备的其他系统(诸如，建筑物管理系统)中。

发明内容

本公开提供了用于呈现与工业过程、控制和自动化系统或其他系统相关的信息的移动设备上的增强现实用户界面。

在第一实施方案中，一种方法包括识别包含在由移动设备捕获的至少一幅图像中的一个或多个第一设备。该方法还包括获得与下述选项中的至少一者相关联的数据：一个或多个第一设备以及连接到一个或多个第一设备或与一个或多个第一设备交互的一个或多个第二设备。该方法进一步包括由移动设备将叠加在至少一幅图像上的信息呈现给用户，其中，呈现的信息包括该数据或基于该数据的信息。呈现的信息基于移动设备相对于一个或多个第一设备的觉知距离或接近度而变化。

在第二实施方案中，一种移动设备包括显示器、被配置为捕获一个或多个第一设备的至少一幅图像的相机以及至少一个处理器。该至少一个处理器被配置为识别包含在至少一幅图像中的一个或多个第一设备。该至少一个处理器还被配置为获得与下述选项中的至少一者相关联的数据：一个或多个第一设备以及连接到一个或多个第一设备或与一个或多个第一设备交互的一个或多个第二设备。该至少一个处理器被进一步配置为在显示器上将叠加在至少一幅图像上的信息呈现给用户，其中，呈现的信息包括该数据或基于该数据的信息。呈现的信息基于移动设备相对于一个或多个第一设备的觉知距离或接近度而变化。

在第三实施方案中，一种非暂态计算机可读介质包含在被执行时使得至少一个处理设备识别包含在移动设备捕获的至少一幅图像中的一个或多个第一设备的指令。该介质还包含在被执行时使得至少一个处理设备获得与下述选项中的至少一者相关联的数据的指令：一个或多个第一设备以及连接到一个或多个第一设备或与一个或多个第一设备交互的一个或多个第二设备。该介质还包含在被执行时使得至少一个处理设备将由移动设备叠加在至少一幅图像上的信息呈现给用户的指令，其中，呈现的信息包括该数据或基于该数据的信息。呈现的信息基于移动设备相对于一个或多个第一设备的觉知距离或接近度而变化。

从以下附图、描述和权利要求书中，其他技术特征对本领域的技术人员是显而易见的。

附图说明

为了更完整地理解本公开，现在结合附图参考以下描述，在附图中：

图1示出了根据本公开的示例性工业过程控制和自动化系统；

图2和图3示出了根据本公开的支持用于呈现与工业过程、控制和自动化系统或其他系统相关的信息的增强现实用户界面的示例性设备；

图4A至图5E示出了根据本公开的示例性增强现实用户界面；

图6A至图7D示出了根据本公开的用于使用支持增强现实用户界面的移动设备的示例性技术；并且

图8示出了根据本公开的用于使用增强现实用户界面来呈现与工业过程、控制和自动化系统或其他系统相关的信息的示例性方法。

具体实施方式

下文所讨论的图1至图8以及用于描述本专利文献中的本发明的原理的各种实施方案仅采取例证的方式，并且不应以任何方式将其理解为限制本发明的范围。本领域的技术人员将理解，本发明的原理可在任何类型的适当布置的设备或系统中实现。

图1示出了根据本公开的示例性工业过程控制和自动化系统100。如图1所示，系统100包括有利于生产或加工至少一种产品或其他材料的各种部件。例如，系统100可用于有利于对一个或多个工业厂房中的部件的控制。每个工厂表示一个或多个加工设施（或其一个或多个部分），诸如用于生产至少一种产品或其他材料的一个或多个制造设施。一般来说，每个工厂可实现一个或多个工业过程并且可单独地或共同地称为过程系统。过程系统通常表示被配置为以某种方式加工一种或多种产品或其他材料的其任何系统或部分。

在图1中，系统100包括一个或多个传感器102a和一个或多个致动器102b。传感器102a和致动器102b表示过程系统中可执行各种各样的功能中的任一种功能的部件。例如，传感器102a可以测量过程系统中的各种各样的特性，诸如压力、温度或流速。另外，致动器102b可以改变过程系统中的各种各样的特性。传感器102a中的每个传感器包括用于测量过程系统中的一个或多个特性的任何合适的结构。致动器102b中的每个致动器包括用于在过程系统中对一个或多个条件进行操作或影响的任何合适的结构。

至少一个网络104耦接到传感器102a和致动器102b。网络104有利于与传感器102a和致动器102b的交互。例如，网络104可传输来自传感器102a的测量数据并且向致动器102b提供控制信号。网络104可以表示任何合适的网络或网络的组合。作为特定示例，网络104可表示至少一个以太网网络、电信号网络（诸如HART网络）、气动控制信号网络、或任何其他或额外类型的网络。

系统100还包括各种控制器106。可在系统100中使用控制器106以执行各种功能以便控制一个或多个工业过程。例如，第一组控制器106可使用来自一个或多个传感器102a的测量结果来控制对一个或多个致动器102b的操作。第二组控制器106可用于优化由第一组控制器执行的控制逻辑或其他操作。第三组控制器106可用于执行额外的功能。控制器106可经由一个或多个网络108和相关联的交换机、防火墙和其他部件进行通信。

每个控制器106包括用于控制工业过程的一个或多个方面的任何合适的结构。例如，控制器106中的至少一些控制器可表示可编程逻辑控制器(PLC)、比例积分微分(PID)控制器或多变量控制器，诸如实现模型预测控制(MPC)或其他高级预测控制(APC)的控制器。作为特定示例，每个控制器106可表示运行实时操作系统、WINDOWS操作系统或其他操作系统的计算设备。

操作者对系统100的控制器106和其他部件的访问和交互可经由各种操作者控制台110发生。每个操作者控制台110可用于向操作者提供信息并且从操作者接收信息。例如，每个操作者控制台110可向操作者提供识别工业过程的当前状态的信息，诸如与工业过程相关联的各种过程变量的值以及警报。每个操作者控制台110也可接收影响如何控制工业过程的信息，诸如通过接收由控制器106控制的过程变量的设定值或控制模式或者接收改变或影响控制器106如何控制工业过程的其他信息。每个操作者控制台110包括用于向操作者显示信息以及与操作者进行交互的任何合适的结构。例如，每个操作者控制台110可表示运行WINDOWS操作系统或其他操作系统的计算设备。

多个操作者控制台110可分组在一起并在一个或多个控制室112中使用。每个控制室112可包括以任何合适的布置方式布置的任意数量的操作者控制台110。在一些实施方案中，可使用多个控制室112来控制工业厂房，诸如，当每个控制室112包含用于管理工业厂房的分立部分的操作者控制台110时。

此处的控制和自动化系统100还包括至少一个历史数据库114和一个或多个服务器116。历史数据库114表示存储关于系统100的各种信息的部件。历史数据库114可例如存储在对一个或多个工业过程的控制期间由各个控制器106所生成的信息。历史数据库114包括用于存储信息和有利于信息检索的任何合适的结构。虽然此处被示为单个部件，但历史数据库114可位于系统100中的其他位置，或者多个历史数据库可分布于系统100中的不同位置。

每个服务器116表示执行针对操作者控制台110的用户的应用程序或其他应用程序的计算设备。应用程序可用于支持针对系统100的操作者控制台110、控制器106或其他部件的各种功能。每个服务器116可表示运行WINDOWS操作系统或其他操作系统的计算设备。需注意，虽然被示为位于控制和自动化系统100内本地，但服务器116的功能可远离控制和自动化系统100。例如，可以在经由网关120通信地耦接到控制和自动化系统100的计算云118或远程服务器中实现服务器116的功能。还有可能使用服务器116和计算云118或远程服务器来实施共同功能或不同功能。

如上所述，工业过程通常是使用大量设备实施的，诸如泵、阀、压缩机或其他设备。类似地，工业过程控制和自动化系统通常也是使用大量设备实施的，诸如传感器102a、致动器102b、控制器106和图1中的其他部件。许多设备可生成操作数据、诊断数据或其他数据，并且将这些数据传输到其他部件以供分析、存储或其他用途。在一些实施方案中，操作数据一般可能涉及对工业过程的控制或监测（诸如温度、压力、流速或其他值），而诊断数据一般可能涉及关于设备本身的信息。然而，在这些或其他系统中还可能使用其他或额外形式或类型的数据。

在大型或复杂系统中使适当的人员取得适当的数据可能是一项具有挑战性的任务。例如，维护人员或其他人员可能需要访问操作数据、诊断数据或其他数据以便正确诊断和解决控制和自动化系统或基础工业过程内的问题。当在现场有许多部件（可能相互密切靠近）时，这可能是困难的。

本公开提供了利用移动设备122来显示工业过程、过程控制和自动化系统或其他系统中的设备的详细信息的技术。其通过以一个或多个增强现实可视叠图对一个或多个设备的相机视图进行增强来实现，该叠图包含关于这些设备的或者关于连接到这些设备或与这些设备交互的其他设备的详细信息。例如，用户可以使移动设备122以控制器106为目标，并且查看包含关于控制器106或关于耦接至控制器106的设备（诸如传感器102a、致动器102b或其他控制器106）的信息的增强现实可视叠图。增强现实可视叠图可包括文本、符号、图标、动画、趋势或者任何其他或额外信息。

诸如，通过使用移动设备122的图像处理特征将增强现实可视叠图叠加在一个或多个设备的图像或图像流上。可基于设备的专用标记或自然特征将可视叠图定位在图像上。例如，移动设备122可使用一个或多个控制器106或其他设备的一个或多个几何结构、颜色或纹理来识别一个或多个增强现实对象的定位信息。然后，增强现实对象可以被插入到来自移动设备122的相机的视图中，以呈现出增强现实对象位于通过相机观看到的设备上或该设备附近的外观。增强现实对象可用于向用户提供各种级别的信息，诸如基于用户相对于正在通过相机查看的一个或多个设备的接近程度而变化的信息。用户还可以选择各种设备或增强现实对象，以获得关于设备或增强现实对象的特定方面的更详细的信息。

用于生成一个或多个增强现实可视叠图的信息可以以任何合适的方式获得。例如，移动设备122可直接从这些设备本身获取数据，诸如经由蓝牙、WiFi或红外连接实施的无线通信。而且或者另选地，移动设备122可以直接从这些设备获得数据，诸如通过历史数据库114、本地服务器116或者使用计算云118提供的基于云的服务。

任何具有相机和显示器的合适移动设备122均可用于提供增强现实可视叠图。在这一示例中，移动设备122包括智能电话、智能眼镜和平板电脑设备。然而，任何其他或额外类型的移动设备均可用于此处，诸如膝上型电脑。而且，提供增强现实可视叠图的功能可以以任何合适的方式实施。例如，软件“app”或其他应用程序可以被加载到移动设备122上并由移动设备122的一个或多个处理器执行。

下文提供了有关用于提供与工业过程、控制和自动化系统或其他系统相关的信息的增强现实可视叠图的额外细节。需注意，这些细节涉及提供或支持可视叠图的设备的具体实施方式、可视叠图的具体实施方式以及可视叠图的具体用途，但是可以使用设备和可视叠图的其他具体实施，并且可视叠图可用于任何合适的目的。

虽然图1示出了工业过程控制和自动化系统100的一个示例，但是可以对图1作出各种改变。例如，系统100可包括任意数量的传感器、致动器、控制器、网络、操作者控制台、控制室、历史数据库、服务器、移动设备和其他部件。另外，图1中的系统100的组成和布置方式仅用于例证。部件可根据特定需要添加、省略、组合、进一步细分或以任何其他合适的配置放置。此外，特定功能已被描述为由系统100的特定部件执行。这仅用于例证。一般来说，控制系统和自动化系统是高度可配置的，并且可根据特定需要以任何合适的方式来配置。此外，虽然图1示出了可以使用增强现实可视叠图提供关于设备的信息的一个示例性操作环境，但这一功能可以用于任何其他合适的系统中（并且该系统未必与工业过程控制和自动化相关）。

图2和图3示出了根据本公开的支持用于呈现与工业过程、控制和自动化系统或其他系统相关的信息的增强现实用户界面的示例性设备。具体地讲，图2示出了示例性移动设备200，并且图3示出了示例性服务器或其他计算设备300。移动设备200可用于向用户呈现增强现实可视叠图，并且计算设备300可用于支持增强现实可视叠图的生成和向用户的呈现（诸如，通过向移动设备200提供操作数据、诊断数据或其他数据）。为了便于解释，移动设备200和计算设备300被描述为在图1的系统100中使用，但是移动设备200和计算设备300也可以在任何其他合适的系统中使用（无论是否与工业过程控制和自动化相关）。

如图2所示，移动设备200包括天线202、射频(RF)收发器204、传输(TX)处理电路206、传声器208、接收(RX)处理电路210和扬声器212。移动设备200还包括主处理器214、相机216、一个或多个物理控件218、显示器220和存储器222。

RF收发器204从天线202接收传入RF信号，诸如蜂窝信号、WiFi信号或蓝牙信号。RF收发器204对传入RF信号进行下变频以生成中频(IF)信号或基带信号。该IF信号或基带信号被发送到RX处理电路210，该RX处理电路210通过对基带或IF信号进行滤波、解码和/或数字化来生成经处理的基带信号。RX处理电路210可将经处理的基带信号传输到扬声器212或主处理器214以做进一步处理。

TX处理电路206从传声器208接收模拟或数字数据或从主处理器214接收其他传出基带数据。TX处理电路206对传出基带数据进行编码、多路复用和/或数字化以生成经处理的基带或IF号。RF收发器204从TX处理电路206接收传出经处理的基带或IF信号，并且将该基带或IF信号上变频为经由天线202传输的RF信号。

主处理器214可以包括一个或多个处理器或其他处理设备，并且执行存储在存储器222中的操作系统、应用程序或其他逻辑，以便控制移动设备200的整体操作。例如，主处理器214可以根据众所周知的原理控制RF收发器204、RX处理电路210和TX处理电路206对信号的发送和接收。在一些实施方案中，主处理器214包括至少一个微处理器或微控制器，尽管也可以使用其他类型的处理设备。

主处理器214还能够执行驻留在存储器222中的其他过程和应用程序。主处理器214可以根据执行应用程序的要求将数据移入或移出存储器222。主处理器214还耦接到相机216，该相机向主处理器214提供用于生成数字图像或视频流的数据。图像或视频流可经由显示器220呈现给用户。

主处理器214还耦接到物理控件218和显示器220。移动设备200的用户可使用物理控件218来调用某些功能，诸如对设备200供电或断电或者控制设备200的音量。显示器220可为液晶显示器(LCD)、发光二极管(LED)显示器或者能够渲染文本和图形的其他显示器。如果显示器220表示能够接收输入的触摸屏，则需要更少的物理控件218或者不需要物理控件218。

存储器222耦接到主处理器214。存储器222的一部分可以包括随机存取存储器(RAM)，并且存储器222的另一部分可以包括闪存存储器或其他只读存储器(ROM)。每个存储器222包括用于存储信息和有利于信息检索的任何合适的结构。

如图3所示，计算设备300包括至少一个处理器302、至少一个存储设备304、至少一个通信单元306和至少一个输入/输出(I/O)单元308。每个处理器302可执行指令，诸如可被加载到存储器310中的那些指令。每个处理器302表示任何合适的处理设备，诸如一个或多个微处理器、微控制器、数字信号处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或分立电路。

存储器310和持久性存储装置312是存储设备304的示例，该存储设备表示能够存储信息（诸如临时性的或永久性的数据、程序代码和/或其他合适的信息）和有利于信息检索的任何结构。存储器310可表示RAM或任何其他合适的易失性存储设备或非易失性存储设备。持久性存储装置312可以包含支持数据的更长期存储的一个或多个部件或设备，诸如ROM、硬盘驱动器、闪存存储器或光盘。

通信单元306支持与其他系统或设备的通信。例如，通信单元306可包括至少一个网络接口卡或无线收发器，从而有利于通过至少一个有线或无线网络进行通信。通信单元306可通过任何合适的物理或无线通信链路来支持通信。

I/O单元308允许输入和输出数据。例如，I/O单元308可通过键盘、鼠标、小键盘、触摸屏或其他合适的输入设备为用户输入提供连接。I/O单元308还可将输出发送到显示器、打印机或其他合适的输出设备。

如上所述，移动设备200用于向用户呈现一个或多个增强现实可视叠图。例如，主处理器214或移动设备200的其他部件可从相机216接收一幅或多幅图像并且识别一个或多个增强现实对象要被叠加到图像上的至少一个预期位置。然后，显示器220可将该一幅或多幅图像连同叠加在图像上的一个或多个增强现实对象一起呈现给用户。该一个或多个增强现实对象可基于或呈现包含在图像内的一个或多个设备的或与图像内包含的设备相关的操作数据、诊断数据或其他数据。计算设备300可任选地用于向移动设备200提供该数据或者执行与移动设备200呈现的增强现实可视叠图相关的其他功能。然而，移动设备200本身可执行所有增强现实操作，而无需使用任何外部计算设备。

尽管图2和图3示出了支持用于呈现与工业过程、控制和自动化系统或其他系统相关的信息的增强现实用户界面的设备的示例，但是可以对图2和图3作出各种改变。例如，每个图中的各种部件可以被组合、进一步细分或省略，并且可以根据特定需要添加额外部件。作为特定示例，每个处理器214或302可以被划分为多个处理器，诸如一个或多个中央处理单元(CPU)和一个或多个图形处理单元(GPU)。另外，移动设备和计算设备具有各种各样的配置，并且图2和3不使本公开局限于任何特定移动设备或计算设备。

图4A至图5E示出了根据本公开的示例性增强现实用户界面。为便于解释，在用于图1的系统100中时，增强现实用户界面被描述为呈现在移动设备200的显示器220上。因此，这里的增强现实用户界面用于提供关于一个或多个工业过程中的以及/或者一个或多个工业过程控制和自动化系统中的设备的信息。然而，可在任何合适的系统（无论是否与工业过程控制和自动化相关）中生成并使用任何其他合适的用户界面。

如图4A至图4D所示，（至少部分地）基于用户与一个或多个设备的距离以及用户对一个或多个命令的调用来将不同的可视叠图呈现给用户。例如，在图4A中，当用户离一个或多个设备较远时，可呈现可视叠图402。这一视图可被称为“远距”视图，但是其不要求与设备相距具体的最短距离。在该示例中，可视叠图402包括至少一幅图像404或呈现在至少一幅图像404（也可能是图像流）上。一个或多个设备406包括在图像404中或被图像404捕获，并且可以使用一个或多个模块408形成每个设备406。此处的可视叠图402包括与设备406相关联地显示的一个或多个增强现实对象410。在这一特定示例中，每个增强现实对象410包括设备406的名称和状态以及标示关于设备406的状态或其他信息的图标或其他图形符号。例如，使用绿色圆形和复选标记形成的图标可表明相关联的设备406当前正在运行而没有任何警报、警告或其他不利通知。相比之下，使用红色圆形和“X”标记形成的图标可表明相关联的设备406当前正在警报、警告或其他不利通知下运行。

在图4B中，当用户离设备较近时，可呈现可视叠图412。这一视图可被称为“中距”视图，但是其不要求与设备相距具体的最短或最长距离。在该示例中，可视叠图412包括至少一幅图像414或呈现在至少一幅图像414（也可能是图像流）上。设备406中的至少一个设备连同其相关联模块408包括在图像414中或被图像414捕获。可视叠图412在此处包括一个或多个增强现实对象416，每个增强现实对象均呈识别相关联的设备406的名称和状态的文本的形式。可视叠图412还包括增强现实对象418，其呈现至少一个设备406的各个模块408的状态。如图4A所示，每个增强现实对象418在此处可呈不同的形式，诸如取决于相关联的模块408当前是否正在任何警报、警告或其他不利通知下运行。在这一具体示例中，呈现了图像414内的中间设备406的状态，但是对移动设备200重新定位可允许呈现不止一个设备406或不同设备406的状态。在一些实施方案中，设备406中的至少一些设备可具有相关联的图形标识符420，诸如条形码或QR码。

在图4C中，当用户非常靠近一个或多个设备406时，可呈现可视叠图422。这一视图可被称为“近距”视图，但是其不要求与工业设备相距具体的最短或最长距离。在该示例中，可视叠图422包括至少一幅图像424或呈现在至少一幅图像424（可能是图像流）上，并且可视叠图422的内容可基于用户在所显示图像424上“停留”的内容。例如，图形标记426（本示例中的圆圈）可用于标示所显示图像424内的不同物理对象或增强现实对象。在图4C所示的可视叠图422中，用户正停留在唯一地识别设备406的图形标识符420上，这使得可视叠图422呈现用于识别具体设备406中的当前正经历问题的任何模块408的增强现实对象428。用户可选择增强现实对象428中的一个增强现实对象以查看有关具体模块408及其问题的额外细节。可视叠图422还呈现包括可由用户选择的各种功能的工具包430。这些功能可能涉及设备406或其任何模块408的具体设置或参数，并且用户可选择一项或多项功能来重新配置或以其他方式更改设备406或其模块408。

在图4D中，可视叠图432与可视叠图412类似。在该示例中，可视叠图432包括至少一幅图像434或呈现在至少一幅图像434（也可能是图像流）上。设备406中的至少一个设备及其相关联模块408包括在图像434中或由图像434捕获。同样，可视叠图432的内容可基于用户在所显示的图形434上“停留”的内容。例如，用户可使用图形标记426停留在设备406中的具体模块408上，使得可视叠图432呈现增强现实对象436（其呈窗口形式），在该窗口中可查看并且有可能改变关于具体模块408的数据。

需注意，虽然图形标记426未显示在可视叠图402和412中，但图形标记426可以用于这些可视叠图或者与一个或多个设备406相距任何适当距离的任何其他可视叠图中。还需注意，虽然停留是用于调用某些增强现实功能的一种示例性机制，但也可使用其他机制。例如，当在图4A的可视叠图402中选择设备406的增强现实对象410时，诸如，当用户触摸显示器220上的增强现实对象410时，可呈现与该设备相关联的一个或多个增强现实对象428。类似地，当在图4B的可视叠图412中或在图4D的可视叠图432中选择模块的增强现实对象418时，诸如，当用户触摸显示器220上的增强现实对象418时，可呈现增强现实对象436。一般来讲，可使用各种机制和流程来选择设备或设备模块并查看关于这些设备或设备模块的信息。

此处所示的可视叠图允许向用户渐进式地公开更多和更详细的信息。例如，当用户将移动设备的相机定位为与设备相距某一距离时，可给出具有该设备的“累积”(汇总或集合)状态的汇总视图。在该距离处可仅示出少数指示（诸如，只有身份标识以及指示总体健康状况的勾/叉）。在可视叠图402中示出了这种情况的一个示例。随着用户将移动设备122向该设备移近，可渐进式地给出更多和更详细的信息，诸如结合了过程变量的标签和当前值的可视叠图。在可视叠图412、可视叠图422和可视叠图432中示出了这些可视叠图的示例。在图4A至图4D所示的示例中，这种渐进式的公开是针对包括包含模块408的机架或行的模块化设备406执行的，其中，模块408可以包含信道或端口。这种渐进式公开显示了整个机架或行的单个身份标识和状态，然后显示了每个模块的总体状态，并且然后显示了相机视图中的具体模块上的各个信道或端口状态。因此，呈现给用户的信息可基于与设备的距离或接近度而变化。

此处的图形标记426表示“停留选择”导航特征，该导航特征允许用户在短时间周期内将增强现实指针（其为叠图对象）定位在具体部件、模块或设备特征上或者定位在与部件、模块或设备相关联的增强现实对象上。如果图形标记426在这一短时间周期期间保持相对静止，则可以自动向用户呈现额外窗口或其他增强现实对象，该额外窗口或其他增强现实对象示出关于由用户选择的特定部件、模块、设备或增强现实对象的更详细信息。该额外细节窗口或其他增强现实对象可持久存在，直到用户执行下一个“停留”导航为止，或者可通过单独的交互来关闭该额外细节窗口或其他增强现实对象。这样做尤其免除了用户必须在移动设备上进行触摸式交互以选择其想要了解更多信息的项目或者“钻取”感兴趣的具体项目的更多细节的需求。但是，这里仍然支持触摸式交互。

图5A至图5E示出了可以呈现在图4D中的可视叠图432中所示的额外细节窗口（增强现实对象436）中的信息的类型的示例。该额外细节窗口可用于向用户提供各种信息和各种级别的信息。在一些实施方案中，该额外细节窗口可表示超文本标记语言(HTML)窗口或允许用户在窗口内导航并选择供显示的其他或额外信息的其他窗口。可以通过窗口中的适当导航工具（诸如，超级链接）在窗口中查看不同的内容。

在图5A至图5E中，增强现实对象436包括位于窗口顶部处的两个控件502和504。控件502允许用户关闭增强现实对象436。控件504允许用户将增强现实对象436中包含的信息导出到可在全屏窗口中观看的文档。增强现实对象436的其余内容基于用户请求查看的信息而变化。

在图5A和图5B中，用户已经选择了具体模块408，诸如通过使用图形标记426停留在模块408的图像上或者通过触摸与该模块408相关联的增强现实对象418。无论怎样，一旦模块408被选定，就显示包含该选定模块408的信息的增强现实对象436。需注意，图5A和图5B形成了同一显示的部分，其中，用户可使用滚动条506或其他机制来滚动翻阅包含在增强现实对象436中的信息。这里，增强现实对象436显示识别选定模块408的信息508、选定模块408的状态510以及与选定模块408相关联的I/O信道的列表512。增强现实对象436还可显示描述与选定模块408相关联的任何错误的信息514。

在这一特定示例中，信息508包括与选定模块408相关联的设备名称、机架编号和模块编号，但是也可能使用任何其他或额外识别信息。另外，在这一特定示例中，状态510包括多个图标中的一个图标（取决于选定模块408是否具有任何错误）以及与选定模块408相关联的错误的数量（如果有的话）。然而，可以使用选定模块的状态的任何其他合适汇总。此外，在这一具体示例中，I/O信道的列表512包括信道编号、多个图标中的一个图标（取决于该信道是否具有任何错误）、信道名称、以图形方式随着时间推移示出与该信道相关联的值的微线图、当前值和信道类型。信道类型可具有各种值，诸如模拟输入(AI)、模拟输出(AO)、数字输入(DI)，数字输出(DO)、脉冲累加器输入(PI)、电阻温度检测器(RTD)或热电偶(TC)。当然，可显示与选定模块408的每个信道相关联的其他信息或额外信息。此外，在这一特定示例中，对于选定模块408的每个错误（如果有的话），信息514标示信道名称和编号、指示信道具有错误的图标、错误类型、微线图、当前信道值、信道类型以及对错误和如何解决该错误的描述。此外，可显示与选定模块408的每个错误相关联的其他信息或额外信息。

在图5C中，用户已经选择了具体模块408的具体信道，诸如通过选择列表512中的信道中的一个信道或者通过选择在所显示的信息514中标示出的错误中的一个错误。无论怎样，一旦信道被选定，就显示包含该选定信道的信息的增强现实对象436。这里，增强现实对象436包括识别与选定信道相关联的模块408的信息508以及与选定信道相关联的信息520。在这一特定示例中，信息520与图5A和图5B中包含的信息514的至少一部分相同或相似，因为这两者与相同错误有关，尽管情况未必如此。例如，信息520可包含对错误以及如何解决错误的更加详细的描述。而且，如果选定信道当前未处于错误下，则所显示的信息520将是不同的。

在图5D中，用户已经选择了具体设备406（如PLC），诸如，通过使用图形标记426停留在设备406的图形标识符420上。这里选定的设备406是与用户先前在图5A至图5C中检查的模块408相关联的设备。无论怎样，一旦设备406被选定，增强现实对象436就显示识别选定设备406的信息540、选定设备406的状态542以及选定设备406的各种特性的列表544。增强现实对象436还可显示描述与选定设备406相关联的任何错误的信息546。

在这一特定示例中，信息540包括选定设备406的设备名称和机架编号，但是也可能使用任何其他或额外识别信息。另外，在这一特定示例中，状态542包括多个图标中的一个图标（取决于选定设备406是否具有任何错误）以及与选定设备406相关联的错误的数量（如果有的话）。然而，可以使用选定设备的状态的任何其他合适汇总。此外，在这一特定示例中，列表544包括设备特性的各种名称、多个图标中的一个图标（取决于这些特性是否具有任何错误）以及与这些特性相关联的其他数据，如微线图或文本数据。当然，可显示与选定设备406的每种特性相关联的其他信息或额外信息。此外，在这一特定示例中，对于选定设备406的每个错误（如果有的话），信息546标示特性名称、指示该特性具有错误的图标、错误类型、微线图、当前特性值以及对如何解决该错误的描述。此外，可显示与选定设备406的每个错误相关联的其他信息或额外信息。图5D中的虚线548用于表明在任何给定时间上可能仅显示增强现实对象436的内容中的一些内容，并且用户可使用滚动条506或其他机制来滚动翻阅包含在增强现实对象436中的信息。

在图5E中，用户已经选择了具体信道、特性或其他变量，诸如，通过对先前显示在增强现实对象436中的微线图、信道或特性的物理选择或者通过停留在其上。无论怎样，一旦具体信道、特性或其他变量被选定，增强现实对象436就显示与具体变量相关联的信息560以及该具体变量的趋势图562。在这一特定示例中，信息560包括设备名称、机架编号、模块编号和选定变量的变量名称，但是也可能使用任何其他或额外识别信息。而且，在这一特定示例中，趋势图562标绘了变量随着时间推移的值，并且可以包括向用户提供数据的各种标记564和注释566。可使用各种控件568来控制在趋势图562中标绘该变量的值的时间周期。当然，趋势图562可具有任何其他合适的形式，并且任何合适的控件568均可与趋势图562一起使用（或者不采用任何控件568）。

需注意，可在使用增强现实对象436创建的窗口中向用户呈现任何其他或额外内容。这些内容尤其可基于当前正在通过移动设备的相机查看的一个或多个设备以及用户与增强现实对象436或其他增强现实对象的交互。

尽管图4A至图5E示出了增强现实用户界面的示例，但可对图4A至图5E作出各种改变。例如，图4A至图5E中的可视叠图的内容、布局和布置方式仅用于例证目的。增强现实可视叠图可用于显示广泛的信息。图4A至图5E旨在例示可视叠图的一些潜在用途，并且本公开不限于这些具体的增强现实可视叠图。

图6A至图7D示出了根据本公开的用于使用支持增强现实用户界面的移动设备的示例性技术。为便于解释，图6A至图7D中所示的技术被描述为当移动设备200被用作图1的系统100中的移动设备122时由移动设备200支持。因此，这里的技术用于提供关于一个或多个工业过程中以及/或者一个或多个工业过程控制和自动化系统中的设备的信息。然而，这里描述的技术可以与任何合适的设备一起使用并且可以用于任何合适的系统中（无论是否与工业过程控制和自动化相关）。

如图6A至图6C中所示，用户正在尝试定位具体的一件设备或者具体的一件设备的具体模块、端口或信道。用户可以如图6A所示使用其移动设备122来扫描各件设备上的标签或其他可视指示符602（诸如，图形标识符420），并且不同件的设备的细节可以被呈现到移动设备122上，如图6B和图6C所示。可视指示符602可表示条形码、QR码或任何其他合适的图形指示符。

为了扫描每个可视指示符602，用户可使用其移动设备122的相机216来查看可视指示符602，此时移动设备122可使用可视指示符602的一幅或多幅图像来收集信息并识别与可视指示符602相关联的那件设备。然后，移动设备122可向用户显示关于所识别的那件设备的信息，诸如其名称和其状态。还可使用其他或额外信息（诸如由GPS或WiFi收发器提供的位置信息、无线信标或其他机制）来识别具体的一件设备。

在抵达具有具体的该件设备的区域之前，移动设备122可提供导航指令或其他信息以帮助用户抵达具体的该件设备所处的大致区域。一旦识别出预期的该件设备，用户就可以使用移动设备122来识别设备的具体模块或执行其他功能。这种方法可帮助用户更快地定位预期设备，这通常是一项困难的操作。例如，用户可能正在尝试对具有数千个I/O信道的控制器的单个I/O信道上的具体硬件故障进行物理定位。

如图7A至图7D所示，用户正在尝试对具体的一件设备（这一示例中为PLC）的问题进行故障检修。用户可以如图7A所示使用其移动设备122来识别具体的该件设备，并且获得识别针对具体的该件设备的可能警报、警告或其他指示符的增强现实指示符的列表，如图7B所示。用户然后可停留在每个增强现实指示符上，以便查看包含关于该指示符的详细信息的窗口，如图7C和图7D所示。用户可以使用每个警报、警告或其他指示符的详细信息来尝试并解决与具体的该件设备相关联的问题。

这种类型的功能尤其可用于改善定位设备的便利性。例如，当用户正在接近包含许多设备的设施或其他环境或者处于其内时，用户可激活用户的移动设备122上的“app”或其他应用程序。如果用户希望定位具体设备并且知道该具体设备所在的大致区域，则用户可以来到该大致区域。如果用户不知道该具体设备所在的大致区域，则用户可将该具体设备的身份标识、涉及该具体设备的待解决问题的标识、或其他信息提供给移动设备122，并且移动设备122可提供抵达该具体设备的导航指令。在任何情况下，一旦处于该具体设备的大致区域内，用户就可以使用一个或多个增强现实可视叠图来识别该具体设备，诸如通过扫描标签或其他可视指示符来识别具体设备或通过使用可视叠图来识别遭受具体问题的设备。

这种类型的功能还可用于改善涉及设备的其他功能的性能。例如，在具体设备的安装期间，用户可使用其移动设备122上的app或其他应用程序来获取关于该具体设备的信息以辅助该具体设备或其子部件的物理安装或配置。又如，用户可使用其移动设备122上的app或其他应用程序来获取关于具体设备或者关于连接到该具体设备或与该具体设备交互的一个或多个其他设备的信息。用户可以根据需要进行钻取，以识别正经历的任何问题以及这些问题的可能解决方案。如果设备的具体模块或其他子部件被识别为问题的起因或者需要定位，则用户可使用其移动设备122来定位该子部件。如果用户需要配置或重新配置设备或其子部件中的任何子部件，则用户可以使用其移动设备122进行配置。

这里可以看出，这种类型的功能可极大地提高在具有大量设备的复杂系统中执行各种任务的便利性。虽然上面提供了这些任务的具体示例，但这些示例仅用于例证，可以使用这种类型的功能来支持或执行任何数量的额外任务。

此外，虽然这种类型的功能通常被描述为与工业过程以及工业过程控制和自动化系统一起使用，但这种类型的功能可用于许多其他领域。例如，建筑物管理解决方案通常被用于控制办公建筑物或其他大型结构内使用的设备。作为特定示例，自动化系统中的自动化控制器可使用操作数据、诊断数据或其他数据来控制设备，诸如建筑物或其他结构中的供暖、通风和空调(HVAC)设备以及变风量(VAV)控制设备。建筑物自动化控制器可使用的操作数据可包括不同房间或结构的其他区域中的温度。上文描述的同样类型的方案可用于允许用户的移动设备122呈现与该自动化系统或基础控制设备中的设备相关联的增强现实可视叠图。可视叠图可用于辅助功能，诸如，这些设备的安装、向这些设备的导航或者对这些设备的维护。作为特定示例，可视叠图可结合对与设备相关联的变量的标签和当前值以及其他操作信息的显示。用户的移动设备122可提供抵达具体设备的导航指令、允许对标签或其他可视指示符进行扫描、提供关于设备的渐进式信息、或者执行上文所述的任何其他功能。

此外，请注意，上文将某些功能描述为基于距离，诸如，当随着用户向一个或多个设备移近时渐进式地提供更多信息时。然而，可能不需要更改实际物理距离来调用这些功能。例如，用户可能无法轻易接近一个或多个设备，诸如，由于物理障碍。在这些或其他情况下，用户可使用其移动设备的相机上的“缩放”特征来虚拟地朝一个或多个设备移近。取决于移动设备的相机的分辨率和缩放能力，用户能够扫描标签或其他可视指示符或者呈现出用户正在物理接近设备的样子。因此，增强现实可视叠图的内容可基于与一个或多个设备的“觉知”距离或接近度而变化，其中，觉知距离或接近度基于一幅或多幅图像内的一个或多个设备的尺寸或其他特征。觉知距离或接近度可基于与一个或多个设备的实际物理距离或一个或多个设备的放大尺寸。

尽管图6A至图7D示出了用于使用支持增强现实用户界面的移动设备的技术的示例，但可对图6A至图7D作出各种改变。例如，可以以多种方式将增强现实用户界面与系统中的设备一起使用。图6A至图7D旨在例示用于使用可视叠图来辅助用户执行某些功能的潜在技术，并且本公开不限于这些特定用途。

图8示出了根据本公开的用于使用增强现实用户界面来呈现与工业过程、控制和自动化系统或其他系统相关的信息的示例性方法800。为了便于解释，方法800被描述为涉及移动设备200在图1的系统100中的用途。然而，方法800可以与任何合适的设备一起使用并且可以用于任何合适的系统中（无论是否与工业过程控制和自动化相关）。

如图8所示，在步骤802处获得由移动设备捕获的至少一幅图像。其可包括（例如）移动设备200的处理器214从相机216接收图像数据并处理该图像数据以生成图像或图像流。在步骤804处识别包含在一幅或多幅图像中的至少一个第一设备。其可包括（例如）移动设备2200的处理器214使用其图像处理特征来检测包含在所捕获的图像中的一个或多个条形码、QR码或其他图形标识符420。可使用任何其他或额外特征来识别图像中的第一设备，诸如专用标记或设备的自然特征。

在步骤806处获得与至少一个第一设备或者连接到第一设备或与第一设备交互的至少一个第二设备相关联的数据。其可包括（例如）移动设备200的处理器214直接从第一或第二设备接收数据或者经由诸如历史数据库114、服务器116、计算云118或远程服务器的另一部件间接从设备接收数据。在步骤808处向移动设备的用户呈现信息。其可包括（例如）移动设备200的处理器214使用其图像处理特征在先前捕获的图像或新捕获的图像上插入一个或多个增强现实对象。呈现的信息可基于移动设备相对于一个或多个第一设备的觉知距离或接近度而变化。该信息可包括在步骤806中获得的数据中的至少一些数据或者基于该数据的信息。

在步骤808中呈现给用户的一个或多个增强现实对象可基于多种因素而变化。例如，如上文所述，觉知距离或接近度可基于实际距离或接近度或者基于在图像内的设备的尺寸或其他特征。在一些实施方案中，当移动设备200离多件设备较远时，呈现给用户的增强现实对象可包括该多件设备的名称和状态。当移动设备200离该多件设备较近时，呈现给用户的增强现实对象还可包括该多件设备中的至少一件设备中的各个模块的状态。增强现实对象还可包括识别影响该多件设备中的至少一件设备的问题的一个或多个对象或者包含与该多件设备中的至少一件设备中的模块中的至少一个模块相关联的数据的窗口。如上所述，可使用增强现实对象向用户呈现不同类型的信息，并且该信息可根据需要或预期而变化。

各种操作还可以取决于用户选择接下来做什么而发生。例如，可在步骤810处检测用户对与叠加信息相关的额外信息的请求。其可包括（例如）移动设备200的处理器214检测用户在先前由移动设备200叠加的增强现实对象上的停留。其还可包括用户物理触摸先前由移动设备200叠加的增强现实对象。在步骤812处获得与用户请求相关联的额外信息，并且在步骤814处以叠加方式呈现。其可包括（例如）移动设备200的处理器214请求与用户所停留在的增强现实对象相关的额外信息并且该额外信息可以是从任何合适的一个或多个来源（包括移动设备200本身）获得的。

又如，在步骤816处可检测调用与一个或多个设备相关的功能的用户请求。其可包括（例如）移动设备200的处理器214检测到用户已经选择显示给用户的工具包430中的功能。还可以使用任何其他或额外机制以允许用户调用与第一设备和第二设备相关的一个或多个功能。在步骤818处接收与所请求的功能相关联的信息并执行该功能。其可包括（例如）移动设备200的处理器214执行功能，以允许用户向一个或多个设备发送命令，来重新配置一个或多个设备或者执行与一个或多个设备相关的其他功能。

尽管图8示出了用于使用增强现实用户界面来呈现与工业过程、控制和自动化系统或其他系统相关的信息的方法800的一个示例，但是可以对图8作出各种改变。例如，虽然被示为一系列步骤，但是图8中的各种步骤可以重叠、并行发生，以不同顺序发生，或者发生任何次数。另外，如上所述，有很多种方式可使增强现实用户界面与系统的设备一起使用，并且以上关于图8所述的示例并不使本公开局限于这些示例性用途。

在一些实施方案中，本专利文献中描述的各种功能由计算机程序来实现或支持，该计算机程序由计算机可读程序代码形成并且体现在计算机可读介质中。短语“计算机可读程序代码”包括任何类型的计算机代码，包括源代码、目标代码和可执行代码。短语“计算机可读介质”包括能够被计算机访问的任何类型的介质，诸如只读存储器(ROM)、随机存取存储器(RAM)、硬盘驱动器、光盘(CD)、数字视频光盘(DVD)或任何其他类型的存储器。“非暂态”计算机可读介质排除传输瞬时电信号或其他信号的有线、无线、光学或其他通信链路。非暂态计算机可读介质包括可永久地存储数据的介质以及可存储和之后覆写数据的介质，诸如可重写光盘或可擦除存储设备。

阐述贯穿本专利文献中使用的某些字词和短语的定义可能是有利的。术语“应用程序”和“程序”是指适于以合适的计算机代码（包括源代码、目标代码或可执行代码）实现的一个或多个计算机程序、软件部件、指令集、过程、功能、对象、类、实例、相关的数据或其一部分。术语“通信”以及其衍生词涵盖直接通信和间接通信两者。术语“包括”和“包含”以及其衍生词意指包括但不限于此。术语“或”是包括性的，意指和/或。短语“与…相关联”以及其衍生词可以意指包括、包括在…内、与…互连、包含、包含在…内、连接到…或与…连接、耦接到…或与…耦接、可与…通信、与…协作、交错、并置、与…接近、结合到…或与…结合、具有、具有…的属性、具有与…的关系或与…具有关系等。当与项列表一起使用时，短语“…中的至少一个”意指可以使用所列的项中的一个或多个项的不同组合，并且可能仅需要列表中的一个项。例如，“A、B和C中的至少一者”包括以下任何组合：A、B、C，A和B，A和C，B和C，以及A和B和C。

不应将本申请中的描述理解为暗示任何特定元件、步骤或功能是必须包括在权利要求书范围内的基本或关键要素。专利保护的主题的范围仅由所允许的权利要求书限定。此外，权利要求书都未关于所附权利要求书或权利要求要素中的任何一项援引35 U.S.C.§ 112(f)，除非在特定权利要求书中明确使用后面是识别功能的分词短语的“用于…的装置”或“用于…的步骤”的确切字词。在权利要求书内使用术语诸如（但不限于）“机构”、“模块”、“设备”、“单元”、“部件”、“元件”、“构件”、“装置”、“机器”、“系统”、“处理器”或“控制器”被理解为并且旨在指代相关领域的技术人员已知的结构，如权利要求书本身特征进一步修改的或增强的，并且不旨在援引35 U.S.C. § 112(f)。

虽然本公开已描述了某些实施方案和大体上相关联的方法，但是这些实施方案和方法的变更和置换对于本领域的技术人员来说将是显而易见的。因此，上文对示例性实施方案的描述不限定或约束本公开。在不脱离如以下权利要求书限定的本公开的实质和范围的情况下，其他改变、替换和变更也是可能的。

Claims

1.一种用于工业过程的方法，包括：

识别包含在由移动设备捕获的至少一幅图像中的一个或多个第一设备；

获得与下述选项中的至少一者相关联的数据：所述一个或多个第一设备以及连接到所述一个或多个第一设备或与所述一个或多个第一设备交互的一个或多个第二设备；以及

由所述移动设备将叠加在所述至少一幅图像上的信息呈现给用户，所述呈现的信息包括所述数据或基于所述数据的信息；

其中，所述呈现的信息基于所述移动设备相对于所述一个或多个第一设备的觉知距离或接近度而变化，

其中，呈现所述信息包括：基于所述移动设备相对于所述一个或多个第一设备的觉知距离或接近度，在所述至少一幅图像上呈现不同的增强现实对象，以及

其中，不同的增强现实对象进一步包括下述内容中的至少一者：

影响叠加在所述至少一幅图像上的一个或多个第一设备或一个或多个第二设备中的至少一个设备的一个或多个问题；和

包含与叠加在所述至少一幅图像上的一个或多个第一设备或一个或多个第二设备中的至少一个设备中的模块中的至少一个模块相关联的数据的窗口。

2.根据权利要求1所述的方法，其中，识别所述一个或多个第一设备包括下述操作中的至少一者：

检测用户在与所述一个或多个第一设备中的至少一个第一设备相关联的可视标识符上的停留，并且使用所述可视标识符来识别所述一个或多个第一设备中的所述至少一个第一设备；以及

检测用户在所述一个或多个第一设备中的所述至少一个第一设备上的停留。

3.根据权利要求1所述的方法，其中，所述增强现实对象进一步包括：

当所述移动设备离所述一个或多个第一设备较远时的叠加在所述至少一幅图像上的一个或多个第一设备或一个或多个第二设备的名称和状态；和

当所述移动设备离所述一个或多个第一设备较近时的叠加在所述至少一幅图像上的一个或多个第一设备或一个或多个第二设备中的至少一个设备中的各个模块的状态。

4.根据权利要求1所述的方法，其中，呈现所述信息包括：

在所述窗口中呈现所述信息中的至少一些信息；以及

允许用户在所述窗口内导航并选择供在所述窗口中显示的额外信息。

5.根据权利要求1所述的方法，其中，获得所述数据包括：

检测用户在叠加在所述至少一幅图像上的不同的增强现实对象上的停留；以及

获得与所述不同的增强现实对象相关联的信息。

6.一种移动设备，包括：

显示器；

相机，所述相机被配置为捕获一个或多个第一设备的至少一幅图像；和

至少一个处理器，所述至少一个处理器被配置为：

识别包含在所述至少一幅图像中的所述一个或多个第一设备；

在所述显示器上将叠加在所述至少一幅图像上的信息呈现给用户，所述呈现的信息包括所述数据或基于所述数据的信息；

其中，为了呈现所述信息，所述至少一个处理器被配置为基于所述移动设备相对于所述一个或多个第一设备的所述觉知距离或接近度，在所述至少一幅图像上呈现不同的增强现实对象，以及

7.根据权利要求6所述的移动设备，其中，为了识别所述一个或多个第一设备，所述至少一个处理器被配置为：

8.根据权利要求6所述的移动设备，其中，所述增强现实对象进一步包括：

9.根据权利要求6所述的移动设备，其中，为了呈现所述信息，所述至少一个处理器被配置为：

在所述窗口中呈现所述信息中的至少一些信息；以及

10.根据权利要求6所述的移动设备，其中，为了获得所述数据，所述至少一个处理器被配置为：

获得与所述增强现实对象相关联的信息。

11.一种非暂态计算机可读介质，所述非暂态计算机可读介质包含指令，所述指令在被执行时使得至少一个处理设备执行权利要求1至5中任一项所述的方法。