CN110647444B - 装置、方法和存储介质 - Google Patents

Abstract

本发明提供一种装置、方法和存储介质。存在由于设备的制约而引起显示内容不充分，从而无法得到详细信息的情况。为此所述装置包括：取得图像的图像取得部、提取在反映在图像中的设备上表示的显示信息的提取部、取得用于指定设备的产品的指定用信息的指定用信息取得部、输出与指定用信息和显示信息相关联的关联信息的输出部。

Description

装置、方法和存储介质

技术领域

本发明涉及装置、方法和存储介质。

背景技术

以前，对于安装在工厂中的现场设备等设备，出于节省电力和小型化的观点，抑制显示部的显示能力，将错误等信息显示为代码，因此，用户需要通过使用说明书等来查询显示内容。近年来，提出了将使用说明书电子化并显示在过程控制用显示部上的技术(例如，参照专利文献1)。

专利文献1：日本专利公开公报特开平6-295236号公报

发明内容

发明要解决的问题：

然而，会存在由于设备的制约而引起显示内容不充分，从而无法得到详细信息的情况。

解决问题的方案：

为解决上述问题，本发明第一形态中提供一种装置。装置可以具备取得图像的图像取得部。装置可以具备提取部，提取在反映在图像中的设备上表示的显示信息。装置可以具备指定用信息取得部，取得用于指定设备的产品的指定用信息。装置可以具备输出部，输出与指定用信息和显示信息相关联的关联信息。

指定用信息取得部可以对反映在图像中的设备的外观进行解析，取得指定用信息。

图像取得部可以拍摄图像。

图像取得部可以从具有摄像功能的装置取得图像。

指定用信息取得部可以基于设备的本体或配件上存储的信息取得指定用信息。

装置可以进一步具备关联信息取得部，从与多个指定用信息及多个显示信息的各种组合相关联存储关联信息的存储装置中，取得与由指定用信息取得部取得的指定用信息和由提取部提取的显示信息相关联的关联信息。

提取部可以在反映在图像中的设备上表示的各显示信息中，提取在存储装置中与关联信息相关联的显示信息。

显示信息可以表示在设备上产生的错误的类型。关联信息可以表示错误的内容、错误的应对方法、及关于错误的咨询方式中的至少一个。

提取部可以在反映在图像中的设备上显示的各显示信息中，基于表示产生了错误的文字及记号的至少一个，提取表示错误的类型的显示信息。

关联信息中包含的信息量可以大于显示信息中包含的信息量。

在本发明的第二形态中提供一种方法。方法可以具备取得图像的图像取得步骤。方法可以具备提取在反映在图像中的设备上表示的显示信息的提取步骤。方法可以具备取得用于指定设备的产品的指定用信息的指定用信息取得步骤。方法可以具备输出与指定用信息和显示信息相关联的关联信息的输出步骤。

在本发明的第三形态中提供一种程序。程序可以使计算机作为取得图像的图像取得部而发挥功能。程序可以使计算机作为提取部而发挥功能，该提取部提取在反映在图像中的设备上表示的显示信息。程序可以使计算机作为取得用于指定设备的产品的指定用信息的指定用信息取得部而发挥功能。程序可以使计算机作为输出与指定用信息和显示信息相关联的关联信息的输出部而发挥功能。

在本发明的第四形态中提供一种存储有程序的存储介质。程序可以使计算机作为取得图像的图像取得部而发挥功能。程序可以使计算机作为提取部而发挥功能，该提取部提取在反映在图像中的设备上表示的显示信息。程序可以使计算机作为取得用于指定设备的产品的指定用信息的指定用信息取得部而发挥功能。程序可以使计算机作为输出与指定用信息和显示信息相关联的关联信息的输出部而发挥功能。

另外，上述发明内容并未列举出本发明的全部可能特征，所述特征组的子组合也有可能构成发明。

附图说明

图1表示本实施方式所述的系统1。

图2表示系统1所适用的保全管理系统10。

图3表示读取用存储部441。

图4表示读写用存储部442。

图5表示本实施方式所述系统1的动作。

图6表示作为现场设备11的涡街流量计110。

图7表示对涡街流量计110的显示信息的关联信息进行显示的移动设备3。

图8表示作为现场设备11的记录仪111以及将其显示信息的关联信息进行显示的移动设备3。

图9表示可以完全或部分地体现本发明多个方面的计算机2200的示例。

具体实施方式

以下通过发明实施方式对本发明进行说明，但以下实施方式并非对权利要求书所涉及的发明进行限定。并且，实施方式中说明的特征组合也并非全部为本发明的必要特征。

[1.系统1的结构]

图1表示本实施方式所述的系统1。系统1包括：设备2、移动设备3、装置4和供应商终端5。

[1-1.设备2]

设备2为具有用于显示信息的显示部20的设备，作为一例，是通过未图示的控制部的控制对信息进行显示的电气产品。在显示部20上显示的信息(称为显示信息)可以表示产品种类、设备2的状态、设定内容、或者可能输入的操作种类等。可以在显示部20上设置多个显示区域，以同时显示多个显示信息。在显示部20上显示的至少一个显示信息可以被编码显示成条形码或二维码(例如QR码(注册商标))等码。显示信息可以被分段显示成7个、11个、14个、16个或24个等任意数量的片段，或者也可以点阵显示。

[1-2.移动设备3]

移动设备3为由设备2的用户所携带的智能手机或平板电脑等，通过有线或无线方式与装置4连接。移动设备3具有用于拍摄图像的摄像部31和用于显示信息的显示部32。由摄像部31得到的拍摄图像等图像数据可以提供给装置4。所提供的图像既可以是静止图像，也可以是动态图像。静止图像可以是动画中的帧图像。另外，提供给装置4的图像可以是通过在移动设备3上运行的应用(如创作应用)作成的图像，也可以是在对移动设备3内部保存的图像进行显示时的截屏图像，还可以是由与移动设备3相连的扫描仪等外部设备提供的图像。显示部32比设备2的显示部20的显示能力更高。例如，显示部32可以具有比显示部20更大的显示画面。另外，显示部32可以进行点阵显示，显示部32的分辨率高于设备2的显示部20的分辨率。

[1-3.装置4]

装置4是输出与设备2的显示信息相关联的信息的设备，可以通过云计算实现，也可以通过物理服务器或PC实现。装置4具有：图像取得部41、提取部42、指定用信息取得部43、存储部44、关联信息取得部45和输出部46。

[1-3-1.图像取得部41]

图像取得部41取得图像。例如，图像取得部41从移动设备3取得图像。作为一例，图像取得部41可以取得由移动设备3拍摄的图像。图像取得部41将所取得的图像数据提供给提取部42及指定用信息取得部43。

[1-3-2.提取部42]

提取部42对反映在图像中的设备2的显示部20的显示画面中所显示的显示信息进行提取。提取部42可以采用OCR(光学字符识别，Optical Character Recognition)技术对显示内容进行文字识别从而提取出显示信息。作为一例，提取部42可以针对点阵显示的情形和片段显示的情形区别使用文字识别算法，在片段显示的情形中，可以根据片段数量进一步区别使用。当显示信息被表示为二维码等码时，提取部42可以对该码进行解码从而提取原始的显示信息。提取部42将所提取的显示信息提供给关联信息取得部45。

[1-3-3.指定用信息取得部43]

指定用信息取得部43取得用于指定设备2的产品的指定用信息。此处，指定用信息例如可以是设备2的产品ID。产品ID是指用于识别产品种类的识别信息，例如产品的型号。产品ID可以包括产品的版本信息、用于识别各个相同产品的序列号以及每个制造单位的批次信息中的至少一个。

指定用信息取得部43可以根据用户的输入来取得指定用信息，也可以通过对反映在图像中的设备2的外观进行解析来取得指定用信息。解析用图像可以由移动设备3提供。解析用图像可以是与由提取部42提取显示信息的图像相同的图像或者不同的图像。指定用信息取得部43可以通过对反映在图像中的设备2的外观进行解析而取得外观信息，并根据外观信息指定产品并取得产品ID。在外观信息中可以包含设备2的形状和标牌的记号等，详细内容将在后续进行说明。当指定用信息取得部43取得文字作为外观信息时，指定用信息取得部43可以与提取部42一样采用OCR技术进行文字识别。指定用信息取得部43将指定用信息提供给关联信息取得部45。

[1-3-4.存储部44]

存储部44具有读取用存储部441及读写用存储部442。读取用存储部441为存储装置的一例，将关联信息与多个指定用信息和多个显示信息的各种组合相关联地进行存储。读取用存储部441也可以在设备2的显示部20上能显示的显示信息中对部分显示信息(如过程值等)不存储关联信息。关联信息是与设备2的显示信息相关联的信息，例如可以表示与显示部20的显示信息相关的详细内容。关联信息中所包含的信息量可以比设备2上所显示的显示信息中所包含的信息量更大。另外，信息量例如可以是所显示的文字数多。读写用存储部442对装置4与移动设备3之间的通信内容等进行存储。

[1-3-5.关联信息取得部45]

关联信息取得部45从读取用存储部441取得与由指定用信息取得部43取得的指定用信息和由提取部42提取的显示信息相关联的关联信息。关联信息取得部45将所取得的关联信息提供给输出部46。

[1-3-6.输出部46]

输出部46输出关联信息。例如，输出部46向移动设备3输出关联信息并显示在显示部32。输出部46可以不依赖于设备2的种类以统一的显示方式输出关联信息。从而易于掌握关联信息。

[1-4.供应商终端5]

供应商终端5是由设备2的制造者或者销售者等供应商设置的终端，以有线或无线方式与装置4连接。供应商终端5可以由物理服务器或PC等实现。供应商终端5可以对读写用存储部442内的信息进行统计处理。

根据以上系统1，由于输出与设备2的指定用信息和显示部20的显示信息相关联的关联信息(如显示信息的详细内容)，因此，即便在由于设备2的制约(如：电力消耗量的制约、显示部20的尺寸制约)而引起设备2的显示内容不充分的情形中，也能够得到详细的关联信息。例如，当设备2的显示能力低下时，由于输出比其显示信息的信息量更大的关联信息，因此能够得到扩展设备2的显示能力的效果，而无需改变设备2。而且，由于不与设备2进行通信也能够输出关联信息，因此能够防止对设备2施加通信处理时的负担。另外，由于通过取得设备2的图像来提取显示信息并输出关联信息，因此，与查询使用说明书等来取得关联信息的情形相比，能够容易取得关联信息。

另外，由于通过装置4的关联信息取得部45从读取用存储部441取得关联信息，因此与将显示信息及指定用信息提供给外部并取得关联信息的情形相比，能够省略与外部的通信部分，从而能够加快关联信息的输出。

而且，由于取得反映在图像中的设备2的指定用信息，因此通过将设备2的图像提供给装置4来取得指定用信息。因此，与输入设备2的指定用信息的情形相比，能够容易取得指定用信息。

[2.适用例]

图2表示系统1所适用的保全管理系统10。

保全管理系统10是对设置在工厂等的设备中的现场设备11进行保全管理的系统，包括：多个现场设备11、保全用终端12、运转控制装置13、接口装置14、资源管理装置15、文档数据库17、保全管理装置18。此处，作为设置有现场设备11的工厂，除了化学等工业工厂以外，还有：管理控制气田和油田等的井口及其周围的工厂、管理控制水力发电、火力发电、核能发电等的工厂、管理控制太阳能和风能等环境发电的工厂、管理控制上下水和水坝等的工厂等。各现场设备11和保全用终端12可以配置在设备中执行过程的现场。而且，运转控制装置13、接口装置14和资源管理装置15可以配置在设备中的管理室或仪器室等中。文档数据库17可以配置在设备外部。保全管理装置18既可以配置在设备内的管理室或仪器室等中，也可以配置在设备的外部。

[2-1.现场设备]

现场设备11为器具、机械或装置，例如，可以是对设备的过程中的压力、温度、pH、速度、流量等物理量进行测量的传感器，可以是控制任一物理量的阀门、流用控制阀、开闭阀、泵、风扇、马达等致动器，可以是对工厂内的状况和对象物进行拍摄的照相机、摄像机等摄像设备，可以是收集工厂内的杂音等或发出警报音等的麦克风、扬声器等音响设备，可以是输出各个设备的位置信息的位置检测设备，也可以是其他设备。各个现场设备11可以是彼此不同的类型，至少部分两个以上的现场设备11可以是相同的类型。各个现场设备11的制造者可以相同也可以不同。现场设备11可以通过控制用网络100以有线或无线方式与运转控制装置13连接。控制用网络100内的通信可以通过例如ISA(International Societyof Automation：国际自动化学会)的无线通信协议进行，作为一例可以通过ISA100.11a、HART(Highway Addressable Remote Transducer，高速可寻址远程传感器)(注册商标)、BRAIN(注册商标)、基金会现场总线(FOUNDATION Fieldbus)、现场总线(PROFIBUS)等进行。

[2-2.保全用终端]

保全用终端12访问现场设备11的设定参数，参照设定参数的值，进行设定及变更等。保全用终端12可以是现场操作者所携带的手持终端(HHT)(如：智能手机或平板电脑)，也可以是台式机电脑。当保全用终端12是手持终端时，保全用终端12可以相对于现场设备11可拆卸地连接。

[2-3.运转控制装置]

运转控制装置13与各个现场设备11进行通信对过程进行控制。例如，运转控制装置13从作为传感器的现场设备11取得过程值，对作为致动器的现场设备11进行驱动。运转控制装置13可以将过程值提供给接口装置14，从接口装置14接收过程值的目标值。另外，在本实施方式中，作为一例，说明了在保全管理系统1中具备一个运转控制装置13对全部现场设备11进行控制，但也可以是具备多个运转控制装置13，分别分散控制部分的现场设备11。运转控制装置13作为一例可以是FCS(Field Control Station，现场控制站)。

[2-4.接口装置]

接口装置14实现管理者与设备的接口。接口装置14可以根据管理者的操作通过运转控制装置13对过程进行控制。例如，接口装置14从运转控制装置13接收过程值，将过程值的目标值提供给运转控制装置13。接口装置14作为一例可以是HIS(Human InterfaceStation，人机界面工作站)，也可以由PC等构成。

[2-5.资源管理装置]

资源管理装置15执行设备内的在线监控和集中管理。例如，资源管理装置15可以对运转控制装置13取得的现场设备11的信息等进行管理。资源管理装置15作为一例可以由PC等构成。

[2-6.文档数据库]

文档数据库17将现场设备11的产品ID(如型号)与该现场设备11的相关文档相关联保存。文档可以是电子化的文档的文件，也可以是这种文件的保存地(URL名等)与文件名的组合。文档的文件可以是现场设备11的规格书、手册、检测报告等文本文件，也可以是图像文件。文档数据库17作为一例可以按每个现场设备11的供应商进行设置。另外，文档数据库17及保全管理装置18可以通过网络101(如：互联网或专用线)与资源管理装置15等连接。

[2-7.保全管理装置]

保全管理装置18支持设备的保全管理。保全管理装置18可以针对多个现场设备11的每一个至少具有存储设备固有信息及设定参数值的设备底册1800。保全管理装置18例如可以是设备生命周期管理器(Device Lifecycle Manager)，既可以由云计算实现，也可以由物理服务器或PC实现。保全管理装置18可以通过网络101以有线或无线方式与资源管理装置15等连接。

在以上的保全管理系统10中，作为一例，图1的设备2为现场设备11，图1的装置4为保全管理装置18。据此，当现场设备11的显示画面较小时，通过用现场的移动设备3对其显示信息进行拍摄等并提供给保全管理装置18，从而能够通过移动设备3确认比显示信息增加了信息量的关联信息。另外，保全管理装置18的设备底册1800可以设置在存储部44的读写用存储部442中。而且，装置4也可以是资源管理装置15、接口装置14或运转控制装置13。而且，移动设备3也可以是保全用终端12。

[3.存储部44]

[3-1.读取用存储部441]

图3表示读取用存储部441。读取用存储部441将关联信息与指定用信息和显示信息的各种组合相关联地进行存储。显示信息例如可以表示设备2的状态，在本实施方式中，表示在设备2上产生的错误类型(如错误码、警告消息)。当设备2以随时间推移而切换的一系列的显示信息来表示一个内容时，读取用存储部441可以将一系列的显示信息的汇总与指定用信息和关联信息相关联地进行存储。关联信息可以用一种或多种语言进行表达。关联信息可以表示：在设备2上产生的错误的内容(错误的详细信息)、错误的应对方法、以及针对错误的咨询方式中的至少一个。错误的应对方法例如可以是设备2的操作方法，可以是对设备2的状态和错误的原因进行解析的方法，也可以是部件的更换方法。针对错误的咨询方式可以是：设备2的供应商的联系处的电话号码和邮件地址、URL等。关联信息还可以表示错误的识别信息及错误位置的部件的订购地等。另外，在本实施方式中，作为一例，读取用存储部441可以按每个设备2存储外观的信息。外观的信息可以包括以下至少一个：设备2的整体或部分(如显示部)的形状、设备2的整体或部分的颜色、对设备2的产品ID进行编码并设置在设备2的本体或配件上的编码的信息、显示在显示部20的字符串、图标、显示图像、画面布局、显示颜色、名牌的记号。其中，编码为条形码或二维码(如QR码(注册商标))，通过粘贴、印刷或刻印方式进行设置。编码可以通过在附带在设备2上的名牌上进行粘贴、印刷或刻印方式进行设置。设置有编码的设备2的配件可以是设备2所嵌入的壁或机架安装型的面板。图3中作为一例，存储了针对产品ID“AAA-P10”的现场设备11、在该现场设备11显示的错误码“AL10”、“AL20”的关联信息。

按照以上这种读取用存储部441内的信息，显示信息表示在设备2上产生的错误的类型，关联信息表示错误的内容、错误的应对方法以及针对错误的咨询方式中的至少一个，因此能够容易确认在设备2上产生的错误的内容、应对方法、咨询方式等。因此，无需查阅使用说明书就能迅速地应对错误。并且，当关联信息由多种语言表达时，能够输出由用户的使用语言所表达的关联信息，因此能够可靠地确认关联信息。

[3-2.读写用存储部442]

图4表示读写用存储部442。读写用存储部442按每个用户或者按每个设备2可以包含以下的至少一个：用户信息(如：用户识别ID、用户名、注册信息)、针对装置4的用户的注册信息(如：用户的所属公司、地域等)、来自于移动设备3的访问日期和时间、在移动设备3中用于与装置4进行通信的应用的类型、由指定用信息取得部43取得的设备2的产品ID、设备2的使用环境、错误内容、由图像取得部41取得的图像、图像的拍摄位置、拍摄日期和时间、以及由指定用信息取得部43取得的外观信息。设备2的使用环境作为一例可以包括：使用位置、标高、使用时的温度、湿度、及运行周期等的至少一个。错误内容可以包括：所发生的错误的错误ID、发生状况(设备2的使用环境等)、设备2的版本、设备2的批次信息、应对内容及应对结果等的至少一个。另外，在以上的信息中，用户信息、注册信息、访问日期和时间及使用应用的类型可以从装置4与移动设备3的通信内容中取得。图像的拍摄位置及拍摄日期和时间可以从图像数据的EXIF数据中取得，设备2的使用环境可以根据拍摄位置及拍摄日期和时间进行指定，可以由对移动设备3的用户输入而取得。错误内容可以由指定用信息取得部43及关联信息取得部45取得，也可以由对移动设备3的用户输入而取得，还可以由移动设备3与设备2的通信而取得。由指定用信息取得部43取得的信息可以包括：从图像取得的外观的信息、通过用户的输入而取得的信息、以及由与设备2的本体或配件的通信而取得的信息的至少一个。另外，在图4中，作为一例，针对用户识别ID“aaaaa”的用户所使用的产品ID“AAA-P10”的现场设备11存储了错误的内容等。

根据以上这种读写用存储部442内的信息，能够在供应商终端5中进行各种统计处理。例如，供应商终端5访问读写用存储部442内的信息中供应商具有访问权限的信息，针对每个设备2的产品或者每个用户，提取使用环境以及所发生的错误的内容的至少一个并进行统计处理。从而能够在数量上掌握使用频度高的功能和错误的趋势(例如：易于发生错误的功能、使用环境)。另外，当显示错误码的设备2(称为本次的设备2)的图像被存储在读写用存储部442中时，供应商终端5可以对与本次的设备2相同的产品ID的设备2解析所注册的错误的内容，指定过去的错误的原因，确定本次的设备2的错误的应对方法。供应商终端5可以将针对本次的设备2得到的信息(例如：使用环境)与过去的错误内容进行比较，按照消除错误的可能性较高的顺序确定应对方法。进一步地，也可以当用户与在移动设备3上显示的关联信息中的咨询方式进行了联系时，供应商终端5将所确定的应对方法发送给移动设备3，收到联系的供应商的操作者可以介绍应对方法。

[4.动作]

图5表示本实施方式所述系统1的动作。系统1通过进行步骤S11～26的处理，将设备2的显示信息的关联信息显示在移动设备3上。另外，在该图中省略了供应商终端5的动作说明。

首先，在步骤S11中，移动设备3通过摄像部31对设备2进行拍摄，并将图像数据提供给装置4。摄像部31至少拍摄显示部20即可。摄像部31也可以拍摄设备2的整体像，此时，既可以分别拍摄设备2的整体像和显示部20，也可以统一拍摄。当显示部20的显示随时间推移而发生切换时(如：当错误码闪烁显示时，或者当多个错误码依次显示时)，摄像部31可以拍摄动态图像，也可以每当显示信息切换时拍摄静止图像。

在步骤S21中，装置4的图像取得部41取得从移动设备3提供的图像，在步骤S22中，装置4的提取部42提取反映在图像中的显示画面中显示的显示信息。当在显示画面上显示有多个显示信息时，提取部42可以在所显示的各个显示信息中提取在读取用存储部441中与关联信息相关联的显示信息。另外，当在显示画面中显示多个显示信息时，提取部42可以在所显示的各个显示信息中基于表示产生了错误的文字及记号的至少一个提取表示错误的类型的显示信息。作为一例，当在设备2上产生错误这件事由“Alarm”、“AL”、“！”等文字或记号表示时，提取部42可以提取包含他们的显示信息或在他们附近显示的显示信息。而且，当设备2的显示部20的显示随时间推移而发生切换，由摄像部31拍摄动态图像或多个静止图像时，提取部42可以提取每当显示进行切换时的显示信息。

在步骤S23中，装置4的指定用信息取得部43取得用于指定设备2的产品的指定用信息(在本实施方式中例如为产品ID)。例如，指定用信息取得部43解析反映在图像中的设备2的外观并尝试指定产品ID。指定用信息取得部43可以使用读取用存储部441指定产品ID，例如，可以将对反映在图像中的设备2的外观进行解析而取得的外观的信息作为检索键，在读取用存储部441内检索与外观的信息对应的产品ID。另外，指定用信息取得部43也可以通过预先进行使用多个学习用图像的机械学习，根据设备2的外观指定产品，进而指定产品ID。作为学习用图像，可以使用对配线或配管的有无、操作手指的有无、照明的有无、照明的角度、拍摄角度、以及拍摄距离等的至少一个改变条件而进行拍摄的设备2的多个状态的图像(如：每个画面布局、每个显示项目的选择状态、每个错误的发生状态的图像)。指定用信息取得部43在进行了对解析反映在图像中的设备2的外观进行解析并指定产品ID的尝试以及通过机械学习根据外观的信息指定产品ID的尝试中的一种后仍未指定产品ID时，可以进行其他的尝试。进一步地，在进行了两种尝试而未指定产品ID时，指定用信息取得部43可以将在进行一种尝试时得到的多个产品ID的候选与进行另一种尝试时得到的多个产品ID的候选之间重复的产品ID指定为设备2的产品ID。另外，指定用信息取得部43在进行了任一种尝试而未指定产品ID时，与移动设备3通信将多个产品ID的候选中由用户选择的产品ID指定为设备2的产品ID。

当无法指定产品ID时，指定用信息取得部43可以与移动设备3通信，取得关于设备2的追加信息并重新尝试指定产品ID。追加信息既可以是拍摄设备2的其他图像，也可以是由用户输入(例如，对设备2的外观和功能等的选择项的选择输入)的设备2的信息。追加信息的取得可以分阶段地进行。另外，指定用信息取得部43可以不从图像取得指定用信息，而是根据用户向移动设备3的输入内容来取得指定信息。此时，不进行拍摄也能取得指定用信息。另外，指定用信息取得部43也可以基于设备2的本体或配件中存储的信息来取得指定用信息。例如，在设备2的本体或配件中可以存储有通过无线或有线通信可读出的与产品ID、设定参数及通信数据(如测量数据等)的至少一个相关的信息。指定用信息取得部43可以通过通信，经由移动设备3或者不经由移动设备3，取得在设备2的本体或配件中存储的信息。当在取得信息中包含有产品ID时，指定用信息取得部43可以将该产品ID作为设备2的产品ID。当在取得信息中包含设定参数及通信数据的至少一方时，指定用信息取得部43可以针对每个设备2的产品使用将产品ID与其设定参数和通信数据的格式相关联并预先存储的数据库等来取得设备2的产品ID。

在步骤S24中，装置4的关联信息取得部45从读取用存储部441取得与由指定用信息取得部43取得的指定用信息和由提取部42提取的显示信息相关联的关联信息。作为一例，关联信息取得部45可以以由指定用信息取得部43取得的指定用信息和由提取部42提取的显示信息的组合为检索键，在读取用存储部441内检索关联信息。另外，当对应于不同的关联信息的多个显示信息合并显示在设备2中时，关联信息取得部45可以与移动设备3通信，让用户选择某一显示信息，取得针对于被选择的显示信息的关联信息。而且，当与一个关联信息对应的一系列的显示信息随时间推移显示在设备2上时，关联信息取得部45可以取得与一系列的显示信息的汇总和指定用信息相关联的关联信息。另外，当与不同的关联信息对应的多个显示信息随时间推移显示在设备2上时，关联信息取得部45可以与移动设备3通信，让用户选择显示有某一显示信息的图像，取得针对于被选择的图像的显示信息的关联信息。而且，当关联信息以多种语言表达时，关联信息取得部45可以与移动设备3通信，让用户选择某一种语言，仅提取并取得以选择语言表达的部分的关联信息。可代替地，关联信息取得部45也可以与移动设备3通信，检测移动设备3的设定语言，仅提取并取得以设定语言表达的部分的关联信息。

在步骤S25中，装置4的输出部46向移动设备3输出关联信息，在步骤S12中，移动设备3的显示部32显示从装置4的输出部46接收到的关联信息。

在步骤S26中，装置4将从移动设备3取得的信息(如，用户信息、访问日期和时间、取得的图像、为了指定设备2的产品而由用户输入的追加信息、及错误内容等)存储在读写用存储部442中。当错误的应对结果作为错误内容存储在读写用存储部442中时，装置4让用户经由移动设备3输入参照在步骤S12显示的关联信息对设备2进行的操作和其结果。

通过以上动作，当与不同的关联信息对应的多个显示信息被合并显示在设备2上时，从所显示的各显示信息中提取在读取用存储部441中与关联信息相关联的显示信息，并显示针对该显示信息的关联信息，因此，防止提取到不与关联信息相关联的显示信息，从而能够提高提取效率。而且，当与不同的关联信息对应的多个显示信息被合并显示在设备2时，基于表示发生了错误的文字及记号的至少一个，在所显示的各显示信息中提取出表示错误类型的显示信息，因此能够可靠地将错误的内容、错误的应对方法及针对错误的咨询方式显示为关联信息。另外，当多个显示信息被合并显示在设备2中时，由于显示了针对被用户选择的显示信息的关联信息，因此能够确认所希望的显示信息的关联信息。

另外，当与不同的关联信息对应的多个显示信息随时间推移而显示在设备2上时，由于显示了针对被用户选择的显示信息的关联信息，因此能够确认所希望的显示信息的关联信息。

另外，当对应于一个关联信息的一系列的显示信息随时间推移而显示在设备2上时，由于显示了针对一系列的显示信息的汇总的关联信息，因此当通过一系列的显示信息来表示一个内容时，能够确认其关联信息。

另外，当关联信息以多种语言表达时，由于提取并显示了由用户的选择语言或移动设备3的设定语言表达的部分的关联信息，因此能够容易且可靠地确认关联信息。

另外，由于基于设备2的本体或配件中存储的信息取得了指定用信息，因此，即便当不能根据反映在图像中的设备2的外观来取得指定用信息时，也能够取得指定用信息。因此，即便当不能清楚地拍摄设备2的外观整体(例如，周围很暗的情形、在设备2的周围有障碍物的情形等)，也能够取得指定用信息。

另外，在图5的动作中，虽然说明了在提取显示信息之后取得指定用信息的情形，但以相反顺序进行也是可以的。此时，当通过取得指定用信息而指定设备2的产品时，可以使用对该设备2的显示画面最适合的算法(例如，当显示画面进行七片段显示时，适用于七片段显示的文字提取算法)进行文字的提取。

另外，虽然针对当关联信息由多种语言表达时提取并取得由用户的选择语言或移动设备3的设定语言所表达的部分的关联信息进行了说明，但也可以原封不动地取得由多种语言表达的关联信息并输出给移动设备3。此时，移动设备3的显示部32可以根据用户的滚动操作滚动显示关联信息，显示以某种语言表达的关联信息。

[5.显示例]

图6表示作为现场设备11的涡街流量计110。涡街流量计110测量流体的流速、流量及密度的至少一个。如图中的放大部分所示，涡街流量计110的显示部20对显示信息进行片段显示。

图7表示显示了涡街流量计110的显示信息的关联信息的移动设备3。例如，在该图中，作为关联信息显示在涡街流量计110产生的错误的内容及应对方法。另外，关联信息被显示在显示部32的显示区域中显示有涡街流量计的拍摄图像的区域以外的区域。

图8表示作为现场设备11的记录仪(也称为：数据记录仪、记录计)111、显示该显示信息的关联信息的移动设备3。记录仪111记录作为一个或多个传感器的现场设备11的测量数据。在该图中，作为一例，记录仪111将从连接的各现场设备11发送的多个显示信息(如：错误码)进行列表化显示。

另外，在移动设备3中显示了记录仪111的显示信息的关联信息。在该图中，作为一例，与显示部32上显示的记录仪111相重叠地显示关联信息。更具体地，关联信息被显示在显示有记录仪111的拍摄图像的区域中未显示有显示信息的区域中。另外，在该图中显示与被列表化的多个显示信息中针对用户选择的显示信息的关联信息。

[6.变形例]

另外，虽然在上述实施方式中说明了在装置4上具备存储部44的情形，但也可以作为外部存储装置与装置4连接。作为一例，存储部44可以是文档数据库17。在此情形中能够将装置4小型化。

另外，虽然对输出部46将关联信息输出给移动设备3的情形进行了说明，但也可以显示在装置4的显示部上，也可以存储在存储介质中。

另外，虽然将装置4作为物理服务器等进行了说明，但也可以作为带摄像功能的移动设备。在此情形中，输出部46可以显示关联信息。另外，图像取得部41可以拍摄图像。从而与从外部接收图像的情形相比，能够容易取得设备2的图像。另外，指定用信息取得部43也可以通过与设备2的本体或配件(如非接触IC芯片)的有线或无线通信来取得指定用信息。从而能够不进行拍摄也能取得指定用信息。当装置4是移动设备且具有存储部44时，由于装置4可以不与外部通信便能输出显示信息的关联信息，因此即便在不能通信的环境中也能够确认关联信息。

另外，装置4也可以是不具有摄像功能的移动设备。此时，图像取得部41可以从不具有通信功能的摄像装置取得图像。从而，对于禁止带入具有通信功能的摄像装置的区域内的设备2也能够取得图像。

另外，虽然对装置4具有图像取得部41、提取部42、指定用信息取得部43、存储部44、关联信息取得部45及输出部46的情形进行了说明，但移动设备3也可以具有这些的一部分的结构。例如，移动设备3可以具备图像取得部41及输出部46。此时，图像取得部41可以是摄像部31，输出部46可以是显示部32。

另外，虽然对供应商终端5使用读写用存储部442的信息进行统计处理的情形进行了说明，但也可以由移动设备3进行。此时，移动设备3可以对读写用存储部442内的信息中用户具有访问权限的信息进行访问并进行统计处理。在移动设备3中，显示关联信息的应用和进行统计处理的应用可以是相同的，也可以是不同的。

另外，对以下情况进行了说明：用于指定设备2的产品的指定用信息为产品ID，指定用信息取得部43对反映在图像中的设备2的外观进行解析并取得外观的信息，在读取用存储部441内以外观的信息为检索键检索产品ID，或者通过机械学习根据外观的信息指定产品ID。然而，指定用信息取得部43通过将由图像取得部41取得的图像数据提供给装置4的内部或外部的图像解析装置(图中未示出)来指定产品ID，从而取得产品ID。另外，指定用信息除了产品ID，或者代替产品ID，可以包含设备2的外观的信息及反映在设备2上的图像数据的至少一方。当指定用信息包含外观的信息时，指定用信息取得部43可以对反映在由图像取得部41取得的反映在图像中的设备2的外观进行解析而取得外观的信息，也可以将图像数据提供给装置4的内部或外部的图像解析装置而取得外观的信息，将取得的外观的信息提供给关联信息取得部45。关联信息取得部45从读取用存储部441取得与外观的信息和由提取部42提取的显示信息相关联的关联信息。当指定用信息中包含图像数据时，在读取用存储部441中将针对每个设备2对有无配线或配管、有无操作手指、有无照明、照明角度、拍摄角度及拍摄距离等的至少一个改变条件而拍摄的设备2的多个状态的图像(如，每个画面布局、每个表示项目的选择状态、每个错误的发生状态的图像)作为指定用信息存储。指定用信息取得部43可以将从图像取得部41提供的图像数据作为指定用信息取得，也可以将对该图像数据进行了图像处理(例如，对设备2的区域进行裁剪的处理、将设备2以外的噪音成分(如图像内的配线或配管)去除的处理)的图像数据作为指定用信息取得，将所取得的图像数据提供给关联信息取得部45。关联信息取得部45可以从读取用存储部441取得与图像数据和由提取部42提取的显示信息相关联的关联信息。

另外，虽然以设备2作为现场设备11进行了说明，但也可以是洗衣机、电饭煲、体重秤、录像播放机、空调等家电制品的本体或配件(如远程控制器)。

以上，虽然对显示部20通过片段显示或点阵显示等对显示信息进行显示的情形进行了说明，但也可以由多个光源(如LED)的点灯图案对显示信息进行显示。例如，显示部20可以通过使三个光源的任意光源进行点灯来显示设备2上所产生的错误的类型。此时，从输出部46输出与设备2的指定用信息和显示部20的显示信息相关联的关联信息，因此无需对设备2施加改变，便能够得到显著扩展设备2的显示能力的效果。另外，此时，可以不对显示信息进行文字识别，提取部42可以提取多个光源的点灯图案作为显示信息。

另外，虽然对显示信息是显示部20上显示的信息的情形进行了说明，但也可以是设备2的其他部分上显示的信息。例如，显示信息可以通过粘贴、印刷或刻印方式静态地显示在设备2的操作面板或操作按钮上，也可以通过操作面板或操作按钮上的透光部和内部的背光动态地进行显示。另外，显示信息可以表示相应的操作按钮的类型或由操作按钮进行操作的内容。此时，例如可以输出操作内容的说明作为与设备2的指定用信息和显示信息相关联的关联信息。

另外，虽然对指定用信息取得部43尝试根据反映在图像中的设备2的外观来取得指定用信息，当无法取得时基于设备2的本体或配件中存储的信息取得指定用信息进行了说明。但指定用信息取得部43可以不尝试根据反映在图像中的设备2的外观取得指定用信息，而尝试基于设备2的本体或配件中存储的信息来取得指定用信息，当在该尝试中无法取得指定用信息时可以根据反映在图像中的设备2的外观取得指定用信息。

此外，可以参考流程图和模块图描述本发明的各种实施例，其中的模块可以表示：(1)执行操作的处理步骤，或(2)具有执行操作的功能的装置的部分。具体的步骤和部分由专用电路、与存储在计算机可读介质上的计算机可读指令一同提供的可编程电路、以及与存储在计算机可读介质上的计算机可读指令一同提供的处理器中的至少一个实现。专用电路可以包括数字和/或模拟硬件电路，并且可以包括集成电路(IC)和/或分立电路。可编程电路包括可重新配置的硬件电路，该硬件电路包括逻辑AND、逻辑OR、逻辑XOR、逻辑NAND、逻辑NOR和其他逻辑操作、触发器、寄存器、现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)等存储器元件等。

计算机可读介质可以包括能够存储由适当的设备执行的指令的任何有形设备，其结果，使得具有存储在其中的指令的计算机可读介质包括产品，该产品包含为了创建用于执行在流程图或模块图中指定的操作的装置的可执行的命令。计算机可读介质的示例可以包括电子存储介质，磁存储介质，光存储介质，电磁存储介质，半导体存储介质等。计算机可读介质的更具体示例可以包括：软盘(注册商标)，磁盘，硬盘，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编程只读存储器(EPROM或闪存)，电可擦除可编程只读存储器(EEPROM)，静态随机存取存储器(SRAM)，光盘只读存储器(CD-ROM)，数字通用光盘(DVD)，蓝光(RTM)光盘，记忆棒，集成电路卡等。

计算机可读指令可以包含以一种或多种编程语言的任意组合编写的任何代码或目标代码，可以包括：汇编指令，指令集架构(ISA)指令，机器指令，机器相关指令，微代码，固件指令，状态设置数据，或诸如Smalltalk、JAVA(注册商标)、C++等面向对象的编程语言、以及如“C”编程语言或类似编程语言等传统过程型编程语言。

计算机可读指令可以对通用计算机、专用计算机或其他可编程数据处理设备的处理器或可编程电路，执行通过本地或局域网(LAN)或互联网等广域网(WAN)提供的用于创建执行流程图或模块图中指定操作的装置的计算机可读指令。处理器的示例包括计算机处理器，处理单元，微处理器，数字信号处理器，控制器，微控制器等。

图9示出了实现本发明的多个方式中的整体或部分的计算机2200的示例。安装在计算机2200中的程序可以使计算机2200用作本发明的实施方式涉及的装置相关的操作或该装置的一个或多个部分，或者执行该操作或该一个或多个部分。此外，或者作为替代，可以使计算机2200执行本发明的实施方式涉及的过程或该过程的步骤。这种程序可以由CPU2212执行，以使计算机2200执行与本文描述的流程图和模块图中的模块中的几个或全部相关联的特定操作。

根据本实施例所述的计算机2200包括：CPU2212，RAM2214，图形控制器2216和显示设备2218，它们通过主机控制器2210相互连接。计算机2200还包括通信接口2222，硬盘驱动器2224，DVD-ROM驱动器2226和IC卡驱动器等I/O单元，它们经由I/O控制器2220连接到主机控制器2210。计算机还包括ROM2230和键盘2242等传统的I/O单元，它们通过I/O芯片2240连接到I/O控制器2220。

CPU2212根据存储在ROM2230和RAM2214中的程序进行操作，从而控制每个单元。图形控制器2216获得在RAM2214中提供的帧缓冲器等或在其自身中由CPU2212生成的图像数据，并使图像数据显示在显示设备2218上。

通信接口2222经由网络与其他电子设备通信。硬盘驱动器2224存储CPU2212在计算机2200中使用的程序和数据。DVD-ROM驱动器2226从DVD-ROM2201读取程序或数据，并通过RAM2214向硬盘驱动器2224提供程序或数据。IC卡驱动器从IC卡读取程序和数据，除此之外或代替于此将程序和数据写入IC卡。

ROM2230在其中存储由计算机2200在激活时执行的引导程序等以及依赖于计算机2200硬件的程序中的至少一个。I/O芯片2240还可以通过并行端口、串行端口、键盘端口、鼠标端口等将各种I/O单元连接到I/O控制器2220。

该程序由诸如DVD-ROM2201或IC卡等计算机可读介质提供。从计算机可读介质读取程序，安装在作为计算机可读介质的示例的硬盘驱动器2224、RAM2214或ROM2230上，由CPU2212执行。这些程序中描述的信息处理由计算机2200读取，并带来程序与上述各种类型的硬件资源之间的协调。装置或方法可以被配置为通过使用计算机2200来实现信息的操作或处理。

例如，当在计算机2200和外部设备之间执行通信时，CPU2212执行加载在RAM2214中的通信程序，并基于通信程序中描述的处理对通信接口2222执行通信处理。通信接口2222在CPU2212的控制下读取存储在诸如RAM2214、硬盘驱动器2224、DVD-ROM2201或IC卡的存储介质中提供的发送缓冲处理区域中的发送数据，并将读取的发送数据发送给网络，或者将从网络接收到的接收数据写入在存储介质上提供的接收缓冲处理区域等中。

另外，CPU2212允许RAM2214读取存储在诸如硬盘驱动器2224、DVD-ROM驱动器2226(DVD-ROM2201)、IC卡等外部存储介质中的文件或数据库的全部或必要部分，对RAM2214上的数据执行各种类型的处理。接下来，CPU2212将处理后的数据写回到外部存储介质中。

各种类型的信息例如各种类型的程序、数据、表格和数据库，可以存储在记录介质上并接受信息处理。CPU2212可以对从RAM2214读取的数据执行各种类型的处理，包括贯穿本文所记载的由程序指令序列指定的各种类型的操作、信息处理、条件判断、条件分支、无条件分支、信息检索、替换等，并将结果写回到RAM2214。另外，CPU2212可以搜索存储介质内的文件、数据库等中的信息。例如，当每个具有与第二属性的属性值相关联的第一属性的属性值的多个条目被存储在记录介质中时，CPU2212可以从这些多个条目中搜索指定第一属性的属性值的与条件匹配的条目，读取该条目中存储的第二属性的属性值，从而取得与满足预定条件的第一属性相关联的第二属性的属性值。

上述程序或软件模块可以存储在计算机2200上或计算机2200附近的计算机可读介质上。此外，在连接到专用通信网络或互联网的服务器系统中提供的诸如硬盘或RAM的存储介质可以用作计算机可读介质，从而经由网络将程序提供给计算机2200。

以上，使用本发明的实施方式进行了说明，但本发明的技术范围不限于上述实施方式所记载的范围。另外，本领域技术人员应当清楚，在上述实施方式的基础上可进行各种变更或加以改进。此外，由权利要求的记载可知，这种变更或加以改进的实施方式也包含在本发明的技术范围内。

应当注意的是，权利要求书、说明书及附图中所示的装置、系统、程序以及方法中的动作、顺序、步骤及阶段等各个处理的执行顺序，只要没有特别明示“更早”、“早于”等，或者只要前面处理的输出并不用在后面的处理中，则可以以任意顺序实现。关于权利要求书、说明书及附图中的动作流程，为方便起见而使用“首先”、“然后”等进行了说明，但并不意味着必须按照这样的顺序实施。

附图标记说明：

1系统、2设备、3移动设备、4装置、5供应商终端、10保全管理系统、11现场设备、12保全用终端、13运转控制装置、14接口装置、15资源管理装置、17文档数据库、18保全管理装置、20显示部、31摄像部、32显示部、41图像取得部、42提取部、43指定用信息取得部、44存储部、45关联信息取得部、46输出部、100控制用网络、101网络、110涡街流量计、111记录仪、441读取用存储部、442读写用存储部、1800设备底册、2200计算机、2201DVD-ROM、2210主机控制器、2212CPU、2214RAM、2216图形控制器、2218显示设备、2220I/O控制器、2222通信接口、2224硬盘驱动器、2226DVD-ROM驱动器、2230ROM、2240I/O芯片、2242键盘

Claims (13)

1.一种装置，其包括：

处理器，其被构造为：

取得图像；

提取在反映在所述图像中的设备的显示部上表示的显示信息；

通过预先进行使用多个学习用图像的机械学习，对反映在所取得的所述图像中的所述显示部的画面布局进行解析，取得用于指定所述设备的产品的指定用信息，所述多个学习用图像针对所述显示部的每一所述画面布局表示所述设备的多个状态，所述多个学习用图像在改变拍摄条件时被拍摄；以及

输出与所述指定用信息和所述显示信息相关联的关联信息。

2.根据权利要求1所述的装置，其中，所述处理器还被构造为对反映在所述图像中的所述设备的外观进行解析，取得所述指定用信息。

3.根据权利要求1所述的装置，其中，所述处理器还被构造为基于在所述设备的本体或配件中存储的信息取得所述指定用信息。

4.根据权利要求1所述的装置，其中，所述处理器还被构造为拍摄所述图像。

5.根据权利要求1所述的装置，其中，所述处理器还被构造为从具有摄像功能的装置取得所述图像。

6.根据权利要求1所述的装置，其中，所述处理器还被构造为从存储与多个所述指定用信息和多个所述显示信息的多个组合中每一组合相关联的所述关联信息的存储装置中，取得与取得的所述指定用信息和提取的所述显示信息相关联的所述关联信息。

7.根据权利要求6所述的装置，其中，所述处理器还被构造为从反映在所述图像中的所述设备上表示的各显示信息中，提取在所述存储装置中与所述关联信息相关联的所述显示信息。

8.根据权利要求1所述的装置，其中，所述显示信息表示在所述设备上产生的错误的类型，所述关联信息表示所述错误的内容、所述错误的应对方法、及关于所述错误的咨询方式中的至少一个。

9.根据权利要求8所述的装置，其中，所述处理器还被构造为从反映在所述图像中的所述设备上显示的各显示信息中，基于表示发生了错误的文字及记号的至少一个，提取表示所述错误的类型的所述显示信息。

10.根据权利要求1项所述的装置，其中，所述关联信息中包含的信息量大于所述显示信息中包含的信息量。

11.根据权利要求1所述的装置，其中，改变所述拍摄 条件包括对有无配线和/或配管、有无操作手指、有无照明、照明角度、拍摄角度及拍摄距离的至少一个条件的改变。

12.一种方法，其包括：

取得图像；

提取在反映在所述图像中的设备的显示部上表示的显示信息；

通过预先进行使用多个学习用图像的机械学习，对反映在所取得的所述图像中的所述显示部的画面布局进行解析，取得用于指定所述设备的产品的指定用信息，所述多个学习用图像针对所述显示部的每一所述画面布局表示所述设备的多个状态，所述多个学习用图像在改变拍摄条件时被拍摄；以及

输出与所述指定用信息和所述显示信息相关联的关联信息。

13.一种非暂时性计算机可读介质，其存储有在计算机上执行时使所述计算机执行下述操作的程序：

取得图像；

提取在反映在所述图像中的设备的显示部上表示的显示信息；

通过预先进行使用多个学习用图像的机械学习，对反映在所取得的所述图像中的所述显示部的画面布局进行解析，取得用于指定所述设备的产品的指定用信息，所述多个学习用图像针对所述显示部的每一所述画面布局表示所述设备的多个状态，所述多个学习用图像在改变拍摄条件时被拍摄；以及

输出与所述指定用信息和所述显示信息相关联的关联信息。

Images