CN104808902A - 图像数据生成设备、便携式终端设备和便携式控制设备 - Google Patents

Abstract

一个个人电脑(1)包括：一个图像数据设置部(16)用于(i)对表示一个背景图像的背景图像设置通过捕捉一个装置(7)的一个图像获取的装置图像数据并作为被用于识别装置(7)的参考图像数据，及(ii)对装置图像数据设置表示位于装置图像上的一个动态图像的动态图像数据；和一个地址设置部(17)用于(i)用动态图像数据结合(a)一个用于指定一个内存(41、51)的一个存储区域的地址，被一个便携式控制设备访问的控制数据存储在所述存储区域中，和(b)用于置换所述地址的地址置换信息，及(ii)生成地址显示数据，用于显示所述地址置换信息而不是所述地址。

Description

图像数据生成设备、便携式终端设备和便携式控制设备

技术领域

本发明涉及一种用于生成图像数据的图像数据生成设备，所述图像数据用于生成被显示的界面图像，所述界面图像被当作一个设置于便携式终端设备上的装置的界面，也涉及一种用图像数据生成界面图像的便携式终端设备。

背景技术

在工厂等，为了维持设备的平稳运转，需要监控设备的运行条件。例如，一个控制装置与可编程逻辑控制器(PLC)连接，通过显示设备，例如，可编程显示装置，显示写在可编程逻辑控制器的内存中的错误来检查装置的运行条件。

更进一步，一个增强现实(AR)技术应正应用到装置的监测中。例如，专利文献1描述了由于一个AR标记连接于信息处理终端采集传感器节点，基于捕获图像获取的信息生成通知信息，并在通知信息与所捕获的图像信息相结合后显示所述通知信息。通过使用这个技术，只有通过捕获装置的图像以通知信息的形式能够了解一个设备的运行条件。

引用列表

专利文献

【专利文献1】日本专利公开号，特许公开号：2012-156737(公开日期，2012年8月16)。

发明内容

发明所要解决的技术问题

一个自定义图像被要求使用一个程序显示设备等监控和/或操作一个装置。这样的一个图像被一个用户使用自定义图像生成软件创建的。然而，由于所述装置的一个操作，这样的一个图像被图像创造者预先创造，所述图像包括不必要的信息和/或类似信息，因此，对于以维护为目的使用所述图像的现场工人来说，不一定容易使用。

而且，关于便携式终端设备的最近患病率研究，如平板终端，越来越要求使用这种便携式终端设备不仅用于监控一个装置而且用于操作所述装置。然而，为了一个便携式终端设备可以实现一个类似一个可编程显示设备相同的功能，有必要提供具有与所述可编程显示设备显示的图像相似的和适合便携式终端设备的图像的便携式终端设备。在这种实施方式中，所述图像不用于来自被可编程显示设备显示的图像的内容，因此所述图像对一个现场工人来说也不一定是容易使用的。

另一方面，专利文献1中描述的系统使用一个便携式信息处理终端并基于直接捕捉一个装置的一个图像的结果可以获取所述装置的一个条件。然而，认为所述系统，通知信息具有预定内容和预定显示形式。因此，在所述系统中，被使用者选择合适的所需信息并被显示在期望的位置是不可能的。因为这个原因，为了识别故障部件等，为了知道信息和一个实际装置之间的关系，一个使用者有必要求助他/她的记忆和/或阅读参考。

而且，使用AR技术的应用软件开发不仅需求一个使用一个高级计算机语言的编程技术而且需求一种在装置和便携式终端设备之间的相互交换技术。因此，一种应用软件开发人员需要有各种不同的技术。

鉴于上述问题，本发明的一个目的是允许一个不具有编程技术的用户在一个便携式终端设备上使用高级计算机语言自由生成人机界面(HMI)。

解决技术问题的方法

为了解决上述问题，本发明的一个图像数据生成部包括一个图像设置部，用于(i)对表示一个背景图像的背景图像设置表示一个装置图像的装置图像数据，其中所述背景图像作为一个所述装置图像被提供在其上的背景，所述装置图像数据通过捕捉一个装置的一个图像被获取并作为表示一个参考图像被用于识别装置的参考图像数据，及(ii)设置动态图像数据，所述动态图像数据表示所述参考图像数据的一个动态图像和在所述参考图像数据中的所述动态图像的一个指定位置，所述动态图像被设置在所述装置图像上并被显示在一个动态变化状态中；及一个地址设置部，用于(i)用所述动态图像数据结合(a)一个用于指定一个内存的一个存储区域的地址，控制数据存储在所述存储区域，所述控制数据被一个便携式控制设备访问，所述便携式控制设备用于监控和操作所述设备和(b)用于置换所述地址的地址置换信息，及(ii)生成地址显示数据，用于显示所述地址置换信息而不是所述地址。

本发明的有益效果

本发明的上述结构允许一个不具有编程技术的用户使用高级计算机语言在一个便携式终端设备上使用一个AR技术自由生成人机界面(HMI)。

附图说明

图1是一个框图，描述了本发明的一个实施方式和另一实施方式的一个显示数据生成系统和一个控制系统的架构。

图2是一个示意图，描述了在显示数据生成部中提供一种在个人电脑上生成基本图像数据过程中的装置图像的步骤。

图3是一个示意图，描述了为在生成基本图像数据过程中提供装置图像设置对象名称的步骤。

图4是一个示意图，描述了在生成基本图像数据过程中在装置图像上提供一个标记的步骤。

图5是一个示意图，描述了在生成基本图像数据过程中在装置图像上提供一个部分图像的步骤。

图6是一个示意图，描述了使用显示数据生产部和控制系统的一个实施方式。

符号说明：

1   个人电脑(图像数据生成设备)

2   便携式终端设备(便携式控制设备)

7   装置

10A 显示数据生成部

10B 控制系统

11  图像数据生成部

16  图像数据设置部(图像设置部)

17  地址设置部

22  图像捕捉部

27  AR显示数据生成部(显示处理部、部分图像列表显示处理部、部分图像设置部)

28  AR控制部(部分图像显示处理部、数据访问部)

41  内存

51  内存

具体实施方式

[实施例]

下面将根据图1至图6描述本发明的一个具体实施方式。

图1是一个框图，描述了本发明的一个显示数据生成系统10A和一个控制系统10B的架构。

如图1所示，显示数据生成系统10A包括一个个人电脑1(请参靠图中的“PC”)，用于生成基本图像数据以提供给便携式终端设备2；所述便携式终端设备2用于生成基于基本图像数据的增强现实(AR)显示数据和执行AR显示；及一个服务器3，基本图像数据和AR显示数据存储与所述服务器3中。所述基本图像数据是表示一个基本图像数据的数据并包括被便携式终端设备2生成AR显示数据的基本信息，因此被当作生成AR显示数据的基础。所述AR显示数据是一种用便携式终端设备2执行AR显示的数据。后面将详细描述基本图像数据和AR显示数据及他们的生成。

另一方面，控制系统10B包括一个作为控制设备的PLC 4；一个作为PLC4的操作和显示终端的可编程显示装置5；一个无线网络6，PLC4和可编程显示装置5通过所述无线网络6与便携式终端设备2无线连接；及一个被PLC4控制的装置7。控制系统10B进一步包括通过使用来自服务器3的AR显示数据与装置7实现接口的服务器3和便携式终端设备2。可编程显示装置5与PC1和PLC4通信连接。

首先，下面将提供如下描述(i)所述PC1是显示数据生成系统10A的一部分及(ii)便携式终端设备2和服务器3是显示数据生成系统10A和控制系统10B的一部分。如后所述，便携式终端设备2和服务器3被用于生成AR显示数据，因此被包括在显示数据生成系统10A中，同时，便携式终端设备2和服务器3也可用于通过指定使用AR显示数据的地址访问控制数据，因此被包括于控制系统10B中。

个人电脑(下面将简称为“PC”)是一个通用计算机，其包括一个CPU、一个内存、一个存储设备(如HDD和SDD)、一个通信接口等等及一个操作系统(OS)安装于其中。而且，所述PC1(图像数据生成设备)包括一个用于生成基本图像数据的图像数据生成部11、一个存储所述基本图像数据的存储部12、一个用于将基本图像数据从存储部12传送给服务器3的传送部13、一个用于显示的显示器14及一个可以实现输入操作的输入设备15。

所述图像数据生成部11生成基本图像数据。为了生成基本图像数据，所述图像数据生成部11包括一个用于设置表示通过捕获装置7的一个图像和给背景图像数据(后面会提到)的动态图像数据(后面会提到)被获取的一个图像的数据(装置图像数据)的图像数据设置部16及一个用于设置与动态图像数据相关的一个地址的地址设置部17。

图像数据设置部16(图像设置部)对表示成为基础(背景)的背景图像数据(背景图像数据)设置至少一个从预寄存器装置图像数据中选定的装置图像数据块。而且，所述图像数据设置部16对装置图像数据设置至少一个数据块(动态图像数据)，其中所述数据块表示被提供在装置图像上的一个部分的一个图像(动态图像)。动态图像显示具有特定功能并动态地改变其显示状态的一部分(如一个开关、灯或表)。

地址设置部分17为设置给装置图像数据的部分图像数据的每一个块设置(i)在PLC 4的一个内存41(后面会提到)或者可编程显示设备5的一个内存51中的一个地址及(ii)地址置换信息。所述地址置换信息是一种信息，所述信息替代地址被提供给用户以允许用户易识别(懂得)所述地址并给予所述地址。地址置换信息是一种允许用户容易识别所述信息的形式准备的信息，例如对存储在由一个地址和一个目标名称指定的存储区域的控制数据的评论(如箱子温度)。地址设置部17不仅为部分图像数据设置地址和地址置换信息而且为使便携式终端设备2显示地址列表和与所述地址相关的地址置换信息生成地址显示数据。

地址设置部17允许为一个地址设置多个动态图像数据块。因此，后面会提到，当在便携式终端设备2中生成AR显示数据时，为一个选定的地址选择一个动态图像数据块是可能的。

其次，下面将描述便携式终端设备2。

便携式终端设备2是一个终端设备，例如具有基本功能、无线通信功能、图像捕捉功能、显示功能和输入功能的平板电脑。为了实现这些基本功能，便携式终端设备2包括一个通过无线网络与服务器3连接的传送和接收部21、一个用于捕捉一个对象的一个图像的图像捕捉部22、一个用于显示图像的显示面板23和一个用于接收在显示面板23上的触摸输入的触摸面板24。

而且，当捕捉装置7的图像时，便携式终端设备2用表示装置7的AR显示数据访问，装置7的数据存储于PLC4和可编程显示设备5中。便携式终端设备2也为AR显示基于基本图像数据生成AR显示数据。为了执行AR显示和生成AR显示数据，便携式终端设备2包括一个AR处理部25和一个存储部26。

AR处理部25包括一个用于生成AR显示数据的AR显示数据生成部27和一个基于AR显示数据用于执行AR显示的AR控制部28。

AR显示数据生成部27基于(i)存储于服务器3中的基本图像数据和(ii)由于图像捕捉部捕捉装置7的一个图像获取的被捕捉的图像数据生成AR显示数据。

特别地，当AR显示数据生成部27(地址替换信息显示处理部)基于捕捉图像数据识别被捕捉的装置7的一个图像，AR显示数据生成部27根据包括基本图像数据的地址显示数据执行显示流程，所述显示流程用于在被捕捉的装置7的图像(实际图像)上显示地址置换信息列表。因此，AR显示数据生成部27使显示面板23显示实际图像和地址置换信息列表。更进一步，AR显示数据生成部27(部分图像列表显示处理部)使显示面板23显示被一个用户从地址置换信息列表中选定的地址置换信息对应的动态图像列表。而且，AR显示数据生成部27(部分图像列表显示处理部)使从动态图像列表中选出的动态图像被显示在实际图像的一个设定位置。AR显示数据生成部27也与一个具有被与动态图像对应的地址指定一个内存的一个设备通信，因此生成AR显示数据，动态图像数据被设置给AR显示数据。这里设置给这个AR显示数据的动态图像数据是表示与一个地址对应的动态图像数据，其中在上面的描述中，控制数据可以访问所述地址。

当AR控制部28(部分图像显示处理部)基于捕捉图像数据识别被捕捉的装置7的图像，根据动态图像数据被设置给生成的AR显示数据，AR控制部28使动态图像数据被显示在装置7的实际图像的一个设定位置，装置7的实际图像被显示在显示设备23上。而且，当触摸面板24发现一个在被显示动态图像上的触摸，通过指定一个与动态图像对应的地址，AR控制部28(数据访问部)与PLC4和可编程显示设备5通信以访问控制数据。这个控制数据是一个被地址指定的数据并存储于内存41、内存51或类似的存储区域中。

存储部26用于临时存储被AR显示数据生成部27生成的AR显示数据。而且，当AR控制部28进行处理时，存储部26用于存储来是服务器3的显示数据。

其次，下面将描述服务器3。

服务器3是一个服务器计算机，被PC1生成的基本图像数据和被便携式终端设备2生成的AR显示数据存储于服务器3中。服务器3包括一个用于与PC1和便携式终端设备2通信的传送和接收部31，及一个存储部32，基本图像数据和AR显示数据存储于存储部32中。传送和接收部31具有无线通信功能(例如无线LAN通信功能)，以实现与便携式终端设备2无线通信的目的。另外，为了这个目的，传送和接收部31可以与无线通信设备连接(例如无线LAN路由器)或者无线网络6通信连接。

其次，下面将描述PLC4和可编程显示设备5。

根据逻辑程序指定装置7的一个操作，PLC4是一个用于控制装置7的控制设备，装置7是控制对象。而且，PLC4包括内存41，在装置7中的各种设备(输出设备，例如马达，及输入设备，例如传感器)的控制数据存储于内存41中。

可编程显示设备5是一个专门当作PLC4的操作和显示终端的专用计算机，并最好被当作一个人机界面(HMI)设备使用。而且，可编程显示设备5包括内存51，在可编程显示设备5的一个操作生成的控制数据、PLC4获取的控制数据、与可编程显示设备5连接的其它设备获取的控制数据及其它类似数据存储于内存51中。

可编程显示设备5包括一个传送和接收部52，传送和接收部52具有无限通信功能并可以通过无线网络6与便携式终端设备2通信。因PLC4包括传送和接收部42，PLC4可以与可编程显示设备5通信，因此PLC4通过可编程显示设备5与便携式终端设备2交换控制数据。控制系统10B包括PLC8，PLC8包括与无线网络6连接的传送和接收部82。PLC8直接与便携式设备2通信。另外，PLC4和可编程显示设备5通过一个无线通信设备(例如无线LAN路由器)连接，无线通信设备代替无线通信功能。

无线网络6是一个无线通信网络，例如无线LAN。无线网络6包括接入点61和62(在图1中用“AP”表示)。接入点61位于便携式终端设备2的通信区域内，且接入点62位于PLC4和可编程显示设备5的通信区域内。

下面的描述将讨论在上述的显示数据生成系统10A中PLC1生成基本图像数据的一个操作，在显示数据生成系统10A中便携式终端设备2生成AR显示数据的一个操作及控制系统10B的一个操作。

图2是一个示意图，描述了PC1生成基本数据的独特步骤。图6是一个示意图，描述了使用显示数据生成系统10A和控制系统10B的具体实施方式。

首先，下面将描述PC1生成基本图像数据的操作。

如图2所示，在图像数据生成部11中的图像数据设置部16使显示器14显示一个被当作图形用户界面(GUI)的图像生成窗口100。图像生成窗口100有一个用于显示上述背景图像的背景图像显示区域101和一个用于显示装置图像和动态图像的预先注册图标的存储区域102，其中背景图像显示区域为单一颜色区域。

如图2所示，使用输入设备15，一个用户从存储区域102拖动一个图标，并使图标投在背景图像显示区域101的期望位置，其中所述图标表示装置7的部分设备(部分被监控的设备)的一个装置图像对象，。针对这一操作，图像数据设置部16使装置图像对象作为一个在背景图像显示区域101上的对象被显示。

在这种状态下，图像数据设置部16使一个对象信息输入窗口103被显示在装置图像对象上(请参考图3)。对象信息输入窗口103接收一个用户的一个对象名称的输入，所述对象名称具有预定前置代码并对装置图像对象是唯一的。所述前置代码用于识别一个对象的类型。例如，“AR”是被使用在AR显示的一个对象，如所述装置图像对象。图像数据设置部16为装置图像对象设置对象名称，所述对象名称被输入到对象信息输入窗口103。

虽然没有描述，装置图像对象表示被使用的整个装置7，但是被监控和提交给AR显示的一个对象是装置7的一个部分，有必要指定一个所述部分被提到的地方。因此，当具有长方形形状的动态图像从存储区域被拖动并投在背景图像显示区域101以便被提供在所述地方时，图像数据设置部16作为用于执行AR显示的一个部分设置所述地方。

如果有必要，如图4所示，通过一个从存储区域102拖动图标并投在背景图像显示区域101的操作，一个标记图像104是一个被放置在一个用户的期望位置的一个标记图像。针对这个操作，图像数据设置部16设置一部分被标识为一个标记的标记图像104。而且，为了标记图像104，图像数据设置部16使对象信息输入窗口103被显示在装置图像对象上，并为标记图像104设置一个标记ID，所述标记ID被一个用户通过对象信息输入窗口103输入。

其次，如图5所示，通过从存储区域102拖动图标并投在背景图像显示区域101上的一个操作，动态图像105被放置在一个用户的期望位置。针对这个操作，为了装置图像对象，图像数据设置部16设置动态图像数据，其中所述动态图像数据表示动态图像和动态图像的位置。而且，为了动态图像105，图像数据设置部16使一个属性输入窗106被显示在装置图像对象上并为了动态图像105设置各种属性，关于动态图像105的所述各种属性被一个用户通过属性输入窗106输入。

虽然没有描述，为了为动态图像105(动态图像数据)，地址设置部17使一个用于设置地址的地址设置窗口被显示在装置图像对象上，并为了动态图像数据设置一个地址，所述地址被一个用户通过地址设置窗口输入。特别地，为了动态图像数据，地址设置部17设置被一个用户为了动态图像数据和与地址对应的地址置换信息输入的所述地址。仅为动态图像数据设置一个地址不允许想在便携式终端设备2上选择地址的用户容易识别被访问的数据类型。因此，通过为动态图像数据设置地址置换信息和地址，通过地址替换信息使得一个想在便携式终端设备2上选择地址的用户可以容易地识别数据类型。而且，如上所述通过为动态图像数据设置地址和地址置换信息，地址设置部17生成地址显示数据并根据地址显示数据(如图6所示)使地址置换信息以列表107的形式被显示在装置图像对象上。

当装置图像数据和动态图像数据被设置，且如上所述为动态图像数据设置一个地址，图像数据生成部11使包括这些设置的背景图像被当作基本图像数据存储于存储部12。而且，为了响应用户的指令，图像数据生成部11从存储部12读出基本图像数据并使传送部13传送基本图像数据给服务器3。服务器3通过传送和接收部31从PC1接收基本图像数据并使基本图像数据被存储在存储部32中。

其次，下面将描述便携式终端设备2生成AR显示数据(AR显示数据生成模式)的一个操作。

首先，在AR显示数据生成模式中，为了响应工人的指令，便携式终端设备2从服务器3下载基本图像数据到存储部26。在这种状态下，为了捕捉目标部分7A的一个图像，当工人指向便携式终端设备2(图像捕捉部分22的照相机)在装置7的目标部分7a，被便携式终端设备2的图像捕捉部22捕捉的目标部分7a的一个实际图像被显示在显示面板23上(请参考图6)。参考被包括在存储部26的基本图像数据中的装置图像数据(参照图像数据)，AR显示数据生成部27判断当前呗显示的实际图像是否与被装置图像数据表示的装置图像(参考图像)相同。在这个判断中，参考被包括在基本图像数据中的位置数据，AR显示数据生成部27校正被基本图像数据表示的装置图像的尺寸和位置，并检查实际图像和校正的装置图像之间的相似性。因此，即使在实际图像和校正的装置图像之间发生了尺寸和/或位置的差别时，上述的校正可以使装置图像的尺寸和/或位置靠近这些实际图像，因此上述的判断容易实现。

AR显示数据生成部27判断(识别)实际图像与装置图像是否相似，AR显示数据生成部27控制显示面板23以使显示面板23显示(i)作为显示图像200的实际图像，其中所述显示图像200仍然是一个图像及(ii)在显示图像200上的指定位置的列表201(请参考图6)。基于被包括在基本图像数据中的地址显示数据，AR显示数据生成部27使显示面板23显示列表201。列表201的形式与列表107的形式相同，其中地址置换信息作为被选择的项目。

当工人在列表201上触摸一个期望名称，AR显示数据生成部27引用基本图像数据从基本图像数据获取与名称相关的动态图像数据，并使显示面板23显示与动态图像数据(未图示)一致的动态图像列表。当工人从列表中选择一个期望动态图像，AR显示数据生成部27使被选择的动态图像202和203被显示在设置于基板图像数据中的显示图像200的位置，并列表201的显示结束。

通常，AR显示数据生成部27通过无线网络6与所有的(i)包括具有存储区域的内存41的PLC4通信，其中一个存储区域被与动态图像对应的一个地址指定，(ii)包括与内存41相似的内存81的PLC8，及(iii)包括与内存41相似的内存51的可编程显示设备5。另外，AR显示数据生成部27通过无线网络6可以与PLC4和PLC8中的一个及可编程显示设备5通信。而且，当AR显示数据生成部27可以访问具有地址的控制数据，AR显示数据生成部27将动态图像作为一种有效的动态图像，并对表示显示图像200的图像数据设置动态图像数据和动态图像的显示位置。当便携式终端设备2捕捉装置7的目标部分7a的一个图像时(图像中的部分202和203以增强的方式被显示在目标部分7A上)，显示图像200是一个在显示面板200上显示的一个实际图像。AR显示数据生成部27使表示显示图像200的图像数据被当作在存储部26中的AR显示数据被临时存储。然后，AR显示数据生成部27根据需要从存储部26读AR显示数据，并使传送和接收部21传送AR显示数据给服务器3以便AR显示数据被上传到服务器3。因此，AR显示数据被存储在服务器3中以便AR显示数据被其他人使用。

最后，下面将描述控制系统10B的操作。这个操作包括被便携式终端设备2监控和操作装置7的操作(监控和操作模式)。

首先，为了响应工人的指令，便携式终端设备2从服务器3下载AR显示数据到存储部26。在这种状态下，如图6所示，当工人指向便携式终端设备2(图像捕捉部分22的镜头)在装置7的目标部分7a，被便携式终端设备2的图像捕捉部22捕捉的目标部分7a的一个实际图像被显示在显示面板23上。当判断(识别)时，参考在存储部26的基本图像数据，实际图像与被AR显示图像数据表示的显示图像200相同，AR控制部28使目标部分7a的图像被当作显示图像200被显示，其中显示图像200仍然是图像。而且，当动态图像202和203在显示图像200上时，AR控制部28使动态图像202和203被显示在显示图像300上的同一位置。

因在图6中，动态图像202是一个灯，因动态图像202被提供在目标部分7a中，动态图像202可以表示一个设备的操作状态。例如，当设备处于正常状态时，动态图像202亮绿色，当设备处于非正常状态时(报警状态)，动态图像202亮红色。AR控制部28从与装置7相连的PLC4的内存41获取在存储区域中的控制数据(比特数据)，并根据控制数据切换动态图像202的显示状态，其中所述存储区域被与动态图像202对应的一个地址指定。

另一方面，在图6中，因为动态图像203是一个速度计，因动态图像203被提供在目标部分7a中，动态图像203可以表示一个设备的速度(例如旋转速度)。AR控制部28从与装置7相连的PLC4的内存41获取在存储区域中的控制数据(数字数据)，并根据控制数据切换动态图像203的显示状态(仪表显示)，其中所述存储区域被与动态图像203对应的一个地址指定。

如上所述，AR控制部28获取被可编程显示设备5和PLC4管理的控制数据并使动态图像202和203的显示状态反映控制数据，因此可以控制装置7的状态。

虽然没有描述，一个开/关开关在显示图像300上被当作动态图像显示，在与装置7相连的PLC4的内存41中，AR控制部28根据在动态图像上的一个操作重写在存储区域中的控制数据(比特数据)并根据控制数据改变动态图像的一个显示状态(开或关的显示状态)，其中，所述存储区域被与动态图像对应的一个地址指定。因此，通过动态图像改变控制数据，AR控制部28可以以一种命令控制数据变化的方式操作装置7。

而且，虽然没有描述，一个数值调节器被当作在显示图像300上的动态图像显示，在与装置7相连的PLC4的内存41中，AR控制部28重写在存储区域中的控制数据(数字数据)，其中所述存储区域被与动态图像对应的一个地址指定给设置在动态图像上的控制数据。因此，通过使用动态图像改变控制数据，AR控制部28可以以一种命令控制数据变化的方式操作装置7。

而且，与上述标记图像104(请参考图4)对应的一个标记图像被显示在显示图像300上，能识别所述标记图像的AR控制部28使预定附加信息被显示在标记图像的一个位置。附加信息被存储在便携式终端设备2的存储部26。另外，附加信息被存储在一个通过无线网络6与便携式终端设备2无线通信的设备中，例如服务器3。然而，附加信息基本上被存储在服务器3中。

如上所述，根据本发明的具体实施，在显示数据生成系统10A中，PC1包括图像数据生成部11和便携式终端设备2，其中便携式终端设备2包括用于执行AR数据生成模式的操作的AR显示数据生成部27。因此，PC1生成预先基本图像数据，所述基本图像数据包括由AR控制部分28检测的装置图像数据及动态图像和一个地址之间的对应关系，然后，在AR显示生成模式中，便携式终端设备2参考基本图像数据为AR显示生成AR显示数据。所以，为了用被可以访问的地址指定的控制数据生成AR显示数据，工人通过便携式终端设备2仅仅需要选择一个期望动态图像，所述期望动态图像源自预先准备的动态图像。

在本发明实施方式的控制系统10B中，便携式终端设备2包括用于执行AR监控过和操作模式的操作的AR控制部28。因此，在AR监控过和操作模式中，工人通过使用生成的AR生成数据与PLC1和/或可编程显示设备5通信，因此工人通过便携式终端设备2可以访问在被内存41或内存51中的一个地址指定的存储区域中的数据。因此，工人在查看装置7的同时可以操作便携式终端设备2，对工人来说，就好像数据直接从装置7传送给便携式终端设备2。这允许工人做更人性化的操作。

基本图像数据和AR显示数据被存储在服务器3中。因此，即使基本图像数据和AR显示数据的创造者与AR显示数据的用户是不同的，在服务器3中基本图像数据和AR显示数据可以被当作普通的资源。

在AR监控和操作模式中，因便携式终端设备2引用装置7的一个实际图像(如目标部分7a)，仅仅通过指向在装置7的便携式终端设备2就可以识别装置7的故障部分。当部分用重点表示而不是部分的名称表示时，故障部分将更容易被发现。

例如，当在被某个地址指定的存储区域中的比特数据处于开的状态，一个与地址相关的特定部分被红色屏幕或条纹表示。为了这个目的，这些显示形式被当作动态图像准备。而且，作为一个断线，基于上述线材的动态图像，通过用红色表示线的断开部分，断开位置容易被检查。相反，在先前技术中，一根线用数字和/或名字表示。然后，当线断开时，数字和/或被显示以通知需要基于数字和/名字找出断开线的位置的工人、管理者等。

如上所述，参考装置7的实际图像，便携式终端设备2访问被某一地址指定的控制数据，因此，当发生故障时，控制系统10B适用按需使用。

在先前技术中，AR应用仅仅可以被为分析图像信息可以充分使用发动机、可以配置数据以被叠加在捕捉图像上、可以为AR显示生成条件信息的高级工程师接受。相反，在本发明的显示数据生成系统10A和控制系统10B中，因使用被上述的PC1生成的地址显示数据，基于先进的计算机语言，没有编程技术的用户可以生成AR显示数据，并且根据被显示的图像，通过使用AR显示数据用户可以执行监控和操作。因此，便携式终端设备2与存储数据的PLC4和可编程显示设备5通信，通过一个地址关联存储在PLC4和可编程显示设备5中的控制数据和动态图像允许在被捕捉图像上当作增强信息显示动态图像，其中数据存储于可编程显示设备5中。

[软件实施例]

PC1的图像数据生成部11和便携式终端设备2的AR处理部25被CPU执行的软件实现。另外，图像数据生成部11和AR处理部25被在集成电路(IC芯片)中或类似的逻辑电路(硬件)实现。

在前一种情况下，PC1和便携式终端设备2中的每一个包括：一个执行程序指令的CPU，所述程序是一个实现上述功能的软件；一个存储程序和各种数据的只读存储器(ROM)或者存储设备(每一个被称为存储介质)，所述程序和各种数据可以被计算机(或CPU)读取；及一个以执行的方式负载程序的随机存取存储器(RAM)。本发明的目的可以被一个读取和执行存储在RAM中的程序的计算机实现。所述存储介质可以是一个非暂时的有形介质。另外，所述程序通过任何可以传送程序的传送介质(例如通信网络)被提供给PC1和便携式终端设备2。值得注意的是，本发明可以被程序实现，所述程序以计算机数据信的形式嵌入在载波中，所述载波是电子传输的一种。

特别地，因实现AR处理部25的程序安装在便携式终端设备2上，如平板电脑，优选的是，所述程序可以从一般的提供应用程序的网站获取。而且，基本图像数据包括地址显示数据，实现AR处理部25的所述程序等被存储在任意一个具有传送和接收功能的设备中，例如与无线网络6连接的PC1、服务器3及可编程显示设备5。这是因为基本图像数据、所述程序等每一个可以根据需要动态安装在便携式终端设备2。另一方面，包括地址显示数据和为实现AR处理部25的所述程序等的

基本图像数据已经被传送给便携式终端设备2和安装在便携式终端设备2中，如上所述。

[其它实施方式]

下面将根据图1描述本发明的另一个实施方式。

如图1所示，本发明的PC1(图像数据生成设备)包括：

一个图像数据设置部16(图像设置部)，用于(i)对表示背景图像的背景图像数据设置表示装置图像的装置图像数据，通过捕捉装置7的一个图像和作为表示用于识别装置7的参考图像的参考图像数据，装置图像数据被获取，其中所述背景图像作为一种装置图像被提供在其上的背景，及(ii)对参考图像数据和在参考图像数据中的动态图像数据的一个指定位置设置表示动态图像的动态图像数据，动态图像被设置在装置图像上并以一种动态变化的状态被显示；及

一个地址设置部17，用于(i)用动态图像数据关联(a)一个用于指定内存41、51或者81的存储区域的地址，其中控制数据存储于存储区域中，控制数据通过用于监控和操作装置7的便携式控制设备(便携式终端设备2)被访问和(b)用于置换地址的地址置换信息，及(ii)生成地址显示数据，其中地址显示数据被用于显示地址置换信息而不是地址。

如上所述的PC1，当使用AR技术判断被图像数据设置部16设置的装置图像(参考图像)与装置7的实际图像是否相同时，上述的参考图像被用于这样的判断，其中装置7的图像被便携式控制设备捕捉。而且，图像设置部对参考图像数据的指定位置设置动态图像数据。而且，地址设置部17设置存储区域的地址和地址置换信息，其中为动态图像数据被参考和重写的控制数据存储于存储区域。而且，地址设置部17生成地址显示数据。如上所述，通过结合装置图像数据(参考图像数据)、动态图像数据和地址(地址置换信息)，图像数据生成设备可以作为一个用于生成界面图像的工具，其中界面图像可以执行监控和操作并显示与在装置图像上的地址相关联的动态图像。

而且，因本发明的便携式终端设备2具有如下特征，便携式终端设备2可以生成显示数据。

本发明的便携式终端设备2是一种用于生成显示数据的便携式终端设备2，其中所述显示数据被便携式控制设备用于访问控制数据，显示数据被用PC1设置的参考图像数据、动态图像数据和地址生成，包括用于捕捉装置7的一个图像的图像捕捉部22；基于地址显示数据，为显示地址置换信息用于执行显示流程的地址置换信息显示处理部(AR显示数据生成部27)，其中被图像捕捉部22捕捉的装置7的实际图像如同参考图像被识别；为显示与地址相关联的动态图像列表，用于执行显示流程的部分图像列表显示处理部(AR显示数据生成部27)，同时通过制定被显示在显示流程中的地址置换信息，当与地址置换信息对应的地址被选出时，其中显示流程被地址置换信息显示处理部执行；和部分图像设置部(AR显示生成部27)用于对显示数据设置动态图像数据，其中控制数据被与动态图像数据相关联的指定地址获取，所述动态图像数据表示从列表中选出的动态图像数据。

如前所述，地址显示数据被PC1生成，因此显示地址置换信息在装置图像上的一个指定位置被显示。地址显示数据是一种用于显示地址置换信息而不是地址的数据。地址置换信息是一种信息，例如，上述增加的以允许操作者容易理解的多个或单个控制数据块。

而且，便携式终端设备2包括地址置换信息显示处理部、部分图像列表显示处理部和部分图像设置部。用于实现这些部中的每一个和地址显示数据的程序根据需要可以被动态地安装在便携式终端设备2中。因此，程序被存储在与单一网络连接和具有传送/接收功能的PC1、服务器3、可编程显示设备5等的任意一个中。程序被实际存储在这些设备的其中一个中。当然，用于实现上述部的每一个和地址显示数据的程序可以传递给便携式终端设备2并存储在便携式终端设备2中，如上所述。

包括上述的部便携式终端设备2在显示数据生成模式中操作。

在显示数据生成模式中，便携式终端设备2捕捉装置图像，然后地址置换信息显示处理部确认被便携式终端设备2的图像捕捉部22捕捉的装置7的实际图像与装置图像(参考图像)相同，根据地址显示数据地址置换信息被显示在装置7的实际图像上的一个指定位置，因此操作者可以选择地址。因此，当操作者识别被显示的一个地址置换信息块，且与被选择的地址置换信息块对应的一个地址被选择，部分图像列表显示处理部使与地址对应的动态部分图像的列表被显示。当一个动态图像从动态图像被显示的列表中被选择，部分图像设置部指定与被选择的动态图像对应的地址，因此控制数据可以被获取。然后，对显示数据进行动态图像设置。因此，使用被动态显示的动态图像，便携式终端设备2可以完成被用于访问控制数据的显示数据。如上所述，根据上述的地址显示数据，便携式终端设备2产生一个仅仅使地址置换信息被显示的显示数据生成功能，从而显示数据被生成，其中显示数据生成功能允许用户基于地址置换信息选择动态图像。因此，便携式终端设备2的用户不需要在PC1中设置装置图像数据、动态图像数据和地址也容易生成显示数据。

另一方面，因本发明的便携式控制设备具有如下特征，便携式控制设备具有监控和操作功能。

本发明的便携式控制设备是一种使用被便携式终端设备2生成的显示数据访问控制数据的便携式控制设备，其包括：用于捕捉装置7的图像的图像捕捉部22；基于对显示数据进行动态图像数据设置，为在实际图像上显示动态图像的用于执行显示流程的部分图像显示处理部(AR控制部28)，其中被图像捕捉部22捕捉的装置7的实际图像被认为与参考图像相同；且通过识别与动态图像数据相关联的地址，数据访问部(AR控制部28)用于访问与动态图像对应的控制数据，其中动态图像被显示在被部分图像显示处理部执行的显示流程中。

包括上述部的便携式控制设备以监控和操作模式操作。

在监控和操作模式中，当部分图像显示处理部认为装置的实际图像和装置图像(参考图像)相同时，根据生成的显示数据(与动图图像数据的地址相关)动态图像被显示在实际图像上。而且，通过识别与动态图像数据相关联的地址，数据访问部访问与被显示的动态图像对应的控制数据。因此，通过使用显示数据，用于操作的界面图像可以被显示。

用在显示数据生成模式中的便携式终端设备2和用在监控和操作模式中的便携式控制设备是单一的便携式终端设备或不同的便携式终端设备本发明不局限于上述实施方式的描述，本领域技术的变更都在本发明保护的范围内。不同的实施方式揭示的技术方案的适当组合在本发明的技术范围内。而且，新的技术特征可以通过结合本发明的具体实施方式揭示的技术手段而得到。

工业适用性

本发明可以适用于使用便携式终端设备生成为了监控的图像，并适用于使用图像监控装置。

Claims (3)

1.一种图像数据生成设备，其特征在于，包括：

一个图像设置部，用于(i)对表示一个背景图像的背景图像设置表示一个装置图像的装置图像数据，其中所述背景图像作为一个所述装置图像被提供在其上的背景，所述装置图像数据通过捕捉一个装置的一个图像被获取并作为表示一个参考图像被用于识别所述装置的参考图像数据，及(ii)设置动态图像数据，其中所述动态图像数据表示所述参考图像数据的一个动态图像和在所述参考图像数据中所述动态图像的一个指定位置，所述动态图像被设置在所述装置图像上并被显示在一个动态变化状态中；及

一个地址设置部，用于(i)用所述动态图像数据结合(a)一个用于指定一个内存的一个存储区域的地址，其中控制数据存储在所述存储区域中，所述控制数据被一个便携式控制设备访问，所述便携式控制设备用于监控和操作所述设备和(b)用于置换所述地址的地址置换信息，及(ii)生成地址显示数据，用于显示所述地址置换信息而不是所述地址。

2.一种便携式终端设备，用于生成显示数据，其中所述便携式控制设备使用所述显示数据访问所述控制数据，使用已经被权利要求1所述的图像数据生成设备设置的所述参考图像数据、所述动态图像数据和所述地址生成所述显示数据，其特征在于，所述便携式终端设备包括：

一个图像捕捉部，用于捕捉所述装置的一个图像；

一个地址置换信息显示处理部，用于执行一个显示流程，其中所述显示流程用于基于所述地址显示数据显示所述地址置换信息，被所述图像捕捉部捕捉的所述装置的一个实际图像和所述参考图像是相同的；

一个部分图像列表显示处理部，用于执行一个显示流程，其中所述显示流程为了显示与所述地址相关联的所述动态图像的一个列表，当与所述地址置换信息对应的所述地址通过制定被显示在所述显示流程中的所述地址置换信息被选择时，其中所述显示流程被所述地址置换信息显示处理部执行；及

一个部分图像设置部，用于对所述显示数据设置所述动态图像数据，其中，通过指定与所述动态图像数据相关联的所述地址，所述控制数据被获取，所述动态图像数据表示从所述列表中被选择的所述动态图像。

3.一种便携式控制设备，用于使用所述显示数据访问所述控制数据，所述显示数据被权利要求2所述的便携式终端设备生成，其特征在于，所述便携式控制设备包括：

一个图像捕捉部，用于捕捉所述装置的一个图像；

一个部分图像显示处理部，用于执行一个显示流程，其中，基于对所述显示数据进行设置的所述动态图像数据，所述显示流程用于在所述实际图像上显示所述动态图像，被所述图像捕捉部捕捉的所述装置的一个实际图像和所述参考图像是相同的；及

一个数据访问部，用于通过指定与所述动态图像数据相关联的所述地址访问与所述动态图像对应的所述控制数据，所述动态图像被显示在被所述部分图像显示处理部执行的所述显示流程中。