CN102483863A - 信息处理系统、信息处理方法和程序 - Google Patents

信息处理系统、信息处理方法和程序 Download PDF

Info

Publication number
CN102483863A
CN102483863A CN2011800037960A CN201180003796A CN102483863A CN 102483863 A CN102483863 A CN 102483863A CN 2011800037960 A CN2011800037960 A CN 2011800037960A CN 201180003796 A CN201180003796 A CN 201180003796A CN 102483863 A CN102483863 A CN 102483863A
Authority
CN
China
Prior art keywords
mentioned
fault restoration
information
augmented reality
relevant information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011800037960A
Other languages
English (en)
Other versions
CN102483863B (zh
Inventor
庵原升
笹尾和宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NS Solutions Corp
Original Assignee
NS Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NS Solutions Corp filed Critical NS Solutions Corp
Publication of CN102483863A publication Critical patent/CN102483863A/zh
Application granted granted Critical
Publication of CN102483863B publication Critical patent/CN102483863B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0706—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment
    • G06F11/0727—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment in a storage system, e.g. in a DASD or network based storage system
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/079—Root cause analysis, i.e. error or fault diagnosis
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Human Computer Interaction (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Debugging And Monitoring (AREA)

Abstract

故障分析装置(120)取得数据中心的运转状况相关的信息，根据运转状况相关的信息，判断与针对数据中心的故障修复操作有关的信息，向HMD(101、104)发送与故障修复操作有关的信息。HMD(101、104)根据与故障修复操作有关的信息，将对故障修复操作的方法进行指导的计算机图形图像数据与现实空间的影像进行合成来提示。故障分析装置(120)，在根据由HMD(101、104)提示的指导而进行了故障修复操作后，新取得了数据中心的运转状况相关的信息的情况下，根据该运转状况相关的信息，重新判断与针对数据中心的故障修复操作有关的信息，并向HMD(101、104)发送。

Description

信息处理系统、信息处理方法和程序
技术领域
本发明涉及一种能够对现实空间的影像和计算机图形图像数据进行合成并重叠显示的技术。
背景技术
在发生了设备等的故障的情况下，由操作员进行故障位置的确定和故障修复操作。例如如专利文献1所揭示的那样，已知以下的技术，即针对复印机的卡纸，利用增强现实(Augmented Reality，以下称为AR)简化去除操作。具体地说，在预定时间内通过预定的传感器没有检测到用纸时，则看作是发生了卡纸，重叠地显示预先与卡纸发生位置对应地准备的复印机的内部影像和操作步骤。由此，能够容易地识别复印机的卡纸发生位置，能够简单地指导去除操作。另外，AR是指以下这样的技术，即将文字、图形、静止图像、动画等由计算机管理的数据(以下称为计算机图形图像数据)与现实的环境重叠地进行显示，并提供补充信息。
现有技术文献
专利文献
专利文献1：日本特开2008-201101号公报
发明内容
发明要解决的课题
但是，专利文献1所揭示的技术是预先设想了要发生的故障，并预先定义了针对所设想的故障的对策的情况。例如，有时多个故障原因组合起来而发生新的故障。在该情况下，在专利文献1所揭示的技术中，无法进行最适合的故障修复操作的指导。
因此，本发明的目的在于，即使在发生了没有预料到的故障的情况下，也指导最适合的故障修复操作来进行操作支持。
用于解决课题的手段
本发明的信息处理系统的第一方式，具备：增强现实感提示装置，能够对现实空间的影像和计算机图形图像数据进行合成来显示；故障分析装置，能够对在计算机系统中发生的故障进行分析，该信息处理系统的特征在于，上述故障分析装置具备：取得单元，其取得上述计算机系统的运转状况相关的信息；判断单元，其根据由上述取得单元取得的上述运转状况相关的信息，判断与针对上述计算机系统的故障修复操作有关的信息；以及发送单元，其向上述增强现实感提示装置发送由上述判断单元判断出的与上述故障修复操作有关的信息，上述增强现实感提示装置具备：提示单元，其根据与上述故障修复操作有关的信息，将指导上述故障修复操作的方法的计算机图形图像数据与现实空间的影像合成并提示，上述故障分析装置，在根据由上述增强现实感提示装置提示的指导而进行了故障修复操作后，由上述取得单元新取得了上述计算机系统的运转状况相关的信息的情况下，由上述判断单元根据该运转状况相关的信息，重新判断与针对上述计算机系统的故障修复操作有关的信息，并由上述发送单元向上述增强现实提示装置发送重新判断出的与故障修复操作有关的信息。
本发明的信息处理方法，是通过增强现实感提示装置和故障分析装置执行的信息处理方法，该增强现实感提示装置能够对现实空间的影像和计算机图形图像数据进行合成来显示，该故障分析装置能够对在计算机系统中发生的故障进行分析，该信息处理方法的特征在于，包括由上述故障分析装置执行的以下步骤：取得步骤，取得上述计算机系统的运转状况相关的信息；判断步骤，根据通过上述取得步骤取得的上述运转状况相关的信息，判断与针对上述计算机系统的故障修复操作有关的信息；以及发送步骤，向上述增强现实感提示装置发送通过上述判断步骤判断出的与上述故障修复操作有关的信息，并且包括由上述增强现实感提示装置执行的以下步骤：提示步骤，根据与上述故障修复操作有关的信息，将指导上述故障修复操作的方法的计算机图形图像数据与现实空间的影像合成来提示，上述故障分析装置，在根据由上述增强现实感提示装置提示的指导而进行了故障修复操作后，新取得了上述计算机系统的运转状况相关的信息的情况下，根据该运转状况相关的信息，重新判断与针对上述计算机系统的故障修复操作有关的信息，并向上述增强现实提示装置发送重新判断出的与故障修复操作有关的信息。
本发明的程序，是用于使计算机执行信息处理系统中的信息处理方法的程序，该信息处理系统具备增强现实感提示装置和故障分析装置，该增强现实感提示装置能够对现实空间的影像和计算机图形图像数据进行合成来显示，该故障分析装置能够对在计算机系统中发生的故障进行分析，该程序的特征在于，使计算机执行以下步骤：取得步骤，上述故障分析装置取得上述计算机系统的运转状况相关的信息；判断步骤，上述故障分析装置根据通过上述取得步骤取得的上述运转状况相关的信息，判断与针对上述计算机系统的故障修复操作有关的信息；发送步骤，上述故障分析装置向上述增强现实感提示装置发送通过上述判断步骤判断出的与上述故障修复操作有关的信息；提示步骤，上述增强现实感提示装置根据与上述故障修复操作有关的信息，将指导上述故障修复操作的方法的计算机图形图像数据与现实空间的影像合成来提示；以及上述故障分析装置，在根据由上述增强现实感提示装置提示的指导而进行了故障修复操作后，通过上述取得步骤新取得了上述计算机系统的运转状况相关的信息的情况下，通过上述判断步骤，根据该运转状况相关的信息，重新判断与针对上述计算机系统的故障修复操作有关的信息，通过上述发送步骤向上述增强现实提示装置发送重新判断出的与故障修复操作有关的信息的步骤。
本发明的信息处理系统的第二方式，具备：增强现实感提示装置，能够对现实空间的影像和计算机图形图像数据进行合成来显示；故障分析装置，能够对在修理对象物中发生的故障进行分析，该信息处理系统的特征在于，上述故障分析装置具备：取得单元，其取得上述修理对象物的运转状况相关的信息；判断单元，其根据由上述取得单元取得的上述运转状况相关的信息，判断与针对上述修理对象物的故障修复操作有关的信息；发送单元，其向上述增强现实感提示装置发送表示由上述判断单元判断出的与上述故障修复操作有关的信息的信息，上述增强现实感提示装置具备：提示单元，其根据与上述故障修复操作有关的信息，将指导上述故障修复操作的方法的计算机图形图像数据与现实空间的影像合成来提示，上述故障分析装置，在根据由上述增强现实感提示装置提示的指导而进行了故障修复操作后，由上述取得单元新取得了上述修理对象物的运转状况相关的信息的情况下，由上述判断单元根据该运转状况相关的信息，重新判断与针对上述修理对象物的故障修复操作有关的信息，由上述发送单元向上述增强现实提示装置发送重新判断出的与故障修复操作有关的信息。
发明效果
根据本发明，即使在发生了没有预料到的故障的情况下，也能够指导最适合的故障修复操作来进行操作支持。
附图说明
图1是概要地表示本发明的实施方式的故障分析系统的结构的图。
图2A是表示故障分析装置的硬件结构的图。
图2B是表示HMD和小型摄像机的硬件结构的图。
图3是表示故障分析装置的处理的流程的流程图。
图4A是表示HMD的处理的流程图。
图4B是表示HMD的处理的流程图。
图4C是表示HMD的处理的流程图。
图5是表示在HMD中，将对从当前位置到作为故障修复操作的对象物体的代理服务器c为止的路径进行指导的计算机图形图像数据与现实空间的影像进行了合成显示的状态的例子的图。
图6是表示在HMD中，将对故障修复操作的方法进行指导的计算机图形图像数据与现实空间的影像进行了合成显示的状态的例子的图。
图7是表示在HMD中，将表示故障修复的完成通知的计算机图形图像数据与现实空间的影像进行了合成显示的状态的例子的图。
图8是表示规则数据的一个例子的图。
图9是表示熟练度判断表的一个例子的图。
图10是表示操作内容说明表的一个例子的图。
图11是表示操作员表的一个例子的图。
图12是表示操作内容履历表的一个例子的图。
图13是表示要求能力表的一个例子的图。
图14是表示信息处理系统的结构的一个例子的图。
图15是表示位置管理服务器和HMD的功能结构的图。
图16是表示信息处理系统的处理的流程图。
图17是用于说明从RFID读取器发出的信号的图。
图18是表示通过AR将铺设在活动地板中的网络电缆显示在地面上的例子的图。
图19是用于说明确定铺设在活动地板中的网络电缆的位置的结构的一个例子的图。
图20是用于说明确定铺设在活动地板中的网络电缆的位置的结构的一个例子的图。
具体实施方式
下面，参照附图，详细说明适用了本发明的适合的实施方式。
图1是概要地表示本发明的实施方式的故障分析系统的结构的图。
如图1所示，本实施方式的故障分析系统具备故障分析装置120，其取得设置在数据中心的各种服务器、路由器111～118等的运转状况相关的信息，判断故障修复操作的方法。另外，例如在出现了无法使用因特网等来自用户的抱怨等情况下，执行故障修复操作的方法的判断。故障分析装置120如果判断出故障修复操作的方法，则经由无线通信线路向佩戴在操作员y、x的头部上的眼镜型的HMD(Head Mounted Display：头戴式显示器)101、104发送到故障修复操作的场所为止的指导信息、故障修复操作的方法的指导信息。HMD101、104将把操作员y、x指导到故障修复操作的场所的计算机图形图像数据、对故障修复操作的方法进行指导的计算机图形图像数据与现实空间的影像进行合成来显示。即，HMD101、104在与光学地透射而映出在HMD101、104的镜片部分上的现实空间的影像相匹配的位置，显示计算机图形图像数据，由此来演出增强了的现实感。在以下的说明中，有时将这样产生增强了的现实感的计算机图形图像数据的合成显示称为AR(Augmented Reality)显示。另外，在HMD中，有非透射型、视频透射型、光学透射型等各种方式。合成显示(AR显示)是指对于通过任意方式映出在HMD的镜片部分上的现实空间的影像，在相匹配的位置处重叠显示计算机图形图像数据，例如如果是光学透射型方式，则对于透明地看到的现实空间的影像重叠显示，如果是视频透射型，则对于用摄像机拍摄的现实空间的影像重叠显示。
另外，在本实施方式中，作为进行AR显示的设备的AR显示设备的例子而列举眼镜型的HMD，但并不限于此。例如也可以是将由摄像机拍摄的现实空间的影像显示在液晶显示器等上，并在所显示的现实空间的影像上合成显示计算机图形图像数据那样的便携终端型的AR显示设备，还可以是设置在移动车辆的驾驶席的视线方向上，在光学地透射而映出的现实空间的影像上合成显示计算机图形图像数据那样的平视显示器型的AR显示设备。另外，在与现实空间的影像匹配地显示计算机图形图像数据时，进行现实空间的影像中的目标与计算机图形图像数据的坐标匹配。作为坐标匹配的方法，可以根据HMD的位置(纬度、经度)和姿势(方向、仰角)来推测佩戴HMD的操作者正在看着现实空间的哪里，并以与推测出的位置匹配的方式对计算机图形图像数据进行合成，也可以对现实空间的目标附加标记，用摄像机拍摄该标记，根据所拍摄的图像数据来检测该标记的位置，以与检测出的位置匹配的方式对计算机图形图像数据进行合成。进而，还可以通过对用摄像机获得的现实空间的图像数据进行分析，来检测出现实空间的目标的位置，以与检测出的位置匹配的方式对计算机图形图像数据进行合成。
另外，在HMD101、104中以能够按照与操作员x、y的视野接近的视角拍摄图像数据的方式安装有小型摄像机102、105。通过无线通信线路将拍摄的图像数据发送到故障分析装置120。故障分析装置120在将接收到的图像数据暂时存储在存储装置122中后，对图像数据进行分析，检测出图像数据所反映的服务器或路由器111～118的存在，或者判断服务器或路由器111～118的运转状态。例如，故障分析装置120预先登记服务器或路由器111～118的图像数据，将所拍摄的图像数据与服务器或路由器111～118的图像数据进行比对，由此检测服务器或路由器111～118的存在。作为运转状态的判断方法，例如故障分析装置120对服务器或路由器111～118的电源灯部分的图像数据进行分析，如果能够检测到电源灯点亮，则判断为服务器的电源为接通(ON)，如果无法检测到电源灯点亮，则判断为服务器的电源为切断(OFF)。
另外，故障分析装置120通过监视部121从设置在数据中心的服务器或路由器111～118取得日志数据。作为在此取得的日志数据，可以列举CPU使用率、存储器使用率、电源电压、温度、通信速度、访问数等。由监视部121取得的日志数据被保存在存储装置122中。另外，在存储装置122中储存有表示过去发生故障时的应对方法的过去故障应对数据、表示预先决定的发生故障时的应对规则的规则数据。如果例如接收到无法使用因特网等的抱怨，则指示内容生成部123通过对最新的日志数据和图像数据进行分析，来识别相应的服务器或路由器的运转状况，并且从存储装置122中取得与所发生的故障相关联的规则数据和过去故障应对数据，判断故障修复操作的方法。
如果判断出故障修复操作的方法，则故障分析装置120取得包含HMD101、104(佩戴了HMD101、104的操作员y、x)的当前位置和故障修复操作的场所的位置的地图数据，生成用于指导从当前位置到故障修复操作的场所的路径的指导信息。生成的指导信息被发送到HMD101、104，HMD101、104将指导从当前位置到故障修复操作的场所的路径的计算机图形图像数据与现实空间的影像合成来进行AR显示。另外，在故障分析装置120取得HMD101、104的当前位置时，也可以使用GPS(全球定位系统)。
如果操作员y、x依照指导到达故障修复操作的场所，则指示内容生成部123将故障修复操作的方法发送到HMD101、104。HMD101、104将对故障修复操作的方法进行指导的计算机图形图像数据与现实空间的影像合成来进行AR显示。由此，操作员y、x能够依照指导来进行故障修复操作。另外，能够通过由小型摄像机102、105对故障修复操作的对象的服务器或路由器111～118的图像数据进行拍摄，由指示内容生成部123对该图像数据进行分析，来检测出操作员到达故障修复操作的场所。另外，故障分析装置120还经由因特网与处于远离数据中心的地点的操作员y、x的上司z的PC130连接。故障分析装置120如果通过监视部121接收到从上司z的PC130发送的电子邮件，则对电子邮件的内容进行分析，结合所分析出的内容来判断故障修复操作的方法。
图2A是表示本实施方式的故障分析装置120的硬件结构的图。CPU201统一地控制与系统总线连接的各设备、控制器。在ROM203或HD(硬盘)207中，存储有作为CPU201的控制程序的BIOS(基本输入/输出系统)、操作系统程序、由故障分析装置120执行的例如图3所示的处理的程序等。
另外，在图2A的例子中，构成为HD207被配置在故障分析装置120的内部，但作为其他实施方式，也可以构成为在故障分析装置120的外部配置与HD207相当的结构。另外，本实施方式相关的例如用于进行图3所示的处理的程序可以构成为被记录在软盘(FD)、CD-ROM等计算机可读取的记录介质中，从这些记录介质进行供给，也可以构成为经由因特网等通信介质来供给。
RAM202作为CPU201的主存储器、工作区等发挥功能。CPU201通过在执行处理时将必要的程序等载入RAM202中并执行程序，来实现各种动作。
HD207、FD206作为外部存储器发挥功能。CPU201通过在执行处理时将必要的程序等载入RAM202中并执行程序，来实现各种功能。
盘控制器205控制对HD207、FD206等外部存储器的存取。通信I/F控制器204与因特网或LAN连接，例如通过TCP/IP来控制与外部的通信。
显示器控制器208控制显示器209中的图像显示。
KB控制器210接受来自KB(键盘)211的操作输入，并发送到CPU201。另外，虽然未图示，但除了KB211以外，还可以将鼠标等指点设备作为用户的操作单元而适用于本实施方式的故障分析装置120。
图1所示的指示内容生成部123例如是通过存储在HD207内并根据需要载入RAM202中的程序和执行它的CPU201来实现的结构。另外，监视部121是相当于通信I/F控制器204的结构，存储装置122是相当于HD207的结构。
图2B是表示本实施方式的HMD101、104和小型摄像机102、105的硬件结构的图。CPU301统一地控制与系统总线连接的各设备、控制器。在ROM302中存储有由HMD101、104执行的例如图4A～图4C所示的处理的程序等。另外，也可以构成为经由因特网等通信介质来供给用于进行图4A～图4C所示的处理的程序。
RAM304作为CPU301的主存储器、工作存储器等发挥功能。CPU301通过在执行处理时将必要的程序等载入RAM304中并执行程序来实现各种动作。通信I/F控制器303与因特网或LAN连接，例如通过TCP/IP控制与外部的通信。
摄像部305将经由光学透镜入射并成像在摄像元件上的被拍摄体变换为电信号，输出动画图像数据或静止图像数据。显示器控制器306控制显示器307中的图像显示。在本实施方式中，采用了光学透射型的头戴式显示器，显示器307由半反射镜构成，佩戴的用户能够经由显示器307看到外面的情况。另外，摄像部305是相当于图1的小型摄像机102、105的结构。
图3是表示本实施方式的故障分析装置120的处理的流程的流程图。图3所示的处理是以下这样的处理：例如在产生了无法使用因特网等来自用户的抱怨的情况下，管理者通过向故障分析装置120输入该抱怨的内容来使其开始。
在步骤S301中，指示内容生成部123从存储装置122取得最新的日志数据和图像数据、以及必要的规则数据和过去故障应对数据。通过监视部121取得存储在存储装置122中的日志数据、图像数据。监视部121可以按照在各服务器或路由器111～118中更新日志数据的定时取得日志数据，也可以按照定期的定时取得日志数据。另外，监视部121按照小型摄像机102、105拍摄图像数据的定时取得图像数据。
在步骤S302中，指示内容生成部123根据从存储装置122取得的日志数据、图像数据、规则数据以及过去故障应对数据，例如利用现有的决定树的算法来判断故障修复操作的方法。在此，作为故障修复操作的方法，判断“谁(操作员目标)对哪个装置(对象目标)进行了何种操作(操作目标)”。作为具体例子，假设判断出操作员x(操作员目标)对Web服务器a117(对象目标)进行重启动(操作目标)、操作员y(操作员目标)对Web服务器b112(对象目标)进行重启动(操作目标)。
在步骤S303中，指示内容生成部123判断故障修复操作是否完成。在故障修复操作完成了的情况下，处理转移到步骤S307。另一方面，在故障修复操作没有完成的情况下，处理转移到步骤S304。在此，由于在之前的步骤S302中判断出故障修复操作的方法，因此判断为故障修复操作没有完成。因此，处理转移到步骤S304。
在步骤S304中，指示内容生成部123取得包含HMD101、104的当前位置和对象目标的位置的地图数据，生成用于对从HMD101、104的当前值到对象目标的路径进行指导的指导信息，并向HMD101、104发送。即，指示内容生成部123向HMD101发送用于对从佩戴了HMD101的操作员y的当前位置到Web服务器b112为止的路径进行指导的指导信息，向HMD104发送用于对从佩戴了HMD104的操作员x的当前位置到Web服务器a117为止的路径进行指导的指导信息。
在步骤S305中，指示内容生成部123通过对在步骤S301中从存储装置122取得的图像数据进行分析，来判断佩戴了HMD101、104的操作员y、x是否分别到达了对象目标。即，在此，指示内容生成部123在对由小型摄像机102、105所拍摄的图像数据进行分析的结果是该图像数据中的Web服务器b112或Web服务器a117的图像数据占一定比例以上的区域的情况下，判断为到达了对象目标。在到达了对象目标的情况下，处理转移到步骤S306。另一方面，在没有到达对象目标的情况下，处理返回到步骤S304。
在步骤S306中，指示内容生成部123向HMD101、104发送故障修复操作的方法。即，指示内容生成部123向HMD101发送“操作员y对Web服务器b112进行重启动”这样的内容的故障修复操作的方法。另一方面，指示内容生成部123向HMD104发送“操作员x对Web服务器a117进行重启动”这样的内容的故障修复操作的方法。由此，在HMD101中，将指导“操作员y对Web服务器b112进行重启动”这样的故障修复操作的方法的计算机图形图像数据与现实空间进行合成显示。另外，在HMD104中，将指导“操作员x对Web服务器a117进行重启动”这样的故障修复操作的方法的计算机图形图像数据与现实空间进行合成显示。操作员y、x分别依照显示在HMD101、104中的计算机图形图像数据的指导，进行故障修复操作。如果通过故障修复操作，服务器或路由器111～118的CPU使用率、存储器使用率、通信速度、访问数等的值出现变化，则在服务器或路由器111～118中进行日志数据的更新。
在步骤S306之后，处理返回到步骤S301。在步骤S301中，指示内容生成部123再次从存储装置122取得最新的日志数据和图像数据、以及必要的规则数据和过去故障应对数据。
在步骤S302中，指示内容生成部123根据从存储装置122取得的日志数据、图像数据、规则数据以及过去故障应对数据，例如利用现有的决定树的算法，判断故障修复操作的方法。在此，作为故障修复操作的方法，假设判断为“操作员x(操作员目标)对代理服务器c115(对象目标)进行重启动(操作目标)、操作员y(操作员目标)对代理服务器d111(对象目标)进行设置文件的确认(操作目标)”。
在步骤S303中，指示内容生成部123判断故障修复操作是否完成。在此，由于在之前的步骤S302中决定了故障修复操作的方法，因此判断为故障修复操作没有完成。因此，处理转移到步骤S304。
在步骤S304中，指示内容生成部123通过与上述的方法相同的方法，生成指导信息并向HMD101发送，该指导信息用于指导从作为HMD101的当前位置的Web服务器b112到作为对象目标的代理服务器d111为止的路径。另外，指示内容生成部123同样地生成用于指导从作为HMD104的当前位置的Web服务器a117到作为对象目标的代理服务器c115为止的路径的指导信息，并向HMD104发送。
在步骤S305中，指示内容生成部123通过与上述的方法相同的方法，来判断佩戴了HMD101、104的操作员y、x是否分别到达了作为对象目标的代理服务器d111、代理服务器c115。如果HMD101、104分别到达了对象目标，则指示内容生成部123在步骤S306中向HMD101、104发送故障修复操作的内容。即，指示内容生成部123向HMD101发送“操作员y对代理服务器d111进行设置文件的确认”这样的内容的故障修复操作的方法。另外，指示内容生成部123向HMD104发送“操作员x对代理服务器c115进行重启动”这样的内容的故障修复操作的方法。由此，在HMD101中，对指导“操作员y对代理服务器d111进行设置文件的确认”这样的故障修复操作的方法的计算机图形图像数据进行合成显示。另外，在HMD104中，显示指导“操作员x对代理服务器c115进行重启动”这样的故障修复操作的方法的计算机图形图像数据。操作员y、x分别依照显示在HMD101、104中的计算机图形图像数据的指导，进行故障修复操作。通过该故障修复操作，更新日志数据。
假设操作员y、x的上司z想起前日路由器e116发生了硬件故障而进行了应对，并向操作员x的邮件地址发送了记载了“前日路由器e116发生了硬件故障并进行了应对”的电子邮件。在步骤S302中，由监视部121取得该电子邮件。取得的电子邮件被存储在存储装置122中。
在步骤S306之后，处理返回到步骤S301。在步骤S301中，指示内容生成部123除了最新的日志数据和图像数据、以及必要的规则数据和过去故障应对数据以外，还从存储装置122取得上述电子邮件。
在步骤S302中，指示内容生成部123除了根据从存储装置122取得的日志数据、图像数据、规则数据、过去故障应对数据以外，还根据上述电子邮件，例如利用现有的决定树的算法，判断故障修复操作的方法。在此，假定特别是反映电子邮件的分析内容地，作为故障修复操作的方法，判断出操作员x(操作员目标)对路由器e116(对象目标)进行路由表的信息的确认(操作目标)。
在步骤S303中，指示内容生成部123判断故障修复操作是否完成。在此，由于在之前的步骤S302中决定了故障修复操作的方法，因此判断为故障修复操作没有完成。因此，处理转移到步骤S304。
在步骤S304中，指示内容生成部123通过与上述的方法相同的方法，生成用于指导从作为HMD104的当前位置的代理服务器c115到作为对象目标的路由器e116为止的路径的指导信息，并向HMD104发送。另外，针对佩戴了HMD101的操作员x的故障修复操作中的对象目标没有变化，因此不生成针对HMD101的指导信息。
在步骤S305中，指示内容生成部123通过与上述的方法相同的方法，判断佩戴了HMD104的操作员x是否到达了作为对象目标的路由器e116。如果判断出佩戴了HMD104的操作员x到达了作为对象目标的路由器e116，则在步骤S306中，指示内容生成部123向HMD104发送故障修复操作的内容。即，指示内容生成部123向HMD104发送“操作员x对路由器e116进行路由表的信息的确认”这样的内容的故障修复操作的方法。由此，在HMD104中，对指导“操作员x对路由器e116进行路由表的信息的确认”这样的故障修复操作的方法的计算机图形图像数据进行合成显示。
假设操作员x在依照故障修复操作的方法的指导，确认路由表的信息时，确认为虽然应该由于硬件故障应对而变更了路由表的信息，但并没有变更。操作员x用小型摄像机105对显示出路由表的信息的显示器进行拍摄，通过图像数据向故障分析装置120发送路由表的信息。故障分析装置120如果接收到包含路由表的信息的图像数据，则存储到存储装置122中。
在步骤S306之后，处理返回到步骤S301。在步骤S301中，再次由指示内容生成部123从存储装置122取得最新的日志数据和图像数据、以及必要的规则数据和过去故障应对数据。
在步骤S302中，指示内容生成部123根据从存储装置122取得的日志数据、图像数据、规则数据、过去故障应对数据，例如利用现有的决定树的算法，判断故障修复操作的方法。在此，假定通过图像数据的分析而检测到虽然应该变更了路由表的信息但并没有变更，作为故障修复操作的方法，判断出操作员x(操作员目标)对路由器e116(对象目标)进行路由表的信息的变更(操作目标)。
在步骤S303中，指示内容生成部123判断故障修复操作是否完成。在此，由于在之前的步骤S302中决定了故障修复操作的方法，因此判断为故障修复操作没有完成。因此，处理转移到步骤S304。
与佩戴了HMD101、104的操作员y、x对应的故障修复操作中的对象目标并没有变化。因此，在步骤S304中，指示内容生成部123不生成对HMD101、104的指导信息。
在步骤S305中，指示内容生成部123判断为佩戴了HMD101、104的操作员y、x都到达了对象目标。因此，处理转移到步骤S306。
在步骤S306中，指示内容生成部123向HDM104发送故障修复操作的内容。即，指示内容生成部123向HDM104发送“操作员x对路由器e116进行路由表的信息的变更”这样的故障修复操作的方法。由此，在HDM104中，对指导“操作员x对路由器e116进行路由表的信息的变更”这样的故障修复操作的方法的计算机图形图像数据进行合成显示。
如果操作员x依照计算机图形图像数据的指导进行修复操作，则更新服务器或路由器111～118的日志数据，并且还更新服务器或路由器的灯的点亮状态发生变化等由小型摄像机105拍摄的图像数据。这样更新了的日志数据、图像数据被存储在故障分析装置120的存储装置122中。
在步骤S306之后，处理返回到步骤S301。在步骤S301中，再次由指示内容生成部123从存储装置122取得最新的日志数据和图像数据、以及必要的规则数据和过去故障应对数据。
在步骤S302中，指示内容生成部123根据从存储装置122取得的日志数据、图像数据、规则数据以及过去故障应对数据，例如利用现有的决定树的算法，判断故障修复操作的方法。在此，指示内容生成部123通过对日志数据进行分析的结果而检测到例如CPU使用率下降、通信速度提高等，或者对图像数据进行分析的结果而检测到例如故障灯熄灭等，从而判断为没有故障，不进行故障修复操作的方法的判断。因此，在步骤S303中，判断为故障修复完成，处理转移到步骤S307。
在步骤S307中，指示内容生成部123向HMD101、104发送故障修复的完成通知。由此，在HMD101、104中，例如合成显示出“在○○时○○分完全恢复”这样的内容的计算机图形图像数据。操作员y、x结束故障修复操作。另外，图3所示的处理并不限于管理者向故障分析装置进行的输入，也可以在数据中心内的各种设备的性能信息超过了预定的阈值的情况下开始。
图4A～图4C是表示HMD101、104的处理的流程图。更具体地说，图4A表示出HMD101、104显示对从当前位置到故障修复操作的对象目标为止的路径进行指导的计算机图形图像数据的处理。图4B表示出HMD101、104显示对故障修复操作的方法进行指导的计算机图形图像数据的处理。图4C表示出HMD101、104显示故障修复的完成通知的处理。另外，通过由CPU301从ROM302读入必要的程序并执行，来进行图4A～图4C所示的各处理。
首先，参照图4A说明HMD101、104显示对从当前位置到故障修复操作的对象目标为止的路径进行指导的计算机图形图像数据的处理。在步骤S401中，HMD101、104判断是否从故障分析装置120接收到用于对从当前位置到故障修复操作的对象目标为止的路径进行指导的指导信息。在接收到指导信息的情况下，处理转移到步骤S402。在没有接收到指导信息的情况下，处理返回步骤S401，再次进行指导信息的接收判断。在步骤S402中，HMD101、104将对从当前位置到故障修复操作的对象目标为止的路径进行指导的计算机图形图像数据与现实空间的影像重叠来合成，进行AR显示。由此，对操作员y、x指导从当前位置到故障修复操作的对象目标为止的路径。
图5是表示在HMD104中，将对从当前位置到作为故障修复操作的对象目标的代理服务器c115为止的路径进行指导的计算机图形图像数据与现实空间的影像进行了合成显示的状态的例子的图。在图5中，代理服务器d111、Web服务器b112、代理服务器c115、路由器e116是现实空间的影像。501是对从当前位置到作为故障修复操作的对象目标的代理服务器c115为止的路径进行指导的计算机图形图像数据，在进行了与现实空间的影像的坐标匹配的状态下被合成显示。另外，502是明确表示出成为路径的指导目的地的对象目标是代理服务器c115的计算机图形图像数据，在被映出到HMD104的影像中的预定位置被合成显示。
接着，参照图4B，说明HMD101、104合成显示用于指导故障修复操作的方法的计算机图形图像数据的处理。在步骤S403中，HMD101、104判断是否从故障分析装置120接收到故障修复操作的方法。在接收到故障修复操作的方法的情况下，处理转移到步骤S404。另一方面，在没有接收到故障修复操作的方法的情况下，处理返回到步骤S403，再次进行故障修复操作的方法的接收判断。在步骤S404中，HMD101、104将用于指导故障修复操作的方法的计算机图形图像数据与现实空间的影像进行合成显示。由此，对操作员y、x指导故障修复操作的方法。
图6是表示在HMD104中，将对故障修复操作的方法进行指导的计算机图形图像数据与现实空间的影像进行了合成显示的状态的例子的图。在图6中，代理服务器c115是现实空间的影像。由于故障修复操作的操作目标是重启动，所以将指示重启动按键的计算机图形图像数据601与重启动按键的位置进行坐标匹配来合成显示。另外，602是明确表示出故障修复操作的对象目标是代理服务器c115，并且操作目标是重启动的计算机图形图像数据，并在HDM104上映出的影像中的预定位置被合成显示。
接着，参照图4C说明HMD101、104合成显示故障修复的完成通知的处理。在步骤S405中，HMD101、104判断是否从故障分析装置120接收到故障修复的完成通知。在接收到故障修复的完成通知的情况下，处理转移到步骤S406。另一方面，在没有接收到故障修复的完成通知的情况下，处理返回到步骤S405，再次进行故障修复的完成通知的接收判断。在步骤S406中，HMD101、104将表示故障修复的完成通知的计算机图形图像数据与现实空间的影像进行合成显示。由此，向操作员y、x通知故障修复操作已经完成。
图7是表示在HMD104中，将表示故障修复的完成通知的计算机图形图像数据与现实空间的影像进行了合成显示的状态的例子的图。在图7中，路由器e116是现实空间的影像。701是通知故障修复操作完成的计算机图形图像数据，并在HMD104中映出的影像中的预定位置被合成显示。
如上所述，在本实施方式中，如果发生了抱怨，则向操作员提示与所发生的故障对应的故障修复操作相关的信息。操作员依照所提示的故障修复操作方法、故障发生场所等与故障修复操作有关的信息来执行操作，但由于操作，系统的运转状态发生变化。如果系统的运转状态发生变化，则重新求出与变化后的系统的运转状态对应的包含故障修复操作的方法等的与故障修复操作有关的信息，并向操作者提示。通过重复执行这样的处理，即使在发生了没有预料到的故障的情况下，也能够指导最适合的故障修复操作，进行故障的分析操作支持。
另外，在上述实施方式中，说明了操作员依照从故障分析装置提示的故障修复操作的方法来执行操作的情况，但在根据操作员自己的经验，按照与所提示的故障修复操作的方法不同的方法执行操作的情况下，也能够相应地由故障分析装置取得日志数据、图像数据，求出与该时刻的系统的运转状态对应的故障修复操作的方法。
另外，以下使用图8说明指示内容生成部123用于判断故障修复操作的方法的一个例子，即除了使用现有的决定树的算法以外的例子。
图8是表示规则数据的一个例子的图。图8所示的规则数据表示了与各检查项目对应的故障修复操作的优先度的权重。在图8所示的例子中，用“0”～“10”的数值表示权重，数值越大则表示优先度越高。
例如，关于“没有Ping的应答？”这样的检查项目，在没有Ping的应答的情况下，权重被设置为“10”的故障修复操作1表示优先度最高的操作，权重被设置为“0”的故障修复操作3表示不需要实施的操作。
指示内容生成部123根据表示计算机系统的运转状况的信息(各种日志数据、CPU使用率、存储器使用率、通信速度或指令的执行结果等)，判断是否与图8所示的规则数据的各检查项目对应。然后，指示内容生成部123针对各故障修复操作，计算出被判断为与当前的计算机系统的运转状况对应的检查项目的权重的合计值，并向操作员指示所计算出的合计值最大的故障修复操作。
另外，在上述的例子中，说明了对每个故障恢复操作合计对应的检查项目的权重的例子，但也可以利用能够用规则数据的权重评价故障恢复操作的优先度的各种评价式，并没有特别限制。
另外，在上述的例子中，说明了只选择一个操作的例子，但也可以构成为按照优先度从高到低的顺序而依次执行多个操作，并没有特别限制。
进而，作为本发明的其他实施方式的故障分析系统，也可以构成为根据操作员的操作的执行结果来判断操作员的熟练度，根据判断出的操作员的熟练度来变更故障恢复操作的指示内容。
例如，指示内容生成部123在向操作员发送了指示故障恢复操作的信息后，测量从操作员开始操作到完成操作为止的时间，例如根据所测出的时间来判断操作员的熟练度。在该情况下，预先将定义了操作时间与熟练度的对应关系的熟练度判断表存储在存储装置122中。图9是表示熟练度判断表的一个例子的图。在图9所示的熟练度判断表1的例子中，表示出针对操作1，如果操作时间未满5分钟，则熟练度判断为A(最高级别)，如果是5分钟以上且未满10分钟，则判断为B，如果是10分钟以上，则判断为C(最低级别)。
或者，指示内容生成部123也可以构成为在向操作员发送了指示故障恢复操作的信息后，判断操作员是否正确地进行了操作，根据正确地进行了操作的比例(操作成功率)判断操作员的熟练度。在该情况下，预先将定义了正确地进行了操作的程度与熟练度的对应关系的熟练度判断表存储在存储装置122中。在图9所示的熟练度判断表2的例子中，表示出针对操作1，如果成功率为90％以上则判断为A，如果成功率为70％以上且未满90％则判断为B，如果成功率未满70％则判断为C。
另外，正确地进行了操作的比例(操作成功率)例如可以是在全部操作项目的个数中，正确地进行了操作的项目的个数的比例，也可以在根据操作的难易度进行了加权的基础上，利用预先定义的评价式来算出，并没有特别限制。
进而，指示内容生成部123与操作员的熟练度的判断结果对应地，决定下次向操作员发送的故障恢复操作的信息。例如，即使在新手的操作员和老练的操作员进行同一操作的情况下，对于新手或业余的操作员，有时无法用专业术语等进行沟通，最好详细说明基本事项的情况，与此相对，针对老练的操作员，如果详细说明基本事项反而操作效率会降低，因此理想的是使用专业术语进行指示。
因此，指示内容生成部123向新手的操作员发送例如通过不使用专业术语的表现形式详细地说明了操作内容的表示故障修复操作的方法的信息。由此，新手的操作员所佩戴的HMD将详细地说明了操作内容的对故障修复操作的方法进行指导的计算机图形图像数据与现实空间的影像合成来进行AR显示。
另外，指示内容生成部123向老练的操作员发送通过使用了专业术语的表现形式简洁地说明了操作内容的表示故障修复操作的方法的信息。由此，老练的操作员所佩戴的HMD将使用专业术语简洁地说明了操作内容的对故障修复操作的方法进行指导的计算机图形图像数据与现实空间的影像合成来进行AR显示。
在该情况下，需要将针对一个故障修复操作，分别与多个熟练度对应地存储了不同的操作内容的说明(使用了专业术语的简洁的说明、或没有使用专业术语的详细的说明等)的操作内容说明表，预先存储在存储装置122中。另外，指示内容生成部123如果判断出操作员的熟练度，则从操作内容说明表中读出与所判断出的熟练度对应的操作内容的说明，并向各操作员发送所读出的说明。
图10是表示操作内容说明表的一个例子的图。在图10所示的例子中，指示内容生成部123例如向针对操作1判断为熟练度A的操作员发送记述X的内容。
根据上述的结构，在利用AR进行交互式操作指示的情况下，与操作结果对应地重复进行故障修复操作，但与上次之前的操作员的操作内容对应地，发送对每个操作员都不同的水平的操作指示的说明。由此，能够根据用户的熟练度适当地进行操作指示，因此能够有效地进行故障修复操作。
以上，说明了使对各操作员的说明的水平不同的结构，但除此以外，也可以例如使通过AR显示的手册的公开范围不同。例如，从安全性方面出发，向熟练度低的新手操作员或业余操作员公开过多的信息并不理想。因此，也可以只向熟练度低的新手操作员或业余操作员公开必要最小限度的范围，而向熟练度高的管理职位水平的操作员公开手册的全部内容。
另外，关于这样的考虑到安全性的结构，除了上述的根据操作员的熟练度进行判断的结构以外，还可以是根据预先登记在操作员表等中的操作员的职位数据、访问权限等进行判断的结构。
另外，作为本发明的其他实施例的故障分析系统，也可以根据操作员的熟练度，决定进行故障修复操作的操作员。
例如，对如果发生操作失误则有可能引起重大故障的重要的操作进行指示是有危险性的，因此，针对这样的重要的操作，相对于操作失误多的操作员来说，向可靠地执行操作的操作员进行指示是理想的。
在该情况下，与上述的结构同样地，针对各操作员进行过的故障修复操作的内容，指示内容生成部123利用熟练度判断表来判断各操作员的熟练度，并将判断结果即各操作员的熟练度写入到操作员表中。图11是表示操作员表的一个例子的图。在图11所示的例子中，针对操作员X，将操作1的熟练度判断为A等级，将操作2的熟练度判断为B等级。
另外，针对用于将与各操作相关的熟练度写入到操作员表的各操作员的熟练度的判断，也可以针对上次的故障修复操作的操作内容，利用熟练度判断表判断各操作员的熟练度。或者，也可以预先将过去的故障修复操作的操作内容履历(操作时间、正确地进行了操作的程度)存储在操作内容履历表中，根据操作内容履历的各值的平均值，利用熟练度判断表判断熟练度。另外，对于没有操作内容履历的操作员，可以判断为是最低的熟练度，并没有特别限制。图12是表示操作内容履历表的一个例子的图。在图12所示的例子中，表示出例如操作员ID001的操作员(即操作员X)在20XX年3月1日以操作时间3分钟、操作成功率85％进行了操作1。
另外，预先将针对各故障修复操作定义了负责操作所要求的操作员的能力水平的要求能力表存储在存储装置122中。图13是表示要求能力表的一个例子的图。在图13所示的例子中，表示出例如对实施操作1的操作员所要求的最低限的能力水平是C等级。
由此，指示内容生成部123如果根据当前的计算机系统的运转状况而决定了故障修复操作的内容，则从要求能力表中读出负责所决定的故障修复操作所要求的熟练度。然后，指示内容生成部123读出存储在操作员表中的各操作员的能力水平数据，由此决定具备负责故障修复操作所需要的能力的操作员，向所决定的操作员发送表示故障修复操作的方法的信息。
另外，存储在操作员表中的能力水平数据，例如可以根据各操作的熟练度的平均值来决定，也可以通过其他评价式来决定，还可以是表示各操作员的综合能力水平的值。另外，也可以在每次由操作员执行各故障修复操作时，由指示内容生成部123更新该能力水平。
另外，在有多个具备所要求的能力水平的操作员的情况下，也可以判断在各操作员过去负责的故障修复操作中是否有与本次相同的操作、或类似的操作，让具有相同操作或类似操作的经验的操作员优先负责。在该情况下，预先将过去的操作实际成绩存储在操作员表中，指示内容生成部123从操作员表中读出过去的操作实际成绩，判断有无与本次相同的操作或类似的操作的经验。或者，也可以预先定义其他的优先度规则(操作次数少的顺序等)，还可以是让用户手动地选择的结构，并没有特别限制。
根据上述的结构，在利用AR进行交互式操作指示的情况下，与操作结果对应地重复进行故障修复操作，但与上次之前的操作员的操作内容对应地决定操作员。由此，能够将与故障修复操作的难易度对应的适当的操作员决定为负责人。
操作员在作为故障修复操作的内容而接收到针对网络电缆确定物理故障的可能性的指示的情况下，需要确定作为确认对象的网络电缆是通过活动地板下面、服务器机架内、或者设备的壁面内(以下称为活动地板)的哪里铺设的。
但是，在数据中心等中设置有巨大数量的计算机，用于将这些计算机与网络连接的电缆的条数也是非常巨大的数量。因此，确认铺设在活动地板中的电缆中的作为确认对象的网络电缆通过了哪里是非常难的工作。
因此，在本发明中，也提供以下的技术：能够使用AR技术，从铺设在活动地板中的网络电缆中，容易地找到希望的网络电缆。以下，详细说明该技术。
本发明的实施方式的故障分析系统，沿着铺设在活动地板中的实际的网络电缆，将表示该网络电缆的虚拟图像与现实空间中的地板或地板的摄像图像进行重叠显示。
以下说明用于实现本发明的实施方式的故障分析系统的具体结构。图14是表示本发明的实施方式的故障分析系统的结构的一个例子的图。如图14所示，本发明的实施方式的故障分析系统构成为包含嵌入了RFID800a、800b、800c......(以下在统称时简称为RFID800)的网络电缆801、RFID读取器802a～802d、位置管理服务器803、HMD804。另外，在图14中只表示了与通过AR显示网络电缆的技术有关的部分，但图14所示的结构作为图1所示的故障分析系统的一部分而被并入。即，关于用于支持故障修复操作的各种结构，由于与图1所示的故障分析系统相同，所以省略说明。
网络电缆801被铺设在数据中心内的活动地板中，由于地板而无法看到电缆801。另外，在网络电缆801上以一定间隔(例如1m间隔等)嵌入了RFID800，各RFID存储有用于识别该网络电缆的ID。
RFID读取器802a～802d从嵌入到网络电缆801的RFID800接收电波。
位置管理服务器803通过网络与RFID读取器802a～802d可通信地进行连接，并根据从RFID读取器802a～802d接收到的信息，检测各RFID800的位置。另外，位置管理服务器803向HMD804发送表示所检测出的RFID800的位置的位置信息。将在后面说明位置管理服务器803的细节。另外，在图14所示的例子中，通过无线网络将位置管理服务器803与RFID读取器802a～802d连接起来，但也可以通过有线LAN进行连接。
另外，位置管理服务器803的硬件结构与使用图2A所说明的故障分析装置120相同，由CPU统一地对与系统总线连接的各设备、控制器进行控制，在存储器或HD中除了BIOS、OS以外还存储有实现各种功能的程序。
HMD804根据从位置管理服务器803接收到的RFID800的位置信息，沿着网络电缆801的实际位置，将表示网络电缆801的虚拟图像805重叠在地面上进行显示。另外，还具有与使用图1说明的HMD101等相同的功能，省略详细的说明。
另外，HMD804的硬件结构与使用图2B所说明的HMD101等相同，由CPU统一地控制与系统总线连接的各设备、控制器，在存储器或HD中除了BIOS、OS以外还存储有实现各种功能的程序。
图15是表示位置管理服务器803和HMD804的功能结构的图。RFID读取器802a～802d如果接收到从网络电缆801所具备的RFID800发出的无线信号，则分别按照接收到的定时，向位置管理服务器803发送成为高电平的波形的信号。位置管理服务器803构成为包含信号接收部8031、位置确定部8032以及位置信息发送部8033。信号接收部8031接收从RFID读取器802a～802d发出的信号。位置确定部8032根据由信号接收部8031从各RFID 802a～802d接收到的信号，确定网络电缆801所具备的RFID800的各位置(RFID800a、RFID800b、RFID800c、......的各位置)。位置信息发送部8033向HMD804发送表示RFID800的各位置的位置信息。
HMD804构成为包含位置信息接收部8041、位置姿势检测部8042以及图像提示部8043。位置信息接收部8041从位置管理服务器803接收上述的位置信息。位置姿势检测部8042检测HMD804的位置(例如纬度、经度、或者在本地定义的位置坐标等)以及姿势(方向、仰角)。图像提示部8043根据由位置姿势检测部8042检测到的HMD804的位置和姿势，推测佩戴HMD804的操作员正在看着现实空间的哪里。然后，图像提示部8043在根据由位置信息接收部8041接收到的RFID800的位置信息而检测到操作员正在看着将网络电缆801铺设在活动地板中的场所的地面上的情况下，沿着铺设在活动地板中的网络电缆801的实际位置，生成表示网络电缆801的虚拟图像805，并与地面上的影像(在透射型HMD的情况下是现实空间)重叠地进行显示。
图16是表示本发明的实施方式的故障分析系统的处理的流程图。在步骤S501中，信号接收部8031从所有RFID读取器802a～802d接收高电平的信号。图17是用于说明从RFID读取器802a～802d发出的信号的图。
另外，在活动地板中，除了网络电缆801以外还铺设有多个网络电缆，但在本实施方式中，操作员经由便携终端等输入装置向故障分析系统输入通过AR显示网络电缆801的位置的指示。
另外，在网路电缆801上具备RFID800a、RFID800b、RFID800c、......的多个RFID，而RFID读取器802a～802d针对网络电缆801的所有RFID800接收无线信号，并按照分别接收到的定时，向位置管理服务器803发送成为高电平的波形的信号。
另外，具有以下结构，即作为网络电缆801所具备的各RFID800发送无线信号的定时，例如如果RFID800是无源型，则在操作员进行指示通过AR显示网络电缆801的位置的输入时，从RFID读取器802a～802d的任意一个向各RFID800发送请求进行ID的发送的信号，针对该请求，各RFID800错开时间地发送自身的ID。另外，并不一定需要必构成为从网络电缆801所具备的全部RFID800接收无线信号，也可以构成为仅由以预定的间隔配置的RFID发送无线信号，并不特定限定。
在此，以接收到来自RFID800a的信号的情况为例进行说明。RFID读取器802a～802d如果接收到从RFID800发送的信号，则按照其定时输出高电平的信号。在图17的例子中，RFID读取器802a在时刻t1从RFID801接收信号，在同一时刻t1输出高电平的信号。另外，RFID读取器802b在时刻t2从RFID801接收信号，在同一时刻t2输出高电平的信号。
另外，RFID读取器802c在时刻t3从RFID800接收信号，在同一时刻t3输出高电平信号。RFID读取器802d在时刻t4从RFID801接收信号，在同一时刻t4输出高电平的信号。
这样，RFID读取器802a～d接收来自RFID800a的信号，位置管理服务器803的信号接收部8031从所有RFID读取器802a～d接收高电平的信号。另外，同样地，RFID读取器802a～d接收来自RFID800b的信号，位置管理服务器803的信号接收部8031从所有RFID读取器802a～d接收高电平的信号。重复如此，接收来自网络电缆801所具备的所有RFID800的信号，位置管理服务器803的信号接收部8031针对所有RFID800从所有RFID读取器802a～d接收高电平的信号。
在步骤S502中，位置确定部8032根据从RFID读取器802a～d接收到高电平的信号的时刻差或相位差，确定各RFID800的位置(即RFID800a、RFID800b、RFID800c......各自的位置)。另外，作为这样的位置确定方法，例如可以使用TDOA(Time Difference of Arrival：到达时间差)方式的位置检测方法。或者，可以应用日本特开2000-98019号公报所公开的那样的技术。
在步骤S503中，位置信息发送部8033向HMD804发送表示在步骤S502中确定的位置的位置信息。另外，位置管理服务器803也可以预先通过由操作员进行登记，来存储与网络电缆801有关的信息(连接源、连接目的地、线路速度等)，并且与位置信息一起向该HMD804发送与网络电缆有关的信息。
在步骤S504中，HMD804的位置信息接收部8041从位置管理服务器803接收上述的位置信息、与网络电缆有关的信息。在步骤S505中，位置姿势检测部8042检测HMD804的位置和姿势。
在步骤S506中，图像提示部8043根据由位置姿势检测部8042检测到的HMD804的位置和姿势，推测佩戴HMD104的操作员正在看着现实空间的哪里。然后，图像提示部8043在根据由位置信息接收部8041接收到的RFID800的位置信息而检测到操作员正在看着将网络电缆801铺设在活动地板中的场所的地面上的情况下，沿着铺设在活动地板中的网络电缆801的实际位置，生成表示网络电缆801的虚拟图像805，并如图18所示那样与地面的影像(在透射型HMD的情况下是现实空间)重叠地进行显示。图18是表示通过AR将铺设在活动地板中的网络电缆显示在地面上的例子的图。在图18所示的例子中，图像提示部8043除了提示表示网络电缆801的虚拟图像以外，还提示与网络电缆801有关的信息(连接源、连接目的地、线路速度等)。
另外，HMD804的位置的确定，与RFID800的位置的确定同样，例如可以在HMD804中也具备RFID，通过RFID读取器802a～802d接收来自HMD804的RFID的信号，根据当时的时刻差或相位差来进行确定。由此，能够确定HMD804与RFID800的相对位置关系，能够通过AR在HMD804上的适当的位置处显示网络电缆801的虚拟图像。
另外，以下说明用于确定网络电缆的位置的其他结构。图19是用于说明确定铺设在活动地板中的网络电缆的位置的结构的一个例子的图。图19是服务器室的平面图。在服务器室Z中，在地板Z上设置有包含机架A、机架B的多个机架。另外，在地板Z下面是活动地板，铺设有网络电缆，但网络电缆被地板Z挡住，通常无法看到。另外，如图19所示那样，在地板Z上设置有坐标，地板Z上所示的波状线是用于表示坐标的线。
在图19所示的例子中，表示了通过网络电缆Z将设置在机架A上的设备的端口a与设置在机架B上的设备的端口b连接起来的例子。如上所述，网络电缆Z被铺设在地板Z的下面，在图19中表示出地板Z上的表示网络电缆Z的位置的线。在图19所示的例子中，网络电缆Z从端口a侧开始按顺序地通过(x1，y1)、(x2，y2)、(x3，y3)、(x4，y4)的各坐标的位置而与端口b连接。在位置管理服务器Z中，由用户登记了这些网络端口和坐标的信息。这时，假设还登记了表示网络电缆Z在以所连接的任意一个网络端口为起点的情况下通过各坐标的顺序的信息。另外，在该情况下，最低限度在位置管理服务器Z中登记网络电缆的铺设方向发生变化的坐标即可，但也可以构成为登记位置发生变化的坐标之间的中途的坐标。
另外，在故障分析系统的分析结果是作为故障修复操作而指示了确定网络电缆等情况下，位置管理服务器Z向操作者所佩戴的HMD发送上述坐标和端口的信息来作为网络电缆的位置信息。进而，操作者所佩戴的HMD在判断出操作者正在从HMD看着作为确认对象的网络电缆Z被铺设在活动地板中的场所的地板Z的情况下，HMD生成表示将上述坐标连接起来的线的虚拟图像，并将所生成的虚拟图像与地板Z的影像重叠地向操作员提示。
图20是用于说明确定铺设在活动地板中的网络电缆的位置的结构的其他例子的图。图20是服务器室的平面图。在服务器室Z’中，在地板Z’上设置有包含机架A、机架B的多个机架。另外，在地板Z’下面是活动地板，铺设有网络电缆，但网络电缆被地板Z’挡住，通常无法看到。另外，如图20所示那样，在地板Z’上设置有坐标，地板Z’上所示的波状线是用于表示坐标的线。
在图20所示的例子中，表示了通过网络电缆Z’将设置在机架A上的设备的端口a与设置在机架B上的设备的端口b连接起来的例子。如上所述，网络电缆Z’被铺设在地板Z’的下面，在图20中，表示出地板Z’上的表示网络电缆Z’的位置的线。
在图20所示的例子中，与图19所示的例子不同，网络电缆Z’每隔预定的间隔地具备RFID。在嵌入到该网络电缆Z’中的各RFID中存储有用于将网路电缆Z’与其他网络电缆进行识别的ID。另外，在图20中，地板Z’在波状线交叉的点上具备RFID读取器。该RFID读取器能够与位置管理服务器Z’进行通信。
在地板Z’的波状线交叉的点上所具备的RFID读取器，读取网络电缆所具备的RFID发送的信号，并发送到位置管理服务器Z’。这时，各RFID读取器除了向位置管理服务器Z’发送从RFID发出的表示网络电缆Z’的ID的信号以外，还发送所读取的信号的强度。
位置管理服务器Z’根据从RFID读取器接收到的信号和信号的强度，，确定作为来自嵌入到网络电缆Z’的RFID的信号而读取了一定强度以上的信号的RFID读取器的坐标。即，对于接收到一定强度以上的信号的RFID读取器来说，由于表示出网络电缆Z’通过了其附近，所以网络电缆Z’通过了由位置管理服务器Z’所确定的上述坐标。在图20所示的例子中表示了在用白圈表示的坐标处所设置的RFID读取器接收到了一定强度的信号。另外，假设在位置管理服务器Z’中，由用户预先登记有网络电缆Z’所连接的端口。
另外，在故障分析系统的分析结果是作为故障修复操作而指示了确定网络电缆等情况下，位置管理服务器Z’向操作者所佩戴的HMD发送上述用白圈表示的坐标和端口的信息来作为网络电缆的位置信息。进而，操作者所佩戴的HMD在判断出操作者正在从HMD看着作为确认对象的网络电缆Z’被铺设在活动地板中的场所的地板Z’的情况下，HMD生成表示将上述坐标连接起来的线的虚拟图像，并将所生成的虚拟图像与地板Z的影像重叠地向操作员提示。
根据上述结构，按照铺设在活动地板中的网络电缆的位置，经由HMD在地面上向操作员提示表示该网络电缆的虚拟图像。
由此，根据本发明的实施方式的故障分析系统，操作员在作为故障修复操作的内容而接收到表示确认网络电缆的操作指示的情况下，能够容易地找到作为对象的网络电缆通过了活动地板的哪里被铺设，因此，能够提高操作员的操作效率。
另外，本发明并不限于上述的各实施方式，在权利要求所示的范围内能够进行各种变更，对于适当地组合在不同实施方式中分别公开的技术手段而得到的实施方式，也包含在本发明的技术范围中。
本发明的实施方式可以通过由计算机执行程序来实现。另外，用于向计算机提供程序的单元、例如记录了该程序的CD-ROM等计算机可读取的记录介质、或传输该程序的传输介质，也可以作为本发明的实施方式来应用。另外，也可以将记录了上述程序的计算机可读取的记录介质等程序产品作为本发明的实施方式来应用。上述的程序、计算机可读取的记录介质、传输介质和程序产品包含在本发明的范畴内。
产业上的可利用性
本发明对于能够将现实空间的影像与计算机图形图像数据合成来进行重叠显示的增强现实是有用的。

Claims (9)

1.一种信息处理系统，具备：增强现实感提示装置，能够对现实空间的影像和计算机图形图像数据进行合成来显示；故障分析装置，能够对在计算机系统中发生的故障进行分析，该信息处理系统的特征在于，
上述故障分析装置具备：
取得单元，其取得上述计算机系统的运转状况相关的信息；
判断单元，其根据由上述取得单元取得的上述运转状况相关的信息，判断与针对上述计算机系统的故障修复操作有关的信息；以及
发送单元，其向上述增强现实感提示装置发送由上述判断单元判断出的与上述故障修复操作有关的信息，
上述增强现实感提示装置具备：提示单元，其根据与上述故障修复操作有关的信息，将指导上述故障修复操作的方法的计算机图形图像数据与现实空间的影像合成并提示，
上述故障分析装置，在根据由上述增强现实感提示装置提示的指导而进行了故障修复操作后，由上述取得单元新取得了上述计算机系统的运转状况相关的信息的情况下，由上述判断单元根据该运转状况相关的信息，重新判断与针对上述计算机系统的故障修复操作有关的信息，并由上述发送单元向上述增强现实提示装置发送重新判断出的与故障修复操作有关的信息。
2.根据权利要求1所述的信息处理系统，其特征在于，
上述故障分析装置，由上述判断单元根据上述计算机系统的运转状况相关的信息，判断与多个操作员应该分别对上述计算机系统执行的故障修复操作有关的信息，由上述发送单元分别向相应的操作员的上述增强现实提示装置发送上述各故障修复操作的方法。
3.根据权利要求1所述的信息处理系统，其特征在于，
上述故障分析装置，由上述发送单元向上述增强现实感提示装置发送指导信息，该指导信息用于指导从上述增强现实感提示装置的当前位置到上述故障修复操作的场所的路径，
上述增强现实感提示装置，由上述提示单元根据上述指导信息，将指导从上述增强现实感提示装置的当前位置到上述故障修复操作的场所的路径的计算机图形图像数据与现实空间的影像进行合成来提示。
4.根据权利要求1所述的信息处理系统，其特征在于，
上述判断单元，根据基于由上述增强现实感提示装置提示的指导而进行的故障修复操作的执行结果，判断进行了该操作的操作员的熟练度，
上述故障分析装置，在根据由上述增强现实感提示装置提示的指导而进行了故障修复操作后，重新判断出与针对上述计算机系统的故障修复操作有关的信息的情况下，针对重新判断出的与故障修复操作有关的信息，向上述增强现实提示装置发送表示与上述熟练度对应的操作内容的说明的信息。
5.根据权利要求2所述的信息处理系统，其特征在于，
上述判断单元，根据基于由上述增强现实感提示装置提示的指导而进行的故障修复操作的执行结果，判断进行了该操作的操作员的熟练度，
上述故障分析装置，在由上述判断单元根据上述计算机系统的运转状况相关的信息，判断与上述多个操作员应该分别对上述计算机系统执行的故障修复操作有关的信息时，根据上述熟练度决定上述操作员所负责的故障修复操作。
6.根据权利要求1所述的信息处理系统，其特征在于，
上述故障分析装置还具备位置确定单元，其确定铺设在活动地板中的网络电缆的位置，
上述发送单元将表示由上述位置确定单元所确定的上述网络电缆的位置的位置信息，作为由上述判断单元所判断出的与上述故障修复操作有关的信息的一部分，向上述增强现实感提示装置发送，
上述增强现实感提示装置，由上述提示单元根据包含在与上述故障修复操作有关的信息中的上述位置信息，作为对上述故障修复操作的方法进行指导的计算机图形图像数据，将上述网络电缆与现实空间的影像进行合成来提示。
7.一种信息处理方法，是通过增强现实感提示装置和故障分析装置执行的信息处理方法，该增强现实感提示装置能够对现实空间的影像和计算机图形图像数据进行合成来显示，该故障分析装置能够对在计算机系统中发生的故障进行分析，该信息处理方法的特征在于，
包括由上述故障分析装置执行的以下步骤：
取得步骤，取得上述计算机系统的运转状况相关的信息；
判断步骤，根据通过上述取得步骤取得的上述运转状况相关的信息，判断与针对上述计算机系统的故障修复操作有关的信息；以及
发送步骤，向上述增强现实感提示装置发送通过上述判断步骤判断出的与上述故障修复操作有关的信息，
并且包括由上述增强现实感提示装置执行的以下步骤：
提示步骤，根据与上述故障修复操作有关的信息，将指导上述故障修复操作的方法的计算机图形图像数据与现实空间的影像合成来提示，
上述故障分析装置，在根据由上述增强现实感提示装置提示的指导而进行了故障修复操作后，新取得了上述计算机系统的运转状况相关的信息的情况下，根据该运转状况相关的信息，重新判断与针对上述计算机系统的故障修复操作有关的信息，并向上述增强现实提示装置发送重新判断出的与故障修复操作有关的信息。
8.一种程序，是用于使计算机执行信息处理系统中的信息处理方法的程序，该信息处理系统具备增强现实感提示装置和故障分析装置，该增强现实感提示装置能够对现实空间的影像和计算机图形图像数据进行合成来显示，该故障分析装置能够对在计算机系统中发生的故障进行分析，该程序的特征在于，使计算机执行以下步骤：
取得步骤，上述故障分析装置取得上述计算机系统的运转状况相关的信息；
判断步骤，上述故障分析装置根据通过上述取得步骤取得的上述运转状况相关的信息，判断与针对上述计算机系统的故障修复操作有关的信息；
发送步骤，上述故障分析装置向上述增强现实感提示装置发送通过上述判断步骤判断出的与上述故障修复操作有关的信息；
提示步骤，上述增强现实感提示装置根据与上述故障修复操作有关的信息，将指导上述故障修复操作的方法的计算机图形图像数据与现实空间的影像合成来提示；以及
上述故障分析装置，在根据由上述增强现实感提示装置提示的指导而进行了故障修复操作后，通过上述取得步骤新取得了上述计算机系统的运转状况相关的信息的情况下，通过上述判断步骤，根据该运转状况相关的信息，重新判断与针对上述计算机系统的故障修复操作有关的信息，通过上述发送步骤向上述增强现实提示装置发送重新判断出的与故障修复操作有关的信息的步骤。
9.一种信息处理系统，具备：增强现实感提示装置，能够对现实空间的影像和计算机图形图像数据进行合成来显示；故障分析装置，能够对在修理对象物中发生的故障进行分析，该信息处理系统的特征在于，
上述故障分析装置具备：
取得单元，其取得上述修理对象物的运转状况相关的信息；
判断单元，其根据由上述取得单元取得的上述运转状况相关的信息，判断与针对上述修理对象物的故障修复操作有关的信息；
发送单元，其向上述增强现实感提示装置发送表示由上述判断单元判断出的与上述故障修复操作有关的信息的信息，
上述增强现实感提示装置具备：
提示单元，其根据与上述故障修复操作有关的信息，将指导上述故障修复操作的方法的计算机图形图像数据与现实空间的影像合成来提示，
上述故障分析装置，在根据由上述增强现实感提示装置提示的指导而进行了故障修复操作后，由上述取得单元新取得了上述修理对象物的运转状况相关的信息的情况下，由上述判断单元根据该运转状况相关的信息，重新判断与针对上述修理对象物的故障修复操作有关的信息，由上述发送单元向上述增强现实提示装置发送重新判断出的与故障修复操作有关的信息。
CN2011800037960A 2010-04-28 2011-03-30 信息处理系统以及信息处理方法 Active CN102483863B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2010104071 2010-04-28
JP2010-104071 2010-04-28
JP2011066198A JP4913913B2 (ja) 2010-04-28 2011-03-24 情報処理システム、情報処理方法及びプログラム
JP2011-066198 2011-03-24
PCT/JP2011/057959 WO2011135968A1 (ja) 2010-04-28 2011-03-30 情報処理システム、情報処理方法及びプログラム

Publications (2)

Publication Number Publication Date
CN102483863A true CN102483863A (zh) 2012-05-30
CN102483863B CN102483863B (zh) 2013-11-20

Family

ID=44861286

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011800037960A Active CN102483863B (zh) 2010-04-28 2011-03-30 信息处理系统以及信息处理方法

Country Status (5)

Country Link
US (1) US8760471B2 (zh)
EP (1) EP2469475B1 (zh)
JP (1) JP4913913B2 (zh)
CN (1) CN102483863B (zh)
WO (1) WO2011135968A1 (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106681881A (zh) * 2015-11-05 2017-05-17 中兴通讯股份有限公司 一种数据中心巡检方法及装置
CN107924585A (zh) * 2015-08-25 2018-04-17 新日铁住金系统集成株式会社 作业辅助装置、作业辅助方法以及程序
CN108089696A (zh) * 2016-11-08 2018-05-29 罗克韦尔自动化技术公司 用于工业自动化的虚拟现实和增强现实
CN108604393A (zh) * 2016-03-04 2018-09-28 新日铁住金系统集成株式会社 信息处理系统、信息处理装置、信息处理方法以及程序
CN108596349A (zh) * 2018-04-28 2018-09-28 广东日月潭电源科技有限公司 一种基于ar技术的ups电源维修方法、系统及装置
CN108604131A (zh) * 2016-03-04 2018-09-28 新日铁住金系统集成株式会社 显示系统、信息处理装置、信息处理方法以及程序
CN108919882A (zh) * 2018-04-24 2018-11-30 北京拓盛智联技术有限公司 一种基于ar技术的设备主动安全操作方法和系统
CN110785781A (zh) * 2017-04-23 2020-02-11 古力创新股份有限公司 用于借助于增强现实辅助团队工作的系统
CN110826986A (zh) * 2019-10-24 2020-02-21 广东优世联合控股集团股份有限公司 一种精准确定规建外包费用数据的处理方法和装置
CN110908355A (zh) * 2018-09-14 2020-03-24 发那科株式会社 引导信息提示装置及服务器、引导信息提示系统及方法、计算机可读介质
CN113778222A (zh) * 2021-07-23 2021-12-10 中国人民解放军海军航空大学青岛校区 一种基于ar的特情处置方法及装置
CN114063909A (zh) * 2021-10-25 2022-02-18 华东计算技术研究所（中国电子科技集团公司第三十二研究所） 图片数据的智能分布式存储方法及系统

Families Citing this family (104)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8738754B2 (en) * 2011-04-07 2014-05-27 International Business Machines Corporation Systems and methods for managing computing systems utilizing augmented reality
DE102011017305A1 (de) * 2011-04-15 2012-10-18 Abb Technology Ag Bedien- und Beobachtungssystem für technische Anlagen
US9965564B2 (en) * 2011-07-26 2018-05-08 Schneider Electric It Corporation Apparatus and method of displaying hardware status using augmented reality
US9685000B1 (en) * 2011-09-28 2017-06-20 EMC IP Holding Company LLC Using augmented reality in data storage management
CN103166778A (zh) * 2011-12-13 2013-06-19 成都勤智数码科技有限公司 一种故障自动化智能处理方法及其装置
US8952869B1 (en) * 2012-01-06 2015-02-10 Google Inc. Determining correlated movements associated with movements caused by driving a vehicle
US9230501B1 (en) 2012-01-06 2016-01-05 Google Inc. Device control utilizing optical flow
US10469916B1 (en) 2012-03-23 2019-11-05 Google Llc Providing media content to a wearable device
US9413893B2 (en) * 2012-04-05 2016-08-09 Assurant, Inc. System, method, apparatus, and computer program product for providing mobile device support services
US8898520B1 (en) * 2012-04-19 2014-11-25 Sprint Communications Company L.P. Method of assessing restart approach to minimize recovery time
US8965624B2 (en) 2012-08-14 2015-02-24 Ebay Inc. Method and system of vehicle tracking portal
JP5966942B2 (ja) * 2013-01-23 2016-08-10 トヨタ自動車株式会社 操作支援システム及び操作支援方法
JP6065640B2 (ja) * 2013-02-21 2017-01-25 ブラザー工業株式会社 コンピュータプログラムおよび制御装置
US10649449B2 (en) 2013-03-04 2020-05-12 Fisher-Rosemount Systems, Inc. Distributed industrial performance monitoring and analytics
US9397836B2 (en) 2014-08-11 2016-07-19 Fisher-Rosemount Systems, Inc. Securing devices to process control systems
US10678225B2 (en) 2013-03-04 2020-06-09 Fisher-Rosemount Systems, Inc. Data analytic services for distributed industrial performance monitoring
US10386827B2 (en) 2013-03-04 2019-08-20 Fisher-Rosemount Systems, Inc. Distributed industrial performance monitoring and analytics platform
US10282676B2 (en) 2014-10-06 2019-05-07 Fisher-Rosemount Systems, Inc. Automatic signal processing-based learning in a process plant
US10649424B2 (en) 2013-03-04 2020-05-12 Fisher-Rosemount Systems, Inc. Distributed industrial performance monitoring and analytics
US9804588B2 (en) 2014-03-14 2017-10-31 Fisher-Rosemount Systems, Inc. Determining associations and alignments of process elements and measurements in a process
US9823626B2 (en) 2014-10-06 2017-11-21 Fisher-Rosemount Systems, Inc. Regional big data in process control systems
US9665088B2 (en) 2014-01-31 2017-05-30 Fisher-Rosemount Systems, Inc. Managing big data in process control systems
US9558220B2 (en) 2013-03-04 2017-01-31 Fisher-Rosemount Systems, Inc. Big data in process control systems
US10866952B2 (en) 2013-03-04 2020-12-15 Fisher-Rosemount Systems, Inc. Source-independent queries in distributed industrial system
US10223327B2 (en) 2013-03-14 2019-03-05 Fisher-Rosemount Systems, Inc. Collecting and delivering data to a big data machine in a process control system
US10909137B2 (en) 2014-10-06 2021-02-02 Fisher-Rosemount Systems, Inc. Streaming data for analytics in process control systems
US9959190B2 (en) * 2013-03-12 2018-05-01 International Business Machines Corporation On-site visualization of component status
JP6595980B2 (ja) 2013-03-15 2019-10-23 フィッシャー−ローズマウント システムズ，インコーポレイテッド コンピュータシステム、及びコンピュータで実装される方法
GB2513455B (en) * 2013-03-15 2020-11-25 Fisher Rosemount Systems Inc Generating checklists in a process control environment
US10133243B2 (en) 2013-03-15 2018-11-20 Fisher-Rosemount Systems, Inc. Method and apparatus for seamless state transfer between user interface devices in a mobile control room
EP2784681A1 (en) * 2013-03-27 2014-10-01 British Telecommunications public limited company Visual diagnosis tool
CN105122949B (zh) * 2013-04-26 2018-03-02 飞利浦灯具控股公司 用于照明网络的决策支持系统
WO2015001611A1 (ja) 2013-07-02 2015-01-08 株式会社日立製作所 ネットワーク構築支援システム及び方法
JP6355909B2 (ja) * 2013-10-18 2018-07-11 三菱重工業株式会社 検査記録装置及び検査記録評価方法
US9740935B2 (en) * 2013-11-26 2017-08-22 Honeywell International Inc. Maintenance assistant system
US10171628B2 (en) 2013-12-30 2019-01-01 Telecom Italia S.P.A. Augmented reality for supporting intervention of a network apparatus by a human operator
EP3129932A1 (en) * 2014-04-07 2017-02-15 Cubic Corporation Intuitive visual assessment of device operational health
JP6713731B2 (ja) * 2014-06-05 2020-06-24 トーヨーカネツ株式会社 Ａｒ利用広告提供システム及びａｒ利用顧客付加価値情報提供システム
JP6497851B2 (ja) * 2014-06-05 2019-04-10 トーヨーカネツソリューションズ株式会社 Ａｒ利用取説提供システム
US10168691B2 (en) 2014-10-06 2019-01-01 Fisher-Rosemount Systems, Inc. Data pipeline for process control system analytics
JP2016138908A (ja) 2015-01-26 2016-08-04 セイコーエプソン株式会社 表示システム、可搬型表示装置、表示制御装置、表示方法
JP6478713B2 (ja) * 2015-03-04 2019-03-06 キヤノン株式会社 計測装置および計測方法
WO2016147656A1 (ja) * 2015-03-16 2016-09-22 日本電気株式会社 情報処理装置、情報処理方法、及び、記録媒体
JP6464889B2 (ja) * 2015-03-31 2019-02-06 富士通株式会社 画像処理装置、画像処理プログラム、及び画像処理方法
JP6651736B2 (ja) * 2015-08-21 2020-02-19 富士通株式会社 タスク実行支援方法、タスク実行支援装置およびタスク実行支援プログラム
JP6165362B1 (ja) 2015-08-21 2017-07-19 新日鉄住金ソリューションズ株式会社 表示システム、表示装置、表示方法及びプログラム
JP2017049762A (ja) 2015-09-01 2017-03-09 株式会社東芝 システム及び方法
JP2017049763A (ja) * 2015-09-01 2017-03-09 株式会社東芝 電子機器、支援システムおよび支援方法
JP2017049869A (ja) * 2015-09-03 2017-03-09 株式会社東芝 メガネ型ウェアラブル端末とそのデータ処理方法
JP2017058783A (ja) * 2015-09-14 2017-03-23 富士ゼロックス株式会社 情報処理装置、情報処理方法、情報処理システム及びプログラム
JP6670580B2 (ja) * 2015-10-21 2020-03-25 株式会社シンコネクト 建築分野用システム
US10114717B2 (en) * 2015-10-27 2018-10-30 Fluke Corporation System and method for utilizing machine-readable codes for testing a communication network
US10528021B2 (en) 2015-10-30 2020-01-07 Rockwell Automation Technologies, Inc. Automated creation of industrial dashboards and widgets
US10313281B2 (en) 2016-01-04 2019-06-04 Rockwell Automation Technologies, Inc. Delivery of automated notifications by an industrial asset
US10503483B2 (en) 2016-02-12 2019-12-10 Fisher-Rosemount Systems, Inc. Rule builder in a process control network
EP3417307A4 (en) * 2016-02-18 2019-09-11 Edx Technologies, Inc. SYSTEMS AND METHODS FOR AUGMENTED REALITY DISPLAYS OF NETWORKS
JP2017175354A (ja) * 2016-03-23 2017-09-28 Kddi株式会社 システム、情報処理装置、ヘッドマウント装置、及びプログラム
JP2017182487A (ja) * 2016-03-30 2017-10-05 Kddi株式会社 システム、情報処理装置、ヘッドマウント装置、及び方法
ITUA20162756A1 (it) * 2016-04-20 2017-10-20 Newbiquity Sagl Metodo e sistema di assistenza a distanza in tempo reale con impiego di computer vision e realtà aumentata
WO2017182523A1 (en) * 2016-04-20 2017-10-26 Newbiquity Sagl A method and a system for real-time remote support with use of computer vision and augmented reality
KR20170121930A (ko) 2016-04-26 2017-11-03 현대자동차주식회사 웨어러블 기기 및 이를 포함하는 차량 진단 장치
US10650591B1 (en) 2016-05-24 2020-05-12 Out of Sight Vision Systems LLC Collision avoidance system for head mounted display utilized in room scale virtual reality system
US10981060B1 (en) 2016-05-24 2021-04-20 Out of Sight Vision Systems LLC Collision avoidance system for room scale virtual reality system
JP6749144B2 (ja) * 2016-05-31 2020-09-02 東芝テック株式会社 情報処理装置、及びプログラム
JP6814279B2 (ja) 2016-08-12 2021-01-13 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． ワードフロー注釈
US10318570B2 (en) 2016-08-18 2019-06-11 Rockwell Automation Technologies, Inc. Multimodal search input for an industrial search platform
JP6521923B2 (ja) * 2016-09-21 2019-05-29 株式会社 日立産業制御ソリューションズ 作業支援装置及び作業支援方法
US10401839B2 (en) 2016-09-26 2019-09-03 Rockwell Automation Technologies, Inc. Workflow tracking and identification using an industrial monitoring system
US10545492B2 (en) 2016-09-26 2020-01-28 Rockwell Automation Technologies, Inc. Selective online and offline access to searchable industrial automation data
US10319128B2 (en) 2016-09-26 2019-06-11 Rockwell Automation Technologies, Inc. Augmented reality presentation of an industrial environment
US10735691B2 (en) 2016-11-08 2020-08-04 Rockwell Automation Technologies, Inc. Virtual reality and augmented reality for industrial automation
US10866631B2 (en) 2016-11-09 2020-12-15 Rockwell Automation Technologies, Inc. Methods, systems, apparatuses, and techniques for employing augmented reality and virtual reality
JP2018092227A (ja) * 2016-11-30 2018-06-14 ソニー株式会社 提示制御装置、提示制御方法およびプログラム
JP6834620B2 (ja) * 2017-03-10 2021-02-24 株式会社デンソーウェーブ 情報表示システム
JP6867883B2 (ja) * 2017-06-01 2021-05-12 株式会社日立ドキュメントソリューションズ 空間表示装置、および、空間表示方法
CN107302454A (zh) * 2017-06-16 2017-10-27 郑州云海信息技术有限公司 一种基于ar技术的机房服务器管理方法及系统
JP6917844B2 (ja) * 2017-09-20 2021-08-11 株式会社東芝 作業支援システム、作業支援方法及び作業支援プログラム
JP2019067050A (ja) * 2017-09-29 2019-04-25 株式会社日立ビルシステム 作業支援システム
US10445944B2 (en) 2017-11-13 2019-10-15 Rockwell Automation Technologies, Inc. Augmented reality safety automation zone system and method
US11222081B2 (en) 2017-11-27 2022-01-11 Evoqua Water Technologies Llc Off-line electronic documentation solutions
JP2018037107A (ja) * 2017-11-27 2018-03-08 株式会社東芝 システム及び方法
EP3489800A1 (de) * 2017-11-27 2019-05-29 EUCHNER GmbH + Co. KG Sicherheitssystem
US10796153B2 (en) 2018-03-12 2020-10-06 International Business Machines Corporation System for maintenance and repair using augmented reality
CN112219189B (zh) * 2018-03-27 2024-07-23 奈飞公司 用于调度的反熵修复设计的技术
US20190042843A1 (en) * 2018-04-05 2019-02-07 Intel Corporation Cable detection for ar/vr computing method and apparatus
JP7113702B2 (ja) * 2018-08-31 2022-08-05 三菱電機株式会社 点検作業支援装置、点検作業支援システム、および点検作業支援方法
US10831588B2 (en) 2018-10-16 2020-11-10 International Business Machines Corporation Diagnosis of data center incidents with augmented reality and cognitive analytics
US11145130B2 (en) * 2018-11-30 2021-10-12 Apprentice FS, Inc. Method for automatically capturing data from non-networked production equipment
US10966342B2 (en) * 2019-01-31 2021-03-30 Dell Products, L.P. System and method for determining location and navigating a datacenter using augmented reality and available sensor data
JP7058621B2 (ja) * 2019-02-22 2022-04-22 株式会社日立製作所 映像記録装置およびヘッドマウントディスプレイ
US11062264B2 (en) 2019-03-08 2021-07-13 Grace Technology, Inc. Work support system, work support server, work situation determination apparatus, device for worker, and work object equipment
JP7040488B2 (ja) * 2019-03-28 2022-03-23 オムロン株式会社 トラブルシュート支援装置、トラブルシュート支援方法、およびプログラム
JP7338200B2 (ja) * 2019-03-29 2023-09-05 村田機械株式会社 保守方法、及び、保守サーバ
JP7334460B2 (ja) * 2019-04-26 2023-08-29 富士通株式会社 作業支援装置及び作業支援方法
JP7333971B2 (ja) * 2019-06-24 2023-08-28 サン電子株式会社 機能実行システム
WO2021024594A1 (ja) * 2019-08-06 2021-02-11 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US20210056272A1 (en) 2019-08-23 2021-02-25 KEFI Holdings, Inc Object detection-based control of projected content
US11792288B2 (en) * 2019-09-09 2023-10-17 Extreme Networks, Inc. Wireless network device with directional communication functionality
US11611484B2 (en) 2019-10-15 2023-03-21 Oracle International Corporation System and method for use of virtual or augmented reality with data center operations or cloud infrastructure
JP2021067899A (ja) * 2019-10-28 2021-04-30 株式会社日立製作所 頭部装着型表示装置および表示コンテンツ制御方法
JP7259717B2 (ja) * 2019-11-28 2023-04-18 富士通株式会社 表示制御方法、表示制御プログラムおよび表示制御装置
US11074730B1 (en) 2020-01-23 2021-07-27 Netapp, Inc. Augmented reality diagnostic tool for data center nodes
JP7149354B2 (ja) * 2020-03-27 2022-10-06 Ｓｐｐテクノロジーズ株式会社 保守作業支援システム、保守作業支援方法、および、保守作業支援プログラム
JP7044838B2 (ja) * 2020-08-07 2022-03-30 東芝テック株式会社 情報処理装置、及びプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1448889A (zh) * 2002-04-03 2003-10-15 夏普公司 图像输出装置
WO2009096971A1 (en) * 2008-01-31 2009-08-06 Cluster Resources, Inc. System and method for managing a hybrid compute environment

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4964077A (en) * 1987-10-06 1990-10-16 International Business Machines Corporation Method for automatically adjusting help information displayed in an online interactive system
US5680541A (en) * 1991-12-16 1997-10-21 Fuji Xerox Co., Ltd. Diagnosing method and apparatus
JP2000098019A (ja) 1998-09-22 2000-04-07 Honda Electronic Co Ltd 超音波移動体位置検出装置
DE50003531D1 (de) * 1999-03-02 2003-10-09 Siemens Ag System und verfahren zur situationsgerechten unterstützung der interaktion mit hilfe von augmented-reality-technologien
US7324081B2 (en) 1999-03-02 2008-01-29 Siemens Aktiengesellschaft Augmented-reality system for situation-related support of the interaction between a user and an engineering apparatus
US7013284B2 (en) * 1999-05-04 2006-03-14 Accenture Llp Component based interface to handle tasks during claim processing
US7126558B1 (en) * 2001-10-19 2006-10-24 Accenture Global Services Gmbh Industrial augmented reality
US20030115088A1 (en) * 2001-12-18 2003-06-19 Crossmark, Inc. System and method of routing, scheduling, and monitoring a workforce
JP4396212B2 (ja) * 2002-10-10 2010-01-13 セイコーエプソン株式会社 作業担当者支援方法
CN1842811A (zh) * 2003-08-29 2006-10-04 西门子医疗健康服务公司 客户服务支持系统
US7383148B2 (en) * 2004-03-25 2008-06-03 Siemens Building Technologies, Inc. Method and apparatus for graphically displaying a building system
JP2006099405A (ja) * 2004-09-29 2006-04-13 Seiko Epson Corp コンテンツ配信システム、コンテンツ配信方法及びそのプログラム
US7251585B2 (en) * 2005-06-14 2007-07-31 Siemens Aktiengesellschaft Method and computer system for formulating potential measures for increasing the reliability of a technical system
JP2007034712A (ja) * 2005-07-27 2007-02-08 Nec Fielding Ltd 保守支援システム、保守支援方法、及び、保守支援プログラム
CN101331438B (zh) * 2006-02-23 2010-08-18 富士通株式会社 维护指导显示装置、维护指导显示方法
US20080005617A1 (en) * 2006-05-15 2008-01-03 The Boeing Company Automated processing of electronic log book pilot reports for ground-based fault processing
US8364514B2 (en) * 2006-06-27 2013-01-29 Microsoft Corporation Monitoring group activities
JP2008111588A (ja) * 2006-10-30 2008-05-15 Fujitsu Ltd 空調設備およびコンピュータシステム
US7760094B1 (en) * 2006-12-14 2010-07-20 Corning Cable Systems Llc RFID systems and methods for optical fiber network deployment and maintenance
JP2008158684A (ja) * 2006-12-21 2008-07-10 Konica Minolta Business Technologies Inc 画像監視システム、画像監視方法および画像監視プログラム
JP2008201101A (ja) 2007-02-22 2008-09-04 Kyocera Mita Corp 操作案内表示装置
US7696879B2 (en) * 2007-12-18 2010-04-13 Alcatel Lucent Ascertaining physical routing of cabling interconnects
GB0805596D0 (en) * 2008-03-27 2008-04-30 British Telecomm Tagged cable
US7940182B2 (en) * 2008-04-30 2011-05-10 Alcatel Lucent RFID encoding for identifying system interconnect cables
US20120242698A1 (en) * 2010-02-28 2012-09-27 Osterhout Group, Inc. See-through near-eye display glasses with a multi-segment processor-controlled optical layer
WO2012005189A1 (ja) * 2010-07-05 2012-01-12 日本電気株式会社 電子文章用サービス提供装置、電子文章用サービス提供方法及び電子文章用サービス提供端末
US20130010068A1 (en) * 2011-04-12 2013-01-10 Radiation Monitoring Devices, Inc. Augmented reality system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1448889A (zh) * 2002-04-03 2003-10-15 夏普公司 图像输出装置
JP2003298821A (ja) * 2002-04-03 2003-10-17 Sharp Corp 画像出力装置
WO2009096971A1 (en) * 2008-01-31 2009-08-06 Cluster Resources, Inc. System and method for managing a hybrid compute environment

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107924585A (zh) * 2015-08-25 2018-04-17 新日铁住金系统集成株式会社 作业辅助装置、作业辅助方法以及程序
CN107924585B (zh) * 2015-08-25 2021-03-09 日铁系统集成株式会社 作业辅助装置、作业辅助方法以及存储介质
CN106681881A (zh) * 2015-11-05 2017-05-17 中兴通讯股份有限公司 一种数据中心巡检方法及装置
CN108604393A (zh) * 2016-03-04 2018-09-28 新日铁住金系统集成株式会社 信息处理系统、信息处理装置、信息处理方法以及程序
CN108604131A (zh) * 2016-03-04 2018-09-28 新日铁住金系统集成株式会社 显示系统、信息处理装置、信息处理方法以及程序
CN108089696A (zh) * 2016-11-08 2018-05-29 罗克韦尔自动化技术公司 用于工业自动化的虚拟现实和增强现实
CN108089696B (zh) * 2016-11-08 2021-01-08 罗克韦尔自动化技术公司 用于工业自动化的虚拟现实和增强现实
CN110785781A (zh) * 2017-04-23 2020-02-11 古力创新股份有限公司 用于借助于增强现实辅助团队工作的系统
CN108919882A (zh) * 2018-04-24 2018-11-30 北京拓盛智联技术有限公司 一种基于ar技术的设备主动安全操作方法和系统
CN108596349A (zh) * 2018-04-28 2018-09-28 广东日月潭电源科技有限公司 一种基于ar技术的ups电源维修方法、系统及装置
CN110908355B (zh) * 2018-09-14 2024-03-19 发那科株式会社 引导信息提示装置及服务器、引导信息提示系统及方法、计算机可读介质
CN110908355A (zh) * 2018-09-14 2020-03-24 发那科株式会社 引导信息提示装置及服务器、引导信息提示系统及方法、计算机可读介质
CN110826986A (zh) * 2019-10-24 2020-02-21 广东优世联合控股集团股份有限公司 一种精准确定规建外包费用数据的处理方法和装置
CN113778222A (zh) * 2021-07-23 2021-12-10 中国人民解放军海军航空大学青岛校区 一种基于ar的特情处置方法及装置
CN114063909A (zh) * 2021-10-25 2022-02-18 华东计算技术研究所（中国电子科技集团公司第三十二研究所） 图片数据的智能分布式存储方法及系统
CN114063909B (zh) * 2021-10-25 2023-12-08 华东计算技术研究所（中国电子科技集团公司第三十二研究所） 图片数据的智能分布式存储方法及系统

Also Published As

Publication number Publication date
US8760471B2 (en) 2014-06-24
CN102483863B (zh) 2013-11-20
EP2469475B1 (en) 2017-08-30
JP2011248860A (ja) 2011-12-08
WO2011135968A1 (ja) 2011-11-03
JP4913913B2 (ja) 2012-04-11
EP2469475A4 (en) 2013-03-13
EP2469475A1 (en) 2012-06-27
US20130120449A1 (en) 2013-05-16

Similar Documents

Publication Publication Date Title
CN102483863B (zh) 信息处理系统以及信息处理方法
CN113703569B (zh) 用于工业自动化的虚拟现实和增强现实的系统和方法
Burke et al. Moonlight in Miami: Field study of human-robot interaction in the context of an urban search and rescue disaster response training exercise
US11087053B1 (en) Method, electronic device, and computer program product for information display
US9361716B1 (en) System and method for increasing the system awareness of IT operations personnel with augmented reality
US20220308734A1 (en) Asset management system
CN102891946B (zh) 图像处理系统、便携终端、信息处理装置以及显示方法
JP6969807B2 (ja) 作業支援システム
US10950050B2 (en) Information processing device, information processing method, and program for planning and execution of work plan
KR102418994B1 (ko) 증강현실 기반 작업 공정 모니터링 및 작업 숙련도 평가방법
CN111993424B (zh) 一种异构移动机器人的互操作中间件测试系统及方法
US11529737B2 (en) System and method for using virtual/augmented reality for interaction with collaborative robots in manufacturing or industrial environment
WO2017047888A1 (ko) Bim 환경에서 문제점 해결 및 협업을 지원할 수 있는 지원 시스템
JP6743080B2 (ja) 表示制御システム及び表示制御方法
US20180053438A1 (en) Action evaluation apparatus, action evaluation method, and computer-readable storage medium
Haramaki et al. A network topology visualization system based on mobile AR technology
JP7368937B2 (ja) 設備管理システム
US12002162B2 (en) Method and apparatus for providing virtual contents in virtual space based on common coordinate system
CN112393727B (zh) 配电房导航方法和装置、电子设备、计算机可读存储介质
EP1406189A2 (en) Information communication system and client apparatus
EP4379485A1 (en) Industrial interaction system and a method for interaction
CN113632089B (zh) 图面检验系统、客户端装置、程序、记录介质、服务器装置及控制方法
EP4252871A1 (en) System, imaging device, information processing device, information processing method, and information processing program
WO2023189603A1 (ja) 情報処理システム
KR20230063588A (ko) 증강현실 기반의 유지보수 콘텐츠 공유 플랫폼 제공 방법 및 그 시스템

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C53 Correction of patent of invention or patent application
CB02 Change of applicant information

Address after: Tokyo, Japan, Japan

Applicant after: Nippon Steel & Sumitomo Metal System Integration Co., Ltd.

Address before: Tokyo, Japan, Japan

Applicant before: Nippon Steel Sytem Integration Co., Ltd.

COR Change of bibliographic data

Free format text: CORRECT: APPLICANT; FROM: NIPPON STEEL SYTEM INTEGRATION CO. LTD. TO: NIPPON STEEL + SUMITOMO METALSYSTEM INTEGRATION CO., LTD.

C14 Grant of patent or utility model
GR01 Patent grant