WO2011135968A1 - 情報処理システム、情報処理方法及びプログラム - Google Patents

情報処理システム、情報処理方法及びプログラム Download PDF

Info

Publication number
WO2011135968A1
WO2011135968A1 PCT/JP2011/057959 JP2011057959W WO2011135968A1 WO 2011135968 A1 WO2011135968 A1 WO 2011135968A1 JP 2011057959 W JP2011057959 W JP 2011057959W WO 2011135968 A1 WO2011135968 A1 WO 2011135968A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
repair work
fault repair
augmented reality
failure
Prior art date
Application number
PCT/JP2011/057959
Other languages
English (en)
French (fr)
Inventor
昇 庵原
和宏 笹尾
Original Assignee
新日鉄ソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 新日鉄ソリューションズ株式会社 filed Critical 新日鉄ソリューションズ株式会社
Priority to CN2011800037960A priority Critical patent/CN102483863B/zh
Priority to US13/497,029 priority patent/US8760471B2/en
Priority to EP11774752.7A priority patent/EP2469475B1/en
Publication of WO2011135968A1 publication Critical patent/WO2011135968A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0706—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment
    • G06F11/0727—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment in a storage system, e.g. in a DASD or network based storage system
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/079—Root cause analysis, i.e. error or fault diagnosis
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems

Definitions

  • the present invention relates to a technology that can superimpose and display real space video and computer graphics image data.
  • Patent Document 1 there is known a technique for simplifying a removal operation using Augmented Reality (hereinafter referred to as AR) for a paper jam in a copying machine. Specifically, when a paper is not detected by a predetermined sensor within a predetermined time, it is considered that a paper jam has occurred, and an internal image of the copier and an operation procedure prepared in advance in association with the paper jam occurrence position are displayed. It is displayed superimposed. As a result, the paper jam occurrence location of the copying machine can be easily recognized, and the removal operation can be easily guided.
  • AR is a technique for providing supplementary information by superimposing and displaying computer-managed data (hereinafter referred to as computer graphics image data) such as characters, graphics, still images, and moving images in an actual environment.
  • Patent Document 1 is a case in which a failure that occurs in advance is assumed and countermeasures against the assumed failure are defined in advance. For example, a new failure may occur by combining a plurality of failure factors. In this case, the technique disclosed in Patent Document 1 cannot provide guidance for optimal failure repair work.
  • an object of the present invention is to provide work support by guiding an optimal failure repair work even when an unexpected failure occurs.
  • the first aspect of the information processing system of the present invention is capable of analyzing an augmented reality presentation apparatus capable of combining and displaying a real space image and computer graphics image data, and a failure occurring in the computer system.
  • the failure analysis apparatus includes an acquisition unit that acquires information related to an operation status of the computer system, and information related to the operation status acquired by the acquisition unit. Based on determination means for determining information related to the fault repair work for the computer system, and transmission means for transmitting information on the fault repair work determined by the determination means to the augmented reality presentation apparatus.
  • the augmented reality presentation device is configured to perform the fault repair work based on the information related to the fault repair work.
  • the present invention has a presentation means for synthesizing and presenting computer graphics image data that guides a method with a video of a real space, and the failure analysis device is configured to perform a fault repair work by guidance presented by the augmented reality presentation device,
  • the determination means newly determines information related to the fault repair work for the computer system based on the information related to the operation status.
  • the transmission means transmits information on the newly determined failure repair work to the augmented reality presentation device.
  • An information processing method includes an augmented reality presentation device capable of combining and displaying a video in real space and computer graphics image data, a failure analysis device capable of analyzing a failure occurring in a computer system, and
  • the failure analysis apparatus is an information processing method executed by the acquisition step of acquiring information related to the operating status of the computer system, and based on the information related to the operating status acquired by the acquiring step, A determination step for determining information related to the fault repair work for the computer system; and a transmission step for transmitting information related to the fault repair work determined in the determination step to the augmented reality presentation device.
  • the sensation presentation device is configured to perform the fault repair based on the information related to the fault repair work.
  • Including a presentation step of synthesizing and presenting computer graphics image data that guides a method of work with a video in a real space and the failure analysis device is configured to perform a failure repair work by guidance presented by the augmented reality presentation device.
  • the information related to the operating status of the computer system is newly acquired, the information related to the fault repair work for the computer system is newly determined based on the information related to the operating status, and the newly determined fault repair is determined.
  • Information on work is transmitted to the augmented reality presentation device.
  • the program of the present invention includes an augmented reality presentation device capable of combining and displaying real-space video and computer graphics image data, and a failure analysis device capable of analyzing a failure occurring in the computer system.
  • a program for causing a computer to execute an information processing method in an information processing system wherein the failure analysis device acquires information relating to an operating status of the computer system, and the failure analysis device includes the acquisition step.
  • Transmission to the augmented reality presentation device And a presenting step in which the augmented reality presentation device synthesizes and presents computer graphics image data for guiding the method of the fault repair work with a video in the real space based on the information on the fault repair work.
  • the failure analysis device includes a step of determining when the information relating to the operating status of the computer system is newly acquired by the acquisition step after the failure repair work by the guidance presented by the augmented reality presentation device.
  • the failure analysis device includes a step of determining when the information relating to the operating status of the computer system is newly acquired by the acquisition step after the failure repair work by the guidance presented by the augmented reality presentation device.
  • an augmented reality presentation device capable of combining and displaying real-space video and computer graphics image data, and analyzing a failure occurring in a repair object
  • the augmented reality presentation device includes a transmission unit, and the augmented reality presentation device guides a method of the fault repair work based on information on the fault repair work. And presenting means for synthesizing and presenting the graphics image data with the image of the real space, and the failure analysis device is configured to repair the object after the failure repair work by the guidance presented by the augmented reality presentation device.
  • the determination means newly determines information related to the obstacle repair work for the repair object based on the information related to the operation status
  • the transmission means transmits information on the newly determined fault repair work to the augmented reality presentation device.
  • FIG. 1 is a diagram schematically showing a configuration of a failure analysis system according to an embodiment of the present invention.
  • FIG. 2A is a diagram illustrating a hardware configuration of the failure analysis apparatus.
  • FIG. 2B is a diagram illustrating a hardware configuration of the HMD and the small camera.
  • FIG. 3 is a flowchart showing the flow of processing of the failure analysis apparatus.
  • FIG. 4A is a flowchart showing the processing of the HMD.
  • FIG. 4B is a flowchart showing the processing of the HMD.
  • FIG. 4C is a flowchart showing the processing of the HMD.
  • FIG. 4A is a flowchart showing the processing of the HMD.
  • FIG. 4B is a flowchart showing the processing of the HMD.
  • FIG. 4C is a flowchart showing the processing of the HMD.
  • FIG. 5 is a diagram illustrating an example of a state in which the computer graphics image data for guiding the route from the current location to the proxy server c that is the target object of the fault repair work is combined and displayed on the real space video in the HMD.
  • FIG. 6 is a diagram illustrating an example of a state in which computer graphics image data for guiding a method of repairing a failure is combined and displayed on a real-space image in the HMD.
  • FIG. 7 is a diagram illustrating an example of a state in which computer graphics image data representing a failure repair completion notification is synthesized and displayed on a real-space video in the HMD.
  • FIG. 8 is a diagram illustrating an example of rule data.
  • FIG. 9 is a diagram illustrating an example of the proficiency level determination table.
  • FIG. 10 is a diagram illustrating an example of the work content description table.
  • FIG. 11 is a diagram illustrating an example of a worker table.
  • FIG. 12 is a diagram illustrating an example of a work content history table.
  • FIG. 13 is a diagram illustrating an example of the required capability table.
  • FIG. 14 is a diagram illustrating an example of the configuration of the information processing system.
  • FIG. 15 is a diagram illustrating a functional configuration of the location management server and the HMD.
  • FIG. 16 is a flowchart illustrating processing of the information processing system.
  • FIG. 17 is a diagram for explaining a signal transmitted from the RFID reader.
  • FIG. 18 is a diagram illustrating an example in which the network cable laid on the free access floor is displayed as AR on the floor surface.
  • FIG. 19 is a diagram for explaining an example of a configuration for specifying the position of the network cable laid on the free access floor.
  • FIG. 20 is a diagram for explaining an example of a configuration for specifying the position of the
  • FIG. 1 is a diagram schematically showing a configuration of a failure analysis system according to an embodiment of the present invention.
  • the failure analysis system acquires information related to the operation status of various servers and routers 111 to 118 installed in a data center, and determines a failure repair work method.
  • An analysis device 120 is provided. The determination of the failure repair work method is executed, for example, when there is a complaint from the user that the Internet cannot be used.
  • the failure analysis apparatus 120 determines the failure repair work method
  • the failure analysis apparatus 120 provides the guidance information to the place of the failure repair work and the guide information of the failure repair work method for the glasses-type worn on the heads of the workers y and x.
  • HMD Head Mounted Display
  • the HMDs 101 and 104 synthesize and display computer graphics image data that guides the workers y and x to the location of the fault repair work, and computer graphics image data that guides the method of the fault repair work, with video in the real space. To do.
  • the HMDs 101 and 104 produce an expanded sense of reality by displaying computer graphics image data at positions that match optical images that are optically transmitted and projected on the lens portions of the HMDs 101 and 104.
  • AR Augmented Reality
  • HMD There are various types of HMD such as non-transmission type, video transmission type, and optical transmission type.
  • the composite display is to superimpose and display computer graphics image data at a matching position on the real space image displayed on the lens portion of the HMD by any method.
  • the image is superimposed and displayed on the image of the real space seen through, and in the case of the video transmission type, the image is displayed on the image of the real space captured by the video camera.
  • an eyeglass-type HMD is cited as an example of an AR display device that is a device that performs AR display.
  • a mobile terminal AR display device that displays a real-space image captured by a camera on a liquid crystal display or the like, and displays and displays computer graphics image data on the displayed real-space image may be used.
  • It may be a head-up display AR display device that is installed in the line-of-sight direction of the driver's seat of the vehicle and displays computer graphics image data in a composite image of real space that is optically transmitted and projected.
  • Computer graphics image data when computer graphics image data is displayed in alignment with an image in the real space, coordinates between the object in the image in the real space and the computer graphics image data are performed.
  • coordinate alignment based on the position (latitude, longitude) and posture (direction, elevation angle) of the HMD, it is estimated where the worker wearing the HMD is looking in the real space and matches the estimated position.
  • Computer graphics image data may be synthesized, or a marker is attached to an object in the real space, the marker is photographed with a camera, and the position of the marker is detected from the photographed image data.
  • the computer graphics image data may be synthesized so as to match the determined position.
  • the position of the object in the real space may be detected by analyzing the image data in the real space captured by the camera, and the computer graphics image data may be synthesized so as to match the detected position.
  • small cameras 102 and 105 are attached to the HMDs 101 and 104 so that image data can be taken at an angle of view close to the field of view of the workers x and y.
  • the captured image data is transmitted to the failure analysis apparatus 120 via a wireless communication line.
  • the failure analysis device 120 temporarily stores the received image data in the storage device 122 and then analyzes the image data to detect the presence of the servers and routers 111 to 118 reflected in the image data, and to detect the servers and routers 111 to 118.
  • the operation state of 118 is determined.
  • the failure analysis apparatus 120 registers the image data of the servers and routers 111 to 118 in advance, and matches the captured image data with the image data of the servers and routers 111 to 118, so that the servers and routers are matched. The presence of 111 to 118 is detected.
  • the failure analysis apparatus 120 analyzes the image data of the power lamp portions of the servers and routers 111 to 118, and if the power lamp can be detected, the server is turned on. If it is determined that the power lamp is lit, it is determined that the server is turned off.
  • the failure analysis apparatus 120 acquires log data from the servers and routers 111 to 118 installed in the data center by the monitoring unit 121.
  • Examples of the log data acquired here include CPU usage rate, memory usage rate, power supply voltage, temperature, communication speed, number of accesses, and the like.
  • Log data acquired by the monitoring unit 121 is held in the storage device 122.
  • the storage device 122 stores past failure response data indicating a response method actually performed when a past failure occurred, and rule data indicating a predetermined response rule when a failure occurs. For example, when a complaint is received that the Internet cannot be used, the instruction content generation unit 123 analyzes the latest log data and image data to recognize the operating status of the corresponding server and router, and to deal with the failure that has occurred. Relevant rule data and past failure handling data are acquired from the storage device 122 to determine the method of failure repair work.
  • the failure analysis apparatus 120 acquires map data including the current location of the HMDs 101 and 104 (the workers y and x wearing the HMDs 101 and 104) and the location of the failure repair work. Then, guidance information for guiding the route from the current location to the location of the fault repair work is generated. The generated guidance information is transmitted to the HMDs 101 and 104.
  • the HMDs 101 and 104 combine the computer graphics image data for guiding the route from the current location to the location of the fault repair work with the video in the real space and display the AR. .
  • GPS Global Positioning system
  • the instruction content generation unit 123 transmits the fault repair work method to the HMDs 101 and 104.
  • the HMDs 101 and 104 synthesize computer graphics image data for guiding a method for repairing a failure with a video in the real space and display the AR. Thereby, the workers y and x can perform the fault repair work according to the guidance.
  • the small cameras 102 and 105 photograph the image data of the servers and routers 111 to 118 that are the target of the fault repair work, and the instruction content generation unit 123 takes the image data. It is possible to detect by analyzing.
  • the failure analysis apparatus 120 is also connected to the PCs 130 of supervisors z of workers y and x in remote locations of the data center via the Internet.
  • the failure analysis apparatus 120 analyzes the content of the e-mail and determines the method of the failure repair work in consideration of the analyzed content.
  • FIG. 2A is a diagram illustrating a hardware configuration of the failure analysis apparatus 120 according to the present embodiment.
  • the CPU 201 comprehensively controls each device and controller connected to the system bus.
  • the ROM 203 or HD (hard disk) 207 stores a BIOS (Basic Input / Output Output System), an operating system program, a program for the processing shown in FIG. .
  • BIOS Basic Input / Output Output System
  • the HD 207 is configured to be disposed inside the failure analysis apparatus 120.
  • a configuration corresponding to the HD 207 may be configured to be disposed outside the failure analysis apparatus 120.
  • the program for performing the processing shown in FIG. 3, for example, according to the present embodiment is recorded on a computer-readable recording medium such as a flexible disk (FD) or CD-ROM, and supplied from these recording media.
  • FD flexible disk
  • CD-ROM compact disc-read only memory
  • it may be configured to be supplied via a communication medium such as the Internet.
  • the RAM 202 functions as a main memory, work area, and the like for the CPU 201.
  • the CPU 201 implements various operations by loading a program necessary for execution of processing into the RAM 202 and executing the program.
  • HD 207 and FD 206 function as an external memory.
  • the CPU 201 implements various operations by loading a program necessary for execution of processing into the RAM 202 and executing the program.
  • the disk controller 205 controls access to external memories such as the HD 207 and the FD 206.
  • the communication I / F controller 204 is connected to the Internet or a LAN, and controls communication with the outside by, for example, TCP / IP.
  • the display controller 208 controls image display on the display 209.
  • the KB controller 210 receives an operation input from the KB (keyboard) 211 and transmits it to the CPU 201.
  • a pointing device such as a mouse can also be applied to the failure analysis apparatus 120 according to the present embodiment as a user operation means.
  • the instruction content generation unit 123 shown in FIG. 1 has a configuration realized by, for example, a program stored in the HD 207 and loaded into the RAM 202 as necessary and the CPU 201 executing the program.
  • the monitoring unit 121 has a configuration corresponding to the communication I / F controller 204, and the storage device 122 has a configuration corresponding to the HD 207.
  • FIG. 2B is a diagram illustrating a hardware configuration of the HMDs 101 and 104 and the small cameras 102 and 105 according to the present embodiment.
  • the CPU 301 comprehensively controls each device and controller connected to the system bus.
  • the ROM 302 stores, for example, processing programs shown in FIGS. 4A to 4C executed by the HMDs 101 and 104. 4A to 4C may be supplied via a communication medium such as the Internet.
  • the RAM 304 functions as a main memory, work memory, and the like for the CPU 301.
  • the CPU 301 implements various operations by loading a program necessary for execution of processing into the RAM 304 and executing the program.
  • the communication I / F controller 303 is connected to the Internet or a LAN, and controls communication with the outside by TCP / IP, for example.
  • the imaging unit 305 converts the subject image incident through the optical lens and formed on the imaging element into an electrical signal, and outputs moving image data or still image data.
  • the display controller 306 controls image display on the display 307.
  • an optically transmissive head-mounted display is employed, the display 307 is configured by a half mirror, and the user who wears the camera can view the outside through the display 307.
  • the imaging unit 305 has a configuration corresponding to the small cameras 102 and 105 in FIG.
  • FIG. 3 is a flowchart showing a processing flow of the failure analysis apparatus 120 according to the present embodiment.
  • the process illustrated in FIG. 3 is a process that is started when the administrator inputs the content of the complaint to the failure analysis apparatus 120 when there is a complaint from the user, for example, that the Internet cannot be used.
  • step S301 the instruction content generation unit 123 acquires the latest log data and image data, and necessary rule data and past failure handling data from the storage device 122.
  • Log data and image data stored in the storage device 122 are acquired by the monitoring unit 121.
  • the monitoring unit 121 may acquire log data at a timing when the log data is updated in each server or router 111 to 118, or may acquire log data at a regular timing.
  • the monitoring unit 121 acquires image data at the timing when the small cameras 102 and 105 capture image data.
  • step S ⁇ b> 302 the instruction content generation unit 123 uses the existing decision tree algorithm, for example, based on the log data, image data, rule data, and past failure handling data acquired from the storage device 122. Determine.
  • “who (worker object) performs what (operation object) with respect to which device (target object)” is determined as a method of failure repair work.
  • worker x (worker object) performs a restart (operation object) on Web server a 117 (target object)
  • worker y worker object moves to Web server b 112 (target object). Assume that it is determined that a restart (operation object) is performed on the object.
  • step S303 the instruction content generation unit 123 determines whether the failure repair work has been completed. When the failure repair work is completed, the process proceeds to step S307. On the other hand, if the failure repair work has not been completed, the process proceeds to step S304. Here, since the method of the fault repair work is determined in the immediately preceding step S302, it is determined that the fault repair work has not been completed. Therefore, the process proceeds to step S304.
  • step S304 the instruction content generation unit 123 acquires map data including the current location of the HMDs 101 and 104 and the position of the target object, and provides guidance information for guiding a route from the current value of the HMDs 101 and 104 to the target object. It is generated and transmitted to the HMDs 101 and 104. In other words, the instruction content generation unit 123 transmits guidance information for guiding the route from the current location of the worker y wearing the HMD 101 to the Web server b 112 to the HMD 101, and the HMD 104 to the HMD 104. Guidance information for guiding the route from the current location of the attached worker x to the Web server a 117 is transmitted.
  • step S305 the instruction content generation unit 123 analyzes whether or not the workers y and x wearing the HMDs 101 and 104 have arrived at the target object by analyzing the image data acquired from the storage device 122 in step S301. judge. That is, here, the instruction content generation unit 123 analyzes the image data captured by the small cameras 102 and 105, and as a result, the image data of the Web server b 112 and the Web server a 117 is an area in which the image data of the Web server b 112 or the Web server a 117 exceeds a certain ratio. Is determined to have arrived at the target object. If the target object has been reached, the process proceeds to step S306. On the other hand, if it has not arrived at the target object, the process returns to step S304.
  • step S306 the instruction content generation unit 123 transmits a failure repair work method to the HMDs 101 and 104.
  • the instruction content generation unit 123 transmits to the HMD 101 a failure repair work method with the content “worker y performs restart to the Web server b 112”.
  • the instruction content generation unit 123 transmits to the HMD 104 a failure repair work method with the content “worker x restarts the Web server a 117”.
  • computer graphics image data for guiding the method of the fault repair work “worker y restarts the Web server b 112” is displayed in combination with the real space on the HMD 101.
  • the HMD 104 displays computer graphics image data that guides the method of fault repair work “worker x restarts the Web server a 117” in combination with the real space. Workers y and x perform fault repair work according to guidance by computer graphics image data displayed on the HMDs 101 and 104, respectively. If a change in the CPU usage rate, memory usage rate, communication speed, number of accesses, etc. of the servers and routers 111 to 118 occurs due to the fault repair work, the server and routers 111 to 118 update the log data.
  • step S306 the process returns to step S301.
  • step S ⁇ b> 301 the instruction content generation unit 123 again acquires the latest log data and image data, necessary rule data, and past failure handling data from the storage device 122.
  • step S ⁇ b> 302 the instruction content generation unit 123 uses the existing decision tree algorithm, for example, based on the log data, image data, rule data, and past failure handling data acquired from the storage device 122. Determine.
  • the worker x (worker object) performs a restart (operation object) on the proxy server c115 (target object), and the worker y (worker object) Assume that it is determined that the proxy server d111 (target object) is to confirm the setting file (operation object).
  • step S303 the instruction content generation unit 123 determines whether the failure repair work has been completed.
  • the process proceeds to step S304.
  • step S304 the instruction content generation unit 123 generates guidance information for guiding a route from the Web server b112, which is the current location of the HMD 101, to the proxy server d111, which is the target object, using the same method as described above. It transmits to HMD101. Similarly, the instruction content generation unit 123 generates guidance information for guiding a route from the Web server a 117 that is the current location of the HMD 104 to the proxy server c 115 that is the target object, and transmits the guidance information to the HMD 104.
  • step S305 the instruction content generation unit 123 determines whether or not the workers y and x wearing the HMDs 101 and 104 have arrived at the proxy server d111 and the proxy server c115, which are target objects, by the same method as described above. Determine whether.
  • the instruction content generation unit 123 transmits the content of the fault repair work to the HMDs 101 and 104 in step S306. That is, the instruction content generation unit 123 transmits to the HMD 101 a failure repair work method with the content “worker y checks the setting file with respect to the proxy server d111”.
  • the instruction content generation unit 123 transmits to the HMD 104 a failure repair work method with the content “worker x restarts the proxy server c115”.
  • the computer graphics image data for guiding the method of the fault repair work “worker y confirms the setting file to the proxy server d111” is synthesized and displayed on the HMD 101.
  • the HMD 104 also displays computer graphics image data that guides a failure repair work method “worker x restarts the proxy server c115”. Workers y and x perform fault repair work according to guidance by computer graphics image data displayed on the HMDs 101 and 104, respectively. The log data is updated by this failure repair work.
  • the supervisor z of the workers y and x recalls that there was a hardware failure of the router e116 on the previous day, and that the response was made.
  • To the mail address of the worker x “There was a hardware failure of the router e116 on the previous day. It is assumed that an e-mail stating “A response has been made” has been sent. This e-mail is acquired by the monitoring unit 121 in step S302. The acquired electronic mail is stored in the storage device 122.
  • step S306 the process returns to step S301.
  • step S ⁇ b> 301 the instruction content generation unit 123 acquires the e-mail from the storage device 122 in addition to the latest log data and image data, necessary rule data, and past failure handling data.
  • the instruction content generation unit 123 uses, for example, an existing decision tree algorithm based on the above-described e-mail in addition to the log data, image data, rule data, and past failure response data acquired from the storage device 122. Determine the method of repair work.
  • the analysis contents of the e-mail are reflected, and as a failure repair work method, the worker x (worker object) confirms the information in the routing table (operation object) with respect to the router e 116 (target object). Is determined to be performed.
  • step S303 the instruction content generation unit 123 determines whether the failure repair work has been completed.
  • the process proceeds to step S304.
  • step S304 the instruction content generation unit 123 generates guidance information for guiding a route from the proxy server c115, which is the current location of the HMD 104, to the router e116, which is the target object, by the same method as described above. Send to.
  • the guidance information for the HMD 101 is not generated because there is no change in the target object in the fault repair work for the worker x wearing the HMD 101.
  • step S305 the instruction content generation unit 123 determines whether the worker x wearing the HMD 104 has arrived at the router e116, which is the target object, by the same method as described above. If it is determined that the worker x wearing the HMD 104 has arrived at the router e116 that is the target object, the instruction content generation unit 123 transmits the content of the fault repair work to the HMD 104 in step S306. That is, the instruction content generation unit 123 transmits to the HMD 104 a failure repair work method with the content “worker x confirms routing table information to the router e 116”. As a result, the computer graphics image data for guiding the method of the fault repair work “worker x confirms the routing table information to the router e 116” is synthesized and displayed on the HMD 104.
  • the worker x when the worker x confirms the routing table information according to the guidance of the method of repairing the failure, the worker x has confirmed that the routing table information should have been changed due to hardware failure handling, but has not been changed. To do.
  • the worker x captures the display on which the routing table information is displayed with the small camera 105 and transmits the routing table information to the failure analysis apparatus 120 as image data.
  • the failure analysis device 120 stores the image data in the storage device 122.
  • step S306 the process returns to step S301.
  • step S ⁇ b> 301 the instruction content generation unit 123 again acquires the latest log data and image data, necessary rule data, and past failure handling data from the storage device 122.
  • step S302 the instruction content generation unit 123 uses the existing decision tree algorithm, for example, based on the log data, the image data, the rule data, and the past failure handling data acquired from the storage device 122. Determine.
  • the worker x it is detected by the analysis of the image data that the information in the routing table should have been changed but not changed, and as a failure repair work method, the worker x (worker object) is the router e116 (target object).
  • the information of the routing table is changed (operation object).
  • step S303 the instruction content generation unit 123 determines whether the failure repair work has been completed.
  • the process proceeds to step S304.
  • step S304 the instruction content generation unit 123 does not generate guidance information for the HMDs 101 and 104.
  • step S305 the instruction content generation unit 123 determines that both the workers y and x wearing the HMDs 101 and 104 have arrived at the target object. Therefore, the process proceeds to step S306.
  • step S ⁇ b> 306 the instruction content generation unit 123 transmits the content of the failure repair work to the HMD 104. That is, the instruction content generation unit 123 transmits to the HMD 104 a failure repair work method “worker x changes the routing table information to the router e 116”. As a result, the computer graphics image data for guiding the failure repair work method “worker x changes the information in the routing table to the router e 116” is synthesized and displayed on the HMD 104.
  • the log data of the server and routers 111 to 118 is updated and the lighting state of the server and router lamps is changed.
  • the captured image data is also updated.
  • the log data and the image data updated in this way are stored in the storage device 122 of the failure analysis device 120.
  • step S306 the process returns to step S301.
  • step S ⁇ b> 301 the instruction content generation unit 123 again acquires the latest log data and image data, necessary rule data, and past failure handling data from the storage device 122.
  • step S ⁇ b> 302 the instruction content generation unit 123 uses the existing decision tree algorithm, for example, based on the log data, image data, rule data, and past failure handling data acquired from the storage device 122. Determine.
  • the instruction content generation unit 123 detects the result of analyzing the log data, for example, by detecting that the CPU usage rate has decreased, the communication speed has been improved, or the result of analyzing the image data, for example, a failure lamp. By detecting that is turned off, etc., it is determined that there is no failure, and the method of failure repair work is not determined. Accordingly, in step S303, it is determined that the fault repair has been completed, and the process proceeds to step S307.
  • step S307 the instruction content generation unit 123 transmits a failure repair completion notification to the HMDs 101 and 104.
  • computer graphics image data having a content such as “completely restored at XX hour” is displayed on the HMDs 101 and 104, for example. Workers y and x finish the fault repair work.
  • the processing shown in FIG. 3 is not limited to the input to the failure analysis apparatus by the administrator, but may be started when the performance information of various devices in the data center exceeds a predetermined threshold.
  • FIGS. 4A to 4C are flowcharts showing processing of the HMDs 101 and 104.
  • FIG. 4A shows a process in which the HMDs 101 and 104 display computer graphics image data that guides the route from the current location to the target object of the fault repair work.
  • FIG. 4B shows a process in which the HMDs 101 and 104 display computer graphics image data that guides the method of fault repair work.
  • FIG. 4C illustrates a process in which the HMD 101 or 104 displays a failure repair completion notification.
  • Each process shown in FIGS. 4A to 4C is performed by the CPU 301 reading a necessary program from the ROM 302 and executing it.
  • step S ⁇ b> 401 the HMDs 101 and 104 determine whether or not guidance information for guiding a route from the current location to the target object for failure repair work has been received from the failure analysis apparatus 120.
  • the process proceeds to step S402. If the guide information has not been received, the process returns to step S401 and again determines whether the guide information has been received.
  • step S402 the HMDs 101 and 104 superimpose computer graphics image data that guides the route from the current location to the target object of the fault repair work on the real space video, and display the AR. As a result, the route from the current location to the target object of the fault repair work is guided to the workers y and x.
  • FIG. 5 is a diagram illustrating an example of a state in which the computer graphics image data for guiding the route from the current location to the proxy server c115 that is the target object of the fault repair work is combined and displayed on the real space video in the HMD 104.
  • a proxy server d111, a Web server b112, a proxy server c115, and a router e116 are real space images.
  • Reference numeral 501 denotes computer graphics image data that guides the route from the current location to the proxy server c115 that is the target object of the fault repair work, and is synthesized and displayed in a state where the coordinates are matched with the video in the real space.
  • reference numeral 502 denotes computer graphics image data that clearly indicates that the target object as a route guidance destination is the proxy server c115, and is combined and displayed at a predetermined position in the video displayed on the HMD 104.
  • step S ⁇ b> 403 the HMDs 101 and 104 determine whether a failure repair work method has been received from the failure analysis apparatus 120. When the failure repair work method is received, the process proceeds to step S404. On the other hand, if the failure repair work method has not been received, the process returns to step S403 to determine whether the failure repair work method has been received again.
  • step S ⁇ b> 404 the HMDs 101 and 104 synthesize and display computer graphics image data that guides the method of fault repair work on the video in the real space. As a result, the method of the fault repair work is guided to the workers y and x.
  • FIG. 6 is a diagram showing an example of a state in which the computer graphics image data for guiding the method of repairing the failure is synthesized and displayed on the real space video in the HMD 104.
  • the proxy server c115 is an image of a real space. Since the operation object of the fault repair work is restart, the computer graphics image data 601 indicating the restart button is combined and displayed at the position of the restart button.
  • Reference numeral 602 denotes computer graphics image data that clearly indicates that the target object of the fault repair work is the proxy server c115 and that the operation object is restart, and is synthesized and displayed at a predetermined position in the video displayed on the HMD 104. Has been.
  • step S ⁇ b> 405 the HMDs 101 and 104 determine whether a failure repair completion notification has been received from the failure analysis apparatus 120. If a failure repair completion notification is received, the process proceeds to step S406. On the other hand, if the failure repair completion notification has not been received, the process returns to step S405 to determine whether or not the failure repair completion notification has been received again.
  • step S ⁇ b> 406 the HMDs 101 and 104 synthesize and display computer graphics image data representing a failure repair completion notification on the real space video. As a result, the workers y and x are notified that the fault repair work has been completed.
  • FIG. 7 is a diagram illustrating an example of a state in which the computer graphics image data representing the failure repair completion notification is synthesized and displayed on the real space video in the HMD 104.
  • a router e116 is a real space image.
  • Reference numeral 701 denotes computer graphics image data for notifying that the failure repair work has been completed, and is synthesized and displayed at a predetermined position in the video displayed on the HMD 104.
  • the worker when a complaint occurs, information related to the fault repair work corresponding to the fault that has occurred is presented to the worker.
  • the worker proceeds with the work according to the information concerning the trouble repair work such as the presented trouble repair work method and the place where the trouble occurs, but the operating state of the system changes depending on the work.
  • the operating state of the system changes, information related to the fault repair work including the method of the fault repair work corresponding to the system operating state after the change is newly obtained and presented to the operator.
  • the failure analysis device acquires log data and image data each time, and seeks a method for repairing the failure according to the operating status of the system at that time Is possible.
  • instruction content generation unit 123 determines the method of the fault repair work and uses an algorithm of an existing decision tree will be described below with reference to FIG.
  • FIG. 8 is a diagram showing an example of rule data.
  • the rule data shown in FIG. 8 indicates the weighting of the priority of failure repair work for each check item.
  • the weighting is represented by numerical values from “0” to “10”, and the higher the numerical value, the higher the priority.
  • the instruction content generation unit 123 determines each check item of the rule data shown in FIG. 8 from information (various log data, CPU usage rate, memory usage rate, communication speed, command execution result, etc.) indicating the operating status of the computer system. It is determined whether it corresponds to. Then, the instruction content generation unit 123 calculates the total value of the weights of the check items determined to correspond to the current computer system operation status for each fault repair work, and performs the fault repair work with the largest calculated total value. Instruct employees.
  • the proficiency level of the worker is determined based on the execution result of the work by the worker, and according to the determined proficiency level of the determined worker, It may be configured to change the instruction content.
  • the instruction content generation unit 123 measures the time from when the worker starts the work to the completion of the work after transmitting the information for instructing the failure recovery work to the worker, for example, the measured time To determine the proficiency level of the worker.
  • a proficiency level determination table in which a correspondence relationship between work time and proficiency level is defined in advance is stored in the storage device 122.
  • FIG. 9 is a diagram illustrating an example of the proficiency level determination table.
  • the instruction content generation unit 123 determines whether or not the work performed by the worker has been correctly performed after transmitting information instructing the failure recovery work to the worker, and the rate at which the work has been performed correctly
  • the configuration may be such that the proficiency level of the worker is determined based on (work success rate).
  • a proficiency level determination table in which the correspondence between the degree of correct work and the proficiency level is defined in advance is stored in the storage device 122. In the example of the proficiency level determination table 2 shown in FIG. 9, for the work 1, if the success rate is 90% or more, the A determination is made, if the success rate is 70% or more, the B determination is made if the success rate is less than 90%, and the success rate is If it is less than 70%, it indicates C determination.
  • the rate at which work is correctly performed may be, for example, the rate of the number of items that have been correctly worked out of the total number of work items, or the difficulty level of the work.
  • the weighting may be performed using the evaluation formula defined in advance after weighting, and is not particularly limited.
  • the instruction content generation unit 123 determines information on failure recovery work to be transmitted to the worker next time according to the determination result of the proficiency level of the worker. For example, even if a new worker and an experienced worker perform the same work, technical terms may not be understood for new and part-time workers. In contrast, it is better to explain the basic matters in detail to the veteran workers because the work efficiency is reduced, and it is preferable to use technical terms.
  • the instruction content generation unit 123 transmits, to the new worker, information representing a failure repair work method in which the work content is described in detail in an expression that does not use technical terms, for example.
  • the HMD worn by the new worker displays the AR by combining the computer graphics image data that guides the method of the fault repair work described in detail with the real space video.
  • the instruction content generation unit 123 transmits information representing the method of the fault repair work in which the work content is briefly explained to the experienced worker in an expression using technical terms.
  • the HMD worn by the veteran worker synthesizes computer graphics image data that guides the method of fault repair work, which briefly describes the work contents using technical terms, and displays the AR by synthesizing it with the video in the real space. .
  • the content explanation table needs to be stored in the storage device 122 in advance.
  • the instruction content generation unit 123 determines the proficiency level of the worker, the instruction content generation unit 123 reads the description of the work content corresponding to the determined proficiency level from the work content description table, and transmits the read description to each worker.
  • FIG. 10 is a diagram showing an example of the work content explanation table.
  • the instruction content generation unit 123 transmits the content of the description X to, for example, the worker who has determined the proficiency level A for the work 1.
  • the failure repair work is repeatedly performed according to the work result.
  • the worker is in accordance with the work content of the worker up to the previous time.
  • a description of the work order at a different level is sent to each.
  • work instructions can be appropriately given in accordance with the level of proficiency of the user, so that failure recovery work can be performed efficiently.
  • such a configuration that takes security into consideration is based on the job title data and access authority of the worker registered in advance in the worker table or the like. May be determined.
  • a worker who performs failure recovery work may be determined according to the proficiency level of the worker.
  • the instruction content generation unit 123 determines the proficiency level of each worker using the proficiency level determination table for the contents of the failure recovery work performed by each worker in the same manner as the above-described configuration, and each determination result is a determination result. Write the proficiency level of the worker to the worker table.
  • FIG. 11 is a diagram illustrating an example of a worker table. In the example illustrated in FIG. 11, for the worker X, the proficiency level of the work 1 is determined as A rank, and the proficiency level of the work 2 is determined as B rank.
  • the proficiency level determination table is used for the work contents of the previous failure recovery work.
  • the structure which determines a degree may be sufficient.
  • the work content history of past failure recovery work (work time and the degree of work being correctly performed) is stored in the work content history table, and the proficiency level determination table is used based on the average value of each value of the work content history. The proficiency level may be judged. Further, a worker who has no work content history may be determined to have the lowest proficiency level, and is not particularly limited.
  • FIG. 12 is a diagram illustrating an example of a work content history table. In the example shown in FIG. 12, for example, the worker with worker ID 001 (that is, worker X) has performed work 1 on March 1, 20XX with a work time of 3 minutes and a work success rate of 85%.
  • FIG. 13 is a diagram illustrating an example of the required capability table.
  • the minimum capability level required for the worker who performs the work 1 is C rank.
  • the instruction level generation unit 123 determines the proficiency level required to take charge of the determined failure recovery work from the requested capability table. read out. Then, the instruction content generation unit 123 reads out the ability level data of each worker stored in the worker table, determines a worker having the ability level necessary to take charge of the failure recovery work, and determines Information indicating a method of repairing the failure is transmitted to the worker who has completed the process.
  • the capability level data stored in the worker table may be determined based on, for example, the average value of proficiency level of each task, or may be determined by other evaluation formulas. Any value that represents a typical ability level.
  • this capability level may be updated by the instruction content generation unit 123 every time each failure repair work is performed by the worker.
  • the failure repair work is repeatedly performed according to the work result.
  • the worker is in accordance with the work content of the worker up to the previous time. Is determined. Thereby, it becomes possible to determine an appropriate worker according to the difficulty level of the repair work as a person in charge.
  • the network cable to be checked is located in the server rack under the free access floor panel. Or, it is necessary to specify where the equipment is laid in the wall surface of the facility (hereinafter referred to as “free access floor”).
  • the present invention also provides a technique that makes it possible to easily find a desired network cable from the network cables laid on the free access floor using the AR technique.
  • this technique will be described in detail.
  • the failure analysis system superimposes and displays a virtual image representing the network cable on the floor panel in the real space or the captured image of the floor panel along the actual network cable laid on the free access floor. Is.
  • FIG. 14 is a diagram illustrating an example of the configuration of the failure analysis system according to the embodiment of the present invention.
  • the failure analysis system according to the embodiment of the present invention includes a network cable 801 in which RFIDs 800a, 800b, 800c,... 802d, the location management server 803, and HMD804 are comprised.
  • FIG. 14 shows only the part related to the technique for displaying the network cable in AR, but the configuration shown in FIG. 14 is incorporated as part of the failure analysis system shown in FIG. That is, various configurations for supporting the failure repair work are the same as those of the failure analysis system shown in FIG.
  • the network cable 801 is laid on the free access floor in the data center, and the network cable 801 is not visible by the floor panel. Further, RFID 800 is embedded in the network cable 801 at a constant interval (for example, 1 m interval), and each RFID stores an ID for identifying the network cable.
  • RFID readers 802a to 802d receive radio waves from RFID 800 embedded in network cable 801.
  • the location management server 803 is connected to the RFID readers 802a to 802d through a network so as to be able to communicate with the RFID readers 802a to 802d, and detects the location of each RFID 800 based on information received from the RFID readers 802a to 802d. Then, the location management server 803 transmits location information indicating the location of the detected RFID 800 to the HMD 804. Details of the location management server 803 will be described later.
  • the location management server 803 and the RFID readers 802a to 802d are connected by a wireless network, but may be connected by a wired LAN.
  • the hardware configuration of the location management server 803 is similar to the failure analysis apparatus 120 described with reference to FIG. 2A, and the CPU controls each device and controller connected to the system bus. In addition to BIOS and OS, programs for realizing various functions are stored.
  • the HMD 804 superimposes and displays a virtual image 805 representing the network cable 801 on the floor surface along the actual position of the network cable 801 based on the position information of the RFID 800 received from the position management server 803. Note that the same functions as those of the HMD 101 described with reference to FIG. 1 are provided, and detailed description thereof is omitted.
  • the hardware configuration of the HMD 804 is similar to the HMD 101 described with reference to FIG. 2B, and the CPU controls each device and controller connected to the system bus, and the memory and HD have a BIOS and OS. In addition, programs for realizing various functions are stored.
  • FIG. 15 is a diagram illustrating a functional configuration of the location management server 803 and the HMD 804.
  • the location management server 803 includes a signal receiving unit 8031, a location specifying unit 8032, and a location information transmitting unit 8033.
  • the signal receiving unit 8031 receives signals transmitted from the RFID readers 802a to 802d.
  • the position identifying unit 8032 identifies each position of the RFID 800 (RFID 800a, RFID 800b, RFID 800c,...) Provided in the network cable 801 based on the signal received by the signal receiving unit 8031 from each of the RFIDs 802a to 802d. To do.
  • the position information transmission unit 8033 transmits position information indicating each position of the RFID 800 to the HMD 804.
  • the HMD 804 includes a position information receiving unit 8041, a position and orientation detection unit 8042, and an image presentation unit 8043.
  • the position information receiving unit 8041 receives the position information described above from the position management server 803.
  • the position / orientation detection unit 8042 detects the position (for example, latitude, longitude, or locally defined position coordinates) and the attitude (for example, direction, elevation angle) of the HMD 804. Based on the position and orientation of the HMD 804 detected by the position and orientation detection unit 8042, the image presentation unit 8043 estimates where the worker wearing the HMD 804 is looking in the real space.
  • the image presentation unit 8043 confirms that the worker is looking on the floor where the network cable 801 is laid on the free access floor based on the location information of the RFID 800 received by the location information receiving unit 8041.
  • a virtual image 805 representing the network cable 801 is generated along the actual position of the network cable 801 laid on the free access floor, and an image on the floor surface (in the case of a transmissive HMD, a real space) Superimposed on the display.
  • FIG. 16 is a flowchart showing processing of the failure analysis system according to the embodiment of the present invention.
  • the signal receiving unit 8031 receives high-level signals from all of the RFID readers 802a to 802d.
  • FIG. 17 is a diagram for explaining signals transmitted from the RFID readers 802a to 802d.
  • a plurality of network cables are laid on the free access floor.
  • an operator connects the network to the failure analysis system via an input device such as a portable terminal. Assume that an input for instructing to display the position of the cable 801 in AR is performed.
  • the network cable 801 includes a plurality of RFIDs, such as RFID 800a, RFID 800b, RFID 800c,..., But the RFID readers 802a to 802d receive radio signals for all the RFIDs 800 of the network cable 801, and receive them. At this timing, a high-level waveform signal is transmitted to the position management server 803.
  • each RFID 800 provided in the network cable 801 transmits a radio signal
  • a radio signal for example, if the RFID 800 is a passive type
  • an input for instructing the worker to display the position of the network cable 801 in AR is provided.
  • the RFID readers 802a to 802d Upon receiving a signal transmitted from the RFID 800, the RFID readers 802a to 802d output a high level signal at that timing.
  • the RFID reader 802a receives a signal from the RFID 801 at time t1, and outputs a high level signal at the same time t1.
  • the RFID reader 802b receives a signal from the RFID 801 at time t2, and outputs a high level signal at the same time t2.
  • the RFID reader 802c receives a signal from the RFID 800 at time t3 and outputs a high level signal at the same time t3.
  • the RFID reader 802d receives a signal from the RFID 801 at time t4 and outputs a high level signal at the same time t4.
  • the RFID readers 802a to 802d receive signals from the RFID 800a, and the signal receiving unit 8031 of the location management server 803 receives high level signals from all the RFID readers 802a to 802d.
  • the RFID readers 802a to 802d receive signals from the RFID 800b, and the signal receiving unit 8031 of the location management server 803 receives high level signals from all the RFID readers 802a to 802d.
  • signals from all RFIDs 800 provided in the network cable 801 are received, and the signal receiving unit 8031 of the location management server 803 receives high-level signals from all the RFID readers 802a to 802d for all the RFIDs 800.
  • the position specifying unit 8032 receives the position of each RFID 800 (that is, the position of each of the RFID 800a, the RFID 800b, the RFID 800c,. ).
  • a position specifying method for example, a time detection method of TDOA (Time Difference of Arrival) method can be used.
  • TDOA Time Difference of Arrival
  • a technique disclosed in Japanese Patent Laid-Open No. 2000-98019 can be applied.
  • step S503 the position information transmission unit 8033 transmits position information indicating the position specified in step S502 to the HMD 804.
  • the location management server 803 stores information related to the network cable 801 (connection source, connection destination, line speed, etc.) by an operator registering in advance, and the network cable together with the location information is stored in the HMD 804. You may send the information about.
  • step S504 the location information receiving unit 8041 of the HMD 804 receives the location information and information on the network cable described above from the location management server 803.
  • step S505 the position / orientation detection unit 8042 detects the position and orientation of the HMD 804.
  • step S506 the image presentation unit 8043 estimates where in the real space the worker wearing the HMD 104 is looking based on the position and orientation of the HMD 804 detected by the position and orientation detection unit 8042.
  • the image presentation unit 8043 confirms that the worker is looking on the floor where the network cable 801 is laid on the free access floor based on the location information of the RFID 800 received by the location information receiving unit 8041. If detected, a virtual image 805 representing the network cable 801 is generated along the actual position of the network cable 801 laid on the free access floor, and a floor image (transparent HMD) is generated as shown in FIG. In this case, it is displayed superimposed on the real space.
  • FIG. 18 is a diagram illustrating an example in which the network cable laid on the free access floor is displayed as AR on the floor surface.
  • the image presentation unit 8043 presents information related to the network cable 801 (connection source, connection destination, line speed, etc.) in addition to the virtual image indicating the network cable 801.
  • the location of the HMD 804 is specified similarly to the location of the RFID 800.
  • the HMD 804 is also equipped with an RFID, and the RFID readers 802a to 802d receive signals from the RFID of the HMD 804. It can be specified based on the phase difference.
  • the relative positional relationship between the HMD 804 and the RFID 800 can be specified, and the virtual image of the network cable 801 can be displayed as an AR at an appropriate position on the HMD 804.
  • FIG. 19 is a diagram for explaining an example of a configuration for specifying the position of the network cable laid on the free access floor.
  • FIG. 19 is a plan view of the server room.
  • a plurality of racks including a rack A and a rack B are installed on a floor panel Z.
  • a free access floor is installed on a floor panel Z.
  • a network cable is laid, but the network cable is hidden by the floor panel Z and cannot be normally seen.
  • the coordinate is set to the floor panel Z, and the wavy line shown on the floor panel Z is a line for showing a coordinate.
  • FIG. 19 shows an example in which the port a of the device installed in the rack A and the port b of the device installed in the rack B are connected by the network cable Z.
  • the network cable Z is laid under the floor panel Z.
  • FIG. 19 shows a line representing the position of the network cable Z on the floor panel Z.
  • the network cable Z passes through the positions of the coordinates (x1, y1), (x2, y2), (x3, y3), (x4, y4) in order from the port a side. connected to b.
  • the network port and coordinate information are registered by the user.
  • the position management server Z uses the coordinates and network coordinates as the network cable position information to the HMD worn by the worker. Send port information. Furthermore, when the HMD attached to the operator determines that the operator is viewing the floor panel Z where the network cable Z to be confirmed is laid on the free access floor from the HMD, the HMD connects the above coordinates. A virtual image representing a line to be generated is generated, and the generated virtual image is superimposed on the video of the floor panel Z and presented to the worker.
  • FIG. 20 is a diagram for explaining another example of the configuration for specifying the position of the network cable laid on the free access floor.
  • FIG. 20 is a plan view of the server room.
  • a plurality of racks including a rack A and a rack B are installed on the floor panel Z ′.
  • the floor panel Z ' is a free access floor and a network cable is laid, but the network cable is hidden by the floor panel Z' and cannot be normally seen.
  • coordinates are set on the floor panel Z ', and the wavy line shown on the floor panel Z' is a line for indicating the coordinates.
  • FIG. 20 shows an example in which the port a of the device installed in the rack A and the port b of the device installed in the rack B are connected by the network cable Z ′.
  • the network cable Z ′ is laid under the floor panel Z ′, and FIG. 20 shows a line representing the position of the network cable Z ′ on the floor panel Z ′.
  • the network cable Z ′ includes RFIDs at predetermined intervals. Each RFID embedded in the network cable Z 'stores an ID for identifying the network cable Z' from other network cables.
  • the floor panel Z ' is provided with an RFID reader at the point where the wavy lines intersect. This RFID reader can communicate with the position management server Z '.
  • the RFID reader provided at the point where the wavy lines of the floor panel Z ′ intersect each other reads a signal transmitted by the RFID provided in the network cable and transmits it to the position management server Z ′. At this time, each RFID reader transmits the intensity of the read signal to the location management server Z ′ in addition to the signal representing the ID of the network cable Z ′ emitted from the RFID.
  • the location management server Z ′ Based on the signal received from the RFID reader and the signal strength, the location management server Z ′ specifies the coordinates of the RFID reader that has read a signal of a certain strength or higher with the signal from the RFID embedded in the network cable Z ′. . That is, for an RFID reader that has received a signal of a certain strength or higher, the network cable Z ′ passes through the vicinity of the RFID reader, and therefore the network cable Z ′ is identified by the location management server Z ′. It will pass through the coordinates. In the example shown in FIG. 20, the RFID reader provided at the coordinates indicated by the white circles has received a signal having a certain strength. In addition, it is assumed that the port to which the network cable Z ′ is connected is registered in advance in the location management server Z ′ by the user.
  • the location management server Z ′ provides the above-described network cable location information to the HMD worn by the operator. Sends coordinates and port information represented by white circles. Further, the HMD worn by the worker determines that the operator is viewing the floor panel Z ′ where the network cable Z ′ to be confirmed is laid on the free access floor from the HMD. A virtual image representing a line connecting the two is generated, and the generated virtual image is superimposed on the video of the floor panel Z and presented to the worker.
  • the worker is presented with a virtual image representing the network cable on the floor surface along the position of the network cable laid on the free access floor via the HMD.
  • the failure analysis system when the worker receives a work instruction for confirming the network cable as the content of the failure repair work, the target network cable is free accessed. Since it can be easily found where the floor is laid, it is possible to improve the work efficiency of the worker.
  • the embodiment of the present invention can be realized by a computer executing a program.
  • means for supplying a program to a computer for example, a computer-readable recording medium such as a CD-ROM recording such a program, or a transmission medium for transmitting such a program can also be applied as an embodiment of the present invention.
  • a program product such as a computer-readable recording medium that records the program can also be applied as an embodiment of the present invention.
  • the programs, computer-readable recording media, transmission media, and program products are included in the scope of the present invention.
  • the present invention is useful for augmented reality that can superimpose and display real-space video and computer graphics image data.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Human Computer Interaction (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Debugging And Monitoring (AREA)

Abstract

　故障解析装置（１２０）は、データセンタの稼働状況に係る情報を取得し、稼働状況に係る情報に基づいて、データセンタに対する障害修復作業に関する情報を判定し、障害修復作業に関する情報をＨＭＤ（１０１、１０４）に対して送信する。ＨＭＤ（１０１、１０４）は、障害修復作業に関する情報に基づいて、障害修復作業の方法を案内するコンピュータグラフィックス画像データを現実空間の映像と合成して提示する。故障解析装置（１２０）は、ＨＭＤ（１０１、１０４）によって提示された案内による障害修復作業の後、データセンタの稼働状況に係る情報を新たに取得した場合、当該稼働状況に係る情報に基づいて、データセンタに対する障害修復作業に関する情報を新たに判定し、ＨＭＤ（１０１、１０４）に対して送信する。

Description

情報処理システム、情報処理方法及びプログラム
　本発明は、現実空間の映像とコンピュータグラフィックス画像データとを合成して重畳表示させることが可能な技術に関するものである。
　機器等の障害が発生した場合、作業員による障害箇所の特定及び障害修復作業が行われる。例えば特許文献１に開示されるように、コピー機の紙詰まりに対し、拡張現実（Augmented Reality、以下ＡＲ）を利用して除去操作を簡単にする技術が知られている。具体的には、所定時間内に所定のセンサにより用紙が検出されないとき、紙詰まりが発生したと看做され、予め紙詰まり発生位置に対応付けて用意されたコピー機の内部映像及び操作手順が重畳表示される。これにより、コピー機の紙詰まり発生箇所を容易に認識することができ、除去操作を簡単に案内することができる。なお、ＡＲとは文字、図形、静止画、動画等のコンピュータで管理されたデータ（以下、コンピュータグラフィックス画像データ）を、現実の環境へ重畳表示させ、補足的な情報を与える技術である。
特開２００８－２０１１０１号公報
　しかしながら、特許文献１に開示される技術は、予め発生する障害が想定されており、想定される障害に対する対策が予め定義されているケースである。例えば、複数の障害要因が組み合わさって新たな障害が発生する場合もある。この場合、特許文献１に開示される技術では、最適な障害修復作業の案内を行うことができない。
　そこで、本発明の目的は、予期しない障害が発生した場合でも、最適な障害修復作業を案内して作業支援を行うことにある。
　本発明の情報処理システムの第１の態様は、現実空間の映像とコンピュータグラフィックス画像データとを合成して表示させることが可能な拡張現実感提示装置と、コンピュータシステムに発生した障害を解析可能な故障解析装置とを有する情報処理システムであって、前記故障解析装置は、前記コンピュータシステムの稼働状況に係る情報を取得する取得手段と、前記取得手段により取得された前記稼働状況に係る情報に基づいて、前記コンピュータシステムに対する障害修復作業に関する情報を判定する判定手段と、前記判定手段により判定された前記障害修復作業に関する情報を前記拡張現実感提示装置に対して送信する送信手段とを有し、前記拡張現実感提示装置は、前記障害修復作業に関する情報に基づいて、前記障害修復作業の方法を案内するコンピュータグラフィックス画像データを現実空間の映像と合成して提示する提示手段を有し、前記故障解析装置は、前記拡張現実感提示装置によって提示された案内による障害修復作業の後、前記コンピュータシステムの稼働状況に係る情報が前記取得手段によって新たに取得された場合、前記判定手段により、当該稼働状況に係る情報に基づいて、前記コンピュータシステムに対する障害修復作業に関する情報を新たに判定し、前記送信手段により、新たに判定された障害修復作業に関する情報を前記拡張現実提示装置に対して送信することを特徴とする。
　本発明の情報処理方法は、現実空間の映像とコンピュータグラフィックス画像データとを合成して表示させることが可能な拡張現実感提示装置と、コンピュータシステムに発生した障害を解析可能な故障解析装置とによって実行される情報処理方法であって、前記故障解析装置は、前記コンピュータシステムの稼働状況に係る情報を取得する取得ステップと、前記取得ステップにより取得された前記稼働状況に係る情報に基づいて、前記コンピュータシステムに対する障害修復作業に関する情報を判定する判定ステップと、前記判定ステップにより判定された前記障害修復作業に関する情報を前記拡張現実感提示装置に対して送信する送信ステップとを含み、前記拡張現実感提示装置は、前記障害修復作業に係る情報に基づいて、前記障害修復作業の方法を案内するコンピュータグラフィックス画像データを現実空間の映像と合成して提示する提示ステップを含み、前記故障解析装置は、前記拡張現実感提示装置によって提示された案内による障害修復作業の後、前記コンピュータシステムの稼働状況に係る情報を新たに取得した場合、当該稼働状況に係る情報に基づいて、前記コンピュータシステムに対する障害修復作業に係る情報を新たに判定し、新たに判定された障害修復作業に関する情報を前記拡張現実提示装置に対して送信することを特徴とする。
　本発明のプログラムは、現実空間の映像とコンピュータグラフィックス画像データとを合成して表示させることが可能な拡張現実感提示装置と、コンピュータシステムに発生した障害を解析可能な故障解析装置とを有する情報処理システムにおける情報処理方法をコンピュータに実行させるためのプログラムであって、前記故障解析装置が、前記コンピュータシステムの稼働状況に係る情報を取得する取得ステップと、前記故障解析装置が、前記取得ステップにより取得された前記稼働状況に係る情報に基づいて、前記コンピュータシステムに対する障害修復作業に関する情報を判定する判定ステップと、前記故障解析装置が、前記判定ステップにより判定された前記障害修復作業に関する情報を前記拡張現実感提示装置に対して送信する送信ステップと、前記拡張現実感提示装置が、前記障害修復作業に関する情報に基づいて、前記障害修復作業の方法を案内するコンピュータグラフィックス画像データを現実空間の映像と合成して提示する提示ステップとを含み、前記故障解析装置が、前記拡張現実感提示装置によって提示された案内による障害修復作業の後、前記コンピュータシステムの稼働状況に係る情報が前記取得ステップによって新たに取得された場合、前記判定ステップにより、当該稼働状況に係る情報に基づいて、前記コンピュータシステムに対する障害修復作業に関する情報を新たに判定し、前記送信ステップにより、新たに判定された障害修復作業に関する情報を前記拡張現実提示装置に対して送信するステップをコンピュータに実行させることを特徴とする。
　本発明の情報処理システムの第２の態様は、現実空間の映像とコンピュータグラフィックス画像データとを合成して表示させることが可能な拡張現実感提示装置と、修理対象物に発生した障害を解析可能な故障解析装置とを有する情報処理システムであって、前記故障解析装置は、前記修理対象物の稼働状況に係る情報を取得する取得手段と、前記取得手段により取得された前記稼働状況に係る情報に基づいて、前記修理対象物に対する障害修復作業に関する情報を判定する判定手段と、前記判定手段により判定された前記障害修復作業に関する情報を示す情報を前記拡張現実感提示装置に対して送信する送信手段とを有し、前記拡張現実感提示装置は、前記障害修復作業に関する情報に基づいて、前記障害修復作業の方法を案内するコンピュータグラフィックス画像データを現実空間の映像と合成して提示する提示手段を有し、前記故障解析装置は、前記拡張現実感提示装置によって提示された案内による障害修復作業の後、前記修理対象物の稼働状況に係る情報が前記取得手段によって新たに取得された場合、前記判定手段により、当該稼働状況に係る情報に基づいて、前記修理対象物に対する障害修復作業に関する情報を新たに判定し、前記送信手段により、新たに判定された障害修復作業に関する情報を前記拡張現実提示装置に対して送信することを特徴とする。
　本発明によれば、予期しない障害が発生した場合でも、最適な障害修復作業を案内して作業支援を行うことが可能となる。
図１は、本発明の実施形態に係る故障解析システムの構成を概略的に示す図である。 図２Ａは、故障解析装置のハードウェア構成を示す図である。 図２Ｂは、ＨＭＤ及び小型カメラのハードウェア構成を示す図である。 図３は、故障解析装置の処理の流れを示すフローチャートである。 図４Ａは、ＨＭＤの処理を示すフローチャートである。 図４Ｂは、ＨＭＤの処理を示すフローチャートである。 図４Ｃは、ＨＭＤの処理を示すフローチャートである。 図５は、ＨＭＤにおいて、現在地から障害修復作業の対象オブジェクトであるプロキシサーバｃまでの経路を案内するコンピュータグラフィックス画像データを現実空間の映像に合成表示した状態の例を示す図である。 図６は、ＨＭＤにおいて、障害修復作業の方法を案内するコンピュータグラフィックス画像データを現実空間の映像に合成表示した状態の例を示す図である。 図７は、ＨＭＤにおいて、障害修復の完了通知を表すコンピュータグラフィックス画像データを現実空間の映像に合成表示した状態の例を示す図である。 図８は、ルールデータの一例を示す図である。 図９は、習熟度判定テーブルの一例を示す図である。 図１０は、作業内容説明テーブルの一例を示す図である。 図１１は、作業員テーブルの一例を示す図である。 図１２は、作業内容履歴テーブルの一例を示す図である。 図１３は、要求能力テーブルの一例を示す図である。 図１４は、情報処理システムの構成の一例を示す図である。 図１５は、位置管理サーバとＨＭＤとの機能的な構成を示す図である。 図１６は、情報処理システムの処理を示すフローチャートである。 図１７は、ＲＦＩＤリーダから発信される信号を説明するための図である。 図１８は、フリーアクセスフロアに敷設されたネットワークケーブルを床面にＡＲで表示する例を示す図である。 図１９は、フリーアクセスフロアに敷設されたネットワークケーブルの位置を特定する構成の一例を説明するための図である。 図２０は、フリーアクセスフロアに敷設されたネットワークケーブルの位置を特定する構成の一例を説明するための図である。
　以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。
　図１は、本発明の実施形態に係る故障解析システムの構成を概略的に示す図である。
　図１に示すように、本実施形態に係る故障解析システムは、データセンタに設置される各種サーバやルータ１１１～１１８等の稼働状況に係る情報を取得し、障害修復作業の方法を判定する故障解析装置１２０を備える。なお、障害修復作業の方法の判定は、例えば、インターネットが使用できない等のユーザからの苦情があった場合等に実行される。故障解析装置１２０は、障害修復作業の方法を判定すると、障害修復作業の場所までの案内情報や障害修復作業の方法の案内情報を、作業員ｙ、ｘの頭部に装着される眼鏡型のＨＭＤ（Head Mounted Display）１０１、１０４に対して無線通信回線を介して送信する。ＨＭＤ１０１、１０４は、作業員ｙ、ｘを障害修復作業の場所まで案内するコンピュータグラフィックス画像データや、障害修復作業の方法を案内するコンピュータグラフィックス画像データを、現実空間の映像と合成して表示する。即ち、ＨＭＤ１０１、１０４は、光学的に透過してＨＭＤ１０１、１０４のレンズ部分に映し出される現実空間の映像に整合する位置にコンピュータグラフィックス画像データを表示することにより、拡張された現実感を演出する。以下の説明では、このように拡張された現実感を与えるコンピュータグラフィックス画像データの合成表示を、ＡＲ（Augmented Reality）表示と称することがある。なお、ＨＭＤには、非透過型やビデオ透過型、光学透過型等様々な方式がある。合成表示（ＡＲ表示）とは、いずれかの方式によってＨＭＤのレンズ部分に映し出される現実空間の映像に対し、整合する位置にコンピュータグラフィックス画像データを重畳表示することであって、例えば、光学透過型方式であれば、シースルーで見る現実空間の映像に対して重畳表示され、ビデオ透過型であれば、ビデオカメラで撮影した現実空間の映像に対して重畳表示される。
　なお、本実施形態においては、ＡＲ表示を行うデバイスであるＡＲ表示デバイスの例として眼鏡型のＨＭＤを挙げているが、これに限られない。例えば、カメラによって撮影された現実空間の映像を液晶ディスプレイ等に表示し、表示された現実空間の映像にコンピュータグラフィックス画像データを合成表示するような携帯端末型のＡＲ表示デバイスでもよいし、移動車両の運転席の視線方向に設置され、光学的に透過して映し出される現実空間の映像にコンピュータグラフィックス画像データを合成表示するようなヘッドアップディスプレイ型のＡＲ表示デバイスであってもよい。また、現実空間の映像に整合させてコンピュータグラフィックス画像データを表示させる際に、現実空間の映像中のオブジェクトとコンピュータグラフィックス画像データとの座標合わせが行われる。座標合わせの手法としては、ＨＭＤの位置（緯度、経度）と姿勢（方向、仰角）とに基づいてＨＭＤを装着した作業者が現実空間のどこを見ているかを推定し、推定した位置に整合するようにコンピュータグラフィックス画像データを合成してもよいし、現実空間のオブジェクトにマーカを付けておき、そのマーカをカメラで撮影し、撮影された画像データから当該マーカの位置を検出し、検出した位置と整合するようにコンピュータグラフィックス画像データを合成してもよい。さらに、カメラで捉えた現実空間の画像データを解析することにより現実空間のオブジェクトの位置を検出し、検出した位置と整合するようにコンピュータグラフィックス画像データを合成してもよい。
　また、ＨＭＤ１０１、１０４には、作業員ｘ、ｙの視界に近い画角で画像データを撮影することができるように小型カメラ１０２、１０５が取り付けられている。撮影された画像データは無線通信回線により故障解析装置１２０に対して送信される。故障解析装置１２０は、受信した画像データを一旦記憶装置１２２に記憶した後、画像データを解析し、画像データに映っているサーバやルータ１１１～１１８の存在を検出したり、サーバやルータ１１１～１１８の稼働状態を判定する。例えば、故障解析装置１２０は、予めサーバやルータ１１１～１１８の画像データを登録しておき、撮影された画像データとサーバやルータ１１１～１１８の画像データとのマッチングを行うことにより、サーバやルータ１１１～１１８の存在を検出する。稼働状態の判定方法としては、例えば、故障解析装置１２０は、サーバやルータ１１１～１１８の電源ランプ部分の画像データを解析し、電源ランプが点灯していることを検知できればサーバの電源がオンであると判定し、電源ランプが点灯していることを検知できなければサーバの電源がオフであると判定する。
　また、故障解析装置１２０は、モニタリング部１２１によってデータセンタに設置されるサーバやルータ１１１～１１８からログデータを取得する。ここで取得されるログデータとしては、ＣＰＵ使用率、メモリ使用率、電源電圧、温度、通信速度、アクセス数等が挙げられる。モニタリング部１２１によって取得されたログデータは、記憶装置１２２に保持される。また、記憶装置１２２には、過去の障害発生時に実際に行われた対応方法を示す過去障害対応データ、予め定められた障害発生時の対応ルールを示すルールデータが蓄積されている。例えばインターネットが使用できない等の苦情が寄せられると、指示内容生成部１２３は、最新のログデータ及び画像データを解析することにより、該当するサーバやルータの稼働状況を認識するとともに、発生した障害に関連するルールデータ及び過去障害対応データを記憶装置１２２から取得して障害修復作業の方法を判定する。
　障害修復作業の方法が判定されると、故障解析装置１２０は、ＨＭＤ１０１、１０４（ＨＭＤ１０１、１０４を装着した作業員ｙ、ｘ）の現在地と障害修復作業の場所との位置を含む地図データを取得し、現在地から障害修復作業の場所までの経路を案内するための案内情報を生成する。生成された案内情報はＨＭＤ１０１、１０４に対して送信され、ＨＭＤ１０１、１０４は、現在地から障害修復作業の場所までの経路を案内するコンピュータグラフィックス画像データを現実空間の映像と合成してＡＲ表示する。なお、故障解析装置１２０がＨＭＤ１０１、１０４の現在地を得る際にはＧＰＳ（Global Positioning system）を使用すればよい。
　作業員ｙ、ｘが案内に従って障害修復作業の場所に到着すると、指示内容生成部１２３は、障害修復作業の方法をＨＭＤ１０１、１０４に送信する。ＨＭＤ１０１、１０４は、障害修復作業の方法を案内するコンピュータグラフィックス画像データを現実空間の映像と合成してＡＲ表示する。これにより、作業員ｙ、ｘは案内に従って障害修復作業を行うことができる。なお、作業員が障害修復作業の場所に到着したことは、小型カメラ１０２、１０５が障害修復作業の対象のサーバやルータ１１１～１１８の画像データを撮影し、指示内容生成部１２３が当該画像データを解析することにより検知することが可能である。また、故障解析装置１２０は、データセンタの遠隔地にいる作業員ｙ、ｘの上司ｚのＰＣ１３０ともインターネットを介して接続されている。故障解析装置１２０は、上司ｚのＰＣ１３０から送信された電子メールをモニタリング部１２１で受信すると、電子メールの内容を解析し、解析した内容を加味して障害修復作業の方法を判定する。
　図２Ａは、本実施形態に係る故障解析装置１２０のハードウェア構成を示す図である。ＣＰＵ２０１は、システムバスに接続される各デバイスやコントローラを統括的に制御する。ＲＯＭ２０３又はＨＤ（ハードディスク）２０７には、ＣＰＵ２０１の制御プログラムであるＢＩＯＳ（Basic Input / Output System）やオペレーティングシステムプログラム、故障解析装置１２０が実行する例えば図３に示す処理のプログラム等が記憶されている。
　なお、図２Ａの例では、ＨＤ２０７は故障解析装置１２０の内部に配置された構成としているが、他の実施形態としてＨＤ２０７に相当する構成が故障解析装置１２０の外部に配置された構成としてもよい。また、本実施形態に係る例えば図３に示す処理を行うためのプログラムは、フレキシブルディスク（ＦＤ）やＣＤ－ＲＯＭ等、コンピュータ読み取り可能な記録媒体に記録され、それらの記録媒体から供給される構成としてもよいし、インターネット等の通信媒体を介して供給される構成としてもよい。
　ＲＡＭ２０２は、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＡＭ２０２にロードして、プログラムを実行することで各種動作を実現するものである。
　ＨＤ２０７やＦＤ２０６は、外部メモリとして機能する。ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＡＭ２０２にロードして、プログラムを実行することで各種動作を実現するものである。
　ディスクコントローラ２０５は、ＨＤ２０７やＦＤ２０６等の外部メモリへのアクセスを制御する。通信Ｉ／Ｆコントローラ２０４は、インターネットやＬＡＮと接続し、例えばＴＣＰ／ＩＰによって外部との通信を制御するものである。
　ディスプレイコントローラ２０８は、ディスプレイ２０９における画像表示を制御する。
　ＫＢコントローラ２１０は、ＫＢ（キーボード）２１１からの操作入力を受け付け、ＣＰＵ２０１に対して送信する。なお、図示していないが、ＫＢ２１１の他に、マウス等のポインティングデバイスもユーザの操作手段として本実施形態に係る故障解析装置１２０に適用可能である。
　図１に示す指示内容生成部１２３は、例えばＨＤ２０７内に記憶され、必要に応じてＲＡＭ２０２にロードされるプログラム及びそれを実行するＣＰＵ２０１によって実現される構成である。また、モニタリング部１２１は通信Ｉ／Ｆコントローラ２０４に相当する構成であり、記憶装置１２２はＨＤ２０７に相当する構成である。
　図２Ｂは、本実施形態に係るＨＭＤ１０１、１０４及び小型カメラ１０２、１０５のハードウェア構成を示す図である。ＣＰＵ３０１は、システムバスに接続される各デバイスやコントローラを統括的に制御する。ＲＯＭ３０２には、ＨＭＤ１０１、１０４が実行する例えば図４Ａ～図４Ｃに示す処理のプログラム等が記憶されている。なお、図４Ａ～図４Ｃに示す処理を行うためのプログラムは、インターネット等の通信媒体を介して供給される構成としてもよい。
　ＲＡＭ３０４は、ＣＰＵ３０１の主メモリ、ワークメモリ等として機能する。ＣＰＵ３０１は、処理の実行に際して必要なプログラム等をＲＡＭ３０４にロードして、プログラムを実行することで各種動作を実現するものである。通信Ｉ／Ｆコントローラ３０３は、インターネットやＬＡＮと接続し、例えばＴＣＰ／ＩＰによって外部との通信を制御するものである。
　撮像部３０５は、光学レンズを介して入射され、撮像素子に結像される被写体像を電気信号に変換し、動画像データ又は静止画像データを出力する。ディスプレイコントローラ３０６は、ディスプレイ３０７における画像表示を制御する。本実施形態では、光学透過型のヘッドマウントディスプレイを採用しており、ディスプレイ３０７はハーフミラーで構成され、装着したユーザはディスプレイ３０７を介して外の様子を見ることができる。なお、撮像部３０５は、図１の小型カメラ１０２、１０５に相当する構成である。
　図３は、本実施形態に係る故障解析装置１２０の処理の流れを示すフローチャートである。図３に示す処理は、例えばインターネットが使用できない等のユーザからの苦情があった場合、管理者が故障解析装置１２０に対してその苦情の内容を入力することにより開始される処理である。
　ステップＳ３０１において、指示内容生成部１２３は、最新のログデータ及び画像データ、並びに、必要なルールデータ及び過去障害対応データを記憶装置１２２から取得する。記憶装置１２２に記憶されるログデータや画像データは、モニタリング部１２１によって取得されるものである。モニタリング部１２１は、各サーバやルータ１１１～１１８においてログデータが更新されるタイミングでログデータを取得するようにしてもよいし、定期的なタイミングでログデータを取得するようにしてもよい。またモニタリング部１２１は、小型カメラ１０２、１０５が画像データを撮影したタイミングで画像データを取得する。
　ステップＳ３０２において、指示内容生成部１２３は、記憶装置１２２から取得したログデータ、画像データ、ルールデータ及び過去障害対応データを基に、例えば既存の決定木のアルゴリズムを利用して障害修復作業の方法を判定する。ここでは、障害修復作業の方法として「誰（作業員オブジェクト）が、どの装置（対象オブジェクト）に対し、何（操作オブジェクト）を行うか」が判定される。具体例として、作業員ｘ（作業員オブジェクト）が、Ｗｅｂサーバａ１１７（対象オブジェクト）に対し、再起動（操作オブジェクト）を行うことと、作業員ｙ（作業員オブジェクト）が、Ｗｅｂサーバｂ１１２（対象オブジェクト）に対し、再起動（操作オブジェクト）を行うこととが判定されたものとする。
　ステップＳ３０３において、指示内容生成部１２３は、障害修復作業が完了したか否かを判定する。障害修復作業が完了した場合、処理はステップＳ３０７に移行する。一方、障害修復作業が完了していない場合、処理はステップＳ３０４に移行する。ここでは、直前のステップＳ３０２において障害修復作業の方法が判定されたので、障害修復作業は完了していないと判定される。従って、処理はステップＳ３０４に移行する。
　ステップＳ３０４において、指示内容生成部１２３は、ＨＭＤ１０１、１０４の現在地と対象オブジェクトの位置とを含む地図データを取得し、ＨＭＤ１０１、１０４の現在値から対象オブジェクトまでの経路を案内するための案内情報を生成し、ＨＭＤ１０１、１０４に対して送信する。即ち、指示内容生成部１２３は、ＨＭＤ１０１に対しては、ＨＭＤ１０１を装着した作業員ｙの現在地からＷｅｂサーバｂ１１２までの経路を案内するための案内情報を送信し、ＨＭＤ１０４に対しては、ＨＭＤ１０４を装着した作業員ｘの現在地からＷｅｂサーバａ１１７までの経路を案内するための案内情報を送信する。
　ステップＳ３０５において、指示内容生成部１２３は、ステップＳ３０１において記憶装置１２２から取得した画像データを解析することにより、ＨＭＤ１０１、１０４を装着した作業員ｙ、ｘが夫々対象オブジェクトに到着したか否かを判定する。即ちここでは、指示内容生成部１２３は、小型カメラ１０２、１０５によって撮影された画像データを解析した結果、当該画像データのうち、Ｗｅｂサーバｂ１１２やＷｅｂサーバａ１１７の画像データが一定の割合以上の領域を占めている場合、対象オブジェクトに到着したと判定する。対象オブジェクトに到着した場合、処理はステップＳ３０６に移行する。一方、対象オブジェクトに到着していない場合、処理はステップＳ３０４に戻る。
　ステップＳ３０６において、指示内容生成部１２３は、障害修復作業の方法をＨＭＤ１０１、１０４に対して送信する。即ち、指示内容生成部１２３は、ＨＭＤ１０１に対して、「作業員ｙが、Ｗｅｂサーバｂ１１２に対し、再起動を行う」という内容の障害修復作業の方法を送信する。一方、指示内容生成部１２３は、ＨＭＤ１０４に対して、「作業員ｘが、Ｗｅｂサーバａ１１７に対し、再起動を行う」という内容の障害修復作業の方法を送信する。これにより、ＨＭＤ１０１には、「作業員ｙが、Ｗｅｂサーバｂ１１２に対し、再起動を行う」という障害修復作業の方法を案内するコンピュータグラフィックス画像データが現実空間と合成表示される。また、ＨＭＤ１０４には、「作業員ｘが、Ｗｅｂサーバａ１１７に対し、再起動を行う」という障害修復作業の方法を案内するコンピュータグラフィックス画像データが現実空間と合成表示される。作業員ｙ、ｘは夫々、ＨＭＤ１０１、１０４に表示されるコンピュータグラフィックス画像データによる案内に従って障害修復作業を行う。障害修復作業によって、サーバやルータ１１１～１１８のＣＰＵ使用率、メモリ使用率、通信速度、アクセス数等の値に変化が現れると、サーバやルータ１１１～１１８ではログデータの更新が行われる。
　ステップＳ３０６の後、処理はステップＳ３０１に戻る。ステップＳ３０１において、再び指示内容生成部１２３は、最新のログデータ及び画像データ、並びに、必要なルールデータ及び過去障害対応データを記憶装置１２２から取得する。
　ステップＳ３０２において、指示内容生成部１２３は、記憶装置１２２から取得したログデータ、画像データ、ルールデータ及び過去障害対応データを基に、例えば既存の決定木のアルゴリズムを利用して障害修復作業の方法を判定する。ここでは、障害修復作業の方法として、作業員ｘ（作業員オブジェクト）が、プロキシサーバｃ１１５（対象オブジェクト）に対し、再起動（操作オブジェクト）を行うことと、作業員ｙ（作業員オブジェクト）が、プロキシサーバｄ１１１（対象オブジェクト）に対し、設定ファイルの確認（操作オブジェクト）を行うこととが判定されたものとする。
　ステップＳ３０３において、指示内容生成部１２３は、障害修復作業が完了したか否かを判定する。ここでは、直前のステップＳ３０２において障害修復作業の方法が決定されたので、障害修復作業が完了していないと判定される。従って、処理はステップＳ３０４に移行する。
　ステップＳ３０４において、指示内容生成部１２３は、前述の方法と同様の方法により、ＨＭＤ１０１の現在地であるＷｅｂサーバｂ１１２から対象オブジェクトであるプロキシサーバｄ１１１までの経路を案内するための案内情報を生成し、ＨＭＤ１０１に対して送信する。また、指示内容生成部１２３は、同様に、ＨＭＤ１０４の現在地であるＷｅｂサーバａ１１７から対象オブジェクトであるプロキシサーバｃ１１５までの経路を案内するための案内情報を生成し、ＨＭＤ１０４に対して送信する。
　ステップＳ３０５において、指示内容生成部１２３は、前述の方法と同様の方法により、ＨＭＤ１０１、１０４を装着した作業員ｙ、ｘが夫々、対象オブジェクトであるプロキシサーバｄ１１１、プロキシサーバｃ１１５に到着したか否かを判定する。ＨＭＤ１０１、１０４が夫々対象オブジェクトに到着すると、指示内容生成部１２３は、ステップＳ３０６において、障害修復作業の内容をＨＭＤ１０１、１０４に対して送信する。即ち、指示内容生成部１２３は、ＨＭＤ１０１に対して、「作業員ｙが、プロキシサーバｄ１１１に対し、設定ファイルの確認を行う」という内容の障害修復作業の方法を送信する。また、指示内容生成部１２３は、ＨＭＤ１０４に対して、「作業員ｘが、プロキシサーバｃ１１５に対し、再起動を行う」という内容の障害修復作業の方法を送信する。これにより、ＨＭＤ１０１には、「作業員ｙが、プロキシサーバｄ１１１に対し、設定ファイルの確認を行う」という障害修復作業の方法を案内するコンピュータグラフィックス画像データが合成表示される。また、ＨＭＤ１０４には、「作業員ｘが、プロキシサーバｃ１１５に対し、再起動を行う」という障害修復作業の方法を案内するコンピュータグラフィックス画像データが表示される。作業員ｙ、ｘは夫々、ＨＭＤ１０１、１０４に表示されるコンピュータグラフィックス画像データによる案内に従って障害修復作業を行う。この障害修復作業によってログデータが更新される。
　ところで、作業員ｙ、ｘの上司ｚが、前日にルータｅ１１６のハードウェア故障があり、対応がなされたことを思い出し、作業員ｘのメールアドレス宛へ「前日にルータｅ１１６のハードウェア故障があり、対応がなされた」と記載した電子メールを送信したものとする。この電子メールはステップＳ３０２においてモニタリング部１２１によって取得される。取得された電子メールは、記憶装置１２２に記憶される。
　ステップＳ３０６の後、処理はステップＳ３０１に戻る。ステップＳ３０１において、指示内容生成部１２３は、最新のログデータ及び画像データ、並びに、必要なルールデータ及び過去障害対応データのほか、上記電子メールを記憶装置１２２から取得する。
　ステップＳ３０２において、指示内容生成部１２３は、記憶装置１２２から取得したログデータ、画像データ、ルールデータ及び過去障害対応データのほか、上記電子メールを基に、例えば既存の決定木のアルゴリズムを利用して障害修復作業の方法を判定する。ここでは、特に電子メールの解析内容が反映されて、障害修復作業の方法として、作業員ｘ（作業員オブジェクト）が、ルータｅ１１６（対象オブジェクト）に対し、ルーティングテーブルの情報の確認（操作オブジェクト）を行うことが判定されたものとする。
　ステップＳ３０３において、指示内容生成部１２３は、障害修復作業が完了したか否かを判定する。ここでは、直前のステップＳ３０２において障害修復作業の方法が決定されたので、障害修復作業が完了していないと判定される。従って、処理はステップＳ３０４に移行する。
　ステップＳ３０４において、指示内容生成部１２３は、前述の方法と同様の方法により、ＨＭＤ１０４の現在地であるプロキシサーバｃ１１５から対象オブジェクトであるルータｅ１１６までの経路を案内するための案内情報を生成し、ＨＭＤ１０４に対して送信する。なお、ＨＭＤ１０１に対する案内情報は、ＨＭＤ１０１を装着した作業員ｘに対する障害修復作業における対象オブジェクトに変化がないため、生成されない。
　ステップＳ３０５において、指示内容生成部１２３は、前述の方法と同様の方法により、ＨＭＤ１０４を装着した作業員ｘが対象オブジェクトであるルータｅ１１６に到着したか否かを判定する。ＨＭＤ１０４を装着した作業員ｘが対象オブジェクトであるルータｅ１１６に到着したと判定されると、ステップＳ３０６において、指示内容生成部１２３は、障害修復作業の内容をＨＭＤ１０４に対して送信する。即ち、指示内容生成部１２３は、ＨＭＤ１０４に対して、「作業員ｘが、ルータｅ１１６に対し、ルーティングテーブルの情報の確認を行う」という内容の障害修復作業の方法を送信する。これにより、ＨＭＤ１０４には、「作業員ｘが、ルータｅ１１６に対し、ルーティングテーブルの情報の確認を行う」という障害修復作業の方法を案内するコンピュータグラフィックス画像データが合成表示される。
　ところで、作業員ｘは、障害修復作業の方法の案内に従ってルーティングテーブルの情報を確認すると、ハードウェア故障対応によってルーティングテーブルの情報が変更されているはずなのに、変更されていないことを確認したものとする。作業員ｘは、ルーティングテーブルの情報が表示されたディスプレイを小型カメラ１０５で撮影し、画像データでルーティングテーブルの情報を故障解析装置１２０に対して送信する。故障解析装置１２０は、ルーティングテーブルの情報を含む画像データを受信すると、記憶装置１２２に記憶する。
　ステップＳ３０６の後、処理はステップＳ３０１に戻る。ステップＳ３０１において、再び指示内容生成部１２３は、最新のログデータ及び画像データ、並びに、必要なルールデータ及び過去障害対応データを記憶装置１２２から取得する。
　ステップＳ３０２において、指示内容生成部１２３は、記憶装置１２２から取得したログデータ、画像データ、ルールデータ及び過去障害対応データを基に、例えば既存の決定木のアルゴリズムを使用して障害修復作業の方法を判定する。ここでは、画像データの解析によってルーティングテーブルの情報が変更されているはずなのに変更されてないことが検知され、障害修復作業の方法として、作業員ｘ（作業員オブジェクト）がルータｅ１１６（対象オブジェクト）に対し、ルーティングテーブルの情報の変更（操作オブジェクト）を行うことが判定されたものとする。
　ステップＳ３０３において、指示内容生成部１２３は、障害修復作業が完了したか否かを判定する。ここでは、直前のステップＳ３０２において障害修復作業の方法が決定されたので、障害修復作業が完了していないと判定される。従って、処理はステップＳ３０４に移行する。
　ＨＭＤ１０１、１０４を装着した作業員ｙ、ｘに対する障害修復作業における対象オブジェクトに変化はない。従って、ステップＳ３０４において、指示内容生成部１２３は、ＨＭＤ１０１、１０４に対する案内情報を生成しない。
　ステップＳ３０５において、指示内容生成部１２３は、ＨＭＤ１０１、１０４を装着した作業員ｙ、ｘはともに対象オブジェクトに到着していると判定する。従って、処理はステップＳ３０６に移行する。
　ステップＳ３０６において、指示内容生成部１２３は、障害修復作業の内容をＨＭＤ１０４に対して送信する。即ち、指示内容生成部１２３は、ＨＭＤ１０４に対して、「作業員ｘが、ルータｅ１１６に対し、ルーティングテーブルの情報の変更を行う」という障害修復作業の方法を送信する。これにより、ＨＭＤ１０４には、「作業員ｘが、ルータｅ１１６に対し、ルーティングテーブルの情報の変更を行う」という障害修復作業の方法を案内するコンピュータグラフィックス画像データが合成表示される。
　作業員ｘがコンピュータグラフィックス画像データの案内に従って修復作業を行うと、サーバやルータ１１１～１１８のログデータが更新されるとともに、サーバやルータのランプの点灯状態が変化する等、小型カメラ１０５によって撮影される画像データも更新される。このように更新されたログデータや画像データは、故障解析装置１２０の記憶装置１２２に記憶される。
　ステップＳ３０６の後、処理はステップＳ３０１に戻る。ステップＳ３０１において、再び指示内容生成部１２３は、最新のログデータ及び画像データ、並びに、必要なルールデータ及び過去障害対応データを記憶装置１２２から取得する。
　ステップＳ３０２において、指示内容生成部１２３は、記憶装置１２２から取得したログデータ、画像データ、ルールデータ及び過去障害対応データを基に、例えば既存の決定木のアルゴリズムを利用して障害修復作業の方法を判定する。ここでは、指示内容生成部１２３は、ログデータを解析した結果、例えばＣＰＵ使用率が低下した、通信速度が向上したこと等を検知することにより、或いは、画像データを解析した結果、例えば故障ランプが消灯したこと等を検知することにより、障害はないと判定し、障害修復作業の方法の判定は行わない。従って、ステップＳ３０３では、障害修復は完了したと判定され、処理はステップＳ３０７に移行する。
　ステップＳ３０７において、指示内容生成部１２３は、ＨＭＤ１０１、１０４に対して障害修復の完了通知を送信する。これにより、ＨＭＤ１０１、１０４には、例えば「○○時○○分に完全復旧」といった内容のコンピュータグラフィックス画像データが合成表示される。作業員ｙ、ｘは障害修復作業を終了する。なお、図３に示す処理は、管理者による故障解析装置への入力に限らず、データセンタ内の各種機器の性能情報が予め定めておいた閾値を超えた場合に開始されてもよい。
　図４Ａ～図４Ｃは、ＨＭＤ１０１、１０４の処理を示すフローチャートである。より具体的には、図４Ａは、現在地から障害修復作業の対象オブジェクトまでの経路を案内するコンピュータグラフィックス画像データをＨＭＤ１０１、１０４が表示する処理を示している。図４Ｂは、障害修復作業の方法を案内するコンピュータグラフィックス画像データをＨＭＤ１０１、１０４が表示する処理を示している。図４Ｃは、障害修復の完了通知をＨＭＤ１０１、１０４が表示する処理を示している。なお、図４Ａ～図４Ｃに示す各処理は、ＣＰＵ３０１がＲＯＭ３０２から必要なプログラムを読み込み、実行することによって行われる。
　先ず、ＨＭＤ１０１、１０４が、現在地から障害修復作業の対象オブジェクトまでの経路を案内するコンピュータグラフィックス画像データを表示する処理について、図４Ａを参照しながら説明する。ステップＳ４０１において、ＨＭＤ１０１、１０４は、現在地から障害修復作業の対象オブジェクトまでの経路を案内するための案内情報を故障解析装置１２０から受信したか否かを判定する。案内情報を受信した場合、処理はステップＳ４０２に移行する。案内情報を受信していない場合、処理はステップＳ４０１に戻り、再び案内情報の受信判定を行う。ステップＳ４０２において、ＨＭＤ１０１、１０４は、現在地から障害修復作業の対象オブジェクトまでの経路を案内するコンピュータグラフィックス画像データを現実空間の映像に重畳して合成し、ＡＲ表示する。これにより、作業員ｙ、ｘに対して現在地から障害修復作業の対象オブジェクトまでの経路が案内される。
　図５は、ＨＭＤ１０４において、現在地から障害修復作業の対象オブジェクトであるプロキシサーバｃ１１５までの経路を案内するコンピュータグラフィックス画像データを現実空間の映像に合成表示した状態の例を示す図である。図５において、プロキシサーバｄ１１１、Ｗｅｂサーバｂ１１２、プロキシサーバｃ１１５、ルータｅ１１６は現実空間の映像である。５０１は、現在地から障害修復作業の対象オブジェクトであるプロキシサーバｃ１１５までの経路を案内するコンピュータグラフィックス画像データであり、現実空間の映像との座標合わせが行われた状態で合成表示されている。なお、５０２は、経路の案内先となる対象オブジェクトがプロキシサーバｃ１１５であることを明示したコンピュータグラフィックス画像データであり、ＨＭＤ１０４に映し出される映像中の所定の位置に合成表示されている。
　次に、ＨＭＤ１０１、１０４が、障害修復作業の方法を案内するコンピュータグラフィックス画像データを合成表示する処理について、図４Ｂを参照しながら説明する。ステップＳ４０３において、ＨＭＤ１０１、１０４は、障害修復作業の方法を故障解析装置１２０から受信したか否かを判定する。障害修復作業の方法を受信した場合、処理はステップＳ４０４に移行する。一方、障害修復作業の方法を受信していない場合、処理はステップＳ４０３に戻り、再び障害修復作業の方法の受信判定を行う。ステップＳ４０４において、ＨＭＤ１０１、１０４は、障害修復作業の方法を案内するコンピュータグラフィックス画像データを現実空間の映像に対し合成表示する。これにより、作業員ｙ、ｘに対して障害修復作業の方法が案内される。
　図６は、ＨＭＤ１０４において、障害修復作業の方法を案内するコンピュータグラフィックス画像データを現実空間の映像に合成表示した状態の例を示す図である。図６において、プロキシサーバｃ１１５は現実空間の映像である。障害修復作業の操作オブジェクトが再起動であるので、再起動ボタンを差し示すコンピュータグラフィックス画像データ６０１を再起動ボタンの位置に座標合わせをして合成表示している。なお、６０２は、障害修復作業の対象オブジェクトがプロキシサーバｃ１１５であり、操作オブジェクトが再起動であることを明示したコンピュータグラフィックス画像データであり、ＨＭＤ１０４に映し出される映像中の所定の位置に合成表示されている。
　次に、ＨＭＤ１０１、１０４が、障害修復の完了通知を合成表示する処理について、図４Ｃを参照しながら説明する。ステップＳ４０５において、ＨＭＤ１０１、１０４は、障害修復の完了通知を故障解析装置１２０から受信したか否かを判定する。障害修復の完了通知を受信した場合、処理はステップＳ４０６に移行する。一方、障害修復の完了通知を受信していない場合、処理はステップＳ４０５に戻り、再び障害修復の完了通知の受信判定を行う。ステップＳ４０６において、ＨＭＤ１０１、１０４は、障害修復の完了通知を表すコンピュータグラフィックス画像データを現実空間の映像に対し合成表示する。これにより、作業員ｙ、ｘに対して障害修復作業が完了したことが通知される。
　図７は、ＨＭＤ１０４において、障害修復の完了通知を表すコンピュータグラフィックス画像データを現実空間の映像に合成表示した状態の例を示す図である。図７において、ルータｅ１１６は現実空間の映像である。７０１は、障害修復作業が完了したことを通知するコンピュータグラフィックス画像データであり、ＨＭＤ１０４に映し出される映像中の所定の位置に合成表示されている。
　以上のように、本実施形態においては、苦情が発生すると、発生した障害に対応する障害修復作業に関する情報が作業員に対して提示される。作業員は提示された障害修復作業方法や障害発生場所等の障害修復作業に関する情報に従って作業を進めるが、作業によってシステムの稼働状態が変化する。システムの稼働状態が変化すると、変化後のシステムの稼働状態に対応した障害修復作業の方法等を含む障害修復作業に関する情報を新たに求め、作業者に提示する。このような処理を繰り返し実行することで、予期しない障害が発生した場合でも、最適な障害修復作業を案内して障害の解析作業支援を行うことが可能となる。
　また、上述した実施形態では、故障解析装置から提示される障害修復作業の方法に従って作業員が作業を進めた場合について説明したが、作業員自らの経験に基づいて、提示される障害修復作業の方法とは異なる方法で作業を進めた場合であっても、その都度、故障解析装置がログデータや画像データを取得し、その時点におけるシステムの稼働状態に応じた障害修復作業の方法を求めることが可能である。
　また、図８を用いて、指示内容生成部１２３が障害修復作業の方法を判定するための一例であって、既存の決定木のアルゴリズムを用いる以外の例について以下に説明する。
　図８は、ルールデータの一例を示す図である。図８に示すルールデータは、各チェック項目に対する障害修復作業の優先度の重み付けを示している。なお、図８に示す例では、重み付けは「０」～「１０」までの数値によって表されており、数値が大きいほど優先度が高いことを示している。
　例えば、「Pingの応答はない？」というチェック項目について、Pingの応答がない場合には、重みが「１０」に設定されている障害修復作業１は最も優先度の高い作業であることを示しており、重みが「０」に設定されている障害修復作業３は実施する必要のない作業であることを示している。
　指示内容生成部１２３は、コンピュータシステムの稼働状況を表す情報（各種ログデータ、ＣＰＵ使用率、メモリ使用率、通信速度、あるいはコマンドの実行結果など）から、図８に示すルールデータの各チェック項目に該当するか否かを判定する。そして、指示内容生成部１２３は、各障害修復作業について、現状のコンピュータシステムの稼働状況に該当すると判定したチェック項目の重みの合計値を算出し、算出した合計値が最も大きい障害修復作業を作業員に対して指示する。
　なお、上述の例では、該当するチェック項目の重みを障害復旧作業ごとに合計する例を説明したが、ルールデータの重みを用いて障害復旧作業の優先度を評価可能なための種々の評価式を用いてもよく、特に限定はされない。
　また、上述の例では、作業を一つだけ選択する例を説明したが、複数の作業を優先度の高い順番に順次実行する構成であってもよく、特に限定はされない。
　さらに、本発明の他の実施形態に係る故障解析システムとして、作業員による作業の実行結果に基づいて作業員の習熟度を判定し、判定した作業員の習熟度に応じて、障害復旧作業の指示内容を変更する構成であってもよい。
　例えば、指示内容生成部１２３は、障害復旧作業を指示する情報を作業員に対して送信した後、作業員が作業を開始してから作業を完了するまでの時間を計測し、例えば計測した時間に基づいて作業員の習熟度を判定する。この場合、予め作業時間と習熟度との対応関係が定義された習熟度判定テーブルが記憶装置１２２に記憶されている。図９は、習熟度判定テーブルの一例を示す図である。図９に示す習熟度判定テーブル１の例では、作業１について、作業時間が５分未満であれば習熟度はＡ判定（最高ランク）、５分以上１０分未満であればＢ判定、１０分以上であればＣ判定（最低ランク）であることを示している。
　あるいは、指示内容生成部１２３は、障害復旧作業を指示する情報を作業員に対して送信した後、作業員が行った作業が正しく行われたか否かを判定し、作業が正しく行われた割合（作業成功率）に基づいて作業員の習熟度を判定する構成であってもよい。この場合、予め作業が正しく行われた度合いと習熟度との対応関係が定義された習熟度判定テーブルが記憶装置１２２に記憶されている。図９に示す習熟度判定テーブル２の例では、作業１について、成功率が９０％以上であればＡ判定、成功率が７０％以上であれば９０％未満であればＢ判定、成功率が７０％未満であればＣ判定であることを示している。
　なお、作業が正しく行われた割合（作業成功率）というのは、例えば、全作業項目の数のうち、正しく作業が行われた項目の数の割合であってもよいし、作業の難易度によって重み付けを行ったうえで予め定義された評価式を用いて算出されてもよく、特に限定はされない。
　さらに、指示内容生成部１２３は、作業員の習熟度の判定結果に応じて、次回、作業員に対して送信する障害復旧作業の情報を決定する。例えば、新人の作業員とベテランの作業員とが同じ作業を行う場合であっても、新人やアルバイトの作業員に対しては、専門用語などが通じない場合もあり、基本的な事項を詳細に説明したほうがよいのに対して、ベテランの作業員に対しては、基本的な事項を詳細に説明すると逆に作業効率が下がってしまうため、専門用語を用いて指示するのが好ましい。
　そこで、指示内容生成部１２３は、新人の作業員に対しては、例えば専門用語を用いない表現で詳細に作業内容を説明した障害修復作業の方法を表す情報を送信する。これにより、新人の作業員が装着するＨＭＤは、詳細に作業内容を説明した障害修復作業の方法を案内するコンピュータグラフィックス画像データを現実空間の映像と合成してＡＲ表示する。
　また、指示内容生成部１２３は、ベテランの作業員に対しては専門用語を用いた表現で簡潔に作業内容を説明した障害修復作業の方法を表す情報を送信する。これにより、ベテランの作業員が装着するＨＭＤは、専門用語を用いて簡潔に作業内容を説明した障害修復作業の方法を案内するコンピュータグラフィックス画像データを現実空間の映像と合成してＡＲ表示する。
　この場合、１つの障害復旧作業に対して、複数の習熟度に対応づけてそれぞれ異なる作業内容の説明（専門用語を用いた簡潔な説明や専門用語を用いない詳細な説明など）を格納した作業内容説明テーブルを、予め記憶装置１２２に記憶させておく必要がある。そして、指示内容生成部１２３は、作業員の習熟度を判定すると、判定した習熟度に対応する作業内容の説明を作業内容説明テーブルから読み出し、読み出した説明を各作業員に対して送信する。
　図１０は、作業内容説明テーブルの一例を示す図である。図１０に示す例では、指示内容生成部１２３は、例えば作業１について習熟度Ａと判定した作業員に対して記述Ｘの内容を送信する。
　上記の構成によれば、ＡＲを利用してインタラクティブな作業指示を行う場合、作業結果に応じて障害修復作業が繰り返し行われることになるが、前回までの作業員の作業内容に応じて作業員ごとに異なるレベルの作業指示の説明が送られる。これにより、ユーザの習熟度に応じて適切に作業指示を行うことができるようになるため、障害復旧作業を効率的に行うことができるようになる。
　以上、各作業員に対する説明のレベルを異ならせる構成について説明したが、他にも、例えばＡＲで表示させるマニュアルの開示範囲を異ならせてもよい。例えば、習熟度の低い新人作業員やアルバイト作業員に対してあまり多くの情報を開示してしまうのはセキュリティの面からも好ましくない。したがって、習熟度の低い新人作業員やアルバイト作業員に対しては必要最小限の範囲についてのみ開示し、習熟度の高い管理職レベルの作業員に対してはマニュアルの全ての内容を開示するようにしてもよい。
　なお、このようなセキュリティを考慮した構成については、上述した作業員の習熟度に基づいて判定する構成のほか、予め作業員テーブルなどに登録されている作業員の役職データやアクセス権限などに基づいて判定する構成であってもよい。
　また、本発明の他の実施形態に係る故障解析システムとして、作業員の習熟度に応じて、障害復旧作業を行う作業員を決定してもよい。
　例えば、作業ミスすると重大な障害を引き起こす可能性のある重要な作業を指示するのは危険であるため、そのような重要な作業については作業ミスの多い作業員よりも堅実に作業をこなす作業員に対して指示することが好ましい。
　この場合、上述した構成と同様に各作業員が行った障害復旧作業の内容について、指示内容生成部１２３が習熟度判定テーブルを用いて各作業員の習熟度を判定し、判定結果である各作業員の習熟度を作業員テーブルに書き込む。図１１は、作業員テーブルの一例を示す図である。図１１に示す例では、作業員Ｘについて、作業１の習熟度はＡランクと判定されており、作業２の習熟度はＢランクと判定されている。
　なお、作業員テーブルに各作業についての習熟度を書き込むための各作業員の習熟度の判定については、前回の障害復旧作業の作業内容に対して習熟度判定テーブルを用いて各作業員の習熟度を判定する構成であってもよい。あるいは、過去の障害復旧作業の作業内容履歴（作業時間や作業が正しく行われた度合い）を作業内容履歴テーブルに記憶しておき、作業内容履歴の各値の平均値により習熟度判定テーブルを用いて習熟度を判定してもよい。また、作業内容履歴がない作業員については、最も低い習熟度であると判定してもよく、特に限定はされない。図１２は、作業内容履歴テーブルの一例を示す図である。図１２に示す例では、例えば作業員ＩＤ００１の作業員（すなわち作業員Ｘ）は、２０ＸＸ年３月１に作業１を作業時間３分、作業成功率８５％で行ったことを示している。
　また、各障害復旧作業について担当するのに要求される作業員の能力水準を定義した要求能力テーブルを予め記憶装置１２２に記憶させておく。図１３は、要求能力テーブルの一例を示す図である。図１３に示す例では、例えば作業１を実施する作業員に要求される最低限の能力水準はＣランクであることを示している。
　これにより、指示内容生成部１２３は、現在のコンピュータシステムの稼働状況に基づいて障害復旧作業の内容を決定すると、要求能力テーブルから、決定した障害復旧作業を担当するのに要求される習熟度を読み出す。そして、指示内容生成部１２３は、作業員テーブルに記憶された各作業員の能力水準データを読み出して、これから障害復旧作業を担当するのに必要な能力水準を備えた作業員を決定し、決定した作業員に対して、障害修復作業の方法を表す情報を送信する。
　なお、作業員テーブルに格納される能力水準データは、例えば、各作業の習熟度の平均値に基づいて決定されてもよいし、その他の評価式によって決定されてもよく、各作業員の総合的な能力水準を表す値であればよい。また、この能力水準は、作業員によって各障害修復作業が実行される都度、指示内容生成部１２３によって更新されてもよい。
　また、要求される能力水準の作業員が複数いた場合には、過去に各作業員が担当した障害修復作業の中に、今回と同じ作業や類似する作業があるか否かを判定し、同じ作業や類似する作業の経験を有する作業員を優先的に担当させてもよい。この場合、作業員テーブルに過去の作業実績を記憶しておき、指示内容生成部１２３は、作業員テーブルから過去の作業実績を読み出して、今回と同じ作業や類似する作業の経験の有無を判定する。あるいは、その他の優先度ルール（作業回数の少ない順など）を予め定義しておいてもよいし、ユーザに手動で選択させる構成であってもよく、特に限定はされない。
　上記の構成によれば、ＡＲを利用してインタラクティブな作業指示を行う場合、作業結果に応じて障害修復作業が繰り返し行われることになるが、前回までの作業員の作業内容に応じて作業員が決定される。これにより、障害修復作業の難易度に応じた適切な作業員を担当者として決定することができるようになる。
　ところで、作業員は、障害修復作業の内容として、ネットワークケーブルに関して物理的な障害の可能性について確認する指示を受け取った場合、確認の対象となるネットワークケーブルがフリーアクセスフロアパネルの下、サーバラック内、あるいは設備の壁面内（以下、フリーアクセスフロア）のどこを通って敷設されているか特定する必要がある。
　しかしながら、データセンタなどにおいては膨大な数の計算機が設置されており、それらの計算機をネットワークに接続するためのケーブルの本数もまた膨大な数にのぼる。そのため、フリーアクセスフロアに敷設されたケーブルのうち、確認の対象となるネットワークケーブルがどこを通っているか確認することは至難の業である。
　そこで、本発明では、ＡＲ技術を用いて、フリーアクセスフロアに敷設されたネットワークケーブルの中から、所望のネットワークケーブルを容易に見つけ出すことが可能となる技術をも提供する。以下、この技術について詳細に説明する。
　本発明の実施形態に係る故障解析システムは、フリーアクセスフロアに敷設された実際のネットワークケーブルに沿って、当該ネットワークケーブルを表す仮想画像を現実空間におけるフロアパネルあるいはフロアパネルの撮像画像に重畳表示させるものである。
　本発明の実施形態に係る故障解析システムを実現するための具体的な構成について説明すれば以下のとおりである。図１４は、本発明の実施形態に係る故障解析システムの構成の一例を示す図である。図１４に示すとおり、本発明の実施形態に係る故障解析システムは、ＲＦＩＤ８００ａ、８００ｂ、８００ｃ・・・（以下、総称の場合はＲＦＩＤ８００と略す）が埋め込まれたネットワークケーブル８０１と、ＲＦＩＤリーダ８０２ａ～８０２ｄと、位置管理サーバ８０３と、ＨＭＤ８０４とを含んで構成される。なお、図１４には、ネットワークケーブルをＡＲで表示する技術に関する部分のみを示しているが、図１４に示す構成は図１に示す故障解析システムの一部として組み込まれる。すなわち、障害修復作業を支援するための各種の構成については図１に示す故障解析システムと同様であるため説明は省略する。
　ネットワークケーブル８０１は、データセンタ内のフリーアクセスフロアに敷設されており、フロアパネルによりネットワークケーブル８０１は見えていない。また、ネットワークケーブル８０１には、ＲＦＩＤ８００が一定の間隔（例えば１ｍ間隔など）で埋め込まれており、各ＲＦＩＤは当該ネットワークケーブルを識別するためのＩＤを記憶している。
　ＲＦＩＤリーダ８０２ａ～８０２ｄは、ネットワークケーブル８０１に埋め込まれているＲＦＩＤ８００から電波を受信する。
　位置管理サーバ８０３は、ＲＦＩＤリーダ８０２ａ～８０２ｄと通信可能なようにネットワークで接続されており、ＲＦＩＤリーダ８０２ａ～８０２ｄから受信する情報に基づいて各ＲＦＩＤ８００の位置を検知する。そして、位置管理サーバ８０３は、検知したＲＦＩＤ８００の位置を表す位置情報をＨＭＤ８０４に送信する。位置管理サーバ８０３の詳細について後述する。なお、図１４に示す例では、位置管理サーバ８０３とＲＦＩＤリーダ８０２ａ～８０２ｄとは無線ネットワークにより接続されているが、有線ＬＡＮで接続されていてもよい。
　なお、位置管理サーバ８０３のハードウェア構成は、図２Ａを用いて説明した故障解析装置１２０と同様、ＣＰＵがシステムバスに接続される各デバイスやコントローラを統括的に制御し、メモリやＨＤには、ＢＩＯＳやＯＳのほか、各種の機能を実現するプログラムが記憶されている。
　ＨＭＤ８０４は、位置管理サーバ８０３から受信したＲＦＩＤ８００の位置情報に基づいて、ネットワークケーブル８０１の実際の位置に沿って、ネットワークケーブル８０１を表す仮想画像８０５を床面上に重畳して表示する。なお、図１を用いて説明したＨＭＤ１０１等と同じ機能を備えており、詳細な説明は省略する。
　なお、ＨＭＤ８０４のハードウェア構成は、図２Ｂを用いて説明したＨＭＤ１０１等と同様、ＣＰＵがシステムバスに接続される各デバイスやコントローラを統括的に制御し、メモリやＨＤには、ＢＩＯＳやＯＳのほか、各種の機能を実現するプログラムが記憶されている。
　図１５は、位置管理サーバ８０３とＨＭＤ８０４との機能的な構成を示す図である。ＲＦＩＤリーダ８０２ａ～８０２ｄは、ネットワークケーブル８０１に備えられているＲＦＩＤ８００から発信される無線信号を受信すると、それぞれ受信したタイミングでハイレベルとなる波形の信号を位置管理サーバ８０３に対して送信する。位置管理サーバ８０３は、信号受信部８０３１、位置特定部８０３２、および位置情報送信部８０３３を含んで構成される。信号受信部８０３１は、ＲＦＩＤリーダ８０２ａ～８０２ｄから発信された信号を受信するものである。位置特定部８０３２は、信号受信部８０３１が各ＲＦＩＤ８０２ａ～８０２ｄから受信した信号に基づいて、ネットワークケーブル８０１に備えられているＲＦＩＤ８００の各位置（ＲＦＩＤ８００ａ、ＲＦＩＤ８００ｂ、ＲＦＩＤ８００ｃ・・・の各位置）を特定する。位置情報送信部８０３３は、ＲＦＩＤ８００の各位置を示す位置情報をＨＭＤ８０４に対して送信する。
　ＨＭＤ８０４は、位置情報受信部８０４１、位置姿勢検知部８０４２、および画像提示部８０４３を含んで構成される。位置情報受信部８０４１は、位置管理サーバ８０３から上述した位置情報を受信する。位置姿勢検知部８０４２は、ＨＭＤ８０４の位置（例えば、緯度、経度、あるいは、ローカルで定義された位置座標など）及び姿勢（例えば、方向、仰角）を検知する。画像提示部８０４３は、位置姿勢検知部８０４２により検知されたＨＭＤ８０４の位置及び姿勢に基づいて、ＨＭＤ８０４を装着する作業員が現実空間のどこを見ているかを推定する。そして、画像提示部８０４３は、位置情報受信部８０４１が受信したＲＦＩＤ８００の位置情報に基づいて、フリーアクセスフロアにネットワークケーブル８０１が敷設されている場所の床の上を作業員が見ていることを検知した場合、フリーアクセスフロアに敷設されているネットワークケーブル８０１の実際の位置に沿って、ネットワークケーブル８０１を表す仮想画像８０５を生成し、床面上の映像（透過型ＨＭＤの場合は現実空間）に重畳して表示する。
　図１６は、本発明の実施形態に係る故障解析システムの処理を示すフローチャートである。ステップＳ５０１において、信号受信部８０３１は、ＲＦＩＤリーダ８０２ａ～８０２ｄの全てからハイレベルの信号を受信する。図１７は、ＲＦＩＤリーダ８０２ａ～８０２ｄから発信される信号を説明するための図である。
　なお、フリーアクセスフロアにはネットワークケーブル８０１のほかにも複数のネットワークケーブルが敷設されているが、本実施形態では、作業員が携帯端末などの入力装置を介して、故障解析システムに対してネットワークケーブル８０１の位置をＡＲで表示することを指示する入力を行ったものとする。
　また、ネットワークケーブル８０１には、ＲＦＩＤ８００ａ、ＲＦＩＤ８００ｂ、ＲＦＩＤ８００ｃ・・・と複数のＲＦＩＤが備えられているが、ＲＦＩＤリーダ８０２ａ～８０２ｄは、ネットワークケーブル８０１の全てのＲＦＩＤ８００について無線信号を受信し、それぞれ受信したタイミングでハイレベルとなる波形の信号を位置管理サーバ８０３に対して送信する。
　また、ネットワークケーブル８０１に備えられた各ＲＦＩＤ８００が無線信号を発信するタイミングとしては、例えば、ＲＦＩＤ８００がパッシブ型であれば、作業員がネットワークケーブル８０１の位置をＡＲで表示することを指示する入力を行った際に、ＲＦＩＤリーダ８０２ａ～８０２ｄのいずれかから、各ＲＦＩＤ８００に対してＩＤの発信を要求する信号を送信し、その要求に対して各ＲＦＩＤ８００が時間をずらして自身のＩＤを発信する構成がある。なお、必ずしもネットワークケーブル８０１に備えられた全てのＲＦＩＤ８００から無線信号を受信する構成である必要はなく、所定の間隔で配置されたＲＦＩＤのみが無線信号を発信する構成であってもよく特に限定はされない。
　ここでは、ＲＦＩＤ８００ａからの信号を受信した場合を例に説明する。ＲＦＩＤリーダ８０２ａ～８０２ｄは、ＲＦＩＤ８００から発信される信号を受信すると、そのタイミングでハイレベルの信号を出力する。図１７の例ではＲＦＩＤリーダ８０２ａは時刻ｔ１にＲＦＩＤ８０１から信号を受信し、同時刻ｔ１にハイレベルの信号を出力している。また、ＲＦＩＤリーダ８０２ｂは時刻ｔ２にＲＦＩＤ８０１から信号を受信し、同時刻ｔ２にハイレベルの信号を出力している。
　また、ＲＦＩＤリーダ８０２ｃは時刻ｔ３にＲＦＩＤ８００から信号を受信し、同時刻ｔ３にハイレベル信号を出力している。ＲＦＩＤリーダ８０２ｄは時刻ｔ４にＲＦＩＤ８０１から信号を受信し、同時刻ｔ４にハイレベルの信号を出力している。
　このようにして、ＲＦＩＤリーダ８０２ａ～ｄはＲＦＩＤ８００ａからの信号を受信して、位置管理サーバ８０３の信号受信部８０３１はＲＦＩＤリーダ８０２ａ～ｄの全てからハイレベルの信号を受信する。また、同様にして、ＲＦＩＤリーダ８０２ａ～ｄはＲＦＩＤ８００ｂからの信号を受信して、位置管理サーバ８０３の信号受信部８０３１はＲＦＩＤリーダ８０２ａ～ｄの全てからハイレベルの信号を受信する。これを繰り返して、ネットワークケーブル８０１に備えられた全てのＲＦＩＤ８００からの信号を受信して、位置管理サーバ８０３の信号受信部８０３１は全てのＲＦＩＤ８００についてＲＦＩＤリーダ８０２ａ～ｄの全てからハイレベルの信号を受信する。
　ステップＳ５０２において、位置特定部８０３２は、ＲＦＩＤリーダ８０２ａ～ｄからハイレベルの信号を受信した時刻差や位相差に基づいて各ＲＦＩＤ８００の位置（すなわち、ＲＦＩＤ８００ａ、ＲＦＩＤ８００ｂ、ＲＦＩＤ８００ｃ・・・のそれぞれの位置）を特定する。なお、このような位置特定手法としては、例えばＴＤＯＡ（Time Difference of Arrival）方式の位置検出手法を用いることができる。あるいは、特開２０００－９８０１９号公報に開示されているような技術を適用することができる。
　ステップＳ５０３において、位置情報送信部８０３３は、ＨＭＤ８０４に対してステップＳ５０２において特定された位置を表す位置情報を送信する。なお、位置管理サーバ８０３は、予め作業員が登録を行うことにより、ネットワークケーブル８０１に関する情報（接続元、接続先、回線速度など）を記憶しておき、このＨＭＤ８０４に対して位置情報と共にネットワークケーブルに関する情報を送信してもよい。
　ステップＳ５０４において、ＨＭＤ８０４の位置情報受信部８０４１は、位置管理サーバ８０３から上述した位置情報やネットワークケーブルに関する情報を受信する。ステップＳ５０５において、位置姿勢検知部８０４２は、ＨＭＤ８０４の位置と姿勢とを検知する。
　ステップＳ５０６において、画像提示部８０４３は、位置姿勢検知部８０４２により検知されたＨＭＤ８０４の位置及び姿勢に基づいて、ＨＭＤ１０４を装着する作業員が現実空間のどこを見ているかを推定する。そして、画像提示部８０４３は、位置情報受信部８０４１が受信したＲＦＩＤ８００の位置情報に基づいて、フリーアクセスフロアにネットワークケーブル８０１が敷設されている場所の床の上を作業員が見ていることを検知した場合、フリーアクセスフロアに敷設されているネットワークケーブル８０１の実際の位置に沿って、ネットワークケーブル８０１を表す仮想画像８０５を生成し、図１８に示すように床面の映像（透過型ＨＭＤの場合は現実空間）に重畳して表示する。図１８は、フリーアクセスフロアに敷設されたネットワークケーブルを床面にＡＲで表示する例を示す図である。図１８に示す例では、画像提示部８０４３は、ネットワークケーブル８０１を示す仮想画像のほか、ネットワークケーブル８０１に関する情報（接続元、接続先、回線速度など）も提示している。
　なお、ＨＭＤ８０４の位置の特定は、ＲＦＩＤ８００の位置の特定と同様、例えば、ＨＭＤ８０４にもＲＦＩＤを備えておき、ＲＦＩＤリーダ８０２ａ～８０２ｄでＨＭＤ８０４のＲＦＩＤからの信号を受信し、そのときの時刻差や位相差に基づいて特定することができる。これにより、ＨＭＤ８０４とＲＦＩＤ８００との相対的な位置関係を特定することができ、ＨＭＤ８０４上の適切な位置にネットワークケーブル８０１の仮想画像をＡＲで表示することが可能となる。
　また、以下にネットワークケーブルの位置を特定するための他の構成について説明する。図１９は、フリーアクセスフロアに敷設されたネットワークケーブルの位置を特定する構成の一例を説明するための図である。図１９は、サーバルームの平面図である。サーバルームＺには、フロアパネルＺ上にラックＡ、ラックＢを含む複数のラックが設置されている。また、フロアパネルＺの下はフリーアクセスフロアであり、ネットワークケーブルが敷設されているが、ネットワークケーブルはフロアパネルＺによって隠されており、通常は見ることができない。また、図１９に示すとおり、フロアパネルＺには座標が設定されており、フロアパネルＺ上に示される波線は、座標を示すための線である。
　図１９に示す例では、ラックＡに設置された機器のポートａとラックＢに設置された機器のポートｂとがネットワークケーブルＺにより接続されている例を示している。上述のとおり、ネットワークケーブルＺはフロアパネルＺの下に敷設されており、図１９には、フロアパネルＺにおけるネットワークケーブルＺの位置を表す線を示している。図１９に示す例では、ネットワークケーブルＺは、ポートａの側から順に（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）、（ｘ４，ｙ４）の各座標の位置を通ってポートｂに接続される。位置管理サーバＺには、ユーザによって、これらのネットワークポートと座標の情報が登録されている。このとき、ネットワークケーブルＺが接続されているいずれかのネットワークポートを起点にした場合の各座標を通過する順番を表す情報も登録されているものとする。また、この場合、最低限、ネットワークケーブルの敷設の方向が変わる座標が位置管理サーバＺに登録されていればよいが、位置が変わる座標間の途中の座標が登録される構成であってもよい。
　そして、故障解析システムによる解析の結果、障害修復作業としてネットワークケーブルの確認の指示を行う場合などにおいて、位置管理サーバＺは、作業者が装着するＨＭＤに対してネットワークケーブルの位置情報として上記座標およびポートの情報を送信する。さらに、作業者が装着するＨＭＤは、確認対象のネットワークケーブルＺがフリーアクセスフロアに敷設されている場所のフロアパネルＺを作業者がＨＭＤから見ていると判断した場合、ＨＭＤは上記座標を接続する線を表す仮想画像を生成し、生成した仮想画像をフロアパネルＺの映像に重畳させて作業員に提示する。
　図２０は、フリーアクセスフロアに敷設されたネットワークケーブルの位置を特定する構成の他の例を説明するための図である。図２０は、サーバルームの平面図である。サーバルームＺ’には、フロアパネルＺ’上にラックＡ、ラックＢを含む複数のラックが設置されている。また、フロアパネルＺ’の下はフリーアクセスフロアであり、ネットワークケーブルが敷設されているが、ネットワークケーブルはフロアパネルＺ’によって隠されており、通常は見ることができない。また、図２０に示すとおり、フロアパネルＺ’には座標が設定されており、フロアパネルＺ’上に示される波線は、座標を示すための線である。
　図２０に示す例では、ラックＡに設置された機器のポートａとラックＢに設置された機器のポートｂとがネットワークケーブルＺ’により接続されている例を示している。上述のとおり、ネットワークケーブルＺ’はフロアパネルＺ’の下に敷設されており、図２０には、フロアパネルＺ’におけるネットワークケーブルＺ’の位置を表す線を示している。
　図２０に示す例では、図１９に示す例と異なり、ネットワークケーブルＺ’は所定の間隔ごとにＲＦＩＤを備えている。このネットワークケーブルＺ’に埋め込まれている各ＲＦＩＤにはネットワークケーブルＺ’を他のネットワークケーブルと識別するためのＩＤが格納されている。また、図２０において、フロアパネルＺ’には、波線が交差する点においてＲＦＩＤリーダが備えられている。このＲＦＩＤリーダは、位置管理サーバＺ’と通信可能である。
　フロアパネルＺ’の波線が交差する点に備えられているＲＦＩＤリーダは、ネットワークケーブルに備えられているＲＦＩＤが発信する信号を読み取り、位置管理サーバＺ’に送信する。このとき、各ＲＦＩＤリーダは、ＲＦＩＤから発せられるネットワークケーブルＺ’のＩＤを表す信号のほか、読み取った信号の強度についても位置管理サーバＺ’に送信する。
　位置管理サーバＺ’は、ＲＦＩＤリーダから受信した信号および信号の強度に基づいて、ネットワークケーブルＺ’に埋め込まれたＲＦＩＤからの信号で一定の強度以上の信号を読み取ったＲＦＩＤリーダの座標を特定する。すなわち、一定の強度以上の信号を受信したＲＦＩＤリーダについては、その近傍をネットワークケーブルＺ’が通っていることを表しているため、ネットワークケーブルＺ’は位置管理サーバＺ’によって特定された上記の座標を通っていることになる。図２０に示す例では白丸で表される座標に設けられているＲＦＩＤリーダが一定の強度の信号を受信したことを表している。また、位置管理サーバＺ’には、ユーザによって予めネットワークケーブルＺ’が接続されているポートが登録されているものとする。
　そして、故障解析システムによる解析の結果、障害修復作業としてネットワークケーブルの確認の指示を行う場合などにおいて、位置管理サーバＺ’は、作業者が装着するＨＭＤに対してネットワークケーブルの位置情報として上記の白丸で表される座標およびポートの情報を送信する。さらに、作業者が装着するＨＭＤは、確認対象のネットワークケーブルＺ’がフリーアクセスフロアに敷設されている場所のフロアパネルＺ’を作業者がＨＭＤから見ていると判断した場合、ＨＭＤは上記座標を接続する線を表す仮想画像を生成し、生成した仮想画像をフロアパネルＺの映像に重畳させて作業員に提示する。
　上記の構成によれば、作業員には、フリーアクセスフロアに敷設されているネットワークケーブルの位置に沿って、床面に当該ネットワークケーブルを表す仮想画像がＨＭＤを介して提示される。
　これにより、本発明の実施形態に係る故障解析システムによれば、作業員は、障害修復作業の内容として、ネットワークケーブルを確認する旨の作業指示を受けた場合、対象となるネットワークケーブルがフリーアクセスフロアのどこを通って敷設されているか容易に見つけることができるため、作業員の作業効率を向上させることが可能となる。
　なお、本発明は、上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
　本発明の実施形態は、コンピュータがプログラムを実行することによって実現することができる。また、プログラムをコンピュータに供給するための手段、例えばかかるプログラムを記録したＣＤ－ＲＯＭ等のコンピュータ読み取り可能な記録媒体、又はかかるプログラムを伝送する伝送媒体も本発明の実施の形態として適用することができる。また、前記プログラムを記録したコンピュータ読み取り可能な記録媒体などのプログラムプロダクトも本発明の実施の形態として適用することができる。前記のプログラム、コンピュータ読み取り可能な記録媒体、伝送媒体及びプログラムプロダクトは、本発明の範疇に含まれる。
　本発明は、現実空間の映像とコンピュータグラフィックス画像データとを合成して重畳表示させることが可能な拡張現実に有用である。

Claims (9)

  1. 　現実空間の映像とコンピュータグラフィックス画像データとを合成して表示させることが可能な拡張現実感提示装置と、コンピュータシステムに発生した障害を解析可能な故障解析装置とを有する情報処理システムであって、
    　前記故障解析装置は、
    　前記コンピュータシステムの稼働状況に係る情報を取得する取得手段と、
    　前記取得手段により取得された前記稼働状況に係る情報に基づいて、前記コンピュータシステムに対する障害修復作業に関する情報を判定する判定手段と、
    　前記判定手段により判定された前記障害修復作業に関する情報を前記拡張現実感提示装置に対して送信する送信手段とを有し、
    　前記拡張現実感提示装置は、
    　前記障害修復作業に関する情報に基づいて、前記障害修復作業の方法を案内するコンピュータグラフィックス画像データを現実空間の映像と合成して提示する提示手段を有し、
    　前記故障解析装置は、
    　前記拡張現実感提示装置によって提示された案内による障害修復作業の後、前記コンピュータシステムの稼働状況に係る情報が前記取得手段によって新たに取得された場合、前記判定手段により、当該稼働状況に係る情報に基づいて、前記コンピュータシステムに対する障害修復作業に関する情報を新たに判定し、前記送信手段により、新たに判定された障害修復作業に関する情報を前記拡張現実提示装置に対して送信することを特徴とする情報処理システム。
  2. 　前記故障解析装置は、前記判定手段により、前記コンピュータシステムの稼働状況に係る情報に基づいて、複数の作業員が前記コンピュータシステムに対して個々に実行すべき障害修復作業に関する情報を判定し、前記送信手段により、前記各障害修復作業の方法を夫々該当する作業員の前記拡張現実提示装置に対して送信することを特徴とする請求項１に記載の情報処理システム。
  3. 　前記故障解析装置は、前記送信手段により、前記拡張現実感提示装置の現在地から前記障害修復作業の場所までの経路を案内するための案内情報を前記拡張現実感提示装置に対して送信し、
    　前記拡張現実感提示装置は、前記提示手段により、前記案内情報に基づいて、前記拡張現実感提示装置の現在地から前記障害修復作業の場所までの経路を案内するコンピュータグラフィックス画像データを現実空間の映像と合成して提示することを特徴とする請求項１に記載の情報処理システム。
  4. 　前記判定手段は、前記拡張現実感提示装置によって提示された案内による障害修復作業の実行結果に基づいて当該作業を行った作業員の習熟度を判定し、
    　前記故障解析装置は、
    　前記拡張現実感提示装置によって提示された案内による障害修復作業の後、前記コンピュータシステムに対する障害修復作業に関する情報を新たに判定した場合、新たに判定された障害復旧作業に関する情報について、前記習熟度に応じた作業内容の説明を表す情報を前記拡張現実提示装置に対して送信することを特徴とする請求項１に記載の情報処理システム。
  5. 　前記判定手段は、前記拡張現実感提示装置によって提示された案内による障害修復作業の実行結果に基づいて当該作業を行った作業員の習熟度を判定し、
    　前記故障解析装置は、
    　前記判定手段により、前記コンピュータシステムの稼働状況に係る情報に基づいて、前記複数の作業員が前記コンピュータシステムに対して個々に実行すべき障害修復作業に関する情報を判定する際、前記習熟度に応じて前記作業員の担当する障害修復作業を決定することを特徴とする請求項２に記載の情報処理システム。
  6. 　前記故障解析装置は、フリーアクセスフロアに敷設されているネットワークケーブルの位置を特定する位置特定手段をさらに備え、
    　前記送信手段は、前記判定手段により判定された前記障害修復作業に関する情報の一部として、前記位置特定手段によって特定された前記ネットワークケーブルの位置を表す位置情報を前記拡張現実感提示装置に対して送信し、
    　前記拡張現実感提示装置は、前記提示手段が、前記障害修復作業に関する情報に含まれる前記位置情報基づいて、前記障害修復作業の方法を案内するコンピュータグラフィックス画像データとして、前記ネットワークケーブルを現実空間の映像と合成して提示することを特徴とする請求項１に記載の情報処理システム。
  7. 　現実空間の映像とコンピュータグラフィックス画像データとを合成して表示させることが可能な拡張現実感提示装置と、コンピュータシステムに発生した障害を解析可能な故障解析装置とによって実行される情報処理方法であって、
    　前記故障解析装置は、
    　前記コンピュータシステムの稼働状況に係る情報を取得する取得ステップと、
    　前記取得ステップにより取得された前記稼働状況に係る情報に基づいて、前記コンピュータシステムに対する障害修復作業に関する情報を判定する判定ステップと、
    　前記判定ステップにより判定された前記障害修復作業に関する情報を前記拡張現実感提示装置に対して送信する送信ステップとを含み、
    　前記拡張現実感提示装置は、
    　前記障害修復作業に係る情報に基づいて、前記障害修復作業の方法を案内するコンピュータグラフィックス画像データを現実空間の映像と合成して提示する提示ステップを含み、
    　前記故障解析装置は、
    　前記拡張現実感提示装置によって提示された案内による障害修復作業の後、前記コンピュータシステムの稼働状況に係る情報を新たに取得した場合、当該稼働状況に係る情報に基づいて、前記コンピュータシステムに対する障害修復作業に係る情報を新たに判定し、新たに判定された障害修復作業に関する情報を前記拡張現実提示装置に対して送信することを特徴とする情報処理方法。
  8. 　現実空間の映像とコンピュータグラフィックス画像データとを合成して表示させることが可能な拡張現実感提示装置と、コンピュータシステムに発生した障害を解析可能な故障解析装置とを有する情報処理システムにおける情報処理方法をコンピュータに実行させるためのプログラムであって、
    　前記故障解析装置が、前記コンピュータシステムの稼働状況に係る情報を取得する取得ステップと、
    　前記故障解析装置が、前記取得ステップにより取得された前記稼働状況に係る情報に基づいて、前記コンピュータシステムに対する障害修復作業に関する情報を判定する判定ステップと、
    　前記故障解析装置が、前記判定ステップにより判定された前記障害修復作業に関する情報を前記拡張現実感提示装置に対して送信する送信ステップと、
    　前記拡張現実感提示装置が、前記障害修復作業に関する情報に基づいて、前記障害修復作業の方法を案内するコンピュータグラフィックス画像データを現実空間の映像と合成して提示する提示ステップとを含み、
    　前記故障解析装置が、
    　前記拡張現実感提示装置によって提示された案内による障害修復作業の後、前記コンピュータシステムの稼働状況に係る情報が前記取得ステップによって新たに取得された場合、前記判定ステップにより、当該稼働状況に係る情報に基づいて、前記コンピュータシステムに対する障害修復作業に関する情報を新たに判定し、前記送信ステップにより、新たに判定された障害修復作業に関する情報を前記拡張現実提示装置に対して送信するステップをコンピュータに実行させるためのプログラム。
  9. 　現実空間の映像とコンピュータグラフィックス画像データとを合成して表示させることが可能な拡張現実感提示装置と、修理対象物に発生した障害を解析可能な故障解析装置とを有する情報処理システムであって、
    　前記故障解析装置は、
    　前記修理対象物の稼働状況に係る情報を取得する取得手段と、
    　前記取得手段により取得された前記稼働状況に係る情報に基づいて、前記修理対象物に対する障害修復作業に関する情報を判定する判定手段と、
    　前記判定手段により判定された前記障害修復作業に関する情報を示す情報を前記拡張現実感提示装置に対して送信する送信手段とを有し、
    　前記拡張現実感提示装置は、
    　前記障害修復作業に関する情報に基づいて、前記障害修復作業の方法を案内するコンピュータグラフィックス画像データを現実空間の映像と合成して提示する提示手段を有し、
    　前記故障解析装置は、
    　前記拡張現実感提示装置によって提示された案内による障害修復作業の後、前記修理対象物の稼働状況に係る情報が前記取得手段によって新たに取得された場合、前記判定手段により、当該稼働状況に係る情報に基づいて、前記修理対象物に対する障害修復作業に関する情報を新たに判定し、前記送信手段により、新たに判定された障害修復作業に関する情報を前記拡張現実提示装置に対して送信することを特徴とする情報処理システム。
PCT/JP2011/057959 2010-04-28 2011-03-30 情報処理システム、情報処理方法及びプログラム WO2011135968A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN2011800037960A CN102483863B (zh) 2010-04-28 2011-03-30 信息处理系统以及信息处理方法
US13/497,029 US8760471B2 (en) 2010-04-28 2011-03-30 Information processing system, information processing method and program for synthesizing and displaying an image
EP11774752.7A EP2469475B1 (en) 2010-04-28 2011-03-30 Information processing system, information processing method, and program

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2010104071 2010-04-28
JP2010-104071 2010-04-28
JP2011066198A JP4913913B2 (ja) 2010-04-28 2011-03-24 情報処理システム、情報処理方法及びプログラム
JP2011-066198 2011-03-24

Publications (1)

Publication Number Publication Date
WO2011135968A1 true WO2011135968A1 (ja) 2011-11-03

Family

ID=44861286

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/057959 WO2011135968A1 (ja) 2010-04-28 2011-03-30 情報処理システム、情報処理方法及びプログラム

Country Status (5)

Country Link
US (1) US8760471B2 (ja)
EP (1) EP2469475B1 (ja)
JP (1) JP4913913B2 (ja)
CN (1) CN102483863B (ja)
WO (1) WO2011135968A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012137108A1 (en) * 2011-04-07 2012-10-11 International Business Machines Corporation Managing computing systems utilizing augmented reality
CN103166778A (zh) * 2011-12-13 2013-06-19 成都勤智数码科技有限公司 一种故障自动化智能处理方法及其装置
JP2017041209A (ja) * 2015-08-21 2017-02-23 富士通株式会社 タスク実行支援方法、タスク実行支援装置およびタスク実行支援プログラム
JP2018151742A (ja) * 2017-03-10 2018-09-27 株式会社デンソーウェーブ 情報表示システム
JP2019096324A (ja) * 2017-11-27 2019-06-20 オイヒナー ゲゼルシャフト ミット ベシュレンクテル ハフツング プルス コンパニー コマンディートゲゼルシャフトＥＵＣＨＮＥＲ ＧｍｂＨ ＋ Ｃｏ． ＫＧ 安全システム

Families Citing this family (111)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011017305A1 (de) * 2011-04-15 2012-10-18 Abb Technology Ag Bedien- und Beobachtungssystem für technische Anlagen
US9965564B2 (en) * 2011-07-26 2018-05-08 Schneider Electric It Corporation Apparatus and method of displaying hardware status using augmented reality
US9685000B1 (en) * 2011-09-28 2017-06-20 EMC IP Holding Company LLC Using augmented reality in data storage management
US9230501B1 (en) 2012-01-06 2016-01-05 Google Inc. Device control utilizing optical flow
US8952869B1 (en) * 2012-01-06 2015-02-10 Google Inc. Determining correlated movements associated with movements caused by driving a vehicle
US10469916B1 (en) 2012-03-23 2019-11-05 Google Llc Providing media content to a wearable device
US9413893B2 (en) * 2012-04-05 2016-08-09 Assurant, Inc. System, method, apparatus, and computer program product for providing mobile device support services
US8898520B1 (en) * 2012-04-19 2014-11-25 Sprint Communications Company L.P. Method of assessing restart approach to minimize recovery time
US8965624B2 (en) 2012-08-14 2015-02-24 Ebay Inc. Method and system of vehicle tracking portal
JP5966942B2 (ja) * 2013-01-23 2016-08-10 トヨタ自動車株式会社 操作支援システム及び操作支援方法
JP6065640B2 (ja) 2013-02-21 2017-01-25 ブラザー工業株式会社 コンピュータプログラムおよび制御装置
US10678225B2 (en) 2013-03-04 2020-06-09 Fisher-Rosemount Systems, Inc. Data analytic services for distributed industrial performance monitoring
US10649424B2 (en) 2013-03-04 2020-05-12 Fisher-Rosemount Systems, Inc. Distributed industrial performance monitoring and analytics
US10223327B2 (en) 2013-03-14 2019-03-05 Fisher-Rosemount Systems, Inc. Collecting and delivering data to a big data machine in a process control system
US10282676B2 (en) 2014-10-06 2019-05-07 Fisher-Rosemount Systems, Inc. Automatic signal processing-based learning in a process plant
US10649449B2 (en) 2013-03-04 2020-05-12 Fisher-Rosemount Systems, Inc. Distributed industrial performance monitoring and analytics
US10909137B2 (en) 2014-10-06 2021-02-02 Fisher-Rosemount Systems, Inc. Streaming data for analytics in process control systems
US10386827B2 (en) 2013-03-04 2019-08-20 Fisher-Rosemount Systems, Inc. Distributed industrial performance monitoring and analytics platform
US9558220B2 (en) 2013-03-04 2017-01-31 Fisher-Rosemount Systems, Inc. Big data in process control systems
US9804588B2 (en) 2014-03-14 2017-10-31 Fisher-Rosemount Systems, Inc. Determining associations and alignments of process elements and measurements in a process
US10866952B2 (en) 2013-03-04 2020-12-15 Fisher-Rosemount Systems, Inc. Source-independent queries in distributed industrial system
US9823626B2 (en) 2014-10-06 2017-11-21 Fisher-Rosemount Systems, Inc. Regional big data in process control systems
US9397836B2 (en) 2014-08-11 2016-07-19 Fisher-Rosemount Systems, Inc. Securing devices to process control systems
US9665088B2 (en) 2014-01-31 2017-05-30 Fisher-Rosemount Systems, Inc. Managing big data in process control systems
US9959190B2 (en) * 2013-03-12 2018-05-01 International Business Machines Corporation On-site visualization of component status
US10691281B2 (en) 2013-03-15 2020-06-23 Fisher-Rosemount Systems, Inc. Method and apparatus for controlling a process plant with location aware mobile control devices
GB2513455B (en) * 2013-03-15 2020-11-25 Fisher Rosemount Systems Inc Generating checklists in a process control environment
EP3200131A1 (en) 2013-03-15 2017-08-02 Fisher-Rosemount Systems, Inc. Data modeling studio
EP2784681A1 (en) * 2013-03-27 2014-10-01 British Telecommunications public limited company Visual diagnosis tool
WO2014174426A1 (en) * 2013-04-26 2014-10-30 Koninklijke Philips N.V. Decision support system for a lighting network
WO2015001611A1 (ja) 2013-07-02 2015-01-08 株式会社日立製作所 ネットワーク構築支援システム及び方法
JP6355909B2 (ja) * 2013-10-18 2018-07-11 三菱重工業株式会社 検査記録装置及び検査記録評価方法
US9740935B2 (en) * 2013-11-26 2017-08-22 Honeywell International Inc. Maintenance assistant system
EP3090507B1 (en) * 2013-12-30 2020-02-12 Telecom Italia S.p.A. Augmented reality for supporting intervention of a network apparatus by a human operator
US9495236B2 (en) * 2014-04-07 2016-11-15 Cubic Corporation Intuitive visual assessment of device operational health
JP6713731B2 (ja) * 2014-06-05 2020-06-24 トーヨーカネツ株式会社 Ａｒ利用広告提供システム及びａｒ利用顧客付加価値情報提供システム
JP6497851B2 (ja) * 2014-06-05 2019-04-10 トーヨーカネツソリューションズ株式会社 Ａｒ利用取説提供システム
US10168691B2 (en) 2014-10-06 2019-01-01 Fisher-Rosemount Systems, Inc. Data pipeline for process control system analytics
JP2016138908A (ja) * 2015-01-26 2016-08-04 セイコーエプソン株式会社 表示システム、可搬型表示装置、表示制御装置、表示方法
JP6478713B2 (ja) * 2015-03-04 2019-03-06 キヤノン株式会社 計測装置および計測方法
WO2016147656A1 (ja) * 2015-03-16 2016-09-22 日本電気株式会社 情報処理装置、情報処理方法、及び、記録媒体
JP6464889B2 (ja) * 2015-03-31 2019-02-06 富士通株式会社 画像処理装置、画像処理プログラム、及び画像処理方法
MY201893A (en) 2015-08-21 2024-03-22 Ns Solutions Corp Display system and information processing method
CN107924585B (zh) * 2015-08-25 2021-03-09 日铁系统集成株式会社 作业辅助装置、作业辅助方法以及存储介质
JP2017049763A (ja) * 2015-09-01 2017-03-09 株式会社東芝 電子機器、支援システムおよび支援方法
JP2017049762A (ja) 2015-09-01 2017-03-09 株式会社東芝 システム及び方法
JP2017049869A (ja) 2015-09-03 2017-03-09 株式会社東芝 メガネ型ウェアラブル端末とそのデータ処理方法
JP2017058783A (ja) * 2015-09-14 2017-03-23 富士ゼロックス株式会社 情報処理装置、情報処理方法、情報処理システム及びプログラム
JP6670580B2 (ja) * 2015-10-21 2020-03-25 株式会社シンコネクト 建築分野用システム
US10114717B2 (en) * 2015-10-27 2018-10-30 Fluke Corporation System and method for utilizing machine-readable codes for testing a communication network
US10528021B2 (en) 2015-10-30 2020-01-07 Rockwell Automation Technologies, Inc. Automated creation of industrial dashboards and widgets
CN106681881A (zh) * 2015-11-05 2017-05-17 中兴通讯股份有限公司 一种数据中心巡检方法及装置
US10313281B2 (en) 2016-01-04 2019-06-04 Rockwell Automation Technologies, Inc. Delivery of automated notifications by an industrial asset
US10503483B2 (en) 2016-02-12 2019-12-10 Fisher-Rosemount Systems, Inc. Rule builder in a process control network
EP3417307A4 (en) * 2016-02-18 2019-09-11 Edx Technologies, Inc. SYSTEMS AND METHODS FOR AUGMENTED REALITY DISPLAYS OF NETWORKS
WO2017150292A1 (ja) * 2016-03-04 2017-09-08 新日鉄住金ソリューションズ株式会社 表示システム、情報処理装置、情報処理方法及びプログラム
WO2017150293A1 (ja) * 2016-03-04 2017-09-08 新日鉄住金ソリューションズ株式会社 情報処理システム、情報処理装置、情報処理方法及びプログラム
JP2017175354A (ja) * 2016-03-23 2017-09-28 Kddi株式会社 システム、情報処理装置、ヘッドマウント装置、及びプログラム
JP2017182487A (ja) * 2016-03-30 2017-10-05 Kddi株式会社 システム、情報処理装置、ヘッドマウント装置、及び方法
ITUA20162756A1 (it) * 2016-04-20 2017-10-20 Newbiquity Sagl Metodo e sistema di assistenza a distanza in tempo reale con impiego di computer vision e realtà aumentata
WO2017182523A1 (en) * 2016-04-20 2017-10-26 Newbiquity Sagl A method and a system for real-time remote support with use of computer vision and augmented reality
KR20170121930A (ko) 2016-04-26 2017-11-03 현대자동차주식회사 웨어러블 기기 및 이를 포함하는 차량 진단 장치
US10650591B1 (en) 2016-05-24 2020-05-12 Out of Sight Vision Systems LLC Collision avoidance system for head mounted display utilized in room scale virtual reality system
US10981060B1 (en) 2016-05-24 2021-04-20 Out of Sight Vision Systems LLC Collision avoidance system for room scale virtual reality system
JP6749144B2 (ja) * 2016-05-31 2020-09-02 東芝テック株式会社 情報処理装置、及びプログラム
KR102610021B1 (ko) 2016-08-12 2023-12-04 매직 립, 인코포레이티드 단어 흐름 주석
US10318570B2 (en) 2016-08-18 2019-06-11 Rockwell Automation Technologies, Inc. Multimodal search input for an industrial search platform
JP6521923B2 (ja) * 2016-09-21 2019-05-29 株式会社 日立産業制御ソリューションズ 作業支援装置及び作業支援方法
US10545492B2 (en) 2016-09-26 2020-01-28 Rockwell Automation Technologies, Inc. Selective online and offline access to searchable industrial automation data
US10401839B2 (en) 2016-09-26 2019-09-03 Rockwell Automation Technologies, Inc. Workflow tracking and identification using an industrial monitoring system
US10319128B2 (en) 2016-09-26 2019-06-11 Rockwell Automation Technologies, Inc. Augmented reality presentation of an industrial environment
US10388075B2 (en) * 2016-11-08 2019-08-20 Rockwell Automation Technologies, Inc. Virtual reality and augmented reality for industrial automation
US10735691B2 (en) 2016-11-08 2020-08-04 Rockwell Automation Technologies, Inc. Virtual reality and augmented reality for industrial automation
US10866631B2 (en) 2016-11-09 2020-12-15 Rockwell Automation Technologies, Inc. Methods, systems, apparatuses, and techniques for employing augmented reality and virtual reality
JP2018092227A (ja) * 2016-11-30 2018-06-14 ソニー株式会社 提示制御装置、提示制御方法およびプログラム
DE102017108622A1 (de) * 2017-04-23 2018-10-25 Goodly Innovations GmbH System zur unterstützung von teamarbeit mittels augmented reality
JP6867883B2 (ja) * 2017-06-01 2021-05-12 株式会社日立ドキュメントソリューションズ 空間表示装置、および、空間表示方法
CN107302454A (zh) * 2017-06-16 2017-10-27 郑州云海信息技术有限公司 一种基于ar技术的机房服务器管理方法及系统
JP6917844B2 (ja) * 2017-09-20 2021-08-11 株式会社東芝 作業支援システム、作業支援方法及び作業支援プログラム
JP2019067050A (ja) * 2017-09-29 2019-04-25 株式会社日立ビルシステム 作業支援システム
US10445944B2 (en) 2017-11-13 2019-10-15 Rockwell Automation Technologies, Inc. Augmented reality safety automation zone system and method
JP2018037107A (ja) * 2017-11-27 2018-03-08 株式会社東芝 システム及び方法
US11222081B2 (en) 2017-11-27 2022-01-11 Evoqua Water Technologies Llc Off-line electronic documentation solutions
US10796153B2 (en) 2018-03-12 2020-10-06 International Business Machines Corporation System for maintenance and repair using augmented reality
CN112219189A (zh) * 2018-03-27 2021-01-12 奈飞公司 用于调度的反熵修复设计的技术
US20190042843A1 (en) * 2018-04-05 2019-02-07 Intel Corporation Cable detection for ar/vr computing method and apparatus
CN108919882A (zh) * 2018-04-24 2018-11-30 北京拓盛智联技术有限公司 一种基于ar技术的设备主动安全操作方法和系统
CN108596349A (zh) * 2018-04-28 2018-09-28 广东日月潭电源科技有限公司 一种基于ar技术的ups电源维修方法、系统及装置
JP7113702B2 (ja) * 2018-08-31 2022-08-05 三菱電機株式会社 点検作業支援装置、点検作業支援システム、および点検作業支援方法
JP6816077B2 (ja) * 2018-09-14 2021-01-20 ファナック株式会社 誘導情報提示装置、誘導情報提示サーバ、誘導情報提示システム、誘導情報提示方法及びプログラム
US10831588B2 (en) * 2018-10-16 2020-11-10 International Business Machines Corporation Diagnosis of data center incidents with augmented reality and cognitive analytics
US11145130B2 (en) * 2018-11-30 2021-10-12 Apprentice FS, Inc. Method for automatically capturing data from non-networked production equipment
US10966342B2 (en) * 2019-01-31 2021-03-30 Dell Products, L.P. System and method for determining location and navigating a datacenter using augmented reality and available sensor data
JP7058621B2 (ja) * 2019-02-22 2022-04-22 株式会社日立製作所 映像記録装置およびヘッドマウントディスプレイ
US11062264B2 (en) 2019-03-08 2021-07-13 Grace Technology, Inc. Work support system, work support server, work situation determination apparatus, device for worker, and work object equipment
JP7040488B2 (ja) * 2019-03-28 2022-03-23 オムロン株式会社 トラブルシュート支援装置、トラブルシュート支援方法、およびプログラム
JP7338200B2 (ja) * 2019-03-29 2023-09-05 村田機械株式会社 保守方法、及び、保守サーバ
JP7334460B2 (ja) * 2019-04-26 2023-08-29 富士通株式会社 作業支援装置及び作業支援方法
WO2020261329A1 (ja) * 2019-06-24 2020-12-30 サン電子株式会社 機能実行システム
US11842025B2 (en) * 2019-08-06 2023-12-12 Sony Group Corporation Information processing device and information processing method
US20210056272A1 (en) 2019-08-23 2021-02-25 KEFI Holdings, Inc Object detection-based control of projected content
US11792288B2 (en) * 2019-09-09 2023-10-17 Extreme Networks, Inc. Wireless network device with directional communication functionality
JP2022551978A (ja) 2019-10-15 2022-12-14 オラクル・インターナショナル・コーポレイション データセンタオペレーションまたはクラウドインフラストラクチャで仮想現実または拡張現実を使用するためのシステムおよび方法
CN110826986A (zh) * 2019-10-24 2020-02-21 广东优世联合控股集团股份有限公司 一种精准确定规建外包费用数据的处理方法和装置
JP2021067899A (ja) * 2019-10-28 2021-04-30 株式会社日立製作所 頭部装着型表示装置および表示コンテンツ制御方法
JP7259717B2 (ja) * 2019-11-28 2023-04-18 富士通株式会社 表示制御方法、表示制御プログラムおよび表示制御装置
US11074730B1 (en) * 2020-01-23 2021-07-27 Netapp, Inc. Augmented reality diagnostic tool for data center nodes
JP7149354B2 (ja) * 2020-03-27 2022-10-06 Ｓｐｐテクノロジーズ株式会社 保守作業支援システム、保守作業支援方法、および、保守作業支援プログラム
JP7044838B2 (ja) * 2020-08-07 2022-03-30 東芝テック株式会社 情報処理装置、及びプログラム
CN113778222A (zh) * 2021-07-23 2021-12-10 中国人民解放军海军航空大学青岛校区 一种基于ar的特情处置方法及装置
CN114063909B (zh) * 2021-10-25 2023-12-08 华东计算技术研究所（中国电子科技集团公司第三十二研究所） 图片数据的智能分布式存储方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002538543A (ja) * 1999-03-02 2002-11-12 シーメンス アクチエンゲゼルシヤフト 強調現実感技術により対話を状況に応じて支援するためのシステム及び方法
WO2007096971A1 (ja) * 2006-02-23 2007-08-30 Fujitsu Limited 保守ガイダンス表示装置、保守ガイダンス表示方法、保守ガイダンス表示プログラム

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4964077A (en) * 1987-10-06 1990-10-16 International Business Machines Corporation Method for automatically adjusting help information displayed in an online interactive system
US5680541A (en) * 1991-12-16 1997-10-21 Fuji Xerox Co., Ltd. Diagnosing method and apparatus
JP2000098019A (ja) 1998-09-22 2000-04-07 Honda Electronic Co Ltd 超音波移動体位置検出装置
US7324081B2 (en) 1999-03-02 2008-01-29 Siemens Aktiengesellschaft Augmented-reality system for situation-related support of the interaction between a user and an engineering apparatus
US7013284B2 (en) * 1999-05-04 2006-03-14 Accenture Llp Component based interface to handle tasks during claim processing
US7126558B1 (en) * 2001-10-19 2006-10-24 Accenture Global Services Gmbh Industrial augmented reality
US20030115088A1 (en) * 2001-12-18 2003-06-19 Crossmark, Inc. System and method of routing, scheduling, and monitoring a workforce
JP2003298821A (ja) * 2002-04-03 2003-10-17 Sharp Corp 画像出力装置
JP4396212B2 (ja) * 2002-10-10 2010-01-13 セイコーエプソン株式会社 作業担当者支援方法
EP1649419A4 (en) * 2003-08-29 2007-04-25 Siemens Med Solutions Health CUSTOMER SUPPORT SYSTEM
US7383148B2 (en) * 2004-03-25 2008-06-03 Siemens Building Technologies, Inc. Method and apparatus for graphically displaying a building system
JP2006099405A (ja) * 2004-09-29 2006-04-13 Seiko Epson Corp コンテンツ配信システム、コンテンツ配信方法及びそのプログラム
US7251585B2 (en) * 2005-06-14 2007-07-31 Siemens Aktiengesellschaft Method and computer system for formulating potential measures for increasing the reliability of a technical system
JP2007034712A (ja) * 2005-07-27 2007-02-08 Nec Fielding Ltd 保守支援システム、保守支援方法、及び、保守支援プログラム
US20080005617A1 (en) * 2006-05-15 2008-01-03 The Boeing Company Automated processing of electronic log book pilot reports for ground-based fault processing
US8364514B2 (en) * 2006-06-27 2013-01-29 Microsoft Corporation Monitoring group activities
JP2008111588A (ja) * 2006-10-30 2008-05-15 Fujitsu Ltd 空調設備およびコンピュータシステム
US7760094B1 (en) * 2006-12-14 2010-07-20 Corning Cable Systems Llc RFID systems and methods for optical fiber network deployment and maintenance
JP2008158684A (ja) * 2006-12-21 2008-07-10 Konica Minolta Business Technologies Inc 画像監視システム、画像監視方法および画像監視プログラム
JP2008201101A (ja) 2007-02-22 2008-09-04 Kyocera Mita Corp 操作案内表示装置
US7696879B2 (en) * 2007-12-18 2010-04-13 Alcatel Lucent Ascertaining physical routing of cabling interconnects
CN101971141A (zh) * 2008-01-31 2011-02-09 自适应计算企业股份有限公司 用于管理混合计算环境的系统和方法
GB0805596D0 (en) * 2008-03-27 2008-04-30 British Telecomm Tagged cable
US7940182B2 (en) * 2008-04-30 2011-05-10 Alcatel Lucent RFID encoding for identifying system interconnect cables
US20120242698A1 (en) * 2010-02-28 2012-09-27 Osterhout Group, Inc. See-through near-eye display glasses with a multi-segment processor-controlled optical layer
EP2592564A1 (en) * 2010-07-05 2013-05-15 Nec Corporation Service provision device for electronic documents, service provision method for electronic documents, and service provision terminal for electronic documents
WO2012142250A1 (en) * 2011-04-12 2012-10-18 Radiation Monitoring Devices, Inc. Augumented reality system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002538543A (ja) * 1999-03-02 2002-11-12 シーメンス アクチエンゲゼルシヤフト 強調現実感技術により対話を状況に応じて支援するためのシステム及び方法
WO2007096971A1 (ja) * 2006-02-23 2007-08-30 Fujitsu Limited 保守ガイダンス表示装置、保守ガイダンス表示方法、保守ガイダンス表示プログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HIROTAKE ISHII: "Application 2 : Plant Maintenance Support", JOHO SHORI, vol. 51, no. 4, 15 April 2010 (2010-04-15), pages 392 - 397, XP008151100 *
See also references of EP2469475A4 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9219665B2 (en) 2011-04-07 2015-12-22 International Business Machines Corporation Systems and methods for managing computing systems utilizing augmented reality
WO2012137108A1 (en) * 2011-04-07 2012-10-11 International Business Machines Corporation Managing computing systems utilizing augmented reality
GB2505099A (en) * 2011-04-07 2014-02-19 Ibm Managing computing systems utilizing augmented reality
US8738754B2 (en) 2011-04-07 2014-05-27 International Business Machines Corporation Systems and methods for managing computing systems utilizing augmented reality
US8918494B2 (en) 2011-04-07 2014-12-23 International Business Machines Corporation Systems and methods for managing computing systems utilizing augmented reality
US8990385B2 (en) 2011-04-07 2015-03-24 International Business Machines Corporation Systems and methods for managing computing systems utilizing augmented reality
US9391860B2 (en) 2011-04-07 2016-07-12 Globalfoundries, Inc.. Systems and methods for managing computing systems utilizing augmented reality
US9219666B2 (en) 2011-04-07 2015-12-22 International Business Machines Corporation Systems and methods for managing computing systems utilizing augmented reality
US9712413B2 (en) 2011-04-07 2017-07-18 Globalfoundries Inc. Systems and methods for managing computing systems utilizing augmented reality
CN103166778A (zh) * 2011-12-13 2013-06-19 成都勤智数码科技有限公司 一种故障自动化智能处理方法及其装置
JP2017041209A (ja) * 2015-08-21 2017-02-23 富士通株式会社 タスク実行支援方法、タスク実行支援装置およびタスク実行支援プログラム
JP2018151742A (ja) * 2017-03-10 2018-09-27 株式会社デンソーウェーブ 情報表示システム
JP2019096324A (ja) * 2017-11-27 2019-06-20 オイヒナー ゲゼルシャフト ミット ベシュレンクテル ハフツング プルス コンパニー コマンディートゲゼルシャフトＥＵＣＨＮＥＲ ＧｍｂＨ ＋ Ｃｏ． ＫＧ 安全システム
JP7446709B2 (ja) 2017-11-27 2024-03-11 オイヒナー ゲゼルシャフト ミット ベシュレンクテル ハフツング プルス コンパニー コマンディートゲゼルシャフト 安全システム

Also Published As

Publication number Publication date
EP2469475A1 (en) 2012-06-27
EP2469475B1 (en) 2017-08-30
JP4913913B2 (ja) 2012-04-11
CN102483863B (zh) 2013-11-20
JP2011248860A (ja) 2011-12-08
US20130120449A1 (en) 2013-05-16
US8760471B2 (en) 2014-06-24
EP2469475A4 (en) 2013-03-13
CN102483863A (zh) 2012-05-30

Similar Documents

Publication Publication Date Title
JP4913913B2 (ja) 情報処理システム、情報処理方法及びプログラム
US9746913B2 (en) Secured mobile maintenance and operator system including wearable augmented reality interface, voice command interface, and visual recognition systems and related methods
US8659635B2 (en) Information processing system and information processing method
EP3659132B1 (en) Position-based location indication and device control
JP6004051B2 (ja) 情報処理システム、その制御方法、及びプログラム、並びに、情報処理装置、その制御方法、及びプログラム
KR20110097305A (ko) 증강 현실을 이용한 사용자 설명서 제공 시스템 및 방법
JP6711033B2 (ja) 表示制御方法、通信装置、表示制御プログラムおよび表示制御装置
EP3822923A1 (en) Maintenance assistance system, maintenance assistance method, program, method for generating processed image, and processed image
US10915754B2 (en) System and method for use of augmented reality in outfitting a dynamic structural space
US20160364396A1 (en) Information search system and information search method
JP7109395B2 (ja) 作業支援システム、作業支援装置、及び作業支援方法
US20210302945A1 (en) Information processing apparatus, information processing system, and non-transitory computer readable medium storing program
US20200242797A1 (en) Augmented reality location and display using a user-aligned fiducial marker
US20220012868A1 (en) Maintenance support system, maintenance support method, program, method for generating processed image, and processed image
JP7149354B2 (ja) 保守作業支援システム、保守作業支援方法、および、保守作業支援プログラム
WO2024034416A1 (ja) 支援装置、支援システムおよび支援方法
US12002162B2 (en) Method and apparatus for providing virtual contents in virtual space based on common coordinate system
JP2023044464A (ja) 映像表示システム、映像表示装置、および映像表示方法
KR20210085929A (ko) 다중 사용자 간의 증강현실 커뮤니케이션 방법
CN113383371A (zh) 在基于共同坐标系的虚拟空间的虚拟内容提供方法及装置
JP2020170482A (ja) 作業指示システム
JP2006065517A (ja) 実空間情報付加装置、方法及びプログラム
JP2020198001A (ja) 作業支援システム、作業支援方法及びプログラム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180003796.0

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11774752

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13497029

Country of ref document: US

REEP Request for entry into the european phase

Ref document number: 2011774752

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2011774752

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 1201002794

Country of ref document: TH

NENP Non-entry into the national phase

Ref country code: DE