JP2021157781A - Maintenance work support system, maintenance work support method, and maintenance work support program - Google Patents

Maintenance work support system, maintenance work support method, and maintenance work support program Download PDF

Info

Publication number
JP2021157781A
JP2021157781A JP2021010629A JP2021010629A JP2021157781A JP 2021157781 A JP2021157781 A JP 2021157781A JP 2021010629 A JP2021010629 A JP 2021010629A JP 2021010629 A JP2021010629 A JP 2021010629A JP 2021157781 A JP2021157781 A JP 2021157781A
Authority
JP
Japan
Prior art keywords
unit
information
display
actual machine
parts
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021010629A
Other languages
Japanese (ja)
Other versions
JP7149354B2 (en
Inventor
建夫 平村
Takeo Hiramura
建夫 平村
克司 花田
Katsushi Hanada
克司 花田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SPP Technologies Co Ltd
Original Assignee
SPP Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SPP Technologies Co Ltd filed Critical SPP Technologies Co Ltd
Publication of JP2021157781A publication Critical patent/JP2021157781A/en
Application granted granted Critical
Publication of JP7149354B2 publication Critical patent/JP7149354B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

To provide a maintenance work support system, a maintenance work support method, and a maintenance work support program capable of efficiently executing maintenance work.SOLUTION: A display device 10 of a maintenance work support system includes: a drawing display unit for displaying drawing information which is information regarding a drawing of a machine unit; a unit display unit for displaying actual machine image information which is image information regarding an actual machine of the machine unit; and a control unit 11 for controlling a display state of the drawing display unit and the unit display unit. The control unit 11 executes at least one of: first display control for controlling a displayed state of the unit display unit so that actual machine image information corresponding to an arbitrary part is capable of being specified in actual machine image information when an arbitrary part is selected from a plurality of parts; and second display control for controlling a display state of a drawing display unit so that drawing information corresponding to the arbitrary part is capable of being specified in the drawing information when the arbitrary part is selected from the plurality of parts in the actual machine image information.SELECTED DRAWING: Figure 3B

Description

本発明は、保守作業支援システム、保守作業支援方法、および、保守作業支援プログラムに関する。 The present invention relates to a maintenance work support system, a maintenance work support method, and a maintenance work support program.

特許文献1は、表示装置を備える図面投影システムを開示している。この図面投影システムの表示装置は、建築物の設計図を現実空間に重畳して投影する。この図面投影システムによれば、建設現場における墨出しが不要となるため、建設現場における作業効率が高められる。 Patent Document 1 discloses a drawing projection system including a display device. The display device of this drawing projection system superimposes and projects the design drawing of the building on the real space. According to this drawing projection system, it is not necessary to mark out at the construction site, so that the work efficiency at the construction site is improved.

特開2018−163466号公報JP-A-2018-163466

例えば、産業用機器等を構成する複数の部品を含む機器ユニットにおいては、部品点数が多く、また、図面の種類および数も多く、さらには、図面上の部品の配置と実機の部品の配置とが必ずしも一致していない。このため、図面上の部品と実機の部品との対応関係を容易に把握できず、機器ユニットの保守作業を効率的に実施できない。 For example, in an equipment unit including a plurality of parts constituting industrial equipment, the number of parts is large, the types and numbers of drawings are large, and further, the arrangement of parts on the drawing and the arrangement of parts of the actual machine Do not always match. Therefore, it is not possible to easily grasp the correspondence between the parts on the drawing and the parts of the actual machine, and it is not possible to efficiently carry out the maintenance work of the equipment unit.

本発明の目的は、機器ユニットの保守作業を効率的に実施できる保守作業支援システム、保守作業支援方法、および、保守作業支援プログラムを提供することである。 An object of the present invention is to provide a maintenance work support system, a maintenance work support method, and a maintenance work support program capable of efficiently performing maintenance work of an equipment unit.

(1)本発明に関する保守作業支援システムは、複数の部品を含む機器ユニットに関する情報を表示する表示装置を含む保守作業支援システムであって、前記表示装置は、前記機器ユニットの図面に関する情報である図面情報を表示する図面表示部と、前記機器ユニットの実機に関する画像情報である実機画像情報を表示するユニット表示部と、前記図面表示部および前記ユニット表示部の表示状態を制御する制御部と、を備え、前記制御部は、前記図面情報において、前記表示装置を操作する保守作業者によって前記複数の部品のうちの任意の部品が選択された場合に、前記実機画像情報において、前記任意の部品に対応する実機画像情報を特定できるように前記ユニット表示部の表示状態を制御する第1表示制御、および、前記実機画像情報において、前記表示装置を操作する保守作業者によって前記複数の部品のうちの任意の部品が選択された場合に、前記図面情報において、前記任意の部品に対応する図面情報を特定できるように前記図面表示部の表示状態を制御する第2表示制御、の少なくとも一方を実行する。 (1) The maintenance work support system according to the present invention is a maintenance work support system including a display device that displays information about an equipment unit including a plurality of parts, and the display device is information about a drawing of the equipment unit. A drawing display unit that displays drawing information, a unit display unit that displays actual machine image information that is image information about the actual machine of the equipment unit, a control unit that controls the display state of the drawing display unit and the unit display unit, and a control unit. The control unit is provided with the above-mentioned arbitrary parts in the actual machine image information when an arbitrary part among the plurality of parts is selected by a maintenance worker who operates the display device in the drawing information. The first display control that controls the display state of the unit display unit so that the actual machine image information corresponding to the above can be specified, and among the plurality of parts by the maintenance worker who operates the display device in the actual machine image information. When any part of the above is selected, at least one of the second display control for controlling the display state of the drawing display unit is executed so that the drawing information corresponding to the arbitrary part can be specified in the drawing information. do.

上記保守作業支援システムによれば、図面情報において、任意の部品が選択された場合に第1表示制御が実行される。第1表示制御では、任意の部品に対応する実機画像情報がユニット表示部に表示されるため、図面上の任意の部品と実機に搭載されている任意の部品との対応関係を容易に把握できる。また、実機画像情報において任意の部品が選択された場合に第2表示制御が実行される。第2表示制御では、任意の部品に対応する図面情報が図面表示部に表示されるため、実機に搭載されている任意の部品と図面上の任意の部品との対応関係を容易に把握できる。また、数多い図面の中から該当する図面を抽出することができる。このため、機器ユニットの保守作業を効率的に実施できる。さらには、保守作業者が任意の部品を選択することにより、ある決まったルール(特定の方式)に従うことなく、実機の部品と図面上の部品との対応関係を部品毎に適切に把握できる。 According to the maintenance work support system, the first display control is executed when an arbitrary part is selected in the drawing information. In the first display control, since the image information of the actual machine corresponding to any part is displayed on the unit display unit, it is possible to easily grasp the correspondence relationship between any part on the drawing and any part mounted on the actual machine. .. Further, the second display control is executed when an arbitrary component is selected in the actual machine image information. In the second display control, since the drawing information corresponding to the arbitrary component is displayed on the drawing display unit, the correspondence relationship between the arbitrary component mounted on the actual machine and the arbitrary component on the drawing can be easily grasped. In addition, the corresponding drawing can be extracted from a large number of drawings. Therefore, the maintenance work of the equipment unit can be efficiently performed. Furthermore, by selecting an arbitrary part by the maintenance worker, the correspondence relationship between the part of the actual machine and the part on the drawing can be appropriately grasped for each part without following a certain rule (specific method).

(2)好ましい例では(1)に記載の保守作業支援システムにおいて、ユーザが前記実機画像情報における前記任意の部品と、前記図面情報における前記任意の部品との対応関係を把握できない状況下において、前記制御部は、前記第1表示制御および前記第2表示制御の少なくとも一方を実行する。 (2) In a preferred example, in the maintenance work support system described in (1), in a situation where the user cannot grasp the correspondence between the arbitrary part in the actual machine image information and the arbitrary part in the drawing information. The control unit executes at least one of the first display control and the second display control.

上記保守作業支援システムによれば、例えば、機器ユニットを構成する複数の部品の数が多く、実機画像情報における任意の部品と、図面情報における任意の部品との対応関係が把握できない状況下においても、機器ユニットの保守作業を効率的に実施できる。 According to the above maintenance work support system, for example, even in a situation where the number of a plurality of parts constituting the equipment unit is large and the correspondence between an arbitrary part in the actual machine image information and an arbitrary part in the drawing information cannot be grasped. , Equipment unit maintenance work can be carried out efficiently.

(3)本発明に関する保守作業支援システムは、複数の部品を含む機器ユニットに関する情報を表示する表示装置を含む保守作業支援システムであって、前記表示装置は、前記機器ユニットの図面に関する情報である図面情報を表示する図面表示部と、前記機器ユニットの実機に関する画像情報である実機画像情報を表示するユニット表示部と、前記図面表示部および前記ユニット表示部の表示状態を制御する制御部と、を備え、前記図面情報における前記複数の部品の配置と、前記実機画像情報における前記複数の部品の配置とは、各々の配置の対応関係が異なり、前記図面情報における前記複数の部品と前記実機画像情報における前記複数の部品とは、対応付けられており、前記制御部は、前記図面情報において、前記複数の部品のうちの任意の部品が選択された場合に、前記実機画像情報において、前記任意の部品に対応する実機画像情報を特定できるように前記ユニット表示部の表示状態を制御する第1表示制御、および、前記実機画像情報において、前記複数の部品のうちの任意の部品が選択された場合に、前記図面情報において、前記任意の部品に対応する図面情報を特定できるように前記図面表示部の表示状態を制御する第2表示制御、の少なくとも一方を実行する。 (3) The maintenance work support system according to the present invention is a maintenance work support system including a display device that displays information about an equipment unit including a plurality of parts, and the display device is information about a drawing of the equipment unit. A drawing display unit that displays drawing information, a unit display unit that displays actual machine image information that is image information about the actual machine of the equipment unit, a control unit that controls the display state of the drawing display unit and the unit display unit, and a control unit. The arrangement of the plurality of parts in the drawing information and the arrangement of the plurality of parts in the actual machine image information differ in the correspondence relationship between the arrangements, and the plurality of parts and the actual machine image in the drawing information. The plurality of parts in the information are associated with each other, and the control unit performs the arbitrary in the actual machine image information when any part among the plurality of parts is selected in the drawing information. In the first display control that controls the display state of the unit display unit so that the actual machine image information corresponding to the parts of the above can be specified, and in the actual machine image information, any part among the plurality of parts is selected. In this case, at least one of the second display control that controls the display state of the drawing display unit is executed so that the drawing information corresponding to the arbitrary component can be specified in the drawing information.

上記保守作業支援システムによれば、図面情報における前記複数の部品の配置と、前記実機画像情報における前記複数の部品の配置とは、各々の配置の対応関係が異なる場合であっても、上記(1)に記載の保守作業支援システムに準じた効果が得られる。 According to the maintenance work support system, even if the arrangement of the plurality of parts in the drawing information and the arrangement of the plurality of parts in the actual machine image information are different from each other, the above ( The effect according to the maintenance work support system described in 1) can be obtained.

(4)好ましい例では(1)〜(3)のいずれか一項に記載の保守作業支援システムにおいて、前記ユニット表示部は、前記実機画像情報を実空間と座標系が一致するように規定される仮想空間に表示し、前記実機画像情報は、前記機器ユニットに含まれる前記複数の部品の相対的な位置関係が一致するように規定される複数の機器オブジェクトを含み、前記図面情報は、前記複数の部品に対応する複数の図面オブジェクトを含み、前記機器オブジェクトの前記複数の部品と前記図面オブジェクトの前記複数の部品とは、対応付けられ、前記制御部は、前記複数の図面オブジェクトのうちの任意の図面オブジェクトが選択された場合、前記第1表示制御において、前記複数の機器オブジェクトのうちの前記任意の図面オブジェクトと対応する機器オブジェクトを特定できるように前記ユニット表示部の表示状態を制御し、前記複数の機器オブジェクトのうちの任意の機器オブジェクトが選択された場合、前記第2表示制御において、前記複数の図面オブジェクトのうちの前記任意の機器オブジェクトと対応する図面オブジェクトを特定できるように、前記図面表示部の表示状態を制御する。 (4) In a preferred example, in the maintenance work support system according to any one of (1) to (3), the unit display unit is defined so that the actual machine image information matches the real space and the coordinate system. The actual machine image information displayed in the virtual space includes a plurality of device objects defined so that the relative positional relationships of the plurality of parts included in the device unit match, and the drawing information includes the above-mentioned drawing information. A plurality of drawing objects corresponding to a plurality of parts are included, the plurality of parts of the device object and the plurality of parts of the drawing object are associated with each other, and the control unit is among the plurality of drawing objects. When an arbitrary drawing object is selected, in the first display control, the display state of the unit display unit is controlled so that the device object corresponding to the arbitrary drawing object among the plurality of device objects can be specified. When any device object among the plurality of device objects is selected, the drawing object corresponding to the arbitrary device object among the plurality of drawing objects can be specified in the second display control. The display state of the drawing display unit is controlled.

上記保守作業支援システムによれば、図面情報において、任意の図面オブジェクトが選択された場合に第1表示制御が実行され、任意の図面オブジェクトと対応する機器オブジェクトがユニット表示部に表示される。このため、図面上の任意の部品と実機に搭載されている任意の部品との対応関係を容易に把握できる。また、実機画像情報において、任意の機器オブジェクトが選択された場合に第2表示制御が実行され、任意の機器オブジェクトと対応する図面オブジェクトが図面表示部に表示される。このため、実機に搭載されている任意の部品と図面上の任意の部品との対応関係を容易に把握できる。このため、機器ユニットの保守作業を効率的に実施できる。 According to the maintenance work support system, when an arbitrary drawing object is selected in the drawing information, the first display control is executed, and the device object corresponding to the arbitrary drawing object is displayed on the unit display unit. Therefore, it is possible to easily grasp the correspondence between any part on the drawing and any part mounted on the actual machine. Further, when an arbitrary device object is selected in the actual machine image information, the second display control is executed, and the drawing object corresponding to the arbitrary device object is displayed on the drawing display unit. Therefore, it is possible to easily grasp the correspondence between any part mounted on the actual machine and any part on the drawing. Therefore, the maintenance work of the equipment unit can be efficiently performed.

(5)好ましい例では(1)〜(4)のいずれか一項に記載の保守作業支援システムにおいて、前記図面情報は、前記複数の部品の部品名称、および、前記複数の部品のそれぞれに設定される記号の少なくとも一方を含む複数の部品固有情報を含み、前記制御部は、前記複数の部品固有情報のうちの任意の部品固有情報が選択された場合に、前記第1表示制御において、前記ユニット表示部に表示される前記実機画像情報のうちの前記任意の部品固有情報に対応する部品を特定できるように前記ユニット表示部の表示状態を制御する。 (5) In a preferred example, in the maintenance work support system according to any one of (1) to (4), the drawing information is set for each of the component names of the plurality of parts and the plurality of parts. In the first display control, the control unit includes a plurality of component-specific information including at least one of the symbols to be used, and when any component-specific information is selected from the plurality of component-specific information. The display state of the unit display unit is controlled so that a component corresponding to the arbitrary component-specific information among the actual machine image information displayed on the unit display unit can be specified.

上記保守作業支援システムによれば、任意の部品固有情報が選択された場合に、任意の部品に対応する実機画像情報がユニット表示部に表示される。このため、部品固有情報に基づいて選択された図面上の任意の部品と実機に搭載されている任意の部品との対応関係を容易に把握できる。 According to the maintenance work support system, when arbitrary component-specific information is selected, the actual machine image information corresponding to the arbitrary component is displayed on the unit display unit. Therefore, it is possible to easily grasp the correspondence between any part on the drawing selected based on the part-specific information and any part mounted on the actual machine.

(6)好ましい例では(1)〜(5)のいずれか一項に記載の保守作業支援システムにおいて、前記図面情報は、複数の図面を含み、前記制御部は、前記実機画像情報において前記任意の部品が選択された場合に、前記第2表示制御において、前記複数の図面のうちの前記任意の部品に関連する図面を抽出する。
上記保守作業支援システムによれば、図面枚数が多い場合であっても、任意の部品を図面上で容易に見つけることができる。
(6) In a preferred example, in the maintenance work support system according to any one of (1) to (5), the drawing information includes a plurality of drawings, and the control unit is the arbitrary in the actual machine image information. When the part is selected, in the second display control, a drawing related to the arbitrary part among the plurality of drawings is extracted.
According to the maintenance work support system, any part can be easily found on the drawing even when the number of drawings is large.

(7)好ましい例では(1)〜(6)のいずれか一項に記載の保守作業支援システムにおいて、前記制御部は、前記図面情報において、前記複数の部品のうちの任意の部品が選択された場合に、前記実機画像情報において前記任意の部品と接続される接続部品を特定できるように、前記ユニット表示部の表示状態を制御する第3表示制御を実行する。
上記保守作業支援システムによれば、接続部品を容易に確認できるため、利便性が高められる。
(7) In a preferred example, in the maintenance work support system according to any one of (1) to (6), the control unit selects any component from the plurality of components in the drawing information. In this case, the third display control for controlling the display state of the unit display unit is executed so that the connection component connected to the arbitrary component can be specified in the actual machine image information.
According to the above-mentioned maintenance work support system, the connected parts can be easily confirmed, so that the convenience is enhanced.

(8)好ましい例では(7)に記載の保守作業支援システムにおいて、前記制御部は、前記接続部品が選択された場合に、前記第3表示制御において、前記任意の部品、前記接続部品、および、前記任意の部品と前記接続部品との接続ルートを特定できるように、前記ユニット表示部の表示状態を制御する。
上記保守作業支援システムによれば、任意の部品、接続部品、および、任意の部品と前記接続部品との接続ルートを容易に確認できるため、利便性が高められる。
(8) In a preferred example, in the maintenance work support system according to (7), when the connection component is selected, the control unit performs the arbitrary component, the connection component, and the connection component in the third display control. , The display state of the unit display unit is controlled so that the connection route between the arbitrary component and the connection component can be specified.
According to the maintenance work support system, any component, a connecting component, and a connection route between the arbitrary component and the connecting component can be easily confirmed, so that convenience is enhanced.

(9)本発明に関する保守作業支援方法は、複数の部品を含む機器ユニットに関する情報を表示する保守作業支援方法であって、前記機器ユニットの図面に関する情報である図面情報を図面表示部に表示するステップと、前記機器ユニットの実機に関する画像情報である実機画像情報をユニット表示部に表示するステップと、を備え、前記図面情報において、前記表示装置を操作する保守作業者によって前記複数の部品のうちの任意の部品が選択された場合に、前記実機画像情報において、前記任意の部品に対応する実機画像情報を特定できるように前記ユニット表示部を表示するステップ、および、前記実機画像情報において、前記表示装置を操作する保守作業者によって前記複数の部品のうちの任意の部品が選択された場合に、前記図面情報において、前記任意の部品に対応する図面情報を特定できるように前記図面表示部を表示するステップ、の少なくとも一方を実行する。
上記保守作業支援方法によれば、上記(1)に記載の保守作業支援システムと同様の効果が得られる。
(9) The maintenance work support method according to the present invention is a maintenance work support method for displaying information on an equipment unit including a plurality of parts, and displays drawing information which is information on a drawing of the equipment unit on a drawing display unit. A step and a step of displaying the actual machine image information which is the image information about the actual machine of the equipment unit on the unit display unit are provided, and in the drawing information, among the plurality of parts by a maintenance worker who operates the display device. In the step of displaying the unit display unit so that the actual machine image information corresponding to the arbitrary part can be specified in the actual machine image information when any part of the above is selected, and in the actual machine image information, the said When an arbitrary part among the plurality of parts is selected by a maintenance worker who operates the display device, the drawing display unit is provided so that the drawing information corresponding to the arbitrary part can be specified in the drawing information. Perform at least one of the displayed steps.
According to the maintenance work support method, the same effect as that of the maintenance work support system described in (1) above can be obtained.

(10)本発明に関する保守作業支援プログラムは、複数の部品を含む機器ユニットに関する情報を表示装置に表示させる保守作業支援プログラムであって、前記機器ユニットの図面に関する情報である図面情報を図面表示部に表示するステップと、前記機器ユニットの実機に関する画像情報である実機画像情報をユニット表示部に表示するステップと、をコンピュータに実行させ、前記図面情報において、前記表示装置を操作する保守作業者によって前記複数の部品のうちの任意の部品が選択された場合に、前記実機画像情報において、前記任意の部品に対応する実機画像情報を特定できるように前記ユニット表示部を表示するステップ、および、前記実機画像情報において、前記表示装置を操作する保守作業者によって前記複数の部品のうちの任意の部品が選択された場合に、前記図面情報において、前記任意の部品に対応する図面情報を特定できるように前記図面表示部を表示するステップ、の少なくとも一方を前記コンピュータに実行させる。
上記保守作業支援プログラムによれば、上記(1)に記載の保守作業支援システムと同様の効果が得られる。
(10) The maintenance work support program according to the present invention is a maintenance work support program for displaying information on an equipment unit including a plurality of parts on a display device, and displays drawing information which is information on a drawing of the equipment unit on a drawing display unit. By a maintenance worker who operates the display device in the drawing information by causing a computer to execute a step of displaying in the unit and a step of displaying the actual machine image information which is the image information about the actual machine of the equipment unit on the unit display unit. A step of displaying the unit display unit so that the actual machine image information corresponding to the arbitrary part can be specified in the actual machine image information when any part among the plurality of parts is selected, and the step of displaying the unit display unit. When an arbitrary part among the plurality of parts is selected by a maintenance worker who operates the display device in the actual machine image information, the drawing information corresponding to the arbitrary part can be specified in the drawing information. To cause the computer to perform at least one of the steps of displaying the drawing display unit.
According to the maintenance work support program, the same effect as that of the maintenance work support system described in (1) above can be obtained.

(11)本発明に関する保守作業支援方法は、複数の部品を含む機器ユニットに関する情報を表示する保守作業支援方法であって、前記機器ユニットの図面に関する情報である図面情報を図面表示部に表示するステップと、前記機器ユニットの実機に関する画像情報である実機画像情報をユニット表示部に表示するステップと、を備え、前記図面情報における前記複数の部品の配置と、前記実機画像情報における前記複数の部品の配置とは、各々の配置の対応関係が異なり、前記図面情報における前記複数の部品と前記実機画像情報における前記複数の部品とは、対応付けられており、前記図面情報において、前記複数の部品のうちの任意の部品が選択された場合に、前記実機画像情報において、前記任意の部品に対応する実機画像情報を特定できるように前記ユニット表示部を表示するステップ、および、前記実機画像情報において、前記複数の部品のうちの任意の部品が選択された場合に、前記図面情報において、前記任意の部品に対応する図面情報を特定できるように前記図面表示部を表示するステップ、の少なくとも一方を実行する。
上記保守作業支援方法によれば、上記(3)に記載の保守作業支援システムと同様の効果が得られる。
(11) The maintenance work support method according to the present invention is a maintenance work support method for displaying information on an equipment unit including a plurality of parts, and displays drawing information which is information on a drawing of the equipment unit on a drawing display unit. A step and a step of displaying the actual machine image information which is the image information about the actual machine of the equipment unit on the unit display unit are provided, and the arrangement of the plurality of parts in the drawing information and the plurality of parts in the actual machine image information are provided. The correspondence of each arrangement is different from the arrangement of, and the plurality of parts in the drawing information and the plurality of parts in the actual machine image information are associated with each other, and the plurality of parts in the drawing information. In the step of displaying the unit display unit so that the actual machine image information corresponding to the arbitrary part can be specified in the actual machine image information when any part of the above is selected, and in the actual machine image information. , At least one of the steps of displaying the drawing display unit so that the drawing information corresponding to the arbitrary part can be specified in the drawing information when any part among the plurality of parts is selected. Run.
According to the maintenance work support method, the same effect as that of the maintenance work support system described in (3) above can be obtained.

(12)本発明に関する保守作業支援プログラムは、複数の部品を含む機器ユニットに関する情報を表示装置に表示させる保守作業支援プログラムであって、前記機器ユニットの図面に関する情報である図面情報を図面表示部に表示するステップと、前記機器ユニットの実機に関する画像情報である実機画像情報をユニット表示部に表示するステップと、をコンピュータに実行させ、前記図面情報における前記複数の部品の配置と、前記実機画像情報における前記複数の部品の配置とは、各々の配置の対応関係が異なり、前記図面情報における前記複数の部品と前記実機画像情報における前記複数の部品とは、対応付けられており、前記図面情報において、前記複数の部品のうちの任意の部品が選択された場合に、前記実機画像情報において、前記任意の部品に対応する実機画像情報を特定できるように前記ユニット表示部を表示するステップ、および、前記実機画像情報において、前記複数の部品のうちの任意の部品が選択された場合に、前記図面情報において、前記任意の部品に対応する図面情報を特定できるように前記図面表示部を表示するステップ、の少なくとも一方を前記コンピュータに実行させる。
上記保守作業支援プログラムによれば、上記(3)に記載の保守作業支援システムと同様の効果が得られる。
(12) The maintenance work support program according to the present invention is a maintenance work support program for displaying information on a device unit including a plurality of parts on a display device, and displays drawing information which is information on a drawing of the device unit on a drawing display unit. The step of displaying in the unit and the step of displaying the actual machine image information which is the image information about the actual machine of the equipment unit on the unit display unit are executed, and the arrangement of the plurality of parts in the drawing information and the actual machine image are executed. The correspondence between the arrangement of the plurality of parts in the information is different from that of the arrangement, and the plurality of parts in the drawing information and the plurality of parts in the actual machine image information are associated with each other. In the step of displaying the unit display unit so that the actual machine image information corresponding to the arbitrary part can be specified in the actual machine image information when any part among the plurality of parts is selected. When an arbitrary part among the plurality of parts is selected in the actual machine image information, the drawing display unit is displayed so that the drawing information corresponding to the arbitrary part can be specified in the drawing information. Have the computer perform at least one of the steps.
According to the maintenance work support program, the same effect as that of the maintenance work support system described in (3) above can be obtained.

本発明に関する保守作業支援システム、保守作業支援方法、および、保守作業支援プログラムによれば、機器ユニットの保守作業を効率的に実施できる。 According to the maintenance work support system, the maintenance work support method, and the maintenance work support program according to the present invention, the maintenance work of the equipment unit can be efficiently performed.

実施形態の保守作業支援システムが備える表示装置の用途を説明するための図。The figure for demonstrating the use of the display device provided in the maintenance work support system of embodiment. 機器ユニットを模式的に示す図。The figure which shows typically the equipment unit. 図1Bの機器ユニットの第1図面を示す図。The figure which shows the 1st drawing of the equipment unit of FIG. 1B. 図1Bの機器ユニットの第2図面を示す図。The figure which shows the 2nd drawing of the equipment unit of FIG. 1B. 図1Aの表示装置を含む保守作業支援システムを示す図。The figure which shows the maintenance work support system including the display device of FIG. 1A. 図3Aの表示装置の構成を示すブロック図。The block diagram which shows the structure of the display device of FIG. 3A. 図3Bの表示部の構成を示す図。The figure which shows the structure of the display part of FIG. 3B. 図3Aのサーバの構成を示すブロック図。The block diagram which shows the structure of the server of FIG. 3A. 接続関係に関するデータベースを模式的に示す図。The figure which shows typically the database about the connection relation. 部品位置に関するデータベースを模式的に示す図。The figure which shows typically the database about the part position. 配線経路に関するデータベースを模式的に示す図。The figure which shows typically the database about a wiring path. 図2Aの図面情報を簡略化した図面オブジェクトを示す図。The figure which shows the drawing object which simplified the drawing information of FIG. 2A. 図5の図面オブジェクトをさらに簡略化した図。The figure which further simplified the drawing object of FIG. 図3Cのユニット表示部に表示される機器オブジェクトを示す図。The figure which shows the device object displayed on the unit display part of FIG. 3C. 第1表示制御の処理手順の一例を示すフローチャート。The flowchart which shows an example of the processing procedure of 1st display control. 第1表示制御において、任意の図面オブジェクトが選択された状態の表示部を示す図。The figure which shows the display part in the state which an arbitrary drawing object is selected in the 1st display control. 第1表示制御において、任意の図面オブジェクトに対応する機器オブジェクトが表示された状態の表示部を示す図。The figure which shows the display part in the state which the device object corresponding to an arbitrary drawing object is displayed in the 1st display control. 第2表示制御の処理手順の一例を示すフローチャート。The flowchart which shows an example of the processing procedure of the 2nd display control. 第2表示制御において、任意の機器オブジェクトが選択された状態の表示部を示す図。The figure which shows the display part in the state which an arbitrary device object is selected in the 2nd display control. 第2表示制御において、任意の機器オブジェクトに対応する図面オブジェクトが表示された状態の表示部を示す図。The figure which shows the display part in the state which the drawing object corresponding to an arbitrary device object is displayed in the 2nd display control. 第3表示制御の処理手順の一例を示すフローチャート。The flowchart which shows an example of the processing procedure of the 3rd display control. 第3表示制御において、任意の図面オブジェクト、任意の図面オブジェクトに対応する機器オブジェクト、ならびに、接続部品に対応する図面オブジェクトおよび機器オブジェクトの候補が表示された状態の表示部を示す図。In the third display control, the figure which shows the display part in the state which the arbitrary drawing object, the device object corresponding to an arbitrary drawing object, and the drawing object corresponding to a connecting part, and the candidate of a device object are displayed. 第3表示制御において、任意の図面オブジェクト、任意の図面オブジェクトに対応する機器オブジェクト、ならびに、接続部品に対応する図面オブジェクトおよび機器オブジェクトが表示された状態の表示部を示す図。FIG. 3 is a diagram showing a display unit in which an arbitrary drawing object, a device object corresponding to an arbitrary drawing object, and a drawing object and a device object corresponding to a connecting component are displayed in the third display control. 機器オブジェクトの表示位置の補正動作の一例を示すフローチャート。The flowchart which shows an example of the correction operation of the display position of a device object.

以下、本発明に係る保守作業支援システム、保守作業支援方法、および、保守作業支援プログラムの一実施形態について、図面を参照して説明する。図1Aは、保守作業支援システム20(図3A参照)が備える表示装置10の用途を説明するための図である。 Hereinafter, an embodiment of the maintenance work support system, the maintenance work support method, and the maintenance work support program according to the present invention will be described with reference to the drawings. FIG. 1A is a diagram for explaining the use of the display device 10 included in the maintenance work support system 20 (see FIG. 3A).

<1.概要>
表示装置10は、例えば、産業用機器80が備える機器ユニット82の保守作業のために用いられる。本実施形態における保守作業とは、例えば、装置エラー履歴あるいは該当部品自体のアラーム信号を保守作業者90が直接確認することによって、故障部品を特定したのち、該当する図面を抽出して該当部品の部品名称、交換パーツの在庫確認、材質確認等を行う作業を含む。あるいは、熟練者の支援により、対象の図面および推定される故障部品の助言を受けた上で、保守作業者90が図面を元に実機の該当部品を探し出し、該当部品自体のアラーム信号の有無確認や導通チェック等による故障診断を行う作業を含む。あるいは、保守作業者90が熟練者である場合には、保守作業者90自身の経験に基づき故障部位を推定した上で適切な図面を抽出し、図面を元に実機の該当部品を探し出す作業を含む。なお、本実施形態の保守作業には、計測は含まれない。本実施形態では、例えば、機器ユニット82の施工時に、機器オブジェクト50(図6B参照)の輪郭情報と対応する部品の輪郭を保守作業者90が目視によって比較することで、該当部品の施工時の変形、および、部品間違い(仕様違い)による形状異常を、計測することなく発見できる。
<1. Overview>
The display device 10 is used, for example, for maintenance work of the equipment unit 82 included in the industrial equipment 80. The maintenance work in the present embodiment means, for example, that the maintenance worker 90 directly confirms the device error history or the alarm signal of the corresponding part itself to identify the defective part, and then extracts the corresponding drawing to obtain the corresponding part. Includes parts name, inventory check of replacement parts, material check, etc. Alternatively, with the support of an expert, after receiving advice on the target drawing and the presumed faulty part, the maintenance worker 90 searches for the corresponding part of the actual machine based on the drawing and confirms the presence or absence of the alarm signal of the corresponding part itself. Includes work to diagnose failures by checking continuity and so on. Alternatively, when the maintenance worker 90 is an expert, the work of estimating the faulty part based on the maintenance worker 90's own experience, extracting an appropriate drawing, and searching for the corresponding part of the actual machine based on the drawing is performed. include. The maintenance work of this embodiment does not include measurement. In the present embodiment, for example, when the equipment unit 82 is constructed, the maintenance worker 90 visually compares the contour information of the equipment object 50 (see FIG. 6B) with the contour of the corresponding part, so that the corresponding part can be constructed. Shape abnormalities due to deformation and incorrect parts (differences in specifications) can be found without measurement.

産業用機器80としては、基板処理装置を挙げることができる。基板処理装置は、例えば、半導体製造装置、MEMS(Micro Electro Mechanical Systems)製造装置、または、液晶パネル製造装置である。その他の産業用機器80としては、射出成型装置、化学プラントの反応槽・蒸留塔・熱交換器、ボイラ・原動機、および、動力伝導装置等を挙げることができる。産業用機器80は、装置本体81、および、機器ユニット82を備える。機器ユニット82は、例えば、装置本体81の制御盤、配電盤、分電盤、圧空・ガスユニット、ポンプユニット、または、チラー(冷却または温度調節)ユニットである。機器ユニット82は、装置本体81に収容される。別の例では、機器ユニット82は、装置本体81から離れた場所に配置され、装置本体81に接続される。 Examples of the industrial equipment 80 include a substrate processing apparatus. The substrate processing apparatus is, for example, a semiconductor manufacturing apparatus, a MEMS (Micro Electro Mechanical Systems) manufacturing apparatus, or a liquid crystal panel manufacturing apparatus. Examples of the other industrial equipment 80 include an injection molding apparatus, a reaction tank / distillation column / heat exchanger of a chemical plant, a boiler / prime mover, a power transmission apparatus, and the like. The industrial equipment 80 includes an equipment main body 81 and an equipment unit 82. The equipment unit 82 is, for example, a control panel, a distribution board, a distribution board, a pressure air / gas unit, a pump unit, or a chiller (cooling or temperature control) unit of the apparatus main body 81. The device unit 82 is housed in the device body 81. In another example, the device unit 82 is located away from the device body 81 and is connected to the device body 81.

図1Bは、機器ユニット82の実機を模式的に示す図である。機器ユニット82は、例えば、複数の部品A1〜A16を含む。複数の部品A1〜A16は、例えば、ブレーカを含む。複数の部品A1〜A16は、接続部材83を介して接続される場合がある。接続部材83は、例えば、電気配線、圧空配管、冷却水配管、ガス配管、排気配管、油圧配管、または、冷媒配管である。接続部材83は、ダクト84に収容される。 FIG. 1B is a diagram schematically showing an actual machine of the equipment unit 82. The equipment unit 82 includes, for example, a plurality of parts A1 to A16. The plurality of parts A1 to A16 include, for example, a breaker. The plurality of parts A1 to A16 may be connected via the connecting member 83. The connecting member 83 is, for example, an electric wiring, a pneumatic pipe, a cooling water pipe, a gas pipe, an exhaust pipe, a hydraulic pipe, or a refrigerant pipe. The connecting member 83 is housed in the duct 84.

図2Aおよび図2Bは、機器ユニット82に関する図面である。機器ユニット82の図面は、例えば、複数の図面を含む。図2Aに示される第1図面FAは、部品A1〜A9に関する図面である。図2Bに示される第2図面FBは、部品A10〜A16に関する図面である。機器ユニット82に関する図面は、さらに複数の図面を含む場合があるが、説明の簡略化のため、本実施形態では第1図面FAおよび第2図面FBのみを記載している。 2A and 2B are drawings relating to the equipment unit 82. The drawings of the equipment unit 82 include, for example, a plurality of drawings. The first drawing FA shown in FIG. 2A is a drawing relating to parts A1 to A9. The second drawing FB shown in FIG. 2B is a drawing relating to parts A10 to A16. The drawings relating to the equipment unit 82 may further include a plurality of drawings, but for the sake of brevity, only the first drawing FA and the second drawing FB are shown in this embodiment.

機器ユニット82の保守作業において、図1Aに示される保守作業者90は、機器ユニット82の各図面FA、FBを参照しながら、機器ユニット82の保守作業を実施する。一方、図1Bと、図2Aおよび図2Bとを比較すると、実機における部品A1〜A16の配置と、各図面FA、FBに記載される部品A1〜A16の配置とが異なる。このため、機器ユニット82の保守作業においては、保守作業者90は、実機における部品A1〜A16と各図面FA、FBにおける部品A1〜A16との対応関係を容易に把握できない。表示装置10は、保守作業者90が保守作業を容易に実施できるように構成される。以下では、表示装置10を含む保守作業支援システムについて詳細に説明する。 In the maintenance work of the equipment unit 82, the maintenance worker 90 shown in FIG. 1A carries out the maintenance work of the equipment unit 82 with reference to the respective drawings FA and FB of the equipment unit 82. On the other hand, when FIG. 1B is compared with FIGS. 2A and 2B, the arrangement of the parts A1 to A16 in the actual machine and the arrangement of the parts A1 to A16 described in the drawings FA and FB are different. Therefore, in the maintenance work of the equipment unit 82, the maintenance worker 90 cannot easily grasp the correspondence between the parts A1 to A16 in the actual machine and the parts A1 to A16 in the drawings FA and FB. The display device 10 is configured so that the maintenance worker 90 can easily carry out the maintenance work. Hereinafter, the maintenance work support system including the display device 10 will be described in detail.

<2−1.保守作業支援システム全体の構成>
図3Aは、保守作業支援システム20(以下では、「システム20」という)を示す図である。システム20は、表示装置10およびサーバ30を含む。表示装置10は、例えば、ウェアラブル端末、タブレット端末、スマートフォン、または、パーソナルコンピュータである。本実施形態では、表示装置10はウェアラブル端末である。より詳細には、表示装置10は、光学シースルー型のヘッドマウントディスプレイであり、拡張現実(AR:Augmented Reality)機能が搭載されたスマートグラスである。スマートグラスは、公知のものを利用することができ、例えば、マイクロソフト社製のHoloLens(登録商標)である。保守作業者90は、保守作業を実施する際に両手を使用できるため、保守作業を効率的に実施できる。別の例では、表示装置10は、仮想現実機能が搭載されたビデオシースルー型のヘッドマウントディスプレイである。この別の例でも、保守作業者90は、保守作業を実施する際に両手を使用できるため、保守作業を効率的に実施できる。システム20において、表示装置10は、保守作業者90(図1A参照)が表示装置10を介して視認している機器ユニット82に関する情報(以下では、「機器ユニット情報」という)をサーバ30に要求し、機器ユニット情報をサーバ30から受信する。表示装置10は、サーバ30から受信した機器ユニット情報を表示する。機器ユニット情報は、図面情報および実機画像情報を含む。図面情報は、機器ユニット82の図面に関する情報である。実機画像情報は、機器ユニット82の実機に関する情報である。
<2-1. Overall configuration of maintenance work support system>
FIG. 3A is a diagram showing a maintenance work support system 20 (hereinafter referred to as “system 20”). The system 20 includes a display device 10 and a server 30. The display device 10 is, for example, a wearable terminal, a tablet terminal, a smartphone, or a personal computer. In this embodiment, the display device 10 is a wearable terminal. More specifically, the display device 10 is an optical see-through type head-mounted display, which is a smart glass equipped with an augmented reality (AR) function. Known smart glasses can be used, for example, HoloLens (registered trademark) manufactured by Microsoft Corporation. Since the maintenance worker 90 can use both hands when carrying out the maintenance work, the maintenance work can be carried out efficiently. In another example, the display device 10 is a video see-through type head-mounted display equipped with a virtual reality function. In this other example as well, since the maintenance worker 90 can use both hands when carrying out the maintenance work, the maintenance work can be carried out efficiently. In the system 20, the display device 10 requests the server 30 for information (hereinafter, referred to as “equipment unit information”) regarding the device unit 82 that the maintenance worker 90 (see FIG. 1A) is visually recognizing through the display device 10. Then, the device unit information is received from the server 30. The display device 10 displays the device unit information received from the server 30. The equipment unit information includes drawing information and actual machine image information. The drawing information is information related to the drawing of the equipment unit 82. The actual machine image information is information about the actual machine of the equipment unit 82.

<2−2.表示装置のハードウェア構成>
図3Bは、本実施形態に係る表示装置10の構成の一例を示すブロック図である。表示装置10は、制御部11、カメラ12、表示部13、各種センサ14、通信部15、および、記憶部16を含む。制御部11、カメラ12、表示部13、各種センサ14、通信部15、および、記憶部16は、バス17を介して電気的に接続される。
<2-2. Display device hardware configuration>
FIG. 3B is a block diagram showing an example of the configuration of the display device 10 according to the present embodiment. The display device 10 includes a control unit 11, a camera 12, a display unit 13, various sensors 14, a communication unit 15, and a storage unit 16. The control unit 11, the camera 12, the display unit 13, various sensors 14, the communication unit 15, and the storage unit 16 are electrically connected via the bus 17.

制御部11は、CPU(Central Processing Unit)11A、RAM(Random Access Memory)11B、および、ROM(Read Only Memory)11C等を含む。制御部11は、情報処理に応じて各構成要素の制御を行なうように構成される。 The control unit 11 includes a CPU (Central Processing Unit) 11A, a RAM (Random Access Memory) 11B, a ROM (Read Only Memory) 11C, and the like. The control unit 11 is configured to control each component according to information processing.

カメラ12は、例えば、RGB(Red Green Blue)カメラである。カメラ12は、例えば、ユーザの視線に対応する動画像を撮影する。カメラ12は、CCD(Charge Coupled Device)イメージセンサ、または、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサ等のイメージセンサを含むカメラモジュールである。 The camera 12 is, for example, an RGB (Red Green Blue) camera. The camera 12 captures, for example, a moving image corresponding to the line of sight of the user. The camera 12 is a camera module including an image sensor such as a CCD (Charge Coupled Device) image sensor or a CMOS (Complementary Metal Oxide Semiconductor) image sensor.

表示部13は、例えば、メガネのレンズ型の液晶ディスプレイである。表示部13は、ユーザのジェスチャーを検出するセンサを含んでいてもよい。保守作業者90(図1A参照)は、表示部13に表示されるARカーソルをジェスチャー等によって操作してコマンドを選択する。表示部13は、ユーザによって選択されたコマンドに基づく情報を制御部11に送信する。制御部11は、ユーザによって選択されたコマンドに基づく制御を実行する。表示部13は、サーバ30から送信される機器ユニット情報を表示する。 The display unit 13 is, for example, a lens-type liquid crystal display of glasses. The display unit 13 may include a sensor that detects a user's gesture. The maintenance worker 90 (see FIG. 1A) operates the AR cursor displayed on the display unit 13 by gestures or the like to select a command. The display unit 13 transmits information based on a command selected by the user to the control unit 11. The control unit 11 executes control based on a command selected by the user. The display unit 13 displays the device unit information transmitted from the server 30.

図3Cに示されるように、表示部13は、図面情報を表示する図面表示部13A、および、実機画像情報を表示するユニット表示部13Bを含む。本実施形態では、1つの表示部13に図面表示部13Aおよびユニット表示部13Bが設けられる。なお、図3Cは、表示部13において、図面表示部13Aおよびユニット表示部13Bが設けられる位置の一例を示したものであり、表示部13における図面表示部13Aおよびユニット表示部13Bの位置は、任意に変更可能である。別の例では、図面表示部13Aとユニット表示部13Bとは、異なる表示部に設けられる。例えば、ユニット表示部13Bは、表示部13の全体または一部に設けられ、図面表示部13Aは、表示部13から離れた位置に設置される大型の液晶ディスプレイ、プロジェクターによってスクリーン表示される画像、スマートフォン、または、ラップトップ型パーソナルコンピュータのモニターに設けられる。 As shown in FIG. 3C, the display unit 13 includes a drawing display unit 13A for displaying drawing information and a unit display unit 13B for displaying actual machine image information. In the present embodiment, one display unit 13 is provided with a drawing display unit 13A and a unit display unit 13B. Note that FIG. 3C shows an example of the positions where the drawing display unit 13A and the unit display unit 13B are provided in the display unit 13, and the positions of the drawing display unit 13A and the unit display unit 13B in the display unit 13 are shown. It can be changed arbitrarily. In another example, the drawing display unit 13A and the unit display unit 13B are provided on different display units. For example, the unit display unit 13B is provided on the whole or a part of the display unit 13, and the drawing display unit 13A is a large liquid crystal display installed at a position away from the display unit 13, an image displayed on the screen by a projector. It is installed on the monitor of a smartphone or laptop personal computer.

図3Bに示される各種センサ14は、例えば、距離画像センサ、加速度センサ、および、ジャイロセンサを含む。距離画像センサは、表示装置10と機器ユニット82(図1A参照)との間の距離を検出する。加速度センサは、表示装置10の加速度を検出する。ジャイロセンサは、表示装置10の角速度を検出する。 The various sensors 14 shown in FIG. 3B include, for example, a distance image sensor, an acceleration sensor, and a gyro sensor. The distance image sensor detects the distance between the display device 10 and the equipment unit 82 (see FIG. 1A). The acceleration sensor detects the acceleration of the display device 10. The gyro sensor detects the angular velocity of the display device 10.

通信部15は、ネットワークを介して、表示装置10の外部に設けられる外部装置と通信する。外部装置は、例えば、サーバ30(図3A参照)である。通信部15は、例えば、有線LAN(Local Area Network)モジュールまたは無線LANモジュールである。 The communication unit 15 communicates with an external device provided outside the display device 10 via a network. The external device is, for example, a server 30 (see FIG. 3A). The communication unit 15 is, for example, a wired LAN (Local Area Network) module or a wireless LAN module.

記憶部16は、例えば、ハードディスクドライブおよびソリッドステートドライブ等の補助記憶装置である。記憶部16は、例えば、制御プログラム16Aを記憶するように構成される。制御部11が制御プログラム16Aを実行することによって、表示装置10の各種制御が行なわれる。 The storage unit 16 is an auxiliary storage device such as a hard disk drive and a solid state drive. The storage unit 16 is configured to store, for example, the control program 16A. When the control unit 11 executes the control program 16A, various controls of the display device 10 are performed.

制御部11は、例えば、公知のSLAM(Simultaneous Localization And Mapping)を行なうように構成される。制御部11は、カメラ12による撮影画像、および、各種センサ14の検出結果に基づいて、空間認識、および、表示装置10の位置(以下では、「自己位置」という)の推定を実行する。具体的には、例えば、制御部11は、距離画像センサによって検出される周辺の環境の複数の特徴点までの距離に基づいて、空間認識を実行する。その後、表示装置10を装着した保守作業者90が移動すると、制御部11は、加速度センサおよびジャイロセンサ等によって検出される移動量および移動方向に基づいて、自己位置の推定、ならびに、周辺の環境の空間認識を実行する。制御部11は、これらの空間認識および自己位置の推定を繰り返し実行することによって、常に三次元空間を把握することができる。 The control unit 11 is configured to perform known SLAM (Simultaneous Localization And Mapping), for example. The control unit 11 executes spatial recognition and estimation of the position of the display device 10 (hereinafter, referred to as “self-position”) based on the captured image by the camera 12 and the detection results of the various sensors 14. Specifically, for example, the control unit 11 executes spatial recognition based on the distances to a plurality of feature points of the surrounding environment detected by the distance image sensor. After that, when the maintenance worker 90 equipped with the display device 10 moves, the control unit 11 estimates the self-position based on the movement amount and the movement direction detected by the acceleration sensor, the gyro sensor, and the like, and the surrounding environment. Perform spatial recognition of. The control unit 11 can always grasp the three-dimensional space by repeatedly executing these space recognition and self-position estimation.

<2−3.サーバのハードウェア構成>
図3Dは、本実施形態に係るサーバ30の構成の一例を示すブロック図である。サーバ30は、例えば、汎用コンピュータによって実現される。サーバ30は、制御部31、通信部32、および、記憶部33を含む。制御部31、通信部32、および、記憶部33は、バス34を介して電気的に接続される。
<2-3. Server hardware configuration>
FIG. 3D is a block diagram showing an example of the configuration of the server 30 according to the present embodiment. The server 30 is realized by, for example, a general-purpose computer. The server 30 includes a control unit 31, a communication unit 32, and a storage unit 33. The control unit 31, the communication unit 32, and the storage unit 33 are electrically connected via the bus 34.

制御部31は、CPU31A、RAM31B、および、ROM31C等を含み、情報処理に応じて各構成要素の制御を行なうように構成される。通信部32は、ネットワークを介して、サーバ30の外部に設けられた外部装置と通信するように構成される。外部装置は、例えば、表示装置10(図3B参照)である。通信部32は、例えば、有線LANモジュールまたは無線LANモジュールで構成される。 The control unit 31 includes a CPU 31A, a RAM 31B, a ROM 31C, and the like, and is configured to control each component according to information processing. The communication unit 32 is configured to communicate with an external device provided outside the server 30 via a network. The external device is, for example, a display device 10 (see FIG. 3B). The communication unit 32 is composed of, for example, a wired LAN module or a wireless LAN module.

記憶部33は、例えば、ハードディスクドライブ、ソリッドステートドライブ等の補助記憶装置である。記憶部33は、例えば、制御プログラム33A、データベースD1、データベースD2、および、データベースD3を記憶するように構成される。 The storage unit 33 is, for example, an auxiliary storage device such as a hard disk drive or a solid state drive. The storage unit 33 is configured to store, for example, the control program 33A, the database D1, the database D2, and the database D3.

図4Aは、データベースD1を模式的に示す図である。データベースD1は、機器ユニット82における部品A1〜A16同士の接続関係を管理する。データベースD1は、機器ユニット82毎、および、各部品A1〜A16の接続関係の種類毎に設けられる。 FIG. 4A is a diagram schematically showing the database D1. The database D1 manages the connection relationship between the parts A1 to A16 in the equipment unit 82. The database D1 is provided for each device unit 82 and for each type of connection relationship of each component A1 to A16.

データベースD1は、項目として、例えば、「部品ID」、「部品名称」、「接続先部品ID」、「接続先部品名称」および「配線番号」を含む。なお、配線番号の項目は、接続部材83(図1B参照)に応じて変更される。接続部材83が、例えば、圧空配管である場合、図4Aに示される配線番号の項目は、配管番号となる。 The database D1 includes, for example, "part ID", "part name", "connection destination part ID", "connection destination part name", and "wiring number" as items. The item of the wiring number is changed according to the connecting member 83 (see FIG. 1B). When the connecting member 83 is, for example, a compressed air pipe, the item of the wiring number shown in FIG. 4A is the pipe number.

「部品ID」は、機器ユニット82に含まれている各部品A1〜A16に個別に割り当てられたIDである。「部品名称」は、各部品A1〜A16の名称を示す。「接続先部品ID」は、接続先の部品A1〜A16に割り当てられている「部品ID」である。「接続先部品名称」は、接続先の部品A1〜A16の名称を示す。「配線番号」は、部品A1〜A16間を接続する配線に割り当てられた番号である。なお、部品A1〜A16が機器ユニット82の外部の装置(以下では、「ユニット外部装置」という)に接続されている場合には、例えば、「接続先部品ID」に外部装置に割り当てられたIDが対応付けられ、「接続先部品名称」にユニット外部装置の名称が対応付けられてもよい。ユニット外部装置は、例えば、装置本体81である。データベースD1を参照することによって、部品A1〜A16間の接続関係、または、部品A1〜A16とユニット外部装置との接続関係を把握できる。 The "part ID" is an ID individually assigned to each of the parts A1 to A16 included in the equipment unit 82. "Part name" indicates the name of each part A1 to A16. The "connection destination component ID" is a "part ID" assigned to the connection destination components A1 to A16. The "connection destination component name" indicates the name of the connection destination components A1 to A16. The "wiring number" is a number assigned to the wiring connecting the parts A1 to A16. When the parts A1 to A16 are connected to an external device of the equipment unit 82 (hereinafter referred to as "unit external device"), for example, the ID assigned to the external device is assigned to the "connection destination component ID". May be associated with, and the name of the unit external device may be associated with the "connection destination component name". The unit external device is, for example, a device main body 81. By referring to the database D1, the connection relationship between the parts A1 to A16 or the connection relationship between the parts A1 to A16 and the external device of the unit can be grasped.

図4Bは、データベースD2を模式的に示す図である。データベースD2は、機器ユニット82に含まれる各部品A1〜A16の位置情報を管理する。例えば、データベースD2は、各機器ユニット82に付されたARマーカを基準点とする各部品A1〜A16の相対的な位置情報を管理する。データベースD2は、機器ユニット82毎に設けられる。別の例では、データベースD2は、産業用機器80毎に付されたARマーカを基準点とする各部品A1〜A16の相対的な位置情報を管理する。この場合、データベースD2は、産業用機器80毎に設けられる。 FIG. 4B is a diagram schematically showing the database D2. The database D2 manages the position information of the parts A1 to A16 included in the equipment unit 82. For example, the database D2 manages the relative position information of the parts A1 to A16 with the AR marker attached to each equipment unit 82 as a reference point. The database D2 is provided for each device unit 82. In another example, the database D2 manages the relative position information of each component A1 to A16 with the AR marker attached to each industrial device 80 as a reference point. In this case, the database D2 is provided for each industrial device 80.

データベースD2は、項目として、例えば、「部品ID」、「部品名称」および「基準点に対する部品の座標」を含む。「部品ID」および「部品名称」は、それぞれデータベースD1における「部品ID」および「部品名称」と同一である。「基準点に対する部品の座標」は、各機器ユニット82に付されたARマーカを基準点とする各部品A1〜A16の相対的な位置座標を示す。データベースD2を参照することによって、機器ユニット82に付されたARマーカに対する各部品A1〜A16の相対的な位置を把握することができる。 The database D2 includes, for example, "part ID", "part name", and "coordinates of the part with respect to the reference point" as items. The "part ID" and "part name" are the same as the "part ID" and "part name" in the database D1, respectively. The "coordinates of the parts with respect to the reference point" indicate the relative position coordinates of the parts A1 to A16 with the AR marker attached to each equipment unit 82 as the reference point. By referring to the database D2, the relative positions of the parts A1 to A16 with respect to the AR marker attached to the equipment unit 82 can be grasped.

図4Cは、データベースD3を模式的に示す図である。データベースD3は、機器ユニット82に含まれる各部品A1〜A16間の配線等の接続ルートを示す情報を管理する。例えば、データベースD3は、各機器ユニット82に付されたARマーカを基準点として各配線等が通過する相対的な位置情報を管理する。データベースD3は、機器ユニット82毎、および、各部品A1〜A16の接続ルートの種類毎に設けられる。 FIG. 4C is a diagram schematically showing the database D3. The database D3 manages information indicating a connection route such as wiring between each component A1 to A16 included in the equipment unit 82. For example, the database D3 manages relative position information through which each wiring or the like passes with the AR marker attached to each equipment unit 82 as a reference point. The database D3 is provided for each device unit 82 and for each type of connection route of each component A1 to A16.

データベースD3は、項目として、例えば、「配線番号」および「基準点に対する配線経路」を含む。なお、データベースD3が例えば、圧空配管の観点での配管経路を管理する場合には、「配線番号」が「配管番号」となり、「基準点に対する配線経路」が「基準点に対する配管経路」になる。 Database D3 includes, for example, a "wiring number" and a "wiring route to a reference point" as items. When the database D3 manages the piping route from the viewpoint of compressed air piping, for example, the "wiring number" becomes the "wiring number" and the "wiring route to the reference point" becomes the "piring route to the reference point". ..

「配線番号」は、データベースD1における「配線番号」と同一である。「基準点に対する配線経路」は、各機器ユニット82に付されたARマーカを基準点として各配線等が通過する複数の相対的な位置座標を示す。データベースD3を参照することによって、機器ユニット82に付されたARマーカに対する各配線等の経路を把握することができる。 The "wiring number" is the same as the "wiring number" in the database D1. The “wiring route with respect to the reference point” indicates a plurality of relative position coordinates through which each wiring or the like passes with the AR marker attached to each equipment unit 82 as the reference point. By referring to the database D3, it is possible to grasp the route of each wiring or the like with respect to the AR marker attached to the equipment unit 82.

<2−4.表示装置の動作モード>
表示装置10の動作モードは、対応部品確認モード、および、接続ルート確認モードを含む。対応部品確認モードは、図面表示部13A(図3C参照)に表示される図面情報に含まれる部品A1〜A16と、ユニット表示部13B(図3C参照)に表示される実機画像情報に含まれる部品A1〜A16との対応関係を特定できるように、制御部11が表示部13の表示状態を制御するモードである。接続ルート確認モードは、ユニット表示部13Bに表示される実機画像情報に含まれる部品A1〜A16の接続ルートを特定できるように、ユニット表示部13Bの表示状態を制御部11が制御するモードである。
<2-4. Display device operation mode>
The operation mode of the display device 10 includes a corresponding component confirmation mode and a connection route confirmation mode. The corresponding parts confirmation mode is the parts A1 to A16 included in the drawing information displayed on the drawing display unit 13A (see FIG. 3C) and the parts included in the actual machine image information displayed on the unit display unit 13B (see FIG. 3C). In this mode, the control unit 11 controls the display state of the display unit 13 so that the correspondence with A1 to A16 can be specified. The connection route confirmation mode is a mode in which the control unit 11 controls the display state of the unit display unit 13B so that the connection routes of the parts A1 to A16 included in the actual machine image information displayed on the unit display unit 13B can be specified. ..

<2−5.対応部品確認モード>
対応部品確認モードが選択される場合、制御部11は、第1表示制御または第2表示制御を実行する。第1表示制御は、図面表示部13Aに表示される図面情報において、複数の部品A1〜A16のうちの任意の部品が選択された場合に実行される。制御部11は、第1表示制御では、ユニット表示部13Bに表示される実機画像情報において、図面情報において選択された任意の部品に対応する実機画像情報を特定できるようにユニット表示部13Bの表示状態を制御する。
<2-5. Corresponding parts confirmation mode>
When the corresponding component confirmation mode is selected, the control unit 11 executes the first display control or the second display control. The first display control is executed when any component among the plurality of components A1 to A16 is selected in the drawing information displayed on the drawing display unit 13A. In the first display control, the control unit 11 displays the unit display unit 13B so that the actual machine image information corresponding to any component selected in the drawing information can be specified in the actual machine image information displayed on the unit display unit 13B. Control the state.

第2表示制御は、ユニット表示部13Bに表示される実機画像情報において、複数の部品A1〜A16のうちの任意の部品が選択された場合に実行される。制御部11は、第2表示制御では、図面表示部13Aに表示される図面情報において、実機画像情報において選択された任意の部品に対応する図面情報を特定できるように図面表示部13Aの表示状態を制御する。 The second display control is executed when any component among the plurality of components A1 to A16 is selected in the actual machine image information displayed on the unit display unit 13B. In the second display control, the control unit 11 has a display state of the drawing display unit 13A so that the drawing information corresponding to an arbitrary part selected in the actual machine image information can be specified in the drawing information displayed on the drawing display unit 13A. To control.

図5は、対応部品確認モードにおいて、図面表示部13Aに表示される図面情報の一例である。図6Aは、図5の例をさらに簡略化した図面情報の一例である。図5および図6Aに示される図面情報は、複数の部品A1〜A16に対応する複数の図面オブジェクト40を備える。図面オブジェクト40は、機器ユニット82毎に準備される。なお、図5では、図面の簡略化のため、複数の部品A1〜A9に対応する図面オブジェクト40のみを示している。また、図6Aでは、図面簡略化のため、部品A1、A3、A4、A15に対応する図面オブジェクトのみを示している。図面表示部13Aに表示される図面情報は、表示装置10が移動した場合であっても、図面表示部13Aに固定された状態、いわゆる、表示画面固定モードで表示される。対応部品確認モードにおいて、保守作業者90は、図面情報に基づいて対応する実機画像情報を把握したい場合、複数の図面オブジェクト40のうちの1または複数の図面オブジェクト40を選択する。図面オブジェクト40の選択方法は、任意に設定可能である。図面オブジェクト40の選択方法は、例えば、図面オブジェクト40のハンドトラッキングまたはアイトラッキングである。なお、本実施形態において、オブジェクト等の選択方法は、ハンドトラッキングまたはアイトラッキングを用いることができる。図面表示部13Aは、好ましくは、位置およびサイズの少なくとも一方を任意に変更できるように構成される。図面表示部13Aのサイズの変更は、図面表示部13Aのサイズの拡大および縮小を含む。さらに好ましくは、図面表示部13Aは、サイズを維持した状態で、図面情報の拡大および縮小、ならびに、スクロールできるように構成される。 FIG. 5 is an example of drawing information displayed on the drawing display unit 13A in the corresponding component confirmation mode. FIG. 6A is an example of drawing information obtained by further simplifying the example of FIG. The drawing information shown in FIGS. 5 and 6A includes a plurality of drawing objects 40 corresponding to the plurality of parts A1 to A16. The drawing object 40 is prepared for each device unit 82. Note that FIG. 5 shows only the drawing objects 40 corresponding to the plurality of parts A1 to A9 for the sake of simplification of the drawings. Further, in FIG. 6A, for simplification of the drawings, only the drawing objects corresponding to the parts A1, A3, A4, and A15 are shown. The drawing information displayed on the drawing display unit 13A is displayed in a state of being fixed to the drawing display unit 13A, that is, in a so-called display screen fixing mode, even when the display device 10 is moved. In the corresponding component confirmation mode, the maintenance worker 90 selects one or a plurality of drawing objects 40 among the plurality of drawing objects 40 when he / she wants to grasp the corresponding actual machine image information based on the drawing information. The selection method of the drawing object 40 can be arbitrarily set. The method of selecting the drawing object 40 is, for example, hand tracking or eye tracking of the drawing object 40. In this embodiment, hand tracking or eye tracking can be used as the method for selecting objects and the like. The drawing display unit 13A is preferably configured so that at least one of the position and the size can be arbitrarily changed. Changing the size of the drawing display unit 13A includes enlarging and reducing the size of the drawing display unit 13A. More preferably, the drawing display unit 13A is configured so that the drawing information can be enlarged / reduced and scrolled while maintaining the size.

図6Bは、対応部品確認モードにおいて、ユニット表示部13Bに表示される実機画像情報の一例である。実機画像情報は、データベースD2(図4B参照)に基づいて、機器ユニット82に含まれる複数の部品A1〜A16の相対的な位置関係が一致するように規定される複数の機器オブジェクト50を含む。複数の機器オブジェクト50は、例えば、AR画像である。ユニット表示部13Bは、AR画像である実機画像情報を実空間と座標系が一致するように規定される仮想空間に表示する、いわゆる、世界座標系固定モードで表示する。複数の機器オブジェクト50の複数の部品A1〜A16と、複数の図面オブジェクト40の複数の部品A1〜A16とは、対応付けられている。複数の機器オブジェクト50は、機器ユニット82毎に準備される。対応部品確認モードにおいて、保守作業者90は、実機画像情報に基づいて対応する図面情報を把握したい場合、複数の機器オブジェクト50のうちの1または複数の機器オブジェクト50を選択する。複数の機器オブジェクト50のサイズは、任意に設定可能である。本実施形態では、複数の機器オブジェクト50のサイズは、対応する部品A1〜A16と実質的に同じサイズである。 FIG. 6B is an example of actual machine image information displayed on the unit display unit 13B in the corresponding component confirmation mode. The actual machine image information includes a plurality of device objects 50 defined so that the relative positional relationships of the plurality of parts A1 to A16 included in the device unit 82 match based on the database D2 (see FIG. 4B). The plurality of device objects 50 are, for example, AR images. The unit display unit 13B displays the actual machine image information, which is an AR image, in a virtual space defined so that the real space and the coordinate system match, that is, in a so-called world coordinate system fixed mode. The plurality of parts A1 to A16 of the plurality of device objects 50 and the plurality of parts A1 to A16 of the plurality of drawing objects 40 are associated with each other. A plurality of device objects 50 are prepared for each device unit 82. In the corresponding component confirmation mode, the maintenance worker 90 selects one or a plurality of device objects 50 among the plurality of device objects 50 when he / she wants to grasp the corresponding drawing information based on the actual machine image information. The size of the plurality of device objects 50 can be arbitrarily set. In this embodiment, the size of the plurality of device objects 50 is substantially the same as the corresponding parts A1 to A16.

図面オブジェクト40および機器オブジェクト50は、例えば、サーバ30の記憶部33(図3D参照)に記憶される。対応部品確認モードが選択されている状態において、例えば、カメラ12によって機器ユニット82に付されたARマーカ(図示略)が撮影される。表示装置10の制御部11は、カメラ12によって撮影されたARマーカに基づいて、複数の機器ユニット82のうちから、撮影された機器ユニット82を特定する。制御部11は、特定した機器ユニット82に関する図面オブジェクト40および機器オブジェクト50を要求する信号をサーバ30に送信するように通信部15を制御する。サーバ30の制御部31は、制御部11によって特定された機器ユニット82に関する図面オブジェクト40および機器オブジェクト50を表示装置10に送信するように、通信部32を制御する。 The drawing object 40 and the device object 50 are stored, for example, in the storage unit 33 (see FIG. 3D) of the server 30. In the state where the corresponding component confirmation mode is selected, for example, the AR marker (not shown) attached to the device unit 82 is photographed by the camera 12. The control unit 11 of the display device 10 identifies the photographed device unit 82 from among the plurality of device units 82 based on the AR marker photographed by the camera 12. The control unit 11 controls the communication unit 15 so as to transmit a signal requesting the drawing object 40 and the device object 50 regarding the specified device unit 82 to the server 30. The control unit 31 of the server 30 controls the communication unit 32 so as to transmit the drawing object 40 and the device object 50 regarding the device unit 82 specified by the control unit 11 to the display device 10.

制御部11は、複数の図面オブジェクト40のうちの任意の図面オブジェクト40が選択された場合、第1表示制御において、複数の機器オブジェクト50のうちの任意の図面オブジェクト40と対応する機器オブジェクト50を特定できるようにユニット表示部13Bの表示状態を制御する。制御部11は、複数の機器オブジェクト50のうちの任意の機器オブジェクト50が選択された場合、第2表示制御において、複数の図面オブジェクト40のうちの任意の機器オブジェクト50と対応する図面オブジェクト40を特定できるように、図面表示部13Aの表示状態を制御する。以下では、第1表示制御および第2表示制御の詳細について説明する。 When an arbitrary drawing object 40 among the plurality of drawing objects 40 is selected, the control unit 11 sets the device object 50 corresponding to the arbitrary drawing object 40 among the plurality of device objects 50 in the first display control. The display state of the unit display unit 13B is controlled so that it can be specified. When an arbitrary device object 50 among the plurality of device objects 50 is selected, the control unit 11 sets the drawing object 40 corresponding to the arbitrary device object 50 among the plurality of drawing objects 40 in the second display control. The display state of the drawing display unit 13A is controlled so that it can be specified. Hereinafter, the details of the first display control and the second display control will be described.

<2−6.第1表示制御>
図7Aを参照して、第1表示制御の処理手順の一例について説明する。第1表示制御は、表示装置10の動作モードとして対応部品確認モードが選択されており、かつ、図面表示部13Aに表示される図面情報において、複数の部品A1〜A16のうちの任意の部品に対応する図面オブジェクト40が選択されたことに基づいて開始される。
<2-6. 1st display control>
An example of the processing procedure of the first display control will be described with reference to FIG. 7A. In the first display control, the corresponding component confirmation mode is selected as the operation mode of the display device 10, and in the drawing information displayed on the drawing display unit 13A, any component among the plurality of components A1 to A16 can be used. It starts based on the selection of the corresponding drawing object 40.

S11では、制御部11は、選択された図面オブジェクト40(以下では、「図面オブジェクト41X」という)に対応する機器オブジェクト50(以下では、「機器オブジェクト51X」という)を抽出する。なお、任意の図面オブジェクト41Xが選択された状態では、図7Bに示されるように、選択された任意の図面オブジェクト41Xは、他の図面オブジェクト40に対して強調表示される。強調表示の一例はハイライト表示である。 In S11, the control unit 11 extracts the device object 50 (hereinafter referred to as “device object 51X”) corresponding to the selected drawing object 40 (hereinafter referred to as “drawing object 41X”). In the state where the arbitrary drawing object 41X is selected, as shown in FIG. 7B, the selected arbitrary drawing object 41X is highlighted with respect to the other drawing object 40. An example of highlighting is highlighting.

S12では、制御部11は、抽出した機器オブジェクト51Xを特定できるように、ユニット表示部13Bの表示状態を制御する。一例では、図7Cに示されるように、選択された図面オブジェクト41Xに対応する機器オブジェクト51Xが他の機器オブジェクト50に対して強調表示される。強調表示の一例は、ハイライト表示である。 In S12, the control unit 11 controls the display state of the unit display unit 13B so that the extracted device object 51X can be specified. In one example, the device object 51X corresponding to the selected drawing object 41X is highlighted relative to the other device object 50, as shown in FIG. 7C. An example of highlighting is highlighting.

<2−7.第2表示制御>
図8Aを参照して、第2表示制御の処理手順の一例について説明する。第2表示制御は、表示装置10の動作モードとして対応部品確認モードが選択されており、かつ、ユニット表示部13Bに表示される実機画像情報において、複数の部品A1〜A16のうちの任意の部品に対応する機器オブジェクト50が選択されたことに基づいて開始される。
<2-7. 2nd display control>
An example of the processing procedure of the second display control will be described with reference to FIG. 8A. In the second display control, the corresponding component confirmation mode is selected as the operation mode of the display device 10, and any component among the plurality of components A1 to A16 is displayed in the actual machine image information displayed on the unit display unit 13B. It is started based on the selection of the device object 50 corresponding to.

S21では、制御部11は、選択された機器オブジェクト50(以下では、「機器オブジェクト52X」という)に対応する部品が含まれる図面を抽出する。S22では、制御部11は、選択された機器オブジェクト52Xに対応する図面オブジェクト40(以下では、「図面オブジェクト42X」という)を抽出する。なお、任意の機器オブジェクト52Xが選択された状態では、図8Bに示されるように、選択された任意の機器オブジェクト52Xは、他の機器オブジェクト50に対して強調表示される。強調表示の一例は、ハイライト表示である。 In S21, the control unit 11 extracts a drawing including a component corresponding to the selected device object 50 (hereinafter, referred to as “device object 52X”). In S22, the control unit 11 extracts the drawing object 40 (hereinafter, referred to as “drawing object 42X”) corresponding to the selected device object 52X. In the state where the arbitrary device object 52X is selected, as shown in FIG. 8B, the selected arbitrary device object 52X is highlighted with respect to the other device object 50. An example of highlighting is highlighting.

S22では、制御部11は、抽出した図面オブジェクト42Xを特定できるように、図面表示部13Aの表示状態を制御する。一例では、図8Cに示されるように、選択された機器オブジェクト52Xに対応する図面オブジェクト42Xが他の図面オブジェクト40に対して強調表示される。強調表示の一例は、ハイライト表示である。 In S22, the control unit 11 controls the display state of the drawing display unit 13A so that the extracted drawing object 42X can be specified. In one example, the drawing object 42X corresponding to the selected device object 52X is highlighted relative to the other drawing object 40, as shown in FIG. 8C. An example of highlighting is highlighting.

<2−8.接続ルート確認モード>
接続ルート確認モードが選択される場合、制御部11は、第3表示制御を実行する。第3表示制御では、制御部11は、図面情報において、複数の部品A1〜A16のうちの任意の部品が選択された場合に、実機画像情報において任意の部品と接続される接続部品70を特定できるように、ユニット表示部13Bの表示状態を制御する。また、図1Bに示されるように、機器ユニット82では、複数の接続部材83がダクト84に収容されているため、選択された任意の部品と接続部品70との接続ルート、換言すれば、接続部材83のルートを特定することは困難である。接続ルート確認モードでは、接続ルートを容易に確認することもできる。接続ルート確認モードにおいて、保守作業者90は、複数の部品A1〜A16の接続ルートを確認したい場合、複数の図面オブジェクト40から任意の図面オブジェクト40を選択する。制御部11は、接続部品70が選択された場合に、第3表示制御において、選択された任意の部品、接続部品70、および、選択された任意の部品と接続部品70との接続ルートが特定できるように、ユニット表示部13Bの表示状態を制御する。
<2-8. Connection route confirmation mode>
When the connection route confirmation mode is selected, the control unit 11 executes the third display control. In the third display control, the control unit 11 identifies the connecting component 70 to be connected to the arbitrary component in the actual machine image information when any component among the plurality of components A1 to A16 is selected in the drawing information. The display state of the unit display unit 13B is controlled so as to be possible. Further, as shown in FIG. 1B, in the equipment unit 82, since a plurality of connecting members 83 are housed in the duct 84, the connection route between the selected arbitrary component and the connecting component 70, in other words, the connection. It is difficult to identify the route of the member 83. In the connection route confirmation mode, the connection route can be easily confirmed. In the connection route confirmation mode, the maintenance worker 90 selects an arbitrary drawing object 40 from the plurality of drawing objects 40 when he / she wants to confirm the connection routes of the plurality of parts A1 to A16. When the connection component 70 is selected, the control unit 11 specifies the selected arbitrary component, the connection component 70, and the connection route between the selected arbitrary component and the connection component 70 in the third display control. The display state of the unit display unit 13B is controlled so as to be possible.

<2−9.第3表示制御>
図9Aを参照して、第3表示制御の処理手順の一例について説明する。第3表示制御は、表示装置10の動作モードとして接続ルート確認モードが選択されていることに基づいて開始される。
<2-9. Third display control>
An example of the processing procedure of the third display control will be described with reference to FIG. 9A. The third display control is started based on the fact that the connection route confirmation mode is selected as the operation mode of the display device 10.

S31では、制御部11は、図面表示部13Aに表示される図面情報において、任意の図面オブジェクト40(以下では、「図面オブジェクト43X」という)が選択されたか否かを判定する。S31が否定判定の場合、制御部11は、S31の判定処理を繰り返し実行する。S31が肯定判定の場合、制御部11は、S32の処理を実行する。 In S31, the control unit 11 determines whether or not an arbitrary drawing object 40 (hereinafter, referred to as “drawing object 43X”) is selected in the drawing information displayed on the drawing display unit 13A. When S31 is a negative determination, the control unit 11 repeatedly executes the determination process of S31. If S31 is affirmative, the control unit 11 executes the process of S32.

S32では、制御部11は、選択された任意の図面オブジェクト43Xを他の図面オブジェクト40に対して強調表示する。同様に、制御部11は、図面オブジェクト43Xに対応する機器オブジェクト50(以下では、「機器オブジェクト53Xという」)を他の機器オブジェクト50に対して強調表示する。S32における強調表示の一例は、ハイライト表示である。 In S32, the control unit 11 highlights the selected arbitrary drawing object 43X with respect to the other drawing object 40. Similarly, the control unit 11 highlights the device object 50 (hereinafter, referred to as “device object 53X”) corresponding to the drawing object 43X to the other device objects 50. An example of highlighting in S32 is highlighting.

S33では、制御部11は、接続部品70に対応する図面オブジェクト40(以下では、「図面オブジェクト43Y」という)を他の図面オブジェクト40に対して強調表示する。同様に、制御部11は、図面オブジェクト43Yに対応する機器オブジェクト50(以下では、「機器オブジェクト53Y」という)を他の機器オブジェクト50に対して強調表示する。S33における強調表示の一例は、破線表示である。S33が完了した場合、例えば、図9Bに示されるように、図面オブジェクト43Xおよび機器オブジェクト53Xがハイライト表示される。また、図面オブジェクト43Yおよび機器オブジェクト53Yがハイライト表示かつ破線表示される。図9Bでは、複数の図面オブジェクト43Yおよび機器オブジェクト53Yが存在する場合を例示している。また、S33において、図面オブジェクト43Xと図面オブジェクト43Yとの接続関係を示す線分を破線等で強調表示してもよい。なお、接続部品70にユニット外部装置が含まれる場合、制御部11は、接続部品70にユニット外部装置が含まれることが把握できるように、例えば、「Tоユニット外部装置」等と表示されるように、表示部13の表示状態を制御する。 In S33, the control unit 11 highlights the drawing object 40 (hereinafter, referred to as “drawing object 43Y”) corresponding to the connecting component 70 to the other drawing objects 40. Similarly, the control unit 11 highlights the device object 50 (hereinafter, referred to as “device object 53Y”) corresponding to the drawing object 43Y to the other device objects 50. An example of highlighting in S33 is a broken line display. When S33 is complete, the drawing object 43X and the device object 53X are highlighted, for example, as shown in FIG. 9B. Further, the drawing object 43Y and the device object 53Y are highlighted and displayed in broken lines. FIG. 9B illustrates a case where a plurality of drawing objects 43Y and device objects 53Y exist. Further, in S33, a line segment indicating the connection relationship between the drawing object 43X and the drawing object 43Y may be highlighted with a broken line or the like. When the connection component 70 includes a unit external device, the control unit 11 displays, for example, "Tо unit external device" so that the connection component 70 includes the unit external device. In addition, the display state of the display unit 13 is controlled.

S34では、制御部11は、接続部品70に対応する複数の図面オブジェクト43Yが存在するか否かを判定する。S34が否定判定の場合、換言すれば、接続部品70に対応する図面オブジェクト43Yが1つの場合、制御部11は、S36の処理を実行する。一方、S34が肯定判定の場合、制御部11は、S35の処理を実行する。 In S34, the control unit 11 determines whether or not a plurality of drawing objects 43Y corresponding to the connecting component 70 exist. When S34 is a negative determination, in other words, when there is one drawing object 43Y corresponding to the connecting component 70, the control unit 11 executes the process of S36. On the other hand, when S34 is an affirmative determination, the control unit 11 executes the process of S35.

S35では、制御部11は、接続部品70に対応する1つの図面オブジェクト43Yが選択されたか否かを判定する。S35が否定判定の場合、制御部11は、S35の判定処理を繰り返し実行する。S35が肯定判定の場合、制御部11は、S36の処理を実行する。 In S35, the control unit 11 determines whether or not one drawing object 43Y corresponding to the connecting component 70 has been selected. When S35 is a negative determination, the control unit 11 repeatedly executes the determination process of S35. If S35 is affirmative, the control unit 11 executes the process of S36.

S36では、制御部11は、1つの図面オブジェクト43X、1つの図面オブジェクト43Y、1つの機器オブジェクト53X、および、1つの機器オブジェクト53Yを強調表示する。S37では、制御部11は、図9Cに示されるように、機器オブジェクト53Xと機器オブジェクト53Yとの接続ルート60を強調表示する。強調表示の一例は、他の線分と異なる色の線分による表示である。なお、S36では、図面オブジェクト43Xと図面オブジェクト43Yとの接続関係を示す線分を強調表示してもよい。 In S36, the control unit 11 highlights one drawing object 43X, one drawing object 43Y, one device object 53X, and one device object 53Y. In S37, the control unit 11 highlights the connection route 60 between the device object 53X and the device object 53Y, as shown in FIG. 9C. An example of highlighting is a display with a line segment having a color different from that of other line segments. In S36, a line segment indicating the connection relationship between the drawing object 43X and the drawing object 43Y may be highlighted.

<2−10.機器オブジェクトの表示位置の補正動作>
図10は、機器オブジェクト50の表示位置の補正動作を示すフローチャートである。このフローチャートに示される処理は、第1表示制御、第2表示制御、または、第3表示制御が実行される前に実行される。
<2-10. Correction operation of the display position of the device object>
FIG. 10 is a flowchart showing a correction operation of the display position of the device object 50. The process shown in this flowchart is executed before the first display control, the second display control, or the third display control is executed.

S41では、制御部11は、ユニット表示部13Bに表示される機器オブジェクト50のいずれかの表示位置の補正指示が例えば、ジェスチャーを介して行なわれたか否かを判定する。例えば、保守作業者90は、実空間における機器ユニット82の部品A1〜A16の位置と、部品A1〜A16に対応する機器オブジェクト50の表示位置とのずれが大きい場合に、補正指示を行う。 In S41, the control unit 11 determines whether or not the correction instruction of the display position of any of the device objects 50 displayed on the unit display unit 13B is performed, for example, via a gesture. For example, the maintenance worker 90 gives a correction instruction when the position of the parts A1 to A16 of the equipment unit 82 in the real space and the display position of the equipment object 50 corresponding to the parts A1 to A16 are large.

S41が否定判定の場合、換言すれば、補正指示がない場合、制御部11は、S41の判定処理を繰り返し実行する。S41が肯定判定の場合、S42では、制御部11は、補正指示の対象となった機器オブジェクト50の表示位置を保守作業者90の指示に従って補正する。表示装置10によれば、たとえば、機器オブジェクト50が部品A1〜A16上に正しく表示されていない場合であっても、保守作業者90の指示に従って機器オブジェクト50の表示位置を補正できる。 When S41 is a negative determination, in other words, when there is no correction instruction, the control unit 11 repeatedly executes the determination process of S41. When S41 is an affirmative determination, in S42, the control unit 11 corrects the display position of the device object 50, which is the target of the correction instruction, according to the instruction of the maintenance worker 90. According to the display device 10, for example, even when the device object 50 is not correctly displayed on the parts A1 to A16, the display position of the device object 50 can be corrected according to the instruction of the maintenance worker 90.

<3.本実施形態の効果>
以上のように構成された保守作業支援システム20では、次の効果を得ることができる。
<3−1>
図面情報において、任意の部品が選択された場合に第1表示制御が実行される。第1表示制御では、任意の部品に対応する実機画像情報がユニット表示部13Bに表示されるため、図面上の任意の部品と実機に搭載されている任意の部品との対応関係を容易に把握できる。このため、機器ユニット82の保守作業を効率的に実施できる。
<3. Effect of this embodiment>
The maintenance work support system 20 configured as described above can obtain the following effects.
<3-1>
The first display control is executed when any part is selected in the drawing information. In the first display control, the actual machine image information corresponding to any part is displayed on the unit display unit 13B, so that the correspondence relationship between any part on the drawing and any part mounted on the actual machine can be easily grasped. can. Therefore, the maintenance work of the equipment unit 82 can be efficiently performed.

<3−2>
実機画像情報において、任意の部品が選択された場合に第2表示制御が実行される。第2表示制御では、任意の部品に対応する図面情報が図面表示部13Aに表示されるため、実機に搭載されている任意の部品と、図面上の任意の部品との対応関係を容易に把握できる。このため、機器ユニット82の保守作業を効率的に実施できる。
<3-2>
The second display control is executed when an arbitrary component is selected in the actual machine image information. In the second display control, the drawing information corresponding to any part is displayed on the drawing display unit 13A, so that the correspondence relationship between any part mounted on the actual machine and any part on the drawing can be easily grasped. can. Therefore, the maintenance work of the equipment unit 82 can be efficiently performed.

<3−3>
図面情報において、任意の図面オブジェクト40が選択された場合に第1表示制御が実行され、任意の図面オブジェクト40と対応する機器オブジェクト50がユニット表示部13Bに表示される。このため、図面上の任意の部品と実機に搭載されている任意の部品との対応関係を容易に把握できる。このため、機器ユニット82の保守作業を効率的に実施できる。
<3-3>
When an arbitrary drawing object 40 is selected in the drawing information, the first display control is executed, and the device object 50 corresponding to the arbitrary drawing object 40 is displayed on the unit display unit 13B. Therefore, it is possible to easily grasp the correspondence between any part on the drawing and any part mounted on the actual machine. Therefore, the maintenance work of the equipment unit 82 can be efficiently performed.

<3−4>
実機画像情報において、任意の機器オブジェクト50が選択された場合に第2表示制御が実行され、任意の機器オブジェクト50と対応する図面オブジェクト40が図面表示部13Aに表示される。このため、実機に搭載されている任意の部品と図面上の任意の部品との対応関係を容易に把握できる。このため、機器ユニット82の保守作業を効率的に実施できる。
<3-4>
When an arbitrary device object 50 is selected in the actual machine image information, the second display control is executed, and the drawing object 40 corresponding to the arbitrary device object 50 is displayed on the drawing display unit 13A. Therefore, it is possible to easily grasp the correspondence between any part mounted on the actual machine and any part on the drawing. Therefore, the maintenance work of the equipment unit 82 can be efficiently performed.

<3−5>
制御部11は、第3表示制御を実行するため、接続部品70を容易に確認できる。このため、利便性が高められる。
<3-5>
Since the control unit 11 executes the third display control, the connecting component 70 can be easily confirmed. Therefore, convenience is enhanced.

<3−6>
第3表示制御においては、任意の部品、接続部品70、および、任意の部品と接続部品70との接続ルートを容易に確認できる。このため、利便性が高められる。
<3-6>
In the third display control, an arbitrary component, a connecting component 70, and a connection route between the arbitrary component and the connecting component 70 can be easily confirmed. Therefore, convenience is enhanced.

<4.変形例>
上記実施形態は本発明に関する保守作業支援システム、保守作業支援方法、および、保守作業支援プログラムが取り得る形態の例示であり、その形態を制限することを意図していない。本発明に関する保守作業支援システム、保守作業支援方法、および、保守作業支援プログラムは、実施形態に例示された形態とは異なる形態を取り得る。その一例は、実施形態の構成の一部を置換、変更、もしくは、省略した形態、または、実施形態に新たな構成を付加した形態である。以下に実施形態の変形例の一例を示す。
<4. Modification example>
The above-described embodiment is an example of possible forms of the maintenance work support system, the maintenance work support method, and the maintenance work support program according to the present invention, and is not intended to limit the forms. The maintenance work support system, the maintenance work support method, and the maintenance work support program according to the present invention may take a form different from the form exemplified in the embodiment. One example thereof is a form in which a part of the configuration of the embodiment is replaced, changed, or omitted, or a new configuration is added to the embodiment. An example of a modification of the embodiment is shown below.

<4−1>
上記実施形態では、実機画像情報における複数の部品A1〜A16の配置と、図面情報における複数の部品A1〜A16の配置との関係について、各々の配置の対応関係が異なる場合について主に説明してきたが、各々の配置の対応関係が一致している場合にも保守作業支援システム20を適用可能である。例えば、産業用機器の機器ユニット82の機械図面を参照したい場合、実機における複数の部品の配置と図面における複数の部品の配置との対応関係は概ね一致している。しかし、機器ユニット82の種類によっては、部品点数が非常に多く、実機における複数の部品の配置と図面における複数の部品の配置との対応関係を容易に把握することが困難である。この変形例でも、初めは実機画像情報における任意の部品と、この任意の部品に対応する図面情報の部品との対応関係が把握できていない状況であるが、制御部11が表示状態を制御することにより、両者の対応関係を容易に把握することができる。具体的には、上記実施形態と同様に、制御部11が第1表示制御および第2表示制御の少なくとも一方を実行することにより実現可能である。これにより、機器ユニット82の保守作業を効率的に実施できる。
<4-1>
In the above embodiment, the relationship between the arrangement of the plurality of parts A1 to A16 in the actual machine image information and the arrangement of the plurality of parts A1 to A16 in the drawing information has been mainly described when the correspondence between the arrangements is different. However, the maintenance work support system 20 can be applied even when the correspondence of each arrangement is the same. For example, when it is desired to refer to the mechanical drawing of the equipment unit 82 of the industrial equipment, the correspondence between the arrangement of the plurality of parts in the actual machine and the arrangement of the plurality of parts in the drawing is almost the same. However, depending on the type of the equipment unit 82, the number of parts is very large, and it is difficult to easily grasp the correspondence between the arrangement of the plurality of parts in the actual machine and the arrangement of the plurality of parts in the drawing. Even in this modification, at first, the correspondence between an arbitrary part in the image information of the actual machine and the part in the drawing information corresponding to the arbitrary part cannot be grasped, but the control unit 11 controls the display state. As a result, the correspondence between the two can be easily grasped. Specifically, as in the above embodiment, it can be realized by the control unit 11 executing at least one of the first display control and the second display control. As a result, the maintenance work of the equipment unit 82 can be efficiently performed.

<4−2>
上記実施形態では、機器オブジェクト50のサイズは、対応する部品A1〜A16と実質的に同じサイズであるが、機器オブジェクト50のサイズを機器オブジェクト50の輪郭情報に基づいて、拡大できるように構成されてもよい。機器オブジェクト50の輪郭情報は、機器オブジェクト50のサイズ情報、および、座標に対する配置情報を含む情報である。機器オブジェクト50の輪郭情報は、データベースD2に格納されていてもよく、他のデータベースに格納されていてもよい。この変形例では、機器ユニット82に含まれる部品A1〜A16のサイズが比較的小さい場合であっても、機器オブジェクト50を拡大できるため、機器オブジェクト50を容易に選択できる。
<4-2>
In the above embodiment, the size of the device object 50 is substantially the same as that of the corresponding parts A1 to A16, but the size of the device object 50 can be expanded based on the contour information of the device object 50. You may. The contour information of the device object 50 is information including size information of the device object 50 and arrangement information with respect to coordinates. The contour information of the device object 50 may be stored in the database D2 or may be stored in another database. In this modification, even when the sizes of the parts A1 to A16 included in the device unit 82 are relatively small, the device object 50 can be enlarged, so that the device object 50 can be easily selected.

<4−3>
上記実施形態では、実機画像情報として機器オブジェクト50を用いたが、実機画像情報は、任意に変更可能である。変形例の表示装置10は、実機画像情報として、部品A1〜A16の輪郭情報および位置情報に基づいて規定される実機画像情報を用いる。部品A1〜A16の輪郭情報は、各部品A1〜A16のサイズ情報、および、座標に対する配置情報を含む情報である。輪郭情報は、例えば、データベースD2に格納されていてもよく、他のデータベースに格納されていてもよく、カメラ12による撮影画像の解析を通じて生成されてもよい。部品A1〜A16の位置情報は、データベースD2に基づいて生成される。
<4-3>
In the above embodiment, the device object 50 is used as the actual machine image information, but the actual machine image information can be arbitrarily changed. The display device 10 of the modified example uses the actual machine image information defined based on the contour information and the position information of the parts A1 to A16 as the actual machine image information. The contour information of the parts A1 to A16 is information including size information of each part A1 to A16 and arrangement information with respect to coordinates. The contour information may be stored in, for example, the database D2, may be stored in another database, or may be generated through analysis of the captured image by the camera 12. The position information of the parts A1 to A16 is generated based on the database D2.

<4−4>
上記実施形態では、対応部品確認モードにおいて、機器オブジェクト50は、ハンドトラッキングまたはアイトラッキングによって選択されたが、機器オブジェクト50の選択方法は、任意に変更できる。変形例の表示装置10では、例えば、機器オブジェクト50に対応する部品の名称を保守作業者90が読み上げた音声情報に基づいて、機器オブジェクト50が選択される。別の変形例では、例えば、保守作業者90が機器オブジェクト50に記載される部品の文字情報を視認することに基づいて、機器オブジェクト50が選択される。この変形例では、例えば、一定時間、特定の機器オブジェクトの文字情報が視認されていることが検出された場合に、その機器オブジェクト50が選択される。さらに別の変形例では、ARカーソルを用いて、任意の機器オブジェクト50が囲まれることによって、機器オブジェクト50が選択される。
<4-4>
In the above embodiment, the device object 50 is selected by hand tracking or eye tracking in the corresponding component confirmation mode, but the selection method of the device object 50 can be arbitrarily changed. In the display device 10 of the modified example, for example, the device object 50 is selected based on the voice information read out by the maintenance worker 90 with the names of the parts corresponding to the device object 50. In another modification, for example, the equipment object 50 is selected based on the maintenance worker 90 visually recognizing the character information of the parts described in the equipment object 50. In this modification, for example, when it is detected that the character information of a specific device object is visually recognized for a certain period of time, the device object 50 is selected. In yet another modification, the device object 50 is selected by enclosing an arbitrary device object 50 using an AR cursor.

<4−5>
上記実施形態では、対応部品確認モードにおいて、図面オブジェクト40は、ハンドトラッキングまたはアイトラッキングによって選択されたが、図面オブジェクト40の選択方法は、任意に変更できる。変形例の表示装置10では、図面情報は、複数の部品の部品名称、および、複数の部品のそれぞれに設定される記号の少なくとも一方を含む複数の部品固有情報を含む。制御部11は、複数の部品固有情報のうちの任意の部品固有情報が選択された場合に、第1表示制御において、ユニット表示部13Bに表示される実機画像情報のうちの任意の部品固有情報に対応する部品を特定できるようにユニット表示部13Bの表示状態を制御する。部品固有情報の認識は、音声情報および文字情報の少なくとも一方に基づいて実施される。さらに別の変形例では、ARカーソルを用いて、任意の図面オブジェクト40が囲まれることによって、図面オブジェクト40が選択される。
<4-5>
In the above embodiment, the drawing object 40 is selected by hand tracking or eye tracking in the corresponding component confirmation mode, but the selection method of the drawing object 40 can be arbitrarily changed. In the display device 10 of the modification, the drawing information includes a plurality of component-specific information including the component names of the plurality of components and at least one of the symbols set for each of the plurality of components. When any component-specific information among the plurality of component-specific information is selected, the control unit 11 controls the arbitrary component-specific information among the actual machine image information displayed on the unit display unit 13B in the first display control. The display state of the unit display unit 13B is controlled so that the component corresponding to the above can be specified. Recognition of component-specific information is performed based on at least one of voice information and text information. In yet another modification, the drawing object 40 is selected by enclosing an arbitrary drawing object 40 using an AR cursor.

<4−6>
上記実施形態では、図面表示部13Aは、図面情報を表示画面固定モードで表示したが、図面表示部13Aを表示画面固定モードおよび世界座標系固定モードのいずれで表示するかを選択できるように構成してもよい。上記実施形態で説明したように、ユニット表示部13Bは、機器ユニット82に重畳するように実機画像情報であるAR画像を表示する。保守作業者90の視線が変更された場合、換言すれば、表示装置10の位置が変更された場合、制御部11は、実機画像情報が機器ユニット82に重畳される状態が維持されるようにユニット表示部13Bを移動するため、移動したユニット表示部13Bと図面表示部13Aとが重なる場合がある。このような場合に、この変形例では、図面表示部13Aの表示モードを世界座標系固定モードに変更することによって、図面表示部13Aを表示部13の外に移動させることができる。表示部13の外は、例えば機器ユニット82が存在しない視線方向に位置する三次元空間である。この変形例では、ユニット表示部13Bを確認しているときに、図面表示部13Aを確認したい場合に、機器ユニット82が存在しない視線方向を向くことで図面表示部13Aを容易に確認できるため、保守作業の作業効率が高められる。
<4-6>
In the above embodiment, the drawing display unit 13A displays the drawing information in the display screen fixed mode, but the drawing display unit 13A is configured to be able to select whether to display the drawing display unit 13A in the display screen fixed mode or the world coordinate system fixed mode. You may. As described in the above embodiment, the unit display unit 13B displays the AR image which is the actual machine image information so as to be superimposed on the equipment unit 82. When the line of sight of the maintenance worker 90 is changed, in other words, when the position of the display device 10 is changed, the control unit 11 maintains the state in which the actual machine image information is superimposed on the device unit 82. Since the unit display unit 13B is moved, the moved unit display unit 13B and the drawing display unit 13A may overlap with each other. In such a case, in this modification, the drawing display unit 13A can be moved to the outside of the display unit 13 by changing the display mode of the drawing display unit 13A to the world coordinate system fixed mode. The outside of the display unit 13 is, for example, a three-dimensional space located in the line-of-sight direction in which the device unit 82 does not exist. In this modification, when the drawing display unit 13A is being confirmed while the unit display unit 13B is being confirmed, the drawing display unit 13A can be easily confirmed by facing the line-of-sight direction in which the device unit 82 does not exist. The work efficiency of maintenance work is improved.

<4−7>
表示装置10の制御部11は、カメラ12によって撮影されたARマーカに基づいて、複数の機器ユニット82のうちから、撮影された機器ユニット82を特定した。しかし、機器ユニット82の特定方法は、任意に変更可能である。変形例の表示装置10は、例えば、産業用機器80毎にARマーカが設けられる場合、ARマーカに基づいて特定した産業用機器80に含まれる複数の機器ユニット82から保守作業を実施する機器ユニット82を選択するためのメニュー画面を表示部13に表示する。保守作業者90は、メニュー画面から保守作業を実施する機器ユニット82を選択する。なお、産業用機器80に含まれる機器ユニット82が1つである場合、メニュー画面の表示は省略される。
<4-7>
The control unit 11 of the display device 10 identified the photographed device unit 82 from among the plurality of device units 82 based on the AR marker photographed by the camera 12. However, the method of specifying the equipment unit 82 can be arbitrarily changed. The display device 10 of the modified example is, for example, when an AR marker is provided for each industrial device 80, a device unit that performs maintenance work from a plurality of device units 82 included in the industrial device 80 specified based on the AR marker. A menu screen for selecting 82 is displayed on the display unit 13. The maintenance worker 90 selects the equipment unit 82 to perform the maintenance work from the menu screen. When there is only one device unit 82 included in the industrial device 80, the display of the menu screen is omitted.

<4−8>
上記実施形態では、各種センサ14の検出結果に基づいて、制御部11が機器ユニット82に対する表示装置10の位置を算出していたが、機器ユニット82に対する表示装置10の位置を算出するための構成は、任意に変更可能である。一例では、カメラ12としてステレオカメラが採用される場合、制御部11は、ステレオカメラが撮影した画像情報に基づいて、機器ユニット82に対する表示装置10の位置を算出することができる。
<4-8>
In the above embodiment, the control unit 11 calculates the position of the display device 10 with respect to the device unit 82 based on the detection results of the various sensors 14, but the configuration for calculating the position of the display device 10 with respect to the device unit 82. Can be changed arbitrarily. In one example, when a stereo camera is adopted as the camera 12, the control unit 11 can calculate the position of the display device 10 with respect to the device unit 82 based on the image information captured by the stereo camera.

<4−9>
第2表示制御のS22では、制御部11は、機器オブジェクト52Xに対応する部品が含まれる図面から図面オブジェクト42Xを抽出したが、図面オブジェクト42Xの抽出は、保守作業者90が実施してもよい。この変形例では、機器オブジェクト52Xに対応する部品が含まれる図面が複数存在する場合、ページ送り機能が設けられることが好ましい。なお、第1表示制御においても、特定された機器ユニット82に関する図面が複数存在する場合、ページ送り機能が設けられることが好ましい。なお、図面は決まったページ順に表示するように予め設定されており、複数の図面が抽出された場合、ページの若い順から順に表示されるように構成されていることが好ましい。また、図面の種類は予め保守作業者90が選択することも可能である。
<4-9>
In S22 of the second display control, the control unit 11 extracts the drawing object 42X from the drawing including the parts corresponding to the device object 52X, but the maintenance worker 90 may extract the drawing object 42X. .. In this modification, when there are a plurality of drawings including parts corresponding to the device object 52X, it is preferable to provide a page feed function. Even in the first display control, when there are a plurality of drawings relating to the specified device unit 82, it is preferable to provide a page feed function. The drawings are preset to be displayed in a fixed page order, and when a plurality of drawings are extracted, it is preferable that the drawings are displayed in order from the youngest page. Further, the type of drawing can be selected in advance by the maintenance worker 90.

<4−10>
上記実施形態においては、データベースD1、D2、D3、図面情報、および、実機画像情報は、サーバ30で管理されているが、データベースD1、D2、D3は、必ずしもサーバ30で管理されている必要はない。データベースD1、D2、D3、図面情報、および、実機画像情報は、例えば、記憶部16に記憶されていてもよい。
<4-10>
In the above embodiment, the databases D1, D2, D3, the drawing information, and the actual machine image information are managed by the server 30, but the databases D1, D2, and D3 do not necessarily have to be managed by the server 30. No. The databases D1, D2, D3, the drawing information, and the actual machine image information may be stored in, for example, the storage unit 16.

<4−11>
上記実施形態において、表示装置10の表示部13に表示される画像は、例えば、保守作業者90とは離れた場所にいる支援者に共有されてもよい。すなわち、表示装置10は、いわゆる遠隔保守支援に用いられてもよい。この場合に、支援者に共有される画像においては、支援者に共有すべきでない領域が含まれなくてもよい。この変形例では、保守作業を実施する機器ユニット82が特定された場合、第1表示制御において、支援者が図面表示部13Aに表示する図面情報を指定することが好ましい。例えば、特定された機器ユニット82に対応する図面が複数存在する場合、これらの図面から保守作業者90が必要な図面を選択する場合よりも、熟練者である支援者が必要な図面を指定することによって、保守作業に要する時間を短縮できる。
<4-11>
In the above embodiment, the image displayed on the display unit 13 of the display device 10 may be shared with, for example, a supporter who is away from the maintenance worker 90. That is, the display device 10 may be used for so-called remote maintenance support. In this case, the image shared with the supporter may not include an area that should not be shared with the supporter. In this modification, when the equipment unit 82 for performing maintenance work is specified, it is preferable that the supporter specifies the drawing information to be displayed on the drawing display unit 13A in the first display control. For example, when there are a plurality of drawings corresponding to the specified equipment unit 82, a supporter who is an expert specifies the necessary drawings rather than the case where the maintenance worker 90 selects the necessary drawings from these drawings. As a result, the time required for maintenance work can be shortened.

10…表示装置、11…制御部、13A…図面表示部、13B…ユニット表示部、20…保守作業支援システム、40…図面オブジェクト、50…機器オブジェクト、60…接続ルート。 10 ... Display device, 11 ... Control unit, 13A ... Drawing display unit, 13B ... Unit display unit, 20 ... Maintenance work support system, 40 ... Drawing object, 50 ... Equipment object, 60 ... Connection route.

Claims (12)

複数の部品を含む機器ユニットに関する情報を表示する表示装置を含む保守作業支援システムであって、
前記表示装置は、
前記機器ユニットの図面に関する情報である図面情報を表示する図面表示部と、
前記機器ユニットの実機に関する画像情報である実機画像情報を表示するユニット表示部と、
前記図面表示部および前記ユニット表示部の表示状態を制御する制御部と、を備え、
前記制御部は、
前記図面情報において、前記表示装置を操作する保守作業者によって前記複数の部品のうちの任意の部品が選択された場合に、前記実機画像情報において、前記任意の部品に対応する実機画像情報を特定できるように前記ユニット表示部の表示状態を制御する第1表示制御、および、
前記実機画像情報において、前記表示装置を操作する保守作業者によって前記複数の部品のうちの任意の部品が選択された場合に、前記図面情報において、前記任意の部品に対応する図面情報を特定できるように前記図面表示部の表示状態を制御する第2表示制御、の少なくとも一方を実行する
保守作業支援システム。
A maintenance work support system that includes a display device that displays information about equipment units that include multiple parts.
The display device is
A drawing display unit that displays drawing information that is information related to the drawing of the equipment unit, and a drawing display unit.
A unit display unit that displays actual machine image information, which is image information about the actual machine of the device unit, and
A control unit for controlling the display state of the drawing display unit and the unit display unit is provided.
The control unit
In the drawing information, when an arbitrary part among the plurality of parts is selected by a maintenance worker who operates the display device, the actual machine image information corresponding to the arbitrary part is specified in the actual machine image information. The first display control that controls the display state of the unit display unit, and
When an arbitrary part among the plurality of parts is selected by a maintenance worker who operates the display device in the actual machine image information, the drawing information corresponding to the arbitrary part can be specified in the drawing information. A maintenance work support system that executes at least one of the second display control that controls the display state of the drawing display unit.
ユーザが前記実機画像情報における前記任意の部品と、前記図面情報における前記任意の部品との対応関係を把握できない状況下において、前記制御部は、前記第1表示制御および前記第2表示制御の少なくとも一方を実行する
請求項1に記載の保守作業支援システム。
In a situation where the user cannot grasp the correspondence between the arbitrary component in the actual machine image information and the arbitrary component in the drawing information, the control unit may perform at least the first display control and the second display control. The maintenance work support system according to claim 1, which executes one of them.
複数の部品を含む機器ユニットに関する情報を表示する表示装置を含む保守作業支援システムであって、
前記表示装置は、
前記機器ユニットの図面に関する情報である図面情報を表示する図面表示部と、
前記機器ユニットの実機に関する画像情報である実機画像情報を表示するユニット表示部と、
前記図面表示部および前記ユニット表示部の表示状態を制御する制御部と、を備え、
前記図面情報における前記複数の部品の配置と、前記実機画像情報における前記複数の部品の配置とは、各々の配置の対応関係が異なり、
前記図面情報における前記複数の部品と前記実機画像情報における前記複数の部品とは、対応付けられており、
前記制御部は、
前記図面情報において、前記複数の部品のうちの任意の部品が選択された場合に、前記実機画像情報において、前記任意の部品に対応する実機画像情報を特定できるように前記ユニット表示部の表示状態を制御する第1表示制御、および、
前記実機画像情報において、前記複数の部品のうちの任意の部品が選択された場合に、前記図面情報において、前記任意の部品に対応する図面情報を特定できるように前記図面表示部の表示状態を制御する第2表示制御、の少なくとも一方を実行する
保守作業支援システム。
A maintenance work support system that includes a display device that displays information about equipment units that include multiple parts.
The display device is
A drawing display unit that displays drawing information that is information related to the drawing of the equipment unit, and a drawing display unit.
A unit display unit that displays actual machine image information, which is image information about the actual machine of the device unit, and
A control unit for controlling the display state of the drawing display unit and the unit display unit is provided.
The arrangement of the plurality of parts in the drawing information and the arrangement of the plurality of parts in the actual machine image information differ in the correspondence relationship between the arrangements.
The plurality of parts in the drawing information and the plurality of parts in the actual machine image information are associated with each other.
The control unit
When an arbitrary part among the plurality of parts is selected in the drawing information, the display state of the unit display unit so that the actual machine image information corresponding to the arbitrary part can be specified in the actual machine image information. First display control to control, and
When an arbitrary part among the plurality of parts is selected in the actual machine image information, the display state of the drawing display unit is displayed so that the drawing information corresponding to the arbitrary part can be specified in the drawing information. A maintenance work support system that executes at least one of the second display control to be controlled.
前記ユニット表示部は、前記実機画像情報を実空間と座標系が一致するように規定される仮想空間に表示し、
前記実機画像情報は、前記機器ユニットに含まれる前記複数の部品の相対的な位置関係が一致するように規定される複数の機器オブジェクトを含み、
前記図面情報は、前記複数の部品に対応する複数の図面オブジェクトを含み、
前記機器オブジェクトの前記複数の部品と前記図面オブジェクトの前記複数の部品とは、対応付けられ、
前記制御部は、
前記複数の図面オブジェクトのうちの任意の図面オブジェクトが選択された場合、前記第1表示制御において、前記複数の機器オブジェクトのうちの前記任意の図面オブジェクトと対応する機器オブジェクトを特定できるように前記ユニット表示部の表示状態を制御し、
前記複数の機器オブジェクトのうちの任意の機器オブジェクトが選択された場合、前記第2表示制御において、前記複数の図面オブジェクトのうちの前記任意の機器オブジェクトと対応する図面オブジェクトを特定できるように、前記図面表示部の表示状態を制御する
請求項1〜3のいずれか一項に記載の保守作業支援システム。
The unit display unit displays the actual machine image information in a virtual space defined so that the coordinate system matches the real space.
The actual machine image information includes a plurality of device objects defined so that the relative positional relationships of the plurality of parts included in the device unit match.
The drawing information includes a plurality of drawing objects corresponding to the plurality of parts.
The plurality of parts of the device object and the plurality of parts of the drawing object are associated with each other.
The control unit
When any drawing object among the plurality of drawing objects is selected, the unit can identify the device object corresponding to the arbitrary drawing object among the plurality of device objects in the first display control. Control the display state of the display unit
When any device object among the plurality of device objects is selected, the drawing object corresponding to the arbitrary device object among the plurality of drawing objects can be specified in the second display control. The maintenance work support system according to any one of claims 1 to 3, which controls the display state of the drawing display unit.
前記図面情報は、前記複数の部品の部品名称、および、前記複数の部品のそれぞれに設定される記号の少なくとも一方を含む複数の部品固有情報を含み、
前記制御部は、前記複数の部品固有情報のうちの任意の部品固有情報が選択された場合に、前記第1表示制御において、前記ユニット表示部に表示される前記実機画像情報のうちの前記任意の部品固有情報に対応する部品を特定できるように前記ユニット表示部の表示状態を制御する
請求項1〜4のいずれか一項に記載の保守作業支援システム。
The drawing information includes a plurality of part-specific information including a part name of the plurality of parts and at least one of a symbol set for each of the plurality of parts.
When any component-specific information among the plurality of component-specific information is selected, the control unit performs the arbitrary of the actual machine image information displayed on the unit display unit in the first display control. The maintenance work support system according to any one of claims 1 to 4, which controls the display state of the unit display unit so that the parts corresponding to the parts specific information of the above can be specified.
前記図面情報は、複数の図面を含み、
前記制御部は、前記実機画像情報において前記任意の部品が選択された場合に、前記第2表示制御において、前記複数の図面のうちの前記任意の部品に関連する図面を抽出する
請求項1〜5のいずれか一項に記載の保守作業支援システム。
The drawing information includes a plurality of drawings.
Claims 1 to 1 for which the control unit extracts a drawing related to the arbitrary component among the plurality of drawings in the second display control when the arbitrary component is selected in the actual machine image information. The maintenance work support system according to any one of 5.
前記制御部は、
前記図面情報において、前記複数の部品のうちの任意の部品が選択された場合に、前記実機画像情報において前記任意の部品と接続される接続部品を特定できるように、前記ユニット表示部の表示状態を制御する第3表示制御を実行する
請求項1〜6のいずれか一項に記載の保守作業支援システム。
The control unit
Display state of the unit display unit so that when an arbitrary component among the plurality of components is selected in the drawing information, a connecting component connected to the arbitrary component can be specified in the actual machine image information. The maintenance work support system according to any one of claims 1 to 6, which executes the third display control.
前記制御部は、前記接続部品が選択された場合に、前記第3表示制御において、前記任意の部品、前記接続部品、および、前記任意の部品と前記接続部品との接続ルートを特定できるように、前記ユニット表示部の表示状態を制御する
請求項7に記載の保守作業支援システム。
When the connection component is selected, the control unit can specify the arbitrary component, the connection component, and a connection route between the arbitrary component and the connection component in the third display control. The maintenance work support system according to claim 7, wherein the display state of the unit display unit is controlled.
複数の部品を含む機器ユニットに関する情報を表示する保守作業支援方法であって、
前記機器ユニットの図面に関する情報である図面情報を図面表示部に表示するステップと、
前記機器ユニットの実機に関する画像情報である実機画像情報をユニット表示部に表示するステップと、を備え、
前記図面情報において、前記表示装置を操作する保守作業者によって前記複数の部品のうちの任意の部品が選択された場合に、前記実機画像情報において、前記任意の部品に対応する実機画像情報を特定できるように前記ユニット表示部を表示するステップ、および、
前記実機画像情報において、前記表示装置を操作する保守作業者によって前記複数の部品のうちの任意の部品が選択された場合に、前記図面情報において、前記任意の部品に対応する図面情報を特定できるように前記図面表示部を表示するステップ、の少なくとも一方を実行する
保守作業支援方法。
A maintenance work support method that displays information about equipment units that include multiple parts.
A step of displaying drawing information, which is information about a drawing of the equipment unit, on a drawing display unit, and
A step of displaying the actual machine image information, which is the image information about the actual machine of the device unit, on the unit display unit is provided.
In the drawing information, when an arbitrary part among the plurality of parts is selected by a maintenance worker who operates the display device, the actual machine image information corresponding to the arbitrary part is specified in the actual machine image information. A step of displaying the unit display unit so that the unit can be displayed, and
When an arbitrary part among the plurality of parts is selected by a maintenance worker who operates the display device in the actual machine image information, the drawing information corresponding to the arbitrary part can be specified in the drawing information. A maintenance work support method for executing at least one of the steps of displaying the drawing display unit.
複数の部品を含む機器ユニットに関する情報を表示装置に表示させる保守作業支援プログラムであって、
前記機器ユニットの図面に関する情報である図面情報を図面表示部に表示するステップと、
前記機器ユニットの実機に関する画像情報である実機画像情報をユニット表示部に表示するステップと、をコンピュータに実行させ、
前記図面情報において、前記表示装置を操作する保守作業者によって前記複数の部品のうちの任意の部品が選択された場合に、前記実機画像情報において、前記任意の部品に対応する実機画像情報を特定できるように前記ユニット表示部を表示するステップ、および、
前記実機画像情報において、前記表示装置を操作する保守作業者によって前記複数の部品のうちの任意の部品が選択された場合に、前記図面情報において、前記任意の部品に対応する図面情報を特定できるように前記図面表示部を表示するステップ、の少なくとも一方を前記コンピュータに実行させる
保守作業支援プログラム。
A maintenance work support program that displays information about equipment units that include multiple parts on a display device.
A step of displaying drawing information, which is information about a drawing of the equipment unit, on a drawing display unit, and
The computer is made to execute the step of displaying the actual machine image information, which is the image information about the actual machine of the device unit, on the unit display unit.
In the drawing information, when an arbitrary part among the plurality of parts is selected by a maintenance worker who operates the display device, the actual machine image information corresponding to the arbitrary part is specified in the actual machine image information. A step of displaying the unit display unit so that the unit can be displayed, and
When an arbitrary part among the plurality of parts is selected by a maintenance worker who operates the display device in the actual machine image information, the drawing information corresponding to the arbitrary part can be specified in the drawing information. A maintenance work support program that causes the computer to execute at least one of the steps of displaying the drawing display unit.
複数の部品を含む機器ユニットに関する情報を表示する保守作業支援方法であって、
前記機器ユニットの図面に関する情報である図面情報を図面表示部に表示するステップと、
前記機器ユニットの実機に関する画像情報である実機画像情報をユニット表示部に表示するステップと、を備え、
前記図面情報における前記複数の部品の配置と、前記実機画像情報における前記複数の部品の配置とは、各々の配置の対応関係が異なり、
前記図面情報における前記複数の部品と前記実機画像情報における前記複数の部品とは、対応付けられており、
前記図面情報において、前記複数の部品のうちの任意の部品が選択された場合に、前記実機画像情報において、前記任意の部品に対応する実機画像情報を特定できるように前記ユニット表示部を表示するステップ、および、
前記実機画像情報において、前記複数の部品のうちの任意の部品が選択された場合に、前記図面情報において、前記任意の部品に対応する図面情報を特定できるように前記図面表示部を表示するステップ、の少なくとも一方を実行する
保守作業支援方法。
A maintenance work support method that displays information about equipment units that include multiple parts.
A step of displaying drawing information, which is information about a drawing of the equipment unit, on a drawing display unit, and
A step of displaying the actual machine image information, which is the image information about the actual machine of the device unit, on the unit display unit is provided.
The arrangement of the plurality of parts in the drawing information and the arrangement of the plurality of parts in the actual machine image information differ in the correspondence relationship between the arrangements.
The plurality of parts in the drawing information and the plurality of parts in the actual machine image information are associated with each other.
When an arbitrary part among the plurality of parts is selected in the drawing information, the unit display unit is displayed so that the actual machine image information corresponding to the arbitrary part can be specified in the actual machine image information. Steps and
When an arbitrary part among the plurality of parts is selected in the actual machine image information, the step of displaying the drawing display unit so that the drawing information corresponding to the arbitrary part can be specified in the drawing information. A maintenance work support method that performs at least one of the above.
複数の部品を含む機器ユニットに関する情報を表示装置に表示させる保守作業支援プログラムであって、
前記機器ユニットの図面に関する情報である図面情報を図面表示部に表示するステップと、
前記機器ユニットの実機に関する画像情報である実機画像情報をユニット表示部に表示するステップと、をコンピュータに実行させ、
前記図面情報における前記複数の部品の配置と、前記実機画像情報における前記複数の部品の配置とは、各々の配置の対応関係が異なり、
前記図面情報における前記複数の部品と前記実機画像情報における前記複数の部品とは、対応付けられており、
前記図面情報において、前記複数の部品のうちの任意の部品が選択された場合に、前記実機画像情報において、前記任意の部品に対応する実機画像情報を特定できるように前記ユニット表示部を表示するステップ、および、
前記実機画像情報において、前記複数の部品のうちの任意の部品が選択された場合に、前記図面情報において、前記任意の部品に対応する図面情報を特定できるように前記図面表示部を表示するステップ、の少なくとも一方を前記コンピュータに実行させる
保守作業支援プログラム。
A maintenance work support program that displays information about equipment units that include multiple parts on a display device.
A step of displaying drawing information, which is information about a drawing of the equipment unit, on a drawing display unit, and
The computer is made to execute the step of displaying the actual machine image information, which is the image information about the actual machine of the device unit, on the unit display unit.
The arrangement of the plurality of parts in the drawing information and the arrangement of the plurality of parts in the actual machine image information differ in the correspondence relationship between the arrangements.
The plurality of parts in the drawing information and the plurality of parts in the actual machine image information are associated with each other.
When an arbitrary part among the plurality of parts is selected in the drawing information, the unit display unit is displayed so that the actual machine image information corresponding to the arbitrary part can be specified in the actual machine image information. Steps and
A step of displaying the drawing display unit so that when an arbitrary part among the plurality of parts is selected in the actual machine image information, the drawing information corresponding to the arbitrary part can be specified in the drawing information. A maintenance work support program that causes the computer to execute at least one of the above.
JP2021010629A 2020-03-27 2021-01-26 MAINTENANCE SUPPORT SYSTEM, MAINTENANCE SUPPORT METHOD, AND MAINTENANCE SUPPORT PROGRAM Active JP7149354B2 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020058371 2020-03-27
JP2020058371 2020-03-27

Publications (2)

Publication Number Publication Date
JP2021157781A true JP2021157781A (en) 2021-10-07
JP7149354B2 JP7149354B2 (en) 2022-10-06

Family

ID=77918127

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021010629A Active JP7149354B2 (en) 2020-03-27 2021-01-26 MAINTENANCE SUPPORT SYSTEM, MAINTENANCE SUPPORT METHOD, AND MAINTENANCE SUPPORT PROGRAM

Country Status (1)

Country Link
JP (1) JP7149354B2 (en)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000055815A1 (en) * 1999-03-17 2000-09-21 Fujitsu Limited Cad system and recording medium
JP2009104358A (en) * 2007-10-23 2009-05-14 Honda Motor Co Ltd Wiring display device
JP2011248860A (en) * 2010-04-28 2011-12-08 Ns Solutions Corp Information processing system, and information processing method and program
WO2014097413A1 (en) * 2012-12-19 2014-06-26 株式会社日立製作所 Operation support terminal and operation support system
JP2015032070A (en) * 2013-07-31 2015-02-16 富士通株式会社 Facility ledger preparation support program, facility ledger preparation support method, and facility ledger preparation support apparatus
JP6231169B1 (en) * 2016-07-07 2017-11-15 東芝エレベータ株式会社 BIM system, method and program
JP2018005954A (en) * 2012-07-31 2018-01-11 キヤノンマーケティングジャパン株式会社 Information processing apparatus, control method therefor, and program
JP6362233B1 (en) * 2017-09-26 2018-07-25 株式会社キャプティ Information display system, display device and program for building equipment
JP2018125795A (en) * 2017-02-03 2018-08-09 オリンパス株式会社 Information acquisition device
WO2019176007A1 (en) * 2018-03-14 2019-09-19 三菱電機株式会社 Information processing system, information processing device, and information processing method

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000055815A1 (en) * 1999-03-17 2000-09-21 Fujitsu Limited Cad system and recording medium
JP2009104358A (en) * 2007-10-23 2009-05-14 Honda Motor Co Ltd Wiring display device
JP2011248860A (en) * 2010-04-28 2011-12-08 Ns Solutions Corp Information processing system, and information processing method and program
JP2018005954A (en) * 2012-07-31 2018-01-11 キヤノンマーケティングジャパン株式会社 Information processing apparatus, control method therefor, and program
WO2014097413A1 (en) * 2012-12-19 2014-06-26 株式会社日立製作所 Operation support terminal and operation support system
JP2015032070A (en) * 2013-07-31 2015-02-16 富士通株式会社 Facility ledger preparation support program, facility ledger preparation support method, and facility ledger preparation support apparatus
JP6231169B1 (en) * 2016-07-07 2017-11-15 東芝エレベータ株式会社 BIM system, method and program
JP2018125795A (en) * 2017-02-03 2018-08-09 オリンパス株式会社 Information acquisition device
JP6362233B1 (en) * 2017-09-26 2018-07-25 株式会社キャプティ Information display system, display device and program for building equipment
WO2019176007A1 (en) * 2018-03-14 2019-09-19 三菱電機株式会社 Information processing system, information processing device, and information processing method

Also Published As

Publication number Publication date
JP7149354B2 (en) 2022-10-06

Similar Documents

Publication Publication Date Title
JP4913913B2 (en) Information processing system, information processing method, and program
CN203276350U (en) Information processing apparatus
JP5263049B2 (en) Information processing apparatus, information processing method, and program
KR102289745B1 (en) System and method for real-time monitoring field work
JP2023153815A (en) 3d mapping of process control environment
EP3147738B1 (en) Inspection work support device, inspection work support system, and inspection work support method
JP2015135641A (en) Video indication/synchronization method for superposing indication image on shot dynamic image in synchronism, and system, terminal, and program
JP2019016316A (en) Display system and display control method for display system
EP3822923A1 (en) Maintenance assistance system, maintenance assistance method, program, method for generating processed image, and processed image
CN114363161B (en) Abnormal equipment positioning method, device, equipment and medium
US20160364396A1 (en) Information search system and information search method
JP7149354B2 (en) MAINTENANCE SUPPORT SYSTEM, MAINTENANCE SUPPORT METHOD, AND MAINTENANCE SUPPORT PROGRAM
JP7266422B2 (en) Gaze behavior survey system and control program
CN114567535B (en) Product interaction and fault diagnosis method based on augmented reality
KR20200122754A (en) Smart glass system for providing augmented reality image
US20200242797A1 (en) Augmented reality location and display using a user-aligned fiducial marker
CN111462341A (en) Augmented reality construction assisting method, device, terminal and medium
CN106247933B (en) System based on the mobile control laser tracker of mobile terminal-server architecture
JP7055186B2 (en) Object identification system
US20220012868A1 (en) Maintenance support system, maintenance support method, program, method for generating processed image, and processed image
JP6970774B2 (en) Mobile terminals, methods and programs
KR102467017B1 (en) Method for augmented reality communication between multiple users
KR102409542B1 (en) Method for managing bulding and each floor using remote control of cotrol panel and system for the same
JP5472509B2 (en) Information processing apparatus, information processing method, and information recording medium
KR20170089575A (en) A distribution management system using augment reality

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210202

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20210202

AA64 Notification of invalidation of claim of internal priority (with term)

Free format text: JAPANESE INTERMEDIATE CODE: A241764

Effective date: 20210330

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210405

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210706

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210906

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20211116

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20220216

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20220628

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20220802

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20220906

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20220906

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220926

R150 Certificate of patent or registration of utility model

Ref document number: 7149354

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150