JP2020035280A - Inspection work support device, inspection work support system, and inspection work support method - Google Patents

Inspection work support device, inspection work support system, and inspection work support method Download PDF

Info

Publication number
JP2020035280A
JP2020035280A JP2018162602A JP2018162602A JP2020035280A JP 2020035280 A JP2020035280 A JP 2020035280A JP 2018162602 A JP2018162602 A JP 2018162602A JP 2018162602 A JP2018162602 A JP 2018162602A JP 2020035280 A JP2020035280 A JP 2020035280A
Authority
JP
Japan
Prior art keywords
work
information
worker
unit
augmented reality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018162602A
Other languages
Japanese (ja)
Other versions
JP7113702B2 (en
Inventor
恵理 北側
Eri Kitagawa
恵理 北側
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2018162602A priority Critical patent/JP7113702B2/en
Publication of JP2020035280A publication Critical patent/JP2020035280A/en
Application granted granted Critical
Publication of JP7113702B2 publication Critical patent/JP7113702B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

To provide an inspection work support device, an inspection work support system, and an inspection work support system which can provide a worker with information for performing appropriate work adjustment.SOLUTION: An inspection work support device 1 comprises a work information provision unit 43, an information acquisition unit 44, a list update unit 45 and an update information provision unit 46. The work information provision unit 43 transmits information on work items included in a work list to an augmented reality device 2 of each of a plurality of workers including a first worker and a second worker. The information acquisition unit 44 acquires input information including information showing a work situation of the first worker from an input device 3 of the first worker. The list update unit 45 updates the work list by associating work situation information showing the work situation of the first worker with information on the work items on the basis of the input information acquired by the information acquisition unit 44. The update information provision unit 46 transmits the work situation information included in the work list updated by the list update unit 45 to the augmented reality device 2 of the second worker.SELECTED DRAWING: Figure 2

Description

本発明は、複数の作業員による機器の点検作業を支援する点検作業支援装置、点検作業支援システム、および点検作業支援方法に関する。   The present invention relates to an inspection work support device, an inspection work support system, and an inspection work support method that support a plurality of workers to perform an inspection work on equipment.

従来、作業員が行う機器の点検作業を、拡張現実技術を用いて支援する方法が提案されている。例えば、特許文献1には、点検作業の内容を示す作業内容情報と点検作業のスケジュールを示すスケジュール情報とを含む作業情報を取得し、スケジュール情報と現時刻とに基づいて、作業内容情報が示す作業の内容の画像をヘッドマウント装置で表示する技術が提案されている。   2. Description of the Related Art Conventionally, there has been proposed a method of supporting a device inspection operation performed by a worker using augmented reality technology. For example, in Patent Literature 1, work information including work content information indicating the contents of an inspection work and schedule information indicating a schedule of an inspection work is acquired, and the work content information indicates based on the schedule information and the current time. There has been proposed a technique of displaying an image of a work content on a head mount device.

特開2017−167991号公報JP-A-2017-167991

しかしながら、上記従来の技術では、予め設定されたスケジュールに沿って作業内容が作業員に示されるものの、作業員は、他の作業員の実際の作業状況を把握することができず、作業員によって適切な作業調整を行うことができない可能性がある。   However, in the above-mentioned conventional technology, although the work content is shown to the worker according to a preset schedule, the worker cannot grasp the actual work situation of other workers, and Appropriate work adjustment may not be possible.

本発明は、上記に鑑みてなされたものであって、作業員に適切な作業調整を行うための情報を提供することができる点検作業支援装置を得ることを目的とする。   The present invention has been made in view of the above, and an object of the present invention is to provide an inspection work support device that can provide information for performing an appropriate work adjustment to a worker.

上述した課題を解決し、目的を達成するために、本発明の点検作業支援装置は、記憶部と、作業情報提供部と、情報取得部と、リスト更新部と、更新情報提供部とを備える。記憶部は、第1作業員と第2作業員とを含む複数の作業員による点検作業の対象である機器の作業項目がリスト化された情報を含む作業リストを記憶する。作業情報提供部は、作業リストに含まれる作業項目の情報を記憶部から取得し、取得した作業項目の情報を複数の作業員の各々の拡張現実デバイスへ送信する。情報取得部は、第1作業員の作業状況を示す情報を含む入力情報を第1作業員の入力デバイスから取得する。リスト更新部は、情報取得部によって取得された入力情報に基づいて、作業項目の情報に第1作業員の作業状況を示す作業状況情報を関連付けて作業リストを更新する。更新情報提供部は、リスト更新部によって更新された作業リストに含まれる作業状況情報を第2作業員の拡張現実デバイスへ送信する。   In order to solve the above-described problems and achieve the object, an inspection work support device of the present invention includes a storage unit, a work information provision unit, an information acquisition unit, a list update unit, and an update information provision unit. . The storage unit stores a work list including information in which work items of devices to be inspected by a plurality of workers including a first worker and a second worker are listed. The work information providing unit obtains information on the work items included in the work list from the storage unit, and transmits the obtained information on the work items to the augmented reality devices of the plurality of workers. The information acquisition unit acquires input information including information indicating the work status of the first worker from the input device of the first worker. The list update unit updates the work list by associating the work item information with work status information indicating the work status of the first worker based on the input information acquired by the information acquisition unit. The update information providing unit transmits the work status information included in the work list updated by the list update unit to the second worker's augmented reality device.

本発明によれば、作業員に適切な作業調整を行うための情報を提供することができる、という効果を奏する。   ADVANTAGE OF THE INVENTION According to this invention, there exists an effect that the information for performing an appropriate work adjustment to an operator can be provided.

本発明の実施の形態1にかかる点検作業支援システムの構成例を示す図The figure which shows the example of a structure of the inspection work support system concerning Embodiment 1 of this invention. 実施の形態1にかかる点検作業支援装置、拡張現実デバイス、および入力デバイスの構成例を示す図FIG. 2 is a diagram illustrating a configuration example of an inspection work support device, an augmented reality device, and an input device according to the first embodiment. 実施の形態1にかかる作業リストの一例を示す図FIG. 6 is a diagram illustrating an example of a work list according to the first embodiment. 実施の形態1にかかる作業スケジュール情報の一例を示す図FIG. 6 is a diagram illustrating an example of work schedule information according to the first embodiment; 実施の形態1にかかる拡張現実デバイスによって作業員に視認可能に提示される画像の一例を示す図The figure which shows an example of the image presented visually to the worker by the augmented reality device according to the first embodiment. 実施の形態1にかかる拡張現実デバイスによって作業員に視認可能に提示される画像の一例を示す図The figure which shows an example of the image presented visually to the worker by the augmented reality device according to the first embodiment. 実施の形態1にかかる拡張現実デバイスによって作業員に視認可能に提示される画像の他の例を示す図FIG. 9 is a diagram showing another example of an image visually presented to a worker by the augmented reality device according to the first embodiment. 実施の形態1にかかる拡張現実デバイスによって作業員に視認可能に提示される画像の他の例を示す図FIG. 9 is a diagram showing another example of an image visually presented to a worker by the augmented reality device according to the first embodiment. 実施の形態1にかかる拡張現実デバイスによって作業員に視認可能に提示される画像の他の例を示す図FIG. 9 is a diagram showing another example of an image visually presented to a worker by the augmented reality device according to the first embodiment. 実施の形態1にかかる拡張現実デバイスによって作業員に視認可能に提示される画像の他の例を示す図FIG. 9 is a diagram showing another example of an image visually presented to a worker by the augmented reality device according to the first embodiment. 実施の形態1にかかる点検作業支援装置の処理の一例を示すフローチャート5 is a flowchart illustrating an example of a process performed by the inspection work support device according to the first embodiment; 実施の形態1にかかる作業情報提供処理の一例を示すフローチャート5 is a flowchart illustrating an example of a work information providing process according to the first embodiment; 実施の形態1にかかる入力情報処理の一例を示すフローチャート4 is a flowchart illustrating an example of input information processing according to the first embodiment; 実施の形態1にかかる点検作業支援装置のハードウェア構成の一例を示す図FIG. 2 is a diagram illustrating an example of a hardware configuration of an inspection work support device according to the first embodiment. 本発明の実施の形態2にかかる点検作業支援システムおよび端末装置の構成例を示す図FIG. 4 is a diagram illustrating a configuration example of an inspection work support system and a terminal device according to a second embodiment of the present invention. 実施の形態2にかかる端末装置の表示部に表示される機器リスト表示画面の一例を示す図FIG. 9 is a diagram showing an example of a device list display screen displayed on a display unit of the terminal device according to the second embodiment. 実施の形態2にかかる機器リスト表示画面に選択された機器の作業リストが表示された状態を示す図The figure which shows the state in which the work list of the selected apparatus was displayed on the apparatus list display screen concerning Embodiment 2. 実施の形態2にかかる作業項目の優先度を変更するための操作の一例を示す図FIG. 14 is a diagram illustrating an example of an operation for changing the priority of a work item according to the second embodiment. 実施の形態2にかかる点検作業支援装置の処理の一例を示すフローチャート11 is a flowchart illustrating an example of processing of the inspection work support device according to the second embodiment. 実施の形態2にかかる優先度変更処理の一例を示すフローチャート9 is a flowchart illustrating an example of a priority change process according to the second embodiment.

以下に、本発明の実施の形態にかかる点検作業支援装置、点検作業支援システム、および点検作業支援方法を図面に基づいて詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。   Hereinafter, an inspection work support device, an inspection work support system, and an inspection work support method according to an embodiment of the present invention will be described in detail with reference to the drawings. The present invention is not limited by the embodiment.

実施の形態1.
図1は、本発明の実施の形態1にかかる点検作業支援システムの構成例を示す図である。図1に示すように、実施の形態1にかかる点検作業支援システム100は、作業員U,U,・・・,Uによる機器5,5,・・・,5の点検作業を支援する点検作業支援装置1と、拡張現実デバイス2,2,・・・,2と、入力デバイス3,3,・・・,3とを備える。n,mは3以上の整数である。
Embodiment 1 FIG.
FIG. 1 is a diagram illustrating a configuration example of the inspection work support system according to the first embodiment of the present invention. As shown in FIG. 1, inspection work support system 100 according to the first embodiment, operator U 1, U 2, · · ·, 1 device 5 by U n, 5 2, · · ·, inspection of 5 m provided with inspection support apparatus 1 to support the work, augmented reality device 2 1, 2 2, ..., and 2 n, the input device 3 1, 3 2, ..., and 3 n. n and m are integers of 3 or more.

点検作業支援装置1は、拡張現実デバイス2,2,・・・,2および入力デバイス3,3,・・・,3とネットワーク4を介して通信可能に接続される。ネットワーク4は、例えば、インターネットなどのWAN(Wide Area Network)またはLAN(Local Area Network)である。 Inspection support apparatus 1, the augmented reality device 2 1, 2 2, ..., 2 n and the input device 3 1, 3 2, ... are communicatively connected via a 3 n and the network 4. The network 4 is, for example, a WAN (Wide Area Network) such as the Internet or a LAN (Local Area Network).

作業員Uは、拡張現実デバイス2および入力デバイス3を使用し、作業員Uは、拡張現実デバイス2および入力デバイス3を使用し、作業員Uは、拡張現実デバイス2および入力デバイス3を使用する。 Operator U 1 uses the augmented reality device 2 1 and the input device 3 1, the operator U 2, using the augmented reality device 2 2 and the input device 3 2, the operator U n, augmented reality devices 2 n and the input device 3n .

以下、拡張現実デバイス2,2,・・・,2の各々を区別せずに示す場合、拡張現実デバイス2と記載し、入力デバイス3,3,・・・,3の各々を区別せずに示す場合、入力デバイス3と記載する。また、作業員U,U,・・・,Uの各々を区別せずに示す場合、作業員Uと記載し、機器5,5,・・・,5の各々を区別せずに示す場合、機器5と記載する。 Hereinafter, the augmented reality device 2 1, 2 2,..., The case shown without distinction each 2 n, and wherein the augmented reality device 2, input device 3 1, 3 2, ..., of 3 n When each is shown without distinction, it is described as an input device 3. Also, operator U 1, U 2, ..., the case shown without distinction each U n, and wherein the operator U, device 5 1, 5 2, ..., distinguished from each other 5 m If not shown, it is described as device 5.

拡張現実デバイス2は、外景に種々の画像を重畳して作業員Uに視認させることができる。図1に示す拡張現実デバイス2は、作業員Uの頭部に装着されるスマートグラスであるが、拡張現実デバイス2は、作業員Uが携帯するタブレット端末であってもよい。また、図1に示す入力デバイス3は、作業員Uの頭部に装着されるヘッドセットであるが、入力デバイス3は、作業員Uが携帯するタブレット端末であってもよい。   The augmented reality device 2 allows the worker U to visually recognize various images superimposed on the outside scenery. Although the augmented reality device 2 illustrated in FIG. 1 is a smart glass worn on the head of the worker U, the augmented reality device 2 may be a tablet terminal carried by the worker U. Although the input device 3 illustrated in FIG. 1 is a headset worn on the head of the worker U, the input device 3 may be a tablet terminal carried by the worker U.

図2は、実施の形態1にかかる点検作業支援装置、拡張現実デバイス、および入力デバイスの構成例を示す図である。図2に示すように、拡張現実デバイス2は、通信部20と、表示部21と、撮像部22と、制御部23とを備える。通信部20は、ネットワーク4と通信可能に接続される。制御部23は、通信部20およびネットワーク4を介して点検作業支援装置1と情報の送受信を行うことができる。   FIG. 2 is a diagram illustrating a configuration example of an inspection work support device, an augmented reality device, and an input device according to the first embodiment. As illustrated in FIG. 2, the augmented reality device 2 includes a communication unit 20, a display unit 21, an imaging unit 22, and a control unit 23. The communication unit 20 is communicably connected to the network 4. The control unit 23 can transmit and receive information to and from the inspection work support device 1 via the communication unit 20 and the network 4.

表示部21は、制御部23から出力される画像情報に基づく画像を外景に重畳して作業員Uに視認させる拡張現実表示部である。撮像部22は、作業員Uの前方を撮像し、作業員Uの前方の映像の情報である映像情報を制御部23に出力する。制御部23は、撮像部22から出力される映像情報を取得し、取得した映像情報を通信部20から点検作業支援装置1へ送信する。また、制御部23は、点検作業支援装置1からの情報を通信部20経由で取得し、取得した情報に基づく画像を表示部21によって作業員Uに視認させる。   The display unit 21 is an augmented reality display unit that superimposes an image based on the image information output from the control unit 23 on the outside scene and allows the worker U to visually recognize the image. The imaging unit 22 captures an image of the front of the worker U, and outputs video information that is information of a video in front of the worker U to the control unit 23. The control unit 23 acquires the video information output from the imaging unit 22, and transmits the acquired video information from the communication unit 20 to the inspection work support device 1. In addition, the control unit 23 acquires information from the inspection work support device 1 via the communication unit 20, and causes the worker based on the acquired information to visually recognize an image based on the acquired information.

入力デバイス3は、ネットワーク4と通信可能に接続される通信部30と、作業員Uの操作を受け付ける入力部31とを備える。作業員Uの操作によって入力部31に受け付けられた情報である入力情報は、通信部30からネットワーク4を介して点検作業支援装置1へ送信される。入力部31がマイクである場合、入力情報は、作業員Uの音声情報であり、入力部31がキーボードである場合、入力情報は文字情報である。   The input device 3 includes a communication unit 30 that is communicably connected to the network 4 and an input unit 31 that receives an operation of the worker U. Input information, which is information received by the input unit 31 by the operation of the worker U, is transmitted from the communication unit 30 to the inspection work support device 1 via the network 4. When the input unit 31 is a microphone, the input information is voice information of the worker U, and when the input unit 31 is a keyboard, the input information is character information.

点検作業支援装置1は、通信部10と、記憶部11と、制御部12とを備える。通信部10は、ネットワーク4と通信可能に接続される。記憶部11は、作業リスト60、作業スケジュール情報61、および映像情報62などを記憶する。作業リスト60には、各機器5の作業項目がリスト化された情報が含まれる。また、作業スケジュール情報61には、各機器5に対する点検作業のスケジュールを示す情報が含まれる。映像情報62には、拡張現実デバイス2の撮像部22から出力される映像情報が含まれる。   The inspection work support device 1 includes a communication unit 10, a storage unit 11, and a control unit 12. The communication unit 10 is communicably connected to the network 4. The storage unit 11 stores a work list 60, work schedule information 61, video information 62, and the like. The work list 60 includes information in which the work items of each device 5 are listed. Further, the work schedule information 61 includes information indicating a schedule of an inspection work for each device 5. The video information 62 includes video information output from the imaging unit 22 of the augmented reality device 2.

図3は、実施の形態1にかかる作業リストの一例を示す図である。図3に示す作業リスト60は、「項目ID(Identifier)」毎に、「機器名」、「作業項目」、「優先度」、「セット項目ID」、「作業時間」、「禁止項目ID」、「作業状況」、および「作業員」を関連付けた情報を含む。なお、「作業状況」および「作業員」は、作業員Uの入力デバイス3から送信される入力情報に基づいて設定される。   FIG. 3 is a diagram illustrating an example of a work list according to the first embodiment. The work list 60 shown in FIG. 3 includes “device name”, “work item”, “priority”, “set item ID”, “work time”, and “prohibited item ID” for each “item ID (Identifier)”. , “Work status”, and “worker”. The “work status” and “worker” are set based on input information transmitted from the input device 3 of the worker U.

「項目ID」は、作業対象の内容を示す作業項目の識別情報である。「機器名」は、対象作業がどの機器5への点検作業であるかを示す情報、すなわち作業対象機器を示す情報である。図3に示す例では、機器名「盤001」の機器5は、機器5であり、機器名「盤002」の機器5は、機器5である。なお、図3では、機器5は配電盤であるが、機器5は、点検対象になる機器であればよく、配電盤に限定されない。 “Item ID” is identification information of a work item indicating the content of the work target. The “device name” is information indicating to which device 5 the target work is an inspection work, that is, information indicating the work target device. In the example shown in FIG. 3, the device 5 of the device name "panel 001", a device 5 1, device name appliance 5 of the "board 002 'is a device 5 2. In FIG. 3, the device 5 is a switchboard, but the device 5 may be any device to be inspected, and is not limited to a switchboard.

「作業項目」は、作業対象の内容を示す作業項目の情報である。図3に示す例では、項目ID「I001」の「作業項目」は、「盤内、盤面の汚れ有無」であり、項目ID「I002」の「作業項目」は、「メータの汚れ有無」である。   “Work item” is information on a work item indicating the content of a work target. In the example shown in FIG. 3, the “work item” of the item ID “I001” is “whether the inside of the board and the board surface are dirty”, and the “work item” of the item ID “I002” is “whether the meter is dirty”. is there.

「優先度」は、対象作業の優先度を示す情報であり、拡張現実デバイス2への表示順を決定するパラメータである。かかる優先度が小さいほど優先度が高い。図3に示す例では、例えば、項目ID「I001」に関連付けられた「優先度」は「1」であるため、項目ID「I001」の作業項目は最も優先度が高い。また、項目ID「I002」に関連付けられた「優先度」は「2」であるため、項目ID「I002」の作業項目は2番目に優先度が高い。   The “priority” is information indicating the priority of the target work, and is a parameter that determines the display order on the augmented reality device 2. The lower the priority, the higher the priority. In the example illustrated in FIG. 3, for example, since the “priority” associated with the item ID “I001” is “1”, the work item with the item ID “I001” has the highest priority. Also, since the “priority” associated with the item ID “I002” is “2”, the work item with the item ID “I002” has the second highest priority.

「セット項目ID」は、作業で扱う計測器の種類が互いに同じなどの理由により、対象作業とまとめて行うべき別の作業の項目IDを示す情報である。図3に示す例では、例えば、項目ID「I001」の作業項目には、セット項目ID「I002」が関連付けられており、項目ID「I002」の作業項目には、セット項目ID「I001」が関連付けられている。したがって、図3に示す例では、項目ID「I001」の対象作業と項目ID「I002」の対象作業とはまとめて行うべき作業として設定されていることを示している。   The “set item ID” is information indicating an item ID of another work to be performed collectively with the target work because the types of measuring instruments handled in the work are the same. In the example illustrated in FIG. 3, for example, the work item with the item ID “I001” is associated with the set item ID “I002”, and the work item with the item ID “I002” has the set item ID “I001”. Associated. Therefore, the example shown in FIG. 3 indicates that the target work of item ID “I001” and the target work of item ID “I002” are set as work to be performed collectively.

「作業時間」は、対象作業に要するおおよその時間を示す情報、すなわち、作業時間の目安である作業時間目安を示す情報である。図3に示す例では、例えば、項目ID「I001」の作業時間目安は、「20分」であり、項目ID「I002」の作業時間目安は、「10分」である。   “Work time” is information indicating an approximate time required for the target work, that is, information indicating a work time guide which is a guide of the work time. In the example illustrated in FIG. 3, for example, the estimated work time of the item ID “I001” is “20 minutes”, and the estimated work time of the item ID “I002” is “10 minutes”.

「禁止項目ID」は、対象作業と同時作業が禁止される他の作業の項目IDを示す情報である。図3に示す例では、項目ID「I001」に関連付られた禁止項目IDは、「I005,I006,I007」であり、項目ID「I001」の対象作業と同時作業が禁止されている他の作業が、項目ID「I005,I006,I007」の作業であることを示している。   The “prohibited item ID” is information indicating an item ID of another work for which simultaneous work with the target work is prohibited. In the example illustrated in FIG. 3, the prohibited item ID associated with the item ID “I001” is “I005, I006, I007”, and other prohibited items whose simultaneous work with the target work of the item ID “I001” is prohibited. This indicates that the work is the work of the item ID “I005, I006, I007”.

「作業状況」は、対象作業における作業員Uの作業状況を示す作業状況情報である。図3に示す例では、作業員Uが対象作業を開始している場合、作業状況は「作業中」であり、作業員Uが対象作業を完了している場合、作業状況は「完了」であり、作業員Uが対象作業を開始していない場合、作業状況は「未着手」である。   “Work status” is work status information indicating the work status of the worker U in the target work. In the example illustrated in FIG. 3, when the worker U has started the target work, the work status is “working”, and when the worker U has completed the target work, the work status is “completed”. If the worker U has not started the target work, the work status is “not started”.

「作業員」は、対象作業を開始または完了した作業員Uを示す作業員情報である。図3に示す例では、項目ID「I001」には、「作業員U」が関連付けられており、項目ID「I003」には、「作業員U」が関連付けられている。したがって、図3に示す例では、項目ID「I001」の対象作業は作業員Uが担当であり、項目ID「I003」の対象作業は作業員Uが担当であることを示している。 “Worker” is worker information indicating the worker U that has started or completed the target work. In the example illustrated in FIG. 3, the item ID “I001” is associated with “operator U 1 ”, and the item ID “I003” is associated with “operator U 2 ”. Thus, in the example shown in FIG. 3, the target work item ID "I001" is responsible worker U 1, the target work item ID "I003" indicates that the operator U 2 in charge.

図4は、実施の形態1にかかる作業スケジュール情報の一例を示す図である。図4に示す作業スケジュール情報61は、「作業期間」毎に、「作業グループ」、「作業員」、および「機器名」を関連付けた情報を含む。   FIG. 4 is a diagram illustrating an example of work schedule information according to the first embodiment. The work schedule information 61 illustrated in FIG. 4 includes information in which “work group”, “worker”, and “equipment name” are associated for each “work period”.

「作業期間」は、作業期間を示す情報である。「作業グループ」は、点検作業を一緒に行う複数の作業員Uが属するグループを示す情報である。「作業員」は、作業員Uを示す情報である。「機器名」は、機器5の名称を示す情報である。図4に示す例では、機器名「盤001」,「盤003」の機器5は、作業員U,Uのグループによって作業される予定であることを示し、機器名「盤002」,「盤004」の機器5は、作業員U,Uのグループによって作業される予定であることを示している。 “Work period” is information indicating a work period. “Work group” is information indicating a group to which a plurality of workers U who perform inspection work together belong. “Worker” is information indicating the worker U. “Device name” is information indicating the name of the device 5. In the example illustrated in FIG. 4, the device 5 having the device names “panel 001” and “panel 003” is scheduled to be worked by a group of the workers U 1 and U 2 , and the device names “panel 002” and “panel 002”. The device 5 of the “board 004” indicates that the work is to be performed by a group of the workers U 3 and U 4 .

図2に戻って、制御部12の説明を続ける。図2に示すように、制御部12は、映像取得部41と、特定部42と、作業情報提供部43と、情報取得部44と、リスト更新部45と、更新情報提供部46と、作業禁止通知部47と、映像提供部48と、周辺情報提供部49とを備える。   Returning to FIG. 2, the description of the control unit 12 will be continued. As illustrated in FIG. 2, the control unit 12 includes a video acquisition unit 41, a specification unit 42, a work information provision unit 43, an information acquisition unit 44, a list update unit 45, an update information provision unit 46, A prohibition notifying unit 47, a video providing unit 48, and a peripheral information providing unit 49 are provided.

映像取得部41は、各作業員Uが有する拡張現実デバイス2に設けられた撮像部22が撮像した映像の情報をネットワーク4経由で拡張現実デバイス2から取得する。   The video acquisition unit 41 acquires information on video captured by the imaging unit 22 provided in the augmented reality device 2 of each worker U from the augmented reality device 2 via the network 4.

特定部42は、映像取得部41によって取得された映像の情報に基づいて、映像に含まれる機器5を特定することができる。機器5の特定は、例えば、ディープラーニングによる画像認識によって行われる。例えば、特定部42は、機器5毎の畳み込みニューラルネットワークを有しており、映像取得部41によって取得された映像の情報を機器5毎の畳み込みニューラルネットワークに入力することで、映像に含まれる機器5を特定することができる。なお、特定部42は、畳み込みニューラルネットワーク以外の計算モデルに基づいて機器5の特定を行ったり、画像テンプレートを用いたマッチング処理によって機器5の特定を行ったりすることもできる。   The specifying unit 42 can specify the device 5 included in the video based on the information of the video obtained by the video obtaining unit 41. The specification of the device 5 is performed, for example, by image recognition by deep learning. For example, the specifying unit 42 has a convolutional neural network for each device 5, and inputs the information of the video acquired by the video acquisition unit 41 to the convolutional neural network for each device 5, so that the device included in the video is 5 can be specified. The specifying unit 42 may specify the device 5 based on a calculation model other than the convolutional neural network, or may specify the device 5 by a matching process using an image template.

作業情報提供部43は、特定部42によって特定された機器5の作業リストに含まれる作業項目の情報、作業状況を示す作業状況情報、および作業員Uを示す作業員情報を記憶部11から取得する。例えば、作業リスト60が図3に示す状態であり、特定部42によって特定された機器5が機器5であるとする。この場合、作業情報提供部43は、特定された機器5の情報と、機器5の機器名「盤001」に各々関連付けられた作業項目の情報、作業状況を示す作業状況情報、および作業員Uを示す作業員情報を記憶部11から取得する。 The work information providing unit 43 acquires from the storage unit 11 the information on the work items included in the work list of the device 5 specified by the specifying unit 42, the work status information indicating the work status, and the worker information indicating the worker U from the storage unit 11. I do. For example, the working list 60 is in the state shown in FIG. 3, the apparatus 5 identified by the identifying unit 42 and a device 5 1. In this case, work information providing unit 43, the working status information indicating the information of the device 5 identified, work items, each associated with a device 5 first device name "panel 001" information, the working situation, and workers The worker information indicating U is acquired from the storage unit 11.

また、作業情報提供部43は、特定部42によって特定された機器5に必要な複数の点検作業のうち作業状況が作業中または未着手である作業項目の作業時間目安から、現在時刻からの作業必要時間を演算する。作業情報提供部43は、演算した作業必要時間を現在時刻に加算することで、機器5に対する作業が完了すると予測される時刻である作業完了時刻を求める。作業情報提供部43は、記憶部11から取得した機器5の情報、作業項目の情報、作業状況を示す作業状況情報、作業員Uを示す作業員情報、および演算した作業完了時刻の情報を含む作業情報を拡張現実デバイス2へ送信する。   In addition, the work information providing unit 43 performs the work from the current time based on the estimated work time of the work item whose work status is “working” or “not yet started” among a plurality of inspection works required for the device 5 specified by the specifying unit 42. Calculate the required time. The work information providing unit 43 obtains the work completion time, which is the time at which the work on the device 5 is predicted to be completed, by adding the calculated required work time to the current time. The work information providing unit 43 includes information on the device 5 obtained from the storage unit 11, information on work items, work status information indicating the work status, worker information indicating the worker U, and information on the calculated work completion time. The work information is transmitted to the augmented reality device 2.

図5および図6は、実施の形態1にかかる拡張現実デバイスによって作業員に視認可能に提示される画像の一例を示す図である。図5は、特定部42によって特定された機器5が機器5であり、且つ作業リスト60が図3に示す状態である場合に、拡張現実デバイス2によって作業員Uに視認可能に提示される画像の一例を示す。また、図6は、特定部42によって特定された機器5が機器5であり、且つ作業リスト60が図3に示す状態である場合に、拡張現実デバイス2によって作業員Uに視認可能に提示される画像の一例を示す。 FIG. 5 and FIG. 6 are diagrams illustrating an example of an image visually presented to a worker by the augmented reality device according to the first embodiment. Figure 5 is device 5 identified by the identifying unit 42 is a device 5 1, and if the working list 60 is in the state shown in FIG. 3, visibly presented to operator U 1 by the augmented reality device 2 1 1 shows an example of an image to be displayed. Also, FIG. 6, the device 5 identified by the identifying unit 42 is a device 5 1, and if the working list 60 is in the state shown in FIG. 3, visible on the operator U 2 by the augmented reality device 2 2 1 shows an example of an image presented in FIG.

まず、拡張現実デバイス2による表示について説明する。図5に示すように、拡張現実デバイス2によって、機器名「盤001」の機器5の作業項目の情報を含む作業リスト画像70が外景に重畳された状態で作業員Uに視認可能に提示される。作業リスト画像70には、機器情報71と、作業情報72〜75とが含まれる。 First, a description will be given of a display according to the augmented reality device 2 1. As shown in FIG. 5, the augmented reality device 2 1, visible in operator U 1 in a state where the work list image 70 including information of the work items of equipment 5 first device name "panel 001" is superimposed on the outside scene To be presented. The work list image 70 includes device information 71 and work information 72 to 75.

機器情報71には、特定された機器5の情報と作業完了時刻の情報とが含まれている。図5に示す機器情報71には、機器5の情報として「盤001」と、作業完了時刻の情報として「10:10」とが含まれる。作業情報72は、作業員Uが作業を完了した作業項目「盤内、盤面の汚れ有無」の情報と作業を完了したことを示す作業状況情報とを含む。作業情報73は、作業員Uが作業中の作業項目「メータの汚れ有無」の情報と作業中であることを示す作業状況情報とを含む。なお、作業中の作業項目とは、作業員Uが実行している作業の作業項目を意味し、作業を完了した作業項目とは、作業員Uが完了した作業の作業項目を意味する。 The device information 71 includes the information of the operation completion time and the identified equipment 5 1 information. The device information 71 shown in FIG. 5, the "board 001" as the information of the device 5 1, includes a "10:10" as the information of the operation completion time. Work information 72 includes a work status information indicating that the operator U 1 work items completing the task has been completed the information and tasks "in the panel, dirt presence of board". Work information 73 includes a work status information indicating that the operator U 1 is working and the work item information of "dirty whether meter" in the work. The work item being worked means the work item of the work being performed by the worker U, and the work item having completed the work means the work item of the work completed by the worker U.

作業情報74は、作業員Uが作業中の作業項目「配線の確認」の情報と、作業員Uを示す作業員情報と、作業中であることを示す作業状況情報とを含む。作業情報75は、作業員Uが作業中の作業項目「配線の確認」の項目ID「I003」のセット項目IDとして設定されている項目ID「I004」の作業項目「絶縁抵抗値測定」の情報を含む。 Work information 74 includes information of work items in the work worker U 2 "Checking wiring", the operator information indicating the operator U 2, and a working status information indicating that it is working. Work information 75, workers work item U 2 item ID "I004" set as a set item ID of the item ID "I003" work item in the work "Checking wiring" of the "insulation resistance measurement" Contains information.

図5に示す例では、作業情報72〜75は、優先度順に配列されている。また、作業情報72,73の組と作業情報74,75の組の各々は、セット項目IDで互いに関連付けられていることがわかるように図5に示す例では、太枠で囲われている。なお、図5に示す例では、作業情報の組を太枠で区別可能に表示しているが、背景色、文字色、またはフォントなどによって作業情報の組を区別可能に表示してもよい。   In the example shown in FIG. 5, the work information 72 to 75 are arranged in order of priority. Further, in the example shown in FIG. 5, each set of work information 72 and 73 and each set of work information 74 and 75 are surrounded by a thick frame so that it can be seen that they are associated with each other by the set item ID. In the example shown in FIG. 5, the set of work information is displayed in a bold frame so as to be distinguishable, but the set of work information may be displayed in a distinguishable manner by a background color, a character color, a font, or the like.

次に、拡張現実デバイス2による表示について説明する。図6に示すように、拡張現実デバイス2によって、機器名「盤001」の機器5の作業項目の情報を含む作業リスト画像80が外景に重畳された状態で作業員Uに視認可能に提示される。作業リスト画像80には、機器情報81と、作業情報82〜85とが含まれる。機器情報81は、図5に示す機器情報71と同じである。 Next, a description will be given of a display according to the augmented reality device 2 2. As shown in FIG. 6, the augmented reality device 2 2, visible to the operator U 2 in a state where the work list image 80 including information of the work items of equipment 5 first device name "panel 001" is superimposed on the outside scene To be presented. The work list image 80 includes device information 81 and work information 82 to 85. The device information 81 is the same as the device information 71 shown in FIG.

作業情報82は、作業員Uが作業中の作業項目「配線の確認」の情報と、作業中であることを示す作業状況情報とを含む。作業情報83は、作業員Uが作業中の作業項目「配線の確認」の項目ID「I003」のセット項目IDとして設定されている項目ID「I004」の作業項目「絶縁抵抗値測定」の情報である。作業情報84は、作業員Uが作業を完了した作業項目「盤内、盤面の汚れ有無」の情報と、作業員Uを示す作業員情報と、作業が完了したことを示す作業状況情報とを含む。作業情報85は、作業員Uが作業中の作業項目「メータの汚れ有無」の情報と、作業員Uを示す作業員情報と、作業中であることを示す作業状況情報とを含む。 Work information 82 includes a work item "Checking wiring" information in the work worker U 2, and a working status information indicating that it is working. Work information 83, workers work item U 2 item ID "I004" set as a set item ID of the item ID "I003" work item in the work "Checking wiring" of the "insulation resistance measurement" Information. Work information 84, the operator U 1 work items you have completed the work and information "in the panel, dirt presence or absence of the board", and the worker information indicating the worker U 1, work status information indicating that the work has been completed And Work information 85 includes information of work items in the work worker U 1 "dirty whether the meter", the operator information indicating the operator U 1, and work status information indicating that it is working.

図6に示す例では、作業員Uが作業中または着手予定の作業項目を示す作業情報82,83が優先度順に配列され、その下方に、作業員Uが作業完了または作業中の作業項目を示す作業情報84,85が優先度順に配列される。なお、着手予定の作業項目とは、作業員U自身の作業完了または作業中の作業項目の項目IDのセット項目IDとして設定されている項目IDの作業項目であって未着手の作業項目である。 In the example shown in FIG. 6, the work information 82 and 83 worker U 2 shows the work items in the working or undertake scheduled are arranged in order of priority, in its lower, working worker U 1 is in the operation completion or work Work information 84 and 85 indicating items are arranged in order of priority. The work item scheduled to be started is a work item of the item ID set as the set item ID of the item ID of the work item completed or the work item of the worker U itself, and is a work item that has not been started. .

このように、点検作業支援装置1の作業情報提供部43は、作業項目の情報に関連付けられた優先度の情報および作業状況の情報に基づいて、作業項目の情報を作業リスト60から選択し、選択した作業項目の情報を拡張現実デバイス2へ送信する。例えば、作業情報提供部43は、拡張現実デバイス2を介して、作業員Uが作業を完了した作業項目、作業員Uが作業中の作業項目、または作業員Uが着手予定の作業項目を優先度順に提示する。また、作業情報提供部43は、拡張現実デバイス2を介して、作業員Uと同一の機器5の点検作業をする他の作業員Uが作業を完了した作業項目、他の作業員Uが作業中の作業項目、または他の作業員Uが着手予定の作業項目を優先度順に提示することができる。これにより、作業員Uは、自身の作業内容の他、他の作業員Uの作業状況を作業中に把握することができる。   As described above, the work information providing unit 43 of the inspection work support device 1 selects the work item information from the work list 60 based on the priority information and the work status information associated with the work item information, The information of the selected work item is transmitted to the augmented reality device 2. For example, the work information providing unit 43, via the augmented reality device 2, gives priority to the work item that the worker U has completed the work, the work item that the worker U is working on, or the work item that the worker U is going to start. Present in order. In addition, the work information providing unit 43 performs, via the augmented reality device 2, a work item in which another worker U performing an inspection work on the same device 5 as the worker U has completed the work, and another worker U The work items in progress or the work items to be started by another worker U can be presented in order of priority. Thereby, the worker U can grasp the work status of the other worker U during the work in addition to the contents of the work of the worker U.

なお、作業情報提供部43は、作業員Uの作業中の作業項目および着手予定の作業項目がない場合、拡張現実デバイス2を介して、未着手の作業項目のうち優先度の最も高い作業項目を作業員Uに提示する。これにより、作業員Uは、次に着手すべき作業項目を容易に把握することができる。   When there is no work item that the worker U is working on or a work item to be started, the work information providing unit 43 sends the work item with the highest priority among the unstarted work items via the augmented reality device 2. Is presented to the worker U. Thereby, the worker U can easily grasp the work item to be started next.

また、作業情報提供部43は、作業が完了した作業項目の項目IDのセット項目IDとして設定されている項目IDの作業項目の作業が完了している場合、作業が完了した作業項目を表示させないことができる。また、作業情報提供部43は、作業が完了した作業項目をすべて表示させないこともできる。また、作業情報提供部43は、作業員Uの設定に応じた情報を表示することもできる。   In addition, when the work of the work item of the item ID set as the set item ID of the work item of the completed work item is completed, the work information providing unit 43 does not display the completed work item. be able to. Further, the work information providing unit 43 may not display all the work items for which the work has been completed. Further, the work information providing unit 43 can also display information according to the setting of the worker U.

図2に戻って、制御部12の情報取得部44を説明する。制御部12の情報取得部44は、入力デバイス3からネットワーク4を介して点検作業支援装置1へ送信される入力情報を取得する。情報取得部44は、入力情報が作業員Uの音声情報である場合、音声情報を文字情報へ変換する。情報取得部44は、入力情報を解析し、入力情報の内容を判定する。   Returning to FIG. 2, the information acquisition unit 44 of the control unit 12 will be described. The information acquisition unit 44 of the control unit 12 acquires input information transmitted from the input device 3 to the inspection work support device 1 via the network 4. When the input information is the voice information of the worker U, the information obtaining unit 44 converts the voice information into character information. The information acquisition unit 44 analyzes the input information and determines the contents of the input information.

入力情報の内容は、例えば、作業状況更新情報、表示モード設定情報、映像取得要求情報、周囲状況要求情報などである。作業状況更新情報には、作業状況を示す情報と作業対象を示す情報とが含まれる。作業状況を示す情報は、例えば、作業開始を示す情報、または作業完了を示す情報などである。   The contents of the input information include, for example, work status update information, display mode setting information, video acquisition request information, surrounding status request information, and the like. The work status update information includes information indicating the work status and information indicating the work target. The information indicating the work status is, for example, information indicating the start of the work or information indicating the completion of the work.

表示モード設定情報には、表示モードを示す情報として、第1モード、第2モード、および第3モードが含まれる。第1モードは、特定部42によって特定された機器5の作業項目の情報を上述したように作業員Uに提示する表示モードである。第2モードは、作業員Uの前方にある機器5の部位についての作業状況の情報を作業員Uに提示する表示モードである。第3モードは、作業員Uの前方にいる他の作業員Uの作業状況の情報を作業員Uに提示する表示モードである。   The display mode setting information includes a first mode, a second mode, and a third mode as information indicating the display mode. The first mode is a display mode in which the information on the work item of the device 5 specified by the specifying unit 42 is presented to the worker U as described above. The second mode is a display mode for presenting information on the work status of the part of the device 5 in front of the worker U to the worker U. The third mode is a display mode in which information on the work status of another worker U in front of the worker U is presented to the worker U.

情報取得部44は、入力情報が表示モード設定情報である場合、表示モード設定情報に含まれる表示モードの情報を特定部42および作業情報提供部43に設定する。特定部42および作業情報提供部43は、設定された表示モードが第1モードである場合、上述した処理を行う。   When the input information is the display mode setting information, the information acquiring unit 44 sets the information of the display mode included in the display mode setting information in the specifying unit 42 and the work information providing unit 43. The specifying unit 42 and the work information providing unit 43 perform the above-described processing when the set display mode is the first mode.

また、特定部42は、設定された表示モードが第2モードである場合、映像取得部41によって取得された映像の情報に基づいて、映像に含まれる機器5の部位を特定する。機器5の部位は、作業員Uの前方の予め決められた範囲にある機器5の部位である。特定部42は、映像に含まれる機器5を特定する場合と同様に、計算モデルに基づいて機器5の部位を特定したり、画像テンプレートを用いたマッチング処理によって機器5の部位を特定したりすることができる。   When the set display mode is the second mode, the specifying unit 42 specifies a part of the device 5 included in the video based on the information of the video acquired by the video acquisition unit 41. The part of the device 5 is a part of the device 5 in a predetermined range in front of the worker U. The specifying unit 42 specifies a portion of the device 5 based on a calculation model, or specifies a portion of the device 5 by a matching process using an image template, as in the case of specifying the device 5 included in the video. be able to.

特定される機器5の部位は、作業員Uの視線方向にある予め決められた範囲にある機器5の部位であってもよい。この場合、拡張現実デバイス2には、例えば、視線方向を検出する視線方向検出センサが設けられ、視線方向検出センサによる検出結果が点検作業支援装置1へ送信される。特定部42は、視線方向検出センサによる検出結果に基づいて、機器5の部位を特定することができる。   The specified part of the device 5 may be a part of the device 5 within a predetermined range in the line of sight of the worker U. In this case, the augmented reality device 2 is provided with, for example, a gaze direction detection sensor that detects the gaze direction, and a detection result by the gaze direction detection sensor is transmitted to the inspection work support device 1. The specifying unit 42 can specify the part of the device 5 based on the detection result by the gaze direction detection sensor.

また、特定部42は、設定された表示モードが第3モードである場合、映像取得部41によって取得された映像の情報に基づいて、映像に含まれる他の作業員Uを特定する。特定部42は、映像に含まれる機器5を特定する場合と同様に、計算モデルに基づいて他の作業員Uを特定したり、画像テンプレートを用いたマッチング処理によって他の作業員Uを特定したりすることができる。   When the set display mode is the third mode, the specifying unit 42 specifies another worker U included in the video based on the video information acquired by the video acquisition unit 41. The specifying unit 42 specifies another worker U based on a calculation model, or specifies another worker U by a matching process using an image template, as in the case of specifying the device 5 included in the video. Or you can.

特定される他の作業員Uは、例えば、作業員Uの前方の予め決められた範囲にいる他の作業員Uである。なお、特定される他の作業員Uは、機器5の部位を特定する場合と同様に、作業員Uの視線方向にある予め決められた範囲にいる他の作業員Uであってもよい。   The other worker U specified is, for example, another worker U in a predetermined range in front of the worker U. The other worker U to be specified may be another worker U in a predetermined range in the line of sight of the worker U, as in the case of specifying the part of the device 5.

作業情報提供部43は、設定された表示モードが第2モードである場合、特定部42によって特定された機器5の部位に対応する作業項目の作業状況を示す情報を作業リスト60から取得する。図3では図示されていないが、作業リスト60には、機器5の各部位を示す情報が項目IDに関連付けられており、作業情報提供部43は、機器5の各部位を示す情報に基づいて、特定部42によって特定された機器5の部位に対応する作業項目の作業状況を示す情報を取得することができる。   When the set display mode is the second mode, the work information providing unit 43 acquires, from the work list 60, information indicating the work status of the work item corresponding to the part of the device 5 specified by the specifying unit 42. Although not shown in FIG. 3, information indicating each part of the device 5 is associated with the item ID in the work list 60, and the work information providing unit 43 performs processing based on the information indicating each part of the device 5. The information indicating the work status of the work item corresponding to the part of the device 5 specified by the specifying unit 42 can be acquired.

作業情報提供部43は、特定部42によって特定された機器5の部位の位置に対応する位置で作業員Uに視認されるように作業リスト60から取得した情報を配置した画像情報を拡張現実デバイス2へ送信する。   The work information providing unit 43 converts the image information in which the information acquired from the work list 60 is arranged so as to be visually recognized by the worker U at a position corresponding to the position of the part of the device 5 specified by the specifying unit 42. Send to 2.

図7は、実施の形態1にかかる拡張現実デバイスによって作業員に視認可能に提示される画像の他の例を示す図である。図7に示すように、拡張現実デバイス2によって、「メータの汚れ有無−点検済」の文字列を含み且つ機器5の部位を指し示す画像90が外景に重畳された状態で作業員Uに視認可能に提示される。これにより、作業員Uは、作業状況を特定したい機器5の部位の方向へ向くことによって、容易に機器5の部位の作業状況を確認することができる。 FIG. 7 is a diagram illustrating another example of an image visibly presented to a worker by the augmented reality device according to the first embodiment. As shown in FIG. 7, the augmented reality device 2 1, "dirty whether the meter - check done" on the operator U 1 in a state where the image 90 that points to and part of the device 5 comprises a string is superimposed on an outside scene Presented visually. Thus, the operator U 1, by facing in the direction of the site of the device 5 to be identified the working situation, it is possible to easily confirm the work status of the site of the device 5.

作業情報提供部43は、設定された表示モードが第3モードである場合、特定部42によって特定された他の作業員Uの情報が関連付けられた作業項目の作業状況を示す情報を作業リスト60から取得する。作業情報提供部43は、特定部42によって特定された他の作業員Uの位置に対応する位置で作業員Uに視認されるように作業リスト60から取得した情報を配置した画像情報を拡張現実デバイス2へ送信する。   When the set display mode is the third mode, the work information providing unit 43 adds information indicating the work status of the work item associated with the information of the other worker U specified by the specifying unit 42 to the work list 60. To get from. The work information providing unit 43 converts the image information in which the information obtained from the work list 60 is arranged so as to be visually recognized by the worker U at the position corresponding to the position of the other worker U specified by the specifying unit 42. Send to device 2.

図8は、実施の形態1にかかる拡張現実デバイスによって作業員に視認可能に提示される画像の他の例を示す図である。図8に示すように、拡張現実デバイス2によって、「メータの汚れ有無 作業員U 作業中」の文字列を含み他の作業員Uを指し示す画像91が外景に重畳された状態で作業員Uに視認可能に提示される。これにより、作業員Uは、作業状況を特定したい他の作業員Uの方向へ向くことによって、容易に他の作業員Uの作業状況を確認することができる。 FIG. 8 is a diagram illustrating another example of an image visually presented to a worker by the augmented reality device according to the first embodiment. As shown in FIG. 8, the augmented reality device 2 1, working in a state where the image 91 that points to another operator U 2 comprises a string of "dirty whether workers U 2 working meter" is superimposed on an outside scene visibly it is presented to the member U 1. Thus, the operator U 1 can be by facing the working conditions to the other direction of workers U 2 to be specific, easily confirm the work status of other workers U 2.

図2に戻って、制御部12のリスト更新部45について説明する。リスト更新部45は、情報取得部44によって作業状況更新情報が取得された場合、かかる作業状況更新情報に基づいて、作業リスト60の「作業状況」および「作業員」を更新する。   Returning to FIG. 2, the list updating unit 45 of the control unit 12 will be described. When the information acquisition unit 44 acquires the work status update information, the list update unit 45 updates “work status” and “worker” in the work list 60 based on the work status update information.

ここで、作業リスト60が図3に示す状態であり、拡張現実デバイス2から項目ID「I004」の作業開始を示す情報を含む作業状況更新情報が情報取得部44によって取得されたとする。この場合、リスト更新部45は、作業リスト60において項目ID「I004」に関連付けられる作業状況および作業員Uとして「作業中」および「作業員U」を設定する。 Here, the working list 60 is in the state shown in FIG. 3, the working situation update information including information indicating the operation start of the item ID "I004" from the augmented reality device 2 2 is acquired by the information acquisition unit 44. In this case, the list updating unit 45 sets “working” and “worker U 2 ” as the work status and the worker U associated with the item ID “I004” in the work list 60.

また、作業リスト60が図3に示す状態であり、拡張現実デバイス2から項目ID「I003」の作業完了を示す情報を含む作業状況更新情報が情報取得部44によって取得されたとする。この場合、リスト更新部45は、作業リスト60において項目ID「I003」に関連付けられる作業状況を「作業中」から「完了」に変更する。 Also, work list 60 is in the state shown in FIG. 3, the working situation update information including information indicating the operation completion item ID "I003" from the augmented reality device 2 2 is acquired by the information acquisition unit 44. In this case, the list update unit 45 changes the work status associated with the item ID “I003” in the work list 60 from “working” to “completed”.

更新情報提供部46は、リスト更新部45によって更新された作業リスト60に含まれる情報を各作業員Uへ提供する。例えば、作業リスト60が図3に示す状態で、リスト更新部45が項目ID「I003」に関連付けられる作業状況を「作業中」から「完了」に変更したとする。この場合、更新情報提供部46は、「配線の確認 完了」の文字列を含む画像情報を拡張現実デバイス2へネットワーク4を介して送信し、「配線の確認 作業員U 完了」の文字列を含む画像情報を拡張現実デバイス2へネットワーク4を介して送信する。 The update information providing unit 46 provides the information contained in the work list 60 updated by the list update unit 45 to each worker U. For example, suppose that the list updating unit 45 changes the work status associated with the item ID “I003” from “working” to “completed” while the work list 60 is in the state shown in FIG. In this case, the update information providing unit 46, character image information including a character string "confirmation completion of the wiring" to the augmented reality device 2 2 via the network 4, "Determining worker U 2 complete wiring" the image information including the train to the augmented reality device 2 1 via the network 4.

これにより、「配線の確認 完了」の文字列を含む画像が拡張現実デバイス2によって作業員Uに視認可能に提示されることに加え、「配線の確認 作業員U 完了」の文字列を含む画像が拡張現実デバイス2によって作業員Uに視認可能に提示される。したがって、作業員Uは、作業員Uの作業状況に変化があったことを容易に把握することができる。 Thus, a string of addition to the image with the text "Confirmed wiring" is visibly presented to operator U 2 by the augmented reality device 2 2, "check operator U 2 complete wiring" image containing a is presented visibly to operator U 1 by the augmented reality device 2 1. Therefore, the operator U 1 is able to easily understand that there has been a change in the working conditions of the personnel U 2.

作業禁止通知部47は、情報取得部44によって取得された作業状況更新情報に作業項目の情報と作業開始を示す情報が含まれる場合、取得された作業項目の情報に関連付けられた禁止項目IDの作業項目の作業状況を示す情報を作業リスト60から取得する。作業禁止通知部47は、禁止項目IDの作業項目が作業中であるか否かを判定する。作業禁止通知部47は、禁止項目IDの作業項目が作業中である場合、作業不可を示す情報を作業員Uに通知する。   When the work status update information acquired by the information acquisition unit 44 includes the information on the work item and the information indicating the start of the work, the work inhibition notification unit 47 Information indicating the work status of the work item is obtained from the work list 60. The work prohibition notification unit 47 determines whether the work item of the prohibition item ID is under work. When the work item with the prohibited item ID is under work, the work prohibition notification unit 47 notifies the worker U of information indicating that work is disabled.

例えば、作業リスト60が図3に示す状態から項目ID「I002」に関連付けられた作業状況が「完了」へ変更され、且つ情報取得部44によって項目ID「I005」の作業開始を示す作業状況更新情報が入力情報として拡張現実デバイス2から取得されたとする。項目ID「I005」の作業開始を示す作業状況更新情報には、作業項目「I005」の情報と作業開始を示す情報が含まれる。 For example, the work status associated with the item ID “I002” is changed from the state shown in FIG. 3 to “Complete”, and the work status update indicating the start of the work of the item ID “I005” by the information acquisition unit 44. information is to have been acquired from the augmented reality device 2 1 as input information. The work status update information indicating the start of the work of the item ID “I005” includes information of the work item “I005” and information indicating the start of the work.

この場合、作業禁止通知部47は、作業リスト60において項目ID「I005」に関連付けられている禁止項目ID「I001,I002,I003,I004」の作業状況を示す情報を記憶部11から読み出す。作業禁止通知部47は、作業リスト60において項目ID「I003」の作業項目に関連付けられた作業状況は作業中であるため、作業不可を示す情報を作業員Uの拡張現実デバイス2に通知する。なお、この場合、リスト更新部45は、作業状況更新情報に基づく作業リスト60の更新を行わない。 In this case, the work prohibition notification unit 47 reads from the storage unit 11 the information indicating the work status of the prohibition item ID “I001, I002, I003, I004” associated with the item ID “I005” in the work list 60. Working prohibition notification unit 47, since the working conditions associated with work items of the item ID "I003" in the working list 60 is working, notification information indicating an operation not to the augmented reality device 2 1 worker U 1 I do. In this case, the list update unit 45 does not update the work list 60 based on the work status update information.

図9および図10は、実施の形態1にかかる拡張現実デバイスによって作業員に視認可能に提示される画像の他の例を示す図である。図9に示すように、拡張現実デバイス2によって、「警告:この作業項目は同時作業禁止項目であるため、作業できません。」の文字列を含む画像92が作業リスト画像70と共に外景に重畳された状態で作業員Uに視認可能に提示される。 FIGS. 9 and 10 are diagrams illustrating another example of an image visually presented to a worker by the augmented reality device according to the first embodiment. As shown in FIG. 9, the augmented reality device 2 1, "Warning:. This work item for a simultaneous work prohibitions can not work" image 92 with the text is superimposed on the outside scene with the work list image 70 It is presented to the worker U in a visible state.

また、図10に示すように、拡張現実デバイス2によって、作業リスト画像80に作業不可である作業項目の情報である作業情報86,87が追加された作業リスト画像80Aが外景に重畳された状態で作業員Uに視認可能に提示される。作業情報86,87には、作業項目の情報に加え、作業不可であることを示す情報が含まれる。 Further, as shown in FIG. 10, extended by reality devices 2 2, work list work list image 80A that work information 86 and 87 is information work item is a work not the image 80 has been added is superimposed on the outside scene It is visibly presented to the operator U 2 in the state. The work information 86, 87 includes information indicating that the work is not allowed, in addition to the work item information.

このように、作業禁止通知部47は、同時作業が禁止されている作業項目の作業を開始しようとした作業員Uの拡張現実デバイス2へ、作業不可を示す情報として、画像92の情報を送信する。これにより、作業員Uは、開始しようとする作業が、同時作業が禁止されている作業であることを容易に把握することができる。また、画像92は作業リスト画像70と異なる位置に提示されるため、同時作業が禁止されている作業を容易に把握することができる。   As described above, the work prohibition notifying unit 47 transmits the information of the image 92 to the augmented reality device 2 of the worker U who attempts to start the work of the work item for which the simultaneous work is prohibited, as the information indicating that the work cannot be performed. I do. Thereby, the worker U can easily grasp that the work to be started is a work for which simultaneous work is prohibited. Further, since the image 92 is presented at a position different from that of the work list image 70, it is possible to easily grasp the work for which simultaneous work is prohibited.

また、作業禁止通知部47は、同時作業が禁止されている作業項目の作業を開始しようとした作業員Uと同じ機器5の点検作業を行っている他の作業員Uの拡張現実デバイス2へ、作業不可を示す情報として、作業不可である作業項目の情報が追加された作業リスト画像80Aを提示するための情報を送信する。これにより、作業員Uは、同時作業が禁止されている作業項目の作業を他の作業員Uが開始しようとしたことを容易に把握することができる。   Further, the work prohibition notifying section 47 sends the augmented reality device 2 of another worker U performing an inspection work on the same device 5 as the worker U who has started the work of the work item for which the simultaneous work is prohibited. Then, information for presenting the work list image 80A to which information on the work item that cannot be worked is added is transmitted as information indicating that work is not allowed. Thus, the worker U can easily understand that another worker U has attempted to start work on a work item for which simultaneous work is prohibited.

図2に戻って、制御部12の映像提供部48および周辺情報提供部49について説明する。映像提供部48は、入力情報が映像取得要求情報である場合、映像取得要求情報に従った映像情報を映像情報62から取得し、取得した映像情報を、映像取得要求情報を送信した拡張現実デバイス2へ送信する。   Returning to FIG. 2, the video providing unit 48 and the peripheral information providing unit 49 of the control unit 12 will be described. When the input information is the video acquisition request information, the video providing unit 48 acquires the video information according to the video acquisition request information from the video information 62, and outputs the acquired video information to the augmented reality device that transmitted the video acquisition request information. Send to 2.

映像提供部48によって拡張現実デバイス2へ送信される映像情報は、例えば、過去に作業員U自身の拡張現実デバイス2に設けられた撮像部22によって撮像された映像の情報、または他の作業員Uの拡張現実デバイス2に設けられた撮像部22によって撮像された映像の情報である。これにより、例えば、作業員Uは、作業員Uまたは他の作業員Uが作業している様子を示す過去または現在の映像を視認することが可能になる。映像取得要求情報の内容は任意に設定することができる。   The video information transmitted to the augmented reality device 2 by the video providing unit 48 is, for example, information of a video imaged by the imaging unit 22 provided in the augmented reality device 2 of the worker U in the past, or another worker. This is information on video captured by the imaging unit 22 provided in the augmented reality device 2 of U. Thus, for example, the worker U can visually recognize a past or current image indicating that the worker U or another worker U is working. The content of the video acquisition request information can be set arbitrarily.

また、映像提供部48は、作業員Uの作業が遅れているか否かを判定し、作業が遅れている作業員Uの現在の映像の情報を同じ機器5の点検を行う他の作業員Uの拡張現実デバイス2へ送信することもできる。これにより、他の作業員Uの作業状況を映像によって確認することができる。映像提供部48は、作業リスト60に基づいて、作業が遅れている作業員Uを特定することができる。なお、図3には図示していないが、作業リスト60には、作業開始時間の情報と作業終了時間の情報とが作業項目の情報に関連付けられている。映像提供部48は、作業開始時間の情報、作業終了時間の情報、および作業時間目安の情報などから作業が遅れている作業員Uを特定することができる。   Further, the video providing unit 48 determines whether or not the work of the worker U is delayed, and uses the information of the current video of the worker U whose work is delayed to another worker U which performs inspection of the same device 5. To the augmented reality device 2. Thereby, the work status of the other worker U can be confirmed by the video. The video providing unit 48 can identify the worker U whose work is delayed based on the work list 60. Although not shown in FIG. 3, in the work list 60, work start time information and work end time information are associated with work item information. The video providing unit 48 can identify the worker U whose work is delayed from information on the work start time, information on the work end time, information on the estimated work time, and the like.

周辺情報提供部49は、情報取得部44で取得された入力情報が周囲状況要求情報である場合、入力情報を入力デバイス3へ入力した作業員Uが属する作業グループ以外の作業グループである他の作業グループにおける点検作業の進捗状況を判定する。以下、説明の便宜上、入力情報を入力デバイス3へ入力した作業員Uを入力作業員と記載する。   When the input information obtained by the information obtaining unit 44 is the surrounding situation request information, the peripheral information providing unit 49 is a work group other than the work group to which the worker U who has input the input information to the input device 3 belongs. The progress of the inspection work in the work group is determined. Hereinafter, for convenience of description, the worker U who has input the input information to the input device 3 is referred to as an input worker.

周辺情報提供部49は、判定した他の作業グループにおける点検作業の進捗状況を示す情報または点検作業の作業完了時刻を示す情報を入力作業員の拡張現実デバイス2にネットワーク4を介して送信する。点検作業の作業完了時刻は、他の作業グループにおいて全点検作業が終了すると予測される時刻であり、作業情報提供部43と同様の演算によって求められる。   The peripheral information providing unit 49 transmits, via the network 4, information indicating the progress of the inspection work in the determined other work group or information indicating the work completion time of the inspection work to the augmented reality device 2 of the input worker. The work completion time of the inspection work is a time at which all the inspection work is predicted to be completed in another work group, and is obtained by the same calculation as the work information providing unit 43.

例えば、作業スケジュール情報61が図4に示す状態であり、入力作業員が作業員Uであるとする。この場合、周辺情報提供部49は、第1グループ以外の作業グループにおける点検作業の進捗状況を判定し、判定した点検作業の進捗状況を示す情報を作業員Uの拡張現実デバイス2にネットワーク4を介して送信することができる。また、周辺情報提供部49は、第1グループ以外の作業グループの作業完了時刻を予測し、作業完了時刻を示す情報を作業員Uの拡張現実デバイス2にネットワーク4を介して送信することができる。 For example, work schedule information 61 is in the state shown in FIG. 4, the input operator is assumed to be operator U 1. In this case, the peripheral information providing unit 49, the progress of inspection in the work group other than the first group is determined, the network information indicating the progress of the determined inspection in augmented reality device 2 1 worker U 1 4 can be transmitted. The peripheral information providing unit 49 to the operation completion time of the working group other than the first group predicts, transmits information indicating the operation completion time on the augmented reality device 2 1 worker U 1 via the network 4 Can be.

周辺情報提供部49は、作業リスト60と作業スケジュール情報61とに基づいて、各グループにおける点検作業の進捗状況を判定することができる。例えば、周辺情報提供部49は、作業開始時間の情報、作業終了時間の情報、および作業時間目安の情報などから各作業員Uの作業状況を判定し、各作業員Uの作業状況から各グループにおける点検作業の進捗状況を判定することができる。また、周辺情報提供部49は、作業リスト60と作業スケジュール情報61とに基づいて、各グループにおける点検作業の進捗状況を判定し、各グループにおける点検作業の進捗状況から各グループにおける点検作業の作業完了時刻を予測することができる。   The peripheral information providing unit 49 can determine the progress status of the inspection work in each group based on the work list 60 and the work schedule information 61. For example, the peripheral information providing unit 49 determines the work status of each worker U from the information of the work start time, the information of the work end time, the information of the work time guide, and the like. It is possible to determine the progress status of the inspection work in. Further, the peripheral information providing unit 49 determines the progress of the inspection work in each group based on the work list 60 and the work schedule information 61, and performs the work of the inspection work in each group based on the progress of the inspection work in each group. Completion time can be predicted.

また、周辺情報提供部49は、入力情報によらず、各グループにおける点検作業の作業完了時刻に基づいて、点検作業の作業完了時刻を示す情報を通知する作業グループを決定することができる。   Further, the peripheral information providing unit 49 can determine a work group to which information indicating the work completion time of the inspection work is to be notified based on the work completion time of the check work in each group without depending on the input information.

例えば、周辺情報提供部49は、点検作業の作業完了時刻が早い作業グループの作業員Uの拡張現実デバイス2へ、点検作業の作業完了時刻が遅い作業グループの点検作業の作業完了時刻を示す情報を送信することができる。また、周辺情報提供部49は、点検作業の作業完了時刻が遅い作業グループの作業員Uの拡張現実デバイス2へ、点検作業の作業完了時刻が早い作業グループの点検作業の作業完了時刻を示す情報を送信することができる。   For example, the peripheral information providing unit 49 sends, to the augmented reality device 2 of the worker U in the work group whose inspection work completion time is earlier, information indicating the inspection work completion time of the work group whose inspection work completion time is later. Can be sent. In addition, the peripheral information providing unit 49 sends information indicating the work completion time of the inspection work of the work group whose work completion time of the inspection work is early to the augmented reality device 2 of the worker U of the work group whose work completion time of the inspection work is late. Can be sent.

次に、点検作業支援装置1の動作についてさらに詳細に説明する。図11は、実施の形態1にかかる点検作業支援装置の処理の一例を示すフローチャートであり、点検作業支援装置1によって繰り返し実行される。   Next, the operation of the inspection work support device 1 will be described in more detail. FIG. 11 is a flowchart illustrating an example of a process of the inspection work support device according to the first embodiment, which is repeatedly executed by the inspection work support device 1.

図11に示すように、点検作業支援装置1の制御部12は、拡張現実デバイス2から映像情報を取得したか否かを判定する(ステップS11)。制御部12は、映像情報を取得したと判定した場合(ステップS11:Yes)、作業情報提供処理を行う(ステップS12)。かかるステップS12の処理は、図12に示すステップS21〜S23の処理であり、後で詳述する。   As shown in FIG. 11, the control unit 12 of the inspection work support device 1 determines whether or not video information has been acquired from the augmented reality device 2 (Step S11). When determining that the video information has been acquired (Step S11: Yes), the control unit 12 performs a work information providing process (Step S12). The processing in step S12 is the processing in steps S21 to S23 shown in FIG. 12, and will be described later in detail.

制御部12は、ステップS12の処理が終了した場合、または映像情報を取得していないと判定した場合(ステップS11:No)、入力デバイス3から入力情報を取得したか否かを判定する(ステップS13)。制御部12は、入力情報を取得したと判定した場合(ステップS13:Yes)、入力情報処理を行う(ステップS14)。かかるステップS14の処理は、図13に示すステップS31〜S39の処理であり、後で詳述する。   When the process of step S12 is completed or when it is determined that the video information has not been acquired (step S11: No), the control unit 12 determines whether or not the input information has been acquired from the input device 3 (step S11). S13). When determining that the input information has been acquired (Step S13: Yes), the control unit 12 performs the input information processing (Step S14). The processing in step S14 is the processing in steps S31 to S39 shown in FIG. 13 and will be described later in detail.

制御部12は、ステップS14の処理が終了した場合、または入力情報を取得していないと判定した場合(ステップS13:No)、図11に示す処理を終了する。   When the control unit 12 ends the process of step S14 or determines that the input information has not been acquired (step S13: No), the control unit 12 ends the process illustrated in FIG.

図12は、実施の形態1にかかる作業情報提供処理の一例を示すフローチャートである。図12に示すように、制御部12は、拡張現実デバイス2から取得した映像情報から映像に含まれる機器5、機器5の部位、または他の作業員Uを特定する(ステップS21)。   FIG. 12 is a flowchart illustrating an example of the work information providing process according to the first embodiment. As illustrated in FIG. 12, the control unit 12 specifies a device 5, a part of the device 5, or another worker U included in the video from the video information acquired from the augmented reality device 2 (Step S21).

制御部12は、特定した機器5、機器5の部位、または他の作業員Uに関する情報を作業リスト60から取得する(ステップS22)。そして、制御部12は、ステップS22で取得した情報を拡張現実デバイス2に送信する(ステップS23)。これにより、拡張現実デバイス2の撮像部22で撮像した映像に応じた作業の情報を拡張現実デバイス2の表示部21によって作業員Uに提示することができる。   The control unit 12 acquires information on the specified device 5, the part of the device 5, or another worker U from the work list 60 (Step S22). Then, the control unit 12 transmits the information acquired in step S22 to the augmented reality device 2 (step S23). Thereby, the information on the work corresponding to the image captured by the imaging unit 22 of the augmented reality device 2 can be presented to the worker U by the display unit 21 of the augmented reality device 2.

図13は、実施の形態1にかかる入力情報処理の一例を示すフローチャートである。図13に示すように、制御部12は、取得した入力情報が作業状況更新情報であるか否かを判定する(ステップS31)。制御部12は、入力情報が作業状況更新情報であると判定した場合(ステップS31:Yes)、作業状況更新情報で特定される作業状況が作業開始であるか否かを判定する(ステップS32)。   FIG. 13 is a flowchart illustrating an example of the input information processing according to the first embodiment. As shown in FIG. 13, the control unit 12 determines whether the acquired input information is work status update information (Step S31). When the control unit 12 determines that the input information is the work status update information (Step S31: Yes), the control unit 12 determines whether the work status specified by the work status update information is the work start (Step S32). .

制御部12は、作業状況が作業開始であると判定した場合(ステップS32:Yes)、作業リスト60から同時作業禁止項目情報を取得する(ステップS33)。同時作業禁止項目情報は、作業状況更新情報で特定される作業項目に関連付けられた禁止項目IDの作業項目の作業状況を示す情報である。   When the control unit 12 determines that the work status is work start (step S32: Yes), the control unit 12 acquires the simultaneous work prohibition item information from the work list 60 (step S33). The simultaneous work prohibition item information is information indicating the work status of the work item with the prohibition item ID associated with the work item specified by the work status update information.

制御部12は、着手作業が同時作業禁止の作業であるか否かを判定する(ステップS34)。着手作業とは、作業状況更新情報で特定される作業項目の作業であり、同時作業禁止の作業とは、着手作業が行われる対象機器と同一の機器5において、着手作業と同時に作業を行うことが禁止されている作業である。   The control unit 12 determines whether or not the undertaking work is a work in which simultaneous work is prohibited (step S34). The start work is the work of the work item specified by the work status update information, and the simultaneous work prohibition work is that the work is performed simultaneously with the start work on the same device 5 as the target device on which the start work is performed. Is a prohibited operation.

制御部12は、着手作業が同時作業禁止の作業ではないと判定した場合(ステップS34:No)、または、作業状況が作業開始でないと判定した場合(ステップS32:No)、取得した作業状況更新情報に基づいて作業リスト60を更新する(ステップS35)。そして、制御部12は、入力作業員の拡張現実デバイス2と同一の機器5を点検する作業員Uの拡張現実デバイス2に更新した作業リスト60に含まれる情報を送信する(ステップS36)。   If the control unit 12 determines that the start work is not a work in which simultaneous work is prohibited (step S34: No), or determines that the work status is not work start (step S32: No), the acquired work status update is performed. The work list 60 is updated based on the information (step S35). Then, the control unit 12 transmits the information included in the updated work list 60 to the augmented reality device 2 of the worker U who inspects the same device 5 as the augmented reality device 2 of the input worker (Step S36).

制御部12は、着手作業が同時作業禁止の作業であると判定した場合(ステップS34:Yes)、入力作業員の拡張現実デバイス2に作業不可通知の情報を送信する(ステップS37)。また、制御部12は、入力作業員以外の作業員Uの拡張現実デバイス2に作業不可通知を含む情報を送信する(ステップS38)。   When the control unit 12 determines that the start work is a work in which simultaneous work is prohibited (step S34: Yes), the control unit 12 transmits information of a work impossible notification to the augmented reality device 2 of the input worker (step S37). Further, the control unit 12 transmits information including a work disable notification to the augmented reality device 2 of the worker U other than the input worker (Step S38).

制御部12は、入力情報が作業状況更新情報ではないと判定した場合(ステップS31:No)、入力情報に応じた情報を入力作業員の拡張現実デバイス2に送信する(ステップS39)。制御部12は、ステップS36の処理が終了した場合、ステップS38の処理が終了した場合、またはステップS39の処理が終了した場合、図13に示す処理を終了する。   When determining that the input information is not the work status update information (Step S31: No), the control unit 12 transmits information corresponding to the input information to the augmented reality device 2 of the input worker (Step S39). The control unit 12 ends the process illustrated in FIG. 13 when the process in step S36 ends, when the process in step S38 ends, or when the process in step S39 ends.

図14は、実施の形態1にかかる点検作業支援装置のハードウェア構成の一例を示す図である。図14に示すように、点検作業支援装置1は、プロセッサ101と、メモリ102と、インタフェース回路103とを備えるコンピュータを含む。   FIG. 14 is a diagram illustrating an example of a hardware configuration of the inspection work support device according to the first embodiment. As shown in FIG. 14, the inspection work support device 1 includes a computer including a processor 101, a memory 102, and an interface circuit 103.

プロセッサ101、メモリ102およびインタフェース回路103は、バス104によって互いにデータの送受信が可能である。記憶部11は、メモリ102によって実現される。通信部10は、インタフェース回路103によって実現される。プロセッサ101は、メモリ102に記憶されたプログラムを読み出して実行することによって、映像取得部41、特定部42、作業情報提供部43、情報取得部44、リスト更新部45、更新情報提供部46、作業禁止通知部47、映像提供部48、および周辺情報提供部49の機能を実行する。プロセッサ101は、処理回路の一例であり、CPU(Central Processing Unit)、DSP(Digital Signal Processer)、およびシステムLSI(Large Scale Integration)のうち一つ以上を含む。   The processor 101, the memory 102, and the interface circuit 103 can transmit and receive data to and from each other via the bus 104. The storage unit 11 is realized by the memory 102. The communication unit 10 is realized by the interface circuit 103. The processor 101 reads out and executes the program stored in the memory 102, so that the video obtaining unit 41, the specifying unit 42, the work information providing unit 43, the information obtaining unit 44, the list updating unit 45, the update information providing unit 46, The functions of the work prohibition notifying section 47, the video providing section 48, and the peripheral information providing section 49 are executed. The processor 101 is an example of a processing circuit, and includes at least one of a CPU (Central Processing Unit), a DSP (Digital Signal Processor), and a system LSI (Large Scale Integration).

メモリ102は、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ、およびEPROM(Erasable Programmable Read Only Memory)のうち一つ以上を含む。また、メモリ102は、コンピュータが読み取り可能な上述のプログラムが記録された記録媒体を含む。かかる記録媒体は、不揮発性または揮発性の半導体メモリ、磁気ディスク、フレキシブルメモリ、光ディスク、コンパクトディスク、およびDVDのうち一つ以上を含む。なお、点検作業支援装置1は、ASIC(Application Specific Integrated Circuit)およびFPGA(Field Programmable Gate Array)などの集積回路を含んでいてもよい。   The memory 102 includes one or more of a random access memory (RAM), a read only memory (ROM), a flash memory, and an erasable programmable read only memory (EPROM). In addition, the memory 102 includes a recording medium in which the above-mentioned program that can be read by a computer is recorded. Such a recording medium includes at least one of a nonvolatile or volatile semiconductor memory, a magnetic disk, a flexible memory, an optical disk, a compact disk, and a DVD. In addition, the inspection work support device 1 may include an integrated circuit such as an ASIC (Application Specific Integrated Circuit) and an FPGA (Field Programmable Gate Array).

以上のように、実施の形態1にかかる点検作業支援装置1は、記憶部11と、作業情報提供部43と、情報取得部44と、リスト更新部45と、更新情報提供部46とを備える。記憶部11は、作業員Uと作業員Uを含む複数の作業員Uによる点検作業の対象である機器5の作業項目がリスト化された情報を含む作業リスト60を記憶する。作業員Uは第1作業員の一例であり、作業員Uは、第2作業員の一例である。作業情報提供部43は、作業リスト60に含まれる作業項目の情報を記憶部11から取得し、取得した作業項目の情報を複数の作業員Uの各々の拡張現実デバイス2へ送信する。情報取得部44は、作業員Uの作業状況を示す情報を含む入力情報を作業員Uの入力デバイス3から取得する。リスト更新部45は、情報取得部44によって取得された入力情報に基づいて、作業項目の情報に作業員Uの作業状況を示す作業状況情報を関連付けて作業リスト60を更新する。更新情報提供部46は、リスト更新部45によって更新された作業リスト60に含まれる作業状況情報を作業員Uが有する拡張現実デバイス2へ送信する。これにより、作業員Uに適切な作業調整を行うための情報を提供することができる。そのため、各作業員Uは、他の作業員Uの作業状況を考慮して自作業を遂行でき、複数人で行う点検作業の効率性および伝達性を向上させることができる。 As described above, the inspection work support device 1 according to the first embodiment includes the storage unit 11, the work information provision unit 43, the information acquisition unit 44, the list update unit 45, and the update information provision unit 46. . The storage unit 11 stores the work list 60 containing information work item of the device 5 which is the subject of the inspection work by a plurality of workers U containing operator U 1 and worker U 2 is listed. The operator U 1 is an example of a first operator, the operator U 2 is an example of a second operator. The work information providing unit 43 acquires the information of the work items included in the work list 60 from the storage unit 11 and transmits the acquired information of the work items to the augmented reality devices 2 of each of the plurality of workers U. Information acquisition unit 44 acquires the input information including information indicating the work status of the worker U 1 from the input device 3 1 worker U 1. List updating unit 45, based on input information acquired by the information acquisition unit 44, updates the working list 60 in association with work status information indicating the work status of the worker U 1 to the information of the work item. Update information providing unit 46 transmits the work status information included in the work list 60 updated by the list updating section 45 to the augmented reality device 2 2 having worker U 2. Thereby, the information for performing the appropriate work adjustment can be provided to the worker U. Therefore, each worker U can perform his / her own work in consideration of the work situation of the other workers U, and can improve the efficiency and communicability of the inspection work performed by a plurality of workers.

また、作業リスト60において、作業項目の情報に優先度の情報が関連付けられている。作業情報提供部43は、優先度の情報に基づいて、拡張現実デバイス2へ送信する作業項目の情報を選択し、選択した作業項目の情報を拡張現実デバイス2へ送信する。これにより、効率的に作業項目の情報を拡張現実デバイス2へ送信することができる。   In the work list 60, information on the priority is associated with the information on the work item. The work information providing unit 43 selects information on the work item to be transmitted to the augmented reality device 2 based on the information on the priority, and transmits information on the selected work item to the augmented reality device 2. Thereby, the information of the work item can be transmitted to the augmented reality device 2 efficiently.

また、点検作業支援装置1は、作業員Uが行っている点検作業と同時に点検作業することが禁止される作業を作業員Uが行うことを禁止する通知を作業員Uの拡張現実デバイス2へ通知する作業禁止通知部47を備える。これにより、複数の作業員Uで作業をする際、一方の作業員Uが他方の作業員Uの作業項目と同時作業が禁止されている作業項目の作業に着手しようとした場合に、作業不可であることが自動的に一方の作業員Uに通知される。そのため、より点検作業の効率性および伝達性を向上させることができる。 Moreover, inspection supporting apparatus 1, the operator U 2 is working to be simultaneously inspection that inspection work is prohibited notification to prohibit to perform worker U 1 augmented reality worker U 1 comprising a working prohibition notification unit 47 to notify the device 2 1. With this, when a plurality of workers U work, if one worker U attempts to work on a work item for which simultaneous work with the work item of the other worker U is prohibited, the work cannot be performed. Is automatically notified to one worker U. Therefore, the efficiency and transmission of the inspection work can be further improved.

また、点検作業支援装置1は、映像取得部41と、特定部42とを備える。映像取得部41は、各作業員Uが有する拡張現実デバイス2に設けられた撮像部22が撮像した映像の情報を取得する。特定部42は、映像取得部41によって取得された映像の情報に基づいて、映像に含まれる機器5を特定する。作業情報提供部43は、特定部42によって特定された機器5の作業リストに含まれる作業項目の情報を記憶部11から取得し、取得した作業項目の情報を拡張現実デバイス2へ送信する。これにより、作業員Uからの作業対象とする機器の入力を行うことなく、作業員Uが点検作業を行う機器5の作業項目の情報を作業員Uに提供することができる。   Further, the inspection work support device 1 includes a video acquisition unit 41 and a specification unit 42. The image acquisition unit 41 acquires information on an image captured by the imaging unit 22 provided in the augmented reality device 2 of each worker U. The specifying unit 42 specifies the device 5 included in the video based on the video information obtained by the video obtaining unit 41. The work information providing unit 43 acquires from the storage unit 11 the information on the work items included in the work list of the device 5 specified by the specifying unit 42, and transmits the obtained information on the work items to the augmented reality device 2. This allows the worker U to provide the worker U with information on work items of the device 5 on which the worker U performs the inspection work without inputting the device to be worked from the worker U.

また、特定部42は、映像取得部41によって取得された映像の情報に基づいて、映像に含まれる他の作業員Uを特定する。作業情報提供部43は、特定部42によって特定された他の作業員Uによる点検作業の状況を示す情報を、映像の情報を送信した作業員Uの拡張現実デバイス2へ送信する。これにより、作業員Uは、他の作業員Uの作業状況を容易に把握することができる。   Further, the specifying unit 42 specifies another worker U included in the video based on the information of the video obtained by the video obtaining unit 41. The work information providing unit 43 transmits, to the augmented reality device 2 of the worker U that has transmitted the video information, information indicating the status of the inspection work performed by the other worker U specified by the specifying unit 42. Thereby, the worker U can easily grasp the work status of the other worker U.

また、特定部42は、映像取得部41によって取得された映像の情報に基づいて、映像に含まれる対象機器の部位を特定する。作業情報提供部43は、特定部42によって特定された部位における点検作業の状況を示す情報を、映像の情報を送信した拡張現実デバイス2へ送信する。これにより、作業員Uは、対象機器のうち撮像部22で撮像された部位の作業状況を容易に把握することができる。   Further, the specifying unit 42 specifies a part of the target device included in the video based on the information of the video obtained by the video obtaining unit 41. The work information providing unit 43 transmits information indicating the status of the inspection work at the site specified by the specifying unit 42 to the augmented reality device 2 that has transmitted the video information. Thereby, the worker U can easily grasp the work status of the part of the target device imaged by the imaging unit 22.

また、拡張現実デバイス2は、スマートグラスまたはタブレット端末である。拡張現実デバイス2をスマートグラスとすることで、作業員Uは拡張現実デバイス2を手に持たずに点検作業を行うことができる。また、拡張現実デバイス2をタブレット端末とすることで、例えば、多機能のタブレット端末をさらに有効に活用することができる。   The augmented reality device 2 is a smart glass or a tablet terminal. By making the augmented reality device 2 a smart glass, the worker U can perform an inspection work without holding the augmented reality device 2 in his hand. Further, by using the augmented reality device 2 as a tablet terminal, for example, a multifunctional tablet terminal can be more effectively utilized.

実施の形態2.
実施の形態2では、作業リストにおける優先度の情報を変更することができる点で、実施の形態1と異なる。以下においては、実施の形態1にかかる点検作業支援システム100と同様の構成については同一符号を付して説明を省略し、実施の形態1にかかる点検作業支援システム100と異なる構成について主に説明するものとする。
Embodiment 2 FIG.
The second embodiment is different from the first embodiment in that the priority information in the work list can be changed. In the following, the same components as those of the inspection work support system 100 according to the first embodiment will be denoted by the same reference numerals, and description thereof will be omitted, and different configurations from the inspection work support system 100 according to the first embodiment will mainly be described. It shall be.

図15は、本発明の実施の形態2にかかる点検作業支援システムおよび端末装置の構成例を示す図である。図15に示すように、実施の形態2にかかる点検作業支援システム100Aは、点検作業支援装置1Aと、拡張現実デバイス2と、入力デバイス3と、端末装置6とを備える。点検作業支援装置1Aは、ネットワーク4を介して、拡張現実デバイス2、入力デバイス3、および端末装置6と通信可能に接続される。   FIG. 15 is a diagram illustrating a configuration example of an inspection work support system and a terminal device according to the second embodiment of the present invention. As shown in FIG. 15, the inspection work support system 100A according to the second embodiment includes an inspection work support device 1A, an augmented reality device 2, an input device 3, and a terminal device 6. The inspection work support device 1A is communicably connected to the augmented reality device 2, the input device 3, and the terminal device 6 via the network 4.

端末装置6は、通信部65と、表示部66と、入力部67と、制御部68とを備える。通信部65は、ネットワーク4と通信可能に接続される。制御部68は、通信部65およびネットワーク4を介して点検作業支援装置1Aとの間で情報の送受信を行うことができる。   The terminal device 6 includes a communication unit 65, a display unit 66, an input unit 67, and a control unit 68. The communication unit 65 is communicably connected to the network 4. The control unit 68 can transmit and receive information to and from the inspection work support device 1A via the communication unit 65 and the network 4.

制御部68は、点検作業の管理者が入力部67へ入力した情報である入力情報を取得し、取得した入力情報を通信部65から点検作業支援装置1Aへ送信する。また、制御部68は、点検作業支援装置1Aからの情報を通信部65経由で取得し、取得した情報に基づく画像を表示部66に表示する。   The control unit 68 obtains input information that is information input to the input unit 67 by the administrator of the inspection work, and transmits the obtained input information from the communication unit 65 to the inspection work support device 1A. Further, the control unit 68 acquires information from the inspection work support device 1A via the communication unit 65, and displays an image based on the acquired information on the display unit 66.

点検作業支援装置1Aは、通信部10と、記憶部11Aと、制御部12Aとを備える。記憶部11Aは、作業リスト60、作業スケジュール情報61、および映像情報62に加え、機器情報63および優先度変更情報64を記憶する。機器情報63には、機器5の機器名を示す情報などが含まれる。優先度変更情報64には、管理者による優先度の変更履歴を示す情報が含まれる。制御部12Aは、図2に示す制御部12の構成に加え、作業リスト提供部50および優先度変更部51を備える。   The inspection work support device 1A includes a communication unit 10, a storage unit 11A, and a control unit 12A. The storage unit 11A stores device information 63 and priority change information 64 in addition to the work list 60, the work schedule information 61, and the video information 62. The device information 63 includes information indicating the device name of the device 5 and the like. The priority change information 64 includes information indicating a change history of the priority by the administrator. The control unit 12A includes a work list providing unit 50 and a priority changing unit 51 in addition to the configuration of the control unit 12 shown in FIG.

端末装置6の制御部68は、端末装置6の入力部67への操作によって作業リストを要求する情報を含む作業リスト要求情報が入力された場合、かかる作業リスト要求情報を入力情報としてネットワーク4を介して点検作業支援装置1Aへ送信する。点検作業支援装置1Aの作業リスト提供部50は、情報取得部44によって取得された入力情報が端末装置6から送信された作業リスト要求情報である場合、作業リスト60および機器情報63を記憶部11Aから取得する。   When work list request information including information for requesting a work list is input by operating the input unit 67 of the terminal device 6, the control unit 68 of the terminal device 6 uses the work list request information as input information to connect the network 4. To the inspection work support apparatus 1A via the communication terminal. The work list providing unit 50 of the inspection work support device 1A stores the work list 60 and the device information 63 in the storage unit 11A when the input information acquired by the information acquisition unit 44 is the work list request information transmitted from the terminal device 6. To get from.

作業リスト提供部50は、作業リスト60および機器情報63を取得すると、取得した作業リスト60および機器情報63を含む情報を端末装置6に送信する。端末装置6の制御部68は、ネットワーク4を介して点検作業支援装置1Aから作業リスト60および機器情報63を含む情報を取得し、取得した機器情報63を含む機器リスト表示画面を表示部66に表示する。   When the work list providing unit 50 acquires the work list 60 and the device information 63, the work list providing unit 50 transmits information including the acquired work list 60 and the device information 63 to the terminal device 6. The control unit 68 of the terminal device 6 acquires information including the work list 60 and the device information 63 from the inspection work support device 1A via the network 4, and displays a device list display screen including the acquired device information 63 on the display unit 66. indicate.

図16は、実施の形態2にかかる端末装置の表示部に表示される機器リスト表示画面の一例を示す図である。図16に示す機器リスト表示画面94には、設備における複数の機器5〜5を示す機器アイコン95〜95が含まれる。なお、図16に示す例では、n=10である。以下、機器アイコン95〜95の各々を区別せずに示す場合、機器アイコン95と記載する。 FIG. 16 is a diagram illustrating an example of a device list display screen displayed on the display unit of the terminal device according to the second embodiment. The device list display screen 94 shown in FIG. 16, includes the device icon 95 1 to 95 n which indicates a plurality of devices 5 1 to 5 n in facilities. In the example shown in FIG. 16, n = 10. Hereinafter, the case shown without distinction respective device icon 95 1 to 95 n, referred to as a device icon 95.

図17は、実施の形態2にかかる機器リスト表示画面に選択された機器の作業リストが表示された状態を示す図である。各機器アイコン95〜95は、機器5〜5のうち対応する機器5の作業リストが関連付けられており、制御部68は、端末装置6の入力部67への操作によって機器アイコン95を選択すると、図17に示すように、機器5の作業リスト画像96を表示部66に表示する。図17に示す作業リスト画像96では、作業項目の情報毎に優先度の情報が関連付けられており、管理者は、端末装置6の入力部67を操作することで、作業項目の優先度を変更することができる。 FIG. 17 is a diagram illustrating a state in which the work list of the selected device is displayed on the device list display screen according to the second embodiment. Each of the device icons 95 1 to 95 n is associated with a work list of the corresponding device 5 among the devices 5 1 to 5 n , and the control unit 68 operates the input unit 67 of the terminal device 6 to operate the device icons 95 1 to 95 n. selecting 1, as shown in FIG. 17, and displays the device 5 1 working list image 96 on the display unit 66. In the work list image 96 shown in FIG. 17, priority information is associated with each work item information, and the administrator changes the priority of the work item by operating the input unit 67 of the terminal device 6. can do.

図18は、実施の形態2にかかる作業項目の優先度を変更するための操作の一例を示す図である。図18に示すように、機器名「盤001」の機器5において作業員Uが未着手の作業項目の作業順序を早めたい場合、入力部67を用いて作業項目の情報をドラッグアンドドロップ操作することによって、作業項目の優先度を変更することができる。 FIG. 18 is a diagram illustrating an example of an operation for changing the priority of a work item according to the second embodiment. As shown in FIG. 18, if the worker U in equipment 5 first device name "panel 001" need faster work sequence of work items initiated un, drag-and-drop operation information of the work item by using the input unit 67 By doing so, the priority of the work item can be changed.

図18に示す例では、作業リスト画像96において、優先度が「9」である作業項目「パイプの汚れ有無」の優先度が「5」に変更され、それに伴い、優先度「5」〜「8」であった作業項目の優先度が「6」〜「9」に変更される様子を示している。制御部68は、作業項目の情報が移動されると、作業リスト画像96を変更すると共に、かかる移動を確定するか否かを問い合わせるメッセージボックス97を表示部66に表示する。メッセージボックス97には、変更を確定するためのボタン98と、変更を確定させないボタン99とが含まれる。   In the example shown in FIG. 18, in the work list image 96, the priority of the work item “whether the pipe is dirty” with the priority “9” is changed to “5”, and accordingly, the priority “5” to “5” The state in which the priority of the work item that was "8" is changed to "6" to "9" is shown. When the information of the work item is moved, the control unit 68 changes the work list image 96 and displays a message box 97 on the display unit 66 for inquiring whether to confirm the movement. The message box 97 includes a button 98 for confirming the change and a button 99 for not confirming the change.

制御部68は、管理者が図18に示すボタン98を操作すると、作業項目の優先度を入れ替えるための優先度変更情報を点検作業支援装置1Aへ送信する。優先度変更情報には、優先度を入れ替えた後の作業項目の情報と優先度の情報とが互いに関連付けられた情報が含まれる。点検作業支援装置1Aの情報取得部44は、端末装置6からネットワーク4を介して優先度変更情報を取得し、取得した優先度変更情報を一時的に記憶部11Aの優先度変更情報64に追加して記憶する。   When the administrator operates the button 98 shown in FIG. 18, the control unit 68 transmits to the inspection work support device 1A priority change information for changing the priority of the work item. The priority change information includes information in which the information of the work item after the priority is replaced and the information of the priority are associated with each other. The information acquisition unit 44 of the inspection work support device 1A acquires the priority change information from the terminal device 6 via the network 4, and temporarily adds the acquired priority change information to the priority change information 64 of the storage unit 11A. And memorize.

更新情報提供部46は、管理者によって変更された優先度に基づいて、作業項目の情報および作業状況を示す情報を拡張現実デバイス2へ送信する。これにより、管理者によって変更された優先度で作業項目の情報を作業員Uへ提供することができる。   The update information providing unit 46 transmits the information on the work item and the information indicating the work status to the augmented reality device 2 based on the priority changed by the administrator. Thereby, the information of the work item can be provided to the worker U with the priority changed by the manager.

次に、優先度変更部51は、記憶部11Aに記憶された優先度変更情報64に基づいて、各作業項目について、優先度の変更回数が予め設定された回数を超えると判定した場合、作業リスト60に含まれる作業項目の優先度を変更する。   Next, based on the priority change information 64 stored in the storage unit 11A, the priority changing unit 51 determines that the number of times the priority has been changed for each work item exceeds a preset number of times. The priority of the work item included in the list 60 is changed.

例えば、優先度変更部51は、項目ID「I009」の優先度が「9」から「5」への変更回数が閾値TH1を超えた場合、項目ID「I009」の優先度を「5」にする。また、優先度変更部51は、項目ID「I009」の優先度の変更回数が閾値TH1を超えた場合、変更される回数が最も多い優先度を項目ID「I009」の優先度とすることもできる。例えば、優先度が「9」から「6」へ変更される回数が最も多い場合、項目ID「I009」の優先度を「6」にする。   For example, when the number of times the priority of the item ID “I009” is changed from “9” to “5” exceeds the threshold value TH1, the priority changing unit 51 sets the priority of the item ID “I009” to “5”. I do. In addition, when the number of times of changing the priority of the item ID “I009” exceeds the threshold value TH1, the priority changing unit 51 may set the priority with the largest number of times of changing as the priority of the item ID “I009”. it can. For example, if the number of times the priority is changed from “9” to “6” is the largest, the priority of the item ID “I009” is set to “6”.

また、優先度変更部51は、各作業項目について、予め設定された期間において優先度の変更回数が予め設定された回数を超える場合に、作業リスト60に含まれる作業項目の優先度を変更することもできる。例えば、優先度変更部51は、3ヶ月の間に、項目ID「I009」の優先度が「9」から「5」への変更回数が閾値TH1を超えた場合、上述の処理と同様に、項目ID「I009」の優先度を変更する。   In addition, the priority change unit 51 changes the priority of the work item included in the work list 60 when the number of times of change of the priority exceeds a predetermined number of times in a predetermined period for each work item. You can also. For example, when the number of times the priority of the item ID “I009” is changed from “9” to “5” exceeds the threshold value TH1 within three months, the priority changing unit 51 performs the same processing as described above. The priority of the item ID “I009” is changed.

なお、優先度変更部51は、全作業項目における優先度の変更回数が予め設定された回数を超えると判定した場合に、作業リスト60に含まれる作業項目の優先度を変更することもできる。この場合、優先度変更部51は、作業が実施された各作業項目の優先度の平均値を演算し、演算した平均値が小さいほど優先度が高くなるように、作業項目の優先度を変更することができる。なお、平均値の演算に用いられる各作業項目の優先度は、優先度が変更された場合には変更後の優先度である。   Note that the priority change unit 51 can also change the priority of the work items included in the work list 60 when it is determined that the number of times of changing the priority of all the work items exceeds a preset number. In this case, the priority change unit 51 calculates the average value of the priority of each work item on which the work was performed, and changes the priority of the work item so that the smaller the calculated average value, the higher the priority. can do. When the priority is changed, the priority of each work item used for calculating the average value is the priority after the change.

次に、点検作業支援装置1Aの動作についてさらに詳細に説明する。図19は、実施の形態2にかかる点検作業支援装置の処理の一例を示すフローチャートであり、点検作業支援装置1Aによって繰り返し実行される。なお、図19に示すステップS11〜S13の処理は、図11に示すステップS11〜S13の処理と同じである。   Next, the operation of the inspection work support device 1A will be described in more detail. FIG. 19 is a flowchart illustrating an example of processing of the inspection work support device according to the second embodiment, which is repeatedly executed by the inspection work support device 1A. The processing in steps S11 to S13 shown in FIG. 19 is the same as the processing in steps S11 to S13 shown in FIG.

図19に示すように、制御部12Aは、入力情報を取得したと判定した場合(ステップS13:Yes)、入力情報処理を行う(ステップS14A)。かかるステップS14Aは、図13に示すステップS38の処理以外は、図13と同じである。ステップS38において、制御部12Aは、入力情報が作業リスト要求情報である場合、作業リスト60および機器情報63を記憶部11Aから取得し、取得した作業リスト60および機器情報63を含む情報を端末装置6に送信する。これにより、端末装置6において、例えば、図16に示す機器リスト表示画面94が表示される。   As illustrated in FIG. 19, when determining that the input information has been acquired (Step S13: Yes), the control unit 12A performs input information processing (Step S14A). Step S14A is the same as FIG. 13 except for the processing of step S38 shown in FIG. In step S38, when the input information is the work list request information, the control unit 12A acquires the work list 60 and the device information 63 from the storage unit 11A, and transmits the information including the acquired work list 60 and the device information 63 to the terminal device. Send to 6. Thereby, for example, the device list display screen 94 shown in FIG. 16 is displayed on the terminal device 6.

制御部12Aは、ステップS14Aの処理が終了した場合、または入力情報を取得していないと判定した場合(ステップS13:No)、優先度変更情報を取得したか否かを判定する(ステップS15)。制御部12Aは、優先度変更情報を取得したと判定した場合(ステップS15:Yes)、優先度変更処理を行う(ステップS16)。ステップS16の処理は、図20に示すステップS41〜S44の処理であり、後で詳述する。制御部12Aは、ステップS16の処理が終了した場合、または優先度変更情報を取得していないと判定した場合(ステップS15:No)、図19に示す処理を終了する。   When the process of step S14A is completed or when it is determined that the input information has not been acquired (step S13: No), the control unit 12A determines whether or not the priority change information has been acquired (step S15). . When determining that the priority change information has been acquired (step S15: Yes), the control unit 12A performs a priority change process (step S16). The processing in step S16 is the processing in steps S41 to S44 shown in FIG. 20, and will be described later in detail. When the control unit 12A ends the process of step S16 or determines that the priority change information has not been acquired (step S15: No), the control unit 12A ends the process illustrated in FIG.

図20は、実施の形態2にかかる優先度変更処理の一例を示すフローチャートである。図20に示すように、制御部12Aは、端末装置6から取得した優先度変更情報を記憶部11Aの優先度変更情報64に追加することで優先度変更情報を記憶部11Aに記憶し(ステップS41)、端末装置6から取得した優先度変更情報と記憶部11Aに記憶された作業リスト60とに基づいて、関連付けられる優先度の情報が変更された作業項目の情報を拡張現実デバイス2に送信する(ステップS42)。   FIG. 20 is a flowchart illustrating an example of a priority change process according to the second embodiment. As illustrated in FIG. 20, the control unit 12A stores the priority change information in the storage unit 11A by adding the priority change information acquired from the terminal device 6 to the priority change information 64 of the storage unit 11A (step S12). S41) Based on the priority change information acquired from the terminal device 6 and the work list 60 stored in the storage unit 11A, the information of the work item whose associated priority information has been changed is transmitted to the augmented reality device 2. (Step S42).

次に、制御部12Aは、優先度の変更回数が閾値TH1を超えるか否かを判定する(ステップS43)。制御部12Aは、優先度の変更回数が閾値TH1を超えると判定した場合(ステップS43:Yes)、記憶部11Aに記憶した作業リスト60を更新する(ステップS44)。制御部12Aは、ステップS44の処理において、作業リスト60に含まれる作業項目の情報のうち優先度の変更回数が閾値TH1を超える作業項目の情報に関連付けられる優先度の情報を変更する。制御部12Aは、ステップS44の処理が終了した場合、または優先度の変更回数が閾値TH1を超えないと判定した場合(ステップS43:No)、図20に示す処理を終了する。   Next, the control unit 12A determines whether or not the number of times of changing the priority exceeds the threshold value TH1 (Step S43). When the control unit 12A determines that the number of times of changing the priority exceeds the threshold TH1 (step S43: Yes), the control unit 12A updates the work list 60 stored in the storage unit 11A (step S44). In the process of step S44, the control unit 12A changes the information of the priority associated with the information of the work item whose priority change count exceeds the threshold TH1 among the information of the work items included in the work list 60. When the processing in step S44 ends or when the control unit 12A determines that the number of times of priority change does not exceed the threshold value TH1 (step S43: No), the control unit 12A ends the processing illustrated in FIG.

なお、実施の形態2にかかる点検作業支援装置1Aのハードウェア構成例は、実施の形態1にかかる点検作業支援装置1と同じである。例えば、図14に示すプロセッサ101は、メモリ102に記憶されたプログラムを読み出して実行することによって、作業リスト提供部50および優先度変更部51の機能を実行することができる。   The example of the hardware configuration of the inspection work support device 1A according to the second embodiment is the same as that of the inspection work support device 1 according to the first embodiment. For example, the processor 101 illustrated in FIG. 14 can execute the functions of the work list providing unit 50 and the priority changing unit 51 by reading and executing the program stored in the memory 102.

以上のように、実施の形態2にかかる点検作業支援装置1Aは、記憶部11Aから作業リスト60を点検作業の管理者の端末装置6へ提供する作業リスト提供部50を備える。情報取得部44は、作業リストに含まれる作業項目の情報に関連付けられる優先度の情報を変更する優先度変更情報64を取得する。更新情報提供部46は、優先度変更情報64に基づいて優先度の情報が変更された作業項目の情報を拡張現実デバイス2へ送信する。これにより、管理者は、作業員Uの作業状況を把握し、次に行うべき作業項目を作業員Uへ指示することができ、より点検作業の効率性および伝達性を向上させることができる。   As described above, the inspection work support device 1A according to the second embodiment includes the work list providing unit 50 that provides the work list 60 from the storage unit 11A to the terminal device 6 of the administrator of the inspection work. The information acquisition unit 44 acquires the priority change information 64 that changes the priority information associated with the information on the work items included in the work list. The update information providing unit 46 transmits to the augmented reality device 2 information on the work item whose priority information has been changed based on the priority change information 64. Thereby, the manager can grasp the work situation of the worker U, and can instruct the worker U on the next work item to be performed, so that the efficiency and the transmission of the inspection work can be further improved.

また、記憶部11Aは、情報取得部44によって取得された優先度変更情報64を記憶する。優先度変更部51は、記憶部11Aに記憶された優先度変更情報に基づいて、優先度の情報の変更回数が予め設定された回数を超えると判定した場合、変更回数が予め設定された回数を超える優先度の情報を変更する。これにより、管理者が一定回数を超えて作業順序を変更した機器5に対し、点検作業支援装置1Aが自動的に作業の順序を調整することができるため、管理者による作業調整の手間を軽減することができる。   The storage unit 11A stores the priority change information 64 acquired by the information acquisition unit 44. If the priority change unit 51 determines that the number of changes of the priority information exceeds the preset number based on the priority change information stored in the storage unit 11A, the change number is set to the preset number of times. To change the priority information. As a result, the inspection work support device 1A can automatically adjust the work order for the equipment 5 whose work order has been changed more than a certain number of times by the manager, thereby reducing the work for the manager to adjust the work. can do.

なお、上述した例では、拡張現実デバイス2と入力デバイス3とを別体として説明したが、拡張現実デバイス2と入力デバイス3とは一体的に構成されてもよい。例えば、拡張現実デバイス2および入力デバイス3を含む装置は、拡張現実デバイス2と入力デバイス3とを一体的に構成したタブレット端末であってもよい。   In the example described above, the augmented reality device 2 and the input device 3 have been described as separate bodies, but the augmented reality device 2 and the input device 3 may be integrally configured. For example, the device including the augmented reality device 2 and the input device 3 may be a tablet terminal in which the augmented reality device 2 and the input device 3 are integrally configured.

以上の実施の形態に示した構成は、本発明の内容の一例を示すものであり、別の公知の技術と組み合わせることも可能であるし、本発明の要旨を逸脱しない範囲で、構成の一部を省略、変更することも可能である。   The configurations described in the above embodiments are merely examples of the contents of the present invention, and can be combined with other known technologies, and can be combined with other known technologies without departing from the gist of the present invention. Parts can be omitted or changed.

1,1A 点検作業支援装置、2,2〜2 拡張現実デバイス、3,3〜3 入力デバイス、4 ネットワーク、5,5〜5 機器、6 端末装置、10,20,30,65 通信部、11,11A 記憶部、12,12A,23,68 制御部、21,66 表示部、22 撮像部、31,67 入力部、41 映像取得部、42 特定部、43 作業情報提供部、44 情報取得部、45 リスト更新部、46 更新情報提供部、47 作業禁止通知部、48 映像提供部、49 周辺情報提供部、50 作業リスト提供部、51 優先度変更部、60 作業リスト、61 作業スケジュール情報、62 映像情報、63,71,81 機器情報、64 優先度変更情報、70,80,80A,96 作業リスト画像、72〜75,82〜87 作業情報、90,91,92 画像、94 機器リスト表示画面、95,95〜95 機器アイコン、97 メッセージボックス、98,99 ボタン、100,100A 点検作業支援システム、U,U〜U 作業員。 1,1A inspection support apparatus, 2, 2 1 to 2 n augmented reality device, 3,3 1 to 3 n input device, 4 network, 5,5 1 to 5 m device, 6 terminals, 10, 20, 30 , 65 communication unit, 11, 11A storage unit, 12, 12A, 23, 68 control unit, 21, 66 display unit, 22 imaging unit, 31, 67 input unit, 41 video acquisition unit, 42 identification unit, 43 work information provision Section, 44 information acquisition section, 45 list update section, 46 update information provision section, 47 work prohibition notification section, 48 video provision section, 49 peripheral information provision section, 50 work list provision section, 51 priority change section, 60 work list , 61 work schedule information, 62 video information, 63, 71, 81 device information, 64 priority change information, 70, 80, 80A, 96 work list image, 72 to 75, 82 to 87 work information, 90, 1,92 image, 94 equipment list display screen, 95,95 1 ~95 n equipment icon, 97 message box, 98 and 99 button, 100,100A inspection work support system, U, U 1 ~U n workers.

Claims (11)

第1作業員と第2作業員とを含む複数の作業員による点検作業の対象である機器の作業項目がリスト化された情報を含む作業リストを記憶する記憶部と、
前記作業リストに含まれる前記作業項目の情報を前記記憶部から取得し、取得した作業項目の情報を前記複数の作業員の各々の拡張現実デバイスへ送信する作業情報提供部と、
前記第1作業員の作業状況を示す情報を含む入力情報を前記第1作業員の入力デバイスから取得する情報取得部と、
前記情報取得部によって取得された入力情報に基づいて、前記作業項目の情報に前記第1作業員の作業状況を示す作業状況情報を関連付けて前記作業リストを更新するリスト更新部と、
前記リスト更新部によって更新された作業リストに含まれる前記作業状況情報を前記第2作業員の拡張現実デバイスへ送信する更新情報提供部と、を備える
ことを特徴とする点検作業支援装置。
A storage unit that stores a work list including information in which work items of devices that are targets of inspection work by a plurality of workers including a first worker and a second worker are listed;
A work information providing unit that obtains information of the work items included in the work list from the storage unit, and transmits information of the obtained work items to each augmented reality device of the plurality of workers,
An information acquisition unit that acquires input information including information indicating a work status of the first worker from an input device of the first worker;
A list updating unit configured to update the work list by associating work status information indicating a work status of the first worker with information of the work item based on the input information obtained by the information obtaining unit;
An inspection information support unit that transmits the work status information included in the work list updated by the list update unit to the augmented reality device of the second worker.
前記第2作業員が行っている点検作業と同時に点検作業することが禁止される作業を前記第1作業員が行うことを禁止する通知を前記第1作業員の前記拡張現実デバイスへ通知する作業禁止通知部を備える
ことを特徴とする請求項1に記載の点検作業支援装置。
Notifying the first worker of the augmented reality device of a notification prohibiting the first worker from performing a work that is prohibited from being performed at the same time as the check work performed by the second worker. The inspection work support device according to claim 1, further comprising a prohibition notification unit.
前記作業項目の情報に優先度の情報が関連付けられており、
前記作業情報提供部は、
前記優先度の情報に基づいて、前記拡張現実デバイスへ送信する前記作業項目の情報を選択し、選択した前記作業項目の情報を前記拡張現実デバイスへ送信する
ことを特徴とする請求項1または2に記載の点検作業支援装置。
Priority information is associated with the work item information,
The work information providing unit,
The information of the work item to be transmitted to the augmented reality device is selected based on the information of the priority, and the information of the selected work item is transmitted to the augmented reality device. The inspection work support device according to 1.
前記記憶部から前記作業リストを前記点検作業の管理者の端末装置へ提供する作業リスト提供部を備え、
前記情報取得部は、
前記作業項目の情報に関連付けられる前記優先度の情報を変更する優先度変更情報を取得し、
前記更新情報提供部は、
前記優先度変更情報に基づいて優先度の情報が変更された前記作業項目の情報を各前記作業員の前記拡張現実デバイスへ送信する
ことを特徴とする請求項3に記載の点検作業支援装置。
A work list providing unit that provides the work list from the storage unit to a terminal device of a manager of the inspection work,
The information acquisition unit,
Obtain priority change information for changing the priority information associated with the work item information,
The update information providing unit,
4. The inspection work support device according to claim 3, wherein information on the work item whose priority information has been changed based on the priority change information is transmitted to the augmented reality device of each worker. 5.
前記作業リストに含まれる作業項目の優先度を変更する優先度変更部を備え、
前記記憶部は、
前記情報取得部によって取得された優先度変更情報を記憶し、
前記優先度変更部は、
前記記憶部に記憶された優先度変更情報に基づいて、前記優先度の情報の変更回数が予め設定された回数を超えると判定した場合、変更回数が前記予め設定された回数を超える優先度の情報を変更する
ことを特徴とする請求項4に記載の点検作業支援装置。
A priority change unit that changes the priority of the work items included in the work list,
The storage unit,
Storing the priority change information obtained by the information obtaining unit,
The priority changing unit,
Based on the priority change information stored in the storage unit, when it is determined that the number of changes of the priority information exceeds a preset number, the change number of the priority exceeds the preset number of times The inspection work support device according to claim 4, wherein the information is changed.
各前記作業員の前記拡張現実デバイスに設けられた撮像部が撮像した映像の情報を取得する映像取得部と、
前記映像取得部によって取得された映像の情報に基づいて、前記映像に含まれる機器を特定する特定部と、を備え、
前記作業情報提供部は、
前記特定部によって特定された機器の作業リストに含まれる作業項目の情報を前記記憶部から取得し、取得した前記作業項目の情報を前記拡張現実デバイスへ送信する
ことを特徴とする請求項1から5のいずれか一つに記載の点検作業支援装置。
An image acquisition unit that acquires information on an image captured by an imaging unit provided in the augmented reality device of each of the workers;
A specifying unit that specifies a device included in the video, based on information of the video obtained by the video obtaining unit,
The work information providing unit,
The information of the work item included in the work list of the device specified by the specifying unit is acquired from the storage unit, and the acquired information of the work item is transmitted to the augmented reality device. 5. The inspection work support device according to any one of 5.
前記特定部は、
前記映像の情報に基づいて、前記映像に含まれる作業員を特定し、
前記作業情報提供部は、
前記特定部によって特定された作業員による前記点検作業の状況を示す情報を前記映像の情報を送信した拡張現実デバイスへ送信する
ことを特徴とする請求項6に記載の点検作業支援装置。
The identification unit is
Based on the information of the video, identify a worker included in the video,
The work information providing unit,
The inspection work support device according to claim 6, wherein information indicating a status of the inspection work by the worker identified by the identification unit is transmitted to the augmented reality device that has transmitted the information of the video.
前記特定部は、
前記映像の情報に基づいて、前記映像に含まれる対象機器の部位を特定し、
前記作業情報提供部は、
前記特定された前記部位における前記点検作業の状況を示す情報を前記映像の情報を送信した拡張現実デバイスへ送信する
ことを特徴とする請求項6または7に記載の点検作業支援装置。
The identification unit is
Based on the information of the video, specify the part of the target device included in the video,
The work information providing unit,
The inspection work support device according to claim 6, wherein information indicating a status of the inspection work in the specified part is transmitted to an augmented reality device that has transmitted the information of the video.
前記拡張現実デバイスは、
スマートグラスまたはタブレット端末である
ことを特徴とする請求項1から8のいずれか一つに記載の点検作業支援装置。
The augmented reality device,
The inspection work support device according to any one of claims 1 to 8, wherein the device is a smart glass or a tablet terminal.
請求項1から9のいずれか一つに記載の点検作業支援装置と、
前記拡張現実デバイスと、を備える
ことを特徴とする点検作業支援システム。
An inspection work support device according to any one of claims 1 to 9,
An inspection work support system, comprising: the augmented reality device.
コンピュータが実行する点検作業支援方法であって、
第1作業員と第2作業員とを含む複数の作業員による点検作業の対象である機器の作業項目がリスト化された情報を含む作業リストを記憶する記憶部から前記作業項目の情報を取得し、取得した作業項目の情報を前記複数の作業員の各々の拡張現実デバイスへ送信するステップと、
前記第1作業員の作業状況を示す情報を含む入力情報を前記第1作業員の入力デバイスから取得するステップと、
前記取得された入力情報に基づいて、前記作業項目の情報に前記第1作業員の作業状況を示す作業状況情報を関連付けて前記作業リストを更新するステップと、
前記更新された作業リストに含まれる前記作業状況情報を前記第2作業員の拡張現実デバイスへ送信するステップと、を含む
ことを特徴とする点検作業支援方法。
An inspection work support method executed by a computer,
Acquiring information on the work items from a storage unit that stores a work list including information in which work items of devices to be inspected by a plurality of workers including a first worker and a second worker are listed. Transmitting the information of the acquired work items to each augmented reality device of the plurality of workers,
Obtaining input information including information indicating the work status of the first worker from the input device of the first worker;
Updating the work list by associating the work item information with work status information indicating a work status of the first worker based on the acquired input information;
Transmitting the work status information included in the updated work list to the augmented reality device of the second worker.
JP2018162602A 2018-08-31 2018-08-31 Inspection work support device, inspection work support system, and inspection work support method Active JP7113702B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018162602A JP7113702B2 (en) 2018-08-31 2018-08-31 Inspection work support device, inspection work support system, and inspection work support method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018162602A JP7113702B2 (en) 2018-08-31 2018-08-31 Inspection work support device, inspection work support system, and inspection work support method

Publications (2)

Publication Number Publication Date
JP2020035280A true JP2020035280A (en) 2020-03-05
JP7113702B2 JP7113702B2 (en) 2022-08-05

Family

ID=69668234

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018162602A Active JP7113702B2 (en) 2018-08-31 2018-08-31 Inspection work support device, inspection work support system, and inspection work support method

Country Status (1)

Country Link
JP (1) JP7113702B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6990482B1 (en) 2021-03-26 2022-01-12 株式会社オプティム Inspection system, method and program
JP2022104410A (en) * 2020-12-28 2022-07-08 横河電機株式会社 Apparatus, method and program

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011248860A (en) * 2010-04-28 2011-12-08 Ns Solutions Corp Information processing system, and information processing method and program
JP2012209845A (en) * 2011-03-30 2012-10-25 Fujifilm Corp Operation control method and program for inspection system and inspection server
WO2014097413A1 (en) * 2012-12-19 2014-06-26 株式会社日立製作所 Operation support terminal and operation support system
JP2018060244A (en) * 2016-09-30 2018-04-12 株式会社日本総合研究所 Information processing system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011248860A (en) * 2010-04-28 2011-12-08 Ns Solutions Corp Information processing system, and information processing method and program
JP2012209845A (en) * 2011-03-30 2012-10-25 Fujifilm Corp Operation control method and program for inspection system and inspection server
WO2014097413A1 (en) * 2012-12-19 2014-06-26 株式会社日立製作所 Operation support terminal and operation support system
JP2018060244A (en) * 2016-09-30 2018-04-12 株式会社日本総合研究所 Information processing system

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022104410A (en) * 2020-12-28 2022-07-08 横河電機株式会社 Apparatus, method and program
JP7347409B2 (en) 2020-12-28 2023-09-20 横河電機株式会社 Apparatus, method and program
JP6990482B1 (en) 2021-03-26 2022-01-12 株式会社オプティム Inspection system, method and program
JP2022150209A (en) * 2021-03-26 2022-10-07 株式会社オプティム Inspection system, method, and program

Also Published As

Publication number Publication date
JP7113702B2 (en) 2022-08-05

Similar Documents

Publication Publication Date Title
JP6625398B2 (en) Inspection guidance system
CN108139335B (en) Image registration device, image registration method, image registration system, and imaging terminal
JP2006067272A (en) Apparatus and method for camera calibration
JP2020035280A (en) Inspection work support device, inspection work support system, and inspection work support method
KR20170129229A (en) Information processing apparatus, information processing system, and recording medium
JP6514390B1 (en) INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD, AND COMPUTER PROGRAM
JP7312581B2 (en) Concrete structure management device, information processing system, concrete structure management method, and program
JP2014033429A (en) Image processing program and image processing apparatus
JP7554889B2 (en) CONCRETE STRUCTURE MANAGEMENT DEVICE, INFORMATION PROCESSING SYSTEM, CONCRETE STRUCTURE MANAGEMENT METHOD, AND PROGRAM
JP2019075078A (en) Construction site image determination device and construction site image determination program
JP2017079019A (en) System for construction field
JP2019193062A (en) Pile construction site monitoring system by video
JP2023112117A (en) Test result reporting method and test result reporting system
JP6514310B1 (en) INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD, AND COMPUTER PROGRAM
CN116504039A (en) Abnormality identification method and device for indoor equipment and electronic equipment
JP2017138733A (en) Facility inspection support program, facility inspection support method, and information processing apparatus
JP6818795B2 (en) Information processing equipment, information processing methods and computer programs
JP2019074774A (en) Construction site image determination device and construction site image determination program
JP4730211B2 (en) Data processing apparatus and data processing method
JP6957895B2 (en) Information processing device, judgment terminal device, information processing system, information processing method and program
JP2021051022A (en) Building structure diagnosis system
JP2007305102A (en) Production system determination system and method
JP2021056671A (en) Work state determination device, work state determination method and program
JP7114016B2 (en) Information processing equipment
JP7013615B2 (en) Information processing equipment, information processing methods, computer programs, and computer equipment

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201130

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211011

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211019

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220510

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220614

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220628

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220726

R150 Certificate of patent or registration of utility model

Ref document number: 7113702

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150