JP2022017914A - 運用保守システム、運用保守方法および運用保守プログラム - Google Patents
運用保守システム、運用保守方法および運用保守プログラム Download PDFInfo
- Publication number
- JP2022017914A JP2022017914A JP2020120761A JP2020120761A JP2022017914A JP 2022017914 A JP2022017914 A JP 2022017914A JP 2020120761 A JP2020120761 A JP 2020120761A JP 2020120761 A JP2020120761 A JP 2020120761A JP 2022017914 A JP2022017914 A JP 2022017914A
- Authority
- JP
- Japan
- Prior art keywords
- inspection target
- inspected
- target device
- virtual
- inspection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 106
- 238000012423 maintenance Methods 0.000 title claims abstract description 64
- 238000007689 inspection Methods 0.000 claims abstract description 102
- 230000008569 process Effects 0.000 claims description 36
- 238000013135 deep learning Methods 0.000 claims description 6
- 230000015654 memory Effects 0.000 claims description 5
- 230000006870 function Effects 0.000 claims description 4
- 230000009471 action Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 12
- 238000001514 detection method Methods 0.000 description 6
- 238000010248 power generation Methods 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 210000003811 finger Anatomy 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000012015 optical character recognition Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000011017 operating method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
Images
Landscapes
- Testing And Monitoring For Control Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
Description
図1は、本発明の実施の形態に係る運用保守システムの斜視図である。図1に示すように、本発明の実施の形態では、運用保守システム1はゴーグル型としている。運用保守システム1は、本体部10と、点検対象機器の点検を行う作業者の眼前に装着される透過型ディスプレイからなる表示部11と、点検対象機器を撮影するカメラなどの撮影部12と、作業者の音声を認識するマイクなどの音声認識部(図示せず)と、作業者の動作を認識するセンサ13を備える。本発明の実施の形態に係る運用保守システム1のセンサ13は、図1に示す位置から眉間部分を対象にもう1つ備えられる。また、音声認識部はセンサ13の内部に備えられる。
仮想オブジェクトBは、操作手順マニュアルに示されている文章が表示された仮想物体であってもよく、矢印や枠線などのアイコンであってもよい。
図3は、本発明の実施の形態に係る運用保守方法のフローチャートである。以下、各図面を参照しつつ当該フローチャートに沿って、作業者が運用保守システム1を使用して発変電設備の運用保守作業を行う手順を説明する。
作業者は事前処理として、運用保守作業前に、記憶手段102に操作手順マニュアルや仮想オブジェクトB、学習済みモデルなどを記憶する(ステップS102)。記憶は、入出力手段101に無線通信機能や有線通信機能を持たせて、外部のサーバからダウンロードすることにより行ってもよい。若しくは、記憶手段102の一部または全部をMicroSDカードとして、当該MicroSDカードに記憶させることとしてもよい。
記憶される仮想オブジェクトBは例えば、雛形(枠線や背景部分)とすることができる。また、操作手順マニュアルに示される操作内容や確認事項などの文字列が取得され、これに合成されて図5(A),(B)に示すような仮想操作指示オブジェクトB1が形成される。
作業者は事前処理後、作業場所にて運用保守システム1を装着する。そして、撮影部12で、発変電設備のうち、点検対象機器に付されたQRコード(登録商標)などの識別体Cを撮影する(ステップS103)。撮影された識別体Cを入力データとして、記憶手段102に記憶された変換テーブルに基づいて、当該識別体Cが付された点検対象機器が認識される。そして、機器特定手段103は、当該認識された点検対象機器に対して運用保守作業(点検作業)を行うか否かの決定を促す選択画面を、表示部11に表示させる。図4(A)に示すように、当該選択画面は、表示部11を透過して見える点検対象機器に重畳して表示される仮想オブジェクトBである。作業者はこの選択に対して、「決定(運用保守作業を行う)」旨の発声やハンドジェスチャーを行い、点検対象機器を決定する。
点検対象機器が決定したら、操作指示手段104は、当該点検対象機器の識別コードに基づいて、当該識別コードに対応する操作手順マニュアルを選択する。そして、操作指示手段104は、認識された点検対象機器に対して運用保守作業を行うか否かの選択と同様に、選択された操作手順マニュアルに示された運用保守作業を行うか否かの選択画面を、表示部11に表示させる(図4(B)参照)。作業者はこの選択に対して、「この操作指示マニュアルに示された運用保守作業を行う」旨の発声やハンドジェスチャーを行い、操作手順マニュアルを決定する。
なお、作業者は、操作手順が複雑であったり操作内容を客観的に把握することができない場合、発声やジェスチャーにより作業内容に関する映像の再生を要求することができる(ステップS201)。当該要求があった場合、映像再生手段105は、図6(B)に示すように、仮想操作映像オブジェクトB2を表示部11に表示する(ステップS105)。これにより、作業者は、文字だけでは作業内容を十分に理解することができない場合でも、映像を見ることにより作業内容を十分に理解することができる。そして、不十分な理解による誤操作などの人的ミスを防ぐことができる。
ここで、図6(B)に示すように、仮想操作映像オブジェクトB2は、点検対象機器に対して、指導者が操作手順に従って操作した見本映像であることが望ましい。作業者が客観的に作業内容を把握することができ、作業内容をより正確に理解することができるためである。指導者とは、運用保守作業に関する一定以上の技術水準を持つ者であればよく、特に先輩の作業者など熟練者であることが望ましい。操作が正確であり、かつ高齢の熟練者が退職した場合にノウハウが失われることを防ぐことができるためである。
作業者は、仮想操作指示オブジェクトB1に従って運用保守作業の操作を行った後、当該操作が正しいものかを確認する(ステップS106)。まず、作業者は撮影部12で、操作を行った部品の状態を撮影する。例えば、図7(A)に示すように、作業者は仮想オブジェクトBで操作を行ったボタンの範囲を指定してから、撮影部12で撮影する。部品の撮影画像が取得されると、操作判定手段106は、当該撮影画像に基づいて、学習済みモデルにより当該部品に対して行われた操作を推定し、当該操作が正しいか否かを判定してその推定結果や判定結果などを示す仮想オブジェクトBを表示部11に表示する(図7(B)参照)。
また、このように、人的ミスを回避するために従来は二人一組など複数の作業者が指差し点検をしながら行っていた正しい点検対象部品への操作であるか否かの確認作業を、単独でも正確に行うことができる。
10 本体部
11 表示部
12 撮影部
13 センサ
101 入出力手段
102 記憶手段
103 機器特定手段
104 操作指示手段
105 映像再生手段
106 操作判定手段
107 要求判別手段
B 仮想オブジェクト
B1 仮想操作指示オブジェクト
B2 仮想操作映像オブジェクト
C 識別体
Claims (8)
- 点検対象機器の点検を行う作業者の眼前に装着される透過型ディスプレイからなる表示部と、
点検対象機器を撮影する撮影部と、
点検対象機器の点検操作手順を示す操作手順マニュアルと、前記操作手順マニュアルに基づいて生成される点検対象機器への操作を指示する仮想操作指示オブジェクトと、前記操作手順マニュアルに基づいて生成される点検対象機器に対する操作映像である仮想操作映像オブジェクトと、点検対象機器に対して行われた操作が正しい操作であるか否を判定する、深層学習を用いて生成された学習済みモデルと、を記憶する記憶手段と、
前記撮影部により撮影された点検対象機器に付された識別体を認識し、前記認識された識別体が付された点検対象機器を特定する機器特定手段と、
前記機器特定手段により特定された点検対象機器に対応する仮想操作指示オブジェクトを前記記憶手段から取得して前記表示部に表示する操作指示手段と、
前記機器特定手段により特定された点検対象機器に対応する仮想操作映像オブジェクトを前記記憶手段から取得して前記表示部に表示する映像再生手段と、
前記撮影部により撮影された点検対象機器の点検対象部品の画像に基づいて、前記機器特定手段により特定された点検対象機器に対応する学習済みモデルにより当該点検対象機器の当該点検対象部品に対して行われた操作を判定する操作判定手段と、
を含む運用保守システム。 - 前記仮想操作映像オブジェクトは、点検対象機器に対して、指導者が操作手順に従って操作した見本映像である請求項1に記載の運用保守システム。
- 前記仮想操作指示オブジェクトは、点検対象機器に付された識別体の位置から二次元座標に基づいて相対的に求められる点検対象部品の位置に重畳して表示される請求項1または2に記載の運用保守システム。
- 前記機器特定手段は、前記認識された識別体が前記操作手順マニュアルに含まれない点検対象機器に対応する識別体である場合、前記認識された識別体に対応する機器を特定しない請求項1~3のいずれか1項に記載の運用保守システム。
- 作業者の音声を認識する音声認識部と、
作業者の動作を認識するセンサと、
前記記憶手段に記憶された、前記認識された音声または動作に紐付けられる要求を含むデータテーブルと、を備え、
前記認識された音声または動作に対応する要求を、前記データテーブルに基づいて判別する要求判別手段を含む請求項1~4のいずれか1項に記載の運用保守システム。 - 前記操作判定手段は、前記撮影部により撮影された点検対象機器の点検対象部品に表示された文字を操作が行われる点検対象部品の名称として認識し、前記認識された点検対象部品の名称と前記操作手順マニュアルに示される点検対象部品の名称とに基づいて、操作が行われる点検対象部品が前記操作手順マニュアルに示される正しい点検対象部品であるか否かを判定する請求項1~5のいずれか1項に記載の運用保守システム。
- 点検対象機器の点検操作手順を示す操作手順マニュアルと、前記操作手順マニュアルに基づいて生成される前記点検対象機器への操作を指示する仮想操作指示オブジェクトと、前記操作手順マニュアルに基づいて生成される前記点検対象機器に対する操作映像である仮想操作映像オブジェクトと、前記点検対象機器に対して行われた操作が正しい操作であるか否を判定する、深層学習を用いて生成された学習済みモデルと、を記憶する記憶工程と、
撮影部により撮影された識別体を認識し、前記識別体に対応する機器を認識し、前記認識された識別体が付された点検対象機器を特定する機器特定工程と、
前記機器特定工程により特定された点検対象機器に対応する仮想操作指示オブジェクトを前記記憶工程から取得して表示部に表示する操作指示工程と、
前記機器特定工程により特定された点検対象機器に対応する仮想操作映像オブジェクトを前記記憶工程から取得して前記表示部に表示する映像再生工程と、
前記撮影部により撮影された前記点検対象機器の点検対象部品の画像に基づいて、前記機器特定工程により特定された点検対象機器に対応する学習済みモデルにより当該点検対象機器の当該点検対象部品に対して行われた操作を判定する操作判定工程と、
を含む運用保守方法。 - 点検対象機器の点検操作手順を示す操作手順マニュアルと、前記操作手順マニュアルに基づいて生成される点検対象機器への操作を指示する仮想操作指示オブジェクトと、前記操作手順マニュアルに基づいて生成される点検対象機器に対する操作映像である仮想操作映像オブジェクトと、点検対象機器に対して行われた操作が正しい操作であるか否を判定する、深層学習を用いて生成された学習済みモデルと、を記憶する記憶手段と、
撮影部により撮影された点検対象機器に付された識別体を認識し、前記認識された識別体が付された点検対象機器を特定する機器特定手段と、
前記機器特定手段により特定された点検対象機器に対応する仮想操作指示オブジェクトを前記記憶手段から取得して表示部に表示する操作指示手段と、
前記機器特定手段により特定された点検対象機器に対応する仮想操作映像オブジェクトを前記記憶手段から取得して前記表示部に表示する映像再生手段と、
前記撮影部により撮影された点検対象機器の点検対象部品の画像に基づいて、前記機器特定手段により特定された点検対象機器に対応する学習済みモデルにより当該点検対象機器の当該点検対象部品に対して行われた操作を判定する操作判定手段と、
を含む運用保守システムとしてコンピュータを機能させる運用保守プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020120761A JP6884911B1 (ja) | 2020-07-14 | 2020-07-14 | 運用保守システム、運用保守方法および運用保守プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020120761A JP6884911B1 (ja) | 2020-07-14 | 2020-07-14 | 運用保守システム、運用保守方法および運用保守プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6884911B1 JP6884911B1 (ja) | 2021-06-09 |
JP2022017914A true JP2022017914A (ja) | 2022-01-26 |
Family
ID=76218216
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020120761A Active JP6884911B1 (ja) | 2020-07-14 | 2020-07-14 | 運用保守システム、運用保守方法および運用保守プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6884911B1 (ja) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005216137A (ja) * | 2004-01-30 | 2005-08-11 | Chugoku Electric Power Co Inc:The | 保守支援システムおよび方法 |
JP2016170641A (ja) * | 2015-03-13 | 2016-09-23 | 富士フイルム株式会社 | 仮想オブジェクト表示システムおよびその表示制御方法並びに表示制御プログラム |
JP2017016549A (ja) * | 2015-07-06 | 2017-01-19 | 株式会社日立システムズ | 文字認識装置、文字認識方法、及びプログラム |
JP2017027098A (ja) * | 2015-07-15 | 2017-02-02 | 株式会社東芝 | 操作認識装置、操作認識方法及びプログラム |
WO2017081920A1 (ja) * | 2015-11-10 | 2017-05-18 | 日本電気株式会社 | 情報処理装置、制御方法、及びプログラム |
JP2017162103A (ja) * | 2016-03-08 | 2017-09-14 | 株式会社東芝 | 点検作業支援システム、点検作業支援方法、点検作業支援プログラム |
JP2017194946A (ja) * | 2016-04-15 | 2017-10-26 | パナソニックIpマネジメント株式会社 | 管理装置、管理方法及び管理プログラム |
JP2018090086A (ja) * | 2016-12-02 | 2018-06-14 | トヨタ自動車株式会社 | 車両用制御装置 |
JP2020022157A (ja) * | 2018-07-18 | 2020-02-06 | エヌ・ティ・ティ・コムウェア株式会社 | 点検システム及び点検方法 |
-
2020
- 2020-07-14 JP JP2020120761A patent/JP6884911B1/ja active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005216137A (ja) * | 2004-01-30 | 2005-08-11 | Chugoku Electric Power Co Inc:The | 保守支援システムおよび方法 |
JP2016170641A (ja) * | 2015-03-13 | 2016-09-23 | 富士フイルム株式会社 | 仮想オブジェクト表示システムおよびその表示制御方法並びに表示制御プログラム |
JP2017016549A (ja) * | 2015-07-06 | 2017-01-19 | 株式会社日立システムズ | 文字認識装置、文字認識方法、及びプログラム |
JP2017027098A (ja) * | 2015-07-15 | 2017-02-02 | 株式会社東芝 | 操作認識装置、操作認識方法及びプログラム |
WO2017081920A1 (ja) * | 2015-11-10 | 2017-05-18 | 日本電気株式会社 | 情報処理装置、制御方法、及びプログラム |
US20190156118A1 (en) * | 2015-11-10 | 2019-05-23 | Nec Corporation | Information processing apparatus, control method, and program |
JP2017162103A (ja) * | 2016-03-08 | 2017-09-14 | 株式会社東芝 | 点検作業支援システム、点検作業支援方法、点検作業支援プログラム |
JP2017194946A (ja) * | 2016-04-15 | 2017-10-26 | パナソニックIpマネジメント株式会社 | 管理装置、管理方法及び管理プログラム |
JP2018090086A (ja) * | 2016-12-02 | 2018-06-14 | トヨタ自動車株式会社 | 車両用制御装置 |
JP2020022157A (ja) * | 2018-07-18 | 2020-02-06 | エヌ・ティ・ティ・コムウェア株式会社 | 点検システム及び点検方法 |
Also Published As
Publication number | Publication date |
---|---|
JP6884911B1 (ja) | 2021-06-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3341851B1 (en) | Gesture based annotations | |
JP6653526B2 (ja) | 測定システムおよびユーザインタフェース装置 | |
JP7197971B2 (ja) | 情報処理装置、情報処理装置の制御方法及びプログラム | |
CN104160369B (zh) | 用于使用可移动引导标记来提供交互导航辅助的方法、装置和计算机可读存储介质 | |
JP3419050B2 (ja) | 入力装置 | |
CN103176690B (zh) | 显示控制设备、显示控制方法和程序 | |
KR102347623B1 (ko) | 컴퓨터 프로그램 생성 장치 및 컴퓨터 프로그램 생성 방법 | |
US20120121185A1 (en) | Calibrating Vision Systems | |
JP2020098568A (ja) | 情報管理装置、情報管理システム、情報管理方法および情報管理プログラム | |
JP2018153874A (ja) | 提示装置、提示方法およびプログラム、ならびに作業システム | |
WO2023100743A1 (ja) | 作業支援システム、作業対象特定装置および方法 | |
JP2022153509A (ja) | 測定支援システム | |
JP2016045588A (ja) | データ処理装置、データ処理システム、データ処理装置の制御方法、並びにプログラム | |
JP5735861B2 (ja) | 画像表示プログラム、画像表示装置、画像表示方法、画像表示システム、マーカ | |
JPWO2018025825A1 (ja) | 撮像システム | |
JP5831764B2 (ja) | 画像表示装置及びプログラム | |
JP6915611B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP2020086980A (ja) | 設備点検支援端末、設備点検支援システム及びプログラム | |
JP6884911B1 (ja) | 運用保守システム、運用保守方法および運用保守プログラム | |
US20120327118A1 (en) | Display control apparatus, display control method and program | |
JP2020123105A (ja) | 学習装置、学習方法、学習プログラム、及び対象物認識装置 | |
KR101240418B1 (ko) | 실시간 비접촉식 동작 모방시스템을 이용한 로봇 교시 장치 및 방법 | |
JP6827717B2 (ja) | 情報処理装置、情報処理装置の制御方法及びプログラム | |
KR20130079962A (ko) | 증강현실을 이용한 포스트잇 컨텐츠 표시 방법 및 이를 실행하는 장치 | |
CN113383371A (zh) | 在基于共同坐标系的虚拟空间的虚拟内容提供方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200715 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20200715 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20200812 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201109 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201117 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20201209 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20201224 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210203 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210420 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210512 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6884911 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |