JP2019032728A - 表示装置および表示方法 - Google Patents

Abstract

【課題】現場における機器の点検や保守が、コストの上昇を抑制してより容易に実施できるようにする。【解決手段】撮像部１０２が撮像した作業者の眼前の現場画像に、視線検出部１０３が検出した視線による視点を合成した合成画像より、機器検出部１０７が、視線の領域に存在する現場機器の画像を検出し、この画像に一致する機器の画像に関連付けられた情報を、機器検出部１０７が記憶部より取得し、この情報を、透過型のヘッドマウントディスプレイからなる表示部１０５に合成画像ともに表示する。【選択図】 図１

Description

本発明は、表示装置および表示方法に関し、特に、作業者の視点に配置されている機器の情報を表示する表示装置および表示方法に関する。

工業系の設備やプラントの現場には、これらに対して所望の運転を実現するために多数のフィールド機器が用いられている。また、設備やプラントが安全かつ適切に運転されるためには、フィールド機器が常に適切に動作していることが重要となる。これを保証するために、保守作業者が定期的に現場に出向き、フィールド機器の点検や保守を実施している。

近年では、フィールド機器はインテリジェント化されており、フィールド機器自身に、予め設定された設定情報や履歴情報を記憶し、備えられているスイッチの操作により自装置が正常か否かを自己診断することが可能となっている。また、保守作業者が携帯している管理機器とフィールド機器との通信が可能とされ、フィールド機器に設定されている情報を管理機器に出力し、また管理機器から更新した情報をフィールド機器に出力することが可能となっている。

従って、保守作業者は、保守作業の際に、フィールド機器のスイッチを操作することや、管理機器を操作することなどの手作業によって、点検や保守を行っており、この手作業をフィールド機器の台数分、行っている。

ところで、上述したような現場の保守作業の支援のために、スマートグラスなどの透過型のヘッドマウントディスプレイを用いた表示システムが開発されている（特許文献１参照）。この技術では、現場において保守対象のフィールド機器を識別するために、識別情報が表示可能な発光型ＲＦＩＤタグが、各フィールド機器に備えられている。作業者が、リーダライタを用いて発光型ＲＦＩＤタグに保守対象の識別情報などを送信と、送信した識別情報に一致する発光型ＲＦＩＤタグが発光する。この発光により、作業者による対象機器の特定が容易となる。更に、応手対象の識別情報に対応する各情報が、作業者が装着している表示部（スマートグラス）に表示される。これにより、作業者は、表示部に表示されている情報を確認しながら保守作業をすることが可能となる。この結果、保守作業の効率が図れるようになる。

特開２００７−０１８１８８号公報 特開平１１−２５９２２５号公報 特開２０００−１５２１２５号公報 特開２００７−０３４２３８号公報 特開平７−０５７０８４号公報 特開平９−０２２４０６号公報

しかしながら、上述した従来の技術では、各機能を実施するために手で操作する入力装置を用いている。また、発光型ＲＦＩＤタグは、対応する現場機器の台数分用意することになる。また、発光型ＲＦＩＤタグを、各現場機器に取り付ける必要がある。このため、装置コストがかかり、また、手間がかかるという問題があった。

本発明は、以上のような問題点を解消するためになされたものであり、現場における機器の点検や保守が、コストの上昇を抑制してより容易に実施できるようにすることを目的とする。

本発明に係る表示装置は、作業対象の機器の画像および機器に関連付けられた情報を記憶する記憶部と、作業者に装着されて作業者の眼前の現場画像を撮像するように構成された撮像部と、作業者の視線を検出するように構成された視線検出部と、視線検出部が検出した視線による視点を、現場画像の対応する位置に重ねた合成画像を作成するように構成された合成部と、作業者に装着される透過型のヘッドマウントディスプレイからなる表示部と、合成画像を表示部に表示するように構成された第１表示制御部と、合成画像から視線検出部が検出した視線の領域に存在する現場機器の画像を検出するように構成された機器検出部と、機器検出部が検出した現場機器の画像に一致する機器の画像に関連付けられた情報を記憶部より取得するように構成された情報取得部と、情報取得部が所得した情報を表示部に表示させるように構成された第２表示制御部とを備える。

上記表示装置において、作業者による手の操作以外の方法により作業者による要求の入力を受け付けるように構成された受付部と、受付部が受け付けた入力の内容に基づいて表示部における表示形態を変更するように構成された第３表示制御部とを更に備えるようにしてもよい。

上記受付部が受け付けた入力により第３表示制御部が表示形態を変更した履歴を記憶するように構成された履歴記憶部を更に備えるようにしてもよい。

上記表示装置において、受付部は、音声入力により作業者による要求の入力を受け付ける。また、受付部は、視線検出部が検出した視線により作業者による要求の入力を受け付ける。

上記表示装置において、記憶部に記憶されて情報取得部により取得される情報は、機器に関する情報、機器の保守に関する作業手順、機器の保守に関する作業内容の少なくとも何れかを含む。

本発明に係る表示方法は、作業対象の機器の画像および機器に関連付けられた情報を記憶部に記憶する第１ステップと、作業者の眼前の現場画像を撮像する第２ステップと、作業者の視線を検出する第３ステップと、第３ステップで検出した視線による視点を、現場画像の対応する位置に重ねた合成画像を作成する第４ステップと、合成画像を作業者に装着された表示部に表示する第５ステップと、合成画像から第３ステップで検出した視線の領域に存在する現場機器の画像を検出する第６ステップと、第６ステップで検出した現場機器の画像に一致する機器の画像に関連付けられた情報を記憶部より取得する第７ステップと、第７ステップで所得した情報を表示部に表示する第８ステップとを備える。

上記表示方法において、作業者による手の操作以外の方法により作業者による要求の入力を受け付ける第９ステップと、第９ステップで受け付けた入力の内容に基づいて表示部における表示形態を変更する第１０ステップとを備えるようにしてもよい。

以上説明したことにより、本発明によれば、現場における機器の点検や保守が、コストの上昇を抑制してより容易に実施できるようになる。

図１は、本発明の実施の形態における表示装置の構成を示す構成図である。 図２は、本発明の実施の形態における表示方法を説明するためのフローチャートである。 図３Ａは、表示部１０５における表示例を示す説明図である。 図３Ｂは、表示部１０５における表示例を示す説明図である。 図３Ｃは、表示部１０５における表示例を示す説明図である。 図４は、本発明の実施の形態における表示装置のハードウエア構成を示す構成図である。

以下、本発明の実施の形態における表示装置について図１を参照して説明する。この表示装置は、記憶部１０１、撮像部１０２、視線検出部１０３、合成部１０４、表示部１０５、第１表示制御部１０６、機器検出部１０７、情報取得部１０８、第２表示制御部１０９を備える。

記憶部１０１は、作業対象のフィールド機器の画像およびフィールド機器に関連付けられた情報を記憶する。例えば、記憶部１０１は、フィールド機器に関連付けられた情報として、作業対象となるフィールド機器に関する情報、フィールド機器の保守に関する作業手順、フィールド機器の保守に関する作業内容を含む。

撮像部１０２は、作業者に装着されて作業者の眼前の現場画像を撮像する。撮像部１０２は、例えば、小型のビデオカメラから構成すればよい。視線検出部１０３は、作業者の視線を検出する。例えば、作業者の眼球の画像情報をもとに視線が検出できる（特許文献２、３参照）。

合成部１０４は、視線検出部１０３が検出した視線による視点を、現場画像の対応する位置に重ねた合成画像を作成する。第１表示制御部１０６は、現場画像または合成画像を表示部１０５に表示する。なお、表示部１０５は、作業者に装着される透過型のヘッドマウントディスプレイから構成されており、具体的には、例えば、スマートグラス（特許文献２参照）であったり、もしくは作業者のヘルメットに取り付けられた小型のディスプレイである（特許文献４参照）。

機器検出部１０７は、合成部１０４が作成した合成画像から、視線検出部１０３が検出した視線の領域に存在する現場機器の画像を検出する。情報取得部１０８は、機器検出部１０７が検出した現場機器の画像に一致する機器の画像に関連付けられた情報を記憶部１０１より取得する。取得される情報は、作業対象となるフィールド機器に関する情報、フィールド機器の保守に関する作業手順、フィールド機器の保守に関する作業内容などである。

機器検出部１０７は、例えば、よく知られた特徴点方式の照合アルゴリズムにより、記憶部１０１に記憶さている画像と現場機器の画像とを照合して一致する画像を検索する（特許文献５参照）。あるいは、機器検出部１０７は、例えば、よく知られた相関方式の照合アルゴリズムにより、記憶部１０１に記憶さている画像と現場機器の画像とを照合して一致する画像を検索する（特許文献６参照）。このようにして一致する画像を検索すると、機器検出部１０７は、検索した画像に関連図蹴られた情報を記憶部１０１より取得する。

第２表示制御部１０９は、情報取得部１０８が所得した情報を表示部１０５に表示させる。第２表示制御部１０９は、取得された情報を、第１表示制御部１０６により表示部１０５に表示されている現場画像または合成画像に重ねて表示させる。

また、この表示装置は、受付部１１０および第３表示制御部１１１を備える。受付部１１０は、作業者による手の操作以外の方法により作業者による要求の入力を受け付ける。

受付部１１０は、例えば、音声入力により作業者による要求の入力を受け付ける。あるいは、受付部１１０は、例えば、視線検出部１０３が検出した視線により作業者による要求の入力を受け付ける。例えば、視線検出部１０３は、表示部１０５に表示されている選択肢のアイコンに、視線検出部１０３が検出した視線が重なる状態を検出すると、この選択肢が選択されたものとして検出する。

第３表示制御部１１１は、受付部１１０が受け付けた入力の内容に基づいて表示部１０５における表示形態を変更する。例えば、作業対象となるフィールド機器に関する情報、フィールド機器の保守に関する作業手順、フィールド機器の保守に関する作業内容などを切り替えて表示する。

なお、受付部１１０が受け付けた入力により第３表示制御部１１１が表示形態を変更した履歴を記憶する履歴記憶部（不図示）を備えるようにしてもよい。

次に、本発明の実施の形態における表示方法について、図２を参照して説明する。まず、ステップＳ１０１で、記憶部１０１に、作業対象の機器の画像および機器に関連付けられた情報を記憶する（第１ステップ）。次に、ステップＳ１０２で、撮像部１０２が、作業者の眼前の現場画像を撮像する（第２ステップ）。次に、ステップＳ１０３で、視線検出部１０３が、作業者の視線を検出する（第３ステップ）。

次に、ステップＳ１０４で、合成部１０４が、視線検出部１０３が検出した視線による視点を、現場画像の対応する位置に重ねた合成画像を作成する（第４ステップ）。次に、ステップＳ１０５で、第１表示制御部１０６が、合成画像を作業者に装着された表示部１０５に表示する（第５ステップ）。例えば、図３Ａに示すように、表示部１０５に、現場画像とともに視点１３１が表示される。

次に、ステップＳ１０６で、機器検出部１０７が、合成画像から、視線の領域に存在する現場機器の画像を検出する（第６ステップ）。例えば、図３Ａにおいて、視点１３１が重なっているフィールド機器の画像を検出する。次に、ステップＳ１０７で、情報取得部１０８が、機器検出部１０７により検出された現場機器の画像に一致する機器の画像を記憶部１０１の中より検索し、検索した機器画像に関連付けられた情報を記憶部１０１より取得する（第７ステップ）。

次に、ステップＳ１０８で、第２表示制御部１０９は、情報取得部１０８が所得した情報を表示部１０５に表示する（第８ステップ）。第２表示制御部１０９は、例えば、図３Ｂに示すように、取得された情報を表示する情報表示１３２を、表示部１０５に表示されている合成画像に重ねて表示させる。この結果、表示部１０５には、現場画像の中で視点１３１が配置されているフィールド機器に関する情報を表示する情報表示１３２が、現場画像（合成画像）とともに表示される。

実施の形態によれば、機器検出部１０７が画像を検出する現場機器は、表示部１０５に表示される合成画像における視点の箇所の現場機器となる。従って、作業者は、表示されている合成画像における視点の位置の現場機器が、情報表示の対象となることが認識できる。この結果、作業者が意図していない現場機器が、検出対象となるなどの間違えが抑制できるようになる。

次に、ステップＳ１０９で、受付部１１０が、音声入力により作業者による要求の入力の受け付けを待機する。操作指示などの要求が音声入力によるなされると（ステップＳ１０９のｙｅｓ）、ステップＳ１１０で、第３表示制御部１１１が、受付部１１０が受け付けた入力の内容に基づいて表示部１０５における表示形態を変更する。

例えば、図３Ｃに示すように、表示部１０５に、現場画像の中で視点１３１が配置されているフィールド機器に関する情報を表示する情報表示１３３が、現場画像（合成画像）とともに表示される。この状態で、「点検項目」の音声が受付部１１０に受け付けられると、情報表示１３３において、点検項目が表示されるようになる。

なお、表示装置は、図４に示すように、ＣＰＵ（Central Processing Unit；中央演算処理装置）２０１と主記憶装置２０２と外部記憶装置２０３とネットワーク接続装置２０４となどを備えたコンピュータ機器であり、主記憶装置に展開されたプログラムによりＣＰＵが動作することで、上述した記憶部１０１、視線検出部１０３、合成部１０４、第１表示制御部１０６、機器検出部１０７、情報取得部１０８、第２表示制御部１０９などの各機能が実現される。ネットワーク接続装置２０４は、ネットワーク２０５に接続する。また、各機能は、複数のコンピュータ機器に分散させるようにしてもよい。

以上に説明したように、本発明では、撮像部が撮像した作業者の眼前の現場画像に視線検出部が検出した視線による視点を合成した合成画像より、機器検出部が、視線の領域に存在する現場機器の画像を検出し、この画像に一致する機器の画像に関連付けられた情報を、機器検出部が記憶部より取得し、この情報を、透過型のヘッドマウントディスプレイからなる表示部に合成画像ともに表示するようにした。この結果、本発明によれば、現場における機器の点検や保守が、コストの上昇を抑制してより容易に実施できるようになる。

なお、本発明は以上に説明した実施の形態に限定されるものではなく、本発明の技術的思想内で、当分野において通常の知識を有する者により、多くの変形および組み合わせが実施可能であることは明白である。

１０１…記憶部、１０２…撮像部、１０３…視線検出部、１０４…合成部、１０５…表示部、１０６…第１表示制御部、１０７…機器検出部、１０８…情報取得部、１０９…第２表示制御部、１１０…受付部、１１１…第３表示制御部。

Claims (8)

1. 作業対象の機器の画像および前記機器に関連付けられた情報を記憶する記憶部と、
   作業者に装着されて前記作業者の眼前の現場画像を撮像するように構成された撮像部と、
   前記作業者の視線を検出するように構成された視線検出部と、
   前記視線検出部が検出した視線による視点を、前記現場画像の対応する位置に重ねた合成画像を作成するように構成された合成部と、
   前記作業者に装着される透過型のヘッドマウントディスプレイからなる表示部と、
   前記合成画像を前記表示部に表示するように構成された第１表示制御部と、
   前記合成画像から前記視線検出部が検出した視線の領域に存在する現場機器の画像を検出するように構成された機器検出部と、
   前記機器検出部が検出した前記現場機器の画像に一致する前記機器の画像に関連付けられた情報を前記記憶部より取得するように構成された情報取得部と、
   前記情報取得部が所得した情報を前記表示部に表示させるように構成された第２表示制御部と
   を備えることを特徴とする表示装置。
2. 請求項１記載の表示装置において、
   前記作業者による手の操作以外の方法により前記作業者による要求の入力を受け付けるように構成された受付部と、
   前記受付部が受け付けた入力の内容に基づいて前記表示部における表示形態を変更するように構成された第３表示制御部と
   を更に備えることを特徴とする表示装置。
3. 請求項２記載の表示装置において、
   前記受付部が受け付けた入力により前記第３表示制御部が表示形態を変更した履歴を記憶するように構成された履歴記憶部を更に備えることを特徴とする表示装置。
4. 請求項２または３記載の表示装置において、
   前記受付部は、音声入力により前記作業者による要求の入力を受け付けることを特徴とする表示装置。
5. 請求項２または３記載の表示装置において、
   前記受付部は、前記視線検出部が検出した視線により前記作業者による要求の入力を受け付けることを特徴とする表示装置。
6. 請求項１〜５のいずれか１項に記載の表示装置において、
   前記記憶部に記憶されて前記情報取得部により取得される情報は、前記機器に関する情報、前記機器の保守に関する作業手順、前記機器の保守に関する作業内容の少なくとも何れかを含むことを特徴とする表示装置。
7. 作業対象の機器の画像および前記機器に関連付けられた情報を記憶部に記憶する第１ステップと、
   作業者の眼前の現場画像を撮像する第２ステップと、
   前記作業者の視線を検出する第３ステップと、
   前記第３ステップで検出した視線による視点を、前記現場画像の対応する位置に重ねた合成画像を作成する第４ステップと、
   前記合成画像を前記作業者に装着された表示部に表示する第５ステップと、
   前記合成画像から前記第３ステップで検出した視線の領域に存在する現場機器の画像を検出する第６ステップと、
   前記第６ステップで検出した前記現場機器の画像に一致する前記機器の画像に関連付けられた情報を前記記憶部より取得する第７ステップと、
   前記第７ステップで所得した情報を前記表示部に表示する第８ステップと
   を備えることを特徴とする表示方法。
8. 請求項７記載の表示方法において、
   前記作業者による手の操作以外の方法により前記作業者による要求の入力を受け付ける第９ステップと、
   前記第９ステップで受け付けた入力の内容に基づいて前記表示部における表示形態を変更する第１０ステップと
   を備えることを特徴とする表示方法。