JP2019101476A - 操作案内システム - Google Patents

Abstract

【課題】操作対象の動作の方向を操作者の位置に関わらず理解しやすい形態で提供する。【解決手段】操作案内システム１０１は、操作者による機械８の可動部９に対する操作指示を受け付けるとともに、操作指示を受け付け可能にする操作準備状態を検知する操作端末２と、操作者の視線に沿って撮影する画像センサ３１と、操作者と機械８との位置関係を推定する推定部と、操作端末２が操作準備状態を検知すると、操作指示に応じて動作する可動部９が動作する方向を表す動作方向指示画像を、前記位置関係に基づいて、操作者から機械８を見た方向に応じた向きで生成する画像生成部と、前記動作方向指示画像を画像センサ３１によって撮影された前記可動部の撮影画像に合成する画像合成部と、合成画像を表示する映像出力デバイス３３とを備える。【選択図】図１

Description

本発明は、操作対象の操作を案内する操作案内システムに関する。

従来、可動部を含む機械などの操作において、操作者に操作内容を分かりやすく提示するために操作の案内を表示することが行われていた。

そのような操作案内の例として、拡張現実（ＡＲ：Augmented Reality）技術を用いて操作対象の画像に操作ガイダンスを重ねて表示することが挙げられる。

また、特許文献１には、取得したユーザの位置および視野の情報に基づいて、ロボットの動作状態を識別可能に示す線画像を生成し、当該線画像をメガネ型表示器においてユーザの視野に重ねて表示するロボット操作システムが開示されている。

また、特許文献２には、半押し操作および全押し操作可能な押圧型スイッチを有し、押圧型スイッチを全押し操作する前に、半押し操作によって選択された押圧型スイッチの配設位置を表示するヘッドマウントディスプレイが開示されている。

また、特許文献３には、可動部材を含むロボットを遠隔操作する操作装置が開示されている。この操作装置は、所定の操作量未満のスイッチ操作を検出すると、当該スイッチ操作に対応して作動する可動部材を示す可動部位画像を、作動しない他の可動部材の可動部位画像と、色などで識別可能に表示する。

特開２０１７−１００２０４号公報（２０１７年６月８日公開） 特開２００８−７０８１７号公報（２００８年３月２７日公開） 特開２０１１−１６１５８６号公報（２０１１年８月２５日公開）

拡張現実技術を用いるシステムおよび特許文献１に開示されたロボット操作システムでは、操作者と操作対象との位置関係を特定することにより、操作対象の位置や特定の部位に案内のための情報を表示することができる。しかしながら、操作者が、そのような情報に基づいて行う操作によって、操作対象がどのように動くかを操作対象の動作に先立って操作者に知らせることはできない。

また、特許文献２に開示されたヘッドマウントディスプレイは、操作者と操作対象との位置関係を特定することができない。操作者と操作対象との位置関係によって、操作者から見た操作対象の動作方向が異なる。したがって、当該ヘッドマウントディスプレイは、操作対象の動作方向を特定して操作者に知らせることはできない。

また、特許文献３に開示された装置は、操作者が操作対象となる可動部材の動作方向を直感的に表示することができる。しかしながら、ロボットの可動部材を遠隔操作する操作装置が、固定位置に配置されていることから、操作装置とロボットとの位置関係は可動部材の動作方向に反映されない。このため、操作者が定位置に留まらずに可動部材を操作する場合、操作者の位置によっては移動方向が分かりづらいという問題がある。

例えば、図８の（ａ）に示すように、操作端末３０１を用いてクレーン３００を操作するとき、図８の（ｂ）に示すように、操作端末３０１のスイッチが押されたときのクレーン３００の移動方向が文字によって操作ガイダンス画像に表示される。

しかしながら、操作者の位置に応じて操作者から見たクレーン３００の移動方向が異なる。このため、常に同じ状態でクレーン３００の移動方向を示しても、例えば操作者がクレーン３００に対して逆の位置に移動すれば、操作ガイダンス画像に示されるクレーン３００を移動方向が操作者にとって逆になり、操作方向を把握しにくくなる。

本発明の一態様は、操作対象の動作の方向を操作者の位置に関わらず理解しやすい形態で提供することを目的とする。

上記の課題を解決するために、本発明の一態様に係る操作案内システムは、操作対象となる可動部を含む可動装置の操作を操作者に案内する操作案内システムであって、操作者による前記可動部に対する操作指示を受け付けるとともに、前記操作指示を受け付け可能にする操作準備状態を検知する操作装置と、操作者の視線の方向にある撮影対象物を撮影する撮影装置と、操作者と前記可動装置との位置関係を推定する推定部と、前記操作装置が前記操作準備状態を検知すると、前記操作指示に応じて動作する前記可動部が動作する方向を表す動作方向指示画像を、前記位置関係に基づいて、操作者から前記可動装置を見た方向に応じた向きで生成する画像生成部と、前記動作方向指示画像を前記撮影装置によって撮影された前記可動部の撮影画像に合成した合成画像を生成する画像合成部と、前記合成画像を表示する表示装置とを備えている。

上記の構成によれば、可動部の動作方向が動作方向指示画像によって撮影画像上で示されるので、操作者は容易に可動部の動作方向を確認することができる。また、動作方向指示画像は、操作者から可動装置を見た方向に応じた向きで生成されるので、操作者が位置を変えると、その位置に応じて動作方向指示画像の向きも変わる。これにより、操作者から見た可動部の動作方向を正確に把握することができる。したがって、操作者が操作指示を与える可動部の動作方向を操作者の位置に関わらず理解しやすい形態で提供することができる。

前記操作案内システムにおいて、前記画像生成部は、さらに、前記可動装置を制御する制御装置から取得した前記可動装置を制御するための制御情報に基づいて前記動作方向指示画像を生成してもよい。

上記の構成によれば、制御情報から得られる、可動部の位置および角度といった可動部の現在の状態や、可動装置の動作モードといった可動部の動作状態を動作方向指示画像に反映させることができる。これにより、これらの情報を動作方向指示画像として視覚的に表現することができる。したがって、動作方向指示画像から複数種類の情報を得ることができる。よって、これらの情報に基づいて効率的な操作を行うことができる。

前記操作案内システムは、前記撮影装置が前記可動装置を撮影していないときに、前記可動部の操作を禁止する操作禁止部をさらに備えていてもよい。

上記の構成によれば、撮影装置が可動部を撮影していない状態、すなわち操作者が可動部を見ていない状態では、可動部の操作が禁止されるので、操作者が可動部を見ていない状態で操作することによって生じる誤操作を回避できる。

前記操作案内システムは、前記撮影装置が前記可動装置を撮影していないときに、操作者から前記可動装置の方向を前記表示装置に表示させる方向表示部をさらに備えていてもよい。

上記の構成によれば、操作者が可動装置を見ていない状態で、可動装置を見ることを操作者に促すことができる。

前記操作案内システムは、前記撮影装置が前記可動装置を撮影していないときに、前記操作装置の前記操作準備状態または前記操作装置が前記操作指示を受け付けた状態が検知されると、警告を発する警告部をさらに備えていてもよい。

上記の構成によれば、操作者が可動装置を見ていない状態で、可動装置を見ることを操作者に促すことができる。

前記操作案内システムは、前記位置関係に応じて、前記操作指示に対応する前記可動部の動作方向を変更する方向変更部をさらに備えていてもよい。

上記の構成によれば、操作指示に対応する前記可動部の動作方向を変更することで、操作者の可動装置に対する位置によっては分かりにくくなる可動部の動作方向を、より分かりやすくすることができる。

本発明の一態様によれば、操作対象の動作の方向を操作者の位置に関わらず理解しやすい形態で提供することができる。

本発明の実施形態１に係る操作案内システムの構成を示すブロック図である。 上記操作案内システムが有するヘッドマウント型ディスプレイに設けられる演算処理装置の構成を示すブロック図である。 上記操作案内システムの動作手順を示すフローチャートである。 （ａ）は上記操作案内システムが操作対象とするクレーンの可動部に対して操作者が操作をしている状態を示す斜視図であり、（ｂ）は上記操作案内システムによって上記可動部の動作方向を含む操作ガイダンス画像を示す図であり、（ｃ）は他の操作ガイダンス画像を示す図である。 （ａ）〜（ｄ）は上記操作案内システムが操作対象とするマニピュレータの操作ガイダンス画像を示す図である。 本発明の実施形態２に係る操作案内システムの構成を示すブロック図である。 本発明の実施形態３に係る操作案内システムの構成を示すブロック図である。 （ａ）は従来のシステムが操作対象とするクレーンの可動部に対して操作者が操作をしている状態を示す斜視図であり、（ｂ）は上記システムによって上記可動部の動作方向を含む操作ガイダンス画像を示す図である。

〔実施形態１〕
本発明の実施形態１について図１〜図５に基づいて説明すると、以下の通りである。

図１は、本実施形態に係る操作案内システム１０１の構成を示すブロック図である。

図１に示すように、操作案内システム１０１は、機械制御装置１（制御装置）と、操作端末２（操作装置）と、ヘッドマウント型ディスプレイ３とを備えている。

まず、機械制御装置１が制御する機械８（可動装置）について説明する。機械８は、可動部９と、アクチュエータ１０とをそれぞれ少なくとも１つ含んでいる。可動部９は、所定の方向に所定の範囲内で動くことができるように設けられている。アクチュエータ１０は、可動部９を駆動する装置であり、可動部９を動かす方向（軸）の数に応じた個数が設けられる。

機械制御装置１は、機械８（アクチュエータ１０）の動作を制御する装置である。機械制御装置１は、入力部１１と、制御部１２と、出力部１３とを有している。

入力部１１は、操作端末２からの情報およびヘッドマウント型ディスプレイ３からの情報が入力されるインターフェースの部分である。

制御部１２は、入力部１１から入力された情報に基づいて、機械８を制御するための機械制御情報（制御情報）を生成する。機械制御情報としては、機械８の動作モード、各種の設定、アクチュエータ１０の現在の位置、アクチュエータ１０の現在の角度などが挙げられる。

出力部１３は、制御部１２からの機械制御情報を出力するインターフェースの部分である。

操作端末２は、操作者が機械８を操作する操作指示を入力するための装置である。操作端末２は、スイッチ２１と、タッチセンサ２２とを有している。

スイッチ２１は、操作指示を入力する押圧操作型の入力デバイスであり、操作者の押し操作によってＯＮ動作する。スイッチ２１は、押し操作が行われたことを表すスイッチ情報を出力する。スイッチ２１は、操作の種類に応じた個数が設けられている。

スイッチ２１は、機械式であってもよいし、タッチパネルによって構成されるものであってもよい。タッチパネルによって構成されるスイッチ２１は、操作者の指が触れる前にその位置を検出できるホバー検出型のタッチパネルが利用可能である。このようなスイッチ２１を用いると、タッチセンサ２２を不要にすることができる。

タッチセンサ２２は、スイッチ２１上に設けられており、操作者の指がスイッチ２１に触れたことを静電容量の変化などによって検知する。タッチセンサ２２は、操作者の指が触れたことを検知した結果を表すタッチセンサ情報を出力する。

指がスイッチ２１に触れたことを検知するセンサとしては、タッチセンサ２２以外に、フォトセンサ、二段階スイッチなどを用いることができる。

また、操作端末２は、スイッチ２１およびタッチセンサ２２に代えて、イネーブルスイッチおよび操作スイッチを有していてもよい。操作スイッチのみが押された場合に、後述するようにガイダンス表示モデルを表示させ、イネーブルスイッチおよび操作スイッチの両方が押された場合に、機械８を動作させるようにしてもよい。

操作端末２は、操作準備状態を認識すると、タッチセンサ２２から出力されるタッチセンサ情報を外部に出力する。操作準備状態は、操作者の指がスイッチ２１に触れているがＯＮする程度にスイッチ２１を押していない状態であって、操作指示の受け付けを可能にする状態である。また、操作端末２は、操作者の指がスイッチ２１をＯＮする程度に押した状態で操作指示を受け付けて、スイッチ２１から出力されるＯＮ信号をスイッチ情報として外部に出力する。

なお、１回押しただけでは操作として受け付けられず、２回押すと操作として受け付けられるスイッチも操作装置として用いることができる。このようなスイッチを用いる場合、１回目の操作が操作準備状態に相当する。

ヘッドマウント型ディスプレイ３は、頭部装着型の表示装置である。ヘッドマウント型ディスプレイ３は、画像センサ３１（撮影装置）と、演算処理装置３２と、映像出力デバイス３３（表示装置）と、記憶部３４とを有している。

画像センサ３１は、ヘッドマウント型ディスプレイ３を装着している操作者の顔が向く方向にある撮影対象物を撮影して撮影画像情報を出力するセンサである。画像センサ３１は、操作者の視線の方向（顔の向き）にある被写体を撮影する。

演算処理装置３２は、入力情報に基づいて、操作者が見ている機械８の画像にガイダンス表示モデルを重ねて表示する合成画像を生成する。演算処理装置３２への入力情報としては、画像センサ３１からの撮影画像情報、機械制御装置１からの機械制御情報、操作端末２からのスイッチ情報およびタッチセンサ情報、後述する記憶部３４に記憶された機械モデル情報などが挙げられる。また、演算処理装置３２は、操作者が機械８を視認していることを表す視認情報を、画像センサ３１から取得した撮影画像情報に基づいて機械制御装置１の入力部１１に送出する。

映像出力デバイス３３は、演算処理装置３２から出力された合成画像を操作者の眼前に表示するデバイス（液晶ディスプレイなど）である。

記憶部３４は、メモリなどで構成されており、機械モデル情報を記憶している。機械モデル情報は、機械８の全体の形状、可動部９の形状などを表す情報であり、ＣＡＤ（Computer Aided Design）データなどが用いられる。

なお、機械モデル情報を外部から取得できるようにしてもよい。

続いて、演算処理装置３２について、より詳細に説明する。図２は、演算処理装置３２の構成を示すブロック図である。

図２に示すように、演算処理装置３２は、位置関係推定部３２１（推定部）と、ガイダンス表示モデル生成部３２２（画像生成部）と、座標変換部３２３（画像生成部）と、画像合成部３２４とを有している。

位置関係推定部３２１は、画像センサ３１からの撮影画像情報に基づいて、操作者と機械８との位置関係を推定する。具体的には、位置関係推定部３２１は、撮影画像情報から機械８の画像の大きさを認識し、基準となる機械８の画像の大きさと距離との関係と、認識した画像の大きさとを比較対照することにより、操作者と機械８との間の距離を算出する。また、位置関係推定部３２１は、機械８の正面に対する操作者の角度（向き）を、認識した画像の正面からの傾きに基づいて算出する。位置関係推定部３２１は、算出した距離および角度を位置関係の推定情報として出力する。位置関係推定部３２１によって推定された位置関係より、操作者から機械８を見た方向を特定できる。

また、位置関係推定部３２１は、画像センサ３１からの撮影画像情報以外の情報に基づいて、操作者と機械８との位置関係を推定するようにしてもよい。

このような情報としては、例えば、機械８に設けられたカメラで撮影した操作者の顔の画像情報が挙げられる。機械８は、操作者の顔の画像に基づいて顔認証を行い、機械８の操作が認められた操作者であると認証した操作者の顔画像を機械制御装置１を通じてヘッドマウント型ディスプレイ３に送信する。位置関係推定部３２１は、カメラから取得した操作者の顔画像に基づいて、上記の画像センサ３１からの撮影画像情報に基づく位置関係の推定方法と同様の方法で操作者と機械８との位置関係を推定する。

また、上記の情報としては、機械８が設置された部屋の天井などに設けられた複数のカメラで撮影した操作者の画像情報が挙げられる。位置関係推定部３２１は、各カメラから取得した複数の画像情報を解析して、操作者が向いている方向と、操作者と機械８との間の距離とを特定することにより、操作者と機械８との位置関係を推定する。

さらに、上記の情報としては、ＧＰＳ（Global Positioning System）による操作者および機械８の位置検出信号が挙げられる。位置関係推定部３２１は、このような位置検出信号に基づいて操作者と機械８との位置関係を推定する。

ガイダンス表示モデル生成部３２２は、機械８の操作を案内するガイダンス表示モデルを表す三次元モデルデータを生成する。ガイダンス表示モデルは、機械８の可動部９が操作者によるスイッチ２１の操作に応じて動作する方向などを表すモデルである。ガイダンス表示モデル生成部３２２は、記憶部３４から取得した機械モデル情報と、機械制御装置１から取得した機械制御情報と、操作端末２から取得したスイッチ情報およびタッチセンサ情報とに基づいて、三次元モデルデータを生成する。

座標変換部３２３は、操作者から機械８を見た方向に応じた向きでガイダンス表示モデルを表示するように、ガイダンス表示モデル生成部３２２からの三次元モデルデータの座標を変換する。座標変換部３２３は、このようにガイダンス表示モデルを表示するために、操作者から機械８を見た方向を特定できる上記の位置関係に基づいて三次元モデルデータの座標を変換する。

画像合成部３２４は、座標が変換された三次元モデルデータを撮影画像に重ねるように、三次元モデルデータと撮影画像情報（撮影画像データ）とを合成する。画像合成部３２４は、合成した合成画像データを映像出力デバイス３３に出力する。

以上のように構成される操作案内システム１０１の動作について説明する。図３は、操作案内システム１０１の動作手順を示すフローチャートである。

図３に示すように、まず、ヘッドマウント型ディスプレイ３において、演算処理装置３２は、画像センサ３１からの撮影画像情報を取得する（ステップＳ１）。また、演算処理装置３２は、機械制御装置１からの機械制御情報を取得し（ステップＳ２）、さらに、操作端末２からタッチセンサ情報を取得する（ステップＳ３）。

位置関係推定部３２１は、撮影画像情報に含まれる撮影画像データを解析し、機械８に対する撮影位置および撮影角度を推定する（ステップＳ４）。位置関係推定部３２１は、撮影位置および撮影角度を推定することにより、操作者と機械８との位置関係を推定する。

撮影位置は、操作者が装着しているヘッドマウント型ディスプレイ３が機械８を撮影したときの操作者の位置である。撮影角度は、操作者が機械８に面した部分の機械８の正面に対する傾斜角度である。

演算処理装置３２の位置関係推定部３２１は、撮影画像情報に基づいて、画像センサ３１が撮影する範囲である操作者の視野内に機械８があるか否かを判定する（ステップＳ５）。位置関係推定部３２１は、操作者の視野内に機械８があると判定すると（ステップＳ５のＹＥＳ）、機械制御装置１に機械８の操作許可を通知する（ステップＳ６）。位置関係推定部３２１は、機械８の視認状態の情報（視認しているという情報）を送出することで、操作許可を通知する。

ここで、演算処理装置３２は、タッチセンサ２２からのタッチセンサ情報の有無に応じて、タッチセンサ２２がＯＮしているか否かを判定する（ステップＳ７）。演算処理装置３２がタッチセンサ２２のＯＮ状態を判定すると（ステップＳ７のＹＥＳ）、ガイダンス表示モデル生成部３２２は、入力情報に基づいて三次元モデルデータを生成する（ステップＳ８）。

ガイダンス表示モデル生成部３２２は、操作者が触れたスイッチ２１をタッチセンサ情報から特定する。また、ガイダンス表示モデル生成部３２２は、特定したスイッチ２１によって操作される可動部９が動作する方向を示す画像の画像データを、機械モデル情報を用いて三次元モデルデータとして生成する。また、ガイダンス表示モデル生成部３２２は、機械制御情報によって特定される現在の可動部９の位置を基準として、三次元モデルを配置する位置を特定する。

座標変換部３２３は、推定された操作者と機械８との位置関係に基づいて、三次元モデルデータの座標を変換し、画像合成部３２４は、座標が変換された三次元モデルデータと撮影画像データとを合成することで合成画像データを出力する（ステップＳ９）。

座標変換部３２３は、上記の位置関係より、操作者の位置から機械８までの距離と、機械８の正面に対して操作者が機械８に面する角度とを認識し、主に角度に基づいて、操作者に対する三次元モデルが示す方向を認識する。そして、座標変換部３２３は、当該方向に基づいて、三次元モデルデータにおける方向を特定する方向特定座標を算出し、変換前の方向特定座標を、算出した方向特定座標に置き替える。

例えば、三次元モデルが矢印である場合、方向特定座標は、矢印の先端の座標および後端の座標である。そこで、座標変換部３２３は、矢印の先端と後端との方向特定座標を算出すると、ガイダンス表示モデル生成部３２２からの三次元モデルデータに含まれる方向特定座標を、算出した方向特定座標に置き替える。

また、位置関係推定部３２１（操作禁止部）は、操作者の視野内に機械８がないと判定すると（ステップＳ５のＮＯ）、機械制御装置１に機械８の操作禁止を通知して（ステップＳ１０）、処理を終える。位置関係推定部３２１は、機械制御装置１に機械８の視認状態の情報（視認していないという情報）を送出することで、操作禁止を通知する。

また、演算処理装置３２は、タッチセンサ２２がＯＮしていないと判定したときも（ステップＳ７のＮＯ）、処理を終える。

映像出力デバイス３３は、合成画像データに基づいて、機械８の撮影画像にガイダンス表示モデル（三次元モデル）が示された合成画像を操作ガイダンス画像として表示する。

ところで、機械制御装置１の制御部１２は、位置関係推定部３２１からの操作許可の通知（指令）を受けると、アクチュエータ１０を動作させる。一方、制御部１２は、位置関係推定部３２１からの操作禁止の通知（指令）を受けると、操作端末２からスイッチ情報を受けても、アクチュエータ１０を動作させない。

このように、撮影画像に機械８（操作対象となる可動部９）が含まれていないとき、すなわち機械８が操作者の視野内にないとき、位置関係推定部３２１が機械８の操作を禁止する。これにより、操作端末２による操作を無効化することができる。したがって、操作者が機械８を見ていない状態で操作端末２を操作することによって生じる誤操作を回避できる。

また、位置関係推定部３２１（方向表示部）は、操作禁止を機械制御装置１に通知するときに、操作者から機械８の方向を映像出力デバイス３３に表示させてもよい。これにより、機械８を見ることを操作者に促すことができる。

また、位置関係推定部３２１（警告部）は、操作禁止を機械制御装置１に通知するときに、タッチセンサ２２のＯＮ状態がタッチセンサ情報によって検知されるか、またはスイッチ２１のＯＮ状態がスイッチ情報によって検知されるかすると、操作禁止の警告を発してもよい。具体的には、位置関係推定部３２１は、警告を映像出力デバイス３３に表示させてもよいし、あるいは、ヘッドマウント型ディスプレイ３に設けられたスピーカに当該警告を音声で出力させてもよい。これにより、機械８を見ることを操作者に促すことができる。

また、位置関係推定部３２１（方向変更部）は、推定した位置関係に応じて、スイッチ２１の操作によって入力される操作指示に応じて動作する可動部９の動作方向を変更するように機械制御装置１に指示を送出してもよい。機械制御装置１は、その指示を受けて、変更された動作方向に可動部９を動作させるようにアクチュエータ１０を制御する。

このように、操作指示に対応する可動部９の動作方向を変更することで、操作者の機械８に対する位置によっては分かりにくくなる可動部の動作方向を、より分かりやすくすることができる。例えば、通常、機械８の正面を向いて操作しているのに対し、機械８の背面側から操作する場合、可動部９の操作感覚が通常の操作感覚とは逆になる。そこで、スイッチ２１による操作指示に対応する可動部９の動作方向を逆に変更することにより、機械８の背面側でも、正面側と同じ操作感覚を得ることができる。また、宇宙空間のように、定位置での操作が困難な場合も、操作感覚を一定に保つ観点から、必要に応じて、操作指示に対応する可動部９の動作方向を変更することが好ましい。

ただし、操作者の意図しないタイミングで動作方向を変更すると、誤操作を生じる可能性が高まる。したがって、位置関係推定部３２１は、スイッチ２１に対応した可動部９の動作方向が変更されたことを、上述の操作禁止の警告と同じ出力手段を用いて報知する。あるいは、位置関係推定部３２１は、操作者が操作端末２を操作しているときに（操作準備状態および直近の操作完了後の所定期間（例えば数秒）を含む）、上記の動作方向変更の指示を機械制御装置１に送出しないようにしてもよい。

続いて、操作案内システム１０１による操作案内の具体例について説明する。

図４の（ａ）は、操作案内システム１０１が操作対象とするクレーン１５０の可動部１５０ａに対して操作者が操作をしている状態を示す斜視図である。図４の（ｂ）は、操作案内システム１０１によって可動部１５０ａの動作方向を含む操作ガイダンス画像２０１を示す図である。図４の（ｃ）は、他の操作ガイダンス画像２０２を示す図である。図５の（ａ）〜（ｄ）は、操作案内システム１０１が操作対象とするマニピュレータの操作ガイダンス画像２１０を示す図である。

図４の（ａ）に示すように、操作対象となる機械８としてのクレーン１５０を操作端末２を用いて操作する場合、操作者が装着しているヘッドマウント型ディスプレイ３には、図４の（ｂ）に示す操作ガイダンス画像２０１が表示されている。この状態では、クレーン１５０の可動部１５０ａを含む部分が、画像センサ３１によって撮影されており、操作者の視野内にある。この状態では、操作ガイダンス画像２０１に、可動部１５０ａが動く方向を示す矢印２０１ａ（動作方向指示画像）がガイダンス表示モデルとして示される。これにより、操作者は、操作端末２で触れたスイッチ２１によって操作される可動部１５０ａの動作方向を把握することができる。そして、操作者は、スイッチ２１を押すことにより、可動部１５０ａを操作することができる。

操作者が可動部１５０ａを操作する位置を変えた場合、演算処理装置３２が、操作者とクレーン１５０との位置関係を新たに算出し、その位置関係に基づいて生成した三次元モデルデータと操作者の位置からの撮影画像データとの合成画像データを出力する。これにより、新たに得られた操作ガイダンス画像２０１は、変更された操作者の位置から見たクレーン１５０と、可動部１５０ａの動作方向が示された矢印２０１ａとを含む。したがって、操作者がクレーン１５０に対する位置を変えても、その位置に応じて可動部１５０ａの動作方向が示されるので、操作者にとって可動部１５０ａの動く方向が把握しやすくなる。

また、クレーン１５０の動作モードとして高速動作モードおよび低速動作モードが設けられている場合、矢印２０１ａの長さを可動部１５０ａの動作速度、すなわち高速動作モードおよび低速動作モードの相違として表してもよい。具体的には、低速動作モードの場合、図４の（ｂ）に示す操作ガイダンス画像２０１には短い矢印２０１ａが示され、高速動作モードの場合、図４の（ｃ）に示す操作ガイダンス画像２０２には長い矢印２０２ａ（動作方向指示画像）が示される。これにより、操作者は視覚的に動作モードを判別することができる。

このように、矢印２０１ａ，２０２ａ（ガイダンス表示モデル）は、可動部１５０ａの動作方向以外の情報を表現していてもよい。

操作対象となる機械８としてのマニピュレータを操作端末２を用いて操作する場合、操作者が装着しているヘッドマウント型ディスプレイ３には、図５の（ａ）〜（ｄ）に示す操作ガイダンス画像２１０が表示されている。操作ガイダンス画像２１０には、マニピュレータ２１１の実画像と、マニピュレータ２１１の動く方向を表す矢印２１２（ガイダンス表示モデル）とが示されている。

図５の（ａ）および（ｂ）に示すように、矢印２１２，２１３は、操作者が触れたスイッチ２１に対応する可動部９（マニピュレータ２１１のハンド）付近に設けられている。矢印２１２，２１３の位置は、ガイダンス表示モデル生成部３２２によって、機械制御情報から得られる、マニピュレータ２１１のアクチュエータ（アクチュエータ１０）の現在位置および角度などに基づいて決定される。

図５の（ｃ）および（ｄ）に示す操作ガイダンス画像２１０では、機械制御情報から得られる動作モードが反映されている。動作モードが単軸指定である場合、図５の（ｃ）に示す操作ガイダンス画像２１０では、矢印２１４が可動部９（ハンド）が動作する単軸の２方向の矢印のうち、動作方向を示す矢印を他の方向の矢印と色を異ならせて示している。また、動作モードが先端位置指定である場合、図５の（ｄ）に示す操作ガイダンス画像２１０では、４方向に向いた矢印２１５が可動部９（ハンド）の動作方向を示す矢印のみを他の方向の矢印と色を異ならせて示している。

以上のように、本実施形態の操作案内システム１０１は、操作端末２と、演算処理装置３２を有するヘッドマウント型ディスプレイ３とを備えている。

操作端末２は、操作者による可動部９に対する操作指示を受け付けるとともに、操作指示を受け付け可能にする操作準備状態を検知する。

演算処理装置３２は、画像センサ３１から取得した機械８の画像および操作者の位置に基づいて、操作者と機械８との位置関係を推定する位置関係推定部３２１を有している。また、演算処理装置３２は、操作端末２が操作準備状態を検知すると、操作指示に応じて動作する可動部９が動作する方向を表す三次元モデルを、上記の位置関係に基づいて、操作者から機械８を見た方向に応じた向きで生成するガイダンス表示モデル生成部３２２および座標変換部３２３を有する。また、演算処理装置３２は、三次元モデルを画像センサ３１によって撮影された機械８の撮影画像と合成する画像合成部３２４を有している。

これにより、可動部９の動作方向が三次元モデルによって撮影画像上で示されるので、操作者は容易に可動部９の動作方向を確認することができる。また、三次元モデルは、操作者から機械８（可動部９）を見た方向に応じた向きで生成されるので、操作者が位置を変えると、その位置に応じて三次元モデルの向きも変わる。

したがって、操作者から見た可動部９の動作方向を正確に把握することができる。よって、操作者が操作指示を与える可動部９の動作方向を操作者の位置に関わらず理解しやすい形態で提供することができる。

また、三次元モデルがスイッチ２１の機能に関する情報（動作方向）を直感的に示すことにより、誤操作を軽減することができるだけでなく、機械操作を効率的に習得することができる。

また、視線の移動を最小限に抑えることができる。これにより、作業効率の向上、操作者の不注意による事故の抑制などを図ることができる。

なお、本実施形態では、操作端末２と、ヘッドマウント型ディスプレイ３とを備える操作案内システム１０１について説明したが、このような構成はあくまでも一例である。本実施形態を含む各実施形態は、このような構成以外に、タブレット端末や、ロボットのティーチングペンダントのように、操作部と表示部とが一体に設けられた構成にも適用される。

本実施形態では、機械８を撮影した画像に可動部９の動作方向を矢印で示す例について説明した。しかしながら、ガイダンス表示モデルが可動部９の動作方向を示す形態は矢印には限定されない。例えば、機械８の３Ｄモデルを表示して可動部９の動作方向をアニメーションによって示してもよいし、アイコン、ポップアップ画像などで可動部９の動作方向を示してもよい。

また、ヘッドマウント型ディスプレイ３には、スイッチ２１が押されたことを示すマークなどの報知画像が表示されてもよい。この報知画像は、例えば、ガイダンス表示モデル生成部３２２によって生成される。

また、操作ガイダンス画像には、可動部９の動作方向だけでなく、操作者が触れたスイッチ２１の名称や機能情報が含まれていてもよい。このような情報も、ガイダンス表示モデル生成部３２２によって生成される。

また、上述した操作ガイダンス画像を表示する形態は、ヘッドマウント型ディスプレイ３による表示形態に限定されず、プロジェクションマッピングのような投影手法による表示形態であってもよい。

また、ヘッドマウント型ディスプレイ３には、多様な形状を有し、かつディスプレイ方式、投影方式などで様々な方式を用いるものがある。本実施形態を含む各実施形態は、ヘッドマウント型ディスプレイ３の形状や方式に依存しないことは勿論である。

また、演算処理装置３２は、ヘッドマウント型ディスプレイ３に内蔵されていてもよいし、ヘッドマウント型ディスプレイ３の外部に設けられていてもよい。

また、操作端末２は、可搬型であるかどうかに依存しない。例えば、大規模設備において、リモート操作によってカメラを移動させて撮影を行う装置を操作するシステム、キャスターで移動させるワゴン型の操作装置などは、可搬型の範疇には含まれない。

また、機械８と操作者（画像センサ３１）との位置関係の推定と、可動部９の動作方向のガイダンス表示モデルを表示する位置の検出とを行う手段として、マーカーを利用してもよい。

また、本実施形態を含む各実施形態では、機械８を撮影する手段（カメラ）として、画像センサ３１を用いているが、これに代えて距離画像センサを利用してもよい。また、カメラ以外に各種センサ（加速度センサ、ジャイロ、磁気センサなど）を併用することで、機械８とカメラとの位置関係を推定する精度を向上させてもよい。

演算処理装置３２が機械制御装置１および操作端末２から取得する情報には、前述のスイッチ２１情報、タッチセンサ情報、機械制御情報などが含まれる。これらの情報の通知および取得には、通信（無線／有線）を利用してもよいし（後述する実施形態２，３を参照）、デジタル／アナログ入出力を利用してもよい。また、ヘッドマウント型ディスプレイ３が情報を取得する経路は、機械制御装置１や外部の通信機器を経由してもよい。

〔実施形態２〕
本発明の実施形態２について図６に基づいて説明すると、以下の通りである。なお、本実施形態において、実施形態１における構成要素と同一の機能を有する構成要素については、同一の符号を付記して、その説明を省略する。

図６は、本実施形態に係る操作案内システム１０２の構成を示すブロック図である。

図６に示すように、操作案内システム１０２は、機械制御装置１Ａ（制御装置）と、操作端末２Ａ（操作装置）と、ヘッドマウント型ディスプレイ３Ａとを備えている。

機械制御装置１Ａは、実施形態１の操作案内システム１０１における機械制御装置１と同じく、入力部１１と、制御部１２と、出力部１３とを有している。また、機械制御装置１Ａは、さらに通信部１４，１５を有している。

通信部１４は、操作端末２Ａから受信した情報（スイッチ情報およびタッチセンサ情報）を入力部１１に送出する。通信部１５は、出力部１３から出力される機械制御情報をヘッドマウント型ディスプレイ３に送信する。また、通信部１５は、入力部１１、制御部１２および出力部１３を経由して出力される操作端末２Ａからの受信情報をヘッドマウント型ディスプレイ３に送信する。さらに、通信部１５は、ヘッドマウント型ディスプレイ３Ａから送信される機械８の視認状態についての情報を受信して入力部１１に送出する。

操作端末２Ａは、操作案内システム１０１における操作端末２と同じく、スイッチ２１と、タッチセンサ２２とを有している。また、操作端末２Ａは、さらに通信部２３を有している。通信部２３は、機械制御装置１Ａの通信部１４にスイッチ情報およびタッチセンサ情報を送信する。

ヘッドマウント型ディスプレイ３Ａは、操作案内システム１０１におけるヘッドマウント型ディスプレイ３と同じく、画像センサ３１と、演算処理装置３２と、映像出力デバイス３３と、記憶部３４とを有している。また、ヘッドマウント型ディスプレイ３Ａは、さらに通信部３５を有している。

通信部３５は、演算処理装置３２から出力される機械８の視認状態についての情報を機械制御装置１Ａの通信部１５に送信する。また、通信部３５は、機械制御装置１Ａの通信部１５から送信される、機械制御情報および操作端末２Ａからの受信情報を受信して演算処理装置３２に送出する。

このように構成される操作案内システム１０２では、各種の情報のやり取りが通信（有線または無線）によって行われる。これにより、ＬＡＮ（Local Area Network）、近距離無線通信などを用いて、機械制御装置１Ａ、操作端末２Ａおよびヘッドマウント型ディスプレイ３Ａの間で各種情報をやり取りすることができる。

〔実施形態３〕
本発明の実施形態３について図７に基づいて説明すると、以下の通りである。なお、本実施形態において、実施形態１における構成要素と同一の機能を有する構成要素については、同一の符号を付記して、その説明を省略する。

図７は、本実施形態に係る操作案内システム１０３の構成を示すブロック図である。

図７に示すように、操作案内システム１０３は、機械制御装置１Ｂ（制御装置）と、操作端末２Ｂ（操作装置）と、ヘッドマウント型ディスプレイ３Ｂとを備えている。

機械制御装置１Ｂは、実施形態１の操作案内システム１０１における機械制御装置１と同じく、入力部１１と、制御部１２と、出力部１３とを有している。しかしながら、入力部１１は、ヘッドマウント型ディスプレイ３Ｂから機械８の視認状態についての情報が入力されない。また、出力部１３は、ヘッドマウント型ディスプレイ３Ｂに機械制御情報を出力しない。

操作端末２Ｂは、操作案内システム１０１における操作端末２と同じく、スイッチ２１と、タッチセンサ２２とを有している。また、操作端末２Ｂは、さらに通信部２４を有している。通信部２４は、ヘッドマウント型ディスプレイ３Ｂの通信部３５にスイッチ情報およびタッチセンサ情報を送信する。

ヘッドマウント型ディスプレイ３Ｂは、実施形態２の操作案内システム１０２におけるヘッドマウント型ディスプレイ３Ａと同じく、画像センサ３１と、演算処理装置３２と、映像出力デバイス３３と、記憶部３４と、通信部３５とを有している。ただし、通信部３５は、機械制御装置１Ｂの出力部１３に機械８の視認状態についての情報を送出しない。

このように構成される操作案内システム１０３では、機械制御装置１Ｂとヘッドマウント型ディスプレイ３Ｂとの間で情報の授受が行われない。このため、ヘッドマウント型ディスプレイ３Ｂは機械制御情報を機械制御装置１から取得しないし、機械制御装置１Ｂは機械８の視認状態についての情報をヘッドマウント型ディスプレイ３Ｂから取得しない。

このため、演算処理装置３２（ガイダンス表示モデル生成部３２２）は、機械制御情報を利用することなくガイダンス表示モデルを生成する。また、機械制御装置１Ｂは、操作案内システム１０１の機械制御装置１が行うような、操作者が機械８を視認していないときに機械８の制御を停止することを行わない。

したがって、操作案内システム１０３は、上述した操作案内システム１０１，１０２と比べて簡素に構成されており、簡易型のシステムとして安価に利用することができる。

〔ソフトウェアによる実現例〕
ヘッドマウント型ディスプレイ３，３Ａ，３Ｂの演算処理装置３２は、ソフトウェアによって実現される。ヘッドマウント型ディスプレイ３，３Ａ，３Ｂは、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば１つ以上のプロセッサを備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。

上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

〔付記事項〕
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

１，１Ａ，１Ｂ 機械制御装置（制御装置）
２，２Ａ，２Ｂ 操作端末（操作装置）
８ 機械（可動装置）
９ 可動部
３１ 画像センサ（撮影装置）
３３ 映像出力デバイス（表示装置）
３２１ 位置関係推定部（推定部，操作禁止部，方向表示部，警告部）
３２２ ガイダンス表示モデル生成部（画像生成部）
３２３ 座標変換部（画像生成部）
３２４ 画像合成部

Claims (6)

1. 操作対象となる可動部を含む可動装置の操作を操作者に案内する操作案内システムであって、
   操作者による前記可動部に対する操作指示を受け付けるとともに、前記操作指示を受け付け可能にする操作準備状態を検知する操作装置と、
   操作者の視線の方向にある撮影対象物を撮影する撮影装置と、
   操作者と前記可動装置との位置関係を推定する推定部と、
   前記操作装置が前記操作準備状態を検知すると、前記操作指示に応じて動作する前記可動部が動作する方向を表す動作方向指示画像を、前記位置関係に基づいて、操作者から前記可動装置を見た方向に応じた向きで生成する画像生成部と、
   前記動作方向指示画像を前記撮影装置によって撮影された前記可動装置の撮影画像に合成した合成画像を生成する画像合成部と、
   前記合成画像を表示する表示装置とを備えていることを特徴とする操作案内システム。
2. 前記画像生成部は、さらに、前記可動装置を制御する制御装置から取得した前記可動装置を制御するための制御情報に基づいて前記動作方向指示画像を生成することを特徴とする請求項１に記載の操作案内システム。
3. 前記撮影装置が前記可動装置を撮影していないときに、前記可動部の操作を禁止する操作禁止部をさらに備えていることを特徴とする請求項１または２に記載の操作案内システム。
4. 前記撮影装置が前記可動装置を撮影していないときに、操作者から前記可動装置の方向を前記表示装置に表示させる方向表示部をさらに備えていることを特徴とする請求項１から３のいずれか１項に記載の操作案内システム。
5. 前記撮影装置が前記可動装置を撮影していないときに、前記操作装置の前記操作準備状態または前記操作装置が前記操作指示を受け付けた状態が検知されると、警告を発する警告部をさらに備えていることを特徴とする請求項１から４のいずれか１項に記載の操作案内システム。
6. 前記位置関係に応じて、前記操作指示に対応する前記可動部の動作方向を変更する方向変更部をさらに備えていることを特徴とする請求項１から５のいずれか１項に記載の操作案内システム。

Images