JP2019209392A - 力覚視覚化装置、ロボットおよび力覚視覚化プログラム - Google Patents

Abstract

【課題】遠隔地で作業するロボットがどのような外力を受けたのかを、ユーザが直感的に素早く認識できる技術を提供する。【解決手段】力覚視覚化装置は、ロボットの周辺環境を撮像した撮像データおよび当該ロボットが外部から受けた力覚に関する力覚データを取得するデータ取得部と、力覚データに基づいて力覚をオノマトペの文字情報に変換する変換部と、撮像データの画像に文字情報を重畳して出力する画像出力部とを備える。【選択図】図２

Description

本発明は、力覚視覚化装置、ロボットおよび力覚視覚化プログラムに関する。

遠隔地の移動ロボットを操作して作業を行う技術が知られている。また、自律移動する移動ロボットから送られてくる画像により離れた場所の観察を行う技術が知られている。遠隔地のユーザが、移動ロボットが受けた力覚を、触覚デバイスを介して擬似的に体感できる技術も知られるようになってきた（例えば、特許文献１を参照）。

特表２００５−５１０２８９号公報

触覚デバイスは、例えばロボットフィンガーが受けた力覚をユーザの指先に伝えるといった用途に利用され、再現できる箇所が局所的であり、再現できる力覚も限定的である。ロボットの用途によっては、当該ロボットが受けた力覚をユーザがそのまま体感する必要性はない。ロボットから離れているユーザは、当該ロボットがどのような外力を受けたのかを、直感的に素早く知りたい場合がある。

本発明は、このような問題を解決するためになされたものであり、遠隔地で作業するロボットがどのような外力を受けたのかを、ユーザが直感的に素早く認識できる技術を提供するものである。

本発明の第１の態様における力覚視覚化装置は、ロボットの周辺環境を撮像した撮像データおよび当該ロボットが外部から受けた力覚に関する力覚データを取得するデータ取得部と、力覚データに基づいて力覚をオノマトペの文字情報に変換する変換部と、撮像データの画像に文字情報を重畳して出力する画像出力部とを備える。

このような構成により、ユーザは、遠隔地で作業するロボットが外力を受けた事実を、ロボットの周辺画像に重畳された視覚情報として瞬時に認識できる。また、表示を擬音語や擬態語であるオノマトペの文字情報とすることにより、ロボットが受けた力覚の性質を直感的に認識できる。

上記の力覚視覚化装置において、力覚データは、ロボットが力覚を受けた位置情報を含み、画像出力部は、位置情報に基づいて文字情報を重畳する画像上の位置を決定すると良い。ユーザは、接触の発生場所を文字情報の位置によって認識できるので、接触の発生原因などを推定しやすい。また、変換部は、受けた力の大きさ、単位時間当たりの力の変化量、および接触対象物の硬さの少なくとも何れかの変換情報を力覚データから抽出し、当該変換情報に基づいてオノマトペを変化させると良い。ユーザは、オノマトペが有するニュアンスによって接触状況を直感的に認識することができる。

上記の力覚視覚化装置において、データ取得部は、遠隔地で動作するロボットが出力する撮像データおよび力覚データを、ネットワークを介して取得しても良い。ネットワークを介することで、ロボットの作業場所を格段に広げることができる。また、画像出力部は、ユーザが装着するヘッドマウントディスプレイへ文字情報を重畳した画像を出力すると良い。特に、ロボットを遠隔操作するユーザは、没入感を得ることができ、操作精度を向上させることができる。

本発明の第２の態様におけるロボットは、周辺環境を撮像する撮像部と、外部から受ける力覚を検出する検出部と、力覚をオノマトペの文字情報に変換する変換部と、撮像部が撮像した画像に文字情報を重畳して出力する画像出力部とを備える。このように、ロボット自身がオノマトペの文字情報を重畳した周辺環境画像を出力できるようにすれば、下流側の端末での処理を省くことができると共に、第１の態様における力覚視覚化装置と同様の効果を得られる。

本発明の第３の態様における力覚視覚化プログラムは、ロボットの周辺環境を撮像した撮像データを取得する撮像データ取得ステップと、ロボットが外部から受けた力覚に関する力覚データを取得する力覚データ取得ステップと、力覚データに基づいて力覚をオノマトペの文字情報に変換する変換ステップと、撮像データの画像に文字情報を重畳して出力する画像出力ステップとをコンピュータに実行させる。このようなプログラムが実行されるコンピュータを介しても、第１の態様における力覚視覚化装置と同様の効果を得られる。

本発明により、遠隔地で作業するロボットがどのような外力を受けたのかを、ユーザが直感的に素早く認識できる。

想定する使用環境と全体構成を説明するための概念図である。 ユーザが装着するヘッドマウントディスプレイの表示例である。 移動ロボットの構成を示すブロック図である。 システムサーバの構成を示すブロック図である。 オノマトペ変換テーブルの一例である。 ユーザが装着するヘッドマウントディスプレイの表示例である。 ユーザが装着するヘッドマウントディスプレイの表示例である。 システムサーバの処理フロー図である。 他の実施例における移動ロボットの構成を示すブロック図である。

以下、発明の実施の形態を通じて本発明を説明するが、特許請求の範囲に係る発明を以下の実施形態に限定するものではない。また、実施形態で説明する構成の全てが課題を解決するための手段として必須であるとは限らない。

図１は、本実施形態に係る力覚視覚化装置を組み込んだロボット遠隔操作システムが想定する使用環境と、その全体構成を説明するための概念図である。第１環境において様々な作業を担う移動ロボット１００は、第１環境から離れた第２環境に居るユーザにより、インターネット６００に接続されたシステムサーバ５００を介して、遠隔操作される。本実施形態においては、接続するネットワークとしてインターネットを利用するが、イントラネット等他のネットワークであっても構わない。

図の例では、移動ロボット１００がテーブル９００に載置されたボトルである搬送物９１０を把持して搬送するタスクを行っている様子を示している。移動ロボット１００は、大きく分けて台車部１１０と本体部１２０によって構成される。

台車部１１０は、円筒形状の筐体内に、不図示の駆動輪とキャスターを支持している。駆動輪がモータによって回転駆動されることにより、移動ロボット１００は、任意の方向へ並進、旋回することができる。台車部１１０は、上面の周縁部にレーザスキャナ１３２を備える。レーザスキャナ１３２は、水平面内の一定の範囲をステップ角ごとにスキャンして、それぞれの方向に障害物が存在するか否かを出力する。また、台車部１１０は、円筒側面に、複数の接触センサ１４２を備える。それぞれの接触センサ１４２は、障害物等である接触対象物が接触した場合に、その押圧力を出力する。接触センサ１４２は、例えば静電容量変化型の圧力センサである。

本体部１２０は、主に、台車部１１０の上面に搭載された胴部１２１、胴部１２１の上面に載置された頭部１２２、胴部１２１の側面に支持されたアーム１２３、およびアーム１２３の先端部に設置されたハンド１２４を備える。アーム１２３とハンド１２４は、不図示のモータを介して駆動され、様々な物体を制御された姿勢で把持する。ハンド１２４には力覚センサ１４１が埋め込まれており、力覚センサ１４１は、ハンド１２４が把持物を把持する把持力、ハンド１２４に加えられる外力を出力する。力覚センサ１４１は、例えば歪みゲージ式の力覚センサである。力覚センサ１４１は、ハンド１２４の形状、想定する把持物等に応じて、ハンド１２４に複数埋め込まれていても良いし、ハンド１２４の基部（手首）やアーム１２３の基部（肩）にあっても良い。力覚センサ１４１は静電容量式などの他の方式でも良い。また力覚センサ１４１の代わりにアーム１２３の各関節の電流センサや角度センサ、トルクセンサなどから力覚情報を取得あるいは推定しても良い。

頭部１２２は、主に、撮像部としてのステレオカメラ１３１を備える。ステレオカメラ１３１は、同じ画角を有する２つのカメラユニットが互いに離間して配置された構成を有し、それぞれのカメラユニットで撮像された画像を画像信号として出力する。頭部１２２は、不図示のモータの駆動力により、胴部１２１に対して鉛直軸（パン軸）周りや水平軸（チルト軸）周りに回転することができる。さらにステレオカメラ１２３の正面方向の軸（ロール軸）回りに回転することができる構成としても良い。したがって、ステレオカメラ１３１は、任意の方向の対象物を撮影することができる。

移動ロボット１００は、第１環境において、無線ルータ７００を介してインターネット６００と接続されている。移動ロボット１００は、ユーザからの操作信号を受信して、移動動作や把持動作を実行する。また、移動ロボット１００は、ステレオカメラ１３１が出力した画像信号から、予め定められた画像フォーマットに則した撮像データを生成して、システムサーバ５００へ送信する。さらに、接触センサ１４２や力覚センサ１４１が出力した出力信号から力覚に関する力覚データを生成して、システムサーバ５００へ送信する。

システムサーバ５００は、ユーザが操作する操作端末３２０からの操作信号を受信して、移動ロボット１００へ送信する。また、システムサーバ５００は、移動ロボット１００から取得した撮像データを、ユーザのヘッドマウントディスプレイ３１０（以下、ＨＭＤ３１０と記す）へ送信する。システムサーバ５００は、力覚データを取得したときには、移動ロボット１００が外部から受けた力覚をオノマトペの文字情報に変換し、当該文字情報を撮像データの画像に重畳して、ユーザのＨＭＤ３１０へ送信する。

操作端末３２０およびＨＭＤ３１０は、第１環境から離れた第２環境において、無線ルータ７００を介してインターネット６００と接続されている。ユーザは、送られてくる画像データの画像をＨＭＤ３１０で観察しながら、操作端末３２０を操作して移動ロボット１００を操作する。操作端末３２０で生成された操作信号は、インターネット６００を介して、システムサーバ５００へ送信される。ユーザは、移動ロボット１００が周辺環境から外力を受けたときに、周辺環境画像に重畳されたオノマトペの文字情報によりその様子を認識することができる。

移動ロボット１００が受けた外力を、具体的にどのような表示態様で認識できるかについて説明する。図２は、ユーザが装着するＨＭＤ３１０のディスプレイに表示される表示画面の例である。図２の例は、図１の状況において、ユーザが遠隔操作によりアーム１２３を搬送物９１０へ接近させている過程において、ハンド１２４の先端がテーブル９００の天板の端に接触した場面を示している。

図示するように、ハンド１２４の先端とテーブル９００の天板との接触箇所近傍に、オノマトペである「コン」の文字列４１０が、周辺画像に重畳されて表示されている。この文字列４１０から、ユーザは、ハンド１２４の先端がテーブル９００の天板と接触したことを認識できる。さらには、「コン」が擬音語として有するニュアンスから、接触が軽い衝突であったことを直感的に認識できる。

次に、移動ロボット１００の構成について説明する。図３は、移動ロボット１００の構成を示すブロック図である。ここでは、ロボット遠隔操作システムのうち力覚の視覚化に関係する主な要素について説明するが、移動ロボット１００の構成としては他の要素も備え、また力覚の視覚化に寄与する他の要素が加えられることもあり得る。

制御部１５０は、例えばＣＰＵであり、例えば胴部１２１に備えられたコントロールユニットに格納されている。台車駆動ユニット１６０は、駆動輪を駆動するための駆動回路やモータを含む。制御部１５０は、ユーザからの操作信号に従って台車駆動ユニット１６０へ駆動信号を送ることにより、駆動輪の回転制御を実行する。上体駆動ユニット１７０は、アーム１２３およびハンド１２４を含む把持部、胴部１２１および頭部１２２を駆動するための駆動回路やモータを含む。制御部１５０は、ユーザからの操作信号に従って上体駆動ユニット１７０へ駆動信号を送ることにより、把持制御や、胴部１２１および頭部１２２の回転制御を実行する。また、制御部１５０は、上体駆動ユニット１７０からエンコーダ等のフィードバック信号を受け取って、アーム１２３およびハンド１２４の現在位置や胴部１２１および頭部１２２の向きを把握する。

メモリ１８０は、不揮発性の記憶媒体であり、例えばソリッドステートドライブが用いられる。メモリ１８０は、移動ロボット１００を制御するための制御プログラムの他にも、制御に用いられる様々なパラメータ値、関数、ルックアップテーブル等を記憶している。

通信ユニット１９０は、例えば無線ＬＡＮユニットであり、無線ルータ７００との間で無線通信を行う。操作端末３２０で生成された操作信号は、通信ユニット１９０で受信され、制御部１５０へ引き渡される。

ステレオカメラ１３１は、制御部１５０からの要求に従って周辺環境を撮像し、撮像信号を制御部１５０へ引き渡す。遠隔操作の実行中においては、ステレオカメラ１３１は、継続的に周辺環境の撮像を実行する。レーザスキャナ１３２は、制御部１５０からの要求に従って障害物が存在するか否かを検出し、その結果である検出信号を制御部１５０へ引き渡す。

力覚センサ１４１および接触センサ１４２は、力覚検出部１４０を構成するセンサである。制御部１５０は、力覚検出部１４０を構成する各センサからの出力信号を継続的に監視する。本実施形態においては、力覚検出部１４０を構成するセンサとして、ハンド１２４に埋め込まれた力覚センサ１４１と、台車部１１０の円筒面に設けられた接触センサ１４２を例示するが、移動ロボット１００が外力を受け得る様々な箇所に外力を検出するセンサを設けても良い。特に、ステレオカメラ１３１の画角に入り得るアーム１２３とハンド１２４には、さまざまなタイプの力センサを配置すると良い。

制御部１５０は、制御や処理に関わる様々な演算を実行する機能演算部としての役割も担う。データ生成部１５１は、機能演算部のひとつである。データ生成部１５１は、ステレオカメラ１３１から引き受けたそれぞれのカメラユニットからの撮像信号に画像調整や圧縮処理を施して、予め定められたステレオ画像フォーマットに従った撮像データを生成する。生成された撮像データは、通信ユニット１９０を介してシステムサーバ５００へ送信される。上述のように、ステレオカメラ１３１は継続的に周辺環境の撮像を実行しているので、撮像データは、これに対応して逐次生成されシステムサーバ５００へ送信される。

また、データ生成部１５１は、力覚検出部１４０から受信した出力信号を処理して、予め定められたデータ形式に則した力覚データを生成する。力覚データは、当該出力信号を出力したセンサの位置情報を含む。例えば、ハンド１２４に埋め込まれた力覚センサ１４１が出力した出力信号から生成された力覚データは、当該力覚センサ１４１の埋め込み位置と、アーム１２３およびハンド１２４の姿勢とから算出される、信号出力時の空間座標を位置情報として含む。生成された力覚データは、通信ユニット１９０を介してシステムサーバ５００へ送信される。

次に、ロボット遠隔操作システムのうち力覚視覚化装置として機能するシステムサーバ５００の構成について説明する。図４は、システムサーバ５００の構成を示すブロック図である。ここでは、力覚の視覚化に関係する主な要素について説明するが、システムサーバ５００の構成としては他の要素も備え、また力覚の視覚化に寄与する他の要素が加えられることもあり得る。

演算部５５０は、例えばＣＰＵであり、力覚の視覚化に関する様々な処理を実行する。通信ユニット５６０は、例えば有線ＬＡＮユニットであり、インターネット６００との間でデータの送受信を行う。通信ユニット５６０は、操作端末３２０から送られてくる操作信号を受信し、演算部５５０の指示に従って操作対象となる移動ロボット１００へ向けて当該操作信号を送信する。また、通信ユニット５６０は、移動ロボット１００から送られてくる撮像データおよび力覚データを受信して演算部５５０へ引き渡す。すなわち、通信ユニット５６０は、撮像データおよび力覚データを取得するデータ取得部としての機能を担う。

演算部５５０は、撮像データに加えて力覚データも取得した場合には、後述の処理を施すが、撮像データを単独で取得している期間においては、当該撮像データを逐次ＨＭＤ３１０へ転送する。なお、演算部５５０は、ＨＭＤ３１０が３Ｄ表示に対応していない場合には、受信した撮像データを２Ｄ表示用の画像フォーマットに変換してからＨＭＤ３１０へ転送する。

メモリ５７０は、不揮発性の記憶媒体であり、例えばソリッドステートドライブが用いられる。メモリ５７０は、ロボット遠隔操作システムを制御するための制御プログラム、移動ロボット１００が外部から受けた力覚を視覚化する力覚視覚化プログラムの他にも、制御や演算に用いられる様々なパラメータ値、関数、ルックアップテーブル等を記憶している。

オノマトペＤＢ５８０は、力覚データから抽出されるパラメータ値を入力値として、特定のオノマトペの文字列へ変換するオノマトペ変換テーブルを格納するデータベースである。オノマトペは、擬音語および擬態語の総称である。擬音語は、生物や物が発する音を字句で模倣したものであり、ドン、ガタン、バタンなどが相当する。擬態語は、状態や感情などの音を発しないものを字句で模倣したものであり、ギュッ、グイッなどが相当する。具体的には後述するが、オノマトペ変換テーブルは、このような擬音語および擬態語が複数列挙されており、それぞれの擬音語および擬態語が、力覚データから抽出される各パラメータの値あるいは範囲に対応付けられている。

演算部５５０は、制御や処理に関わる様々な演算を実行する機能演算部としての役割も担う。変換部５５１および重畳部５５２はそれぞれ、機能演算部のひとつである。変換部５５１は、取得した力覚データに基づいて、移動ロボット１００が外部から受けた力覚をオノマトペの文字情報に変換する。具体的には後述するが、変換部５５１は、取得した力覚データからオノマトペ変換に用いるパラメータ値を算出し、オノマトペＤＢ５８０から読み出したオノマトペ変換テーブルに入力して、オノマトペの文字情報に変換する。

重畳部５５２は、取得した撮像データの画像に、変換部５５１が変換したオノマトペの文字情報を重畳する。重畳部５５２は、文字情報を重畳した画像から所定のフォーマットに則した画像データを生成し、生成した画像データを通信ユニット５６０からＨＭＤ３１０へ出力する。重畳部５５２は、通信ユニット５６０と協働して画像データを出力する画像出力部としての機能を担う。

次に、変換部５５１が実行する、移動ロボット１００が外部から受けた力覚をオノマトペの文字情報に変換する処理について説明する。図５は、オノマトペ変換テーブルの一例である。ここでは、理解を容易にするために、「グー」、「フワッ」、「コン」、「ゴン」の４つのオノマトペの例について説明する。

一般的に人は、「グー」に押さえつけや物の重さを感じている状態をイメージし、「フワッ」に柔軟物との接触をイメージし、「コン」および「ゴン」に硬い物との接触をイメージする。さらに、「コン」には軽微な接触をイメージし、「ゴン」には強い衝突をイメージする。すなわち、それぞれのオノマトペは、人に特定の印象を与えるニュアンスを有している。

ここで、取得した力覚データが力覚センサ１４１の出力から生成されたデータであり、三軸の並進力の値を含むものとする。ｉ番目のサンプリングにおける三軸並進力ベクトルのノルム（受けた力の大きさ）を｜ｆｉ｜、サンプリング周期をΔＴとすると、単位時間当たりの力の変化量であるΔｆは、

と表される。また、力覚センサ１４１の位置を微分することで得られる当該力覚センサ１４１の速度のノルムを｜ｖｉ｜とすると、力の変化量と速さから接触している物体の硬さ（接触対象物の硬さ）を評価する評価量Ｋは、

と表される。

本実施形態においては、力覚データから得られるこれら３つのパラメータ値Ｋ、Δｆ、｜ｆｉ｜をオノマトペ変換テーブルへ当てはめることにより、移動ロボット１００が外部から受けた力覚をオノマトペの文字情報へ変換する。図５のオノマトペ変換テーブルを参照すると、例えば、Ｋ＝０．７、Δｆ＝０．０５［Ｎ／ｍｓ］、｜ｆｉ｜＝２．３［Ｎ］であれば「コン」が選択され、テキストデータとしての「コン」の文字情報に変換される。また、Ｋ＝０．３、Δｆ＝０．０８［Ｎ／ｍｓ］、｜ｆｉ｜＝２．１［Ｎ］であれば「フワッ」が選択され、テキストデータとしての「フワッ」の文字情報に変換される。各パラメータの閾値は、それぞれのオノマトペが有するニュアンスと力覚が対応するように、実験的に決定され得る。

なお、ここでは３つのパラメータを基準として、４つのオノマトペから１つを選択する例を説明したが、他の評価基準となるパラメータを選択的あるいは追加的に採用しても良いし、もちろん、他の多くのオノマトペに対しても変換テーブルを定め、選択されるように準備しても良い。

また、変換部５５１は、オノマトペ変換テーブルで選択された文字列を文字情報に変換する場合に、さらに力覚データから得られるパラメータ値を利用して、文字情報を変化させたり、表現態様を指定したりしても良い。例えば、他のパラメータ値を参照して、重畳時における文字列のサイズ指定、フォント指定、色指定等を行っても良い。

次に、図２に示したＨＭＤ３１０の表示例に加え、他のいくつかの表示例と共に、オノマトペの文字情報を撮像データの画像に重畳する重畳処理について説明する。図６および図７は、図２と同様に、ユーザが装着するＨＭＤ３１０の表示例である。

図２の例では、上述のように、「コン」の文字列が、ステレオカメラ１３１が捉えた周辺画像のうちハンド１２４とテーブル９００の接触箇所の近傍に重畳されている。すなわち、重畳部５５２は、力覚データに含まれるセンサの位置情報から撮像データの画像の対応位置を演算し、当該対応位置に変換部５５１が変換した文字情報を重畳している。

具体的には、重畳部５５２は、センサの位置情報である空間座標を、撮像データのカメラ座標系の座標値に変換し、当該座標値に対応する画像上の対応位置を定める。さらに、重畳部５５２は、オノマトペ変換テーブルによって変換したテキストデータに、予め定められた加飾を施して文字列画像を生成する。文字列情報が加飾情報（サイズ指定、フォント指定、色指定等）を含む場合には、当該加飾情報を参照して文字列画像を生成する。そして、重畳部５５２は、演算した対応位置に生成した文字列画像を重畳して、出力用の画像データを生成する。

重畳部５５２は、センサの位置情報から演算した対応位置が画像領域中であれば、図２の文字列４１０のように、接触箇所の近傍に文字情報を重畳させることができる。一方、演算した対応位置が、取得した画像データの画像領域から外れている場合には、図６に示すように、画像領域中の当該対応位置に近い周辺部に例えば矢印で表される方向指標４２０を重畳し、その近傍に生成した文字列画像を重畳する。なお、図６の例は、ハンド１２４が搬送物９１０を把持した後に移動ロボット１００が方向転換を行う最中に、接触センサ１４２の一つとテーブル９００の脚が接触した状況を示している。この場合、当該接触センサ１４２はステレオカメラ１３１の画角に入っていないので、接触の様子は画像に映っていない。このような場合であっても、方向指標４２０と共に文字列４１０を重ね合わせれば、ユーザは、接触の発生箇所と受けた力覚の性質を直感的に認識できる。

図２の例および図６の例では、重畳部５５２は、移動ロボット１００が外部から受けたセンサ位置を、対象物との接触箇所であると仮定して、画像上の対応位置に文字列４１０を重畳した。しかし、実際にはセンサ位置が対象物との接触箇所であるとは限らない。例えば図７に示すように、把持した搬送物９１０がテーブル９００の天板上で引き摺られることにより、搬送物９１０とテーブル９００の間で接触摺動が生じる。この場合は、ハンド１２４に埋め込まれている力覚センサ１４１に対応する位置に文字列４１０を重ねても、ユーザの直感には合致しない。

そこで、重畳部５５２は、連続的に取得する画像データの画像から、移動ロボット１００側の動作に連動する要素と、周辺環境側の変化に連動する要素の境界を解析し、当該境界における距離情報を参照して接触箇所を推定する。そして、センサの位置情報から演算される対応位置を、推定した接触箇所に修正する。このように修正した対応位置に文字列４１０を重ね合わせれば、ユーザの直感に合致した画像となる。図７の例では、対応位置が、搬送物９１０とテーブル９００の接触箇所に修正されている。なお、図７の例では、オノマトペとして摺動のニュアンスを含む「ズズズ」が選択されている。

図２、図６、図７の例のようにオノマトペの文字列４１０を重畳する処理は、システムサーバ５００が力覚データを取得したことをトリガーとして行われるが、システムサーバ５００が力覚データを取得しなくなってからも、暫くの間は重畳処理を継続しても良い。すなわち、外部から受ける力が消滅した後も、ユーザが発生した接触の状況を認識できる程度に重畳処理を継続すると良い。例えば、瞬間的な衝突が発生した場合には、その衝突の発生後も０．５秒から１．０秒程度の間は文字列４１０を重畳すると良い。

次に、力覚視覚化装置として機能するシステムサーバ５００の処理手順について説明する。図８は、システムサーバ５００の処理フロー図である。フローは、ロボット遠隔操作システムが起動した後に開始される。

演算部５５０は、ステップＳ１０１で、通信ユニット５６０を介して、移動ロボット１００から撮像データを取得する。続くステップＳ１０２で、演算部５５０は、力覚データも併せて取得したか否かを確認する。力覚データを取得していない場合には、ステップＳ１０５へ進み、ステップＳ１０１で取得した撮像データをＨＭＤ３１０で表示させる表示画像データとして、通信ユニット５６０からＨＭＤ３１０へ出力する。

力覚データを取得した場合にはステップＳ１０３へ進み、変換部５５１は、取得した力覚データと、オノマトペＤＢ５８０から読み出したオノマトペ変換テーブルとを用いて、移動ロボット１００が外部から受けた力覚をオノマトペの文字情報に変換する。続いてステップＳ１０４で、重畳部５５２は、変換部５５１が変換した文字情報を、ステップＳ１０１で取得した撮像データの画像に重畳して表示画像データを生成する。表示画像データを生成したら、重畳部５５２は、ステップＳ１０５へ進み、当該表示画像データを通信ユニット５６０からＨＭＤ３１０へ出力する。

演算部５５０は、ステップＳ１０６で、ユーザ側から終了の指示を受けたか否かを確認する。終了指示が受けていなければステップＳ１０１へ戻る。終了指示を受けていれば一連の処理を終了する。このような処理により、ユーザは、文字情報が重畳される場合もそうでない場合も、ＨＭＤ３１０で移動ロボット１００の周辺の様子をほぼリアルタイムのライブ動画として視認することができる。

以上説明した実施例においては、システムサーバ５００が力覚視覚化装置として機能したが、移動ロボットが力覚視覚化装置を包含する構成であっても良い。図９は、他の実施例における移動ロボット１００’の構成を示すブロック図である。移動ロボット１００’は、図３で示す各要素に加え、図４で示すオノマトペＤＢ５８０と、機能演算部としての変換部５５１および重畳部５５２とを備える。

このように構成された移動ロボット１００’によれば、変換部５５１は、所定のフォーマットに則った力覚データを介すことなく、力覚検出部の出力信号を直接的に利用して各パラメータ値を演算することができる。また、重畳部５５２は、カメラユニットから出力される画像信号を直接的に利用して、文字情報を重畳することができる。このように、移動ロボット１００’自身がオノマトペの文字情報を重畳した周辺環境画像を出力できるようにすれば、下流側の端末での処理を省くことができる。

以上説明した本実施形態においては、オノマトペの文字列４１０を接触の発生場所と推定される近傍に重畳した。このように重畳位置を調整すれば、ユーザは、接触の発生場所を文字情報の位置によって認識できるので、接触の発生原因などを推定しやすい。一方、重畳位置を調整せず、例えば文字列４１０を画像領域の中央に重畳したり、画像領域外の表示領域に表示したりしても良い。このような表示態様であっても、ユーザは、移動ロボット１００の周辺の様子をほぼリアルタイムのライブ動画として視認しているので、ある程度は接触の発生原因などを推定できる。この場合においては、力覚データは、センサの位置情報を含んでいなくても良い。

また、本実施形態においては、遠隔地から移動ロボット１００を操作するロボット遠隔操作システムに力覚視覚化装置が組み込まれる例を説明したが、移動ロボット１００は、自律移動するロボットであっても良い。この場合、ユーザは、遠隔地で自律移動ロボットが動作する様子を、ＨＭＤ３１０を介して観察することができる。また、遠隔操作される場合と自律動作する場合とに限らず、アームロボットのような据え置き型の作業ロボットであっても良い。また、遠隔地で観察する場合に限らず、例えば移動ロボット１００が備える表示パネルに文字情報を搭乗した画像を表示するようにしても良い。移動ロボット１００自身がこのような表示を行えば、例えば、移動ロボット１００に随行する歩行者が、移動ロボット１００の異常をいち早く把握することができる。

また、本実施形態においては、表示画像データの画像をユーザが頭部に装着するＨＭＤ３１０に表示した。これにより、ユーザは、没入感を得ることができ、遠隔地にある移動ロボット１００の操作精度を向上させることができる。しかし、表示画像データの画像を表示させるデバイスはＨＭＤ３１０に限らない。例えば大型のスクリーンに投影すれば、複数のユーザが同時に移動ロボット１００の様子を認識することができる。

また、本実施形態においては、力覚をオノマトペの文字情報に変換した。これは、数値や棒グラフ等に比較して、ロボットが受けた力覚の性質をユーザが直感的かつ瞬時に認識できるからである。しかし、補助的に用いるのであれば、数値や棒グラフ等も追加的あるいは選択的に重畳しても良い。また、オノマトペの文字列だけでなく、アニメーションや効果音を加えても良い。例えば、受けた力の向きを矢印のアニメーションで表現しても良い。

また、受けた外力が移動ロボット１００の実行タスクに伴う予定された外力であるときとそうでないときで、重畳する文字情報の態様を変化させても良い。予定された外力であるときには、重畳処理を行わなくても良い。例えば、タスクとして搬送物を把持する場合に、対象物となる搬送物を把持した時に力覚センサが出力する出力信号に対しては、重畳処理を行わなくても良い。また、重畳する文字情報も、状況に応じて位置や透過率、重畳を継続する時間等を変化させても良い。

１００ 移動ロボット、１１０ 台車部、１２０ 本体部、１２１ 胴部、１２２ 頭部、１２３ アーム、１２４ ハンド、１３１ ステレオカメラ、１３２ レーザスキャナ、１４０ 力覚検出部、１４１ 力覚センサ、１４２ 接触センサ、１５０ 制御部、１５１ データ生成部、１６０ 台車駆動ユニット、１７０ 上体駆動ユニット、１８０ メモリ、１９０ 通信ユニット、３１０ ヘッドマウントディスプレイ、３２０ 操作端末、４１０ 文字列、４２０ 方向指標、５００ システムサーバ、５５０ 演算部、５５１ 変換部、５５２ 重畳部、５６０ 通信ユニット、５７０ メモリ、５８０ オノマトペＤＢ、６００ インターネット、７００ 無線ルータ、９００ テーブル、９１０ 搬送物

Claims (7)

1. ロボットの周辺環境を撮像した撮像データおよび前記ロボットが外部から受けた力覚に関する力覚データを取得するデータ取得部と、
   前記力覚データに基づいて前記力覚をオノマトペの文字情報に変換する変換部と、
   前記撮像データの画像に前記文字情報を重畳して出力する画像出力部と
   を備える力覚視覚化装置。
2. 前記力覚データは、前記ロボットが前記力覚を受けた位置情報を含み、
   前記画像出力部は、前記位置情報に基づいて前記文字情報を重畳する前記画像上の位置を決定する請求項１に記載の力覚視覚化装置。
3. 前記変換部は、受けた力の大きさ、単位時間当たりの力の変化量、および接触対象物の硬さの少なくとも何れかの変換情報を前記力覚データから抽出し、前記変換情報に基づいて前記オノマトペを変化させる請求項１または２に記載の力覚視覚化装置。
4. 前記データ取得部は、遠隔地で動作する前記ロボットが出力する前記撮像データおよび前記力覚データを、ネットワークを介して取得する請求項１から３のいずれか１項に記載の力覚視覚化装置。
5. 前記画像出力部は、ユーザが装着するヘッドマウントディスプレイへ前記文字情報を重畳した前記画像を出力する請求項１から４のいずれか１項に記載の力覚視覚化装置。
6. 周辺環境を撮像する撮像部と、
   外部から受ける力覚を検出する検出部と、
   前記力覚をオノマトペの文字情報に変換する変換部と、
   前記撮像部が撮像した画像に前記文字情報を重畳して出力する画像出力部と
   を備えるロボット。
7. ロボットの周辺環境を撮像した撮像データを取得する撮像データ取得ステップと、
   前記ロボットが外部から受けた力覚に関する力覚データを取得する力覚データ取得ステップと、
   前記力覚データに基づいて前記力覚をオノマトペの文字情報に変換する変換ステップと、
   前記撮像データの画像に前記文字情報を重畳して出力する画像出力ステップと
   をコンピュータに実行させる力覚視覚化プログラム。

Images