JP2019202355A - 可搬型収容装置及び表示方法 - Google Patents

可搬型収容装置及び表示方法 Download PDF

Info

Publication number
JP2019202355A
JP2019202355A JP2018097146A JP2018097146A JP2019202355A JP 2019202355 A JP2019202355 A JP 2019202355A JP 2018097146 A JP2018097146 A JP 2018097146A JP 2018097146 A JP2018097146 A JP 2018097146A JP 2019202355 A JP2019202355 A JP 2019202355A
Authority
JP
Japan
Prior art keywords
unit
operator
lid
storage device
electromagnetic wave
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018097146A
Other languages
English (en)
Inventor
ロッド ヤン
Rod Jan
ロッド ヤン
ラサンタ フェルナンド チャリス
Lasantha Fernando Charith
ラサンタ フェルナンド チャリス
元紀 佐野
Genki Sano
元紀 佐野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Telexistence Inc
Original Assignee
Telexistence Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Telexistence Inc filed Critical Telexistence Inc
Priority to JP2018097146A priority Critical patent/JP2019202355A/ja
Publication of JP2019202355A publication Critical patent/JP2019202355A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Manipulator (AREA)

Abstract

【課題】ロボット又は仮想空間のアバタを操作する装置のセットアップを容易に行うことができるようにする。【解決手段】本発明の一実施形態に係る可搬型収容装置3は、ロボット及び仮想空間のアバタの少なくとも一方を操作する操作者が装着する操作用具を収容するための収容部32aを有する本体部32と、収容部32aを覆う閉状態と、収容部32aを露出させる開状態とを切り替え可能な蓋部31と、蓋部31に設けられており、開状態において操作者の動作を特定する動作特定部362と、動作特定部362が特定した動作を示す動作情報を、ロボット及びアバタの少なくとも一方を制御する装置に送信するインタフェース40と、を有する。【選択図】図4

Description

本発明は、ロボット又は仮想空間のアバタを操作する操作用具の可搬型収容装置、及び操作用具の装着手順の表示方法に関する。
操作者の動作に追従してロボットを遠隔操作する、あるいは仮想空間のアバタを操作するシステムが開発されている。操作者の動作を検出するために、特許文献1には、操作者に向かって赤外線を照射し、操作者の体の各部位に装着された赤外線反射部材によって反射された赤外線を撮像することによって、操作者の体の動きを検出する装置が記載されている。
特開平9−81310号公報
操作者の体の動きを検出する装置を持ち運び、様々な場所で装置を稼働させたいという需要がある。しかしながら、特許文献1に記載の装置では、赤外線を照射する装置及び操作者の体に装着する複数の部材を持ち運び、さらに装置を設置するとともに複数の部材を操作者の体の各部位に装着する必要があるため、装置の稼働を開始するためのセットアップに大きな労力が掛かるという問題があった。
本発明はこれらの点に鑑みてなされたものであり、容易にセットアップを行うことができる、ロボット又は仮想空間のアバタを操作する操作用具の可搬型収容装置、及び操作用具の装着手順の表示方法を提供することを目的とする。
本発明の第1の態様に係る可搬型収容装置は、ロボット及び仮想空間のアバタの少なくとも一方を操作する操作者が装着する操作用具を収容するための収容部を有する本体部と、前記収容部を覆う閉状態と、前記収容部を露出させる開状態とを切り替え可能な蓋部と、前記蓋部に設けられており、前記開状態において前記操作者の動作を特定する動作特定部と、前記動作特定部が特定した前記動作を示す動作情報を、前記ロボット及び前記アバタの少なくとも一方を制御する装置に送信する情報送信部と、を有する。
前記蓋部は、前記収容部に収容された複数の前記操作用具の装着手順を表示する表示部を有してもよい。
前記可搬型収容装置は、前記開状態において前記操作者に対して電磁波を送信する電磁波送信部をさらに有し、前記動作特定部は、前記操作者が装着した前記操作用具が前記電磁波を受信したか否かを示す受信情報に基づいて前記動作を特定してもよい。
前記蓋部は、前記蓋部と前記操作者とを結ぶ方向と直交する方向に並んで配置された複数の前記電磁波送信部を有してもよい。
前記蓋部は、前記複数の電磁波送信部の間に設けられており、前記操作者に対して情報を表示する表示部をさらに有してもよい。
前記複数の電磁波送信部は、互いに異なる時間に、照射方向を変化させながら前記電磁波を送信してもよい。
前記動作特定部は、前記操作者が装着した複数の前記操作用具のそれぞれが前記電磁波を受信したか否かを示す前記受信情報に基づいて、前記動作を特定してもよい。
前記可搬型収容装置は、前記蓋部に設けられており、前記開状態において前記操作者を撮像する撮像部をさらに有し、前記動作特定部は、前記撮像部が撮像した撮像画像に基づいて、前記動作を特定してもよい。
前記操作用具は、前記操作者の動作に対応するセンサ値を出力するセンサを含み、前記動作特定部は、前記操作用具から取得した前記センサ値に基づいて、前記動作を特定してもよい。
前記動作特定部は、前記操作用具が前記蓋部に設けられた電磁波送信部が送信した電磁波を受信したか否かを示す受信情報と、前記蓋部に設けられた撮像部が撮像した前記操作者を含む撮像画像と、前記操作用具に設けられたセンサから取得した前記操作者の動作に対応するセンサ値とのうち、2つ以上の情報に基づいて、前記動作を特定してもよい。
本発明の第2の態様に係る表示方法は、ロボット及び仮想空間のアバタの少なくとも一方を操作する操作者が装着する操作用具を収容するための収容部を有する本体部と、前記収容部を覆う閉状態と、前記収容部を露出させる開状態とを切り替え可能な蓋部と、前記蓋部に設けられた表示部と、前記蓋部に設けられており、前記開状態において前記操作者の動作を特定する動作特定部と、前記動作特定部が特定した前記動作を示す動作情報を、前記ロボット及び前記アバタの少なくとも一方を制御する装置に送信する情報送信部と、を有する可搬型収容装置のプロセッサが、前記収容部に収容された複数の前記操作用具のうち第1の操作用具の装着を前記操作者に指示する情報を前記表示部に表示させるステップと、前記収容部に収容された複数の前記操作用具のうち第2の操作用具の装着を前記操作者に指示する情報を前記表示部に表示させるステップと、を実行する。
本発明によれば、ロボットを操作する装置のセットアップを容易に行うことができるという効果を奏する。
本実施形態に係るロボット制御システムの模式図である。 本実施形態に係るロボット制御システムのブロック図である。 本実施形態に係る操作用具のブロック図である。 開状態の可搬型収容装置の正面図及び上面図である。 本実施形態に係る表示部を用いた表示方法の模式図である。 本実施形態に係る電磁波送信部を用いた動作特定方法の模式図である。 本実施形態に係るロボット制御方法のフローチャートを示す図である。
[ロボット制御システムSの概要]
図1は、本実施形態に係るロボット制御システムSの模式図である。ロボット制御システムSは、ロボット制御装置1と、ロボット2と、可搬型収容装置3とを含む。ロボット制御システムSは、その他のサーバ、端末等の機器を含んでもよい。
ロボット制御装置1は、操作者U(ユーザ)の操作を示す情報に基づいてロボット2を制御するコンピュータである。ロボット制御装置1は、ロボット2に一体化されて構成されてもよい。すなわち、ロボット2は、ロボット制御装置1の機能を有してもよい。
ロボット2は、ロボット制御装置1から受信した信号に従って動作する装置である。図1の例では、ロボット2は人間と同様の頭部、腕部等を有しており、ロボット2を操作する操作者Uの体の動きに追従して各部位が動作するように制御される。また、ロボット2は、撮像部を有しており、撮像部が撮像した撮像画像をロボット制御装置1へ送信する。ロボット2は、有線又は無線でロボット制御装置1に接続され、ロボット制御装置1との間で信号を授受する。ロボット2は、ロボット制御装置1に直接接続されてもよく、インターネット等のネットワークを介して接続されてもよい。
可搬型収容装置3は、操作者Uがロボット2を操作する動作を特定するための操作用具を収容するとともに、操作用具と協同して操作者Uの動作を特定する機能を有する、持ち運び可能な収容装置である。可搬型収容装置3は、蓋部31と、本体部32とを有する。本体部32は、操作者Uが装着する操作用具を収容するための収容部32aを有する。
収容部32aは、操作者Uが装着する操作用具として、操作者Uの手に装着される手装着部33と、操作者Uの胴体に装着される胴体装着部34と、操作者Uの頭に装着される頭装着部35とを収容可能である。操作用具は、手装着部33、胴体装着部34及び頭装着部35のうち一部であってもよい。また、操作用具として、操作者Uの体のその他の部位に装着される部材を用いてもよい。蓋部31は、収容部32aを覆う開状態と、収容部32aを露出させる閉状態との間で切り替え可能である。
可搬型収容装置3は、操作用具を装着した状態の操作者Uの動作を特定し、特定した動作を示す信号をロボット制御装置1に無線で送信する。可搬型収容装置3は、ロボット制御装置1に直接接続されてもよく、インターネット等のネットワークを介して接続されてもよい。
[ロボット制御システムSの構成]
図2は、本実施形態に係るロボット制御システムSのブロック図である。図2において、矢印は主なデータの流れを示しており、図2に示したもの以外のデータの流れがあってよい。図2において、各ブロックはハードウェア(装置)単位の構成ではなく、機能単位の構成を示している。そのため、図2に示すブロックは単一の装置内に実装されてよく、あるいは複数の装置内に別れて実装されてよい。ブロック間のデータの授受は、データバス、ネットワーク、可搬記憶媒体等、任意の手段を介して行われてよい。
ロボット2は、ロボット2の各部位に動力を供給するモータ、アクチュエータ等の駆動部を有する。駆動部は例えばロボット2の腕に設けられており、ロボット2はロボット制御装置1の指示に基づいて駆動部が動作することによって、物に触れたり、物を掴んだりする。駆動部は、ロボット制御装置1から受信した駆動情報に従って、ロボット2の各部位を駆動する。
ロボット制御装置1は、制御部11と、記憶部12と、インタフェース13とを有する。制御部11は、動作情報取得部111と、駆動決定部112と、駆動制御部113とを有する。
インタフェース13は、ロボット2及び可搬型収容装置3との間で信号の授受をするための接続部であり、情報送信部及び情報受信部として機能する。インタフェース13は、可搬型収容装置3から受信した信号に所定の処理を行ってデータを取得し、取得したデータを制御部11に入力する。また、インタフェース13は、制御部11から入力されたデータに所定の処理を行って信号を生成し、生成した信号をロボット2に送信する。
記憶部12は、ROM(Read Only Memory)、RAM(Random Access Memory)、ハードディスクドライブ等を含む記憶媒体である。記憶部12は、制御部11が実行するプログラムを予め記憶している。記憶部12は、ロボット制御装置1の外部に設けられてもよく、その場合にインタフェース13を介して制御部11との間でデータの授受を行ってもよい。
制御部11は、例えばCPU(Central Processing Unit)等のプロセッサであり、記憶部12に記憶されたプログラムを実行することにより、動作情報取得部111、駆動決定部112及び駆動制御部113として機能する。制御部11の機能の少なくとも一部は、電気回路によって実行されてもよい。また、制御部11の機能の少なくとも一部は、ネットワーク経由で実行されるプログラムによって実行されてもよい。
動作情報取得部111は、可搬型収容装置3から操作者Uの動作を示す動作情報を取得する。駆動決定部112は、動作情報取得部111が取得した動作情報が示す操作者Uの動作に対応するロボット2の動作を決定し、ロボット2が該動作をするように駆動する指示を示す駆動情報を決定する。
駆動制御部113は、駆動決定部112が決定した駆動情報をロボット2に送信することによって、動作情報取得部111が取得した動作情報が示す操作者Uの動作に追従するように、ロボット2を制御する。ロボット2の駆動部は、ロボット制御装置1から受信した駆動情報に従って、ロボット2の各部位を駆動する。
可搬型収容装置3は、制御部36と、記憶部37と、表示部38と、電磁波送信部39と、インタフェース40とを有する。制御部36は、表示制御部361と、動作特定部362と、送信制御部363とを有する。
インタフェース40は、ロボット制御装置1、手装着部33、胴体装着部34及び頭装着部35との間で信号の授受をするための接続部であり、情報送信部及び情報受信部として機能する。インタフェース40は、手装着部33、胴体装着部34及び頭装着部35から受信した信号に所定の処理を行ってデータを取得し、取得したデータを制御部36に入力する。また、インタフェース40は、制御部36から入力されたデータに所定の処理を行って信号を生成し、生成した信号をロボット制御装置1に送信する。インタフェース40は、蓋部31及び本体部32のどちらに設けられてもよい。
電磁波送信部39は、操作者Uが装着した操作用具に対して、赤外線、紫外線等の所定の波長の電磁波を送信する電磁波発生装置を含む。電磁波送信部39は、制御部36から受け取った信号に従って電磁波を発生させる。電磁波送信部39は、蓋部31上に設けられる。
表示部38は、各種情報を表示するための、液晶ディスプレイ等の表示装置を含む。表示部38は、制御部36から受け取った信号に従って情報を表示する。表示部38は、蓋部31上に設けられる。
記憶部37は、ROM、RAM、ハードディスクドライブ等を含む記憶媒体である。記憶部37は、制御部36が実行するプログラムを予め記憶している。記憶部37は、蓋部31及び本体部32のどちらに設けられてもよい。また、記憶部37は、可搬型収容装置3の外部に設けられてもよく、その場合にインタフェース40を介して制御部36との間でデータの授受を行ってもよい。
制御部36は、例えばCPU等のプロセッサであり、記憶部37に記憶されたプログラムを実行することにより、表示制御部361、動作特定部362及び送信制御部363として機能する。表示制御部361、動作特定部362及び送信制御部363の機能については、図4〜図6を用いて後述する。制御部36は、蓋部31及び本体部32のどちらに設けられてもよい。制御部36の機能の少なくとも一部は、電気回路によって実行されてもよい。また、制御部36の機能の少なくとも一部は、ネットワーク経由で実行されるプログラムによって実行されてもよい。
図3は、本実施形態に係る操作用具のブロック図である。操作用具は、電磁波受信デバイスとして、手装着部33と、胴体装着部34と、頭装着部35とを含む。手装着部33、胴体装着部34及び頭装着部35は、それぞれ有線又は無線で可搬型収容装置3のインタフェース40に接続されている。
手装着部33は、操作者Uの手に装着可能な形状を有しており、例えば2つのグローブとして構成される。胴体装着部34は、操作者Uの胴体に装着可能な形状を有しており、例えば操作者Uの肩に載せられるように構成される。頭装着部35は、操作者Uの頭に装着可能な形状を有しており、例えばヘッドマウントディスプレイとして構成される。
手装着部33、胴体装着部34及び頭装着部35は、それぞれ電磁波受信部331、341、351と、受信情報送信部332、342、352とを有する。電磁波受信部331、341、351は、可搬型収容装置3の電磁波送信部39が送信した所定の波長の電磁波を受信する1つ又は複数の電磁波受信装置を含む。受信情報送信部332、342、352は、電磁波受信部331、341、351が電磁波を受信したか否かを示す受信情報を、可搬型収容装置3の制御部36に送信する。
頭装着部35は、操作者Uが頭装着部35を装着した状態で視認可能な表示部353をさらに有する。表示部353は、各種情報を表示するための、液晶ディスプレイ等の表示装置を含む。表示部353は、可搬型収容装置3の制御部36から受け取った信号に従って情報を表示する。
手装着部33、胴体装着部34及び頭装着部35は、それぞれロボット2が感知した情報に基づいて圧力、振動、温度等の触覚を操作者Uに提示する触覚提示装置をさらに有してもよい。
図4(a)は開状態の可搬型収容装置3の正面図であり、図4(b)は開状態の可搬型収容装置3の上面図である。蓋部31は、本体部32側に、2つの電磁波送信部39と、2つの電磁波送信部39の間に設けられた表示部38とを有する。蓋部31には、2つに限られず、複数の電磁波送信部39が設けられてもよい。複数の電磁波送信部39は、表示部38を挟むように設けられているため、大きく異なる角度で電磁波を照射でき、操作者Uの動作が自身の体に隠れる蓋然性を低減し、より確実に操作者Uの動作を特定できる。
複数の電磁波送信部39には、それぞれ識別情報が割り当てられており、いずれの電磁波送信部39が電磁波を送信したか判別可能である。可搬型収容装置3が閉状態になると、表示部38及び電磁波送信部39は、蓋部31と本体部32との間に収容される。
収容部32aは、蓋部31側に、操作者Uが装着していない状態の操作用具である手装着部33、胴体装着部34及び頭装着部35を収容可能な凹部を有する。可搬型収容装置3が閉状態になると、手装着部33、胴体装着部34及び頭装着部35は、蓋部31と収容部32aとによって区画された空間に収容される。
このように可搬型収容装置3は、操作用具へ電磁波を照射する電磁波送信部39を有する蓋部31と、操作用具を収容する本体部32とが一体化された構造を有している。これにより、操作者Uが蓋部31を開けるだけで装置の設置ができるとともに、装置の稼働に必要な操作用具を操作者Uに提供できるため、装置のセットアップを容易にすることができる。
[ロボット制御方法の説明]
本実施形態に係る可搬型収容装置3を用いたロボット制御方法は、表示部38を用いて操作用具の装着手順を表示する表示方法と、操作用具と協同して操作者Uの動作を特定する動作特定方法とを含む。
図5は、本実施形態に係る表示部38を用いた表示方法の模式図である。可搬型収容装置3が閉状態から開状態に遷移すると、表示制御部361は、収容部32aに収容された操作用具の装着方法を表示部38に表示させる。具体的には、まず表示制御部361は、胴体装着部34の装着を操作者Uに指示する情報I1と、収容部32a中の胴体装着部34の位置を示す情報I2とを、表示部38に表示させる。
胴体装着部34の装着を操作者Uに指示する情報I1は、例えば胴体装着部34を装着すべきことを表す文字列又は画像である。胴体装着部34の位置を示す情報I2は、例えば収容部32aに胴体装着部34が収容されている状態の画像を含む。
操作者Uが胴体装着部34を装着した後、表示制御部361は、手装着部33の装着を操作者Uに指示する情報I3と、収容部32a中の手装着部33の位置を示す情報I4とを、表示部38に表示させる。このとき表示制御部361は、例えば胴体装着部34の電磁波受信部341が電磁波を受信したこと、又は操作者Uが可搬型収容装置3に対して所定の操作をしたことに基づいて、操作者Uが胴体装着部34を装着したと判定する。
手装着部33の装着を操作者Uに指示する情報I3は、例えば手装着部33を装着すべきことを表す文字列又は画像である。収容部32a中の手装着部33の位置を示す情報I4は、例えば収容部32aに手装着部33が収容されている状態の画像を含む。
可搬型収容装置3は、操作者Uが胴体装着部34及び手装着部33を装着した後に、胴体装着部34及び手装着部33のキャリブレーションを行ってもよい。この場合に、表示制御部361は、例えばキャリブレーションの際に操作者Uがとるべき所定の姿勢を示す情報を、表示部38に表示させる。
操作者Uが手装着部33を装着した後(あるいは胴体装着部34及び手装着部33のキャリブレーションが完了した後)、表示制御部361は、頭装着部35の装着を操作者Uに指示する情報I5と、収容部32a中の頭装着部35の位置を示す情報I6とを、表示部38に表示させる。このとき表示制御部361は、例えば手装着部33の電磁波受信部331が電磁波を受信したこと、又は操作者Uが可搬型収容装置3に対して所定の操作をしたことに基づいて、操作者Uが手装着部33を装着したと判定する。
頭装着部35の装着を操作者Uに指示する情報I5は、例えば頭装着部35を装着すべきことを表す文字列又は画像である。収容部32a中の頭装着部35の位置を示す情報I6は、例えば収容部32aに頭装着部35が収容されている状態の画像を含む。
その後、ロボット制御装置1は、操作者Uの動作に追従する動作をロボット2に開始させるとともに、ロボット2の撮像部が撮像した撮像画像を含む画面を頭装着部35の表示部353に表示させる。
このように可搬型収容装置3は、収容部32aに収容された操作用具の装着手順を、蓋部31に設けられた表示部38に表示させるため、操作者Uは収容部32aに収容された操作用具と表示部38に表示された装着手順とを対比して操作用具を容易に装着できる。
図6は、本実施形態に係る電磁波送信部39を用いた動作特定方法の模式図である。複数の電磁波送信部39は、蓋部31と操作者Uとを結ぶ方向Aと直交する方向Bに並んで蓋部31上に配置されている。可搬型収容装置3の動作特定部362は、複数の電磁波送信部39に、所定の波長の電磁波を送信させる。動作特定部362は、電磁波を送信した電磁波送信部39の識別情報及び電磁波送信部39が電磁波を送信した時刻を示す送信情報を記憶部37に記憶させる。
複数の電磁波送信部39は、互いに異なる時間に、照射方向を変化させながら所定の電磁波を送信する。これにより、可搬型収容装置3は、操作者Uの動作が自身の体に隠れる蓋然性を低減し、より確実に操作者Uの動作を特定できる。
手装着部33、胴体装着部34及び頭装着部35が有する電磁波受信部331、341、351は、電磁波送信部39が送信した電磁波を受信する。手装着部33、胴体装着部34及び頭装着部35には、それぞれ識別情報が割り当てられており、手装着部33、胴体装着部34及び頭装着部35のいずれが電磁波を受信したか判別可能である。電磁波受信部331、341、351が電磁波を受信した場合に、受信情報送信部332、342、352は、自身の識別情報と、電磁波を受信したこととを示す受信情報を、可搬型収容装置3の制御部36に送信する。
動作特定部362は、手装着部33、胴体装着部34及び頭装着部35から受信した受信情報を取得する。動作特定部362は、記憶部37に記憶された送信情報と、手装着部33、胴体装着部34及び頭装着部35から取得した受信情報とに基づいて、操作者Uの動作(すなわち操作者Uの体の各部位の時刻ごとの位置)を特定する。
具体的には、動作特定部362は、ある時刻においていずれかの電磁波送信部39がある向きに電磁波を照射した際に、手装着部33、胴体装着部34及び頭装着部35のそれぞれが電磁波を受信したか又は受信しなかったかに基づいて、操作者Uの体の各部位がどのように位置しているかを特定する。
送信制御部363は、動作特定部362が特定した操作者Uの動作を示す動作情報をロボット制御装置1に送信するように、インタフェース40を制御する。ロボット制御装置1は、可搬型収容装置3から受信した動作情報に基づいて、操作者Uの動作に追従するように、ロボット2を制御する。また、送信制御部363は、動作情報をロボット2に直接送信するように、インタフェース40を制御してもよい。この場合には、ロボット2は、可搬型収容装置3から受信した動作情報に基づいて、操作者Uの動作に追従するように、ロボット2自身を制御する。
このように本実施形態に係る可搬型収容装置3は、蓋部31上に操作者Uの動作を特定するための電磁波送信部39を備えている。そのため、操作者Uは可搬型収容装置3を開き、収容部32aに収容された操作用具を装着した後、自然と電磁波送信部39が操作者Uに向いている状態となる。そのため操作者Uは、容易にセットアップを行って、速やかにロボット2の遠隔操作を開始することができる。
操作者Uの動作を特定するために、可搬型収容装置3は、蓋部31上に、撮像部を有してもよい。この場合に、撮像部は操作用具を装着した操作者Uの体を含む領域を撮像し、撮像画像として制御部36へ入力する。動作特定部362は、パターンマッチング等の画像認識技術を用いて撮像画像に含まれる体の部位を特定することによって、操作者Uの動作を特定する。また、動作特定部362は、撮像画像中で操作用具の形状や模様等を検出することによって、操作用具が装着された操作者Uの体の部位の位置を特定し、操作者Uの動作を特定してもよい。
操作者Uの動作を特定するために、操作用具は、操作者Uの動作を検出するセンサを有してもよい。この場合に、操作用具が有するセンサは、操作用具を装着した操作者Uの動作を検出し、検出した動作に対応するセンサ値を、無線又は有線で制御部36に対して出力する。操作用具が有するセンサは、例えば操作者Uの体の部位が曲げられた角度を検出する曲げセンサと、操作者Uの体の部位が動いた際の角速度を検出する角速度センサと、操作者Uの体の部位が動いた際の加速度を検出する加速度センサとのうち少なくとも1つを含む。動作特定部362は、記憶部37に予め記憶されたセンサ値と操作者Uの動作との関係に基づいて、操作用具が有するセンサから取得したセンサ値に関連付けられた動作を、操作者Uの動作として特定する。
また、可搬型収容装置3は、電磁波送信部39が送信した電磁波の受信情報と、撮像部が撮像した撮像画像と、センサが検出したセンサ値とのうち、2つ以上の情報を用いて、操作者Uの動作を特定してもよい。これにより、例えば電磁波の干渉等の理由によって電磁波の受信情報では操作者Uの動作を特定できない場合であっても、撮像画像やセンサ値を用いて操作者Uの動作を特定できるため、より確実に操作者Uの動作を特定できる。また、可搬型収容装置3は、電磁波の受信情報を用いず、撮像部が撮像した撮像画像又はセンサが検出したセンサ値のみを用いて、操作者Uの動作を特定してもよい。
また、可搬型収容装置3は、操作用具である手装着部33、胴体装着部34及び頭装着部35のうち、少なくとも一部を装着していない状態の操作者Uの動作を特定してもよい。この場合に、操作者Uは、例えば頭装着部35を装着し、手装着部33及び胴体装着部34を装着しない。可搬型収容装置3は、上述の蓋部31上に設けられた撮像部が撮像した撮像画像に基づいて、操作者Uの手、胴体等の動作を特定する。このような方法によっても、ユーザは、自身の動作に応じてロボット2を遠隔操作できるとともに、頭装着部35の表示部353においてロボット2の撮像部が撮像した撮像画像を見ることができる。
[ロボット制御方法のフローチャート]
図7は、本実施形態に係るロボット制御方法のフローチャートを示す図である。図7のフローチャートは、例えば操作者Uが可搬型収容装置3を開けること又は可搬型収容装置3に対して所定の開始操作を行うことによって開始される。
まず表示制御部361は、胴体装着部34の装着を操作者Uに指示する情報を、表示部38に表示させる(S11)。操作者Uが胴体装着部34を装着した後、表示制御部361は、手装着部33の装着を操作者Uに指示する情報を、表示部38に表示させる(S12)。操作者Uが手装着部33を装着した後、表示制御部361は、頭装着部35の装着を操作者Uに指示する情報を、表示部38に表示させる(S13)。
可搬型収容装置3が、操作用具である手装着部33、胴体装着部34及び頭装着部35のうち、少なくとも一部を装着していない状態の操作者Uの動作を特定する場合には、ステップS11〜S13のうち装着しない操作用具に対応する情報の表示が省略されてもよい。
動作特定部362は、複数の電磁波送信部39に、互いに異なる時間に、照射方向を変化させながら所定の波長の電磁波を送信させる(S14)。このとき、動作特定部362は、電磁波を送信した電磁波送信部39の識別情報及び電磁波送信部39が電磁波を送信した時刻を示す送信情報を記憶部37に記憶させる。動作特定部362は、操作者Uが装着した操作用具である手装着部33、胴体装着部34及び頭装着部35から、電磁波を受信したことを示す受信情報を取得する(S15)。
そして動作特定部362は、ステップS14で記憶部37に記憶された送信情報と、ステップS15で手装着部33、胴体装着部34及び頭装着部35から取得した受信情報とに基づいて、操作者Uの動作(すなわち操作者Uの体の各部位の時刻ごとの位置)を特定する(S16)。
可搬型収容装置3が、蓋部31に設けられた撮像部が撮像した操作者Uの撮像画像に基づいて操作者Uの動作を特定する場合には、ステップS14〜S16において、動作特定部362は、電磁波の送信に代えて、撮像画像の取得と、撮像画像に基づく動作の特定と行ってもよい。可搬型収容装置3が、操作用具に設けられたセンサが出力したセンサ値に基づいて操作者Uの動作を特定する場合には、ステップS14〜S16において、動作特定部362は、電磁波の送信に代えて、センサ値の取得と、センサ値に基づく動作の特定とを行ってもよい。
送信制御部363は、ステップS16で動作特定部362が特定した操作者Uの動作を示す動作情報をロボット制御装置1に送信するように、インタフェース40を制御する(S17)。ロボット制御装置1は、可搬型収容装置3から受信した動作情報に基づいて、操作者Uの動作に追従するように、ロボット2を制御する。
所定の終了条件(例えば操作者Uが可搬型収容装置3を閉じること又は可搬型収容装置3に対して所定の終了操作を行うこと)が満たされていない場合に(S18のNO)、可搬型収容装置3はステップS14に戻って処理を繰り返す。所定の終了条件が満たされた場合に(S18のYES)、可搬型収容装置3は処理を終了する。
[アバタ制御方法の説明]
可搬型収容装置3は、仮想空間のアバタを操作するための操作用具を装着した操作者Uの動作を特定してもよい。仮想空間は、コンピュータ上で仮想的に生成される空間であり、例えばVR(Virtual Reality)空間である。アバタは、仮想空間上で、操作者Uの動作に追従して動作する。
この場合に、可搬型収容装置3の表示制御部361及び動作特定部362は、上述の表示方法及び動作特定方法を実行して、仮想空間のアバタを操作するための操作用具を装着した操作者Uの動作を特定する。そして送信制御部363は、動作特定部362が特定した操作者Uの動作を示す動作情報を、不図示のアバタ制御装置に送信するように、インタフェース40を制御する。アバタ制御装置は、仮想空間上でアバタの動作を制御する装置であり、仮想空間自体を生成する装置と一体化されてもよい。
アバタ制御装置は、可搬型収容装置3から操作者Uの動作を示す動作情報を取得する。アバタ制御装置は、動作情報取得部111が取得した動作情報が示す操作者Uの動作に対応するアバタの動作を決定し、アバタが仮想空間上で該動作をするように制御する。
可搬型収容装置3は、操作者Uの動作に応じて、ロボット2と仮想空間のアバタとの両方を制御するように、ロボット制御装置1及びアバタ制御装置の両方に動作情報を送信してもよい。
このように、可搬型収容装置3によれば、操作者Uが蓋部31を開けるだけで装置の設置ができるとともに、仮想空間のアバタを操作するための操作用具を操作者Uに提供できるため、装置のセットアップを容易にすることができる。
[実施形態の効果]
本実施形態に係る可搬型収容装置3は、操作用具へ電磁波を照射する電磁波送信部39を有する蓋部31と、操作用具を収容する本体部32とが一体化された構造を有している。これにより、操作者Uが蓋部31を開けるだけで装置の設置ができるとともに、装置の稼働に必要な操作用具を操作者Uに提供できるため、可搬型収容装置3は、ロボット又は仮想空間のアバタを操作するためのセットアップを容易にすることができる。
さらに可搬型収容装置3は、収容部32aに収容された操作用具の装着手順を、蓋部31に設けられた表示部38に表示させるため、操作者Uは収容部32aに収容された操作用具と表示部38に表示された装着手順とを対比して操作用具を容易に装着できる。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の分散・統合の具体的な実施の形態は、以上の実施の形態に限られず、その全部又は一部について、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を合わせ持つ。
可搬型収容装置3の制御部36(プロセッサ)は、図7に示すロボット制御方法に含まれる各ステップ(工程)の主体となる。すなわち、制御部36は、図7に示すロボット制御方法を実行するためのプログラムを記憶部37から読み出し、当該プログラムを実行して可搬型収容装置3の各部を制御することによって、図7に示すロボット制御方法を実行する。図7に示すロボット制御方法に含まれるステップは一部省略されてもよく、ステップ間の順番が変更されてもよく、複数のステップが並行して行われてもよい。
S ロボット制御システム
2 ロボット
3 可搬型収容装置
31 蓋部
32 本体部
32a 収容部
33 手装着部
34 胴体装着部
35 頭装着部
36 制御部
361 表示制御部
362 動作特定部
38 表示部
39 電磁波送信部
40 インタフェース

Claims (11)

  1. ロボット及び仮想空間のアバタの少なくとも一方を操作する操作者が装着する操作用具を収容するための収容部を有する本体部と、
    前記収容部を覆う閉状態と、前記収容部を露出させる開状態とを切り替え可能な蓋部と、
    前記蓋部に設けられており、前記開状態において前記操作者の動作を特定する動作特定部と、
    前記動作特定部が特定した前記動作を示す動作情報を、前記ロボット及び前記アバタの少なくとも一方を制御する装置に送信する情報送信部と、
    を有する、可搬型収容装置。
  2. 前記蓋部は、前記収容部に収容された複数の前記操作用具の装着手順を表示する表示部をさらに有する、請求項1に記載の可搬型収容装置。
  3. 前記開状態において前記操作者に対して電磁波を送信する電磁波送信部をさらに有し、
    前記動作特定部は、前記操作者が装着した前記操作用具が前記電磁波を受信したか否かを示す受信情報に基づいて前記動作を特定する、請求項1又は2に記載の可搬型収容装置。
  4. 前記蓋部は、前記蓋部と前記操作者とを結ぶ方向と直交する方向に並んで配置された複数の前記電磁波送信部を有する、請求項3に記載の可搬型収容装置。
  5. 前記蓋部は、前記複数の電磁波送信部の間に設けられており、前記操作者に対して情報を表示する表示部をさらに有する、請求項4に記載の可搬型収容装置。
  6. 前記複数の電磁波送信部は、互いに異なる時間に、照射方向を変化させながら前記電磁波を送信する、請求項4又は5に記載の可搬型収容装置。
  7. 前記動作特定部は、前記操作者が装着した複数の前記操作用具のそれぞれが前記電磁波を受信したか否かを示す前記受信情報に基づいて、前記動作を特定する、請求項3から6のいずれか一項に記載の可搬型収容装置。
  8. 前記蓋部に設けられており、前記開状態において前記操作者を撮像する撮像部をさらに有し、
    前記動作特定部は、前記撮像部が撮像した撮像画像に基づいて、前記動作を特定する、請求項1から7のいずれか一項に記載の可搬型収容装置。
  9. 前記操作用具は、前記操作者の動作に対応するセンサ値を出力するセンサを含み、
    前記動作特定部は、前記操作用具から取得した前記センサ値に基づいて、前記動作を特定する、請求項1から8のいずれか一項に記載の可搬型収容装置。
  10. 前記動作特定部は、前記操作用具が前記蓋部に設けられた電磁波送信部が送信した電磁波を受信したか否かを示す受信情報と、前記蓋部に設けられた撮像部が撮像した前記操作者を含む撮像画像と、前記操作用具に設けられたセンサから取得した前記操作者の動作に対応するセンサ値とのうち、2つ以上の情報に基づいて、前記動作を特定する、請求項1に記載の可搬型収容装置。
  11. ロボット及び仮想空間のアバタの少なくとも一方を操作する操作者が装着する操作用具を収容するための収容部を有する本体部と、
    前記収容部を覆う閉状態と、前記収容部を露出させる開状態とを切り替え可能な蓋部と、
    前記蓋部に設けられた表示部と、
    前記蓋部に設けられており、前記開状態において前記操作者の動作を特定する動作特定部と、
    前記動作特定部が特定した前記動作を示す動作情報を、前記ロボット及び前記アバタの少なくとも一方を制御する装置に送信する情報送信部と、
    を有する可搬型収容装置のプロセッサが、
    前記収容部に収容された複数の前記操作用具のうち第1の操作用具の装着を前記操作者に指示する情報を前記表示部に表示させるステップと、
    前記収容部に収容された複数の前記操作用具のうち第2の操作用具の装着を前記操作者に指示する情報を前記表示部に表示させるステップと、
    を実行する、表示方法。
JP2018097146A 2018-05-21 2018-05-21 可搬型収容装置及び表示方法 Pending JP2019202355A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018097146A JP2019202355A (ja) 2018-05-21 2018-05-21 可搬型収容装置及び表示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018097146A JP2019202355A (ja) 2018-05-21 2018-05-21 可搬型収容装置及び表示方法

Publications (1)

Publication Number Publication Date
JP2019202355A true JP2019202355A (ja) 2019-11-28

Family

ID=68725770

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018097146A Pending JP2019202355A (ja) 2018-05-21 2018-05-21 可搬型収容装置及び表示方法

Country Status (1)

Country Link
JP (1) JP2019202355A (ja)

Similar Documents

Publication Publication Date Title
EP3320413B1 (en) System for tracking a handheld device in virtual reality
CN103970265B (zh) 具有触觉反馈的增强现实用户接口
CN103946734B (zh) 叠加有对于外部设备的控制和指令的可穿戴计算机
US20190278546A1 (en) Wearable computer using programmed local tag
JP2018190453A (ja) ウェアラブル触覚装置
CN108228345A (zh) 用于交互式认知任务协助的系统和方法
US11514705B2 (en) Information processing apparatus and non-transitory computer readable medium to allow operation without contact
US20180217671A1 (en) Remote control apparatus, remote control method, remote control system, and program
JP7135444B2 (ja) 情報処理装置及びプログラム
JP6950192B2 (ja) 情報処理装置、情報処理システム及びプログラム
KR20170108285A (ko) 증강현실 기술을 이용한 실내장치 제어시스템 및 방법
CN107443374A (zh) 机械手操控系统及其操控方法、操控装置、存储介质
CN109656364A (zh) 一种用于在用户设备上呈现增强现实内容的方法与设备
JP6823018B2 (ja) 協調動作支援装置
KR102039948B1 (ko) 증강현실이나 가상현실에 기초하여 가상의 인체 장기를 렌더링하는 이동 단말기 및 이를 이용하는 시스템
JP7155613B2 (ja) 情報処理装置及びプログラム
JP2019202355A (ja) 可搬型収容装置及び表示方法
CN109845251A (zh) 用于显示图像的电子设备和方法
JP7079435B2 (ja) ロボット制御装置、ロボット制御方法及びロボット制御プログラム
CN113413585B (zh) 头戴显示设备的交互方法、装置和电子设备
JP6721023B2 (ja) 情報処理装置及びプログラム
WO2017168622A1 (ja) 撮像画像共有システム、撮像画像共有方法及びプログラム
CN108415676A (zh) 信息处理设备和信息处理方法
US11660040B2 (en) Methods and systems for displaying eye images to subjects and for interacting with virtual objects
JP6721024B2 (ja) 情報処理装置及びプログラム