JP2016218830A - 触覚提示システム、触覚提示方法、およびプログラム - Google Patents

Abstract

【課題】遠隔地にいるユーザが互いに同じ空間でインタラクションを行っているかのように感じられる。【解決手段】近接映像取得部１１は、近接空間をリアルタイムに撮影した近接映像を取得する。遠隔映像記憶部１２は、遠隔空間において動作する接触対象物を撮影した遠隔映像を記憶する。動作追跡部２３は、遠隔空間における接触対象物の動作に関する動作情報を取得する。動作制御部１４は、接触対象物を模して形成された疑似接触対象物を動作情報に基づいて近接空間において動作させる。選択映像表示部１５は、第一人物の手が近接空間に存在しないときに遠隔映像を再生し、第一人物の手が近接空間に存在するときに近接映像を表示する。【選択図】図１

Description

この発明は、異なる２個の地点で行われる遠隔コミュニケーションに臨場感を与えるための触覚提示技術に関する。

遠隔地間で音声と映像を伝達することで、対面に近い環境でコミュニケーションを行うビデオ会議が一般的に知られている。例えば非特許文献１には、遠隔地間で作業テーブル上の状態を共有するビデオ会議技術が記載されている。

ビデオ会議では、二つの空間を隔てるガラス窓越しにインタラクションを行う状況に近く、相手側の空間に手を伸ばすことはできない。すなわち、相手側の状況に関して視覚と聴覚で認識することはできるが、触覚で認識することはできない。これを可能にするために、例えば非特許文献２に記載されたようなテレイグジスタンス（Telexistence）技術が研究されている。テレイグジスタンス技術では、別の空間にあるヒューマノイドロボットを遠隔操作し、そのヒューマノイドロボットからセンシングされる映像、音声、触覚などを自分の空間にフィードバックすることによって、あたかも自分が遠隔地にいるかのような臨場感を得ることができる。非特許文献２では、相手の手の動きや触覚をよりリアルに感じさせるためにロボットハンドに様々な工夫を施している。

山下直美、梶克彦、葛岡英明、平田圭二、青柳滋巳、"遠隔ユーザのジェスチャの可視性を向上させる手法の提案と評価"、情報処理学会論文誌、vol. 52、No. 1、pp. 97-108、Jan. 2011 Hideyuki Nakanishi, Kazuaki Tanaka, Yuya Wada, "Remote Handshaking: Touch Enhances Video-Mediated Social Telepresence", Proceedings of the SIGCHI Conference on Human Factors in Computing Systems, pp. 2143-2152, 2014

しかしながら、従来のテレイグジスタンス技術では、フィードバックを発生させる装置を身に付けている違和感があることや、装置によって再現されたフィードバックのリアリティが不十分であることなどによって、臨場感が低下するおそれがある。非特許文献２に記載された方法では相手の手の動きや触覚をリアルに再現することができるが、接触の対象がロボットハンドであることをユーザは視認できるため、そのリアリティが低下するおそれがある。

この発明の目的は、このような点に鑑みて、遠隔地にいるユーザが互いに同じ空間でインタラクションを行っているかのように感じられる触覚提示技術を提供することである。

上記の課題を解決するために、この発明の触覚提示システムは、近接空間をリアルタイムに撮影した近接映像を取得する近接映像取得部と、遠隔空間において動作する接触対象物を撮影した遠隔映像を記憶する遠隔映像記憶部と、遠隔空間における接触対象物の動作に関する動作情報を取得する動作追跡部と、接触対象物を模して形成された疑似接触対象物を動作情報に基づいて近接空間において動作させる動作制御部と、第一人物の手が近接空間に存在しないときに遠隔映像を再生し、第一人物の手が近接空間に存在するときに近接映像を表示する選択映像表示部と、を含む。

従来のテレイグジスタンス技術では、映像、音声、触覚などのフィードバックを発生させる装置の装着感があることから、そのフィードバックがリアルであったとしても本当に自分が遠隔地の空間にいると錯覚するには至らなかった。この発明によれば、ユーザが装置を身に着ける必要は無く、ロボットとの接触を相手側の空間にある物体（または身体）との接触であるかのように錯覚させることが可能になる。また、この錯覚を別の空間にいる相手と双方向で共有することにより、お互いに同じ空間でインタラクションを行っているかのように感じさせることが可能となる。

図１は、触覚提示システムの機能構成を例示する図である。 図２は、触覚提示システムの利用イメージを例示する図である。 図３は、触覚提示システムの利用イメージを例示する図である。 図４は、触覚提示方法の処理フローを例示する図である。 図５Ａは、選択映像表示部が遠隔映像を再生する場面を例示する図である。図５Ｂは、第一人物の手が近接空間に存在する際に選択映像表示部が近接映像を表示する場面を例示する図である。図５Ｃは、第一人物と第二人物が握手している際に選択映像表示部が近接映像を表示する場面を例示する図である。

実施形態の説明に先立って、発明の原理について説明する。

この発明の触覚提示技術では、まず、相手側の空間にある物体（または相手の身体）を、ユーザ側にあるディスプレイに表示する。このとき、ユーザは、ディスプレイに相手側の空間が表示されることを理解する。次に、相手側の空間にあるカメラに何も映っていない状態にした後、ユーザ側の空間にあるカメラの映像に切り替える。このカメラはディスプレイの裏に設置されている。このとき、ロボットはカメラの画角には入っていない。ユーザがディスプレイの裏に手を伸ばすと、カメラを通して自分の腕がディスプレイに表示される。このとき、ユーザは、ディスプレイには相手側の空間だけではなく自分側の空間も表示されることを理解する。

その後、ロボットが動いてこのカメラの画角に入ると、その映像を見たユーザはこのロボットが相手側の空間にある物体（または身体）であると思い込む。さらに、ディスプレイの裏に手を伸ばすと、そのロボットに触れられるため、あたかも相手側の空間にあるはずの物体（または身体）に触れたかのように錯覚する。

錯覚が起こりやすくするために、ロボットの外見や質感をリアルに再現することが効果的に働く。また、会話の流れに応じて相手側の空間の映像とユーザ側の空間の映像を切り替える順番や回数を変えることでも錯覚を増長させられる場合がある。

以下、この発明の実施の形態について詳細に説明する。なお、図面中において同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。

実施形態の触覚提示システムは、図１に例示するように、近接地点にいる第一人物１と遠隔地点にいる第二人物２とがビデオ会議により遠隔コミュニケーションを行っている状況において、第一人物１と第二人物２とが握手をし、互いにその触覚をリアルに感じることで同じ空間でインタラクションを行っているかのように感じさせるものである。なお、この発明の触覚提示技術は二地点間で双方向に互いの触覚を提示することを想定したものであるが、単一方向での利用も可能である。下記実施形態では説明を単純化するために、近接地点にいる第一人物に遠隔地点にいる第二人物の触覚を提示する単一方向の構成を説明する。二地点間で双方向に触覚を提示するように構成するためには、近接地点と遠隔地点とを逆方向にした構成を二組用意すればよい。

触覚提示システムは、図１に例示するように、近接地点に配置された近接映像取得部１１、遠隔映像記憶部１２、特徴映像表示部１３、動作制御部１４、選択映像表示部１５、ビデオカメラ１１１、ディスプレイ１３１、１５１、および疑似接触対象物１４１と、遠隔地点に配置された遠隔映像取得部２１、特徴映像取得部２２、動作追跡部２３、ビデオカメラ２２１、およびモーションセンサ２３１とを含む。近接地点と遠隔地点とは物理的に分離された二つの空間である。両地点間の距離は限定されず、物理的に遠く離れた遠隔地同士であってもよいし、壁面等で区切られた隣接する空間であってもよい。近接地点に配置された各構成部と遠隔地点に配置された各構成部とはＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、専用線のようなパケット交換方式もしくは回線交換方式の通信網を介して互いに通信可能なように構成されている。

ビデオカメラ１１１、２２１は、被写体とする物体や人物の映像を撮影するビデオカメラである。例えば、撮影可能な解像度や映像の記録媒体、マイクロフォンの有無、デジタルアナログの別など、ビデオカメラ１１１、２２１の備えるべき機能には制限はなく、一般的に動画が撮影可能なビデオカメラであれば任意のものを利用することができる。

ディスプレイ１３１、１５１は、少なくとも一面において入力された映像信号を表示する機能を有するディスプレイ装置である。具体的には、例えば、液晶ディスプレイやプラズマディスプレイ、有機ＥＬ（Electroluminescence）ディスプレイのような薄型ディスプレイである。視覚的に臨場感を向上するためには、できるだけ高精細かつ高画質であり、少なくとも対話相手を等身大で表示できる程度の画面サイズであることが望ましい。

モーションセンサ２３１は、対象物の三次元座標を逐次的に収集するモーションキャプチャセンサである。モーションセンサ２３１は搭載しているカメラの映像中で被写体の三次元座標を収集することで、被写体の位置とその位置の変化を取得することができる。モーションセンサ２３１として利用できるモーションキャプチャセンサは、例えば、「日本マイクロソフト株式会社、“Xbox 360 - Kinect”、[online]、[平成27年3月12日検索]、インターネット<URL：http://www.xbox.com/ja-JP/kinect>（参考文献１）」などに記載されている。

疑似接触対象物１４１は、近接地点にいる第一人物１へ触覚を提示する対象となる接触対象物を模して形成されたオブジェクトである。接触対象物は、遠隔地点に存在する物体もしくは遠隔地点にいる第二人物２の身体的部位である。具体的には、疑似接触対象物１４１は、第二人物２の腕の手から肘までの部分を模して形成されたロボットハンドである。このロボットハンドは外部からの信号入力により動作を制御することが可能である。例えば、肘の部分が前後に回転運動可能となっており、手を前に差し出したり、逆に手を引っ込めたりする動作が可能となっている。

図２を参照しながら、触覚提示システムの利用イメージを説明する。近接地点にいる第一人物１は、人間の上半身の位置に設置されたディスプレイ１３１と、ディスプレイ１３１の下方に画面を鉛直上方へ向けて設置されたディスプレイ１５１とに対峙して立つ。図示していないが、ビデオカメラ１１１はディスプレイ１５１の画面の裏側に設置され、ディスプレイ１５１の下の空間を撮影している。ビデオカメラ１１１により撮影される空間を近接空間１０とする。近接空間１０にはロボットハンド１４１が設置されており、第一人物１は手３でロボットハンド１４１と握手することができる。このとき、第一人物１からはディスプレイ１５１の影に隠れて握手しているところを直接見ることはできない。

ディスプレイ１３１には、遠隔地点においてビデオカメラ２２１により撮影された第二人物２の顔から胸までの上半身が表示されている。ディスプレイ１５１には、ビデオカメラ１１１により撮影された近接空間１０の映像（以下、近接映像と呼ぶ。）、もしくは遠隔地点においてビデオカメラ２２１により撮影された遠隔空間２０の映像（以下、遠隔映像と呼ぶ。）が表示される。遠隔空間２０は、近接空間１０に対応する空間である。第一人物１と近接空間１０との相対的な位置関係は、第二人物２と遠隔空間２０との相対的な位置関係と一致するように設定されている。図２の例では、第一人物１がロボットハンド１４１と握手しており、ディスプレイ１５１にはビデオカメラ１１１により撮影されている近接映像がリアルタイムに表示されている。

図３は触覚提示システムを側面から見た断面図である。図３を参照しながら、ディスプレイ１５１の下にある近接空間１０における各構成部の配置を説明する。第一人物１の正面には第二人物２の上半身が表示されているディスプレイ１３１が配置され、ディスプレイ１３１の下方には画面を鉛直上方へ向けたディスプレイ１５１が配置されている。ビデオカメラ１１１は、ディスプレイ１５１の画面の裏側において、ディスプレイ１５１の下の近接空間１０を見下ろす位置に配置される。ロボットハンド１４１は肘に相当する部分で前後に回転運動可能なように形成されており、その可動範囲にはビデオカメラ１１１の画角に入る部分と画角から外れる部分とがある。ロボットハンド１４１は手を前に差し出すと近接空間１０に入り、手を引っ込めると近接空間１０から外れる位置に調整して配置されている。これにより、第一人物１とロボットハンド１４１とが共に手を前に差し出すことで近接空間１０において握手することが可能である。このとき、第一人物１からはディスプレイ１５１の影になり、ロボットハンド１４１を直接見ることはできない。

以下、図４を参照して、実施形態の触覚提示方法の処理手続きを説明する。

ステップＳ１１において、近接映像取得部１１は、ビデオカメラ１１１を用いて近接映像を取得する。近接映像は、近接空間１０をリアルタイムに撮影している映像である。取得した近接映像は選択映像表示部１５へ送られる。

ステップＳ２１において、遠隔映像取得部２１は、ビデオカメラ２２１を用いて遠隔映像を取得する。遠隔映像は、遠隔空間２０において動作する接触対象物を撮影した映像である。この実施形態では、接触対象物は第二人物２の身体上の部位であり、第二人物２の手から肘までの部分であるが、これに限定されない。例えば、第一人物１と第二人物２とのインタラクションの中で接触する可能性のある部位（例えば、足、肩、胴など）であればどこでもよい。また、第二人物２の身体上の部位でなく、第二人物が携帯している物体や、第二人物の近傍に存在する物体などであってもよい。また、遠隔映像は、接触対象物ではなく、接触対象物を模して形成した疑似接触対象物が動作する場面を撮影した映像であってもよい。

後述する選択映像表示部１５の処理により映像を切り替える際に違和感がないようにするため、遠隔映像の最初のフレームと最後のフレームでは接触対象物が映っていないように撮影することが望ましい。つまり、遠隔映像は、何も映っていない状態から接触対象物がフレームインし、所定の動作をした後にフレームアウトして再度何も映っていない状態となって終了するように撮影されたものであるとよい。

ステップＳ１２において、遠隔映像取得部２１が取得した遠隔映像は通信網を経由して近接地点へ送信され、遠隔映像記憶部１２へ記憶される。

ステップＳ２２において、特徴映像取得部２２は、ビデオカメラ２２１を用いて特徴映像を取得する。特徴映像は、第二人物２の個人を特徴付ける部位である。この実施形態では、第二人物２の個人を特徴付ける部位は顔から胸までの上半身であるが、これに限定されない。例えば、第一人物が特徴映像を見て、そこに映っている人物が第二人物２であることを認識できる部位であればどこでもよい。具体的には、衣服に着用した名札のような本人しか保持していない物品などが考えられる。取得した特徴映像は、通信網を経由して近接地点へ送信され、特徴映像表示部１３へ入力される。

ステップＳ１３において、特徴映像表示部１３は、特徴映像取得部２２から受信した特徴映像をリアルタイムにディスプレイ１３１へ表示する。

ステップＳ２３において、動作追跡部２３は、モーションセンサ２３１を用いて動作情報を取得する。動作情報は、遠隔空間２０における接触対象物の動作に関する情報であり、疑似接触対象物１４１が動作を再現するために必要とする情報である。動作情報は、既存のモーショントラッキング技術により取得することができる。取得した動作情報は、通信網を経由して近接地点へ送信され、動作制御部１４へ入力される。

ステップＳ１４において、動作制御部１４は、動作追跡部２３から受信した動作情報に基づいて、疑似接触対象物１４１を近接空間１０において動作させる。これにより、遠隔空間における接触対象物の動作を、近接空間において再現することができる。例えば、遠隔地点において第二人物２が手を前に差し出すと、これに連動して、近接地点において疑似接触対象物１４１であるロボットハンドが前に差し出される。

ステップＳ１５１において、選択映像表示部１５は、第一人物の手が近接空間に存在しないときに、遠隔映像記憶部１２に記憶されている遠隔映像を再生してディスプレイ１５１へ表示する。上述のとおり、遠隔映像は、接触対象物である第二人物２の手から肘までの部分の遠隔空間２０における動作を撮影したものである。第一人物１から見ると、自分の正面に第二人物２の上半身が表示されており、その下方の手元の位置で第二人物２の手が動作している様子が見えることになる。これにより、ディスプレイ１５１には対話相手である第二人物２の遠隔空間２０における状況が表示されていると第一人物１に感じさせることができる。

ステップＳ１５２において、選択映像表示部１５は、第一人物１の手３が近接空間１０に存在するときに、近接映像取得部１１から受け取った近接映像をリアルタイムにディスプレイ１５１へ表示する。上述のとおり、近接映像は、ビデオカメラ１１１により近接空間１０をリアルタイムに撮影している映像である。したがって、近接空間１０に存在する第一人物１の手３がディスプレイ１５１へ表示されることになる。これにより、ディスプレイ１５１には自分側の近接空間１０の状況も表示されることを第一人物１に理解させることができる。

その後、遠隔地点において第二人物２が手を遠隔空間２０に差し出すと、動作追跡部２３と動作制御部１４との連携により、近接地点においてロボットハンド１４１が近接空間１０に差し出される。これに対して、第一人物１が手３を近接空間１０に差し入れてロボットハンド１４１と握手する。第一人物１は、対話相手である第二人物２の手を模したロボットハンド１４１と自分の手３とが握手している映像がディスプレイ１５１に表示されている状況を視覚的に認識し、実際に自分の手３がロボットハンド１４１に触れていることを触覚で認識する。その結果、第一人物１は実際に第二人物２と握手しているかのように錯覚する。

図５を参照して、ディスプレイ１３１およびディスプレイ１５１に表示される映像の流れを説明する。まず、図５Ａでは、ディスプレイ１３１に第二人物の上半身が表示され、その下方に設置されたディスプレイ１５１に第二人物の手の動作が撮影された遠隔映像が表示される。次に、図５Ｂでは、ディスプレイ１３１に第二人物の上半身が引き続き表示され、ディスプレイ１５１へ第一人物の手のみがリアルタイムに撮影された近接映像が表示される。そして、図５Ｃでは、ディスプレイ１３１に第二人物２の上半身が引き続き表示され、ディスプレイ１５１へロボットハンドと第一人物の手とが握手している様子がリアルタイムに撮影された近接映像が表示される。

選択映像表示部１５が遠隔映像と近接映像を切り替える際に違和感がないようにするため、近接空間１０に疑似接触対象物１４１も第一人物１の手３も存在しないときに映像を切り替えるようにするとよい。上述のとおり、遠隔映像の最初のフレームと最後のフレームは何も映っていない状態であるため、第一人物１が映像の切り替わりに気付きにくくすることができる。

この発明は、対話相手側の空間にある物体もしくは対話相手の身体の一部を模して形成されたロボットと、そのロボットの映像と対話相手の実際の身体の映像とを切り替えて提示できるディスプレイとで構成されている。ロボットの外見を直接ユーザに提示するのではなく映像を通して提示し、その映像と相手側の空間の映像とを繰り返し切り替えて提示する。これらの映像の区別がつきにくい状態にすることによって、ロボットとの接触を相手側の空間にある物体または身体との接触だと錯覚させる。ユーザに与えるフィードバックを可能な限りリアルにしようと試みる従来技術のアプローチとは異なり、双方の空間が繋がっているかのように錯覚させる点がこの発明の革新的な特徴である。

この発明は上述の実施形態に限定されるものではなく、この発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。上記実施形態において説明した各種の処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。

［プログラム、記録媒体］
上記実施形態で説明した各装置における各種の処理機能をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記各装置における各種の処理機能がコンピュータ上で実現される。
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。

また、このプログラムの流通は、例えば、そのプログラムを記録したDVD、CD-ROM等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。

このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるASP（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。

また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

１ 第一人物
２ 第二人物
３ 第一人物の手
１０ 近接空間
１１ 近接映像取得部
１２ 遠隔映像記憶部
１３ 特徴映像表示部
１４ 動作制御部
１５ 選択映像表示部
１１１ ビデオカメラ
１３１ ディスプレイ
１４１ 疑似接触対象物（ロボットハンド）
１５１ ディスプレイ
２０ 遠隔空間
２１ 遠隔映像取得部
２２ 特徴映像取得部
２３ 動作追跡部
２２１ ビデオカメラ
２３１ モーションセンサ

Claims (6)

1. 近接空間をリアルタイムに撮影した近接映像を取得する近接映像取得部と、
   遠隔空間において動作する接触対象物を撮影した遠隔映像を記憶する遠隔映像記憶部と、
   上記遠隔空間における上記接触対象物の動作に関する動作情報を取得する動作追跡部と、
   上記接触対象物を模して形成された疑似接触対象物を上記動作情報に基づいて上記近接空間において動作させる動作制御部と、
   第一人物の手が上記近接空間に存在しないときに上記遠隔映像を再生し、上記第一人物の手が上記近接空間に存在するときに上記近接映像を表示する選択映像表示部と、
   を含む触覚提示システム。
2. 請求項１に記載の触覚提示システムであって、
   上記接触対象物は、少なくとも上記第二人物の手を含む身体上の部位である
   触覚提示システム。
3. 請求項１または２に記載の触覚提示システムであって、
   上記第二人物を特徴づける部位を撮影する特徴映像を取得する特徴映像取得部と、
   上記特徴映像を表示する特徴映像表示部と、
   をさらに含む触覚提示システム。
4. 請求項３に記載の触覚提示システムであって、
   上記第二人物を特徴づける部位は、少なくとも上記第二人物の顔を含むものである
   触覚提示システム。
5. 遠隔映像記憶部に、遠隔空間において動作する接触対象物を撮影した遠隔映像が記憶されており、
   近接映像取得部が、近接空間をリアルタイムに撮影した近接映像を取得する近接映像取得ステップと、
   動作追跡部が、上記遠隔空間における上記接触対象物の動作に関する動作情報を取得する動作追跡ステップと、
   動作制御部が、上記接触対象物を模して形成された疑似接触対象物を上記動作情報に基づいて上記近接空間において動作させる動作制御ステップと、
   選択映像表示部が、第一人物の手が上記近接空間に存在しないときに上記遠隔映像を再生し、上記第一人物の手が上記近接空間に存在するときに上記近接映像を表示する選択映像表示ステップと、
   を含む触覚提示方法。
6. 請求項５に記載の触覚提示方法の各ステップをコンピュータに実行させるためのプログラム。

Images