JP2019208167A - テレプレゼンスシステム - Google Patents

Abstract

【課題】テレプレゼンスシステムを利用して遠隔通話を行う場合、コミュニケーションを円滑にしつつ、利用者のストレスを軽減すること。【解決手段】各端末（１，２）の各撮影部（１６）の撮影した映像に基づいて、各利用者の動作を判別する動作判別手段（４３）と、各端末（１，２）の一方において一方の利用者の音声が入力され、且つ、他方において他方の利用者が予め定められた動作を行った場合に、前記一方の端末（１）の傾斜部（１３）を他方の利用者の動作に応じて傾斜させるとともに、他方の端末（２）の傾斜部（１３）を動作させない傾斜制御手段（４７）と、を備えたことを特徴とするテレプレゼンスシステム（Ｓ）。【選択図】図１

Description

本発明は、テレプレゼンスシステムに関する。

近年、自宅で働く人が会社に居る社員との間で会議を行う場合や、離れた事業所どうしの間で会議を行う場合等に、ＴＶ会議システムが使用されつつある。ＴＶ会議システムにおいて、遠隔地に居るにも関わらず、現場にいるような感覚を相互に伝えるような臨場感を与えるロボットとして、テレプレゼンスシステムが知られている。他にも、離れて暮らす家族の間でコミュニケーションをとるためにのテレプレゼンスシステムも知られている。
テレプレゼンスシステムに関して、以下の技術が従来公知である。

非特許文献１には、車輪を有する台車に、相手の顔が映し出されるモニターや、自身を写すためのカメラ、マイクロフォン（小型のスピーカおよびマイク）、ロボットアームやレーザーポインタ等が設置されたテレプレゼンスロボットが記載されている。非特許文献１に記載された技術では、テレプレゼンスロボットに映しだされた相手と会話をしたり、ロボットアームで単純なジェスチャーを行ったり、レーザーポインタで物を指し示したりすることが可能になっている。すなわち、視覚と聴覚を通じたコミュニケーションが可能である。

非特許文献２には、ロボットを被験者が操縦して、前後移動や回転を行わせることで、遠隔地の相手と、同じ部屋の中で実際に会話をしたり、見られたりするように感じられることを目的としたテレプレゼンスロボットが記載されている。
非特許文献３には、遠隔参与者の頷きや相槌を検出して、テレプレゼンスロボットによって誇張表現を行う技術が記載されている。

Annica Kristoffersson, et.al, "A Revier of Mobile Robotic Telepresence," Adbances in Human-Computer Interaction, Vol. 2013, Article ID 902316, 17 pages, 2013. doi:10. 1155/2013/902316. 村上 友樹 他3名 "ロボット搭載カメラの移動がテレプレゼンスに与える影響" 情報処理学会論文誌, 1882-7764, 2010-01-15, 51, 1, 54-62, URL<https://ci.nii.ac.jp/naid/110007970615/> 長谷川 孔明 他1名 "遠隔参与者の発話機会増加のために身振りを誇張する遠隔会話ロボットの提案（クラウドネットワークロボット）" 電子情報通信学会技術研究報告=IIEICE technical report, 信学技報,0913-5685, 一般社団法人電子情報通信学会, 2014-09-26, 114, 227, 5-10, URL<https://ci.nii.ac.jp/naid/110009950799/>

（従来技術の問題点）
非特許文献１に記載の従来技術では、単純なジェスチャを相手方に伝達可能であるが、例えば、会話中の動作が自動的に相手に伝達されない。非特許文献２に記載の従来技術でも、被験者の操縦結果が相手方に伝達されるが、被験者の会話中の動作は自動的に相手に伝達されない。非特許文献１，２に記載の技術では、例えば、会話中に共感や同意等を示す頷き動作（首を縦に振る動作）や、否定や不同意等を示す首を横に振る動作は自動的には伝達されない。特に、遠隔対話において、頷き動作等が伝達されると、感情や意思の疎通が図られやすく、コミュニケーションがはかどりやすい。

非特許文献３に記載の技術のように、頷き等を検出して相手方のテレプレゼンスロボットで表現を行う技術では、感情や意思の疎通は図られやすくなる。ここで、テレプレゼンスロボットにおいて、相手の顔が表示されるモニタ（表示器）と、頷き等を表現するロボットの頭部とが異なる場合、すなわち、非特許文献２のようにモニタがロボットの胸部に設置されている場合、モニタで相手を見ている際に、ロボットの頭部が頷いても、頷きに気づかない場合もあり、コミュニケーションが図られにくい。したがって、相手の顔の映像が表示されているモニタを、相手の頷き動作に対応させて上下に振動させたり、否定等の意思表示に合わせて左右に振動させることが好ましい。しかしながら、利用者の頭部の動きに合わせてモニタを動かした場合、モニタが頻繁に動いてしまい、モニタを見ている利用者がストレスを感じたり、乗り物酔いのような状態になったりする恐れがある。

本発明は、テレプレゼンスシステムを利用して遠隔通話を行う場合、コミュニケーションを円滑にしつつ、利用者のストレスを軽減することを技術的課題とする。

前記技術的課題を解決するために、請求項１に記載の発明のテレプレゼンスシステムは、
第１の利用者の映像を取得する第１の撮影部と、第１の利用者の音声を取得する第１の音声入力部と、映像を表示する第１の表示部と、前記第１の表示部を傾斜させる第１の傾斜部と、を有する第１の端末と、
前記第１の端末とは離間した場所に設置され、且つ、前記第１の端末とは情報の送受信が可能な第２の端末であって、第２の利用者の映像を取得する第２の撮影部と、第２の利用者の音声を取得する第２の音声入力部と、映像を表示する第２の表示部と、前記第２の表示部を傾斜させる第２の傾斜部と、を有する第２の端末と、
前記各撮影部の撮影した映像に基づいて、各利用者の動作を判別する動作判別手段と、
前記各端末の一方において一方の利用者の音声が入力され、且つ、他方において他方の利用者が予め定められた動作を行った場合に、前記一方の端末の傾斜部を前記他方の利用者の動作に応じて傾斜させるとともに、前記他方の端末の傾斜部を動作させない傾斜制御手段と、
を備えたことを特徴とする。

請求項２に記載の発明は、請求項１に記載のテレプレゼンスシステムにおいて、
前記他方の利用者が頷く動作を行った場合に、前記一方の端末を上下方向に傾斜させる前記傾斜制御手段
を備えたことを特徴とする。

請求項３に記載の発明は、請求項１または２に記載のテレプレゼンスシステムにおいて、
前記他方の端末において、予め定められた時間に達しない音声が取得された場合に、音声の入力を無視する
ことを特徴とする。

請求項１に記載の発明によれば、一方の利用者の音声が入力され、且つ、他方において他方の利用者が予め定められた動作を行った場合に、前記一方の端末の傾斜部を前記他方の利用者の動作に応じて傾斜させるとともに、前記他方の端末の傾斜部を動作させないことで、テレプレゼンスシステムを利用して遠隔通話を行う場合、コミュニケーションを円滑にしつつ、利用者のストレスを軽減することができる。
請求項２に記載の発明によれば、会話の聞き手側が頷く動作を話し手側に伝えることができる。
請求項３に記載の発明によれば、短時間の発話がされた場合にも他方の端末の傾斜部が作動する場合に比べて、利用者のストレスを軽減できる。

図１は本発明の実施例１のテレプレゼンスシステムの全体説明図である。 図２は実施例１のテレプレゼンスロボットの説明図である。 図３は実施例１の遠隔コミュニケーションシステムにおけるテレプレゼンスロボットの機能ブロック図である。

次に図面を参照しながら、本発明の実施の形態の具体例（以下、実施例と記載する）を説明するが、本発明は以下の実施例に限定されるものではない。
なお、以下の図面を使用した説明において、理解の容易のために説明に必要な部材以外の図示は適宜省略されている。

図１は本発明の実施例１のテレプレゼンスシステムの全体説明図である。
図１において、本発明のテレプレゼンスシステムの一例としての遠隔コミュニケーションシステムＳは、利用者が利用可能な端末の一例としてのテレプレゼンスロボット１，２を有する。テレプレゼンスロボット１，２は、互いに離れた設置場所３，４に設置されている。例えば、第１のテレプレゼンスロボット（第１の端末）１は、利用者の一例としての孫の住宅（第１の設置場所）３に設置され、第２のテレプレゼンスロボット２（第２の端末）は、利用者の一例としての祖父母の住宅（第２の設置場所）４に設置することが可能である。

図２は実施例１のテレプレゼンスロボットの説明図である。
図１、図２において、第１のテレプレゼンスロボット１は、台座部１１を有する。台座部１１には、上方に延びる柱部１２が支持されている。柱部１２の上端部には、上下（チルト）左右（パン）に移動可能な首振りヘッド（第１の傾斜部）１３が支持されている。首振りヘッド１３は、図示しない駆動源の駆動により、作動可能な従来公知の構成である。首振りヘッド１３には、端末本体の一例としてのタブレット１４が支持されている。タブレット１４は、第１の表示部の一例であって、入力部の一例としてのタッチパネル１４ａを有する。タッチパネル１４ａは、映像を表示可能であるとともに、指やペン等の入力手段で触れることで入力が可能に構成されている。

また、タブレット１４には、第１の音声入力部の一例としてのマイク１４ｂが設けられている。マイク１４ｂは、利用者の音声のようなタブレット１４の周囲の音声を取得可能である。さらに、タブレット１４には、第１の音声出力部の一例としてのスピーカ（図示せず）も設けられている。
また、実施例１の第１のテレプレゼンスロボット１では、柱部１２に、第１の撮影部の一例としてのカメラ１６が設置されている。カメラ１６は、利用者の映像等を取得可能である。

なお、第２のテレプレゼンスロボット２は、第１のテレプレゼンスロボット１と同様に構成されているため、詳細な説明は省略する。すなわち、第２のテレプレゼンスロボット２は、第２の傾斜部の一例としての首振りヘッドや、第２の表示部の一例としてのタッチパネル、第２の音声入力部の一例としてのマイク、第２の撮影部の一例としてのカメラ、第２の音声出力部の一例としてのスピーカ等を有する。
各テレプレゼンスロボット１，２は、公衆回線の一例としてのインターネット回線２１を介して情報通信可能に接続されている。なお、インターネット回線２１には、有線接続でも無線接続でも任意の接続方式を採用可能である。

（実施例１のテレプレゼンスロボット１の制御部の説明）
図３は実施例１の遠隔コミュニケーションシステムにおけるテレプレゼンスロボットの機能ブロック図である。
図３において、実施例１のテレプレゼンスロボット１，２の制御部３１は、外部との信号の入出力および入出力信号レベルの調節等を行うＩ／Ｏ（入出力インターフェース）、必要な起動処理を行うためのプログラムおよびデータ等が記憶されたＲＯＭ（リードオンリーメモリ）、必要なデータ及びプログラムを一時的に記憶するためのＲＡＭ（ランダムアクセスメモリ）、ＲＯＭ等に記憶された起動プログラムに応じた処理を行うＣＰＵ（中央演算処理装置）ならびにクロック発振器等を有するコンピュータ装置により構成されており、前記ＲＯＭ及びＲＡＭ等に記憶されたプログラムを実行することにより種々の機能を実現することができる。
前記テレプレゼンスロボット１，２の制御部３１には、基本動作を制御する基本ソフト、いわゆる、オペレーティングシステムＯＳ、アプリケーションプログラムの一例としてのコミュニケーションプログラム、その他の図示しないソフトウェアが記憶されている。
なお、以下の説明において、第１のテレプレゼンスロボット１について説明するが、第２のテレプレゼンスロボット２については、第１のテレプレゼンスロボット１と同様であるため、詳細な説明は省略する。

（実施例１の制御部３１に接続された要素）
第１のテレプレゼンスロボット１の制御部３１には、タッチパネル１４ａやマイク１４ｂやカメラ１６等の信号出力要素からの出力信号が入力されている。
また、実施例１の制御部３１は、タッチパネル１４ａや首振りヘッド１３、スピーカ等の被制御要素へ制御信号を出力している。

（第１のテレプレゼンスロボット１の機能）
実施例１の第１のテレプレゼンスロボット１の制御部３１のコミュニケーションプログラムは、下記の機能手段（プログラムモジュール）を有する。
撮影手段４１は、カメラ１６を介して、映像を撮影する。なお、撮影手段４１で撮影された映像は、インターネット回線２１を介して第２のテレプレゼンスロボット２に送信される。
音声取得手段４２は、マイク１４ｂを介して、音声を取得する。音声取得手段４２で取得された音声はインターネット回線２１を介して第２のテレプレゼンスロボット２に送信される。

動作判別手段４３は、カメラ１６の撮影した映像に基づいて、利用者の動作を判別する。実施例１の動作判別手段４３は、カメラ１６の映像から画像解析を行って、利用者の頭部を特定（目や鼻、口の検出）し、頭部の動作（首を縦に振る（頷き）、首を横に振る、首をかしげる等）を判別する。
実施例１では、動作判別手段４３の判別結果は、第１のテレプレゼンスロボット１で使用されるとともに、第２のテレプレゼンスロボット２にも送信されるが、これに限定されない。例えば、相手方のテレプレゼンスロボット２に送信せず、相手方のテレプレゼンスロボット２から送信された映像から、相手方の動作を判別する構成とすることも可能である。

発話判別手段４４は、マイク１４ｂの取得した音声に基づいて、利用者の発話を判別する。実施例１の発話判別手段４４は、予め定められた時間に達しない音声が取得された場合は、発話がされていないと判別する。実施例１では、一例として、予め定められた時間として２秒間が設定されている。したがって、会話時に、「うん」とか「へえ〜」、「いや」といった同意や共感、否定等を示す際に発せられることがある短時間の発話については、利用者の会話における発話として判別しない。そして、２秒間を超える発話は、利用者が相手方と会話するために発した発話と判別する。なお、発話判別手段４４も、動作判別手段４３と同様に、相手方から送信された音声情報から相手方の発話の有無を判別する構成とすることも可能である。

画像表示手段４５は、第２のテレプレゼンスロボット２の撮影手段４１が撮影し、インターネット回線２１を介して受信したものを、タッチパネル１４ａに表示する。
音声出力手段４６は、第２のテレプレゼンスロボット２の音声取得手段４２が取得し、インターネット回線２１を介して受信したものを、スピーカから出力する。なお、実施例１の音声出力手段４６は、発話判別手段４４が発話と判別しなかった短時間の発話についても、スピーカから出力する。

傾斜制御手段４７は、首振りヘッド１３を制御して、タブレット１４を傾斜させる。実施例１の傾斜制御手段４７は、第１のテレプレゼンスロボット１において設置場所３の利用者（自分）の音声が入力され、且つ、第２のテレプレゼンスロボット２において設置場所４の利用者（相手）が予め定められた動作（頷き等）を行った場合に、第１のテレプレゼンスロボット１の首振りヘッド１３を相手の動作に応じて傾斜させる。また、実施例１の傾斜制御手段４７は、第２のテレプレゼンスロボット２において相手の音声が入力され、且つ、第１のテレプレゼンスロボット１において自分が発話をしていない場合に、第２のテレプレゼンスロボット２で予め定められた動作（頷き等）がされても、第１のテレプレゼンスロボット１の首振りヘッド１３を作動させない。すなわち、発話している側（話し手）の首振りヘッド１３は相手（聞き手）の動作に応じて作動するが、聞き手の首振りヘッド１３は（話し手が頷いたりしても）作動しない。なお、両方が発話している場合（両方が話し手）では、両方の首振りヘッド１３が相手方の頭部の動きに応じて作動する。

実施例１の傾斜制御手段４７は、動作判別手段４３が判別した動作、例えば、首を縦に振る動作（頷き）や首を横に振る動作、首をかしげる動作に応じて、首振りヘッド１３を作動させて、タブレット１４を上下動させたり、左右に移動させたり、傾斜させる。なお、首振りヘッド１３の作動は、相手方の頭部の移動量（傾斜角や移動速度等）に応じて作動させることも可能であるが、これに限定されない。例えば、第２のテレプレゼンスロボット２の動作判別手段４３で「頷き」と判別され、第１のテレプレゼンスロボット１に「頷き」動作を示す信号が入力された場合に、「傾斜角５°の上下動を２往復する」といったように、所定の利用者の動作に対して、首振りヘッド１３が所定の動作を行うように構成することも可能である。

また、実施例１の傾斜制御手段４７は、発話判別手段４４が発話と判別しない場合には、首振りヘッド１３を作動させない。すなわち、前述のように「うん」等の短時間の発話が検出されても、話し手とは判別されず、聞き手として判断され、首振りヘッド１３は作動しない。したがって、実施例１では、首振りヘッド１３の作動について、短時間の発話は形式的には無視される。

（実施例１の作用）
前記構成を備えた実施例１の遠隔コミュニケーションシステムＳでは、離れた場所にいる祖父と孫とがコミュニケーションを取る場合、お互いのテレプレゼンスロボット１のタブレット１４に互いの顔が映し出され、お互いの声でコミュニケーションが可能である。すなわち、従来と同様に、視覚と聴覚によるコミュニケーションが可能となっている。
そして、聞き手側が頷き等の動作を行った場合には、話し手側の首振りヘッド１３が作動する。したがって、話し手側では、相手側が頷いたり、首を傾けたりといった動作を行った場合に、タブレット１４が移動することで、相手側の同意や共感、疑問、不同意等が視覚的に認識できる。よって、タブレット１４が傾斜しない場合に比べて、コミュニケーションが図られる。

一方で、聞き手側では、首振りヘッド１３が作動しない。聞き手側は、発話していないので、タブレット１４で相手（話し手）を見ながら、話し手の発話を聞いていることが多い。このとき、話し手の動きに応じてタブレット１４が頻繁に動くと、聞き手側からみると注目している画面が移動することになる。したがって、聞き手が、ストレスを感じたり、不快になったり、乗り物酔いのような状況になることもある。これらに対して、実施例１では、聞き手側のテレプレゼンスロボット１，２の首振りヘッド１３は作動しない。したがって、聞き手がタブレット１４に注目していても聞き手のストレスが軽減される。

また、実施例１の遠隔コミュニケーションシステムＳでは、短時間の発話がされた場合は、聞き手から話し手になったと判別されず、首振りヘッド１３が作動しない。したがって、「うん」とか「うんうん」とか、「へえ〜」といった発話を聞き手がした場合に、首振りヘッド１３が動き出して聞き手がストレスを感じることが軽減される。

（変更例）
以上、本発明の実施例を詳述したが、本発明は、前記実施例に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内で、種々の変更を行うことが可能である。本発明の変更例（Ｈ01）〜（Ｈ08）を下記に例示する。
（Ｈ01）前記実施例において、各テレプレゼンスロボット１，２に制御部３１を設ける構成を例示したがこれに限定されない。インターネット回線２１に接続されたサーバに制御部を設置して、テレプレゼンスロボット１，２をサーバが管理、制御する構成としたり、一方のテレプレゼンスロボットを親機とし、他方のテレプレゼンスロボットを子機として、親機が子機を管理、制御するような構成とすることも可能である。他にも、インターネット回線２１に接続された複数の情報処理端末で分散処理するような構成とすることも可能である。

（Ｈ02）前記実施例において、遠隔コミュニケーションシステムＳとして２台のテレプレゼンスロボット１，２を使用する構成を例示したがこれに限定されない。３台以上のテレプレゼンスロボットを有するシステムとすることも可能である。
（Ｈ03）前記実施例において、動作の一例として、頷き（首の縦振り）と首の横振り、首をかしげる（首の傾斜）の３つの動作を例示したが、これに限定されない。例えば、要求される機能や仕様に応じて、頷きだけを判別する構成とすることも可能であるし、逆に、４つ以上の動作を判別する構成とすることも可能である。

（Ｈ04）前記実施例において、首振りヘッド１３として、上下左右、傾き（回転）が可能な構成を例示したが、これに限定されない。例えば、要求される機能や仕様に応じて、頷きだけ行うようなテレプレゼンスロボットでは、上下動だけが可能な首振りヘッド１３を採用したり、逆に、複雑な頭部の動きも伝達することが機能上要求される場合には、高性能の首振りヘッドを採用することも可能である。

（Ｈ05）前記実施例において、カメラ１６を柱部１２に設置する構成を例示したが、これに限定されない。例えば、タブレット１４に設けられたカメラを使用することも可能である。ただし、この場合、聞き手が頷き動作を行うと、話し手のタブレット１４が作動し、タブレットのカメラ１６も一体的に移動して、撮影される画像が移動することとなって、結果的に聞き手方の画面に表示される画像が変動することとなるため、あまり好ましくない。

（Ｈ06）前記実施例において、利用者の一例として、祖父と孫を例示したがこれに限定されない。例えば、事業所間の会議や、入院中の患者と自宅の家族とのコミュニケーション、独居の高齢者と介助者や家族とのコミュニケーション、老人ホームにおける個室の高齢者と介助者や家族とのコミュニケーション、旅行先の飼い主と自宅のペットとのコミュニケーション等、任意のコミュニケーションの場において適用可能である。
（Ｈ07）前記実施例において、頷き等の動作の判別や、短時間の発話の有無の判別は、各テレプレゼンスロボット１，２で行って相手方に結果を送信して、首振りの制御をする構成を例示したがこれに限定されない。判別結果を送信せず、各端末において、相手方から送信された映像や音声から判別を行う構成とすることも可能である。

（Ｈ08）前記実施例において、端末本体として表示部や音声入力部を有するタブレット１４を利用する構成を例示したがこれに限定されない。市販のタブレットを利用するのではなく、首振りヘッドに支持された表示パネルや、柱部１２にマイクを設置する等、任意の変更が可能である。

１…第１の端末、
２…第２の端末、
１３…第１の傾斜部、第２の傾斜部、
１４ａ…第１の表示部、第２の表示部、
１４ｂ…第１の音声入力部、第２の音声入力部、
１６…第１の撮影部、第２の撮影部、
４３…動作判別手段、
４７…傾斜制御手段、
Ｓ…テレプレゼンスシステム。

Claims (3)

1. 第１の利用者の映像を取得する第１の撮影部と、第１の利用者の音声を取得する第１の音声入力部と、映像を表示する第１の表示部と、前記第１の表示部を傾斜させる第１の傾斜部と、を有する第１の端末と、
   前記第１の端末とは離間した場所に設置され、且つ、前記第１の端末とは情報の送受信が可能な第２の端末であって、第２の利用者の映像を取得する第２の撮影部と、第２の利用者の音声を取得する第２の音声入力部と、映像を表示する第２の表示部と、前記第２の表示部を傾斜させる第２の傾斜部と、を有する第２の端末と、
   前記各撮影部の撮影した映像に基づいて、各利用者の動作を判別する動作判別手段と、
   前記各端末の一方において一方の利用者の音声が入力され、且つ、他方において他方の利用者が予め定められた動作を行った場合に、前記一方の端末の傾斜部を前記他方の利用者の動作に応じて傾斜させるとともに、前記他方の端末の傾斜部を動作させない傾斜制御手段と、
   を備えたことを特徴とするテレプレゼンスシステム。
2. 前記他方の利用者が頷く動作を行った場合に、前記一方の端末を上下方向に傾斜させる前記傾斜制御手段
   を備えたことを特徴とする請求項１に記載のテレプレゼンスシステム。
3. 前記他方の端末において、予め定められた時間に達しない音声が取得された場合に、音声の入力を無視する
   ことを特徴とする請求項１または２に記載のテレプレゼンスシステム。

Images