JP2019208167A - テレプレゼンスシステム - Google Patents
テレプレゼンスシステム Download PDFInfo
- Publication number
- JP2019208167A JP2019208167A JP2018103648A JP2018103648A JP2019208167A JP 2019208167 A JP2019208167 A JP 2019208167A JP 2018103648 A JP2018103648 A JP 2018103648A JP 2018103648 A JP2018103648 A JP 2018103648A JP 2019208167 A JP2019208167 A JP 2019208167A
- Authority
- JP
- Japan
- Prior art keywords
- user
- terminal
- telepresence
- voice
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
テレプレゼンスシステムに関して、以下の技術が従来公知である。
非特許文献3には、遠隔参与者の頷きや相槌を検出して、テレプレゼンスロボットによって誇張表現を行う技術が記載されている。
非特許文献1に記載の従来技術では、単純なジェスチャを相手方に伝達可能であるが、例えば、会話中の動作が自動的に相手に伝達されない。非特許文献2に記載の従来技術でも、被験者の操縦結果が相手方に伝達されるが、被験者の会話中の動作は自動的に相手に伝達されない。非特許文献1,2に記載の技術では、例えば、会話中に共感や同意等を示す頷き動作(首を縦に振る動作)や、否定や不同意等を示す首を横に振る動作は自動的には伝達されない。特に、遠隔対話において、頷き動作等が伝達されると、感情や意思の疎通が図られやすく、コミュニケーションがはかどりやすい。
第1の利用者の映像を取得する第1の撮影部と、第1の利用者の音声を取得する第1の音声入力部と、映像を表示する第1の表示部と、前記第1の表示部を傾斜させる第1の傾斜部と、を有する第1の端末と、
前記第1の端末とは離間した場所に設置され、且つ、前記第1の端末とは情報の送受信が可能な第2の端末であって、第2の利用者の映像を取得する第2の撮影部と、第2の利用者の音声を取得する第2の音声入力部と、映像を表示する第2の表示部と、前記第2の表示部を傾斜させる第2の傾斜部と、を有する第2の端末と、
前記各撮影部の撮影した映像に基づいて、各利用者の動作を判別する動作判別手段と、
前記各端末の一方において一方の利用者の音声が入力され、且つ、他方において他方の利用者が予め定められた動作を行った場合に、前記一方の端末の傾斜部を前記他方の利用者の動作に応じて傾斜させるとともに、前記他方の端末の傾斜部を動作させない傾斜制御手段と、
を備えたことを特徴とする。
前記他方の利用者が頷く動作を行った場合に、前記一方の端末を上下方向に傾斜させる前記傾斜制御手段
を備えたことを特徴とする。
前記他方の端末において、予め定められた時間に達しない音声が取得された場合に、音声の入力を無視する
ことを特徴とする。
請求項2に記載の発明によれば、会話の聞き手側が頷く動作を話し手側に伝えることができる。
請求項3に記載の発明によれば、短時間の発話がされた場合にも他方の端末の傾斜部が作動する場合に比べて、利用者のストレスを軽減できる。
なお、以下の図面を使用した説明において、理解の容易のために説明に必要な部材以外の図示は適宜省略されている。
図1において、本発明のテレプレゼンスシステムの一例としての遠隔コミュニケーションシステムSは、利用者が利用可能な端末の一例としてのテレプレゼンスロボット1,2を有する。テレプレゼンスロボット1,2は、互いに離れた設置場所3,4に設置されている。例えば、第1のテレプレゼンスロボット(第1の端末)1は、利用者の一例としての孫の住宅(第1の設置場所)3に設置され、第2のテレプレゼンスロボット2(第2の端末)は、利用者の一例としての祖父母の住宅(第2の設置場所)4に設置することが可能である。
図1、図2において、第1のテレプレゼンスロボット1は、台座部11を有する。台座部11には、上方に延びる柱部12が支持されている。柱部12の上端部には、上下(チルト)左右(パン)に移動可能な首振りヘッド(第1の傾斜部)13が支持されている。首振りヘッド13は、図示しない駆動源の駆動により、作動可能な従来公知の構成である。首振りヘッド13には、端末本体の一例としてのタブレット14が支持されている。タブレット14は、第1の表示部の一例であって、入力部の一例としてのタッチパネル14aを有する。タッチパネル14aは、映像を表示可能であるとともに、指やペン等の入力手段で触れることで入力が可能に構成されている。
また、実施例1の第1のテレプレゼンスロボット1では、柱部12に、第1の撮影部の一例としてのカメラ16が設置されている。カメラ16は、利用者の映像等を取得可能である。
各テレプレゼンスロボット1,2は、公衆回線の一例としてのインターネット回線21を介して情報通信可能に接続されている。なお、インターネット回線21には、有線接続でも無線接続でも任意の接続方式を採用可能である。
図3は実施例1の遠隔コミュニケーションシステムにおけるテレプレゼンスロボットの機能ブロック図である。
図3において、実施例1のテレプレゼンスロボット1,2の制御部31は、外部との信号の入出力および入出力信号レベルの調節等を行うI/O(入出力インターフェース)、必要な起動処理を行うためのプログラムおよびデータ等が記憶されたROM(リードオンリーメモリ)、必要なデータ及びプログラムを一時的に記憶するためのRAM(ランダムアクセスメモリ)、ROM等に記憶された起動プログラムに応じた処理を行うCPU(中央演算処理装置)ならびにクロック発振器等を有するコンピュータ装置により構成されており、前記ROM及びRAM等に記憶されたプログラムを実行することにより種々の機能を実現することができる。
前記テレプレゼンスロボット1,2の制御部31には、基本動作を制御する基本ソフト、いわゆる、オペレーティングシステムOS、アプリケーションプログラムの一例としてのコミュニケーションプログラム、その他の図示しないソフトウェアが記憶されている。
なお、以下の説明において、第1のテレプレゼンスロボット1について説明するが、第2のテレプレゼンスロボット2については、第1のテレプレゼンスロボット1と同様であるため、詳細な説明は省略する。
第1のテレプレゼンスロボット1の制御部31には、タッチパネル14aやマイク14bやカメラ16等の信号出力要素からの出力信号が入力されている。
また、実施例1の制御部31は、タッチパネル14aや首振りヘッド13、スピーカ等の被制御要素へ制御信号を出力している。
実施例1の第1のテレプレゼンスロボット1の制御部31のコミュニケーションプログラムは、下記の機能手段(プログラムモジュール)を有する。
撮影手段41は、カメラ16を介して、映像を撮影する。なお、撮影手段41で撮影された映像は、インターネット回線21を介して第2のテレプレゼンスロボット2に送信される。
音声取得手段42は、マイク14bを介して、音声を取得する。音声取得手段42で取得された音声はインターネット回線21を介して第2のテレプレゼンスロボット2に送信される。
実施例1では、動作判別手段43の判別結果は、第1のテレプレゼンスロボット1で使用されるとともに、第2のテレプレゼンスロボット2にも送信されるが、これに限定されない。例えば、相手方のテレプレゼンスロボット2に送信せず、相手方のテレプレゼンスロボット2から送信された映像から、相手方の動作を判別する構成とすることも可能である。
音声出力手段46は、第2のテレプレゼンスロボット2の音声取得手段42が取得し、インターネット回線21を介して受信したものを、スピーカから出力する。なお、実施例1の音声出力手段46は、発話判別手段44が発話と判別しなかった短時間の発話についても、スピーカから出力する。
前記構成を備えた実施例1の遠隔コミュニケーションシステムSでは、離れた場所にいる祖父と孫とがコミュニケーションを取る場合、お互いのテレプレゼンスロボット1のタブレット14に互いの顔が映し出され、お互いの声でコミュニケーションが可能である。すなわち、従来と同様に、視覚と聴覚によるコミュニケーションが可能となっている。
そして、聞き手側が頷き等の動作を行った場合には、話し手側の首振りヘッド13が作動する。したがって、話し手側では、相手側が頷いたり、首を傾けたりといった動作を行った場合に、タブレット14が移動することで、相手側の同意や共感、疑問、不同意等が視覚的に認識できる。よって、タブレット14が傾斜しない場合に比べて、コミュニケーションが図られる。
以上、本発明の実施例を詳述したが、本発明は、前記実施例に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内で、種々の変更を行うことが可能である。本発明の変更例(H01)〜(H08)を下記に例示する。
(H01)前記実施例において、各テレプレゼンスロボット1,2に制御部31を設ける構成を例示したがこれに限定されない。インターネット回線21に接続されたサーバに制御部を設置して、テレプレゼンスロボット1,2をサーバが管理、制御する構成としたり、一方のテレプレゼンスロボットを親機とし、他方のテレプレゼンスロボットを子機として、親機が子機を管理、制御するような構成とすることも可能である。他にも、インターネット回線21に接続された複数の情報処理端末で分散処理するような構成とすることも可能である。
(H03)前記実施例において、動作の一例として、頷き(首の縦振り)と首の横振り、首をかしげる(首の傾斜)の3つの動作を例示したが、これに限定されない。例えば、要求される機能や仕様に応じて、頷きだけを判別する構成とすることも可能であるし、逆に、4つ以上の動作を判別する構成とすることも可能である。
(H07)前記実施例において、頷き等の動作の判別や、短時間の発話の有無の判別は、各テレプレゼンスロボット1,2で行って相手方に結果を送信して、首振りの制御をする構成を例示したがこれに限定されない。判別結果を送信せず、各端末において、相手方から送信された映像や音声から判別を行う構成とすることも可能である。
2…第2の端末、
13…第1の傾斜部、第2の傾斜部、
14a…第1の表示部、第2の表示部、
14b…第1の音声入力部、第2の音声入力部、
16…第1の撮影部、第2の撮影部、
43…動作判別手段、
47…傾斜制御手段、
S…テレプレゼンスシステム。
Claims (3)
- 第1の利用者の映像を取得する第1の撮影部と、第1の利用者の音声を取得する第1の音声入力部と、映像を表示する第1の表示部と、前記第1の表示部を傾斜させる第1の傾斜部と、を有する第1の端末と、
前記第1の端末とは離間した場所に設置され、且つ、前記第1の端末とは情報の送受信が可能な第2の端末であって、第2の利用者の映像を取得する第2の撮影部と、第2の利用者の音声を取得する第2の音声入力部と、映像を表示する第2の表示部と、前記第2の表示部を傾斜させる第2の傾斜部と、を有する第2の端末と、
前記各撮影部の撮影した映像に基づいて、各利用者の動作を判別する動作判別手段と、
前記各端末の一方において一方の利用者の音声が入力され、且つ、他方において他方の利用者が予め定められた動作を行った場合に、前記一方の端末の傾斜部を前記他方の利用者の動作に応じて傾斜させるとともに、前記他方の端末の傾斜部を動作させない傾斜制御手段と、
を備えたことを特徴とするテレプレゼンスシステム。 - 前記他方の利用者が頷く動作を行った場合に、前記一方の端末を上下方向に傾斜させる前記傾斜制御手段
を備えたことを特徴とする請求項1に記載のテレプレゼンスシステム。 - 前記他方の端末において、予め定められた時間に達しない音声が取得された場合に、音声の入力を無視する
ことを特徴とする請求項1または2に記載のテレプレゼンスシステム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018103648A JP7106097B2 (ja) | 2018-05-30 | 2018-05-30 | テレプレゼンスシステム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018103648A JP7106097B2 (ja) | 2018-05-30 | 2018-05-30 | テレプレゼンスシステム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019208167A true JP2019208167A (ja) | 2019-12-05 |
JP7106097B2 JP7106097B2 (ja) | 2022-07-26 |
Family
ID=68767902
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018103648A Active JP7106097B2 (ja) | 2018-05-30 | 2018-05-30 | テレプレゼンスシステム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7106097B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021157367A1 (ja) * | 2020-02-04 | 2021-08-12 | ソニーグループ株式会社 | 情報処理装置、及び情報処理方法 |
WO2023095531A1 (ja) * | 2021-11-25 | 2023-06-01 | ソニーグループ株式会社 | 情報処理装置、情報処理方法および情報処理プログラム |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000349920A (ja) * | 1999-06-01 | 2000-12-15 | Interrobot Inc | 意思伝達装置 |
JP2012147420A (ja) * | 2010-12-22 | 2012-08-02 | Ricoh Co Ltd | 画像処理装置、及び画像処理システム |
JP2016208416A (ja) * | 2015-04-27 | 2016-12-08 | 日本電信電話株式会社 | コミュニケーションシステムおよびその制御方法 |
JP2017092509A (ja) * | 2015-08-31 | 2017-05-25 | インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation | テレプレゼンス・ロボットに用いる制御シグナルを発生させるための方法、テレプレゼンス・システムおよびコンピュータ・プログラム |
US9821455B1 (en) * | 2015-08-08 | 2017-11-21 | X Development Llc | Replacing a first robot with a second robot during performance of a task by the first robot |
-
2018
- 2018-05-30 JP JP2018103648A patent/JP7106097B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000349920A (ja) * | 1999-06-01 | 2000-12-15 | Interrobot Inc | 意思伝達装置 |
JP2012147420A (ja) * | 2010-12-22 | 2012-08-02 | Ricoh Co Ltd | 画像処理装置、及び画像処理システム |
JP2016208416A (ja) * | 2015-04-27 | 2016-12-08 | 日本電信電話株式会社 | コミュニケーションシステムおよびその制御方法 |
US9821455B1 (en) * | 2015-08-08 | 2017-11-21 | X Development Llc | Replacing a first robot with a second robot during performance of a task by the first robot |
JP2017092509A (ja) * | 2015-08-31 | 2017-05-25 | インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation | テレプレゼンス・ロボットに用いる制御シグナルを発生させるための方法、テレプレゼンス・システムおよびコンピュータ・プログラム |
Non-Patent Citations (2)
Title |
---|
松坂 要佐、東條 剛史、小林 哲則: "グループ会話に参与する対話ロボットの構築", 電子情報通信学会論文誌, vol. 第J84-D-II巻 第6号, JPN6022016702, 1 June 2001 (2001-06-01), JP, pages 898 - 908, ISSN: 0004765835 * |
長谷川 孔明、中内 靖: "遠隔参与者の発話機会増加のために身ぶりを誇張する遠隔会話ロボットの提案", 電子情報通信学会技術研究報告 CNR2014−9−CNR2014−15 クラウドネットワークロボット, vol. 第114巻 第227号, JPN6022016703, 19 September 2014 (2014-09-19), JP, pages 5 - 10, ISSN: 0004765834 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021157367A1 (ja) * | 2020-02-04 | 2021-08-12 | ソニーグループ株式会社 | 情報処理装置、及び情報処理方法 |
WO2023095531A1 (ja) * | 2021-11-25 | 2023-06-01 | ソニーグループ株式会社 | 情報処理装置、情報処理方法および情報処理プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP7106097B2 (ja) | 2022-07-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7379907B2 (ja) | 情報処理装置、情報処理プログラム、情報処理システム、情報処理方法 | |
US20200090393A1 (en) | Robot and method for operating the same | |
US9263044B1 (en) | Noise reduction based on mouth area movement recognition | |
US11948241B2 (en) | Robot and method for operating same | |
US20010054071A1 (en) | Audio/video conference system for electronic caregiving | |
US10403272B1 (en) | Facilitating participation in a virtual meeting using an intelligent assistant | |
KR20070029794A (ko) | 유저와 시스템 사이에 통신을 하기 위한 방법 및 시스템 | |
US10511818B2 (en) | Context aware projection | |
JP2020021025A (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP2016189534A (ja) | プログラム及びサーバ装置 | |
CN109804407B (zh) | 关心维持系统以及服务器 | |
JP7106097B2 (ja) | テレプレゼンスシステム | |
JP2020136921A (ja) | ビデオ通話システム、およびコンピュータプログラム | |
WO2018180571A1 (ja) | 情報処理装置、情報処理方法、プログラム | |
US10582155B1 (en) | Video visitation for the cognitive and/or dexterity impaired | |
JP6786700B2 (ja) | 情報処理装置、情報処理方法および情報処理システム | |
JP6435701B2 (ja) | 制御装置 | |
CN117971154A (zh) | 多模态响应 | |
JP2023180943A (ja) | 情報処理装置、情報処理方法およびプログラム | |
JPWO2018168247A1 (ja) | 情報処理装置、情報処理方法およびプログラム | |
JPH09107534A (ja) | テレビ会議装置及びテレビ会議システム | |
US20160316054A1 (en) | Communication device, method, and program | |
WO2020175115A1 (ja) | 情報処理装置、及び情報処理方法 | |
CN113448432A (zh) | 管理虚拟会议方法、头戴式显示器、计算机可读存储介质 | |
US20200151796A1 (en) | Information processing device, information processing method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A80 | Written request to apply exceptions to lack of novelty of invention |
Free format text: JAPANESE INTERMEDIATE CODE: A80 Effective date: 20180629 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210514 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220411 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220510 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220620 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220705 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220706 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7106097 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |