JP2017164319A - ビデオチャットロボットシステム、手渡し遊び制御方法および手渡し遊び制御プログラム - Google Patents

ビデオチャットロボットシステム、手渡し遊び制御方法および手渡し遊び制御プログラム Download PDF

Info

Publication number
JP2017164319A
JP2017164319A JP2016053021A JP2016053021A JP2017164319A JP 2017164319 A JP2017164319 A JP 2017164319A JP 2016053021 A JP2016053021 A JP 2016053021A JP 2016053021 A JP2016053021 A JP 2016053021A JP 2017164319 A JP2017164319 A JP 2017164319A
Authority
JP
Japan
Prior art keywords
article
video chat
video
hand
robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016053021A
Other languages
English (en)
Other versions
JP6647711B2 (ja
Inventor
長井 隆行
Takayuki Nagai
隆行 長井
阿部 香澄
Kasumi Abe
香澄 阿部
雅超 裴
Ya-Chao Pei
雅超 裴
亭芸 張
Tingyun Chang
亭芸 張
智絵 日永田
Chie Hieida
智絵 日永田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electro Communications NUC
Original Assignee
University of Electro Communications NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electro Communications NUC filed Critical University of Electro Communications NUC
Priority to JP2016053021A priority Critical patent/JP6647711B2/ja
Publication of JP2017164319A publication Critical patent/JP2017164319A/ja
Application granted granted Critical
Publication of JP6647711B2 publication Critical patent/JP6647711B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Toys (AREA)
  • Manipulator (AREA)

Abstract

【課題】乳幼児が集中しやすく、長期的に飽きにくいコミュニケーション手法を提供する。【解決手段】ロボットに設けられ、手を模し、物品が載置可能な状態と物品が取り込まれて隠された状態とを有するハンド機構と、前記ロボットと通信相手の端末装置との間でビデオチャットを行う機能を提供するビデオチャット部と、前記ハンド機構への物品の載置に応じて前記ハンド機構を物品が取り込まれて隠された状態に制御し、該状態においてビデオチャット上の前記通信相手を撮影した映像に物品を示す映像を合成し、前記通信相手の返却指示に応じてビデオチャット上の物品を示す映像を消去し、前記ハンド機構を物品が載置可能な状態に制御する制御部とを備える。【選択図】図1

Description

本発明は、ビデオチャットロボットシステム、手渡し遊び制御方法および手渡し遊び制御プログラムに関する。
子育てをしている家庭においては、例えば家事の間だけでも誰かに子供の相手をしてもらえたら助かるという状況が多々ある。一方で、祖父母(子供から見て)は子供とのコミュニケーションを欲している場合が多いが、遠方に住んでいる場合には頻繁にやってくるわけにもいかないというのが現実である。そこで、昨今のIT(情報通信技術)を活用した解決が望まれる。
特許文献1には、気軽にベビーシッターを利用できることをひとつの目標として、遠く離れたところにいても対面型のコミュニケーションをとることができる見守りシステムが開示されている。しかし、ベビーシッターと子供の間のビデオチャットや、クイズやゲームのコンテンツにより子供の相手をするものであるため、ある程度、年齢の高い子供にしか使えない面があり、乳幼児に適用するのは困難であると考えられる。
乳幼児はビデオチャット機器の前にじっとしていられず、呼びかけてもビデオチャット機器の近くに来てくれるとは限らない。見守りシステム以外でも、ビデオチャットを利用したものでは同様の問題が発生し、30分も子供を引きつけていられないと予想される。
乳幼児がビデオチャット機器の前に長く滞在できない問題の解決には、テレプレゼンスロボットが有効であると考えられる。テレプレゼンスロボットは、簡潔に言えば移動できるビデオチャット機器であり、操作者が遠く離れた場所から操作し、まるでその場にいるかのように動き回ることができ、相手に近づいて会話を行うことができる(非特許文献1−8)。
しかし、既存のテレプレゼンスロボットは、いずれも乳幼児と遊ぶことを想定していない。非特許文献1−5に示されるロボットは背が高すぎ、乳幼児と同じ目線で遊ぶことができない。また、乳幼児と長く遊ぶためには、身体を使う遊びや、絵本の読み聞かせなど、乳幼児の楽しめる遊びができなければならないが、スマートフォンサイズのロボット(非特許文献6、7)では、乳幼児に合った多様な遊びを行うことができない。非特許文献8に示される機器は、高さの点では乳幼児との遊びに適しているが、移動することができない。
また、発明者らの既存研究として、遠くの場所から乳幼児とコミュニケーションするためのテレプレゼンスロボットがある(非特許文献9)。しかし、子供が相手と対面しているかのような感覚を得ながら遊ぶには不十分であり、子供の興味を引き付けて長くビデオチャットを続けることは難しいと考えられる。
一方、特許文献2にはビデオチャット機能を備えた人形型のデバイスが開示されており、乳幼児を対象としたものであるが、親からの介入や監督を必要とせずに本人の意志で遊ぶことを志向したものであり、方向性が異なる。
特開2006−235978号公報 特表2014−515571号公報
Double、Double Robotics社、http://www.doublerobotics.com/ Beam、Suitable Technologies社、https://www.suitabletech.com/ Anybots QB、BizzwithBuzz社、https://www.anybots.com/ Telemba、https://www.kickstarter.com/projects/frtp/telemba Avatar Robot for Party(パーティー専用遠隔操作ロボット)、smilerobotics社、http://smilerobotics.com/wordpress/ Botiful、https://www.kickstarter.com/projects/1452620607/botiful-telepresence-robot-for-android Romo、ロモティブ社、http://www.romotive.com/ JIBO、Jibo.com社、http://www.myjibo.com/ K. Abe, et al., "Telepresence Childcare Robot for Playing with Children from a Remote Location," ICAM 2015, 1P1-11, Tokyo, 2015
上述したように、従来、遠隔地から効果的に乳幼児の相手を行う仕組が存在せず、有効な手法が要望されていた。
本発明は上記の従来の問題点に鑑み提案されたものであり、その目的とするところは、乳幼児が集中しやすく、長期的に飽きにくいコミュニケーション手法を提供することにある。
上記の課題を解決するため、本発明にあっては、ロボットに設けられ、手を模し、物品が載置可能な状態と物品が取り込まれて隠された状態とを有するハンド機構と、前記ロボットと通信相手の端末装置との間でビデオチャットを行う機能を提供するビデオチャット部と、前記ハンド機構への物品の載置に応じて前記ハンド機構を物品が取り込まれて隠された状態に制御し、該状態においてビデオチャット上の前記通信相手を撮影した映像に物品を示す映像を合成し、前記通信相手の返却指示に応じてビデオチャット上の物品を示す映像を消去し、前記ハンド機構を物品が載置可能な状態に制御する制御部とを備える。
本発明にあっては、乳幼児が集中しやすく、長期的に飽きにくいコミュニケーション手法を提供することができる。
本発明の一実施形態にかかるシステムの構成例を示す図である。 ビデオチャットロボットの外観構成例を示す図である。 ハンドの構成例を示す図(その1)である。 ハンドの構成例を示す図(その2)である。 ハンドの構成例を示す図(その3)である。 ハンドの構成例を示す図(その4)である。 ハンドの構成例を示す図(その5)である。 ビデオチャットロボットの情報処理にかかるハードウェア構成例を示す図である。 実施形態の処理例を示すシーケンス図(その1)である。 手渡し遊びの操作例を示す図(その1)である。 手渡し遊びの操作例を示す図(その2)である。 手渡し遊びの操作例を示す図(その3)である。 手渡し遊びの操作例を示す図(その4)である。 実施形態の処理例を示すシーケンス図(その2)である。
以下、本発明の好適な実施形態につき説明する。
<構成>
図1は本発明の一実施形態にかかるシステムの構成例を示す図である。図1において、主に乳幼児が使用するビデオチャットロボット1と、主に祖父母等の通信相手が使用する端末装置2とが、インターネット等のネットワーク3を介して接続可能になっている。また、必要に応じて、ネットワーク3にはサーバ4が接続可能になっている。
ビデオチャットロボット1は、ビデオチャット部11とハンド制御部12と映像制御部13とを備えている。ビデオチャット部11は、ビデオチャットロボット1側でのビデオチャットについての処理を実行する機能を有している。ハンド制御部12は、ビデオチャットロボット1に備えられたハンド(後述)を制御する機能を有している。映像制御部13は、ハンドの制御に連動してビデオチャット上の映像を制御する機能を有している。なお、ハンドの制御に連動したビデオチャット上の映像の制御を端末装置2側またはサーバ4側で行う場合には、映像制御部13は不要となる。
端末装置2は、ビデオチャット部21と映像制御部22とを備えている。ビデオチャット部21は、端末装置2側でのビデオチャットについての処理を実行する機能を有している。映像制御部22は、ビデオチャットロボット1のハンドの制御に連動してビデオチャット上の映像を制御する機能を有している。なお、ビデオチャットロボット1のハンドの制御に連動したビデオチャット上の映像の制御をビデオチャットロボット1側またはサーバ4側で行う場合には、映像制御部22は不要となる。ビデオチャットロボット1の映像制御部13と端末装置2の映像制御部22とで、連携してビデオチャット上の映像の制御を行ってもよい。
サーバ4は、ビデオチャット制御部41と映像制御部42とログ取得部43とを備えている。ビデオチャット制御部41は、ビデオチャットロボット1と端末装置2の間のビデオチャットを制御する機能を有している。映像制御部42は、ビデオチャットロボット1のハンドの制御に連動してビデオチャット上の映像を制御する機能を有している。ログ取得部43は、ビデオチャットロボット1と端末装置2の動作ログを取得する機能を有している。
図2はビデオチャットロボット1の外観構成例を示す図である。図2において、ビデオチャットロボット1は、頭部筐体101と胴部筐体106とを備えている。頭部筐体101には、前面に画面部102が設けられるとともに、画面部102の上部にはカメラ103が設けられ、画面部102の両側にはスピーカ104が設けられ、下部にはマイク105が設けられている。胴部筐体106には、手を模し、物品が載置可能な状態と、物品が取り込まれて隠された状態とを有するハンド107が設けられている。また、ビデオチャットロボット1には、利用者(子供)に追従して利用者の正面を向くための自走機構や回転機構を設けることができる。利用者の認識は、カメラ103やその他のセンサによる顔認識や色認識等で行うことができる。
図3はハンド107の構成例を示す図であり、図2のビデオチャットロボット1を右側方から見た図である。図3(a)において、ハンド107は、上方に向かって湾曲した受皿部107−1が支点107−2で揺動自在に保持されており、駆動部107−3により、受皿部107−1が上方向に振り上がるようになっている。図3(b)は受皿部107−1が上がりきった状態を示している。これにより、図3(a)の状態で受皿部107−1に載置された物品OBJが、図3(b)の状態では隠されて見えない状態になる。
図4はハンド107の他の構成例を示す図である。図4(a)において、ハンド107は、円弧状の断面を有し、上方に向かって湾曲した受皿部107−4が、駆動部107−5によって円弧の中心を維持しながら回転して、せり出し可能となっている。図4(b)はせり出しきった状態を示している。これにより、図4(a)の状態で受皿部107−4に載置された物品OBJが、図4(b)の状態では隠されて見えない状態になる。
図5はハンド107の他の構成例を示す図である。図5(a)において、ハンド107は、断面が略L字形の受け部107−6が駆動部107−8により、胴部筐体106に設けられた空洞部107−7に向かって後退可能になっている。図5(b)は後退しきった状態を示している。これにより、図5(a)の状態で受け部107−6に載置された物品OBJが、図5(b)の状態では隠されて見えない状態になる。
図6はハンド107の他の構成例を示す図である。図6(a)において、ハンド107は、断面が略L字形で、固定されたハンド受部107−9に対し、断面が略逆L字状のハンド押さえ部107−10が駆動部107−11により下方に移動し、ハンド受部107−9と噛み合うようになっている。図6(b)はかみあった状態を示している。これにより、図6(a)の状態でハンド受部107−9に載置された物品OBJが、図6(b)の状態では隠されて見えない状態になる。
図7はハンド107の他の構成例を示す図であり、ビデオチャットロボット1を正面から見た図である。図7(a)において、ハンド107は、胴部筐体106の両端付近にヒンジ止めされた、いわゆる観音開きの右側ハンド107−12と左側ハンド107−13とを備え、胴部筐体106の中央に空洞部107−14を備えている。そして、右側ハンド107−12と左側ハンド107−13が開いた状態から、内部の駆動部により右側ハンド107−12と左側ハンド107−13が内側に閉じられるようになっている。図7(b)は右側ハンド107−12と左側ハンド107−13が閉じられた状態を示している。これにより、図7(a)の状態で空洞部107−14に載置された物品OBJが、図7(b)の状態では隠されて見えない状態になる。
図8はビデオチャットロボット1の情報処理にかかるハードウェア構成例を示す図である。図8において、ビデオチャットロボット1は、バス1000を介して相互に接続されたCPU(Central Processing Unit)1001、ROM(Read Only Memory)1002、RAM(Random Access Memory)1003、HDD(Hard Disk Drive)/SSD(Solid State Drive)1004、接続I/F(Interface)1005、通信I/F1006を備えている。
CPU1001は、RAM1003をワークエリアとしてROM1002またはHDD/SSD1004等に格納されたプログラムを実行することで、ビデオチャットロボット1の動作を統括的に制御する。接続I/F1005は、カメラ1007、マイク1008、スピーカ1009、センサ1010、モータ1011とのインタフェースである。通信I/F1006は、ネットワークを介して他の情報処理装置(端末装置2、サーバ4等)と通信を行うためのインタフェースである。図1で説明したビデオチャットロボット1の機能は、CPU1001において所定のプログラムが実行されることで実現される。プログラムは、記録媒体を経由して取得されるものでもよいし、ネットワークを経由して取得されるものでもよいし、ROM組込でもよい。
センサ1010はビデオチャットロボット1に物品が載置されたか否かを検出するためのものであり、
・触覚センサを用いる場合
・加重センサを用いる場合
・カメラを用いる場合
・RFIDタグリーダを用いる場合
・VRマーカリーダを用いる場合
・操作者の操作による場合
といった、いくつかのヴァリエーションがある。なお、センサ1010は、物品がハンド107に載置されたことの検出と、載置された物品の特定(合成する物品の画像の特定)とを行うためのものであり、上述のヴァリエーションを複数組み合わせることもできる。
触覚センサを用いる場合、触覚センサは物品が載置される部分に配置され、物品の載置による接触で、物品の載置を検出する。加重センサを用いる場合、加重センサは物品が載置される部分に配置され、物品の載置による加重変化で、物品の載置を検出する。加重センサとしては、歪ゲージを用いることもできるし、モータ(ハンド駆動用モータ)の負荷変化を利用することもできる。カメラを用いる場合、カメラは物品が載置される部分を撮影可能な位置に配置される。ビデオチャットに用いるカメラと兼用することもできる。カメラを用いる場合、物品が載置されていない状態の背景画像と、撮影画像との差分をとることで、物品の載置を検出することができる。また、検出した物品の画像をそのまま合成に用いる場合には、更に物品を特定することは不要となる。
RFIDタグリーダを用いる場合、RFIDタグリーダは物品が載置される部分に設けられ、物品に予め貼り付けられたRFIDタグを近接検出することで、物品の載置の検出と物品の特定を行うことができる。VRマーカリーダを用いる場合、物品に予め貼り付けられたVRマーカを検出することで、物品の載置の検出と物品の特定を行うことができる。VRマーカリーダは、物品が載置される位置を撮影するカメラと、カメラ画像からVRマーカを検出する処理部とにより構成することができる。操作者の操作による場合、所定のボタン等に操作が行われたことで、物品の載置を検出することができる。この場合、物品の種類毎にボタン等を設けることも考えられるが、ボタンを1つとする場合、物品の特定は他の手法を併用することが望ましい。
なお、検出の安定性を増すために、物品の載置に対応する所定の閾値以上の反応が所定の時間以上継続した場合に物品の載置を検出したとすることが望ましい。
端末装置2とサーバ4のハードウェア構成も図8に示したものと同様であるが、端末装置2にはセンサ1010、モータ1011等は不要であり、サーバ4にはカメラ1007、マイク1008、スピーカ1009、センサ1010、モータ1011等は不要である。
<動作>
図9は上記の実施形態の処理例を示すシーケンス図であり、乳幼児等の子供と祖父との間でビデオチャットを介した物品の手渡し遊びを行う例である。なお、ビデオチャットロボット1のハンド107の制御に連動したビデオチャット上の映像の制御を端末装置2側で行う場合について示している。
図9において、ビデオチャットロボット1と端末装置2の間で、一般的な手順に従ってビデオチャットが開始されているとする(ステップS101)。
その後、ビデオチャットロボット1において、子供がハンド107に物品を載置するものとする(ステップS102)。図10(a)は、子供CHがビデオチャットロボット1のハンド107に物品OBJを載置しようとしている状態を示している。図10(b)は、その際の祖父GF側の端末装置2において表示される画面例を示しており、主画面には物品OBJを持った子供CHの映像が表示されており、副画面には祖父GF本人の映像(ビデオチャットロボット1側に表示されている映像)が表示されている。
図9に戻り、ビデオチャットロボット1のハンド制御部12が物品の載置を検出すると(ステップS103)、ハンド制御部12はハンド107を開状態から閉状態に制御する(ステップS104)。図11はビデオチャットロボット1においてハンド107が閉状態となったことで、物品が隠され、見えなくなった状態を示している。
次いで、図9に戻り、ハンド制御部12は、ハンド107が閉状態となったこと(載置された物品が隠されたこと)を確認した後、端末装置2に対して物品載置通知を行う(ステップS105)。この物品載置通知には、物品の画像または物品を識別する情報が伴われる。
端末装置2の映像制御部22は、物品載置通知を受け付けると、端末装置2側で撮影されるビデオチャットの映像に、載置された物品の画像を合成する(ステップS106)。物品載置通知に物品の画像が伴われる場合はその画像を合成し、物品を識別する情報が伴われる場合は、その情報に対応する画像を取得して合成する。
合成が行われた映像はビデオチャットに反映される。図12(a)は、ビデオチャットロボット1の画面部102に祖父GFとともに物品OBJの画像(合成画像)が表示された状態を示している。子供CHは、自分が渡した物品OBJが祖父GFに渡ったと認識する。また、図12(b)は、その際の祖父GF側の端末装置2において表示される画面例を示しており、主画面には子供CHの映像が表示されており、副画面には祖父GF本人の映像と物品OBJの画像が表示されている。
図9に戻り、端末装置2側で、マウスやキーボード等により、合成された物品の画像の位置を変更する操作を行い(ステップS107)、それを映像制御部22が検出すると(ステップS108)、映像制御部22は、合成する物品の画像の位置を変更する(ステップS109)。合成位置の変更が行われた映像はビデオチャットに反映される。これにより、例えば、端末装置2を操作する祖父は、物品が食べ物の玩具である場合、口の近くに持って行って「もぐもぐ 美味しいね」といった発話を行い、子供を喜ばすことができる。
次いで、端末装置2側で、合成された物品を返却する操作を行うものとする(ステップS110)。返却の操作は、マウスやキーボード等により物品の画像を副画面外に移動したり、返却のボタンを押す等により行うことができる。そして、映像制御部22が物品返却操作を検出すると(ステップS111)、映像制御部22は、ビデオチャットロボット1に対して物品返却通知を行う(ステップS112)。これとほぼ同時に、端末装置2の映像制御部22は、端末装置2側で撮影されるビデオチャットの映像への物品の合成を停止する(ステップS113)。合成の停止が行われた映像はビデオチャットに反映される。
ビデオチャットロボット1のハンド制御部12は、物品返却通知を受け取ると、ハンド107を閉状態から開状態に制御する(ステップS114)。図13(a)は、祖父GF側の端末装置2において表示される画面例を示しており、主画面には子供CHの映像が表示されており、副画面には祖父GF本人の映像が表示されている。図13(b)は、ビデオチャットロボット1のハンド107が開状態となって、物品OBJが再び見えるようになった状態を示している。
ビデオチャットロボット1のハンド107の制御に連動したビデオチャット上の映像の制御を端末装置2側で行う場合について説明したが、ビデオチャットの映像そのものには加工を行わず、画面表示される映像についてビデオチャットロボット1側と端末装置2側で物品の映像の合成および合成停止を行うようにしてもよい。なお、ビデオチャットの映像への物品OBJの合成の停止とハンド107の閉状態から開状態への制御とが子供CHに不信感を抱かせないタイミングで行われれば、つまり、ビデオチャットロボット1のビデオチャットの映像に物品OBJが映っており、かつハンド107が開状態となり載置された物品OBJが視認できるということが無ければ、ステップS112〜S114はどのような順番で処理が行われてもよい。
図14は実施形態の他の処理例を示すシーケンス図であり、サーバ4を介して制御を行うようにした例である。
図14において、ビデオチャットロボット1と端末装置2の間で、サーバ4を介し、一般的な手順に従ってビデオチャットが開始されているとする(ステップS201、S202)。
その後、ビデオチャットロボット1において、子供がハンド107に物品を載置し(ステップS203)、ビデオチャットロボット1のハンド制御部12が物品の載置を検出すると(ステップS204)、ハンド制御部12はハンド107を開状態から閉状態に制御する(ステップS205)。
次いで、ハンド制御部12は、ハンド107が閉状態となったこと(載置された物品が隠されたこと)を確認した後、サーバ4に対して物品載置通知を行う(ステップS206)。この物品載置通知には、物品の画像または物品を識別する情報が伴われる。
サーバ4の映像制御部42は、物品載置通知を受け付けると、端末装置2側で撮影されるビデオチャットの映像に、載置された物品の画像を合成する(ステップS207)。物品載置通知に物品の画像が伴われる場合はその画像を合成し、物品を識別する情報が伴われる場合は、その情報に対応する画像を取得して合成する。合成が行われた映像はビデオチャットに反映される。
その後、端末装置2側で、マウスやキーボード等により、合成された物品の画像の位置を変更する操作を行い(ステップS208)、それを映像制御部22が検出すると(ステップS209)、映像制御部22は、サーバ4に対して物品位置変更通知を行う(ステップS210)。
サーバ4の映像制御部42は、物品位置変更通知を受け付けると、合成する物品の画像の位置を変更する(ステップS211)。合成位置の変更が行われた映像はビデオチャットに反映される。
次いで、端末装置2側で、合成された物品を返却する操作を行うものとする(ステップS212)。返却の操作は、マウスやキーボード等により物品の画像を副画面外に移動したり、返却のボタンを押す等により行うことができる。そして、映像制御部22が物品返却操作を検出すると(ステップS213)、映像制御部22は、サーバ4に対して物品返却通知を行う(ステップS214)。サーバ4の映像制御部42は、物品返却通知を受け付けると、ビデオチャットロボット1に対して物品返却通知を行う(ステップS215)。これとほぼ同時に、サーバ4の映像制御部42は、端末装置2側で撮影されるビデオチャットの映像への物品の合成を停止する(ステップS216)。合成の停止が行われた映像はビデオチャットに反映される。
ビデオチャットロボット1のハンド制御部12は、物品返却通知を受け取ると、ハンド107を閉状態から開状態に制御する(ステップS217)。
なお、上記の図9の処理例と同様、ビデオチャットの映像への物品OBJの合成の停止とハンド107の閉状態から開状態への制御とが子供CHに不信感を抱かせないタイミングで行われれば、ステップS214〜S217はどのような順番で処理が行われてもよい。
<総括>
以上説明したように、本実施形態によれば、物品の手渡し遊びを実現することで、乳幼児が集中しやすく、長期的に飽きにくいコミュニケーション手法を提供することができる。
以上、本発明の好適な実施の形態により本発明を説明した。ここでは特定の具体例を示して本発明を説明したが、特許請求の範囲に定義された本発明の広範な趣旨および範囲から逸脱することなく、これら具体例に様々な修正および変更を加えることができることは明らかである。すなわち、具体例の詳細および添付の図面により本発明が限定されるものと解釈してはならない。
1 ビデオチャットロボット
11 ビデオチャット部
12 ハンド制御部
13 映像制御部
101 頭部筐体
102 画面部
103 カメラ
104 スピーカ
105 マイク
106 胴部筐体
107 ハンド
2 端末装置
21 ビデオチャット部
22 映像制御部
3 ネットワーク
4 サーバ
41 ビデオチャット制御部
42 映像制御部
43 ログ取得部

Claims (6)

  1. ロボットに設けられ、手を模し、物品が載置可能な状態と物品が取り込まれて隠された状態とを有するハンド機構と、
    前記ロボットと通信相手の端末装置との間でビデオチャットを行う機能を提供するビデオチャット部と、
    前記ハンド機構への物品の載置に応じて前記ハンド機構を物品が取り込まれて隠された状態に制御し、該状態においてビデオチャット上の前記通信相手を撮影した映像に物品を示す映像を合成し、前記通信相手の返却指示に応じてビデオチャット上の物品を示す映像を消去し、前記ハンド機構を物品が載置可能な状態に制御する制御部と
    を備えたことを特徴とするビデオチャットロボットシステム。
  2. 前記ロボットにおいて物品の載置が検出された場合に前記端末装置に対して通知を行い、前記端末装置において物品を示す映像を合成し、
    前記端末装置において返却指示が行われた場合に前記ロボットに通知を行い、前記端末装置において物品を示す映像を消去する
    ことを特徴とする請求項1に記載のビデオチャットロボットシステム。
  3. ビデオチャットを仲介するサーバを備え、
    前記ロボットにおいて物品の載置が検出された場合に前記サーバに対して通知を行い、前記サーバにおいて物品を示す映像を合成し、
    前記端末装置において返却指示が行われた場合に前記サーバを介して前記ロボットに通知を行い、前記サーバにおいて物品を示す映像を消去する
    ことを特徴とする請求項1に記載のビデオチャットロボットシステム。
  4. 前記端末装置において合成して表示された物品の画像に対して移動指示が行われた場合、物品の画像の合成位置を変更する
    ことを特徴とする請求項1乃至3のいずれか一項に記載のビデオチャットロボットシステム。
  5. ロボットと通信相手の端末装置との間でビデオチャットを行う機能を提供し、
    前記ロボットに設けられ、手を模し、物品が載置可能な状態と物品が取り込まれて隠された状態とを有するハンド機構に対し、該ハンド機構への物品の載置に応じて前記ハンド機構を物品が取り込まれて隠された状態に制御し、該状態においてビデオチャット上の前記通信相手を撮影した映像に物品を示す映像を合成し、前記通信相手の返却指示に応じてビデオチャット上の物品を示す映像を消去し、前記ハンド機構を物品が載置可能な状態に制御する、
    処理をコンピュータが実行することを特徴とする手渡し遊び制御方法。
  6. ロボットと通信相手の端末装置との間でビデオチャットを行う機能を提供し、
    前記ロボットに設けられ、手を模し、物品が載置可能な状態と物品が取り込まれて隠された状態とを有するハンド機構に対し、該ハンド機構への物品の載置に応じて前記ハンド機構を物品が取り込まれて隠された状態に制御し、該状態においてビデオチャット上の前記通信相手を撮影した映像に物品を示す映像を合成し、前記通信相手の返却指示に応じてビデオチャット上の物品を示す映像を消去し、前記ハンド機構を物品が載置可能な状態に制御する、
    処理をコンピュータに実行させることを特徴とする手渡し遊び制御プログラム。
JP2016053021A 2016-03-16 2016-03-16 ビデオチャットロボットシステム、手渡し遊び制御方法および手渡し遊び制御プログラム Active JP6647711B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016053021A JP6647711B2 (ja) 2016-03-16 2016-03-16 ビデオチャットロボットシステム、手渡し遊び制御方法および手渡し遊び制御プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016053021A JP6647711B2 (ja) 2016-03-16 2016-03-16 ビデオチャットロボットシステム、手渡し遊び制御方法および手渡し遊び制御プログラム

Publications (2)

Publication Number Publication Date
JP2017164319A true JP2017164319A (ja) 2017-09-21
JP6647711B2 JP6647711B2 (ja) 2020-02-14

Family

ID=59908542

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016053021A Active JP6647711B2 (ja) 2016-03-16 2016-03-16 ビデオチャットロボットシステム、手渡し遊び制御方法および手渡し遊び制御プログラム

Country Status (1)

Country Link
JP (1) JP6647711B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107945803A (zh) * 2017-11-28 2018-04-20 上海与德科技有限公司 一种机器人的辅助学习方法和机器人
JP2019168971A (ja) * 2018-03-23 2019-10-03 国立大学法人電気通信大学 同室感コミュニケーションシステム
JP2020048158A (ja) * 2018-09-21 2020-03-26 国立大学法人電気通信大学 コミュニケーション支援システム、ロボット、動画処理装置および動画処理プログラム

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02121687A (ja) * 1988-10-31 1990-05-09 Takara Co Ltd 玩具における変化機構
JPH0499504A (ja) * 1990-08-20 1992-03-31 Tomy Ltd コイン投入玩具および貯金箱
JPH11114221A (ja) * 1997-10-17 1999-04-27 Namco Ltd 合成画像表示装置、ゲーム装置及びボーリングゲーム装置
JP2004173928A (ja) * 2002-11-27 2004-06-24 System Watt Co Ltd 携帯電話用玩具
JP2004261941A (ja) * 2003-03-04 2004-09-24 Sharp Corp コミュニケーションロボットおよびコミュニケーションシステム
JP2011097531A (ja) * 2009-11-02 2011-05-12 Advanced Telecommunication Research Institute International 傾聴対話持続システム
JP2015093353A (ja) * 2013-11-12 2015-05-18 敏之 三津江 多機能情報端末遠隔操作型ロボット
WO2015159561A1 (ja) * 2014-04-16 2015-10-22 株式会社ソニー・コンピュータエンタテインメント 情報処理装置、情報処理システム、および情報処理方法
US20160055677A1 (en) * 2014-08-25 2016-02-25 Google Inc. Methods and Systems for Augmented Reality to Display Virtual Representations of Robotic Device Actions

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02121687A (ja) * 1988-10-31 1990-05-09 Takara Co Ltd 玩具における変化機構
JPH0499504A (ja) * 1990-08-20 1992-03-31 Tomy Ltd コイン投入玩具および貯金箱
JPH11114221A (ja) * 1997-10-17 1999-04-27 Namco Ltd 合成画像表示装置、ゲーム装置及びボーリングゲーム装置
JP2004173928A (ja) * 2002-11-27 2004-06-24 System Watt Co Ltd 携帯電話用玩具
JP2004261941A (ja) * 2003-03-04 2004-09-24 Sharp Corp コミュニケーションロボットおよびコミュニケーションシステム
JP2011097531A (ja) * 2009-11-02 2011-05-12 Advanced Telecommunication Research Institute International 傾聴対話持続システム
JP2015093353A (ja) * 2013-11-12 2015-05-18 敏之 三津江 多機能情報端末遠隔操作型ロボット
WO2015159561A1 (ja) * 2014-04-16 2015-10-22 株式会社ソニー・コンピュータエンタテインメント 情報処理装置、情報処理システム、および情報処理方法
US20160055677A1 (en) * 2014-08-25 2016-02-25 Google Inc. Methods and Systems for Augmented Reality to Display Virtual Representations of Robotic Device Actions

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107945803A (zh) * 2017-11-28 2018-04-20 上海与德科技有限公司 一种机器人的辅助学习方法和机器人
JP2019168971A (ja) * 2018-03-23 2019-10-03 国立大学法人電気通信大学 同室感コミュニケーションシステム
JP2020048158A (ja) * 2018-09-21 2020-03-26 国立大学法人電気通信大学 コミュニケーション支援システム、ロボット、動画処理装置および動画処理プログラム
JP7257022B2 (ja) 2018-09-21 2023-04-13 国立大学法人電気通信大学 コミュニケーション支援システム、ロボット、動画処理装置および動画処理プログラム

Also Published As

Publication number Publication date
JP6647711B2 (ja) 2020-02-14

Similar Documents

Publication Publication Date Title
US10636215B2 (en) Systems and methods for providing real-time composite video from multiple source devices featuring augmented reality elements
WO2016068262A1 (ja) コミュニケーションロボット
KR102173479B1 (ko) 의사소통 시 정보 교환을 위한 방법, 사용자 단말 및 서버
US10438394B2 (en) Information processing method, virtual space delivering system and apparatus therefor
KR102223693B1 (ko) Nui 관여의 검출
JP6229314B2 (ja) 情報処理装置、表示制御方法及びプログラム
WO2022037111A1 (zh) 图像处理方法及装置、互动式展示装置和电子设备
US20160134938A1 (en) Display control device, display control method, and computer program
US20150148011A1 (en) Method and mobile terminal for speech communication
US11151796B2 (en) Systems and methods for providing real-time composite video from multiple source devices featuring augmented reality elements
US20190268460A1 (en) Communication Session Modifications Based On a Proximity Context
JP2012054897A (ja) 会議システム、情報処理装置、及び情報処理方法
JP2021516836A (ja) アプリケーションシーンにおけるインタラクティブ方法並びにその方法を実行するモバイル端末及びコンピュータプログラム
US20210192852A1 (en) Systems And Methods For Providing Real-Time Composite Video From Multiple Source Devices Featuring Augmented Reality Elements
CN109262606B (zh) 装置、方法、记录介质以及机器人
KR102338888B1 (ko) 검출된 이벤트들에 관한 정보를 제공하기 위한 방법들, 시스템들 및 매체들
WO2015078155A1 (en) A method and mobile terminal for speech communication
JP6647711B2 (ja) ビデオチャットロボットシステム、手渡し遊び制御方法および手渡し遊び制御プログラム
WO2019116521A1 (ja) エンターテインメントシステム、ロボット装置およびサーバ装置
JPWO2018230160A1 (ja) 情報処理システム、情報処理方法、およびプログラム
JP6889464B2 (ja) チャットシステム、管理装置、端末装置、宛先選択支援方法および宛先選択支援プログラム
KR20180075875A (ko) 전자 장치 및 그의 메시지 전달 방법
CN109819167A (zh) 一种图像处理方法、装置和移动终端
JP2020089947A (ja) 情報処理装置、情報処理方法及びプログラム
US10540542B2 (en) Monitoring

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190221

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191126

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191210

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200107

R150 Certificate of patent or registration of utility model

Ref document number: 6647711

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150