JP3766320B2

JP3766320B2 - Virtual space providing system, virtual space providing method, and virtual space providing program

Info

Publication number: JP3766320B2
Application number: JP2001358873A
Authority: JP
Inventors: 洋一吉野
Original assignee: NEC Fielding Ltd
Current assignee: NEC Fielding Ltd
Priority date: 2001-11-26
Filing date: 2001-11-26
Publication date: 2006-04-12
Anticipated expiration: 2021-11-26
Also published as: JP2003159673A

Description

【０００１】
【発明の属する技術分野】
本発明は、バーチャル空間提供システム、バーチャル空間提供方法、および、バーチャル空間提供プログラムに関し、特に、遠隔ロボットを利用するバーチャル空間提供システム、バーチャル空間提供方法、および、バーチャル空間提供プログラムに関する。
【０００２】
【従来の技術】
「特開２０００−３９９１０号公報」記載の技術は、「センサ付ロボットの教示動作、または、作業動作におけるセンサ情報、および、ロボット情報を、インターネット・イントラネットを介してリアルタイムで相互自動交信して、遠隔監視自在とすることにより、経路生成の情報収集処理や教示制御処理又は生成経路の解析、システムチューニングに必要な情報の収集処理を遠隔管理可能とするロボット作業情報発信方法」である。
【０００３】
また、「特開２０００−１０４６６号公報」記載の技術は、「仮想空間内で定義された仮想物体を運動シミュレーションする方法であって、独立に動作する複数の小型ロボットを利用し、対象となる仮想空間内の個々の仮想物体にはそれぞれに実世界で連動するロボットを１台ずつ対応させ、それらのロボット群の動作を変換メカニズムによって前記仮想物体の運動に反映させて個々の仮想物体の運動シミュレーションを実現することを特徴とする、実世界の制約を用いる仮想空間でのシミュレーション方法」です。
【０００４】
【発明が解決しようとする課題】
上述した従来の技術の第１の問題点は、操作者が、ロボットに対して指示を出すのみであり、ロボットの設置された場所からの情報のフィードバックが少ないことである。
【０００５】
その理由は、画像情報のみしかフィードバックしないからである。
【０００６】
第２の問題点は、臨場感を少ないことである。
【０００７】
その理由は、風を体験できないからである。
【０００８】
【課題を解決するための手段】
【０００９】
本発明の第１のバーチャル空間提供システムは、ユーザの操作に従いバーチャル空間体験申し込みを、インターネットを介し送信する１以上のユーザ端末と、前記ユーザ端末からのバーチャル空間体験申し込みを受け取り、利用可能性を調べ、利用可能かどうかを示す利用受付可能情報を前記インターネットを介し前記ユーザ端末へ送信する１以上の受付センターと、前記ユーザからの操作指示を前記インターネットを介し送信し、風情報を前記インターネットを介して受信し風情報に従ってエアコン装置をリコモン操作する制御装置と、前記制御装置からの操作指示を受信し、操作指示にしたがって動作し、風を感知し、風情報を前記インターネットを介し、前記制御装置に送信する遠隔ロボットとを有することを特徴とする。
【００１０】
本発明の第２のバーチャル空間提供システムは、ユーザの操作に従いバーチャル空間体験申し込みを、インターネットを介し送信する１以上のユーザ端末と、前記ユーザ端末からのバーチャル空間体験申し込みを受け取り、利用可能性を調べ、利用可能かどうかを示す利用受付可能情報を前記インターネットを介し前記ユーザ端末へ送信する１以上の受付センターと、前記ユーザからの操作指示を前記インターネットを介し送信する制御装置と、前記制御装置からの操作指示を受信し、操作指示にしたがって動作し、風を感知し、風情報を前記インターネットを介し、前記制御装置に送信する遠隔ロボットとを有し、前記制御装置が、３次元の映像を投影し、前記ユーザの頭の向きや目線を自動感知し、前記インターネットを介し、前記遠隔ロボットへ視線情報を伝達する３Ｄメガネと、前記ユーザの体に装着され、前記ユーザの体の動きをとらえ、動き情報を前記インターネットを介し前記遠隔ロボットに送信し、前記遠隔ロボットからの振動情報に従い振動を発生する動作伝搬器と、ユーザが発する声をとらえユーザ音声情報を前記インターネットを介し前記遠隔ロボットに送信するユーザマイクと、前記遠隔ロボットからの音情報を再生するユーザスピーカと、風情報を前記インターネットを介して受信し風情報に従ってエアコン装置をリコモン操作するエアコン操作器とを備えることを特徴とする。
【００１１】
本発明の第３のバーチャル空間提供システムは、ユーザの操作に従いバーチャル空間体験申し込みを、インターネットを介し送信する１以上のユーザ端末と、前記ユーザ端末からのバーチャル空間体験申し込みを受け取り、利用可能性を調べ、利用可能かどうかを示す利用受付可能情報を前記インターネットを介し前記ユーザ端末へ送信する１以上の受付センターと、前記ユーザからの操作指示を前記インターネットを介し送信する制御装置と、前記制御装置からの操作指示を受信し、操作指示にしたがって動作し、風を感知し、風情報を前記インターネットを介し、前記制御装置に送信する遠隔ロボットとを有し、前記制御装置が、３次元の映像を投影し、前記ユーザの頭の向きや目線を自動感知し、前記インターネットを介し、前記遠隔ロボットへ視線情報を伝達する３Ｄメガネと、前記ユーザの体に装着され、前記ユーザの体の動きをとらえ、動き情報を前記インターネットを介し前記遠隔ロボットに送信し、前記遠隔ロボットからの振動情報に従い振動を発生する動作伝搬器と、ユーザが発する声をとらえユーザ音声情報を前記インターネットを介し前記遠隔ロボットに送信するユーザマイクと、前記遠隔ロボットからの音情報を再生するユーザスピーカと、風情報を前記インターネットを介して受信し風情報に従ってエアコン装置をリコモン操作するエアコン操作器とを備え、前記遠隔ロボットが、前記３Ｄメガネからの視線情報に従い向きを移動し、とらえた映像を前記インターネットを介し前記制御装置に送信する視点稼働カメラと、正面にある物体との距離を計算し、指向性に切り替えた後、周囲の音声をとらえ前記インターネットを介し前記制御装置に音声情報を送信する指向性自動可変マイクと、前記制御装置から前記インターネットを介して送られてきたユーザの音声を出力するロボットスピーカと、付近の振動を捉え振動情報として前記インターネットを介して前記制御装置に送信する振動感知センサーと、付近の風向、風速を捉え、風向情報、風速情報を含む風情報として前記インターネットを介して前記制御装置に送信する風向・風速センサーとを備えることを特徴とする。
【００１３】
本発明の第１のバーチャル空間提供方法は、ユーザの操作に従いバーチャル空間体験申し込みを、インターネットを介し送信する１以上のユーザ端末手順と、前記ユーザ端末手順からのバーチャル空間体験申し込みを受け取り、利用可能性を調べ、利用可能かどうかを示す利用受付可能情報を前記インターネットを介し前記ユーザ端末手順へ送信する１以上の受付センター手順と、前記ユーザからの操作指示を前記インターネットを介し送信し、風情報を前記インターネットを介して受信し風情報に従ってエアコン装置をリコモン操作する制御手順と、前記制御手順からの操作指示を受信し、操作指示にしたがって動作し、風を感知し、風情報を前記インターネットを介し、前記制御手順に送信する遠隔ロボット手順とを含むことを特徴とする。
【００１４】
本発明の第２のバーチャル空間提供方法は、ユーザの操作に従いバーチャル空間体験申し込みを、インターネットを介し送信する１以上のユーザ端末手順と、前記ユーザ端末手順からのバーチャル空間体験申し込みを受け取り、利用可能性を調べ、利用可能かどうかを示す利用受付可能情報を前記インターネットを介し前記ユーザ端末手順へ送信する１以上の受付センターと、前記ユーザからの操作指示を前記インターネットを介し送信する制御手順と、前記制御手順からの操作指示を受信し、操作指示にしたがって動作し、風を感知し、風情報を前記インターネットを介し、前記制御手順に送信する遠隔ロボット手順とを含み、前記制御手順が、３次元の映像を投影し、前記ユーザの頭の向きや目線を自動感知し、前記インターネットを介し、前記遠隔ロボット手順へ視線情報を伝達する３Ｄメガネ手順と、前記ユーザの体の動きをとらえ、動き情報を前記インターネットを介し前記遠隔ロボット手順に送信し、前記遠隔ロボット手順からの振動情報に従い振動を発生する動作伝搬手順と、ユーザが発する声をとらえユーザ音声情報を前記インターネットを介し前記遠隔ロボット手順に送信するユーザマイク手順と、前記遠隔ロボット手順からの音情報を再生するユーザスピーカ手順と、風情報を前記インターネットを介して受信し風情報に従ってエアコン装置をリコモン操作するエアコン操作手順とを含むことを特徴とする。
【００１５】
本発明の第３のバーチャル空間提供方法は、ユーザの操作に従いバーチャル空間体験申し込みを、インターネットを介し送信する１以上のユーザ端末手順と、前記ユーザ端末手順からのバーチャル空間体験申し込みを受け取り、利用可能性を調べ、利用可能かどうかを示す利用受付可能情報を前記インターネットを介し前記ユーザ端末手順へ送信する１以上の受付センターと、前記ユーザからの操作指示を前記インターネットを介し送信する制御手順と、前記制御手順からの操作指示を受信し、操作指示にしたがって動作し、風を感知し、風情報を前記インターネットを介し、前記制御手順に送信する遠隔ロボット手順とを含み、前記制御手順が、３次元の映像を投影し、前記ユーザの頭の向きや目線を自動感知し、前記インターネットを介し、前記遠隔ロボット手順へ視線情報を伝達する３Ｄメガネ手順と、前記ユーザの体の動きをとらえ、動き情報を前記インターネットを介し前記遠隔ロボット手順に送信し、前記遠隔ロボット手順からの振動情報に従い振動を発生する動作伝搬手順と、ユーザが発する声をとらえユーザ音声情報を前記インターネットを介し前記遠隔ロボット手順に送信するユーザマイク手順と、前記遠隔ロボット手順からの音情報を再生するユーザスピーカ手順と、風情報を前記インターネットを介して受信し風情報に従ってエアコン装置をリコモン操作するエアコン操作手順とを含み、前記遠隔ロボット手順が、前記３Ｄメガネ手順からの視線情報に従い向きを移動し、とらえた映像を前記インターネットを介し前記制御手順に送信する視点稼働カメラ手順と、正面にある物体との距離を計算し、指向性に切り替えた後、周囲の音声をとらえ前記インターネットを介し前記制御手順に音声情報を送信する指向性自動可変マイク手順と、前記制御手順から前記インターネットを介して送られてきたユーザの音声を出力するロボットスピーカ手順と、付近の振動を捉え振動情報として前記インターネットを介して前記制御手順に送信する振動感知センサー手順と、付近の風向、風速を捉え、風向情報、風速情報を含む風情報として前記インターネットを介して前記制御手順に送信する風向・風速センサー手順とを含むことを特徴とする。
【００１７】
本発明の第１のバーチャル空間提供プログラムは、ユーザの操作に従いバーチャル空間体験申し込みを、インターネットを介し送信する１以上のユーザ端末手順と、前記ユーザ端末手順からのバーチャル空間体験申し込みを受け取り、利用可能性を調べ、利用可能かどうかを示す利用受付可能情報を前記インターネットを介し前記ユーザ端末手順へ送信する１以上の受付センター手順と、前記ユーザからの操作指示を前記インターネットを介し送信し、風情報を前記インターネットを介して受信し風情報に従ってエアコン装置をリコモン操作する制御手順と、前記制御手順からの操作指示を受信し、操作指示にしたがって動作し、風を感知し、風情報を前記インターネットを介し、前記制御手順に送信する遠隔ロボット手順とをコンピュータに実行させることを特徴とする。
【００１８】
本発明の第２のバーチャル空間提供プログラムは、ユーザの操作に従いバーチャル空間体験申し込みを、インターネットを介し送信する１以上のユーザ端末手順と、前記ユーザ端末手順からのバーチャル空間体験申し込みを受け取り、利用可能性を調べ、利用可能かどうかを示す利用受付可能情報を前記インターネットを介し前記ユーザ端末手順へ送信する１以上の受付センターと、前記ユーザからの操作指示を前記インターネットを介し送信する制御手順と、前記制御手順からの操作指示を受信し、操作指示にしたがって動作し、風を感知し、風情報を前記インターネットを介し、前記制御手順に送信する遠隔ロボット手順と、３次元の映像を投影し、前記ユーザの頭の向きや目線を自動感知し、前記インターネットを介し、前記遠隔ロボット手順へ視線情報を伝達する３Ｄメガネ手順と、前記ユーザの体の動きをとらえ、動き情報を前記インターネットを介し前記遠隔ロボット手順に送信し、前記遠隔ロボット手順からの振動情報に従い振動を発生する動作伝搬手順と、ユーザが発する声をとらえユーザ音声情報を前記インターネットを介し前記遠隔ロボット手順に送信するユーザマイク手順と、前記遠隔ロボット手順からの音情報を再生するユーザスピーカ手順と、風情報を前記インターネットを介して受信し風情報に従ってエアコン装置をリコモン操作するエアコン操作手順とを含む前記制御手順とをコンピュータに実行させることを特徴とする。
【００１９】
本発明の第３のバーチャル空間提供プログラムは、ユーザの操作に従いバーチャル空間体験申し込みを、インターネットを介し送信する１以上のユーザ端末手順と、前記ユーザ端末手順からのバーチャル空間体験申し込みを受け取り、利用可能性を調べ、利用可能かどうかを示す利用受付可能情報を前記インターネットを介し前記ユーザ端末手順へ送信する１以上の受付センターと、前記ユーザからの操作指示を前記インターネットを介し送信する制御手順と、前記制御手順からの操作指示を受信し、操作指示にしたがって動作し、風を感知し、風情報を前記インターネットを介し、前記制御手順に送信する遠隔ロボット手順と、３次元の映像を投影し、前記ユーザの頭の向きや目線を自動感知し、前記インターネットを介し、前記遠隔ロボット手順へ視線情報を伝達する３Ｄメガネ手順と、前記ユーザの体の動きをとらえ、動き情報を前記インターネットを介し前記遠隔ロボット手順に送信し、前記遠隔ロボット手順からの振動情報に従い振動を発生する動作伝搬手順と、ユーザが発する声をとらえユーザ音声情報を前記インターネットを介し前記遠隔ロボット手順に送信するユーザマイク手順と、前記遠隔ロボット手順からの音情報を再生するユーザスピーカ手順と、風情報を前記インターネットを介して受信し風情報に従ってエアコン装置をリコモン操作するエアコン操作手順とを含む前記制御手順と、前記３Ｄメガネ手順からの視線情報に従い向きを移動し、とらえた映像を前記インターネットを介し前記制御手順に送信する視点稼働カメラ手順と、正面にある物体との距離を計算し、指向性に切り替えた後、周囲の音声をとらえ前記インターネットを介し前記制御手順に音声情報を送信する指向性自動可変マイク手順と、前記制御手順から前記インターネットを介して送られてきたユーザの音声を出力するロボットスピーカ手順と、付近の振動を捉え振動情報として前記インターネットを介して前記制御手順に送信する振動感知センサー手順と、付近の風向、風速を捉え、風向情報、風速情報を含む風情報として前記インターネットを介して前記制御手順に送信する風向・風速センサー手順とを含む前記遠隔ロボット手順とをコンピュータに実行させることを特徴とする。
【００２０】
【発明の実施の形態】
次に、本発明の第１の実施の形態について図面を参照して詳細に説明する。
【００２１】
図１は、本発明の第１の実施の形態の構成を示すブロック図である。
【００２２】
図２は、図１の制御装置２０、遠隔ロボット４０の詳細ブロック図である。
【００２３】
図１を参照すると、本発明の第１の実施の形態は、１以上のユーザ端末１０と、１以上の制御装置２０と、１以上の受付センター３０と、１以上の遠隔ロボット４０と、これらを接続するインターネット１００とから構成される。
【００２４】
ユーザ端末１０は、ユーザが本発明のバーチャル空間体験の申し込みをする目的で使用する端末であり、パソコン等の情報処理装置で構成される。受付センター３０は、ワークステーション等の情報処理装置で構成されており、インターネット１００を介してユーザ端末１０からの本発明のバーチャル空間体験申し込みを受け付けるセンターであり、申し込みを受け付けると、ユーザ宅に制御装置２０を、現地に遠隔ロボット４０を設置する手続きを処理する機能を持つ。
【００２５】
制御装置２０は、ユーザが身につけて、インターネット１００を介して遠隔ロボット４０を制御する機能、および、遠隔ロボット４０からインターネット１００を介して音声や映像、振動等の情報を受信し、ユーザに伝える機能を持つ。
【００２６】
図２を参照すると、制御装置２０は、処理装置２０１、３Ｄメガネ２０２、マイク２０３、スピーカ２０４、および動作伝搬器２０５を備える。
【００２７】
処理装置２０１は、サーバ等の情報処理装置であり、３Ｄメガネ２０２、マイク２０３、および、動作伝搬器２０５の情報をインターネット１００を介して遠隔ロボット４０へ伝送する機能を持つ。さらに、処理装置２０１は、遠隔ロボット４０からインターネット１００を介して音声や映像、および、振動等の情報を受信して、３Ｄメガネ２０２、スピーカ２０４、および、動作伝搬器２０５に伝達、表示する機能を持つ。
【００２８】
３Ｄメガネ２０２は、３次元の映像を投影する機能、モーションキャプチャセンサー機能を持っており、ユーザの頭の向きや目線を自動感知し、処理装置２０１を経由し、インターネット１００を介して、遠隔ロボット４０へ情報を伝達することにより、ユーザが見たい映像、音声等の情報を捉えて、インターネット１００を介して処理装置２０１へ転送する機能を持つ。
【００２９】
動作伝搬器２０５は、ユーザが手足や体に設置してユーザの体の動きを遠隔ロボット４０に伝搬する機能と、遠隔ロボット４０が備える振動感知センサー４０４により現地の興奮や感覚を再現する機能を持つ。マイク２０３は、市販のマイクロフォンと同一の機能を持つマイクであり、ユーザが発する声を捉えて遠隔ロボット４０が備えるスピーカ４０２から音声を再生させることにより、現地の周りの人達と会話をするために使用される。スピーカ２０４は、市販のスピーカと同一機能を持つもの、遠隔ロボット４０からの音声や風音等の情報を再生してユーザに伝搬する機能を持つ。
【００３０】
遠隔ロボット４０は、遠隔地の催し会場等に設置されるロボットである。図２を参照すると、遠隔ロボット４０は、視点稼働カメラ４０１、スピーカ４０２、指向性自動可変マイク４０３、振動感知センサー４０４、および、風向・風速センサー４０５を備える。また、遠隔ロボット４０は、ユーザ側の制御装置２０の動作伝搬器２０５から与えられた情報により、ユーザの体の動きに対応する動作を行いユーザが希望する行動を代替する機能と、催し会場の映像を視点稼働カメラ４０１で撮影しながら同時に音声を指向性自動可変マイク４０３で捉える事により、現地・ユーザ間の会話を含んだコミュニケーションを実現する機能を持つ。
【００３１】
指向性自動可変マイク４０３は、遠隔ロボット４０の正面にある物体との距離を自動計測し、捉える音を付近の音、遠方の音、および、全体の音というレベルで感度を無指向性から高感度指向性に自動的に切り替えることにより、ユーザが希望する音を判断し捉える機能を持つ。風向・風速センサー４０５は、現地での風向きや風速を的確に捉えてインターネット１００を介して制御装置２０に伝達する機能を持つ。制御装置２０の動作伝搬器２０５では、風向・風速センサー４０５からの情報に基づいて風を再現し、遠隔地の周りの人達と一緒にユーザ本人があたかも催し会場等に居るかの様な興奮や感覚をそのまま体験できる。
【００３２】
次に、本発明の第１の実施の形態の動作について図面を参照して説明する。
【００３３】
図３は、本発明の第１の実施の形態の動作を示すフローチャートである。
【００３４】
図３を参照すると、まず、ユーザ端末１０は、ユーザの操作によりインターネット１００を介して受付センター３０に対し、「バーチャル空間体験」の申し込みを送信する（図３ステップＡ１）。この申し込みには、ユーザの氏名、住所、電話番号、電子メールアドレス、および、バーチャル空間体験の種類等が含まれる。たとえば、申し込みは、ユーザ端末１０で動作するブラウザ等を利用することが可能である。
【００３５】
受付センター３０は、インターネット１００を介しユーザ端末１０から「バーチャル空間体験」の申し込みを受け取ると（図２ステップＢ１）、自動的に利用空き状況を確認し、受け付け可能かどうかを示す利用受付可能情報をディスプレイ等の画面に表示し、かつ、画面インターネット１００を介して利用受付可能情報をユーザ端末１０へ返送する（図３ステップＢ２）。ユーザ端末１０では、受付センター３０からインターネット１００を介し利用受付可能情報を受け取る（図３ステップＡ２）。
【００３６】
次に、受付センター３０の作業者は、受付センター３０のディスプレイに表示されている利用受付可能情報に従い、利用可能であれば、申し込みを行ったユーザ宅に制御装置２０を設置し、「バーチャル空間体験」の種類に対応する催し会場に遠隔ロボット４０を設置する（図３ステップＢ３）。
【００３７】
次に、ユーザは、制御装置２０、遠隔ロボット４０を使用して、「バーチャル空間体験」を実施する（図３ステップＳ１、ステップＴ１）。次に、ユーザ端末１０は、ユーザの操作によりインターネット１００を介して受付センター３０に対し、ユーザの「バーチャル空間体験」の利用終了の通知を送信する（図３ステップＡ３）。これは、ブラウザ等が利用可能である。
【００３８】
受付センター３０は、インターネット１００を介しユーザ端末１０から「バーチャル空間体験」の利用終了の通知を受け取ると（図２ステップＢ４）、画面等に「バーチャル空間体験」の終了通知を表示する（図３ステップＢ５）。受付センター３０の作業者は、「バーチャル空間体験」の終了通知にしたがい、ユーザ宅から制御装置２０を回収し、かつ、催し会場等の遠隔ロボット４０を回収する（図３ステップＢ６）。
【００３９】
また、受付センター３０は、利用期間、「バーチャル空間体験」の種類等に基づいて「バーチャル空間体験」の料金請求をユーザ端末１０に対し送信する（図３ステップＢ７）。これは、ユーザに対する電子メールが利用可能である。
【００４０】
次に、制御装置２０、遠隔ロボット４０の詳細動作について図面を参照して詳細に説明する。
【００４１】
図４は、制御装置２０、遠隔ロボット４０の動作を示すフローチャートである。
【００４２】
制御装置２０と遠隔ロボット４０との全ての情報交換は、インターネット１００を介して行われる。
【００４３】
また、制御装置２０の処理装置２０１は、３Ｄメガネ２０２、マイク２０３、スピーカ２０４、および、動作伝搬器２０５からの各情報を、遠隔ロボット４０に対する情報に変換する機能と、遠隔ロボット４０から制御装置２０に対する全ての情報を中継し、３Ｄメガネ２０２、マイク２０３、スピーカ２０４、および、動作伝搬器２０５に対する情報に変換する機能とを持つ。
【００４４】
まず、３Ｄメガネ２０２が保有しているモーションキャプチャセンサーが、ユーザの頭の向きと目線をセンスし、処理装置２０１を経由して視点稼働カメラ４０１へ撮影方向の指示情報を送信する（図４ステップＢ１ａ、ステップＢ１ｂ）。
【００４５】
動作伝搬器２０５は、ユーザの手足と体の位置を判断して遠隔ロボット４０の視点稼働カメラ４０１、スピーカ４０２、指向性自動可変マイク４０３、振動感知センサー４０４、風向・風速センサー４０５にユーザの体の向きとロボットの動作とを同期させるための情報を送信する（図４ステップＢ２ａ、ステップＢ２ｂ、ステップＢ２ｃ、ステップＢ２ｄ、ステップＢ２ｅ）。
【００４６】
遠隔ロボット４０の視点稼働カメラ４０１は、指示された方向へ視点を移動後、撮影した映像情報を制御装置２０に送信する（図４ステップＢ３ａ）。遠隔ロボット４０から送られてきた映像が制御装置２０の処理装置２０１を経由し３Ｄメガネ２０２に映し出される（図４ステップＢ３ｂ）。また、ユーザが発した声をマイク２０３が捉え、処理装置２０１が遠隔ロボット４０へ送信する（図４ステップＢ４ａ）。制御装置２０から送られてきたユーザの音声が、遠隔ロボット４０のスピーカ４０２から出力される（図４ステップＢ４ｂ）。
【００４７】
遠隔ロボット４０の指向性自動変換マイク４０３は、ロボットの正面にある物体との距離を計算し適切な指向性に切り替えた後、周囲の音声を捉え制御装置２０に送信する（図４ステップＢ５ａ）。遠隔ロボット４０から送られてきた遠隔地の音声は、処理装置２０１を経由し、スピーカ２０４から出力される（図４ステップＢ５ｂ）。
【００４８】
遠隔ロボット４０の振動感知センサー４０４は、付近の振動を捉え遠隔地の振動情報として制御装置２０に送信する（図４ステップＢ６ａ）。遠隔ロボット４０から送られてきた遠隔地の振動情報が、処理装置２０１を経由し動作伝搬器２０５からユーザに伝達される（図４ステップＢ６ｂ）。
【００４９】
遠隔ロボット４０の風向・風速センサー４０５は、付近の風向、風速を捉え、風向情報、風速情報を含む風情報として制御装置２０に送信する（図４ステップＢ７ａ）。
【００５０】
遠隔ロボット４０から送られてきた遠隔地の風情報の風速情報は、処理装置２０１によりユーザ宅に既設のエアコン等の空調機に対応した赤外線リモートコントロール信号に変換され、処理装置２０１が保有するリモコン信号発信機能で、空調送風の強弱信号として発信される（図４ステップＢ７ｂ）。
【００５１】
更に遠隔ロボット４０から送られてきた遠隔地の風情報の風向情報は、処理装置２０１を経由し３Ｄメガネ２０２に映し出される映像内に、たとえば、図５に示すイメージで、風向マーカーを映し出す（図４ステップＢ８ｂ）。
【００５２】
次に、本発明の第２の実施の形態について図面を参照して詳細に説明する。
【００５３】
本発明の第２の実施の形態は、
ユーザの操作に従いバーチャル空間体験申し込みを、インターネット１００を介し送信する（図３ステップＡ１）１以上のユーザ端末手順と、前記ユーザ端末手順からのバーチャル空間体験申し込みを受け取り（図３ステップＢ１）、利用可能性を調べ、利用可能かどうかを示す利用受付可能情報をインターネット１００を介し前記ユーザ端末手順へ送信する（図３ステップＢ２）１以上の受付センターと、前記ユーザからの操作指示をインターネット１００を介し送信する（図３ステップＳ１）制御手順と、前記制御手順からの操作指示を受信し、操作指示にしたがって動作し（図３ステップＴ１）、風を感知し、風情報をインターネット１００を介し、前記制御手順に送信する遠隔ロボット手順とを含み、
前記制御手順が、３次元の映像を投影し、モーションキャプチャセンサーを行い、前記ユーザの頭の向きや目線を自動感知し、インターネット１００を介し、前記遠隔ロボット手順へ視線情報を伝達する（図４ステップＢ１ａ）３Ｄメガネ手順と、前記ユーザの体の動きをとらえ（図４ステップＢ２ａ）、動き情報をインターネット１００を介し前記遠隔ロボット手順に送信し（図４ステップＢ２ｂ）、前記遠隔ロボット手順からの振動情報に従い振動を発生する動作伝搬手順と、ユーザが発する声をとらえユーザ音声情報をインターネット１００を介し前記遠隔ロボット手順に送信するユーザマイク手順（図３ステップＢ４ａ、ステップＢ４ｂ）と、前記遠隔ロボット手順からの音情報を再生するユーザスピーカ手順と、風情報をインターネット１００を介して受信し風情報に従ってエアコン装置をリコモン操作する（図４ステップＢ７ｂ）エアコン操作手順とを含み、
前記遠隔ロボット手順が、前記３Ｄメガネ手順からの視線情報に従い向きを移動し、とらえた映像をインターネット１００を介し前記制御手順に送信する（図４ステップＢ３ａ）視点稼働カメラ手順と、正面にある物体との距離を計算し、指向性に切り替えた後、周囲の音声をとらえインターネット１００を介し前記制御手順に音声情報を送信する（図４ステップＢ５ａ）指向性自動可変マイク手順と、前記制御手順からインターネット１００を介して送られてきたユーザの音声を（図４ステップＢ４ｂ）出力するロボットスピーカ手順と、付近の振動を捉え振動情報としてインターネット１００を介して前記制御手順に送信する（図４ステップＢ６ｂ）振動感知センサー手順と、付近の風向、風速を捉え、風向情報、風速情報を含む風情報としてインターネット１００を介して前記制御手順に送信する（図４Ｂ７ａ、Ｂ８ａ）風向・風速センサー手順とを含む方法である。
【００５４】
次に、本発明の第３の実施の形態について図面を参照して詳細に説明する。
【００５５】
本発明の第３の実施の形態は、
ユーザの操作に従いバーチャル空間体験申し込みを、インターネット１００を介し送信する（図３ステップＡ１）１以上のユーザ端末手順と、前記ユーザ端末手順からのバーチャル空間体験申し込みを受け取り（図３ステップＢ１）、利用可能性を調べ、利用可能かどうかを示す利用受付可能情報をインターネット１００を介し前記ユーザ端末手順へ送信する（図３ステップＢ２）１以上の受付センターと、前記ユーザからの操作指示をインターネット１００を介し送信する（図３ステップＳ１）制御手順と、前記制御手順からの操作指示を受信し、操作指示にしたがって動作し（図３ステップＴ１）、風を感知し、風情報をインターネット１００を介し、前記制御手順に送信する遠隔ロボット手順と、
３次元の映像を投影し、モーションキャプチャセンサーを行い、前記ユーザの頭の向きや目線を自動感知し、インターネット１００を介し、前記遠隔ロボット手順へ視線情報を伝達する（図４ステップＢ１ａ）３Ｄメガネ手順と、前記ユーザの体の動きをとらえ（図４ステップＢ２ａ）、動き情報をインターネット１００を介し前記遠隔ロボット手順に送信し（図４ステップＢ２ｂ）、前記遠隔ロボット手順からの振動情報に従い振動を発生する動作伝搬手順と、ユーザが発する声をとらえユーザ音声情報をインターネット１００を介し前記遠隔ロボット手順に送信するユーザマイク手順（図３ステップＢ４ａ、ステップＢ４ｂ）と、前記遠隔ロボット手順からの音情報を再生するユーザスピーカ手順と、風情報をインターネット１００を介して受信し風情報に従ってエアコン装置をリコモン操作する（図４ステップＢ７ｂ）エアコン操作手順とを含む前記制御手順と、
前記３Ｄメガネ手順からの視線情報に従い向きを移動し、とらえた映像をインターネット１００を介し前記制御手順に送信する（図４ステップＢ３ａ）視点稼働カメラ手順と、正面にある物体との距離を計算し、指向性に切り替えた後、周囲の音声をとらえインターネット１００を介し前記制御手順に音声情報を送信する（図４ステップＢ５ａ）指向性自動可変マイク手順と、前記制御手順からインターネット１００を介して送られてきたユーザの音声を（図４ステップＢ４ｂ）出力するロボットスピーカ手順と、付近の振動を捉え振動情報としてインターネット１００を介して前記制御手順に送信する（図４ステップＢ６ｂ）振動感知センサー手順と、付近の風向、風速を捉え、風向情報、風速情報を含む風情報としてインターネット１００を介して前記制御手順に送信する（図４Ｂ７ａ、Ｂ８ａ）風向・風速センサー手順とを含む前記遠隔ロボット手順とをコンピュータ（たとえば、ユーザ端末１０、制御装置２０、受付センター３０、制御ロボット）に実行させるプログラムである。
【００５６】
【発明の効果】
本発明の第１の効果は、ユーザが自宅に居ながらでも遠隔地の催し会場等に行ったのと同等の感覚を体験できることである。
【００５７】
その理由は、インターネットを介して、ロボットを遠隔制御し、自宅の制御装置でロボットからの情報を受け取るからである。
【００５８】
第２の効果は、ユーザが現地の風を容易に体験できることである。
【００５９】
その理由は、エアコン装置を利用して風を送るからである。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態の構成を示すブロック図である。
【図２】図１の制御装置、遠隔ロボットの詳細ブロック図である。
【図３】本発明の第１の実施の形態の動作を示すフローチャートである。
【図４】制御装置、遠隔ロボットの動作を示すフローチャートである。
【図５】風向マーカーの表示を示す説明図である。
【符号の説明】
１０ユーザ端末
２０制御装置
３０受付センター
４０遠隔ロボット
１００インターネット
２０１処理装置
２０２３Ｄメガネ
２０３マイク
２０４スピーカ
２０５動作伝搬器
４０１視点稼働カメラ
４０２スピーカ
４０３指向性自動可変マイク
４０４振動感知センサー
４０５風向・風速センサー[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a virtual space providing system, a virtual space providing method, and a virtual space providing program, and more particularly to a virtual space providing system, a virtual space providing method, and a virtual space providing program using a remote robot.
[0002]
[Prior art]
The technology described in “Japanese Patent Laid-Open No. 2000-39910” is based on the following: “Self-communication of sensor information and robot information in a teaching operation of a sensor-equipped robot or work operation and real-time communication via the Internet / intranet, “Robot work information transmission method” that enables remote management of information collection processing, teaching control processing, generation route analysis, and information collection processing necessary for system tuning by enabling remote monitoring.
[0003]
Further, the technique described in “Japanese Patent Laid-Open No. 2000-10466” is “a method for simulating a motion of a virtual object defined in a virtual space, and uses a plurality of small robots that operate independently. Each virtual object in the virtual space is associated with one robot linked in the real world, and the motion of each virtual object is reflected in the motion of the virtual object by the conversion mechanism. It is a simulation method in a virtual space using real world constraints, characterized by realizing simulation.
[0004]
[Problems to be solved by the invention]
The first problem of the conventional technology described above is that the operator only gives instructions to the robot, and there is little feedback of information from the place where the robot is installed.
[0005]
The reason is that only image information is fed back.
[0006]
The second problem is that there is less realism.
[0007]
The reason is that you cannot experience the wind.
[0008]
[Means for solving the problems]]
[0009]
First of the present invention1The virtual space providing system of the present invention receives one or more user terminals that transmit a virtual space experience application via the Internet in accordance with a user's operation, receives a virtual space experience application from the user terminal, checks the availability, and can it be used? One or more reception centers that transmit usage acceptance information indicating whether or not to the user terminal via the Internet, an operation instruction from the user is transmitted via the Internet, and wind information is received via the Internet. A control device for re-common operation of the air conditioner device according to the information; a remote control device that receives an operation instruction from the control device, operates according to the operation instruction, senses wind, and transmits wind information to the control device via the Internet And a robot.
[0010]
First of the present invention2The virtual space providing system of the present invention receives one or more user terminals that transmit a virtual space experience application via the Internet in accordance with a user's operation, receives a virtual space experience application from the user terminal, checks the availability, and can it be used? One or more reception centers that transmit use acceptance information indicating whether or not to the user terminal via the Internet, a control device that transmits an operation instruction from the user via the Internet, and an operation instruction from the control device. A remote robot that receives and operates according to operation instructions, senses wind, and transmits wind information to the control device via the Internet, and the control device projects a three-dimensional image.,in frontThe 3D glasses that automatically sense the direction and line of sight of the user's head and transmit the line-of-sight information to the remote robot via the Internet and the user's body, capture the movement of the user's body, and the movement information The user transmits to the remote robot via the Internet, and transmits the user's voice information to the remote robot via the Internet by capturing an action propagator that generates vibration according to vibration information from the remote robot and a user's voice A microphone, a user speaker that reproduces sound information from the remote robot, and an air conditioner operating unit that receives wind information via the Internet and re-operates the air conditioner according to the wind information.
[0011]
First of the present invention3The virtual space providing system of the present invention receives one or more user terminals that transmit a virtual space experience application via the Internet in accordance with a user's operation, receives a virtual space experience application from the user terminal, checks the availability, and can it be used? One or more reception centers that transmit use acceptance information indicating whether or not to the user terminal via the Internet, a control device that transmits an operation instruction from the user via the Internet, and an operation instruction from the control device. A remote robot that receives and operates according to operation instructions, senses wind, and transmits wind information to the control device via the Internet, and the control device projects a three-dimensional image.,in frontThe 3D glasses that automatically sense the direction and line of sight of the user's head and transmit the line-of-sight information to the remote robot via the Internet and the user's body, capture the movement of the user's body, and the movement information The user transmits to the remote robot via the Internet, and transmits the user's voice information to the remote robot via the Internet by capturing an action propagator that generates vibration according to vibration information from the remote robot and a user's voice A microphone, a user speaker that reproduces sound information from the remote robot, and an air conditioner controller that receives wind information via the Internet and re-operates an air conditioner according to the wind information, the remote robot including the 3D The direction is moved according to the line-of-sight information from the glasses, and the captured video is After calculating the distance between the viewpoint operating camera to be transmitted to the control device and the object in front and switching to directivity, the directivity for capturing the surrounding sound and transmitting the voice information to the control device via the Internet An automatic variable microphone, a robot speaker that outputs a user's voice transmitted from the control device via the Internet, and a vibration detection sensor that captures nearby vibrations and transmits the vibration information to the control device via the Internet. And a wind direction / wind speed sensor that captures wind direction information and wind speed in the vicinity and transmits the wind direction information and wind information including wind speed information to the control device via the Internet.
[0013]
First of the present invention1According to the user's operation, the virtual space providing method receives one or more user terminal procedures for transmitting a virtual space experience application via the Internet, and receives a virtual space experience application from the user terminal procedure, examines the availability, and uses it. One or more reception center procedures for transmitting use acceptance information indicating whether or not it is possible to the user terminal procedure via the Internet, an operation instruction from the user is transmitted via the Internet, and wind information is transmitted via the Internet. The control procedure for re-operating the air conditioner device according to the received wind information, the operation instruction from the control procedure is received, the operation is performed according to the operation instruction, the wind is detected, the wind information is transmitted via the Internet, and the control procedure is performed. And a remote robot procedure for transmitting to the network.
[0014]
First of the present invention2According to the user's operation, the virtual space providing method receives one or more user terminal procedures for transmitting a virtual space experience application via the Internet, and receives a virtual space experience application from the user terminal procedure, examines the availability, and uses it. One or more reception centers that transmit use acceptance information indicating whether or not it is possible to the user terminal procedure via the Internet, a control procedure that transmits an operation instruction from the user via the Internet, and from the control procedure A remote robot procedure that receives an operation instruction, operates according to the operation instruction, senses wind, and transmits wind information to the control procedure via the Internet, and the control procedure projects a three-dimensional image. Shi,in frontThe 3D glasses procedure that automatically senses the user's head direction and line of sight, transmits the line-of-sight information to the remote robot procedure via the Internet, and captures the movement of the user's body, and the movement information is transmitted via the Internet. An action propagation procedure for transmitting to the remote robot procedure and generating vibration according to the vibration information from the remote robot procedure; and a user microphone procedure for capturing user voice information and transmitting user voice information to the remote robot procedure via the Internet And a user speaker procedure for reproducing sound information from the remote robot procedure, and an air conditioner operation procedure for receiving wind information via the Internet and re-operating the air conditioner according to the wind information.
[0015]
First of the present invention3According to the user's operation, the virtual space providing method receives one or more user terminal procedures for transmitting a virtual space experience application via the Internet, and receives a virtual space experience application from the user terminal procedure, examines the availability, and uses it. One or more reception centers that transmit use acceptance information indicating whether or not it is possible to the user terminal procedure via the Internet, a control procedure that transmits an operation instruction from the user via the Internet, and from the control procedure A remote robot procedure that receives an operation instruction, operates according to the operation instruction, senses wind, and transmits wind information to the control procedure via the Internet, and the control procedure projects a three-dimensional image. Shi,in frontThe 3D glasses procedure that automatically senses the user's head direction and line of sight, transmits the line-of-sight information to the remote robot procedure via the Internet, and captures the movement of the user's body, and the movement information is transmitted via the Internet. An action propagation procedure for transmitting to the remote robot procedure and generating vibration according to the vibration information from the remote robot procedure; and a user microphone procedure for capturing user voice information and transmitting user voice information to the remote robot procedure via the Internet A user speaker procedure for reproducing sound information from the remote robot procedure, and an air conditioner operation procedure for receiving wind information via the Internet and re-operating an air conditioner according to the wind information, wherein the remote robot procedure includes The direction is moved according to the line-of-sight information from the 3D glasses procedure, and the captured image is After calculating the distance between the viewpoint operating camera procedure to be transmitted to the control procedure via the Internet and the object in front and switching to directivity, the surrounding voice is captured and the voice information is transmitted to the control procedure via the Internet A directivity automatic variable microphone procedure, a robot speaker procedure that outputs a user's voice sent from the control procedure via the Internet, and a vibration procedure that captures nearby vibrations as vibration information to the control procedure. A vibration detection sensor procedure for transmitting, and a wind direction / wind speed sensor procedure for capturing wind direction information and wind speed in the vicinity, and transmitting to the control procedure via the Internet as wind information including wind direction information and wind speed information. .
[0017]
First of the present invention1The virtual space providing program receives one or more user terminal procedures for transmitting a virtual space experience application via the Internet in accordance with a user's operation, and receives a virtual space experience application from the user terminal procedure, examines availability, and uses it. One or more reception center procedures for transmitting use acceptance information indicating whether or not it is possible to the user terminal procedure via the Internet, an operation instruction from the user is transmitted via the Internet, and wind information is transmitted via the Internet. The control procedure for re-operating the air conditioner device according to the received wind information, the operation instruction from the control procedure is received, the operation is performed according to the operation instruction, the wind is detected, the wind information is transmitted via the Internet, and the control procedure is performed. The remote robot procedure to be sent to the computer And wherein the door.
[0018]
First of the present invention2The virtual space providing program receives one or more user terminal procedures for transmitting a virtual space experience application via the Internet in accordance with a user's operation, and receives a virtual space experience application from the user terminal procedure, examines availability, and uses it. One or more reception centers that transmit use acceptance information indicating whether or not it is possible to the user terminal procedure via the Internet, a control procedure that transmits an operation instruction from the user via the Internet, and from the control procedure A remote robot procedure that receives an operation instruction, operates according to the operation instruction, senses wind, and transmits wind information to the control procedure via the Internet, and projects a three-dimensional image.,in frontThe 3D glasses procedure that automatically senses the user's head direction and line of sight, transmits the line-of-sight information to the remote robot procedure via the Internet, and captures the movement of the user's body, and the movement information is transmitted via the Internet. An action propagation procedure for transmitting to the remote robot procedure and generating vibration according to the vibration information from the remote robot procedure; and a user microphone procedure for capturing user voice information and transmitting user voice information to the remote robot procedure via the Internet , Executing a control procedure including a user speaker procedure for reproducing sound information from the remote robot procedure and an air conditioner operation procedure for receiving wind information via the Internet and re-operating an air conditioner according to the wind information. It is characterized by making it.
[0019]
First of the present invention3The virtual space providing program receives one or more user terminal procedures for transmitting a virtual space experience application via the Internet in accordance with a user's operation, and receives a virtual space experience application from the user terminal procedure, examines availability, and uses it. One or more reception centers that transmit use acceptance information indicating whether or not it is possible to the user terminal procedure via the Internet, a control procedure that transmits an operation instruction from the user via the Internet, and from the control procedure A remote robot procedure that receives an operation instruction, operates according to the operation instruction, senses wind, and transmits wind information to the control procedure via the Internet, and projects a three-dimensional image.,in frontThe 3D glasses procedure that automatically senses the user's head direction and line of sight, transmits the line-of-sight information to the remote robot procedure via the Internet, and captures the movement of the user's body, and the movement information is transmitted via the Internet. An action propagation procedure for transmitting to the remote robot procedure and generating vibration according to the vibration information from the remote robot procedure; and a user microphone procedure for capturing user voice information and transmitting user voice information to the remote robot procedure via the Internet A control procedure including: a user speaker procedure for reproducing sound information from the remote robot procedure; an air conditioner operation procedure for receiving wind information via the Internet and re-operating an air conditioner according to the wind information; and the 3D glasses The direction is moved according to the line-of-sight information from the procedure, and the captured video is After calculating the distance between the viewpoint operating camera procedure to be transmitted to the control procedure via the network and the object in front and switching to directivity, the surrounding audio is captured and the audio information is sent to the control procedure via the Internet. A directivity automatic variable microphone procedure for transmitting, a robot speaker procedure for outputting the user's voice sent from the control procedure via the Internet, and the control procedure via the Internet as vibration information by capturing nearby vibrations The remote robot procedure comprising: a vibration detection sensor procedure for transmitting to a wind direction / wind speed sensor procedure for capturing wind direction information and wind speed in the vicinity and transmitting to the control procedure via the Internet as wind information including wind direction information and wind speed information And making the computer execute.
[0020]
DETAILED DESCRIPTION OF THE INVENTION
Next, a first embodiment of the present invention will be described in detail with reference to the drawings.
[0021]
FIG. 1 is a block diagram showing the configuration of the first exemplary embodiment of the present invention.
[0022]
FIG. 2 is a detailed block diagram of the control device 20 and the remote robot 40 of FIG.
[0023]
Referring to FIG. 1, the first embodiment of the present invention includes one or more user terminals 10, one or more control devices 20, one or more reception centers 30, one or more remote robots 40, and The Internet 100 is connected to the Internet.
[0024]
The user terminal 10 is a terminal used by a user for the purpose of applying for the virtual space experience of the present invention, and is configured by an information processing apparatus such as a personal computer. The reception center 30 is configured by an information processing apparatus such as a workstation, and is a center that receives the virtual space experience application of the present invention from the user terminal 10 via the Internet 100. When the application is received, the reception center 30 is controlled to the user's home. The apparatus 20 has a function of processing a procedure for installing the remote robot 40 on site.
[0025]
The control device 20 receives a function that the user wears and controls the remote robot 40 via the Internet 100 and information such as voice, video, and vibration from the remote robot 40 via the Internet 100 and transmits the information to the user. Has function.
[0026]
Referring to FIG. 2, the control device 20 includes a processing device 201, 3D glasses 202, a microphone 203, a speaker 204, and an operation propagator 205.
[0027]
The processing device 201 is an information processing device such as a server and has a function of transmitting information on the 3D glasses 202, the microphone 203, and the motion propagation device 205 to the remote robot 40 via the Internet 100. Further, the processing device 201 receives information such as voice, video, and vibration from the remote robot 40 via the Internet 100, and transmits and displays the information to the 3D glasses 202, the speaker 204, and the motion propagation device 205. have.
[0028]
The 3D glasses 202 have a function of projecting a three-dimensional image and a motion capture sensor function. The 3D glasses 202 automatically sense the direction and line of sight of the user's head, and via the processing device 201 and the Internet 100, a remote robot By transmitting the information to 40, it has a function of capturing information such as video and audio that the user wants to see and transferring the information to the processing device 201 via the Internet 100.
[0029]
The motion propagator 205 has a function that a user installs on a limb or body and propagates the movement of the user's body to the remote robot 40, and a function that reproduces local excitement and sensation by the vibration detection sensor 404 provided in the remote robot 40. Have. The microphone 203 is a microphone having the same function as a commercially available microphone. In order to have a conversation with people around the site by capturing a voice uttered by a user and reproducing a sound from the speaker 402 provided in the remote robot 40. used. The speaker 204 has the same function as a commercially available speaker, and has a function of reproducing information such as voice and wind sound from the remote robot 40 and propagating it to the user.
[0030]
The remote robot 40 is a robot installed in a remote event venue or the like. Referring to FIG. 2, the remote robot 40 includes a viewpoint operation camera 401, a speaker 402, a directivity automatic variable microphone 403, a vibration detection sensor 404, and a wind direction / wind speed sensor 405. In addition, the remote robot 40 performs a function corresponding to the movement of the user's body based on information given from the motion propagation unit 205 of the control device 20 on the user side, and a function for substituting the action desired by the user, By capturing the video with the viewpoint operation camera 401 and simultaneously capturing the voice with the directivity automatic variable microphone 403, it has a function of realizing communication including conversation between the local and the user.
[0031]
The directivity automatic variable microphone 403 automatically measures the distance to the object in front of the remote robot 40, and increases the sensitivity from omni-directional to the level of the sound to be captured in the vicinity sound, the distant sound, and the whole sound. By automatically switching to sensitivity directivity, it has a function to judge and capture the sound desired by the user. The wind direction / wind speed sensor 405 has a function of accurately capturing the wind direction and wind speed at the site and transmitting them to the control device 20 via the Internet 100. The motion propagator 205 of the control device 20 reproduces the wind based on the information from the wind direction / velocity sensor 405, and excitement as if the user himself / herself is at the event venue or the like with the people around the remote place. You can experience the sensation as it is.
[0032]
Next, the operation of the first exemplary embodiment of the present invention will be described with reference to the drawings.
[0033]
FIG. 3 is a flowchart showing the operation of the first exemplary embodiment of the present invention.
[0034]
Referring to FIG. 3, first, the user terminal 10 transmits an application for “virtual space experience” to the reception center 30 through the Internet 100 by a user operation (step A <b> 1 in FIG. 3). This application includes the user's name, address, telephone number, e-mail address, virtual space experience type, and the like. For example, the application can use a browser or the like that operates on the user terminal 10.
[0035]
When the reception center 30 receives an application for the “virtual space experience” from the user terminal 10 via the Internet 100 (step B1 in FIG. 2), the reception center 30 automatically confirms the usage vacancy status and indicates whether or not the usage can be accepted. Is displayed on the screen of a display or the like, and the information that can be accepted for use is returned to the user terminal 10 via the screen Internet 100 (step B2 in FIG. 3). The user terminal 10 receives use acceptance information from the reception center 30 via the Internet 100 (step A2 in FIG. 3).
[0036]
Next, the worker of the reception center 30 installs the control device 20 in the user's home where the application is made if it can be used in accordance with the use acceptance information displayed on the display of the reception center 30. The remote robot 40 is installed in the event hall corresponding to the type of “experience” (step B3 in FIG. 3).
[0037]
Next, the user performs a “virtual space experience” using the control device 20 and the remote robot 40 (step S1 and step T1 in FIG. 3). Next, the user terminal 10 transmits a notification of the end of use of the user's “virtual space experience” to the reception center 30 via the Internet 100 by the user's operation (step A3 in FIG. 3). A browser or the like can be used for this.
[0038]
When the reception center 30 receives a notification of the end of use of the “virtual space experience” from the user terminal 10 via the Internet 100 (step B4 in FIG. 2), the reception center 30 displays a notification of the end of the “virtual space experience” on the screen or the like (FIG. 3). Step B5). The worker of the reception center 30 collects the control device 20 from the user's home and collects the remote robot 40 such as the event venue in accordance with the end notification of the “virtual space experience” (step B6 in FIG. 3).
[0039]
Further, the reception center 30 transmits a charge for “virtual space experience” to the user terminal 10 based on the usage period, the type of “virtual space experience”, and the like (step B7 in FIG. 3). In this case, an electronic mail for the user can be used.
[0040]
Next, detailed operations of the control device 20 and the remote robot 40 will be described in detail with reference to the drawings.
[0041]
FIG. 4 is a flowchart showing operations of the control device 20 and the remote robot 40.
[0042]
All information exchange between the control device 20 and the remote robot 40 is performed via the Internet 100.
[0043]
In addition, the processing device 201 of the control device 20 includes a function of converting each information from the 3D glasses 202, the microphone 203, the speaker 204, and the motion propagation device 205 into information for the remote robot 40, and the remote robot 40 to the control device. 20 has a function of relaying all information for 20 and converting the information into information for the 3D glasses 202, the microphone 203, the speaker 204, and the motion propagation unit 205.
[0044]
First, the motion capture sensor possessed by the 3D glasses 202 senses the direction and line of sight of the user's head, and transmits shooting direction instruction information to the viewpoint operation camera 401 via the processing device 201 (step in FIG. 4). B1a, step B1b).
[0045]
The motion propagator 205 determines the position of the user's limbs and body, determines the position of the user's body from the viewpoint operating camera 401, speaker 402, automatic directivity variable microphone 403, vibration detection sensor 404, wind direction / wind speed sensor 405 of the remote robot 40. Information for synchronizing the direction of the robot and the movement of the robot is transmitted (step B2a, step B2b, step B2c, step B2d, and step B2e in FIG. 4).
[0046]
The viewpoint operation camera 401 of the remote robot 40 moves the viewpoint in the instructed direction, and then transmits the captured video information to the control device 20 (step B3a in FIG. 4). The image sent from the remote robot 40 is displayed on the 3D glasses 202 via the processing device 201 of the control device 20 (step B3b in FIG. 4). Further, the microphone 203 captures the voice uttered by the user, and the processing device 201 transmits it to the remote robot 40 (step B4a in FIG. 4). The user's voice transmitted from the control device 20 is output from the speaker 402 of the remote robot 40 (step B4b in FIG. 4).
[0047]
The directivity automatic conversion microphone 403 of the remote robot 40 calculates the distance to the object in front of the robot and switches to an appropriate directivity, and then captures surrounding sounds and transmits them to the control device 20 (step B5a in FIG. 4). . The remote sound transmitted from the remote robot 40 is output from the speaker 204 via the processing device 201 (step B5b in FIG. 4).
[0048]
The vibration detection sensor 404 of the remote robot 40 captures nearby vibration and transmits it to the control device 20 as vibration information of the remote place (step B6a in FIG. 4). The vibration information of the remote place sent from the remote robot 40 is transmitted to the user from the motion propagation device 205 via the processing device 201 (step B6b in FIG. 4).
[0049]
The wind direction / wind speed sensor 405 of the remote robot 40 captures the wind direction and wind speed in the vicinity, and transmits them to the control device 20 as wind information including wind direction information and wind speed information (step B7a in FIG. 4).
[0050]
The wind speed information of the remote wind information sent from the remote robot 40 is converted into an infrared remote control signal corresponding to an air conditioner such as an existing air conditioner at the user's home by the processing device 201, and the remote control possessed by the processing device 201. With the signal transmission function, it is transmitted as a strength signal of air-conditioning ventilation (step B7b in FIG. 4).
[0051]
Further, the wind direction information of the wind information of the remote location sent from the remote robot 40 is displayed in the image projected on the 3D glasses 202 via the processing device 201, for example, with the image shown in FIG. 4 step B8b).
[0052]
Next, a second embodiment of the present invention will be described in detail with reference to the drawings.
[0053]
The second embodiment of the present invention
A virtual space experience application is transmitted via the Internet 100 according to the user's operation (step A1 in FIG. 3). One or more user terminal procedures and a virtual space experience application from the user terminal procedure are received (step B1 in FIG. 3) and used. The possibility information is sent to the user terminal procedure via the Internet 100 (step B2 in FIG. 3). One or more reception centers and operation instructions from the user are sent to the user terminal procedure. (Step S1 in FIG. 3) and an operation instruction from the control procedure are received, operate according to the operation instruction (step T1 in FIG. 3), detect wind, and send wind information via the Internet 100. A remote robot procedure for transmitting to the control procedure,
The control procedure projects a three-dimensional image, performs a motion capture sensor, automatically senses the user's head orientation and line of sight, and transmits line-of-sight information to the remote robot procedure via the Internet 100 (FIG. 4). Step B1a) Captures the 3D glasses procedure and the movement of the user's body (step B2a in FIG. 4), and transmits the movement information to the remote robot procedure via the Internet 100 (step B2b in FIG. 4). An operation propagation procedure for generating vibration in accordance with the vibration information, a user microphone procedure for capturing user voice information and transmitting user voice information to the remote robot procedure via the Internet 100 (steps B4a and B4b in FIG. 3), and the remote robot User speaker procedure to play sound information from procedure and wind information Tsu DOO 100 Rikomon operating the air conditioner device according to the received wind information via and a (FIG. 4 step B7b) Air Conditioning Operation Procedure,
The remote robot procedure moves its direction according to the line-of-sight information from the 3D glasses procedure, and transmits the captured image to the control procedure via the Internet 100 (step B3a in FIG. 4). , And switch to directivity, then capture the surrounding voice and transmit voice information to the control procedure via the Internet 100 (step B5a in FIG. 4). From the directivity automatic variable microphone procedure and the control procedure The robot speaker procedure for outputting the user's voice sent via the Internet 100 (step B4b in FIG. 4) and the nearby vibration is captured and transmitted as vibration information to the control procedure via the Internet 100 (step B6b in FIG. 4). ) Vibration detection sensor procedure, wind direction and wind speed in the vicinity, wind direction information, wind information including wind speed information To be transmitted to the control procedure via the Internet 100 (FIG 4B7a, B8a) a method comprising a wind direction and velocity sensors procedure.
[0054]
Next, a third embodiment of the present invention will be described in detail with reference to the drawings.
[0055]
The third embodiment of the present invention
A virtual space experience application is transmitted via the Internet 100 according to the user's operation (step A1 in FIG. 3). One or more user terminal procedures and a virtual space experience application from the user terminal procedure are received (step B1 in FIG. 3) and used. The possibility information is sent to the user terminal procedure via the Internet 100 (step B2 in FIG. 3). One or more reception centers and operation instructions from the user are sent to the user terminal procedure. (Step S1 in FIG. 3) and an operation instruction from the control procedure are received, operate according to the operation instruction (step T1 in FIG. 3), detect wind, and send wind information via the Internet 100. A remote robot procedure to send to the control procedure;
Projects a 3D image, performs a motion capture sensor, automatically senses the direction and line of sight of the user's head, and transmits line-of-sight information to the remote robot procedure via the Internet 100 (step B1a in FIG. 4) 3D glasses The procedure and the movement of the user's body are captured (step B2a in FIG. 4), the movement information is transmitted to the remote robot procedure via the Internet 100 (step B2b in FIG. 4), and vibration is performed according to the vibration information from the remote robot procedure. The operation propagation procedure to be generated, the user microphone procedure (step B4a, step B4b in FIG. 3) that captures the voice uttered by the user and transmits the user voice information to the remote robot procedure via the Internet 100, and the sound information from the remote robot procedure User speaker procedure to play and wind information via the Internet 100 Air conditioning apparatus for Rikomon operation according to the received wind information Te and the control procedure including a (FIG. 4 step B7b) Air Conditioning Operation Procedure,
The direction is moved according to the line-of-sight information from the 3D glasses procedure, and the captured image is transmitted to the control procedure via the Internet 100 (step B3a in FIG. 4). The distance between the viewpoint operating camera procedure and the object in front is calculated. Then, after switching to directivity, the surrounding voice is captured and the voice information is transmitted to the control procedure via the Internet 100 (step B5a in FIG. 4), and the directivity automatic variable microphone procedure is transmitted from the control procedure via the Internet 100. A robot speaker procedure for outputting the user's voice (step B4b in FIG. 4), and a vibration detection sensor procedure for capturing nearby vibrations and transmitting them as vibration information to the control procedure via the Internet 100 (step B6b in FIG. 4); As a wind information including wind direction information and wind speed information, the Internet 10 The remote robot procedure including the wind direction / velocity sensor procedure is transmitted to the computer (for example, the user terminal 10, the control device 20, the reception center 30, and the control robot). It is a program to let you.
[0056]
【The invention's effect】
The first effect of the present invention is that the user can experience the same feeling as if he / she went to a remote event venue or the like while at home.
[0057]
The reason is that the robot is remotely controlled via the Internet, and information from the robot is received by the home control device.
[0058]
The second effect is that the user can easily experience the local wind.
[0059]
This is because the air is sent using an air conditioner.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of a first exemplary embodiment of the present invention.
FIG. 2 is a detailed block diagram of the control device and the remote robot of FIG.
FIG. 3 is a flowchart showing the operation of the first exemplary embodiment of the present invention.
FIG. 4 is a flowchart showing operations of a control device and a remote robot.
FIG. 5 is an explanatory diagram showing display of wind direction markers.
[Explanation of symbols]
10 User terminal
20 Control device
30 reception center
40 Remote robot
100 Internet
201 processing equipment
202 3D glasses
203 microphone
204 Speaker
205 Motion propagation device
401 Viewpoint working camera
402 Speaker
403 Directivity automatic variable microphone
404 Vibration sensor
405 Wind direction / velocity sensor

Claims

One or more user terminals that transmit a virtual space experience application via the Internet in accordance with the user's operation, and a virtual space experience application received from the user terminal, checking availability and indicating whether or not the service can be used One or more reception centers that transmit to the user terminal via the Internet, an operation instruction from the user is transmitted via the Internet, wind information is received via the Internet, and the air conditioner apparatus is operated recommonly according to the wind information And a remote robot that receives an operation instruction from the control apparatus, operates according to the operation instruction, senses wind, and transmits wind information to the control apparatus via the Internet. Virtual space provision system.

One or more user terminals that transmit a virtual space experience application via the Internet according to the user's operation, and a virtual space experience application received from the user terminal, checking availability and indicating whether or not the service can be used One or more reception centers that transmit to the user terminal via the Internet, a control device that transmits an operation instruction from the user via the Internet, and an operation instruction from the control device, and according to the operation instruction It operates to sense the wind, wind information via the Internet, and a remote robot to be transmitted to the control device, the control device, projects a three-dimensional image, Ya previous SL user's head orientation 3D glasses that automatically sense eyes and transmit line-of-sight information to the remote robot via the Internet; An action propagator that is worn on the user's body, captures the movement of the user's body, transmits movement information to the remote robot via the Internet, and generates vibration according to vibration information from the remote robot, and the user emits A user microphone that captures voice and transmits user voice information to the remote robot via the Internet, a user speaker that reproduces sound information from the remote robot, and an air conditioner that receives wind information via the Internet and according to the wind information A virtual space providing system comprising an air conditioner controller for re-common operation.

One or more user terminals that transmit a virtual space experience application via the Internet according to the user's operation, and a virtual space experience application received from the user terminal, checking availability and indicating whether or not the service can be used One or more reception centers that transmit to the user terminal via the Internet, a control device that transmits an operation instruction from the user via the Internet, and an operation instruction from the control device, and according to the operation instruction It operates to sense the wind, wind information via the Internet, and a remote robot to be transmitted to the control device, the control device, projects a three-dimensional image, Ya previous SL user's head orientation 3D glasses that automatically sense eyes and transmit line-of-sight information to the remote robot via the Internet; An action propagator that is worn on the user's body, captures the movement of the user's body, transmits movement information to the remote robot via the Internet, and generates vibration according to vibration information from the remote robot, and the user emits A user microphone that captures voice and transmits user voice information to the remote robot via the Internet, a user speaker that reproduces sound information from the remote robot, and an air conditioner that receives wind information via the Internet and according to the wind information A viewpoint operating camera that moves the direction according to line-of-sight information from the 3D glasses and transmits the captured image to the control device via the Internet; After calculating the distance to an object and switching to directivity, capture the surrounding audio A directivity variable microphone that transmits voice information to the control device via the Internet, a robot speaker that outputs a user's voice sent from the control device via the Internet, and vibration information that captures nearby vibrations A vibration detection sensor that transmits to the control device via the Internet, and a wind direction / wind speed sensor that captures wind direction and wind speed in the vicinity and transmits the wind direction information and wind information including the wind speed information to the control device via the Internet. A virtual space providing system characterized by comprising:

One or more user terminal procedures for transmitting a virtual space experience application via the Internet according to the user's operation, and a virtual space experience application from the user terminal procedure, receiving the availability check and indicating whether it can be used One or more reception center procedures for transmitting possible information to the user terminal procedure via the Internet, an operation instruction from the user is transmitted via the Internet, wind information is received via the Internet, and an air conditioner according to the wind information A control procedure for re-common operation of the device, a remote robot procedure for receiving an operation instruction from the control procedure, operating according to the operation instruction, sensing wind, and transmitting wind information to the control procedure via the Internet; A virtual space providing method comprising:

One or more user terminal procedures for transmitting a virtual space experience application via the Internet according to the user's operation, and receiving a virtual space experience application from the user terminal procedure, checking the availability and indicating whether or not it is available One or more reception centers that transmit possible information to the user terminal procedure via the Internet, a control procedure that transmits an operation instruction from the user via the Internet, and an operation instruction received from the control procedure, It operates according to the instructions, and senses the wind, wind information via the Internet, and a remote robot instructions to be transmitted to the control procedure, the control procedure, projecting a 3-dimensional image, the head of the previous SL user Automatically senses the direction and line of sight and transmits line-of-sight information to the remote robot procedure via the Internet A 3D glasses procedure, a motion propagation procedure for capturing movement of the user's body, transmitting movement information to the remote robot procedure via the Internet, and generating vibration according to vibration information from the remote robot procedure; A user microphone procedure for capturing user voice information and transmitting user voice information to the remote robot procedure via the Internet; a user speaker procedure for reproducing sound information from the remote robot procedure; and wind information via the Internet. A virtual space providing method comprising: an air conditioner operating procedure for recommonly operating an air conditioner according to wind information.

One or more user terminal procedures for transmitting a virtual space experience application via the Internet according to the user's operation, and receiving a virtual space experience application from the user terminal procedure, checking the availability and indicating whether or not it is available One or more reception centers that transmit possible information to the user terminal procedure via the Internet, a control procedure that transmits an operation instruction from the user via the Internet, and an operation instruction received from the control procedure, It operates according to the instructions, and senses the wind, wind information via the Internet, and a remote robot instructions to be transmitted to the control procedure, the control procedure, projecting a 3-dimensional image, the head of the previous SL user Automatically senses the direction and line of sight and transmits line-of-sight information to the remote robot procedure via the Internet A 3D glasses procedure, a motion propagation procedure for capturing movement of the user's body, transmitting movement information to the remote robot procedure via the Internet, and generating vibration according to vibration information from the remote robot procedure; A user microphone procedure for capturing user voice information and transmitting user voice information to the remote robot procedure via the Internet; a user speaker procedure for reproducing sound information from the remote robot procedure; and wind information via the Internet. The remote robot procedure moves in accordance with the line-of-sight information from the 3D glasses procedure and transmits the captured image to the control procedure via the Internet. Calculate the distance between the viewpoint operating camera procedure and the object in front, After switching to gender, the directional automatic variable microphone procedure that captures surrounding voice and transmits voice information to the control procedure via the Internet, and the user's voice sent from the control procedure via the Internet is output. A robot speaker procedure, a vibration detection sensor procedure that captures nearby vibrations and transmits it as vibration information to the control procedure via the Internet, and captures wind direction information and wind speed information as wind information including wind direction information and wind speed information. A method of providing a virtual space, comprising: a wind direction / wind speed sensor procedure transmitted to the control procedure via the Internet.

One or more user terminal procedures for transmitting a virtual space experience application via the Internet according to the user's operation, and a virtual space experience application from the user terminal procedure, receiving the availability check and indicating whether it can be used One or more reception center procedures for transmitting possible information to the user terminal procedure via the Internet, an operation instruction from the user is transmitted via the Internet, wind information is received via the Internet, and an air conditioner according to the wind information A control procedure for re-common operation of the device, a remote robot procedure for receiving an operation instruction from the control procedure, operating according to the operation instruction, sensing wind, and transmitting wind information to the control procedure via the Internet; Virtual space characterized by having a computer execute Program.

One or more user terminal procedures for transmitting a virtual space experience application via the Internet according to the user's operation, and receiving a virtual space experience application from the user terminal procedure, checking the availability and indicating whether or not it is available One or more reception centers that transmit possible information to the user terminal procedure via the Internet, a control procedure that transmits an operation instruction from the user via the Internet, and an operation instruction received from the control procedure, operates according to the instructions, and senses the wind, wind information via the Internet, a tele-robotic step of transmitting to said control procedure, projecting a 3-dimensional image, auto-sensing the orientation and eyes head before SL user A 3D glasses procedure for transmitting line-of-sight information to the remote robot procedure via the Internet; The motion of the user's body is captured, the motion information is transmitted to the remote robot procedure via the Internet, the motion propagation procedure for generating vibration according to the vibration information from the remote robot procedure, and the user's voice A user microphone procedure for transmitting information to the remote robot procedure via the Internet, a user speaker procedure for reproducing sound information from the remote robot procedure, and an air conditioner device according to the wind information receiving wind information via the Internet. A virtual space providing program for causing a computer to execute the control procedure including an air conditioner operation procedure for recommon operation.

One or more user terminal procedures for transmitting a virtual space experience application via the Internet according to the user's operation, and receiving a virtual space experience application from the user terminal procedure, checking the availability and indicating whether or not it is available One or more reception centers that transmit possible information to the user terminal procedure via the Internet, a control procedure that transmits an operation instruction from the user via the Internet, and an operation instruction received from the control procedure, operates according to the instructions, and senses the wind, wind information via the Internet, a tele-robotic step of transmitting to said control procedure, projecting a 3-dimensional image, auto-sensing the orientation and eyes head before SL user A 3D glasses procedure for transmitting line-of-sight information to the remote robot procedure via the Internet; The motion of the user's body is captured, the motion information is transmitted to the remote robot procedure via the Internet, the motion propagation procedure for generating vibration according to the vibration information from the remote robot procedure, and the user's voice A user microphone procedure for transmitting information to the remote robot procedure via the Internet, a user speaker procedure for reproducing sound information from the remote robot procedure, and an air conditioner device according to the wind information receiving wind information via the Internet. A control procedure including an air-conditioner operation procedure for re-common operation, a viewpoint operating camera procedure for moving a direction according to line-of-sight information from the 3D glasses procedure, and transmitting the captured video to the control procedure via the Internet; After calculating the distance to an object and switching to directivity, A directivity automatic variable microphone procedure for transmitting voice information to the control procedure via the Internet, a robot speaker procedure for outputting a user's voice sent from the control procedure via the Internet, and nearby vibrations The vibration detection sensor procedure that captures and transmits the vibration information to the control procedure via the Internet, and the nearby wind direction and wind speed are captured and transmitted to the control procedure via the Internet as wind information including wind direction information and wind speed information. A virtual space providing program for causing a computer to execute the remote robot procedure including a wind direction / wind speed sensor procedure.