【０００１】
【発明の属する技術分野】
本発明は、遠隔操縦型鑑賞システムに関するものである。
【０００２】
【従来の技術】
従来、自宅のパーソナルコンピュータ等の端末を利用して、バーチャルミュージアム等のバーチャル体験サービスを提供するサービス提供者のホームページにアクセス（訪問）することによって、実際に施設に行くことなく、施設内の展示物等を見ることができるシステムが提供されている。
【０００３】
この場合、例えば、自宅のパーソナルコンピュータ等の端末を利用して、前記バーチャル体験サービスを利用する利用者は、前記バーチャル体験サービスを提供するサービス提供者の開設するホームページにアクセスすることによって、実際に施設に行くことなく、施設内の展示物等を見ることができるようになっている。前記サービスの提供方法としては、静止画像による提供方法、パノラマ撮影された静止画像による提供方法、及び、固定カメラからの動画像による提供方法がある。
【０００４】
ここで、前記静止画像による提供方法においては、前記サービス提供者は、あらかじめ施設内や展示物を撮影した静止画像をホームページ上に掲載する。そして、利用者は前記ホームページにアクセスして、該ホームページ上に掲載された前記静止画像を見ることによって、施設内の様子やどのような展示物があるのかを知ることができるようになっている。
【０００５】
また、前記パノラマ撮影された静止画像による提供方法においては、前記サービス提供者は、あらかじめ施設内や展示物を３６０度パノラマ撮影した画像をホームページ上に掲載する。そして、利用者は前記ホームページにアクセスして、該ホームページ上に掲載された前記３６０度パノラマ撮影した画像とともに掲載されている施設内地図から、所望の場所を指定することによって、該指定した場所からの映像を見ることができるようになっている。また、専用ソフトウェア上の操作ボタンを押下することによって、視界を変更した画像、例えば、３６０度パノラマ撮影された画像から作成された静止画像を見ることもできる。
【０００６】
さらに、前記固定カメラからの動画像による提供方法においては、前記サービス提供者は、あらかじめ施設内や展示物の周囲に固定カメラを設置し、該固定カメラからの動画像をホームページ上に掲載する。そして、利用者は前記ホームページにアクセスして、該ホームページ上に掲載された前記固定カメラからの動画像とともに掲載されている施設内地図から、所望の場所を指定することによって、該指定した場所からの映像をリアルタイムで見ることができるようになっている。
【０００７】
【発明が解決しようとする課題】
しかしながら、前記従来のバーチャル体験サービスの提供方法においては、あらかじめ撮影された映像であったり、リアルタイム映像であっても固定されたカメラからの映像であるために、利用者が実際にその施設に行き、見て回っているかのような臨場感は得ることができなかった。
【０００８】
本発明は、前記従来のシステムの問題点を解決して、利用者が施設から遠く離れた自宅などの端末から、実際にその施設に行ったかのように施設内の様子や展示物を見ることができる遠隔操縦型鑑賞システムを提供することを目的とする。
【０００９】
【課題を解決するための手段】
そのために、本発明の遠隔操縦型鑑賞システムにおいては、視覚カメラ及び聴覚センサを備え、施設内を移動可能なロボットと、前記施設を選択する選択手段、並びに、選択した前記施設内を移動するロボットが取得した視覚情報及び聴覚情報を再生する再生手段を備え、前記ロボットと通信可能に接続された利用者端末とを有する。
【００１０】
本発明の他の遠隔操縦型鑑賞システムにおいては、さらに、前記利用者端末は、前記ロボットを所定位置に移動させ、該所定位置における視覚情報及び聴覚情報を取得させる遠隔操縦手段を備える。
【００１１】
本発明の更に他の遠隔操縦型鑑賞システムにおいては、さらに、前記利用者端末は、前記ロボットの利用を予約する予約手段を備える。
【００１２】
本発明の更に他の遠隔操縦型鑑賞システムにおいては、さらに、前記利用者端末は、予約状況を表示する予約状況表示手段を備える。
【００１３】
本発明の更に他の遠隔操縦型鑑賞システムにおいては、さらに、前記利用者端末は、未使用のロボットの中から所定位置に最も近い位置に存在するロボットを選択する選択手段を備える。
【００１４】
本発明の更に他の遠隔操縦型鑑賞システムにおいては、さらに、複数の施設における複数のロボットと複数の利用者端末とを選択的に通信可能に接続するサービス提供サーバを有する。
【００１５】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照しながら詳細に説明する。
【００１６】
図１は本発明の第１の実施の形態における遠隔操縦型システムの構成を示す図、図２は本発明の第１の実施の形態におけるロボットの構成を示す図である。
【００１７】
本実施の形態においては、一般入場者の存在するバーチャル体験施設に複数のロボットが配備さるようになっている。
【００１８】
図１において、１０はバーチャルミュージアム等のバーチャル体験サービスを提供するサービス提供者であり、１４は該サービス提供者１０が業務の遂行に使用するサービス提供サーバとしてのサーバ、１５は前記バーチャル体験サービスを利用する利用者２０が操作する利用者端末である。また、３０は複数のロボット１１が配備される美術館や博物館などの一般入場者の存在する施設としてのバーチャル体験施設である。そして、前記サーバ１４は、ネットワーク１３ａを介して、前記ロボット１１の後述される無線通信装置２３に接続された無線ルータ（Ｒｏｕｔｅｒ）１２に接続され、さらに、ネットワーク１３ｂを介して、利用者２０が操作する利用者端末１５に接続されている。
【００１９】
ここで、前記サービス提供者１０は、例えば、バーチャルミュージアム等のバーチャル体験サービスを提供するものであれば、個人、法人、営利企業、公益団体等いかなる者であってもよい。また、前記バーチャル体験施設３０を運営するものと同一のものであってもよい。そして、前記サービス提供者１０に配設された前記サーバ１４は、複数の施設における複数のロボット１１と複数の利用者端末１５とを選択的に通信可能に接続するものであり、ロボット１１の後述される視覚カメラ２１からの視覚情報としての画像や、聴覚センサ２２から得られる雑音、話し声、軽音楽などの放送等の聴覚情報としての音声を受信し、前記ネットワーク１３ｂを介して、利用者端末１５に送信するようになっている。なお、前記サーバ１４は、ＣＰＵ、ＭＰＵ等の演算手段、半導体メモリ、磁気ディスク等の記憶手段、ＣＲＴ、液晶ディスプレイ等の表示手段、キーボード、マウス、タッチパネル、タブレット等の入力手段、入出力インターフェイス、通信インターフェイス等のインターフェイス等を備える一種のコンピュータであり、前記ネットワーク１３ａ及びネットワーク１３ｂに接続されている。
【００２０】
この場合、前記サーバ１４にはホームページが開設され、前記サービス提供者１０とあらかじめ契約を締結した利用者２０は、利用者端末１５からネットワーク１３ｂを介して前記ホームページにアクセスすることによって、バーチャル体験サービスを利用することができる。なお、前記ホームページは、有料であっても無料であってもよく、また、誰でもアクセスすることのできるものであってもよいし、アクセス権限を与えられた者だけがアクセスすることができるものであってもよい。本実施の形態においては、前記ホームページが、前記サービス提供者１０とあらかじめ契約を締結してアクセス権限が与えられ、会員番号とパスワードを入手した利用者２０だけがアクセスすることができるものである場合について説明する。
【００２１】
また、前記利用者２０は、通常、個人であるが、企業、団体等であってもよい。そして、利用者端末１５は、利用者２０が操作するために、該利用者２０の家庭、職場等に配設され、前記ネットワーク１３ｂに通信可能に接続されている。また、前記利用者端末１５は、前記ロボット１１と通信可能に接続され、施設を選択する選択手段、選択した施設内を移動するロボット１１が取得した視覚情報及び聴覚情報を再生する再生手段、前記ロボット１１を所定位置に移動させ、該所定位置における視覚情報及び聴覚情報を取得させる遠隔操縦手段、前記ロボット１１の利用を予約する予約手段、予約状況を表示する予約状況表示手段、並びに、未使用のロボット１１の中から所定位置に最も近い位置に存在するロボット１１を選択する選択手段を備えるものである。
【００２２】
この場合、前記利用者端末１５は、ＣＰＵ、ＭＰＵ等の演算手段、半導体メモリ、磁気ディスク等の記憶手段、ＣＲＴ、液晶ディスプレイ、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）ディスプレイ等の表示手段、キーボード、マウス、タッチパネル、タブレット等の入力手段、スピーカ等の音声出力装置、入出力インターフェイス、通信インターフェイス等のインターフェイスを備えるものである。ここで、前記表示手段は、透明な入力スイッチが画面に貼（てん）付されたタッチパネル式液晶ディスプレイのように、入力機能を兼ね備えたものであることが望ましい。なお、前記利用者端末１５は、例えば、パーソナルコンピュータであるが、ＨＭＤ（ヘッドアマウントディスプレイ）、ヘッドフォン、ポインティングデバイス等を備えるウェアラブルコンピュータであってもよいし、さらに、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、携帯電話機、ゲーム機、デジタルテレビ等、いかなる形態のものであってもよい。また、前記利用者２０は、実際には複数であるが、図１においてはその中の一人である利用者１について詳細が記載されている。
【００２３】
そして、前記バーチャル体験施設３０は、個人、法人、営利企業、公益団体等によって運営され、例えば、美術館や博物館などの一般入場者の存在するバーチャル体験を行う施設である。なお、前記バーチャル体験施設３０は、美術館や博物館に限ることなく、いかなる種類の施設であってもよく、例えば、見本市会場、展示場、デパートやショッピングモールなどの商業施設、運動競技施設、展望台、動物園、水族館、公園、テーマパーク、飛行場、鉄道の駅、公共施設等であってもよい。そして、前記バーチャル体験施設３０には、前記利用者２０が操作して、前記バーチャル体験施設３０内の画像を含む視覚情報、前記バーチャル体験施設３０内の雑音、話し声、軽音楽などの放送等の聴覚情報を得るための複数のロボット１１が配備されている。
【００２４】
ここで、該ロボット１１は、図２に示されるように、パンチルト機構、ズーム機構を備える視覚カメラ２１、聴覚センサ（マイクロフォン）２２及び前記無線通信装置２３を有する。この場合、前記ロボット１１は、首を伸ばしたり縮めたりすることにより視覚カメラ２１によって撮像される画像の視点の高さを調整することができる。また、首を回したり傾けたりすることにより視覚カメラ２１によって撮像される画像の視点を回転させたり傾けるパン（ｐａｎ）やチルト（ｔｉｌｔ）を行うことができる。これにより、人間が実際の目で見るのと同じような感覚で画像を撮像することができる。
【００２５】
また、前記ロボット１１は、図示されない移動手段によってバーチャル体験施設３０を自由に移動することができるようになっている。この場合、前記バーチャル体験施設３０に敷設されたレール等の所定の経路に沿って移動するのではなく、実際の人間と同様に、前記バーチャル体験施設３０内を自由に移動することができる。なお、図２に示されるロボット１１は二足歩行型であるが、前記ロボット１１の移動手段は人間のような二本足である必要はなく、昆虫のような多足であってもよいし、複数の車輪やベルトから成るものであってもよい。また、前記ロボット１１は、一般の入場者、展示物、調度品、建物の壁や柱等に接触したり衝突したりしないように、図示されない接近検知センサを有している。なお、前記ロボット１１は実際には複数であるが、本実施の形態においては、説明の都合上、単一のロボット１１で代表するものとする。
【００２６】
これにより、前記ロボット１１の視覚カメラ２１から得られた画像、聴覚センサ２２から得られた雑音、話し声、軽音楽などの放送等の音声を無線通信装置２３、及び、該無線通信装置２３に接続された無線ルータ１２を介して、前記サーバ１４に送信し、該サーバ１４から利用者端末１５に送信することができる。ここで、前記視覚カメラ２２は、ＣＣＤ（Ｃｈａｒａｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）等の撮像手段、半導体メモリ等の記憶手段、通信インターフェイスを備え、撮影した画像を電子データの形態で出力することができるものであれば、いかなる形態のものであってもよい。
【００２７】
また、前記ネットワーク１３ａ、１３ｂは、インターネット、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＶＰＮ（Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）、電話回線網、携帯電話網、ＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙ−Ｐｈｏｎｅ Ｓｙｓｔｅｍ）電話網、無線又は有線の専用通信回線網又は公衆通信回線網等のいかなるものであってもよく、また、これら通信回線網を適宜組み合わせたものであってもよい。なお、前記ネットワーク１３ａとネットワーク１３ｂとは同一のネットワークであってもよい。
【００２８】
次に、前記構成の遠隔操縦型鑑賞システムの動作について説明する。
【００２９】
図３は本発明の実施の形態におけるサービス提供者のホームページの施設を選択するための画面の例を示す図、図４は本発明の実施の形態におけるサービス提供者のホームページの施設の紹介及びフロア案内の画面の例を示す図、図５は本発明の実施の形態におけるサービス提供者のホームページの予約状況表示及び予約入力の画面の例を示す図である。
【００３０】
本実施の形態においては、サービス提供者１０と利用者２０とがあらかじめサービスを利用する契約を締結し、利用者２０が、バーチャル体験を希望する施設と時間を予約することができるようになっている。なお、前記契約は有料であっても無料であってもよく、また、契約期間はいかなる長さであってもよく、例えば、時間単位、日単位、年単位等であってもよいが、ここでは、無料であって月単位の契約である場合について説明する。この場合、月毎に利用可能時間が、例えば、１０時間／月のように、定められているものとする。そして、利用者２０は前記利用可能時間の範囲内においてのみバーチャル体験のサービスを利用することができる。
【００３１】
まず、利用者２０は、サービス提供者１０とあらかじめサービスを利用する契約を月単位で締結し、会員番号とパスワードを入手する。そして、バーチャル体験のサービスを利用することができる月単位の利用可能時間の割り当てを受ける。ここで、利用者２０がサービスを受ける場合、前記利用者端末１５からサービス提供者１０のホームページにアクセスし、受付画面において前記会員番号とパスワードを入力する。そして、サーバ１４において、入力された会員番号及びパスワードが正しいことが確認されると、前記サーバ１４から、図３に示されるようなバーチャル体験施設３０を選択するための施設選択画面３１が利用者端末１５に送信されて表示される。なお、前記ホームページは階層構造になっているので、階層的に画面が表示され、利用者２０は所望の情報を順次入手することができ、また、必要な操作を順次行って、バーチャル体験を希望する施設と時間を予約することができるようになっている。
【００３２】
前記施設選択画面３１には、選択することのできるバーチャル体験施設３０の名称がリストアップされた施設選択欄３２、及び、選択したバーチャル体験施設３０のバーチャル体験を予約するための予約ボタン３３が表示される。ここで、前記施設選択欄３２にリストアップされた施設の名称のそれぞれにはハイパーリンクが貼（は）り付けられており、カーソルやポインタを所望の名称に当ててクリックすると、図４に示されるような施設の紹介及びフロア案内の紹介画面３５が表示される。なお、表示手段がタッチパネル式液晶ディスプレイのように、入力機能を兼ね備えたものである場合には、ペンや指でタッチすることによってクリックすることができる。ここで、前記ハイパーリンクは、ＨＴＭＬ（Ｈｙｐｅｒ Ｔｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）においてアンカータグに挟まれた文字列をクリックすると、前記アンカータグが指定するファイルや文字列にジャンプする仕組みである。
【００３３】
例えば、前記施設選択欄３２における「○○博物館」の名称にカーソルやポインタを所望の名称に当ててクリックすると、図４に示されるように、「○○博物館」の紹介欄３６及び「○○博物館」のフロア案内欄３７を表示する紹介画面３５にジャンプして、該紹介画面３５が表示される。また、紹介欄３６やフロア案内欄３７において所望の事項を示す文字列にカーソルやポインタを当ててクリックすると、前記事項をより詳細に説明する画面が表示されるようにすることもできる。このように、サービス提供者１０のホームページは階層構造になっているので、利用者２０は所望の情報を順次入手することができる。
【００３４】
また、利用者２０が施設選択画面３１における予約ボタン３３にカーソルやポインタを当ててクリックすることによって、予約ボタン３３を押下し、予約することを選択すると、図５に示されるような施設の予約状況及び予約入力を示す予約画面４１が表示される。なお、該予約画面４１が表示される前に、図示されない会員番号及びパスワードを入力する画面が再度表示されるようになっていてもよい。この場合、利用者２０が会員番号及びパスワードを入力すると、サーバ１４において、入力された会員番号及びスワードが正しいことが確認され、前記サーバ１４から予約画面４１が利用者端末１５に送信されて表示される。
【００３５】
ここで、前記予約画面４１には予約状況表示手段としての予約状況欄４２、利用可能時間表示欄４３、予約手段としての予約入力欄４４及び確定ボタン４５が表示される。前記予約状況欄４２は、施設をリストアップした施設欄４２ａと予約可能な時間帯を示す予約可能表示欄４２ｂを含んでいる。図５に示される例においては、予約可能表示欄４２ｂには、施設欄４２ａに含まれる施設のそれぞれに対応するバー（棒）が表示され、色の変化した箇所は既に予約が一杯で予約が不能な時間帯を表し、色の変化していない箇所は未だ予約が一杯でなく予約が可能な時間帯を表すようになっている。これにより、利用者２０は各施設の予約可能な時間帯を直感的に把握することができる。なお、施設欄４２ａにおいては、例えば、「○○博物館」のように、施設が複数のフロアを有する場合、フロア毎に別の施設として示される。
【００３６】
また、前記施設欄４２ａにリストアップされた施設の数が多い場合には、予約状況欄４２をスクロール可能に表示することが望ましい。この場合、利用者２０は、予約状況欄４２をスクロールすることによって、多数の施設の予約状況を把握することができる。また、予約状況欄４２を階層的に表示することもできる。この場合、施設欄４２ａが表示される前に、例えば、博物館、美術館、水族館等の施設の種類、施設の所在する地域等の分類名をリストアップした欄が表示され、該欄における分類名を示す文字列にカーソルやポインタを当ててクリックすると、施設欄４２ａのように、前記分類に含まれる施設がリストアップされた施設欄４２ａが表示されるようにする。この場合、利用者２０は、所望の分類に属する施設の予約状況を容易に把握することができる。
【００３７】
さらに、予約可能表示欄４２ｂの表示態様は、適宜変更することができる。例えば、前記バーに代えて「空有」、「空無」、「○時〜○時空有」等の文字列によってそれぞれの施設の予約状況を表示することもできる。また、予約可能な人数を表示することができるようにしてもよい。また、予約可能表示欄４２ｂを階層的に表示することもできる。この場合、予約可能表示欄４２ｂが表示される前に、例えば、予約状況を示すカレンダーが表示され、該カレンダーにおける所望の日にカーソルやポインタを当ててクリックすると、予約可能表示欄４２ｂのように、その日の時間帯における予約状況を示す予約可能表示欄４２ｂが表示されるようにする。この場合、利用者２０は、所望の日における施設の予約状況を容易に把握することができる。
【００３８】
また、前記利用可能時間表示欄４３には、利用者２０が割り当てを受けた利用可能時間の残り時間が表示される。これにより、利用者２０はどの程度の時間を予約することができるかを容易に判断することができる。
【００３９】
続いて、利用者２０は、バーチャル体験を予約する施設及び時間帯を決定すると、予約入力欄４４に予約する施設の番号と時間帯とを入力する。そして、入力した内容を確認した後、確定ボタン４５にカーソルやポインタを当ててクリックすることによって、確定ボタン４５を押下し予約した内容を確定する。これにより、予約した内容が利用者端末１５からサーバ１４に送信される。該サーバ１４は、前記利用者２０の利用可能時間、施設における予約可能状況等をチェックし、問題がなければ、前記予約を受け付ける。そして、該予約が受け付けられると予約状況欄４２に表示される内容が更新される。
【００４０】
なお、予約が受け付けられた後も、利用者２０はサービス提供者１０のホームページにアクセスすることによって、予約をキャンセルしたり予約内容を変更したりすることができる。もっとも、予約内容を変更する場合には、再度、予約画面４１において予約状況欄４２の内容を確認する必要がある。
【００４１】
そして、予約された日時になると、前記サーバ１４はバーチャル体験を開始する画面を利用者端末１５に送信する。ここで、前記画面を送信してから所定時間、例えば、５分間程度経過しても、前記利用者端末１５からの返信を受信しない場合、前記サーバ１４は利用者２０がキャンセルしたものとみなして処理を中断することができる。この場合、利用者２０の自己都合による事前予告なしのキャンセルなので、利用可能時間から予約された時間を減算してもよい。さらに、ペナルティとして、所定の利用可能時間を没収することもできる。
【００４２】
このように、サービス提供者１０と利用者２０が月単位でのサービス利用可能時間を契約し、利用予約を可能としたので、利用者２０は、契約した利用可能時間内で、利用予約をすることができる。これにより、利用者２０は、希望するバーチャル体験施設３０における希望する時間にバーチャル体験サービスを確実に利用することができ、また、サービス提供者１０は、利用者２０に対してサービス利用可能時間を設定することで、契約した利用可能時間内に対する利用料金を設定することができるという効果が期待することができる。
【００４３】
また、各バーチャル体験施設３０に配備されたロボット１１の数に限りがあるので、特定のバーチャル体験施設３０のバーチャル体験に利用者２０が集中した場合には、すべての利用者２０に同時にサービスを提供することができないが、このような場合であっても、利用予約が可能なので、利用者２０は順番待ちで待たされることがない。
【００４４】
さらに、各バーチャル体験施設３０の予約状況を把握して予約することができるので、利用者２０は都合の良い時間帯に合致するバーチャル体験施設３０を選択して、バーチャル体験のサービスを受けることができる。
【００４５】
なお、特定のバーチャル体験施設３０のバーチャル体験に利用者２０が集中し、長期間に亘り該バーチャル体験施設３０のバーチャル体験を予約することができない場合や自分の都合の良い時にバーチャル体験サービスを利用することができない場合には、あらかじめ撮像された前記バーチャル体験施設３０の静止画像又は動画像を利用者端末１５に表示することができるようにしてもよい。これにより、利用者２０は所望のバーチャル体験施設３０を、臨場感に欠けても、鑑賞することが可能となる。
【００４６】
次に、施設をバーチャル体験するための動作について説明する。
【００４７】
図６は本発明の実施の形態におけるバーチャル体験のための画面を示す図、図７は本発明の実施の形態における施設のフロアの見取り図である。
【００４８】
まず、利用者端末１５がサーバ１４から送信されたバーチャル体験を開始する画面を受信してから所定時間内、例えば、５分間程度内に、利用者２０が利用者端末１５を操作して、前記サーバ１４に返信すると、図６に示されるようなバーチャル体験のための遠隔操縦型鑑賞画面５０が前記サーバ１４から利用者端末１５に送信されて表示される。
【００４９】
ここで、前記遠隔操縦型鑑賞画面５０には、ロボット１１の視覚カメラ２１によって撮像された画像を表示する鑑賞フィールド５１、前記ロボット１１の視覚カメラ２１のパンやチルトを行うためのパンチルト操作ボタン群５２、前記ロボット１１の視覚カメラ２１のズームを行うためのズーム操作ボタン群５３、前記ロボット１１の聴覚センサ２２から得られた雑音、話し声、軽音楽などの放送等の音声の再生音量を増減させる音量ボタン群５４、及び、バーチャル体験を行うバーチャル体験施設３０内のフロアの見取り図と展示物の配置、ロボットの現在位置及び移動可能位置を示すロボット移動操作フィールド５５が表示される。
【００５０】
そして、前記サーバ１４は、バーチャル体験施設３０に配備されたロボット１１の視覚カメラ２１からの画像を前記鑑賞フィールド５１に表示させる。なお、利用者２０は、前記パンチルト操作ボタン群５２及びズーム操作ボタン群５３を操作することによって、前記視覚カメラ２１のパン、チルト及びズームを行うことができる。
【００５１】
この場合、利用者２０が前記パンチルト操作ボタン群５２及びズーム操作ボタン群５３に含まれるボタンを操作すると、その情報はネットワーク１３ｂ、サーバ１４、ネットワーク１３ａ及び無線ルータ１２を介してロボット１１の無線通信装置２３に伝達され、視覚カメラ２１がパン、チルト及びズームを行う。そして、前記視覚カメラ２１が撮像した画像が、無線通信装置２３、無線ルータ１２、ネットワーク１３ａ、サーバ１４及びネットワーク１３ｂを介して利用者端末１５に送信され、鑑賞フィールド５１に表示される。
【００５２】
これにより、利用者２０はロボット１１の視覚カメラ２１を通じて、視点を変更したり、拡大したりして、バーチャル体験施設３０の内部を視覚によって鑑賞することができる。
【００５３】
また、ロボット１１の聴覚センサ２２から得られる雑音、話し声、軽音楽などの放送等の音声は、前記視覚カメラ２１からの画像とともに利用者端末１５に送信され、利用者２０が音量ボタン群５４のボタンを操作することによって、利用者端末１５の音声出力装置によって再生される音声の音量を変化させることができる。また、バーチャル体験施設３０が美術館や博物館であって、展示物に関する説明を展示物の付近に配設されたスピーカや入場者の携帯する受信機のイヤホンを通して音声によって提供している場合には、視覚カメラ２１の画像、向き、位置を調整することによって、該当する展示物に関する説明の音声を利用者端末１５の音声出力装置によって再生することができる。
【００５４】
次に、ロボットの移動を操作する時に使用するすロボット移動操作フィールド５５の表示について説明する。該ロボット移動操作フィールド５５には、図７に示されるようなバーチャル体験施設３０の見取り図が表示される。なお、該見取り図はバーチャル体験施設３０が美術館や博物館である場合の例を示している。この場合、ロボット移動操作フィールド５５には、バーチャル体験施設３０内の一つのフロアの通路形状５６、展示物の配置マーク６１ａ〜６１ｉ、及び、遠隔操縦手段としてのロボット１１のポジションマーク６２ａ〜６２ｊが表示される。なお、該ポジションマーク６２ａ〜６２ｊの中で、黒いポジションマーク６２ａは前記ロボット１１の現在位置を示し、白いポジションマーク６２ｂ〜６２ｊは前記ロボット１１の移動することができる移動可能位置を示している。
【００５５】
ここで、ロボット１１を現在位置から所定位置に移動させようとする場合、利用者２０が移動可能位置を示す白いポジションマーク６２ｂ〜６２ｊの中から所定位置に該当するものを選択してクリックすると、その情報は、前記ネットワーク１３ｂを介してサーバ１４に送信される。すると、該サーバ１４は前記情報をネットワーク１３ａ及び無線ルータ１２を介してロボット１１の無線通信装置２３に送信する。これにより、ロボット１１は、黒いポジションマーク６２ａで示される現在位置から、選択された白いポジションマーク６２ｂ〜６２ｊの一つに対応する位置への移動を開始する。また、サーバ１４は、前記選択された白いポジションマーク６２ｂ〜６２ｊの一つの表示態様を、例えば、点滅するように変化させて、ロボット１１が選択された白いポジションマーク６２ｂ〜６２ｊの一つに対応する位置へ移動中であることをロボット移動操作フィールド５５において表示する。これにより、利用者２０はロボット１１が選択した移動可能位置へ移動中であることを把握することができる。
【００５６】
そして、ロボット１１の移動が完了して、選択された白いポジションマーク６２ｂ〜６２ｊの一つに対応する位置に到達すると、その情報は、無線通信装置２３、無線ルータ１２及びネットワーク１３ａを介してサーバ１４に送信される。すると、該サーバ１４は、前記選択された白いポジションマーク６２ｂ〜６２ｊの一つの表示態様を黒いポジションマークに変化させる。これにより、利用者２０はロボット１１が選択した移動可能位置に到達したこと、及び、鑑賞フィールド５１に表示されている画像が前記選択した移動可能位置における画像であることを把握することができる。なお、利用者端末１５において未使用のロボット１１に関する情報を取得することができる場合には、前記所定位置に最も近い位置に存在するロボット１１を選択する選択手段を利用者端末１５に配設することができる。これにより、ロボット１１を移動させる時間を省略することができる。
【００５７】
このように、本実施の形態においては、視覚カメラ２１及び聴覚センサ２２を搭載した移動可能なロボット１１を一般入場者の存在するバーチャル体験施設３０に配備しているので、画像だけでなく施設内の雑音、話し声、軽音楽などの放送等の音声もロボット１１の聴覚センサ２２から得ることができるので、あたかも、利用者２０が前記施設に居るかのように施設内の様子や展示物を鑑賞することができ、臨場感の高いバーチャル体験を提供することができる。
【００５８】
また、サービス提供者１０と利用者２０が月単位でのサービス利用可能時間を契約し、利用予約を可能としたので、利用者２０は、契約した利用可能時間内で、利用予約をすることができるので、利用者２０は、希望するバーチャル体験施設３０における希望する時間にバーチャル体験サービスを確実に利用することができる。
【００５９】
さらに、特定のバーチャル体験施設３０のバーチャル体験に利用者２０が集中した場合であっても、利用予約が可能なので、利用者２０は順番待ちで待たされることがない。
【００６０】
さらに、各バーチャル体験施設３０の予約状況を把握して予約することができるので、利用者２０は都合の良い時間帯に合致するバーチャル体験施設３０を選択して、バーチャル体験のサービスを受けることができる。
【００６１】
また、本実施の形態においては、ロボット１１が視覚カメラ及び聴覚センサを備えるものである場合について説明したが、さらに、触覚センサを備えるものであってもよい。この場合、利用者２０にロボット１１が触れた感覚をフィードバックする機構を追加して、さらに、臨場感を高めたバーチャル体験サービスを提供することができるようにしてもよい。
【００６２】
なお、本発明は前記実施の形態に限定されるものではなく、本発明の趣旨に基づいて種々変形させることが可能であり、それらを本発明の範囲から排除するものではない。
【００６３】
【発明の効果】
以上詳細に説明したように、本発明によれば、利用者は、施設から遠く離れ自宅などの利用者端末を操作してロボットを遠隔操縦することにより、実際に施設に行ったかのように施設内の様子や展示物を鑑賞することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態における遠隔操縦型システムの構成を示す図である。
【図２】本発明の第１の実施の形態におけるロボットの構成を示す図である。
【図３】本発明の実施の形態におけるサービス提供者のホームページの施設を選択するための画面の例を示す図である。
【図４】本発明の実施の形態におけるサービス提供者のホームページの施設の紹介及びフロア案内の画面の例を示す図である。
【図５】本発明の実施の形態におけるサービス提供者のホームページの予約状況表示及び予約入力の画面の例を示す図である。
【図６】本発明の実施の形態におけるバーチャル体験のための画面を示す図である。
【図７】本発明の実施の形態における施設のフロアの見取り図である。
【符号の説明】
１１ ロボット
１４ サーバ
１５ 利用者端末
２１ 視覚カメラ
２２ 聴覚センサ
３０ バーチャル体験施設
４２ 予約状況欄
４３ 利用可能時間表示欄
４４ 予約入力欄
４５ 確定ボタン
６２ａ、６２ｂ、６２ｃ、６２ｄ、６２ｅ、６２ｆ、６２ｇ、６２ｈ、６２ｉ、６２ｊ ポジションマーク[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a remote-controlled viewing system.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, by using a terminal such as a personal computer at home to access (visit) a homepage of a service provider that provides a virtual experience service such as a virtual museum, exhibitions in the facility without actually going to the facility. There is provided a system capable of seeing an object or the like.
[0003]
In this case, for example, by using a terminal such as a personal computer at home, the user who uses the virtual experience service actually accesses the homepage established by the service provider that provides the virtual experience service, It is possible to see the exhibits and the like in the facility without going to the facility. As a method of providing the service, there are a method of providing a still image, a method of providing a still image captured by panorama, and a method of providing a moving image from a fixed camera.
[0004]
Here, in the providing method using the still image, the service provider posts a still image of the inside of the facility or the exhibit in advance on a homepage. Then, the user can access the homepage and see the still image posted on the homepage to know the state of the facility and what kind of exhibit is available. .
[0005]
In the method of providing a still image photographed by panorama, the service provider posts an image of a 360-degree panorama photograph of the inside of a facility or an exhibit on a homepage in advance. Then, the user accesses the homepage and designates a desired place from the in-facility map posted together with the 360-degree panoramic image posted on the homepage. Video can be seen. In addition, by pressing an operation button on the dedicated software, it is possible to view an image whose view is changed, for example, a still image created from an image obtained by 360 ° panoramic shooting.
[0006]
Further, in the method of providing a moving image from the fixed camera, the service provider installs a fixed camera in a facility or around an exhibit in advance, and posts the moving image from the fixed camera on a homepage. Then, the user accesses the homepage and designates a desired place from the in-facility map posted together with the moving image from the fixed camera posted on the homepage, thereby allowing the user to access the homepage from the designated place. Video can be viewed in real time.
[0007]
[Problems to be solved by the invention]
However, in the conventional method of providing a virtual experience service, since the video is a video taken in advance or a real-time video is a video from a fixed camera, the user actually goes to the facility. I couldn't get the sense of presence as if I was looking around.
[0008]
The present invention solves the problems of the conventional system described above, and allows a user to view a state or an exhibit in a facility from a terminal such as a home far away from the facility as if the user actually went to the facility. It is an object of the present invention to provide a remote control type viewing system that can be used.
[0009]
[Means for Solving the Problems]
Therefore, in the remote-controlled viewing system of the present invention, a robot provided with a visual camera and an auditory sensor and capable of moving within the facility, selecting means for selecting the facility, and a robot moving within the selected facility And a user terminal communicably connected to the robot.
[0010]
In another remote control type viewing system of the present invention, the user terminal further includes a remote control means for moving the robot to a predetermined position and acquiring visual information and auditory information at the predetermined position.
[0011]
In still another remote-controlled viewing system of the present invention, the user terminal further includes a reservation unit that reserves use of the robot.
[0012]
In still another remote-controlled viewing system of the present invention, the user terminal further includes a reservation status display unit that displays a reservation status.
[0013]
In still another remote-controlled viewing system according to the present invention, the user terminal further includes a selection unit that selects a robot existing at a position closest to a predetermined position from unused robots.
[0014]
Still another remote-controlled viewing system of the present invention further includes a service providing server for selectively communicably connecting a plurality of robots and a plurality of user terminals in a plurality of facilities.
[0015]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
[0016]
FIG. 1 is a diagram showing a configuration of a remote control system according to the first embodiment of the present invention, and FIG. 2 is a diagram showing a configuration of a robot according to the first embodiment of the present invention.
[0017]
In the present embodiment, a plurality of robots are arranged in a virtual experience facility where general visitors exist.
[0018]
In FIG. 1, reference numeral 10 denotes a service provider that provides a virtual experience service such as a virtual museum; 14, a server as a service providing server used by the service provider 10 to execute a business; It is a user terminal operated by the user 20 who uses it. Reference numeral 30 denotes a virtual experience facility as a facility where general visitors exist, such as a museum or a museum where a plurality of robots 11 are deployed. The server 14 is connected to a wireless router (Router) 12 connected to a later-described wireless communication device 23 of the robot 11 via a network 13a, and the user 20 is connected via a network 13b. It is connected to a user terminal 15 that operates.
[0019]
Here, the service provider 10 may be any person, such as an individual, a corporation, a for-profit company, or a public interest organization, as long as it provides a virtual experience service such as a virtual museum. Further, it may be the same as the one that operates the virtual experience facility 30. The server 14 disposed in the service provider 10 connects the plurality of robots 11 in a plurality of facilities and the plurality of user terminals 15 so as to be able to selectively communicate with each other. Image as visual information from the visual camera 21 and audio as auditory information such as noise, speech, light music, and the like obtained from the auditory sensor 22 and received through the network 13b. 15. The server 14 includes arithmetic means such as a CPU and an MPU; storage means such as a semiconductor memory and a magnetic disk; display means such as a CRT and a liquid crystal display; input means such as a keyboard, a mouse, a touch panel, and a tablet; This is a type of computer having an interface such as a communication interface, and is connected to the network 13a and the network 13b.
[0020]
In this case, a homepage is established on the server 14, and a user 20 who has previously concluded a contract with the service provider 10 accesses the homepage from the user terminal 15 via the network 13b to provide a virtual experience service. Can be used. The homepage may be paid or free, and may be accessed by anyone, or may be accessed only by authorized persons. It may be. In the present embodiment, a case where the home page has a contract with the service provider 10 in advance and is given access authority, and can be accessed only by the user 20 who has obtained the member number and the password Will be described.
[0021]
The user 20 is usually an individual, but may be a company, an organization, or the like. The user terminal 15 is disposed at the home, workplace, or the like of the user 20 for the user 20 to operate, and is communicably connected to the network 13b. Further, the user terminal 15 is communicably connected to the robot 11 and is a selecting unit for selecting a facility, a reproducing unit for reproducing visual information and auditory information acquired by the robot 11 moving in the selected facility, Remote control means for moving the robot 11 to a predetermined position and acquiring visual information and auditory information at the predetermined position; reservation means for reserving the use of the robot 11; reservation status display means for displaying a reservation status; And a selecting unit for selecting a robot 11 existing at a position closest to a predetermined position from the robots 11.
[0022]
In this case, the user terminal 15 includes arithmetic means such as a CPU and an MPU, storage means such as a semiconductor memory and a magnetic disk, display means such as a CRT, a liquid crystal display, an LED (Light Emitting Diode) display, a keyboard, a mouse, and a touch panel. , An input means such as a tablet, an audio output device such as a speaker, an input / output interface, and an interface such as a communication interface. Here, it is desirable that the display means also has an input function, such as a touch panel type liquid crystal display in which a transparent input switch is attached to a screen. The user terminal 15 is, for example, a personal computer, but may be a wearable computer including a head-mounted display (HMD), headphones, a pointing device, or the like, or a PDA (Personal Digital Assistant), a mobile phone, or the like. Any form such as a telephone, a game machine, a digital television, etc. may be used. The number of the users 20 is actually plural, but FIG. 1 shows the details of the user 1 as one of them.
[0023]
The virtual experience facility 30 is operated by an individual, a corporation, a for-profit company, a public interest group, or the like, and is a facility for performing a virtual experience in which general visitors such as museums and museums exist. The virtual experience facility 30 is not limited to a museum or a museum, and may be any type of facility, such as a trade fair, an exhibition hall, a commercial facility such as a department store or a shopping mall, an athletic facility, an observatory. , Zoos, aquariums, parks, theme parks, airfields, railway stations, public facilities, and the like. The virtual experience facility 30 is operated by the user 20 to provide visual information including an image in the virtual experience facility 30, noise in the virtual experience facility 30, speech, broadcasting of light music, and the like. A plurality of robots 11 for obtaining auditory information are provided.
[0024]
Here, as shown in FIG. 2, the robot 11 includes a visual camera 21 having a pan-tilt mechanism, a zoom mechanism, an auditory sensor (microphone) 22, and the wireless communication device 23. In this case, the robot 11 can adjust the height of the viewpoint of the image captured by the visual camera 21 by extending or contracting the neck. Further, by turning or tilting the head, panning or tilting of rotating or tilting the viewpoint of the image captured by the visual camera 21 can be performed. Thus, an image can be captured with a feeling similar to that seen by a human with actual eyes.
[0025]
Further, the robot 11 can freely move in the virtual experience facility 30 by a moving means (not shown). In this case, instead of moving along a predetermined route such as a rail laid on the virtual experience facility 30, it is possible to freely move within the virtual experience facility 30 like a real person. Although the robot 11 shown in FIG. 2 is a bipedal walking type, the moving means of the robot 11 does not need to be bipedal like a human, but may be multilegged like an insect. , A plurality of wheels or belts. In addition, the robot 11 has an approach detection sensor (not shown) so as not to contact or collide with general visitors, exhibits, furniture, building walls and pillars, and the like. Although there are actually a plurality of robots 11, in the present embodiment, it is assumed that a single robot 11 is represented for convenience of explanation.
[0026]
Thereby, the image obtained from the visual camera 21 of the robot 11, the noise obtained from the auditory sensor 22, the voice such as the speech, the broadcast of the light music, etc. are connected to the wireless communication device 23 and the wireless communication device 23. The server 14 can transmit the data to the server 14 via the selected wireless router 12, and can transmit the data to the user terminal 15 from the server 14. Here, the visual camera 22 is provided with an imaging unit such as a CCD (Charge Coupled Device), a storage unit such as a semiconductor memory, and a communication interface, as long as it can output a captured image in the form of electronic data. Any form may be used.
[0027]
The networks 13a and 13b include the Internet, a local area network (LAN), a wide area network (WAN), a virtual private network (VPN), a telephone network, a mobile phone network, and a PHS (Personal Handy-phone) phone. Or a wireless or wired dedicated communication network or a public communication network, or a combination of these communication networks as appropriate. The network 13a and the network 13b may be the same network.
[0028]
Next, the operation of the remote-controlled viewing system having the above configuration will be described.
[0029]
FIG. 3 is a diagram showing an example of a screen for selecting a facility on a service provider's homepage according to the embodiment of the present invention. FIG. FIG. 5 is a diagram illustrating an example of a guidance screen, and FIG. 5 is a diagram illustrating an example of a reservation status display and reservation input screen of a service provider's homepage according to the embodiment of the present invention.
[0030]
In the present embodiment, the service provider 10 and the user 20 conclude a contract for using the service in advance, and the user 20 can reserve facilities and time for which a virtual experience is desired. I have. Note that the contract may be paid or free, and the contract period may be of any length, for example, hourly, daily, or yearly. Next, a case where the contract is free and is made on a monthly basis is described. In this case, the available time is determined every month, for example, 10 hours / month. Then, the user 20 can use the service of the virtual experience only within the usable time range.
[0031]
First, the user 20 concludes a service use contract with the service provider 10 in advance on a monthly basis, and obtains a member number and a password. Then, the user is allocated an available time on a monthly basis for using the service of the virtual experience. Here, when the user 20 receives the service, he accesses the homepage of the service provider 10 from the user terminal 15 and inputs the membership number and the password on the reception screen. When the server 14 confirms that the entered member number and password are correct, the server 14 displays a facility selection screen 31 for selecting a virtual experience facility 30 as shown in FIG. The information is transmitted to the terminal 15 and displayed. Since the home page has a hierarchical structure, screens are displayed in a hierarchical manner, and the user 20 can sequentially obtain desired information. You can book the facilities and time you want.
[0032]
The facility selection screen 31 displays a facility selection column 32 listing the names of the virtual experience facilities 30 that can be selected, and a reservation button 33 for reserving the virtual experience of the selected virtual experience facility 30. Is done. Here, a hyperlink is attached to each of the facility names listed in the facility selection column 32. When a cursor or pointer is put on a desired name and clicked, it is shown in FIG. An introduction screen 35 for introduction of facilities and floor guidance is displayed. If the display means has an input function like a touch panel type liquid crystal display, it can be clicked by touching with a pen or a finger. Here, when the hyperlink clicks on a character string sandwiched between anchor tags in HTML (Hyper Text Markup Language), the hyperlink jumps to the file or character string specified by the anchor tag.
[0033]
For example, when the cursor or pointer is placed on the name of “XX Museum” in the facility selection column 32 and clicked on the desired name, as shown in FIG. 4, the introduction column 36 of “XX Museum” and “XX Museum” The display jumps to the introduction screen 35 displaying the floor guide column 37 of "Museum", and the introduction screen 35 is displayed. Further, when the cursor or the pointer is put on a character string indicating a desired item in the introduction column 36 or the floor guidance column 37 and clicked, a screen for explaining the above item in more detail can be displayed. As described above, since the homepage of the service provider 10 has a hierarchical structure, the user 20 can sequentially obtain desired information.
[0034]
When the user 20 presses the reservation button 33 on the facility selection screen 31 with the cursor or the pointer and clicks the button, and presses the reservation button 33 and selects reservation, the reservation of the facility as shown in FIG. A reservation screen 41 showing the status and reservation input is displayed. Before the reservation screen 41 is displayed, a screen for inputting a membership number and a password (not shown) may be displayed again. In this case, when the user 20 inputs the membership number and the password, the server 14 confirms that the entered membership number and password are correct, and the server 14 transmits a reservation screen 41 to the user terminal 15 for display. Is done.
[0035]
Here, the reservation screen 41 displays a reservation status column 42 as a reservation status display unit, an available time display column 43, a reservation input column 44 as a reservation unit, and a confirm button 45. The reservation status column 42 includes a facility column 42a in which facilities are listed and a reservable display column 42b indicating a reservable time zone. In the example shown in FIG. 5, a bar (bar) corresponding to each of the facilities included in the facility column 42a is displayed in the reservation possible display column 42b, and the portion where the color has changed is already full and the reservation has been completed. An unusable time zone is shown, and a portion in which the color has not changed indicates a time zone where the reservation is not yet full and a reservation is possible. As a result, the user 20 can intuitively grasp the reservable time zone of each facility. In the facility column 42a, for example, when the facility has a plurality of floors, such as “XX Museum”, the facility is indicated as another facility for each floor.
[0036]
When the number of facilities listed in the facility column 42a is large, it is desirable to display the reservation status column 42 in a scrollable manner. In this case, the user 20 can grasp the reservation status of many facilities by scrolling the reservation status column 42. Further, the reservation status column 42 can be displayed in a hierarchical manner. In this case, before the facility column 42a is displayed, for example, a column listing the types of facilities such as museums, art museums, and aquariums, and the classification names of the areas where the facilities are located is displayed. When the cursor or the pointer is put on the indicated character string and clicked, a facility column 42a in which facilities included in the classification are listed is displayed as in a facility column 42a. In this case, the user 20 can easily grasp the reservation status of the facility belonging to the desired category.
[0037]
Furthermore, the display mode of the reservation possible display column 42b can be changed as appropriate. For example, in place of the bar, the reservation status of each facility can be displayed by a character string such as “empty”, “empty”, or “○ to ○”. Also, the number of people who can make a reservation may be displayed. Further, the reservation possible display field 42b can be displayed in a hierarchical manner. In this case, before the reservation possible display field 42b is displayed, for example, a calendar indicating the reservation status is displayed, and when a cursor or a pointer is put on a desired day in the calendar and clicked, as in the reservation possible display field 42b. , The reservation possible display field 42b indicating the reservation status in the time zone of the day is displayed. In this case, the user 20 can easily grasp the facility reservation status on the desired day.
[0038]
In the available time display column 43, the remaining available time assigned to the user 20 is displayed. Thus, the user 20 can easily determine how much time can be reserved.
[0039]
Subsequently, when the user 20 determines the facility and the time zone for which the virtual experience is to be reserved, the user 20 inputs the number of the facility to be reserved and the time zone in the reservation input column 44. Then, after confirming the input contents, the user presses the confirm button 45 with the cursor or the pointer and clicks the button, thereby pressing the confirm button 45 to confirm the reserved contents. Thereby, the reserved content is transmitted from the user terminal 15 to the server 14. The server 14 checks the available time of the user 20, the availability of reservations at facilities, and the like, and if there is no problem, accepts the reservation. When the reservation is accepted, the content displayed in the reservation status column 42 is updated.
[0040]
Note that, even after the reservation is accepted, the user 20 can cancel the reservation or change the reservation content by accessing the homepage of the service provider 10. However, when changing the reservation content, it is necessary to confirm the content of the reservation status column 42 on the reservation screen 41 again.
[0041]
Then, when the reserved date and time comes, the server 14 transmits a screen for starting the virtual experience to the user terminal 15. Here, if a reply is not received from the user terminal 15 within a predetermined time, for example, about 5 minutes after the screen is transmitted, the server 14 considers that the user 20 has canceled the reply. Processing can be interrupted. In this case, since the cancellation is performed without prior notice due to the user's own convenience, the reserved time may be subtracted from the available time. Further, as a penalty, a predetermined available time can be forfeited.
[0042]
As described above, since the service provider 10 and the user 20 have contracted the service available time on a monthly basis and made the use reservation possible, the user 20 makes the use reservation within the contracted available time. be able to. Thereby, the user 20 can reliably use the virtual experience service at the desired time at the desired virtual experience facility 30, and the service provider 10 sets the service available time for the user 20. By setting, it is possible to expect an effect that the usage fee for the contracted available time can be set.
[0043]
Further, since the number of robots 11 provided in each virtual experience facility 30 is limited, when the users 20 concentrate on the virtual experience of a specific virtual experience facility 30, the service is simultaneously provided to all the users 20. It cannot be provided, but even in such a case, the user 20 can be reserved, so that the user 20 does not have to wait in line.
[0044]
Furthermore, since the user can grasp the reservation status of each virtual experience facility 30 and make a reservation, the user 20 can select the virtual experience facility 30 that matches a convenient time zone and receive the virtual experience service. it can.
[0045]
In addition, the user 20 concentrates on the virtual experience of the specific virtual experience facility 30 and uses the virtual experience service when the virtual experience of the virtual experience facility 30 cannot be reserved for a long time or when it is convenient for the user. If it is not possible to do so, a still image or a moving image of the virtual experience facility 30 captured in advance may be displayed on the user terminal 15. Thereby, the user 20 can appreciate the desired virtual experience facility 30 even if the user lacks a sense of reality.
[0046]
Next, an operation for virtual experience of the facility will be described.
[0047]
FIG. 6 is a diagram showing a screen for a virtual experience according to the embodiment of the present invention, and FIG. 7 is a floor plan of the facility according to the embodiment of the present invention.
[0048]
First, within a predetermined time, for example, about 5 minutes after the user terminal 15 receives the screen for starting the virtual experience transmitted from the server 14, the user 20 operates the user terminal 15 and When the reply is made to the server 14, a remote-controlled viewing screen 50 for a virtual experience as shown in FIG. 6 is transmitted from the server 14 to the user terminal 15 and displayed.
[0049]
Here, the remote control type viewing screen 50 includes a viewing field 51 for displaying an image captured by the visual camera 21 of the robot 11, and a pan / tilt operation button group for panning and tilting the visual camera 21 of the robot 11. 52, a zoom operation button group 53 for performing zooming of the visual camera 21 of the robot 11, and increase / decrease of a reproduction volume of a sound, such as a broadcast of noise, speech, light music, etc., obtained from the auditory sensor 22 of the robot 11. A volume button group 54, a floor plan of the floor within the virtual experience facility 30 where the virtual experience is performed, an arrangement of exhibits, and a robot movement operation field 55 indicating a current position and a movable position of the robot are displayed.
[0050]
Then, the server 14 displays an image from the visual camera 21 of the robot 11 provided in the virtual experience facility 30 in the viewing field 51. The user 20 can pan, tilt, and zoom the visual camera 21 by operating the pan / tilt operation button group 52 and the zoom operation button group 53.
[0051]
In this case, when the user 20 operates the buttons included in the pan / tilt operation button group 52 and the zoom operation button group 53, the information is transmitted to the wireless communication of the robot 11 via the network 13b, the server 14, the network 13a and the wireless router 12. The information is transmitted to the device 23, and the visual camera 21 performs pan, tilt, and zoom. The image captured by the visual camera 21 is transmitted to the user terminal 15 via the wireless communication device 23, the wireless router 12, the network 13a, the server 14, and the network 13b, and displayed on the viewing field 51.
[0052]
Thus, the user 20 can change the viewpoint or enlarge the view through the visual camera 21 of the robot 11 to visually appreciate the inside of the virtual experience facility 30.
[0053]
In addition, sound such as noise, speech, light music, and other broadcasts obtained from the auditory sensor 22 of the robot 11 is transmitted to the user terminal 15 together with the image from the visual camera 21, and the user 20 receives the sound from the volume button group 54. By operating the button, the volume of the sound reproduced by the sound output device of the user terminal 15 can be changed. Further, when the virtual experience facility 30 is an art museum or a museum, and the explanation about the exhibit is provided by voice through a speaker arranged near the exhibit or an earphone of a receiver carried by the visitors, By adjusting the image, the direction, and the position of the visual camera 21, it is possible to reproduce the sound of the description related to the exhibit by the sound output device of the user terminal 15.
[0054]
Next, the display of the robot movement operation field 55 used when operating the movement of the robot will be described. In the robot movement operation field 55, a sketch of the virtual experience facility 30 as shown in FIG. 7 is displayed. The sketch shows an example where the virtual experience facility 30 is an art museum or a museum. In this case, in the robot movement operation field 55, a passage shape 56 of one floor in the virtual experience facility 30, arrangement marks 61a to 61i of the exhibits, and position marks 62a to 62j of the robot 11 as the remote control means are provided. Is displayed. Among the position marks 62a to 62j, the black position mark 62a indicates the current position of the robot 11, and the white position marks 62b to 62j indicate the movable positions where the robot 11 can move.
[0055]
Here, when the user 20 attempts to move the robot 11 from the current position to a predetermined position, the user 20 selects and clicks on a white position mark 62b to 62j indicating a movable position that corresponds to the predetermined position, and clicks. The information is transmitted to the server 14 via the network 13b. Then, the server 14 transmits the information to the wireless communication device 23 of the robot 11 via the network 13a and the wireless router 12. Accordingly, the robot 11 starts moving from the current position indicated by the black position mark 62a to a position corresponding to one of the selected white position marks 62b to 62j. In addition, the server 14 changes one display mode of the selected white position marks 62b to 62j, for example, so as to blink, and the robot 11 corresponds to one of the selected white position marks 62b to 62j. Is displayed in the robot movement operation field 55 indicating that the robot is moving to the position to be moved. Thereby, the user 20 can grasp that the robot 11 is moving to the movable position selected.
[0056]
When the movement of the robot 11 is completed and reaches the position corresponding to one of the selected white position marks 62b to 62j, the information is transmitted to the server via the wireless communication device 23, the wireless router 12, and the network 13a. 14 is transmitted. Then, the server 14 changes one display mode of the selected white position marks 62b to 62j to a black position mark. Thus, the user 20 can recognize that the robot 11 has reached the movable position selected by the robot 11 and that the image displayed in the viewing field 51 is the image at the selected movable position. If information about the unused robot 11 can be acquired at the user terminal 15, the user terminal 15 is provided with a selection unit for selecting the robot 11 located closest to the predetermined position. be able to. Thereby, the time for moving the robot 11 can be omitted.
[0057]
As described above, in the present embodiment, since the movable robot 11 equipped with the visual camera 21 and the auditory sensor 22 is provided in the virtual experience facility 30 where general visitors exist, not only the image but also the facility Since the sound of the broadcast such as noise, speech, light music, etc. can also be obtained from the auditory sensor 22 of the robot 11, it is possible to view the inside of the facility and the exhibits as if the user 20 were in the facility. And provide a highly realistic virtual experience.
[0058]
Further, since the service provider 10 and the user 20 have contracted the service available time on a monthly basis and made the use reservation possible, the user 20 can make the use reservation within the contracted usable time. Therefore, the user 20 can reliably use the virtual experience service at the desired time at the desired virtual experience facility 30.
[0059]
Furthermore, even when the user 20 concentrates on the virtual experience at the specific virtual experience facility 30, the user can make a reservation, so that the user 20 does not have to wait in turn.
[0060]
Furthermore, since the user can grasp the reservation status of each virtual experience facility 30 and make a reservation, the user 20 can select the virtual experience facility 30 that matches a convenient time zone and receive the virtual experience service. it can.
[0061]
Further, in the present embodiment, the case where the robot 11 includes the visual camera and the auditory sensor has been described, but the robot 11 may further include a tactile sensor. In this case, a mechanism for feeding back the feeling of the robot 11 to the user 20 may be added to provide a virtual experience service with a more realistic feeling.
[0062]
It should be noted that the present invention is not limited to the above-described embodiment, but can be variously modified based on the gist of the present invention, and they are not excluded from the scope of the present invention.
[0063]
【The invention's effect】
As described in detail above, according to the present invention, the user can operate the user terminal far away from the facility and operate the user terminal such as at home to remotely control the robot, so that the inside of the facility is as if the user actually went to the facility. You can see the scenery and exhibits.
[Brief description of the drawings]
FIG. 1 is a diagram showing a configuration of a remote control type system according to a first embodiment of the present invention.
FIG. 2 is a diagram illustrating a configuration of a robot according to the first embodiment of the present invention.
FIG. 3 is a diagram illustrating an example of a screen for selecting a facility on a homepage of a service provider according to the embodiment of the present invention.
FIG. 4 is a diagram showing an example of a screen for introduction of facilities and floor guidance on a homepage of a service provider according to the embodiment of the present invention.
FIG. 5 is a diagram showing an example of a reservation status display and reservation input screen of a service provider's homepage according to the embodiment of the present invention.
FIG. 6 is a diagram showing a screen for a virtual experience according to the embodiment of the present invention.
FIG. 7 is a sketch of a facility floor according to the embodiment of the present invention.
[Explanation of symbols]
11 Robot
14 Server
15 User terminal
21 Visual Camera
22 Hearing sensor
30 virtual experience facilities
42 Reservation status column
43 Available time display field
44 Reservation input field
45 Confirm button
62a, 62b, 62c, 62d, 62e, 62f, 62g, 62h, 62i, 62j Position mark
