JP2022072184A - コミュニケーションシステム、ロボット、及び記憶媒体 - Google Patents
コミュニケーションシステム、ロボット、及び記憶媒体 Download PDFInfo
- Publication number
- JP2022072184A JP2022072184A JP2020181495A JP2020181495A JP2022072184A JP 2022072184 A JP2022072184 A JP 2022072184A JP 2020181495 A JP2020181495 A JP 2020181495A JP 2020181495 A JP2020181495 A JP 2020181495A JP 2022072184 A JP2022072184 A JP 2022072184A
- Authority
- JP
- Japan
- Prior art keywords
- data
- robot
- unit
- terminal device
- peripheral
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004891 communication Methods 0.000 title claims abstract description 54
- 238000012545 processing Methods 0.000 claims abstract description 66
- 230000002093 peripheral effect Effects 0.000 claims description 74
- 238000000034 method Methods 0.000 claims description 35
- 230000004044 response Effects 0.000 claims description 8
- 230000000873 masking effect Effects 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 12
- 230000005540 biological transmission Effects 0.000 description 8
- 230000010365 information processing Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J5/00—Manipulators mounted on wheels or on carriages
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M11/00—Telephonic communication systems specially adapted for combination with other electrical systems
Landscapes
- Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Manipulator (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Telephonic Communication Services (AREA)
Abstract
【課題】複数の用途に利用可能なロボットに関する技術を提供する。
【解決手段】一又は複数のロボットと、サーバ装置とを備えるコミュニケーションシステム。ロボットは、ロボットの位置情報を取得する測位部と、端末装置を介した遠隔操作に応じてロボットを移動可能な駆動部と、ロボットの周辺データを取得する周辺データ取得部と、周辺データに基づく第1データと、周辺データ及び位置情報に基づく第2データとを生成する第1処理部と、第1データを端末装置に送信し、第2データをサーバ装置に送信する通信部とを備える。サーバ装置は、ロボットから受信した第2データに基づくマップデータを生成する第2処理部と、マップデータを記憶する記憶部とを備える。
【選択図】図2
【解決手段】一又は複数のロボットと、サーバ装置とを備えるコミュニケーションシステム。ロボットは、ロボットの位置情報を取得する測位部と、端末装置を介した遠隔操作に応じてロボットを移動可能な駆動部と、ロボットの周辺データを取得する周辺データ取得部と、周辺データに基づく第1データと、周辺データ及び位置情報に基づく第2データとを生成する第1処理部と、第1データを端末装置に送信し、第2データをサーバ装置に送信する通信部とを備える。サーバ装置は、ロボットから受信した第2データに基づくマップデータを生成する第2処理部と、マップデータを記憶する記憶部とを備える。
【選択図】図2
Description
本発明は、コミュニケーションシステム、ロボット、及び記憶媒体に関する。
近年、インターネットを用いたテレビ会議システムが普及し、顔を見ながら話すだけでなく、遠隔地にいるユーザによる操作に応じて、カメラの向きを変更させたり、駆動部の制御により位置を移動させることが可能なテレプレゼンスロボットが知られている。
特許文献1には、遠隔地にいるユーザに対して撮影画像を提供するカメラ付き移動体が記載されている。
従来のテレプレゼンスロボットは、ユーザがロボットを遠隔操作することで、ロボットがいわばユーザの分身として機能し、ユーザはロボットがいる場所におけるエクスペリエンスを体感できる。一方で、カメラや駆動部を備えるロボットは高機能であるため、ユーザにエクスペリエンスを提供する以外の用途に利用する余地がある。
本発明の目的の一つは、複数の用途に利用可能なロボットに関する技術を提供することにある。
本発明の一態様に係るコミュニケーションシステムは、一又は複数のロボットと、サーバ装置とを備えるコミュニケーションシステムであって、前記ロボットは、前記ロボットの位置情報を取得する測位部と、端末装置を介した遠隔操作に応じて前記ロボットを移動可能な駆動部と、前記ロボットの周辺データを取得する周辺データ取得部と、前記周辺データに基づく第1データと、前記周辺データ及び前記位置情報に基づく第2データとを生成する第1処理部と、前記第1データを前記端末装置に送信し、前記第2データを前記サーバ装置に送信する通信部とを備え、前記サーバ装置は、前記ロボットから受信した前記第2データに基づくマップデータを生成する第2処理部と、前記マップデータを記憶する記憶部とを備える。
本発明の一態様に係るロボットは、自機の位置情報を取得する測位部と、端末装置を介した遠隔操作に応じてを移動可能な駆動部と、周辺データを取得する周辺データ取得部と、前記周辺データに基づく第1データと、前記周辺データ及び前記位置情報に基づく第2データとを生成する第1処理部と、前記第1データを前記端末装置に送信し、前記第2データをサーバ装置に送信する通信部とを備える。
本発明の一態様に係る記憶媒体は、ロボットの制御方法をコンピュータに実施させるためのプログラムを記憶した記憶媒体であって、前記制御方法は、測位部により前記ロボットの位置情報を取得することと、端末装置を介した遠隔操作に応じて前記ロボットの移動を制御することと、カメラ又はセンサにより周辺データを取得することと、前記周辺データに基づく第1データと、前記周辺データ及び前記位置情報に基づく第2データとを生成することと、前記第1データを前記端末装置に送信し、前記第2データをサーバ装置に送信することとを含む。
本発明によれば、複数の用途に利用可能なロボットに関する技術を提供することができる。
以下に、本発明の一実施形態について説明する。なお、以下の実施形態は、本発明を説明するための例示であり、本発明をその実施の形態のみに限定する趣旨ではない。また、本発明は、その要旨を逸脱しない限り、さまざまな変形が可能である。さらに、当業者であれば、以下に述べる各要素を均等なものに置換した実施の形態を採用することが可能であり、かかる実施の形態も本発明の範囲に含まれる。
<システムの構成>
図1及び図2を参照して、一実施形態に係るシステム1の例示的な構成について説明する。本実施形態において、システム1は、ユーザが端末装置を介して1つ又は複数のロボットを遠隔操作することを可能にするコミュニケーションシステムである。複数のロボットは、それぞれ異なる場所に置かれている。
図1及び図2を参照して、一実施形態に係るシステム1の例示的な構成について説明する。本実施形態において、システム1は、ユーザが端末装置を介して1つ又は複数のロボットを遠隔操作することを可能にするコミュニケーションシステムである。複数のロボットは、それぞれ異なる場所に置かれている。
図1に示すように、システム1は、サーバ装置10、端末装置20a,20b,20c、及びロボット30a,30b,30cを備える。各装置又はロボットは、他の装置又はロボットと、無線若しくは有線により(又はその両者により)通信可能に構成されている。図1に示す例において、システム1は、3つの端末装置を備えるが、端末装置の数は任意に設定され、2つ以下でも4つ以上であってもよい。端末装置20a,20b,20cは、それぞれ同様の構成を有してもよいし、異なる構成を有してもよい。本実施形態において、端末装置20a,20b,20cが互いに区別せずに参照される場合は、総称して端末装置20と称される。また、システム1は、3つのロボットを備えるが、ロボットの数は任意に設定され、2つ以下でも4つ以上であってもよい。ロボット30a,30b,30cは、それぞれ同様の構成を有してもよいし、異なる構成を有してもよい。本実施形態において、ロボット30a,30b,30cを互いに区別せずに参照する場合は、総称してロボット30と称される。以下に、それぞれの装置及びロボットの概要を説明する。
サーバ装置10は、端末装置20から複数のロボット30を遠隔操作することに関し、各種の処理を実行する装置である。サーバ装置10はさらに、利用可能なロボット30の検索処理や、ロボット30の操作のための予約登録の管理等を行う。サーバ装置10は、サーバコンピュータなどの情報処理装置により構成される。サーバ装置10は、1つの情報処理装置により構成されてもよいし、複数の情報処理装置(例えば、クラウドコンピューティング又はエッヂコンピューティング)により構成されてもよい。
端末装置20は、ロボット30の操作や、当該操作をユーザが行うことを予約するために、ユーザにより使用される情報処理装置である。端末装置20は、例えば、スマートフォン、タブレット端末、PDA(Personal Digital Assistants)、パーソナルコンピュータ、ヘッドマウントディスプレイ、特定用途の操作系などの汎用又は専用の情報処理装置である。ロボット30の操作の予約のために使用される端末装置20は、当該操作のために使用される端末装置20と異なる装置であってもよいし、同じ装置であってもよい。
ロボット30は、固定されていないロボットである。ロボット30が固定されていないとは、ロボット30が車輪等による移動のための駆動部を有する移動型である場合と、人が装着でき、マニピュレータ等の動作のための駆動部を有する装着型である場合とを含む。
移動型のロボットは、例えば特許文献1に示されている。移動型ロボットの移動部は、一輪、二輪又は多輪により走行するもの、キャタピラにより走行するもの、レールの上を走行するもの、飛び跳ねて移動するもの、二足歩行、四足歩行又は多足歩行するもの、スクリューにより水上又は水中を航行するもの及びプロペラ等により飛行するものを含む。装着型のロボットは、例えばMHD Yamen Saraiji, Tomoya Sasaki, Reo Matsumura, Kouta Minamizawa and Masahiko Inami, "Fusion: full body surrogacy for collaborative communication," Proceeding SIGGRAPH '18 ACM SIGGRAPH 2018 Emerging Technologies Article No. 7.にて公開されている。さらに、ロボット30は、自動走行又は半自動走行可能な車両や重機であったり、ドローンや飛行機であったりを含む。また、ロボット30は、スポーツスタジアム等に設置され、レールの上を移動可能なカメラを備えたロボットを含む。また、ロボット30は、宇宙空間に打ち上げられる衛星型ロボットであって、姿勢制御やカメラの撮影方向の制御が可能なロボットを含む。また、ロボット30は、いわゆるテレプレゼンスロボットやアバターロボットであってよい。
図2に示すように、ユーザは端末装置20を介してロボット30の遠隔操作(例えば、ロボット30の移動やロボット30に搭載されたカメラの操作)を行うことができる。端末装置20とロボット30の間の操作信号又はデータの送受信のための通信アーキテクチャは、任意のアーキテクチャを採用可能であり、例えば、P2P(Peer-to-Peer)又はクライアントサーバである。ロボット30は、端末装置20から受信した信号に応じて動作し、ロボット30に搭載されたカメラ、センサ及びその他の装置を通じて取得された画像データ及び音声データなど、ロボット30がいる場所に関してロボット30が取得又は検知等したデータを端末装置20に送信する。これにより、ユーザは、端末装置20及びロボット30を介して、ロボット30がいる場所に自分もいるかのようなエクスペリエンスを体感することができる。
さらに、ロボット30搭載されたカメラ又はセンサ等により取得されたロボット30の周辺データは、マップデータの作成のために使用される。詳細には、まず、ロボット30は、ロボット30のカメラ又はセンサにより取得された周辺データ(又は周辺データに基づくデータ。以下の説明においても同様。)をサーバ装置10に送信する。サーバ装置10は、ロボット30から受信した周辺データを記憶する。マップデータの作成のために、ロボット30による送信前、又はサーバ装置10への記憶前に、周辺データに対して所定の処理が行われる。このように、ロボット30(すなわち、ロボット30のカメラ又はセンサにより取得された周辺データ)は、ユーザにエクスペリエンスを体感させる以外の目的にも使用される。
<機能構成>
図3を参照して、ロボット30が備えるコンピュータが有する主な機能の構成を説明する。これらの機能は、ロボット30が有する制御部(プロセッサ)が、記憶部に記憶されたコンピュータプログラムを読み込み、実行することにより実現される。ロボット30のハードウェア構成については、後述する。
図3を参照して、ロボット30が備えるコンピュータが有する主な機能の構成を説明する。これらの機能は、ロボット30が有する制御部(プロセッサ)が、記憶部に記憶されたコンピュータプログラムを読み込み、実行することにより実現される。ロボット30のハードウェア構成については、後述する。
図3に示すように、ロボット30は、主な機能の構成として、測位部31、駆動制御部32、データ処理部33、通信制御部34、データベース35、及び周辺データ取得部36を有する。ロボット30が有する機能は、これらに限定されず、ロボットが一般的に有する機能など、他の機能を有してもよい。例えば、ロボット30は、ロボット30に搭載されたカメラの動作を制御するカメラ制御部をさらに有する。
測位部31は、ロボット30の位置情報を取得する。当該位置情報は、外部装置から取得されてもよいし、測位部31による測位処理により算出されてもよい。測位処理は、GNSS(Global Navigation Satellite System)により実施されてもよいし、基地局又は通信機器(例えば、ルータ)などを使用して、又はその他の方法により実施されてもよい。また、ロボット30の位置情報は、例えば、ロボット30の通信に使用するロボット30の近隣の装置(例えば、ルーター)の通信用のアドレス情報(例えば、IPアドレス)に基づいて取得された位置の情報であってもよい。さらに、ロボット30の位置情報は、ロボット30が備える駆動部により移動した距離及び方向に基づいて算出されて取得されてもよい。
駆動制御部32は、ロボット30が備える駆動部を制御することにより、ロボット30の移動、停止及びその他の動作を制御する。駆動制御部32は、端末装置20からロボット30が受信した遠隔操作のための信号に応じてロボットが移動するように駆動部を制御する。また、駆動制御部32は、予め設定されたプログラムに応じて自動的に移動するように駆動部を制御可能である。
周辺データ取得部36は、ロボット30の周辺データを取得する。周辺データは、例えば、ロボット30に搭載されたカメラにより取得された周辺環境の画像データを含む。さらに、周辺データは、ロボット30に搭載されたセンサ(例えば、超音波センサ、レーザセンサ、レーダー、又はマイク等)によりセンシングされた周辺環境の2次元若しくは3次元データ、又は音声データ等を含む。周辺環境の2次元若しくは3次元データは、例えば、ロボット30から周辺環境に存在するオブジェクトまでの距離、及び当該オブジェクトの形状に関するデータを含む。
データ処理部33は、周辺データ取得部36により取得された周辺データに対して各種の処理を行う。データ処理部33による処理は、例えば、周辺データに含まれる画像データに対する補正処理(例えば、色補正)、加工処理(例えば、ノイズ除去)、及び圧縮処理を含む。データ処理部33は、画像データの用途又は送信先に応じて、異なる処理を行うことが可能である。例えば、上記の補正処理、加工処理、及び圧縮処理を実施して生成したデータを端末装置20の表示部に表示させるためのデータとすることが可能である。
また、他の用途のために、データ処理部33は、上記の処理に加えて、又は上記の処理に代えて、周辺データに対して他の処理を実施してデータを生成可能である。例えば、マップデータの作成のために、データ処理部33は、周辺データ取得部36により取得された周辺データと、測位部31により取得された位置情報とに基づくデータを生成する。例えば、データ処理部33は、現実世界に従うように、ロボット30のカメラにより取得された周辺データが示す空間における座標と、測位部31により取得された位置情報とを対応付けたデータを生成する。このとき、データ処理部33は、当該データの生成のために、周辺データ取得部36により取得された周辺環境の3次元データ(例えば、超音波センサ、レーザセンサ、又はレーダーによりセンシングされたデータ)と、SLAM(Simultaneous Localization and Mapping)技術とが使用されてもよい。また、データ処理部33は、周辺データ取得部36により取得された周辺データに基づいて、ポイントクラウドを生成してもよい。さらに、データ処理部33は、周辺データに含まれる画像データに対して画像認識処理を行い、画像に含まれる所定のオブジェクト(例えば、人、車、自転車など、マップに含めるべき空間情報に関係しないオブジェクト)の画像に対して、マスキング処理(例えば、所定のオブジェクトを除去する処理)を実施することが可能である。データ処理部33は、画像に含まれていたマスキングされたオブジェクト及びその他のオブジェクトに対して、画像認識処理を行い、当該オブジェクトの属性情報をメタデータとして周辺データの画像データに付加することができる。オブジェクトの属性情報は、オブジェクトの種別(人、車、自転車、動物など)、人の年齢、及び性別などを含む。データ処理部33は、マップデータの作成のために、周辺データ取得部36により取得された周辺環境の3次元データに応じて、LiDAR(light detection and ranging)技術を使用して、画像データに対して処理を実施してもよい。
通信制御部34は、ロボット30が搭載する通信部を介して、サーバ装置10及び端末装置20などの外部装置との間の各種通信を制御する。通信制御部34は、周辺データ取得部36により取得された周辺データに基づくデータ(例えば、データ処理部33により処理されたデータ)をサーバ装置10及び端末装置20に送信するように制御する。通信制御部34は、データ処理部33により周辺データに対して、用途又は送信先に応じた異なる処理が実施されたデータの外部装置への送信を制御する。例えば、通信制御部34は、周辺データ取得部36により取得されたロボット30の周辺データに基づく第1データを端末装置20に送信するように制御する。また、通信制御部34は、当該周辺データに基づき、第1データと異なる第2データをサーバ装置10に送信するように制御する。第1データは、例えば、周辺データの画像データに対して、端末装置20の表示部に表示させるための処理がデータ処理部33により実施されたデータである。第2データは、例えば、マップデータの作成のために、周辺データ取得部36により取得された周辺データ(例えば、超音波センサ、レーザセンサ、レーダー、又はマイクによりセンシングされたデータを含む。)と、測位部31により取得された位置情報とに基づいて生成されたデータである。
データベース35は、ロボット30において実行される処理に必要なデータ、並びに当該処理により生成又は設定されたデータなど、各種データを記憶する。データベース35は、例えば、周辺データ取得部36により取得された周辺データ、及び当該周辺データに対して処理が施されたデータを記憶する。
次に、図4を参照して、サーバ装置10が有する主な機能の構成を説明する。これらの機能は、サーバ装置10が有する制御部(プロセッサ)が、記憶部に記憶されたコンピュータプログラムを読み込み、実行することにより実現される。サーバ装置10のハードウェア構成については、後述する。
図4に示すように、サーバ装置10は、主な機能の構成として、処理部11、通信制御部12、及びデータベース13を有する。サーバ装置10が有する機能は、これらに限定されず、ロボットが一般的に有する機能など、他の機能を有してもよい。
処理部11は、サーバ装置10における各種の処理を実施する。処理部11は、例えば、ロボット30から受信したデータに基づいて、マップデータを生成してデータベース13に記憶し、又はデータベース13を参照してマップデータを更新する。ロボット30から受信したデータに基づくマップデータとは、ロボット30により取得されたデータ(例えば、上述の周辺データ及び位置データ)に基づいて生成又は更新されるデータであり、ロボット30が通過又は滞在した場所付近におけるマップのデータである。処理部11は、上述したロボット30のデータ処理部33が行う処理の一部(例えば、ポイントクラウドの生成、マスキング処理、又はメタデータの付加のうちの少なくともいずれかの処理を)、ロボット30の代わりに実施してもよい。
サーバ装置10が複数のロボット30からデータを受信する場合、処理部11は、複数のロボット30から受信したデータに基づいて、マップデータを生成又は更新してもよい。例えば、処理部11は、それぞれ異なる位置に存在する複数のロボット30から受信したデータを統合し、マップデータを生成又は更新してもよい。これにより、一つのロボット30から受信したデータに基づいてマップデータを生成する場合と比較して、より広範囲のマップデータを短期間で生成及び更新することが可能となる。
通信制御部12は、サーバ装置10が備える通信部を介して、端末装置20及びロボット30などの外部装置との間の各種通信を制御する。
データベース13は、サーバ装置10において実行される処理に必要なデータ、当該処理により生成又は設定されたデータ、並びに外部装置から取得したデータなど、各種データを記憶する。データベース13は、例えば、処理部11により生成又は更新されたマップデータを記憶する。
本実施形態によれば、上述のとおり、ロボット30は、端末装置20を介して遠隔操作され、ユーザに対してロボット30がいる場所に関するエクスペリエンスを提供するために、移動を行う。さらに、当該移動中にロボット30のカメラ又はセンサ等により取得された周辺データは、マップデータの生成に使用される。従って、ユーザへのエクスペリエンスの提供のためにロボット30が遠隔操作されるほど、マップデータ生成のための周辺データが高頻度で、より多く、ロボット30により取得される。これに対し、従来において、マップデータを生成するためのデータの収集の頻度は、数年に一度程度である。すなわち、本実施形態によれば、ロボット30による周辺データの収集は、マップデータを生成するためだけの目的ではないため、高頻度で周辺データを収集することができ、その結果、より現実の空間情報に即したマップデータを生成することが可能となる。
<処理フロー>
図5を参照して、システム1における処理フローの一例を説明する。この処理は、サーバ装置10、端末装置20及びロボット30において、プロセッサが、記憶部に記憶されたコンピュータプログラムを読み込み、実行することにより実現される。なお、この処理における各処理ステップについて、既に詳細を説明しているものについては、ここでは詳細な説明を省略する。
図5を参照して、システム1における処理フローの一例を説明する。この処理は、サーバ装置10、端末装置20及びロボット30において、プロセッサが、記憶部に記憶されたコンピュータプログラムを読み込み、実行することにより実現される。なお、この処理における各処理ステップについて、既に詳細を説明しているものについては、ここでは詳細な説明を省略する。
ステップS501において、端末装置20は、ユーザ操作に応じて、ロボット30の遠隔操作を行うために、ロボット30への制御信号の送信を開始する。遠隔操作は、例えば、ロボット30に搭載されたカメラに対する操作及びロボット30の移動の操作を含む。
ステップS502において、ロボット30は、ステップS501で受信した遠隔操作開始の制御信号に応じて、動作を開始する。当該動作は、ロボット30のカメラによる撮影、センサによるセンシング、及びロボット30の現在位置の位置情報の取得を含む。
ステップS503において、ロボット30は、ロボット30のカメラ及びセンサにより取得されたロボット30の周辺データに対して所定の処理を実施する。例えば、ロボット30は、端末装置20の出力部(例えば、表示装置又はスピーカ)で再生させるための画像データ及び音声データの生成のための処理を実施してデータ(例えば、上記の第1データ)を生成する。また、ロボット30は、マップデータの作成のための処理を実施して、データ(例えば、上記の第2データ)を生成する。
ステップS504において、ロボット30は、ステップS503で生成されたデータのうち、端末装置20の出力部で再生させるためのデータの端末装置20への送信を開始する。端末装置20は、ロボット30から受信したデータに基づいて、表示部への画像の表示、又はスピーカでの音声の再生を開始する。ロボット30から端末装置20へのデータの送信は、例えば、端末装置20の表示部への画像表示の終了が端末装置20を介して指示されるまで、継続的に実行される。
ステップS505において、ロボット30は、端末装置20から受信した遠隔操作の制御信号に応じて、移動を開始する。当該移動は、ユーザにより端末装置20を介して指示されたロボット30を利用したショッピング、観光、又は散歩のための屋内又は屋外の移動を含む。ロボット30は、当該移動により通過又は滞在した場所付近における周辺データをロボット30のカメラ及びセンサにより取得する。
ステップS506において、ロボット30は、所定のタイミングで、ステップS503で生成されたデータのうち、マップデータの作成のための処理が実施されたデータのサーバ装置10への送信を開始する。ステップS506でサーバ装置10に送信されるデータは、カメラ及びセンサにより取得された周辺データとロボット30の位置情報とに基づいて生成されたデータを含む。
サーバ装置10への送信を開始する上記の所定のタイミングは、例えば、ロボット30が、ステップS503における端末装置20へ送信するためのデータの生成処理を終了したタイミング、又はステップS504で開始した端末装置20へのデータ送信の終了のタイミングを含む。また、上記の所定のタイミングは、端末装置20からロボット30が遠隔操作されていないタイミング、ロボット30が移動を停止しているタイミング、又は所定の場所(例えば、ロボット30の充電ドック)で停止しているタイミングを含む。ロボット30は、このようなタイミングでデータをサーバ装置10への送信することにより、ロボット30が端末装置20へデータを送信するための通信のタイミングと異なるタイミングで、サーバ装置10へデータ送信することが可能である。その結果、ロボット30が同時に使用する通信帯域を低減することが可能である。また、ロボット30が通信を行うために必要な処理を実行するタイミングを分散することができるため、ロボット30の処理負荷を分散することができる。このような処理負荷の分散の効果を得るために、ステップS503で実施されるマップデータの作成のための画像処理のうち、上記のマスキング処理や属性情報の付加処理などの一部の処理を上記の所定のタイミングで実施してもよい。
なお、ステップS506において、ロボット30は、所定のタイミングで、マップデータの作成のための画像処理が実施されたデータのサーバ装置10への送信を開始するのではなく、ステップS503で処理が終了したデータから順次サーバ装置10へ送信してもよい。
ステップS507において、サーバ装置10は、ロボット30から受信したデータに基づいて、マップデータを生成して記憶部に記憶し、又は記憶部を参照してマップデータを更新する。
本実施形態によれば、上述のとおり、ロボット30は、端末装置20を介して遠隔操作され、ユーザに対してロボット30がいる場所に関するエクスペリエンスを提供するために、移動を行う。さらに、当該移動中にロボット30のカメラ又はセンサにより取得された周辺データは、マップデータの生成に使用される。従って、ユーザへのエクスペリエンスの提供のためにロボット30が遠隔操作されるほど、マップデータ生成のための周辺データが高頻度で、より多く、ロボット30により取得される。これに対し、従来において、マップデータを生成するためのデータの収集の頻度は、数年に一度程度である。すなわち、本実施形態によれば、ロボット30による周辺データの収集は、マップデータを生成するためだけの目的ではないため、高頻度で周辺データを収集することができ、その結果、より現実の空間情報に即したマップデータを生成することが可能となる。
<コンピュータのハードウェア構成>
次に、図6を参照して、本実施形態におけるサーバ装置10及び端末装置20を実装するためのコンピュータ(情報処理装置)の例示的なハードウェア構成を説明する。
次に、図6を参照して、本実施形態におけるサーバ装置10及び端末装置20を実装するためのコンピュータ(情報処理装置)の例示的なハードウェア構成を説明する。
図6に示すように、コンピュータ700は、主な構成として、プロセッサ701と、メモリ703と、記憶装置705と、操作部707と、入力部709と、通信部711、及び出力部713を備える。コンピュータ700は、これらの構成のうち、少なくとも一部を備えなくてもよい。また、コンピュータ700は、これらの構成以外に、汎用コンピュータ又は専用コンピュータが一般的に備える他の構成を備えてもよい。また、コンピュータ700は、図6に示した構成のうち、一部を備えなくてもよい。
プロセッサ701は、メモリ703に記憶されているプログラムを実行することによりコンピュータ700における各種の処理を制御する制御部である。従って、プロセッサ701は、コンピュータ700が備える他の構成と、プログラムとの協働により、上記の実施形態で説明した各装置の機能を実現し、上記の処理の実行を制御する。
メモリ703は、例えばRAM(Random Access Memory)等の記憶媒体である。メモリ703には、プロセッサ701によって実行されるプログラムのプログラムコードや、プログラムの実行時に必要となるデータが記憶装置705等から一時的に読みだされて、又は予め記憶されている。
記憶装置705は、例えばハードディスクドライブ(HDD)等の不揮発性の記憶媒体である。記憶装置705は、オペレーティングシステム、上記各構成を実現するための各種プログラム、上述した処理結果のデータ等を記憶する。
操作部707は、ユーザからの入力を受け付けるためのデバイスである。操作部707の具体例としては、キーボード、マウス、タッチパネル、ジョイスティック、各種センサ、ウェアラブルデバイス等が挙げられる。操作部707は、例えばUSB(Universal Serial Bus)等のインタフェースを介してコンピュータ700に取り外し可能に接続されても良い。
入力部709は、コンピュータ700の外部からデータを入力するためのデバイスである。入力部709の具体例としては、各種記憶媒体に記憶されているデータを読み取るためのドライブ装置等がある。また、入力部709は、周辺の音声を収音し、音声を音声データに変換して入力するマイクを含む。入力部709は、コンピュータ700に取り外し可能に接続されてもよい。その場合、入力部709は、例えばUSB等のインタフェースを介してコンピュータ700へと接続される。
通信部711は、コンピュータ700の外部の装置と有線又は無線により、ネットワークを介したデータ通信を行うための装置である。通信部711は、コンピュータ700に取り外し可能に接続されてもよい。その場合、通信部711は、例えばUSB等のインタフェースを介してコンピュータ700に接続される。
出力部713は、各種データを出力するデバイスである。出力部713は、例えば、データを表示するための表示装置、又は音声を出力するためのスピーカである。表示装置の具体例としては、例えば液晶ディスプレイや有機ELディスプレイ、ウェアラブルデバイスのディスプレイ等が挙げられる。出力部713は、コンピュータ700の外部に取り外し可能に接続されてもよい。その場合、出力部713である表示装置は、例えばディスプレイケーブル等を介してコンピュータ700に接続される。また、操作部707としてタッチパネルが採用される場合には、出力部713は、操作部707と一体化して構成することが可能である。
次に、図7を参照して、本実施形態におけるロボット30に搭載されるコンピュータ(情報処理装置)及びその他の主な構成の例示的なハードウェア構成を説明する。ロボット30は、プロセッサ901、RAM(Random Access Memory)902、ROM(Read only Memory)903、通信部904、入力部905、表示部906、駆動部907、カメラ908、及びセンサ909を備える。図7に示す構成は一例であり、ロボット30はこれら以外の構成を有してもよいし、これらの構成のうち一部を有さなくてもよい。例えば、ロボット30は、スピーカをさらに備えてもよい。また、ロボット30は、自機の位置を特定するためのユニットを備えてもよい。
プロセッサ901は、ロボット30の演算部であり、例えば、CPU(Central Processing Unit)である。RAM902及びROM903は、各種処理に必要なデータ及び処理結果のデータを記憶する記憶部である。ロボット30は、RAM902及びROM903以外に、HDD(Hard Disk Drive)及びSSD (Solid State Drive)などの大容量の記憶部を備えてもよい。通信部904は、外部装置との通信を行うデバイスである。通信部904は、例えば、アンテナ、又はNIC(Network Interface Car)を含む。入力部905は、ロボット30の外部からデータを入力するためのデバイスである。表示部906は、各種情報を表示するためのデバイスである。
プロセッサ901は、RAM902又はROM903に記憶されたプログラムの実行に関する制御やデータの演算、加工を行う制御部である。プロセッサ901は、ロボットを介したコミュニケーションを制御するプログラム(コミュニケーションプログラム)を実行する。プロセッサ901は、入力部905や通信部904から種々のデータを受け取り、データの演算結果を表示部906に表示したり、RAM902に格納したりする。
入力部905は、ユーザからデータの入力を受け付けるものであり、例えば、キーボード及びタッチパネルを含んでよい。また、入力部905は、音声入力のためのマイクを含んでよい。
表示部906は、プロセッサ901による演算結果を視覚的に表示するものであり、例えば、LCD(Liquid Crystal Display)により構成されてよい。表示部906は、ロボット30のカメラ908で撮影された画像を表示してよい。
コミュニケーションプログラムは、RAM902やROM903等のコンピュータによって読み取り可能な記憶媒体に記憶されて提供されてもよいし、通信部904により接続される通信ネットワークを介して提供されてもよい。ロボット30では、プロセッサ901がコミュニケーションプログラムを実行することにより、ロボット30を制御するための様々な動作が実現される。なお、これらの物理的な構成は例示であって、必ずしも独立した構成でなくてもよい。例えば、コンピュータ900は、プロセッサ901とRAM902やROM903が一体化したLSI(Large-Scale Integration)を備えていてもよい。
駆動部907は、遠隔操作可能なアクチュエータを含み、車輪等の移動部やマニピュレータ等を含む。ロボット30が移動型のロボットである場合、駆動部907は、少なくとも車輪等の移動部を含むが、マニピュレータを含んでもよい。ロボット30が装着型である場合、駆動部907は、少なくともマニピュレータを含む。
カメラ908は、静止画又は動画を撮像する撮像素子を含み、撮像した静止画又は動画を、通信部904を介して外部装置に送信する。
センサ909は、周辺環境に関するセンシングを行う各種センサである。センサ909は、例えば、超音波センサ、レーザセンサ、レーダー、光センサ、音センサ(マイク)、圧力センサ、加速度センサ、角速度センサ、高度センサ、又は地磁気センサのうち少なくとも一部を含む。
<変形例>
本実施形態におけるシステム1(または、サーバ装置10、端末装置20、又はロボット30)を実装するためのプログラムは、CD-ROM等の光学ディスク、磁気ディスク、半導体メモリなどの各種の記録媒体に記録しておくことができる。また、記録媒体を通じて、又は通信ネットワークなどを介して上記のプログラムをダウンロードすることにより、コンピュータにインストール又はロードすることができる。
本発明は、上記した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において、他の様々な形で実施することができる。上記実施形態はあらゆる点で単なる例示にすぎず、限定的に解釈されるものではない。
1 システム
10 サーバ装置
20 端末装置
30 ロボット
10 サーバ装置
20 端末装置
30 ロボット
Claims (9)
- 一又は複数のロボットと、サーバ装置とを備えるコミュニケーションシステムであって、
前記ロボットは、
前記ロボットの位置情報を取得する測位部と、
端末装置を介した遠隔操作に応じて前記ロボットを移動可能な駆動部と、
前記ロボットの周辺データを取得する周辺データ取得部と、
前記周辺データに基づく第1データと、前記周辺データ及び前記位置情報に基づく第2データとを生成する第1処理部と、
前記第1データを前記端末装置に送信し、前記第2データを前記サーバ装置に送信する通信部と
を備え、
前記サーバ装置は、
前記ロボットから受信した前記第2データに基づくマップデータを生成する第2処理部と、
前記マップデータを記憶する記憶部と
を備える、コミュニケーションシステム。 - 前記通信部は、前記ロボットが端末装置から遠隔操作されていないときに、前記第2データを前記サーバ装置に送信する、請求項1に記載のコミュニケーションシステム。
- 前記通信部は、前記ロボットが所定の場所で停止しているときに、前記第2データを前記サーバ装置に送信する、請求項1又は2に記載のコミュニケーションシステム。
- 前記第2データは、前記周辺データに含まれる所定のオブジェクトの画像に対してマスキング処理が実施されたデータを含む、請求項1から3のいずれか一項に記載のコミュニケーションシステム。
- 前記第2データは、前記所定のオブジェクトに関するメタデータを含む、請求項4に記載のコミュニケーションシステム。
- 前記サーバ装置は、複数の前記ロボットから前記第2データを受信し、
前記第2処理部は、複数の前記ロボットから受信した前記第2データに基づいて前記マップデータを生成する、請求項1から5のいずれか一項に記載のコミュニケーションシステム。 - 自機の位置情報を取得する測位部と、
端末装置を介した遠隔操作に応じて移動可能な駆動部と、
周辺データを取得する周辺データ取得部と、
前記周辺データに基づく第1データと、前記周辺データ及び前記位置情報に基づく第2データとを生成する第1処理部と、
前記第1データを前記端末装置に送信し、前記第2データをサーバ装置に送信する通信部と
を備えるロボット。 - ロボットの制御方法であって、
測位部により前記ロボットの位置情報を取得することと、
端末装置を介した遠隔操作に応じて前記ロボットの移動を制御することと、
カメラ又センサにより周辺データを取得することと、
前記周辺データに基づく第1データと、前記周辺データ及び前記位置情報に基づく第2データとを生成することと、
前記第1データを前記端末装置に送信し、前記第2データをサーバ装置に送信することと
を含む制御方法。 - ロボットの制御方法をコンピュータに実施させるためのプログラムを記憶した記憶媒体であって、前記制御方法は、
測位部により前記ロボットの位置情報を取得することと、
端末装置を介した遠隔操作に応じて前記ロボットの移動を制御することと、
カメラ又はセンサにより周辺データを取得することと、
前記周辺データに基づく第1データと、前記周辺データ及び前記位置情報に基づく第2データとを生成することと、
前記第1データを前記端末装置に送信し、前記第2データをサーバ装置に送信することと
を含む、記憶媒体。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020181495A JP2022072184A (ja) | 2020-10-29 | 2020-10-29 | コミュニケーションシステム、ロボット、及び記憶媒体 |
PCT/JP2021/037934 WO2022091787A1 (ja) | 2020-10-29 | 2021-10-13 | コミュニケーションシステム、ロボット、及び記憶媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020181495A JP2022072184A (ja) | 2020-10-29 | 2020-10-29 | コミュニケーションシステム、ロボット、及び記憶媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022072184A true JP2022072184A (ja) | 2022-05-17 |
Family
ID=81383803
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020181495A Pending JP2022072184A (ja) | 2020-10-29 | 2020-10-29 | コミュニケーションシステム、ロボット、及び記憶媒体 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2022072184A (ja) |
WO (1) | WO2022091787A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116016621A (zh) * | 2023-03-28 | 2023-04-25 | 麦岩智能科技(北京)有限公司 | 一种清洁机器人运维方法、装置、电子设备及系统 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017047519A (ja) * | 2015-09-04 | 2017-03-09 | Rapyuta Robotics株式会社 | クラウドロボティクスシステム、情報処理装置、プログラム、並びに、クラウドロボティクスシステムにおけるロボットの制御または支援方法 |
KR101832569B1 (ko) * | 2015-12-15 | 2018-04-04 | 주식회사 엘지유플러스 | 홈 디바이스를 모니터링하는 이동식 홈 로봇 및 그 동작 방법 |
JP7180063B2 (ja) * | 2017-09-25 | 2022-11-30 | 富士フイルムビジネスイノベーション株式会社 | カメラ付き移動体、カメラ付き移動体制御システム、及びプログラム |
CN108247647B (zh) * | 2018-01-24 | 2021-06-22 | 速感科技(北京)有限公司 | 一种清洁机器人 |
JP7047439B2 (ja) * | 2018-02-15 | 2022-04-05 | トヨタ自動車株式会社 | 移動店舗車および移動店舗システム |
-
2020
- 2020-10-29 JP JP2020181495A patent/JP2022072184A/ja active Pending
-
2021
- 2021-10-13 WO PCT/JP2021/037934 patent/WO2022091787A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2022091787A1 (ja) | 2022-05-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11644832B2 (en) | User interaction paradigms for a flying digital assistant | |
EP3338136B1 (en) | Augmented reality in vehicle platforms | |
KR101870067B1 (ko) | 로봇 디바이스 동작의 가상 표현을 디스플레이하는 증강 현실을 위한 방법 및 시스템 | |
CN108449945B (zh) | 信息处理设备、信息处理方法和程序 | |
JP7156305B2 (ja) | 制御装置、および制御方法、プログラム、並びに移動体 | |
KR20140031316A (ko) | 이동하는 개체를 이동 로봇을 이용하여 추적 및 추종하는 기법 | |
US10908609B2 (en) | Apparatus and method for autonomous driving | |
JP4348468B2 (ja) | 画像生成方法 | |
CN112307642A (zh) | 数据处理方法、装置、系统、计算机设备及存储介质 | |
WO2022004422A1 (ja) | 情報処理装置、情報処理方法、及び記録媒体 | |
KR20200128486A (ko) | 사용자의 위치를 결정하는 인공 지능 장치 및 그 방법 | |
WO2022091787A1 (ja) | コミュニケーションシステム、ロボット、及び記憶媒体 | |
JP2020118459A (ja) | 経路決定装置、コンピュータプログラム及び経路決定方法 | |
KR20200020295A (ko) | 로봇과 인터랙션하는 증강현실 서비스 제공 장치 및 방법 | |
US20230390937A1 (en) | Information processing device, information processing method, and storage medium | |
WO2018154633A1 (ja) | 制御装置、制御方法およびプログラム記録媒体 | |
CN114333404A (zh) | 一种停车场寻车方法、装置、车辆及存储介质 | |
JP2015049039A (ja) | ナビゲーション装置、及びナビゲーションプログラム | |
JP7513030B2 (ja) | 情報処理装置、情報処理方法、情報処理プログラム及び制御装置 | |
US20240118703A1 (en) | Display apparatus, communication system, display control method, and recording medium | |
WO2020017600A1 (ja) | 表示制御装置、表示制御方法及びプログラム | |
JP2024515248A (ja) | 拡張現実のためのパノプティック・セグメンテーション予測 | |
US20220166917A1 (en) | Information processing apparatus, information processing method, and program | |
JP7186484B1 (ja) | プログラム、情報処理装置、方法及びシステム | |
US20230205198A1 (en) | Information processing apparatus, route generation system, route generating method, and non-transitory recording medium |