JP2022141639A - Information processing apparatus, movable body, remote control system, information processing method, and program - Google Patents
Information processing apparatus, movable body, remote control system, information processing method, and program Download PDFInfo
- Publication number
- JP2022141639A JP2022141639A JP2022096746A JP2022096746A JP2022141639A JP 2022141639 A JP2022141639 A JP 2022141639A JP 2022096746 A JP2022096746 A JP 2022096746A JP 2022096746 A JP2022096746 A JP 2022096746A JP 2022141639 A JP2022141639 A JP 2022141639A
- Authority
- JP
- Japan
- Prior art keywords
- robot
- target point
- unit
- image data
- display terminal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 50
- 238000003672 processing method Methods 0.000 title claims description 7
- 238000004891 communication Methods 0.000 claims abstract description 98
- 230000033001 locomotion Effects 0.000 claims abstract description 81
- 230000005540 biological transmission Effects 0.000 claims description 79
- 238000000034 method Methods 0.000 claims description 73
- 238000003384 imaging method Methods 0.000 claims description 37
- 238000001514 detection method Methods 0.000 claims description 27
- 230000007246 mechanism Effects 0.000 claims description 20
- 230000008859 change Effects 0.000 claims description 16
- 230000005236 sound signal Effects 0.000 claims description 7
- 238000012545 processing Methods 0.000 description 210
- 230000006870 function Effects 0.000 description 69
- 230000008569 process Effects 0.000 description 57
- 238000010586 diagram Methods 0.000 description 33
- 210000003128 head Anatomy 0.000 description 23
- 239000000284 extract Substances 0.000 description 22
- 230000001133 acceleration Effects 0.000 description 9
- 230000002093 peripheral effect Effects 0.000 description 8
- 238000012217 deletion Methods 0.000 description 5
- 230000037430 deletion Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 239000000203 mixture Substances 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000000977 initiatory effect Effects 0.000 description 3
- 238000007792 addition Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000002730 additional effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000001976 improved effect Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- NJPPVKZQTLUDBO-UHFFFAOYSA-N novaluron Chemical compound C1=C(Cl)C(OC(F)(F)C(OC(F)(F)F)F)=CC=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F NJPPVKZQTLUDBO-UHFFFAOYSA-N 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000008093 supporting effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Abstract
Description
本発明は、情報処理装置、移動体、遠隔制御システム、情報処理方法およびプログラムに関する。 The present invention relates to an information processing device, a mobile object, a remote control system, an information processing method, and a program.
遠隔拠点に位置するテレプレゼンス・ロボット（以下、ロボットと称する）を、通信ネットワークを経由して他拠点に位置する表示端末を用いて遠隔操作する遠隔制御システムが知られている。この遠隔制御システムは、ロボットに備えられた撮影装置によって撮影された画像を、表示端末に表示させることで、ロボットが位置する拠点の情報を遠隔地から確認することができる。 A remote control system is known that remotely controls a telepresence robot (hereinafter referred to as a robot) located at a remote site using a display terminal located at another site via a communication network. This remote control system allows the user to remotely confirm information about the base where the robot is located by displaying on the display terminal an image captured by an imaging device provided on the robot.
また、ロボットを用いてコミュニケーションを活性化させる方法も知られている。特許文献１には、人とロボットの配置情報（位置、体の向きおよび視線方向）を検出し、検出された配置情報に基づいて、ロボットの動作を制御する技術が開示されている。
A method of activating communication using a robot is also known.
しかしながら、従来の方法では、遠隔地からロボット（例えば、移動体）を用いて複数の人とコミュニケーションを行う場合、複数の人の位置関係に基づく適切な位置に移動体を移動させることができないため、移動体を用いた円滑なコミュニケーションの妨げとなるという課題があった。 However, in the conventional method, when a robot (for example, a mobile body) is used to communicate with a plurality of people from a remote location, the mobile body cannot be moved to an appropriate position based on the positional relationship of the people. , there is a problem that it interferes with smooth communication using a moving body.
請求項１に係る情報処理装置は、被写体を撮影して画像データを取得する撮影装置を備える移動体の位置を調整する情報処理装置であって、前記撮影装置によって取得された前記画像データを取得する取得手段と、前記取得された画像データに含まれる複数の人物の位置および向きに基づいて、前記移動体の移動先を示す目標点を算出する算出手段と、を備え、前記算出手段によって前記目標点を算出することで、前記移動体を前記目標点へ移動させる。
An information processing apparatus according to
本発明によれば、移動体を用いた円滑なコミュニケーションを実現することができる。 According to the present invention, it is possible to realize smooth communication using a mobile body.
以下、図面を参照しながら、発明を実施するための形態を説明する。なお、図面の説明において同一要素には同一符号を付し、重複する説明は省略する。 BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, embodiments for carrying out the invention will be described with reference to the drawings. In the description of the drawings, the same elements are denoted by the same reference numerals, and redundant description is omitted.
●実施形態●
●システム構成
図１は、実施形態に係る遠隔制御システムのシステム構成の一例を示す図である。図１に示す遠隔制御システムは、表示端末５０を用いて、遠隔拠点に位置するロボット１０を遠隔操作することによって、拠点内の装置の管理や保守作業等、または拠点内に位置する人の位置や動線の確認等を行うことができるシステムである。また、遠隔制御システム１ａは、ロボット１０側の拠点で撮影された画像（映像）と表示端末５０側の拠点で撮影された画像（映像）とを双方向に送受信することによって、遠隔会議を実現することができるシステムである。
●Embodiment●
●System Configuration FIG. 1 is a diagram showing an example of a system configuration of a remote control system according to an embodiment. The remote control system shown in FIG. 1 uses a
遠隔制御システム１ａは、複数の拠点（拠点Ａ，拠点Ｂ、拠点Ｃ）のそれぞれに位置するロボット１０（１０Ａ、１０Ｂ、１０Ｃ、以下、区別する必要のないときは、ロボット１０とする。）、表示端末５０および管理サーバ９０によって構成される。ロボット１０、表示端末５０および管理サーバ９０は、通信ネットワーク９を介して通信可能に接続されている。通信ネットワーク９は、例えば、ＬＡＮ（Local Area Network）、専用線およびインターネット等によって構築される。通信ネットワーク９は、有線だけでなく、Ｗｉ－Ｆｉ（登録商標）等の無線による通信が行われる箇所があってもよい。
The
ロボット１０は、各拠点（拠点Ａ，拠点Ｂ、拠点Ｃ）に設置され、表示端末５０からの遠隔操作によって自律走行する移動体である。ロボット１０は、後述する撮影装置２１によってロボット１０の周囲の被写体を撮像しながら拠点内を移動し、撮影装置２１によって取得された画像を表示端末５０へ送信することで、表示端末５０を用いてロボット１０を操作する操作者に、拠点内の情報（画像）を提供する。ロボット１０は、移動体の一例である。
The
表示端末５０は、各拠点（拠点Ａ，拠点Ｂ、拠点Ｃ）に設置されたロボット１０の遠隔操作を行うＰＣ（Personal Computer）等の端末装置である。表示端末５０は、ロボット１０から送信されてきた画像を表示する。操作者は、表示端末５０に表示された画像を見ながら、ロボット１０の遠隔操作を行うことができる。
The
なお、表示端末５０は、ロボット１０から送信されてきた画像を表示する表示手段を備えたものであればよく、例えば、タブレット端末、携帯電話、スマートフォン、ヘッドマウウントディスプレイ（ＨＭＤ）等のウェアラブル端末、広角スクリーン(円筒、全天球、半天球スクリーン等)を備えた通信端末、ＰＤＡ(Personal Digital Assistant)等であってもよい。
Note that the
管理サーバ９０は、各拠点に位置するロボット１０と表示端末５０との間の通信を管理するためのサーバコンピュータである。管理サーバ９０は、通信ネットワーク９を介してロボット１０および表示端末５０と接続される。なお、管理サーバ９０は、複数台のサーバコンピュータにより構成されてもよく、どのサーバコンピュータに機能を備えさせてもよい。
The
ロボット１０が設置される拠点は、例えば、オフィス、倉庫、工場、学校等である。表示端末５０を用いてロボット１０を操作する操作者は、ロボット１０から送信された拠点内の画像を確認することによって、拠点内の人の位置や動線の確認、拠点内に設置された装置の管理や保守等を行うことができる。また、ロボット１０と表示端末５０は、双方によって撮影された画像を送受信することで双方向のコミュニケーション（遠隔会議）を行うこともできる。
The site where the
なお、図１において、各拠点内に一台のロボット１０が設置されている構成を説明したが、ロボット１０は、一つの拠点に複数台設置されていてもよい。また、表示端末５０は、複数の拠点に配置されたロボット１０のそれぞれと通信する構成であってもよいし、一つの拠点に配置されたロボット１０のみと通信する構成であってもよい。
In addition, in FIG. 1, although the configuration in which one
●ロボット１０の構成
ここで、図２乃至図４を用いて、図１で示したロボット１０の具体的な構成を説明する。図２は、実施形態に係るロボットの構成の概略の一例を示す図である。
Configuration of
図２に示すロボット１０は、ロボット１０を移動させる移動機構１７、ロボットの処理または動作を制御する制御装置３０を備えた筐体１５、表示端末５０から送信された画像を表示させるディスプレイ３０６ａ、ディスプレイ３０６ａを支持する支持部材１３、支持部材１３を回転させる回転軸１２、ロボット１０の周囲の被写体を撮影する撮影装置２１、ロボット周囲の音を集音するためのマイク３０８ａおよびスピーカ３０８ｂを備える。
The
移動機構１７は、ロボット１０を移動させるユニットであり、車輪、走行モータ、走行エンコーダ、ステアリングモータ、ステアリングエンコーダ等で構成される。ロボット１０の移動制御については、既存の技術であるため、詳細な説明は省略するが、ロボット１０は、操作者（表示端末５０）からの走行指示を受信し、移動機構１７は、受信した走行指示に基づいてロボット１０を移動させる。
The moving
以下、移動機構１７は、２つの車輪によって構成される例を説明するが、移動機構１７は、二足歩行の足型や単輪のものであってもよい。また、ロボット１０の形状は、図２に示すような車両型に限られず、例えば、二足歩行の人型、生物を模写した形態、特定のキャラクターを模写した形態等であってもよい。
An example in which the moving
筐体１５は、ロボット１０の胴体部分に位置し、ロボット１０の全体に必要な電源を供給する電源供給ユニットおよびロボット１０の処理もしくは動作を制御する制御装置３０等が内蔵されている。
The
撮影装置２１は、ロボット１０の正面に配置され、ロボット１０の周囲の被写体を撮影して画像データ２００を取得するためのカメラである。撮影装置２１は、ロボット１０の周囲の一部を撮影して平面画像を取得する撮影装置であってもよいし、ロボット１０の周囲を撮影して全天球（３６０°）パノラマ画像を取得する特殊撮影装置であってもよい。また、画像データ２００の画像は、動画であっても静止画であってもよく、動画と静止画の両方であってもよい。さらに、画像データ２００の画像は、画像とともに音データを含んだ映像であってもよい。
The photographing
支持部材１３は、筐体１５に固定され、ディスプレイ３０６ａを支持している。支持部材１３は、回転軸１２によって回転することで、ディスプレイ３０６ａの向きを変更する。支持部材１３は、筐体１５に固定されたポール等であってもよいし、筐体１５に固定された台座であってもよい。また、ディスプレイ３０６ａは、例えば、遠隔会議を行う相手先の表示端末５０で撮影されて取得された画像が表示される。
The
なお、ロボット１０は、上記構成のほかに、ロボット１０の移動以外の付加的動作を可能とする操作手段が設置される構成であってもよい。操作手段は、例えば、物をつかむハンド等である。
In addition to the configuration described above, the
〇ロボット１０の構成の変形例〇
〇変形例１
ここで、図３を用いて、ロボット１０の構成の変形例１について説明する。図３に示すロボット１０ａは、ディスプレイ３０６ａを、支持部材１３を変えて可動アーム１１上に配置している。可動アーム１１は、ディスプレイ３０６ａを特定の方向へ向けるために変形可能な可動部材である。これにより、ロボット１０ａは、回転軸１２によってディスプレイ３０６ａの向きを変えるほか、可動アーム１１を変形させることによって、ディスプレイ３０６ａの向きを変更することができる。
〇Modified example of configuration of
〇変形例２
次に、図４を用いて、ロボット１０の構成の変形例２について説明する。図４に示すロボット１０ｂは、図２に示した構成から移動機構１７を取り除いた構成である。図４に示すロボット１０ｂは、机の上等に置いて固定して利用される。ロボット１０ｂは、伝送端末の一例である。
○
Next, a modified example 2 of the configuration of the
●ハードウエア構成
次に、図５乃至図７を用いて、実施形態におけるロボット１０、表示端末５０および管理サーバ９０のハードウエア構成を説明する。なお、図５乃至図７に示すハードウエア構成は、各実施形態において同様の構成を備えていてもよく、必要に応じて構成要素が追加または削除されてもよい。
●Hardware Configuration Next, hardware configurations of the
〇ロボット１０のハードウエア構成〇
まず、図５を用いて、ロボット１０のハードウエア構成を説明する。図５は、実施形態に係るロボットのハードウエア構成の一例を示す図である。なお、図５に示すハードウエア構成は、必要に応じて構成要素が追加または削除されてもよい。ロボット１０は、ロボット１０の処理または動作を制御する制御装置３０を備える。制御装置３０は、上述のように、ロボット１０の筐体１５の内部に備えられている。なお、制御装置３０は、ロボット１０の筐体１５の外部に設けられてもよく、またはロボット１０とは別の装置として設けられていてもよい。制御装置３０は、情報処理装置の一例である。
◯ Hardware Configuration of
制御装置３０は、ＣＰＵ（Central Processing Unit）３０１、ＲＯＭ（Read Only Memory）３０２、ＲＡＭ（Random Access Memory）３０３、ＨＤＤ（Hard Disk Drive）３０４、ネットワークインターフェース（Ｉ／Ｆ）３０５、入出力Ｉ／Ｆ３０６、メディアＩ／Ｆ３０７、音入出力Ｉ／Ｆ３０８、外部Ｉ／Ｆ３０９およびバスライン３１０を備える。
The
ＣＰＵ３０１は、ロボット１０全体の制御を行う。ＣＰＵ３０１は、ＲＯＭ３０２またはＨＤ（Hard Disk）３０４ａ等に格納された、プログラムもしくはデータをＲＡＭ３０３上に読み出し、処理を実行することで、ロボット１０の各機能を実現する演算装置である。遠隔制御システム１ａは、例えば、本発明に係るプログラムの一部または全てをＣＰＵ３０１で実行することによって、本発明に係る情報処理方法を実現する。
The
ＲＡＭ３０３は、ＣＰＵ３０１のワークエリア等として用いられる揮発性のメモリである。ＲＯＭ３０２は、電源を切ってもプログラムまたはデータを保持することができる不揮発性のメモリである。ＨＤＤ３０４は、ＣＰＵ３０１の制御にしたがってＨＤ３０４ａに対する各種データの読み出し、または書き込みを制御する。ＨＤ３０４ａは、プログラム等の各種データを記憶する。
A
ネットワークＩ／Ｆ３０５は、通信ネットワーク９を経由して表示端末５０と通信（接続）を行う通信インターフェースである。ネットワークＩ／Ｆ３０５は、例えば、有線または無線ＬＡＮ（Local Area Network）等の通信インターフェースである。また、ネットワークＩ／Ｆ３０５は、３Ｇ（3rd Generation）、ＬＴＥ(Long Term Evolution)、４Ｇ（4rd Generation）、５Ｇ（5rd Generation）、Ｚｉｇｂｅｅ（登録商標）、ＢＬＥ（Bluetooth（登録商標）Low Energy）、ミリ波無線通信の通信インターフェースを備えてもよい。
A network I/
入出力Ｉ／Ｆ３０６は、文字、数値、各種指示等を各種外部機器等との間で入出力するためのインターフェースである。入出力Ｉ／Ｆ３０６は、ＬＣＤ（Liquid Crystal Display）等のディスプレイ３０６ａに対するカーソル、メニュー、ウィンドウ、文字または画像等の各種情報の表示を制御する。ディスプレイ３０６ａは、入力手段を備えたタッチパネルディスプレイであってもよい。また、入出力Ｉ／Ｆ３０６は、ディスプレイ３０６ａのほかに、例えば、マウス、キーボード等の入力手段が接続されていてもよい。
The input/output I/
メディアＩ／Ｆ３０７は、ＵＳＢ（Universal Serial Bus）メモリ、メモリカード、光学ディスクまたはフラッシュメモリ等の記録メディア３０７ａに対するデータの読み出しまたは書き込み（記憶）を制御する。音入出力Ｉ／Ｆ３０８は、ＣＰＵ３０１の制御に従ってマイク３０８ａおよびスピーカ３０８ｂとの間で音信号の入出力を処理する回路である。外部Ｉ／Ｆ３０９は、制御装置３０に他の装置を接続するためのインターフェースである。
A media I/
バスライン３１０は、上記各構成要素を電気的に接続するためのアドレスバスやデータバス等であり、アドレス信号、データ信号、および各種制御信号等を伝送する。ＣＰＵ３０１、ＲＯＭ３０２、ＲＡＭ３０３、ＨＤＤ３０４、ネットワークＩ／Ｆ３０５、入出力Ｉ／Ｆ３０６、メディアＩ／Ｆ３０７、音入出力Ｉ／Ｆ３０８および外部Ｉ／Ｆ３０９は、バスライン３１０を介して相互に接続されている。
A
さらに、制御装置３０には、外部Ｉ／Ｆ３０９を介して、移動モータ１０１、アクチュエータ１０２、加速度・方位センサ１０３、ＧＰＳ受信部１０４、電源供給ユニット１０５、各種センサ１０６、タイマ１０７、および上述した撮影装置２１が接続されている。
Further, the
移動モータ１０１は、ＣＰＵ３０１からの命令に基づき、移動機構１７を回転駆動させてロボット１０を地面に沿って移動させる。アクチュエータ１０２は、ＣＰＵ３０１からの命令に基づき、可動アーム１１を変形させる。加速度・方位センサ１０３は、地磁気を検知する電子磁気コンパス、ジャイロコンパスおよび加速度センサ等のセンサである。ＧＰＳ（Global Positioning System）受信部１０４は、ＧＰＳ衛星からＧＰＳ信号を受信する。電源供給ユニット１０５は、ロボット１０の全体に必要な電源を供給するユニットである。各種センサ１０６は、ロボット１０の周囲の情報を検知可能なセンサデバイスである。各種センサ１０６は、例えば、気圧計、温度計、光度計、人感センサ、または照度計等である。タイマ１０７は、時間計測機能を有する計測装置である。タイマ１０７は、コンピュータによるソフトタイマであってもよい。
The
〇表示端末５０のハードウエア構成〇
続いて、図６を用いて、表示端末５０のハードウエア構成について説明する。図６は、実施形態に係る表示端末のハードウエア構成の一例を示す図である。表示端末５０は、ＣＰＵ５０１、ＲＯＭ５０２、ＲＡＭ５０３、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）５０４、撮像素子Ｉ／Ｆ５０５、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサ５０５ａ、加速度・方位センサ５０６、メディアＩ／Ｆ５０７およびＧＰＳ受信部５０８を備えている。
◯ Hardware Configuration of
ＣＰＵ５０１は、表示端末５０全体の動作を制御する。ＣＰＵ５０１は、ＲＯＭ５０２等に格納されたプログラムまたはデータをＲＡＭ５０３上に読み出し、処理を実行することで、表示端末５０の各機能を実現する演算装置である。遠隔制御システム１ａは、例えば、本発明に係るプログラムの一部または全てをＣＰＵ５０１で実行することによって、本発明に係る情報処理方法を実現する。
The
ＲＯＭ５０２は、ＩＰＬ(Initial Program Loader)等のＣＰＵ５０１の駆動に用いられるプログラムを記憶する。ＲＡＭ５０３は、ＣＰＵ５０１のワークエリアとして使用される。ＥＥＰＲＯＭ５０４は、ＣＰＵ５０１の制御にしたがって、表示端末用プログラム等の各種データの読み出しまたは書き込みを行う。
A
ＣＭＯＳセンサ５０５ａは、ＣＰＵ５０１の制御に従って被写体（主に自画像）を撮像し画像データを得る。撮像素子Ｉ／Ｆ５０５は、ＣＭＯＳセンサ５０５ａの駆動を制御する回路である。加速度・方位センサ５０６は、地磁気を検知する電子磁気コンパス、ジャイロコンパスおよび加速度センサ等の各種センサである。メディアＩ／Ｆ５０７は、フラッシュメモリ等の記録メディア５０７ａに対するデータの読み出しまたは書き込み（記憶）を制御する。ＧＰＳ受信部５０８は、ＧＰＳ衛星からＧＰＳ信号を受信する。
Under the control of the
また、表示端末５０は、遠距離通信回路５１０、遠距離通信回路５１０のアンテナ５１０ａ、音入出力Ｉ／Ｆ５１１、マイク５１１ａ、スピーカ５１１ｂ、ディスプレイ５１２、外部機器接続Ｉ／Ｆ５１３、近距離通信回路５１４、近距離通信回路５１４のアンテナ５１４ａ、タッチパネル５１５、タイマ５１６および視線検出装置５１７を備えている。
The
遠距離通信回路５１０は、通信ネットワーク９を介して、他の機器と通信する回路である。マイク５１１ａは、音声を入力する内蔵型の集音手段の一種である。音入出力Ｉ／Ｆ５１１は、ＣＰＵ５０１の制御に従ってマイク５１１ａおよびスピーカ５１１ｂとの間で音信号の入出力を処理する回路である。
ディスプレイ５１２は、被写体の画像や各種アイコン等を表示する液晶や有機ＥＬ等の表示手段の一種である。外部機器接続Ｉ／Ｆ５１３は、各種の外部機器を接続するためのインターフェースである。近距離通信回路５１４は、Ｗｉ－Ｆｉ、ＮＦＣ、またはＢｌｕｅｔｏｏｔｈ等の通信回路である。タッチパネル５１５は、利用者がディスプレイ５１２を押下することで、表示端末５０を操作する入力手段の一種である。タイマ５１６は、時間計測機能を有する計測装置である。タイマ５１６は、コンピュータによるソフトタイマであってもよい。視線検出装置５１７は、ユーザの視線の位置を視線情報として連続的に検知する。視線検出装置５１７は、例えば、ＣＭＯＳセンサ５０５ａで撮像した画像を分析する画像処理装置を含む。視線検出装置５１７は、例えば、基準点を目頭とし、目頭と虹彩との位置関係から視線の方向を検知する。
The
また、表示端末５０は、バスライン５０９を備えている。バスライン５０９は、ＣＰＵ５０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
The
〇管理サーバ９０のハードウエア構成〇
続いて、図７を用いて、管理サーバ９０のハードウエア構成について説明する。図７は、実施形態に係る管理サーバのハードウエア構成の一例を示す図である。管理サーバ９０は、一般的なコンピュータによって構築されている。管理サーバ９０は、ＣＰＵ９０１、ＲＯＭ９０２、ＲＡＭ９０３、ＨＤＤ９０５、メディアＩ／Ｆ９０７、ディスプレイ９０８、ネットワークＩ／Ｆ９０９、キーボード９１１、マウス９１２、ＣＤ－ＲＷ（Compact Disc-ReWritable）ドライブ９１４、タイマ９１５およびバスライン９１０を備えている。なお、管理サーバ９０は、サーバとして機能するため、キーボード９１１やマウス９１２等の入力装置や、ディスプレイ９０８等の出力装置を備えていなくてもよい。
◯ Hardware Configuration of
ＣＰＵ９０１は、管理サーバ９０全体の動作を制御する。ＲＯＭ９０２は、ＣＰＵ９０１の駆動に用いられるプログラムを記憶する。ＲＡＭ９０３は、ＣＰＵ９０１のワークエリアとして使用される。ＨＤＤ９０５は、ＣＰＵ９０１の制御にしたがってＨＤ９０４に対する各種データの読み出し、または書き込みを制御する。ＨＤ９０４は、プログラム等の各種データを記憶する。メディアＩ／Ｆ９０７は、フラッシュメモリ等の記録メディア９０６に対するデータの読み出し、または書き込み（記憶）を制御する。
The
ディスプレイ９０８は、カーソル、メニュー、ウィンドウ、文字、または画像等の各種情報を表示する。ネットワークＩ／Ｆ９０９は、通信ネットワーク９を利用してデータ通信をするためのインターフェースである。キーボード９１１は、文字、数値、各種指示等の入力のための複数のキーを備えた入力手段の一種である。マウス９１２は、各種指示の選択や実行、処理対象の選択、カーソルの移動等を行う入力手段の一種である。ＣＤ－ＲＷドライブ９１４は、着脱可能な記録媒体の一例としてのＣＤ－ＲＷ９１３に対する各種データの読み出し等を制御する。タイマ９１５は、時間計測機能を有する計測装置である。タイマ９１５は、コンピュータによるソフトタイマであってもよい。
A
また、管理サーバ９０は、バスライン９１０を備えている。バスライン９１０は、図７に示すＣＰＵ９０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
The
●第１の実施形態●
続いて、図８乃至図３０を用いて、第１の実施形態に係る遠隔制御システムの構成について説明する。
●First Embodiment●
Next, the configuration of the remote control system according to the first embodiment will be described with reference to FIGS. 8 to 30. FIG.
●機能構成
まず、図８を用いて、第１の実施形態に係る遠隔制御システムの機能構成について説明する。図８は、第１の実施形態に係る遠隔制御システムの機能構成の一例を示す図である。
●Functional Configuration First, the functional configuration of the remote control system according to the first embodiment will be described with reference to FIG. FIG. 8 is a diagram illustrating an example of the functional configuration of the remote control system according to the first embodiment;
〇制御装置３０の機能構成〇
まず、図８を用いて、ロボット１０の処理または動作を制御する制御装置３０の機能構成について説明する。制御装置３０によって実現される機能は、送受信部３１、操作入力受付部３２、表示制御部３３、判断部３４、撮影指示部３５、画像取得部３６、移動制御部３７、向き調整部３８、位置特定部３９、画像処理部４１、注目点算出部４２、目標点算出部４３、周辺情報検出部４４、存在通知部４５、記憶・読出部４６および記憶部３０００を含む。
◯ Functional Configuration of
送受信部３１は、通信ネットワーク９を介して、他の装置との間で各種データまたは情報の送受信を行う機能である。送受信部３１は、例えば、画像取得部３６によって取得された画像データ２００を、通信ネットワーク９を介して、表示端末５０へ送信する。また、送受信部３１は、例えば、通信ネットワーク９を介して、表示端末５０から送信されてきた要求コマンド（要求情報）を受信する。さらに、送受信部３１は、例えば、表示端末５０によって取得された画像である画像データ２５０を、通信ネットワーク９を介して、表示端末５０から受信する。また、送受信部３１は、目標点算出部４３によって算出された目標点において撮影装置２１によって取得された画像データ２００を、通信ネットワーク９を介して、表示端末５０へ送信する。送受信部３１は、主に、図５に示したＣＰＵ３０１の処理、およびネットワークＩ／Ｆ３０５によって実現される。送受信部３１は、第１の送信手段の一例である。
The transmission/
操作入力受付部３２は、ディスプレイ３０６ａ等の入力手段に対する操作入力を受け付ける機能である。操作入力受付部３２は、主に、図５に示したＣＰＵ３０１の処理、および入出力Ｉ／Ｆ３０６によって実現される。表示制御部３３は、ディスプレイ３０６ａに各種画面を表示させる機能である。表示制御部３３は、主に、図５に示したＣＰＵ３０１の処理、および入出力Ｉ／Ｆ３０６によって実現される。
The operation
判断部３４は、表示端末５０から送信されてきた要求コマンドに応じてロボット１０が実行する処理または動作を判断する機能である。判断部３４は、主に、図５に示したＣＰＵ３０１の処理によって実現される。
The
撮影指示部３５は、撮影装置２１に対する撮影処理を指示する機能である。撮影指示部３５は、例えば、撮影装置２１による撮影を指示するための指示情報を、撮影装置２１へ送信する。撮影指示部３５は、主に、図５に示したＣＰＵ３０１の処理、および外部Ｉ／Ｆ３０９によって実現される。
The photographing
画像取得部３６は、撮影装置２１によって取得された画像を取得する機能である。画像取得部３６は、例えば、撮影装置２１が被写体を撮影して取得した画像である画像データ２００を、撮影装置２１から取得する。画像取得部３６は、主に、図５に示したＣＰＵ３０１の処理、および外部Ｉ／Ｆ３０９によって実現される。画像取得部３６は、取得手段の一例である。
The
移動制御部３７は、移動機構１７を駆動させることによって、ロボット１０の移動を制御する機能である。移動制御部３７は、例えば、表示端末５０から送信されてきた要求コマンドに応じて移動機構１７の駆動を制御することで、ロボット１０を移動させる。また、移動制御部３７は、例えば、目標点算出部４３によって算出された目標点へロボット１０を移動させるように、移動機構１７の駆動を制御する。移動制御部３７は、主に、図５に示したＣＰＵ３０１の処理、および外部Ｉ／Ｆ３０９によって実現される。移動制御部３７は、移動制御手段の一例である。
The
向き調整部３８は、ロボット１０の向きを変更する機能である。向き調整部３８は、例えば、目標点算出部４３によって算出されたロボット１０の移動先のロボット１０の向きに応じて、移動機構１７または回転軸１２の駆動を制御することで、ロボット１０の向きを変更する。向き調整部３８は、主に、図５に示したＣＰＵ３０１の処理、および外部Ｉ／Ｆ３０９によって実現される。
The
位置特定部３９は、ロボット１０の現在位置を特定する機能である。位置特定部３９は、例えば、加速度・方位センサ１０３またはＧＰＳ受信部１０４によって検出される各方位（方位角、磁北）の方向等の検出結果に基づいて、ロボット１０の現在位置を特定する。各方位の方向等の検出結果は、ロボット１０の所定時点における位置および向きを示す位置情報である。位置特定部３９は、主に、図５に示したＣＰＵ３０１の処理、および外部Ｉ／Ｆ３０９によって実現される。位置特定部３９は、位置検出手段の一例である。
The
画像処理部４１は、画像取得部３６によって取得された画像データ２００に対する処理を行う機能である。画像処理部４１は、例えば、画像取得部３６によって取得された画像データ２００に含まれる人物の頭の画像を抽出する。また、画像処理部４１は、例えば、画像取得部３６によって取得された人物の目と鼻の画像を抽出する。画像処理部４１は、主に、図５に示したＣＰＵ３０１の処理によって実現される。
The image processing unit 41 has a function of processing the
注目点算出部４２は、画像処理部４１によって処理された画像データに含まれる複数の人物の位置および向きに基づいて、複数の人が注目する注目点を特定する機能である。注目点は、ロボット１０が設置された拠点において複数の人が注目している位置であり、例えば、ロボット１０の周囲の複数の人が向いている方向の交点である。注目点は、例えば、遠隔会議において、ロボット１０側の拠点での複数の参加者が向いている方向、すなわち、ある時点における話題の中心位置である。注目点算出部４２は、主に、図５に示したＣＰＵ３０１の処理によって実現される。注目点算出部４２は、算出手段の一例である。また、注目点算出部４２は、推定手段の一例である。さらに、注目点算出部４２は、注目点特定手段の一例である。
The point-of-
目標点算出部４３は、注目点算出部４２によって算出された注目点に基づいて、ロボット１０の移動先となる目標点を特定する機能である。目標点算出部４３によって特定される目標点は、ロボット１０の移動先の目標位置Ｇを示す位置情報（座標情報）と、ロボット１０の移動先のロボット１０の向きを示す方向情報を含む。目標点算出部４３は、主に、図５に示したＣＰＵ３０１の処理によって実現される。目標点算出部４３は、算出手段の一例である。また、目標点算出部４３は、目標点特定手段の一例である。
The target
周辺情報検出部４４は、撮影装置２１によって取得された画像データ２００または各種センサ１０６によって検出された検出結果等を用いて、ロボット１０の周囲の情報を検出する機能である。周辺情報検出部４４は、主に、図５に示したＣＰＵ３０１の処理、および外部Ｉ／Ｆ３０９によって実現される。
The surrounding
存在通知部４５は、予め定められた条件に基づいて、ロボット１０の存在を通知する機能である。存在通知部４５は、例えば、位置特定部３９によって検出された現在位置と、目標点算出部４３によって算出された目標点との距離が閾値以上または閾値より長い場合、ロボット１０の存在を通知する通知情報を出力する。通知情報は、例えば、音信号であり、存在通知部４５は、スピーカ３０８ｂから音信号を出力する。また、通知情報は、例えば、ロボット１０の所定のジェスチャーであり、存在通知部４５は、移動機構１７、もしくは可動アーム１１または回転軸１２を駆動させる。なお、閾値は、予め記憶部３０００に記憶されている。存在通知部４５は、主に、図５に示したＣＰＵ３０１の処理、および外部Ｉ／Ｆ３０９によって実現される。存在通知部４５は、存在通知手段の一例である。
The
記憶・読出部４６は、記憶部３０００に各種データを記憶させ、または記憶部３０００から各種データを読み出す機能である。記憶・読出部４６は、主に、図５に示したＣＰＵ３０１の処理によって実現される。記憶部３０００は、主に、図５に示したＲＯＭ３０２、ＨＤ３０４ａおよび記録メディア３０７ａによって実現される。
The storage/
また、記憶部３０００は、画像取得部３６によって撮影された画像データ２００、および表示端末５０から送信されてきた画像データ２５０を記憶している。さらに、記憶部３０００は、コマンドテーブル３００１および条件テーブル３００２を記憶している。なお、記憶部３０００に記憶されている画像データ２００は、画像取得部３６によって取得されてから所定の時間経過した場合に削除される構成であってもよいし、表示端末５０へ送信されたデータが削除される構成であってもよい。同様に、記憶部３０００に記憶されている画像データ２５０は、表示端末５０から送信されてから所定の時間経過した場合に削
除される構成であってもよい。
The
〇コマンドテーブル３００１
ここで、記憶部３０００に記憶されたデータの詳細について説明する。図９は、第１の実施形態に係るコマンドテーブルの一例を示す図である。図９に示すコマンドテーブル３００１は、表示端末５０から送信されてきた要求コマンドに基づいてロボット１０に実行される処理または動作を特定するためのものである。コマンドテーブル３００１は、要求コマンドごとに、それぞれの要求コマンドに対応する処理内容を関連づけて記憶している。制御装置３０の判断部３４は、コマンドテーブル３００１を用いて、表示端末５０から送信されてきた要求コマンドに対応する処理を特定する。
O command table 3001
Details of the data stored in the
例えば、コマンドテーブル３００１において、要求コマンド「ＦＯＲＷＡＲＤ」に対応する処理は、ロボット１０を一定量前進させる処理である。なお、それぞれのコマンドに対応する処理の内容は、これに限られず、表示端末５０を用いてロボット１０を操作する操作者またはロボット１０の管理者等によって適宜修正・変更可能である。
For example, in the command table 3001, the process corresponding to the request command "FORWARD" is the process of moving the
〇条件テーブル３００２
図１０は、第１の実施形態に係る撮影パラメータの一例を示す図である。図１０に示す条件テーブル３００２は、注目点に対する位置調整処理を開始するための条件を示したものである。条件テーブル３００２は、拠点名で示される拠点ごとに、条件情報を関連づけて記憶している。条件情報は、一つ前の位置調整処理を行ってからの経過時間、人との距離、および位置調整処理の調整周期が含まれる。なお、条件情報に含まれる項目は、これに限られず、拠点ごとに一つの項目の条件が含まれていてもよいし、拠点ごとに複数の項目の条件が含まれていてもよい。
O condition table 3002
FIG. 10 is a diagram showing an example of imaging parameters according to the first embodiment. A condition table 3002 shown in FIG. 10 indicates conditions for starting the position adjustment process for the point of interest. The condition table 3002 stores condition information in association with each site indicated by the site name. The condition information includes the elapsed time since the previous position adjustment process was performed, the distance to the person, and the adjustment cycle of the position adjustment process. Note that the items included in the condition information are not limited to the above, and each site may include one item of conditions, or each site may include multiple items of conditions.
条件テーブル３００２は、拠点ごとに条件情報を記憶することで、ロボット１０が位置する拠点ごとに位置調整処理を行う頻度や条件を異ならせることができる。なお、条件テーブル３００２は、拠点ごとに条件情報がそれぞれ関連づけられている例を説明したが、ロボット１０ごとに条件情報を関連づけて記憶していてもよい。
The condition table 3002 stores condition information for each base, so that the frequency and conditions for position adjustment processing can be varied for each base where the
〇表示端末５０の機能構成〇
次に、図８を用いて、表示端末５０の機能構成について説明する。表示端末５０により実現される機能は、送受信部５１、操作入力受付部５２、表示制御部５３、判断部５４、要求コマンド生成部５５、視線検出部５６、記憶・読出部５７および記憶部５０００を含む。表示端末５０は、ロボット１０を遠隔操作するための専用のアプリケーションプログラムをインストールしている。表示端末５０は、例えば、インストールされたアプリケーションプログラムをＣＰＵ５０１が実行することによって各機能を実現する。
* Functional configuration of
送受信部５１は、通信ネットワーク９を介して、他の装置との間で各種データまたは情報の送受信を行う機能である。送受信部５１は、例えば、ロボット１０が備える撮影装置２１によって取得された画像データ２００を、通信ネットワーク９を介して、ロボット１０から受信する。また、送受信部５１は、例えば、ＣＭＯＳセンサ５０５ａによって撮影されて取得された画像である画像データ２５０を、通信ネットワーク９を介して、ロボット１０へ送信する。送受信部５１は、主に、図６に示したＣＰＵ５０１の処理、および遠距離通信回路５１０によって実現される。送受信部５１は、受信手段の一例である。
The transmission/
操作入力受付部５２は、表示端末５０への各種選択または操作入力を受け付ける機能である。操作入力受付部５２は、主に、図６に示したＣＰＵ５０１の処理、およびタッチパネル５１５によって実現される。なお、タッチパネル５１５は、ディスプレイ５１２と共用であってもよい。また、操作入力受付部５２は、タッチパネル以外の入力手段によって実現されてもよい。
The operation
表示制御部５３は、表示端末５０のディスプレイ５１２に各種画像を表示させる機能である。表示制御部５３は、例えば、送受信部５１によって受信された画像データ２００を、表示手段の一例であるディスプレイ５１２に表示させる。表示制御部５３は、主に、図６に示したＣＰＵ５０１の処理、およびディスプレイ５１２によって実現される。表示制御部５３は、表示制御手段の一例である。
The
判断部５４は、ロボット１０へ要求する特定の処理を判断する機能である。判断部５４は、例えば、操作入力受付部５２によって受け付けられた操作入力に基づいて、ロボット１０へ要求する特定の処理を判断する。判断部５４は、主に、図６に示したＣＰＵ３０１の処理によって実現される。
The
要求コマンド生成部５５は、ロボット１０に特定の処理を実行されるための実行要求である要求コマンドを生成する機能である。要求コマンド生成部５５は、主に、図６に示したＣＰＵ５０１の処理によって実現される。
The
視線検出部５６は、表示端末５０を用いてロボット１０を操作する操作者の視線を検出する機能である。視線検出部５６は、主に、図６に示したＣＰＵ５０１の処理、および視線検出装置５１７によって実現される。
The line-of-
記憶・読出部５７は、記憶部５０００に各種データを記憶させ、または記憶部５０００から各種データを読み出す機能である。記憶・読出部５７は、主に、図６に示したＣＰＵ５０１の処理によって実現される。記憶部５０００は、主に、図６に示したＲＯＭ５０２、ＥＥＰＲＯＭ５０４および記録メディア５０７によって実現される。
The storage/
また、記憶部５０００は、送受信部５１によって受信された画像データ２００、およびＣＭＯＳセンサ５０５ａによって撮影されて取得された画像データ２５０を記憶している。さらに、記憶部５０００は、ユーザコマンドテーブル５００１を記憶している。なお、記憶部５０００に記憶されている画像データ２００は、送受信部５１によって受信されてから所定の時間経過した場合に削除される構成であってもよいし、操作入力受付部５２によって受け付けられた、ユーザからの削除命令に基づいて削除される構成であってもよい。同様に、記憶部５０００に記憶されている画像データ２５０は、ＣＭＯＳセンサ５０５ａによって取得されてから所定の時間経過した場合に削除される構成であってもよいし、操作入力受付部５２によって受け付けられた、ユーザからの削除命令に基づいて削除される構成であってもよい。
The
〇ユーザコマンドテーブル５００１
図１１は、第１の実施形態に係るユーザコマンドテーブルの一例を示す図である。図１１に示すユーザコマンドテーブル５００１は、操作入力受付部５２によって受け付けられた操作入力に基づいて、ロボット１０に対して要求する処理または動作の内容を特定するために用いられるものである。ユーザコマンドテーブル５００１は、操作入力受付部５２によって受け付けられた操作入力に対応する入力コマンドに、対応するコマンドの内容を関連づけて記憶している。
o User command table 5001
FIG. 11 is a diagram showing an example of a user command table according to the first embodiment. The user command table 5001 shown in FIG. 11 is used to specify the content of the processing or motion requested to the
〇管理サーバ９０の機能構成〇
次に、図８を用いて、管理サーバ９０の機能構成について説明する。管理サーバ９０によって実現される機能は、送受信部９１、認証部９２、判断部９３、作成部９４、記憶・読出部９５および記憶部９０００を含む。
* Functional Configuration of
送受信部９１は、通信ネットワーク９を介して、他の装置との間で各種データまたは情報の送受信を行う機能である。送受信部９１は、主に、図７に示したＣＰＵ９０１の処理、およびネットワークＩ／Ｆ９０９によって実現される。
The transmission/
認証部９２は、送受信部９１によって受信されたログイン要求に基づいて、ログイン要求元の認証を行う機能である。認証部９２は、例えば、送受信部９１によって受信されたログイン要求に含まれている端末ＩＤおよびパスワードを検索キーとし、記憶部９０００の認証管理ＤＢ９００１を検索する。そして、認証部９２は、認証管理ＤＢ９００１に同一の組の端末ＩＤおよびパスワードが管理されているかを判断することによって端末認証を行う。認証部９２は、主に、図７に示したＣＰＵ９０１の処理によって実現される。
The
判断部９３は、後述するセッション管理テーブルに、表示端末５０の端末ＩＤが管理されているかを判断する機能である。判断部９３は、主に、図７に示したＣＰＵ９０１の処理によって実現される。
The
作成部９４は、通信に使用されるセッションＩＤを作成する機能である。作成部９４は、主に、図７に示したＣＰＵ９０１の処理によって実現される。
The
記憶・読出部９５は、記憶部９０００に各種データを記憶させ、または記憶部９０００から各種データを読み出す機能である。記憶・読出部９５は、主に、図７に示したＣＰＵ９０１の処理によって実現される。記憶部９０００は、主に、図７に示したＲＯＭ９０２、ＨＤ９０４または記録メディア９０６によって実現される。また、この記憶部９０００には、後述する図１５に示す宛先リスト画面５００における宛先リスト枠データ（図１５に示すアイコン、「ｒＡ０１」、「ロボット１０Ａ－１」等の宛先リスト内容情報は含まれない）が記憶されている。
The storage/
〇認証管理テーブル
記憶部９０００には、図１２（ａ）に示すような認証管理テーブルによって構成されている認証管理ＤＢ９００１が構築されている。この認証管理テーブルには、管理サーバ９０によって管理される全ての表示端末５０の各端末ＩＤに対して、各パスワードが関連づけられた関連情報が管理されている。例えば、図１２（ａ）に示されている認証管理テーブルでは、表示端末５０Ａの端末ＩＤは「ｏ０１」で、パスワードは「ａａａａ」であることが表されている。
〇Authentication Management Table In the
〇端末管理テーブル
また、記憶部９０００には、図１２（ｂ）に示すような端末管理テーブルによって構成されている端末管理ＤＢ９００２が構築されている。この端末管理テーブルには、各端末（ロボット１０および表示端末５０）の端末ＩＤごとに、各端末の端末名、端末のＩＰアドレス、各端末の現在の稼動状態を示す稼動状態情報、および端末がロボット１０である場合のロボット１０が位置する拠点を示す拠点名が関連づけられた関連情報が管理されている。
O Terminal Management Table In addition, in the
例えば、図１２（ｂ）に示す端末管理テーブルにおいて、端末ＩＤが「ｏ０１」の表示端末５０は、端末名が「表示端末５０Ａ」で、この表示端末５０のＩＰアドレスが「１．２．１．３」で、稼動状態が「オンライン（通話可能）」であることが示されている。また、端末ＩＤが「ｒＡ０１」のロボット１０は、端末名が「ロボット１０Ａ－１」で、このロボット１０のＩＰアドレスが「１．３．２．３」で、稼動状態が「オンライン（通話可能）」で、拠点名が「拠点Ａ」であることが示されている。
For example, in the terminal management table shown in FIG. 12B, the
〇宛先リスト管理テーブル
さらに、記憶部９０００には、図１３（ａ）に示すような宛先リスト管理テーブルによって構成されている宛先リスト管理ＤＢ９００３が構築されている。この宛先リスト管理テーブルには、ロボット１０の遠隔制御を行うための通信の開始を要求する開始端末としての表示端末５０の端末ＩＤごとに、宛先となるロボット１０の候補として登録されている宛先候補のロボット１０の端末ＩＤが関連づけられた関連情報が管理されている。
Destination List Management Table Further, in the
例えば、図１３（ａ）に示す宛先リスト管理テーブルにおいて、端末ＩＤが「ｏ０１ａ」である開始端末（表示端末５０Ａ）から通信の開始を要求することができる宛先候補は、端末ＩＤが「ｒＡ０１」のロボット１０Ａ－１、端末ＩＤが「ｒＡ０２」のロボット１０Ａ－２、端末ＩＤが「ｒＣ０１」のロボット１０Ｃ－１等であることが示されている。なお、宛先候補のロボット１０の端末ＩＤは、任意の開始端末（表示端末５０）から管理サーバ９０に対する追加または削除の要請により、追加または削除されることで更新される。
For example, in the destination list management table shown in FIG. 13A, the destination candidate whose terminal ID is "rA01" can be requested to start communication from the start terminal (display terminal 50A) whose terminal ID is "o01a".
〇セッション管理テーブル
さらに、記憶部９０００には、図１３（ｂ）に示すようなセッション管理テーブルによって構成されているセッション管理ＤＢ９００４が構築されている。このセッション管理テーブルには、ロボット１０と表示端末５０との間で通信する際に利用されるセッションを識別するためのセッションＩＤごとに、このセッションＩＤによって特定されるセッションを使用中のロボット１０および表示端末５０の端末ＩＤが関連づけられた関連情報が管理されている。例えば、図１３（ｂ）に示すセッション管理テーブルにおいて、セッションＩＤ「ｓｅ１」を用いて実行されたセッションを使用中の端末は、端末ＩＤが「ｏ０１」の表示端末５０Ａ、端末ＩＤが「ｒＡ０１」のロボット１０Ａ－１、および端末ＩＤが「ｒＣ０１」のロボット１０Ｃ－１であることが示されている。
◯ Session Management Table Further, in the
●第１の実施形態の処理または動作
〇セッション確立処理〇
続いて、図１４乃至図３０を用いて、第１の実施形態に係る遠隔制御システムの動作または処理について説明する。なお、以降の説明において、ロボット１０が備える制御装置３０によって実行される処理は、ロボット１０によって実行される処理として説明する。
● Processing or operation of the first embodiment ◯ Session establishment processing ◯ Subsequently, the operation or processing of the remote control system according to the first embodiment will be described with reference to Figs. 14 to 30 . In the following description, processing executed by the
まず、図１４乃至図１６を用いて、ロボット１０と表示端末５０との間における通信セッションの確立処理について説明する。図１４は、ロボットと表示端末との間でデータの送受信を開始する準備段階の処理の一例を示すシーケンス図である。ここでは、開始端末としての表示端末５０Ａと、宛先端末としてのロボット１０Ａ－１との間で、データの送受信を開始する前の準備段階における各管理情報の送受信処理について説明する。
First, processing for establishing a communication session between the
まず、ステップＳ１１において、表示端末５０Ａの送受信部５１は、通信ネットワーク９を介して、管理サーバ９０へログイン要求を送信する。具体的には、表示端末５０Ａのユーザは、表示端末５０Ａにおける電源スイッチをＯＮにすると、電源がＯＮになる。そして、表示端末５０Ａの送受信部５１は、上記電源ＯＮを契機とし、送受信部５１から通信ネットワーク９を介して、管理サーバ９０へ、ログイン要求を送信する。これにより、管理サーバ９０の送受信部９１は、表示端末５０Ａから送信されたログイン要求を受信する。
First, in step S<b>11 , the transmitter/
このログイン要求には、表示端末５０Ａとしての開始端末を識別するための端末ＩＤ、およびパスワードが含まれている。これら端末ＩＤおよびパスワードは、記憶・読出部５７によって記憶部５０００から読み出されて、送受信部５１に送られたデータである。なお、これら端末ＩＤおよびパスワードは、これに限るものではなく、ユーザがタッチパネル５１５等の入力手段によって入力した端末ＩＤやパスワードが送信されてもよい。また、表示端末５０Ａに接続されたＳＩＭ（Subscriber Identity Module Card）カードやＳＤカード等の記憶媒体から読み出された端末ＩＤやパスワードが送信されてもよい。
This login request includes a terminal ID for identifying the starting terminal as the
また、表示端末５０Ａから管理サーバ９０へログイン要求が送信される際は、受信側である管理サーバ９０は、送信側である表示端末５０ＡのＩＰアドレスを取得することができる。また、ログイン要求の開始は、必ずしも電源スイッチをＯＮにすることを契機とする必要はなく、ユーザによるタッチパネル５１５等の入力手段への入力に応じて送信してもよい。
Also, when a login request is transmitted from the
次に、ステップＳ１２において、管理サーバ９０の認証部９２は、送受信部９１を介して受信したログイン要求に含まれている端末ＩＤおよびパスワードを検索キーとして、記憶部９０００の認証管理テーブル（図１２（ａ）参照）を検索し、認証管理ＤＢ９００１に同一の端末ＩＤおよび同一のパスワードが管理されているかを判断することによって認証を行う。以下、表示端末５０Ａが認証部９２によって正当な利用権限を有する端末であると判断された場合について説明する。
Next, in step S12, the
ステップＳ１３において、記憶・読出部９５は、認証部９２によって同一の端末ＩＤ及び同一のパスワードが管理されていることにより、正当な利用権限を有する開始端末からのログイン要求であると判断された場合、記憶部９０００から宛先リスト枠データを読み出す。
In step S13, when the storage/
ステップＳ１４において、送受信部９１は、認証部９２によって得られた認証結果が示された認証結果情報を、通信ネットワーク９を介して、上記ログイン要求してきた表示端末５０へ送信する。これにより、表示端末５０Ａの送受信部５１は、認証結果情報を受信する。この認証結果情報には、上記ステップＳ１３によって読み出された宛先リスト枠データが含まれている。そして、ステップＳ１５において、表示端末５０Ａの記憶・読出部５７は、上記ステップＳ１４によって受信された宛先リスト枠データを、記憶部５０００に記憶させる。
In step S<b>14 , the transmitting/receiving
次に、ステップＳ１６において、表示端末５０Ａの送受信部５１は、正当な利用権限を有する端末であると判断された認証結果が示された認証結果情報を受信した場合、通信ネットワーク９を介して管理サーバ９０へ、宛先リストの内容を要求する。これにより、管理サーバ９０の送受信部９１は、宛先リストの内容の要求を受信する。この要求には、表示端末５０Ａの端末ＩＤが含まれている。
Next, in step S16, the transmitting/receiving
次に、ステップＳ１７において、管理サーバ９０の記憶・読出部９５は、上記ステップＳ１６によって受信された表示端末５０Ａの端末ＩＤ「ｏ０１」を検索キーとして、宛先リスト管理テーブル（図１３（ａ））参照を検索し、対応する全ての宛先候補の端末ＩＤを読み出す。さらに、ステップＳ１８において、記憶・読出部９５は、ステップＳ１７によって読み出した各端末ＩＤを検索キーとして、端末管理テーブル（図１２（ｂ）参照）を検索し、対応する宛先候補の端末名、稼動状態情報および拠点名を読み出す。
Next, in step S17, the storage/
次に、ステップＳ１９において、管理サーバ９０の送受信部９１は、通信ネットワーク９を介して表示端末５０Ａへ、宛先リスト内容情報を送信する。これにより、表示端末５０Ａの送受信部５１は、宛先リスト内容情報を受信する。この宛先リスト内容情報には、上記ステップＳ１７，Ｓ１８によって読み出された、宛先候補の端末ＩＤ、宛先候補の端末名、稼動状態情報および拠点名が含まれている。
Next, in step S19, the transmission/
次に、ステップＳ２０において、表示端末５０Ａの表示制御部５３は、上記ステップＳ１５によって記憶部５０００に記憶された宛先リスト枠データ、および上記ステップＳ１９によって受信された宛先リスト内容情報を用いて作成された宛先リスト画面５００を、ディスプレイ５１２に表示させる。
Next, in step S20, the
ディスプレイ５１２には、図１５に示すような宛先リスト画面５００が表示される。この宛先リスト画面５００には、宛先候補ごとに、宛先候補の端末（ロボット１０）の稼動状態を示したアイコン、宛先候補の端末の端末ＩＤ、宛先候補の宛先名、および宛先候補の端末が位置する拠点名が表されている。なお、上記ステップＳ１９によって、管理サーバ９から送られてきた「端末名」は、図１５に示す宛先リスト画面５００では、「宛先名」として表示される。
A
続いて、図１６を用いて、表示端末５０における宛先候補の選択から画像データの送受信を開始するまでの処理を説明する。図１６は、宛先候補の選択から画像データの送受信を開始するまでの処理を示したシーケンス図である。
Next, processing from selection of a destination candidate on the
まず、ステップＳ３１において、表示端末５０Ａの操作入力受付部５２は、ユーザから図１５に示した宛先リスト画面の宛先候補（ここでは、ロボット１０Ａ－１）の選択を受け付ける。そして、ステップＳ３２において、表示端末５０Ａの送受信部５１は、管理サーバ９０に対して、画像データ等の送受信を開始したい旨を示す開始要求を送信する。これにより、管理サーバ９０の送受信部９１は、開始要求を受信する。また、開始要求には、表示端末５０Ａの端末ＩＤ、および宛先候補の端末の端末ＩＤが含まれている。
First, in step S31, the operation
次に、ステップＳ３３において、管理サーバ９０の判断部９３は、上記ステップＳ３２によって受信された表示端末５０Ａの端末ＩＤがセッション管理テーブル（図１３（ｂ）参照）で管理されているか否かを判断する。ここでは、宛先端末（ロボット１０Ａ－１）の端末ＩＤが管理されていない場合について、以下説明を続ける。
Next, in step S33, the
ステップＳ３４において、宛先候補の端末の端末ＩＤが管理されていない場合、管理サーバ９０の作成部９４は、新たにセッションＩＤを作成する。そして、ステップＳ３５において、記憶・読出部９５は、セッション管理テーブル（図１３（ｂ）参照）に、上記ステップＳ３４によって作成されたセッションＩＤ、並びに上記ステップＳ３２によって受信された表示端末５０Ａの端末ＩＤおよび宛先候補の端末の端末ＩＤを関連づけた新たなレコードを追加記憶する。ここでは、図１２（ｂ）に示したように、新たなレコードが追加されることで、セッションＩＤ「ｓｅ３」、および端末ＩＤ「ｏ０１」，「ｒＡ０１」が関連づけて管理される。
In step S34, if the terminal ID of the destination candidate terminal is not managed, the
次に、ステップＳ３６において、管理サーバ９０の送受信部９１は、表示端末５０Ａに対して、上記ステップＳ３４によって作成されたセッションＩＤが含まれたセッション開始指示を送信する。これにより、表示端末５０Ａの送受信部５１は、セッション開始指示を受信する。
Next, in step S36, the transmission/
次に、ステップＳ３７において、管理サーバ９０の記憶・読出部９５は、上記ステップＳ３２によって送られてきた宛先候補の端末（ロボット１０Ａ－１）の端末ＩＤを検索キーとして端末管理テーブル（図１２（ｂ）参照）を検索することにより、対応するＩＰアドレスを読み出す。そして、ステップＳ３８において、管理サーバ９０の送受信部９１は、上記ステップＳ３７によって読み出されたＩＰアドレスに対して、上記ステップＳ３３によって作成されたセッションＩＤが含まれたセッション開始指示を送信する。これにより、宛先端末（ロボット１０Ａ－１）の送受信部３１は、セッション開始指示を受信する。
Next, in step S37, the storage/
以上により、開始端末（表示端末５０Ａ）および宛先端末（ロボット１０Ａ－１）は、それぞれ管理サーバ９０と通信セッションを確立する(ステップＳ３９－１，Ｓ３９－２)。
As described above, the start terminal (display terminal 50A) and the destination terminal (
〇画像データの送信および表示〇
続いて、管理サーバ９０との間で確立されたセッションを用いて、ロボット１０から表示端末５０へ送信されるデータ、および表示端末５０によってロボット１０の処理もしくは動作を制御する処理について説明する。図１７は、第１の実施形態に係る遠隔制御システムにおいて、表示端末からの要求コマンドに基づくロボットの制御処理の一例を説明するためのフローチャートである。
◯ Transmission and display of image data The processing to be controlled will be explained. FIG. 17 is a flowchart for explaining an example of robot control processing based on a request command from a display terminal in the remote control system according to the first embodiment.
ステップＳ５１において、ロボット１０の画像取得部３６は、撮影装置２１によって取得された画像データ２００を取得する。ここで、ロボット１０は、撮影指示部３５から撮影装置２１への撮影指示をトリガーとして、撮影装置２１による撮影を開始する。ロボット１０の画像取得部３６は、撮影装置２１によって取得された画像である画像データ２００を、撮影装置２１から取得する。
In step S<b>51 , the
ステップＳ５２－１,５２－２において、ロボット１０の送受信部３１は、確立された管理サーバ９０との通信セッションを用いて、画像取得部３６によって取得された画像データ２００を、表示端末５０へ送信する。これにより、表示端末５０の送受信部５１は、画像データ２００を受信する。
In steps S52-1 and S52-2, the transmission/
ステップＳ５３において、表示端末５０の表示制御部５３は、送受信部５１によって受信された画像データ２００を、ディスプレイ５１２の表示画面６００に表示させる。これによって、表示端末５０を用いてロボット１０を遠隔操作する操作者は、ロボット１０が位置する拠点の状況を、画像データ２００が表示された表示画面６００を見ながら確認することができる。なお、同様に、表示端末５０は、表示端末５０側の拠点が撮影された画像である画像データ２５０を、ロボット１０へ送信する。そして、ロボット１０の送受信部３１は、画像データ２５０を受信し、表示制御部３３は、受信された画像データ２５０を、ディスプレイ３０６ａの表示画面４００に表示させる。
In step S<b>53 , the
ここで、ロボット１０および表示端末５０に表示される表示画面について説明する。図１８（ａ）は、第１の実施形態に係るロボットに表示される表示画面の画面例の一例を示す図である。ロボット１０は、表示制御部３３がディスプレイ３０６ａに、図１８（ａ）に示すような表示画面４００を表示させる。この表示画面４００には、表示端末５０から送信された画像データ２５０を表示される。図１８（ａ）に示すように、表示画面４００には、例えば、表示端末５０を用いてロボット１０を操作する操作者の顔が表示され、表示画面４００を見たロボット１０の周囲の人は、誰がロボット１０を操作しているのかを確認することができる。
Display screens displayed on the
図１８（ｂ）は、第１の実施形態に係る表示端末に表示される表示画面の画面例の一例を示す図である。表示端末５０は、表示制御部５３がディスプレイ５１２に、図１８（ｂ）に示すような表示画面６００を表示させる。この表示画面６００には、ロボット１０から送信されてきた画像データ２００を表示される。図１８（ｂ）に示すように、表示画面６００には、例えば、ロボット１０の周りにいる人々が表示されている。また、表示画面６００は、画像データ２００の画像の横に、ロボット１０の水平方向（前進、後退、右回転、左回転）の移動を要求する場合に押下される移動指示キー６０１、入力領域６０３ａに入力された位置へのロボット１０の移動を要求する場合に押下される「移動」ボタン６０３ｂ、入力領域６０５ａに入力された向きへロボット１０の向きを変更する場合に押下される「回転」ボタン６０５ｂ、ロボット１０を停止させる場合に押下される「停止」ボタン６０７、ロボット１０のスピーカ３０８ｂから音を発する場合に押下される「♪」ボタン６０９を含む。表示端末５０を用いてロボット１０を操作する操作者は、表示画面６００に表示された画像データ２００を見て、移動指示キー６０１等への入力操作を行うことで、ロボット１０の移動を制御する。
FIG. 18B is a diagram showing an example of a display screen displayed on the display terminal according to the first embodiment. In the
なお、図１８（ｂ）において、表示画面６００に表示された移動指示キー６０１によってロボット１０の移動を操作する例を説明したが、ロボット１０の移動操作は、キーボード、またはジョイスティクを備えたゲームパッド等の専用コントローラ等で行われる構成であってもよい。
In FIG. 18B, an example of operating the movement of the
図１７に戻り、ステップＳ５４において、表示端末５０の操作入力受付部５２は、ディスプレイ５１２に表示された表示画面６００に対する特定の操作入力を受け付ける。例えば、操作入力受付部５２は、例えば、表示画面６００に含まれる移動指示キー６０１のいずれかのキーに対する操作入力を受け付ける
Returning to FIG. 17 , in step S<b>54 , the operation
ステップＳ５５において、表示端末５０の要求コマンド生成部５５は、操作入力受付部５２によって受け付けられた特定の操作入力に対応する要求コマンドを生成する。具体的には、操作入力受付部５２によって特定の操作入力が受け付けられた場合、表示端末５０の記憶・読出部５７は、記憶部５０００に記憶されたユーザコマンドテーブル５００１（図１１参照）を読み出す。表示端末５０の判断部５４は、記憶・読出部５７によって読み出されたユーザコマンドテーブル５００１を検索し、操作入力受付部５２によって受け付けられた操作入力に対応する入力コマンドを特定する。そして、判断部５４は、ユーザコマンドテーブル５００１を検索し、特定した入力コマンドに対応するコマンドを抽出する。そして、要求コマンド生成部５５は、抽出されたコマンドを含む要求コマンドを生成する。例えば、操作入力受付部５２によって移動指示キー６０１の「↑（前進）」キーに対する入力が受け付けられた場合、判断部５４は、入力コマンドとして「「↑（前進）」キーの押下」を特定する。そして、判断部５４は、特定した入力コマンドに対応するコマンドとして、「ＦＯＲＷＡＲＤ」を抽出する。そして、要求コマンド生成部５５は、抽出されたコマンド「ＦＯＲＷＡＲＤ」を含む要求コマンドを生成する。
In step S<b>55 , the request
なお、ステップＳ５５において、判断部５４がユーザコマンドテーブル５００１を用いて処理を抽出する例を説明したが、表示端末５０は、移動指示キー６０５等の入力キーに付与されたイベントに基づいて、所定の処理を抽出または実行する構成であってもよい。
In step S55, the
ステップＳ５６－１,５６－２において、表示端末５０の送受信部５１は、確立された管理サーバ９０との通信セッションを用いて、要求コマンド生成部５５によって生成された要求コマンドを、ロボット１０へ送信する。これにより、ロボット１０の送受信部３１は、要求コマンドを受信する。
In steps S56-1 and S56-2, the transmission/
ステップＳ５７において、ロボット１０の記憶・読出部４６は、記憶部３０００に記憶されたコマンドテーブル３００１（図９参照）を読み出す。ステップＳ５８において、ロボット１０の判断部３４は、記憶・読出部４６によって読み出されたコマンドテーブル３００１を検索し、送受信部３１によって受信された要求コマンドに対応する処理を抽出する。ステップＳ５９において、ロボット１０は、上記ステップＳ５８によって抽出された処理を実行する。
In step S<b>57 , the storage/
例えば、送受信部３１によって受信された要求コマンドが「ＦＯＲＷＡＲＤＭＯＶＥ」である場合、判断部３４は、コマンドテーブル３００１を検索して、要求コマンド「ＦＯＲＷＡＲＤ」に対応する処理を抽出する。この場合、抽出される処理は、「ロボット１０を一定量前進させる」である。判断部３４は、抽出した処理の実行要求を、移動制御部３７へ通知する。そして、移動制御部３７は、判断部３４によって抽出された処理に基づいて、ロボット１０の移動機構１７を駆動させる。なお、判断部３４によって抽出された処理によって実行要求の通知先は異なる。例えば、送受信部３１によって受信された要求コマンドが「ＳＯＵＮＤ」の場合、実行要求の通知先は、存在通知部４５である。
For example, when the request command received by the transmitting/receiving
これにより、遠隔制御システム１ａは、ロボット１０が備える撮影装置２１によって取得された画像データ２００を表示端末５０に表示させることによって、表示端末５０を用いてロボット１０の遠隔操作を行う操作者に対して、ロボット１０の周囲の情報をより正確に把握させることができる。また、遠隔制御システム１ａは、画像データ２００が表示された表示端末５０に対する操作者による操作入力が行われることで、ロボット１０の周囲の状況を確認しながらロボット１０を移動させることができるため、表示端末５０を用いてロボット１０を操作する操作者にとっての操作性を向上させることができる。
As a result, the
〇ロボット１０の位置調整処理〇
〇目標点算出処理
続いて、図１９乃至図２９を用いて、ロボット１０の位置調整処理について説明する。ここで、ロボット１０が設置された拠点と表示端末５０が設置された拠点との間で遠隔会議が行われているものとする。ロボット１０が設置された拠点において、複数の人が会議に参加している場合、会議中に参加者が移動したり話題が切り替わったりすると、複数の人（参加者）が注目する注目点が変わることがある。この場合、遠隔地に位置する表示端末５０のユーザは、注目点が変わったとしても、注目点が変わる前の位置を撮影し続けた画像を見ることになるため、遠隔地のユーザが会議から取り残されてしまい、円滑なコミュニケーションの妨げとなる。そこで、遠隔制御システム１ａは、ロボット１０の周囲に位置する複数の人の注目点に基づいてロボット１０を移動させることによって、遠隔地に位置する表示端末５０のユーザとの円滑なコミュニケーションを図ることができる。
◯Position Adjustment Processing of
図１９は、第１の実施形態に係るロボットにおける目標点算出処理の一例を説明するためのフローチャートである。ステップＳ７１において、ロボット１０の画像取得部３６は、撮影装置２１によって取得された画像である画像データ２００を取得する（取得ステップの一例）。ステップＳ７２において、ロボット１０の画像処理部４１は、画像取得部３６によって取得された画像データ２００に含まれる人物の頭の画像を抽出する。具体的には、画像処理部４１は、画像取得部３６によって取得された画像データ２００と、予め記憶された人物の頭の画像パターンとを照合し、類似する画像領域を、図２０（ａ）に示すような人物の頭の画像として抽出する。図２０（ａ）に示す処理データ８００ａには、ａ１～ａ４の四つの人物の頭の画像が含まれる。
FIG. 19 is a flowchart for explaining an example of target point calculation processing in the robot according to the first embodiment. In step S71, the
ステップＳ７３において、ロボット１０の注目点算出部４２は、画像処理部４１によって抽出された頭の画像の大きさ、および画像データ２００内における人物の頭の画像の位置を算出する。具体的には、注目点算出部４２は、画像処理部４１によって処理された処理データ８００ａに基づいて、人物の頭の画像の大きさと、人物の頭の画像の位置を算出する。人物の頭の画像の位置は、例えば、画像データ２００の中心の座標を（０,０）とし、右上の座標を（１００,１００）とし、左下の座標を（－１００,－１００）として算出される。例えば、図２０（ａ）に示した処理データ８００ａにおける、注目点算出部４２によって算出された人物の頭の画像（ａ１～ａ４）の位置および大きさは、図２０（ｂ）示す値となる。
In step S<b>73 , the attention
ステップＳ７４において、ロボット１０の注目点算出部４２は、画像データ２００に含まれる人物の頭の画像の空間上の相対位置を特定する。例えば、注目点算出部４２は、上記ステップＳ７３において算出された画像データ２００内の座標（Ｘ，Ｙ）と頭の大きさｒとを用いて、画像データ２００内の人物の頭の画像の位置を、空間上の相対位置（ｘ，ｙ）に変換する。空間上の相対位置（ｘ，ｙ）への変換方法は、一例として、以下（１）および（２）のヒューリスティックスを用いる。
In step S<b>74 , the point-of-
（１）頭の大きさｒが小さいほど遠くにあるものとする(人による頭の大きさの差異は無視する)。
（２）遠近法を無視して、Ｘ座標の値がプラスであればロボット１０の右側(マイナスであればロボット１０の左側)、Ｙ座標が大きければ奥にあるものとする。
(1) It is assumed that the smaller the head size r, the farther it is (ignoring the difference in head size between people).
(2) Ignoring perspective, if the value of the X coordinate is positive, it is on the right side of the robot 10 (if it is negative, it is on the left side of the robot 10), and if the Y coordinate is large, it is on the far side.
上記（１）と（２）の条件に基づく算出式は、以下の（式１）のようになる。なお、ｋ１，ｋ２は所定の係数である。ここでは、ｋ１＝０．２，ｋ２＝１０００とする。 A calculation formula based on the above conditions (1) and (2) is as shown in (Formula 1) below. Note that k1 and k2 are predetermined coefficients. Here, k1=0.2 and k2=1000.
注目点算出部４２は、上記の（式１）を用いて、人物の頭の画像の空間上の相対位置（ｘ，ｙ）を特定する。特定された相対位置を示す座標情報（ｘ,ｙ）を、図２１（ａ）に示す。また、図２１（ｂ）は、特定された相対位置を概略的に示した処理データ８１０である。図２１（ｂ）に示す処理データ８１０は、画像データ２００の中心位置Ｓ（０,０）を基準とした、人物の頭の画像ａ１～ａ４とロボットＲとの相対位置を視覚化したものである。
The point-of-
ステップＳ７５において、ロボット１０の画像処理部４１は、上記ステップ７１によって取得された画像データ２００に含まれる人物の目を鼻の画像を抽出する。具体的には、画像処理部４１は、画像取得部３６によって取得された画像データ２００と、予め記憶された人物の目と鼻の画像パターンとを照合し、類似する画像領域を、図２２（ａ）に示すような人物の目と鼻の画像として抽出する。図２２（ａ）に示す処理データ８００ｂには、ステップＳ７２によって抽出された四つの人物の頭の画像（ａ１～ａ４）に対する目と鼻の画像が含まれる。
In step S<b>75 , the image processing unit 41 of the
ステップＳ７６において、ロボット１０の注目点算出部４２は、画像処理部４１によって抽出された目と鼻の位置から、それぞれの人物の向きを特定する。人物の向きの特定は、一例として、以下（１）および（２）のヒューリスティックスを用いる。
In step S<b>76 , the attention
（１）目が二つであれば正面(ロボット１０の向きと逆方向)を、一つなら左右どちらかを、ゼロなら後ろ(ロボット１０の向きと同じ方向)を向いているものとする。
（２）目が一つで鼻があれば、鼻のある方向を向いているものとする(向きは、正面を０°とし、時計回りに３６０°まで)。
(1) If it has two eyes, it faces the front (opposite to the direction of the robot 10); if it has one, it faces either left or right;
(2) If an animal has one eye and a nose, it is assumed that it faces the direction of the nose (the direction is 0° from the front and up to 360° clockwise).
上記（１）と（２）の条件に基づいて、図２２（ｂ）に示すような人の向きの特定が行われる。例えば、ａ１は、目の数が一つで鼻が右方向に向いているため、ａ１の向き（θ）は、９０°となる。 Based on the above conditions (1) and (2), the direction of the person is identified as shown in FIG. 22(b). For example, since a1 has one eye and the nose faces rightward, the orientation (θ) of a1 is 90°.
これによって、ロボット１０の注目点算出部４２は、画像データ２００に対応する人物の相対位置と向きを近似的に求めることができる。図２３（ａ）は、注目点算出部４２によって特定された相対位置および向きの情報である。図２３（ｂ）は、それぞれの人物の相対位置（ｘ,ｙ）と向き（θ）を、概略的に示した処理データ８２０である。図２３（ａ）に示すように、ａ１の相対位置（ｘ,ｙ）は、（０,６０）であり、向き（θ）は、９０°である。ｂ１の相対位置（ｘ,ｙ）は、（９０,７６．７）であり、向き（θ）は、１８０°である。ｃ１の相対位置（ｘ,ｙ）は、（－２０,４２）であり、向き（θ）は、０°である。ｄ１の相対位置（ｘ,ｙ）は、（７０,５１）であり、向き（θ）は、０°である。
Thereby, the point-of-
これにより、ロボット１０は、ロボット１０の周囲に位置する人の位置および向きを、簡易的に推定することができる。なお、ロボット１０の周囲に位置する人の位置および向きの推定方法は、これに限られず、遠近法を取り入れたり、ステレオカメラによって撮影されたステレオ画像を用いたりする等の方法であってもよい。また、レーザ等の光線を用いて距離を測る方法や、拠点内にカメラを複数配置して複数の画像から人の位置および向き算出する等の方法であってもよい。
Thereby, the
ここで、ロボット１０の周囲に位置する人の位置および向きの推定方法の別の例について説明する。ロボット１０は、ロボット１０が位置する拠点に設置されたビーコン等を用いて、ロボット１０の周囲に位置する人の位置および向きを推定（算出）してもよい。図２４（ａ）は、ビーコンが拠点内に設置された場合における、ロボット１０の周囲に位置する人の位置および向きを推定する処理の一例を説明するための図である。
Here, another example of a method for estimating the position and orientation of a person positioned around the
図２４に示す例において、拠点（例えば、閉じられた部屋等の空間）１１００には、各所に、所定の電波を発信するビーコンが設置されている。拠点１１００内に位置する会議等の参加者（ｈ１～ｈ４）は、ビーコンから発信される電波の受信機能とジャイロセンサを有するスマートフォン等の通信端末を保持している。また、会議等の参加者（ｈ１～ｈ４）は、胸ポケットや腰のベルト等の特定の位置に通信端末を身に着けるで、体の向きと通信端末の向きが連動するようにする。
In the example shown in FIG. 24, a base (for example, a space such as a closed room) 1100 is provided with beacons for transmitting predetermined radio waves. Participants (h1 to h4) of a conference or the like located in the
これにより、会議等の参加者（ｈ１～ｈ４）が保持する通信端末は、複数のビーコンから発信される電波の強度から通信端末（参加者）の位置を取得することができる。また、会議等の参加者（ｈ１～ｈ４）が保持する通信端末は、ジャイロセンサかの情報から通信端末（参加者）の向きを取得することができる。そして、拠点１１００内に位置するロボット１０は、各参加者（ｈ１～ｈ４）が保持する通信端末のそれぞれから送信される、参加者（ｈ１～ｈ４）の位置と向きの情報を受信（取得）することができる。
As a result, the communication terminals held by the participants (h1 to h4) of the conference or the like can acquire the positions of the communication terminals (participants) from the strength of radio waves transmitted from a plurality of beacons. Also, the communication terminals held by the participants (h1 to h4) of the conference can acquire the directions of the communication terminals (participants) from the information from the gyro sensors. Then, the
図２４（ｂ）は、図２４（ａ）に示した方法によって特定された、それぞれの人物（ｈ１～ｈ４）の相対位置（ｘ,ｙ）および向き（θ）の情報である。図２４（ｂ）に示すように、ｈ１の相対位置（ｘ,ｙ）は、（５,１７）であり、向き（θ）は、４５°である。ｈ２の相対位置（ｘ,ｙ）は、（１８,１８）であり、向き（θ）は、２４０°である。ｈ３の相対位置（ｘ,ｙ）は、（５,１２）であり、向き（θ）は、６０°である。ｈ４の相対位置（ｘ,ｙ）は、（１５,１２）であり、向き（θ）は、３３０°である。 FIG. 24(b) shows information on the relative position (x, y) and orientation (θ) of each person (h1 to h4) specified by the method shown in FIG. 24(a). As shown in FIG. 24(b), the relative position (x, y) of h1 is (5, 17) and the orientation (θ) is 45°. The relative position (x, y) of h2 is (18, 18) and the orientation (θ) is 240°. The relative position (x, y) of h3 is (5, 12) and the orientation (θ) is 60°. The relative position (x, y) of h4 is (15, 12) and the orientation (θ) is 330°.
なお、以下の説明において、注目点算出部４２によって算出された相対位置を示す座標情報（ｘ,ｙ）および向き（θ）の値は、図２４（ｂ）に示した値を用いる。
In the following description, values shown in FIG. 24B are used for the coordinate information (x, y) indicating the relative position calculated by the target
図１９に戻り、ロボット１０による目標点算出処理の説明を続ける。ステップＳ７７以降の処理において、ロボット１０は、ロボット１０の周囲の複数の人の注目点を算出する。注目点は、ロボット１０が設置された拠点において複数の人が注目している位置であり、例えば、ロボット１０の周囲の複数の人が向いている方向である。注目点は、例えば、遠隔会議において、ロボット１０側の拠点での複数の参加者が向いている方向、すなわち、ある時点における話題の中心位置である。
Returning to FIG. 19, the description of the target point calculation process by the
ステップＳ７７において、ロボット１０の画像処理部４１は、注目点算出部４２によって特定されたそれぞれの人物（ｈ１～ｈ４）の相対位置から、注目点算出部４２によって特定されたそれぞれの人物（ｈ１～ｈ４）の向き（θ）の方向に伸ばした直線の交点を算出する。算出された結果は、図２５に示される。図２５には、点の組合せと、交点の座標（ｘ,ｙ）が記載されている。なお、人物の向きの方向は、一方向なので、ｈ１とｈ２、ｈ２とｈ３の組合せのように、交点が無い場合もある。
In step S77, the image processing unit 41 of the
ステップＳ７８において、ロボット１０の注目点算出部４２は、算出した交点のうち、最も多くの方向から得られた交点が複数存在する場合、処理をステップＳ７９へ移行させる。一方で、注目点算出部４２は、算出した交点のうち、最も多くの方向から得られた交点が一つの場合、処理をステップＳ８０へ移行させる。
In step S78, the point-of-
具体的には、まず、注目点算出部４２は、上記ステップＳ７７によって算出された交点のうち距離が近い座標をまとめる。まとめられた結果の座標は、例えば、それぞれの交点の座標の平均値である。図２６（ａ）は、上記処理によってまとめられた交点の位置を示す座標情報である。図２６（ｂ）は、上記処理によって、まとめられた交点の位置を、概略的に示した処理データ８３０である。図２６（ａ）に示すように、ｈ１とｈ３とｈ４から伸ばした直線の交点は、Ａ（１０．５，１８）であり、ｈ２とｈ４から伸ばした直線の交点は、Ｂ（１４，１２）である。
Specifically, first, the point-of-
そして、注目点算出部４２は、距離の近い交点をまとめた点（交点）のうち、最も多くの方向から得られた交点を抽出する。図２６（ａ）の場合、交点Ａは、三つの方向（ｈ１,ｈ２,ｈ３）から得られた交点であり、交点Ｂは、二つの方向（ｈ２,ｈ４）から得られた交点である。そのため、注目点算出部４２は、最も多くの方向から得られた交点は、一つ（交点Ａ）であるため、処理をステップＳ８０へ移行させる。
Then, the point-of-
ステップＳ８０において、注目点算出部４２は、最も多くの方向から得られた交点である交点Ａを、注目点として特定する。一方で、ステップＳ７９において、注目点算出部４２は、最も多くの方向から得られた複数の交点の間の中心位置の座標を、注目点として特定する。
In step S80, the attention
なお、ステップ７７において、注目点算出部４２は、算出した交点のうち距離が近い交点の座標をまとめる処理を行ったが、算出した交点をそのまま用いて最も多くの方向から得られた交点を注目点として特定してもよい。
Note that in
これにより、遠隔制御システム１ａは、ロボット１０が備える撮影装置２１によって取得された画像データ２００を用いて、ロボット１０の周囲に位置する複数の人が注目する注目点を算出することができる。そのため、遠隔制御システム１ａは、例えば、ロボット１０と表示端末５０を用いた遠隔会議等において、ロボット１０が設置された拠点側における複数の参加者が注目している箇所を把握することができる。
Thereby, the
続いて、注目点算出部４２によって算出された注目点を用いて、ロボット１０の移動先を特定する処理を説明する。ステップＳ８１において、ロボット１０の目標点算出部４３は、注目点算出部４２によって算出された注目点の位置に基づいて、ロボット１０の移動先となる目標点を特定する。目標点は、例えば、ロボット１０の移動先の目標位置Ｇ（Ｘ，Ｙ）を示す位置情報と、ロボット１０の移動先におけるロボット１０の向き（θ）を示す方向情報を含む。具体的には、目標点算出部４３は、図２７（ｂ）に示すように、注目点Ａとロボット１０の位置を結ぶ線上において、注目点Ａからの距離ｐだけ離れた位置を目標位置Ｇ（Ｘ，Ｙ）として算出する。ここで、距離ｐは、例えば、それぞれの人物（ｈ１～ｈ４）の位置と注目点Ａとの距離の平均値である。人物（ｈ１～ｈ４）の位置は、注目点算出部４２によって算出された相対位置（ｘ，ｙ）を用いる。また、目標点算出部４３は、ロボット１０の現在位置から見た注目点Ａの方向を、ロボット１０の向き（θ）として算出する。目標点算出部４３によって特定された目標点（目標位置Ｇおよび向き）は、例えば、図２７（ａ）に示す値になる。この場合、目標位置Ｇ（Ｘ，Ｙ）は、（６,１１）であり、ロボット１０の向き（θ）は、３５°である。
Next, a process of specifying the movement destination of the
なお、目標点算出部４３によって算出されるロボット１０の向きは、注目点Ａの方向に限られず、注目点算出部４２によって算出された複数の人物の向きの平均方向としてもよい。
Note that the orientation of the
これにより、遠隔制御システム１ａは、ロボット１０の周囲に位置する複数の人が注目する注目点に基づいて、ロボット１０の移動先である目標点を算出することができる。そのため、遠隔制御システム１ａは、例えば、ロボット１０と表示端末５０を用いた遠隔会議等において、ロボット１０が設置された拠点側における複数の参加者が注目している箇所に基づいて、ロボット１０の移動先を特定することができる。
Thereby, the
〇目標点への移動処理
続いて、目標点算出部４３によって特定された目標点へ向けてロボット１０を移動させる処理について説明する。図２８は、第１の実施形態に係るロボットにおける移動処理の一例を説明するためのフローチャートである。
O Moving Process to Target Point Next, the process of moving the
ステップＳ１０１において、ロボット１０の目標点算出部４３は、算出した目標位置Ｇ（Ｘ，Ｙ）に向けての移動経路を算出する。
In step S101, the
ステップＳ１０２において、ロボット１０は、算出した移動経路に基づいて移動する。まず、ロボット１０の向き調整部３８は、目標点算出部４３によって算出された移動経路に対する進行方向に対して、移動機構１７の回転等を行うことによって、ロボット１０の向きを変更する。そして、ロボット１０の移動制御部３７は、向き調整部３８による進行方向への向きの変更が完了した場合、移動機構１７を駆動させることによって、ロボット１０を移動させる。移動制御部３７は、目標点算出部４３によって算出された移動経路に対応する移動コマンドを、移動機構１７に対して随時発行（送信）することで、算出された移動経路に沿ってロボット１０を移動させる。
At step S102, the
ステップＳ１０３において、ロボット１０の周辺情報検出部４４は、ロボット１０の移動中において、障害物を検出した場合、処理をステップＳ１０４へ移行させる。具体的には、周辺情報検出部４４は、撮影装置２１によって取得された画像データ２００や各種センサ１０６によって検出された検出結果を用いて、ロボット１０の移動経路に存在する障害物を検出する。障害物は、例えば、拠点内に設置された装置もしくは物体等、または拠点内に位置する人等である。ステップＳ１０４において、ロボット１０の移動制御部３７は、周辺情報検出部４４によって障害物が検出された場合、ロボット１０を停止させる。
In step S103, when the peripheral
これにより、ロボット１０は、目標位置Ｇへ向けて移動している途中において、障害物を検出した場合、検出した障害物の手前で停止するため、障害物との接触を避けることができる。この場合、ロボット１０は、一旦停止した後、周辺情報検出部４４によって障害物がなくなったことが検出された場合、再び目標位置Ｇへ向けての移動を再開してもよい。また、ロボット１０は、一旦停止した後、周辺情報検出部４４によって検出された障害物が、所定の時間経過してもなくならない場合、目標点算出部４３によって算出された移動経路を変更する構成であってもよい。
As a result, when the
一方で、ステップＳ１０３において、周辺情報検出部４４は、ロボット１０の移動中において、障害物を検出しない場合、処理をステップＳ１０５へ移行させる。この場合、ロボット１０の移動制御部３７は、目標位置Ｇに向けてのロボット１０の移動制御を継続する。
On the other hand, in step S103, if the surrounding
ステップＳ１０５において、ロボット１０の移動制御部３７は、ロボット１０が目標位置Ｇに到達した場合、処理をステップＳ１０６へ移行させる。一方で、移動制御部３７は、ロボット１０が目標位置Ｇに到達していない場合、ステップＳ１０３からの処理を繰り返し、目標位置Ｇに向けてのロボット１０の移動制御を継続する。
In step S105, when the
ステップＳ１０６において、ロボット１０の移動制御部３７は、ロボット１０が目標位置Ｇに到達した場合、ロボット１０を停止させる。ステップＳ１０７において、ロボット１０の向き調整部３８は、目標点算出部４３によって算出された向き（図２７（ａ）参照）に、ロボット１０の向きを変更する。具体的には、向き調整部３８は、移動機構１７の回転等を行うことによって、目標点算出部４３によって算出された向き（θ）を示す方向情報に基づいて、ロボット１０の向きを変更する。そして、ロボット１０の送受信部３１は、移動した目標点において撮影装置２１によって撮影されて取得された画像データ２００を、通信ネットワーク９を介して、表示端末５０へ送信する。これによって、表示端末５０は、ロボット１０の移動先である目標点において、ロボット１０の周囲を撮影して取得された画像データ２００を表示することができる。
In step S<b>106 , the
したがって、遠隔制御システム１ａは、目標点算出部４３によって算出された目標点へロボット１０を移動させることができる。そのため、遠隔制御システム１ａは、ロボット１０が位置する拠点における複数の参加者の注目点に基づいて、ロボット１０を移動させることができるとともに、遠隔地の表示端末５０に注目点およびその近傍を撮影した画像を表示させることができるので、遠隔拠点間の円滑なコミュニケーションを実現することができる。
Therefore, the
なお、図４に示したロボット１０ｂのように移動機構１７を有さない場合、ロボット１０ｂ（伝送端末）は、目標点算出部４３によって算出された目標点のうち、人物の向き（θ）を示す方向情報のみを用いて、ロボット１０ｂの向きを方向情報が示す変更先の向きに変更する構成であってもよい。
When the
〇存在通知処理
続いて、ロボット１０が目標点への移動している場合において、ロボット１０から自らの存在を周囲に通知する処理を説明する。図２９は、第１の実施形態に係るロボットにおける存在通知処理の一例を説明するためのフローチャートである。
O Presence Notification Processing Next, a description will be given of processing for notifying the surroundings of the existence of the
ステップＳ１２１において、ロボット１０の位置特定部３９は、ロボット１０の現在位置を特定する。具体的には、位置特定部３９は、加速度・方位センサ１０３またはＧＰＳ受信部１０４によって検出される各方位（方位角、磁北）の方向等の検出結果に基づいて、ロボット１０の現在位置を特定する。ステップＳ１２２において、ロボット１０の位置特定部３９は、特定したロボット１０の現在位置と、注目点算出部４２によって算出された注目点Ａとの距離を算出する。
In step S<b>121 , the
ステップＳ１２３において、ロボット１０は、位置特定部３９によって算出された距離が、所定の閾値以上または所定の閾値より長い場合、処理をステップＳ１２４に移行させる。一方で、ロボット１０は、位置特定部３９によって算出された距離が、所定の閾値より短いまたは所定の閾値以下の場合、ステップＳ１２１からの処理を繰り返す。
In step S123, if the distance calculated by the
ステップＳ１２４において、ロボット１０の存在通知部４５は、ロボット１０の存在を通知する通知情報を出力する。具体的には、存在通知部４５は、通知情報として、スピーカ３０８ｂから音信号を出力する。また、存在通知部４５は、通知情報として、移動機構１７、もしくは可動アーム１１または回転軸１２を駆動させることにより、所定のジェスチャーを行う。なお、存在通知部４５による通知情報の出力方法は、これに限られない。
In step S<b>124 , the
これにより、ロボット１０は、注目点から大きく離れている場合、ロボット１０の存在を周囲の人に知らせながら注目点に近づくことで、ロボット１０が急に現れたりすることによって周囲の人を驚かすことを防止することができる。また、ロボット１０は、注目点に近づくことによる、会議等の進行を妨げることを予防することができる。
As a result, when the
なお、ロボット１０の存在通知部４５は、ロボット１０の現在位置と注目点までの距離が、所定の閾値以下または所定の閾値より短くなった場合に、ロボットの存在を通知する構成にしてもよい。
Note that the
以上説明したように、遠隔制御システム１ａは、ロボット１０の周囲に位置する複数の人（参加者）が注目する注目点に基づいて、ロボット１０が自動的に適した位置に移動するため、ロボット１０を用いて行われる遠隔コミュニケーションにおいて、参加者に感じさせる違和感や煩わしさを低減させることができるとともに、自然な形でロボット１０を介した遠隔コミュニケーションを実現することができる。
As described above, the
従来の位置固定型のビデオ会議システムは、最初に置いた位置から動かされないため、例えば、話題の中心位置（注目点）が変わった場合、遠隔地から参加している人は、会話から取り残されたような印象を受ける。また、例えば、ロボット１０の周囲にいる参加者は、遠隔地から参加している人が話題に関心がないと感じてしまい、遠隔地から参加している人を会話の対象から外してしまうおそれがある。結果として、遠隔コミュニケーションによる一体感が損なわれ、疎外感を生む原因となる。
Traditional fixed-position video conferencing systems are not moved from their original position, so if, for example, the focal point of the topic changes, a remote participant may be left out of the conversation. I get the impression that In addition, for example, participants around the
一方で、ロボット１０は、話題の中心位置（注目点）に追従して、ロボット１０の位置および向きを変更するため、遠隔地から参加している人（例えば、表示端末５０を用いてロボット１０を操作する操作者）は、ロボット１０を通じて常にその話題に加わっている印象を得られる。一方で、ロボット１０の周囲に位置する複数の参加者も、遠隔地にいる参加者が会議に参加して話を聞いている印象が得られる。これにより、遠隔制御システム１ａは、ロボット１０を用いて遠隔会議による円滑なコミュニケーションを実現することができる。
On the other hand, the
〇ロボット１０の移動経路の例〇
ここで、目標点算出部４３によって算出されるロボット１０の移動経路について説明する。図３０（ａ）に示す例は、ロボット１０（Ｒ）が目標位置Ｇにまっすぐ向かうのではなく、人と人との間を見つけてそこに割り込む方法である。この方法は、ロボット１０（Ｒ）が人に近づきすぎることによって、身体距離（プライベートな空間）が侵されないようにするために有効である。この場合、ロボット１０（Ｒ）の目標点算出部４３は、各参加者（ｈ１～ｈ４）の位置のすべての組み合わせから、一定以上の距離が空いている位置を特定し、その中間距離にロボット１０（Ｒ）を移動させるように移動経路を算出する。
◯ Example of Movement Path of
図３０（ｂ）に示す例は、ロボット１０（Ｒ）が目標位置Ｇにまっすぐ向かうのではなく、ロボット１０（Ｒ）の現在位置から最も近い人の傍を通過する方法である。ロボット１０（Ｒ）の目標点算出部４３は、位置特定部３９によって特定されたロボット１０（Ｒ）の現在位置に最も近い参加者（例えば、ｈ３）を特定し、特定した参加者の位置から一定距離離れた位置にロボット１０（Ｒ）を移動させるように移動経路を算出する。なお、ロボット１０（Ｒ）は、例えば、ｈ３の位置から一定距離離れた位置を通過して目標位置Ｇへ移動してもよいし、ｈ３の位置から一定距離は離れた位置で停止してもよい。この場合、ロボット１０（Ｒ）は、図３０（ｂ）に示すように、注目点Ａの方向を向くのではなく、ｈ３と同じ方向を向くように、向き調整部３８によってロボット１０（Ｒ）の向きを変更してもよい。
The example shown in FIG. 30(b) is a method in which the robot 10(R) does not go straight to the target position G, but passes by the person closest to the current position of the robot 10(R). The target
〇目標点算出処理を開始するまでの処理〇
ここで、図１９に示した目標点算出処理を行う頻度またはタイミングについて説明する。会議等において、ロボット１０の周囲の参加者の位置が頻繁に変わるような場合、その都度ロボット１０が移動すると、参加者にとって逆に会議の妨げとなる場合がある。そこで、遠隔制御システム１ａは、所定の条件を満たした場合に、ロボット１０において図１９に示した目標点算出処理を行う。
◯ Processing before starting the target point calculation processing ◯ Here, the frequency or timing of performing the target point calculation processing shown in FIG. 19 will be described. In a conference or the like, when the positions of the participants around the
図３１（ａ）に示すフローチャートは、前回の目標点算出時からの経過時間に基づいて、目標点算出処理を行う例である。ステップＳ１５１ａにおいて、ロボット１０の判断部３４は、タイマ１０７を用いて、前回の目標点算出時からの経過時間を測定する。ステップＳ１５２ａにおいて、判断部３４は、前回の目標点算出時からの経過時間が、設定された経過時間の条件を超過した場合、処理をステップＳ１５３ａへ移行させる。具体的には、ロボット１０の記憶・読出部４６は、記憶部３０００に記憶された条件テーブル３００２（図１０参照）を読み出す。判断部３４は、記憶・読出部４６によって読み出された条件テーブル３００２を検索し、ロボット１０が位置する拠点に対応する経過時間の条件を抽出する。例えば、ロボット１０が拠点Ａに位置する場合、判断部３４は、拠点Ａに対応する経過時間の条件として、「３ｍｉｎ」を抽出する。そして、判断部３４は、前回の目標点算出時からの経過時間が、抽出した条件を超過している場合、処理をステップＳ１５３ａへ移行させる。一方で、ステップＳ１５２ａにおいて、判断部３４は、前回の目標点算出時からの経過時間が、設定された経過時間の条件を超過していない（設定された経過時間内である）場合、ステップＳ１５１ａからの処理を繰り返す。
The flowchart shown in FIG. 31(a) is an example of performing target point calculation processing based on the elapsed time since the previous target point calculation. In step S151a, the
ステップＳ１５３ａにおいて、ロボット１０は、前回の目標点算出時から所定の時間経過した場合、図１９に示した目標点算出処理を行う。これによって、ロボット１０は、前回目標点算出処理を行ってからの経過時間に基づいて、ロボット１０の移動先を示す目標点の算出処理を行うとともに、算出した目標点へロボット１０を移動させるため、頻繁にロボット１０が移動することによって、円滑なコミュニケーションが妨げられることを防止することができる。
In step S153a, the
図３１（ｂ）に示すフローチャートは、ロボット１０の周囲に位置する人（参加者）との距離に基づいて、目標点算出処理を行う例である。ステップＳ１５１ｂにおいて、ロボット１０は、ロボット１０の周囲に位置する人（参加者）との距離を測定する。具体的には、ロボット１０の位置特定部３９は、加速度・方位センサ１０３またはＧＰＳ受信部１０４によって検出される各方位（方位角、磁北）の方向等の検出結果に基づいて、ロボット１０の現在位置を特定する。そして、位置特定部３９は、特定したロボット１０の現在位置と、注目点算出部４２によって算出された人（参加者）との距離を算出する。
The flowchart shown in FIG. 31B is an example of performing the target point calculation process based on the distance to the people (participants) positioned around the
ステップＳ１５２ｂにおいて、判断部３４は、算出された人（参加者）との距離が設定された人との距離の条件を超過した場合、処理をステップＳ１５３ｂへ移行させる。具体的には、ロボット１０の記憶・読出部４６は、記憶部３０００に記憶された条件テーブル３００２（図１０参照）を読み出す。判断部３４は、記憶・読出部４６によって読み出された条件テーブル３００２を検索し、ロボット１０が位置する拠点に対応する人との距離の条件を抽出する。例えば、ロボット１０が拠点Ａに位置する場合、判断部３４は、拠点Ａに対応する人との距離の条件として、「８ｍ」を抽出する。そして、判断部３４は、位置特定部３９によって算出されたロボット１０と人との距離の少なくとも一つが、抽出した条件を超過している場合、処理をステップＳ１５３ｂへ移行させる。一方で、ステップＳ１５２ｂにおいて、判断部３４は、算出された人（参加者）との距離が設定された人との距離の条件を超過していない（ロボット１０と全ての参加者とが所定の距離以内に存在する）場合、ステップＳ１５１ｂからの処理を繰り返す。
In step S152b, if the calculated distance to the person (participant) exceeds the set distance condition to the person, the
ステップＳ１５３ｂにおいて、ロボット１０は、人（参加者）との距離が所定の距離以上離れた場合、図１９に示した目標点算出処理を行う。これによって、ロボット１０は、ロボット１０の周囲に位置する人（参加者）との距離が所定の距離以上離れた場合にのみ、ロボット１０の移動先を示す目標点の算出処理を行うとともに、算出した目標点へロボット１０を移動させるため、頻繁にロボット１０が移動することによって、円滑なコミュニケーションが妨げられることを防止することができる。
In step S153b, the
図３１（ｃ）に示すフローチャートは、設定された調整周期に基づいて、目標点算出処理を行う例である。ステップＳ１５１ｃにおいて、ロボット１０の判断部３４は、タイマ１０７を用いて、前回の目標点算出時からの経過時間を測定する。ステップＳ１５２ｃにおいて、判断部３４は、前回の目標点算出時からの経過時間が、設定された調整周期の条件を超過した場合、処理をステップＳ１５３ｃへ移行させる。具体的には、ロボット１０の記憶・読出部４６は、記憶部３０００に記憶された条件テーブル３００２（図１０参照）を読み出す。判断部３４は、記憶・読出部４６によって読み出された条件テーブル３００２を検索し、ロボット１０が位置する拠点に対応する調整周期の条件を抽出する。例えば、ロボット１０が拠点Ａに位置する場合、判断部３４は、拠点Ａに対応する調整周期の条件として、「５ｍｉｎ」を抽出する。そして、判断部３４は、前回の目標点算出時からの経過時間が、抽出した条件を超過している場合、処理をステップＳ１５３ｃへ移行させる。一方で、ステップＳ１５２ｃにおいて、判断部３４は、前回の目標点算出時からの経過時間が、設定された調整周期の条件を超過していない（設定された調整周期の範囲内である）場合、ステップＳ１５１ｃからの処理を繰り返す。
The flowchart shown in FIG. 31(c) is an example of performing target point calculation processing based on the set adjustment period. In step S151c, the
ステップＳ１５３ｃにおいて、ロボット１０は、前回の目標点算出時から所定の調整周期を経過した場合、図１９に示した目標点算出処理を行う。これによって、ロボット１０は、設定された目標点の調整周期に基づいて、ロボット１０の移動先を示す目標点の算出処理を行うとともに、算出した目標点へロボット１０を移動させるため、頻繁にロボット１０が移動することによって、円滑なコミュニケーションが妨げられることを防止することができる。
In step S153c, the
したがって、遠隔制御システム１ａは、図３１（ａ）～（ｃ）のように、所定の条件に基づいて目標点算出処理を開始する頻度またはタイミングを決定するため、ロボット１０が頻繁に移動することによって円滑なコミュニケーションが妨げられることを防止することができる。なお、図３１（ａ）～（ｃ）に示した処理および図１０に示した条件テーブル３００２に含まれる条件は、一例であり、これに限られず、ロボット１０の管理者または表示端末５０を用いてロボット１０を操作する操作者等によって適宜修正・変更可能である。
Therefore, as shown in FIGS. 31(a) to 31(c), the
また、遠隔制御システム１ａは、ロボット１０の周囲の人（参加者）の少なくとも一人が移動した場合に、目標点算出処理を行う構成であってもよい。この場合、ロボット１０は注目点算出部４２および目標点算出部４３は、例えば、画像取得部３６によって取得された画像データ２００に含まれる複数の人物のうち少なくとも一つの人物の位置または向きが変化した場合、変化した人物の位置または向きに基づいて目標点を算出する。具体的には、ロボット１０は注目点算出部４２および目標点算出部４３は、画像データ２００に含まれる複数の人物のうち変化していない人物の位置または向きを固定値とし、変化した人物の位置または向きの変化量に基づいて目標点を算出する。
Further, the
●第１の実施形態の効果
以上説明したように、第１の実施形態に係る遠隔制御システム１ａは、被写体を撮影して画像データ２００を取得する撮影装置２１を備えるロボット１０（移動体の一例）と、ロボット１０と通信ネットワーク９を介して通信可能であり、ロボット１０を遠隔操作する表示端末５０を備え、ロボット１０と表示端末５０との間において送受信される画像データを用いて遠隔コミュニケーションを実現する。
Effect of the First Embodiment As described above, the
ここで、第１の実施形態に係る遠隔制御システム１ａにおいて、ロボット１０（移動体の一例）が備える制御装置３０は、本発明に係る情報処理装置の一例である。情報処理装置としての制御装置３０は、撮影装置２１によって取得された画像データ２００を取得する画像取得部３６（取得手段の一例）と、取得された画像データ２００に含まれる複数の人物の位置および向きに基づいて、ロボット１０の移動先を示す目標点を算出する注目点算出部４２および目標点算出部４３（算出手段の一例）とを備え、算出された目標点へロボット１０を移動させる。そのため、第１の実施形態に係る情報処理装置としての制御装置３０は、一方の拠点にいる複数の参加者の位置と向きに応じて、ロボット１０を移動させることで、他方の拠点にいる参加者との遠隔コミュニケーションを活性化させることができる。
Here, in the
さらに、第１の実施形態に係るロボット１０（移動体の一例）が備える制御装置３０は、取得された画像データ２００に含まれる複数の人物の位置および向きを推定し（推定手段の一例、推定された位置および向きに基づいて、画像データ２００に含まれる複数の人物が注目する注目点を特定する（注目点特定手段の一例）注目点算出部４２と、特定された注目点に基づいて、ロボット１０の移動先を示す目標点を特定する目標点算出部４３（目標点特定手段の一例）と、有する。そのため、第１の実施形態に係る情報処理装置としての制御装置３０は、ロボット１０の周囲に位置する複数の参加者が注目する注目点に基づいて、ロボット１０を移動させることで、他方の拠点にいる参加者との遠隔コミュニケーションを活性化させることができる。
Furthermore, the
●第２の実施形態●
次に、第２の実施形態に係る遠隔制御システムついて説明する。なお、第１の実施形態と同一構成および同一機能は、同一の符号を付して、その説明を省略する。第２の実施形態に係る遠隔制御システム１ｂは、ロボット１０の位置調整処理を、ロボット１０から送信されてきた画像データを表示する表示端末５０が行う構成である。
●Second Embodiment●
Next, a remote control system according to a second embodiment will be described. In addition, the same reference numerals are given to the same configurations and the same functions as those of the first embodiment, and the description thereof will be omitted. The
なお、第２の実施形態に係る遠隔制御システム１ｂを構成する装置または端末（ロボット１０、表示端末５０および管理サーバ９０）のハードウエア構成は、第１の実施形態に係る遠隔制御システム１ａを構成する装置または端末（ロボット１０、表示端末５０および管理サーバ９０）と同様であるため、説明を省略する。
The hardware configuration of the devices or terminals (
●機能構成
まず、図３２を用いて、第２の実施形態に係る遠隔制御システムの機能構成について説明する。図３２は、第２の実施形態に係る遠隔制御システムの機能構成の一例を示す図である。なお、第２の実施形態に係る管理サーバ９０によって実現される機能は、第１の実施形態に係る管理サーバ９０によって実現される機能（図８参照）と同様であるため、説明を省略する。
●Functional Configuration First, the functional configuration of the remote control system according to the second embodiment will be described with reference to FIG. 32 is a diagram illustrating an example of a functional configuration of a remote control system according to the second embodiment; FIG. Note that the functions realized by the
〇制御装置３０の機能構成〇
まず、図３２を用いて、第２の実施形態に係るロボット１０の処理または動作を制御する制御装置３０の機能構成について説明する。第２の実施形態に係る制御装置３０は、第１の実施形態に係る制御装置３０によって実現される機能（図８参照）から画像処理部４１、注目点算出部４２および目標点算出部４３を除いた機能を実現する。具体的には、第２の実施形態に係る制御装置３０によって実現される機能は、送受信部３１、操作入力受付部３２、表示制御部３３、判断部３４、撮影指示部３５、画像取得部３６、移動制御部３７、向き調整部３８、位置特定部３９、周辺情報検出部４４、存在通知部４５、記憶・読出部４６および記憶部３０００を含む。第２の実施形態に係る制御装置３０によって実現されるそれぞれの機能は、図８に示した内容と同様であるため、説明を省略する。
◯ Functional Configuration of
〇表示端末５０の機能構成〇
次に、図３２を用いて、表示端末５０の機能構成について説明する。第２の実施形態に係る表示端末５０によって実現される機能は、第１の実施形態に係る表示端末５０によって実現される機能（図８参照）に加えて、画像処理部６１、注目点算出部６２および目標点算出部６３を含む。具体的には、表示端末５０により実現される機能は、送受信部５１、操作入力受付部５２、表示制御部５３、判断部５４、要求コマンド生成部５５、視線検出部５６、記憶・読出部５７、画像処理部６１、注目点算出部６２、目標点算出部６３および記憶部５０００を含む。また、送受信部５１は、撮影装置２１によって取得された画像である画像データ２００を受信（取得）する取得手段の一例である。さらに、送受信部５１は、後述する目標点算出部６３によって算出された目標点へロボット１０を移動させるための要求コマンド（要求情報）を、ロボット１０へ送信する第２の送信手段の一例である。
* Functional configuration of
画像処理部６１は、送受信部５１によって受信（取得）された画像に対する処理を行う機能である。画像処理部６１は、例えば、送受信部５１によって取得された画像データ２００に含まれる人物の頭の画像を抽出する。また、画像処理部６１は、例えば、送受信部５１によって取得された人物の目と鼻の画像を抽出する。画像処理部６１は、主に、図６に示したＣＰＵ５０１の処理によって実現される。
The
注目点算出部６２は、画像処理部６１によって処理された画像データに含まれる複数の人物の位置および向きに基づいて、複数の人が注目する注目点を特定する機能である。注目点算出部６２が実現する機能は、図８に示した注目点算出部４２と同様であるため、説明を省略する。注目点算出部６２は、主に、図６に示したＣＰＵ５０１の処理によって実現される。注目点算出部６２は、算出手段の一例である。また、注目点算出部６２は、推定手段の一例である。さらに、注目点算出部６２は、注目点特定手段の一例である。
The point-of-
目標点算出部６３は、注目点算出部６２によって算出された注目点に基づいて、ロボット１０の移動先となる目標点を特定する機能である。目標点算出部６３が実現する機能は、図８に示した目標点算出部４３と同様であるため、説明を省略する。目標点算出部６３は、主に、図６に示したＣＰＵ５０１の処理によって実現される。目標点算出部６３は、算出手段の一例である。また、目標点算出部６３は、目標点特定手段の一例である。
The target
●第２の実施形態の処理または動作
続いて、図３３を用いて、第２の実施形態に係る遠隔制御システムにおけるロボットの処理または動作について説明する。なお、図３３において、ロボット１０が備える制御装置３０によって実行される処理は、ロボット１０によって実行される処理として説明する。図３３は、第２の実施形態に係る遠隔制御システムにおけるロボットの制御処理の一例を説明するためのシーケンス図である。
●Processing or operation of the second embodiment Subsequently, the processing or operation of the robot in the remote control system according to the second embodiment will be described with reference to FIG. Note that in FIG. 33 , the processing executed by the
ステップＳ２０１において、ロボット１０の画像取得部３６は、撮影装置２１によって撮影された画像である画像データ２００を取得する。
In step S<b>201 , the
ステップＳ２０２－１,Ｓ２０２－２において、ロボット１０の送受信部３１は、確立された管理サーバ９０との通信セッションを用いて、画像取得部３６によって取得された画像データ２００を、表示端末５０へ送信する。これにより、表示端末５０の送受信部５１は、撮影装置２１によって取得された画像である画像データ２００を受信（取得）する（取得ステップの一例）。
In steps S202-1 and S202-2, the transmission/
ステップＳ２０３において、表示端末５０の表示制御部５３は、送受信部５１によって受信された画像データ２００を、ディスプレイ５１２の表示画面６００（図１８（ｂ）参照）に表示させる。これによって、表示端末５０を用いてロボット１０を操作する操作者は、ロボット１０が位置する拠点の状況を、画像データ２００が表示された表示画面６００を見ながら確認することができる。
In step S203, the
ステップＳ２０４において、表示端末５０は、ロボット１０の移動先となる目標点の算出処理を実行する（算出ステップの一例）。表示端末５０の画像処理部６１、注目点算出部６２および目標点算出部６３による目標点算出処理は、図１９に示した処理と同様であるため、説明を省略する。
In step S204, the
ステップＳ２０５において、表示端末５０の要求コマンド生成部５５は、目標点算出部６３によって算出された目標点に基づいて、ロボット１０へ送信する要求コマンドを生成する。この場合、要求コマンド生成部５５によって生成される要求コマンドは、目標点算出部６３によって算出された目標位置Ｇの座標情報（Ｘ，Ｙ）を変数とする「ＧＯ（Ｘ，Ｙ）」コマンドを含む。また、要求コマンド生成部５５によって生成される要求コマンドは、目標点算出部６３によって算出されたロボット１０の向き（θ）を変数とする「ＴＵＲＮ（θ）」コマンドを含む。要求コマンド生成部５５によって生成される要求コマンドは、目標点算出部６３によって算出された目標点へロボット１０を移動させるための要求情報の一例である。
In step S<b>205 , the
ステップＳ２０６－１,Ｓ２０６－２において、表示端末５０の送受信部３１は、確立された管理サーバ９０との通信セッションを用いて、要求コマンド生成部５５によって生成された要求コマンド（「ＧＯ（Ｘ，Ｙ）」，「ＴＵＲＮ（θ）」）を、ロボット１０へ送信する。これにより、ロボット１０の送受信部３１は、要求コマンド（「ＧＯ（Ｘ，Ｙ）」，「ＴＵＲＮ（θ）」）を受信する。
In steps S206-1 and S206-2, the transmission/
ステップＳ２０７において、ロボット１０の記憶・読出部４６は、記憶部５０００に記憶されたコマンドテーブル５００１を読み出す。ステップＳ２０８において、ロボット１０の判断部３４は、記憶・読出部４６によって読み出されたコマンドテーブル３００１を検索し、送受信部３１によって受信された要求コマンドに対応する処理を抽出する。この場合、送受信部３１によって受信された要求コマンドが「ＧＯ（Ｘ，Ｙ）」および「ＴＵＲＮ（θ）」であるため、判断部３４は、コマンドテーブル３００１を検索して、要求コマンド「ＧＯ（Ｘ，Ｙ）」および「ＴＵＲＮ（θ）」に対応する処理を抽出する。抽出される処理は、「ロボット１０を（Ｘ，Ｙ）の位置まで移動させる」および「ロボット１０を右のθ°回転させる」である。
In step S<b>207 , the storage/
ステップＳ２０９において、ロボット１０は、上記ステップＳ２０８によって抽出された処理を実行する。具体的には、ロボット１０の判断部３４は、抽出した処理の実行要求を、移動制御部３７へ通知する。そして、移動制御部３７は、判断部３４によって抽出された処理に基づいて、ロボット１０を移動させる。ロボット１０の移動処理は、図２８で示した処理と同様であるため、説明を省略する。
At step S209, the
そして、ロボット１０の送受信部３１は、表示端末５０から送信されてきた要求コマンドに含まれる目標点において撮影装置２１によって撮影された画像データ２００を、表示端末５０へ送信する。表示端末５０は、ロボット１０から送信されてきた画像データ２００を受信する。これによって、表示端末５０は、要求コマンドに含まれる目標点において、ロボット１０の周囲を撮影して取得された画像データ２００を表示することができる。
Then, the transmission/
●第２の実施形態の効果
以上説明したように、第２の実施形態に係る遠隔制御システム１ｂは、ロボット１０（移動体の一例）の目標点算出処理を、通信ネットワーク９を介してロボット１０を遠隔操作する表示端末５０が行う。そのため、第２の実施形態に係る遠隔制御システム１ｂは、ロボット１０の処理負担を低減させることができるとともに、ロボット１０が位置する拠点と表示端末５０との間における、ロボット１０を用いた遠隔コミュニケーションを活性化させることができる。
Effects of the Second Embodiment As described above, the
ここで、第２の実施形態に係る遠隔制御システム１ｂにおいて、表示端末５０は、本発明に係る情報処理装置の一例である。情報処理装置としての表示端末５０は、撮影装置２１によって取得された画像データ２００を取得する送受信部５１（取得手段の一例）と、取得された画像データ２００に含まれる複数の人物の位置および向きに基づいて、ロボット１０の移動先を示す目標点を算出する注目点算出部６２および目標点算出部６３（算出手段の一例）とを備え、算出された目標点へロボット１０を移動させる。そのため、第２の実施形態に係る情報処理装置としての表示端末５０は、一方の拠点の複数の参加者の位置と向きに基づいてロボット１０の移動先を算出し、算出した移動先へロボット１０を移動させることで、他方の拠点にいる参加者との遠隔コミュニケーションを活性化させることができる。
Here, in the
●第３の実施形態●
次に、第３の実施形態に係る遠隔制御システムついて説明する。なお、第１の実施形態または第２の実施形態と同一構成および同一機能は、同一の符号を付して、その説明を省略する。第３の実施形態に係る遠隔制御システム１ｃは、ロボット１０の位置調整処理を、ロボット１０および表示端末５０と通信ネットワーク９を介して通信可能な画像処理サーバ７０が行う構成である。
●Third Embodiment●
Next, a remote control system according to the third embodiment will be described. The same reference numerals are given to the same configurations and the same functions as those of the first embodiment or the second embodiment, and the description thereof will be omitted. The remote control system 1 c according to the third embodiment is configured such that the position adjustment processing of the
●システム構成
まずは、図３４を用いて、第３の実施形態の遠隔制御システムの構成の概略について説明する。図３４は、第３の実施形態に係る遠隔制御システムのシステム構成の一例を示す図である。図３４に示すように、第３の実施形態の遠隔制御システム１ｃは、図１に示した構成に、画像処理サーバ７０が追加されている。画像処理サーバ７０は、通信ネットワーク９を介して、ロボット１０、表示端末５０および管理サーバ９０と通信可能に接続されている。画像処理サーバ７０は、管理サーバ９０によって確立された通信セッションを用いて、ロボット１０または表示端末５０との間で、画像データの送受信を行う。
● System configuration First, the outline of the configuration of the remote control system of the third embodiment will be described with reference to FIG. 34 . FIG. 34 is a diagram showing an example of a system configuration of a remote control system according to the third embodiment; As shown in FIG. 34, the remote control system 1c of the third embodiment has an
画像処理サーバ７０は、サーバコンピュータであり、複数台のサーバコンピュータで分散して画像処理を行なう場合も含まれる。画像処理サーバ７０は、ロボット１０の移動状態に応じて、ロボット１０から送信されてきた画像データ２００の画像処理を行い、処理データを表示端末５０へ送信する。なお、画像処理サーバ７０は、複数台のサーバコンピュータにより構成されてもよく、どのサーバコンピュータに機能を備えさせてもよい。画像処理サーバ７０は、情報処理装置の一例である。
The
ここで、画像処理サーバ７０と管理サーバ９０は、サーバシステム７を構成する。画像処理サーバ７０と管理サーバ９０は、一台のサーバコンピュータにより構成されてもよい。また、表示端末５０と画像処理サーバ７０は、表示システム５を構成する。さらに、ロボット１０（１０Ａ,１０Ｂ,１０Ｃ）と画像処理サーバ７０は、移動体制御システム（伝送制御システム）３を構成する。
Here, the
なお、画像処理サーバ７０のハードウエア構成は、図７に示した管理サーバ９０のハードウエア構成と同様であるため、説明を省略する。以下、画像処理サーバ７０は、図７に示したハードウエア構成を有するものとして説明する。
Note that the hardware configuration of the
●機能構成
図３５は、第３の実施形態に係る遠隔制御システムの機能構成の一例を示す図である。画像処理サーバ７０によって実現される機能は、送受信部７１、判断部７２、データ処理部７３、画像処理部７４、注目点算出部７５、目標点算出部７６、記憶・読出部７７および記憶部７０００を含む。
●Functional Configuration FIG. 35 is a diagram showing an example of the functional configuration of the remote control system according to the third embodiment. The functions realized by the
送受信部７１は、通信ネットワーク９を介して、他の装置（例えば、管理サーバ９０、表示端末５０またはロボット１０）との間で各種データまたは情報の送受信を行う機能である。送受信部７１は、例えば、撮影装置２１によって取得された画像である画像データ２００を受信（取得）する。また、送受信部７１は、データ処理部７３によって生成された要求データ（要求情報）を、通信ネットワーク９を介して、ロボット１０へ送信する。送受信部７１は、主に、図７に示したＣＰＵ９０１の処理、およびネットワークＩ／Ｆ９０９によって実現される。送受信部７１は、取得手段の一例である。また、送受信部７１は、第３の送信手段の一例である。
The transmitting/receiving
判断部７２は、送受信部７１によって送受信される各種データに対する処理の内容を判断する機能である。判断部７２は、主に、図７に示したＣＰＵ９０１の処理によって実現される。
The
データ処理部７３は、送受信部７１によって送受信される各種データの処理を行う機能である。データ処理部７３は、目標点算出部７６によって算出された目標点へロボット１０を移動させるための要求データ（要求情報）を生成する。データ処理部７３は、主に、図１５に示したＣＰＵ９０１の処理によって実現される。
The
画像処理部７４は、送受信部７１によって受信（取得）された画像に対する処理を行う機能である。画像処理部７４は、例えば、送受信部７１によって取得された画像データ２００に含まれる人物の頭の画像を抽出する。また、画像処理部７４は、例えば、送受信部７１によって取得された人物の目と鼻の画像を抽出する。画像処理部７４は、主に、図７に示したＣＰＵ９０１の処理によって実現される。
The image processing unit 74 has a function of processing an image received (acquired) by the transmission/
注目点算出部７５は、画像処理部７４によって処理された画像データに含まれる複数の人物の位置および向きに基づいて、複数の人が注目する注目点を特定する機能である。注目点算出部７５が実現する機能は、図８に示した注目点算出部４２と同様であるため、説明を省略する。注目点算出部７５は、主に、図７に示したＣＰＵ９０１の処理によって実現される。注目点算出部７５は、算出手段の一例である。また、注目点算出部７５は、推定手段の一例である。さらに、注目点算出部７５は、注目点特定手段の一例である。
The point-of-interest calculation unit 75 is a function that identifies an attention point that a plurality of persons pays attention to based on the positions and orientations of the plurality of persons included in the image data processed by the image processing unit 74 . Since the function realized by the attention point calculation unit 75 is the same as that of the attention
目標点算出部７６は、注目点算出部７５によって算出された注目点に基づいて、ロボット１０の移動先となる目標点を特定する機能である。目標点算出部７６が実現する機能は、図８に示した目標点算出部４３と同様であるため、説明を省略する。目標点算出部７６は、主に、図７に示したＣＰＵ９０１の処理によって実現される。目標点算出部７６は、算出手段の一例である。また、目標点算出部７６は、目標点特定手段の一例である。
The target
記憶・読出部７７は、記憶部７０００に各種データを記憶させ、または記憶部７０００から各種データを読み出す機能である。記憶・読出部７７は、主に、図７に示したＣＰＵ９０１の処理によって実現される。また、記憶部７０００は、主に、図７に示したＲＯＭ９０２、ＨＤ９０４または記録メディア９０６によって実現される。
The storage/
また、記憶部７０００は、送受信部７１によって受信された画像データ２００、および画像データ２５０を記憶している。さらに、記憶部７０００は、条件テーブル７００１を記憶している。なお、条件テーブル７００１は、図１１に示した条件テーブル３００２と同様であるため、説明を省略する。また、記憶部７０００に記憶されている画像データ２００および画像データ２５０は、送受信部７１によって受信されてから所定の時間経過した場合に削除される構成であってもよいし、操作入力受付部５２によって受け付けられた、ユーザからの削除命令に基づいて削除される構成であってもよい。同様に、記憶部５０００に記憶されている画像データ２５０は、ＣＭＯＳセンサ５０５ａによって取得されてから所定の時間経過した場合に削除される構成であってもよいし、ロボット１０または表示端末５０へ送信されたデータが削除される構成であってもよい。
●第３の実施形態の処理または動作
続いて、図３６を用いて、第３の実施形態に係る遠隔制御システムにおけるロボットの処理または動作について説明する。なお、図３６において、ロボット１０が備える制御装置３０によって実行される処理は、ロボット１０によって実行される処理として説明する。図３６は、第３の実施形態に係る遠隔制御システムにおけるロボットの制御処理の一例を説明するためのシーケンス図である。
● Processing or operation of the third embodiment Subsequently, the processing or operation of the robot in the remote control system according to the third embodiment will be described with reference to FIG. 36 . 36, the processing executed by the
ステップＳ３０１において、ロボット１０の画像取得部３６は、撮影装置２１によって取得された画像である画像データ２００を取得する。
In step S<b>301 , the
ステップＳ３０２－１,Ｓ３０２－２,Ｓ３０２－３において、ロボット１０の送受信部３１は、確立された管理サーバ９０との通信セッションを用いて、画像取得部３６によって取得された画像データ２００を、表示端末５０へ送信する。このうち、画像処理サーバ７０の送受信部７１は、ロボット１０から送信されてきた、撮影装置２１によって取得された画像である画像データ２００を受信（取得）する（取得ステップの一例）。これにより、表示端末５０の送受信部５１は、画像データ２００を受信する。
In steps S302-1, S302-2, and S302-3, the transmitter/
ステップＳ３０３において、表示端末５０の表示制御部５３は、送受信部５１によって受信された画像データ２００を、ディスプレイ５１２の表示画面６００（図１８（ｂ）参照）に表示させる。これによって、表示端末５０を用いてロボット１０を操作する操作者は、ロボット１０が位置する拠点の状況を、画像データ２００が表示された表示画面６００を見ながら確認することができる。
In step S303, the
ステップＳ３０４において、画像処理サーバ７０は、ロボット１０の移動先となる目標点の算出処理を実行する（算出ステップの一例）。画像処理サーバ７０の画像処理部７４、注目点算出部７５および目標点算出部７６による目標点算出処理は、図１９に示した処理と同様であるため、説明を省略する。
In step S304, the
ステップＳ３０５において、画像処理サーバ７０のデータ処理部７３は、目標点算出部７６によって算出された目標点へロボット１０を移動させるために、ロボット１０へ送信する要求データ（要求情報）を生成する。この場合、データ処理部７３によって生成される要求データは、目標点算出部６３によって算出された目標位置Ｇ（Ｘ，Ｙ）を示す位置情報、ロボット１０の移動先におけるロボット１０の向き（θ）を示す方向情報を含む。データ処理部７３によって生成される要求データは、表示端末５０の要求コマンド生成部５５によって生成される要求コマンドに対応する。
In step S<b>305 , the
ステップＳ３０６－１,Ｓ３０６－２において、画像処理サーバ７０の送受信部７１は、データ処理部７３によって生成された要求データ（要求情報）を、ロボット１０へ送信する。これにより、ロボット１０の送受信部３１は、要求データ（要求情報）を受信する。
In steps S306-1 and S306-2, the transmission/
ステップＳ３０７において、ロボット１０の記憶・読出部４６は、記憶部５０００に記憶されたコマンドテーブル５００１を読み出す。ステップＳ３０８において、ロボット１０の判断部３４は、記憶・読出部４６によって読み出されたコマンドテーブル３００１を検索し、送受信部３１によって受信された要求データ（要求データに対応する要求コマンド）に対応する処理を抽出する。この場合、送受信部３１によって受信された要求データに対応する要求コマンドが「ＧＯ（Ｘ，Ｙ）」および「ＴＵＲＮ（θ）」であるため、判断部３４は、コマンドテーブル３００１を検索して、要求コマンド「ＧＯ（Ｘ，Ｙ）」および「ＴＵＲＮ（θ）」に対応する処理を抽出する。抽出される処理は、「ロボット１０を（Ｘ，Ｙ）の位置まで移動させる」および「ロボット１０を右のθ°回転させる」である。
In step S<b>307 , the storage/
ステップＳ３０９において、ロボット１０は、上記ステップＳ３０８によって抽出された処理を実行する。具体的には、ロボット１０の判断部３４は、抽出した処理の実行要求を、移動制御部３７へ通知する。そして、移動制御部３７は、判断部３４によって抽出された処理に基づいて、ロボット１０を移動させる。ロボット１０の移動処理は、図２８で示した処理と同様であるため、説明を省略する。
At step S309, the
そして、ロボット１０の送受信部３１は、画像処理サーバ７０から送信されてきた要求データに含まれる目標点において撮影装置２１によって撮影された画像データ２００を、表示端末５０へ送信する。表示端末５０は、ロボット１０から送信されてきた画像データ２００を受信する。これによって、表示端末５０は、画像処理サーバ７０によって生成された要求データに含まれる目標点において、ロボット１０の周囲を撮影して取得された画像データ２００を表示することができる。
Then, the transmitter/
●第３の実施形態の効果
以上説明したように、第３の実施形態に係る遠隔制御システム１ｃは、ロボット１０（移動体の一例）の目標点算出処理を、通信ネットワーク９を介してロボット１０および表示端末５０と通信可能な画像処理サーバ７０が行う構成である。そのため、第３の実施形態に係る遠隔制御システム１ｃは、ロボット１０および表示端末５０の処理負担を低減させることができるとともに、ロボット１０が位置する拠点と表示端末５０との間における、ロボット１０を用いた遠隔コミュニケーションを活性化させることができる。
Effects of the Third Embodiment As described above, the remote control system 1c according to the third embodiment performs target point calculation processing for the robot 10 (an example of a moving body) via the
ここで、第３の実施形態に係る遠隔制御システム１ｃにおいて、画像処理サーバ７０は、本発明に係る情報処理装置の一例である。情報処理装置としての画像処理サーバ７０は、撮影装置２１によって取得された画像データ２００を取得する送受信部７１（取得手段の一例）と、取得された画像データ２００に含まれる複数の人物の位置および向きに基づいて、ロボット１０（移動体の一例）の移動先を示す目標点を算出する注目点算出部７５および目標点算出部７６（算出手段の一例）とを備え、算出された目標点へロボット１０を移動させる。そのため、第３の実施形態に係る情報処理装置としての画像処理サーバ７０は、一方の拠点の複数の参加者の位置と向きに基づいてロボット１０の移動先を算出し、算出した移動先へロボット１０を移動させることで、他方の拠点にいる参加者との遠隔コミュニケーションを活性化させることができる。
Here, in the remote control system 1c according to the third embodiment, the
●まとめ●
以上説明したように、本発明の一実施形態に係る情報処理装置は、被写体を撮影して画像データ２００を取得する撮影装置２１を備えるロボット１０（移動体の一例）の位置を調整する情報処理装置であって、撮影装置２１によって取得された画像データ２００を取得する取得し、画像データ２００に含まれる複数の人物の位置および向きに基づいて、ロボット１０の移動先を示す目標点を算出する。そして、本発明の一実施形態に係る情報処理装置は、目標点を算出することで、ロボット１０を目標点へ移動させる。そのため、本発明の一実施形態に係る情報処理装置は、ロボット１０を用いた円滑なコミュニケーションを実現させることができる。
●Summary●
As described above, the information processing apparatus according to one embodiment of the present invention performs information processing for adjusting the position of the robot 10 (an example of a moving object) provided with the
また、本発明の一実施形態に係る遠隔制御システム１ａは、被写体を撮影して画像データ２００を取得する撮影装置２１を備えるロボット１０（移動体の一例）と、ロボット１０と通信ネットワーク９を介して通信可能であり、ロボット１０を遠隔操作する表示端末５０と、を備える。そして、ロボット１０は、撮影装置２１によって取得された画像データ２００を取得する画像取得部３６（取得手段の一例）と、取得された画像データ２００に含まれる複数の人物の位置および向きに基づいて、ロボット１０の移動先を示す目標点を算出する注目点算出部４２および目標点算出部４３（算出手段の一例）と、算出された目標点へロボット１０を移動させる移動制御部３７（移動制御手段の一例）と、算出された目標点において撮影装置２１によって取得された画像データ２００を、表示端末５０へ送信する送受信部３１（第１の送信手段の一例）を備える。また、表示端末５０は、ロボット１０から送信された画像データ２００を受信する送受信部５１（受信手段の一例）と、受信された画像データ２００を、ディスプレイ５１２（表示手段の一例）に表示させる表示制御部５３（表示制御手段の一例）と、を備える。そのため、遠隔制御システム１ａは、ロボット１０が位置する拠点と表示端末５０との間における、ロボット１０を用いた遠隔コミュニケーションを活性化させることができる。
Further, the
さらに、本発明の一実施形態に係る遠隔制御システム１ｂは、被写体を撮影して画像データ２００を取得する撮影装置２１を備えるロボット１０（移動体の一例）と、ロボット１０と通信ネットワーク９を介して通信可能であり、ロボット１０を遠隔操作する表示端末５０と、を備える。そして、表示端末５０は、撮影装置２１によって取得された画像データ２００を取得する送受信部５１（取得手段の一例）と、取得された画像データ２００に含まれる複数の人物の位置および向きに基づいて、ロボット１０の移動先を示す目標点を算出する注目点算出部６２および目標点算出部６３（算出手段の一例）と、算出された目標点へロボット１０を移動させるための要求コマンド（要求情報の一例）を、ロボット１０を送信する送受信部５１（第２の送信手段の一例）と、を備える。また、ロボット１０は、算出された目標点へロボット１０を移動させる移動制御部３７（移動制御手段の一例）と、表示端末５０から送信された要求コマンドに含まれる目標点において撮影装置２１によって取得された画像データ２００を、表示端末５０へ送信する送受信部３１（第１の送信手段の一例）と、を備える。さらに、表示端末５０は、ロボット１０から送信された画像データ２００を受信する送受信部５１（受信手段の一例）と、受信された画像データ２００を、ディスプレイ５１２（表示手段の一例）に表示させる表示制御部５３（表示制御手段の一例）と、を備える。そのため、遠隔制御システム１ｂは、ロボット１０が位置する拠点と表示端末５０との間における、ロボット１０を用いた遠隔コミュニケーションを活性化させることができる。
Further, the
また、本発明の一実施形態に係る遠隔制御システム１ｃは、被写体を撮影して画像データ２００を取得する撮影装置２１を備えるロボット１０（移動体の一例）と、ロボット１０と通信ネットワーク９を介して通信可能であり、ロボット１０を遠隔操作する表示端末５０と、ロボット１０および表示端末５０のそれぞれと通信ネットワーク９を介して通信可能な画像処理サーバ７０（情報処理装置の一例）と、を備える。そして、画像処理サーバ７０は、撮影装置２１によって取得された画像データ２００を取得する送受信部７１（取得手段の一例）と、取得された画像データ２００に含まれる複数の人物の位置および向きに基づいて、ロボット１０の移動先を示す目標点を算出する注目点算出部７５および目標点算出部７６（算出手段の一例）と、算出された目標点へロボット１０を移動させるための要求データ（要求情報の一例）を、ロボット１０を送信する送受信部７１（第３の送信手段の一例）と、を備える。また、ロボット１０は、算出された目標点へロボット１０を移動させる移動制御部３７（移動制御手段の一例）と、画像処理サーバ７０から送信された要求データに含まれる目標点において撮影装置２１によって取得された画像データ２００を、表示端末５０へ送信する送受信部３１（第１の送信手段の一例）と、を備える。さらに、表示端末５０は、ロボット１０から送信された画像データ２００を受信する送受信部５１（受信手段の一例）と、受信された画像データ２００を、ディスプレイ５１２（表示手段の一例）に表示させる表示制御部５３（表示制御手段の一例）と、を備える。そのため、遠隔制御システム１ｃは、ロボット１０が位置する拠点と表示端末５０との間における、ロボット１０を用いた遠隔コミュニケーションを活性化させることができる。
Further, the remote control system 1c according to one embodiment of the present invention includes a robot 10 (an example of a mobile body) equipped with a photographing
●補足●
なお、各実施形態の機能は、アセンブラ、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ（登録商標）等のレガシープログラミング言語やオブジェクト指向プログラミング言語等で記述されたコンピュータ実行可能なプログラムにより実現でき、ＲＯＭ、ＥＥＰＲＯＭ、ＥＰＲＯＭ（Erasable Programmable Read-Only Memory）、フラッシュメモリ、フレキシブルディスク、ＣＤ－ＲＯＭ、ＣＤ－ＲＷ、ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭ、ＤＶＤ－ＲＷ、ブルーレイディスク、ＳＤカード、ＭＯ（Magneto-Optical disc）等の装置可読な記録媒体に格納して、または電気通信回線を通じて頒布することができる。
● Supplement ●
The functions of each embodiment can be realized by computer-executable programs written in legacy programming languages such as assembler, C, C++, C#, Java (registered trademark), object-oriented programming languages, etc. , EPROM (Erasable Programmable Read-Only Memory), Flash memory, Flexible disk, CD-ROM, CD-RW, DVD-ROM, DVD-RAM, DVD-RW, Blu-ray disc, SD card, MO (Magneto-Optical disc) It can be stored in a device-readable recording medium such as, or distributed through an electric communication line.
また、各実施形態の機能の一部または全部は、例えばＦＰＧＡ（Field Programmable Gate Array）等のプログラマブル・デバイス（PD）上に実装することができ、またはＡＳＩＣとして実装することができ、各実施形態の機能をＰＤ上に実現するためにＰＤにダウンロードする回路構成データ（ビットストリームデータ）、回路構成データを生成するためのＨＤＬ（Hardware Description Language）、ＶＨＤＬ（Very High Speed Integrate
d Circuits Hardware Description Language）、Ｖｅｒｉｌｏｇ－ＨＤＬ等により記述されたデータとして記録媒体により配布することができる。
Also, part or all of the functions of each embodiment can be implemented on a programmable device (PD) such as an FPGA (Field Programmable Gate Array), or can be implemented as an ASIC. circuit configuration data (bit stream data) downloaded to the PD to realize the functions of the PD, HDL (Hardware Description Language) for generating the circuit configuration data, VHDL (Very High Speed Integrate
d Circuits Hardware Description Language), Verilog-HDL, etc. can be distributed by a recording medium.
これまで本発明の一実施形態に係る情報処理装置、移動体、遠隔制御システム、情報処理方法およびプログラムについて説明してきたが、本発明は上述した実施形態に限定されるものではなく、他の実施形態の追加、変更または削除等、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。 An information processing apparatus, a mobile object, a remote control system, an information processing method, and a program according to one embodiment of the present invention have been described so far, but the present invention is not limited to the above-described embodiment, and other embodiments. Modifications such as additions, changes, deletions, etc. of forms can be made within the range that a person skilled in the art can conceive. be.
１ａ、１ｂ、１ｃ 遠隔制御システム
１０ ロボット（移動体の一例）
１７ 移動機構
２１ 撮影装置
３０ 制御装置（情報処理装置の一例）
３１ 送受信部（第１の送信手段の一例）
３６ 画像取得部（取得手段の一例）
３７ 移動制御部（移動制御手段の一例）
３９ 位置特定部（位置検出手段の一例）
４１ 画像処理部
４２ 注目点算出部（算出手段の一例、推定手段の一例、注目点特定手段の一例）
４３ 目標点算出部（算出手段の一例、目標点特定手段の一例）
４５ 存在通知部（存在通知手段の一例）
５０ 表示端末（情報処理装置の一例）
５１ 送受信部（取得手段の一例、受信手段の一例、第２の送信手段の一例）
５３ 表示制御部（表示制御手段の一例）
６１ 画像処理部
６２ 注目点算出部（算出手段の一例、推定手段の一例、注目点特定手段の一例）
６３ 目標点算出部（算出手段の一例、目標点特定手段の一例）
７０ 画像処理サーバ（情報処理装置の一例）
７１ 送受信部（取得手段の一例、第３の送信手段の一例）
７４ 画像処理部
７５ 注目点算出部（算出手段の一例、推定手段の一例、注目点特定手段の一例）
７６ 目標点算出部（算出手段の一例、目標点特定手段の一例）
９０ 管理サーバ
1a, 1b, 1c
17 moving
31 transmission/reception unit (an example of first transmission means)
36 image acquisition unit (an example of acquisition means)
37 movement control unit (an example of movement control means)
39 Position specifying unit (an example of position detection means)
41
43 Target point calculation unit (an example of calculation means, an example of target point identification means)
45 Presence notification unit (an example of presence notification means)
50 display terminal (an example of an information processing device)
51 Transceiver (an example of acquisition means, an example of reception means, an example of second transmission means)
53 Display control unit (an example of display control means)
61
63 Target point calculation unit (an example of calculation means, an example of target point identification means)
70 image processing server (an example of an information processing device)
71 transmission/reception unit (an example of acquisition means, an example of third transmission means)
74 image processing unit 75 attention point calculation unit (an example of calculation means, an example of estimation means, an example of attention point specifying means)
76 target point calculation unit (an example of calculation means, an example of target point identification means)
90 management server
請求項１に係る情報処理装置は、被写体を撮影して画像データを取得する撮影装置を備える移動体を移動させる情報処理装置であって、前記撮影装置によって取得された前記画像データに含まれる人物が注目する注目点を特定する注目点特定手段を備え、前記注目点に基づいて前記移動体を移動させることを特徴とする。
An information processing apparatus according to
Claims (15)
前記撮影装置によって取得された前記画像データを取得する取得手段と、
前記取得された画像データに含まれる複数の人物の位置および向きに基づいて、前記移動体の移動先を示す目標点を算出する算出手段と、を備え、
前記算出手段によって前記目標点を算出することで、前記移動体を前記目標点へ移動させる情報処理装置。 An information processing device for adjusting the position of a moving object, comprising a photographing device for photographing a subject and acquiring image data,
an acquisition means for acquiring the image data acquired by the imaging device;
calculating means for calculating a target point indicating a destination of the moving body based on the positions and orientations of the plurality of persons included in the acquired image data;
An information processing apparatus for moving the moving body to the target point by calculating the target point by the calculation means.
前記算出手段は、
前記取得された画像データに含まれる複数の人物の位置および向きを推定する推定手段と、
前記推定された位置および向きに基づいて、前記複数の人物が注目する注目点を特定する注目点特定手段と、
前記特定された注目点に基づいて、前記目標点を特定する目標点特定手段と、
を有する情報処理装置。 The information processing device according to claim 1 or 2,
The calculation means is
estimating means for estimating the positions and orientations of a plurality of persons included in the acquired image data;
Point-of-interest identifying means for identifying a point of interest on which the plurality of persons pays attention based on the estimated position and orientation;
target point specifying means for specifying the target point based on the specified target point;
Information processing device having
前記目標点特定手段は、
前記推定された注目点から、前記注目点と前記複数の人物との距離の平均値だけ離れた位置を、前記目標位置として特定する請求項３に記載の情報処理装置。 The target point includes position information indicating the target position of the destination,
The target point specifying means is
4. The information processing apparatus according to claim 3, wherein a position separated from the estimated point of interest by an average value of distances between the point of interest and the plurality of persons is specified as the target position.
前記目標点特定手段は、
現在の移動体の位置から見た前記推定された注目点の方向を、前記移動体の向きとして特定する、請求項３または４に記載の情報処理装置。" the target point includes direction information indicating the direction of the moving body at the destination;
The target point specifying means is
5. The information processing apparatus according to claim 3, wherein the estimated direction of the point of interest viewed from the current position of the moving body is specified as the direction of the moving body. "
前記算出された目標点へ前記移動体を移動させる移動機構と、
を備えた移動体。 an information processing apparatus according to any one of claims 1 to 5;
a moving mechanism for moving the moving body to the calculated target point;
A mobile object with
前記移動体の現在位置を検出する位置検出手段と、
前記検出された現在位置と前記算出された目標点との距離が閾値以下または閾値より小さい場合、前記移動体の存在を通知する通知情報を出力する存在通知手段と、
を備える移動体。 The mobile object according to claim 6, further comprising:
a position detection means for detecting the current position of the moving object;
Presence notification means for outputting notification information for notifying the presence of the moving object when the distance between the detected current position and the calculated target point is equal to or less than a threshold or smaller than a threshold;
A mobile body with
前記存在通知手段は、検出された現在位置と前記算出された目標点との距離が閾値以上または閾値より長い場合、前記音信号を出力する、請求項７に記載の移動体。 The notification information is a sound signal,
8. The moving body according to claim 7, wherein said presence notifying means outputs said sound signal when the distance between the detected current position and said calculated target point is equal to or greater than a threshold or longer than a threshold.
前記撮影装置によって取得された前記画像データを取得する取得手段と、
前記取得された画像データに含まれる複数の人物の位置および向きに基づいて、前記移動体の移動先を示す目標点を算出する算出手段と、
前記算出された目標点へ前記移動体を移動させる移動制御手段と、
を備える遠隔制御システム。 A remote control system comprising: a mobile body equipped with an imaging device for capturing an image of a subject and acquiring image data; and a display terminal capable of communicating with the mobile body via a communication network and remotely controlling the mobile body. hand,
an acquisition means for acquiring the image data acquired by the imaging device;
calculation means for calculating a target point indicating a destination of the moving object based on the positions and orientations of the plurality of persons included in the acquired image data;
a movement control means for moving the moving body to the calculated target point;
A remote control system with
前記移動体は、
前記算出された目標点において前記撮影装置によって取得された画像データを、前記表示端末へ送信する第１の送信手段を備え、
前記表示端末は、
前記第１の送信手段によって送信された前記画像データを受信する受信手段と、
前記受信された画像データを、表示手段に表示させる表示制御手段と、を備える遠隔制御システム。 A remote control system according to claim 9, wherein
The moving body is
a first transmitting means for transmitting image data acquired by the imaging device at the calculated target point to the display terminal;
The display terminal is
receiving means for receiving the image data transmitted by the first transmitting means;
and display control means for displaying the received image data on a display means.
前記表示端末は、
前記算出された目標点へ前記移動体を移動させるための要求情報を、前記移動体へ送信する第２の送信手段を備え、
前記移動体は、
前記第２の送信手段によって送信された前記要求情報に含まれる前記目標点において前記撮影装置によって取得された画像データを、前記表示端末へ送信する第１の送信手段を備え、
前記表示端末は、更に、
前記第１の送信手段によって送信された前記画像データを受信する受信手段と、
前記受信された画像データを、表示手段に表示させる表示制御手段と、を備える遠隔制御システム。 A remote control system according to claim 9, wherein
The display terminal is
a second transmitting means for transmitting request information for moving the moving body to the calculated target point to the moving body;
The moving body is
a first transmitting means for transmitting to the display terminal the image data acquired by the imaging device at the target point included in the request information transmitted by the second transmitting means;
The display terminal further
receiving means for receiving the image data transmitted by the first transmitting means;
and display control means for displaying the received image data on a display means.
前記移動体および前記表示端末のそれぞれと前記通信ネットワークを介して通信可能な情報処理装置を備え、
前記情報処理装置は、
前記算出された目標点へ前記移動体を移動させるための要求情報を、前記移動体へ送信する第３の送信手段を備え、
前記移動体は、
前記第３の送信手段によって送信された前記要求情報に含まれる前記目標点において前記撮影装置によって取得された画像データを、前記表示端末へ送信する第１の送信手段を備え、
前記表示端末は、
前記第１の送信手段によって送信された前記画像データを受信する受信手段と、
前記受信された画像データを、表示手段に表示させる表示制御手段と、を備える遠隔制御システム。 10. The remote control system of claim 9, further comprising:
an information processing device capable of communicating with each of the mobile object and the display terminal via the communication network;
The information processing device is
a third transmitting means for transmitting request information for moving the moving body to the calculated target point to the moving body;
The moving body is
a first transmitting means for transmitting to the display terminal the image data acquired by the imaging device at the target point included in the request information transmitted by the third transmitting means;
The display terminal is
receiving means for receiving the image data transmitted by the first transmitting means;
and display control means for displaying the received image data on a display means.
前記撮影装置によって取得された前記画像データを取得する取得ステップと、
前記取得された画像データに含まれる複数の人物の位置および向きに基づいて、前記移動体の移動先を示す目標点を算出する算出ステップと、を実行し、
前記算出ステップによって前記目標点を算出することで、前記移動体を前記目標点へ移動させる情報処理方法。 An information processing method executed by an information processing device that adjusts the position of a moving body that includes a photographing device that photographs a subject and acquires image data,
an acquisition step of acquiring the image data acquired by the imaging device;
a calculating step of calculating a target point indicating a destination of the moving body based on the positions and orientations of the plurality of persons included in the acquired image data;
An information processing method for moving the moving body to the target point by calculating the target point in the calculating step.
前記撮影装置によって取得された前記画像データを取得する取得手段と、
前記取得された画像データに含まれる複数の人物の位置および向きに基づいて、前記伝送端末の変更先の向きを算出する算出手段と、を備え、
前記算出手段によって前記変更先の向きを算出することで、前記伝送端末の向きを前記変更先の向きに変更させる情報処理装置。 An information processing device for adjusting the orientation of a transmission terminal equipped with a photographing device for photographing a subject and acquiring image data,
an acquisition means for acquiring the image data acquired by the imaging device;
a calculating means for calculating the orientation of the transmission terminal to be changed based on the positions and orientations of the plurality of persons included in the acquired image data;
An information processing apparatus for changing the orientation of the transmission terminal to the orientation of the change destination by calculating the orientation of the change destination by the calculation means.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022096746A JP7400882B2 (en) | 2018-06-28 | 2022-06-15 | Information processing device, mobile object, remote control system, information processing method and program |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018123662A JP7091880B2 (en) | 2018-06-28 | 2018-06-28 | Information processing equipment, mobiles, remote control systems, information processing methods and programs |
| JP2022096746A JP7400882B2 (en) | 2018-06-28 | 2022-06-15 | Information processing device, mobile object, remote control system, information processing method and program |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018123662A Division JP7091880B2 (en) | 2018-06-28 | 2018-06-28 | Information processing equipment, mobiles, remote control systems, information processing methods and programs |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2022141639A true JP2022141639A (en) | 2022-09-29 |
| JP7400882B2 JP7400882B2 (en) | 2023-12-19 |
Family
ID=69100641
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018123662A Active JP7091880B2 (en) | 2018-06-28 | 2018-06-28 | Information processing equipment, mobiles, remote control systems, information processing methods and programs |
| JP2022096746A Active JP7400882B2 (en) | 2018-06-28 | 2022-06-15 | Information processing device, mobile object, remote control system, information processing method and program |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018123662A Active JP7091880B2 (en) | 2018-06-28 | 2018-06-28 | Information processing equipment, mobiles, remote control systems, information processing methods and programs |
Country Status (1)
| Country | Link |
|---|---|
| JP (2) | JP7091880B2 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7091880B2 (en) * | 2018-06-28 | 2022-06-28 | 株式会社リコー | Information processing equipment, mobiles, remote control systems, information processing methods and programs |
| CN114714321A (en) * | 2022-04-06 | 2022-07-08 | 深圳市普渡科技有限公司 | Robot and distribution method, control device and storage medium thereof |
| CN116088580B (en) * | 2023-02-15 | 2023-11-07 | 北京拙河科技有限公司 | Flying object tracking method and device |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008005208A (en) * | 2006-06-22 | 2008-01-10 | Nec Corp | Camera automatic control system for athletics, camera automatic control method, camera automatic control unit, and program |
| JP2009183538A (en) * | 2008-02-07 | 2009-08-20 | Saitama Univ | Wheelchair with autonomous traveling ability |
| JP2012076162A (en) * | 2010-09-30 | 2012-04-19 | Waseda Univ | Conversation robot |
| JP2017188715A (en) * | 2016-04-01 | 2017-10-12 | 富士通フロンテック株式会社 | Video display system and video display method |
| JP2018085579A (en) * | 2016-11-21 | 2018-05-31 | シャープ株式会社 | Imaging apparatus, control method, and information processing program |
| JP2020005147A (en) * | 2018-06-28 | 2020-01-09 | 株式会社リコー | Information processing apparatus, movable body, remote control system, information processing method, and program |
-
2018
- 2018-06-28 JP JP2018123662A patent/JP7091880B2/en active Active
-
2022
- 2022-06-15 JP JP2022096746A patent/JP7400882B2/en active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008005208A (en) * | 2006-06-22 | 2008-01-10 | Nec Corp | Camera automatic control system for athletics, camera automatic control method, camera automatic control unit, and program |
| JP2009183538A (en) * | 2008-02-07 | 2009-08-20 | Saitama Univ | Wheelchair with autonomous traveling ability |
| JP2012076162A (en) * | 2010-09-30 | 2012-04-19 | Waseda Univ | Conversation robot |
| JP2017188715A (en) * | 2016-04-01 | 2017-10-12 | 富士通フロンテック株式会社 | Video display system and video display method |
| JP2018085579A (en) * | 2016-11-21 | 2018-05-31 | シャープ株式会社 | Imaging apparatus, control method, and information processing program |
| JP2020005147A (en) * | 2018-06-28 | 2020-01-09 | 株式会社リコー | Information processing apparatus, movable body, remote control system, information processing method, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2020005147A (en) | 2020-01-09 |
| JP7400882B2 (en) | 2023-12-19 |
| JP7091880B2 (en) | 2022-06-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11151773B2 (en) | Method and apparatus for adjusting viewing angle in virtual environment, and readable storage medium | |
| US11221726B2 (en) | Marker point location display method, electronic device, and computer-readable storage medium | |
| JP7400882B2 (en) | Information processing device, mobile object, remote control system, information processing method and program | |
| US9736368B2 (en) | Camera in a headframe for object tracking | |
| CN108888959B (en) | Team forming method and device in virtual scene, computer equipment and storage medium | |
| CN104333846B (en) | Position reminding method and device | |
| JP7026819B2 (en) | Camera positioning method and equipment, terminals and computer programs | |
| US20210268380A1 (en) | Method and apparatus for observing virtual item in virtual environment and readable storage medium | |
| US10110830B2 (en) | Multiple streaming camera navigation interface system | |
| KR20180112599A (en) | Mobile terminal and method for controlling the same | |
| US20200007751A1 (en) | Control apparatus, movable apparatus, and remote-control system | |
| US11878240B2 (en) | Method, apparatus, device, and storage medium for perspective rotation | |
| JP7346830B2 (en) | Communication terminals, programs, display methods, recording media, systems | |
| KR20160100188A (en) | Mobile terminal and method of controlling the same | |
| JP2023164525A (en) | Communication terminal, program, display method and recording medium | |
| KR20170011194A (en) | Mobile terminal and method for controlling the same | |
| WO2020135084A1 (en) | Method, apparatus and device for tracking target object, and storage medium | |
| US10250813B2 (en) | Methods and systems for sharing views | |
| JP3918053B2 (en) | Small mobile devices | |
| JP7115097B2 (en) | Communication terminal, program, display method, recording medium | |
| US20230308705A1 (en) | Communication terminal, communication management system, remote operation method, processing method, and communication management method | |
| US11865449B2 (en) | Virtual object control method, apparatus, device, and computer-readable storage medium | |
| JP7338755B2 (en) | Communication terminal, communication system, communication method and program | |
| US20230236874A1 (en) | Information processing system and information processing terminal | |
| JP2023140160A (en) | Communication terminal, communication management system, remote-controlled moving device, communication system, remote control method, communication management method, control method, communication method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220715 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220715 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230627 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230828 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20231013 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231107 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231120 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 7400882 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |