JP2021027390A - 表示端末、遠隔制御システム、表示制御方法およびプログラム - Google Patents

Abstract

【課題】表示された広角画像に対する利用者の操作性を向上させることを目的とする。【解決手段】表示端末５０は、遠隔拠点の被写体を撮影する特殊撮影装置２１（撮影手段の一例）を備えた制御装置３０（通信装置の一例）と、特殊撮影装置２１によって撮影された全天球画像（広角画像の一例）をストリーミング通信する。そして、表示端末５０は、制御装置３０から送信された全天球画像の一部である所定の領域を、ディスプレイ５１１（表示部の一例）に表示させる表示制御部５４（表示制御手段の一例）と、表示端末５０に接続され、ディスプレイ５１１に表示された全天球画像の表示を制御するマウス５００（外部入力手段の一例）と、を備え、マウス５００の移動に応じて、ディスプレイ５１１に表示させる全天球画像の一部である所定の領域を変更する。【選択図】図３３

Description

本発明は、表示端末、遠隔制御システム、表示制御方法およびプログラムに関する。

遠隔拠点に位置するテレプレゼンスロボット（以下、ロボットと称する）を、通信ネットワークを経由して他拠点に位置する表示端末を用いて遠隔操作する遠隔制御システムが知られている。この遠隔制御システムは、ロボットに備えられた撮影手段によって撮影された画像を、表示端末に表示させることで、ロボットが位置する拠点の情報を遠隔地から確認することができる。

また、広角画像を取得可能な撮影手段を備えるロボットを用いて、ロボットの周囲の状況を確認する方法も知られている（例えば、特許文献１）。

しかしながら、従来の方法では、利用者は、表示端末に広角画像の一部の領域が表示されている場合、マウスカーソルの移動によって、表示される領域を変更していたが、例えば、マウスカーソルが画面の端にいった場合にはそれ以上動かせなくなるため、広角画像に対する利用者の操作性が悪いという課題があった。

上述した課題を解決すべく、請求項１に係る発明は、遠隔拠点の被写体を撮影する撮影手段を備えた通信装置と、当該撮影手段によって撮影された広角画像をストリーミング通信する表示端末であって、前記通信装置から送信された前記広角画像の一部である所定の領域を、表示部に表示させる表示制御手段と、前記表示端末に接続され、前記表示部に表示された前記広角画像の表示を制御する外部入力手段と、を備え、前記表示制御手段は、前記外部入力手段の移動に応じて、前記表示部に表示させる前記領域を変更する表示端末である。

本発明によれば、表示された広角画像に対する利用者の操作性を向上させることができるという効果を奏する。

実施形態に係る遠隔制御システムのシステム構成の一例を示す図である。 実施形態に係るロボットの構成の概略の一例を示す図である。 実施形態に係るロボットの構成の変形例１（１−１）の概略を示す図である。 実施形態に係るロボットの構成の変形例１（１−２）の概略を示す図である。 実施形態に係るロボットの構成の変形例２（２−１）の概略を示す図である。 実施形態に係るロボットの構成の変形例２（２−２）の概略を示す図である。 実施形態に係るロボットの構成の変形例２（２−３）の概略を示す図である。 実施形態に係るロボットの構成の変形例２（２−４）の概略を示す図である。 実施形態に係るロボットの構成の変形例２（２−５）の概略を示す図である。 実施形態に係るロボットの構成の変形例３の概略を示す図である。 実施形態に係るロボットのハードウエア構成の一例を示す図である。 実施形態に係る表示端末のハードウエア構成の一例を示す図である。 実施形態に係る通信管理サーバのハードウエア構成の一例を示す図である。 実施形態に係る特殊撮影装置のハードウエア構成の一例を示す図である。 （Ａ）は特殊撮影装置で撮影された半球画像（前）、（Ｂ）は特殊撮影装置で撮影された半球画像（後）、（Ｃ）は正距円筒図法により表された画像を示した図である。 （Ａ）は正距円筒射影画像で球を被う状態を示した概念図、（Ｂ）は全天球画像を示した図である。 全天球画像を３次元の立体球とした場合の仮想カメラおよび所定領域の位置を示した図である。 （Ａ）は図１７の立体斜視図、（Ｂ）は表示端末のディスプレイに所定領域の画像が表示されている状態を示す図である。 所定領域情報と所定領域Ｔの画像との関係を示した図である。 実施形態に係る遠隔制御システムの機能構成の一例を示す図である。 （Ａ）は実施形態に係るコマンド管理テーブルの一例を示す概念図、（Ｂ）は実施形態に係る撮影パラメータの一例を示す概念図である。 （Ａ）は実施形態に係る状態情報管理テーブルの一例を示す概念図、（Ｂ）は実施形態に係る条件情報管理テーブルの一例を示す概念図である。 （Ａ）は実施形態に係るユーザコマンド管理テーブルの一例を示す概念図、（Ｂ）は実施形態に係る表示状態管理テーブルの一例を示す概念図である。 （Ａ）は実施形態に係る認証管理テーブルの一例を示す概念図、（Ｂ）は実施形態に係る端末管理テーブルの一例を示す概念図である。 （Ａ）は実施形態に係る宛先リスト管理テーブルの一例を示す概念図、（Ｂ）は実施形態に係るセッション管理テーブルの一例を示す概念図である。 実施形態に係る遠隔制御システムにおけるロボットと表示端末との間でデータの送受信を開始する準備段階の処理の一例を示すシーケンス図である。 実施形態に係る表示端末に表示される宛先リスト画面の一例を示す図である。 実施形態に係る遠隔制御システムにおける宛先候補の選択からデータの送受信を開始するまでの処理の一例を示すシーケンス図である。 実施形態に係る遠隔制御システムにおけるロボットから表示端末への各種データの送信処理の一例を示すシーケンス図である。 実施形態に係る表示端末に表示される表示画面の一例を示す図である。 実施形態に係るロボットの状態を示す状態情報の一例を示す図である。 実施形態に係る遠隔制御システムにおいて、ロボットが前進している場合に表示端末に表示される表示画面の一例を示す図である。 実施形態に係る表示端末に表示される全天球画像の一例について説明するための図である。 実施形態に係る表示端末におけるロボットの移動状態に基づくロボットの制御処理の一例を示すフローチャートである。 実施形態に係る表示端末における入力コマンドに基づくロボットの制御処理の一例を示すフローチャートである。 実施形態に係るロボットにおける表示端末からの要求コマンドに基づくロボットの制御処理の一例を示すフローチャートである。 実施形態に係る表示端末における全天球画像の表示位置を変更処理の一例を示すフローチャートである。 実施形態に係る一般撮影装置における撮影位置の変更処理の一例を示すシーケンス図である。 （Ａ）は実施形態に係る表示端末に表示される全天球画像の一例を示す図であり、（Ｂ）は実施形態に係る表示端末に表示される詳細画像の一例を示す図である。 実施形態に係る表示端末に表示される全天球画像の一例を示す図である。 実施形態に係る表示端末の一例としてのヘッドマウントディスプレイに表示される表示画面の一例を示す図である。 実施形態に係る遠隔制御システムにおける表示端末によって取得された撮影画像をロボットに表示させる処理の一例を示すシーケンス図である。 （Ａ）（Ｂ）実施形態に係るロボットに表示される表示画面の一例を示す図である。 実施形態の変形例に係る遠隔制御システムのシステム構成の一例を示す図である。 実施形態の変形例に係る遠隔制御システムの機能構成の一例を示す図である。 実施形態の変形例に係る遠隔制御システムにおけるロボットから表示端末への各種データの送信処理の一例を示すシーケンス図である。 実施形態の変形例に係る情報処理サーバにおける表示画像データの画像処理の一例を示すフローチャートである。

以下、図面を参照しながら、発明を実施するための形態を説明する。なお、図面の説明において同一要素には同一符号を付し、重複する説明は省略する。

●システム構成●
図１は、実施形態に係る遠隔制御システムのシステム構成の一例を示す図である。図１に示す遠隔制御システムは、各拠点に位置するロボット１０と遠隔地にいる管理者が使用する表示端末５０との間で遠隔通信を行うことによって、拠点内の装置の管理もしくは保守作業等、または拠点内に位置する人の位置もしくは動線の確認等を行うことができるシステムである。

遠隔制御システム１ａは、複数の拠点（拠点Ａ、拠点Ｂ、拠点Ｃ）のそれぞれに位置するロボット１０（１０Ａ,１０Ｂ,１０Ｃ、以下区別する必要のないときは、ロボット１０と称する。）、表示端末５０および通信管理サーバ９０によって構成される。ロボット１０、表示端末５０および通信管理サーバ９０は、通信ネットワーク９を介して通信可能に接続されている。通信ネットワーク９は、例えば、ＬＡＮ（Local Area Network）、専用線およびインターネット等によって構築される。なお、通信ネットワーク９は、有線だけでなく、Ｗｉ−Ｆｉ（登録商標）等の無線による通信が行われる箇所があってもよい。

ロボット１０は、各拠点（拠点Ａ、拠点Ｂ、拠点Ｃ）に設置され、表示端末５０からの遠隔操作によって自律走行する移動体である。ロボット１０は、後述する特殊撮影装置２１によってロボット１０の周囲を広範囲に亘る被写体を撮像しながら拠点内を移動し、特殊撮影装置２１によって取得された全天球画像を表示端末５０へ送信することで、表示端末５０を用いてロボット１０を操作する操作者に、拠点内の情報（画像）を提供する。また、ロボット１０は、特殊撮影装置２１によって撮影した被写体の一部を、後述する一般撮影装置２４によって撮影し、一般撮影装置２４によって取得された詳細画像を表示端末５０へ送信することで、表示端末５０を用いてロボット１０を操作する操作者に、拠点内の所定の領域における詳細な情報（画像）を提供する。ロボット１０は、移動体の一例である。

表示端末５０は、各拠点（拠点Ａ、拠点Ｂ、拠点Ｃ）に設置されたロボット１０の遠隔操作を行うＰＣ（Personal Computer）等の端末装置である。表示端末５０は、ロボット１０から送信されてきた全天球画像または詳細画像を表示する。操作者は、表示端末５０に表示された画像を見ながら、ロボット１０の遠隔操作を行うことができる。

なお、表示端末５０は、ロボット１０から送信されてきた画像を表示する表示手段を備えたものであればよく、例えば、タブレット端末、携帯電話、スマートフォン、ヘッドマウウントディスプレイ（ＨＭＤ）等のウェアラブル端末、広角スクリーン(円筒、全天球、半天球スクリーン等)を備えた通信端末、ＰＤＡ(Personal Digital Assistant)等であってもよい。

通信管理サーバ９０は、各拠点に位置するロボット１０と表示端末５０との間の通信を管理するためのサーバコンピュータである。通信管理サーバ９０は、通信ネットワーク９を介してロボット１０および表示端末５０と接続される。なお、通信管理サーバ９０は、単一のコンピュータによって構築されてもよいし、各部（機能、手段または記憶部）を分割して任意に割り当てられた複数のコンピュータによって構築されていてもよい。

ロボット１０が設置される拠点は、例えば、オフィス、学校、倉庫、工場、建設現場等である。表示端末５０を用いてロボット１０を操作する操作者は、ロボット１０から送信された拠点内の画像を確認することによって、拠点内の人の位置や動線の確認、拠点内に設置された装置の管理や保守等を行うことができる。また、ロボット１０と表示端末５０は、双方によって撮影された画像を送受信することで双方向のコミュニケーション（遠隔会議）を行うこともできる。

なお、図１において、各拠点内に一台のロボット１０が設置されている構成を説明したが、ロボット１０は、一つの拠点に複数台設置されていてもよい。また、表示端末５０は、複数の拠点に配置されたロボット１０のそれぞれと通信する構成であってもよいし、一つの拠点に配置されたロボット１０のみと通信する構成であってもよい。

●ロボットの構成●
ここで、図２乃至図１０を用いて、図１で示したロボット１０の具体的な構成を説明する。図２は、実施形態に係るロボットの構成の概略の一例を示す図である。

図２に示されているロボット１０ａは、特殊撮影装置２１、ロボット１０ａの処理もしくは動作を制御する制御装置３０を備えた筐体１５、ロボット１０ａを移動させるための移動機構１７ａ,１７ｂ（以下、区別する必要のないときは、移動機構１７と称する）、並びに支持部材１３を備える。

特殊撮影装置２１は、人、物体、風景等の被写体を撮影して全天球（３６０°）パノラマ画像を取得可能な撮影装置である。特殊撮影装置２１は、被写体を撮影して全天球（パノラマ）画像の元になる２つの半球画像を得るための特殊なデジタルカメラである。なお、特殊撮影装置２１によって撮影される全天球画像、または全天球画像の元になる半球画像の詳細は、後述する（図１５〜図１９参照）。

ロボット１０ａは、特殊撮影装置２１によって取得された全天球画像である全天球画像データを、表示端末５０へ送信する。なお、全天球画像データの画像は、動画であっても静止画であってもよく、動画と静止画の両方であってもよい。また、全天球画像データは、画像データとともに音データを含んでもよい。

特殊撮影装置２１によって取得される画像は、全天球画像に限られず、所定値以上の画角を有する広角画像であればよい。この場合、広角画像は、広角カメラやステレオカメラ等によって取得される。すなわち、特殊撮影装置２１は、所定値より焦点距離の短いレンズを用いて撮影された画像（全天球画像、広角画像）を取得可能な撮影手段である。以下実施形態は、特殊撮影装置２１によって取得される画像が全天球画像である場合の例を説明する。特殊撮影装置２１は、遠隔拠点の被写体を撮影する撮影手段の一例である。

筐体１５は、ロボット１０ａの胴体部分に位置する。筐体１５には、ロボット１０ａの全体に必要な電源を供給する電源供給ユニット、並びにロボット１０ａの処理もしくは動作を制御する制御装置３０等が内蔵されている。

また、支持部材１３は、ロボット１０ａ（筐体１５）に特殊撮影装置２１を設置（固定）するための部材である。支持部材１３は、筐体１５に固定されたポール等であってもよいし、筐体１５に固定された台座であってもよい。また、支持部材１３には、特殊撮影装置２１の撮影方向（向き）や位置（高さ）を調整可能な可動式の部材であってもよい。図２に示されているロボット１０ａは、支持部材１３によって特殊撮影装置２１を固定することで、特殊撮影装置２１が常にロボット１０ａの進行方向と同じの方向を向くため、特殊撮影装置２１によって取得された全天球画像を見ながらロボット１０を操作する操作者が操作を行いやすくなる。

さらに、移動機構１７は、ロボット１０ａを移動させるユニットであり、車輪、走行モータ、走行エンコーダ、ステアリングモータ、ステアリングエンコーダ等で構成される。ロボット１０ａの移動制御については、既存の技術であるため、詳細な説明は省略するが、ロボット１０ａは、操作者（表示端末５０）からの走行指示を受信し、移動機構１７は、受信した走行指示に基づいてロボット１０を移動させる。

なお、移動機構１７は、２つの車輪によって構成される例を説明するが、移動機構１７は、二足歩行の足型や単輪のものであってもよい。また、ロボット１０ａの形状は、図２に示されているような車両型に限られず、例えば、二足歩行の人型、生物を模写した形態、特定のキャラクターを模写した形態等であってもよい。

●ロボットの構成の変形例
○変形例１○
ここで、図３および図４を用いて、ロボット１０の構成の変形例１について説明する。図３および図４に示されているようなロボット１０ｂ（１０ｂ１〜１０ｂ４）は、図２に示されているようなロボット１０ａの構成に加えて、特殊撮影装置２１によって撮影された被写体の一部を撮影して詳細画像を取得可能な可動式の一般撮影装置２４（以下可動カメラ２３と称する。）を備える。可動カメラ２３は、一般撮影装置２４の一種である。図３および図４に示されている可動カメラ２３は、内部に可動機構を備え、任意の方向の画像を取得したり、ズーム（拡大・縮小）したりすることが可能な可動式な一般撮影装置である。図３に示されているロボット１０ｂ１には、筐体１５に可動カメラ２３が設置されている。

ここで、一般撮影装置２４は、デジタル一眼レフカメラ、コンパクトデジタルカメラ等の平面画像（詳細画像）を取得可能なデジタルカメラである。ロボット１０ｂは、一般撮影装置２４（可動カメラ２３）によって取得される詳細画像データを、表示端末５０へ送信する。ここで、一般撮影装置２４によって取得される詳細画像は、特殊撮影装置２１によって所定値以上の画角で撮影された被写体の一部を撮影することによって取得可能な画像である。すなわち、一般撮影装置２４は、特殊撮影装置２１が有するレンズよりも焦点距離の長いレンズを用いて撮影された画像（詳細画像）を取得可能な撮影手段である。

表示端末５０は、例えば、ロボット１０ｂの操作者による遠隔操作によってロボット１０ｂを移動させる場合には、ロボット１０ｂの周囲を広範囲で見ることができる全天球画像を表示させる。また、表示端末５０は、ロボット１０ｂの操作者が全天球画像に含まれる所定の領域の詳細な情報を確認したい場合には、一般撮影装置２４によって取得された詳細画像を表示させる。すなわち、特殊撮影装置２１は、ロボット１０の操作者に対してロボット１０ｂの周囲を広範囲に確認させるための画像（全天球画像、広角画像）を取得するために撮影処理を行う撮影手段であり、一般撮影装置２４は、ロボット１０ｂの操作者に対してロボット１０ｂの周囲の特定の箇所の状態を詳細の確認させるための画像（詳細画像）を取得するために撮影処理を行う撮影手段である。これによって、ロボット１０ｂの操作者は、表示端末５０に表示される全天球画像と詳細画像を用途に応じて使い分けることで、ロボット１０の操作者による操作性を向上させることができる。

また、図４（Ａ）に示されているロボット１０ｂ２は、支持部材１３に固定された載置部材１８に、可動カメラ２３が下向きに設置されている。可動カメラ２３には、被写体を撮影することができない死角が存在する。図３に示されているロボット１０ｂ１の場合、ロボット１０ｂ１の下方向が可動カメラ２３の死角となり、ロボット１０ｂ１が移動させる際の障害物等を把握することが困難な場合がある。そのため、ロボット１０ｂ２は、可動カメラ２３を下向きに設置することにより、下方向の死角をなくすことができる。さらに、図４（Ｂ）に示されているロボット１０ｂ３は、支持部材１３に固定された載置部材１８に、可動カメラ２３ａが上向きに設置されており、可動カメラ２３ｂが下向きに設置されている。これにより、ロボット１０ｂ３は、ロボット１０ｂ２の上方向と下方向の両方を可動カメラ２３ａ,２３ｂを用いて撮影することができるので、撮影位置の死角をよりなくすことができる。

さらに、図４（Ｃ）に示されているロボット１０ｂ３は、支持部材１３に固定された載置部材１８ａに、特殊撮影装置２１が下向きに設置され、支持部材１３に固定された載置部材１８ｂに、可動カメラ２３が上向きに設置されている。これにより、ロボット１０ｂ３は、特殊撮影装置２１の撮影位置と可動カメラ２３の撮影位置を近づけることで、特殊撮影装置２１と可動カメラの視野の差をできるだけ小さくすることができる。

○変形例２○
次に、図５乃至図９を用いて、ロボット１０の構成の変形例２について説明する。図５乃至図９に示されているようなロボット１０ｃ（１０ｂ１〜１０ｂ５）は、図２に示されているようなロボット１０ａの構成に加えて、特殊撮影装置２１によって撮影された被写体の一部を撮影して詳細画像を取得可能な固定式の一般撮影装置２４（以下通常カメラ２５と称する。）を備える。通常カメラ２５は、一般撮影装置２４の一種である。

図５（Ａ）に示されているロボット１０ｃ１は、支持部材１３に固定された載置部材１８上に、通常カメラ２５が設置されている。この場合、ロボット１０ｃ１は、変形例１に示されているような可動カメラ２３が設置されている構成と異なり、任意の方向を撮影することはできないが、ロボット１０ｃ１の正面に対する詳細画像を取得することができる。一方で、図５（Ｂ）に示されているロボット１０ｃ２は、可動アーム１１を用いて、載置部材１８上に設置された通常カメラ２５の撮影位置（撮影方向）を調整することができる。可動アーム１１は、回転軸１２を用いて回転することで、通常カメラ２５の向きを変更することができる。ロボット１０ｃ２は、移動機構１７によってロボット１０の向きを変えるほか、可動アーム１１を回転または変形させることによって、通常カメラ２５の撮影位置を変更することができる。さらに、図６に示されているロボット１０ｃ３は、図５（Ｂ）に示されているロボット１０ｂ２の載置部材１８に、特殊撮影装置２１が設置されている。これにより、ロボット１０ｂ３は、可動アーム１１を用いて、通常カメラ２５に加えて、特殊撮影装置２１の撮影位置を変更することができる。

図７（Ａ）〜（Ｃ）に示されているロボット１０は、特殊撮影装置２１の配置が、図６に示されている構成と異なる。特殊撮影装置２１と通常カメラ２５は、図６で説明したように、それぞれ撮影目的が違うため、特殊撮影装置２１と通常カメラ２５の配置を用途に応じて変更することが好ましい。

図７（Ａ）は、特殊撮影装置２１を通常カメラ２５の上部に配置している。特殊撮影装置２１は、ロボット１０の周囲を広範囲に撮影する必要がある。そのため、ロボット１０は、図７（Ａ）に示されているような配置にすることで、特殊撮影装置２１と通常カメラ２５を使い分ける効果がより顕著になる。

また、図７（Ｂ）は、特殊撮影装置２１を通常カメラ２５の後部に配置している。通常カメラ２５の正面方向（撮影方向）の領域は、ロボット１０の操作者にとって細部まで確認したい領域である。そのため、図７（Ｂ）に示されているような配置にすることで、通常カメラ２５は、正面方向（撮影方向）の領域を、障害物等に邪魔されることなく撮影することができる。また、図７（Ｂ）に示されているような配置にすることで、特殊撮影装置２１は、通常カメラ２５が撮影できない領域（例えば、通常カメラ２５の後方の領域）を、通常カメラ２５等が写り込むことなく、比較的良い解像度で撮影することができる。

さらに、図７（Ｃ）は、特殊撮影装置２１を通常カメラ２５の下部に配置している。ロボット１０の移動時において、地面(足元)の状況が重要になる。そのため、図７（Ｃ）に示されているような配置にすることで、特殊撮影装置２１は、通常カメラ２５または載置部材１８に邪魔されることなく、地面（足元）を撮影することができる。これにより、ロボット１０の操作者は、特殊撮影装置２１によって取得された全天球画像を見ながら、より安全にロボット１０を移動させることができる。

図８（Ａ），（Ｂ）に示されているロボット１０は、可動アーム１１の構造が、図６に示されている構成と異なる。可動アーム１１は、ロボット１０の用途に応じて必要な可動範囲を確保できるようにすることが好ましい。図８（Ａ）に示されている可動アーム１１ａは、関節部材がなく、回転軸１２によって向きを変えられるのみである。ロボット１０は、特殊撮影装置２１または通常カメラ２５によって撮影したい箇所の高さや距離が一定である場合、このような構造でも問題ない。また、図８（Ｂ）に示されている可動アーム１１ｂは、図８（Ａ）に示されている可動アーム１１ａを変形可能な関節部材を有している。この場合、可動アーム１１ｂを、上下方向に変形させることができる。

図９（Ａ）に示されているロボット１０ｃ４は、図５（Ｂ）に示されているロボット１０ｃ２の支持部材１３を伸縮させることが可能な伸縮部材１４を有している。ロボット１０ｃ４は、伸縮部材１４を用いて支持部材１３を伸び縮みさせることで、特殊撮影装置２１の高さを調整することができる。これにより、ロボット１０ｃ４は、例えば、支持部材１３を高くして周囲に存在する障害物の先まで特殊撮影装置２１によって撮影できるようにしたり、支持部材１３を低くして地面（足元）の状態を特殊撮影装置２１によって撮影しながら移動したりするといった臨機応変な処理が可能になる。

また、図９（Ｂ）に示されているロボット１０ｃ５は、特殊撮影装置２１と通常カメラ２５とを異なる可動アーム１１に設置させた構成である。これにより、ロボット１０ｃ５は、特殊撮影装置２１が設置された可動アーム１１を変形させることで適切な位置から特殊撮影装置２１による撮影を行うことができるとともに、通常カメラ２５が設置された可動アーム１１を変形させることで、より詳細に確認する必要がある箇所を通常カメラ２５によって撮影することができる。

○変形例３○
次に、図１０を用いて、ロボット１０の構成の変形例３について説明する。図１０に示されているようなロボット１０ｄ（１０ｄ１〜１０ｄ３）は、図２乃至図９に示されているようなロボット１０ａ〜１０ｃの構成に加えて、表示端末５０側の情報を表示するディスプレイ１５０を備える。図１０（Ａ）に示されているロボット１０ｄ１は、ロボット１０ｄ１の正面から表示画面が確認できるように、ディスプレイ１５０が配置されている。ディスプレイ１５０には、表示端末５０側の拠点にいる操作者を撮影して取得された撮影画像が表示される。また、ディスプレイ１５０には、操作者の画像とともに、操作者が実際にどこを見ているかの情報も表示される。これにより、ロボット１０ｄ１は、遠隔地にいる操作者の見ている方向を、ロボット１０ｄ１が設置された拠点にいるユーザに把握させることができる。

また、図１０（Ｂ）に示されているロボット１０ｄ２は、ロボット１０ｄ２の正面から表示画面が確認できるように、ロボット１０ｄ２の前方にディスプレイ１５０ａが配置されているとともに、ロボット１０ｄ２の後方から表示画面が確認できるように、ロボット１０ｄ２の後方にディスプレイ１５０ｂが配置されている。図１０（Ｂ）は、ロボット１０ｄ２が横方向から示されている図である。これにより、ロボット１０ｄ２は、ロボット１０ｄ２の前後に、対称的に複数のディスプレイ１５０を配置することで、ロボット１０ｄ２の後ろ側にいるユーザにも、操作者が見ている方向を把握させることができる。なお、操作者の見ている方向に対して後方に配置されたディスプレイ１５０ａ,１５０ｂには、予め用意されている操作者の後頭部の画像を表示させる。また、ロボット１０ｄ２は、二つのディスプレイ１５０ａ,１５０ｂが配置されている例を示したが、凸面型のディスプレイ、折り畳み可能なディスプレイまたは全方位のディスプレイ等をロボット１０ｄ２の周囲に配置させることで、１つのディスプレイ１５０でも同様の表示が可能である。この場合、ロボット１０ｄ２の周囲にいるユーザは、例えば、ロボット１０ｄ２の側面からでも表示画面を確認することができる。

さらに、図１０（Ｃ）に示されているロボット１０ｄ３は、筐体１５の全周囲にロボット１０ｄ３の進行方向を表示するためのランプ１６０が配置されている。図１０（Ｃ）は、ロボット１０ｄ３が横方向から示されている図である。ロボット１０ｄ３は、表示端末５０に表示されている全天球画像の表示位置および一般撮影装置２４の撮影位置に対応する位置のランプ１６０を点灯させる。ロボット１０ｄ３は、例えば、ランプ１６０の色や明るさで、全天球画像の表示位置および一般撮影装置２４の撮影位置を区別することもできる。これにより、ロボット１０ｄ３は、ランプ１６０の点灯状態によって、操作者が見ている方向を、ロボット１０ｄ３の周囲にいるユーザに把握させることができる。なお、ランプ１６０は、筐体１５に配置されている構成に限られず、ロボット１０ｄ３の周囲に配置されていればよい。ここで、図１０（Ａ）〜（Ｃ）に示されているようなロボット１０ｄが備えるディスプレイ１５０（１５０ａ,１５０ｂ）およびランプ１６０は、ロボット１０の操作者（表示端末５０の利用者）が全天球画像を見ている方向を示す表示手段の一例である。

上記で説明したような図２乃至図１０に示されているロボット１０は、上記構成のほかに、ロボット１０の周囲の情報を検知可能な各種センサを有していてもよい。各種センサは、例えば、気圧計、温度計、光度計、人感センサ、または照度計等のセンサデバイスである。また、図２乃至図１０に示されているロボット１０は、ロボット１０の移動以外の付加的動作を可能とする操作手段が設置される構成であってもよい。操作手段は、例えば、物をつかむロボットハンド等である。

●ハードウエア構成●
次に、図１１乃至図１４を用いて、遠隔制御システム１ａを構成する各装置または端末のハードウエア構成を説明する。なお、図１１乃至図１４に示されているハードウエア構成は、必要に応じて構成要素が追加または削除されてもよい。

●ロボットのハードウエア構成
図１１は、実施形態に係るロボットのハードウエア構成の一例を示す図である。ロボット１０は、ロボット１０の処理または動作を制御する制御装置３０を備える。制御装置３０は、上述のように、ロボット１０の筐体１５の内部に備えられている。なお、制御装置３０は、ロボット１０の筐体１５の外部に設けられてもよく、またはロボット１０とは別の装置として設けられていてもよい。

制御装置３０は、ＣＰＵ（Central Processing Unit）３０１、ＲＯＭ（Read Only Memory）３０２、ＲＡＭ（Random Access Memory）３０３、ＨＤＤ（Hard Disk Drive）３０４、メディアインターフェース（Ｉ／Ｆ）３０５、入出力Ｉ／Ｆ３０６、音入出力Ｉ／Ｆ３０７、ネットワークＩ／Ｆ３０８、近距離通信回路３０９、近距離通信回路３０９のアンテナ３０９ａ、外部機器接続Ｉ／Ｆ３１１およびバスライン３１０を備える。

ＣＰＵ３０１は、ロボット１０全体の制御を行う。ＣＰＵ３０１は、ＲＯＭ３０２またはＨＤ（Hard Disk）３０４ａ等に格納された、プログラムもしくはデータをＲＡＭ３０３上に読み出し、処理を実行することで、ロボット１０の各機能を実現する演算装置である。

ＲＯＭ３０２は、電源を切ってもプログラムまたはデータを保持することができる不揮発性のメモリである。ＲＡＭ３０３は、ＣＰＵ３０１のワークエリア等として用いられる揮発性のメモリである。ＨＤＤ３０４は、ＣＰＵ３０１の制御にしたがってＨＤ３０４ａに対する各種データの読み出し、または書き込みを制御する。ＨＤ３０４ａは、プログラム等の各種データを記憶する。メディアＩ／Ｆ３０５は、ＵＳＢ（Universal Serial Bus）メモリ、メモリカード、光学ディスクまたはフラッシュメモリ等の記録メディア３０５ａに対するデータの読み出しまたは書き込み（記憶）を制御する。

入出力Ｉ／Ｆ３０６は、文字、数値、各種指示等を各種外部機器等との間で入出力するためのインターフェースである。入出力Ｉ／Ｆ３０６は、ＬＣＤ（Liquid Crystal Display）等のディスプレイ１５０に対するカーソル、メニュー、ウィンドウ、文字または画像等の各種情報の表示を制御する。ディスプレイ１５０は、入力手段を備えたタッチパネルディスプレイであってもよい。また、入出力Ｉ／Ｆ３０６は、ディスプレイ１５０のほかに、例えば、マウス、キーボード等の入力手段が接続されていてもよい。音入出力Ｉ／Ｆ３０７は、ＣＰＵ３０１の制御に従ってマイク３０７ａおよびスピーカ３０７ｂとの間で音信号の入出力を処理する回路である。マイク３０７ａは、ＣＰＵ３０１の制御に従って音信号を入力する内蔵型の集音手段の一種である。スピーカ３０８ｂは、ＣＰＵ３０１の制御に従って音信号を出力する再生手段の一種である。

ネットワークＩ／Ｆ３０８は、通信ネットワーク９を経由して、他の機器または装置との通信（接続）を行う通信インターフェースである。ネットワークＩ／Ｆ３０８は、例えば、有線または無線ＬＡＮ等の通信インターフェースである。なお、ネットワークＩ／Ｆ３０８は、３Ｇ（3rd Generation）、ＬＴＥ(Long Term Evolution)、４Ｇ（4th Generation）、５Ｇ（5th Generation）、Ｗｉ−Ｆｉ、ＷｉＭＡＸ(Worldwide Interoperability for Microwave Access)、Ｚｉｇｂｅｅ（登録商標）、またはミリ波無線通信等の通信インターフェースを備えてもよい。近距離通信回路３０９は、ＮＦＣ（Near Field communication）またはＢｌｕｅｔｏｏｔｈ（登録商標）等の通信回路である。外部機器接続Ｉ／Ｆ３１１は、制御装置３０に他の装置を接続するためのインターフェースである。

バスライン３１０は、上記各構成要素を電気的に接続するためのアドレスバスやデータバス等であり、アドレス信号、データ信号、および各種制御信号等を伝送する。ＣＰＵ３０１、ＲＯＭ３０２、ＲＡＭ３０３、ＨＤＤ３０４、メディアＩ／Ｆ３０５、入出力Ｉ／Ｆ３０６、音入出力Ｉ／Ｆ３０７、ネットワークＩ／Ｆ３０８、近距離通信回路３０９および外部機器接続Ｉ／Ｆ３１１は、バスライン３１０を介して相互に接続されている。

さらに、制御装置３０には、外部機器接続Ｉ／Ｆ３１１を介して、駆動モータ１０１、アクチュエータ１０２、加速度・方位センサ１０３、ＧＰＳ（Global Positioning System）受信部１０４、特殊撮影装置２１、一般撮影装置２４、電源供給ユニット１０５およびランプ１６０が接続されている。

駆動モータ１０１は、ＣＰＵ３０１からの命令に基づき、移動機構１７を回転駆動させてロボット１０を地面に沿って移動させる。アクチュエータ１０２は、ＣＰＵ３０１からの命令に基づき、可動アーム１１を変形させる。加速度・方位センサ１０３は、地磁気を検知する電子磁気コンパス、ジャイロコンパスおよび加速度センサ等のセンサである。ＧＰＳ受信部１０４は、ＧＰＳ衛星からＧＰＳ信号を受信する。電源供給ユニット１０５は、ロボット１０の全体に必要な電源を供給するユニットである。ここで、制御装置３０は、特殊撮影装置２１を備える通信装置の一例である。

●表示端末のハードウエア構成
図１２は、実施形態に係る表示端末のハードウエア構成の一例を示す図である。表示端末５０は、ＣＰＵ５０１、ＲＯＭ５０２、ＲＡＭ５０３、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）５０４、撮像素子Ｉ／Ｆ５０５、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサ５０５ａ、およびメディアＩ／Ｆ５０６を備えている。

ＣＰＵ５０１は、表示端末５０全体の動作を制御する。ＣＰＵ５０１は、ＲＯＭ５０２等に格納されたプログラムまたはデータをＲＡＭ５０３上に読み出し、処理を実行することで、表示端末５０の各機能を実現する演算装置である。

ＲＯＭ５０２は、ＩＰＬ(Initial Program Loader)等のＣＰＵ５０１の駆動に用いられるプログラムを記憶する。ＲＡＭ５０３は、ＣＰＵ５０１のワークエリアとして使用される。ＥＥＰＲＯＭ５０４は、ＣＰＵ５０１の制御にしたがって、表示端末用プログラム等の各種データの読み出しまたは書き込みを行う。

ＣＭＯＳセンサ５０５ａは、ＣＰＵ５０１の制御に従って被写体（主に自画像）を撮像し画像データを得る。撮像素子Ｉ／Ｆ５０５は、ＣＭＯＳセンサ５０５ａの駆動を制御する回路である。メディアＩ／Ｆ５０６は、フラッシュメモリ等の記録メディア５０６ａに対するデータの読み出しまたは書き込み（記憶）を制御する。

また、表示端末５０は、ネットワークＩ／Ｆ５０７、音入出力Ｉ／Ｆ５０８、マイク５０８ａ、スピーカ５０８ｂ、ディスプレイ５１１、キーボード５１２、外部機器接続Ｉ／Ｆ５１４、近距離通信回路５１５、および近距離通信回路５１５のアンテナ５１５ａを備えている。

ネットワークＩ／Ｆ５０７は、通信ネットワーク９を経由して、他の機器または装置との通信（接続）を行う通信インターフェースである。ネットワークＩ／Ｆ５０７は、例えば、有線または無線ＬＡＮ等の通信インターフェースである。なお、ネットワークＩ／Ｆ５０７は、３Ｇ、ＬＴＥ、４Ｇ、５Ｇ、Ｗｉ−Ｆｉ、ＷｉＭＡＸ、Ｚｉｇｂｅｅ、またはミリ波無線通信等の通信インターフェースを備えてもよい。音入出力Ｉ／Ｆ５０８は、ＣＰＵ５０１の制御に従ってマイク５０８ａおよびスピーカ５０８ｂとの間で音信号の入出力を処理する回路である。マイク５０８ａは、ＣＰＵ５０１の制御に従って音信号を入力する内蔵型の集音手段の一種である。スピーカ５０８ｂは、ＣＰＵ５０１の制御に従って音信号を出力する再生手段の一種である。

ディスプレイ５１１は、被写体の画像や各種アイコン等を表示する液晶や有機ＥＬ等の表示部の一種である。キーボード５１２は、文字、数値、各種指示等の入力のための複数のキーを備えた入力手段の一種である。外部機器接続Ｉ／Ｆ５１４は、各種の外部機器を接続するためのインターフェースである。外部機器接続Ｉ／Ｆ５１４には、各種指示の選択や実行、処理対象の選択、カーソルの移動等を行うマウス５００が接続されている。マウス５００は、ディスプレイ５１１に表示された表示画面に対する制御を行うポインティングデバイスである外部入力手段の一例である。近距離通信回路５１５は、ＮＦＣまたはＢｌｕｅｔｏｏｔｈ等の通信回路である。

また、表示端末５０は、バスライン５０９を備えている。バスライン５０９は、図１２に示されているＣＰＵ５０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

●通信管理サーバのハードウエア構成
図１３は、実施形態に係る通信管理サーバのハードウエア構成の一例を示す図である。通信管理サーバ９０は、一般的なコンピュータによって構築されている。通信管理サーバ９０は、ＣＰＵ９０１、ＲＯＭ９０２、ＲＡＭ９０３、ＨＤ９０４、ＨＤＤ９０５、メディアＩ／Ｆ９０７、ネットワークＩ／Ｆ９０８、ディスプレイ９１１、キーボード９１２、マウス９１３、ＤＶＤ−ＲＷ(Digital Versatile Disk Rewritable)ドライブ９１５、およびバスライン９１０を備えている。

ＣＰＵ９０１は、通信管理サーバ９０全体の動作を制御する。ＲＯＭ９０２は、ＣＰＵ９０１の駆動に用いられるプログラムを記憶する。ＲＡＭ９０３は、ＣＰＵ９０１のワークエリアとして使用される。ＨＤＤ９０５は、ＣＰＵ９０１の制御にしたがってＨＤ９０４に対する各種データの読み出し、または書き込みを制御する。ＨＤ９０４は、プログラム等の各種データを記憶する。メディアＩ／Ｆ９０７は、フラッシュメモリ等の記録メディア９０６に対するデータの読み出し、または書き込み（記憶）を制御する。

ネットワークＩ／Ｆ９０８は、通信ネットワーク９を利用してデータ通信をするためのインターフェースである。ディスプレイ９１１は、カーソル、メニュー、ウィンドウ、文字、または画像等の各種情報を表示する。キーボード９１２は、文字、数値、各種指示等の入力のための複数のキーを備えた入力手段の一種である。マウス９１３は、各種指示の選択や実行、処理対象の選択、カーソルの移動等を行う入力手段の一種である。ＤＶＤ−ＲＷドライブ９１５は、着脱可能な記録媒体の一例としてのＤＶＤ−ＲＷ９１４に対する各種データの読み出し等を制御する。なお、ＤＶＤ−ＲＷ９１４は、ＤＶＤ−Ｒ等であってもよい。また、ＤＶＤ−ＲＷドライブ９１５は、ＢＤ−ＲＥ(Blu-ray（登録商標） Disc Rewritable)またはＣＤ−ＲＷ(Compact Disc-ReWritable)等のディスクに対するデータの読み出しまたは書き込み（記憶）を制御するブルーレイドライブまたはＣＤ−ＲＷドライブ等であってもよい。

また、通信管理サーバ９０は、バスライン９１０を備えている。バスライン９１０は、図１３に示されているＣＰＵ９０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

なお、上記各プログラムは、インストール可能な形式または実行可能な形式のファイルで、コンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。記録媒体の例として、ＣＤ−Ｒ(Compact Disc Recordable)、ＤＶＤ、ブルーレイディスク、ＳＤカード等が挙げられる。また、記録媒体は、プログラム製品(Program Product)として、国内または国外へ提供されることができる。例えば、表示端末５０は、本発明に係るプログラムが実行されることで本発明に係る表示制御方法を実現する。

●特殊撮影装置のハードウエア構成
続いて、図１４を用いて、特殊撮影装置２１のハードウエア構成について説明する。図１４は、実施形態に係る特殊撮影装置のハードウエア構成の一例を示す図である。以下では、特殊撮影装置２１は、２つの撮像素子を使用した全天球（全方位）撮影装置とするが、撮像素子は２つ以上いくつでもよい。また、必ずしも全方位撮影専用の装置である必要はなく、通常のデジタルカメラやスマートフォン等に後付けの全方位の撮像ユニットを取り付けることで、実質的に全天球撮影装置と同じ機能を有するようにしてもよい。

図１４に示されているように、特殊撮影装置２１は、撮像ユニット２０１、画像処理ユニット２０４、撮像制御ユニット２０５、マイク２０８、音処理ユニット２０９、ＣＰＵ２１１、ＲＯＭ２１２、ＳＲＡＭ(Static Random Access Memory)２１３、ＤＲＡＭ(Dynamic Random Access Memory)２１４、操作部２１５、入出力Ｉ／Ｆ２１６、近距離通信回路２１７、近距離通信回路２１７のアンテナ２１７ａ、および加速度・方位センサ２１８によって構成されている。

このうち、撮像ユニット２０１は、各々半球画像を結像するための１８０°以上の画角を有する広角レンズ（いわゆる魚眼レンズ）２０２ａ，２０２ｂと、各広角レンズに対応させて設けられている２つの撮像素子２０３ａ，２０３ｂを備えている。撮像素子２０３ａ，２０３ｂは、魚眼レンズ２０２ａ，２０２ｂによる光学像を電気信号の画像データに変換して出力するＣＭＯＳセンサやＣＣＤ(Charge Coupled Device)センサ等の画像センサ、この画像センサの水平または垂直同期信号や画素クロック等を生成するタイミング生成回路、この撮像素子の動作に必要な種々のコマンドやパラメータ等が設定されるレジスタ群等を有している。

撮像ユニット２０１の撮像素子２０３ａ，２０３ｂは、各々、画像処理ユニット２０４とパラレルＩ／Ｆバスで接続されている。一方、撮像ユニット２０１の撮像素子２０３ａ，２０３ｂは、撮像制御ユニット２０５とは、シリアルＩ／Ｆバス（Ｉ２Ｃバス等）で接続されている。画像処理ユニット２０４、撮像制御ユニット２０５および音処理ユニット２０９は、バス２１０を介してＣＰＵ２１１と接続される。さらに、バス２１０には、ＲＯＭ２１２、ＳＲＡＭ２１３、ＤＲＡＭ２１４、操作部２１５、入出力Ｉ／Ｆ２１６、近距離通信回路２１７、および加速度・方位センサ２１８等も接続される。

画像処理ユニット２０４は、撮像素子２０３ａ，２０３ｂから出力される画像データをパラレルＩ／Ｆバスを通して取り込み、それぞれの画像データに対して所定の処理を施した後、これらの画像データを合成処理して、正距円筒射影画像のデータを作成する。

撮像制御ユニット２０５は、一般に撮像制御ユニット２０５をマスタデバイス、撮像素子２０３ａ，２０３ｂをスレーブデバイスとして、Ｉ２Ｃバスを利用して、撮像素子２０３ａ，２０３ｂのレジスタ群にコマンド等を設定する。必要なコマンド等は、ＣＰＵ２１１から受け取る。また、撮像制御ユニット２０５は、同じくＩ２Ｃバスを利用して、撮像素子２０３ａ，２０３ｂのレジスタ群のステータスデータ等を取り込み、ＣＰＵ２１１に送る。

また、撮像制御ユニット２０５は、操作部２１５のシャッターボタンが押下されたタイミングで、撮像素子２０３ａ，２０３ｂに画像データの出力を指示する。特殊撮影装置２１によっては、ディスプレイ（例えば、スマートフォンのディスプレイ）によるプレビュー表示機能や動画表示に対応する機能を持つ場合もある。この場合は、撮像素子２０３ａ，２０３ｂからの画像データの出力は、所定のフレームレート（フレーム／分）によって連続して行われる。

また、撮像制御ユニット２０５は、後述するように、ＣＰＵ２１１と協働して撮像素子２０３ａ，２０３ｂの画像データの出力タイミングの同期をとる同期制御手段としても機能する。なお、本実施形態では、特殊撮影装置２１にはディスプレイが設けられていないが、表示部を設けてもよい。マイク２０８は、音を音（信号）データに変換する。音処理ユニット２０９は、マイク２０８から出力される音データをＩ／Ｆバスを通して取り込み、音データに対して所定の処理を施す。

ＣＰＵ２１１は、特殊撮影装置２１の全体の動作を制御すると共に必要な処理を実行する。ＲＯＭ２１２は、ＣＰＵ２１１のための種々のプログラムを記憶している。ＳＲＡＭ２１３およびＤＲＡＭ２１４はワークメモリであり、ＣＰＵ２１１で実行するプログラムや処理途中のデータ等を記憶する。特に、ＤＲＡＭ２１４は、画像処理ユニット２０４での処理途中の画像データや処理済みの正距円筒射影画像のデータを記憶する。

操作部２１５は、シャッターボタン等の操作ボタンの総称である。ユーザは操作部２１５を操作することで、種々の撮影モードや撮影条件などを入力する。入出力Ｉ／Ｆ２１６は、ＳＤカード等の外付けのメディアまたはパーソナルコンピュータ等とのインターフェース回路（ＵＳＢＩ／Ｆ等）の総称である。入出力Ｉ／Ｆ２１６は、無線、有線を問わない。ＤＲＡＭ２１４に記憶された正距円筒射影画像のデータは、入出力Ｉ／Ｆ２１６を介して外付けのメディアに記録されたり、必要に応じて入出力Ｉ／Ｆ２１６を介して外部端末（装置）に送信されたりする。近距離通信回路２１７は、特殊撮影装置２１に設けられたアンテナ２１７ａを介して、Ｗｉ−Ｆｉ、ＮＦＣまたはＢｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線通信技術によって、外部端末（装置）と通信を行う。近距離通信回路２１７は、正距円筒射影画像のデータを、外部端末（装置）に送信することができる。

加速度・方位センサ２１８は、地球の磁気から特殊撮影装置２１の方位を算出し、方位情報を出力する。この方位情報はExifに沿った関連情報（メタデータ）の一例であり、撮影画像の画像補正等の画像処理に利用される。なお、関連情報には、画像の撮影日時、及び画像データのデータ容量の各データも含まれている。また、加速度・方位センサ２１８は、特殊撮影装置２１の移動に伴う角度の変化（Roll角、Pitch角、Yaw角）を検出するセンサである。角度の変化は、Exifに沿った関連情報（メタデータ）の一例であり、撮像画像の画像補正等の画像処理に利用される。更に、加速度・方位センサ２１８は、３軸方向の加速度を検出するセンサである。特殊撮影装置２１は、加速度・方位センサ２１８が検出した加速度に基づいて、自装置（特殊撮影装置２１）の姿勢（重力方向に対する角度）を算出する。特殊撮影装置２１に、加速度・方位センサ２１８が設けられることによって、画像補正の精度が向上する。

○全天球画像について○
ここで、図１５乃至図１９を用いて、特殊撮影装置２１によって取得される全天球画像の一例について説明する。まず、図１５および図１６を用いて、特殊撮影装置２１で撮影された画像から正距円筒射影画像ＥＣおよび全天球画像ＣＥが作成されるまでの処理の概略を説明する。図１５（Ａ）は、特殊撮影装置２１で撮影された半球画像（前側）、図１５（Ｂ）は、特殊撮影装置２１で撮影された半球画像（後側）、図１５（Ｃ）は、正距円筒図法により表された画像（以下、「正距円筒射影画像」という）を示した図である。図１６（Ａ）は正距円筒射影画像で球を被う状態を示した概念図、図１６（Ｂ）は、全天球画像を示した図である。

図１５（Ａ）に示されているように、撮像素子２０３ａによって得られた画像は、レンズ２０２ａによって湾曲した半球画像（前側）となる。また、図１５（Ｂ）に示されているように、撮像素子２０３ｂによって得られた画像は、レンズ２０２ｂによって湾曲した半球画像（後側）となる。そして、特殊撮影装置２１は、半球画像（前側）と１８０度反転された半球画像（後側）とを合成して、図１５（Ｃ）に示すような正距円筒射影画像ＥＣを作成する。

そして、特殊撮影装置２１は、ＯｐｅｎＧＬＥＳ（Open Graphics Library for Embedded Systems）を利用することで、図１６（Ａ）に示されているように、球面を覆うように正距円筒射影画像を貼り付け、図１６（Ｂ）に示されているような全天球画像ＣＥを作成する。このように、全天球画像ＣＥは、正距円筒射影画像ＥＣが球の中心を向いた画像として表される。なお、ＯｐｅｎＧＬＥＳは、２Ｄ（2-Dimensions）および３Ｄ（3-Dimensions）のデータを視覚化するために使用するグラフィックスライブラリである。また、全天球画像ＣＥは、静止画であっても動画であってもよい。

以上のように、全天球画像ＣＥは、球面を覆うように貼り付けられた画像であるため、人間が見ると違和感を持ってしまう。そこで、特殊撮影装置２１は、所定のディスプレイに、全天球画像ＣＥの一部の所定領域（以下、「所定領域画像」という）を湾曲の少ない平面画像として表示させることで、人間に違和感を与えない表示をすることができる。これに関して、図１７および図１８を用いて説明する。

図１７は、全天球画像を三次元の立体球とした場合の仮想カメラおよび所定領域の位置を示した図である。仮想カメラＩＣは、三次元の立体球として表示されている全天球画像ＣＥに対して、その画像を見るユーザの視点の位置に相当するものである。図１８（Ａ）は、図１７の立体斜視図、図１８（Ｂ）は、ディスプレイに表示された場合の所定領域画像を表す図である。図１８（Ａ）は、図１７に示した全天球画像ＣＥを、三次元の立体球ＣＳで表している。このように生成された全天球画像ＣＥが、立体球ＣＳであるとした場合、図１７に示されているように、仮想カメラＩＣは、全天球画像ＣＥの内部に位置している。全天球画像ＣＥにおける所定領域Ｔは、仮想カメラＩＣの撮影領域であり、全天球画像ＣＥを含む三次元の仮想空間における仮想カメラＩＣの撮影方向と画角を示す所定領域情報によって特定される。また、所定領域Ｔのズームは、仮想カメラＩＣを全天球画像ＣＥに近づいたり、遠ざけたりすることで表現することもできる。所定領域画像Ｑは、全天球画像ＣＥにおける所定領域Ｔの画像である。したがって、所定領域Ｔは、画角αと、仮想カメラＩＣから全天球画像ＣＥまでの距離ｆにより特定できる（図１９参照）。

そして、図１８（Ａ）に示されている所定領域画像Ｑは、図１８（Ｂ）に示されているように、所定のディスプレイに、仮想カメラＩＣの撮影領域の画像として表示される。図１８（Ｂ）に示されている画像は、初期設定（デフォルト）された所定領域情報によって表された所定領域画像である。以下、仮想カメラＩＣの撮影方向（ｅａ，ａａ）と画角（α）を用いて説明する。なお、所定領域Ｔは、画角αと距離ｆではなく、所定領域Ｔである仮想カメラＩＣの撮像領域（Ｘ，Ｙ，Ｚ）によって示してもよい。

次に、図１９を用いて、所定領域情報と所定領域Ｔの画像の関係について説明する。図１９は、所定領域情報と所定領域Ｔの画像の関係との関係を示した図である。図１９に示されているように、「ｅａ」はｅｌｅｖａｔｉｏｎ ａｎｇｌｅ（仰角）、「ａａ」はａｚｉｍｕｔｈ ａｎｇｌｅ（方位角）、「α」は画角（Angle）を示す。すなわち、仮想カメラＩＣの姿勢は、撮影方向（ｅａ，ａａ）で示される仮想カメラＩＣの注視点が、仮想カメラＩＣの撮影領域である所定領域Ｔの中心点ＣＰとなるように変更される。図１９に示されているように、仮想カメラＩＣの画角αによって表される所定領域Ｔの対角画角をαとした場合の中心点ＣＰが、所定領域情報の（ｘ，ｙ）パラメータとなる。所定領域画像Ｑは、全天球画像ＣＥにおける所定領域Ｔの画像である。ｆは、仮想カメラＩＣから中心点ＣＰまでの距離である。Ｌは所定領域Ｔの任意の頂点と中心点ＣＰとの距離である（２Ｌは対角線）。そして、図１９では、一般的に以下の（式１）で示される三角関数が成り立つ。

●機能構成●
続いて、図２０乃至図２５を用いて、本実施形態に係る遠隔制御システム１ａの機能構成について説明する。図２０は、実施形態に係る遠隔制御システムの機能構成の一例を示す図である。なお、図２０では、図１に示されている各端末、装置およびサーバのうち、後述の処理または動作に関連しているものが示されている。

●制御装置の機能構成
まず、図２０を用いて、ロボット１０の処理または動作を制御する制御装置３０の機能構成について説明する。制御装置３０は、送受信部３１、受付部３２、表示制御部３３、判断部３４、状態情報生成部３５、位置情報検出部３６、撮影制御部３７、撮影画像取得部３８、移動制御部４１、アーム操作制御部４２、音入出力部４３および記憶・読出部３９を有している。これら各部は、図１１に示されている各構成要素のいずれかが、ＲＡＭ３０３上に展開されたプログラムに従ったＣＰＵ３０１からの命令によって動作することで実現される機能、または機能する手段である。また、制御装置３０は、図１１に示されているＲＯＭ３０２、ＨＤ３０４ａまたは記録メディア３０５ａによって構築される記憶部３０００を有している。

送受信部３１は、図１１に示されているＣＰＵ３０１からの命令、およびネットワークＩ／Ｆ３０８によって実現され、通信ネットワーク９を介して、他の装置との間で各種データまたは情報の送受信を行う機能である。送受信部３１は、例えば、通信ネットワーク９を介して、撮影画像取得部３８によって取得された全天球画像データまたは詳細画像データを、表示端末５０へ送信する。送受信部３１は、受信手段の一例である。

受付部３２は、図１１に示されているＣＰＵ３０１からの命令、および入出力Ｉ／Ｆ３０６によって実現され、ディスプレイ１５０等の入力手段に対する操作入力を受け付ける機能である。表示制御部３３は、図１１に示されているＣＰＵ３０１からの命令、および入出力Ｉ／Ｆ３０６によって実現され、ディスプレイ１５０に各種画面を表示させる機能である。判断部３４は、図１１に示されているＣＰＵ３０１からの命令によって実現され、各種判断を行う機能である。

状態情報生成部３５は、図１１に示されているＣＰＵ３０１からの命令、および外部機器接続Ｉ／Ｆ３１１によって実現され、ロボット１０の移動状態を示す状態情報１７０を生成する機能である。状態情報生成部３５は、移動制御部４１から取得される移動機構１７の駆動状態に基づいて、ロボット１０の移動状態を示す状態情報１７０を生成して取得する。状態情報生成部３５によって生成（取得）される状態情報１７０の詳細は、後述する。

位置情報検出部３６は、図１１に示されているＣＰＵ３０１からの命令、および外部機器接続Ｉ／Ｆ３１１によって実現され、加速度・方位センサ１０３またはＧＰＳ受信部１０４によって検出される各方位（方位角、磁北）の方向等の検出結果を取得する機能である。各方位の方向等の検出結果は、ロボット１０の所定時点における位置および向きを示す位置情報である。

撮影制御部３７は、図１１に示されているＣＰＵ３０１からの命令、および外部機器接続Ｉ／Ｆ３１１によって実現され、特殊撮影装置２１または一般撮影装置２４に対する撮影処理を指示する機能である。撮影制御部３７は、例えば、特殊撮影装置２１による撮影を指示するための指示情報を、特殊撮影装置２１へ送信する。また、撮影制御部３７は、例えば、一般撮影装置２４による撮影を指示するための指示情報を、一般撮影装置２４へ送信する。

撮影画像取得部３８は、図１１に示されているＣＰＵ３０１からの命令、および外部機器接続Ｉ／Ｆ３１１によって実現され、特殊撮影装置２１によって取得された全天球画像、または一般撮影装置２４によって取得された詳細画像を取得する機能である。撮影画像取得部３８は、例えば、特殊撮影装置２１が被写体を撮影して取得した全天球画像である全天球画像データを、特殊撮影装置２１から取得する。また、撮影画像取得部３８は、例えば、特殊撮影装置２１によって撮影された被写体の一部を一般撮影装置２４が撮影して取得した詳細画像である詳細画像データを、一般撮影装置２４から取得する。

移動制御部４１は、図１１に示されているＣＰＵ３０１からの命令、および外部機器接続Ｉ／Ｆ３１１によって実現され、移動機構１７を駆動させることによって、ロボット１０の移動を制御する機能である。移動制御部４１は、例えば、表示端末５０から送信されてきた要求コマンドに応じて移動機構１７の駆動を制御することで、ロボット１０を移動させる。

アーム操作制御部４２は、図１１に示されているＣＰＵ３０１からの命令、および外部機器接続Ｉ／Ｆ３１１によって実現され、可動アーム１１の操作を制御する機能である。アーム操作制御部４２は、例えば、表示端末５０から送信されてきた要求コマンドに応じて可動アーム１１を変形させることで、可動アーム１１の向きまたは位置を変更する。

音入出力部４３は、図１１に示されているＣＰＵ３０１からの命令、および音入出力Ｉ／Ｆ３０７によって実現され、音データの入出力を行う機能である。音入出力部４３は、例えば、マイク３０７ａによって取得されたユーザの音声を音声信号に変換し、音声信号に基づく音データに対して音声処理を行う。また、音入出力部４３は、例えば、スピーカ３０７ｂから出力させる音データを設定し、設定した音データに係る音信号をスピーカ３０７ｂから出力することにより、音データを再生する。

記憶・読出部３９は、図１１に示されているＣＰＵ３０１からの命令によって実行され、記憶部３０００に各種データを記憶させ、または記憶部３０００から各種データを読み出す機能である。記憶部３０００には、表示端末５０との通信を行う際に受信される画像データおよび音データが、受信される度に上書き記憶される。このうち、上書きされる前の画像データによってディスプレイ１５０に画像が表示され、上書きされる前の音データによってスピーカ３０７ｂから音声が出力される。また、記憶部３０００は、撮影画像取得部３８によって取得された全天球画像データおよび詳細画像データを記憶している。なお、記憶部３０００に記憶されている全天球画像データおよび詳細画像データは、撮影画像取得部３８によって取得されてから所定の時間経過した場合に削除される構成であってもよいし、表示端末５０へ送信されたデータが削除される構成であってもよい。

○コマンド管理テーブル○
図２１（Ａ）は、実施形態に係るコマンド管理テーブルの一例を示す概念図である。記憶部３０００には、図２１（Ａ）に示されているようなコマンド管理テーブルによって構成されているコマンド管理ＤＢ３００１が構築されている。図２１（Ａ）に示されているコマンド管理テーブルは、表示端末５０から送信されてきた要求コマンドに基づいてロボット１０に実行させる処理または動作を特定するためのものである。このコマンド管理テーブルには、コマンドごとに、それぞれのコマンドに対応する変数および処理内容を関連づけられて管理されている。制御装置３０の判断部３４は、コマンド管理テーブルを用いて、表示端末５０から送信されてきた要求コマンドに対応する処理を特定する。

例えば、コマンド「ＭＯＶＥ（変数Ｌ，Ｒ）」に対応する処理は、移動機構１７の左車輪をＬ°回転させ、右車輪をＲ°回転させる処理である。なお、ロボット１０は、二つの独立した左右の車輪によって動くものとして説明するが、移動機構１７が足型や単輪のものであっても、特定の方向へ移動できるものであれば、同様の処理が可能である。また、コマンド「ＡＩＭ（変数Ｈ，Ｖ，Ｚ）」に対応する処理は、一般撮影装置２４の撮影方向を、ロボット１０の正面に対して水平角度Ｈ°、垂直角度Ｖ°になるように移動させ、一般撮影装置２４のズーム量をＺ％に変更する処理である。さらに、コマンド「ＬＯＯＫ（変数Ｈ，Ｖ，Ｚ）」は、ロボット１０の操作者が見ている全天球画像中の方向（Ｈ，Ｖ）とズーム量（Ｚ％）を示す。ロボット１０は、このコマンド「ＬＯＯＫ（変数Ｈ，Ｖ，Ｚ）」を、表示端末５０から送信されている情報として扱い、例えば、後述するディスプレイ１５０に表示させる表示画面８００（図４３（Ａ）参照）を生成する際に用いる。

○撮影パラメータ管理テーブル○
図２１（Ｂ）は、実施形態に係る撮影パラメータ管理テーブルの一例を示す概念図である。記憶部３０００には、図２１（Ｂ）に示されているような撮影パラメータ管理テーブルによって構成されている撮影パラメータ管理ＤＢ３００２が構築されている。図２１（Ｂ）に示されている撮影パラメータ管理テーブルには、特殊撮影装置２１によって撮影される全天球画像の画質等の撮影パラメータを記憶されているものである。この撮影パラメータ管理テーブルは、項目ごとに、それぞれのパラメータが記憶されて管理されている。撮影パラメータ管理テーブルによって管理されている項目は、全天球画像のフレームレート（ＦＰＳ、１秒あたりの更新頻度）、全天球画像の解像度（ＲＥＳＯＬＵＴＩＯＮ）、および一般撮影装置２４の撮影位置（ＡＩＭ）である。なお、撮影パラメータ管理テーブルによって管理されている項目は、これに限られず、例えば、全天球画像の画質に関するその他の項目が含まれていてもよい。制御装置３０の撮影制御部３７は、特殊撮影装置２１によって取得される全天球画像の画質が変更されたり、一般撮影装置２４によって取得される詳細画像の撮影位置が変更されたりするたびに、それぞれのパラメータを更新（変更）する。

●表示端末の機能構成
続いて、図２０を用いて、表示端末５０の機能構成について説明する。表示端末５０は、送受信部５１、受付部５２、表示画面生成部５３、表示制御部５４、表示位置特定部５５、判断部５６、要求コマンド生成部５７、撮影画像取得部５８、音入出力部６１および記憶・読出部５９を有している。これら各部は、図１２に示されている各構成要素のいずれかが、ＲＡＭ５０３上に展開されたプログラムに従ったＣＰＵ５０１からの命令によって動作することで実現される機能、または機能する手段である。また、表示端末５０は、図１２に示されているＲＯＭ５０２または記録メディア５０６ａによって構築される記憶部５０００を有している。さらに、表示端末５０は、ロボット１０を遠隔操作するための専用のアプリケーションプログラムをインストールしている。表示端末５０は、例えば、インストールされたアプリケーションプログラムをＣＰＵ５０１が実行することによって各機能を実現する

送受信部５１は、図１２に示されているＣＰＵ５０１からの命令、およびネットワークＩ／Ｆ５０７によって実現され、通信ネットワーク９を介して、他の装置との間で各種データまたは情報の送受信を行う機能である。送受信部５１は、例えば、通信ネットワーク９を介して、全天球画像データおよび詳細画像データを、ロボット１０（制御装置３０）から受信する。また、送受信部５１は、例えば、通信ネットワーク９を介して、ロボット１０の状態を示す状態情報１７０を、ロボット１０（制御装置３０）から受信（取得）する。さらに、送受信部５１は、例えば、通信ネットワーク９を介して、要求コマンド生成部５７によって生成された要求コマンドを、ロボット１０(制御装置３０)へ送信する。

受付部５２は、図１２に示されているＣＰＵ５０１からの命令、並びにキーボード５１２等の入力手段もしくは外部機器接続Ｉ／Ｆ５１４によって実現され、表示端末５０への各種選択または操作入力を受け付ける機能である。受付部５２は、例えば、キーボード５１２等の入力手段を用いて、ディスプレイ５１１に表示された表示画面に対する操作入力を受け付ける。また、受付部５２は、例えば、マウス５００等のポインティングデバイスの移動を検知する。受付部５２は、検知手段の一例である。

表示画面生成部５３は、図１２に示されているＣＰＵ５０１からの命令によって実現され、ディスプレイ５１１に表示させる各種表示画面を生成する機能である。表示画面生成部５３は、例えば、ロボット１０から送信された全天球画像データおよび詳細画像データを用いて、ディスプレイ５１１に表示される表示画面を生成する。表示画面生成部５３は、生成手段の一例である。

表示制御部５４は、図１２に示されているＣＰＵ５０１からの命令によって実現され、表示端末５０のディスプレイ５１１に各種画面を表示させる機能である。表示制御部５４は、例えば、表示画面生成部５３によって生成された表示画面を、ディスプレイ５１１に表示させる。表示制御部５４は、表示制御手段の一例である。

表示位置特定部５５は、図１２に示されているＣＰＵ５０１からの命令、および外部機器接続Ｉ／Ｆ５１４によって実現され、ディスプレイ５１１に表示された全天球画像の表示位置（表示方向）を特定する機能である。表示位置特定部５５は、例えば、受付部５２によって受け付けられたマウス５００の移動量を算出する。また、表示位置特定部５５は、例えば、マウス５００の移動量に基づいて、全天球画像の表示位置（表示方向）を特定する。表示位置特定部５５は、算出手段の一例である。

判断部５６は、図１２に示されているＣＰＵ５０１からの命令によって実現され、各種判断を行う機能である。判断部５６は、ロボット１０へ要求する特定の処理を判断する。判断部５６は、例えば、受付部５２によって受け付けられた操作入力に基づいて、ロボット１０へ要求する特定の処理を判断する。また、判断部５６は、例えば、送受信部５１によって受信（取得）された状態情報１７０に基づいて、ロボット１０へ要求する特定の処理を判断する。

要求コマンド生成部５７は、図１２に示されているＣＰＵ５０１からの命令によって実現され、ロボット１０に特定の処理を実行されるための実行要求である要求コマンドを生成する機能である。要求コマンド生成部５７は、例えば、ロボット１０が備える一般撮影装置２４の撮影位置を変更するための要求である要求コマンドを生成する。

撮影画像取得部５８は、図１２に示されているＣＰＵ５０１からの命令、および撮像素子Ｉ／Ｆ５０５によって実現され、ＣＭＯＳセンサ５０５ａによって撮影されて取得された撮影画像を取得する機能である。撮影画像取得部５８は、例えば、ＣＭＯＳセンサ５０５ａが被写体を撮影して取得した撮影画像である撮影画像データを取得する。音入出力部６１は、図１２に示されているＣＰＵ５０１からの命令、および音入出力Ｉ／Ｆ５０８によって実現され、音データの入出力を行う機能である。音入出力部６１は、例えば、マイク５０８ａによって取得された利用者の音声を音声信号に変換し、音声信号に基づく音データに対して音声処理を行う。また、音入出力部６１は、例えば、スピーカ５０８ｂから出力させる音データを設定し、設定した音データに係る音信号をスピーカ５０８ｂから出力することにより、音データを再生する。

記憶・読出部５９は、図１２に示されているＣＰＵ５０１からの命令によって実行され、記憶部５０００に各種データを記憶させ、または記憶部５０００から各種データを読み出す機能である。記憶部５０００には、ロボット１０（制御装置３０）との通信を行う際に受信される画像データおよび音データが、受信される度に上書き記憶される。このうち、上書きされる前の画像データによってディスプレイ５１１に画像が表示され、上書きされる前の音データによってスピーカ５０８ｂから音声が出力される。

○状態情報管理テーブル○
図２２（Ａ）は、実施形態に係る状態情報管理テーブルの一例を示す概念図である。記憶部５０００には、図２２（Ａ）に示されているような状態情報管理テーブルによって構成されている状態情報管理ＤＢ５００１が構築されている。図２２（Ａ）に示されている状態情報管理テーブルは、ロボット１０の現在の状態が記憶されているものである。この状態情報管理テーブルには、ロボット１０の進行方向および進行速度のそれぞれに対して、ロボット１０の現在の移動状態を示す値（パラメータ）が記憶されている。ロボット１０の進行方向は、水平角度（ＤＲＩＶＥ＿Ｈ＿ＡＮＧＬＥ）と垂直角度（ＤＲＩＶＥ＿Ｖ＿ＡＮＧＬＥ）によって示されている。また、状態情報管理テーブルには、一般撮影装置２４の現在の撮影位置を示す値（パラメータ）が記憶されている。一般撮影装置２４の撮影位置は、水平角度（ＣＡＭＥＲＡ＿Ｈ＿ＡＮＧＬＥ）、垂直角度（ＣＡＭＥＲＡ＿Ｖ＿ＡＮＧＬＥ）、およびズーム量（ＣＡＭＥＲＡ＿ＺＯＯＭ）によって示されている。表示端末５０は、ロボット１０が移動するたびに、または一般撮影装置２４の撮影位置が変更されるたびに、対応する項目の値を更新（変更）する。

○条件情報管理テーブル○
図２２（Ｂ）は、実施形態に係る条件情報管理テーブルの一例を示す概念図である。記憶部５０００には、図２２（Ｂ）に示されているような条件情報管理テーブルによって構成されている条件情報管理ＤＢ５００２が構築されている。図２２（Ｂ）に示されている条件情報管理テーブルは、送受信部５１によって受信された状態情報１７０に基づいて、ロボット１０に対して要求する処理または動作の内容を特定するために用いられるものである。この条件情報管理テーブルには、ロボット１０の状態に関する条件のそれぞれに、処理の内容およびロボット１０へ送信する要求コマンドの内容が関連づけられて記憶されている。例えば、ロボット１０の進行速度が５．０ｋｍ以上の場合（「ＳＰＥＥＤ＞５ｋｍ／ｈ」）、表示端末５０は、処理の内容として「フレームレートを３に下げる」処理を特定するとともに、ロボット１０へ送信する要求コマンドとして「ＦＰＳ（３）」を抽出する。なお、「ＲＥＳＯＬＵＴＩＯＮ」は、全天球画像の解像度に関するコマンドであり、「ＺＯＯＭ」は、全天球画像の表示範囲（出力範囲）に関するコマンドである。

なお、条件情報管理テーブルに示されている条件は、ロボット１０の進行速度に関する条件に限られず、ロボット１０が取得できる移動状態の他の情報に関する条件であってもよい。例えば、条件情報管理テーブルには、ロボット１０の進行方向に関する条件が示されていてもよい。また、条件情報管理テーブルに示されている条件、または処理の内容は、表示端末５０を用いてロボット１０を操作する操作者等によって適宜修正・変更可能である。

また、条件情報管理テーブルに示されているように、表示端末５０は、全天球画像の表示位置と一般撮影装置２４の撮影位置が近い場合、全天球画像から詳細画像へ、表示画面の表示を切り替える。これは、一般撮影装置２４の撮影位置を変更することによって、一般撮影装置２４の撮影方向およびズーム量が、全天球画像の表示位置（表示方向およびズーム量）に追いついた場合、ディスプレイ５１１の表示を、全天球画像から詳細画像へ切り替えることを意味する。ここで、「全天球画像の表示位置と一般撮影装置２４の撮影位置が近い」とは、完全に位置が同じではなく、所定の範囲内に収まっていればよい。

○ユーザコマンド管理テーブル○
図２３（Ａ）は、実施形態に係るユーザコマンド管理テーブルの一例を示す概念図である。記憶部５０００には、図２３（Ａ）に示されているようなユーザコマンド管理テーブルによって構成されているユーザコマンド管理ＤＢ５００３が構築されている。図２３（Ａ）に示されているユーザコマンド管理テーブルは、受付部５２によって受け付けられた操作入力に基づいて、ロボット１０に対して要求する処理または動作の内容を特定するために用いられるものである。このユーザコマンド管理テーブルには、入力コマンドごとに、対応する処理の内容および処理の種別を関連づけられて記憶されている。表示端末５０は、例えば、入力コマンドである「マウス５００の移動」を検知した場合、ＬＯＯＫ（Ｈ，Ｖ，Ｚ）の要求コマンドをロボット１０へ送信するとともに、全天球画像の表示位置を変更する。また、表示端末５０は、例えば、入力コマンドである「マウス５００の移動後の停止」を検知した場合、ＡＩＭ（Ｈ，Ｖ，Ｚ）の要求コマンドをロボット１０へ送信する。これは、マウス５００が移動するたびに一般撮影装置２４への指示を行うと、頻繁になりすぎるので、マウス５００の移動後に所定の時間の間、マウス５００を動かさなくなってから要求コマンドを送信することを意味する。

○表示状態管理テーブル○
図２３（Ｂ）は、実施形態に係る表示状態管理テーブルの一例を示す概念図である。記憶部５０００には、図２３（Ｂ）に示されているような表示状態管理テーブルによって構成されている表示状態管理ＤＢ５００４が構築されている。図２３（Ｂ）に示されている表示状態管理テーブルは、表示端末５０に表示されている全天球画像の表示位置、および表示端末５０に表示されている詳細画像の撮影位置のパラメータが記憶されて管理されている。例えば、図２３（Ｂ）の場合、全天球画像の表示方向は、水平角度「２２．０°」および垂直角度「１５．０°」であり、全天球画像のズーム量は、５０％である。また、詳細画像（一般撮影装置２４）の撮影方向は、水平角度「−２２．２°」および垂直角度「１０．０°」であり、詳細画像（一般撮影装置２４）のズーム量は、２２．３％である。表示端末５０は、この表示状態管理テーブルに記憶されている各画像の表示状態のパラメータを用いて、ディスプレイ５１１に表示させる画像の切り替えを行う。

●通信管理サーバの機能構成
次に、図２０を用いて、通信管理サーバ９０の機能構成について説明する。通信管理サーバ９０は、送受信部９１、認証部９２、判断部９３、作成部９４および記憶・読出部９９を有している。これら各部は、図１３に示されている各構成要素のいずれかが、ＲＡＭ９０３上に展開されたプログラムに従ったＣＰＵ９０１からの命令によって動作することで実現される機能、または機能する手段である。また、通信管理サーバ９０は、図１３に示されているＲＯＭ９０２、ＨＤ９０４または記録メディア９０６によって構築される記憶部９０００を有している。

送受信部９１は、図１３に示されているＣＰＵ９０１からの命令、およびネットワークＩ／Ｆ９０８によって実現され、通信ネットワーク９を介して、他の装置との間で各種データまたは情報の送受信を行う機能である。

認証部９２は、図１３に示されているＣＰＵ９０１からの命令によって実現され、送受信部９１によって受信されたログイン要求情報に基づいて、ログイン要求元の認証を行う機能である。認証部９２は、例えば、送受信部９１によって受信されたログイン要求情報に含まれている端末ＩＤおよびパスワードを検索キーとし、記憶部９０００の認証管理ＤＢ９００１を検索する。そして、認証部９２は、認証管理ＤＢ９００１に同一の組の端末ＩＤおよびパスワードが管理されているかを判断することによって端末認証を行う。

判断部９３は、図１３に示されているＣＰＵ９０１からの命令によって実現され、後述するセッション管理テーブルに、表示端末５０の端末ＩＤが管理されているかを判断する機能である。作成部９４は、図１３に示されているＣＰＵ９０１からの命令によって実現され、通信に使用されるセッションＩＤを作成する機能である。

記憶・読出部９９は、図１３に示されているＣＰＵ９０１からの命令によって実行され、記憶部９０００に各種データを記憶させ、または記憶部９０００から各種データを読み出す機能である。また、記憶部９０００には、後述する宛先リスト画面９００（図２７参照）における宛先リスト枠データ（図２７に示すアイコン、「ｒＡ０１」、「ロボット１０Ａ−１」等の宛先リスト内容情報は含まれない）が記憶されている。

○認証管理テーブル○
図２４（Ａ）は、実施形態に係る認証管理テーブルの一例を示す概念図である。記憶部９０００には、図２４（Ａ）に示されているような認証管理テーブルによって構成されている認証管理ＤＢ９００１が構築されている。この認証管理テーブルには、通信管理サーバ９０によって管理される全ての表示端末５０の各端末ＩＤに対して、各パスワードが関連づけられて管理されている。例えば、図２４（Ａ）に示されている認証管理テーブルでは、表示端末５０Ａの端末ＩＤは「ｏ０１」で、パスワードは「ａａａａ」であることが表されている。

○端末管理テーブル○
図２４（Ｂ）は、実施形態に係る端末管理テーブルの一例を示す概念図である。記憶部９０００には、図２４（Ｂ）に示されているような端末管理テーブルによって構成されている端末管理ＤＢ９００２が構築されている。この端末管理テーブルには、各端末（ロボット１０および表示端末５０）の端末ＩＤごとに、各端末の端末名、端末のＩＰアドレス、各端末の現在の稼動状態を示す稼動状態情報、および端末がロボット１０である場合のロボット１０が位置する拠点を示す拠点名が関連づけられて管理されている。例えば、図２４（Ｂ）に示す端末管理テーブルにおいて、端末ＩＤが「ｏ０１」の表示端末５０は、端末名が「表示端末５０Ａ」で、この表示端末５０のＩＰアドレスが「１．２．１．３」で、稼動状態が「オンライン（通話可能）」であることが示されている。また、端末ＩＤが「ｒＡ０１」のロボット１０は、端末名が「ロボット１０Ａ−１」で、このロボット１０のＩＰアドレスが「１．３．２．３」で、稼動状態が「オンライン（通話可能）」で、拠点名が「拠点Ａ」であることが示されている。

○宛先リスト管理テーブル○
図２５（Ａ）は、実施形態に係る宛先リスト管理テーブルの一例を示す概念図である。記憶部９０００には、図２５（Ａ）に示されているような宛先リスト管理テーブルによって構成されている宛先リスト管理ＤＢ９００３が構築されている。この宛先リスト管理テーブルには、ロボット１０との通信の開始を要求する開始端末としての表示端末５０の端末ＩＤごとに、宛先となるロボット１０の候補として登録されている宛先候補のロボット１０の端末ＩＤが関連づけられて管理されている。例えば、図２５（Ａ）に示す宛先リスト管理テーブルにおいて、端末ＩＤが「ｏ０１ａ」である開始端末（表示端末５０Ａ）から通信の開始を要求することができる宛先候補は、端末ＩＤが「ｒＡ０１」のロボット１０Ａ−１、端末ＩＤが「ｒＡ０２」のロボット１０Ａ−２、端末ＩＤが「ｒＣ０１」のロボット１０Ｃ−１等であることが示されている。なお、宛先候補のロボット１０の端末ＩＤは、任意の開始端末（表示端末５０）から通信管理サーバ９０に対する追加または削除の要請により、追加または削除されることで更新される。

○セッション管理テーブル○
図２５（Ｂ）は、実施形態に係るセッション管理テーブルの一例を示す概念図である。記憶部９０００には、図２５（Ｂ）に示されているようなセッション管理テーブルによって構成されているセッション管理ＤＢ９００４が構築されている。このセッション管理テーブルには、ロボット１０と表示端末５０との間で通信する際に利用されるセッションを識別するためのセッションＩＤごとに、このセッションＩＤによって特定されるセッションを使用中のロボット１０および表示端末５０の端末ＩＤが関連づけられて管理されている。例えば、図２５（Ｂ）に示すセッション管理テーブルにおいて、セッションＩＤ「ｓｅ１」を用いて実行されたセッションを使用中の端末は、端末ＩＤが「ｏ０１」の表示端末５０Ａ、端末ＩＤが「ｒＡ０２」のロボット１０Ａ−２、および端末ＩＤが「ｒＣ０１」のロボット１０Ｃ−１であることが示されている。

●実施形態の処理または動作●
続いて、図２６乃至図４３を用いて、実施形態に係る遠隔制御システム１ａの動作または処理について説明する。なお、以降の説明において、ロボット１０が備える制御装置３０によって実行される処理は、ロボット１０によって実行される処理として説明する。

●通信セッションの確立処理
まず、図２６乃至図２８を用いて、ロボット１０と表示端末５０との間における通信セッションの確立処理について説明する。図２６は、実施形態に係る遠隔制御システムにおけるロボットと表示端末との間でデータの送受信を開始する準備段階の処理の一例を示すシーケンス図である。ここでは、開始端末としての表示端末５０Ａと、宛先端末としてのロボット１０Ａ−１との間で、データの送受信を開始する前の準備段階における各管理情報の送受信処理について説明する。

まず、表示端末５０Ａの送受信部５１は、通信ネットワーク９を介して、通信管理サーバ９０へログイン認証の要求を示すログイン要求情報を送信する（ステップＳ１０１）。具体的には、表示端末５０Ａの利用者は、表示端末５０Ａにおける電源スイッチをＯＮにすると、電源がＯＮになる。そして、表示端末５０Ａの送受信部５１は、上記電源ＯＮを契機とし、送受信部５１から通信ネットワーク９を介して、通信管理サーバ９０へ、ログイン要求情報を送信する。これにより、通信管理サーバ９０の送受信部９１は、表示端末５０Ａから送信されたログイン要求情報を受信する。

このログイン要求情報には、表示端末５０Ａとしての開始端末を識別するための端末ＩＤ、およびパスワードが含まれている。これら端末ＩＤおよびパスワードは、記憶・読出部５９によって記憶部５０００から読み出されて、送受信部５１に送られたデータである。なお、これら端末ＩＤおよびパスワードは、これに限るものではなく、利用者がキーボード５１１等の入力手段によって入力した端末ＩＤやパスワードが送信されてもよい。また、表示端末５０Ａに接続されたＳＩＭ（Subscriber Identity Module Card）カードやＳＤカード等の記録媒体から読み出された端末ＩＤやパスワードが送信されてもよい。

また、表示端末５０Ａから通信管理サーバ９０へログイン要求情報が送信される際は、受信側である通信管理サーバ９０は、送信側である表示端末５０ＡのＩＰアドレスを取得することができる。なお、ログイン要求の開始は、必ずしも電源スイッチをＯＮにすることを契機とする必要はなく、利用者によるディスプレイ５１１等の入力手段への入力に応じて送信してもよい。

次に、通信管理サーバ９０の認証部９２は、送受信部９１によって受信されたログイン要求情報に含まれている端末ＩＤおよびパスワードを検索キーとして、記憶部９０００の認証管理テーブル（図２４（Ａ）参照）を検索し、認証管理ＤＢ９００１に同一の端末ＩＤおよび同一のパスワードが管理されているかを判断することによって認証を行う（ステップＳ１０２）。以下、表示端末５０Ａが認証部９２によって正当な利用権限を有する端末であると判断された場合について説明する。

次に、記憶・読出部９９は、認証部９２によって同一の端末ＩＤおよび同一のパスワードが管理されていることにより、正当な利用権限を有する開始端末からのログイン要求であると判断された場合、記憶部９０００から宛先リスト枠データを読み出す（ステップＳ１０３）。

送受信部９１は、認証部９２によって得られた認証結果が示された認証結果情報を、通信ネットワーク９を介して、上記ログイン要求してきた表示端末５０Ａへ送信する（ステップＳ１０４）。この認証結果情報には、ステップＳ１０３によって読み出された宛先リスト枠データが含まれている。これにより、表示端末５０Ａの送受信部５１は、認証結果情報を受信する。そして、表示端末５０Ａの記憶・読出部５９は、ステップＳ１０４によって受信された宛先リスト枠データを、記憶部５０００に記憶させる（ステップＳ１０５）。

次に、送受信部５１は、正当な利用権限を有する端末であると判断された認証結果が示された認証結果情報を受信した場合、通信ネットワーク９を介して通信管理サーバ９０へ、宛先リストの内容を要求する宛先リスト内容要求情報を送信する（ステップＳ１０６）。この宛先リスト内容要求情報には、表示端末５０Ａの端末ＩＤが含まれている。これにより、通信管理サーバ９０の送受信部９１は、宛先リスト内容要求情報を受信する。

次に、通信管理サーバ９０の記憶・読出部９９は、ステップＳ１０６によって受信された表示端末５０の端末ＩＤ「ｏ０１」を検索キーとして宛先リスト管理ＤＢ９００３（図２５（Ａ））を検索することにより、対応する全ての宛先候補の端末ＩＤを読み出す（ステップＳ１０７）。さらに、記憶・読出部９９は、ステップＳ１０７によって読み出された各端末ＩＤを検索キーとして端末管理ＤＢ９００２（図２４（Ｂ）参照）を検索することにより、対応する宛先候補の端末名、稼動状態情報および拠点名を読み出す（ステップＳ１０８）。

次に、送受信部９１は、通信ネットワーク９を介して表示端末５０Ａへ、宛先リスト内容情報を送信する（ステップＳ１０９）。この宛先リスト内容情報には、ステップＳ１０７およびＳ１０８によって読み出された、宛先候補の端末ＩＤ、宛先候補の端末名、稼動状態情報および拠点名が含まれている。これにより、表示端末５０Ａの送受信部５１は、宛先リスト内容情報を受信する。

次に、表示端末５０Ａの表示制御部５４は、ステップＳ１０５によって記憶部５０００に記憶された宛先リスト枠データ、およびステップＳ１０９によって受信された宛先リスト内容情報を用いて作成された宛先リスト画面９００を、ディスプレイ５１１に表示させる（ステップＳ１１０）。図２７は、実施形態に係る表示端末に表示される宛先リスト画面の一例を示す図である。図２７に示されている宛先リスト画面９００には、宛先候補ごとに、宛先候補の端末（ロボット１０）の稼動状態を示したアイコン、宛先候補の端末の端末ＩＤ、宛先候補の宛先名、および宛先候補の端末が位置する拠点名が表されている。なお、ステップＳ１０９によって受信された「端末名」は、図２７に示す宛先リスト画面９００では、「宛先名」として表示される。

続いて、図２８を用いて、表示端末５０における宛先候補の選択から画像データの送受信を開始するまでの処理を説明する。図２８は、実施形態に係る遠隔制御システムにおける宛先候補の選択からデータの送受信を開始するまでの処理の一例を示すシーケンス図である。

まず、表示端末５０Ａの受付部５２は、利用者から図２７に示されている宛先リスト画面９００の宛先候補（ここでは、ロボット１０Ａ−１）の選択を受け付ける（ステップＳ１１１）。そして、送受信部５１は、通信管理サーバ９０に対して、画像データ等の送受信を開始したい旨を示す開始要求情報を送信する（ステップＳ１１２）。この開始要求情報には、表示端末５０Ａの端末ＩＤ、および宛先候補の端末の端末ＩＤが含まれている。これにより、通信管理サーバ９０の送受信部９１は、開始要求情報を受信する。

次に、通信管理サーバ９０の判断部９３は、ステップＳ１１２によって受信された表示端末５０Ａの端末ＩＤがセッション管理テーブル（図２５（Ｂ）参照）で管理されているか否かを判断する。ここでは、宛先候補の端末（ロボット１０Ａ−１）の端末ＩＤが管理されていない場合について、以下説明を続ける。

作成部９４は、宛先候補の端末の端末ＩＤが管理されていない場合、新たにセッションＩＤを作成する（ステップＳ１１４）。そして、記憶・読出部９９は、セッション管理テーブル（図２５（Ｂ）参照）に、ステップＳ１１４によって作成されたセッションＩＤ、並びにステップＳ１１２によって受信された表示端末５０Ａの端末ＩＤおよび宛先候補の端末の端末ＩＤを関連づけた新たなレコードを追加記憶する（ステップＳ１１５）。ここでは、図２５（Ｂ）に示されているように、新たなレコードが追加されることで、セッションＩＤ「ｓｅ３」、および端末ＩＤ「ｏ０１」，「ｒＡ０１」が関連づけて管理される。

次に、送受信部９１は、表示端末５０Ａに対して、セッションの開始を要求するセッション開始要求情報を送信する（ステップＳ１１６）。このセッション開始要求情報には、ステップＳ１１４によって作成されたセッションＩＤが含まれている。これにより、表示端末５０Ａの送受信部５１は、セッション開始要求情報を受信する。

また、通信管理サーバ９０の記憶・読出部９９は、ステップＳ１１２によって受信された宛先候補の端末（ロボット１０Ａ−１）の端末ＩＤを検索キーとして端末管理ＤＢ９００２（図２４（Ｂ）参照）を検索することにより、対応するＩＰアドレスを読み出す（ステップＳ１１７）。そして、送受信部９１は、ステップＳ１１７によって読み出されたＩＰアドレスが示す宛先候補の端末（ロボット１０Ａ−１）に対して、セッションの開始を要求するセッション開始要求情報を送信する（ステップＳ１１８）。このセッション開始要求情報には、ステップＳ１１４によって作成されたセッションＩＤが含まれている。これにより、宛先端末（ロボット１０Ａ−１）の送受信部３１は、セッション開始指示を受信する。

以上により、開始端末（表示端末５０Ａ）および宛先端末（ロボット１０Ａ−１）は、それぞれ通信管理サーバ９０と通信セッションを確立する(ステップＳ１１９−１，Ｓ１１９−２)。以降の説明において、表示端末５０は、確立された通信管理サーバ９０との通信セッションを用いて、ロボット１０とストリーミング通信を行うものとして説明する。

●遠隔通信を用いた処理
○画面データの送信および表示○
続いて、通信管理サーバ９０との間で確立された通信セッションを用いて、ロボット１０から表示端末５０へ送信されるデータ、および表示端末５０によってロボット１０の処理もしくは動作を制御する処理について説明する。図２９は、実施形態に係る遠隔制御システムにおけるロボットから表示端末への各種データの送信処理の一例を示すシーケンス図である。

まず、ロボット１０の送受信部３１は、確立された通信管理サーバ９０との通信セッションを用いて、特殊撮影装置２１によって取得された全天球画像データ、および一般撮影装置２４によって取得された詳細画像データを、表示端末５０へ送信する（ステップＳ１１−１,ステップＳ１１−２）。これにより、表示端末５０の送受信部５１は、ロボット１０から送信された全天球画像データおよび詳細画像データを受信する。

ここで、ロボット１０は、撮影制御部３７から特殊撮影装置２１および一般撮影装置２４への撮影指示をトリガーとして、特殊撮影装置２１および一般撮影装置２４による撮影を開始する。ロボット１０の撮影画像取得部３８は、特殊撮影装置２１によって取得された全天球画像である全天球画像データ、および一般撮影装置２４によって取得された詳細画像である詳細画像データを、特殊撮影装置２１および一般撮影装置２４からそれぞれ取得する。そして、ロボット１０の送受信部３１は、表示端末５０に対して、撮影画像取得部３８によって取得された全天球画像データおよび詳細画像データを送信する。

次に、表示端末５０の表示画面生成部５３は、送受信部５１によって受信された全天球画像データおよび詳細画像データを用いて、ディスプレイ５１１に表示させる表示画面６００ａを生成する（ステップＳ１２）。そして、表示制御部５４は、表示画面生成部５３によって生成された表示画面６００ａを、ディスプレイ５１１に表示させる（ステップＳ１３）。ここで、図３０を用いて、ステップＳ１３によってディスプレイ５１１に表示される表示画面６００ａについて説明する。図３０に示されている表示画面６００ａには、ロボット１０から送信されてきた詳細画像データに係る詳細画像を表示させるための表示領域６３０、およびロボット１０から送信されてきた全天球画像データに係る全天球画像を表示させるための表示領域６５０が含まれている。また、表示画面６００ａには、ロボット１０の水平方向（前進、後退、右回転、左回転）の移動を要求する場合に押下される移動指示キー６０５、表示領域６１０に示されている全天球画像のズーム状態を示すズームバー６１１１、およびロボット１０の移動速度の状態を示す移動速度を表示される速度バー６１３が含まれている。

このうち、表示領域６５０には、ロボット１０から送信されてきた全天球画像データの一部（例えば、図１７および図１８に示されている所定領域画像Ｑ）が表示されている。操作者は、全天球画像が表示された表示領域６１０内に、マウス５００を移動させて所定の入力操作することで、全天球画像の表示方向またはズームの度合いを変更する。

これによって、表示端末５０を用いてロボット１０を遠隔操作する操作者は、ロボット１０が位置する拠点の状況を、全天球画像および詳細画像が表示された表示画面６００ａを見ながら確認することができる。

ここで、ロボット１０の操作者は、表示端末５０に表示された全天球画像および詳細画像を見ながら、ロボット１０の遠隔操作を行うため、表示端末５０に表示される画像にはリアルタイム性が求められる。そのため、ロボット１０の送受信部３１は、特殊撮影装置２１によって取得された全天球画像データを表示端末５０へ常時送信する。このような特性上、特殊撮影装置２１によって取得される全天球画像データは、動画データであることが好ましい。この場合、表示端末５０を用いてロボット１０を操作する操作者は、ロボット１０から送信されることによって表示端末５０においてストリーミング再生される全天球画像の動画データを確認しながら、ロボット１０の遠隔操作を行うことができ、特殊撮影装置２１またはロボット１０の向きを変えることなく、ロボット１０の周囲を広範囲に確認することができる。

なお、図３０において、表示画面６００ａに示されている移動指示キー６０５に対する操作入力を受け付けることによってロボット１０の移動を遠隔操作する例を説明するが、ロボット１０の移動操作は、キーボード、またはジョイスティクを備えたゲームパッド等の専用コントローラ等で行われる構成であってもよい。また、表示端末５０は、表示画面６００ａに、ロボット１０の移動要求先の名称や会いたい人のリストを表示させ、利用者に選択または住所等を入力させる方式であってもよい。この場合、表示端末５０は、入力された特定の場所にロボット１０を移動させるための要求コマンドをロボット１０へ送信し、ロボット１０は、要求コマンドで指定された移動先へ自律的に移動する。

図２９に戻り、ロボット１０は、後述する表示端末５０から送信される要求コマンド等に基づいて拠点内を移動する（ステップＳ１４）。この場合、ロボット１０の移動制御部４１は、後述する表示端末５０から送信される要求コマンド等に基づいて、移動機構１７の駆動を制御する。

次に、状態情報生成部３５は、移動制御部４１から取得される移動機構１７の駆動状態に基づいて、ロボット１０の状態を示す状態情報１７０を生成する（ステップＳ１５）。図３１は、実施形態に係るロボットの状態を示す状態情報の一例を示す図である。図３１に示されている状態情報１７０には、ロボット１０の進行方向（水平角度および垂直角度）と進行速度の項目に対応する情報が含まれている。また、図３１に示されている状態情報１７０には、一般撮影装置２４の撮影方向（水平角度および垂直角度）とズーム量の項目に対応する情報も含まれている。この状態情報１７０は、それぞれの項目に対応する変数名と、変数名に対応する数値が示されている。例えば、図３１に示す状態情報１７０の場合、ロボット１０は、進行速度「３．０ｋｍ／ｈ」、水平角度「３０°」および垂直角度「４５°」の進行方向で移動している。また、一般撮影装置２４の撮影方向は、水平角度「−２２．２°」および垂直角度「１０．００°」であり、ズーム量は、「２２．３％」である。なお、状態情報１７０に含まれているロボット１０の状態の項目は、これに限られず、ロボット１０の移動距離等の情報が含まれていてもよい。

ロボット１０の送受信部３１は、確立された通信管理サーバ９０との通信セッションを用いて、状態情報生成部３５によって生成された状態情報１７０を、表示端末５０へ送信する（ステップＳ１６−１,ステップＳ１６−２）。これにより、表示端末５０の送受信部５１は、ロボット１０から送信された状態情報１７０を受信する。

そして、表示端末５０の記憶・読出部５９は、送受信部５１によって受信された状態情報１７０を、記憶部５０００に管理されている状態情報管理ＤＢ５００１（図２２（Ａ）参照）に記憶させる（ステップＳ１７）。具体的には、記憶・読出部５９は、受信された状態情報１７０に含まれるそれぞれの数値を、状態情報管理テーブルの対応する変数名の箇所に記憶させることで、状態情報管理テーブルに含まれる各項目の値を更新する。

次に、表示画面生成部５３は、ステップＳ１６−２によって受信された状態情報１７０を用いて、ディスプレイ５１１に表示される表示画面６００ｂを生成する（ステップＳ１８）。ここで、表示画面生成部５３によって生成される表示画面６００ｂは、ロボット１０から送信された全天球画像データおよび詳細画像データとともに、受信された状態情報１７０の特徴が示されている画面データである。そして、表示制御部５４は、表示画面生成部５３によって生成された表示画面６００ｂを、ディスプレイ５１１に表示させる（ステップＳ１９）。

ここで、図３２を用いて、ステップＳ１９によって表示される表示画面６００ｂを説明する。図３２は、実施形態に係る遠隔制御システムにおいて、ロボットが前進している場合に表示端末に表示される表示画面の一例を示す図である。図３２に示されている表示画面６００ｂには、表示画面６００ａに加えて、ロボット１０の移動状態を示す表示が含まれている。表示画面６００ｂには、ロボット１０の位置を示す円柱型のオブジェクト６５１ａ、ロボット１０の進行方向が矢印で示されている進行方向アイコン６５１ｂ、および一般撮影装置２４の撮影位置を示す撮影位置アイコン６５３が、全天球画像が示されている表示領域６５０に含まれている。オブジェクト６５１ａは、オブジェクト画像の一例であり、進行方向アイコン６５１ｂは、進行方向画像の一例である。

また、表示画面６００ｂには、移動指示キー６０５のうち「前進」および「左回転」キーの色が変わることで、ロボット１０が左前方へ前進していることを示している。表示画面生成部５３は、状態情報１７０に含まれている変数名「ＤＲＩＶＥ＿Ｈ＿ＡＮＧＬＥ」および「ＤＲＩＶＥ＿Ｖ＿ＡＮＧＬＥ」に対応する数値に基づいて、移動指示キー６０５の表示を更新する。また、表示画面生成部５３は、移動指示キー６０５に対する操作入力を受け付けることによって、移動指示キー６０５の表示を更新してもよい。さらに、表示画面６００ｂには、速度バー６１３の黒い部分の割合によって、ロボット１０の進行速度を示している。表示画面生成部５３は、状態情報１７０に含まれている変数名「ＤＲＩＶＥ＿ＳＰＥＥＤ」に対応する数値に基づいて、速度バー６０７の表示を更新する。

ここで、図３３を用いて、表示端末５０に表示される全天球画像について説明する。図３３は、実施形態に係る表示端末に表示される全天球画像の一例について説明するための図である。全天球画像ＣＥは、図１６乃至図１９にも示されているように、球体の三次元の仮想空間（立体球ＣＳ）の内壁に投影され、その中心位置に仮想カメラＩＣが配置されている。この仮想カメラＩＣから見た画像が、表示端末５０のディスプレイ５１１に表示される画像となる。

図３３に示されているように、本実施形態において、立体球ＣＳの内部に配置された仮想カメラＩＣは、立体球ＣＳの中心位置から上後方にずらして配置されている。また、球体の三次元の仮想空間（立体球ＣＳ）の中心位置には、ロボット１０を示すオブジェクト６５１ａが配置されている。表示画面生成部５３は、仮想カメラＩＣから見た全天球画像ＣＥ（所定領域画像Ｑ）に、ロボット１０の存在を示す画像（オブジェクト６５１ａ）を重畳させて表示画面６００ｂを生成する。

このように、表示端末５０は、仮想カメラＩＣを球体の三次元の仮想空間（立体球ＣＳ）の中心位置とは離れた位置に配置し、配置された位置を視野の原点とすることで、ロボット１０の存在（オブジェクト６５１ａ）を、仮想カメラＩＣの視野に入れることができる。そのため、表示端末５０の利用者は、いわゆる疑似第三者視点(TPV；Third Person View)によって、ロボット１０の存在（オブジェクト６５１ａ）と全天球画像ＣＥ（所定領域画像Ｑ）の両方を同時に確認することができる。

また、表示端末５０は、全天球画像ＣＥの表示位置（所定領域Ｔ）を変更する際、視野の原点となる仮想カメラＩＣの位置を変更する。この場合、表示端末５０は、仮想カメラＩＣの位置を変更する際に、常にロボットの存在（オブジェクト６５１ａ）が仮想カメラＩＣによる視界に入るように、仮想カメラＩＣの位置を移動させる。例えば、全天球画像ＣＥの表示位置（所定領域Ｔ）を垂直方向（図３３に示されている立体球ＣＳの上側）に変更する場合、表示端末５０は、仮想カメラＩＣの向きを変更（視界を上方向に変更）するだけでなく、仮想カメラＩＣの視界に対して逆方向（図３３に示されている下側）に、仮想カメラＩＣの位置を移動させる。また、例えば、全天球画像ＣＥの表示位置（所定領域Ｔ）を左右方向（図３３に示されている立体球ＣＳの右側）に変更する場合、表示端末５０は、仮想カメラＩＣの向きを変更（視界を右方向に変更）するだけでなく、仮想カメラＩＣの視界に対して逆方向（図３３に示されている左側）に、仮想カメラＩＣの位置を移動させる。これにより、仮想カメラＩＣは、全天球画像ＣＥの表示位置（所定領域Ｔ）が変更されたとしても、ロボットの存在（オブジェクト６５１ａ）が視界に入れることができる。

このように、表示端末５０の利用者は、ディスプレイ５１１に表示された全天球画像ＣＥを確認することで、現場の状況をスムーズに把握することができるとともに、オブジェクト６５１ａによってロボット１０の位置関係も把握することができるので、ロボット１０の操作性を向上させることができる。

また、図３３に示されているように、立体球ＣＳの内部には、ロボット１０の進行方向を示す進行方向アイコン６５１ｂが配置されている。表示画面生成部５３は、状態情報１７０に含まれている変数名「ＤＲＩＶＥ＿Ｈ＿ＡＮＧＬＥ」および「ＤＲＩＶＥ＿Ｖ＿ＡＮＧＬＥ」に対応する数値に基づいて、進行方向アイコン６５１ｂを、全天球画像ＣＥ（所定領域画像Ｑ）に重畳させた表示画面６００ｂを生成する。これにより、表示端末５０の利用者は、例えば、全天球画像の表示方向の変更または全天球画像の拡大もしくは縮小等の操作によって全天球画像ＣＥの表示位置（所定領域Ｔ）を変更した場合でも、表示画面６００ｂに進行方向アイコン６５１ｂが表示されているため、ロボット１０の状態（向きまたは進行方向）を把握することができるので、ロボット１０の操作性を向上させることができる。

さらに、図３３に示されているように、立体球ＣＳの内部には、一般撮影装置２４の撮影位置を示すロボット１０の進行方向を示す進行方向アイコン６５１ｂが配置されている。表示画面生成部５３は、状態情報１７０に含まれている変数名「ＣＡＭＥＲＡ＿Ｈ＿ＡＮＧＬＥ」および「ＣＡＭＥＲＡ＿Ｖ＿ＡＮＧＬＥ」に対応する数値に基づいて、撮影方向アイコン６５３を、全天球画像ＣＥ（所定領域画像Ｑ）に重畳させた表示画面６００ｂを生成する。これにより、表示端末５０の利用者は、表示画面６００ｂに示されている詳細画像が、全天球画像ＣＥ（所定領域画像Ｑ）内におけるどの位置が撮影された画像であるかを把握することができる。

これにより、表示端末５０は、全天球画像ＣＥを用いて疑似的なＴＰＶを生成し、全天球画像ＣＥに示されている拠点の状況だけでなく、ロボット１０の位置および移動状態、並びに一般撮影装置２４による撮影位置を、全天球画像ＣＥに重畳させて表示させることで、利用者に対して、拠点の状況を把握させながらの操作性を向上させることができる。

以上説明したように、遠隔制御システム１ａは、ロボット１０（制御装置３０）から送信された全天球画像データおよび詳細画像データを、表示端末５０に表示させることによって、表示端末５０を用いてロボット１０の遠隔操作を行う操作者に、ロボット１０の周囲の情報をより正確に把握させることができる。また、表示端末５０は、全天球画像データとともに、ロボット１０の移動状態を示す情報を表示させることで、表示端末５０を用いてロボット１０の遠隔操作を行う操作者に、ロボット１０の周囲の情報に加えて、ロボット１０の移動状態を知らせることができる。

なお、ロボット１０の状態情報生成部３５は、移動制御部４１から取得した移動機構１７の駆動状態に変化があった場合に、状態情報１７０を生成する構成であってもよい。また、状態情報生成部３５は、予め定められた所定の頻度で状態情報１７０を生成する構成であってもよい。さらに、ロボット１０の送受信部３１は、状態情報生成部３５によって生成された状態情報１７０を保持しておき、予め定められた所定の頻度で状態情報１７０を送信する構成であってもよい。この場合、遠隔制御システム１ａは、表示端末５０に表示されるロボット１０の状態が頻繁に変化することによって生じる表示画面の見づらさを軽減させることができる。

○ロボットの遠隔制御○
続いて、表示端末５０に表示された表示画面を用いて行われるロボット１０の遠隔制御について説明する。まず、図３４を用いて、ロボット１０から送信された状態情報１７０に基づくロボット１０の遠隔制御の一例を説明する。図３４は、実施形態に係る表示端末におけるロボットの移動状態に基づくロボットの制御処理の一例を示すフローチャートである。

送受信部５１は、ロボット１０から送信された状態情報１７０を受信した場合（ステップＳ３１ａのＹＥＳ）、処理をステップＳ３２ａへ移行させる。一方で、送受信部５１は、状態情報１７０を受信していない場合（ステップＳ３１ａのＮＯ）、ステップＳ３１ａの処理を繰り返す。

記憶・読出部５９は、条件情報管理ＤＢ５００２（図２２（Ｂ）参照）に管理されている条件情報を読み出す（ステップＳ３２ａ）。次に、判断部５６は、記憶・読出部５９によって読み出された条件情報を検索し、ステップＳ３１ａによって受信された状態情報１７０に示されている変数のうち、条件情報に示されている条件を満たす項目があるかを判断する（ステップＳ３３ａ）。そして、判断部３６は、状態情報１７０に示されている変数のうち、条件情報に示されている条件を満たす項目がある場合（ステップＳ３３ａのＹＥＳ）、処理をステップＳ３４ａへ移行させる。例えば、状態情報１７０に含まれる変数名「ＤＲＩＶＥ＿ＳＰＥＥＤ」に対応する値が「３．０ｋｍ／ｈ」である場合、判断部５４は、図２２（Ｂ）の条件情報に示されている項目のうち、「ＳＰＥＥＤ≦５．０ｋｍ／ｈ」、「ＳＰＥＥＤ＞１．０ｋｍ／ｈ」および「ＳＰＥＥＤ＞２．０ｋｍ／ｈ」が条件を満たしていると判断する。一方で、判断部３６は、状態情報１７０に示されている変数のうち、条件情報に示されている条件を満たす項目がない場合（ステップＳ３３ａのＮＯ）、処理を終了する。

次に、要求コマンド生成部５７は、ステップＳ３３ａの処理によって該当した項目に対応する処理を特定し、要求コマンドを生成する（ステップＳ３４ａ）。例えば、要求コマンド生成部５７は、条件情報に示されている条件を満たす「ＳＰＥＥＤ≦５．０ｋｍ／ｈ」、「ＳＰＥＥＤ＞１．０ｋｍ／ｈ」および「ＳＰＥＥＤ＞２．０ｋｍ／ｈ」に対応する処理をそれぞれ特定する。そして、要求コマンド生成部５７は、条件情報に示されている、特定した処理に対応するコマンドを用いて、要求コマンドを生成する。この場合、要求コマンドに含まれるコマンドは、「ＦＰＳ（３０）」、「ＲＥＳＯＬＵＴＩＯＮ（５０％）」および「ＺＯＯＭ＝１０」である。なお、要求コマンドには、条件を満たす項目に対応する全てのコマンドを含まれていてもよいし、条件を満たす項目から選択（抽出）された項目に対応するコマンドのみを含まれていてもよい。

そして、送受信部５１は、確立された通信管理サーバ９０との通信セッションを用いて、要求コマンド生成部５７によって生成された要求コマンドを、ロボット１０へ送信する（ステップＳ３５ａ）。これにより、ロボット１０の送受信部３１は、ロボット１０の現在の移動状態に応じた要求コマンドを、表示端末５０から受信する。ロボット１０は、要求コマンドを受信した場合、後述するコマンド処理（図３６参照）を実行する。

このように、表示端末５０は、ロボット１０の移動状態に基づいて、特殊撮影装置２１によって取得される全天球画像の画質の変更を要求することで、表示端末５０に表示される全天球画像の画質を変更することができる。表示端末５０は、例えば、ロボット１０が移動している場合において、全天球画像の画質を下げる要求を、ロボット１０へ送信してもよい。具体的には、表示端末５０は、ロボット１０に対して、全天球画像の解像度を落とす、またはフレームレートを下げる等の要求を送信する。これによって、遠隔制御システム１ａは、表示端末５０に表示される全天球画像の解像度や更新頻度（フレームレート）を低下させることで、表示端末５０を用いてロボット１０を操作する操作者が全天球画像を見てロボット１０を操作する際に感じる酔い等の不快感を低減させることができる。

また、表示端末５０を用いてロボット１０の遠隔操作を行う場合、操作者は、表示端末５０に表示された全天球画像を見ながら操作入力を行うため、ロボット１０から送信される全天球画像にはリアルタイム性が要求される。通信ネットワーク９の混雑等による通信遅延が発生した場合、表示端末５０に表示される全天球画像には、実際のロボット１０の周囲の状況からタイムラグが生じてしまい、ロボット１０を遠隔操作する操作者にとって操作性を損なわせてしまう。そこで、遠隔制御システム１ａは、ロボット１０の移動状態に応じて、ロボット１０から送信される全天球画像の画質を変更することで、通信遅延等による表示画面のタイムラグによって発生する操作性の悪化を防止することができる。

続いて、図３５を用いて、表示端末５０を用いてロボット１０を操作する操作者によって入力された入力コマンドに基づくロボット１０の遠隔制御の一例を説明する。図３５は、実施形態に係る表示端末における入力コマンドに基づくロボットの制御処理の一例を示すフローチャートである。図３５は、表示端末５０のディスプレイ５１１に、表示画面６００ａ（図３０参照）が表示されている場合について説明する。なお、表示端末５０のディスプレイ５１１には、表示画面６００ｂ（図３２参照）が表示されていてもよい。

受付部５２は、ディスプレイ５１１に表示された表示画面６００ａに対する特定の操作入力を受け付けた場合（ステップＳ３１ｂのＹＥＳ）、処理をステップＳ３２ｂへ移行させる。ここで、特定の操作入力とは、表示画面６００ａに示されている移動指示キー６０５のいずれかのキーに対する操作入力である。一方で、受付部５２は、表示画面６００ａに対する特定の操作入力を受け付けていない場合（ステップＳ３１ｂのＮＯ）、ステップＳ３１ｂの処理を繰り返す。

記憶・読出部５９は、ステップＳ３１ｂによって受け付けられた特定の操作入力の内容を検索キーとして、ユーザコマンド管理ＤＢ５００３（図２３（Ａ）参照）を検索することにより、対応する処理を抽出する（ステップＳ３２ｂ）。具体的には、記憶・読出部５９は、ユーザコマンド管理ＤＢ５００３を検索し、受付部５２によって受け付けられた操作入力に対応する入力コマンドを特定する。そして、記憶・読出部５９は、特定した入力コマンドに対応する処理を抽出する。例えば、受付部５２によって移動指示キーの「↑（前進）」キーに対する入力が受け付けられた場合、記憶・読出部５９は、入力コマンドとして「「↑（前進）」キーの押下」を特定する。そして、記憶・読出部５９は、特定した入力コマンドに対応する処理として、「ＭＯＶＥ（１０．０,１０.０）」を抽出する。

また、判断部５６は、ステップＳ３２ｂによって抽出した処理に対応する処理の種別が「要求コマンドの送付」であるかを判断する（ステップＳ３３ｂ）。判断部５６は、抽出した処理に対応する処理の種別が「要求コマンドの送付」である場合（ステップＳ３３ｂのＹＥＳ）、処理をステップＳ３４ｂへ移行させる。そして、要求コマンド生成部５７は、判断部５６によって抽出された処理に対応する要求コマンドを生成する（ステップＳ３４ｂ）。例えば、要求コマンド生成部５７は、抽出した処理が「ＭＯＶＥ（１０．０,１０.０）」である場合、「ＭＯＶＥ（１０．０,１０.０）」を含む要求コマンドを生成する。そして、送受信部５１は、確立された通信管理サーバ９０との通信セッションを用いて、要求コマンド生成部５７によって生成された要求コマンドを、ロボット１０へ送信する（ステップＳ３５ｂ）。これにより、ロボット１０の送受信部３１は、操作者による入力操作に応じた要求コマンドを、表示端末５０から受信する。ロボット１０は、要求コマンドを受信した場合、後述するコマンド処理（図３６参照）を実行する。

一方で、ステップＳ３３ｂにおいて、判断部５６は、抽出した処理に対応する処理の種別が「要求コマンドの送付」でない場合、処理をステップＳ３６ｂへ移行させる。表示端末５０は、ステップＳ３２ｂによって抽出された処理を実行する（ステップＳ３６ｂ）。例えば、表示端末５０は、抽出された処理が「マウスの移動」に基づく「ＬＯＯＫ（Ｈ,Ｖ,Ｚ）」である場合、表示制御部５４によって表示領域６５０に示されている全天球画像の表示位置を変更する。

なお、ステップＳ３２ａにおいて、ユーザコマンド管理ＤＢ５００３に記憶されているユーザコマンドを用いて実行する処理を抽出する例を説明したが、表示端末５０は、例えば、移動指示キー６０５に付与されたイベント等に基づいて、所定の処理を抽出または実行する構成であってもよい。

このように、表示端末５０は、ロボット１０の移動状態に基づいて、特殊撮影装置２１によって取得される全天球画像の画質の変更を要求することで、表示端末５０に表示される全天球画像の画質を変更することができる。表示端末５０は、例えば、ロボット１０が移動している場合において、全天球画像の画質を下げる要求を、ロボット１０へ送信してもよい。具体的には、表示端末５０は、全天球画像の解像度を落とす、またはフレームレートを下げる等の要求を、ロボット１０へ送信する。これによって、遠隔制御システム１ａは、表示端末５０に表示される全天球画像の解像度や更新頻度（フレームレート）を低下させることで、表示端末５０を用いてロボット１０を操作する操作者が全天球画像を見てロボット１０を操作する際に感じる酔い等の不快感を低減させることができる。

続いて、図３６を用いて、図３４または図３５に示されている処理によって表示端末５０から送信される要求コマンドを用いて、ロボット１０で実行される処理について説明する。図３６は、実施形態に係るロボットにおける表示端末からの要求コマンドに基づくロボットの制御処理の一例を示すフローチャートである。

送受信部３１は、表示端末５０から送信された要求コマンドを受信した場合（ステップＳ５１のＹＥＳ）、処理をステップＳ５２へ移行させる。一方で、送受信部３１は、要求コマンドを受信していない場合（ステップＳ５１のＮＯ）、ステップＳ５１の処理を繰り返す。

記憶・読出部３９は、送受信部３１によって受信された要求コマンドに示されているコマンドを検索キーとしてコマンド管理ＤＢ３００１（図２１（Ａ）参照）を検索することにより、対応する処理を抽出する（ステップＳ５２）。そして、ロボット１０は、ステップＳ５２によって抽出された処理を実行する（ステップＳ５３）。

例えば、送受信部３１によって受信された要求コマンドが「ＭＯＶＥ（１０．０,１０．０）」である場合、判断部３４は、読み出されたコマンドを検索して、コマンド名「ＭＯＶＥ」に対応する処理を抽出する。この場合、抽出される処理は、「左車輪を１０．０°回転、右車輪を１０．０°回転」である。判断部３４は、抽出した処理の実行要求を、移動制御部４１へ通知する。そして、移動制御部４１は、判断部３４によって抽出された処理に基づいて、ロボット１０の移動機構１７の左車輪を１０．０°回転させて、右車輪を１０．０°回転させる。なお、判断部３４によって抽出された処理によって実行要求の通知先は異なる。例えば、送受信部３１によって受信された要求コマンドが「ＡＩＭ」、「ＦＰＳ」または「ＲＥＳＯＬＵＴＩＯＮ」の場合、実行要求の通知先は、撮影制御部３７である。

このように、ロボット１０は、図３４または図３５に示されている処理等によって表示端末５０から送信された要求コマンドに基づいて、処理または動作を実行することができるとともに、要求コマンドに基づいて撮影されて取得された画像（全天球画像データまたは詳細画像データ）を、表示端末５０へ送信する。これにより、遠隔制御システム１ａは、表示端末５０を用いてロボット１０を遠隔操作することができるとともに、遠隔操作の結果、ロボット１０が取得した情報（例えば、全天球画像データまたは詳細画像データ）を、ロボット１０の操作者が用いる表示端末５０に表示させることができる。

○表示端末における表示制御○
○全天球画像の表示位置の変更
続いて、図３７〜図４１を用いて、表示端末５０に対する全天球画像および詳細画像の示の表示について説明する。まず、図３７を用いて、表示端末５０に表示された全天球画像の表示位置を変更する処理について説明する。図３７は、実施形態に係る表示端末における全天球画像の表示位置を変更処理の一例を示すフローチャートである。図３７は、表示端末５０のディスプレイ５１１に図３９（Ａ）に示されている表示画面６００ｃが表示されている場合について説明する。図３９（Ａ）に示されている表示画面６００ｃには、図３２に示されている表示画面６００ｂと異なり、全天球画像を表示させる表示領域６５０のみが示されている。表示端末５０は、後述する表示画面の切り替え処理（図３８および図３９（Ｂ）参照）によって、全天球画像と詳細画像の表示を切り替えることができる。

表示端末５０を用いる利用者は、外部機器接続Ｉ／Ｆ５１３を介して表示端末５０に接続されたマウス５００を移動させることで、ディスプレイ５１１に表示されている全天球画像の表示位置を変更することができる。まず、表示端末５０の受付部５２は、マウス５００の移動を検知した場合（ステップＳ６１のＹＥＳ）、処理をステップＳ６２へ移行させる。一方で、受付部５２は、マウス５００の移動を検知していない場合（ステップＳ６１のＮＯ）、ステップＳ６１の処理を繰り返す。

次に、表示位置特定部５７は、マウス５００の移動量を算出する（ステップＳ６２）。そして、表示制御部５４は、表示位置特定部５７によって算出された移動量に基づいて、表示領域６５０に表示された全天球画像の表示位置を変更する（ステップＳ６３）。具体的には、表示制御部５４は、表示領域に表示されている全天球画像の表示位置（例えば、図３３に示されている所定領域Ｔ（例えば、第１の領域））の中心から、表示位置特定部５７によって算出された移動量に応じた距離の離れた位置（領域）を、所定領域Ｔ（例えば、第２の領域）として、表示領域６５０に表示させる。ここで、表示位置の変更前に表示領域６５０に表示されている全天球画像の一部である第１の領域を示す画像は、第１の画像の一例であり、表示位置の変更後に表示領域６５０に表示されている全天球画像の一部である第２の領域を示す画像は、第２の画像の一例である。

従来、マウスによって表示画面の表示位置を変更する場合、ディスプレイに表示されたマウスカーソルの位置を検出し、マウスカーソルの移動量に応じて表示位置を変更していた。しかしながら、この方法では、マウスカーソルが表示画面の端にいった場合にはそれ以上動かせなくなる。そのため、いったん移動を解除してマウスカーソル表示画面の中央に戻して、再度動かすといった工程を行わなければならず、利用者にとって手間が掛かっていた。そこで、表示端末５０は、マウスカーソルの移動量ではなく、マウス５００の移動量に応じて全天球画像の表示位置を変更することで、ディスプレイ５１１の画面サイズ等に依存せずに、利用者が見たい位置の画像をスムーズに表示させることができる。

判断部５６は、ステップＳ６１によって検知されたマウス５００の移動が停止したかを判断する（ステップＳ６４）。判断部５６は、例えば、受付部５２によってマウス５００の移動が検知された後、マウス５００の移動が検知されなくなった時間が所定の時間を超えた場合、マウス５００の移動が停止したと判断する。判断部５６は、受付部５２によってマウス５００の停止が検知されたと判断した場合（ステップＳ６４のＹＥＳ）、処理をステップＳ６５へ移行させる。そして、要求コマンド生成部５７は、マウスの移動が検知された場合、「ＡＩＭ（Ｈ, Ｖ, Ｚ）」を含む要求コマンドを生成する（ステップＳ６５）。そして、送受信部５１は、確立された通信管理サーバ９０との通信セッションを用いて、ステップＳ６５によって生成された要求コマンドを、ロボット１０へ送信する（ステップＳ６６）。なお、マウス５００が移動するたびに要求コマンドをロボット１０に送信してもよいが、その場合、要求コマンドを送信する頻度が多くなりすぎるため、ここでは、移動後にマウス５００が動かなくなってから要求コマンドを送信する。

一方で、ステップＳ６４において、判断部５６は、受付部５２によってマウス５００の停止が検知されないと判断した場合（ステップＳ６４のＮＯ）、処理をステップＳ６７へ移行させる。要求コマンド生成部５７は、マウスの移動が検知されない場合、「ＬＯＯＫ（Ｈ, Ｖ, Ｚ）」を含む要求コマンドを生成する（ステップＳ６７）。そして、送受信部５１は、確立された通信管理サーバ９０との通信セッションを用いて、ステップＳ６７によって生成された要求コマンドを、ロボット１０へ送信する（ステップＳ６８）。さらに、表示端末５０は、マウス５００の移動が停止されるまで（ステップＳ６４のＹＥＳ）、ステップＳ６２からの処理を繰り返す。

これにより、表示端末５０は、マウス５００の移動に応じて、ディスプレイ５１１に表示される全天球画像の一部である領域（所定領域Ｔ）を変更し、異なる領域を示す画像をディスプレイ５１１に表示させることができるので、利用者が全天球画像を見ながら遠隔拠点の状況を確認する際の操作性を向上させることができる。

○表示画像の切り替え
続いて、図３８を用いて、図３７に示されている処理によって生成された要求コマンドを、ロボット１０に送信した場合の処理について説明する。図３８は、実施形態に係る一般撮影装置における撮影位置の変更処理の一例を示すシーケンス図である。図３８は、図３７のステップＳ６６に示されている「ＡＩＭ」コマンドを表示端末５０からロボット１０へ送信する場合の処理を説明する。

まず、表示端末５０の送受信部５１は、ロボット１０に対して、要求コマンド生成部５７によって生成された「ＡＩＭ」を含む要求コマンドを送信する（ステップＳ８１−１,ステップＳ８１−２）。これにより、ロボット１０の送受信部３１は、表示端末５０から送信された要求コマンドを受信する。

次に、ロボット１０の記憶・読出部３９は、送受信部３１によって受信された要求コマンドに示されているコマンドを検索キーとしてコマンド管理ＤＢ３００１（図２１（Ａ）参照）を検索することにより、対応する処理を読み出す（ステップＳ８２）。この場合、記憶・読出部３９は、コマンド「ＡＩＭ」に対応する処理を読み出す。そして、撮影制御部３７は、ステップＳ８２によって読み出された処理に基づいて、一般撮影装置２４による撮影位置を変更する（ステップＳ８３）。具体的には、撮影制御部３７は、撮影方向がロボット１０の正面に対して水平角度Ｈ°、垂直角度Ｖ°になるように移動させ、ズーム量をＺ％に変更することを示す指示情報を、一般撮影装置２４に対して送信する。そして、一般撮影装置２４は、撮影制御部３７から送信された指示情報に示すパラメータ（Ｈ，Ｖ，Ｚ）で、撮影を行い、詳細画像を取得する。ここで、一般撮影装置２４が可動カメラ２３（図３および図４参照）である場合、一般撮影装置２４は、内部の可動機構を用いて回転することによって、指示情報に示すパラメータ（Ｈ，Ｖ，Ｚ）に向けて撮影位置を変更する。また、一般撮影装置２４が通常カメラ２５（図５乃至図９参照）である場合、一般撮影装置２４は、可動アーム１１を回転・変形させることによって、指示情報に示すパラメータ（Ｈ，Ｖ，Ｚ）に向けて撮影位置を変更する。

次に、状態情報生成部３５は、撮影制御部３７によって送信された指示情報に基づいて、ロボット１０の状態を示す状態情報１７０を生成する（ステップＳ８４）。この場合、状態情報生成部３５は、一般撮影装置２４によって取得された詳細画像の撮影位置に関するパラメータを示す状態情報１７０を生成する。

そして、送受信部３１は、確立された通信管理サーバ９０の通信セッションを用いて、ステップＳ８４によって生成された状態情報１７０、および一般撮影装置２４によって撮影された詳細画像データを、表示端末５０へ送信する（ステップＳ８５−１,ステップＳ８５−２）。これにより、表示端末５０の送受信部５１は、ロボット１０から送信された状態情報１７０および詳細画像データを受信する。

そして、表示端末５０の記憶・読出部５９は、送受信部５１によって受信された状態情報１７０を、記憶部５０００に管理されている状態情報管理ＤＢ５００１（図２２（Ａ）参照）に記憶させる（ステップＳ８６）。具体的には、記憶・読出部５９は、受信された状態情報１７０に含まれるそれぞれの数値を、状態情報管理テーブルの対応する変数名の箇所に記憶させることで、状態情報管理テーブルに含まれる各項目の値を更新する。

次に、表示画面生成部５３は、ステップＳ１６−２によって受信された状態情報１７０を用いて、ディスプレイ５１１に表示される表示画面６００ｄを生成する（ステップＳ８７）。具体的には、まず、記憶・読出部５９は、条件情報管理ＤＢ５００２（図２２（Ｂ）参照）に管理されている条件情報を読み出す。次に、判断部５６は、記憶・読出部５９によって読み出された条件情報を検索する。判断部５６は、ステップＳ８５−２によって受信された状態情報１７０に含まれる変数名「ＣＡＭＥＲＡ＿Ｈ＿ＡＮＧＬＥ」、「ＣＡＭＥＲＡ＿Ｖ＿ＡＮＧＬＥ」および「ＣＡＭＥＲＡ＿ＺＯＯＭ」の数値（パラメータ）に基づく一般撮影装置２４の撮影位置が、全天球画像の表示位置と近い場合、判断部７２は、当該条件を満たしていると判断する。そして、表示画面生成部５３は、ステップＳ８５−２によって受信された詳細画像データに係る詳細画像が示されている表示画面６００ｄを生成する。

なお、以下では、表示画面６００ｄについて説明するが、判断部７２によって条件情報に示されている条件を満たす項目がない、一般撮影装置２４の撮影位置が、全天球画像の表示位置と近いと判断されなかった場合、表示画面生成部５３は、図３９（Ａ）に示されているような全天球画像が示されている表示画面６００ｃを生成する。ここで、「一般撮影装置２４の撮影位置が、全天球画像の表示位置と近い」とは、一般撮影装置２４の撮影位置と全天球画像の表示位置が、同一である必要はなく、所定の範囲内に収まっていればよい。また、一般撮影装置２４の撮影位置は、状態情報１７０に示されている変数ではなく、ステップＳ８１によって送信された要求コマンド（「ＡＩＭ」）に示されている変数を撮影位置の予測値として用いる構成であってもよい。

そして、表示制御部５４は、表示画面生成部５３によって生成された表示画面６００ｄを、ディスプレイ５１１に表示させる（ステップＳ８８）。図３９（Ｂ）に示されている表示画面６００ｄには、図３９（Ａ）に示されている表示画面６００ｃに表示された全天球画像に変えて、詳細画像を表示させる表示領域６３０が示されている。上述のように、表示端末５０は、一般撮影装置２４の撮影位置が、全天球画像の表示位置に追いついた場合、全天球画像から詳細画像へ表示を自動的に切り替える。

これにより、遠隔制御システム１ａは、全天球画像の表示位置の変更をトリガーとして表示端末５０から送信された要求コマンドに基づいて、一般撮影装置２４の撮影位置を、全天球画像の表示位置に追従するように変更することができる。また、表示端末５０は、全天球画像の表示位置に追従して撮影位置が変更された一般撮影装置２４によって取得された詳細画像を、全天球画像に変えて表示させることで、利用者は、詳細画像の撮影位置が追いつくまでは、全天球画像を見て遠隔拠点の状況を把握し、詳細画像の撮影位置が追いついた場合、詳細画像を見て拠点のより詳しい情報を把握することができる。さらに、表示端末５０の利用者は、一般撮影装置２４の撮影位置が全天球画像の表示位置に追いつくまでは、表示画面６００ｃに示されている撮影位置アイコン６５３を見て、一般撮影装置２４の撮影位置を把握することができるので、全天球画像から詳細画像に切り替わるタイミングを予測することができる。このように、表示端末５０は、全天球画像と詳細画像を条件に応じて切り替えて表示させることによって、利用者に遠隔拠点の状況を効率良くまたは高精度に確認させることができるので、利用者にとっての操作性を向上させることができる。

また、図４（Ｂ）に示されているように、ロボット１０が複数の一般撮影装置２４（可動カメラ２３）を備えている場合、ロボット１０の撮影制御部３７は、要求コマンドに含まれる変数に応じて、撮影指示を行う一般撮影装置２４を選択することができる。撮影制御部３７は、例えば、全天球画像の表示位置が立体球ＣＳの上方向である場合には、可動カメラ２３ａに撮影指示を行い、全天球画像の表示位置が立体球ＣＳの下方向である場合には、可動カメラ２３ｂに撮影指示を行う。そして、表示端末５０は、可動カメラ２３ａまたは可動カメラ２３ｂのいずれかによって取得された詳細画像を表示させる。これにより、遠隔制御システム１ａは、例えば、天井や床等の一般撮影装置２４の撮影における死角を軽減させることができる。なお、撮影制御部３７は、可動カメラ２３ａ,２３ｂの両方に撮影指示を行い、表示端末５０は、複数の詳細画像を表示させる構成であってもよい。

従来は、特殊撮影装置２１と一般撮影装置２４が独立して制御されるものであったため、特殊撮影装置２１によって取得された全天球画像の見たい方向を見たあと、一般撮影装置２４に対して撮影指示を行う必要があった。そこで、遠隔制御システム１ａは、全天球画像の表示位置と一般撮影装置２４の撮影位置を連動させることで、遠隔拠点の全体把握と細部の注視した箇所の把握をシームレスに実現することができるので、操作性の向上と表示画像の解像度の向上とを両立させることができる。

なお、表示画面６００ｄは、表示画面６００ｃ等と同様に、ロボット１０の位置を示すオブジェクト６５１ａやロボット１０の進行方向を示す進行方向アイコン６５１ｂを表示させてもよい。また、図３９（Ａ）および図３９（Ｂ）は、一画面に表示される全天球画像と詳細画像の表示を切り替える例を説明したが、表示端末５０は、図３０および図３２に示されている表示画面６００ａ,６００ｂのように、全天球画像および詳細画像の両方を表示させてもよい。この場合、表示端末５０は、全天球画像と詳細画像の表示の切り替えは行わないが、全天球画像の表示位置に追従させて撮影位置を変更する一般撮影装置２４によって取得された詳細画像を表示させることができる。さらに、図３８において、全天球画像と詳細画像の表示を自動で切り替える例を説明したが、表示領域６３０または表示領域６５０の右上にあるそれぞれのタブ（「全天球」または「詳細」）を選択することによって、全天球画像と詳細画像の表示を手動で切り替える構成であってもよい。

続いて、図４０を用いて、表示端末５０に表示される表示画面の別の例を説明する。図４０に示されている表示画面６００ｅは、全天球画像の表示位置が一般撮影装置２４によって撮影できない位置である場合に表示される画面例である。一般撮影装置２４には、可動カメラ２３および通常カメラ２５のいずれであっても、構造上可動できない方向や範囲がある。一般撮影装置２４は、例えば、真後ろ、床等の真下または天井等の真上の方向は、撮影することができない。そこで、表示画面６００ｅには、全天球画像が示されている表示領域６５０に、一般撮影装置２４によって撮影できない領域（不可動領域）を示す画像６５５が示されている。表示画面６００ｅは、全天球画像の表示位置として、ロボット１０の下方向にした場合の例である。

これにより、表示端末５０は、一般撮影装置２４が撮影できない位置に全天球画像の表示位置が変更された場合、全天球画像から詳細画像に切り替えられない状況を、利用者に直感的に把握させることができる。また、表示端末５０の利用者は、表示端末５０に表示された一般撮影装置２４によって撮影できない領域（不可動領域）を示す画像６５５を確認することで、ロボット１０の移動操作等の代替手段を迅速に検討することができる。

○その他の表示画面の画面例
ここで、表示端末５０に表示される表示画面の別の例を説明する。表示端末５０は、表示端末５０に設けられたディスプレイ５１１の種類に応じて異なる表示画面を表示させることができる。図４１は、実施形態に係る表示端末の一例としてのヘッドマウントディスプレイに表示される表示画面の一例を示す図である。図４１に示されている表示画面６００ｆは、ロボット１０から送信されていきた全天球画像データおよび詳細画像データが、ＶＲ（Virtual Reality）端末の一例であるヘッドマウントディスプレイ（ＨＭＤ）に表示された画面の一例である。

図４１に示されている表示画面６００ｆには、画面全体が全天球画像の表示領域６５０として表示され、詳細画像の表示領域６３０も重畳して表示されている。表示画面６００ｆが表示されているヘッドマウントディスプレイを装着した操作者は、常に周辺視野で遠隔拠点の全体を把握することができるとともに、頭の向きを変えることで、全天球画像の任意の方向を見ることができる。また、表示画面６００ｆに表示される各種ボタンまたはアイコンは、操作者の頭の向きに追従して移動するため、全天球画像の表示位置が変化したとしても、所定の位置に表示される。さらに、ヘッドマウントディスプレイの場合、ジャイロセンサ等により操作者が見ている方向を取得することができるので、表示端末５０は、上記で説明した場合と同様に、操作者が見ている方向を全天球画像の表示位置として、ロボット１０へフィードバックすることができる。なお、表示端末５０は、ヘッドマウントディスプレイの場合のみならず、広角スクリーンまたは全方位ディスプレイ等を用いて、図４１に示されているような表示画面６００ｆを表示させてもよい。

○ロボットに表示される表示画面○
続いて、図４２および図４３を用いて、ロボット１０に表示される表示画面について説明する。以下、ロボット１０には、図１０に示されているロボット１０ｃ（１０ｃ１〜１０ｃ３）のように、ディスプレイ１５０が備えられているものとして説明する。図４２は、実施形態に係る遠隔制御システムにおける表示端末によって取得された撮影画像をロボットに表示させる処理の一例を示すシーケンス図である。

まず、表示端末５０の送受信部５１は、確立された通信管理サーバ９０との通信セッションを用いて、ＣＭＯＳセンサ５０５ａによって取得された撮影画像データを、ロボット１０へ送信する（ステップＳ１５１−１,ステップＳ１５１−２）。ここで、表示端末５０のＣＭＯＳセンサ５０５ａは、表示端末５０を用いてロボット１０を遠隔操作している操作者を撮影する。これにより、ロボット１０の送受信部３１は、表示端末５０から送信された撮影画像データを受信する。

次に、ロボット１０の記憶・読出部３９は、撮影パラメータ管理ＤＢ３００２に管理されている撮影パラメータを読み出す（ステップＳ１５２）。表示制御部５４は、ステップＳ１５１−２によって受信された撮影画像データ、およびステップＳ１５２によって読み出された撮影パラメータを用いて、ディスプレイ１５０に表示させる表示画面８００を生成する（ステップＳ１５３）。そして、表示制御部５４は、ステップＳ１５３によって生成された表示画面８００を、ディスプレイ１５０に表示させる（ステップＳ１５４）。

ここで、図４３を用いて、ロボット１０のディスプレイ１５０に表示される表示画面について説明する。図４３（Ａ）に示されている表示画面８００には、表示端末５０を用いてロボット１０を遠隔操作している操作者の顔の画像が含まれている。ロボット１０が設置された拠点にいるユーザは、表示画面８００を見ることで、誰がロボット１０を操作しているのかが把握することができる。

また、表示画面８００には、表示端末５０に表示されている全天球画像の表示位置または一般撮影装置２４によって撮影されている撮影位置等の操作者が見ている方向を示す画像８１０が示されている。画像８１０は、例えば、長い矢印８１１で全天球画像の表示方向を表し、短い矢印８１３で一般撮影装置２４の撮影方向を表している。これにより、ロボット１０が設置された拠点にいるユーザは、表示端末５０に表示された画面上で、操作者がどの方向を見ているのかを把握することができる。例えば、操作者は、表示画面８００上では正面を向いていたとしても、表示端末５０に表示された全天球画像上でロボット１０の背後や横を見ている場合がある。そのため、ロボット１０が設置された拠点にいるユーザは、表示画面８００に表示された画像８１０を見ることで、操作者が見ている方向を把握することができる。

図４３（Ｂ）に示されている表示画面８５０には、操作者の顔の画像に変えて、操作者の後頭部を模した画像が示されている。表示画面８５０は、例えば、図１０（Ｂ）に示されているようなロボット１０ｂ２に設置された後方のディスプレイ１５０ｂに表示される。この場合、ロボット１０ｂ２に設置された前方のディスプレイ１５０ａには、上述の表示画面８００が表示される。また、表示画面８５０には、表示画面８００と同様に、操作者が見ている方向を示す画像８１０が示されている。これにより、ロボット１０の周囲にいるユーザは、ロボット１０の後方からでも操作者がどの方向を見ているかを把握することができる。なお、表示画面８５０は、操作者の後頭部を模した画像に限られず、表示端末５０において、実際に操作者の後頭部が撮影された画像が示されていてもよい。

ここで、全天球画像の表示方向（矢印８１１）は、操作者の「目」に相当し、一般撮影装置２４の撮影方向（矢印８１３）は、操作者の「首または頭」に相当するものとする。この操作者の「目」は、操作者がちらりと見ている方向を表し、操作者の「首または頭」は、操作者がじっくり見ている方向を表している。操作者は、ロボット１０の周囲をじっくり見ている方向とちらっと見ている方向がある。ロボット１０は、矢印８１１および矢印８１３を表示画面８００ａ,８００ｂに表示させることで、ロボット１０の周囲にいるユーザに、操作者が見ている方向を正確に把握させることができるとともに、操作者の意図を感じさせることができる。

なお、画像８１０は、矢印８１１,８１３に変えて、点の位置で方向を表してもよいし、目や首のアイコンでユーザが直感的に認識できるように表してもよい。また、ロボット１０は、図１０（Ｃ）に示されているロボット１０ｃ３のように、操作者が見ている方向を、ランプ１６０等の通知手段によって、ロボット１０の周囲のユーザに把握させる構成であってもよい。

●実施形態の変形例●
次に、実施形態の変形例に係る遠隔制御システムついて説明する。なお、上記実施形態と同一構成および同一機能は、同一の符号を付して、その説明を省略する。実施形態の変形例に係る遠隔制御システム１ｂは、情報処理サーバ７０が表示端末５０に表示させる表示画像を生成するするシステムである。

●システム構成
図４４は、実施形態の変形例に係る遠隔制御システムのシステム構成の一例を示す図である。図４４に示されているように、実施形態の変形例に係る遠隔制御システム１ｂには、図１に示されている構成に加えて、情報処理サーバ７０が備えられている。情報処理サーバ７０は、通信ネットワーク９を介して、ロボット１０、表示端末５０および通信管理サーバ９０と通信可能に接続されている。情報処理サーバ７０は、通信管理サーバ９０によって確立された通信セッションを用いて、ロボット１０または表示端末５０との間で、画像データの送受信を行う。情報処理サーバ７０は、ロボット１０の状態に応じてロボット１０から送信されてきた全天球画像データおよび詳細画像データの画像処理を行い、表示端末５０に対して、処理データを送信する。なお、情報処理サーバ７０は、単一のコンピュータによって構築されてもよいし、各部（機能、手段または記憶部）を分割して任意に割り当てられた複数のコンピュータによって構築されていてもよい。

ここで、情報処理サーバ７０と通信管理サーバ９０は、サーバシステム７を構成する。このサーバシステム７は、情報処理サーバ７０と通信管理サーバ９０の各部（機能または手段）を備える単一のコンピュータによって構成されてもよい。また、ロボット１０とサーバシステム７は、拠点制御システム３を構成する。さらに、表示端末５０とサーバシステム７は、表示制御システム５を構成する。

なお、情報処理サーバ７０のハードウエア構成は、図１３に示されているような通信管理サーバ９０のハードウエア構成と同様であるため、説明を省略する。以下、情報処理サーバ７０は、図１３に示されているようなハードウエア構成を有しているものとして説明する。

●機能構成
図４５は、実施形態の変形例に係る遠隔制御システムの機能構成の一例を示す図である。なお、情報処理サーバ７０以外の装置または端末の機能は、図２０に示されているような機能と同様であるため、説明を省略する。

情報処理サーバ７０は、送受信部７１、判断部７２、データ処理部７３および記憶・読出部７９を有している。これら各部は、図１３に示されている各構成要素のいずれかが、ＲＡＭ９０３上に展開されたプログラムに従ったＣＰＵ９０１からの命令によって動作することで実現される機能、または機能する手段である。また、情報処理サーバ７０は、図１３に示されているＲＯＭ９０２、ＨＤ９０４または記録メディア９０６によって構築される記憶部７０００を有している。

送受信部７１は、図１３に示されているＣＰＵ９０１からの命令、およびネットワークＩ／Ｆ９０８によって実現され、通信ネットワーク９を介して、他の装置との間で各種データまたは情報の送受信を行う機能である。送受信部７１は、例えば、通信ネットワーク９を介して、全天球画像データおよび詳細画像データを、ロボット１０（制御装置３０）から受信する。また、送受信部７１は、例えば、通信ネットワーク９を介して、ロボット１０の状態を示す状態情報１７０を、ロボット１０（制御装置３０）から受信する。さらに、送受信部７１は、例えば、通信ネットワーク９を介して、データ処理部７３によって生成された表示画面データを、表示端末５０へ送信する。

判断部７２は、図１３に示されているＣＰＵ９０１からの命令によって実行され、各種判断を行う機能である。データ処理部７３は、図１３に示されているＣＰＵ９０１からの命令によって実行され、送受信部７１によって受信された各種画像データに基づいて、表示端末５０に表示させる表示画面データを生成したり、ロボット１０に特定の処理を実行されるための実行要求である要求コマンドを生成したりする機能である。

記憶・読出部７９は、図１３に示されているＣＰＵ９０１からの命令によって実行され、記憶部７０００に各種データを記憶させ、または記憶部７０００から各種データを読み出す機能である。また、記憶部７０００には、状態情報管理ＤＢ７００１、条件情報管理ＤＢ７００２、ユーザコマンド管理ＤＢ７００３および表示状態管理ＤＢ７００４が構築されている。これらは、それぞれ表示端末５０における状態情報管理ＤＢ５００１、条件情報管理ＤＢ５００２、ユーザコマンド管理ＤＢ５００３および表示状態管理ＤＢ５００４と同様の構成であるため、説明を省略する。さらに、記憶部７０００は、送受信部７１によって受信された全天球画像データおよび詳細画像データを記憶している。なお、記憶部７０００に記憶されている全天球画像データおよび詳細画像データは、送受信部７１によって受信されてから所定の時間経過した場合に削除される構成であってもよいし、送受信部７１によって表示端末５０へ送信（出力）されてから所定の時間経過した場合に削除される構成であってもよい。

●実施形態の変形例の処理または動作
続いて、図４６および図４７を用いて、実施形態の変形例に係る遠隔制御システム１ｂの動作または処理について説明する。なお、図４６および図４７において、ロボット１０が備える制御装置３０によって実行される処理は、ロボット１０によって実行される処理として説明する。図４６は、実施形態の変形例に係る遠隔制御システムにおけるロボットから表示端末への各種データの送信処理の一例を示すシーケンス図である。

まず、ロボット１０の送受信部３１は、情報処理サーバ７０に対して、特殊撮影装置２１によって取得された全天球画像データ、および一般撮影装置２４によって取得された詳細画像データを送信する（ステップＳ２０１−１,ステップＳ２０１−２）。これにより、情報処理サーバ７０の送受信部７１は、ロボット１０から送信された全天球画像データおよび詳細画像データを受信する。

次に、情報処理サーバ７０のデータ処理部７３は、送受信部７１によって受信された全天球画像データおよび詳細画像データを用いて、表示端末５０に表示させる表示画面に係る表示画面データを生成する（ステップＳ２０２）。ここでデータ処理部７３によって生成される表示画面データに係る表示画面は、例えば、図３９に示されているような表示画面６００ｃである。なお、データ処理部７３によって生成される表示画面データに係る表示画面は、図３０に示されている表示画面６００ａまたは図３２に示されている表示画面６００ｂであってもよい。そして、情報処理サーバ７０の送受信部７１は、表示端末５０に対して、データ処理部７３によって生成された表示画面データを送信する（ステップＳ２０３）。これにより、表示端末５０の送受信部５１は、情報処理サーバ７０から送信された表示画面データを受信する。

そして、表示制御部５４は、ステップＳ２０３によって受信された表示画面データに係る表示画面６００ｃを、ディスプレイ５１１に表示させる（ステップＳ２０４）。これによって、表示端末５０を用いてロボット１０を操作する操作者は、ロボットが位置する拠点の状況を、全天球画像が示されている表示画面６００ｃを見ながら確認することができる。

次に、ロボット１０は、表示端末５０から送信される要求コマンド等に基づいて、一般撮影装置２４による撮影位置を変更する（ステップＳ２０５）。状態情報生成部３５は、移動制御部４１から取得される移動機構１７の駆動状態に基づいて、ロボット１０の状態を示す状態情報１７０を生成する（ステップＳ２０６）。ステップＳ２０５およびステップＳ２０６の処理は、図３８に示されているステップＳ８３およびステップＳ８４の処理と同様であるため、説明を省略する。

そして、送受信部３１は、情報処理サーバ７０に対して、状態情報生成部３５によって生成された状態情報１７０および撮影画像取得部３８によって取得された詳細画像データを送信する（ステップＳ２０７−１,ステップＳ２０７−２）。これにより、情報処理サーバ７０の送受信部７１は、状態情報１７０および詳細画像データを受信する。情報処理サーバ７０のデータ処理部７３は、送受信部７１によって受信された状態情報１７０および詳細画像データに基づいて、ステップＳ２０２によって生成された表示画面データに対する画像処理を実行する（ステップＳ２０８）。ここで、情報処理サーバ７０における画像処理の内容について説明する。図４７は、実施形態の変形例に係る情報処理サーバにおける表示画面データの画像処理の一例を示すフローチャートである。

送受信部７１は、ロボット１０から送信された状態情報１７０を受信した場合（ステップＳ２０８−１のＹＥＳ）、処理をステップＳ２０８−２へ移行させる。一方で、送受信部７１は、状態情報１７０を受信していない場合（ステップＳ２０８−１のＮＯ）、ステップＳ２０８−１の処理を繰り返す。

記憶・読出部７９は、条件情報管理ＤＢ７００２に管理されている条件情報を読み出す（ステップＳ２０８−２）。次に、判断部７２は、記憶・読出部７９によって読み出された条件情報を検索し、ステップＳ２０７−２によって受信された状態情報１７０に示されている変数のうち、条件情報に示されている条件を満たす項目があるかを判断する（ステップＳ２０８−３ａ）。そして、判断部７２は、状態情報１７０に示されている変数のうち、条件情報に示されている条件を満たす項目がある場合（ステップＳ２０８−３のＹＥＳ）、処理をステップＳ２０８−４へ移行させる。例えば、状態情報１７０に含まれる変数名「ＣＡＭＥＲＡ＿Ｈ＿ＡＮＧＬＥ」、「ＣＡＭＥＲＡ＿Ｖ＿ＡＮＧＬＥ」および「ＣＡＭＥＲＡ＿ＺＯＯＭ」の数値（パラメータ）に基づく一般撮影装置２４の撮影位置が、全天球画像の表示位置と近い場合、判断部７２は、当該条件を満たしていると判断する。一方で、判断部７２は、状態情報１７０に示されている変数のうち、条件情報に示されている条件を満たす項目がない場合（ステップＳ２０８−３のＮＯ）、処理を終了する。

次に、データ処理部７３は、ステップＳ２０２によって生成された表示画面データに対して、ステップＳ２０８−３の処理によって該当する項目に対応する処理を実行する（ステップＳ２０８−４）。例えば、一般撮影装置２４の撮影位置が全天球画像の表示位置に近い場合、データ処理部７３は、ステップＳ２０７−２によって受信された詳細画像データが示されている表示画面（６００ｄ）に係る表示画面データを生成する。

図４６に戻り、情報処理サーバ７０の送受信部７１は、表示端末５０に対して、送受信部７１によって受信された状態情報１７０、およびデータ処理部７３によって生成された表示画面データを送信する（ステップＳ２０９）。これにより、表示端末５０の送受信部５１は、情報処理サーバ７０から送信された状態情報１７０および表示画面データを受信する。

表示端末５０の記憶・読出部５９は、送受信部５１によって受信された状態情報１７０を、記憶部５０００に管理されている状態情報管理ＤＢ５００１（図２２（Ａ）参照）に記憶させる（ステップＳ２１０）。具体的には、記憶・読出部５９は、受信された状態情報１７０に含まれるそれぞれの数値を、状態情報管理テーブルの対応する変数名の箇所に記憶させることで、状態情報管理テーブルに含まれる各項目の値を更新する。そして、表示制御部５４は、ステップＳ２０９によって受信された表示画面データに係る表示画面６００ｄを、ディスプレイ５１１に表示させる（ステップＳ２１１）。

このように、実施形態の変形例に係る遠隔制御システム１ｂは、情報処理サーバ７０を用いる場合であっても、全天球画像と詳細画像を条件に応じて切り替えて表示端末５０に表示させることによって、利用者に遠隔拠点の状況を効率良くまたは高精度に確認させることができるので、利用者にとっての操作性を向上させることができる。

●まとめ●
以上説明したように、本発明の一実施形態に係る表示端末５０は、遠隔拠点の被写体を撮影する特殊撮影装置２１（撮影手段の一例）を備えた制御装置３０（通信装置の一例）と、特殊撮影装置２１によって撮影された全天球画像（広角画像の一例）をストリーミング通信する。表示端末５０は、制御装置３０から送信された全天球画像の一部である所定の領域（例えば、所定領域Ｔ）を、ディスプレイ５１１（表示部の一例）に表示させる表示制御部５４（表示制御手段の一例）と、表示端末５０に接続され、ディスプレイ５１１に表示された全天球画像の表示を制御するマウス５００（外部入力手段の一例）と、を備える。そして、表示制御部５４は、マウス５００の移動に応じて、ディスプレイ５１１に表示させる全天球画像の一部である所定の領域を変更する。これにより、表示端末５０は、マウス５００の移動に応じて、ディスプレイ５１１に表示される全天球画像の一部である領域を変更することができるので、利用者が全天球画像を見ながら遠隔拠点の状況を確認する際の操作性を向上させることができる。

また、本発明の一実施形態に係る表示端末５０は、更に、マウス５００（外部入力手段の一例）の移動を検知する受付部５２（検知手段の一例）を備える。そして、表示端末５０の表示制御部５４（表示制御手段の一例）は、全天球画像（広角画像の一例）の一部である第１の領域を示す第１の画像を、ディスプレイ５１１（表示部の一例）に表示させるとともに、マウス５００の移動が検知された場合、第１の画像に変えて、全天球画像の一部である領域のうち第１の領域とは異なる第２の領域を示す第２の画像をディスプレイ５１１に表示させる。これにより、表示端末５０は、マウス５００の移動に応じて、全天球画像の一部である異なる領域を示す画像をディスプレイ５１１に表示させることができるので、利用者が全天球画像を見ながら遠隔拠点の状況を確認する際の操作性を向上させることができる。

さらに、本発明の一実施形態に係る表示端末５０は、更に、マウス５００（外部入力手段の一例）の移動量を算出する表示位置特定部５５（算出手段の一例）を備える。そして、表示端末５０の表示制御部５４（表示制御手段の一例）は、ディスプレイ５１１に表示されている第１の領域の中心から、算出された移動量に応じた距離の離れた第２の領域を示す第２の画像を、ディスプレイ５１１に表示させる。これにより、表示端末５０は、マウスカーソルの移動量ではなく、マウス５００の移動量に応じて全天球画像の表示位置を変更することで、ディスプレイ５１１の画面サイズ等に依存せずに、利用者が見たい位置の画像をスムーズに表示させることができる。

また、本発明の一実施形態に係る表示端末５０において、全天球画像（広角画像の一例）は、三次元の仮想空間において立体球（例えば、立体球ＣＳ）として表され、表示制御部５４（表示制御手段の一例）は、マウス５００（外部入力手段の一例）の移動に応じて、全天球画像を見る視点の位置にある仮想カメラＩＣの位置を変更することにより、ディスプレイ５１１（表示部の一例）に表示させる所定の領域を変更する。また、表示端末５０は、遠隔拠点に設置されたロボット１０（移動体の一例）の位置を示すオブジェクト６５１ａ（オブジェクト画像の一例）を、全天球画像に重畳させた表示画像（例えば、表示画面６００ｂ、表示画面６００ｃ、表示画面６００ｅまたは表示画面６００ｆ）を生成する表示画面生成部５３（生成手段の一例）を備え、表示制御部５４は、生成された表示画像をディスプレイ５１１に表示させる。さらに、表示画面生成部５３は、三次元の仮想空間の中心位置にオブジェクト６５１ａを配置させ、オブジェクト６５１ａが見えるように中心位置の上後方に配置された仮想カメラＩＣから見た画像を、表示画像として生成する。これにより、表示端末５０は、仮想カメラＩＣを球体の三次元の仮想空間（立体球ＣＳ）の中心位置とは離れた位置に配置し、配置された位置を視野の原点とすることで、ロボット１０の存在（オブジェクト６５１ａ）を、仮想カメラＩＣの視野に入れることができる。また、表示端末５０の利用者は、いわゆる疑似第三者視点によって、ロボット１０の存在（オブジェクト６５１ａ）と全天球画像（例えば、所定領域画像Ｑ）の両方を同時に把握することができるので、現場の状況をスムーズに把握することができるとともに、ロボット１０の操作性を向上させることができる。

さらに、本発明の一実施形態に係る表示端末５０において、表示画面生成部５３（生成手段の一例）は、ディスプレイ５１１（表示部の一例）に表示されている所定の領域が変更された場合、オブジェクト６５１ａ（オブジェクト画像の一例）が見えるように配置が変更された仮想カメラＩＣから見た画像を、表示画像として生成する。これにより、表示端末５０は、全天球画像の表示位置（例えば、所定領域Ｔ）が変更されたとしても、ロボットの存在（オブジェクト６５１ａ）を利用者に確認させることができる。

また、本発明の一実施形態に係る表示端末５０において、表示画面生成部５３（生成手段の一例）は、ロボット１０（移動体の一例）の進行方向を示す進行方向アイコン６５１ｂ（進行方向画像の一例）を、全天球画像（広角画像の一例）に重畳させた表示画像（例えば、表示画面６００ｂ、表示画面６００ｃ、表示画面６００ｅまたは表示画面６００ｆ）を生成する。また、表示画面生成部５３は、三次元の仮想空間内に進行方向アイコン６５１ｂを配置させ、仮想カメラＩＣから見た画像を、表示画像として生成する。これにより、表示端末５０の利用者は、全天球画像の表示方向の変更または全天球画像の拡大もしくは縮小等の操作によって全天球画像の表示位置（例えば、所定領域Ｔ）を変更した場合でも、表示画面に進行方向アイコン６５１ｂが表示されているため、ロボット１０の状態（向きまたは進行方向）を把握することができる。

さらに、本発明の一実施形態に係る遠隔制御システムは、表示端末５０と、制御装置３０（通信端末の一例）を備えたロボット１０（移動体の一例）と、を備える遠隔制御システム１ａ,１ｂである。ロボット１０は、表示端末５０の利用者が全天球画像（広角画像の一例）を見ている方向を示す表示手段（例えば、ディスプレイ１５０またはランプ１６０）を備える。また、ロボット１０は、表示端末５０の利用者が撮影された撮影画像を、表示端末５０から受信する送受信部３１（受信手段の一例）と備え、ディスプレイ１５０（表示手段の一例）は、受信された撮影画像（例えば、表示画面８００）を表示する。また、ロボット１０のランプ１６０（表示手段の一例）は、表示端末５０の利用者が全天球画像を見ている方向を点灯させる。これにより、遠隔制御システム１ａ,１ｂは、ロボット１０が設置された拠点にいるユーザに、誰がロボット１０を操作しているのかが把握させることができるとともに、操作者が見ている方向を把握させることができる。

●補足●
上記で説明した実施形態の各機能は、一または複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC（Application Specific Integrated Circuit）、DSP（digital signal processor）、FPGA（field programmable gate array）や従来の回路モジュール等のデバイスを含むものとする。

また、上記で説明した実施形態の各種テーブルは、機械学習の学習効果によって生成されたものでもよく、関連づけられている各項目のデータを機械学習にて分類付けすることで、テーブルを使用しなくてもよい。ここで、機械学習とは、コンピュータに人のような学習能力を獲得させるための技術であり，コンピュータが，データ識別等の判断に必要なアルゴリズムを，事前に取り込まれる学習データから自律的に生成し，新たなデータについてこれを適用して予測を行う技術のことをいう。機械学習のための学習方法は、教師あり学習、教師なし学習、半教師学習、強化学習、深層学習のいずれかの方法でもよく、さらに、これらの学習方法を組み合わせた学習方法でもよく、機械学習のための学習方法は問わない。

これまで本発明の一実施形態に係る表示端末、遠隔制御システム、表示制御方法およびプログラムについて説明してきたが、本発明は上述した実施形態に限定されるものではなく、他の実施形態の追加、変更または削除等、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。

１ａ、１ｂ 遠隔制御システム
１０ ロボット（移動体の一例）
１７ 移動機構
２１ 特殊撮影装置（撮影手段の一例）
２４ 一般撮影装置
３０ 制御装置（通信装置の一例）
３１ 送受信部（受信手段の一例）
５０ 表示端末
５１ 送受信部
５２ 受付部（検知手段の一例）
５３ 表示画面生成部（生成手段の一例）
５４ 表示制御部（表示制御手段の一例）
５５ 表示位置特定部（算出手段の一例）
５００ マウス（外部入力手段の一例）
７０ 情報処理サーバ
７１ 送受信部（第１の取得手段の一例、第２の取得手段の一例、第２の送信手段の一例、第２の受信手段の一例）
９０ 通信管理サーバ
１５０ ディスプレイ（表示手段の一例）
１６０ ランプ（表示手段の一例）
５１１ ディスプレイ（表示部の一例）

特開２０１７−１６３２６５号公報

Claims (17)

1. 遠隔拠点の被写体を撮影する撮影手段を備えた通信装置と、当該撮影手段によって撮影された広角画像をストリーミング通信する表示端末であって、
   前記通信装置から送信された前記広角画像の一部である所定の領域を、表示部に表示させる表示制御手段と、
   前記表示端末に接続され、前記表示部に表示された前記広角画像の表示を制御する外部入力手段と、を備え、
   前記表示制御手段は、前記外部入力手段の移動に応じて、前記表示部に表示させる前記領域を変更する表示端末。
2. 請求項１に記載の表示端末であって、更に、
   前記外部入力手段の移動を検知する検知手段を備え、
   前記表示制御手段は、前記広角画像の一部である第１の領域を示す第１の画像を前記表示部に表示させるとともに、前記外部入力手段の移動が検知された場合、前記第１の画像に変えて、前記広角画像の一部である領域のうち前記第１の領域とは異なる第２の領域を示す第２の画像を前記表示部に表示させる表示端末。
3. 請求項２に記載の表示端末であって、更に、
   前記外部入力手段の移動量を算出する算出手段を備え、
   前記表示制御手段は、前記表示部に表示されている前記第１の領域の中心から、前記算出された移動量に応じた距離の離れた前記第２の領域を示す前記第２の画像を、前記表示部に表示させる表示端末。
4. 前記広角画像は、三次元の仮想空間において立体球として表され、
   前記表示制御手段は、前記外部入力手段の移動に応じて、前記広角画像を見る視点の位置にある仮想カメラの位置を変更することにより、前記表示部に表示させる前記領域を変更する請求項１乃至３のいずれか一項に記載の表示端末。
5. 前記通信装置は、前記遠隔拠点に設置された移動体に備えられ、
   前記移動体の位置を示すオブジェクト画像を、前記広角画像に重畳させた表示画像を生成する生成手段を備え、
   前記表示制御手段は、前記生成された表示画像を前記表示部に表示させる請求項４に記載の表示端末。
6. 前記生成手段は、三次元の仮想空間の中心位置に前記オブジェクト画像を配置させ、当該中心位置から離れた位置にある前記仮想カメラから見た画像を、前記表示画像として生成する請求項５に記載の表示端末。
7. 前記生成手段は、前記オブジェクト画像が見えるように前記中心位置の上後方に配置された前記仮想カメラから見た画像を、前記表示画像として生成する請求項６に記載の表示端末。
8. 前記生成手段は、前記表示部に表示されている前記領域が変更された場合、前記オブジェクト画像が見えるように配置が変更された仮想カメラから見た画像を、前記表示画像として生成する請求項６または７に記載の表示端末。
9. 前記生成手段は、前記移動体の進行方向を示す進行方向画像を、前記広角画像に重畳させた前記表示画像を生成する請求項５乃至８のいずれか一項に記載の表示端末。
10. 前記生成手段は、三次元の仮想空間内に前記進行方向画像を配置させ、前記仮想カメラから見た画像を、前記表示画像として生成する請求項９に記載の表示端末。
11. 請求項１乃至１０に記載の表示端末と、前記通信装置を備えた移動体と、を備える遠隔制御システムであって、
    前記移動体は、
    前記表示端末の利用者が前記広角画像を見ている方向を示す表示手段を備える遠隔制御システム。
12. 請求項１１に記載の遠隔制御システムであって、
    前記移動体は、更に、
    前記表示端末の利用者が撮影された撮影画像を、前記表示端末から受信する受信手段を備え、
    前記表示手段は、前記受信された撮影画像を表示するディスプレイである遠隔制御システム。
13. 前記表示手段は、凸面または平面ディスプレイであり、前記移動体の前後に配置される請求項１１に記載の遠隔制御システム。
14. 前記表示手段は、前記表示端末の利用者が前記広角画像を見ている方向を点灯させるランプである請求項１１に記載の遠隔制御システム。
15. 前記表示手段は、前記移動体の全周囲に配置される請求項１１乃至１４のいずれか一項に記載の遠隔制御システム。
16. 遠隔拠点の被写体を撮影する撮影手段を備えた通信装置と、当該撮影手段によって撮影された広角画像をストリーミング通信する表示端末が実行する表示制御方法であって、
    前記通信装置から送信された前記広角画像の一部である所定の領域を、表示部に表示させる第１の表示制御ステップと、
    前記表示端末に接続され、前記表示部に表示された前記広角画像の表示を制御する外部入力手段の移動に応じて、前記表示部に表示させる前記領域を変更する第２の表示制御ステップと、
    を実行する表示制御方法。
17. コンピュータに、請求項１６に記載の方法を実行させるプログラム。