JP2021064064A - ロボットシステム、ロボット及び操作端末 - Google Patents

Abstract

【課題】オペレータによるロボット操作への切替の際に、オペレータが直感的にロボットを操作できるようにする。【解決手段】本発明のロボットシステムは、当該ロボットの周囲を撮像する１又は複数のカメラを有し、自律的に移動するロボットと、仮想視点から当該ロボットの周囲映像を映し出した監視画面を表示する表示部と、オペレータによりロボットの移動操作を行なう操作部とを有する操作端末と、ロボットと、ロボットの移動操作を行なうオペレータの操作端末との間の情報通信に係る接続処理を行なう接続制御部とを備え、ロボットをオペレータによる移動操作に切り替える際に、ロボットが、当該ロボットの正面方向を示す情報と、監視画面の監視方向を示す情報とに基づいて、当該ロボットの正面を監視画面の監視方向に近づけるようにする移動制御部を備える。【選択図】 図１

Description

本発明は、ロボットシステム、ロボット及び操作端末に関する。

例えば、特許文献１には、建物内、建物間、又は構内の地図データを用いて、建物内や建物間を自律的に移動するロボットが開示されている。このようなロボットは、予め格納されたプログラムを実行するコンピュータにより移動部が駆動し、ある位置から目的位置まで移動し、定義された業務（タスク）を実行する。

上述したような自律移動型ロボットが、自律的に移動できない事象等が生じた場合、当該ロボットの移動を遠隔的に操作できるようにすることが望まれている。その場合、ロボットには、自己の周囲を撮像するカメラが搭載され、オペレータがカメラ映像を見ながらロボットを操作することが考えられる。

特開２０１９−３６０２号公報

しかしながら、オペレータがカメラ映像を見ながら、遠隔的にロボットを移動操作する場合、以下のような課題が生じ得る。

オペレータによるロボット移動操作への切替の際に、オペレータが見る監視映像がロボットの正面位置と異なってしまうことがあり、直感的にロボットの移動操作を行なうことができないという課題がある。

また、ロボットに搭載されるカメラ映像を合成した合成映像に当該ロボットの画像モデルを貼り付けた映像を監視映像とする場合、監視映像上で、オペレータが注目すべき対象（オブジェクト）とその画像モデルとが重なってしまうことがある。そうすると、監視映像がオブジェクトが見えなくなってしまい、ロボットの移動操作ができなくなってしまうという課題もある。

そこで、本発明は、上記課題に鑑み、オペレータによるロボット操作への切替の際に、監視映像を見てロボットを移動操作するオペレータが、直感的に、ロボットの移動操作を行なうことができるロボットシステム、ロボット及び操作端末を提供しようとするものである。

かかる課題を解決するためには、第１の本発明のロボットシステムは、（１）当該ロボットの周囲を撮像する１又は複数のカメラを有し、自律的に移動するロボットと、（２）ロボットの各カメラにより撮像された各カメラ映像に基づいて仮想視点から当該ロボットの周囲映像を映し出した監視画面を表示する表示部と、オペレータによりロボットの移動操作を行なう操作部とを有する操作端末と、（３）ロボットと、ロボットの移動操作を行なうオペレータの操作端末との間の情報通信に係る接続処理を行なう接続制御部とを備え、ロボットをオペレータによる移動操作に切り替える際に、ロボットが、当該ロボットの正面方向を示す情報と、表示部に表示される仮想視点から当該ロボットの周囲映像を映し出している監視画面の監視方向を示す情報とに基づいて、当該ロボットの正面を監視画面の監視方向に近づけるように、当該ロボットを移動制御する移動制御部を備えることを特徴とする。

第２の本発明のロボットは、ロボットの周囲を撮像する１又は複数のカメラを有し、自律的に移動するロボットにおいて、ロボットは、ロボットの各カメラにより撮像された各カメラ映像に基づいて仮想視点から当該ロボットの周囲映像を映し出した監視画面を表示する表示部と、オペレータによりロボットの移動操作を行なう操作部とを有する操作端末の間で情報通信を行ない、ロボットをオペレータによる移動操作に切り替える際に、当該ロボットの正面方向を示す情報と、表示部に表示される仮想視点から当該ロボットの周囲映像を映し出している監視画面の監視方向を示す情報とに基づいて、当該ロボットの正面を監視画面の監視方向に近づけるように、当該ロボットを移動制御する移動制御部を備えることを特徴とする。

第３の本発明の操作端末は、ロボットの周囲を撮像する１又は複数のカメラを有し、自律的に移動するロボットを、オペレータによる移動操作を行なうための操作端末において、ロボットの上記各カメラにより撮像された各カメラ映像に基づいて仮想視点から当該ロボットの周囲映像を映し出した監視画面を表示する表示部と、オペレータによりロボットの移動操作を行なう操作部と、ロボットと、ロボットの移動操作を行なうオペレータの操作端末との間の情報通信に係る接続処理を行なう接続制御部とを備えることを特徴とする。

本発明によれば、オペレータによるロボット操作への切替の際に、オペレータによるロボット操作への切替の際に、監視映像を見てロボットを移動操作するオペレータが、直感的に、ロボットの移動操作を行なうことができる。

実施形態に係る遠隔操作システムの全体構成を示す全体構成図である。 実施形態に係るロボットの内部構成を示す内部構成図である。 実施形態に係るロボットの遠隔操作処理の動作を示すフローチャートである。 実施形態に係るロボットの制御データベースに記憶されるエリア監視テーブルの構成を例示する構成図である。 実施形態の管理データベースに記憶されるオペレータとロボットの対応データテーブルの構成例を示す構成図である。 実施形態におけるロボットの正面方向、各カメラのカメラ画像及びエリア監視画面との関係を説明する説明図である。 実施形態における操作端末の表示部の表示画面を説明する説明図である。 実施形態に係る合成映像に映るＣＧ画像モデルの透過度を調整する方法を説明する説明図である。

（Ａ）主たる実施形態
以下では、本発明に係るロボットシステム、ロボット及び操作端末の実施形態を、図面を参照しながら詳細に説明する。

（Ａ−１）実施形態の構成
図１は、実施形態に係る遠隔操作システムの全体構成を示す全体構成図である。

本発明のロボットシステムとしての遠隔操作システム４は、通信網３を介して、１又は複数のオペレータの操作により、１又は複数のロボット１の動きを遠隔操作するシステムを想定する。

通信網３は、例えばＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）網等を適用できる。通信網３は、有線回線、無線回線、有線回線と無線回線とが混在する通信網とすることができる。

（Ａ−１−１）全体構成
［ロボット１］
「ロボット」の概念は、この実施形態に限定されるものではない。「ロボット」は、人造人間、人間に類似した動作や作業を行なうものを含む。また、「ロボット」は、外部からの指示（指令）に基づき、指示された動作や作業をコンピュータにより行なう装置、自律的な動作や作業をコンピュータにより行なう装置を含む。また、「ロボット」は、自動制御によるマニピュレーション機能、及び又は、移動機能を持ち、各種の作業をプログラムによって実行でき産業に使用される機械を含む。また、「ロボット」は、人間、動物等にサービスするロボットを含む。さらに、「ロボット」は、「センサ、知能・制御系、駆動系の３つの要素技術を有する、知能化した機械システム」等を含む。

この実施形態では、ロボット１が、空間の床面上を自律的に移動する自律移動型ロボットである場合を例示する。なお、ロボット１は、例えば空中を移動する無人飛行体や、海上や海中を移動するものであってもよい。空間の床面上を移動するロボット１は、１台であっても良いし、複数台であってもよい。

ロボット１には、自己が空間の環境地図データ等を用いて自律的に移動する動作モード（以下、「自律動作モード」とも呼ぶ。）と、オペレータ操作によりロボット１が移動する動作モード（以下、「手動モード」と呼ぶ）とがあり、これらの動作モードは切り替え可能である。

自律動作モードと手動モードとの切り替えは、ロボット１の動作や状態等を管理しているオペレータの操作により切り替えられるようにしても良い。また、ロボット１が、例えば、自律的な動作を維持できない事象（自律動作維持困難事象）、若しくは、もう少しで自律的な動作を維持することが難しくなる事象を検知したときに、ロボット１側が操作端末２４側に、動作モードの切替を要求する切替要求情報（コマンド）を投げ、その切替要求情報の受信に基づいて手動モードへの切り替えを可能としてもよい。換言すると、オペレータ主導により動作モードを切り替えることもでき、ロボット側からの要求により動作モードを切り替えることもできる。

ここで、「自律的な動作を維持できない事象」とは、ロボット１に課されている業務や作業等のタスクを行なうことが困難な事象をいう。例えば、自律移動型ロボット１が搬送ロボットや警備ロボット等として利用されるような場合、障害物検知センサ等のセンサ類のセンサデータや、カメラ映像等の分析結果から、当該ロボット１に供給されている環境地図データや移動経路等に、当初は存在していなかった障害物や人や動物等が存在するようになったことで走行（自律的な移動）が困難になった又は自律動作に支障が生じる事象等が例示される。

ロボット１は、例えば、空間における環境地図データや、地図上に設定された移動経路を用いて、自己の位置を推定しながら空間内の移動経路を、自律的に移動することができる。

「環境地図データ」は、ロボット１が移動する環境空間の地図データである。環境地図データは、２次元の地図データであっても良いし、３次元の地図データであってもよい。「移動経路」は、環境地図データに基づく地図上で、ロボット１が移動しようとする経路情報である。

環境地図データ及び移動経路は、ロボット１に搭載されている記憶部に予め記憶されているものであっても良いし、通信網３に接続可能な外部サーバ（例えばクラウドサーバ）から取得したものであってもよい。例えばサーバから環境地図データや移動経路を取得可能とすることで、最新の環境地図データや移動経路を取得することができる。より具体的には、業務や作業などのタスクを実行するロボット１が自己の移動経路に従って空間内を移動している間に、当初の地図上には存在していなかったオブジェクトが存在するようになったときや、移動経路の最適化により移動経路が変更されたとき等に、更新された最新の環境地図データや移動経路を取得できる。また、複数のロボット１との間で環境地図データを共有することもできる。また、環境地図データや移動経路の更新は、例えばオブジェクトを検出した各ロボット１が行なうようにしてもよいし、オペレータの操作により行なうようにしてもよい。各ロボット１の移動経路はロボット１毎に異なることもあるので、移動経路はロボット１毎に設定又は変更されたものであってもよい。

ロボット１は、ロボット本体部１４と、ロボット本体部１４の下部に当該ロボット本体部１４を支持しながら移動するための移動部１２と、ロボット本体部１４に設けられた１又は複数のカメラ１１（１１−１〜１１−４）を有する。

（ロボット本体部）
図１では、説明を容易にするために、ロボット本体部１４が円柱形状である場合を例示しているが、これに限定されない。例えば、搬送可能な箱型、人型、動物型、自動車等の車両型などとしてもよい。

（移動部）
移動部１２は、ロボット１の移動を可能とするための装置である。この実施形態では、床面上を移動するロボット１を例示するので、移動部１２は１又は複数の駆動輪１３を備えるものとする。

後述するように、ロボット１に搭載されている移動制御部１５０の制御により、例えばモータドライバや駆動モータ等の移動駆動部１６０（図２参照）が各駆動輪１３を駆動させることで、ロボット１は移動可能となる。移動部１２は、前進方向、後進方向、右方向、左方向の移動、回旋等が可能である。移動部１２は、３軸方向に可動する場合を例示するが、これに限定されず、無人飛行体等にロボット１を適用するときには６軸方向に可動するものであってもよい。

（カメラ）
カメラ１１は、ロボット１の四方の周囲の映像を撮像する撮像装置である。

この実施形態では、図１に示すように、４台のカメラ１１−１〜１１−４が、ロボット本体部１４の上部側壁部に設けられている。各カメラ１１−１〜１１−４の設置位置は、ロボット１が実行するタスクや各カメラ１１−１〜１１−４の撮像範囲に応じて適宜決めることができ、ロボット本体部１４の高さ方向に対して、中央側壁部、下部側壁部であってもよい。

図１では、ロボット１上部の平面視野で見たとき、カメラ１１−１と１１−３とが対向する位置に設けられ、カメラ１１−２とカメラ１１−４とが対向する位置に設けられている場合を例示する。平面視野で、各カメラ１１−１〜１１−４は、概ね９０度毎の間隔をおいて設けられている。各カメラ１１−１〜１１−４は、魚眼レンズ等の広角レンズを有するカメラとしてもよく、４台のカメラ１１−１〜１１−４によって撮像したカメラ映像は、ロボット１の全周囲を映し出すことができる。ロボット１の全周囲を映し出すことができるのであれば、カメラ１１は、パノラマカメラ、３６０度カメラであってもよい。

［管理センタシステム］
管理センタシステム２は、ゲートウェイ装置２１、接続制御部２２、管理データベース２３、操作端末２４（２４−１〜２４−Ｍ；Ｍは正の整数）、映像合成制御部２６等を有し、これら構成要素はネットワーク２５と接続されている。

ネットワーク２５は、例えばＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等を適用でき、有線、無線のいずれであってもよい。

（ゲートウェイ装置）
ゲートウェイ装置２１は、通信網３と接続して、ロボット１と、管理センタシステム２の各構成要素（例えば、操作端末２４、接続制御部２２、映像合成制御部２６など）との間で授受される情報を中継する処理を行なう。

（接続制御部）
接続制御部２２は、各ロボット１と、オペレータにより操作される各操作端末２４との接続制御を行なう。

基本的には、ロボット１は自律的に移動するが、自律動作モードから手動モードへの切替を行なう際に、接続制御部２２が、オペレータにより操作される操作端末２４と、当該操作端末２４で遠隔操作されるロボット１との間で情報の送受信できるように接続処理を行なう。通信制御プロトコル（セッション確立プロトコル等）は特に限定されず、例えばＳＩＰ（Ｓｅｓｓｉｏｎ Ｉｎｔｉａｔｉｏｎ Ｐｒｏｔｏｃｏｌ）などを適用してもよい。

例えば、オペレータ主導で手動モードに切り替える際、接続制御部２２は、オペレータ操作により操作端末２４から遠隔操作対象であるロボット１が指定され、その指定されたロボット１と、当該操作端末２４との間の接続処理を行なう。

また例えば、ロボット１側からの要求により手動モードに切り替える際、接続制御部２２は、ロボット１から手動モードへの切替要求情報を受信すると、例えば、オペレータの習熟度合いを示す値等に基づいて、オペレータを選択し、そのオペレータの操作端末２４に、当該ロボット１について手動モードへの切替を指示する情報を与えて、当該ロボット１と操作端末２４との接続処理を行なう。このとき、接続制御部２２は、当該ロボット１と当該オペレータの操作端末２４との間を自動的に接続するようにしても良いし、当該オペレータ操作による操作端末２４からの応答を得た後に、接続処理を行なうようにしてもよい。

ここで、この実施形態における、「オペレータの習熟度合い」とは、タスクを実行するロボット１の遠隔操作に関連するオペレータの習熟度合いの程度を意図する。習熟度合いを示す値は、オペレータの習熟度合いを判断するための複数の要素（例えばオペレータの権限の有無、オペレータの能力（例えば、遠隔操作に係る経験値、経験回数、対応能力を評価した値等）、オペレータの状態（例えば、空き状況、連続操作時間、操作時間の総時間等）が定義され、更に要素毎に習熟度合いの程度に応じたスコア値やその評価方法等が定義されており、各要素のスコア値を用いた分析を行なうようにしてもよい。そして、オペレータが経験を積んでいくにしたがって、オペレータの権限、能力、状態等を含む各要素の習熟度合いの値を学習していく。接続制御部２２は、手動モードへの切替要求を行なったロボット１の移動状態と、オペレータの習熟度合いを示す値の学習結果とを参照して、ロボット１が置かれている状態に応じて、最適なオペレータを選択するようにしてもよい。

なお、接続制御部２２のハードウェアは、例えば、コンピュータ、ＲＯＭ、ＲＡＭ、ＥＥＰＲＯＭ等を有する集積回路装置を用いることができ、コンピュータがＲＯＭに格納される処理プログラム（例えば、接続処理プログラム等）を実行することにより各種機能が実現される。

（管理データベース）
管理データベース２３は、接続制御部２２による処理に必要なデータを記憶する。

例えば、管理データベース２３には、ロボット１を一意に識別する識別情報と、当該ロボット１を遠隔操作するオペレータを一意に識別する識別情報（例えば、オペレータに対して付与されたＩＤ等）、当該オペレータによる操作される操作端末２４を一意に識別する識別情報等を対応付けた管理テーブル等が記憶される。管理テーブルには、オペレータが監視するエリア監視方向、ロボット１の仮想的な正面方向、オペレータ操作によりロボット１を移動指示するハンド方向等を対応づけてもよい。

また、管理データベース２３には、オペレータの習熟度合いの値を示す学習結果等が記憶されるようにしてもよい。さらに、各ロボット１のカメラ１１の過去のカメラ映像を記録するため、管理データベース２３には、カメラ映像が撮像時刻を伴ってロボット１毎に保存されるようにしてもよい。

（操作端末）
操作端末２４（２４−１〜２４−Ｍ）は、各オペレータによって操作される端末である。操作端末２４は、通信部２４１、操作部２４２、表示部２４３等を有する操作卓（又はコックピット）に設けられる。

権限を有する管理者が他のオペレータの操作やロボット１への指示等を管理してもよい。管理者自身はオペレータとしてロボット１を遠隔操作するようにしてもよい。

通信部２４１は、ネットワーク２５と接続して、ロボット１、接続制御部２２、映像合成制御部２６との間で情報を送受信する。

操作部２４２は、入力ユーザインタフェースであり、オペレータにより操作される。

操作部２４２は、オペレータ操作によりロボット１の移動方向や移動速度等を操作する操作デバイスとして、例えば、キーボード、マウス等のポインティングデバイス、ジョイスティック、スペースマウス、操作レバー、操作ハンドル、操作ボタン（ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）画面上のボタン、物理的なボタンを含む）等が挙げられる。例えば、手動モードでロボット１の移動を遠隔操作するときの操作デバイスは、様々なものを適用でき、例えば、ジョイススティック、スペースマウス等とすることができ、又これに限定されず、自動車型の操作ハンドル、航空機型の操作ハンドル等としてもよい。

表示部２４３は、出力ユーザインタフェースであり、ディスプレイ、モニタ、タッチパネル型のディスプレイ等を適用できる。表示部２４３には、各ロボット１のカメラ１１のカメラ映像や、ロボット１の移動状態に関する情報等が表示される。ロボット１の移動状態に関する情報には、ロボット１に搭載されるカメラ１１のカメラ映像に基づいて検出した情報や、センサ群１３０（図２参照）により検知された情報が含まれる。より具体的には、ロボット１の周囲に存在する、注目すべきオブジェクト（例えば、障害物、人、動物等）を検知した検知情報等としてもよい。

なお、操作端末２４には、例えば、マイクロフォン、スピーカ、プリンタ等が含まれるようにしてもよい。操作端末２４は、ロボット１の周囲にいる人間と音声を通じてコミュニケーションをとれるようにしても良いし、ロボット１のコミュニケーション部１４０を通じて、ロボット１と操作端末２４との間で情報を授受しあうことでコミュニケーションをとれるようにしてもよい。

（映像合成制御部）
映像合成制御部２６は、各ロボット１から、カメラ１１−１〜１１−４で撮像したカメラ映像を取得し、各カメラ映像に基づいて、操作端末２４の表示部２４３に映像を表示するための映像制御処理を行なう。

ここで、映像合成制御部２６は、管理センタシステム２に設けられている場合を例示するが、これに限定されず、通信網３と接続する外部サーバに設けられるようにしてもよい。つまり、各ロボット１のカメラ１１−１〜１１−４のカメラ映像の映像制御処理は、管理センタシステム２上の装置が行なうようにしても良いし、管理センタシステム２とは物理的に異なる、通信機能を有する外部装置上で行なわれるようにしてもよい。

映像合成制御部２６は、各ロボット１の４台のカメラ１１−１〜１１−４のそれぞれが撮像した各カメラ映像データを、各操作端末２４に与えてもよい。これにより、４個のカメラ映像が表示部２４３に表示可能となる。

また、映像合成制御部２６は、所定の３次元モデルを用いて、４台のカメラ１１−１〜１１−４の４個のカメラ画像（２次元画像）を合成して、３次元合成画像を形成してもよい。

ここで、３次元の合成画像の生成方法には、様々な方法を適用できる。例えば、予め設定された３次元モデルを用意しておき、各カメラ１１−１〜１１−４のカメラ画像（２次元画像）を３次元モデルに座標変換して、３次元の合成画像を生成する方法を用いることができる。

より具体的には、例えば、ロボット１の位置を中心とし、下に凸の半円球の球面上に形成された３次元モデルを用いるようにしてもよい。半円球球面の３次元モデルの曲面角度は、合成しようとする合成画像に応じて適宜設定するようにしてもよい。３次元モデルは、メッシュが形成されており、当該３次元モデル（３次元メッシュ形状モデル）の座標系における各画素の座標値（例えば、Ｘ軸の座標値、Ｙ軸の座標値、Ｚ軸の座標値）が設定されている。また、各カメラ１１−１〜１１−４のカメラ画像は、カメラ画像の座標系における画素の座標値（ｘ軸の座標値、ｙ軸の座標値）が設定されている。映像合成制御部２６は、各カメラ撮像画像の各画素の座標値を、３次元モデルの曲面上の各画素の座標値に投影変換する等して、各カメラの撮像画像の各画素を、３次元モデルにおける対応する画素にマッピングする。このようにすることで、カメラ１１−１〜１１−４の各撮像画像を３次元モデルにマッピングした合成映像を生成できる。２次元の各カメラ画像が３次元モデルの曲面に投影されるので、歪みの少ない３次元合成画像とすることができる。

さらに、映像合成制御部２６は、３次元モデルを用いて生成した合成画像の画像領域において、ロボット１が存在する画像領域をマスク領域とし、そのマスク領域をマスクする。更に、マスク領域に、例えばＣＧ（コンピュータグラフィックス）等で形成したロボット１形状を模したＣＧ画像モデルを貼り付けるようにしてもよい。なお、ＣＧ画像モデルは予め設定されているものであり、３次元モデル（３次元メッシュ形状モデル）の座標系に貼り付けられる。なお、ＣＧ画像モデルは、ロボット１の形状に限定されず、他のモデル形状であってもよい。

カメラ１１−１〜１１−４によってロボット１の全周囲を撮像した３次元合成画像と、ロボット１の存在領域にロボット１のＣＧ画像モデルが張られた合成映像が、操作端末２４の表示部２４３に与えられ、表示部２４３には、３次元合成映像が表示可能となる。

オペレータ操作により、３次元モデルの座標系で仮想視点が自由に設定可能となる。３次元合成映像には、ロボット１のＣＧ画像モデルが含まれているので、例えばロボット１よりも高い位置（Ｚ軸座標の座標値を高くした位置）に仮想視点を設定すると、ロボット１（ＣＧ画像モデル）とその全周囲の様子を俯瞰した映像が表示される。

なお、この実施形態では、映像合成制御部２６が、上述したようなＣＧ画像モデルを含む３次元合成画像を形成する場合を例示したが、合成画像はこれに限らない。映像合成制御部２６は、２個以上のカメラ画像を合成したパノラマ画像、３６０度カメラ画像等を形成するようにしてもよい。

映像合成制御部２６の処理を行なうハードウェアは、例えば、コンピュータ、ＲＯＭ、ＲＡＭ、ＥＥＰＲＯＭ等を有する集積回路装置を用いることができ、コンピュータがＲＯＭに格納される処理プログラム（例えば、映像合成処理プログラム等）を実行することにより各種機能が実現される。

［ロボットの詳細な構成］
図２は、実施形態に係るロボット１の内部構成を示す内部構成図である。

図２において、ロボット１は、統括制御部１００、通信部１１０、監視部１２０、センサ群１３０、コミュニケーション部１４０、移動制御部１５０、移動駆動部１６０、データベース１７０を有する。

（通信部）
通信部１１０は、通信網３と接続して、ロボット１と、管理センタシステム２の各構成要素（例えば、操作端末２４、接続制御部２２、映像合成制御部２６など）との間で情報の授受を行なうものである。

（監視部）
監視部１２０は、カメラ１１−１〜１１−４によりロボット１の四方の全周囲が撮像され、ロボット１の全周囲を監視する。

監視部１２０は、各カメラ１１−１〜１１−４の各カメラ映像データに基づいて画像解析を行ない、各カメラ画像の画像領域に映り込む、注目すべき対象（オブジェクト）の存在を検出する。

ここで、注目すべき対象（オブジェクト）は、空間を移動するロボット１の当初の移動経路上には存在し得なかったものを意図する。対象（オブジェクト）には、障害物、人、動物等が挙げられる。監視部１２０は、各カメラ映像データに基づいて、所定のアルゴリズムにより顔認証処理や障害物検出処理等を行ない、注意すべき対象（オブジェクト）の検出処理を行なう。監視部１２０により検出された結果は統括制御部１００に与えられる。

（センサ群）
センサ群１３０は、例えば、障害物の検出のための対物検出センサ、対象物までの距離を計測する深度センサ（測距センサ）、赤外線センサ、温湿度センサ、人物の体温や心拍等のバイタルデータを検知するバイタルセンサ等とすることができ、各種センサの全部又は一部の組み合わせてもよい。センサ群１３０の各センサによりセンシングされたデータは統括制御部１００に与えられる。

（コミュニケーション部）
コミュニケーション部１４０は、ロボット１に接する対象（例えば、人等）と、オペレータとの間でコミュニケーションをとるためのデバイスである。

例えば、コミュニケーション部１４０は、スピーカや表示部等の出力部１４１を有しており、音声通信処理により操作端末２４側のオペレータの音声がスピーカから出力されたり、コミュニケーションをとるための情報を表示したりすること等ができる。なお、図２には、図示しないが、コミュニケーション部１４０は、マイクロフォンやタッチパネルディスプレイ等のような入力デバイス（入力部）を設けるようにしてもよい。これを活用することで、例えばロボット１の近くに存在する人と、オペレータとの間でコミュニケーションをとることができる。

（統括制御部）
統括制御部１００は、ロボット１の動作やタスク動作等を司る処理部である。

統括制御部１００は、予め定義された情報や、監視部１２０の監視結果やカメラ１１の各カメラ映像データ、センサデータ等のように、タスクを行なうロボット１の行動や知識やスキル（能力）等の各種データを獲得し、これらを学習していく。そして、統括制御部１００は、その後に獲得した状態データ（例えば監視部１２０の監視結果や各カメラ映像データやセンサデータ等）と、学習したデータとを参照して、ロボット１の行動を判断して、これに応じて処理する。統括制御部１００は、行動判断部１０１と、行動処理部１０２とを有する。

行動判断部１０１は、予め定義されたタスク設定情報等に従って、ロボット１の行動判断する。例えば、この実施形態では、行動判断部１０１は、自己（ロボット１自身）の位置を推定しながら、移動経路に従って正しく移動しているか否かを判断する。

行動判断部１０１には、監視部１２０によるカメラ映像を用いた監視結果や、センサ群１３０から各種センサのセンサデータ等が入力されており、定義された移動経路に従ってロボット１が走行している際に、監視部１２０による監視結果や、センサ群１３０からのセンサデータ等を用いて、ロボット１の移動状態を判断するようにしてもよい。なお、行動判断部１０１の詳細な説明は動作の項で行なう。

行動処理部１０２は、行動判断部１０１からの判断結果に基づく処理を行なう。例えば、上述した行動判断部１０１が、監視部１２０の監視結果やセンサ群１３０のセンサデータ等に基づいて、例えば障害物や人物や動物などの注意すべきオブジェクトを検知すると、行動処理部１０２は、管理センタシステム２側にその旨を示す通知情報を通知する。さらに、必要に応じて、行動処理部１０２は、ロボット１を自律動作モードから手動モードに切り替え要求する切替要求信号を送信する。また、行動処理部１０２の詳細な説明は動作の項で詳細に行なう。

（移動制御部）
移動制御部１５０は、統括制御部１００の制御を受けて、ロボット１を移動制御するものである。移動制御部１５０は、ロボット１の走行を制御する走行制御部１５１と、正面方向制御部１５２とを有する。

正面方向制御部１５２は、自律動作モードから手動モードに切り替わった際に、ロボット１の正面方向を、当該ロボット１を操作するオペレータの操作端末２４の表示部２４３に表示されているエリア監視画面のモニタ方向に近づくように制御する。

正面方向制御部１５２の詳細の説明は動作の項で説明するが、オペレータ操作による手動モードに切り替わった際に、オペレータが監視しているエリアを示すエリア監視画面の方向が、ロボット１の正面方向と異なってしまうことがあり、ロボット１を走行操作しようとするオペレータが誤操作してしまうことが生じ得る。

しかし、正面方向制御部１５２が、ロボット１の正面方向を、オペレータにより監視されているエリア監視画面のモニタ方向に近づくように制御することで、ロボット１の正面方向と、エリア監視画面のモニタ方向とが一致又はほぼ一致させることができるので、オペレータの誤操作を軽減できる。

（移動駆動部）
移動駆動部１６０は、移動制御部１５０の制御により、移動部１２を駆動するためのものであり、例えば駆動輪１３を駆動するものである。移動駆動部１６０は、例えばモータドライバや駆動モータ等を適用できる。

（Ａ−２）実施形態の動作
以下では、この実施形態のロボット１の遠隔操作処理の動作を、図面を参照しながら詳細に説明する。

図３は、実施形態に係るロボット１の遠隔操作処理の動作を示すフローチャートである。

自律動作モード若しくは手動モードで移動しているロボット１の各カメラ１１−１〜１１−４により撮像された各カメラ映像データは管理センタシステム２側に送信されており、映像合成制御部２６による映像制御処理が行なわれている。

オペレータの操作端末２４の表示部２４３には、複数のロボット１のうち、任意の１又は複数のロボット１の全周囲映像を表示したり、オペレータ操作により指定されたロボット１の全周囲映像を表示したりすることができる。

［Ｓ２０１］
まず、オペレータが操作端末２４上で操作対象とするロボット１を指定する（Ｓ２０１）。

ここでは、自律動作モードで移動しているロボット１が、オペレータ操作による手動モードに切り替わる際、当該ロボット１の動作を遠隔操作するオペレータが、操作対象とするロボット１を指定する。自律動作モードから手動モードに切り替える際、オペレータの操作により切り替えるようにしても良いし、ロボット１側が管理センタシステム２側に切替要求情報を送信し、オペレータ操作により手動モードへの切替を行なうようにしても良い。後者の場合、管理センタシステム２の接続制御部２２が、オペレータの空き状況や習熟度合いに基づいて、オペレータを選定するようにしてもよい。

［Ｓ２０２］
オペレータ操作により操作端末２４上で操作対象とするロボット１が指定されると、接続制御部２２は、当該指定されたロボット１と、当該オペレータ操作による操作端末２４との間の接続制御を行なう（Ｓ２０２）。

［Ｓ２０３、Ｓ２０４］
ロボット１では、カメラ１１−１〜１１−４がそれぞれ当該ロボット１の周囲を撮像しており（Ｓ２０３）、監視部１２０が、各カメラ１１−１〜１１−４の各カメラ映像データから注目すべき対象を判定する（Ｓ２０４）。

図４は、実施形態に係るロボット１の制御データベース１７０に記憶されるエリア監視テーブル１７１の構成を例示する構成図である。図４に例示するように、エリア監視テーブル１７１は、各カメラ１１−１〜１１−４を一意に識別する「カメラ識別情報」、各カメラ１１−１〜１１−４が撮像した映像データを示す「映像データ」、監視部１２０が各カメラ１１−１〜１１−４のカメラ映像データに基づいて注意すべきオブジェクトの判定結果の度合いを示す「重要度」とを対応付けている。

「重要度」は、例えば「０」〜「１００」の範囲の値で示され、重要度を示す値が「１００」に近いほど、注意すべきオブジェクトの存在確率が高いことを示している。図４の例の場合、カメラ１１−１及び１１−２が撮像したカメラ映像に注意すべきオブジェクトの存在確率が高いことを示している。重要度の値の決定方法は、特に限定されず、例えば、監視部１２０の顔認証処理や障害物検出処理等の結果に基づいて、所定の方法で数値化して決定することができる。

［Ｓ２０５］
ロボット１では、行動判断部１０１が、各カメラ１１−１〜１１−４のカメラ映像データや監視部１２０による監視結果等に基づいて、ロボット１の正面方向を決定する（Ｓ２０５）。

「ロボットの進行方向」とは、移動しているロボット１の進行方向を意味する。また、「ロボットの正面方向」とは、ロボット１において予め定義した正面位置が存在する側をいう。ロボット１の正面位置は、例えば、ロボット本体部１４に正面位置とする目印がないときには、予め定義した位置を正面とすることができる。また例えばタッチパネル等のコミュニケーション部１４０をロボット１の外観に設け、その側を正面としても良いし、ロボット１に顔等のようなものを設けたときには、その側を正面としてもよい。

ここで、ロボット１の運用によっては、必ずしもロボット１の正面を進行方向に向けて走行するものに限らないものもあるので、ここではロボット１の進行方向とロボット１の正面方向とを区別して説明している。例えば、ロボット１が進行方向に正面位置を向けた状態で走行するような場合であれば、ロボット１の正面方向は、進行方向と一致することになるが、当該ロボット１の正面位置を進行方向に向けずに、ロボット１が走行するようなときには、ロボット１の正面方向と進行方向とは異なることになる。

［Ｓ２０６〜Ｓ２０９］
ロボット１において、行動判断部１０１は、決定したロボット１の正面方向を示す情報を、管理センタシステム２の接続制御部２２に送信する（Ｓ２０６）。管理センタシステム２では、接続制御部２２が、ロボット１の正面方向を示す情報を受信すると、対応するコックピットの操作端末２４にロボット１の正面方向を示す情報を送信する（Ｓ２０７）。

そして、コックピットの操作端末２４の表示部２４３には、ロボット１の正面方向がどの方向であるかをオペレータに知らせるために、ロボット１の正面方向の映像が表示される（Ｓ２０８）。

またこのとき、ロボット１側では、例えばロボット１の周囲に存在し得る人間にロボット１の進行方向を知らせるために、例えばコミュニケーション部１４０の出力部１４１（例えばタッチパネルの表示部やスピーカ等）に、ロボット１の進行方向が出力されるようにしてもよい（Ｓ２０９）。ロボット１の進行方向の表示の仕方は、様々な方法を適用でき、例えば「左に曲がります」等の音声アナウンスであっても良いし、タッチパネル上に進行方向を示す矢印等の情報が出力されるようにしても良い。

以下、図５〜図７を用いて説明する。図５は、実施形態の管理データベース２３に記憶されるオペレータとロボットの対応データテーブル２３１の構成例を示す構成図である。図６は、実施形態におけるロボット１の正面方向、各カメラ１１のカメラ映像及びエリア監視画面との関係を説明する説明図である。図７は、実施形態における操作端末２４の表示部２４３の表示画面を説明する説明図である。

図５に示すように、対応データテーブル２３１は、操作端末２４を一意に識別する「操作端末ＩＤ」、オペレータを一意に識別する「オペレータＩＤ」と、操作対象とするロボット１を一意に識別する「操作対象ロボットＩＤ」と、オペレータが監視しているエリア監視方向に関する情報を示す「エリア監視方向」、操作対象とするロボット１の正面方向を示す情報を示す「ロボット正面方向」、オペレータ操作により操作端末２４の操作部２４２でロボット１を移動させる方向に関する情報を示す「ハンド方向」とを対応付けたテーブルである。

Ｓ２０１において、オペレータ操作により操作対象のロボット１が指定されると、接続制御部２２は、操作端末ＩＤ（例えば「操作端末ＩＤ：１０００１」）とオペレータＩＤ（例えば「オペレータＩＤ：Ｏ１０１」）とロボットＩＤ（例えば、「ロボットＩＤ：Ｒ１０１」）とを対応付けた対応データテーブル２３１を作成する。

Ｓ２０７で、接続制御部２２が、ロボット１側からロボット１の正面方向を示す情報を受信すると、接続制御部２２は、操作端末ＩＤとロボット１との対応データテーブル２３１の「ロボット正面方向」の欄に、受信したロボット１の正面方向を示す情報を記述する。図６及び図７を用いて説明する。

例えば、図６では、説明便宜上、図６に示すＸ軸−Ｙ軸座標系を用いて説明する。図６において、ロボット１の進行方向とロボット１の正面方向は同じである場合を例示している。つまり、ロボット１は、予め定義された正面を進行方向に向けて走行しており、ロボット１の進行方向は図６のＸ−Ｙ座標系で１８０度の方向（図６の左方向）で移動しているものとする。その場合、ロボット１に撮像方向を固定して設置された各カメラ１１−１〜１１−４が撮像する各カメラ映像を映し出す各カメラ画面Ｃ１、Ｃ２、Ｃ３、Ｃ４は、ロボット１の正面方向、右側方向、後側方向、左側方向の周囲の様子が映し出されているものとする。

図７は、操作端末２４の表示部２４３に表示される画面の一例である。ここでは、表示画面上で、各画面の表示領域が区分されており、各カメラ画面Ｃ１〜Ｃ４とエリア監視画面Ｍ１とは指定された表示領域に表示される場合を例示する。

表示部２４３には、例えば、各カメラ１１−１〜１１−４により撮像されたカメラ映像を映し出す各カメラ画面Ｃ１〜Ｃ４と、オペレータ操作により合成映像において仮想視点ＶＰが指定され、その仮想視点ＶＰからロボット１の周囲の映像を俯瞰して見たときのエリア監視画面Ｍ１とが表示される。

Ｓ２０８では、ロボット１の正面方向の映像が、操作端末２４の表示部２４３に表示される。これは、オペレータは、エリア監視画面Ｍ１を見て、ロボット１の移動操作を行なうが、手動モードへの切替時に、ロボット１の正面方向（進行方向）が分からず、ロボット１の移動操作が難しく感じられる。そこで、ロボット１の正面方向をオペレータに分かるようにするため、ロボット１の正面方向の映像が表示部２４３に表示されるようにしている。

ロボット１の正面方向の映像の表示方法は、様々な方法で表示できるが、例えば、図７では、４個のカメラ画面Ｃ１〜Ｃ４を表示部２４３に表示する場合を例示している。この例の場合、４個のカメラ映像Ｃ１〜Ｃ４のうちいずれかの映像が正面方向の映像であることが分かるように、ロボット１の正面方向の映像画面が強調表示されるようにしてもよい。また、別の方法としては、操作端末２４の表示部２４３に、ロボット１の正面方向の映像のみを表示するようにしてもよい。つまり、ロボット１の正面方向以外の映像は表示部２４３に表示されないようにできるので、オペレータはロボット１の正面方向の映像をすぐにわかる。

ここで、オペレータ操作により仮想視点ＶＰが指定され、仮想視点ＶＰからロボット１の周囲エリアを監視するエリア監視画面Ｍ１を説明する。

オペレータ操作により指定された仮想視点ＶＰの位置及び方向が、図６に例示する位置及び方向であるとする。仮想視点ＶＰからロボット１の周囲を俯瞰して映し出される映像は、図７のエリア監視画面Ｍ１に相当し、操作端末２４の表示部２４３上のエリア監視画面Ｍ１の映像は、図６のエリア監視画面Ｍ１に相当するものとする。図６に示すように、注意すべきオブジェクト５が存在する場合、注意すべきオブジェクト５がエリア監視画面Ｍ１に投影され、エリア監視画面Ｍ１では、オブジェクト１９２のように映し出されているものとする。

操作端末２４は、仮想視点ＶＰから監視エリアを見たエリア監視画面Ｍ１のエリア監視方向を示す情報を、接続制御部２２を逐次送信している。接続制御部２２は、手動モードへの切替時に、操作端末ＩＤとロボット１との対応データテーブル２３１における「エリア監視方向」の欄に、受信したエリア監視画面Ｍ１のエリア監視方向をを記述する。こうすることで、手動モードへの切替時の、「ロボット正面方向」とエリア監視画面Ｍ１の「エリア監視方向」とを記憶することができる。

［Ｓ２１０〜Ｓ２１３］
操作端末２４上で、オペレータ操作によるロボットの移動操作が開始される（Ｓ２１０）。操作端末２４上で、操作部２４２を操作するオペレータにより、ロボット１の移動方向を操作するハンド操作が必要でないとき（Ｓ２１１／Ｎｏ）、処理はＳ２１２に移行し、ハンド操作が必要であるとき（Ｓ２１１／Ｙｅｓ）、処理はＳ２１３に移行する。

ここで、「ハンド操作」とは、手動モードでオペレータがロボット１の移動操作を行なう際、表示部２４３の表示画面を見ながらオペレータが操作部２４２を用いた操作をいい、オペレータは、操作部２４２を用いてロボット１の移動方向や移動速度を操作できるが、この実施形態の「ハンド操作」は、特に、操作部２４２を用いたロボット１の移動方向に関する操作を意図する。また、操作部２４２を用いてロボット１を移動させる操作方向を「ハンド方向」という。

Ｓ２１２では、ロボット１が移動しながら、ロボット正面方向を、エリア監視画面のエリア監視方向に近づけるようにする（Ｓ２１２）。

例えば、手動モードへの切替直後で、図６において、ロボット１の正面方向が「Ｄ１」であり、エリア監視画面Ｍ１のエリア監視方向が「Ｄ２」であるとする。この場合、ロボット１は、ロボット１は正面方向Ｄ１をエリア監視方向Ｄ２に近づくように、自己を回旋させたり、移動方向を調整する。これにより、ロボット１の正面方向は、仮想視点から映し出されるエリア監視画面Ｍ１のエリア監視方向となり、ロボット１は、エリア監視画面Ｍ１の監視方向にロボット１の正面を向けて走行することになる。

例えば、オペレータがエリア監視画面Ｍ１を見ながら監視しているエリアには、オブジェクト１９２が存在しており、オペレータはオブジェクト１９２の方向に向けてロボット１を移動させたいとする。その場合、エリア監視画面Ｍ１のエリア監視方向と、ロボット１の正面方向（進行方向）とが一致しておらず、ロボット１の移動操作を行なうオペレータは方向性を失ってしまうことがある。

この実施形態によれば、手動モードへの切替時に、ロボット１の正面方向がエリア監視方向になり、それに伴い、エリア監視画面Ｍ１に映し出される映像も、ロボット１の正面方向（進行方向）となるので、オペレータが直感的にロボット１を操作することができる。

ここで、ロボット１の正面方向をエリア監視方向に近づける際に、管理センタシステム２側がロボット１との間で行なう制御方法と、ロボット１自身が正面方向を移動駆動する方法について説明する。

（制御方法）
管理センタシステム２側がロボット１との間で行なう制御方法には、様々な方法がある。

例えば、管理センタシステム２の接続制御部２２が、対応データテーブル２３１に記憶されている情報のうち、オペレータ操作により指定された「エリア監視方向」を示す情報をロボット１に送信する。

ロボット１は、管理センタシステム２の接続制御部２２からオペレータ操作に係るエリア監視画面Ｍ１の「エリア監視方向」を受信すると、行動処理部１０２が、受信した「エリア監視方向」と、ロボット１自身で記憶している「ロボット正面方向」との差分である差分値を求め、その差分値に基づいて、ロボット１の正面方向を、エリア監視方向に近づけるように制御する。

これによれば、管理センタシステム２側の接続制御部２２は、手動モードへの切替時に、すぐに「エリア監視方向」を示す情報をロボット１側に送信のみでよく、「エリア監視方向」と「ロボット正面方向」との差分を求める処理等は、エッジコンピューティングに位置しているロボット１側で行なうことができる。

また例えば、管理センタシステム２の接続制御部２２は、対応データテーブル２３１に記憶されている「ロボット正面方向」と「エリア監視方向」との差分である差分値を求め、その差分値を含む情報をロボット１に送信する。ロボット１では、行動処理部１０２が、接続制御部２２から「ロボット正面方向」と「エリア監視方向」との差分である差分値を受信すると、その差分値に基づいて、ロボット１の正面方向を、エリア監視方向に近づけるように制御する。

これによれば、「ロボット正面方向」と「エリア監視方向」との差分値を求める処理等を管理センタシステム２側で行なうことができるので、ロボット１における処理負荷を軽減できる。

上述した管理センタシステム２側によるロボット１の制御方法は、一例であり、これに限定されず、他の方法も広く適用できる。

（ロボット１の移動駆動）
ロボット１が、ロボット正面方向を、エリア監視方向に近づける方法にも、様々な方法を適用できる。

例えば、移動制御部１５０の正面方向制御部１５２は、行動処理部１０２の制御により、移動駆動部１６０に対してコマンドを投じて、ロボット１の正面方向を変える移動処理を実行する。このとき、正面方向制御部１２５は、手動モードへの切替時に、一時的に、ロボット１を停止させ、その後、「ロボット正面方向」と「エリア監視方向」との差分値に基づいてロボット１を回旋させて、ロボット１の正面方向をエリア監視方向として、エリア監視方向に、ロボット１を走行させるようにしてもよい。これにより、ロボット１を一時停止させた後、ロボット１の向きを変えるので、ロボット１の走行性やロボット１の周囲の安全性を保つことができる。

また例えば、正面方向制御部１５２は、ロボット１の走行を続行させたまま、徐々に、「ロボット正面方向」と「エリア監視方向」との差分値に基づいてロボット１の正面方向がエリア監視方向に近づくように、左右方向、回旋させるようにしてもよい。つまり、ロボット１は走行しながら、ロボット１の正面方向がエリア監視方向に近づくようにロボット１の向きを変えていく。例えばオブジェクト１９２に向けてロボット１を迅速に移動させたい場合もあるので、これによれば、ロボット１の走行を維持した状態で、ロボット１の向きを変えていくことができる。

Ｓ２１３では、ロボット１が移動しながら、ロボット正面方向を、ハンド方向に近づけるようにする（Ｓ２１３）。

つまり、手動モードへの切替後、オペレータによるハンド操作が行なわれたときに、ロボット１は、Ｓ２１２で説明したように、ロボット１の正面方向をエリア監視画面Ｍ１のエリア監視方向に近づける動作を行なうと共に、ロボットの正面方向をオペレータ操作によるハンド方向に近づける動作を行なう。

例えば、上述したように、ロボット１の正面方向制御部１５２が、ロボット１を一時的に停止させ、ロボット１の正面を、エリア監視画面Ｍ１のエリア監視方向に向けた場合であれば、正面方向制御部１５２は、ロボット１の正面方向を、ハンド操作によるハンド方向に近づくように移動制御できる。

一方、例えば、正面方向制御部１５２が、ロボット１の走行を続行させたまま、徐々に、ロボット１の正面方向をエリア監視方向に近づくように移動制御する場合には、その時点のロボット１の正面方向と、ハンド方向とを考慮しながら、移動制御することが必要となる。

なお、ロボット１の正面方向をハンド方向に近づける際に、管理センタシステム２側がロボット１との間で行なう制御方法については、Ｓ２１２で説明した上述の制御方法を用いることができる。

つまり、例えば、管理センタシステム２の接続制御部２２が、対応データテーブル２３１に記憶されている情報のうち、オペレータ操作による「ハンド方向」を示す情報をロボット１に送信する。ロボット１は、管理センタシステム２の接続制御部２２からの「ハンド方向」を受信すると、行動処理部１０２が、受信した「ハンド方向」と、ロボット１自身で記憶している「ロボット正面方向」との差分である差分値を求め、その差分値に基づいて、ロボット１の正面方向を、ハンド方向に近づけるように制御してもよい。

また、別の方法として、例えば、管理センタシステム２の接続制御部２２は、対応データテーブル２３１に記憶されている「ロボット正面方向」と「ハンド方向」との差分である差分値を求め、その差分値を含む情報をロボット１に送信する。ロボット１では、行動処理部１０２が、接続制御部２２から「ロボット正面方向」と「ハンド方向」との差分である差分値を受信すると、その差分値に基づいて、ロボット１の正面方向を、ハンド方向に近づけるように制御するしてもよい。

［透過度の調整］
図８は、実施形態に係る合成映像に映るＣＧ画像モデルの透過度を調整する方法を説明する説明図である。

図８において、エリア監視画面Ｍ１には、ロボット１のＣＧ画像モデル１９１が表示されており、エリア監視画面Ｍ１において、ＣＧ画像モデル１９１の画像領域とオブジェクト１９２の画像領域とが重なってしまうことで、オブジェクト１９２が、ＣＧ画像モデル１９１に隠れてしまい、エリア監視画面Ｍ１上でオブジェクト１９２が見えなくなってしまうことがある。

その場合、例えば、手動モードへの切替時に、映像合成制御部２６がＣＧ画像モデル１９１の透過度（透明度）を調整して、ＣＧ画像モデル１９１の全部又は一部を透明表示して、エリア監視画面Ｍ１上にオブジェクト１９２が見えるように調整するようにしてもよい。

ここで、ＣＧ画像モデル１９１の透過度の調整方法の一例を説明する。

映像合成制御部２６は、各カメラ１１−１〜１１−４のカメラ映像を合成した合成映像上で、ロボット１の存在領域にマスク１９３を貼り付けてそのマスク上にＣＧ画像モデル１９１を貼り付ける。

図６の例において、仮想視点ＶＰからロボット１の周囲エリアを監視したエリア監視画面Ｍ１には、空間に実在するオブジェクト５がエリア監視画面Ｍ１に投影されている。手動モードへの切替時に、ロボット１の正面方向がエリア監視方向に近づくように制御されるので、エリア監視画面Ｍ１上では、ロボット１がオブジェクト１９２が存在する方向に向けて移動する。そうすると、図８に示すように、ＣＧ画像モデル１９１とオブジェクト１９２とが重なってしまう。

このとき、映像合成制御部２６は、オブジェクト１９２の画像領域と、ＣＧ画像モデルの画像領域とを比較して、オブジェクト１９２の画像領域と、ＣＧ画像モデルの画像領域との重なり領域の程度に応じて、ＣＧ画像モデル１９１の透過度を調整するようにしてもよい。

例えば、オブジェクト１９２の画像領域とＣＧ画像モデルの画像領域との重なり領域の程度（例えば、重複する画素数の値など）が大きくなるにつれ、ＣＧ画像モデル１９１の透過度の度合いを示す値を大きくし、上記重なり領域の程度が小さくなるにつれ、ＣＧ画像モデル１９１の透過度の度合いを示す値を小さくしてもよい。上述した例のとき、重複している画像領域と、透過度との関係を定義した関数式等を用いて、ＣＧ画像モデル１９１の透過度の値を決定するようにしてもよい。

また例えば、エリア監視画面Ｍ１上の、オブジェクト１９２の画像領域又はＣＧ画像モデル１９１の画像領域とを「１００」としたときの、オブジェクト１９２の画像領域とＣＧ画像モデルの画像領域との重なり領域の程度（ここでは「重複割合」とも呼ぶ。）の値を求め、その重複割合が大きくなるにつれ、ＣＧ画像モデル１９１の透過度の度合いを示す値を大きくし、上記重複割合の値が小さくなるにつれ、ＣＧ画像モデル１９１の透過度の度合いを示す値を小さくしてもよい。この場合も所定の関数式を用いてＣＧ画像モデル１９１の透過度の値を決定するようにしてもよい。

また、上述した各例において、透過度を示す値を上げるＣＧ画像モデル１９１は、モデル全体であっても良いし、モデルの一部（例えば、重複している画像領域の部分）だけであってもよい。なお、ＣＧ画像モデル１９１の下地にはマスク１９３は、合成画像の品質を維持するため、そのまま残すことが望ましい。

さらに例えば、オブジェクト１９２の画像領域とＣＧ画像モデルの画像領域とが一部でも重なっている領域があるときには、ＣＧ画像モデル１９１の透過度の度合いを示す値を所定値にして、ＣＧ画像モデル１９１を透明に表示してもよい。つまり、一部でも重複しているときには、ＣＧ画像モデル１９１を透明に表示するようにしてもよい。

また、透過度の値を上げてＣＧ画像モデル１９１を透明化したときでも、ＣＧ画像モデル１９１の位置や走行方向が分かるようにするため、当該ＣＧ画像モデル１９１の枠線のみを実線や点線等で表示するようにしてもよい。

（Ａ−３）実施形態の効果
以上のように、この実施形態によれば、手動モードへの切替時に、ロボットが正面位置をエリア監視画面の方向に移動し、ロボットの正面方向とエリア監視画面の方向とを同期させるので、エリア監視画面の映像がロボットの正面の映像となる。そのため、エリア監視画面の映像を見てロボットを操作するオペレータは、ロボットを直感的に操作することができる。

また、この実施形態によれば、仮想視点から見たエリア監視画面の映像で、ロボットの画像モデルと注意すべき対象（オブジェクト）とが重なってしまう場合でも、画像モデルの透過度が自動的に調整されるので、エリア監視画面上に、画像モデルの先に存在するオブジェクトを映し出すことができる。その結果、ロボットを移動操作するオペレータの操作性を向上できる。

（Ｂ）他の実施形態
上述した実施形態においても種々の変形実施形態を言及したが、本発明は、以下の変形実施形態にも適用できる。

上述した実施形態では、管理センタシステム２の接続制御部２２が、管理データベース２３に保持される対応データテーブル２３１を用いて、ロボット１に移動制御を行なう場合を例示した。しかし、操作端末２４が管理データベース２３にアクセス可能であり、オペレータ操作により、操作端末２４が、対応データテーブル２３１を用いて、ロボット１に移動制御を行なうようにしてもよい。換言すると、操作端末２４が、一機能として、実施形態で説明した接続制御部２２の機能を備えるようにしてもよい。

また、上記実施形態では、ロボット１の正面方向Ｄ１はオペレータの操作の便宜上定義されるもので、図示されたロボット１の外観上は正面方向Ｄ１とそれ以外の方向に明確な差異は表現されていないが、ロボットの正面方向にモニタや顔のような造作を固定して設けることで、正面方向を判別可能な外観とすることもできる。このような構成とすれば、ロボットの周囲に存在する人間がロボットの挙動を予測しやすくなり、予想外の挙動による接触事故等の不安感を低減出来る。

１…ロボット、１１−１〜１１−４…カメラ、１２…移動部、１００…統括制御部、１０１…行動判断部、１０２…行動処理部、１１０…通信部、１２０…監視部、１３０…センサ群、１４０…コミュニケーション部、１５０…移動制御部、１５１…走行制御部、１５２…正面方向制御部、１６０…移動駆動部、３…通信網、２…管理センタシステム、２２…接続制御部、２３…管理データベース、２６…映像合成制御部、２４…操作端末、２４１…通信部、２４２…操作部、２４３…表示部。

Claims (6)

1. 当該ロボットの周囲を撮像する１又は複数のカメラを有し、自律的に移動するロボットと、
   上記ロボットの上記各カメラにより撮像された各カメラ映像に基づいて仮想視点から当該ロボットの周囲映像を映し出した監視画面を表示する表示部と、オペレータにより上記ロボットの移動操作を行なう操作部とを有する操作端末と、
   上記ロボットと、上記ロボットの移動操作を行なう上記オペレータの上記操作端末との間の情報通信に係る接続処理を行なう接続制御部と
   を備え、
   上記ロボットを上記オペレータによる移動操作に切り替える際に、上記ロボットが、当該ロボットの正面方向を示す情報と、上記表示部に表示される上記仮想視点から当該ロボットの周囲映像を映し出している上記監視画面の監視方向を示す情報とに基づいて、当該ロボットの正面を上記監視画面の上記監視方向に近づけるように、当該ロボットを移動制御する移動制御部を備える
   ことを特徴とするロボットシステム。
2. 上記ロボットを上記オペレータによる移動操作に切り替える際に、
   上記操作部が、上記オペレータによる上記ロボットの移動操作を受けると、
   上記ロボットの上記移動制御部が、当該ロボットの正面を上記監視画面の上記監視方向に近づけると共に、上記操作部を用いた上記ロボットの移動操作に応じて、当該ロボットの正面を、上記操作部を用いた移動操作方向に近づけるように移動制御することを特徴とする請求項１に記載のロボットシステム。
3. 上記ロボットを上記オペレータによる移動操作に切り替える際に、上記ロボットが、当該ロボットの正面方向の向きを、上記監視画面の上記監視方向又は上記移動操作方向に変えて進行させるときに、当該ロボットの進行方向を表す情報を出力する出力部を備えることを特徴とする請求項１又は２に記載のロボットシステム。
4. ３次元形状モデルを用いて、上記ロボットの上記各カメラにより撮像された各カメラ映像データに基づく合成映像を形成し、当該合成映像上における上記ロボットの存在領域の所定の画像モデルを重畳させて、上記操作部で指定された仮想視点から上記ロボットの周囲映像を映し出す監視映像を含む上記監視画面を、上記表示部に表示させる映像合成制御部を備え、
   上記映像合成制御部が、上記表示部に表示させている上記監視画面に映る注意しべき対象の画像領域と、上記画像モデルの画像領域とが重なっている場合に、所定の方法により、上記画像モデルの透過度を制御した監視画面を上記表示部に表示する
   ことを特徴とする請求項１〜３のいずれかに記載のロボットシステム。
5. 当該ロボットの周囲を撮像する１又は複数のカメラを有し、自律的に移動するロボットにおいて、
   当該ロボットは、上記ロボットの上記各カメラにより撮像された各カメラ映像に基づいて仮想視点から当該ロボットの周囲映像を映し出した監視画面を表示する表示部と、オペレータにより上記ロボットの移動操作を行なう操作部とを有する操作端末の間で情報通信を行ない、
   上記ロボットを上記オペレータによる移動操作に切り替える際に、当該ロボットの正面方向を示す情報と、上記表示部に表示される上記仮想視点から当該ロボットの周囲映像を映し出している上記監視画面の監視方向を示す情報とに基づいて、当該ロボットの正面を上記監視画面の上記監視方向に近づけるように、当該ロボットを移動制御する移動制御部を備える
   ことを特徴とするロボット。
6. ロボットの周囲を撮像する１又は複数のカメラを有し、自律的に移動するロボットを、オペレータによる移動操作を行なうための操作端末において、
   上記ロボットの上記各カメラにより撮像された各カメラ映像に基づいて仮想視点から当該ロボットの周囲映像を映し出した監視画面を表示する表示部と、
   オペレータにより上記ロボットの移動操作を行なう操作部と、
   上記ロボットと、上記ロボットの移動操作を行なう上記オペレータの上記操作端末との間の情報通信に係る接続処理を行なう接続制御部と
   を備えることを特徴とする操作端末。
   

Images