JP2020157394A - ロボット装置 - Google Patents

Abstract

【課題】オペレータがロボットの操作を容易に行うことが可能なロボット装置を提供する。【解決手段】マニピュレータ装置１は、マニピュレータ１１と、マニピュレータ１１による作業箇所を撮像するカメラ１２ａと、カメラ１２ａのカメラ傾斜角度を取得する傾斜角度取得部２４ｂと、カメラ１２ａの撮像画像を表示するモニタ２１ａと、取得されたカメラ傾斜角度に応じて、モニタ２１ａの画面が向く方向の傾斜角度であるモニタ傾斜角度を制御するモニタ制御部２４ａと、を備える。【選択図】図２

Description

本発明は、ロボット装置に関する。

ロボット装置として、例えば、特許文献１に記載された装置が知られている。このロボット装置において、オペレータは、カメラで撮像された画像をモニタで確認しながらロボットの操作を行うことができる。

特許第４５５８６８２号

このようなロボット装置においては、ロボットによる作業箇所が撮像されるように、カメラの撮像方向（向き）が変化する。この場合、オペレータがモニタに表示されるカメラの撮像画像を見ながらロボットの操作を行う際に、カメラの撮像方向の傾斜度合いも考慮してロボットを移動させる必要が生じることがある。しかしながら、オペレータは、モニタの表示画像を見ただけではカメラの傾斜度合いを容易に把握することは困難であり、ロボットの意図した操作を行うことができないことがある。このように、カメラの撮像方向が変化する場合であっても、オペレータがロボットの操作を容易に行うことができる装置が求められている。

そこで、本発明は、オペレータがロボットの操作を容易に行うことが可能なロボット装置を提供することを目的とする。

本発明の一側面に係るロボット装置は、関節を有するロボットと、撮像方向を変更可能であり、ロボットによる作業箇所を撮像するカメラと、カメラの撮像方向の傾斜角度であるカメラ傾斜角度を取得する傾斜角度取得部と、カメラの撮像画像を表示するモニタと、取得されたカメラ傾斜角度に応じて、モニタの画面が向く方向の傾斜角度であるモニタ傾斜角度を制御するモニタ制御部と、を備える。

このロボット装置では、カメラ傾斜角度に応じて、モニタ傾斜角度が制御される。これにより、オペレータは、モニタを視認することにより、モニタ傾斜角度に基づいてカメラの傾斜度合いを容易に把握できる。従って、オペレータは、把握したカメラの傾斜度合いを考慮しつつ、ロボットの操作を容易に行うことができる。

ロボット装置において、傾斜角度取得部は、カメラ傾斜角度として、上下方向におけるカメラの撮像方向の傾斜角度であるカメラチルト角を取得し、モニタ制御部は、モニタ傾斜角度として、上下方向におけるモニタの画面が向く方向の傾斜角度であるモニタチルト角を制御してもよい。ここで、例えば、モニタの表示画像内に地面（床面）が含まれていると、オペレータは、オペレータ自身の重力方向と表示画像における地面の垂直方向とが一致していると認識してしまうことがある。この場合、オペレータは、カメラの傾斜度合いを考慮せずにオペレータ自身の重力方向に基づいてロボットの操作を行い易くなり、意図した操作を行うことができないことがある。しかしながら、このような場合であってもモニタ制御部がモニタチルト角を制御することにより、オペレータは、カメラチルト角の傾斜度合いを容易に把握することができる。そして、オペレータは、把握したカメラチルト角の傾斜度合いを考慮してロボットの上下方向の操作を容易に行うことができる。

ロボット装置において、モニタ制御部は、取得されたカメラチルト角に基づいて、モニタの上下方向の位置を制御してもよい。この場合、オペレータは、カメラチルト角の傾斜度合いをより一層容易に把握でき、ロボットの操作を容易に行うことが可能となる。

ロボット装置は、ロボットを操作するためにロボットのオペレータによって移動させられる操作入力部と、オペレータによって移動させられる操作入力部の位置を検出する位置検出部と、位置検出部によって検出された操作入力部の位置に基づいて、ロボットを駆動させるロボット制御部と、を更に備えていてもよい。この場合、ロボット装置は、オペレータによる操作入力部の移動に基づいてロボットを駆動できる。

ロボット装置において、位置検出部は、モニタの画面の傾斜角度の変化と共に傾斜可能にモニタに取り付けられていてもよい。例えば、オペレータが操作入力部を上下に動かした場合、モニタ傾斜角度（カメラ傾斜角度）が異なるとセンサから出力される検出結果も異なる。すなわち、オペレータが同じ操作を行っても、カメラ傾斜角度に応じた検出結果が出力される。このような検出結果に基づいてロボットが駆動されることで、オペレータがカメラ傾斜角度を考慮して操作入力部を移動させなくても、カメラ傾斜角度を考慮したロボットの駆動が自動で行われる。従って、オペレータは、カメラ傾斜角度を考慮することなく、ロボットの操作を容易に行うことができる。

ロボット装置において、ロボット制御部は、位置検出部によって検出された操作入力部の位置をモニタ傾斜角度に基づいて補正して、ロボットを駆動させてもよい。この場合、オペレータは、カメラ傾斜角度を考慮して操作入力部を移動させなくても、カメラ傾斜角度を考慮したロボットの駆動が自動で行われる。従って、オペレータは、カメラ傾斜角度を考慮することなく、ロボットの操作を容易に行うことができる。

ロボット装置は、ロボットのオペレータに対して３次元画像を表示する３次元モニタを更に備え、モニタ制御部は、３次元モニタによって表示される３次元画像を制御すると共に３次元モニタによって表示される仮想の３次元空間内にカメラの撮像画像を表示するモニタを表示させ、カメラ傾斜角度に基づいて３次元空間内におけるモニタのモニタ傾斜角度を制御してもよい。この場合、ロボット装置は、３次元空間内に表示されたモニタの傾斜によって、オペレータに対してカメラの傾斜度合いを認識させることができる。これにより、オペレータは、３次元モニタを用いてロボットの操作を容易に行うことができる。

ロボット装置は、ロボットを操作するためにロボットのオペレータによって移動させられる操作入力部と、ロボットによって移動させられる操作入力部の位置を検出する位置検出部と、位置検出部によって検出された操作入力部の位置に基づいて、ロボットを駆動させるロボット制御部と、を更に備え、ロボット制御部は、位置検出部によって検出された操作入力部の位置を取得されたカメラ傾斜角度に基づいて補正して、ロボットを駆動させてもよい。この場合、オペレータは、カメラ傾斜角度を考慮して操作入力部を移動させなくても、カメラ傾斜角度を考慮したロボットの駆動が自動で行われる。従って、オペレータは、カメラ傾斜角度を考慮することなく、ロボットの操作を容易に行うことができる。

本発明の一側面によれば、オペレータがロボットの操作を容易に行うことができる。

図１は、マニピュレータ装置のマニピュレータ及びカメラを示す概略構成図である。 図２は、マニピュレータ装置の操作ユニットを示す概略構成図である。 図３は、マニピュレータ装置の機能構成を示すブロック図である。 図４は、カメラの傾斜を説明するための模式図である。 図５は、モニタの傾斜及び上下方向の移動を説明するための模式図である。 図６（ａ）及び図６（ｂ）は、カメラの撮像画像を示す図である。 図７は、オペレータがマニピュレータを操作する様子を示す模式図である。 図８は、オペレータがマニピュレータを操作する様子を示す模式図である。 図９は、変形例における操作検出部の取り付け位置を示す模式図である。 図１０は、変形例においてオペレータがマニピュレータを操作する様子を示す模式図である。 図１１は、変形例におけるＶＲゴーグルを用いて提示される仮想の３次元空間内のモニタを示す模式図である。

以下、本発明に係るロボット装置をマニピュレータを制御するマニピュレータ装置に適用した実施形態について図面を参照しながら説明する。なお、以下の説明において、同一又は相当要素には同一符号を付し、重複する説明を省略する。

図１〜図３に示されるように、マニピュレータ装置（ロボット装置）１は、ロボットユニット１０、及び操作ユニット２０を備えている。このマニピュレータ装置１は、例えば、人が立ち入れない場所等における作業を遠隔操作によって行う場合などに用いられる。本実施形態において、マニピュレータ装置１は、作業対象物Ｗに対して各種の作業（位置を移動させる作業等）を行う。

図１及び図３に示されるように、ロボットユニット１０は、マニピュレータ（ロボット）１１、カメラユニット１２、ロボット側制御装置１３、及びロボット側通信装置１４を備えている。マニピュレータ１１、カメラユニット１２、及びロボット側制御装置１３は、一例として、作業対象物Ｗの近傍に設けられた機台Ｓに設置されている。但し、マニピュレータ１１等は機台Ｓに設置されることに限定されない。例えば、マニピュレータ１１等は、自走可能な無人車両に搭載されていてもよい。

マニピュレータ１１は、アーム部１１ａ、及び把持部１１ｂを備えている。アーム部１１ａは、少なくとも一つの関節をしている。例えば、アーム部１１ａとして、六つの関節を有する６軸マニピュレータが用いられてもよい。マニピュレータ１１の基端部は、機台Ｓに取り付けられている。マニピュレータ１１の先端部には、把持部１１ｂが取り付けられている。把持部１１ｂは、作業対象物Ｗを把持する機構により構成されている。例えば、マニピュレータ１１は、把持部１１ｂによって作業対象物Ｗを把持し、アーム部１１ａの関節を可動させることによって作業対象物Ｗを移動させる。

カメラユニット１２は、カメラ１２ａ、カメラ駆動部１２ｂ、及び傾斜角度検出センサ１２ｃを備えている。本実施形態において、カメラユニット１２は、機台Ｓに設けられたカメラ支持フレームＳａに取り付けられている。カメラ１２ａは、撮像方向を変更可能であり、マニピュレータ１１による作業箇所を撮像する。本実施形態においては、カメラ１２ａとしてステレオカメラが用いられる。カメラ１２ａによって撮像される画像は、動画であってもよく、静止画であってもよい。カメラ１２ａが撮像した画像データは、ロボット側制御装置１３に入力される。

カメラ駆動部１２ｂは、カメラ１２ａの向き（撮像方向）を変化させる。ここでは、カメラ駆動部１２ｂは、ロボット側制御装置１３から入力されたカメラ制御信号に基づいて、カメラ１２ａのパン角及びチルト角を変化させる。カメラ１２ａの向きを変化させるためのカメラ駆動部１２ｂの機構としては、周知の種々の機構が採用され得る。

傾斜角度検出センサ１２ｃは、カメラ１２ａの撮像方向の傾斜角度であるカメラ傾斜角度を検出する。本実施形態において、傾斜角度検出センサ１２ｃは、カメラ傾斜角度として、上下方向におけるカメラ１２ａの撮像方向の傾斜角度であるカメラチルト角を検出する。傾斜角度検出センサ１２ｃによって検出されたカメラチルト角データは、ロボット側制御装置１３に入力される。

ロボット側通信装置１４は、操作ユニット２０の操作側通信装置２５と通信を行うための通信機器である。ロボット側通信装置１４は、操作側通信装置２５と無線通信を行ってもよく、有線通信を行ってもよい。ロボット側通信装置１４は、カメラ１２ａが撮像した画像データ、及び傾斜角度検出センサ１２ｃによって検出されたカメラチルト角データを操作側通信装置２５に送信する。また、ロボット側通信装置１４は、マニピュレータ１１を作動させるためのマニピュレータ制御信号、及びカメラ駆動部１２ｂを作動させるためのカメラ制御信号を操作側通信装置２５から受信する。

ロボット側制御装置１３は、マニピュレータ１１及びカメラユニット１２における各制御を実行する制御機器である。ロボット側制御装置１３は、例えば、ＣＰＵ、ＲＯＭ及びＲＡＭ等のハードウェアと、ＲＯＭに記憶されたプログラム等のソフトウェアとにより構成されるコンピュータが用いられる。図３に示されるように、ロボット側制御装置１３は、機能的には、マニピュレータ制御部（ロボット制御部）１３ａ、及びカメラ制御部１３ｂを備えている。

マニピュレータ制御部１３ａは、操作ユニット２０の操作検出部２３によって検出された操作入力部２２の位置等に基づいて、マニピュレータ１１を駆動させる。ここでは、マニピュレータ制御部１３ａは、ロボット側通信装置１４が受信したマニピュレータ制御信号をマニピュレータ１１に対して出力することにより、マニピュレータ１１を駆動させる。これにより、マニピュレータ１１に設けられたアクチュエータがマニピュレータ制御信号に従ってアーム部１１ａ及び把持部１１ｂを駆動することによって、マニピュレータ１１がマニピュレータ制御信号に応じて作動する。

カメラ制御部１３ｂは、カメラユニット１２の作動の制御を行う。カメラ制御部１３ｂは、ロボット側通信装置１４が受信したカメラ制御信号をカメラユニット１２に対して出力することにより、カメラ駆動部１２ｂ等を駆動させる。このように、カメラ制御部１３ｂは、カメラ制御信号に基づいてカメラ１２ａの撮像方向及びズーム等を制御する。

図２及び図３に示されるように、操作ユニット２０は、モニタユニット２１、操作入力部２２、操作検出部（位置検出部）２３、操作側制御装置２４、及び操作側通信装置２５を備えている。

モニタユニット２１は、モニタ２１ａ、及びモニタ駆動部２１ｂを備えている。モニタ２１ａは、操作側制御装置２４から入力された画像表示信号に基づいて、カメラ１２ａが撮像した画像を表示する。本実施形態において、カメラ１２ａは、マニピュレータ装置１のオペレータＰに対して立体的に画像が認識されるように３次元画像を表示する。例えば、オペレータＰは、モニタ２１ａの表示画像を立体的に視認するための３Ｄメガネ等を装着していてもよい。これにより、オペレータＰは、マニピュレータ装置１の作業箇所内の各物体の３次元的な位置関係を把握できる。

モニタ駆動部２１ｂは、モニタ２１ａを支持する。モニタ駆動部２１ｂは、操作側制御装置２４から入力されたモニタ駆動信号に基づいて、モニタ２１ａの画面が向く方向の傾斜角度であるモニタ傾斜角度を変化させることができる。ここでは、モニタ駆動部２１ｂは、モニタ傾斜角度として、上下方向におけるモニタ２１ａの画面が向く方向の傾斜角度であるモニタチルト角を変化させる。なお、モニタ駆動信号は、詳しくは後述するようにカメラチルト角データに基づいて生成されている。また、モニタ駆動部２１ｂは、モニタチルト角に加え、操作側制御装置２４から入力されたモニタ駆動信号に基づいて、モニタ２１ａの上下方向の位置を変化させることができる。

本実施形態において、モニタ駆動部２１ｂは、図２に示されるように、モニタ２１ａの画面がオペレータＰの頭部を向いた状態で、オペレータＰの頭部を中心として円弧状に上下方向に移動するように、モニタ２１ａのモニタチルト角を変化させ且つモニタ２１ａを上下方向に移動させる。モニタ２１ａのモニタチルト角を変化させる機構及びモニタ２１ａを上下に移動させる機構としては、周知の種々の機構が採用され得る。

操作入力部２２は、マニピュレータ１１を操作するためにオペレータＰによって操作される操作機器である。ここでは、操作入力部２２は、マニピュレータ１１を操作するためにオペレータＰによって移動させられる。例えば、オペレータＰは、アーム部１１ａを可動させて把持部１１ｂの位置を移動させたい場合、操作入力部２２を把持して操作入力部２２を移動させる。

また、操作入力部２２は、把持部１１ｂを操作するために行われるオペレータＰの入力操作、及びカメラユニット１２を操作（カメラ１２ａの撮像方向の操作及びズーム操作等）するために行われるオペレータＰの入力操作等、各種の入力操作を受け付ける。操作入力部２２は、これらの入力操作を受け付けると、受け付けた入力操作に基づいて入力操作信号を生成する。操作入力部２２は、生成した入力操作信号を操作検出部２３へ送信する。例えば、操作入力部２２は、赤外線等を用いて非接触で操作検出部２３に入力操作信号を送信する。

操作検出部２３は、オペレータＰが操作入力部２２に対して行った操作を検出する。ここでは、操作検出部２３は、オペレータＰによって移動させられる操作入力部２２の位置を非接触で検出する。操作検出部２３は、３次元のセンサ座標系内における操作入力部２２の位置を検出する。例えば、操作検出部２３は、赤外線等を用いて、センサ座標系内における操作入力部２２の位置を非接触で検出してもよい。操作検出部２３は、周知の種々の方法を用いて、操作入力部２２の位置を非接触で検出することができる。操作検出部２３は、例えば、モニタユニット２１が設置されるテーブル等に固定されている。

なお、操作検出部２３は、操作入力部２２の位置を非接触で検出することに限定されない。操作検出部２３は、非接触で検出すること以外にも、種々の方法によって操作入力部２２の位置を検出できる。例えば、操作検出部２３は、バイラテラルなマスタスレーブシステム等によって、操作入力部２２の位置を検出してもよい。

また、操作検出部２３は、操作入力部２２から送信された入力操作信号を非接触で受信する。操作検出部２３は、検出した操作入力部２２の位置データ及び受信した入力操作信号を、操作側制御装置２４へ出力する。なお、操作検出部２３は、操作入力部２２から送信された入力操作信号を非接触で受信することに限定されない。

操作側通信装置２５は、ロボットユニット１０のロボット側通信装置１４と通信を行うための通信機器である。操作側通信装置２５は、マニピュレータ１１を作動させるためのマニピュレータ制御信号、及びカメラ駆動部１２ｂを作動させるためのカメラ制御信号をロボット側通信装置１４へ送信する。また、操作側通信装置２５は、ロボット側通信装置１４から送信された画像データ、及びカメラチルト角データを受信する。

操作側制御装置２４は、操作ユニット２０における各制御を実行する制御機器である。操作側制御装置２４は、ロボット側制御装置１３と同様の構成を有するコンピュータが用いられる。図３に示されるように、操作側制御装置２４は、機能的には、モニタ制御部２４ａ、傾斜角度取得部２４ｂ、及び操作制御部２４ｃを備えている。

モニタ制御部２４ａは、モニタ２１ａに表示される画像の制御を行う。モニタ制御部２４ａは、操作側通信装置２５によって受信された画像データに基づいて、モニタ２１ａに画像を表示させるための画像表示信号を生成する。モニタ制御部２４ａは、生成した画像表示信号をモニタユニット２１に入力する。これにより、モニタ２１ａには、カメラ１２ａが撮像した画像が表示される。なお、モニタ制御部２４ａは、モニタ２１ａに３次元画像を表示させる場合、画像データに基づいて３次元画像を表示させるための画像表示信号を生成し、モニタ２１ａに入力すればよい。

また、モニタ制御部２４ａは、傾斜角度取得部２４ｂで取得されたカメラチルト角に基づいてモニタ駆動部２１ｂを駆動し、モニタ２１ａのモニタチルト角を制御する。ここでは、モニタ制御部２４ａは、傾斜角度取得部２４ｂで取得されたカメラチルト角に応じてモニタチルト角を制御するためのモニタ駆動信号を生成し、生成したモニタ駆動信号をモニタ駆動部２１ｂへ出力することによってモニタチルト角を制御する。

さらに、モニタ制御部２４ａは、傾斜角度取得部２４ｂで取得されたカメラチルト角データに基づいてモニタ駆動部２１ｂを駆動し、モニタ２１ａの上下方向の位置を制御する。ここでは、モニタ制御部２４ａは、傾斜角度取得部２４ｂで取得されたカメラチルト角に基づいて、モニタ２１ａの上下方向の位置を制御するためのモニタ駆動信号を生成し、生成したモニタ駆動信号をモニタ駆動部２１ｂへ出力することによってモニタ２１ａの上下方向の位置を制御する。

すなわち、モニタ駆動信号には、モニタチルト角を制御するための信号と、モニタ２１ａの上下方向の位置を制御するための信号とが含まれている。これにより、モニタ制御部２４ａは、モニタ駆動信号を用いてモニタ２１ａのモニタチルト角及びモニタ２１ａの上下方向の位置を制御する。

なお、モニタ制御部２４ａは、図２に示されるように、モニタ２１ａの画面がオペレータＰの頭部を向いた状態で、オペレータＰの頭部を中心としてモニタ２１ａが円弧状に上下方向に移動するように、モニタ２１ａのモニタチルト角を変化させ且つモニタ２１ａを上下方向に移動させるためのモニタ駆動信号を生成する。

本実施形態において、モニタ制御部２４ａは、水平方向に対するカメラ１２ａの撮像方向の傾斜角度（カメラチルト角）の大きさと、水平方向に対するモニタ２１ａの画面が向く方向の傾斜角度（モニタチルト角）の大きさとが互いに一致するように、カメラチルト角に基づいてモニタチルト角を制御する。すなわち、カメラ１２ａの撮像方向と、モニタ２１ａの画面に垂直な線とが平行となっている。

例えば、図４において実線で示されるカメラ１２ａのように、カメラ１２ａが水平方向を向いている。この場合、モニタ制御部２４ａは、カメラチルト角に基づいて、図５において実線で示されるモニタ２１ａのように、モニタ２１ａの画面がオペレータＰの頭部を向き且つモニタ２１ａをオペレータＰの頭部の高さ位置に位置させるためのモニタ駆動信号を生成する。この場合、図６（ａ）に示されるように、モニタ２１ａには、作業対象物Ｗの上部が映っている。このため、オペレータＰは、モニタ２１ａの傾斜及びモニタ２１ａに表示される画像に基づいて、カメラ１２ａの傾斜度合い（カメラ１２ａが水平方向を向いていること）を容易に把握できる。

また、例えば、図４において破線で示されるカメラ１２ａのように、カメラ１２ａが下方向を向いている。この場合、モニタ制御部２４ａは、カメラチルト角に基づいて、図５において破線で示されるモニタ２１ａのように、モニタ２１ａの画面がオペレータＰの頭部を向き且つモニタ２１ａをオペレータＰの頭部の高さ位置よりも下方の位置に位置させるためのモニタ駆動信号を生成する。すなわち、カメラ１２ａが斜め下方を向き、モニタ２１ａが斜め上方を向いている。この場合、図６（ｂ）に示されるように、モニタ２１ａには、作業対象物Ｗの下部及び地面Ｇが映っている。このため、オペレータＰは、モニタ２１ａの傾斜及びモニタ２１ａに表示される画像に基づいて、カメラ１２ａの傾斜度合い（カメラ１２ａが斜め下方側を向いていること）を容易に把握できる。

傾斜角度取得部２４ｂは、カメラ１２ａの撮像方向の傾斜角度であるカメラ傾斜角度を取得する。ここでは、傾斜角度取得部２４ｂは、カメラ傾斜角度として、操作側通信装置２５が受信したカメラチルト角データ（カメラチルト角）を取得する。

なお、傾斜角度取得部２４ｂは、操作側通信装置２５を介して傾斜角度検出センサ１２ｃによって検出されたカメラ傾斜角度を取得すること以外にも、操作検出部２３によって検出されたカメラ１２ａの向きを操作するための入力操作に基づいてカメラ傾斜角度を取得してもよい。すなわち、傾斜角度取得部２４ｂは、実際のカメラ１２ａの傾斜を検出するのではなく、カメラ１２ａを作動させるための信号をカメラ傾斜角度として取得してもよい。このように、傾斜角度取得部２４ｂは、種々の方法によってカメラ傾斜角度を取得することができる。

操作制御部２４ｃは、操作検出部２３から入力された操作入力部２２の位置データ、及び把持部１１ｂを操作するための入力操作信号に基づいて、マニピュレータ１１を作動させるためのマニピュレータ制御信号を生成する。

ここで、本実施形態においてマニピュレータ装置１は、カメラ１２ａの座標系（以下「カメラ座標系」という）を基準として、マニピュレータ１１の動作を制御する。これにより、オペレータＰは、図７に示されるように、モニタ２１ａに表示された画像（カメラ１２ａの撮像画像）を基準として、マニピュレータ１１（把持部１１ｂ）を上下左右に移動させることができる。すなわち、オペレータＰは、図７のモニタ２１ａ内に示される矢印Ｂ１のように把持部１１ｂを右方向に移動させたい場合、矢印Ａ１で示されるように操作入力部２２を右方向に移動させればよい。

ここで、センサ座標系、及びカメラ座標系について説明する。例えば、図２、図７及び図８に示されるように、操作検出部２３が操作入力部２２の位置を検出するときのセンサ座標系は、Ｘ１軸、Ｙ１軸及びＺ１軸によって構成される３次元の直交座標系を有する。具体的には、例えば、Ｚ１軸は、鉛直方向に沿った軸である。Ｘ１軸は、オペレータＰがマニピュレータ１１を操作するためにモニタ２１ａを向いた状態において、オペレータＰの左右方向に沿った軸である。Ｙ１軸は、Ｘ１軸及びＺ１軸に直交する軸である。また、図７及び図８に示されるように、カメラ座標系は、Ｘ２軸、Ｙ２軸及びＺ２軸によって構成される３次元の直交座標系を有する。具体的には、例えば、Ｙ２軸は、カメラ１２ａの撮像の中心軸である。Ｚ２軸は、例えば、Ｙ２軸が水平方向となるようにカメラ１２ａの向きを調整した場合において、Ｙ２軸に対して直交し且つ鉛直方向に沿った軸である。Ｘ２軸は、Ｙ２軸及びＺ２軸に直交する軸である。

センサ座標系におけるＸ１軸、Ｙ１軸及びＺ１軸は、カメラ座標系におけるＸ２軸、Ｙ２軸及びＺ２軸にそれぞれ対応している。

本実施形態において操作制御部２４ｃは、図７に示されるように、例えば、オペレータＰが操作入力部２２をＸ１軸に沿って移動させた場合、マニピュレータ１１の把持部１１ｂがＸ２軸に沿って移動するようにマニピュレータ制御信号を生成する。操作制御部２４ｃは、図８に示されるように、例えば、オペレータＰが操作入力部２２をＹ１軸に沿って移動させた場合、マニピュレータ１１の把持部１１ｂがＹ２軸に沿って移動するようにマニピュレータ制御信号を生成する。操作制御部２４ｃは、図８に示されるように、例えば、オペレータＰが操作入力部２２をＺ１軸に沿って移動させた場合、マニピュレータ１１の把持部１１ｂがＺ２軸に沿って移動するようにマニピュレータ制御信号を生成する。

このように、操作制御部２４ｃは、カメラ座標系を基準としてマニピュレータ１１（把持部１１ｂ）が移動するようにマニピュレータ制御信号を生成する。

具体的には、例えば、図８に示されるように、カメラ１２ａが斜め下方向を向いている状態において、オペレータＰが矢印Ａ２で示されるように操作入力部２２を鉛直方向（Ｚ１軸）の下方側に移動させた場合、把持部１１ｂは、矢印Ｂ２で示されるようにＺ２軸に沿って斜め下方に移動する。

例えば、図８において矢印Ｂ３で示されるように把持部１１ｂを鉛直方向の下方側に移動させたい場合、オペレータＰは、矢印Ａ３で示されるように鉛直方向の下方且つ前方に向けて操作入力部２２を移動させればよい。ここで、上述したように、カメラチルト角に応じてモニタ２１ａが傾斜している。このため、オペレータＰは、カメラ座標系の傾斜（カメラチルト角）を把握できる。すなわち、オペレータＰは、カメラ座標系とセンサ座標系とのずれを把握できる。従って、オペレータＰは、矢印Ｂ３で示されるように把持部１１ｂを鉛直方向の下方側に移動させる際に、操作入力部２２をどの程度斜め下方向に移動させればよいか（どの程度前方に移動させればよいか）を容易に把握できる。

また、操作制御部２４ｃは、操作検出部２３から入力されたカメラユニット１２を操作するための入力操作信号に基づいて、カメラユニット１２を作動（カメラ１２ａの向き及びズーム動作等）させるためのカメラ制御信号を生成する。

操作制御部２４ｃは、生成したマニピュレータ制御信号及びカメラ信号を操作側通信装置２５へ出力する。これにより、マニピュレータ制御信号及びカメラ信号は、操作側通信装置２５を介してロボットユニット１０へ送信される。

以上のように、このマニピュレータ装置１では、モニタ２１ａのカメラチルト角に応じて、モニタ２１ａのモニタチルト角が制御される。これにより、オペレータＰは、モニタ２１ａを視認することにより、モニタチルト角に基づいてカメラ１２ａの傾斜度合いを容易に把握できる。従って、オペレータは、把握したカメラ１２ａの傾斜度合い（カメラチルト角）を考慮しつつ、マニピュレータ１１の操作を容易に行うことができる。

ここで、例えば、モニタ２１ａの表示画像内に地面Ｇ（床面）が含まれていると、オペレータＰは、オペレータ自身の重力方向と表示画像における地面Ｇの垂直方向とが一致していると認識してしまうことがある。この場合、オペレータＰは、カメラ１２ａの傾斜度合いを考慮せずにオペレータ自身の重力方向に基づいてマニピュレータ１１の操作を行い易くなり、意図した操作を行うことができないことがある。すなわち、例えば図８に示されるように、把持部１１ｂを矢印Ｂ３のように下方側に移動させる際に、オペレータＰは、操作入力部２２を矢印Ａ２のように下方側に移動させてしまうことがある。しかしながら、このような場合であってもモニタ制御部２４ａがモニタチルト角を制御することにより、オペレータＰは、カメラチルト角の傾斜度合いを容易に把握することができる。そして、オペレータＰは、把握したカメラチルト角の傾斜度合いを考慮してマニピュレータ１１（把持部１１ｂ）の上下方向の操作を容易に行うことができる。

モニタ制御部２４ａは、カメラチルト角に基づいて、モニタチルト角に加えてモニタ２１ａの上下方向の位置を制御する。これにより、オペレータＰは、モニタ２１ａを視認することによってカメラチルト角の傾斜度合いをより一層容易に把握でき、マニピュレータ１１の操作を容易に行うことができる。

以上、本発明の実施形態について説明したが、本発明は、上記実施形態に限定されるものではない。例えば、操作検出部２３は、図９に示されるように、モニタ２１ａのフレーム等に固定されていてもよい。すなわち、操作検出部２３は、モニタ２１ａの画面の傾斜角度の変化と共に傾斜可能にモニタ２１ａに取り付けられていてもよい。この場合、モニタ２１ａの傾斜に合わせて操作検出部２３のセンサ座標系Ｔも傾斜する。すなわち、図１０に示されるように、カメラ座標系の傾斜（チルト角）とセンサ座標系の傾斜（チルト角）とが一致する。この場合、オペレータＰは、図１０において矢印Ｂ４で示されるように把持部１１ｂを下方に移動させたい場合、操作入力部２２を矢印Ａ４のように下方に移動させればよい。すなわち、オペレータＰは、上記実施形態のようにカメラ座標系とセンサ座標系とのずれを考慮することなく、マニピュレータ１１を直観的に操作することが可能となり、マニピュレータ１１の操作をより一層容易に行うことができる。

また、操作検出部２３が図９に示されるようにモニタ２１ａに取り付けられていなくても、マニピュレータ装置１は、カメラ座標系とセンサ座標系とを一致させることができる。具体的には、例えば、操作検出部２３は、図２に示されるように、テーブル等に固定されている。この場合、マニピュレータ制御部１３ａは、操作検出部２３によって検出された操作入力部２２の位置をモニタチルト角に基づいて補正して、マニピュレータ１１を駆動させる。すなわち、マニピュレータ制御部１３ａは、カメラ座標系とセンサ座標系とが一致するように、マニピュレータ制御信号を補正してマニピュレータ１１を駆動する。これにより、オペレータＰは、カメラ座標系とセンサ座標系とのずれを考慮することなく、マニピュレータ１１の直観的な操作が可能となり、マニピュレータ１１の操作をより一層容易に行うことができる。

なお、マニピュレータ制御部１３ａは、モニタ制御部２４ａがモニタ２１ａを制御するときの信号をモニタチルト角として取得してもよい。また、図２に示されるように、モニタ２１ａの傾斜角度を検出する傾斜角度検出センサ２６が設けられている場合、マニピュレータ制御部１３ａは、傾斜角度検出センサ２６によって検出されたモニタチルト角を取得してもよい。また、モニタチルト角は、カメラチルト角に応じて制御される。このため、マニピュレータ制御部１３ａは、カメラチルト角を取得し、取得したカメラチルト角に基づいてモニタチルト角を算出してもよい。

また、マニピュレータ装置１は、モニタユニット２１に代えて、図１１に示されるようにマニピュレータ１１のオペレータＰに対して３次元画像を表示するＶＲ（virtual reality）ゴーグル（３次元モニタ）３０を備えていてもよい。ＶＲゴーグル３０は、オペレータＰの目の前に位置するようにオペレータＰの頭部に装着される。この場合、モニタ制御部２４ａは、ＶＲゴーグル３０によって表示される３次元画像を制御すると共にＶＲゴーグル３０によって表示される仮想の３次元空間Ｖ内にカメラ１２ａの撮像画像を表示するモニタ３１を表示させる。モニタ制御部２４ａは、モニタ３１の他に、マニピュレータ１１を操作するための操作メニュー等を仮想の３次元空間Ｖ内に表示させてもよい。

モニタ制御部２４ａは、実施形態におけるモニタ２１ａと同様に、傾斜角度取得部２４ｂで取得されたカメラチルト角に基づいて、仮想の３次元空間Ｖ内におけるモニタ３１のモニタチルト角を制御し且つ上下方向の位置を制御する。なお、図１１では、ＶＲゴーグル３０によってオペレータＰの目の前に提示される仮想の３次元空間Ｖが模式的に示されている。

ＶＲゴーグル３０を用いた場合、操作検出部２３はテーブル等に固定されており、図９を用いて説明した変形例のように操作検出部２３を傾斜させる（センサ座標系を傾斜させる）ことはできない。このため、マニピュレータ制御部１３ａは、操作検出部２３によって検出された操作入力部２２の位置をカメラチルト角に基づいて補正して、マニピュレータ１１を駆動させてもよい。すなわち、マニピュレータ制御部１３ａは、カメラ座標系とセンサ座標系とが一致するように、マニピュレータ制御信号を補正してマニピュレータ１１を駆動してもよい。これにより、オペレータＰは、カメラ座標系とセンサ座標系とのずれを考慮することなく、マニピュレータ１１の直観的な操作が可能となり、マニピュレータ１１の操作をより一層容易に行うことができる。

なお、上記実施形態及び変形例において、傾斜角度取得部２４ｂはカメラ１２ａの撮像方向の傾斜角度として水平方向の傾斜角度（カメラパン角）を取得する。そして、モニタ制御部２４ａは、カメラ１２ａの水平方向の傾斜角度に応じて、モニタ２１ａの画面が向く方向の水平方向の傾斜角度（モニタパン角）を制御してもよい。また、モニタ制御部２４ａは、カメラ１２ａのカメラチルト角及びカメラパン角に応じて、モニタ２１ａのモニタチルト角及びモニタパン角を制御してもよい。これらの場合であっても、オペレータＰは、モニタ２１ａの傾斜角度に基づいてカメラ１２ａの傾斜度合いを容易に把握できる。従って、オペレータＰは、把握したカメラ１２ａの傾斜度合いを考慮しつつ、マニピュレータ１１の操作を容易に行うことができる。

また、モニタ制御部２４ａがモニタ２１ａ（モニタ３１）の上下方向の位置を変化させることは必須ではない。モニタ制御部２４ａは、モニタ２１ａ（モニタ３１）の向きのみを変化させてもよい。

なお、本発明に係るロボット装置は、いわゆるロボットアームとしてのマニピュレータ１１を遠隔操作するマニピュレータ装置１に適用されることに限定されない。ロボット装置は、少なくとも一つ以上の関節（少なくとも２軸以上の軸）を有する種々のロボットを遠隔制御できる。

１ マニピュレータ装置（ロボット装置）
１１ マニピュレータ（ロボット）
１２ａ カメラ
１３ａ マニピュレータ制御部（ロボット制御部）
２１ａ、３１ モニタ
２２ 操作入力部
２３ 操作検出部（位置検出部）
２４ａ モニタ制御部
２４ｂ 傾斜角度取得部
３０ ＶＲゴーグル（３次元モニタ）
Ｖ 仮想の３次元空間

Claims (8)

1. 関節を有するロボットと、
   撮像方向を変更可能であり、前記ロボットによる作業箇所を撮像するカメラと、
   前記カメラの撮像方向の傾斜角度であるカメラ傾斜角度を取得する傾斜角度取得部と、
   前記カメラの撮像画像を表示するモニタと、
   取得された前記カメラ傾斜角度に応じて、前記モニタの画面が向く方向の傾斜角度であるモニタ傾斜角度を制御するモニタ制御部と、を備えるロボット装置。
2. 前記傾斜角度取得部は、前記カメラ傾斜角度として、上下方向における前記カメラの撮像方向の傾斜角度であるカメラチルト角を取得し、
   前記モニタ制御部は、前記モニタ傾斜角度として、上下方向における前記モニタの画面が向く方向の傾斜角度であるモニタチルト角を制御する、請求項１に記載のロボット装置。
3. 前記モニタ制御部は、取得された前記カメラチルト角に基づいて、前記モニタの上下方向の位置を制御する、請求項２に記載のロボット装置。
4. 前記ロボットを操作するために前記ロボットのオペレータによって移動させられる操作入力部と、
   前記オペレータによって移動させられる前記操作入力部の位置を検出する位置検出部と、
   前記位置検出部によって検出された前記操作入力部の位置に基づいて、前記ロボットを駆動させるロボット制御部と、
   を更に備える、請求項１〜３のいずれか一項に記載のロボット装置。
5. 前記位置検出部は、前記モニタの画面の傾斜角度の変化と共に傾斜可能に前記モニタに取り付けられている、請求項４に記載のロボット装置。
6. 前記ロボット制御部は、前記位置検出部によって検出された前記操作入力部の位置を前記モニタ傾斜角度に基づいて補正して、前記ロボットを駆動させる、請求項４に記載のロボット装置。
7. 前記ロボットのオペレータに対して３次元画像を表示する３次元モニタを更に備え、
   前記モニタ制御部は、前記３次元モニタによって表示される前記３次元画像を制御すると共に前記３次元モニタによって表示される仮想の３次元空間内に前記カメラの撮像画像を表示する前記モニタを表示させ、前記カメラ傾斜角度に基づいて前記３次元空間内における前記モニタの前記モニタ傾斜角度を制御する、請求項１〜３のいずれか一項に記載のロボット装置。
8. 前記ロボットを操作するために前記ロボットのオペレータによって移動させられる操作入力部と、
   前記ロボットによって移動させられる前記操作入力部の位置を検出する位置検出部と、
   前記位置検出部によって検出された前記操作入力部の位置に基づいて、前記ロボットを駆動させるロボット制御部と、
   を更に備え、
   前記ロボット制御部は、前記位置検出部によって検出された前記操作入力部の位置を取得された前記カメラ傾斜角度に基づいて補正して、前記ロボットを駆動させる、請求項７に記載のロボット装置。

Images