JP2013094944A - 移動体操作装置 - Google Patents

Abstract

【課題】操作者が、移動体と対象物との距離感を掴みやすい移動体操作装置を提供することを目的としている。
【解決手段】移動体に設けられている撮像装置と、撮像装置の両側に等間隔で設けられている第１光源及び第２光源と、撮像装置で撮像された第１光源及び第２光源により照射された各々の光線を含む領域の画像を表示する画像表示装置と、を備える。
【選択図】図３

Description

本発明は、移動体操作装置に関する。

近年、人が立ち入って直接作業を行えないような環境下では、ロボット等に作業を行わせている。このような環境下では、例えば作業の対象物に関する情報が予め得られていない場合もある。このため、ロボット等の操作者は、カメラが撮像した画像を用いて作業環境を確認しながら、マニュピュレータを遠隔操作して、マニュピュレータに作業を行わせる。
特許文献１に記載の技術では、対象物とマニュピュレータとの位置を、ロボット本体の頭部に相当する位置に取り付けられている光ビームと、光ビームの反射光を検出するカメラを用いて検出していた。特許文献１に記載の技術では、対象物の位置を検出するカメラを２台用いている。

カメラ１台によるシステムでは、ロボットのハンドに内蔵されたレーザー光を対象物に対して照射し、ハンドの外部または内部に設置されたカメラで対象物を撮像する。位置検出装置は、このように、撮像された画像からハンドと対象物との設定位置とのずれ量を算出していた（例えば、特許文献２参照）。

特開平５−１２６５２１号公報 特許第２８０８２７４号公報

しかしながら、特許文献２に記載の技術では、カメラ１台で撮像して対象物とエンドエフェクタとの位置を位置検出装置が検出している。このため、カメラにより撮像された画像を操作者が見ても、エンドエフェクタと対象物との距離感が掴みにくいという課題があった。

本発明は、上記の問題点に鑑みてなされたものであって、操作者が、移動体と対象物との距離感を掴みやすい移動体操作装置を提供することを目的としている。

上記目的を達成するため、本発明の一態様に係る移動体操作装置は、移動体に設けられている撮像装置と、前記撮像装置の両側に等間隔で設けられている第１光源及び第２光源と、前記撮像装置で撮像された前記第１光源及び前記第２光源により照射された各々の光線を含む領域の画像を表示する画像表示装置と、を備えることを特徴としている。
これにより、操作者は、撮像装置により撮像された２つの光線が照射されている画像領域の間隔を確認することで、移動体と対象物との距離間隔を適切に確認することができる。

また、本発明に係る移動体操作装置において、前記移動体は、エンドエフェクタであり、前記撮像装置は、前記エンドエフェクタの中心に設けられ、前記第１光源の光線と前記第２光源の光線とは、互いに非平行であるようにしてもよい。
これにより、操作者は、撮像装置により撮像された２つの光線が照射されている画像領域の間隔を確認することで、エンドエフェクタと対象物との距離間隔を適切に確認することができる。また、２つの光線が照射されている画像領域が、エンドエフェクタと対象物との距離間隔に応じて異なるため、操作者は、エンドエフェクタと対象物との距離間隔を適切に確認することができる。

また、本発明に係る移動体操作装置において、前記第１光源の光線と前記第２光源の光線とは、前記撮像装置の光軸で交わり、前記撮像装置の光軸に対して線対称であるようにしてもよい。
これにより、画像表示装置に表示される第１光源と第２光源との間隔の変化が、移動体と対象物との間隔に応じて大きいため、操作者は、移動体と対象物との距離間隔を適切に確認することができる。

また、本発明に係る移動体操作装置において、前記第１光源の光線と前記撮像装置の光軸とのなす角の角度は、前記撮像装置の画角と光軸とのなす角の角度より大きく、前記第２光源の光線と前記撮像装置の光軸とのなす角の角度は、前記撮像装置の画角と光軸とのなす角の角度より大きいようにしてもよい。
これにより、画像表示装置に表示される第１光源と第２光源との間隔の変化が、移動体と対象物との間隔に応じて大きいため、操作者は、移動体と対象物との距離間隔を適切に確認することができる。

また、本発明に係る移動体操作装置において、前記第１光源と前記第２光源とを制御する制御部を備え、前記制御部は、前記第１光源の光線と前記第２光源の光線とを、前記撮像装置の光軸に対して垂直な面において、平行に照射するように制御するようにしてもよい。
これにより、第１光源と第２光源の光線は、撮像装置の光軸に対して垂直な面において、平行に走査されるため、画像表示装置に表示された２本の光線による画像領域の間隔を確認することで、操作者は、移動体と対象物との距離間隔を適切に確認することができる。

また、本発明に係る移動体操作装置において、前記第１光源と前記第２光源とは、波長、光量、発光状態、及び光線の形状のうち少なくとも１つが異なるようにしてもよい。
これにより、第１光源と第２光源の光線の位置が、観測位置に応じて垂直方向、または水平方向で入れ替わっても、操作者は、画像表示装置に表示される光線の色、形状、明るさの違いにより、操作者は、移動体の姿勢や、移動体の対象物との距離間隔を適切に確認することができる。

また、本発明に係る移動体操作装置において、前記移動体であるエンドエフェクタは、少なくとも２つの長さが等しい凸部を備え、前記第１光源の光線と前記第２光源の光線は、前記２つの凸部が前記エンドエフェクタとは接していない端面を結ぶ平面で交わるようにしてもよい。
これにより、第１光源及び第２光源から照射された光線の位置関係は、移動体であるエンドエフェクタの先端部と対象物との間で、水平方向または垂直方向で入れ替わらないため、操作者は、エンドエフェクタと対象物との距離間隔を適切に確認することができる。

また、本発明に係る移動体操作装置において、前記第１光源の光線と前記第２光源の光線は、前記撮像装置の光軸に対して垂直な面の方向に向けて指向性を有しているようにしてもよい。
これにより、第１光源及び第２光源の光線は、移動体から対象物に向けて直進するため、操作者は、これらの光線が照射された対象物と移動体との距離間隔を適切に確認することができる。

上記目的を達成するため、本発明の一態様に係る移動体操作装置において、脚部の先端に取り付けられている足平であって、前記足平における足裏の中心に設けられている撮像装置と、前記撮像装置の両側に等間隔で設けられている第１光源及び第２光源と、前記撮像装置で撮像された前記第１光源及び前記第２光源により照射された各々の光線を含む領域の画像を表示する画像表示装置と、を備えることを特徴としている。
これにより、操作者は、撮像装置により撮像された２つの光線が照射されている画像領域の間隔を確認することで、足平と接地面、または対象物との距離間隔を適切に確認することができる。

また、本発明に係る移動体操作装置において、前記第１光源の光線と前記第２光源の光線とは、互いに非平行であるようにしてもよい。
これにより、２つの光線が照射されている画像領域が、足平と接地面との距離間隔に応じて異なるため、操作者は、足平と接地面との距離間隔を適切に確認することができる。操作者は、足平と接地面との距離間隔を適切に確認できるため、接地面の凹凸状態を適切に確認することができる。

本発明においては、操作者は、画像表示装置に表示された２つの光源の光線を含む画像により、移動体と対象物との距離感を掴みやすい移動体操作装置を提供できる。

第１実施形態実施形態に係る移動体操作装置１の概略構成を示す斜視図である。 第１実施形態実施形態に係るエンドエフェクタ１２０の断面図と第２撮像装置１２４の画角、及び光源１２５と１２６の光路を説明する図である。 第１実施形態実施形態に係る制御装置２０のブロック図の一例である。 対象物５０ａの三面図である。 第２撮像装置１２４が対象物５０ａを、図２に示したｘ軸の位置ｘ２及び位置ｘ３で撮像したときの画像の一例である。 第１実施形態実施形態に係る第２撮像装置１２４の光軸と光源１２５の光線のなす角がβ１の場合の画角と光源１２５の光線との関係を説明する図である。 第１実施形態実施形態に係る第２撮像装置１２４の光軸と光源１２５の光線のなす角がβ２の場合の画角と光源１２５の光線との関係を説明する図である。 図６Ａにおける画角と光源１２５の光線との関係の場合の画像データの一例を説明する図である。 図６Ｂにおける画角と光源１２５の光線との関係の場合の画像データの一例を説明する図である。 第１実施形態に係る移動体操作装置１の操作手順のフローチャートである。 第２実施形態に係る第２撮像装置１２４の画角と光源１２５の光線との関係を説明する図である。 第２実施形態に係る画像表示装置４０に表示される画像の一例を説明する図である。 第３実施形態に係るエンドエフェクタ１２ｄの平面図である。 第３実施形態に係る画像表示装置４０に表示される画像の一例を説明する図である。 第３実施形態に係る移動体操作装置１ａの操作手順のフローチャートである。 第４実施形態に係る画像表示装置４０に表示される画像の一例を説明する図である。 第４実施形態に係るエンドエフェクタ１２０ｅの断面図である。 第４実施形態に係る３つの光源による第１の画像の一例を説明する図である。 第４実施形態に係る３つの光源による第２の画像の一例を説明する図である。 光源をミラーで反射させて照射させるエンドエフェクタ１２０ｈの断面図と光線を説明する図である。

まず、本発明の概要について説明する。
本発明では、移動体は、撮像装置と、該撮像装置の両側に２つの発光部を備えている。なお、移動体とは、車両、人型ロボット、腕型のマニュピュレータ、脚型のマニュピュレータ、腕型のマニュピュレータの先端に取り付けられているエンドエフェクタ、及び脚型のマニュピュレータの先端に取り付けられているエンドエフェクタ(例えば足平)等である。そして、この移動体に取り付けられている２つの発光部が、対象物に対してレーザー光を照射し、対象物に発光部が照射された画像を撮像装置で撮像する。操作者は、このように移動体に取り付けられている２つの発光部の光線を含む画像を確認することで、対象物と移動体との距離間隔を容易に知覚することができる。

以下、図面を用いて、本発明の実施形態について説明する。

［第１実施形態］
第１実施形態では、移動体は、腕型のマニュピュレータの先端に取り付けられているエンドエフェクタ（手先効果器）であって、エンドエフェクタが第２撮像装置及び２つの光源を備える。第２撮像装置が撮像した、この２つの光源から照射された光線の軌跡を含む画像を画像表示装置で見ることで、操作者は、エンドエフェクタと対象物の距離間隔等を確認する。

図１は、本実施形態に係る移動体操作装置１の概略構成を示す斜視図である。
図１に示すように、移動体操作装置１は、ロボット１０、制御装置２０、操作部３０、及び画像表示装置４０を備えている。
図１に示すように、ロボット１０は、移動部１０１、回転部１０２、第１リンク１０３、旋回部１０４、第２リンク１０５、旋回部１０６、第３リンク１０７、回転部１０８、第４リンク１０９、旋回部１１０、エンドエフェクタ１２０（移動体）、及び第１撮像装置１５０を備えている。
なお、本発明では、図１に示したような操作者が操作部３０等から操作するロボット１０をマニュピュレータと称する。図１に示した例では、ロボット１０は、アームであり、アームの先端にエンドエフェクタ１２０が取り付けられている。

ロボット１０は、制御装置２０の制御により動作する。また、対象物５０は、例えば建物（図示せず）の床面にある。

移動部１０１は、例えば、移動可能な台車である。
ロボット１０は、移動部１０１、第１リンク１０３、第２リンク１０５、第３リンク１０７、第４リンク１０９、及びエンドエフェクタ１２０がこの順に連結されたものである。
回転部１０２は、移動部１０１と第１リンク１０３との間に設けられている。旋回部１０４は、第１リンク１０３と第２リンク１０５との間に設けられている。旋回部１０６は、第２リンク１０５と第３リンク１０７との間に設けられている。回転部１０８は、第３リンク１０７と第４リンク１０９との間に設けられている。旋回部１１０は、第４リンク１０９とエンドエフェクタ１２０との間に設けられている。

ロボット１０は、５自由度を有する多関節型マニュピュレータである。このため、エンドエフェクタ１２０は、これらの各軸の回転部と屈折部の動作により、移動する。なお、本実施形態では、５自由度を有する多関節型マニュピュレータの例を説明したが、本実施形態のエンドエフェクタ１２０を、例えば、スカラーロボットが備えるようにしてもよい。または、本実施形態のエンドエフェクタ１２０を、６自由度、７自由度、または１０自由度を有する多関節型マニュピュレータが備えるようにしても、本実施形態と同様の効果が得られる。

旋回部１０４、１０６及び１１０と、回転部１０２、及び１０８は、図示しない各々エンコーダを備えている。例えば、旋回部１０６が備えるエンコーダは、回転角度、速度を検出し、検出した回転角度および速度を示す情報を制御装置２０に出力する。
エンコーダは、例えば光学式エンコーダであり、アブソリュート（絶対値）エンコーダまたはインクリメンタル（相対値）エンコーダである。

第１撮像装置１５０は、エンドエフェクタ１２０の上部に取り付けられている。第１撮像装置１５０は、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）カメラ、またはＣＭＯＳ（相補型金属酸化膜半導体）カメラである。第１撮像装置１５０は、対象物５０を撮影し、撮影した画像データを制御装置２０に出力する。

制御装置２０は、ロボット１０を制御する。制御装置２０は、第１撮像装置１５０が出力した画像データを、画像表示装置４０に出力する。制御装置２０は、後述するエンドエフェクタ１２０が備える発光部の発光状態と走査を制御する。制御装置２０は、後述するエンドエフェクタ１２０が備える第２撮像装置が出力した画像データを記憶し、記憶した画像データを画像表示装置４０に出力する。
操作者は、画像表示装置４０に表示された画像を見ながら、ロボット１０を制御装置２０に接続されている操作部３０を用いて遠隔操作する。

次に、エンドエフェクタ１２０について、図２を用いて説明する。
図２は、本実施形態に係るエンドエフェクタ１２０の断面図と第２撮像装置１２４の画角、及び第１光源１２５−１と第２光源１２５−２の光路を説明する図である。
図２において、第２撮像装置１２４の光軸方向をｘ軸方向とし、ｘ軸方向と垂直な方向をｙ軸方向とし、奥行き方向をｚ軸方向とする。

まず、エンドエフェクタ１２０の構成について説明する。
図２に示すように、エンドエフェクタ１２０は、基部１２１、第１凸部１２２−１及び第２凸部１２２−２から構成されている。エンドエフェクタ１２０は、第２撮像装置１２４（撮像装置）、第１光源１２５−１及び第２光源１２５−２を備えている。以下、第１光源１２５−１及び第２光源１２５−２を総称して、光源１２５と称する。また、第１凸部１２２−１及び第２凸部１２２−２を総称して、凸部１２２と称する。

凸部１２２は、制御装置２０の制御により、対象物５０が例えば配管の弁の場合、弁を回転させるように制御される。このため、凸部１２２は、例えば、対象物５０の形状に合わせた形状に形成されている。また、図２に示した例では、第１凸部１２２−１と第２凸部１２２−２のｘ軸方向の長さは等しい。このため、第１凸部１２２−１と第２凸部１２２−２が、基部１２１と接していない端面のｘ軸方向の位置は同じである。
第２撮像装置１２４は、ｙ軸方向における第１凸部１２２−１と第２凸部１２２−２との中心の基部１２１に設けられている。なお、エンドエフェクタ１２０における中心とは、基部１２１において、第１凸部１２２−１と第２凸部１２２−２とに囲まれた領域内である。
第１光源１２５−１は、第１凸部１２２−１と第２撮像装置１２４との間に設けられている。
第２光源１２５−２は、第２凸部１２２−２と第２撮像装置１２４との間に設けられている。第１光源１２５−１及び第２光源１２５−２は、例えば半導体レーザーである。また、第１光源１２５−１及び第２光源１２５−２は、例えば、対象物に向かって指向性を有している光源である。
また、図２に示すように、第１光源１２５−１と第２撮像装置１２４のｙ軸方向の間隔はｄであり、第２光源１２５−２と第２撮像装置１２４のｙ軸方向の間隔はｄである。すなわち、第１光源１２５−１と第２光源１２５−２とは、第２撮像装置１２４の両側に等間隔で設けられている。

次に、第２撮像装置１２４の画角、及び光源１２５の光路を説明する
図２において、破線ｃ１は、第２撮像装置１２４の光軸を表し、破線ｃ２１及びｃ２２は、第２撮像装置１２４の画角を表している。また、実線ｃ１１は、第１光源１２５−１の光線を表し、実線ｃ１２は、第２光源１２５−２の光線を表している。
図２に示すように、第２撮像装置１２４の画角は、光軸ｃ１に対して、なす角は各々角度αである。光線ｃ１１と光軸ｃ１とのなす角、及び光線ｃ１２と光軸ｃ１とのなす角は、各々角度βである。
図２の例では、光線ｃ１１と光軸ｃ１とのなす角の角度βは、画角を表す破線ｃ２１と光軸ｃ１とのなす角の角度αより大きい。同様に、光線ｃ１２と光軸ｃ１とのなす角の角度βは、画角を表す破線ｃ２２と光軸ｃ１とのなす角の角度αより大きい。
また、図２に示すように、光線ｃ１１とｃ１２とは、第１凸部１２２−１及び第２凸部１２２−２のｘ軸方向の基部１２１に接していない端面を含む平面を結んだ位置ｘ１で交差している。すなわち、光線ｃ１１及びｃ１２は、第２撮像装置１２４の光軸ｃ１に対して線対称である。
後述するように、操作者は、例えば、ｘ軸方向の位置ｘ２、及びｘ３において光源１２５を対象物５０に照射することにより、対象物５０とエンドエフェクタ１２０の位置関係を画像表示装置４０に表示された画像に基づいて確認する。

次に、制御装置２０の構成について、図３を用いて説明する。
図３は、本実施形態に係る制御装置２０のブロック図の一例である。
図３に示すように、制御装置２０は、制御部２０１、駆動部２０２、画像取得部２０３、画像表示部２０４、レーザー駆動部２０５、及び画像記憶部２０６を備えている。

制御部２０１は、操作部３０からの指示に基づいて、ロボット１０（移動体）の各部（含むエンドエフェクタ１２０）を制御する情報を駆動部２０２に出力する。制御部２０１は、操作部３０からの指示に基づいて、光源１２５の発光状態を制御する情報をレーザー駆動部２０５に出力する。制御部２０１は、操作部３０からの指示に基づいて、第１画像取得部２３１または第２画像取得部２３２が画像を取得するように切り替える情報を画像取得部２０３に出力する。制御部２０１は、光源１２５を照射しながら操作する場合、後述する画像上における水平方向の位置を画像取得部２０３に出力する。

駆動部２０２は、制御部２０１が出力するロボット１０を制御する情報に基づいて、ロボット１０の移動部１０１、各リンク（１０３、１０５、１０７、１０９）、旋回部（１０４、１０６、１１０）、回転部（１０２、１０８）、及びエンドエフェクタ１２０を駆動する。

画像取得部２０３は、第１画像取得部２３１及び第２画像取得部２３２を備えている。画像取得部２０３は、制御部２０１が出力する第１画像取得部２３１または第２画像取得部２３２が画像を取得するように切り替える情報に基づいて、第１画像取得部２３１または第２画像取得部２３２が画像を取得するように切り替える。
第１画像取得部２３１は、第１撮像装置１５０から出力された第１画像データを取得し、取得した第１画像データを画像表示部２０４に出力する。
第２画像取得部２３２は、第２撮像装置１２４から出力された第２画像データと、制御部２０１が出力する画像上における水平方向の位置を取得する。第２画像取得部２３２は、取得した第２画像データと取得した撮像された画像（以下、撮像画像という）における水平方向の位置とを関連付けて画像記憶部２０６に記憶させる。

画像表示部２０４は、第１画像取得部２３１が出力した第１画像データを画像表示装置４０に出力する。画像表示部２０４は、画像記憶部２０６に記憶されている第２画像データを１走査分読み出し、読み出した１走査分の画像データを合成する。画像表示部２０４は、合成した１走査分の画像データを画像表示装置４０に出力する。なお、１走査分の画像データとは、後述するように、例えば、撮像画像において、光源１２５を画像の水平方向へ１走査した画像データである。

レーザー駆動部２０５は、制御部２０１が出力する光源１２５を制御する情報に基づいて、光源１２５の発光状態を制御する。発光状態とは、光源が照射されている状態、光源が照射していない状態、光源の強度の状態などである。また、レーザー駆動部２０５は、制御部２０１が出力する光源１２５を制御する情報に基づいて、光源１２５が照射する光線を例えば、撮像画像において水平方向に走査するように駆動する。

画像記憶部２０６には、第２画像データと撮像画像における水平方向の位置とが関連付けられて記憶されている。

次に、エンドエフェクタ１２０の第２撮像装置１２４が撮像した第２画像データについて、図２、図４及び図５を用いて説明する。
図４は、対象物５０ａの三面図である。
図４に示しように、対象物５０ａは、縦が長さＬであり、横が長さＷであり、最大の高さがＨである。高さが最大であるのは、縦の長さが２／Ｌの位置である。縦方向は、図２に示したｙ軸方向に対応し、横方向は、図２に示したｚ軸方向に対応している。

図５は、第２撮像装置１２４が対象物５０ａを、図２に示したｘ軸の位置ｘ２及び位置ｘ３で撮像したときの画像の一例である。図５において、画像の水平方向がｚ軸方向であり、垂直方向がｙ軸方向である。
図５において、符号３００は、画像表示装置４０に表示される画像である。画像３００において、符号３０１は、撮像された対象物５０ａの画像を表し、符号３０２は、撮像された背景の画像を表している。また、画像３００は、エンドエフェクタ１２０に取り付けられている光源１２５の各光線を、制御部２０１がｚ軸方向のｚ１からｚ４に向けて走査した後の画像である。
図５に示すように、画像３００内において、対象物５０ａの画像３０１は、ｙ軸方向のｙ１からｙ３の間、ｚ軸方向のｚ２からｚ３の間に表示されている。

まず、図２のｚ軸方向の位置ｘ３で撮像された画像について説明する。位置ｘ３で撮像された画像３００には、対象物５０ａの画像３０１、背景の画像３０２、第１光源１２５−１が照射した光線の軌跡による画像領域（以下、第１光源１２５−１による画像領域という）３２１ａ、３２１ｂ、３２１ｃ、第２光源１２５−２が照射した光線の軌跡による画像領域（以下、第２光源１２５−１による画像領域という）３１１ａ、３１１ｂ、３１１ｃを含んでいる。また、画像領域３１１ａ及び３１１ｂと、画像領域３１１ｃとは、ｙ軸方向において、長さΔｙ１ずれている。同様に、画像領域３２１ａ及び３２１ｂと、画像領域３２１ｃとは、ｙ軸方向において、長さΔｙ１ずれている。
このように、画像領域３２１ａ、３２１ｂ、３２１ｃが不連続なのは、対象物５０ａと背景とに高さの差が生じているためである。

次に、図２のｚ軸方向の位置ｘ２で撮像された画像について説明する。位置ｘ２で撮像された画像３００には、対象物５０ａの画像３０１、背景の画像３０２、第１光源１２５−１による画像領域３４１ａ、３４１ｂ、３４１ｃ、第２光源１２５−２による画像領域３３１ａ、３３１ｂ、３３１ｃを含んでいる。また、画像領域３３１ａ及び３３１ｂと、画像領域３３１ｃとは、ｙ軸方向において、長さΔｙ２ずれている。同様に、画像領域３４１ａ及び３４１ｂと、画像領域３４１ｃとは、ｙ軸方向において、長さΔｙ２ずれている。

図５に示したように、画像３００上の光源１２５の光線による画像領域は、対象物５０ａとエンドエフェクタ１２０との間隔に応じて、変化する。
具体的には、ｚ軸の位置ｘ３で撮像された画像において、背景の画像３０２上の第１光源１２５−１による画像領域３２１ａ及び３２１ｂに対して、対象物５０ａの画像３０１上の第１光源１２５−１による画像領域３２１ｃは、長さΔｙ１だけ、ｙ軸の正方向に表示される。同様に、ｚ軸の位置ｘ３で撮像された画像において、背景の画像３０２上の第２光源１２５−２による画像領域３１１ａ及び３１１ｂに対して、対象物５０ａの画像３０１上の第２光源１２５−２による画像領域３１１ｃは、長さΔｙ１だけ、ｙ軸の負方向に表示される。
また、ｚ軸の位置ｘ２で撮像された画像において、背景の画像３０２上の第１光源１２５−１による画像領域３４１ａ及び３４１ｂに対して、対象物５０ａの画像３０１上の第１光源１２５−１による画像領域３４１ｃは、長さΔｙ２だけ、ｙ軸の正方向に表示される。同様に、ｚ軸の位置ｘ２で撮像された画像において、背景の画像３０２上の第２光源１２５−２による画像領域３３１ａ及び３３１ｂに対して、対象物５０ａの画像３０１上の第２光源１２５−２による画像領域３３１ｃは、長さΔｙ２だけ、ｙ軸の負方向に表示される。
この場合、ｙ軸方向の光源１２５の画像位置のずれ量Δｙ２は、Δｙ１より大きい。

すなわち、対象物５０ａが最大の高さＨを有しているため、エンドエフェクタ１２０と対象物５０ａとの距離に応じて、背景の画像３０２上に写る光源１２５のｙ軸方向の位置と、対象物５０ａの画像３０１に写る光源１２５のｙ軸方向の位置とのずれ量Δｙが変化する。操作者は、このずれ量を、画像表示装置４０で確認することで、エンドエフェクタ１２０が対象物５０ａに近づいているのか遠ざかっているのかを容易に確認することができる。
具体的には、図２のｘ軸方向の位置ｘ３で撮像した後、位置ｘ２で撮像した画像が画像表示装置４０に表示された場合、図５に示したように、操作者には、矢印３５１のように、対象物５０ａの画像３０１が、ｙ軸のｙ３からｙ２に向かって高くなっているように見える。同様に、操作者には、矢印３５２のように、対象物５０ａの画像３０１が、ｙ軸のｙ１からｙ２に向かって高くなっているように見える。この結果、操作者は、対象物５０ａが、図４に示したような形状であることも画像３００から確認することができる。

次に、第２撮像装置１２４の画角と、光源１２５の光軸に対するなす角の関係について、図６Ａ、図６Ｂ、図７、及び図８を用いて説明する。なお、図７及び図８は、表面の高さが均等な対象物に光源１２５を照射したときに、第２撮像装置１２４が撮像した画像である。
図６Ａは、本実施形態に係る第２撮像装置１２４の光軸と光源１２５の光線のなす角がβ１の場合の画角と光源１２５の光線との関係を説明する図である。図６Ｂは、本実施形態に係る第２撮像装置１２４の光軸と光源１２５の光線のなす角がβ２の場合の画角と光源１２５の光線との関係を説明する図である。図７は、図６Ａにおける画角と光源１２５の光線との関係の場合の画像データの一例を説明する図である。図８は、図６Ｂにおける画角と光源１２５の光線との関係の場合の画像データの一例を説明する図である。

図６Ａ及び図６Ｂにおいて、図２と同様に、第２撮像装置１２４の画角は２αであり、第２撮像装置１２４の光軸ｃ１に対して、なす角は各々角度αである。また、図６Ａ及び図６Ｂにおいて、第２撮像装置１２４の光軸方向をｘ軸方向とし、ｘ軸方向と垂直な方向をｙ軸方向とする。また、図６Ａ及び図６Ｂに示すように、第１光源１２５−１ａの光線ｃ１１ａと、第２光源１２５−２ａの光線ｃ１２ａとは、ｘ軸方向の位置ｘ１１で交差している。

図６Ａに示すように、エンドエフェクタ１２０ａにおいて、第２撮像装置１２４と第１光源１２５−１ａ（または第２光源１２５−２ａ）とは、ｙ軸方向に距離ｄ１離れて配置されている。また、第１光源１２５−１ａ（または第２光源１２５−２ａ）の光線ｃ１１ａ（またはｃ１２ａ）と第２撮像装置１２４の光軸ｃ１とのなす角はβ１である。なお、なす角β１は、光軸ｃ１と画角とのなす角αより大きい。

図６Ｂに示すように、エンドエフェクタ１２０ｂにおいて、第２撮像装置１２４と第１光源１２５−１ｂ（または第２光源１２５−２ｂ）とは、ｙ軸方向に距離ｄ２離れて配置されている。この間隔ｄ２は、図６Ａに示した間隔ｄ１より短い。また、第１光源１２５−１ｂ（または第２光源１２５−２ｂ）の光線ｃ１１ｂ（またはｃ１２ｂ）と第２撮像装置１２４の光軸ｃ１とのなす角はβ２である。なお、なす角β２は、光軸ｃ１と画角とのなす角αとほぼ等しい。また、なす角β２は、図６Ａに示したなす角β１より小さい。すなわち、第１光源１２５−１ｂの光線ｃ１１ｂと画角を示す破線ｃ２１とはほぼ平行である。同様に、第２光源１２５−２ｂの光線ｃ１２ｂと画角を示す破線ｃ２２とはほぼ平行である。

次に、図６Ａのｘ軸方向の位置ｘ１２及びｘ１３において、第２撮像装置１２４が撮像した画像について図７を用いて説明する。
図７においては、図５と同様に、画像３００ａの水平方向をｚ軸方向とし、画像３００ａの垂直方向をｙ軸方向とする。
図７において、画像領域３１１ｄ及び３２２ｄは、図６Ａにおけるｘ軸方向の位置ｘ１３において第２撮像装置１２４により撮像された画像領域である。また、図７において、画像領域３３１ｄ及び３４２ｄは、図６Ａにおけるｘ軸方向の位置ｘ１２において第２撮像装置１２４により撮像された画像領域である。

図７に示すように、位置ｘ１３で撮像された光源１２５による画像領域３１１ｄと３２２ｄとのｙ軸方向の間隔はｈ１である。また、位置ｘ１２で撮像された光源１２５による画像領域３３１ｄと３４１ｄとのｙ軸方向の間隔はｈ２である。間隔ｈ１は、間隔ｈ２より十分大きい。すなわち、間隔ｈ１と間隔ｈ２との差は大きい。このため、図７に示したような画像が画像表示装置４０上に表示された場合、操作者は、エンドエフェクタ１２０が対象物に対して近づいているのか遠ざかっているのかを、間隔の変化により確認しやすい。具体的には、図６Ａ及び図７に示したように、光源１２５による画像領域３１１ｄと３２２ｄの間隔が広がった場合、エンドエフェクタ１２０は対象物から遠ざかっていると、操作者は知覚する。逆に、光源１２５の光線による画像領域３３１ｄと３４１ｄの間隔が狭まった場合、エンドエフェクタ１２０は対象物から近づいていると、操作者は知覚する。

次に、図６Ｂのｘ軸方向の位置ｘ１２及びｘ１３において、第２撮像装置１２４が撮像した画像について図８を用いて説明する。
図８において、図５と同様に、画像３００ｂの水平方向をｚ軸方向とし、画像３００ｂの垂直方向をｙ軸方向とする。
図８において、画像領域３１１ｅ及び３２２ｅは、図６Ｂにおけるｘ軸方向の位置ｘ１３において第２撮像装置１２４により撮像された画像である。また、図８において、画像領域３３１ｅ及び３４２ｅは、図６Ｂにおけるｘ軸方向の位置ｘ１２において第２撮像装置１２４により撮像された画像である。
図８に示すように、位置ｘ１３で撮像された光源１２５による画像領域３１１ｄｅと３２２ｅとのｙ軸方向の間隔はｈ３である。また、位置ｘ１２で撮像された光源１２５による画像領域３３１ｅと３４１ｅとのｙ軸方向の間隔はｈ４である。間隔ｈ３と間隔ｈ４との差は少ない。このため、図８に示したように、操作者は、画像表示装置４０上で、エンドエフェクタ１２０が対象物に対して近づいているのか遠ざかっているのかを、光源１２５による画像の間隔の変化により知覚しにくい。

図６Ａ、図６Ｂ、図７、及び図８を用いて説明したように、第２撮像装置１２４の光軸ｃ１に対する画角のなす角と、光源１２５と光軸ｃ１に対する画角のなす角とは離れている方が、エンドエフェクタ１２０と対象物との距離感を画像表示装置４０の画像により操作者が確認しやすい効果がある。

次に、移動体操作装置１の操作手順の一例を、図９を用いて説明する。
図９は、本実施形態に係る移動体操作装置１の操作手順のフローチャートである。
（ステップＳ１）操作者は、第１撮像装置１５０が撮像した画像を画像表示装置４０に表示するように操作部３０を操作して切り替える。ステップＳ１終了後、ステップＳ２に進む。

（ステップＳ２）操作者は、画像表示装置４０に表示された第１撮像装置１５０が撮像した画像を見ながら、ロボット１０を対象物５０に近づけるように操作部３０を操作する。次に、制御装置２０は、操作部３０からの指示に基づいて、移動部１０１を駆動してロボット１０を対象物５０に近づけるように制御する。ステップＳ２終了後、ステップＳ３に進む。

（ステップＳ３）操作者は、画像表示装置４０上の画像を確認しながら、ロボット１０が対象物５０に近づいたか判断する。ロボット１０が対象物５０に近づいたと判断した場合（ステップＳ３；Ｙｅｓ）、ステップＳ４に進む。
ロボット１０が対象物５０に近づいていないと判断した場合、操作者は、ステップＳ２とＳ３の操作を繰り返す。

（ステップＳ４）操作者は、操作部３０を操作して、ロボット１０を停止させる。ステップＳ４終了後、ステップＳ５に進む。

（ステップＳ５）操作者は、画像表示装置４０上の画像を確認しながら、エンドエフェクタ１２０を対象物５０に向ける。ステップＳ５終了後、ステップＳ６に進む。
（ステップＳ６）操作者は、第２撮像装置１２４が撮像した画像を画像表示装置４０に表示するように操作部３０を操作して切り替える。ステップＳ６終了後、ステップＳ７に進む。

（ステップＳ７）操作者は、画像表示装置４０に表示された第２撮像装置１２４が撮像した画像を見ながら、エンドエフェクタ１２０を対象物５０に近づけるように操作部３０を操作する。次に、制御装置２０は、操作部３０からの指示に基づいて、ロボット１０の各部（リンク、回転部、及び屈折部）を駆動してエンドエフェクタ１２０を対象物５０に近づけるように制御する。この場合、制御装置２０は、エンドエフェクタ１２０を、予め定められている間隔、例えば５［ｃｍ］間隔で移動させる。具体的には、制御装置２０は、図２に示したｘ軸方向の位置ｘ３に対象物５０が位置するように制御する。ステップＳ７終了後、ステップＳ８に進む。

（ステップＳ８）制御装置２０は、位置ｘ３において、エンドエフェクタ１２０に取り付けられている光源１２５を発光させ、例えば第２撮像装置１２４における水平方向の画像範囲で光源１２５の光線を第２撮像装置１２４の画像の水平方向に走査する。具体的には、図５に示したように、制御装置２０は、光源１２５の光線をｚ軸方向の位置ｚ１からｚ４に向けて走査するように制御する。
次に、制御装置２０は、光源１２５の走査完了後、画像記憶部２０６に記憶されている画像を１走査分だけ合成した位置ｘ３の画像を、画像表示装置４０に出力する。ステップＳ８終了後、ステップＳ９に進む。

（ステップＳ９）操作者は、画像表示装置４０に表示された第２撮像装置１２４が撮像した画像を見ながら、エンドエフェクタ１２０を対象物５０に近づけるように操作部を介して操作する。操作者は、エンドエフェクタ１２０が、目標位置に達したと判断するまで、ステップＳ７からＳ９を繰り返す。エンドエフェクタ１２０が目標位置に達したと判断した場合（ステップＳ９；Ｙｅｓ）、ステップＳ１０に進む。

（ステップＳ１０）操作者は、エンドエフェクタ１２０を操作して、所定の作業を行う。なお、所定の作業とは、例えば、配管の弁を開ける作業、弁を閉じる作業、部品を取る付ける作業、部品を取り外す作業、異物を取り除く作業、サンプルを取得する作業等である。
以上で、移動体操作装置１の操作を終了する。

以上のように、本実施形態では、エンドエフェクタ１２０の基部１２１の中心に第２撮像装置１２４を設けた。そして、この第２撮像装置１２４の両側に２つの光源１２５を設けた。そして、第２撮像装置１２４の光軸と画角とのなす角αと、第２撮像装置の光軸と光源１２５の光線とのなす角βとを異なるように設定した。また、２つの光源１２５の光線を、エンドエフェクタ１２０の凸部１２２の基部１２１とは接していない端面を含む平面で交差するようにした。
この結果、第２撮像装置１２４が撮像した画像において、２つの光源１２５による画像の変化を確認することで、操作者は、エンドエフェクタ１２０と対象物５０との距離間隔を容易に確認することができる。

［第２実施形態］
第１実施形態では、光源１２５の光線の交点を、エンドエフェクタ１２０の凸部１２２の基部１２１とは接していない一端を結ぶ位置になるように構成した例を説明した。本実施形態では、光源１２５の光線の交点が、エンドエフェクタ１２０の凸部１２２の基部１２１とは接していない一端を結ぶ位置以外に構成した例を説明する。
図１０は、本実施形態に係る第２撮像装置１２４の画角と光源１２５の光線との関係を説明する図である。図１１は、本実施形態に係る画像表示装置４０に表示される画像の一例を説明する図である。図１０において、第２撮像装置１２４の光軸方向をｘ軸方向とし、ｘ軸に垂直な方向をｙ軸方向とする。図１１において、画面の水平方向をｚ軸方向とし、垂直方向をｙ軸方向とする。

図１０において、第１実施形態の図２と同様に第２撮像装置１２４の画角は２αである。一方、第１光源１２５−１ｃの光線ｃ３０１と、第２発光部の光線ｃ３０２の交点は、凸部の基部１２１とは接していない一端を結ぶ位置ｘ２１ではなく、位置ｘ２１よりｘ軸の正方向の位置ｘ２３に設定されている。
図１１に示すように、位置ｘ２１と位置ｘ２３との間の位置ｘ２２で撮像した場合、画像表示装置４０に表示される画像３００ｃにおいて、画像領域４０１が第１光源１２５−１ｃの光線ｃ３０１の軌跡に対応し、画像領域４０２が第２光源１２５−２ｃの光線ｃ３０２の軌跡に対応する。
次に、交点の位置ｘ２３より離れている位置ｘ２４で撮像した場合、画像表示装置４０に表示される画像３００ｃにおいて、画像領域４０１が第２光源１２５−２ｃの光線ｃ３０２の軌跡に対応し、画像領域４０２が第１光源１２５−１ｃの光線ｃ３０１の軌跡に対応する。
すなわち、撮像する位置が交点の位置ｘ２３より手前の位置か、離れている位置かによって、画像表示装置４０に表示される第１光源１２５−１ｃの光線ｃ３０１に対応する画像領域と、第２光源１２５−２の光線に対応する画像領域との位置関係が入れ替わってしまう。この結果、操作者は、エンドエフェクタ１２０ｃが目的の位置に近づいているのか遠ざかっているのか知覚しづらくなる。

このため、本実施形態に係るエンドエフェクタ１２０ｃでは、第１光源１２５−１ｃの波長と第２光源１２５−２ｃの波長が異なるように構成する。例えば、第１光源１２５−１ｃの波長は、６６０［ｎｍ］であり、第２光源１２５−２ｃの波長は、５３０［ｎｍ］である。第１光源１２５−１ｃと第２光源１２５−２ｃとの各波長は、人が異なる色であると識別できる波長の組み合わせであればよい。

以上のように、本実施形態では、エンドエフェクタ１２０ｃが備える第１光源１２５−１ｃと第２光源１２５−２ｃとの発光状態である波長を異なるようにした。この結果、操作者は、画像表示装置４０上に映し出された画像により、エンドエフェクタ１２０ｃが、目的の位置に近づいているのか遠ざかっているのか適切に確認できる。

なお、本実施形態では、第１光源１２５−１ｃと第２光源１２５−２ｃの発光状態を異なる状態とするため、波長を異なるようにしたが、これに限られない。例えば、第１光源１２５−１ｃと第２光源１２５−２ｃの発光強度を異なるようにしてもよい。または、第１光源１２５−１ｃと第２光源１２５−２ｃのスポットサイズを異なるように発光させるようにしてもよい。または、制御装置２０は、第１光源１２５−１ｃを連続発光するように制御し、第２光源１２５−２ｃによる画像を画像表示装置４０で走査者が見た時に、点線または破線となるような発光状態に制御するようにしてもよい。すなわち、第１光源１２５−１ｃと第２光源１２５−２ｃの発光状態を、画像表示装置４０上で見た時に、操作者が、異なる状態と知覚できる状態であればよい。

なお、本実施形態では、第１光源及び第２光源を、ｚ軸の正方向に走査する例を説明したが、ｚ軸の負方向に走査するようにしてもよい。

［第３実施形態］
第１実施形態及び第２実施形態では、エンドエフェクタが光源を２つ備える例を説明した。次に、本実施形態では、エンドエフェクタが３個以上の光源を備える例を説明する。

図１２は、本実施形態に係るエンドエフェクタ１２０ｄの平面図である。図１２において、横方向をｚ軸方向とし、縦方向をｙ軸方向とする。
図１２に示すように、第２撮像装置１２４は、エンドエフェクタ１２０ｄの基部１２１ｄの中心に配置されている。第１光源１２５−１ｄは、第２撮像装置１２４に対してｙ軸の正方向に距離ｄ３離れて配置されている。第２光源１２５−２ｄは、第２撮像装置１２４に対してｙ軸の負方向に距離ｄ３離れて配置されている。
さらに、第３光源１２５−３ｄは、第２撮像装置１２４に対してｚ軸の負方向に距離ｄ４離れて配置されている。第４光源１２５−４ｄは、第２撮像装置１２４に対してｚ軸の正方向に距離ｄ４離れて配置されている。

図１３は、本実施形態に係る画像表示装置４０に表示される画像の一例を説明する図である。図１３において、画面の水平方向をｚ軸方向とし、垂直方向をｙ軸方向とする。また、図１３において、画像領域４０１及び４０２は、第１及び第２光源による画像領域であり、画像領域４１１及び４１２は、第３及び第４光源による画像領域である。
まず、図１３に示した画像３００ｄが表示されるまでに、制御装置２０が行う処理手順を、図１４を用いて説明する。
図１４は、第３実施形態に係る移動体操作装置１ａの操作手順のフローチャートである。

制御装置２０は、第１実施形態で説明したステップＳ１からＳ６までの処理を同様に行う。なお、以下の各処理は、各々操作者が操作部３０から行った操作に基づいて行われる。
（ステップＳ１０１）制御装置２０は、エンドエフェクタ１２０ｄを所望の位置に移動させる。ステップＳ１０１終了後、ステップＳ１０２に進む。
（ステップＳ１０２）制御装置２０は、第１光源１２５−１ｄ及び第２光源１２５−２ｄの照射を開始する。次に、制御装置２０は、ｚ軸の位置ｚ４０１から位置ｚ４０４の正方向に、第１光源１２５−１ｄ及び第２光源１２５−２ｄを走査するように制御する。ステップＳ１０２終了後、ステップＳ１０３に進む。
（ステップＳ１０３）制御装置２０は、走査中の画像データを画像記憶部２０６に記憶させる。ステップＳ１０３終了後、ステップＳ１０４に進む。

（ステップＳ１０４）第１光源１２５−１ｄ及び第２光源１２５−２ｄを走査した位置のまま、制御装置２０は、第１光源１２５−１ｄ及び第２光源１２５−２ｄを消灯する。次に、制御装置２０は、第３光源１２５−３ｄ及び第４光源１２５−４ｄの照射を開始する。次に、制御装置２０は、ｙ軸の位置ｙ４０１から位置ｙ４０４の正方向に、第３光源１２５−３ｄ及び第４光源１２５−４ｄを走査するように制御する。ステップＳ１０４終了後、ステップＳ１０５に進む。
（ステップＳ１０５）制御装置２０は、走査中の画像データを画像記憶部２０６に記憶させる。ステップＳ１０５終了後、ステップＳ１０６に進む。

（ステップＳ１０６）制御装置２０は、画像記憶部２０６に記憶されている画像データを読み出し、読み出した画像情報を合成する。なお、読み出して合成する画像データは、第１光源１２５−１ｄ及び第２光源１２５−２ｄの１走査分の画像データと、第３光源１２５−３ｄ及び第４光源１２５−４ｄの１走査分の画像データである。次に、制御装置２０は、合成した画像データを画像表示装置４０に出力する。
このようにして、画像表示装置４０に表示された画像３００ｄが図１３である。
以下、ステップＳ１０１からＳ１０６、及びＳ９を繰り返して、操作者は、エンドエフェクタ１２０ｄを目的の位置まで移動させて（ステップＳ９；Ｙｅｓ）、所望の処理を行わせる（ステップＳ１０）。

操作者は、第１光源１２５−１ｄ及び第２光源１２５−２ｄによる画像領域４０１及び画像領域４０２に基づき、対象物５０のｙ軸方向に関する距離間隔や対象物５０の高さを知覚できる。また、操作者は、第３光源１２５−３ｄ及び第４光源１２５−４ｄによる画像領域４１１及び画像領域４１２に基づき、対象物５０のｚ軸方向に関する距離間隔や対象物５０の高さを知覚できる。

以上のように、本実施形態では、第１光源１２５−１ｄ及び第２光源１２５−２ｄに加え、さらに２つの第３光源１２５−３ｄ及び第４光源１２５−４ｄをエンドエフェクタ１２０ｄが有するようにした。そして、本実施形態では、制御装置２０が、第１光源１２５−１ｄ及び第２光源１２５−２ｄを水平方向に走査させ、第３光源１２５−３ｄ及び第４光源１２５−４ｄを垂直方向に走査させるように制御する。この結果、操作者は、画像表示装置４０に表示される水平方向（図１３のｚ軸方向）、垂直方向（図１３のｙ軸方向）の両方向について、画像表示装置４０上に映し出された画像により、エンドエフェクタ１２０ｃが、目的の位置に近づいているのか遠ざかっているのか適切に確認できる。

なお、本実施形態において、エンドエフェクタ１２０ｄが、図２に示したような第１凸部１２２−１及び第２凸部１２２−２を備えている場合、第３光源１２５−３ｄの光線と第４光源１２５−４ｄの光線とは、第１凸部１２２−１及び第２凸部１２２−２の基部１２１とは接していない端面を結ぶ平面且つ第２撮像装置１２４の光軸上で交わるようにしてもよい。また、第３光源１２５−３ｄの光線と第４光源１２５−４ｄの光線と第２撮像装置１２４の光軸とのなす角は、第１実施形態で説明したように、第２撮像装置１２４の光軸と画角とのなす角と異なっているようにしてもよい。
さらに、制御装置２０は、第３光源１２５−３ｄと第４光源１２５−４ｄの発光状態を、第２実施形態と同様に異なる発光状態に制御するようにしてもよい。この場合、例えば、４つの光源の波長を全て異なるようにしてもよい。または、第１光源１２５−１ｄと第２光源１２５−２ｄの波長を異なる波長にし、第３光源１２５−３ｄと第４光源１２５−４ｄの輝度を異なるようにしてもよい。

［第４実施形態］
第３実施形態では、エンドエフェクタ１２０ｄが、第１光源１２５−１ｄ及び第２光源１２５−２ｄに加え、第３光源１２５−３ｄ及び第４光源１２５−４ｄを備えることで水平方向に加え垂直方向の距離間隔も確認できるようにした例を説明した。本実施形態では、対象物の傾きを知覚できるようにした例を説明する。

図１５は、本実施形態に係る画像表示装置４０に表示される画像の一例を説明する図である。図１６は、本実施形態に係るエンドエフェクタ１２０ｅの断面図である。
図１５に示すように、画像表示装置４０に表示される画像３００ｅは、図１３に示した第１から第４光源による画像領域４０１、４０２、４１１及び４１２に加え画像３００ｅの中心に十字４２２が表示されている。
十字４２２は、図１５に示すように、ｚ軸方向の位置ｚ４０５とｚ４０６の間に表示され、ｙ軸方向の位置ｙ４０５とｙ４０６の間に表示される。

次に、本実施形態に係るエンドエフェクタ１２０ｅの構造を説明する。
図１６に示すようにエンドエフェクタ１２０ｅは、第２撮像装置１２４ｅ、第５光源１２５−５ｅ、及びハーフミラーを有するキューブ１２６を備えている。なお、エンドエフェクタ１２０ｅは、第３実施形態と同様に図示しない４つの光源も備えている。
第２撮像装置１２４ｅは、キューブ１２６のハーフミラーを介して撮像する。このため、第２撮像装置１２４ｅの光軸は、第１から第３実施形態と同様に、エンドエフェクタ１２０ｅの基部１２１ｅ中心にある。
第５光源１２５−５ｅは、キューブ１２６を介して第２撮像装置１２４ｅの光軸上に光線を照射する。

次に、図１５に示した画像３００ｅが表示されるまでに、制御装置２０が行う処理手順を説明する。
制御装置２０は、第３実施形態同様に、ステップＳ１からＳ６、Ｓ１０１からＳ１０５の処理を行う。
ステップＳ１０５終了後、制御装置２０は、第３光源及び第４光源を消灯する。次に、制御装置２０は、第５光源１２５−５ｅの照射を開始する。次に、制御装置２０は、ｚ軸の位置ｚ４０５から位置ｚ４０６の正方向に、第５光源１２５−５ｅを走査するように制御する。次に、制御装置２０は、走査中の画像データを画像記憶部２０６に記憶させる。
次に、制御装置２０は、ｙ軸の位置ｚ４０５から位置ｚ４０６の正方向に、第５光源１２５−５ｅを走査するように制御する。次に、制御装置２０は、走査中の画像データを画像記憶部２０６に記憶させる。
次に、制御装置２０は、画像記憶部２０６に記憶されている１走査分の画像情報を読み出し、読み出した画像情報を合成する。読み出す１走査分の画像データは、第３実施形態の画像データに加え、第５光源１２５−５ｅをｚ軸方向及びｙ軸方向に走査したときの画像データも含む画像データである。次に、制御装置２０は、合成した画像データを画像表示装置４０に出力する。
このようにして、画像表示装置４０に表示された画像３００ｅが図１４である。

以上のように、本実施形態では、第２撮像装置１２４の光軸と同じ軸上に第５光源１２５−５ｅの光線を照射し、照射した光線を操作して画像３００ｅの中心に十字４２２が表示されるように制御装置２０が制御する。この結果、操作者は、画像３００ｅ中心における十字４２２の形状の変化を確認することで、例えば対象物５０の傾きを知覚することができる。

なお、本実施形態では、第３光源及び第４光源の走査完了後、第３光源及び第４光源を消灯させ、その後に第５光源１２５−５ｅを照射させて走査する例を説明したが、これに限られない。例えば、制御装置２０は、垂直方向に配置された第１光源及び第２光源をｚ軸方向の走査中、位置ｚ４０５からｚ４０６に区間のみ第５光源１２５−５ｅを照射させて走査させるように制御するようにしてもよい。さらに、水平方向に配置された第３光源及び第４光源をｙ軸方向の走査中、位置ｙ４０５からｙ４０６に区間のみ第５光源１２５−５ｅを照射させて走査させるように制御するようにしてもよい。

なお、本実施形態では、エンドエフェクタ１２０ｅが、５つの光源を備える例を説明したが、第３光源と第４光源を備えなくてもよい。図１７は、本実施形態に係る３つの光源による第１の画像の一例を説明する図である。図１８は、本実施形態に係る３つの光源による第２の画像の一例を説明する図である。図１７及び図１８において、画像３００ｆ及び画像３００ｇの水平方向をｚ軸とし、画像３００ｆ及び画像３００ｇの垂直方向をｙ方向とする。また、図１７及び図１８において、画像領域４０１は、第２光源による画像であり、画像領域４０２は、第１光源による画像である。図１７において、画像領域４３１は、第５光源による画像である。図１８において、丸４４１は、第５光源の光線のスポットに対応する画像領域である。

図１７及び図１８に示した例では、エンドエフェクタは、第１実施形態と同様に第２撮像装置１２４の両側に第１光源及び第２光源を備え、さらに第２撮像装置の光軸と同じ軸上に照射する第５光源を備えている。この場合、制御装置２０は、第１実施形態で説明したステップＳ８において、第１光源、第２光源、及び第３光源の照射を開始する。
次に、ステップＳ８において、第１光源、第２光源、及び第３光源の光線をｚ軸の正方向に走査するように制御する。この結果、画像表示装置４０上には、第１光源による画像領域４０２、第２光源による画像領域４０１、及び第５光源による画像領域４３１を含む画像３００ｆが表示される。
操作者は、この第５光源による画像領域４３１の傾きを確認することで、撮像された箇所のｚ軸方向の傾きを確認することができる。

また、図１８に示した例では、制御装置２０は、第１実施形態で説明したステップＳ８（図９）において、第１光源及び第２光源を開始する。そして、制御装置２０は、第１光源及び第２光源をｚ軸方向に走査中、ｚ軸方向の中心で第５光源の照射するように制御する。この場合、例えば、図１６において第５光源１２５−５ｅとキューブ１２６との間に、第５光源のスポット径が大きくなるように、図示しないレンズや拡散板などを設置するようにしてもよい。
操作者は、この第５光源の光線のスポットに対応する画像領域４４１の形状のゆがみを確認することで、撮像された箇所のｚ軸方向の傾きを知覚することができる。

また、図１８の例では、画像３００ｇの中心に、第５光源が照射した光線による丸４４１が表示される例を説明したが、これに限られない。例えば、画像３００ｇの中心に、ランダムドットパターンが表示されるように、第２撮像装置１２４の周辺に複数の光源を配置して、照射させるようにしてもよい。または、図１６において、第５光源１２５−５ｅとキューブ１２６との間に、拡散板（図示せず）を配置し、拡散板とキューブ１２６との間にランダムドットパターンを発生させるようなランダムな穴があいている板を配置するようにしてもよい。

なお、第１〜第４実施形態では、エンドエフェクタが備える第２撮像装置１２４、複数の光源１２５を基部１２１上に備える例を説明したが、第２撮像装置１２４、複数の光源１２５は、基部１２１に埋め込むようにしてもよい。または、第２撮像装置１２４、複数の光源１２５は、基部１２１の内部に配置するようにしてもよい。

なお、第１〜第４実施形態では、エンドエフェクタ１２０（含む１２０ａ、〜１２０ｇ）が凸部１２２を備える例を説明したが、これに限られない。凸部１２２は、１つでも、あるいは３つ以上でもよい。さらに、エンドエフェクタ１２０（含む１２０ａ、〜１２０ｇ）は、凸部１２２の代わりに、対象物５０の形状に合わせて凹部（図示せず）を備えるようにしてもよく、凸部と凹部を備えるようにしてもよい。さらに、操作目的に応じて、エンドエフェクタ１２０は、凸部１２２を備えなくてもよい。

なお、第１〜第４実施形態では、第１光源及び第２光源は、第２撮像装置の光軸方向に、直接、照射する例を説明したが、これに限られない。
図１９は、光源をミラーで反射させて照射させるエンドエフェクタ１２０ｈの断面図と光線を説明する図である。図１９に示したように、エンドエフェクタ１２０ｈは、第２撮像装置１２４ｈ、第１光源１２５−１ｈ、第２光源１２５−２ｈ、第１ミラー１２７−１、第２ミラー１２７−２、第１アクチュエータ１２８−１、及び第２アクチュエータ１２８−２を備えている。
図１９に示したように、第１光源１２５−１ｈの光線ｃ５０１を、第１ミラー１２７−１を用いて反射させて照射させ、第２光源１２５−２ｈの光線ｃ５０２を、第２ミラー１２７−２を用いて反射させて照射させるようにしてもよい。
エンドエフェクタ１２０ｈを図１９のように構成した場合、制御装置２０は、対象物や環境に合わせて、第１ミラー１２７−１の角度を第１アクチュエータ１２８−１で制御し、第２ミラー１２７−２の角度を第２アクチュエータ１２８−２で制御するようにしてもよい。

また、第１凸部１２２−１と第２凸部１２２−２で囲まれた内側において、第１光源及び第２光源の光線を、第１凸部１２２−１と第２凸部１２２−２に照射させた反射光を照射するようにしてもよい。

なお、第１〜第４実施形態では、光源１２５として点発光の光源を用いる例を説明したが、ライン状に発光する発光部を用いるようにしてもよい。または、光源１２５の光線を、スリットを介して照射するようにしてもよい。この場合、制御部２０１は、光源１２５を走査せずに１走査分の画像を取得できる。また、画像記憶部２０６に記憶させずに、画像取得部２０３が取得した画像を、そのまま画像表示部に出力することができる。

なお、第１〜第４実施形態では、第１光源１２４−１と第２光源１２４−２の光線を、エンドエフェクタ１２０と対象物５０との間で交わるように照射する例を説明したが、これに限られない。第１光源１２４−１と第２光源１２４−２の光線を、エンドエフェクタ１２０と対象物５０との間で交わらないように照射するようにしてもよい。この場合、第１光源１２４−１と第２光源１２４−２の光線とは、互いに非平行な光線であり、さらに互いに第２撮像装置１２４の光軸に対して互いに広がっていく光線であるようにしてもよい。

なお、第１〜第４実施形態では、第１光源１２４−１と第２光源１２４−２の光線を、画像表示装置４０の水平方向に対して平行に走査する例を説明したが、目的に応じて、例えば、画像表示装置４０の対角線方向に対して平行に走査するようにしてもよい。

なお、第１〜第４実施形態では、移動体は、腕型のマニュピュレータの先端に取り付けられているエンドエフェクタである例を説明したが、これに限られない。例えば、移動体は、脚を有するロボット、脚状のロボット、及び脚状のロボットの先端に取り付けられているエンドエフェクタ(例えば)足平等であってもよい。この場合、この足平（移動体）の足裏に、第２撮像装置１２４、及び２撮像装置の両側に等間隔で設けられている２つの光源１２５を備えるようにしてもよい。第２撮像装置１２４は、例えば接地面を撮像する方向に取り付けられている。また、２つの光源１２５による光線は、第１〜第４実施形態と同様に、互いに非平行、第２撮像装置１２４の光軸上で交差するようにしてもよい。
この場合においても、操作者は、画像表示装置４０に表示された第２撮像装置が撮像した第１及び第２光源の光線の軌跡に対応する画像により、対象物との距離間隔及び接地面等の凹凸状態等を知覚することができる。そして、作業を行いたい対象物が、床に近い高さ、または床に設置されているような場合、操作者は、脚の先端に取り付けられているエンドエフェクタを、制御装置２０を介して制御することで、所望の作業を行わせるようにしてもよい。また、第２撮像装置１２４は、足裏の中心、または重心の位置に取り付けられているようにしてもよい。
また、人型ロボット（移動体）において、手平、または足平の先が撮像される位置に、本実施形態に係る第２撮像装置１２４、及び第２撮像装置の両側に等間隔で設けられている２つの光源１２５を備えるようにしてもよい。手平、または足平の先が撮像される位置とは、例えば、人型ロボットの腹部前面、または、脚部の膝部等である。

なお、第１〜第４実施形態では、移動体は、第２撮像装置１２４、及び２つの光源１２５を備えるエンドエフェクタ１２０である例を説明したが、これに限られない。移動体は、車両であってもよく、第１〜第４実施形態で説明した第２撮像装置１２４、及び２つの光源１２５を、例えば車両の前方に取り付けられていてもよい。
この場合においても、車両（移動体）を操作する操作者は、例えば車両内に設置されている画像表示装置４０に表示される第２撮像装置１２４が撮像した画像を確認する。これにより、操作者は、車両と対象物との距離間隔を適切に確認することができる。
なお、車両または人型ロボットが、第２撮像装置１２４、及び２つの光源１２５を備える場合、２つの光源１２５による光線は、第１〜第４実施形態と同様に、互いに非平行、第２撮像装置１２４の光軸上で交差するようにしてもよい。

なお、実施形態の図３に示した制御装置２０の各部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＣＤ−ＲＯＭ等の可搬媒体、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ） Ｉ／Ｆ（インタフェース）を介して接続されるＵＳＢメモリ、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、サーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

１・・・移動体操作装置、１０・・・ロボット、２０・・・制御装置、３０・・・操作部、４０・・・画像表示装置、５０、５０ａ・・・対象物、移動部１０１、エンドエフェクタ１２０、１２２−１、１２２−２・・・凸部、第２撮像装置１２４、１２５・・・発光部、１２５−１・・・第１光源、１２５−２・・・第２光源、１２５−３・・・第３光源、１２５−４・・・第４光源、１２５−５・・・第５光源、１２６・・・キューブ、１２７・・・ミラー、１２８・・・アクチュエータ、１５０・・・第１撮像装置、２０１・・・制御部２０１、２０２・・・駆動部、２０３・・・画像取得部、２０４・・・画像表示部、２０５・・・レーザー駆動部、２０６・・・画像記憶部、α・・・第２撮像装置１２４の光軸と画角とのなす角、β・・・第２撮像装置１２４の光軸と光源１２５の光線とのなす角

Claims (10)

1. 移動体に設けられている撮像装置と、
   前記撮像装置の両側に等間隔で設けられている第１光源及び第２光源と、
   前記撮像装置で撮像された前記第１光源及び前記第２光源により照射された各々の光線を含む領域の画像を表示する画像表示装置と、
   を備えることを特徴とする移動体操作装置。
2. 前記移動体は、
   エンドエフェクタであり、
   前記撮像装置は、
   前記エンドエフェクタの中心に設けられ、
   前記第１光源の光線と前記第２光源の光線とは、
   互いに非平行である
   ことを特徴とする請求項１に記載の移動体操作装置。
3. 前記第１光源の光線と前記第２光源の光線とは、
   前記撮像装置の光軸で交わり、前記撮像装置の光軸に対して線対称である
   ことを特徴とする請求項１または請求項２に記載の移動体操作装置。
4. 前記第１光源の光線と前記撮像装置の光軸とのなす角の角度は、前記撮像装置の画角と光軸とのなす角の角度より大きく、
   前記第２光源の光線と前記撮像装置の光軸とのなす角の角度は、前記撮像装置の画角と光軸とのなす角の角度より大きい
   ことを特徴とする請求項１から請求項３のいずれか１項に記載の移動体操作装置。
5. 前記第１光源と前記第２光源とを制御する制御部
   を備え、
   前記制御部は、
   前記第１光源の光線と前記第２光源の光線とを、前記撮像装置の光軸に対して垂直な面において、平行に照射するように制御する
   ことを特徴とする請求項１から請求項４のいずれか１項に記載の移動体操作装置。
6. 前記第１光源と前記第２光源とは、
   波長、光量、発光状態、及び光線の形状のうち少なくとも１つが異なる
   ことを特徴とする請求項１から請求項５のいずれか１項に記載の移動体操作装置。
7. 前記移動体であるエンドエフェクタは、
   少なくとも長さが等しい２つの凸部
   を備え、
   前記第１光源の光線と前記第２光源の光線は、
   前記２つの凸部が前記エンドエフェクタとは接していない端面を結ぶ平面で交わる
   ことを特徴とする請求項１から請求項６のいずれか１項に記載の移動体操作装置。
8. 前記第１光源の光線と前記第２光源の光線は、
   前記撮像装置の光軸に対して垂直な面の方向に向けて指向性を有している
   ことを特徴とする請求項１から請求項７のいずれか１項に記載の移動体操作装置。
9. 脚部の先端に取り付けられている足平であって、前記足平における足裏の中心に設けられている撮像装置と、
   前記撮像装置の両側に等間隔で設けられている第１光源及び第２光源と、
   前記撮像装置で撮像された前記第１光源及び前記第２光源により照射された各々の光線を含む領域の画像を表示する画像表示装置と、
   を備えることを特徴とする移動体操作装置。
10. 前記第１光源の光線と前記第２光源の光線とは、
    互いに非平行である
    ことを特徴とする請求項９に記載の移動体操作装置。

Images