JP2015043488A

JP2015043488A - 遠隔操作装置及びそれを用いた遠隔施工方法

Info

Publication number: JP2015043488A
Application number: JP2013174306A
Authority: JP
Inventors: 卓也藤吉; Takuya Fujiyoshi; 竹内　啓五; Keigo Takeuchi; 啓五竹内
Original assignee: Shimizu Construction Co Ltd; Shimizu Corp
Current assignee: Shimizu Construction Co Ltd; Shimizu Corp
Priority date: 2013-08-26
Filing date: 2013-08-26
Publication date: 2015-03-05

Abstract

【課題】遠隔操作者が作業対象の距離感を把握することができ、作業効率が向上する遠隔操作装置を提供する。
【解決手段】本発明の遠隔操作装置１００は、建設機械３００に搭載され、作業対象範囲の画像を取得する撮像部（２３３、２４３、２５３）と、前記建設機械３００に搭載され、光線を対象物に投射して、点群データの集合である３次元距離データを取得する３次元スキャナー（２３５、２４５、２５５）と、前記建設機械３００を無線により遠隔操作する操作入力部１２０と、前記操作入力部１２０の近傍に設置され、前記撮像部で取得された画像を表示する撮像画像表示部１３０と、前記操作入力部１２０の近傍に設置され、前記３次元スキャナー（２３５、２４５、２５５）で取得された前記３次元距離データを表示するスキャナー画像表示部１４０と、からなることを特徴とする。
【選択図】図１

Description

本発明は、建設機械に運転手が搭乗せず、建設機械を遠隔操作することで施工を行う無人化施工に用いられる建設機械の遠隔操作装置、及びそれを用いた遠隔施工方法に関する。

災害復旧工事、被曝線量の高い現場での作業など、作業員が危険にさらされる環境下での建設機械作業では、建設機械に運転手が搭乗せず、建設機械を遠隔操作することによる施工、所謂、無人化施工が行われることがある。

このような無人化施工に用いられる建設機械には、前方側にカメラを搭載しておき、作業現場の画像を当該カメラで取得し、遠隔操作者にこの作業現場の画像を提示することによって、遠隔操作者はこれを参照し、建設機械の走行操作やアーム操作などを行うことができるようになっている。

このような建設機械の遠隔操作装置として、例えば、特許文献１（特開２０１１−９８２３号公報）には、車両前方側を撮像する前方カメラと、後方側を撮像する後方カメラとが、遠隔制御される作業機械に取り付けられ、それらカメラが撮像する画像が、遠隔操作側のディスプレイに表示され、該ディスプレイの表示として、前方カメラまたは後方カメラのいずれか一方の画像を大きく、他方の画像を小さくして、同時に表示させる遠隔制御用作業機械の画像表示方法であって、作業機械の前後進操作の切り替えと同時に、前記ディスプレイに表示させている大きな画像と小さな画像を、大小逆に切り替えさせる遠隔制御用作業機械が開示されている。
特開２０１１−９８２３号公報

しかしながら、特許文献１記載の建設機械の遠隔操作装置では、建設機械の遠隔操作者は、建設機械に搭載したカメラの映像にのみ頼って、建設機械の走行操作やアーム操作などを行うことになるが、カメラで取得される画像だけでは、平面的な情報のみしか伝えられないので、たとえ複数のカメラを用いて異なるアングルからの画像を表示したとしても、作業対象の距離感が正確につかめず、作業の精度が低く、かつ、作業効率が悪い、という問題があった。

この発明は、上記課題を解決するものであって、請求項１に係る発明は、建設機械に搭載され、作業対象範囲の画像を取得する撮像部と、前記建設機械に搭載され、光線を対象物に投射して、点群データの集合である３次元距離データを取得する３次元スキャナーと、前記建設機械を無線により遠隔操作する操作入力部と、前記操作入力部の近傍に設置され、前記撮像部で取得された画像を表示する撮像画像表示部と、前記操作入力部の近傍に設置され、前記３次元スキャナーで取得された前記３次元距離データを表示するスキャナー画像表示部と、からなることを特徴とする遠隔操作装置である。

また、請求項２に係る発明は、請求項１に記載の遠隔操作装置において、複数の前記撮像部と前記３次元スキャナーとが前記建設機械に搭載されることを特徴とする。

また、請求項３に係る発明は、請求項１又は請求項２に記載の遠隔操作装置において、
前記スキャナー画像表示部では異なるアングルの前記３次元距離データが表示されることを特徴とする。

また、請求項４に係る発明は、請求項１乃至請求項３のいずれかに記載の遠隔操作装置を用いた遠隔施工方法である。

本発明に係る遠隔操作装置は、操作入力部の近傍に設置され、３次元スキャナーで取得された３次元距離データを表示するスキャナー画像表示部を有しており、このような本発明に係る建設機械の遠隔操作装置によれば、建設機械の走行操作やアーム操作を行う遠隔操作者に、立体的な情報を伝達することが可能となり、遠隔操作者は作業対象の距離感をより正確に把握することができ、より精度の高い作業が可能となり、かつ、作業効率が向上する。

本発明の実施形態に係る遠隔操作装置１００のシステム構成を示す図である。本発明の実施形態に係る遠隔操作装置１００が適用される建設機械３００を示す図である。スキャナー画像表示部１４０における、第１のアングルからの３次元距離データの表示例を示す図である。スキャナー画像表示部１４０における、第２のアングルからの３次元距離データの表示例を示す図である。

以下、本発明の実施の形態を図面を参照しつつ説明する。図１は本発明の実施形態に係る遠隔操作装置１００のシステム構成を示す図であり、図２は本発明の実施形態に係る遠隔操作装置１００が適用される建設機械３００を示す図である。建設機械３００は、作業用のアタッチメントを備えるものであり、図２ではシャベルを備えるものを例示しているが、本発明に係る遠隔操作装置１００では、アタッチメントとして任意のものを用い得る。

本発明に係る遠隔操作装置１００は、建設機械３００の遠隔操作者の手元に設けられることが想定され、遠隔操作者が操作する手元側システム１０５と、建設機械３００に搭載される建設機械側システム２００と、から構成されている。

手元側システム１０５における主制御部１１０は、中央演算装置（不図示）や記憶素子（不図示）などからなる汎用の情報処理装置から構成することができる。主制御部１１０は、主制御部１１０に接続された各構成からデータを受信したり、また、主制御部１１０における演算結果に基づく制御データを、接続された各構成に対して送信したりすることができるようになっている。

また、主制御部１１０に接続されている無線通信部１９０は、建設機械側システム２００の無線通信部２９０と互いにデータ通信することができるようになっている。

操作入力部１２０は、遠隔操作者が操作する、不図示の入力操作棹などからなる。操作入力部１２０から入力された操作データは、主制御部１１０を経て無線通信部１９０から、建設機械側システム２００の無線通信部２９０に対して発信される。

建設機械側システム２００の無線通信部２９０が前記操作データを受信すると、当該操
作データは主制御部２１０で処理がなされ、建設機械３００の走行部２６０、アーム部２７０に対して、制御指令データが送信されるようになっている。これにより、建設機械３００の走行部２６０が動作し、建設機械３００を走行させたり、建設機械３００のアーム部２７０が動作し、アーム部２７０を移動させたりすることができるようになっている。

建設機械側システム２００における主制御部２１０は、中央演算装置（不図示）や記憶素子（不図示）などからなる汎用の情報処理装置から構成することができる。主制御部２１０は、主制御部２１０に接続された各構成からデータを受信したり、また、主制御部２１０における演算結果に基づく制御データを、接続された各構成に対して送信したりすることができるようになっている。

また、主制御部２１０に接続されている無線通信部２９０は、手元側システム１０５の無線通信部１９０と互いにデータ通信することができるようになっている。

図２は建設機械３００における情報取得部の取り付け位置を説明する図である。図２に示すように、建設機械３００の前方の上段部、中断部、下段部には、それぞれ上段情報取得部２３０、中段情報取得部２４０、下段情報取得部２５０が取り付けられている。

上段部において、上段情報取得部２３０の撮像部２３３は、動画像データを取得し、３次元スキャナー２３５は、光線を対象物に投射して、点群データの集合である３次元距離データを取得する。

また、中段部において、中段情報取得部２４０の撮像部２４３は、動画像データを取得し、３次元スキャナー２４５は、光線を対象物に投射して、点群データの集合である３次元距離データを取得する。

また、下段部において、下段情報取得部２５０の撮像部２５３は、動画像データを取得し、３次元スキャナー２５５は、光線を対象物に投射して、点群データの集合である３次元距離データを取得する。

撮像部２３３、撮像部２４３、撮像部２５３としては、いずれも一般的なビデオカメラを用いることができる。また、３次元スキャナー２３５、３次元スキャナー２４５、３次元スキャナー２５５としては、例えば、ＡＳＵＳＴｅＫＣｏｍｐｕｔｅｒ製の開発者向けモーションキャプチャデバイス「ＸｔｉｏｎＰＲＯ」を用いることができる。

３次元スキャナー２３５、３次元スキャナー２４５、３次元スキャナー２５５は、センサ筐体（不図示）のセンシング開口部（不図示）からレーザや赤外線を被写体に投射して大量の３次元距離データ（「点群データ」ともいう）を測定できるセンサである。

点群データは３次元距離を表現する点が大量にあるので距離画像と呼ぶこともできる。３次元スキャナーを設置している高さや煽り角から、点群データを３次元直交座標系に変換することによりＸ，Ｙ，Ｚ座標でデータを扱うことができるようになる。

撮像部２３３、撮像部２４３、撮像部２５３で取得された画像データは、主制御部２１０から無線通信部２９０を経て、手元側システム１０５に送信される。

手元側システム１０５には、撮像部２３３、撮像部２４３、撮像部２５３のいずれかで取得された画像データを表示するモニタである撮像画像表示部１３０が設けられている。また、手元側システム１０５における画像選択スイッチ１５０は、遠隔操作者が、撮像画像表示部１３０に表示する画像を、撮像部２３３、撮像部２４３、撮像部２５３のいずれ
で撮影したものするかを選択することができるようになっている。すなわち、遠隔操作者は、画像選択スイッチ１５０によって、上段部で取得された画像データを撮像画像表示部１３０に表示させるか、中段部で取得された画像データを撮像画像表示部１３０に表示させるか、下段部で取得された画像データを撮像画像表示部１３０に表示させるか、を選択することができるようになっている。

また、３次元スキャナー２３５、３次元スキャナー２４５、３次元スキャナー２５５で取得された３次元距離データは、主制御部２１０から無線通信部２９０を経て、手元側システム１０５に送信される。

手元側システム１０５には、３次元スキャナー２３５、３次元スキャナー２４５、３次元スキャナー２５５のいずれかで取得された３次元距離データを表示するモニタであるスキャナー画像表示部１４０が設けられている。また、手元側システム１０５における画像選択スイッチ１５０は、遠隔操作者が、スキャナー画像表示部１４０に表示する画像を、３次元スキャナー２３５、３次元スキャナー２４５、３次元スキャナー２５５のいずれで取得したものするかを選択することができるようになっている。すなわち、遠隔操作者は、画像選択スイッチ１５０によって、上段部で取得された３次元距離データをスキャナー画像表示部１４０に表示させるか、中段部で取得された３次元距離データをスキャナー画像表示部１４０に表示させるか、下段部で取得された３次元距離データをスキャナー画像表示部１４０に表示させるか、を選択することができるようになっている。

さらに、遠隔操作者は、スキャナー画像表示部１４０で表示される３次元距離データのアングルを、画像選択スイッチ１５０によって選択することができるようになっている。主制御部１１０では、点群データを３次元直交座標系に変換することによりＸ，Ｙ，Ｚ座標でデータ処理することができるので、主制御部１１０は３次元スキャナーで取得された点群データの異なるアングルのデータを生成することができる。画像選択スイッチ１５０は、スキャナー画像表示部１４０で表示させる点群データを、３次元スキャナー２３５、３次元スキャナー２４５、３次元スキャナー２５５のいずれで取得したものするかを選択可能とすると共に、さらに、選択された３次元スキャナーの点群データのアングルも選択可能とする。

図３はスキャナー画像表示部１４０における、第１のアングルからの３次元距離データの表示例を示す図であり、図４はスキャナー画像表示部１４０における、第２のアングルからの３次元距離データの表示例を示す図である。このように、遠削操作者は画像選択スイッチ１５０によって、異なるアングルの３次元距離データを選択可能とされている。

なお、図３や図４に示す３次元距離データでは、凡例として色分けによって対象物までの距離を表すようにしている。

以上のように、本発明に係る遠隔操作装置１００は、操作入力部の近傍に設置され、３次元スキャナーで取得された３次元距離データを表示するスキャナー画像表示部１４０を有しており、このような本発明に係る建設機械３００の遠隔操作装置１００によれば、建設機械３００の走行操作やアーム操作を行う遠隔操作者に、立体的な情報を伝達することが可能となり、遠隔操作者は作業対象の距離感をより正確に把握することができ、より精度の高い作業が可能となり、かつ、作業効率が向上する。

なお、本実施形態では、３次元スキャナーを建設機械３００に搭載する位置を、前方の上段部、中段部、下段部の３箇所に限定しているが、本発明に係る遠隔操作装置１００で３次元スキャナーを搭載する位置はこれに限定されるものではなく、任意とすることができる。例えば、３次元スキャナーで建設機械３００の周囲３６０°を把握することができ
るようにすることもできる。このような構成であれば、建設機械３００の周囲で作業する他の建設機器や現場状況を把握することが可能となり、遠隔操作者にとっては臨場感を感じつつ、操作を行うことができるので、作業効率がより向上する。

なお、以上の実施形態においては、手元側システム１０５を主制御部１１０で、また、建設機械側システム２００を主制御部２１０で統一して全体的に制御する構成を例に説明を行ったが、撮像部系統の制御、３次元スキャナー系統の制御、走行部やアーム部の建設機械の動作自体の制御をそれぞれ別の制御系統で独立的に制御するように構成してもよい。その際には、複数の制御系統を設けることで、システムの数は増えるが、個々のシステムについては単純化することが可能となる。

さらに、本発明に係る撮像部や３次元スキャナーは、建設機械３００以外の移動体に搭載してもよい。このような場合、他の搭載用の移動体が必要となるが、建設機械３００とは別体の移動体からの撮像、スキャンを行うために、建設機械３００搭載の撮像部や３次元スキャナーでは得られないアングルからの情報取得が可能となり、より多くの情報を表示することができる。

１００・・・遠隔操作装置
１０５・・・手元側システム
１１０・・・主制御部
１２０・・・操作入力部
１３０・・・撮像画像表示部
１４０・・・スキャナー画像表示部
１５０・・・画像選択スイッチ
１９０・・・無線通信部
２００・・・建設機械側システム
２１０・・・主制御部
２３０・・・上段情報取得部
２３３・・・撮像部
２３５・・・３次元スキャナー
２４０・・・中段情報取得部
２４３・・・撮像部
２４５・・・３次元スキャナー
２５０・・・下段情報取得部
２５３・・・撮像部
２５５・・・３次元スキャナー
２６０・・・走行部
２７０・・・アーム部
２９０・・・無線通信部
３００・・・建設機械

Claims

建設機械に搭載され、作業対象範囲の画像を取得する撮像部と、
前記建設機械に搭載され、光線を対象物に投射して、点群データの集合である３次元距離データを取得する３次元スキャナーと、
前記建設機械を無線により遠隔操作する操作入力部と、
前記操作入力部の近傍に設置され、前記撮像部で取得された画像を表示する撮像画像表示部と、
前記操作入力部の近傍に設置され、前記３次元スキャナーで取得された前記３次元距離データを表示するスキャナー画像表示部と、からなることを特徴とする遠隔操作装置。
複数の前記撮像部と前記３次元スキャナーとが前記建設機械に搭載されることを特徴とする請求項１に記載の遠隔操作装置。
前記スキャナー画像表示部では異なるアングルの前記３次元距離データが表示されることを特徴とする請求項１又は請求項２に記載の遠隔操作装置。
請求項１乃至請求項３のいずれかに記載の遠隔操作装置を用いた遠隔施工方法。