JP2007016403A - 作業機械のカメラ制御装置 - Google Patents

Abstract

【課題】作業機械の遠隔操縦時に、各作業内容を実行するに必要な映像を的確にオペレータに提示可能な作業機械のカメラ制御装置を提供する。
【解決手段】油圧ショベル１に、カメラ１１と雲台１２と車体側コントローラ１５とを備える。車体側コントローラ１５のＲＡＭ１５ｃに、作業内容と視点Ｔｏと捕捉点Ｃｏと優先指示との組合せを記憶する。車体側コントローラ１５のＣＰＵ１５ａは、各作業毎に、当該作業の内容に応じた視点Ｔｏと捕捉点Ｃｏと優先指示をＲＡＭ１５ｃから読み出し、読み出したデータが視点Ｔｏであるときにはカメラ１１の光軸が当該読み出された視点に合致するように雲台１２を制御し、読み出したデータが捕捉点Ｃｏであるときにはカメラ１１の視野内に当該読み出された捕捉点Ｃｏが存在するように雲台１２を制御する。
【選択図】図２

Description

本発明は、作業機械の遠隔操縦に必要な映像を取得するために用いられるカメラの自動制御装置に係り、特に、作業機械の作業内容に応じた適切な映像を取得できるようにカメラの方向を制御する手段に関する。

被災地や地下などの危険な作業現場或いは粉塵や高熱にさらされる劣悪な環境の作業現場においては、オペレータの安全を確保するため、油圧ショベル、ブルドーザ、クレーン等の作業機械が遠隔操縦により稼働される。作業機械の遠隔操縦時、オペレータは、作業現場の状態を目視にて充分に把握できる場合を除き、作業機械や作業現場に設置されたカメラの映像を頼りに作業機械の操縦を行う。このようにオペレータがカメラの映像を頼りに作業機械の操縦を行う場合には、作業機械の操縦に必要な全ての映像がカメラにて取得され、モニタに表示される必要がある。例えば、油圧ショベルを用いた作業には、掘削、放土（積込）及び移動等があるが、各作業内容に応じて必要な映像が異なるため、油圧ショベルの遠隔操縦を円滑に行うためには、各作業内容ごとに必要とする全ての映像を取得可能なカメラ装置が必要となる。

従来より、遠隔操縦用の映像を取得する作業機械のカメラ装置としては、作業機械や作業現場に複数台のカメラを所要の配列で設置したものや、カメラを手動式の雲台に取り付けたものなどが用いられている。しかしながら、複数台のカメラを用いるものは、通信回線やモニタ等を含むシステム構成が大規模となってコスト高になるばかりでなく、モニタに複数のカメラにて撮像された複数の映像が写し出されるので、オペレータは複数のモニタを交互に監視しなくてはならず、作業機械の操作性が悪いという問題がある。一方、カメラが取り付けられた雲台を手動で操作するものは、１台若しくは少ないカメラ台数で必要な映像を取得できるものの、オペレータが作業機械の操縦に加えて雲台の操作をも行わなくてはならないので、遠隔操縦の作業能率が悪くなるという問題がある。これらのことから、１台若しくは少ないカメラ台数で各作業内容ごとに必要とする全ての映像を自動的に取得できるカメラ装置の開発が嘱望されている。

かかる要請に応じるものとして、従来より、カメラを自動制御式の雲台に取り付けると共に、作業機における各々の関節部に備えられた角度検出器で検出された情報に基づいて作業機先端の位置を算出し、算出された作業機先端の位置を目標値としてカメラの上下方向角度、左右方向角度及び焦点位置をフィードバック制御する建設機械用のカメラ自動追尾制御装置が提案されている（例えば、特許文献１参照。）。この装置によれば、１台のカメラで常時作業機先端を自動追尾することができ、その作業機先端を基準とする画面状態で作業を監視できるので、モニタが見やすく、作業の効率化が図れる。
特開平８−７４２９６号公報

しかしながら、前述のように同じ作業機械を用いた場合にも各作業内容ごとに必要な映像が異なるため、常時作業機先端を自動追尾したのでは、作業内容によっては必要な映像を得られない場合が生じる。例えば、油圧ショベルを用いた掘削作業については、バケットの先端、即ち、地面上の掘削ポイントを監視すれば良いが、積込作業については、バケットの先端のみならずショベルの周囲に駐車されたダンプトラックの荷台位置を併せて監視する必要があり、更に走行時には、油圧ショベルの足周りの状況を重点的に監視する必要があり、常時作業機先端を自動追尾したのでは、積込作業時及び走行時に必要な映像を取得することが困難である。

本発明は、かかる従来技術の不備を解決するためになされたものであり、その目的は、作業機械の遠隔操縦時に、各作業内容を実行するに必要な映像を的確にオペレータに提示可能な作業機械のカメラ制御装置を提供することにある。

本発明は、上記課題を解決するため、作業部材及び作業部材を駆動するアクチュエータ並びにアクチュエータの状態量を計測する計測装置を有する作業機械と、当該作業機械の作業状況を撮像するカメラと、当該カメラの方向を変更する雲台と、当該雲台の制御部と、当該制御部に付設されたメモリとからなる作業機械のカメラ制御装置において、前記メモリに前記アクチュエータの状態量に応じた前記カメラの視点及び前記カメラの視野内に入れる捕捉点のうちの少なくともいずれか一方を記憶し、前記制御部は、前記計測装置から出力される前記アクチュエータの状態量信号に応じて前記メモリから前記視点又は前記捕捉点を選択的に読み出し、読み出したデータが視点であるときには前記カメラの光軸を当該読み出された視点に合致させるように前記雲台の姿勢を制御し、読み出したデータが捕捉点であるときには前記カメラの視野内に当該読み出された捕捉点が存在するように前記雲台の姿勢を制御するという構成にした。

アクチュエータの状態量は、作業機械が実行する作業内容に応じて変化する。また、カメラを向けるべき視点及びカメラの視野内に入れるべき捕捉点も、作業機械が実行する作業の内容に応じて変化する。そして、これらアクチュエータの状態量と作業内容とカメラを向けるべき視点及びカメラの視野内に入れるべき捕捉点との関係は、シミュレーションや実験によって予め知ることができるので、メモリに適宜記憶することができ、かつアクチュエータの状態量をパラメータとして、これに応じた固有の視点又は捕捉点をメモリから読み出すことができる。したがって、制御部により、メモリから読み出したデータが視点であるときにはカメラの方向を当該読み出された視点に合致させるように雲台の姿勢を制御し、読み出したデータが捕捉点であるときにはカメラの視野内に当該読み出された捕捉点が存在するように雲台の姿勢を制御することにより、遠隔操縦にて作業機械に所望の作業を行わせる際に必要な映像を自動的に取得することができる。

また、本発明は、前記構成の作業機械のカメラ制御装置において、前記メモリに前記アクチュエータの状態量に応じた前記視点及び前記捕捉点の組合せと前記視点を優先するか前記捕捉点を優先するかの優先指示とを記憶し、前記制御部は、前記計測装置から出力される前記アクチュエータの状態量信号に応じて前記メモリから前記視点及び前記捕捉点の組合せと前記優先指示とを読み出し、読み出した優先指示が前記視点の優先を指示しているときには前記カメラの方向を前記読み出された視点に合致させるように前記雲台の姿勢を制御し、読み出した優先指示が前記捕捉点の優先を指示しているときには前記カメラの視野内に前記読み出された捕捉点が存在するように前記雲台の姿勢を制御するという構成にした。

作業機械を遠隔操縦してある作業を実行しようとする場合、カメラの方向を１つの視点の方向に向けた状態で、当該カメラの視野内に１又は複数の捕捉点を入れたい場合が多い。例えば油圧ショベルを遠隔操縦して掘削作業を実行しようとする場合には、視点を掘削ポイントに設定し、捕捉点をバケット位置に設定して、掘削ポイントとバケット位置の双方を同時に監視下に置くことが望ましい。このような場合において、単にメモリに掘削ポイントとバケット位置を記憶しただけであると、掘削作業中にカメラの視野内から掘削ポイント又はバケット位置が外れたときに制御部による雲台の駆動制御が不可能になる。そこで、メモリに予め視点と捕捉点のいずれかを優先させるのかを示す優先指示を記憶しておけば、少なくとも指示された視点又は捕捉点をカメラの視野に入れるように雲台を駆動制御することができるので、作業機械の適切な遠隔操縦が可能になる。

また、本発明は、前記構成の作業機械のカメラ制御装置において、前記作業機械が油圧ショベルであり、前記アクチュエータの状態量信号が掘削作業を示している場合の前記視点を掘削ポイント、前記捕捉点を油圧ショベルのバケット位置、前記優先指示を捕捉点とし、かつ前記アクチュエータの状態量信号が積込作業を示している場合の前記視点を油圧ショベルの近傍に駐車されたダンプトラックの荷台位置、前記捕捉点を油圧ショベルのバケット位置、前記優先指示を捕捉点とするという構成にした。

油圧ショベルを遠隔操縦して掘削作業を実行しようとする場合には、視点を地面上の掘削ポイント、捕捉点をバケット位置、優先指示を捕捉点とすることにより、常時バケットをカメラの視野内に収めることができるので、予定された掘削ルートに沿って確実に掘削作業を実行することができる。一方、油圧ショベルを遠隔操縦して積込作業を実行しようとする場合には視点を前記作業機械の近傍に駐車されたダンプトラックの荷台位置、前記捕捉点をバケット位置、前記優先指示を捕捉点とすることにより、常時バケットをカメラの視野内に収めることができるので、バケットとダンプトラックとの衝突を確実に回避することができる。

また、本発明は、前記構成の作業機械のカメラ制御装置において、前記カメラ及び前記雲台を作業現場に設置するという構成にした。

カメラ及び雲台を作業現場に設置した場合にも、作業機械上に設置した場合と同様に、作業内容に応じた適宜の映像を適宜取得することができ、作業機械の遠隔操縦を的確かつ高能率に行うことができる。

また、本発明は、前記構成の作業機械のカメラ制御装置において、前記制御部に前記視点及び前記捕捉点の設定値を自動的に算出して書き換える学習機能を付加するという構成にした。

例えば油圧ショベルを遠隔操縦して溝の掘削作業を実行すると、掘削作業の進捗に伴って掘削ポイントは順次ずれて行く。この場合、視点及び捕捉点が特定の設定値に固定されていると、カメラの方向が掘削作業の進捗に伴って変更されないため、実際の掘削ポイントがモニタの中心から外れ、最悪の場合には実際の掘削ポイントがモニタに写し出されなくなるという不都合を生じる。そこで、制御部に学習機能を付加し、作業の進捗に伴って順次視点及び捕捉点の設定値を自動的に算出して書き換えるようにすると、作業の進捗に伴ってカメラの方向を適宜変更することができるので、かかる不都合の発生を防止することができる。

本発明の作業機械のカメラ制御装置は、メモリにアクチュエータの状態量に応じたカメラの視点及びカメラの視野内に入れる捕捉点のうちの少なくともいずれか一方を記憶し、前記制御部により、計測装置から出力されるアクチュエータの状態量信号に応じてメモリから視点又は捕捉点を読み出し、読み出したデータが視点であるときにはカメラの方向を当該読み出された視点に合致させるように雲台の姿勢を制御し、読み出したデータが捕捉点であるときにはカメラの視野内に当該読み出された捕捉点が存在するように雲台の姿勢を制御するので、少ないカメラ台数で各作業内容ごとに必要な映像を自動的に取得することができ、作業機械の遠隔操縦を容易かつ高能率に行うことができる。

以下、遠隔操縦される油圧ショベルにカメラ及び雲台を搭載した場合を例にとって、本発明に係るカメラ制御装置の一例を説明する。

本例の油圧ショベルのカメラ制御装置は、図１に示すように、カメラ１１、雲台１２、車体側無線機１３，１４及び車体側コントローラ１５を備えた油圧ショベル１と、カメラ１１にて撮影された映像を表示するモニタ２１、油圧ショベル１の操作レバー２２、操作側無線機２３，２４及び操作側コントローラ２５を備えた操縦室２とから主に構成される。

油圧ショベルは、図１に示すように、それぞれ垂直方向に回動するブーム１ａ、アーム１ｂ及びバケット１ｃの各作業部材からなる多関節型のフロント作業機と、上部旋回体１ｄ及び下部走行体１ｅからなる車体とからなる。上部旋回体１ｄには、運転室１ｆが備えられると共に、その前方部分にはフロント作業機を構成するブーム１ａの基端部が垂直方向に回動可能に支持される。ブーム１ａ、アーム１ｂ、バケット１ｃ、上部旋回体１ｄ及び下部走行体１ｅは、それぞれブームシリンダ２ａ、アームシリンダ２ｂ、バケットシリンダ２ｃ、旋回モータ２ｄ及び走行モータ２ｅの各油圧アクチュエータにより駆動される。これらの各油圧アクチュエータ２ａ〜２ｅは、図２に示すように、上部旋回体１ｄに搭載された比例弁４及びコントロールバルブ５を介して駆動が制御される。さらに、ブーム１ａ、アーム１ｂ、バケット１ｃ及び上部旋回体１ｄの支持軸には、それぞれエンコーダ等の角度検出器３ａ，３ｂ，３ｃ，３ｄが備えられ、各部材の回動角を検出できるようになっている。

操縦室２は、作業現場から離れた安全な場所に設置され、より望ましくは、実機に搭乗して操作しているような操作感触をオペレータに与え、油圧ショベル１の操作を効率的に行わせるため、モニタ２１や操作レバー２２などの設備が実機をモデル化した配列で配置される。

カメラ１１としては、テレビジョンカメラが用いられる。なお、図１の例ではカメラ１１が１台のみ油圧ショベル１に設置されているが、複数台のカメラ１１を油圧ショベル１に設置することも可能である。

雲台１２は、車体側コントローラ１５からの指令に基づいてカメラ１１を上下方向及び左右方向に自動的に回動する装置であって、固定部１２ａと可動部１２ｂとからなり、固定部１２ａが油圧ショベル１（図１の例では、運転室１ｆ上）に設置され、可動部１２ｂにカメラ１１が取り付けられる。可動部１２ｂは、雲台１２内に内蔵された図示しないモータによって上下方向及び左右方向に駆動される。また、固定部１２ａに対する可動部１２ｂの回動角度は、雲台１２内に内蔵されたエンコーダ等の図示しない角度検出器にて検出される。

車体側無線機１３及び操作側無線機２３は、車体側コントローラ１５から操作側コントローラ２５へのカメラ映像の送受信に適用される。一方、車体側無線機１４及び操作側無線機２４は、車体側コントローラ１５から操作側コントローラ２５への角度検出信号の送受信及び操作側コントローラ２５から車体側コントローラ１５へのレバー指令値の送受信に適用される。

車体側コントローラ１５は、図２に示すように、当該コントローラ全体を制御するＣＰＵ１５ａと、車体側無線機１４及び操作側無線機２４を介して操作側コントローラ２５に接続される通信インタフェース１５ｂと、油圧ショベル１を操作することにより実行される作業の内容、カメラ１１の方向を合致させるべき視点、カメラ１１の視野内に入れるべき捕捉点及び前記視点を優先するか前記捕捉点を優先するかの優先指示が記憶されたＲＡＭ１５ｃと、ＣＰＵ１５ａにて実行される各種処理のプログラムＰ１〜Ｐ５等が記憶されたＲＯＭ１５ｄと、ＣＰＵ１５ａの出力信号を比例弁３ａの駆動信号又は図示しない雲台駆動モータの駆動信号に変換するＤ／Ａ変換器１５ｅと、油圧ショベル１に備えられた角度検出器３ａ〜３ｄの出力信号又は雲台１２に内蔵された図示しない角度検出器の出力信号をＣＰＵ１５ａが取り扱うデジタル信号に変換するＡ／Ｄ変換器１５ｆとから構成されている。

操作側コントローラ２５は、図２に示すように、当該コントローラ全体を制御するＣＰＵ２５ａと、操作側無線機２４及び車体側無線機１４を介して車体側コントローラ１５に接続される通信インタフェース２５ｂと、ＣＰＵ２５ａにて実行されるモニタ２１の駆動制御や通信インタフェース２５ｂの通信制御等の処理に必要なプログラム等が記憶されたＲＡＭ２５ｃ及びＲＯＭ２５ｄと、操作レバー２２の出力信号をＣＰＵ２５ａが取り扱うデジタル信号に変換するＡ／Ｄ変換器２５ｅと、車体側コントローラ１５から送信されたカメラ映像を一時格納する画像メモリ２５ｆとから構成されている。

図３は、車体側コントローラ１５に備えられたＣＰＵ１５ａによって実行される各種処理の説明図である。姿勢計算処理は、ＲＯＭ１５ｄに記憶された姿勢計算プログラムＰ１に基づいて実行され、ブーム１ａ、アーム１ｂ、バケット１ｃ及び上部旋回体１ｄに備えられた角度検出器３ａ，３ｂ，３ｃ，３ｄの出力信号並びに操作レバー２２から出力されるレバー指令値に基づいて捕捉点の位置を繰り返し算出する。作業判別処理は、ＲＯＭ１５ｄに記憶された作業判別プログラムＰ２に基づいて実行され、前記各角度検出器３ａ〜３ｄの出力信号に応じた現在の作業内容を繰り返し算出し、求められた作業内容に応じた視点、捕捉点及び優先指示をＲＡＭ１５ｃから繰り返し読み出す。カメラ方向計算処理は、ＲＯＭ１５ｄに記憶されたカメラ方向計算プログラムＰ３に基づいて実行され、雲台１２内に内蔵された図示しない角度検出器の出力信号に応じたカメラ１１を向けるべき方向（カメラ方向）を繰り返し算出する。視野推定処理は、ＲＯＭ１５ｄに記憶された視野推定プログラムＰ４に基づいて実行され、カメラ方向計算処理にて算出されたカメラ方向を基準として、視点や捕捉点のカメラ視野内での座標値を繰り返し算出する。雲台制御処理は、ＲＯＭ１５ｄに記憶された雲台制御プログラムＰ５に基づいて実行され、カメラ方向計算処理にて算出されたカメラ方向をＲＡＭ１５ｃに記憶された視点に合致させる方向或いは視野推定処理にて推定されたカメラ視野内にＲＡＭ１５ｃに記憶された捕捉点を入れる方向に、雲台１２内に内蔵された雲台駆動モータを駆動する。前記視野推定処理については、後により詳細に説明する。

図４は、前記車体側コントローラ１５に備えられたＲＡＭ１５ｃに記憶される作業内容と視点Ｔｏと捕捉点Ｃｏと優先指示の組合せの一例を示す表図である。この図から明らかなように、本例においては、作業内容として掘削作業と積込作業とが記憶されており、作業内容が掘削作業である場合には、視点Ｔｏとして地面上の掘削ポイントが、捕捉点Ｃｏとしてバケット位置が、優先指示として捕捉点がそれぞれ記憶され、作業内容が積込作業である場合には、視点Ｔｏとして油圧ショベル１の近傍に駐車されたダンプトラックの荷台位置が、捕捉点Ｃｏとしてバケット位置が、優先指示として捕捉点がそれぞれ記憶されている。

視点Ｔｏとは、カメラ１１の光軸を向ける点であり、カメラ１１の光軸が視点Ｔｏの方向に向いているか否かの判定は、以下のようにして行われる。即ち、図５に示すように、カメラ１１の焦点位置を原点、カメラ１１の光軸方向（カメラ方向）に対する左右角をθ、カメラ１１の光軸方向に対する上下角をφ、原点からの距離をｌとして、極座標Ｏｃ（θ、φ、ｌ）を定める。視点Ｔｏが掘削ポイントである場合、掘削ポイントの極座標は（θｔ、φｔ、ｌｔ）となる。そして、
θｔ＝０かつφｔ＝０ ・・・（第１式）
が成り立つとき、カメラ１１が視点Ｔｏに向いているとみなされる。なお、図５の例では、第１式が成立しておらず、カメラ１１の光軸を下向きにφｔ、右向きθｔだけ回動させる必要がある。

一方、捕捉点Ｃｏとは、作業を円滑に行うために作業中常にカメラ映像で監視しておかなければならない点であり、カメラ１１の視野内に捕捉点Ｃｏが入っているか否かの判定は、以下のようにして行われる。即ち、図５に示すように、カメラ１１の左右方向の視野角を２Θ、上下方向の視野角を２Φとした場合、カメラ１１によって取得される映像は、左右方向が−Θから＋Θの範囲で、上下方向が−Φから＋Φの範囲の映像となる。したがって、この映像の範囲内に捕捉点の極座標が入っているか否かを判定することによって、カメラ１１の視野内に捕捉点Ｃｏが入っているか否かを判定することができる。例えば、捕捉点Ｃｏとしてバケット位置が設定されており、バケット位置の極座標が（θｂ、φｂ、ｌｂ）で表される場合、
−Θ＜θｂ＜＋Θかつ−Φ＜φｂ＜＋Φ ・・・（第２式）
が成り立つときには、カメラ１１の視野内に捕捉点Ｃｏであるバケット位置が入っていると判定することができる。ここで、車体側コントローラ１５で捕捉点Ｃｏが視野内に入っていると判別された場合の判定結果は、捕捉点Ｃｏがカメラ１１の視野内であるとみなしたことである。このとき、モニタ２１には、捕捉点Ｃｏが捉えられた映像が表示されるものと推定できる。

優先指示とは、図４に示すようにＲＡＭ１５ｃに視点Ｔｏと捕捉点Ｃｏの双方が記憶されている場合において、視点Ｔｏと捕捉点Ｃｏとを同時に満足するカメラ方向がない場合、どちらを優先してカメラ方向を制御するかを指示するものであり、これをＲＡＭ１５ｃに記憶しておくことによって、視点Ｔｏと捕捉点Ｃｏとを同時に満足するカメラ方向がない場合においてもカメラ方向の制御を安定に行うことができる。この優先指示は、作業内容に応じて任意に設定することができる。

以下、本実施形態に係る油圧ショベルのカメラ制御装置の動作を、図６及び図７に基づいて説明する。

図６は、システムの起動から雲台の駆動制御までの処理手順を示すフロー図である。この処理手順においては、システム起動後、角度検出器３ａ〜３ｄから出力される検出信号の読み込みと操作レバー２２から出力されるレバー指令値の読み込みを行い（フローＦ１）、これらの各信号の組合せから現在実行中の作業内容が積込作業であるのか、掘削作業であるのかを判定する（フローＦ２、Ｆ３）。フローＦ２にて現在実行中の作業内容が積込作業であると判定された場合には、ＲＡＭ１５ｃから積込作業に対応する視点と捕捉点と優先指示とを読み出し（フローＦ４）、読み出された優先指示に基づいて雲台駆動モータを駆動し、カメラ方向を制御する（フローＦ６）。一方、フローＦ３にて現在実行中の作業内容が掘削作業であると判定された場合には、ＲＡＭ１５ｃから掘削作業に対応する視点と捕捉点と優先指示とを読み出し（フローＦ５）、読み出された優先指示に基づいて雲台駆動モータを駆動し、カメラ方向を制御する（フローＦ６）。

図７は、優先指示に応じた雲台の駆動制御の処理手順を示すフロー図である。この処理手順においては、まずカメラ１１の視野内における視点Ｔｏの位置及び捕捉点Ｃｏの位置を計算した後（フローＦ１０）、ＲＡＭ１５ｃから読み出された優先指示が視点Ｔｏであるのか、捕捉点Ｃｏであるのかを判定する（フローＦ１１）。フローＦ１１において優先指示が視点Ｔｏであると判定された場合には、フローＦ１０にて算出された視点Ｔｏがカメラ１１の視野の中心に合致しているか否かが判定され（フローＦ１２）、合致していない場合にはフローＦ１０にて算出された視点Ｔｏがカメラ１１の視野の中心に合致する方向へカメラ１１を回動する（フローＦ１３）。一方、フローＦ１１において優先指示が捕捉点Ｃｏであると判定された場合には、フローＦ１０にて算出された捕捉点Ｃｏがカメラ１１の視野内に入っているか否かが判定され（フローＦ１４）、入っていない場合にはフローＦ１０にて算出された捕捉点Ｃｏがカメラ１１の視野内に入る方向へカメラ１１を回動し（フローＦ１５）、入っている場合にはフローＦ１０にて算出された視点Ｔｏがカメラ１１の視野の中心に合致する方向へカメラ１１を回動する（フローＦ１６）。

図４に示すようにＲＡＭ１５ｃに作業内容と視点Ｔｏと捕捉点Ｃｏと優先指示とが設定されている場合において、フローＦ３で現在実行中の作業内容が掘削作業であると判定された場合、図４に示すように掘削作業では捕捉点が優先されるので、図８に示すように捕捉点であるバケット位置Ｃｏがカメラ１１の視野内にあるときには、フローＦ１６の制御となり、視点Ｔｏが視野の中心となるようにカメラ１１の方向が制御される。そして、掘削作業中に捕捉点であるバケット位置Ｃｏがカメラ１１の視野内から出ると、制御の流れはフローＦ１５の制御となり、捕捉点であるバケット位置Ｃｏがカメラ１１の視野内に入るようにカメラ１１の方向が制御される。これにより、捕捉点であるバケット位置Ｃｏが常時カメラ１１の視野内に入るので、オペレータは実機に搭乗している場合と同様の感覚で油圧ショベルを遠隔操縦できると共に、捕捉点であるバケット位置Ｃｏが視野の中心となるようにカメラ１１の方向を制御する場合に比べてカメラ１１の方向変更の頻度を減少することができるので、モニタ２１を見ているオペレータの疲労感を軽減することができる。なお、溝の掘削作業のように掘削領域が広範囲な場合には、掘削領域を複数の領域に分割し、各分割領域毎に視点を設定することもできる。

また、図９（ｂ）に示すように油圧ショベル１の左方に駐車されたダンプトラックの荷台Ｂに掘削した土砂を積み込む作業においては、掘削作業からバケット１ｃが上げられ、左旋回の指令が出た時点で現在実行中の作業内容が積込作業であると判定される。作業内容が積込作業である場合には、図４に示すように、視点Ｔｏとしてダンプトラックの荷台位置が、捕捉点Ｃｏとしてバケット１ｃの位置が、優先指示として捕捉点Ｃｏがそれぞれ記憶されているので、積み込みのためにショベルの旋回を始めた時点ｔ１（図９（ａ）（ｉ））で、視点Ｔｏがダンプトラックの荷台位置に、捕捉点Ｃｏがバケット１ｃの位置に変更される。図４に示すように積込作業においても捕捉点Ｃｏが優先されるので、捕捉点Ｃｏであるバケット１ｃの位置がカメラ１１の視野内にないときには、フローＦ１５の制御となり、視野内にバケット１ｃが入るようにカメラ１１の方向が制御される。そして、この動作により捕捉点Ｃｏであるバケット１ｃの位置がカメラ１１の視野の端部に至った時点ｔ２で、カメラ１１の回動が一旦停止される（図９（ａ）（ｉｉｉ））。このとき、視点Ｔｏであるダンプトラックの荷台位置は、視野の中心になっていない場合もあり、このときのモニタ２１の画面は、図９（ａ）（ｖ）に示すようにショベルの旋回方向に視野が広がったものになる。この状態から、バケット１ｃがダンプトラックの荷台方向にさらに回転されると、荷台位置が視野の水平方向の中心となった時点ｔ３（図９（ａ）（ｉｉ））で、フロー１６の制御に変わり、視点Ｔｏであるダンプトラックの荷台位置がモニタ２１の中央部になるようにカメラ１１の回動が制御される。したがって、本例の制御では、カメラ方向が一旦バケット１ｃの方向に右転された後に、ダンプトラックの荷台方向に左転される。そして、バケット１ｃがダンプトラックの荷台上に至った段階で、図９（ａ）（ｖｉ）に示すように、バケット１ｃ及びダンプトラックの荷台Ｂがモニタ画面２１の中央部に写し出される。

このように、本実施形態に係る油圧ショベルのカメラ制御装置は、カメラ１１を自動制御式の雲台１２に取り付けたので、油圧ショベル１に備えるべきカメラ台数を減少することができ、システムの低コスト化と油圧ショベル１を遠隔操縦する際の作業性の改善を図ることができる。また、本実施形態に係る油圧ショベルのカメラ制御装置は、ＲＡＭ１５ｃに各作業内容に応じたカメラ１１の視点Ｔｏとカメラ１１の視野内に入れるべき捕捉点Ｃｏと視点Ｔｏ及び捕捉点Ｃｏのいずれかを優先するかを示す優先指示とを予め記憶し、実行中の作業内容に応じて適宜の視点Ｔｏと捕捉点Ｃｏと優先指示とを読み出しカメラ方向の制御を行うようにしたので、各作業内容を遠隔操縦にて実行する際に必要な映像を自動的に取得することができ、油圧ショベル１の遠隔操縦を高能率に行うことができる。

なお、前記実施形態においては、ＲＡＭ１５ｃに所要の視点Ｔｏと捕捉点Ｃｏと優先指示とを予め記憶したが、かかる構成に代えて、車体側コントローラ１５に視点Ｔｏ及び捕捉点Ｃｏの設定値を自動的に算出して書き換える学習機能を付加し、ＲＡＭ１５ｃに記憶されたこれらの設定値を作業の進捗に従って適宜書き換えることもできる。

例えば、バケット１ｃの位置が視点Ｔｏとして設定されており、バケット１ｃの上下動に応じてカメラ１１が繰り返し上下方向に駆動される場合において、カメラ１１の上下方向角βの変化のヒストグラムを貯蔵する。そして、図１０（ａ）に例示するヒストグラムが得られた段階で、最大頻度のカメラ方向βｍを検出し、視点Ｔｏをこの最大頻度のカメラ方向βｍ、捕捉点Ｃｏをバケット１ｃの位置、優先指示を捕捉点Ｃｏであるバケット１ｃの位置に設定する。これにより、カメラ１１をβｍの方向に向けたときの視野範囲、即ち、βｍを中心とする角度２Φの範囲ではカメラ１１が停止し、その領域を捕捉点Ｃｏであるバケット１ｃの位置を外れた場合のみ、バケット１ｃを視野内に入れるようにカメラ１１の方向が調整される。したがって、初期設定されたカメラ方向βｍの位置で掘削作業が行われる場合には、図１０（ｂ）に例示するように変化する。一方、溝の掘削作業のように掘削ポイントが作業の進捗状況に応じて変化する場合には、ヒストグラムの最大頻度の位置が掘削ポイントの移動方向に移動するので、新たな最大頻度のカメラ方向βｍを検出し、前記と同様の処理を行うことによって、カメラ方向を自動的に切り換えることができる。よって、ＲＡＭ１５ｃの書き換えを行うことなく、連続的に掘削作業を行うことができる。

また、前記実施形態においては、カメラ１１及び雲台１２を作業機械である油圧ショベル１に設置したが、かかる構成に代えて、カメラ１１及び雲台１２を作業現場の適宜の位置に設置することもできる。この場合にも、油圧ショベル１上に設置した場合と同様の効果が得られる。

さらに、前記実施形態においては、作業機械として油圧ショベル１を用いた場合を例にとって説明したが、ブルドーザやクレーンなどの他の作業機械にも応用できることは勿論である。

油圧ショベルの無線操縦システムを示す図である。 操作側及び車体側のコントローラの詳細を示す図である。 車体側コントローラによって実行される各種処理の説明図である。 メモリに記憶される作業内容と視点Ｔｏと捕捉点Ｃｏと優先指示の組合せの一例を示す表図である。 視点と捕捉点の説明図である。 システムの起動から雲台の駆動制御までの処理手順を示すフロー図である。 優先指示に応じた雲台の駆動制御の処理手順を示すフロー図である。 掘削作業時の視点と捕捉点との設定例を示す図である。 積込作業時の視点と捕捉点との設定例と各部の動作を示す図である。 視点の設定方法の他の例を示す図である。

符号の説明

１ 油圧ショベル
１ｃ バケット（作業部材）
２ 操縦室
３ａ〜３ｄ 角度検出器（計測装置）
１１ カメラ
１２ 雲台
１３，１４ 車体側無線機
１５ 車体側コントローラ
２１ モニタ
２２ 操作レバー
２３，２４ 操作側無線機
２５ 操作側コントローラ

Claims (5)

1. 作業部材及び作業部材を駆動するアクチュエータ並びにアクチュエータの状態量を計測する計測装置を有する作業機械と、当該作業機械の作業状況を撮像するカメラと、当該カメラの方向を変更する雲台と、当該雲台の制御部と、当該制御部に付設されたメモリとからなる作業機械のカメラ制御装置において、
   前記メモリに前記アクチュエータの状態量に応じた前記カメラの視点及び前記カメラの視野内に入れる捕捉点を記憶し、
   前記制御部は、前記計測装置から出力される前記アクチュエータの状態量信号に応じて前記メモリから前記視点又は前記捕捉点を選択的に読み出し、読み出したデータが視点であるときには前記カメラの光軸を当該読み出された視点に合致させるように前記雲台の姿勢を制御し、読み出したデータが捕捉点であるときには前記カメラの視野内に当該読み出された捕捉点が存在するように前記雲台の姿勢を制御することを特徴とする作業機械のカメラ制御装置。
2. 請求項１に記載の作業機械のカメラ制御装置において、
   前記メモリに前記アクチュエータの状態量に応じた前記視点及び前記捕捉点の組合せと前記視点を優先するか前記捕捉点を優先するかの優先指示とを記憶し、
   前記制御部は、前記計測装置から出力される前記アクチュエータの状態量信号に応じて前記メモリから前記視点及び前記捕捉点の組合せと前記優先指示とを読み出し、読み出した優先指示が前記視点の優先を指示しているときには前記カメラの方向を前記読み出された視点に合致させるように前記雲台の姿勢を制御し、読み出した優先指示が前記捕捉点の優先を指示しているときには前記カメラの視野内に前記読み出された捕捉点が存在するように前記雲台の姿勢を制御することを特徴とする作業機械のカメラ制御装置。
3. 請求項２に記載の作業機械のカメラ制御装置において、前記作業機械が油圧ショベルであり、前記アクチュエータの状態量信号が掘削作業を示している場合、前記視点を掘削ポイント、前記捕捉点を油圧ショベルのバケット位置、前記優先指示を捕捉点とし、かつ前記アクチュエータの状態量信号が積込作業を示している場合、前記視点を油圧ショベルの近傍に駐車されたダンプトラックの荷台位置、前記捕捉点を油圧ショベルのバケット位置、前記優先指示を捕捉点としたことを特徴とする作業機械のカメラ制御装置。
4. 請求項１に記載の作業機械のカメラ制御装置において、前記カメラ及び前記雲台を作業現場に設置したことを特徴とする作業機械のカメラ制御装置。
5. 請求項１に記載の作業機械のカメラ制御装置において、前記制御部に前記視点及び前記捕捉点の設定値を自動的に算出して書き換える学習機能を付加したことを特徴とする作業機械のカメラ制御装置。

Images