JP2010089632A - 監視対象領域表示システム - Google Patents

Abstract

【課題】監視カメラで撮られた撮画像を見ながら作業機械を操作するオペレータにとって、その操作に要する負担が小さくなり、作業能率を向上できる監視対象領域表示システムを提供する。
【解決手段】パソコン12上の地図ソフトにより監視対象領域Ａのデータを作成し、この監視対象領域Ａをウェブサーバ14から作業機械に搭載されたコントローラ18に無線通信により送信して記憶させる。コントローラ18は、作業機械に搭載されたＧＰＳ受信機19および傾きセンサ20により得られた作業機械の現在位置および姿勢と、作業機械に搭載された監視カメラ２の取付位置および姿勢とから、監視カメラ２で撮られた撮画像内における監視対象領域画像Ｂの位置を算出し、この算出結果をもとに監視対象領域画像Ｂを実際の撮画像Ｃに重ねて作業機械内に設置された表示装置５に表示する。
【選択図】図１

Description

本発明は、作業機械に搭載された監視カメラにより撮られた撮画像を見ながら作業機械を操作する際に用いる監視対象領域表示システムに関する。

建設機械において、オペレータが安全に作業が行なえるように、後方視界を補助する装置として、上部旋回体などの機体に後方監視用の監視カメラが後方に向けて設置され、その後方画像を表示させる表示装置が運転室内に設置されている（例えば、特許文献１参照）。
特開２００２−３７１５９４号公報（第３−５頁、図２−５）

この監視カメラおよび表示装置は、機体後方での人の有無などを確認する上では十分に効果を発揮するが、採石場などの屋外環境においては、崖などの危険箇所が背景の映像と同化することが多く、崖などの危険な地形を監視カメラシステムを通して認知するのは難しい場合がある。

例えば、図４に示されるように、作業機械１の後方監視用の監視カメラ２により後方に位置する崖３をとらえても、その崖３の背後に山４があるような場合は、これらの崖３と山４を表示装置５を通して見ると、従来の監視カメラ２および表示装置５では、崖３と山４の地形の不連続面６が分かりにくく、オペレータが崖３などの地形を認識することが困難であり、安全確認に要する作業機械オペレータの負担が大きく作業能率が低下している。

本発明は、このような点に鑑みなされたもので、監視カメラで撮られた撮画像を見ながら作業機械を操作するオペレータにとって、その操作に要する負担が小さくなり、作業能率を向上できる監視対象領域表示システムを提供することを目的とする。

請求項１に記載された発明は、コンピュータ上の地図ソフトにより監視対象領域のデータを作成し、この監視対象領域をウェブサーバから作業機械に搭載されたコントローラに無線通信により送信して記憶させ、コントローラは、作業機械に搭載されたグローバル・ポジショニング・システム受信機および傾きセンサにより得られた作業機械の現在位置および姿勢と、作業機械に搭載された監視カメラの取付位置および姿勢とから、監視カメラで撮られた撮画像内における監視対象領域画像の位置を算出し、この算出結果をもとに監視対象領域画像を実際の撮画像に重ねて作業機械に設置された表示装置に表示する監視対象領域表示システムである。

請求項２に記載された発明は、請求項１記載の監視対象領域表示システムにおける監視カメラが、作業機械の後方に向けて設置され、監視対象領域を、地形的に危険な危険領域としたものである。

請求項３に記載された発明は、請求項１記載の監視対象領域表示システムにおける監視カメラが、作業機械の前方に向けて設置され、監視対象領域を、地下埋設物が埋設されている埋設領域としたものである。

請求項４に記載された発明は、請求項１記載の監視対象領域表示システムにおける監視カメラが、作業機械の前方に向けて設置され、監視対象領域を、作業機械が作業予定している作業予定領域としたものである。

請求項１に記載された発明によれば、作業機械に搭載された監視カメラで撮られた実際の撮画像に、地図ソフトから作成した監視対象領域を重ねて作業機械に設置された表示装置に表示することで、監視カメラで撮られた撮画像を見ながら作業機械を操作するオペレータにとって、その操作に要する負担が小さくなり、作業能率を向上できる。

請求項２に記載された発明によれば、監視カメラで撮られた撮画像では崖などの地形的に危険な危険領域が背景の映像と同化して認知しにくい場合であっても、地図ソフトから作成した監視対象領域を実際の撮画像に重ねて表示装置に表示することで、危険領域を明示でき、作業の安全確認に要する負担が小さくなり、作業能率を向上できる。

請求項３に記載された発明によれば、埋設領域の表示をみながら作業をすることで、地下埋設物を避けながら確実に作業を行なうことができる。

請求項４に記載された発明によれば、作業予定領域の表示をみながら作業をすることで、作業予定域に沿って能率良く作業を行なうことができる。

以下、本発明を、図１乃至図３に示された一実施の形態を参照しながら詳細に説明する。

図１に示されるように、作業機械１のユーザ11は、コンピュータとしてのパーソナルコンピュータ（以下、単にパソコンという）12より、インターネット回線網またはイントラネット回線網13を経てウェブサーバ14と通信可能であり、さらに、携帯電話通信と衛星通信とを併用した携帯電話回路網である無線キャリアネットワーク15および中継局16を経て、作業機械１の通信モジュール17を介し、作業機械１に搭載されたコントローラとしての動態管理用コントローラ（以下、単にコントローラという）18と通信可能である。

このコントローラ18は、無線通信機能および演算機能を有し、作業機械１に装備されたグローバル・ポジショニング・システム受信機（以下、ＧＰＳ受信機という）19と、作業機械１に装備された傾きセンサ20とに接続され、ＧＰＳ受信機19により、作業機械１が現在位置する場所の緯度、経度および高度や車両の方位（ＧＰＳコンパス）を測位するとともに、傾きセンサ20により、車両の傾き角を検出することで、作業機械１に後方に向けて設置された後方監視用の監視カメラ２の姿勢を把握する。

作業機械１のコントローラ18は、作業機械１の運転室内に設置されたモニタなどの表示装置５とも有線で接続され、この表示装置５とも双方向通信可能であるとともに、ウェブサーバ14を介してユーザ11のパソコン12と双方向通信可能に構成されている。

ウェブサーバ14は、作業機械１のコントローラ18から無線通信で送信させた車両情報、動態データ（すなわち稼働データおよび位置情報）を受信して保存するとともに、ウェブサイトに反映させ、ユーザ11に対してウェブまたはメーラにて情報提供を行なう。

ユーザ11は、パソコン12からインターネット回線網またはイントラネット回線網13通じてウェブサーバ14にアクセスして、自分の所有または担当する作業機械１の稼働情報（稼働時間、燃料残量など）、機械情報（エンジン回転数、油圧機器状態など）、警告情報（未承認キー挿入、異常検出など）、メンテナンス情報（オイル交換時期、フィルタ交換時期など）の稼働データを閲覧したり、図２に示されるような危険領域などの監視対象領域の設定作業を行なう。

図２に示されるように、ユーザ11は、パソコン12上の地図ソフトなどにより表示装置５に明示したい危険領域などの監視対象領域Ａのベクトルデータを作成する。なお、このベクトルデータは、緯度および経度を用いて表現されるものとする。

具体的には、先ず、パソコン12の画面12a上に、ウェブにより取得した作業機械１周辺の地図Ｍを表示させる。この地図Ｍには、作業機械１が位置する場所がポイント1Pで示されている。

画面12a上の監視対象領域設定ボタンａをクリックして、危険領域などの監視対象領域の設定操作を開始する。この操作は、次の画面12bに示されるように、監視対象領域Ａをマウスを使って設定し、画面12b上に網掛けなどで表示する。設定された領域データは、緯度および経度で表現されたベクトルデータである。

そして、画面12b上の送信ボタンｂをクリックすることで、図１に示されるように、設定された監視対象領域Ａのベクトルデータをインターネット回線網またはイントラネット回線網13を経てウェブサーバ14に送信し、さらにウェブサーバ14から無線キャリアネットワーク15および中継局16を経て、作業機械１の通信モジュール17を介し、作業機械１に搭載されたコントローラ18に送信する。

作業機械１上のコントローラ18に送信されたベクトルデータは、その記憶部に保存される。一方、作業機械１側には作業機械１の現在位置（緯度、経度、高度）および姿勢（方位、傾き角）を取得可能なＧＰＳ受信機19や傾きセンサ20などのセンサが取付けられており、稼働中は常時自身の現在位置および姿勢を算出可能である。作業機械１に対する監視カメラ２の取付位置は決まっているので算出可能であり、監視カメラ２の姿勢（方位、傾き角）もＧＰＳ受信機19や傾きセンサ20の測定データから算出可能である。

コントローラ18は、ＧＰＳ受信機19および傾きセンサ20により得られた作業機械１の現在位置および姿勢と、監視カメラ２の取付位置および姿勢とから、ベクトルデータで設定された監視対象領域Ａを、監視カメラ２で撮られた実際の撮画像Ｃを表示する表示装置５の画面上における監視対象領域画像Ｂの表示位置に座標変換して、この監視対象領域画像Ｂの表示位置を常時算出する。

この監視対象領域画像Ｂを監視カメラ２による実際の撮画像Ｃと重ね合わせて表示装置５に表示させることで、オペレータは実際の撮画像Ｃにおいてどこが危険なのかをより簡単に認識することができるようになり、作業の安全確認に要する負担が小さくなり、作業能率が向上する。

次に、図３に示されたフローチャートに基づき、作業機械１側の操作を説明する。なお、図３中の丸数字は、ステップ番号を示す。

作業機械１のエンジンキースイッチを入れることで、作業機械１側の領域表示システム機能が開始する。

（ステップ１）
先ず、表示装置５からコントローラ18を介し通信モジュール17に問合せをして、危険領域などの監視対象領域Ａの設定または変更が有るか否かを判断する。

（ステップ２）
監視対象領域Ａの設定または変更が有る場合は、そのベクトルデータを通信モジュール17より取得し、作業機械１上のコントローラ18に設けられた記憶部に保存する。

（ステップ３）
監視カメラ２の撮画像すなわちキャプチャ画像を取込む。

（ステップ４）
作業機械１は、ＧＰＳ受信機19および傾きセンサ20により、作業機械の現在位置（緯度、経度、高度）および姿勢（方位、傾き角など）を取得し、常時、自身の現在位置および姿勢を算出する。

（ステップ５）
作業機械１は、自身の現在位置および姿勢と、監視カメラ２の取付位置および姿勢から、表示装置５の画面上での監視対象領域Ａがどのような監視対象領域画像Ｂとして映し出されるか、その表示装置５の画面上での表示位置を座標変換により常時算出する。

（ステップ６）
この計算結果を基に、監視対象領域画像Ｂを生成する。

（ステップ７）
監視カメラ２による実際の撮画像Ｃすなわちキャプチャ画像の上に、監視対象領域画像Ｂを重ね合わせた合成映像を生成する。

（ステップ８）
監視カメラ２によるキャプチャ画像と、網掛けなどにより表わされた監視対象領域画像Ｂとの合成映像を、表示装置５の画面上に出力して表示する。

（ステップ９）
エンジンキースイッチがオフか否かを判断して、オンであれば、ステップ１に戻り、オフに操作された場合は、この領域表示システムの機能を停止する。

次に、この図示された実施の形態の効果を説明する。

作業機械１に搭載された監視カメラ２で撮られた実際の撮画像Ｃに、地図ソフトから作成した監視対象領域画像Ｂを重ねて作業機械１に設置された表示装置５に表示することで、監視カメラ２で撮られた撮画像Ｃを見ながら作業機械１を操作するオペレータにとって、その操作に要する負担が小さくなり、作業能率を向上できる。

監視カメラ２で撮られた撮画像Ｃでは崖３などの地形的に危険な危険領域が背景の映像と同化して認知しにくい場合であっても、地図ソフトから作成した監視対象領域画像Ｂを実際の撮画像Ｃに重ねて表示装置５に表示することで、危険領域を明示でき、オペレータは、より簡単に周囲の地形などを確認でき、例えば崖３などの危険な地形を、同化しやすい背景の地形と確実に識別でき、作業の安全確認に要する負担が小さくなり、作業能率を向上できる。

次に、本システムは、危険領域に対して使うだけではなく、図２に示されるように、作業機械１の例えばキャブ７上に、作業装置８の先端部の作業状況を撮像できるように前方監視用の監視カメラ９が、作業機械１の前方に向けて設置され、地下埋設物が埋設されている監視対象領域としての埋設領域や、作業機械１が作業予定している監視対象領域としての作業予定領域の周辺の撮画像を撮り、これらの撮画像とともに埋設領域や作業予定領域を表示装置５に表示することで、水道管などの地下埋設物の場所を指示したり、または作業を実施する予定の場所を指示することも可能である。なお、具体的な操作手順は危険領域の場合と同様であるから、その説明を省略する。

このような埋設領域や作業予定領域の表示をみながら作業をすることで、地下埋設物を避けながら確実に作業を行なうことができ、また、作業予定域に沿って能率良く作業を行なうことができる。

なお、作業機械は、油圧ショベルを例示しているが、ブルドーザ、ローダなどに適用しても良い。

本発明の監視対象領域表示システムは、油圧ショベル、ブルドーザ、ローダなどの作業機械を稼働する際に利用可能である。

本発明に係る監視対象領域表示システムの一実施の形態を示すシステム構成図である。 同上表示システムのベクトルデータ作成工程を示す説明図である。 同上表示システムの手順を示すフローチャートである。 従来の問題点を示す説明図である。

符号の説明

１ 作業機械
２ 監視カメラ
５ 表示装置
９ 監視カメラ
12 コンピュータとしてのパソコン
14 ウェブサーバ
18 コントローラ
19 グローバル・ポジショニング・システム受信機（ＧＰＳ受信機）
Ａ 監視対象領域
Ｂ 監視対象領域画像
Ｃ 撮画像

Claims (4)

1. コンピュータ上の地図ソフトにより監視対象領域のデータを作成し、
   この監視対象領域をウェブサーバから作業機械に搭載されたコントローラに無線通信により送信して記憶させ、
   コントローラは、作業機械に搭載されたグローバル・ポジショニング・システム受信機および傾きセンサにより得られた作業機械の現在位置および姿勢と、作業機械に搭載された監視カメラの取付位置および姿勢とから、監視カメラで撮られた撮画像内における監視対象領域画像の位置を算出し、
   この算出結果をもとに監視対象領域画像を実際の撮画像に重ねて作業機械に設置された表示装置に表示する
   ことを特徴とする監視対象領域表示システム。
2. 監視カメラは、作業機械の後方に向けて設置され、
   監視対象領域は、地形的に危険な危険領域である
   ことを特徴とする請求項１記載の監視対象領域表示システム。
3. 監視カメラは、作業機械の前方に向けて設置され、
   監視対象領域は、地下埋設物が埋設されている埋設領域である
   ことを特徴とする請求項１記載の監視対象領域表示システム。
4. 監視カメラは、作業機械の前方に向けて設置され、
   監視対象領域は、作業機械が作業予定している作業予定領域である
   ことを特徴とする請求項１記載の監視対象領域表示システム。

Images