JP2015151794A - 産業機械の監視画像表示装置 - Google Patents

産業機械の監視画像表示装置 Download PDF

Info

Publication number
JP2015151794A
JP2015151794A JP2014027536A JP2014027536A JP2015151794A JP 2015151794 A JP2015151794 A JP 2015151794A JP 2014027536 A JP2014027536 A JP 2014027536A JP 2014027536 A JP2014027536 A JP 2014027536A JP 2015151794 A JP2015151794 A JP 2015151794A
Authority
JP
Japan
Prior art keywords
image
industrial machine
camera
monitoring
monitor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014027536A
Other languages
English (en)
Other versions
JP6095592B2 (ja
Inventor
古渡 陽一
Yoichi Kowatari
陽一 古渡
石本 英史
Hidefumi Ishimoto
英史 石本
守飛 太田
Moritaka Ota
守飛 太田
慶仁 稲野辺
Yoshihito Inanobe
慶仁 稲野辺
裕宣 田中
Hironobu Tanaka
裕宣 田中
藤田 浩二
Koji Fujita
浩二 藤田
隆史 草間
Takashi Kusama
隆史 草間
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Construction Machinery Co Ltd
Original Assignee
Hitachi Construction Machinery Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2014027536A priority Critical patent/JP6095592B2/ja
Application filed by Hitachi Construction Machinery Co Ltd filed Critical Hitachi Construction Machinery Co Ltd
Priority to CA2923033A priority patent/CA2923033C/en
Priority to AU2015216409A priority patent/AU2015216409B2/en
Priority to US14/916,058 priority patent/US20160217331A1/en
Priority to PCT/JP2015/051402 priority patent/WO2015122245A1/ja
Priority to EP15748978.2A priority patent/EP3110142B1/en
Priority to CN201580001771.5A priority patent/CN105493503B/zh
Publication of JP2015151794A publication Critical patent/JP2015151794A/ja
Application granted granted Critical
Publication of JP6095592B2 publication Critical patent/JP6095592B2/ja
Priority to US16/158,346 priority patent/US10650251B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/24Safety devices, e.g. for preventing overload
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/261Surveying the work-site to be treated
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】産業機械において、モニタに表示される画像の死角を少なくすることによって、作業の安全性がより向上させる。
【解決手段】産業機械としての油圧ショベル1には、監視用の画像を取得ずるために、監視用カメラ15F,15B,15L,15Rが上部旋回体3の各所に設けられ、これらのカメラで取得したカメラ画像21F,21B,21L,21Rを油圧ショベル1をイラスト画像化したアイコン画像21Cと共にモニタ20に表示するようになし、カメラ15F,15L,15Rは支持アーム40F,40L,40Rの先端に設けられて、上部旋回体3の旋回体本体3aから張り出した位置に設けて、上部旋回体3に設けられているキャットウォーク14の下部における隠れ部を視野に入れるようにしている。
【選択図】 図5

Description

本発明は、特に鉱山用といった大型の油圧ショベル、ダンプトラック,道路工事機械等からなる産業機械の稼働時に、その周囲監視を行う産業機械の監視画像表示装置に関するものである。
産業機械として、例えば油圧ショベルは、下部走行体とこの下部走行体に旋回可能に連結して設けた上部旋回体を有するものである。上部旋回体には作業手段としてフロント作業機が設けられる。フロント作業機はブーム及びアームを有するものであり、ブームは上部旋回体に俯仰動作可能に設けられ、アームはブームの先端に上下方向に回動可能に連結される。アームの先端にはフロントアタッチメントが設けられる。フロントアタッチメントは、掘削作業を行う場合には、バケットが用いられる。
作業手段としてのフロント作業機を駆動して、土砂の掘削等の作業を行う際に、作業の安全を確保するために、上部旋回体の周囲の状況を監視する周囲監視装置を設けたものは従来から知られている。この周囲監視装置は、上部旋回体にカメラを装着し、また運転室において、オペレータが着座する運転席の前方位置にモニタを設置することにより構成される。カメラの撮影画像は動画状態の映像にしてモニタ画面に表示される。油圧ショベルの走行時や掘削等の作業時の安全性の確保等のために上部旋回体の後方及び左右の両側方における視野も必要である。産業機械としての油圧ショベルの周囲に広い範囲の視野を得るために、旋回体に複数のカメラを装着する構成としたものは従来から用いられている。これによって、旋回体のほぼ全周にわたって死角をなくし、作業の安全確保及び産業機械の操作性の向上が図られる。
複数のカメラで取得した産業機械の周囲画像を上方視点となるように視点変換して、モニタ画面には平面的に投影した平面視監視画像として表示するように構成したものが特許文献1に開示されている。特許文献1においては、周囲監視画像を取得するために、油圧ショベルの上部旋回体に複数のカメラを設置して、これら各カメラからの画像をモニタ画面に合成して表示する構成としている。
カメラは油圧ショベルの後部位置と左右の両側部位置との3箇所に設置されており、これら各カメラの撮像レンズの光軸は斜め下方に向けられている。各カメラにより撮影された画像はスルー画像であるが、監視画像とするために、このスルー画像について視点変換処理される。この変換される視点は上方視点であって、これによって油圧ショベルの上方から投影した3枚の上方視点画像が得られる。
上方視点画像はモニタ画面に表示されるが、このときにモニタ画面には油圧ショベルをシンボル化したイラスト画像(具体的には油圧ショベルの平面イラスト画像)を表示し、各々のカメラで取得した上方視点画像はこのイラスト画像の周囲に配置する構成としている。より具体的には、イラスト画像をモニタ画面の中心位置に表示し、このイラスト画像の後方領域及び左右の側方領域に各上方視点画像を並べて、周囲監視用の俯瞰画像が表示される。
特開2010−204821号公報
ところで、油圧ショベルは鉱山による採鉱のためにも用いられる。この鉱山用の油圧ショベルは大型のものであり、下部走行体は左右の履帯を有するクローラ式のものとして構成される。下部走行体上に旋回装置を介して装着されている上部旋回体は地面から1.8m以上というように、上部旋回体に設けたカメラは上部旋回体の車体フレームの下部位置には大きな空間が存在する。油圧ショベルの周囲で作業を行う作業者は、上部旋回体の車体フレームの下部位置に入り込んでいることもあるが、周囲監視用のカメラの視野に捉えることができない場合がある。
産業機械の周囲監視をより実効あらしめるためには、監視用のカメラの死角となる部位を少なくする必要があり、理想的には死角がないようにすることが望ましい。勿論、産業機械の動作に影響のない遠く離れた位置は当然として、作業者等が入り込めない狭い場所、また下部走行体を構成する履帯の地面への踏み面は監視の対象としないが、特に大型の産業機械にあっては、上部旋回体のフレーム及びこのフレームから突出している部位の下部領域はできるだけ監視カメラの視野が及ぶようにする必要がある。
本発明は以上の点に鑑みてなされたものであって、その目的とするところは、監視カメラによる視野範囲を拡張して、周囲監視の実効性をより高くすることにある。
以上の課題を解決するため、本発明は、少なくとも一部に可動機構を有する産業機械に設けられ、この産業機械の周囲を視野とし、少なくとも一部が外形領域から突出した位置に設けた1または複数の監視用カメラと、前記監視用カメラにより上方から見下ろした平面視画像を生成する画像生成手段と、前記産業機械の平面であって、少なくとも輪郭線が図形化されたアイコン画像を作成するアイコン画像生成手段と、前記画像生成手段により取得した画像を前記アイコン画像生成手段により作成した前記アイコン画像の周囲に表示するように合成処理を行う画像合成手段と、この画像合成手段により合成された前記平面視画像が、前記アイコン画像の表示領域の内側に隠れている部位を部分的に含むように表示する画像表示手段とを備えることをその特徴とするものである。
本発明による産業機械の監視画像表示装置は、産業機械において、その動作時における周囲の安全確認等を行うための装置であり、産業機械は少なくとも一部に可動機構を有するものである。具体的には、作業手段や走行手段等である。このように構成される可動機構の安全な動作を行わせるために、画像による監視が行われる。画像は画像表示手段、つまりモニタに表示される。表示態様としては、当該産業機械の平面像をアイコン画像として表示する。アイコン画像は輪郭線で表される。
アイコン画像と共に監視カメラによる画像が表示される。従って、監視カメラの画像は平面視画像とする。このために、監視カメラは高所に配置して、光軸を下方に向けるようにすることにより平面視画像が得られる。監視カメラは少なくとも1か所または複数個所設けるようになし、望ましくは産業機械の周囲全体を撮影するために、4か所乃至それ以上の監視カメラを設置する。複数の監視カメラは相互に視野がオーバーラップするように配置して、表示を行う際には、画像の切り出しを行って、相隣接する画像間に連続性を持たせる。
産業機械の構造上から、その外形における下部位置に空間が生じる。例えば、産業機械として、大型の油圧ショベルの場合には、オペレータ等が通行するためのキャットウォークが設けられるが、このキャットウォークは構造体としての上部旋回体のフレームから外方に張り出すように設けられる。監視をこのキャットウォークの下部領域にまで及ぼすために、アイコン画像の内部に隠れている部位の画像を表示する。
キャットウォーク等、機械の外形を構成する部位に対して、監視カメラの位置を高い位置に設定する。しかも、構造体の輪郭線に対して、監視カメラは外側に突出する位置に配置する。これによって、地表の画像としては、外形より内側の部位まで表示できることになる。より内側まで視野を広げるには、カメラの位置は外形を規定する部位よりさらに高く、しかも外形部からの突出長さをより長くすることになる。ただし、上方及び側方への突出量を大きくすると、その分だけ他の物体と衝突する可能性が高くなる。従って、突出量には限度がある。
油圧ショベルのように、下部走行体の上に上部旋回体が旋回可能に設置されているものにあっては、上部旋回体の旋回半径がカメラの装着位置の突出長さの限界位置とする。安全に旋回するために、上部旋回体の旋回半径には、他の物体等と衝突しないようにする必要があるが、稼働時には旋回半径内には他の物体等が入り込まないようにする。従って、カメラの装着位置の突出長さの限界位置を上部旋回体の旋回半径内として設定することができる。そして、油圧ショベルの上部旋回体を構成する旋回体本体の所定の位置に支持アームを装着し、この支持アームの先端にカメラを装着する構成とすることができる。そして、カメラの装着位置を調整可能とするために、支持アームを長さ調節可能な構成としても良い。ただし、油圧ショベルのように、大きな振動が発生するおそれがある場合にあっては、カメラの装着位置がずれないようにする必要から、支持アームを剛体的に装着することが望ましい。
ところで、油圧ショベルにあっては、作業手段として、上部旋回体に土砂を掘削するために、フロント作業機が設けられている。フロント作業機は、上部旋回体の旋回フレームに俯仰動作可能に設けたブームと、このブームの先端に上下方向に回動可能なアームと、アームの先端に関節機構を介して連結したバケットとで構成される。掘削時にはバケットを地面に食い込ませることになる。従って、掘削動作時にバケットが接地する部位は危険な領域であり、他の車両や作業者が立ち入らないようにする必要がある。
このために、油圧ショベルが所定の位置にあるときに、つまり上部旋回体が所定の角度位置にあるときに、バケットにより掘削される領域をモニタに表示することは、作業の安全性の観点から重要である。特に、オペレータが搭乗せず、遠隔操作で掘削作業をする場合には、掘削しようとする位置をモニタに表示することは、作業の安全性や効率の点で特に重要である。
油圧ショベル等の産業機械において、モニタに表示される画像の死角を少なくすることによって、作業の安全性がより向上する。
産業機械の一例としての油圧ショベルの正面図である。 図1の油圧ショベルの平面図である。 図1の油圧ショベルの左側面図である。 図3の位置でのカメラの視野範囲を模式的に示す説明図である。 図2の位置でのカメラの視野範囲を模式的に示す説明図である。 モニタの画面部における各々の画像の表示領域の一例を示す図である。 モニタに表示されるアイコン画像の一例を示す平面図である。 モニタの表示コントローラの構成を示すブロック図である。 キャットウォークの下部における隠れ部を撮影視野に入れるための原理説明図である。 バケットによる掘削可能範囲を含めたモニタの画像態様の他の一例を示す説明図である。
以下、図面に基づいて本発明の実施の形態について説明する。まず、図1乃至図3に産業機械の一例としての油圧ショベル1の構成を示す。図1は油圧ショベル1の正面図であり、図2は平面図、図3は左側面図である。ここで、図2及び図3においては、後述するフロント作業機5は省略して示している。
油圧ショベル1は、クローラ式走行手段を有する下部走行体2と、この下部走行体2上に旋回可能に設置した上部旋回体3とを有するものである。上部旋回体3にはオペレータが搭乗して機械を操作するための運転室4が設置されており、また土砂の掘削等の作業を行う作業手段としてのフロント作業機5が設けられている。
従って、産業機械としての油圧ショベル1においては、下部走行体2による走行、上部旋回体3の旋回及びフロント作業機5により実行される作業といった動作が行われる。前述した各作動部の駆動は、油圧シリンダや油圧モータにより行われるものであり、可動部とその駆動部とで可動機構を構成している。また、電動モータ等、他のアクチュエータを用いたものもある。
油圧ショベル1の可動機構はオペレータが操作するものであり、運転室4は上部旋回体3の前方位置に装着されている。この運転室4の右手において、ほぼ並ぶような位置にフロント作業機5が設けられている上部旋回体3の運転室4及びフロント作業機5の後方位置には機械室を構成する建屋6が設けられ、これらにより旋回体本体3aが構成される。そして、最後端部にはカウンタウエイト7が設置されている。
フロント作業機5は、図示は省略するが、上部旋回体3の旋回体本体3aに俯仰動作可能に設けたブームと、このブームの先端に上下方向に回動可能に連結したアームと、このアームの先端に回動可能に連結した土砂の掘削等の作業を行うバケットとから構成され、これらブーム,アーム及びバケットは油圧シリンダにより駆動されるものである。なお、このフロント作業機5の具体的構成は、従来から周知の構成である。
旋回体本体3aには、さらにオペレータが運転室4に乗り降りするためのラダー13が設けられており、また通路を構成するキャットウォーク14も備えている。キャットウォーク14は旋回体本体3aの側部であって、高さ方向の中間位置において、側方に突出するように配置されており、このキャットウォーク14の下部位置は空間となっている。そして、ラダー13はキャットウォーク14に連なるように配置されている。ここで、旋回体本体3aはフレーム構造のものであり、キャットウォーク14及びラダー13は旋回体本体3aからの張り出し部となっている。
油圧ショベル1は、前述した可動機構を有するものであり、この可動機構の作動時における周囲の安全確保のために、周囲監視装置が設けられている。この周囲監視装置は、上部旋回体3に設けられ、動画撮影が可能な複数のビデオカメラから構成される。即ち、図4及び図5において、15Fは前方カメラ、15Bは後方カメラ、15L,15Rは左右の側方カメラである。これらのカメラ15F,15B,15L,15Rにより油圧ショベル1の周囲が監視される。なお、以下の説明において、カメラ監視用のカメラを総称する場合には、符号15を用いるものとする。
カメラ15F,15B,15L,15Rは上部旋回体3の旋回体本体3aに設けられており、これらは高所に配置されて、それらの光軸は下方を向いている。つまり、図4に示したように、各々のカメラ15で得られる画像は上方から見下ろした平面視画像となる。それぞれのカメラ15の配設位置は、油圧ショベル1の全周をモニタリングできる位置関係となるように設定されている。図5には、カメラ15F,15B,15L,15Rの配置の一例が示されている。
以上のように、各カメラ15F,15B,15L,15Rにより取得した画像は、図6に示したように、画像表示手段としてのモニタ20に表示されることになる。ここで、モニタ20は、運転室4において、オペレータが着座して油圧ショベル1の操作を行う運転席から目視できる位置に配置されている。
モニタ20に表示される各カメラ15F,15B,15L,15Rからの画像は平面視画像であり、モニタ20の画面は複数領域に分割されて、前述した各平面視画像が所定の範囲となるように切り出されて、モニタ20に設定されている各表示領域にカメラ画像21F,21B,21L,21Rが表示される。そして、画面の中央には、アイコン画像21Cの表示領域が設定されており、このアイコン画像21Cの表示領域には、図7に示したように、油圧ショベル1の平面像をシンボル化して表示される。ここで、アイコン画像21Cは監視対象とする産業機械としての油圧ショベルを単純化したものであり、図中においては油圧ショベル1の上部旋回体3,フロント作業機5及びキャットウォーク14が表示されており、これらの構成については、図9にも符号を付している。
図8にモニタ20における画像の表示制御を行う表示コントローラ30の構成を示す。表示コントローラ30は、画像補正部31を有し、各カメラ15F,15B,15L,15Rから入力されるカメラ画像は、この画像補正部31によって、カメラ光学系パラメータ等に基づいて、収差補正やコントラスト補正、色補正等といった通常の画像信号処理を行うことによって、それぞれ入力された画像の画質を向上させる。
モニタ20はカメラ画像21F,21B,21L,21Rの表示領域として割り当て表示されることから、表示コントローラ30は画像切り出し処理部32を備えており、各々カメラ15F,15B,15L,15Rで取得したカメラ画像21F,21B,21L,21Rはそれぞれの表示領域に表示できるサイズ及び形状となるように切り出される。
モニタ20には4か所のカメラ画像21F,21B,21L,21Rと共に、アイコン画像21が表示されるが、アイコン画像21Cはアイコン画像作成部33により作成される。そして、画像合成部33によって、各カメラ画像21F,21B,21L,21Rとアイコン画像21Cが合成表示されることになる。アイコン画像21Cはモニタ20の中央位置に表示され、各カメラ画像21F,21B,21L,21Rはこのアイコン画像21Cの周囲に配置される。画像合成部34の出力データは表示画像生成部35に入力されて、この表示画像生成部34からの出力により前述した各画像がそれぞれの位置に割り当てて表示されることになる。
カメラ15F,15B,15L,15Rは光軸を概略垂直方向に向けた状態で撮影することから、取得されるカメラ画像はいずれも平面視画像である。また、アイコン画像21Cも油圧ショベル1を平面化した画像である。従って、モニタ20には油圧ショベル1及びその周囲の状況を平面状態で表示され、もって油圧ショベル1の稼働時における状況はオペレータが容易に認識することができるようになる。
上部旋回体3に設けたカメラ15は地面に至るまでの光路に様々な部材なり機構なりといった遮蔽物が位置していることがある。従って、これらの遮蔽物の下方位置の画像は得られない。例えば、運転室4が設けられている上部旋回体3の左側の部位については、運転室4の下部位置には下部走行体2の接地面を構成する履帯の地面までの間に大きな空間が存在している。また、運転室4の後方側には、キャットウォーク14及びラダー13が設けられており、その下部位置も広い空間が存在している。これらの空間は上部旋回体3を平面視したときに、運転室4及びキャットウォーク14やラダー13等による広い隠れ部が存在することになる。しかも、このような隠れ部空間の内部には、オペレータや他の作業者等が入り込む可能性があるだけでなく、工具やその他の機器が配置されていることもあり、さらに大型の油圧ショベルの場合には車両等も入り込む余地はある。従って、油圧ショベル1の周辺監視という観点からは、前述した隠れ部の空間が監視カメラの視野内に捉えるようにすることが望まれる。
そこで、図9に示したように、この領域を撮影するカメラ15Lは旋回体本体3aに取り付けられるのではなく、旋回体本体3aから側方に突出する支持アーム40Lが設けられており、カメラ15Lは支持アーム40Lの先端に支持されている。従って、この支持アーム40Lに装着したカメラ15Lの光軸はキャットウォーク14の外端部より寸法pだけ外側に位置している。しかも、カメラ15Lは地上から高さhだけ高い位置となっており、このために地表面及びその近傍の高さ位置では、実質的に下部走行体2を構成する履帯の位置まで視野に入れることができる。しかも、カメラ15Lはラダー13を装着したキャットウォーク14の位置より前方位置に配置されているので、このキャットウォーク14の下部位置も視野に入れることができる。
右側方カメラ15R及び前方カメラ15Fも、同様に、旋回体本体3aから所定の方向に向けて張り出した支持アーム40R,40Fに装着されており、これらの部位の視野範囲を広げることができる。そして、モニタ20において、キャラクタ画像21Cに対しては、視野範囲を広げた分だけ透過状態にして表示する。この場合、アイコン画像21Cに表示される油圧ショベル1のシンボル画像は、部分的に透過状態になっているにしても、その外形の輪郭は表示されるようにする。従って、以下の説明においては、支持アームを総称する場合には、符号40を用いる。
このように、カメラ15を旋回体本体3aから突出するように設けた支持アーム40の先端に装着することによって、上部旋回体3の隠れ部を視野範囲に入れることができることになる。ここで支持アーム40の装着位置及び突出長さは上部旋回体3の構成に応じて適宜のものとすることができるが、突出長さは、図2に示した旋回半径Rを基準とし、この旋回半径Rより内側であれば、旋回体本体3aから大きく突出させても、他の物体と衝突する等のおそれはない。そして、支持アーム40は、好ましくは剛体で構成して、カメラ15を強固に固定することによって、振動等により位置ずれしないようにする。
ここで、本発明の実施例としては、左側面に設けたカメラ15Lの支持アーム40Lは側方に延在させ、カメラ15F及びカメラ15Rの支持アームで40F,40Rは前方に延在させているが、モニタ20に表示する隠れ部の位置に基づいて、延在方向が設けられているものである。また、カメラ15Bについては、図示したものにあっては、カウンタウエイト7の上部位置で、格別支持アームを設けるようにしていない。ただし、このカメラ15Bについても、支持アームに支持させて設けることもできる。
以上のように構成することによって、油圧ショベル1の周囲の部位だけでなく、キャットウォーク14の下部位置等、上部旋回体3に覆われて隠れている部位もモニタ20に表示できるようになる。しかも、カメラ15を装着した上部旋回体3において、その視野から隠れている部位であって、作業者等が立ち入る可能性のある部位をモニタ20に表示されるようになり、周囲監視としての実効性を高めることができる。
上部旋回体3を構成する旋回体本体3aの下部位置において、隠れ部を透過して示すのは、人等が入り込むおそれのある部位であり、例えば履帯の接地面等、人等が入り込むおそれのない部位は表示する必要はなく、従ってカメラ15が装着される支持アーム40の高さ位置及び突出長さは、透過表示を行う必要のある隠れ部の位置と広がりとに基づいて適宜設定すれば良い。
ところで、油圧ショベル1は土砂の掘削等の作業を行うものであり、フロント作業機5が作動する。このフロント作業機5による土砂の掘削時には、その先端に設けたバケットが上方から土砂に向けて切り込むように作動することから、バケットの可動軌跡範囲に人や物体が位置していると、それらと衝突する可能性がある。この作業中にフロント作業機5が人や物体等と衝突しないように保護する必要がある。勿論、フロント作業機の動きは運転室4に搭乗しているオペレータが視認できる。そこで、図10に示したように、フロント作業機5のリーチ範囲において、そのバケットが接地する可能性のある範囲を掘削可能範囲Bとしてモニタ20に表示するようにしている。
フロント作業機5は上部旋回体3に設けられて、この上部旋回体3の旋回動作時には、フロント作業機5も同期して旋回することになる。そして、監視用のカメラ15F,15B,15L,15Rも上部旋回体3に設けられているので、これらカメラ15F,15B,15L,15Rによる画像上でのフロント作業機5に対する位置関係は変化しない。そこで、モニタ20にアイコン画像21Cを中心としたカメラ画像21F,21B,21L,21Rと共に、フロント作業機5が接地する可能性のある掘削可能範囲Bを表示するが、掘削可能範囲Bはバケットの幅寸法とその最大リーチ長さにより定まるものである。バケットは異なる幅寸法を有する複数種類のものがあるために、実際に油圧ショベル12に装着されたフロント作業機5の構成に応じて、掘削可能範囲Bを変えるようにするのが望ましい。
このように、モニタ20に掘削可能範囲Bを表示することによって、走行及び旋回を行って、掘削箇所を選定する際に、この掘削可能範囲Bを基準として油圧ショベル1を駆動することができ、掘削箇所の位置調整を容易に行うことができるようになる。従って、モニタ20に掘削可能範囲Bを表示することによって、作業の安全確保を図ることができるだけでなく、作業の効率性も向上する。
1 油圧ショベル
2 下部走行体
3 上部旋回体
3a 旋回体本体
4 運転室
5 フロント作業機
15,15F,15B,15L,15R カメラ
20 モニタ
21,21F,21B,21L,21R カメラ画像
21C アイコン画像

Claims (3)

  1. 少なくとも一部に可動機構を有する産業機械に設けられ、この産業機械の周囲を視野とし、少なくとも一部が外形領域から突出した位置に設けた1または複数の監視用カメラと、
    前記監視用カメラにより上方から見下ろした平面視画像を生成する画像生成手段と、
    前記産業機械の平面であって、少なくとも輪郭線が図形化されたアイコン画像を作成するアイコン画像生成手段と、
    前記画像生成手段により取得した画像を前記アイコン画像生成手段により作成した前記アイコン画像の周囲に表示するように合成処理を行う画像合成手段と、
    画像合成手段により合成された前記平面視画像が、前記アイコン画像の表示領域の内側に隠れている部位を部分的に含むように表示する画像表示手段と
    を備えた産業機械の監視画像表示装置。
  2. 前記産業機械は旋回可能なフレームを有するものであって、前記アイコン画像は前記フレーム及びこのフレームから外方への突出部を含む領域を輪郭線で表示したものであり、前記監視カメラは、前記輪郭線を構成する部位より上方位置であって、この輪郭線より外側に張り出すように設けるようにしたことを特徴とする請求項1記載の産業機械の監視画像表示装置。
  3. 前記産業機械は、前記フレームから突出する可動な作業手段を有するものであり、前記アイコン画像は、前記作業手段の移動軌跡を表示する可動域表示部を有するものである請求項1記載の産業機械の表示装置。
JP2014027536A 2014-02-17 2014-02-17 油圧ショベルの監視画像表示装置 Active JP6095592B2 (ja)

Priority Applications (8)

Application Number Priority Date Filing Date Title
JP2014027536A JP6095592B2 (ja) 2014-02-17 2014-02-17 油圧ショベルの監視画像表示装置
AU2015216409A AU2015216409B2 (en) 2014-02-17 2015-01-20 Monitoring image display device of industrial machine
US14/916,058 US20160217331A1 (en) 2014-02-17 2015-01-20 Monitoring image display device of industrial machine
PCT/JP2015/051402 WO2015122245A1 (ja) 2014-02-17 2015-01-20 産業機械の監視画像表示装置
CA2923033A CA2923033C (en) 2014-02-17 2015-01-20 Hydraulic excavator
EP15748978.2A EP3110142B1 (en) 2014-02-17 2015-01-20 Monitoring image display device of industrial machine
CN201580001771.5A CN105493503B (zh) 2014-02-17 2015-01-20 液压挖掘机
US16/158,346 US10650251B2 (en) 2014-02-17 2018-10-12 Monitoring image display device of industrial machine

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014027536A JP6095592B2 (ja) 2014-02-17 2014-02-17 油圧ショベルの監視画像表示装置

Publications (2)

Publication Number Publication Date
JP2015151794A true JP2015151794A (ja) 2015-08-24
JP6095592B2 JP6095592B2 (ja) 2017-03-15

Family

ID=53799993

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014027536A Active JP6095592B2 (ja) 2014-02-17 2014-02-17 油圧ショベルの監視画像表示装置

Country Status (7)

Country Link
US (2) US20160217331A1 (ja)
EP (1) EP3110142B1 (ja)
JP (1) JP6095592B2 (ja)
CN (1) CN105493503B (ja)
AU (1) AU2015216409B2 (ja)
CA (1) CA2923033C (ja)
WO (1) WO2015122245A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017071992A (ja) * 2015-10-09 2017-04-13 住友重機械工業株式会社 ショベル操作装置及びショベル操作方法
KR20180078970A (ko) * 2016-12-30 2018-07-10 화남전자 주식회사 건설장비의 주변부 모니터링을 위한 카메라 배치 구조

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107406035B (zh) * 2015-03-31 2020-09-25 株式会社小松制作所 工程作业机械
US9871968B2 (en) * 2015-05-22 2018-01-16 Caterpillar Inc. Imaging system for generating a surround-view image
JP2017082415A (ja) * 2015-10-23 2017-05-18 株式会社小松製作所 表示システム
JP2017081238A (ja) * 2015-10-23 2017-05-18 株式会社小松製作所 表示システムおよび作業車両
EP3680400B1 (en) * 2015-12-28 2021-09-22 Sumitomo (S.H.I.) Construction Machinery Co., Ltd. Shovel
WO2017077723A1 (ja) * 2016-03-29 2017-05-11 株式会社小松製作所 作業車両
JP6684682B2 (ja) 2016-08-18 2020-04-22 株式会社神戸製鋼所 建設機械
US10070071B2 (en) * 2016-08-30 2018-09-04 Caterpillar Inc. Method of imaging a machine environment and machine system implementing same
JP2018050119A (ja) * 2016-09-20 2018-03-29 国立大学法人 東京大学 作業車両の表示システム
CN109313840A (zh) * 2016-11-01 2019-02-05 住友建机株式会社 施工机械用安全管理系统、管理装置、安全管理方法
US10250812B2 (en) 2017-05-17 2019-04-02 Caterpillar Inc. Display system for machine
US10889958B2 (en) * 2017-06-06 2021-01-12 Caterpillar Inc. Display system for machine
US10662603B2 (en) * 2017-08-18 2020-05-26 Independence Excavating, Inc. Slope roller assembly
JP6958216B2 (ja) * 2017-10-17 2021-11-02 株式会社タダノ 作業車両
CN111052734B (zh) * 2017-10-17 2021-06-01 株式会社多田野 作业车辆
JP7143578B2 (ja) * 2017-10-17 2022-09-29 株式会社タダノ 作業車両
US10883256B2 (en) * 2018-05-25 2021-01-05 Deere & Company Object responsive control system for a work machine
CN109255335A (zh) * 2018-09-28 2019-01-22 广州希华通讯设备有限公司 用于建筑工地挖掘机的识别监控系统
CN114375568B (zh) 2019-09-20 2024-08-16 伟智有限公司 用于重型机械的前方影像生成装置
WO2021054757A1 (ko) * 2019-09-20 2021-03-25 주식회사 와이즈오토모티브 건설장비용 전방 영상 생성 장치
WO2021054758A1 (ko) * 2019-09-20 2021-03-25 주식회사 와이즈오토모티브 건설장비용 전방 영상 생성 장치
US11231501B2 (en) 2019-09-26 2022-01-25 Baidu Usa Llc Front and side three-LIDAR design for autonomous driving vehicles
CN115013386B (zh) * 2022-05-30 2023-06-23 燕山大学 基于视觉识别的液压系统防护装置控制方法及其控制装置
US11898332B1 (en) * 2022-08-22 2024-02-13 Caterpillar Inc. Adjusting camera bandwidth based on machine operation
CN116347240A (zh) * 2023-01-13 2023-06-27 北京天玛智控科技股份有限公司 煤矿综采工作面的视频监控方法、装置、电子设备和介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05112967A (ja) * 1991-10-23 1993-05-07 Hitachi Constr Mach Co Ltd 大型建設機械の照明装置
JPH10237900A (ja) * 1997-02-28 1998-09-08 Hitachi Constr Mach Co Ltd ラダ−を有する建設機械
JP2001173019A (ja) * 1999-12-20 2001-06-26 Komatsu Ltd 建設機械の昇降用ラダー装置
WO2012157438A1 (ja) * 2011-05-13 2012-11-22 日立建機株式会社 油圧ショベルの後方視野表示装置
JP2012252675A (ja) * 2011-06-07 2012-12-20 Komatsu Ltd ダンプトラック
JP2013124467A (ja) * 2011-12-13 2013-06-24 Sumitomo (Shi) Construction Machinery Co Ltd 建設機械の周囲画像表示装置及び周囲画像表示方法
WO2013183536A1 (ja) * 2012-06-08 2013-12-12 日立建機株式会社 自走式産業機械の表示装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100892269B1 (ko) * 2001-06-15 2009-04-09 가부시키가이샤 고마쓰 세이사쿠쇼 건설기계
JP3980565B2 (ja) * 2004-02-16 2007-09-26 松下電器産業株式会社 運転支援装置
KR100966288B1 (ko) * 2009-01-06 2010-06-28 주식회사 이미지넥스트 주변 영상 생성 방법 및 장치
JP4951639B2 (ja) 2009-03-02 2012-06-13 日立建機株式会社 周囲監視装置を備えた作業機械
JP5269026B2 (ja) * 2010-09-29 2013-08-21 日立建機株式会社 作業機械の周囲監視装置
US9113047B2 (en) * 2010-10-22 2015-08-18 Hitachi Construction Machinery Co., Ltd. Peripheral monitoring device for working machine
KR101735116B1 (ko) * 2011-01-24 2017-05-15 두산인프라코어 주식회사 건설중장비의 운행정보 기록장치
EP2712969A4 (en) * 2011-05-13 2015-04-29 Hitachi Construction Machinery DEVICE FOR MONITORING THE AREA OF A WORKING MACHINE
JP6167042B2 (ja) * 2012-01-12 2017-07-19 日立建機株式会社 自走式産業機械の周囲監視装置
JP5988683B2 (ja) * 2012-05-15 2016-09-07 日立建機株式会社 自走式産業機械の表示装置
JP2013253402A (ja) * 2012-06-06 2013-12-19 Hitachi Constr Mach Co Ltd 作業機械の周囲監視装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05112967A (ja) * 1991-10-23 1993-05-07 Hitachi Constr Mach Co Ltd 大型建設機械の照明装置
JPH10237900A (ja) * 1997-02-28 1998-09-08 Hitachi Constr Mach Co Ltd ラダ−を有する建設機械
JP2001173019A (ja) * 1999-12-20 2001-06-26 Komatsu Ltd 建設機械の昇降用ラダー装置
WO2012157438A1 (ja) * 2011-05-13 2012-11-22 日立建機株式会社 油圧ショベルの後方視野表示装置
JP2012252675A (ja) * 2011-06-07 2012-12-20 Komatsu Ltd ダンプトラック
JP2013124467A (ja) * 2011-12-13 2013-06-24 Sumitomo (Shi) Construction Machinery Co Ltd 建設機械の周囲画像表示装置及び周囲画像表示方法
WO2013183536A1 (ja) * 2012-06-08 2013-12-12 日立建機株式会社 自走式産業機械の表示装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017071992A (ja) * 2015-10-09 2017-04-13 住友重機械工業株式会社 ショベル操作装置及びショベル操作方法
KR20180078970A (ko) * 2016-12-30 2018-07-10 화남전자 주식회사 건설장비의 주변부 모니터링을 위한 카메라 배치 구조

Also Published As

Publication number Publication date
CA2923033A1 (en) 2015-08-20
US10650251B2 (en) 2020-05-12
CA2923033C (en) 2021-01-12
EP3110142B1 (en) 2021-12-22
JP6095592B2 (ja) 2017-03-15
CN105493503B (zh) 2018-08-24
CN105493503A (zh) 2016-04-13
AU2015216409A1 (en) 2016-03-17
US20190042858A1 (en) 2019-02-07
EP3110142A1 (en) 2016-12-28
EP3110142A4 (en) 2017-11-29
WO2015122245A1 (ja) 2015-08-20
US20160217331A1 (en) 2016-07-28
AU2015216409B2 (en) 2017-10-19

Similar Documents

Publication Publication Date Title
JP6095592B2 (ja) 油圧ショベルの監視画像表示装置
JP6204884B2 (ja) 旋回式作業機の周囲表示装置
JP6901605B2 (ja) 油圧ショベル
KR101945421B1 (ko) 작업 기계의 주변 감시 장치
JP6659673B2 (ja) 作業機械の周辺監視装置及び作業機械の周辺監視方法
KR101895830B1 (ko) 작업 기계의 주변 감시 장치
JP6427597B2 (ja) 作業機械の周辺監視装置及び作業機械の周辺監視方法
JP6106754B2 (ja) 作業機械の周囲監視装置
JP6071786B2 (ja) 作業機械の周囲監視装置
WO2013038874A1 (ja) 作業機の周囲監視装置
JP2013253402A (ja) 作業機械の周囲監視装置
JP2016194237A (ja) 作業機械
WO2021187082A1 (ja) 作業機械および作業機械の制御方法
US20210363732A1 (en) System and method for selectively displaying image data in a working machine
JP4465551B2 (ja) 後方監視カメラ装置
KR20170024295A (ko) 작업기계
JP6188858B2 (ja) 作業機械の周囲監視装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150910

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160830

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161027

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170207

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170214

R150 Certificate of patent or registration of utility model

Ref document number: 6095592

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150