JP2018050119A - 作業車両の表示システム - Google Patents
作業車両の表示システム Download PDFInfo
- Publication number
- JP2018050119A JP2018050119A JP2016183144A JP2016183144A JP2018050119A JP 2018050119 A JP2018050119 A JP 2018050119A JP 2016183144 A JP2016183144 A JP 2016183144A JP 2016183144 A JP2016183144 A JP 2016183144A JP 2018050119 A JP2018050119 A JP 2018050119A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- work vehicle
- camera
- image
- display system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003287 optical effect Effects 0.000 claims abstract description 32
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 claims abstract description 5
- 240000004050 Pentaglottis sempervirens Species 0.000 claims description 3
- 230000002093 peripheral effect Effects 0.000 abstract 2
- 239000002131 composite material Substances 0.000 description 22
- 238000012986 modification Methods 0.000 description 21
- 230000004048 modification Effects 0.000 description 21
- 238000010586 diagram Methods 0.000 description 14
- 230000000007 visual effect Effects 0.000 description 7
- 230000012447 hatching Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 230000010354 integration Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000000034 method Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000009412 basement excavation Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/002—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
- B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/26—Indicating devices
- E02F9/261—Surveying the work-site to be treated
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
- B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
- B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/26—Indicating devices
- E02F9/264—Sensors and their calibration for indicating the position of the work tool
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Mechanical Engineering (AREA)
- Mining & Mineral Resources (AREA)
- Civil Engineering (AREA)
- General Engineering & Computer Science (AREA)
- Structural Engineering (AREA)
- Closed-Circuit Television Systems (AREA)
- Component Parts Of Construction Machinery (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
【課題】作業車両の周囲環境のみならず作業車両自体の状況も表示画像によって把握することができる表示システムを提供する。
【解決手段】第1カメラは、作業車両の一方の側部に取り付けられる。第1カメラの光軸は、水平方向に対して下方に傾斜している。第1カメラは、作業車両の少なくとも一部を示す第1車体部分と作業車両の周囲環境とを含む第1画像を取得する。演算装置は、第1カメラによって取得された第1画像から、周囲画像と車両画像とを含む表示画像を生成する。周囲画像は、作業車両の周囲環境を俯瞰的に示す。車両画像は、作業車両を示す車両モデルに第1カメラが取得した第1車体部分の画像を合成したものである。表示装置は、表示画像を表示する。
【選択図】図5
【解決手段】第1カメラは、作業車両の一方の側部に取り付けられる。第1カメラの光軸は、水平方向に対して下方に傾斜している。第1カメラは、作業車両の少なくとも一部を示す第1車体部分と作業車両の周囲環境とを含む第1画像を取得する。演算装置は、第1カメラによって取得された第1画像から、周囲画像と車両画像とを含む表示画像を生成する。周囲画像は、作業車両の周囲環境を俯瞰的に示す。車両画像は、作業車両を示す車両モデルに第1カメラが取得した第1車体部分の画像を合成したものである。表示装置は、表示画像を表示する。
【選択図】図5
Description
本発明は、作業車両の表示システムに関する。
作業車両に取り付けられた複数のカメラによって取得された画像により、作業車両の周囲環境を俯瞰で示す表示画像を生成する表示システムが知られている。例えば、特許文献1に記載の表示システムでは、作業車両の車両本体の前後左右の各部分にカメラが取り付けられている。これらのカメラによって取得された画像が、作業車両の位置を中心とする半球状のモデルに合成されることで、周囲環境を俯瞰で示す表示画像が生成される。また、表示画像の中心には、CADデータ等によって予め生成された作業車両のモデルが配置される。
上述の表示システムでは、車両本体にカメラが取り付けられているため、車両本体を撮影することができない。或いは、車両本体を撮影することができるとしても、視野の端に車両本体の一部が小さく写るだけである。そのため、表示画像では、カメラが撮影した画像ではなく、予め作成された車両モデルが作業車両として表示される。
しかし、上記のような表示画像では、作業車両の実際の動作状況を把握することは困難である。例えば、履帯式の走行装置を備える作業車両では、シュースリップの状況を表示画像からは把握できない。或いは、走行装置が接触している地面の状況を表示画像からは把握できない。また、作業車両には、運転室以外の部分(例えば車両本体の側部)に、人が乗るための場所が設けられるものがある。そのような場所に人がいるかどうかについても、表示画像から把握することは困難である。
本発明の課題は、作業車両の周囲環境のみならず作業車両自体の状況も表示画像によって把握することができる表示システムを提供することにある。
本発明の一態様に係る作業車両の表示システムは、作業車両と、第1カメラと、演算装置と、表示装置とを備える。第1カメラは、作業車両の一方の側部に取り付けられる。第1カメラの光軸は、水平方向に対して下方に傾斜している。第1カメラは、作業車両の少なくとも一部を示す第1車体部分と、作業車両の周囲環境とを含む第1画像を取得する。演算装置は、第1カメラによって取得された第1画像から、周囲画像と車両画像とを含む表示画像を生成する。周囲画像は、作業車両の周囲環境を俯瞰的に示す。車両画像は、作業車両を示す車両モデルに第1カメラが取得した第1車体部分の画像を合成したものである。表示装置は、表示画像を表示する。
本態様に係る作業車両の表示システムでは、第1カメラが取得した第1画像から、作業車両の周囲環境を俯瞰的に示す周囲画像を含む表示画像が生成される。そのため、表示画像によって作業車両の周囲環境を容易に把握することができる。また、第1カメラの光軸が、水平方向に対して下方に傾斜している。そのため、作業車両の第1車体部分が明確に写された画像を第1カメラによって取得することができる。そして、第1車体部分の画像が合成された車両画像が、表示画像に示される。そのため、表示画像によって実際の作業車両の状況を把握することができる。
本発明の他の態様に係る作業車両の表示システムは、作業車両と、第1カメラと、演算装置と、表示装置とを備える。第1カメラは、作業車両の一方の側部に取り付けられ、光軸が水平方向に対して下方に傾斜しており、作業車両の少なくとも一部を示す第1車体部分と作業車両の周囲環境とを含む第1画像を取得する。演算装置は、第1カメラによって取得された前記第1画像から、周囲画像と車両画像とを含む表示画像を生成する。周囲画像は、作業車両の周囲環境を俯瞰的に示す。車両画像は、第1車体部分の画像である。表示装置は、表示画像を表示する。
本発明によれば、作業車両の周囲環境のみならず作業車両自体の状況も表示画像によって把握することができる。
以下、図面を参照して、実施形態に係る作業車両の表示システムについて説明する。実施形態に係る表示システムは、図1に示すような作業車両1の周囲環境を表示するためのシステムである。本実施形態において、作業車両1はブルドーザである。作業車両1は、車両本体2と、作業機3と、を有する。車両本体2は、左右の走行装置4a,4bと、を備える。
車両本体2は、走行装置4a,4bによって支持されている。車両本体2は、エンジン室5を有する。エンジン室5内には、図視しないエンジン、及び、油圧ポンプなどの駆動装置が配置されている。車両本体2の後部には、リッパ装置6が取り付けられている。
左右の走行装置4a,4bは、作業車両1を走行させるための装置である。左右の走行装置4a,4bは、それぞれ履帯7a,7bを有している。履帯7a,7bが駆動されることにより作業車両1が走行する。
作業機3は、車両本体2の前方に配置されている。作業機3は、掘削、運土、或いは整地などの作業に用いられる。作業機3は、ブレード8と、チルトシリンダ9,10(図4参照)と、リフトシリンダ11と、アーム12,13(図4参照)と、を有する。ブレード8は、アーム12,13を介して車両本体2に支持されている。ブレード8は、上下方向に揺動可能に設けられている。チルトシリンダ9,10とリフトシリンダ11とは、ブレード8の姿勢を変更する。
図3は、作業車両1が備える表示システム20の構成、及び、表示システム20による処理の流れを示すブロック図である。図3に示すように、表示システム20は、複数のカメラC1−C4を有する。複数のカメラC1−C4は、車両本体2に取り付けられている。複数のカメラC1−C4は、魚眼カメラである。複数のカメラC1−C4のそれぞれの画角は180度である。ただし、複数のカメラC1−C4のそれぞれの画角は180度より小さくてもよい。或いは、複数のカメラC1−C4のそれぞれの画角は180度より大きくてもよい。複数のカメラC1−C4は、前部カメラC1と、第1側部カメラC2と、後部カメラC3と、第2側部カメラC4とを有する。
図4は、第1実施形態に係るカメラC1−C4の配置及び視野を示す平面図である。図4に示すように、前部カメラC1は、車両本体2の前部に取り付けられる。前部カメラC1は、車両本体2の前方を撮像し、作業車両1の周囲環境を含む画像を取得する。詳細には、図1及び図2に示すように、車両本体2は前カメラ支持部14を有する。前カメラ支持部14は、車両本体2の前部から上方に延びている。前部カメラC1は、前カメラ支持部14に取り付けられている。図4において矢印A1で示すように、前部カメラC1の光軸は、平面視において、前方を向いている。
図4に示すように、後部カメラC3は、車両本体2の後部に取り付けられる。後部カメラC3は、車両本体2の後方を撮像し、作業車両1の周囲環境を含む画像を取得する。図4において矢印A3で示すように、後部カメラC3の光軸は、平面視において、後方を向いている。
第1側部カメラC2は、車両本体2の一方の側部に取り付けられている。第2側部カメラC4は、車両本体2の他方の側部に取り付けられている。本実施形態では、第1側部カメラC2は、車両本体2の左側部に取り付けられ、第2側部カメラC4は、車両本体2の右側部に取り付けられている。ただし、第1側部カメラC2が、車両本体2の右側部に取り付けられ、第2側部カメラC4が、車両本体2の左側部に取り付けられてもよい。
第1側部カメラC2は、車両本体2の左方を撮像し、作業車両1の周囲環境を含む画像を取得する。第2側部カメラC4は、車両本体2の右方を撮像し、作業車両1の周囲環境を含む画像を取得する。第1側部カメラC2は、第2側部カメラC4よりも前方に取り付けられている。
矢印A2で示すように、第1側部カメラC2の光軸は、平面視において、車両左右方向に対して後方に傾斜している。第1側部カメラC2の光軸A2は、後斜め左方を向いている。矢印A4で示すように、第2側部カメラC4の光軸は、平面視において、車両左右方向に対して前方に傾斜している。第2側部カメラC4の光軸A4は、前斜め右方を向いている。
図4において、A_c1は、前部カメラC1の視野を示している。A_c2は、第1側部カメラC2の視野を示している。A_c3は、後部カメラC3の視野を示している。A_c4は、第2側部カメラC4の視野を示している。前部カメラC1の視野と第1側部カメラC2の視野とは、A_c1,c2において重なっている。第1側部カメラC2の視野と後部カメラC3の視野とは、A_c2,c3において重なっている。後部カメラC3の視野と第2側部カメラC4の視野とは、A_c3,c4において重なっている。前部カメラC1の視野と第2側部カメラC4の視野とは、A_c1,c4において重なっている。
図5は、第1側部カメラC2及び第2側部カメラC4の配置及び視野を示す背面図である。図5に示すように。第1側部カメラC2の光軸A2は、水平方向に対して下方に傾斜している。従って、第1側部カメラC2が取得する画像は、作業車両1の周囲環境と共に、作業車両1の少なくとも一部を示す第1車体部分を含む。第1車体部分は、左走行装置4aの履帯7aと、車両本体2の左側面とを含む。第1車体部分は、少なくとも車両本体2の一部を含む。第1車体部分は、少なくとも左走行装置4aの一部を含む。第1車体部分は、少なくとも車両本体2の左側面の一部を含む。
第1側部カメラC2と同様に、第2側部カメラC4の光軸A4は、水平方向に対して下方に傾斜している。従って、第2側部カメラC4が取得する画像は、作業車両1の周囲環境と共に、作業車両1の少なくとも一部を示す第2車体部分を含む。第2車体部分は、右走行装置4bの履帯7bと、車両本体2の右側面とを含む。第2車体部分は、少なくとも車両本体2の一部を含む。第2車体部分は、少なくとも右走行装置4bの一部を含む。第1車体部分は、少なくとも車両本体2の右側面の一部を含む。
本実施形態では、第1側部カメラC2及び第2側部カメラC4の光軸A2,A4の角度は、水平方向に対して下方に40度である。ただし、第1側部カメラC2及び第2側部カメラC4の光軸A2,A4の角度は40度に限らず、変更されてもよい。好ましくは、第1側部カメラC2及び第2側部カメラC4の光軸A2,A4の水平方向に対する角度は、15度以上且つ45度以下である。第1側部カメラC2及び第2側部カメラC4の光軸A2,A4の水平方向に対する角度は、この範囲以外であってもよい。
なお、前部カメラC1及び後部カメラC3の光軸A1,A3も、水平方向に対して下方に傾斜している。従って、前部カメラC1が取得する画像は、作業車両1の周囲環境と共に、作業車両1の前部を示す前車体部分含む。例えば、前車体部分は、ブレード8を含む。後部カメラC3が取得する画像は、作業車両1の周囲環境と共に、作業車両1の後部を示す後車体部分含む。例えば、後車体部分は、車両本体2の後面を含む。或いは、後車体部分は、リッパ装置6を含んでもよい。
前部カメラC1及び後部カメラC3の光軸A1,A3の水平方向に対する角度は、第1側部カメラC2及び第2側部カメラC4の水平方向に対する光軸A2,A4の角度よりも小さい。例えば、前部カメラC1及び後部カメラC3の光軸A1,A3の水平方向に対する角度は、20度である。
図3に示すように、表示システム20は、コントローラ21と表示装置22とを含む。カメラC1−C4は、有線或いは無線によりコントローラ21と通信可能に構成されている。カメラC1−C4は、取得した画像データをコントローラ21に送る。
コントローラ21は、カメラC1−C4によって撮像された画像データに基づいて、作業車両1の周囲環境を表示するための表示画像Isを生成するようプログラムされている。コントローラ21は、作業車両1の外部に配置されてもよい。或いは、コントローラ21は、作業車両1の内部に配置されてもよい。コントローラ21は、通信装置23と、演算装置24と、記憶装置25と、を有する。
通信装置23は、カメラC1−C4と有線、或いは無線によって通信を行う。通信装置23は、カメラC1−C4から画像データを取得する。
演算装置24は、CPUなどの処理装置によって構成される。演算装置24は、カメラC1−C4によって取得された画像から、表示画像Isを生成する。表示画像Isの生成については後述する。
記憶装置25は、RAM或いはROMなどのメモリ、或いは、ハードディスクなどの補助記憶装置25によって構成される。記憶装置25は、カメラC1−C4からの画像データを記憶する。また、記憶装置25は、表示画像Isの生成に用いられる各種のデータ及びプログラムを記憶している。
表示装置22は、例えばCRT、LCD或いはOELDなどのディスプレイによって構成される。ただし、表示装置22はこれらのディスプレイに限らず、他の種類のディスプレイであってもよい。表示装置22は、演算装置24からの出力信号に基づいて表示画像Isを表示する。
次に、表示画像Isの生成について詳細に説明する。まず、カメラC1−C4による撮像が行われる。通信装置23は、カメラC1−C4から、前方画像Im1と、左方画像Im2と、後方画像Im3と、右方画像Im4と、を取得する。前方画像Im1は、車両本体2の前方の画像である。左方画像Im2は、車両本体2の左方の画像である。後方画像Im3は、車両本体2の後方の画像である。右方画像Im4は、車両本体2の右方の画像である。
演算装置24は、カメラC1−C4が取得した画像Im1−Im4から周囲合成画像Is1を生成する。周囲合成画像Is1は、作業車両1の周囲を俯瞰的に示す画像である。演算装置24は、周囲環境の投影面に、カメラC1−C4から取得した画像を投影することで周囲合成画像Is1を生成する。
図6は、周囲環境の投影面M1の一例を示す図である。図6に示すように、周囲環境の投影面M1は、半球状の3次元メッシュモデルである。なお、図6では、周囲環境の投影面M1のメッシュ構造の一部のみを図示している。周囲環境の投影面M1のデータは、記憶装置25に記憶されている。演算装置24は、周囲環境の投影面M1に、カメラC1−C4が取得した画像Im1−Im4をテクスチャマッピングにより投影することで、周囲合成画像Is1を生成する。
演算装置24は、カメラC1−C4が取得した画像Im1−Im4から車両合成画像Is2を生成する。車両合成画像Is2は、作業車両1自体を3次元的に示す画像である。演算装置24は、車両モデルM2に、カメラC1−C4が取得した画像を投影することで車両合成画像Is2を生成する。
図7は、車両モデルM2の一例を示す図である。図7に示すように、車両モデルM2は、作業車両1の形状を有する3次元メッシュモデルである。なお、図7では、車両合成画像Is2のメッシュ構造の一部のみを図示している。車両モデルM2のデータは、記憶装置25に記憶されている。演算装置24は、車両モデルM2に、カメラC1−C4が取得した画像Im1−Im4をテクスチャマッピングにより投影することで、車両合成画像Is2を生成する。すなわち、前部カメラC1が取得した前車体部分の画像と、第1側部カメラC2が取得した第1車体部分の画像と、後部カメラC3が取得した後車体部分の画像と、第2側部カメラC4が取得した第2車体部分の画像とが車両モデルM2に合成されることで、車両合成画像Is2が生成される。車両モデルM2は独立した3次元メッシュモデルでなく、上述の半球状の3次元メッシュモデルが相当する部位を含んでもよい。
画像の合成のための具体的な手法については、例えば“Spatio-temporal bird’s-eye view images using multiple fish- eye cameras,”(Proceedings of the 2013 IEEE/SICE International Symposium on System Integration, pp. 753-758, 2013.)において示されている手法が用いられてもよい。 “Visualization of the surrounding environment and operational part ina 3DCG model for the teleoperation of construction machines,” (Proceedings of the 2015 IEEE/SICE International Symposium on System Integration, pp. 81-87, 2015.)において示されている手法が用いられてもよい。
表示装置22は、表示画像Isを表示する。図8は、作業車両1の実際の状況を示す斜視図である。図9は、表示画像Isの一例を示す図である。図9に示すように、表示画像Isは、作業車両1及びその周囲を斜め上方から見るように三次元的に表される。表示画像Isは、作業車両1及びその周囲を、前方且つ左方から斜めに見るように表される。表示画像Isは、作業車両1及びその周囲を、前方且つ右方から斜めに見るように表されることができる。表示画像Isは、作業車両1及びその周囲を、後方且つ左方から斜めに見るように表されることができる。また、表示画像Isは、作業車両1及びその周囲を、後方且つ右方から斜めに見るように表されることができる。
表示画像Isは、リアルタイムに更新され、動画として表示される。表示画像Isは、上述のように生成された周囲合成画像Is1と車両合成画像Is2とを含む。詳細には、表示画像Isでは、カメラC1−C4によって取得された作業車両1の周囲環境が、車両モデルM2の周囲に周囲合成画像Is1として表示される。
また、カメラC1−C4によって取得された車体部分の画像が、車両合成画像Is2として車両モデルM2に表示される。図10は、表示画像Isの拡大図である。図10に示すように、車両モデルM2の左の履帯M7aには、第1側部カメラC2が取得した第1車体部分の画像が合成される。これにより、実際の履帯7aの状態が車両モデルM2の履帯7a上に表示される。これにより、履帯7aの動きを表示画像Isの車両モデルM2によって把握することができる。また、実際の車両本体2の左側面の状態が、車両モデルM2の左側面に表示される。これにより、実際の車両本体2の左側面の状態を表示画像Isの車両モデルM2によって把握することができる。
なお、車両モデルM2の右の履帯M7bには、第2側部カメラC4が取得した第2車体部分の画像が合成される。これにより、実際の右の履帯7b、及び、車両本体2の右側面の状態が車両モデルM2に表示される。また、車両モデルM2のブレードM8には、前部カメラC1が取得した前車体部分の画像が合成される。これにより、実際のブレードの状態が車両モデルM2のブレードM8に表示される。車両モデルM2の後部には、後部カメラC3が取得した後車体部分の画像が合成される。これにより、作業車両1の後部の実際の状態が車両モデルM2の後部に表示される。
本実施形態に係る作業車両1の表示システム20では、カメラC1−C4が取得した画像から、作業車両1の周囲環境を俯瞰的に示す周囲合成画像Is1を含む表示画像Isが生成される。そのため、表示画像Isによって作業車両1の周囲環境を容易に把握することができる。
また、カメラC1−C4の光軸A1−A4が、水平方向に対して下方に傾斜している。そのため、作業車両1自体の一部が明確に写された画像をカメラC1−C4によって取得することができる。そして、カメラC1−C4によって取得された車体部分の画像が、表示画像Isにおいて車両合成画像Is2として示される。これにより、表示画像Isによって実際の作業車両1の状況を把握することができる。
特に、第1側部カメラC2によって取得された履帯7aの画像が、表示画像Isにおいて車両合成画像Is2として示される。これにより、シュースリップの発生など、履帯7aの状況を表示画像Isによって把握することができる。また、第1側部カメラC2によって取得された車両本体2の側面の画像が、表示画像Isにおいて車両合成画像Is2として示される。これにより、車両本体2の側面近傍での人の有無など、車両本体2の側面の状況を表示画像Isによって把握することができる。
また、第1側部カメラC2と同様に、第2側部カメラC4によって取得された履帯7b及び車両本体2の側面の画像によっても上記と同様の効果を得ることができる。
以上、本発明の実施形態について説明したが、本発明はこれらに限定されるものではなく、本発明の趣旨を逸脱しない限りにおいて種々の変更が可能である。
作業車両1は、ブルドーザに限らず、ホイールローダ、油圧ショベル、ダンプトラックなどの他の種類の作業車両であってもよい。作業車両1は、作業車両1の外部に配置されたコントローラから遠隔操作される車両であってもよい。或いは、作業車両1は、作業車両1に搭載される運転室内のオペレータによって直接的に操作される車両であってもよい。
周囲環境の投影面M1は、半球状に限らず、異なる形状であってもよい。車両モデルM2は、図7に示す形状に限らず、異なる形状であってもよい。
カメラの数は、4つに限らず、3つ以下、或いは5つ以上であってもよい。カメラは、魚眼カメラに限らず、他の種類のカメラであってもよい。
第1車体部分及び第2車体部分は、履帯に限らず、スプロケット、或いは転輪などの走行装置の他の部分であってもよい。或いは、第1車体部分及び第2車体部分は、走行装置に限らず、アーム12,13など走行装置以外の部分であってもよい。
カメラの配置は、上記の実施形態の配置に限らず、異なる配置であってもよい。図11は、第2実施形態に係るカメラC1−C4の配置を示す図である。図11に示すように、第1側部カメラC2及び第2側部カメラC4の光軸A2,A4は、左右方向を向いている。第1側部カメラC2及び第2側部カメラC4は、車両前後方向において車両本体2の中間部に配置されている。第1側部カメラC2及び第2側部カメラC4は、左右方向に概ね対称に配置されている。前部カメラC1及び後部カメラC3の配置は第1実施形態と同様である。また、カメラC1−C4の下方への傾斜角度は、第1実施形態と同様である。
第1側部カメラC2及び第2側部カメラC4の下方への傾斜角度は、第1側部カメラC2及び第2側部カメラC4の配置に応じて変更されてもよい。或いは、第1側部カメラC2及び第2側部カメラC4の下方への傾斜角度は、第1側部カメラC2及び第2側部カメラC4による作業車両1の撮影範囲を考慮して変更されてもよい。
例えば、図12は、第2実施形態の第1変形例に係る第1側部カメラC2及び第2側部カメラC4の配置を示す図である。図13は、第1変形例における第1側部カメラC2の有効撮影範囲を示す図である。有効撮影範囲は、第1側部カメラC2の画角のうち90%の範囲である。図12では、第1側部カメラC2の有効撮影範囲を破線で示している。図13では、第1側部カメラC2の有効撮影範囲に入る作業車両1の部分をハッチングで示している。例えば画角が180度であれば、第1側部カメラC2の画角162度の範囲に入る作業車両1の部分が、図13においてハッチングで示されている。
図12に示すように、第1側部カメラC2は、車両本体2の上面と略同じ高さ、且つ、車両本体2の左側面の直上に配置されている。第1側部カメラC2は、履帯7aの直上に配置されている。すなわち、第1側部カメラC2は、平面視において履帯7aと重なる。第1変形例での第1側部カメラC2の光軸A2の傾斜角度は、水平方向に対して下方に15度である。この場合、図13においてハッチングで示されているように、履帯7aの上面のうち左右方向における外方の縁部のみが、第1側部カメラC2の有効撮影範囲に入る。
図14は、第2実施形態の第2変形例に係る第1側部カメラC2及び第2側部カメラC4の配置を示す図である。図15は、第2変形例における第1側部カメラC2の有効撮影範囲を示す図である。図14に示すように、第1側部カメラC2は、第1変形例と同様に、車両本体2の上面と略同じ高さ、且つ、車両本体2の左側面の直上に配置されている。第2変形例での第1側部カメラC2の光軸A2の傾斜角度は、水平方向に対して下方に32度である。この場合、図15においてハッチングで示されているように、履帯7aの上面のうち左右方向における幅全体が、第1側部カメラC2の有効撮影範囲に入る。これにより、特に、履帯7aの前端の左右方向における幅全体が第1車体部分として車両合成画像Is2に含まれ、それにより、履帯7aの状態を効果的に把握することができる。また、車両本体2の側面の一部が第1側部カメラC2の有効撮影範囲に入る。これにより、車両本体2の側面の状態を効果的に把握することができる。
図16は、第2実施形態の第3変形例に係る第1側部カメラC2及び第2側部カメラC4の配置を示す図である。図17は、第3変形例における第1側部カメラC2の有効撮影範囲を示す図である。図16に示すように、第1側部カメラC2は、車両本体2の上面と略同じ高さ、且つ、履帯7aよりも車両左右方向における外方に配置される。第1側部カメラC2は、車両背面視において、アーム12の直上に配置される。第3変形例での第1側部カメラC2の光軸A2の傾斜角度は、水平方向に対して下方に34度である。この場合、図17においてハッチングで示されているように、履帯7aの上面のうち左右方向における外方の縁部のみが、第1側部カメラC2の有効撮影範囲に入る。
図18は、第2実施形態の第4変形例に係る第1側部カメラC2及び第2側部カメラC4の配置を示す図である。図19は、第4変形例における第1側部カメラC2の有効撮影範囲を示す図である。図18に示すように、第1側部カメラC2は、第3変形例と同様に、車両本体2の上面と略同じ高さ、且つ、履帯7aよりも車両左右方向における外方に配置される。この場合、図19においてハッチングで示されているように、履帯7aの上面のうち左右方向における幅全体が、第1側部カメラC2の有効撮影範囲に入る。また、車両本体2の側面の一部が第1側部カメラC2の有効撮影範囲に入る。
なお、上述した第1〜第4変形例では、第1側部カメラC2及び第2側部カメラC4は、車両本体2の上面から離れて配置されている。従って、第1側部カメラC2及び第2側部カメラC4は、ブラケットを介して車両本体2に取り付けられてもよい。或いは、車両本体2の一部が延長され、当該延長された部分に第1側部カメラC2及び第2側部カメラC4が取り付けられてもよい。
本発明によれば、作業車両の周囲環境のみならず作業車両自体の状況も表示画像によって把握することができる。
1 作業車両
C2 第1側部カメラ
24 演算装置
22 表示装置
20 表示システム
4a,4b 走行装置
7a,7b 履帯
C4 第2側部カメラ
C1 前部カメラ
C3 後部カメラ
Is1 周囲合成画像(周囲画像)
Is2 車両合成画像(車両画像)
C2 第1側部カメラ
24 演算装置
22 表示装置
20 表示システム
4a,4b 走行装置
7a,7b 履帯
C4 第2側部カメラ
C1 前部カメラ
C3 後部カメラ
Is1 周囲合成画像(周囲画像)
Is2 車両合成画像(車両画像)
Claims (16)
- 作業車両と、
前記作業車両の一方の側部に取り付けられ、光軸が水平方向に対して下方に傾斜しており、前記作業車両の少なくとも一部を示す第1車体部分と前記作業車両の周囲環境とを含む第1画像を取得する第1カメラと、
前記第1カメラによって取得された前記第1画像から、前記作業車両の周囲環境を俯瞰的に示す周囲画像と、前記作業車両を示す車両モデルに前記第1カメラが取得した前記第1車体部分の画像を合成した車両画像と、を含む表示画像を生成する演算装置と、
前記表示画像を表示する表示装置と、
を備える作業車両の表示システム。
- 前記第1車体部分は、前記作業車両の走行装置の少なくとも一部を含む、
請求項1に記載の作業車両の表示システム。
- 前記走行装置は、履帯を含み、
前記第1車体部分は、前記履帯の少なくとも一部を含む、
請求項1または2に記載の作業車両の表示システム。
- 前記第1車体部分は、前記履帯の前端の左右方向における幅全体を含む、
請求項3に記載の作業車両の表示システム。
- 前記第1カメラは、前記走行装置よりも車両左右方向における外方に配置される、
請求項2から4のいずれかに記載の作業車両の表示システム。
- 前記第1車体部分は、前記作業車両の一方の側面を含む、
請求項1から5のいずれかに記載の作業車両の表示システム。
- 前記第1カメラの光軸の水平方向に対する角度は、15度以上且つ45度以下である、
請求項1から6のいずれかに記載の作業車両の表示システム。
- 前記第1カメラの画角は180度以上である、
請求項1から7のいずれかに記載の作業車両の表示システム。
- 前記第1カメラの光軸は、車両左右方向に対して前後方向に傾斜している、
請求項1から8のいずれかに記載の作業車両の表示システム。
- 前記作業車両の他方の側部に取り付けられ、光軸が水平方向に対して下方に傾斜しており、前記第1車体部分と異なる前記作業車両の少なくとも一部を示す第2車体部分と前記作業車両の周囲環境とを含む第2画像を取得する第2カメラをさらに備え、
前記演算装置は、前記第1カメラによって取得された前記第1画像と前記第2カメラによって取得された前記第2画像とから、前記表示画像を生成する、
請求項1から9のいずれかに記載の作業車両の表示システム。
- 前記第1カメラは、前記第2カメラよりも前方に取り付けられ、
前記第1カメラの光軸は、車両左右方向に対して後方に傾斜しており、
前記第2カメラの光軸は、車両左右方向に対して前方に傾斜している、
請求項10に記載の作業車両の表示システム。
- 前記作業車両は、左右の走行装置を備え、
前記第1車体部分は、前記左右の走行装置の一方を含み、
前記第2車体部分は、前記左右の走行装置の他方を含む、
請求項10又は11に記載の作業車両の表示システム。
- 前記作業車両の前部に取り付けられ、前記作業車両の周囲環境を含む第3画像を取得する前部カメラと、
前記作業車両の後部に取り付けられ、前記作業車両の周囲環境を含む第4画像を取得する後部カメラと、
をさらに備え、
前記演算装置は、前記第1カメラと前記第2カメラと前記前部カメラと前記後部カメラとによって取得された前記第1画像ないし第4画像から、前記表示画像を生成する、
請求項10から12のいずれかに記載の作業車両の表示システム。
- 作業車両と、
前記作業車両の一方の側部に取り付けられ、光軸が水平方向に対して下方に傾斜しており、前記作業車両の少なくとも一部を示す第1車体部分と前記作業車両の周囲環境とを含む第1画像を取得する第1カメラと、
前記第1カメラによって取得された前記第1画像から、前記作業車両の周囲環境を俯瞰的に示す周囲画像と、前記第1車体部分の画像である車両画像と、を含む表示画像を生成する演算装置と、
前記表示画像を表示する表示装置と、
を備える作業車両の表示システム。
- 前記車両画像は、前記作業車両を示す車両モデルに前記第1カメラが取得した前記第1車体部分の画像を合成した画像である、
請求項14に記載の作業車両の表示システム。
- 前記作業車両は、作業機と、車両本体と、を備え、
前記第1車体部分は、少なくとも前記車両本体の一方の側面の一部を含む、
請求項14又は15に記載の作業車両の表示システム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016183144A JP2018050119A (ja) | 2016-09-20 | 2016-09-20 | 作業車両の表示システム |
US15/699,175 US10787127B2 (en) | 2016-09-20 | 2017-09-08 | Display system for work vehicle |
AU2017225147A AU2017225147A1 (en) | 2016-09-20 | 2017-09-08 | Display system for work vehicle |
AU2019213435A AU2019213435B2 (en) | 2016-09-20 | 2019-08-09 | Display system for work vehicle |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016183144A JP2018050119A (ja) | 2016-09-20 | 2016-09-20 | 作業車両の表示システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018050119A true JP2018050119A (ja) | 2018-03-29 |
Family
ID=61617818
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016183144A Pending JP2018050119A (ja) | 2016-09-20 | 2016-09-20 | 作業車両の表示システム |
Country Status (3)
Country | Link |
---|---|
US (1) | US10787127B2 (ja) |
JP (1) | JP2018050119A (ja) |
AU (2) | AU2017225147A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020003633A1 (ja) * | 2018-06-29 | 2020-01-02 | 株式会社小松製作所 | 表示制御システム、表示制御装置、および表示制御方法 |
KR102140526B1 (ko) * | 2019-04-26 | 2020-08-04 | 주식회사 켐트로닉스 | 어라운드 뷰 장치 |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3623180B1 (en) * | 2018-09-11 | 2021-05-05 | Connaught Electronics Ltd. | A method and system for determining a state of a trailer being towed by a vehicle |
JP7208356B2 (ja) * | 2018-09-26 | 2023-01-18 | コーヒレント・ロジックス・インコーポレーテッド | 任意の世界ビューの生成 |
DE102018131220A1 (de) * | 2018-12-06 | 2020-06-10 | Liebherr-Werk Bischofshofen Gmbh | Arbeitsmaschine |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9648346B2 (en) * | 2009-06-25 | 2017-05-09 | Microsoft Technology Licensing, Llc | Multi-view video compression and streaming based on viewpoints of remote viewer |
JP5604146B2 (ja) * | 2010-03-25 | 2014-10-08 | 富士通テン株式会社 | 車載照明装置、画像処理装置、画像表示システム及び照明方法 |
JP5550970B2 (ja) * | 2010-04-12 | 2014-07-16 | 住友重機械工業株式会社 | 画像生成装置及び操作支援システム |
JP5269026B2 (ja) * | 2010-09-29 | 2013-08-21 | 日立建機株式会社 | 作業機械の周囲監視装置 |
US8457355B2 (en) * | 2011-05-05 | 2013-06-04 | International Business Machines Corporation | Incorporating video meta-data in 3D models |
EP2712969A4 (en) * | 2011-05-13 | 2015-04-29 | Hitachi Construction Machinery | DEVICE FOR MONITORING THE AREA OF A WORKING MACHINE |
DE102011116169A1 (de) * | 2011-10-14 | 2013-04-18 | Continental Teves Ag & Co. Ohg | Vorrichtung zur Unterstützung eines Fahrers beim Fahren eines Fahrzeugs oder zum autonomen Fahren eines Fahrzeugs |
JP6302624B2 (ja) * | 2013-04-24 | 2018-03-28 | 住友重機械工業株式会社 | 画像生成装置 |
JP6267972B2 (ja) * | 2014-01-23 | 2018-01-24 | 日立建機株式会社 | 作業機械の周囲監視装置 |
JP6095592B2 (ja) * | 2014-02-17 | 2017-03-15 | 日立建機株式会社 | 油圧ショベルの監視画像表示装置 |
US10293752B2 (en) | 2014-08-28 | 2019-05-21 | The University Of Tokyo | Display system for work vehicle, display control device, work vehicle, and display control method |
JP6582557B2 (ja) * | 2015-05-28 | 2019-10-02 | 株式会社ソシオネクスト | 描画装置、描画方法および描画プログラム |
WO2017094626A1 (ja) * | 2015-11-30 | 2017-06-08 | 住友重機械工業株式会社 | 作業機械用周辺監視システム |
-
2016
- 2016-09-20 JP JP2016183144A patent/JP2018050119A/ja active Pending
-
2017
- 2017-09-08 US US15/699,175 patent/US10787127B2/en active Active
- 2017-09-08 AU AU2017225147A patent/AU2017225147A1/en not_active Abandoned
-
2019
- 2019-08-09 AU AU2019213435A patent/AU2019213435B2/en active Active
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020003633A1 (ja) * | 2018-06-29 | 2020-01-02 | 株式会社小松製作所 | 表示制御システム、表示制御装置、および表示制御方法 |
JP2020002716A (ja) * | 2018-06-29 | 2020-01-09 | 株式会社小松製作所 | 表示制御システム、表示制御装置、および表示制御方法 |
JP7080750B2 (ja) | 2018-06-29 | 2022-06-06 | 株式会社小松製作所 | 表示制御システム、遠隔操作システム、表示制御装置、および表示制御方法 |
US11459735B2 (en) | 2018-06-29 | 2022-10-04 | Komatsu Ltd. | Display control system, display control device, and display control method |
KR102140526B1 (ko) * | 2019-04-26 | 2020-08-04 | 주식회사 켐트로닉스 | 어라운드 뷰 장치 |
Also Published As
Publication number | Publication date |
---|---|
AU2019213435A1 (en) | 2019-08-29 |
US10787127B2 (en) | 2020-09-29 |
AU2017225147A1 (en) | 2018-04-05 |
US20180079361A1 (en) | 2018-03-22 |
AU2019213435B2 (en) | 2020-11-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10293752B2 (en) | Display system for work vehicle, display control device, work vehicle, and display control method | |
AU2019213435B2 (en) | Display system for work vehicle | |
CN105009572B (zh) | 作业机械的周围监视装置 | |
CN103890282A (zh) | 作业机械的周围监视装置 | |
JP6832548B2 (ja) | 作業機械の画像表示システム、作業機械の遠隔操作システム、作業機械及び作業機械の画像表示方法 | |
JP2013253402A (ja) | 作業機械の周囲監視装置 | |
JP6071786B2 (ja) | 作業機械の周囲監視装置 | |
JP2016030891A (ja) | 旋回式作業機の周囲表示装置 | |
JP6740259B2 (ja) | 作業機械 | |
JPWO2014123228A1 (ja) | 旋回式作業機械の周囲監視装置 | |
WO2019159687A1 (ja) | 作業車両の表示システム及び生成方法 | |
JP2016156262A (ja) | 作業車両 | |
WO2020170527A1 (ja) | 作業機械用周辺監視装置 | |
JP7219099B2 (ja) | 作業機械のためのシステム及び方法 | |
JP2013205956A (ja) | 画像生成方法、画像生成装置、及び操作支援システム | |
WO2020153292A1 (ja) | 作業機械のシステム及び方法 | |
US11939744B2 (en) | Display system, remote operation system, and display method | |
WO2020080294A1 (ja) | 油圧ショベル | |
WO2016136536A1 (ja) | 作業車両 | |
WO2020153315A1 (ja) | 作業機械のシステム及び方法 | |
WO2023100533A1 (ja) | 画像表示システム、遠隔操作支援システムおよび画像表示方法 | |
JP6188858B2 (ja) | 作業機械の周囲監視装置 | |
JP2023032997A (ja) | 遠隔操作システム | |
JP2020188474A (ja) | ショベル |