JP2018050119A - 作業車両の表示システム - Google Patents

作業車両の表示システム Download PDF

Info

Publication number
JP2018050119A
JP2018050119A JP2016183144A JP2016183144A JP2018050119A JP 2018050119 A JP2018050119 A JP 2018050119A JP 2016183144 A JP2016183144 A JP 2016183144A JP 2016183144 A JP2016183144 A JP 2016183144A JP 2018050119 A JP2018050119 A JP 2018050119A
Authority
JP
Japan
Prior art keywords
vehicle
work vehicle
camera
image
display system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016183144A
Other languages
English (en)
Inventor
山下 淳
Atsushi Yamashita
淳 山下
一 淺間
Hajime Asama
一 淺間
浩光 藤井
Hiromitsu Fujii
浩光 藤井
蔚 孫
Wei Sun
蔚 孫
卓 塚本
Taku Tsukamoto
卓 塚本
一樹 久禮
Kazuki Kure
一樹 久禮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Komatsu Ltd
University of Tokyo NUC
Original Assignee
Komatsu Ltd
University of Tokyo NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Komatsu Ltd, University of Tokyo NUC filed Critical Komatsu Ltd
Priority to JP2016183144A priority Critical patent/JP2018050119A/ja
Priority to US15/699,175 priority patent/US10787127B2/en
Priority to AU2017225147A priority patent/AU2017225147A1/en
Publication of JP2018050119A publication Critical patent/JP2018050119A/ja
Priority to AU2019213435A priority patent/AU2019213435B2/en
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/002Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/261Surveying the work-site to be treated
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/264Sensors and their calibration for indicating the position of the work tool
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

【課題】作業車両の周囲環境のみならず作業車両自体の状況も表示画像によって把握することができる表示システムを提供する。
【解決手段】第1カメラは、作業車両の一方の側部に取り付けられる。第1カメラの光軸は、水平方向に対して下方に傾斜している。第1カメラは、作業車両の少なくとも一部を示す第1車体部分と作業車両の周囲環境とを含む第1画像を取得する。演算装置は、第1カメラによって取得された第1画像から、周囲画像と車両画像とを含む表示画像を生成する。周囲画像は、作業車両の周囲環境を俯瞰的に示す。車両画像は、作業車両を示す車両モデルに第1カメラが取得した第1車体部分の画像を合成したものである。表示装置は、表示画像を表示する。
【選択図】図5

Description

本発明は、作業車両の表示システムに関する。
作業車両に取り付けられた複数のカメラによって取得された画像により、作業車両の周囲環境を俯瞰で示す表示画像を生成する表示システムが知られている。例えば、特許文献1に記載の表示システムでは、作業車両の車両本体の前後左右の各部分にカメラが取り付けられている。これらのカメラによって取得された画像が、作業車両の位置を中心とする半球状のモデルに合成されることで、周囲環境を俯瞰で示す表示画像が生成される。また、表示画像の中心には、CADデータ等によって予め生成された作業車両のモデルが配置される。
国際公開WO2016/031009A1号
上述の表示システムでは、車両本体にカメラが取り付けられているため、車両本体を撮影することができない。或いは、車両本体を撮影することができるとしても、視野の端に車両本体の一部が小さく写るだけである。そのため、表示画像では、カメラが撮影した画像ではなく、予め作成された車両モデルが作業車両として表示される。
しかし、上記のような表示画像では、作業車両の実際の動作状況を把握することは困難である。例えば、履帯式の走行装置を備える作業車両では、シュースリップの状況を表示画像からは把握できない。或いは、走行装置が接触している地面の状況を表示画像からは把握できない。また、作業車両には、運転室以外の部分(例えば車両本体の側部)に、人が乗るための場所が設けられるものがある。そのような場所に人がいるかどうかについても、表示画像から把握することは困難である。
本発明の課題は、作業車両の周囲環境のみならず作業車両自体の状況も表示画像によって把握することができる表示システムを提供することにある。
本発明の一態様に係る作業車両の表示システムは、作業車両と、第1カメラと、演算装置と、表示装置とを備える。第1カメラは、作業車両の一方の側部に取り付けられる。第1カメラの光軸は、水平方向に対して下方に傾斜している。第1カメラは、作業車両の少なくとも一部を示す第1車体部分と、作業車両の周囲環境とを含む第1画像を取得する。演算装置は、第1カメラによって取得された第1画像から、周囲画像と車両画像とを含む表示画像を生成する。周囲画像は、作業車両の周囲環境を俯瞰的に示す。車両画像は、作業車両を示す車両モデルに第1カメラが取得した第1車体部分の画像を合成したものである。表示装置は、表示画像を表示する。
本態様に係る作業車両の表示システムでは、第1カメラが取得した第1画像から、作業車両の周囲環境を俯瞰的に示す周囲画像を含む表示画像が生成される。そのため、表示画像によって作業車両の周囲環境を容易に把握することができる。また、第1カメラの光軸が、水平方向に対して下方に傾斜している。そのため、作業車両の第1車体部分が明確に写された画像を第1カメラによって取得することができる。そして、第1車体部分の画像が合成された車両画像が、表示画像に示される。そのため、表示画像によって実際の作業車両の状況を把握することができる。
本発明の他の態様に係る作業車両の表示システムは、作業車両と、第1カメラと、演算装置と、表示装置とを備える。第1カメラは、作業車両の一方の側部に取り付けられ、光軸が水平方向に対して下方に傾斜しており、作業車両の少なくとも一部を示す第1車体部分と作業車両の周囲環境とを含む第1画像を取得する。演算装置は、第1カメラによって取得された前記第1画像から、周囲画像と車両画像とを含む表示画像を生成する。周囲画像は、作業車両の周囲環境を俯瞰的に示す。車両画像は、第1車体部分の画像である。表示装置は、表示画像を表示する。
本発明によれば、作業車両の周囲環境のみならず作業車両自体の状況も表示画像によって把握することができる。
実施形態に係る作業車両の斜視図である。 実施形態に係る作業車両の側面図である。 実施形態に係る表示システムの構成、及び、表示システムによる処理の流れを示すブロック図である。 第1実施形態に係る作業車両におけるカメラの配置及び視野を示す平面図である。 第1側部カメラ及び第2側部カメラの配置及び視野を示す背面図である。 周囲合成画像の投影面の一例を示す図である。 車両モデルの一例を示す図である。 作業車両の実際の状況を示す斜視図である。 合成された表示画像の一例を示す斜視図である。 表示画像の拡大図である。 第2実施形態におけるカメラの配置及び視野を示す平面図である。 第1変形例に係る第1側部カメラ及び第2側部カメラの配置及び視野を示す背面図である。 第1変形例に係る第1車体部分を示す斜視図である。 第2変形例に係る第1側部カメラ及び第2側部カメラの配置及び視野を示す背面図である。 第2変形例に係る第1車体部分を示す斜視図である。 第3変形例に係る第1側部カメラ及び第2側部カメラの配置及び視野を示す背面図である。 第3変形例に係る第1車体部分を示す斜視図である。 第4変形例に係る第1側部カメラ及び第2側部カメラの配置及び視野を示す背面図である。 第4変形例に係る第1車体部分を示す斜視図である。
以下、図面を参照して、実施形態に係る作業車両の表示システムについて説明する。実施形態に係る表示システムは、図1に示すような作業車両1の周囲環境を表示するためのシステムである。本実施形態において、作業車両1はブルドーザである。作業車両1は、車両本体2と、作業機3と、を有する。車両本体2は、左右の走行装置4a,4bと、を備える。
車両本体2は、走行装置4a,4bによって支持されている。車両本体2は、エンジン室5を有する。エンジン室5内には、図視しないエンジン、及び、油圧ポンプなどの駆動装置が配置されている。車両本体2の後部には、リッパ装置6が取り付けられている。
左右の走行装置4a,4bは、作業車両1を走行させるための装置である。左右の走行装置4a,4bは、それぞれ履帯7a,7bを有している。履帯7a,7bが駆動されることにより作業車両1が走行する。
作業機3は、車両本体2の前方に配置されている。作業機3は、掘削、運土、或いは整地などの作業に用いられる。作業機3は、ブレード8と、チルトシリンダ9,10(図4参照)と、リフトシリンダ11と、アーム12,13(図4参照)と、を有する。ブレード8は、アーム12,13を介して車両本体2に支持されている。ブレード8は、上下方向に揺動可能に設けられている。チルトシリンダ9,10とリフトシリンダ11とは、ブレード8の姿勢を変更する。
図3は、作業車両1が備える表示システム20の構成、及び、表示システム20による処理の流れを示すブロック図である。図3に示すように、表示システム20は、複数のカメラC1−C4を有する。複数のカメラC1−C4は、車両本体2に取り付けられている。複数のカメラC1−C4は、魚眼カメラである。複数のカメラC1−C4のそれぞれの画角は180度である。ただし、複数のカメラC1−C4のそれぞれの画角は180度より小さくてもよい。或いは、複数のカメラC1−C4のそれぞれの画角は180度より大きくてもよい。複数のカメラC1−C4は、前部カメラC1と、第1側部カメラC2と、後部カメラC3と、第2側部カメラC4とを有する。
図4は、第1実施形態に係るカメラC1−C4の配置及び視野を示す平面図である。図4に示すように、前部カメラC1は、車両本体2の前部に取り付けられる。前部カメラC1は、車両本体2の前方を撮像し、作業車両1の周囲環境を含む画像を取得する。詳細には、図1及び図2に示すように、車両本体2は前カメラ支持部14を有する。前カメラ支持部14は、車両本体2の前部から上方に延びている。前部カメラC1は、前カメラ支持部14に取り付けられている。図4において矢印A1で示すように、前部カメラC1の光軸は、平面視において、前方を向いている。
図4に示すように、後部カメラC3は、車両本体2の後部に取り付けられる。後部カメラC3は、車両本体2の後方を撮像し、作業車両1の周囲環境を含む画像を取得する。図4において矢印A3で示すように、後部カメラC3の光軸は、平面視において、後方を向いている。
第1側部カメラC2は、車両本体2の一方の側部に取り付けられている。第2側部カメラC4は、車両本体2の他方の側部に取り付けられている。本実施形態では、第1側部カメラC2は、車両本体2の左側部に取り付けられ、第2側部カメラC4は、車両本体2の右側部に取り付けられている。ただし、第1側部カメラC2が、車両本体2の右側部に取り付けられ、第2側部カメラC4が、車両本体2の左側部に取り付けられてもよい。
第1側部カメラC2は、車両本体2の左方を撮像し、作業車両1の周囲環境を含む画像を取得する。第2側部カメラC4は、車両本体2の右方を撮像し、作業車両1の周囲環境を含む画像を取得する。第1側部カメラC2は、第2側部カメラC4よりも前方に取り付けられている。
矢印A2で示すように、第1側部カメラC2の光軸は、平面視において、車両左右方向に対して後方に傾斜している。第1側部カメラC2の光軸A2は、後斜め左方を向いている。矢印A4で示すように、第2側部カメラC4の光軸は、平面視において、車両左右方向に対して前方に傾斜している。第2側部カメラC4の光軸A4は、前斜め右方を向いている。
図4において、A_c1は、前部カメラC1の視野を示している。A_c2は、第1側部カメラC2の視野を示している。A_c3は、後部カメラC3の視野を示している。A_c4は、第2側部カメラC4の視野を示している。前部カメラC1の視野と第1側部カメラC2の視野とは、A_c1,c2において重なっている。第1側部カメラC2の視野と後部カメラC3の視野とは、A_c2,c3において重なっている。後部カメラC3の視野と第2側部カメラC4の視野とは、A_c3,c4において重なっている。前部カメラC1の視野と第2側部カメラC4の視野とは、A_c1,c4において重なっている。
図5は、第1側部カメラC2及び第2側部カメラC4の配置及び視野を示す背面図である。図5に示すように。第1側部カメラC2の光軸A2は、水平方向に対して下方に傾斜している。従って、第1側部カメラC2が取得する画像は、作業車両1の周囲環境と共に、作業車両1の少なくとも一部を示す第1車体部分を含む。第1車体部分は、左走行装置4aの履帯7aと、車両本体2の左側面とを含む。第1車体部分は、少なくとも車両本体2の一部を含む。第1車体部分は、少なくとも左走行装置4aの一部を含む。第1車体部分は、少なくとも車両本体2の左側面の一部を含む。
第1側部カメラC2と同様に、第2側部カメラC4の光軸A4は、水平方向に対して下方に傾斜している。従って、第2側部カメラC4が取得する画像は、作業車両1の周囲環境と共に、作業車両1の少なくとも一部を示す第2車体部分を含む。第2車体部分は、右走行装置4bの履帯7bと、車両本体2の右側面とを含む。第2車体部分は、少なくとも車両本体2の一部を含む。第2車体部分は、少なくとも右走行装置4bの一部を含む。第1車体部分は、少なくとも車両本体2の右側面の一部を含む。
本実施形態では、第1側部カメラC2及び第2側部カメラC4の光軸A2,A4の角度は、水平方向に対して下方に40度である。ただし、第1側部カメラC2及び第2側部カメラC4の光軸A2,A4の角度は40度に限らず、変更されてもよい。好ましくは、第1側部カメラC2及び第2側部カメラC4の光軸A2,A4の水平方向に対する角度は、15度以上且つ45度以下である。第1側部カメラC2及び第2側部カメラC4の光軸A2,A4の水平方向に対する角度は、この範囲以外であってもよい。
なお、前部カメラC1及び後部カメラC3の光軸A1,A3も、水平方向に対して下方に傾斜している。従って、前部カメラC1が取得する画像は、作業車両1の周囲環境と共に、作業車両1の前部を示す前車体部分含む。例えば、前車体部分は、ブレード8を含む。後部カメラC3が取得する画像は、作業車両1の周囲環境と共に、作業車両1の後部を示す後車体部分含む。例えば、後車体部分は、車両本体2の後面を含む。或いは、後車体部分は、リッパ装置6を含んでもよい。
前部カメラC1及び後部カメラC3の光軸A1,A3の水平方向に対する角度は、第1側部カメラC2及び第2側部カメラC4の水平方向に対する光軸A2,A4の角度よりも小さい。例えば、前部カメラC1及び後部カメラC3の光軸A1,A3の水平方向に対する角度は、20度である。
図3に示すように、表示システム20は、コントローラ21と表示装置22とを含む。カメラC1−C4は、有線或いは無線によりコントローラ21と通信可能に構成されている。カメラC1−C4は、取得した画像データをコントローラ21に送る。
コントローラ21は、カメラC1−C4によって撮像された画像データに基づいて、作業車両1の周囲環境を表示するための表示画像Isを生成するようプログラムされている。コントローラ21は、作業車両1の外部に配置されてもよい。或いは、コントローラ21は、作業車両1の内部に配置されてもよい。コントローラ21は、通信装置23と、演算装置24と、記憶装置25と、を有する。
通信装置23は、カメラC1−C4と有線、或いは無線によって通信を行う。通信装置23は、カメラC1−C4から画像データを取得する。
演算装置24は、CPUなどの処理装置によって構成される。演算装置24は、カメラC1−C4によって取得された画像から、表示画像Isを生成する。表示画像Isの生成については後述する。
記憶装置25は、RAM或いはROMなどのメモリ、或いは、ハードディスクなどの補助記憶装置25によって構成される。記憶装置25は、カメラC1−C4からの画像データを記憶する。また、記憶装置25は、表示画像Isの生成に用いられる各種のデータ及びプログラムを記憶している。
表示装置22は、例えばCRT、LCD或いはOELDなどのディスプレイによって構成される。ただし、表示装置22はこれらのディスプレイに限らず、他の種類のディスプレイであってもよい。表示装置22は、演算装置24からの出力信号に基づいて表示画像Isを表示する。
次に、表示画像Isの生成について詳細に説明する。まず、カメラC1−C4による撮像が行われる。通信装置23は、カメラC1−C4から、前方画像Im1と、左方画像Im2と、後方画像Im3と、右方画像Im4と、を取得する。前方画像Im1は、車両本体2の前方の画像である。左方画像Im2は、車両本体2の左方の画像である。後方画像Im3は、車両本体2の後方の画像である。右方画像Im4は、車両本体2の右方の画像である。
演算装置24は、カメラC1−C4が取得した画像Im1−Im4から周囲合成画像Is1を生成する。周囲合成画像Is1は、作業車両1の周囲を俯瞰的に示す画像である。演算装置24は、周囲環境の投影面に、カメラC1−C4から取得した画像を投影することで周囲合成画像Is1を生成する。
図6は、周囲環境の投影面M1の一例を示す図である。図6に示すように、周囲環境の投影面M1は、半球状の3次元メッシュモデルである。なお、図6では、周囲環境の投影面M1のメッシュ構造の一部のみを図示している。周囲環境の投影面M1のデータは、記憶装置25に記憶されている。演算装置24は、周囲環境の投影面M1に、カメラC1−C4が取得した画像Im1−Im4をテクスチャマッピングにより投影することで、周囲合成画像Is1を生成する。
演算装置24は、カメラC1−C4が取得した画像Im1−Im4から車両合成画像Is2を生成する。車両合成画像Is2は、作業車両1自体を3次元的に示す画像である。演算装置24は、車両モデルM2に、カメラC1−C4が取得した画像を投影することで車両合成画像Is2を生成する。
図7は、車両モデルM2の一例を示す図である。図7に示すように、車両モデルM2は、作業車両1の形状を有する3次元メッシュモデルである。なお、図7では、車両合成画像Is2のメッシュ構造の一部のみを図示している。車両モデルM2のデータは、記憶装置25に記憶されている。演算装置24は、車両モデルM2に、カメラC1−C4が取得した画像Im1−Im4をテクスチャマッピングにより投影することで、車両合成画像Is2を生成する。すなわち、前部カメラC1が取得した前車体部分の画像と、第1側部カメラC2が取得した第1車体部分の画像と、後部カメラC3が取得した後車体部分の画像と、第2側部カメラC4が取得した第2車体部分の画像とが車両モデルM2に合成されることで、車両合成画像Is2が生成される。車両モデルM2は独立した3次元メッシュモデルでなく、上述の半球状の3次元メッシュモデルが相当する部位を含んでもよい。
画像の合成のための具体的な手法については、例えば“Spatio-temporal bird’s-eye view images using multiple fish- eye cameras,”(Proceedings of the 2013 IEEE/SICE International Symposium on System Integration, pp. 753-758, 2013.)において示されている手法が用いられてもよい。 “Visualization of the surrounding environment and operational part ina 3DCG model for the teleoperation of construction machines,” (Proceedings of the 2015 IEEE/SICE International Symposium on System Integration, pp. 81-87, 2015.)において示されている手法が用いられてもよい。
表示装置22は、表示画像Isを表示する。図8は、作業車両1の実際の状況を示す斜視図である。図9は、表示画像Isの一例を示す図である。図9に示すように、表示画像Isは、作業車両1及びその周囲を斜め上方から見るように三次元的に表される。表示画像Isは、作業車両1及びその周囲を、前方且つ左方から斜めに見るように表される。表示画像Isは、作業車両1及びその周囲を、前方且つ右方から斜めに見るように表されることができる。表示画像Isは、作業車両1及びその周囲を、後方且つ左方から斜めに見るように表されることができる。また、表示画像Isは、作業車両1及びその周囲を、後方且つ右方から斜めに見るように表されることができる。
表示画像Isは、リアルタイムに更新され、動画として表示される。表示画像Isは、上述のように生成された周囲合成画像Is1と車両合成画像Is2とを含む。詳細には、表示画像Isでは、カメラC1−C4によって取得された作業車両1の周囲環境が、車両モデルM2の周囲に周囲合成画像Is1として表示される。
また、カメラC1−C4によって取得された車体部分の画像が、車両合成画像Is2として車両モデルM2に表示される。図10は、表示画像Isの拡大図である。図10に示すように、車両モデルM2の左の履帯M7aには、第1側部カメラC2が取得した第1車体部分の画像が合成される。これにより、実際の履帯7aの状態が車両モデルM2の履帯7a上に表示される。これにより、履帯7aの動きを表示画像Isの車両モデルM2によって把握することができる。また、実際の車両本体2の左側面の状態が、車両モデルM2の左側面に表示される。これにより、実際の車両本体2の左側面の状態を表示画像Isの車両モデルM2によって把握することができる。
なお、車両モデルM2の右の履帯M7bには、第2側部カメラC4が取得した第2車体部分の画像が合成される。これにより、実際の右の履帯7b、及び、車両本体2の右側面の状態が車両モデルM2に表示される。また、車両モデルM2のブレードM8には、前部カメラC1が取得した前車体部分の画像が合成される。これにより、実際のブレードの状態が車両モデルM2のブレードM8に表示される。車両モデルM2の後部には、後部カメラC3が取得した後車体部分の画像が合成される。これにより、作業車両1の後部の実際の状態が車両モデルM2の後部に表示される。
本実施形態に係る作業車両1の表示システム20では、カメラC1−C4が取得した画像から、作業車両1の周囲環境を俯瞰的に示す周囲合成画像Is1を含む表示画像Isが生成される。そのため、表示画像Isによって作業車両1の周囲環境を容易に把握することができる。
また、カメラC1−C4の光軸A1−A4が、水平方向に対して下方に傾斜している。そのため、作業車両1自体の一部が明確に写された画像をカメラC1−C4によって取得することができる。そして、カメラC1−C4によって取得された車体部分の画像が、表示画像Isにおいて車両合成画像Is2として示される。これにより、表示画像Isによって実際の作業車両1の状況を把握することができる。
特に、第1側部カメラC2によって取得された履帯7aの画像が、表示画像Isにおいて車両合成画像Is2として示される。これにより、シュースリップの発生など、履帯7aの状況を表示画像Isによって把握することができる。また、第1側部カメラC2によって取得された車両本体2の側面の画像が、表示画像Isにおいて車両合成画像Is2として示される。これにより、車両本体2の側面近傍での人の有無など、車両本体2の側面の状況を表示画像Isによって把握することができる。
また、第1側部カメラC2と同様に、第2側部カメラC4によって取得された履帯7b及び車両本体2の側面の画像によっても上記と同様の効果を得ることができる。
以上、本発明の実施形態について説明したが、本発明はこれらに限定されるものではなく、本発明の趣旨を逸脱しない限りにおいて種々の変更が可能である。
作業車両1は、ブルドーザに限らず、ホイールローダ、油圧ショベル、ダンプトラックなどの他の種類の作業車両であってもよい。作業車両1は、作業車両1の外部に配置されたコントローラから遠隔操作される車両であってもよい。或いは、作業車両1は、作業車両1に搭載される運転室内のオペレータによって直接的に操作される車両であってもよい。
周囲環境の投影面M1は、半球状に限らず、異なる形状であってもよい。車両モデルM2は、図7に示す形状に限らず、異なる形状であってもよい。
カメラの数は、4つに限らず、3つ以下、或いは5つ以上であってもよい。カメラは、魚眼カメラに限らず、他の種類のカメラであってもよい。
第1車体部分及び第2車体部分は、履帯に限らず、スプロケット、或いは転輪などの走行装置の他の部分であってもよい。或いは、第1車体部分及び第2車体部分は、走行装置に限らず、アーム12,13など走行装置以外の部分であってもよい。
カメラの配置は、上記の実施形態の配置に限らず、異なる配置であってもよい。図11は、第2実施形態に係るカメラC1−C4の配置を示す図である。図11に示すように、第1側部カメラC2及び第2側部カメラC4の光軸A2,A4は、左右方向を向いている。第1側部カメラC2及び第2側部カメラC4は、車両前後方向において車両本体2の中間部に配置されている。第1側部カメラC2及び第2側部カメラC4は、左右方向に概ね対称に配置されている。前部カメラC1及び後部カメラC3の配置は第1実施形態と同様である。また、カメラC1−C4の下方への傾斜角度は、第1実施形態と同様である。
第1側部カメラC2及び第2側部カメラC4の下方への傾斜角度は、第1側部カメラC2及び第2側部カメラC4の配置に応じて変更されてもよい。或いは、第1側部カメラC2及び第2側部カメラC4の下方への傾斜角度は、第1側部カメラC2及び第2側部カメラC4による作業車両1の撮影範囲を考慮して変更されてもよい。
例えば、図12は、第2実施形態の第1変形例に係る第1側部カメラC2及び第2側部カメラC4の配置を示す図である。図13は、第1変形例における第1側部カメラC2の有効撮影範囲を示す図である。有効撮影範囲は、第1側部カメラC2の画角のうち90%の範囲である。図12では、第1側部カメラC2の有効撮影範囲を破線で示している。図13では、第1側部カメラC2の有効撮影範囲に入る作業車両1の部分をハッチングで示している。例えば画角が180度であれば、第1側部カメラC2の画角162度の範囲に入る作業車両1の部分が、図13においてハッチングで示されている。
図12に示すように、第1側部カメラC2は、車両本体2の上面と略同じ高さ、且つ、車両本体2の左側面の直上に配置されている。第1側部カメラC2は、履帯7aの直上に配置されている。すなわち、第1側部カメラC2は、平面視において履帯7aと重なる。第1変形例での第1側部カメラC2の光軸A2の傾斜角度は、水平方向に対して下方に15度である。この場合、図13においてハッチングで示されているように、履帯7aの上面のうち左右方向における外方の縁部のみが、第1側部カメラC2の有効撮影範囲に入る。
図14は、第2実施形態の第2変形例に係る第1側部カメラC2及び第2側部カメラC4の配置を示す図である。図15は、第2変形例における第1側部カメラC2の有効撮影範囲を示す図である。図14に示すように、第1側部カメラC2は、第1変形例と同様に、車両本体2の上面と略同じ高さ、且つ、車両本体2の左側面の直上に配置されている。第2変形例での第1側部カメラC2の光軸A2の傾斜角度は、水平方向に対して下方に32度である。この場合、図15においてハッチングで示されているように、履帯7aの上面のうち左右方向における幅全体が、第1側部カメラC2の有効撮影範囲に入る。これにより、特に、履帯7aの前端の左右方向における幅全体が第1車体部分として車両合成画像Is2に含まれ、それにより、履帯7aの状態を効果的に把握することができる。また、車両本体2の側面の一部が第1側部カメラC2の有効撮影範囲に入る。これにより、車両本体2の側面の状態を効果的に把握することができる。
図16は、第2実施形態の第3変形例に係る第1側部カメラC2及び第2側部カメラC4の配置を示す図である。図17は、第3変形例における第1側部カメラC2の有効撮影範囲を示す図である。図16に示すように、第1側部カメラC2は、車両本体2の上面と略同じ高さ、且つ、履帯7aよりも車両左右方向における外方に配置される。第1側部カメラC2は、車両背面視において、アーム12の直上に配置される。第3変形例での第1側部カメラC2の光軸A2の傾斜角度は、水平方向に対して下方に34度である。この場合、図17においてハッチングで示されているように、履帯7aの上面のうち左右方向における外方の縁部のみが、第1側部カメラC2の有効撮影範囲に入る。
図18は、第2実施形態の第4変形例に係る第1側部カメラC2及び第2側部カメラC4の配置を示す図である。図19は、第4変形例における第1側部カメラC2の有効撮影範囲を示す図である。図18に示すように、第1側部カメラC2は、第3変形例と同様に、車両本体2の上面と略同じ高さ、且つ、履帯7aよりも車両左右方向における外方に配置される。この場合、図19においてハッチングで示されているように、履帯7aの上面のうち左右方向における幅全体が、第1側部カメラC2の有効撮影範囲に入る。また、車両本体2の側面の一部が第1側部カメラC2の有効撮影範囲に入る。
なお、上述した第1〜第4変形例では、第1側部カメラC2及び第2側部カメラC4は、車両本体2の上面から離れて配置されている。従って、第1側部カメラC2及び第2側部カメラC4は、ブラケットを介して車両本体2に取り付けられてもよい。或いは、車両本体2の一部が延長され、当該延長された部分に第1側部カメラC2及び第2側部カメラC4が取り付けられてもよい。
本発明によれば、作業車両の周囲環境のみならず作業車両自体の状況も表示画像によって把握することができる。
1 作業車両
C2 第1側部カメラ
24 演算装置
22 表示装置
20 表示システム
4a,4b 走行装置
7a,7b 履帯
C4 第2側部カメラ
C1 前部カメラ
C3 後部カメラ
Is1 周囲合成画像(周囲画像)
Is2 車両合成画像(車両画像)

Claims (16)

  1. 作業車両と、
    前記作業車両の一方の側部に取り付けられ、光軸が水平方向に対して下方に傾斜しており、前記作業車両の少なくとも一部を示す第1車体部分と前記作業車両の周囲環境とを含む第1画像を取得する第1カメラと、
    前記第1カメラによって取得された前記第1画像から、前記作業車両の周囲環境を俯瞰的に示す周囲画像と、前記作業車両を示す車両モデルに前記第1カメラが取得した前記第1車体部分の画像を合成した車両画像と、を含む表示画像を生成する演算装置と、
    前記表示画像を表示する表示装置と、
    を備える作業車両の表示システム。
  2. 前記第1車体部分は、前記作業車両の走行装置の少なくとも一部を含む、
    請求項1に記載の作業車両の表示システム。
  3. 前記走行装置は、履帯を含み、
    前記第1車体部分は、前記履帯の少なくとも一部を含む、
    請求項1または2に記載の作業車両の表示システム。
  4. 前記第1車体部分は、前記履帯の前端の左右方向における幅全体を含む、
    請求項3に記載の作業車両の表示システム。
  5. 前記第1カメラは、前記走行装置よりも車両左右方向における外方に配置される、
    請求項2から4のいずれかに記載の作業車両の表示システム。
  6. 前記第1車体部分は、前記作業車両の一方の側面を含む、
    請求項1から5のいずれかに記載の作業車両の表示システム。
  7. 前記第1カメラの光軸の水平方向に対する角度は、15度以上且つ45度以下である、
    請求項1から6のいずれかに記載の作業車両の表示システム。
  8. 前記第1カメラの画角は180度以上である、
    請求項1から7のいずれかに記載の作業車両の表示システム。
  9. 前記第1カメラの光軸は、車両左右方向に対して前後方向に傾斜している、
    請求項1から8のいずれかに記載の作業車両の表示システム。
  10. 前記作業車両の他方の側部に取り付けられ、光軸が水平方向に対して下方に傾斜しており、前記第1車体部分と異なる前記作業車両の少なくとも一部を示す第2車体部分と前記作業車両の周囲環境とを含む第2画像を取得する第2カメラをさらに備え、
    前記演算装置は、前記第1カメラによって取得された前記第1画像と前記第2カメラによって取得された前記第2画像とから、前記表示画像を生成する、
    請求項1から9のいずれかに記載の作業車両の表示システム。
  11. 前記第1カメラは、前記第2カメラよりも前方に取り付けられ、
    前記第1カメラの光軸は、車両左右方向に対して後方に傾斜しており、
    前記第2カメラの光軸は、車両左右方向に対して前方に傾斜している、
    請求項10に記載の作業車両の表示システム。
  12. 前記作業車両は、左右の走行装置を備え、
    前記第1車体部分は、前記左右の走行装置の一方を含み、
    前記第2車体部分は、前記左右の走行装置の他方を含む、
    請求項10又は11に記載の作業車両の表示システム。
  13. 前記作業車両の前部に取り付けられ、前記作業車両の周囲環境を含む第3画像を取得する前部カメラと、
    前記作業車両の後部に取り付けられ、前記作業車両の周囲環境を含む第4画像を取得する後部カメラと、
    をさらに備え、
    前記演算装置は、前記第1カメラと前記第2カメラと前記前部カメラと前記後部カメラとによって取得された前記第1画像ないし第4画像から、前記表示画像を生成する、
    請求項10から12のいずれかに記載の作業車両の表示システム。
  14. 作業車両と、
    前記作業車両の一方の側部に取り付けられ、光軸が水平方向に対して下方に傾斜しており、前記作業車両の少なくとも一部を示す第1車体部分と前記作業車両の周囲環境とを含む第1画像を取得する第1カメラと、
    前記第1カメラによって取得された前記第1画像から、前記作業車両の周囲環境を俯瞰的に示す周囲画像と、前記第1車体部分の画像である車両画像と、を含む表示画像を生成する演算装置と、
    前記表示画像を表示する表示装置と、
    を備える作業車両の表示システム。
  15. 前記車両画像は、前記作業車両を示す車両モデルに前記第1カメラが取得した前記第1車体部分の画像を合成した画像である、
    請求項14に記載の作業車両の表示システム。
  16. 前記作業車両は、作業機と、車両本体と、を備え、
    前記第1車体部分は、少なくとも前記車両本体の一方の側面の一部を含む、
    請求項14又は15に記載の作業車両の表示システム。
JP2016183144A 2016-09-20 2016-09-20 作業車両の表示システム Pending JP2018050119A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2016183144A JP2018050119A (ja) 2016-09-20 2016-09-20 作業車両の表示システム
US15/699,175 US10787127B2 (en) 2016-09-20 2017-09-08 Display system for work vehicle
AU2017225147A AU2017225147A1 (en) 2016-09-20 2017-09-08 Display system for work vehicle
AU2019213435A AU2019213435B2 (en) 2016-09-20 2019-08-09 Display system for work vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016183144A JP2018050119A (ja) 2016-09-20 2016-09-20 作業車両の表示システム

Publications (1)

Publication Number Publication Date
JP2018050119A true JP2018050119A (ja) 2018-03-29

Family

ID=61617818

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016183144A Pending JP2018050119A (ja) 2016-09-20 2016-09-20 作業車両の表示システム

Country Status (3)

Country Link
US (1) US10787127B2 (ja)
JP (1) JP2018050119A (ja)
AU (2) AU2017225147A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020003633A1 (ja) * 2018-06-29 2020-01-02 株式会社小松製作所 表示制御システム、表示制御装置、および表示制御方法
KR102140526B1 (ko) * 2019-04-26 2020-08-04 주식회사 켐트로닉스 어라운드 뷰 장치

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3623180B1 (en) * 2018-09-11 2021-05-05 Connaught Electronics Ltd. A method and system for determining a state of a trailer being towed by a vehicle
JP7208356B2 (ja) * 2018-09-26 2023-01-18 コーヒレント・ロジックス・インコーポレーテッド 任意の世界ビューの生成
DE102018131220A1 (de) * 2018-12-06 2020-06-10 Liebherr-Werk Bischofshofen Gmbh Arbeitsmaschine

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9648346B2 (en) * 2009-06-25 2017-05-09 Microsoft Technology Licensing, Llc Multi-view video compression and streaming based on viewpoints of remote viewer
JP5604146B2 (ja) * 2010-03-25 2014-10-08 富士通テン株式会社 車載照明装置、画像処理装置、画像表示システム及び照明方法
JP5550970B2 (ja) * 2010-04-12 2014-07-16 住友重機械工業株式会社 画像生成装置及び操作支援システム
JP5269026B2 (ja) * 2010-09-29 2013-08-21 日立建機株式会社 作業機械の周囲監視装置
US8457355B2 (en) * 2011-05-05 2013-06-04 International Business Machines Corporation Incorporating video meta-data in 3D models
EP2712969A4 (en) * 2011-05-13 2015-04-29 Hitachi Construction Machinery DEVICE FOR MONITORING THE AREA OF A WORKING MACHINE
DE102011116169A1 (de) * 2011-10-14 2013-04-18 Continental Teves Ag & Co. Ohg Vorrichtung zur Unterstützung eines Fahrers beim Fahren eines Fahrzeugs oder zum autonomen Fahren eines Fahrzeugs
JP6302624B2 (ja) * 2013-04-24 2018-03-28 住友重機械工業株式会社 画像生成装置
JP6267972B2 (ja) * 2014-01-23 2018-01-24 日立建機株式会社 作業機械の周囲監視装置
JP6095592B2 (ja) * 2014-02-17 2017-03-15 日立建機株式会社 油圧ショベルの監視画像表示装置
US10293752B2 (en) 2014-08-28 2019-05-21 The University Of Tokyo Display system for work vehicle, display control device, work vehicle, and display control method
JP6582557B2 (ja) * 2015-05-28 2019-10-02 株式会社ソシオネクスト 描画装置、描画方法および描画プログラム
WO2017094626A1 (ja) * 2015-11-30 2017-06-08 住友重機械工業株式会社 作業機械用周辺監視システム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020003633A1 (ja) * 2018-06-29 2020-01-02 株式会社小松製作所 表示制御システム、表示制御装置、および表示制御方法
JP2020002716A (ja) * 2018-06-29 2020-01-09 株式会社小松製作所 表示制御システム、表示制御装置、および表示制御方法
JP7080750B2 (ja) 2018-06-29 2022-06-06 株式会社小松製作所 表示制御システム、遠隔操作システム、表示制御装置、および表示制御方法
US11459735B2 (en) 2018-06-29 2022-10-04 Komatsu Ltd. Display control system, display control device, and display control method
KR102140526B1 (ko) * 2019-04-26 2020-08-04 주식회사 켐트로닉스 어라운드 뷰 장치

Also Published As

Publication number Publication date
AU2019213435A1 (en) 2019-08-29
US10787127B2 (en) 2020-09-29
AU2017225147A1 (en) 2018-04-05
US20180079361A1 (en) 2018-03-22
AU2019213435B2 (en) 2020-11-26

Similar Documents

Publication Publication Date Title
US10293752B2 (en) Display system for work vehicle, display control device, work vehicle, and display control method
AU2019213435B2 (en) Display system for work vehicle
CN105009572B (zh) 作业机械的周围监视装置
CN103890282A (zh) 作业机械的周围监视装置
JP6832548B2 (ja) 作業機械の画像表示システム、作業機械の遠隔操作システム、作業機械及び作業機械の画像表示方法
JP2013253402A (ja) 作業機械の周囲監視装置
JP6071786B2 (ja) 作業機械の周囲監視装置
JP2016030891A (ja) 旋回式作業機の周囲表示装置
JP6740259B2 (ja) 作業機械
JPWO2014123228A1 (ja) 旋回式作業機械の周囲監視装置
WO2019159687A1 (ja) 作業車両の表示システム及び生成方法
JP2016156262A (ja) 作業車両
WO2020170527A1 (ja) 作業機械用周辺監視装置
JP7219099B2 (ja) 作業機械のためのシステム及び方法
JP2013205956A (ja) 画像生成方法、画像生成装置、及び操作支援システム
WO2020153292A1 (ja) 作業機械のシステム及び方法
US11939744B2 (en) Display system, remote operation system, and display method
WO2020080294A1 (ja) 油圧ショベル
WO2016136536A1 (ja) 作業車両
WO2020153315A1 (ja) 作業機械のシステム及び方法
WO2023100533A1 (ja) 画像表示システム、遠隔操作支援システムおよび画像表示方法
JP6188858B2 (ja) 作業機械の周囲監視装置
JP2023032997A (ja) 遠隔操作システム
JP2020188474A (ja) ショベル