JP2022063383A - 作業車両 - Google Patents

作業車両 Download PDF

Info

Publication number
JP2022063383A
JP2022063383A JP2020171623A JP2020171623A JP2022063383A JP 2022063383 A JP2022063383 A JP 2022063383A JP 2020171623 A JP2020171623 A JP 2020171623A JP 2020171623 A JP2020171623 A JP 2020171623A JP 2022063383 A JP2022063383 A JP 2022063383A
Authority
JP
Japan
Prior art keywords
image
display
unit
display mode
enlarged
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020171623A
Other languages
English (en)
Inventor
将志 段口
Masashi DANGUCHI
頌梧 鈴木
Shogo Suzuki
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yanmar Holdings Co Ltd
Original Assignee
Yanmar Holdings Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yanmar Holdings Co Ltd filed Critical Yanmar Holdings Co Ltd
Priority to JP2020171623A priority Critical patent/JP2022063383A/ja
Priority to EP21879769.4A priority patent/EP4228251A1/en
Priority to US18/031,006 priority patent/US20230407602A1/en
Priority to PCT/JP2021/031939 priority patent/WO2022080027A1/ja
Priority to KR1020237010738A priority patent/KR20230085138A/ko
Priority to CN202180069649.7A priority patent/CN116323317A/zh
Publication of JP2022063383A publication Critical patent/JP2022063383A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/261Surveying the work-site to be treated
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20Drives; Control devices
    • E02F9/2004Control mechanisms, e.g. control levers
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/267Diagnosing or detecting failure of vehicles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60YINDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2200/00Type of vehicle
    • B60Y2200/40Special vehicles
    • B60Y2200/41Construction vehicles, e.g. graders, excavators
    • B60Y2200/412Excavators

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】オペレータが直感的でわかりやすい操作を行って、表示画像の切り替え指示を容易に行うことを可能にする。【解決手段】作業車両は、作業車両の周囲の画像を監視画像として取得する監視画像取得部と、監視画像を拡大して拡大画像を生成する拡大画像生成部と、監視画像と拡大画像とのうちのどちらか一方を表示する表示部と、表示部での表示画像を監視画像と拡大画像とで切り替える指示を受け付ける単一の画像切替指示入力部と、単一の画像切替指示入力部で受け付けた指示に基づいて、監視画像または拡大画像を表示部に表示させる表示制御部と、を備える。【選択図】図2

Description

本発明は、作業車両に関する。
従来から、ショベルなどの作業車両の周囲を監視するシステムが種々提案されている。例えば、特許文献1のシステムでは、ショベルの周囲を複数のカメラで撮影し、取得した各画像から俯瞰画像を生成し、表示部に表示する。表示部には、複数のボタンスイッチが設けられている。オペレータが任意のボタンスイッチを押すと、上記俯瞰画像において、上記ボタンスイッチに対応する位置のカメラ画像が拡大表示される。カメラ画像と俯瞰画像とを切り替えて表示することにより、オペレータは周囲の監視に必要な情報を的確に取得することができる。
特開2012-74929号公報
ところが、特許文献1の構成では、表示画像の切り替えを指示するためのボタンスイッチが複数存在している。このため、オペレータは、どのボタンスイッチを押せばどの位置の表示画像を切り替えることができるのか、予め把握しておく必要がある。このため、オペレータは、表示画像の切り替え指示を行うための操作がしづらく、直感的でわかりやすい操作を行って表示画像の切り替え指示を行うことが困難であった。
本発明は、上記の問題点を解決するためになされたものであり、その目的は、オペレータが直感的でわかりやすい操作を行って、表示画像の切り替え指示を容易に行うことができる作業車両を提供することにある。
本発明の一側面に係る作業車両は、作業車両の周囲の画像を監視画像として取得する監視画像取得部と、前記監視画像を拡大して拡大画像を生成する拡大画像生成部と、前記監視画像と前記拡大画像とのうちのどちらか一方を表示する表示部と、前記表示部での表示画像を前記監視画像と前記拡大画像とで切り替える指示を受け付ける単一の画像切替指示入力部と、前記単一の画像切替指示入力部で受け付けた前記指示に基づいて、前記監視画像または前記拡大画像を前記表示部に表示させる表示制御部と、を備える。
上記の構成によれば、オペレータが直感的でわかりやすい操作を行って、表示画像の切り替え指示を容易に行うことができる。
本発明の実施の一形態に係る作業車両の一例である油圧ショベルの概略の構成を示す側面図である。 上記油圧ショベルの主要部の構成を示すブロック図である。 上記油圧ショベルが有する表示部の表示画面の一例を示す説明図である。 第1表示モードでの上記表示部の表示画面を示す説明図である。 第2表示モードでの上記表示部の表示画面を示す説明図である。 第3表示モードでの上記表示部の表示画面を示す説明図である。 第4表示モードでの上記表示部の表示画面を示す説明図である。 第5表示モードでの上記表示部の表示画面を示す説明図である。 第6表示モードでの上記表示部の表示画面を示す説明図である。 複数の表示モードの遷移の一例を示す説明図である。 上記表示部の表示画面の他の例を示す説明図である。 上記表示部の表示画面のさらに他の例を示す説明図である。
本発明の実施の形態について、図面に基づいて説明すれば、以下の通りである。
〔1.作業車両〕
図1は、本実施形態の作業車両の一例である油圧ショベル1の概略の構成を示す側面図である。油圧ショベル1は、下部走行体2と、作業機3と、上部旋回体4と、を備える。
ここで、図1において、方向を以下のように定義する。まず、下部走行体2が直進する方向を前後方向とし、そのうちの一方側を「前」とし、他方側を「後」とする。図1では、例として、走行モータ22に対してブレード23側を「前」として示す。また、前後方向に垂直な横方向を左右方向とする。このとき、操縦席41aに座ったオペレータ(操作者)から見て左側を「左」とし、右側を「右」とする。さらに、前後方向および左右方向に垂直な重力方向を上下方向とし、重力方向の上流側を「上」とし、下流側を「下」とする。
下部走行体2は、エンジン40からの動力を受けて駆動し、油圧ショベル1を走行させる。下部走行体2は、左右一対のクローラ21と、左右一対の走行モータ22と、を備える。各走行モータ22は、油圧モータである。左右の走行モータ22が、左右のクローラ21をそれぞれ駆動することにより、油圧ショベル1を前後進させることができる。下部走行体2には、整地作業を行うためのブレード23と、ブレードシリンダ23aとが設けられる。ブレードシリンダ23aは、ブレード23を上下方向に回動させる油圧シリンダである。
作業機3は、エンジン40からの動力を受けて駆動し、土砂等を掘り取る掘削作業を行う。作業機3は、ブーム31、アーム32、およびバケット33を備える。ブーム31、アーム32、およびバケット33を独立して駆動することにより、掘削作業を行うことができる。
ブーム31は、ブームシリンダ31aによって回動される。ブームシリンダ31aは、基端部が上部旋回体4の前部に支持され、伸縮自在に可動する。アーム32は、アームシリンダ32aによって回動される。アームシリンダ32aは、基端部がブーム31の先端部に支持され、伸縮自在に可動する。バケット33は、バケットシリンダ33aによって回動される。バケットシリンダ33aは、基端部がアーム32の先端部に支持され、伸縮自在に可動する。ブームシリンダ31a、アームシリンダ32a、およびバケットシリンダ33aは、油圧シリンダによって構成される。
バケット33は、作業機3の先端に設けられ、掘削作業を行うためのツメを備えた容器状の部材である。バケット33は、アーム32の先端にピン34を介して回動可能に取り付けられる。さらに、バケット33は、リンク機構35を介してバケットシリンダ33aと連結される。
アーム32の先端部には、クレーン作業用のフック36が取り付けられている。フック
36は、クレーン作業を行う鉤状の部材であり、リンク機構35に回動可能に設けられる。ここで、クレーン作業とは、吊り下げ対象となる対象物を吊り下げて昇降させる吊り作業を言う。フック36は、リンク機構35の軸を回動支点として回動可能に支持されており、バケット33から突出させた展開状態(図1参照)と、バケット33側に格納された格納状態(不図示)との間で姿勢変更することができる。例えば、バケット33による掘削作業を行う場合には、フック36を格納状態にする。一方、フック36によるクレーン作業を行う場合には、フック36を展開状態にする。
上部旋回体4は、下部走行体2に対して旋回ベアリング(不図示)を介して旋回可能に構成される。上部旋回体4には、操縦部41、旋回台42、旋回モータ43、機関室44等が配置される。上部旋回体4は、油圧モータである旋回モータ43の駆動により、旋回ベアリングを介して旋回する。上部旋回体4の後部には、各部に動力を提供するエンジン40のほか、複数の油圧ポンプ(図示せず)が配置されている。
各油圧ポンプは、油圧モータ(例えば左右の走行モータ22、旋回モータ43)、および油圧シリンダ(例えばブレードシリンダ23a、ブームシリンダ31a、アームシリンダ32a、バケットシリンダ33a)に作業油(圧油)を供給する。任意の油圧ポンプから作動油が供給されて駆動される油圧モータおよび油圧シリンダを、まとめて油圧アクチュエータと呼ぶ。
オペレータが乗車する操縦部41には、操縦席41aが配置される。操縦席41aの周囲(特に前方、左右)には、操作部41bが配置される。
操作部41bは、油圧アクチュエータを駆動するための操作レバー、スイッチ、ボタン等で構成される。オペレータが操縦席41aに着座して操作部41bを操作することにより、油圧アクチュエータが駆動される。これにより、下部走行体2の走行、ブレード23による整地作業、作業機3による掘削作業、クレーン作業、上部旋回体4の旋回、等を行うことができる。
操作部41bは、カットオフレバーを含む。カットオフレバーは、操縦席41aの近傍に上下に回動可能に設けられる。オペレータがカットオフレバーを押し下げると、カットオフスイッチ(図示せず)がONとなり、操作部41bを操作して所定の油圧アクチュエータを駆動することが可能な状態(有効状態)となる。一方、オペレータがカットオフレバーを引き上げると、カットオフスイッチがOFFとなり、オペレータが操作部41bを操作しても油圧アクチュエータの駆動が不可能な状態(無効状態)となる。オペレータは、操縦部41から降りようとするとき、カットオフレバーを引き上げて油圧アクチュエータを駆動不能にしてから、操縦席41aから退座することになる。
油圧ショベル1は、動作モードとして、通常モードと、クレーンモードと、を有する。通常モードとは、走行(下部走行体2の駆動)、旋回(上部旋回体4の駆動)、掘削(作業機3の駆動)などの動作または作業を行う動作モードである。通常モードでは、オペレータが操作部41bを操作することにより、走行、旋回、掘削等を油圧ショベル1に実行させることができる。一方、クレーンモードとは、フック36によって対象物を吊り下げてクレーン作業を行う動作モードである。オペレータは、後述する入力部62(図3参照)を操作してクレーンモードを設定し、操作部41bを操作することにより、油圧ショベル1にクレーン作業を実行させることができる。
〔2.油圧ショベルの主要部の構成〕
図2は、油圧ショベル1の主要部の構成を模式的に示している。油圧ショベル1は、監視部50と、モニタ装置60と、警報装置70と、運転状態検出部80と、制御部90と
、をさらに備えている。
<2-1.監視部>
監視部50は、油圧ショベル1の周囲の障害物の有無を検出することによって周囲を監視する。なお、上記の障害物には、人、物、動物などの監視対象物が含まれる。つまり、油圧ショベル1は、油圧ショベル1の周囲を監視する監視部50を備える。監視部50は、監視画像取得部51と、拡大画像生成部52と、画像認識部53と、を有する。
(2-1-1.監視画像取得部)
監視画像取得部51は、油圧ショベル1の周囲の画像を監視画像NA(図3等参照)として取得する。この監視画像取得部51は、左カメラ54aと、右カメラ54bと、後方カメラ54cと、俯瞰画像生成部55と、を有する。
左カメラ54aは、油圧ショベル1の左側方を撮影して左側方画像NL(図4参照)を取得する。右カメラ54bは、油圧ショベル1の右側方を撮影して右側方画像NR(図4参照)を取得する。後方カメラ54cは、油圧ショベル1の後方を撮影して後方画像NB(図5参照)を取得する。上記の左側方画像NL、右側方画像NRおよび後方画像NBは、監視画像NAに含まれる。すなわち、監視画像取得部51は、油圧ショベル1の左側方、右側方および後方をそれぞれ撮影する左カメラ54a、右カメラ54bおよび後方カメラ54cを含む。そして、監視画像NAは、左カメラ54aで撮影されて取得された左側方画像NL、右カメラ54bで撮影されて取得された右側方画像NRおよび後方カメラ54cで撮影されて取得された後方画像NBを含む。なお、監視画像NAは、例えば動画であるが、所定のフレーム周期での撮影によって取得される静止画であってもよい。
俯瞰画像生成部55は、上記の左側方画像NL、右側方画像MRおよび後方画像NBを画像処理によって合成し、油圧ショベル1を上方から見下ろした画像、つまり、俯瞰画像NP(図6参照)を生成する。俯瞰画像NPは、監視画像NAに含まれる。すなわち、監視画像取得部51は、左側方画像NL、右側方画像NRおよび後方画像NBを合成して俯瞰画像NPを生成する俯瞰画像生成部55を含む。そして、監視画像NAは、俯瞰画像NPを含む。俯瞰画像生成部55は、例えばCPU(Central Processing Unit)と呼ばれ
る中央演算処理装置、またはGPU(Graphics Processing Unit)などの演算装置によって構成される。なお、俯瞰画像NPは、アニメーション画像であってもよい。
(2-1-2.拡大画像生成部)
拡大画像生成部52は、監視画像取得部51によって取得された監視画像NA(左側方画像NL、右側方画像NR、後方画像NB、俯瞰画像NP)を、画像処理によって拡大して拡大画像EA(図7等参照)を生成する。なお、画像の拡大率は任意に設定可能である。拡大画像生成部52も俯瞰画像生成部55と同様に、例えばCPUまたはGPUによって構成される。すなわち、本実施形態の油圧ショベル1は、作業車両としての油圧ショベル1の周囲の画像を監視画像NAとして取得する監視画像取得部51と、監視画像NAを拡大して拡大画像EAを生成する拡大画像生成部52と、を備える。
拡大画像生成部52は、監視画像NAのうち、左側方画像NLを拡大して左側方拡大画像EL(図7参照)を生成し、右側方画像NRを拡大して右側方拡大画像ER(図7参照)を生成し、後方画像NBを拡大して後方拡大画像EB(図8参照)を生成する。したがって、拡大画像生成部52が生成する拡大画像EAは、左側方画像NLを拡大した左側方拡大画像ELと、右側方画像NRを拡大した右側方拡大画像ERと、後方画像NBを拡大した後方拡大画像EBと、を含む。
また、拡大画像生成部52は、俯瞰拡大画像EP(図9参照)も生成する。俯瞰拡大画
像EPは、俯瞰画像生成部55によって生成された俯瞰画像NPを、画像処理によって拡大した画像であり、上記の拡大画像EAに含まれる。すなわち、拡大画像生成部52は、俯瞰画像生成部55によって生成された俯瞰画像NPを拡大して俯瞰拡大画像EPを生成する。そして、拡大画像EAは、俯瞰拡大画像EPを含む。
(2-1-3.画像認識部)
画像認識部53は、上記の監視画像を入力として画像認識処理を行うことにより、監視画像に含まれる物体が障害物であるか否か、および障害物の種類(人/物/動物)を検知し、監視領域への侵入物の検知を行う。すなわち、油圧ショベル1は、監視画像に対する画像認識処理を行って、油圧ショベル1の周囲に障害物があるか否かを検出する画像認識部53を有する。画像認識部53は、GPUなどによって構成される。なお、上記した拡大画像生成部52、画像認識部53および俯瞰画像生成部55は、単一のGPUで構成されてもよい。
なお、監視部50は、障害物センサを用いて障害物を検知する構成であってもよい。障害物センサとしては、障害物の距離情報を取得可能な公知の測距装置を用いることができる。例えば、超音波を用いた超音波レーダ、ミリ波帯の電波を用いたミリ波レーダ、レーザー照射に対する散乱光を測定して距離を求めるライダー(LIDER)、複数台のカメラ機能を一体に備え、撮影画像から対象物までの距離を測定するステレオカメラなどを、障害物センサとして用いることができる。
<2-2.モニタ装置>
モニタ装置60は、図1で示した操縦席41aの近傍(例えば斜め前方)に配置され、各種の情報を表示して、操縦席41aに着座したオペレータに必要な情報を提供する。このモニタ装置60は、表示部61と、入力部62と、表示制御部63と、を有する。
(2-2-1.表示部)
図3は、モニタ装置60の正面図である。モニタ装置60の表示部61は、例えば液晶表示装置で構成され、各種の情報を表示する。例えば、表示部61は、監視画像取得部51によって取得された監視画像NA、または拡大画像生成部52によって生成された拡大画像EAを表示する。すなわち、本実施形態の油圧ショベル1は、監視画像NAと拡大画像EAとのうちのどちらか一方を表示する表示部61を備える。なお、表示部61では、エンジン40(図1参照)をかけるイグニションキーがオンされた状態で、上述したカットオフレバーを下げた状態、つまり操作部41bの操作の禁止が解除されたことを、カットオフスイッチによって検知した後、画像が表示される。
また、表示部61は、運転状態情報D1と、メニュー情報D2と、クレーン情報D3と、をさらに表示する。運転状態情報D1は、油圧ショベル1の運転状態に関する情報である。図3では、運転状態情報D1として、例えば油圧ショベル1の燃料の残量情報を示している。なお、運転状態情報D1は、上記の燃料の残量情報には限定されず、油圧ショベル1の稼働時間、バッテリーの電池残量等に関する情報であってもよい。
メニュー情報D2は、入力部62の操作によって設定可能な項目の一覧を示す情報である。図3では、油圧ショベル1の動作モードの設定(クレーンモード/通常モード)、表示部61に表示させるカメラ画像(監視画像NA、拡大画像EA)の選択が、入力部62の操作によって可能であることを示す。
クレーン情報D3は、入力部62の操作によってクレーンモードが設定されたときに表示される情報である。図3では、クレーンモードのときに吊り下げることができる荷物の重量(定格重量)が3.0tであり、現在の吊り下げ荷重が2.8tであることが、クレ
ーン情報D3として表示されている例を示している。
(2-2-2.入力部)
入力部62は、各種の設定、選択、入力を行うためにオペレータによって操作される。本実施形態では、入力部62は、機械式の複数のボタンスイッチ62a(図3では例として6つのボタンスイッチ62a1~62a6)で構成される。オペレータが入力部62を操作する(例えば任意のボタンスイッチ62aを押圧する)ことにより、各種の設定等を行うことができる。
例えば、表示部61に表示されたメニュー情報D2の「メニュー」の表示の下方に位置するボタンスイッチ62a1をオペレータが押圧することにより、メニュー情報D2の表示/非表示を選択することができる。また、メニュー情報D2の「クレーン」の表示の下方に位置するボタンスイッチ62a2をオペレータが押圧することにより、油圧ショベル1の動作モードとして、通常モードまたはクレーンモードを選択し、選択した動作モードで油圧ショベル1を駆動することができる。
さらに、メニュー情報D2の「カメラ」の表示の下方に位置するボタンスイッチ62a4をオペレータが押圧することにより、表示部61に表示させる画像を、監視画像NAと拡大画像EAとで切り替える指示を入力することができる。上述のように、本実施形態では6個のボタンスイッチ62aが設けられているが、表示画像の切り替え指示を入力するためのボタンスイッチ62aとしては、ボタンスイッチ62a4の1つのみである。したがって、ボタンスイッチ62a4は、特に、単一の画像切替指示入力部62Pを構成している。つまり、本実施形態の油圧ショベル1は、表示部61での表示画像を監視画像NAと拡大画像EAとで切り替える指示を受け付ける単一の画像切替指示入力部62Pを備える。また、画像切替指示入力部62Pは、ボタンスイッチ62a4である。
なお、図3では、ボタンスイッチ62a3、62a5、62a6については、押圧時の機能を特に設定していないが、何らかの機能を適宜設定することが可能である。
なお、入力部62は、表示部61に重ねて配置されるタッチパネル入力装置で構成されてもよいし、ジョグダイヤルで構成されてもよい。前者の場合、表示部61においてボタンスイッチ62aに対応する位置にボタンのアイコンを表示させ、オペレータの押下位置をタッチパネル入力装置で検出する構成とすることにより、オペレータは各種の設定、選択、入力を行うことができる。また、後者の場合、ジョグダイヤルを回転させてメニュー情報D2の所望の項目を選択し、ジョグダイヤルの中央部をオペレータが押圧することにより、上記項目に対する指示入力を行うことができる。
なお、本実施形態では、入力部62(特に画像切替指示入力部62P)はモニタ装置60に設けられているが、モニタ装置60とは独立して設けられてもよい。
(2-2-3.表示制御部)
図2で示した表示制御部63は、モニタ装置60の各部の動作を制御する。この表示制御部63は、ECU(Electronic Control Unit)と呼ばれる電子制御ユニットで構成さ
れる。本実施形態のように、モニタ装置60が表示制御部63を内蔵する場合、表示制御部63は、モニタECUと呼ぶこともできる。なお、表示制御部63は、モニタ装置60の外部に(モニタ装置60とは独立して)設けられてもよい。例えば、制御部100の後述する全体制御部91が表示制御部63を兼ねる構成であってもよい。
本実施形態では、表示制御部63は、ボタンスイッチ62a4、つまり、画像切替指示入力部62Pでの入力指示に基づいて、監視画像NAおよび拡大画像EAのうち、どちら
か一方のみを表示部61に表示させる制御を行う。つまり、油圧ショベル1は、単一の画像切替指示入力部62Pで受け付けた指示に基づいて、監視画像NAまたは拡大画像EAを表示部61に表示させる表示制御部63を備える。なお、表示制御部63による表示画像の切り替え制御の詳細については後述する。
<2-3.警報装置>
警報装置70は、監視部50の監視結果に基づいて、警報を出力する。このような警報装置70は、回転灯(例えば回転ランプ)、発光部(例えば発光ダイオード)、発報部(例えばブザー)などで構成される。例えば、監視部50の画像認識部53が画像認識によって障害物を検出したとき、回転灯が回転し、発光部が点灯または点滅し、発報部が音を出力する。これにより、オペレータは監視部50が障害物を検知したことを認識することができる。
<2-4.運転状態検出部>
運転状態検出部80は、油圧ショベル1の運転状態を検出する。本実施形態では、油圧ショベル1の運転状態として、例えば油圧ショベル1の燃料の残量を考える。この場合、運転状態検出部80は、油圧ショベル1の燃料の残量を検知する燃料検知センサで構成される。なお、運転状態として、油圧ショベル1の稼働時間を考えてもよいし、バッテリーの電池残量を考えてもよい。油圧ショベル1の稼働時間については、運転状態検出部80を計時部(タイマー)で構成することによって検出することができる。バッテリーの電池残量については、運転状態検出部80を電池残量検出センサで構成することによって検出することができる。このように、本実施形態の油圧ショベル1は、油圧ショベル1の運転状態を検出する運転状態検出部80を備える。
<2-5.制御部>
制御部90は、ECUまたはCPUで構成される。制御部90は、全体制御部91と、異常判断部92と、を有する。全体制御部91は、油圧ショベル1の各部の動作を制御する。異常判断部92は、運転状態検出部80によって検出された油圧ショベル1の運転状態に基づいて、油圧ショベル1の異常の有無を判断する。例えば、燃料の残量が所定量以上であることを運転状態検出部80が検出した場合、異常判断部92は油圧ショベル1に異常がないと判断する一方、燃料の残量が所定量未満であることを運転状態検出部80が検出した場合、異常判断部92は油圧ショベル1に異常が発生したと判断する。このように、油圧ショベル1は、上記運転状態に基づいて、油圧ショベル1の異常の有無を判断する異常判断部92を備える。
なお、制御部90には、記憶部が含まれていてもよい。記憶部は、制御部90を動作させるためのプログラムや各種の情報を記憶する。このような記憶部としては、RAM(Random Access Memory)、ROM(Read Only Memory)、不揮発性メモリ等を用いることができる。
〔3.表示画像の切り替えについて〕
次に、表示制御部63による表示部61の表示画像の切り替え制御の詳細について説明する
本実施形態では、表示部61における画像の表示モードとして、第1表示モードM1から第6表示モードM6までの6つの表示モードが設定されている。第1表示モードM1、第2表示モードM2および第3表示モードM3は、監視画像NAの表示モードである。第4表示モードM4、第5表示モードM5および第6表示モードM6は、拡大画像EAの表示モードである。
図4は、第1表示モードM1での表示部61の表示画面の例を示している。第1表示モードM1は、監視画像NAとして、左側方画像NLおよび右側方画像NRを表示する表示モードである。画像切替指示入力部62P(ボタンスイッチ62a4)によって第1表示モードM1が設定されると、表示制御部61は、運転状態情報D1、メニュー情報D2およびクレーン情報D3に加えて、左側方画像NLおよび右側方画像NRを表示部61に表示させる。なお、油圧ショベル1の動作モードがクレーンモードに設定されていない場合、クレーン情報D3を非表示としてもよい(以下同様)。
図5は、第2表示モードM2での表示部61の表示画面の例を示している。第2表示モードM2は、監視画像NAとして、左側方画像NL、右側方画像NRおよび後方画像NBを表示する表示モードである。ボタンスイッチ62a4によって第2表示モードM2が設定されると、表示制御部61は、運転状態情報D1、メニュー情報D2およびクレーン情報D3に加えて、左側方画像NL、右側方画像NRおよび後方画像NBを表示部61に表示させる。
図6は、第3表示モードM3での表示部61の表示画面の例を示している。第3表示モードM3は、監視画像NAとして、俯瞰画像NPを表示する表示モードである。ボタンスイッチ62a4によって第3表示モードM3が設定されると、表示制御部61は、運転状態情報D1、メニュー情報D2およびクレーン情報D3に加えて、俯瞰画像NPを表示部61に表示させる。
図7は、第4表示モードM4での表示部61の表示画面の例を示している。第4表示モードM4は、拡大画像EAとして、左側方拡大画像ELおよび右側方拡大画像ERを表示する表示モードである。ボタンスイッチ62a4によって第4表示モードM4が設定されると、表示制御部61は、左側方拡大画像ELおよび右側方拡大画像ERを表示部61に表示させる。
図8は、第5表示モードM5での表示部61の表示画面の例を示している。第5表示モードM5は、拡大画像EAとして、左側方拡大画像EL、右側方拡大画像ERおよび後方拡大画像EBを表示する表示モードである。ボタンスイッチ62a4によって第5表示モードM5が設定されると、表示制御部61は、左側方拡大画像EL、右側方拡大画像ERおよび後方拡大画像EBを表示部61に表示させる。
図9は、第6表示モードM6での表示部61の表示画面の例を示している。第6表示モードM6は、拡大画像EAとして、俯瞰拡大画像EPを表示する表示モードである。ボタンスイッチ62a4によって第6表示モードM6が設定されると、表示制御部61は、俯瞰拡大画像EPを表示部61に表示させる。
第4表示モードM4~第6表示モードM6では、第1表示モードM1~第3表示モードM3で表示されていた運転状態情報D1、メニュー情報D2およびクレーン情報D3は非表示となる。その理由については後述する。
図10は、ボタンスイッチ62a4による表示画像の切り替え指示を受け付けたときの、表示部61に表示される画像の表示モードの遷移を模式的に示す説明図である。本実施形態では、表示制御部63は、上記した複数の表示モード(第1表示モードM1~第6表示モードM6)のうち、ボタンスイッチ62a4の押下状態に応じて、具体的には押下時間に応じて選択される表示モードで、監視画像NAまたは拡大画像EAを表示部61に表示させる。以下、この点についてより詳細に説明する。
ここで、オペレータがボタンスイッチ62a4を所定時間以上(例えば2秒以上)押下
する場合を、「長押し」と称する。また、オペレータがボタンスイッチ62a4を所定時間未満(例えば2秒未満)押下する場合を、「短押し」と称する。
(3-1.長押しの場合)
オペレータがボタンスイッチ62a4を長押しした場合、表示部61の表示モードは、監視画像NAを表示する複数の表示モードの間で切り替えられ、遷移する。
例えば、現在の表示モードが第1表示モードM1に設定されている場合、オペレータがボタンスイッチ62a4を長押しすると、表示モードが第1表示モードM1から第2表示モードM2に遷移する(遷移T1)。その結果、表示部61の表示画面は、図4で示した画面から図5で示した画面に切り替えられる。つまり、表示制御部63は、監視画像NAとして、左側方画像NL、右側方画像NRおよび後方画像NBを表示部61に表示させる。
続けて、オペレータがボタンスイッチ62a4を長押しすると、表示モードが第2表示モードM2から第3表示モードM3に遷移する(遷移T2)。その結果、表示部61の表示画面は、図5で示した画面から図6で示した画面に切り替えられる。つまり、表示制御部63は、監視画像NAとして、俯瞰画像NPを表示部61に表示させる。
さらに、オペレータがボタンスイッチ62a4を長押しすると、表示モードが第3表示モードM3から第1表示モードM1に遷移する(遷移T3)。その結果、表示部61の表示画面は、図6で示した画面から図4で示した画面に切り替えられる。つまり、表示制御部63は、監視画像NAとして、左側方画像NLおよび右側方画像NRを表示部61に表示させる。
一方、例えば、現在の表示モードが第4表示モードM4に設定されている場合、オペレータがボタンスイッチ62a4を長押しすると、表示モードが第4表示モードM4から第5表示モードM5に遷移する(遷移T4)。その結果、表示部61の表示画面は、図7で示した画面から図8で示した画面に切り替えられる。つまり、表示制御部63は、拡大画像EAとして、左側方拡大画像EL、右側方拡大画像ERおよび後方拡大画像EBを表示部61に表示させる。
続けて、オペレータがボタンスイッチ62a4を長押しすると、表示モードが第5表示モードM5から第6表示モードM6に遷移する(遷移T5)。その結果、表示部61の表示画面は、図8で示した画面から図9で示した画面に切り替えられる。つまり、表示制御部63は、拡大画像EAとして、俯瞰拡大画像EPを表示部61に表示させる。
さらに、オペレータがボタンスイッチ62a4を長押しすると、表示モードが第6表示モードM6から第4表示モードM4に遷移する(遷移T6)。その結果、表示部61の表示画面は、図9で示した画面から図7で示した画面に切り替えられる。つまり、表示制御部63は、拡大画像EAとして、左側方拡大画像ELおよび右側方拡大画像ERを表示部61に表示させる。
(3-2.短押しの場合)
オペレータがボタンスイッチ62a4を短押しした場合、表示部61の表示モードは、監視画像NAを表示する表示モードと、監視画像EAを表示する表示モードとの間で切り替えられ、遷移する。
例えば、現在の表示モードが第1表示モードM1に設定されている場合、オペレータがボタンスイッチ62a4を短押しすると、表示モードが第1表示モードM1から第4表示
モードM4に遷移する(遷移T7)。その結果、表示部61の表示画面は、図4で示した画面から図7で示した画面に切り替えられる。つまり、表示制御部63は、拡大画像EAとして、左側方拡大画像ELおよび右側方拡大画像ERを表示部61に表示させる。
続けて、オペレータがボタンスイッチ62a4を短押しすると、表示モードが第4表示モードM4から第1表示モードM1に遷移する(遷移T8)。その結果、表示部61の表示画面は、図7で示した画面から図4で示した画面に切り替えられる。つまり、表示制御部63は、監視画像NAとして、左側方画像NLおよび右側方画像NRを表示部61に表示させる。
また、現在の表示モードが第2表示モードM2に設定されている場合、オペレータがボタンスイッチ62a4を短押しすると、表示モードが第2表示モードM2から第5表示モードM5に遷移する(遷移T9)。その結果、表示部61の表示画面は、図5で示した画面から図8で示した画面に切り替えられる。つまり、表示制御部63は、拡大画像EAとして、左側方拡大画像EL、右側方拡大画像ERおよび後方拡大画像EBを表示部61に表示させる。
続けて、オペレータがボタンスイッチ62a4を短押しすると、表示モードが第5表示モードM5から第2表示モードM2に遷移する(遷移T10)。その結果、表示部61の表示画面は、図8で示した画面から図5で示した画面に切り替えられる。つまり、表示制御部63は、監視画像NAとして、左側方画像NL、右側方画像NRおよび後方画像NBを表示部61に表示させる。
また、現在の表示モードが第3表示モードM3に設定されている場合、オペレータがボタンスイッチ62a4を短押しすると、表示モードが第3表示モードM3から第6表示モードM6に遷移する(遷移T11)。その結果、表示部61の表示画面は、図6で示した画面から図9で示した画面に切り替えられる。つまり、表示制御部63は、拡大画像EAとして、俯瞰拡大画像EPを表示部61に表示させる。
続けて、オペレータがボタンスイッチ62a4を短押しすると、表示モードが第6表示モードM6から第3表示モードM3に遷移する(遷移T12)。その結果、表示部61の表示画面は、図9で示した画面から図6で示した画面に切り替えられる。つまり、表示制御部63は、監視画像NAとして、俯瞰画像NPを表示部61に表示させる。
なお、オペレータがボタンスイッチ62a4を長押しした場合の表示モードの切り替え制御と、短押しした場合の表示モードの切り替え制御とを逆にしてもよい。つまり、オペレータがボタンスイッチ62a4を短押しした場合に、表示部61の表示モードを、第1表示モードM1~第3表示モードM3の間で切り替える、または、第4表示モードM4~第6表示モードM6の間で切り替えるようにしてもよい。そして、オペレータがボタンスイッチ62a4を長押しした場合に、表示部61の表示モードを、第1表示モードM1と第4表示モードM4、第2表示モードM2と第5表示モードM5、第3表示モードM3と第6表示モードM6との間で切り替えるようにしてもよい。
オペレータがボタンスイッチ62a4の長押しと短押しとを組み合わせて行うことにより、任意の表示モード(例えば第1の表示モードM1)から任意の表示モード(例えば第6表示モード)に、表示モードを切り替えることが可能となる。
〔4.効果〕
本実施形態の油圧ショベル1は、表示部61における表示画像の切り替え指示を受け付ける入力部として、単一の画像切替指示入力部62P(ボタンスイッチ62a4)を備え
ている。これにより、オペレータは、表示画像の切り替え指示を、単一の画像切替指示入力部62Pの操作によって行うことができる。したがって、表示画像の切り替えを指示するために複数のボタンスイッチが存在する従来のように、オペレータは表示画像の切り替えを指示する操作を迷うおそれがない。よって、オペレータは直感的でわかりやすい操作を行って、表示画像の切り替え指示を容易に行うことができる。言い換えれば、表示画像の切り替え操作を行う際の、オペレータの操作性を向上させることができる。
また、表示制御部63は、単一の画像切替指示入力部62Pであるボタンスイッチ62a4の押下状態に応じて、監視画像NAまたは拡大画像EAを表示部61に表示させる。したがって、オペレータは、単一のボタンスイッチ62a4の押下状態を変えることにより、表示部61での表示画像を監視画像NAと拡大画像EAとで切り替える指示を容易に行うことができる。
特に、表示制御部63は、ボタンスイッチ62a4の押下時間に応じて、監視画像NAまたは拡大画像EAを表示部61に表示させる。つまり、上記押下状態は、ボタンスイッチ62a4の押下時間を含む。オペレータは、単一のボタンスイッチ62a4を長押しまたは短押しするなどして、ボタンスイッチ62a4の押下時間を簡単に調整することができる。したがって、オペレータはボタンスイッチ62a4の長押し/短押しという簡単な操作により、表示画像の切り替え指示を行うことができる。
また、本実施形態では、表示制御部63は、短押しのときに、つまり、ボタンスイッチ62a4の押下時間が例えば2秒未満であるときに、表示部61の表示画像を監視画像NAと拡大画像EAとで切り替える(遷移T7~T12)。一方、表示制御部63は、長押しのときに、つまり、ボタンスイッチ62a4の押下時間が例えば2秒以上であるときに、監視画像NAまたは拡大画像EAを、複数の表示モードのいずれかで表示させる(遷移T1~T3、または遷移T4~T6)。なお、ボタンスイッチ62a4の長押しと短押しとで、表示制御部63の表示制御を逆にしてもよい点は、上述の通りである。
つまり、表示制御部63は、ボタンスイッチ62a4の押下時間が所定時間未満および所定時間以上のどちらか一方であるときに、監視画像NAと拡大画像EAとで表示部61の表示画像を切り替える一方、押下時間が所定時間未満および所定時間以上のどちらか他方であるときに、監視画像NAまたは拡大画像EAを、複数の表示モードのいずれかで表示部61に表示させる。
この場合、オペレータは、単一のボタンスイッチ62a4の押下時間に応じて、監視画像NAと拡大画像EAとの間での表示画像の切り替え指示と、監視画像NAまたは拡大画像EAの表示モードの切り替え指示とを区別して行うことができる。
また、上記の複数の表示モードは、左側方画像NLおよび右側方画像NRを表示する第1表示モードM1と、左側方画像NL、右側方画像NRおよび後方画像NBを全て表示する第2表示モードM2と、を含む。この場合、オペレータは、単一のボタンスイッチ62a4を押下することにより、監視画像NAの表示モードとして、第1表示モードM1または第2表示モードM2を選択し、選択した表示モードで監視画像NAを表示部61に表示させる指示を行うことができる。
また、複数の表示モードは、俯瞰画像NPを表示する第3表示モードM3を含む。この場合、オペレータは、単一のボタンスイッチ62a4を押下することにより、監視画像NAの表示モードとして、第1表示モードM1、第2表示モードM2、または第3表示モードM3を選択し、選択した表示モードで監視画像NAを表示部61に表示させる指示を行うことができる。
また、複数の表示モードは、左側方拡大画像ELおよび右側方拡大画像ERを表示する第4表示モードM4と、左側方拡大画像EL、右側方拡大画像ERおよび後方拡大画像EBを表示する第5表示モードM5と、を含む。この場合、オペレータは、単一のボタンスイッチ62a4を押下することにより、拡大画像EAの表示モードとして、第4表示モードM4または第5表示モードM5を選択し、選択した表示モードで拡大画像EAを表示部61に表示させる指示を行うことができる。
また、複数の表示モードは、俯瞰拡大画像EPを表示する第6表示モードM6を含む。この場合、オペレータは、単一のボタンスイッチ62a4を押下することにより、拡大画像EAの表示モードとして、第4表示モードM4、第5表示モードM5、または第6表示モードM6を選択し、選択した表示モードで拡大画像EAを表示部61に表示させる指示を行うことができる。
また、本実施形態では、表示制御部63は、表示部61が監視画像NAを表示する第1表示モードM1~第3表示モードM3では、監視画像NAと併せて運転状態情報D1(例えば燃料の残量情報)を表示部61に表示させている(図4~図6参照)。一方、表示制御部63は、表示部61が拡大画像EAを表示する第4表示モードM4~第6表示モードM6では、運転状態情報D1を非表示にして拡大画像EAを表示部61に表示させている(図7~図9参照)。すなわち、表示制御部63は、表示部61が監視画像NAを表示するときに、運転状態を示す情報を併せて表示部61に表示させる一方、表示部61が拡大画像EAを表示するときに、運転状態を示す情報を消去した状態で、拡大画像EAを表示部61に表示させる。
表示部61において、監視画像NAが表示されるときには、運転状態情報D1も表示されるため、オペレータは、監視画像NAを確認しながら、油圧ショベル1の運転状態(燃料の残量)を把握することができる。一方、表示部61において、拡大画像EAが表示されるときには、運転状態情報D1が消去されるため、運転状態情報D1を表示していた領域を、拡大画像EAの表示領域として活用することができる。これにより、表示部61の限られた表示画面内に、拡大画像EAを確実に表示することができる。
〔6.他の情報の表示について〕
図11は、表示部61に異常情報D4を表示した表示画面を示している。本実施形態のように、油圧ショベル1が異常判断部92(図2参照)を備えた構成では、異常判断部92によって油圧ショベル1に異常があること判断された場合に、表示制御部63は異常情報D4を表示部61に表示させてもよい。図11では、運転状態検出部80(図2参照)によって燃料の残量が少ないことが検出された場合に、油圧ショベル1が異常であると異常判断部92が判断し、この判断に基づいて、燃料の残量が少ないことを報知する異常情報D4を、表示制御部63の制御によって表示部61に表示させている。
このように、表示制御部63は、異常判断部92によって油圧ショベル1に異常があること判断された場合に、異常を示す情報(異常情報D4)を表示部61に表示させる。この場合、オペレータは、表示部61に表示された異常情報D4に基づき、異常を即座に把握して、必要な対応を即座に図ることが可能となる。例えば、上記のように異常情報D4として燃料の残量が少ないことが表示部61に表示された場合には、オペレータは燃料を補充するなどの措置を直ちに講じることができる。
特に、異常情報D4は、表示部61に拡大画像EAを表示する表示モード、つまり、表示部61に運転状態情報D1が表示されない表示モード(第4表示モードM4~第6表示モードM6)であっても、表示制御部63の制御によって表示部61に表示される。これ
により、表示部61に拡大画像EAを表示している最中でも、異常時にはオペレータが異常情報D4を見て異常に気付くことができ、適切な措置を講じることが可能となる。
図12は、表示部61に警告情報D5を表示した表示画面を示している。本実施形態のように、油圧ショベル1が、周囲に障害物があるか否かを画像認識によって検出する画像認識部53を備える構成では、画像認識部53が上記障害物を検出した場合に、障害物が存在する旨の警告情報D5を表示部61に表示させてもよい。
図12の例では、表示部61において、障害物としての「人」を示すアイコンA1、人が存在する方向を示す矢印のアイコンA2、人が油圧ショベル1の左側方に存在することを示す円弧状の帯状領域A3(太い破線参照)が、警告情報D5として表示されている。また、表示部61において、障害物としての「人」を示すアイコンB1、人が存在する方向を示す矢印のアイコンB2、人が油圧ショベル1の後方に存在することを示す円弧状の帯状領域B3(太い実線参照)も、警告情報D5として表示されている。
このように、表示制御部63は、画像認識部53によって(油圧ショベル1の周囲に)障害物が検出された場合に、警告情報D5を表示部61に表示させる。この場合、オペレータは、表示部61に表示された警告情報D5に基づき、油圧ショベル1の監視領域(例えば油圧ショベル1から半径2~3mの範囲)に障害物が存在することを認識して周囲を確認し、必要に応じて適切な措置を講じることができる。例えば、監視領域に入った侵入者に対して、監視領域から退出するよう注意を促すことができる。なお、注意は口頭または警告音の発報などで行うことができる。
〔7.補足〕
本実施形態では、画像切替指示入力部62P(ボタンスイッチ62a4)の押下状態として押下時間を考え、押下時間に応じて、表示モードを切り替える例について説明したが、単位時間あたりの押下回数に応じて、表示モードを切り替えるようにしてもよい。例えば、オペレータが画像切替指示入力部62Pを単押し(ワンクリック)したとき、表示制御部63は、第1表示モードM1と第4表示モードM4との間、第2表示モードM2と第5表示モードM5との間、第3表示モードM3と第6表示モードM6との間で、表示部61の表示モードを切り替えて、監視画像NAまたは拡大画像EAを表示部61に表示させる制御を行ってもよい。また、オペレータが画像切替指示入力部62Pを二度押し(ダブルクリック)したとき、表示制御部63は、第1表示モードM1、第2表示モードM2および第3表示モードM3の間、または、第4表示モードM4、第5表示モードM5および第6表示モードM6の間で、表示部61の表示モードを切り替えて、監視画像NAまたは拡大画像EAを表示部61に表示させる制御を行ってもよい。
本実施形態では、作業車両として、建設機械である油圧ショベル1を例に挙げて説明したが、作業車両は油圧ショベルに限定されず、ホイルローダなどの他の建設機械であってもよく、コンバイン等の農業機械であってもよい。つまり、本実施形態で説明した表示部61の表示方式は、油圧ショベル1以外の建設機器や農業機械にも適用することができる。
以上、本発明の実施形態について説明したが、本発明の範囲はこれに限定されるものではなく、発明の主旨を逸脱しない範囲で拡張または変更して実施することができる。
本発明は、例えば建設機械、農業機械などの作業車両に利用可能である。
1 油圧ショベル(作業車両)
51 監視画像取得部
52 拡大画像生成部
53 画像認識部
54a 左カメラ
54b 右カメラ
54c 後方カメラ
55 俯瞰画像生成部
61 表示部
62a4 ボタンスイッチ(画像切替指示入力部)
62P 画像切替指示入力部
63 表示制御部
80 運転状態検出部
92 異常判断部
NA 監視画像
NL 左側方画像
NR 右側方画像
NB 後方画像
NP 俯瞰画像
EA 拡大画像
EL 左側方拡大画像
ER 右側方拡大画像
EB 後方拡大画像
EP 俯瞰拡大画像
M1 第1表示モード
M2 第2表示モード
M3 第3表示モード
M4 第4表示モード
M5 第5表示モード
M6 第6表示モード
D4 異常情報
D5 警告情報

Claims (11)

  1. 作業車両の周囲の画像を監視画像として取得する監視画像取得部と、
    前記監視画像を拡大して拡大画像を生成する拡大画像生成部と、
    前記監視画像と前記拡大画像とのうちのどちらか一方を表示する表示部と、
    前記表示部での表示画像を前記監視画像と前記拡大画像とで切り替える指示を受け付ける単一の画像切替指示入力部と、
    前記単一の画像切替指示入力部で受け付けた前記指示に基づいて、前記監視画像または前記拡大画像を前記表示部に表示させる表示制御部と、を備える、作業車両。
  2. 前記画像切替指示入力部は、ボタンスイッチであり、
    前記表示制御部は、前記ボタンスイッチの押下状態に応じて、前記監視画像または前記拡大画像を前記表示部に表示させる、請求項1に記載の作業車両。
  3. 前記押下状態は、前記ボタンスイッチの押下時間を含む、請求項2に記載の作業車両。
  4. 前記表示制御部は、前記押下時間が所定時間未満および所定時間以上のどちらか一方であるときに、前記監視画像と前記拡大画像とで前記表示画像を切り替える一方、前記押下時間が所定時間未満および所定時間以上のどちらか他方であるときに、前記監視画像または前記拡大画像を、複数の表示モードのいずれかで表示させる、請求項3に記載の作業車両。
  5. 前記監視画像取得部は、前記作業車両の左側方、右側方および後方をそれぞれ撮影する左カメラ、右カメラおよび後方カメラを含み、
    前記監視画像は、前記左カメラで撮影されて取得された左側方画像、前記右カメラで撮影されて取得された右側方画像および前記後方カメラで撮影されて取得された後方画像を含み、
    前記複数の表示モードは、
    前記左側方画像および前記右側方画像を表示する第1表示モードと、
    前記左側方画像、前記右側方画像および前記後方画像を全て表示する第2表示モードと、を含む、請求項4に記載の作業車両。
  6. 前記監視画像取得部は、前記左側方画像、前記右側方画像および前記後方画像を合成して俯瞰画像を生成する俯瞰画像生成部をさらに含み、
    前記監視画像は、前記俯瞰画像を含み、
    前記複数の表示モードは、前記俯瞰画像を表示する第3表示モードを含む、請求項5に記載の作業車両。
  7. 前記拡大画像は、前記左側方画像を拡大した左側方拡大画像と、前記右側方画像を拡大した右側方拡大画像と、前記後方画像を拡大した後方拡大画像と、を含み、
    前記複数の表示モードは、
    前記左側方拡大画像および前記右側方拡大画像を表示する第4表示モードと、
    前記左側方拡大画像、前記右側方拡大画像および前記後方拡大画像を表示する第5表示モードと、を含む、請求項6に記載の作業車両。
  8. 前記拡大画像生成部は、前記俯瞰画像生成部によって生成された前記俯瞰画像を拡大して俯瞰拡大画像を生成し、
    前記拡大画像は、前記俯瞰拡大画像を含み、
    前記複数の表示モードは、前記俯瞰拡大画像を表示する第6表示モードを含む、請求項7に記載の作業車両。
  9. 前記作業車両の運転状態を検出する運転状態検出部をさらに備え、
    前記表示制御部は、前記表示部が前記監視画像を表示するときに、前記運転状態を示す情報を併せて前記表示部に表示させる一方、前記表示部が前記拡大画像を表示するときに、前記運転状態を示す情報を消去した状態で、前記拡大画像を前記表示部に表示させる、請求項1から8のいずれかに記載の作業車両。
  10. 前記運転状態に基づいて、前記作業車両の異常の有無を判断する異常判断部をさらに備え、
    前記表示制御部は、前記異常判断部によって前記作業車両に異常があること判断された場合に、異常を示す情報を前記表示部に表示させる、請求項1から9のいずれかに記載の作業車両。
  11. 前記監視画像に対する画像認識処理を行って、前記作業車両の周囲に障害物があるか否かを検出する画像認識部をさらに有し、
    前記表示制御部は、前記画像認識部によって前記障害物が検出された場合に、警告情報を前記表示部に表示させる、請求項1から10のいずれかに記載の作業車両。
JP2020171623A 2020-10-12 2020-10-12 作業車両 Pending JP2022063383A (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2020171623A JP2022063383A (ja) 2020-10-12 2020-10-12 作業車両
EP21879769.4A EP4228251A1 (en) 2020-10-12 2021-08-31 Working vehicle
US18/031,006 US20230407602A1 (en) 2020-10-12 2021-08-31 Work Vehicle
PCT/JP2021/031939 WO2022080027A1 (ja) 2020-10-12 2021-08-31 作業車両
KR1020237010738A KR20230085138A (ko) 2020-10-12 2021-08-31 작업 차량
CN202180069649.7A CN116323317A (zh) 2020-10-12 2021-08-31 作业车辆

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020171623A JP2022063383A (ja) 2020-10-12 2020-10-12 作業車両

Publications (1)

Publication Number Publication Date
JP2022063383A true JP2022063383A (ja) 2022-04-22

Family

ID=81208359

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020171623A Pending JP2022063383A (ja) 2020-10-12 2020-10-12 作業車両

Country Status (6)

Country Link
US (1) US20230407602A1 (ja)
EP (1) EP4228251A1 (ja)
JP (1) JP2022063383A (ja)
KR (1) KR20230085138A (ja)
CN (1) CN116323317A (ja)
WO (1) WO2022080027A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024042972A1 (ja) * 2022-08-23 2024-02-29 株式会社小松製作所 作業機械を含むシステム、制御方法、および作業機械

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5269026B2 (ja) 2010-09-29 2013-08-21 日立建機株式会社 作業機械の周囲監視装置
JP2018039476A (ja) * 2016-09-09 2018-03-15 株式会社タダノ 画像表示システム
EP3537713B1 (en) * 2016-11-01 2021-09-01 Sumitomo (S.H.I.) Construction Machinery Co., Ltd. Surroundings monitoring system for a work machine

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024042972A1 (ja) * 2022-08-23 2024-02-29 株式会社小松製作所 作業機械を含むシステム、制御方法、および作業機械

Also Published As

Publication number Publication date
WO2022080027A1 (ja) 2022-04-21
CN116323317A (zh) 2023-06-23
KR20230085138A (ko) 2023-06-13
EP4228251A1 (en) 2023-08-16
US20230407602A1 (en) 2023-12-21

Similar Documents

Publication Publication Date Title
WO2022080027A1 (ja) 作業車両
WO2022080025A1 (ja) 建設機械
US20230279638A1 (en) Work Machine Control System, Work Machine, Work Machine Control Method, And Work Machine Control Program
WO2019131955A1 (ja) ショベル及びショベルの出力装置
WO2022080026A1 (ja) 作業車両
KR20230016621A (ko) 쇼벨
WO2020170527A1 (ja) 作業機械用周辺監視装置
EP4215676A1 (en) Work vehicle
CN114423909B (zh) 挖土机
CN117248587A (zh) 作业机械的控制方法、作业机械用控制程序、作业机械用控制系统以及作业机械
CN117248592A (zh) 作业机械的控制方法、作业机械用控制程序、作业机械用控制系统以及作业机械
JP2023129871A (ja) 作業機械用制御システム、作業機械、作業機械の制御方法及び作業機械用制御プログラム
JP2023129872A (ja) 作業機械用制御システム、作業機械、作業機械の制御方法及び作業機械用制御プログラム
JP2023176830A (ja) 作業機械の制御方法、作業機械用制御プログラム、作業機械用制御システム及び作業機械
JP2023129874A (ja) 作業機械用制御システム、作業機械、作業機械の制御方法及び作業機械用制御プログラム
JP2023074222A (ja) 作業機械の制御方法、作業機械用制御プログラム、作業機械用制御システム及び作業機械
JP2023129873A (ja) 作業機械用制御システム、作業機械、作業機械の制御方法及び作業機械用制御プログラム
JP2023074224A (ja) 作業機械の制御方法、作業機械用制御プログラム、作業機械用制御システム及び作業機械
JP2023074223A (ja) 作業機械の制御方法、作業機械用制御プログラム、作業機械用制御システム及び作業機械
JP2023047506A (ja) 作業機械用制御システム、作業機械、作業機械の制御方法及び作業機械用制御プログラム
JP2022163352A (ja) 作業機械の制御方法、作業機械用制御プログラム、作業機械用制御システム及び作業機械
JP2023130572A (ja) 作業機械の制御方法、作業機械用制御プログラム、作業機械用制御システム及び作業機械
JP2021183448A (ja) 建設車両用映像表示システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240416