JP2023183700A - 作業機械の制御方法、作業機械用制御プログラム、作業機械用制御システム及び作業機械 - Google Patents

作業機械の制御方法、作業機械用制御プログラム、作業機械用制御システム及び作業機械 Download PDF

Info

Publication number
JP2023183700A
JP2023183700A JP2022097349A JP2022097349A JP2023183700A JP 2023183700 A JP2023183700 A JP 2023183700A JP 2022097349 A JP2022097349 A JP 2022097349A JP 2022097349 A JP2022097349 A JP 2022097349A JP 2023183700 A JP2023183700 A JP 2023183700A
Authority
JP
Japan
Prior art keywords
screen
camera
display
work machine
working machine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022097349A
Other languages
English (en)
Inventor
一樹 田村
Kazuki Tamura
大輔 川口
Daisuke Kawaguchi
亮介 須賀
Ryosuke Suga
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yanmar Holdings Co Ltd
Original Assignee
Yanmar Holdings Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yanmar Holdings Co Ltd filed Critical Yanmar Holdings Co Ltd
Priority to JP2022097349A priority Critical patent/JP2023183700A/ja
Priority to KR1020230064792A priority patent/KR20230173581A/ko
Priority to EP23176595.9A priority patent/EP4293165A1/en
Priority to US18/209,504 priority patent/US20230407603A1/en
Priority to CN202310708905.3A priority patent/CN117248592A/zh
Publication of JP2023183700A publication Critical patent/JP2023183700A/ja
Pending legal-status Critical Current

Links

Classifications

    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/261Surveying the work-site to be treated
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20Drives; Control devices
    • E02F9/2025Particular purposes of control systems not otherwise provided for
    • E02F9/2033Limiting the movement of frames or implements, e.g. to avoid collision between implements and the cabin
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/24Safety devices, e.g. for preventing overload
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/268Signal distribution or switching
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60YINDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2200/00Type of vehicle
    • B60Y2200/40Special vehicles
    • B60Y2200/41Construction vehicles, e.g. graders, excavators
    • B60Y2200/412Excavators
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20Drives; Control devices
    • E02F9/22Hydraulic or pneumatic drives
    • E02F9/2221Control of flow rate; Load sensing arrangements
    • E02F9/2225Control of flow rate; Load sensing arrangements using pressure-compensating valves
    • E02F9/2228Control of flow rate; Load sensing arrangements using pressure-compensating valves including an electronic controller
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20Drives; Control devices
    • E02F9/22Hydraulic or pneumatic drives
    • E02F9/2278Hydraulic circuits
    • E02F9/2285Pilot-operated systems
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20Drives; Control devices
    • E02F9/22Hydraulic or pneumatic drives
    • E02F9/2278Hydraulic circuits
    • E02F9/2292Systems with two or more pumps
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Human Computer Interaction (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】操作性の向上を図ることができる、作業機械の制御方法、作業機械用制御プログラム、作業機械用制御システム及び作業機械を提供する。【解決手段】作業機械の制御方法は、作業機械に関連する情報を含む表示画面を表示装置に表示させることと、切替操作部が操作されると、表示装置に表示させる表示画面を、複数の画面間で切替パターンに従って切り替えることと、を有する。ここで、制御方法は、切替パターンを、作業機械の動作状態に応じて変更することを更に有する。【選択図】図9

Description

本発明は、作業機械に用いられる、作業機械の制御方法、作業機械用制御プログラム、作業機械用制御システム及び作業機械に関する。
関連技術として、下部走行体と、上部旋回体と、上部旋回体に搭載される複数の撮像装置と、運転室に搭載される表示装置と、を備える作業機械(建設機械)が知られている(例えば、特許文献1参照)。関連技術に係る作業機械では、表示装置には、運転状態に関する運転情報と、複数の撮像装置により撮像された撮像画像の少なくとも1つ以上を含む画像と、が同時に表示される。そして、単一の切替スイッチの操作に応じて、運転情報の表示位置、及び表示する撮像画像の少なくとも一方が切り替えられる。
WO2015/163381A1
上記関連技術では、単一の切替スイッチの操作が押される度に表示画面は決まった順番で切り替わるので、オペレータが見たい画面に切り替わるまで何度も切替スイッチを押す必要がある等、オペレータによっては操作性が悪いと感じる場面がある。
本発明の目的は、操作性の向上を図ることができる、作業機械の制御方法、作業機械用制御プログラム、作業機械用制御システム及び作業機械を提供することにある。
本発明の一態様に係る作業機械の制御方法は、作業機械に関連する情報を含む表示画面を表示装置に表示させることと、切替操作部が操作されると、前記表示装置に表示させる前記表示画面を、複数の画面間で切替パターンに従って切り替えることと、前記切替パターンを、前記作業機械の動作状態に応じて変更することと、を有する。
本発明の一態様に係る作業機械用制御プログラムは、前記作業機械の制御方法を、1以上のプロセッサに実行させるためのプログラムである。
本発明の一態様に係る作業機械用制御システムは、表示処理部と、切替処理部と、を備える。前記表示処理部は、作業機械に関連する情報を含む表示画面を表示装置に表示させる。前記切替処理部は、切替操作部が操作されると、前記表示装置に表示させる前記表示画面を、複数の画面間で切替パターンに従って切り替える。前記切替処理部は、前記切替パターンを、前記作業機械の動作状態に応じて変更する。
本発明の一態様に係る作業機械は、前記作業機械用制御システムと、前記表示装置が搭載される機体と、を備える。
本発明によれば、操作性の向上を図ることができる、作業機械の制御方法、作業機械用制御プログラム、作業機械用制御システム及び作業機械を提供することができる。
図1は、実施形態1に係る作業機械の全体構成を示す概略斜視図である。 図2は、実施形態1に係る作業機械の油圧回路等を示す概略図である。 図3は、実施形態1に係る作業機械を上方から見て、作業機械の周囲に設定された監視エリア等を模式的に表す概略平面図である。 図4は、実施形態1に係る作業機械用制御システムにより表示画面が表示される表示装置の概略外観図である。 図5は、実施形態1に係る作業機械用制御システムにより表示される基本画面の一例を示す図である。 図6は、実施形態1に係る作業機械用制御システムにより表示される第1カメラ画面の一例を示す図である。 図7は、実施形態1に係る作業機械用制御システムにより表示される第2カメラ画面の一例を示す図である。 図8は、実施形態1に係る作業機械用制御システムにより表示されるカメラ画面の一例を示す図である。 図9は、実施形態1に係る作業機械用制御システムにより表示される表示画面について、カットオフレバーが上げ位置にある場合の切替処理を模式的に表す図である。 図10は、実施形態1に係る作業機械用制御システムにより表示される表示画面について、カットオフレバーが下げ位置にある場合の切替処理を模式的に表す図である。 図11は、実施形態1に係る作業機械用制御システムの動作例を示すフローチャートである。 図12は、実施形態1に係る作業機械用制御システムにより表示されるカメラ画面の他の表示態様を示す図である。 図13は、実施形態1に係る作業機械用制御システムにより表示されるカメラ画面の他の表示態様を示す図である。 図14は、実施形態1に係る作業機械用制御システムにより表示される表示画面の切替処理を模式的に表す図である。 図15は、実施形態2に係る作業機械用制御システムにより表示される表示画面の切替処理を模式的に表す図である。
以下、添付図面を参照しながら、本発明の実施形態について説明する。以下の実施形態は、本発明を具体化した一例であって、本発明の技術的範囲を限定する趣旨ではない。
(実施形態1)
[1]全体構成
本実施形態に係る作業機械3は、図1に示すように、走行部31と、旋回部32と、作業部33と、を機体30に備えている。また、作業機械3は、図2に示すように、作業機械用制御システム1(以下、単に「制御システム1」ともいう)を更に備えている。その他、機体30は、表示装置2及び操作装置35等を更に備えている。
本開示でいう「作業機械」は、各種の作業用の機械を意味し、一例として、バックホー(油圧ショベル、ミニショベル等を含む)、ホイルローダー及びキャリア等の作業車両である。作業機械3は、少なくとも吊り作業を含む1つ以上の作業を実行可能に構成された作業部33を備えている。作業機械3は、「車両」に限らず、例えば、作業用船舶、ドローン又はマルチコプター等の作業飛翔体等であってもよい。さらに、作業機械3は建設機械(建機)に限らず、例えば、田植機、トラクタ又はコンバイン等の農業機械(農機)であってもよい。本実施形態では、特に断りが無い限り、作業機械3が吊り機能付き(クレーン機能付き)のバックホーであって、吊り作業の他に、掘削作業、整地作業、溝掘削作業又は積込作業等を作業として実行可能である場合を例に挙げて説明する。
また、本実施形態では、説明の便宜上、作業機械3が使用可能な状態での鉛直方向を上下方向D1と定義する。さらに、旋回部32の非旋回状態において、作業機械3(の運転部321)に搭乗したユーザ(オペレータ)から見た方向を基準として、前後方向D2及び左右方向D3を定義する。言い換えれば、本実施形態で用いられる各方向は、いずれも作業機械3の機体30を基準として規定される方向であって、作業機械3の前進時に機体30が移動する方向が「前方」、作業機械3の後退時に機体30が移動する方向が「後方」となる。同様に、作業機械3の右旋回時に機体30の前端部が移動する方向が「右方」、作業機械3の左旋回時に機体30の前端部が移動する方向が「左方」となる。ただし、これらの方向は、作業機械3の使用方向(使用時の方向)を限定する趣旨ではない。
作業機械3は、動力源となるエンジンを備えている。作業機械3においては、例えば、エンジンによって油圧ポンプ41(図2参照)が駆動され、油圧ポンプ41から機体30の各部の油圧アクチュエータ(油圧モータ43及び油圧シリンダ44等を含む)に作動油が供給されることで、機体30が駆動する。また、作業機械3は、例えば、機体30の運転部321に搭乗したユーザ(オペレータ)が、操作装置35の操作レバー等を操作することにより制御される。
本実施形態では、上述したように作業機械3が乗用タイプのバックホーである場合を想定しているので、作業部33は、運転部321に搭乗したユーザ(オペレータ)の操作に従って駆動され、掘削作業等の作業を実行する。ユーザが搭乗する運転部321は、旋回部32に設けられている。
ここで、機体30の運転部321には、表示装置2及び操作装置35が搭載されており、ユーザは、表示装置2に表示される作業機械3に関連する種々の情報を見ながら、操作装置35を操作可能である。一例として、表示装置2の表示画面に、冷却水温及び作動油温等の作業機械3の稼働状態に関する情報が表示されることで、ユーザは、操作装置35の操作に必要な作業機械3の稼働状態に関する情報を、表示装置2で確認することができる。
走行部31は、走行機能を有し、地面を走行(旋回を含む)可能に構成されている。走行部31は、例えば、左右一対のクローラ311及びブレード312等を有している。走行部31は、クローラ311を駆動するための走行用の油圧モータ43(油圧アクチュエータ)等を更に有する。
旋回部32は、走行部31の上方に位置し、走行部31に対して、鉛直方向に沿った回転軸を中心に旋回可能に構成されている。旋回部32は、旋回用の油圧モータ(油圧アクチュエータ)等を有している。旋回部32には、運転部321の他、エンジン及び油圧ポンプ41等が搭載されている。さらに、旋回部32の前端部には、作業部33が取り付けられるブームブラケット322が設けられている。
作業部33は、吊り作業を含む作業を実行可能に構成されている。作業部33は、旋回部32のブームブラケット322に支持されており、作業を実行する。作業部33は、バケット331、ブーム332及びアーム333等を有している。作業部33は、各部を駆動するための油圧アクチュエータ(油圧シリンダ44及び油圧モータ等を含む)を更に有する。
バケット331は、作業機械3の機体30に取り付けられるアタッチメント(作業具)の一種であって、複数種類のアタッチメントの中から作業の内容に応じて選択される任意の器具からなる。バケット331は、一例として、機体30に対して取り外し可能に取り付けられ、作業の内容に応じて交換される。作業機械3用のアタッチメントとしては、例えば、バケット331の他に、ブレーカ、オーガ、クラッシャ、フォーク、フォーククロー、鉄骨カッタ、アスファルト切削機、草刈機、リッパ、マルチャ、チルトローテータ及びタンパ等の種々の器具がある。作業部33は、駆動装置からの動力により、バケット331を駆動することで作業を実行する。
ブーム332は、旋回部32のブームブラケット322にて、回転可能に支持されている。具体的には、ブーム332は、ブームブラケット322にて、水平方向に沿った回転軸を中心に回転可能に支持されている。ブーム332は、ブームブラケット322に支持される基端部から上方に延びる形状を有している。アーム333は、ブーム332の先端に連結されている。アーム333は、ブーム332に対して、水平方向に沿った回転軸を中心に回転可能に支持されている。アーム333の先端には、バケット331が取り付けられる。
作業部33は、動力源としてのエンジンからの動力を受けて動作する。具体的には、エンジンによって油圧ポンプ41が駆動され、作業部33の油圧アクチュエータ(油圧シリンダ44等)に油圧ポンプ41から作動油が供給されることで、作業部33の各部(バケット331、ブーム332及びアーム333)が動作する。
本実施形態では特に、作業部33は、ブーム332及びアーム333が個別に回転可能に構成された多関節型の構造を有している。つまり、ブーム332及びアーム333の各々が、水平方向に沿った回転軸を中心に回転することにより、例えば、ブーム332及びアーム333を含む多関節型の作業部33は、全体として伸ばしたり、折りたたんだりする動作が可能である。
走行部31及び旋回部32の各々についても、作業部33と同様に、動力源としてのエンジンからの動力を受けて動作する。つまり、走行部31の油圧モータ43及び旋回部32の油圧モータ等に、油圧ポンプ41から作動油が供給されることで、旋回部32及び走行部31が動作する。
エンジンは、上述したように各部に動力を供給する動力源として機能する。ここで、エンジンは、油圧ポンプ41等と共に旋回部32に搭載されている。本実施形態では一例として、エンジンはディーゼルエンジンである。エンジンは、燃料タンクから燃料(ここでは軽油)が供給されることにより駆動する。
操作装置35は、機体30の運転部321に配置されており、ユーザ(オペレータ)による操作入力を受け付けるためのユーザインターフェースである。本実施形態では一例として、操作装置35は、一対の操作レバーを含んでいる。操作装置35は、走行部31、旋回部32及び作業部33の各々の操作に用いられる。そのため、例えば、ユーザ(オペレータ)が操作装置35を操作することで、機体30の各部の油圧アクチュエータ(油圧モータ43及び油圧シリンダ44等を含む)に供給される動力等が制御され、走行部31、旋回部32及び作業部33の各々の動作が制御される。
ここで、機体30には、機体30の周辺を撮像するカメラ等、作業機械3の周囲の監視エリアA1(図3参照)における検知対象物Ob1(図3参照)を検知するための各種のセンサ類(カメラを含む)が備わっている。本実施形態では一例として、図3に示すように、左方カメラ341、右方カメラ342及び後方カメラ343を含む複数(ここでは3つ)のカメラが、機体30の旋回部32に搭載されている。左方カメラ341、右方カメラ342及び後方カメラ343は、制御システム1に接続されており、各々で撮像された画像を制御システム1に出力する。図3は、作業機械3を上方から見た平面図であって、作業機械3の周囲に設定された監視エリアA1、検知対象物Ob1、並びに作業機械3の機体30(左方カメラ341、右方カメラ342及び後方カメラ343を含む)を模式的に表している。
左方カメラ341、右方カメラ342及び後方カメラ343は、それぞれ旋回部32の運転部321に搭乗したオペレータから見て、左方、右方及び後方となる監視エリアA1を撮像できるように、運転部321を基準に左方、右方及び後方に向けて設置される。つまり、監視エリアA1は、図3に示すように、複数(ここでは3つ)の小エリアA11,A12,A13を含み、左方カメラ341は、このうち運転部321に搭乗したオペレータから見て左方となる小エリアA11(左方エリア)を撮像する。同様に、右方カメラ342は、運転部321に搭乗したオペレータから見て右方となる小エリアA12(右方エリア)を撮像し、後方カメラ343は、運転部321に搭乗したオペレータから見て後方となる小エリアA13(後方エリア)を撮像する。これにより、オペレータにとって死角となりやすい、側方(左方及び右方)並びに後方を、左方カメラ341、右方カメラ342及び後方カメラ343でカバーすることが可能となる。
図2では、本実施形態に係る作業機械3の油圧回路及び電気回路(電気的な接続関係)を模式的に示す。図2では、実線が高圧の(作動油用の)油路、点線が低圧の(パイロット油用の)油路、一点鎖線の矢印が電気信号の経路を示す。さらに、カットオフレバー350とカットオフスイッチ353との間の太線(実線)は、カットオフレバー350とカットオフスイッチ353との間の物理的な連結を示す。
図2に示すように、作業機械3は、油圧ポンプ41、油圧モータ43(図2では図示を省略)及び油圧シリンダ44に加えて、パイロットポンプ42、リモコン弁45、制御弁46及び方向切換弁(コントロールバルブ)47等を備えている。作業機械3は、カットオフレバー350、カットオフリレー352、カットオフスイッチ353及び音出力部36等を更に備えている。
エンジンにより駆動される油圧ポンプ41からの作動油は、走行部31の油圧モータ43、旋回部32の油圧モータ、及び作業部33の油圧シリンダ44等に供給される。これにより、油圧モータ43及び油圧シリンダ44等の油圧アクチュエータが駆動される。
油圧モータ43及び油圧シリンダ44等の油圧アクチュエータには、油圧ポンプ41からの作動油の方向及び流量を切換可能なパイロット式の方向切換弁47が設けられている。方向切換弁47は、パイロットポンプ42から入力指令となるパイロット油が供給されて駆動される。
ここで、例えば、作業部33の油圧シリンダ44に対応する方向切換弁47へのパイロット油の供給路には、リモコン弁45が設けられている。リモコン弁45は、操作装置35(の操作レバー)の操作に応じて作業部33の作業操作指令を出力する。作業操作指令は、作業部33の展開動作及び縮小動作等を指示する。また、リモコン弁45と、パイロットポンプ42との間には、電磁式の制御弁46(電磁弁)が挿入されている。制御弁46は、カットオフリレー352及びカットオフスイッチ353を介して電源351に接続されており、電源351からの供給電流に応じて動作する。
同様に、走行部31の油圧モータ43に対応する方向切換弁へのパイロット油の供給路にも、リモコン弁が設けられている。このリモコン弁は、操作装置35(の操作レバー)の操作に応じて走行部31の走行操作指令を出力する。走行操作指令は、走行部31の走行動作(前進又は後退等)を指示する。さらに、旋回部32の油圧モータに対応する方向切換弁へのパイロット油の供給路にも、リモコン弁が設けられている。このリモコン弁は、操作装置35(の操作レバー)の操作に応じて旋回部32の旋回操作指令を出力する。旋回操作指令は、旋回部32の旋回動作(左旋回又は右旋回等)を指示する。そして、これらのリモコン弁と、パイロットポンプ42との間にも、電磁式の制御弁46(電磁弁)が挿入されている。制御弁46は、カットオフリレー352及びカットオフスイッチ353を介して電源351に接続されており、電源351からの供給電流に応じて動作する。
制御弁46は、通電状態、つまり電流が供給されている状態で、パイロットポンプ42からリモコン弁45へのパイロット油の流路を開放し、非通電状態、つまり供給電流が遮断されている状態で、パイロット油の流路を遮断する。そのため、制御弁46への供給電流が遮断されることで、リモコン弁45に対応する油圧アクチュエータが駆動不能となり、操作装置35(の操作レバー)の操作によらずに、油圧アクチュエータの出力が強制的に停止する。
ここで、カットオフリレー352は、制御システム1に接続されており、制御システム1からの制御信号(電気信号)に応じてオン/オフが切り替わる。カットオフスイッチ353は、カットオフレバー350の操作に応じてオン/オフが切り替わる。したがって、カットオフリレー352とカットオフスイッチ353との両方がオンのとき、制御弁46は通電状態となり、パイロットポンプ42からリモコン弁45へのパイロット油の流路が開放されるので、操作装置35の操作に応じて油圧アクチュエータが駆動する。これに対して、カットオフリレー352とカットオフスイッチ353との少なくとも一方がオフの状態では、制御弁46は非通電状態となり、パイロット油の流路が遮断されるので、油圧アクチュエータが駆動不能となる。
例えば、旋回部32の油圧モータに対応するリモコン弁とパイロットポンプ42との間に挿入された制御弁46につながるカットオフリレー352とカットオフスイッチ353との少なくとも一方がオフの状態では、旋回部32の油圧モータが駆動不能となる。この状態では、操作装置35の操作によらずに、油圧アクチュエータ(旋回部32の油圧モータ)の出力が強制的に停止するため、旋回部32の旋回動作が禁止されることになる。
より詳細には、カットオフスイッチ353は、「無効操作部」の一例であるカットオフレバー350に連動している。カットオフレバー350は、機体30の運転部321に配置されており、ユーザ(オペレータ)による操作入力を受け付ける。本実施形態では一例として、カットオフレバー350は上下方向D1に沿って操作可能である。カットオフレバー350が可動範囲の上端位置である「上げ位置」にあればカットオフスイッチ353は「オフ」であり、カットオフレバー350が可動範囲の下端位置である「下げ位置」にあればカットオフスイッチ353は「オン」である。そして、カットオフスイッチ353がオフの状態では、カットオフバルブである制御弁46にて油圧回路を強制的に遮断する。
したがって、カットオフリレー352がオンの状態において、カットオフレバー350が「下げ位置」にあれば、操作装置35の操作に対応する作業機械3の制御を有効とする「有効状態」となり、操作装置35の操作に応じて作業機械3が動作する。一方、カットオフレバー350が「上げ位置」にあれば、操作装置35の操作に対応する作業機械3の制御を無効とする「無効状態」となり、操作装置35の操作に応じた作業機械3の動作が行われない。そのため、カットオフレバー350が「上げ位置」にあれば、走行部31、旋回部32及び作業部33の全てについて、強制的に操作不能な状態とされる。そして、操作装置35の操作を有効にするには、ユーザ(オペレータ)は、カットオフレバー350を「下げ位置」に操作する必要がある。カットオフレバー350は、このように作業機械3の動作をロックする際に操作されるレバーであって、ゲート(式)ロックレバーと同義である。
このように、本実施形態に係る作業機械3では、操作装置35の操作に対応する作業機械の制御を有効とする有効状態と無効とする無効状態とが、無効操作部(カットオフレバー350)の操作状態に応じて切り替わる。そのため、例えば、オペレータが作業機械3に乗降する際のように、作業機械3の周囲に人が存在する場面では、無効操作部(カットオフレバー350)の操作によって「無効状態」にすることで、作業機械3の動作を強制的に停止(禁止)することができる。
制御システム1は、CPU(Central Processing Unit)等の1以上のプロセッサと、ROM(Read Only Memory)及びRAM(Random Access Memory)等の1以上のメモリとを有するコンピュータシステムを主構成とし、種々の処理(情報処理)を実行する。本実施形態では、制御システム1は、作業機械3全体の制御を行う統合コントローラであって、例えば、電子制御ユニット(ECU:Electronic Control Unit)からなる。ただし、制御システム1は、統合コントローラと別に設けられていてもよい。制御システム1について詳しくは「[2]制御システムの構成」の欄で説明する。
表示装置2は、機体30の運転部321に配置されており、ユーザ(オペレータ)による操作入力を受け付け、ユーザに種々の情報を出力するためのユーザインターフェースである。表示装置2は、例えば、ユーザの操作に応じた電気信号を出力することにより、ユーザによる各種の操作を受け付ける。これにより、ユーザ(オペレータ)は、表示装置2に表示される表示画面Dp1(図4参照)を視認でき、また、必要に応じて表示装置2を操作することが可能である。
表示装置2は、図2に示すように、制御部21と、操作部22と、表示部23と、を備えている。表示装置2は、制御システム1と通信可能に構成されており、制御システム1との間でデータの授受が可能である。本実施形態では一例として、表示装置2は作業機械3に用いられる専用のデバイスである。
制御部21は、制御システム1からのデータに従って、表示装置2を制御する。具体的には、制御部21は、操作部22で受け付けたユーザの操作に応じた電気信号を出力したり、制御システム1で生成される表示画面Dp1を表示部23に表示したりする。
操作部22は、表示部23に表示される表示画面Dp1に対するユーザ(オペレータ)による操作入力を受け付けるためのユーザインターフェースである。操作部22は、例えば、ユーザU1(図4参照)の操作に応じた電気信号を出力することにより、ユーザU1による各種の操作を受け付ける。本実施形態では一例として、操作部22は、図4に示すように、機械式の複数(ここでは6つ)の押釦スイッチ221~226を含む。これら複数の押釦スイッチ221~226は、表示部23の表示領域の周縁に沿うように、表示領域に近接して(図4の例では下方に)配置されている。これら複数の押釦スイッチ221~226は、後述する表示画面Dp1に表示される項目に対応付けられており、複数の押釦スイッチ221~226のいずれかが操作されることにより、表示画面Dp1のいずれかの項目が操作(選択)される。
また、操作部22は、タッチパネル及び操作ダイヤル等を含んでいてもよい。この場合においても、操作部22に対する操作により、表示画面Dp1のいずれかの項目が操作(選択)されることになる。
表示部23は、各種の情報を表示する液晶ディスプレイ又は有機ELディスプレイのような、ユーザU1(オペレータ)に情報を提示するためのユーザインターフェースである。表示部23は、ユーザに対して各種の情報を表示により提示する。本実施形態では一例として、表示部23は、バックライト付きのフルカラーの液晶ディスプレイであって、図4に示すように、横方向に長い「横長」の表示領域を有している。
表示装置2は、作業機械3を操作するユーザU1(オペレータ)に向けて表示画面Dp1にて種々の情報を提示する。つまり、作業機械3を操作するユーザU1は、表示装置2に表示される表示画面Dp1を見ることで、作業機械3に関連する種々の情報を視覚的に得ることが可能である。一例として、表示装置2に、燃料の残量、冷却水温及び作動油温等の作業機械3の稼働状態に関する情報が表示されることで、ユーザU1は、作業機械3の操作に必要な作業機械3の稼働状態に関する情報を、表示装置2で確認することができる。また、表示装置2は、左方カメラ341、右方カメラ342及び後方カメラ343にて撮像される作業機械3の周辺画像(監視エリアA1の撮像画像)についても、表示画面Dp1に表示することができる。これにより、ユーザU1(オペレータ)は、作業機械3を操作する際に、例えば、運転部321からの死角となりやすい作業機械3の側方及び後方等の状況を、表示装置2に表示される表示画面Dp1にて確認することができる。これら作業機械3の稼働状態に関する情報、及び監視エリアA1の撮像画像は、いずれも作業機械3に関連する情報の一種である。
さらに、作業機械3は、ユーザU1(オペレータ)に対して音(音声を含む)を出力する音出力部36(図2参照)を備えている。音出力部36は、ブザー又はスピーカ等を含み、電気信号を受けて音を出力する。音出力部36は、制御システム1に接続されており、制御システム1からの音制御信号に応じて、ビープ音又は音声等の音を出力する。本実施形態では、音出力部36は、表示装置2と同様に機体30の運転部321に設けられている。音出力部36は、表示装置2と一体に設けられていてもよい。
また、機体30は、上述した構成に加えて、通信端末、燃料タンク及びバッテリ等を更に備えている。さらには、機体30には、燃料の残量センサ、冷却水温センサ、作動油温センサ、エンジンの回転数を計測する回転数計、及び稼働時間を計測するアワーメータ等、機体30の稼働状態を監視するためのセンサ類が備わっている。その他、カットオフレバー350及びスタータキースイッチ等の状態等を検出するセンサも、機体30に備わっている。
[2]制御システムの構成
次に、本実施形態に係る制御システム1の構成について、図2を参照して説明する。制御システム1は、表示装置2を制御することにより、表示装置2に表示画面Dp1を表示させる。本実施形態では、表示装置2は、上述したように作業機械3の機体30に搭載されている。制御システム1は、作業機械3の構成要素であって、機体30等と共に作業機械3を構成する。言い換えれば、本実施形態に係る作業機械3は、少なくとも制御システム1と、表示装置2が搭載される機体30(走行部31、旋回部32及び作業部33を含む)と、を備えている。
本開示でいう表示画面Dp1等の「画面」は、表示装置2にて表示される映像(画像)を意味し、図像、図形、写真、テキスト及び動画等を含む。すなわち、制御システム1は、例えば、冷却水温及び作動油温等の作業機械3の稼働状態に関する情報を表す図像等を含む表示画面Dp1を、表示装置2に表示させることが可能である。ここで、表示画面Dp1が動画等を含む場合には、表示画面Dp1は一定の映像ではなく、刻一刻と変化する映像を含む。
制御システム1は、図2に示すように、表示処理部11と、牽制処理部12と、切替処理部13と、データ取得部14と、検知部15と、選択処理部16と、監視処理部17と、を備えている。本実施形態では一例として、制御システム1は1以上のプロセッサを有するコンピュータシステムを主構成とするので、1以上のプロセッサが作業機械用制御プログラムを実行することにより、これら複数の機能部(表示処理部11等)が実現される。制御システム1に含まれる、これら複数の機能部は、複数の筐体に分散して設けられていてもよいし、1つの筐体に設けられていてもよい。
制御システム1は、機体30の各部に設けられたデバイスと通信可能に構成されている。つまり、制御システム1には、少なくとも表示装置2、音出力部36、カットオフリレー352、カットオフスイッチ353、左方カメラ341、右方カメラ342及び後方カメラ343等が接続されている。これにより、制御システム1は、表示装置2及び音出力部36等を制御したり、カットオフリレー352を制御して制御弁46を制御したり、左方カメラ341、右方カメラ342及び後方カメラ343等の撮像画像を取得したり、カットオフスイッチ353から電気信号(カットオフ信号)を取得したりすることが可能である。ここで、制御システム1は、各種の情報(データ)の授受を、各デバイスと直接的に行ってもよいし、中継器等を介して間接的に行ってもよい。
データ取得部14は、作業機械3の周囲の監視エリアA1の撮像画像を取得するデータ取得処理を実行する。本実施形態では、データ取得部14は、左方カメラ341、右方カメラ342及び後方カメラ343の出力を、左方カメラ341、右方カメラ342及び後方カメラ343から定期的又は不定期に取得する。つまり、データ取得部14は、作業機械3の周囲の監視エリアA1(各小エリアA11,A12,A13)の画像データ(撮像画像)を取得する。
さらに、データ取得部14は、データ取得処理により、燃料の残量センサ、冷却水温センサ及び作動油温センサの出力(センサ信号)、並びにその他のセンサ類の出力等を、定期的又は不定期に取得可能である。つまり、データ取得部14は、燃料の残量、エンジンの冷却水の温度(冷却水温)及び作動油の温度(作動油温)を示すデータを含む、種々のセンサの検出結果(検出値)を取得する。データ取得部14は、各種センサ(カメラを含む)からのデータを、各種センサから直接的に取得してもよいし、電子制御ユニット等を介して間接的に取得してもよい。データ取得部14で取得されたデータは、例えば、メモリ等に記憶される。
検知部15は、作業機械3の周囲の監視エリアA1における検知対象物Ob1を検知する。つまり、検知部15は、監視エリアA1における検知対象物Ob1の存否(有無)を判断し、監視エリアA1に検知対象物Ob1が存在するか否かを表す検知結果を出力する。本実施形態では一例として、検知対象物Ob1は「人」である。つまり、作業機械3が移動し、又は作業機械3の周囲の「人」が移動した結果、作業機械3の周囲の監視エリアA1に「人」が侵入した場合、検知部15は当該「人」を検知対象物Ob1として検知する。監視エリアA1に複数の検知対象物Ob1が存在する場合には、検知部15は、検知対象物Ob1の数(人数)も含めて検知してもよい。
本実施形態では、検知部15は、左方カメラ341、右方カメラ342及び後方カメラ343の出力(画像データ)に基づいて、監視エリアA1における検知対象物Ob1を検知する。具体的には、検知部15は、データ取得部14で取得された画像データに対して、画像処理を施すことにより、画像中の特徴量を抽出し、当該特徴量に基づいて、画像に検知対象物Ob1(本実施形態では「人」)が写り込んでいるか否かを判断する。ここで、画像に検知対象物Ob1が写り込んでいる場合、検知部15は、左方カメラ341、右方カメラ342及び後方カメラ343のいずれで撮像された画像に検知対象物Ob1が写り込んでいるかを判断する。つまり、検知部15は、左方カメラ341で撮像される小エリアA11、右方カメラ342で撮像される小エリアA12、及び後方カメラ343で撮像される小エリアA13のいずれに検知対象物Ob1が存在するかを区別して、検知対象物Ob1の検知を行う。
牽制処理部12は、検知部15の検知結果に基づいて、作業機械3の動作を牽制する牽制処理を実行する。本実施形態では、検知部15の検知結果が、監視エリアA1に検知対象物Ob1(ここでは人)の存在を示す結果である場合に、牽制処理部12は牽制処理を実行する。本開示でいう「牽制処理」は、作業機械3の動作に関し、何かしら抑制する方向に作用する処理を意味する。一例として、牽制処理は、作業機械3を操作するユーザU1(オペレータ)に対して、音又は光(表示を含む)により警告を行うことで、作業機械3の動作を間接的に牽制する処理を含む。さらに、牽制処理は、作業機械3の走行部31、旋回部32及び作業部33等を制御することで、作業機械3の動作を直接的に牽制する処理を含む。
本実施形態では、牽制処理部12は、音出力処理部121と、制限処理部122と、を含んでいる。
音出力処理部121は、監視エリアA1に検知対象物Ob1が存在する場合に、音出力部36を制御することにより、音出力部36から報知音を出力させる。すなわち、本実施形態では、牽制処理は、報知音を出力する音出力処理を含む。報知音は、単なるビープ音であってもよいし、「ご注意ください」等の音声であってもよい。さらに、報知音は、検知部15の検知結果(機体30から検知対象物Ob1までの距離等)に応じて変化してもよい。これにより、作業機械3を操作するユーザU1(オペレータ)に対して、報知音による警告を行うことで、作業機械3の動作を間接的に牽制できるので、作業機械3の操作の自由度が高い。つまり、ユーザU1が検知対象物Ob1に注意して作業機械3を操作することで、検知対象物Ob1との接触を回避しつつも作業機械3の動作を継続することができる。
制限処理部122は、監視エリアA1に検知対象物Ob1が存在する場合に、カットオフリレー352を制御することにより、カットオフリレー352をオフにする。これにより、カットオフリレー352を介して電源351に接続されている制御弁46が非通電状態となり、制御弁46に対応する油圧アクチュエータの出力が強制的に停止する。すなわち、本実施形態では、牽制処理は、作業機械3の動作を制限する制限処理を含む。本開示でいう「制限処理」は、作業機械3の動作に関し、何かしら制限する方向に作用する処理を意味する。一例として、制限処理は、走行部31の走行動作を禁止する(走行動作不能とする)処理、旋回部32の旋回動作を禁止する(旋回動作不能とする)処理、及び作業部33の動作を禁止する(作業不能とする)処理等を含む。これにより、ユーザU1(オペレータ)の操作によらずに、作業機械3の動作を強制的に制限することができる。つまり、作業機械3が動作することによる機体30と検知対象物Ob1との接触を回避できる。
ここで、制限処理部122が実行する制限処理は、少なくとも旋回部32の旋回動作を制限する処理を含む。具体的に、制限処理部122は、旋回部32の油圧モータに対応する制御弁46につながるカットオフリレー352を制御可能に構成されており、監視エリアA1に検知対象物Ob1が存在する場合に、当該カットオフリレー352をオフにする。これにより、監視エリアA1に検知対象物Ob1が存在する場合においては、旋回部32の油圧モータが駆動不能となり、旋回部32の旋回動作中であれば旋回部32が緊急停止し、旋回部32の旋回動作中でなければ旋回部32の旋回動作が禁止される。すなわち、本実施形態では、作業機械3は、走行部31と、走行部31に対して旋回可能な旋回部32と、を備える。制限処理は、少なくとも旋回部32の旋回動作を制限する。これにより、ユーザU1(オペレータ)の死角となる監視エリアA1に検知対象物Ob1が存在する場合に、旋回部32が旋回することによる機体30と検知対象物Ob1との接触を回避できる。
選択処理部16は、複数の動作モードから、1つの動作モードを選択する選択処理を実行可能に構成されている。ここでいう複数の動作モードには、少なくともクレーンモード及び別モードが含まれている。クレーンモードは、作業部33に吊り作業を実行させる動作モードである。別モードは、作業部33に吊り作業とは別の作業を実行させる動作モードである。本実施形態では一例として、別モードは、作業部33に掘削作業を実行させる掘削モードを含む。つまり、本実施形態では、選択処理部16は、作業機械3(の作業部33)の動作モードを、吊り作業用のクレーンモードと、掘削作業用の掘削モード(別モード)とを含む複数の動作モードの中から択一的に選択する。
本実施形態では一例として、動作モードの切り替えは、ユーザ(オペレータ)が表示装置2を操作することによって行われる。つまり、ユーザが、クレーンモードを選択するように表示装置2の操作部22を操作すると、選択処理部16は、この操作を受けて、作業機械3の動作モードをクレーンモードに切り替える。一方、ユーザが、掘削モードを選択するように表示装置2の操作部22を操作すると、選択処理部16は、この操作を受けて、作業機械3の動作モードを掘削モードに切り替える。このように、選択処理部16は、操作部22の操作に応じて、動作モードを択一的に選択する。
監視処理部17は、作業機械3の動作状態を監視する監視処理を実行する。本開示でいう作業機械3の「動作状態」は、作業機械3の動作に係る状態であって、その時々で変化し得る状態を意味する。監視処理部17は、このような作業機械3の動作状態を常時、監視している。本実施形態では一例として、監視処理部17は、カットオフレバー350の操作状態と、作業機械3の動作モードがクレーンモードであるか否かと、の両方を作業機械3の動作状態として監視する。つまり、作業機械3の動作状態は、基本的に、ユーザ(オペレータ)の操作に従って変化する動作状態を含む。
具体的に、監視処理部17は、カットオフスイッチ353のオン/オフを監視することで、無効操作部としてのカットオフレバー350の操作状態を監視する。例えば、カットオフスイッチ353がオフであれば、監視処理部17は、カットオフレバー350が「上げ位置」にあって「無効状態」にあることを検知する。一方、カットオフスイッチ353がオンであれば、監視処理部17は、カットオフレバー350が「下げ位置」にあって「有効状態」にあることを検知する。
さらに、監視処理部17は、選択処理部16にて選択中の動作モードを監視することで、作業機械3の動作モードがクレーンモードであるか否かを監視する。例えば、選択処理部16にてクレーンモードが選択中であれば、監視処理部17は、作業機械3の動作モードがクレーンモードであることを検知する。一方、選択処理部16にて掘削モードが選択中であれば、監視処理部17は、作業機械3の動作モードがクレーンモードでないことを検知する。
表示処理部11は、作業機械3に関連する情報を含む表示画面Dp1を表示装置2に表示させる表示処理を実行する。具体的には、表示処理部11は、データ取得部14で取得されるデータ等に基づいて表示画面Dp1を生成し、表示装置2を制御することによって、表示画面Dp1を表示装置2の表示部23に表示させる。さらに、表示処理部11は、表示装置2の操作部22が受け付けた操作に応じて動作する。
ここで、表示画面Dp1に含まれる作業機械3に関連する情報は、例えば、燃料の残量、冷却水温、作動油温、及び吊り作業時の吊り下げ重量等の、作業機械3の稼働状態に関する稼働情報を含む。つまり、表示処理部11は、作業機械3の稼働状態に関する稼働情報を含む表示画面Dp1を、表示装置2に表示させることができる。さらに、表示画面Dp1に含まれる作業機械3に関連する情報は、左方カメラ341、右方カメラ342及び後方カメラ343で撮像される撮像画像Im11,Im12,Im13(図6参照)を表示画面Dp1に表示させる。つまり、表示処理部11は、作業機械3の周囲の監視エリアA1(各小エリアA11,A12,A13)の撮像画像Im11,Im12,Im13を含む表示画面Dp1を、表示装置2に表示させることができる。
切替処理部13は、表示装置2に表示させる表示画面Dp1を切り替える切替処理を実行する。つまり、表示処理部11により表示装置2に表示される表示画面Dp1は、固定的ではなく、複数の画面間で切替処理部13によって切り替えられる。本実施形態では、切替処理部13は、撮像画像Im11,Im12,Im13を含まない基本画面Dp11(図5参照)と、撮像画像Im11,Im12,Im13を含むカメラ画面Dp12(図6参照)とを含む複数の画面間で、表示装置2に表示される表示画面Dp1を切り替える。言い換えれば、切替処理部13は、基本画面Dp11及びカメラ画面Dp12を含む複数の画面の中から、表示装置2に表示画面Dp1として表示させる画面を択一的に選択する。
本実施形態では、切替処理部13は、切替操作部(例えば押釦スイッチ224)が操作されると、表示装置2に表示させる表示画面Dp1を、複数の画面間で切替パターンに従って切り替える。ここで、切替処理部13は、切替パターンを、作業機械3の動作状態に応じて変更する。つまり、監視処理部17で監視されている作業機械3の動作状態(カットオフレバー350の操作状態、及び作業機械3の動作モードがクレーンモードであるか否かを含む)によって、切替操作部の操作時における表示画面Dp1の切替パターンが変更される。したがって、同じように切替操作部が操作されたとしても、作業機械3の動作状態が異なれば、切替処理部13は、表示装置2に表示される表示画面Dp1を異なる切替パターンに従って切り替える。
さらに、本実施形態では、切替処理部13は、第1切替処理及び第2切替処理の少なくとも一方を実行する。第1切替処理は、有効状態から無効状態への切り替えに伴い、表示装置2に表示させる表示画面Dp1を、作業機械3の周囲の監視エリアA1の撮像画像Im11,Im12,Im13を含むカメラ画面Dp12から、撮像画像Im11,Im12,Im13を含まない基本画面Dp11に切り替える処理である。第2切替処理は、無効状態から有効状態への切り替えに伴い、表示装置2に表示させる表示画面Dp1を、基本画面Dp11からカメラ画面Dp12に切り替える処理である。つまり、監視処理部17で監視されている無効操作部としてのカットオフレバー350の操作状態によって、切替処理部13が表示画面Dp1の切り替えを行う。したがって、ユーザ(オペレータ)が無効操作部としてのカットオフレバー350を操作するだけで、切替処理部13は、表示装置2に表示される表示画面Dp1を切り替えることができる。
ところで、検知部15は、制御システム1に必須の構成ではない。例えば、制御システム1は、外部の検知部の検知結果を取得し、当該検知結果に基づいて牽制処理部12が牽制処理を実行するように構成されていてもよい。
[3]作業機械の制御方法
以下、図5~図14を参照しつつ、主として制御システム1によって実行される作業機械3の制御方法(以下、単に「制御方法」という)の一例について説明する。
本実施形態に係る制御方法は、コンピュータシステムを主構成とする制御システム1にて実行されるので、言い換えれば、作業機械用制御プログラム(以下、単に「制御プログラム」という)にて具現化される。つまり、本実施形態に係る制御プログラムは、制御方法に係る各処理を1以上のプロセッサに実行させるためのコンピュータプログラムである。このような制御プログラムは、例えば、制御システム1及び表示装置2によって協働して実行されてもよい。
ここで、制御システム1は、制御プログラムを実行させるための予め設定された特定の開始操作が行われた場合に、制御方法に係る下記の各種処理を実行する。開始操作は、例えば、作業機械3のエンジンの起動操作等である。一方、制御システム1は、予め設定された特定の終了操作が行われた場合に、制御方法に係る下記の各種処理を終了する。終了操作は、例えば、作業機械3のエンジンの停止操作等である。
[3.1]表示画面
ここではまず、本実施形態に係る制御方法によって表示装置2の表示部23に表示される表示画面Dp1の構成について説明する。図5等の表示装置2の表示部23に表示される表示画面Dp1を示す図面において、領域を表す一点鎖線、引出線及び参照符号は、いずれも説明のために付しているに過ぎず、実際に表示装置2に表示される訳ではない。
図5に示す表示画面Dp1は、上述したように作業機械3の周囲の監視エリアA1の撮像画像Im11,Im12,Im13を含まない基本画面Dp11であって、制御方法によって最初に表示される画面である。この基本画面Dp11は、作業機械3における表示装置2の操作の起点となるホーム画面であり、作業機械3の稼働中に、まずは表示装置2に表示されることになる基本的な表示画面Dp1である。表示画面Dp1は、基本画面Dp11から、操作部22に対する操作に従って、カメラ画面Dp12、メニュー画面Dp13(図14参照)、クレーン画面、モード画面及びPTO画面等を含む様々な表示画面Dp1への切り替え(遷移)が可能である。
表示画面Dp1としての基本画面Dp11は、図5に示すように、第1領域R1と、第2領域R2と、を含む。基本画面Dp11は、第3領域R3、第4領域R4、第5領域R5、第6領域R6、第7領域R7、第8領域R8、第9領域R9及び第10領域R10を更に含む。
具体的には、基本画面Dp11は、縦方向(上下方向)に4つの領域に分割されている。そして、上から3つの領域は、それぞれ更に横方向(左右方向)に3つの領域に分割されている。これにより、基本画面Dp11は、計10個の領域に分割される。そして、上から2段目の領域は、左から順に、第1領域R1、第2領域R2、第3領域R3となる。最下段の領域は第4領域R4となる。さらに、上から3段目の領域は、左から順に、第5領域R5、第6領域R6、第7領域R7となり、最上段の領域は、左から順に、第8領域R8、第9領域R9、第10領域R10となる。縦方向のサイズは、縦方向に分割された4つの領域の中では、上から2段目の領域(第1領域R1、第2領域R2、第3領域R3)が最も広い。横方向のサイズは、横方向に分割された3つの領域の中では、真ん中の領域(第2領域R2、第6領域R6、第9領域R9)が最も広い。
ただし、これらの各領域の配置及びサイズは一例に過ぎず、適宜変更可能である。また、各領域が境界線によって明確に分割されていることは必須ではない。例えば、図5の例でも、第2領域R2と第3領域R3とは境界線によって明確に分割されているのに対して、第1領域R1と第2領域R2との間には境界線は存在しない。もちろん、第1領域R1と第2領域R2とが境界線によって明確に分割されていてもよい。
第1領域R1は、縦方向に長い矩形状の領域である。第1領域R1には、例えば、エンジンの燃料(例えば軽油)の残量に関する残量情報G1が表示される。表示処理部11は、残量センサの出力(センサ信号)等に基づいて、表示画面Dp1中の残量情報G1を生成する。
第2領域R2は、横方向に長い矩形状の領域である。第2領域R2には、冷却水温情報G3及び作動油温情報G2が表示されている。冷却水温情報G3及び作動油温情報G2は、いずれも作業機械3に関連する情報であって、特に作業機械3の稼働状態に関する情報である。表示処理部11は、データ取得部14で取得した冷却水温センサの出力(センサ信号)に基づいて、基本画面Dp11中の冷却水温情報G3を生成する。同様に、表示処理部11は、データ取得部14で取得した作動油温センサの出力(センサ信号)に基づいて、基本画面Dp11中の作動油温情報G2を生成する。
このように、本実施形態では、表示画面Dp1に含まれる作業機械3に関連する情報は、燃料の残量、冷却水温及び作動油温の少なくとも一つを含む。表示装置2の表示画面Dp1に、燃料の残量、冷却水温及び作動油温等の情報が表示されることで、ユーザ(オペレータ)は、操作装置35の操作に必要な作業機械3の稼働状態に関する情報を、表示装置2で確認することができる。
第3領域R3は、縦方向に長い矩形状の領域である。第3領域R3には、作業機械3の各部の稼働状態に応じた図像(アイコン)Im1が表示される。第3領域R3には、複数の図像Im1を表示可能であって、個々の図像Im1のデザイン(絵柄)によって、例えば、バッテリ、シートベルト、冷却水温、作動油温等の、いずれの状態を表すかを示す。ここで、各図像Im1は、例えば、表示色又はサイズ等の表示態様によって、稼働状態を示す。表示処理部11は、作業機械3の各部の稼働状態を検知する種々のセンサ(冷却水温センサ及び作動油温センサを含む)の出力を用いて、作業機械3の各部の状態を判断する。そして、表示処理部11は、いずれかの部位で異常値が検知された場合には、その部位の図像Im1の表示色等の表示態様を変化させる等により、警告表示を行う。
第4領域R4は、表示画面Dp1の全幅にわたって延びる帯状の領域である。第4領域R4には、表示画面Dp1に対する操作のための各項目が表示される。図5では一例として、第4領域R4には、「メニュー」、「クレーン」、「モード」、「カメラ」、「PTO」、「切替」の6つの項目が、この順で左から並べて配置されている。これら6つの項目には、その真下に位置する操作部22の6つの押釦スイッチ221~226がそれぞれ対応付けられている。例えば、「メニュー」の項目には押釦スイッチ221が、「クレーン」の項目には押釦スイッチ222が、それぞれ対応付けられている。そのため、例えば、「カメラ」の項目に対応する押釦スイッチ224がユーザU1(図4参照)により操作されると、「カメラ」の項目が操作(選択)されることになる。
さらに、本実施形態では、操作部22の操作ダイヤル(又はカーソルキー)等の操作にも対応するように、第4領域R4においては、いずれかの項目がハイライト表示される。図5の例では「メニュー」の項目がハイライト表示されており、操作ダイヤル(又はカーソルキー)等の操作により、ハイライト表示される項目が切り替わる。ユーザU1においては、所望の項目をハイライト表示させた状態で決定ボタンを操作することにより、所望の項目を選択することが可能である。そのため、例えば、「カメラ」の項目にハイライト表示を移動させた状態で決定ボタンが操作されると、「カメラ」の項目が操作(選択)されることになる。また、操作部22がタッチパネルを含む場合には、ユーザU1は、表示画面Dp1上の所望の項目をタッチする操作により、所望の項目を選択することが可能である。
第5領域R5には、種々のセンサ(冷却水温センサ及び作動油温センサを含む)にて異常値が検知されていることを示す、警告表示用の図像(アイコン)が表示される。第6領域R6には、例えば、作業機械3において稼働中の作業部33に関する情報が表示される。具体的には、作業機械3の動作モードがクレーンモードにあるときには、吊り作業における現在の荷重、及び定格荷重等の作業機情報G4が、第6領域R6に表示される。第7領域R7には、例えば、エンジンの回転数等、作業機械3の稼働状態に関する情報が表示される。第8領域R8には、例えば、現在時刻が表示される。第9領域R9には、例えば、現在表示されている表示画面Dp1が属する項目を示す情報が表示される。第10領域R10には、例えば、作業機械3の稼働時間(アワーメータ)に関する情報が表示される。
本実施形態では、上述したように、切替処理部13が、基本画面Dp11と、撮像画像Im11,Im12,Im13を含むカメラ画面Dp12と、を含む複数の画面間で、表示装置2に表示させる表示画面Dp1を切り替える。つまり、表示装置2に表示される表示画面Dp1は、切替処理部13によって、上述した基本画面Dp11から、図6又は図7に示すようなカメラ画面Dp12へと切替可能である。
本実施形態では、表示装置2に表示されるカメラ画面Dp12として、第1カメラ画面Dp121(図6参照)と第2カメラ画面Dp122(図7参照)とを含む複数のカメラ画面Dp12が用意されている。第1カメラ画面Dp121は、撮像画像Im11,Im12,Im13に加えて作業機械3の稼働状態に関する稼働情報(残量情報G1等)を含むカメラ画面Dp12であるのに対し、第2カメラ画面Dp122は稼働情報(残量情報G1等)を含まないカメラ画面Dp12である。
図6に示す第1カメラ画面Dp121は、図5に示す基本画面Dp11から、第2領域R2の表示内容のみが変更された画面である。つまり、第2領域R2以外の表示に関しては、第1カメラ画面Dp121と基本画面Dp11とで同じである。本実施形態に係る制御方法では、一例として、第1カメラ画面Dp121の大部分を占める第2領域R2に、監視エリアA1(各小エリアA11,A12,A13)の撮像画像Im11,Im12,Im13等を表示する。そのため、第1カメラ画面Dp121は、撮像画像Im11,Im12,Im13に加えて、第1領域R1の残量情報G1、第6領域R6の作業機情報G4及び第7領域R7のエンジンの回転数等、作業機械3の稼働状態に関する稼働情報を含んでいる。
撮像画像Im11は、左方カメラ341で撮像される運転部321の左方となる小エリアA11の画像であって、撮像画像Im12は、右方カメラ342で撮像される運転部321の右方となる小エリアA12の画像である。撮像画像Im13は、後方カメラ343で撮像される運転部321の後方となる小エリアA13の画像である。表示処理部11は、データ取得部14で取得される撮像画像Im11,Im12,Im13をリアルタイムで表示させる。本実施形態では、これら撮像画像Im11,Im12,Im13は、機体30を上方から見たときの位置関係に対応するように、撮像画像Im11が第2領域R2の左上方、撮像画像Im12が第2領域R2の右上方、撮像画像Im13が第2領域R2の中央下方に表示される。さらに、第2領域R2の中央部には、情報から見た機体30を模したアイコンIm10が表示されている。アイコンIm10は、機体30から見た左方カメラ341、右方カメラ342及び後方カメラ343の撮像範囲(小エリアA11,A12,A13)の位置関係を、模式的に表している。
図7に示す第2カメラ画面Dp122は、第1カメラ画面Dp121に比較して、撮像画像Im11,Im12,Im13が表示される第2領域R2を拡大した画面である。図7の例では、第2カメラ画面Dp122は、第2領域R2及び第3領域R3の2つの領域のみを含み、画面の大半が第2領域R2となり、画面の右端部のみが第3領域R3となる。つまり、第2カメラ画面Dp122においては、第1領域R1、及び第4領域R4~第10領域R10が非表示となり、中央エリアから、第1カメラ画面Dp121では第1領域R1等が表示される周辺エリアにかけて、第2領域R2が拡大表示される。
そのため、第2カメラ画面Dp122では、第1カメラ画面Dp121に比較して、撮像画像Im11,Im12,Im13が拡大表示されることになり、視認性に優れた表示態様で撮像画像Im11,Im12,Im13が表示される。一方で、第2カメラ画面Dp122は、第1カメラ画面Dp121とは異なり、第1領域R1の残量情報G1、第6領域R6の作業機情報G4及び第7領域R7のエンジンの回転数等、作業機械3の稼働状態に関する稼働情報を含まない。
また、本実施形態では、図8に示すように、カメラ画面Dp12は、検知部15の検知結果を表す検知オブジェクトI1,I2を含んでいる。図8では、表示画面Dp1(カメラ画面Dp12)のうち第2領域R2のみを示し、第2領域R2以外の領域の図示を省略する。検知オブジェクトI1は、撮像画像Im11,Im12,Im13のうち、検知対象物Ob1が含まれる撮像画像を強調表示する帯状(枠状)の図像である。検知オブジェクトI2は、運転部321から見て検知対象物Ob1が存在する方向を示す図像である。図8の例では、左方カメラ341で撮像される運転部321の左方となる小エリアA11に検知対象物Ob1(ここでは「人」)が存在する場合を想定している。そのため、撮像画像Im11,Im12,Im13のうち撮像画像Im11が検知オブジェクトI1にて強調表示され、かつ撮像画像Im11の下方に運転部321の左方に検知対象物Ob1が存在することを示す検知オブジェクトI2が表示されている。このような検知オブジェクトI1,I2は、第1カメラ画面Dp121及び第2カメラ画面Dp122のいずれも表示される。
検知オブジェクトI1,I2の表示態様は、監視エリアA1における検知対象物Ob1の位置によって変更されることが好ましい。例えば、検知オブジェクトI1,I2の表示色、サイズ、又は表示パターン(点滅パターン等を含む)等の表示態様が、監視エリアA1における検知対象物Ob1の位置によって変更される。例えば、検知対象物Ob1が機体30に近いほど、検知オブジェクトI1,I2の表示態様が目立つ表示色に変更され、一例として、検知対象物Ob1が機体30に近づくと、検知オブジェクトI1,I2の表示色が黄色から赤色に変化する。
このように、カメラ画面Dp12には、監視エリアA1の撮像画像Im11,Im12,Im13が表示されるだけでなく、監視エリアA1における検知対象物Ob1の検知結果についても検知オブジェクトI1,I2として表示される。そのため、オペレータ(ユーザU1)は、カメラ画面Dp12を見ることで、監視エリアA1における検知対象物Ob1の有無(存否)を容易に確認できる。
要するに、本実施形態に係る制御方法では、カメラ画面Dp12は、監視エリアA1の撮像画像Im11,Im12,Im13を含む。これにより、オペレータ(ユーザU1)は、運転部321からの死角となりやすい作業機械3の側方及び後方等の状況を、表示装置2に表示されるカメラ画面Dp12にて確認することができる。したがって、検知オブジェクトI1,I2だけが表示される構成に比較して、監視エリアA1内に検知対象物Ob1が存在する場合、検知対象物Ob1の状況をカメラ画面Dp12にて詳細に把握しやすくなる。
[3.2]切替処理
次に、本実施形態に係る制御方法のうち、切替処理部13が表示装置2に表示させる表示画面Dp1を切り替える切替処理の詳細について、図9及び図10を参照して説明する。
図9は、カットオフレバー350が「上げ位置」にあることで、操作装置35の操作に対応する作業機械3の制御が無効となる「無効状態」にある場合における、表示画面Dp1の切替処理を模式的に表している。一方、図10は、「下げ位置」にあることで、操作装置35の操作に対応する作業機械3の制御が有効となる「有効状態」にある場合における、表示画面Dp1の切替処理を模式的に表している。
図9及び図10において、実線で示す矢印F1~F5は、切替操作部の一例である押釦スイッチ224が操作されたときの表示画面Dp1の切り替わり(遷移)を示し、一点鎖線で示す矢印F11~F13は、無効操作部の一例であるカットオフレバー350が操作されたときの表示画面Dp1の切り替わり(遷移)を示す。さらに、図9における破線で示す矢印F6は、作業機械3の動作モードがクレーンモードである場合において、押釦スイッチ224が操作されたときの表示画面Dp1の切り替わり(遷移)を示す。つまり、図9及び図10において、矢印F6以外の矢印F1~F5は、作業機械3の動作モードがクレーンモードにない場合、つまり掘削モード等の別モードにある場合に、押釦スイッチ224が操作されたときの表示画面Dp1の切り替わりを示す。一方、矢印F11~F13は、作業機械3の動作モードにかかわらず、カットオフレバー350が操作されたときの表示画面Dp1の切り替わりを示す。
図9及び図10に示すように、切替処理部13は、表示装置2に表示される表示画面Dp1を、基本画面Dp11、第1カメラ画面Dp121及び第2カメラ画面Dp122を含む複数の画面間において、切替操作部又は無効操作部に対するユーザ(オペレータ)の操作に応じて切り替える。本実施形態では一例として、切替操作部は、表示画面Dp1の第4領域R4の「カメラ」の項目に対応する押釦スイッチ224であり、無効操作部は、カットオフレバー350である。ここで、カットオフレバー350の操作状態として、カットオフレバー350が「上げ位置」にある「無効状態」か、カットオフレバー350が「下げ位置」にある「有効状態」かが、カットオフスイッチ353のオン/オフに基づいて監視処理部17で常時監視される。
まず、カットオフレバー350が「上げ位置」にある「無効状態」における切替処理について説明する。「無効状態」においては、図9に示すように、基本画面Dp11が表示されている状態で、押釦スイッチ224(切替操作部)が押操作されると、表示装置2に表示される表示画面Dp1は基本画面Dp11から第1カメラ画面Dp121に切り替わる(矢印F1)。
ここで、作業機械3の動作モードが掘削モード等、クレーンモード以外の別モードにあれば、第1カメラ画面Dp121が表示されている状態で、押釦スイッチ224が押操作されると、表示装置2に表示される表示画面Dp1は第1カメラ画面Dp121から第2カメラ画面Dp122に切り替わる(矢印F2)。さらに、第2カメラ画面Dp122が表示されている状態で、押釦スイッチ224が押操作されると、表示装置2に表示される表示画面Dp1は第2カメラ画面Dp122から基本画面Dp11に切り替わる(矢印F3)。
一方、作業機械3の動作モードがクレーンモードにあれば、第1カメラ画面Dp121が表示されている状態で、押釦スイッチ224が押操作されると、表示装置2に表示される表示画面Dp1は第1カメラ画面Dp121から基本画面Dp11に切り替わる(矢印F6)。つまり、作業機械3の動作モードがクレーンモードにあれば、カメラ画面Dp12として表示されるのは第1カメラ画面Dp121のみとなり、第1カメラ画面Dp121からの切替先は、第2カメラ画面Dp122ではなく基本画面Dp11となる。
このように、カットオフレバー350が「上げ位置」にある「無効状態」においては、切替操作部(押釦スイッチ224)が操作される度に、表示画面Dp1は、基本的には、基本画面Dp11、第1カメラ画面Dp121、第2カメラ画面Dp122の3画面間で、この順で循環するように切り替わる。したがって、撮像画像Im11,Im12,Im13を含まない基本画面Dp11、撮像画像Im11,Im12,Im13が小さく表示される第1カメラ画面Dp121、及び撮像画像Im11,Im12,Im13が大きく表示される第2カメラ画面Dp122のうちの任意の画面を、表示装置2に表示させることができる。一方で、作業機械3の動作モードがクレーンモードにある場合には、第2カメラ画面Dp122は表示されず、切替操作部(押釦スイッチ224)が操作される度に、表示画面Dp1は、基本画面Dp11及び第1カメラ画面Dp121の2画面間で交互に切り替わる。
そして、作業機械3の動作モードがクレーンモードにある場合、カメラ画面Dp12としては、作業機情報G4等の稼働情報を含まない第2カメラ画面Dp122ではなく、作業機情報G4等の稼働情報を含む第1カメラ画面Dp121のみが表示される。したがって、作業機械3がクレーンモードにあって吊り作業を行う際には、吊り作業における現在の荷重、及び定格荷重等の作業機情報G4を常時表示することができ、作業性が向上する。
また、カットオフレバー350が「上げ位置」にある「無効状態」において、基本画面Dp11が表示されている状態で、カットオフレバー350が「下げ位置」に操作されると、表示装置2に表示される表示画面Dp1は基本画面Dp11からカメラ画面Dp12に切り替わる(矢印F11)。つまり、基本画面Dp11が表示されている状態で、カットオフレバー350が「上げ位置」から「下げ位置」に操作されて「有効状態」に切り替わると、表示画面Dp1は、自動的に、撮像画像Im11,Im12,Im13を含まない基本画面Dp11から、撮像画像Im11,Im12,Im13を含むカメラ画面Dp12に切り替わる。
本実施形態では一例として、カットオフレバー350が「下げ位置」に操作されることに伴って表示装置2に表示されるカメラ画面Dp12は、第1カメラ画面Dp121及び第2カメラ画面Dp122のうち第1カメラ画面Dp121である。ただし、この例に限らず、カットオフレバー350が「下げ位置」に操作されることに伴って表示装置2に表示されるカメラ画面Dp12は、第2カメラ画面Dp122であってもよい。なお、そもそも第1カメラ画面Dp121又は第2カメラ画面Dp122が表示されている状態で、カットオフレバー350が「上げ位置」から「下げ位置」に操作されても、表示画面Dp1の切り替えは行われない。
次に、カットオフレバー350が「下げ位置」にある「有効状態」における切替処理について説明する。「有効状態」において、作業機械3の動作モードが掘削モード等、クレーンモード以外の別モードにあれば、第1カメラ画面Dp121が表示されている状態で、押釦スイッチ224が押操作されると、図10に示すように、表示装置2に表示される表示画面Dp1は第1カメラ画面Dp121から第2カメラ画面Dp122に切り替わる(矢印F4)。さらに、第2カメラ画面Dp122が表示されている状態で、押釦スイッチ224が押操作されると、表示装置2に表示される表示画面Dp1は第2カメラ画面Dp122から第1カメラ画面Dp121に切り替わる(矢印F5)。
一方、作業機械3の動作モードがクレーンモードにあれば、第1カメラ画面Dp121が表示されている状態で、押釦スイッチ224が押操作されても、表示装置2に表示される表示画面Dp1は第1カメラ画面Dp121から切り替わらない。つまり、作業機械3の動作モードがクレーンモードにあれば、カメラ画面Dp12として表示されるのは、第1カメラ画面Dp121のみとなる。
このように、カットオフレバー350が「下げ位置」にある「有効状態」においては、切替操作部(押釦スイッチ224)が操作される度に、表示画面Dp1は、基本的には、第1カメラ画面Dp121及び第2カメラ画面Dp122の2画面間で交互に切り替わる。したがって、撮像画像Im11,Im12,Im13が小さく表示される第1カメラ画面Dp121、及び撮像画像Im11,Im12,Im13が大きく表示される第2カメラ画面Dp122のうちの任意の画面を、表示装置2に表示させることができる。一方で、作業機械3の動作モードがクレーンモードにある場合には、第2カメラ画面Dp122は表示されず、切替操作部(押釦スイッチ224)が操作されても、表示画面Dp1は第1カメラ画面Dp121から切り替わらない。
そして、作業機械3の動作モードがクレーンモードにある場合、カメラ画面Dp12としては、作業機情報G4等の稼働情報を含まない第2カメラ画面Dp122ではなく、作業機情報G4等の稼働情報を含む第1カメラ画面Dp121のみが表示される。したがって、作業機械3がクレーンモードにあって吊り作業を行う際には、吊り作業における現在の荷重、及び定格荷重等の作業機情報G4を常時表示することができ、作業性が向上する。
また、カットオフレバー350が「下げ位置」にある「有効状態」において、カメラ画面Dp12(第1カメラ画面Dp121又は第2カメラ画面Dp122)が表示されている状態で、カットオフレバー350が「上げ位置」に操作されると、表示装置2に表示される表示画面Dp1はカメラ画面Dp12から基本画面Dp11に切り替わる(矢印F12,F13)。つまり、カメラ画面Dp12が表示されている状態で、カットオフレバー350が「下げ位置」から「上げ位置」に操作されて「無効状態」に切り替わると、表示画面Dp1は、自動的に、撮像画像Im11,Im12,Im13を含むカメラ画面Dp12から、撮像画像Im11,Im12,Im13を含まない基本画面Dp11に切り替わる。
以上説明したように、本実施形態に係る制御方法は、作業機械3に関連する情報を含む表示画面Dp1を表示装置2に表示させることと、切替操作部が操作されると、表示装置2に表示させる表示画面Dp1を、複数の画面間で切替パターンに従って切り替えることと、を有する。ここで、制御方法は、切替パターンを、作業機械3の動作状態に応じて変更することを更に有する。本開示でいう「切替パターン」は、切替操作部(押釦スイッチ224)の操作に応じた切替処理に際して用いられるルールであって、表示画面Dp1の切替対象、切替先及び切替順(遷移する順番)等を含む。すなわち、切替パターンに従って切替処理が行われる結果、上述した図9及び図10のような表示画面Dp1の切り替えが実現される。
このような切替パターンは、不変ではなく、作業機械3の動作状態に応じて変更される。例えば、カットオフレバー350が「上げ位置」にある状態(図9参照)と、カットオフレバー350が「下げ位置」にある状態(図10参照)とでは、異なる切替パターンが適用されるので、同じように切替操作部(押釦スイッチ224)が操作されても、表示画面Dp1の切り替わる順番等が異なる。その結果、表示画面Dp1の切り替わる順番等が柔軟に変化し、例えば、オペレータが見たい画面に比較的簡単に到達することができる等、操作性の向上を図ることができる、という利点がある。
ここで、作業機械3の動作状態は、カットオフレバー350の操作状態と、作業機械3の動作モードがクレーンモードであるか否かと、の少なくとも一方を含む。本実施形態では特に、動作状態は、カットオフレバー350の操作状態と、作業機械3の動作モードがクレーンモードであるか否かと、の両方を含む。そのため、動作状態は、カットオフレバー350の操作状態(「上げ位置」か「下げ位置」か)と、作業機械3の動作モードがクレーンモードであるか否かと、のいずれかが変化すれば、それに応じて切替パターンも柔軟に変化する。そして、これらの動作状態は、作業機械3の操作に対して要求される安全への配慮の程度が異なる動作状態である。したがって、オペレータの操作に伴う切替パターンの変更がなされることになり、操作性の更なる向上を図ることができる。
また、本実施形態では、切替操作部は、単一の操作スイッチ(例えば押釦スイッチ224)である。そのため、複数の操作スイッチが設けられる場合に比べて、オペレータにとって切替操作部の操作が簡単になる。にもかかわらず、切替パターンが作業機械3の動作状態に応じて変更されることで、操作性の向上を図ることができる。
また、切替パターンの変更は、切替対象となる複数の画面の数の変更を含む。例えば、カットオフレバー350が「上げ位置」にある「無効状態」において、作業機械3の動作モードがクレーンモード以外であれば、切替操作部の操作に応じて、表示画面Dp1は3画面間で切り替わる。これに対し、カットオフレバー350が「上げ位置」にある「無効状態」において、作業機械3の動作モードがクレーンモードにある場合には、切替操作部の操作に応じて、表示画面Dp1は2画面間で交互に切り替わる。このように、切替パターンによって切替対象となる画面の数が変わることで、より柔軟な表示画面Dp1の切り替えを実現可能である。
また、切替パターンの変更は、切替先となる画面の変更を含む。例えば、カットオフレバー350が「上げ位置」にある「無効状態」において、作業機械3の動作モードがクレーンモード以外であれば、切替操作部の操作に応じた第1カメラ画面Dp121からの切替先は第2カメラ画面Dp122である。これに対し、カットオフレバー350が「上げ位置」にある「無効状態」において、作業機械3の動作モードがクレーンモードにある場合には、切替操作部の操作に応じた第1カメラ画面Dp121からの切替先は基本画面Dp11である。このように、切替パターンによって切替先となる画面が変わることで、より柔軟な表示画面Dp1の切り替えを実現可能である。
また、作業機械3の動作状態が第1状態にある場合、切替対象となる複数の画面は、1又は複数のカメラ画面Dp12と、基本画面Dp11と、を含む。1又は複数のカメラ画面Dp12は、作業機械3の周囲の監視エリアA1の撮像画像Im11,Im12,Im13を含む画面である。基本画面Dp11は、撮像画像Im11,Im12,Im13を含まない画像である。本実施形態では、カットオフレバー350が「上げ位置」にある「無効状態」が、「第1状態」の一例である。つまり、カットオフレバー350が「上げ位置」にある「無効状態」においては、表示画面Dp1は、複数のカメラ画面Dp12と、基本画面Dp11と、を含む複数の画面間で切り替えられる。したがって、例えば「無効状態」のように監視エリアA1の状況を確認する必要性が低い場合には、表示画面Dp1を、撮像画像Im11,Im12,Im13を含まない基本画面Dp11に切り替えることで、必要な情報を効率的に表示できる。
また、作業機械3の動作状態が第2状態にある場合、切替対象となる複数の画面は、それぞれ作業機械3の周囲の監視エリアA1の撮像画像Im11,Im12,Im13を含む複数のカメラ画面Dp12を含む。本実施形態では、カットオフレバー350が「下げ位置」にある「有効状態」が、「第2状態」の一例である。つまり、カットオフレバー350が「下げ位置」にある「有効状態」においては、表示画面Dp1は、複数のカメラ画面Dp12(第1カメラ画面Dp121及び第2カメラ画面Dp122)間で切り替えられる。したがって、例えば「有効状態」のように監視エリアA1の状況を確認する必要性が高い場合には、表示画面Dp1を、複数のカメラ画面Dp12のうちの任意のカメラ画面Dp12に切り替えることで、必要な情報を効率的に表示できる。
ここで、複数のカメラ画面Dp12は、互いに撮像画像Im11,Im12,Im13の表示態様が異なる。本開示でいう「表示態様」は、(オブジェクトの)表示色、サイズ(大きさ、線の太さ等を含む)、形状、動作状態(アニメーション、回転/静止等を含む)若しくは表示パターン(点滅パターン等を含む)等、又はこれらの組み合わせを含む。一例として、第1カメラ画面Dp121及び第2カメラ画面Dp122のように、複数のカメラ画面Dp12においては、撮像画像Im11,Im12,Im13のサイズ(大きさ)が異なっている。したがって、表示画面Dp1を、複数のカメラ画面Dp12のうち、撮像画像Im11,Im12,Im13の表示態様が適切なカメラ画面Dp12に切り替えることで、必要な情報を効率的に表示できる。
また、以上説明したように、本実施形態に係る制御方法は、操作装置35の操作に対応する作業機械3の制御を有効とする有効状態と無効とする無効状態とが、無効操作部の操作状態に応じて切り替わる作業機械3に用いられる。この制御方法は、作業機械3に関連する情報を含む表示画面Dp1を表示装置2に表示させることと、第1切替処理及び第2切替処理の少なくとも一方を実行することと、を有する。ここで、第1切替処理は、有効状態から無効状態への切り替えに伴い、表示装置2に表示させる表示画面Dp1を、カメラ画面Dp12から、基本画面Dp11に切り替える処理である。カメラ画面Dp12は、作業機械3の周囲の監視エリアA1の撮像画像Im11,Im12,Im13を含む画面である。基本画面Dp11は、撮像画像Im11,Im12,Im13を含まない画面である。第2切替処理は、無効状態から有効状態への切り替えに伴い、表示装置2に表示させる表示画面Dp1を、基本画面Dp11からカメラ画面Dp12に切り替える処理である。
このように、表示画面Dp1は、切替操作部(押釦スイッチ224)の操作によらずとも、無効操作部(カットオフレバー350)が操作されて「有効状態」と「無効状態」とが切り替えられるに際して、自動的に切り替えられる。例えば、カットオフレバー350が「上げ位置」にある状態(図9参照)において、カットオフレバー350が「下げ位置」に操作されて「有効状態」に切り替わると、第2切替処理により、表示画面Dp1は基本画面Dp11からカメラ画面Dp12に切り替わる(矢印F11)。同様に、カットオフレバー350が「下げ位置」にある状態(図10参照)において、カットオフレバー350が「上げ位置」に操作されて「無効状態」に切り替わると、第1切替処理により、表示画面Dp1はカメラ画面Dp12から基本画面Dp11に切り替わる(矢印F12,F13)。その結果、無効操作部(カットオフレバー350)が操作に連動して表示画面Dp1が自動的に切り替わり、例えば、オペレータが見たい画面に比較的簡単に到達することができる等、操作性の向上を図ることができる、という利点がある。
ここで、表示装置2に表示させるカメラ画面Dp12は、それぞれ撮像画像Im11,Im12,Im13を含む複数の候補画面のうちの一の候補画面である。本実施形態では、第1カメラ画面Dp121及び第2カメラ画面Dp122が、複数の候補画面の一例である。つまり、表示装置2に表示されるカメラ画面Dp12は、不変ではなく、複数の候補画面から選択される一の候補画面であるので、その時々に応じたカメラ画面Dp12を表示させることができる。
複数の候補画面は、撮像画像Im11,Im12,Im13に加えて作業機械3の稼働状態に関する稼働情報(残量情報G1等)を含む第1カメラ画面Dp121と、稼働情報(残量情報G1等)を含まない第2カメラ画面Dp122と、を含む。したがって、第2切替処理によって自動的に表示されるカメラ画面Dp12として、第1カメラ画面Dp121及び第2カメラ画面Dp122を含む複数の候補画像の中から適切に選択することが可能である。
[3.3]全体処理
次に、制御方法の切替処理に係る全体の流れについて、図11を参照して説明する。図11は、作業機械3の動作モードが掘削モード等、クレーンモード以外の別モードにあるときの、制御方法に係る処理の一例を示すフローチャートである。
図11に示すように、制御システム1の監視処理部17は、カットオフレバー350が「上げ位置」にある「無効状態」か、カットオフレバー350が「下げ位置」にある「有効状態」かを、カットオフスイッチ353のオン/オフに基づいて監視する(S1)。カットオフスイッチ353がオフであれば、監視処理部17は、カットオフレバー350が「上げ位置」にある「無効状態」と判定し(S1:Yes)、制御システム1は処理をステップS2に移行させる。一方、カットオフスイッチ353がオンであれば、監視処理部17は、カットオフレバー350が「下げ位置」にある「有効状態」と判定し(S1:No)、制御システム1は処理をステップS6に移行させる。
ステップS2では、制御システム1の切替処理部13は、表示処理部11に基本画面Dp11を表示させる。そして、次のステップS3では、制御システム1の切替処理部13は、切替操作部としての押釦スイッチ224(図11では「カメラボタン」と表記)の操作状態を監視する。押釦スイッチ224が押操作された場合(S3:Yes)、制御システム1は処理をステップS4に移行させる。一方、押釦スイッチ224が押操作されなければ(S3:No)、制御システム1は処理をステップS5に移行させる。
ステップS4では、制御システム1の切替処理部13は、表示装置2に表示される表示画面Dp1を、基本画面Dp11、第1カメラ画面Dp121、第2カメラ画面Dp122、基本画面Dp11の順で切り替える。これにより、表示装置2に表示される表示画面Dp1は、押釦スイッチ224が押操作される度に(S3:Yes)、図9に示す矢印F1~F3の切替パターンに従って順番に切り替わることになる。
ステップS5では、制御システム1の監視処理部17は、カットオフレバー350が「上げ位置」から「下げ位置」に操作されたか否かを、カットオフスイッチ353のオン/オフに基づいて監視する。カットオフスイッチ353がオフからオンになると、監視処理部17は、カットオフレバー350が「下げ位置」に操作されたと判定し(S5:Yes)、制御システム1は処理をステップS6に移行させる。一方、カットオフスイッチ353がオフのままであれば、監視処理部17は、カットオフレバー350が「上げ位置」にある「無効状態」と判定し(S5:No)、制御システム1は処理をステップS3に移行させる。
ステップS6では、制御システム1の切替処理部13は、表示処理部11に第1カメラ画面Dp121を表示させる。そして、次のステップS7では、制御システム1の切替処理部13は、切替操作部としての押釦スイッチ224の操作状態を監視する。押釦スイッチ224が押操作された場合(S7:Yes)、制御システム1は処理をステップS8に移行させる。一方、押釦スイッチ224が押操作されなければ(S7:No)、制御システム1は処理をステップS9に移行させる。
ステップS8では、制御システム1の切替処理部13は、表示装置2に表示される表示画面Dp1を、第1カメラ画面Dp121及び第2カメラ画面Dp122間で交互に切り替える。これにより、表示装置2に表示される表示画面Dp1は、押釦スイッチ224が押操作される度に(S7:Yes)、図10に示す矢印F4,F5の切替パターンに従って順番に切り替わることになる。
ステップS9では、制御システム1の監視処理部17は、カットオフレバー350が「下げ位置」から「上げ位置」に操作されたか否かを、カットオフスイッチ353のオン/オフに基づいて監視する。カットオフスイッチ353がオンからオフになると、監視処理部17は、カットオフレバー350が「上げ位置」に操作されたと判定し(S9:Yes)、制御システム1は処理をステップS2に移行させる。一方、カットオフスイッチ353がオンのままであれば、監視処理部17は、カットオフレバー350が「下げ位置」にある「有効状態」と判定し(S9:No)、制御システム1は処理をステップS7に移行させる。
制御システム1は、上記ステップS1~S9の処理を繰り返し実行する。ただし、図11に示すフローチャートは一例に過ぎず、処理が適宜追加又は省略されてもよいし、処理の順番が適宜入れ替わってもよい。
[3.4]その他の処理
本実施形態では、カメラ画面Dp12における撮像画像Im11,Im12,Im13の表示態様は、切替操作部の特定の操作によって更に変更可能である。ここでいう「特定の操作」は、一例として、切替操作部としての押釦スイッチ224に対する予め定められた操作であって、例えば、押釦スイッチ224を所定時間押し続ける「長押し」、及び押釦スイッチ224を連続で2回押す「2回押し」等を含む。
すなわち、撮像画像Im11,Im12,Im13の表示態様は、切替操作部(押釦スイッチ224)が操作されることで第1カメラ画面Dp121と第2カメラ画面Dp122とが切り替わる際だけでなく、切替操作部の特定の操作によっても変更される。切替操作部の特定の操作に応じて変更される表示態様として、例えば、図12及び図13に示すような表示態様がある。図13では、カメラ画面Dp12のうち第2領域R2のみを示し、第2領域R2以外の領域の図示を省略する。
図12の例(一画面表示)では、第2領域R2に、監視エリアA1の撮像画像Im11,Im12,Im13(図6参照)のうち、後方カメラ343で撮像される撮像画像Im13のみが表示される。
図13の上段の例(二画面表示)では、第2領域R2に、撮像画像Im11,Im12,Im13(図6参照)のうち、右方カメラ342で撮像される撮像画像Im12及び後方カメラ343で撮像される撮像画像Im13の二画面が表示される。この例では、撮像画像Im12及び撮像画像Im13は、第2領域R2に左右方向に並べて配置されており、これら撮像画像Im12,Im13の下方にアイコンIm10が表示される。アイコンIm10は、機体30から見た右方カメラ342及び後方カメラ343の撮像範囲(小エリアA12,A13)の位置関係を、模式的に表している。
図13の下段の例(俯瞰表示)では、第2領域R2に、監視エリアA1の俯瞰画像Im100が表示される。俯瞰画像Im100は、左方カメラ341、右方カメラ342及び後方カメラ343の撮像画像Im11,Im12,Im13を、座標変換して合成することによって生成される撮像画像の一種である。このような俯瞰画像Im100においても、検知オブジェクトI1は、検知対象物Ob1が存在する小エリアを強調表示する帯状(枠状)の図像である。俯瞰画像Im100は、撮像画像がアニメーションに合成された画像であってもよい。
切替処理部13は、切替操作部としての押釦スイッチ224に対する特定の操作(例えば「長押し」)がされる度に、カメラ画面Dp12(第1カメラ画面Dp121及び第2カメラ画面Dp122)における第2領域R2の撮像画像の表示態様を、上述した三画面表示(図6参照)、一画面表示、二画面表示、俯瞰表示の順番で切り替える。これにより、ユーザは、撮像画像の任意の表示態様を選択することができ、撮像画像の視認性が向上する。
さらに別の機能として、本実施形態に係る制御方法では、基本画面Dp11及びカメラ画面Dp12以外の別画面を表示装置2に表示中に、無効操作部が操作された場合には、当該操作に応じた第1切替処理及び第2切替処理の少なくとも一方の処理を、別画面の表示終了後に実行する。
例えば、無効操作部としてのカットオフレバー350が「上げ位置」に操作されると、第1切替処理により、表示画面Dp1はカメラ画面Dp12から基本画面Dp11に切り替わる。しかし、カットオフレバー350が操作されるタイミングで、表示画面Dp1が、例えば、メニュー画面Dp13のような別画面であると、すぐには表示画面Dp1の切り替えは行われない。この場合、別画面(メニュー画面Dp13)の表示終了後に、カットオフレバー350が「上げ位置」に操作されたことに伴う第1切替処理により、表示画面Dp1が基本画面Dp11に切り替わる。そのため、この場合、表示画面Dp1は、図14に示すように、第1カメラ画面Dp121、メニュー画面Dp13、基本画面Dp11の順で切り替わることになる(矢印F7,F8)。つまり、第1切替処理において、表示画面Dp1は、カメラ画面Dp12から、別画面(ここではメニュー画面Dp13)を経て、基本画面Dp11に切り替わる。
同様に、無効操作部としてのカットオフレバー350が「下げ位置」に操作されると、第2切替処理により、表示画面Dp1は基本画面Dp11からカメラ画面Dp12に切り替わる。しかし、カットオフレバー350が操作されるタイミングで、表示画面Dp1が、例えば、メニュー画面Dp13のような別画面であると、すぐには表示画面Dp1の切り替えは行われない。この場合、別画面(メニュー画面Dp13)の表示終了後に、カットオフレバー350が「下げ位置」に操作されたことに伴う第2切替処理により、表示画面Dp1がカメラ画面Dp12に切り替わる。そのため、この場合、表示画面Dp1は、図14に示すように、基本画面Dp11、メニュー画面Dp13、第1カメラ画面Dp121の順で切り替わることになる(矢印F9,F10)。つまり、第2切替処理において、表示画面Dp1は、基本画面Dp11から、別画面(ここではメニュー画面Dp13)を経て、カメラ画面Dp12に切り替わる。
このように、別画面を表示中においては、別画面の表示を優先しつつ、別画面の表示終了後には、第1切替処理又は第2切替処理により、無効操作部としてのカットオフレバー350の操作状態に応じた、表示画面Dp1の切り替えが行われる。したがって、別画面を表示中に、表示画面Dp1が勝手に切り替わることによる使い勝手の低下を抑制できる。
ここで、本実施形態に係る制御方法では、別画面の表示中に復帰条件を満たすと、表示装置2に表示させる表示画面Dp1を、別画面から基本画面Dp11又はカメラ画面Dp12に切り替える。すなわち、上述したようなメニュー画面Dp13等の別画面の表示は、復帰条件を満たすことによって終了する。これにより、別画面から基本画面Dp11又はカメラ画面Dp12への切り替えが容易になる。
本実施形態では、復帰条件は、別画面の表示開始から復帰時間が経過することを含む。つまり、メニュー画面Dp13等の別画面の表示開始から、例えば1分程度の復帰時間が経過すると、復帰条件を満たすことになり、別画面の表示が自動的に終了する。これにより、別画面から基本画面Dp11又はカメラ画面Dp12への切り替えが容易になる。ただし、復帰条件は、復帰時間に限らず、例えば、操作部22の操作等であってもよい。
[4]変形例
以下、実施形態1の変形例を列挙する。以下に説明する変形例は、適宜組み合わせて適用可能である。
本開示における制御システム1は、コンピュータシステムを含んでいる。コンピュータシステムは、ハードウェアとしての1以上のプロセッサ及び1以上のメモリを主構成とする。コンピュータシステムのメモリに記録されたプログラムをプロセッサが実行することによって、本開示における制御システム1としての機能が実現される。プログラムは、コンピュータシステムのメモリに予め記録されてもよく、電気通信回線を通じて提供されてもよく、コンピュータシステムで読み取り可能なメモリカード、光学ディスク、ハードディスクドライブ等の非一時的記録媒体に記録されて提供されてもよい。また、制御システム1に含まれる一部又は全部の機能部は電子回路で構成されていてもよい。
また、制御システム1の少なくとも一部の機能が、1つの筐体内に集約されていることは制御システム1に必須の構成ではなく、制御システム1の構成要素は、複数の筐体に分散して設けられていてもよい。反対に、実施形態1において、複数の装置(例えば制御システム1及び表示装置2)に分散されている機能が、1つの筐体内に集約されていてもよい。さらに、制御システム1の少なくとも一部の機能がクラウド(クラウドコンピューティング)等によって実現されてもよい。
また、作業機械3の動力源は、ディーゼルエンジンに限らず、例えば、ディーゼルエンジン以外のエンジンであってもよいし、モータ(電動機)、又はエンジンとモータ(電動機)とを含むハイブリッド式の動力源であってもよい。
また、表示装置2は、専用のデバイスに限らず、例えば、ラップトップコンピュータ、タブレット端末又はスマートフォン等の汎用端末であってもよい。さらに、表示部23は、液晶ディスプレイ又は有機ELディスプレイのように、表示画面を直接的に表示する態様に限らず、例えば、プロジェクタのように、投影により表示画面を表示する構成であってもよい。
また、操作部22の情報の入力の態様として、押釦スイッチ、タッチパネル及び操作ダイヤル以外の態様を採用してもよい。例えば、操作部22は、キーボード、マウス等のポインティングディバイス、音声入力、ジェスチャ入力又は他の端末からの操作信号の入力等の態様を採用してもよい。
特に、切替操作部についても、操作部22の押釦スイッチ224に限らず、例えば、専用のメカニカルスイッチ、タッチパネル又は音声入力等の適宜の操作手段であってもよい。さらに、切替操作部が単一の操作スイッチであることも必須ではなく、切替操作部は、複数の操作スイッチを含んでもよい。
また、制限処理部122が実行する制限処理は、作業機械3の動作を制限する処理であればよく、作業機械3の動作(旋回動作等)を禁止する(動作不能とする)処理に限らない。制限処理は、例えば、作業機械3の動作(旋回動作等)の速度を減速する処理、作業機械3の動作範囲(旋回角度等)を狭める処理、又は作業機械3の動作の許容エリアを制限する処理等であってもよい。
また、そもそも牽制処理部12による牽制処理に係る機能は必須ではなく、牽制処理部12は適宜省略可能である。この場合、検知部15についても省略可能である。検知部15が省略される場合でも、左方カメラ341、右方カメラ342及び後方カメラ343で撮像される監視エリアA1の撮像画像Im11,Im12,Im13は、表示画面Dp1(カメラ画面Dp12)に表示される。
また、作業機械3の周囲の監視エリアA1における検知対象物Ob1を検知するためのセンサは、左方カメラ341、右方カメラ342及び後方カメラ343に限らず、1つ、2つ又は4つ以上のカメラ(イメージセンサ)を含んでもよい。さらに、例えば、全天球カメラ(360度カメラ)のように作業機械3から見て全方位を撮像可能なカメラにて、監視エリアA1における検知対象物Ob1を検知してもよい。また、監視エリアA1における検知対象物Ob1を検知するためのセンサは、カメラに加えて又は代えて、たとえば、人感センサ、ソナーセンサ、レーダ又はLiDAR(Light Detection and Ranging)等のセンサを含んでもよい。ここで、監視エリアA1における検知対象物Ob1を検知するセンサは、光又は音が測距点に到達して戻るまでの往復時間に基づいて測距点までの距離を測定するTOF(Time Of Flight)方式により、検知対象物Ob1までの距離を測定する3次元センサであってもよい。
また、検知対象物Ob1は、「人」に加えて又は代えて、車両等の移動体(他の作業機械を含む)、壁及び柱等の構造物、植物、動物、段差、溝、若しくはその他の障害物を含んでいてもよい。
また、作業機械3の動作モードについて、クレーンモードと別モード(掘削モード等)との切り替えは、ユーザ(オペレータ)の操作によらず、例えば、バケット331に対するフックの格納状態等に応じて、自動的に行われてもよい。すなわち、バケット331を用いた掘削作業等を行う場合には、フックが邪魔にならないよう、フックは、バケットリンクに収容される。一方、吊り作業を行う場合には、ユーザ(オペレータ)がフックをバケットリンクから引き出す。そこで、例えば、バケットリンクにフックの格納状態を検知する格納センサを設け、選択処理部16は、格納センサの出力を受けて、動作モードをクレーンモードと掘削モードとの間で自動的に切り替えるように構成されてもよい。この場合、ユーザが、バケットリンクからフックを引き出すようにフックを操作すると、選択処理部16は、このときの格納センサの出力を受けて、動作モードをクレーンモードに切り替える。
また、切替パターンの変更が、切替対象となる複数の画面の数の変更を含むことは必須でない。切替パターンの変更が、切替先となる画面の変更を含むことも必須でない。さらに、動作状態が第1状態にある場合、切替対象となる複数の画面が、1又は複数のカメラ画面Dp12と、基本画面Dp11と、を含むことは必須でない。動作状態が第2状態にある場合、切替対象となる複数の画面が、複数のカメラ画面Dp12を含むことも必須でない。ここで、複数のカメラ画面Dp12において、互いに撮像画像の表示態様が異なることも必須でない。複数のカメラ画面Dp12(複数の候補画面)が、第1カメラ画面Dp121と第2カメラ画面Dp122とを含むことは必須でない。撮像画像の表示態様が、切替操作部の特定の操作によって更に変更可能であることも必須でない。
作業機械3に関連する情報が、燃料の残量、冷却水温及び作動油温の少なくとも一つを含むことは必須でない。動作状態が、カットオフレバー350の操作状態と、作業機械3の動作モードがクレーンモードであるか否かと、の少なくとも一方を含むことも必須でない。
また、別画面を表示中に、無効操作部が操作された場合に、当該操作に応じた第1切替処理及び第2切替処理の少なくとも一方の処理を、別画面の表示終了後に実行することも必須でない。さらに、別画面の表示中に復帰条件を満たすと表示画面Dp1を基本画面Dp11又はカメラ画面Dp12に切り替えることも必須ではない。また、表示装置2に表示させるカメラ画面Dp12が、複数の候補画面のうちの一の候補画面であることは必須でない。
(実施形態2)
本実施形態に係る作業機械3は、切替操作部が省略されている点で、実施形態1に係る作業機械3と相違する。以下、実施形態1と同様の構成については、共通の符号を付して適宜説明を省略する。
本実施形態では、制御システム1の切替処理部13は、基本的に、無効操作部としてのカットオフレバー350の操作に応じて、表示画面Dp1の切り替えを行う。図15において、一点鎖線で示す矢印F21~F24は、無効操作部の一例であるカットオフレバー350が操作されたときの表示画面Dp1の切り替わり(遷移)を示す。
まず、カットオフレバー350が「上げ位置」にある「無効状態」において、基本画面Dp11が表示されている状態で、カットオフレバー350が「下げ位置」に操作されると、表示装置2に表示される表示画面Dp1は、第2切替処理により、基本画面Dp11からカメラ画面Dp12に切り替わる(矢印F21,F22)。このとき、作業機械3の動作モードがクレーンモードにあれば、表示画面Dp1は、基本画面Dp11から第1カメラ画面Dp121に切り替わる(矢印F21)。一方、作業機械3の動作モードが掘削モード等、クレーンモード以外の別モードにあれば、表示画面Dp1は、基本画面Dp11から第2カメラ画面Dp122に切り替わる(矢印F22)。
このように、本実施形態では、第2切替処理では、表示装置2に表示させる表示画面Dp1を、基本画面Dp11から、複数の候補画面のうち切替パターンに従って選択される一の候補画面に切り替える。このときの「切替パターン」についても、作業機械3の動作状態(例えば動作モード)に応じて変更されることが好ましい。その結果、無効操作部としてのカットオフレバー350が同じように操作された場合であっても、その時々において適切なカメラ画面Dp12に切り替えることが可能である。
これに対して、カットオフレバー350が「下げ位置」にある「有効状態」において、カメラ画面Dp12(第1カメラ画面Dp121又は第2カメラ画面Dp122)が表示されている状態で、カットオフレバー350が「上げ位置」に操作されると、表示装置2に表示される表示画面Dp1は、第1切替処理により、カメラ画面Dp12から基本画面Dp11に切り替わる(矢印F23,F24)。このとき、作業機械3の動作モードがクレーンモードにあるか否かによらず、表示画面Dp1は、基本画面Dp11に切り替わる。
以上説明したように、切替操作部が無くても、無効操作部としてのカットオフレバー350の操作に応じて、表示画面Dp1の切り替えが行われる。その結果、無効操作部(カットオフレバー350)が操作に連動して表示画面Dp1が自動的に切り替わり、例えば、オペレータが見たい画面に比較的簡単に到達することができる等、操作性の向上を図ることができる、という利点がある。
また、本実施形態においても、切替処理部13は、第1カメラ画面Dp121と第2カメラ画面Dp122とを切替可能に構成されることが好ましい。例えば、所定の切替条件を満たすと、切替処理部13は、第1カメラ画面Dp121から第2カメラ画面Dp122、又は第2カメラ画面Dp122から第1カメラ画面Dp121へと、表示画面Dp1を切り替える。一例として、メニュー画面Dp13(図14参照)等の別画面から復帰する、又は作業機械3の操作が一定時間行われないこと等の切替条件を満たすと、表示画面Dp1は、第1カメラ画面Dp121から第2カメラ画面Dp122に切り替わる(矢印F31)。一方、第2カメラ画面Dp122において、操作部22等に対して特定の操作がされること等の切替条件を満たすと、表示画面Dp1は、第2カメラ画面Dp122から第1カメラ画面Dp121に切り替わる(矢印F32)。
実施形態2に係る構成は、実施形態1で説明した種々の構成(変形例を含む)と適宜組み合わせて採用可能である。
〔発明の付記〕
以下、上述の実施形態から抽出される発明の概要について付記する。なお、以下の付記で説明する各構成及び各処理機能は取捨選択して任意に組み合わせることが可能である。
<付記1>
作業機械に関連する情報を含む表示画面を表示装置に表示させることと、
切替操作部が操作されると、前記表示装置に表示させる前記表示画面を、複数の画面間で切替パターンに従って切り替えることと、
前記切替パターンを、前記作業機械の動作状態に応じて変更することと、を有する、
作業機械の制御方法。
<付記2>
前記切替パターンの変更は、切替対象となる前記複数の画面の数の変更を含む、
付記1に記載の作業機械の制御方法。
<付記3>
前記切替パターンの変更は、切替先となる前記画面の変更を含む、
付記1又は2に記載の作業機械の制御方法。
<付記4>
前記動作状態が第1状態にある場合、切替対象となる前記複数の画面は、前記作業機械の周囲の監視エリアの撮像画像を含む1又は複数のカメラ画面と、前記撮像画像を含まない基本画面と、を含む、
付記1~3のいずれかに記載の作業機械の制御方法。
<付記5>
前記動作状態が第2状態にある場合、切替対象となる前記複数の画面は、それぞれ前記作業機械の周囲の監視エリアの撮像画像を含む複数のカメラ画面を含む、
付記1~4のいずれかに記載の作業機械の制御方法。
<付記6>
前記複数のカメラ画面は、互いに前記撮像画像の表示態様が異なる、
付記4又は5に記載の作業機械の制御方法。
<付記7>
前記複数のカメラ画面は、前記撮像画像に加えて前記作業機械の稼働状態に関する稼働情報を含む第1カメラ画面と、前記稼働情報を含まない第2カメラ画面と、を含む、
付記4~6のいずれかに記載の作業機械の制御方法。
<付記8>
前記撮像画像の表示態様は、前記切替操作部の特定の操作によって更に変更可能である、
付記4~7のいずれかに記載の作業機械の制御方法。
<付記9>
前記切替操作部は、単一の操作スイッチである、
付記1~8のいずれかに記載の作業機械の制御方法。
<付記10>
前記作業機械に関連する情報は、燃料の残量、冷却水温及び作動油温の少なくとも一つを含む、
付記1~9のいずれかに記載の作業機械の制御方法。
<付記11>
前記動作状態は、カットオフレバーの操作状態と、前記作業機械の動作モードがクレーンモードであるか否かと、の少なくとも一方を含む、
付記1~10のいずれかに記載の作業機械の制御方法。
<付記12>
付記1~11のいずれかに記載の作業機械の制御方法を、
1以上のプロセッサに実行させるための作業機械用制御プログラム。
1 作業機械用制御システム
2 表示装置
3 作業機械
11 表示処理部
13 切替処理部
30 機体
224 押釦スイッチ(切替操作部)
350 カットオフレバー
A1 監視エリア
Dp1 表示画面
Dp11 基本画面
Dp12 カメラ画面
Dp121 第1カメラ画面
Dp122 第2カメラ画面
G1 残量情報(稼働情報)
G4 作業機情報(稼働情報)
Im11,Im12,Im13 撮像画像
Im100 俯瞰画像(撮像画像)

Claims (14)

  1. 作業機械に関連する情報を含む表示画面を表示装置に表示させることと、
    切替操作部が操作されると、前記表示装置に表示させる前記表示画面を、複数の画面間で切替パターンに従って切り替えることと、
    前記切替パターンを、前記作業機械の動作状態に応じて変更することと、を有する、
    作業機械の制御方法。
  2. 前記切替パターンの変更は、切替対象となる前記複数の画面の数の変更を含む、
    請求項1に記載の作業機械の制御方法。
  3. 前記切替パターンの変更は、切替先となる前記画面の変更を含む、
    請求項1又は2に記載の作業機械の制御方法。
  4. 前記動作状態が第1状態にある場合、切替対象となる前記複数の画面は、前記作業機械の周囲の監視エリアの撮像画像を含む1又は複数のカメラ画面と、前記撮像画像を含まない基本画面と、を含む、
    請求項1又は2に記載の作業機械の制御方法。
  5. 前記動作状態が第2状態にある場合、切替対象となる前記複数の画面は、それぞれ前記作業機械の周囲の監視エリアの撮像画像を含む複数のカメラ画面を含む、
    請求項1又は2に記載の作業機械の制御方法。
  6. 前記複数のカメラ画面は、互いに前記撮像画像の表示態様が異なる、
    請求項4に記載の作業機械の制御方法。
  7. 前記複数のカメラ画面は、前記撮像画像に加えて前記作業機械の稼働状態に関する稼働情報を含む第1カメラ画面と、前記稼働情報を含まない第2カメラ画面と、を含む、
    請求項4に記載の作業機械の制御方法。
  8. 前記撮像画像の表示態様は、前記切替操作部の特定の操作によって更に変更可能である、
    請求項4に記載の作業機械の制御方法。
  9. 前記切替操作部は、単一の操作スイッチである、
    請求項1又は2に記載の作業機械の制御方法。
  10. 前記作業機械に関連する情報は、燃料の残量、冷却水温及び作動油温の少なくとも一つを含む、
    請求項1又は2に記載の作業機械の制御方法。
  11. 前記動作状態は、カットオフレバーの操作状態と、前記作業機械の動作モードがクレーンモードであるか否かと、の少なくとも一方を含む、
    請求項1又は2に記載の作業機械の制御方法。
  12. 請求項1又は2に記載の作業機械の制御方法を、
    1以上のプロセッサに実行させるための作業機械用制御プログラム。
  13. 作業機械に関連する情報を含む表示画面を表示装置に表示させる表示処理部と、
    切替操作部が操作されると、前記表示装置に表示させる前記表示画面を、複数の画面間で切替パターンに従って切り替える切替処理部と、を備え、
    前記切替処理部は、前記切替パターンを、前記作業機械の動作状態に応じて変更する、
    作業機械用制御システム。
  14. 請求項13に記載の作業機械用制御システムと、
    前記表示装置が搭載される機体と、を備える、
    作業機械。
JP2022097349A 2022-06-16 2022-06-16 作業機械の制御方法、作業機械用制御プログラム、作業機械用制御システム及び作業機械 Pending JP2023183700A (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2022097349A JP2023183700A (ja) 2022-06-16 2022-06-16 作業機械の制御方法、作業機械用制御プログラム、作業機械用制御システム及び作業機械
KR1020230064792A KR20230173581A (ko) 2022-06-16 2023-05-19 작업 기계의 제어 방법, 작업 기계용 제어 프로그램, 작업 기계용 제어 시스템 및 작업 기계
EP23176595.9A EP4293165A1 (en) 2022-06-16 2023-06-01 Work machine control method, work machine control program, work machine control system, and work machine
US18/209,504 US20230407603A1 (en) 2022-06-16 2023-06-14 Work Machine Control Method, Work Machine Control Program, Work Machine Control System, And Work Machine
CN202310708905.3A CN117248592A (zh) 2022-06-16 2023-06-15 作业机械的控制方法、作业机械用控制程序、作业机械用控制系统以及作业机械

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022097349A JP2023183700A (ja) 2022-06-16 2022-06-16 作業機械の制御方法、作業機械用制御プログラム、作業機械用制御システム及び作業機械

Publications (1)

Publication Number Publication Date
JP2023183700A true JP2023183700A (ja) 2023-12-28

Family

ID=86657283

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022097349A Pending JP2023183700A (ja) 2022-06-16 2022-06-16 作業機械の制御方法、作業機械用制御プログラム、作業機械用制御システム及び作業機械

Country Status (5)

Country Link
US (1) US20230407603A1 (ja)
EP (1) EP4293165A1 (ja)
JP (1) JP2023183700A (ja)
KR (1) KR20230173581A (ja)
CN (1) CN117248592A (ja)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4310632B2 (ja) * 2003-11-07 2009-08-12 日立建機株式会社 建設機械の表示装置
JP5269026B2 (ja) * 2010-09-29 2013-08-21 日立建機株式会社 作業機械の周囲監視装置
WO2015163381A1 (ja) 2014-04-25 2015-10-29 住友建機株式会社 建設機械
WO2019031509A1 (ja) * 2017-08-09 2019-02-14 住友建機株式会社 ショベル、ショベルの表示装置及びショベルの表示方法

Also Published As

Publication number Publication date
CN117248592A (zh) 2023-12-19
KR20230173581A (ko) 2023-12-27
US20230407603A1 (en) 2023-12-21
EP4293165A1 (en) 2023-12-20

Similar Documents

Publication Publication Date Title
JP2024045756A (ja) 作業機械用表示制御システム、作業機械用表示システム、作業機械、作業機械用表示制御方法及び作業機械用表示制御プログラム
KR20230132373A (ko) 작업 기계용 제어 시스템, 작업 기계, 작업 기계의 제어 방법 및 작업 기계용 제어 프로그램
KR20230132372A (ko) 작업 기계용 제어 시스템, 작업 기계, 작업 기계의 제어 방법 및 작업 기계용 제어 프로그램
JP2023183700A (ja) 作業機械の制御方法、作業機械用制御プログラム、作業機械用制御システム及び作業機械
JP2023183699A (ja) 作業機械の制御方法、作業機械用制御プログラム、作業機械用制御システム及び作業機械
JP2023176830A (ja) 作業機械の制御方法、作業機械用制御プログラム、作業機械用制御システム及び作業機械
EP4134493A1 (en) Method for controlling work machine, work machine control program, and work machine control system
JP2023129871A (ja) 作業機械用制御システム、作業機械、作業機械の制御方法及び作業機械用制御プログラム
JP2024004570A (ja) 作業機械の制御方法、作業機械用制御プログラム、作業機械用制御システム及び作業機械
JP2023129874A (ja) 作業機械用制御システム、作業機械、作業機械の制御方法及び作業機械用制御プログラム
JP2023129872A (ja) 作業機械用制御システム、作業機械、作業機械の制御方法及び作業機械用制御プログラム
JP2023129873A (ja) 作業機械用制御システム、作業機械、作業機械の制御方法及び作業機械用制御プログラム
US20240141622A1 (en) Work Machine Control Method, Work Machine Control Program, Work Machine Control System, And Work Machine
EP4180585A1 (en) Work machine control method, work machine control program, work machine control system, and work machine
JP2024069887A (ja) 作業機械の制御方法、作業機械用制御プログラム、作業機械用制御システム及び作業機械
JP2023074224A (ja) 作業機械の制御方法、作業機械用制御プログラム、作業機械用制御システム及び作業機械
JP2023074223A (ja) 作業機械の制御方法、作業機械用制御プログラム、作業機械用制御システム及び作業機械
JP2023047506A (ja) 作業機械用制御システム、作業機械、作業機械の制御方法及び作業機械用制御プログラム
JP2023074222A (ja) 作業機械の制御方法、作業機械用制御プログラム、作業機械用制御システム及び作業機械