JP2023019920A - 作業機械の制御方法、作業機械用制御プログラム、作業機械用制御システム及び作業機械 - Google Patents

作業機械の制御方法、作業機械用制御プログラム、作業機械用制御システム及び作業機械 Download PDF

Info

Publication number
JP2023019920A
JP2023019920A JP2021125000A JP2021125000A JP2023019920A JP 2023019920 A JP2023019920 A JP 2023019920A JP 2021125000 A JP2021125000 A JP 2021125000A JP 2021125000 A JP2021125000 A JP 2021125000A JP 2023019920 A JP2023019920 A JP 2023019920A
Authority
JP
Japan
Prior art keywords
work machine
display
detection
check
checking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021125000A
Other languages
English (en)
Inventor
将志 段口
Masashi DANGUCHI
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yanmar Holdings Co Ltd
Original Assignee
Yanmar Holdings Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yanmar Holdings Co Ltd filed Critical Yanmar Holdings Co Ltd
Priority to JP2021125000A priority Critical patent/JP2023019920A/ja
Priority to KR1020220065997A priority patent/KR20230019384A/ko
Priority to US17/865,374 priority patent/US20230030108A1/en
Priority to EP22186403.6A priority patent/EP4134493A1/en
Priority to CN202210899227.9A priority patent/CN115680055A/zh
Publication of JP2023019920A publication Critical patent/JP2023019920A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20Drives; Control devices
    • E02F9/2025Particular purposes of control systems not otherwise provided for
    • E02F9/2033Limiting the movement of frames or implements, e.g. to avoid collision between implements and the cabin
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/24Safety devices, e.g. for preventing overload
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/261Surveying the work-site to be treated
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/261Surveying the work-site to be treated
    • E02F9/262Surveying the work-site to be treated with follow-up actions to control the work tool, e.g. controller
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20Drives; Control devices
    • E02F9/22Hydraulic or pneumatic drives
    • E02F9/2221Control of flow rate; Load sensing arrangements
    • E02F9/2225Control of flow rate; Load sensing arrangements using pressure-compensating valves
    • E02F9/2228Control of flow rate; Load sensing arrangements using pressure-compensating valves including an electronic controller
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20Drives; Control devices
    • E02F9/22Hydraulic or pneumatic drives
    • E02F9/2278Hydraulic circuits
    • E02F9/2285Pilot-operated systems
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20Drives; Control devices
    • E02F9/22Hydraulic or pneumatic drives
    • E02F9/2278Hydraulic circuits
    • E02F9/2292Systems with two or more pumps
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20Drives; Control devices
    • E02F9/22Hydraulic or pneumatic drives
    • E02F9/2278Hydraulic circuits
    • E02F9/2296Systems with a variable displacement pump

Landscapes

  • Engineering & Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Structural Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Civil Engineering (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Component Parts Of Construction Machinery (AREA)

Abstract

Figure 2023019920000001
【課題】オペレータがわずらわしく感じにくい、作業機械の制御方法、作業機械用制御プログラム、作業機械用制御システム及び作業機械を提供する。
【解決手段】作業機械の制御方法は、作業機械の周囲の監視エリアにおける検知対象物を検知する検知部の検知結果に基づいて、作業機械の動作を牽制する牽制処理を実行することと、牽制処理に係る機能の有効と無効とを切り替えることと、牽制処理に係る機能が有効か無効かを表す牽制状態情報I1を含む表示画面Dp1を表示装置に表示させることと、を有する。
【選択図】図5

Description

本発明は、周囲の監視エリアにおける検知対象物を検知する機能を有する作業機械に用いられる、作業機械の制御方法、作業機械用制御プログラム、作業機械用制御システム及び作業機械に関する。
関連技術として、走行部(下部走行体)に旋回部(上部旋回体)が旋回可能に搭載された作業機械(ショベル)が知られている(例えば、特許文献1参照)。関連技術に係る作業機械は、旋回部に取り付けられたカメラで、作業機械の周囲に設定された所定の検知範囲内での所定の物体を検知する物体検知機能を有する。作業機械は、物体(例えば人)を検知した場合、キャビン内に設置されたブザーを作動させ、物体を検知したことをオペレータ(操作者)に伝える。そして、この作業機械においては、物体検知機能の作動状態(検知可能状態/検知不能状態)が表示装置に表示される。
WO2018/008542A1
上記関連技術では、物体検知機能が検知可能状態である限り、物体が検知されるとブザーが作動することになり、オペレータがわずらわしく感じる可能性がある。
本発明の目的は、オペレータがわずらわしく感じにくい、作業機械の制御方法、作業機械用制御プログラム、作業機械用制御システム及び作業機械を提供することにある。
本発明の一態様に係る作業機械の制御方法は、作業機械の周囲の監視エリアにおける検知対象物を検知する検知部の検知結果に基づいて、前記作業機械の動作を牽制する牽制処理を実行することと、前記牽制処理に係る機能の有効と無効とを切り替えることと、前記牽制処理に係る機能が有効か無効かを表す牽制状態情報を含む表示画面を表示装置に表示させることと、を有する。
本発明の一態様に係る作業機械用制御プログラムは、前記作業機械の制御方法を、1以上のプロセッサに実行させるためのプログラムである。
本発明の一態様に係る作業機械用制御システムは、牽制処理部と、切替処理部と、表示処理部と、を備える。前記牽制処理部は、作業機械の周囲の監視エリアにおける検知対象物を検知する検知部の検知結果に基づいて、前記作業機械の動作を牽制する牽制処理を実行する。前記切替処理部は、前記牽制処理部の有効と無効とを切り替える。前記表示処理部は、前記牽制処理部が有効か無効かを表す牽制状態情報を含む表示画面を表示装置に表示させる。
本発明の一態様に係る作業機械は、前記作業機械用制御システムと、前記表示装置が搭載される機体と、を備える。
本発明によれば、オペレータがわずらわしく感じにくい、作業機械の制御方法、作業機械用制御プログラム、作業機械用制御システム及び作業機械を提供することができる。
図1は、実施形態1に係る作業機械の全体構成を示す概略斜視図である。 図2は、実施形態1に係る作業機械の油圧回路等を示す概略図である。 図3は、実施形態1に係る作業機械を上方から見て、作業機械の周囲に設定された監視エリア等を模式的に表す概略平面図である。 図4は、実施形態1に係る作業機械用制御システムにより表示画面が表示される表示装置の概略外観図である。 図5は、実施形態1に係る作業機械用制御システムにより表示される表示画面の一例を示す図である。 図6は、実施形態1に係る作業機械用制御システムにより表示される表示画面中の牽制状態情報の表示態様の一例を示す図である。 図7は、実施形態1に係る作業機械用制御システムにより表示される表示画面の第2領域の表示例を示す図である。 図8は、実施形態1に係る作業機械用制御システムにより表示される表示画面の一例を示す図である。 図9は、実施形態1に係る作業機械用制御システムの動作例を示すフローチャートである。 図10は、実施形態1の変形例に係る作業機械用制御システムにより表示される表示画面中の牽制状態情報の表示態様の一例を示す図である。 図11は、実施形態2に係る作業機械用制御システムにより表示される表示画面の第2領域の表示例を示す図である。 図12は、実施形態2に係る作業機械用制御システムにより表示される表示画面の第2領域の表示例を示す図である。
以下、添付図面を参照しながら、本発明の実施形態について説明する。以下の実施形態は、本発明を具体化した一例であって、本発明の技術的範囲を限定する趣旨ではない。
(実施形態1)
[1]全体構成
本実施形態に係る作業機械3は、図1に示すように、走行部31と、旋回部32と、作業部33と、を機体30に備えている。また、作業機械3は、図2に示すように、作業機械用制御システム1(以下、単に「制御システム1」ともいう)を更に備えている。その他、機体30は、表示装置2及び操作装置等を更に備えている。
本開示でいう「作業機械」は、各種の作業用の機械を意味し、一例として、バックホー(油圧ショベル、ミニショベル等を含む)、ホイルローダー及びキャリア等の作業車両である。作業機械3は、少なくとも吊り作業を含む1つ以上の作業を実行可能に構成された作業部33を備えている。作業機械3は、「車両」に限らず、例えば、作業用船舶、ドローン又はマルチコプター等の作業飛翔体等であってもよい。さらに、作業機械3は建設機械(建機)に限らず、例えば、田植機、トラクタ又はコンバイン等の農業機械(農機)であってもよい。本実施形態では、特に断りが無い限り、作業機械3が吊り機能付き(クレーン機能付き)のバックホーであって、吊り作業の他に、掘削作業、整地作業、溝掘削作業又は積込作業等を作業として実行可能である場合を例に挙げて説明する。
また、本実施形態では、説明の便宜上、作業機械3が使用可能な状態での鉛直方向を上下方向D1と定義する。さらに、旋回部32の非旋回状態において、作業機械3(の運転部321)に搭乗したユーザ(オペレータ)から見た方向を基準として、前後方向D2及び左右方向D3を定義する。言い換えれば、本実施形態で用いられる各方向は、いずれも作業機械3の機体30を基準として規定される方向であって、作業機械3の前進時に機体30が移動する方向が「前方」、作業機械3の後退時に機体30が移動する方向が「後方」となる。同様に、作業機械3の右旋回時に機体30の前端部が移動する方向が「右方」、作業機械3の左旋回時に機体30の前端部が移動する方向が「左方」となる。ただし、これらの方向は、作業機械3の使用方向(使用時の方向)を限定する趣旨ではない。
作業機械3は、動力源となるエンジンを備えている。作業機械3においては、例えば、エンジンによって油圧ポンプ41(図2参照)が駆動され、油圧ポンプ41から機体30の各部の油圧アクチュエータ(油圧モータ43及び油圧シリンダ44等を含む)に作動油が供給されることで、機体30が駆動する。また、作業機械3は、例えば、機体30の運転部321に搭乗したユーザ(オペレータ)が、操作装置の操作レバー等を操作することにより制御される。
本実施形態では、上述したように作業機械3が乗用タイプのバックホーである場合を想定しているので、作業部33は、運転部321に搭乗したユーザ(オペレータ)の操作に従って駆動され、掘削作業等の作業を実行する。ユーザが搭乗する運転部321は、旋回部32に設けられている。
走行部31は、走行機能を有し、地面を走行(旋回を含む)可能に構成されている。走行部31は、例えば、左右一対のクローラ311及びブレード312等を有している。走行部31は、クローラ311を駆動するための走行用の油圧モータ43(油圧アクチュエータ)等を更に有する。
旋回部32は、走行部31の上方に位置し、走行部31に対して、鉛直方向に沿った回転軸を中心に旋回可能に構成されている。旋回部32は、旋回用の油圧モータ(油圧アクチュエータ)等を有している。旋回部32には、運転部321の他、エンジン及び油圧ポンプ41等が搭載されている。さらに、旋回部32の前端部には、作業部33が取り付けられるブームブラケット322が設けられている。
作業部33は、吊り作業を含む作業を実行可能に構成されている。作業部33は、旋回部32のブームブラケット322に支持されており、作業を実行する。作業部33は、バケット331、ブーム332及びアーム333等を有している。作業部33は、各部を駆動するための油圧アクチュエータ(油圧シリンダ44及び油圧モータ等を含む)を更に有する。
バケット331は、作業機械3の機体30に取り付けられるアタッチメント(作業具)の一種であって、複数種類のアタッチメントの中から作業の内容に応じて選択される任意の器具からなる。バケット331は、一例として、機体30に対して取り外し可能に取り付けられ、作業の内容に応じて交換される。作業機械3用のアタッチメントとしては、例えば、バケット331の他に、ブレーカ、オーガ、クラッシャ、フォーク、フォーククロー、鉄骨カッタ、アスファルト切削機、草刈機、リッパ、マルチャ、チルトローテータ及びタンパ等の種々の器具がある。作業部33は、駆動装置からの動力により、バケット331を駆動することで作業を実行する。
ブーム332は、旋回部32のブームブラケット322にて、回転可能に支持されている。具体的には、ブーム332は、ブームブラケット322にて、水平方向に沿った回転軸を中心に回転可能に支持されている。ブーム332は、ブームブラケット322に支持される基端部から上方に延びる形状を有している。アーム333は、ブーム332の先端に連結されている。アーム333は、ブーム332に対して、水平方向に沿った回転軸を中心に回転可能に支持されている。アーム333の先端には、バケット331が取り付けられる。
作業部33は、動力源としてのエンジンからの動力を受けて動作する。具体的には、エンジンによって油圧ポンプ41が駆動され、作業部33の油圧アクチュエータ(油圧シリンダ44等)に油圧ポンプ41から作動油が供給されることで、作業部33の各部(バケット331、ブーム332及びアーム333)が動作する。
本実施形態では特に、作業部33は、ブーム332及びアーム333が個別に回転可能に構成された多関節型の構造を有している。つまり、ブーム332及びアーム333の各々が、水平方向に沿った回転軸を中心に回転することにより、例えば、ブーム332及びアーム333を含む多関節型の作業部33は、全体として伸ばしたり、折りたたんだりする動作が可能である。
走行部31及び旋回部32の各々についても、作業部33と同様に、動力源としてのエンジンからの動力を受けて動作する。つまり、走行部31の油圧モータ43及び旋回部32の油圧モータ等に、油圧ポンプ41から作動油が供給されることで、旋回部32及び走行部31が動作する。
エンジンは、上述したように各部に動力を供給する動力源として機能する。ここで、エンジンは、油圧ポンプ41等と共に旋回部32に搭載されている。本実施形態では一例として、エンジンはディーゼルエンジンである。エンジンは、燃料タンクから燃料(ここでは軽油)が供給されることにより駆動する。
ここで、機体30には、機体30の周辺を撮像するカメラ等、作業機械3の周囲の監視エリアA1(図3参照)における検知対象物Ob1(図3参照)を検知するための各種のセンサ類(カメラを含む)が備わっている。本実施形態では一例として、図3に示すように、左方カメラ341、右方カメラ342及び後方カメラ343を含む複数(ここでは3つ)のカメラが、機体30の旋回部32に搭載されている。左方カメラ341、右方カメラ342及び後方カメラ343は、制御システム1に接続されており、各々で撮像された画像を制御システム1に出力する。図3は、作業機械3を上方から見た平面図であって、作業機械3の周囲に設定された監視エリアA1、検知対象物Ob1、並びに作業機械3の機体30(左方カメラ341、右方カメラ342及び後方カメラ343を含む)を模式的に表している。
左方カメラ341、右方カメラ342及び後方カメラ343は、それぞれ旋回部32の運転部321に搭乗したオペレータから見て、左方、右方及び後方となる監視エリアA1を撮像できるように、運転部321を基準に左方、右方及び後方に向けて設置される。つまり、監視エリアA1は、図3に示すように、複数(ここでは3つ)の小エリアA11,A12,A13を含み、左方カメラ341は、このうち運転部321に搭乗したオペレータから見て左方となる小エリアA11(左方エリア)を撮像する。同様に、右方カメラ342は、運転部321に搭乗したオペレータから見て右方となる小エリアA12(右方エリア)を撮像し、後方カメラ343は、運転部321に搭乗したオペレータから見て後方となる小エリアA13(後方エリア)を撮像する。これにより、オペレータにとって死角となりやすい、側方(左方及び右方)並びに後方を、左方カメラ341、右方カメラ342及び後方カメラ343でカバーすることが可能となる。
図2では、本実施形態に係る作業機械3の油圧回路及び電気回路(電気的な接続関係)を模式的に示す。図2では、実線が高圧の(作動油用の)油路、点線が低圧の(パイロット油用の)油路、一点鎖線の矢印が電気信号の経路を示す。
図2に示すように、作業機械3は、油圧ポンプ41、油圧モータ43(図2では図示を省略)及び油圧シリンダ44に加えて、パイロットポンプ42、リモコン弁45、制御弁46及び方向切換弁(コントロールバルブ)47等を備えている。
エンジンにより駆動される油圧ポンプ41からの作動油は、走行部31の油圧モータ43、旋回部32の油圧モータ、及び作業部33の油圧シリンダ44等に供給される。これにより、油圧モータ43及び油圧シリンダ44等の油圧アクチュエータが駆動される。
油圧モータ43及び油圧シリンダ44等の油圧アクチュエータには、油圧ポンプ41からの作動油の方向及び流量を切換可能なパイロット式の方向切換弁47が設けられている。方向切換弁47は、パイロットポンプ42から入力指令となるパイロット油が供給されて駆動される。
ここで、例えば、作業部33の油圧シリンダ44に対応する方向切換弁47へのパイロット油の供給路には、リモコン弁45が設けられている。リモコン弁45は、操作レバーの操作に応じて作業部33の作業操作指令を出力する。作業操作指令は、作業部33の展開動作及び縮小動作等を指示する。また、リモコン弁45と、パイロットポンプ42との間には、電磁式の制御弁46(電磁弁)が挿入されている。制御弁46は、カットオフリレー352及びカットオフスイッチ353を介して電源351に接続されており、電源351からの供給電流に応じて動作する。
同様に、走行部31の油圧モータ43に対応する方向切換弁へのパイロット油の供給路にも、リモコン弁が設けられている。このリモコン弁は、操作レバーの操作に応じて走行部31の走行操作指令を出力する。走行操作指令は、走行部31の走行動作(前進又は後退等)を指示する。さらに、旋回部32の油圧モータに対応する方向切換弁へのパイロット油の供給路にも、リモコン弁が設けられている。このリモコン弁は、操作レバーの操作に応じて旋回部32の旋回操作指令を出力する。旋回操作指令は、旋回部32の旋回動作(左旋回又は右旋回等)を指示する。そして、これらのリモコン弁と、パイロットポンプ42との間にも、電磁式の制御弁46(電磁弁)が挿入されている。制御弁46は、カットオフリレー352及びカットオフスイッチ353を介して電源351に接続されており、電源351からの供給電流に応じて動作する。
制御弁46は、通電状態、つまり電流が供給されている状態で、パイロットポンプ42からリモコン弁45へのパイロット油の流路を開放し、非通電状態、つまり供給電流が遮断されている状態で、パイロット油の流路を遮断する。そのため、制御弁46への供給電流が遮断されることで、リモコン弁45に対応する油圧アクチュエータが駆動不能となり、操作レバーの操作によらずに、油圧アクチュエータの出力が強制的に停止する。
ここで、カットオフリレー352は、制御システム1に接続されており、制御システム1からの制御信号(電気信号)に応じてオン/オフが切り替わる。カットオフスイッチ353は、カットオフレバーの操作に応じてオン/オフが切り替わり、例えば、カットオフレバーが下方に操作された状態でオンになる。したがって、カットオフリレー352とカットオフスイッチ353との両方がオンのとき、制御弁46は通電状態となり、パイロットポンプ42からリモコン弁45へのパイロット油の流路が開放されるので、操作レバーの操作に応じて油圧アクチュエータが駆動する。これに対して、カットオフリレー352とカットオフスイッチ353との少なくとも一方がオフの状態では、制御弁46は非通電状態となり、パイロット油の流路が遮断されるので、油圧アクチュエータが駆動不能となる。
例えば、旋回部32の油圧モータに対応するリモコン弁とパイロットポンプ42との間に挿入された制御弁46につながるカットオフリレー352とカットオフスイッチ353との少なくとも一方がオフの状態では、旋回部32の油圧モータが駆動不能となる。この状態では、操作レバーの操作によらずに、油圧アクチュエータ(旋回部32の油圧モータ)の出力が強制的に停止するため、旋回部32の旋回動作が禁止されることになる。
制御システム1は、CPU(Central Processing Unit)等の1以上のプロセッサと、ROM(Read Only Memory)及びRAM(Random Access Memory)等の1以上のメモリとを有するコンピュータシステムを主構成とし、種々の処理(情報処理)を実行する。本実施形態では、制御システム1は、作業機械3全体の制御を行う統合コントローラであって、例えば、電子制御ユニット(ECU:Electronic Control Unit)からなる。ただし、制御システム1は、統合コントローラと別に設けられていてもよい。制御システム1について詳しくは「[2]制御システムの構成」の欄で説明する。
表示装置2は、機体30の運転部321に配置されており、ユーザ(オペレータ)による操作入力を受け付け、ユーザに種々の情報を出力するためのユーザインターフェースである。表示装置2は、例えば、ユーザの操作に応じた電気信号を出力することにより、ユーザによる各種の操作を受け付ける。これにより、ユーザ(オペレータ)は、表示装置2に表示される表示画面Dp1(図4参照)を視認でき、また、必要に応じて表示装置2を操作することが可能である。
表示装置2は、図2に示すように、制御部21と、操作部22と、表示部23と、を備えている。表示装置2は、制御システム1と通信可能に構成されており、制御システム1との間でデータの授受が可能である。本実施形態では一例として、表示装置2は作業機械3に用いられる専用のデバイスである。
制御部21は、制御システム1からのデータに従って、表示装置2を制御する。具体的には、制御部21は、操作部22で受け付けたユーザの操作に応じた電気信号を出力したり、制御システム1で生成される表示画面Dp1を表示部23に表示したりする。
操作部22は、表示部23に表示される表示画面Dp1に対するユーザ(オペレータ)による操作入力を受け付けるためのユーザインターフェースである。操作部22は、例えば、ユーザU1(図4参照)の操作に応じた電気信号を出力することにより、ユーザU1による各種の操作を受け付ける。本実施形態では一例として、操作部22は、図4に示すように、機械式の複数(ここでは6つ)の押釦スイッチ221~226を含む。これら複数の押釦スイッチ221~226は、表示部23の表示領域の周縁に沿うように、表示領域に近接して(図4の例では下方に)配置されている。これら複数の押釦スイッチ221~226は、後述する表示画面Dp1に表示される項目に対応付けられており、複数の押釦スイッチ221~226のいずれかが操作されることにより、表示画面Dp1のいずれかの項目が操作(選択)される。
また、操作部22は、タッチパネル及び操作ダイヤル等を含んでいてもよい。この場合においても、操作部22に対する操作により、表示画面Dp1のいずれかの項目が操作(選択)されることになる。
表示部23は、各種の情報を表示する液晶ディスプレイ又は有機ELディスプレイのような、ユーザU1(オペレータ)に情報を提示するためのユーザインターフェースである。表示部23は、ユーザに対して各種の情報を表示により提示する。本実施形態では一例として、表示部23は、バックライト付きのフルカラーの液晶ディスプレイであって、図4に示すように、横方向に長い「横長」の表示領域を有している。
表示装置2は、作業機械3を操作するユーザU1(オペレータ)に向けて表示画面Dp1にて種々の情報を提示する。つまり、作業機械3を操作するユーザU1は、表示装置2に表示される表示画面Dp1を見ることで、作業機械3に関連する種々の情報を視覚的に得ることが可能である。一例として、表示装置2に、冷却水温及び作動油温等の作業機械3の稼働状態に関する情報が表示されることで、ユーザU1は、作業機械3の操作に必要な作業機械3の稼働状態に関する情報を、表示装置2で確認することができる。また、表示装置2は、左方カメラ341、右方カメラ342及び後方カメラ343にて撮像される作業機械3の周辺画像(監視エリアA1の画像)についても、表示画面Dp1に表示することができる。これにより、ユーザU1(オペレータ)は、作業機械3を操作する際に、例えば、運転部321からの死角となりやすい作業機械3の側方及び後方等の状況を、表示装置2に表示される表示画面Dp1にて確認することができる。
さらに、作業機械3は、ユーザU1(オペレータ)に対して音(音声を含む)を出力する音出力部36(図2参照)を備えている。音出力部36は、ブザー又はスピーカ等を含み、電気信号を受けて音を出力する。音出力部36は、制御システム1に接続されており、制御システム1からの音制御信号に応じて、ビープ音又は音声等の音を出力する。本実施形態では、音出力部36は、表示装置2と同様に機体30の運転部321に設けられている。音出力部36は、表示装置2と一体に設けられていてもよい。
また、機体30は、上述した構成に加えて、操作レバー、カットオフレバー、通信端末、燃料タンク及びバッテリ等を更に備えている。さらには、機体30には、冷却水温センサ、作動油温センサ、エンジンの回転数を計測する回転数計、及び稼働時間を計測するアワーメータ等、機体30の稼働状態を監視するためのセンサ類が備わっている。その他、ゲートロックレバー及びスタータキースイッチ等の状態等を検出するセンサも、機体30に備わっている。
[2]制御システムの構成
次に、本実施形態に係る制御システム1の構成について、図2を参照して説明する。制御システム1は、表示装置2を制御することにより、表示装置2に表示画面Dp1を表示させる。本実施形態では、表示装置2は、上述したように作業機械3の機体30に搭載されている。制御システム1は、作業機械3の構成要素であって、機体30等と共に作業機械3を構成する。言い換えれば、本実施形態に係る作業機械3は、少なくとも制御システム1と、表示装置2が搭載される機体30(走行部31、旋回部32及び作業部33を含む)と、を備えている。
本開示でいう表示画面Dp1等の「画面」は、表示装置2にて表示される映像(画像)を意味し、図像、図形、写真、テキスト及び動画等を含む。すなわち、制御システム1は、例えば、冷却水温及び作動油温等の作業機械3の稼働状態に関する情報を表す図像等を含む表示画面Dp1を、表示装置2に表示させることが可能である。ここで、表示画面Dp1が動画等を含む場合には、表示画面Dp1は一定の映像ではなく、刻一刻と変化する映像を含む。
制御システム1は、図2に示すように、表示処理部11と、牽制処理部12と、切替処理部13と、画像取得部14と、検知部15と、異常判定部16と、を備えている。本実施形態では一例として、制御システム1は1以上のプロセッサを有するコンピュータシステムを主構成とするので、1以上のプロセッサが作業機械用制御プログラムを実行することにより、これら複数の機能部(表示処理部11等)が実現される。制御システム1に含まれる、これら複数の機能部は、複数の筐体に分散して設けられていてもよいし、1つの筐体に設けられていてもよい。
制御システム1は、機体30の各部に設けられたデバイスと通信可能に構成されている。つまり、制御システム1には、少なくとも表示装置2、音出力部36、カットオフリレー352、左方カメラ341、右方カメラ342及び後方カメラ343等が接続されている。これにより、制御システム1は、表示装置2及び音出力部36等を制御したり、カットオフリレー352を制御して制御弁46を制御したり、左方カメラ341、右方カメラ342及び後方カメラ343等の撮像画像を取得したりすることが可能である。ここで、制御システム1は、各種の情報(データ)の授受を、各デバイスと直接的に行ってもよいし、中継器等を介して間接的に行ってもよい。
画像取得部14は、左方カメラ341、右方カメラ342及び後方カメラ343の出力を、左方カメラ341、右方カメラ342及び後方カメラ343から定期的又は不定期に取得する。つまり、画像取得部14は、作業機械3の周囲の監視エリアA1(各小エリアA11,A12,A13)の画像データを取得する。画像取得部14で取得されたデータは、例えば、メモリ等に記憶される。
検知部15は、作業機械3の周囲の監視エリアA1における検知対象物Ob1を検知する。つまり、検知部15は、監視エリアA1における検知対象物Ob1の存否(有無)を判断し、監視エリアA1に検知対象物Ob1が存在するか否かを表す検知結果を出力する。本実施形態では一例として、検知対象物Ob1は「人」である。つまり、作業機械3が移動し、又は作業機械3の周囲の「人」が移動した結果、作業機械3の周囲の監視エリアA1に「人」が侵入した場合、検知部15は当該「人」を検知対象物Ob1として検知する。監視エリアA1に複数の検知対象物Ob1が存在する場合には、検知部15は、検知対象物Ob1の数(人数)も含めて検知してもよい。
本実施形態では、検知部15は、左方カメラ341、右方カメラ342及び後方カメラ343の出力(画像データ)に基づいて、監視エリアA1における検知対象物Ob1を検知する。具体的には、検知部15は、画像取得部14で取得された画像データに対して、画像処理を施すことにより、画像中の特徴量を抽出し、当該特徴量に基づいて、画像に検知対象物Ob1(本実施形態では「人」)が写り込んでいるか否かを判断する。ここで、画像に検知対象物Ob1が写り込んでいる場合、検知部15は、左方カメラ341、右方カメラ342及び後方カメラ343のいずれで撮像された画像に検知対象物Ob1が写り込んでいるかを判断する。つまり、検知部15は、左方カメラ341で撮像される小エリアA11、右方カメラ342で撮像される小エリアA12、及び後方カメラ343で撮像される小エリアA13のいずれに検知対象物Ob1が存在するかを区別して、検知対象物Ob1の検知を行う。
異常判定部16は、検知部15の検知に関する異常の有無を判定する。つまり、検知部15、左方カメラ341、右方カメラ342、後方カメラ343、又は監視エリアA1を照らす照明装置のいずれかに異常(故障等)がある場合には、検知部15での検知対象物Ob1の検知は正常に行えない。そこで、異常判定部16は、このように検知部15での検知対象物Ob1の検知が正常に行えない状態を、検知部15の検知に関する異常がある状態と判定する。
牽制処理部12は、検知部15の検知結果に基づいて、作業機械3の動作を牽制する牽制処理を実行する。本実施形態では、検知部15の検知結果が、監視エリアA1に検知対象物Ob1(ここでは人)の存在を示す結果である場合に、牽制処理部12は牽制処理を実行する。本開示でいう「牽制処理」は、作業機械3の動作に関し、何かしら抑制する方向に作用する処理を意味する。一例として、牽制処理は、作業機械3を操作するユーザU1(オペレータ)に対して、音又は光(表示を含む)により警告を行うことで、作業機械3の動作を間接的に牽制する処理を含む。さらに、牽制処理は、作業機械3の走行部31、旋回部32及び作業部33等を制御することで、作業機械3の動作を直接的に牽制する処理を含む。
本実施形態では、牽制処理部12は、音出力処理部121と、制限処理部122と、を含んでいる。
音出力処理部121は、監視エリアA1に検知対象物Ob1が存在する場合に、音出力部36を制御することにより、音出力部36から報知音を出力させる。すなわち、本実施形態では、牽制処理は、報知音を出力する音出力処理を含む。報知音は、単なるビープ音であってもよいし、「ご注意ください」等の音声であってもよい。さらに、報知音は、検知部15の検知結果(機体30から検知対象物Ob1までの距離等)に応じて変化してもよい。これにより、作業機械3を操作するユーザU1(オペレータ)に対して、報知音による警告を行うことで、作業機械3の動作を間接的に牽制できるので、作業機械3の操作の自由度が高い。つまり、ユーザU1が検知対象物Ob1に注意して作業機械3を操作することで、検知対象物Ob1との接触を回避しつつも作業機械3の動作を継続することができる。
制限処理部122は、監視エリアA1に検知対象物Ob1が存在する場合に、カットオフリレー352を制御することにより、カットオフリレー352をオフにする。これにより、カットオフリレー352を介して電源351に接続されている制御弁46が非通電状態となり、制御弁46に対応する油圧アクチュエータの出力が強制的に停止する。すなわち、本実施形態では、牽制処理は、作業機械3の動作を制限する制限処理を含む。本開示でいう「制限処理」は、作業機械3の動作に関し、何かしら制限する方向に作用する処理を意味する。一例として、制限処理は、走行部31の走行動作を禁止する(走行動作不能とする)処理、旋回部32の旋回動作を禁止する(旋回動作不能とする)処理、及び作業部33の動作を禁止する(作業不能とする)処理等を含む。これにより、ユーザU1(オペレータ)の操作によらずに、作業機械3の動作を強制的に制限することができる。つまり、作業機械3が動作することによる機体30と検知対象物Ob1との接触を回避できる。
ここで、制限処理部122が実行する制限処理は、少なくとも旋回部32の旋回動作を制限する処理を含む。具体的に、制限処理部122は、旋回部32の油圧モータに対応する制御弁46につながるカットオフリレー352を制御可能に構成されており、監視エリアA1に検知対象物Ob1が存在する場合に、当該カットオフリレー352をオフにする。これにより、監視エリアA1に検知対象物Ob1が存在する場合においては、旋回部32の油圧モータが駆動不能となり、旋回部32の旋回動作中であれば旋回部32が緊急停止し、旋回部32の旋回動作中でなければ旋回部32の旋回動作が禁止される。すなわち、本実施形態では、作業機械3は、走行部31と、走行部31に対して旋回可能な旋回部32と、を備える。制限処理は、少なくとも旋回部32の旋回動作を制限する。これにより、ユーザU1(オペレータ)の死角となる監視エリアA1に検知対象物Ob1が存在する場合に、旋回部32が旋回することによる機体30と検知対象物Ob1との接触を回避できる。
切替処理部13は、牽制処理部12の有効と無効とを切り替える。つまり、切替処理部13は、牽制処理に係る機能の有効と無効とを切り替える。要するに、牽制処理部12は常に有効という訳ではなく、有効/無効の切り替えが可能である。牽制処理部12が有効であれば、監視エリアA1に検知対象物Ob1が存在する場合に、牽制処理部12による牽制処理が実行される。一方、牽制処理部12が無効であれば、監視エリアA1に検知対象物Ob1が存在する場合でも、牽制処理部12による牽制処理は実行されない。
本実施形態では一例として、牽制処理に係る機能(牽制処理部12)の有効と無効との切り替えは、ユーザU1(オペレータ)が表示装置2を操作することによって行われる。つまり、ユーザU1が、牽制処理に係る機能を有効にするように表示装置2の操作部22を操作すると、切替処理部13は、この操作を受けて、牽制処理に係る機能を有効にする。一方、ユーザU1が、牽制処理に係る機能を無効にするように表示装置2の操作部22を操作すると、切替処理部13は、この操作を受けて、牽制処理に係る機能を無効にする。
また、本実施形態では、牽制処理部12が行う牽制処理は、音出力処理部121が実行する音出力処理と、制限処理部122が実行する制限処理と、を含んでいる。このように、牽制処理は、作業機械3の動作を牽制するための複数の具体的処理(音出力処理及び制限処理等)を含んでいる。ここで、牽制処理は、具体的処理ごとに個別に有効と無効とを切替可能である。つまり、切替処理部13は、牽制処理部12における音出力処理部121と制限処理部122とについて、個別に有効と無効とを切替可能である。一例として、音出力処理部121を有効、制限処理部122を無効としたり、音出力処理部121を無効、制限処理部122を有効としたりすることが可能である。これにより、状況に応じて、必要な具体的処理のみを有効にすることができ、牽制処理の自由度が向上する。
表示処理部11は、少なくとも表示画面Dp1を表示装置2に表示させる機能を有する。具体的には、表示処理部11は、画像取得部14で取得されるデータ等に基づいて表示画面Dp1を生成し、表示装置2を制御することによって、表示画面Dp1を表示装置2の表示部23に表示させる。さらに、表示処理部11は、表示装置2の操作部22が受け付けた操作に応じて動作する。表示処理部11は、例えば、左方カメラ341、右方カメラ342及び後方カメラ343で撮像される撮像画像Im11,Im12,Im13(図5参照)を表示画面Dp1に表示させる。つまり、表示処理部11は、画像取得部14は、作業機械3の周囲の監視エリアA1(各小エリアA11,A12,A13)の画像を表示装置2に表示させる。
ここで、表示処理部11は、牽制処理に係る機能が有効か無効かを表す牽制状態情報I1(図5参照)を含む表示画面Dp1を、表示装置2に表示させることが可能である。つまり、牽制処理に係る機能の有効/無効は切替処理部13にて切り替えられるところ、現在、牽制処理に係る機能の状態(有効/無効)は、牽制状態情報I1として表示画面Dp1に表示される。このように、表示処理部11は、表示画面Dp1を表示装置2に表示させる。表示画面Dp1は、牽制処理部12が有効か無効かを表す牽制状態情報I1を含む。これにより、ユーザU1(オペレータ)は、牽制処理に係る機能が有効か無効かを視覚的に確認することができ、牽制処理に係る機能が有効か無効かを知った上で作業機械3を操作できる。
ところで、検知部15は、制御システム1に必須の構成ではない。例えば、制御システム1は、外部の検知部の検知結果を取得し、当該検知結果に基づいて牽制処理部12が牽制処理を実行するように構成されていてもよい。
[3]作業機械の制御方法
以下、図5~図9を参照しつつ、主として制御システム1によって実行される作業機械3の制御方法(以下、単に「制御方法」という)の一例について説明する。
本実施形態に係る制御方法は、コンピュータシステムを主構成とする制御システム1にて実行されるので、言い換えれば、作業機械用制御プログラム(以下、単に「制御プログラム」という)にて具現化される。つまり、本実施形態に係る制御プログラムは、制御方法に係る各処理を1以上のプロセッサに実行させるためのコンピュータプログラムである。このような制御プログラムは、例えば、制御システム1及び表示装置2によって協働して実行されてもよい。
ここで、制御システム1は、制御プログラムを実行させるための予め設定された特定の開始操作が行われた場合に、制御方法に係る下記の各種処理を実行する。開始操作は、例えば、作業機械3のエンジンの起動操作等である。一方、制御システム1は、予め設定された特定の終了操作が行われた場合に、制御方法に係る下記の各種処理を終了する。終了操作は、例えば、作業機械3のエンジンの停止操作等である。
[3.1]表示画面
ここではまず、本実施形態に係る制御方法によって表示装置2の表示部23に表示される表示画面Dp1の構成について説明する。図5等の表示装置2の表示部23に表示される表示画面Dp1を示す図面において、領域を表す一点鎖線、引出線及び参照符号は、いずれも説明のために付しているに過ぎず、実際に表示装置2に表示される訳ではない。
図5に示す表示画面Dp1は、制御方法によって最初に表示されるホーム画面である。ホーム画面は、作業機械3の稼働中に、まずは表示装置2に表示されることになる基本的な表示画面Dp1である。表示画面Dp1は、ホーム画面から、操作部22に対する操作に従って、メニュー画面、クレーン画面、モード画面及びPTO画面等を含む様々な表示画面Dp1への遷移が可能である。
表示画面Dp1は、図5に示すように、第1領域R1、第2領域R2、第3領域R3、第4領域R4、第5領域R5、第6領域R6、第7領域R7、第8領域R8、第9領域R9及び第10領域R10を含む。本実施形態に係る制御方法では、一例として、表示画面Dp1の大部分を占める第2領域R2に、監視エリアA1(各小エリアA11,A12,A13)の撮像画像Im11,Im12,Im13、及び牽制状態情報I1等を表示する。第2領域R2中の牽制状態情報I1が表示される領域を第11領域R11とする。
具体的には、表示画面Dp1は、縦方向(上下方向)に4つの領域に分割されている。そして、上から3つの領域は、それぞれ更に横方向(左右方向)に3つの領域に分割されている。これにより、表示画面Dp1は、計10個の領域に分割される。そして、上から2段目の領域は、左から順に、第1領域R1、第2領域R2、第3領域R3となる。最下段の領域は第4領域R4となる。さらに、上から3段目の領域は、左から順に、第5領域R5、第6領域R6、第7領域R7となり、最上段の領域は、左から順に、第8領域R8、第9領域R9、第10領域R10となる。縦方向のサイズは、縦方向に分割された4つの領域の中では、上から2段目の領域(第1領域R1、第2領域R2、第3領域R3)が最も広い。横方向のサイズは、横方向に分割された3つの領域の中では、真ん中の領域(第2領域R2、第6領域R6、第9領域R9)が最も広い。
ただし、これらの各領域の配置及びサイズは一例に過ぎず、適宜変更可能である。また、各領域が境界線によって明確に分割されていることは必須ではない。例えば、図5の例でも、第2領域R2と第3領域R3とは境界線によって明確に分割されているのに対して、第1領域R1と第2領域R2との間には境界線は存在しない。もちろん、第1領域R1と第2領域R2とが境界線によって明確に分割されていてもよい。
第1領域R1は、縦方向に長い矩形状の領域である。第1領域R1には、例えば、エンジンの燃料(例えば軽油)の残量に関する残量情報G1が表示される。表示処理部11は、残量センサの出力(センサ信号)等に基づいて、表示画面Dp1中の残量情報G1を生成する。
第2領域R2は、横方向に長い矩形状の領域である。第2領域R2には、監視エリアA1の撮像画像Im11,Im12,Im13、及び牽制状態情報I1等が表示される。撮像画像Im11は、左方カメラ341で撮像される運転部321の左方となる小エリアA11の画像であって、撮像画像Im12は、右方カメラ342で撮像される運転部321の右方となる小エリアA12の画像である。撮像画像Im13は、後方カメラ343で撮像される運転部321の後方となる小エリアA13の画像である。表示処理部11は、画像取得部14で取得される撮像画像Im11,Im12,Im13をリアルタイムで表示させる。本実施形態では、これら撮像画像Im11,Im12,Im13は、機体30を上方から見たときの位置関係に対応するように、撮像画像Im11が第2領域R2の左上方、撮像画像Im12が第2領域R2の右上方、撮像画像Im13が第2領域R2の中央下方に表示される。さらに、第2領域R2の中央部には、情報から見た機体30を模したアイコンIm10が表示されている。アイコンIm10は、機体30から見た左方カメラ341、右方カメラ342及び後方カメラ343の撮像範囲(小エリアA11,A12,A13)の位置関係を、模式的に表している。
牽制状態情報I1は、第2領域R2の右下方に設定された第11領域R11内に表示される。牽制状態情報I1は、上述したように、牽制処理に係る機能が有効か無効か、つまり切替処理部13にて選択されている牽制処理に係る機能の状態(有効/無効)を表す情報である。本実施形態では、牽制状態情報I1は、図像(アイコン)を含んでいる。牽制状態情報I1は、例えば、図像の表示色又はサイズ等の表示態様によって、牽制処理に係る機能の状態(有効/無効)を表す。表示処理部11は、切替処理部13の動作状態に基づいて、牽制処理に係る機能の状態(有効/無効)を判断する。そして、表示処理部11は、牽制処理に係る機能の状態(有効/無効)に応じて、牽制状態情報I1における図像の表示態様を決定する。
ここで、牽制処理は、複数の具体的処理(音出力処理及び制限処理等)を含み、具体的処理ごとに個別に有効と無効とを切替可能であるところ、牽制状態情報I1は、具体的処理ごとに個別に表示される。図5の例では、牽制状態情報I1は、それぞれ具体的処理に対応する第1牽制状態情報I11と第2牽制状態情報I12とを含んでいる。第1牽制状態情報I11は、音出力処理に係る機能の有効/無効を表し、第2牽制状態情報I12は、制限処理に係る機能の有効/無効を表している。第1牽制状態情報I11及び第2牽制状態情報I12は、個々の図像のデザイン(絵柄)によって、音出力処理及び制限処理のいずれに対応するかを示す。
第3領域R3は、縦方向に長い矩形状の領域である。第3領域R3には、作業機械3の各部の稼働状態に応じた図像(アイコン)Im1が表示される。第3領域R3には、複数の図像Im1を表示可能であって、個々の図像Im1のデザイン(絵柄)によって、例えば、バッテリ、シートベルト、冷却水温、作動油温等の、いずれの状態を表すかを示す。ここで、各図像Im1は、例えば、表示色又はサイズ等の表示態様によって、稼働状態を示す。表示処理部11は、作業機械3の各部の稼働状態を検知する種々のセンサ(冷却水温センサ34及び作動油温センサ35を含む)の出力を用いて、作業機械3の各部の状態を判断する。そして、表示処理部11は、いずれかの部位で異常値が検知された場合には、その部位の図像Im1の表示色等の表示態様を変化させる等により、警告表示を行う。
第4領域R4は、表示画面Dp1の全幅にわたって延びる帯状の領域である。第4領域R4には、表示画面Dp1に対する操作のための各項目が表示される。図5では一例として、第4領域R4には、「メニュー」、「クレーン」、「モード」、「カメラ」、「PTO」、「切替」の6つの項目が、この順で左から並べて配置されている。これら6つの項目には、その真下に位置する操作部22の6つの押釦スイッチ221~226がそれぞれ対応付けられている。例えば、「メニュー」の項目には押釦スイッチ221が、「クレーン」の項目には押釦スイッチ222が、それぞれ対応付けられている。そのため、例えば、「カメラ」の項目に対応する押釦スイッチ224がユーザU1(図4参照)により操作されると、「カメラ」の項目が操作(選択)されることになる。
さらに、本実施形態では、操作部22の操作ダイヤル(又はカーソルキー)等の操作にも対応するように、第4領域R4においては、いずれかの項目がハイライト表示される。図5の例では「メニュー」の項目がハイライト表示されており、操作ダイヤル(又はカーソルキー)等の操作により、ハイライト表示される項目が切り替わる。ユーザU1においては、所望の項目をハイライト表示させた状態で決定ボタンを操作することにより、所望の項目を選択することが可能である。そのため、例えば、「カメラ」の項目にハイライト表示を移動させた状態で決定ボタンが操作されると、「カメラ」の項目が操作(選択)されることになる。また、操作部22がタッチパネルを含む場合には、ユーザU1は、表示画面Dp1上の所望の項目をタッチする操作により、所望の項目を選択することが可能である。
第5領域R5には、種々のセンサ(冷却水温センサ及び作動油温センサを含む)にて異常値が検知されていることを示す、警告表示用の図像(アイコン)が表示される。第6領域R6には、例えば、作業機械3において稼働中の作業部33に関する情報が表示される。第7領域R7には、例えば、エンジンの回転数等、作業機械3の稼働状態に関する情報が表示される。第8領域R8には、例えば、現在時刻が表示される。第9領域R9には、例えば、現在表示されている表示画面Dp1が属する項目を示す情報が表示される。第10領域R10には、例えば、作業機械3の稼働時間(アワーメータ)に関する情報が表示される。
[3.2]詳細
次に、本実施形態に係る制御方法の詳細について説明する。
本実施形態では、上述したように、牽制処理に係る機能(牽制処理部12)の有効と無効との切り替えを、ユーザU1の操作に応じて行う。そのため、牽制処理部12は常に有効という訳ではなく、ユーザU1が任意に、牽制処理部12の有効/無効を切り替えることが可能である。
しかも、牽制処理部12の有効/無効に関しては、表示画面Dp1中に牽制状態情報I1として表示される。つまり、表示画面Dp1の第11領域R11に表示される牽制状態情報I1は、切替処理部13にて選択中の牽制処理に係る機能の状態(有効/無効)を表している。そのため、ユーザU1においては、表示画面Dp1中の牽制状態情報I1により、牽制処理に係る機能の有効/無効を確認することが可能である。
この構成によれば、例えば、物体検知機能が検知可能状態である限り、物体が検知されるとブザーが作動するような構成に比較して、オペレータ(ユーザU1)がわずらわしく感じにくい、という利点がある。すなわち、本実施形態に係る制御方法によれば、牽制処理に係る機能(牽制処理部12)の有効/無効を切替可能であるので、牽制処理(音出力処理及び制限処理等)が不要な状況では、当該機能を無効にすることで、オペレータ(ユーザU1)がわずらわしく感じることを回避できる。その上で、牽制機能に係る機能の有効/無効が牽制状態情報I1として表示画面Dp1に表示されるので、オペレータ(ユーザU1)は、現在の牽制機能に係る機能の有効/無効の状態を容易に確認できる。したがって、例えば、牽制機能に係る機能が無効になっているにもかかわらず、牽制機能に係る機能が有効であるとオペレータ(ユーザU1)が勘違いして作業機械3を操作するような事態を回避しやすい。
図6は、牽制状態情報I1の表示態様の一例を示している。本実施形態では、牽制状態情報I1は第1牽制状態情報I11と第2牽制状態情報I12とを含むので、第1牽制状態情報I11及び第2牽制状態情報I12の各々について、個別に有効と無効とで表示態様が切り替わることになる。その結果、牽制状態情報I1の表示態様として、音出力処理と制限処理との両方が有効な「パターン1」、音出力処理のみが有効な「パターン2」、制限処理のみが有効な「パターン3」、及び音出力処理と制限処理との両方が無効な「パターン4」の計4つのパターンが生じる。
本実施形態では一例として、牽制処理に係る機能が有効であれば牽制状態情報I1はアクティブ表示され、牽制処理に係る機能が無効であれば牽制状態情報I1は非アクティブ表示される。つまり、アクティブ表示されている牽制状態情報I1は、牽制処理に係る機能が有効であることを表しており、非アクティブ表示されている牽制状態情報I1は、牽制処理に係る機能が無効であることを表している。アクティブ表示されている牽制状態情報I1は、例えば、緑色等のコントラストの大きい表示色で表示されるのに対し、非アクティブ表示されている牽制状態情報I1は、例えば、グレー等のコントラストの小さい表示色で表示される。よって、牽制処理部12のうち音出力処理部121が有効、制限処理部122が無効であれば、例えば、図6に示す「パターン2」のように、第1牽制状態情報I11は緑色等でアクティブ表示され、第2牽制状態情報I12はグレーアウトされることで非アクティブ表示される。
このように、本実施形態では、牽制状態情報I1は、具体的処理ごとに有効か無効かを表す。そのため、牽制処理が作業機械3の動作を牽制するための複数の具体的処理(音出力処理及び制限処理等)を含む場合に、オペレータ(ユーザU1)は、これら複数の具体的処理の各々について個別に有効/無効を確認することが可能である。
さらに、本実施形態では、牽制処理に係る機能が無効である場合には、牽制処理に係る機能が無効であることを牽制状態情報I1として表示させる。つまり、上述したように、牽制処理に係る機能が無効である場合、牽制状態情報I1は、非アクティブ表示されることにより牽制処理に係る機能が無効であることを表す。このように、牽制処理に係る機能が有効であるか無効であるかにかかわらず、牽制状態情報I1が表示されることになるので、オペレータ(ユーザU1)は、牽制処理に係る機能の有効/無効を把握しやすい。
ところで、本実施形態では、図7に示すように、表示画面Dp1は、検知部15の検知結果を表す検知結果情報I2,I3を含んでいる。図7では、表示画面Dp1のうち第2領域R2のみを示し、第2領域R2以外の領域の図示を省略する。検知結果情報I2は、撮像画像Im11,Im12,Im13のうち、検知対象物Ob1が含まれる撮像画像を強調表示する帯状(枠状)の図像である。検知結果情報I3は、運転部321から見て検知対象物Ob1が存在する方向を示す図像である。図7の例では、左方カメラ341で撮像される運転部321の左方となる小エリアA11に検知対象物Ob1(ここでは「人」)が存在する場合を想定している。そのため、撮像画像Im11,Im12,Im13のうち撮像画像Im11が検知結果情報I2にて強調表示され、かつ撮像画像Im11の下方に運転部321の左方に検知対象物Ob1が存在することを示す検知結果情報I3が表示されている。
検知結果情報I2,I3の表示態様は、監視エリアA1における検知対象物Ob1の位置によって変更されることが好ましい。例えば、検知結果情報I2,I3の表示色、サイズ、又は表示パターン(点滅パターン等を含む)等の表示態様が、監視エリアA1における検知対象物Ob1の位置によって変更される。例えば、検知対象物Ob1が機体30に近いほど、検知結果情報I2,I3の表示態様が目立つ表示色に変更され、一例として、検知対象物Ob1が機体30に近づくと、検知結果情報I2,I3の表示色が黄色から赤色に変化する。
このように、表示画面Dp1には、監視エリアA1の撮像画像Im11,Im12,Im13が表示されるだけでなく、監視エリアA1における検知対象物Ob1の検知結果についても検知結果情報I2,I3として表示される。そのため、オペレータ(ユーザU1)は、表示画面Dp1を見ることで、監視エリアA1における検知対象物Ob1の有無(存否)を容易に確認できる。
要するに、本実施形態に係る制御方法では、表示画面Dp1は、監視エリアA1の撮像画像Im11,Im12,Im13を含む。これにより、オペレータ(ユーザU1)は、運転部321からの死角となりやすい作業機械3の側方及び後方等の状況を、表示装置2に表示される表示画面Dp1にて確認することができる。したがって、検知結果情報I2,I3だけが表示される構成に比較して、監視エリアA1内に検知対象物Ob1が存在する場合、検知対象物Ob1の状況を表示画面Dp1にて詳細に把握しやすくなる。
また、撮像画像Im11,Im12,Im13は、監視エリアA1に含まれる複数の小エリアA11,A12,A13の画像を含む。そして、表示画面Dp1において、複数の小エリアA11,A12,A13のうち検知対象物Ob1が存在する小エリアの画像を強調表示させる。つまり、検知結果情報I2にて、撮像画像Im11,Im12,Im13のうち、検知対象物Ob1が含まれる撮像画像を強調表示する。これにより、オペレータ(ユーザU1)は、監視エリアA1内に検知対象物Ob1が存在する場合、複数の小エリアA11,A12,A13のうちのいずれに検知対象物Ob1が存在するかを把握しやすくなる。
ここで、検知結果情報I2,I3に関しては、牽制処理に係る機能が有効である場合にはもちろんのこと、牽制処理に係る機能が無効である場合にも表示される。つまり、牽制処理部12が無効になっており、第1牽制状態情報I11及び第2牽制状態情報I12の両方がグレーアウトされることで非アクティブ表示された状態(図6の「パターン4」)であっても、監視エリアA1に検知対象物Ob1が存在していれば、検知結果情報I2,I3は表示される。このように、本実施形態に係る制御方法では、表示画面Dp1は、検知部15の検知結果を表す検知結果情報I2,I3を含み、検知結果情報I2,I3については、牽制処理に係る機能が有効か無効かに依らず表示させる。したがって、たとえ牽制処理に係る機能が無効にされている状態でも、オペレータ(ユーザU1)は、検知部15の検知結果については、表示画面Dp1にて確認することが可能である。
また、本実施形態では、検知部15の検知に関する異常の発生時には、牽制状態情報I1の表示態様をエラー態様とする。ここで、「エラー態様」は、検知部15の検知に関する異常の発生時における牽制状態情報I1の表示態様であって、例えば、牽制状態情報I1の非表示、牽制状態情報I1の表示色、サイズ、又は表示パターン(点滅パターン等を含む)等で検知部15の検知に関する異常がない場合と区別される。つまり、異常判定部16が、検知部15の検知に関する異常があると判定した場合には、図8に示すように、第11領域R11の牽制状態情報I1を非表示とすることで、その表示態様をエラー態様とし、検知部15の検知に関する異常があることを報知する。さらに、図8の例では、第9領域R9にも、「エラー発生中」のように、異常が検知されていることを示す提示情報Im2が表示されている。
この構成によれば、牽制状態情報I1は、牽制処理に係る機能の有効/無効だけでなく、検知部15の検知に関する異常の有無をも表すことになる。したがって、オペレータ(ユーザU1)においては、表示画面Dp1にて、検知部15の検知に関する異常の有無をも確認でき、検知部15の検知に関する異常の発生時には必要な措置をとることが可能である。
[3.3]全体処理
次に、制御方法に係る処理の全体の流れについて、図9を参照して説明する。図9は、制御方法に係る処理の一例を示すフローチャートである。
図9に示すように、制御システム1の表示処理部11は、まず表示装置2に表示画面Dp1を表示させる(S1)。ここで、制御システム1は、切替処理部13にて選択中の牽制処理に係る機能(牽制処理部12)が有効か無効かを判断する。
具体的に、制御システム1は、まず牽制処理のうち、音出力処理に係る機能が有効か否かを判断する(S2)。音出力処理に係る機能が有効に設定されていれば(S2:Yes)、制御システム1は、音出力処理部121を有効にする(S3)。そして、制御システム1の表示処理部11は、表示画面Dp1中に牽制状態情報I1のうちの第1牽制状態情報I11をアクティブ表示する(S4)。一方、音出力処理に係る機能が無効に設定されていれば(S2:No)、制御システム1は、音出力処理部121を無効にする(S5)。そして、制御システム1の表示処理部11は、表示画面Dp1中に牽制状態情報I1のうちの第1牽制状態情報I11を非アクティブ表示する(S6)。
また、制御システム1は、牽制処理のうち、制限処理に係る機能が有効か否かを判断する(S7)。制限処理に係る機能が有効に設定されていれば(S7:Yes)、制御システム1は、制限処理部122を有効にする(S8)。そして、制御システム1の表示処理部11は、表示画面Dp1中に牽制状態情報I1のうちの第2牽制状態情報I12をアクティブ表示する(S9)。一方、制限処理に係る機能が無効に設定されていれば(S7:No)、制御システム1は、制限処理部122を無効にする(S10)。そして、制御システム1の表示処理部11は、表示画面Dp1中に牽制状態情報I1のうちの第2牽制状態情報I12を非アクティブ表示する(S11)。
制御システム1は、上記ステップS1~S11の処理を繰り返し実行する。これにより、表示画面Dp1には、牽制処理に係る機能の状態(有効/無効)を表す牽制状態情報I1が表示される。ただし、図9に示すフローチャートは一例に過ぎず、処理が適宜追加又は省略されてもよいし、処理の順番が適宜入れ替わってもよい。
[4]変形例
以下、実施形態1の変形例を列挙する。以下に説明する変形例は、適宜組み合わせて適用可能である。
本開示における制御システム1は、コンピュータシステムを含んでいる。コンピュータシステムは、ハードウェアとしての1以上のプロセッサ及び1以上のメモリを主構成とする。コンピュータシステムのメモリに記録されたプログラムをプロセッサが実行することによって、本開示における制御システム1としての機能が実現される。プログラムは、コンピュータシステムのメモリに予め記録されてもよく、電気通信回線を通じて提供されてもよく、コンピュータシステムで読み取り可能なメモリカード、光学ディスク、ハードディスクドライブ等の非一時的記録媒体に記録されて提供されてもよい。また、制御システム1に含まれる一部又は全部の機能部は電子回路で構成されていてもよい。
また、制御システム1の少なくとも一部の機能が、1つの筐体内に集約されていることは制御システム1に必須の構成ではなく、制御システム1の構成要素は、複数の筐体に分散して設けられていてもよい。反対に、実施形態1において、複数の装置(例えば制御システム1及び表示装置2)に分散されている機能が、1つの筐体内に集約されていてもよい。さらに、制御システム1の少なくとも一部の機能がクラウド(クラウドコンピューティング)等によって実現されてもよい。
また、作業機械3の動力源は、ディーゼルエンジンに限らず、例えば、ディーゼルエンジン以外のエンジンであってもよいし、モータ(電動機)、又はエンジンとモータ(電動機)とを含むハイブリッド式の動力源であってもよい。
また、表示装置2は、専用のデバイスに限らず、例えば、ラップトップコンピュータ、タブレット端末又はスマートフォン等の汎用端末であってもよい。さらに、表示部23は、液晶ディスプレイ又は有機ELディスプレイのように、表示画面を直接的に表示する態様に限らず、例えば、プロジェクタのように、投影により表示画面を表示する構成であってもよい。
また、操作部22の情報の入力の態様として、押釦スイッチ、タッチパネル及び操作ダイヤル以外の態様を採用してもよい。例えば、操作部22は、キーボード、マウス等のポインティングディバイス、音声入力、ジェスチャ入力又は他の端末からの操作信号の入力等の態様を採用してもよい。
また、検知部15の検知に関する異常の発生時における牽制状態情報I1の表示態様であるエラー態様は、図8のような「非表示」に限らない。例えば、検知部15の検知に関する異常がある場合に、牽制状態情報I1の表示色を赤色等に変更することで、牽制状態情報I1の表示態様をエラー態様としてもよい。この場合、牽制処理に係る機能が有効か無効かによらず、牽制状態情報I1はエラー態様で表示される。
また、制限処理部122が実行する制限処理は、作業機械3の動作を制限する処理であればよく、作業機械3の動作(旋回動作等)を禁止する(動作不能とする)処理に限らない。制限処理は、例えば、作業機械3の動作(旋回動作等)の速度を減速する処理、作業機械3の動作範囲(旋回角度等)を狭める処理、又は作業機械3の動作の許容エリアを制限する処理等であってもよい。
作業機械3の動作の速度を減速するための具体的構成として、例えば、リモコン弁45とパイロットポンプ42との間のパイロット油の流路上に挿入される制御弁46として、流路の開放/遮断を切替可能な開閉弁に代えて、(電磁式)比例制御弁が用いられてもよい。比例制御弁からなる制御弁46は、制御システム1に接続され、制御システム1からの電気信号(供給電流)に応じて動作する。一例として、制御弁46は、逆比例弁であって、供給電流が大きくなるほど、対応する油圧アクチュエータの出力を低下させる。これにより、制限処理部122は、制御弁46に供給する電流を大きくすることで、対応する油圧アクチュエータの出力を低下させ、作業機械3の動作の速度を減速することができる。別の方法として、例えば、パイロットポンプ42として可変容量ポンプを採用することも考えられる。この場合、制限処理部122は、可変容量ポンプを制御してパイロット油の流量を減少させることにより、対応する油圧アクチュエータの出力を低下させ、作業機械3の動作の速度を減速することが可能である。
また、作業機械3の周囲の監視エリアA1における検知対象物Ob1を検知するためのセンサは、左方カメラ341、右方カメラ342及び後方カメラ343に限らず、1つ、2つ又は4つ以上のカメラ(イメージセンサ)を含んでもよい。さらに、例えば、全天球カメラ(360度カメラ)のように作業機械3から見て全方位を撮像可能なカメラにて、監視エリアA1における検知対象物Ob1を検知してもよい。また、監視エリアA1における検知対象物Ob1を検知するためのセンサは、カメラに加えて又は代えて、たとえば、人感センサ、ソナーセンサ、レーダ又はLiDAR(Light Detection and Ranging)等のセンサを含んでもよい。ここで、監視エリアA1における検知対象物Ob1を検知するセンサは、光又は音が測距点に到達して戻るまでの往復時間に基づいて測距点までの距離を測定するTOF(Time Of Flight)方式により、検知対象物Ob1までの距離を測定する3次元センサであってもよい。
また、検知対象物Ob1は、「人」に加えて又は代えて、車両等の移動体(他の作業機械を含む)、壁及び柱等の構造物、植物、動物、段差、溝、若しくはその他の障害物を含んでいてもよい。
また、牽制処理は、作業機械3の動作を牽制するための複数の具体的処理(音出力処理及び制限処理等)を含むことは必須でない。さらに、牽制処理が複数の具体的処理を含む場合でも、具体的処理ごとに個別に有効と無効とを切替可能であることは必須でなく、複数の具体的処理について一括で有効と無効とを切替可能であってもよい。また、牽制状態情報I1が、具体的処理ごとに有効か無効かを表すことも必須ではない。また、牽制処理に係る機能が無効である場合に、牽制処理に係る機能が無効であることを牽制状態情報I1として表示させることは必須でなく、牽制処理に係る機能が無効である場合、例えば、牽制状態情報I1を非表示としてもよい。
また、表示画面Dp1が、監視エリアA1の撮像画像Im11,Im12,Im13を含むことは必須ではない。さらに、撮像画像Im11,Im12,Im13は、監視エリアA1に含まれる複数の小エリアA11,A12,A13の画像を含むことは必須でなく、単一の小エリアの画像のみを含んでもよい。また、牽制処理は、報知音を出力する音出力処理、作業機械3の動作を制限する制限処理の少なくとも一方を含まなくてもよい。さらに、制限処理は、旋回部32の旋回動作を制限する処理を含まなくてもよく、例えば、走行部31の走行動作を制限してもよい。また、検知結果情報I2,I3を牽制処理に係る機能が有効か無効かに依らず表示させることは必須ではなく、例えば、牽制処理に係る機能が有効である場合にのみ検知結果情報I2,I3が表示されてもよい。また、検知部15の検知に関する異常の発生時に、牽制状態情報I1の表示態様をエラー態様とすることは必須ではない。
また、牽制処理に係る機能が無効であることを表す牽制状態情報I1の非アクティブ表示は、グレーアウトのような表示態様に限らない。例えば、図10に示すように、牽制処理に係る機能が無効である場合に、牽制状態情報I1は、バツ印等の無効を表すマークM1が重畳されることで非アクティブ表示されてもよい。具体的に、牽制処理部12のうち音出力処理部121が有効、制限処理部122が無効であれば、例えば、図10に示す「パターン2」のように、第1牽制状態情報I11はアクティブ表示され、第2牽制状態情報I12はマークM1が重畳されることで非アクティブ表示される。音出力処理と制限処理との両方が無効な「パターン4」では、図10に示すように、第1牽制状態情報I11及び第2牽制状態情報I12に対し1つのマークM1が重畳されてもよいし、第1牽制状態情報I11及び第2牽制状態情報I12の各々に個別にマークM1が重畳されてもよい。さらに、無効を表すマークM1は、バツ印に限らず、斜線、取消線、四角形等の任意の図形、又は「無効」等のテキストであってもよい。また、牽制状態情報I1にマークM1が重畳されることに限らず、牽制状態情報I1の近傍にマークM1が牽制状態情報I1と対応付けて表示される表示態様により、牽制状態情報I1が非アクティブ表示されてもよい。
(実施形態2)
本実施形態に係る作業機械3は、図11及び図12に示すように、表示画面Dp1の第2領域R2の表示内容が、実施形態1に係る作業機械3と相違する。以下、実施形態1と同様の構成については、共通の符号を付して適宜説明を省略する。図11及び図12では、表示画面Dp1のうち第2領域R2のみを示し、第2領域R2以外の領域の図示を省略する。
図11の例では、第2領域R2に、監視エリアA1の撮像画像Im11,Im12,Im13(図7参照)のうち、右方カメラ342で撮像される撮像画像Im12及び後方カメラ343で撮像される撮像画像Im13の二画面が表示される。この例では、撮像画像Im12及び撮像画像Im13は、第2領域R2に左右方向に並べて配置されており、これら撮像画像Im12,Im13の下方にアイコンIm10が表示される。アイコンIm10は、機体30から見た右方カメラ342及び後方カメラ343の撮像範囲(小エリアA12,A13)の位置関係を、模式的に表している。
図12の例では、第2領域R2に、監視エリアA1の俯瞰画像Im100が表示される。俯瞰画像Im100は、左方カメラ341、右方カメラ342及び後方カメラ343の撮像画像Im11,Im12,Im13を、座標変換して合成することによって生成される撮像画像の一種である。このような俯瞰画像Im100においても、検知結果情報I2は、検知対象物Ob1が存在する小エリアを強調表示する帯状(枠状)の図像である。俯瞰画像Im100は、撮像画像がアニメーションに合成された画像であってもよい。
本実施形態で例示したような二画面表示(図11参照)及び俯瞰画像Im100(図12参照)は、例えば、表示装置2の操作部22の操作により任意に切替可能であってもよい。この場合、実施形態1で説明した三画面表示(図7参照)も含めて、任意の表示形式を、ユーザU1が選択できることが好ましい。
実施形態2に係る構成は、実施形態1で説明した種々の構成(変形例を含む)と適宜組み合わせて採用可能である。
1 作業機械用制御システム
2 表示装置
3 作業機械
11 表示処理部
12 牽制処理部
13 切替処理部
15 検知部
30 機体
31 走行部
32 旋回部
A1 監視エリア
A11,A12,A13 小エリア
Dp1 表示画面
I1 牽制状態情報
Im11,Im12,Im13 撮像画像
Im100 俯瞰画像(撮像画像)
Ob1 検知対象物

Claims (14)

  1. 作業機械の周囲の監視エリアにおける検知対象物を検知する検知部の検知結果に基づいて、前記作業機械の動作を牽制する牽制処理を実行することと、
    前記牽制処理に係る機能の有効と無効とを切り替えることと、
    前記牽制処理に係る機能が有効か無効かを表す牽制状態情報を含む表示画面を表示装置に表示させることと、を有する、
    作業機械の制御方法。
  2. 前記牽制処理は、前記作業機械の動作を牽制するための複数の具体的処理を含み、前記具体的処理ごとに個別に有効と無効とを切替可能である、
    請求項1に記載の作業機械の制御方法。
  3. 前記牽制状態情報は、前記具体的処理ごとに有効か無効かを表す、
    請求項2に記載の作業機械の制御方法。
  4. 前記牽制処理に係る機能が無効である場合には、前記牽制処理に係る機能が無効であることを前記牽制状態情報として表示させる、
    請求項1~3のいずれか1項に記載の作業機械の制御方法。
  5. 前記表示画面は、前記監視エリアの撮像画像を含む、
    請求項1~4のいずれか1項に記載の作業機械の制御方法。
  6. 前記撮像画像は、前記監視エリアに含まれる複数の小エリアの画像を含み、
    前記表示画面において、前記複数の小エリアのうち前記検知対象物が存在する小エリアの画像を強調表示させる、
    請求項5に記載の作業機械の制御方法。
  7. 前記牽制処理は、報知音を出力する音出力処理を含む、
    請求項1~6のいずれか1項に記載の作業機械の制御方法。
  8. 前記牽制処理は、前記作業機械の動作を制限する制限処理を含む、
    請求項1~7のいずれか1項に記載の作業機械の制御方法。
  9. 前記作業機械は、走行部と、前記走行部に対して旋回可能な旋回部と、を備え、
    前記制限処理は、少なくとも前記旋回部の旋回動作を制限する、
    請求項8に記載の作業機械の制御方法。
  10. 前記表示画面は、前記検知部の検知結果を表す検知結果情報を含み、
    前記検知結果情報については、前記牽制処理に係る機能が有効か無効かに依らず表示させる、
    請求項1~9のいずれか1項に記載の作業機械の制御方法。
  11. 前記検知部の検知に関する異常の発生時には、前記牽制状態情報の表示態様をエラー態様とする、
    請求項1~10のいずれか1項に記載の作業機械の制御方法。
  12. 請求項1~11のいずれか1項に記載の作業機械の制御方法を、
    1以上のプロセッサに実行させるための作業機械用制御プログラム。
  13. 作業機械の周囲の監視エリアにおける検知対象物を検知する検知部の検知結果に基づいて、前記作業機械の動作を牽制する牽制処理を実行する牽制処理部と、
    前記牽制処理部の有効と無効とを切り替える切替処理部と、
    前記牽制処理部が有効か無効かを表す牽制状態情報を含む表示画面を表示装置に表示させる表示処理部と、を備える、
    作業機械用制御システム。
  14. 請求項13に記載の作業機械用制御システムと、
    前記表示装置が搭載される機体と、を備える、
    作業機械。
JP2021125000A 2021-07-30 2021-07-30 作業機械の制御方法、作業機械用制御プログラム、作業機械用制御システム及び作業機械 Pending JP2023019920A (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2021125000A JP2023019920A (ja) 2021-07-30 2021-07-30 作業機械の制御方法、作業機械用制御プログラム、作業機械用制御システム及び作業機械
KR1020220065997A KR20230019384A (ko) 2021-07-30 2022-05-30 작업 기계의 제어 방법, 작업 기계용 제어 프로그램, 작업 기계용 제어 시스템 및 작업 기계
US17/865,374 US20230030108A1 (en) 2021-07-30 2022-07-14 Method For Controlling Work Machine, Work Machine Control Program, And Work Machine Control System
EP22186403.6A EP4134493A1 (en) 2021-07-30 2022-07-22 Method for controlling work machine, work machine control program, and work machine control system
CN202210899227.9A CN115680055A (zh) 2021-07-30 2022-07-28 作业机械的控制方法、作业机械用控制程序、作业机械用控制系统以及作业机械

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021125000A JP2023019920A (ja) 2021-07-30 2021-07-30 作業機械の制御方法、作業機械用制御プログラム、作業機械用制御システム及び作業機械

Publications (1)

Publication Number Publication Date
JP2023019920A true JP2023019920A (ja) 2023-02-09

Family

ID=82701706

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021125000A Pending JP2023019920A (ja) 2021-07-30 2021-07-30 作業機械の制御方法、作業機械用制御プログラム、作業機械用制御システム及び作業機械

Country Status (5)

Country Link
US (1) US20230030108A1 (ja)
EP (1) EP4134493A1 (ja)
JP (1) JP2023019920A (ja)
KR (1) KR20230019384A (ja)
CN (1) CN115680055A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230272599A1 (en) * 2022-02-28 2023-08-31 Caterpillar Inc. Work machine safety zone control

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109312557B (zh) * 2016-07-04 2022-02-08 住友建机株式会社 挖土机
CN109154154A (zh) 2016-07-05 2019-01-04 住友建机株式会社 挖土机
JPWO2021025123A1 (ja) * 2019-08-08 2021-02-11

Also Published As

Publication number Publication date
KR20230019384A (ko) 2023-02-08
CN115680055A (zh) 2023-02-03
US20230030108A1 (en) 2023-02-02
EP4134493A1 (en) 2023-02-15

Similar Documents

Publication Publication Date Title
JP2023047506A (ja) 作業機械用制御システム、作業機械、作業機械の制御方法及び作業機械用制御プログラム
CN117988414A (zh) 作业机械的控制方法、作业机械用控制程序、作业机械用控制系统以及作业机械
EP4286611A1 (en) Work machine control method, work machine control program, work machine control system, and work machine
EP4299844A1 (en) Work machine control method, work machine control program, work machine control system, and work machine
US20230407603A1 (en) Work Machine Control Method, Work Machine Control Program, Work Machine Control System, And Work Machine
US20230407604A1 (en) Work Machine Control Method, Work Machine Control Program, Work Machine Control System, And Work Machine
EP4134493A1 (en) Method for controlling work machine, work machine control program, and work machine control system
KR20230132373A (ko) 작업 기계용 제어 시스템, 작업 기계, 작업 기계의 제어 방법 및 작업 기계용 제어 프로그램
KR20230132372A (ko) 작업 기계용 제어 시스템, 작업 기계, 작업 기계의 제어 방법 및 작업 기계용 제어 프로그램
JP2024069887A (ja) 作業機械の制御方法、作業機械用制御プログラム、作業機械用制御システム及び作業機械
JP2024110477A (ja) 作業機械の制御方法、作業機械用制御プログラム、作業機械用制御システム及び作業機械
EP4180585A1 (en) Work machine control method, work machine control program, work machine control system, and work machine
JP2023129872A (ja) 作業機械用制御システム、作業機械、作業機械の制御方法及び作業機械用制御プログラム
JP2023129871A (ja) 作業機械用制御システム、作業機械、作業機械の制御方法及び作業機械用制御プログラム
JP2023129873A (ja) 作業機械用制御システム、作業機械、作業機械の制御方法及び作業機械用制御プログラム
JP2023129874A (ja) 作業機械用制御システム、作業機械、作業機械の制御方法及び作業機械用制御プログラム
JP2023074223A (ja) 作業機械の制御方法、作業機械用制御プログラム、作業機械用制御システム及び作業機械
JP2023074222A (ja) 作業機械の制御方法、作業機械用制御プログラム、作業機械用制御システム及び作業機械
JP2023074224A (ja) 作業機械の制御方法、作業機械用制御プログラム、作業機械用制御システム及び作業機械

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240216