JP2022175822A - 安全監視システム - Google Patents

安全監視システム Download PDF

Info

Publication number
JP2022175822A
JP2022175822A JP2021082536A JP2021082536A JP2022175822A JP 2022175822 A JP2022175822 A JP 2022175822A JP 2021082536 A JP2021082536 A JP 2021082536A JP 2021082536 A JP2021082536 A JP 2021082536A JP 2022175822 A JP2022175822 A JP 2022175822A
Authority
JP
Japan
Prior art keywords
display
distance
detection device
monitoring system
safety monitoring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021082536A
Other languages
English (en)
Other versions
JP2022175822A5 (ja
Inventor
喜久 石川
Yoshihisa Ishikawa
宏之 村岡
Hiroyuki Muraoka
拡 長田
Hiroshi Osada
紘太朗 松石
Kotaro Matsuishi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yanmar Holdings Co Ltd
Original Assignee
Yanmar Holdings Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yanmar Holdings Co Ltd filed Critical Yanmar Holdings Co Ltd
Priority to JP2021082536A priority Critical patent/JP2022175822A/ja
Priority to KR1020220048666A priority patent/KR20220155196A/ko
Priority to EP22172024.6A priority patent/EP4092204A1/en
Priority to CN202210508243.0A priority patent/CN115339383A/zh
Priority to US17/743,471 priority patent/US20220364332A1/en
Publication of JP2022175822A publication Critical patent/JP2022175822A/ja
Publication of JP2022175822A5 publication Critical patent/JP2022175822A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2025—Particular purposes of control systems not otherwise provided for
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/24—Safety devices, e.g. for preventing overload
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/026—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B3/00—Audible signalling systems; Audible personal calling systems
    • G08B3/10—Audible signalling systems; Audible personal calling systems using electric transmission; using electromagnetic transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】操作者が建設機械の周囲にある物体により容易に気づく。【解決手段】安全監視システム１は、検出装置１０と、表示部２２と、制御部３２とを備える。検出装置１０は、作業車両１００の周囲の物体を検出する。表示部２２は、撮影された作業車両１００の周囲の画像を表示する。制御部３２は、検出装置１０及び表示部２２を制御する。制御部３２は、検出装置１０が物体を検出すると、周囲の画像に縁取り加工Ｅ１を施した縁取り画像Ｖ１を表示するように表示部２２を制御する。【選択図】図２

Description

本発明は、安全監視システムに関する。
例えば、建設現場で使用される作業機械及び建設機械等では、カメラで周囲の障害物等を撮影し、撮影した撮影画像を表示装置に表示することで、操作者が安全を確認している。
特許文献１の作業機械は、撮影画像に加え、距離センサーを用いて周囲の障害物又は人を検出し、距離センサーにより障害物が検出されると、周囲に人以外の障害物が存在することを表示装置に表示し、距離センサーにより人が検出されると、周囲に人が存在することを表示装置に表示する。
特開２０２０－５１１５６号公報
例えば、操作者が建設機械を操作しながら表示装置を注視することができず、障害物又は人の存在に気づかないことがある。
本発明は上記課題に鑑みてなされたものであり、その目的は、操作者が建設機械の周囲にある物体により容易に気づくことが可能な安全監視システムを提供することにある。
本発明に係る安全監視システムは、検出装置と、表示装置と、制御装置とを備える。前記検出装置は、建設機械の周囲の物体を検出する。前記表示装置は、撮影された前記建設機械の周囲の画像を表示する。前記制御装置は、前記検出装置及び前記表示装置を制御する。前記制御装置は、前記検出装置が前記物体を検出すると、前記周囲の画像に縁取り加工を施した縁取り画像を表示するように前記表示装置を制御する。
本発明によれば、操作者が建設機械の周囲にある物体により容易に気づくことが可能となる。
作業車両の上部旋回体を示す斜視図である。 安全監視システムが搭載された作業車両を示すブロック図である。 検出装置による物体の検出及び縁取り画像を示す図である。 検出装置による物体との距離の検出と、距離に応じて表示部に表示される画面を示す図である。 検出装置による人又は物の検出を示す図である。 検出装置による人物の検出と、人物の距離に応じて表示部に表示される画面及び音出力部から出力される警告音を示す図である。 安全監視システムが搭載された作業車両を上方から見た図である。 安全監視システムを示す図である。 安全監視システムを示すブロック図である。 安全監視システムを示す図である。 本発明の実施形態に係る安全監視方法を示すフローチャートである。
以下、本発明の実施形態について、図面を参照しながら説明する。なお、図中、同一又は相当部分については同一の参照符号を付して説明を繰り返さない。
まず、図１及び図２を参照して、本発明の実施形態に係る安全監視システム１が搭載される作業車両１００を説明する。図１は、作業車両１００の上部旋回体２００を示す斜視図である。なお、図１では、図面を見易くするために、上部旋回体２００の屋根を省略している。図２は、安全監視システム１が搭載された作業車両１００を示すブロック図である。以下、作業車両１００が油圧ショベルの場合を例に挙げて本実施形態を説明する。油圧ショベルは建設機械の一例である。安全監視システム１は、検出装置と、制御装置と、表示装置とを備える。
図１に示すように、作業車両１００は上部旋回体２００を備える。上部旋回体２００は、下部走行体４００（後述の図２）に対して旋回する。上部旋回体２００は、油圧ポンプ６００（後述の図２）及び油圧モーター（不図示）によって駆動されて旋回する。上部旋回体２００には、作業機３００（後述の図２）が取り付けられる。
具体的には、上部旋回体２００は、操縦室２０５と、座席２１０と、複数の操作レバー２２０と、配置部材２３０とを備える。
操縦室２０５には、操作装置２０、検出装置１０、座席２１０、複数の操作レバー２２０、及び、配置部材２３０が配置される。座席２１０には、操作者が着座する。操作者は、作業車両１００の操縦者である。複数の操作レバー２２０の各々は、操作者からの操作を受け付ける。操作レバー２２０は、作業車両１００を操作するための操作部材である。
操作装置２０は、操作者からの操作を受け付けて、作業車両１００の操作、作業車両１００に対する各種情報の入力、及び、作業車両１００に関する各種情報の表示を実行する。
検出装置１０は、作業車両１００の周囲の状態を検出する。例えば、検出装置１０は、作業車両１００の周囲を撮影するカメラ１２と、赤外線センサー１４Ａ、１４Ｂ、１４Ｃとを有する。検出装置１０は、例えば、上部旋回体２００において、座席２１０の後方に設けられる。
例えば、座席２１０の後方に設けられた検出装置１０において、カメラ１２は、作業車両１００の後方を撮影し、カメラ映像を生成する。
赤外線センサー１４Ａ、１４Ｂ、１４Ｃは、例えば、ＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）センサーである。具体的には、赤外線センサー１４Ａ、１４Ｂ、１４Ｃは、赤外光を発光する。赤外線センサー１４Ａ、１４Ｂ、１４Ｃから出射された赤外光は、進行方向に物体があると、物体に反射される。物体に反射された反射赤外光は、赤外線センサー１４Ａ、１４Ｂ、１４Ｃに向かって進む。赤外線センサー１４Ａ、１４Ｂ、１４Ｃは、反射赤外光を受光する。赤外線センサー１４Ａ、１４Ｂ、１４Ｃは、赤外光の発光から反射赤外光の受光までの時間を測定し、測定した時間に基づいて、物体までの距離を測定する。
操作装置２０は、各種情報を表示するとともに、操作者からの押圧操作を受け付ける。また、操作装置２０は、建設機械の周囲の画像を表示する。操作装置２０は、表示部２２と、複数の押しボタン２４を備える。表示部２２は、例えば、作業車両１００の状態及びＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）等の作業車両１００に関する各種情報を表示する。また、表示部２２は、カメラ１２によって撮影されたカメラ映像を表示する。カメラ映像は、建設機械の周囲の画像の一例である。
表示部２２は、表示装置の一例であり、例えば、液晶ディスプレイ、又は、有機エレクトロルミネッセンスディスプレイである。表示部２２は、タッチパネルを備えていてもよい。この場合、各押しボタン２４は、ＧＵＩのウィジェットとして表示部２２に表示されてもよい。
図２に示すように、作業車両１００は、操作装置２０及び上部旋回体２００に加えて、作業機３００と、下部走行体４００と、ブレード（不図示）と、エンジン部５００と、油圧ポンプ６００と、コントロールバルブ７００と、油タンク８００とを更に備える。また、操作装置２０は主制御装置３０を更に備える。主制御装置３０は、例えば、上部旋回体２００の内部であって、操作装置２０と異なる位置に配置される。主制御装置３０は制御装置の一例である。
作業機３００は、作業を実行する。具体的には、作業機３００は、バケット（不図示）と、アーム（不図示）と、ブーム（不図示）と、複数の油圧シリンダー（不図示）とを備える。
下部走行体４００の上部には、スイベルジョイント（不図示）を介して、上部旋回体２００が配置される。下部走行体４００は、走行する。具体的には、下部走行体４００は、一対のクローラー（不図示）と、一対の油圧モーター（不図示）とを備える。
エンジン部５００は、エンジン５０１と、エンジン制御装置５０３とを備える。エンジン制御装置５０３は、エンジン５０１を制御する。エンジン制御装置５０３は、例えば、ＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）である。エンジン５０１には、燃料タンク（不図示）から燃料が供給される。
エンジン５０１は、油圧ポンプ６００を駆動する。その結果、油圧ポンプ６００は、圧油をコントロールバルブ７００に送り出す。圧油とは、圧力がかけられた油のことである。コントロールバルブ７００は、各操作レバー２２０の操作に従って、圧油の流れを制御する。コントロールバルブ７００は、上部旋回体２００の油圧モーター、作業機３００の各油圧シリンダー、下部走行体４００の各油圧モーター、及び、ブレードを駆動する油圧シリンダー（不図示）に対して圧油を供給する。
操作装置２０は、表示制御装置２６と、音出力部２８とを更に備える。表示制御装置２６は表示部２２を制御する。表示制御装置２６は、例えば、ＥＣＵである。音出力部２８は音を出力する。音出力部２８は、音声出力装置の一例であり、例えば、スピーカー又はブザーである。
具体的には、表示制御装置２６は、制御部２６１と、記憶部２６３とを備える。制御部２６１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）のようなプロセッサーを含む。記憶部２６３は、記憶装置を含み、データ及びコンピュータープログラムを記憶する。具体的には、記憶部２６３は、半導体メモリーのような主記憶装置と、半導体メモリー、ソリッドステートドライブ、及び／又は、ハードディスクドライブのような補助記憶装置とを含む。記憶部２６３は、リムーバブルメディアを含んでいてもよい。記憶部２６３は、非一時的コンピューター読取可能記憶媒体の一例に相当する。
制御部２６１は、表示部２２に表示された画面の操作に応じて入力又は設定された各種情報を主制御装置３０に出力する。
制御部２６１は、表示制御部２６５を備える。具体的には、制御部２６１のプロセッサーは、記憶部２６３の記憶装置に記憶されたコンピュータープログラムを実行することで、表示制御部２６５として機能する。表示制御部２６５は、表示部２２を制御する。例えば、表示制御部２６５は、押しボタン２４Ａ～２４Ｆが押下されたか否かを示す操作情報（オン情報又はオフ情報）に応じて、表示部２２に表示される画面を制御する。表示制御部２６５の詳細は後述する。
主制御装置３０は、検出装置１０、操作装置２０、及び、エンジン部５００を制御する。主制御装置３０は、例えば、ＥＣＵである。
具体的には、主制御装置３０は、制御部３２と、記憶部３４とを備える。制御部３２は、ＣＰＵのようなプロセッサーを含む。記憶部３４は、記憶装置を含み、データ及びコンピュータープログラムを記憶する。記憶部３４のハードウェア構成は、例えば、記憶部２６３のハードウェア構成と同様である。
制御部３２は、表示制御装置２６の制御部２６１から、表示部２２に表示された画面の操作に応じて入力又は設定された各種情報を取得する。
操作者は、表示部２２に表示されたカメラ映像を見ることで、作業車両１００の後方の状態を知ることができる。しかしながら、操作者が作業車両１００を操作しながら表示部２２を注視できず、表示部２２に表示されたカメラ映像に含まれる物体に気づかないことがある。
これに対して、本実施形態では、操作者が表示部２２を注視できない場合においても、操作者が作業車両１００の周囲にある物体に気づきやすくする。
［物体の検出］
具体的には、主制御装置３０は、検出装置１０が物体を検出すると、カメラ映像に縁取り加工を施した縁取り画像を表示するように表示部２２を制御する。
次に、図３を参照して、検出装置１０による物体の検出及び縁取り画像について説明する。図３は、検出装置１０による物体の検出及び縁取り画像を示す図である。
図３では、物体の一例として三角コーンＲ１が、赤外線センサー１４Ａ、１４Ｂ、１４Ｃによって総合的に検出される様子を、赤外線センサー１４によって検出されるように、模式的に示している。各赤外線センサー１４Ａ、１４Ｂ、１４Ｃによる検出の詳細は、後述する。
表示部２２は、主制御装置３０の制御により、カメラ１２によって撮影されたカメラ映像を表示する。カメラ映像は、作業車両１００の後方を示す画像である。カメラ映像には、作業車両１００の後方に位置する三角コーンＲ１に対応するオブジェクトが含まれる。
赤外線センサー１４は、赤外光を発光する。赤外線センサー１４から出射された赤外光は、三角コーンＲ１に到達して反射される。三角コーンＲ１に反射された反射赤外光は、赤外線センサー１４に向かって進む。赤外線センサー１４は、反射赤外光を受光する。
赤外線センサー１４は、反射赤外光を受光すると、赤外光の発光方向に物体が存在すると判定する。一方、赤外線センサー１４は、反射赤外光が受光できないと、赤外光の発光方向に物体が存在しないと判定する。
主制御装置３０は、赤外線センサー１４の判定結果を取得し、判定結果に応じて、カメラ映像に縁取り加工Ｅ１を施した縁取り画像Ｖ１を表示するように表示部２２を制御する。言い換えると、赤外線センサー１４が赤外光の発光方向に物体が存在すると判定すると、表示部２２は、カメラ映像に縁取り加工Ｅ１を施した縁取り画像Ｖ１を表示する。
このように、作業車両１００の周囲（後方）に物体が存在する場合、表示部２２の画面全体の表示が変化するため、操作者が物体に気づきやすい。
また、例えば、主制御装置３０は、赤外線センサー１４が赤外光の発光方向に物体が存在すると判定すると、縁取り加工Ｅ１に加えて、警告表示Ｍ１をカメラ映像に付加するように表示部２２を制御する。
本実施形態において、縁取り加工の色及び警告表示の色が、物体までの距離に応じて変更されてもよい。
次に、図４を参照して、検出装置１０による物体との距離の検出について説明する。図４は、検出装置１０による物体との距離の検出と、距離に応じて表示部２２に表示される画面を示す図である。
検出装置１０は、物体までの距離を測定する。具体的には、図４に示すように、赤外線センサー１４は、赤外光を発光してから、三角コーンＲ１に反射された反射赤外光を受光するまでの時間を測定し、測定した時間に基づいて、三角コーンＲ１までの距離を算出する。
主制御装置３０は、赤外線センサー１４によって測定された三角コーンＲ１までの距離を取得し、取得した距離に応じて、縁取り加工Ｅ１及び警告表示Ｍ１の色を決定する。
例えば、作業車両１００から、三角コーンＲ１がある距離Ｌ２より近くに設置されている場合、主制御装置３０は、例えば「黄色」の警告表示Ｍ１をカメラ映像に付加するように表示部２２を制御する。表示部２２は、主制御装置３０の制御により、「黄色」の警告表示Ｍ１が付加されたカメラ映像Ｖ２を表示する。図４では、「黄色」をハッチングなしで示している。
一方、例えば、作業車両１００から、三角コーンＲ１が距離Ｌ２より短い距離Ｌ１より近くに設置されている場合、主制御装置３０は、例えば、カメラ映像に「赤色」の縁取り加工Ｅ１を施し、更に「赤色」の警告表示Ｍ１を付加した縁取り画像Ｖ１を表示するように表示部２２を制御する。
なお、図４では、作業車両１００から、三角コーンＲ１がある距離Ｌ２より近くに設置されている場合、カメラ映像Ｖ２には、縁取り加工が施されないとしたが、例えば、「黄色」の縁取り加工が施されてもよい。
このように、物体までの距離に応じて、表示部２２に表示される画面が変化することで、より近くの物体に対して操作者が注意を払うようになる。
［人の検出］
次に、図５を参照して、検出装置１０による人の検出について説明する。図５は、検出装置１０による人又は物の検出を示す図である。図５では、赤外線センサー１４Ａ、１４Ｂ、１４Ｃによる人又は物の検出を詳細に説明する。
赤外線センサー１４Ａ、１４Ｂ、１４Ｃは、それぞれ、同じ向きに異なる角度で赤外光を発光する。例えば、赤外線センサー１４Ａは、仰角（俯角）αで赤外光を発光し、赤外線センサー１４Ｂは、仰角（俯角）βで赤外光を発光し、赤外線センサー１４Ｃは、仰角（俯角）γで赤外光を発光する。なお、仰角（俯角）α＜仰角（俯角）β＜仰角（俯角）γとする。
赤外線センサー１４Ａから仰角（俯角）αで出射された赤外光は、三角コーンＲ１、人物Ｐ１又は地面に到達して反射される。いずれかに反射された反射赤外光は、赤外線センサー１４Ａによって受光される。
赤外線センサー１４Ａは、出射した赤外光の反射赤外光を受光するまでの時間に基づいて、赤外光の反射地点までの距離ＬＡを算出する。赤外線センサー１４Ａは、更に、算出した距離ＬＡと、仰角（俯角）αとに基づいて、赤外線センサー１４Ａと反射地点との間の距離Ｌを算出する。
また、赤外線センサー１４Ａは、算出した距離ＬＡと、仰角（俯角）αとに基づいて、赤外光の反射地点の地面からの高さを算出する。具体的には、赤外線センサー１４Ａは、算出した距離ＬＡと、仰角（俯角）αとに基づいて、出射した赤外光が赤外線センサー１４Ａから下降した距離Ｈａを算出する。赤外線センサー１４Ａは、算出した距離Ｈａを赤外線センサー１４Ａに設定された高さＨＡから引くことで、赤外光の反射地点の地面からの高さを算出する。
赤外線センサー１４Ｂ、１４Ｃは、赤外線センサー１４Ａと同様に、それぞれ、赤外線センサー１４Ｂ、１４Ｃと反射地点との間の距離ＬＢ、ＬＣを算出する。赤外線センサー１４Ｂは、距離ＬＢ及び仰角（俯角）βに基づいて距離Ｌと、反射地点の地面からの高さとを算出する。赤外線センサー１４Ｃは、距離ＬＢ及び仰角（俯角）γに基づいて距離Ｌと、反射地点の地面からの高さとを算出する。
例えば、赤外線センサー１４Ａ、１４Ｂ、１４Ｃは、算出した反射地点の地面からの高さがゼロより大きい場合、赤外線センサー１４Ａ、１４Ｂ、１４Ｃから距離Ｌ離れた位置に、物体が存在すると検出する。
本実施形態において、赤外線センサー１４Ａ、１４Ｂ、１４Ｃは、反射赤外光の強度に基づいて、物体が人であるか否かを判定する。例えば、作業車両１００が使用される建設現場では、人物Ｐ１は、赤外光の反射率が高い反射ベストＷ１を着用している。このため、人物Ｐ１（反射ベストＷ１）に反射された反射赤外光の強度は強くなる。一方、物（三角コーン等）に反射された反射赤外光の強度は、人物Ｐ１（反射ベストＷ１）に反射された場合と比べて弱くなる。
赤外線センサー１４Ａ、１４Ｂ、１４Ｃは、受光した反射赤外光の強度を測定し、反射赤外光の強度が所定の強度より強い場合、赤外光を反射した物体が人であると判定する。一方、赤外線センサー１４Ａ、１４Ｂ、１４Ｃは、反射赤外光の強度が所定の強度より弱い場合、赤外光を反射した物体が物であると判定する。
ここで、赤外線センサー１４Ａ、１４Ｂ、１４Ｃは、断続的に赤外光の発光と反射赤外光の受光とを繰り返し、反射赤外光を受光するごとに反射赤外光の強度を測定する。例えば、赤外線センサー１４Ａ、１４Ｂ、１４Ｃは、複数の反射赤外光の強度の平均（平均強度）を算出し、所定の強度より強い場合、赤外光を反射した物体が人であると判定する。
また、例えば、三角コーンＲ１が反射ベストＷ１と同じ反射率を有する場合、赤外線センサー１４Ａ、１４Ｂ、１４Ｃは、赤外光を反射した三角コーンＲ１が人であると誤判定してしまう。
これを防ぐため、赤外線センサー１４Ａ、１４Ｂ、１４Ｃは、反射赤外光の強度が所定の強度より強い場合であっても、反射赤外光の反射地点の地面からの高さが所定の高さより低い場合には、赤外光を反射した物体が物であると判定する。
例えば、赤外線センサー１４Ａ、１４Ｂ、１４Ｃが人物Ｐ１を検出する場合と、赤外線センサー１４Ａ、１４Ｂ、１４Ｃが反射ベストＷ１と同じ反射率を有する三角コーンＲ１を検出する場合とを比較して説明する。なお、図５では、人物Ｐ１と三角コーンＲ１とは、赤外線センサー１４Ａ、１４Ｂ、１４Ｃから距離Ｌ離れた同じ位置に位置するものとする。
赤外線センサー１４Ａが人物Ｐ１を検出する場合、赤外線センサー１４Ａは、上述のように、反射地点までの距離Ｌと、反射地点の地面からの高さＨ１とをそれぞれ算出する。また、赤外線センサー１４Ａは、反射赤外光の強度が所定の強度より強いと判定する。赤外線センサー１４Ａは、反射赤外光の強度が所定の強度より強く、かつ反射地点の地面からの高さＨ１が所定の高さＨ０より高いため、赤外光を反射した物体が人であると判定する。
一方、赤外線センサー１４Ｂが三角コーンＲ１を検出する場合、赤外線センサー１４Ｂは、上述の赤外線センサー１４Ａと同様、反射地点までの距離Ｌと、反射地点の地面からの高さＨ２とをそれぞれ算出する。また、赤外線センサー１４Ｂは、反射赤外光の強度が所定の強度より強いと判定する。赤外線センサー１４Ｂは、反射赤外光の強度が所定の強度より強く、かつ反射地点の地面からの高さＨ２が所定の高さＨ０より低いため、赤外光を反射した物体が物であると判定する。
このように、反射赤外光の強度と赤外光を反射した物体の高さとに基づいて、赤外光を反射した物体が人であるか物であるかを判定することで、人と物とを誤判定する可能性を低減する。
また、本実施形態において、赤外線センサー１４によって人であると判定される反射赤外光の強度（閾値）は、人物Ｐ１の検出前と検出後とにおいて異なってもよい。
例えば、人物Ｐ１の検出後、人物Ｐ１の位置及び角度等により、反射赤外光の強度が下がり、人物Ｐ１を物と誤判定する可能性がある。これを防ぐため、赤外線センサー１４は、人物Ｐ１を検出すると、反射赤外光の閾値を引き下げる。
これにより、人物Ｐ１の検出後においては、赤外線センサー１４は、反射赤外光の強度が引き下げられた閾値を下回るまで、人物Ｐ１を人であると判定し続ける。従って、人物Ｐ１の検出後、人物Ｐ１を物と誤判定する可能性が低くなる。
［警告音］
本実施形態において、検出装置１０が人を検出すると、音出力部２８が警告音を発してもよい。
次に、図６を参照して、本実施形態に係る安全監視システムにおいて出力される警告音について説明する。図６は、検出装置１０による人物Ｐ１の検出と、人物Ｐ１の距離に応じて表示部２２に表示される画面及び音出力部２８から出力される警告音を示す図である。
図４に示した検出装置１０による三角コーンＲ１の検出と同様、検出装置１０が人物Ｐ１を検出すると、主制御装置３０は、赤外線センサー１４によって測定された人物Ｐ１までの距離を取得し、取得した距離に応じて、縁取り加工Ｅ１及び警告表示Ｍ１の色を決定する。
例えば、作業車両１００から、人物Ｐ１が距離Ｌ１より遠くであって距離Ｌ２より近くにいる場合、主制御装置３０は、例えば「黄色」の警告表示Ｍ１をカメラ映像に付加するように表示部２２を制御する。表示部２２は、主制御装置３０の制御により、「黄色」の警告表示Ｍ１が付加されたカメラ映像Ｖ２を表示する。図６では、「黄色」をハッチングなしで示している。
一方、例えば、作業車両１００から、人物Ｐ１が距離Ｌ１より近くにいる場合、主制御装置３０は、例えば、カメラ映像に「赤色」の縁取り加工Ｅ１を施し、更に「赤色」の警告表示Ｍ１を付加した縁取り画像Ｖ１を表示するように表示部２２を制御する。
また、主制御装置３０は、人物Ｐ１が距離Ｌ１より近くにいる場合、警告音を出力するように、音出力部２８を制御する。
更に、主制御装置３０は、検出装置１０が検出した人物Ｐ１までの距離に応じて、警告音を変化させるよう音出力部２８を制御する。例えば、図６に示すように、主制御装置３０は、検出装置１０によって測定された人物Ｐ１までの距離が距離Ｌ１より近く、距離ＬＳより遠い場合、断続音の警告音を出力するように、音出力部２８を制御する。一方、主制御装置３０は、人物Ｐ１までの距離が距離ＬＳより近い場合、連続音の警告音を出力するように、音出力部２８を制御する。
本実施形態において、距離Ｌ１、Ｌ２、ＬＳには、人物Ｐ１が作業車両１００に近づく場合と、作業車両１００から離れる場合とでヒステリシスが設けられる。言い換えると、例えば、カメラ映像Ｖ２に警告表示Ｍ１が付加されていない第１状態から、カメラ映像Ｖ２に警告表示Ｍ１が付加された第２状態に変化する距離と、第２状態から第１状態に変化する距離とが異なる。詳しくは、第２状態から第１状態に変化する距離が、第１状態から第２状態に変化する距離より長い。
具体的には、例えば、距離Ｌ２が１０ｍであって、距離Ｌ１が５ｍであって、距離ＬＳが３ｍであるとする。例えば、赤外線センサー１４が作業車両１００から人物Ｐ１までの距離が１０ｍを越えていると判定すると、表示部２２に表示されるカメラ映像には、警告表示Ｍ１が付加されない。
この状態において、人物Ｐ１が作業車両１００に近づいて、赤外線センサー１４が作業車両１００から人物Ｐ１までの距離が１０ｍであると判定すると、表示部２２には、カメラ映像Ｖ２（警告表示Ｍ１が付加）が表示される。
仮に、ヒステリシスが設けられない場合、この状態から人物Ｐ１が作業車両１００から少しでも離れると、赤外線センサー１４が作業車両１００から人物Ｐ１までの距離が１０ｍを越えていると判定して、表示部２２には、警告表示Ｍ１が付加されないカメラ映像が表示される。また、更に少しでも人物Ｐ１が作業車両１００に近づくと、表示部２２には、カメラ映像Ｖ２（警告表示Ｍ１が付加）が表示される。
このように、ヒステリシスを設けていないと、人物Ｐ１が距離Ｌ２の前後にいる場合、表示部２２のカメラ映像が目まぐるしく変化し、操作者が作業車両１００の周囲の状態を正確に把握できない恐れがある。
そこで、作業車両１００から１０ｍ以内にいる人物Ｐ１が、作業車両１００から１０ｍを越えて離れる場合、主制御装置３０は、距離Ｌ２を１１ｍに設定する。なお、距離Ｌ１、ＬＳについても同様である。
次に、図７を参照して、本発明の実施形態に係る安全監視システム１Ａについて説明する。図７は、安全監視システム１Ａが搭載された作業車両１００を上方から見た図である。
安全監視システム１Ａは、検出装置１０Ｌ、１０Ｂ、１０Ｒと、制御装置（主制御装置３０）と、表示装置（表示部２２）とを備える。検出装置１０Ｌ、１０Ｂ、１０Ｒは、それぞれ、対応する方向の物体を検出する。具体的には、検出装置１０Ｌは、例えば、上部旋回体２００において、座席２１０の左側に設けられ、作業車両１００の左側の状態を検出する。検出装置１０Ｌは、作業車両１００の左側を撮影するカメラ１２Ｌと、赤外線センサー１４Ｌとを有する。なお、検出装置１０の有する複数の赤外線センサー１４を、総称して赤外線センサー１４Ｌと呼ぶ。カメラ１２Ｌは、作業車両１００の左側を撮影し、カメラ映像を生成する。赤外線センサー１４Ｌは、作業車両１００の左側に位置する三角コーンＲ１Ｌを検出し、三角コーンＲ１Ｌまでの距離を算出する。
検出装置１０Ｂは、例えば、上部旋回体２００において、座席２１０の後方に設けられ、作業車両１００の後方の状態を検出する。検出装置１０Ｂは、作業車両１００の後方を撮影するカメラ１２Ｂと、赤外線センサー１４Ｂとを有する。なお、検出装置１０の有する複数の赤外線センサー１４を、総称して赤外線センサー１４Ｂと呼ぶ。カメラ１２Ｂは、作業車両１００の後方を撮影し、カメラ映像を生成する。赤外線センサー１４Ｂは、作業車両１００の後方に位置する三角コーンＲ１Ｂを検出し、三角コーンＲ１Ｂまでの距離を算出する。
検出装置１０Ｒは、例えば、上部旋回体２００において、座席２１０の右側に設けられ、作業車両１００の右側の状態を検出する。検出装置１０Ｒは、作業車両１００の右側を撮影するカメラ１２Ｒと、赤外線センサー１４Ｒとを有する。なお、検出装置１０の有する複数の赤外線センサー１４を、総称して赤外線センサー１４Ｒと呼ぶ。カメラ１２Ｒは、作業車両１００の右側を撮影し、カメラ映像を生成する。赤外線センサー１４Ｒは、作業車両１００の右側に位置する三角コーンＲ１Ｒを検出し、三角コーンＲ１Ｒまでの距離を算出する。
検出装置１０Ｌ、１０Ｂ、１０Ｒのそれぞれの動作は、安全監視システム１における検出装置１０の動作と同じである。
表示部２２は、主制御装置３０の制御により、カメラ１２Ｌ、１２Ｂ、１２Ｒによってそれぞれ撮影された方向ごとのカメラ映像を１画面に表示する。
具体的には、主制御装置３０は、カメラ１２Ｌ、１２Ｂ、１２Ｒによってそれぞれ撮影されたカメラ映像を取得し、取得した各カメラ映像を１画面の中に並べて表示するよう表示部２２を制御する。例えば、カメラ１２Ｌによって撮影されたカメラ映像が表示部２２における左上に表示され、カメラ１２Ｂによって撮影されたカメラ映像が表示部２２における下側中央に表示され、カメラ１２Ｒによって撮影されたカメラ映像が表示部２２における右上に表示される。
また、主制御装置３０は、検出装置１０Ｌ、１０Ｂ、１０Ｒがそれぞれ三角コーンＲ１Ｌ、Ｒ１Ｂ、Ｒ１Ｒを検出した場合、三角コーンＲ１Ｌ、Ｒ１Ｂ、Ｒ１Ｒまでの距離に応じて、対応するカメラ映像に縁取り加工を施したり、警告表示を付加する。
具体的には、例えば、検出装置１０Ｌが三角コーンＲ１Ｌを検出し、三角コーンＲ１Ｌまでの距離が距離Ｌ１以上であって距離Ｌ２未満（図４）である場合、主制御装置３０は、カメラ１２Ｌによって撮影されたカメラ映像に「黄色」の警告表示Ｍ１Ｌが付加されたカメラ映像Ｖ２Ｌを表示部２２における左上に表示するように表示部２２を制御する。
また、例えば、検出装置１０Ｂが三角コーンＲ１Ｂを検出し、三角コーンＲ１Ｂまでの距離が距離Ｌ１未満（図４）である場合、主制御装置３０は、例えば、カメラ１２Ｂによって撮影されたカメラ映像に「赤色」の縁取り加工Ｅ１Ｂを施し、更に「赤色」の警告表示Ｍ１Ｂを付加した縁取り画像Ｖ１Ｂを表示部２２における下側中央に表示するように表示部２２を制御する。
また、例えば、検出装置１０Ｒが三角コーンＲ１Ｒを検出し、三角コーンＲ１Ｒまでの距離が距離Ｌ１以上であって距離Ｌ２未満（図４）である場合、主制御装置３０は、カメラ１２Ｒによって撮影されたカメラ映像に「黄色」の警告表示Ｍ１Ｒが付加されたカメラ映像Ｖ２Ｒを表示部２２における右上に表示するように表示部２２を制御する。
このように、複数の方向の物体を検出し、複数の方向の物体を１つの画面で確認可能にすることで、操作者が周囲を確認することがより簡単になる。
次に、図８及び図９を参照して、本発明の実施形態に係る安全監視システム１Ｂについて説明する。図８は、安全監視システム１Ｂを示す図である。図９は、安全監視システム１Ｂを示すブロック図である。安全監視システム１Ｂは、検出装置１０と、制御装置３０１と、表示装置２０１とを備える。
検出装置１０は、例えば、作業車両１００に搭載される。作業車両１００及び検出装置１０は、安全監視システム１が搭載された作業車両１００及び検出装置１０と同じである。
制御装置３０１は、例えば、作業車両１００が使用される建設現場から離れた場所に設置されたサーバー、デスクトップ型パーソナルコンピューター又はノート型パーソナルコンピューター等である。制御装置３０１は、制御部３２１と、記憶部３４１とを備える。制御部３２１は、ＣＰＵのようなプロセッサーを含む。記憶部３４１は、記憶装置を含み、データ及びコンピュータープログラムを記憶する。記憶部３４１のハードウェア構成は、半導体メモリーのような主記憶装置と、半導体メモリー、ソリッドステートドライブ、及び／又は、ハードディスクドライブのような補助記憶装置とを含む。記憶部３４１は、リムーバブルメディアを含んでいてもよい。
表示装置２０１は、例えば、制御装置３０１と同じ場所又は制御装置３０１と異なる場所に設置された液晶ディスプレイ、又は、有機エレクトロルミネッセンスディスプレイ等である。表示装置２０１は、表示部２２１と、制御部２６６と、記憶部２６７とを備える。
表示部２２１は、例えば、作業車両１００に設けられたカメラ１２によって撮影されたカメラ映像を含む作業車両１００に関する各種情報を表示する。
記憶部２６７は、記憶装置を含み、データ及びコンピュータープログラムを記憶する。具体的には、記憶部２６３は、半導体メモリーのような主記憶装置と、半導体メモリー、ソリッドステートドライブ、及び／又は、ハードディスクドライブのような補助記憶装置とを含む。記憶部２６７は、リムーバブルメディアを含んでいてもよい。
制御部２６６は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）のようなプロセッサーを含む。制御部２６６は、表示制御部２６８を備える。具体的には、制御部２６６のプロセッサーは、記憶部２６７の記憶装置に記憶されたコンピュータープログラムを実行することで、表示制御部２６８として機能する。表示制御部２６８は、表示部２２１を制御する。
作業車両１００、制御装置３０１及び表示装置２０１は、例えば、有線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）及び無線ＬＡＮ等のネットワークＮ１を介して、互いに情報を送受信する。
例えば、作業車両１００の主制御装置３０は、検出装置１０（カメラ１２）によって撮影されたカメラ映像を示すカメラ映像データと、検出装置１０（赤外線センサー１４）の検出結果及び検出装置１０（赤外線センサー１４）が測定した物体までの距離とを制御装置３０１に送信する。図８に示す例では、検出装置１０が三角コーンＲ１を検出し、三角コーンＲ１までの距離が距離Ｌ１未満（図４）であるとする。
制御装置３０１の制御部３２１は、主制御装置３０から送信されたカメラ映像データと、検出装置１０（赤外線センサー１４）の検出結果及び検出装置１０（赤外線センサー１４）が測定した物体までの距離とを受信する。
制御部３２１は、受信したカメラ映像データと、検出装置１０（赤外線センサー１４）の検出結果及び検出装置１０（赤外線センサー１４）が測定した物体までの距離とに基づいて、カメラ映像データの示すカメラ映像に縁取り加工を施したり、警告表示を付加した加工カメラ映像データを生成する。図８に示す例では、制御部３２１は、例えば、受信したカメラ映像に「赤色」の縁取り加工Ｅ３を施し、更に「赤色」の警告表示Ｍ３を付加した縁取り画像Ｖ３を含む加工カメラ映像データＶＤを生成する。
制御部３２１は、生成した加工カメラ映像データＶＤを表示装置２０１に送信する。
表示装置２０１の表示制御部２６８は、制御装置３０１から送信された加工カメラ映像データＶＤを受信する。表示制御部２６８は、受信した加工カメラ映像データＶＤの示すカメラ映像を表示するように表示部２２１を制御する。図８に示す例では、表示制御部２６８は、縁取り画像Ｖ３を表示するように表示部２２１を制御する。
このように、作業車両１００が使用される建設現場から離れた場所で、作業車両１００の周囲の状態の変化に気づきやすくすることで、建設現場において、より確実に安全監視をすることができる。
なお、安全監視システム１Ｂにおける作業車両１００は、例えば、図７に示す安全監視システム１Ａが搭載された作業車両１００であってもよい。この場合、表示装置２０１には、図７に示す表示部２２に表示される画面と同じ画面が表示される。
次に、図１０を参照して、本発明の実施形態に係る安全監視システム１Ｃについて説明する。図１０は、安全監視システム１Ｃを示す図である。安全監視システム１Ｂは、複数の検出装置１０Ｌ、１０Ｂ、１０Ｒと、制御装置３０１と、複数の表示装置２０１Ｌ、２０１Ｂ、２０１Ｒとを備える。検出装置１０Ｌ、１０Ｂ、１０Ｒは、図７に示す安全監視システム１Ａが搭載された作業車両１００における検出装置１０Ｌ、１０Ｂ、１０Ｒと同じである。制御装置３０１は、図８及び図９に示す制御装置３０１と同じである。表示装置２０１Ｌ、２０１Ｂ、２０１Ｒの各々は、図８及び図９に示す表示装置２０１と同じである。
表示装置２０１Ｌ、２０１Ｂ、２０１Ｒは、それぞれ、作業車両１００に設けられた対応するカメラ１２によって撮影されたカメラ映像を含む作業車両１００に関する各種情報を表示する。具体的には、表示装置２０１Ｌは、カメラ１２Ｌによって撮影されたカメラ映像を含む作業車両１００に関する各種情報を表示する。表示装置２０１Ｂは、カメラ１２Ｂによって撮影されたカメラ映像を含む作業車両１００に関する各種情報を表示する。表示装置２０１Ｒは、カメラ１２Ｒによって撮影されたカメラ映像を含む作業車両１００に関する各種情報を表示する。
例えば、作業車両１００の主制御装置３０は、各検出装置１０（カメラ１２Ｌ、１２Ｂ、１２Ｒ）によって撮影されたカメラ映像を示すカメラ映像データと、各検出装置１０（赤外線センサー１４Ｌ、１４Ｂ、１４Ｒ）のそれぞれの検出結果及び各検出装置１０（赤外線センサー１４Ｌ、１４Ｂ、１４Ｒ）がそれぞれ測定した物体までの距離とを制御装置３０１に送信する。図１０に示す例では、検出装置１０Ｌが三角コーンＲ１Ｌを検出し、三角コーンＲ１Ｌまでの距離が距離Ｌ１以上であって距離Ｌ２未満（図４）であり、検出装置１０Ｂが三角コーンＲ１Ｂを検出し、三角コーンＲ１Ｂまでの距離が距離Ｌ１未満（図４）であり、検出装置１０Ｒが三角コーンＲ１Ｒを検出し、三角コーンＲ１Ｒまでの距離が距離Ｌ１未満（図４）であるとする。
制御装置３０１の制御部３２１は、主制御装置３０から送信された各カメラ映像データと、各検出装置１０（赤外線センサー１４Ｌ、１４Ｂ、１４Ｒ）のそれぞれの検出結果及び各検出装置１０（赤外線センサー１４Ｌ、１４Ｂ、１４Ｒ）がそれぞれ測定した物体までの距離とを受信する。
制御部３２１は、受信した各カメラ映像データに、対応する検出装置１０（赤外線センサー１４）の検出結果及び検出装置１０（赤外線センサー１４）が測定した物体までの距離に基づいて、対応するカメラ映像データの示すカメラ映像に縁取り加工を施したり、警告表示を付加した加工カメラ映像データを生成する。
図１０に示す例では、制御部３２１は、例えば、受信した各カメラ映像データのうち、カメラ１２Ｌによって撮影されたカメラ映像に「黄色」の警告表示Ｍ３Ｌを付加したカメラ映像Ｖ３Ｌを含む加工カメラ映像データＶＤＬを生成する。
また、制御部３２１は、例えば、受信した各カメラ映像データのうち、カメラ１２Ｂによって撮影されたカメラ映像に「赤色」の縁取り加工Ｅ３Ｂを施し、更に「赤色」の警告表示Ｍ３Ｂを付加した縁取り画像Ｖ３Ｂを含む加工カメラ映像データＶＤＢを生成する。
また、制御部３２１は、受信した各カメラ映像データのうち、カメラ１２Ｒによって撮影されたカメラ映像に「黄色」の警告表示Ｍ３Ｒを付加したカメラ映像Ｖ３Ｒを含む加工カメラ映像データＶＤＲを生成する。
制御部３２１は、生成した各加工カメラ映像データを、それぞれ対応する表示装置２０１Ｌ、２０１Ｂ、２０１Ｒに送信する。
表示装置２０１Ｌの表示制御部２６８は、制御装置３０１から送信された加工カメラ映像データＶＤＬを受信する。表示制御部２６８は、受信した加工カメラ映像データＶＤＬの示すカメラ映像を表示するように表示部２２１を制御する。図１０に示す例では、表示制御部２６８は、カメラ映像Ｖ３Ｌを表示するように表示部２２１を制御する。
表示装置２０１Ｂの表示制御部２６８は、制御装置３０１から送信された加工カメラ映像データＶＤＢを受信する。表示制御部２６８は、受信した加工カメラ映像データＶＤＢの示すカメラ映像を表示するように表示部２２１を制御する。図１０に示す例では、表示制御部２６８は、縁取り画像Ｖ３Ｂを表示するように表示部２２１を制御する。
表示装置２０１Ｒの表示制御部２６８は、制御装置３０１から送信された加工カメラ映像データＶＤＲを受信する。表示制御部２６８は、受信した加工カメラ映像データＶＤＲの示すカメラ映像を表示するように表示部２２１を制御する。図１０に示す例では、表示制御部２６８は、カメラ映像Ｖ３Ｒを表示するように表示部２２１を制御する。
このように、作業車両１００が使用される建設現場から離れた場所で、複数の表示装置を用いて作業車両１００の周囲を確認可能にすることで、例えば、作業車両１００が遠隔操作される場合等において、より確実に安全監視をすることができる。
次に、図１１を参照して、本発明の実施形態に係る安全監視方法について説明する。図１１は、本発明の実施形態に係る安全監視方法を示すフローチャートである。
検出装置１０（カメラ１２）は、周囲のカメラ映像を撮影する（ステップＳ１１）。
検出装置１０（赤外線センサー１４）は、周囲の物体を検出する（ステップＳ１２）。検出装置１０が周囲の物体を検出しない場合（ステップＳ１２でＮｏ）、表示部２２は、カメラ１２によって撮影されたカメラ映像を表示する（ステップＳ２２）。
検出装置１０が周囲の物体を検出した場合（ステップＳ１２でＹｅｓ）、赤外線センサー１４は、検出した物体までの距離Ｌを測定する（ステップＳ１３）。
主制御装置３０は、赤外線センサー１４が測定した距離Ｌに応じて、カメラ映像に縁取り加工を施したり、警告表示を付加する。主制御装置３０は、距離Ｌが距離Ｌ２（図４）以上であるか否かを判定する（ステップＳ１４）。
距離Ｌが距離Ｌ２以上である場合（ステップＳ１４でＹｅｓ）、表示部２２は、カメラ１２によって撮影されたカメラ映像を表示する（ステップＳ２２）。
一方、距離Ｌが距離Ｌ２未満である場合（ステップＳ１４でＮｏ）、主制御装置３０は、距離Ｌが距離Ｌ１（図４）以上（かつ距離Ｌ２未満）であるか否かを判定する（ステップＳ１５）。距離Ｌが距離Ｌ１（図４）以上（かつ距離Ｌ２未満）である場合（ステップＳ１５でＹｅｓ）、主制御装置３０は、例えば「黄色」の警告表示Ｍ１をカメラ映像に付加する（ステップＳ１６）。表示部２２は、「黄色」の警告表示Ｍ１が付加されたカメラ映像を表示する（ステップＳ２２）。
また、距離Ｌが距離Ｌ１未満である場合（ステップＳ１５でＮｏ）主制御装置３０は、カメラ１２によって撮影されたカメラ映像に「赤色」の縁取り加工Ｅ１を施し、更に「赤色」の警告表示Ｍ１を付加した縁取り画像Ｖ１を生成する（ステップＳ１７）。
更に、赤外線センサー１４は、検出した物体からの反射赤外光の強度に基づいて、検出した物体が人であるか否かを判定する（ステップＳ１８）。赤外線センサー１４が検出した物体が人ではなく物である場合（ステップＳ１８でＮｏ）、表示部２２は、縁取り画像Ｖ１を含むカメラ映像を表示する（ステップＳ２２）。
一方、赤外線センサー１４が検出した物体が人である場合（ステップＳ１８でＹｅｓ）、主制御装置３０は、距離Ｌが距離ＬＳ（図６）以上（かつ距離Ｌ１未満）であるか否かを判定する（ステップＳ１９）。
距離Ｌが距離ＬＳ以上である場合（ステップＳ１９でＹｅｓ）、音出力部２８は、断続音の警告音を出力する（ステップＳ２０）。表示部２２は、縁取り画像Ｖ１を含むカメラ映像を表示する（ステップＳ２２）。
一方、距離Ｌが距離ＬＳ未満である場合（ステップＳ１９でＮｏ）、音出力部２８は、連続音の警告音を出力する（ステップＳ２１）。表示部２２は、縁取り画像Ｖ１を含むカメラ映像を表示する（ステップＳ２２）。
本実施形態において、赤外光を用いる赤外線センサー１４によって物体が検出される構成としたが、これに限らず、例えば、カメラ映像を画像処理することで物体が検出される構成であってもよい。
以上、図面（図１～図１１）を参照しながら本発明の実施形態を説明した。但し、本発明は、上記の実施形態に限られるものではなく、その要旨を逸脱しない範囲で種々の態様において実施することが可能である。図面は、理解しやすくするために、それぞれの構成要素を主体に模式的に示しており、図示された各構成要素の厚み、長さ、個数等は、図面作成の都合上から実際とは異なる。また、上記の実施形態で示す各構成要素の材質や形状、寸法等は一例であって、特に限定されるものではなく、本発明の効果から実質的に逸脱しない範囲で種々の変更が可能である。
本発明は、建設現場における建設機械及び作業車両等の分野に利用可能である。
１、１Ａ、１Ｂ、１Ｃ ：安全監視システム
１０、１０Ｂ、１０Ｌ、１０Ｒ ：検出装置
１２、１２Ｂ、１２Ｌ、１２Ｒ ：カメラ
１４、１４Ａ、１４Ｂ、１４Ｃ、１４Ｌ、１４Ｒ ：赤外線センサー
２０ ：操作装置
２２、２２１、２２１Ｂ、２２１Ｌ、２２１Ｒ ：表示部
２６、２６１ ：表示制御装置
２８ ：音出力部
３０ ：主制御装置
３２、２６６、３２１ ：制御部
１００ ：作業車両
２０１、２０１Ｂ、２０１Ｌ、２０１Ｒ ：表示装置
２６５、２６８ ：表示制御部
３０１ ：制御装置
Ｅ１、Ｅ１Ｂ、Ｅ３、Ｅ３Ｂ ：縁取り加工
Ｌ、Ｌ１、Ｌ２、ＬＡ、ＬＢ、ＬＣ、ＬＳ ：距離
Ｍ１、Ｍ１Ｂ、Ｍ１Ｌ、Ｍ１Ｒ、Ｍ３、Ｍ３Ｂ、Ｍ３Ｌ、Ｍ３Ｒ ：警告表示
Ｐ１ ：人物
Ｒ１、Ｒ１Ｂ、Ｒ１Ｌ、Ｒ１Ｒ ：三角コーン
Ｖ１、Ｖ１Ｂ、Ｖ３、Ｖ３Ｂ ：縁取り画像
Ｖ２、Ｖ２Ｌ、Ｖ２Ｒ、Ｖ３Ｌ、Ｖ３Ｒ ：カメラ映像

Claims (9)

  1. 建設機械の周囲の物体を検出する検出装置と、
    撮影された前記建設機械の周囲の画像を表示する表示装置と、
    前記検出装置及び前記表示装置を制御する制御装置と
    を備え、
    前記制御装置は、前記検出装置が前記物体を検出すると、前記周囲の画像に縁取り加工を施した縁取り画像を表示するように前記表示装置を制御する、安全監視システム。
  2. 前記制御装置は、前記検出装置が前記物体を検出すると、前記周囲の画像に警告表示を付加するように前記表示装置を制御する、請求項１に記載の安全監視システム。
  3. 前記検出装置は、前記物体までの距離を測定し、
    前記制御装置は、前記検出装置によって測定された前記距離に応じて、前記縁取り加工の色及び前記警告表示の色を変更する、請求項２に記載の安全監視システム。
  4. 前記検出装置は、赤外光を発光し、前記赤外光が前記物体に反射した反射赤外光を受光し、前記赤外光の発光から前記反射赤外光の受光までの時間に基づいて、前記物体までの前記距離を測定する、請求項３に記載の安全監視システム。
  5. 前記検出装置は、前記反射赤外光の強度に基づいて、前記物体が人であるか否かを判定する、請求項４に記載の安全監視システム。
  6. 前記安全監視システムは、警告音を発する音声出力装置を更に備え、
    前記制御装置は、前記検出装置が前記人を検出すると、前記警告音を発するように、前記音声出力装置を制御する、請求項５に記載の安全監視システム。
  7. 前記音声出力装置は、前記検出装置が検出した前記人までの距離に応じて、前記警告音を変化させる、請求項６に記載の安全監視システム。
  8. それぞれ対応する方向の前記物体を検出する複数の前記検出装置と、
    前記方向ごとに撮影された複数の前記画像を１画面に表示する表示装置と
    を備える、請求項１から請求項７のいずれか１項に記載の安全監視システム。
  9. それぞれ対応する方向の前記物体を検出する複数の前記検出装置と、
    対応する前記方向が撮影された前記画像を表示する複数の表示装置と
    を備える、請求項１から請求項７のいずれか１項に記載の安全監視システム。
JP2021082536A 2021-05-14 2021-05-14 安全監視システム Pending JP2022175822A (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2021082536A JP2022175822A (ja) 2021-05-14 2021-05-14 安全監視システム
KR1020220048666A KR20220155196A (ko) 2021-05-14 2022-04-20 안전 감시 시스템
EP22172024.6A EP4092204A1 (en) 2021-05-14 2022-05-06 Safety monitoring system for a construction machine
CN202210508243.0A CN115339383A (zh) 2021-05-14 2022-05-11 安全监视系统
US17/743,471 US20220364332A1 (en) 2021-05-14 2022-05-13 Safety monitoring system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021082536A JP2022175822A (ja) 2021-05-14 2021-05-14 安全監視システム

Publications (2)

Publication Number Publication Date
JP2022175822A true JP2022175822A (ja) 2022-11-25
JP2022175822A5 JP2022175822A5 (ja) 2024-07-08

Family

ID=81585591

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021082536A Pending JP2022175822A (ja) 2021-05-14 2021-05-14 安全監視システム

Country Status (5)

Country Link
US (1) US20220364332A1 (ja)
EP (1) EP4092204A1 (ja)
JP (1) JP2022175822A (ja)
KR (1) KR20220155196A (ja)
CN (1) CN115339383A (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11958403B2 (en) * 2022-05-23 2024-04-16 Caterpillar Inc. Rooftop structure for semi-autonomous CTL
CN116605141B (zh) * 2023-06-26 2024-02-09 江苏泽景汽车电子股份有限公司 电子后视镜的显示方法、装置、电子设备、存储介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5054294B2 (ja) * 2005-08-05 2012-10-24 株式会社小松製作所 作業用車両に搭載される表示装置、及び同表示装置の表示方法
JP5367665B2 (ja) * 2010-09-17 2013-12-11 日立建機株式会社 作業機械の表示システム
JP6178280B2 (ja) * 2014-04-24 2017-08-09 日立建機株式会社 作業機械の周囲監視装置
KR102124483B1 (ko) * 2014-05-12 2020-06-19 엘지전자 주식회사 비히클 및 그 제어 방법
US9457718B2 (en) * 2014-12-19 2016-10-04 Caterpillar Inc. Obstacle detection system
US9487139B1 (en) * 2015-05-15 2016-11-08 Honda Motor Co., Ltd. Determining a driver alert level for a vehicle alert system and method of use
JP6459954B2 (ja) * 2015-12-24 2019-01-30 株式会社デンソー 車両に搭載される動画送信装置、車両に搭載される動画受信装置、および、車両に搭載される動画通信システム
JP7058582B2 (ja) 2018-09-27 2022-04-22 日立建機株式会社 作業機械
KR20220002941A (ko) * 2019-04-26 2022-01-07 스미토모 겐키 가부시키가이샤 쇼벨

Also Published As

Publication number Publication date
KR20220155196A (ko) 2022-11-22
CN115339383A (zh) 2022-11-15
EP4092204A1 (en) 2022-11-23
US20220364332A1 (en) 2022-11-17

Similar Documents

Publication Publication Date Title
KR102104380B1 (ko) 작업 기계의 주위 감시 장치
US10544567B2 (en) Method and system for monitoring a rotatable implement of a machine
EP4092204A1 (en) Safety monitoring system for a construction machine
US20120327261A1 (en) Method and apparatus for generating an indication of an object within an operating ambit of heavy loading equipment
US20140118533A1 (en) Operational stability enhancing device for construction machinery
JP7058582B2 (ja) 作業機械
JPWO2019176036A1 (ja) 作業機械
US20210300731A1 (en) Crane and monitoring device for crane
JP6878025B2 (ja) 作業機械用周辺監視システム
JP2019163669A (ja) 作業車両
BR102020015111A2 (pt) Método para controlar uma máquina de trabalho móvel em um local de trabalho, e, máquina de trabalho móvel.
CN114127745A (zh) 工程机械的作业信息生成系统以及作业信息生成方法
JP4196826B2 (ja) 旋回式作業車両の後方視野表示装置
CN115362297A (zh) 工程机械的周边检测装置
BR102021002343A2 (pt) Método para alertar operadores de um veículo de trabalho de autopropulsão, e, veículo de trabalho de autopropulsão
CA2781349C (en) Method and apparatus for generating an indication of an object within an operating ambit of heavy loading equipment
JP2018121221A (ja) 作業機械用周辺監視システム
WO2021215198A1 (ja) 作業機械の障害物報知システムおよび作業機械の障害物報知方法
JP2017071942A (ja) 建設機械
KR20220010221A (ko) Avm 기반 굴삭기 모니터링 장치 및 그 방법
WO2021010467A1 (ja) 作業車両の表示システムおよび作業車両の表示方法
US20230287659A1 (en) Display system for construction machine
KR20140119911A (ko) 센서를 이용한 굴삭기의 후방 확인장치
WO2023100533A1 (ja) 画像表示システム、遠隔操作支援システムおよび画像表示方法
JP7428052B2 (ja) 作業機械の周囲検知装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240209

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20240531

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240628