JP2023175157A - 作業機械の画像表示システム、作業機械の画像表示方法および作業機械の画像表示用プログラム - Google Patents
作業機械の画像表示システム、作業機械の画像表示方法および作業機械の画像表示用プログラム Download PDFInfo
- Publication number
- JP2023175157A JP2023175157A JP2022087466A JP2022087466A JP2023175157A JP 2023175157 A JP2023175157 A JP 2023175157A JP 2022087466 A JP2022087466 A JP 2022087466A JP 2022087466 A JP2022087466 A JP 2022087466A JP 2023175157 A JP2023175157 A JP 2023175157A
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- display
- images
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000001514 detection method Methods 0.000 claims abstract description 244
- 238000000605 extraction Methods 0.000 claims abstract description 140
- 238000003384 imaging method Methods 0.000 claims abstract description 61
- 239000000284 extract Substances 0.000 claims abstract description 33
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 230000033001 locomotion Effects 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 2
- 230000006870 function Effects 0.000 description 21
- 238000012986 modification Methods 0.000 description 16
- 230000004048 modification Effects 0.000 description 16
- 238000004891 communication Methods 0.000 description 14
- 230000009471 action Effects 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 238000012790 confirmation Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000004904 shortening Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Component Parts Of Construction Machinery (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
【課題】作業管理者が作業機械に接近した対象物の情報を効率的に取得することが可能な、作業機械の画像表示システム、作業機械の画像表示方法および作業機械の画像表示用プログラムを提供する。【解決手段】画像表示システム1Sは、作業機械1の周囲に設定された検知範囲に対象物が侵入したことを検知し、検知信号を出力する対象物検知部75と、作業機械1の周囲の領域を撮像可能な撮像部70と、入力された表示指令信号に応じた表示画像を表示可能な閲覧部104と、撮像部70によって撮像された複数の画像の中から、前記検知信号が出力された時刻に対応する画像であって、閲覧者が閲覧部104において前記対象物を視認するために設定された抽出条件を満たす特定画像を抽出する抽出部103と、前記特定画像を含む前記表示指令信号を前記表示部に入力する画像入力部と、を備える。【選択図】図2
Description
本発明は、作業機械の画像表示システム、作業機械の画像表示方法および作業機械の画像表示用プログラムに関するものである。
従来、作業機械の周囲に存在する人などの対象物を検知し、その検知結果に応じて作業機械を減速、停止させる技術が知られている。特許文献1には、このような制御が発動した際の作業機械の情報をサーバーに送信し、ユーザーが安全活動を行うためのレポートを生成する技術が開示されている。また、特許文献2には、障害物を検知した際の動画を保存するとともに、当該動画をサーバーに送信する技術が開示されている。
特許文献1、2に記載された技術では、サーバーに送信された大量の情報の中に対象物の特定に寄与しない無用な情報が多く含まれている可能性があるため、作業管理者が、前記情報の中から前記対象物を抽出、特定する作業に多くの時間と手間が必要になるという問題があった。
本発明の目的は、作業管理者が作業機械に接近した対象物の情報を効率的に取得することが可能な、作業機械の画像表示システム、作業機械の画像表示方法および作業機械の画像表示用プログラムを提供することにある。
本発明により提供されるのは、作業機械の画像表示システムである。当該画像表示システムは、検知部と、撮像部と、表示部と、画像抽出部と、画像入力部とを備える。前記検知部は、作業機械の周囲に設定された検知範囲に対象物が侵入したことを検知し、検知信号を出力する。前記撮像部は、前記検知範囲を含む前記作業機械の周囲の領域を撮像可能である。前記表示部は、入力された表示指令信号に応じた表示画像を表示することができる。前記画像抽出部は、前記撮像部によって撮像された複数の画像の中から、前記検知信号が出力された時刻に対応する画像であって、閲覧者が前記表示部において前記対象物を視認するために設定された抽出条件を満たす特定画像を抽出する。前記画像入力部は、前記特定画像を含む前記表示指令信号を前記表示部に入力する。
本構成によれば、撮像部によって撮像された画像の中から対象物を検知した時刻に対応し、更に抽出条件に基づいて抽出された特定画像を表示部に表示することができるため、撮像部によって撮像された全ての画像や検知信号に対応する全ての画像を表示部に表示する場合と比較して、作業管理者などの閲覧者が作業機械に接近した対象物の情報を効率的に取得することが可能になる。
上記の構成において、前記検知信号は、前記対象物に関連する関連情報を含み、前記画像入力部は、前記特定画像およびこれに対応する前記関連情報のそれぞれを含む前記表示指令信号を前記表示部に入力するものでもよい。
本構成によれば、特定画像とともに対象物に関連する関連情報を表示部に表示することができるため、作業管理者などの閲覧者が作業機械に接近した対象物の情報を更に効率的に取得することが可能になる。
上記の構成において、前記画像抽出部は、前記複数の画像として、複数の検知期間にそれぞれ対応する複数の動画を抽出し、前記複数の検知期間の各々は前記検知部が前記対象物を持続的に検知している期間であり、前記抽出条件は、前記特定画像が、前記動画の母集団の中で相対的に長い前記検知期間に対応する前記動画であるという条件を含むものでもよい。
本構成によれば、特定画像の中でも検知期間が長いものを表示部に表示することができるため、閲覧者が危険度の高い画像を効率的に確認することができる。
上記の構成において、前記画像入力部は、前記動画の母集団の中で相対的に長い前記検知期間に対応する前記動画が優先的に前記表示部に表示されるように、前記表示指令信号を前記表示部に入力するものでもよい。
本構成によれば、検知期間がより長い特定画像から優先的に表示することができるため、閲覧者は危険度の高い画像を更に効率的に確認することができる。
上記の構成において、前記画像抽出部は、前記複数の画像として、複数の検知期間にそれぞれ対応する複数の動画を抽出し、前記複数の検知期間の各々は前記検知部が前記対象物を持続的に検知している期間であり、前記抽出条件は、前記特定画像が、予め設定された閾値よりも長い前記検知期間に対応する前記動画であるという条件を含むものでもよい。
本構成によれば、予め設定された閾値よりも長い検知期間に対応する画像を特定画像として表示部に表示することで、検知期間の短い画像が表示部に表示されることがなく、閲覧者が緊急度の高い画像を効率的に確認することができる。
上記の構成において、前記関連情報は、前記作業機械と前記対象物との距離に関する情報を含み、前記抽出条件は、前記特定画像が、前記画像の母集団の中で相対的に小さい前記距離に対応する前記画像であるという条件を含むものでもよい。
本構成によれば、作業機械と対象物との距離が小さい画像を表示部に表示することができるため、閲覧者は危険度の高い画像を効率的に確認することができる。
上記の構成において、前記画像入力部は、前記特定画像の母集団の中で相対的に小さい前記距離に対応する前記特定画像が優先的に前記表示部に表示されるように、前記表示指令信号を前記表示部に入力するものでもよい。
本構成によれば、前記距離がより近い特定画像から優先的に表示することができるため、閲覧者は危険度の高い画像を更に効率的に確認することができる。
上記の構成において、前記撮像部によって撮像された前記画像を時刻情報とともに記憶可能であり、更に前記検知信号を時刻情報とともに記憶可能な記憶部を更に備え、前記画像抽出部は、前記記憶部に記憶された前記画像のうち、前記検知信号に付随する前記時刻情報に対応する前記画像を前記特定画像として抽出するものでもよい。
本構成によれば、画像および検知信号がそれぞれ時刻情報とともに記憶されているため、検知信号に対応する特定画像を容易かつ速やかに特定することができる。
上記の構成において、前記撮像部によって撮像された前記画像を時刻情報とともに記憶可能な画像記憶部と、前記検知部から出力された前記検知信号を時刻情報とともに記憶可能な信号記憶部と、を更に備え、前記画像抽出部は、前記画像記憶部に記憶された前記画像のうち、前記信号記憶部に記憶された前記検知信号に付随する前記時刻情報に対応する前記画像を前記特定画像として特定するものでもよい。
本構成によれば、画像および検知信号がそれぞれ時刻情報とともに記憶されているため、検知信号に対応する特定画像を容易かつ速やかに特定することができる。また、画像および検知信号が個別の記憶部に記憶されているため、各々の情報を独立して表示部に表示することや、互いの情報を組み合わせて表示部に表示することが容易となる。
上記の構成において、前記撮像部によって撮像された前記画像および前記検知部から出力された前記検知信号のうちの少なくとも一方を所定の形式データに圧縮変換することが可能な変換部と、前記変換部によって生成された前記形式データを送信する送信部と、を更に備えるものでもよい。
本構成によれば、画像や検知信号を圧縮して送信することで、記憶部などに記憶される情報量を増やすことが可能になるとともに、送信部による情報送信時間を短縮することができる。また、送信部が作業機械に設けられている場合には、前記情報送信時間を短縮することによって作業機械の電源にかかる負荷を下げることができる。
上記の構成において、前記作業機械は、アクチュエータと前記アクチュエータの動きをロック可能なロック部とを有し、前記関連情報は、前記ロック部による前記アクチュエータのロック状態、前記検知部による前記対象物の検知可能状態、前記作業機械の作動速度のうちの少なくとも一つに関する情報である付加情報を更に含み、前記画像入力部は、前記付加情報が前記特定画像とともに前記表示部に表示されるように、前記表示指令信号を前記表示部に入力するものでもよい。
本構成によれば、対象物と作業機械との間の危険性に関連する付加情報を表示部に表示することができるため、閲覧者はより危険度の高い特定画像を効率的に確認することができる。
上記の構成において、前記画像抽出部は、検知期間に対応する動画を抽出し、前記検知期間は前記検知部が前記対象物を持続的に検知している期間であり、前記動画は、前記複数の画像によって構成され、前記画像抽出部は、前記動画を代表するサムネイル画像として、前記複数の画像の中から前記抽出条件を満たす前記特定画像を抽出し、前記画像入力部は、前記サムネイル画像を含む前記動画に対応する前記表示指令信号を前記表示部に入力するものでもよい。
本構成によれば、動画を構成する複数の画像の中から抽出条件に基づいて抽出された特定画像を、前記動画を代表するサムネイル画像として表示することができるため、閲覧者は当該サムネイル画像から、検知された対象物の概要を容易に把握し、詳細を確認すべき前記動画の閲覧に効率的に着手することができる。
上記の構成において、前記関連情報は、前記対象物の前記作業機械に対する相対的な位置情報を含み、前記画像抽出部は、前記位置情報に基づいて前記画像中の前記対象物の位置を更に特定することが可能であり、前記抽出条件は、前記サムネイル画像が、前記複数の画像の中で前記対象物が所定の方向において最も中央部に位置する画像であるという条件を含むものでもよい。
本構成によれば、複数の画像の中で対象物が所定の方向において最も中央部に位置する画像をサムネイル画像として抽出するため、閲覧者は当該サムネイル画像から、検知された対象物の概要を容易に把握することができる。
上記の構成において、前記撮像部によって撮像される画像内に前記作業機械の接地面が含まれ、前記作業機械から離れる方向が前記画像における上下方向となるように、前記撮像部の画角が設定され、前記所定の方向は、前記上下方向と直交する、前記画像における左右方向であるものでもよい。
本構成によれば、サムネイル画像において、対象物が作業機械の近くに位置する状況を画像中の左右方向の中央部で容易かつ正確に確認することができる。
上記の構成において、前記画像抽出部は、少なくとも前記サムネイル画像を含む画像を所定のファイル形式で保存または出力することが可能であるものでもよい。
本構成によれば、対象物が映り込んだサムネイル画像を含む画像をPDFなどのファイル形式で保存することや、データ転送やプリントアウトによって出力することが可能になるため、閲覧者はこれらの情報を作業機械に関わる作業者との会議等で活用して、注意喚起に繋げることができる。
上記の構成において、前記画像抽出部は、前記画像に含まれる前記対象物が人であるか否かを判別し、当該人を少なくとも顔を含む複数の部位ごとに特定することが可能であり、前記抽出条件は、前記サムネイル画像が、前記複数の画像の中で、特定された前記人の顔が所定の方向において最も中央部に位置する画像であるという条件を含むものでもよい。
本構成によれば、複数の画像の中で人の顔が所定の方向において最も中央部に位置する画像をサムネイル画像として抽出するため、閲覧者は当該サムネイル画像から、検知された人の概要を容易に把握することができる。
上記の構成において、前記画像抽出部は、前記画像に含まれる前記対象物が人であるか否かを判別することが可能であり、前記抽出条件は、前記サムネイル画像が、前記複数の画像の中で、前記人が占める面積が相対的に大きい画像であるという条件を含むものでもよい。
本構成によれば、人が映る面積が大きい画像を優先的にサムネイル画像とすることができるため、閲覧者は当該サムネイル画像から、検知された人の概要を容易に把握することができる。
上記の構成において、前記画像抽出部は、前記画像に含まれる前記対象物が人であるか否かを判別し、当該人の顔の向きを特定することが可能であり、前記抽出条件は、前記サムネイル画像が、前記複数の画像の中で、特定された前記人の顔が前記作業機械とは異なる方向を向いている画像であるという条件を含むものでもよい。
本構成によれば、作業機械の方を向いておらず、作業機械の存在に気が付かないまま作業を行っている可能性がある人の画像を効率的に抽出し、当該人に対して是正措置を行うことができる。
上記の構成において、前記検知部が複数の前記検知期間において前記対象物をそれぞれ検知した場合、前記画像入力部は、複数の前記動画のうち、特定された前記人の顔が前記作業機械とは異なる方向を向いている時間が相対的に長い前記動画が優先的に前記表示部に表示されるように、前記表示指令信号を前記表示部に入力するものでもよい。
本構成によれば、作業機械の方を向いていない時間がより長い人の画像を効率的に抽出し、早急に是正措置を行うことができる。
本発明によって提供されるのは、作業機械の画像表示方法である。当該画像表示方法は、画像取得工程と、検知工程と、画像抽出工程と、表示工程とを備える。前記画像取得工程では、作業機械の周囲に設定された検知範囲を含む領域を撮像し画像を取得する。前記検知工程では、前記検知範囲に対象物が侵入したことを検知し、検知信号を出力する。前記画像抽出工程では、撮像された複数の前記画像の中から前記検知信号が出力された時刻に対応する画像であって、閲覧者が表示部を通じて前記対象物を視認するために設定された抽出条件を満たす特定画像を抽出する。前記表示工程では、前記特定画像を前記表示部に表示する。
本方法によれば、撮像された画像の中から対象物を検知した時刻に対応する画像であって、抽出条件に基づいて抽出された特定画像を表示部に表示することができるため、前記撮像された画像の全てや検知信号に対応する画像の全てを表示部に表示する場合と比較して、作業管理者などの閲覧者が作業機械に接近した対象物の情報を効率的に取得することが可能になる。
上記の方法において、前記画像抽出工程は、検知期間に対応する動画を抽出することを含み、前記検知期間は前記検知工程において前記対象物を持続的に検知している期間であり、前記動画は、前記複数の画像によって構成され、前記画像抽出工程は、前記動画を構成する前記複数の画像の中から前記抽出条件を満たす前記特定画像を、前記動画を代表するサムネイル画像として抽出することを含むものでもよい。
本方法によれば、動画を構成する複数の画像の中から抽出条件に基づいて抽出された特定画像を、前記動画を代表するサムネイル画像として表示することができるため、閲覧者は当該サムネイル画像から、検知された対象物の概要を容易に把握し、詳細を確認すべき前記動画の閲覧に効率的に着手することができる。
また、本発明によって提供されるのは、作業機械の周囲に設定された検知範囲を含む領域を撮像可能な撮像部と、入力された表示指令信号に応じた表示画像を表示可能な表示部と、にそれぞれ接続されたコンピュータ上で実行される作業機械の画像表示用プログラムである。当該プログラムは、前記コンピュータに、記憶ステップと、検知ステップと、画像抽出ステップと、画像入力ステップとを実行させる。前記記憶ステップでは、前記撮像部によって撮像された画像を記憶する。前記検知ステップでは、前記撮像部によって撮像された画像に基づいて前記検知範囲に対象物が侵入したことを検知し、検知信号を出力する。前記画像抽出ステップでは、前記撮像部によって撮像された複数の画像の中から前記検知信号が出力された時刻に対応する画像であって、閲覧者が前記表示部を通じて前記対象物を視認するために設定された抽出条件を満たす特定画像を抽出する。前記画像入力ステップでは、前記特定画像を含む前記表示指令信号を前記表示部に入力し、前記特定画像を表示させる。
本プログラムによれば、撮像部によって撮像された画像の中から対象物を検知した時刻に対応する画像であって、更に抽出条件に基づいて抽出された特定画像を表示部に表示するように、コンピュータ上でプログラムを実行することができるため、撮像部によって撮像された画像の全てや検知信号に対応する画像の全てを表示部に表示する場合と比較して、作業管理者などの閲覧者が作業機械に接近した対象物の情報を効率的に取得することが可能になる。
上記の構成において、前記撮像部は、複数の画像から構成される動画を撮像することが可能であり、前記画像抽出ステップは、前記対象物を持続的に検知している検知期間に対応する前記動画について、当該動画を代表するサムネイル画像として、前記複数の画像の中から前記抽出条件に基づいて前記特定画像を抽出することを更に含み、前記表示ステップは、前記動画を代表するように、前記抽出された特定画像によってサムネイル表示することと、前記表示部を閲覧する閲覧者が前記表示部に表示される一の前記特定画像を選択すると、当該一の特定画像を含む前記動画を前記表示部上に拡大表示することと、を更に含むものでもよい。
本プログラムによれば、動画を構成する複数の画像の中から抽出条件に基づいて抽出された特定画像を、前記動画を代表するサムネイル画像として表示することができるため、閲覧者は検知された対象物の概要を前記サムネイル画像から容易に把握し、詳細を確認すべき前記動画の閲覧に効率的に着手することができる。
上記の構成において、前記表示ステップは、前記表示部上に、複数の前記動画に対応する複数の前記特定画像を並べてサムネイル表示することと、前記閲覧者が複数の前記特定画像の中から危険度の高い特定画像を選択することを補助することが可能な選択ガイドを表示することと、を更に含むものでもよい。
本プログラムによれば、閲覧者は、選択ガイドに基づいて危険度の高い特定画像を容易に選択し、その動画を閲覧することが可能になる。
本発明によれば、作業管理者が作業機械に接近した対象物の情報を効率的に取得することが可能な、作業機械の画像表示システム、作業機械の画像表示方法および作業機械の画像表示用プログラムを提供することができる。
以下、本発明の好ましい実施形態を、図面を参照しながら説明する。
<第1実施形態>
図1は、本発明の第1実施形態に係る画像表示システム1S(図2)が搭載される作業機械1を示す。本実施形態では、作業機械1は油圧ショベルである。この作業機械1は、地面G(走行面)上を走行可能なクローラ式の下部走行体10(本体部)と、地面Gに対して垂直な旋回中心軸まわりに旋回可能となるように下部走行体10の上に搭載される上部旋回体12と、この上部旋回体12に搭載される作業アタッチメント3と、を備える。下部走行体10は、左クローラ11Lと、右クローラ11Rとを含む(図3)。また、作業アタッチメント3は、前記上部旋回体12に起伏可能に支持されるブーム4と、当該ブーム4の先端に回動可能に連結されるアーム5と、当該アーム5の先端に回動可能に連結されるバケット6とを備える。また、上部旋回体12は、旋回フレーム16と、カウンタウエイト17と、キャブ18とを有する。
図1は、本発明の第1実施形態に係る画像表示システム1S(図2)が搭載される作業機械1を示す。本実施形態では、作業機械1は油圧ショベルである。この作業機械1は、地面G(走行面)上を走行可能なクローラ式の下部走行体10(本体部)と、地面Gに対して垂直な旋回中心軸まわりに旋回可能となるように下部走行体10の上に搭載される上部旋回体12と、この上部旋回体12に搭載される作業アタッチメント3と、を備える。下部走行体10は、左クローラ11Lと、右クローラ11Rとを含む(図3)。また、作業アタッチメント3は、前記上部旋回体12に起伏可能に支持されるブーム4と、当該ブーム4の先端に回動可能に連結されるアーム5と、当該アーム5の先端に回動可能に連結されるバケット6とを備える。また、上部旋回体12は、旋回フレーム16と、カウンタウエイト17と、キャブ18とを有する。
作業機械1は、上部旋回体12に対して前記ブーム4を起伏動作させるように作動するブームシリンダ7と、当該ブーム4に対して前記アーム5を回動動作させるように作動するアームシリンダ8と、当該アーム5に対して前記バケット6を回動動作させるように作動するバケットシリンダ9と、を備える。
図2は、本実施形態に係る画像表示システム1Sのブロック図である。図3は、作業機械1の周辺検知領域を示す平面図である。作業現場の管理者は、後記のような周囲検知機能を搭載した作業機械1において、検知範囲内に侵入した対象物をいつ、誰が(何が)、どのような状況で検知されたのか把握し、作業現場の安全活動に繋げたいという要望がある。本実施形態では、画像表示システム1Sが、作業機械1とは異なる位置に配置された外部端末100(図2)を含み、当該外部端末100において作業機械1の周辺の画像情報を表示する。たとえば、外部端末100は、作業現場の管理事務所に配置されたパーソナルコンピュータである。なお、外部端末100は、作業現場から離れた遠隔管理施設に配置されてもよい。また、外部端末100は、作業現場などで作業者が手にするタブレット端末などでもよい。外部端末100に加え、以下で説明する作業機械1の一部も、本実施形態における画像表示システム1Sの一部を構成する。
図2に示すように、作業機械1は、撮像部70と、表示画像生成部71と、モニター72と、映像保存部73(記憶部)と、変換部74と、対象物検知部75(検知部)と、検知信号保存部76(記憶部)と、通信装置77と、操作レバー80と、周辺検知機能解除スイッチ81と、制御部90と、動作制御部91と、レバーロック92と、駆動部95とを有する。
撮像部70は、作業機械1の周囲に設定された検知範囲を含む領域を撮像することが可能である。本実施形態では、撮像部70は、4つのカメラを含む。このうち1つのカメラは、キャブ18内に配置されており、残りの3つのカメラは、図3に示すように、上部旋回体12の後側部分に配置された左カメラ60L、後方カメラ60B、右カメラ60Rを含む。なお、撮像部70の各カメラが撮像する画像は、静止画、動画(映像)を含む。この際、前記動画は、複数の静止画(複数の画像)の集合体と捉えることができる。
表示画像生成部71は、モニター72に表示するための表示画像を生成する。一例として、表示画像生成部71は、4つのカメラの撮影画像がモニター72上に同時に表示されるように、一の表示画像を生成することができる。
モニター72は、キャブ18内に配置され、撮像部70によって撮像された画像、特に、表示画像生成部71によって生成された表示画像を表示する。作業機械1のオペレータは、モニター72を通じて作業機械1の周辺画像を確認することができる。オペレータは、モニター72に表示される画像を不図示のスイッチによって切り換えることができる。
映像保存部73は、キャブ18内に配置され、撮像部70によって撮像された画像を保存する。
変換部74は、撮像部70によって撮像されるとともに映像保存部73に保存された画像の圧縮変換、階調圧縮、フレームレートの変更に加え、複数映像を一つの映像に変換することが可能である。この結果、作業機械1から外部端末100への画像送信負荷が低減される。
対象物検知部75は、作業機械1の周囲に設定された検知範囲に対象物が侵入したことを検知し、前記対象物に関連する関連情報を含む検知信号を出力する。本実施形態では、対象物検知部75は、撮像部70の撮像画像を画像処理することによって、対象物の侵入を検知する。また、前記関連情報は、人などの対象物の位置、対象物と作業機械1との距離などの情報を含む。なお、前記検知信号は、対象物を検知した時刻と同じ時刻に出力されても良いし、前後の所定の時間の一部を含むように出力されてもよい。一例として、時刻tに対象物の侵入が検知された場合、時刻tに検知信号が出力されてもよいし、時刻t+α(αは定数)に検知信号が出力されてもよいし、時刻tから時刻t+αまでの間に所定の間隔で検知信号が連続して出力されてもよい。
作業機械1の周囲(後方及び左右側方)には、図3に示すように各カメラ60R,60L,60Bの検知範囲にそれぞれ応じて二点鎖線で示されるような右側方領域AR1,AR2、後方領域AB1,AB2及び左側方領域AL1,AL2がそれぞれ設定されており、対象物検知部75が、対象物がいずれの領域に存在するかを検知することによって、作業機械1の速度を制限すべき(または強制停止させるべき)動作(旋回動作または走行動作)が決定される。
検知信号保存部76は、対象物検知部75によって生成された検知信号を保存する。
通信装置77は、無線または有線の通信方式によって外部端末100との間で各種の情報、信号を送受信する。
操作レバー80は、キャブ18内に配置され、オペレータによって操作される。操作レバー80は、下部走行体10の走行動作、上部旋回体12の旋回動作、作業アタッチメント3のブーム4、アーム5およびバケット6の各回動動作をそれぞれ操作するための複数のレバーを含む。
周辺検知機能解除スイッチ81は、キャブ18に配置され、対象物検知部75による周辺検知機能のON/OFFを切換える。通常、作業機械1の作業時には、前記検知機能はONされているが、オペレータの意思によって周辺検知機能解除スイッチ81が操作されると、前記検知機能をOFFにすることができる。
制御部90は、作業機械1の動作を統括的に制御する。制御部90は、CPU(Central Processing Unit)、制御プログラムを記憶するROM(Read Only Memory)、CPUの作業領域として使用されるRAM(Random Access Memory)等から構成されている。
動作制御部91は、対象物検知部75による対象物の検知結果に応じて、下部走行体10の走行速度、上部旋回体12の旋回速度を制限する。なお、動作制御部91は、制御部90の一部を構成する。制御部90および動作制御部91は、互いに異なる構成でもよい。
表1は、動作制御部91が実行する上記の制限内容をまとめた表である。通常動作は、上記の制限が実行されない状態を示す。減速制御は、操作レバー80に入力される操作量に対して、所定の演算式に基づいて減速制御が働く状態を示す。また、停止制御は、操作レバー80に入力される操作量に関わらず、下部走行体10の走行(前進、後進)または上部旋回体12の旋回(右旋回、左旋回)、作業アタッチメント3の動き(作業)が阻止される状態を示す。
駆動部95は、作業機械1における、下部走行体10の走行動作、上部旋回体12の旋回動作および作業アタッチメント3の各部材(ブーム4、アーム5、バケット6)の各駆動動作を実行する。駆動部95は、不図示の油圧回路などを含む。前記油圧回路は、エンジンの駆動力を受けて作動する油圧ポンプ、旋回モータまたは油圧シリンダなどのアクチュエータ、前記油圧ポンプと前記アクチュエータとの間に介在するコントロールバルブ(流量制御弁)などを含む。制御部90は、前記制御入力として前記コントロールバルブに入力するパイロット圧を調整することで、下部走行体10の走行速度、上部旋回体12の旋回速度、ブーム4の起伏速度などを調整する。
レバーロック92(ロック部)は、キャブ18内に配置されており、オペレータによって操作される。レバーロック92は、ロック状態とロック解除状態とに切換えることができる。レバーロック92がロック状態とされると、操作レバー80に入力される操作に関わらず、下部走行体10の走行速度、上部旋回体12の旋回速度、ブーム4の起伏速度などが阻止される(アクチュエータがロックされる)。一方、レバーロック92がロック解除状態とされると、下部走行体10の走行速度、上部旋回体12の旋回速度、ブーム4の起伏速度などがそれぞれ許容される。なお、レバーロック92は、レバーロックソレノイド構造からなるものでもよいし、各アクチュエータを逆比例弁で停止させる構造からなるものでもよい。
図2に示すように、外部端末100は、通信装置101と、外部保存部102(記憶部)と、抽出部103(画像抽出部、画像入力部)と、閲覧部104(表示部)とを有する。
通信装置101は、無線または有線の通信方式によって作業機械1の通信装置77との間で各種の情報、信号を送受信する。
外部保存部102は、撮像部70によって撮像された画像などを記憶可能とされている。
抽出部103は、作業機械1から外部端末100に送信された各種の情報から閲覧部104に表示する情報を抽出する機能を有している。たとえば、外部端末100にインストールされているプログラムやアプリケーションが外部端末100上で実行されることで、外部端末100が抽出部103として機能する。特に、本実施形態では、抽出部103は、撮像部70によって撮像された前記画像の中から前記検知信号が出力された時刻に対応する画像であって、閲覧者が閲覧部104において前記対象物を視認するために設定された抽出条件を満たす特定画像を抽出する。また、抽出部103は、前記特定画像およびこれに対応する前記関連情報のそれぞれを含む前記表示指令信号を閲覧部104に入力する。
閲覧部104は、入力された表示指令信号に応じた表示画像を表示可能とされている。本実施形態では、閲覧部104は、パーソナルコンピュータのディスプレイ、モニターから構成される。作業現場の管理事務所において現場管理者などの閲覧者が閲覧部104を閲覧することで、作業機械1の周辺状況を確認することができる。
次に、本実施形態に係る画像表示システム1Sが実行する画像表示処理について、詳述する。図4は、前記画像表示処理のフローチャートである。例えば、作業機械1の不図示のエンジンが起動し、画像表示システム1Sが図4のフローを開始すると、撮像部70が作業機械1の周辺の映像の取得を開始する(ステップS1)。撮像部70によって取得された映像は、図2にも示されるように、表示画像生成部71、映像保存部73、対象物検知部75の3つに分配される(ステップS2)。映像保存部73では、取得された映像に対応する時刻情報が取得され(ステップS3)、前記時刻情報と前記映像(動画)とが紐づけられる(関連付けられる)(ステップS4)。この結果、映像保存部73に前記映像が時刻情報とともに保存される(ステップS5)。次に、映像保存部73に保存された映像は、変換部74(図2)において、圧縮変換されるとともに、そのフレームレートが変更される(ステップS6)。この際、4つのカメラの映像が1つの映像に変換されてもよい。4つのカメラの映像を1つの映像にすることで、後記の閲覧部104を閲覧する作業管理者は対象物を検知した方向以外の領域も確認することができるため、検知した際の作業機械周囲の状況、例えば、どんな作業をしていたか、対象物から離れる操作ができない状況であったかなども把握することができる。又、上記のような変換処理によって、映像保存部73に保存された映像が、外部端末100に送信可能な状態となる。
一方、ステップS2において対象物検知部75に分配された映像では、対象物検知部75が実行する公知の画像処理プログラムによって、前記映像中に人が存在するか否かが判定される(人検知)。この際、作業機械1(詳しくは各カメラ)と前記人との距離が算出される(ステップS7)。次に、算出された距離情報が制御部90に送信される(ステップS8)。制御部90は、当該距離情報に基づいて、人が図3の検知範囲AL1、AL2、AB1、AB2、AR1、AR2のいずれかの範囲内に存在するか否かを判定する(ステップS9)。ここで、人が上記のいずれかの範囲内に存在する場合は、前述の表1に従って作業機械1に対する所定の制御が実行される(ステップS10)。当該制御が実行されると、対象物検知部75は検知信号を生成し、作業機械1の機械情報(機械番号など)とともに、検知信号保存部76に保存する(ステップS11)。なお、検知信号は、上記のいずれかの領域に人が存在する限り、所定の刻み時間間隔で連続的に生成される。上記の結果、検知信号保存部76に保存された情報が、外部端末100に送信可能な状態となる。一方、ステップS9において、人が上記のいずれの範囲内にも存在しない場合は、通常状態として、操作レバー80が受ける操作に応じた作業機械1の制御が実行される(ステップS12)。
また、ステップS2において表示画像生成部71に分配された映像は、キャブ18内に設置されたモニター72に表示される(ステップS13)。この際、ステップS10において所定の制御(減速、停止)が実行された場合には、その情報もモニター72に表示される(ステップS14)。この結果、現在の作業機械1およびその周辺状況をオペレータが認知することができる。
ステップS6において変換部74によって変換された映像情報と、ステップS11において検知信号保存部76に保存された各情報とは、通信装置77を介して外部端末100に送信される(ステップS15)。外部端末100の通信装置101が上記の情報を受け付けると、外部保存部102にそのまま保存される。この際、撮像部70によって撮像された全ての映像および対象物検知部75によって生成された全ての検知信号などが、外部保存部102に保存されてもよい。次に、抽出部103が、これらの情報から閲覧部104に表示するための情報を抽出する。具体的に、抽出部103は、外部保存部102に保存された映像と検知信号とを時刻情報に基づいて同期する(紐づけする)(ステップS16)。この結果、撮像部70によって撮像された映像情報の中に、各検知信号が時刻に応じて割り付けられる。なお、時刻情報は作業機械1にGPSを搭載することで取得され、同じ時刻情報を映像と検知信号にそれぞれ関連付けてもよい。この場合、精度よく映像と検知信号を同期させることができる。
次に、抽出部103は、外部保存部102に保存された映像の中から、各検知信号に応じて検知時の部分的な映像をそれぞれ抽出する(切り出す)(ステップS17)。この際、検知信号が連続的に出力(生成)されている期間(一の検知期間)に対応して、一の映像(動画)が生成される。すなわち、作業機械1の使用中に、異なる時間帯に、人が検知された場合、それぞれの検知期間に応じた映像が生成される。抽出部103は、生成した各映像を外部保存部102に保存する(ステップS18)。当該映像には、作業機械1と人との距離などの関連情報を含む検知信号も合わせて保存される。そして、抽出部103は、生成した映像を所定の条件(抽出条件)に応じて優先的に閲覧部104に表示させる(ステップS19)。
図5は、本実施形態に係る画像表示システム1Sにおいて、閲覧部104の表示画面の一例である。同図では、上中下段に3日分の映像情報が表示されており、各日付において、左から右に異なる映像がそれぞれ表示されている。また、各日付の下には、該当する映像の件数(動画数)が表示されている。なお、図5では、最も左上の映像のみに、4つのカメラ映像が1つに合成された映像が示されている。このうち、右下のカメラ映像はキャブ18内のカメラに相当する。また、図5では、その他の映像の詳細について省略しているが、同様の映像がそれぞれ表示される。なお、1つのカメラの映像が表示されてもよい。
各映像には、映像の取得時刻すなわち対象物(人)の検知時刻およびその時間(長さ、連続検知時間)が添えられている。また、各映像の直下には、再生、一時停止、停止、早送り、巻き戻しなどを操作するためのボタンが添えられている。閲覧部104を閲覧する閲覧者(現場管理者)は、パーソナルコンピュータのカーソルによってこのボタンを操作することで、それぞれの映像を閲覧、視聴することができる。なお、再生ボタンが押し下げられると、該当する映像が画面全体に拡大表示され、再生が開始されてもよい。
また、図5では、管理事務所のパーソナルコンピュータの画面上の左上隅に、作業機械1の型式、機械番号、アワーメータ(作業時間)などの機械情報が表示されている。また、その右側には、映像を表示するための抽出条件の一例として、表示優先メニューが1から3まで示されている。ここでは、表示優先1として連続検知時間が設定され、表示優先2として検知距離が設定され、表示優先3として周囲検知機能ONが設定されている。すなわち、同じ日付の複数の映像の中で、連続検知時間が長い特定画像が左から優先して表示されている。同じ連続検知時間の2つの映像がある場合は、表示優先2の検知距離が小さいものほど左側に優先して表示される。同様に、周囲検知機能がON状態のものがOFF状態のものよりも優先して表示される。
表示優先1は、人が検知領域内に長時間侵入した、危険性の高い映像を現場管理者が優先して閲覧するために設定されている。また、表示優先2は、作業機械1と人との距離が小さい、危険性の高い映像を同様に閲覧するために設定されている。また、表示優先3は、周辺検知機能がON状態であり、作業機械1の減速、停止によって作業に影響があった状態を閲覧するために設定されている。
なお、他の実施形態に係る表示優先として、接近速度を指標として、優先して表示する映像を抽出してもよい。具体的に、抽出部103は、各映像について、作業機械1と作業者との接近速度が速いか否かを、測定された距離の値と時間とから算出する。これによって、閲覧者は、作業者が作業機械1の近くにいるにも関わらず作業機械1の動作速度が速い状態、あるいは、作業機械1が動いているにも関わらず作業者が接近している状態などを、確認することが可能となり、更に、作業機械1と作業者とが互いに接近して、その接近速度が速い場合には作業者に対して作業改善を促す材料とすることができる。
以上のように、本実施形態では、抽出部103が、撮像部70によって撮像された画像の中から対象物を検知した時刻に対応し、更に抽出条件に基づいて特定画像を抽出し、当該特定画像を閲覧部104に表示することができるため、撮像部70によって撮像された全ての画像や検知信号に対応する全ての画像を閲覧部104に表示する場合と比較して、作業管理者などの閲覧者が作業機械1に接近した対象物の情報を効率的に取得することが可能になる。
また、前記検知信号は、前記対象物に関連する関連情報を含み、抽出部103は、抽出された画像およびこれに対応する前記関連情報のそれぞれを含む前記表示指令信号を閲覧部104に入力する。このような構成によれば、特定画像とともに対象物に関連する関連情報(図15では検知時間など)を閲覧部104に表示することができるため、作業管理者などの閲覧者が前記対象物の情報を更に効率的に取得することが可能になる。
特に、本実施形態では、抽出部103は、前記複数の画像として、複数の検知期間にそれぞれ対応する複数の動画を抽出する。前記複数の検知期間の各々は、対象物検知部75が対象物を持続的に検知している期間である。そして、前記抽出条件は、前記特定画像が、前記動画の母集団の中で相対的に長い前記検知期間に対応する前記動画であるという条件を含む。検知期間が長い映像とは、作業者が作業機械1の近くから退避しない、あるいは、作業機械1が回避動作をしていない状況が想定され、作業管理者が作業者への是正処置をするべき対象となる。そこで、上記のような構成によれば、特定画像の中でも検知期間が長いものを閲覧部104に表示することができるため、閲覧者が危険度、緊急度の高い画像を効率的に確認することができる。
加えて、本実施形態では、抽出部103は、前記動画の母集団の中で相対的に長い前記検知期間に対応する前記動画が優先的に閲覧部104に表示されるように、前記表示指令信号を閲覧部104に入力する。このため、検知期間がより長い特定画像から優先的に表示することができるため、閲覧者は危険度の高い画像を更に効率的に確認することができる。なお、前述のように、その他の条件(表示優先)に基づいて、画像の表示順序が設定されてもよい。
図6は、本実施形態(第1実施形態)の変形例に係る画像表示システム1Sの閲覧部104に表示される画面の一例である。本変形例では、1日分の映像が左から順に表示されている。この際、連続検知時間が1秒以上の映像がプルダウンによって表示対象として選択されている。この場合、対象物を検知する更新周期が100msecの場合、10回以上連続で検知された場合の映像が閲覧部104に表示されるため、誤検知を含む映像を除外することができる。
更に、各映像の下には、タイムチャートTが表示されており、各時間帯において「侵入レベル」、「動作制御」、「レバーロック」、「周囲検知機能」のそれぞれの状態が表示されている。「侵入レベル」は、対象物(人)が停止域、減速域のいずれの領域に侵入しているかを示すものである。「動作制御」は、上記の領域への侵入によって、作業機械1の動作が停止制御、減速制御の各制御を受けているか否かを示すものである。また、「レバーロック」は、キャブ18内のレバーロック92が、ロック解除状態かロック状態かを示すものである。更に、「周囲検知機能」はオペレータが周辺検知機能解除スイッチ81(図2)を操作することによって、当該検知機能がON状態かOFF状態かを示すものである。このような情報(関連情報)があわせて表示されることで、管理者は、どのような状況で検知したかをより詳細に把握することができるため、優先して確認するべき映像を効率的に限定することが可能になる。
一例として、レバーロック92がロック状態とされている状態で、人が停止域に侵入していたとしても、作業機械1は動かないため、管理者は確認優先度が低いと判断することもできる。また、周囲検知機能がOFFの状態で、人が停止域へ侵入していた場合、作業者へ指導が必要と判断することで、作業現場の安全活動に活用することが可能になる。
また、上記のタイムチャートTの直下には、1日のうちのいずれの時間帯の映像を表示させるかについて、閲覧者の選択を可能とする表示レバーA(シークバー)が配置されている。当該表示レバーで選択された時間帯は、タイムチャートT中に太枠Bで示される。図6に示される4つの映像のうち、太枠B内の10:15の映像については、人が停止域に侵入するという特に危険な状態に相当する。このため、抽出部103は当該映像を太枠Cで囲むように閲覧部104に表示されることによって、閲覧者の注意を引き、当該映像を確認しやすくすることができる。また、図6に示すように、「停止域 検知あり」という文字があわせて表示されることがより望ましい。
また、表示レバーAの直下には、複数の選択メニューDが配置されている。閲覧者が各メニューに任意にチェックを入れると、抽出部103(図2)は、メニュー条件を満たした映像を閲覧部104に表示させる。図6に示すように、現在選択されているメニュー以外に、エンジン回転数やオペレータが操作レバー80を操作した際の操作圧、現在の作業機械1の作業モードなどが用意されている。操作圧は、オペレータが危険状態を認知しているか否かを判定するために参照することができる。例えば、対象物が検知領域に侵入しているにも関わらず、オペレータが高いエンジン回転数や大きな操作圧で操作している場合、閲覧部104の閲覧者は、当該オペレータが対象物に気づいていないまま作業機械1の動作速度が速い状態で作業していると推定することができる。
上記のように、検知信号に含まれる作業機械1の関連情報として、レバーロック92の状態、対象物検知部75による周囲検知機能の作動状態(検知可能状態)、動作制御部91による減速、停止などの作業機械1の操作速度(作動速度)に関わる情報(付加情報)などを、各映像とあわせて閲覧部104に表示することで、閲覧者はより危険度の高い画像(特定画像)を効率的に確認することができる。また、抽出部103がこれらの情報を閲覧部104に優先的に表示するための判定条件として用いることによって、現場管理者は危険な状況を優先的に確認することができる。この結果、たとえば、対象物検知部75による周囲検知機能が作動していないときに、検知領域に侵入した人がいないかなどを確認することも可能となる。なお、閲覧部104は、対象物が画面の中央付近に一番近づいた映像と、時系列ごとの判定条件とを組み合わせて、表示する画像を抽出してもよい。
また、本実施形態では、外部端末100の外部保存部102に、作業機械1から送信された画像と検知信号とがそれぞれ保存されている。そして、抽出部103は、外部保存部102に記憶された前記画像のうち、前記検知信号に付随する時刻情報に対応する画像を前記特定画像として抽出する。このように、画像および検知信号がそれぞれ時刻情報とともに外部保存部102に記憶されていることで、検知信号に対応する特定画像を容易かつ速やかに特定することができる。
また、本実施形態では、図2、図3に示すように、映像および検知信号のそれぞれに時刻情報を付与することで、各情報を個別に外部端末100に送信した後、同期することが可能になる。
また、本実施形態では、画像表示システム1Sが、撮像部70によって撮像された画像および対象物検知部75から出力された検知信号を所定の形式データに圧縮変換することが可能な変換部74と、変換部74によって生成された前記形式データを送信する通信装置77(送信部)とを有する。このように、画像や検知信号を圧縮して送信することで、外部保存部102(記憶部)などに記憶される情報量を増やすことが可能になるとともに、通信装置77、101による情報送信時間を短縮することができる。また、図2に示すように、変換部74および通信装置77が作業機械1に設けられている場合には、前記情報送信時間を短縮することによって作業機械1のバッテリー(電源)にかかる負荷を下げることができる。
<第2実施形態>
次に、本発明の第2実施形態について説明する。図7は、本実施形態に係る画像表示システム1Sの閲覧部104に表示される画面の一例である。本実施形態では、先の第1実施形態と比較して、抽出部103が閲覧部104に表示する画像(特定画像)の抽出において相違する。本実施形態では、閲覧者が各映像の内容を効率的に把握することが可能なように、所定の抽出条件に基づいて、各動画を構成する複数の画像の中からサムネイル画像が選択される。そして、抽出部103は、当該サムネイル画像を含む動画に対応する前記表示指令信号を閲覧部104に入力する。
次に、本発明の第2実施形態について説明する。図7は、本実施形態に係る画像表示システム1Sの閲覧部104に表示される画面の一例である。本実施形態では、先の第1実施形態と比較して、抽出部103が閲覧部104に表示する画像(特定画像)の抽出において相違する。本実施形態では、閲覧者が各映像の内容を効率的に把握することが可能なように、所定の抽出条件に基づいて、各動画を構成する複数の画像の中からサムネイル画像が選択される。そして、抽出部103は、当該サムネイル画像を含む動画に対応する前記表示指令信号を閲覧部104に入力する。
図8、図9、図10は、閲覧部104に表示される画像の一例である。図7の左上に表示される映像(動画)の中に、図8乃至図10の3つの画像(静止画)が含まれているとする。図8では、後方カメラ60B(図3)の画角内において、作業者が左右方向の中央部で作業機械1に近い位置に存在している。対象物検知部75または抽出部103によって前記作業者が特定され、枠Hによって画像内の作業者が囲まれている。一方、図9では、同画角内において、作業者が右端に存在している。図9では、図8よりも作業者が作業機械1から離れている。例えば、図9は、作業者が静止した状態で、上部旋回体12が旋回した場合に、前記作業者が前記カメラの画角に最初に含まれた際の画像に相当する。更に、図10では、前記画角内において、作業者が左右方向の中央部に位置しており、図8よりも更に作業機械1に近い位置に存在している。対象物検知部75または抽出部103によって前記作業者が特定され、更に枠HAによって画像内の作業者の頭部が囲まれている。閲覧部104上の当該枠表示は、閲覧者の視認性を高めるために、任意で切換可能とされてもよい。
ここで、閲覧部104を閲覧する閲覧者にとって、図9よりも図8、図10のように作業者が左右方向の中央部に位置する場合の方が、前記作業者を確認しやすい。このため、前記サムネイル画像としては、図8、図10が好適である。更に、図10よりも図8の方が、作業者の顔を認識しやすいため、前記サムネイル画像としてより望ましい。この結果、当該映像を代表するサムネイル画像として、抽出部103は図8の画像を選択し、図7のように該当する部分に当該画像がサムネイル表示される。
以上のように、本実施形態では、抽出部103が、動画を構成する複数の画像の中から所定の抽出条件に基づいて抽出された画像(特定画像)を、前記動画を代表するサムネイル画像として表示することができるため、閲覧者は動画を再生せずとも、当該サムネイル画像から、検知された人(対象物)の概要を容易に把握し、詳細を確認すべき前記動画の閲覧に効率的に着手することができる。換言すれば、閲覧者は撮像部70によって撮像された多くの映像や、検知信号に対応する全ての動画を確認することなく、危険な状況に対応する画像の確認を行うことができる。なお、抽出部103は、前記サムネイル画像として、複数のカメラがそれぞれ撮像した画像の中から、前記抽出条件を最も満たすカメラの画像を抽出することもできる。また、抽出部103は、閲覧者によって予め選択されたカメラの画像の中から、前記抽出条件を最も満たす画像を抽出してもよい。
特に、本実施形態では、検知信号に含まれる関連情報は、対象物の作業機械1に対する相対的な位置情報(距離)を含んでいる。そして、抽出部103は、前記位置情報に基づいて前記画像中の前記対象物の位置を更に特定することが可能であり、前記抽出条件は、前記サムネイル画像が、前記複数の画像の中で前記対象物が所定の方向において最も中央部に位置する画像であるという条件を含んでいる。
このような構成によれば、複数の画像の中で対象物が所定の方向において最も中央部に位置する画像をサムネイル画像として抽出するため、閲覧者は当該サムネイル画像から、検知された対象物の概要を容易に把握することができる。
この際、図8乃至図10のように、撮像部70によって撮像される画像内に作業機械1の接地面が含まれ、作業機械1から離れる方向が前記画像における上下方向となるように、撮像部70の各カメラの画角が設定されていてもよい。この場合、前記所定の方向は、前記上下方向と直交する、前記画像における左右方向である。このような構成によれば、閲覧者は、サムネイル画像において、対象物が作業機械1の近くに位置する状況を、画像中の左右方向の中央部で容易かつ正確に確認することができる。
なお、抽出部103は、少なくとも前記サムネイル画像を含む画像を所定のファイル形式で保存または出力することが可能でもよい。この場合、対象物が映り込んだサムネイル画像を含む画像をPDFなどのファイル形式で保存することや、データ転送やプリントアウトによって出力することが可能になるため、閲覧者はこれらの情報を作業機械1に関わる作業者との会議等で活用して、注意喚起に繋げることができる。
図11は、本実施形態(第2実施形態)の変形例に係る画像表示システム1Sの閲覧部104に表示される画面の一例である。図11は、先の実施形態の図6に類似する仕様である。本実施形態では、上下2段で1日分の映像が表示される。本変形例においても、タイムチャートによって、危険な作業がどのような時間帯に発生しているかを分析することができる。また、例えば、停止域に人が検知された映像については、各映像が太枠(選択ガイド)で囲まれることによって、閲覧者の確認作業を補助することができる。
また、図12乃至図18は、本発明の第2実施形態およびその変形例に係る画像表示システム1Sにおいて画像中の人が認識される様子を示す一例である。抽出部103がサムネイル画像を抽出する際、図12に点で示すように足元の座標で人を抽出して、人全体を枠Hで囲むように表示してもよい。但し、この場合、人の位置が画像上では上方に位置しサイズも小さくなる場合があるため、図13のように画像の中心に検知した人の顔(HA)を表示することで、閲覧者は映像中の作業現場の状況を把握しやすくなる。この際、図14に示すように、予め対象物検知部75(図2)が人の検知を体の部位ごと、例えば顔(HA)、肩から上(HB)、上半身(HC)、膝から上(HD)、全身(H)とそれぞれの範囲で行うことが望ましい。このように、人の体の部位ごとに検知することで、仮に体の一部や下半身が隠れていたとしても検知が可能となり、検知率の向上にもつながる。
また、上記のように、抽出部103は、前記画像に含まれる対象物が人であるか否かを判別し、当該人を少なくとも顔を含む複数の部位ごとに特定することが可能である場合、前記抽出条件は、前記サムネイル画像が、前記複数の画像の中で、特定された前記人の顔が所定の方向において最も中央部に位置する画像であるという条件を含むものでもよい。このような構成によれば、複数の画像の中で人の顔が所定の方向において最も中央部に位置する画像をサムネイル画像として抽出するため、閲覧者は当該サムネイル画像から、検知された人の概要を容易に把握することができる。
また、抽出部103は、映像中の体の部位の検知した範囲が多い画像、換言すれば、人の占める面積が相対的に大きい画像を優先的にサムネイル画像としてもよい。この場合、図15、図16のように物の後ろに人の体が隠れている場合や、図17、図18のように物を持っているために人の体の一部が当該物に隠れている場合であっても、抽出部103が対象物(人)を認識しやすい画像を抽出することで、閲覧者はサムネイル画像から、検知された人の概要を容易に把握することができる。例えば、図15、図17と比較して、図16、図18の方が、検知された体の範囲が大きい(広い)ため、サムネイル画像として優先的に抽出される。
<画像表示方法>
上記の画像表示システム1Sは以下の画像表示方法を実行することができる。当該画像表示方法は、作業機械1の周囲に設定された検知範囲を含む領域を撮像し画像を取得する画像取得工程と、前記検知範囲に対象物が侵入したことを検知し、検知信号を出力する検知工程と、撮像された複数の前記画像の中から前記検知信号が出力された時刻に対応する画像であって、閲覧者が閲覧部104を通じて前記対象物を視認するために設定された抽出条件を満たす特定画像を抽出する画像抽出工程と、前記特定画像を前記表示部に表示する表示工程と、を備える。
上記の画像表示システム1Sは以下の画像表示方法を実行することができる。当該画像表示方法は、作業機械1の周囲に設定された検知範囲を含む領域を撮像し画像を取得する画像取得工程と、前記検知範囲に対象物が侵入したことを検知し、検知信号を出力する検知工程と、撮像された複数の前記画像の中から前記検知信号が出力された時刻に対応する画像であって、閲覧者が閲覧部104を通じて前記対象物を視認するために設定された抽出条件を満たす特定画像を抽出する画像抽出工程と、前記特定画像を前記表示部に表示する表示工程と、を備える。
本方法によれば、撮像された画像の中から対象物を検知した時刻に対応する画像であって、抽出条件に基づいて抽出された特定画像を閲覧部104に表示することができるため、前記撮像された画像の全てや検知信号に対応する画像の全てを閲覧部104に表示する場合と比較して、作業管理者などの閲覧者が作業機械1に接近した対象物の情報を効率的に取得することが可能になる。
また、前記画像抽出工程は、検知期間に対応する動画を抽出することを含み、前記検知期間は前記検知工程において前記対象物を持続的に検知している期間であり、前記動画は、前記複数の画像によって構成され、前記画像抽出工程は、前記動画を構成する前記複数の画像の中から前記抽出条件を満たす特定画像を、前記動画を代表するサムネイル画像として抽出することを含む。
本方法によれば、動画を構成する複数の画像の中から抽出条件に基づいて抽出された特定画像を、前記動画を代表するサムネイル画像として表示することができるため、閲覧者は当該サムネイル画像から、検知された対象物の概要を容易に把握し、詳細を確認すべき前記動画の閲覧に効率的に着手することができる。
なお、前述の画像表示システム1Sの説明に含まれる内容は、上記の画像表示方法の一部を構成することができる。
<画像表示プログラム>
上記の画像表示システム1Sでは、外部端末100に例示されるコンピュータに所定の動作を実行させる、以下の画像表示用プログラムが含まれている。当該プログラムは、作業機械1の周囲に設定された検知範囲を含む領域を撮像可能な撮像部70と、入力された表示指令信号に応じた表示画像を表示可能な閲覧部104と、にそれぞれ接続されたコンピュータ上で実行される作業機械1の画像表示用プログラムである。前記プログラムは、前記コンピュータに、前記撮像部70によって撮像された画像を記憶する記憶ステップと、前記撮像部70によって撮像された画像に基づいて前記検知範囲に対象物が侵入したことを検知し、検知信号を出力する検知ステップと、前記撮像部70によって撮像された複数の画像の中から前記検知信号が出力された時刻に対応する画像であって、閲覧者が閲覧部104を通じて前記対象物を視認するために設定された抽出条件を満たす特定画像を抽出する画像抽出ステップと、前記特定画像を含む前記表示指令信号を前記表示部に入力して、前記特定画像を表示させる表示ステップと、を実行させる。
上記の画像表示システム1Sでは、外部端末100に例示されるコンピュータに所定の動作を実行させる、以下の画像表示用プログラムが含まれている。当該プログラムは、作業機械1の周囲に設定された検知範囲を含む領域を撮像可能な撮像部70と、入力された表示指令信号に応じた表示画像を表示可能な閲覧部104と、にそれぞれ接続されたコンピュータ上で実行される作業機械1の画像表示用プログラムである。前記プログラムは、前記コンピュータに、前記撮像部70によって撮像された画像を記憶する記憶ステップと、前記撮像部70によって撮像された画像に基づいて前記検知範囲に対象物が侵入したことを検知し、検知信号を出力する検知ステップと、前記撮像部70によって撮像された複数の画像の中から前記検知信号が出力された時刻に対応する画像であって、閲覧者が閲覧部104を通じて前記対象物を視認するために設定された抽出条件を満たす特定画像を抽出する画像抽出ステップと、前記特定画像を含む前記表示指令信号を前記表示部に入力して、前記特定画像を表示させる表示ステップと、を実行させる。
本プログラムによれば、撮像部70によって撮像された画像の中から対象物を検知した時刻に対応する画像であって、更に抽出条件に基づいて抽出された特定画像を閲覧部104に表示するように、コンピュータ上でプログラムを実行することができるため、撮像部によって撮像された画像の全てや検知信号に対応する画像の全てを閲覧部104に表示する場合と比較して、作業管理者などの閲覧者が作業機械1に接近した対象物の情報を効率的に取得することが可能になる。
また、前記撮像部70は、複数の画像から構成される動画を撮像することが可能であり、前記画像抽出ステップは、前記対象物を持続的に検知している検知期間に対応する前記動画について、当該動画を代表するサムネイル画像として、前記複数の画像の中から前記抽出条件に基づいて前記特定画像を抽出することを更に含み、前記表示ステップは、前記動画を代表するように、前記抽出された特定画像によってサムネイル表示することと、閲覧部104を閲覧する閲覧者が閲覧部104に表示される一の前記特定画像を選択すると、当該一の特定画像を含む前記動画を閲覧部104上に拡大表示することと、を更に含む。
本プログラムによれば、動画を構成する複数の画像の中から抽出条件に基づいて抽出された特定画像を、前記動画を代表するサムネイル画像として表示することができるため、閲覧者は検知された対象物の概要を前記サムネイル画像から容易に把握し、詳細を確認すべき前記動画の閲覧に効率的に着手することができる。
また、前記表示ステップは、閲覧部104上に、複数の前記動画に対応する複数の前記特定画像を並べてサムネイル表示することと、前記閲覧者が複数の前記特定画像の中から危険度の高い特定画像を選択することを補助することが可能な選択ガイドを表示することと、を更に含む。上記の選択ガイドは、図6のタイムチャートT、太枠B、太枠C、メニューDなどを含む。
本プログラムによれば、閲覧者は、選択ガイドに基づいて危険度の高い特定画像を容易に選択し、その動画を閲覧することが可能になる。
なお、前述の画像表示システム1Sの説明に含まれる内容は、上記の画像表示用プログラムの一部を構成することができる。
以上、本発明に係る画像表示システム1Sおよびこれを備えた作業機械1について説明したが、本発明はこれに限定されるものではなく、たとえば以下のような変形実施形態をとることができる。
(1)上記の第1実施形態およびその変形例、第2実施形態およびその変形例にそれぞれ開示された技術は、相互に組み合わせてもよい。図8乃至図10、図12乃至図18で説明されたサムネイル画像の抽出方法は、第1実施形態において閲覧部104に表示される映像を抽出する際に適用されてもよい。
(2)上記の各実施形態では、抽出部103が、人の顔や体の一部がより視認されやすい画像をサムネイル画像として抽出する態様にて説明したが、本発明はこれに限定されるものではない。抽出部103は、画像に含まれる対象物が人であるか否かを判別し、当該人の顔の向きを特定することが可能であり、前記抽出条件は、前記サムネイル画像が、前記複数の画像の中で、特定された前記人の顔が作業機械1とは異なる方向を向いている画像であるという条件を含むものでもよい。
このような構成によれば、作業機械1の方を向いておらず、作業機械1の存在に気が付かないまま作業を行っている可能性がある人の画像を効率的に抽出し、閲覧部104を閲覧する現場管理者が前記人に対して是正措置を行うことができる。
更に、対象物検知部75が複数の検知期間において対象物をそれぞれ検知した場合、抽出部103(画像入力部)は、複数の動画のうち、特定された人の顔が作業機械1とは異なる方向を向いている時間が相対的に長い動画が優先的に閲覧部104に表示されるように、前記表示指令信号を閲覧部104に入力してもよい。
前述のように、作業機械1の方向を向いていない周囲の作業者は、作業機械1に気が付かないまま作業を行っている可能性がある。したがって、抽出部103が上記のように画像を抽出することで、作業機械1の方を向いていない時間がより長く、危険な状況の作業者の画像を効率的に抽出することが可能になり、現場管理者が当該作業者に対して早急に是正措置を行うことができる。
(3)また、他の実施形態において、抽出部103が閲覧部104に表示する動画を抽出するための前記抽出条件は、前記特定画像が予め設定された閾値よりも長い前記検知期間に対応する前記動画であるという条件を含むものでもよい。このような構成によれば、予め設定された閾値よりも長い検知期間に対応する画像を特定画像として閲覧部104に表示することで、検知期間の短い画像が閲覧部104に表示されることがなく、閲覧者が緊急度の高い画像を効率的に確認することができる。また、このような検知期間の短い映像を非表示とすることで、対象物検知部75が瞬間的に誤検知した映像は優先度が下がるため、不必要な映像確認の手間を無くすことができる。
一方、検知信号が一瞬途切れ、すぐに再検知した場合は、対象物を連続して検知していると判断されてもよい。例えば、検知信号が一瞬途切れる状態とは、対象物を検知するための更新周期が100msecである場合に3周期は未検知となっても、検知信号は連続であると判断する、すなわち、300msecの無信号期間は考慮しない設定などがあげられる。
(4)また、他の実施形態において、前記関連情報は、作業機械1と対象物との距離に関する情報を含み、抽出部103が閲覧部104に表示する動画を抽出するための前記抽出条件は、前記特定画像が、前記画像の母集団の中で相対的に小さい前記距離に対応する前記画像であるという条件を含むものでもよい。このような構成によれば、作業機械1と対象物の距離が小さい画像を閲覧部104に表示することができるため、閲覧者は危険度の高い画像を効率的に確認することができる。
この場合も、抽出部103は、前記特定画像の母集団の中で相対的に小さい前記距離に対応する前記特定画像が優先的に閲覧部104に表示されるように、前記表示指令信号を閲覧部104に入力するものでもよい。このような構成によれば、前記距離がより小さい特定画像から優先的に表示することができるため、閲覧者は危険度の高い画像を更に効率的に確認することができる。例えば、作業機械1から2m地点で5秒検知された映像と、1m地点で5秒検知された映像とでは、1m地点で検知された映像の優先度が高く設定される。
(5)上記の実施形態では、図2に示すように、外部端末100の外部保存部102に画像および検知信号がそれぞれ保存される態様にて説明したが、画像表示システム1Sは、撮像部70によって撮像された前記画像を時刻情報とともに記憶可能な不図示の画像記憶部と、対象物検知部75から出力された前記検知信号を時刻情報とともに記憶可能な不図示の信号記憶部と、を更に備えるものでもよい。この場合、抽出部103は、前記画像記憶部に記憶された前記画像のうち、前記信号記憶部に記憶された前記検知信号に付随する前記時刻情報に対応する前記画像を前記特定画像として特定すればよい。このような構成においても、画像および検知信号がそれぞれ時刻情報とともに記憶されているため、検知信号に対応する特定画像を容易かつ速やかに特定することができる。また、閲覧部104の視認性を高めるために、一方の情報を隠して表示することも可能となる。更に、画像および検知信号が個別の記憶部に記憶されているため、各々の情報を独立して閲覧部104に表示することや、互いの情報を組み合わせて閲覧部104に表示することが容易となる。
(6)上記の各実施形態では、撮像部70が作業機械1に装着されている態様にて説明したが、本発明はこれに限定されるものではない。撮像部70は、作業現場の一部に設置されてもよいし、作業現場の上空を飛行可能な飛行体に搭載されてもよい。また、撮像部70は、カメラ以外のLiDAR(Light Detection And Ranging)などの検知装置でもよいし、カメラとLiDARとを組み合わせたものでもよい。
例えば、LiDARが取得する点群データを活用する場合は、カメラのカラー画像から色情報(RGB)を抜き出して、各点の色として割り当てて閲覧部104に表示することができる。また、LiDARを活用する場合、対象物のどの部分の座標が作業機械1に最も近い最接近点であるかを判別できるため、当該最接近点を閲覧部104上で赤色に表示することや、表示する点のサイズを大きくすることも可能となる。また、上記のような点群データを取得すると、通常のカメラ画像と異なり、閲覧部104で視点を動かして表示することが可能となるため、作業機械1と対象物との距離を閲覧者が視覚的に把握しやすくなるという効果が奏される。この際、予め特定された領域を赤色(特色)表示することによって、視点の動きに応じて前記領域の位置が視認しやすくなる。
1 作業機械
10 下部走行体
100 外部端末
101 通信装置
102 外部保存部(記憶部)
103 抽出部(画像抽出部、画像入力部)
104 閲覧部(表示部)
12 上部旋回体
16 旋回フレーム
17 カウンタウエイト
18 キャブ
1S 画像表示システム
3 作業アタッチメント
4 ブーム
5 アーム
6 バケット
7 ブームシリンダ
70 撮像部
71 表示画像生成部
72 モニター
73 映像保存部
74 変換部
75 対象物検知部(検知部)
76 検知信号保存部
77 通信装置(送信部)
8 アームシリンダ
80 操作レバー
81 周辺検知機能解除スイッチ
9 バケットシリンダ
90 制御部
91 動作制御部
92 レバーロック(ロック部)
95 駆動部
G 地面
10 下部走行体
100 外部端末
101 通信装置
102 外部保存部(記憶部)
103 抽出部(画像抽出部、画像入力部)
104 閲覧部(表示部)
12 上部旋回体
16 旋回フレーム
17 カウンタウエイト
18 キャブ
1S 画像表示システム
3 作業アタッチメント
4 ブーム
5 アーム
6 バケット
7 ブームシリンダ
70 撮像部
71 表示画像生成部
72 モニター
73 映像保存部
74 変換部
75 対象物検知部(検知部)
76 検知信号保存部
77 通信装置(送信部)
8 アームシリンダ
80 操作レバー
81 周辺検知機能解除スイッチ
9 バケットシリンダ
90 制御部
91 動作制御部
92 レバーロック(ロック部)
95 駆動部
G 地面
Claims (24)
- 作業機械の周囲に設定された検知範囲に対象物が侵入したことを検知し、検知信号を出力する検知部と、
前記検知範囲を含む前記作業機械の周囲の領域を撮像可能な撮像部と、
入力された表示指令信号に応じた表示画像を表示可能な表示部と、
前記撮像部によって撮像された複数の画像の中から、前記検知信号が出力された時刻に対応する画像であって、閲覧者が前記表示部において前記対象物を視認するために設定された抽出条件を満たす特定画像を抽出する画像抽出部と、
前記特定画像を含む前記表示指令信号を前記表示部に入力する画像入力部と、
を備える、作業機械の画像表示システム。 - 前記検知信号は、前記対象物に関連する関連情報を含み、
前記画像入力部は、前記特定画像およびこれに対応する前記関連情報のそれぞれを含む前記表示指令信号を前記表示部に入力する、請求項1に記載の作業機械の画像表示システム。 - 前記画像抽出部は、前記複数の画像として、複数の検知期間にそれぞれ対応する複数の動画を抽出し、前記複数の検知期間の各々は前記検知部が前記対象物を持続的に検知している期間であり、
前記抽出条件は、前記特定画像が、前記動画の母集団の中で相対的に長い前記検知期間に対応する前記動画であるという条件を含む、請求項1に記載の作業機械の画像表示システム。 - 前記画像入力部は、前記動画の母集団の中で相対的に長い前記検知期間に対応する前記動画が優先的に前記表示部に表示されるように、前記表示指令信号を前記表示部に入力する、請求項3に記載の作業機械の画像表示システム。
- 前記画像抽出部は、前記複数の画像として、複数の検知期間にそれぞれ対応する複数の動画を抽出し、前記複数の検知期間の各々は前記検知部が前記対象物を持続的に検知している期間であり、
前記抽出条件は、前記特定画像が、予め設定された閾値よりも長い前記検知期間に対応する前記動画であるという条件を含む、請求項1に記載の作業機械の画像表示システム。 - 前記関連情報は、前記作業機械と前記対象物との距離に関する情報を含み、
前記抽出条件は、前記特定画像が、前記画像の母集団の中で相対的に小さい前記距離に対応する前記画像であるという条件を含む、請求項2に記載の作業機械の画像表示システム。 - 前記画像入力部は、前記特定画像の母集団の中で相対的に小さい前記距離に対応する前記特定画像が優先的に前記表示部に表示されるように、前記表示指令信号を前記表示部に入力する、請求項6に記載の作業機械の画像表示システム。
- 前記撮像部によって撮像された前記画像を時刻情報とともに記憶可能であり、更に前記検知信号を時刻情報とともに記憶可能な記憶部を更に備え、
前記画像抽出部は、前記記憶部に記憶された前記画像のうち、前記検知信号に付随する前記時刻情報に対応する前記画像を前記特定画像として抽出する、請求項1に記載の作業機械の画像表示システム。 - 前記撮像部によって撮像された前記画像を時刻情報とともに記憶可能な画像記憶部と、
前記検知部から出力された前記検知信号を時刻情報とともに記憶可能な信号記憶部と、
を更に備え、
前記画像抽出部は、前記画像記憶部に記憶された前記画像のうち、前記信号記憶部に記憶された前記検知信号に付随する前記時刻情報に対応する前記画像を前記特定画像として特定する、請求項1に記載の作業機械の画像表示システム。 - 前記撮像部によって撮像された前記画像および前記検知部から出力された前記検知信号のうちの少なくとも一方を所定の形式データに圧縮変換することが可能な変換部と、
前記変換部によって生成された前記形式データを送信する送信部と、
を更に備える、請求項1に記載の作業機械の画像表示システム。 - 前記作業機械は、アクチュエータと前記アクチュエータの動きをロック可能なロック部とを有し、
前記関連情報は、前記ロック部による前記アクチュエータのロック状態、前記検知部による前記対象物の検知可能状態、前記作業機械の作動速度のうちの少なくとも一つに関する情報である付加情報を更に含み、
前記画像入力部は、前記付加情報が前記特定画像とともに前記表示部に表示されるように、前記表示指令信号を前記表示部に入力する、請求項2に記載の作業機械の画像表示システム。 - 前記画像抽出部は、検知期間に対応する動画を抽出し、前記検知期間は前記検知部が前記対象物を持続的に検知している期間であり、
前記動画は、前記複数の画像によって構成され、
前記画像抽出部は、前記動画を代表するサムネイル画像として、前記複数の画像の中から前記抽出条件を満たす前記特定画像を抽出し、
前記画像入力部は、前記サムネイル画像を含む前記動画に対応する前記表示指令信号を前記表示部に入力する、請求項1に記載の作業機械の画像表示システム。 - 前記関連情報は、前記対象物の前記作業機械に対する相対的な位置情報を含み、
前記画像抽出部は、前記位置情報に基づいて前記画像中の前記対象物の位置を更に特定することが可能であり、
前記抽出条件は、前記サムネイル画像が、前記複数の画像の中で前記対象物が所定の方向において最も中央部に位置する画像であるという条件を含む、請求項12に記載の作業機械の画像表示システム。 - 前記撮像部によって撮像される画像内に前記作業機械の接地面が含まれ、前記作業機械から離れる方向が前記画像における上下方向となるように、前記撮像部の画角が設定され、
前記所定の方向は、前記上下方向と直交する、前記画像における左右方向である、請求項13に記載の作業機械の画像表示システム。 - 前記画像抽出部は、少なくとも前記サムネイル画像を含む画像を所定のファイル形式で保存または出力することが可能である、請求項12に記載の作業機械の画像表示システム。
- 前記画像抽出部は、前記画像に含まれる前記対象物が人であるか否かを判別し、当該人を少なくとも顔を含む複数の部位ごとに特定することが可能であり、
前記抽出条件は、前記サムネイル画像が、前記複数の画像の中で、特定された前記人の顔が所定の方向において最も中央部に位置する画像であるという条件を含む、請求項12に記載の作業機械の画像表示システム。 - 前記画像抽出部は、前記画像に含まれる前記対象物が人であるか否かを判別することが可能であり、
前記抽出条件は、前記サムネイル画像が、前記複数の画像の中で、前記人が占める面積が相対的に大きい画像であるという条件を含む、請求項12に記載の作業機械の画像表示システム。 - 前記画像抽出部は、前記画像に含まれる前記対象物が人であるか否かを判別し、当該人の顔の向きを特定することが可能であり、
前記抽出条件は、前記サムネイル画像が、前記複数の画像の中で、特定された前記人の顔が前記作業機械とは異なる方向を向いている画像であるという条件を含む、請求項12に記載の作業機械の画像表示システム。 - 前記検知部が複数の前記検知期間において前記対象物をそれぞれ検知した場合、前記画像入力部は、複数の前記動画のうち、特定された前記人の顔が前記作業機械とは異なる方向を向いている時間が相対的に長い前記動画が優先的に前記表示部に表示されるように、前記表示指令信号を前記表示部に入力する、請求項18に記載の作業機械の画像表示システム。
- 作業機械の周囲に設定された検知範囲を含む領域を撮像し画像を取得する画像取得工程と、
前記検知範囲に対象物が侵入したことを検知し、検知信号を出力する検知工程と、
撮像された複数の前記画像の中から前記検知信号が出力された時刻に対応する画像であって、閲覧者が表示部を通じて前記対象物を視認するために設定された抽出条件を満たす特定画像を抽出する画像抽出工程と、
前記特定画像を前記表示部に表示する表示工程と、
を備える、作業機械の画像表示方法。 - 前記画像抽出工程は、検知期間に対応する動画を抽出することを含み、前記検知期間は前記検知工程において前記対象物を持続的に検知している期間であり、
前記動画は、前記複数の画像によって構成され、
前記画像抽出工程は、前記動画を構成する前記複数の画像の中から前記抽出条件を満たす前記特定画像を、前記動画を代表するサムネイル画像として抽出することを含む、請求項20に記載の作業機械の画像表示方法。 - 作業機械の周囲に設定された検知範囲を含む領域を撮像可能な撮像部と、入力された表示指令信号に応じた表示画像を表示可能な表示部と、にそれぞれ接続されたコンピュータ上で実行される作業機械の画像表示用プログラムであって、
前記コンピュータに、
前記撮像部によって撮像された画像を記憶する記憶ステップと、
前記撮像部によって撮像された画像に基づいて前記検知範囲に対象物が侵入したことを検知し、検知信号を出力する検知ステップと、
前記撮像部によって撮像された複数の画像の中から前記検知信号が出力された時刻に対応する画像であって、閲覧者が前記表示部を通じて前記対象物を視認するために設定された抽出条件を満たす特定画像を抽出する画像抽出ステップと、
前記特定画像を含む前記表示指令信号を前記表示部に入力して、前記特定画像を表示させる表示ステップと、
を実行させる、作業機械の画像表示用プログラム。 - 前記撮像部は、複数の画像から構成される動画を撮像することが可能であり、
前記画像抽出ステップは、前記対象物を持続的に検知している検知期間に対応する前記動画について、当該動画を代表するサムネイル画像として、前記複数の画像の中から前記抽出条件に基づいて前記特定画像を抽出することを更に含み、
前記表示ステップは、
前記動画を代表するように、前記抽出された特定画像によってサムネイル表示することと、
前記表示部を閲覧する閲覧者が前記表示部に表示される一の前記特定画像を選択すると、当該一の特定画像を含む前記動画を前記表示部上に拡大表示することと、
を更に含む、請求項22に記載の作業機械の画像表示用プログラム。 - 前記表示ステップは、
前記表示部上に、複数の前記動画に対応する複数の前記特定画像を並べてサムネイル表示することと、
前記閲覧者が複数の前記特定画像の中から危険度の高い特定画像を選択することを補助することが可能な選択ガイドを表示することと、
を更に含む、請求項23に記載の作業機械の画像表示用プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022087466A JP2023175157A (ja) | 2022-05-30 | 2022-05-30 | 作業機械の画像表示システム、作業機械の画像表示方法および作業機械の画像表示用プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022087466A JP2023175157A (ja) | 2022-05-30 | 2022-05-30 | 作業機械の画像表示システム、作業機械の画像表示方法および作業機械の画像表示用プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023175157A true JP2023175157A (ja) | 2023-12-12 |
Family
ID=89121368
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022087466A Pending JP2023175157A (ja) | 2022-05-30 | 2022-05-30 | 作業機械の画像表示システム、作業機械の画像表示方法および作業機械の画像表示用プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2023175157A (ja) |
-
2022
- 2022-05-30 JP JP2022087466A patent/JP2023175157A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102449834B1 (ko) | 작업기계용 주변감시 시스템 | |
KR102454612B1 (ko) | 건설기계용 안전관리시스템, 관리장치 | |
EP3879036A1 (en) | Shovel, information processing device, information processing method, information processing program, terminal device, display method, and display program | |
US20180245315A1 (en) | Obstacle monitoring system, construction machine, and obstacle monitoring method | |
JP2020112030A (ja) | 油圧ショベル | |
EP3960938B1 (en) | Excavator | |
JPWO2019111859A1 (ja) | 周辺監視装置 | |
CN109689983A (zh) | 工程机械的周围监视装置 | |
EP3499405A1 (en) | Method and device for augmenting a person's view of a mining vehicle on a mining worksite in real-time | |
US20210270013A1 (en) | Shovel, controller for shovel, and method of managing worksite | |
EP3960543A1 (en) | Display device, shovel, information processing device | |
EP3733982B1 (en) | Shovel and output device of shovel | |
EP3960937A1 (en) | Shovel, and safety equipment confirmation system for worksite | |
EP3754120A1 (en) | Remote control system and main control device | |
JP6878025B2 (ja) | 作業機械用周辺監視システム | |
JP6917167B2 (ja) | 建設機械用俯瞰画像表示装置 | |
EP3923594B1 (en) | Remote operation system | |
US20140214187A1 (en) | RC/Autonomous Machine Mode Indication | |
KR20220137758A (ko) | 검출 시스템 및 검출 방법 | |
JP2023175157A (ja) | 作業機械の画像表示システム、作業機械の画像表示方法および作業機械の画像表示用プログラム | |
JP2020161933A (ja) | 遠隔操作システムおよび遠隔操作サーバ | |
EP3960936A1 (en) | Excavator | |
JP2018121221A (ja) | 作業機械用周辺監視システム | |
CN117248592A (zh) | 作业机械的控制方法、作业机械用控制程序、作业机械用控制系统以及作业机械 | |
JP2013247461A (ja) | カメラ制御装置及びカメラ制御方法 |