JP2023161451A - クレーン装置 - Google Patents

クレーン装置 Download PDF

Info

Publication number
JP2023161451A
JP2023161451A JP2022071862A JP2022071862A JP2023161451A JP 2023161451 A JP2023161451 A JP 2023161451A JP 2022071862 A JP2022071862 A JP 2022071862A JP 2022071862 A JP2022071862 A JP 2022071862A JP 2023161451 A JP2023161451 A JP 2023161451A
Authority
JP
Japan
Prior art keywords
person
boom
judgment
displacement distance
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022071862A
Other languages
English (en)
Inventor
美森 原田
Mimori Harada
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tadano Ltd
Original Assignee
Tadano Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tadano Ltd filed Critical Tadano Ltd
Priority to JP2022071862A priority Critical patent/JP2023161451A/ja
Publication of JP2023161451A publication Critical patent/JP2023161451A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Control And Safety Of Cranes (AREA)

Abstract

【課題】危険エリアに人が存在するか否かの判断の精度を高めてオペレータの負担を低減する。【解決手段】コントローラ70は、センサが検出したブーム長さL及び起伏角度θと、メモリに予め記憶された高さa(定数)とに基づいて、監視対象面(地表面)に対する監視カメラ17の高さである変位距離Hを算出する。コントローラ70は、算出した変位距離Hと、メモリに予め記憶された対応テーブルとに基づいて、監視カメラ17が撮像した監視画像のうち、危険エリアが映る使用範囲を特定する。コントローラ70は、監視画像データのうち、使用範囲外の画像を示す部分のデータを削除するとともに画像を拡大して、判断対象画像データを生成する。コントローラ70は、判断対象画像データを人判断プログラムに受け渡し、危険エリアに人がいるか否かを判断させ、判断結果を受け取る。【選択図】図4

Description

本発明は、起伏及び伸縮が可能なブーム、ウインチ並びにこれらの駆動制御を行うコントローラを備えたクレーン装置に関する。
特許文献1は、ブームの先端部に監視カメラを取り付けたクレーン装置を開示する。監視カメラが下方を撮像して得られる監視画像は、運転室に設置された監視モニタに表示される。オペレータは、監視画像を見ながらクレーン装置の操縦を行い、例えば吊荷の直下やその近傍に人が侵入した場合にクレーン装置の操縦を停止する。
特許文献2に記載された監視カメラ制御システムは、上記監視画像中に「人」の存在を判断する機能を備えている。この監視カメラ制御システムでは、人の顔が検出される。
特開2019-167242号公報 特開2019-153886号公報
クレーン装置において、監視カメラはブームの先端部に取り付けられているから、クレーン操作によって監視カメラの高さが変化する。監視カメラの高さが高くなると、監視モニタに表示されるエリアが広くなり、また、監視画像に映る人の大きさが小さくなる。監視モニタに表示されるエリアが広くなると、人がいても危険でないエリアまで監視モニタに表示されてしまう。そうすると、オペレータは、人がいるか否かの判断に加え、人が危険なエリアに存在するか否かの判断もしなければならなくなり、オペレータの負担が増える。しかも、監視画像に映る人の大きさが小さくなると、人が存在するか否かの判断が難しくなり、オペレータの負担がさらに増える。
本願発明者は、監視画像において危険な領域に人が存在するか否かの判断を人判断プログラムによって行うことを思案した。しかしながら、人を頭上から撮像した画像では、人を横から撮像した画像に比べて人の輪郭が単調になり、人か否かの判断の精度が低下するとの課題に直面した。
本発明は、前述された事情に鑑みてなされたものであり、その目的は、人か否かの判断の精度を高めてオペレータの負担を軽減するクレーン装置を提供することである。
(1) 本発明に係るクレーン装置は、起伏及び伸縮可能なブームと、上記ブームの基端部側に設置されたウインチと、上記ウインチから上記ブームの先端部まで延びるワイヤロープと、上記ワイヤロープに繋がれた吊荷フックと、上記ブームの先端部に設置されており、下方を撮像して監視画像データを出力する監視カメラと、上記監視画像データが入力されるコントローラと、を備える。上記コントローラは、上記監視カメラから監視対象面までの変位距離を特定する変位距離特定処理と、上記変位距離及び上記監視画像データに基づいて、所定エリアの画像であって、かつ所定サイズの画像を示す判断対象画像データを生成する生成処理と、上記判断対象画像データが示す判断対象画像が人を含むか否かの判断結果であって、人判断プログラムが判断した結果である判断結果を取得する取得処理と、上記判断対象画像が人を含むと判断したことに基づく安全処理と、を実行する。
コントローラは、監視カメラから監視対象面までの変位距離を特定する。監視対象面は、地表面や掘下面や建築物の屋上面などである。コントローラは、変位距離及び監視画像データに基づいて人が存在するか否かの判断に用いられる判断対象画像データを生成する。判断対象画像データが示す画像は、人が存在すると危険であるエリアを示す。したがって、監視画像データが示す監視画像において人が存在するか否かを判断する場合に比べ、人判断プログラムが人が存在するか否かを判断する対象が低減し、その結果、危険なエリアに人が存在するか否かの判断の精度が向上する。また、判断対象画像データが示す画像は所定サイズであるから、判断プログラムは、画像において人が存在するか否かを判断する対象の大きさを推定する必要がなく、その結果、危険なエリアに人が存在するか否かの判断の精度がさらに向上する。コントローラは、危険なエリアに人が存在すると判断結果が示す場合、安全処理を行う。したがって、オペレータが監視画像に基づいて危険なエリアに人が存在するか否かを判断する従来のクレーン装置に比べ、本発明に係るクレーン装置は、オペレータの負担を軽減することができる。
(2) 上記生成処理は、上記変位距離に基づいて使用範囲を特定する処理と、上記監視画像データのうち、上記使用範囲外のデータを削除する処理と、上記使用範囲外のデータを削除したデータを上記所定サイズに変換する処理と、を有していてもよい。
コントローラは、特定した変位距離に基づいて、監視画像データのうち、人が存在するか否かの判断に用いる範囲を示す使用範囲を特定する。例えば、監視画像データが、画素間隔を規定する値(例えば解像度)と、各画素の位置を示す画素位置データ及び画素色データとを有する場合、使用範囲は、画素位置データで特定される。コントローラは、使用範囲を用いて使用範囲外のデータを削除した後、解像度などの画素間隔を規定する値を変更することによって所定サイズに変換し、人が存在するか否かの判断に用いられる判断対象画像データを生成する。
(3) 本発明に係るクレーン装置は、上記ブームの起伏角度に応じた第1検出値を出力する起伏角度センサと、上記ブームの伸縮長さに応じた第2検出値を出力するブーム長さセンサと、をさらに備えていてもよい。上記変位距離特定処理は、上記第1検出値が示す上記ブームの起伏角度及び上記第2検出値が示す上記ブームの伸縮長さに基づいて上記変位距離として地表面からの上記監視カメラの高さを算出する処理を有する。
起伏角度センサ及びブーム長さセンサは、従来からクレーン装置に搭載されている既存のセンサである。すなわち、監視対象面を地表面に限定することにより、既存のセンサを用いて変位距離を特定することができる。
(4) 本発明に係るクレーン装置は、上記ブームの起伏角度に応じた第1検出値を出力する起伏角度センサと、上記ブームの伸縮長さに応じた第2検出値を出力するブーム長さセンサと、上記ワイヤロープの繰出長さに応じた第3検出値を出力するワイヤ長さセンサと、上記吊荷フックが上記監視対象面に応じた所定高さであることを示す所定入力を受け付ける入力装置と、をさらに備えていてもよい。上記変位距離特定処理は、上記所定入力が入力されたときの上記第1検出値、上記第2検出値、及び上記第3検出値に基づいて上記監視対象面の高さ位置を特定する処理と、上記ブームが駆動された後における上記第1検出値、上記第2検出値、上記第3検出値、及び上記監視対象面の高さ位置に基づいて、上記変位距離を特定する処理を含む。
監視対象面は、地表面や掘下面や建築物の屋上面などである。オペレータは、例えば吊荷フックが監視対象面に接触或いは近接しているときに入力装置を操作して所定入力を行う。コントローラは、所定入力がされたときの第1検出値及び上記第2検出値に基づいてブーム先端部の高さ位置、すなわち監視カメラの高さ位置を算出する。コントローラは、ブーム先端部の高さ位置と、第3検出値が示すワイヤロープの繰出長さとに基づいて、監視対象面の高さ位置を特定する。コントローラは、ブームを駆動した後、特定した監視対象面の高さ位置と、第1検出値及び上記第2検出値とに基づいて変位距離を特定する。
(5) 本発明に係るクレーン装置は、上記変位距離に応じた第4検出値を出力する検出装置をさらに備えていてもよい。上記変位距離特定処理は、上記第4検出値に基づいて上記変位距離を特定する処理である。
(6) 上記コントローラは、上記人判断プログラムを記憶するメモリを有していてもよい。上記コントローラは、上記判断対象画像データと判断結果とを対応付けて学習用データとして上記メモリに記憶させる処理と、上記学習用データを上記メモリから外部に出力する処理と、外部から入力された更新用データで上記人判断プログラムを更新する処理と、をさらに実行する。上記取得処理は、上記判断対象画像データを上記人判断プログラムに受け渡す処理と、上記人判断プログラムから上記判断結果を受け取る処理と、を有する。
例えば、クレーン装置から収集した学習用データに判断結果の正誤を付し、人判断プログラムのディープラーニング(学習)に使用する。当該学習では、判断が正しかったデータや判断が誤りであったデータによって、人判断プログラムの判断の精度が向上される。判断の精度が向上された人判断プログラムがクレーン装置に入力されて人判断プログラムの更新が行われる。したがって、本発明に係るクレーン装置は、人判断プログラムの能力の向上を行うことができ、また、能力が向上された人判断プログラムで更新を行うことができる。能力が向上された人判断プログラムによって判断対象画像に人が映っているか否かが判断されるから、当該判断の精度がさらに良くなる。
(7) 本発明に係るクレーン装置は、上記監視画像データが示す監視画像或いは上記判断対象画像を表示する監視モニタをさらに備えていてもよい。上記判断結果は、上記判断対象画像が人を含むか否かを示す第1データと、当該判断対象画像上において人がいる位置を示す第2データとを含む。上記安全処理は、上記判断結果が示す人を監視モニタ上で強調する強調オブジェクトを上記判断対象画像或いは上記監視画像に重ねて表示させる処理と、を有する。
強調オブジェクトは、例えば赤い円や四角であり、監視カメラが撮像した画像に映る人が赤い円や四角で強調されて監視モニタに表示される。強調オブジェクトによって、監視モニタに人が映っているか否かを判断するオペレータの負担を軽減することができる。
(8) 本発明に係るクレーン装置は、起伏及び伸縮可能なブームと、上記ブームの基端部側に設置されたウインチと、上記ウインチから上記ブームの先端部まで延びるワイヤロープと、上記ワイヤロープに繋がれた吊荷フックと、上記ブームの先端部に設置されており、下方を撮像して監視画像データを出力し、入力された画角制御信号に基づいて画角を変更可能な監視カメラと、上記監視画像データが入力されるコントローラと、を備える。上記コントローラは、上記監視カメラから監視対象面までの変位距離を特定する変位距離特定処理と、上記変位距離に基づいて上記画角制御信号を生成し、当該画角制御信号を上記監視カメラに入力する画角変更処理と、上記監視画像データが示す監視画像が人を含むか否かの判断結果であって、人判断プログラムが判断した結果である判断結果を取得する取得処理と、上記監視画像が人を含むと判断したことに基づく安全処理と、を実行する。
コントローラは、監視カメラから監視対象面までの変位距離を特定する。監視対象面は、地表面や掘下面や建築物の屋上面などである。コントローラは、変位距離に基づいて、画角を変更する画角制御信号を生成して監視カメラに入力する。すなわち、監視カメラは、変位距離に応じた画角で撮像を行い、人が存在すると危険なエリアのみを常に撮像する。したがって、当該危険なエリア以外の範囲外エリアも撮像して当該範囲外エリアにおいても人が存在するか否かを判断する場合に比べ、人判断プログラムが人が映っているか否かを判断する対象が低減し、その結果、危険なエリアに人が存在するか否かの判断の精度が良くなる。また、判断の対象となる監視画像データが示す監視画像は常に所定サイズであるから、人か否かを判断する対象の大きさを人判断プログラムが推定する必要がなく、その結果、危険なエリアに人が存在するか否かの判断の精度がさらに向上する。コントローラは、危険なエリアに人が存在すると判断結果が示す場合、安全処理を行う。したがって、オペレータが監視画像に基づいて危険なエリアに人が存在するか否かを判断する従来のクレーン装置に比べ、本発明に係るクレーン装置は、オペレータの負担を軽減することができる。
(9) 本発明に係るクレーン装置は、上記ブームの起伏角度に応じた第1検出値を出力する起伏角度センサと、上記ブームの伸縮長さに応じた第2検出値を出力するブーム長さセンサと、をさらに備えていてもよい。上記変位距離特定処理は、上記第1検出値が示す上記ブームの起伏角度及び上記第2検出値が示す上記ブームの伸縮長さに基づいて上記変位距離として地表面からの上記監視カメラの高さを算出する処理を有する。
起伏角度センサ及びブーム長さセンサは、従来からクレーン装置に搭載されている既存のセンサである。すなわち、監視対象面を地表面に限定することにより、既存のセンサを用いて変位距離を特定することができる。
(10) 本発明に係るクレーン装置は、上記ブームの起伏角度に応じた第1検出値を出力する起伏角度センサと、上記ブームの伸縮長さに応じた第2検出値を出力するブーム長さセンサと、上記ワイヤロープの繰出長さに応じた第3検出値を出力するワイヤ長さセンサと、吊荷フックが上記監視対象面に応じた所定高さであることを示す所定入力を受け付ける入力装置と、をさらに備えていてもよい。上記変位距離特定処理は、上記所定入力が入力されたときの上記第1検出値、上記第2検出値、及び上記第3検出値に基づいて上記監視対象面の高さ位置を特定する処理と、上記ブームが駆動された後における上記第1検出値、上記第2検出値、上記第3検出値、及び上記監視対象面の高さ位置に基づいて、上記変位距離を特定する処理を有する。
監視対象面は、地表面や掘下面や建築物の屋上面などである。オペレータは、例えば吊荷フックが監視対象面に接触或いは近接しているときに入力装置を操作して所定入力を入力する。コントローラは、所定入力がされたときの第1検出値及び上記第2検出値に基づいてブーム先端部の高さ位置、すなわち監視カメラの高さ位置を算出する。コントローラは、ブーム先端部の高さ位置と、第3検出値が示すワイヤロープの繰出長さとに基づいて、監視対象面の高さ位置を特定する。コントローラは、ブームを駆動した後、特定した監視対象面の高さ位置と、第1検出値及び上記第2検出値とに基づいて変位距離を特定する。
(11) 本発明に係るクレーン装置は、上記変位距離に応じた第4検出値を出力する検出装置をさらに備えていてもよい。上記変位距離特定処理は、上記第4検出値に基づいて上記変位距離を特定する処理である。
(12) 本発明に係るクレーン装置は、上記コントローラは、上記人判断プログラムを記憶するメモリを有していてもよい。上記コントローラは、上記監視画像データと判断結果とを対応付けて学習用データとして上記メモリに記憶させる処理と、上記学習用データを上記メモリから外部に出力する処理と、外部から入力された更新用データで上記人判断プログラムを更新する処理と、をさらに実行する。上記取得処理は、上記監視画像データを上記人判断プログラムに受け渡す処理と、上記人判断プログラムから上記判断結果を受け取る処理と、を有する。
例えば、クレーン装置から収集した学習用データに判断結果の正誤を付し、人判断プログラムのディープラーニング(学習)に使用する。当該学習では、判断が正しかったデータや判断が誤りであったデータによって、人判断プログラムの判断の精度が向上される。判断の精度が向上された人判断プログラムがクレーン装置に入力されて人判断プログラムの更新が行われる。したがって、本発明に係るクレーン装置は、人判断プログラムの能力の向上を行うことができ、また、能力が向上された人判断プログラムで更新を行うことができる。能力が向上された人判断プログラムによって判断対象画像に人が映っているか否かが判断されるから、当該判断の精度がさらに良くなる。
(13) 本発明に係るクレーン装置は、上記監視画像データが示す監視画像或いは上記判断対象画像を表示する監視モニタをさらに備えていてもよい。上記判断結果は、上記判断対象画像が人を含むか否かを示す第1データと、当該判断対象画像上において人がいる位置を示す第2データとを含む。上記安全処理は、上記判断結果が示す人を監視モニタ上で強調する強調オブジェクトを上記判断対象画像或いは上記監視画像に重ねて表示させる処理を有する。
強調オブジェクトは、例えば赤い円や四角であり、監視カメラが撮像した画像に映る人が赤い円や四角で強調されて監視モニタに表示される。強調オブジェクトによって、監視モニタに人が映っているか否かを判断するオペレータの負担を軽減することができる。
本発明に係るクレーン装置は、人が危険エリアに存在するか否かの判断の精度を高めてオペレータの負担を軽減することができる。
図1は、ブーム22が起立した状態のクレーン車10の側面図である。 図2は、クレーン装置12の機能ブロック図である。 図3は、運転室13内の操縦装置29を示す図である。 図4は、第1実施形態における撮像エリアと危険エリアとを示す図である。 図5は、第1実施形態における検知表示処理のフローチャートである。 図6は、監視画像データに基づいて判断対象画像データを生成する処理を説明するための説明図である。 図7は、第1実施形態における送信/更新処理のフローチャートである。 図8は、第1実施形態の変形例1における撮像エリアと危険エリアとを示す図であって、監視対象面が掘下面である場合の図である。 図9は、第1実施形態の変形例1における撮像エリアと危険エリアとを示す図であって、監視対象面が建築物の屋上面である場合の図である。 図10は、第1実施形態の変形例1における検知表示処理のフローチャートである。 図11は、第1実施形態の変形例2における検知表示処理のフローチャートである。 図12は、第1実施形態の変形例3における検知表示処理のフローチャートである。 図13は、第2実施形態における検知表示処理のフローチャートである。 図14は、第2実施形態における変位距離Hと画角φとを示す図である。 図15は、第2実施形態の変形例1における検知表示処理のフローチャートである。 図16は、第2実施形態の変形例2における検知表示処理のフローチャートである。 図17は、第2実施形態の変形例3における検知表示処理のフローチャートである。
以下、本発明の一実施形態について説明する。なお、以下に説明される各実施形態は本発明の一例にすぎず、本発明の要旨を変更しない範囲で、各実施形態を適宜変更できることは言うまでもない。例えば、後述する各処理の実行順序は、本発明の要旨を変更しない範囲で適宜変更することができる。或いは、後述の処理の一部は、本発明の要旨を変更しない範囲で適宜省略することができる。
[第1実施形態]
本実施形態では、図1が示すクレーン車10が説明される。クレーン車10はラフテレーンクレーンである。但し、クレーン車10はオールテレーンクレーンであってもよい。
クレーン車10は、走行体11と、走行体11に付設されたアウトリガ装置14と、走行体11に搭載されたクレーン装置12及び運転室13と、を備える。
アウトリガ装置14は、地面に接地してクレーン車10の姿勢を安定させる複数のジャッキ18を有する。クレーン装置12は、ジャッキ18が伸長されてクレーン車10の姿勢が安定した状態で使用される。
クレーン装置12は、旋回台21、ブーム22、ウインチ23、センサ群26(図2参照)、油圧アクチュエータ群27(図2参照)、油圧供給装置28(図2参照)、操縦装置29(図2参照)、フックブロック32、監視カメラ17、及びコントローラ70(図2参照)を有する。
旋回台21は、走行体11に旋回可能に保持されている。そして、ブーム22は、旋回台21に起伏可能に支持されている。ブーム22は、複数の筒体が入れ子状に配置されており、いわゆるテレスコピックを構成し、伸縮可能である。すなわち、ブーム22は、起伏可能、伸縮可能、かつ旋回可能である。ブーム22は、水平方向に沿う倒伏位置と、鉛直方向に沿う起立位置との間で起伏する。クレーン車10は、ブーム22が縮小且つ倒伏にされた状態(いわゆる「格納状態」)で走行する。
ウインチ23は、ブーム22の基端或いは旋回台21に取り付けられている。ウインチ23は、ワイヤロープ41(以下、「ワイヤ41」と記載する)を巻き付けられたドラム56及びワイヤ41が掛け回されるシーブ57を有している。ウインチ23が駆動されることにより、ワイヤ41がドラム56に巻き取られ、或いは繰り出される。ウインチ23は、いわゆるメインフックであるフックブロック32に対して設けられているが、ウインチ23に加え、ウインチ23と同構成のサブウインチ(不図示)が後述のサブフックに対して設けられている。
ワイヤ41は、ブーム22の基端部に設けられたシーブ57、ブーム22の先端部に設けられたシーブ58、及び不図示の滑車装置に掛け回されている。当該滑車装置は、ブーム22の先端部に設けられた不図示の複数の第1シーブと、フックブロック32に設けられた不図示の複数の第2シーブとを有している。
フックブロック32は、フック本体33と、フック本体33内に回転可能に保持された複数の第2シーブ(不図示)と、フック本体33の下面に設けられた吊荷フック34とを備える。
ワイヤ41が第1シーブ及び第2シーブに掛け回される回数は、いわゆる「ワイヤ掛数」である。ワイヤ掛数が大きいほど、クレーン装置12が吊り下げ可能な荷物の最大値である最大吊荷重量が増加する。すなわち、ワイヤ掛数が大きいほどクレーン装置12の吊荷性能が増加する。なお、図1が示す例では、ブーム22の先端部とフックブロック32との間に疑似的に4本のワイヤ41が視認可能であり、ワイヤ掛数は「4」である。
フックブロック32は、いわゆる「メインフック」であって、特許請求の範囲に記載された「吊荷フック」に相当する。なお、吊荷フックは、第2シーブを有さないフック(いわゆる「サブフック」)であってもよい。クレーン車10は、メインフック(フックブロック32)及びサブフックを有しているが、図1ではサブフックが省略されている。
図2が示すように、クレーン装置12は、油圧アクチュエータ群27を備える。この油圧アクチュエータ群27は、旋回モータ51と、起伏シリンダ52と、伸縮シリンダ53と、油圧モータ54とを有する。
旋回モータ51は、油圧供給装置28から供給された作動油を介して回転する油圧モータであり、旋回台21を旋回させる。起伏シリンダ52は、油圧供給装置28から供給された作動油を介して伸縮する油圧シリンダであり、ブーム22を起伏させる。伸縮シリンダ53は、油圧供給装置28から供給された作動油を介して伸縮する油圧シリンダであり、ブーム22を伸縮させる。油圧モータ54は、油圧供給装置28から供給された作動油を介して回転し、ウインチ23のドラム56を回転させる。なお、図2には示されていないが、上記サブフックに対して設けられた上記サブウインチのドラムを回転させる油圧モータがクレーン装置12に設けられている。
油圧供給装置28は、走行体11が搭載するエンジン15によって駆動される油圧ポンプと、この油圧ポンプと上記油圧アクチュエータ群27の旋回モータ51等とを繋ぐ配管と、この配管等に設けられた油圧切換弁等とを備える。油圧切換弁はいわゆる電磁弁であってもよく、コントローラ70から入力される駆動信号によって駆動される。電磁弁が駆動することにより、旋回モータ51、起伏シリンダ52、伸縮シリンダ53、油圧モータ54が駆動される。すなわち、コントローラ70は、駆動信号を出力することにより、ブーム22を旋回、起伏、及び伸縮させ、ワイヤ41を巻き取り或いは繰り出すことができる。
センサ群26は、旋回角センサ61、ブーム長さセンサ62、起伏角度センサ63、ドラムセンサ64を有する。なお、図2において破線で示された測距センサ65は変形例2において説明され、同じく破線で示された吊荷重量センサ66は変形例4において説明される。
旋回角センサ61は、旋回台21の旋回基準位置からの旋回角度を検出するセンサである。旋回基準位置は、上記格納状態にあるブーム22が前方に向かって突出する状態の位置である。旋回角センサ61は、例えば旋回台21の旋回軸に設けられたロータリエンコーダである。旋回角センサ61は、旋回台21の旋回角度に応じた個数のパルス信号を検出値として出力する。なお、旋回角センサ61は、旋回台21の旋回角度や旋回位置に応じて変化する物理量を検出するセンサであればよい。
ブーム長さセンサ62は、ブーム22の長さに応じた第2検出値を出力する。ブーム長さセンサ62は、ブーム22の長さを直接検出するセンサであってもよいし、伸縮シリンダ53の伸長長さを検出するセンサであってもよい。すなわち、ブーム長さセンサ62は、ブーム22の長さに応じて変化する物理量を検出するセンサであればよい。
起伏角度センサ63は、ブーム22の起伏角度に応じた第1検出値を出力する。起伏角度センサ63は、典型的にはブーム22の起伏角度を直接検出するセンサが採用され、例えば、ブーム22に取り付けられており、水平面に対する角度を出力する傾斜センサや水平センサである。ただし、起伏角度センサ63は、起伏シリンダ52の伸長長さを検出するセンサなど、ブーム22の起伏角度に応じて変化する物理量を検出可能なものであればよい。
ドラムセンサ64は、例えば、ウインチ23のドラム56の軸に取り付けられたロータリエンコーダである。ドラムセンサ64は、ワイヤ41の繰り出し及び巻き取りに応じた第3検出値を出力する。第3検出値はパルス信号である。単位時間当たりのパルス数は、ドラム56の回転速度、すなわちワイヤ41の繰出速度や巻取速度を示し、パルスの総数は、ドラム56の回転量、すなわちワイヤ41の繰出長さや巻取長さを示す。なお、ドラムセンサ64は、メインフックであるフックブロック32用のウインチ23に加え、サブフック用の上記サブウインチに対しても設けられている。ドラムセンサ64は、特許請求の範囲に記載された「ワイヤ長さセンサ」に相当する。ドラムセンサ64が出力するパルス信号は、特許請求の範囲に記載された「第3検出値」に相当する。
以下では、旋回角センサ61やブーム長さセンサ62や起伏角度センサ63やドラムセンサ64等のセンサが出力する検出値が「センサ検出値」と記載されて説明がされる。
図1が示すように、監視カメラ17は、ブーム22の先端部に設けられており、当該先端部の下方を撮像エリアとするカメラである。例えば監視カメラ17は、ブーム22の起伏角度に拘らず常にブーム22の先端部の下方を撮影エリアとするような広角レンズを有する。或いはブーム22の起伏角度に応じて監視カメラ17の向きを変更する向き変更機構がブーム22の先端部に設けられている。以下では、監視カメラ17の自重によって監視カメラ17のレンズを常に下向きに向ける向き変更機構に監視カメラ17が取り付けられているものとして説明がされる。
監視カメラ17は、レンズで集光した光を検出する複数の撮像素子を有している。撮像素子は、CCDやCMOSなどである。各撮像素子は、画素色データをそれぞれ出力する。監視カメラ17は、画素色データに基づいて画像データを生成し、生成した画像データを出力する。なお、画像データは、画素色データの他、画素の位置を示す画素位置データや解像度を含む。以下では、監視カメラ17が出力する画像データを「監視画像データ」と記載し、監視画像データが示す画像を「監視画像」と記載して説明がされる。
センサ群26の旋回角センサ61、ブーム長さセンサ62、起伏角度センサ63、及びドラムセンサ64と、監視カメラ17とは、不図示の信号線によってコントローラ70と接続されている。すなわち、旋回角センサ61等が出力したセンサ検出値と、監視カメラ17が出力した監視画像データとは、コントローラ70に入力される。もっとも、監視カメラ17は、コントローラ70と無線接続されていてもよい。その場合、バッテリ及び送信アンテナが監視カメラ17に付設され、信号線等によってコントローラ70と接続された受信アンテナが運転室13に設置される。監視カメラ17は、バッテリから供給された電力によって撮像を行い、監視画面データを送信アンテナから送信する。送信された監視画像データは、受信アンテナで受信されてコントローラ70に入力される。
旋回角センサ61等の各センサは、所定の時間間隔で連続して検出を行って所定の時間間隔でセンサ検出値を出力し、監視カメラ17は、所定の時間間隔で連続して撮像を行って所定の時間間隔で監視画像データを出力する。
図3は、運転室13内の操縦装置29を示す図である。
図3が示すように、操縦装置29は、運転室13に配置されている。操縦装置29は、オペレータによって操作される操作レバー等と、制御モニタ80と、監視モニタ84と、を備える。操作レバー等は、フットペダルやボタンやスイッチなどである。
操縦装置29は、不図示の信号線によってコントローラ70と接続されている。オペレータは、操縦装置29を操作してコントローラ70に指示を入力し、クレーン装置12の操縦を行う。
図2が示すように、制御モニタ80は、ディスプレイ81と、ディスプレイ81に重ねられた透明なシート状のタッチセンサ82と、スピーカ83とを備える。すなわち、制御モニタ80は、いわゆる「AML」である。オペレータは、タッチセンサを用いて各種の入力を行う。なお、スピーカ83は、制御モニタ80とは別に設けられていてもよい。制御モニタ80或いはタッチセンサ82は、特許請求の範囲に記載された「入力装置」に相当する。
監視モニタ84は、上記監視画像或いは当該監視画像を加工した画像である後述の判断対象画像を表示するモニタである。オペレータは、監視モニタ84に表示された画像を監視しながらクレーン装置12の操縦を行う。
なお、クレーン車10は、操縦装置29に加え、或いは操縦装置29に代えて、不図示の遠隔操作装置を備えていてもよい。遠隔操作装置は、例えば、オペレータの入力を受け付けるタッチパネルや入力ボタンや入力レバー等と、オペレータの入力操作に応じた操作信号を送出するアンテナとを備える。遠隔操作装置が送出した操作信号は、クレーン車10の運転室13等に設置されたアンテナによって受信され、コントローラ70に入力される。もっとも、コントローラ70自体が遠隔装置に組み込まれていてもよい。
コントローラ70は、中央演算処理装置であるCPU71と、メモリ72と、通信インタフェース73と、電源回路74と、不図示の通信バスとを備える。コントローラ70は、制御基板に実装されたICやマイクロコンピュータや抵抗やダイオードやコンデンサ等によって実現される。制御基板は、例えば、運転室13に配置された制御ボックス内に配置されている。
通信インタフェース73は、移動体通信網及びインターネットを通じて管理サーバ100と通信を行うインタフェースである。
CPU71、メモリ72、油圧供給装置28、センサ群26の旋回角センサ61等、監視カメラ17、通信インタフェース73、及び操縦装置29は、通信バスに接続されている。CPU71によって実行される後述の制御プログラム75は、メモリ72からデータや情報を読み出し、メモリ72にデータや情報を記憶させ、油圧アクチュエータ群27の旋回モータ51等の駆動を制御し、センサ群26の旋回角センサ61等が出力したセンサ検出値や監視カメラ17が出力した監視画像データを取得し、オペレータが操縦装置29に対して行った入力を取得し、通信インタフェース73を通じて情報やデータを送受信することができる。
メモリ72は、CPU71によって実行される制御プログラム75及び人判断プログラム76や、演算式や、定数や、対応テーブルや、強調オブジェクトデータや、警告音データなどを予め記憶する。演算式等については後述される。
制御プログラム75は、操縦装置29やセンサ群26から入力した信号に基づいて油圧アクチュエータ群27等の駆動を制御したり、後述の検知表示処理等(図5参照)を実行するプログラムである。
人判断プログラム76は、画像に人が映っているか否かを判断するプログラムである。人判断プログラム76は、ディープラーニングなどの学習によって育成されるプログラムである。人判断プログラム76は、例えば画像データを2値化処理によって簡素化して複数の外形ラインを抽出し、抽出した外形ラインが、人を示す特定パターンに一致或いは近似するか否かによって人が画像に映っているかを判断する。上記学習は、上記特定パターンの種類や当該近似の範囲等を最適化することを意味する。なお、上記の人判断方法は一例であって、人判断プログラム76は、他の方法によって人が画像に映っているか否かを判断してもよい。
電源回路74は、走行体11に搭載されたバッテリ16から供給された直流電圧を、5Vや12Vや24Vなどの所定の電圧値の直流電圧に変換して出力する。電源回路74は、例えば、DC/DCコンバータである電源ICやコンデンサや抵抗やダイオードやコイルなどによって実現される。なお、バッテリ16は、走行体11が有するエンジン15によって充電される。電源回路74が出力する直流電圧は、CPU71や操縦装置29やセンサ群26や監視カメラ17などに供給される。図2では、電源回路74からセンサ群26等への給電線の図示は省略されている。
図4は、監視カメラ17が撮像を行う撮像エリアと、人の立ち入りを禁止する危険エリアとを示す図である。特に図4(A)は、ブーム22の先端部(すなわち監視カメラ17)が比較的低い高さ位置にある場合を示し、図4(B)は、ブーム22の先端部が比較的高い高さ位置にある場合を示している。
図5は、制御プログラム75が実行する検知表示処理のフローチャートを示す図である。
図4に示された危険エリアは一定範囲である。危険エリアは、例えばブーム22の先端部の直下となる位置を中心とし、所定半径の円内である。危険エリアは、監視対象面の種類(地表面/堀下面/屋上面)に拘らず、且つブーム22の先端部の高さ位置に拘らず、常に一定範囲である。危険エリアは、特許請求の範囲に記載された「所定エリア」に相当する。
監視カメラ17は、常に一定の画角(視野角)φで撮像を行う。したがって、撮像エリアは、監視対象面に対するブーム22の先端部の高さ位置によって変化する。具体的には、ブーム22の先端部の高さ位置(すなわち監視カメラ17の高さ位置)が高くなるほど、撮像エリアは広くなる。
上記のように危険エリアは一定範囲であるから、撮像エリアが広くなると、人が存在するか否かを判断する必要がない判断対象外エリアも広くなる。判断対象外エリアに人が存在するか否かの判断が行われると、CPU71の処理負担が増えるとともに、判断対象が増えることから人が存在するか否かの判断の精度が低下し、かつ当該判断に要する時間も長くなってしまう。検知表示処理では、危険エリアについてのみ人が存在するか否かの判断がされる。以下、詳しく説明がされる。
制御プログラム75は、例えば操縦装置29の電源がオンにされたことに基づいて、或いはオペレータが所定の入力を行ったことに基づいて、図5が示す検知表示処理を開始する。なお、制御プログラム75が実行する処理は、コントローラ70或いはCPU71が実行する処理でもある。
なお、本実施形態では、クレーン車10が作業を行う場所が地表面である場合が説明される。オペレータは、例えば作業を行う場所が地表面であることを指示する入力を制御モニタ80に入力する。制御プログラム75は、当該入力がされたことに基づいて、作業場所を「地表面」に設定する。或いは制御プログラム75は、地表面以外を指定する特定の入力が行われなかったことに基づいて、作業場所を「地表面」に設定する。地表面は、特許請求の範囲に記載された「監視対象面」に相当する。
制御プログラム75は、検知表示処理において、先ず監視カメラ17が出力した監視画像データを取得する(S11)。また、制御プログラム75は、旋回角センサ61等の各センサがそれぞれ出力したセンサ検出値を取得する(S12)。
制御プログラム75は、取得したセンサ検出値及びメモリ72に予め記憶された定数に基づいて、監視カメラ17の高さHを算出する(S13)。監視カメラ17の高さHは、監視対象面(地表面)からブーム22の先端部までの鉛直方向における距離である。監視カメラ17の高さHは、特許請求の範囲に記載された「変位距離」に相当する。以下では、監視カメラ17の高さHを変位距離Hと記載して説明がされる。変位距離Hを特定するステップS13の処理は、特許請求の範囲に記載された「変位距離特定処理」に相当する。
変位距離Hの算出について、図4が参照されて詳しく説明がされる。図4に示された高さaは、上記アウトリガ装置14が駆動されてクレーン車10の姿勢が安定した状態での監視対象面(地表面)からブーム22の基端までの鉛直方向における距離である。高さaは、メモリ72に予め記憶された定数の1つである。
制御プログラム75は、ブーム長さセンサ62が検出したブーム22の長さLに、起伏角度センサ63が検出した起伏角度θから算出したsinθを乗じ、さらに上記高さaを加えて変位距離Hを算出する。具体的には、変位距離Hを算出するための演算式がメモリ72に予め記憶されており、制御プログラム75は、当該演算式に長さL、起伏角度θ、及び高さaを入力することによって変位距離Hを算出する。当該演算式は、長さL、起伏角度θ、及び高さaを引数とし、変位距離Hを戻り値とする関数であってもよい。ブーム長さセンサ62が検出したブーム長さは、特許請求の範囲に記載された「ブームの伸縮長さ」に相当する。
図5が示すように、制御プログラム75は、算出した変位距離Hを用いて使用範囲(図6参照)を特定する(S14)。
図6は、監視画像のうち、人が存在するか否かを判断する範囲である使用範囲を示す図である。特に図6(A)は、監視カメラ17が比較的低い高さ位置にある場合(図4(A)参照)における使用範囲を示し、図6(B)は、監視カメラ17が比較的高い高さ位置にある場合(図4(B)参照)における使用範囲を示している。
図6が示す監視画像における黒丸は、画素を示す。図6に示す例では、監視画像は、横方向における21個の画素と、縦方向における11個の画素を有している。すなわち、監視画像の解像度は、「21×11」である。なお、図6では図を見易くするため解像度が「21×11」である例が示されているが、解像度は、「400×400(=16万画素)」や「1000×1000(=100万画素)」など他の解像度であってもよい。
監視画像は撮像エリア(図4参照)に対応し、使用範囲は危険エリア(図4参照)に対応し、使用範囲でない範囲は、判断対象外エリア(図4参照)に相当する。すなわち、使用範囲は、人が存在するか否かの判断を行う範囲であり、使用範囲でない範囲は当該判断が不要な範囲である。
監視画像データは、上記解像度と、複数の画素データとを有している。各画素データは、画素の位置を示す画像位置データと、画素の色を示す画素色データとを含む。画素位置データは、例えば画素番号である。解像度が「21×11」である場合、画素番号が「22」である画素データは、2列目の最初の画素のデータを示す。
メモリ72は、変位距離Hと複数の画素位置データとが対応付けられた第1対応テーブルを予め記憶する。当該複数の画素位置データは、使用範囲の各列の最初及び最後の画素位置を示す。すなわち、第1対応テーブルは、変位距離Hに応じた1つの使用範囲を特定するためのテーブルである。図5が示すように、制御プログラム75は、ステップS13で算出した変位距離Hと対応付けられた複数の画素位置データを、使用範囲として特定する(S14)。
制御プログラム75は、特定した使用範囲に基づいて加工データを生成する(S15)。具体的には、制御プログラム75は、ステップS14において特定した使用範囲に含まれる画素の画素位置データ(画素番号)を変更する。例えば、制御プログラム75は、使用範囲に含まれる画素の画素位置データ(画素番号)を通し番号に変更する。図6(A)が示す例では、使用範囲内の1列目の画素について、画素番号「45」から「61」までを、「1」から「17」の通し番号に変更し、他の列の画像についても同様に画素番号を変更する。
次に制御プログラム75は、生成した加工データに基づいて、所定サイズの判断対象画像データを生成する(S16)。具体的には、制御プログラム75は解像度を変更する。詳しく説明すると、メモリ72は、変位距離Hと解像度とが対応付けられた第2対応テーブルを予め記憶する。制御プログラム75は、ステップS13で算出した変位距離Hと対応付けられた解像度を特定する。図6(A)に示される例では、制御プログラム75は、解像度「17×7」を特定する。制御プログラム75は、元の解像度を、特定した解像度に変更する。図6(A)に示される例では、制御プログラム75は、解像度を「21×11」から「11×6」に変更し、図6(B)に示される例では、制御プログラム75は、解像度を「21×11」から「11×6」に変更している。
制御プログラム75は、ステップS14、S15、S16(図5参照)において、使用範囲内の画像を所定サイズまで拡大して、判断対象画像データが示す画像である判断対象画像を生成する。したがって、監視カメラ17がどのような高さ位置にあっても、危険エリアに立ち入った人は、判断対象画像において同程度の大きさとなる。なお、上述の監視対象画像データの生成方法は一例であって、他の方法によって判断対象画像データが生成されてもよい。例えば、使用範囲の画像を所定サイズの画像に拡大する場合、画素間距離など、解像度以外のパラメータが用いられてもよい。
ステップS14、S15、S16の処理は、特許請求の範囲に記載された「生成処理」に相当する。ステップS14は、特許請求の範囲に記載された「使用範囲を特定する処理」に相当する。ステップS15の処理は、特許請求の範囲に記載された「使用範囲外のデータを削除する処理」に相当する。ステップS16の処理は、特許請求の範囲に記載された「所定サイズに変換する処理」に相当する。
図5が示すように、制御プログラム75は、生成した判断対象画像データを、人判断プログラム76に受け渡し、判断対象画像データが示す判断対象画像に人が映っているか否かの判断を指示する(S17)。
人判断プログラム76は、受け渡された判断対象画像データに基づいて、判断対象画像に人が映っているか否かを判断する。ここにおいて、判断対象画像に映る人は、監視カメラ17の高さ位置に拘らず一定の大きさであるから、人判断プログラム76は、抽出した上記外形ラインの適正なサイズを推定することなく、人が映っているか否かの判断を行うことができる。すなわち、人判断プログラム76には、抽出した外形ラインの適正サイズの推定を行う機能が不要である。当該機能が不要であるから、人判断プログラム76のデータ容量が低減する。また、抽出した外形ラインの適正サイズの推定を行わないから、人が映っているか否かの判断の精度が良くなるとともに、当該判断に要する時間が短くなる。すなわち、撮像した監視画像のうち危険エリアを示す使用範囲のみを使用し、且つ使用範囲を示す画像を所定サイズに拡大することにより、人が存在するか否かの判断の精度が良くなり、かつ短時間で当該判断を行うことが可能になる。
人判断プログラム76は、受け渡された判断対象画像に人が映っているか否かを示す第1データを含む判断結果を制御プログラム75に返す。判断結果は、判断対象画像に人が映っている場合、当該人の位置を示す画素位置データを含む。当該画素位置データは、人を示す上記外形ラインの中心を示す画素の画素位置データであってもよいし、当該外形ラインに含まれる全ての画素の画素位置データであってもよい。人の位置を示す画素位置データは、特許請求の範囲に記載された「第2データ」に相当する。
制御プログラム75は、人判断プログラム76から判断結果を受け取る(S18)。制御プログラム75は、受け取った判断結果に基づいて、危険エリアに人が存在するか否かを判断する(S19)。ステップS18の処理は、特許請求の範囲に記載された「取得処理」に相当する。なお、制御プログラム75と人判断プログラム76との間の判断対象画像や判断結果の受け渡しは、オペレーティングシステムであるOSを介して行われてもよい。
制御プログラム75は、危険エリアに人が存在すると判断すると(S19:Yes)、判断対象画像データと、メモリ72に予め記憶された強調オブジェクトデータと、当該強調オブジェクトデータの表示位置を示す上記人位置情報とを監視モニタ84に入力する(S20)。監視モニタ84には、判断対象画像データが示す判断対象画像と、当該判断対象画像に映る人に重ねられた強調オブジェクトとが表示される。
強調オブジェクトは、例えば赤い円や四角等の赤枠である。すなわち、判断対象画像に映る人が赤い円や四角などの赤枠で囲まれる。或いは、強調オブジェクトは、赤い矢印である。すなわち、判断対象画像に映る人が赤い矢印で示される。すなわち、強調オブジェクトは、判断対象画像に映る人を強調してオペレータに視認し易くさせる。なお、強調オブジェクトは、判断対象画像に映る人を強調可能であれば、他の図形や記号や文字などであってもよいし、どのような色であってもよい。
なお、監視モニタ84には、危険エリアを拡大した画像である判断対象画像が表示される例が説明されたが、監視モニタ84には、拡大前の元の監視画像が表示されてもよい。或いは、オペレータが判断対象画像と監視画像とを選択可能であってもよい。
制御プログラム75は、オペレータの注意を喚起するため、メモリ72に予め記憶された警告音データをスピーカ83に入力する(S21)。スピーカ83は、警告音データが示す警告音を出力する。ステップS20、S21の処理は、特許請求の範囲に記載された「安全処理」に相当する。なお、安全処理は、ステップS20とステップS21とのいずれか一方であってもよい。
制御プログラム75は、危険エリアに人が存在しないと判断すると(S19:No)、判断対象画像データを監視モニタ84に入力する(S22)。なお、監視モニタ84には、判断対象画像に代えて監視画像が表示されてもよい。或いは、オペレータが判断対象画像と監視画像とを選択可能であってもよい。
制御プログラム75は、ステップS21或いはステップS22の処理の実行後、人判断プログラム76の学習に用いる学習用データを生成してメモリ72に記憶させる(S23)。学習用データは、上記判断対象画像データ及び上記判断結果である。ステップS23の処理は、特許請求の範囲に記載された「判断対象画像データと判断結果とを対応付けて学習用データとして上記メモリに記憶させる処理」に相当する。
制御プログラム75は、検知表示処理を終了するか否かを判断する(S24)。例えば制御プログラム75は、操縦装置29の電源をオフにする入力や、操縦装置29に特定の入力がされたことに基づいて検知表示処理を終了する。制御プログラム75は、検知表示処理を終了しないと判断すると(S24:No)、ステップS11以降の処理を再度実行する。繰り返し実行されるステップS11以降の処理は、例えば数十m秒から数秒の時間間隔で行われる。制御プログラム75は、検知表示処理を終了すると判断すると(S24:Yes)、検知表示処理を終了する(エンド)。
図7は、制御プログラム75が実行する送信/更新処理のフローチャートである。送信/更新処理は、上記学習用データを出力し、学習用データを用いて学習した新たなバージョンの人判断プログラムで、メモリ72に記憶された人判断プログラム76を更新する処理である。新たなバージョンの人判断プログラムは、特許請求の範囲に記載された「更新用データ」に相当する。なお、更新用データは、人判断プログラムの全部であってもよいし、人判断プログラムの一部であってもよい。
制御プログラム75は、クレーン装置12の電源がオンにされたことに基づいて送信/更新処理を実行する。まず、制御プログラム75は、前回学習用データを送信してから一定期間が経過したか否かを判断する(S31)。一定期間は、1日や1週間や1月や3月や1年などである。
制御プログラム75は、一定期間が経過していると判断すると(S31:Yes)、メモリ72に記憶した上記学習用データを通信インタフェース73を通じて管理サーバ100に送信する(S32)。
なお、クレーン装置12は、通信インタフェース73に代えて、或いは通信インタフェース73とともに、可搬記憶媒体が着脱可能な端子部を有していてもよい。可搬記憶媒体は、例えばUSBメモリ(登録商標)であり、端子部は、例えばUSB端子である。この場合、制御プログラム75は、ステップS23において、メモリ72に代えて可搬記憶媒体に学習用データを記憶させる。その場合、送信/更新処理において、ステップS31、S32の処理が省略される。可搬記憶媒体は、クレーン装置12から取り外されて、管理サーバ100(図2参照)或いは管理サーバ100と通信可能なパーソナルコンピュータなどの端末装置に装着される。可搬記憶媒体が記憶する上記学習用データは、直接或いは当該端末装置を通じて管理サーバ100に入力される。ステップS32の処理或いは可搬記憶媒体に学習用データを記憶させる処理は、特許請求の範囲に記載された「学習用データを上記メモリから外部に出力する処理」に相当する。
管理サーバ100は、人判断プログラム(不図示)を記憶している。例えば管理サーバ100のオペレータが、上記学習用データに判断の正誤を付す。判断の正誤が付された学習用データを用いて人判断プログラム76学習が行われる。そして、学習によって判断の精度が向上した新たな人判断プログラムが新しいバージョンの人判断プログラムとされる。
一方、制御プログラム75は、前回HTTPリクエストを管理サーバ100に送信してから一定期間が経過したか否かを判断する(S33)。一定期間は、1日や1週間や1月などである。制御プログラム75は、前回HTTPリクエストを管理サーバ100に送信してから一定期間が経過したと判断すると(S33:Yes)、HTTPリクエストを通信インタフェース73を通じて管理サーバ100に送信する(S34)。当該HTTPリクエストは、メモリ72に記憶された人判断プログラム76のバージョンとコマンドとを含む。
管理サーバ100は、上記HTTPリクエストを受信すると、当該HTTPリクエストに含まれるコマンドにしたがって、当該HTTPリクエストに含まれるバージョンよりも新しいバージョンの人判断プログラム(以下、「新たな人判断プログラム」と記載する)があるか否かを判断する。管理サーバ100は、新たな人判断プログラムがあると判断すると、当該新たな人判断プログラムを含むHTTPレスポンスを、受信したHTTPレスポンスの応答として返信する。
制御プログラム75は、管理サーバ100が返信したHTTPレスポンスを受信する(S35)。制御プログラム75は、受信したHTTPレスポンスに新たな人判断プログラムが含まれるか否かを判断する(S36)。制御プログラム75は、受信したHTTPレスポンスに新たな人判断プログラムが含まれると判断すると(S36:Yes)、新たな人判断プログラムにより、メモリ72に記憶された人判断プログラム76を更新する(S37)。制御プログラム75は、受信したHTTPレスポンスに新たな人判断プログラムが含まれないと判断すると(S36:No)、ステップS37の処理をスキップする。ステップS37の処理は、特許請求の範囲に記載された「人判断プログラムを更新する処理」に相当する。
なお、人判断プログラム76の更新は、上記可搬記憶媒体を用いて行われてもよい。具体的には、オペレータは、新しい人判断プログラムが記憶された可搬記憶媒体をクレーン装置12に装着する。制御プログラム75は、可搬記憶媒体に記憶された人判断プログラムのバージョンがメモリ72に記憶された人判断プログラム76のバージョンより新しいと判断すると、可搬記憶媒体に記憶された新しい人判断プログラムを用いてメモリ72に記憶された人判断プログラム76を更新する。この場合、ステップS33からステップS37までの処理が省略される。
制御プログラム75は、送信/更新処理を終了するか否かを判断する(S38)。例えば、制御プログラム75は、クレーン装置12の電源がオフにされたことや、特定の入力がされたことに基づいて、送信/更新処理を終了すると判断する。制御プログラム75は、送信/更新処理を終了しないと判断すると(S38:No)、ステップS31以降の処理を再度実行する。繰り返し実行されるステップS31以降の処理は、例えば数十m秒から数秒の時間間隔で行われる。制御プログラム75は、送信/更新処理を終了すると判断すると(S38:Yes)、送信/更新処理を終了する(エンド)。
[第1実施形態の作用効果]
本実施形態では、コントローラ70は、監視画像データのうち、危険エリア(使用範囲)を示すデータのみが用いられて判断対象画像データが生成される。したがって、危険エリアでない判断対象外エリアを含む監視画像データに基づいて人が映っているか否かを判断する場合に比べ、人が映っているか否かを判断する対象(上記外形ライン)の個数が低減する。その結果、危険エリアに人が存在するか否かの判断の精度が良くなり、且つ当該判断に要する時間が短くなる。
また、本実施形態では、人判断プログラム76に受け渡される判断対象画像データが示す判断対象画像が常に所定サイズであるから、人判断プログラム76は、上記外形ラインが適正サイズであるかを推定せずに人が映っているか否かを判断することがきる。すなわち、人判断プログラム76には、上記推定を行う機能が不要となる。その結果、人が危険エリアに存在するか否かの判断の精度がさらに良くなり、クレーン装置12の安全性がさらに向上する。
また、本実施形態では、監視対象面を地表面に限定することにより、既存のセンサであるブーム長さセンサ62及び起伏角度センサ63を用いて変位距離Hを算出して判断対象画像データを生成することができる。
また、本実施形態では、コントローラ70は、危険エリアに人が存在すると判断すると、監視モニタ84に映る人を赤枠(強調オブジェクト)で囲むとともに、警告音をスピーカ83に出力させる。したがって、オペレータが監視画像に基づいて危険エリアに人が存在するか否かを判断する従来のクレーン装置に比べ、クレーン装置12は、オペレータの負担を軽減することができる。
また、本実施形態では、危険エリアを拡大した画像である判断対象画像が監視モニタ84に表示されるから、拡大前の監視画像が監視モニタ84に表示される場合よりも、危険エリアにいる人をオペレータに容易に認識させることができる。
[第1実施形態の変形例1]
第1実施形態では、監視対象面が地表面である例が説明された。本変形例では、監視対象面が地表面より下の掘下面である場合(図8参照)や、監視対象面が地表面より上の建物の屋上面である場合(図9参照)が説明される。なお、本変形例では、以下で説明される構成以外の構成や処理は第1実施形態で説明された構成や処理と同じであり、第1実施形態と同じ符号及びステップ番号を用いて説明が省略される。
図8は、監視対象面が掘下面である場合における監視カメラ17の撮像エリアと危険エリアとを示す図である。特に図8(A)は、作業開始前にフックブロック32を掘下面に接触或いは近接させている状態を示し、図8(B)は、作業中の状態を示している。
図9は、監視対象面が建築物の屋上面である場合における監視カメラ17の撮像エリアと危険エリアとを示す図である。特に図9(A)は、作業開始前にフックブロック32を建築物の屋上面に接触或いは近接させている状態を示し、図9(B)は、作業中の状態を示している。
図10は、本変形例において制御プログラム75が実行する検知表示処理のフローチャートである。
制御プログラム75は、第1実施形態と同様に、監視カメラ17が出力した監視画像データと、センサ群26の各センサが出力したセンサ検出値とを取得する(S11、S12)。
次に制御プログラム75は、所定入力があったか否かを判断する(S41)。詳しく説明すると、オペレータは、図8(A)及び図9(A)に示されるように、作業開始前において、フックブロック32が監視対象面に接触或いは近接しているときに、制御モニタ80を操作して所定入力を行う。
図10が示すように、制御プログラム75は、所定入力があったと判断すると(S41:Yes)、ステップS12で取得したセンサ検出値に基づいて、クレーン車10が位置する基準面(地表面)から監視対象面までの鉛直方向における距離である高さd(図8及び図9参照)を算出してメモリ72に記憶させる(S42)。詳しく説明すると、制御プログラム75は、ブーム長さセンサ62が検出したブーム長さL1と、起伏角度センサ63が検出した起伏角度θ1と、メモリ72に予め記憶された高さa(定数)及び演算式に基づいて、基準面(地表面)からブーム22の先端部までの距離「L1sinθ1+a」を算出する。制御プログラム75は、「L1sinθ1+a」から、ドラムセンサ64が検出したワイヤ41の繰出長さbを減じることにより、基準面から監視対象面までの高さdを算出する。なお、ドラムセンサ64が検出したワイヤ41の繰出長さbは、上記ワイヤ掛数に基づいて補正される。例えば、ワイヤ掛数が「4」である場合、繰出長さは、概ね「b/4」とされる。
監視対象面が掘下面である場合(図8(A)参照)、高さdは負の値となり、監視対象面が建築物の屋上面である場合(図9(A)参照)、高さdは正の値となり、監視対象面が地表面である場合(図4参照)、高さdは「0」となる。高さdは、特許請求の範囲に記載された「監視対象面の高さ位置」に相当する。ステップS42の処理は、特許請求の範囲に記載された「監視対象面の高さ位置を特定する処理」に相当する。
制御プログラム75は、所定入力がないと判断すると(S41:No)、ステップS42の処理をスキップする。
制御プログラム75は、第1実施形態と同様にして、ステップS12で取得したセンサ検出値に基づいて、監視カメラ17の高さ(変位距離)Hを算出する(S13)。図8(B)及び図9(B)が示す例では、制御プログラム75は、ブーム長さセンサ62が検出したブーム長さL2と、起伏角度センサ63が検出した起伏角度θ2と、高さa(定数)と、上記演算式とに基づいて、変位距離H=L2sinθ2+aを算出する。
図10が示すように、制御プログラム75は、ステップS13で算出した高さと、ステップS42でメモリ72に記憶させた高さdとに基づいて、監視対象面からブーム22の先端部までの鉛直方向における距離(変位距離H)を算出する。具体的には、制御プログラム75は、メモリ72に記憶された演算式を用いて、基準面(地表)からブーム22の先端部までの鉛直方向における距離L2sinθ2+a-dを算出する(図8(B)及び図9(B)参照)。すなわち、制御プログラム75は、基準面(地表)からの監視カメラ17の高さを算出する。
制御プログラム75は、第1実施形態と同様にして、算出した変位距離Hに対応する使用範囲を特定して(S14)加工データを生成し(S15)、次いで判断対象画像データを生成する(S16)。制御プログラム75は、生成した判断対象画像データを人判断プログラム76に受け渡し(S17)、判断結果を人判断プログラム76から受け取る(S18)。制御プログラム75は、判断結果に基づいて、判断対象画像や強調オブジェクトを監視モニタ84に表示させ(S20、S21、S23)、警告音をスピーカから出力させる(S22)。制御プログラム75は、メモリ72に記憶後(S24)、終了か否かを判断し(S2)、終了でないと判断すると(S2:No)、所定の時間間隔でステップS11以降の処理を再度実行する。制御プログラム75は、終了と判断すると(S2:Yes)、検知表示処理を終了する(エンド)。
[第1実施形態の変形例1の作用効果]
本変形例では、制御プログラム75は、基準面(地表面)から掘下面(監視対象面)や建築物の屋上面(監視対象面)までの高さdを算出して、監視対象面に対する監視カメラ17の高さを変位距離Hとして算出する。したがって、監視対象面が地表面でない場合であっても、危険エリアのみについて人が存在するか否かを判断することができ、かつ危険エリアを示す使用範囲の画像を所定サイズに拡大して人が存在するか否かを判断することができる。したがって、危険なエリアに人が存在するか否かの判断の精度が良くなり、且つ当該判断に要する時間が短くなる。
なお、本変形例では、メインフックであるフックブロック32を用いて高さdが特定される例が説明されたが、上記サブフックを用いて高さdが特定されてもよい。
[第1実施形態の変形例2]
変形例1では、オペレータが所定入力を行って、基準面(地表面)から監視対象面(掘下面/屋上面)までの高さdを算出し、高さdを用いて変位距離Hを算出する例が説明された。本変形例では、ブーム22の先端部に設けられた測距センサ65(図2参照)によって変位距離Hが特定される例が説明される。なお、本変形例では、以下で説明される構成以外の構成や処理は第1実施形態で説明された構成や処理と同じであり、第1実施形態と同じ符号及びステップ番号を用いて説明が省略される。
クレーン装置12は、測距センサ65(図2参照)をさらに備える。測距センサ65は、ブーム22の先端部に取り付けられており、下方を検知領域としている。測距センサ65は、レーザ光を照射し、監視対象面で反射された反射光を受光して距離を計測するレーザ測距センサである。或いは、測距センサ65は、音波を出力し、監視対象面で反射された反射波を受信して距離を計測する音波センサである。測距センサ65は、監視対象面までの距離を計測可能であれば、どのような種類の測距センサであってもよい。測距センサ65は、特許請求の範囲に記載された「検出装置」に相当する。測距センサ65が出力する検出値は、特許請求の範囲に記載された「第4検出値」に相当する。
制御プログラム75は、図5が示す検知表示処理に代えて、図11が示す検知表示処理を実行する。図11が示す検知表示処理において、制御プログラム75は、ステップS11の実行後、測距センサ65が検出した距離を変位距離Hとして取得する(S44)。制御プログラム75は、取得した変位距離Hに基づいて、第1実施形態と同様にしてステップS14以降の処理を実行する。ステップS44の処理は、特許請求の範囲に記載された「第4検出値に基づいて上記変位距離を特定する処理」に相当する。
[第1実施形態の変形例2の作用効果]
本変形例では、1つのセンサ(測距センサ65)によって変位距離Hを特定するから、複数のセンサによって変位距離Hを特定する場合(第1実施形態/変形例1)に比べ誤差が積算されない。したがって、変位距離H及び使用範囲(危険エリア)を第1実施形態に比べ正確に特定することができる。その結果、クレーン車10の安全性がさらに向上する。
[第1実施形態の変形例3]
上述の第1実施形態では、人判断プログラム76がメモリ72に記憶された例が説明された。本変形例では、人判断プログラム76がメモリ72ではなく管理サーバ100(図2参照)に記憶されている例が説明される。なお、本変形例では、以下で説明される構成以外の構成や処理は第1実施形態で説明された構成や処理と同じであり、第1実施形態と同じ符号及びステップ番号を用いて説明が省略される。
制御プログラム75は、図5が示す検知表示処理に代えて、図12が示す検知表示処理を実行する。
制御プログラム75は、第1実施形態と同様にしてステップS11からステップS16までの処理を実行して、判断対象画像データを生成する。制御プログラム75は、生成した判断対象画像データ及びコマンドを含むHTTPリクエストを生成し、当該HTTPリクエストを通信インタフェース73を通じて管理サーバ100(図2参照)に送信する(S45)。当該コマンドは、判断対象画像データが示す画像に人が映っているか否かを示す判断結果を返信することを要求するコマンドである。
管理サーバ100に実装されたサーバプログラム(不図示)は、受信したHTTPリクエストに含まれるコマンドにしたがって、当該HTTPリクエストに含まれる判断対象画像データを人判断プログラムに受け渡し、当該人判断プログラムから上記判断結果を受け取る。サーバプログラムは、受け取った判断結果を含むHTTPレスポンスを生成し、クレーン装置12に返信する。
制御プログラム75は、管理サーバ100が返信したHTTPレスポンスを通信インタフェース73を通じて取得する(S46)。制御プログラム75は、取得した判断結果に基づいて、第1実施形態と同様にしてステップS19からステップS24までの処理を実行する。
[第1実施形態の変形例3の作用効果]
本変形例では、メモリ72に人判断プログラム76が記憶されないから、第1実施形態よりも記憶容量の少ないメモリ72を使用することができる。
また、人判断プログラム76が管理サーバ100のサーバメモリに記憶されるから、人判断プログラム76の学習や更新が容易になる。
[第1実施形態の変形例4]
上述の第1実施形態や変形例1では、ブーム22の撓みを考慮せずに変位距離Hを算出する例が説明された。本変形例では、ブーム22の撓みを考慮して変位距離Hを算出する例が説明される。なお、本変形例では、以下で説明される構成以外の構成や処理は第1実施形態で説明された構成や処理と同じであり、第1実施形態と同じ符号及びステップ番号を用いて説明が省略される。
クレーン装置12は、吊荷重量センサ66(図2参照)をさらに備える。吊荷重量センサ66は、フックブロック32に吊り下げられた吊荷35(図3参照)の重量(以下、「吊荷重量」と記載する)に応じた物理量を検出値として検出するセンサである。吊荷重量センサ66は、例えば、ワイヤ41に加わる張力を検出するセンサであってもよいし、油圧モータ54(図2参照)に供給される作動油の油圧を検出する圧力センサであってもよい。なお、吊荷重量センサ66と同様のサブ吊荷重量センサが上記サブウインチに対して設けられていてもよい。ウインチ23ではなく当該サブウインチが使用される場合、当該サブ吊荷重量センサの検出値が吊荷重量センサ66の検出値に代えて使用される。
また、メモリ72は、吊荷重量と、ブーム長さと、補正値とを対応付けた第3対応テーブルを予め記憶する。当該ブーム長さは、ブーム22の全長であってもよいし、ブーム22が有する上記各筒体の個々の長さであってもよい。当該ブーム長さが各筒体の個々の長さである場合、ブーム長さセンサ62には、各筒体の個々の長さを検出可能なセンサが用いられる。
制御プログラム75は、図5が示す検知表示処理のステップS12において、吊荷重量センサ66が検出した吊荷重量をさらに取得する。制御プログラム75は、ステップS12で取得した吊荷重量及びブーム長さと、上記第3対応テーブルとに基づいて、補正値を特定する。制御プログラム75は、特定した補正値を用いて、ステップS13において、算出した変位距離Hを補正する。
なお、上記第対応3テーブルでは、吊荷重量と、ブーム長さと、撓み演算式とが対応付けられていてもよい。当該撓み演算式は、例えば吊荷重量及びブーム長さに応じた撓み量を算出する演算式である。この撓み量に基づいて上記補正値が算出される。
[第1実施形態の変形例4の作用効果]
本変形例では、ブーム22の撓みに基づく補正値を用いて変位距離Hを補正する。したがって、ブーム22の撓みに基づいて変位距離Hを補正しない場合に比べ、変位距離Hが正確になる。その結果、クレーン車10の安全性がさらに向上する。
[第1実施形態のその他の変形例]
上述の第1実施形態や変形例において、制御プログラム75は、強調オブジェクトを判断対象画像に重ねる処理や警告音をスピーカ83から出力する処理に代えて、或いは当該処理とともに、クレーン装置12を強制停止させる処理を実行してもよい。具体的には、制御プログラム75は、オペレータの操縦に拘らず旋回モータ51や起伏シリンダ52や伸縮シリンダ53や油圧モータ54への作動油の供給を停止して、旋回台21やブーム22やウインチ23の駆動を強制的に停止させる。
上述の第1実施形態の変形例2では、測距センサ65によって変位距離Hを検出する例が説明された。もっとも、変位距離Hは、走行体11や旋回台21に設置されたカメラによって検出されてもよい。
上述の第1実施形態の変形例2では、フックブロック32が掘下面や屋上面などの監視対象面に接触或いは近接している場合にオペレータが操縦装置29に所定入力を行うことで、制御プログラム75が、基準面から監視対象面までの高さdを算出する例が説明された。もっとも、オペレータは、当該高さdを制御モニタ80に入力してもよい。その場合、制御プログラム75は、高さdを算出する処理に代えて、オペレータが制御モニタ80に入力した値を受け付けて高さdとして取得する処理を実行する。
[第2実施形態]
第1実施形態では、画角が常に一定である監視カメラ17が使用される例が説明された。本実施形態では、監視カメラ17の画角が調整可能である場合が説明される。なお、本実施形態では、以下で説明される構成以外の構成や処理は第1実施形態で説明された構成や処理と同じであり、第1実施形態と同じ符号及びステップ番号を用いて説明が省略される。
図13は、本実施形態において制御プログラム75が実行する検知表示処理のフローチャートである。
本実施形態では、監視カメラ17(図2参照)は、画角或いは焦点距離を変更(調整)する機能を有している。例えば、監視カメラ17は、凹レンズや凸レンズや凹凸レンズなどの複数のレンズと、一乃至複数のレンズを移動させる移動機構とを有している。監視カメラ17は、入力された画角制御信号に基づいて移動機構を駆動させ、レンズ間の距離を変更(調整)する。すなわち、監視カメラ17は、入力された画角制御信号に基づいて画角或いは焦点距離を変更(調整)する。
本実施形態では、クレーン車10が作業を行う場所が地表面である場合が説明される。オペレータは、例えば作業を行う場所が地表面であることを指示する入力を制御モニタ80に入力する。制御プログラム75は、当該入力がされたことに基づいて、作業場所を「地表面」に設定する。或いは制御プログラム75は、特定の入力が行われなかったことに基づいて、作業場所を「地表面」に設定する。地表面は、特許請求の範囲に記載された「監視対象面」に相当する。
図13が示すように、先ず制御プログラム75は、第1実施形態と同様にしてセンサ検出値を取得する(S12)。制御プログラム75は、取得したセンサ検出値に基づいて、第1実施形態と同様にして地表面からのブーム22の先端部までの高さである変位距離Hを算出する(S13)。
制御プログラム75は、算出した変位距離Hに基づいて、画角制御信号を特定する(S51)。詳しく説明すると、メモリ72は、変位距離Hと画角制御信号とを対応付けた第4対応テーブルを予め記憶する。制御プログラム75は、ステップS13で算出した変位距離Hと対応付けられた画角制御信号を第4対応テーブルにおいて特定する。制御プログラム75は、特定した画角制御信号を監視カメラ17に入力する(S52)。監視カメラ17は、入力された画角制御信号に基づいて画角を変更する。ステップS51及びS52は、特許請求の範囲に記載された「画角変更処理」に相当する。
図14は、監視カメラ17の画角φと撮像エリアとの関係を示す図である。特に図13(A)は、ブーム22の先端部(すなわち監視カメラ17)が比較的低い高さ位置にある場合を示し、図14(B)は、ブーム22の先端部が比較的高い高さ位置にある場合を示している。
図14が示すように、画角φは、監視カメラ17の高さ(変位距離)Hに拘らず撮像エリアが常に危険エリアとなるように、変位距離Hに応じて変更(調整)される。図14が示す例では、監視カメラ17が比較的低い高さ位置にある場合には(図14(A)参照)、画角がφ1に変更(調整)されて危険エリアが撮像エリアとされる。監視カメラ17が比較的高い高さ位置にある場合には(図14(B)参照)、画角がφ2(<φ1)に変更(調整)されて危険エリアが撮像エリアとされる。
変位距離Hに応じて画角φが変更(調整)されて常に危険エリアのみが撮像されるから、人が存在するか否かの判断が不要なエリアが撮像されず、人が存在するか否かの判断が不要なエリアまで撮像する場合に比べ、人判断プログラム76が判断の対象とする上記外形ラインの個数が低減する。その結果、人判断プログラム76において、人が画像に映っているか否かの判断の精度が良くなるとともに、当該判断に要する時間が短くなる。
図13が示すように、制御プログラム75は、画角を変更した後に監視カメラ17が出力した監視画像データを取得する(S11)。その後、制御プログラム75は、第1実施形態と同様にしてステップS17からステップS24までの処理を実行する。なお、ステップS23において制御プログラム75は、判断対象画像データに代えて監視画像データを含む学習用データを生成してメモリ72に記憶させる。ステップS23の処理は、特許請求の範囲に記載された「監視画像データと判断結果とを対応付けて学習用データとして上記メモリに記憶させる処理」に相当する。
[第2実施形態の作用効果]
本実施形態では、危険エリア以外のエリアも撮像して当該エリアにおいても人が存在するか否かを判断する場合に比べ、人判断プログラム76が、人が画像に映っているか否かを判断する対象(上記外形ライン)が低減する。その結果、危険エリアに人が存在するか否かの判断の精度が良くなるとともに、当該判断に要する時間を短縮することができる。
また、本実施形態では、人判断プログラム76に受け渡される監視画像データが常に同じサイズの画像となるから、人判断プログラム76は、上記外形ラインが適正サイズであるか否かの推定を行わずに人が映っているか否かを判断することがきる。すなわち、人判断プログラム76において、上記推定を行う機能が不要となる。その結果、人が危険エリアに存在するか否かの判断の精度がさらに良くなり、クレーン装置12の安全性がさらに向上する。
また、本実施形態では、監視対象面を地表面とすることにより、既存のセンサであるブーム長さセンサ62及び起伏角度センサ63を用いて変位距離Hを算出して画角制御信号を特定することができる。
また、本実施形態では、コントローラ70は、危険エリアに人が存在すると判断すると、監視モニタ84に映る人を赤枠(強調オブジェクト)で囲むとともに、警告音をスピーカ83に出力させる。したがって、オペレータが監視画像に基づいて危険エリアに人がいるか否かを判断する従来のクレーン装置に比べ、クレーン装置12は、オペレータの負担を軽減することができる。
[第2実施形態の変形例1]
第2実施形態では、監視対象面が地表面である例が説明された。本変形例では、監視対象面が掘下面や建物の屋上面である例が説明される。なお、本変形例では、以下で説明される構成以外の構成や処理は、第1実施形態、第2実施形態、及び第1実施形態の変形例で説明された構成や処理と同じであり、第1実施形態や第2実施形態や当該変形例と同じ符号及びステップ番号を用いて説明が省略される。以下では、第1実施形態、第2実施形態、及び第1実施形態の変形例が「第1実施形態等」と記載されて説明がされる。
図15は、本変形例において制御プログラム75が実行する検知表示処理のフローチャートである。
制御プログラム75は、第1実施形態等と同様にして、センサ検出値を取得し(S12)、その後、監視対象面の高さdを算出してメモリ72に記憶させる(S41、S42)。制御プログラム75は、第1実施形態等と同様にして、算出した高さdとブーム22の先端部の高さ(監視カメラ17の高さ)とから変位距離Hを算出し(S43)、当該変位距離Hに基づいて画角制御信号を特定し(S51)、当該画角制御信号を監視カメラ17に入力する(S52)。次に、制御プログラム75は、画角を変更した監視カメラ17が出力した監視画像データを取得する(S11)。その後、制御プログラム75は、第1実施形態等と同様にしてステップS17からステップS24の処理を実行する。
[第2実施形態の変形例1の作用効果]
本変形例では、制御プログラム75は、基準面から掘下面(監視対象面)や建築物の屋上面(監視対象面)までの高さdを算出して、監視対象面からブーム22の先端部までの距離を変位距離Hとして算出する。したがって、監視対象面が地表面でない場合であっても、危険エリアのみについて人が存在するか否かを判断することができる。したがって、危険エリアに人が存在するか否かの判断の精度が良くなり、かつ当該判断に要する時間が短くなる。
[第2実施形態の変形例2]
本変形例では、ブーム22の先端部に設けられた測距センサ65(図2参照)によって変位距離Hが特定される例が説明される。なお、本変形例では、以下で説明される構成以外の構成や処理は第1実施形態等で説明された構成や処理と同じであり、第1実施形態等と同じ符号及びステップ番号を用いて説明が省略される。
制御プログラム75は、図13が示す検知表示処理に代えて、図16が示す検知表示処理を実行する。図16が示す検知表処理において、先ず制御プログラム75は、測距センサ65が検出した距離を変位距離Hとして取得する(S44)。制御プログラム75は、取得した変位距離Hに基づいて、第1実施形態等と同様にしてステップS51以降の処理を実行する。
[第2実施形態の変形例2の作用効果]
本変形例では、1つのセンサ(測距センサ65)によって変位距離Hを特定するから、複数のセンサによって変位距離Hを特定する場合(第2実施形態/変形例1)に比べ誤差が積算されない。したがって、第2実施形態に比べ変位距離Hを正確に特定することができ、その結果、クレーン車10の安全性がさらに向上する。
[第2実施形態の変形例3]
本変形例では、人判断プログラム76がメモリ72ではなく管理サーバ100(図2参照)に記憶されている例が説明される。なお、本変形例では、以下で説明される構成以外の構成や処理は第1実施形態等で説明された構成や処理と同じであり、第1実施形態等と同じ符号及びステップ番号を用いて説明が省略される。
制御プログラム75は、図13が示す検知表示処理に代えて、図17が示す検知表示処理を実行する。
制御プログラム75は、第2実施形態と同様にしてステップS12、S13、S51、S52、S11の処理を実行して、監視画像データを取得する。制御プログラム75は、取得した監視画像データ及びコマンドを含むHTTPリクエストを生成し、当該HTTPリクエストを通信インタフェース73を通じて管理サーバ100(図2参照)に送信する(S45)。当該コマンドは、監視画像データが示す画像に人が映っているか否かを示す判断結果を返信することを要求するコマンドである。
管理サーバ100に実装されたサーバプログラム(不図示)は、受信したHTTPリクエストに含まれるコマンドにしたがって、当該HTTPリクエストに含まれる監視画像データを人判断プログラムに受け渡し、当該人判断プログラムから上記判断結果を受け取る。サーバプログラムは、受け取った判断結果を含むHTTPレスポンスを生成し、クレーン装置12に返信する。
制御プログラム75は、管理サーバ100が返信したHTTPレスポンスを通信インタフェース73を通じて取得する(S46)。制御プログラム75は、取得した判断結果に基づいて、第1実施形態と同様にしてステップS19からステップS24までの処理を実行する。
[第2実施形態の変形例3の作用効果]
本変形例では、メモリ72が人判断プログラム76を記憶しないから、第2実施形態よりも記憶容量の少ないメモリ72を使用することができる。
また、人判断プログラム76が管理サーバ100のサーバメモリに記憶されるから、人判断プログラム76の学習や更新が容易になる。
[第2実施形態の変形例4]
第2実施形態や、第2実施形態の変形例では、ブーム22の撓みを考慮せずに変位距離Hを特定する例が説明された。本変形例では、ブーム22の撓みを考慮して変位距離Hを特定する例が説明される。なお、本変形例では、以下で説明される構成以外の構成や処理は第1実施形態等で説明された構成や処理と同じであり、第1実施形態等と同じ符号及びステップ番号を用いて説明が省略される。
クレーン装置12は、吊荷重量センサ66(図2参照)をさらに備える。また、メモリ72は、吊荷重量と、ブーム長さと、補正値とを対応付けた上記第3対応テーブルを予め記憶する。
制御プログラム75は、図13が示す検知表示処理のステップS12において、吊荷重量センサ66が検出した吊荷重量をさらに取得する。制御プログラム75は、ステップS12で取得した吊荷重量及びブーム長さと、上記第3対応テーブルとに基づいて、補正値を特定する。制御プログラム75は、特定した補正値を用いて、ステップS13において、算出した変位距離Hを補正する。
[第2実施形態の変形例4の作用効果]
本変形例では、ブーム22の撓みに基づく補正値を用いて変位距離Hを補正する。したがって、ブーム22の撓みに基づいて変位距離Hを補正しない場合に比べ、変位距離Hが正確になる。その結果、クレーン車10の安全性が向上する。
[第2実施形態のその他の変形例]
上述の実施形態では、コントローラ70が画角制御信号を監視カメラ17に入力する例が説明された。もっとも、監視カメラ17が、距離に応じて画角(或いは焦点距離)を調整するコントローラを有していてもよい。コントローラ70は、画角制御信号に代えて変位距離Hを監視カメラ17に入力する。監視カメラ17のコントローラ70は、入力された変位距離Hに基づいて画角制御信号を生成し、生成した画角制御信号を上記移動機構に入力して画角を変更(調整)する。その場合、コントローラ70及び監視カメラ17のコントローラは、特許請求の範囲に記載された「コントローラ」に相当する。
上述の第2実施形態や、第2実施形態の変形例において、制御プログラム75は、強調オブジェクトを監視画像に重ね、かつ警告音をスピーカ83から出力する処理に代えて、或いは当該処理とともに、クレーン装置12を強制停止させる処理を実行してもよい。具体的には、制御プログラム75は、オペレータの操縦に拘らず旋回モータ51や起伏シリンダ52や伸縮シリンダ53や油圧モータ54への作動油の供給を停止して、旋回台21やブーム22やウインチ23の駆動を強制的に停止させる。
上述の第2実施形態の変形例2では、測距センサ65によって変位距離Hを検出する例が説明された。もっとも、変位距離Hは、走行体11や旋回台21に設置されたカメラによって検出されてもよい。
上述の第2実施形態の変形例2では、フックブロック32が掘下面や屋上面などの監視対象面に接触或いは近接している場合にオペレータが操縦装置29に所定入力を行うことで、制御プログラム75が、基準面から監視対象面までの高さdを算出する例が説明された。もっとも、オペレータは、当該高さdを制御モニタ80に入力してもよい。その場合、制御プログラム75は、高さdを算出する処理に代えて、オペレータが制御モニタ80に入力した値を受け付けて高さdとして取得する処理を実行する。
10・・・クレーン車
11・・・走行体
12・・・クレーン装置
13・・・運転室
17・・・監視カメラ
21・・・旋回台
22・・・ブーム
23・・・ウインチ
26・・・センサ群
29・・・操縦装置
32・・・フックブロック
34・・・吊荷フック
35・・・吊荷
41・・・ワイヤロープ
61・・・旋回角センサ
62・・・ブーム長さセンサ
63・・・起伏角度センサ
64・・・ドラムセンサ
65・・・測距センサ
66・・・吊荷重量センサ
70・・・コントローラ
71・・・CPU
72・・・メモリ
75・・・制御プログラム
76・・・人判断プログラム
80・・・制御モニタ
81・・・ディスプレイ
82・・・タッチセンサ
83・・・スピーカ
84・・・監視モニタ
本発明は、起伏及び伸縮が可能なブーム、ウインチ並びにこれらの駆動制御を行うコントローラを備えたクレーン装置に関する。
特許文献1は、ブームの先端部に監視カメラを取り付けたクレーン装置を開示する。監視カメラが下方を撮像して得られる監視画像は、運転室に設置された監視モニタに表示される。オペレータは、監視画像を見ながらクレーン装置の操縦を行い、例えば吊荷の直下やその近傍に人が侵入した場合にクレーン装置の操縦を停止する。
特許文献2に記載された監視カメラ制御システムは、上記監視画像中に「人」の存在を判断する機能を備えている。この監視カメラ制御システムでは、人の顔が検出される。
特開2019-167242号公報 特開2019-153886号公報
クレーン装置において、監視カメラはブームの先端部に取り付けられているから、クレーン操作によって監視カメラの高さが変化する。監視カメラの高さが高くなると、監視モニタに表示されるエリアが広くなり、また、監視画像に映る人の大きさが小さくなる。監視モニタに表示されるエリアが広くなると、人がいても危険でないエリアまで監視モニタに表示されてしまう。そうすると、オペレータは、人がいるか否かの判断に加え、人が危険なエリアに存在するか否かの判断もしなければならなくなり、オペレータの負担が増える。しかも、監視画像に映る人の大きさが小さくなると、人が存在するか否かの判断が難しくなり、オペレータの負担がさらに増える。
本願発明者は、監視画像において危険な領域に人が存在するか否かの判断を人判断プログラムによって行うことを思案した。しかしながら、人を頭上から撮像した画像では、人を横から撮像した画像に比べて人の輪郭が単調になり、人か否かの判断の精度が低下するとの課題に直面した。
本発明は、前述された事情に鑑みてなされたものであり、その目的は、人か否かの判断の精度を高めてオペレータの負担を軽減するクレーン装置を提供することである。
(1) 本発明に係るクレーン装置は、起伏及び伸縮可能なブームと、上記ブームの基端部側に設置されたウインチと、上記ウインチから上記ブームの先端部まで延びるワイヤロープと、上記ワイヤロープに繋がれた吊荷フックと、上記ブームの先端部に設置されており、下方を撮像して監視画像データを出力する監視カメラと、上記監視画像データが入力されるコントローラと、を備える。上記コントローラは、上記監視カメラから監視対象面までの変位距離を特定する変位距離特定処理と、上記変位距離及び上記監視画像データに基づいて、所定エリアの画像であって、かつ所定サイズの画像を示す判断対象画像データを生成する生成処理と、上記判断対象画像データが示す判断対象画像が人を含むか否かの判断結果であって、人判断プログラムが判断した結果である判断結果を取得する取得処理と、上記判断対象画像が人を含むと判断したことに基づく安全処理と、を実行する。
コントローラは、監視カメラから監視対象面までの変位距離を特定する。監視対象面は、地表面や掘下面や建築物の屋上面などである。コントローラは、変位距離及び監視画像データに基づいて人が存在するか否かの判断に用いられる判断対象画像データを生成する。判断対象画像データが示す画像は、人が存在すると危険であるエリアを示す。したがって、監視画像データが示す監視画像において人が存在するか否かを判断する場合に比べ、人判断プログラムが人が存在するか否かを判断する対象が低減し、その結果、危険なエリアに人が存在するか否かの判断の精度が向上する。また、判断対象画像データが示す画像は所定サイズであるから、判断プログラムは、画像において人が存在するか否かを判断する対象の大きさを推定する必要がなく、その結果、危険なエリアに人が存在するか否かの判断の精度がさらに向上する。コントローラは、危険なエリアに人が存在すると判断結果が示す場合、安全処理を行う。したがって、オペレータが監視画像に基づいて危険なエリアに人が存在するか否かを判断する従来のクレーン装置に比べ、本発明に係るクレーン装置は、オペレータの負担を軽減することができる。
(2) 上記生成処理は、上記変位距離に基づいて使用範囲を特定する処理と、上記監視画像データのうち、上記使用範囲外のデータを削除する処理と、上記使用範囲外のデータを削除したデータを上記所定サイズに変換する処理と、を有していてもよい。
コントローラは、特定した変位距離に基づいて、監視画像データのうち、人が存在するか否かの判断に用いる範囲を示す使用範囲を特定する。例えば、監視画像データが、画素間隔を規定する値(例えば解像度)と、各画素の位置を示す画素位置データ及び画素色データとを有する場合、使用範囲は、画素位置データで特定される。コントローラは、使用範囲を用いて使用範囲外のデータを削除した後、解像度などの画素間隔を規定する値を変更することによって所定サイズに変換し、人が存在するか否かの判断に用いられる判断対象画像データを生成する。
(3) 本発明に係るクレーン装置は、上記ブームの起伏角度に応じた第1検出値を出力する起伏角度センサと、上記ブームの伸縮長さに応じた第2検出値を出力するブーム長さセンサと、をさらに備えていてもよい。上記変位距離特定処理は、上記第1検出値が示す上記ブームの起伏角度及び上記第2検出値が示す上記ブームの伸縮長さに基づいて上記変位距離として地表面からの上記監視カメラの高さを算出する処理を有する。
起伏角度センサ及びブーム長さセンサは、従来からクレーン装置に搭載されている既存のセンサである。すなわち、監視対象面を地表面に限定することにより、既存のセンサを用いて変位距離を特定することができる。
(4) 本発明に係るクレーン装置は、上記ブームの起伏角度に応じた第1検出値を出力する起伏角度センサと、上記ブームの伸縮長さに応じた第2検出値を出力するブーム長さセンサと、上記ワイヤロープの繰出長さに応じた第3検出値を出力するワイヤ長さセンサと、上記吊荷フックが上記監視対象面に応じた所定高さであることを示す所定入力を受け付ける入力装置と、をさらに備えていてもよい。上記変位距離特定処理は、上記所定入力が入力されたときの上記第1検出値、上記第2検出値、及び上記第3検出値に基づいて上記監視対象面の高さ位置を特定する処理と、上記ブームが駆動された後における上記第1検出値、上記第2検出値、上記第3検出値、及び上記監視対象面の高さ位置に基づいて、上記変位距離を特定する処理を含む。
監視対象面は、地表面や掘下面や建築物の屋上面などである。オペレータは、例えば吊荷フックが監視対象面に接触或いは近接しているときに入力装置を操作して所定入力を行う。コントローラは、所定入力がされたときの第1検出値及び上記第2検出値に基づいてブーム先端部の高さ位置、すなわち監視カメラの高さ位置を算出する。コントローラは、ブーム先端部の高さ位置と、第3検出値が示すワイヤロープの繰出長さとに基づいて、監視対象面の高さ位置を特定する。コントローラは、ブームを駆動した後、特定した監視対象面の高さ位置と、第1検出値及び上記第2検出値とに基づいて変位距離を特定する。
(5) 本発明に係るクレーン装置は、上記変位距離に応じた第4検出値を出力する検出装置をさらに備えていてもよい。上記変位距離特定処理は、上記第4検出値に基づいて上記変位距離を特定する処理である。
(6) 上記コントローラは、上記人判断プログラムを記憶するメモリを有していてもよい。上記コントローラは、上記判断対象画像データと判断結果とを対応付けて学習用データとして上記メモリに記憶させる処理と、上記学習用データを上記メモリから外部に出力する処理と、外部から入力された更新用データで上記人判断プログラムを更新する処理と、をさらに実行する。上記取得処理は、上記判断対象画像データを上記人判断プログラムに受け渡す処理と、上記人判断プログラムから上記判断結果を受け取る処理と、を有する。
例えば、クレーン装置から収集した学習用データに判断結果の正誤を付し、人判断プログラムのディープラーニング(学習)に使用する。当該学習では、判断が正しかったデータや判断が誤りであったデータによって、人判断プログラムの判断の精度が向上される。判断の精度が向上された人判断プログラムがクレーン装置に入力されて人判断プログラムの更新が行われる。したがって、本発明に係るクレーン装置は、人判断プログラムの能力の向上を行うことができ、また、能力が向上された人判断プログラムで更新を行うことができる。能力が向上された人判断プログラムによって判断対象画像に人が映っているか否かが判断されるから、当該判断の精度がさらに良くなる。
(7) 本発明に係るクレーン装置は、上記監視画像データが示す監視画像或いは上記判断対象画像を表示する監視モニタをさらに備えていてもよい。上記判断結果は、上記判断対象画像が人を含むか否かを示す第1データと、当該判断対象画像上において人がいる位置を示す第2データとを含む。上記安全処理は、上記判断結果が示す人を監視モニタ上で強調する強調オブジェクトを上記判断対象画像或いは上記監視画像に重ねて表示させる処理と、を有する。
強調オブジェクトは、例えば赤い円や四角であり、監視カメラが撮像した画像に映る人が赤い円や四角で強調されて監視モニタに表示される。強調オブジェクトによって、監視モニタに人が映っているか否かを判断するオペレータの負担を軽減することができる。
(8) 本発明に係るクレーン装置は、起伏及び伸縮可能なブームと、上記ブームの基端部側に設置されたウインチと、上記ウインチから上記ブームの先端部まで延びるワイヤロープと、上記ワイヤロープに繋がれた吊荷フックと、上記ブームの先端部に設置されており、下方を撮像して監視画像データを出力し、入力された画角制御信号に基づいて画角を変更可能な監視カメラと、上記監視画像データが入力されるコントローラと、を備える。上記コントローラは、上記監視カメラから監視対象面までの変位距離を特定する変位距離特定処理と、上記変位距離に基づいて上記画角制御信号を生成し、当該画角制御信号を上記監視カメラに入力する画角変更処理と、上記監視画像データが示す監視画像が人を含むか否かの判断結果であって、人判断プログラムが判断した結果である判断結果を取得する取得処理と、上記監視画像が人を含むと判断したことに基づく安全処理と、を実行する。
コントローラは、監視カメラから監視対象面までの変位距離を特定する。監視対象面は、地表面や掘下面や建築物の屋上面などである。コントローラは、変位距離に基づいて、画角を変更する画角制御信号を生成して監視カメラに入力する。すなわち、監視カメラは、変位距離に応じた画角で撮像を行い、人が存在すると危険なエリアのみを常に撮像する。したがって、当該危険なエリア以外の範囲外エリアも撮像して当該範囲外エリアにおいても人が存在するか否かを判断する場合に比べ、人判断プログラムが人が映っているか否かを判断する対象が低減し、その結果、危険なエリアに人が存在するか否かの判断の精度が良くなる。また、判断の対象となる監視画像データが示す監視画像は常に所定サイズであるから、人か否かを判断する対象の大きさを人判断プログラムが推定する必要がなく、その結果、危険なエリアに人が存在するか否かの判断の精度がさらに向上する。コントローラは、危険なエリアに人が存在すると判断結果が示す場合、安全処理を行う。したがって、オペレータが監視画像に基づいて危険なエリアに人が存在するか否かを判断する従来のクレーン装置に比べ、本発明に係るクレーン装置は、オペレータの負担を軽減することができる。
(9) 本発明に係るクレーン装置は、上記ブームの起伏角度に応じた第1検出値を出力する起伏角度センサと、上記ブームの伸縮長さに応じた第2検出値を出力するブーム長さセンサと、をさらに備えていてもよい。上記変位距離特定処理は、上記第1検出値が示す上記ブームの起伏角度及び上記第2検出値が示す上記ブームの伸縮長さに基づいて上記変位距離として地表面からの上記監視カメラの高さを算出する処理を有する。
起伏角度センサ及びブーム長さセンサは、従来からクレーン装置に搭載されている既存のセンサである。すなわち、監視対象面を地表面に限定することにより、既存のセンサを用いて変位距離を特定することができる。
(10) 本発明に係るクレーン装置は、上記ブームの起伏角度に応じた第1検出値を出力する起伏角度センサと、上記ブームの伸縮長さに応じた第2検出値を出力するブーム長さセンサと、上記ワイヤロープの繰出長さに応じた第3検出値を出力するワイヤ長さセンサと、吊荷フックが上記監視対象面に応じた所定高さであることを示す所定入力を受け付ける入力装置と、をさらに備えていてもよい。上記変位距離特定処理は、上記所定入力が入力されたときの上記第1検出値、上記第2検出値、及び上記第3検出値に基づいて上記監視対象面の高さ位置を特定する処理と、上記ブームが駆動された後における上記第1検出値、上記第2検出値、上記第3検出値、及び上記監視対象面の高さ位置に基づいて、上記変位距離を特定する処理を有する。
監視対象面は、地表面や掘下面や建築物の屋上面などである。オペレータは、例えば吊荷フックが監視対象面に接触或いは近接しているときに入力装置を操作して所定入力を入力する。コントローラは、所定入力がされたときの第1検出値及び上記第2検出値に基づいてブーム先端部の高さ位置、すなわち監視カメラの高さ位置を算出する。コントローラは、ブーム先端部の高さ位置と、第3検出値が示すワイヤロープの繰出長さとに基づいて、監視対象面の高さ位置を特定する。コントローラは、ブームを駆動した後、特定した監視対象面の高さ位置と、第1検出値及び上記第2検出値とに基づいて変位距離を特定する。
(11) 本発明に係るクレーン装置は、上記変位距離に応じた第4検出値を出力する検出装置をさらに備えていてもよい。上記変位距離特定処理は、上記第4検出値に基づいて上記変位距離を特定する処理である。
(12) 本発明に係るクレーン装置は、上記コントローラは、上記人判断プログラムを記憶するメモリを有していてもよい。上記コントローラは、上記監視画像データと判断結果とを対応付けて学習用データとして上記メモリに記憶させる処理と、上記学習用データを上記メモリから外部に出力する処理と、外部から入力された更新用データで上記人判断プログラムを更新する処理と、をさらに実行する。上記取得処理は、上記監視画像データを上記人判断プログラムに受け渡す処理と、上記人判断プログラムから上記判断結果を受け取る処理と、を有する。
例えば、クレーン装置から収集した学習用データに判断結果の正誤を付し、人判断プログラムのディープラーニング(学習)に使用する。当該学習では、判断が正しかったデータや判断が誤りであったデータによって、人判断プログラムの判断の精度が向上される。判断の精度が向上された人判断プログラムがクレーン装置に入力されて人判断プログラムの更新が行われる。したがって、本発明に係るクレーン装置は、人判断プログラムの能力の向上を行うことができ、また、能力が向上された人判断プログラムで更新を行うことができる。能力が向上された人判断プログラムによって判断対象画像に人が映っているか否かが判断されるから、当該判断の精度がさらに良くなる。
(13) 本発明に係るクレーン装置は、上記監視画像データが示す監視画像或いは上記判断対象画像を表示する監視モニタをさらに備えていてもよい。上記判断結果は、上記判断対象画像が人を含むか否かを示す第1データと、当該判断対象画像上において人がいる位置を示す第2データとを含む。上記安全処理は、上記判断結果が示す人を監視モニタ上で強調する強調オブジェクトを上記判断対象画像或いは上記監視画像に重ねて表示させる処理を有する。
強調オブジェクトは、例えば赤い円や四角であり、監視カメラが撮像した画像に映る人が赤い円や四角で強調されて監視モニタに表示される。強調オブジェクトによって、監視モニタに人が映っているか否かを判断するオペレータの負担を軽減することができる。
本発明に係るクレーン装置は、人が危険エリアに存在するか否かの判断の精度を高めてオペレータの負担を軽減することができる。
図1は、ブーム22が起立した状態のクレーン車10の側面図である。 図2は、クレーン装置12の機能ブロック図である。 図3は、運転室13内の操縦装置29を示す図である。 図4は、第1実施形態における撮像エリアと危険エリアとを示す図である。 図5は、第1実施形態における検知表示処理のフローチャートである。 図6は、監視画像データに基づいて判断対象画像データを生成する処理を説明するための説明図である。 図7は、第1実施形態における送信/更新処理のフローチャートである。 図8は、第1実施形態の変形例1における撮像エリアと危険エリアとを示す図であって、監視対象面が掘下面である場合の図である。 図9は、第1実施形態の変形例1における撮像エリアと危険エリアとを示す図であって、監視対象面が建築物の屋上面である場合の図である。 図10は、第1実施形態の変形例1における検知表示処理のフローチャートである。 図11は、第1実施形態の変形例2における検知表示処理のフローチャートである。 図12は、第1実施形態の変形例3における検知表示処理のフローチャートである。 図13は、第2実施形態における検知表示処理のフローチャートである。 図14は、第2実施形態における変位距離Hと画角φとを示す図である。 図15は、第2実施形態の変形例1における検知表示処理のフローチャートである。 図16は、第2実施形態の変形例2における検知表示処理のフローチャートである。 図17は、第2実施形態の変形例3における検知表示処理のフローチャートである。
以下、本発明の一実施形態について説明する。なお、以下に説明される各実施形態は本発明の一例にすぎず、本発明の要旨を変更しない範囲で、各実施形態を適宜変更できることは言うまでもない。例えば、後述する各処理の実行順序は、本発明の要旨を変更しない範囲で適宜変更することができる。或いは、後述の処理の一部は、本発明の要旨を変更しない範囲で適宜省略することができる。
[第1実施形態]
本実施形態では、図1が示すクレーン車10が説明される。クレーン車10はラフテレーンクレーンである。但し、クレーン車10はオールテレーンクレーンであってもよい。
クレーン車10は、走行体11と、走行体11に付設されたアウトリガ装置14と、走行体11に搭載されたクレーン装置12及び運転室13と、を備える。
アウトリガ装置14は、地面に接地してクレーン車10の姿勢を安定させる複数のジャッキ18を有する。クレーン装置12は、ジャッキ18が伸長されてクレーン車10の姿勢が安定した状態で使用される。
クレーン装置12は、旋回台21、ブーム22、ウインチ23、センサ群26(図2参照)、油圧アクチュエータ群27(図2参照)、油圧供給装置28(図2参照)、操縦装置29(図2参照)、フックブロック32、監視カメラ17、及びコントローラ70(図2参照)を有する。
旋回台21は、走行体11に旋回可能に保持されている。そして、ブーム22は、旋回台21に起伏可能に支持されている。ブーム22は、複数の筒体が入れ子状に配置されており、いわゆるテレスコピックを構成し、伸縮可能である。すなわち、ブーム22は、起伏可能、伸縮可能、かつ旋回可能である。ブーム22は、略水平方向に沿う倒伏位置と、略鉛直方向に沿う起立位置との間で起伏する。クレーン車10は、ブーム22が縮小且つ倒伏にされた状態(いわゆる「格納状態」)で走行する。
ウインチ23は、ブーム22の基端或いは旋回台21に取り付けられている。ウインチ23は、ワイヤロープ41(以下、「ワイヤ41」と記載する)を巻き付けられたドラム56及びワイヤ41が掛け回されるシーブ57を有している。ウインチ23が駆動されることにより、ワイヤ41がドラム56に巻き取られ、或いは繰り出される。ウインチ23は、いわゆるメインフックであるフックブロック32に対して設けられているが、ウインチ23に加え、ウインチ23と同構成のサブウインチ(不図示)が後述のサブフックに対して設けられている。
ワイヤ41は、ブーム22の基端部に設けられたシーブ57、ブーム22の先端部に設けられたシーブ58、及び不図示の滑車装置に掛け回されている。当該滑車装置は、ブーム22の先端部に設けられた不図示の複数の第1シーブと、フックブロック32に設けられた不図示の複数の第2シーブとを有している。
フックブロック32は、フック本体33と、フック本体33内に回転可能に保持された複数の第2シーブ(不図示)と、フック本体33の下面に設けられた吊荷フック34とを備える。
ワイヤ41が第1シーブ及び第2シーブに掛け回される回数は、いわゆる「ワイヤ掛数」である。ワイヤ掛数が大きいほど、クレーン装置12が吊り下げ可能な荷物の最大値である最大吊荷重量が増加する。すなわち、ワイヤ掛数が大きいほどクレーン装置12の吊荷性能が増加する。なお、図1が示す例では、ブーム22の先端部とフックブロック32との間に疑似的に4本のワイヤ41が視認可能であり、ワイヤ掛数は「4」である。
フックブロック32は、いわゆる「メインフック」であって、特許請求の範囲に記載された「吊荷フック」に相当する。なお、吊荷フックは、第2シーブを有さないフック(いわゆる「サブフック」)であってもよい。クレーン車10は、メインフック(フックブロック32)及びサブフックを有しているが、図1ではサブフックが省略されている。
図2が示すように、クレーン装置12は、油圧アクチュエータ群27を備える。この油圧アクチュエータ群27は、旋回モータ51と、起伏シリンダ52と、伸縮シリンダ53と、油圧モータ54とを有する。
旋回モータ51は、油圧供給装置28から供給された作動油を介して回転する油圧モータであり、旋回台21を旋回させる。起伏シリンダ52は、油圧供給装置28から供給された作動油を介して伸縮する油圧シリンダであり、ブーム22を起伏させる。伸縮シリンダ53は、油圧供給装置28から供給された作動油を介して伸縮する油圧シリンダであり、ブーム22を伸縮させる。油圧モータ54は、油圧供給装置28から供給された作動油を介して回転し、ウインチ23のドラム56を回転させる。なお、図2には示されていないが、上記サブフックに対して設けられた上記サブウインチのドラムを回転させる油圧モータがクレーン装置12に設けられている。
油圧供給装置28は、走行体11が搭載するエンジン15によって駆動される油圧ポンプと、この油圧ポンプと上記油圧アクチュエータ群27の旋回モータ51等とを繋ぐ配管と、この配管等に設けられた油圧切換弁等とを備える。油圧切換弁はいわゆる電磁弁であってもよく、コントローラ70から入力される駆動信号によって駆動される。電磁弁が駆動することにより、旋回モータ51、起伏シリンダ52、伸縮シリンダ53、油圧モータ54が駆動される。すなわち、コントローラ70は、駆動信号を出力することにより、ブーム22を旋回、起伏、及び伸縮させ、ワイヤ41を巻き取り或いは繰り出すことができる。
センサ群26は、旋回角センサ61、ブーム長さセンサ62、起伏角度センサ63、ドラムセンサ64を有する。なお、図2において破線で示された測距センサ65は変形例2において説明され、同じく破線で示された吊荷重量センサ66は変形例4において説明される。
旋回角センサ61は、旋回台21の旋回基準位置からの旋回角度を検出するセンサである。旋回基準位置は、上記格納状態にあるブーム22が前方に向かって突出する状態の位置である。旋回角センサ61は、例えば旋回台21の旋回軸に設けられたロータリエンコーダである。旋回角センサ61は、旋回台21の旋回角度に応じた個数のパルス信号を検出値として出力する。なお、旋回角センサ61は、旋回台21の旋回角度や旋回位置に応じて変化する物理量を検出するセンサであればよい。
ブーム長さセンサ62は、ブーム22の長さに応じた第2検出値を出力する。ブーム長さセンサ62は、ブーム22の長さを直接検出するセンサであってもよいし、伸縮シリンダ53の伸長長さを検出するセンサであってもよい。すなわち、ブーム長さセンサ62は、ブーム22の長さに応じて変化する物理量を検出するセンサであればよい。
起伏角度センサ63は、ブーム22の起伏角度に応じた第1検出値を出力する。起伏角度センサ63は、典型的にはブーム22の起伏角度を直接検出するセンサが採用され、例えば、ブーム22に取り付けられており、水平面に対する角度を出力する傾斜センサや水平センサである。ただし、起伏角度センサ63は、起伏シリンダ52の伸長長さを検出するセンサなど、ブーム22の起伏角度に応じて変化する物理量を検出可能なものであればよい。
ドラムセンサ64は、例えば、ウインチ23のドラム56の軸に取り付けられたロータリエンコーダである。ドラムセンサ64は、ワイヤ41の繰り出し及び巻き取りに応じた第3検出値を出力する。第3検出値はパルス信号である。単位時間当たりのパルス数は、ドラム56の回転速度、すなわちワイヤ41の繰出速度や巻取速度を示し、パルスの総数は、ドラム56の回転量、すなわちワイヤ41の繰出長さや巻取長さを示す。なお、ドラムセンサ64は、メインフックであるフックブロック32用のウインチ23に加え、サブフック用の上記サブウインチに対しても設けられている。ドラムセンサ64は、特許請求の範囲に記載された「ワイヤ長さセンサ」に相当する。ドラムセンサ64が出力するパルス信号は、特許請求の範囲に記載された「第3検出値」に相当する。
以下では、旋回角センサ61やブーム長さセンサ62や起伏角度センサ63やドラムセンサ64等のセンサが出力する検出値が「センサ検出値」と記載されて説明がされる。
図1が示すように、監視カメラ17は、ブーム22の先端部に設けられており、当該先端部の下方を撮像エリアとするカメラである。例えば監視カメラ17は、ブーム22の起伏角度に拘らず常にブーム22の先端部の下方を撮影エリアとするような広角レンズを有する。或いはブーム22の起伏角度に応じて監視カメラ17の向きを変更する向き変更機構がブーム22の先端部に設けられている。以下では、監視カメラ17の自重によって監視カメラ17のレンズを常に下向きに向ける向き変更機構に監視カメラ17が取り付けられているものとして説明がされる。
監視カメラ17は、レンズで集光した光を検出する複数の撮像素子を有している。撮像素子は、CCDやCMOSなどである。各撮像素子は、画素色データをそれぞれ出力する。監視カメラ17は、画素色データに基づいて画像データを生成し、生成した画像データを出力する。なお、画像データは、画素色データの他、画素の位置を示す画素位置データや解像度を含む。以下では、監視カメラ17が出力する画像データを「監視画像データ」と記載し、監視画像データが示す画像を「監視画像」と記載して説明がされる。
センサ群26の旋回角センサ61、ブーム長さセンサ62、起伏角度センサ63、及びドラムセンサ64と、監視カメラ17とは、不図示の信号線によってコントローラ70と接続されている。すなわち、旋回角センサ61等が出力したセンサ検出値と、監視カメラ17が出力した監視画像データとは、コントローラ70に入力される。もっとも、監視カメラ17は、コントローラ70と無線接続されていてもよい。その場合、バッテリ及び送信アンテナが監視カメラ17に付設され、信号線等によってコントローラ70と接続された受信アンテナが運転室13に設置される。監視カメラ17は、バッテリから供給された電力によって撮像を行い、監視画面データを送信アンテナから送信する。送信された監視画像データは、受信アンテナで受信されてコントローラ70に入力される。
旋回角センサ61等の各センサは、所定の時間間隔で連続して検出を行って所定の時間間隔でセンサ検出値を出力し、監視カメラ17は、所定の時間間隔で連続して撮像を行って所定の時間間隔で監視画像データを出力する。
図3は、運転室13内の操縦装置29を示す図である。
図3が示すように、操縦装置29は、運転室13に配置されている。操縦装置29は、オペレータによって操作される操作レバー等と、制御モニタ80と、監視モニタ84と、を備える。操作レバー等は、フットペダルやボタンやスイッチなどである。
操縦装置29は、不図示の信号線によってコントローラ70と接続されている。オペレータは、操縦装置29を操作してコントローラ70に指示を入力し、クレーン装置12の操縦を行う。
図2が示すように、制御モニタ80は、ディスプレイ81と、ディスプレイ81に重ねられた透明なシート状のタッチセンサ82と、スピーカ83とを備える。すなわち、制御モニタ80は、いわゆる「AML」である。オペレータは、タッチセンサを用いて各種の入力を行う。なお、スピーカ83は、制御モニタ80とは別に設けられていてもよい。制御モニタ80或いはタッチセンサ82は、特許請求の範囲に記載された「入力装置」に相当する。
監視モニタ84は、上記監視画像或いは当該監視画像を加工した画像である後述の判断対象画像を表示するモニタである。オペレータは、監視モニタ84に表示された画像を監視しながらクレーン装置12の操縦を行う。
なお、クレーン車10は、操縦装置29に加え、或いは操縦装置29に代えて、不図示の遠隔操作装置を備えていてもよい。遠隔操作装置は、例えば、オペレータの入力を受け付けるタッチパネルや入力ボタンや入力レバー等と、オペレータの入力操作に応じた操作信号を送出するアンテナとを備える。遠隔操作装置が送出した操作信号は、クレーン車10の運転室13等に設置されたアンテナによって受信され、コントローラ70に入力される。もっとも、コントローラ70自体が遠隔装置に組み込まれていてもよい。
コントローラ70は、中央演算処理装置であるCPU71と、メモリ72と、通信インタフェース73と、電源回路74と、不図示の通信バスとを備える。コントローラ70は、制御基板に実装されたICやマイクロコンピュータや抵抗やダイオードやコンデンサ等によって実現される。制御基板は、例えば、運転室13に配置された制御ボックス内に配置されている。
通信インタフェース73は、移動体通信網及びインターネットを通じて管理サーバ100と通信を行うインタフェースである。
CPU71、メモリ72、油圧供給装置28、センサ群26の旋回角センサ61等、監視カメラ17、通信インタフェース73、及び操縦装置29は、通信バスに接続されている。CPU71によって実行される後述の制御プログラム75は、メモリ72からデータや情報を読み出し、メモリ72にデータや情報を記憶させ、油圧アクチュエータ群27の旋回モータ51等の駆動を制御し、センサ群26の旋回角センサ61等が出力したセンサ検出値や監視カメラ17が出力した監視画像データを取得し、オペレータが操縦装置29に対して行った入力を取得し、通信インタフェース73を通じて情報やデータを送受信することができる。
メモリ72は、CPU71によって実行される制御プログラム75及び人判断プログラム76や、演算式や、定数や、対応テーブルや、強調オブジェクトデータや、警告音データなどを予め記憶する。演算式等については後述される。
制御プログラム75は、操縦装置29やセンサ群26から入力した信号に基づいて油圧アクチュエータ群27等の駆動を制御したり、後述の検知表示処理等(図5参照)を実行するプログラムである。
人判断プログラム76は、画像に人が映っているか否かを判断するプログラムである。人判断プログラム76は、ディープラーニングなどの学習によって育成されるプログラムである。人判断プログラム76は、例えば画像データを2値化処理によって簡素化して複数の外形ラインを抽出し、抽出した外形ラインが、人を示す特定パターンに一致或いは近似するか否かによって人が画像に映っているかを判断する。上記学習は、上記特定パターンの種類や当該近似の範囲等を最適化することを意味する。なお、上記の人判断方法は一例であって、人判断プログラム76は、他の方法によって人が画像に映っているか否かを判断してもよい。
電源回路74は、走行体11に搭載されたバッテリ16から供給された直流電圧を、5Vや12Vや24Vなどの所定の電圧値の直流電圧に変換して出力する。電源回路74は、例えば、DC/DCコンバータである電源ICやコンデンサや抵抗やダイオードやコイルなどによって実現される。なお、バッテリ16は、走行体11が有するエンジン15によって充電される。電源回路74が出力する直流電圧は、CPU71や操縦装置29やセンサ群26や監視カメラ17などに供給される。図2では、電源回路74からセンサ群26等への給電線の図示は省略されている。
図4は、監視カメラ17が撮像を行う撮像エリアと、人の立ち入りを禁止する危険エリアとを示す図である。特に図4(A)は、ブーム22の先端部(すなわち監視カメラ17)が比較的低い高さ位置にある場合を示し、図4(B)は、ブーム22の先端部が比較的高い高さ位置にある場合を示している。
図5は、制御プログラム75が実行する検知表示処理のフローチャートを示す図である。
図4に示された危険エリアは一定範囲である。危険エリアは、例えばブーム22の先端部の直下となる位置を中心とし、所定半径の円内である。危険エリアは、監視対象面の種類(地表面/堀下面/屋上面)に拘らず、且つブーム22の先端部の高さ位置に拘らず、常に一定範囲である。危険エリアは、特許請求の範囲に記載された「所定エリア」に相当する。
監視カメラ17は、常に一定の画角(視野角)φで撮像を行う。したがって、撮像エリアは、監視対象面に対するブーム22の先端部の高さ位置によって変化する。具体的には、ブーム22の先端部の高さ位置(すなわち監視カメラ17の高さ位置)が高くなるほど、撮像エリアは広くなる。
上記のように危険エリアは一定範囲であるから、撮像エリアが広くなると、人が存在するか否かを判断する必要がない判断対象外エリアも広くなる。判断対象外エリアに人が存在するか否かの判断が行われると、CPU71の処理負担が増えるとともに、判断対象が増えることから人が存在するか否かの判断の精度が低下し、かつ当該判断に要する時間も長くなってしまう。検知表示処理では、危険エリアについてのみ人が存在するか否かの判断がされる。以下、詳しく説明がされる。
制御プログラム75は、例えば操縦装置29の電源がオンにされたことに基づいて、或いはオペレータが所定の入力を行ったことに基づいて、図5が示す検知表示処理を開始する。なお、制御プログラム75が実行する処理は、コントローラ70或いはCPU71が実行する処理でもある。
なお、本実施形態では、クレーン車10が作業を行う場所が地表面である場合が説明される。オペレータは、例えば作業を行う場所が地表面であることを指示する入力を制御モニタ80に入力する。制御プログラム75は、当該入力がされたことに基づいて、作業場所を「地表面」に設定する。或いは制御プログラム75は、地表面以外を指定する特定の入力が行われなかったことに基づいて、作業場所を「地表面」に設定する。地表面は、特許請求の範囲に記載された「監視対象面」に相当する。
制御プログラム75は、検知表示処理において、先ず監視カメラ17が出力した監視画像データを取得する(S11)。また、制御プログラム75は、旋回角センサ61等の各センサがそれぞれ出力したセンサ検出値を取得する(S12)。
制御プログラム75は、取得したセンサ検出値及びメモリ72に予め記憶された定数に基づいて、監視カメラ17の高さHを算出する(S13)。監視カメラ17の高さHは、監視対象面(地表面)からブーム22の先端部までの鉛直方向における距離である。監視カメラ17の高さHは、特許請求の範囲に記載された「変位距離」に相当する。以下では、監視カメラ17の高さHを変位距離Hと記載して説明がされる。変位距離Hを特定するステップS13の処理は、特許請求の範囲に記載された「変位距離特定処理」に相当する。
変位距離Hの算出について、図4が参照されて詳しく説明がされる。図4に示された高さaは、上記アウトリガ装置14が駆動されてクレーン車10の姿勢が安定した状態での監視対象面(地表面)からブーム22の基端までの鉛直方向における距離である。高さaは、メモリ72に予め記憶された定数の1つである。
制御プログラム75は、ブーム長さセンサ62が検出したブーム22の長さLに、起伏角度センサ63が検出した起伏角度θから算出したsinθを乗じ、さらに上記高さaを加えて変位距離Hを算出する。具体的には、変位距離Hを算出するための演算式がメモリ72に予め記憶されており、制御プログラム75は、当該演算式に長さL、起伏角度θ、及び高さaを入力することによって変位距離Hを算出する。当該演算式は、長さL、起伏角度θ、及び高さaを引数とし、変位距離Hを戻り値とする関数であってもよい。ブーム長さセンサ62が検出したブーム長さは、特許請求の範囲に記載された「ブームの伸縮長さ」に相当する。
図5が示すように、制御プログラム75は、算出した変位距離Hを用いて使用範囲(図6参照)を特定する(S14)。
図6は、監視画像のうち、人が存在するか否かを判断する範囲である使用範囲を示す図である。特に図6(A)は、監視カメラ17が比較的低い高さ位置にある場合(図4(A)参照)における使用範囲を示し、図6(B)は、監視カメラ17が比較的高い高さ位置にある場合(図4(B)参照)における使用範囲を示している。
図6が示す監視画像における黒丸は、画素を示す。図6に示す例では、監視画像は、横方向における21個の画素と、縦方向における11個の画素を有している。すなわち、監視画像の解像度は、「21×11」である。なお、図6では図を見易くするため解像度が「21×11」である例が示されているが、解像度は、「400×400(=16万画素)」や「1000×1000(=100万画素)」など他の解像度であってもよい。
監視画像は撮像エリア(図4参照)に対応し、使用範囲は危険エリア(図4参照)に対応し、使用範囲でない範囲は、判断対象外エリア(図4参照)に相当する。すなわち、使用範囲は、人が存在するか否かの判断を行う範囲であり、使用範囲でない範囲は当該判断が不要な範囲である。
監視画像データは、上記解像度と、複数の画素データとを有している。各画素データは、画素の位置を示す画像位置データと、画素の色を示す画素色データとを含む。画素位置データは、例えば画素番号である。解像度が「21×11」である場合、画素番号が「22」である画素データは、2列目の最初の画素のデータを示す。
メモリ72は、変位距離Hと複数の画素位置データとが対応付けられた第1対応テーブルを予め記憶する。当該複数の画素位置データは、使用範囲の各列の最初及び最後の画素位置を示す。すなわち、第1対応テーブルは、変位距離Hに応じた1つの使用範囲を特定するためのテーブルである。図5が示すように、制御プログラム75は、ステップS13で算出した変位距離Hと対応付けられた複数の画素位置データを、使用範囲として特定する(S14)。
制御プログラム75は、特定した使用範囲に基づいて加工データを生成する(S15)。具体的には、制御プログラム75は、ステップS14において特定した使用範囲に含まれる画素の画素位置データ(画素番号)を変更する。例えば、制御プログラム75は、使用範囲に含まれる画素の画素位置データ(画素番号)を通し番号に変更する。図6(A)が示す例では、使用範囲内の1列目の画素について、画素番号「45」から「61」までを、「1」から「17」の通し番号に変更し、他の列の画像についても同様に画素番号を変更する。
次に制御プログラム75は、生成した加工データに基づいて、所定サイズの判断対象画像データを生成する(S16)。具体的には、制御プログラム75は解像度を変更する。詳しく説明すると、メモリ72は、変位距離Hと解像度とが対応付けられた第2対応テーブルを予め記憶する。制御プログラム75は、ステップS13で算出した変位距離Hと対応付けられた解像度を特定する。図6(A)に示される例では、制御プログラム75は、解像度「17×7」を特定する。制御プログラム75は、元の解像度を、特定した解像度に変更する。図6(A)に示される例では、制御プログラム75は、解像度を「21×11」から「11×6」に変更し、図6(B)に示される例では、制御プログラム75は、解像度を「21×11」から「11×6」に変更している。
制御プログラム75は、ステップS14、S15、S16(図5参照)において、使用範囲内の画像を所定サイズまで拡大して、判断対象画像データが示す画像である判断対象画像を生成する。したがって、監視カメラ17がどのような高さ位置にあっても、危険エリアに立ち入った人は、判断対象画像において同程度の大きさとなる。なお、上述の監視対象画像データの生成方法は一例であって、他の方法によって判断対象画像データが生成されてもよい。例えば、使用範囲の画像を所定サイズの画像に拡大する場合、画素間距離など、解像度以外のパラメータが用いられてもよい。
ステップS14、S15、S16の処理は、特許請求の範囲に記載された「生成処理」に相当する。ステップS14は、特許請求の範囲に記載された「使用範囲を特定する処理」に相当する。ステップS15の処理は、特許請求の範囲に記載された「使用範囲外のデータを削除する処理」に相当する。ステップS16の処理は、特許請求の範囲に記載された「所定サイズに変換する処理」に相当する。
図5が示すように、制御プログラム75は、生成した判断対象画像データを、人判断プログラム76に受け渡し、判断対象画像データが示す判断対象画像に人が映っているか否かの判断を指示する(S17)。
人判断プログラム76は、受け渡された判断対象画像データに基づいて、判断対象画像に人が映っているか否かを判断する。ここにおいて、判断対象画像に映る人は、監視カメラ17の高さ位置に拘らず一定の大きさであるから、人判断プログラム76は、抽出した上記外形ラインの適正なサイズを推定することなく、人が映っているか否かの判断を行うことができる。すなわち、人判断プログラム76には、抽出した外形ラインの適正サイズの推定を行う機能が不要である。当該機能が不要であるから、人判断プログラム76のデータ容量が低減する。また、抽出した外形ラインの適正サイズの推定を行わないから、人が映っているか否かの判断の精度が良くなるとともに、当該判断に要する時間が短くなる。すなわち、撮像した監視画像のうち危険エリアを示す使用範囲のみを使用し、且つ使用範囲を示す画像を所定サイズに拡大することにより、人が存在するか否かの判断の精度が良くなり、かつ短時間で当該判断を行うことが可能になる。
人判断プログラム76は、受け渡された判断対象画像に人が映っているか否かを示す第1データを含む判断結果を制御プログラム75に返す。判断結果は、判断対象画像に人が映っている場合、当該人の位置を示す画素位置データを含む。当該画素位置データは、人を示す上記外形ラインの中心を示す画素の画素位置データであってもよいし、当該外形ラインに含まれる全ての画素の画素位置データであってもよい。人の位置を示す画素位置データは、特許請求の範囲に記載された「第2データ」に相当する。
制御プログラム75は、人判断プログラム76から判断結果を受け取る(S18)。制御プログラム75は、受け取った判断結果に基づいて、危険エリアに人が存在するか否かを判断する(S19)。ステップS18の処理は、特許請求の範囲に記載された「取得処理」に相当する。なお、制御プログラム75と人判断プログラム76との間の判断対象画像や判断結果の受け渡しは、オペレーティングシステムであるOSを介して行われてもよい。
制御プログラム75は、危険エリアに人が存在すると判断すると(S19:Yes)、判断対象画像データと、メモリ72に予め記憶された強調オブジェクトデータと、当該強調オブジェクトデータの表示位置を示す上記人位置情報とを監視モニタ84に入力する(S20)。監視モニタ84には、判断対象画像データが示す判断対象画像と、当該判断対象画像に映る人に重ねられた強調オブジェクトとが表示される。
強調オブジェクトは、例えば赤い円や四角等の赤枠である。すなわち、判断対象画像に映る人が赤い円や四角などの赤枠で囲まれる。或いは、強調オブジェクトは、赤い矢印である。すなわち、判断対象画像に映る人が赤い矢印で示される。すなわち、強調オブジェクトは、判断対象画像に映る人を強調してオペレータに視認し易くさせる。なお、強調オブジェクトは、判断対象画像に映る人を強調可能であれば、他の図形や記号や文字などであってもよいし、どのような色であってもよい。
なお、監視モニタ84には、危険エリアを拡大した画像である判断対象画像が表示される例が説明されたが、監視モニタ84には、拡大前の元の監視画像が表示されてもよい。或いは、オペレータが判断対象画像と監視画像とを選択可能であってもよい。
制御プログラム75は、オペレータの注意を喚起するため、メモリ72に予め記憶された警告音データをスピーカ83に入力する(S21)。スピーカ83は、警告音データが示す警告音を出力する。ステップS20、S21の処理は、特許請求の範囲に記載された「安全処理」に相当する。なお、安全処理は、ステップS20とステップS21とのいずれか一方であってもよい。
制御プログラム75は、危険エリアに人が存在しないと判断すると(S19:No)、判断対象画像データを監視モニタ84に入力する(S22)。なお、監視モニタ84には、判断対象画像に代えて監視画像が表示されてもよい。或いは、オペレータが判断対象画像と監視画像とを選択可能であってもよい。
制御プログラム75は、ステップS21或いはステップS22の処理の実行後、人判断プログラム76の学習に用いる学習用データを生成してメモリ72に記憶させる(S23)。学習用データは、上記判断対象画像データ及び上記判断結果である。ステップS23の処理は、特許請求の範囲に記載された「判断対象画像データと判断結果とを対応付けて学習用データとして上記メモリに記憶させる処理」に相当する。
制御プログラム75は、検知表示処理を終了するか否かを判断する(S24)。例えば制御プログラム75は、操縦装置29の電源をオフにする入力や、操縦装置29に特定の入力がされたことに基づいて検知表示処理を終了する。制御プログラム75は、検知表示処理を終了しないと判断すると(S24:No)、ステップS11以降の処理を再度実行する。繰り返し実行されるステップS11以降の処理は、例えば数十m秒から数秒の時間間隔で行われる。制御プログラム75は、検知表示処理を終了すると判断すると(S24:Yes)、検知表示処理を終了する(エンド)。
図7は、制御プログラム75が実行する送信/更新処理のフローチャートである。送信/更新処理は、上記学習用データを出力し、学習用データを用いて学習した新たなバージョンの人判断プログラムで、メモリ72に記憶された人判断プログラム76を更新する処理である。新たなバージョンの人判断プログラムは、特許請求の範囲に記載された「更新用データ」に相当する。なお、更新用データは、人判断プログラムの全部であってもよいし、人判断プログラムの一部であってもよい。
制御プログラム75は、クレーン装置12の電源がオンにされたことに基づいて送信/更新処理を実行する。まず、制御プログラム75は、前回学習用データを送信してから一定期間が経過したか否かを判断する(S31)。一定期間は、1日や1週間や1月や3月や1年などである。
制御プログラム75は、一定期間が経過していると判断すると(S31:Yes)、メモリ72に記憶した上記学習用データを通信インタフェース73を通じて管理サーバ100に送信する(S32)。
なお、クレーン装置12は、通信インタフェース73に代えて、或いは通信インタフェース73とともに、可搬記憶媒体が着脱可能な端子部を有していてもよい。可搬記憶媒体は、例えばUSBメモリ(登録商標)であり、端子部は、例えばUSB端子である。この場合、制御プログラム75は、ステップS23において、メモリ72に代えて可搬記憶媒体に学習用データを記憶させる。その場合、送信/更新処理において、ステップS31、S32の処理が省略される。可搬記憶媒体は、クレーン装置12から取り外されて、管理サーバ100(図2参照)或いは管理サーバ100と通信可能なパーソナルコンピュータなどの端末装置に装着される。可搬記憶媒体が記憶する上記学習用データは、直接或いは当該端末装置を通じて管理サーバ100に入力される。ステップS32の処理或いは可搬記憶媒体に学習用データを記憶させる処理は、特許請求の範囲に記載された「学習用データを上記メモリから外部に出力する処理」に相当する。
管理サーバ100は、人判断プログラム(不図示)を記憶している。例えば管理サーバ100のオペレータが、上記学習用データに判断の正誤を付す。判断の正誤が付された学習用データを用いて人判断プログラム76の学習が行われる。そして、学習によって判断の精度が向上した新たな人判断プログラムが新しいバージョンの人判断プログラムとされる。
一方、制御プログラム75は、前回HTTPリクエストを管理サーバ100に送信してから一定期間が経過したか否かを判断する(S33)。一定期間は、1日や1週間や1月などである。制御プログラム75は、前回HTTPリクエストを管理サーバ100に送信してから一定期間が経過したと判断すると(S33:Yes)、HTTPリクエストを通信インタフェース73を通じて管理サーバ100に送信する(S34)。当該HTTPリクエストは、メモリ72に記憶された人判断プログラム76のバージョンとコマンドとを含む。
管理サーバ100は、上記HTTPリクエストを受信すると、当該HTTPリクエストに含まれるコマンドにしたがって、当該HTTPリクエストに含まれるバージョンよりも新しいバージョンの人判断プログラム(以下、「新たな人判断プログラム」と記載する)があるか否かを判断する。管理サーバ100は、新たな人判断プログラムがあると判断すると、当該新たな人判断プログラムを含むHTTPレスポンスを、受信したHTTPレスポンスの応答として返信する。
制御プログラム75は、管理サーバ100が返信したHTTPレスポンスを受信する(S35)。制御プログラム75は、受信したHTTPレスポンスに新たな人判断プログラムが含まれるか否かを判断する(S36)。制御プログラム75は、受信したHTTPレスポンスに新たな人判断プログラムが含まれると判断すると(S36:Yes)、新たな人判断プログラムにより、メモリ72に記憶された人判断プログラム76を更新する(S37)。制御プログラム75は、受信したHTTPレスポンスに新たな人判断プログラムが含まれないと判断すると(S36:No)、ステップS37の処理をスキップする。ステップS37の処理は、特許請求の範囲に記載された「人判断プログラムを更新する処理」に相当する。
なお、人判断プログラム76の更新は、上記可搬記憶媒体を用いて行われてもよい。具体的には、オペレータは、新しい人判断プログラムが記憶された可搬記憶媒体をクレーン装置12に装着する。制御プログラム75は、可搬記憶媒体に記憶された人判断プログラムのバージョンがメモリ72に記憶された人判断プログラム76のバージョンより新しいと判断すると、可搬記憶媒体に記憶された新しい人判断プログラムを用いてメモリ72に記憶された人判断プログラム76を更新する。この場合、ステップS33からステップS37までの処理が省略される。
制御プログラム75は、送信/更新処理を終了するか否かを判断する(S38)。例えば、制御プログラム75は、クレーン装置12の電源がオフにされたことや、特定の入力がされたことに基づいて、送信/更新処理を終了すると判断する。制御プログラム75は、送信/更新処理を終了しないと判断すると(S38:No)、ステップS31以降の処理を再度実行する。繰り返し実行されるステップS31以降の処理は、例えば数十m秒から数秒の時間間隔で行われる。制御プログラム75は、送信/更新処理を終了すると判断すると(S38:Yes)、送信/更新処理を終了する(エンド)。
[第1実施形態の作用効果]
本実施形態では、コントローラ70は、監視画像データのうち、危険エリア(使用範囲)を示すデータのみが用いられて判断対象画像データが生成される。したがって、危険エリアでない判断対象外エリアを含む監視画像データに基づいて人が映っているか否かを判断する場合に比べ、人が映っているか否かを判断する対象(上記外形ライン)の個数が低減する。その結果、危険エリアに人が存在するか否かの判断の精度が良くなり、且つ当該判断に要する時間が短くなる。
また、本実施形態では、人判断プログラム76に受け渡される判断対象画像データが示す判断対象画像が常に所定サイズであるから、人判断プログラム76は、上記外形ラインが適正サイズであるかを推定せずに人が映っているか否かを判断することがきる。すなわち、人判断プログラム76には、上記推定を行う機能が不要となる。その結果、人が危険エリアに存在するか否かの判断の精度がさらに良くなり、クレーン装置12の安全性がさらに向上する。
また、本実施形態では、監視対象面を地表面に限定することにより、既存のセンサであるブーム長さセンサ62及び起伏角度センサ63を用いて変位距離Hを算出して判断対象画像データを生成することができる。
また、本実施形態では、コントローラ70は、危険エリアに人が存在すると判断すると、監視モニタ84に映る人を赤枠(強調オブジェクト)で囲むとともに、警告音をスピーカ83に出力させる。したがって、オペレータが監視画像に基づいて危険エリアに人が存在するか否かを判断する従来のクレーン装置に比べ、クレーン装置12は、オペレータの負担を軽減することができる。
また、本実施形態では、危険エリアを拡大した画像である判断対象画像が監視モニタ84に表示されるから、拡大前の監視画像が監視モニタ84に表示される場合よりも、危険エリアにいる人をオペレータに容易に認識させることができる。
[第1実施形態の変形例1]
第1実施形態では、監視対象面が地表面である例が説明された。本変形例では、監視対象面が地表面より下の掘下面である場合(図8参照)や、監視対象面が地表面より上の建物の屋上面である場合(図9参照)が説明される。なお、本変形例では、以下で説明される構成以外の構成や処理は第1実施形態で説明された構成や処理と同じであり、第1実施形態と同じ符号及びステップ番号を用いて説明が省略される。
図8は、監視対象面が掘下面である場合における監視カメラ17の撮像エリアと危険エリアとを示す図である。特に図8(A)は、作業開始前にフックブロック32を掘下面に接触或いは近接させている状態を示し、図8(B)は、作業中の状態を示している。
図9は、監視対象面が建築物の屋上面である場合における監視カメラ17の撮像エリアと危険エリアとを示す図である。特に図9(A)は、作業開始前にフックブロック32を建築物の屋上面に接触或いは近接させている状態を示し、図9(B)は、作業中の状態を示している。
図10は、本変形例において制御プログラム75が実行する検知表示処理のフローチャートである。
制御プログラム75は、第1実施形態と同様に、監視カメラ17が出力した監視画像データと、センサ群26の各センサが出力したセンサ検出値とを取得する(S11、S12)。
次に制御プログラム75は、所定入力があったか否かを判断する(S41)。詳しく説明すると、オペレータは、図8(A)及び図9(A)に示されるように、作業開始前において、フックブロック32が監視対象面に接触或いは近接しているときに、制御モニタ80を操作して所定入力を行う。
図10が示すように、制御プログラム75は、所定入力があったと判断すると(S41:Yes)、ステップS12で取得したセンサ検出値に基づいて、クレーン車10が位置する基準面(地表面)から監視対象面までの鉛直方向における距離である高さd(図8及び図9参照)を算出してメモリ72に記憶させる(S42)。詳しく説明すると、制御プログラム75は、ブーム長さセンサ62が検出したブーム長さL1と、起伏角度センサ63が検出した起伏角度θ1と、メモリ72に予め記憶された高さa(定数)及び演算式に基づいて、基準面(地表面)からブーム22の先端部までの距離「L1sinθ1+a」を算出する。制御プログラム75は、「L1sinθ1+a」から、ドラムセンサ64が検出したワイヤ41の繰出長さbを減じることにより、基準面から監視対象面までの高さdを算出する。なお、ドラムセンサ64が検出したワイヤ41の繰出長さbは、上記ワイヤ掛数に基づいて補正される。例えば、ワイヤ掛数が「4」である場合、繰出長さは、概ね「b/4」とされる。
監視対象面が掘下面である場合(図8(A)参照)、高さdは負の値となり、監視対象面が建築物の屋上面である場合(図9(A)参照)、高さdは正の値となり、監視対象面が地表面である場合(図4参照)、高さdは「0」となる。高さdは、特許請求の範囲に記載された「監視対象面の高さ位置」に相当する。ステップS42の処理は、特許請求の範囲に記載された「監視対象面の高さ位置を特定する処理」に相当する。
制御プログラム75は、所定入力がないと判断すると(S41:No)、ステップS42の処理をスキップする。
制御プログラム75は、第1実施形態と同様にして、ステップS12で取得したセンサ検出値に基づいて、監視カメラ17の高さ(変位距離)Hを算出する(S13)。図8(B)及び図9(B)が示す例では、制御プログラム75は、ブーム長さセンサ62が検出したブーム長さL2と、起伏角度センサ63が検出した起伏角度θ2と、高さa(定数)と、上記演算式とに基づいて、変位距離H=L2sinθ2+aを算出する。
図10が示すように、制御プログラム75は、ステップS13で算出した高さと、ステップS42でメモリ72に記憶させた高さdとに基づいて、監視対象面からブーム22の先端部までの鉛直方向における距離(変位距離H)を算出する。具体的には、制御プログラム75は、メモリ72に記憶された演算式を用いて、基準面(地表)からブーム22の先端部までの鉛直方向における距離L2sinθ2+a-dを算出する(図8(B)及び図9(B)参照)。すなわち、制御プログラム75は、基準面(地表)からの監視カメラ17の高さを算出する。
制御プログラム75は、第1実施形態と同様にして、算出した変位距離Hに対応する使用範囲を特定して(S14)加工データを生成し(S15)、次いで判断対象画像データを生成する(S16)。制御プログラム75は、生成した判断対象画像データを人判断プログラム76に受け渡し(S17)、判断結果を人判断プログラム76から受け取る(S18)。制御プログラム75は、判断結果に基づいて、判断対象画像や強調オブジェクトを監視モニタ84に表示させ(S20、S21、S23)、警告音をスピーカから出力させる(S22)。制御プログラム75は、メモリ72に記憶後(S24)、終了か否かを判断し(S25)、終了でないと判断すると(S25:No)、所定の時間間隔でステップS11以降の処理を再度実行する。制御プログラム75は、終了と判断すると(S25:Yes)、検知表示処理を終了する(エンド)。
[第1実施形態の変形例1の作用効果]
本変形例では、制御プログラム75は、基準面(地表面)から掘下面(監視対象面)や建築物の屋上面(監視対象面)までの高さdを算出して、監視対象面に対する監視カメラ17の高さを変位距離Hとして算出する。したがって、監視対象面が地表面でない場合であっても、危険エリアのみについて人が存在するか否かを判断することができ、かつ危険エリアを示す使用範囲の画像を所定サイズに拡大して人が存在するか否かを判断することができる。したがって、危険なエリアに人が存在するか否かの判断の精度が良くなり、且つ当該判断に要する時間が短くなる。
なお、本変形例では、メインフックであるフックブロック32を用いて高さdが特定される例が説明されたが、上記サブフックを用いて高さdが特定されてもよい。
[第1実施形態の変形例2]
変形例1では、オペレータが所定入力を行って、基準面(地表面)から監視対象面(掘下面/屋上面)までの高さdを算出し、高さdを用いて変位距離Hを算出する例が説明された。本変形例では、ブーム22の先端部に設けられた測距センサ65(図2参照)によって変位距離Hが特定される例が説明される。なお、本変形例では、以下で説明される構成以外の構成や処理は第1実施形態で説明された構成や処理と同じであり、第1実施形態と同じ符号及びステップ番号を用いて説明が省略される。
クレーン装置12は、測距センサ65(図2参照)をさらに備える。測距センサ65は、ブーム22の先端部に取り付けられており、下方を検知領域としている。測距センサ65は、レーザ光を照射し、監視対象面で反射された反射光を受光して距離を計測するレーザ測距センサである。或いは、測距センサ65は、音波を出力し、監視対象面で反射された反射波を受信して距離を計測する音波センサである。測距センサ65は、監視対象面までの距離を計測可能であれば、どのような種類の測距センサであってもよい。測距センサ65は、特許請求の範囲に記載された「検出装置」に相当する。測距センサ65が出力する検出値は、特許請求の範囲に記載された「第4検出値」に相当する。
制御プログラム75は、図5が示す検知表示処理に代えて、図11が示す検知表示処理を実行する。図11が示す検知表示処理において、制御プログラム75は、ステップS11の実行後、測距センサ65が検出した距離を変位距離Hとして取得する(S44)。制御プログラム75は、取得した変位距離Hに基づいて、第1実施形態と同様にしてステップS14以降の処理を実行する。ステップS44の処理は、特許請求の範囲に記載された「第4検出値に基づいて上記変位距離を特定する処理」に相当する。
[第1実施形態の変形例2の作用効果]
本変形例では、1つのセンサ(測距センサ65)によって変位距離Hを特定するから、複数のセンサによって変位距離Hを特定する場合(第1実施形態/変形例1)に比べ誤差が積算されない。したがって、変位距離H及び使用範囲(危険エリア)を第1実施形態に比べ正確に特定することができる。その結果、クレーン車10の安全性がさらに向上する。
[第1実施形態の変形例3]
上述の第1実施形態では、人判断プログラム76がメモリ72に記憶された例が説明された。本変形例では、人判断プログラム76がメモリ72ではなく管理サーバ100(図2参照)に記憶されている例が説明される。なお、本変形例では、以下で説明される構成以外の構成や処理は第1実施形態で説明された構成や処理と同じであり、第1実施形態と同じ符号及びステップ番号を用いて説明が省略される。
制御プログラム75は、図5が示す検知表示処理に代えて、図12が示す検知表示処理を実行する。
制御プログラム75は、第1実施形態と同様にしてステップS11からステップS16までの処理を実行して、判断対象画像データを生成する。制御プログラム75は、生成した判断対象画像データ及びコマンドを含むHTTPリクエストを生成し、当該HTTPリクエストを通信インタフェース73を通じて管理サーバ100(図2参照)に送信する(S45)。当該コマンドは、判断対象画像データが示す画像に人が映っているか否かを示す判断結果を返信することを要求するコマンドである。
管理サーバ100に実装されたサーバプログラム(不図示)は、受信したHTTPリクエストに含まれるコマンドにしたがって、当該HTTPリクエストに含まれる判断対象画像データを人判断プログラムに受け渡し、当該人判断プログラムから上記判断結果を受け取る。サーバプログラムは、受け取った判断結果を含むHTTPレスポンスを生成し、クレーン装置12に返信する。
制御プログラム75は、管理サーバ100が返信したHTTPレスポンスを通信インタフェース73を通じて取得する(S46)。制御プログラム75は、取得した判断結果に基づいて、第1実施形態と同様にしてステップS19からステップS24までの処理を実行する。
[第1実施形態の変形例3の作用効果]
本変形例では、メモリ72に人判断プログラム76が記憶されないから、第1実施形態よりも記憶容量の少ないメモリ72を使用することができる。
また、人判断プログラム76が管理サーバ100のサーバメモリに記憶されるから、人判断プログラム76の学習や更新が容易になる。
[第1実施形態の変形例4]
上述の第1実施形態や変形例1では、ブーム22の撓みを考慮せずに変位距離Hを算出する例が説明された。本変形例では、ブーム22の撓みを考慮して変位距離Hを算出する例が説明される。なお、本変形例では、以下で説明される構成以外の構成や処理は第1実施形態で説明された構成や処理と同じであり、第1実施形態と同じ符号及びステップ番号を用いて説明が省略される。
クレーン装置12は、吊荷重量センサ66(図2参照)をさらに備える。吊荷重量センサ66は、フックブロック32に吊り下げられた吊荷35(図3参照)の重量(以下、「吊荷重量」と記載する)に応じた物理量を検出値として検出するセンサである。吊荷重量センサ66は、例えば、ワイヤ41に加わる張力を検出するセンサであってもよいし、油圧モータ54(図2参照)に供給される作動油の油圧を検出する圧力センサであってもよい。なお、吊荷重量センサ66と同様のサブ吊荷重量センサが上記サブウインチに対して設けられていてもよい。ウインチ23ではなく当該サブウインチが使用される場合、当該サブ吊荷重量センサの検出値が吊荷重量センサ66の検出値に代えて使用される。
また、メモリ72は、吊荷重量と、ブーム長さと、補正値とを対応付けた第3対応テーブルを予め記憶する。当該ブーム長さは、ブーム22の全長であってもよいし、ブーム22が有する上記各筒体の個々の長さであってもよい。当該ブーム長さが各筒体の個々の長さである場合、ブーム長さセンサ62には、各筒体の個々の長さを検出可能なセンサが用いられる。
制御プログラム75は、図5が示す検知表示処理のステップS12において、吊荷重量センサ66が検出した吊荷重量をさらに取得する。制御プログラム75は、ステップS12で取得した吊荷重量及びブーム長さと、上記第3対応テーブルとに基づいて、補正値を特定する。制御プログラム75は、特定した補正値を用いて、ステップS13において、算出した変位距離Hを補正する。
なお、上記第対応3テーブルでは、吊荷重量と、ブーム長さと、撓み演算式とが対応付けられていてもよい。当該撓み演算式は、例えば吊荷重量及びブーム長さに応じた撓み量を算出する演算式である。この撓み量に基づいて上記補正値が算出される。
[第1実施形態の変形例4の作用効果]
本変形例では、ブーム22の撓みに基づく補正値を用いて変位距離Hを補正する。したがって、ブーム22の撓みに基づいて変位距離Hを補正しない場合に比べ、変位距離Hが正確になる。その結果、クレーン車10の安全性がさらに向上する。
[第1実施形態のその他の変形例]
上述の第1実施形態や変形例において、制御プログラム75は、強調オブジェクトを判断対象画像に重ねる処理や警告音をスピーカ83から出力する処理に代えて、或いは当該処理とともに、クレーン装置12を強制停止させる処理を実行してもよい。具体的には、制御プログラム75は、オペレータの操縦に拘らず旋回モータ51や起伏シリンダ52や伸縮シリンダ53や油圧モータ54への作動油の供給を停止して、旋回台21やブーム22やウインチ23の駆動を強制的に停止させる。
上述の第1実施形態の変形例2では、測距センサ65によって変位距離Hを検出する例が説明された。もっとも、変位距離Hは、走行体11や旋回台21に設置されたカメラによって検出されてもよい。
上述の第1実施形態の変形例2では、フックブロック32が掘下面や屋上面などの監視対象面に接触或いは近接している場合にオペレータが操縦装置29に所定入力を行うことで、制御プログラム75が、基準面から監視対象面までの高さdを算出する例が説明された。もっとも、オペレータは、当該高さdを制御モニタ80に入力してもよい。その場合、制御プログラム75は、高さdを算出する処理に代えて、オペレータが制御モニタ80に入力した値を受け付けて高さdとして取得する処理を実行する。
[第2実施形態]
第1実施形態では、画角が常に一定である監視カメラ17が使用される例が説明された。本実施形態では、監視カメラ17の画角が調整可能である場合が説明される。なお、本実施形態では、以下で説明される構成以外の構成や処理は第1実施形態で説明された構成や処理と同じであり、第1実施形態と同じ符号及びステップ番号を用いて説明が省略される。
図13は、本実施形態において制御プログラム75が実行する検知表示処理のフローチャートである。
本実施形態では、監視カメラ17(図2参照)は、画角或いは焦点距離を変更(調整)する機能を有している。例えば、監視カメラ17は、凹レンズや凸レンズや凹凸レンズなどの複数のレンズと、一乃至複数のレンズを移動させる移動機構とを有している。監視カメラ17は、入力された画角制御信号に基づいて移動機構を駆動させ、レンズ間の距離を変更(調整)する。すなわち、監視カメラ17は、入力された画角制御信号に基づいて画角或いは焦点距離を変更(調整)する。
本実施形態では、クレーン車10が作業を行う場所が地表面である場合が説明される。オペレータは、例えば作業を行う場所が地表面であることを指示する入力を制御モニタ80に入力する。制御プログラム75は、当該入力がされたことに基づいて、作業場所を「地表面」に設定する。或いは制御プログラム75は、特定の入力が行われなかったことに基づいて、作業場所を「地表面」に設定する。地表面は、特許請求の範囲に記載された「監視対象面」に相当する。
図13が示すように、先ず制御プログラム75は、第1実施形態と同様にしてセンサ検出値を取得する(S12)。制御プログラム75は、取得したセンサ検出値に基づいて、第1実施形態と同様にして地表面からのブーム22の先端部までの高さである変位距離Hを算出する(S13)。
制御プログラム75は、算出した変位距離Hに基づいて、画角制御信号を特定する(S51)。詳しく説明すると、メモリ72は、変位距離Hと画角制御信号とを対応付けた第4対応テーブルを予め記憶する。制御プログラム75は、ステップS13で算出した変位距離Hと対応付けられた画角制御信号を第4対応テーブルにおいて特定する。制御プログラム75は、特定した画角制御信号を監視カメラ17に入力する(S52)。監視カメラ17は、入力された画角制御信号に基づいて画角を変更する。ステップS51及びS52は、特許請求の範囲に記載された「画角変更処理」に相当する。
図14は、監視カメラ17の画角φと撮像エリアとの関係を示す図である。特に図13(A)は、ブーム22の先端部(すなわち監視カメラ17)が比較的低い高さ位置にある場合を示し、図14(B)は、ブーム22の先端部が比較的高い高さ位置にある場合を示している。
図14が示すように、画角φは、監視カメラ17の高さ(変位距離)Hに拘らず撮像エリアが常に危険エリアとなるように、変位距離Hに応じて変更(調整)される。図14が示す例では、監視カメラ17が比較的低い高さ位置にある場合には(図14(A)参照)、画角がφ1に変更(調整)されて危険エリアが撮像エリアとされる。監視カメラ17が比較的高い高さ位置にある場合には(図14(B)参照)、画角がφ2(<φ1)に変更(調整)されて危険エリアが撮像エリアとされる。
変位距離Hに応じて画角φが変更(調整)されて常に危険エリアのみが撮像されるから、人が存在するか否かの判断が不要なエリアが撮像されず、人が存在するか否かの判断が不要なエリアまで撮像する場合に比べ、人判断プログラム76が判断の対象とする上記外形ラインの個数が低減する。その結果、人判断プログラム76において、人が画像に映っているか否かの判断の精度が良くなるとともに、当該判断に要する時間が短くなる。
図13が示すように、制御プログラム75は、画角を変更した後に監視カメラ17が出力した監視画像データを取得する(S11)。その後、制御プログラム75は、第1実施形態と同様にしてステップS17からステップS24までの処理を実行する。なお、ステップS23において制御プログラム75は、判断対象画像データに代えて監視画像データを含む学習用データを生成してメモリ72に記憶させる。ステップS23の処理は、特許請求の範囲に記載された「監視画像データと判断結果とを対応付けて学習用データとして上記メモリに記憶させる処理」に相当する。
[第2実施形態の作用効果]
本実施形態では、危険エリア以外のエリアも撮像して当該エリアにおいても人が存在するか否かを判断する場合に比べ、人判断プログラム76が、人が画像に映っているか否かを判断する対象(上記外形ライン)が低減する。その結果、危険エリアに人が存在するか否かの判断の精度が良くなるとともに、当該判断に要する時間を短縮することができる。
また、本実施形態では、人判断プログラム76に受け渡される監視画像データが常に同じサイズの画像となるから、人判断プログラム76は、上記外形ラインが適正サイズであるか否かの推定を行わずに人が映っているか否かを判断することがきる。すなわち、人判断プログラム76において、上記推定を行う機能が不要となる。その結果、人が危険エリアに存在するか否かの判断の精度がさらに良くなり、クレーン装置12の安全性がさらに向上する。
また、本実施形態では、監視対象面を地表面とすることにより、既存のセンサであるブーム長さセンサ62及び起伏角度センサ63を用いて変位距離Hを算出して画角制御信号を特定することができる。
また、本実施形態では、コントローラ70は、危険エリアに人が存在すると判断すると、監視モニタ84に映る人を赤枠(強調オブジェクト)で囲むとともに、警告音をスピーカ83に出力させる。したがって、オペレータが監視画像に基づいて危険エリアに人がいるか否かを判断する従来のクレーン装置に比べ、クレーン装置12は、オペレータの負担を軽減することができる。
[第2実施形態の変形例1]
第2実施形態では、監視対象面が地表面である例が説明された。本変形例では、監視対象面が掘下面や建物の屋上面である例が説明される。なお、本変形例では、以下で説明される構成以外の構成や処理は、第1実施形態、第2実施形態、及び第1実施形態の変形例で説明された構成や処理と同じであり、第1実施形態や第2実施形態や当該変形例と同じ符号及びステップ番号を用いて説明が省略される。以下では、第1実施形態、第2実施形態、及び第1実施形態の変形例が「第1実施形態等」と記載されて説明がされる。
図15は、本変形例において制御プログラム75が実行する検知表示処理のフローチャートである。
制御プログラム75は、第1実施形態等と同様にして、センサ検出値を取得し(S12)、その後、監視対象面の高さdを算出してメモリ72に記憶させる(S41、S42)。制御プログラム75は、第1実施形態等と同様にして、算出した高さdとブーム22の先端部の高さ(監視カメラ17の高さ)とから変位距離Hを算出し(S43)、当該変位距離Hに基づいて画角制御信号を特定し(S51)、当該画角制御信号を監視カメラ17に入力する(S52)。次に、制御プログラム75は、画角を変更した監視カメラ17が出力した監視画像データを取得する(S11)。その後、制御プログラム75は、第1実施形態等と同様にしてステップS17からステップS24の処理を実行する。
[第2実施形態の変形例1の作用効果]
本変形例では、制御プログラム75は、基準面から掘下面(監視対象面)や建築物の屋上面(監視対象面)までの高さdを算出して、監視対象面からブーム22の先端部までの距離を変位距離Hとして算出する。したがって、監視対象面が地表面でない場合であっても、危険エリアのみについて人が存在するか否かを判断することができる。したがって、危険エリアに人が存在するか否かの判断の精度が良くなり、かつ当該判断に要する時間が短くなる。
[第2実施形態の変形例2]
本変形例では、ブーム22の先端部に設けられた測距センサ65(図2参照)によって変位距離Hが特定される例が説明される。なお、本変形例では、以下で説明される構成以外の構成や処理は第1実施形態等で説明された構成や処理と同じであり、第1実施形態等と同じ符号及びステップ番号を用いて説明が省略される。
制御プログラム75は、図13が示す検知表示処理に代えて、図16が示す検知表示処理を実行する。図16が示す検知表処理において、先ず制御プログラム75は、測距センサ65が検出した距離を変位距離Hとして取得する(S44)。制御プログラム75は、取得した変位距離Hに基づいて、第1実施形態等と同様にしてステップS51以降の処理を実行する。
[第2実施形態の変形例2の作用効果]
本変形例では、1つのセンサ(測距センサ65)によって変位距離Hを特定するから、複数のセンサによって変位距離Hを特定する場合(第2実施形態/変形例1)に比べ誤差が積算されない。したがって、第2実施形態に比べ変位距離Hを正確に特定することができ、その結果、クレーン車10の安全性がさらに向上する。
[第2実施形態の変形例3]
本変形例では、人判断プログラム76がメモリ72ではなく管理サーバ100(図2参照)に記憶されている例が説明される。なお、本変形例では、以下で説明される構成以外の構成や処理は第1実施形態等で説明された構成や処理と同じであり、第1実施形態等と同じ符号及びステップ番号を用いて説明が省略される。
制御プログラム75は、図13が示す検知表示処理に代えて、図17が示す検知表示処理を実行する。
制御プログラム75は、第2実施形態と同様にしてステップS12、S13、S51、S52、S11の処理を実行して、監視画像データを取得する。制御プログラム75は、取得した監視画像データ及びコマンドを含むHTTPリクエストを生成し、当該HTTPリクエストを通信インタフェース73を通じて管理サーバ100(図2参照)に送信する(S45)。当該コマンドは、監視画像データが示す画像に人が映っているか否かを示す判断結果を返信することを要求するコマンドである。
管理サーバ100に実装されたサーバプログラム(不図示)は、受信したHTTPリクエストに含まれるコマンドにしたがって、当該HTTPリクエストに含まれる監視画像データを人判断プログラムに受け渡し、当該人判断プログラムから上記判断結果を受け取る。サーバプログラムは、受け取った判断結果を含むHTTPレスポンスを生成し、クレーン装置12に返信する。
制御プログラム75は、管理サーバ100が返信したHTTPレスポンスを通信インタフェース73を通じて取得する(S46)。制御プログラム75は、取得した判断結果に基づいて、第1実施形態と同様にしてステップS19からステップS24までの処理を実行する。
[第2実施形態の変形例3の作用効果]
本変形例では、メモリ72が人判断プログラム76を記憶しないから、第2実施形態よりも記憶容量の少ないメモリ72を使用することができる。
また、人判断プログラム76が管理サーバ100のサーバメモリに記憶されるから、人判断プログラム76の学習や更新が容易になる。
[第2実施形態の変形例4]
第2実施形態や、第2実施形態の変形例では、ブーム22の撓みを考慮せずに変位距離Hを特定する例が説明された。本変形例では、ブーム22の撓みを考慮して変位距離Hを特定する例が説明される。なお、本変形例では、以下で説明される構成以外の構成や処理は第1実施形態等で説明された構成や処理と同じであり、第1実施形態等と同じ符号及びステップ番号を用いて説明が省略される。
クレーン装置12は、吊荷重量センサ66(図2参照)をさらに備える。また、メモリ72は、吊荷重量と、ブーム長さと、補正値とを対応付けた上記第3対応テーブルを予め記憶する。
制御プログラム75は、図13が示す検知表示処理のステップS12において、吊荷重量センサ66が検出した吊荷重量をさらに取得する。制御プログラム75は、ステップS12で取得した吊荷重量及びブーム長さと、上記第3対応テーブルとに基づいて、補正値を特定する。制御プログラム75は、特定した補正値を用いて、ステップS13において、算出した変位距離Hを補正する。
[第2実施形態の変形例4の作用効果]
本変形例では、ブーム22の撓みに基づく補正値を用いて変位距離Hを補正する。したがって、ブーム22の撓みに基づいて変位距離Hを補正しない場合に比べ、変位距離Hが正確になる。その結果、クレーン車10の安全性が向上する。
[第2実施形態のその他の変形例]
上述の実施形態では、コントローラ70が画角制御信号を監視カメラ17に入力する例が説明された。もっとも、監視カメラ17が、距離に応じて画角(或いは焦点距離)を調整するコントローラを有していてもよい。コントローラ70は、画角制御信号に代えて変位距離Hを監視カメラ17に入力する。監視カメラ17のコントローラ70は、入力された変位距離Hに基づいて画角制御信号を生成し、生成した画角制御信号を上記移動機構に入力して画角を変更(調整)する。その場合、コントローラ70及び監視カメラ17のコントローラは、特許請求の範囲に記載された「コントローラ」に相当する。
上述の第2実施形態や、第2実施形態の変形例において、制御プログラム75は、強調オブジェクトを監視画像に重ね、かつ警告音をスピーカ83から出力する処理に代えて、或いは当該処理とともに、クレーン装置12を強制停止させる処理を実行してもよい。具体的には、制御プログラム75は、オペレータの操縦に拘らず旋回モータ51や起伏シリンダ52や伸縮シリンダ53や油圧モータ54への作動油の供給を停止して、旋回台21やブーム22やウインチ23の駆動を強制的に停止させる。
上述の第2実施形態の変形例2では、測距センサ65によって変位距離Hを検出する例が説明された。もっとも、変位距離Hは、走行体11や旋回台21に設置されたカメラによって検出されてもよい。
上述の第2実施形態の変形例2では、フックブロック32が掘下面や屋上面などの監視対象面に接触或いは近接している場合にオペレータが操縦装置29に所定入力を行うことで、制御プログラム75が、基準面から監視対象面までの高さdを算出する例が説明された。もっとも、オペレータは、当該高さdを制御モニタ80に入力してもよい。その場合、制御プログラム75は、高さdを算出する処理に代えて、オペレータが制御モニタ80に入力した値を受け付けて高さdとして取得する処理を実行する。
10・・・クレーン車
11・・・走行体
12・・・クレーン装置
13・・・運転室
17・・・監視カメラ
21・・・旋回台
22・・・ブーム
23・・・ウインチ
26・・・センサ群
29・・・操縦装置
32・・・フックブロック
34・・・吊荷フック
35・・・吊荷
41・・・ワイヤロープ
61・・・旋回角センサ
62・・・ブーム長さセンサ
63・・・起伏角度センサ
64・・・ドラムセンサ
65・・・測距センサ
66・・・吊荷重量センサ
70・・・コントローラ
71・・・CPU
72・・・メモリ
75・・・制御プログラム
76・・・人判断プログラム
80・・・制御モニタ
81・・・ディスプレイ
82・・・タッチセンサ
83・・・スピーカ
84・・・監視モニタ

Claims (13)

  1. 起伏及び伸縮可能なブームと、
    上記ブームの基端部側に設置されたウインチと、
    上記ウインチから上記ブームの先端部まで延びるワイヤロープと、
    上記ワイヤロープに繋がれた吊荷フックと、
    上記ブームの先端部に設置されており、下方を撮像して監視画像データを出力する監視カメラと、
    上記監視画像データが入力されるコントローラと、を備え、
    上記コントローラは、
    上記監視カメラから監視対象面までの変位距離を特定する変位距離特定処理と、
    上記変位距離及び上記監視画像データに基づいて、所定エリアの画像であって、かつ所定サイズの画像を示す判断対象画像データを生成する生成処理と、
    上記判断対象画像データが示す判断対象画像が人を含むか否かの判断結果であって、人判断プログラムが判断した結果である判断結果を取得する取得処理と、
    上記判断対象画像が人を含むと判断したことに基づく安全処理と、を実行するクレーン装置。
  2. 上記生成処理は、
    上記変位距離に基づいて使用範囲を特定する処理と、
    上記監視画像データのうち、上記使用範囲外のデータを削除する処理と、
    上記使用範囲外のデータを削除したデータを上記所定サイズに変換する処理と、を有する請求項1に記載のクレーン装置。
  3. 上記ブームの起伏角度に応じた第1検出値を出力する起伏角度センサと、
    上記ブームの伸縮長さに応じた第2検出値を出力するブーム長さセンサと、をさらに備え、
    上記変位距離特定処理は、
    上記第1検出値が示す上記ブームの起伏角度及び上記第2検出値が示す上記ブームの伸縮長さに基づいて上記変位距離として地表面からの上記監視カメラの高さを算出する処理を有する請求項1または2に記載のクレーン装置。
  4. 上記ブームの起伏角度に応じた第1検出値を出力する起伏角度センサと、
    上記ブームの伸縮長さに応じた第2検出値を出力するブーム長さセンサと、
    上記ワイヤロープの繰出長さに応じた第3検出値を出力するワイヤ長さセンサと、
    上記吊荷フックが上記監視対象面に応じた所定高さであることを示す所定入力を受け付ける入力装置と、をさらに備え、
    上記変位距離特定処理は、
    上記所定入力が入力されたときの上記第1検出値、上記第2検出値、及び上記第3検出値に基づいて上記監視対象面の高さ位置を特定する処理と、
    上記ブームが駆動された後における上記第1検出値、上記第2検出値、上記第3検出値、及び上記監視対象面の高さ位置に基づいて、上記変位距離を特定する処理を含む請求項1または2に記載のクレーン装置。
  5. 上記変位距離に応じた第4検出値を出力する検出装置をさらに備え、
    上記変位距離特定処理は、上記第4検出値に基づいて上記変位距離を特定する処理である請求項1または2に記載のクレーン装置。
  6. 上記コントローラは、
    上記人判断プログラムを記憶するメモリを有しており、
    上記コントローラは、
    上記判断対象画像データと判断結果とを対応付けて学習用データとして上記メモリに記憶させる処理と、
    上記学習用データを上記メモリから外部に出力する処理と、
    外部から入力された更新用データで上記人判断プログラムを更新する処理と、をさらに実行し、
    上記取得処理は、
    上記判断対象画像データを上記人判断プログラムに受け渡す処理と、
    上記人判断プログラムから上記判断結果を受け取る処理と、を有する請求項1または2に記載のクレーン装置。
  7. 上記監視画像データが示す監視画像或いは上記判断対象画像を表示する監視モニタをさらに備え、
    上記判断結果は、上記判断対象画像が人を含むか否かを示す第1データと、当該判断対象画像上において人がいる位置を示す第2データとを含み、
    上記安全処理は、
    上記判断結果が示す人を監視モニタ上で強調する強調オブジェクトを上記判断対象画像或いは上記監視画像に重ねて表示させる処理と、を有する請求項1または2に記載のクレーン装置。
  8. 起伏及び伸縮可能なブームと、
    上記ブームの基端部側に設置されたウインチと、
    上記ウインチから上記ブームの先端部まで延びるワイヤロープと、
    上記ワイヤロープに繋がれた吊荷フックと、
    上記ブームの先端部に設置されており、下方を撮像して監視画像データを出力し、入力された画角制御信号に基づいて画角を変更可能な監視カメラと、
    上記監視画像データが入力されるコントローラと、を備え、
    上記コントローラは、
    上記監視カメラから監視対象面までの変位距離を特定する変位距離特定処理と、
    上記変位距離に基づいて上記画角制御信号を生成し、当該画角制御信号を上記監視カメラに入力する画角変更処理と、
    上記監視画像データが示す監視画像が人を含むか否かの判断結果であって、人判断プログラムが判断した結果である判断結果を取得する取得処理と、
    上記監視画像が人を含むと判断したことに基づく安全処理と、を実行するクレーン装置。
  9. 上記ブームの起伏角度に応じた第1検出値を出力する起伏角度センサと、
    上記ブームの伸縮長さに応じた第2検出値を出力するブーム長さセンサと、をさらに備え、
    上記変位距離特定処理は、
    上記第1検出値が示す上記ブームの起伏角度及び上記第2検出値が示す上記ブームの伸縮長さに基づいて上記変位距離として地表面からの上記監視カメラの高さを算出する処理を有する請求項8に記載のクレーン装置。
  10. 上記ブームの起伏角度に応じた第1検出値を出力する起伏角度センサと、
    上記ブームの伸縮長さに応じた第2検出値を出力するブーム長さセンサと、
    上記ワイヤロープの繰出長さに応じた第3検出値を出力するワイヤ長さセンサと、
    吊荷フックが上記監視対象面に応じた所定高さであることを示す所定入力を受け付ける入力装置と、をさらに備え、
    上記変位距離特定処理は、
    上記所定入力が入力されたときの上記第1検出値、上記第2検出値、及び上記第3検出値に基づいて上記監視対象面の高さ位置を特定する処理と、
    上記ブームが駆動された後における上記第1検出値、上記第2検出値、上記第3検出値、及び上記監視対象面の高さ位置に基づいて、上記変位距離を特定する処理を有する請求項8に記載のクレーン装置。
  11. 上記変位距離に応じた第4検出値を出力する検出装置をさらに備え、
    上記変位距離特定処理は、上記第4検出値に基づいて上記変位距離を特定する処理である請求項8に記載のクレーン装置。
  12. 上記コントローラは、
    上記人判断プログラムを記憶するメモリを有しており、
    上記コントローラは、
    上記監視画像データと判断結果とを対応付けて学習用データとして上記メモリに記憶させる処理と、
    上記学習用データを上記メモリから外部に出力する処理と、
    外部から入力された更新用データで上記人判断プログラムを更新する処理と、をさらに実行し、
    上記取得処理は、
    上記監視画像データを上記人判断プログラムに受け渡す処理と、
    上記人判断プログラムから上記判断結果を受け取る処理と、を有する請求項8に記載のクレーン装置。
  13. 上記監視画像データが示す監視画像或いは上記判断対象画像を表示する監視モニタをさらに備え、
    上記判断結果は、上記判断対象画像が人を含むか否かを示す第1データと、当該判断対象画像上において人がいる位置を示す第2データとを含み、
    上記安全処理は、
    上記判断結果が示す人を監視モニタ上で強調する強調オブジェクトを上記判断対象画像或いは上記監視画像に重ねて表示させる処理を有する、請求項8から12のいずれかに記載のクレーン装置。
JP2022071862A 2022-04-25 2022-04-25 クレーン装置 Pending JP2023161451A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022071862A JP2023161451A (ja) 2022-04-25 2022-04-25 クレーン装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022071862A JP2023161451A (ja) 2022-04-25 2022-04-25 クレーン装置

Publications (1)

Publication Number Publication Date
JP2023161451A true JP2023161451A (ja) 2023-11-07

Family

ID=88650291

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022071862A Pending JP2023161451A (ja) 2022-04-25 2022-04-25 クレーン装置

Country Status (1)

Country Link
JP (1) JP2023161451A (ja)

Similar Documents

Publication Publication Date Title
US11124392B2 (en) Optical detection and analysis for boom angles on a crane
US9332229B2 (en) Surrounding area monitoring device for monitoring area around work machine
US9667923B2 (en) Camera attitude detection device and work region line display device
JP6017782B2 (ja) 吊荷周辺の物体の高さ情報通知システム
JP5642409B2 (ja) クレーンの制御装置及びクレーン
KR101534486B1 (ko) 하수관거 3d 원격탐사장비 시스템
JP6897075B2 (ja) 過巻検出装置
US11691855B2 (en) Crane
JP6631023B2 (ja) 画像表示装置
JP6766516B2 (ja) 障害物検出装置
CN111487610A (zh) 起重机及其吊装作业的定位系统和定位方法、存储介质
JP6097063B2 (ja) 高さ測定装置及び高さ測定方法
CN111954637A (zh) 起重车
JP2023161451A (ja) クレーン装置
JP6421451B2 (ja) カメラ姿勢検出装置
JP6528474B2 (ja) 画像表示装置
JP7351231B2 (ja) 吊荷監視装置、クレーン、吊荷監視方法及びプログラム
JP7363308B2 (ja) アウトリガ装置及び作業車
JP2020132301A (ja) クレーン
JP7172443B2 (ja) クレーン車
JP2021075359A (ja) ブームを有する作業車両の周囲監視装置
JP2018076131A (ja) 画像表示装置
JP7192324B2 (ja) 作業車
US11735145B2 (en) Periphery display device for work machine
JP2023075793A (ja) クレーン装置及び制御プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220426