JP2019163691A - ショベル - Google Patents

ショベル Download PDF

Info

Publication number
JP2019163691A
JP2019163691A JP2019106486A JP2019106486A JP2019163691A JP 2019163691 A JP2019163691 A JP 2019163691A JP 2019106486 A JP2019106486 A JP 2019106486A JP 2019106486 A JP2019106486 A JP 2019106486A JP 2019163691 A JP2019163691 A JP 2019163691A
Authority
JP
Japan
Prior art keywords
image
excavator
camera
detection device
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019106486A
Other languages
English (en)
Other versions
JP7229103B2 (ja
Inventor
泉川 岳哉
Takeya Izumikawa
岳哉 泉川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sumitomo SHI Construction Machinery Co Ltd
Original Assignee
Sumitomo SHI Construction Machinery Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sumitomo SHI Construction Machinery Co Ltd filed Critical Sumitomo SHI Construction Machinery Co Ltd
Priority to JP2019106486A priority Critical patent/JP7229103B2/ja
Publication of JP2019163691A publication Critical patent/JP2019163691A/ja
Application granted granted Critical
Publication of JP7229103B2 publication Critical patent/JP7229103B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Component Parts Of Construction Machinery (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】画像内における所定の認識対象を精度良く認識できるショベルを提供すること。【解決手段】本発明の実施例に係るショベルは、下部走行体1と、下部走行体1に旋回可能に搭載される上部旋回体3と、上部旋回体3に取り付けられるアタッチメントと、キャビン10と、上部旋回体3を下部走行体1に対して旋回させる操作装置26と、表示装置D3と、画像を取得する装置と、その画像を取得する装置によって取得される複数の画像において同一の認識対象を取得する制御装置と、を備える。【選択図】図1

Description

本発明は、画像認識に基づく物体検出システムを搭載するショベルに関する。
ショベルに取り付けられたカメラで撮像したショベルの周囲の画像における二次元コードとしてのマーカーの画像をパターンマッチングで認識する運転補助装置が知られている(特許文献1参照。)。この運転補助装置は、認識したマーカーの画像が表す内容(進入禁止領域に関する情報)を解読してその内容に応じてショベルの運転を補助する。
特開2013−151830号公報
しかしながら、上述の運転補助装置は、撮像した画像の全域にわたって探索窓の大きさと位置を変化させながらその探索窓内の画像と既登録の参照マーカー画像との照合処理を繰り返してマーカー画像を認識する。
上述に鑑み、画像内における所定の認識対象を精度良く認識できるショベルを提供することが求められる。
本発明の実施例に係るショベルは、下部走行体と、前記下部走行体に旋回可能に搭載される上部旋回体と、前記上部旋回体に取り付けられるアタッチメントと、前記上部旋回体に取り付けられるキャビンと、前記キャビン内に設けられ、前記上部旋回体を前記下部走行体に対して旋回させる操作装置と、前記キャビン内で運転席に向かって取り付けられた表示装置と、画像を取得する装置と、前記画像を取得する装置によって取得される複数の画像において同一の認識対象を取得する制御装置と、を備える。
上述の手段により、画像内における所定の認識対象を精度良く認識できるショベルを提供できる。
本発明の実施例に係るショベルの側面図である。 ショベルの駆動系の構成を示す図である。 ショベルが旋回する際の表示画像の推移を説明する図である。 ショベルが走行する際の表示画像の推移を説明する図である。 画像認識条件調整処理のフローチャートである。 運動検出装置の取り付け位置を示すショベルの上面図である。 ショベルが旋回する際の表示画像の推移を説明する図である。
図1は本発明の実施例に係るショベル(掘削機)の側面図である。ショベルの下部走行体1には旋回機構2を介して上部旋回体3が旋回可能に搭載される。上部旋回体3にはブーム4が取り付けられる。ブーム4の先端にはアーム5が取り付けられ、アーム5の先端にはエンドアタッチメントとしてのバケット6が取り付けられる。
ブーム4、アーム5、及びバケット6は、アタッチメントの一例として掘削アタッチメントを構成し、ブームシリンダ7、アームシリンダ8、及びバケットシリンダ9によりそれぞれ油圧駆動される。
上部旋回体3にはキャビン10が設けられ且つエンジン11等の動力源が搭載される。また、上部旋回体3にはカメラS1が取り付けられ、カメラS1には運動検出装置S2が取り付けられる。
カメラS1はショベルの周辺の画像を取得する撮像装置である。本実施例では、カメラS1は上部旋回体3の後端に取り付けられてショベルの後方を撮像する。
運動検出装置S2は、三次元空間におけるカメラS1の運動を検出する装置であり、例えば、加速度センサ、角速度センサ(ジャイロセンサ)、地磁気センサ、GNSS(Global Navigation Satellite System)コンパス等である。本実施例では、運動検出装置S2は、三次元空間におけるカメラS1の移動及び回転を検出する装置であり、例えば、加速度センサ及び角速度センサ(ジャイロセンサ)の組み合わせで構成される。また、運動検出装置S2は、加速度センサと、角速度センサと、地磁気センサ又はGNSSコンパスとの組み合わせで構成されてもよい。
また、運動検出装置S2は、カメラS1に内蔵され、カメラS1と共に運動する。具体的には、運動検出装置S2は、カメラS1の筐体内に取り付けられ、カメラS1と同じ方向に移動し且つカメラS1と同じ方向に回転する。運動検出装置S2自体の運動に関する情報(運動検出装置S2の検出値)をカメラS1の運動に関する情報としてそのまま利用できるようにするためである。但し、運動検出装置S2は、カメラS1と同じように運動できるのであれば、カメラS1の外部に取り付けられてもよい。例えば、運動検出装置S2は、カメラS1の筐体又はカバーの外面に取り付けられてもよい。この構成により、運動検出装置S2は、運動検出装置S2自体の運動に関する情報からカメラS1の運動に関する情報を算出する処理を省略でき、そのような算出処理の際に生じる誤差を排除できる。また、走行速度センサ、旋回角度センサ等の出力に基づいてカメラS1の運動に関する情報を間接的に算出する必要がないため、そのような算出処理の際に生じる誤差を排除できる。また、上述のような算出処理を省略することで、カメラS1の運動に関する情報をより早期に取得できる。また、運動検出装置S2は、カメラS1に内蔵されるため、組み立て性、メンテナンス性、センサ精度等を向上させることができ、また、製造コストを低減させることができる。
キャビン10内には、音声出力装置D2、表示装置D3、ゲートロックレバーD5、コントローラ30、及び物体検出装置50が設置される。
コントローラ30は、ショベルの駆動制御を行う主制御部として機能する。本実施例では、コントローラ30は、CPU及び内部メモリを含む制御装置で構成される。コントローラ30の各種機能は、CPUが内部メモリに格納されたプログラムを実行することで実現される。
物体検出装置50は、公知の画像認識処理を用いてカメラS1が撮像した画像内を探索して所定の認識対象の物体の画像を見つけ出すことで物体を検出する。カメラS1が撮像した画像は、撮像画像そのものと、その撮像画像に基づいて生成される画像(例えば表示画像)とを含む概念であり、以下では「処理対象画像」とも称する。公知の画像認識処理は、例えば、SIFT(Scale-Invariant Feature Transform)アルゴリズム、SURF(Speeded-Up Robust Features)アルゴリズム、ORB(ORiented BRIEF (Binary Robust Independent Elementary Features))アルゴリズム、HOG(Histograms of Oriented Gradients)アルゴリズム等を用いた画像認識処理、パターンマッチングを用いた画像認識処理等を含む。また、所定の認識対象の物体は、人(作業者等)及び物(障害物等)を含む。本実施例では、物体検出装置50は、例えば、ショベルの後方に存在する物体の画像を見つけ出す処理(以下、「物体検出処理」とする。)を所定周期で繰り返し実行する。
物体検出装置50は、コントローラ30と同様、CPU及び内部メモリを含む制御装置で構成される。物体検出装置50の各種機能はCPUが内部メモリに格納されたプログラムを実行することで実現される。物体検出装置50は、コントローラ30とは別個に設けられてもよく、或いは、コントローラ30に組み込まれていてもよい。
音声出力装置D2は、物体検出装置50からの音声出力指令に応じて各種音声情報を出力する。本実施例では、音声出力装置D2として、物体検出装置50に直接接続される車載スピーカが利用される。なお、音声出力装置D2として、ブザー等の警報器が利用されてもよい。
表示装置D3は、物体検出装置50からの指令に応じて各種画像情報を出力する。本実施例では、表示装置D3として、キャビン10内で運転席に向かって取り付けられ且つ物体検出装置50に直接接続される車載液晶ディスプレイが利用される。
ゲートロックレバーD5は、ショベルが誤って操作されるのを防止する機構である。本実施例では、ゲートロックレバーD5は、キャビン10のドアと運転席との間に配置される。キャビン10から操作者が退出できないようにゲートロックレバーD5が引き上げられた場合に、各種操作装置は操作可能となる。一方、キャビン10から操作者が退出できるようにゲートロックレバーD5が押し下げられた場合には、各種操作装置は操作不能となる。
図2は、図1のショベルの駆動系の構成例を示す図である。図2において、機械的動力系は二重線、高圧油圧ラインは太実線、パイロットラインは破線、電気駆動・制御系は細実線でそれぞれ示される。
エンジン11はショベルの動力源である。本実施例では、エンジン11は、エンジン負荷の増減にかかわらずエンジン回転数を一定に維持するアイソクロナス制御を採用したディーゼルエンジンである。エンジン11における燃料噴射量、燃料噴射タイミング、ブースト圧等は、エンジンコントローラユニット(ECU)D7により制御される。
エンジン11には油圧ポンプとしてのメインポンプ14及びパイロットポンプ15が接続される。メインポンプ14には高圧油圧ラインを介してコントロールバルブ17が接続される。
コントロールバルブ17は、ショベルの油圧系の制御を行う油圧制御装置である。右側走行用油圧モータ、左側走行用油圧モータ、ブームシリンダ7、アームシリンダ8、バケットシリンダ9、旋回用油圧モータ等の油圧アクチュエータは、高圧油圧ラインを介してコントロールバルブ17に接続される。なお、旋回用油圧モータは旋回用電動発電機であってもよい。
パイロットポンプ15にはパイロットラインを介して操作装置26が接続される。操作装置26はキャビン10内に設けられるレバー及びペダルであり、上部旋回体3を下部走行体1に対して旋回させる操作装置である旋回操作レバー等を含む。また、操作装置26は、油圧ライン及びゲートロック弁D6を介してコントロールバルブ17に接続される。
ゲートロック弁D6は、コントロールバルブ17と操作装置26とを接続する油圧ラインの連通・遮断を切り換える。本実施例では、ゲートロック弁D6は、コントローラ30からの指令に応じて油圧ラインの連通・遮断を切り換える電磁弁である。コントローラ30は、ゲートロックレバーD5が出力する状態信号に基づいてゲートロックレバーD5の状態を判定する。そして、コントローラ30は、ゲートロックレバーD5が引き上げられた状態にあると判定した場合に、ゲートロック弁D6に対して連通指令を出力する。連通指令を受けると、ゲートロック弁D6は開いて油圧ラインを連通させる。その結果、操作装置26に対する操作者の操作が有効となる。一方、コントローラ30は、ゲートロックレバーD5が引き下げられた状態にあると判定した場合に、ゲートロック弁D6に対して遮断指令を出力する。遮断指令を受けると、ゲートロック弁D6は閉じて油圧ラインを遮断する。その結果、操作装置26に対する操作者の操作が無効となる。
圧力センサ29は、操作装置26の操作内容を圧力の形で検出する。圧力センサ29は、検出値をコントローラ30に対して出力する。
また、図2はコントローラ30と表示装置D3との接続関係を示す。本実施例では、表示装置D3は物体検出装置50を介してコントローラ30に接続される。なお、表示装置D3、物体検出装置50、及びコントローラ30は、CAN等の通信ネットワークを介して接続されてもよく、専用線を介して接続されてもよい。
表示装置D3は画像を生成する変換処理部D3aを含む。本実施例では、変換処理部D3aは、カメラS1が出力する画像情報に基づいて表示用の表示画像を生成する。そのため、表示装置D3は、物体検出装置50を介し、物体検出装置50に接続されたカメラS1が出力する画像情報を取得する。但し、カメラS1は、表示装置D3に接続されていてもよく、コントローラ30に接続されていてもよい。
また、変換処理部D3aは、コントローラ30又は物体検出装置50の出力に基づいて表示用の画像を生成する。本実施例では、変換処理部D3aは、コントローラ30又は物体検出装置50が出力する各種情報を画像信号に変換する。なお、コントローラ30が出力する情報は、例えば、エンジン冷却水の温度を示すデータ、作動油の温度を示すデータ、燃料の残量を示すデータ等を含む。また、物体検出装置50が出力する情報は、検出した物体に関する情報(例えば、カメラS1と物体との距離)等を含む。
なお、変換処理部D3aは、表示装置D3が有する機能としてではなく、コントローラ30又は物体検出装置50が有する機能として実現されてもよい。
また、表示装置D3は、蓄電池70から電力の供給を受けて動作する。なお、蓄電池70はエンジン11のオルタネータ11a(発電機)で発電した電力で充電される。蓄電池70の電力は、コントローラ30及び表示装置D3以外のショベルの電装品72等にも供給される。また、エンジン11のスタータ11bは、蓄電池70からの電力で駆動され、エンジン11を始動する。
エンジン11は、エンジンコントローラユニットD7により制御される。エンジンコントローラユニットD7からは、エンジン11の状態を示す各種データ(例えば、水温センサ11cで検出される冷却水温(物理量)を示すデータ)がコントローラ30に常時送信される。したがって、コントローラ30は一時記憶部(メモリ)30aにこのデータを蓄積しておき、必要なときに表示装置D3に送信することができる。
また、コントローラ30には以下のように各種データが供給され、コントローラ30の一時記憶部30aに格納される。
まず、可変容量式油圧ポンプであるメインポンプ14のレギュレータ14aから斜板傾転角を示すデータがコントローラ30に供給される。また、メインポンプ14の吐出圧力を示すデータが、吐出圧力センサ14bからコントローラ30に送られる。これらのデータ(物理量を表すデータ)は一時記憶部30aに格納される。また、メインポンプ14が吸入する作動油が貯蔵されたタンクとメインポンプ14との間の管路には油温センサ14cが設けられており、その管路を流れる作動油の温度を表すデータが油温センサ14cからコントローラ30に供給される。
また、燃料収容部55における燃料収容量検出部55aから燃料収容量を示すデータがコントローラ30に供給される。本実施例では、燃料収容部55としての燃料タンクにおける燃料収容量検出部55aとしての燃料残量センサから燃料の残量状態を示すデータがコントローラ30に供給される。
具体的には、燃料残量センサは、液面に追従するフロートと、フロートの上下変動量を抵抗値に変換する可変抵抗器(ポテンショメータ)とで構成される。この構成により、燃料残量センサは、表示装置D3で燃料の残量状態を無段階表示させることができる。なお、燃料収容量検出部の検出方式は、使用環境等に応じて適宜選択され得るものであり、燃料の残量状態を段階表示させることができる検出方式が採用されてもよい。
また、操作装置26を操作した際にコントロールバルブ17に送られるパイロット圧が、圧力センサ29で検出され、検出したパイロット圧を示すデータがコントローラ30に供給される。
また、本実施例では、図2に示すように、ショベルは、キャビン10内にエンジン回転数調整ダイヤル75を備える。エンジン回転数調整ダイヤル75は、エンジン11の回転数を調整するためのダイヤルであり、本実施例ではエンジン回転数を4段階で切り換えできるようにする。また、エンジン回転数調整ダイヤル75からは、エンジン回転数の設定状態を示すデータがコントローラ30に常時送信される。また、エンジン回転数調整ダイヤル75は、SPモード、Hモード、Aモード、及びアイドリングモードの4段階でエンジン回転数を切り換えできるようにする。なお、図2は、エンジン回転数調整ダイヤル75でHモードが選択された状態を示す。
SPモードは、作業量を優先したい場合に選択される回転数モードであり、最も高いエンジン回転数を利用する。Hモードは、作業量と燃費を両立させたい場合に選択される回転数モードであり、二番目に高いエンジン回転数を利用する。Aモードは、燃費を優先させながら低騒音でショベルを稼働させたい場合に選択される回転数モードであり、三番目に高いエンジン回転数を利用する。アイドリングモードは、エンジン11をアイドリング状態にしたい場合に選択される回転数モードであり、最も低いエンジン回転数を利用する。そして、エンジン11は、エンジン回転数調整ダイヤル75で設定された回転数モードのエンジン回転数で一定に回転数制御される。
次に、物体検出装置50の機能要素について説明する。本実施例では、物体検出装置50は、画像認識部500及び画像認識条件調整部501を含む。
画像認識部500は、公知の画像認識処理を用いて処理対象画像内を探索して所定の認識対象の物体の画像を見つけ出す機能要素である。本実施例では、画像認識部500は、カメラS1が撮像した画像から生成される表示画像内の全領域を探索範囲としながら、認識対象の物体としての作業者の画像を見つけ出す。そして、画像認識部500は、例えば、作業者の画像を見つけ出した場合に、音声出力装置D2及び表示装置D3に制御指令を送信して警告を出力させる。
画像認識条件調整部501は、画像認識部500が所定の認識対象の物体の画像を見つけ出す際に採用する画像認識条件を調整する機能要素である。本実施例では、画像認識条件調整部501は、運動検出装置S2が検出するカメラS1の運動の内容に基づいて画像認識条件を調整する。画像認識条件の調整は、例えば、処理対象画像上の部分画像が所定の認識対象の物体の画像であるか否かを判定する際に用いられる閾値(以下、「画像判定閾値」とする。)の調整を含む。また、画像認識条件の調整は探索範囲の調整であってもよい。
ここで、図3を参照し、運動検出装置S2が検出するカメラS1の運動の内容に応じて画像認識条件調整部501が画像認識条件を調整する処理(以下、「画像認識条件調整処理」とする。)について説明する。図3は、ショベルが旋回する際の表示画像の推移を説明する図であり、図3(A)が旋回中のショベルの上面図を示し、図3(B)が旋回前の表示画像を示し、図3(C)が旋回後の表示画像を示す。なお、図3(B)及び図3(C)のそれぞれに示す表示画像は鏡像画像である。また、図3(B)及び図3(C)のそれぞれに示すように、表示画像は、その下部領域に上部旋回体3の後端部3aの画像を含む。この構成により、操作者は、表示画像に写る物体と上部旋回体3との間の距離を直感的に認識できる。
具体的には、図3(A)の点線で描かれたショベルは、旋回開始前の時刻t1におけるショベルの状態を表し、実線で描かれたショベルは、旋回軸SXを中心に反時計回りに角度αだけ旋回した後の時刻t2におけるショベルの状態を表す。また、図3(A)は、ショベルの後方に作業者Wが存在する状態を示す。また、点線で囲まれた領域R1は時刻t1でのカメラS1の撮像範囲を示し、実線で囲まれた領域R2は時刻t2でのカメラS1の撮像範囲を示す。
また、図3(B)は時刻t1において表示装置D3に表示される鏡像画像としての表示画像G1を示す。表示画像G1は時刻t1におけるカメラS1の撮像画像に基づいて生成される。表示画像G1はその右側部分に作業者Wの画像WG1を含む。また、図3(C)は時刻t2において表示装置D3に表示される鏡像画像としての表示画像G2を示す。表示画像G2は表示画像G1と同様に時刻t2におけるカメラS1の撮像画像に基づいて生成される。表示画像G2はその左側部分に作業者Wの画像WG2を含む。このように、上部旋回体3が反時計回りに旋回すると、表示画像の右側部分に位置していた静止状態の作業者Wの画像は表示画像の左側部分に移動する。
このとき、画像認識部500が時刻t1において表示画像G1の画像WG1を作業者Wの画像として認識していた場合、時刻t2において画像認識部500が表示画像G2の全領域を探索範囲として作業者Wの画像を探索することは効率的でない。また、周囲の明るさ等の撮像条件によっては、表示画像G2内に存在するはずの作業者Wの画像を認識できずに見失ってしまうおそれもある。
そこで、画像認識条件調整部501は、運動検出装置S2が検出するカメラS1の運動の内容に応じて画像認識条件を調整する。
具体的には、画像認識条件調整部501は、上部旋回体3が旋回軸SXを中心として反時計回りに角度αだけ旋回する際にカメラS1が移動したことを運動検出装置S2の出力に基づいて検出する。そして、画像認識条件調整部501は、その移動内容に基づき、時刻t1の表示画像G1における存在領域CR1に対応する、時刻t2の表示画像G2における対応領域CR2を導き出す。存在領域CR1は、作業者Wの画像WG1が存在する領域であり、画像認識部500が認識した画像WG1の位置から導き出される。本実施例では、存在領域CR1は画像WG1を含む矩形領域として抽出される。但し、存在領域CR1は円形領域、楕円領域等の他の形状を有する領域として抽出されてもよい。また、対応領域CR2は、表示画像G1における存在領域CR1の位置と、時刻t1から時刻t2までの間のカメラS1の移動方向及び移動距離とに基づいて導き出される。対応領域CR2は、作業者Wの画像が存在する可能性が高いと推定される領域である。本実施例では、対応領域CR2は存在領域CR1と同じ形状(相似形を含む。)を有する領域として抽出される。但し、対応領域CR2は存在領域CR1とは別の形状を有する領域として抽出されてもよい。
その後、画像認識条件調整部501は、表示画像G2における対応領域CR2に関する画像認識条件を、それ以外の領域に関する画像認識条件に比べて緩和する。具体的には、画像認識条件調整部501は、表示画像G2における対応領域CR2に関する画像判定閾値を、作業者Wの画像が認識され易くなるように調整する。対応領域CR2内に作業者Wの画像が存在する可能性が高いと推定されるためである。その結果、物体検出装置50は、表示画像G2で作業者Wの画像を見失うことなく認識してその検出精度を向上できる。
例えば、HOGアルゴリズムを用いた画像認識処理では、認識対象らしさ(例えば人らしさ)を記述するHOG特徴量が処理対象画像から導き出される。そして、学習用画像に基づいて予め作成された識別器がそのHOG特徴量と所定の閾値とに基づいて処理対象画像が認識対象(例えば人)の画像であるか否かを判定する。画像認識条件の緩和はこの閾値を変化させて処理対象画像が認識対象の画像であると判定され易くすることを意味する。その結果、緩和前であれば認識対象の画像でないと判定されていた処理対象画像が認識対象の画像であると判定される蓋然性が高くなる。
或いは、画像認識条件調整部501は、作業者Wの画像に関する探索範囲を対応領域CR2にまで限定してもよい。この場合、物体検出装置50は、表示画像G2の全領域を探索範囲とする場合に比べ、画像認識処理に関する演算負荷を低減させることができる。そして、画像認識処理に要する時間を短縮し、物体をより早期に検出できる。
次に、図4を参照し、画像認識条件調整処理の別の一例について説明する。図4は、ショベルが走行する際の表示画像の推移を説明する図であり、図4(A)が走行中のショベルの上面図を示し、図4(B)が走行前の表示画像を示し、図4(C)が走行後の表示画像を示す。なお、図4(B)及び図4(C)のそれぞれに示す表示画像は鏡像画像である。
具体的には、図4(A)の点線で描かれたショベルは、走行開始前の時刻t1におけるショベルの状態を表し、実線で描かれたショベルは、距離DSだけ走行した後の時刻t2におけるショベルの状態を表す。また、図4(A)は、ショベルの後方に作業者Wが存在する状態を示す。また、点線で囲まれた領域R1は時刻t1でのカメラS1の撮像範囲を示し、実線で囲まれた領域R2は時刻t2でのカメラS1の撮像範囲を示す。
また、図4(B)は時刻t1において表示装置D3に表示される鏡像画像としての表示画像G1を示す。表示画像G1は時刻t1におけるカメラS1の撮像画像に基づいて生成される。表示画像G1はその右側部分の比較的大きな範囲に作業者Wの画像WG1を含む。また、図4(C)は時刻t2において表示装置D3に表示される鏡像画像としての表示画像G2を示す。表示画像G2は表示画像G1と同様に時刻t2におけるカメラS1の撮像画像に基づいて生成される。表示画像G2はその右側部分の比較的小さな範囲に作業者Wの画像WG2を含む。このように、作業者Wから遠ざかる方向にショベルが走行すると、表示画像の右側部分の比較的大きな範囲を占めていた静止状態の作業者Wの画像は表示画像の右側部分の比較的小さな範囲まで縮小する。
このとき、画像認識部500が時刻t1において表示画像G1の画像WG1を作業者Wの画像として認識していた場合、時刻t2において画像認識部500が表示画像G2の全領域を探索範囲として作業者Wの画像を探索することは効率的でない。また、周囲の明るさ等の撮像条件によっては、表示画像G2内に存在するはずの作業者Wの画像を認識できずに見失ってしまうおそれもある。
そこで、画像認識条件調整部501は、運動検出装置S2が検出するカメラS1の運動の内容に応じて画像認識条件を調整する。
具体的には、画像認識条件調整部501は、運動検出装置S2の出力に基づいてカメラS1が距離DSだけ作業者Wから遠ざかる方向に移動したことを検出する。そして、画像認識条件調整部501は、その移動内容に基づき、時刻t1の表示画像G1における存在領域CR1に対応する、時刻t2の表示画像G2における対応領域CR2を導き出す。
その後、画像認識条件調整部501は、表示画像G2における対応領域CR2に関する画像認識条件を、それ以外の領域に関する画像認識条件に比べて緩和する。具体的には、画像認識条件調整部501は、表示画像G2における対応領域CR2に関する画像判定閾値を、作業者Wの画像が認識され易くなるように調整する。対応領域CR2内に作業者Wの画像が存在する可能性が高いと推定されるためである。その結果、物体検出装置50は、表示画像G2で作業者Wの画像を見失うことなく認識してその検出精度を向上できる。
或いは、画像認識条件調整部501は、作業者Wの画像に関する探索範囲を対応領域CR2にまで限定してもよい。この場合、物体検出装置50は、表示画像G2の全領域を探索範囲とする場合に比べ、画像認識処理に関する演算負荷を低減させることができる。そして、画像認識処理に要する時間を短縮し、物体をより早期に検出できる。また、アタッチメントの動作によって上部旋回体3が上下方向に揺れるため画像認識が難しい状況であっても認識対象の物体をより早期に検出できる。
次に、図5を参照し、画像認識条件調整処理の流れについて説明する。図5は、画像認識条件調整処理のフローチャートである。なお、物体検出装置50は、所定周期で繰り返しこの画像認識条件調整処理と物体検出処理とを並行して実行する。
最初に、物体検出装置50は、前回の物体検出処理において物体の画像を認識したか否かを判定する(ステップST1)。例えば図3又は図4に示す場合において、物体検出装置50は、表示画像G1で作業者Wの画像WG1を認識したか否かを判定する。
前回の物体検出処理において物体の画像を認識していないと判定した場合(ステップST1のNO)、物体検出装置50は、今回の画像認識条件調整処理を終了させる。既に認識した物体の画像の現在位置(現在の表示画像上の位置)を推定できないためである。
一方、前回の物体検出処理において物体の画像を認識していると判定した場合(ステップST1のYES)、物体検出装置50は、その物体の画像が位置する表示画像内の領域(以下、「存在領域」とする。)を特定する(ステップST2)。例えば、物体検出装置50は、表示画像G1で作業者Wの画像WG1を認識していると判定した場合、画像WG1が位置する存在領域CR1を特定する。
その後、物体検出装置50は、カメラS1の運動内容を取得する(ステップST3)。具体的には、物体検出装置50は、運動検出装置S2の出力に基づいて前回の物体検出処理が実行された後のカメラS1の運動の内容を取得する。例えば、ショベルが旋回或いは走行した場合、物体検出装置50は、カメラS1の運動内容として、ショベルの旋回又は走行によるカメラS1の移動方向及び移動距離を取得する。
その後、物体検出装置50は、物体の画像の存在領域とカメラS1の運動内容とに基づいて対応領域を導き出す(ステップST4)。例えば、表示画像G1における存在領域CR1の位置及び形状とその後のカメラS1の運動の内容とに基づいて対応領域CR2の位置及び形状を導き出す。また、ショベルが旋回も走行もせずに停止していた場合、物体検出装置50は、存在領域CR1の位置及び形状をそのまま対応領域CR2の位置及び形状とする。
その後、物体検出装置50は、導き出した対応領域の画像認識条件を調整する(ステップST5)。例えば、物体検出装置50は、今回の物体検出処理の際の表示画像G2における対応領域CR2に関する画像判定閾値を、作業者Wの画像が認識され易くなるように調整する。例えば、画像判定閾値を下げることで、画像判定閾値がより大きいときに比べ、対応領域CR2内の画像が認識対象の物体の画像であると認識されるための困難さが緩和される。これにより、物体検出装置50は、表示画像G2で作業者Wの画像を見失うことなく認識してその検出精度を向上できる。或いは、物体検出装置50は、今回の物体検出処理の際の作業者Wの画像に関する探索範囲として対応領域CR2を優先的に選択してもよい。作業者Wの画像が存在する可能性が高いと推定される対応領域CR2内を優先的に探索することで作業者Wの存在を早期に確認した後で対応領域CR2以外の他の領域を探索できるためである。これにより、物体検出装置50は作業者Wの画像をより確実に認識し続けることができる。また、対応領域CR2を優先的に探索する方法の別の1例として、物体検出装置50は今回の物体検出処理の際の作業者Wの画像に関する探索範囲を対応領域CR2に限定してもよい。この場合、物体検出装置50は、表示画像G2の全領域を探索範囲とする場合に比べ、画像認識処理に関する演算負荷を低減させることができる。そして、画像認識処理に要する時間を短縮し、物体をより早期に検出できる。
次に、図6を参照し、運動検出装置S2の別の構成例について説明する。図6は、ショベルの上面図であり、運動検出装置S2の取り付け位置を示す。図6の運動検出装置S2は、上部旋回体3に搭載されるカウンタウェイトの上面に取り付けられる2つのGNSS受信機S2L、S2Rを含むGNSSコンパスで構成される点で、加速度センサ及びジャイロセンサの組み合わせで構成される図1の運動検出装置S2と相違する。
この構成では、GNSS受信機S2L、S2RのそれぞれとカメラS1との相対位置関係は固定且つ既知である。そのため、物体検出装置50は、GNSS受信機S2L、S2Rのそれぞれの出力に基づいてカメラS1の基準座標系における座標を導き出すことができる。基準座標系は、例えば世界測地系である。世界測地系は、地球の重心に原点をおき、X軸をグリニッジ子午線と赤道との交点の方向に、Y軸を東経90度の方向に、そしてZ軸を北極の方向にとる三次元直交XYZ座標系である。
そして、物体検出装置50は、時刻t1におけるカメラS1の座標と、その後の時刻t2におけるカメラS1の座標とから、時刻t1−時刻t2間のカメラS1の運動内容(移動方向及び移動距離)を取得できる。そのため、物体検出装置50は、カメラS1に内蔵される図1の運動検出装置S2(加速度センサ及びジャイロセンサの組み合わせ)の出力に基づいて画像認識条件を調整する場合と同様の効果を実現できる。
次に、図7を参照し、画像認識条件調整処理の更に別の一例について説明する。図7は、ショベルが旋回する際の表示画像の推移を説明する図であり、図7(A)が停止中のショベルの上面図を示し、図7(B)が旋回中のショベルの上面図を示す。また、図7(C)が旋回前の表示画像を示し、図7(D)が旋回後の表示画像を示す。
具体的には、図7(A)は、ショベルの上部旋回体3の上面左端に左側方カメラS1Lが取り付けられ、上部旋回体3の上面後端に後方カメラS1Bが取り付けられ、上部旋回体3の上面右端に右側方カメラS1Rが取り付けられた状態を示す。
図7(B)の点線で描かれたショベルは、時刻t1におけるショベルの状態を表し、実線で描かれたショベルは、旋回軸SXを中心に反時計回りに角度αだけ旋回した後の時刻t2におけるショベルの状態を表す。また、図7(B)は、ショベルの後方に作業者Wが存在する状態を示す。点線で囲まれた領域R1は時刻t1での後方カメラS1Bの撮像範囲を示し、実線で囲まれた領域R2は時刻t2での後方カメラS1Bの撮像範囲を示す。また、明瞭化のため、図7(B)は、左側方カメラS1L及び右側方カメラS1Rのそれぞれの撮像範囲の図示を省略する。
図7(C)は時刻t1において表示装置D3に表示される表示画像G1を示す。表示画像G1はその中央部分にショベルのCG画像Gsを表示し、その周りに上部を欠いた部分円形状の画像表示領域Rcを有する。画像表示領域Rcには、3台のカメラのそれぞれの撮像画像を合成して生成される合成画像としての視点変換画像が表示される。視点変換画像は、ショベルのCG画像Gsの周りに配置される路面画像部分と、その路面画像部分の周りに配置される水平画像部分とを含む。路面画像部分はショベル近傍を真上から見たときの光景を表示し、水平画像部分はショベルから水平方向を見たときの光景を表示する。また、CG画像Gsの下には作業者Wの画像WG1が表示される。
図7(D)は時刻t2において表示装置D3に表示される表示画像G2を示す。表示画像G2ではCG画像Gsの左下に作業者Wの画像WG2を含む。このように、上部旋回体3が反時計回りに旋回すると、CG画像Gsの下に位置していた静止状態の作業者Wの画像はCG画像Gsの左下に移動する。
このとき、画像認識部500が時刻t1において表示画像G1の画像WG1を作業者Wの画像として認識していた場合、時刻t2において画像認識部500が表示画像G2の全領域を探索範囲として作業者Wの画像を探索することは効率的でない。また、周囲の明るさ等の撮像条件によっては、表示画像G2内に存在するはずの作業者Wの画像を認識できずに見失ってしまうおそれもある。
そこで、画像認識条件調整部501は、運動検出装置S2が検出するカメラS1の運動の内容に応じて画像認識条件を調整する。
具体的には、画像認識条件調整部501は、上部旋回体3が旋回軸SXを中心として反時計回りに角度αだけ旋回する際にカメラS1が移動したことを運動検出装置S2の出力に基づいて検出する。そして、画像認識条件調整部501は、その移動内容に基づき、時刻t1の表示画像G1における存在領域CR1に対応する、時刻t2の表示画像G2における対応領域CR2を導き出す。
その後、画像認識条件調整部501は、表示画像G2における対応領域CR2に関する画像認識条件を、それ以外の領域に関する画像認識条件に比べて緩和する。具体的には、画像認識条件調整部501は、表示画像G2における対応領域CR2に関する画像判定閾値を、作業者Wの画像が認識され易くなるように調整する。対応領域CR2内に作業者Wの画像が存在する可能性が高いと推定されるためである。その結果、物体検出装置50は、表示画像G2で作業者Wの画像を見失うことなく認識してその検出精度を向上できる。
或いは、画像認識条件調整部501は、作業者Wの画像に関する探索範囲を対応領域CR2に限定してもよい。この場合、物体検出装置50は、表示画像G2の全領域を探索範囲とする場合に比べ、画像認識処理に関する演算負荷を低減させることができる。そして、画像認識処理に要する時間を短縮し、物体をより早期に検出できる。
以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなしに上述した実施例に種々の変形及び置換を加えることができる。
例えば、上述の実施例では、物体検出装置50は、ショベルが旋回或いは走行した場合に、カメラS1の運動内容として移動(旋回又は走行)方向及び移動(旋回又は走行)距離を取得し、そのカメラS1の運動内容に応じて画像認識条件を調整する。しかしながら、本発明はこの構成に限定されるものではない。例えば、物体検出装置50は、上部旋回体3が傾斜した場合に、カメラS1の運動内容として傾斜による移動方向及び移動距離を取得し、そのカメラS1の運動内容に応じて画像認識条件を調整してもよい。
1・・・下部走行体 2・・・旋回機構 3・・・上部旋回体 4・・・ブーム 5・・・アーム 6・・・バケット 7・・・ブームシリンダ 8・・・アームシリンダ 9・・・バケットシリンダ 10・・・キャビン 11・・・エンジン 11a・・・オルタネータ 11b・・・スタータ 11c・・・水温センサ 14・・・メインポンプ 14a・・・レギュレータ 14b・・・吐出圧力センサ 14c・・・油温センサ 15・・・パイロットポンプ 17・・・コントロールバルブ 26・・・操作装置 29・・・圧力センサ 30・・・コントローラ 30a・・・一時記憶部 50・・・物体検出装置 55・・・燃料収容部 55a・・・燃料収容量検出部 70・・・蓄電池 72・・・電装品 75・・・エンジン回転数調整ダイヤル 500・・・画像認識部 501・・・画像認識条件調整部 S1・・・カメラ S2・・・運動検出装置 S1B・・・後方カメラ S1L・・・左側方カメラ S1R・・・右側方カメラ D2・・・音声出力装置 D3・・・表示装置 D3a・・・変換処理部 D5・・・ゲートロックレバー D6・・・ゲートロック弁 D7・・・エンジンコントローラユニット

Claims (7)

  1. 下部走行体と、
    前記下部走行体に旋回可能に搭載される上部旋回体と、
    前記上部旋回体に取り付けられるアタッチメントと、
    前記上部旋回体に取り付けられるキャビンと、
    前記キャビン内に設けられ、前記上部旋回体を前記下部走行体に対して旋回させる操作装置と、
    前記キャビン内で運転席に向かって取り付けられた表示装置と、
    画像を取得する装置と、
    前記画像を取得する装置によって取得される複数の画像において同一の認識対象を取得する制御装置と、を備える、
    ショベル。
  2. 前記制御装置は、更に、前記画像を取得する装置によって取得される複数の画像のそれぞれにおいて、前記認識対象の位置を認識する、
    請求項1に記載のショベル。
  3. 前記制御装置は、更に、前記認識対象の形状を認識する、
    請求項1又は2に記載のショベル。
  4. 前記制御装置は、ショベルの運動の前後における同一画像領域における前記認識対象の位置を取得する、
    請求項1乃至3の何れかに記載のショベル。
  5. 前記上部旋回体にGNSS受信機を備える、
    請求項1乃至4の何れかに記載のショベル。
  6. 下部走行体と、
    前記下部走行体に旋回可能に搭載される上部旋回体と、
    前記上部旋回体に取り付けられるアタッチメントと、
    前記上部旋回体に取り付けられるキャビンと、
    前記キャビン内に設けられ、前記上部旋回体を前記下部走行体に対して旋回させる操作装置と、
    前記キャビン内で運転席に向かって取り付けられた表示装置と、
    ショベルの周囲の認識対象までの距離を取得する装置と、
    前記距離を取得する装置により、ショベルの運動の前後における前記認識対象までの距離を取得する制御装置と、を備える、
    ショベル。
  7. 前記制御装置は、更に、前記認識対象の形状を認識する、
    請求項6に記載のショベル。
JP2019106486A 2019-06-06 2019-06-06 ショベル Active JP7229103B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019106486A JP7229103B2 (ja) 2019-06-06 2019-06-06 ショベル

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019106486A JP7229103B2 (ja) 2019-06-06 2019-06-06 ショベル

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2015212213A Division JP6662604B2 (ja) 2015-10-28 2015-10-28 ショベル

Publications (2)

Publication Number Publication Date
JP2019163691A true JP2019163691A (ja) 2019-09-26
JP7229103B2 JP7229103B2 (ja) 2023-02-27

Family

ID=68064863

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019106486A Active JP7229103B2 (ja) 2019-06-06 2019-06-06 ショベル

Country Status (1)

Country Link
JP (1) JP7229103B2 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010204821A (ja) * 2009-03-02 2010-09-16 Hitachi Constr Mach Co Ltd 周囲監視装置を備えた作業機械
JP2011028729A (ja) * 2009-07-03 2011-02-10 Takenaka Komuten Co Ltd 接触防止システム、建設機械およびプログラム
JP2012112108A (ja) * 2010-11-22 2012-06-14 Hitachi Constr Mach Co Ltd 作業機械の周囲監視装置
JP2013073517A (ja) * 2011-09-28 2013-04-22 Sumitomo Heavy Ind Ltd 物体検出装置を搭載する移動体
JP2014148893A (ja) * 2014-05-30 2014-08-21 Komatsu Ltd 油圧ショベルの表示システム
JP2014225803A (ja) * 2013-05-16 2014-12-04 住友建機株式会社 作業機械用周辺監視装置
JP2017072425A (ja) * 2015-10-05 2017-04-13 株式会社小松製作所 施工管理システム及び形状計測方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010204821A (ja) * 2009-03-02 2010-09-16 Hitachi Constr Mach Co Ltd 周囲監視装置を備えた作業機械
JP2011028729A (ja) * 2009-07-03 2011-02-10 Takenaka Komuten Co Ltd 接触防止システム、建設機械およびプログラム
JP2012112108A (ja) * 2010-11-22 2012-06-14 Hitachi Constr Mach Co Ltd 作業機械の周囲監視装置
JP2013073517A (ja) * 2011-09-28 2013-04-22 Sumitomo Heavy Ind Ltd 物体検出装置を搭載する移動体
JP2014225803A (ja) * 2013-05-16 2014-12-04 住友建機株式会社 作業機械用周辺監視装置
JP2014148893A (ja) * 2014-05-30 2014-08-21 Komatsu Ltd 油圧ショベルの表示システム
JP2017072425A (ja) * 2015-10-05 2017-04-13 株式会社小松製作所 施工管理システム及び形状計測方法

Also Published As

Publication number Publication date
JP7229103B2 (ja) 2023-02-27

Similar Documents

Publication Publication Date Title
JP6662604B2 (ja) ショベル
US11288827B2 (en) Measurement device of shovel
JP2017089139A (ja) ショベル
US11926994B2 (en) Excavator, display device for excavator, and terminal apparatus
KR102602382B1 (ko) 쇼벨
JP6932651B2 (ja) ショベル
US12031302B2 (en) Excavator
JP6598685B2 (ja) ショベル
JP6963007B2 (ja) ショベル、ショベルの表示装置及びショベルにおける画像の表示方法
JP6639990B2 (ja) ショベル
JP2016169572A (ja) ショベル
JP7073232B2 (ja) ショベル及びショベルの情報更新方法
KR102570491B1 (ko) 쇼벨
JP7044787B2 (ja) ショベル、ショベルの表示装置及びショベルの表示方法
JP7229103B2 (ja) ショベル
JP7346061B2 (ja) ショベル
WO2024090551A1 (ja) ショベル
JP2024083065A (ja) ショベル、及び作業機械

Legal Events

Date Code Title Description
A625 Written request for application examination (by other person)

Free format text: JAPANESE INTERMEDIATE CODE: A625

Effective date: 20190617

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200901

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20201102

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210104

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210713

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211013

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20211013

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20211021

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20211026

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20211224

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20220111

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20220607

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20220705

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20220712

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220906

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20221220

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20230117

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20230117

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230214

R150 Certificate of patent or registration of utility model

Ref document number: 7229103

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150