JP2019163691A

JP2019163691A - ショベル

Info

Publication number: JP2019163691A
Application number: JP2019106486A
Authority: JP
Inventors: 泉川　岳哉; Takeya Izumikawa; 岳哉泉川
Original assignee: Sumitomo SHI Construction Machinery Co Ltd
Current assignee: Sumitomo SHI Construction Machinery Co Ltd
Priority date: 2019-06-06
Filing date: 2019-06-06
Publication date: 2019-09-26
Anticipated expiration: 2035-10-28
Also published as: JP7229103B2

Abstract

【課題】画像内における所定の認識対象を精度良く認識できるショベルを提供すること。【解決手段】本発明の実施例に係るショベルは、下部走行体１と、下部走行体１に旋回可能に搭載される上部旋回体３と、上部旋回体３に取り付けられるアタッチメントと、キャビン１０と、上部旋回体３を下部走行体１に対して旋回させる操作装置２６と、表示装置Ｄ３と、画像を取得する装置と、その画像を取得する装置によって取得される複数の画像において同一の認識対象を取得する制御装置と、を備える。【選択図】図１

Description

本発明は、画像認識に基づく物体検出システムを搭載するショベルに関する。

ショベルに取り付けられたカメラで撮像したショベルの周囲の画像における二次元コードとしてのマーカーの画像をパターンマッチングで認識する運転補助装置が知られている（特許文献１参照。）。この運転補助装置は、認識したマーカーの画像が表す内容（進入禁止領域に関する情報）を解読してその内容に応じてショベルの運転を補助する。

特開２０１３−１５１８３０号公報

しかしながら、上述の運転補助装置は、撮像した画像の全域にわたって探索窓の大きさと位置を変化させながらその探索窓内の画像と既登録の参照マーカー画像との照合処理を繰り返してマーカー画像を認識する。

上述に鑑み、画像内における所定の認識対象を精度良く認識できるショベルを提供することが求められる。

本発明の実施例に係るショベルは、下部走行体と、前記下部走行体に旋回可能に搭載される上部旋回体と、前記上部旋回体に取り付けられるアタッチメントと、前記上部旋回体に取り付けられるキャビンと、前記キャビン内に設けられ、前記上部旋回体を前記下部走行体に対して旋回させる操作装置と、前記キャビン内で運転席に向かって取り付けられた表示装置と、画像を取得する装置と、前記画像を取得する装置によって取得される複数の画像において同一の認識対象を取得する制御装置と、を備える。

上述の手段により、画像内における所定の認識対象を精度良く認識できるショベルを提供できる。

本発明の実施例に係るショベルの側面図である。ショベルの駆動系の構成を示す図である。ショベルが旋回する際の表示画像の推移を説明する図である。ショベルが走行する際の表示画像の推移を説明する図である。画像認識条件調整処理のフローチャートである。運動検出装置の取り付け位置を示すショベルの上面図である。ショベルが旋回する際の表示画像の推移を説明する図である。

図１は本発明の実施例に係るショベル（掘削機）の側面図である。ショベルの下部走行体１には旋回機構２を介して上部旋回体３が旋回可能に搭載される。上部旋回体３にはブーム４が取り付けられる。ブーム４の先端にはアーム５が取り付けられ、アーム５の先端にはエンドアタッチメントとしてのバケット６が取り付けられる。

ブーム４、アーム５、及びバケット６は、アタッチメントの一例として掘削アタッチメントを構成し、ブームシリンダ７、アームシリンダ８、及びバケットシリンダ９によりそれぞれ油圧駆動される。

上部旋回体３にはキャビン１０が設けられ且つエンジン１１等の動力源が搭載される。また、上部旋回体３にはカメラＳ１が取り付けられ、カメラＳ１には運動検出装置Ｓ２が取り付けられる。

カメラＳ１はショベルの周辺の画像を取得する撮像装置である。本実施例では、カメラＳ１は上部旋回体３の後端に取り付けられてショベルの後方を撮像する。

運動検出装置Ｓ２は、三次元空間におけるカメラＳ１の運動を検出する装置であり、例えば、加速度センサ、角速度センサ（ジャイロセンサ）、地磁気センサ、ＧＮＳＳ（Global Navigation Satellite System）コンパス等である。本実施例では、運動検出装置Ｓ２は、三次元空間におけるカメラＳ１の移動及び回転を検出する装置であり、例えば、加速度センサ及び角速度センサ（ジャイロセンサ）の組み合わせで構成される。また、運動検出装置Ｓ２は、加速度センサと、角速度センサと、地磁気センサ又はＧＮＳＳコンパスとの組み合わせで構成されてもよい。

また、運動検出装置Ｓ２は、カメラＳ１に内蔵され、カメラＳ１と共に運動する。具体的には、運動検出装置Ｓ２は、カメラＳ１の筐体内に取り付けられ、カメラＳ１と同じ方向に移動し且つカメラＳ１と同じ方向に回転する。運動検出装置Ｓ２自体の運動に関する情報（運動検出装置Ｓ２の検出値）をカメラＳ１の運動に関する情報としてそのまま利用できるようにするためである。但し、運動検出装置Ｓ２は、カメラＳ１と同じように運動できるのであれば、カメラＳ１の外部に取り付けられてもよい。例えば、運動検出装置Ｓ２は、カメラＳ１の筐体又はカバーの外面に取り付けられてもよい。この構成により、運動検出装置Ｓ２は、運動検出装置Ｓ２自体の運動に関する情報からカメラＳ１の運動に関する情報を算出する処理を省略でき、そのような算出処理の際に生じる誤差を排除できる。また、走行速度センサ、旋回角度センサ等の出力に基づいてカメラＳ１の運動に関する情報を間接的に算出する必要がないため、そのような算出処理の際に生じる誤差を排除できる。また、上述のような算出処理を省略することで、カメラＳ１の運動に関する情報をより早期に取得できる。また、運動検出装置Ｓ２は、カメラＳ１に内蔵されるため、組み立て性、メンテナンス性、センサ精度等を向上させることができ、また、製造コストを低減させることができる。

キャビン１０内には、音声出力装置Ｄ２、表示装置Ｄ３、ゲートロックレバーＤ５、コントローラ３０、及び物体検出装置５０が設置される。

コントローラ３０は、ショベルの駆動制御を行う主制御部として機能する。本実施例では、コントローラ３０は、ＣＰＵ及び内部メモリを含む制御装置で構成される。コントローラ３０の各種機能は、ＣＰＵが内部メモリに格納されたプログラムを実行することで実現される。

物体検出装置５０は、公知の画像認識処理を用いてカメラＳ１が撮像した画像内を探索して所定の認識対象の物体の画像を見つけ出すことで物体を検出する。カメラＳ１が撮像した画像は、撮像画像そのものと、その撮像画像に基づいて生成される画像（例えば表示画像）とを含む概念であり、以下では「処理対象画像」とも称する。公知の画像認識処理は、例えば、ＳＩＦＴ（Scale-Invariant Feature Transform）アルゴリズム、ＳＵＲＦ(Speeded-Up Robust Features)アルゴリズム、ＯＲＢ(ORiented BRIEF (Binary Robust Independent Elementary Features))アルゴリズム、ＨＯＧ(Histograms of Oriented Gradients)アルゴリズム等を用いた画像認識処理、パターンマッチングを用いた画像認識処理等を含む。また、所定の認識対象の物体は、人（作業者等）及び物（障害物等）を含む。本実施例では、物体検出装置５０は、例えば、ショベルの後方に存在する物体の画像を見つけ出す処理（以下、「物体検出処理」とする。）を所定周期で繰り返し実行する。

物体検出装置５０は、コントローラ３０と同様、ＣＰＵ及び内部メモリを含む制御装置で構成される。物体検出装置５０の各種機能はＣＰＵが内部メモリに格納されたプログラムを実行することで実現される。物体検出装置５０は、コントローラ３０とは別個に設けられてもよく、或いは、コントローラ３０に組み込まれていてもよい。

音声出力装置Ｄ２は、物体検出装置５０からの音声出力指令に応じて各種音声情報を出力する。本実施例では、音声出力装置Ｄ２として、物体検出装置５０に直接接続される車載スピーカが利用される。なお、音声出力装置Ｄ２として、ブザー等の警報器が利用されてもよい。

表示装置Ｄ３は、物体検出装置５０からの指令に応じて各種画像情報を出力する。本実施例では、表示装置Ｄ３として、キャビン１０内で運転席に向かって取り付けられ且つ物体検出装置５０に直接接続される車載液晶ディスプレイが利用される。

ゲートロックレバーＤ５は、ショベルが誤って操作されるのを防止する機構である。本実施例では、ゲートロックレバーＤ５は、キャビン１０のドアと運転席との間に配置される。キャビン１０から操作者が退出できないようにゲートロックレバーＤ５が引き上げられた場合に、各種操作装置は操作可能となる。一方、キャビン１０から操作者が退出できるようにゲートロックレバーＤ５が押し下げられた場合には、各種操作装置は操作不能となる。

図２は、図１のショベルの駆動系の構成例を示す図である。図２において、機械的動力系は二重線、高圧油圧ラインは太実線、パイロットラインは破線、電気駆動・制御系は細実線でそれぞれ示される。

エンジン１１はショベルの動力源である。本実施例では、エンジン１１は、エンジン負荷の増減にかかわらずエンジン回転数を一定に維持するアイソクロナス制御を採用したディーゼルエンジンである。エンジン１１における燃料噴射量、燃料噴射タイミング、ブースト圧等は、エンジンコントローラユニット（ＥＣＵ）Ｄ７により制御される。

エンジン１１には油圧ポンプとしてのメインポンプ１４及びパイロットポンプ１５が接続される。メインポンプ１４には高圧油圧ラインを介してコントロールバルブ１７が接続される。

コントロールバルブ１７は、ショベルの油圧系の制御を行う油圧制御装置である。右側走行用油圧モータ、左側走行用油圧モータ、ブームシリンダ７、アームシリンダ８、バケットシリンダ９、旋回用油圧モータ等の油圧アクチュエータは、高圧油圧ラインを介してコントロールバルブ１７に接続される。なお、旋回用油圧モータは旋回用電動発電機であってもよい。

パイロットポンプ１５にはパイロットラインを介して操作装置２６が接続される。操作装置２６はキャビン１０内に設けられるレバー及びペダルであり、上部旋回体３を下部走行体１に対して旋回させる操作装置である旋回操作レバー等を含む。また、操作装置２６は、油圧ライン及びゲートロック弁Ｄ６を介してコントロールバルブ１７に接続される。

ゲートロック弁Ｄ６は、コントロールバルブ１７と操作装置２６とを接続する油圧ラインの連通・遮断を切り換える。本実施例では、ゲートロック弁Ｄ６は、コントローラ３０からの指令に応じて油圧ラインの連通・遮断を切り換える電磁弁である。コントローラ３０は、ゲートロックレバーＤ５が出力する状態信号に基づいてゲートロックレバーＤ５の状態を判定する。そして、コントローラ３０は、ゲートロックレバーＤ５が引き上げられた状態にあると判定した場合に、ゲートロック弁Ｄ６に対して連通指令を出力する。連通指令を受けると、ゲートロック弁Ｄ６は開いて油圧ラインを連通させる。その結果、操作装置２６に対する操作者の操作が有効となる。一方、コントローラ３０は、ゲートロックレバーＤ５が引き下げられた状態にあると判定した場合に、ゲートロック弁Ｄ６に対して遮断指令を出力する。遮断指令を受けると、ゲートロック弁Ｄ６は閉じて油圧ラインを遮断する。その結果、操作装置２６に対する操作者の操作が無効となる。

圧力センサ２９は、操作装置２６の操作内容を圧力の形で検出する。圧力センサ２９は、検出値をコントローラ３０に対して出力する。

また、図２はコントローラ３０と表示装置Ｄ３との接続関係を示す。本実施例では、表示装置Ｄ３は物体検出装置５０を介してコントローラ３０に接続される。なお、表示装置Ｄ３、物体検出装置５０、及びコントローラ３０は、ＣＡＮ等の通信ネットワークを介して接続されてもよく、専用線を介して接続されてもよい。

表示装置Ｄ３は画像を生成する変換処理部Ｄ３ａを含む。本実施例では、変換処理部Ｄ３ａは、カメラＳ１が出力する画像情報に基づいて表示用の表示画像を生成する。そのため、表示装置Ｄ３は、物体検出装置５０を介し、物体検出装置５０に接続されたカメラＳ１が出力する画像情報を取得する。但し、カメラＳ１は、表示装置Ｄ３に接続されていてもよく、コントローラ３０に接続されていてもよい。

また、変換処理部Ｄ３ａは、コントローラ３０又は物体検出装置５０の出力に基づいて表示用の画像を生成する。本実施例では、変換処理部Ｄ３ａは、コントローラ３０又は物体検出装置５０が出力する各種情報を画像信号に変換する。なお、コントローラ３０が出力する情報は、例えば、エンジン冷却水の温度を示すデータ、作動油の温度を示すデータ、燃料の残量を示すデータ等を含む。また、物体検出装置５０が出力する情報は、検出した物体に関する情報（例えば、カメラＳ１と物体との距離）等を含む。

なお、変換処理部Ｄ３ａは、表示装置Ｄ３が有する機能としてではなく、コントローラ３０又は物体検出装置５０が有する機能として実現されてもよい。

また、表示装置Ｄ３は、蓄電池７０から電力の供給を受けて動作する。なお、蓄電池７０はエンジン１１のオルタネータ１１ａ（発電機）で発電した電力で充電される。蓄電池７０の電力は、コントローラ３０及び表示装置Ｄ３以外のショベルの電装品７２等にも供給される。また、エンジン１１のスタータ１１ｂは、蓄電池７０からの電力で駆動され、エンジン１１を始動する。

エンジン１１は、エンジンコントローラユニットＤ７により制御される。エンジンコントローラユニットＤ７からは、エンジン１１の状態を示す各種データ（例えば、水温センサ１１ｃで検出される冷却水温（物理量）を示すデータ）がコントローラ３０に常時送信される。したがって、コントローラ３０は一時記憶部（メモリ）３０ａにこのデータを蓄積しておき、必要なときに表示装置Ｄ３に送信することができる。

また、コントローラ３０には以下のように各種データが供給され、コントローラ３０の一時記憶部３０ａに格納される。

まず、可変容量式油圧ポンプであるメインポンプ１４のレギュレータ１４ａから斜板傾転角を示すデータがコントローラ３０に供給される。また、メインポンプ１４の吐出圧力を示すデータが、吐出圧力センサ１４ｂからコントローラ３０に送られる。これらのデータ（物理量を表すデータ）は一時記憶部３０ａに格納される。また、メインポンプ１４が吸入する作動油が貯蔵されたタンクとメインポンプ１４との間の管路には油温センサ１４ｃが設けられており、その管路を流れる作動油の温度を表すデータが油温センサ１４ｃからコントローラ３０に供給される。

また、燃料収容部５５における燃料収容量検出部５５ａから燃料収容量を示すデータがコントローラ３０に供給される。本実施例では、燃料収容部５５としての燃料タンクにおける燃料収容量検出部５５ａとしての燃料残量センサから燃料の残量状態を示すデータがコントローラ３０に供給される。

具体的には、燃料残量センサは、液面に追従するフロートと、フロートの上下変動量を抵抗値に変換する可変抵抗器（ポテンショメータ）とで構成される。この構成により、燃料残量センサは、表示装置Ｄ３で燃料の残量状態を無段階表示させることができる。なお、燃料収容量検出部の検出方式は、使用環境等に応じて適宜選択され得るものであり、燃料の残量状態を段階表示させることができる検出方式が採用されてもよい。

また、操作装置２６を操作した際にコントロールバルブ１７に送られるパイロット圧が、圧力センサ２９で検出され、検出したパイロット圧を示すデータがコントローラ３０に供給される。

また、本実施例では、図２に示すように、ショベルは、キャビン１０内にエンジン回転数調整ダイヤル７５を備える。エンジン回転数調整ダイヤル７５は、エンジン１１の回転数を調整するためのダイヤルであり、本実施例ではエンジン回転数を４段階で切り換えできるようにする。また、エンジン回転数調整ダイヤル７５からは、エンジン回転数の設定状態を示すデータがコントローラ３０に常時送信される。また、エンジン回転数調整ダイヤル７５は、ＳＰモード、Ｈモード、Ａモード、及びアイドリングモードの４段階でエンジン回転数を切り換えできるようにする。なお、図２は、エンジン回転数調整ダイヤル７５でＨモードが選択された状態を示す。

ＳＰモードは、作業量を優先したい場合に選択される回転数モードであり、最も高いエンジン回転数を利用する。Ｈモードは、作業量と燃費を両立させたい場合に選択される回転数モードであり、二番目に高いエンジン回転数を利用する。Ａモードは、燃費を優先させながら低騒音でショベルを稼働させたい場合に選択される回転数モードであり、三番目に高いエンジン回転数を利用する。アイドリングモードは、エンジン１１をアイドリング状態にしたい場合に選択される回転数モードであり、最も低いエンジン回転数を利用する。そして、エンジン１１は、エンジン回転数調整ダイヤル７５で設定された回転数モードのエンジン回転数で一定に回転数制御される。

次に、物体検出装置５０の機能要素について説明する。本実施例では、物体検出装置５０は、画像認識部５００及び画像認識条件調整部５０１を含む。

画像認識部５００は、公知の画像認識処理を用いて処理対象画像内を探索して所定の認識対象の物体の画像を見つけ出す機能要素である。本実施例では、画像認識部５００は、カメラＳ１が撮像した画像から生成される表示画像内の全領域を探索範囲としながら、認識対象の物体としての作業者の画像を見つけ出す。そして、画像認識部５００は、例えば、作業者の画像を見つけ出した場合に、音声出力装置Ｄ２及び表示装置Ｄ３に制御指令を送信して警告を出力させる。

画像認識条件調整部５０１は、画像認識部５００が所定の認識対象の物体の画像を見つけ出す際に採用する画像認識条件を調整する機能要素である。本実施例では、画像認識条件調整部５０１は、運動検出装置Ｓ２が検出するカメラＳ１の運動の内容に基づいて画像認識条件を調整する。画像認識条件の調整は、例えば、処理対象画像上の部分画像が所定の認識対象の物体の画像であるか否かを判定する際に用いられる閾値（以下、「画像判定閾値」とする。）の調整を含む。また、画像認識条件の調整は探索範囲の調整であってもよい。

ここで、図３を参照し、運動検出装置Ｓ２が検出するカメラＳ１の運動の内容に応じて画像認識条件調整部５０１が画像認識条件を調整する処理（以下、「画像認識条件調整処理」とする。）について説明する。図３は、ショベルが旋回する際の表示画像の推移を説明する図であり、図３（Ａ）が旋回中のショベルの上面図を示し、図３（Ｂ）が旋回前の表示画像を示し、図３（Ｃ）が旋回後の表示画像を示す。なお、図３（Ｂ）及び図３（Ｃ）のそれぞれに示す表示画像は鏡像画像である。また、図３（Ｂ）及び図３（Ｃ）のそれぞれに示すように、表示画像は、その下部領域に上部旋回体３の後端部３ａの画像を含む。この構成により、操作者は、表示画像に写る物体と上部旋回体３との間の距離を直感的に認識できる。

具体的には、図３（Ａ）の点線で描かれたショベルは、旋回開始前の時刻ｔ１におけるショベルの状態を表し、実線で描かれたショベルは、旋回軸ＳＸを中心に反時計回りに角度αだけ旋回した後の時刻ｔ２におけるショベルの状態を表す。また、図３（Ａ）は、ショベルの後方に作業者Ｗが存在する状態を示す。また、点線で囲まれた領域Ｒ１は時刻ｔ１でのカメラＳ１の撮像範囲を示し、実線で囲まれた領域Ｒ２は時刻ｔ２でのカメラＳ１の撮像範囲を示す。

また、図３（Ｂ）は時刻ｔ１において表示装置Ｄ３に表示される鏡像画像としての表示画像Ｇ１を示す。表示画像Ｇ１は時刻ｔ１におけるカメラＳ１の撮像画像に基づいて生成される。表示画像Ｇ１はその右側部分に作業者Ｗの画像ＷＧ１を含む。また、図３（Ｃ）は時刻ｔ２において表示装置Ｄ３に表示される鏡像画像としての表示画像Ｇ２を示す。表示画像Ｇ２は表示画像Ｇ１と同様に時刻ｔ２におけるカメラＳ１の撮像画像に基づいて生成される。表示画像Ｇ２はその左側部分に作業者Ｗの画像ＷＧ２を含む。このように、上部旋回体３が反時計回りに旋回すると、表示画像の右側部分に位置していた静止状態の作業者Ｗの画像は表示画像の左側部分に移動する。

このとき、画像認識部５００が時刻ｔ１において表示画像Ｇ１の画像ＷＧ１を作業者Ｗの画像として認識していた場合、時刻ｔ２において画像認識部５００が表示画像Ｇ２の全領域を探索範囲として作業者Ｗの画像を探索することは効率的でない。また、周囲の明るさ等の撮像条件によっては、表示画像Ｇ２内に存在するはずの作業者Ｗの画像を認識できずに見失ってしまうおそれもある。

そこで、画像認識条件調整部５０１は、運動検出装置Ｓ２が検出するカメラＳ１の運動の内容に応じて画像認識条件を調整する。

具体的には、画像認識条件調整部５０１は、上部旋回体３が旋回軸ＳＸを中心として反時計回りに角度αだけ旋回する際にカメラＳ１が移動したことを運動検出装置Ｓ２の出力に基づいて検出する。そして、画像認識条件調整部５０１は、その移動内容に基づき、時刻ｔ１の表示画像Ｇ１における存在領域ＣＲ１に対応する、時刻ｔ２の表示画像Ｇ２における対応領域ＣＲ２を導き出す。存在領域ＣＲ１は、作業者Ｗの画像ＷＧ１が存在する領域であり、画像認識部５００が認識した画像ＷＧ１の位置から導き出される。本実施例では、存在領域ＣＲ１は画像ＷＧ１を含む矩形領域として抽出される。但し、存在領域ＣＲ１は円形領域、楕円領域等の他の形状を有する領域として抽出されてもよい。また、対応領域ＣＲ２は、表示画像Ｇ１における存在領域ＣＲ１の位置と、時刻ｔ１から時刻ｔ２までの間のカメラＳ１の移動方向及び移動距離とに基づいて導き出される。対応領域ＣＲ２は、作業者Ｗの画像が存在する可能性が高いと推定される領域である。本実施例では、対応領域ＣＲ２は存在領域ＣＲ１と同じ形状（相似形を含む。）を有する領域として抽出される。但し、対応領域ＣＲ２は存在領域ＣＲ１とは別の形状を有する領域として抽出されてもよい。

その後、画像認識条件調整部５０１は、表示画像Ｇ２における対応領域ＣＲ２に関する画像認識条件を、それ以外の領域に関する画像認識条件に比べて緩和する。具体的には、画像認識条件調整部５０１は、表示画像Ｇ２における対応領域ＣＲ２に関する画像判定閾値を、作業者Ｗの画像が認識され易くなるように調整する。対応領域ＣＲ２内に作業者Ｗの画像が存在する可能性が高いと推定されるためである。その結果、物体検出装置５０は、表示画像Ｇ２で作業者Ｗの画像を見失うことなく認識してその検出精度を向上できる。

例えば、ＨＯＧアルゴリズムを用いた画像認識処理では、認識対象らしさ（例えば人らしさ）を記述するＨＯＧ特徴量が処理対象画像から導き出される。そして、学習用画像に基づいて予め作成された識別器がそのＨＯＧ特徴量と所定の閾値とに基づいて処理対象画像が認識対象（例えば人）の画像であるか否かを判定する。画像認識条件の緩和はこの閾値を変化させて処理対象画像が認識対象の画像であると判定され易くすることを意味する。その結果、緩和前であれば認識対象の画像でないと判定されていた処理対象画像が認識対象の画像であると判定される蓋然性が高くなる。

或いは、画像認識条件調整部５０１は、作業者Ｗの画像に関する探索範囲を対応領域ＣＲ２にまで限定してもよい。この場合、物体検出装置５０は、表示画像Ｇ２の全領域を探索範囲とする場合に比べ、画像認識処理に関する演算負荷を低減させることができる。そして、画像認識処理に要する時間を短縮し、物体をより早期に検出できる。

次に、図４を参照し、画像認識条件調整処理の別の一例について説明する。図４は、ショベルが走行する際の表示画像の推移を説明する図であり、図４（Ａ）が走行中のショベルの上面図を示し、図４（Ｂ）が走行前の表示画像を示し、図４（Ｃ）が走行後の表示画像を示す。なお、図４（Ｂ）及び図４（Ｃ）のそれぞれに示す表示画像は鏡像画像である。

具体的には、図４（Ａ）の点線で描かれたショベルは、走行開始前の時刻ｔ１におけるショベルの状態を表し、実線で描かれたショベルは、距離ＤＳだけ走行した後の時刻ｔ２におけるショベルの状態を表す。また、図４（Ａ）は、ショベルの後方に作業者Ｗが存在する状態を示す。また、点線で囲まれた領域Ｒ１は時刻ｔ１でのカメラＳ１の撮像範囲を示し、実線で囲まれた領域Ｒ２は時刻ｔ２でのカメラＳ１の撮像範囲を示す。

また、図４（Ｂ）は時刻ｔ１において表示装置Ｄ３に表示される鏡像画像としての表示画像Ｇ１を示す。表示画像Ｇ１は時刻ｔ１におけるカメラＳ１の撮像画像に基づいて生成される。表示画像Ｇ１はその右側部分の比較的大きな範囲に作業者Ｗの画像ＷＧ１を含む。また、図４（Ｃ）は時刻ｔ２において表示装置Ｄ３に表示される鏡像画像としての表示画像Ｇ２を示す。表示画像Ｇ２は表示画像Ｇ１と同様に時刻ｔ２におけるカメラＳ１の撮像画像に基づいて生成される。表示画像Ｇ２はその右側部分の比較的小さな範囲に作業者Ｗの画像ＷＧ２を含む。このように、作業者Ｗから遠ざかる方向にショベルが走行すると、表示画像の右側部分の比較的大きな範囲を占めていた静止状態の作業者Ｗの画像は表示画像の右側部分の比較的小さな範囲まで縮小する。

具体的には、画像認識条件調整部５０１は、運動検出装置Ｓ２の出力に基づいてカメラＳ１が距離ＤＳだけ作業者Ｗから遠ざかる方向に移動したことを検出する。そして、画像認識条件調整部５０１は、その移動内容に基づき、時刻ｔ１の表示画像Ｇ１における存在領域ＣＲ１に対応する、時刻ｔ２の表示画像Ｇ２における対応領域ＣＲ２を導き出す。

或いは、画像認識条件調整部５０１は、作業者Ｗの画像に関する探索範囲を対応領域ＣＲ２にまで限定してもよい。この場合、物体検出装置５０は、表示画像Ｇ２の全領域を探索範囲とする場合に比べ、画像認識処理に関する演算負荷を低減させることができる。そして、画像認識処理に要する時間を短縮し、物体をより早期に検出できる。また、アタッチメントの動作によって上部旋回体３が上下方向に揺れるため画像認識が難しい状況であっても認識対象の物体をより早期に検出できる。

次に、図５を参照し、画像認識条件調整処理の流れについて説明する。図５は、画像認識条件調整処理のフローチャートである。なお、物体検出装置５０は、所定周期で繰り返しこの画像認識条件調整処理と物体検出処理とを並行して実行する。

最初に、物体検出装置５０は、前回の物体検出処理において物体の画像を認識したか否かを判定する（ステップＳＴ１）。例えば図３又は図４に示す場合において、物体検出装置５０は、表示画像Ｇ１で作業者Ｗの画像ＷＧ１を認識したか否かを判定する。

前回の物体検出処理において物体の画像を認識していないと判定した場合（ステップＳＴ１のＮＯ）、物体検出装置５０は、今回の画像認識条件調整処理を終了させる。既に認識した物体の画像の現在位置（現在の表示画像上の位置）を推定できないためである。

一方、前回の物体検出処理において物体の画像を認識していると判定した場合（ステップＳＴ１のＹＥＳ）、物体検出装置５０は、その物体の画像が位置する表示画像内の領域（以下、「存在領域」とする。）を特定する（ステップＳＴ２）。例えば、物体検出装置５０は、表示画像Ｇ１で作業者Ｗの画像ＷＧ１を認識していると判定した場合、画像ＷＧ１が位置する存在領域ＣＲ１を特定する。

その後、物体検出装置５０は、カメラＳ１の運動内容を取得する（ステップＳＴ３）。具体的には、物体検出装置５０は、運動検出装置Ｓ２の出力に基づいて前回の物体検出処理が実行された後のカメラＳ１の運動の内容を取得する。例えば、ショベルが旋回或いは走行した場合、物体検出装置５０は、カメラＳ１の運動内容として、ショベルの旋回又は走行によるカメラＳ１の移動方向及び移動距離を取得する。

その後、物体検出装置５０は、物体の画像の存在領域とカメラＳ１の運動内容とに基づいて対応領域を導き出す（ステップＳＴ４）。例えば、表示画像Ｇ１における存在領域ＣＲ１の位置及び形状とその後のカメラＳ１の運動の内容とに基づいて対応領域ＣＲ２の位置及び形状を導き出す。また、ショベルが旋回も走行もせずに停止していた場合、物体検出装置５０は、存在領域ＣＲ１の位置及び形状をそのまま対応領域ＣＲ２の位置及び形状とする。

その後、物体検出装置５０は、導き出した対応領域の画像認識条件を調整する（ステップＳＴ５）。例えば、物体検出装置５０は、今回の物体検出処理の際の表示画像Ｇ２における対応領域ＣＲ２に関する画像判定閾値を、作業者Ｗの画像が認識され易くなるように調整する。例えば、画像判定閾値を下げることで、画像判定閾値がより大きいときに比べ、対応領域ＣＲ２内の画像が認識対象の物体の画像であると認識されるための困難さが緩和される。これにより、物体検出装置５０は、表示画像Ｇ２で作業者Ｗの画像を見失うことなく認識してその検出精度を向上できる。或いは、物体検出装置５０は、今回の物体検出処理の際の作業者Ｗの画像に関する探索範囲として対応領域ＣＲ２を優先的に選択してもよい。作業者Ｗの画像が存在する可能性が高いと推定される対応領域ＣＲ２内を優先的に探索することで作業者Ｗの存在を早期に確認した後で対応領域ＣＲ２以外の他の領域を探索できるためである。これにより、物体検出装置５０は作業者Ｗの画像をより確実に認識し続けることができる。また、対応領域ＣＲ２を優先的に探索する方法の別の１例として、物体検出装置５０は今回の物体検出処理の際の作業者Ｗの画像に関する探索範囲を対応領域ＣＲ２に限定してもよい。この場合、物体検出装置５０は、表示画像Ｇ２の全領域を探索範囲とする場合に比べ、画像認識処理に関する演算負荷を低減させることができる。そして、画像認識処理に要する時間を短縮し、物体をより早期に検出できる。

次に、図６を参照し、運動検出装置Ｓ２の別の構成例について説明する。図６は、ショベルの上面図であり、運動検出装置Ｓ２の取り付け位置を示す。図６の運動検出装置Ｓ２は、上部旋回体３に搭載されるカウンタウェイトの上面に取り付けられる２つのＧＮＳＳ受信機Ｓ２Ｌ、Ｓ２Ｒを含むＧＮＳＳコンパスで構成される点で、加速度センサ及びジャイロセンサの組み合わせで構成される図１の運動検出装置Ｓ２と相違する。

この構成では、ＧＮＳＳ受信機Ｓ２Ｌ、Ｓ２ＲのそれぞれとカメラＳ１との相対位置関係は固定且つ既知である。そのため、物体検出装置５０は、ＧＮＳＳ受信機Ｓ２Ｌ、Ｓ２Ｒのそれぞれの出力に基づいてカメラＳ１の基準座標系における座標を導き出すことができる。基準座標系は、例えば世界測地系である。世界測地系は、地球の重心に原点をおき、Ｘ軸をグリニッジ子午線と赤道との交点の方向に、Ｙ軸を東経９０度の方向に、そしてＺ軸を北極の方向にとる三次元直交ＸＹＺ座標系である。

そして、物体検出装置５０は、時刻ｔ１におけるカメラＳ１の座標と、その後の時刻ｔ２におけるカメラＳ１の座標とから、時刻ｔ１−時刻ｔ２間のカメラＳ１の運動内容（移動方向及び移動距離）を取得できる。そのため、物体検出装置５０は、カメラＳ１に内蔵される図１の運動検出装置Ｓ２（加速度センサ及びジャイロセンサの組み合わせ）の出力に基づいて画像認識条件を調整する場合と同様の効果を実現できる。

次に、図７を参照し、画像認識条件調整処理の更に別の一例について説明する。図７は、ショベルが旋回する際の表示画像の推移を説明する図であり、図７（Ａ）が停止中のショベルの上面図を示し、図７（Ｂ）が旋回中のショベルの上面図を示す。また、図７（Ｃ）が旋回前の表示画像を示し、図７（Ｄ）が旋回後の表示画像を示す。

具体的には、図７（Ａ）は、ショベルの上部旋回体３の上面左端に左側方カメラＳ１Ｌが取り付けられ、上部旋回体３の上面後端に後方カメラＳ１Ｂが取り付けられ、上部旋回体３の上面右端に右側方カメラＳ１Ｒが取り付けられた状態を示す。

図７（Ｂ）の点線で描かれたショベルは、時刻ｔ１におけるショベルの状態を表し、実線で描かれたショベルは、旋回軸ＳＸを中心に反時計回りに角度αだけ旋回した後の時刻ｔ２におけるショベルの状態を表す。また、図７（Ｂ）は、ショベルの後方に作業者Ｗが存在する状態を示す。点線で囲まれた領域Ｒ１は時刻ｔ１での後方カメラＳ１Ｂの撮像範囲を示し、実線で囲まれた領域Ｒ２は時刻ｔ２での後方カメラＳ１Ｂの撮像範囲を示す。また、明瞭化のため、図７（Ｂ）は、左側方カメラＳ１Ｌ及び右側方カメラＳ１Ｒのそれぞれの撮像範囲の図示を省略する。

図７（Ｃ）は時刻ｔ１において表示装置Ｄ３に表示される表示画像Ｇ１を示す。表示画像Ｇ１はその中央部分にショベルのＣＧ画像Ｇｓを表示し、その周りに上部を欠いた部分円形状の画像表示領域Ｒｃを有する。画像表示領域Ｒｃには、３台のカメラのそれぞれの撮像画像を合成して生成される合成画像としての視点変換画像が表示される。視点変換画像は、ショベルのＣＧ画像Ｇｓの周りに配置される路面画像部分と、その路面画像部分の周りに配置される水平画像部分とを含む。路面画像部分はショベル近傍を真上から見たときの光景を表示し、水平画像部分はショベルから水平方向を見たときの光景を表示する。また、ＣＧ画像Ｇｓの下には作業者Ｗの画像ＷＧ１が表示される。

図７（Ｄ）は時刻ｔ２において表示装置Ｄ３に表示される表示画像Ｇ２を示す。表示画像Ｇ２ではＣＧ画像Ｇｓの左下に作業者Ｗの画像ＷＧ２を含む。このように、上部旋回体３が反時計回りに旋回すると、ＣＧ画像Ｇｓの下に位置していた静止状態の作業者Ｗの画像はＣＧ画像Ｇｓの左下に移動する。

具体的には、画像認識条件調整部５０１は、上部旋回体３が旋回軸ＳＸを中心として反時計回りに角度αだけ旋回する際にカメラＳ１が移動したことを運動検出装置Ｓ２の出力に基づいて検出する。そして、画像認識条件調整部５０１は、その移動内容に基づき、時刻ｔ１の表示画像Ｇ１における存在領域ＣＲ１に対応する、時刻ｔ２の表示画像Ｇ２における対応領域ＣＲ２を導き出す。

或いは、画像認識条件調整部５０１は、作業者Ｗの画像に関する探索範囲を対応領域ＣＲ２に限定してもよい。この場合、物体検出装置５０は、表示画像Ｇ２の全領域を探索範囲とする場合に比べ、画像認識処理に関する演算負荷を低減させることができる。そして、画像認識処理に要する時間を短縮し、物体をより早期に検出できる。

以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなしに上述した実施例に種々の変形及び置換を加えることができる。

例えば、上述の実施例では、物体検出装置５０は、ショベルが旋回或いは走行した場合に、カメラＳ１の運動内容として移動（旋回又は走行）方向及び移動（旋回又は走行）距離を取得し、そのカメラＳ１の運動内容に応じて画像認識条件を調整する。しかしながら、本発明はこの構成に限定されるものではない。例えば、物体検出装置５０は、上部旋回体３が傾斜した場合に、カメラＳ１の運動内容として傾斜による移動方向及び移動距離を取得し、そのカメラＳ１の運動内容に応じて画像認識条件を調整してもよい。

１・・・下部走行体２・・・旋回機構３・・・上部旋回体４・・・ブーム５・・・アーム６・・・バケット７・・・ブームシリンダ８・・・アームシリンダ９・・・バケットシリンダ１０・・・キャビン１１・・・エンジン１１ａ・・・オルタネータ１１ｂ・・・スタータ１１ｃ・・・水温センサ１４・・・メインポンプ１４ａ・・・レギュレータ１４ｂ・・・吐出圧力センサ１４ｃ・・・油温センサ１５・・・パイロットポンプ１７・・・コントロールバルブ２６・・・操作装置２９・・・圧力センサ３０・・・コントローラ３０ａ・・・一時記憶部５０・・・物体検出装置５５・・・燃料収容部５５ａ・・・燃料収容量検出部７０・・・蓄電池７２・・・電装品７５・・・エンジン回転数調整ダイヤル５００・・・画像認識部５０１・・・画像認識条件調整部Ｓ１・・・カメラＳ２・・・運動検出装置Ｓ１Ｂ・・・後方カメラＳ１Ｌ・・・左側方カメラＳ１Ｒ・・・右側方カメラＤ２・・・音声出力装置Ｄ３・・・表示装置Ｄ３ａ・・・変換処理部Ｄ５・・・ゲートロックレバーＤ６・・・ゲートロック弁Ｄ７・・・エンジンコントローラユニット

Claims

下部走行体と、
前記下部走行体に旋回可能に搭載される上部旋回体と、
前記上部旋回体に取り付けられるアタッチメントと、
前記上部旋回体に取り付けられるキャビンと、
前記キャビン内に設けられ、前記上部旋回体を前記下部走行体に対して旋回させる操作装置と、
前記キャビン内で運転席に向かって取り付けられた表示装置と、
画像を取得する装置と、
前記画像を取得する装置によって取得される複数の画像において同一の認識対象を取得する制御装置と、を備える、
ショベル。
前記制御装置は、更に、前記画像を取得する装置によって取得される複数の画像のそれぞれにおいて、前記認識対象の位置を認識する、
請求項１に記載のショベル。
前記制御装置は、更に、前記認識対象の形状を認識する、
請求項１又は２に記載のショベル。
前記制御装置は、ショベルの運動の前後における同一画像領域における前記認識対象の位置を取得する、
請求項１乃至３の何れかに記載のショベル。
前記上部旋回体にＧＮＳＳ受信機を備える、
請求項１乃至４の何れかに記載のショベル。
下部走行体と、
前記下部走行体に旋回可能に搭載される上部旋回体と、
前記上部旋回体に取り付けられるアタッチメントと、
前記上部旋回体に取り付けられるキャビンと、
前記キャビン内に設けられ、前記上部旋回体を前記下部走行体に対して旋回させる操作装置と、
前記キャビン内で運転席に向かって取り付けられた表示装置と、
ショベルの周囲の認識対象までの距離を取得する装置と、
前記距離を取得する装置により、ショベルの運動の前後における前記認識対象までの距離を取得する制御装置と、を備える、
ショベル。
前記制御装置は、更に、前記認識対象の形状を認識する、
請求項６に記載のショベル。