JP2021157359A - 情報処理装置、作業機械、情報処理装置の制御方法及び制御プログラム - Google Patents

Abstract

【課題】検出処理を高速化する情報処理装置、作業機械、情報処理装置の制御方法及び制御プログラムを提供する。【解決手段】下部走行体と、旋回機構を介して旋回可能に下部走行体に搭載される上部旋回体と、アタッチメントとしてのブーム、アーム及びバケットと、オペレータが搭乗するキャビンとを備えるショベル１００は、撮像装置４０と、撮像装置４０の撮像範囲に対応した計測範囲を有し、物体までの距離情報を取得する距離センサ４１と、コントローラ３０とを備える。コントローラ３０は、距離センサ４１が取得した距離情報に基づいて、検出対象が存在すると推定されるＲＯＩを設定し、撮像装置４０が取得した画像内のＲＯＩに対して、検出対象の検出処理を実行する。【選択図】図２

Description

本発明は、情報処理装置、作業機械、情報処理装置の制御方法及び制御プログラムに関する。

従来、例えば作業機械などに適用され、安全のために周辺を撮影した画像から検出対象（例えば人）を検出し、オペレータに通知する技術が知られている（例えば、特許文献１参照）。
この種の検出処理では、一般に、画像内で検知枠を走査させてその検知枠内の検出対象の特徴量を検知することで検出対象を検知している。実際の検出においては様々な距離に人物がいるため、検知枠もその種類に合わせて大きさを変える、もしくは入力された画像の大きさを変える（ピラミッド画像）などを行い、何度も走査を繰り返す。そのため、検出は情報処理装置にそれなりの負荷をかけることになる。特に近年においては機械学習などの技術の発展に伴い、高性能であるがより複雑なアルゴリズムと、それを補うために高性能な情報処理装置が用いられる傾向にある。
一方で、作業機械などに搭載可能な情報処理装置は一般的に小型・低消費電力が要求されるため、その性能に制限が加えられる。そのため、前記のような検知処理を行うとその速度が問題となる。一般的には一秒あたりの処理枚数が多いほど好ましいが、作業機械に搭載される情報処理装置では処理枚数が著しく少なくなる。そのため、検知による通達が遅れ、最悪作業の安全性が保てない場合もある。

特開２０１７−１５８０３３号公報

そのため、上記検出処理においては処理の高性能化と高速化を両立する手段が望まれていた。
そこで、本発明では、検出処理の性能を落とすことなく高速化する技術を提供する。

本発明は、情報処理装置であって、
撮像手段と、
前記撮像手段の撮像範囲に対応した計測範囲を有し、物体までの距離情報を取得する測距手段と、
前記測距手段が取得した前記距離情報に基づいて、検出対象が存在すると推定される関心領域を設定する領域設定手段と、
前記撮像手段が取得した画像内の前記関心領域に対して、前記検出対象の検出処理を実行する検出手段と、を備える。

また、本発明は、作業機械であって、
上記の情報処理装置を備える。

また、本発明は、
撮像手段と、
前記撮像手段の撮像範囲に対応した計測範囲を有し、物体までの距離情報を取得する測距手段と、
を備える情報処理装置の制御方法であって、
制御手段が、
前記測距手段が取得した前記距離情報に基づいて、検出対象が存在すると推定される関心領域を設定する領域設定工程と、
前記撮像手段が取得した画像内の前記関心領域に対して、前記検出対象の検出処理を実行する検出工程と、
を実行する。

また、本発明は、
撮像手段と、
前記撮像手段の撮像範囲に対応した計測範囲を有し、物体までの距離情報を取得する測距手段と、
を備える情報処理装置の制御プログラムであって、
コンピュータを、
前記測距手段が取得した前記距離情報に基づいて、検出対象が存在すると推定される関心領域を設定する領域設定手段、
前記撮像手段が取得した画像内の前記関心領域に対して、前記検出対象の検出処理を実行する検出手段、
として機能させる。

本発明によれば、検出性能を維持しつつ検出処理を高速化することができる。

本実施形態に係るショベルの側面図である。 図１のショベルのシステム構成を示すブロック図である。 本実施形態の物体検出処理でのデータの流れを示すデータフロー図である。 本実施形態の物体検出処理の一部の処理内容を示すフロー図である。 本実施形態の二次元ＯＧＭの一例を示す図である。 本実施形態の個別ＲＯＩ情報の一例を示す図である。 ピラミッド画像を説明するための図である。 本実施形態の物体検出処理での画像に対する検出処理を説明するための図である。 実施形態の変形例における特徴量の選択例を示す図である。

以下、本発明の実施形態について、図面を参照して詳細に説明する。

［ショベルの構成］
まず、本実施形態に係るショベル１００の構成について説明する。ショベル１００は、本発明に係る作業機械の一例であり、本発明の範囲を制限するものではない。ショベル１００は、本発明に係る情報処理装置を具備することにより、物体の検出処理を好適に高速化できるように構成されている。

図１は、本実施形態に係るショベル１００の側面図である。
この図に示すように、ショベル１００は、下部走行体１と、旋回機構２を介して旋回可能に下部走行体１に搭載される上部旋回体３と、アタッチメントとしてのブーム４、アーム５及びバケット６と、オペレータが搭乗するキャビン１０とを備える。アタッチメントは、作業要素（例えば、バケット、クラッシャー、クレーン装置等）が設けられていれば、これに限られない。

下部走行体１は、例えば、左右一対のクローラを含み、それぞれのクローラが走行油圧モータ（不図示）で油圧駆動されることにより、ショベル１００を走行させる。
上部旋回体３は、旋回油圧モータ或いは電動機（共に不図示）等で駆動されることにより、下部走行体１に対して旋回する。

ブーム４は、上部旋回体３の前部中央に俯仰可能に枢着され、ブーム４の先端には、アーム５が上下回動可能に枢着され、アーム５の先端には、バケット６が上下回動可能に枢着される。ブーム４、アーム５及びバケット６は、それぞれ、ブームシリンダ７、アームシリンダ８、及びバケットシリンダ９により油圧駆動される。
キャビン１０は、オペレータが搭乗する操縦室であり、例えば上部旋回体３の前部左側に搭載される。ショベル１００は、キャビン１０に搭乗するオペレータの操作に応じて、アクチュエータを動作させ、下部走行体１、上部旋回体３、ブーム４、アーム５、及びバケット６等の被駆動要素を駆動する。

図２は、ショベル１００のシステム構成を示すブロック図である。
この図に示すように、ショベル１００は、上記構成のほか、コントローラ３０と、撮像装置４０と、距離センサ４１と、位置センサ４３と、方位センサ４４と、操作装置４５と、表示装置５０と、音声出力装置６０と、通信機器８０とを備える。本発明に係る情報処理装置は、コントローラ３０、撮像装置４０、距離センサ４１を含んで構成される。

撮像装置４０は、上部旋回体３に取り付けられ、ショベル１００の周辺を撮影してその画像をコントローラ３０に出力する。撮像装置４０は、特に限定はされないが、上部旋回体３の後部に取り付けられ、上部旋回体３の後方を撮像する。
撮像装置４０は、上部旋回体３において、光軸が斜め下方に向くように取り付けられ、ショベル１００近傍の地面からショベル１００の遠方までを含む上下方向の撮像範囲（画角）を有する。また、撮像装置４０の水平方向の撮像範囲（画角）は、ショベル１００後方の所定の水平範囲を含むものとなっている。

距離センサ４１は、上部旋回体３に取り付けられ、ショベル１００の周辺物体までの距離を測定してその三次元情報を取得し、その結果をコントローラ３０に出力する。距離センサ４１は、特に限定はされないが、上部旋回体３の後部に取り付けられ、上部旋回体３の後方の計測を行う。距離センサ４１の計測範囲は、撮像装置４０の撮像範囲に対応している。
本実施形態では、特に限定はされないが、距離センサ４１として、光を利用したＬＩＤＡＲ（Light Detection and Ranging）が用いられる。ただし、距離センサ４１は、物体までの距離情報を取得できるものであればよく、例えばミリ波レーダーや超音波レーダーなど様々な様態が考えられる。

位置センサ４３は、ショベル１００の位置（現在位置）の情報を取得するセンサであり、本実施形態ではＧＰＳ（Global Positioning System）受信機である。位置センサ４３は、ショベル１００の位置の情報を含むＧＰＳ信号をＧＰＳ衛星から受信し、取得したショベル１００の位置情報をコントローラ３０に出力する。なお、位置センサ４３は、ショベル１００の位置の情報を取得できるものであればＧＰＳ受信機でなくともよく、例えばＧＰＳ以外の衛星測位システムを利用するものであってもよい。位置センサ４３は、下部走行体１に設けられてもよく、上部旋回体３に設けられていてもよい。

方位センサ４４は、ショベル１００が向いている方位（方向）の情報を取得するセンサであり、例えば地磁気センサである。方位センサ４４は、ショベル１００の方位の情報を取得して、コントローラ３０に出力する。なお、方位センサ４４は、ショベル１００の方位の情報を取得できればよく、そのセンサ種別等は特に限定されない。例えばＧＰＳを２つ設け、その位置情報から方位情報を取得してもよい。

操作装置４５は、キャビン１０の操縦席付近に設けられ、オペレータが各動作要素（下部走行体１、上部旋回体３、ブーム４、アーム５及びバケット６等）の操作を行う操作手段である。換言すれば、操作装置４５は、各動作要素を駆動するそれぞれの油圧アクチュエータの操作を行う操作手段である。操作装置４５は、例えばレバーやペダル、各種ボタン等を含み、これらの操作内容に応じた操作信号をコントローラ３０に出力する。
また、操作装置４５は、撮像装置４０、距離センサ４１、位置センサ４３、方位センサ４４、表示装置５０、音声出力装置６０、通信機器８０等の操作を行う、各種設定手段を含む操作手段でもあり、これら各部に対する操作指令をコントローラ３０に出力する。

表示装置５０は、キャビン１０内の操縦席の周辺に設けられ、コントローラ３０による制御の下、オペレータに通知する各種画像情報を表示する。表示装置５０は、例えば液晶ディスプレイや有機ＥＬ（Electroluminescence）ディスプレイであり、操作装置４５の少なくとも一部を兼ねるタッチパネル式であってもよい。

音声出力装置６０は、キャビン１０内の操縦席の周辺に設けられ、コントローラ３０による制御の下、オペレータに通知する各種音声情報を出力する。音声出力装置６０は、例えば、スピーカやブザー等である。

通信機器８０は、所定の無線通信規格に基づき、所定の通信ネットワーク（例えば、基地局を末端とする携帯電話ネットワークやインターネット網等）を通じて、遠隔の外部機器や他のショベル１００等と各種情報を送受信する通信デバイスである。

コントローラ３０は、ショベル１００各部の動作を制御してショベル１００の駆動制御を行う制御装置である。コントローラ３０は、キャビン１０内に搭載される。コントローラ３０は、その機能が任意のハードウェア、ソフトウェア、或いはその組み合わせにより実現されてよく、例えば、ＣＰＵ，ＲＡＭ，ＲＯＭ，Ｉ／Ｏ等を含むマイクロコンピュータを中心に構成される。その他にもＦＰＧＡやＡＳＩＣなどで構成されてもよい。

また、コントローラ３０は、各種機能を実行する機能部として、物体検出部３０１と、カメラ用ＯＧＭ計算部３０２と、データ結合部３０３とを含む。さらに、コントローラ３０は、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）等の内部メモリに規定される記憶領域としての記憶部３１０を含む。

物体検出部３０１は、撮像装置４０及び距離センサ４１からの出力に基づき、ショベル１００の周辺の特定の物体（検出対象）を検出する。具体的に、物体検出部３０１は、距離センサ用ＯＧＭ計算部３０１ａと、ＲＯＩ計算部３０１ｂと、物体検出器３０１ｃとを有し（図３参照）、これらにより、距離センサ４１の計測結果に基づいて物体の距離情報を取得し、検出対象があると推定される領域をＲＯＩ（Region of Interest：関心領域）として設定する。そして、物体の予測される大きさとＲＯＩの情報から、撮像装置４０によって取得された画像の適切な割合の縮小データであるピラミッド画像と検出ウィンドウを選択し、検出対象を検出する。具体的な処理内容は後述する。

カメラ用ＯＧＭ計算部３０２は、物体検出部３０１の検出結果に基づいて、距離情報を量子化して表現した二次元のＯＧＭ（Occupancy Grid Maps；図５参照）を作成する。ＯＧＭは、検出した物体の距離情報に基づいてグリッド上の対応するセルに物体の存在確率に関する確率情報を載せたものである。
データ結合部３０３は、物体検出部３０１の検出結果と、カメラ用ＯＧＭ計算部３０２が作成したカメラによって検出された物体の二次元ＯＧＭとに基づいて、これらを結合して検出結果としてまとめる。

記憶部３１０は、特徴量記憶領域３１１を有している。
特徴量記憶領域３１１には、後述の物体検出処理における検出対象の特徴量（画像特徴量）が予め記憶されている。特徴量記憶領域３１１では、ユーザにより検出対象として選択され得る様々な種類の物体や人の各々に対し、少なくとも１つの特徴量が対応付けられている。

また、ショベル１００は、所定の通信ネットワークＮＷを通じて、管理装置２００と相互に通信を行うことができる。通信ネットワークＮＷには、例えば、基地局を末端とする移動体通信網が含まれてよい。また、通信ネットワークＮＷには、上空の通信衛星を利用する衛星通信網が含まれてもよい。また、通信ネットワークＮＷには、インターネット網等が含まれてもよい。また、通信ネットワークＮＷには、ＷｉＦｉやブルートゥース（登録商標）等のプロトコルに準拠する近距離通信網を含んでもよい。これにより、ショベル１００は、各種情報を管理装置２００に送信（アップロード）することができる。
また、ショベル１００は、通信ネットワークＮＷを通じて、支援装置３００と相互に通信可能に構成されてもよい。

管理装置２００（外部装置、情報処理装置の一例）は、ショベル１００及び支援装置３００を所持するユーザ等と地理的に離れた位置に配置される。管理装置２００は、例えば、ショベル１００が作業する作業現場外に設けられる管理センタ等に設置され、一又は複数のサーバコンピュータ等を中心に構成されるサーバ装置である。この場合、サーバ装置は、システムを運用する事業者或いは当該事業者に関連する関連事業者が運営する自社サーバであってもよいし、レンタルサーバであってもよい。また、このサーバ装置は、いわゆるクラウドサーバであってもよい。また、管理装置２００は、ショベル１００の作業現場内の管理事務所等に配置されるサーバ装置（いわゆるエッジサーバ）であってもよいし、定置型或いは携帯型の汎用のコンピュータ端末であってもよい。
管理装置２００は、上述の如く、通信ネットワークＮＷを通じて、ショベル１００及び支援装置３００のそれぞれと相互に通信を行うことができる。これにより、管理装置２００は、ショベル１００からアップロードされる各種情報を受信し、記憶（蓄積）しておくことができる。また、管理装置２００は、支援装置３００からの要求に応じて、支援装置３００に各種情報を送信することができる。

支援装置３００（ユーザ端末、端末装置の一例）は、ユーザが利用するユーザ端末である。ユーザには、例えば、作業現場の監督者、管理者、ショベル１００のオペレータ、ショベル１００の管理者、ショベル１００のサービスマン、ショベル１００の開発者等が含まれてよい。支援装置３００は、例えば、ユーザが所持するラップトップ型のコンピュータ端末、タブレット端末、スマートフォン等の汎用の携帯端末である。また、支援装置３００は、デスクトップ型のコンピュータ等の定置型の汎用端末であってもよい。また、支援装置３００は、情報の提供を受けるための専用の端末（携帯端末或いは定置端末）であってもよい。
支援装置３００は、通信ネットワークＮＷを通じて、管理装置２００と相互に通信を行うことができる。これにより、支援装置３００は、管理装置２００から送信される情報を受信し、自身に搭載される表示装置を通じて、ユーザに情報を提供することができる。また、支援装置３００は、通信ネットワークＮＷを通じて、ショベル１００と相互に通信可能に構成されてもよい。

［ショベルの動作］
続いて、周辺の特定の物体を検出する物体検出処理を実行する際のショベル１００の動作について説明する。
図３は、この物体検出処理でのデータの流れを示すデータフロー図であり、図４は、物体検出処理のうち、ＲＯＩ計算部３０１ｂと物体検出器３０１ｃによる処理内容を示すフロー図である。図５及び図６は、後述の二次元ＯＧＭ７１及び個別ＲＯＩ情報７４の一例を示す図であり、図７は、ピラミッド画像を説明するための図であり、図８は、物体検出処理での画像に対する検出処理を説明するための図である。

物体検出処理は、コントローラ３０が内部の記憶装置に格納されたプログラムをＣＰＵ上で実行することにより、実行される。この処理は、オペレータの操作に基づいて実行・終了されてもよいし、ショベル１００の運転中に継続的に実行されてもよい。
本実施形態では、検出対象として人体（人）が検出されるものとする。そのため、処理の実行時に、例えばユーザ操作により検出対象として人体が選択され、この検出対象に対応した特徴量（例えば人の顔のもの）が特徴量記憶領域３１１から読み出されて設定されているものとする。

物体検出処理が実行されると、図３に示すように、まずコントローラ３０は、撮像装置４０によりショベル１００周辺の画像情報を取得するとともに、距離センサ４１によりショベル１００周辺の物体までの距離情報を取得する。コントローラ３０は、取得した画像情報及び距離情報を記憶部３１０に記録させる。
なお、コントローラ３０は、上部旋回体３を旋回させながら周囲全周の撮影・計測を行ってもよい。

次に、コントローラ３０は、物体検出部３０１により、ショベル１００周辺の人（検出対象）を検出する。
具体的に、まず物体検出部３０１は、距離センサ用ＯＧＭ計算部３０１ａにより、距離センサ４１により取得した距離情報に基づいて、距離情報を量子化して表現した二次元ＯＧＭ７１（図５参照）を作成する。ここでは、距離情報に基づいて何かしら物体が存在する物体領域７２が検出され、二次元ＯＧＭ７１に平面表示される。

次に、ＲＯＩ計算部３０１ｂが、二次元ＯＧＭ７１に基づいてＲＯＩを設定し、物体検出器３０１ｃが、物体の予測される大きさとＲＯＩから、特定の大きさのピラミッド画像（縮小画像）と検出ウィンドウを選択し、検出を実行する。

より詳しくは、図４に示すように、まずＲＯＩ計算部３０１ｂは、計測範囲内にある物体（物体領域７２）の位置と距離の情報を対応付ける（ステップＳ１）。
次に、ＲＯＩ計算部３０１ｂは、各物体領域７２に対して撮像装置４０から見たときの占有面積を計算する（ステップＳ２）。
そして、ＲＯＩ計算部３０１ｂは、各物体領域７２の位置及び距離と占有面積の情報から、検出対象が存在すると推定されるＲＯＩの範囲と、検出に使用するピラミッド画像の範囲を、個別ＲＯＩ情報７４としてテーブル化し、記憶部３１０に記憶させる（ステップＳ３）。ＲＯＩは、物体領域７２に対応付けて設定され、その範囲（画像上の範囲）は、当該物体領域７２の占有面積の範囲（より好適には、それよりやや広い周辺の範囲も含む）とされる。

個別ＲＯＩ情報７４とは、例えば図６に示すように、画像の取得時間と、ＲＯＩの位置情報と、使用するピラミッド画像の最大レベル及び最小レベルとが対応付けられたテーブルである。ＲＯＩの位置情報は、ＲＯＩの範囲を特定できるものであれば特に限定されないが、図６の例では、四角形のＲＯＩの対角２点の座標（画像上での左右方向のｘ座標（ピクセル位置）と上下方向のｙ座標）としている。
また、ピラミッド画像とは、図７に示すように、サイズ（解像度）の異なる同一画像の集合（画像群）であり、レベルが１段階進むごとに例えば１／√２ずつサイズ（ｘ、ｙの各辺の長さ）が小さくなる。
ステップＳ３では、距離情報に基づいて画像内の検出対象の大きさが推定され（例えば、遠くにいる人の顔は小さくなる）、この大きさに応じてピラミッド画像の範囲（レベルの範囲）が設定される。

次に、図４に示すように、ＲＯＩ計算部３０１ｂは、ステップＳ３で作成された個別ＲＯＩ情報７４を、物体検出器３０１ｃに送信する（ステップＳ４）。
すると、物体検出器３０１ｃは、ＲＯＩ計算部３０１ｂから個別ＲＯＩ情報７４が送信されたことを検知したらそれを取り出し（ステップＳ５）、この個別ＲＯＩ情報７４に基づいて、撮像装置４０が取得した画像からＲＯＩを抽出する（ステップＳ６）。
そして、物体検出器３０１ｃは、個別ＲＯＩ情報７４に基づいて、使用するピラミッド画像を作成しつつ、当該ピラミッド画像内のＲＯＩに対して検出対象の検出を実行する（ステップＳ７）。

この検出処理では、図８（ａ）に示すように、検出対象が存在すると推定されるＲＯＩ７３内に対して検出ウィンドウＷが走査され、検出対象の検出が実行される。検出ウィンドウＷ内に検出対象の特徴量が検知された場合に、検出対象が存在すると判別される。また、使用されるピラミッド画像の範囲は、個別ＲＯＩ情報７４に設定されたレベルのものだけである（図８（ａ）では２レベル）。
そのため、図８（ｂ）に示すように、検出ウィンドウを、ピラミッド画像の全てのレベルの各々において全画像範囲に亘って走査させていた従来に比べ、検出処理の範囲を限定して当該検出処理を高速化できる。

次に、コントローラ３０は、図３に示すように、カメラ用ＯＧＭ計算部３０２により、物体検出部３０１の検出結果に基づいて、検出対象（人）として検出された画像情報を平面表示した二次元ＯＧＭを作成する。

次に、コントローラ３０は、データ結合部３０３により、物体検出部３０１の検出結果と、カメラ用ＯＧＭ計算部３０２が作成した二次元ＯＧＭとに基づいて、これらを結合する。具体的には、検出対象（人）の検出結果が示された二次元ＯＧＭに、物体検出部３０１が検出した検出対象以外の物体の情報が加えられる。
そして、コントローラ３０は、二次元表示された検出対象の検出結果を表示装置５０に表示させる。ただし、検出結果の表示態様は、検出対象の位置等が識別できるものであれば、特に限定されない。

［本実施形態の技術的効果］
以上のように、本実施形態によれば、距離センサ４１が取得した距離情報に基づいて、検出対象が存在すると推定されるＲＯＩ（関心領域）７３が設定され、撮像装置４０が取得した画像内のうちのＲＯＩ７３に対して検出対象の検出処理が実行される。
これにより、検出ウィンドウＷをＲＯＩ７３内だけに走査させれば足りるため、検出ウィンドウを全画像範囲に亘って走査させていた従来に比べ、検出精度を保ったまま検出処理を高速化できる。

また、本実施形態によれば、距離センサ４１が取得した距離情報に基づいて、画像内における検出対象の大きさが推定されて、当該検出対象の大きさに基づいてピラミッド画像の範囲が設定され、このピラミッド画像の範囲に対して検出対象の検出処理が実行される。
これにより、使用するピラミッド画像の範囲を限定できるため、全てのピラミッド画像に対して検出処理を実行していた従来に比べ、従来の検出精度を保ったまま検出処理をさらに高速化できる。

［変形例］
１つの検出対象に対し、複数の特徴量を用いて検出処理を実行してもよい。
この場合、１つの検出対象に複数の特徴量が対応付けられて特徴量記憶領域３１１に記憶されている。例えば、検出対象が人（人体）の場合には、正面から見た人体（体全体）の特徴量、側面から見た人体（体全体）の特徴量、上半身の特徴量、頭部の特徴量などというように、様々な状態・部位の人の特徴量が記憶されている。
そして、物体検出処理の上記ステップＳ３において（図４参照）、ＲＯＩ（物体領域７２）の距離情報に基づいて、検出対象に対応する複数の特徴量のなかから、当該ＲＯＩの検出に使用される複数の特徴量が選択される。選択された複数の特徴量は、ＲＯＩの範囲とピラミッド画像の範囲に対応付けて、個別ＲＯＩ情報７４としてテーブル化され、記憶部３１０に記憶される。
例えば図９に示すように、距離センサ４１から三次元の距離情報が得られた場合において、ＲＯＩ及びその部分の距離や位置、大きさに基づいて、頭部の特徴量を用いるＲＯＩ７３ａ、人体（体全体）の特徴量を用いるＲＯＩ７３ｂを設定してもよい。
これにより、検出処理の効率化及びロバスト化を図ることができる。

［その他］
以上、本発明の実施形態について説明したが、本発明は上記実施形態やその変形例に限られない。
例えば、上記実施形態では、撮像装置４０や距離センサ４１がショベル１００に搭載されることとしたが、撮像装置４０や距離センサ４１はショベル１００に搭載されていなくともよく、例えば高所に設置されたりドローンなどの無人航空機に搭載されていてもよい。そして、取得したデータをショベル１００に送信してもよいし、あるいは、データを管理装置２００や支援装置３００に送信して検出処理を実行させ、その結果をショベル１００に送信してもよい。

また、本発明に係る情報処理装置は、作業機械に搭載されるものに限定されない。
また、本発明に係る作業機械は、ショベル以外の作業機械、例えば、ホイールローダやアスファルトフィニッシャ、フォークリフト、クレーン等であってもよい。
その他、実施の形態で示した細部は、発明の趣旨を逸脱しない範囲で適宜変更可能である。

１００ ショベル
３０ コントローラ
４０ 撮像装置
４１ 距離センサ
５０ 表示装置
７１ 二次元ＯＧＭ
７２ 物体領域
７３ ＲＯＩ（関心領域）
７４ 個別ＲＯＩ情報
３０１ 物体検出部
３０１ａ 距離センサ用ＯＧＭ計算部
３０１ｂ ＲＯＩ計算部
３０１ｃ 物体検出器
３０２ カメラ用ＯＧＭ計算部
３０３ データ結合部
３１０ 記憶部
３１１ 特徴量記憶領域
Ｗ 検出ウィンドウ

Claims (9)

1. 撮像手段と、
   前記撮像手段の撮像範囲に対応した計測範囲を有し、物体までの距離情報を取得する測距手段と、
   前記測距手段が取得した前記距離情報に基づいて、検出対象が存在すると推定される関心領域を設定する領域設定手段と、
   前記撮像手段が取得した画像内の前記関心領域に対して、前記検出対象の検出処理を実行する検出手段と、を備える、
   情報処理装置。
2. 前記測距手段が取得した前記距離情報に基づいて、画像内における前記検出対象の大きさを推定し、当該検出対象の大きさに基づいてピラミッド画像の範囲を設定する画像設定手段を備え、
   前記検出手段は、前記画像設定手段が設定したピラミッド画像の範囲に対して、前記検出対象の検出処理を実行する、
   請求項１に記載の情報処理装置。
3. 前記領域設定手段は、所定の距離範囲内のうち物体が存在する領域とその周辺を前記関心領域として設定する、
   を含む、
   請求項１又は請求項２に記載の情報処理装置。
4. 前記検出対象に対応する複数の特徴量を記憶する記憶手段と、
   前記関心領域の前記距離情報に基づいて、前記複数の特徴量のなかから当該関心領域の検出処理に使用する複数の特徴量を選択し、当該関心領域に対応付ける特徴量選択手段と、
   を備え、
   前記検出手段は、前記関心領域に対応付けられた複数の特徴量を用いて当該関心領域に対する検出処理を実行する、
   請求項１から請求項３のいずれか一項に記載の情報処理装置。
5. 前記検出手段による検出結果を前記関心領域と併せて表示手段に表示させる表示制御手段を備える、
   請求項１から請求項４のいずれか一項に記載の情報処理装置。
6. 前記検出対象は人体である、
   請求項１から請求項５のいずれか一項に記載の情報処理装置。
7. 請求項１から請求項６のいずれか一項に記載の情報処理装置を備える、
   作業機械。
8. 撮像手段と、
   前記撮像手段の撮像範囲に対応した計測範囲を有し、物体までの距離情報を取得する測距手段と、
   を備える情報処理装置の制御方法であって、
   制御手段が、
   前記測距手段が取得した前記距離情報に基づいて、検出対象が存在すると推定される関心領域を設定する領域設定工程と、
   前記撮像手段が取得した画像内の前記関心領域に対して、前記検出対象の検出処理を実行する検出工程と、
   を実行する、
   情報処理装置の制御方法。
9. 撮像手段と、
   前記撮像手段の撮像範囲に対応した計測範囲を有し、物体までの距離情報を取得する測距手段と、
   を備える情報処理装置の制御プログラムであって、
   コンピュータを、
   前記測距手段が取得した前記距離情報に基づいて、検出対象が存在すると推定される関心領域を設定する領域設定手段、
   前記撮像手段が取得した画像内の前記関心領域に対して、前記検出対象の検出処理を実行する検出手段、
   として機能させる、
   情報処理装置の制御プログラム。

Images