JP2021197668A - 情報処理装置、情報処理装置の制御方法及び制御プログラム - Google Patents

Abstract

【課題】検出周期の異なる複数の検出手段の検出結果を合成する場合に、合成周期を好適に短縮化する。【解決手段】ショベル（１００）は、互いの検出周期が異なる撮像装置（４０）及び距離センサ（４１）と、コントローラ（３０）とを備える。コントローラ（３０）は、撮像装置（４０）及び距離センサ（４１）のうち検出周期の長い撮像装置（４０）の検出結果に基づいて、当該検出結果の検出タイミング以外のタイミングにおける当該撮像装置（４０）の検出結果を推定し、撮像装置（４０）及び距離センサ（４１）の検出結果と、推定された結果とに基づいて、撮像装置（４０）の検出周期よりも短い周期で、撮像装置（４０）及び距離センサ（４１）の出力に基づく検出結果を合成する。【選択図】図３

Description

本発明は、情報処理装置、情報処理装置の制御方法及び制御プログラムに関する。

従来、カメラや物理的なセンサを用いて、検知範囲内の物体の位置を精度よく検出する技術が知られている。例えば自動運転車などは、カメラやＬｉＤＡＲ（LASER Imaging Detection and Ranging）、ミリ波レーダーなどの複数種類のセンサを用いて車の周りの物体や状態を検知する技術が盛んに研究されている。複数種類のセンサが用いられる理由の一つは、それぞれのセンサの得意領域によるものである。例えば、カメラは近年発達した機械学習技術により、画面上のどの位置にどのような物体が検出されたかを検出可能であるが、物体までの距離の精度は低い。ＬｉＤＡＲは物体が存在した場合の位置を正確に計算することが可能であるが、その物体が何であるかという情報に関しては取得できない。そのため誤差や誤検知が心配される。その他天候などの状況によって各センサの精度は変化する。
そこで、複数のセンサの検出結果を合成（フュージョン）して、より精度の高い結果を得る技術の開発が進められている。例えば特許文献１においては、カメラとＬｉＤＡＲの結果を合成する手法に関して開示している。物体の端部を正確に検出するためにはＬｉＤＡＲの結果に誤差が含まれる。そこで、カメラの情報と合成することで正確な端点の検出を可能にしている。
しかし、一般的にセンサの検出周期はセンサの種類によって異なる。例えばＬｉＤＡＲは高速であるが、カメラによる物体検出はそれに比較するとせいぜい一秒間に数フレーム程度で遅い。そのため、この種の検出処理では、最終的な出力周期（合成周期）が、検出速度の遅い一のセンサの検出周期に拘束されてしまい、高速化が難しいという問題があった。特に画像による物体検知では、検知精度を向上させようとすると、処理が複雑化して検知速度が顕著に遅くなるということが知られている。そのため、ＬｉＤＡＲの検出速度が生かせないばかりか、検出が遅延することも考えられる。

特許第５０９８５６３号公報

本発明は、上記事情に鑑みてなされたもので、検出周期の異なる複数の検出手段の検出結果を合成する場合に、合成周期を好適に短縮化することを目的とする。

本発明は、互いの検出周期が異なる２つの検出手段を含む複数の検出手段の検出結果を処理する情報処理装置であって、
前記２つの検出手段のうち検出周期の長い一方の検出手段の検出結果に基づいて、当該検出結果の検出タイミング以外のタイミングにおける当該一方の検出手段の検出結果を推定する推定手段と、
前記２つの検出手段の検出結果と、前記推定手段の推定結果とに基づいて、前記一方の検出手段の検出周期よりも短い周期で、前記２つの検出手段の出力に基づく検出結果を合成する合成手段と、を備える。

また、本発明は、互いの検出周期が異なる２つの検出手段を含む複数の検出手段の検出結果を処理する情報処理装置の制御方法であって、
制御手段が、
前記２つの検出手段のうち検出周期の長い一方の検出手段の検出結果に基づいて、当該検出結果の検出タイミング以外のタイミングにおける当該一方の検出手段の検出結果を推定する推定工程と、
前記２つの検出手段の検出結果と、前記推定工程での推定結果とに基づいて、前記一方の検出手段の検出周期よりも短い周期で、前記２つの検出手段の出力に基づく検出結果を合成する合成工程と、
を実行する。

また、本発明は、互いの検出周期が異なる２つの検出手段を含む複数の検出手段の検出結果を処理する情報処理装置の制御プログラムであって、
コンピュータを、
前記２つの検出手段のうち検出周期の長い一方の検出手段の検出結果に基づいて、当該検出結果の検出タイミング以外のタイミングにおける当該一方の検出手段の検出結果を推定する推定手段、
前記２つの検出手段の検出結果と、前記推定手段の推定結果とに基づいて、前記一方の検出手段の検出周期よりも短い周期で、前記２つの検出手段の出力に基づく検出結果を合成する合成手段、
として機能させる。

本発明によれば、検出周期の異なる複数の検出手段の検出結果の合成周期を、好適に短縮化することができる。

本実施形態に係るショベルの側面図である。 図１のショベルのシステム構成を示すブロック図である。 本実施形態の物体検出処理でのデータの流れを示すデータフロー図である。 本実施形態の物体検出処理でのデータの流れを示すデータフロー図である。 本実施形態の物体検出処理のうち、カメラ用ＯＧＭ作成部による処理内容の流れを示すフロー図である。 本実施形態のトラッカーによる検出対象の位置推定を説明するための図である。 本実施形態の第一ＯＧＭ、第二ＯＧＭ、第三ＯＧＭの一例を示す図である。 （ａ）従来の出力周期（合成周期）を示す図であり、（ｂ）本実施形態の出力周期（合成周期）を示す図である。

以下、本発明の実施形態について、図面を参照して詳細に説明する。

［ショベルの構成］
まず、本実施形態に係るショベル１００の構成について説明する。ショベル１００は、本発明に係る情報処理装置を具備することにより、２つの検出手段による検出結果の合成周期を好適に短縮できるように構成されている。

図１は、本実施形態に係るショベル１００の側面図である。
この図に示すように、ショベル１００は、下部走行体１と、旋回機構２を介して旋回可能に下部走行体１に搭載される上部旋回体３と、アタッチメントとしてのブーム４、アーム５及びバケット６と、オペレータが搭乗するキャビン１０とを備える。アタッチメントは、作業要素（例えば、バケット、クラッシャー、クレーン装置等）が設けられていれば、これに限られない。

下部走行体１は、例えば、左右一対のクローラを含み、それぞれのクローラが走行油圧モータ（不図示）で油圧駆動されることにより、ショベル１００を走行させる。
上部旋回体３は、旋回油圧モータ或いは電動機（共に不図示）等で駆動されることにより、下部走行体１に対して旋回する。

ブーム４は、上部旋回体３の前部中央に俯仰可能に枢着され、ブーム４の先端には、アーム５が上下回動可能に枢着され、アーム５の先端には、バケット６が上下回動可能に枢着される。ブーム４、アーム５及びバケット６は、それぞれ、ブームシリンダ７、アームシリンダ８、及びバケットシリンダ９により油圧駆動される。
キャビン１０は、オペレータが搭乗する操縦室であり、例えば上部旋回体３の前部左側に搭載される。ショベル１００は、キャビン１０に搭乗するオペレータの操作に応じて、アクチュエータを動作させ、下部走行体１、上部旋回体３、ブーム４、アーム５、及びバケット６等の被駆動要素を駆動する。

図２は、ショベル１００のシステム構成を示すブロック図である。
この図に示すように、ショベル１００は、上記構成のほか、コントローラ３０と、撮像装置４０と、距離センサ４１と、位置センサ４３と、方位センサ４４と、操作装置４５と、表示装置５０と、音声出力装置６０と、通信機器８０とを備える。本発明に係る情報処理装置は、少なくともコントローラ３０を含む。

撮像装置４０は、上部旋回体３に取り付けられ、ショベル１００の周辺を撮影してその画像をコントローラ３０に出力する。撮像装置４０は、特に限定はされないが、上部旋回体３の後部に取り付けられ、上部旋回体３の後方を撮像する。
撮像装置４０は、上部旋回体３において、光軸が斜め下方に向くように取り付けられ、ショベル１００近傍の地面からショベル１００の遠方までを含む上下方向の撮像範囲（画角）を有する。また、撮像装置４０の水平方向の撮像範囲（画角）は、ショベル１００後方の所定の水平範囲を含むものとなっている。

距離センサ４１は、上部旋回体３に取り付けられ、ショベル１００の周辺物体までの距離を測定してその情報（二次元又は三次元の距離情報）を取得し、その結果をコントローラ３０に出力する。距離センサ４１は、特に限定はされないが、上部旋回体３の後部に取り付けられ、上部旋回体３の後方の計測を行う。距離センサ４１の計測範囲は、撮像装置４０の撮像範囲に対応している。
本実施形態では、特に限定はされないが、距離センサ４１として、光を利用したＬＩＤＡＲ（Light Detection and Ranging）が用いられる。ただし、距離センサ４１は、物体までの距離情報を取得できるものであればよく、例えばステレオカメラシステムやミリ波レーダー、超音波レーダーなど様々な態様が考えられる。

位置センサ４３は、ショベル１００の位置（現在位置）の情報を取得するセンサであり、本実施形態ではＧＰＳ（Global Positioning System）受信機である。位置センサ４３は、ショベル１００の位置の情報を含むＧＰＳ信号をＧＰＳ衛星から受信し、取得したショベル１００の位置情報をコントローラ３０に出力する。なお、位置センサ４３は、ショベル１００の位置の情報を取得できるものであればＧＰＳ受信機でなくともよく、例えばＧＰＳ以外の衛星測位システムを利用するものであってもよい。位置センサ４３は、下部走行体１に設けられてもよく、上部旋回体３に設けられていてもよい。

方位センサ４４は、ショベル１００が向いている方位（方向）の情報を取得するセンサであり、例えば地磁気センサである。方位センサ４４は、ショベル１００の方位の情報を取得して、コントローラ３０に出力する。なお、方位センサ４４は、ショベル１００の方位の情報を取得できればよく、そのセンサ種別等は特に限定されない。例えばＧＰＳを２つ設け、その位置情報から方位情報を取得してもよい。

操作装置４５は、キャビン１０の操縦席付近に設けられ、オペレータが各動作要素（下部走行体１、上部旋回体３、ブーム４、アーム５及びバケット６等）の操作を行う操作手段である。換言すれば、操作装置４５は、各動作要素を駆動するそれぞれの油圧アクチュエータの操作を行う操作手段である。操作装置４５は、例えばレバーやペダル、各種ボタン等を含み、これらの操作内容に応じた操作信号をコントローラ３０に出力する。
また、操作装置４５は、撮像装置４０、距離センサ４１、位置センサ４３、方位センサ４４、表示装置５０、音声出力装置６０、通信機器８０等の操作を行う、各種設定手段を含む操作手段でもあり、これら各部に対する操作指令をコントローラ３０に出力する。

表示装置５０は、キャビン１０内の操縦席の周辺に設けられ、コントローラ３０による制御の下、オペレータに通知する各種画像情報を表示する。表示装置５０は、例えば液晶ディスプレイや有機ＥＬ（Electroluminescence）ディスプレイであり、操作装置４５の少なくとも一部を兼ねるタッチパネル式であってもよい。

音声出力装置６０は、キャビン１０内の操縦席の周辺に設けられ、コントローラ３０による制御の下、オペレータに通知する各種音声情報を出力する。音声出力装置６０は、例えば、スピーカやブザー等である。

通信機器８０は、所定の無線通信規格に基づき、所定の通信ネットワーク（例えば、基地局を末端とする携帯電話ネットワークやインターネット網等）を通じて、遠隔の外部機器や他のショベル１００等と各種情報を送受信する通信デバイスである。

コントローラ３０は、ショベル１００各部の動作を制御してショベル１００の駆動制御を行う制御装置である。コントローラ３０は、キャビン１０内に搭載される。コントローラ３０は、その機能が任意のハードウェア、ソフトウェア、或いはその組み合わせにより実現されてよく、例えば、ＣＰＵ，ＲＡＭ，ＲＯＭ，Ｉ／Ｏ等を含むマイクロコンピュータを中心に構成される。コントローラ３０は、これらの他にも、例えばＦＰＧＡやＡＳＩＣなどを含んで構成されてもよい。

また、コントローラ３０は、各種機能を実行する機能部として、ＯＧＭ計算部３１と、物体検出判定部３２とを含む。さらに、コントローラ３０は、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）等の内部メモリに規定される記憶領域としての記憶部３５を含む。

ＯＧＭ計算部３１は、撮像装置４０及び距離センサ４１からの出力に基づいて、距離情報を量子化して表現した二次元の占有格子地図（ＯＧＭ：Occupancy Grid Maps）を作成する。ＯＧＭは、検出した特定の物体（検出対象）の位置・速度などの存在確率を地図表示したものであり、より詳しくは、検出対象の距離情報に基づいてグリッド上の対応するセルに当該検出対象の存在確率に関する確率情報を載せたものである（図７参照）。
より詳しくは、ＯＧＭ計算部３１は、撮像装置４０の出力に基づいて物体を検出しその位置を解析してＯＧＭ（後述の第一ＯＧＭ７１）を作成するカメラ用ＯＧＭ作成部３１１と、距離センサ４１の出力に基づいて物体を検出してＯＧＭ（後述の第二ＯＧＭ７２）を作成する距離センサ用ＯＧＭ作成部３１２と、これらのＯＧＭを合成するＯＧＭ合成部３１３とを含む（図３参照）。

このうち、カメラ用ＯＧＭ作成部３１１は、物体検出部３１１ａと、トラッカー３１１ｂと、物体位置計算部３１１ｃと、ＯＧＭ作成部３１１ｄとを含む（図４参照）。
物体検出部３１１ａは、撮像装置４０の出力に基づいて、その画像を処理して特定の物体を検出する。この物体検出部３１１ａは、距離センサ用ＯＧＭ作成部３１２よりも物体の検出周期が長い（本実施形態では４倍の検出周期：図８参照）。これは、画像から物体を検出して位置を解析する画像処理に時間を要することに起因する。そこで、カメラ用ＯＧＭ作成部３１１では、トラッカー３１１ｂにより、物体検出部３１１ａの検出タイミングとは異なるタイミングにおける物体の位置を推定し、検出周期の短縮化（本実施形態では、距離センサ用ＯＧＭ作成部３１２と同一の検出周期）を図っている。
トラッカー３１１ｂは、物体検出部３１１ａによって複数回検出された同一の物体の位置に基づいて、物体検出部３１１ａの検出タイミングとは異なるタイミングにおける当該物体の位置を推定する。
物体位置計算部３１１ｃは、物体検出部３１１ａの検出結果及び／又はトラッカー３１１ｂの推定結果とに基づいて、物体の位置を計算する。ＯＧＭ作成部３１１ｄは、物体位置計算部３１１ｃの計算結果に基づいてＯＧＭ（後述の第一ＯＧＭ７１）を作成する。
カメラ用ＯＧＭ作成部３１１での具体的な処理内容は後述する。

物体検出判定部３２は、ＯＧＭ計算部３１が作成した二次元ＯＧＭ（後述の第三ＯＧＭ７３）に基づいて、ショベル１００の周辺の特定の物体（検出対象）の検出判定を行う。そして、物体検出判定部３２は、その検出結果（判定結果）を表示装置５０に出力させる。

記憶部３５は、ショベル１００の各部を動作させるための各種プログラムや各種データ等を格納するほか、コントローラ３０の作業領域としても機能する。本実施形態の記憶部３５は、各種プログラムのほか、撮像装置４０や距離センサ４１等が取得した各種データ、計算結果等を記憶する。また、記憶部３５には、後述の物体検出処理における検出対象の特徴量（画像特徴量）が予め記憶されている。記憶部３５では、ユーザにより検出対象として選択され得る様々な種類の物体や人の各々に対し、少なくとも１つの特徴量が対応付けられている。

また、ショベル１００は、所定の通信ネットワークＮＷを通じて、管理装置２００と相互に通信を行うことができる。通信ネットワークＮＷには、例えば、基地局を末端とする移動体通信網が含まれてよい。また、通信ネットワークＮＷには、上空の通信衛星を利用する衛星通信網が含まれてもよい。また、通信ネットワークＮＷには、インターネット網等が含まれてもよい。また、通信ネットワークＮＷには、ＷｉＦｉやブルートゥース（登録商標）等のプロトコルに準拠する近距離通信網を含んでもよい。これにより、ショベル１００は、各種情報を管理装置２００に送信（アップロード）することができる。
また、ショベル１００は、通信ネットワークＮＷを通じて、支援装置３００と相互に通信可能に構成されてもよい。

管理装置２００（外部装置、情報処理装置の一例）は、ショベル１００及び支援装置３００を所持するユーザ等と地理的に離れた位置に配置される。管理装置２００は、例えば、ショベル１００が作業する作業現場外に設けられる管理センタ等に設置され、一又は複数のサーバコンピュータ等を中心に構成されるサーバ装置である。この場合、サーバ装置は、システムを運用する事業者或いは当該事業者に関連する関連事業者が運営する自社サーバであってもよいし、レンタルサーバであってもよい。また、このサーバ装置は、いわゆるクラウドサーバであってもよい。また、管理装置２００は、ショベル１００の作業現場内の管理事務所等に配置されるサーバ装置（いわゆるエッジサーバ）であってもよいし、定置型或いは携帯型の汎用のコンピュータ端末であってもよい。
管理装置２００は、上述の如く、通信ネットワークＮＷを通じて、ショベル１００及び支援装置３００のそれぞれと相互に通信を行うことができる。これにより、管理装置２００は、ショベル１００からアップロードされる各種情報を受信し、記憶（蓄積）しておくことができる。また、管理装置２００は、支援装置３００からの要求に応じて、支援装置３００に各種情報を送信することができる。

支援装置３００（ユーザ端末、端末装置の一例）は、ユーザが利用するユーザ端末である。ユーザには、例えば、作業現場の監督者、管理者、ショベル１００のオペレータ、ショベル１００の管理者、ショベル１００のサービスマン、ショベル１００の開発者等が含まれてよい。支援装置３００は、例えば、ユーザが所持するラップトップ型のコンピュータ端末、タブレット端末、スマートフォン等の汎用の携帯端末である。また、支援装置３００は、デスクトップ型のコンピュータ等の定置型の汎用端末であってもよい。また、支援装置３００は、情報の提供を受けるための専用の端末（携帯端末或いは定置端末）であってもよい。
支援装置３００は、通信ネットワークＮＷを通じて、管理装置２００と相互に通信を行うことができる。これにより、支援装置３００は、管理装置２００から送信される情報を受信し、自身に搭載される表示装置を通じて、ユーザに情報を提供することができる。また、支援装置３００は、通信ネットワークＮＷを通じて、ショベル１００と相互に通信可能に構成されてもよい。

［ショベルの動作］
続いて、周辺の特定の物体を検出する物体検出処理を実行する際のショベル１００の動作について説明する。
図３及び図４は、この物体検出処理でのデータの流れを示すデータフロー図であり、図５は、物体検出処理のうち、カメラ用ＯＧＭ作成部３１１による処理内容の流れを示すフロー図である。図６は、トラッカー３１１ｂによる検出対象の位置推定を説明するための図であり、図７（ａ）〜（ｃ）は、後述の第一ＯＧＭ７１、第二ＯＧＭ７２、第三ＯＧＭ７３の一例を示す図であり、図８は、物体検出処理の出力周期（合成周期）を示す図であって、（ａ）が従来のもの、（ｂ）が本実施形態のものである。

物体検出処理は、コントローラ３０が内部の記憶装置に格納された所定のプログラムをＣＰＵ上で実行することにより、実行される。この処理は、オペレータの操作に基づいて実行・終了されてもよいし、ショベル１００の運転中に継続的に実行されてもよい。
本実施形態では、検出対象として人体（人）が検出されるものとする。そのため、処理の実行時には、例えばユーザ操作により検出対象として人体が選択され、この検出対象に対応した特徴量（例えば人の顔のもの）が記憶部３５から読み出されて設定されているものとする。

物体検出処理が実行されると、図３に示すように、まずコントローラ３０は、撮像装置４０によりショベル１００周辺の画像情報を取得するとともに、距離センサ４１によりショベル１００周辺の物体までの距離情報を取得する。コントローラ３０は、取得した画像情報及び距離情報を記憶部３５に記録させる。
なお、コントローラ３０は、上部旋回体３を旋回させながら周囲全周の撮影・計測を行ってもよい。

次に、コントローラ３０は、ＯＧＭ計算部３１により、ショベル１００周辺の人（人体）の存在を表すＯＧＭを作成する。
ここでは、ＯＧＭ計算部３１は、撮像装置４０が取得した画像に基づく第一ＯＧＭ７１（図７（ａ）参照）と、距離センサ４１が取得した距離情報に基づく第二ＯＧＭ７２（図７（ｂ）参照）とを個別に作成し、これらを合成して最終的な第三ＯＧＭ７３（図７（ｃ）参照）を得る。

このうち、第一ＯＧＭ７１は、カメラ用ＯＧＭ作成部３１１により、撮像装置４０が取得した画像に基づいて、人体が検出されてその位置が解析されたＯＧＭとして作成される。
具体的には、図４及び図５に示すように、まずカメラ用ＯＧＭ作成部３１１は、物体検出部３１１ａによる人体検出が、前回の更新判定から更新されているか否かを判定する（ステップＳ１）。物体検出部３１１ａは、撮像装置４０が取得した最新の画像を処理して、人体を検出する。
ここで、更新判定が行われる周期（時間間隔）は、物体検出部３１１ａの検出周期よりも短ければよく、本実施形態では、距離センサ用ＯＧＭ作成部３１２による距離センサ４１の出力からの検出周期と略同一となっている（図８（ｂ）参照）。
そして、人体検出が更新されていると判定した場合（ステップＳ１；Ｙｅｓ）、カメラ用ＯＧＭ作成部３１１は、物体位置計算部３１１ｃにより、物体検出部３１１ａの検出結果に基づいて人体の位置（撮像装置４０（すなわちショベル１００）との相対位置）を計算し、この計算結果に基づいてＯＧＭ作成部３１１ｄにより第一ＯＧＭ７１を作成する（ステップＳ２）。つまり、物体検出部３１１ａにより更新された検出位置で第一ＯＧＭ７１が作成される。

一方、人体検出が更新されていないと判定した場合（ステップＳ１；Ｎｏ）、すなわち、物体検出部３１１ａが前回から新たな検出位置を出力していない場合、カメラ用ＯＧＭ作成部３１１は、トラッカー３１１ｂにより、当該判定タイミングにおける検出対象の位置をトラッキングで推定する（ステップＳ３）。具体的に、トラッカー３１１ｂは、物体検出部３１１ａによって複数回検出された当該人体の位置（すなわち、同一の人体が複数の検出タイミングで検出された複数の位置）に基づいて、物体検出部３１１ａの検出タイミングとは異なるタイミングにおける当該人体の位置を推定する。
本実施形態では、例えば図６に示すように、物体検出部３１１ａによる最新の２つの検出結果、すなわち、直前に検出された時刻ｔ＝Ｔ１における人体位置Ｐ１と、さらにその前に検出された時刻ｔ＝Ｔ１−ΔＴａ（ΔＴａ：物体検出部３１１ａの検出周期）における人体位置Ｐ０とに基づいて、当該判定タイミング（時刻ｔ＝Ｔ２（＞Ｔ１））における人体位置Ｐ２が予測（外挿）される。
そして、カメラ用ＯＧＭ作成部３１１は、物体位置計算部３１１ｃにより、トラッカー３１１ｂの推定結果に基づいて人体の位置（撮像装置４０（すなわちショベル１００）との相対位置）を計算し、この計算結果に基づいてＯＧＭ作成部３１１ｄにより第一ＯＧＭ７１を作成する（ステップＳ４）。つまり、トラッカー３１１ｂにより予測された位置で第一ＯＧＭ７１が作成される。

こうして、例えば図７（ａ）に示すような第一ＯＧＭ７１が作成される。第一ＯＧＭ７１では、撮像装置４０による撮影画像から人体（と推定される物体）として検出された物体領域Ｒ１の位置が、例えば格子状に区画された二次元マップ上に平面表示される。
この第一ＯＧＭ７１は、上述したステップＳ１〜Ｓ４の処理により、物体検出部３１１ａによる検出結果が更新された検出タイミングではその最新の検出結果に基づいて作成され、物体検出部３１１ａによる検出結果が更新されていないタイミングではトラッカー３１１ｂの推定結果に基づいて作成される。すなわち、撮像装置４０の出力に基づく検出結果が更新されるまでの間は、トラッカー３１１ｂにより検出対象の位置が推定される。
これにより、物体検出部３１１ａによる検出周期よりも短い周期（本実施形態では距離センサ用ＯＧＭ作成部３１２の検出周期と同じ周期）で人体検出が行われ、第一ＯＧＭ７１が作成される。
なお、本明細書では、物体検出部３１１ａの検出周期／検出タイミング／検出結果を、単に「撮像装置４０の検出結果／検出タイミング／検出結果」という場合がある。

また、第二ＯＧＭ７２は、図３に示すように、距離センサ用ＯＧＭ作成部３１２により、距離センサ４１が取得した距離情報に基づいて、人体が検出されてそのＯＧＭとして作成される。
ここでは、例えば図７（ｂ）に示すような第二ＯＧＭ７２が作成される。この第二ＯＧＭ７２では、距離情報に基づいて人体（と推定される物体）として検出された物体領域Ｒ２の位置が、例えば第一ＯＧＭ７１と同様に格子状に区画された二次元マップ上に平面表示される。
なお、本明細書では、距離センサ用ＯＧＭ作成部３１２の検出周期／検出タイミング／検出結果を、単に「距離センサ４１の検出結果／検出タイミング／検出結果」という場合がある。

次に、図３に示すように、ＯＧＭ計算部３１は、ＯＧＭ合成部３１３により、互いに最新の第一ＯＧＭ７１と第二ＯＧＭ７２とを合成して第三ＯＧＭ７３を作成する。
本実施形態の第三ＯＧＭ７３では、例えば図７（ｃ）に示すように、図７（ａ）に示す第一ＯＧＭ７１と、図７（ｂ）に示す第二ＯＧＭ７２との、いずれにも物体領域Ｒ１、Ｒ２が存在するグリッドが、人体が検出された物体領域Ｒ３となっている。すなわち、第一ＯＧＭ７１及び第二ＯＧＭ７２の各々において、物体領域ありのグリッドに「１」、物体領域なしのグリッドに「０」を割り当てておき、合成の際に、対応するグリッド同士で和を取った数値が「１」の場合に当該グリッドを物体領域Ｒ３としている。
ただし、この合成手法は本実施形態のものに限定されない。例えば、第一ＯＧＭ７１及び第二ＯＧＭ７２の各々の作成時に、「０」と「１」だけではなく、各物体領域の存在の確からしさに応じて重み付けした数値を当該物体領域のグリッドに割り当ててもよい。そして、これらの合成時に、対応するグリッドの物体領域で和（又は積）を取った数値が所定の閾値以上となった場合に、当該グリッドを物体領域Ｒ３とすればよい。この場合の重み付けは、例えば、第一ＯＧＭ７１の作成において、トラッカー３１１ｂに予測された物体領域Ｒ１を、物体検出部３１１ａに検出された物体領域Ｒ１よりも低く重み付けしたり、撮像装置４０による物体領域Ｒ１と距離センサ４１による物体領域Ｒ２とで重み付けの数値を変えたりしてもよい。

こうして、相対的に検出周期の長い（検出速度の遅い）撮像装置４０による人体検出では、より短い周期で人体位置が推定され、この推定結果を含む検出結果が、距離センサ４１による検出結果と合成される。
すなわち、撮像装置４０と距離センサ４１とで検出周期の異なる検出結果を合成（フュージョン）する場合、従来であれば、図８（ａ）に示すように、相対的に長い撮像装置の検出周期に対応した出力周期（合成周期）となっていた。
この点、本実施形態では、図８（ｂ）に示すように、相対的に検出周期の長い撮像装置４０の出力に基づく検出処理において、当該撮像装置４０の検出タイミング（検出周期ΔＴａ）以外のタイミング（図中のハッチングされた三角マークのタイミング）における当該撮像装置４０の検出結果が推定される。本実施形態では、撮像装置４０の検出周期ΔＴａよりも短い、距離センサ４１の検出周期ΔＴｂと同一の周期で推定が行われる。そして、撮像装置４０の検出結果が更新された検出タイミングでは、より信頼性の高い当該検出結果が距離センサ４１の検出結果と合成され、撮像装置４０の検出結果が更新されていないタイミングでは、推定された結果が距離センサ４１の検出結果と合成される。
これにより、検出精度を低下させることなく、撮像装置４０の検出周期よりも短い周期（本実施形態では距離センサ４１の検出周期ΔＴｂ）で検出結果を合成することができる。

その後、コントローラ３０は、物体検出判定部３２により、ＯＧＭ計算部３１が作成した第三ＯＧＭ７３に基づいて、ショベル１００の周辺の人（人体）の検出判定を行う。本実施形態では、第三ＯＧＭ７３のうち物体領域Ｒ３とされたグリッドに人が存在すると判定する。あるいは、割り当てられた数値が所定値以上のグリッド（物体領域Ｒ３）のみに人が存在すると判定してもよい。
そして、物体検出判定部３２は、その検出結果（判定結果）を表示装置５０に出力させる。この表示態様は、検出対象の位置等が識別できるものであれば、特に限定されない。

［本実施形態の技術的効果］
以上のように、本実施形態によれば、撮像装置４０及び距離センサ４１のうち検出周期の長い撮像装置４０（物体検出部３１１ａ）の検出結果に基づいて、当該撮像装置４０の検出タイミング以外のタイミングにおける当該撮像装置４０の検出結果が推定される。そして、推定されたものを含む撮像装置４０の検出結果と、距離センサ４１の検出結果とに基づいて、撮像装置４０の検出周期よりも短い周期で検出結果の合成が行われる。
したがって、より検出速度の遅い検出手段の検出周期で合成していた従来に比べ、検出周期の異なる２つの検出手段の検出結果の合成周期を好適に短縮化できる。

また、本実施形態によれば、撮像装置４０（物体検出部３１１ａ）の検出結果が更新されている場合には当該検出結果に基づいて第一ＯＧＭ７１が作成され、当該検出結果が更新されていない場合にはトラッカー３１１ｂによる推定結果に基づいて第一ＯＧＭ７１が作成される。
これにより、検出精度を低下させることなく、好適に第一ＯＧＭ７１を作成し、ひいては好適に合成周期を短縮化できる。

［その他］
以上、本発明の実施形態について説明したが、本発明は上記実施形態やその変形例に限られない。
例えば、上記実施形態では、撮像装置４０や距離センサ４１がショベル１００に搭載されることとしたが、撮像装置４０や距離センサ４１はショベル１００に搭載されていなくともよく、例えば高所に設置されたりドローンなどの無人航空機に搭載されていてもよい。そして、取得したデータをショベル１００に送信してもよいし、あるいは、データを管理装置２００や支援装置３００に送信して検出処理を実行させ、その結果をショベル１００に送信してもよい。

また、上記実施形態では、トラッカー３１１ｂが、時間的に連続する最新の２つの検出結果に基づいて、当該２つの検出結果よりも後のタイミングにおける検出結果を予測（外挿）することとした。しかし、本発明に係る推定手段による推定は、検出周期の長い一方の検出手段の検出結果に基づいて、当該検出結果の検出タイミング以外のタイミングにおける当該一方の検出手段の検出結果を推定するものであればよい。例えば、当該推定は、２つの検出結果に基づいて、その間のタイミングにおける検出結果を推定（内挿）するものであってもよい。
さらに、トラッカー３１１ｂの推定結果を用いた第一ＯＧＭ７１の作成では、カルマンフィルタなどの確率的推定手法を用いてもよい。

また、上記実施形態では、トラッカー３１１ｂによる推定タイミングと、ＯＧＭ合成部３１３による合成タイミングとが、距離センサ４１の検出タイミングと合致しているが（図８参照）、これらのタイミングはずれていてもよい。トラッカー３１１ｂによる推定タイミングは、撮像装置４０（物体検出部３１１ａ）の検出タイミングと異なるタイミングであればよい。ＯＧＭ合成部３１３による合成タイミングは、その合成周期が撮像装置４０の検出周期ΔＴａよりも短くなるものであればよい。

また、上記実施形態では、トラッカー３１１ｂにより、撮像装置４０（物体検出部３１１ａ）の検出結果に基づいて人体位置を推定することとしたが、当該トラッカー３１１ｂに代えて（もしくはトラッカー３１１ｂと併せて）、撮像装置４０（物体検出部３１１ａ）よりも高速の（検出周期の短い）他の検出手段を用いてもよい。当該他の検出手段をトラッカー３１１ｂと併せて使う場合には、これらによる検出結果のうち、より信頼性の高い一方を選択すればよい。

また、上記実施形態では、撮像装置と距離センサの（出力に基づく）検出結果を合成（フュージョン）する場合を例に挙げて説明した。しかし、本発明に係る２つの検出手段は、互いの検出周期が異なるものであれば、撮像装置と距離センサに限定されず、例えばミリ波センサや音声（音センサ）などを含んでもよい（その組み合わせは限定されない）。
さらに、本発明は、このような２つの検出手段を含む複数の検出手段の検出結果を合成する場合にも適用可能である。

また、本発明に係る情報処理装置は、互いの検出周期が異なる２つの検出手段を含む複数の検出手段の検出結果を処理するものであればよく、作業機械に搭載されるものに限定されない。
その他、実施の形態で示した細部は、発明の趣旨を逸脱しない範囲で適宜変更可能である。

１００ ショベル
３０ コントローラ
３１ ＯＧＭ計算部
３１１ カメラ用ＯＧＭ作成部
３１１ａ 物体検出部
３１１ｂ トラッカー
３１１ｃ 物体位置計算部
３１１ｄ ＯＧＭ作成部
３１２ 距離センサ用ＯＧＭ作成部
３１３ ＯＧＭ合成部
３２ 物体検出判定部
４０ 撮像装置（一方の検出手段）
４１ 距離センサ（他方の検出手段）
７１ 第一ＯＧＭ
７２ 第二ＯＧＭ
７３ 第三ＯＧＭ
Ｐ０、Ｐ１、Ｐ２ 人体位置
Ｒ１、Ｒ２、Ｒ３ 物体領域
ΔＴａ 撮像装置の検出周期
ΔＴｂ 距離センサの検出周期

Claims (5)

1. 互いの検出周期が異なる２つの検出手段を含む複数の検出手段の検出結果を処理する情報処理装置であって、
   前記２つの検出手段のうち検出周期の長い一方の検出手段の検出結果に基づいて、当該検出結果の検出タイミング以外のタイミングにおける当該一方の検出手段の検出結果を推定する推定手段と、
   前記２つの検出手段の検出結果と、前記推定手段の推定結果とに基づいて、前記一方の検出手段の検出周期よりも短い周期で、前記２つの検出手段の出力に基づく検出結果を合成する合成手段と、を備える、
   情報処理装置。
2. 前記一方の検出手段の検出結果に基づいて、検出対象の位置及び存在確率を地図表示した第一ＯＧＭを作成する第一ＯＧＭ作成手段と、
   他方の検出手段の検出結果に基づいて、検出対象の位置及び存在確率を地図表示した第二ＯＧＭを作成する第二ＯＧＭ作成手段と、
   を備え、
   前記第一ＯＧＭ作成手段は、
   前記一方の検出手段の検出結果が更新されているか否かを判定し、当該検出結果が更新されている場合には当該検出結果に基づいて前記第一ＯＧＭを作成し、当該検出結果が更新されていない場合には前記推定手段の推定結果に基づいて前記第一ＯＧＭを作成し、
   前記合成手段は、最新の前記第一ＯＧＭと前記第二ＯＧＭとを合成する、
   請求項１に記載の情報処理装置。
3. 前記推定手段は、時間的に連続する最新の２つの検出結果に基づいて、当該２つの検出結果よりも後のタイミングにおける検出結果を予測する、
   請求項１又は請求項２に記載の情報処理装置。
4. 互いの検出周期が異なる２つの検出手段を含む複数の検出手段の検出結果を処理する情報処理装置の制御方法であって、
   制御手段が、
   前記２つの検出手段のうち検出周期の長い一方の検出手段の検出結果に基づいて、当該検出結果の検出タイミング以外のタイミングにおける当該一方の検出手段の検出結果を推定する推定工程と、
   前記２つの検出手段の検出結果と、前記推定工程での推定結果とに基づいて、前記一方の検出手段の検出周期よりも短い周期で、前記２つの検出手段の出力に基づく検出結果を合成する合成工程と、
   を実行する、
   情報処理装置の制御方法。
5. 互いの検出周期が異なる２つの検出手段を含む複数の検出手段の検出結果を処理する情報処理装置の制御プログラムであって、
   コンピュータを、
   前記２つの検出手段のうち検出周期の長い一方の検出手段の検出結果に基づいて、当該検出結果の検出タイミング以外のタイミングにおける当該一方の検出手段の検出結果を推定する推定手段、
   前記２つの検出手段の検出結果と、前記推定手段の推定結果とに基づいて、前記一方の検出手段の検出周期よりも短い周期で、前記２つの検出手段の出力に基づく検出結果を合成する合成手段、
   として機能させる、
   情報処理装置の制御プログラム。

Images