JP2023006464A - 情報処理装置、情報処理装置の制御プログラム - Google Patents

情報処理装置、情報処理装置の制御プログラム Download PDF

Info

Publication number
JP2023006464A
JP2023006464A JP2021109073A JP2021109073A JP2023006464A JP 2023006464 A JP2023006464 A JP 2023006464A JP 2021109073 A JP2021109073 A JP 2021109073A JP 2021109073 A JP2021109073 A JP 2021109073A JP 2023006464 A JP2023006464 A JP 2023006464A
Authority
JP
Japan
Prior art keywords
size
detection
distance
measurement
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021109073A
Other languages
English (en)
Inventor
健太郎 長井
Kentaro Nagai
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sumitomo Heavy Industries Ltd
Original Assignee
Sumitomo Heavy Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sumitomo Heavy Industries Ltd filed Critical Sumitomo Heavy Industries Ltd
Priority to JP2021109073A priority Critical patent/JP2023006464A/ja
Publication of JP2023006464A publication Critical patent/JP2023006464A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Component Parts Of Construction Machinery (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

【課題】物体検出の検出精度を向上させる。【解決手段】ショベル100は、測定対象Dまでの距離を測定する距離センサ41と、コントローラ30とを備えている。コントローラ30は、測定対象Dの大きさを取得し、測定対象Dまでの距離に基づいて、所望の検出対象の大きさを設定し、取得された測定対象Dの大きさと、設定された検出対象の大きさとに基づいて、測定対象Dが検出対象であるか否かを判定する。【選択図】図3

Description

本発明は、情報処理装置及びその制御プログラムに関する。
従来、距離を測定する距離センサを用いて所望の検出対象を検出する技術が知られている。
例えば、特許文献1に記載の技術では、距離センサによる距離情報に基づいて、対象(車両)の周辺における物体の存在確率を表すマップ(占有格子地図(OGM:Occupancy Grid Maps))などの地図情報を作成し、このマップを利用して対象の動作制御を行っている。このOGMは格子によって仕切られており、各格子における物体の存在確率を示すことによって周囲状況がどのようになっているかを判断する。
特開2011-123551号公報
しかしながら、距離情報を単純に用いただけでは、十分な検出精度が得られない場合がある。
例えば、上記特許文献1で開示される方法では、車体の周りの障害物を検知するが、検出された物体の種類が分からない。また、単純にレーザーレーダーを使用しただけでは大きさも正確には判別しにくい。特に工事現場のような様々な種類・大きさの物体が混在する場所においては、距離情報による検出だけでは障害物の検知には十分に機能しないという問題があった。
本発明は、上記事情に鑑みてなされたもので、物体検出の検出精度を向上させることを目的とする。
本発明は、情報処理装置であって、
測定対象までの距離を測定する測距手段と、
前記測定対象の大きさを取得するサイズ取得手段と、
前記測定対象までの距離に基づいて、所望の検出対象の大きさを設定するサイズ設定手段と、
前記サイズ取得手段により取得された前記測定対象の大きさと、前記サイズ設定手段により設定された前記検出対象の大きさとに基づいて、前記測定対象が前記検出対象であるか否かを判定する判定手段と、
を備える構成とした。
また、本発明は、測定対象までの距離を測定する測距手段を備える情報処理装置の制御プログラムであって、
コンピュータを、
前記測定対象の大きさを取得するサイズ取得手段、
前記測定対象までの距離に基づいて、所望の検出対象の大きさを設定するサイズ設定手段、
前記サイズ取得手段により取得された前記測定対象の大きさと、前記サイズ設定手段により設定された前記検出対象の大きさとに基づいて、前記測定対象が前記検出対象であるか否かを判定する判定手段、
として機能させるものとした。
本発明によれば、物体検出の検出精度を向上させることができる。
本実施形態に係るショベルの側面図である。 図1のショベルのシステム構成を示すブロック図である。 本実施形態の物体検出処理でのデータの流れを示すデータフロー図である。 本実施形態の第1のOGM、第2のOGM、第3のOGMの一例を示す図である。 本実施形態の測定対象とその大きさを示す図である。 本実施形態の検出サイズデータの一例を示す図である。 図6の検出サイズデータの設定条件を説明するための図である。
以下、本発明の実施形態について、図面を参照して詳細に説明する。
[ショベルの構成]
まず、本実施形態に係るショベル100の構成について説明する。ショベル100は、本発明に係る情報処理装置を具備することにより、物体検出の検出精度を好適に向上できるように構成されている。
図1は、本実施形態に係るショベル100の側面図である。
この図に示すように、ショベル100は、下部走行体1と、旋回機構2を介して旋回可能に下部走行体1に搭載される上部旋回体3と、アタッチメントとしてのブーム4、アーム5及びバケット6と、オペレータが搭乗するキャビン10とを備える。アタッチメントは、作業要素(例えば、バケット、クラッシャー、クレーン装置等)が設けられていれば、これに限られない。
下部走行体1は、例えば、左右一対のクローラを含み、それぞれのクローラが走行油圧モータ(不図示)で油圧駆動されることにより、ショベル100を走行させる。
上部旋回体3は、旋回油圧モータ或いは電動機(共に不図示)等で駆動されることにより、下部走行体1に対して旋回する。
ブーム4は、上部旋回体3の前部中央に俯仰可能に枢着され、ブーム4の先端には、アーム5が上下回動可能に枢着され、アーム5の先端には、バケット6が上下回動可能に枢着される。ブーム4、アーム5及びバケット6は、それぞれ、ブームシリンダ7、アームシリンダ8、及びバケットシリンダ9により油圧駆動される。
キャビン10は、オペレータが搭乗する操縦室であり、例えば上部旋回体3の前部左側に搭載される。ショベル100は、キャビン10に搭乗するオペレータの操作に応じて、アクチュエータを動作させ、下部走行体1、上部旋回体3、ブーム4、アーム5及びバケット6等の被駆動要素を駆動する。
図2は、ショベル100のシステム構成を示すブロック図である。
この図に示すように、ショベル100は、上記構成のほか、コントローラ30と、撮像装置40と、距離センサ41と、動作・姿勢状態センサ42と、位置センサ43と、操作装置45と、表示装置50と、音声出力装置60と、通信機器80とを備える。本発明に係る情報処理装置は、少なくともコントローラ30を含む。
撮像装置40は、ショベル100の周辺を撮影してその画像をコントローラ30に出力する。撮像装置40は、後方カメラ40B、左方カメラ40L、右方カメラ40Rを含む。ショベル100の「周辺」とは、少なくともショベル100から所定距離内の所定範囲を含んでいればよい。
後方カメラ40Bは、上部旋回体3の後部に取り付けられ、上部旋回体3の後方を撮像する。
左方カメラ40Lは、上部旋回体3の左側部に取り付けられ、上部旋回体3の左側方を撮像する。
右方カメラ40Rは、上部旋回体3の右側部に取り付けられ、上部旋回体3の右側方を撮像する。
これら後方カメラ40B、左方カメラ40L及び右方カメラ40Rの各々は、上部旋回体3において、光軸が斜め下方に向くように取り付けられ、ショベル100近傍の地面からショベル100の遠方までを含む上下方向の撮像範囲(画角)を有する。また、後方カメラ40B、左方カメラ40L及び右方カメラ40Rの水平方向の撮像範囲(画角)は、例えば、合わせてショベル100回りの略全方位を含む範囲となっている。
距離センサ41は、ショベル100の周辺の物体までの距離を測定してその情報(二次元又は三次元の距離情報)を取得する測距手段であり、取得した情報をコントローラ30に出力する。距離センサ41は、後方距離センサ41B、左方距離センサ41L、右方距離センサ41Rを含む。
後方距離センサ41Bは、上部旋回体3の後部に取り付けられ、上部旋回体3の後方の計測を行う。後方距離センサ41Bの計測範囲は、後方カメラ40Bの撮像範囲に対応している。
左方距離センサ41Lは、上部旋回体3の左側部に取り付けられ、上部旋回体3の左側方の計測を行う。左方距離センサ41Lの計測範囲は、左方カメラ40Lの撮像範囲に対応している。
右方距離センサ41Rは、上部旋回体3の右側部に取り付けられ、上部旋回体3の右側方の計測を行う。右方距離センサ41Rの計測範囲は、右方カメラ40Rの撮像範囲に対応している。
本実施形態では、各距離センサ41として、光を利用したLIDAR(Light Detection and Ranging)が用いられる。ただし、距離センサ41の種類は特に限定されず、例えばミリ波レーダーや、ステレオカメラによる測距装置などであってもよい。
また、撮像装置40と距離センサ41は、同方向を計測・撮影するものが互いに対応して組を成している。具体的には、後方カメラ40Bと後方距離センサ41Bが後方センサユニット46Bを構成し、左方カメラ40Lと左方距離センサ41Lが左方センサユニット46Lを構成し、右方カメラ40Rと右方距離センサ41Rが右方センサユニット46Rを構成している。
動作・姿勢状態センサ42は、ショベル100の動作状態や姿勢状態を検出するセンサであり、検出結果をコントローラ30に出力する。動作・姿勢状態センサ42は、ブーム角度センサと、アーム角度センサと、バケット角度センサと、三軸慣性センサ(IMU:Inertial Measurement Unit)と、旋回角度センサと、加速度センサとを含む。
これらのセンサは、ブーム等のシリンダのストロークセンサ、ロータリーエンコーダ等の回転情報を取得するセンサで構成されてもよく、IMUで取得される加速度(速度、位置も含んでもよい)により代替されてもよい。
アーム角度センサは、ブーム4を基準とするアーム5の回動角度(以下、「アーム角度」と称する)を検出する。
バケット角度センサは、アーム5を基準とするバケット6の回動角度(以下、「バケット角度」と称する)を検出する。
IMUは、ブーム4及びアーム5の各々に取り付けられ、所定の三軸に沿ったブーム4及びアーム5の加速度、及び、所定の三軸廻りのブーム4及びアーム5の角加速度を検出する。
旋回角度センサは、上部旋回体3の所定の角度方向を基準とする旋回角度を検出する。ただし、これに限られず、上部旋回体3に設けられたGPSやIMUセンサに基づいて旋回角度が検出されてもよい。
加速度センサは、上部旋回体3の旋回軸から離れた位置に取り付けられ、上部旋回体3の当該位置における加速度を検出する。これにより、加速度センサの検出結果に基づき、上部旋回体3が旋回しているのか、或いは、下部走行体1が走行しているのか等が判別されうる。
位置センサ43は、ショベル100の位置(現在位置)の情報を取得するセンサであり、本実施形態ではGPS(Global Positioning System)受信機である。位置センサ43は、ショベル100の位置の情報を含むGPS信号をGPS衛星から受信し、取得したショベル100の位置情報をコントローラ30に出力する。なお、位置センサ43は、ショベル100の位置の情報を取得できるものであればGPS受信機でなくともよく、例えばGPS以外の衛星測位システムを利用するものであってもよい。位置センサ43は、下部走行体1に設けられてもよく、上部旋回体3に設けられていてもよい。
操作装置45は、キャビン10の操縦席付近に設けられ、オペレータが各動作要素(下部走行体1、上部旋回体3、ブーム4、アーム5及びバケット6等)の操作を行う操作手段である。換言すれば、操作装置45は、各動作要素を駆動するそれぞれの油圧アクチュエータの操作を行う操作手段である。操作装置45は、例えばレバーやペダル、各種ボタン等を含み、これらの操作内容に応じた操作信号をコントローラ30に出力する。
また、操作装置45は、撮像装置40、距離センサ41、動作・姿勢状態センサ42、位置センサ43、表示装置50、音声出力装置60、通信機器80等の操作を行う操作手段でもあり、これら各部に対する操作指令をコントローラ30に出力する。
表示装置50は、キャビン10内の操縦席の周辺に設けられ、コントローラ30による制御の下、オペレータに通知する各種画像情報を表示する。表示装置50は、例えば液晶ディスプレイや有機EL(Electroluminescence)ディスプレイであり、操作装置45の少なくとも一部を兼ねるタッチパネル式であってもよい。
音声出力装置60は、キャビン10内の操縦席の周辺に設けられ、コントローラ30による制御の下、オペレータに通知する各種音声情報を出力する。音声出力装置60は、例えば、スピーカやブザー等である。
通信機器80は、所定の無線通信規格に基づき、所定の通信ネットワーク(例えば、基地局を末端とする携帯電話ネットワークやインターネット網等)NWを通じて、遠隔の外部機器や他のショベル100等と各種情報を送受信する通信デバイスである。
コントローラ30は、ショベル100各部の動作を制御してショベル100の駆動制御を行う制御装置である。コントローラ30は、キャビン10内に搭載される。コントローラ30は、その機能が任意のハードウェア、ソフトウェア、或いはその組み合わせにより実現されてよく、例えば、CPU,RAM,ROM,I/O等を含むマイクロコンピュータを中心に構成される。コントローラ30は、これらの他にも、例えばFPGAやASICなどを含んで構成されてもよい。
また、コントローラ30は、各種機能を実行する機能部として、OGM計算部31と、物体検出判定部32とを含む。さらに、コントローラ30は、EEPROM(Electrically Erasable Programmable Read-Only Memory)等の内部メモリに規定される記憶領域としての記憶部35を含む。
OGM計算部31は、撮像装置40及び距離センサ41からの出力に基づいて、距離情報を量子化して表現した二次元の占有格子地図(OGM:Occupancy Grid Maps)を作成する。OGMは、検出した特定の物体(検出対象)の位置・速度などの存在確率を地図表示したものであり、より詳しくは、検出対象の距離情報に基づいてグリッド上の対応するセルに当該検出対象の存在確率に関する確率情報を載せたものである(図4参照)。OGM計算部31によるOGM作成の詳細は後述する。
なお、本実施例ではOGMは二次元のものを用いているが、高さ情報を加えた三次元のOGMでも良い。
物体検出判定部32は、OGM計算部31が作成したOGM(後述の第3のOGM73)に基づいて、ショベル100の周辺の特定の物体(検出対象)の検出判定を行う。そして、物体検出判定部32は、その検出結果(判定結果)を表示装置50に出力させる。
記憶部35は、ショベル100の各部を動作させるための各種プログラムや各種データ等を格納するほか、コントローラ30の作業領域としても機能する。本実施形態の記憶部35は、各種プログラムのほか、撮像装置40や距離センサ41等が取得した各種データ、計算結果等を記憶する。また、記憶部35には、後述の物体検出処理における検出対象の特徴量(画像特徴量)が予め記憶されている。記憶部35では、オペレータにより検出対象として選択され得る様々な種類の物体や人の各々に対し、少なくとも1つの特徴量が対応付けられている。
さらに、記憶部35には、後述の物体検出処理における検出対象の距離と検出サイズとを対応付けた検出サイズデータ351(図6参照)が予め記憶されている。本実施形態では、複数種類の検出対象に対応した複数の検出サイズデータ351が予め記憶されている。検出サイズデータ351の詳細については後述する。
また、ショベル100は、所定の通信ネットワークNWを通じて、管理装置200と相互に通信を行うことができる。通信ネットワークNWには、例えば、基地局を末端とする移動体通信網が含まれてよい。また、通信ネットワークNWには、上空の通信衛星を利用する衛星通信網が含まれてもよい。また、通信ネットワークNWには、インターネット網等が含まれてもよい。また、通信ネットワークNWには、WiFiやブルートゥース(登録商標)等のプロトコルに準拠する近距離通信網を含んでもよい。これにより、ショベル100は、各種情報を管理装置200に送信(アップロード)することができる。
また、ショベル100は、通信ネットワークNWを通じて、支援装置300と相互に通信可能に構成されてもよい。
管理装置200(外部装置、情報処理装置の一例)は、ショベル100及び支援装置300を所持するユーザ等と地理的に離れた位置に配置される。管理装置200は、例えば、ショベル100が作業する作業現場外に設けられる管理センタ等に設置され、一又は複数のサーバコンピュータ等を中心に構成されるサーバ装置である。この場合、サーバ装置は、システムを運用する事業者或いは当該事業者に関連する関連事業者が運営する自社サーバであってもよいし、レンタルサーバであってもよい。また、このサーバ装置は、いわゆるクラウドサーバであってもよい。また、管理装置200は、ショベル100の作業現場内の管理事務所等に配置されるサーバ装置(いわゆるエッジサーバ)であってもよいし、定置型或いは携帯型の汎用のコンピュータ端末であってもよい。
管理装置200は、上述の如く、通信ネットワークNWを通じて、ショベル100及び支援装置300のそれぞれと相互に通信を行うことができる。これにより、管理装置200は、ショベル100からアップロードされる各種情報を受信し、記憶(蓄積)しておくことができる。また、管理装置200は、支援装置300からの要求に応じて、支援装置300に各種情報を送信することができる。
支援装置300(ユーザ端末、端末装置の一例)は、ユーザが利用するユーザ端末である。ユーザには、例えば、作業現場の監督者、管理者、ショベル100のオペレータ、ショベル100の管理者、ショベル100のサービスマン、ショベル100の開発者等が含まれてよい。支援装置300は、例えば、ユーザが所持するラップトップ型のコンピュータ端末、タブレット端末、スマートフォン等の汎用の携帯端末である。また、支援装置300は、デスクトップ型のコンピュータ等の定置型の汎用端末であってもよい。また、支援装置300は、情報の提供を受けるための専用の端末(携帯端末或いは定置端末)であってもよい。
支援装置300は、通信ネットワークNWを通じて、管理装置200と相互に通信を行うことができる。これにより、支援装置300は、管理装置200から送信される情報を受信し、自身に搭載される表示装置を通じて、ユーザに情報を提供することができる。また、支援装置300は、通信ネットワークNWを通じて、ショベル100と相互に通信可能に構成されてもよい。
[ショベルの動作]
続いて、周辺の特定の物体を検出する物体検出処理を実行する際のショベル100の動作について説明する。
図3は、この物体検出処理でのデータの流れを示すデータフロー図であり、図4(a)~(c)は、後述の第1のOGM71、第2のOGM72、第3のOGM73の一例を示す図である。図5は、物体検出処理での測定対象Dとその大きさを示す図であり、図6は、検出サイズデータ351の一例を示す図であり、図6の検出サイズデータ351の設定条件を説明するための図である。
物体検出処理は、コントローラ30が内部の記憶装置に格納された所定のプログラムをCPU上で実行することにより実行される。この処理は、オペレータの操作に基づいて実行・終了されてもよいし、ショベル100の運転中に継続的に実行されてもよい。
本実施形態では、検出対象として人体(人)が検出されるものとする。そのため、処理の実行時には、例えばオペレータの操作により検出対象として人体が選択され、この検出対象に対応した特徴量(例えば人の顔のもの)が記憶部35から読み出されて設定されているものとする。
物体検出処理が実行されると、図3に示すように、まずコントローラ30は、撮像装置40によりショベル100周辺の画像情報を取得するとともに、距離センサ41によりショベル100周辺の物体までの距離情報を取得する。コントローラ30は、取得した画像情報及び距離情報を記憶部35に記録させる。なお、ここでの撮像装置40と距離センサ41は、後方センサユニット46B、左方センサユニット46L又は右方センサユニット46Rとして互いに対応するものである。
また、コントローラ30は、上部旋回体3を旋回させながら周辺全周の撮影・計測を行ってもよい。
次に、コントローラ30は、OGM計算部31により、ショベル100周辺の人(人体)の存在を表すOGMを作成する。
ここでは、OGM計算部31は、撮像装置40が取得した画像に基づく第1のOGM71と、距離センサ41が取得した距離情報に基づく第2のOGM72とを個別に作成し、これらを合成して第3のOGM73を作成する。
具体的に、第1のOGM71の作成では、まずカメラ用物体検出部311により、撮像装置40が取得した画像から、例えば所定の特徴量を有する部分として人体が検出される。つまり、ここでは、撮像装置40が取得した画像に基づいて、測定対象が所望の検出対象(人体)であるか否かが判定されている。
そして、カメラ用OGM作成部312により、検出された人体の位置が解析されて地図表示されることで、第1のOGM71が作成される。
ここでは、例えば図4(a)に示すような第1のOGM71が作成される。第1のOGM71では、撮像装置40による撮影画像から人体(と推定される物体)として検出された物体領域R1の位置が、例えば格子状に区画された二次元マップ上に平面表示される。
一方、第2のOGM72の作成では、図3に示すように、まず距離センサ用物体検出部313により、距離センサ41が取得した距離情報に基づいて、例えば高さ情報を有する物体(以下、「測定対象」という。)Dが検出される。
次に、物体サイズ計算部314により、測定対象Dの大きさが取得される。本実施形態では、LIDARである距離センサ41が取得した点群データから、人体である測定対象Dの幅dx、奥行きdy、高さdzが算出される(図5参照)。なお、ここで取得される測定対象Dの大きさは、物体候補抽出部315による後述の判定に用いられるものと対応するパラメータであればよい。
次に、物体候補抽出部315により、測定対象Dのうち、人体である蓋然性の高いものが抽出される。ここでは、物体候補抽出部315は、ショベル100(距離センサ41)から測定対象Dまでの距離に基づいて、検出対象の検出サイズの範囲を設定し、当該範囲に該当する測定対象Dを検出対象と判定する。
具体的に、まず物体候補抽出部315は、検出対象の種類に対応した検出サイズデータ351を記憶部35から読み出して設定する。検出サイズデータ351は、図6に示すように、ショベル100(距離センサ41)から測定対象Dまでの距離と、検出サイズ(図6の例では検出高さ)の範囲(図6ではドットの範囲)とを対応付けたものである。
図6の検出サイズデータ351は、距離センサ41の計測範囲(画角と向き)に起因して、検出サイズが距離に応じて変化する例を示したものである。具体的には、図7に示すように、距離センサ41の高さが2.5[m]、距離センサ41の見下ろし角度が40°、上下画角が20°の場合、距離aの位置において検出可能な最大高さは、(2.5√3-a)/2[m]となる。そこで、この値が人体の凡その高さ1.7[m]よりも小さくなる場合には、人体の高さを(2.5√3-a)/2と仮定する。また、人体の最小高さを0.6[m]とする。
なお、「検出サイズ」とは、検出対象(測定対象D)の大きさを表すパラメータ(例えば、幅、奥行き、高さなど)のいずれか、またはこれらのうち少なくとも2つを含むその組み合わせであってもよい。例えば、検出サイズとして、幅dx、奥行きdy、高さdzのいずれか2つ以上を含むその幾何平均(相乗平均)などを用いてもよい。また、複数のパラメータを用いる場合、当該複数のパラメータを個別に用いて複数回の判定を行ってもよい。このように複数のパラメータを用いることにより、検出対象の検出精度を向上できる。
また、検出サイズに含まれるパラメータは、機械学習(距離学習を含む)によって得られたものであってもよい。
それから、物体候補抽出部315は、算出された測定対象Dの大きさと、設定された検出サイズとに基づいて、当該測定対象Dが所望の検出対象であるか否かを判定する。
具体的には、算出された測定対象Dの大きさが検出サイズの範囲内であった場合に、当該測定対象Dが所望の検出対象であると判定される。
上記の処理は、検出された全ての測定対象Dに対して行われる。これにより、測定対象Dが所望の検出対象であるその尤度を向上させることができる。
次に、図3に示すように、距離センサ用OGM作成部316により、物体候補抽出部315が検出対象であると判定した測定対象Dの位置が解析されて地図表示されることで、第2のOGM72が作成される。
ここでは、例えば図4(b)に示すような第2のOGM72が作成される。この第2のOGM72では、検出対象であると判定された測定対象Dが、例えば第1のOGM71と同様に格子状に区画された二次元マップ上に、物体領域R2として平面表示される。
次に、図3に示すように、OGM計算部31は、OGM合成部317により、第1のOGM71と第2のOGM72とを合成して第3のOGM73を作成する。
本実施形態の第3のOGM73では、例えば図4(c)に示すように、図4(a)に示す第1のOGM71と、図4(b)に示す第2のOGM72との、いずれにも物体領域R1、R2が存在するグリッドが、人体が検出された物体領域R3となっている。すなわち、第1のOGM71及び第2のOGM72の各々において、物体領域ありのグリッドに「1」、物体領域なしのグリッドに「0」を割り当てておき、合成の際に、対応するグリッド同士で和を取った数値が「1」の場合に当該グリッドを物体領域R3としている。
ただし、この合成手法は本実施形態のものに限定されない。例えば、第1のOGM71及び第2のOGM72の各々の作成時に、「0」と「1」だけではなく、各物体領域の存在の確からしさに応じて重み付けした数値を当該物体領域のグリッドに割り当ててもよい。そして、これらの合成時に、対応するグリッドの物体領域で和(又は積)を取った数値が所定の閾値以上となった場合に、当該グリッドを物体領域R3とすればよい。
次に、図3に示すように、コントローラ30は、物体検出判定部32により、OGM計算部31が作成した第3のOGM73に基づいて、ショベル100の周辺の人(人体)の検出判定を行う。本実施形態では、第3のOGM73のうち物体領域R3とされたグリッドに人が存在すると判定される。あるいは、割り当てられた数値が所定値以上のグリッド(物体領域R3)のみに人が存在すると判定してもよい。
そして、物体検出判定部32は、その検出結果(判定結果)を表示装置50に出力させる。この表示態様は、検出対象の位置等が識別できるものであれば、特に限定されない。
[本実施形態の技術的効果]
以上のように、本実施形態によれば、測定対象Dまでの距離に基づいて所望の検出対象の大きさが設定され、測定対象Dの大きさと、設定された検出対象の大きさとに基づいて、測定対象Dが検出対象であるか否かが判定される。
これにより、距離情報を単純に用いる場合に比べ、物体検出の検出精度を向上させることができる。
すなわち、カメラ等の撮像手段のみによる物体検出では、例えば地面の模様などに起因する誤検知が起きやすかった。これに対し、距離センサを併用したセンサフュージョンでは、検出精度が向上するものの、例えば検出対象が段差上に位置する場合などには誤検知が発生するおそれがあった。この点、本実施形態によれば、このような場合でも物体検出の検出精度を向上でき、誤検知のおそれを低減できる。したがって、例えば工事現場などのように周辺環境が平坦でなく入り組んでいる(地面の凸凹や、雑多な物体配置)場合に、特に好適に適用できる。
また、本実施形態によれば、測定対象Dまでの距離と、検出対象の大きさの範囲とを対応付けた検出サイズデータ351が予め記憶されており、この検出サイズデータ351に基づいて検出対象の大きさの範囲が設定される。これにより、検出対象の大きさの範囲を簡便に設定できる。
また、本実施形態によれば、複数種類の検出対象に対応した複数の検出サイズデータ351が予め記憶されており、所望の検出対象の種類に対応した検出サイズデータ351が読み出されて用いられる。これにより、所望の検出対象の種類に対応したその大きさの範囲を好適に設定でき、ひいては、種々の検出対象を高精度に検出できる。
また、本実施形態によれば、撮像装置40が取得した画像に基づいて測定対象Dが検出対象であるか否かが別途判定され、この判定結果と、測定対象Dまでの距離に基づく判定結果とに基づいて、測定対象Dが検出対象であるか否かがさらに判定される。
つまり、測定対象Dまでの距離に基づく物体検出の検出精度を向上させたうえで、これを画像情報に基づく物体検出結果と合成させて、さらに物体検出を行う。これにより、より一層検出精度の高い物体検出を行うことができる。
[その他]
以上、本発明の実施形態について説明したが、本発明は上記実施形態やその変形例に限られない。
例えば、上記実施形態では、測定対象Dまでの距離と、検出対象の大きさの範囲とを対応付けた検出サイズデータ351に基づいて、検出対象の大きさを設定することとした。しかし、測定対象Dまでの距離に基づいて検出対象の大きさが設定されれば、その設定手法はこれに限定されず、例えばオペレータが手動設定などしてもよい。また、検出サイズデータ351は、図6に例示した関数設定されたものでなくとも、判定用の閾値を有するものであればよい。
また、上記実施形態では、撮像装置40や距離センサ41がショベル100に搭載されることとしたが、撮像装置40や距離センサ41はショベル100に搭載されていなくともよく、例えば高所に設置、あるいはドローンなどの無人航空機に搭載されていてもよい。そして、取得したデータをショベル100に送信してもよいし、あるいは、データを管理装置200や支援装置300に送信して検出処理を実行させ、その結果をショベル100に送信してもよい。すなわち、本発明に係る情報処理装置は、ショベル等の車両に搭載されていなくともよい。
また、上記実施形態では、物体検出処理の検出対象が人体である場合を例に挙げて説明した。しかし、当該検出対象は人体に限定されず、種々の生物や物体等を含む。
その他、実施の形態で示した細部は、発明の趣旨を逸脱しない範囲で適宜変更可能である。
100 ショベル
30 コントローラ
35 記憶部
40 撮像装置(撮像手段)
41 距離センサ(測距手段)
71 第1のOGM
72 第2のOGM
73 第3のOGM
200 管理装置
300 支援装置
351 検出サイズデータ(検出サイズ情報)
D 測定対象

Claims (7)

  1. 測定対象までの距離を測定する測距手段と、
    前記測定対象の大きさを取得するサイズ取得手段と、
    前記測定対象までの距離に基づいて、所望の検出対象の大きさを設定するサイズ設定手段と、
    前記サイズ取得手段により取得された前記測定対象の大きさと、前記サイズ設定手段により設定された前記検出対象の大きさとに基づいて、前記測定対象が前記検出対象であるか否かを判定する判定手段と、
    を備える、
    情報処理装置。
  2. 前記測定対象までの距離と、前記検出対象の大きさの範囲とを対応付けた検出サイズ情報を予め記憶する記憶手段を備え、
    前記サイズ設定手段は、前記検出サイズ情報に基づいて、前記検出対象の大きさの範囲を設定する、
    請求項1に記載の情報処理装置。
  3. 前記記憶手段は、複数種類の前記検出対象に対応した複数の前記検出サイズ情報を予め記憶しており、
    前記サイズ設定手段は、前記検出対象の種類に対応した前記検出サイズ情報を前記記憶手段から読み出して用いる、
    請求項2に記載の情報処理装置。
  4. 前記測距手段は、三次元の距離情報を取得可能であり、
    前記サイズ取得手段は、前記測距手段の測定結果に基づいて、前記測定対象の大きさを取得する、
    請求項1から請求項3のいずれか一項に記載の情報処理装置。
  5. 前記測定対象の画像を取得する撮像手段と、
    前記画像に基づいて、前記測定対象が前記検出対象であるか否かを判定する第2判定手段と、
    前記判定手段の判定結果と、前記第2判定手段の判定結果とに基づいて、前記測定対象が前記検出対象であるか否かをさらに判定する第3判定手段と、
    を備える、
    請求項1から請求項4のいずれか一項に記載の情報処理装置。
  6. 前記検出対象は人体である、
    請求項1から請求項5のいずれか一項に記載の情報処理装置。
  7. 測定対象までの距離を測定する測距手段を備える情報処理装置の制御プログラムであって、
    コンピュータを、
    前記測定対象の大きさを取得するサイズ取得手段、
    前記測定対象までの距離に基づいて、所望の検出対象の大きさを設定するサイズ設定手段、
    前記サイズ取得手段により取得された前記測定対象の大きさと、前記サイズ設定手段により設定された前記検出対象の大きさとに基づいて、前記測定対象が前記検出対象であるか否かを判定する判定手段、
    として機能させる、
    情報処理装置の制御プログラム。
JP2021109073A 2021-06-30 2021-06-30 情報処理装置、情報処理装置の制御プログラム Pending JP2023006464A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021109073A JP2023006464A (ja) 2021-06-30 2021-06-30 情報処理装置、情報処理装置の制御プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021109073A JP2023006464A (ja) 2021-06-30 2021-06-30 情報処理装置、情報処理装置の制御プログラム

Publications (1)

Publication Number Publication Date
JP2023006464A true JP2023006464A (ja) 2023-01-18

Family

ID=85107560

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021109073A Pending JP2023006464A (ja) 2021-06-30 2021-06-30 情報処理装置、情報処理装置の制御プログラム

Country Status (1)

Country Link
JP (1) JP2023006464A (ja)

Similar Documents

Publication Publication Date Title
CN109661494B (zh) 作业机械的检测处理装置及作业机械的检测处理方法
WO2021019948A1 (ja) 建設機械の位置特定システム
CN112955610A (zh) 挖土机、信息处理装置、信息处理方法、信息处理程序、终端装置、显示方法、显示程序
JPWO2018026021A1 (ja) 管理システム
US20190020867A1 (en) Terminal device, control device, data-integrating device, work vehicle, image-capturing system, and image-capturing method
CN113661296A (zh) 施工机械、支援系统
JP2020145526A (ja) 作業機械用情報処理装置、情報管理システム、作業機械用情報処理プログラム
CN114747208A (zh) 作业支援服务器、作业支援方法及作业支援系统
WO2021192224A1 (ja) 作業機械用情報処理装置、情報管理システム、作業機械用情報処理プログラム
JP6887229B2 (ja) 施工管理システム
JP2023006464A (ja) 情報処理装置、情報処理装置の制御プログラム
JP2020094403A (ja) 建設機械管理システム、建設機械管理プログラム、建設機械管理方法、建設機械および建設機械の外部管理装置
US20220064911A1 (en) Work machine, information management system, information terminal, and program
JP2023006459A (ja) 情報処理装置、情報処理装置の制御プログラム
JP6684004B1 (ja) 建設機械管理システム、建設機械管理プログラム、建設機械管理方法、建設機械および建設機械の外部管理装置
JP7349947B2 (ja) 情報処理装置、作業機械、情報処理方法、情報処理プログラム
US20220398512A1 (en) Work assist server, work assist method, and work assist system
US20240127372A1 (en) Construction management system, data processing device, and construction management method
JP2021197668A (ja) 情報処理装置、情報処理装置の制御方法及び制御プログラム
JP2021157359A (ja) 情報処理装置、作業機械、情報処理装置の制御方法及び制御プログラム
US20240135469A1 (en) Construction management system, data processing device, and construction management method
US20240150997A1 (en) Work machine and information processing device
WO2023276285A1 (ja) 侵入検出システム
WO2022209437A1 (ja) 施工管理システム、データ処理装置、及び施工管理方法
JP2023149853A (ja) 情報処理装置、情報処理システム及び情報処理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240412