JP2023173092A - 物体検知システム、物体検知方法及び物体検知プログラム - Google Patents

Abstract

【課題】点群により検知した物体について情報処理を行なうための物体検知システム、物体検知方法及び物体検知プログラムを提供する。【解決手段】支援サーバ２０は、ボクセルを生成するためのボクセル管理データを記憶したボクセル情報記憶部２５と、物体を点群により検知する３次元計測器１２に接続された制御部２１と、を備える。そして、制御部２１が、３次元計測器１２で検知した点群を取得し、点群を、ボクセル情報記憶部２５に記憶されたボクセル管理データに応じたボクセルに変換し、ボクセルにより、物体に応じた情報処理を実行する。【選択図】図１

Description

本発明は、点群により検知した物体について情報処理を行なう物体検知システム、物体検知方法及び物体検知プログラムに関する。

自動運転において機械周辺の状況をリアルタムに把握する際、３ＤＬｉｄａｒのような点群を取得する３次元計測器を利用する。資機材を運搬する場合に、タワークレーン等の揚重装置を用いた作業の自動化も検討されている（例えば、特許文献１参照。）。この文献に記載された支援サーバは、３次元モデルを記憶するＢＩＭ情報記憶部と、タワークレーンの３次元計測器と通信を行なう制御部とを備える。そして、制御部が、ＢＩＭ情報記憶部から、タワークレーンの周囲に配置された３次元モデルを取得する。次に、３次元計測器から、障害物について、揚重時の３次元検知情報を取得する。そして、３次元モデル及び３次元検知情報に基づいて、障害物を特定し、障害物を回避可能な高さの搬送可能領域において、障害物との距離に基づいて搬送ルートを設定する。

また、点群のデータ量を効果的に削減するための技術も検討されている（例えば、特許文献２参照。）。この文献に記載された技術では、点群データについてボクセル分割を行なうことが記載されている。

特開２０２１－１８１３７１号公報 特開２０１９－５３５９７号公報

上述した自動運転において、所定の領域に点群の侵入を検出した場合、自動運転の減速や停止などの制御を行なう。ここで、３次元計測器で扱う点群は量が多く、大量の点群をリアリタイムで処理するためには、計算負荷が大きい。

上記課題を解決するための物体検知システムは、ボクセルを生成するためのボクセル管理データを記憶したボクセル情報記憶部と、物体を点群により検知する計測装置に接続された制御部と、を備える。そして、前記制御部が、前記計測装置で検知した点群を取得し、前記点群を、前記ボクセル情報記憶部に記憶されたボクセル管理データに応じたボクセルに変換し、前記ボクセルにより、物体に応じた情報処理を実行する。

本開示によれば、点群により検知した物体について効率的に情報処理を行なうことができる。

実施形態のシステムの説明図である。 実施形態の揚重装置の説明図である。 実施形態のハードウェア構成の説明図である。 実施形態の記憶部の説明図であって、（ａ）はＢＩＭ情報記憶部、（ｂ）は評価情報記憶部、（ｃ）は揚重情報記憶部、（ｄ）はボクセル情報記憶部の説明図である。 実施形態の処理手順の説明図である。 実施形態の処理手順の説明図である。 実施形態の処理手順の説明図である。 実施形態のボクセルの説明図である。 実施形態のボクセルの生成の説明図であって、（ａ）は点群、（ｂ）は点群に対応したボクセル、（ｃ）はボクセルの配置の説明図である。 実施形態のボクセルの生成の説明図であって、（ａ）は側面図、（ｂ）は上面図である。 実施形態の表示画面の説明図である。

以下、図１～図１１に従って、物体検知システム、物体検知方法及び物体検知プログラムの一実施形態を説明する。本実施形態では、工事現場において、揚重装置（タワークレーン）を利用する場合に用いる物体検知システムとして説明する。この場合、後述するように点群を、３次元空間に配置された格子単位（ボクセル）に変換する。

図１に示すように、本実施形態の揚重支援システムＣＳ１では、ネットワークを介して接続された制御ユニット１０、吊物旋回装置１５、支援サーバ２０（物体検知システム）、管理端末３０を用いる。制御ユニット１０は、揚重装置としてのタワークレーンＴＣ１に設けられる。

図２に示すように、タワークレーンＴＣ１のマストＣ１０の上には、旋回フレームＣ１１が載置されており、旋回フレームＣ１１に運転席Ｃ１２が設けられている。オペレータの操作によって揚重作業を行なう場合には、タワークレーンＴＣ１の運転席Ｃ１２で、旋回フレームＣ１１の旋回操作やジブＣ１３（ブーム）の起伏（傾斜角）操作、フックＣ１４の上下操作を行なう。

フックＣ１４には、吊物旋回装置１５を介して吊り荷Ｃ１５が吊り下げられている。この吊物旋回装置としてはスカイジャスター（登録商標）を用いることができる。この吊物旋回装置１５は、フライホイールを回転可能に支持するジンバル枠に、フライホイールを傾動可能に支持する。そして、吊物旋回装置１５は、回転するフライホイールを傾動させることにより生じるジャイロ効果を利用して、吊り荷Ｃ１５の方向を制御する。
本実施形態の吊物は、フックＣ１４によって吊り下げられた吊物旋回装置１５及び吊り荷Ｃ１５が相当する。

（ハードウェア構成の説明）
図３を用いて、制御ユニット１０、吊物旋回装置１５、支援サーバ２０、管理端末３０を構成する情報処理装置Ｈ１０のハードウェア構成を説明する。情報処理装置Ｈ１０は、通信装置Ｈ１１、入力装置Ｈ１２、表示装置Ｈ１３、記憶部Ｈ１４、プロセッサＨ１５を備える。なお、このハードウェア構成は一例であり、他のハードウェアにより実現することも可能である。

通信装置Ｈ１１は、他の装置との間で通信経路を確立して、データの送受信を実行するインタフェースであり、例えばネットワークインタフェースや無線インタフェース等である。

入力装置Ｈ１２は、各種情報の入力を受け付ける装置であり、例えばマウスやキーボード等である。表示装置Ｈ１３は、各種情報を表示するディスプレイ等である。
記憶部Ｈ１４は、制御ユニット１０、吊物旋回装置１５、支援サーバ２０、管理端末３０の各種機能を実行するためのデータや各種プログラムを格納する記憶装置である。記憶部Ｈ１４の一例としては、ＲＯＭ、ＲＡＭ、ハードディスク等がある。

プロセッサＨ１５は、記憶部Ｈ１４に記憶されるプログラムやデータを用いて、制御ユニット１０、吊物旋回装置１５、支援サーバ２０、管理端末３０における各処理を制御する。プロセッサＨ１５の一例としては、例えばＣＰＵやＭＰＵ等がある。このプロセッサＨ１５は、ＲＯＭ等に記憶されるプログラムをＲＡＭに展開して、各処理のための各種プロセスを実行する。

プロセッサＨ１５は、自身が実行するすべての処理についてソフトウェア処理を行なうものに限られない。例えば、プロセッサＨ１５は、自身が実行する処理の少なくとも一部についてハードウェア処理を行なう専用のハードウェア回路（例えば、特定用途向け集積回路：ＡＳＩＣ）を備えてもよい。すなわち、プロセッサＨ１５は、以下で構成し得る。

〔１〕コンピュータプログラム（ソフトウェア）に従って動作する１つ以上のプロセッサ
〔２〕各種処理のうち少なくとも一部の処理を実行する１つ以上の専用のハードウェア回路、或いは
〔３〕それらの組み合わせ、を含む回路（circuitry）
プロセッサは、ＣＰＵ並びに、ＲＡＭ及びＲＯＭ等のメモリを含み、メモリは、処理をＣＰＵに実行させるように構成されたプログラムコード又は指令を格納している。メモリ、すなわちコンピュータ可読媒体は、汎用又は専用のコンピュータでアクセスできるあらゆる利用可能な媒体を含む。

（システム構成）
次に、図１を用いて、揚重支援システムＣＳ１の各機能を説明する。
タワークレーンＴＣ１に設けられる制御ユニット１０は、３次元計測器１２、撮像装置１３及び駆動制御部１４を備える。

３次元計測器１２（計測装置）は、タワークレーンＴＣ１のジブＣ１３の先端に設けられて、下方周囲の点群を取得する。また、３次元計測器１２は、旋回フレームＣ１１の運転席Ｃ１２付近にも設けられて、ジブＣ１３の下方周囲の点群を取得する。３次元計測器１２は、例えば、レーザ光を用いて、周囲に存在する物体（障害物）を検知する。この３次元計測器１２には、例えば、３次元検知情報としての３次元点群情報を取得するＬｉＤＡＲ（Light Detection and Ranging）技術を用いることができる。ここでは、ＬｉＤＡＲとして、例えば、２つの異なる位置に設置したレーザ光を用いる。そして、各レーザ光を１次元で走査して形成されたスキャン面を、法線方向に３６０度で旋回させる。これにより、２つの３次元計測器１２の各レーザ光によって、周囲の障害物について３次元点群情報を取得することができる。

撮像装置１３は、タワークレーンＴＣ１のジブＣ１３の先端に設けられて、下方のフックＣ１４、吊り荷Ｃ１５の動画を撮影する。また、この撮像装置１３を、現場全体やタワークレーンＴＣ１全体を見渡せる位置等に配置してもよい。

駆動制御部１４は、旋回フレームＣ１１の旋回操作、ジブＣ１３の起伏操作、フックＣ１４の上下操作に応じた駆動制御を行なう。
そして、制御ユニット１０は、３次元計測器１２による３次元点群情報、撮像装置１３による動画、駆動制御部１４の駆動情報を支援サーバ２０に送信する。

支援サーバ２０は、制御ユニット１０から取得した情報を用いて、揚重作業を支援するコンピュータシステムである。この支援サーバ２０は、制御部２１、ＢＩＭ情報記憶部２２、評価情報記憶部２３、揚重情報記憶部２４、ボクセル情報記憶部２５を備える。

制御部２１は、後述する処理（情報取得段階、マップ生成段階、ルート作成段階、搬送管理段階、点群処理段階等を含む処理）を行なう。このための各処理のためのプログラムを実行することにより、制御部２１は、情報取得部２１１、マップ生成部２１２、ルート作成部２１３、搬送管理部２１４、点群処理部２１５等として機能する。

情報取得部２１１は、制御ユニット１０から各種情報を取得する。本実施形態では、制御ユニット１０から３次元計測情報、ジブＣ１３先端の下方の動画を取得する。この３次元計測情報により、周囲の障害物を検知することができる。また、動画により、吊り荷Ｃ１５を確認することができる。

マップ生成部２１２は、ＢＩＭ情報記憶部２２に記録された工事現場の３次元モデル及び３次元計測器１２で計測した３次元点群情報を用いて、搬送ルートを作成するための搬送領域マップを生成する。このマップ生成部２１２は、オフセットテーブルを備える。オフセットテーブルには、荷幅に応じてオフセットが設定されている。オフセットは、障害物に対して、接触しないように余裕を持たせる距離である。そして、マップ生成部２１２は、障害物からオフセットだけ離れた領域に、搬送ルートを設定可能な搬送領域マップを設ける。この搬送領域マップにおいては、マップを構成する分割領域（ポリゴン）毎に評価値がマッピングされる。この評価値は、各障害物の重要度（スコア）や、障害物から分割領域までの距離に応じて、接触時のリスクを評価した個別値を合計した値である。このため、マップ生成部２１２は、障害物の重要度、距離に応じて個別値を算出するための個別値算出情報を保持している。

ルート作成部２１３は、搬送領域マップ内において、評価値が低く、効率的な搬送ルートを作成する。
搬送管理部２１４は、作成した搬送ルートにより、タワークレーンＴＣ１を動作させる。この搬送管理部２１４は、吊り荷のサイズ（寸法や重量）に応じて、搬送速度（通常速度）を決定するための速度決定テーブルを備える。この速度決定テーブルにおいては、サイズが大きい程、遅い搬送速度が設定されている。更に、搬送管理部２１４は、搬送速度に対して監視範囲を決定するための範囲決定テーブルを備える。この範囲決定テーブルにおいては、搬送速度が速い程、大きな監視範囲が設定されている。本実施形態では、搬送速度を減速する第１監視範囲Ｗ１と、搬送を停止する第２監視範囲Ｗ２を決定する。第１監視範囲Ｗ１は第２監視範囲Ｗ２の外側に配置される。各監視範囲の形状は、後述するように、円筒形状である。
点群処理部２１５は、３次元計測器１２が取得した点群の解像度を落とすボクセル化処理を実行する。

図４（ａ）に示すように、設計情報記憶部としてのＢＩＭ情報記憶部２２には、ＢＩＭ（Building Information Modeling）において作成したＢＩＭデータ２２０が記録される。このＢＩＭデータ２２０は、３次元ＣＡＤを用いて、工事現場で建設される構造物の設計を行なった場合に記録される。３次元モデル情報としてのＢＩＭデータ２２０は、プロジェクト情報、要素モデル、属性情報、配置情報を含んで構成される。

プロジェクト情報は、工事現場の名称、経度・緯度、工事現場の方位等に関する情報を含む。
要素モデルは、工事現場に用いる各建築要素（構成部材）の３次元モデル（ＢＩＭオブジェクト）に関する情報である。このＢＩＭ情報記憶部２２には、タワークレーンＴＣ１の要素モデルの他に、周囲に配置される構造物を構成する要素モデルも記録される。

属性情報は、この要素モデルの属性情報である。この属性情報には、仕様（要素ＩＤ、要素種別、規格、寸法、面積、体積、素材等）に関する情報が含まれる。
配置情報は、各要素モデルを配置する座標に関する情報を含む。更に、配置情報においては、この座標に対して、各要素モデルが配置される配置予定年月日が関連付けられている。

図４（ｂ）に示すように、評価情報記憶部２３には、評価管理データ２３０が記録される。この評価管理データ２３０は、評価情報が登録された場合に記録される。評価管理データ２３０は、要素種別情報、スコア情報を含んで構成される。

要素種別情報は、ＢＩＭデータ２２０に含まれる可能性がある各建築要素を特定するための識別子に関する情報である。なお、要素種別には、３次元点群を変換したボクセルにより特定した障害物も含まれる。
スコア情報は、各建築要素の重要度に関する情報である。吊り荷との接触を避ける建築要素や、３次元点群を変換したボクセルには高いスコアを設定しておく。

図４（ｃ）に示すように、揚重情報記憶部２４には、制御ユニット１０の吊り荷に関する揚重管理データ２４０が記録される。この揚重管理データ２４０は、管理端末３０から、各種情報を取得した場合に記録される。揚重管理データ２４０は、作業ＩＤ、クレーンＩＤ、吊上げ位置、吊下し位置、搬送物、搬送状況に関する情報を含んで構成される。

作業ＩＤは、各揚重作業を特定するための識別子に関する情報である。
クレーンＩＤは、この各揚重作業において用いるタワークレーンＴＣ１を特定するための識別子に関する情報である。

吊上げ位置情報、吊下し位置情報は、管理者によって指定された吊上げ位置（搬送開始位置）、吊下し位置（搬送目標位置）に関する情報である。
搬送物情報は、揚重対象の資機材を特定するための識別子に関する情報である。
搬送状況情報は、この揚重についての進捗状況（搬送前、搬送中、搬送終了）を示すフラグに関する情報である。

揚重管理データ２４０には、予定ルート情報２４１及び実績ルート情報２４２が関連付けられている。予定ルート情報２４１は、ルート生成を行なった場合に記録される。実績ルート情報２４２は、揚重を終了した後で記録される。

予定ルート情報２４１は、搬送領域マップを用いて作成した搬送ルートに関する情報である。
実績ルート情報２４２は、旋回フレームＣ１１の旋回操作やジブＣ１３の起伏操作、フックＣ１４の上下操作に基づいて、吊り荷Ｃ１５が通過した実績ルートに関する情報である。

図４（ｄ）に示すように、ボクセル情報記憶部２５には、点群から生成するボクセルに関するボクセル管理データ２５０が記録される。このボクセル管理データ２５０は、揚重作業前に予め記録される。ボクセル管理データ２５０は、ボクセル化条件情報２５１、ボクセルサイズ情報２５２、ボクセル配色情報２５３を含んで構成される。

ボクセル化条件情報２５１には、３次元仮想空間に所定の座標系で配置されたボクセルにおいて、３次元計測器１２から取得した点群についてボクセル化を行なう条件を特定するための情報が記録される。例えば、ボクセル化条件情報２５１には、ボクセル化を行なう領域を定めるボクセル化範囲情報が記録される。ここでは、障害物が存在する可能性がある高さ範囲が設定される。

ボクセルサイズ情報２５２には、工事現場の環境情報に対して、ボクセルサイズを決定するための情報が記録される。例えば、ボクセルサイズ情報２５２には、天候情報に対して、一つのボクセルの大きさを決定するための情報が記録されている。例えば、快晴時には２ｍ、降雨時には１ｍのように、天候が悪い場合には、ボクセルサイズを小さくする。

ボクセル配色情報２５３には、表示するボクセルの配色を決定するための情報が記録される。この配色は、ボクセル状況に応じて決定される。ボクセル状況としては、ボクセルの位置（高さや距離等）を用いることができる。そして、ボクセルの高さや距離等に応じて、異なる配色を行なう。

管理端末３０は、工事現場の管理者が用いるコンピュータ端末である。管理者は、運転席Ｃ１２のオペレータによる操作の代わりに、管理端末３０を用いて、工事現場におけるタワークレーンＴＣ１を遠隔操作して揚重作業を指示する。

（揚重支援処理）
次に、図５～図１１を用いて、上記のように構成された支援サーバ２０において、揚重作業時に行なわれる揚重支援方法の処理手順を説明する。この揚重支援方法においては、搬送設定処理及び搬送時処理を順番で実行する。

（搬送設定処理）
まず、図５を用いて、搬送設定処理を説明する。
ここでは、支援サーバ２０の制御部２１は、ＢＩＭ情報取得処理を実行する（ステップＳ１０１）。具体的には、制御部２１の情報取得部２１１は、現在年月日をシステムタイマから取得し、ＢＩＭ情報記憶部２２を用いて、配置予定年月日が現在年月日以前の要素モデルを特定する。次に、情報取得部２１１は、仮想空間内に、特定した要素モデルを配置する。そして、搬送管理部２１４は、仮想空間を表示した管理画面を、管理端末３０の表示装置Ｈ１３に出力する。

次に、支援サーバ２０の制御部２１は、属性情報によるスコアリング処理を実行する（ステップＳ１０２）。具体的には、制御部２１の情報取得部２１１は、ＢＩＭ情報記憶部２２の属性情報から、仮想空間内に配置された各要素モデルの要素種別を取得する。そして、情報取得部２１１は、評価情報記憶部２３から、要素種別に対応したスコアを取得する。

次に、支援サーバ２０の制御部２１は、マッピング処理を実行する（ステップＳ１０３）。具体的には、制御部２１のマップ生成部２１２は、タワークレーンＴＣ１の制御ユニット１０から、３次元計測器１２で計測したタワークレーンＴＣ１周囲の３次元点群情報を取得する。

この場合、点群処理部２１５は、取得した３次元点群情報からボクセルを生成（ボクセルに変換）するボクセル化処理を実行する。このボクセル化処理については、後述する。
そして、マップ生成部２１２は、管理画面に表示された仮想空間に配置された要素モデルに加えて、ボクセルを配置して表示する。

次に、支援サーバ２０の制御部２１は、高さ設定処理を実行する（ステップＳ１０４）。具体的には、制御部２１のマップ生成部２１２は、仮想空間に配置された構造物（固定構造物）の要素モデルの存在を確認する。そして、マップ生成部２１２は、存在が確認された固定構造物において、最高位置を特定する。

マップ生成部２１２は、地表から固定構造物の最高位置に、余裕高さ（例えば５ｍ）を加算した揚重高さを算出する。この場合、マップ生成部２１２は、ジブＣ１３によりフックＣ１４を巻き上げられる高さ以下で、搬送を行なう揚重高さを決定する。次に、管理者は、管理端末３０を用いて、手動により、揚重高さを調節する。

次に、支援サーバ２０の制御部２１は、搬送情報の設定処理を実行する（ステップＳ１０５）。具体的には、制御部２１のルート作成部２１３は、管理端末３０に搬送入力画面を出力する。この場合、管理者は、管理端末３０を用いて、搬送物に関する情報を入力する。例えば、搬送物について、ＢＩＭ情報記憶部２２に記録された要素ＩＤを入力する。また、搬送物がＢＩＭ情報記憶部２２に記録されていない場合には、荷幅を含むサイズを入力する。

また、工事現場における作業員が携帯する位置情報取得装置を用いて指定するようにしてもよい。位置情報取得装置としては、例えばＧＮＳＳ（Global Navigation Satellite System）を用いることができる。この場合には、作業員が所持する位置情報取得装置を用いて、搬送開始位置及び搬送目標位置を特定する。

なお、目的地の指定方法は、管理画面の仮想空間を用いた選択に限定されるものではない。例えば、ＢＩＭ情報記憶部２２に記録された要素モデルを選択することにより指定してもよい。この場合には、ＢＩＭデータ２２０に記録された属性情報に基づいて重心位置を算出し、この重心位置において吊り下げるようにする。この場合、ルート作成部２１３は、要素モデルを用いて、この重心位置での吊り下げによる荷幅を算出する。

そして、ルート作成部２１３は、作業ＩＤを付与し、管理画面から取得した搬送物情報を含めた揚重管理データ２４０を揚重情報記憶部２４に記録する。この場合、揚重管理データ２４０に、搬送状況として「搬送前」フラグを記録する。

次に、支援サーバ２０の制御部２１は、オフセットの設定処理を実行する（ステップＳ１０６）。具体的には、制御部２１のルート作成部２１３は、オフセットテーブルを用いて、搬送物のサイズに応じたオフセットを算出する。

次に、支援サーバ２０の制御部２１は、搬送ルートの作成処理を実行する（ステップＳ１０７）。具体的には、制御部２１のマップ生成部２１２は、搬送可能領域において、搬送領域マップを作成する。

この搬送領域マップは、複数の分割領域により構成される。搬送領域マップを作成する場合、マップ生成部２１２は、搬送可能領域において、評価情報記憶部２３から仮想空間内に存在する障害物（要素モデル）の要素種別に対応するスコアを取得する。次に、マップ生成部２１２は、搬送可能領域を任意の大きさで分割した分割領域を設定する。次に、マップ生成部２１２は、分割領域の代表位置（例えば重心）毎に、各障害物からの距離及びスコアに基づいて、個別値算出情報を用いて個別値を算出する。そして、マップ生成部２１２は、算出した個別値を合計して、各分割領域における評価値を算出する。この場合、障害物からの距離が近い場合や、スコアが高い場合、高い評価値が設定される。

次に、ルート作成部２１３は、搬送領域マップを用いて、ルート上の各分割領域の評価値の合計が低い搬送ルートを生成する。ここでは、最短距離のパスにより、フック位置（移動開始位置）→吊り荷移動元位置（搬送開始位置）→吊り荷移動先位置（搬送目標位置）の３次元の搬送ルートを生成する。この場合、水平移動平面では、ノード（例えば、分割領域の重心）とリンクからなるグラフに対して、ルート探索アルゴリズムを適用する。ルート探索アルゴリズムとしては、例えば、「Ａ＊（A-star）探索アルゴリズム」を用いることができる。このＡ＊探索アルゴリズムは、移動開始位置→搬送開始位置→搬送目標位置までのパスを見つけるグラフ探索問題において、探索の道標となるコスト関数を用いる。コスト関数では、スタートからｎ地点までのコストと、ｎ地点からゴールまでの予想されるコスト（評価値）の合計が低い搬送ルートを特定する。そして、ルート作成部２１３は、生成した搬送ルートを、予定ルート情報２４１として、揚重管理データ２４０に関連付けて揚重情報記憶部２４に記録する。

次に、支援サーバ２０の制御部２１は、監視範囲の設定処理を実行する（ステップＳ１０８）。具体的には、制御部２１の搬送管理部２１４は、速度決定テーブルを用いて、吊り荷のサイズに応じた搬送速度（通常搬送における通常速度）を決定する。更に、搬送管理部２１４は、範囲決定テーブルを用いて、吊り荷に応じた搬送速度（通常搬送）から監視範囲を決定する。

図２に示すように、監視範囲Ｗ０は、フックＣ１４の周囲に円筒形状で設定される。この監視範囲Ｗ０は、２つの第１監視範囲Ｗ１、第２監視範囲Ｗ２により構成される。第１監視範囲Ｗ１は搬送速度を減速させるための減速領域であり、第２監視範囲Ｗ２は搬送を一旦停止させるための停止領域である。

次に、支援サーバ２０の制御部２１は、搬送開始処理を実行する（ステップＳ１０９）。具体的には、制御部２１の搬送管理部２１４は、管理端末３０の表示装置Ｈ１３に、開始確認画面を出力する。開始確認画面において開始ボタンの押下を検知した場合、揚重管理データ２４０に、搬送状況として「搬送中」フラグを記録する。そして、搬送管理部２１４は、タワークレーンＴＣ１の制御ユニット１０の駆動制御部１４に対して、搬送開始を指示する。

（搬送時処理）
次に、図６を用いて、搬送時処理を説明する。
ここでは、支援サーバ２０の制御部２１は、周囲状況の監視処理を実行する（ステップＳ２０１）。具体的には、制御部２１の搬送管理部２１４は、タワークレーンＴＣ１の制御ユニット１０から、３次元計測器１２で計測したタワークレーンＴＣ１周囲の３次元点群情報を取得する。そして、後述するボクセル化処理を実行する。

この場合、図１０（ａ）に示すように、側面からみた場合、点群が所在する位置に、ボクセルＢＣ１が配置される。図１０（ｂ）に示すように、上面からみた場合、点群が所在する位置に、ボクセルＢＣ１が配置される。

そして、図１１に示すように、管理端末３０の表示装置Ｈ１３の管理画面５００には、タワークレーンＴＣ１の下方で、点群が所在する位置に、ボクセルＢＣ１が表示される。
次に、支援サーバ２０の制御部２１は、障害検知かどうかについての判定処理を実行する（ステップＳ２０２）。具体的には、制御部２１の搬送管理部２１４は、ボクセルの配置に応じて、監視範囲に含まれる障害物の有無を確認する。監視範囲に含まれるボクセル（障害物）が存在する場合には、障害検知と判定する。一方、監視範囲に含まれるボクセルが存在しない場合には、障害検知なしと判定する。

障害検知なしと判定した場合（ステップＳ２０２において「ＮＯ」の場合）、支援サーバ２０の制御部２１は、通常搬送処理を実行する（ステップＳ２０３）。具体的には、制御部２１の搬送管理部２１４は、駆動制御部１４に対して、速度決定テーブルを用いて決定した通常速度での搬送を指示する。ここで、マストＣ１０から搬送目標位置までの水平距離（第１距離）が、マストＣ１０から搬送開始位置までの水平距離（第２距離）と異なる場合もある。この場合には、マストＣ１０から吊り荷Ｃ１５までの水平距離が第２距離になるように、ジブＣ１３の起伏操作を、旋回フレームＣ１１の旋回操作と同時に行なう。

一方、障害検知と判定した場合（ステップＳ２０２において「ＹＥＳ」の場合）、支援サーバ２０の制御部２１は、減速領域かどうかについての判定処理を実行する（ステップＳ２０４）。具体的には、制御部２１の搬送管理部２１４は、検知したボクセル（障害物）の配置と監視範囲との位置関係を特定する。ボクセル（障害物）が第１監視範囲Ｗ１に含まれ、第２監視範囲Ｗ２に含まれない場合には、減速領域と判定する。

減速領域と判定した場合（ステップＳ２０４において「ＹＥＳ」の場合）、支援サーバ２０の制御部２１は、減速搬送処理を実行する（ステップＳ２０５）。具体的には、制御部２１の搬送管理部２１４は、通常速度に対して減速速度での搬送を指示する。この減速速度は、例えば、通常速度に対して、１以下の所定割合を乗算することにより算出することができる。搬送管理部２１４は、駆動制御部１４に対して、減速速度での搬送を指示する。

一方、ボクセル（障害物）が第２監視範囲Ｗ２に含まれており、停止領域と判定した場合（ステップＳ２０４において「ＮＯ」の場合）、支援サーバ２０の制御部２１は、停止処理を実行する（ステップＳ２０６）。具体的には、制御部２１の搬送管理部２１４は、駆動制御部１４に対して、旋回フレームＣ１１の旋回操作やジブＣ１３の起伏操作の停止を指示する。

次に、支援サーバ２０の制御部２１は、障害消失かどうかについての判定処理を実行する（ステップＳ２０７）。具体的には、制御部２１の搬送管理部２１４は、３次元計測器１２で計測した点群に応じて配置したボクセル（障害物）により、第２監視範囲Ｗ２に含まれる障害物が消失したかどうかを確認する。

障害が消失していないと判定した場合（ステップＳ２０７において「ＮＯ」の場合）、支援サーバ２０の制御部２１は、停止処理（ステップＳ２０６）を継続する。
一方、障害消失と判定した場合（ステップＳ２０７において「ＹＥＳ」の場合）、支援サーバ２０の制御部２１は、搬送ルートの作成処理（ステップＳ１０７）から処理をやり直す。この場合、タワークレーンＴＣ１の制御ユニット１０から、３次元計測器１２で計測したタワークレーンＴＣ１周囲のボクセル（障害物）を取得する。そして、現在のフック位置を搬送開始位置として、ボクセル（障害物）の所在に応じて、搬送目標位置までの搬送ルートを作成する。これにより、障害物の現状に基づいて、ステップＳ１０７において、搬送ルートを作成し直す。

通常搬送処理（ステップＳ２０３）、減速搬送処理（ステップＳ２０５）の実行時には、支援サーバ２０の制御部２１は、旋回終了かどうかについての判定処理を実行する（ステップＳ２０８）。具体的には、制御部２１の搬送管理部２１４は、タワークレーンＴＣ１のフックＣ１４が、搬送目標位置の上方に到達した場合には、旋回終了と判定する。

旋回終了でないと判定した場合（ステップＳ２０８において「ＮＯ」の場合）、支援サーバ２０の制御部２１は、周囲状況の監視処理（ステップＳ２０１）以降の処理を繰り返して実行する。

一方、旋回終了と判定した場合（ステップＳ２０８において「ＹＥＳ」の場合）、支援サーバ２０の制御部２１は、荷下ろし処理を実行する（ステップＳ２０９）。具体的には、制御部２１の搬送管理部２１４は、駆動制御部１４に対して、搬送目標位置に達するまでフックＣ１４の降下を指示する。

次に、支援サーバ２０の制御部２１は、実績ルートの記録処理を実行する（ステップＳ２１０）。具体的には、制御部２１の搬送管理部２１４は、旋回フレームＣ１１の旋回操作、ジブＣ１３の起伏操作、フックＣ１４の上下操作に応じて、実際に吊り荷Ｃ１５が通過したルートに関する実績ルート情報２４２を生成する。そして、搬送管理部２１４は、揚重管理データ２４０に関連付けて、実績ルート情報２４２を揚重情報記憶部２４に記録する。更に、この実績ルート情報２４２には、旋回フレームＣ１１の旋回操作、ジブＣ１３の起伏操作、フックＣ１４の上下操作の操作情報を含める。
そして、搬送を完了した場合、搬送管理部２１４は、揚重管理データ２４０に、搬送状況として「搬送終了」フラグを記録する。

（ボクセル化処理）
次に、図７を用いて、ボクセル化処理を説明する。

ここでは、支援サーバ２０の制御部２１は、ボクセル化領域の設定処理を実行する（ステップＳ３０１）。具体的には、制御部２１の点群処理部２１５は、ボクセル情報記憶部２５のボクセル化条件情報２５１を用いて、３次元の仮想空間において、ボクセル化を行なう３次元のボクセル化領域を特定する。

例えば、図２に示すように、高さｈ１以下の範囲をボクセル化領域として特定する。
次に、支援サーバ２０の制御部２１は、ボクセルサイズの設定処理を実行する（ステップＳ３０２）。具体的には、制御部２１の点群処理部２１５は、タワークレーンＴＣ１を稼働させる環境情報を取得する。本実施形態では、天候情報サーバ（図示せず）から、工事現場の所在地域の天候情報を取得する。そして、点群処理部２１５は、ボクセルサイズ情報２５２を用いて、天候情報に対応したボクセルサイズを特定する。

図８に示すように、本実施形態では、３次元の仮想空間に、一辺の長さＬ１（ボクセルサイズ）の立方体のボクセルＢＣ０が配置される。
次に、支援サーバ２０の制御部２１は、点群の取得処理を実行する（ステップＳ３０３）。具体的には、制御部２１の点群処理部２１５は、３次元計測器１２から点群情報を取得する。

次に、支援サーバ２０の制御部２１は、ボクセルの設定処理を実行する（ステップＳ３０４）。具体的には、制御部２１の点群処理部２１５は、ボクセル化条件情報２５１を用いて、点群が含まれるボクセルＢＣ０を特定する。

図９（ａ）に示すように、ボクセルＢＣ０が配置された仮想空間内に点群Ｐ１が配置される。ここでは、簡略化のために、８個のボクセルＢＣ０を示している。そして、図９（ｂ）に示すように、仮想空間内に配置されたボクセルＢＣ０において、点群Ｐ１が所在する絶対座標の位置に対応するボクセルＢＣ１のみを特定する。そして、図９（ｃ）に示すように、仮想空間において、点群Ｐ１の代わりに、ボクセルＢＣ１を配置する。このボクセルＢＣ１は、有限の大きさの物理量を有する。

次に、支援サーバ２０の制御部２１は、ボクセル表示処理を実行する（ステップＳ３０５）。具体的には、制御部２１の点群処理部２１５は、設定したボクセルＢＣ１について、ボクセル配色情報２５３を用いて配色を決定する。そして、管理端末３０の表示装置Ｈ１３に表示された仮想空間に配置されたボクセルＢＣ１に、決定した配色（半透明色）で着色する。

次に、支援サーバ２０の制御部２１は、停止かどうかについての判定処理を実行する（ステップＳ３０６）。具体的には、制御部２１の点群処理部２１５は、揚重情報記憶部２４の揚重管理データ２４０の搬送状況に搬送終了フラグが記録されているかどうかを確認する。搬送終了フラグが記録されている場合には、ボクセル化の停止と判定する。停止でないと判定した場合（ステップＳ３０６において「ＮＯ」の場合）には、ステップＳ３０３以降の処理を繰り返す。

本実施形態によれば、以下のような効果を得ることができる。
（１）本実施形態では、支援サーバ２０の制御部２１は、ＢＩＭ情報取得処理（ステップＳ１０１）、属性情報によるスコアリング処理（ステップＳ１０２）を実行する。これにより、３次元モデル情報に基づいて、障害物を特定することができる。例えば、工事現場において、複数のタワークレーンを用いる場合、周囲のタワークレーンに対して、スコアを付与することができる。

（２）本実施形態では、支援サーバ２０の制御部２１は、マッピング処理（ステップＳ１０３）、高さ設定処理（ステップＳ１０４）を実行する。これにより、タワークレーンＴＣ１の周囲の障害物に応じて、高さを設定することができる。

（３）本実施形態では、支援サーバ２０の制御部２１は、搬送情報の設定処理（ステップＳ１０５）、オフセットの設定処理（ステップＳ１０６）を実行する。これにより、障害物への接近を抑制することができる。

（４）本実施形態では、支援サーバ２０の制御部２１は、搬送ルートの作成処理を実行する（ステップＳ１０７）。これにより、搬送開始位置から搬送目標位置までの効率的な搬送ルートを作成することができる。

（５）本実施形態では、支援サーバ２０の制御部２１は、監視範囲の設定処理を実行する（ステップＳ１０８）。これにより、吊り荷Ｃ１５の状況に応じた監視範囲を設定することができる。

（６）本実施形態では、支援サーバ２０の制御部２１は、搬送開始処理（ステップＳ１０９）、周囲状況の監視処理（ステップＳ２０１）を実行する。これにより、突発的に発生した障害物を検知することができる。そして、障害検知なしと判定した場合（ステップＳ２０２において「ＮＯ」の場合）、支援サーバ２０の制御部２１は、通常搬送処理を実行する（ステップＳ２０３）。これにより、効率的に搬送を行なうことができる。

（６）本実施形態では、減速領域と判定した場合（ステップＳ２０４において「ＹＥＳ」の場合）、支援サーバ２０の制御部２１は、減速搬送処理を実行する（ステップＳ２０５）。これにより、障害物との接触の可能性がある場合に、時間的な猶予を確保することができる。

（７）本実施形態では、停止領域と判定した場合（ステップＳ２０４において「ＮＯ」の場合）、支援サーバ２０の制御部２１は、停止処理を実行する（ステップＳ２０６）。これにより、障害物との接触の可能性が高い場合に、回避することができる。

（８）本実施形態では、障害消失と判定した場合（ステップＳ２０７において「ＹＥＳ」の場合）、支援サーバ２０の制御部２１は、搬送ルートの作成処理（ステップＳ１０７）以降の処理を実行する。これにより、現在の状況を考慮して、効率的な搬送ルートを作成することができる。

（９）本実施形態では、支援サーバ２０の制御部２１は、ボクセル化領域の設定処理を実行する（ステップＳ３０１）。これにより、障害物の検知が必要な領域のみで、ボクセルを設定することができる。ボクセル化領域を絞り込みことによって、処理負荷を軽減することができる。例えば、ボクセル化領域を、吊荷が存在する領域以外で設定することにより、誤認識を抑制することができる。

（１０）本実施形態では、支援サーバ２０の制御部２１は、ボクセルサイズの設定処理を実行する（ステップＳ３０２）。これにより、状況に応じて、ボクセルサイズ（解像度）で情報処理を行なうことができる。例えば、詳細な情報が必要な場合には、ボクセルサイズを小さくすることにより、解像度を上げることができる。一方、詳細な情報が必要でない場合には、ボクセルサイズを大きくすることにより、解像度を下げて、高速な情報処理を行なうことができる。

（１１）本実施形態では、支援サーバ２０の制御部２１は、点群の取得処理（ステップＳ３０３）、ボクセルの設定処理（ステップＳ３０４）を実行する。これにより、３次元計測器１２で計測した点群を、有限の大きさを有するボクセル（カタマリ）として扱うことにより、監視領域への侵入だけでなく、ある大きさをもった障害物として扱うことができる。そして、自動運転時の経路生成の際に利用できる。また、解像度を落としたことにより、計算負荷を抑制できるので、高速に周囲状況を監視できる。

（１２）本実施形態では、支援サーバ２０の制御部２１は、ボクセル表示処理を実行する（ステップＳ３０５）。これにより、管理画面上で、ボクセルの配色により、ボクセルの状況を確認することができる。

本実施形態は、以下のように変更して実施することができる。本実施形態及び以下の変更例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。
・上記実施形態では、３次元計測器１２を用いて、揚重装置としてタワークレーンＴＣ１の周囲の点群を取得する。点群を取得する領域は、タワークレーンに限定されるものではなく、自動運転を行なう機械に適用して、運転を制御することができる。例えば、建設機械、自動車、自動搬送装置等にも適用することができる。

・上記実施形態では、支援サーバ２０の制御部２１は、ボクセル化領域の設定処理を実行する（ステップＳ３０１）。ここでは、高さｈ１以下の範囲をボクセル化領域として特定する。ボクセル化領域は、これに限定されるものではない。例えば、平面的な範囲を用いてもよい。

また、ボクセル化領域を、動的に変更するようにしてもよい。
例えば、搬送速度に応じて、ボクセル化領域を変更することができる。搬送速度が速い場合には、搬送速度が遅い場合よりも、広い範囲でボクセル化領域を設定する。この場合には、ボクセル化条件情報２５１に、搬送速度に対して、ボクセル化領域を決定する情報を記録しておく。

また、環境情報に応じて、ボクセル化領域を変更してもよい。この場合には、ボクセル化条件情報２５１に、環境情報に対して、ボクセル化領域を決定する情報を記録しておく。

・上記実施形態では、支援サーバ２０の制御部２１は、ボクセルサイズの設定処理を実行する（ステップＳ３０２）。ここでは、工事現場の所在地域の天候情報に対応したボクセルサイズを特定する。ボクセルサイズを決定する情報は、天候情報に限定されるものではない。例えば、現場状況に応じてボクセルサイズを決定してもよい。具体的には、細かい資機材が多い工事現場においては、ボクセルサイズを小さくする。この場合には、管理端末３０から、管理者によって入力された現場状況を取得して、この現場状況に応じてボクセルサイズを決定する。

また、撮像装置１３による撮影画像を用いて、環境情報を取得してもよい。この場合には、画像処理により、撮影画像に含まれる現場状況（天候、視界や資機材の所在等）を認識するようにしてもよい。

・上記実施形態では、支援サーバ２０の制御部２１は、ボクセルの設定処理を実行する（ステップＳ３０４）。ここでは、点群が所在するボクセルを配置する。この場合、点群の数に応じて、ボクセルの配置の要否を判定するようにしてもよい。また、ボクセル化条件情報２５１には、ボクセル化を行なう領域を定める情報が記録される。これに代えて、或いは加えて、ボクセル化条件情報２５１に、ボクセルを生成する場合の点群の最小限の数を設定してもよい。

・上記実施形態では、支援サーバ２０の制御部２１は、ボクセル表示処理を実行する（ステップＳ３０５）。ここでは、ボクセル配色情報２５３を用いて、ボクセル状況（ボクセルの位置）に応じて、配色を決定する。配色の決定方法は、ボクセルの位置に限定されるものではない。例えば、ボクセル状況として、ボクセル内の点群の数を用いて、配色を決定してもよい。

・上記実施形態では、障害検知と判定した場合（ステップＳ２０２において「ＹＥＳ」の場合）、支援サーバ２０の制御部２１は、減速搬送処理（ステップＳ２０５）や、停止処理（ステップＳ２０６）を実行する。物体に応じた情報処理は、減速搬送処理や停止処理に限定されるものではない。例えば、ボクセルから離れる回避動作の上方処理を行なうようにしてもよい。

・上記実施形態では、支援サーバ２０の制御部２１は、搬送ルートの作成処理を実行する（ステップＳ１０８）。この搬送ルートの作成処理においては、Ａ＊探索アルゴリズムを用いる。搬送ルートの作成方法は、Ａ＊探索アルゴリズムに限定されるものではない。例えば、ジブの旋回に応じた円弧状を組み合わせた搬送ルートを作成するようにしてもよい。

また、支援サーバ２０の制御部２１が、揚重情報記憶部２４に記録された予定ルート情報２４１及び実績ルート情報２４２を教師情報として、予定ルートから実績ルートを予測する予測モデルを、機械学習により生成してもよい。この場合には、ルート作成部２１３は、搬送ルートの作成処理（ステップＳ１０８）において生成した各予定ルート候補を予測モデルに入力して、予定ルート候補毎に実際の予測ルートを出力する。次に、ルート作成部２１３は、搬送領域マップを用いて、この予測ルートの評価値を取得し、評価値の合計を再計算する。そして、各予測ルートにおいて評価値の合計が低い予定ルート候補を搬送ルートとして特定する。

・上記実施形態では、支援サーバ２０の制御部２１は、監視範囲の設定処理を実行する（ステップＳ１０８）。ここでは、吊り荷のサイズに応じて監視範囲を決定する。監視範囲は、サイズに基づいて決定する方法に限定されない。工事現場の環境に応じて、監視範囲を決定してもよい。例えば、風速や天候に応じて、監視範囲を決定してもよい。この場合、風速が大きい場合や、視界が悪い天候の場合には、風速が小さい場合や、視界がよい天候に比べて、監視範囲を大きくする。

次に、上記実施形態及び別例から把握できる技術的思想について以下に追記する。
（ａ）前記ボクセル情報記憶部には、前記ボクセル管理データとして、環境情報に応じて、ボクセルサイズを決定するための情報が記録されており、
前記制御部が、前記環境情報を取得し、前記環境情報に基づいてボクセルサイズを決定することを特徴とする請求項１に記載の物体検知システム。

（ｂ）前記ボクセル情報記憶部には、前記ボクセル管理データとして、ボクセル化を行なうボクセル化範囲に関するボクセル化範囲情報が記録されており、
前記制御部が、前記ボクセル化範囲情報に基づいてボクセルを配置することを特徴とする請求項１又は（ａ）に記載の物体検知システム。

（ｃ）前記ボクセル情報記憶部には、前記環境情報に応じた前記ボクセル化範囲情報が記録されていることを特徴とする（ｂ）に記載の物体検知システム。
（ｄ）前記ボクセル情報記憶部には、前記ボクセル管理データとして、ボクセル状況に応じてボクセルの配色に関する情報が記録されており、
前記制御部が、生成したボクセルのボクセル状況に応じて決定した配色で、前記ボクセルを表示することを特徴とする請求項１、（ａ）～（ｃ）に記載の物体検知システム。

ＴＣ１…タワークレーン、Ｃ１０…マスト、Ｃ１１…旋回フレーム、Ｃ１２…運転席、Ｃ１３…ジブ、Ｃ１４…フック、Ｃ１５…吊り荷、Ｐ１…点群、ＢＣ０，ＢＣ１…ボクセル、１０…制御ユニット、１２…３次元計測器、１３…撮像装置、１４…駆動制御部、１５…吊物旋回装置、２０…支援サーバ、２１…制御部、２１１…情報取得部、２１２…マップ生成部、２１３…ルート作成部、２１４…搬送管理部、２１５…点群処理部、２２…ＢＩＭ情報記憶部、２３…評価情報記憶部、２４…揚重情報記憶部、２５…ボクセル情報記憶部、３０…管理端末。

Claims (3)

1. ボクセルを生成するためのボクセル管理データを記憶したボクセル情報記憶部と、物体を点群により検知する計測装置に接続された制御部と、を備えた物体検知システムであって、
   前記制御部が、
   前記計測装置で検知した点群を取得し、
   前記点群を、前記ボクセル情報記憶部に記憶されたボクセル管理データに応じたボクセルに変換し、
   前記ボクセルにより、物体に応じた情報処理を実行することを特徴とする物体検知システム。
2. ボクセルを生成するためのボクセル管理データを記憶したボクセル情報記憶部と、物体を点群により検知する計測装置に接続された制御部と、を備えた物体検知システムを用いて、物体検知を行なう方法であって、
   前記制御部が、
   前記計測装置で検知した点群を取得し、
   前記点群を、前記ボクセル情報記憶部に記憶されたボクセル管理データに応じたボクセルに変換し、
   前記ボクセルにより、物体に応じた情報処理を実行することを特徴とする物体検知方法。
3. ボクセルを生成するためのボクセル管理データを記憶したボクセル情報記憶部と、物体を点群により検知する計測装置に接続された制御部と、を備えた物体検知システムを用いて、物体検知を行なうためのプログラムであって、
   前記制御部を、
   前記計測装置で検知した点群を取得し、
   前記点群を、前記ボクセル情報記憶部に記憶されたボクセル管理データに応じたボクセルに変換し、
   前記ボクセルにより、物体に応じた情報処理を実行する手段として機能させることを特徴とする物体検知プログラム。