JP2021135234A - 体積計測装置、システム、方法、及びプログラム - Google Patents

Abstract

【課題】オクルージョンにより撮影された原料山の一部が欠けていても原料山の体積を計測することに貢献することができる体積計測装置等を提供すること。【解決手段】デプスセンサからの原料ヤードに係るデプス情報を点群データに変換する点群変換部と、安息角情報を用いて、原料山点群部、及び、非原料山に係る非原料山点群部を検出するオブジェクト検出部と、非原料山点群部の除去によってできた原料山点群部の欠損部に原料山補間点群部を補間する点群補間部と、原料山点群部及び原料山補間点群部に基づいて、原料山非オクルージョン部の体積を算出することにより、原料山の体積を算出する原料山体積算出部と、を備える。点群補間部は、非原料山点群部の除去によって原料山点群部が複数あるか否かを確認し、原料山点群部が複数あるときに、結合選択情報に基づいて、複数の原料山点群部間の欠損部に原料山補間点群部を補間する。【選択図】図２３

Description

本発明は、原料ヤードにおける原料山の体積を計測する体積計測装置、システム、方法、及びプログラムに関する。

ガラス工場や製鉄所では、ガラスの原料である珪砂や鉄鋼の原料である鉄鉱石を、屋内又は屋外の原料ヤード（原料置き場）に保管している。工場の操業により、原料の残量は、刻々と変化する。現状、この原料の残量の管理は、作業員が目視で行っていることが多い。しかしながら、高い生産性を維持するためには、原料の残量を早く正確に把握することが重要である。すなわち、リアルタイムに自動で残量の管理をするためのシステムが求められている。原料の残量管理システムを構築する場合、残量計測のためのセンサとしてデプスセンサ（深度測定センサ）が利用される。

デプスセンサを利用した原料山の形状を管理する技術として、レーザスキャナ、２Ｄ（2-Dimensions）レーザ距離計、ステレオカメラ等のデプスセンサを、スタッカ、リクレーマなどのヤード機械に取り付けることで、原料山の形状を計測するシステムがある（例えば、特許文献１〜４参照）。特許文献１〜４に記載の技術では、原料山の表面全体の形状を計測することにより、原料山の体積（残量）を計測している。

特開２０１０−２８６４３６号公報 特開２０１１−１５７１８７号公報 特開２０１２−１９３０３０号公報 特開２０１９−２０１３１号公報 特開２０１６−６１６７４号公報 再公表特許ＷＯ２０１７／１７５３１２号公報

C. BRADFORD BARBER et al., "The Quickhull Algorithm for Convex Hulls", ACM Transactions on Mathematical Software, Vol. 22, No. 4, December 1996, Pages 469-483. (https://www.cise.ufl.edu/~ungor/courses/fall06/papers/QuickHull.pdf)（凸包作成方法）

以下の分析は、本願発明者により与えられる。

しかしながら、原料山とデプスセンサとの間に障害物（例えば、ヤード機械、建屋の柱など）がある場合、障害物が背後にある原料山を隠して見えないようにする領域（オクルージョン）の問題が発生する。オクルージョンが発生すると、特許文献１〜４に記載の技術では、原料山の表面全体の形状を計測できなくなり、原料山の体積を計測できなくなる。

このようなオクルージョンの問題を回避するために、特許文献５に記載の技術のように、デプスセンサを搭載した１台の無人飛行体（ドローン）で上方から移動しながら原料山を撮影し、障害物による隠れた部分のない原料山の表面全体の形状を計測し、原料山の体積を計測することが考えられる。しかしながら、建屋型の原料ヤードには天井があり、ドローンが原料山から十分な距離を取って航行することが難しいので、特許文献５に記載の技術では、障害物による隠れた部分のない原料山の表面全体の形状を計測すること自体ができなくなり、原料山の体積を計測できなくなる可能性がある。

また、このようなオクルージョンの問題を解決するために、特許文献６に記載の技術のように、予め設定された荷物情報（荷物サイズ）を用いて、オクルージョン等による荷物の欠損している部分を補う技術を原料山に応用することが考えられる。しかしながら、原料山には予め設定されたサイズがないので、特許文献６に記載の技術では、撮影された原料山の欠損している部分を補うことができず、原料山の体積を計測できない。

本発明の主な課題は、オクルージョンにより撮影された原料山の一部が欠けていても原料山の体積を計測することに貢献することができる体積計測装置、システム、方法、及びプログラムを提供することである。

第１の視点に係る体積計測装置は、原料山及び非原料山を有する原料ヤードを撮影するデプスセンサからの前記原料ヤードに係るデプス情報を前記原料ヤードに係る点群データに変換するように構成された点群変換部と、前記原料山の安息角に係る安息角情報を用いて、前記原料ヤードに係る前記点群データから、オブジェクトに係る点群として、前記原料山に係る原料山点群部、及び、前記非原料山に係る非原料山点群部を検出するように構成されたオブジェクト検出部と、前記非原料山点群部を除去し、前記非原料山点群部の除去によってできた前記原料山点群部の欠損部に原料山補間点群部を補間するように構成された点群補間部と、少なくとも、前記原料山点群部及び前記原料山補間点群部に基づいて、前記原料山における前記デプスセンサから撮影可能な原料山非オクルージョン部の体積を算出することにより、前記原料山の体積を算出するように構成された原料山体積算出部と、を備える。前記点群補間部は、前記非原料山点群部の除去によって前記原料山点群部が複数あるか否かを確認する処理と、前記原料山点群部が複数あるときに、結合させる複数の前記原料山点群部を選択した結合選択情報を取得する処理と、前記結合選択情報に基づいて、複数の前記原料山点群部間の前記欠損部に前記原料山補間点群部を補間する処理と、を行うように構成されている。

第２の視点に係る体積計測システムは、原料山及び非原料山を有する原料ヤードを撮影するデプスセンサと、前記第１の視点に係る体積計測装置と、を備える。

第３の視点に係る体積計測方法は、ハードウェア資源を用いて原料山の体積を計測する体積計測方法であって、前記原料山及び非原料山を有する原料ヤードを撮影するデプスセンサからの前記原料ヤードに係るデプス情報を前記原料ヤードに係る点群データに変換するステップと、前記原料山の安息角に係る安息角情報を用いて、前記原料ヤードに係る前記点群データから、オブジェクトに係る点群として、前記原料山に係る原料山点群部、及び、前記非原料山に係る非原料山点群部を検出するステップと、前記非原料山点群部を除去し、前記非原料山点群部の除去によってできた前記原料山点群部の欠損部に原料山補間点群部を補間するステップと、少なくとも、前記原料山点群部及び前記原料山補間点群部に基づいて、前記原料山における前記デプスセンサから撮影可能な原料山非オクルージョン部の体積を算出することにより、前記原料山の体積を算出するステップと、を含む。前記原料山補間点群部を補間するステップでは、前記非原料山点群部の除去によって前記原料山点群部が複数あるか否かを確認するステップと、前記原料山点群部が複数あるときに、結合させる複数の前記原料山点群部を選択した結合選択情報を取得するステップと、前記結合選択情報に基づいて、複数の前記原料山点群部間の前記欠損部に前記原料山補間点群部を補間するステップと、を含む。

第４の視点に係るプログラムは、ハードウェア資源に所定の処理を実行させるプログラムであって、原料山及び非原料山を有する原料ヤードを撮影するデプスセンサからの前記原料ヤードに係るデプス情報を前記原料ヤードに係る点群データに変換する処理と、前記原料山の安息角に係る安息角情報を用いて、前記原料ヤードに係る前記点群データから、オブジェクトに係る点群として、前記原料山に係る原料山点群部、及び、前記非原料山に係る非原料山点群部を検出する処理と、前記非原料山点群部を除去し、前記非原料山点群部の除去によってできた前記原料山点群部の欠損部に原料山補間点群部を補間する処理と、少なくとも、前記原料山点群部及び前記原料山補間点群部に基づいて、前記原料山における前記デプスセンサから撮影可能な原料山非オクルージョン部の体積を算出することにより、前記原料山の体積を算出する処理と、を実行させる。前記原料山補間点群部を補間する処理では、前記非原料山点群部の除去によって前記原料山点群部が複数あるか否かを確認する処理と、前記原料山点群部が複数あるときに、結合させる複数の前記原料山点群部を選択した結合選択情報を取得する処理と、前記結合選択情報に基づいて、複数の前記原料山点群部間の前記欠損部に前記原料山補間点群部を補間する処理と、を実行させる。

なお、プログラムは、コンピュータが読み取り可能な記憶媒体に記録することができる。記憶媒体は、半導体メモリ、ハードディスク、磁気記録媒体、光記録媒体等の非トランジェント（non-transient）なものとすることができる。また、本開示では、コンピュータプログラム製品として具現することも可能である。プログラムは、コンピュータ装置に入力装置又は外部から通信インタフェイスを介して入力され、記憶装置に記憶されて、プロセッサを所定のステップないし処理に従って駆動させ、必要に応じ中間状態を含めその処理結果を段階毎に表示装置を介して表示することができ、あるいは通信インタフェイスを介して、外部と交信することができる。そのためのコンピュータ装置は、一例として、典型的には互いにバスによって接続可能なプロセッサ、記憶装置、入力装置、通信インタフェイス、及び必要に応じ表示装置を備える。

前記第１〜第４の視点によれば、オクルージョンにより原料山の一部が欠けていても原料山の体積を計測することに貢献することができる。

実施形態１に係る体積計測システムの使用態様の一例を模式的に示した図である。 実施形態１に係る体積計測システムの構成を模式的に示したブロック図である。 実施形態１に係る体積計測システムにおける体積計測装置の点群補間処理の第１例を模式的に示した、（Ａ）非原料山に係る点群除去前のイメージ図、（Ｂ）非原料山に係る点群除去後のイメージ図、（Ｃ）欠損部に係る点群補間後のイメージ図である。 実施形態１に係る体積計測システムにおける体積計測装置の原料山体積算出処理の第１例を模式的に示した、（Ａ）原料山非オクルージョン部に係る体積算出前のイメージ図、（Ｂ）原料山非オクルージョン部に係る体積算出後のイメージ図、（Ｃ）原料山オクルージョン部に係る体積推定後のイメージ図である。 実施形態１に係る体積計測システムにおける体積計測装置の動作を模式的に示したフローチャート図である。 実施形態１に係る体積計測システムにおける体積計測装置の情報処理部の原料山補間点群部の補間処理の詳細を模式的に示したフローチャート図である。 実施形態１に係る体積計測システムにおける体積計測装置の情報処理部の原料山オクルージョン部の体積推定処理の詳細を模式的に示したフローチャート図である。 実施形態１に係る体積計測システムにおける体積計測装置の情報処理部の原料山の体積算出処理の詳細を模式的に示したフローチャート図である。 実施形態１に係る体積計測システムにおける体積計測装置の点群補間処理の第２例を模式的に示した、（Ａ）非原料山に係る点群除去前のイメージ図、（Ｂ）非原料山に係る点群除去後のイメージ図、（Ｃ）欠損部に係る点群補間後のイメージ図である。 実施形態１に係る体積計測システムにおける体積計測装置の点群補間処理の第３例を模式的に示した、（Ａ）非原料山に係る点群除去前のイメージ図、（Ｂ）非原料山に係る点群除去後のイメージ図、（Ｃ）欠損部に係る点群補間後のイメージ図である。 実施形態１に係る体積計測システムにおける体積計測装置の点群補間処理の第４例を模式的に示した、（Ａ）非原料山に係る点群除去前のイメージ図、（Ｂ）非原料山に係る点群除去後のイメージ図である。 実施形態１に係る体積計測システムにおける体積計測装置の点群補間処理の第５例を模式的に示した、（Ａ）非原料山に係る点群除去前のイメージ図、（Ｂ）非原料山に係る点群除去後のイメージ図、（Ｃ）欠損部に係る点群補間後のイメージ図である。 実施形態１に係る体積計測システムにおける体積計測装置の点群補間処理の第６例を模式的に示した、（Ａ）非原料山に係る点群除去前のイメージ図、（Ｂ）非原料山に係る点群除去後のイメージ図、（Ｃ）欠損部に係る点群補間後のイメージ図である。 実施形態１に係る体積計測システムにおける体積計測装置の点群補間処理の第７例を模式的に示した、（Ａ）非原料山に係る点群除去前のイメージ図、（Ｂ）非原料山に係る点群除去後のイメージ図、（Ｃ）欠損部に係る点群補間後のイメージ図である。 実施形態１に係る体積計測システムにおける体積計測装置の点群補間処理の第８例を模式的に示した、（Ａ）非原料山に係る点群除去前のイメージ図、（Ｂ）非原料山に係る点群除去後のイメージ図、（Ｃ）欠損部に係る点群補間後のイメージ図である。 実施形態１に係る体積計測システムにおける体積計測装置の点群補間処理の第９例を模式的に示した、（Ａ）非原料山に係る点群除去前のイメージ図、（Ｂ）非原料山に係る点群除去後のイメージ図、（Ｃ）欠損部に係る点群補間後のイメージ図である。 実施形態１に係る体積計測システムにおける体積計測装置の点群補間処理の第１０例を模式的に示したイメージ図である。 実施形態１に係る体積計測システムにおける体積計測装置の点群補間処理の第１１例を模式的に示したイメージ図である。 実施形態１に係る体積計測システムにおける体積計測装置の原料山体積算出処理の第２例を模式的に示した、（Ａ）原料山非オクルージョン部に係る欠損部補間前のイメージ図、（Ｂ）原料山非オクルージョン部に係る欠損部補間後のイメージ図、（Ｃ）原料山非オクルージョン部に係る体積算出後のイメージ図、（Ｄ）非原料山の埋没部の体積を差し引いた後のイメージ図である。 実施形態１に係る体積計測システムにおける体積計測装置の原料山体積算出処理の第３例を模式的に示した、（Ａ）原料山非オクルージョン部に係る欠損部補間前のイメージ図、（Ｂ）原料山非オクルージョン部に係る欠損部補間後のイメージ図、（Ｃ）原料山非オクルージョン部に係る体積算出後のイメージ図、（Ｄ）原料山オクルージョン部に係る体積算出後のイメージ図、（Ｅ）非原料山の埋没部の体積を差し引いた後のイメージ図である。 実施形態１に係る体積計測システムにおける体積計測装置の原料山体積算出処理の第４例を模式的に示した、（Ａ）原料山非オクルージョン部に係る体積算出前のイメージ図、（Ｂ）原料山非オクルージョン部に係る体積算出後のイメージ図、（Ｃ）原料山オクルージョン部に係る体積推定後のイメージ図である。 実施形態１に係る体積計測システムにおける体積計測装置の原料山体積算出処理の第５例を模式的に示した、（Ａ）原料山非オクルージョン部に係る体積算出前のイメージ図、（Ｂ）原料山非オクルージョン部に係る体積算出後のイメージ図、（Ｃ）原料山オクルージョン部に係る体積推定後のイメージ図、（Ｄ）埋没物の体積を差し引いた後のイメージ図である。 実施形態２に係る体積計測システムの構成及び使用態様の一例を模式的に示した図である。 ハードウェア資源の構成を模式的に示したブロック図である。

以下、実施形態について図面を参照しつつ説明する。なお、本出願において図面参照符号を付している場合は、それらは、専ら理解を助けるためのものであり、図示の態様に限定することを意図するものではない。また、下記の実施形態は、あくまで例示であり、本発明を限定するものではない。また、以降の説明で参照する図面等のブロック間の接続線は、双方向及び単方向の双方を含む。一方向矢印については、主たる信号（データ）の流れを模式的に示すものであり、双方向性を排除するものではない。さらに、本願開示に示す回路図、ブロック図、内部構成図、接続図などにおいて、明示は省略するが、入力ポート及び出力ポートが各接続線の入力端及び出力端のそれぞれに存在する。入出力インタフェイスも同様である。プログラムはコンピュータ装置を介して実行され、コンピュータ装置は、例えば、プロセッサ、記憶装置、入力装置、通信インタフェイス、及び必要に応じ表示装置を備え、コンピュータ装置は、通信インタフェイスを介して装置内又は外部の機器（コンピュータを含む）と、有線、無線を問わず、交信可能に構成される。

［実施形態１］
実施形態１に係る体積計測システムについて図面を用いて説明する。図１は、実施形態１に係る体積計測システムの使用態様の一例を模式的に示した図である。図２は、実施形態１に係る体積計測システムの構成を模式的に示したブロック図である。図３は、実施形態１に係る体積計測システムにおける体積計測装置の点群補間処理の第１例を模式的に示した、（Ａ）非原料山に係る点群除去前のイメージ図、（Ｂ）非原料山に係る点群除去後のイメージ図、（Ｃ）欠損部に係る点群補間後のイメージ図である。図４は、実施形態１に係る体積計測システムにおける体積計測装置の原料山体積算出処理の第１例を模式的に示した、（Ａ）原料山非オクルージョン部に係る体積算出前のイメージ図、（Ｂ）原料山非オクルージョン部に係る体積算出後のイメージ図、（Ｃ）原料山オクルージョン部に係る体積推定後のイメージ図である。図９〜図１８は、実施形態１に係る体積計測システムにおける体積計測装置の点群補間処理の例を模式的に示したイメージ図である。図１９〜図２２は、実施形態１に係る体積計測システムにおける体積計測装置の原料山体積算出処理の例を模式的に示したイメージ図である。

体積計測システム１は、原料ヤード２０における原料山１０の体積を計測するシステムである（図１参照）。体積計測システム１は、体積計測装置１００と、撮影装置２００と、を備える。

ここで、原料ヤード２０では、地面２１の上に原料山１０が配されている。また、地面２１の上には、任意の非原料山３０（例えば、ヤード機械、建屋の柱、梁などの障害物）が配されている。原料山１０の形状は、理想的な円錐形である必要はなく、舟形であってもよく（図１４、図１６参照）、原料山１０において凹凸があってもよい。なお、非原料山３０は、図１では原料山１０と離れているが、原料山１０に一部が埋没していてもよく（図１０〜図１２参照）、原料山１０に完全に埋没していてもよい（図１７、図１８参照）。また、非原料山３０は、地面２１の上に存在しなくてもよい。

体積計測装置１００は、原料ヤード２０を撮影する撮影装置２００を用いて、原料ヤード２０における原料山１０の体積を自動的に計測（管理）する装置である（図１参照）。体積計測装置１００には、例えば、プロセッサ、メモリ、ネットワークインタフェイス等を含むハードウェア資源（例えば、情報処理装置、コンピュータ）を用いることができる。体積計測装置１００は、情報処理部１１０と、記憶部１２０と、入力部１３０と、出力部１４０と、通信部１５０と、を備える（図２参照）。

情報処理部１１０は、情報を処理する機能部である（図２参照）。情報処理部１１０には、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processor Unit）等のプロセッサを用いることができる。情報処理部１１０は、記憶部１２０、入力部１３０、出力部１４０、及び、通信部１５０と通信可能に接続されている。情報処理部１１０は、記憶部１２０に記憶されているプログラムを実行することにより、仮想的な、取得部１１１、点群変換部１１２、オブジェクト検出部１１３、点群補間部１１４、及び、原料山体積算出部１１５を実現する。

取得部１１１は、撮影装置２００のデプスセンサ２０１で生成されたデプス情報（原料ヤード２０に係るデプス情報；３次元データ）を取得（収集）する処理部である（図２参照）。

点群変換部１１２は、取得部１１１で取得したデプス情報（原料ヤード２０に係るデプス情報）を、点群データ（原料ヤード２０に係る点群データ）に変換する処理部である（図２参照）。

オブジェクト検出部１１３は、点群変換部１１２で変換された点群データ（図１の原料ヤード２０に係る点群データ）の中からオブジェクト（図１の原料山１０、非原料山３０に相当）に係る点群を検出（抽出）する処理部である（図２参照）。ここで、オブジェクトとは、原料ヤード２０の地面２１上に存在する物体（オブジェクト）をいい、図１においては原料山１０及び非原料山３０がオブジェクトに該当する。

オブジェクト検出部１１３は、点群変換部１１２で変換された点群データ（図１の原料ヤード２０に係る点群データ）から、地面（図１の２１）に係る点群を除去することによって、オブジェクトに係る点群（図３（Ａ）では原料山点群部１１ａ、１１ｂ、非原料山点群部３１）を検出（抽出）する処理を行う。なお、この段階では、原料山点群部１１ａ、１１ｂか、非原料山点群部３１かの区別はされていない。

オブジェクト検出部１１３は、記憶部１２０の安息角記憶部１２２から安息角情報（非雨天用安息角情報、雨天用安息角情報）を読み出し、読み出された安息角情報を用いて、検出されたオブジェクトに係る点群から原料山点群部（図３（Ａ）では１１ａ、１１ｂ）を検出する処理を行う。オブジェクト検出部１１３は、原料山点群部１１ａ、１１ｂを検出する際、原料山１０の斜面上のある平面と原料ヤード２０における地面２１とのなす角が安息角情報における安息角を満たす点群を原料山点群部１１ａ、１１ｂとして検出する。ここで、安息角は、一定の高さから粒子を落下させて、自発的に崩れることなく安定を保つ時に、形成する粒子の山の斜面と水平面とのなす角度である。安息角は、平坦な場所に堆積した原料山１０の斜面と平坦面（水平面）との角度を計測して得ることができる。

オブジェクト検出部１１３は、検出されたオブジェクトに係る点群において、検出された原料山点群部（図３（Ａ）では１１ａ、１１ｂ）以外の点群を、非原料山点群部（図３（Ａ）では３１）として検出する処理を行う。

点群補間部１１４は、非原料山点群部（図３（Ａ）では３１）で隠れた原料山点群部（図３（Ｂ）では１１ａ、１１ｂ）の欠損部（図３（Ｂ）では１２）が存在するときに、欠損部１２に原料山補間点群部（図３（Ｃ）では１３）を補間する処理部である（図２参照）。

点群補間部１１４は、原料山点群部（図３（Ａ）では１１ａ、１１ｂ）があるか否かを確認し、原料山点群部１１ａ、１１ｂがある場合には非原料山点群部（図３（Ａ）では３１）があるか否かを確認し、非原料山点群部３１がある場合には非原料山点群部３１を除去し、原料山点群部１１ａ、１１ｂに係る情報を記憶部１２０の点群記憶部１２１に記憶する処理を行う。

点群補間部１１４は、非原料山点群部３１の除去により原料山点群部１１ａ、１１ｂに欠損部（図３（Ｂ）では１２）があるか否かを確認し、欠損部１２がある場合には、点群記憶部１２１に記憶された原料山点群部１１ａ、１１ｂに係る情報に基づいて、欠損部１２に原料山補間点群部（図３（Ｃ）では１３）を補間する処理を行う。ここで、「補間」とは、計測で得られた部位の値に基づいて、計測していない部位の値を算出することをいう。補間方法の詳細については、後述する。なお、図１１、図１７、図１８のように原料山１０の手前に非原料山３０がない状態で撮影している場合には、原料山補間点群部を補間しないことがある。

点群補間部１１４は、原料山補間点群部（図３（Ｃ）では１３）を補間する際、複数の原料山点群部（図３（Ｂ）では１１ａ、１１ｂ）があるか否かを確認し、図３、図９のように複数の原料山点群部１１ａ、１１ｂがある場合には、結合させる複数の原料山点群部１１ａ、１１ｂを選択した結合選択情報を取得し、取得した結合選択情報に基づいて、選択された複数の原料山点群部１１ａ、１１ｂ間の欠損部１２に原料山補間点群部１３を補間する処理を行う。点群補間部１１４は、複数の原料山点群部がない場合には、図１３〜図１５のように原料山１０の大部分が非原料山３０で隠れて欠損部１２の形状が予測しづらい場合を考慮して、原料山点群部１１の欠損部１２に係る情報を取得し、取得した欠損部１２に係る情報に基づいて、欠損部１２に原料山補間点群部１３を補間する処理を行う。

原料山体積算出部１１５は、原料山（図１の１０）の体積（原料の残量）を計算する処理部である（図２参照）。

原料山体積算出部１１５は、原料山点群部（図３（Ｃ）及び図４（Ａ）では１１ａ、１１ｂ）及び原料山補間点群部（図３（Ｃ）及び図４（Ａ）では１３）に基づいて、原料山（図４（Ｂ）では１０）における原料山非オクルージョン部（図４（Ｂ）では１４）の体積を算出する処理を行う。ここで、原料山非オクルージョン部１４は、原料山１０においてオクルージョンとならない点群部（図４（Ａ）では１１ａ、１１ｂ、１３）によって体積を算出することが可能な部分（空間）である。なお、原料山補間点群部がない場合には、原料山点群部のみに基づいて原料山非オクルージョン部の体積を算出することになる。

原料山体積算出部１１５は、原料山点群部（図３（Ｃ）及び図４（Ａ）では１１ａ、１１ｂ）及び原料山補間点群部（図３（Ｃ）及び図４（Ａ）では１３）に基づいて原料山オクルージョン部（図４（Ｂ）では１５）があるか否かを確認し、原料山オクルージョン部１５がある場合には、図２１のように原料山非オクルージョン部１４の背後に長い原料山オクルージョン部１５がある場合を考慮して、原料山オクルージョン部１５に係る情報を取得し、取得した原料山オクルージョン部１５に係る情報を用いて、原料山オクルージョン部１５の体積を推定（算出）する処理を行う。原料山体積算出部１１５は、原料山オクルージョン部１５がない場合には原料山オクルージョン部１５の体積を０と推定（算出）する。ここで、原料山オクルージョン部１５は、原料山１０における原料山非オクルージョン部１４によって隠れて見えない部分（空間）である。なお、図９、図１０、図１５、図１６、図１８のように原料山１０を上方から撮影している場合には、原料山オクルージョン部が存在しないことがある。

原料山体積算出部１１５は、算出された原料山非オクルージョン部（図４（Ｃ）では１４）の体積と、推定された原料山オクルージョン部（図４（Ｃ）では１５）の体積と、に基づいて、原料山１０の残量（体積）を計算する処理を行う。なお、図１０〜図１２のように非原料山３０の一部が原料山１０に埋没している場合や、図１７、図１８のように非原料山３０の全部が原料山１０に埋没している場合には、原料山体積算出部１１５は、非原料山３０に係る情報を取得し、取得した非原料山３０に係る情報に基づいて非原料山３０の埋没部（図１９、図２０、図２２では３２）の体積を算出し、算出された原料山非オクルージョン部（図１９（Ｃ）、図２０（Ｄ）、図２２（Ｃ）では１４）の体積と、推定された原料山オクルージョン部（図２０（Ｄ）、図２２（Ｃ）では１５）の体積との合計体積から、埋没部（図１９（Ｄ）、図２０（Ｅ）、図２２（Ｄ）では３２）の体積を差し引く処理を行う。

記憶部１２０は、データ、プログラム等の情報を記憶する機能部である（図２参照）。記憶部１２０は、点群記憶部１２１と、安息角記憶部１２２と、を有する。

点群記憶部１２１は、点群補間部１１４からの原料山点群部（図３では１１ａ、１１ｂ）に係る情報を記憶する。

安息角記憶部１２２は、原料山１０の安息角に係る情報（安息角情報）を記憶する。安息角情報には、非雨天用の安息角情報と、雨天用の安息角情報と、がある。安息角は、原料の粒子の大きさ、粒子の角の丸みや形状等により決まるが、水分の含有量にも大きく影響されるため、安息角情報として、非雨天用の安息角情報と、雨天用の安息角情報と、が用意されている。安息角記憶部１２２への安息角情報の入力は、入力部１３０から行うことができる。なお、原料ヤード２０が屋内にあり降雨の影響がない場合、雨天用の安息角情報を省略することができる。

入力部１３０は、オペレータの操作により情報を入力する機能部である（図２参照）。入力部１３０には、例えば、キーボード、マウス、タッチパネル、マイク、ボタン、その他の入力手段を用いることができ、図示しない通信部を介して通信可能に接続された入力部を有する情報端末等を用いてもよい。

出力部１４０は、計測した原料山の体積などの情報を出力する機能部である（図２参照）。出力部１４０として、例えば、表示を行うディスプレイ、印刷を行うプリンタ、その他の出力手段を用いることができ、図示しない通信部を介して通信可能に接続された出力部を有する情報端末等を用いてもよい。また、出力部１４０を使用する代わりに、通信部及びネットワークを通じて接続された別の情報端末等（図示せず；例えば、ユーザが使用する端末）を使用して情報を出力するようにしてもよい。

通信部１５０は、撮影装置２００の通信部２０３と通信（無線通信、有線通信）を行う機能部である。通信部１５０は、図示しないネットワークを介して撮影装置２００の通信部２０３と通信を行うようにしてもよい。

撮影装置２００は、被写体を撮影する装置である（図１参照）。撮影装置２００は、少なくとも１つの原料ヤード２０全体を俯瞰することができるように設置することができる。撮影装置２００は、原料ヤード２０を上方から撮影するように設置してもよい。撮影装置２００は、デプスセンサ２０１と、センサ制御部２０２と、通信部２０３と、を備える（図２参照）。

デプスセンサ２０１は、被写体を撮影して３次元データとなるデプス情報を生成するセンサである（図２参照）。デプスセンサ２０１には、例えば、レーザスキャナ、２Ｄレーザ距離計、ステレオカメラ、ＴｏＦ（Time of Flight）センサ、ＬｉＤＡＲ（Light Detection and Ranging）センサ等を用いることができる。デプスセンサ２０１は、コスト低減の観点から撮影装置２００において１台であることが好ましいが、２台以上であってもよい。

センサ制御部２０２は、デプスセンサ２０１を制御する機能部である（図２参照）。

通信部２０３は、体積計測装置１００の通信部１５０と通信（無線通信、有線通信）を行う機能部である（図２参照）。通信部２０３は、図示しないネットワークを介して体積計測装置１００の通信部１５０と通信を行うようにしてもよい。

次に、実施形態１に係る体積計測システムにおける体積計測装置の情報処理部の動作について図面を用いて説明する。図５は、実施形態１に係る体積計測システムにおける体積計測装置の動作を模式的に示したフローチャート図である。なお、体積計測システム及び原料ヤードの構成については、図１及び図２を参照されたい。

前提として、原料山１０の安息角に係る情報（安息角情報）については事前に安息角記憶部１２２に記憶されているものとする。

まず、体積計測装置１００の情報処理部１１０の取得部１１１は、原料ヤード２０を撮影する撮影装置２００のデプスセンサ２０１で生成された原料ヤード２０に係るデプス情報を取得する（図５のステップＡ１参照）。

次に、体積計測装置１００の情報処理部１１０の点群変換部１１２は、取得部１１１で取得されたデプス情報を点群データ（原料ヤード２０に係る点群データ）に変換する（図５のステップＡ２参照）。

次に、体積計測装置１００の情報処理部１１０のオブジェクト検出部１１３は、点群変換部１１２で変換された点群データ（図１の原料ヤード２０に係る点群データ）から、地面（図１の２１）に係る点群を除去（フィルタリング）することによって、オブジェクトに係る点群（図３（Ａ）では原料山点群部１１ａ、１１ｂ、非原料山点群部３１）を検出（抽出）する（図５のステップＡ３参照）。

次に、体積計測装置１００の情報処理部１１０のオブジェクト検出部１１３は、検出されたオブジェクトに係る点群から原料山点群部及び非原料山点群部を検出（クラスタリング）する（図５のステップＡ４参照）。例えば、図３（Ａ）、図９（Ａ）、図１０（Ａ）、図１１（Ａ）、図１２（Ａ）、図１３（Ａ）、図１４（Ａ）、図１５（Ａ）及び図１６（Ａ）のように、原料山点群部１１、１１ａ、１１ｂ及び非原料山点群部３１を検出する。なお、図１７及び図１８のように、非原料山３０の全体が原料山１０に埋没している場合は、原料山点群部１１のみを検出する。また、原料山が非原料山に完全に隠れている場合には非原料山点群部のみを検出する（図示せず）。さらに、原料山及び非原料山が存在しない場合は原料山点群部及び非原料山点群部を検出しない。

ここで、原料山点群部の検出では、オブジェクト検出部１１３は、記憶部１２０の安息角記憶部１２２から安息角情報（非雨天用安息角情報、雨天用安息角情報）を読み出し、読み出された安息角情報を用いて、検出されたオブジェクトに係る点群から原料山点群部（図３（Ａ）では１１ａ、１１ｂ）を検出することができる。また、非原料山点群部の検出では、オブジェクト検出部１１３は、検出されたオブジェクトに係る点群において、検出された原料山点群部（図３（Ａ）では１１ａ、１１ｂ）以外の点群を、非原料山点群部（図３（Ａ）では３１）として検出することができる。

次に、体積計測装置１００の情報処理部１１０の点群補間部１１４は、オブジェクト検出部１１３での原料山点群部の検出で、原料山点群部があるか否かを確認する（図５のステップＡ５参照）。原料山点群部がない場合（ステップＡ５のＮＯ）、終了する。なお、原料山が非原料山に完全に隠れて原料山点群部が検出されない場合は、撮影装置２００の設置位置を、原料山点群部を検出できる位置に変更して、ステップＡ１からやり直すことになる。

原料山点群部がある場合（ステップＡ５のＹＥＳ）、体積計測装置１００の情報処理部１１０の点群補間部１１４は、オブジェクト検出部１１３での非原料山点群部の検出で、非原料山点群部があるか否かを確認する（図５のステップＡ６参照）。非原料山点群部がない場合（ステップＡ６のＮＯ）、例えば、原料山点群部のみがある場合（図示せず）や、図１７及び図１８のように非原料山３０が完全に原料山１０に埋没している場合、ステップＡ１０に進む。

非原料山点群部がある場合（ステップＡ６のＹＥＳ）、体積計測装置１００の情報処理部１１０の点群補間部１１４は、非原料山点群部を除去（フィルタリング）し、残った原料山点群部に係る情報を記憶部１２０の点群記憶部１２１に記憶する（図５のステップＡ７参照）。

ステップＡ７の後、体積計測装置１００の情報処理部１１０の点群補間部１１４は、非原料山点群部の除去により原料山点群部に欠損部があるか否かを確認する（図５のステップＡ８参照）。欠損部がない場合（ステップＡ８のＮＯ）、例えば、図１１（Ｂ）のように欠損部がない場合、ステップＡ１０に進む。

欠損部がある（ステップＡ８のＹＥＳ）、体積計測装置１００の情報処理部１１０の点群補間部１１４は、点群記憶部１２１に記憶された原料山点群部に係る情報に基づいて、欠損部に原料山補間点群部を補間する（図５のステップＡ９参照）。なお、原料山補間点群部の補間処理の詳細については、後述する（図６参照）。補間された原料山補間点群部は点群記憶部１２１に記憶される。

非原料山点群部がない場合（ステップＡ６のＮＯ）、欠損部がない場合（ステップＡ８のＮＯ）、又は、ステップＡ９の後、体積計測装置１００の情報処理部１１０の原料山体積算出部１１５は、原料山点群部及び原料山補間点群部に基づいて、原料山における原料山非オクルージョン部の体積を算出する（図５のステップＡ１０参照）。原料山補間点群部がない場合、例えば、図１１（Ｂ）、図１７及び図１８のような場合には、原料山点群部１１のみに基づいて原料山非オクルージョン部１４の体積を算出することになる。

ここで、原料山非オクルージョン部（図４（Ｂ）では１４）の体積は、例えば、原料山点群部（図４（Ｂ）では１１ａ、１１ｂ）及び原料山補間点群部（図４（Ｂ）では１３）に基づいて、凸包を作成することで求めることができる。ここで、凸包は、与えられた集合を含む最小の凸集合である。凸包は、例えば、非特許文献１に記載のQuickhull法を用いたアルゴリズムによって作成することができる。Quickhull法を用いたアルゴリズムで作成した凸包は、複数の四面体により構成される。四面体の底面積をＳ、高さをｈとすると、四面体の体積Ｖ_ｉは三角錐の体積の公式［式１］から算出することができる。複数の四面体のそれぞれの体積の総和を算出することで、凸包全体の体積を計算し、計算された凸包全体の体積を原料山非オクルージョン部（図４（Ｂ）では１４）の体積とすることができる。

［式１］

ステップＡ１０の後、体積計測装置１００の情報処理部１１０の原料山体積算出部１１５は、原料山オクルージョン部の体積を推定（算出）する（図５のステップＡ１１参照）。なお、原料山オクルージョン部の体積推定処理の詳細については、後述する（図７参照）。

ステップＡ１１の後、体積計測装置１００の情報処理部１１０の原料山体積算出部１１５は、ステップＡ１０で算出された原料山非オクルージョン部の体積と、ステップＡ１１で推定された原料山オクルージョン部の体積と、を用いて、原料山の体積を算出する（図５のステップＡ１２参照）。なお、原料山の体積算出処理の詳細については、後述する（図８参照）。

ステップＡ１１の後、体積計測装置１００の情報処理部１１０の原料山体積算出部１１５は、ステップＡ１２で算出された原料山の体積を出力部１４０から出力させ（図５のステップＡ１３参照）、その後、終了する。

次に、実施形態１に係る体積計測システムにおける体積計測装置の情報処理部の原料山補間点群部の補間処理（図５のステップＡ９）の詳細について、図面を用いて説明する。図６は、実施形態１に係る体積計測システムにおける体積計測装置の原料山補間点群部の補間処理の詳細を模式的に示したフローチャート図である。なお、体積計測システム及び原料ヤードの構成については、図１及び図２を参照されたい。

原料山点群部に欠損部がある場合（図５のステップＡ８のＹＥＳ）、体積計測装置１００の情報処理部１１０の点群補間部１１４は、非原料山点群部を除去した後の点群において複数の原料山点群部があるか否かを確認する（図６のステップＢ１参照）。複数の原料山点群部があるか否かを確認するのは、例えば、図３（Ｂ）及び図９（Ｂ）のように、結合可能な複数の原料山点群部１１ａ、１１ｂを特定するためである。１つの原料山点群部である場合（ステップＢ１のＮＯ）、ステップＢ５に進む。

複数の原料山点群部がある場合（ステップＢ１のＹＥＳ）、体積計測装置１００の情報処理部１１０の点群補間部１１４は、結合させる複数の原料山点群部に係る結合選択情報を要求（例えば、出力部１４０で結合選択情報を要求するための画面を表示することによって結合選択情報を要求）し、要求に応じた結合選択情報を取得（例えば、入力部１３０で入力された結合選択情報を取得）する（図６のステップＢ２参照）。ここで、結合選択情報は、結合させる複数の原料山点群部を選択した情報である。なお、結合選択情報には、結合させる複数の原料山点群部が選択（全部選択、一部選択（例えば、３つのうち２つを選択）を含む）された場合と、選択されない場合がある。

ステップＢ２の後、体積計測装置１００の情報処理部１１０の点群補間部１１４は、取得した結合選択情報において結合させる複数の原料山点群部が選択されているか否かを確認する（図６のステップＢ３参照）。選択されていない場合（ステップＢ３のＮＯ）、複数の原料山点群部間に欠損部がないものと推定し、ステップＢ５に進む。

選択されている場合（ステップＢ３のＹＥＳ）、体積計測装置１００の情報処理部１１０の点群補間部１１４は、取得した結合選択情報に基づいて、複数の原料山点群部間の欠損部に原料山補間点群部を補間（クラスタ結合；複数の原料山点群部を結合し１つの原料山の点群となるように加工）し（図６のステップＢ４参照）、その後、図５のステップＡ１０に進む。ここで、原料山補間点群部は、結合選択情報において選択された複数の原料山点群部に基づいて、例えば、線形補間法、最近傍補間法、濃度保管法等の画像補間法を用いて補間することができる。

１つの原料山点群部である場合（ステップＢ１のＮＯ）、又は、結合させる複数の非原料山点群部が選択されていない場合（ステップＢ３のＮＯ）、体積計測装置１００の情報処理部１１０の点群補間部１１４は、原料山点群部の欠損部（複数の原料山点群部間の欠損部を除く）の形状に係る欠損部情報を要求（例えば、出力部１４０で欠損部情報を要求するための画面を表示することによって欠損部情報を要求）し、要求に応じた欠損部情報を取得（例えば、入力部１３０で入力された欠損部情報を取得）する（図６のステップＢ５参照）。ここで、欠損部情報は、原料山点群部の欠損部の形状及び位置に関する情報である。欠損部情報を取得するのは、例えば、図１４（Ａ）のように、原料山１０が非原料山３０で隠れている部分が長い場合があるからである。

ステップＢ５の後、体積計測装置１００の情報処理部１１０の点群補間部１１４は、取得した欠損部情報に基づいて、欠損部に原料山補間点群部を補間し（図６のステップＢ６参照）、その後、図５のステップＡ１０に進む。ここで、原料山補間点群部は、欠損部情報において指定された欠損部における形状に基づいて、例えば、線形補間法、最近傍補間法、濃度保管法等の画像補間法を用いて補間することができる。

次に、実施形態１に係る体積計測システムにおける体積計測装置の情報処理部の原料山オクルージョン部の体積推定処理（図５のステップＡ１１）の詳細について、図面を用いて説明する。図７は、実施形態１に係る体積計測システムにおける体積計測装置の情報処理部の原料山オクルージョン部の体積推定処理の詳細を模式的に示したフローチャート図である。なお、体積計測システム及び原料ヤードの構成については、図１及び図２を参照されたい。

図５のステップＡ１０の後、体積計測装置１００の情報処理部１１０の原料山体積算出部１１５は、原料山点群部及び原料山補間点群部に基づいて、原料山オクルージョン部があるか否かを確認する（図７のステップＣ１参照）。ここで、原料山オクルージョン部があるか否かの確認は、例えば、図９（Ｃ）、図１０（Ｃ）、図１５（Ｃ）、図１６（Ｃ）、図１８及び図１９（Ｄ）のように、原料山１０の上方から原料山１０を撮影しているときに原料山非オクルージョン部１４（原料山点群部１１及び原料山補間点群部１３）の外周境界部の点群の全体が地面に接する位置（座標）にあるか否かにより確認することができる。原料山オクルージョン部がない場合（ステップＣ１のＮＯ）、ステップＣ６に進む。

原料山オクルージョン部がある場合（ステップＣ１のＹＥＳ）、体積計測装置１００の情報処理部１１０の原料山体積算出部１１５は、原料山オクルージョン部の形状に係るオクルージョン情報を要求（例えば、出力部１４０でオクルージョン情報を要求するための画面を表示することによってオクルージョン情報を要求）し、要求に応じたオクルージョン情報を取得（例えば、入力部１３０で入力されたオクルージョン情報を取得）する（図７のステップＣ２参照）。ここで、オクルージョン情報は、原料山オクルージョン部の形状及び位置に関する情報である。また、オクルージョン情報を要求し取得するのは、例えば、図４と図２１との違いのように、原料山オクルージョン部の形状が原料山非オクルージョン部の形状の奥行きと違う場合があるからである。

ステップＣ２の後、体積計測装置１００の情報処理部１１０の原料山体積算出部１１５は、オクルージョン情報における原料山オクルージョン部の形状が原料山非オクルージョン部の形状と対称であるか否かを確認する（図７のステップＣ３参照）。対称でない場合（ステップＣ３のＮＯ）、ステップＣ５に進む。

対称である場合（ステップＣ３のＹＥＳ）、体積計測装置１００の情報処理部１１０の原料山体積算出部１１５は、原料山オクルージョン部の体積を、図５のステップＡ１０で算出された原料山非オクルージョン部の体積と同じと推定し（図７のステップＣ４参照）、その後、ステップＡ１２に進む。

原料山オクルージョン部の形状が原料山非オクルージョン部の形状と対称でない場合（ステップＣ３のＮＯ）、体積計測装置１００の情報処理部１１０の原料山体積算出部１１５は、取得したオクルージョン情報に基づいて、原料山オクルージョン部の体積を算出し（図７のステップＣ５参照）、その後、ステップＡ１２に進む。

ここで、原料山オクルージョン部の体積は、例えば、オクルージョン情報における原料山オクルージョン部に係る点群の凸包を作成し、作成された凸包を構成する各四面体の体積の総和を算出することで、原料山オクルージョン部の体積を算出（推定）することができる。ここでの凸包による体積の計算方法は、図５のステップＡ１０における原料山非オクルージョン部の体積の計算方法と同一である。

原料山オクルージョン部がない場合（ステップＣ１のＮＯ）、体積計測装置１００の情報処理部１１０の原料山体積算出部１１５は、原料山オクルージョン部の体積を０と推定し（図７のステップＣ６参照）、その後、ステップＡ１２に進む。

次に、実施形態１に係る体積計測システムにおける体積計測装置の情報処理部の原料山の体積算出処理（図５のステップＡ１２）の詳細について、図面を用いて説明する。図８は、実施形態１に係る体積計測システムにおける体積計測装置の情報処理部の原料山の体積算出処理の詳細を模式的に示したフローチャート図である。なお、体積計測システム及び原料ヤードの構成については、図１及び図２を参照されたい。

ステップＡ１１の後、体積計測装置１００の情報処理部１１０の原料山体積算出部１１５は、ステップＡ１０で算出された原料山非オクルージョン部の体積と、ステップＡ１１で推定された原料山オクルージョン部の体積とに基づいて、合計体積を算出する（図８のステップＤ１参照）。ここでの合計体積は、原料山非オクルージョン部の体積と、原料山オクルージョン部の体積との合計であり、例えば、図１９（Ｃ）、図２０（Ｃ）及び図２２（Ｃ）のように非原料山３０の埋没部３２がある場合には埋没部３２の体積を含む。

ステップＤ１の後、体積計測装置１００の情報処理部１１０の原料山体積算出部１１５は、非原料山の形状に係る非原料山情報を要求（例えば、出力部１４０で非原料山情報を要求するための画面を表示することによって非原料山情報を要求）し、要求に応じた非原料山情報を取得（例えば、入力部１３０で入力された非原料山情報を取得）する（図８のステップＤ２参照）。ここで、非原料山情報は、非原料山の形状及び位置に関する情報である。また、非原料山情報を要求し取得するのは、非原料山が原料山に埋没しているか否かを確認するためである。

ステップＤ２の後、体積計測装置１００の情報処理部１１０の原料山体積算出部１１５は、原料山非オクルージョン部（原料山点群部及び原料山補間点群部）、オクルージョン情報（図７のステップＣ２で取得したもの）、及び、非原料山情報に基づいて、非原料山に少なくとも一部の埋没部（原料山に埋没した部分；全体が埋没している場合を含む）があるか否かを確認する（図８のステップＤ３参照）。埋没部がない場合（ステップＤ３のＮＯ）、図５のステップＡ１３に進む。

埋没部がある場合（ステップＤ３のＹＥＳ）、体積計測装置１００の情報処理部１１０の原料山体積算出部１１５は、非原料山の埋没部の体積を算出する（図８のステップＤ４参照）。

ステップＤ４の後、体積計測装置１００の情報処理部１１０の原料山体積算出部１１５は、ステップＤ１で算出された合計体積から、ステップＤ４で算出された非原料山の埋没部の体積を差し引いて原料山の体積を算出し（図８のステップＤ５参照）、その後、図５のステップＡ１３に進む。

実施形態１によれば、オクルージョンにより原料山１０の一部が欠けていても、原料山点群部１１又は１１ａ、１１ｂに基づいて、欠損部１２に原料山補間点群部１３を補間することで、原料山１０の体積を計測することに貢献することができる。

また、実施形態１によれば、非原料山３０により原料山点群部１１ａ、１１ｂが複数に分かれている場合でも、取得した結合選択情報を用いて原料山点群部１１ａ、１１ｂ間の欠損部１２に原料山補間点群部１３を補間することで、原料山１０の体積を計測することに貢献することができる。

また、実施形態１によれば、非原料山３０によって原料山１０の大部分が隠れて欠損部が発生してしまった場合でも、取得した欠損部情報を用いて原料山１０の欠損部１２に原料山補間点群部１３を補間することで、原料山１０の体積を計測することに貢献することができる。

また、実施形態１によれば、原料山オクルージョン部１５の体積が原料山非オクルージョン部１４の体積と異なる場合でも、取得したオクルージョン情報を用いて原料山オクルージョン部の体積を算出することで、原料山１０の体積を計測することに貢献することができる。

さらに、実施形態１によれば、非原料山３０の一部又は全部が原料山１０に埋没している場合でも、取得した非原料山情報を用いて非原料山３０の埋没部３２の体積を算出して合計体積から差し引くことで、原料山１０の体積を計測することに貢献することができる。

［実施形態２］
実施形態２に係る体積計測システムについて図面を用いて説明する。図２３は、実施形態２に係る体積計測システムの構成及び使用態様の一例を模式的に示した図である。

体積計測システム１は、原料ヤード２０における原料山１０の体積を計測するシステムである（図２３参照）。体積計測システム１は、デプスセンサ２０１と、体積計測装置１００と、を備える。なお、原料ヤード２０は、原料山１０及び非原料山３０を有する。

デプスセンサ２０１は、原料ヤード２０を撮影する深度測定センサである。

体積計測装置１００は、デプスセンサ２０１を用いて、原料ヤード２０における原料山１０の体積を自動的に計測（管理）する装置である。体積計測装置１００は、点群変換部１１２と、オブジェクト検出部１１３と、点群補間部１１４と、原料山体積算出部１１５と、を備える。

点群変換部１１２は、デプスセンサ２０１からの原料ヤード２０に係るデプス情報を原料ヤード２０に係る点群データに変換するように構成されている。オブジェクト検出部１１３は、原料山１０の安息角に係る安息角情報を用いて、原料ヤード２０に係る点群データから、オブジェクトに係る点群として、原料山１０に係る原料山点群部１１ａ、１１ｂ、及び、非原料山３０に係る非原料山点群部３１を検出するように構成されている。点群補間部１１４は、非原料山点群部３１を除去し、非原料山点群部３１の除去によってできた原料山点群部１１ａ、１１ｂの欠損部に原料山補間点群部１３を補間するように構成されている。原料山体積算出部１１５は、少なくとも、原料山点群部１１ａ、１１ｂ及び原料山補間点群部１３に基づいて、原料山１０におけるデプスセンサ２０１から撮影可能な原料山非オクルージョン部１４の体積を算出することにより、原料山１０の体積を算出するように構成されている。

点群補間部１１４は、非原料山点群部３１の除去によって原料山点群部１１ａ、１１ｂが複数あるか否かを確認する処理を行う。点群補間部１１４は、原料山点群部１１ａ、１１ｂが複数あるときに、結合させる複数の原料山点群部１１ａ、１１ｂを選択した結合選択情報を取得する処理を行う。点群補間部１１４は、結合選択情報に基づいて、複数の原料山点群部１１ａ、１１ｂ間の欠損部に原料山補間点群部１３を補間する処理を行う。

実施形態２によれば、オクルージョンにより撮影された原料山の一部が欠けていても、特に、非原料山３０により原料山点群部１１ａ、１１ｂが複数に分かれている場合でも、取得した結合選択情報を用いて原料山点群部１１ａ、１１ｂ間の欠損部に原料山補間点群部１３を補間することで、原料山１０の体積を計測することに貢献することができる。

なお、実施形態１、２に係る体積計測装置は、いわゆるハードウェア資源（情報処理装置、コンピュータ）により構成することができ、図２４に例示する構成を備えたものを用いることができる。例えば、ハードウェア資源１０００は、内部バス１００４により相互に接続される、プロセッサ１００１、メモリ１００２、ネットワークインタフェイス１００３等を備える。

なお、図２４に示す構成は、ハードウェア資源１０００のハードウェア構成を限定する趣旨ではない。ハードウェア資源１０００は、図示しないハードウェア（例えば、入出力インタフェイス）を含んでもよい。あるいは、装置に含まれるプロセッサ１００１等のユニットの数も図２４の例示に限定する趣旨ではなく、例えば、複数のプロセッサ１００１がハードウェア資源１０００に含まれていてもよい。プロセッサ１００１には、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processor Unit）、ＧＰＵ（Graphics Processing Unit）等を用いることができる。

メモリ１００２には、例えば、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）等を用いることができる。

ネットワークインタフェイス１００３には、例えば、ＬＡＮ（Local Area Network）カード、ネットワークアダプタ、ネットワークインタフェイスカード等を用いることができる。

ハードウェア資源１０００の機能は、上述の処理モジュールにより実現される。当該処理モジュールは、例えば、メモリ１００２に格納されたプログラムをプロセッサ１００１が実行することで実現される。また、そのプログラムは、ネットワークを介してダウンロードするか、あるいは、プログラムを記憶した記憶媒体を用いて、更新することができる。さらに、上記処理モジュールは、半導体チップにより実現されてもよい。即ち、上記処理モジュールが行う機能は、何らかのハードウェアにおいてソフトウェアが実行されることによって実現できればよい。

上記実施形態の一部または全部は以下の付記のようにも記載され得るが、以下には限られない。

［付記１］
原料山及び非原料山を有する原料ヤードを撮影するデプスセンサからの前記原料ヤードに係るデプス情報を前記原料ヤードに係る点群データに変換するように構成された点群変換部と、
前記原料山の安息角に係る安息角情報を用いて、前記原料ヤードに係る前記点群データから、オブジェクトに係る点群として、前記原料山に係る原料山点群部、及び、前記非原料山に係る非原料山点群部を検出するように構成されたオブジェクト検出部と、
前記非原料山点群部を除去し、前記非原料山点群部の除去によってできた前記原料山点群部の欠損部に原料山補間点群部を補間するように構成された点群補間部と、
少なくとも、前記原料山点群部及び前記原料山補間点群部に基づいて、前記原料山における前記デプスセンサから撮影可能な原料山非オクルージョン部の体積を算出することにより、前記原料山の体積を算出するように構成された原料山体積算出部と、
を備え、
前記点群補間部は、
前記非原料山点群部の除去によって前記原料山点群部が複数あるか否かを確認する処理と、
前記原料山点群部が複数あるときに、結合させる複数の前記原料山点群部を選択した結合選択情報を取得する処理と、
前記結合選択情報に基づいて、複数の前記原料山点群部間の前記欠損部に前記原料山補間点群部を補間する処理と、
を行うように構成されている、
体積計測装置。
［付記２］
前記点群補間部は、さらに、
前記原料山点群部が１つであるときに、前記原料山点群部の前記欠損部の形状に係る欠損部情報を取得する処理と、
前記欠損部情報に基づいて、前記欠損部に原料山補間点群部を補間する処理と、
を行うように構成されている、
付記１記載の体積計測装置。
［付記３］
前記原料山体積算出部は、
前記原料山点群部に基づいて、前記原料山における前記デプスセンサから撮影不能な原料山オクルージョン部があるか否かを確認する処理と、
前記原料山オクルージョン部があるときに、前記原料山オクルージョン部の形状に係るオクルージョン情報を取得する処理と、
前記オクルージョン情報に基づいて、前記原料山オクルージョン部の体積を算出する処理と、
前記原料山非オクルージョン部の前記体積と、前記原料山オクルージョン部の前記体積とに基づいて、前記原料山の体積を算出する処理と、
を行うように構成されている、
付記１又は２記載の体積計測装置。
［付記４］
前記原料山体積算出部は、さらに、
前記オクルージョン情報に基づいて、前記原料山非オクルージョン部の形状と前記原料山オクルージョン部の形状とが対称であるか否かを確認する処理と、
対称であるときに、前記原料山非オクルージョン部の前記体積を前記原料山オクルージョン部の前記体積と同じと推定する処理と、
を行うように構成されている、
付記３記載の体積計測装置。
［付記５］
前記原料山体積算出部は、さらに、対称でないときに、前記オクルージョン情報に基づいて、前記原料山オクルージョン部の体積を算出する処理を行うように構成されている、
付記４記載の体積計測装置。
［付記６］
前記原料山体積算出部は、さらに、前記原料山オクルージョン部がないときに、前記原料山オクルージョン部の体積を０と推定する処理を行うように構成されている、
付記３乃至５のいずれか一に記載の体積計測装置。
［付記７］
前記原料山体積算出部は、前記原料山の体積を算出する処理において、
前記原料山非オクルージョン部の前記体積と、前記原料山オクルージョン部の前記体積との合計体積を算出する処理と、
前記非原料山の形状に係る非原料山情報を取得する処理と、
少なくとも、前記原料山点群部、前記原料山補間点群部、及び、前記非原料山情報に基づいて、前記非原料山において、前記原料山に埋没している少なくとも一部の埋没部があるか否かを確認する処理と、
少なくとも、前記原料山点群部、前記原料山補間点群部、及び、前記非原料山情報に基づいて、前記非原料山の前記埋没部の体積を算出する処理と、
前記合計体積から前記非原料山の前記埋没部の前記体積を差し引いて前記原料山の前記体積を算出する処理と、
を行うように構成されている、
付記３乃至６のいずれか一に記載の体積計測装置。
［付記８］
前記オブジェクト検出部は、さらに、前記原料山点群部を検出する際、前記原料山の斜面上のある平面と前記原料ヤードにおける地面とのなす角が前記安息角情報における前記安息角を満たす点群を前記原料山点群部として検出する処理を行うように構成されている、
付記１乃至７のいずれか一に記載の体積計測装置。
［付記９］
前記オブジェクト検出部は、さらに、検出された前記オブジェクトに係る前記点群において、前記原料山点群部以外の点群を、前記非原料山点群部として検出する処理を行うように構成されている、
付記８記載の体積計測装置。
［付記１０］
前記原料山体積算出部は、さらに、前記原料山非オクルージョン部の前記体積を算出する際、前記原料山点群部に基づいて、複数の四面体から構成される凸包を作成し、前記複数の四面体のそれぞれの体積の総和を算出することで、前記凸包全体の体積を算出し、算出された前記凸包全体の前記体積を前記原料山非オクルージョン部の前記体積とする、
付記１乃至９のいずれか一に記載の体積計測装置。
［付記１１］
原料山及び非原料山を有する原料ヤードを撮影するデプスセンサと、
付記１乃至１０のいずれか一に記載の体積計測装置と、
を備える、
体積計測システム。
［付記１２］
ハードウェア資源を用いて原料山の体積を計測する体積計測方法であって、
前記原料山及び非原料山を有する原料ヤードを撮影するデプスセンサからの前記原料ヤードに係るデプス情報を前記原料ヤードに係る点群データに変換するステップと、
前記原料山の安息角に係る安息角情報を用いて、前記原料ヤードに係る前記点群データから、オブジェクトに係る点群として、前記原料山に係る原料山点群部、及び、前記非原料山に係る非原料山点群部を検出するステップと、
前記非原料山点群部を除去し、前記非原料山点群部の除去によってできた前記原料山点群部の欠損部に原料山補間点群部を補間するステップと、
少なくとも、前記原料山点群部及び前記原料山補間点群部に基づいて、前記原料山における前記デプスセンサから撮影可能な原料山非オクルージョン部の体積を算出することにより、前記原料山の体積を算出するステップと、
を含み、
前記原料山補間点群部を補間するステップでは、
前記非原料山点群部の除去によって前記原料山点群部が複数あるか否かを確認するステップと、
前記原料山点群部が複数あるときに、結合させる複数の前記原料山点群部を選択した結合選択情報を取得するステップと、
前記結合選択情報に基づいて、複数の前記原料山点群部間の前記欠損部に前記原料山補間点群部を補間するステップと、
を含む、
体積計測方法。
［付記１３］
ハードウェア資源に所定の処理を実行させるプログラムであって、
原料山及び非原料山を有する原料ヤードを撮影するデプスセンサからの前記原料ヤードに係るデプス情報を前記原料ヤードに係る点群データに変換する処理と、
前記原料山の安息角に係る安息角情報を用いて、前記原料ヤードに係る前記点群データから、オブジェクトに係る点群として、前記原料山に係る原料山点群部、及び、前記非原料山に係る非原料山点群部を検出する処理と、
前記非原料山点群部を除去し、前記非原料山点群部の除去によってできた前記原料山点群部の欠損部に原料山補間点群部を補間する処理と、
少なくとも、前記原料山点群部及び前記原料山補間点群部に基づいて、前記原料山における前記デプスセンサから撮影可能な原料山非オクルージョン部の体積を算出することにより、前記原料山の体積を算出する処理と、
を実行させ、
前記原料山補間点群部を補間する処理では、
前記非原料山点群部の除去によって前記原料山点群部が複数あるか否かを確認する処理と、
前記原料山点群部が複数あるときに、結合させる複数の前記原料山点群部を選択した結合選択情報を取得する処理と、
前記結合選択情報に基づいて、複数の前記原料山点群部間の前記欠損部に前記原料山補間点群部を補間する処理と、
を実行させる、
プログラム。

なお、上記の特許文献、非特許文献の各開示は、本書に引用をもって繰り込み記載されているものとし、必要に応じて本発明の基礎ないし一部として用いることが出来るものとする。本発明の全開示（特許請求の範囲及び図面を含む）の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の全開示の枠内において種々の開示要素（各請求項の各要素、各実施形態ないし実施例の各要素、各図面の各要素等を含む）の多様な組み合わせないし選択（必要により不選択）が可能である。すなわち、本発明は、請求の範囲及び図面を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。また、本願に記載の数値及び数値範囲については、明記がなくともその任意の中間値、下位数値、及び、小範囲が記載されているものとみなされる。さらに、上記引用した文献の各開示事項は、必要に応じ、本願発明の趣旨に則り、本願発明の開示の一部として、その一部又は全部を、本書の記載事項と組み合わせて用いることも、本願の開示事項に含まれる（属する）ものと、みなされる。

１ 体積計測システム
１０ 原料山
１１、１１ａ、１１ｂ 原料山点群部
１２ 欠損部
１３ 原料山補間点群部
１４ 原料山非オクルージョン部
１５ 原料山オクルージョン部
２０ 原料ヤード
２１ 地面
３０、３０ａ、３０ｂ 非原料山
３１、３１ａ、３１ｂ 非原料山点群部
３２ 埋没部
１００ 体積計測装置
１１０ 情報処理部
１１１ 取得部
１１２ 点群変換部
１１３ オブジェクト検出部
１１４ 点群補間部
１１５ 原料山体積算出部
１２０ 記憶部
１２１ 点群記憶部
１２２ 安息角記憶部
１３０ 入力部
１４０ 出力部
１５０ 通信部
２００ 撮影装置
２０１ デプスセンサ
２０２ センサ制御部
２０３ 通信部
１０００ ハードウェア資源
１００１ プロセッサ
１００２ メモリ
１００３ ネットワークインタフェイス
１００４ 内部バス

Claims (13)

1. 原料山及び非原料山を有する原料ヤードを撮影するデプスセンサからの前記原料ヤードに係るデプス情報を前記原料ヤードに係る点群データに変換するように構成された点群変換部と、
   前記原料山の安息角に係る安息角情報を用いて、前記原料ヤードに係る前記点群データから、オブジェクトに係る点群として、前記原料山に係る原料山点群部、及び、前記非原料山に係る非原料山点群部を検出するように構成されたオブジェクト検出部と、
   前記非原料山点群部を除去し、前記非原料山点群部の除去によってできた前記原料山点群部の欠損部に原料山補間点群部を補間するように構成された点群補間部と、
   少なくとも、前記原料山点群部及び前記原料山補間点群部に基づいて、前記原料山における前記デプスセンサから撮影可能な原料山非オクルージョン部の体積を算出することにより、前記原料山の体積を算出するように構成された原料山体積算出部と、
   を備え、
   前記点群補間部は、
   前記非原料山点群部の除去によって前記原料山点群部が複数あるか否かを確認する処理と、
   前記原料山点群部が複数あるときに、結合させる複数の前記原料山点群部を選択した結合選択情報を取得する処理と、
   前記結合選択情報に基づいて、複数の前記原料山点群部間の前記欠損部に前記原料山補間点群部を補間する処理と、
   を行うように構成されている、
   体積計測装置。
2. 前記点群補間部は、さらに、
   前記原料山点群部が１つであるときに、前記原料山点群部の前記欠損部の形状に係る欠損部情報を取得する処理と、
   前記欠損部情報に基づいて、前記欠損部に原料山補間点群部を補間する処理と、
   を行うように構成されている、
   請求項１記載の体積計測装置。
3. 前記原料山体積算出部は、
   前記原料山点群部に基づいて、前記原料山における前記デプスセンサから撮影不能な原料山オクルージョン部があるか否かを確認する処理と、
   前記原料山オクルージョン部があるときに、前記原料山オクルージョン部の形状に係るオクルージョン情報を取得する処理と、
   前記オクルージョン情報に基づいて、前記原料山オクルージョン部の体積を算出する処理と、
   前記原料山非オクルージョン部の前記体積と、前記原料山オクルージョン部の前記体積とに基づいて、前記原料山の体積を算出する処理と、
   を行うように構成されている、
   請求項１又は２記載の体積計測装置。
4. 前記原料山体積算出部は、さらに、
   前記オクルージョン情報に基づいて、前記原料山非オクルージョン部の形状と前記原料山オクルージョン部の形状とが対称であるか否かを確認する処理と、
   対称であるときに、前記原料山非オクルージョン部の前記体積を前記原料山オクルージョン部の前記体積と同じと推定する処理と、
   を行うように構成されている、
   請求項３記載の体積計測装置。
5. 前記原料山体積算出部は、さらに、対称でないときに、前記オクルージョン情報に基づいて、前記原料山オクルージョン部の体積を算出する処理を行うように構成されている、
   請求項４記載の体積計測装置。
6. 前記原料山体積算出部は、さらに、前記原料山オクルージョン部がないときに、前記原料山オクルージョン部の体積を０と推定する処理を行うように構成されている、
   請求項３乃至５のいずれか一に記載の体積計測装置。
7. 前記原料山体積算出部は、前記原料山の体積を算出する処理において、
   前記原料山非オクルージョン部の前記体積と、前記原料山オクルージョン部の前記体積との合計体積を算出する処理と、
   前記非原料山の形状に係る非原料山情報を取得する処理と、
   少なくとも、前記原料山点群部、前記原料山補間点群部、及び、前記非原料山情報に基づいて、前記非原料山において、前記原料山に埋没している少なくとも一部の埋没部があるか否かを確認する処理と、
   少なくとも、前記原料山点群部、前記原料山補間点群部、及び、前記非原料山情報に基づいて、前記非原料山の前記埋没部の体積を算出する処理と、
   前記合計体積から前記非原料山の前記埋没部の前記体積を差し引いて前記原料山の前記体積を算出する処理と、
   を行うように構成されている、
   請求項３乃至６のいずれか一に記載の体積計測装置。
8. 前記オブジェクト検出部は、さらに、前記原料山点群部を検出する際、前記原料山の斜面上のある平面と前記原料ヤードにおける地面とのなす角が前記安息角情報における前記安息角を満たす点群を前記原料山点群部として検出する処理を行うように構成されている、
   請求項１乃至７のいずれか一に記載の体積計測装置。
9. 前記オブジェクト検出部は、さらに、検出された前記オブジェクトに係る前記点群において、前記原料山点群部以外の点群を、前記非原料山点群部として検出する処理を行うように構成されている、
   請求項８記載の体積計測装置。
10. 前記原料山体積算出部は、さらに、前記原料山非オクルージョン部の前記体積を算出する際、前記原料山点群部に基づいて、複数の四面体から構成される凸包を作成し、前記複数の四面体のそれぞれの体積の総和を算出することで、前記凸包全体の体積を算出し、算出された前記凸包全体の前記体積を前記原料山非オクルージョン部の前記体積とする、
    請求項１乃至９のいずれか一に記載の体積計測装置。
11. 原料山及び非原料山を有する原料ヤードを撮影するデプスセンサと、
    請求項１乃至１０のいずれか一に記載の体積計測装置と、
    を備える、
    体積計測システム。
12. ハードウェア資源を用いて原料山の体積を計測する体積計測方法であって、
    前記原料山及び非原料山を有する原料ヤードを撮影するデプスセンサからの前記原料ヤードに係るデプス情報を前記原料ヤードに係る点群データに変換するステップと、
    前記原料山の安息角に係る安息角情報を用いて、前記原料ヤードに係る前記点群データから、オブジェクトに係る点群として、前記原料山に係る原料山点群部、及び、前記非原料山に係る非原料山点群部を検出するステップと、
    前記非原料山点群部を除去し、前記非原料山点群部の除去によってできた前記原料山点群部の欠損部に原料山補間点群部を補間するステップと、
    少なくとも、前記原料山点群部及び前記原料山補間点群部に基づいて、前記原料山における前記デプスセンサから撮影可能な原料山非オクルージョン部の体積を算出することにより、前記原料山の体積を算出するステップと、
    を含み、
    前記原料山補間点群部を補間するステップでは、
    前記非原料山点群部の除去によって前記原料山点群部が複数あるか否かを確認するステップと、
    前記原料山点群部が複数あるときに、結合させる複数の前記原料山点群部を選択した結合選択情報を取得するステップと、
    前記結合選択情報に基づいて、複数の前記原料山点群部間の前記欠損部に前記原料山補間点群部を補間するステップと、
    を含む、
    体積計測方法。
13. ハードウェア資源に実行させるプログラムであって、
    原料山及び非原料山を有する原料ヤードを撮影するデプスセンサからの前記原料ヤードに係るデプス情報を前記原料ヤードに係る点群データに変換する処理と、
    前記原料山の安息角に係る安息角情報を用いて、前記原料ヤードに係る前記点群データから、オブジェクトに係る点群として、前記原料山に係る原料山点群部、及び、前記非原料山に係る非原料山点群部を検出する処理と、
    前記非原料山点群部を除去し、前記非原料山点群部の除去によってできた前記原料山点群部の欠損部に原料山補間点群部を補間する処理と、
    少なくとも、前記原料山点群部及び前記原料山補間点群部に基づいて、前記原料山における前記デプスセンサから撮影可能な原料山非オクルージョン部の体積を算出することにより、前記原料山の体積を算出する処理と、
    を実行させ、
    前記原料山補間点群部を補間する処理では、
    前記非原料山点群部の除去によって前記原料山点群部が複数あるか否かを確認する処理と、
    前記原料山点群部が複数あるときに、結合させる複数の前記原料山点群部を選択した結合選択情報を取得する処理と、
    前記結合選択情報に基づいて、複数の前記原料山点群部間の前記欠損部に前記原料山補間点群部を補間する処理と、
    を実行させる、
    プログラム。

Images