JP2023048455A - 粒径計測装置及び粒径計測プログラム - Google Patents

Abstract

【課題】粒状材料の粒径を精度よく計測することを目的とする。【解決手段】深さ画像取得部２６が、前記粒状材料の集積物の表面を表す画像であって、各画素が、奥行き値である深さ画像を取得する。そして、検出部３０が、前記深さ画像の各部分画像を入力とし、前記部分画像が粒状材料を表すか否かを判定する予め学習されたニューラルネットワークモデルを用いて、前記深さ画像から前記粒状材料を検出する。計測部３４が、前記粒状材料の検出結果から、前記粒状材料の粒径を計測する。【選択図】図２

Description

本発明は、粒径計測装置及び粒径計測プログラムに関する。

従来より、三次元計測により計測される三次元計測結果と、これにより生成される２５６階調の深さ画像を対象とし、粒径計測を目的として開発された二次元画像処理を応用した粒径検出アルゴリズムが知られている（例えば、特許文献１）。

特許第６２８１０１４号公報

しかしながら、従来技術の粒径計測アルゴリズムには、重なり合う礫の検出ができない、礫以外の異物の検出ができない、三次元計測の計測点が一定以上でなければ粒径検出処理を行うことができない、などの問題点がある。

本発明は上記事実を考慮して、粒状材料の粒径を精度よく計測することができることを目的とする。

本発明に係る粒径計測装置は、粒状材料の集積物から当該粒状材料の粒径を計測する粒径計測装置であって、前記粒状材料の集積物の表面を表す画像であって、各画素が、奥行き値である深さ画像を取得する取得部と、前記深さ画像の各部分画像を入力とし、前記部分画像が粒状材料を表すか否かを判定する予め学習されたニューラルネットワークモデルを用いて、前記深さ画像から前記粒状材料を検出する検出部と、前記粒状材料の検出結果から、前記粒状材料の粒径を計測する計測部と、を含んで構成されている。

本発明に係る粒径計測装置によれば、取得部が、前記粒状材料の集積物の表面を表す画像であって、各画素が、奥行き値である深さ画像を取得する。そして、検出部が、前記深さ画像の各部分画像を入力とし、前記部分画像が粒状材料を表すか否かを判定する予め学習されたニューラルネットワークモデルを用いて、前記深さ画像から前記粒状材料を検出する。計測部が、前記粒状材料の検出結果から、前記粒状材料の粒径を計測する。

このように、前記粒状材料の集積物の表面を表す深さ画像から、ニューラルネットワークモデルを用いて、粒状材料を検出し、粒状材料の粒径を計測することにより、粒状材料の粒径を精度よく計測することができる。

本発明に係る粒径計測装置は、前記粒状材料の集積物の表面を表す３次元点群を取得する点群取得部と、前記取得した前記３次元点群を、前記３次元点群が表す表面を近似する平面と、３次元点群の計測面とが対応するように補正する前処理部と、を更に含み、前記取得部は、前記補正された前記３次元点群から、前記深さ画像を取得する。

本発明に係る前記粒状材料は、礫である。

本発明に係る粒径計測装置は、前記粒状材料の検出結果から、前記粒状材料の形状を推定する形状推定部を更に含み、前記計測部は、前記推定された前記粒状材料の形状から、前記粒状材料の粒径を計測する。

本発明に係る前記計測部は、前記推定された前記粒状材料の形状から求められる面積、短径、又は長径に基づいて、前記粒状材料の粒径を計測する。

本発明に係る粒径計測プログラムは、粒状材料の集積物から当該粒状材料の粒径を計測する粒径計測プログラムであって、コンピュータを、前記粒状材料の集積物の表面を表す画像であって、各画素が、奥行き値である深さ画像を取得する取得部、前記深さ画像の各部分画像を入力とし、前記部分画像が粒状材料を表すか否かを判定する予め学習されたニューラルネットワークモデルを用いて、前記深さ画像から前記粒状材料を検出する検出部、及び前記粒状材料の検出結果から、前記粒状材料の粒径を計測する計測部として機能させるためのプログラムである。

以上説明したように、本発明の粒径計測装置及び粒径計測プログラムによれば、前記粒状材料の集積物の表面を表す深さ画像から、ニューラルネットワークモデルを用いて、粒状材料を検出し、粒状材料の粒径を計測することにより、粒状材料の粒径を精度よく計測することができる、という効果が得られる。

本発明の実施の形態に係る粒径計測装置及び学習装置を示すブロック図である。 本発明の実施の形態に係る粒径計測装置を示す機能ブロック図である。 カメラのセンサー平面と、計測対象面とで角度のずれが生じている例を示す図である。 礫一つ一つの距離分解能が異なる例を示す図である。 （Ａ）カメラセンサー平面と、三次元計測結果として得られる点群に対し近似する三次元平面との角度がずれている例を示す図、及び（Ｂ）点群に対し近似する三次元平面と、カメラのセンサー平面とが平行となるように三次元点群を変換した例を示す図である。 変換された三次元点群の例、及び礫一つ一つの距離分解能が最適なものに調節された例を示す図である。 （Ａ）前処理前の３次元点群の計測結果の例を示す図、及び（Ｂ）前処理後の３次元点群の計測結果の例を示す図である。 粒状材料の粒径の算出方法を説明するための図である。 粒状材料の粒径の算出方法を説明するための図である。 本発明の実施の形態に係る学習装置を示す機能ブロック図である。 本発明の実施の形態に係る粒径計測装置の粒径計測処理ルーチンの内容を示すフローチャートである。 従来技術の手法を用いた実験結果を示す図である。 本実施の形態の手法を用いた実験結果を示す図である。

以下、図面を参照して本発明の実施の形態を詳細に説明する。

＜本発明の実施の形態の原理＞
本発明の実施の形態では、ニューラルネットワークによる物体検出処理を利用した粒径計測処理を行う。

礫の検出には、ニューラルネットワークによる物体検出技術（例えばＹＯＬＯ（Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ）、Ｆａｓｔ Ｒ－ＣＮＮ（Ｒｅｇｉｏｎｓ ｗｉｔｈ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）、ＳＳＤ（Ｓｉｎｇｌｅ Ｓｈｏｔ Ｍｕｌｔｉｂｏｘ Ｄｅｔｅｃｔｏｒ））を応用し、その深さ画像上における礫を表す矩形領域の検出を行い、更に検出された矩形領域の中から二次元画像処理を適応することにより、より詳細な礫形状の推定を行う。

ニューラルネットワークによる物体検出対象とするデータを、三次元計測後の二次元深さ画像とし、これにより礫表面の不規則な模様など、礫形状と関係のない情報を無視することが可能となり、純粋に礫形状のみを考慮したモデルの作成が可能となり、限られた学習用データの利用であっても、高い物体検出精度を実現可能となる。学習用データには、礫の多少は限定せず限られたデータを用いる。

＜本発明の実施の形態の粒径計測装置の構成＞
図１に示すように、本発明の実施の形態に係る粒径計測装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１２、グラフィックカード１３、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１４、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１６、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）１８、通信インタフェース（Ｉ／Ｆ）２１、及びこれらを相互に接続するためのバス２３を備えている。

ＣＰＵ１２、ＧＰＵ１４は、各種プログラムを実行する。ＲＡＭ１６は、ＣＰＵ１２による各種プログラムの実行時におけるワークエリア等として用いられる。記録媒体としてのＨＤＤ１８には、後述する粒径計測処理ルーチンを実行するためのプログラムを含む各種プログラムや各種データが記憶されている。

本実施の形態における粒径計測装置１００を、粒径計測処理ルーチンを実行するためのプログラムに沿って、機能ブロックで表すと、図２に示すようになる。粒径計測装置１００は、入力部１０、演算部２０、及び出力部５０を備えている。

入力部１０は、粒状材料の集積物の三次元計測を行うためのデータを入力として受け付ける。

具体的には、粒状材料は、礫であり、例えば、掘削ズリ（トンネル掘削ズリ）を対象とする。粒状材料の集積物の集積場所は問わないが、一例として、盛土工区へ運搬するためのダンプカー（運搬車両）の荷台を想定している。

また、本実施の形態では、三次元計測を実現する手段として、図３に示したように、プロジェクター（コンパクト・プロジェクター）とＣＣＤカメラを１台ずつ用いて行う空間コード化法を採用する。この空間コード化法は、計測現場の環境光の変化に強く、しかもシステム全体を低コストかつコンパクトに抑えられる利点がある。

プロジェクターとＣＣＤカメラは、それぞれケーブルを介して粒径計測装置１００に接続される。粒径計測装置１００によりプロジェクターとＣＣＤカメラの制御が行われ、撮影対象表面の三次元計測を行うことが可能となる。

プロジェクターによるパターン投影と、ＣＣＤカメラによる画像キャプチャー動作は、粒径計測装置１００により同期コントロールされ、撮影時間は短時間（数秒～５秒程度）に抑えることができる。

演算部２０は、点群取得部２２、前処理部２４、深さ画像取得部２６、学習済みモデル記憶部２８、検出部３０、形状推定部３２、及び計測部３４を備えている。

点群取得部２２は、入力部１０に入力されたデータから、粒状材料の集積物の表面を表す３次元点群を取得する。

具体的には、プロジェクターとＣＣＤカメラのデータを基に空間コード化法により、それぞれのピクセルのカメラ座標系における三次元計測（三次元座標値の算出）を行い、３次元点群を取得する。

より具体的に説明すると、空間コード化法は、プロジェクターにより計測対象に複数のスリットを投影し、同時にＣＣＤカメラで対象の撮影を行い、これらの撮影画像を利用して撮影空間上にコードを割り振り、これを利用して三次元計測を行う手法である。この手法は、一般的に確立された三次元計測手法であるため、その原理等の説明は割愛するが、撮影時にプロジェクターから投影されるパターンの各サンプルを組み合わせ、空間コードの割り振りを行い、プロジェクター座標系、カメラ座標系と、測定対象間の三角測量により、撮影された画像上のそれぞれのピクセルにおける三次元位置を計測するのである。

前処理部２４は、取得した３次元点群を、３次元点群が表す表面を近似する平面と、３次元点群の計測面とが対応するように補正する。

ここで、前処理部２４の原理について説明する。粒径計測処理における三次元計測過程において、粒径計測装置１００のハードウェア設置上のずれや、計測対象面の状況により、粒状材料の集積物の計測対象平面とＣＣＤカメラのセンサー平面に角度のずれが生じる。例えば、図３に示すように、ＣＣＤカメラのセンサー平面と、計測対象面とで角度のずれが生じる。なお、この角度のずれは、本来は三次元的な角度のずれとなるが、図３中では二次元で表示している。この、三次元計測結果として生じる角度差は、後に続く、粒径計測処理過程において行われる深さ画像作成時に、測定距離の最大値と最小値の間で２５６階調に正規化が行われる際に、計測される礫一つ一つの距離分解能が低下する原因となる（図４）。図４では、上部の破線上に存在する礫一つ一つの距離分解能が異なる例を示している。

この問題により、二次元画像処理として行われる粒径計測アルゴリズム適応時に、その検出率と検出粒径の両面における精度の低下が引き起こされる。

以上の問題点を解決するために、本実施の形態では、自動傾き補正処理機能を有する前処理を行う。この前処理では、まず三次元計測結果として得られる点群に対し近似する三次元平面の生成を行う（図５（Ａ）参照）。図５（Ａ）では、カメラセンサー平面と、三次元計測結果として得られる点群に対し近似する三次元平面との角度がずれている例を示している。なお、この角度のずれは、本来は三次元的な角度のずれとなるが、図５中では二次元で表示している。

次にこの推定された三次元平面と、ＣＣＤカメラのセンサー平面とが平行となるような座標変換行列を算出し、この座標変換行列を全ての測定点に対して適応する（図５（Ｂ）参照）。図５（Ｂ）では、点群に対し近似する三次元平面と、ＣＣＤカメラのセンサー平面とが平行となるように三次元点群を変換した例を示している。

これにより、測定対象面と、ＣＣＤカメラのセンサー面の角度が最適なものに調節され、２５６階調の深さ画像生成時に最適な距離の解像度を保った状態で深さ画像への変換を行うことが可能となる（図６参照）。図６の上部には、変換された三次元点群の例を示し、図６の下部には、上部の破線上に存在する礫一つ一つの距離分解能が最適なものに調節された例を示している。

図７（Ａ）に、前処理を行わずに得られる深さ画像の例を示し、図７（Ｂ）に、前処理を行った後に得られる深さ画像の例を示す。このように、前処理を行うことにより、深さ画像において適正に深さが表示されることが確認できる。

深さ画像取得部２６は、前処理部２４によって補正された３次元点群から、深さ画像を取得する。具体的には、前処理部２４によって補正された３次元点群を、粒状材料の集積物の表面を表す画像であって、各画素が、奥行き値である深さ画像に変換する。

学習済みモデル記憶部２８は、深さ画像の各部分画像を入力とし、部分画像が粒状材料を表すか否かを判定する予め学習されたニューラルネットワークモデルである学習済みモデルを記憶している。この学習済みモデルは、後述する学習装置１５０により予め学習されたものである。

検出部３０は、予め学習されたニューラルネットワークモデルを用いて、深さ画像取得部２６によって取得された深さ画像から粒状材料の各々を検出する。例えば、深さ画像上に、バウンディングボックスである矩形領域を走査しながら、当該矩形領域の部分画像をニューラルネットワークモデルに入力し、ニューラルネットワークの出力を取得し、ニューラルネットワークの出力が、粒状材料であることを示す矩形領域の各々を、粒状材料を表す矩形領域として検出する。

次に、粒状材料の粒径を計測する原理について説明する。

従来技術では、粒状材料を円で近似して粒径を計測しているが、本実施の形態では、曲線を用いて、検出された矩形領域内での粒状材料の形状をより正確に計測する。

ここで、粒径の考え方について説明する。

標準フルイを用いた粒度試験から得られた粒径分布がほぼ同じであっても、（１）土粒子形状の違いにより、締固め時の最大乾燥密度が異なる。また、（２）粒子形状の違いにより粒状材料の粒径計測方法による土粒子径の推定値も異なる。

上記（２）に関しては、例えば、表面がギザギザのラグビーボールのような土粒子の形状を３次元的に正しく測定できれば、どの部分の直径を、工学的な（即ち、粒度試験で測定される）粒子径と判断するか、定めることが可能となる。そのことにより、従来のふるい分け試験と同様な考えができより正確な粒径判定が可能となる。

そこで、本実施の形態では、形状推定部３２は、粒状材料の検出結果から、粒状材料の各々の形状を推定する。具体的には、形状推定部３２は、曲線を用いて、検出された矩形領域内での粒状材料の形状を推定する。

計測部３４は、粒状材料の各々について、推定された粒状材料の形状から、粒状材料の粒径を計測し、出力部５０により出力する。

具体的には、図８に示すように、曲線を用いて推定された粒状材料の形状から、同面積の円に近似させ、以下の式から、粒状材料の粒径を算出する。
ｄ＝２×√（Ｔ／π）
ただし、ｄは、直径（粒径）であり、Ｔは面積である。

あるいは、図９に示すように、曲線を用いて推定された粒状材料の形状から、粒状材料の粒径として、短径ａと長径ｂを算出し、短径ａと長径ｂの少なくとも一方を、粒状材料の粒径とする。

＜本発明の実施の形態の学習装置の構成＞
上記図１に示すように、本発明の実施の形態に係る学習装置１５０は、粒径計測装置１００と同様に、ＣＰＵ１２、グラフィックカード１３、ＧＰＵ１４、ＲＡＭ１６、ＨＤＤ１８、通信インタフェース２１、及びこれらを相互に接続するためのバス２３を備えている。

本実施の形態における学習装置１５０は、図１０に示すように、入力部１１０及び演算部１２０を備えている。

入力部１１０は、粒径計測装置１００と同じ手法で得られた深さ画像の部分画像と、当該部分画像が粒状材料であるか否かを示すラベルとを含む複数の学習用データを入力として受け付ける。

演算部１２０は、学習用データ記憶部１２２と、学習部１２４と、モデル記憶部１２６とを備えている。

学習用データ記憶部１２２は、入力された複数の学習用データを記憶している。

学習部１２４は、複数の学習用データに基づいて、深さ画像の部分画像を入力とし、当該部分画像が粒状材料を表すか否かを判定するニューラルネットワークモデルを学習し、学習済みモデルとする。

具体的には、ニューラルネットワークモデルに、学習用データの深さ画像の部分画像を入力としたとき、ニューラルネットワークモデルの出力が、ラベルと同一となるように、ニューラルネットワークモデルのパラメータを学習する。

モデル記憶部１２６は、学習部１２４によって学習されたニューラルネットワークモデルである学習済みモデルを記憶する。

＜学習装置の動作＞
次に、本発明の実施の形態に係る学習装置１５０の動作について説明する。

まず、粒状材料の集積物の三次元計測を行うためのプロジェクターとＣＣＤカメラのデータから、粒状材料の集積物の表面を表す３次元点群を取得し、取得した３次元点群を、３次元点群が表す表面を近似する平面と、３次元点群の計測面とが対応するように補正した上で、深さ画像に変換しておく。そして、深さ画像の各部分画像に対し、予め、当該部分画像が粒状材料を表すか否かを示すラベルを付与し、複数の学習用データを生成する。

そして、学習装置１５０の入力部１１０が、複数の学習用データを入力として受け付けると、学習用データ記憶部１２２に、入力された複数の学習用データが記憶される。そして、学習部１２４は、複数の学習用データに基づいて、ニューラルネットワークモデルのパラメータを学習し、モデル記憶部１２６に、学習されたニューラルネットワークモデルである学習済みモデルを記憶する。

＜粒径計測装置の動作＞
次に、本発明の実施の形態に係る粒径計測装置１００の動作について説明する。

まず、学習装置１５０によって学習された学習済みモデルが、粒径計測装置１００の学習済みモデル記憶部２８に記憶される。

そして、入力部１０によって、粒状材料の集積物の三次元計測を行うためのプロジェクターとＣＣＤカメラのデータを、入力として受け付けると、粒径計測装置１００によって、図１１に示す粒径計測処理ルーチンが実行される。

まず、ステップＳ１００において、点群取得部２２は、入力部１０に入力されたデータから、粒状材料の集積物の表面を表す３次元点群を取得する。

そして、ステップＳ１０２において、前処理部２４は、取得した３次元点群を、３次元点群が表す表面を近似する平面と、３次元点群の計測面とが対応するように補正する前処理を行う。

ステップＳ１０４において、深さ画像取得部２６は、前処理部２４によって補正された３次元点群を、深さ画像に変換する。

ステップＳ１０６において、検出部３０は、予め学習されたニューラルネットワークモデルを用いて、深さ画像取得部２６によって取得された深さ画像から粒状材料の各々を検出する。

ステップＳ１０８において、形状推定部３２は、粒状材料の検出結果から、粒状材料の各々の形状を推定する。

ステップＳ１１０において、計測部３４は、粒状材料の各々について、推定された粒状材料の形状から、粒状材料の粒径を計測する。

ステップＳ１１２において、粒状材料の粒径の計測結果を、出力部５０により出力し、粒径計測処理ルーチンを終了する。例えば、粒状材料の集積物における粒径分布を、出力部５０により出力する。

＜実施例＞
現場にて計測された粒径計測結果（二次元深さ画像）を用い、ニューラルネットワークモデルの学習を行い、礫の検出精度実験を行った。従来技術として、上記特許文献１に記載の手法により、礫の検出を行った結果を図１２に示す。また、上記実施の形態の手法により、礫の検出を行った結果を図１３に示す。図１２では、検出数が１１５であり、そのうち、誤差が大きいものが１０個あり、誤検出のものが２０個ある例を示している。一方、図１３では、精度よく礫が検出されている。

学習用データとして利用した二次元深さ画像の数が限られたものであり、同様に学習時間も限定されたものであったが、上記実施の形態の手法により、十分に礫の検出が可能であることが確認された。

以上説明したように、本発明の実施の形態に係る粒径計測装置によれば、粒状材料の集積物の表面を表す深さ画像から、ニューラルネットワークモデルを用いて、粒状材料を検出し、粒状材料の粒径を計測することにより、粒状材料の粒径を精度よく計測することができる。

また、誤検出されていた、重なり合う粒状材料（例えば、礫）の検出や隣り合う粒状材料の検出、丸みを帯びた不明瞭な境界を持つ粒状材料の検出が改善され、粒径の計測精度が向上することが期待できる。すなわち、従来方法よりも粒状材料の粒径を正確に計測することが可能となる。

なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

例えば、粒状材料として礫の粒径を計測する場合を例に説明したが、これに限定されるものではない。礫以外の粒状材料の粒径を計測するようにしてもよい。例えば、粒径が75mm～300mm以上の石分の粒径を計測するようにしてもよい。

また、上記の実施の形態では、粒状材料の形状を推定してから、粒状材料の粒径を計測する場合を例に説明したが、これに限定されるものではない。粒状材料の検出結果から、粒状材料の形状を推定せずに、粒状材料の粒径を計測するようにしてもよい。例えば、上記特許文献１と同様に、検出された粒状材料を円で近似することにより、粒状材料の粒径を計測するようにしてもよい。

また、３次元点群に対して前処理せずに深さ画像に変換するようにしてもよい。

また、本発明のプログラムは、記憶媒体に格納して提供するようにしてもよい。

１０、１１０ 入力部
２０、１２０ 演算部
２２ 点群取得部
２４ 前処理部
２６ 画像取得部
２８ 学習済みモデル記憶部
３０ 検出部
３２ 形状推定部
３４ 計測部
５０ 出力部
１００ 粒径計測装置
１２２ 学習用データ記憶部
１２４ 学習部
１２６ モデル記憶部
１５０ 学習装置

Claims (6)

1. 粒状材料の集積物から当該粒状材料の粒径を計測する粒径計測装置であって、
   前記粒状材料の集積物の表面を表す画像であって、各画素が、奥行き値である深さ画像を取得する取得部と、
   前記深さ画像の各部分画像を入力とし、前記部分画像が粒状材料を表すか否かを判定する予め学習されたニューラルネットワークモデルを用いて、前記深さ画像から前記粒状材料を検出する検出部と、
   前記粒状材料の検出結果から、前記粒状材料の粒径を計測する計測部と、
   を含む粒径計測装置。
2. 前記粒状材料の集積物の表面を表す３次元点群を取得する点群取得部と、
   前記取得した前記３次元点群を、前記３次元点群が表す表面を近似する平面と、３次元点群の計測面とが対応するように補正する前処理部と、を更に含み、
   前記取得部は、前記補正された前記３次元点群から、前記深さ画像を取得する請求項１記載の粒径計測装置。
3. 前記粒状材料は、礫である請求項１又は２記載の粒径計測装置。
4. 前記粒状材料の検出結果から、前記粒状材料の形状を推定する形状推定部を更に含み、
   前記計測部は、前記推定された前記粒状材料の形状から、前記粒状材料の粒径を計測する請求項１～請求項３の何れか１項記載の粒径計測装置。
5. 前記計測部は、前記推定された前記粒状材料の形状から求められる面積、短径、又は長径に基づいて、前記粒状材料の粒径を計測する請求項４記載の粒径計測装置。
6. 粒状材料の集積物から当該粒状材料の粒径を計測する粒径計測プログラムであって、
   コンピュータを、
   前記粒状材料の集積物の表面を表す画像であって、各画素が、奥行き値である深さ画像を取得する取得部、
   前記深さ画像の各部分画像を入力とし、前記部分画像が粒状材料を表すか否かを判定する予め学習されたニューラルネットワークモデルを用いて、前記深さ画像から前記粒状材料を検出する検出部、及び
   前記粒状材料の検出結果から、前記粒状材料の粒径を計測する計測部
   として機能させるための粒径計測プログラム。

Images