JP2019159940A - 点群特徴抽出装置、点群特徴抽出方法及びプログラム - Google Patents

Abstract

【課題】ニューラルネットワークを利用して点群の各種特徴を効率的に抽出する技術を提供する。【解決手段】点群特徴抽出装置１００は、点を特徴ベクトルに変換する第１のニューラルネットワーク１１０と、ボクセル構造を特徴ベクトル付きのボクセル構造に変換する第２のニューラルネットワーク１２０と、第１のネットワークから出力される特徴情報と第２のネットワークから出力される結合情報を点群特徴情報に変換する第３のニューラルネットワーク１３０とを格納するメモリ、および、このメモリに接続され、特徴抽出対象である点群を第１のネットワークに入力することで第１の特徴行列を取得、また点群を第２のネットワークに入力することで第２の特徴行列を取得し、さらにこれらの特徴行列を第３のネットワークに入力することで点群の点群特徴情報を抽出するプロセッサから構成される。【選択図】図１

Description

本開示は、点群情報のための深層学習モデルに関する。

デプスカメラやレーザスキャナ等から取得される点群情報の応用は、ロボティクス、製造業、ビジョンなどの実産業分野において重要な問題である。通常のRGBカメラから取得された画像データに関しては、Convolutional Neural Network（以下、CNNとして参照する）に代表される深層学習モデルを用いて、効率的に画像分類や物体検出などの画像認識問題を効率的に解けることが広く知られている。

PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation, C. R. Qi et. al, In CVPR, 2017 PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metric Space: C. R. Qi et. al, In arXiv preprint arXiv:1706.02413, 2017

３次元の点群を深層学習を用いて学習するための主な手法としてPointNetが挙げられる。これは点群中のオブジェクトを識別するといった大局的な情報を必要とする問題に関しては良好な精度を達成している。しかしながら、物体の形状推定といった局所的な情報を必要とする問題に関してはその限りでない。

これを解決するために、点群の近傍間の関係も明示的に考慮することで改善を図ったPointNet++が提案されている。この手法によると、点群の近傍は効率的に捉えられるものの、大局的な情報を効率的に捉えることができない。すなわち、考慮する近傍点の数を増大させた場合、その計算コストが大きく増大する。

上述した問題点を鑑み、本開示の課題は、ニューラルネットワークを利用して点群の各種特徴を効率的に抽出するための技術を提供することである。

上記課題を解決するため、本開示の一態様は、点を特徴ベクトルに変換する第１の学習済みニューラルネットワークを含む第１のネットワークと、ボクセル構造を特徴ベクトル付きのボクセル構造に変換する第２の学習済みニューラルネットワークを含む第２のネットワークと、前記第１のネットワークから出力される第１の特徴情報と前記第２のネットワークから出力される第２の特徴情報との結合情報を点群特徴情報に変換する第３の学習済みニューラルネットワークを含む第３のネットワークとを格納するメモリと、前記メモリに接続され、特徴抽出対象の点群を前記第１のネットワークに入力し、前記点群の各点の特徴ベクトルから構成される第１の特徴行列を取得し、前記点群を前記第２のネットワークに入力し、前記点群の各点の特徴ベクトルから構成される第２の特徴行列を取得し、前記第１の特徴行列と前記第２の特徴行列とを前記第３のネットワークに入力し、前記点群の点群特徴情報を抽出するプロセッサと、を有する点群特徴抽出装置に関する。

本開示によると、ニューラルネットワークを利用して点群の各種特徴を効率的に抽出するための技術を提供することができる。

本開示の一実施例による点群特徴抽出装置の構成を示す概略図である。 本開示の一実施例による点群特徴抽出装置のハードウェア構成を示すブロック図である。 本開示の一実施例によるポイントネットワークにおける点群特徴抽出処理を示すフローチャートである。 本開示の一実施例によるボクセルネットワークにおける点群特徴抽出処理を示すフローチャートである。 本開示の一実施例による結合ネットワークにおける点群特徴抽出処理を示すフローチャートである。 本開示の一実施例による点群特徴抽出装置に用いられるニューラルネットワークの学習処理を示すフローチャートである。

以下の実施例では、ニューラルネットワークを利用して点群の各種特徴を抽出する点群特徴抽出装置が開示される。

本開示による点群特徴抽出装置は、点群を点単位で処理するポイントネットワークと、点群をボクセル構造を用いて処理するボクセルネットワークとを含み、ポイントネットワークからの特徴情報とボクセルネットワークからの特徴情報との結合情報から点群特徴情報を抽出する。

ここで、点群の局所的情報（各点の法線、各点のカテゴリ、各点が属する物体内のパーツなど）はポイントネットワークから取得されると推定され、点群の大局的情報（点群により表される物体のカテゴリ、物体の把持位置など）はボクセルネットワークから取得されると推定される。

本開示による点群特徴抽出装置によると、各点とボクセル構造との異なるデータ構造を有する入力データを処理する異なるタイプのネットワークから、異なるタイプの点群特徴情報（例えば、局所的情報及び大局的情報）が取得され、単一タイプのネットワークによって様々な点群特徴を抽出する場合と比較して、点群の各種特徴を効率的に抽出することが可能になる。

まず、図１〜２を参照して、本開示の一実施例による点群特徴抽出装置の構成を説明する。図１は、本開示の一実施例による点群特徴抽出装置の構成を示す概略図である。

図１に示されるように、本開示の一実施例による点群特徴抽出装置１００は、ポイントネットワーク１１０、ボクセルネットワーク１２０及び結合ネットワーク１３０を有する。点群特徴抽出装置１００は、N個の点を含む点群を入力として与えられると、当該点群及び／又は各点の特徴情報を抽出する。典型的には、各点は３次元座標であるが、本開示による点はこれに限定されるものでなく、例えば、L次元のベクトルであってもよい（Lは自然数）。

ポイントネットワーク１１０は、点を特徴ベクトルに変換する学習済みニューラルネットワークを含む。図示された実施例では、当該学習済みニューラルネットワークは、３２個のノードを備えた第１の中間層又は隠れ層、６４個のノードを備えた第２の中間層又は隠れ層及び１２８個のノードを備えた出力層から構成されるマルチレイヤパーセプトロンMLP (32, 64, 128)である。しかしながら、本開示による点群特徴抽出装置１００は、これに限定されず、他の何れか適切な構成を有するニューラルネットワークが適用されてもよい。

具体的には、N個の点を含む点群が与えられると、ポイントネットワーク１１０はまず、点群の各点x_iに対して最近傍探索を実行し、当該点x_iに最も近い所定数個（図示された具体例では、k個）の近傍点x_jを抽出する。当該最近傍探索（Nearest Neighbor Search）は、点x_iと点群内の各点との距離を計算することによって近傍点x_jを求める線形探索などの何れかの手法によって実現可能である。

その後、ポイントネットワーク１１０は、抽出した各近傍点x_jと点x_iとの相対座標（x_j - x_i）を学習済みニューラルネットワークMLP(32, 64, 128)に入力し、学習済みニューラルネットワークMLP(32, 64, 128)からk個の１２８次元の特徴ベクトルを取得する。さらに、ポイントネットワーク１１０は、取得したk個の特徴ベクトルに対してmax-pooling関数を適用し、１２８次元の特徴ベクトルを取得する。一般に、max-pooling関数は、k個のF次元の特徴ベクトルに対して、各ベクトル成分f（1 ≦ f ≦ F）の最大値を成分として有する１つのベクトルを出力する関数である。なお、本開示による点群特徴抽出装置１００は、max-pooling関数に限定されず、複数の特徴ベクトルを１つの特徴ベクトルに集約する他の何れか適切な関数が適用されてもよい。

ポイントネットワーク１１０は、上述した処理を点群におけるN個の各点x_i (i = 1, ..., N)に対して実行し、取得したN個の１２８次元の特徴ベクトルから（N×128）次元の特徴行列を生成し、結合ネットワーク１３０にわたす。例えば、当該特徴行列は、N個の特徴ベクトルを列方向に連接したものであってもよい。

ここで、当該特徴行列は、点群の各点に関する局所的情報を示すと考えられる。例えば、局所的情報は、各点における法線、各点のカテゴリ及び各点が属するパーツの少なくとも１つ以上の特徴を含むと推定される。

このようにして、ポイントネットワーク１１０は、主として点群の各点の局所的情報を抽出すると推定される。

ボクセルネットワーク１２０は、ボクセル構造を特徴ベクトル付きのボクセル構造に変換する学習済みニューラルネットワークを含む。図示された実施例では、当該学習済みニューラルネットワークは、３次元U-Netであるが、本開示による点群特徴抽出装置１００は、３次元U-Netに限定されず、３次元データを処理可能な他の何れか適切な構成を有するニューラルネットワークが適用されてもよい。

具体的には、N個の点を含む点群が与えられると、ボクセルネットワーク１２０はまず、点群をボクセル構造に変換する。ここで、当該ボクセル構造の各ボクセルには、当該ボクセルに点群の点が存在するか否かを示す値が関連付けされる。例えば、３次元空間がM×M×Mのボクセル構造に分割され（図示された実施例では、M = 32）、各ボクセル内に点群の点が１つ以上存在する場合、当該ボクセルに１が関連付けされ、そうでない場合、当該ボクセルに０が関連付けされてもよい。これにより、点群からM×M×M×1のボクセル構造が生成される。

その後、ボクセルネットワーク１２０は、変換されたボクセル構造を学習済みニューラルネットワーク3D U-Netに入力し、学習済みニューラルネットワーク3D U-NetからM×M×M×Gの特徴ベクトル付きのボクセル構造（図示された実施例では、G = 64）を取得する。すなわち、学習済みニューラルネットワーク3D U-Netは、各ボクセルに当該ボクセルのG次元の特徴ベクトルが関連付けされた特徴ベクトル付きのボクセル構造を出力する。図示された実施例では、入力されたM×M×M×1のボクセル構造は、同一の解像度を有し、６４次元の特徴ベクトルを有するM×M×M×64の特徴ベクトル付きのボクセル構造に変換される。

さらに、ボクセルネットワーク１２０は、生成された特徴ベクトル付きのボクセル構造に基づき点群の各点の特徴ベクトルを決定する。すなわち、ボクセルネットワーク１２０は、特徴ベクトル付きのボクセル構造の各ボクセルに含まれる点群の各点に当該ボクセルのG次元の特徴ベクトルを関連付ける。具体的には、あるボクセルに点群の点が含まれる場合、ボクセルネットワーク１２０は、当該ボクセルのG次元の特徴ベクトルを当該点に関連付けする。このようにして、N個の点に対して６４次元の特徴ベクトルを取得すると、ボクセルネットワーク１２０は、各点に関連付けされた６４次元の特徴ベクトルから（N×64）次元の特徴行列を構成し、結合ネットワーク１３０にわたす。例えば、当該特徴行列は、N個の特徴ベクトルを列方向に連接したものであってもよい。

ここで、当該特徴行列は、点群の大局的情報を示すと考えられる。例えば、大局的情報は、点群を示す物体及び当該物体の把持位置の少なくとも１つ以上の特徴を含むと推定される。

このようにして、ボクセルネットワーク１２０は、主として点群の大局的情報を抽出すると推定される。

結合ネットワーク１３０は、ポイントネットワーク１１０から出力された特徴情報とボクセルネットワーク１２０から出力された特徴情報との結合情報を点群特徴情報に変換する学習済みニューラルネットワークを含む。図示された実施例では、当該学習済みニューラルネットワークは、１２８個のノードを備えた第１の中間層又は隠れ層、６４個のノードを備えた第２の中間層又は隠れ層及び３個のノードを備えた出力層から構成されるマルチレイヤパーセプトロンMLP (128, 64, 3)である。しかしながら、本開示による点群特徴抽出装置１００は、これに限定されず、他の何れか適切な構成を有するニューラルネットワークが適用されてもよい。

具体的には、結合ネットワーク１３０はまず、ポイントネットワーク１１０から取得した特徴行列（図示された実施例では、（N×128）次元の特徴行列）と、ボクセルネットワーク１２０から取得した特徴行列（図示された実施例では、（N×64）次元の特徴行列）とを行方向に連接し、結合情報（図示された実施例では、（N×192）次元の特徴行列）を構成する。なお、結合情報の生成は行列の連接に限定されず、他の何れか適切な結合演算が適用されてもよい。

その後、結合ネットワーク１３０は、結合情報を学習済みニューラルネットワークMLP (128, 64, 3)に入力し、学習済みニューラルネットワークMLP (128, 64, 3)から点群特徴情報（図示された実施例では、３次元のN個の特徴ベクトル）を取得する。

上述した実施例では、最終的に取得される点群特徴情報は３次元のベクトルから構成されるが、本開示による点群特徴抽出装置１００はこれに限定されず、抽出対象の特徴の種類に応じて適切な次元が設定されてもよい。

ここで、点群特徴抽出装置１００は、例えば、図２に示されるように、CPU (Central Processing unit)、GPU (Graphics Processing Unit)などのプロセッサ１０１、RAM (Random Access Memory)、フラッシュメモリなどのメモリ１０２、ハードディスク１０３及び入出力(I/O)インタフェース１０４によるハードウェア構成を有してもよい。

プロセッサ１０１は、点群特徴抽出装置１００の各種処理を実行し、上述したポイントネットワーク１１０、ボクセルネットワーク１２０及び結合ネットワーク１３０を実現するプログラムの実行、ポイントネットワーク１１０、ボクセルネットワーク１２０及び結合ネットワーク１３０との間のデータのやりとりを含む点群特徴抽出装置１００の全体制御などの各種処理を実行する。具体的には、プロセッサ１０１は、抽出対象の点群をポイントネットワーク１１０及びボクセルネットワーク１２０に入力し、ポイントネットワーク１１０及びボクセルネットワーク１２０のそれぞれから特徴行列を取得し、取得した２つの特徴行列を結合ネットワーク１３０に入力し、点群の点群特徴情報を取得する。

メモリ１０２は、点群特徴抽出装置１００における各種データ及びプログラムを格納し、特に作業用データ、実行中のプログラムなどのためのワーキングメモリとして機能する。具体的には、メモリ１０２は、ハードディスク１０３からロードされたポイントネットワーク１１０、ボクセルネットワーク１２０及び結合ネットワーク１３０における点群特徴抽出処理を実行及び制御するためプログラムを格納し、プロセッサ１０１によるプログラムの実行中にワーキングメモリとして機能する。

ハードディスク１０３は、点群特徴抽出装置１００における各種データ及びプログラムを格納し、特に学習済みニューラルネットワークを含むポイントネットワーク１１０、ボクセルネットワーク１２０及び結合ネットワーク１３０における処理を実行及び制御するための各種データ及び／又はプログラムを格納する。

I/Oインタフェース１０４は、処理対象の点群情報を入力し、当該点群情報に対する点群特徴情報を出力するためのインタフェースであり、例えば、USB (Universal Serial Bus)、通信回線、キーボード、マウス、ディスプレイなどのデータを入出力するためのデバイスである。

しかしながら、本開示による点群特徴抽出装置１００は、上述したハードウェア構成に限定されず、他の何れか適切なハードウェア構成を有してもよい。例えば、上述したポイントネットワーク１１０、ボクセルネットワーク１２０及び／又は結合ネットワーク１３０における点群特徴抽出処理は、これを実現するよう配線化された電子回路により実現されてもよい。

次に、図３〜５を参照して、本開示の一実施例による点群特徴抽出装置１００における点群特徴抽出処理を説明する。

図３は、本開示の一実施例によるポイントネットワークにおける点群特徴抽出処理を示すフローチャートである。図示される点群特徴抽出処理は、ポイントネットワーク１１０において実行され、プロセッサ１０１が、処理対象の点群をポイントネットワーク１１０に入力したことに応答して開始される。

図３に示されるように、ステップＳ１０１において、ポイントネットワーク１１０は、点群の点x_iに対して最近傍探索を実行し、点x_iのk個の近傍点x_jを抽出する。

ステップＳ１０２において、ポイントネットワーク１１０は、抽出した各近傍点x_jと点x_iとの相対座標（x_j - x_i）を算出する。

ステップＳ１０３において、ポイントネットワーク１１０は、算出したk個の相対座標（x_j - x_i）を学習済みニューラルネットワークに入力し、学習済みニューラルネットワークからF次元のk個の特徴ベクトルを取得する。

ステップＳ１０４において、ポイントネットワーク１１０は、取得したk個の特徴ベクトルに対してmax-pooling関数を適用し、１つのF次元の特徴ベクトルを取得する。

ステップＳ１０５において、ポイントネットワーク１１０は、点群のN個の全ての点x_i (i = 1, ..., N)に対してＳ１０１〜Ｓ１０４の処理を実行したか判断する。全ての点x_iに対して処理を実行した場合（Ｓ１０５：ＹＥＳ）、ポイントネットワーク１１０は、取得したN個のF次元の特徴ベクトルから（N×F）次元の特徴行列を生成し、結合ネットワーク１３０にわたす。当該特徴行列は、点群の各点に関する局所的情報を示すと考えら、例えば、各点における法線、各点のカテゴリ及び各点が属するパーツの少なくとも１つ以上の特徴を含むと推定される。

図４は、本開示の一実施例によるボクセルネットワークにおける点群特徴抽出処理を示すフローチャートである。図示される点群特徴抽出処理は、ボクセルネットワーク１２０において実行され、プロセッサ１０１が、処理対象の点群をボクセルネットワーク１２０に入力したことに応答して開始される。

ステップＳ２０１において、ボクセルネットワーク１２０は、各ボクセルの値を決定する。具体的には、ボクセルネットワーク１２０はまず、点群を（M×M×M×1）次元のボクセル構造に変換し、当該ボクセル構造の各ボクセルには、当該ボクセルに点群の点が存在するか否かを示す値（０又は１）が関連付けされる。

ステップＳ２０２において、ボクセルネットワーク１２０は、変換されたボクセル構造を学習済みニューラルネットワーク3D U-Netに入力し、学習済みニューラルネットワーク3D U-Netから（M×M×M×G）次元の特徴ベクトル付きのボクセル構造を取得する。すなわち、各ボクセルには、学習済みニューラルネットワーク3D U-Netにより変換されたG次元の特徴ベクトルが関連付けされる。

ステップＳ２０３において、ボクセルネットワーク１２０は、各点の特徴ベクトルとして対応するボクセルのG次元の特徴ベクトルを設定する。すなわち、ボクセルネットワーク１２０は、特徴ベクトル付きのボクセル構造の各ボクセルに含まれる点群の各点に当該ボクセルのG次元の特徴ベクトルを関連付け、N個の特徴ベクトルから（N×G）次元の特徴行列を構成し、結合ネットワーク１３０にわたす。当該特徴行列は、点群の大局的情報を示すと考えられ、例えば、点群を示す物体及び当該物体の把持位置の少なくとも１つ以上の特徴を含むと推定される。

図５は、本開示の一実施例による結合ネットワークにおける点群特徴抽出処理を示すフローチャートである。図示される点群特徴抽出処理は、結合ネットワーク１３０において実行され、プロセッサ１０１が、ポイントネットワーク１１０及びボクセルネットワーク１２０から取得した各特徴ベクトルを結合ネットワーク１３０に入力したことに応答して開始される。

ステップＳ３０１において、結合ネットワーク１３０は、ポイントネットワーク１１０から取得した（N×F）次元の特徴行列と、ボクセルネットワーク１２０から取得した（N×G）次元の特徴行列とを列方向に連接し、（N×（F+G））次元の結合情報を構成する。

ステップＳ３０２において、結合ネットワーク１３０は、結合情報を学習済みニューラルネットワークに入力し、学習済みニューラルネットワークから（N×3）次元の点群特徴情報を取得する。

なお、抽出される点群特徴情報は、これに限定されず、抽出対象の特徴の種類に応じて適切な次元が設定されてもよい。

次に、図６を参照して、本開示の一実施例による点群特徴抽出装置１００に用いられるニューラルネットワークの学習処理を説明する。図６は、本開示の一実施例による点群特徴抽出装置に用いられるニューラルネットワークの学習処理を示すフローチャートである。

当該学習処理は、学習用の点群と対応する点群特徴情報とを用いて、上述した点群特徴抽出装置１００のポイントネットワーク１１０、ボクセルネットワーク１２０及び結合ネットワーク１３０の各ニューラルネットワークを学習する。当該学習処理は、例えば、学習対象のニューラルネットワークを有するポイントネットワーク１１０、ボクセルネットワーク１２０及び結合ネットワーク１３０を含む、点群特徴抽出装置１００と同様の構成を備えた学習装置２００（図示せず）によって、より詳細には、学習装置２００のプロセッサ１０１によって実行されうる。

ステップＳ４０１において、学習装置２００は、学習用の点群をポイントネットワーク１１０とボクセルネットワーク１２０とに入力する。ポイントネットワーク１１０とボクセルネットワーク１２０とは、図３及び４を参照して上述した点群特徴抽出処理に従って、学習対象のニューラルネットワークを用いて、入力された点群からそれぞれ特徴行列を生成し、生成された特徴行列を結合ネットワーク１３０にわたす。

ステップＳ４０２において、学習装置２００は、入力された点群に対応する出力値を取得する。具体的には、結合ネットワーク１３０は、図５を参照して上述した点群特徴抽出処理に従って、学習対象のニューラルネットワークを用いて、ポイントネットワーク１１０とボクセルネットワーク１２０とから取得した特徴行列から点群特徴情報を取得する。

ステップＳ４０３において、学習装置２００は、ステップＳ４０２において取得した点群特徴情報と学習用の対応する点群特徴情報との誤差を算出し、当該誤差に基づきポイントネットワーク１１０、ボクセルネットワーク１２０及び結合ネットワーク１３０の各ニューラルネットワークのパラメータを更新する。具体的には、学習装置２００は、周知のバックプロパゲーション手法に従って、当該誤差に基づきポイントネットワーク１１０、ボクセルネットワーク１２０及び結合ネットワーク１３０の各ニューラルネットワークのパラメータを更新してもよい。

ステップＳ４０４において、学習装置２００は、当該学習処理に対する終了条件が充足されたか判断する。当該終了条件は、例えば、所定数の点群に対してステップＳ４０１〜Ｓ４０３を実行したか、ステップＳ４０３において算出された誤差が所定の閾値以下になったか、前回の誤差と今回の誤差との間の差分が所定の閾値以下に収束したか、などであってもよい。

終了条件が充足された場合（Ｓ４０４：ＹＥＳ）、当該学習処理は終了し、最終的に取得されたニューラルネットワークが学習済みニューラルネットワークとして利用される。他方、終了条件が充足されない場合（Ｓ４０４：ＮＯ）、当該学習処理はステップＳ４０１に戻る。

本開示の適用例について、一例では、学習用データとして、点群と当該点群を示す物体表面の各点における法線とのペアが利用され、点群から点群の各点における法線を抽出するニューラルネットワークが学習されてもよい。法線ベクトルを抽出するよう学習済みの点群特徴抽出装置１００は、処理対象の点群が与えられると、点群の各点の法線ベクトルを推定することができる。これにより、推定された各点の法線ベクトルを利用して、点群を示す物体をポリゴンなどにより表現することが可能になる。

他の例では、学習用データとして、点群と当該点群を示す物体のカテゴリ（例えば、人間、本棚、椅子）とのペアが利用され、点群から当該点群を示す物体のカテゴリを抽出するニューラルネットワークが学習されてもよい。更なる他の例では、学習用データとして、点群と当該点群の各点が属するカテゴリとのペアが利用され、点群から各点が属するカテゴリを抽出するニューラルネットワークが学習されてもよい。更なる他の例では、点群と当該点群の各点が表すパーツ（例えば、足、手）とのペアが利用され、点群から各点が表すパーツを抽出するニューラルネットワークが学習されてもよい。

また、更なる他の例では、学習用データとして、点群と当該点群を示す物体の把持位置とのペアが利用され、点群から当該点群を示す物体の把持位置を抽出するニューラルネットワークが学習されてもよい。例えば、当該把持位置は、物体の重心、物体の形状、材質等に応じた適切な箇所でありうる。本例によると、LIDAR (Light Detection and Ranging)により取得された点群情報から自動的に物体の把持位置を推定することが可能になる。

上述した実施例によると、ボクセルネットワーク１２０を導入することによって、ポイントネットワーク１１０単体だけでは効率的に得られない物体の大局的情報を取得することが可能になり、高精度な推定を効率的に実現することが可能である。

以上、本発明の実施例について詳述したが、本発明は上述した特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

１００ 点群特徴抽出装置
１１０ ポイントネットワーク
１２０ ボクセルネットワーク
１３０ 結合ネットワーク
２００ 学習装置

Claims (15)

1. 点を特徴ベクトルに変換する第１の学習済みニューラルネットワークを含む第１のネットワークと、ボクセル構造を特徴ベクトル付きのボクセル構造に変換する第２の学習済みニューラルネットワークを含む第２のネットワークと、前記第１のネットワークから出力される第１の特徴情報と前記第２のネットワークから出力される第２の特徴情報との結合情報を点群特徴情報に変換する第３の学習済みニューラルネットワークを含む第３のネットワークとを格納するメモリと、
   前記メモリに接続され、特徴抽出対象の点群を前記第１のネットワークに入力し、前記点群の各点の特徴ベクトルから構成される第１の特徴行列を取得し、前記点群を前記第２のネットワークに入力し、前記点群の各点の特徴ベクトルから構成される第２の特徴行列を取得し、前記第１の特徴行列と前記第２の特徴行列とを前記第３のネットワークに入力し、前記点群の点群特徴情報を抽出するプロセッサと、
   を有する点群特徴抽出装置。
2. 前記第２のネットワークは、前記点群をボクセル構造に変換し、
   前記ボクセル構造の各ボクセルには、該ボクセルに前記点群の点が存在するか否かを示す値が関連付けされる、請求項１記載の点群特徴抽出装置。
3. 前記第２の学習済みニューラルネットワークは、各ボクセルに該ボクセルの特徴ベクトルが関連付けされた前記特徴ベクトル付きのボクセル構造を出力する、請求項１又は２記載の点群特徴抽出装置。
4. 前記第２のネットワークは、前記特徴ベクトル付きのボクセル構造の各ボクセルに含まれる前記点群の各点に該ボクセルの特徴ベクトルを関連付ける、請求項１乃至３何れか一項記載の点群特徴抽出装置。
5. 前記第２のネットワークは、前記各点に関連付けされたボクセルの特徴ベクトルから前記第２の特徴行列を構成する、請求項４記載の点群特徴抽出装置。
6. 前記第１のネットワークは、前記点群の各点に対して最近傍探索を実行し、該点に最も近い所定数個の近傍点を抽出する、請求項１乃至５何れか一項記載の点群特徴抽出装置。
7. 前記第１のネットワークは、前記抽出した各近傍点と該点との相対座標を前記第１の学習済みニューラルネットワークに入力し、前記第１の学習済みニューラルネットワークから取得した特徴ベクトルに対してmax-pooling関数を適用し、該点の特徴ベクトルを抽出する、請求項６記載の点群特徴抽出装置。
8. 前記第１のネットワークは、前記点群の各点に対して取得された特徴ベクトルから前記第１の特徴行列を構成する、請求項１乃至７何れか一項記載の点群特徴抽出装置。
9. 前記第３のネットワークは、前記第１の特徴行列と前記第２の特徴行列とを連接することによって前記結合情報を構成する、請求項１乃至８何れか一項記載の点群特徴抽出装置。
10. 前記点群特徴情報は、前記点群の各点に関する局所的情報を含む、請求項１乃至９何れか一項記載の点群特徴抽出装置。
11. 前記局所的情報は、各点における法線、各点のカテゴリ及び各点が属するパーツの少なくとも１つ以上の特徴を含む、請求項１０記載の点群特徴抽出装置。
12. 前記点群特徴情報は、前記点群の大局的情報を含む、請求項１乃至１１何れか一項記載の点群特徴抽出装置。
13. 前記大局的情報は、前記点群を示す物体及び前記物体の把持位置の少なくとも１つ以上の特徴を含む、請求項１２記載の点群特徴抽出装置。
14. 点群特徴抽出方法であって、
    プロセッサが、特徴抽出対象の点群を第１のネットワークに入力し、前記点群の各点の特徴ベクトルから構成される第１の特徴行列を取得するステップと、
    前記プロセッサが、前記点群を第２のネットワークに入力し、前記点群の各点の特徴ベクトルから構成される第２の特徴行列を取得するステップと、
    前記プロセッサが、前記第１の特徴行列と前記第２の特徴行列とを第３のネットワークに入力し、前記点群の点群特徴情報を抽出するステップと、
    を有し、
    前記第１のネットワークは、点を特徴ベクトルに変換する第１の学習済みニューラルネットワークを含み、
    前記第２のネットワークは、ボクセル構造を特徴ベクトル付きのボクセル構造に変換する第２の学習済みニューラルネットワークを含み、
    前記第３のネットワークは、前記第１のネットワークから出力される第１の特徴情報と前記第２のネットワークから出力される第２の特徴情報との結合情報を点群特徴情報に変換する第３の学習済みニューラルネットワークを含む方法。
15. 特徴抽出対象の点群を第１のネットワークに入力し、前記点群の各点の特徴ベクトルから構成される第１の特徴行列を取得するステップと、
    前記点群を第２のネットワークに入力し、前記点群の各点の特徴ベクトルから構成される第２の特徴行列を取得するステップと、
    前記第１の特徴行列と前記第２の特徴行列とを第３のネットワークに入力し、前記点群の点群特徴情報を抽出するステップと、
    をプロセッサに実行させるプログラムであって、
    前記第１のネットワークは、点を特徴ベクトルに変換する第１の学習済みニューラルネットワークを含み、
    前記第２のネットワークは、ボクセル構造を特徴ベクトル付きのボクセル構造に変換する第２の学習済みニューラルネットワークを含み、
    前記第３のネットワークは、前記第１のネットワークから出力される第１の特徴情報と前記第２のネットワークから出力される第２の特徴情報との結合情報を点群特徴情報に変換する第３の学習済みニューラルネットワークを含むプログラム。

Images