JP2019159940A - 点群特徴抽出装置、点群特徴抽出方法及びプログラム - Google Patents
点群特徴抽出装置、点群特徴抽出方法及びプログラム Download PDFInfo
- Publication number
- JP2019159940A JP2019159940A JP2018047101A JP2018047101A JP2019159940A JP 2019159940 A JP2019159940 A JP 2019159940A JP 2018047101 A JP2018047101 A JP 2018047101A JP 2018047101 A JP2018047101 A JP 2018047101A JP 2019159940 A JP2019159940 A JP 2019159940A
- Authority
- JP
- Japan
- Prior art keywords
- feature
- point
- network
- voxel
- point cloud
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
【課題】ニューラルネットワークを利用して点群の各種特徴を効率的に抽出する技術を提供する。【解決手段】点群特徴抽出装置100は、点を特徴ベクトルに変換する第1のニューラルネットワーク110と、ボクセル構造を特徴ベクトル付きのボクセル構造に変換する第2のニューラルネットワーク120と、第1のネットワークから出力される特徴情報と第2のネットワークから出力される結合情報を点群特徴情報に変換する第3のニューラルネットワーク130とを格納するメモリ、および、このメモリに接続され、特徴抽出対象である点群を第1のネットワークに入力することで第1の特徴行列を取得、また点群を第2のネットワークに入力することで第2の特徴行列を取得し、さらにこれらの特徴行列を第3のネットワークに入力することで点群の点群特徴情報を抽出するプロセッサから構成される。【選択図】図1
Description
本開示は、点群情報のための深層学習モデルに関する。
デプスカメラやレーザスキャナ等から取得される点群情報の応用は、ロボティクス、製造業、ビジョンなどの実産業分野において重要な問題である。通常のRGBカメラから取得された画像データに関しては、Convolutional Neural Network(以下、CNNとして参照する)に代表される深層学習モデルを用いて、効率的に画像分類や物体検出などの画像認識問題を効率的に解けることが広く知られている。
PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation, C. R. Qi et. al, In CVPR, 2017
PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metric Space: C. R. Qi et. al, In arXiv preprint arXiv:1706.02413, 2017
3次元の点群を深層学習を用いて学習するための主な手法としてPointNetが挙げられる。これは点群中のオブジェクトを識別するといった大局的な情報を必要とする問題に関しては良好な精度を達成している。しかしながら、物体の形状推定といった局所的な情報を必要とする問題に関してはその限りでない。
これを解決するために、点群の近傍間の関係も明示的に考慮することで改善を図ったPointNet++が提案されている。この手法によると、点群の近傍は効率的に捉えられるものの、大局的な情報を効率的に捉えることができない。すなわち、考慮する近傍点の数を増大させた場合、その計算コストが大きく増大する。
上述した問題点を鑑み、本開示の課題は、ニューラルネットワークを利用して点群の各種特徴を効率的に抽出するための技術を提供することである。
上記課題を解決するため、本開示の一態様は、点を特徴ベクトルに変換する第1の学習済みニューラルネットワークを含む第1のネットワークと、ボクセル構造を特徴ベクトル付きのボクセル構造に変換する第2の学習済みニューラルネットワークを含む第2のネットワークと、前記第1のネットワークから出力される第1の特徴情報と前記第2のネットワークから出力される第2の特徴情報との結合情報を点群特徴情報に変換する第3の学習済みニューラルネットワークを含む第3のネットワークとを格納するメモリと、前記メモリに接続され、特徴抽出対象の点群を前記第1のネットワークに入力し、前記点群の各点の特徴ベクトルから構成される第1の特徴行列を取得し、前記点群を前記第2のネットワークに入力し、前記点群の各点の特徴ベクトルから構成される第2の特徴行列を取得し、前記第1の特徴行列と前記第2の特徴行列とを前記第3のネットワークに入力し、前記点群の点群特徴情報を抽出するプロセッサと、を有する点群特徴抽出装置に関する。
本開示によると、ニューラルネットワークを利用して点群の各種特徴を効率的に抽出するための技術を提供することができる。
以下の実施例では、ニューラルネットワークを利用して点群の各種特徴を抽出する点群特徴抽出装置が開示される。
本開示による点群特徴抽出装置は、点群を点単位で処理するポイントネットワークと、点群をボクセル構造を用いて処理するボクセルネットワークとを含み、ポイントネットワークからの特徴情報とボクセルネットワークからの特徴情報との結合情報から点群特徴情報を抽出する。
ここで、点群の局所的情報(各点の法線、各点のカテゴリ、各点が属する物体内のパーツなど)はポイントネットワークから取得されると推定され、点群の大局的情報(点群により表される物体のカテゴリ、物体の把持位置など)はボクセルネットワークから取得されると推定される。
本開示による点群特徴抽出装置によると、各点とボクセル構造との異なるデータ構造を有する入力データを処理する異なるタイプのネットワークから、異なるタイプの点群特徴情報(例えば、局所的情報及び大局的情報)が取得され、単一タイプのネットワークによって様々な点群特徴を抽出する場合と比較して、点群の各種特徴を効率的に抽出することが可能になる。
まず、図1〜2を参照して、本開示の一実施例による点群特徴抽出装置の構成を説明する。図1は、本開示の一実施例による点群特徴抽出装置の構成を示す概略図である。
図1に示されるように、本開示の一実施例による点群特徴抽出装置100は、ポイントネットワーク110、ボクセルネットワーク120及び結合ネットワーク130を有する。点群特徴抽出装置100は、N個の点を含む点群を入力として与えられると、当該点群及び/又は各点の特徴情報を抽出する。典型的には、各点は3次元座標であるが、本開示による点はこれに限定されるものでなく、例えば、L次元のベクトルであってもよい(Lは自然数)。
ポイントネットワーク110は、点を特徴ベクトルに変換する学習済みニューラルネットワークを含む。図示された実施例では、当該学習済みニューラルネットワークは、32個のノードを備えた第1の中間層又は隠れ層、64個のノードを備えた第2の中間層又は隠れ層及び128個のノードを備えた出力層から構成されるマルチレイヤパーセプトロンMLP (32, 64, 128)である。しかしながら、本開示による点群特徴抽出装置100は、これに限定されず、他の何れか適切な構成を有するニューラルネットワークが適用されてもよい。
具体的には、N個の点を含む点群が与えられると、ポイントネットワーク110はまず、点群の各点x_iに対して最近傍探索を実行し、当該点x_iに最も近い所定数個(図示された具体例では、k個)の近傍点x_jを抽出する。当該最近傍探索(Nearest Neighbor Search)は、点x_iと点群内の各点との距離を計算することによって近傍点x_jを求める線形探索などの何れかの手法によって実現可能である。
その後、ポイントネットワーク110は、抽出した各近傍点x_jと点x_iとの相対座標(x_j - x_i)を学習済みニューラルネットワークMLP(32, 64, 128)に入力し、学習済みニューラルネットワークMLP(32, 64, 128)からk個の128次元の特徴ベクトルを取得する。さらに、ポイントネットワーク110は、取得したk個の特徴ベクトルに対してmax-pooling関数を適用し、128次元の特徴ベクトルを取得する。一般に、max-pooling関数は、k個のF次元の特徴ベクトルに対して、各ベクトル成分f(1 ≦ f ≦ F)の最大値を成分として有する1つのベクトルを出力する関数である。なお、本開示による点群特徴抽出装置100は、max-pooling関数に限定されず、複数の特徴ベクトルを1つの特徴ベクトルに集約する他の何れか適切な関数が適用されてもよい。
ポイントネットワーク110は、上述した処理を点群におけるN個の各点x_i (i = 1, ..., N)に対して実行し、取得したN個の128次元の特徴ベクトルから(N×128)次元の特徴行列を生成し、結合ネットワーク130にわたす。例えば、当該特徴行列は、N個の特徴ベクトルを列方向に連接したものであってもよい。
ここで、当該特徴行列は、点群の各点に関する局所的情報を示すと考えられる。例えば、局所的情報は、各点における法線、各点のカテゴリ及び各点が属するパーツの少なくとも1つ以上の特徴を含むと推定される。
このようにして、ポイントネットワーク110は、主として点群の各点の局所的情報を抽出すると推定される。
ボクセルネットワーク120は、ボクセル構造を特徴ベクトル付きのボクセル構造に変換する学習済みニューラルネットワークを含む。図示された実施例では、当該学習済みニューラルネットワークは、3次元U-Netであるが、本開示による点群特徴抽出装置100は、3次元U-Netに限定されず、3次元データを処理可能な他の何れか適切な構成を有するニューラルネットワークが適用されてもよい。
具体的には、N個の点を含む点群が与えられると、ボクセルネットワーク120はまず、点群をボクセル構造に変換する。ここで、当該ボクセル構造の各ボクセルには、当該ボクセルに点群の点が存在するか否かを示す値が関連付けされる。例えば、3次元空間がM×M×Mのボクセル構造に分割され(図示された実施例では、M = 32)、各ボクセル内に点群の点が1つ以上存在する場合、当該ボクセルに1が関連付けされ、そうでない場合、当該ボクセルに0が関連付けされてもよい。これにより、点群からM×M×M×1のボクセル構造が生成される。
その後、ボクセルネットワーク120は、変換されたボクセル構造を学習済みニューラルネットワーク3D U-Netに入力し、学習済みニューラルネットワーク3D U-NetからM×M×M×Gの特徴ベクトル付きのボクセル構造(図示された実施例では、G = 64)を取得する。すなわち、学習済みニューラルネットワーク3D U-Netは、各ボクセルに当該ボクセルのG次元の特徴ベクトルが関連付けされた特徴ベクトル付きのボクセル構造を出力する。図示された実施例では、入力されたM×M×M×1のボクセル構造は、同一の解像度を有し、64次元の特徴ベクトルを有するM×M×M×64の特徴ベクトル付きのボクセル構造に変換される。
さらに、ボクセルネットワーク120は、生成された特徴ベクトル付きのボクセル構造に基づき点群の各点の特徴ベクトルを決定する。すなわち、ボクセルネットワーク120は、特徴ベクトル付きのボクセル構造の各ボクセルに含まれる点群の各点に当該ボクセルのG次元の特徴ベクトルを関連付ける。具体的には、あるボクセルに点群の点が含まれる場合、ボクセルネットワーク120は、当該ボクセルのG次元の特徴ベクトルを当該点に関連付けする。このようにして、N個の点に対して64次元の特徴ベクトルを取得すると、ボクセルネットワーク120は、各点に関連付けされた64次元の特徴ベクトルから(N×64)次元の特徴行列を構成し、結合ネットワーク130にわたす。例えば、当該特徴行列は、N個の特徴ベクトルを列方向に連接したものであってもよい。
ここで、当該特徴行列は、点群の大局的情報を示すと考えられる。例えば、大局的情報は、点群を示す物体及び当該物体の把持位置の少なくとも1つ以上の特徴を含むと推定される。
このようにして、ボクセルネットワーク120は、主として点群の大局的情報を抽出すると推定される。
結合ネットワーク130は、ポイントネットワーク110から出力された特徴情報とボクセルネットワーク120から出力された特徴情報との結合情報を点群特徴情報に変換する学習済みニューラルネットワークを含む。図示された実施例では、当該学習済みニューラルネットワークは、128個のノードを備えた第1の中間層又は隠れ層、64個のノードを備えた第2の中間層又は隠れ層及び3個のノードを備えた出力層から構成されるマルチレイヤパーセプトロンMLP (128, 64, 3)である。しかしながら、本開示による点群特徴抽出装置100は、これに限定されず、他の何れか適切な構成を有するニューラルネットワークが適用されてもよい。
具体的には、結合ネットワーク130はまず、ポイントネットワーク110から取得した特徴行列(図示された実施例では、(N×128)次元の特徴行列)と、ボクセルネットワーク120から取得した特徴行列(図示された実施例では、(N×64)次元の特徴行列)とを行方向に連接し、結合情報(図示された実施例では、(N×192)次元の特徴行列)を構成する。なお、結合情報の生成は行列の連接に限定されず、他の何れか適切な結合演算が適用されてもよい。
その後、結合ネットワーク130は、結合情報を学習済みニューラルネットワークMLP (128, 64, 3)に入力し、学習済みニューラルネットワークMLP (128, 64, 3)から点群特徴情報(図示された実施例では、3次元のN個の特徴ベクトル)を取得する。
上述した実施例では、最終的に取得される点群特徴情報は3次元のベクトルから構成されるが、本開示による点群特徴抽出装置100はこれに限定されず、抽出対象の特徴の種類に応じて適切な次元が設定されてもよい。
ここで、点群特徴抽出装置100は、例えば、図2に示されるように、CPU (Central Processing unit)、GPU (Graphics Processing Unit)などのプロセッサ101、RAM (Random Access Memory)、フラッシュメモリなどのメモリ102、ハードディスク103及び入出力(I/O)インタフェース104によるハードウェア構成を有してもよい。
プロセッサ101は、点群特徴抽出装置100の各種処理を実行し、上述したポイントネットワーク110、ボクセルネットワーク120及び結合ネットワーク130を実現するプログラムの実行、ポイントネットワーク110、ボクセルネットワーク120及び結合ネットワーク130との間のデータのやりとりを含む点群特徴抽出装置100の全体制御などの各種処理を実行する。具体的には、プロセッサ101は、抽出対象の点群をポイントネットワーク110及びボクセルネットワーク120に入力し、ポイントネットワーク110及びボクセルネットワーク120のそれぞれから特徴行列を取得し、取得した2つの特徴行列を結合ネットワーク130に入力し、点群の点群特徴情報を取得する。
メモリ102は、点群特徴抽出装置100における各種データ及びプログラムを格納し、特に作業用データ、実行中のプログラムなどのためのワーキングメモリとして機能する。具体的には、メモリ102は、ハードディスク103からロードされたポイントネットワーク110、ボクセルネットワーク120及び結合ネットワーク130における点群特徴抽出処理を実行及び制御するためプログラムを格納し、プロセッサ101によるプログラムの実行中にワーキングメモリとして機能する。
ハードディスク103は、点群特徴抽出装置100における各種データ及びプログラムを格納し、特に学習済みニューラルネットワークを含むポイントネットワーク110、ボクセルネットワーク120及び結合ネットワーク130における処理を実行及び制御するための各種データ及び/又はプログラムを格納する。
I/Oインタフェース104は、処理対象の点群情報を入力し、当該点群情報に対する点群特徴情報を出力するためのインタフェースであり、例えば、USB (Universal Serial Bus)、通信回線、キーボード、マウス、ディスプレイなどのデータを入出力するためのデバイスである。
しかしながら、本開示による点群特徴抽出装置100は、上述したハードウェア構成に限定されず、他の何れか適切なハードウェア構成を有してもよい。例えば、上述したポイントネットワーク110、ボクセルネットワーク120及び/又は結合ネットワーク130における点群特徴抽出処理は、これを実現するよう配線化された電子回路により実現されてもよい。
次に、図3〜5を参照して、本開示の一実施例による点群特徴抽出装置100における点群特徴抽出処理を説明する。
図3は、本開示の一実施例によるポイントネットワークにおける点群特徴抽出処理を示すフローチャートである。図示される点群特徴抽出処理は、ポイントネットワーク110において実行され、プロセッサ101が、処理対象の点群をポイントネットワーク110に入力したことに応答して開始される。
図3に示されるように、ステップS101において、ポイントネットワーク110は、点群の点x_iに対して最近傍探索を実行し、点x_iのk個の近傍点x_jを抽出する。
ステップS102において、ポイントネットワーク110は、抽出した各近傍点x_jと点x_iとの相対座標(x_j - x_i)を算出する。
ステップS103において、ポイントネットワーク110は、算出したk個の相対座標(x_j - x_i)を学習済みニューラルネットワークに入力し、学習済みニューラルネットワークからF次元のk個の特徴ベクトルを取得する。
ステップS104において、ポイントネットワーク110は、取得したk個の特徴ベクトルに対してmax-pooling関数を適用し、1つのF次元の特徴ベクトルを取得する。
ステップS105において、ポイントネットワーク110は、点群のN個の全ての点x_i (i = 1, ..., N)に対してS101〜S104の処理を実行したか判断する。全ての点x_iに対して処理を実行した場合(S105:YES)、ポイントネットワーク110は、取得したN個のF次元の特徴ベクトルから(N×F)次元の特徴行列を生成し、結合ネットワーク130にわたす。当該特徴行列は、点群の各点に関する局所的情報を示すと考えら、例えば、各点における法線、各点のカテゴリ及び各点が属するパーツの少なくとも1つ以上の特徴を含むと推定される。
図4は、本開示の一実施例によるボクセルネットワークにおける点群特徴抽出処理を示すフローチャートである。図示される点群特徴抽出処理は、ボクセルネットワーク120において実行され、プロセッサ101が、処理対象の点群をボクセルネットワーク120に入力したことに応答して開始される。
ステップS201において、ボクセルネットワーク120は、各ボクセルの値を決定する。具体的には、ボクセルネットワーク120はまず、点群を(M×M×M×1)次元のボクセル構造に変換し、当該ボクセル構造の各ボクセルには、当該ボクセルに点群の点が存在するか否かを示す値(0又は1)が関連付けされる。
ステップS202において、ボクセルネットワーク120は、変換されたボクセル構造を学習済みニューラルネットワーク3D U-Netに入力し、学習済みニューラルネットワーク3D U-Netから(M×M×M×G)次元の特徴ベクトル付きのボクセル構造を取得する。すなわち、各ボクセルには、学習済みニューラルネットワーク3D U-Netにより変換されたG次元の特徴ベクトルが関連付けされる。
ステップS203において、ボクセルネットワーク120は、各点の特徴ベクトルとして対応するボクセルのG次元の特徴ベクトルを設定する。すなわち、ボクセルネットワーク120は、特徴ベクトル付きのボクセル構造の各ボクセルに含まれる点群の各点に当該ボクセルのG次元の特徴ベクトルを関連付け、N個の特徴ベクトルから(N×G)次元の特徴行列を構成し、結合ネットワーク130にわたす。当該特徴行列は、点群の大局的情報を示すと考えられ、例えば、点群を示す物体及び当該物体の把持位置の少なくとも1つ以上の特徴を含むと推定される。
図5は、本開示の一実施例による結合ネットワークにおける点群特徴抽出処理を示すフローチャートである。図示される点群特徴抽出処理は、結合ネットワーク130において実行され、プロセッサ101が、ポイントネットワーク110及びボクセルネットワーク120から取得した各特徴ベクトルを結合ネットワーク130に入力したことに応答して開始される。
ステップS301において、結合ネットワーク130は、ポイントネットワーク110から取得した(N×F)次元の特徴行列と、ボクセルネットワーク120から取得した(N×G)次元の特徴行列とを列方向に連接し、(N×(F+G))次元の結合情報を構成する。
ステップS302において、結合ネットワーク130は、結合情報を学習済みニューラルネットワークに入力し、学習済みニューラルネットワークから(N×3)次元の点群特徴情報を取得する。
なお、抽出される点群特徴情報は、これに限定されず、抽出対象の特徴の種類に応じて適切な次元が設定されてもよい。
次に、図6を参照して、本開示の一実施例による点群特徴抽出装置100に用いられるニューラルネットワークの学習処理を説明する。図6は、本開示の一実施例による点群特徴抽出装置に用いられるニューラルネットワークの学習処理を示すフローチャートである。
当該学習処理は、学習用の点群と対応する点群特徴情報とを用いて、上述した点群特徴抽出装置100のポイントネットワーク110、ボクセルネットワーク120及び結合ネットワーク130の各ニューラルネットワークを学習する。当該学習処理は、例えば、学習対象のニューラルネットワークを有するポイントネットワーク110、ボクセルネットワーク120及び結合ネットワーク130を含む、点群特徴抽出装置100と同様の構成を備えた学習装置200(図示せず)によって、より詳細には、学習装置200のプロセッサ101によって実行されうる。
ステップS401において、学習装置200は、学習用の点群をポイントネットワーク110とボクセルネットワーク120とに入力する。ポイントネットワーク110とボクセルネットワーク120とは、図3及び4を参照して上述した点群特徴抽出処理に従って、学習対象のニューラルネットワークを用いて、入力された点群からそれぞれ特徴行列を生成し、生成された特徴行列を結合ネットワーク130にわたす。
ステップS402において、学習装置200は、入力された点群に対応する出力値を取得する。具体的には、結合ネットワーク130は、図5を参照して上述した点群特徴抽出処理に従って、学習対象のニューラルネットワークを用いて、ポイントネットワーク110とボクセルネットワーク120とから取得した特徴行列から点群特徴情報を取得する。
ステップS403において、学習装置200は、ステップS402において取得した点群特徴情報と学習用の対応する点群特徴情報との誤差を算出し、当該誤差に基づきポイントネットワーク110、ボクセルネットワーク120及び結合ネットワーク130の各ニューラルネットワークのパラメータを更新する。具体的には、学習装置200は、周知のバックプロパゲーション手法に従って、当該誤差に基づきポイントネットワーク110、ボクセルネットワーク120及び結合ネットワーク130の各ニューラルネットワークのパラメータを更新してもよい。
ステップS404において、学習装置200は、当該学習処理に対する終了条件が充足されたか判断する。当該終了条件は、例えば、所定数の点群に対してステップS401〜S403を実行したか、ステップS403において算出された誤差が所定の閾値以下になったか、前回の誤差と今回の誤差との間の差分が所定の閾値以下に収束したか、などであってもよい。
終了条件が充足された場合(S404:YES)、当該学習処理は終了し、最終的に取得されたニューラルネットワークが学習済みニューラルネットワークとして利用される。他方、終了条件が充足されない場合(S404:NO)、当該学習処理はステップS401に戻る。
本開示の適用例について、一例では、学習用データとして、点群と当該点群を示す物体表面の各点における法線とのペアが利用され、点群から点群の各点における法線を抽出するニューラルネットワークが学習されてもよい。法線ベクトルを抽出するよう学習済みの点群特徴抽出装置100は、処理対象の点群が与えられると、点群の各点の法線ベクトルを推定することができる。これにより、推定された各点の法線ベクトルを利用して、点群を示す物体をポリゴンなどにより表現することが可能になる。
他の例では、学習用データとして、点群と当該点群を示す物体のカテゴリ(例えば、人間、本棚、椅子)とのペアが利用され、点群から当該点群を示す物体のカテゴリを抽出するニューラルネットワークが学習されてもよい。更なる他の例では、学習用データとして、点群と当該点群の各点が属するカテゴリとのペアが利用され、点群から各点が属するカテゴリを抽出するニューラルネットワークが学習されてもよい。更なる他の例では、点群と当該点群の各点が表すパーツ(例えば、足、手)とのペアが利用され、点群から各点が表すパーツを抽出するニューラルネットワークが学習されてもよい。
また、更なる他の例では、学習用データとして、点群と当該点群を示す物体の把持位置とのペアが利用され、点群から当該点群を示す物体の把持位置を抽出するニューラルネットワークが学習されてもよい。例えば、当該把持位置は、物体の重心、物体の形状、材質等に応じた適切な箇所でありうる。本例によると、LIDAR (Light Detection and Ranging)により取得された点群情報から自動的に物体の把持位置を推定することが可能になる。
上述した実施例によると、ボクセルネットワーク120を導入することによって、ポイントネットワーク110単体だけでは効率的に得られない物体の大局的情報を取得することが可能になり、高精度な推定を効率的に実現することが可能である。
以上、本発明の実施例について詳述したが、本発明は上述した特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
100 点群特徴抽出装置
110 ポイントネットワーク
120 ボクセルネットワーク
130 結合ネットワーク
200 学習装置
110 ポイントネットワーク
120 ボクセルネットワーク
130 結合ネットワーク
200 学習装置
Claims (15)
- 点を特徴ベクトルに変換する第1の学習済みニューラルネットワークを含む第1のネットワークと、ボクセル構造を特徴ベクトル付きのボクセル構造に変換する第2の学習済みニューラルネットワークを含む第2のネットワークと、前記第1のネットワークから出力される第1の特徴情報と前記第2のネットワークから出力される第2の特徴情報との結合情報を点群特徴情報に変換する第3の学習済みニューラルネットワークを含む第3のネットワークとを格納するメモリと、
前記メモリに接続され、特徴抽出対象の点群を前記第1のネットワークに入力し、前記点群の各点の特徴ベクトルから構成される第1の特徴行列を取得し、前記点群を前記第2のネットワークに入力し、前記点群の各点の特徴ベクトルから構成される第2の特徴行列を取得し、前記第1の特徴行列と前記第2の特徴行列とを前記第3のネットワークに入力し、前記点群の点群特徴情報を抽出するプロセッサと、
を有する点群特徴抽出装置。 - 前記第2のネットワークは、前記点群をボクセル構造に変換し、
前記ボクセル構造の各ボクセルには、該ボクセルに前記点群の点が存在するか否かを示す値が関連付けされる、請求項1記載の点群特徴抽出装置。 - 前記第2の学習済みニューラルネットワークは、各ボクセルに該ボクセルの特徴ベクトルが関連付けされた前記特徴ベクトル付きのボクセル構造を出力する、請求項1又は2記載の点群特徴抽出装置。
- 前記第2のネットワークは、前記特徴ベクトル付きのボクセル構造の各ボクセルに含まれる前記点群の各点に該ボクセルの特徴ベクトルを関連付ける、請求項1乃至3何れか一項記載の点群特徴抽出装置。
- 前記第2のネットワークは、前記各点に関連付けされたボクセルの特徴ベクトルから前記第2の特徴行列を構成する、請求項4記載の点群特徴抽出装置。
- 前記第1のネットワークは、前記点群の各点に対して最近傍探索を実行し、該点に最も近い所定数個の近傍点を抽出する、請求項1乃至5何れか一項記載の点群特徴抽出装置。
- 前記第1のネットワークは、前記抽出した各近傍点と該点との相対座標を前記第1の学習済みニューラルネットワークに入力し、前記第1の学習済みニューラルネットワークから取得した特徴ベクトルに対してmax-pooling関数を適用し、該点の特徴ベクトルを抽出する、請求項6記載の点群特徴抽出装置。
- 前記第1のネットワークは、前記点群の各点に対して取得された特徴ベクトルから前記第1の特徴行列を構成する、請求項1乃至7何れか一項記載の点群特徴抽出装置。
- 前記第3のネットワークは、前記第1の特徴行列と前記第2の特徴行列とを連接することによって前記結合情報を構成する、請求項1乃至8何れか一項記載の点群特徴抽出装置。
- 前記点群特徴情報は、前記点群の各点に関する局所的情報を含む、請求項1乃至9何れか一項記載の点群特徴抽出装置。
- 前記局所的情報は、各点における法線、各点のカテゴリ及び各点が属するパーツの少なくとも1つ以上の特徴を含む、請求項10記載の点群特徴抽出装置。
- 前記点群特徴情報は、前記点群の大局的情報を含む、請求項1乃至11何れか一項記載の点群特徴抽出装置。
- 前記大局的情報は、前記点群を示す物体及び前記物体の把持位置の少なくとも1つ以上の特徴を含む、請求項12記載の点群特徴抽出装置。
- 点群特徴抽出方法であって、
プロセッサが、特徴抽出対象の点群を第1のネットワークに入力し、前記点群の各点の特徴ベクトルから構成される第1の特徴行列を取得するステップと、
前記プロセッサが、前記点群を第2のネットワークに入力し、前記点群の各点の特徴ベクトルから構成される第2の特徴行列を取得するステップと、
前記プロセッサが、前記第1の特徴行列と前記第2の特徴行列とを第3のネットワークに入力し、前記点群の点群特徴情報を抽出するステップと、
を有し、
前記第1のネットワークは、点を特徴ベクトルに変換する第1の学習済みニューラルネットワークを含み、
前記第2のネットワークは、ボクセル構造を特徴ベクトル付きのボクセル構造に変換する第2の学習済みニューラルネットワークを含み、
前記第3のネットワークは、前記第1のネットワークから出力される第1の特徴情報と前記第2のネットワークから出力される第2の特徴情報との結合情報を点群特徴情報に変換する第3の学習済みニューラルネットワークを含む方法。 - 特徴抽出対象の点群を第1のネットワークに入力し、前記点群の各点の特徴ベクトルから構成される第1の特徴行列を取得するステップと、
前記点群を第2のネットワークに入力し、前記点群の各点の特徴ベクトルから構成される第2の特徴行列を取得するステップと、
前記第1の特徴行列と前記第2の特徴行列とを第3のネットワークに入力し、前記点群の点群特徴情報を抽出するステップと、
をプロセッサに実行させるプログラムであって、
前記第1のネットワークは、点を特徴ベクトルに変換する第1の学習済みニューラルネットワークを含み、
前記第2のネットワークは、ボクセル構造を特徴ベクトル付きのボクセル構造に変換する第2の学習済みニューラルネットワークを含み、
前記第3のネットワークは、前記第1のネットワークから出力される第1の特徴情報と前記第2のネットワークから出力される第2の特徴情報との結合情報を点群特徴情報に変換する第3の学習済みニューラルネットワークを含むプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018047101A JP2019159940A (ja) | 2018-03-14 | 2018-03-14 | 点群特徴抽出装置、点群特徴抽出方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018047101A JP2019159940A (ja) | 2018-03-14 | 2018-03-14 | 点群特徴抽出装置、点群特徴抽出方法及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2019159940A true JP2019159940A (ja) | 2019-09-19 |
Family
ID=67996273
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018047101A Pending JP2019159940A (ja) | 2018-03-14 | 2018-03-14 | 点群特徴抽出装置、点群特徴抽出方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2019159940A (ja) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110942110A (zh) * | 2019-12-31 | 2020-03-31 | 新奥数能科技有限公司 | 一种三维模型的特征提取方法和装置 |
CN110969689A (zh) * | 2019-12-03 | 2020-04-07 | 上海眼控科技股份有限公司 | 点云特征提取方法、装置、计算机设备和存储介质 |
CN112184867A (zh) * | 2020-09-23 | 2021-01-05 | 中国第一汽车股份有限公司 | 点云特征提取方法、装置、设备及存储介质 |
KR20210106703A (ko) * | 2020-02-21 | 2021-08-31 | 전남대학교산학협력단 | 3차원 공간의 의미적 분할 시스템 및 이를 이용한 3차원 공간의 의미적 분할 방법 |
WO2022004389A1 (ja) * | 2020-07-02 | 2022-01-06 | 株式会社ニコン | 演算装置、学習方法、およびニューラルネットワークの作成方法 |
WO2022019026A1 (ja) * | 2020-07-20 | 2022-01-27 | ソニーグループ株式会社 | 情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム |
JP7489834B2 (ja) | 2020-06-12 | 2024-05-24 | 株式会社デンソーアイティーラボラトリ | 情報処理装置、プロブラムおよび情報処理方法 |
WO2024160290A1 (en) * | 2023-02-03 | 2024-08-08 | Douyin Vision Co., Ltd. | Method, apparatus, and medium for point cloud coding |
-
2018
- 2018-03-14 JP JP2018047101A patent/JP2019159940A/ja active Pending
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110969689A (zh) * | 2019-12-03 | 2020-04-07 | 上海眼控科技股份有限公司 | 点云特征提取方法、装置、计算机设备和存储介质 |
CN110942110A (zh) * | 2019-12-31 | 2020-03-31 | 新奥数能科技有限公司 | 一种三维模型的特征提取方法和装置 |
KR20210106703A (ko) * | 2020-02-21 | 2021-08-31 | 전남대학교산학협력단 | 3차원 공간의 의미적 분할 시스템 및 이를 이용한 3차원 공간의 의미적 분할 방법 |
KR102333682B1 (ko) * | 2020-02-21 | 2021-11-30 | 전남대학교산학협력단 | 3차원 공간의 의미적 분할 시스템 및 이를 이용한 3차원 공간의 의미적 분할 방법 |
JP7489834B2 (ja) | 2020-06-12 | 2024-05-24 | 株式会社デンソーアイティーラボラトリ | 情報処理装置、プロブラムおよび情報処理方法 |
WO2022004389A1 (ja) * | 2020-07-02 | 2022-01-06 | 株式会社ニコン | 演算装置、学習方法、およびニューラルネットワークの作成方法 |
WO2022019026A1 (ja) * | 2020-07-20 | 2022-01-27 | ソニーグループ株式会社 | 情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム |
CN112184867A (zh) * | 2020-09-23 | 2021-01-05 | 中国第一汽车股份有限公司 | 点云特征提取方法、装置、设备及存储介质 |
CN112184867B (zh) * | 2020-09-23 | 2024-09-17 | 中国第一汽车股份有限公司 | 点云特征提取方法、装置、设备及存储介质 |
WO2024160290A1 (en) * | 2023-02-03 | 2024-08-08 | Douyin Vision Co., Ltd. | Method, apparatus, and medium for point cloud coding |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2019159940A (ja) | 点群特徴抽出装置、点群特徴抽出方法及びプログラム | |
JP6745328B2 (ja) | 点群データを復旧するための方法及び装置 | |
CN112927357B (zh) | 一种基于动态图网络的3d物体重建方法 | |
CN110853075B (zh) | 一种基于稠密点云与合成视图的视觉跟踪定位方法 | |
JP7135659B2 (ja) | 形状補完装置、形状補完学習装置、方法、及びプログラム | |
CN111127522B (zh) | 基于单目相机的深度光流预测方法、装置、设备及介质 | |
CN114663502A (zh) | 物体姿态估计、图像处理方法及相关设备 | |
Ye et al. | Keypoint-based LiDAR-camera online calibration with robust geometric network | |
CN112990228B (zh) | 图像特征匹配方法和相关装置、设备及存储介质 | |
CN114663514B (zh) | 一种基于多模态稠密融合网络的物体6d姿态估计方法 | |
CN112200157A (zh) | 一种降低图像背景干扰的人体3d姿态识别方法及其系统 | |
CN116468768B (zh) | 基于条件变分自编码器和几何引导的场景深度补全方法 | |
CN110544279A (zh) | 一种结合图像识别和遗传算法精配准的位姿估计方法 | |
CN112529010A (zh) | 一种基于在线局部特征提取的点云识别方法 | |
CN117292064A (zh) | 一种基于结构光扫描数据的三维物体建模方法及系统 | |
CN116912296A (zh) | 一种基于位置增强注意力机制的点云配准方法 | |
EP3961556A1 (en) | Object recognition device and object recognition method | |
US11430150B2 (en) | Method and apparatus for processing sparse points | |
CN116091447A (zh) | 一种基于单目rgb图像的螺栓姿态估计方法 | |
KR20240048762A (ko) | Gcn 기반의 3차원 객체 인식 및 포즈 추정 방법 및 장치 | |
CN117274392A (zh) | 相机内参标定方法及相关设备 | |
CN114820344A (zh) | 深度图增强方法及装置 | |
CN113658236A (zh) | 一种基于图注意力机制的残缺点云配准方法 | |
Liu et al. | Edge-Enhanced Dual-Stream Perception Network for Monocular Depth Estimation | |
Chan et al. | Selecting best viewpoint for human-pose estimation |