JP2019133545A - 特徴表現装置、それを含む認識システム、及び特徴表現プログラム - Google Patents

Abstract

【課題】多次元点群データを、認識や学習の負荷が小さい形式で特徴表現する装置、システム及びプログラムを提供する。【解決手段】３次元点群データを特徴表現する特徴表現装置２０であって、点の集合を、その周辺に設定された空間サンプル点ｓの座標ｓｘ、ｓｙ、ｓｚ及び空間サンプル点ｓから最近傍点までの最近傍距離φ（ｓ）を示す距離場に変換する距離場変換部２１と、空間サンプル点ｓの座標ｓｘ、ｓｙ、ｓｚと最近傍距離φ（ｓ）からなる行列Ｍの特異値分解をして標準座標系への変換を取得する正準投影部２２と、標準座標系に変換された空間サンプル点ｓの座標Ｌｉｎを入力とし、最近傍距離φ（ｓ）を出力とするエクストリームラーニングマシーンを訓練して、その重みβを３次元点群データの特徴ベクトルとして出力するパラメータ化部２３とを備えている。【選択図】図１

Description

本発明は、多次元データの集合を特徴表現する特徴表現装置、それを含む認識システム、及び特徴表現プログラムに関する。

従来、車両にカメラを設置して画像を撮影し、畳込ニューラルネットワーク（ＣＮＮ）を用いて画像に対して物体認識を行う技術が知られている。このような車載カメラの画像による物体認識では、悪天候や夜間などによって車載カメラの可視性が低下する場合には、物体認識の精度が低下する。これを考慮して、レンジセンサなどから得られる３次元点群で構成される幾何情報を用いた物体認識の技術が開発されている。

しかしながら、畳込ニューラルネットワークに３次元点群をそのまま入力データとして入力すると、点の順序の問題、畳み込む領域の定義の問題が生じる。この問題に対応するために、従来の解決方法は主に３通りある。

第１の方法は、点群を点があるかないかを示すブロックで構成されるボリュームデータに変換して、近傍ブロックの畳込みを行うものである（例えば、非特許文献１を参照）。第２の方法は、点群を任意の視点から撮影した画像に変換し、あるいは物体を切り開いて展開図として画像に変換し、従来の画像学習方法を適用するものである（例えば、非特許文献２を参照）。第３の方法は、点群をそのまま扱って順序入替不変関数を学習し、点群を１つの特徴ベクトルにまとめる方法である（例えば、非特許文献３を参照）。

Z. Wu et al., 3D ShapeNets: A Deep Representation for Volumetric Shape Modeling、IEEE CVPR 2015 H. Su et al., Multi-view Convolutional Neural Networks for 3D Shape Recognition、ICCV 2015 C. Qi et al., PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation、CVPR 2017 V. Nair and G. Hinton, Rectified linear units improve restricted Boltzmann machines, ICML 2010

しかしながら、上記の従来の各方法では、１つのデータで１つの物体の１つの姿勢しか表現できず、１つの物体の形状を様々な視点から表現するためには、その物体を様々な姿勢に動かして１つの物体から複数のデータに拡張することが必要になる。このため、従来の各方法では、正確な物体認識を実現するために必要な学習データの量が膨大になるとともに、識別器の構成が複雑になって学習時間も膨大になるという問題がある。

本発明は、多次元点群データを、認識や学習の負荷が小さい形式で特徴表現すること目的とする。

本発明の一態様の特徴表現装置は、多次元の点の集合からなる多次元点群データを特徴表現する特徴表現装置であって、前記点の集合を、前記点の集合の周辺に設定されたサンプル点に最も近い最近傍点の座標、及び前記サンプル点から前記最近傍点までの最近傍距離を示す距離場に変換する距離場変換部と、前記最近傍点の座標と前記最近傍距離からなる行列の特異値分解をして標準座標系への変換を取得する正準投影部と、前記最近傍点を入力とし、前記距離を出力とするエクストリームラーニングマシーンを訓練して、その重みを前記点の集合の特徴ベクトルとして出力するパラメータ化部とを備えた構成を有する。

この構成により、多次元点群データを固定長の特徴ベクトルに変換するので、認識や学習の負荷が小さい形式で当該多次元点群データを特徴表現できる。なお、「多次元」は３次元以上を意味する。

上記の特徴表現装置において、前記エクストリームラーニングマシーンは、活性化関数としてＲｅＬＵを用いてよい。この構成により、多次元点群データから特徴ベクトルことで多次元点群データのスケール不変性を実現できる。

上記の特徴表現装置において、前記多次元の点の集合は、物体の表面の点の集合として取得された３次元点群であってよい。これにより、物体の３次元形状の情報を特徴ベクトルに変換できる。

本発明の一態様の認識システムは、上記の特徴表現装置と、前記特徴ベクトルを用いて認識を行う認識装置とを備えた構成を有している。この構成により、多次元点群データを特徴ベクトルに変換して、認識に用いるので、認識装置における認識の負荷が小さくできる。

上記の認識システムは、物体を撮影することによって、前記物体の３次元点群データを取得する点群データ取得装置をさらに備えていてよく、前記特徴表現装置は、前記点群データ取得装置にて取得された前記３次元点群データを前記多次元点群データとして、特徴表現をしてよい。この構成により、認識装置における物体認識の負荷を小さくできる。

本発明の一態様の特徴表現プログラムは、情報処理装置にて実行されることで、前記情報処理装置を、多次元の点の集合からなる多次元点群データを特徴表現する特徴表現装置であって、前記点の集合を、前記点の集合の周辺に設定されたサンプル点に最も近い最近傍点の座標、及び前記サンプル点から前記最近傍点までの最近傍距離を示す距離場に変換する距離場変換部と、前記最近傍点の座標と前記最近傍距離からなる行列の特異値分解をして標準座標系への変換を取得する正準投影部と、前記最近傍点を入力とし、前記距離を出力とするエクストリームラーニングマシーンを訓練して、その重みを前記点の集合の特徴ベクトルとして出力するパラメータ化部とを備えた特徴表現装置として機能させる。

この構成によっても、多次元点群データを固定長の特徴ベクトルに変換するので、認識や学習の負荷が小さい形式で当該多次元点群データを特徴表現できる。

本発明によれば、多次元点群データを固定長の特徴ベクトルに変換するので、認識や学習の負荷が小さい形式で当該多次元点群データを特徴表現できる。

図１は、本発明の実施の形態の物体認識システムの構成を示すブロック図である。 図２は、本発明の実施の形態の距離場の例を示す図である。 図３は、本発明の実施の形態の正準投影部による標準座標系への変換を示す図である。 図４は、本発明の実施の形態のパラメータ化部で用いるニューラルネットワークを示す図である。

以下、図面を参照して本発明の実施の形態を説明する。なお、以下に説明する実施の形態は、本発明を実施する場合の一例を示すものであって、本発明を以下に説明する具体的構成に限定するものではない。本発明の実施にあたっては、実施の形態に応じた具体的構成が適宜採用されてよい。

図１は、本発明の実施の形態の認識システムの構成を示すブロック図である。認識システム１００は、点群データ取得装置１０と、特徴表現装置２０と、識別装置３０とを備えている。

点群データ取得装置１０は、本実施の形態ではレンジセンサ（測域センサ）であり、レーザ光を用いた光飛行時間に基づく距離計測によって距離画像を生成して、物体の３次元点群データを取得する。以下、３次元点群データが取得された各点を「物体点」といい、物体点の集合を単に「点群」という。なお、点群データ取得装置１０における３次元点群データの取得方法は、レンジセンサに限らず、例えばステレオ測距によって３次元点群データを取得してもよい。

特徴表現装置２０は、点群データ取得装置１０で得られた３次元点群データを特徴ベクトルに変換する。特徴表現装置２０は、距離場変換部２１と、正準投影部２２と、パラメータ化部２３とを備えている。

距離場変換部２１は、任意の座標系に置かれている物体点を標準座標系での表現に変換するため、点群を陰的表現である距離場に変換する。図２は、本発明の実施の形態の距離場の例を示す図である。図２において、濃い部分は物体までの距離が近く、薄い部分は物体までの距離が遠いことを示している。

距離場変換部２１は、物体点の周辺にランダムに設定した空間サンプル点と点群との最近傍距離を計測することで、任意の座標系の点群を距離場に変換する。ここで、最近傍距離とは、物体周辺の単位球の中に空間サンプル点ｓを設定し、物体点ｐのうちの空間サンプル点ｓとの距離が最小になる物体点ｐと当該空間サンプル点ｓとの距離であり、空間サンプル点の関数φ（ｓ）として、以下の式（１）で算出される。

ここで、Ｐは、物体点の集合である。すなわち、距離場Φ_ｐを構成するために、物体点の集合Ｐの周りにランダムに空間サンプル点ｓを設定する。

任意の座標系の物体点の集合を距離場に変換することには次の２つの利点がある。第１の利点は、距離場が物体点の並べ替えに対して不変であるということである。距離場は、物体点ｐとその周りに設定された空間サンプル点ｓとの最近傍距離を含むため、同じ点群については、その姿勢に関わらず、同じ距離場が得られることになる。

第２の利点は、距離場が、座標系が拡大縮小するとそれに応じて距離φ（ｓ）も拡大縮小するというスケール共変性を有するという点である。したがって、本実施の形態では、距離場の表現をスケール可換性をもつニューラルネットワーク（後述）に埋め込むことで、スケール不変性を実現する。

正準投影部２２は、距離場を４次元標準座標系に投影することで回転不変性を実現する。このために、正準投影部２２は、まず、空間サンプル点Ｓの座標と最近傍物体点（点群のうちの最近傍距離を有する点）までの距離とを連結させた下式（２）の行列Ｍを生成する。

正準投影部２２は、下式（３）に示すように行列Ｍの特異値分解を行い、標準座標系への変換を取得する。
すなわち、標準座標系への変換は、空間サンプル点の座標ｓｘ、ｓｖ、ｓｚ及び対応する距離φ（ｓ）からなる行列Ｍの固有値分解で得られるＶ^＊とする。

正準投影部２２は、Ｖ^＊を固定するために、下式（４）によって、基底Ｕと行列Ｍの距離部分のベクトルφ（ｓ）を掛け合わせて符号を取得する。

正準投影部２２は、さらに、得られた符号を下式（５）によってＶ^＊に適用する。
ここで、Ｃは、符号ｃを対角に持つ行列である。この投影によって、任意の物体は、それがどのような座標系で表現されていても、標準座標系では１つの姿勢に位置合わせされる。

図３は、本発明の実施の形態の正準投影部２２による標準座標系への変換を示す図である。図３では、見やすさのために、もとの点群が特異値分解によって得られたＶに従って変換されている。また、図３の上段は、同じ物体（ウサギ）の表面の点群が任意の角度で回転している状態を示しており、下段は、対応する上段の物体の表面の点群の変換を示している。

物体が図３の上段に示すように任意の角度に回転していたとしても、正準投影部２２の投影によって図３の下段に示すようにすべて距離場が唯一の姿勢に位置合わせされる。すなわち、正準投影部２２によって、様々な姿勢が標準座標系に配置され、正準表現は回転不変となる。

パラメータ化部２３は、標準座標系に投影された距離場を特徴ベクトルに埋め込む。図４は、本発明の実施の形態のパラメータ化部２３で用いるニューラルネットワークを示す図である。パラメータ化部２３は、図４に示すニューラルネットワークを用いて、標準座標系に投影された距離場を固定長の特徴ベクトルに埋め込む。このニューラルネットワークは、空間サンプル点の標準座標系での座標値を入力とし、対応する最近傍距離の値を出力とするものであり、物体の距離関数の役割を果たす。

通常のニューラルネットワークでは、１つの物体に対して大量の重みパターンの可能性が存在するが、本実施の形態のパラメータ化部２３は、１つの物体に対して１つの重みパターンが生成されるように、事前に決定した乱数基底Ｗを用いるエクストリームラーニングマシーン（ＥＬＭ）を採用する。パラメータ化部２３は、このＥＬＭの重みβ_１〜β_Ｋを点群の特徴ベクトルとして出力する。

ここで、ＥＬＭは、フィードフォワードニューラルネットワークであり、その重みＷはランダムに設定される。いま、入力をＸとし、ターゲットをｔとして、この入力ＸをＫ次元の特徴空間にマッピングして、下式（６）によって出力Ｈを得る。
ここで、関数ｆは、非線形の活性化関数であり、ｗ_ｉは、第ｉ次元に対応する重みであり、ｂは任意のバイアスである。

このニューラルネットワークのパラメータを取得して、このニューラルネットワークの出力がターゲットｔとなるように、ｔ＝Ｈβを満たす重みβを見つける必要がある。この重みβは、単純にＨの疑似逆行列を見つけることで得ることも可能であるが、下式（７）を解くことでより頑健に重みβを求めることができる。

ここで、ｃは、Ｈの対角成分に加えられる制約ないし拘束である。ＥＬＭの基底は任意の値に固定されているので、それらに対応する重みは唯一に決定される。よって、ＥＬＭのこの特性を利用することで、与えられた点群に対して唯一の重みのセットβ_１〜β_Ｋを得ることができる。

パラメータ化部２３は、標準座標系での距離場の情報を埋め込むために、標準座標系に投影された空間サンプル点Ｓの座標を入力として用い、それを距離関数Φ（Ｓ）のもとの出力に戻す。Ｖ^＊の１〜３列目を転置させたＶの第１列をＶ_Ｓと表記すると、このＶ_Ｓは、空間サンプル点Ｓの座標を標準座標系に変換するものである。

そこで、パラメータ化部２３は、下式（８）によって、４次元の標準座標系に投影された空間サンプリング点Ｓの要素である座標値Ｌを取得する。
すなわち、パラメータ化部２３は、空間サンプル点Ｓの座標を、Ｖ^＊の１〜３列目を転置させたＶに適用して、４次元の標準座標系における座標値Ｌを取得する。

パラメータ化部２３は、入力を空間サンプル点Ｓの座標の標準座標系での値Ｌとし、出力を対応する距離φ（Ｓ）として、標準座標系での距離場の情報を埋め込むように、ＥＬＭを訓練する。

本実施の形態では、さらに活性化関数にＲｅＬＵ（Rectified Liner Unit、非特許文献４を参照）を利用して、下式（９）に示すようにバイアスｂを取り除くことで、物体のスケール不変性も実現する。

ここで、ｗ_ｉは、乱数基底であり、Ｋは、基底数であり、ｆは活性化関数（ＲｅＬＵ）である。また、Ｌ_ｉｎは、
であり、その最終行は入力Ｌにおけるすべての値の標準偏差によって拡大縮小されたバイアスである。

すなわち、ＲｅＬＵは負の値以外をそのまま返す活性化関数であるため、バイアスｂを取り除くことで、式（９）において、入力のスケール要素がそのまま出力に反映される。このとき、内部の重みは変わらないので、式（９）によってスケール不変性が実現できる。

パラメータ化部２３は、φ（ｓ）＝Ｈβを満足する重みβを下式（１０）で求める。
パラメータ化部２３は、このようにして得られ得た重みβを、もとの点群の特徴ベクトルとして出力する。

上記から明らかなように、特徴表現装置２０は、３次元点群データを距離場に変換して得られる情報を用いてＥＬＭを訓練し、その訓練によって得られたＥＬＭの重みβを、点群データ取得装置１０にて取得された３次元点群データの特徴ベクトルとして出力するものである。よって、特徴表現装置２０は、特徴ベクトルに変換すべき３次元点群データが点群データ取得装置１０で得られるたびにＥＬＭの訓練を行うものである。

識別装置３０は、特徴表現装置２０から出力される特徴ベクトルを用いて学習を行い、あるいは識別処理を行う。本実施の形態の認識システム１００では、従来法とは異なり、特徴表現装置２０において、１物体につき１表現で表され、かつ、コンパクトな特徴ベクトルが生成されるので、識別装置３０としては、ディープニューラルネットワーク等の複雑な識別処理は不要となり、総数の少ない従来のニューラルネットワークで十分に３次元点群データの識別が可能である。また、特徴表現装置２０では、ＥＬＭの重みを特徴ベクトルとして生成するので、点群データの点数に関わらず固定長の特徴ベクトルを得ることができる。

なお、特徴表現装置２０は、情報処理装置によって構成することができ、特徴量減装置２０の構成要素である距離場変換部２１、正準投影部２２、及びパラメータ化部２３は、ハードウェアと協働するソフトウェアによって実現してもよいし、ハードウェア回路で構成されてもよい。また、識別装置３０もハードウェアと協働するソフトウェアによって実現してもよいし、ハードウェア回路で構成されてもよく、特徴表現装置２０を構成する情報処理装置と一体的に構成されてもよい。ソフトウェアは、情報処理装置にて実行される情報処理プログラムによって提供されてよい。

また、上記の実施の形態では、特徴表現装置２０において得られた３次元点群データの特徴ベクトルを用いて、識別装置３０により３次元点群データで表現される物体の認識を行う認識システムを説明したが、特徴表現装置２０は認識システム以外にも応用が可能である。すなわち、特徴表現装置２０で得られる特徴ベクトルの用途は認識処理に限られない。

３次元点群データに限られない、４次元ないしそれ以上の多次元データの集合であっても、上記の実施の形態と同様にして距離場に変換して、ＥＬＭの訓練を行うことで得られた重みを特徴ベクトルとすることは有効である。この意味で、本実施の形態の「点」は、２次元や３次元で表現される点のみならず、４次元以上で表現される情報を含むものである。

本発明は、認識や学習の負荷が小さい形式で多次元点群データを特徴表現でき、多次元データの集合を特徴表現する特徴表現装置等として有用である。

１０ 点群データ取得装置
２０ 特徴表現装置
２１ 距離場変換部
２２ 正準投影部
２３ パラメータ化部
３０ 識別装置
１００ 認識システム

Claims (6)

1. 多次元の点の集合からなる多次元点群データを特徴表現する特徴表現装置であって、
   前記点の集合を、前記点の集合の周辺に設定されたサンプル点の座標、及び前記サンプル点から最近傍点までの最近傍距離を示す距離場に変換する距離場変換部と、
   前記サンプル点の座標と前記最近傍距離からなる行列の特異値分解をして標準座標系への変換を取得する正準投影部と、
   前記標準座標系に変換された前記サンプル点の座標を入力とし、前記最近傍距離を出力とするエクストリームラーニングマシーンを訓練して、その重みを前記点の集合の特徴ベクトルとして出力するパラメータ化部と、
   を備えた、特徴表現装置。
2. 前記エクストリームラーニングマシーンは、活性化関数としてＲｅＬＵを用いる、請求項１に記載の特徴表現装置。
3. 前記多次元の点の集合は、物体の表面の点の集合として取得された３次元点群である、請求項１又は２に記載の特徴表現装置。
4. 請求項１に記載の特徴表現装置と、
   前記特徴ベクトルを用いて認識を行う認識装置と、
   を備えた認識システム。
5. 物体を撮影することによって、前記物体の３次元点群データを取得する点群データ取得装置をさらに備え、
   前記特徴表現装置は、前記点群データ取得装置にて取得された前記３次元点群データを前記多次元点群データとして、特徴表現をする、請求項４に記載の認識システム。
6. 情報処理装置にて実行されることで、前記情報処理装置を、多次元の点の集合からなる多次元点群データを特徴表現する特徴表現装置であって、
   前記点の集合を、前記点の集合の周辺に設定されたサンプル点の座標、及び前記サンプル点から最近傍点までの最近傍距離を示す距離場に変換する距離場変換部と、
   前記サンプル点の座標と前記最近傍距離からなる行列の特異値分解をして標準座標系への変換を取得する正準投影部と、
   前記標準座標系に変換された前記サンプル点の座標を入力とし、前記最近傍距離を出力とするエクストリームラーニングマシーンを訓練して、その重みを前記点の集合の特徴ベクトルとして出力するパラメータ化部と、
   を備えた、特徴表現装置として機能させる特徴表現プログラム。