JP2019008571A - 物体認識装置、物体認識方法、プログラム、及び学習済みモデル - Google Patents

Abstract

【課題】点群データに基づいて精度良く物体の認識を行うことができる装置等を提供する。【解決手段】物体認識装置は、点群データをｎ個のクラスタに分け、各クラスタ内に存在する点群の位置を、クラスタの中心点ｃｉ（１≦ｉ≦ｎ）と重み係数ｗｉ（１≦ｉ≦ｎ）とを変数とするラジアル基底関数Φｉ（１≦ｉ≦ｎ）で表し、点群データを入力層、ラジアル基底関数Φｉと重み係数ｗｉの組合せを中間層、物体の面の特徴ベクトルを出力層とするニューラルネットワークである。点群データと当該点群データに対応する物体の面とを用いて学習された学習済みモデルを記憶したモデル記憶部と、レンジセンサーにて取得した点群データを学習済みモデルの入力層に入力し、学習済みのラジアル基底関数Φｉ及び重み係数ｗｉに基づく演算を行い、出力層から点群データの特徴ベクトルを出力する特徴ベクトル計算部と、特徴ベクトルに基づいて物体を認識する認識部とを備える。【選択図】図３

Description

本発明は、レンジセンサー等により取得される点群データに基づいて、物体を識別する技術に関する。

現在、畳み込みニューラルネットワークを用いた画像による物体認識が盛んに行われているが、悪天候や夜間時など、カメラの可視性が低下する状況を考慮し、レンジセンサーなどから得られる点群で構成される幾何情報を用いた物体認識の技術開発が行われ始めている。

しかし、畳み込みニューラルネットワークに３次元点群を入力データとして利用しようとすると、点の順序の問題、畳み込む領域の定義の問題が生じる。３次元点群に基づく物体認識の方法として、次のような方法が提案されている。

非特許文献１は、点群を点があるかないかを示すブロックで構成されるボリュームデータに変換し、近傍ブロックの畳み込みを行う方法を提案している。非特許文献２は、点群を任意の視点から撮影した画像に変換、あるいは物体を切り開き、展開図として画像に変換し従来の画像学習方法を適用する方法である。非特許文献３は、点群をそのまま扱い、順序入れ替え普遍関数を学習し、点群を一つの特徴ベクトルにまとめる方法である。

Z. Wu et al., 3D ShapeNets: A Deep Representation for Volumetric Shape Modeling、IEEE CVPR 2015 H. Su et al., Multi-view Convolutional Neural Networks for 3D Shape Recognition、ICCV 2015 C. Qi et al., PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation、CVPR 2017

本発明は、非特許文献３のように、点群をそのまま扱う方法を提案する。点群をそのまま扱う従来法は、データの各点が個別に独立して扱われ、周囲情報などは一切利用していなかった。このため、従来画像で精度向上に貢献した畳み込み演算が行われることなく、局所ごとの特徴量をまとめた学習結果しか得られず、非特許文献１，２に示すような手法の識別精度には届いていなかった。

そこで、本発明は、点群データに基づいて精度良く物体の認識を行うことができる装置等を提供することを目的とする。

本発明の物体認識装置は、点群データを取得する点群データ取得部と、前記点群データをｎ個のクラスタに分け、各クラスタ内に存在する点群の位置を、クラスタの中心点ｃｉ（１≦ｉ≦ｎ）と重み係数ｗｉ（１≦ｉ≦ｎ）とを変数とするラジアル基底関数Φｉ（１≦ｉ≦ｎ）で表し、点群データを入力層、前記ラジアル基底関数Φｉと前記重み係数ｗｉの組合せを中間層、物体の面の特徴ベクトルを出力層とするニューラルネットワークであって、前記点群データと当該点群データに対応する物体の面とを用いて学習された学習済みモデルを記憶した記憶部と、前記点群データ取得部にて取得した点群データを前記学習済みモデルの入力層に入力し、前記学習済みのラジアル基底関数Φｉ及び重み係数ｗｉに基づく演算を行い、前記出力層から前記点群データの特徴ベクトルを出力する特徴ベクトル計算部と、前記特徴ベクトルに基づいて物体を認識する認識部とを備える。この構成により、点群データの各点を独立して扱うのではなく、点群データを通る表面として扱うことにより物体を精度良く認識することができる。

本発明の物体認識装置は、前記点群データ取得部にて取得された点群データを回転処理する回転処理部を備え、前記特徴ベクトル計算部は、前記回転処理部にて回転処理された点群データを前記入力層に入力してもよい。この構成により、学習済みモデルを生成する際に用いた点群データと比べて、回転している点群データであっても、適切に物体の認識を行える。

本発明の物体認識装置において、前記認識部は、特徴ベクトルを入力層、認識結果を出力層とする多層ニューラルネットワークに、前記特徴ベクトル計算部で求めた特徴ベクトルを適用して、点群データに対応する認識結果を求めてもよい。この構成により、特徴ベクトルに基づいて適切に物体を認識できる。

本発明の物体認識方法は、点群データを取得するステップと、前記点群データをｎ個のクラスタに分け、各クラスタ内に存在する点群の位置を、クラスタの中心点ｃｉ（１≦ｉ≦ｎ）と重み係数ｗｉ（１≦ｉ≦ｎ）とを変数とするラジアル基底関数Φｉ（１≦ｉ≦ｎ）で表し、点群データを入力層、前記ラジアル基底関数Φｉと前記重み係数ｗｉの組合せを中間層、物体の面の特徴ベクトルを出力層とするニューラルネットワークであって、前記点群データと当該点群データに対応する物体の面とを用いて学習された学習済みモデルを記憶部から読み出すステップと、取得した点群データを前記学習済みモデルの入力層に入力し、前記学習済みのラジアル基底関数Φｉ及び重み係数ｗｉに基づく演算を行い、前記出力層から前記点群データの特徴ベクトルを出力するステップと、前記特徴ベクトルに基づいて物体を認識するステップとを備える。

本発明のプログラムは、点群データに対応する物体の面を求めるためのプログラムであって、コンピュータに、点群データを取得するステップと、前記点群データをｎ個のクラスタに分け、各クラスタ内に存在する点群の位置を、クラスタの中心点ｃｉ（１≦ｉ≦ｎ）と重み係数ｗｉ（１≦ｉ≦ｎ）とを変数とするラジアル基底関数Φｉ（１≦ｉ≦ｎ）で表し、点群データを入力層、前記ラジアル基底関数Φｉと前記重み係数ｗｉの組合せを中間層、物体の面の特徴ベクトルを出力層とするニューラルネットワークであって、前記点群データと当該点群データに対応する物体の面とを用いて学習された学習済みモデルを記憶部から読み出すステップと、取得した点群データを前記学習済みモデルの入力層に入力し、前記学習済みのラジアル基底関数Φｉ及び重み係数ｗｉに基づく演算を行い、前記出力層から前記点群データの特徴ベクトルを出力するステップと、前記特徴ベクトルに基づいて物体を認識するステップとを実行させる。

本発明の学習済みモデルは、点群データに基づいて、前記点群データが表す物体の面の特徴ベクトルを出力するよう、コンピュータを機能させるための学習済みモデルであって、前記点群データをｎ個のクラスタに分け、各クラスタ内に存在する点群の位置を、クラスタの中心点ｃｉ（１≦ｉ≦ｎ）と重み係数ｗｉ（１≦ｉ≦ｎ）とを変数とするラジアル基底関数Φｉ（１≦ｉ≦ｎ）で表し、点群データを入力層、前記ラジアル基底関数Φｉと前記重み係数ｗｉの組合せを中間層、物体の面の特徴ベクトルを出力層とするニューラルネットワークを、前記点群データと当該点群データに対応する物体の面とを用いて学習させたものであり、前記ニューラルネットワークの前記入力層に入力された点群データに対し、前記学習済みのラジアル基底関数Φｉ及び重み係数ｗｉに基づく演算を行い、前記出力層から前記点群データの特徴ベクトルを出力するよう、コンピュータを機能させる。

本発明によれば、点群データに基づいて、物体を精度良く認識することができる。

本発明の実施の形態の概要を説明するための図である。 実施の形態の物体認識装置の構成を示す図である。 点群データに基づいて物体を識別するためのモデルを示す図である。 実施の形態の物体認識装置の動作を示す図である。

以下、本発明の実施の形態の物体認識装置および物体認識方法について図面を参照しながら説明する。
図１は、本発明の実施の形態の物体認識装置１による物体認識の概要を説明する図である。本実施の形態の物体認識装置１は、点群データを特徴変換畳み込みネットワークに入力し、点群データの回転処理を行う。点群データの回転処理を行うのは、点群データによって表される物体の姿勢を、学習済みモデルの生成に用いた点群データに対応する物体の姿勢に合わせ、物体認識の精度を高めるためである。特徴変換畳み込みネットワークは、回転処理を行った点群データの高次元のベクトルを各点特徴として出力する。

次に、本実施の形態の物体認識装置１は、各点特徴をラジアル基底関数学習層に入力して、各点特徴に基づいて複数のラジアル基底関数のそれぞれの重みを計算し、重みの合計を点群データの形状の特徴ベクトルとして求める。ラジアル基底関数の重みを特徴ベクトルとすることにより、点群の各点を一つ一つ独立して扱うのではなく、点群データを通る表面として物体を認識することができる。そして、物体認識装置１は、この特徴ベクトルに基づいて物体の識別スコアを計算し、物体を認識する。

ここで、図１に示す特徴変換畳み込みネットワークとラジアル基底関数学習層は、次の式によって表される。

上記の式をネットワークに学習させるために定式化すると、次のようになる。

物体認識装置１は、上式において、中心点ｃｉを所与の点として与え、ラジアル基底関数Φｉと重み係数ｗｉを求める。例えば、中心点ｃｉは、ｎ次元の特徴空間の各軸方面の単位ベクトルの先にある点とする。

図２は、実施の形態の物体認識装置１の構成を示す図である。物体認識装置１は、点群データを取得するレンジセンサー１０と、点群データに基づいて物体を認識する演算処理を行う制御部１１と、認識結果を出力する出力部１５とを備えている。レンジセンサー１０は、光等を使って物体の表面の各点までの距離を計測するセンサであり、例えば、レンジファインダー、ライダー等である。また、物体認識装置１は、点群データから物体を認識する際に用いられるニューラルネットワークの学習済みモデルを記憶したモデル記憶部１６を備えている。

図３は、本実施の形態の物体認識装置１が、点群データに基づいて物体を識別するためのモデルを示す図である。本実施の形態の物体認識装置１がモデル記憶部１６に記憶している学習済みモデルは、実線で囲んだ部分である。すなわち、学習済みモデルは、点群データを回転処理した各点特徴を入力層、ラジアル基底関数Φｉとその重み係数ｗｉを中間層、特徴ベクトルを出力層とするニューラルネットワークである。

物体認識装置１は、学習済みモデルの前段に、点群データを回転処理する変換用多層ニューラルネットワークを備えている。また、学習済みモデルの後段に、特徴ベクトルから識別結果を求めるための多層ニューラルネットワークを有している。本実施の形態では、学習済みモデルの前段および後段にもニューラルネットワークを用いているが、学習済みモデルの前段および後段は、必ずしもニューラルネットワークを用いなくてもよい。

次に、制御部１１の構成について説明する。制御部１１は、回転処理部１２と、特徴ベクトル計算部１３と、認識部１４とを有している。回転処理部１２は、図１で説明した特徴変換畳み込みネットワークにより、点群データの回転処理を行う機能を有している。

特徴ベクトル計算部１３は、図１で説明したラジアル基底関数学習層により、点群データの各点特徴に基づいて、点群データの特徴ベクトルを計算する機能を有している。具体的には、特徴ベクトル計算部１３は、まず、モデル記憶部１６から学習済みモデルを読み出す。そして、点群データの各点特徴のデータを、図３に示す学習済みモデルの入力層に入力し、各中心点ｃｉを有するラジアル基底関数Φｉと重み係数ｗｉを計算し、重み係数ｗの合計をとって、特徴ベクトルを求める。

認識部１４は、特徴ベクトル計算部１３にて計算した特徴ベクトルに基づいて、物体を認識する機能を有している。

以上に、点群データに基づいて物体を認識するための制御部１１の機能について説明したが、制御部１１の機能は、コンピュータでプログラムを実行することによって実現される。このようなプログラムも本発明の範囲に含まれる。

図４は、実施の形態の物体認識装置１の動作を示す図である。物体認識装置１は、レンジセンサー１０によって点群データを取得する（Ｓ１０）。物体認識装置１は、取得した点群データに対して回転処理を行い（Ｓ１１）、回転処理によって得られた各点特徴を学習済みモデルの入力層に入力し、特徴ベクトルを計算する（Ｓ１２）。続いて、物体認識装置１は、特徴ベクトルに基づいて物体認識を行い（Ｓ１３）、認識した結果を出力する。

以上、本実施の形態の物体認識装置１の構成および動作について説明した。本実施の形態の物体認識装置１は、ラジアル基底関数学習層を有する学習済みモデルに点群データを入力して特徴ベクトルを求めるので、点群データの各点を独立して扱うのではなく、点群データを通る表面として物体を精度良く認識することができる。また、点群データをニューラルネットワークに適用するには、点群データをどのような順序でニューラルネットワークに入力するか、ということが一つの課題であったが、本実施の形態によれば、複数のラジアル基底関数のそれぞれの重み係数をとって求めた特徴ベクトルを用いて物体を認識できるので、点群データを入力する順序の課題が解決された。

以上、本実施の形態の物体認識装置１について説明したが、本発明は上記した実施の形態に限定されるものではない。本実施の形態では、図３に実線で示したように、点群データの各点特徴を入力層、ラジアル基底関数Φとその重み係数ｗを中間層、特徴ベクトルを出力層とするニューラルネットワークを学習済みモデルとしたが、図３に点線で示すように、その前段の点群データのノード及び変換用多層ニューラルネットワークを含めた学習済みモデルを用いてもよい。この場合、点群データをどの程度回転すればよいということも学習されることになる。

また、上記した実施の形態では、中心点ｃｉを所与の点としたが、ラジアル基底関数Φｉの中心点ｃｉをも学習する構成とすることも可能である。

１ 物体認識装置
１０ レンジセンサー
１１ 制御部
１２ 回転処理部
１３ 特徴ベクトル計算部
１４ 認識部
１５ 出力部
１６ モデル記憶部

Claims (6)

1. 点群データを取得する点群データ取得部と、
   前記点群データをｎ個のクラスタに分け、各クラスタ内に存在する点群の位置を、クラスタの中心点ｃｉ（１≦ｉ≦ｎ）と重み係数ｗｉ（１≦ｉ≦ｎ）とを変数とするラジアル基底関数Φｉ（１≦ｉ≦ｎ）で表し、点群データを入力層、前記ラジアル基底関数Φｉと前記重み係数ｗｉの組合せを中間層、物体の面の特徴ベクトルを出力層とするニューラルネットワークであって、前記点群データと当該点群データに対応する物体の面とを用いて学習された学習済みモデルを記憶した記憶部と、
   前記点群データ取得部にて取得した点群データを前記学習済みモデルの入力層に入力し、前記学習済みのラジアル基底関数Φｉ及び重み係数ｗｉに基づく演算を行い、前記出力層から前記点群データの特徴ベクトルを出力する特徴ベクトル計算部と、
   前記特徴ベクトルに基づいて物体を認識する認識部と、
   を備える物体認識装置。
2. 前記点群データ取得部にて取得された点群データを回転処理する回転処理部を備え、前記特徴ベクトル計算部は、前記回転処理部にて回転処理された点群データを前記入力層に入力する請求項１に記載の物体認識装置。
3. 前記認識部は、特徴ベクトルを入力層、認識結果を出力層とする多層ニューラルネットワークに、前記特徴ベクトル計算部で求めた特徴ベクトルを適用して、点群データに対応する認識結果を求める請求項１または２に記載の物体認識装置。
4. 点群データを取得するステップと、
   前記点群データをｎ個のクラスタに分け、各クラスタ内に存在する点群の位置を、クラスタの中心点ｃｉ（１≦ｉ≦ｎ）と重み係数ｗｉ（１≦ｉ≦ｎ）とを変数とするラジアル基底関数Φｉ（１≦ｉ≦ｎ）で表し、点群データを入力層、前記ラジアル基底関数Φｉと前記重み係数ｗｉの組合せを中間層、物体の面の特徴ベクトルを出力層とするニューラルネットワークであって、前記点群データと当該点群データに対応する物体の面とを用いて学習された学習済みモデルを記憶部から読み出すステップと、
   取得した点群データを前記学習済みモデルの入力層に入力し、前記学習済みのラジアル基底関数Φｉ及び重み係数ｗｉに基づく演算を行い、前記出力層から前記点群データの特徴ベクトルを出力するステップと、
   前記特徴ベクトルに基づいて物体を認識するステップと、
   を備える物体認識方法。
5. 点群データに対応する物体の面を求めるためのプログラムであって、コンピュータに、
   点群データを取得するステップと、
   前記点群データをｎ個のクラスタに分け、各クラスタ内に存在する点群の位置を、クラスタの中心点ｃｉ（１≦ｉ≦ｎ）と重み係数ｗｉ（１≦ｉ≦ｎ）とを変数とするラジアル基底関数Φｉ（１≦ｉ≦ｎ）で表し、点群データを入力層、前記ラジアル基底関数Φｉと前記重み係数ｗｉの組合せを中間層、物体の面の特徴ベクトルを出力層とするニューラルネットワークであって、前記点群データと当該点群データに対応する物体の面とを用いて学習された学習済みモデルを記憶部から読み出すステップと、
   取得した点群データを前記学習済みモデルの入力層に入力し、前記学習済みのラジアル基底関数Φｉ及び重み係数ｗｉに基づく演算を行い、前記出力層から前記点群データの特徴ベクトルを出力するステップと、
   前記特徴ベクトルに基づいて物体を認識するステップと、
   を実行させるプログラム。
6. 点群データに基づいて、前記点群データが表す物体の面の特徴ベクトルを出力するよう、コンピュータを機能させるための学習済みモデルであって、
   前記点群データをｎ個のクラスタに分け、各クラスタ内に存在する点群の位置を、クラスタの中心点ｃｉ（１≦ｉ≦ｎ）と重み係数ｗｉ（１≦ｉ≦ｎ）とを変数とするラジアル基底関数Φｉ（１≦ｉ≦ｎ）で表し、点群データを入力層、前記ラジアル基底関数Φｉと前記重み係数ｗｉの組合せを中間層、物体の面の特徴ベクトルを出力層とするニューラルネットワークを、前記点群データと当該点群データに対応する物体の面とを用いて学習させたものであり、
   前記ニューラルネットワークの前記入力層に入力された点群データに対し、前記学習済みのラジアル基底関数Φｉ及び重み係数ｗｉに基づく演算を行い、前記出力層から前記点群データの特徴ベクトルを出力するよう、コンピュータを機能させるための学習済みモデル。

Images