JP2018156442A - 推定器学習装置、法線方向推定装置、方法、及びプログラム - Google Patents

Abstract

【課題】精度よく、画像が表す表面形状の法線ベクトルを推定するための法線方向推定器を学習できる。【解決手段】法線ベクトル算出部３０が、画素に対応する表面形状の法線ベクトルを算出する。法線ベクトル変換部３２が、カメラ画像の画素の各々について、カメラ画像に関するパラメータに基づいて、算出された法線ベクトルを、カメラ画像上の座標及び深度に基づく座標系における法線ベクトルに変換する。法線方向推定器学習部３４が、カメラ画像と、画素の各々について変換された法線ベクトルとに基づいて、入力された画像からカメラ画像上の座標及び深度に基づく座標系における法線ベクトルを推定するための法線方向推定器を学習する。【選択図】図１

Description

本発明は、推定器学習装置、法線方向推定装置、方法、及びプログラムに係り、特に、画像が表す表面形状の法線ベクトルを推定するための推定器学習装置、法線方向推定装置、方法、及びプログラムに関する。

３次元形状情報の獲得は、画像に写る物体を認識するだけでなく、その実寸法や配置、状態を認識する手段として大変有用なものである。近年では深度情報を計測可能なセンサの利用が一般的になり、３次元情報処理は様々な分野で活用されている。一方で、一般的なカメラによって撮影された１枚の画像を認識する場合、同様の３次元情報を活用することは難しく２次元的な情報に基づいて認識処理を行うことが一般的である。１枚の画像から３次元情報を推定することは長い間解決し難い課題となっていたが、最近では、深層学習の登場によって飛躍的にその推定精度を向上させられることが分かっている。非特許文献１では、撮影画像とそれに対応する３次元形状情報に基づいて深層学習を行い、１枚の画像から３次元表面形状を示す法線方向を推定する手法が提案されている。

A. Bansal et.al. "Marr Revisited: 2D-3D Model Alignment via Surface Normal Prediction", In Proc. of CVPR2016

非特許文献１などで示されるような深層学習に基づく法線方向推定によって３次元情報を捉えることができるが、３次元計測センサの代替手法としてはまだ十分な精度ではなく更なる精度向上が課題となっている。

本発明は、上記事情を鑑みて成されたものであり、精度よく、画像が表す表面形状の法線ベクトルを推定するための法線方向推定器を学習できる推定器学習装置、方法、及びプログラムを提供することを目的とする。

また、精度よく、画像が表す表面形状の法線ベクトルを推定することができる法線方向推定装置、方法、及びプログラムを提供することを目的とする。

上記目的を達成するために、第１の発明に係る推定器学習装置は、カメラによって撮影されたカメラ画像であって、前記カメラ画像が表す３次元形状が既知のカメラ画像の画素の各々について、前記カメラを基点とした座標であるカメラ座標系によって表現される、前記画素に対応する表面形状の法線ベクトルを算出する法線ベクトル算出部と、前記カメラ画像の画素の各々について、前記カメラ画像に関するパラメータに基づいて、前記算出された前記法線ベクトルを、前記カメラ画像上の座標及び深度に基づく座標系における法線ベクトルに変換する法線ベクトル変換部と、前記カメラ画像と、前記画素の各々について変換された前記法線ベクトルとに基づいて、入力された画像から前記カメラ画像上の座標及び深度に基づく座標系における法線ベクトルを推定するための法線方向推定器を学習する法線方向推定器学習部と、を含んで構成されている。

また、第１の発明に係る推定器学習装置において、前記カメラ画像上の座標及び深度に基づく座標系は、前記カメラ画像上の座標を、前記カメラの光学中心に対応する座標、及び前記カメラの焦点距離によって正規化した座標と、前記深度を対数関数を用いて正規化した値とで表わされるようにしてもよい。

また、第１の発明に係る推定器学習装置において、前記カメラ画像上の座標及び深度に基づく座標系における法線ベクトルの各要素は、前記正規化された前記カメラ画像上の座標を（ｕ’,ｖ’）とし、以下（５）式を用いて表されるようにしてもよい。

・・・（５）

また、第２の発明に係る法線方向推定装置において、入力画像について、第１の発明に係る推定器学習装置によって学習された、前記法線方向推定器に基づいて、前記入力画像の画素の各々に対する、前記カメラ画像上の座標及び深度に基づく座標系における法線ベクトルを推定する法線方向推定部、を含んで構成されている。

また、第２の発明に係る法線方向推定装置において、前記法線方向推定部は、更に、カメラの光学中心に対応する座標、及び前記カメラの焦点距離によって正規化された座標を（ｕ’,ｖ’）とし、以下（６）式を用いて、推定された前記カメラ画像上の座標及び深度に基づく座標系における法線ベクトルを、前記カメラ座標系の法線ベクトルに逆変換するようにしてもよい。

・・・（６）

第３の発明に係る推定器学習方法は、法線ベクトル算出部が、カメラによって撮影されたカメラ画像であって、前記カメラ画像が表す３次元形状が既知のカメラ画像の画素の各々について、前記カメラを基点とした座標であるカメラ座標系によって表現される、前記画素に対応する表面形状の法線ベクトルを算出するステップと、法線ベクトル変換部が、前記カメラ画像の画素の各々について、前記カメラ画像に関するパラメータに基づいて、前記算出された前記法線ベクトルを、前記カメラ画像上の座標及び深度に基づく座標系における法線ベクトルに変換するステップと、法線方向推定器学習部が、前記カメラ画像と、前記画素の各々について変換された前記法線ベクトルとに基づいて、入力された画像から前記カメラ画像上の座標及び深度に基づく座標系における法線ベクトルを推定するための法線方向推定器を学習するステップと、を含んで実行することを特徴とする。

第４の発明に係る法線方向推定方法は、法線方向推定部が、入力画像について、請求項６に記載の推定器学習装置によって学習された、前記法線方向推定器に基づいて、前記入力画像の画素の各々に対する、前記カメラ画像上の座標及び深度に基づく座標系における法線ベクトルを推定するステップ、を含んで実行することを特徴とする。

第５の発明に係るプログラムは、コンピュータを、第１の発明に係る推定器学習装置、又は第２の発明に係る法線方向推定装置の各部として機能させるためのプログラムである。

本発明の推定器学習装置、方法、及びプログラムによれば、カメラによって撮影されたカメラ画像であって、カメラ画像が表す３次元形状が既知のカメラ画像の画素の各々について、カメラを基点とした座標であるカメラ座標系によって表現される、画素に対応する表面形状の法線ベクトルを算出し、カメラ画像の画素の各々について、カメラ画像に関するパラメータに基づいて、算出された法線ベクトルを、カメラ画像上の座標及び深度に基づく座標系における法線ベクトルに変換し、カメラ画像と、画素の各々について変換された法線ベクトルとに基づいて、入力された画像からカメラ画像上の座標及び深度に基づく座標系における法線ベクトルを推定するための法線方向推定器を学習することにより、精度よく、画像が表す表面形状の法線ベクトルを推定するための法線方向推定器を学習できる、という効果が得られる。

また、法線方向推定装置、方法、及びプログラムによれば、推定器学習装置によって予め学習された、法線方向推定器に基づいて、入力画像の画素の各々に対する、カメラ画像上の座標及び深度に基づく座標系における法線ベクトルを推定することにより、精度よく、画像が表す表面形状の法線ベクトルを推定することができる、という効果が得られる。

本発明の実施の形態に係る推定器学習装置の構成を示すブロック図である。 カメラ画像上の変化と法線ベクトルとの関係の一例を示す図である。 ＣＮＮのネットワーク構成の一例を示す図である。 本発明の実施の形態に係る推定器学習装置における推定器学習処理ルーチンを示すフローチャートである。 本発明の実施の形態に係る法線方向推定装置の構成を示すブロック図である。 本発明の実施の形態に係る法線方向推定装置における法線方向推定処理ルーチンを示すフローチャートである。

以下、図面を参照して本発明の実施の形態を詳細に説明する。

＜本発明の実施の形態に係る概要＞

まず、本発明の実施の形態における概要を説明する。

本発明の実施の形態では、局所的な画像の見え方と推定すべき法線方向との整合性を考慮することで推定精度を向上させ、また適用可能なシーンを拡大させる。

本発明の実施の形態における推定器の学習では、画像特徴から法線方向を推定する精度を高めるために画像の見え方に対して一貫性のある新たな法線方向表現を導入し、これによって画像特徴と法線方向の関係性をより効率的に学習できるようにする。具体的には、従来はカメラの向きを基準とした３次元空間の座標系によって設定されていた法線方向を画像内の２次元座標とそれに応じた深度変化を基準とした法線方向として表現する。こうした法線方向表現によって局所的な画像の見え方と推定すべき法線方向との関係に一貫性を持たせることができるようになり、より効率的に機械学習を適用できるデータを用意することができる。

法線方向推定器の学習及び法線方向の推定についてはどのような機械学習手法を用いても構わない。一例として、非特許文献１にあるような深層学習をベースとする学習及び推定手法の事例を説明する。本発明の実施の形態では、学習用データ生成部において画像特徴と一貫性のある法線方向データを算出することによって学習効率を高め、高い推定精度を実現する。

＜本発明の実施の形態に係る推定器学習装置の構成＞

次に、本発明の実施の形態に係る推定器学習装置の構成について説明する。図１に示すように、本発明の実施の形態に係る推定器学習装置１００は、ＣＰＵと、ＲＡＭと、後述する推定器学習処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この推定器学習装置１００は、機能的には図１に示すように入力部１０と、演算部２０と、法線方向推定器４０とを備えている。

入力部１０は、学習データとして、カメラによって撮影された複数のカメラ画像、及び複数のカメラ画像が表す３次元形状を受け付ける。カメラ画像が表す３次元形状はカメラ情報から既知であるものとし、カメラ画像に対応する深度画像、もしくは３次元点群データとして取得する。３次元形状は、Ｍｉｃｒｏｓｏｆｔ Ｋｉｎｅｃｔ（登録商標）などのＲＧＢカメラと一体となった深度センサを用いることで容易に取得可能である。

演算部２０は、法線ベクトル算出部３０と、法線ベクトル変換部３２と、法線方向推定器学習部３４とを含んで構成されている。

法線ベクトル算出部３０は、入力部１０で受け付けた、３次元形状が既知の複数のカメラ画像の画素の各々について、カメラを基点とした座標であるカメラ座標系によって表現される、画素に対応する表面形状の法線ベクトルを算出する。各画素について周辺画素の３次元点群を取り出し、それらを平面であると仮定して平面に垂直な方向を求める手法が簡易な手法であるが、ノイズの影響を考慮したロバスト推定を用いるなど他の手法によって求めても良い。

法線ベクトル変換部３２は、複数のカメラ画像の画素の各々について、カメラ画像に関するパラメータに基づいて、算出された法線ベクトルを、カメラ画像上の座標及び深度に基づく座標系における法線ベクトルに変換する。

以下に法線ベクトルの変換手法を説明する。

カメラ画像の透視投影変換においては同一の法線方向をもつ表面がカメラ画像のどの位置に投影されるかによって見た目が変わる。例えば、図２に示されるようなカメラの向きに平行な面は、カメラ右側に存在している場合はその表面がカメラ画像上に写っているが、カメラ左側に存在している場合はカメラ画像上に写らない表面となる。つまり、撮影された方向によって画像上の映り込み方が異なっている。このようなカメラ画像上の変化に対してカメラ座標系で表現される法線ベクトルＮは変わらず一定である。本発明の実施の形態では、カメラ画像への映り込み方と推定すべき法線ベクトルとの整合性を取るため、画像内の座標変化Δｕと深度情報Δｚとの関係を新たな法線方向表現として用いることを考える。

カメラ座標系をｘｙｚ空間として表すと物体表面は以下のような陰関数で表すことができる。

・・・（１）

この関数ｇを用いてある点ｐにおける法線ベクトルは以下のように算出される。

・・・（２）

このカメラ座標系における法線ベクトルを画像上の画素座標（ｕ，ｖ）と深度ｚの関係によって表すことを考える。カメラからの距離が変わることによるカメラ画像上でのスケールの変化については同じ見えであるとすると、考慮したい深度変化Δｚをその箇所の深度で正規化する必要がある。これを満たすために座標変化に対するｌｏｇ（ｚ）の変化を求めることとする。また、同様に焦点距離の違いによって生じる画像のスケール変化についても正規化するため、画像座標系はカメラ画像上の光学中心を原点として焦点距離によって正規化された座標を用いる。これらの値をｕ’，ｖ’，ｗとして以下のような陰関数によって３次元表面を表すことができる。

・・・（３）

ここで、（ｕ，ｖ）はカメラ画像上の座標である。また、カメラによって画素数が正方形や長方形である場合があるため、カメラ画像とカメラ画像に関するパラメータとの関係から、カメラ画像上の光学中心を（ｃ_ｕ，ｃ_ｖ）、焦点距離をカメラ画像上の各軸の画素数単位で示したものを（ｆ_ｕ，ｆ_ｖ）として表現する。ｕ’，ｖ’は透視投影変換の式からｕ’＝ｘ／ｚ，ｖ’＝ｙ／ｚのようにｘ，ｙ，ｚと対応付けられる。これによってｘｙｚ空間における点ｐに対応するｕ’ｖ’ｗ空間における点~ｐを求めることができ、点~ｐにおける関数ｈの偏微分を求めることで、ｕ’ｖ’ｗ空間における点ｐでの法線ベクトル表現を得ることができる。関数ｈの各偏微分は以下のように計算される。

・・・（４）

ここで、ｅｘｐ（ｗ）は正の値であるため各要素をｅｘｐ（ｗ）で割っても法線ベクトルの方向は変化しない。これにより、求めたい法線方向表現~Ｎはｘｙｚ空間における法線ベクトルＮと画像上の座標に基づく値（ｕ’，ｖ’）のみを用いて以下（５）式のように決定される。

・・・（５）

このように、正規化されたカメラ画像上の座標（ｕ’，ｖ’）及び深度ｗからなる座標系による法線ベクトル~Ｎが求められる。法線ベクトル変換部３２では、この変換された法線方向表現~Ｎ_ｘ,~Ｎ_ｙ,~Ｎ_ｚの各要素により表される法線ベクトル~Ｎを各画素について算出し出力する。

法線方向推定器学習部３４は、複数のカメラ画像と、画素の各々について変換された法線ベクトル~Ｎとに基づいて、入力された画像からカメラ画像上の座標及び深度に基づく座標系における法線ベクトル~Ｎを推定するための法線方向推定器を学習し、法線方向推定器４０として保持する。

法線方向推定器の学習については、非特許文献１で提案されているようなＣｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ（ＣＮＮ）を活用することで学習を行う。また、画像勾配特徴とパターン識別に基づく別の手法を用いてもよい。例えば、図３のようなネットワーク構成を持つＣＮＮを用いると、局所的な特徴を保持している上流層の出力と大域的な特徴を保持している下流層の出力を結合させたＨｙｐｅｒｃｏｌｕｍｎ ｆｅａｔｕｒｅを導入することで画像全体のシーンを加味しつつ、局所的な変化も捉えた法線推定を実現することができる。ＣＮＮのパラメータは生成された学習用画像を繰り返し入力し、正解となる法線ベクトルとの誤差を求めることで、誤差逆伝播法によって逐次学習される。正解データとの誤差が十分小さくなるまで学習を繰り返すことで、画像の法線推定に適用可能なＣＮＮパラメータを得ることができる。

＜本発明の実施の形態に係る推定器学習装置の作用＞

次に、本発明の実施の形態に係る推定器学習装置１００の作用について説明する。入力部１０において学習データとして、カメラによって撮影された複数のカメラ画像、及び複数のカメラ画像が表す３次元形状を受け付けると、推定器学習装置１００は、図４に示す推定器学習処理ルーチンを実行する。

まず、ステップＳ１００では、入力部１０で受け付けた、３次元形状が既知の複数のカメラ画像の各々に対し、当該カメラ画像の画素の各々について、カメラを基点とした座標であるカメラ座標系によって表現される、画素に対応する表面形状の法線ベクトルを算出する。

次に、ステップＳ１０２では、３次元形状が既知の複数のカメラ画像の各々に対し、当該カメラ画像の画素の各々について、カメラ画像に関するパラメータに基づいて、ステップＳ１００で算出された法線ベクトルを、カメラ画像上の座標及び深度に基づく座標系における各要素を上記（５）式により表した法線ベクトルに変換する。

ステップＳ１０４では、３次元形状が既知の複数のカメラ画像の各々に対する、当該カメラ画像と、ステップＳ１０２で画素の各々について変換された法線ベクトルとに基づいて、入力された画像からカメラ画像上の座標及び深度に基づく座標系における法線ベクトルを推定するための法線方向推定器を学習し、法線方向推定器４０として保持する。

以上説明したように、本発明の実施の形態に係る推定器学習装置によれば、カメラによって撮影されたカメラ画像であって、カメラ画像が表す３次元形状が既知のカメラ画像の画素の各々について、カメラを基点とした座標であるカメラ座標系によって表現される、画素に対応する表面形状の法線ベクトルを算出し、カメラ画像の画素の各々について、カメラ画像に関するパラメータに基づいて、算出された法線ベクトルを、カメラ画像上の座標及び深度に基づく座標系における法線ベクトルに変換し、カメラ画像と、画素の各々について変換された法線ベクトルとに基づいて、入力された画像からカメラ画像上の座標及び深度に基づく座標系における法線ベクトルを推定するための法線方向推定器を学習することにより、精度よく、画像が表す表面形状の法線ベクトルを推定するための法線方向推定器を学習できる。

＜本発明の実施の形態に係る法線方向推定装置の構成＞

次に、本発明の実施の形態に係る法線方向推定装置の構成について説明する。図５に示すように、本発明の実施の形態に係る法線方向推定装置２００は、ＣＰＵと、ＲＡＭと、後述する法線方向推定処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この法線方向推定装置２００は、機能的には図５に示すように入力部２１０と、演算部２２０と、出力部２５０とを備えている。

入力部２１０は、法線方向の推定対象となる入力画像を受け付ける。

演算部２２０は、法線方向推定部２３０と、法線方向推定器２４０とを含んで構成されている。

法線方向推定器２４０は、上記推定器学習装置１００によって学習された法線方向推定器である。

法線方向推定部２３０は、入力画像について、法線方向推定器２４０に基づいて、入力画像の画素の各々に対する、カメラ画像上の座標及び深度に基づく座標系における法線ベクトルを推定し、出力部２５０に出力する。法線ベクトルの推定は、法線方向推定器２４０の学習済みのパラメータを持ったＣＮＮに入力画像を入力し推定結果を得る。また、カメラ座標系における法線ベクトルが必要な場合は、法線方向推定部２３０は、正規化された入力画像上の座標を（ｕ’,ｖ’）とし、以下（６）式を用いて、推定されたカメラ画像上の座標及び深度に基づく座標系における法線ベクトル~Ｎを、カメラ座標系の法線ベクトルＮに逆変換する。

・・・（６）

＜本発明の実施の形態に係る法線方向推定装置の作用＞

次に、本発明の実施の形態に係る法線方向推定装置２００の作用について説明する。入力部２１０において法線方向の推定対象となる入力画像を受け付けると、法線方向推定装置２００は、図６に示す推法線方向推定処理ルーチンを実行する。

ステップＳ２００では、入力画像について、法線方向推定器２４０に基づいて、入力画像の画素の各々に対する、カメラ画像上の座標及び深度に基づく座標系における法線ベクトルを推定する。

ステップＳ２０２では、ステップＳ２００で推定された入力画像の画素の各々の法線ベクトルの推定結果を、出力部２５０に出力する。

以上説明したように、本発明の実施の形態に係る法線方向推定装置によれば、推定器学習装置によって予め学習された、法線方向推定器に基づいて、入力画像の画素の各々に対する、カメラ画像上の座標及び深度に基づく座標系における法線ベクトルを推定することにより、精度よく、画像が表す表面形状の法線ベクトルを推定することができる。

また、本発明の実施の形態の手法によって画像１枚からその３次元形状を精度よく得ることができる。これによって従来の２次元情報に基づいて行っていた画像認識をより高精度にすることができるだけでなく、スケール情報を加味した認識などより高機能な画像認識サービスに活用することもできる。

なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

１０、２１０ 入力部
２０、２２０ 演算部
３０ 法線ベクトル算出部
３２ 法線ベクトル変換部
３４ 法線方向推定器学習部
４０、２４０ 法線方向推定器
１００ 推定器学習装置
２００ 法線方向推定装置
２３０ 法線方向推定部
２５０ 出力部

Claims (8)

1. カメラによって撮影されたカメラ画像であって、前記カメラ画像が表す３次元形状が既知のカメラ画像の画素の各々について、前記カメラを基点とした座標であるカメラ座標系によって表現される、前記画素に対応する表面形状の法線ベクトルを算出する法線ベクトル算出部と、
   前記カメラ画像の画素の各々について、前記カメラ画像に関するパラメータに基づいて、前記算出された前記法線ベクトルを、前記カメラ画像上の座標及び深度に基づく座標系における法線ベクトルに変換する法線ベクトル変換部と、
   前記カメラ画像と、前記画素の各々について変換された前記法線ベクトルとに基づいて、入力された画像から前記カメラ画像上の座標及び深度に基づく座標系における法線ベクトルを推定するための法線方向推定器を学習する法線方向推定器学習部と、
   を含む推定器学習装置。
2. 前記カメラ画像上の座標及び深度に基づく座標系は、前記カメラ画像上の座標を、前記カメラの光学中心に対応する座標、及び前記カメラの焦点距離によって正規化した座標と、前記深度を対数関数を用いて正規化した値とで表わされる請求項１に記載の推定器学習装置。
3. 前記カメラ画像上の座標及び深度に基づく座標系における法線ベクトルの各要素は、前記正規化された前記カメラ画像上の座標を（ｕ’,ｖ’）とし、以下（１）式を用いて表される請求項２に記載の推定器学習装置。
   
   ・・・（１）
4. 入力画像について、請求項１〜請求項３の何れか１項に記載の推定器学習装置によって学習された、前記法線方向推定器に基づいて、前記入力画像の画素の各々に対する、前記カメラ画像上の座標及び深度に基づく座標系における法線ベクトルを推定する法線方向推定部
   を含む法線方向推定装置。
5. 前記法線方向推定部は、更に、カメラの光学中心に対応する座標、及び前記カメラの焦点距離によって正規化された座標を（ｕ’,ｖ’）とし、以下（２）式を用いて、推定された前記カメラ画像上の座標及び深度に基づく座標系における法線ベクトルを、前記カメラ座標系の法線ベクトルに逆変換する請求項４に記載の法線方向推定装置。
   
   ・・・（２）
6. 法線ベクトル算出部が、カメラによって撮影されたカメラ画像であって、前記カメラ画像が表す３次元形状が既知のカメラ画像の画素の各々について、前記カメラを基点とした座標であるカメラ座標系によって表現される、前記画素に対応する表面形状の法線ベクトルを算出するステップと、
   法線ベクトル変換部が、前記カメラ画像の画素の各々について、前記カメラ画像に関するパラメータに基づいて、前記算出された前記法線ベクトルを、前記カメラ画像上の座標及び深度に基づく座標系における法線ベクトルに変換するステップと、
   法線方向推定器学習部が、前記カメラ画像と、前記画素の各々について変換された前記法線ベクトルとに基づいて、入力された画像から前記カメラ画像上の座標及び深度に基づく座標系における法線ベクトルを推定するための法線方向推定器を学習するステップと、
   を含む推定器学習方法。
7. 法線方向推定部が、入力画像について、請求項６に記載の推定器学習装置によって学習された、前記法線方向推定器に基づいて、前記入力画像の画素の各々に対する、前記カメラ画像上の座標及び深度に基づく座標系における法線ベクトルを推定するステップ
   を含む法線方向推定方法。
8. コンピュータを、請求項１〜請求項３のいずれか１項に記載の推定器学習装置、又は請求項４若しくは請求項５に記載の法線方向推定装置の各部として機能させるためのプログラム。