JP2020042503A - 三次元表象生成システム - Google Patents

Abstract

【課題】 撮影画像から、撮影画像の画角内に存在する三次元オブジェクトを表現する三次元表象を比較的少ない演算量で生成する。【解決手段】 誤差演算部１１は、所定の複数のカメラ１Ｌ，１Ｒにより被写体から得られた実撮影画像と三次元表象仮想観測部１４により得られた仮想撮影画像との誤差画像を生成する。三次元表象補正量演算部１２は、その誤差画像に対応する三次元表象補正量を生成する。三次元表象演算部１３は、その三次元表象補正量に従って三次元表象を補正する。三次元表象仮想観測部１４は、上述のカメラ１Ｌ，１Ｒに対応する仮想カメラにより三次元表象を撮影することで得られる仮想撮影画像を、三次元表象をレンダリングすることで生成する。三次元表象は、三次元空間内で配列された複数の区分サーフェスを含み、三次元表象の補正量は、その区分サーフェスの位置および向きの補正量を含む。【選択図】 図１

Description

本発明は、三次元表象生成システムに関するものである。

あるシステムでは、分類器を使用して、二次元カメラまたは三次元カメラによって得られた画像内のオブジェクトを検出し、そのオブジェクトを分類している（例えば特許文献１参照）。

このシステムでは、その分類器の学習方法が提案されている。その学習方法では、ターゲット環境モデルが、二次元カラー画像および三次元奥行画像（距離画像）の集合としてターゲット環境から収集され、このターゲット環境モデルと、人間などの三次元オブジェクトモデルとがレンダリングされ、レンダリングの結果として得られた画像がトレーニングデータとして使用される。

また、ある三次元モデリング装置は、ステレオカメラによって撮影された複数組の撮影画像から複数の三次元モデルをそれぞれ生成し、その複数の三次元モデルに基づいて、より精度の高い三次元モデルを生成している（例えば特許文献２参照）。

特開２０１６−２１８９９９号公報 特開２０１２−２４８２２１号公報

しかしながら、上述の三次元モデリング装置のように、ステレオカメラを使用する場合、ステレオカメラの視差に基づいて距離情報が得られるが、一般的に、画像内の各画素の距離を導出するためには、ステレオカメラで得られる撮影画像対の間で互いに対応する画素を特定する必要がある。そして、そのような互いに対応する画素を特定するためには多くの演算量が必要になる。また、撮影画像対において、画素値が略一様な領域については、そのような互いに対応する画素を正確に特定することが困難である。このように、ステレオカメラで得られる撮影画像対から各画素の距離情報を上述のように導出する際には上述のような問題が生じる。

また、上述のシステムでは、二次元カメラまたは三次元カメラによって得られた画像が直接的に分類器の入力とされるため、明示的に、三次元モデルなどの形状データが得られないとともに、画素単位での分類となるため、正確な分類のためには、膨大な学習データを作成して分類器を適切に学習する必要がある。

本発明は、上記の問題に鑑みてなされたものであり、撮影画像から、撮影画像の画角内に存在する三次元オブジェクトを表現する三次元表象を比較的少ない演算量で生成する三次元表象生成システムを得ることを目的とする。

本発明に係る三次元表象生成システムは、誤差演算部と、三次元表象補正量演算部と、所定の複数のカメラにより被写体から得られた実撮影画像に対応する三次元表象を生成する三次元表象演算部と、三次元表象仮想観測部とを備える。誤差演算部は、実撮影画像と三次元表象仮想観測部により得られた仮想撮影画像との誤差画像を生成し、三次元表象補正量演算部は、その誤差画像に対応する、三次元表象の補正量を生成する。三次元表象演算部は、三次元表象補正量演算部により生成された三次元表象の補正量に従って三次元表象を補正する。三次元表象仮想観測部は、上述のカメラに対応する仮想カメラにより三次元表象を撮影することで得られる仮想撮影画像を、三次元表象をレンダリングすることで生成するレンダリング部を備える。ここで、三次元表象は、三次元空間内で配列された複数の区分サーフェスを含み、三次元表象の補正量は、その区分サーフェスの位置および向きの補正量を含む。

本発明に係る三次元表象生成方法は、被写体から撮影された実撮影画像と三次元表象仮想観測部により得られた仮想撮影画像との誤差画像を生成するステップと、その誤差画像に対応する、三次元表象の補正量を生成するステップと、生成した三次元表象の補正量に従って三次元表象を補正するステップと、上述のカメラに対応する仮想カメラにより三次元表象を撮影することで得られる仮想撮影画像を、三次元表象をレンダリングすることで生成するステップとを備える。ここで、三次元表象は、三次元空間内で配列された複数の区分サーフェスを含み、三次元表象の補正量は、その区分サーフェスの位置および向きの補正量を含む。

本発明に係る三次元表象生成プログラムは、コンピューターを、上述の誤差演算部、上述の三次元表象補正量演算部、上述の三次元表象演算部、および上述の三次元表象仮想観測部として機能させる。

本発明に係る学習方法は、実撮影画像と仮想撮影画像との誤差画像に対応する、三次元表象の補正量を生成するディープニューラルネットワークの学習方法であって、任意の複数の基準三次元表象を生成し、基準三次元表象に対して複数の補正量を加えた複数のサンプル三次元表象を生成するステップと、基準三次元表象をレンダリングすることで基準撮影画像を生成するステップと、サンプル三次元表象をレンダリングすることでサンプル撮影画像を生成するステップと、基準撮影画像とサンプル撮影画像との誤差画像を生成するステップと、誤差画像と上述の補正量との対を学習データとし、その学習データを使用してディープニューラルネットワークの学習を行うステップとを備える。

本発明によれば、撮影画像から、撮影画像の画角内に存在する三次元オブジェクトを表現する三次元表象を比較的少ない演算量で生成する三次元表象生成システムが得られる。

本発明の上記又は他の目的、特徴および優位性は、添付の図面とともに以下の詳細な説明から更に明らかになる。

図１は、本発明の実施の形態１に係る三次元表象生成システムの構成を示すブロック図である。 図２は、実施の形態１における三次元表象に含まれる複数の区分サーフェスを説明する図である（１／２）。 図３は、実施の形態１における三次元表象に含まれる複数の区分サーフェスを説明する図である（２／２）。 図４は、図２および図３における区分サーフェスのレンダリングについて説明する図である。 図５は、実施の形態１に係る三次元表象システムの動作について説明するフローチャートである。 図６は、実施の形態１において三次元表象補正量演算部１２におけるディープニューラルネットワークの学習について説明する図である。 図７は、実施の形態２における誤差画像および区分サーフェスの分割について説明する図である。 図８は、本発明の実施の形態４に係る三次元表象生成システムの構成を示すブロック図である。

以下、図に基づいて本発明の実施の形態を説明する。

実施の形態１．

図１は、本発明の実施の形態１に係る三次元表象生成システムの構成を示すブロック図である。図１に示す三次元表象生成システムは、複数のカメラ１Ｌ，１Ｒ、記憶装置２、および演算処理装置１０を備える。複数のカメラ１Ｌ，１Ｒは、共通の被写体（シーン）を撮影するデバイスである。記憶装置２は、データ、プログラムなどを記憶している、フラッシュメモリー、ハードディスクなどといった不揮発性の記憶装置である。演算処理装置１０は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などを含むコンピューターを備え、ＲＯＭや記憶装置２などからプログラムをＲＡＭにロードしＣＰＵで実行することで、各種処理部として動作する。

なお、この実施の形態では、カメラ１Ｌ，１Ｒは、ステレオカメラであるが、特に限定されるものではなく、３つ以上のカメラでもよい。また、この実施の形態では、カメラ１Ｌ，１Ｒで得られた実撮影画像が撮影後ただちに演算処理装置１０に供給されるが、その代わりに、記録媒体や他のデバイスからカメラ１Ｌ，１Ｒで得られた実撮影画像を間接的に演算処理装置１０に供給するようにしてもよい。

この実施の形態では、記憶装置２は、三次元表象生成プログラム２ａを記憶している。例えば、この三次元表象生成プログラム２ａは、可搬性のある記録媒体に記録され、その記録媒体から読み取られ記憶装置２にインストールされる。そして、演算処理装置１０は、三次元表象生成プログラム２ａを読み込んで実行することで、誤差演算部１１、三次元表象補正量演算部１２、三次元表象演算部１３、三次元表象仮想観測部１４、分類器１５、初期状態生成部１６、および制御部１７として動作する。

誤差演算部１１は、所定の複数のカメラ１Ｌ，１Ｒにより被写体から得られた実撮影画像と三次元表象仮想観測部１４により得られた仮想撮影画像との誤差画像を生成する。

ここで、実撮影画像と仮想撮影画像は、同一の解像度で同一のサイズを有し同一フォーマット（例えばＲＧＢ）の画像であり、誤差画像は、画素ごとに実撮影画像と仮想撮影画像との差を計算して得られる。

三次元表象補正量演算部１２は、ある１組の実撮影画像（ここでは、カメラ１Ｌの実撮影画像とカメラ１Ｒの実撮影画像との対）についての誤差画像に対応する、三次元表象Ｒの補正量ｄＲを生成する。

図２および図３は、実施の形態１における三次元表象に含まれる複数の区分サーフェスを説明する図である。ここで、三次元表象Ｒは、実撮影画像内のオブジェクトの三次元形状を表現し、図２に示すように、三次元空間内で配列された複数の区分サーフェスDS(i,j)(i=1,...,Nx; j=1,...,Ny)を含む。ここで、Nxは、Ｘ方向（実撮影画像の主走査方向、例えば水平方向）における区分サーフェスDS(i,j)の数（定数）であり、Nyは、Ｙ方向（実撮影画像の副走査方向、例えば垂直方向）における区分サーフェスDS(i,j)の数（定数）である。なお、区分サーフェスDS(i,j)の数は、誤差画像の画素数（つまり、実撮影画像の画素数）より小さい。

ここでは、区分サーフェスDS(i,j)は、平面であり、所定サイズおよび所定形状（ここでは矩形）を有する。なお、区分サーフェスDS(i,j)を、三次元曲面（例えば球面）とし、その属性として曲率を、補正可能に追加するようにしてもよい。また、複数の区分サーフェスDS(1,1),...,DS(Nx,Ny)のうちの、各区分サーフェスDS(i,j)の位置と、その区分サーフェスDS(i,j)の補正に影響する誤差画像内の部分領域の位置とは略一致する。

さらに、この実施の形態では、三次元表象Ｒは、１または複数の光源LS(i)(i=1,...,NL)をさらに含み、三次元表象Ｒの補正量ｄＲは、その光源の発光特性の補正量を含むようにしてもよい。ここで、NLは、三次元表象Ｒ内の光源の上限数（定数）である。

そして、三次元表象Ｒは、区分サーフェスDS(i,j)および光源LS(i)の属性値に基づき、次式で示される。

R = (S(1,1),...,S(Nx,Ny),L(1),...,(NL))

ここで、S(i,j)は、三次元表象Ｒに含まれる区分サーフェスDS(i,j)の属性値セットであり、区分サーフェスDS(i,j)の幾何学的情報（位置、向きなど）と光学的特性を示す。L(i)は、光源LS(i)の属性値セットであり、光源LS(i)の幾何学的情報（位置など）と光学的特性を示す。

例えば、区分サーフェスDS(i,j)の属性値セットS(i,j)は、次式で表せる。

S(i,j) = (X,Y,Z,θ,φ,Ref(1),...,Ref(Nw),Tr(1),...,Tr(Nw))

ここで、(X,Y,Z)は、区分サーフェスDS(i,j)の代表点（例えば中心点）のＸＹＺ座標値であり、(θ,φ)は、区分サーフェスDS(i,j)の代表点での法線の方位角および仰角であり、区分サーフェスDS(i,j)の向きを示す。また、Ref(1),...,Ref(Nw)は、特定波長域（ここでは可視波長域）をＮｗ個の波長領域に分割したときの各波長領域での光の反射率である。さらに、Tr(1),...,Tr(Nw)は、特定波長域（ここでは可視波長域）をＮｗ個の波長領域に分割したときの各波長領域での光の透過率である。

通常、オブジェクト表面の反射率および透過率は、入射光の波長によって異なるため、ここでは、可視波長域を分割した複数の波長範囲のそれぞれに対する反射率および透過率が、各区分サーフェスDS(i,j)の属性として設定される。

なお、各波長領域の反射率Ref(i)の代わりに、正反射率Ref_S(i)および拡散反射率のRef_D(i)を使用するようにしてもよい。また、被写体としてのオブジェクトが特定波長域の全波長を透過しない場合には、上述の透過率Tr(1),...,Tr(Nw)を省略してもよい。

また、光源LS(i)の属性値セットL(i)は、次式で表せる。

L(i) = (X,Y,Z,Em(1),...,Em(Nw),type,θ,φ)

ここで、(X,Y,Z)は、光源LS(i)の代表点（例えば中心点）のＸＹＺ座標値であり、Em(1),...,Em(Nw)は、特定波長域（ここでは可視波長域）をＮｗ個の波長領域に分割したときの各波長領域での発光光量である。typeは、点光源、面光源、平行光源、環境光などといった光源種別であり、(θ,φ)は、面光源、平行光源などの特定種別の光源からの光の向きを示す方位角および仰角である。

なお、光源LS(i)の数が上限数未満である場合には、データ上、存在しない光源の属性値セットは、補正量によって、発光光量が略ゼロに近づけられる。また、ここでは、属性セットL(i)に光源LS(i)の種別を示す属性typeを設けているが、その代わりに、種別ごとに独立した属性値セットを設け、三次元表象Ｒに含めるようにしてもよい。さらに、光源種別typeは、カメラ１Ｌ，１Ｒの撮影環境における光源の種別が一定である場合には、三次元表象Ｒの光源種別typeもその実際の種別に限定されるようにしてもよい。

また、三次元表象Ｒの補正量ｄＲは、三次元表象Ｒ内の各属性値の補正量、例えば、区分サーフェスDS(i,j)の位置および向きの補正量を含む。ここでは、区分サーフェスDS(i,j)の位置および向きは、上述の（X,Y,Z)と(θ,φ)である。

この実施の形態では、区分サーフェスDS(i,j)のＸ方向およびＹ方向（ここでは水平方向および垂直方向）の位置は固定であり、Ｚ方向（ここでは奥行方向）の位置および向き(θ,φ)は可変であり、上述の補正量ｄＲによって変更可能とされる。

なお、空などの無限遠点のオブジェクトの奥行き方向（Ｚ方向）の位置は、データ表現上の上限値になるように補正されていく。

したがって、例えば図３に示すように、各区分サーフェスDS(i,j)の位置および向きが補正され、三次元表象Ｒにおける複数の区分サーフェスDS(1,1),...,DS(Nx,Ny)によって三次元曲面が表現される。

さらに、この実施の形態では、上述のように、区分サーフェスDS(i,j)は、属性として、位置および向きの他に、光の反射率Ref(i)および透過率Tr(i)の少なくとも１つ（ここでは両方）を有し、三次元表象Ｒの補正量ｄＲは、区分サーフェスDS(i,j)の反射率Ref(i)および透過率Tr(i)の補正量を含むようにしてもよい。

三次元表象補正量演算部１２は、ディープニューラルネットワーク（以下、ＤＮＮともいう）で、誤差画像に対応する、三次元表象Ｒの補正量ｄＲを生成し、そのＤＮＮは、既存技術の畳み込みニューラルネットワークとされる。そのＤＮＮの入力は必要に応じて正規化され、そのＤＮＮの出力が０から１までの範囲で正規化されている場合、その出力値は、属性値ごとに、所定の下限値（負値）から所定の上限値（正値）までの範囲の値に変換される。

三次元表象補正量演算部１２の入力は、誤差画像の他に、補正前の三次元表象Ｒを含んでいてもよい。

図１に戻り、三次元表象演算部１３は、上述の実撮影画像に対応する三次元表象Ｒを生成する。ここでは、三次元表象演算部１３は、三次元表象補正量演算部１２により生成された三次元表象Ｒの補正量ｄＲに従って、三次元表象Ｒを補正する。つまり、三次元表象演算部１３は、ある１組の実撮影画像についての三次元表象Ｒの初期状態あるいは前回補正後の三次元表象Ｒを補正量ｄＲだけ変更することで、上述の実撮影画像に対応する三次元表象Ｒを生成する。具体的には、各属性値が、補正量ｄＲにより指定された量だけ増減される。

三次元表象仮想観測部１４は、実際のカメラ１Ｌ，１Ｒなどでの被写体の観測と同様に、三次元表象Ｒを仮想的なカメラなどで観測し、仮想撮影画像などを生成する。

この実施の形態では、三次元表象仮想観測部１４は、レンダリング部２１を備える。レンダリング部２１は、複数のカメラ１Ｌ，１Ｒに対応する複数の仮想カメラにより三次元表象Ｒを撮影することで得られる仮想撮影画像を、既知のレイトレーシング法などで三次元表象Ｒをレンダリングすることで生成する。

図４は、図２および図３における区分サーフェスのレンダリングについて説明する図である。ここで、仮想カメラは、対応するカメラ１Ｌ，１Ｒの撮像素子、レンズ構成などの光学系を含む既知の光学的特性（撮像素子のサイズ、画素数、レンズ系の焦点距離、画角、明るさなど）をシミュレートしたものであり、レンダリング部２１は、仮想カメラの（仮想的な）撮像素子の各画素位置について、図４に示すように、光学的特性を考慮してレイトレーシング法などで、光源LS(i)から発せられた光に基づく区分サーフェスDS(i,j)からの反射光、透過光などといった入射光の入射光量を特定し、撮像素子の光電変換特性に基づいて、その入射光量に対応する画素値を特定し、（仮想的な）撮像素子におけるすべての画素の画素値で仮想撮影画像を生成する。

図１に戻り、分類器１５は、１組の実撮影画像に対して確定された三次元表象Ｒにおける上述の複数の区分サーフェスDS(1,1),...,DS(Nx,Ny)に基づいて、三次元表象Ｒ内のオブジェクトを分類する。例えば、分類器１５は、畳み込みニューラルネットワークなどといったＤＮＮを使用してオブジェクトを分類する。分類器１５は、分類結果としての分類データを出力する。例えば、分類データは、各区分サーフェスDS(i,j)に関連付けられた分類コードである。なお、分類コードは、例えば人、車、建物、道路、空などといったオブジェクト種別を示す数値データであって、各オブジェクト種別に対して、固有な分類コードの値が予め割り当てられている。

初期状態生成部１６は、撮影画像から、三次元表象Ｒの初期状態（初期ベクトル）を生成する。例えば、初期状態生成部１６は、畳み込みニューラルネットワークなどといったＤＮＮで、撮影画像から、三次元表象の初期状態（初期ベクトル）を生成する。なお、所定の定数ベクトルを三次元表象Ｒの初期状態とする場合には、初期状態生成部１６は、省略してもよい。

制御部１７は、実撮影画像（画像データ）をカメラ１Ｌ，１Ｒなどから取得したり、三次元表象の生成の開始、三次元表象の反復的な補正の終了判定などといった演算処理装置１０内のデータ処理の制御を行う。

なお、この実施の形態では、１台の演算処理装置１０が上述の処理部１１〜１７として動作するが、その代わりに、互いに通信可能な複数の演算処理装置が、分散して、上述の処理部１１〜１７として動作するようにしてもよい。また、演算処理装置１０は、ソフトウェア処理を実行するコンピューターに限定されず、各種アクセラレーターなどといった専用ハードウェアを使用してもよい。

次に、実施の形態１に係る三次元表象システムの動作について説明する。図５は、実施の形態１に係る三次元表象システムの動作について説明するフローチャートである。

制御部１７は、演算処理装置１０に接続された図示せぬユーザーインターフェイスに対するユーザー操作に従って動作を開始し、カメラ１Ｌ，１Ｒから実撮影画像を取得し（ステップＳ１）、三次元表象Ｒと仮想撮影画像の初期設定を実行する（ステップＳ２）。このとき、任意の三次元表象Ｒを三次元表象Ｒの初期状態としてもよいし、初期状態生成部１６によってその実撮影画像から三次元表象Ｒの初期状態を生成するようにしてもよい。そして、三次元表象Ｒの初期状態が決定された後、その三次元表象Ｒの初期状態をレンダリング部２１でレンダリングすることで、仮想撮影画像の初期状態が得られる。

次に、誤差演算部１１は、各カメラ１ｉ（ｉ＝Ｌ，Ｒ）の実撮影画像と、対応する仮想カメラの仮想撮影画像との誤差画像を生成する（ステップＳ３）。これにより、複数の誤差画像が生成される。ここで、誤差画像は、実撮影画像および仮想撮影画像のフォーマット（色空間）に対応して、各座標プレーンについて生成される。例えば、実撮影画像および仮想撮影画像のフォーマットが、ＲＧＢである場合には、Ｒプレーンの誤差画像、Ｇプレーンの誤差画像、およびＢプレーンの誤差画像が、カメラ１ｉと仮想カメラとの各対に対応して生成される。

そして、誤差画像が生成されると、制御部１７は、その誤差画像が所定の収束条件を満たすか否かを判定し（ステップＳ４）、その誤差画像が所定の収束条件を満たす場合には、三次元表象の反復的な補正を終了し、そうではない場合には、以下のように、三次元表象の補正を行わせる。例えば、収束条件は、すべての誤差画像の画素値の２乗の総和や平均が所定閾値未満となることである。つまり、実撮影画像と仮想撮影画像とが十分に似ていれば、三次元表象の反復的な補正が終了する。

生成された誤差画像が上述の収束条件を満たさない場合、三次元表象補正量演算部１２は、生成された複数の誤差画像を入力として、三次元表象Ｒの補正量ｄＲを計算し出力する（ステップＳ５）。このとき、三次元表象Ｒ（つまり、今回の補正の前のもの）を三次元表象補正量演算部１２の入力として併せて使用してもよい。

三次元表象Ｒの補正量ｄＲが得られると、三次元表象演算部１３は、その三次元表象Ｒの補正量ｄＲにより指定される各区分サーフェスDS(i,j)の属性値セットS(i,j)における各属性値の補正量および各光源LS(i)の属性値セットL(i)における各属性値の補正量だけ、それらの属性値を変更することで、三次元表象Ｒを補正する（ステップＳ６）。

そして、三次元表象Ｒの補正が実行されるたびに、三次元表象仮想観測部１４のレンダリング部２１は、補正後の三次元表象Ｒに基づいて、区分サーフェスDS(1,1),...,DS(Nx,Ny)のレンダリングを行い、複数のカメラ１Ｌ，１Ｒに対応する複数の仮想カメラの仮想撮影画像を生成する（ステップＳ７）。

その後、ステップＳ３に戻り、誤差演算部１１は、補正後の三次元表象Ｒから新たに生成された仮想撮影画像と取得済みの実撮影画像との誤差画像を生成する。その後、上述したように、誤差画像が上述の収束条件を満たすまで、反復的に、三次元表象の補正が実行される（ステップＳ５〜Ｓ７）。

一方、誤差画像が上述の収束条件を満たす場合、制御部１７は、その時点での三次元表象Ｒを、取得した実撮影画像に対応する三次元表象Ｒとして確定し、分類器１５は、確定された三次元表象のうちの区分サーフェスDS(1,1),...,DS(Nx,Ny)を入力として、区分サーフェスDS(1,1),...,DS(Nx,Ny)内のオブジェクトを分類する（ステップＳ８）。その際、例えば、分類器１５は、各区分サーフェスDS(i,j)に対して、オブジェクトの分類を示す分類データを関連付け、例えば、分類データおよび区分サーフェスDS(i,j)を外部デバイスに出力する。

その後、制御部１７は、図示せぬユーザーインターフェイスに対するユーザー操作に従って動作を終了するか否かを判定し（ステップＳ９）、動作を終了すると判定した場合には、三次元表象Ｒの生成を終了し、動作を終了しないと判定した場合には、ステップＳ１に戻り、次の実撮影画像を取得し、その実撮影画像に対して、ステップＳ２以降の同様の処理を実行させ、その実撮影画像に対応する三次元表象Ｒを生成する。

このようにして、誤差演算部１１、三次元表象補正量演算部１２、三次元表象演算部１３、および三次元表象仮想観測部１４は、１組の実撮像画像に対して、誤差画像が、所定条件が成立して収束するまで、反復的に、誤差画像の生成、三次元表象補正量ｄＲの生成、三次元表象Ｒの補正、および三次元表象Ｒからの仮想撮影画像の生成をそれぞれ行う。

ここで、三次元表象補正量演算部１２におけるＤＮＮの学習について説明する。図６は、実施の形態１において三次元表象補正量演算部１２におけるＤＮＮの学習について説明する図である。

三次元表象補正量演算部１２におけるＤＮＮは、実撮影画像と仮想撮影画像との誤差画像に対応する、三次元表象Ｒの補正量ｄＲを生成している。このＤＮＮの学習は、例えば、次のようにして行われる。

まず、三次元表象Ｒの空間内で分散させて任意の複数の基準三次元表象Ｒｉ(i=1,...,p)を生成し、基準三次元表象Ｒｉに対して複数の補正量ｄＲｉｊを加えた複数のサンプル三次元表象Ｒｉｊを生成する。なお、補正量ｄＲｉｊでは、１または複数（一部または全部）の属性値の補正量が指定され、残りの属性値の補正量はゼロとされる。

次に、各基準三次元表象Ｒｉについて、その基準三次元表象Ｒｉをレンダリングすることで基準撮影画像を生成し、また、その基準三次元表象Ｒｉに対応するサンプル三次元表象Ｒｉｊ（つまり、補正量が既知である補正後の三次元表象）をレンダリングすることでサンプル撮影画像を生成する。

そして、基準撮影画像とサンプル撮影画像との誤差画像を生成し、その誤差画像と上述の補正量ｄＲｉｊとの対を学習データとして、学習データを多数生成する。このようにして生成された学習データに基づいて、このＤＮＮを例えば誤差逆伝播法で学習する。

なお、この学習の処理は、演算処理装置１０で行ってもよいし、別の装置で行いその学習結果を当該ＤＮＮに適用するようにしてもよい。

なお、初期状態生成部１６のディープニューラルネットワークも、例えば、三次元表象（基準三次元表象Ｒｉおよび／またはサンプル三次元表象Ｒｉｊ）と仮想撮影画像との対を学習データとして学習される。

ここで、分類器１５のＤＮＮの学習について説明する。

分類器１５のＤＮＮの学習では、区分サーフェスDS(1,1),...,DS(Nx,Ny)とその区分サーフェスDS(1,1),...,DS(Nx,Ny)の分類データ（つまり、各区分サーフェスに関連付けられる分類）との対が学習データとして使用される。したがって、任意の区分サーフェスDS(1,1),...,DS(Nx,Ny)を生成し、生成した区分サーフェスＤＳDS(1,1),...,DS(Nx,Ny)に対応する分類データを例えば手入力などで生成して、上述の学習データが生成され、その学習データで、分類器１５内のＤＮＮが学習される。

なお、この学習の処理は、演算処理装置１０で行ってもよいし、別の装置で行いその学習結果を当該ＤＮＮに適用するようにしてもよい。

以上のように、上記実施の形態１によれば、誤差演算部１１は、被写体から所定の複数のカメラ１Ｌ，１Ｒにより得られた実撮影画像と三次元表象仮想観測部１４により得られた仮想撮影画像との誤差画像を生成する。三次元表象補正量演算部１２は、その誤差画像に対応する、三次元表象Ｒの補正量ｄＲを生成する。三次元表象演算部１３は、三次元表象補正量演算部１２により生成された三次元表象Ｒの補正量ｄＲに従って三次元表象Ｒを補正する。三次元表象仮想観測部１４は、上述のカメラ１Ｌ，１Ｒに対応する仮想カメラにより三次元表象Ｒを撮影することで得られる仮想撮影画像を、三次元表象Ｒをレンダリングすることで生成するレンダリング部２１を備える。ここで、三次元表象Ｒは、三次元空間内で配列された複数の区分サーフェスDS(1,1),...,DS(Nx,Ny)を含み、三次元表象Ｒの補正量ｄＲは、その区分サーフェスDS(1,1),...,DS(Nx,Ny)の位置および向きの補正量を含む。

これにより、撮影画像から、撮影画像の画角内に存在する三次元オブジェクトを表現する三次元表象が、比較的少ない演算量で生成される。

また、三次元表象補正量演算部１２でＤＮＮを使用することで、通常のステレオカメラの距離演算に比べ、略一様の画素値の領域でも、距離が周囲から推定され正確に特定されることが期待される。さらに、三次元表象仮想観測部１４により三次元表象Ｒから仮想撮影画像が生成され誤差画像へフィードバックされているため、上述の三次元モデリング装置のようなフィードフォワード的に三次元モデルを生成する場合に比べ、三次元表象Ｒが実撮影画像に対して忠実に生成される。

実施の形態２．

図７は、実施の形態２における誤差画像および区分サーフェスの分割について説明する図である。実施の形態２に係る三次元表象生成システムでは、三次元表象補正量演算部１２が、図７に示すように、誤差画像および区分サーフェスを分割し、分割した誤差画像から、分割した一部の区分サーフェスDS(i,j)および光源LS(i)を有する部分三次元表象（三次元表象の一部）の補正量ｄＲをそれぞれ生成する。なお、区分サーフェスDS(i,j)は、ＸＹ平面において、所定数ずつ、分割される。

具体的には、実施の形態２では、三次元表象補正量演算部１２は、上述の誤差画像を複数の分割画像に分割し、その複数の分割画像から１つの分割画像を順番に選択し、選択した分割画像に対応する、三次元表象Ｒの部分的な補正量を生成する。そして、実施の形態２では、三次元表象演算部１３は、その複数の分割画像のそれぞれに対応する部分三次元表象の補正量ｄＲ（ここでは、分割された一部の区分サーフェスおよび光源についての補正量）に従って三次元表象Ｒを補正する。

なお、光源LS(i)については、各部分三次元表象の補正時に、光源LS(i)の属性値セットL(i)の補正量に基づいて、光源LS(i)の補正を行うようにしてもよいし、すべての部分三次元表象Ｒの補正ｄＲ（光源を除く）が完了した後に、（ａ）すべての部分三次元表象の補正量のうちの光源LS(i)の属性値セットL(i)の補正量の平均値（つまり、補正量が実質的に非ゼロであるものの平均値）あるいは（ｂ）すべての部分三次元表象の補正量のうちの絶対値が最大であるもので、光源LS(i)を１度で補正するようにしてもよい。

なお、実施の形態２に係るシステムのその他の構成および動作については、実施の形態１と同様であるので、その説明を省略する。

以上のように、上記実施の形態２によれば、実撮影画像と仮想撮影画像との誤差画像より小さい分割画像を入力として、三次元表象補正量演算部１２で、その分割画像に対応する部分の区分サーフェスおよび光源の補正量を生成するため、三次元表象補正量演算部１２で使用するディープニューラルネットワークの規模が小さくて済む。したがって、三次元表象補正量演算部１２での演算量が少なくなるとともに、そのディープニューラルネットワークの学習時の演算量も少なくなる。

なお、実施の形態２では、三次元表象補正量演算部１２で使用するディープニューラルネットワークの学習については、実施の形態１における学習データ（誤差画像と補正量との対）から、分割画像と、その分割画像に対応する区分サーフェスDS(i,j)および光源LS(i)についての補正量ｄＲとの対を、実施の形態２での学習データとして生成し、その学習データで当該ＤＮＮの学習を行えばよい。

実施の形態３．

実施の形態２に係る三次元表象生成システムでは、カメラ１Ｌ，１Ｒにより時系列に沿って撮影された連続画（動画）における各フレームの実撮影画像について、上述のように、三次元表象Ｒが生成される。つまり、連続するフレームの実撮影画像に対応して、三次元表象Ｒが時間とともに変化する。

具体的には、実施の形態３では、誤差演算部１１、三次元表象補正量演算部１２、三次元表象演算部１３、および三次元表象仮想観測部１４は、動画における一連の実撮影画像のうちの各フレームの実撮影画像に対して、誤差画像の生成、三次元表象補正量ｄＲの生成、三次元表象Ｒの補正、および三次元表象Ｒからの仮想撮影画像の生成をそれぞれ行う。

したがって、実施の形態３では、時系列に沿って、撮影された動画に合わせて三次元表象が変化していく。また、その際、分類器１５は、各フレームについての区分サーフェスＤＳに基づいてオブジェクトの分類を行うようにしてもよい。その場合、動画内で出現し消失するオブジェクトの分類がその動画に沿って行われる。

そして、その際、第１フレームの三次元表象Ｒの初期状態は、初期状態生成部１６により生成され、その後の各フレームの三次元表象Ｒの初期状態は、（ａ）１つの前のフレームの確定された三次元表象Ｒ、あるいは、（ｂ）当該フレームの過去の複数フレーム（例えば直近の２フレーム）の三次元表象Ｒ（各フレームで確定された三次元表象Ｒ）から（例えば線形的に）予測される三次元表象とされる。

なお、実施の形態３に係るシステムのその他の構成および動作については、実施の形態１または実施の形態２と同様であるので、その説明を省略する。

以上のように、上記実施の形態３によれば、実撮影画像として、動画内の時系列に沿って複数の実撮影画像に対応して、フレーム間で滑らかに三次元表象を変化させることができる。

実施の形態４．

図８は、本発明の実施の形態４に係る三次元表象生成システムの構成を示すブロック図である。実施の形態４に係る三次元表象生成システムでは、上述の複数のカメラ１Ｌ，１Ｒの他に、追加センサー５１で得られる実センサー測定値と、三次元表象仮想観測部１４における仮想センサー部６１で得られる仮想センサー測定値との間のセンサー誤差データが演算され、そのセンサー誤差データを考慮して、三次元表象の補正値が特定される。

具体的には、実施の形態４では、誤差演算部１１は、誤差画像の他に、被写体を含む環境を観測する所定の追加センサー５１により得られる実センサー測定値と、三次元表象仮想観測部１４により得られた仮想センサー測定値とのセンサー誤差データを生成し、実施の形態４では、三次元表象補正量演算部１２は、誤差画像およびセンサー誤差データに対応する、三次元表象Ｒの補正量ｄＲを生成する。

そして、実施の形態４では、三次元表象仮想観測部１４は仮想センサー部６１を備え、仮想センサー部６１は、追加センサー５１と同一の測定特性を有するようにシミュレートした仮想追加センサー６１により三次元表象を観測することで得られる仮想センサー測定値を生成する。

この実施の形態では、追加センサー５１は、ＲＡＤＡＲセンサーまたはＬｉＤＡＲ（Light Detection and Ranging）センサーを含む。その場合、追加センサー５１は、実距離画像を生成する。その場合、仮想センサー部６１は、そのＲＡＤＡＲセンサーまたはＬｉＤＡＲセンサーの機能と同一の機能で仮想的に三次元表象Ｒ（区分サーフェスDS(1,1),...,DS(Nx,Ny)）を観測し、仮想距離画像を生成する。そして、この場合、センサー誤差データは、実距離画像と仮想距離画像との誤差画像とされる。

なお、実施の形態４において、三次元表象Ｒの初期状態が初期状態生成部１６により生成される場合、実センサー測定値を実撮影画像とともに入力として使用される。また、実施の形態４では、三次元表象補正量演算部１２で使用するＤＮＮの学習については、実施の形態１における学習データ（誤差画像と補正量との対）における入力に、仮想センサー部６１により生成される仮想センサー測定値を追加し、その学習データで当該ＤＮＮの学習を行えばよい。

なお、実施の形態４に係るシステムのその他の構成および動作については、実施の形態１〜３のうちのいずれかと同様であるので、その説明を省略する。

以上のように、上記実施の形態４によれば、追加センサー５１で測定可能な事象を三次元表象に含めることができる。また、追加センサー５１としてＲＡＤＡＲセンサーまたはＬｉＤＡＲセンサーを追加する場合、複数のカメラ１Ｌ，１Ｒによる視差情報とＲＡＤＡＲセンサーまたはＬｉＤＡＲセンサーによる距離画像が三次元表象補正量演算部１２の入力として使用されるため、区分サーフェスDS(i,j)の奥行き方向（Ｚ方向）の位置がより正確に特定される。

なお、上述の実施の形態に対する様々な変更および修正については、当業者には明らかである。そのような変更および修正は、その主題の趣旨および範囲から離れることなく、かつ、意図された利点を弱めることなく行われてもよい。つまり、そのような変更および修正が請求の範囲に含まれることを意図している。

例えば、上記各実施の形態では、三次元表象Ｒの区分サーフェスDS(1,1),...,DS(Nx,Ny)は、属性値セットS(1,1),...,S(Nx,Ny)で表現しているが、その代わりに、別のデータ表現を採用してもよい。例えば、複数の区分サーフェスを所定間隔で固定的に三次元配列し（つまり、区分サーフェスのＸＹＺ座標値を固定し）、区分サーフェスのオン／オフ（存在／不在）を属性値として追加し、その属性値を補正量ｄＲで制御するようにしてもよい。

また、上記実施の形態のいずれかにおいて、三次元表象Ｒの区分サーフェスDS(i,j)の形状、サイズおよび形状は図示したものに特に限定されるものではなく、また、サイズおよび形状を区分サーフェスDS(i,j)の属性値として、三次元表象Ｒの補正量ｄＲで変更するようにしてもよい。さらに、上記実施の形態のいずれかにおいて、三次元表象Ｒの区分サーフェスDS(i,j)を、互いに隣接する区分サーフェスDS(i,j)を、互いに隣接するポリゴンが連続するように、区分サーフェスDS(i,j)を変形してポリゴンに変換するようにしてもよい。さらに、上記実施の形態のいずれかにおいて、実撮影画像の視野（画角）内に光源が含まれる可能性がある場合には、上述の光源LS(i)を仮想撮影画像の視野（画角）内に配置可能としてもよく、また、三次元表象の区分サーフェスで光源を表現可能とするようにしてもよい。区分サーフェスで光源を表現する場合には、区分サーフェスは、光源と同様の属性（特性データ）を有する。

さらに、上記実施の形態のいずれかにおいて、特定波長領域を分割した各部分波長領域について、反射率、透過率、発光光量などの属性を設定しているが、その代わりに、複数の特定波長をそれぞれ中心とする複数の特定分布（例えばガウス分布）を重畳して、特定波長領域における光学的特性（反射率、透過率、発光光量など）を表現するようにしてもよい。その場合、上述の属性値セットでは、例えば、各特定分布についての特定波長での強度および分散値などが属性値として使用される。

さらに、上記実施の形態４において、追加センサー５１として、マイクロフォンなどの音センサーを設け、三次元表象に１または複数の音源SS(i)を追加するようにしてもよい。その場合、音センサーに対応する仮想センサー部６１を設け、仮想センサー測定値として仮想音響信号を観測する。さらに、この場合、音センサーから得られる所定時間の実音響信号と所定時間の仮想音響信号との誤差データを生成し、三次元表象補正量演算部１２の入力データとして使用する。

さらに、上記実施の形態のいずれかにおいて、分類器１５により得られる分類データを使用して、区分サーフェスDS(i,j)の属性値を制限するようにしてもよい。例えば、分類データにより、光透過性のないオブジェクトの区分サーフェスDS(i,j)の透過率Tr(i)は、補正せずにゼロに固定してもよい。

さらに、上記実施の形態のいずれかにおいて、光源LS(i)のサイズおよび／または形状も光源LS(i)の属性値セットL(i)に追加し、補正量ｄＲで補正可能としてもよい。

さらに、上記実施の形態のいずれかにおいて、カメラ１Ｌ，１Ｒにおいて、実撮影画像に対して所定の画像処理が施される場合には、仮想撮影画像に対しても同一の画像処理が施される。

さらに、上記実施の形態のいずれかにおいて、ＤＮＮを使用する場合、必要に応じて、正規化などの前処理を、ＤＮＮの入力データに対して行うようにしてもよい。

さらに、上記実施の形態のいずれかにおいて、三次元表象Ｒ（特に区分サーフェス）は、分類器１５の入力データ以外にも使用可能であり、例えば、区分サーフェスで、実撮影画像内のオブジェクトを三次元的に表示するようにしてもよい。

さらに、上記実施の形態のいずれかにおいて、カメラ１Ｌ，１Ｒを、移動体（自動車、電車など）に設置された車載カメラとし、上述の分類データを、その移動体の自動運転に利用するようにしてもよい。

本発明は、例えば、撮影画像内でのオブジェクトの認識に適用可能である。

２ａ 三次元表象生成プログラム， １０ 演算処理装置（コンピューターの一例）， １１ 誤差演算部， １２ 三次元表象補正量演算部， １３ 三次元表象演算部， １４ 三次元表象仮想観測部

Claims (13)

1. 誤差演算部と、
   三次元表象補正量演算部と、
   所定の複数のカメラにより得られた被写体から実撮影画像に対応する三次元表象を生成する三次元表象演算部と、
   三次元表象仮想観測部とを備え、
   前記誤差演算部は、前記実撮影画像と前記三次元表象仮想観測部により得られた仮想撮影画像との誤差画像を生成し、
   前記三次元表象補正量演算部は、前記誤差画像に対応する、前記三次元表象の補正量を生成し、
   前記三次元表象演算部は、前記三次元表象補正量演算部により生成された前記三次元表象の補正量に従って、前記三次元表象を補正し、
   前記三次元表象仮想観測部は、前記カメラに対応する仮想カメラにより前記三次元表象を撮影することで得られる前記仮想撮影画像を、前記三次元表象をレンダリングすることで生成するレンダリング部を備え、
   前記三次元表象は、三次元空間内で配列された複数の区分サーフェスを含み、
   前記三次元表象の補正量は、前記区分サーフェスの位置および向きの補正量を含むこと、
   を特徴とする三次元表象生成システム。
2. 前記三次元表象補正量演算部は、ディープニューラルネットワークで、前記三次元表象の補正量を生成し、
   前記ディープニューラルネットワークは、畳み込みニューラルネットワークを含むこと、
   を特徴とする請求項１記載の三次元表象生成システム。
3. 前記三次元表象は、光源をさらに含み、
   前記三次元表象の補正量は、前記光源の発光特性の補正量を含むこと、
   を特徴とする請求項１記載の三次元表象生成システム。
4. 前記区分サーフェスは、属性として、光の反射率および透過率の少なくとも１つを有し、
   前記三次元表象の補正量は、前記区分サーフェスの反射率および透過率の少なくとも１つの補正量を含むこと、
   を特徴とする請求項１記載の三次元表象生成システム。
5. 前記誤差演算部、前記三次元表象補正量演算部、前記三次元表象演算部、および前記三次元表象仮想観測部は、１組の前記実撮像画像に対して、前記誤差画像が、所定条件が成立して収束するまで、反復的に、前記誤差画像の生成、前記三次元表象補正量の生成、前記三次元表象の補正、および前記三次元表象からの前記仮想撮影画像の生成をそれぞれ行うことを特徴とする請求項１記載の三次元表象生成システム。
6. 前記複数の区分サーフェスに基づいて、前記三次元表象内のオブジェクトを分類する分類器をさらに備えることを特徴とする請求項１記載の三次元表象生成システム。
7. 前記三次元表象補正量演算部は、前記誤差画像を複数の分割画像に分割し、前記分割画像に対応する、前記三次元表象の部分的な補正量を生成し、
   前記三次元表象演算部は、前記複数の分割画像のそれぞれについての前記三次元表象の部分的な補正量に従って前記三次元表象を補正すること、
   を特徴とする請求項１または請求項２記載の三次元表象生成システム。
8. 前記誤差演算部、前記三次元表象補正量演算部、前記三次元表象演算部、および前記三次元表象仮想観測部は、動画における一連の実撮影画像のうちの各フレームの実撮影画像に対して、前記誤差画像の生成、前記三次元表象補正量の生成、前記三次元表象の補正、および前記三次元表象からの前記仮想撮影画像の生成をそれぞれ行い、
   あるフレームについての前記三次元表象の初期状態は、当該フレームより過去の複数フレームの前記三次元表象から予測される三次元表象とされること、
   を特徴とする請求項１から請求項７のうちのいずれか１項記載の三次元表象生成システム。
9. 前記誤差演算部は、前記被写体を含む環境を観測する所定の追加センサーにより得られる実センサー測定値と、前記三次元表象仮想観測部により得られた仮想センサー測定値とのセンサー誤差データを生成し、
   前記三次元表象補正量演算部は、前記誤差画像および前記センサー誤差データに対応する、前記三次元表象の補正量を生成し、
   前記三次元表象仮想観測部は、前記追加センサーに対応する仮想追加センサーにより前記三次元表象を観測することで得られる前記仮想センサー測定値を生成する仮想センサー部を備えること、
   を特徴とする請求項１から請求項８のうちのいずれか１項記載の三次元表象生成システム。
10. 前記追加センサーは、ＲＡＤＡＲセンサーまたはＬｉＤＡＲセンサーを含むことを特徴とする請求項９記載の三次元表象生成システム。
11. 所定の複数のカメラにより被写体から得られた実撮影画像に対応する三次元表象を生成する三次元表象生成方法において、
    前記実撮影画像と前記三次元表象仮想観測部により得られた仮想撮影画像との誤差画像を生成するステップと、
    前記誤差画像に対応する、前記三次元表象の補正量を生成するステップと、
    生成した前記三次元表象の補正量に従って、前記三次元表象を補正するステップと、
    前記カメラに対応する仮想カメラにより前記三次元表象を撮影することで得られる前記仮想撮影画像を、前記三次元表象をレンダリングすることで生成するステップとを備え、
    前記三次元表象は、三次元空間内で配列された複数の区分サーフェスを含み、
    前記三次元表象の補正量は、前記区分サーフェスの位置および向きの補正量を含むこと、
    を特徴とする三次元表象生成方法。
12. コンピューターを、
    誤差演算部、
    三次元表象補正量演算部、
    所定の複数のカメラにより被写体から得られた実撮影画像に対応する三次元表象を生成する三次元表象演算部、および
    三次元表象仮想観測部として機能させ、
    前記誤差演算部は、前記実撮影画像と前記三次元表象仮想観測部により得られた仮想撮影画像との誤差画像を生成し、
    前記三次元表象補正量演算部は、前記誤差画像に対応する、前記三次元表象の補正量を生成し、
    前記三次元表象演算部は、前記三次元表象補正量演算部により生成された前記三次元表象の補正量に従って、前記三次元表象を補正し、
    前記三次元表象仮想観測部は、前記カメラに対応する仮想カメラにより前記三次元表象を撮影することで得られる前記仮想撮影画像を、前記三次元表象をレンダリングすることで生成するレンダリング部を備え、
    前記三次元表象は、三次元空間内で配列された複数の区分サーフェスを含み、
    前記三次元表象の補正量は、前記区分サーフェスの位置および向きの補正量を含むこと、
    を特徴とする三次元表象生成プログラム。
13. 実撮影画像と仮想撮影画像との誤差画像に対応する、三次元表象の補正量を生成するディープニューラルネットワークの学習方法であって、
    任意の複数の基準三次元表象を生成し、前記基準三次元表象に対して複数の補正量を加えた複数のサンプル三次元表象を生成するステップと、
    前記基準三次元表象をレンダリングすることで基準撮影画像を生成するステップと、
    前記サンプル三次元表象をレンダリングすることでサンプル撮影画像を生成するステップと、
    前記基準撮影画像とサンプル撮影画像との誤差画像を生成するステップと、
    前記誤差画像と前記補正量との対を学習データとし、前記学習データを使用して、前記ディープニューラルネットワークの学習を行うステップと、
    を備えることを特徴とする学習方法。

Images