JP2023077658A - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】 高精度の仮想視点画像を生成可能なテクスチャ付きの３次元形状データを得る。
【解決手段】 画像処理装置は、まず、基準点の周囲を撮像する撮像装置の撮像により得られた撮像画像のデータ、及び、基準点から、基準点の周辺に存在するオブジェクトまでの距離を示す距離情報を取得する。次に、取得した距離情報に基づいてオブジェクトの形状に対応する第１の３次元形状データを取得する。次に、オブジェクト以外の基準点の周囲に対応する１以上の平面又は曲面により構成される第２の３次元形状データを取得する。次に、第１の３次元形状データと第２の３次元形状データとを統合した第３の３次元形状データを取得し、取得した第３の３次元形状データに対して撮像画像をマッピングする。
【選択図】 図６

Description

本開示は、テクスチャ付きの３次元形状データを生成する技術に関する。

車両等の基準点の周囲の環境を監視する技術分野において、基準点に設置された複数台の撮像装置による撮像により得た撮像画像を用いて、任意の仮想視点から基準点の周囲を見たときの像に対応する画像（以下「仮想視点画像」という。）を生成する技術がある。特許文献１には、平面形状又は曲面形状を示す３次元形状データを複数組合せた、基準点の周囲の環境に対応する空間形状を示す３次元形状データを生成し、これに基準点からの撮像により得られた撮像画像をマッピングする手法が開示されている。特許文献１に開示された手法によれば、当該３次元形状データに撮像画像をマッピングすることにより得たテクスチャ付きの３次元形状示すデータに基づいて、任意の仮想視点から見た像に対応する仮想視点画像を生成することができる。

具体的には、特許文献１には、基準点の周囲の路面に対応する３次元形状データと、基準点の近方に存在するオブジェクトの位置のみに基づいて仮想空間に配置した予め定められた形状のついたて面の３次元形状データとを組合せる手法が開示されている。特許文献１に開示された手法によれば、仮想視点画像における歪み又は倒れを低減することができる。ここで、仮想視点画像における歪み及び倒れとは、仮想視点から実際に撮像したときに得られる画像と仮想視点画像との、仮想視点画像における相違を意味する。

国際公開第００／００７３７３号

しかしながら、特許文献１に開示されたついたて面の形状は、予め定められた形状であるため、当該ついたて面の形状は、本来のオブジェクトの形状と異なる。そのため、特許文献１に開示された手法では、ついたて面の３次元形状データに撮像画像をマッピングする際に、撮像画像におけるオブジェクトに対応する画像領域だけでなく、当該画像領域以外の画像領域についても、マッピングされてしまう。結果として、特許文献１に開示された手法では、仮想視点画像におけるオブジェクトに対応する画像領域の周辺の画像領域に歪み又は倒れが残存してしまい、精度の高い仮想視点画像を得ることができない。

本開示は、基準点の近方にオブジェクトが存在する場合であっても、高精度の仮想視点画像を生成可能なテクスチャ付きの３次元形状データを得ることができる画像処理装置を提供することを目的としている。

本開示に係る画像処理装置は、基準点の周囲を撮像する撮像装置の撮像により得られた撮像画像のデータを取得する画像取得手段と、前記基準点から、前記基準点の周辺に存在するオブジェクトまでの距離を示す距離情報を取得する距離取得手段と、前記距離情報に基づいて、前記オブジェクトの形状に対応する第１の３次元形状データを取得する第１取得手段と、前記オブジェクト以外の前記基準点の周囲に対応する、１以上の平面又は曲面により構成される第２の３次元形状データを取得する第２取得手段と、前記第１の３次元形状データと前記第２の３次元形状データとを統合した第３の３次元形状データを取得する第３取得手段と、前記第３の３次元形状データに対して前記撮像画像をマッピングするマッピング手段と、を有する。

本開示に係る画像処理装置によれば、基準点の近方にオブジェクトが存在する場合であっても、高精度の仮想視点画像を生成可能なテクスチャ付きの３次元形状データを得ることができる。

本開示に係るテクスチャ付きの３次元形状データの生成方法の一例を説明するための説明図である。 ３次元形状データとテクスチャ画像とを対応付けるための表現方法の一例を説明するための説明図である。 テクスチャ付きの３次元形状データを表現するためのデータセットの一例を示す図である。 対応表における頂点ＩＤの並び順と、三角形ポリゴンの表面との関係の一例を示す図である。 実施形態１に係る画像処理装置における仮想視点画像の生成処理の一例を説明するための説明図である。 実施形態１に係る画像処理装置の機能ブロックの構成の一例を示すブロック図である。 実施形態１に係る画像処理装置のハードウェア構成の一例を示すブロック図である。 実施形態１に係る画像処理装置の処理フローの一例を示すフローチャートである。 実施形態１に係る撮像装置及び測距センサの配置の一例を示す図である。 実施形態１に係る、点群データに基づいてオブジェクトの表面の形状に対応する面を構成する処理の一例を説明するための説明図である。 実施形態１に係る高さ方向の成分を持つ基準３次元形状のデータの一例を可視化した図である。 実施形態２に係る画像処理装置の機能ブロックの構成の一例を示すブロック図である。 実施形態２に係る画像処理装置の処理フローの一例を示すフローチャートである。 実施形態２に係る領域分割部により分割された領域の一例を説明するための図である。 実施形態３に係る画像処理装置の機能ブロックの構成の一例を示すブロック図である。 実施形態３に係る画像処理装置の処理フローの一例を示すフローチャートである。 実施形態３に係る、基準点の近方に存在するオブジェクトの表面に対応する点と、基準点から見たときの当該オブジェクトの後方に存在する他のオブジェクトの表面に対応する点とを頂点とする面の一例を説明するための説明図である。 実施形態３に係る、長さの閾値の算出方法の一例を説明するための説明図である。 図１９は、本開示に係る画像処理装置により生成される仮想視点画像と、特許文献１に開示された手法により生成される仮想視点画像との違いを説明するための説明図である。

本開示に係る実施形態の説明の前に、図１乃至４を参照して、本開示に係るテクスチャ付きの３次元形状データの生成方法の概要について説明する。図１は、本開示に係るテクスチャ付きの３次元形状データの生成方法の一例を説明するための説明図である。図１（ａ）は、テクスチャをマッピングする前の３次元形状データの一例を可視化した図である。図１（ｂ）は、図１（ａ）に示す３次元形状データにマッピングするテクスチャの画像（以下「テクスチャ画像」という。）の一例を示す概念図である。テクスチャ付きの３次元形状データは、図１（ａ）に示す３次元形状データに対して、図１（ｂ）に示すテクスチャ画像をマッピングする（以下「貼り付ける」ともいう。）ことにより生成される。図１（ｃ）は、生成されたテクスチャ付きの３次元形状データを、ユーザ操作等により指定された任意の仮想視点を示す情報に基づいて、３次元のレンダリング処理することにより生成される仮想視点画像の一例を示す図である。ここで、仮想視点を示す情報とは、仮想の視点の位置及び視線の方向等を示す情報である。

図２は、図１（ａ）に一例として示す３次元形状データと、図１（ｂ）に一例として示すテクスチャ画像とを対応付けるための表現方法の一例を説明するための説明図である。なお、以下、図１（ａ）に一例として示す３次元形状データは、それぞれが３個の頂点により形成される複数の三角形のポリゴン（以下「三角形ポリゴン」という。）の組合せにより構成されるものとして説明する。図２（ａ）は、図１（ａ）に示す３次元形状データにおける複数の三角形ポリゴン及び各三角形ポリゴンの頂点の一例を可視化した図である。図１（ａ）に示す３次元形状データは、図２（ａ）に一例として示すように、当該３次元形状データを表現するための要素として、１２個の三角形ポリゴンＴ０乃至１１、及びこれらを構成する１２個の頂点Ｖ０乃至１１により構成されている。図２（ｂ）は、図２（ａ）に示す三角形ポリゴンＴ０乃至１１を構成する各頂点Ｖ０乃至１１に対応する、図１（ｂ）に示すテクスチャ画像における位置Ｐ０乃至１３の一例を可視化した図である。

図２（ｃ）は、図２（ａ）に示す三角形ポリゴンＴ０乃至１１及び頂点Ｖ０乃至１１と、図２（ｂ）に示すテクスチャ画像における位置Ｐ０乃至１３とを互いに対応づけるための情報の一例を示す図である。図２（ｃ）に示すように、各三角形ポリゴンＴ０乃至１１に対して、それらを構成する３次元空間における頂点Ｖ０乃至１１のそれぞれを示す頂点ＩＤと、テクスチャ画像における位置Ｐ０乃至１３のそれぞれを示すテクスチャ頂点ＩＤとを対応付ける。このようにして、図１（ａ）に示す３次元形状データに対して、図１（ｂ）に示すテクスチャ画像を貼り付けたテクスチャ付きの３次元形状データを生成することができる。図２（ａ）に示す各三角形ポリゴンＴ０乃至１１を構成する各頂点Ｖ０乃至１１の座標は、図２（ａ）に一例と示すように、予め定められたｘｙｚ軸における各成分により３次元の空間座標として表現される。図２（ｂ）に示すテクスチャ画像における各位置Ｐ０乃至１３の座標は、図２（ｂ）に一例と示すように、予め定められたｕｖ軸における各成分により２次元の空間座標として表現される。

多くの場合、図２（ｃ）に示す頂点Ｖ０乃至４及び頂点Ｖ７乃至１１のように、三角形ポリゴンを構成する頂点と、テクスチャ画像における頂点の位置とは、１対１の対応となっており、インデックス番号を一致させて表現することができる。これに対して、頂点Ｖ５がテクスチャ画像における頂点の位置Ｐ５とＰ１２とに対応するように、３次元空間における１つの頂点が、テクスチャ画像の２次元空間における互いに異なる複数の頂点に対応することがある。このような対応関係の場合であっても、各三角形ポリゴンを構成する各頂点とテクスチャ画像における頂点とを対応付ける処理ができるように、図２（ｃ）では、頂点ＩＤとテクスチャ頂点ＩＤとが互いに独立して管理されている。

図３は、テクスチャ付きの３次元形状データを表現するためのデータセットの一例を示す図である。図３（ａ）は、頂点ＩＤと、頂点ＩＤに対応する頂点の３次元の空間座標との対応付けを示す頂点座標一覧の一例を示す図である。図３（ｂ）は、テクスチャ頂点ＩＤと、テクスチャ頂点ＩＤに対応するテクスチャ画像における頂点の２次元の空間座標との対応付けを示すテクスチャ頂点座標一覧の一例を示す図である。図３（ｃ）は、三角形ポリゴンと、頂点ＩＤ及びテクスチャ頂点ＩＤとの対応付けを示す対応表の一例を示す図である。図３（ｄ）は、テクスチャ画像の一例を示す図である。テクスチャ付きの３次元形状データのデータセットは、図３の各図に一例として示す、頂点座標一覧、テクスチャ頂点座標一覧、対応表、及びテクスチャ画像のデータにより構成される。

図３（ｃ）に示す対応表において、頂点ＩＤの並び順に、三角形ポリゴンの表面を定義する役割を持たせてもよい。図４は、対応表における頂点ＩＤの並び順と、三角形ポリゴンの表面との関係の一例を示す図である。図４に示す三角形ポリゴンＴ０は、一例として、頂点Ｖ０，Ｖ１，Ｖ２により構成されている。三角形ポリゴンＴ０における頂点ＩＤの並び順には、図４に示すように６通りが存在する。例えば、三角形ポリゴンＴ０の表面は、対応表に示す三角形ポリゴンを構成する頂点を左から順に３次元の空間座標において辿った際に、その回転方向に対して右ねじが進む方向を存在するものとして定義することができる。図４（ａ）及び（ｂ）のそれぞれは、三角形ポリゴンの表面が同じ方向となる対応表における頂点の順序の組を表している。図４（ａ）に示す三角形ポリゴンＴ０では、図４を示す紙面に対して裏側から表側に向かう方向、すなわち、当該紙面において図４を示している面が三角形ポリゴンＴ０の表面となる。これに対して、図４（ｂ）に示す三角形ポリゴンＴ０では、図４を示す紙面に対して表側から裏側に向かう方向、すなわち、当該紙面において図４を示している面の裏面が三角形ポリゴンＴ０の表面となる。

なお、三角形ポリゴンの表面の定義は、対応表に示す三角形ポリゴンを構成する頂点を左から順に３次元の空間座標において辿った際に、その回転方向に対して右ねじが進む方向を表面の方向とすることに限定されるものではない。例えば、当該回転方向に対して左ねじが進む方向、すなわち、右ねじが後退する方向を三角形ポリゴンの表面の方向として定義してもよい。

また、上述では、３次元形状データは、複数の三角形ポリゴンの組合せにより構成されるものとしたが、３次元形状データのデータ表現の形態は、これに限定されるものではない。例えば、３次元形状データは、四角形又は五角形等の４つ以上の頂点により構成される複数のポリゴンの組合せ、又は、互いに頂点の数が異なる２種類以上のポリゴンの組合せにより構成されたものであってもよい。

また、上述では、頂点座標一覧、テクスチャ頂点座標一覧、及び対応表のデータを用いて、三角形ポリゴンと、三角形ポリゴンの頂点の座標、及びテクスチャ画像の頂点の座標との対応関係を表現したが、当該対応関係の表現は、これに限定されるものではない。例えば、対応表において、三角形ポリゴンと、三角形ポリゴンの頂点の座標、及び、テクスチャ画像の頂点の座標とを、直接、対応付けて表現してもよい。

以下、本開示の実施形態について図面を参照して説明する。なお、以下の実施形態は本開示を限定するものではなく、また、本実施形態で説明されている特徴の組合せの全てが本開示の解決手段に必須のものとは限らない。なお、同一の構成又は同一の処理については、同じ符号を付して説明を省略する。

＜実施形態１＞
図５乃至１１を参照して、実施形態１に係る画像処理装置について説明する。実施形態１に係る画像処理装置は、互いに異なる２つの３次元形状データ（以下「第１の３次元形状データ」及び「第２の３次元形状データ」という。）を生成する。また、実施形態１に係る画像処理装置は、生成した第１の３次元形状データと第２の３次元形状データとを統合することにより、車両等の基準点が存在する空間の形状を表現する第３の３次元形状データを生成する。更に、実施形態１に係る画像処理装置は、生成した第３の３次元形状データにテクスチャ画像をマッピングしてテクスチャ付きの３次元形状データを生成し、生成したテクスチャ付きの３次元形状データを用いて仮想視点画像を生成する。

図５を参照して実施形態１に係る画像処理装置における仮想視点画像の生成処理の概要について説明する。図５は、実施形態１に係る画像処理装置における仮想視点画像の生成処理の一例を説明するための説明図である。３次元形状５０２は、第１の３次元形状データの一例を可視化したものである。第１の３次元形状データは、車両５０１に設置された測距センサの出力値を用いて取得された点群データ等の距離情報であって、車両５０１の周辺に存在するオブジェクトの基準点からの距離を示す距離情報に基づいて生成される。以下、一例として、距離情報は点群データであり、第１の３次元形状データは点群データに基づいて生成されるものとして説明する。第１の３次元形状データは、点群データが示す複数の点のそれぞれを頂点とする複数の三角形ポリゴンの組合せにより構成される。以下、点群データは、ＬｉＤＡＲ（Light Detection And Ranging）により取得されるものとして説明するが、ＬｉＤＡＲより取得されるものに限定にされるものではない。例えば、点群データは、ＲＡＤＡＲ（Radio Detection And Ranging）又はＳＯＮＡＲ（Sound navigation and ranging）等により取得されるものであってもよい。

ＬｉＤＡＲは、近赤外光又は可視光等のレーザ光を照射光として照射し、オブジェクトで反射した反射光を光センサで捉えることにより、照射光と反射光との位相差又は周波数差等に基づいて基準点からオブジェクトまでの距離を計測するものである。ＬｉＤＡＲの性能にもよるが、ＬｉＤＡＲによれば、広範囲にわたって高精度にオブジェクトまでの距離を点群データとして取得することができる。また、車両５０１つまりＬｉＤＡＲの設置位置に近い位置ではＬｉＤＡＲにより照射される照射光の密度が高い。そのため、ＬｉＤＡＲの設置位置に近い位置に存在するオブジェクトについては、その正確な位置及び形状を点群データとして取得することができる。したがって、ＬｉＤＡＲにより取得された点群データを用いて生成された第１の３次元形状データは、ＬｉＤＡＲの設置位置からオブジェクトまでの距離が予め定められた範囲内であれば、オブジェクトの実際の形状を正確に再現した高精度なものとなる。

平面形状５０３は、車両５０１が存在する地面又は床面等の路面に対応する３次元形状データを可視化したものである。曲面形状５０４は、車両５０１の周囲の環境における遠景等に対応する３次元形状データを可視化したものである。曲面形状５０４は、平面形状５０３に対して高さ方向の成分を持つものである。本実施形態に係る第２の３次元形状データは、平面形状５０３と曲面形状５０４との組合せ、すなわち、車両が存在する環境に対応する複数の３次元形状データの組み合わせにより生成されるものとして説明する。なお、第２の３次元形状データは、平面形状５０３と曲面形状５０４との組合せに限定されるものではない。例えば、第２の３次元形状データは、平面形状５０３及び曲面形状５０４のいずれか一方のみにより構成されるものであっても、平面形状５０３と曲面形状５０４との境界を滑らかにつないだ１つの曲面形状により構成されるものであってもよい。また、車両５０１が存在する路面に対応する平面形状５０３は、一様な平面の形状に限定されるものではなく、略平面等の高さ方向に凹凸のある形状であってもよい。また、車両の周囲の環境における遠景等に対応する曲面形状５０４は、曲面の形状に限定されるものではなく、複数の平面形状等の組合せ等により構成されるものであってもよい。

第１の３次元形状データを生成するために設置された測距センサにより取得できる点群データには、以下のような制限がある。具体的には、測距センサにより測定できる点群データの最大距離又は画角は、測距センサの仕様又は設置台数等により制限される。また、測距センサから近い位置にオブジェクトが存在する場合、その後方に存在する他のオブジェクトに対応する点群データについては取得することができない。

一方、仮想視点画像の生成の際に設定される任意の仮想視点の位置、又は仮想視点画像の撮像範囲によっては、車両の遠方等、車両からの距離が様々な位置に存在するオブジェクトが仮想視点画像に映りこむことがある。例えば、車両の遠方に存在するオブジェクトとしては、例えば、車両が走行する道路の周辺に存在する家又は施設等の建築物があげられる。本実施形態に係る画像処理装置は、点群データを用いて生成した第１の３次元形状データでは表現できない遠方のオブジェクトに対応する平面形状又は曲面形状の３次元形状データを組合せた第２の３次元形状データを生成する。これにより、本実施形態に係る画像処理装置は、第１の３次元形状データでは表現できない遠方のオブジェクトに対応する画像領域において、歪み又は倒れ等の画質劣化を低減した仮想視点画像することができる。

なお、曲面形状５０４のような平面形状５０３に対して高さ方向の成分を有する、車両５０１を囲むような面を示す３次元形状データを第２の３次元形状データに含めることにより、以下のような効果を得ることができる。建築物等の高さのあるオブジェクトを平面形状５０３に対応させた場合、本来高さのある当該オブジェクトと平面形状５０３との形状の違いにより、仮想視点画像における当該オブジェクトに対応する画像領域において歪み又は倒れ等の画質劣化が発生してしまう。これに対して、曲面形状５０４のように平面形状５０３に垂直な面等の、平面形状５０３に対して高さ方向の成分を有する面の形状のデータを第２の３次元形状データに含めることにより、建築物等のオブジェクトと車両の周囲の環境をより忠実に表現できる。結果として、仮想視点画像における当該オブジェクトに対応する画像領域において歪み又は倒れ等の画質劣化を低減できる。すなわち、第１及び第２の３次元形状データを統合した第３の３次元形状データにテクスチャ画像をマッピングすることにより、車両の近方及び遠方の両方に存在するオブジェクト同士の間でバランスの取れた仮想視点画像を生成することができる。なお、ここでいう垂直は、厳密な垂直に限定されるものではなく、略垂直を含むものであってもよい。

図１９を参照して、本開示に係る画像処理装置により生成される仮想視点画像と、特許文献１（国際公開第００／００７３７３号）に開示された手法を用いて生成される仮想視点画像との違いについて説明する。以下、一例として、車両１９０１に設置された撮像装置及び測距センサを用いて、車両１９０１の左方に位置する仮想視点１９０２から車両１９０１の左方を見たときの像に仮想視点画像について説明する。図１９（ａ）に示すように、車両１９０１の左方には、車両１９０３が存在し、車両１９０１から見て、車両１９０３の後方には、路面に車線等を示す破線１９０４が存在する。

図１９（ｂ）及び（ｃ）は、特許文献１に開示された手法を用いて生成される仮想視点画像１９１０，１９２０の一例である。特に、図１９（ｂ）に示す仮想視点画像１９１０は、車両１９０３に対応するついたて面の面積が、車両１９０３の表面に対応する仮想空間における面の面積よりも小さく、ついたて面が当該面の領域の一部のみを含む場合において生成されたものである。また、図１９（ｃ）に示す仮想視点画像１９２０は、車両１９０３に対応するついたて面の面積が、車両１９０３の表面に対応する仮想空間における面の面積よりも大きく、ついたて面が当該面の領域以外の領域をも含む場合において生成されたものである。

図１９（ｂ）に示す仮想視点画像１９１０には、車両１９０３に対応する画像領域１９１１と、破線１９０４に対応する画像領域１９１４とが存在する。しかしながら、仮想視点画像１９１０には、ついたて面が小さいため、車両１９０３に対応する画像の一部が、本来であれば路面又は破線１９０４が写るべき画像領域１９１２に表れてしまっている。また、図１９（ｃ）に示す仮想視点画像１９２０には、車両１９０３に対応する画像領域１９２１と、破線１９０４に対応する画像領域１９２２，１９２３とが存在する。しかしながら、仮想視点画像１９２０には、ついたて面が大きいため、本来であれば破線１９０４が１本の直線上に写るべきであるのに対して、画像領域１９２２と画像領域１９２３とに分かれて表れてしまっている。このように、特許文献１に開示された手法を用いて生成される仮想視点画像１９１０，１９２０は、仮想視点から見たときの実際の像とは異なり、歪んだものになってしまう。

図１９（ｄ）は、本開示に係る画像処理装置により生成される仮想視点画像１９３０の一例である。図１９（ｄ）に示す仮想視点画像１９３０には、車両１９０３に対応する画像領域１９３１と、破線１９０４に対応する画像領域１９３２とが存在する。仮想視点画像１９３０は、図１９（ｂ）又は（ｃ）に示す仮想視点画像１９１０，１９２０とは異なり、第１の３次元形状データが車両１９０３の表面の形状に対応するものであるため、画像領域１９３１の周囲に歪みのない画像になっている。

図６及び７を参照して、実施形態１に係る画像処理装置６００の構成について説明する。図６は、実施形態１に係る画像処理装置６００の機能ブロックの構成の一例を示すブロック図である。画像処理装置６００は、画像取得部６０１、距離取得部６０２、第１取得部６０３、第２取得部６０４、第３取得部６０５、マッピング部６０６、視点取得部６０７、及び画像生成部６０８を有する。

画像処理装置６００が備える各部の処理は、画像処理装置６００に内蔵されたＡＳＩＣ（Application Specific Integrated Circuit）等のハードウェアによってなされる。画像処理装置６００が備える各部の処理は、画像処理装置６００に内蔵されたＦＰＧＡ（Field Programmable Gate Array）等のハードウェアによってなされてもよい。また、当該処理は、ＣＰＵ（Central Processor Unit）若しくはＧＰＵ（Graphic Processor Unit）、及びメモリを用いたソフトウェアによってなされてもよい。

図７を参照して、画像処理装置６００が備える各部がソフトウェアとして動作する場合の画像処理装置６００のハードウェア構成について説明する。図７は、実施形態１に係る画像処理装置６００のハードウェア構成の一例を示すブロック図である。画像処理装置６００は、コンピュータにより構成されており、当該コンピュータは、図７に一例として示すようにＣＰＵ７０１、ＲＡＭ７０２、ＲＯＭ７０３、補助記憶装置７０４、表示部７０５、操作部７０６、通信部７０７、及びバス７０８を有している。

ＣＰＵ７０１は、ＲＡＭ７０２又はＲＯＭ７０３に格納されているプログラム又はデータを用いて当該コンピュータを制御することにより、当該コンピュータを図６に示す画像処理装置６００が備える各部として機能させる。なお、画像処理装置６００は、ＣＰＵ７０１とは異なる１又は複数の専用のハードウェアを有し、ＣＰＵ７０１による処理の少なくとも一部を専用のハードウェアが実行してもよい。専用のハードウェアの例としては、ＡＳＩＣ、ＦＰＧＡ、及びＤＳＰ（デジタルシグナルプロセッサ）等がある。ＲＯＭ７０３は、変更を必要としないプログラム等を格納する。ＲＡＭ７０２は、補助記憶装置７０４から供給されるプログラム若しくはデータ、又は通信部７０７を介して外部から供給されるデータ等を一時記憶する。補助記憶装置７０４は、例えばハードディスクドライブ等で構成され、画像データ又は音声データ等の種々のデータを記憶する。

表示部７０５は、例えば液晶ディスプレイ又はＬＥＤ等により構成され、ユーザが画像処理装置６００を操作又は閲覧するためのＧＵＩ（Graphical User Interface）等を表示する。操作部７０６は、例えばキーボード、マウス、又はタッチパネル等により構成され、ユーザによる操作を受けて各種の指示をＣＰＵ７０１に入力する。ＣＰＵ７０１は、表示部７０５を制御する表示制御部、及び操作部７０６を制御する操作制御部としても動作する。通信部７０７は、画像処理装置６００の外部の装置との通信に用いられる。例えば、画像処理装置６００が外部の装置と有線接続される場合には、通信用のケーブルが通信部７０７に接続される。画像処理装置６００が外部の装置と無線通信する機能を有する場合には、通信部７０７はアンテナを備える。バス７０８は、画像処理装置６００の備える各部をつないで情報を伝達する。実施形態１では、表示部７０５及び操作部７０６は、画像処理装置６００の内部に存在するものとして説明するが、表示部７０５及び操作部７０６の少なくとも一方は、画像処理装置６００の外部に別の装置として存在していてもよい。

図８乃至１１を参照して、画像処理装置６００の動作、及び画像処理装置６００が有する図６に示す各部の処理について説明する。図８は、実施形態１に係る画像処理装置６００の処理フローの一例を示すフローチャートである。なお、以下の説明において記号「Ｓ」はステップを意味する。まず、Ｓ８０１にて、画像取得部６０１は、基準点の周囲を撮像する撮像装置の撮像により得られた撮像画像のデータ（以下「撮像画像データ」ともいう。）を取得する。具体的には、画像取得部６０１は、通信部７０７を介して撮像装置から、又は補助記憶装置７０４から、撮像画像データを取得する。例えば、画像取得部６０１は、基準点の周囲を撮像する複数台の撮像装置のそれぞれによる撮像により得られた複数の撮像画像データを取得する。

図９を参照して、撮像装置９０２乃至９０５の配置について説明する。図９は、実施形態１に係る撮像装置９０２乃至９０５及び測距センサ９０６の配置の一例を示す図である。本実施形態では、図９に示すように、撮像装置９０２乃至９０５のそれぞれは、車両９０１に配置され、車両９０１から外向きに車両９０１の周囲を撮像する。また、各撮像装置９０２乃至９０５には魚眼レンズが装着されており、少ない台数で車両９０１の周囲を３６０度に亘って撮像することができる。図９に示す各撮像装置９０２乃至９０５の配置、及び各撮像装置９０２乃至９０５装着するレンズの構成は、あくまで一例に過ぎず、これに限定されるものではない。例えば、撮像装置の台数は、複数台に限定されるものではなく、画像取得部６０１は、基準点の周囲を広角に又は３６０°に亘って撮像可能な１台の撮像装置による撮像により得られた撮像画像データを取得するものであってもよい。

以下、本実施形態では、図９に一例として示すように、４台の撮像装置９０２乃至９０５が配置されているものとして説明する。また、以下、本実施形態では、画像取得部６０１により取得される撮像画像データは、一例として、ＲＧＢの３チャンネルのカラー画像データである場合の形態に説明するが、撮像画像データは、１チャンネルのグレー画像データ又は動画像データであってもよい。なお、撮像画像データが動画像データである場合、画像処理装置６００は、各撮像装置９０２乃至９０５により略同時刻に撮像されたフレームを用いて処理を行う。

また、画像取得部６０１は、撮像画像データに加えて、撮像装置の位置及び姿勢等の撮像視点を示す情報（以下「撮像視点情報」という。）を撮像装置９０２乃至９０５から撮像装置９０２乃至９０５ごとに取得する。本実施形態において、撮像視点とは、撮像装置９０２乃至９０５のそれぞれにおける視点を指し、撮像視点情報とは、撮像装置９０２乃至９０５のそれぞれについての情報を意味する。撮像視点情報には、予め定められた座標系における撮像装置９０２乃至９０５の位置及び姿勢等を示す情報が含まれる。ここで、撮像装置の姿勢を示す情報とは、例えば、撮像装置の光軸の方向を示す情報である。また、撮像視点情報は、撮像装置９０２乃至９０５の位置及び姿勢等を示す情報に加えて、撮像装置９０２乃至９０５の焦点距離又は主点位置等の撮像装置の画角を示す情報を含むものであってもよい。撮像視点情報を用いることにより、撮像画像の各画素と、撮像画像に写ったオブジェクトの位置とを対応付けることができる。その結果として、オブジェクトにおける特定の箇所に対応する、撮像画像における画素を特定して、当該箇所に対応する色情報を取得することができる。

以下、本実施形態では、座標系として、車両９０１の前後方向をｘ軸、左右方向をｙ軸、上下方向をｚ軸、及び車両９０１の中心点を地表面に投影した点を座標系の原点と定義して説明する。また、以下、座標系は右手座標系とし、車両９０１の進行方向をｘ軸の正方向、車両９０１の左方向をｙ軸の正方向、及び上方向をｚ軸の正方向と定義して説明する。なお、上述の定義は、これに限定されるものではなく、任意の座標系を定義してよい。以下、上述の座標系を世界座標系と表記して説明する。また、撮像視点情報は、上述の情報の他に、撮像装置９０２～９０５による撮像により得られる撮像画像の歪曲を示す歪曲パラメータ、並びに、Ｆ値、シャッタースピード、及びホワイトバランス等の撮像パラメータを含むものであってもよい。画像取得部６０１は、取得した撮像画像データと撮像視点情報とをＲＡＭ７０２等に一時記憶する。画像取得部６０１は、複数の撮像画像データのそれぞれがどの撮像装置により撮像されたものであるかを区別するために、撮像装置を識別可能な番号（以下「視点番号」という。）等の情報と各撮像画像データとを対応付けてＲＡＭ７０２等に一時記憶してもよい。

Ｓ８０１の後、Ｓ８０２にて、距離取得部６０２は、基準点から、基準点の周辺に存在するオブジェクトまでの距離を示す距離情報を取得する。具体的には、例えば、距離取得部６０２は、通信部７０７を介して測距センサ９０６から、又は補助記憶装置７０４から、測距センサ９０６により取得された距離情報を取得する。距離情報は、図９に一例として示す車両９０１に設置された１台の測距センサ９０６により取得され、測距センサ９０６は、例えば、車両９０１の中心点の上方における車両９０１の上部に配置されている。本実施形態では、測距センサ９０６としてＬｉＤＡＲを用い、測距センサ９０６は、車両９０１の周囲を３６０度に亘って測距することにより得た点群データを距離情報として取得するものとして説明する。なお、図９に示す測距センサ９０６の配置方法及び台数は、あくまで一例に過ぎず、例えば、車両９０１の前後左右に１台ずつ、計４台のＬｉＤＡＲを配置する等、他の構成により点群データを取得してもよい。また、例えば、測距センサ９０６は、ＬｉＤＡＲに限定されるものではなく、点群データ等の距離情報を取得可能なものであれば、ＲＡＤＡＲ又はＳＯＮＡＲ等であってもよい。

また、測距センサ９０６は、点群データを取得して出力するものに限定されるものではない。例えば、測距センサ９０６は、基準点から基準点の周辺に存在するオブジェクトまでの距離を示すデプスマップのデータ（以下「デプスマップデータ」ともいう。）を生成して出力するものであってもよい。なお、デプスマップデータは、ステレオカメラ等のステレオ光学系による撮像により得られた撮像画像データに基づいて生成される。ステレオ光学系による撮像により得られた撮像画像データからデプスマップデータを生成する手法は周知であるため説明を省略する。

距離取得部６０２は、距離情報に加えて、測距センサ９０６の位置及び姿勢を示す情報（以下「測距センサ情報」という。）を取得する。測距センサ情報には、世界座標系における測距センサ９０６の位置及び姿勢を示す情報が含まれる。ここで、測距センサ９０６の姿勢を示す情報とは、例えば、測距センサの光軸の方向を示す情報である。距離取得部６０２は、取得した距離情報と測距センサ情報とをＲＡＭ７０２等に一時記憶する。

Ｓ８０２の後、Ｓ８０３にて、第１取得部６０３は、距離取得部６０２により取得された点群データ等の距離情報に基づいて、第１の３次元形状データを生成して取得する。具体的には、距離情報が点群データである場合、例えば、第１取得部６０３は、点群データが示す複数の点のそれぞれを頂点とする複数の三角形ポリゴン等の複数の面を特定することによりオブジェクトの表面の形状に対応する第１の３次元形状データを生成する。例えば、第１取得部６０３は、ＬｉＤＡＲが、上下方向の縦１列の点列であるスキャンラインによるビームの照射方向を変更しながら点群データを取得するという測定原理を利用して、点群データから３次元形状データを生成する。このような原理を利用することにより、第１取得部６０３は、比較的に軽い処理で点群データから３次元形状データを生成することができる。具体的には、第１取得部６０３は、距離取得部６０２により取得された点群データが示す各点が、ＬｉＤＡＲのどの位置から照射されたビームであるかを特定することにより、点群データが示す互いに異なる点間の関係を特定する。第１取得部６０３は、特定した当該関係に基づいて面（ポリゴン）を生成する。

なお、上述又は以下では、ＬｉＤＡＲを用いて点群データを取得する形態について説明するが、他の測距センサを用いて取得した点群データについても同様の処理を適用することができる。また、第１の３次元形状データの生成方法は、上述の点群データが示す各点間の関係に基づく方法に限定されるものではなく、点群データに基づいてオブジェクトの表面の形状に対応する３次元形状データを生成可能であれば、任意の方法であってよい。また、距離情報がデプスマップデータである場合、例えば、第１取得部６０３は、以下のようにして第１の３次元形状データを生成することができる。まず、第１取得部６０３は、デプスマップにおける各画素と各画素に対応する深度とを３次元の空間座標に変換することにより、デプスマップの各画素に対応する３次元空間における複数の点を特定する。次に、第１取得部６０３は、特定した３次元空間における各点を頂点とする複数の面を特定することにより、オブジェクトの表面の形状に対応する第１の３次元形状データを生成する。デプスマップから３次元形状データを生成する方法は周知であるため、詳細な説明については省略する。

以下、点群データから第１の３次元形状データを生成する方法について具体的に説明する。まず、点群データが示す各点の順序を入れ替える。具体的には、ＬｉＤＡＲを用いて取得した点群データが示す各点がどのリング及びスキャンラインに対応するかを特定し、各点の順序が上位のリングから下位のリングへとなるように、各点の順序を入れ替える。ここで、リングとは、ＬＩＤＡＲがビームを照射する周方向の１周に亘る点列であり、スキャンラインとは、ＬＩＤＡＲがビームを照射する上下方向の点列である。以下、各リングの点の順序は、一例として、ｘ軸の正方向を照射の開始点として、原点からｚ軸の正方向を見たときに時計回りに並ぶ順序となるように入れ替えを行うものとする。

順序の入れ替え方法は、順序の入れ替えを行う前の点群データの各点の順序によって処理が異なり、順序の入れ替えを行う前の点群データが保持する情報に応じた処理が行われる。例えば、点群データが、各点について、取得時のリング及びスキャンラインを特定可能な情報を保持している場合は、当該情報に基づいて、上述した順序となるように点群データが示す各点の入れ替えが行われる。また、点群データが当該情報を保持していない場合は、例えば、まず、各点の３次元空間における位置と、測距センサ情報に含まれるＬｉＤＡＲが設置された位置を示す情報とから、各点に対応するＬｉＤＡＲの仰俯角と方位角とを算出する。次に、算出した仰俯角及び方位角に基づいて、各点に対応するリングの位置とスキャンラインの位置とを特定して、上述した順序となるように点群データが示す各点の入れ替えが行われる。

次に、ＬｉＤＡＲを用いて取得した点群データの座標の原点は、ＬｉＤＡＲの設置位置が基準となっているため、順序を入れ替えた後の点群データの原点が世界座標系の原点となるように順序を入れ替えた後の点群データの補正が行われる。以下、点群データの座標の原点はＬｉＤＡＲの設置位置であるものとして説明する。具体的には、点群データに含まれる各点について、各点の３次元の空間座標から、世界座標系における点群データの原点の座標を減算することにより、順序を入れ替えた後の点群データの補正が行われる。世界座標系における点群データの原点の座標は、距離取得部６０２により取得された測距センサ情報に含まれる測距センサの位置を示す情報を用いる。最後に、当該補正後の点群データに基づいて、オブジェクトの表面の形状に対応する複数の面を構成する。ここで、面を構成するとは、図３に一例として示すデータセットに従って、各三角形ポリゴンに対して３個の頂点のそれぞれに対応する頂点ＩＤを対応付けることである。

図１０を参照して、当該補正後の点群データに基づいて、オブジェクトの表面の形状に対応する面を構成する処理について説明する。図１０は、実施形態１に係る、点群データに基づいてオブジェクトの表面の形状に対応する面を構成する処理の一例を説明するための説明図である。図１０（ａ）には、上述の補正を行った後の点群データが示す各点が中黒丸で、また、オブジェクトの表面の形状に対応する面が、中黒丸で示す点同士を結ぶ３個の線分で囲む三角形として示されている。各点には、頂点ＩＤ（図１０では一例としてＶｐ－ｑ（ｐ及びｑは０以上の整数））が対応付けられており、各面には、三角形ポリゴンＩＤ（図１０では一例としてＴｒ（ｒは０以上の整数））が対応付けられている。ここで、ｐは、リング番号であり、ｑは、スキャンライン番号である。ｒの最大値は、構成できた面の数によって決定される。図１０に一例として示すように、順序の入れ替えにより既に正しい順序で並んでいる点群データが示す各点を順序通りに結んで、各点を頂点とする三角形により構成される複数の面を構成する。このようにして構成された各面に三角形ポリゴンＩＤを付与し、付与した三角形ポリゴンＩＤと頂点ＩＤとを対応付けて、図１０（ｂ）に一例として示すトライアングルリストを第１の３次元形状データとして生成する。

Ｓ８０３の後、Ｓ８０４にて、第２取得部６０４は、平面形状又は曲面形状の３次元形状（以下「基準３次元形状」という。）のデータ（以下「基準３次元形状データ」という。）により構成される第２の３次元形状データを生成する。第２取得部６０４は、基準３次元形状データを変形することにより第２の３次元形状データを生成してもよく、複数の基準３次元形状データを組合せて第２の３次元形状データを生成してもよい。例えば、第２取得部６０４は、路面に対応する基準３次元形状データである平面形状５０３のデータと、車両５０１の周囲の環境における遠景等に対応する基準３次元形状データである曲面形状５０４のデータとを組合せた第２の３次元形状データを生成する。基準点である車両５０１から曲面形状５０４までの距離５０５は、通信部７０７を介して、又は補助記憶装置７０４から取得した基準の距離を示す情報に基づいて設定される。基準の距離は、基準点である車両５０１が走行する道路の幅又は歩道の幅等に基づいて予め設定されたものであっても、ユーザ等が道路状況等の基準点の周囲の状況に応じて任意に設定したものであってもよい。また、第２の３次元形状データは、上述した基準３次元形状データの組合せに限定されるものではないが、ｚ軸方向の成分を持つ、つまり、高さ方向の成分を持つ基準３次元形状のデータを含むことが好適である。第２の３次元形状データが高さ方向の成分を持つ基準３次元形状のデータを含むことにより、仮想視点画像における、車両等の基準点の遠方に存在する建築物等の高さのあるオブジェクトに対応する画像領域において、歪み又は倒れを低減させることができる。上述したように、車両等の基準点に対応する仮想空間における点から高さ成分を持つ基準３次元形状までの距離は、上述の基準の距離に基づいて設定される。

図１１を参照して、曲面形状５０４とは形状が異なる、高さ方向の成分を持つ基準３次元形状について説明する。図１１は、実施形態１に係る高さ方向の成分を持つ基準３次元形状のデータの一例を可視化した図である。高さ方向の成分を持つ基準３次元形状としては、曲面形状５０４のような車両を取り囲む曲面に換えて、例えば、図１１（ａ）に示すような世界座標系のｘ－ｙ軸に垂直な複数の平面を車両の前後左右に配置して設定したものであってもよい。また、例えば、図１１（ｂ）に示すような半球状の曲面を設定したものであってもよい。なお、第２の３次元形状データには、必ずしも、平面形状５０３のような路面に対応する基準３次元形状のデータが含まれる必要ではなく、第１取得部６０３が路面に対応する３次元形状データを含む第１の３次元形状データを生成してもよい。この場合、車両等の基準点の周囲の環境を高精度に反映した地面又は床面等を示す３次元形状データの生成が可能となる。

Ｓ８０４の後、Ｓ８０５にて、第３取得部６０５は、第１取得部６０３により取得された第１の３次元形状データと、第２取得部６０４により取得された第２の３次元形状データとを統合した第３の３次元形状データを取得する。具体的には、例えば、第３取得部６０５は、第１の３次元形状データである図１０に一例として示すトライアングルリストと、第２の３次元形状データであるトライアングルリスト等の情報とを保持する第３の３次元形状データを生成して取得する。なお、第３取得部６０５は、図１０に示すようなトライアングルリストのような頂点と面とを対応付けた情報に加えて、各面の法線方向を示す法線情報等を含む第３の３次元形状データを生成してよい。また、第１の３次元形状データと第２の３次元形状データとを統合する方法は、上記の方法に限定されるものではない。例えば、第２の３次元形状データ生成時に設定された基準の距離よりも近い位置に存在する第１の３次元形状データの頂点及び面の情報を、第２の３次元形状データに追加することにより、第１の３次元形状データと第２の３次元形状データとを統合してもよい。

Ｓ８０５の後、Ｓ８０６にて、マッピング部６０６は、画像取得部６０１により取得された撮像画像データをテクスチャ画像のデータとして、当該テクスチャ画像を第３取得部６０５により取得された第３の３次元形状データにマッピングする。ここでいう、テクスチャ画像のマッピングとは、三角形ポリゴンごとに三角形ポリゴンの頂点とテクスチャ画像における点とを対応付けることである。以下、テクスチャ画像のマッピング処理の具体的な方法について説明する。

まず、撮像画像データを用いて第３の３次元形状データにマッピングするテクスチャ画像のデータを生成する。具体的には、例えば、視点番号が小さい撮像装置による撮像により得られた撮像画像データから順に撮像画像を上から並べた画像をテクスチャ画像として生成する。例えば、４台の撮像装置が得る４つの撮像画像データのそれぞれの画像サイズがＦＵＬＬＨＤ（１９２０×１０８０［ｐｉｘ］）である場合、テクスチャ画像の画像サイズは、１９２０×４３２０［ｐｉｘ］となる。テクスチャ画像の生成方法はこれに限定されるものではない。例えば、テクスチャ画像のデータを構成する複数の画像データのそれぞれと各撮像画像データを構成する複数の画像データのそれぞれとが互いに対応付けされていれば、テクスチャ画像のデータを構成する各画像データの配置、又は配置の順序は任意である。

また、テクスチャ画像を生成する際に、不可視領域又はオクルージョン領域に対応する第３の３次元形状データにおける領域に貼り付けるためのテクスチャ画像の画素値を、生成するテクスチャ画像のデータの一部に用意してもよい。ここで、不可視領域とは、撮像画像データを取得したいずれの撮像装置によっても撮像することができない領域のことである。また、オクルージョン領域とは、撮像画像データを取得した全ての撮像装置において、ある撮像装置の近方に存在するオブジェクトにより遮蔽された領域のうち、他のいずれの撮像装置によっても撮像することができない撮像領域のことである。

以下、一例として、不可視領域及びオクルージョン領域に対応する第３の３次元形状データにおける領域に貼り付けるためのテクスチャ画像が一様な黒色であるものとして説明する。この場合、例えば、生成するテクスチャ画像における最も左上に位置する画素に対応する画素値を黒色（ｒ，ｇ，ｂ）＝（０，０，０）を示す画素値に置き換えることにより、上述の領域に貼り付けるテクスチャ画像の画素値を用意する。なお、不可視領域及びオクルージョン領域用に用意する画素値は、必ずしも、上述した位置の画素に対応する画素値を置き換えることにより用意する必要はない。例えば、他の位置に位置する画素の画素値として用意してもよく、テクスチャ画像の縦方向の最下段に１ライン分の画素を追加し、追加した画素の画素値として用意してもよい。また、不可視領域及びオクルージョン領域用に用意する画素値は黒色を示す画素値以外の任意の画素値であってもよい。また、不可視領域用に用意する画素値、及びオクルージョン領域用に用意する画素値について、互いに異なる画素値を用意してもよい。

次に、第３の３次元形状データに含まれる全ての頂点について、頂点ごとに、撮像画像データとの対応関係を取得する。具体的には、撮像視点情報に基づいて、各頂点の３次元の空間座標（Ｘ_j，Ｙ_j，Ｚ_j）を撮像画像データにおける画素の座標（ｕ_ij，ｖ_ij）に変換する。ここで、ｊは、第３の３次元形状データに含まれる複数の頂点を識別するための番号、ｉは、撮像画像データを構成する複数の画像データを識別するための画像番号である。上述の変換は、例えば、次式（１）を解いた次式（２）を用いて行う。

式（１）において、Ｒ_iは、画像番号ｉの世界座標系での光軸方向を示すベクトルである。（Ｘ_cam,i、Ｙ_cam,i、Ｚ_cam,i）は、撮像視点情報に含まれる、画像番号ｉに対応する画像データを得た撮像装置の位置を示す世界座標系における座標である。ｆ_iは、画像番号ｉに対応する画像データを得た撮像装置の焦点距離であり、ｃ_xi及びｃ_yiは、画像番号ｉに対応する画像データを得た撮像装置の主点の位置である。また、ｔは、定数である。式（１）を（ｕ_ij、ｖ_ij）について解くことにより、式（２）が得られる。式（２）を用いていることにより、まず、ｔを求めることができる。さらに、得られたｔを用いることにより、各頂点の３次元の空間座標（Ｘ_j，Ｙ_j，Ｚ_j）に対応する撮像画像データにおける画素の座標（ｕ_ij、ｖ_ij）を求めることができる。

最後に、各頂点の３次元の空間座標に対応する、撮像画像データにおける画素の座標に基づいて、三角形ポリゴンとテクスチャ画像とを三角形ポリゴンごとに対応付ける。具体的には、まず、算出した撮像画像データにおける画素の座標に基づいて、各三角形ポリゴンを構成する全ての頂点に対して、各頂点が撮像装置の画角内に存在するか否かを撮像装置ごとに判定する。ある三角形ポリゴンを構成する全ての頂点について画角内となる撮像装置が１台のみである場合、当該三角形ポリゴンに当該撮像装置により得られた撮像画像データをテクスチャ画像のデータとして対応付ける。三角形ポリゴンとテクスチャ画像とを対応付ける際に、式（２）を用いて、算出した撮像画像データにおける画素の座標をテクスチャ画像における画素の座標に変換する。また、ある三角形ポリゴンを構成する全ての頂点が画角内となる撮像装置が１つも存在しない場合、当該三角形ポリゴンに対応する領域を撮像領域とする撮像装置が存在しないものとする。すなわち、この場合、当該三角形ポリゴンに上述の不可視領域用に用意した画素値を有するテクスチャ画像における画素の座標を対応付ける。また、ある三角形ポリゴンを構成する全ての頂点が画角内となる撮像装置が複数台存在する場合、まず、画角内となった複数台の撮像装置のうちのいずれかの撮像装置を選択する。さらに、選択した撮像装置により得られた撮像画像データをテクスチャ画像のデータとして当該三角形ポリゴンに対応付ける。上述の撮像装置の選択は、三角形ポリゴンに対応する領域を高解像度に撮像する撮像装置を選択する等の任意の方法により行われる。また、三角形ポリゴンを構成する全ての頂点が画角内となる撮像装置が複数台存在する場合、上述のような１台の撮像装置のみを選択する方法に限定されるものではない。例えば、複数台の撮像装置により得られた複数の撮像画像データにおける対応する画素の画素値を任意の割合でブレンドして、新たなテクスチャ画像を生成してもよい。なお、この場合、テクスチャ画像に対して、ブレンドした後の画素値を反映する必要がある。

以上の処理を全ての三角形ポリゴンに対して行うことにより、テクスチャ画像をマッピングした、テクスチャ付きの第３の３次元形状データが生成される。なお、上述したテクスチャ画像のマッピング処理は一例に過ぎず、撮像画像データを用いて第３の３次元形状データにテクスチャ画像をマッピングできれば、任意の方法を用いてマッピング処理を行ってよい。

Ｓ８０６の後、Ｓ８０７にて、視点取得部６０７は、仮想視点を示す情報（以下「仮想視点情報」という。）を取得する。ここで、仮想視点とは、画像処理装置６００により生成される仮想視点画像を生成する際の視点を指す。具体的には、仮想視点情報には、撮像視点情報と同様に、予め定められた世界座標系等の座標系における仮想視点の位置を示す位置情報、及び視線の方向（「光軸方向」ともいう。）を示す姿勢情報が含まれている。仮想視点情報は、位置情報及び姿勢情報に加えて、仮想視点からの画角を示す情報、仮想視点画像の解像度を示す情報等を含んでもよい。さらに、仮想視点情報は、位置情報及び姿勢情報に加えて、歪曲パラメータ及び撮像パラメータ等を含んでもよい。仮想視点情報は、例えば、ユーザよる操作入力等により与えられる。

Ｓ８０７の後、Ｓ８０８にて、画像生成部６０８は、視点取得部６０７により取得された仮想視点情報に基づいて、マッピング部６０６により取得されたテクスチャ付きの第３の３次元形状データをレンダリングすることにより仮想視点画像を生成する。指定された仮想視点に基づいて、テクスチャ付きの３次元形状データをレンダリングして仮想視点画像を生成する方法は周知であるため説明を省略する。画像生成部６０８は、生成した仮想視点画像のデータを補助記憶装置７０４又は表示部７０５等に出力する。Ｓ８０８の後、画像処理装置６００は、図８に示すフローチャートの処理を終了する。

以上のように、画像処理装置６００は、距離情報に基づいて生成した基準点の近方に存在するオブジェクトの表面の形状に対応する第１の３次元形状データを含む第３の３次元形状データにテクスチャ画像をマッピングする。このように構成した画像処理装置６００によれば、基準点の近方にオブジェクトが存在する場合であっても、近方に存在するオブジェクトと遠方に存在するオブジェクトとが互いにバランスの取れた高精度の仮想視点画像を生成することができる。なお、本実施形態では、画像処理装置６００を車両に適用した形態を示したが、これに限定されるものではなく、画像処理装置６００は、施設若しくは敷地の内外、又は道路若しくは線路等が敷設された空間等を監視する監視システムに適用することもできる。

＜実施形態２＞
実施形態１に係る画像処理装置６００は、距離情報に基づいて生成した第１の３次元形状データと、基準３次元形状データの組合せ等により生成した第２の３次元形状データとを統合した第３の３次元形状データにテクスチャ画像をマッピングするものであった。特に、実施形態１に係る画像処理装置６００は、第２の３次元形状データにおいて、基準点である車両から、高さ方向の成分を持つ基準３次元形状までの距離は、予め定められた任意の距離を基準の距離として設定するものであった。これに対して、実施形態２に係る画像処理装置は、測距センサから取得した距離情報に基づいて基準の距離を決定して設定するものである。

図１２を参照して、実施形態２に係る画像処理装置１２００の構成について説明する。図１２は、実施形態２に係る画像処理装置１２００の機能ブロックの構成の一例を示すブロック図である。画像処理装置１２００は、画像取得部６０１、距離取得部６０２、第１取得部６０３、領域分割部１２０１、距離設定部１２０２、第２取得部１２０３、第３取得部６０５、マッピング部６０６、視点取得部６０７、及び画像生成部６０８を有する。すなわち、画像処理装置１２００は、実施形態１に係る画像処理装置６００と比較して、領域分割部１２０１及び距離設定部１２０２が追加され、第２取得部６０４が第２取得部１２０３に変更されたものである。

以下、図１２において、図６に示す構成と同様の構成については同一の符号を付すことにより説明を省略する。すなわち、実施形態２に係る画像取得部６０１、距離取得部６０２、第１取得部６０３、第３取得部６０５、マッピング部６０６、視点取得部６０７、及び画像生成部６０８については、実施形態１に係る各部と同様であるため説明を省略する。なお、画像処理装置１２００が有する各部の処理は、実施形態１と同様に、例えば、画像処理装置１２００に内蔵されたＡＳＩＣ又はＦＰＧＡ等のハードウェアにより実行される。当該処理は、図７に一例として示すハードウェアを用いてソフトウェアにより実行されてもよい。

領域分割部１２０１は、車両等の基準点の周囲の空間を複数の領域に分割する。図１４を参照して、領域分割部１２０１による空間の分割例について説明する。図１４は、実施形態２に係る領域分割部１２０１により分割された領域（以下「分割領域」という。）の一例を説明するための図である。図１４に一例に示すように、領域分割部１２０１は、例えば、車両が存在する空間を４つの分割領域１４０１乃至１４０４に分割する。分割領域１４０１は、車両の前方の領域であってｘ座標が全て正の領域であり、分割領域１４０４は、車両の後方の領域であってｘ座標が全て負の領域である。また、分割領域１４０２は、車両の左方の領域であってｙ座標が全て正の領域であり、分割領域１４０３は、車両の右方の領域であってｙ座標が全て負の領域である。

距離設定部１２０２は、車両等の基準点に対応する仮想空間における位置から第２の３次元形状データに含まれる高さ方向の成分を持つ３次元形状までの距離を設定する。例えば、距離設定部１２０２は、分割された領域ごとに、基準点に対応する位置から高さ方向の成分を持つ３次元形状までの距離を決定して設定する。具体的には、距離設定部１２０２は、距離取得部６０２により取得された点群データ等の距離情報に基づいて、領域分割部１２０１により分割領域ごとに、基準点に対応する位置から高さ方向の成分を持つ３次元形状までの距離を決定する。

より具体的には、距離設定部１２０２は、距離情報に基づいて、基準点からオブジェクトまでの距離の統計値を算出し、算出した統計値に基づいて、基準点に対応する位置から高さ方向の成分を持つ３次元形状までの距離を設定する。例えば、距離情報が点群データである場合、距離設定部１２０２は、まず、車両から、点群データが示す複数の点のうちの対象の分割領域に含まれる各点までの距離を算出する。更に、算出した距離の中央値又は平均値等の統計値を算出して、算出した統計的な値を、基準点から対象の分割領域における基準位置までの基準の距離とする。図１４には、一例として、各分割領域における基準位置として、ｘｙ平面に直交し且つ各分割領域を２等分する平面と、原点を通るｘｙ平面との交線上に配置された基準位置１４０５乃至１４０８が示されている。原点から基準位置までの距離が上述の基準の距離となる。各分割領域における基準位置を配置する直線は、例えば、上述の分割の際に設定される。

第２取得部１２０４は、分割領域ごとに設定された基準の距離に基づいて、床面に接し且つ高さ方向の成分を持つ基準３次元形状のデータを定義して、第２の３次元形状データを生成する。高さ方向の成分を持つ基準３次元形状は、例えば、図１４に示す実線１４０９のように、各分割領域において基準位置を通り、且つｘ軸又はｙ軸に直交する複数の平面形状の組合せにより定義する。また、例えば、図１４に示す破線１４１０のように、各分割領域において基準位置を通り、且つ各基準位置を滑らかにつなぐような曲面により定義してもよい。

車両の周囲の環境には、車両同士のすれ違いが困難な幅員の狭い道路、又は片側に２車線あるような幅員の広い道路等、様々なものがある。そのため、基準点である車両から、道路の周囲に存在する建築物等のオブジェクトまでの距離は、車両が存在する環境によって様々である。また、実施形態１に記述した車両を中心の位置を原点として定義した世界座標系において、道路における車両のｙ軸方向における位置によっては、車両から建築物等のオブジェクトまでの距離がｙ軸の正方向と負方向とで互いに異なる場合がある。実施形態２に係る画像処理装置１２００によれば、上述のような場合であっても、第２の３次元形状データを生成する際に距離情報を用いて分割領域ごとに基準の距離を設定することができるため、車両の周囲の環境を高精度に反映することができる。結果として、基準点の近方にオブジェクトが存在する場合であっても、車両等の基準点の周囲の環境によらず、近方に存在するオブジェクトと遠方に存在するオブジェクトとが互いにバランスの取れた高精度の仮想視点画像を生成することができる。

図１３を参照して、画像処理装置１２００の動作について説明する。図１３は、実施形態２に係る画像処理装置１２００の処理フローの一例を示すフローチャートである。以下、図１３において、図８に示す処理と同様の処理については同一の符号を付すことにより説明を省略する。まず、画像処理装置１２００は、Ｓ８０１からＳ８０３までの処理を実行する。Ｓ８０３の後、Ｓ１３０２にて、領域分割部１２０１は、基準点の周囲の空間を複数の領域に分割する。領域分割部１２０１が分割する分割領域の数は、例えば、予め定められており、領域分割部１２０１は、分割領域の数を示す情報（以下「分割情報」という。）を、通信部７０７を介して、又は補助記憶装置７０４から取得する。

以下、領域分割部１２０１は、基準点の周囲の空間を図１４に一例として示す４つの分割領域１４０１乃至１４０４に分割するものとして、分割処理の具体例について説明する。まず、車両の全周囲に相当する３６０度を分割情報が示す数で除して、各分割領域に割り当てる角度を算出する。図１４の場合、３６０度を４で除するため、各分割領域に割り当てる角度は９０度となる。次に、各分割領域における基準位置を配置する直線を決定するための基準方向ベクトルを分割領域ごとに算出する。本実施形態では、ｘ軸が正で、且つｙ座標が０である点の方向を最初の基準方向ベクトルとして、ｚ軸の正方向から原点を見たときに反時計周り方向の順番に基準方向ベクトルを決定する。例えば、基準方向ベクトルを決定は、次式（３）を用いて行う。

ここで、θは、各分割領域に割り当てる角度であり、ｉは、何番目の基準方向ベクトルであるかを示す定数である。図１４の場合、θは、９０度であり、ｉは、１から４までのいずれかの値である。式（３）に従うと、基準の方向ベクトルは、（１，０）、（０，１）、（－１，０）、（０，－１）の順に算出される。

最後に、算出した基準方向ベクトルに基づいて分割領域を定義する。例えば、分割領域の境界を、開始の方向ベクトル及び終了の方向ベクトル（以下「開始ベクトル」及び「終了ベクトル」という。）の２つ方向ベクトルで定義することにより、分割領域を定義する。具体的には、例えば、まず、処理対象の分割領域の基準の方向ベクトルと、処理対象の分割領域の基準の方向ベクトルからｚ軸の正方向から原点を見たときに時計回り方向に最初に検出される基準の方向ベクトルとの平均ベクトルを算出する。次に、平均ベクトルを正規化して、正規化した平均ベクトルを、処理対象の分割領域の開始ベクトルとして定義する。また、終了ベクトルについては、まず、処理対象の分割領域の基準の方向ベクトルと、処理対象の分割領域の基準の方向ベクトルからｚ軸の正方向から原点を見たときに反時計回り方向に最初に検出される基準の方向ベクトルとの平均ベクトルを算出する。次に、平均ベクトルを正規化して、正規化した平均ベクトルを、処理対象の分割領域の終了ベクトルとして定義する。図１４の場合、各分割領域の開始ベクトルは、（１／√２，－１／√２）、（１／√２，１／√２）、（－１／√２，１／√２）、（－１／√２，－１／√２）となる。また、各分割領域の終了ベクトルは、（１／√２，１／√２）、（－１／√２，１／√２）、（－１／√２，－１／√２）、（１／√２，－１／√２）となる。

本実施形態では、分割領域の数が４つである場合について説明したが、分割領域の数は、４つに限定されるものではなく、任意の分割数であってよい。また、本実施形態では、各分割領域の基準点における角度が均等になるように分割領域を定義したが、このような角度に限定されるものではない。例えば、車両の進行方向の分割領域の角度と、他の分割領域の角度とで互いに異なる角度を定義する等、方向に応じた分割領域の角度を定義してもよい。また本実施形態では、２つの方向ベクトルを用いて分割領域の境界を定義したが、分割領域の定義の方法は、これ限定されるものではない。例えば、基準点の周囲の空間を一定の細かな間隔で区切った区分領域の集合を用意し、各分割領域に対応する区分領域の識別情報を保持するように設定する等、分割領域を定義可能な方法であれば任意の方法で分割領域を定義してよい。

Ｓ１３０１の後、Ｓ１３０２にて、距離設定部１２０２は、領域分割部１２０１により分割された分割領域ごとに、距離取得部６０２により取得された距離情報に基づいて基準の距離を算出する。以下、一例として、距離情報が点群データである場合の基準の距離の算出方法について説明する。まず、距離設定部１２０２は、世界座標系の原点から点群データが示す各点までのベクトルをｘｙ平面に射影した方向ベクトルをそれぞれ算出する。次に、処理対象の分割領域において、上述の開始ベクトルと終了ベクトルとの間に存在する方向ベクトルに対応する１以上の点を特定する。さらに、特定した各点について、車両等の基準点から、つまり世界座標系の原点から、特定した点までの距離を、特定した点の３次元の空間座標に基づいて算出する。最後に、特定した点ごとに算出した距離の中央値、最大値、又は平均値等の統計値を算出し、算出した統計値を処理対象の分割領域における基準の距離として設定する。また、基準の距離として設定する統計値の算出において、特定した複数の点のうちの一部に対応する距離だけを用いてもよい。具体的には、第１の３次元形状データで表現可能な、車両から近方の予め定められた範囲内に存在する点を事前に除去する等、特定した複数の点のうちの一部に対応する距離を用いてもよい。

Ｓ１３０２の後、Ｓ１３０３にて、第２取得部１２０３は、距離設定部１２０２により取得された分割領域ごとの基準の距離に基づいて、高さ成分を持つ基準３次元形状のデータを生成する。更に、第２取得部１２０３は、生成した基準３次元形状データを含む第２の３次元形状データを生成する。第２の３次元形状データとして複数の平面形状により構成された基準３次元形状のデータを用いる場合は、分割領域ごとに、基準の方向ベクトルに垂直な平面を基準の距離の位置に配置した基準３次元形状データを生成する。当該平面の高さには、例えば、車両の周囲に存在する建築物等のオブジェクトを覆うことが可能な高さを設定する。なお、当該平面の高さに設定する値は、通信部７０７を介して、又は補助記憶装置７０４から取得した予め定められた値であってよく、点群データに基づいて算出した値であってもよい。点群データに基づく当該平面の高さに設定する値の算出は、例えば、以下のように行う。距離設定部１２０２が分割領域ごとの基準の距離を算出する際に、上述の特定した１以上の点の３次元の空間座標におけるｚ座標の値の平均値、中央値、又は最大値等の統計値を算出し、算出した統計値を当該平面の高さに設定する。また、当該平面の高さは、分割領域に関わらず全ての分割領域で同一のものであってもよく、分割領域ごとに互いに異なるものであってもよい。

当該平面の幅は、当該平面と、当該平面が配置されるに分割領域に隣接する互いに異なる２つの分割領域のそれぞれに配置される平面とが交わる位置に基づいて設定される。分割領域ごとに配置した垂直の平面の全てを統合して、統合した複数の平面に対応する３次元形状データを基本３次元形状データとして生成する。更に、生成した基本３次元形状データを含む第２の３次元形状データとする。上述の統合の際は、互いに異なる分割領域に対応する面のうち、互いに重複する領域を除去してもよいし、除去しなくてもよい。除去する際は、互いに重複する領域のうち、車両等の基準点により近い領域を保持し、当該領域よりも遠方に存在し、当該領域を有する面の存在により基準点からは見ない他の面の領域を除去する。

第２の３次元形状データとして曲面形状により構成された基準３次元形状のデータを用いる場合は、まず、分割領域ごとに、基準点から基準の方向ベクトルの方向に基準の距離だけ離れた位置を算出し、算出した位置を各分割領域の基準位置とする。次に、ｘｙ平面において各分割領域の基準位置を滑らかにつないだ曲線を算出する。曲線の算出は、２つの基準位置同士を結ぶ２次関数又は多項式関数等の曲線を示す関数をあてがうことにより行えばよい。また、曲線を示す関数をあてがわず、基準位置同士を座標軸ごとに一定間隔で区切った点の位置を算出し、例えば、基準位置及び算出した点の位置を線形につないでもよい。最後に、曲線に沿って高さ方向に伸びる面を定義する。その際、高さが高くなるに従って曲線により囲まれるＸＹ平面に平行な面の面積が大きくなるような面を定義しても、高さが高くなるに従って当該面積が小さくなるような面を定義してもよい。曲線に沿って高さ方向に伸びる面は、車両周囲の環境として表現したい形状に合わせて任意に定義すればよい。Ｓ１３０３の後、画像処理装置１２００は、Ｓ８０５からＳ８０８までの処理を実行し、Ｓ８０８の後、図１３に示すフローチャートの処理を終了する。

以上のように、画像処理装置１２００は、距離情報に基づいて基準の距離を設定し、設定した基準の距離に基づいて第２の３次元形状データを生成する。更に、画像処理装置１２００は、生成した第１及び第２の３次元形状データを統合した第３の３次元形状データにテクスチャ画像をマッピングする。このように構成した画像処理装置１２００によれば、基準点の近方にオブジェクトが存在する場合であっても、近方に存在するオブジェクトと遠方に存在するオブジェクトとが互いにバランスの取れた高精度の仮想視点画像を生成することができる。なお、本実施形態では、画像処理装置１２００を車両に適用した形態を示したが、これに限定されるものではなく、画像処理装置１２００は、施設若しくは敷地の内外、又は道路若しくは線路等が敷設された空間等を監視する監視システムに適用することもできる。

＜実施形態３＞
実施形態１及び２に係る画像処理装置６００，１２００は、距離情報に基づいて生成した第１の３次元形状データと、基準３次元形状データの組合せ等により生成した第２の３次元形状データとを統合した第３の３次元形状データを生成するものであった。実施形態１及び２に係る画像処理装置６００，１２００は、更に、第３の３次元形状データにテクスチャ画像をマッピングするものであった。また、実施形態２に係る画像処理装置１２００は、距離情報に基づいて基準の距離を設定し、設定した基準の距離に基づいて第２の３次元形状データを生成するものであった。これに対して、実施形態３に係る画像処理装置は、生成した第１の３次元形状データにおいて、距離情報に基づいて構成した面のうちから不要な面を除去し、当該除去後の第１の３次元形状データを統合して、第３の３次元形状データを生成するものである。

図１５を参照して、実施形態３に係る画像処理装置１５００の構成について説明する。図１５は、実施形態３に係る画像処理装置１５００の機能ブロックの構成の一例を示すブロック図である。画像処理装置１５００は、画像取得部６０１、距離取得部６０２、第１取得部６０３、領域分割部１２０１、距離設定部１２０２、第２取得部１２０３、第３取得部６０５、マッピング部６０６、視点取得部６０７、及び画像生成部６０８を有する。更に、画像処理装置１５００は、上述の構成に加えて、修正部１５０１を有する。すなわち、画像処理装置１５００は、実施形態２に係る画像処理装置１２００と比較して、修正部１５０１が追加されたものである。なお、画像処理装置１５００の構成において、領域分割部１２０１、距離設定部１２０２、及び第２取得部１２０３については、実施形態１に係る６００が有する第２取得部６０４に置き換えることができる。すなわち、画像処理装置１５００は、実施形態１に係る画像処理装置６００と比較して、修正部１５０１が追加されたものであってもよい。

以下、図１５において、図６又は図１２に示す構成と同様の構成については同一の符号を付すことにより説明を省略する。すなわち、実施形態３に係る画像取得部６０１、距離取得部６０２、第１取得部６０３、第３取得部６０５、マッピング部６０６、視点取得部６０７、及び画像生成部６０８については、実施形態１又は２に係る各部と同様であるため説明を省略する。また、実施形態３に係る領域分割部１２０１、距離設定部１２０２、第２取得部１２０３、については、実施形態２に係る各部と同様であるため説明を省略する。なお、画像処理装置１５００が有する各部の処理は、実施形態１又は２と同様に、例えば、画像処理装置１５００に内蔵されたＡＳＩＣ又はＦＰＧＡ等のハードウェアにより実行される。当該処理は、図７に一例として示すハードウェアを用いてソフトウェアにより実行されてもよい。

実施形態１で説明したように、第１取得部６０３は、車両等の基準点の近方に存在するオブジェクトの表面に対応する複数の面を距離情報に基づいて構成し、構成した複数の面を示す３次元形状データを第１の３次元形状データとして生成する。実施形態１において一例として説明したように、各面は、ＬｉＤＡＲがスキャンラインのビームを照射する方向を変更しながら点群データを取得するという測定原理を利用して構成される。具体的には、ＬｉＤＡＲからのビームの照射状況が反映されるように点群データの並び替えを行い、並び替え後の点群データが示す複数の点のうち、隣接する点同士をつなぐことにより面を構成する。この時、基準点の近方に存在するオブジェクトの表面に対応する点と、基準点から見たときの当該オブジェクトの後方に存在する他のオブジェクトの表面に対応する点とを頂点とする面が構成されることがある。

図１７を参照して、基準点の近方に存在するオブジェクトの表面に対応する点と、基準点から見たときの当該オブジェクトの後方に存在する他のオブジェクトの表面に対応する点とを頂点とする面について説明する。図１７（ａ）は、ｚ座標が正の位置から原点に向かう方向に見たときの、基準点である車両とオブジェクトである人１７０１，１７０２との位置関係の一例を示す図である。また、図１７（ｂ）は、３次元の仮想空間における車両に対応する形状と、人１７０１，１７０２に対応する３次元形状データ１７０５，１７０６を可視化した図である。以下、図１７（ａ）に示すように、車両の右方に車両からの距離が互いに異なる人１７０１，１７０２が２人存在する場合を例にして説明する。

図１７において、ＬｉＤＡＲから見た際に、人１７０１及び人１７０２は、隣接して存在し、人１７０２は、人１７０１よりも車両から見て遠方に存在している。実施形態１に係る第１取得部６０３のように点群データが示す各点をつないで面を構成する際、人１７０１に対応する３次元形状データ１７０４と人１７０２に対応する３次元形状データ１７０５との間に面１７０６が構成される。面１７０６は、本来、オブジェクトの表面に対応しない面であり、第１の３次元形状データには不要な面である。第１の３次元形状データに不要な面に対応する３次元形状データを含む場合、当該第３の３次元形状データにテクスチャ画像をマッピングしたテクスチャ付きの第３の３次元形状データに基づいて仮想視点画像が生成されることがある。この場合、不要な面にテクスチャが歪んだ状態でマッピングされることになるため、仮想視点画像における当該面に対応する画像領域において、画質が低下することになってしまう。この画質の低下に対処するため、実施形態３に係る画像処理装置１５００は、第１取得部６０３により第１の３次元形状データから不要な面１７０６に対応する３次元形状データを削除する。

以下、図１６を参照して、画像処理装置１５００の動作について説明する。図１６は、実施形態３に係る画像処理装置１５００の処理フローの一例を示すフローチャートである。以下、図１６において、図８又は図１３に示す処理と同様の処理については同一の符号を付すことにより説明を省略する。まず、画像処理装置１５００は、Ｓ８０１からＳ８０３までの処理を実行する。Ｓ８０３の後、Ｓ１６０１にて、修正部１５０１は、第１取得部６０３により取得された第１の３次元形状データを修正する。具体的には、修正部１５０１は、第１取得部６０３により取得された第１の３次元形状データから不要な面に対応する３次元形状データを削除することにより、第１の３次元形状データを修正する。

上述の通り、第１取得部６０３は、例えば、ＬｉＤＡＲにおけるビームの照射の順番に従って面を構成するものである。そのため、第１取得部６０３により生成された第１の３次元形状データは、前方のオブジェクトとその後方に存在するオブジェクトとをつないだ面に対応する３次元形状データを含む。上述のとおり、当該面は、オブジェクトの表面に対応するものではない。そのため、当該面の面上には、点群データが示す点が存在しない。したがって、当該面は、本来のオブジェクトの表面に対応する面には見られないような、ｘｙ平面の広がる方向（以下「奥行方向」という。）に長さの長い面となる。

例えば、修正部１５０１は、第１の３次元形状データが示す複数の面のそれぞれの奥行方向の長さと、予め定められた長さの閾値とを比較する。ここで、長さの閾値には、例えば、ＬｉＤＡＲの仕様等に基づいて算出される、構成可能な面の奥行方向の長さの上限値が設定される。例えば、修正部１５０１は、第１の３次元形状データに含まれる各三角形ポリゴンにおける各頂点間の距離を算出し、算出した距離が上述の長さの閾値よりも大きいか否かを判定する。当該判定の結果、算出した距離が長さの閾値よりも長い三角形ポリゴンを不要な面に対応する３次元形状データであるものとして、当該三角形ポリゴンを示すデータを３次元形状データから削除する。

上述の長さの閾値は、三角形ポリゴンごとに決定されるものであってもよい。例えば、ＬｉＤＡＲにより取得された点群データでは、同一のリングにおける互いに隣接する点間の距離は短く、スキャンラインにおける互いに隣接する点間の距離は長くなる。また、ＬｉＤＡＲにより取得された点群データでは、ＬｉＤＡＲからの距離が遠くなればなるほど、スキャンラインにおける、点群データが示す床面における互いに隣接する点間の距離は長くなる。ＬｉＤＡＲは上述のような特性を有するため、ＬｉＤＡＲにより取得された点群データに基づいて生成された第１の３次元形状データに対して、一定の長さの閾値に基づいて面に対応する３次元形状データを削除する場合、以下のような不具合が生じることがある。例えば、長さの閾値が小さい過ぎる場合、除去すべきではない面、すなわち、オブジェクトの表面、又は路面等の正しい面に対応する３次元形状データを削除してしまう可能性がある。また、逆に、閾値が大き過ぎる場合、除去すべき面、すなわち、オブジェクトの表面又は路面等に対応しない不要な面に対応する３次元形状データを十分に削除できない可能性がある。そのため、三角形ポリゴンごとに長さの閾値を適切に変更することが好適である。

図１８を参照して、上述の長さの閾値の算出方法について説明する。図１８は、実施形態３に係る長さの閾値の算出方法の一例を説明するための説明図である。図１８に示すように、まず、ある三角形ポリゴンに対応する頂点１８０１の３次元の空間座標、及びＬｉＤＡＲ１８０２の位置と頂点１８０１とを結ぶ直線がｘｙ平面となす角度θを取得する。次に、ＬｉＤＡＲの仕様等により決定されるスキャンラインにおける互いに隣接するビーム間の照射角度の差αを用いて、ＬｉＤＡＲからθ―α及びθ―２αの角度のスキャンラインが存在した場合の点間の距離ｄを算出して、距離ｄを長さの閾値とする。次に、当該三角形ポリゴンに対応する各頂点間の距離を頂点ごとに算出し、当該距離の最大値を算出する。最後に、当該距離の最大値が決定した長さの閾値以上である三角形ポリゴンは、不要であるものとして、当該三角形ポリゴンに対応するデータを第１の３次元形状データから削除する。なお、上述の処理は、第１取得部６０３により取得された第１の３次元形状データに含まれる全ての三角形ポリゴンについて、三角形ポリゴンごとに実施される。また、三角形ポリゴンに対応する各頂点間の距離は、各頂点の３次元の空間座標に基づいて算出される。

上述の処理を全ての三角形ポリゴンに対して三角形ポリゴンごとに実施し、第１取得部６０３により取得された第１の３次元形状データから不要な面に対応する３次元形状データを削除することにより、第１の３次元形状データを修正する。本実施形態では、ＬｉＤＡＲの仕様等に基づいて算出される構成可能な面の奥行方向の長さに基づいて、不要な面であるか否かを判定する形態について説明したが、不要な面であるか否かを判定は、これに限定されるものではない。例えば、車両等の基準点の周囲に存在し得る人又は車両等のオブジェクトの奥行方向の厚みを事前に想定し、処理対象の面の奥行方向の長さが当該厚みの長さよりも長いか否かを判定することにより、当該面が不要な面であるか否かを判定してもよい。この場合、第１の３次元形状データに含まれる複数の三角形ポリゴンについて、三角形ポリゴンによらず一律の長さの閾値を設定してもよい。この場合、除去すべきでない面を除去することを防ぐためは、例えば、まず、処理対象の三角形ポリゴンが床面に対応するものである否かを判定する。更に、三角形ポリゴンが床面に対応するものでない場合、当該三角形ポリゴンの頂点間の距離と長さの閾値とを比較することにより面の除去を行うか否かを決定すればよい。

Ｓ１６０１の後、画像処理装置１５００は、Ｓ１３０１からＳ１３０３までの処理を実行する。Ｓ１３０３の後、画像処理装置１５００は、Ｓ８０５の処理を実行する。具体的には、第３取得部６０５は、修正部１５０１による修正後の第１の３次元形状データと第２の３次元形状データとを統合して第３の３次元形状データを取得する。Ｓ８０５の後、画像処理装置１５００は、Ｓ８０６からＳ８０８までの処理を実行し、Ｓ８０８の後、図１６に示すフローチャートの処理を終了する。

以上のように構成した画像処理装置１５００によれば、基準点の近方にオブジェクトが存在する場合であっても、近方に存在するオブジェクトと遠方に存在するオブジェクトとが互いにバランスの取れた高精度の仮想視点画像を生成することができる。特に、画像処理装置１５００は、距離情報に基づいて生成された第１の３次元形状データのうち、不要な面に対応する３次元形状データを削除することにより、当該第１の３次元形状データを修正するものである。このように構成した画像処理装置１５００によれば、不要な面に対応する３次元形状データを削除することにより、より高精度の仮想視点画像を生成することができる。なお、本実施形態では、画像処理装置１５００を車両に適用した形態を示したが、これに限定されるものではなく、画像処理装置１５００は、施設若しくは敷地の内外、又は道路若しくは線路等が敷設された空間等を監視する監視システムに適用することもできる。

＜その他の実施形態＞
本開示に係る画像処理装置は、上述の実施形態に限定されるものではなく、様々な実施の形態をとることが可能である。例えば、画像処理装置は、撮像装置及び測距センサと接続とされ、画像処理装置、撮像装置、及び測距センサを備える画像処理システムとして構成されていてもよい。このような構成によれば、撮像装置及び測距センサからリアルタイムに取得した撮像画像及び点群データに基づいて仮想視点画像を生成することができる。

また、上述の実施形態では、撮像画像データが静止画像データである形態について説明したがこれに限定されるものではなく、撮像画像データが動画像データであってもよい。この場合、動画像データに含まれる各フレームのデータに対して同様の処理を実施すればよい。撮像画像データが動画像データである場合、距離取得部６０２は、フレーム間隔等に対応する予め定められた時間間隔で、繰り返し距離情報を取得する。なお、この場合、全てのフレームのうちの一部のフレームに対応する第２の３次元形状データを生成しなくてもよい。例えば、測距センサにより取得された距離情報から取得可能な基準点の遠方の環境が大きく変化した場合にのみ、第２の３次元形状データの生成を行えばよい。これにより、必要なタイミングにのみ第２の３次元形状データの生成を行うことになるため、第２の３次元形状データを生成するための処理に要する演算コストを低減することができる。また、この必要なタイミングのみでの第２の３次元形状データの生成は、演算コストに依存するリアルタイム処理にも有効である。

また、上述の実施形態では、画像処理装置は、視点取得部６０７及び画像生成部６０８を有することにより仮想視点画像を生成する形態について説明したが、画像処理装置は、必ずしも仮想視点画像を生成するものでなくてもよい。例えば、画像処理装置は、仮想視点画像を生成して出力せずに、マッピング部６０６により生成されたテクスチャ付きの３次元形状データを補助記憶装置７０４又は表示部７０５等に出力するものであってもよい。

また、上述の実施形態では、車両の周囲の３６０度に亘る空間に対応する第１、第２、及び第３の３次元形状データを取得する形態について説明したが、第１、第２、及び第３の３次元形状データに対応する空間は、これに限定されるものではない。仮想視点の位置又は視線の方向等が予め所定の範囲内に定められている場合等、車両の周囲の空間のうちの一部の空間のみに対応する第１、第２、及び第３の３次元形状データを取得してもよい。

本開示は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

なお、本開示はその開示の範囲内において、各実施形態の自由な組み合わせ、各実施形態の任意の構成要素の変形、又は、各実施形態において任意の構成要素の省略が可能である。

６００ 画像処理装置
６０１ 画像取得部
６０２ 距離取得部
６０３ 第１取得部
６０４ 第２取得部
６０５ 第３取得部
６０６ マッピング部

Claims (19)

1. 基準点の周囲を撮像する撮像装置の撮像により得られた撮像画像のデータを取得する画像取得手段と、
   前記基準点から、前記基準点の周辺に存在するオブジェクトまでの距離を示す距離情報を取得する距離取得手段と、
   前記距離情報に基づいて、前記オブジェクトの形状に対応する第１の３次元形状データを取得する第１取得手段と、
   前記オブジェクト以外の前記基準点の周囲に対応する、１以上の平面又は曲面により構成される第２の３次元形状データを取得する第２取得手段と、
   前記第１の３次元形状データと前記第２の３次元形状データとを統合した第３の３次元形状データを取得する第３取得手段と、
   前記第３の３次元形状データに対して前記撮像画像をマッピングするマッピング手段と、
   を有すること
   を特徴とする画像処理装置。
2. 前記距離情報は、前記基準点から、前記基準点の周辺に存在する前記オブジェクトまでの距離を示す点群データであること
   を特徴とする請求項１に記載の画像処理装置。
3. 前記第１取得手段は、前記点群データが示す複数の点のそれぞれを頂点とする複数の面を特定することにより、前記オブジェクトの表面の形状に対応する前記第１の３次元形状データを取得すること
   を特徴とする請求項２に記載の画像処理装置。
4. 前記距離情報は、前記基準点から、前記基準点の周辺に存在する前記オブジェクトまでの距離を示すデプスマップのデータであること
   を特徴とする請求項１に記載の画像処理装置。
5. 前記第２の３次元形状データは、前記基準点の周囲における地面又は床面に対応する３次元形状のデータを含むこと
   を特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記第２の３次元形状データは、前記地面又は床面に対応する３次元形状に対して高さ方向の成分を持つ３次元形状のデータを含むこと
   を特徴とする請求項５に記載の画像処理装置。
7. 前記基準点に対応する位置から前記第２の３次元形状データに含まれる前記高さ方向の成分を持つ３次元形状までの距離を設定する距離設定手段、
   を更に有し、
   前記第２取得手段は、距離設定手段により設定された距離に基づいて、前記高さ方向の成分を持つ３次元形状のデータを生成して前記第２の３次元形状データを取得すること
   を特徴とする請求項６に記載の画像処理装置。
8. 前記距離設定手段は、ユーザにより指定された距離に基づいて、前記基準点に対応する位置から前記高さ方向の成分を持つ３次元形状までの距離を設定すること
   を特徴とする請求項７に記載の画像処理装置。
9. 前記距離設定手段は、前記距離情報に基づいて、前記基準点に対応する位置から前記高さ方向の成分を持つ３次元形状までの距離を設定すること
   を特徴とする請求項７に記載の画像処理装置。
10. 前記距離設定手段は、前記距離情報に基づいて、前記基準点から前記オブジェクトまでの距離の統計値を算出し、算出した前記統計値に基づいて、前記基準点に対応する位置から前記高さ方向の成分を持つ３次元形状までの距離を設定すること
    を特徴とする請求項９に記載の画像処理装置。
11. 前記基準点の周囲の空間を複数の領域に分割する領域分割手段、
    を更に有し、
    前記距離設定手段は、前記領域分割手段により分割された前記領域ごとに、前記基準点に対応する位置から前記高さ方向の成分を持つ３次元形状までの距離を設定すること
    を特徴とする請求項７乃至１０のいずれか１項に記載の画像処理装置。
12. 前記第１の３次元形状データを修正する修正手段、
    を更に有し、
    前記第３取得手段は、前記修正手段により修正された修正後の前記第１の３次元形状データと、前記第２の３次元形状データとを統合することにより、前記第３の３次元形状データを取得すること
    を特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。
13. 前記修正手段は、前記第１の３次元形状データが示す複数の面のうち、面を構成する頂点間の距離が予め定められた閾値よりも大きい面を前記第１の３次元形状データから削除することにより、前記第１の３次元形状データを修正すること
    を特徴とする請求項１２に記載の画像処理装置。
14. 前記閾値は、前記第１の３次元形状データが示す面ごとに定められることを
    特徴とする請求項１３に記載の画像処理装置。
15. 前記閾値は、前記距離情報が示す距離を計測する測距装置の特性を示す情報、前記測距装置の設置位置を示す情報、及び前記測距装置が測距する向きを示す情報のうち、少なくともいずれかに基づいて定められること
    を特徴とする請求項１３又は１４に記載の画像処理装置。
16. 前記距離取得手段は、予め定められた時間間隔で繰り返し前記距離情報を取得し、
    前記第２取得手段は、互いに異なるときに取得された２つの前記距離情報の間の変化が予め定められた変化より大きいときに、前記第２の３次元形状データを取得し直すこと
    を特徴とする請求項１乃至１５のいずれか１項に記載の画像処理装置。
17. 仮想視点の情報を取得する視点取得手段と、
    前記マッピング手段により前記撮像画像がマッピングされた後の前記第３の３次元形状データと、前記仮想視点の情報とに基づいて、仮想視点画像を生成する画像生成手段と、
    を更に有すること
    を特徴とする請求項１乃至１６のいずれか１項に記載の画像処理装置。
18. 基準点の周囲を撮像する撮像装置の撮像により得られた撮像画像のデータを取得する画像取得工程と、
    前記基準点から、前記基準点の周辺に存在するオブジェクトまでの距離を示す距離情報を取得する距離取得工程と、
    前記距離情報に基づいて、前記オブジェクトの形状に対応する第１の３次元形状データを取得する第１取得工程と、
    前記オブジェクト以外の前記基準点の周囲に対応する、１以上の平面又は曲面により構成される第２の３次元形状データを取得する第２取得工程と、
    前記第１の３次元形状データと前記第２の３次元形状データとを統合した第３の３次元形状データを取得する第３取得工程と、
    前記第３の３次元形状データに対して前記撮像画像をマッピングするマッピング工程と、
    を有すること
    を特徴とする画像処理方法。
19. コンピュータを、請求項１乃至１７のいずれか１項に記載の画像処理装置として動作させるためのプログラム。

Images