JP2023172202A - 画像処理装置、移動体、画像処理方法及びコンピュータプログラム - Google Patents

Abstract

【課題】物体形状の再現性が高い仮想視点映像を生成可能な画像処理装置、移動体、画像処理方法及びコンピュータプログラムを提供する。【解決手段】画像処理装置２００は、撮像光学系及び前記光学系を介して入射された光学像から所定の視差を有する第１画像信号と第２画像信号とを生成する撮像素子とを夫々備えた複数の撮像部と、複数の撮像部の出力に基づき複数の画像データを生成する現像部及び複数の撮像部が夫々生成する第１画像信号及び第２画像信号に基づき複数の画像データの各画素に対する距離データを生成する距離データ生成部を備えたデータ生成部と、複数の画像データと、複数の画像データの各画素に対する距離データとに基づいて所定の仮想視点から見た仮想視点映像を生成する映像生成部と、を有する。【選択図】図２

Description

本発明は、画像処理装置、移動体、画像処理方法及びコンピュータプログラム等に関する。

カメラで撮影した映像を、カメラの撮影方向とは異なる任意の視点（以下、仮想視点と呼ぶ）から見た映像に変換する技術が知られている。本技術を使用して、車両に設置した複数台のカメラの撮像した映像を車両周囲の仮想視点から見た映像に変換した映像（以下、仮想視点映像と呼ぶ）は、車両の運転・駐車支援等の目的で広く利用されている。

このような仮想視点映像作成技術に関し、特許文献１には、以下の技術が開示されている。先ず、車両の周囲環境を表現する空間モデルとして、平面モデルや曲面モデルとを組み合わせた３Ｄモデルを生成し、その空間モデルに対して撮像映像をマッピングすることで空間データを生成する。次に空間データを参照し、任意の視点から見た画像を生成することで、仮想視点映像を作成する。又、特許文献１には、車両から所定の距離内に存在する立体物の位置に応じて、路面に垂直な面を空間モデルとして生成することで、障害物の歪みを低減した仮想視点映像を作成する技術が開示されている。

特許第３２８６３０６号公報

しかしながら、特許文献１に記載の技術には、設定した空間モデルと本来の車両周辺の立体物等の形状との違いにより、仮想視点映像上で立体物の歪みや倒れが残存するという課題がある。

本発明は上記の課題を解決し、物体形状の再現性が高い仮想視点映像を生成可能な画像処理装置を提供することを１つの目的とする。

本発明の１側面の画像処理装置は、
光学系及び前記光学系を介して入射された光学像から所定の視差を有する第１画像信号と第２画像信号とを生成するセンサとを夫々備えた複数の撮像手段と、
複数の前記撮像手段の出力に基づき複数の画像データを生成する現像手段と、
複数の前記撮像手段が夫々生成する前記第１画像信号及び前記第２画像信号に基づき複数の前記画像データの各画素に対する距離データを生成する距離データ生成手段と、
複数の前記画像データと、複数の前記画像データの各画素に対する前記距離データとに基づいて所定の仮想視点から見た仮想視点映像を生成する映像生成手段と、を有することを特徴とする。

本発明によれば、物体形状の再現性が高い仮想視点映像を生成可能な画像処理装置を実現することが可能となる

本発明の実施形態の撮像部と車両の位置関係を説明する図である。 実施形態に係る仮想視点映像生成装置の構成を示す機能ブロック図である。 （Ａ）、（Ｂ）は、実施形態に係る撮像素子１０２の構成を示す模式図である。 （Ａ）～（Ｄ）は、撮像面位相差方式における被写体距離と入射光との関係を示す模式図である。 （Ａ）、（Ｂ）は、実施形態に係るデータ生成部の動作を示すフローチャートである。 実施形態に係る仮想視点映像生成装置の動作を示すフローチャートである。 （Ａ）、（Ｂ）は、撮像部と車両の周辺の立体物の位置関係を示す図である。 （Ａ）～（Ｃ）は、３Ｄモデル生成部による距離データの補正処理の１例を示す図である。 ３Ｄモデル生成部が生成する３Ｄモデルの１例を示す図である。

［実施形態１］
以下、図面を参照して本発明の実施形態を説明する。ただし、本発明は以下の実施形態に限定されるものではない。なお、各図において、同一の部材または要素については同一の参照番号を付し、重複する説明は省略または簡略化する。

図１は、本発明の実施形態の撮像部と車両の位置関係を説明する図である。本実施形態では、図１に示すように、移動体としての車両１００の前方、左側方、後方、右側方に夫々撮像手段としての撮像部１００Ａ～１００Ｄが互いに離間して設置され車両１００の周辺を撮像する。本実施形態における撮像部１００Ａ～１００Ｄが有する光学系は、周囲を広く撮影することが可能な魚眼レンズや広角レンズを備えているものとし、撮像部１００Ａ～１００Ｄ夫々の画角（撮影範囲）を図１中に点線で示してある。尚、本実施形態では撮像部１００Ａ～１００Ｄは前述の通り４つ設けられているが、複数であれば良い。尚、撮像部１００Ａ～１００Ｄの構成については後述する。

次に、図２を用いて本実施形態に係る画像処理装置としての仮想視点映像生成装置２００の構成を説明する。図２は、実施形態に係る仮想視点映像生成装置の構成を示す機能ブロック図である。

尚、図２に示される機能ブロックの一部は、仮想視点映像生成装置２００に含まれる不図示のコンピュータに、不図示の記憶媒体としてのメモリに記憶されたコンピュータプログラムを実行させることによって実現されている。しかし、それらの一部又は全部をハードウェアで実現するようにしても構わない。ハードウェアとしては、専用回路（ＡＳＩＣ）やプロセッサ（リコンフィギュラブルプロセッサ、ＤＳＰ）などを用いることができる。

又、図２に示される夫々の機能ブロックは、同じ筐体に内蔵されていなくても良く、互いに信号路を介して接続された別々の装置により構成しても良い。尚、本実施形態では撮像部１００Ａ～１００Ｄは同じ構成を有するが、同じ構成でなくても良い。

撮像部１００Ａ～１００Ｄは、夫々撮像光学系１０１及び撮像素子１０２を有し、撮像光学系１０１は、被写体の像（光学像）を撮像素子１０２上に形成することができ、撮像素子１０２から所定距離離れた位置に射出瞳を有する。

撮像素子１０２は、例えばＣＭＯＳイメージセンサであり、光電変換機能を有する画素を２次元状に配置した画素領域を備える。各画素領域は２つの光電変換部（第１の光電変換部、第２の光電変換部）を有し、撮像素子１０２上に結像した被写体像を光電変換して被写体像に基づく画像信号を生成する。

撮像部１００Ａ～１００Ｄの撮像素子１０２は、第１の光電変換部から出力された信号に基づく第１の画像信号と、第２の光電変換部から出力された信号に基づく第２の画像信号を、夫々データ生成部２１０Ａ～２００Ｄに出力する。ここで、撮像部１００Ａ～１００Ｄは、光学系、及び光学系を介して入射された光学像から所定の視差を有する第１画像信号と第２画像信号とを生成する撮像素子を夫々有する複数の撮像手段として機能している。尚、本実施形態では、データ生成部２１０Ａ～２００Ｄの構成は同じものとするが、同じでなくても良い。

以上のように撮像素子１０２が第１の画像信号及び第２の画像信号を出力する構成であるため、本実施形態における仮想視点映像生成装置２００は、後述する撮像面位相差方式によって車両１００の周辺環境を測距することができる。

データ生成部２１０Ａ～２１０Ｄは、第１の画像信号及び第２の画像信号に基づいて、画素毎に赤、緑、青の各色信号と輝度信号を含む画像データを生成する現像部２１１を夫々有する。各現像部２１１は、複数の撮像手段の出力に基づき複数の画像データを生成する現像手段として機能している。

又、データ生成部２１０Ａ～２１０Ｄは、画素毎の距離情報を示す距離データを生成する距離データ生成部２１２を夫々有する。距離データ生成部２１２は、複数の撮像手段が夫々生成する第１画像信号及び第２画像信号に基づき複数の画像データの各画素に対する距離データを生成する距離データ生成手段として機能している。

画像データと距離データは同一の画像信号から生成されるため、画像データと距離データは時間的に同じタイミングで得られる。即ち、同期されている。データ生成部２１０は、画像データと距離データとを表示映像生成部２２０及び信頼度算出部２６０に送信する。

尚、このデータ生成部２１０Ａ～２１０Ｄは、撮像部１００Ａ～１００Ｄと同数（本例では４つ）設けられる。データ生成部２１０Ａ～２１０Ｄは、夫々、撮像部１００Ａ～１００Ｄの画像信号に基づき、撮像部１００Ａ～１００Ｄに対応した複数の画像データ及び複数の距離データを生成し、表示映像生成部２２０及び信頼度算出部２６０に出力する。但し、簡単のため、図２には撮像部１００Ａとデータ生成部２１０Ａの配線のみを記載している。

尚、データ生成部２１０Ａ～２１０Ｄは夫々、撮像部１００Ａ～１００Ｄ内に備えられていてもよく、仮想視点映像生成装置２００の構成は本実施形態で説明したものに限定されない。

表示映像生成部２２０は、データ生成部２１０Ａ～２１０Ｄから受信する複数の画像データ及び複数の距離データを利用して、任意の視点位置である仮想視点からみた仮想視点映像を生成する。本実施形態における表示映像生成部２２０は、３Ｄモデル生成部２２１、テクスチャマッピング部２２２及びレンダリング部２２３等で構成される。

３Ｄモデル生成部２２１は距離データに基づいて３Ｄモデルを生成する３Ｄモデル生成手段として機能している。テクスチャマッピング部２２２は、３Ｄモデルに対して画像データをマッピングしたテクスチャ付き３Ｄモデルを生成するテクスチャマッピング手段として機能している。

レンダリング部２２３は、テクスチャ付き３Ｄモデルを任意視点位置である仮想視点から見た画像である仮想視点画像を生成するレンダリング手段として機能しており、移動体の周辺の仮想視点映像を作成する。これらの３Ｄモデル生成部２２１、テクスチャマッピング部２２２及びレンダリング部２２３の動作の詳細は後述する。

尚、仮想視点は、仮想視点決定部２３１で決定された仮想視点に関する情報（以下、仮想視点情報と呼ぶ）に基づいて決定される。仮想視点情報の詳細は後述する。表示映像生成部２２０は、複数の画像データと複数の画像データの各画素に対する距離データとに基づいて所定の仮想視点から見た仮想視点映像を生成する映像生成手段として機能している。表示映像生成部２２０で生成された仮想視点映像は、映像送信部２４０及び表示部２５０に送信される。

映像送信部２４０は、例えば無線通信部で構成され、仮想視点映像を車両１００の外部に送信する機能を有する。車両１００の外部とは、例えば車両１００の遠隔操縦室等であり、遠隔操縦室にいる操縦者は、この仮想視点映像を視聴しながら遠隔操縦を行うことができる。

本実施形態の表示部２５０は表示手段として機能しており、例えば液晶ディスプレイで構成され、表示映像生成部２２０より受信した仮想視点映像を移動体としての車両１００の乗員向けに表示する。通信部２３０は、仮想視点情報を生成するための情報を例えば遠隔操縦室等の外部から受信する機能を有する。

仮想視点決定部２３１は、通信部２３０から受信した情報に基づいて仮想視点情報を生成する。尚、通信部２３０から受信する情報は、前述のように遠隔操縦室等の外部からの情報でも良いし、例えば、車両の乗員が不図示の操作部を操作することで生成された、視点を指示する情報であっても良い。或いは、車両の制御情報に連動するものであっても良く、例えば、車両のウインカーが出された方向を向いた視点情報であっても良い。

信頼度算出部２６０は、距離データ生成部２１２が生成する距離データの信頼度を算出する信頼度判定手段として機能している。信頼度の算出方法は後述する。以上が、本実施形態に係る仮想視点映像生成装置２００の構成である。

尚、本実施形態の仮想視点映像生成装置２００は、車両１００に搭載されているが、仮想視点映像生成装置２００の一部は、車両１００から離れた外部装置に搭載されていても良い。例えば、データ生成部２１０、表示映像生成部２２０、仮想視点決定部２３１、表示部２５０、信頼度算出部２６０等の一部又は全部が外部装置に搭載されていても良い。

次に、図３（Ａ）、（Ｂ）及び図４（Ａ）～（Ｄ）を用いて、撮像素子１０２を利用した撮像面位相差方式（撮像面位相差測距方式又は像面位相差検出方式）による測距原理について説明する。図３（Ａ）、（Ｂ）は、実施形態に係る撮像素子１０２の構成を示す模式図であり、図３（Ａ）は、撮像素子１０２を光の入射方向からみた上面図である。

撮像素子１０２は、２行×２列の画素群３１０をマトリクス状に複数配列することで構成される。画素群３１０は、緑色の光を検出する緑画素Ｇ１、緑画素Ｇ２、赤色の光を検出する赤画素Ｒ及び青色の光を検出する青画素Ｂを有する。画素群３１０において、緑画素Ｇ１及び緑画素Ｇ２は対角に配置される。又、各画素は、第１の光電変換部３１１と、第２の光電変換部３１２とを有する。

図３（Ｂ）は、図３（Ａ）における画素群３１０のＩ－Ｉ’断面における断面図である。各画素は導光層３１４、及び受光層３１５等から構成される。導光層３１４は、画素へ入射した光束を受光層３１５へ効率良く導くための、マイクロレンズ３１３、各画素が検出する光の色に対応する波長帯域の光を通過させるカラーフィルタ、及び画像読み出し用及び画素駆動用の配線等を有する導光部材である。

受光層３１５は、導光層３１４を介して入射した光を光電変換して電気信号として出力する光電変換部である。受光層３１５は、撮像素子の水平ライン方向に並んで配置された第１の光電変換部３１１、及び第２の光電変換部３１２を有する。

図４（Ａ）～（Ｄ）は、撮像面位相差方式における被写体距離と入射光との関係を示す模式図である。図４（Ａ）は、撮像光学系１０１の射出瞳４０１と、撮像素子１０２の緑画素Ｇ１と、緑画素Ｇ１の第１の光電変換部３１１、第２の光電変換部３１２に入射する光を示す模式図である。撮像素子１０２は、複数の画素を有するが、簡単のため、１つの緑画素Ｇ１について説明する。

緑画素Ｇ１のマイクロレンズ３１３は、射出瞳４０１と受光層３１５とが光学的に共役関係になるように配置されている。その結果、射出瞳４０１内の部分瞳領域である第１の瞳領域４１０を通過した光束は第１の光電変換部３１１に入射する。同様に部分瞳領域である第２の瞳領域４２０を通過した光束は第２の光電変換部３１２に入射する。

各画素の第１の光電変換部３１１は、受光した光束を光電変換して信号を出力する。撮像素子１０２に含まれる複数の第１の光電変換部３１１から出力された信号から、第１の画像信号が生成される。第１の画像信号は、第１の瞳領域４１０を主に通過した光束が撮像素子１０２上に形成する像の強度分布を示す。

同様に、各画素の第２の光電変換部３１２は、受光した光束を光電変換して信号を出力する。撮像素子１０２に含まれる複数の第２の光電変換部３１２から出力された信号から、第２の画像信号が生成される。第２の画像信号は、第２の瞳領域４２０を主に通過した光束が撮像素子１０２上に形成する像の強度分布を示す。

第１の画像信号と第２の画像信号間の相対的な位置ズレ量（以下、視差量と呼ぶ）は、デフォーカス量に応じた量となる。視差量とデフォーカス量の関係について、図４（Ｂ）、（Ｃ）、（Ｄ）を用いて説明する。

図４（Ｂ）、（Ｃ）、（Ｄ）は撮像素子１０２と撮像光学系１０１の相対的な位置関係について説明するための概略図である。図中の４１１は第１の瞳領域４１０を通過する第１の光束を示し、４２１は第２の瞳領域４２０を通過する光束を示す。

図４（Ｂ）は、合焦時の状態を示しており、第１の光束４１１と第２の光束４２１が撮像素子１０２上で収束している。この時、第１の光束４１１により形成される第１の画像信号と第２の光束４２１により形成される第２の画像信号間の視差量は０となる。

図４（Ｃ）は、像側においてｗ軸の負方向にデフォーカスした状態を示している。この時、第１の光束４１１により形成される第１の画像信号と第２の光束４２１により形成される第２の画像信号間の視差量は０とはならず、負の値を有する。

図４（Ｄ）は像側においてｗ軸の正方向にデフォーカスした状態を示している。この時、第１の光束４１１により形成される第１の画像信号と第２の光束４２１により形成される第２の画像信号間の視差量は０とはならず、正の値を有する。

図４（Ｃ）と（Ｄ）の比較から、デフォーカス量の正負に応じて、視差が生じる方向が入れ替わることが分かる。又、幾何関係から、デフォーカス量に応じた視差量が生じることが分かる。従って、後述するように、第１の画像信号と第２の画像信号との間の視差量を、領域ベースのマッチング手法により検出し、視差量を所定の変換係数を介してデフォーカス量に変換することができる。更に、後述する撮像光学系１０１の結像公式を用いることで、像側のデフォーカス量を、物体までの距離に変換することができる。

以上が、撮像面位相差方式による測距原理の説明である。本実施形態では、距離データ生成部２１２が、撮像面位相差方式により第１の画像信号と第２の画像信号から距離データを生成する。

次に、データ生成部２１０の詳細な動作について、図５を用いて説明する。図５（Ａ）、（Ｂ）は実施形態に係るデータ生成部の動作を示すフローチャートである。尚、仮想視点映像生成装置２００内のコンピュータとしての不図示のＣＰＵが不図示のメモリに記憶されたコンピュータプログラムを実行することによって図５（Ａ）、（Ｂ）のフローチャートの各ステップの動作が行われる。

先ず、データ生成部２１０の現像部２１１が行う画像信号から画像データを生成する現像処理について、図５（Ａ）を用いて説明する。尚、この現像処理は、現像部２１１が撮像素子１０２から画像信号を受信すると実行される。

ステップＳ５０１で、ＣＰＵは、現像部２１１により、撮像素子１０２から入力された第１の画像信号と第２の画像信号とを合成した合成画像信号を生成する処理を実行させる。第１の画像信号と第２の画像信号を合成することで、射出瞳４０１全域を通過した光束により形成された像に基づく画像信号を得ることができる。

撮像素子１０２の水平方向の画素座標をｕ、垂直方向の画素座標をｖとしたとき、画素（ｕ，ｖ）の合成画像信号Ｉｍ（ｕ，ｖ）は、第１の画像信号Ｉｍ１（ｕ，ｖ）と、第２の画像信号Ｉｍ２（ｕ，ｖ）とを用いて、数式１で表すことができる。

ステップＳ５０２で、ＣＰＵは、現像部２１１により、合成画像信号の欠陥画素の補正処理を実行させる。欠陥画素は、撮像素子１０２において正常な信号出力ができない画素である。先ず、現像部２１１は、不図示の記録部に予め記録された撮像素子１０２の欠陥画素の座標を示す情報を取得する。次に、現像部２１１は、欠陥画素の合成画像信号を、欠陥画素の周りの画素の合成画像信号の中央値で置き換えるメディアンフィルタを用いて生成する。

以上が、現像部２１１による欠陥画素の補正処理の１例である。尚、欠陥画素の別の補正処理方法として、予め用意した欠陥画素の座標情報を用い、欠陥画素の周りの画素の信号値を用いて内挿することで、欠陥画素の信号値を生成する方法を用いても構わない。

ステップＳ５０３で、ＣＰＵは、現像部２１１により、撮像光学系１０１によって生じる画角周辺の光量低減を補正する光量補正処理を合成画像信号に適用させる。光量の補正方法としては、予め用意した画角間の相対的な光量比が一定になるようなゲイン値を、合成画像信号に乗じて補正することができる。例えば、現像部２１１は、撮像素子１０２の中央の画素から周辺の画素に向けて増加する特性を有するゲインを、各画素の合成画像信号に乗じて、光量補正を行う。

ステップＳ５０４で、ＣＰＵは、現像部２１１により、合成画像信号のノイズ低減処理を行わせる。ノイズを低減する方法として、例えばガウシアンフィルタ処理を用いて良い。

ステップＳ５０５で、ＣＰＵは、現像部２１１により、合成画像信号に対してデモザイク処理を行わせ、画素ごとに赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各色信号と輝度信号を有する画像データを生成させる。デモザイク処理の１例としては、色チャンネル毎に、線形補間を用いて画素ごとの色情報を生成する手法を用いて良い。

ステップＳ５０６で、ＣＰＵは、現像部２１１により、所定のガンマ値を用いて階調補正（ガンマ補正処理）を行わせる。階調補正後の画素（ｕ，ｖ）の画像データＩｄｃ（ｕ，ｖ）は、階調補正前の画素（ｕ，ｖ）の画像データＩｄ（ｕ，ｖ）とガンマ値γを用いて数式２で表される。

ガンマ値γは、予め用意した値を用いることができる。ガンマ値γは、画素の位置に応じて決定しても良い。例えば、撮像素子１０２の有効領域を所定の分割数で分割した領域ごとにガンマ値γを変えても良い。

以上が、現像部２１１が実行する現像処理である。尚、現像処理は、本例に限るものではない。例えば、現像部２１１は、ステップＳ５０１～ステップＳ５０６で説明した処理の一部だけを実行しても良い。もしくは、現像部２１１は、カラーマトリクスを用いた色変換処理等を実行してもよく、撮像素子１０２から出力される画像情報を視認するために必要となる処理であればその内容を限定するものではない。

次に、データ生成部２１０の距離データ生成部２１２が行う距離データの生成処理について、図５（Ｂ）を用いて説明する。尚、距離データとは、各画素に対して撮像部１００Ａ～１００Ｄから被写体までの距離に対応する情報を関連付けたデータである。

ステップＳ５１１で、ＣＰＵは、距離データ生成部２１２により、第１の画像信号を用いて第１の輝度画像信号を生成し、第２の画像信号を用いて第２の輝度画像信号を生成する。その際、距離データ生成部２１２は、各画素群３１０の赤画素、緑画素、青画素の画像信号の値を、所定の係数を用いて合成することで輝度画像信号を生成する。尚、距離データ生成部２１２は、線形内挿を用いたデモザイク処理を行った後に、赤・緑・青のチャンネル毎に所定の係数を乗じて合成することで輝度画像信号を生成しても良い。

ステップＳ５１２で、ＣＰＵは、距離データ生成部２１２により、第１の輝度画像信号と第２の輝度画像信号との間の、光量バランスの補正を行わせる。光量バランスの補正は、第１の輝度画像信号と第２の輝度画像信号との少なくとも一方に補正係数を乗算して実行される。

補正係数は、撮像光学系１０１と撮像素子１０２の位置調整後に、均一照明を撮像して得られた第１の輝度画像信号と第２の輝度画像信号との輝度比が一定になるように予め算出され記憶されているものとする。距離データ生成部２１２は、第１の輝度画像信号と第２の輝度画像信号との少なくとも一方に補正係数を乗算して、光量バランス補正がなされた第１の画像信号及び第２の画像信号を生成する。

ステップＳ５１３で、ＣＰＵは、距離データ生成部２１２により、光量バランス補正が適用された第１の輝度画像信号と第２の輝度画像信号とに対して、ノイズ低減処理を行わせる。ノイズ低減処理の具体例としては、距離データ生成部２１２は、空間周波数の高い帯域を抑制するローパスフィルタを各輝度画像信号に適用する処理を行って良い。

もしくは、距離データ生成部２１２は、所定の空間周波数帯域を透過するバンドパスフィルタを各輝度画像信号に適用する処理を行っても良い。この場合、ステップＳ５１２で行う光量バランス補正の補正誤差の影響を低減する効果も得られる。

ステップＳ５１４で、ＣＰＵは、距離データ生成部２１２により、第１の輝度画像信号と第２の輝度画像信号との間の相対的な位置ズレ量である視差量を算出させる。距離データ生成部２１２は、第１の輝度画像信号に対応する第１の輝度画像内に注目点を設定し、注目点を中心とする照合領域を設定する。

次に、距離データ生成部２１２は、第２の輝度画像信号に対応する第２の輝度画像内に参照点を設定し、参照点を中心とする参照領域を設定する。

距離データ生成部２１２は、参照点を順次移動させながら照合領域内に含まれる第１の輝度画像と、参照領域内に含まれる第２の輝度画像間の相関度を算出し、最も相関が高い参照点を対応点とする。距離データ生成部２１２は、注目点と対応点間の相対的な位置のズレ量を、注目点における視差量とする。

距離データ生成部２１２は、注目点を順次移動させながら視差量を算出することで、複数の画素位置における視差量を算出することができる。距離データ生成部２１２は、画素ごとに視差値を示す値を特定し、視差分布を示すデータである視差画像データを生成する。

尚、距離データ生成部２１２が視差量を求めるために用いる相関度の算出方法としては公知の手法を用いることができる。距離データ生成部２１２は、例えば、輝度画像間の正規化相互相関を評価するＮＣＣ（Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ－Ｃｏｒｒｅｌａｔｉｏｎ）と呼ばれる手法を用いることができる。又、距離データ生成部２１２は、相関度として相違度を評価する手法を用いても良い。

距離データ生成部２１２は、例えば、輝度画像間の差の絶対値和を評価するＳＡＤ（Ｓｕｍ Ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）を用いることができる。或いは差の二乗和を評価するＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）を用いることができる。

ステップＳ５１５で、ＣＰＵは、距離データ生成部２１２により、視差画像データにおける各画素の視差量をデフォーカス量に変換して、各画素のデフォーカス量を取得させる。距離データ生成部２１２は、視差画像データにおける各画素の視差量に基づいて、各画素におけるデフォーカス量を示すデフォーカス画像データを生成する。

距離データ生成部２１２は、視差画像データにおける画素（ｕ，ｖ）の視差量ｄ（ｕ，ｖ）と変換係数Ｋ（ｕ，ｖ）とを用いて、画素（ｕ，ｖ）のデフォーカス量ΔＬ（ｕ，ｖ）を数式３から算出する。

撮像光学系１０１は、ヴィネッティング（けられ）により、周辺画角において第１の光束４１１と第２の光束４２１の一部が削られる。そのため、変換係数Ｋ（ｕ，ｖ）は画角（画素の位置）に依存した値となる。

尚、中心画角と周辺画角とで焦点位置が変化する像面湾曲を有する特性を撮像光学系１０１が有する場合、像面湾曲量をＣｆ（ｕ，ｖ）とすると、数式４を用いて視差量ｄ（ｕ，ｖ）をデフォーカス量ΔＬ（ｕ，ｖ）に変換することができる。尚、像面湾曲量Ｃｆ（ｕ，ｖ）は、画角に依存した値となる。

変換係数Ｋ（ｕ，ｖ）と像面湾曲量Ｃｆ（ｕ，ｖ）は、撮像光学系１０１と撮像素子１０２の位置合わせ後に、所定のチャートを撮影して解析するなどして、視差量と物体までの距離値の関係を得ることで算出できる。

ステップＳ５１６で、ＣＰＵは、距離データ生成部２１２により、画素（ｕ，ｖ）のデフォーカス量ΔＬ（ｕ，ｖ）を画素（ｕ，ｖ）における物体までの距離値Ｄ（ｕ，ｖ）への変換し、距離データを生成させる。デフォーカス量ΔＬは、撮像光学系１０１の結像関係を用いて変換することにより、物体までの距離値Ｄを算出することができる。

即ち、撮像光学系１０１の焦点距離をｆ、像側主点から撮像素子１０２までの距離をＩｐｐとしたとき、数式５の結像公式を用いて、デフォーカス量ΔＬ（ｕ，ｖ）を物体までの距離値Ｄ（ｕ，ｖ）に変換することができる。本実施形態では、この画素（ｕ，ｖ）ごとの距離値Ｄ（ｕ，ｖ）を距離データと呼ぶ。

尚、ここまでの説明では、焦点距離ｆと像側主点から撮像素子１０２までの距離Ｉｐｐは画角に寄らず一定値としているが、これに限らない。撮像光学系１０１の結像倍率が画角ごとに大きく変化する場合には、焦点距離ｆや像側主点から撮像素子１０２までの距離Ｉｐｐの少なくとも１つを画角ごとに変わる値としても良い。以上が、距離データ生成部２１２が実行する距離データの生成処理の例である。

次に、信頼度算出部２６０の信頼度算出処理に関して説明する。図５（Ｂ）のステップＳ５１４で説明した視差量の算出処理において、距離データ生成部２１２は、第１の輝度画像信号と第２の輝度画像信号との相関を用いて対応点を探索している。

従って第１の輝度画像信号に含まれるノイズ（例えば、光ショットノイズに起因するノイズ）が多い場合や、照合領域内に含まれる輝度画像信号の信号値の変化が小さい場合、相関度を正しく評価することができない場合がある。このような場合、正しい視差量に対して誤差の大きい視差量を算出してしまう場合がある。視差量の誤差が大きい場合、図５（Ｂ）のステップＳ５１６で生成される距離データの誤差も大きくなる。

信頼度算出部２６０は、視差量の信頼度（視差信頼度）を算出する信頼度算出処理を行う。視差信頼度は、算出された視差量がどの程度誤差を含んでいるかを示す指標である。例えば、照合領域に含まれる信号値の平均値（以下、平均値と呼ぶ）に対する標準偏差の比を、視差信頼度として評価することができる。標準偏差は、照合領域内の信号値の変化（いわゆるコントラスト）が大きい場合に大きくなる。平均値は、画素に入射した光量が多い場合に大きくなる。

尚、画素に入射する光量が多い場合は、光ショットノイズが多くなる。即ち平均値は、ノイズ量と正の相関を有する。以上より、標準偏差に対する平均値の比（標準偏差／平均値）は、コントラストの大きさとノイズ量との比に対応する。即ち、ノイズ量に対してコントラストが十分大きければ、視差量の算出における誤差が小さいと推定できる。

本実施形態では、標準偏差に対する平均値の比を視差信頼度と定義する。視差信頼度が大きいほど、算出された視差量における誤差は小さく、より正確な視差量であるといえる。視差信頼度と距離データは正の相関関係を持つため、距離データの信頼度もこの視差信頼度で表すことができる。

又、信頼度算出部２６０は、複数の撮像部１００Ａ～１００Ｄ夫々の撮像光学系１０１の特性に基づいて視差量の信頼度を算出しても良い。本実施形態における撮像光学系１０１の特性とは、焦点距離であり、信頼度算出部２６０は、焦点距離や長いほど信頼度が高いと判断する。以上が、信頼度算出部２６０による信頼度算出処理の１例である。

次に、図６を用いて仮想視点映像生成装置２００の動作シーケンスについて説明する。図６は、実施形態に係る仮想視点映像生成装置の動作を示すフローチャートである。尚、仮想視点映像生成装置２００内のコンピュータとしての不図示のＣＰＵが不図示のメモリに記憶されたコンピュータプログラムを実行することによって図６のフローチャートの各ステップの動作が行われる。

ステップＳ６０１において、ＣＰＵは、車両１００に設置された複数の撮像部１００Ａ～１００Ｄにより、車両周囲の映像を撮像する。撮像部１００Ａ～１００Ｄの撮像素子１０２は、第１の光電変換部から出力された信号に基づく第１の画像信号と、第２の光電変換部から出力された信号に基づく第２の画像信号を夫々データ生成部２１０Ａ～２１０Ｄに出力する。ここで、ステップＳ６０１は、複数の撮像手段から撮像出力を取得する撮像ステップとして機能している。

尚、第１の光電変換部から第１の画像信号を出力し、その後で第２の光電変換部から画像信号を出力する際に第１の画像信号と第２の画像信号の加算出力（合成出力）を出力させても良い。そして後で上記の合成出力から第１の画像信号を減算することによって第２の画像信号を取得するようにしても良い。

ステップＳ６０２において、ＣＰＵは、データ生成部２１０Ａ～２１０Ｄの現像部２１１により、夫々、撮像部１００Ａ～１００Ｄから出力される第１の画像信号及び第２の画像信号に対して現像処理を行い、夫々の画像データを生成する。ここで、ステップＳ６０２は、複数の撮像手段の撮像出力に基づき複数の画像データを生成する現像ステップとして機能している。現像部２１１は、夫々の画像データをテクスチャマッピング部２２２及び信頼度算出部２６０に出力する。

ステップＳ６０３において、ＣＰＵは、データ生成部２１０Ａ～２１０Ｄの距離データ生成部２１２により、夫々、撮像部１００Ａ～１００Ｄから出力された第１の画像信号及び第２の画像信号を用いて、距離データ生成処理を行う。

ここでステップＳ６０３は、複数の撮像手段が夫々生成する第１画像信号及び第２画像信号に基づき複数の画像データの各画素に対する距離データを生成する距離データ生成ステップとして機能している。距離データ生成部２１２は、この距離データを３Ｄモデル生成部２２１及び信頼度算出部２６０に出力する。

ステップＳ６０４において、ＣＰＵは、３Ｄモデル生成部２２１及びテクスチャマッピング部２２２により、複数の撮像部１００Ａ～１００Ｄの位置及び姿勢に関する情報（以下、撮像視点情報と呼ぶ）を夫々取得する。

本実施形態において、撮像視点情報には、所定の座標系内での撮像部１００Ａ～１００Ｄの位置姿勢情報が含まれ、例えば、撮像装置の位置情報及び光軸方向を示す姿勢情報を含む。又、撮像視点情報には、撮像装置の焦点距離又は主点位置など、撮像装置の画角情報を含めることもできる。これらの撮像視点情報をもとに、公知の手法を用いて、撮像データの各画素と、撮像データ内に存在する被写体の位置とを対応付けることができる。

尚、本実施形態における座標系は、図１に示すように、車両１００の縦方向をｘ軸、横方向をｙ軸、高さ方向をｚ軸と定義し、座標系の原点はｚ軸に沿って見たときの車の中央かつ地表面である点とする。又、座標系は右手座標系とし、車両９０１の進行方向がｘ軸の正方向、車両９０１の左側がｙ軸の正方向、空に向かう方向がｚ軸の正方向とする。以降では、上述した座標系を世界座標系と呼ぶ。しかしながら、座標系や原点の位置はこれに限らず、任意の座標系を設定しても良い。

ステップＳ６０５において、ＣＰＵは、３Ｄモデル生成部２２１により、距離データ生成部２１２から出力される、撮像部１００Ａ～１００Ｄ夫々の画角に対応した複数の距離データを統合して、車両１００周辺の３Ｄモデルを生成する。ここで、複数の距離データ夫々は、各撮像部１００Ａ～１００Ｄからの被写体までの距離を表している。

３Ｄモデル生成部２２１は、ステップＳ６０４で取得した撮像部１００Ａ～１００Ｄの撮像視点情報を利用して、複数の距離データを世界座標系の原点からの距離に変換した距離データ（以下、世界座標系距離データと呼ぶ）を３Ｄモデル生成に使用する。

又、３Ｄモデル生成部２２１は、複数の撮像部１００Ａ～１００Ｄの重複撮像領域（本例では隣り合う２つの撮像部による重複撮像領域）において、複数の撮像部１００Ａ～１００Ｄの夫々のオクルージョンを考慮して３Ｄモデルを生成することができる。本処理について図７を用いて説明する。

図７（Ａ）、（Ｂ）は、撮像部と車両の周辺の立体物の位置関係を示す図であり、図７（Ａ）は車両１００に設置された撮像部１００Ａ～１００Ｄと、車両の周辺の立体物（本例では球体７００及び球体７０１）の位置関係を示す図である。図７（Ｂ）は、この際の撮像部１００Ａの画角７１０Ａと、撮像部１００Ｂの画角７１０Ｂを表す図である。

撮像部１００Ａ及び１００Ｂは互いに重複撮像領域を持つが、重複撮像領域における立体物（球体７００及び球体７０１）は、撮像部１００Ａの画角７１０Ａ及び撮像部１００Ｂの画角７１０Ｂ両方に等しく含まれない。本例では、球体７０１は、撮像部１００Ａの画角７１０Ａには含まれるが、撮像部１００Ｂから見ると球体７００に遮蔽されたオクルージョン領域となり画角７１０Ｂには含まれない。

そのため、３Ｄモデル生成部２２１は、球体７０１を表す３Ｄモデルを撮像部１００Ａの画角に対応する世界座標系距離データに基づいて作成する。同様に、球体７００の黒点領域７０２は、撮像部１００Ｂの画角７１０Ｂには含まれるものの、撮像部１００Ａから見ると、球体７００よって遮蔽されたオクルージョン領域となり画角７１０Ａには含まれない。

従って、球体７００を表す３Ｄモデルのうち撮像部１００Ａのオクルージョン領域の３Ｄモデルは、３Ｄモデル生成部２２１が撮像部１００Ｂに対応する世界座標系距離データに基づいて作成する。同様に、撮像部１００Ｂのオクルージョン領域の３Ｄモデルは、３Ｄモデル生成部２２１が撮像部１００Ａに対応する世界座標系距離データに基づいて生成する。

このように、３Ｄモデル生成部２２１は、複数の撮像手段の重複撮像領域における距離データをもとに、複数の撮像手段のオクルージョン領域を判定し、その結果に基づいて、３Ｄモデルを生成するための距離データを決定する。

尚、複数の撮像部１００Ａ～１００Ｄ夫々の画角にオクルージョンが発生しているか否かの判定は、例えば、重複撮像領域における撮像部１００Ａ及び１００Ｂに夫々対応した世界座標系距離データの差が所定以上か否かで判定しても良い。距離データが一定以上であれば、オクルージョンが発生していると判定する。

若しくは、更に撮像部１００Ａ及び１００Ｂの画像データの画素値の差が一定以上か否かで判定しても良い。画素値の差が一定以上である場合は、互いに異なる被写体を撮影していると判定できるためオクルージョンが発生していると判定する。

以上が、３Ｄモデル生成部２２１による、ステップＳ６０５における、オクルージョンを考慮した３Ｄモデルの生成方法である。

尚、３Ｄモデル生成部２２１は、重複撮像領域において、各撮像部１００Ａ～１００Ｄの画角に上記で説明したオクルージョンが発生していない。従って、複数の撮像部１００Ａ～１００Ｄが撮像できている領域には、信頼度算出部２６０が算出する信頼度を利用して３Ｄモデルを作成しても良い。

その場合の具体例を、撮像部１００Ａ及び１００Ｂの重複撮像領域における３Ｄモデル生成方法について説明する。３Ｄモデル生成部２２１は、重複撮像領域における撮像部１００Ａ及び１００Ｂに対応した２つの世界座標系距離データのうち、信頼度算出部２６０が算出する信頼度が高い世界座標系距離データを選択して３Ｄモデルを作成する。即ち、３Ｄモデル生成部２２１は、信頼度に基づいて３Ｄモデル生成に利用する距離データを決定する。

この信頼度は、前述の通り撮像光学系１０１の特性から求められる値であって良い。即ち、撮像手段の光学系の特性に基づいて距離データの信頼度を判断しても良い。例えば、撮像部１００Ａ及び１００Ｂの撮像光学系１０１の焦点距離ｆは異なるものとする。この場合、信頼度算出部２６０は、焦点距離ｆが長い方の撮像光学系で撮像したデータの方が、信頼度が高いと判定する。即ち、信頼度の判定に用いる光学系の特性は焦点距離を含む。そのため、３Ｄモデル生成部２２１は、重複撮像領域においては焦点距離ｆが長い方の撮像部に対応した世界座標系距離データに基づいて３Ｄモデルを生成する。

又、別の例として、撮像部１００Ａ及び１００Ｂの撮像光学系１０１は、いずれも結像倍率が画角に応じて大きく変化する特性を持ち、焦点距離ｆが画角ごとに変化する特性を有する場合について説明する。この撮像光学系１０１の特性とは、例えば、画角中心は高倍率であり画角周辺になるに従い低倍率になるような光学特性であり、画角周辺になるに従い焦点距離が短くなる光学特性である。

この場合、画角中心に近いほど信頼度算出部２６０が算出する信頼度は高くなる。そのため、３Ｄモデル生成部２２１は、２つの世界座標系距離データのうち、同一被写体が、より画角中心に映っている世界座標系距離データを利用して３Ｄモデルを生成しても良い。

尚、３Ｄモデル生成部２２１は、距離データの信頼度が低い領域の距離値を、画像データの解析結果に基づいて補正しても良い。そのような補正処理の例について図８を用いて説明する。

図８（Ａ）～（Ｃ）は、３Ｄモデル生成部による距離データの補正処理の１例を示す図であり、図８（Ａ）は、３Ｄモデル生成部２２１が画像データに対してインスタンスセグメンテーション等の領域分割処理を実施した結果の画像である。

図８（Ａ）中の模様が同一である領域は、領域分割処理により同一の物体領域であると判断された領域であることを表している。このような領域分割処理により、画像データ中の領域８００が同一物体（本例では人物）の領域であるという解析結果を得ることができる。以下では、この領域８００に焦点を当てて説明する。

図８（Ｂ）は、信頼度算出部２６０が算出する距離データの信頼度を説明するための図である。本例では、図中の模様の付いた領域は、信頼度が所定値以上である領域を表しており、模様の無い領域は信頼度が所定値未満である領域を表している。

つまり、図８（Ｂ）は、人物の領域８００の距離データのうち輪郭部に対応した領域８００Ａの距離データの信頼度が所定値以上であり、輪郭でない領域８００Ｂは距離データの信頼度が所定値未満であることを示している。これは輪郭がない領域やコントラストの低い領域は、図５（Ｂ）における視差量算出時の誤差が大きくなるからである。このように、図８（Ｂ）の例では、距離データに対応する画像データのコントラストに基づいて信頼度を判定している。

尚、図８（Ｂ）中には、図８（Ａ）で示した人物の領域８００の輪郭を実線で示している。３Ｄモデル生成部２２１は、信頼度が所定値未満である、領域８００Ｂの距離データを、同一物体の領域８００のうち信頼度が所定値以上である、領域８００Ａの距離データに基づいて補正する。この補正例を、図８（Ｃ）を用いて説明する。

図８（Ｃ）は、図８（Ｂ）の人物の領域８００の距離データの一部を拡大して表示したものであり、Ｄ（ｕ１，ｖ１）及びＤ（ｕ４、ｖ１）は、領域８００Ａに属する距離データであり、信頼度が所定値以上である。又、Ｄ（ｕ２、ｖ１）、Ｄ（ｕ３、ｖ１）は領域８００Ｂに属する距離データであり、信頼度が所定値未満である。

ここで、３Ｄモデル生成部２２１の、信頼度が所定値未満の距離値Ｄ（ｕ２、ｖ１）、Ｄ（ｕ３、ｖ１）の補正処理について説明する。

先ず、領域分割処理結果を参照して、３Ｄモデル生成部２２１は、Ｄ（ｕ２、ｖ１）、Ｄ（ｕ３、ｖ１）が、何の領域に含まれているかを判断する。本例では、Ｄ（ｕ２、ｖ１）、Ｄ（ｕ３、ｖ１）は、人物の領域８００に含まれると判断される。

次に、３Ｄモデル生成部２２１は、人物の領域に含まれる距離データのうち、Ｄ（ｕ２、ｖ１）、Ｄ（ｕ３、ｖ１）の近傍に存在する、距離データの信頼度が所定値以上の距離データを特定する。本例では、Ｄ（ｕ１，ｖ１）及びＤ（ｕ４、ｖ１）が特定される。

次に、３Ｄモデル生成部２２１は、Ｄ（ｕ２、ｖ１）、Ｄ（ｕ３、ｖ１）の距離データを、同じ人物の領域８００のうち、信頼度所定値以上である、領域８００Ａに存在する距離値Ｄ（ｕ１，ｖ１）及びＤ（ｕ４、ｖ１）で線形内挿し、その結果に置換する。即ち、３Ｄモデル生成部２２１は、信頼度が所定値未満であると判定された物体の所定領域の距離データを、同じ物体中の信頼度が所定値以上である領域の距離データに基づいて補正する。

以上が、３Ｄモデル生成部２２１により、画像データの解析結果に基づいて、距離データの信頼度が低い所定の物体領域の距離データを、距離データの信頼度が高い同じ物体領域の距離データで補正する例である。３Ｄモデル生成部２２１は、この補正した距離データを用いて３Ｄモデル生成処理を行う。尚、補正処理の方法はこれに限らない。

他の例としては、３Ｄモデル生成部２２１は、所定の物体領域の、信頼度の低い距離データが、その周辺の同一物体領域の、信頼度の高い距離データの下限値以上かつ上限値以下の範囲内であるか否かを判定する。この範囲外である場合は、３Ｄモデル生成部２２１は、信頼度の低い距離データを前記範囲内の値に置換しても良い。

尚、一般的に、視差画像を用いた測距では、測距対象が遠方になると視差がほぼなくなるため、測距精度がばらつく。そのため、３Ｄモデル生成部２２１は、車両１００から所定距離以上離れたエリア関しては、予め不図示の記録部に記録されている別の３Ｄモデルを利用して３Ｄモデルを作成しても良い。

本処理について図９を用いて説明する。図９は３Ｄモデル生成部２２１が生成する３Ｄモデルの１例を表す図である。立体物モデル９０２は、車両１００の周辺に存在する立体物（本例では人物）を表す３Ｄモデルである。接地面モデル９０３は、車両１００の接地面を表す３Ｄモデルである。曲面モデル９０４は、接地面モデル９０３の平面から世界座標系のｚ軸の正方向に伸び、かつ車両１００の周囲を取り囲む３Ｄモデルである。３Ｄモデル生成部２２１は、図９に示すような、車両周辺の立体物モデル９０２及び車両が存在する路面を表す接地面モデル９０３と、曲面モデル９０４とで構成される３Ｄモデルを生成する。

車両１００から所定の距離９０５以内に存在する立体物モデル９０２及び接地面モデル９０３は、いずれも３Ｄモデル生成部２２１が世界座標系距離データに基づいて作成する。一方、曲面モデル９０４は予め不図示の記録部に記録されているモデルである。

車両１００から曲面モデル９０４の開始点までの距離９０５は、撮像部１００Ａ～１００Ｄの撮像光学系１０１の特性に基づいて予め決定して良い。或いは、３Ｄモデル生成部２２１が、世界座標系距離データ中で、ある所定以上の距離を表すデータの信頼度の平均値が所定値より低いと判断した場合に、その距離を曲面モデル９０４の開始点までの距離９０５と設定しても良い。

尚、曲面モデル９０４は上述したモデルに限らず、世界座標系のｚ軸方向に長さを持つ、つまり、高さが存在する３Ｄモデルであれば良い。高さが存在する３Ｄモデルを定義する理由は、車両１００から距離９０５より遠方に存在する人や建築物などの立体物に対して、仮想視点映像上での歪みや倒れを抑制するためである。尚、他の３Ｄモデルの例としては、お椀状の球面モデルであっても良い。

以上が、３Ｄモデル生成部２２１による、車両から一定距離以上離れたエリア関する３Ｄモデルの生成処理の１例の説明である。本実施形態のような処理により、３Ｄモデルのうち、世界座標系距離データの精度がばらつく可能性のある車両１００から所定距離以上離れたエリアの形状が不自然に歪むことを抑制できる。

以上が、本実施形態における、３Ｄモデル生成部２２１による３Ｄモデル生成処理の具体例である。３Ｄモデル生成部２２１は、生成した３Ｄモデルをテクスチャマッピング部２２２に出力する。

図６に戻り、ステップＳ６０６において、ＣＰＵは、テクスチャマッピング部２２２により、現像部２１１から取得した画像データと撮像視点情報、及び３Ｄモデル生成部２２１から取得した３Ｄモデルとに基づき、テクスチャマッピング処理を行う。テクスチャマッピング処理とは、３Ｄモデルと画像データの位置的な対応付けを行うことによりテクスチャ付き３Ｄモデルを生成する処理である。以下では、テクスチャマッピング処理について説明する。

テクスチャマッピング部２２２は、現像部２１１から受信した画像データをテクスチャマッピングに使用するテクスチャ画像として使用する。具体例には、テクスチャマッピング部２２２は、３Ｄモデルの生成に利用された距離データに対応する画像データの画素値を、３Ｄモデルの該当箇所のテクスチャとして決定する。

尚、撮像部１００Ａ～１００Ｄの重複撮像領域において、３Ｄモデルを、複数の距離データの平均などにより生成した場合は、それに対応する複数の画像データの画素値をブレンドしてテクスチャとして決定しても良い。

又、テクスチャマッピング部２２２は、撮像部１０１Ａ～１０１Ｄのすべての画角に含まれないオクルージョン領域に張り付けるテクスチャの画素値を予め決定しておく。本実施形態では、オクルージョン領域のテクスチャを黒（ｒ，ｇ，ｂ）＝（０，０，０）、即ちＲ、Ｇ，Ｂ信号がゼロのテクスチャと定める。尚、オクルージョン領域用に用意する画素は黒以外でも良く、その場合は設定する画素値を所望の色の画素値とすれば良い。

以上の処理を全ての３Ｄモデルの画素に対して行うことで、テクスチャをマッピングした３Ｄモデルが生成される。但し、上述したテクスチャのマッピング処理は１例にすぎず、多視点画像データから３Ｄモデルにテクスチャをマッピング可能な任意の方法を用いて良い。

例えば、前述の曲面モデル９０４が三角形ポリゴンの集合体で構成されている場合、テクスチャマッピング部２２２は、公知の方法を用いて、各ポリゴンの頂点とテクスチャの対応付けをとることでテクスチャマッピングを行うようにすれば良い。

テクスチャマッピング部２２２は、テクスチャをマッピングした３Ｄモデルをレンダリング部２２３に出力する。

ステップＳ６０７において、ＣＰＵは、仮想視点決定部２３１により、通信部２３０から受信した情報に基づいて仮想視点情報を決定し、レンダリング部２２３に出力する。

仮想視点情報には、撮像視点情報と同様、所定の座標系内での仮想視点の位置情報が含まれ、例えば、仮想視点の位置情報及び光軸方向を示す姿勢情報を含む。又、仮想視点情報には、仮想視点からの画角情報、仮想視点画像の解像度情報等を含む。更に、仮想視点情報は、歪曲パラメータ及び撮像パラメータ等を含むこともできる。本実施形態では、所定の座標系とは前述した世界座標系と同一とする。

又、通信部２３０から受信する情報は、例えば、車両１００の乗員が不図示のリモコンやタッチパネル式ディスプレイ等の操作部を介して入力した、仮想視点を指示する情報であっても良い。この場合、仮想視点決定部２３１は、指示に従って仮想視点情報を決定する。

又、通信部２３０から受信する情報の別の例としては、車両１００のウインカーの制御情報などの、車両１００の進行方向の変更に関する情報であっても良い。この場合、仮想視点決定部２３１は、進行方向に応じた仮想視点情報を決定する。

ステップＳ６０８において、ＣＰＵは、レンダリング部２２３により、仮想視点決定部２３１から取得した仮想視点情報に基づいて、テクスチャマッピング部２２２から取得したテクスチャ付き３Ｄモデルにレンダリング処理を行い、仮想視点映像を生成する。本レンダリング処理によって、テクスチャ付き３Ｄモデルを仮想視点位置から見た映像が生成される。

尚、テクスチャ付き３Ｄモデルを仮想視点位置から見た映像をレンダリングする方法は公知であり、任意の手法を用いて良いので説明は省略する。レンダリング部２２３は、レンダリングした仮想視点画像を映像送信部２４０及び表示部２５０に出力する。

ステップＳ６０９において、ＣＰＵは、表示部２５０により、受信した仮想視点映像を表示し、ステップＳ６１０にて、ＣＰＵは、映像送信部２４０により、受信した仮想視点映像を車両１００の外部に送信する。ここでステップＳ６０５～ステップＳ６０９は複数の画像データと複数の画像データの各画素に対する距離データとに基づいて所定の仮想視点から見た仮想視点映像を生成する映像生成ステップとして機能している。

尚、本実施形態では、ステップＳ６０５において、３Ｄモデル生成部２２１は、自身に入力される全ての距離データを使用して３Ｄモデルを利用している。本実施形態における全ての距離データとは、距離データ生成部２１２から得られる撮像部１００Ａ～１００Ｄの撮像データであり、車両１００の全周囲の距離データである。

本実施形態では、このように生成された車両１００の全周囲の３Ｄモデルを記録しておくことで、いつでも仮想視点を変更して車両１００の周囲を確認することができる。従って、車両１００を運転していない場合でも、車両１００周辺の仮想視点映像を確認することができ、ドライブレコーダー等の機能を向上することができる。

但し、３Ｄモデル生成部２２１は、３Ｄモデル生成時に、仮想視点決定部２３１から得られる仮想視点情報を利用して、仮想視点映像生成に必要な距離データのみを利用して３Ｄモデルを生成しても良い。例えば、仮想視点情報が車両１００の左前方の領域を示している場合、３Ｄモデル生成部２２１は、仮想視点生成に撮像部１００Ａ及び１００Ｂの画像情報をもとに得られる距離データのみを利用して３Ｄモデルを生成しても良い。

即ち、３Ｄモデル生成部２２１は、仮想視点の位置に基づいて、複数の距離データのうち３Ｄモデル生成に利用する距離データを選択しても良い。それにより、表示映像生成部２２０による仮想視点映像の処理負荷を軽減することができ、駐車支援や遠隔操縦など、リアルタイムに車両１００周辺の仮想視点映像を視聴する場合に好適である。

以上説明したように、本実施形態における仮想視点映像生成装置２００によれば、３Ｄモデルとテクスチャの位置的及び時間的なずれを軽減することができる。更に物体形状の再現性が高い仮想視点映像を、従来よりも小型の装置構成にて実現することが可能である。

尚、上述の実施形態においては車両１００などの移動体に画像処理装置としての仮想視点映像生成装置２００を搭載した例について説明した。しかし、本実施形態の移動体は、自動車などの車両に限らず、列車、船舶、飛行機、ロボット、ドローンなどの移動をする移動体であればどのようなものであってもよい。また、本実施形態の画像処理装置はそれらの移動体に搭載されるものを含む。尚、本実施形態の画像処理装置としての仮想視点映像生成装置２００は、移動体とは離れた位置に配置されて移動体をリモートでコントロールするための外部装置を含む。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明は上記実施形態に限定されるものではなく、本発明の趣旨に基づき種々の変形が可能であり、それらを本発明の範囲から除外するものではない。

例えば上記の実施形態では撮像面位相差方式（撮像面位相差測距方式又は像面位相差検出方式）の１つのイメージセンサからなる撮像素子を用いた例について説明したが、撮像素子は２つのイメージセンサからなるステレオカメラとしても良い。即ち、光学系及び前記光学系を介して入射された光学像から所定の視差を有する第１画像信号と第２画像信号とを生成する撮像素子は１つ又は２つのイメージセンサを含むものであれば良い。

本実施形態の開示は、以下の構成、方法、及びコンピュータプログラムを含む。

（構成１）光学系及び前記光学系を介して入射された光学像から所定の視差を有する第１画像信号と第２画像信号とを生成する撮像素子を夫々有する複数の撮像手段と、複数の前記撮像手段の出力に基づき複数の画像データを生成する現像手段と、複数の前記撮像手段が夫々生成する前記第１画像信号及び前記第２画像信号に基づき複数の前記画像データの各画素に対する距離データを生成する距離データ生成手段と、複数の前記画像データと、複数の前記画像データの各画素に対する前記距離データとに基づいて所定の仮想視点から見た仮想視点映像を生成する映像生成手段と、を有することを特徴とする画像処理装置。

（構成２）前記映像生成手段は、前記距離データに基づいて３Ｄモデルを生成する３Ｄモデル生成手段と、前記３Ｄモデルに対して前記画像データをマッピングしたテクスチャ付き３Ｄモデルを生成するテクスチャマッピング手段と、前記テクスチャ付き３Ｄモデルを任意視点位置である前記仮想視点から見た画像である仮想視点画像を生成するレンダリング手段を有することを特徴とする構成１に記載の画像処理装置。

（構成３）複数の前記撮像手段は、移動体の周辺を撮像するように互いに離間して配置され、前記レンダリング手段は、前記移動体の前記周辺の前記仮想視点映像を作成することを特徴とする構成２に記載の画像処理装置。

（構成４）前記３Ｄモデル生成手段は、複数の前記撮像手段の重複撮像領域における前記距離データをもとに、複数の前記撮像手段のオクルージョン領域を判定した結果に基づいて、前記３Ｄモデルを生成するための前記距離データを決定することを特徴とする構成２又は３に記載の画像処理装置。

（構成５）前記距離データの信頼度を判定する信頼度判定手段を更に備え、前記３Ｄモデル生成手段は、前記信頼度に基づいて３Ｄモデル生成に利用する前記距離データを決定することを特徴とする構成２～４の何れか１つに記載の画像処理装置。

（構成６）前記信頼度判定手段は、前記撮像手段の前記光学系の特性に基づいて前記距離データの前記信頼度を判断することを特徴とする構成５に記載の画像処理装置。

（構成７）前記光学系の特性は、焦点距離を含むことを特徴とする構成６に記載の画像処理装置。

（構成８）前記信頼度判定手段は、前記距離データに対応する前記画像データのコントラストに基づいて前記信頼度を判定することを特徴とする構成５に記載の画像処理装置。

（構成９）前記３Ｄモデル生成手段は、前記信頼度判定手段により前記信頼度が所定値未満であると判定された物体の所定領域の前記距離データを、同じ物体中の前記信頼度が前記所定値以上である領域の前記距離データに基づいて補正することを特徴とする構成５～８のいずれか１つに記載の画像処理装置。

（構成１０）前記３Ｄモデル生成手段は、前記仮想視点の位置に基づいて、複数の前記距離データのうち３Ｄモデル生成に利用する前記距離データを選択することを特徴とする構成２～９の何れか１つに記載の画像処理装置。

（構成１１）光学系及び前記光学系を介して入射された光学像から所定の視差を有する第１画像信号と第２画像信号とを生成する撮像素子を夫々有する複数の撮像手段と、複数の前記撮像手段の出力に基づき複数の画像データを生成する現像手段と、複数の前記撮像手段が夫々生成する前記第１画像信号及び前記第２画像信号に基づき複数の前記画像データの各画素に対する距離データを生成する距離データ生成手段と、複数の前記画像データと、複数の前記画像データの各画素に対する前記距離データとに基づいて所定の仮想視点から見た仮想視点映像を生成する映像生成手段と、前記映像生成手段により生成された前記仮想視点映像を表示する表示手段と、を有することを特徴とする移動体。

（構成１２）前記撮像素子は、１つ又は２つのイメージセンサを含むことを特徴とする構成１～１１のいずれか１つに記載の画像処理装置。

（方法１）光学系及び前記光学系を介して入射された光学像から所定の視差を有する第１画像信号と第２画像信号とを生成する撮像素子を夫々備えた複数の撮像手段から撮像出力を取得する撮像ステップと、複数の前記撮像手段の前記撮像出力に基づき複数の画像データを生成する現像ステップと、複数の前記撮像手段が夫々生成する前記第１画像信号及び前記第２画像信号に基づき複数の前記画像データの各画素に対する距離データを生成する距離データ生成ステップと、複数の前記画像データと、複数の前記画像データの各画素に対する前記距離データとに基づいて所定の仮想視点から見た仮想視点映像を生成する映像生成ステップと、を有することを特徴とする画像処理方法。

（プログラム１）構成１～１１のいずれか１つに記載の画像処理装置又は構成１２に記載の移動体の各手段をコンピュータで制御するためのコンピュータプログラム。

尚、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムコード（制御プログラム）を記録した記憶媒体を、システムあるいは装置に供給することによって実現してもよい。そして、そのシステムあるいは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたコンピュータ読取可能なプログラムコードを読み出し実行することによっても達成される。
その場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

１００：車両
１００：撮像部
１０１：撮像光学系
１０２：撮像素子
２１０：データ生成部
２１１：現像部
２１２：距離データ生成部
２２０：表示映像生成部
２２１：３Ｄモデル生成部
２２２：テクスチャマッピング部
２２３：レンダリング部
２３０：通信部
２３１：仮想視点決定部
２４０：映像送信部
２５０：表示部
２６０：信頼度算出部
２００：仮想視点映像生成装置

Claims (14)

1. 光学系及び前記光学系を介して入射された光学像から所定の視差を有する第１画像信号と第２画像信号とを生成する撮像素子を夫々有する複数の撮像手段と、
   複数の前記撮像手段の出力に基づき複数の画像データを生成する現像手段と、
   複数の前記撮像手段が夫々生成する前記第１画像信号及び前記第２画像信号に基づき複数の前記画像データの各画素に対する距離データを生成する距離データ生成手段と、
   複数の前記画像データと、複数の前記画像データの各画素に対する前記距離データとに基づいて所定の仮想視点から見た仮想視点映像を生成する映像生成手段と、を有することを特徴とする画像処理装置。
2. 前記映像生成手段は、
   前記距離データに基づいて３Ｄモデルを生成する３Ｄモデル生成手段と、
   前記３Ｄモデルに対して前記画像データをマッピングしたテクスチャ付き３Ｄモデルを生成するテクスチャマッピング手段と、
   前記テクスチャ付き３Ｄモデルを任意視点位置である前記仮想視点から見た画像である仮想視点画像を生成するレンダリング手段を有することを特徴とする請求項１に記載の画像処理装置。
3. 複数の前記撮像手段は、移動体の周辺を撮像するように互いに離間して配置され、
   前記レンダリング手段は、前記移動体の前記周辺の前記仮想視点映像を作成することを特徴とする請求項２に記載の画像処理装置。
4. 前記３Ｄモデル生成手段は、複数の前記撮像手段の重複撮像領域における前記距離データをもとに、複数の前記撮像手段のオクルージョン領域を判定した結果に基づいて、前記３Ｄモデルを生成するための前記距離データを決定することを特徴とする請求項２に記載の画像処理装置。
5. 前記距離データの信頼度を判定する信頼度判定手段を更に備え、
   前記３Ｄモデル生成手段は、前記信頼度に基づいて３Ｄモデル生成に利用する前記距離データを決定することを特徴とする請求項２に記載の画像処理装置。
6. 前記信頼度判定手段は、
   前記撮像手段の前記光学系の特性に基づいて前記距離データの前記信頼度を判断することを特徴とする請求項５に記載の画像処理装置。
7. 前記光学系の特性は、焦点距離を含むことを特徴とする請求項６に記載の画像処理装置。
8. 前記信頼度判定手段は、
   前記距離データに対応する前記画像データのコントラストに基づいて前記信頼度を判定することを特徴とする請求項５に記載の画像処理装置。
9. 前記３Ｄモデル生成手段は、
   前記信頼度判定手段により前記信頼度が所定値未満であると判定された物体の所定領域の前記距離データを、同じ物体中の前記信頼度が前記所定値以上である領域の前記距離データに基づいて補正することを特徴とする請求項８に記載の画像処理装置。
10. 前記３Ｄモデル生成手段は、
    前記仮想視点の位置に基づいて、複数の前記距離データのうち３Ｄモデル生成に利用する前記距離データを選択することを特徴とする請求項２に記載の画像処理装置。
11. 前記撮像素子は、１つ又は２つのイメージセンサを含むことを特徴とする請求項１に記載の画像処理装置。
12. 光学系及び前記光学系を介して入射された光学像から所定の視差を有する第１画像信号と第２画像信号とを生成する撮像素子を夫々有する複数の撮像手段と、
    複数の前記撮像手段の出力に基づき複数の画像データを生成する現像手段と、
    複数の前記撮像手段が夫々生成する前記第１画像信号及び前記第２画像信号に基づき複数の前記画像データの各画素に対する距離データを生成する距離データ生成手段と、
    複数の前記画像データと、複数の前記画像データの各画素に対する前記距離データとに基づいて所定の仮想視点から見た仮想視点映像を生成する映像生成手段と、
    前記映像生成手段により生成された前記仮想視点映像を表示する表示手段と、を有することを特徴とする移動体。
13. 光学系及び前記光学系を介して入射された光学像から所定の視差を有する第１画像信号と第２画像信号とを生成する撮像素子を夫々備えた複数の撮像手段から撮像出力を取得する撮像ステップと、
    複数の前記撮像手段の前記撮像出力に基づき複数の画像データを生成する現像ステップと、
    複数の前記撮像手段が夫々生成する前記第１画像信号及び前記第２画像信号に基づき複数の前記画像データの各画素に対する距離データを生成する距離データ生成ステップと、
    複数の前記画像データと、複数の前記画像データの各画素に対する前記距離データとに基づいて所定の仮想視点から見た仮想視点映像を生成する映像生成ステップと、を有することを特徴とする画像処理方法。
14. 請求項１～１１のいずれか１項に記載の画像処理装置又は請求項１２に記載の移動体の各手段をコンピュータで制御するためのコンピュータプログラム。
    

Images