JP2005242606A - 画像生成装置、画像生成プログラム、及び画像生成方法 - Google Patents

Abstract

【課題】 本発明では、仮想視点画像をユーザの利便性を考慮して表示させる画像生成装置を提供する。
【解決手段】 １または複数のカメラからの入力画像を３次元空間の予め決められた空間モデルにマッピングする空間再構成手段と、前記空間再構成手段によってマッピングされた空間データを参照して、前記３次元空間における任意の仮想視点から見た画像である仮想視点画像を生成する視点変換手段と、それぞれ相互に異なった視点から見た複数の前記仮想視点画像を表示することを制御する表示制御手段と、を備える画像生成装置を用いることにより、上記の課題の解決を図る。
【選択図】 図１

Description

本発明は、１台乃至数台のカメラで撮影された複数枚の画像について、画像を互いに独立して表示するのではなく、前記１台乃至数台のカメラで撮影しているエリアの全体の様子が直感的に分かるように、一枚に合成した画像を表示する装置および方法に関し、たとえば、店舗におけるモニタ装置、あるいは車両運転の際の安全確認の補助としての車両周囲モニタ装置等に応用して好適な技術に関する。

近年、複数のカメラで撮影した画像を見やすく表示する画像生成装置が開示されている（例えば、特許文献１。）。この特許文献１では、複数のカメラで撮影した領域（例えば、車両近辺）の画像を連続的な１枚の画像として合成し、その合成した画像を表示させる画像生成装置を開示している。

また、特許文献１では、予め適当に設定した空間モデル、もしくは、障害物検知手段によって検知された車両周囲の障害物までの距離に応じて設定される空間モデルが、空間モデル作成手段によって作成される。画像入力手段により車両に設置されたカメラから入力された車両周囲の画像は、マッピング手段によって前記空間モデルにマッピングされる。つづいて、視点変換手段にて決められた視点から見た一枚の画像をマッピングされた画像から合成し、表示手段にて表示する。

このようにすることで、車両に設置された装置では、車両の全周囲にわたって車両近辺にどのような物体が存在するかを出来るだけ現実に近いように分かり易く一枚の画像として合成し、運転者にその画像を提供することができる。また、この際、視点変換手段により、運転者の所望の視点からの画像を表示させることが可能である。
特許第３２８６３０６号公報 特開平０５−２６５５４７号公報 特開平０６−２６６８２８号公報

ところが、特許文献１では、複数のカメラで撮影した領域（例えば、車両近辺）の画像を連続的な１枚の画像として合成し、その合成した画像を仮想の３次元空間モデルにマッピングして、そのマッピングしたデータを仮想的に３次元上で視点を変えた画像（仮想視点画像）をどのようにして生成するかに主題をおいた技術であり、その表示の方法や表示形態等についてユーザインターフェースにおける利便性を向上させるということについては十分に具体的な提案をするものではない。

上記の課題に鑑み、本発明では、仮想視点画像をユーザの利便性を考慮して表示させる画像生成装置を提供する。

上記課題は、特許請求の範囲の請求項１に記載の発明によれば、１または複数のカメラからの入力画像を３次元空間の予め決められた空間モデルにマッピングする空間再構成手段と、前記空間再構成手段によってマッピングされた空間データを参照して、前記３次元空間における任意の仮想視点から見た画像である仮想視点画像を生成する視点変換手段と、それぞれ相互に異なった視点から見た複数の前記仮想視点画像を表示することを制御する表示制御手段と、を備えることを特徴とする画像生成装置を提供することによって達成できる。

このように構成することによって、仮想視点画像を複数表示させることができる。
上記課題は、特許請求の範囲の請求項２に記載の発明によれば、前記表示制御手段は、前記複数の仮想視点画像を重畳して表示させることを特徴とする請求項１に記載の画像生成装置を提供することによって達成できる。

このように構成することによって、複数の仮想視点画像を重畳して表示させることができる。
上記課題は、特許請求の範囲の請求項３に記載の発明によれば、前記表示制御手段は、前記仮想視点画像相互間で画角が重なる部分を重畳させて連続した前記仮想視点画像として表示させることを特徴とする請求項１に記載の画像生成装置を提供することによって達成できる。

このように構成することによって、画角が重なる部分を重畳させて連続した１枚の仮想視点画像を表示させることができる。
上記課題は、特許請求の範囲の請求項４に記載の発明によれば、前記表示制御手段は、前記複数の仮想視点画像を並列して表示させることを特徴とする請求項１に記載の画像生成装置を提供することによって達成できる。

このように構成することによって、複数の仮想視点画像を並列して表示させることができる。
上記課題は、特許請求の範囲の請求項５に記載の発明によれば、前記画像生成装置は、車両に搭載されており、前記車両の状態または走行状況に基づいて、前記表示制御手段により前記複数の仮想視点画像を重畳または並列して表示される表示形態を選択する表示形態選択手段を、さらに備えることを特徴とする請求項１に記載の画像生成装置を提供することによって達成できる。

このように構成することによって、車両の走行状態等に応じて、仮想視点画像の表示形態を選択することができる。
上記課題は、特許請求の範囲の請求項６に記載の発明によれば、前記車両の状態または走行状況に基づいて、画角、視点、ズーム、フォーカス、露出、もしくはシャッタースピード、またはこれらの組み合わせを撮影条件として撮影を行うことにより取得した前記仮想視点画像を表示することを特徴とする請求項５に記載の画像生成装置を提供することによって達成できる。

このように構成することによって、車両の走行状態等とカメラの設定条件等に応じた仮想視点画像を表示することができる。
上記課題は、特許請求の範囲の請求項７に記載の発明によれば、車両に搭載された１または複数のカメラからの入力画像を３次元空間の予め決められた空間モデルにマッピングする空間再構成手段と、前記空間再構成手段によってマッピングされた空間データを参照して前記３次元空間における任意の仮想視点から見た画像である仮想視点画像を生成する視点変換手段と、それぞれ互いに異なった視点から見た複数の前記仮想視点画像を表示することを制御する表示制御手段と、前記車両の状態に応じて、前記表示制御手段による表示形態を選択する表示形態選択手段と、を備えることを特徴とする画像生成装置を提供することによって達成できる。

このように構成することによって、車両の状態に応じて仮想視点画像の表示形態等を選択（変更）することができる。
上記課題は、特許請求の範囲の請求項８に記載の発明によれば、前記表示形態選択手段は、前記車両の状態として、当該車両の走行時の舵角、速度、加速度、変速機における変速比、ワイパーの挙動、照明装置の動作状況、音響装置の動作状況、ウィンドウその他の汚れの状況、当該車両が検出している部位に係る温度および／または湿度、潤滑油の状態、乗車人数、乗車者の着座位置、貨物の積載状況、窓乃至ドアの開閉状態の各状態のうちの一以上の状態を認識可能になされ、当該認識に基づいて前記表示制御手段による表示形態を選択するように構成されたものであることを特徴とする請求項７に記載の画像生成装置を提供することによって達成できる。

このように構成することによって、車両の各部分の状態に応じて仮想視点画像の表示形態等を選択（変更）することができる。
上記課題は、特許請求の範囲の請求項９に記載の発明によれば、車両に搭載された1または複数のカメラからの入力画像を３次元空間の予め決められた空間モデルにマッピングする空間再構成手段と、前記空間再構成手段によってマッピングされた空間データを参照して前記３次元空間における任意の仮想視点から見た画像である仮想視点画換を生成する視点変換手段と、それぞれ互いに異なった視点から見た複数の前記仮想視点画像を表示することを制御する表示制御手段と、前記車両に係る動作状況に応じて、前記表示制御手段による表示形態を選択する表示形態選択手段と、を備えることを特徴とする画像生成装置を提供することによって達成できる。

このように構成することによって、車両の動作状況によって、仮想視点画像の表示形態を選択（変更）することができる。
上記課題は、特許請求の範囲の請求項１０に記載の発明によれば、前記表示形態選択手段は、前記車両に係る動作状況として、当該車両の右折モード、左折モード、発進時周囲監視モード、車内監視モード、後方監視モード、雨天走行モード、縦列駐車モード、車庫入れモードの各動作状況のうちの何れの動作状態にあるかを弁別可能になされ、当該弁別に基づいて前記表示制御手段による表示形態を選択するように構成されたものであることを特徴とする請求項９に記載の画像生成装置を提供することによって達成できる。

このように構成することによって、車両の動作状況や車外環境によって、仮想視点画像の表示形態を選択（変更）することができる。
上記課題は、特許請求の範囲の請求項１１に記載の発明によれば、車両に搭載された１または複数のカメラからの入力画像を３次元空間の予め決められた空間モデルにマッピングする空間再構成手段と、前記空間再構成手段によってマッピングされた空間データを参照して前記３次元空間における任意の仮想視点から見た画像である仮想視点画像を生成する視点変換手段と、それぞれ互いに異なった視点から見た複数の前記仮想視点画像を表示することを制御する表示制御手段と、操作者による操作状況に応じて、前記表示制御手段による表示形態を選択する表示形態選択手段と、を備えることを特徴とする画像生成装置を提供することによって達成できる。

このように構成することによって、運転者の操作状況に応じて、仮想視点画像の表示形態を変更することができる。
上記課題は、特許請求の範囲の請求項１２に記載の発明によれば、前記表示形態選択手段は、当該車両に係る所定の操作部への操作に基づいて当該操作状況を弁別し、該弁別に基づいて前記表示制御手段による表示形態を選択するように構成されたものであることを特徴とする請求項１１に記載の画像生成装置を提供することによって達成できる。

このように構成することによって、操作部により表示形態を選択することができる。
上記課題は、特許請求の範囲の請求項１３に記載の発明によれば、前記表示形態選択手段は、当該車両に係る状況に応じて所定の各操作に関する配列が変化するようになされた操作部への操作に基づいて当該操作状況を弁別し、該弁別に基づいて前記表示制御手段による表示形態を選択するように構成されたものであることを特徴とする請求項１１に記載の画像生成装置を提供することによって達成できる。

このように構成することによって、車両の動作に応じて、表示形態を選択する操作部の配列を変更することができる。
上記課題は、特許請求の範囲の請求項１４に記載の発明によれば、前記表示形態選択手段は、操作状況の履歴に対して学習する学習機能を備えた操作部への操作に基づいて当該操作状況を弁別し、該弁別に基づいて前記表示制御手段による表示形態を選択するように構成されたものであることを特徴とする請求項１１に記載の画像生成装置を提供することによって達成できる。

このように構成することによって、操作の履歴情報に基づいて表示形態を選択する操作部の配列を変更することができる。
上記課題は、特許請求の範囲の請求項１５に記載の発明によれば、１または複数のカメラからの入力画像を３次元空間の予め決められた空間モデルにマッピングする空間再構成手段と、前記空間再構成手段によってマッピングされた空間データを参照して、前記３次元空間における任意の仮想視点から見た画像である仮想視点画像を生成する視点変換手段と、前記仮想視点画像に撮影されている同種の物体毎に色分けする色分け手段と、前記色分け手段にて変換された画像を表示する表示制御手段と、を備えることを特徴とする画像生成装置を提供することによって達成できる。

このように構成することによって、仮想視点画像内の物体の種類毎に色分けをすることができる。
上記課題は、特許請求の範囲の請求項１６に記載の発明によれば、前記画像生成装置は、さらに、前記仮想視点画像として生成された画像における同種の物体毎に色分けする色分け手段を備えることを特徴とする請求項１に記載の画像生成装置を提供することによって達成できる。

このように構成することによって、仮想視点画像内の物体の種類毎に色分けをすることができる。
上記課題は、特許請求の範囲の請求項１７に記載の発明によれば、前記空間モデルは、平面または曲面を組み合わせて形成されたものであり、前記空間モデルに投影される画像は単純化されることを特徴とする請求項１、７、９、１１、又は１５に記載の画像生成装置を提供することによって達成できる。

このように構成することによって、仮想視点画像内の物体等の単純化をすることができる。
上記課題は、特許請求の範囲の請求項１８に記載の発明によれば、前記表示手段は、近接する被写体の前記仮想視点画像を表示させる場合、該被写体を含む広角の前記仮想視点画像と、該被写体の拡大された前記仮想視点画像とを表示させることを特徴とする請求項１、７、９、１１、又は１５に記載の画像生成装置を提供することによって達成できる。

このように構成することによって、拡大された仮想視点画像とともに広角の仮想視点画像を表示することができる。
上記課題は、特許請求の範囲の請求項１９に記載の発明によれば、１または複数のカメラからの入力画像を３次元空間の予め決められた空間モデルにマッピングする空間再構成手段と、前記空間再構成手段によってマッピングされた空間データを参照して、前記３次元空間における任意の仮想視点から見た画像である仮想視点画像を生成する視点変換手段と、前記視点変換手段にて変換された画像を表示する表示制御手段と、を備え、前記視点変換手段は、ユーザの固有の情報またはユーザの状態に関する情報であるユーザ情報に基づいて前記仮想視点画像を生成することを特徴とする画像生成装置を提供することによって達成できる。

このように構成することによって、運転者の固有の情報または運転者の状態に合った仮想視点画像を当該運転者に提供することができる。
上記課題は、特許請求の範囲の請求項２０に記載の発明によれば、前記視点変換手段は、前記ユーザ情報としての該ユーザの視点に関する情報に基づいて前記仮想視点画像を生成することを特徴とする請求項１９に記載の画像生成装置を提供することによって達成できる。

このように構成することによって、各運転者の視点に合った仮想視点画像を当該運転者に提供することができる。
上記課題は、特許請求の範囲の請求項２１に記載の発明によれば、前記視点変換手段は、前記ユーザ情報としての該ユーザの視野に対応した画角に関する情報に基づいて前記仮想視点画像を生成することを特徴とする請求項１９に記載の画像生成装置を提供することによって達成できる。

このように構成することによって、各運転者の画角に合った仮想視点画像を当該運転者に提供することができる。
上記課題は、特許請求の範囲の請求項２２に記載の発明によれば、前記仮想視点画像は、カーナビゲーションシステムの表示装置に表示されることを特徴とする請求項１に記載の画像生成装置を提供することによって達成できる。

このように構成することによって、カーナビゲーションシステムを利用しながら、仮想視点画像を見ることができる。
上記課題は、特許請求の範囲の請求項２３に記載の発明によれば、１または複数のカメラからの入力画像を３次元空間の予め決められた空間モデルにマッピングする空間再構成処理と、前記空間再構成処理によってマッピングされた空間データを参照して、前記３次元空間における任意の仮想視点から見た画像である仮想視点画像を生成する視点変換処理と、それぞれ相互に異なった視点から見た複数の前記仮想視点画像を表示することを制御する表示制御処理と、を、コンピュータに実行させるための画像生成プログラムを提供することによって達成できる。

このように構成することによって、仮想視点画像を複数表示させることができる。
上記課題は、特許請求の範囲の請求項２４に記載の発明によれば、１または複数のカメラからの入力画像を３次元空間の予め決められた空間モデルにマッピングする空間再構成処理と、前記空間再構成処理によってマッピングされた空間データを参照して、前記３次元空間における任意の仮想視点から見た画像である仮想視点画像を生成する視点変換処理と、前記仮想視点画像に撮影されている同種の物体毎に色分けする色分け処理と、前記色分け処理にて変換された画像を表示する表示処理と、を、コンピュータに実行させるための画像生成プログラムを提供することによって達成できる。

このように構成することによって、仮想視点画像内の物体の種類毎に色分けをすることができる。
上記課題は、特許請求の範囲の請求項２５に記載の発明によれば、１または複数のカメラからの入力画像を３次元空間の予め決められた空間モデルにマッピングする空間再構成処理と、前記空間再構成処理によってマッピングされた空間データを参照して、前記３次元空間における任意の仮想視点から見た画像である仮想視点画像を生成する視点変換処理と、前記視点変換処理にて変換された画像を表示する表示制御処理と、を、コンピュータに実行させるための画像生成プログラムであって、前記視点変換処理は、ユーザの固有の情報またはユーザの状態に関する情報であるユーザ情報に基づいて前記仮想視点画像を生成することを特徴とする画像生成プログラムを提供することによって達成できる。

このように構成することによって、運転者の固有の情報または運転者の状態に合った仮想視点画像を当該運転者に提供することができる。
上記課題は、特許請求の範囲の請求項２６に記載の発明によれば、車両に搭載された１または複数のカメラからの入力画像を３次元空間の予め決められた空間モデルにマッピングする空間再構成処理と、前記空間再構成処理によってマッピングされた空間データを参照して前記３次元空間における任意の仮想視点から見た画像である仮想視点画像を生成する視点変換処理と、それぞれ互いに異なった視点から見た複数の前記仮想視点画像を表示することを制御する表示制御処理と、前記車両の状態に応じて、前記表示制御処理による表示形態を選択する表示形態選択処理と、を、コンピュータに実行させるための画像生成プログラムを提供することによって達成できる。

このように構成することによって、車両の状態に応じて仮想視点画像の表示形態等を選択（変更）することができる。
上記課題は、特許請求の範囲の請求項２７に記載の発明によれば、車両に搭載された1または複数のカメラからの入力画像を３次元空間の予め決められた空間モデルにマッピングする空間再構成処理と、前記空間再構成処理によってマッピングされた空間データを参照して前記３次元空間における任意の仮想視点から見た画像である仮想視点画換を生成する視点変換処理と、それぞれ互いに異なった視点から見た複数の前記仮想視点画像を表示することを制御する表示制御処理と、前記車両に係る動作状況に応じて、前記表示制御処理による表示形態を選択する表示形態選択処理と、を、コンピュータに実行させるための画像生成プログラムを提供することによって達成できる。

このように構成することによって、車両の動作状況によって、仮想視点画像の表示形態を選択（変更）することができる。
上記課題は、特許請求の範囲の請求項２８に記載の発明によれば、車両に搭載された１または複数のカメラからの入力画像を３次元空間の予め決められた空間モデルにマッピングする空間再構成処理と、前記空間再構成処理によってマッピングされた空間データを参照して前記３次元空間における任意の仮想視点から見た画像である仮想視点画像を生成する視点変換処理と、それぞれ互いに異なった視点から見た複数の前記仮想視点画像を表示することを制御する表示制御処理と、操作者による操作状況に応じて、前記表示制御処理による表示形態を選択する表示形態選択処理と、を、コンピュータに実行させるための画像生成プログラムを提供することによって達成できる。

このように構成することによって、運転者の操作状況に応じて、仮想視点画像の表示形態を変更することができる。
上記課題は、特許請求の範囲の請求項２９に記載の発明によれば、１または複数のカメラからの入力画像を３次元空間の予め決められた空間モデルにマッピングする空間再構成工程と、前記空間再構成工程によってマッピングされた空間データを参照して、前記３次元空間における任意の仮想視点から見た画像である仮想視点画像を生成する視点変換工程と、それぞれ相互に異なった視点から見た複数の前記仮想視点画像を表示することを制御する表示制御工程と、を行うことを特徴とする画像生成方法を提供することによって達成できる。

このように構成することによって、仮想視点画像を複数表示させることができる。
上記課題は、特許請求の範囲の請求項３０に記載の発明によれば、１または複数のカメラからの入力画像を３次元空間の予め決められた空間モデルにマッピングする空間再構成工程と、前記空間再構成工程によってマッピングされた空間データを参照して、前記３次元空間における任意の仮想視点から見た画像である仮想視点画像を生成する視点変換工程と、前記仮想視点画像に撮影されている同種の物体毎に色分けする色分け工程と、前記色分け工程にて変換された画像を表示する表示工程と、を行うことを特徴とする画像生成方法を提供することによって達成できる。

このように構成することによって、仮想視点画像内の物体の種類毎に色分けをすることができる。
上記課題は、特許請求の範囲の請求項３１に記載の発明によれば、１または複数のカメラからの入力画像を３次元空間の予め決められた空間モデルにマッピングする空間再構成工程と、前記空間再構成工程によってマッピングされた空間データを参照して、前記３次元空間における任意の仮想視点から見た画像である仮想視点画像を生成する視点変換工程と、前記視点変換工程にて変換された画像を表示する表示制御工程と、を行う画像生成方法であって、前記視点変換工程は、ユーザの固有の情報またはユーザの状態に関する情報であるユーザ情報に基づいて前記仮想視点画像を生成することを行うことを特徴とする画像生成方法を提供することによって達成できる。

このように構成することによって、運転者の固有の情報または運転者の状態に合った仮想視点画像を当該運転者に提供することができる。
上記課題は、特許請求の範囲の請求項３２に記載の発明によれば、車両に搭載された１または複数のカメラからの入力画像を３次元空間の予め決められた空間モデルにマッピングする空間再構成工程と、前記空間再構成工程によってマッピングされた空間データを参照して前記３次元空間における任意の仮想視点から見た画像である仮想視点画像を生成する視点変換工程と、それぞれ互いに異なった視点から見た複数の前記仮想視点画像を表示することを制御する表示制御工程と、前記車両の状態に応じて、前記表示制御工程による表示形態を選択する表示形態選択工程と、を行うことを特徴とする画像生成方法を提供することによって達成できる。

このように構成することによって、車両の状態に応じて仮想視点画像の表示形態等を選択（変更）することができる。
上記課題は、特許請求の範囲の請求項３３に記載の発明によれば、車両に搭載された1または複数のカメラからの入力画像を３次元空間の予め決められた空間モデルにマッピングする空間再構成工程と、前記空間再構成工程によってマッピングされた空間データを参照して前記３次元空間における任意の仮想視点から見た画像である仮想視点画換を生成する視点変換工程と、それぞれ互いに異なった視点から見た複数の前記仮想視点画像を表示することを制御する表示制御工程と、前記車両に係る動作状況に応じて、前記表示制御工程による表示形態を選択する表示形態選択工程と、を行うことを特徴とする画像生成方法を提供することによって達成できる。

このように構成することによって、車両の動作状況によって、仮想視点画像の表示形態を選択（変更）することができる。
上記課題は、特許請求の範囲の請求項３４に記載の発明によれば、車両に搭載された１または複数のカメラからの入力画像を３次元空間の予め決められた空間モデルにマッピングする空間再構成工程と、前記空間再構成工程によってマッピングされた空間データを参照して前記３次元空間における任意の仮想視点から見た画像である仮想視点画像を生成する視点変換工程と、それぞれ互いに異なった視点から見た複数の前記仮想視点画像を表示することを制御する表示制御工程と、操作者による操作状況に応じて、前記表示制御工程による表示形態を選択する表示形態選択工程と、を行うことを特徴とする画像生成方法を提供することによって達成できる。

このように構成することによって、運転者の操作状況に応じて、仮想視点画像の表示形態を変更することができる。

本発明によれば、仮想視点画像の表示に係るユーザインターフェースについて、さらに利便性を高めるための技術を具現させることができる。

＜第１の実施形態＞
先ず、仮想視点画像を複数表示させる技術について説明する。
図１は、本発明の一実施形態における画像生成装置１００００を示す。同図において、本発明による画像生成装置１００００は、複数台のカメラ１０１、カメラパラメータテーブル１０３、空間再構成手段１０４、空間データバッファ１０５、視点変換手段１０６、表示制御手段１０００１、表示形態選択手段１０００２、及び表示手段１０７を含んで構成される。

複数台のカメラ１０１は、監視対象領域の状況を把握するのに適合した状態で設けられている。カメラ１０１は、例えば、車両の周囲の状況など監視すべき空間の画像を取り込む複数のテレビカメラである。このカメラ１０１は、大きな視野を得ることができるよう、通常、画角が大きいものを使うのが良い。このカメラ１０１の設置台数、設置状態等については例えば特許文献１に開示のような公知の態様でもよい。

カメラパラメータテーブル１０３には、カメラ１０１の特性を示すカメラパラメータを格納してある。ここで、カメラパラメータについて説明する。画像生成装置１００００にはキャリブレーション手段（不図示）が設けられており、カメラキャリブレーションを行う。カメラキャリブレーションとは、３次元空間に配置されたカメラについての、その３次元空間における、カメラの取り付け位置、カメラの取り付け角度、カメラのレンズ歪み補正値、カメラのレンズの焦点距離などといった、カメラ１０１の特性を表すカメラパラメータを決定、補正することである。このキャリブレーション手段及びカメラパラメータテーブル１０３については例えば特許文献１にも詳述されている。

空間再構成手段１０４では、カメラパラメータに基づいて、カメラ１０１からの入力画像を３次元空間の空間モデルにマッピングした空間データを作成する。すなわち、空間再構成手段１０４は、キャリブレーション手段（不図示）によって計算されたカメラパラメータに基づいて、カメラ１０１からの入力画像を構成する各々の画素を３次元空間の点に対応づけた空間データを作成する。すなわち、空間再構成手段１０４では、カメラ１０１から撮影された画像に含まれる各々の物体が、３次元空間のどこに存在するかを計算し、その計算結果としての空間データを空間データバッファ１０５に格納する。

なお、カメラ１０１からの入力画像を構成するそれぞれの画素のすべてを利用して空間データを構成する必要はない。たとえば入力画像に水平線により上に位置する領域が写っている場合は、その水平線より上の領域に含まれる画素を路面にマッピングする必要はない。あるいは車体を写している画素をマッピングする必要もない。また、入力画像が高解像度な場合などは、数画素毎に飛ばして空間データにマッピングすることにより処理を高速化することも考えられる。この空間再構成手段１０４については例えば特許文献１に詳述されている。

空間データバッファ１０５では、空間再構成手段１０４にて作成された空間データを一時的に格納する。この空間データバッファ１０５についても例えば特許文献１に詳述されている。
視点変換手段１０６では、空間データを参照して、任意の視点から見た画像を作成する。すなわち、空間再構成手段１０４によって作成された空間データを参照して、任意の視点にカメラを設置して撮影した画像を作成する。この視点変換手段１０６についても例えば特許文献１に詳述された構成をとり得る。

表示制御手段１０００１では、視点変換手段１０６にて変換された画像を表示するにあたり、その表示形態を制御する。この表示制御手段１０００１は、表示形態選択手段１０００２の選択動作をトリガーにして画像の表示に関する制御動作を行う。
後述するように、本実施形態においては視点変換手段１０６にて変換された複数の画像を重畳して表示させたり、連続した１枚の画像として表示させたり、並べて表示させたりする。また、異なる視点の画像を複数同時に表示することができるので、例えば、バックミラーで見える仮想視点画像と俯瞰視点から見た仮想視点画像とを同時に表示することができる。このように内容の異なる画像を画面上で分割して表示したり、重畳して表示したり、並べて表示したり等することができる。

また、仮想視点画像同士を重畳して表示させるだけでなく、通常の画像、例えばカメラで撮影したままの生の映像やカーナビゲーション画像等に重畳表示させることもできる。
表示形態選択手段１０００２は、視点の変更、画角の変更を指示するためのものである。これらの指示は、表示制御手段１０００１を介して視点変更手段１０６に送信され（または、表示形態選択手段１０００２から直接視点変更手段１０６に送信しても良い）、その指示に基づいた仮想視点画像が作成される。

なお、表示形態選択手段１０００２では、視点の変更、画角の変更に限らず、ズーム、フォーカス、露出。シャッタースピード等の変更を指示するようにしてもよい。また、表示形態選択手段１０００２では、後述するように表示形態を選択することもできる。
表示手段１０７では、例えばディスプレイ等であり、表示制御手段１０００１で制御された画像が表示される。

図２は、本実施形態における仮想視点画像の表示フローを示す。本実施形態の画像生成装置１００００では、以下の手順によって、複数台設置されているそれぞれのカメラ視野を統合し、一枚の画像として合成する。
まず、空間再構成手段１０４において、カメラ１０１から得られた画像を構成する各々の画素と、３次元座標系の点との対応関係を計算し、空間データを作成する。この計算は各々のカメラ１０１から得られた画像のすべての画素に対して実施する（Ｓ１）。この処理自体については、例えば特許文献１にも開示された公知の態様のものを適用できる。

次に、視点変換手段１０６において、所望の視点を指定する（Ｓ２）。すなわち、Ｓ１での３次元座標系の、どの位置から、どの角度で、どれだけの倍率で、画像を見たいかを指定する。
次に、同じく視点変換手段１０６において、Ｓ２で指定した視点からの画像を、上記の空間データから再現し、表示制御手段１０００１によって、その再現した画像の表示形態を制御する（Ｓ３）。そして、その画像を表示手段１０７へ出力し、表示手段１０７にて表示される（Ｓ４）。

図３は、本実施形態における重畳表示させた仮想視点画像を示す。仮想視点画像１００１０と１００１１とが重畳しており、すなわち、「Ｐｉｃｔｕｒｅ Ｉｎ Ｐｉｃｔｕｒｅ」機能を利用して仮想視点画像１００１０の中に子画面である仮想視点画像１００１１を表示させることができる。なお、同図では２画面が重畳しているが、これに限らずさらに複数重畳させてもよい。

図４は、本実施形態における複数の仮想視点画像をパノラマ合成した例を示す。２つの仮想視点画像１００２０，１００２１で画角が重なる部分（画像内で境界部分が重なる部分）を重ねて、パノラマ合成し、１つの連続した画像（以下、シームレス画像という）としている。なお、同図では２画面を重ねているが、これに限らずさらに複数の画角の重なる画面を重ねて、シームレス画像にしても良い。

図５は、本実施形態における４つの仮想視点画像１００３０，１００３１，１００３２，１００３３を並べて表示した図を示す。ここで表示される仮想視点画像は、図４とは異なり、相互に関連がなくてもよい。なお、同図では４画面を並べているが、これに限らずさらに複数の画面を並べてもよい。

上述したように、図３〜図５の表示形態の制御は、表示制御手段１０００１により制御され、表示形態の選択は、表示形態選択手段１０００２により行うことができる。
次に、本実施形態における画像生成装置１００００を車両に搭載した場合について説明する。

図６は、本実施形態における運転モードの切り換えと表示形態との関係を示す。同図において、運転モードには、例えば、右折モード、左折モード、前進モード、バックモード、高速走行モード等がある。そして、各運転モードに応じて、視点や画角、表示形態（重畳表示（図３参照）、シームレス表示（図４参照）、並べて表示（図５参照）等）が決められている。

例えば、右折モードならば、右向きの視点からであって、広い画角の仮想視点画像を、カーナビゲーション画像に重畳させて表示させたり、高速走行モードならば、前方のシームレス画像に後方の仮想視点画像を重畳して表示させてもよい。
なお、表示形態選択手段１０００２により、運転モードが検知される。具体的な検知方法としては、例えば、ギヤ、速度、ウィンカ、ハンドル舵角等によりそのときの車両の状況を検知することができる。特許文献１では、ジョイスティックを用いて視点を任意に調整することが開示されているが、本実施形態では、運転上そのような煩わしい操作を行う必要がなくなり、運転動作に合わせて、予め設定した視点、画角、表示形態等に切り換えることで、より簡便に適切な仮想視点画像を表示することができる。なお、ズーム、フォーカス、露出、シャッタースピード等も切り換えにより表示する画像の条件に加えてもよい。なお、本実施形態では、特許文献１の発明に基づいて仮想視点画像を生成しているが、これに限られず、仮想視点画像が得られるならば、どのような公知の技術を用いてもよい。

以上より、複数の視覚変換画像について、さらに利便性を高めた態様で表示させることができる。
＜第２の実施形態＞
本実施形態では、第１の実施形態とは異なる態様で画像生成装置１００００を車両に搭載した場合での仮想視点画像の表示形態の制御について説明する。本実施形態における画像生成装置１００００自体の概念的構成は、図１と同様である。ただし、表示形態選択手段１０００２は、第１の実施形態とは異なり、以下に示すように車両の状態や動作状況等に応じて表示形態を選択するようにした。なお、第１の実施形態の表示形態選択手段１０００２にこの機能を追加しても良い。

図７は、本実施形態における車両状態と表示形態との対応関係を示す。車両には、車両の状態が検出できるように車両の各部分にセンサ（温度、湿度、圧力、照度、等）やカメラ（車内用、車体撮影用）、計測器が取り付けてある（又はタコメータ、スピードメータ、冷却液温度計、油圧計、燃料残量計、等の既存の計測器を用いても良い）。

上記で車両の状態が検出されると、表示形態選択手段に予め登録されているその検出された状態に対応した表示形態が選択される。そうすると、その選択情報が表示制御手段に送信され、その後の処理は、第１の実施形態と同様である。それでは、図７を詳述する。
車両状態「走行舵角」は、走行時の舵角の程度に応じて表示形態が変わることを表しており、例えば、ハンドルが所定の舵角以上回転したら、その舵角の方向の映像（仮想視点画像等の映像をいう、以下同じ。）がディスプレイに表示される。

車両状態「速度」は、速度の程度に応じて表示形態が変わることを表しており、例えば、速度が速くなると遠くの映像（例えば、安全停止距離に連動）が表示され、低速・もしくは発進時には周囲全体映像が表示される。
車両状態「加速度」は、加速度の程度に応じて表示形態が変わることを表しており、例えば、減速時には後方映像が表示され、加速時には遠くの映像が表示される。

車両状態「ギヤ」は、ギヤがどこにはいっているか（例えば、１速、２速、３速、・・、バック等）に応じて表示形態が変わることを表しており、例えば、バック時に後方映像が表示される。
車両状態「ワイパー」は、ワイパーの動作状況（例えば、ワイパーが稼動中か否か、ワイパーの動作速度等）に応じて表示形態が変わることを表しており、例えば、ワイパーに連動して雨モードの映像（鏡面反射成分除去・水滴除去等の処理が施された仮想視点画像）が表示される。

車両状態「ヘッドライド、車内灯ＯＮ／ＯＦＦ 明るさ等」は、ヘッドライドや車内灯等の明るさに応じて表示形態が変わることを表しており、例えば、ディスプレイの液晶の輝度調整がされる。
車両状態「ステレオ音量」は、ステレオ音量に応じて、例えば、音声案内（警告）の音量調整がされる。なお、ステレオ音量に応じて表示形態を変えてもよい。

車両状態「汚れ」は、当該車両の汚れの程度に応じて表示形態が変わることを表しており、例えば、自車両（例えば、フロント部、リア部、バンパー、ルーフ、ボンネット、ドア、ウインド、ホイール、タイヤ、等）の汚れ（本システムに支障きたすような汚れは特に）の警告表示される。

車両状態「温度、湿度」は、車内または車外の温度、湿度に応じて表示形態が変わることを表しており、例えば、車内もしくは路面の温度・湿度が異常に高く（または低く、例えば車外の温度が低く路面に氷が張っている等）なっている場所等を警告する表示をする。これにより、子供の脱水症状の防止や凍結によるスリップ防止が図れる。

車両状態「オイル量」は、オイル量の残量に応じて表示形態が変わることを表しており、例えば、オイル漏れの可能性がある場合に、車両後方もしくは真下の映像で漏れているかどうかを確かめられる映像が表示される。
車両状態「乗車人数、乗車位置、積載荷物重量」は、乗車人数、乗車者の着座位置、積載荷物重量に応じて表示形態が変わることを表しており、例えば、安全停止距離の補正警告（映像の中に具体的に停止距離を重畳表示）が表示される。

車両状態「窓・ドアの開閉」は、窓・ドアの開閉に応じて表示形態が変わることを表しており、例えば、開閉による危険がないかどうかを確かめられるように周囲の映像や開いている窓から手や頭を出していないかどうか監視できる映像が表示される。
なお、車両状態に関連した表示としては、上述したものだけには限られず、上述した車両状態と路面状態や天候等を勘案して割り出した制動距離を自車両の進行方向に向けて棒グラフ様のパターンで表示する等してもよい。

以上より、運転中に表示形態を変更するために煩わしい操作を行う必要がなくなり、上述のような車両状態に合わせて、予め設定された表示形態が選択され得るので、より簡便に適切な仮想視点画像を表示することができる。
＜第３の実施形態＞
本実施形態は、第２の実施形態の変形例である。第２の実施形態では、車両の各部分の状態毎に表示形態を選択したが、本実施形態では、車両のマクロ的な動作状況を検出して、その動作状況に応じた表示形態を選択する。すなわち、本実施形態では、表示形態選択手段１０００２により車両の動作状況に着目し、その動作状況に対応して表示形態を選択するようにする。なお、本実施形態における画像生成装置は、第１または第２の実施形態と同様である。

図８は、本実施形態における車両の動作状況のモードの一例を示す。本実施形態の動作状況のモードとしては、「右折モード」、「左折モード」、「発進時周囲監視モード」、「車内監視モード」、「高速走行時モード」、「後方監視モード」、「雨天走行モード」、「縦列駐車モード」、「車庫入れモード」がある。それでは、各モードについて説明する。

「右折モード」は、前方と曲がる方向の映像を表示する。具体的にいえば、車両が右折の場合、前方の映像と右折方向の映像を表示する。「左折モード」は、前方と曲がる方向の映像を表示する。具体的にいえば、車両が左折の場合、前方の映像と左折方向の映像を表示する。

「発進時周囲監視モード」は、車両の発進時において、車両の周囲の監視映像を表示する。「車内監視モード」は、車内の監視映像を表示する。「高速走行時モード」は、高速走行時において、遠くの前方の映像を表示する。「後方監視モード」は、急ブレーキをかけられるかどうか、すなわち、急ブレーキをかけて停止できるほど後続車との距離があるかを確認するための後方の映像が表示される。

「雨天走行モード」は、降雨時には視界が悪くなるため、見落としやすい方向が生じることがあるので、そのような見落としやすい方向の映像、及び／または画像処理により水滴除去した映像を表示させるようにする。この見落としやすい方向については、統計的や経験的で求めた方向でもよいし、ユーザにより任意に設定できるようにしてもよい。

「縦列駐車モード」は、縦列駐車時において、前方車両と後方車両とに接触しないように、幅寄せする側の前方と後方の映像が表示される。「車庫入れモード」は、車庫入れする場合に車庫の壁面に接触しやすい方向の映像が表示される。
このようなモードの変更は、車両の動作に応じて、画像生成装置１００００が自動で認識するようにしてもよいし、ユーザにより設定するようにしてもよい。また、これらのモードは自由に組み合わせることができる。

図９は、本実施形態におけるユーザが上記のモードを設定できる場合の設定形式の一例を示す。本実施形態では、ディスプレイに「右折・左折モード」ボタン、「発進時周囲監視・車内監視モード」ボタン、「高速走行時遠方・後方モード」ボタン、「雨モード」ボタンとして表示され、各選択ボタンを押下することにより、当該モードへ切り替わるようにしている。

本実施形態では、このボタンの表示形態（配列形態）を変更することができるというものである。表示形態のバリエーションとして、図９に示すように、「選択ボタンによる選択」、「状況に応じてモードの配列が変わる」、「学習機能により、よく使う機能（モード）は前（上位）へ表示する」がある。

「選択ボタンによる選択」は、通常の選択ボタンの配列であって、デフォルトで設定されている配列である。なお、この配列は、ユーザによって任意に設定変更することができる。このようにすることによって、ユーザ自身の好みに応じて、選択ボタンの配列を変更することができる。

「状況に応じてモードの配列が変わる」とは、車両の動作状況や周囲環境、天候等によって選択ボタンの配列が変更することである。すなわち、車両の動作、周囲環境、天候等を検知することにより、選択ボタンの配列が変更され、よりその状況に適した選択ボタンが、例えば上位に表示される。また、選択ボタンの配列は、第２の実施形態での各部分の状況等に応じて変更してもよい。

また、「学習機能により、よく使う機能（モード）は前（上位）へ表示する」とは、ユーザの選択ボタンの選択履歴を逐次記録しておき、この履歴から統計的にどのボタンがより多く使用されるかを算出して、その選択頻度順に選択ボタンを配列することである。より具体的には、例えば、図９Ａ、図９Ｂに示すように、自車両の周辺や進路に関する映像をスーパーインポーズ可能になされたカーナビゲーションの情報表示枠１００３５外（本実施形態では下部）にタッチパネルでの、「バック」１００３７、「左折」１００３８、「右折」１００３６の各ボタンのアイコンが、選択頻度に沿った順序系列（本実施形態では左から右への順序）で適応的に整列することになる。

図９Ａは、配置変更前におけるモードボタンの配置を示しており、同図のように「バック」１００３７を押下する頻度が高くなると、図９Ｂのように選択頻度の高い「バック」１００３７が左端へ配置される。
以上より、車両の動作状況やユーザの嗜好に応じて、表示形態を変更することができるので、当該ユーザに最適な仮想視点画像を表示することができる。

＜第４の実施形態＞
特許文献１の開示では、視点変換等の画像処理した画像如何に視認し易い明確な表示とするかについては特段の言及がない。そこで、本実施形態では、単純な色分け表示とすることで、より明確な表示を実現する。

図１０は、本実施形態における画像生成装置１００００を示す。同図の画像生成装置１００００は、第１の実施形態の画像生成装置１００００に色分け・単純化手段１００４０、オブジェクト認識手段１００４１を追加したものである。なお、本実施形態では、表示形態選択手段を取り除いているが、用途に応じて、取り付けてもよい。

オブジェクト認識手段１００４１は、撮影した画像に撮影されている各オブジェクト（物体）を認識するための手段である。これらのオブジェクトを認識する方法としては、単眼のカメラから得られた画像のみを用いた方法、レーザーレンジファインダーから得られた距離とカメラから得られた画像を用いた方法、ステレオ法から得られた距離画像と画像を用いた方法と様々考えられる。例えば、ステレオ法は、複数のカメラによって同一対象物を撮像し、撮像画像における対応点を抽出し、三角測定により距離画像を算出する方式である。なお、以下では、これらの方法等を利用して距離画像を取得する装置をステレオセンサーといい、このようなステレオセンサーで取得した距離情報と輝度あるいはカラー情報とを含んだ画像を、ステレオ画像、またはステレオ視による画像という。

例えば、特許文献２では、撮像した画像から画像全体に渡って距離分布を求め、この距離分布の情報から、立体物や道路形状を、正確な位置や大きさとともに、信頼性高く検出する車輌用車外監視装置が開示されている。また、特許文献２では、検出した物体の輪郭像の形状寸法及び位置から、物体の種類を識別することができる。

また、例えば、特許文献３では、ガードレール、植え込み、パイロン列等の道路の境界となる連続した立体物としての側壁を確実に検出し、しかも、側壁の有無、位置、方向を処理が容易なデータ形態で検出する車輌用車外監視装置が開示されている。
これらの特許文献２、特許文献３では、ステレオ光学系によって車輌の車外の設置範囲内の対象を撮像し、ステレオ光学系で撮像した画像を処理して画像全体に渡る距離分布を計算し、この距離分布の情報に対応する被写体の各部分の三次元位置を計算し、これらの三次元位置の情報を用いて道路の形状と複数の立体物を検出している。

本実施形態におけるオブジェクト認識手段１００４１でも、上記のようなステレオ画像法により撮影した画像に撮影されている各オブジェクト（物体）を認識することにし、上記のように、ここでの処理自体は従来の手法を適応することが可能であり、詳細な処理の説明は省略する。なお、ステレオ画像法による画像を得るために、カメラ１０１とは別の複数のカメラを利用してもよいし、また、カメラ１０１を兼用してもよい。

また、オブジェクト認識手段１００４１には、後述するように、当該手段で認識したオブジェクトに対応する仮想視点画像内にあるこれと同一のオブジェクトに着色を行うので、このステレオ画像と仮想視点画像とのオブジェクトを対応付けるためのテーブル（対応付けテーブル１００４２）が設けられている。

色分け・単純化手段１００４０では、仮想視点画像内にある道路面、障害物、車両等の各オブジェクトの種類毎に色分けする処理を行う。
図１１は、本実施形態における処理フローを示す。まず、空間データ作成処理（Ｓ１１）と視点の指定処理（Ｓ１２）を行う。このＳ１１，Ｓ１２は、図２のＳ１，Ｓ２の処理と同様である。

次に、オブジェクトの認識を行う（Ｓ１３）。上述のように、これらの処理自体は、特許文献２、特許文献３に例示される公知の方法を用い得る。また、認識したオブジェクトを種類毎に分類する。ここでの処理は例えば特許文献２、または特許文献３に記載された公知の手法によりオブジェクトを認識し、認識したオブジェクトを種類毎に分類する。

次に、Ｓ１２で取得した仮想視点画像とＳ１４で認識したオブジェクトとの対応付けを行う。この対応づけは、対応付けテーブルを用いて行う。特許文献１の公知例では、カメラ１０１で撮影された画像を構成する各々の画素の位置は、一般的にＣＣＤ画像面を含むＵ−Ｖ平面上の座標として表されている。

そこで、入力画像を構成する各々の画素をワールド座標系の点に対応付けるためには、カメラ１０１で撮影された画素の存在するＵ−Ｖ平面の点をワールド座標系内の点に対応付ける処理を空間再構成手段１０４で行っている。
よって、予めＵ−Ｖ座標系とステレオ画像の座標とを対応づけておけば、ステレオ画像から認識したオブジェクトの位置は、Ｕ−Ｖ座標系を介してワールド座標系上で特定することができる。これにより、ステレオ画像内のオブジェクトと同一の仮想視点画像内のオブジェクトとを対応付けることができる。

次に、仮想視点画像内にあるオブジェクトの種類毎に着色を行う（Ｓ１５）。この処理は、色分け・単純化手段１００４０により行われ、Ｓ１４で対応づけられた仮想視点画像内にある道路面、障害物、車両等の各オブジェクトの種類毎に色分けする処理を行う。ここでは、オブジェクト認識手段１００４１により認識された各オブジェクトをＳ１３で分類した道路、車両等の物品の種類別に異なる色を着色していく。

例えば、仮想視点画像内にある道路面は灰色、車両は赤、その他の障害物は青、等に色分けする。着色については、仮想視点画像中の各オブジェクトに対して、テクスチャのトーンをオブジェクト毎にモノトーンにして単色表示としたり、半透過の色を重畳表示するようにしてもよい。

次に、Ｓ１５の処理後の画像の表示形態を制御する（Ｓ１６）。ここでは、出力手段１０７へ出力するために、表示形態を制御する。例えば、第１の実施形態と同様に、表示形態を選択するようにしてもよい。そして、その画像を表示手段１０７へ出力し、表示手段１０７にて表示される（Ｓ１７）。

なお、本実施形態では、仮想視点画像内にあるオブジェクトの種類ごとに色分けする場合に、図１１の処理フローに基づいて行ったが、これに限定されず、同様の効果を奏する手法であればなんでもよい。例えば、Ｓ１１，Ｓ１２でステレオセンサーを用いて、立体情報等も同時に取得するようにしてもよい。

また、上記のＳ１１において、空間モデルを生成するが、このとき使用する空間モデルは、特許文献１に記載があるように、５つの平面からなる空間モデル、お椀型をした空間モデル、平面と曲面を組み合わせて構成した空間モデル、もしくはついたて面を導入した空間モデル、またはこれらを組み合わせたものであってもよい。なお、これらの空間モデルに限定されず、空間モデルは、平面の組み合わせ、曲面、または平面と曲面を組み合わせたものならば、特に限定されない。

また、このとき、この空間モデル毎に投影する画像についても同様にオブジェクトの種類毎に色分けするようにしてもよい。つまり、空間モデルの表示をより明解にするために、空間モデルの各物体モデルに応じて色分けなどをすることでより明確な表示を行う。このとき、色分けするだけでなく、その投影する画像内のオブジェクトを単純化、すわなち、円、四角、三角、長方形、台形等で抽象化した図形で表示するようにしてもよい。また、これらの図形に限らず、簡略化してある線図、記号、シンボル等であれば特に限定されない。

以上より、仮想視点画像内のオブジェクトが色分け、単純化されるので、運転中であっても容易に障害物等を認識することができる。
＜第５の実施形態＞
障害物が近接すると、表示画面中でその障害物の画面を占める割合が大きくなり、画面を通して、その周囲の状況が把握しにくくなる。そこで、本実施形態では、表示制御手段１０００１により広角の仮想視点画像とその近接して障害物が拡大された仮想視点画像とを共に表示することにより、より明解に情報を提示する。

これを実現するには、第１の実施形態と同様にして、仮想視点画像を広角の仮想視点画像と拡大された仮想視点画像とを表示させればよい。
図１２は、本実施形態における広角の仮想視点画像１００５０とその近接して障害物が拡大された仮想視点画像１００５１とを共に表示した一例を示す。

このようにすることで、拡大された仮想視点画像とともに広角の仮想視点画像を表示することで、周囲の状況を容易に把握することができる。
＜第６の実施形態＞
特許文献１では、運転者が変更になったり、着座位置の調整が異なったりしたときの視点の調整については、任意の点が表示できるという開示に留まっているが、本実施形態では、運転者ごとにプリセットした視点を用いることで、それぞれに適した画像をより簡便に表示できるようにする。

図１３は、本実施形態における画像生成装置１００００を示す。同図の画像生成装置１００００は、第１の実施形態の画像生成装置１００００にユーザ情報取得手段１００６０を追加したものである。なお、本実施形態では、表示形態選択手段を取り除いているが、用途に応じて、取り付けてもよい。

ユーザ情報取得手段１００６０の一例は、例えば、車内を監視するカメラにより運転者の顔画像を取得し、一般的な画像処理技術によりその顔画像から眼球位置を抽出することで視点を計測し、その結果を基に仮想視点画像を表示するための仮想視点の位置をカスタマイズできる。

また、その顔画像から運転者の視野を計測し、その視野に対応した画角の仮想視点画像を表示するようにしてもよい。視野の計測は、例えば、顔画像での目の開き具合で推測するようにしてもよい。
また、ユーザ情報取得手段１００６０の別の例は、例えば、運転者の姿勢等とを推測してそこからユーザの視点を算出するようにしてもよい。例えば、予め登録してある運転者の身長（又は座高）と、現在のシートの傾斜角度から運転者の頭の位置が計測できるので、そこからおおよその運転者の視点の位置がわかる。

よって、このようにして視点位置を算出するようにしてもよい。また、さらに、シートの位置（前にスライドさせているか後ろにスライドさせているかや高さ）、または運転者がめがねをしているか等も考慮して視点位置または画角を算出してもよい。
このようにしてユーザ情報取得手段１００６０で取得されたユーザ情報は、表示制御手段１０００１へ送信され、表示制御手段１０００１では、その情報に基づいて、当該ユーザに最適な仮想視点画像を表示する。

以上より、各運転者の視点または画角に合った仮想視点画像を当該運転者に提供することができるので、各運転者は違和感のない仮想視点画像を観賞することができる。
＜第７の実施形態＞
本実施形態では、カーナビゲーションの画像の一部に重畳して仮想視点からの仮想視点画像を表示する。このとき、地図情報に応じて適切な位置に仮想視点画像を重畳表示する。本実施形態における画像生成装置の本体部は、第１の実施形態と同様である。

図１４は、本実施形態におけるカーナビゲーションの画像１００７０の一部に重畳させた仮想視点画像１００７１，１００７２，１００７３を示す。このような制御は、表示制御手段１０００１により行われている。また、このとき、例えば、仮想視点画像１００７１，１００７２，１００７３は、半透明表示として、カーナビゲーションの画像１００７０に重畳して表示させることもできる。

以上より、表示手段としてカーナビゲーションのディスプレイを流用することができるので、カーナビゲーションシステムによるナビゲートを受けながら、仮想視点画像を見ることができる。また、このナビゲートの邪魔にならない位置に仮想視点画像は表示されるように制御されているので、ナビゲートに対して不自由さを感じることもない。

＜第８の実施形態＞
特許文献１では、カメラのフォーカス調整などには言及されず、特に近距離になったときの障害物の画像を適切に表示することについては別段の配慮がない。
そこで、本実施形態では、ＡＦ（オートフォーカス）機能をカメラに持たせ、ステレオ視により近接している場合は、近距離側にレンズのフォーカスを調整するようにする。つまり、一般にマクロモードと呼ばれる撮影対象に近接した位置で大きく撮影する場合のモードに調整する。このようにすることで、３次元再構成用にフォーカスのあった画像が近距離において得られる。

また、遠距離にある被写体を撮影する場合には、ＡＦ機能により当該被写体にフォーカスを合わせることで遠距離画像についても同様に、高精度の画像が得られ、遠距離の精度向上につながる。
なお、本実施形態は第１〜第７の実施形態に組み合わせることができる。また、これに限らず、第１〜第８の実施形態の各実施形態相互間で用途に応じて、それぞれの実施形態を組み合わせることができる。例えば、空間モデルや図３〜図５、図９Ａ、図９Ｂ、図１２、図１４で示した画面表示は、各実施形態相互間で適用することができる。また、このような空間モデル及び画面表示以外のものについても、可能であれば各実施形態相互間で適用できる。

次に、第１〜第８の実施形態における画像生成装置１００００のハードウェア構成を示す。
図１５は、第１〜第８の実施形態における画像生成装置１００００のハードウェア環境の構成ブロック図である。同図において画像生成装置１００００は、少なくとも、例えば、中央処理装置（ＣＰＵ）等の制御装置１００８０と、リードオンリメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、または大容量記憶装置等の記憶装置１００８１と、出力Ｉ／Ｆ（インターフェース、以下同じ）１００８２、入力Ｉ／Ｆ１００８３、通信Ｉ／Ｆ１００８４及びこれらを接続するバス１００８５から構成され、それに、ディスプレイやスピーカ等の出力手段１０７や、入力Ｉ／Ｆまたは通信Ｉ／Ｆに接続される各種の装置がある。

入力Ｉ／Ｆに接続される装置としては、例えば、カメラ１０１、車内用カメラ、ステレオセンサー及び各種センサ（第２〜第４の実施形態を参照）、キーボードやマウス等の入力装置、ＣＤ−ＲＯＭやＤＶＤ等の可搬型記憶媒体の読み取り装置、その他周辺機器 等が挙げられる。

通信Ｉ／Ｆ１００８４に接続される装置としては、例えば、カーナビゲーションシステムや、インターネット又はＧＰＳと接続する通信機器である。なお、通信メディアとしては、インターネット、ＬＡＮ、ＷＡＮ、専用線、有線、無線等の通信網であってよい。
記憶装置１００８１の一例としてはハードディスク、磁気ディスクなど様々な形式の記憶装置を使用することができ、上記の実施形態で述べたフローのプログラム、テーブル（例えば、車両状況等と表示形態との関連テーブル、各種設定値）等が格納されている。このプログラムは、制御装置１００８０によって読み込まれ、フローの各処理が実行される。

このプログラムは、プログラム提供者側から通信Ｉ／Ｆ１００８４を介して、インターネット経由で提供され、記憶装置１００８１に格納されてもよいし、また市販され、流通している可搬型記憶媒体に格納され、読み取り装置にセットされて、制御装置によって実行されることも可能である。可搬型記憶媒体としてはＣＤ−ＲＯＭ、ＤＶＤ、フレキシブルディスク、光ディスク、光磁気ディスク、ＩＣカードなど様々な形式の記憶媒体を使用することができ、このような記憶媒体に格納されたプログラムが読み取り装置によって読み取られる。

また、入力装置には、キーボード、マウス、または電子カメラ、マイク、スキャナ、センサ、タブレットなどを用いることが可能である。さらに、その他の周辺機器も接続することができる。

第１の実施形態における画像生成装置を示す図である。 第１の実施形態における仮想視点画像の表示フローを示す図である。 第１の実施形態における重畳表示させた仮想視点画像を示す図である。 第１の実施形態における複数の仮想視点画像をパノラマ合成した例を示す図である。 第１の実施形態における４つの仮想視点画像を並べて表示した図である。 第１の実施形態における運転モードの切り換えと表示形態との関係を示す図である。 第２の実施形態における車両状態と表示形態との対応関係を示す図である。 第３の実施形態における車両の動作状況のモードの一例を示す図である。 第３の実施形態におけるモード切り換えに用いる各ボタンを示す図である。 第３の実施形態における学習による配置変更（自動変更・手動変更）機能により配置が変更されたモードボタンを示す図である。 第４の実施形態における画像生成装置を示す図である。 第４の実施形態における処理フローを示す図である。 第５の実施形態における広角の仮想視点画像とその近接して障害物が拡大された仮想視点画像とを共に表示した一例を示す図である。 第６の実施形態における画像生成装置を示す図である。 第７の実施形態におけるカーナビゲーションの画像の一部に重畳させた３つの仮想視点画像を示す図である。 第１〜第８の実施形態における画像生成装置のハードウェア環境の構成ブロック図である。

符号の説明

１０１ カメラ
１０３ カメラパラメータテーブル
１０４ 空間再構成手段
１０５ 空間データバッファ
１０６ 視点変換手段
１０７ 表示手段
１００００ 画像生成装置
１０００１ 表示制御手段
１０００２ 表示形態選択手段
１００４０ 色分け・単純化手段
１００４１ オブジェクト認識手段
１００４２ 対応付けテーブル
１００６０ ユーザ情報取得手段
１００８０ 制御装置
１００８１ 記憶装置
１００８２ 出力Ｉ／Ｆ
１００８３ 入力Ｉ／Ｆ
１００８４ 通信Ｉ／Ｆ

Claims (34)

1. １または複数のカメラからの入力画像を３次元空間の予め決められた空間モデルにマッピングする空間再構成手段と、
   前記空間再構成手段によってマッピングされた空間データを参照して、前記３次元空間における任意の仮想視点から見た画像である仮想視点画像を生成する視点変換手段と、
   それぞれ相互に異なった視点から見た複数の前記仮想視点画像を表示することを制御する表示制御手段と、
   を備えることを特徴とする画像生成装置。
2. 前記表示制御手段は、前記複数の仮想視点画像を重畳して表示させる
   ことを特徴とする請求項１に記載の画像生成装置。
3. 前記表示制御手段は、前記仮想視点画像相互間で画角が重なる部分を重畳させて連続した前記仮想視点画像として表示させる
   ことを特徴とする請求項１に記載の画像生成装置。
4. 前記表示制御手段は、前記複数の仮想視点画像を並列して表示させる
   ことを特徴とする請求項１に記載の画像生成装置。
5. 前記画像生成装置は、車両に搭載されており、
   前記車両の状態または走行状況に基づいて、前記表示制御手段により前記複数の仮想視点画像を重畳または並列して表示される表示形態を選択する表示形態選択手段
   を、さらに備えることを特徴とする請求項１に記載の画像生成装置。
6. 前記車両の状態または走行状況に基づいて、画角、視点、ズーム、フォーカス、露出、もしくはシャッタースピード、またはこれらの組み合わせを撮影条件として撮影を行うことにより取得した前記仮想視点画像を表示する
   ことを特徴とする請求項５に記載の画像生成装置。
7. 車両に搭載された１または複数のカメラからの入力画像を３次元空間の予め決められた空間モデルにマッピングする空間再構成手段と、
   前記空間再構成手段によってマッピングされた空間データを参照して前記３次元空間における任意の仮想視点から見た画像である仮想視点画像を生成する視点変換手段と、
   それぞれ互いに異なった視点から見た複数の前記仮想視点画像を表示することを制御する表示制御手段と、
   前記車両の状態に応じて、前記表示制御手段による表示形態を選択する表示形態選択手段と、
   を備えることを特徴とする画像生成装置。
8. 前記表示形態選択手段は、前記車両の状態として、当該車両の走行時の舵角、速度、加速度、変速機における変速比、ワイパーの挙動、照明装置の動作状況、音響装置の動作状況、ウィンドウその他の汚れの状況、当該車両が検出している部位に係る温度および／または湿度、潤滑油の状態、乗車人数、乗車者の着座位置、貨物の積載状況、窓乃至ドアの開閉状態の各状態のうちの一以上の状態を認識可能になされ、当該認識に基づいて前記表示制御手段による表示形態を選択するように構成されたものであることを特徴とする請求項７に記載の画像生成装置。
9. 車両に搭載された1または複数のカメラからの入力画像を３次元空間の予め決められた空間モデルにマッピングする空間再構成手段と、
   前記空間再構成手段によってマッピングされた空間データを参照して前記３次元空間における任意の仮想視点から見た画像である仮想視点画換を生成する視点変換手段と、
   それぞれ互いに異なった視点から見た複数の前記仮想視点画像を表示することを制御する表示制御手段と、
   前記車両に係る動作状況に応じて、前記表示制御手段による表示形態を選択する表示形態選択手段と、
   を備えることを特徴とする画像生成装置。
10. 前記表示形態選択手段は、前記車両に係る動作状況として、当該車両の右折モード、左折モード、発進時周囲監視モード、車内監視モード、後方監視モード、雨天走行モード、縦列駐車モード、車庫入れモードの各動作状況のうちの何れの動作状態にあるかを弁別可能になされ、当該弁別に基づいて前記表示制御手段による表示形態を選択するように構成されたものであることを特徴とする請求項９に記載の画像生成装置。
11. 車両に搭載された１または複数のカメラからの入力画像を３次元空間の予め決められた空間モデルにマッピングする空間再構成手段と、
    前記空間再構成手段によってマッピングされた空間データを参照して前記３次元空間における任意の仮想視点から見た画像である仮想視点画像を生成する視点変換手段と、
    それぞれ互いに異なった視点から見た複数の前記仮想視点画像を表示することを制御する表示制御手段と、
    操作者による操作状況に応じて、前記表示制御手段による表示形態を選択する表示形態選択手段と、
    を備えることを特徴とする画像生成装置。
12. 前記表示形態選択手段は、当該車両に係る所定の操作部への操作に基づいて当該操作状況を弁別し、該弁別に基づいて前記表示制御手段による表示形態を選択するように構成されたものであることを特徴とする請求項１１に記載の画像生成装置。
13. 前記表示形態選択手段は、当該車両に係る状況に応じて所定の各操作に関する配列が変化するようになされた操作部への操作に基づいて当該操作状況を弁別し、該弁別に基づいて前記表示制御手段による表示形態を選択するように構成されたものであることを特徴とする請求項１１に記載の画像生成装置。
14. 前記表示形態選択手段は、操作状況の履歴に対して学習する学習機能を備えた操作部への操作に基づいて当該操作状況を弁別し、該弁別に基づいて前記表示制御手段による表示形態を選択するように構成されたものであることを特徴とする請求項１１に記載の画像生成装置。
15. １または複数のカメラからの入力画像を３次元空間の予め決められた空間モデルにマッピングする空間再構成手段と、
    前記空間再構成手段によってマッピングされた空間データを参照して、前記３次元空間における任意の仮想視点から見た画像である仮想視点画像を生成する視点変換手段と、
    前記仮想視点画像に撮影されている同種の物体毎に色分けする色分け手段と、
    前記色分け手段にて変換された画像を表示する表示制御手段と、
    を備えることを特徴とする画像生成装置。
16. 前記画像生成装置は、さらに、
    前記仮想視点画像として生成された画像における同種の物体毎に色分けする色分け手段
    を備えることを特徴とする請求項１に記載の画像生成装置。
17. 前記空間モデルは、平面または曲面を組み合わせて形成されたものであり、
    前記空間モデルに投影される画像は単純化される
    ことを特徴とする請求項１、７、９、１１、又は１５に記載の画像生成装置。
18. 前記表示手段は、近接する被写体の前記仮想視点画像を表示させる場合、該被写体を含む広角の前記仮想視点画像と、該被写体の拡大された前記仮想視点画像とを表示させる
    ことを特徴とする請求項１、７、９、１１、又は１５に記載の画像生成装置。
19. １または複数のカメラからの入力画像を３次元空間の予め決められた空間モデルにマッピングする空間再構成手段と、
    前記空間再構成手段によってマッピングされた空間データを参照して、前記３次元空間における任意の仮想視点から見た画像である仮想視点画像を生成する視点変換手段と、
    前記視点変換手段にて変換された画像を表示する表示制御手段と、
    を備え、
    前記視点変換手段は、ユーザの固有の情報またはユーザの状態に関する情報であるユーザ情報に基づいて前記仮想視点画像を生成する
    ことを特徴とする画像生成装置。
20. 前記視点変換手段は、前記ユーザ情報としての該ユーザの視点に関する情報に基づいて前記仮想視点画像を生成する
    ことを特徴とする請求項１９に記載の画像生成装置。
21. 前記視点変換手段は、前記ユーザ情報としての該ユーザの視野に対応した画角に関する情報に基づいて前記仮想視点画像を生成する
    ことを特徴とする請求項１９に記載の画像生成装置。
22. 前記仮想視点画像は、カーナビゲーションシステムの表示装置に表示される
    ことを特徴とする請求項１に記載の画像生成装置。
23. １または複数のカメラからの入力画像を３次元空間の予め決められた空間モデルにマッピングする空間再構成処理と、
    前記空間再構成処理によってマッピングされた空間データを参照して、前記３次元空間における任意の仮想視点から見た画像である仮想視点画像を生成する視点変換処理と、
    それぞれ相互に異なった視点から見た複数の前記仮想視点画像を表示することを制御する表示制御処理と、
    を、コンピュータに実行させるための画像生成プログラム。
24. １または複数のカメラからの入力画像を３次元空間の予め決められた空間モデルにマッピングする空間再構成処理と、
    前記空間再構成処理によってマッピングされた空間データを参照して、前記３次元空間における任意の仮想視点から見た画像である仮想視点画像を生成する視点変換処理と、
    前記仮想視点画像に撮影されている同種の物体毎に色分けする色分け処理と、
    前記色分け処理にて変換された画像を表示する表示処理と、
    を、コンピュータに実行させるための画像生成プログラム。
25. １または複数のカメラからの入力画像を３次元空間の予め決められた空間モデルにマッピングする空間再構成処理と、
    前記空間再構成処理によってマッピングされた空間データを参照して、前記３次元空間における任意の仮想視点から見た画像である仮想視点画像を生成する視点変換処理と、
    前記視点変換処理にて変換された画像を表示する表示制御処理と、
    を、コンピュータに実行させるための画像生成プログラムであって、
    前記視点変換処理は、ユーザの固有の情報またはユーザの状態に関する情報であるユーザ情報に基づいて前記仮想視点画像を生成する
    ことを特徴とする画像生成プログラム。
26. 車両に搭載された１または複数のカメラからの入力画像を３次元空間の予め決められた空間モデルにマッピングする空間再構成処理と、
    前記空間再構成処理によってマッピングされた空間データを参照して前記３次元空間における任意の仮想視点から見た画像である仮想視点画像を生成する視点変換処理と、
    それぞれ互いに異なった視点から見た複数の前記仮想視点画像を表示することを制御する表示制御処理と、
    前記車両の状態に応じて、前記表示制御処理による表示形態を選択する表示形態選択処理と、
    を、コンピュータに実行させるための画像生成プログラム。
27. 車両に搭載された1または複数のカメラからの入力画像を３次元空間の予め決められた空間モデルにマッピングする空間再構成処理と、
    前記空間再構成処理によってマッピングされた空間データを参照して前記３次元空間における任意の仮想視点から見た画像である仮想視点画換を生成する視点変換処理と、
    それぞれ互いに異なった視点から見た複数の前記仮想視点画像を表示することを制御する表示制御処理と、
    前記車両に係る動作状況に応じて、前記表示制御処理による表示形態を選択する表示形態選択処理と、
    を、コンピュータに実行させるための画像生成プログラム。
28. 車両に搭載された１または複数のカメラからの入力画像を３次元空間の予め決められた空間モデルにマッピングする空間再構成処理と、
    前記空間再構成処理によってマッピングされた空間データを参照して前記３次元空間における任意の仮想視点から見た画像である仮想視点画像を生成する視点変換処理と、
    それぞれ互いに異なった視点から見た複数の前記仮想視点画像を表示することを制御する表示制御処理と、
    操作者による操作状況に応じて、前記表示制御処理による表示形態を選択する表示形態選択処理と、
    を、コンピュータに実行させるための画像生成プログラム。
29. １または複数のカメラからの入力画像を３次元空間の予め決められた空間モデルにマッピングする空間再構成工程と、
    前記空間再構成工程によってマッピングされた空間データを参照して、前記３次元空間における任意の仮想視点から見た画像である仮想視点画像を生成する視点変換工程と、
    それぞれ相互に異なった視点から見た複数の前記仮想視点画像を表示することを制御する表示制御工程と、
    を行うことを特徴とする画像生成方法。
30. １または複数のカメラからの入力画像を３次元空間の予め決められた空間モデルにマッピングする空間再構成工程と、
    前記空間再構成工程によってマッピングされた空間データを参照して、前記３次元空間における任意の仮想視点から見た画像である仮想視点画像を生成する視点変換工程と、
    前記仮想視点画像に撮影されている同種の物体毎に色分けする色分け工程と、
    前記色分け工程にて変換された画像を表示する表示工程と、
    を行うことを特徴とする画像生成方法。
31. １または複数のカメラからの入力画像を３次元空間の予め決められた空間モデルにマッピングする空間再構成工程と、
    前記空間再構成工程によってマッピングされた空間データを参照して、前記３次元空間における任意の仮想視点から見た画像である仮想視点画像を生成する視点変換工程と、
    前記視点変換工程にて変換された画像を表示する表示制御工程と、
    を行う画像生成方法であって、
    前記視点変換工程は、ユーザの固有の情報またはユーザの状態に関する情報であるユーザ情報に基づいて前記仮想視点画像を生成する
    ことを行うことを特徴とする画像生成方法。
32. 車両に搭載された１または複数のカメラからの入力画像を３次元空間の予め決められた空間モデルにマッピングする空間再構成工程と、
    前記空間再構成工程によってマッピングされた空間データを参照して前記３次元空間における任意の仮想視点から見た画像である仮想視点画像を生成する視点変換工程と、
    それぞれ互いに異なった視点から見た複数の前記仮想視点画像を表示することを制御する表示制御工程と、
    前記車両の状態に応じて、前記表示制御工程による表示形態を選択する表示形態選択工程と、
    を行うことを特徴とする画像生成方法。
33. 車両に搭載された1または複数のカメラからの入力画像を３次元空間の予め決められた空間モデルにマッピングする空間再構成工程と、
    前記空間再構成工程によってマッピングされた空間データを参照して前記３次元空間における任意の仮想視点から見た画像である仮想視点画換を生成する視点変換工程と、
    それぞれ互いに異なった視点から見た複数の前記仮想視点画像を表示することを制御する表示制御工程と、
    前記車両に係る動作状況に応じて、前記表示制御工程による表示形態を選択する表示形態選択工程と、
    を行うことを特徴とする画像生成方法。
34. 車両に搭載された１または複数のカメラからの入力画像を３次元空間の予め決められた空間モデルにマッピングする空間再構成工程と、
    前記空間再構成工程によってマッピングされた空間データを参照して前記３次元空間における任意の仮想視点から見た画像である仮想視点画像を生成する視点変換工程と、
    それぞれ互いに異なった視点から見た複数の前記仮想視点画像を表示することを制御する表示制御工程と、
    操作者による操作状況に応じて、前記表示制御工程による表示形態を選択する表示形態選択工程と、
    を行うことを特徴とする画像生成方法。
    
    

Images