JP2019504414A - 車両の周囲の正面の光景を表示する方法及びデバイス並びにそれぞれの車両 - Google Patents

Abstract

本発明は、車両（４２）の周囲の正面の光景を表示する方法であって、車両（４２）の周囲のカメラ画像（２０）を車両カメラ（４４）のレンズ（５３）を通して車両カメラ（４４）の画像センサ（５２）上に捉えるステップ（Ｓ１）；捉えたカメラ画像（２０）を処理ユニット（１０１）により表示画像（３０）であって、画像センサ（５２）の画像センサ平面（５４）に平行な投影平面（９０）に実質的に平行に投影された表示画像（３０）に変換するステップ（Ｓ２）；及び車両（４２）のドライバーによる閲覧のために表示画像（３０）を表示デバイス（１０２）に表示するステップ（Ｓ３）を含む方法に関する。

Description

本発明は、車両の周囲の正面の光景を表示する方法、車両の周囲及び車両の正面の光景を表示するデバイスに関する。

現在の自動又は半自動運転システムは、３Ｄサラウンドビューを提供する複数の車両カメラを備える。捉えたデータから、車両の周囲に関する情報を取得することができる。特に、安全な運転を容易にするためには、走行車線又は他の車両の精度の高い認識が必要である。

広角又は魚眼レンズを備えたカメラは、歪んだ画像を提供することが多く、信頼性の高い情報を推定するためには、それを修正する必要がある。文献ＵＳ８７１８３２９Ｂ２から、トップダウンビュー技術を使用した車両のための明確な走行路を検出する方法が公知である。

ＵＳ８７１８３２９Ｂ２

例えば、カメラの前を横断する車両の運動は多くの場合、歪んだ形で示される。従って、本発明の目的は、歪みの影響を低減した表示画像を提供することである。

主題は、請求項１に記載する車両の周囲の正面の光景を表示する方法、請求項６に記載する車両の周囲の正面図を表示するデバイス、及び請求項１１に記載する車両によって達成される。
第１の態様によると、本発明は、車両の周囲の正面の光景を表示する方法を提供し、方法は、車両の周囲のカメラ画像を車両カメラのレンズを通して前記車両カメラの画像センサ上に捉えることを含む。前記捉えたカメラ画像は、処理ユニットにより表示画像であって、前記画像センサの画像センサ平面平行な投影平面に実質的に平行に投影された表示画像に変換される。前記表示画像は、前記車両のドライバーによる閲覧のために表示デバイスに表示される。

第２の態様によると、本発明は、車両の周囲のカメラ画像を車両カメラのレンズを通して前記車両カメラの画像センサ上に捉えるように構成された車両カメラを備える、車両の周囲の正面の光景を表示するデバイスを提供する。デバイスは、前記捉えたカメラ画像を表示画像であって、前記画像センサの画像センサ平面に平行な投影平面に実質的に平行に投影された表示画像に変換するように構成された処理ユニットを更に備える。更に、デバイスは、前記車両のドライバーによる閲覧のために前記表示画像を表示するように構成された表示デバイスを備える。

第３の態様によると、本発明は、車両の周囲の正面の光景を表示するデバイスを備える車両を提供する。

本発明は、表示画像を生成する方法及びデバイスを提供し、ここで、車両カメラから一定距離にある所定平面に位置するサイズが同一の２つの物体が表示画像において同一のサイズで表示される。換言すると、表示画像は、画像に平行に投影されたかのように物体を表示する。

方法の可能な実施形態において、前記カメラ画像を変換することは、車両カメラから所定の距離に仮想平面を定義するステップ；仮想平面を複数の仮想画素に分割するステップ；カメラ画像であって、複数のカメラ画素を含むカメラ画像への各仮想画素のレンズを通した投影を計算するステップ；及び複数の仮想画素に対応する複数の表示画素であって、それぞれの仮想画素の投影の近傍に存在するカメラ画素に基づき生成される各表示画素を用いて表示画像を生成するステップを含む。方法は、捉えたカメラ画像を投影平面に平行に投影されたように見える表示画像に変換させる。

方法の可能な実施形態において、各表示画素を生成することは、それぞれの仮想画素の投影の近傍に存在するカメラ画素に対して平均化および／またはフィルタリングを行うことを含む。特に、カメラ画像の中心領域においては、歪みの影響のため、カメラ画像は、表示画像よりも多くの詳細を含む。従って、表示画像のそれぞれの画素を生成するには、カメラ画像を簡素化するためにカメラ画素に対する平均化プロセスおよび／またはフィルタリングプロセスが遂行される。

方法の可能な実施形態において、各表示画素を生成することは、それぞれの仮想画素の画像の投影の近傍に存在するカメラ画素に対して補間を行うことを含む。特に、カメラ画像の周辺領域においては、画像は圧縮されて見える。表示画像は、周辺領域においては元々のカメラ画像よりも多くの情報と高い画素密度を含むため、カメラ画像を詳細化するためにカメラ画素を補間する。

方法の可能な実施形態において、車両の周囲において少なくとも１つの更なる物体が検出され、少なくとも１つの更なる物体の速度が、カメラ画像における物体の運動に基づき判定される。距離とサイズの比が表示画像において保持されるため、物体の速度の判定を容易に遂行することができる。

デバイスの可能な実施形態において、マイクロプロセッサは更に、車両カメラから所定の距離に仮想平面を定義し、仮想平面を複数の仮想画素に分割し、カメラ画像であって、複数のカメラ画素を含むカメラ画像への各仮想画素の車両カメラのレンズを通した投影を計算するように構成される。マイクロプロセッサは、複数の仮想画素に対応する複数の表示画素であって、それぞれの仮想画素の投影の近傍に存在するカメラ画素に基づき生成される各表示画素を用いて表示画像を生成するように構成される。

デバイスの可能な実施形態において、マイクロプロセッサは更に、それぞれの仮想画素の投影の近傍に存在するカメラ画素に対して平均化および／またはフィルタリングを行うことにより各表示画素を生成するように構成される。

デバイスの可能な実施形態において、マイクロプロセッサは更に、それぞれの仮想画素の投影の近傍に存在するカメラ画素に対して補間を行うにより各表示画素を生成するように構成される。

可能な実施形態において、デバイスは、車両の周囲において少なくとも１つの更なる物体を検出するように構成された検出デバイスを更に備える。マイクロプロセッサは更に、少なくとも１つの更なる物体速度を表示画像における物体の運動に基づき判定するように構成される。

以下、添付の図面を参照して本発明の異なる態様の可能な実施形態をより詳細に説明する。

一実施形態による車両の周囲の正面の光景を表示する方法のフローチャートを示す。 一実施形態による例示のカメラ画像を示す。 一実施形態による例示の表示画像を示す。 一実施形態による車両から一定距離にある仮想平面の略図を示す。 一実施形態による車両カメラの略図を示す。 一実施形態によるカメラ画像への仮想画素の投影の略図を示す。 一実施形態によるカメラ画像への仮想画素の投影の略図を示す。 一実施形態による仮想平面とカメラ画像と表示画像との関係を示す。 一実施形態による投影平面の略図を示す。 一実施形態による車両の周囲の正面の光景を表示するデバイスのブロック図を示す。 一実施形態による車両のブロック図を示す。

図１は、車両の周囲の正面の光景を表示する方法のフローチャートを示す。車両は、少なくとも１台の車両カメラを備える。ステップＳ１において、車両の周囲のカメラ画像２０が車両カメラのレンズを通して前記車両カメラの画像センサ上に捉えられる。レンズは、画角が１８０度を超える広角レンズ又は魚眼レンズとすることができる。

例示のカメラ画像２０を図２に示す。カメラ画像２０は歪んでいる、即ち、第１の車両２１を示しているカメラ画像２０の中心の領域が引き延ばされている一方で、第２の車両２２を示しているカメラ画像２０の周辺領域は、圧縮されている。

第２のステップＳ２において、前記捉えたカメラ画像２０は、図３に示すように、図２のカメラ画像２０に対応する例示の表示画像３０に変換される。表示画像３０は、前記画像センサの画像センサ平面に平行な投影平面に平行に投影されている。換言すると、元のカメラ画像２０が含まない情報を除き、表示画像３０は、示されたシーンと同じサイズの画像センサに平行に投影されたかのように見える。

第３のステップＳ３において、前記車両のドライバーによる閲覧のために前記表示画像３０が表示デバイスに表示される。

前記カメラ画像の表示画像への変換の例示の実施形態を以下に説明する。

図４において、車両４２が示され、車両４２の前端に車両カメラ４４が備えられている。車両カメラ４４をより詳細に図５に図示する。

車両カメラ４４は、レンズ５３、及び画像センサ５２を備える。画像センサ５２は、ｙ−ｚ平面と一致する画像センサ平面５４内に存在する。ｘ軸に沿って、所定の距離４３、例えば２乃至１０ｍの値の位置に仮想平面４０が定義される。仮想平面４０は更に、複数の仮想画素４１に分割される。仮想画素４１毎に、仮想画素４１のレンズ５３を通した画像センサ５２上への対応する投影５１が計算される。カメラ画像２０上における仮想画素４１の投影５１が取得されるように、画像センサ５２は、カメラ画像２０と同一とみなされる。カメラ画像２０は、複数のカメラ画素を含む。

図６に示す例示のシナリオにおいて、仮想画素４１の投影５１が更なるカメラ画素６１〜６４及び６６〜６９に囲まれた単一のカメラ画素６５内に存在する。図６に示すシナリオは、仮想平面４０の周辺領域に存在する仮想画素４１の場合に現れる。

図７には、代替的な可能なシナリオが図示され、ここでは、仮想画素４１の投影５１は、複数のカメラ画素７１〜８６にまたがっている。こうしたシナリオは、特に仮想平面４０の中心に近い画素の場合に現れる。

次に、表示画像３０が生成され、ここで、表示画像３０は、複数の表示画素３１を含む。各仮想画素４１に対して単一の表示画素３１が割り当てられる。特に、表示画素３１の数と位置は、数と位置又は対応する仮想画素４１に対応する。

図８には、仮想平面４０とカメラ画像２０と表示画像３０との対応が図示されている。関連する仮想画素４１に対応する各表示画素３１は、それぞれの仮想画素４１の投影５１の近傍に存在するカメラ画素６１〜８６に基づき生成される。仮想画素４１の投影５１が単一のカメラ画素に正確に一致する場合、対応する表示画素３１には、この単一のカメラ画素の値が与えられる。

更なる実施形態によると、図６に図示する、仮想画素４１の投影５１が単一のカメラ画素６５内に存在する状況において、仮想画素４１に対応する表示画素３１の生成は、それぞれの仮想画素４１の投影５１の近傍に存在するカメラ画素６１〜６９に対して補間を行うことを含む。近傍は、カメラ画素６５と境界を接している全ての画素を含むことができる。補間することは、双線形補間又は３次ｂ−スプライン補完などの内挿法を含むことができる。

更なる実施形態によると、図７に示すように仮想画素４１の投影５１が複数のカメラ画素７１〜８６にまたがっている場合、表示画素の生成は、それぞれの仮想画素４１の投影５１の近傍に存在するカメラ画素７１〜８６に対して平均化および／またはフィルタリングを行うことを含む。例えば、仮想画素４１に対応する表示画素３１の値を生成するために、カメラ画素７１〜８６のそれぞれの値を加算して画素７１〜８６の総数で除算することができる。

各表示画素３１と対応するカメラ画素との関係を計算することにより、マッピング機能を定義し格納することができる。新しいカメラ画像それぞれについて、カメラ画像の表示画像への変換をこのマッピング機能を用いて遂行することができる。

図９に図示するように、図３に示す表示画像３０は、本質的に画像センサ平面５４に平行な投影平面９１に平行に投影された画像に対応する。仮想平面４０の仮想画素４１は、投影平面９１上の投影画素９０に実質的に平行に投影される。同一のサイズであり、例えば仮想平面４０内の３つの仮想画素４１に対応する第１の車両２１及び第２の車両２２は、表示画像３０上の、ここでも同一のサイズの第１及び第２の車両２１及び２２の画像に投影される。

図１０には、車両４２の周囲の正面図を表示するデバイス１００のブロック図が図示されている。デバイス１００は車両カメラ４４を含み、車両カメラ４４は、車両４２周囲のカメラ画像２０を前記車両カメラ４４のレンズ５３を通して前記車両４４の画像センサ５２上に捉えるように構成されている。更に、デバイス１００は、捉えたカメラ画像２０を表示画像３０に変換するように構成された処理ユニット１０１を含む。表示画像３０は、図９に示すように、投影平面９１であって、前記画像センサ５２の画像センサ平面５４に平行な投影平面９１に平行に投影されている。更に、デバイス１００は、車両４２の内部に配置された表示デバイス１０２を含み、表示デバイス１０２は、車両４２のドライバーによる閲覧のために表示画像３０を表示するように構成されている。

更なる実施形態によると、マイクロプロセッサ１０１は更に、車両カメラ４４から所定の距離４３に仮想平面４０を定義するように構成されている。更に、マイクロプロセッサ１０１は、図４及び５に示すように、仮想平面４０を複数の仮想画素４１に分割するように構成されている。更に、マイクロプロセッサは、カメラ画像２０への各仮想画素４１の車両カメラ４４のレンズ５３を通した投影５１を計算するように構成されている。カメラ画像２０は、図６及び７に示すように、複数のカメラ画素６１〜８６を含む。更に、マイクロプロセッサは、複数の仮想画素４１に対応する複数の表示画素３１であって、それぞれの仮想画素４１の投影５１の近傍に存在するカメラ画素６１〜８６に基づき生成される各表示画素３１を用いて表示画像３０を生成するように構成されている。

更なる実施形態によると、マイクロプロセッサ１０１は、それぞれの仮想画素４１の画像の投影５１の近傍に存在するカメラ画素６１〜８６に対して平均化および／またはフィルタリングを行うことにより各表示画素３１を生成するように構成されている。

更に別の実施形態によると、マイクロプロセッサ１０１は、それぞれの仮想画素４１の画像の投影５１の近傍に存在するカメラ画素６１〜８６に対して補間を行うことにより各表示画素３１を生成するように構成されている。

別の実施形態によると、デバイス１０は、少なくとも１つの更なる物体、例えば車両４２の周囲にある第１及び第２の車両２１及び２２を検出するように構成された検出デバイス１０３を更に備える。マイクロプロセッサ１０１は更に、少なくとも１つの更なる物体２１及び２２の速度を表示画像３０における物体２１、２２の運動に基づき判定するように構成されている。図９に示すように長さの比が保持されるため、第１又は第２の車両２１及び２２の速度は、表示画像３０におけるそれぞれの速度を計算することにより単純に計算することができる。

図１１は、車両４２の周囲の正面の光景を表示するデバイス１００を備える車両４２のブロック図を示す。デバイス１００は、好ましくは上記実施形態のうちの１つに対応する。

本発明は、車両の周囲の正面の光景を表示する方法、車両の周囲の正面の光景を表示するデバイス、及び車両に関する。

現在の自動又は半自動運転システムは、３Ｄサラウンドビューを提供する複数の車両カメラを備える。捉えたデータから、車両の周囲に関する情報を取得することができる。特に、安全な運転を容易にするためには、走行車線又は他の車両の精度の高い認識が必要である。

広角又は魚眼レンズを備えたカメラは、歪んだ画像を提供することが多く、信頼性の高い情報を推定するためには、それを修正する必要がある。文献ＵＳ８７１８３２９Ｂ２から、トップダウンビュー技術を使用した車両のための明確な走行路を検出する方法が公知である。

Ｈｕｇｈｅｓら、「Ｗｉｄｅ−ａｎｇｌｅ ｃａｍｅｒａ ｔｅｃｈｎｏｌｏｇｙ ｆｏｒ ａｕｔｏｍｏｔｉｖｅ ａｐｐｌｉｃａｔｉｏｎｓ：ａ ｒｅｖｉｅｗ」、ＩＥＴ Ｉｎｔｅｌｌｉｇｅｎｔ ｔｒａｎｓｐｏｒｔ ｓｙｓｔｅｍｓ，３（１）、２００９は、歪んだ画像の球面収差が補正されたピンホールモデル画像への変換を開示する。球面投影が、ＣＮ １０３ ２４７ ０３０Ａから公知である。

ＵＳ８７１８３２９Ｂ２

カメラの前を横断する車両の運動は多くの場合、歪んだ形で示される。従って、本発明の目的は、歪みの影響を低減した表示画像を提供することである。

主題は、請求項１に記載する車両の周囲の正面の光景を表示する方法、請求項５に記載する車両の周囲の正面図を表示するデバイス、及び請求項６に記載する車両によって達成される。
第１の態様によると、本発明は、車両の周囲の正面の光景を表示する方法を提供し、方法は、車両の周囲のカメラ画像を車両カメラのレンズを通して前記車両カメラの画像センサ上に捉えることを含む。前記捉えたカメラ画像は、処理ユニットにより表示画像であって、前記画像センサの画像センサ平面平行な投影平面に実質的に平行に投影された表示画像に変換される。前記表示画像は、前記車両のドライバーによる閲覧のために表示デバイスに表示される。

第２の態様によると、本発明は、車両の周囲のカメラ画像を車両カメラのレンズを通して前記車両カメラの画像センサ上に捉えるように構成された車両カメラを備える、車両の周囲の正面の光景を表示するデバイスを提供する。デバイスは、前記捉えたカメラ画像を表示画像であって、前記画像センサの画像センサ平面に平行な投影平面に実質的に平行に投影された表示画像に変換するように構成された処理ユニットを更に備える。更に、デバイスは、前記車両のドライバーによる閲覧のために前記表示画像を表示するように構成された表示デバイスを備える。

第３の態様によると、本発明は、車両の周囲の正面の光景を表示するデバイスを備える車両を提供する。

本発明は、表示画像を生成する方法及びデバイスを提供し、ここで、車両カメラから一定距離にある所定平面に位置するサイズが同一の２つの物体が表示画像において同一のサイズで表示される。換言すると、表示画像は、画像に平行に投影されたかのように物体を表示する。

前記カメラ画像を変換することは、車両カメラから所定の距離に仮想平面を定義するステップ；仮想平面を複数の仮想画素に分割するステップ；カメラ画像であって、複数のカメラ画素を含むカメラ画像への各仮想画素のレンズを通した投影を計算するステップ；及び複数の仮想画素に対応する複数の表示画素であって、それぞれの仮想画素の投影の近傍に存在するカメラ画素に基づき生成される各表示画素を用いて表示画像を生成するステップを含む。方法は、捉えたカメラ画像を投影平面に平行に投影されたように見える表示画像に変換することを可能にする。

方法の可能な実施形態において、各表示画素を生成することは、それぞれの仮想画素の投影の近傍に存在するカメラ画素に対して平均化および／またはフィルタリングを行うことを含む。特に、カメラ画像の中心領域においては、歪みの影響のため、カメラ画像は、表示画像よりも多くの詳細を含む。従って、表示画像のそれぞれの画素を生成するには、カメラ画像を簡素化するためにカメラ画素に対する平均化プロセスおよび／またはフィルタリングプロセスが遂行される。

方法の可能な実施形態において、各表示画素を生成することは、それぞれの仮想画素の画像の投影の近傍に存在するカメラ画素に対して補間を行うことを含む。特に、カメラ画像の周辺領域においては、画像は圧縮されて見える。表示画像は、周辺領域においては元々のカメラ画像よりも多くの情報と高い画素密度を含むため、カメラ画像を詳細化するためにカメラ画素を補間する。

方法の可能な実施形態において、車両の周囲において少なくとも１つの更なる物体が検出され、少なくとも１つの更なる物体の速度が、カメラ画像における物体の運動に基づき判定される。距離とサイズの比が表示画像において保持されるため、物体の速度の判定を容易に遂行することができる。

マイクロプロセッサは更に、車両カメラから所定の距離に仮想平面を定義し、仮想平面を複数の仮想画素に分割し、カメラ画像であって、複数のカメラ画素を含むカメラ画像への各仮想画素の車両カメラのレンズを通した投影を計算するように構成される。マイクロプロセッサは、複数の仮想画素に対応する複数の表示画素であって、それぞれの仮想画素の投影の近傍に存在するカメラ画素に基づき生成される各表示画素を用いて表示画像を生成するように構成される。

デバイスの可能な実施形態において、マイクロプロセッサは更に、それぞれの仮想画素の投影の近傍に存在するカメラ画素に対して平均化および／またはフィルタリングを行うことにより各表示画素を生成するように構成される。

デバイスの可能な実施形態において、マイクロプロセッサは更に、それぞれの仮想画素の投影の近傍に存在するカメラ画素に対して補間を行うにより各表示画素を生成するように構成される。

可能な実施形態において、デバイスは、車両の周囲において少なくとも１つの更なる物体を検出するように構成された検出デバイスを更に備える。マイクロプロセッサは更に、少なくとも１つの更なる物体速度を表示画像における物体の運動に基づき判定するように構成される。

以下、添付の図面を参照して本発明の異なる態様の可能な実施形態をより詳細に説明する。

一実施形態による車両の周囲の正面の光景を表示する方法のフローチャートを示す。 一実施形態による例示のカメラ画像を示す。 一実施形態による例示の表示画像を示す。 一実施形態による車両から一定距離にある仮想平面の略図を示す。 一実施形態による車両カメラの略図を示す。 一実施形態によるカメラ画像への仮想画素の投影の略図を示す。 一実施形態によるカメラ画像への仮想画素の投影の略図を示す。 一実施形態による仮想平面とカメラ画像と表示画像との関係を示す。 一実施形態による投影平面の略図を示す。 一実施形態による車両の周囲の正面の光景を表示するデバイスのブロック図を示す。 一実施形態による車両のブロック図を示す。

図１は、車両の周囲の正面の光景を表示する方法のフローチャートを示す。車両は、少なくとも１台の車両カメラを備える。ステップＳ１において、車両の周囲のカメラ画像２０が車両カメラのレンズを通して前記車両カメラの画像センサ上に捉えられる。レンズは、画角が１８０度を超える広角レンズ又は魚眼レンズとすることができる。

例示のカメラ画像２０を図２に示す。カメラ画像２０は歪んでいる、即ち、第１の車両２１を示しているカメラ画像２０の中心の領域が引き延ばされている一方で、第２の車両２２を示しているカメラ画像２０の周辺領域は、圧縮されている。

第２のステップＳ２において、前記捉えたカメラ画像２０は、図３に示すように、図２のカメラ画像２０に対応する例示の表示画像３０に変換される。表示画像３０は、前記画像センサの画像センサ平面に平行な投影平面に平行に投影されている。換言すると、元のカメラ画像２０が含まない情報を除き、表示画像３０は、示されたシーンと同じサイズの画像センサに平行に投影されたかのように見える。

第３のステップＳ３において、前記車両のドライバーによる閲覧のために前記表示画像３０が表示デバイスに表示される。

前記カメラ画像の表示画像への変換の例示の実施形態を以下に説明する。

図４において、車両４２が示され、車両４２の前端に車両カメラ４４が備えられている。車両カメラ４４をより詳細に図５に図示する。

車両カメラ４４は、レンズ５３、及び画像センサ５２を備える。画像センサ５２は、ｙ−ｚ平面と一致する画像センサ平面５４内に存在する。ｘ軸に沿って、所定の距離４３、例えば２乃至１０ｍの値の位置に仮想平面４０が定義される。仮想平面４０は更に、複数の仮想画素４１に分割される。仮想画素４１毎に、仮想画素４１のレンズ５３を通した画像センサ５２上への対応する投影５１が計算される。カメラ画像２０上における仮想画素４１の投影５１が取得されるように、画像センサ５２は、カメラ画像２０と同一とみなされる。カメラ画像２０は、複数のカメラ画素を含む。

図６に示す例示のシナリオにおいて、仮想画素４１の投影５１が更なるカメラ画素６１〜６４及び６６〜６９に囲まれた単一のカメラ画素６５内に存在する。図６に示すシナリオは、仮想平面４０の周辺領域に存在する仮想画素４１の場合に現れる。

図７には、代替的な可能なシナリオが図示され、ここでは、仮想画素４１の投影５１は、複数のカメラ画素７１〜８６にまたがっている。こうしたシナリオは、特に仮想平面４０の中心に近い画素の場合に現れる。

次に、表示画像３０が生成され、ここで、表示画像３０は、複数の表示画素３１を含む。各仮想画素４１に対して単一の表示画素３１が割り当てられる。特に、表示画素３１の数と位置は、対応する仮想画素４１の数と位置に対応する。

図８には、仮想平面４０とカメラ画像２０と表示画像３０との対応が図示されている。関連する仮想画素４１に対応する各表示画素３１は、それぞれの仮想画素４１の投影５１の近傍に存在するカメラ画素６１〜８６に基づき生成される。仮想画素４１の投影５１が単一のカメラ画素に正確に一致する場合、対応する表示画素３１には、この単一のカメラ画素の値が与えられる。

更なる実施形態によると、図６に図示する、仮想画素４１の投影５１が単一のカメラ画素６５内に存在する状況において、仮想画素４１に対応する表示画素３１の生成は、それぞれの仮想画素４１の投影５１の近傍に存在するカメラ画素６１〜６９に対して補間を行うことを含む。近傍は、カメラ画素６５と境界を接している全ての画素を含むことができる。補間することは、双線形補間又は３次ｂ−スプライン補完などの内挿法を含むことができる。

更なる実施形態によると、図７に示すように仮想画素４１の投影５１が複数のカメラ画素７１〜８６にまたがっている場合、表示画素の生成は、それぞれの仮想画素４１の投影５１の近傍に存在するカメラ画素７１〜８６に対して平均化および／またはフィルタリングを行うことを含む。例えば、仮想画素４１に対応する表示画素３１の値を生成するために、カメラ画素７１〜８６のそれぞれの値を加算して画素７１〜８６の総数で除算することができる。

各表示画素３１と対応するカメラ画素との関係を計算することにより、マッピング機能を定義し格納することができる。新しいカメラ画像それぞれについて、カメラ画像の表示画像への変換をこのマッピング機能を用いて遂行することができる。

図９に図示するように、図３に示す表示画像３０は、本質的に画像センサ平面５４に平行な投影平面９１に平行に投影された画像に対応する。仮想平面４０の仮想画素４１は、投影平面９１上の投影画素９０に実質的に平行に投影される。同一のサイズであり、例えば仮想平面４０内の３つの仮想画素４１に対応する第１の車両２１及び第２の車両２２は、表示画像３０上の、ここでも同一のサイズの第１及び第２の車両２１及び２２の画像に投影される。

図１０には、車両４２の周囲の正面図を表示するデバイス１００のブロック図が図示されている。デバイス１００は車両カメラ４４を含み、車両カメラ４４は、車両４２の周囲のカメラ画像２０を前記車両カメラ４４のレンズ５３を通して前記車両４４の画像センサ５２上に捉えるように構成されている。更に、デバイス１００は、捉えたカメラ画像２０を表示画像３０に変換するように構成された処理ユニット１０１を含む。表示画像３０は、図９に示すように、投影平面９１であって、前記画像センサ５２の画像センサ平面５４に平行な投影平面９１に平行に投影されている。更に、デバイス１００は、車両４２の内部に配置された表示デバイス１０２を含み、表示デバイス１０２は、車両４２のドライバーによる閲覧のために表示画像３０を表示するように構成されている。

マイクロプロセッサ１０１は、車両カメラ４４から所定の距離４３に仮想平面４０を定義するように構成されている。更に、マイクロプロセッサ１０１は、図４及び５に示すように、仮想平面４０を複数の仮想画素４１に分割するように構成されている。更に、マイクロプロセッサは、カメラ画像２０への各仮想画素４１の車両カメラ４４のレンズ５３を通した投影５１を計算するように構成されている。カメラ画像２０は、図６及び７に示すように、複数のカメラ画素６１〜８６を含む。更に、マイクロプロセッサは、複数の仮想画素４１に対応する複数の表示画素３１であって、それぞれの仮想画素４１の投影５１の近傍に存在するカメラ画素６１〜８６に基づき生成される各表示画素３１を用いて表示画像３０を生成するように構成されている。

更なる実施形態によると、マイクロプロセッサ１０１は、それぞれの仮想画素４１の画像の投影５１の近傍に存在するカメラ画素６１〜８６に対して平均化および／またはフィルタリングを行うことにより各表示画素３１を生成するように構成されている。

更に別の実施形態によると、マイクロプロセッサ１０１は、それぞれの仮想画素４１の画像の投影５１の近傍に存在するカメラ画素６１〜８６に対して補間を行うことにより各表示画素３１を生成するように構成されている。

別の実施形態によると、デバイス１０は、少なくとも１つの更なる物体、例えば車両４２の周囲にある第１及び第２の車両２１及び２２を検出するように構成された検出デバイス１０３を更に備える。マイクロプロセッサ１０１は更に、少なくとも１つの更なる物体２１及び２２の速度を表示画像３０における物体２１、２２の運動に基づき判定するように構成されている。図９に示すように長さの比が保持されるため、第１又は第２の車両２１及び２２の速度は、表示画像３０におけるそれぞれの速度を計算することにより単純に計算することができる。

図１１は、車両４２の周囲の正面の光景を表示するデバイス１００を備える車両４２のブロック図を示す。デバイス１００は、好ましくは上記実施形態のうちの１つに対応する。

Claims (11)

1. −車両（４２）の周囲の正面の光景を表示する方法であって、
   −前記車両（４２）の周囲のカメラ画像（２０）を車両カメラ（４４）のレンズ（５３）を通して前記車両カメラ（４４）の画像センサ（５２）上に捉えるステップ（Ｓ１）；
   −前記捉えたカメラ画像（２０）を処理ユニット（１０１）により表示画像（３０）であって、前記画像センサ（５２）の画像センサ平面（５４）に平行な投影平面（９０）に実質的に平行に投影された表示画像（３０）に変換するステップ（Ｓ２）；及び
   −前記車両（４２）のドライバーによる閲覧のために前記表示画像（３０）を表示デバイス（１０２）に表示するステップ（Ｓ３）を含む、方法。
2. 前記カメラ画像（２０）を変換するステップが、
   −前記車両カメラ（４４）から所定の距離（４３）に仮想平面（４０）を定義するステップ；
   −前記仮想平面（４０）を複数の仮想画素（４１）に分割するステップ；
   −前記カメラ画像（２０）であって、複数のカメラ画素（６１〜８６）を含む前記カメラ画像（２０）への各仮想画素（４１）の前記レンズ（５３）を通した投影（５１）を計算するステップ；及び
   −前記複数の仮想画素（４１）に対応する複数の表示画素（３１）であって、前記それぞれの仮想画素（４１）の前記投影（５１）の近傍に存在する前記カメラ画素（６１〜８６）に基づき生成される各表示画素（３１）を用いて前記表示画像（３０）を生成するステップを含む、請求項１に記載の方法、
3. 各表示画素（３１）を生成することが、前記それぞれの仮想画素（４１）の前記投影（５１）の近傍に存在する前記カメラ画素に対して平均化および／またはフィルタリングを行うことを含む、請求項２に記載の方法。
4. 各表示画素（３１）を生成することが、前記それぞれの仮想画素（４１）の前記画像の前記投影（５１）の近傍に存在するカメラ画素（６１〜８６）に対して補間を行うことを含む、請求項２又は３のいずれかに記載の方法。
5. 前記車両（４２）の周囲において少なくとも１つの更なる物体（２１、２２）が検出され、前記少なくとも１つの更なる物体（２１、２２）の速度が、前記カメラ画像（３０）における前記物体（２１、２２）の運動に基づき判定される、請求項２から４のいずれか一項に記載の方法。
6. −車両（４２）の周囲の正面の光景を表示するデバイス（１００）であって、
   −前記車両（４２）の周囲のカメラ画像（２０）を車両カメラ（４４）のレンズ（５３）を通して前記車両カメラ（４４）の画像センサ（５２）上に捉えるように構成された車両カメラ（４４）；
   −前記捉えたカメラ画像（２０）を、表示画像（３０）であって、前記画像センサ（５２）の画像センサ平面（５４）に平行な投影平面（９１）に実質的に平行に投影された表示画像（３０）に変換するように構成された、処理ユニット（１０１）；及び
   −前記車両（４２）のドライバーによる閲覧のために前記表示画像（３０）を表示するように構成された表示デバイス（１０２）を備える、デバイス。
7. 前記マイクロプロセッサ（１０１）が更に、
   −前記車両カメラ（４４）から所定の距離（４３）に仮想平面（４０）を定義し；
   −前記仮想平面（４０）を複数の仮想画素（４１）に分割し；
   −前記カメラ画像（２０）であって、複数のカメラ画素（６１〜８６）を含む前記カメラ画像（２０）への各仮想画素（４１）の前記車両カメラ（４４）の前記レンズ（５３）を通した投影（５１）を計算し；
   −前記複数の仮想画素（４１）に対応する複数の表示画素（３１）であって、前記それぞれの仮想画素（４１）の前記投影（５１）の近傍に存在する前記カメラ画素（６１〜８６）に基づき生成される各表示画素（３１）を用いて前記表示画像（３０）を生成するように構成されている、請求項６に記載のデバイス（１００）。
8. 前記マイクロプロセッサ（１０１）が更に、前記それぞれの仮想画素（４１）の前記投影（５１）の近傍に存在する前記カメラ画素（６１〜８６）に対して平均化および／またはフィルタリングを行うことにより各表示画素（３１）を生成するように構成されている、請求項６又は７に記載のデバイス（１００）
9. 前記マイクロプロセッサ（１０１）が更に、前記それぞれの仮想画素（４１）の前記投影（５１）の近傍に存在するカメラ画素（６１〜８６）に対して補間を行うことにより各表示画素（３１）を生成するように構成されている、請求項６から８のいずれか一項に記載のデバイス（１００）。
10. 前記車両（４２）の周囲において少なくとも１つの更なる物体（２１、２２）を検出するように構成された検出デバイス（１０３）を更に備え；前記マイクロプロセッサ（１０１）が更に、前記少なくとも１つの更なる物体（２１、２２）の速度を前記表示画像（３０）における前記物体（２１、２２）の運動に基づき判定するように構成されている、請求項６から９のいずれか一項に記載のデバイス（１００）
11. 請求項６から１０のいずれか一項に記載の車両（４２）の周囲の正面の光景を表示するデバイス（１００）を備えた車両（４２）。

Images