JP2020502640A - 乗物用サラウンドビューシステム - Google Patents

Abstract

本発明は、乗物用サラウンドビューシステムに関する。サラウンドビューシステムは、非中央位置から乗物の周辺の画像の撮影を行う少なくとも１つの実カメラ（２）と、仮想カメラ（７）と、画像処理ユニットと、表示ユニットとを備え、表示ユニットは、実カメラ（２）により撮影された画像および少なくとも１つの幾何学的形状（１１〜１３）をオーバーレイとして実カメラにより撮影された画像上に投影表示するように構成される。画像処理ユニットは、実カメラ（２）により撮影された画像を、実カメラ（２）に対して垂直に配置されるため実カメラ（２）により撮影された画像における実カメラ（２）の非中央位置から生じるパースペクティブ歪みが補正される第１平面（９）に投影し、少なくとも１つの幾何学的形状（１１〜１３）を、仮想カメラ（７）に対して垂直に配置されるため少なくとも１つの幾何学的形状（１１〜１３）が歪まずに表示ユニット（４）上に表示される第２平面（１０）に投影するように構成される。また、画像処理ユニットは、実カメラ（２）と仮想カメラ（７）間のデルタ変換を用いて第１平面（９）と第２平面（１０）間でアフィン変換（Ｔ）を求め、求められたアフィン変換（Ｔ）を、実カメラ（２）により撮影され、投影および補正された実カメラ（２）の画像（８’）を含むため実カメラ（２）の補正された画像（８’）の修正された表示（８’’）が第２平面（１０）の少なくとも１つの歪んでいない幾何学的形状（１１〜１３）を用いて調整される第１平面（９）に適用するように構成される。

Description

本発明は、乗物用サラウンドビューシステムに関する。また、本発明は、乗物の周辺のサラウンドビューを表示する方法に関する。さらなる請求項は、方法を実施するためのプログラム素子およびコンピュータ可読媒体に関する。

一般に、サラウンドビューシステムの表示ユニットにおける表示は、乗物に設けられ乗物の周辺の撮影を行う実カメラの投影画像を含む。また、幾何学的形状はオーバーレイとしてカメラの投影画像上に配置され、幾何学的形状とは例えば乗物の軌跡などが考えられる。その際、カメラの投影画像はオーバーレイ用に適合しなければならない。しかし、カメラが乗物において中央に設けられていない場合、オーバーレイかカメラの画像のいずれかが歪んで見える。そのような歪んだ見え方は望ましくない。

ＵＳ２０１６／０３１１３７４ ＵＳ２０１１／００３２３７４ ＵＳ２０１５／００４２７９９

したがって、本発明の課題は、オーバーレイとカメラの画像の両方が歪まずに所定のように互いに対して調整され乗物の表示ユニット上に表示されることを可能にする、サラウンドビューシステムおよび上述のような方法を提供することである。

この課題は、独立請求項の対象により解決される。有利な実施形態は、従属請求項、下記の発明の詳細な説明および図面の対象である。

本発明の第１の態様によれば、乗物用サラウンドビューシステムが提供される。

サラウンドビューシステムは非中央位置から乗物の周辺の画像の撮影を行う少なくとも１つの実カメラを含む。実カメラとは有利には乗物の周辺の画像撮影または動画撮影を行うことができ、画像撮影または動画撮影を示すデータを保存、出力および転送できるデジタルカメラに関する。サラウンドビューシステムは、複数の実カメラの個々の画像を全体サラウンドビュー（例えば乗物の３６０°サラウンドビュー）にまとめることができるような、乗物に設けることができる複数、例えば４つの実カメラを含んでもよい。特に、少なくとも１つの実カメラは、中央でない位置から乗物の周辺の多数の画像を撮影するように構成される。また、本発明を１つのカメラによる１つの画像の撮影に関して説明する場合、少なくとも１つの実カメラを用いて撮影することができる多数の画像とは別の、中央でない位置からの乗物の周辺の画像にも説明はやはり該当する。これに関連して、特に、「非中央位置」の特徴として、カメラは乗物の想定される縦軸に関して偏心および傾斜して乗物上または乗物内に設けられており乗物前方領域を撮影できると理解してよい。

また、サラウンドビューシステムは、仮想カメラと、画像処理ユニットと、表示ユニットとを含む。一方で、画像処理ユニットは実カメラと通信接続されている。他方で、画像処理ユニットは表示ユニットとも通信接続されている。このようにして、特に、実カメラは画像データを画像処理ユニットに転送でき、画像処理ユニットは画像データを処理でき、処理された画像データを表示ユニットに転送できる。画像処理ユニットはソフトウェアベースで実装されてよい。

一方で、表示ユニットは実カメラにより撮影された画像を投影表示するように構成されている。他方で、表示ユニットは同様に、少なくとも１つの幾何学的形状をオーバーレイとして実カメラにより撮影された画像上に投影表示するように構成される。

画像処理ユニットは、実カメラにより撮影された画像を、実カメラに対して垂直に配置されるため実カメラにより撮影された画像における実カメラの非中央位置から生じるパースペクティブ歪みが補正される第１表面または平面に投影するように構成されている。

また、画像処理ユニットは、少なくとも１つの幾何学的形状を、仮想カメラに対して垂直に配置されるため少なくとも１つの幾何学的形状が歪まずに表示ユニット上に表示される第２表面または平面に投影するように構成されている。したがって、実カメラは構造上物理的に存在する一方、仮想カメラはたんに想定されるか、または表示ユニット上に表示される画像に含まれ、本発明のサラウンドビューシステムのユーザまたは本発明のサラウンドビューシステムを備える乗物の仮想パースペクティブを示す。第２平面は、表示ユニット上に表示され、例えば乗物のダッシュボード領域のモニタ上であり、乗物のユーザが視認できる平面である。

さらに、画像処理ユニットは、実カメラと仮想カメラ間のデルタ変換を用いて第１平面と第２平面間でアフィン変換を求め、求められたアフィン変換を、実カメラにより撮影され、投影および補正された実カメラの画像を含むため（第１平面に含まれる）実カメラの補正された画像の修正された表示が第２平面の少なくとも１つの歪んでいない幾何学的形状を用いて調整される第１平面に適用するように構成されている。

デルタ変換は、外部カメラパラメータ及び内部カメラパラメータに関して実カメラの仮想カメラからの偏差を考慮する。これにより、第１平面の実カメラにより撮影された画像内のオブジェクトは傾斜することなく表示され、パースペクティブが正確であるかのようになり、デルタ変換において特に考慮されるのは実カメラが非中央に乗物に設けられていることである。

アフィン変換を用いて、第１平面に補正されて投影されたカメラの画像は仮想カメラの位置から撮影したかのようにこのようにして擬似的に歪められる。これにより、実カメラにより撮影された画像に含まれるオブジェクトを第２平面において補正して表示することが可能になると同時に、少なくとも１つの例えば乗物の軌跡などの幾何学的形状をオーバーレイとして第２平面に歪みなく表示することを可能にし、オブジェクトと少なくとも１つの幾何学的形状が第２平面において互いに対して正確に調整される。

本発明の第２の態様によれば、実カメラが非中央に乗物に設けられている、第１の態様によるサラウンドビューシステムを備える乗物が提供される。例えば、乗物とは、乗用車、バスもしくはトラックなどの車両に関し、または軌道車両、船舶、ヘリコプターもしくは飛行機などの航空機にも関し、または例えば自転車に関する。

本発明の第３の態様によれば、本発明の第２の態様による乗物の周辺のサラウンドビューを表示する方法が提供される。方法は、実カメラを用いて乗物の周辺の画像を撮影し、実カメラにより撮影された画像を、実カメラに対して垂直に配置されるため実カメラにより撮影された画像における実カメラの非中央位置から生じるパースペクティブ歪みが補正される第１平面に投影することを含む。また、少なくとも１つの幾何学的形状をオーバーレイとして、仮想カメラに対して垂直に配置されるため少なくとも１つの幾何学的形状が歪まずに表示ユニット上に表示される第２平面に投影することが行われる。さらに、実カメラと仮想カメラ間のデルタ変換を用いて第１平面と第２平面間でアフィン変換が求められ、求められたアフィン変換が、実カメラにより撮影され、投影および補正された実カメラの画像を含むため（第１平面に含まれる）実カメラの補正された画像の修正された表示が第２平面の少なくとも１つの歪んでいない幾何学的形状を用いて調整される第１平面に適用される。

本発明の第４の態様によれば、プロセッサ上に実装される場合、プロセッサに本発明の第３の態様の方法による方法ステップを実行することを命令するプログラム素子が提供される。

本発明の第５の態様によれば、プロセッサ上に実装される場合、プロセッサに本発明の第３の態様の方法による方法ステップを実行することを命令するプログラム素子が保存されているコンピュータ可読媒体が提供される。

以下、本発明の実施形態例について概略図を参照しながら詳細に説明する。

図１は、本発明のサラウンドビューシステムの実施形態例を用いた乗物の側面図である。 図２は、図１の乗物の大幅に簡略化された平面図である。 図３は、図１のサラウンドビューシステムの可能な動作方式の基本図である。

図１および２は乗用車の形状の乗物を示す。乗物１は、少なくとも１つのフィジカルまたは実カメラ２と、画像処理ユニット３と、図示されていないユーザの視野範囲にある、乗物１内のモニタの形状の表示ユニット４とを含む。画像処理ユニット３は実カメラ２および表示ユニット４と通信接続されているため、実カメラ２は撮影された画像を示す画像データを画像処理ユニット３に転送できる一方、画像処理ユニット３は受信した画像データを処理でき、処理された画像データを表示ユニット４に転送できる。また、画像処理ユニット３は実カメラ２または表示ユニット４にも組み込むことができる。

乗物１は道路５を移動し、実カメラ２は実カメラ２が乗物１の外部周辺における前方領域６の画像を撮影できるように乗物１に設けられる。図２から明らかなように、実カメラ２は非中央に乗物１に設けられている。図２において、乗物１の縦軸Ｌが表示されており、実カメラ２は側方に歪んで乗物１の縦軸Ｌの横において乗物１に設けられている。また、図２は、実カメラ２が傾斜して、つまり乗物１の縦軸Ｌに関して平行でない状態で乗物に設けられる場合があることを示している。実カメラ２、画像処理ユニット３および表示ユニット４はともに乗物１のサラウンドビューシステムを構成しており、画像処理ユニット３はさらに存在しない仮想カメラ７を生成する。

図３は、実カメラ２により撮影された乗物１の周辺６の画像を乗物１の表示ユニット４上に乗物１のパノラマ画像として表示されるようにどのように処理できるかを示している。実カメラ２により撮影された画像は複数のオブジェクトを含み、図３ではこれらのオブジェクト８の１つが大幅に概略化されて示されている。オブジェクト８とは例えば乗物１の前方領域の別の乗物（不図示）のバンパであってよい。乗物１の動作方式が以下にオブジェクト８に基づいて説明されるが、この説明は同様に実カメラ２により撮影された画像に含まれるそれ以外のオブジェクト（不図示）にも当てはまる。

オブジェクト８を有する実カメラ２により撮影された画像は、実カメラ２に対して垂直に配置されるため実カメラ２により撮影された画像における実カメラ２の非中央位置から生じるパースペクティブ歪みが補正される第１表面または平面９に投影される。このようにして、第１平面９内のオブジェクト８の第１の修正された表示８’が生成される。第１平面９の画像コンテンツではなく、以下に説明される第２平面の画像コンテンツが乗物１の表示ユニット４上に表示される。

画像処理ユニット３は、少なくとも１つの幾何学的形状１１〜１３をオーバーレイとして、仮想カメラ７に対して垂直に配置されるため少なくとも１つの幾何学的形状１１〜１３を有する第２平面１０が歪まずに乗物１の表示ユニット上に表示される第２平面に投影する。例えば、図３において、乗物１の所定の軌跡を記述する３つの幾何学的形状が示されている。

また、画像処理ユニット３は、実カメラ２と仮想カメラ７間のデルタ変換を用いて第１平面９と第２平面１０間でアフィン変換Ｔを求め、求められたアフィン変換Ｔをオブジェクト８の第１の修正された表示８’を含む第１平面９に適用する。このようにして、第２平面１０内のオブジェクト８の第２の修正された表示８’’が生成され、この第２の修正された表示８’’が第２平面の少なくとも１つの歪んでいない幾何学的形状１１〜１３を用いて調整される。オブジェクト８の修正された表示８’’と幾何学的形状１１〜１３を有する第２平面は表示ユニット４上に表示される。

Claims (5)

1. 乗物（１）用サラウンドビューシステムにおいて、前記サラウンドビューシステムは、非中央位置から前記乗物（１）の周辺（６）の画像の撮影を行う少なくとも１つの実カメラ（２）と、仮想カメラ（７）と、画像処理ユニット（３）と、表示ユニット（４）とを備え、前記表示ユニット（４）は、
   −前記実カメラ（２）により撮影された画像および
   −少なくとも１つの幾何学的形状（１１〜１３）をオーバーレイとして実カメラにより撮影された画像上に投影表示するように構成され、
   前記画像処理ユニット（３）は、
   −前記実カメラ（２）により撮影された前記画像を、前記実カメラ（２）に対して垂直に配置されるため前記実カメラ（２）により撮影された前記画像における前記実カメラ（２）の非中央位置から生じるパースペクティブ歪みが補正される第１平面（９）に投影し、
   −前記少なくとも１つの幾何学的形状（１１〜１３）を、前記仮想カメラ（７）に対して垂直に配置されるため前記少なくとも１つの幾何学的形状（１１〜１３）が歪まずに前記表示ユニット（４）上に表示される第２平面（１０）に投影し、
   −前記実カメラ（２）と前記仮想カメラ（７）間のデルタ変換を用いて前記第１平面（９）と前記第２平面（１０）間でアフィン変換（Ｔ）を求め、
   −前記求められたアフィン変換（Ｔ）を、前記実カメラ（２）により撮影され、投影および補正された前記実カメラ（２）の前記画像（８’）を含むため前記実カメラ（２）の前記補正された画像（８’）の修正された表示（８’’）が前記第２平面（１０）の前記少なくとも１つの歪んでいない幾何学的形状（１１〜１３）を用いて調整される前記第１平面（９）に適用するように構成される、サラウンドビューシステム。
2. 前記実カメラ（２）が非中央に前記乗物（１）に設けられている、請求項１に記載のサラウンドビューシステムを備える乗物（１）。
3. 請求項２に記載の乗物（１）の周辺（６）のサラウンドビューを表示する方法において、
   −前記実カメラ（２）を用いて前記乗物（１）の前記周辺（６）の画像を撮影するステップと、
   −前記実カメラ（２）により撮影された前記画像を、前記実カメラ（２）に対して垂直に配置されるため前記実カメラ（２）により撮影された前記画像における前記実カメラ（２）の非中央位置から生じるパースペクティブ歪みが補正される前記第１平面（９）に投影するステップと、
   −前記少なくとも１つの幾何学的形状（１１〜１３）をオーバーレイとして、前記仮想カメラ（７）に対して垂直に配置されるため前記少なくとも１つの幾何学的形状（１１〜１３）が歪まずに前記表示ユニット（４）上に表示される前記第２平面（１０）に投影するステップと、
   −前記実カメラ（２）と前記仮想カメラ（７）間のデルタ変換を用いて前記第１平面（９）と前記第２平面（１０）間でアフィン変換（Ｔ）を求めるステップと、
   −前記求められたアフィン変換（Ｔ）を、前記実カメラ（２）により撮影され、投影および補正された前記実カメラ（２）の前記画像を含むため前記実カメラ（２）の前記補正された画像（８’）の修正された表示（８’’）が前記第２平面（１０）の前記少なくとも１つの歪んでいない幾何学的形状（１１〜１３）を用いて調整される前記第１平面（９）に適用するステップと、を備える方法。
4. プロセッサ上に実装される場合、前記プロセッサに請求項３に記載の方法ステップを実行することを命令するプログラム素子。
5. プロセッサ上に実装される場合、前記プロセッサに請求項３に記載の方法ステップを実行することを命令するプログラム素子が保存されているコンピュータ可読媒体。

Images