JP2020513701A - 三次元サラウンドビュー・システム - Google Patents

Abstract

本発明は、被牽引車両（６）が、直線的なプルロッド（１１）によって、該車両（１）の上下軸（ｚ）を軸として該車両（１）に対して回動自在にジョイントされている場合における、車両（１）と被牽引車両（６）からなる複合車両（１０）用の三次元サラウンドビュー・システムに関する。該サラウンドビュー・システムは、車両（１）の複数のカメラ（２から５）、被牽引車両（６）の複数のカメラ（７から９）、一つの画像加工ユニット（１３）と光学的出力ユニット（１４）を包含している。該画像処理ユニット（１３）は、車両（１）の一台のカメラ（５）によって撮影された画像からプルロッド（１１）が、上下軸（ｚ）を中心に車両（１）に対してどの程度、該車両（１）の前方方向（ｘ）から相対的にずれているのかを示す第一回転角（α）を割り出すことができる様に構成されている。割り出されたプルロッドの第一回転角（α）に基づいて、車両（１）のカメラ（２から５）によって作成された車両サラウンド画像の被牽引車両（６）によって隠された画像領域が、被牽引車両（６）のカメラ（７から９）によって作成された被牽引車両サラウンド画像の対応する画像領域によって置き換えられる。この様にすることで、表示ユニット（１４）は、複合車両（１０）全体の三次元のサラウンド画像を描写することができる。

Description

本発明は、被牽引車両が、直線的なプルロッドによって、該車両の少なくとも上下軸を軸として該車両に対して回動自在にジョイントされている場合における、車両と被牽引車両からなる複合車両用の三次元サラウンドビュー・システムに関する。

ＵＳ２０１２／０２６２５８０Ａ１からは、車両の異なるポジションに設置されている、例えば、四台のカメラによって該車両のサラウンドビューを提供することができるサラウンドビュー・システムが、既知である。該カメラは、サラウンドビューに対応する画像データを作成し、一つの処理手段が、該画像データを処理し、ディスプレイ上で観察可能なシミュレーションされ予め定められた形のサラウンドビューを作成する。該シミュレーションされ予め定められた形のサラウンドビューは、例えば、ボウル状であることができる。

しかし、該車両が被牽引車両を牽引している場合、該被牽引車両は、該車両のカメラの少なくとも一台の視野内にあり、該車両の３６０°サラウンド画像内のある領域を占有してしまう。これにより、例えば、車両のリヤ領域に設置されているカメラは、該車両後方の大部分において、被牽引車両までの領域のみしか捕捉できず、場合によっては重要となり得る、該被牽引車両の後方、及び、該被牽引車両の側方（左右）の領域は、捕捉できない。この様に、該被牽引車両は、該車両のサラウンド画像内に、死角となる領域を作ってしまう。

特開２０１２−１０５１５８ ＵＳ２０１４／００８５４７２ ＷＯ２０１６／０２６８７０

よって、本発明の課題は、冒頭に述べた種に属する、但し、死角となる領域を、少なくとも削減できる、三次元サラウンドビュー・システムを提供することにある。

本発明によれば、上記課題は、独立請求項に記載されている対象によって達成される。尚、有利な実施形態は、従属請求項、以下の明細書、並びに、図の対象である。

本発明の第一アスペクトによれば、車両と被牽引車両からなる複合車両用の三次元サラウンドビュー・システムが、提供される、但し、該被牽引車両は、直線的なプルロッドによって、該車両の少なくとも上下軸を軸として該車両に対して回動自在にジョイントされている。

該サラウンドビュー・システムは、複数台の、特に好ましくは、四台の車両のカメラ、複数の、特に好ましくは、三台の被牽引車両のカメラ、一つの画像処理ユニット、並びに、光学的出力ユニット、例えば、該車両のインストルメントパネル内、乃至、上に設けられるディスプレイを包含している。該車両としては、例えば、乗用車、バス、貨物自動車などの動力車両、更には、二輪自動車や自転車なども挙げることができる。カメラとしては、該車両乃至被牽引車両の周辺領域の画像撮影、乃至、動画撮影を実施でき、且つ、該画像撮影、乃至、動画撮影を司る画像データを保存、出力、伝達することができるデジタルカメラが好ましい。該画像処理ユニットは、カメラの画像データにアクセスでき、本発明に係る主旨に沿って、これを処理できる。

特に好ましくは四台の車両のカメラは、車両の座標系を基準にキャリブレーションされており、該車両に、全四台のカメラのそれぞれ一枚の（特に好ましくは同時に撮影された）画像を合成することにより三次元の車両サラウンド画像が作成され、且つ、該光学的出力ユニットに表示されることができる様に配置されているが、車両サラウンド画像のプルロッド領域には、該プルロッドが表示される。車両の座標系は、特に好ましくは、デカルト座標系であるが、その際、それぞれ、ｘ軸が、車両の長手方向、ｙ軸が、幅方向、ｚ軸が、高さ方向を定義している。特に好ましくは、ｘ軸とｙ軸は、該車両が走行している道路表面の車線表面と平行なレベル面であることができる。その際、ｚ軸は、路面基準である。

更に、特に好ましくは三台の被牽引車両のカメラは、被牽引車両の座標系を基準にキャリブレーションされており、且つ、該被牽引車両に、全三台のカメラのそれぞれ一枚の（特に好ましくは同時に撮影された）画像を合成することにより三次元の被牽引車両サラウンド画像が作成される様に取り付けられているが、該被牽引車両サラウンド画像は、該被牽引車両の両サイドの周辺部、並びに、該被牽引車両の後方の周辺部を示すものである。

また、該画像処理ユニットは、車両サラウンド画像のプルロッド領域から、プルロッドが、上下軸を中心に車両に対してどの程度、該車両の前方方向から相対的にずれているのかを示す第一回転角αを割り出すことができる様に構成されている。該車両の上下軸は、その際、該車両座標系の上下軸である。

更に、該画像処理ユニットは、被牽引車両が写っている車両サラウンド画像の被牽引車両領域を、割り出されたプルロッドの該第一回転角に応じて、被牽引車両部分サラウンド画像の対応する画像領域によって、置き換えることができる様に構成されている。

車両サラウンド画像の被牽引車両領域は、車両の後ろから被牽引車両までは示すものの、車両サラウンド画像内において、該被牽引車両の後ろ、乃至、双方の側方にあり、そのため該被牽引車両によって隠されたオブジェクトは描写できない死角である。しかし、該隠されたオブジェクトは、被牽引車両のカメラによって捕捉され、被牽引車両サラウンド画像の一つの画像領域内に描写されることができる。車両サラウンド画像内の（隠されたオブジェクトを含まない）被牽引車両領域は、被牽引車両サラウンド画像の対応する領域によって置き換えることができ、該画像領域は、該被牽引車両によって隠された画像領域、乃至、その領域内にある隠されたオブジェクトを包含している。

割り出された該車両の上下軸を中心とした車両の前方方向に対する回転角αに基づいて、該画像処理ユニットは、これにより死角を最低限にできる、或いは、排除できる、且つ、該被牽引車両によって隠され、車両のカメラが捕捉できない画像領域、乃至、該車両サラウンド画像内の隠されたオブジェクトを描写することができる被牽引車両サラウンド画像の画像領域を選択できる。言い換えれば、本発明に係るサラウンドビュー・システムによれば、複合車両全体の三次元サラウンド画像を表示ユニット上に示すことができ、特に、被牽引車両の側方の周辺領域、並びに、該被牽引車両の後方の領域を、サラウンドビュー・システムのユーザー、乃至、該サラウンドビュー・システムを備えた車両のユーザーに表示することができる。

そのため、画像処理ユニットによって、被牽引車両サラウンド画像の画像領域内のオブジェクトの座標（被牽引車両座標系基準の座標）は、車両座標系の対応する座標に換算、乃至、転換されることができる。言い換えれば、この車両サラウンド画像は、割り出されたプルロッド角度を基に修正され、第一画像領域と第二画像領域から構成されている。該第一画像領域は、車両の四台のカメラから得られ、一方の第二画像領域は、被牽引車両の三台のカメラから得られ、これが、車両のカメラの死角領域の代わりに用いられる。

ある実施形態では、該画像処理ユニットは、車両のカメラによって撮影された画像が、（仮想の）可動な三次元第一バックプロジェクション面に投影され、被牽引車両のカメラによって撮影された画像は、可動な三次元第二バックプロジェクション面に投影されることができる様に構成されることが想定されている。第一ボウルのある領域は−かなり以前に既に記した様に−車両サラウンド画像内の車両の特に好ましくは四台のカメラによっては捕捉できない画像領域、乃至、その中に存在し隠されているオブジェクトを描写できる対応する第二ボウルの第二領域に、置き換えられる。

この三次元バックプロジェクション面は、特に、車両と被牽引車両を取り巻く車両と被牽引車両の間隔を、表示ユニットに高い精度で表示することを可能にする。その際、特に、表示ユニット上のオブジェクトが、実際よりも、車両乃至被牽引車両から離れて表示されないことを確保できる。尚、該三次元バックプロジェクション面は、深皿乃至ボウルの形状を有していることが特に好ましい。該深皿乃至ボウルは、例えば、平坦な、例えば、正方形の底面と放物線状の側面を有していることができる。

更なる実施形態では、該画像処理ユニットが、車両サラウンド画像のプルロッド領域から、該プルロッドが、その幅方向軸を中心に車両に対してどの程度相対的にずれているのかを示す第二回転角を割り出し、該プルロッドの割り出された第一回転角と第二回転角に応じて車両サラウンド画像の被牽引車両領域を、被牽引車両部分サラウンド画像の対応する画像領域に置き換えることができる様に構成されていることが想定されている。この実施形態は、該被牽引車両が、直線的なプルロッドを用いて、車両の幅方向軸に対しても回動自在にジョイントされている限り、例えば、該車両が、平坦ではない路面や、丘や山などを走行中に、ピッチングが起こった際は、車両と被牽引車両間の鉛直方向の角度のずれに応じた車両サラウンド画像の死角領域を、被牽引車両サラウンド画像の対応する画像領域によって置き換えることを可能にする。

更に該画像処理ユニットは、車両サラウンド画像のプルロッド領域から、該プルロッドが、その長手方向軸を中心に車両に対してどの程度相対的にずれているのかを示す第三回転角を割り出し、該プルロッドの割り出された第一回転角、第二回転角と第三回転角に応じて車両サラウンド画像の被牽引車両領域を、被牽引車両部分サラウンド画像の対応する画像領域に置き換えることができる様に構成されていることも可能である。実施形態は、該被牽引車両が、直線的なプルロッドを用いて、車両の長手方向軸に対しても回動自在にジョイントされている限り、付加的に、車両、及び／或いは、被牽引車両のローリングに起因する車両サラウンド画像の死角範囲も、被牽引車両サラウンド画像の対応する画像領域によって置き換えることを可能にする。

本発明の第二アスペクトによれば、車両と被牽引車両からなる複合車両が提供される、但し、該被牽引車両は、直線的なプルロッドによって、該車両の少なくとも上下軸を軸として該車両に対して回動自在にジョイントされている。更に、該被牽引車両は、車両の幅方向軸及び長手方向軸に対しても、該車両に対して回動自在にジョイントされていることもできる。該複合車両は、更に、本発明の第一アスペクトに係る三次元サラウンドビュー・システムも包含している。

以下、本発明の実施例を、模式的な図面を用いて詳細に説明する。図の説明：

図１は、一台の被牽引車両を備えた車両の側面図、 図２は、図１の車両と被牽引車両の非常に概略化された上視図、 図３は、図１の車両の非常に概略化された正面図、 図４は、本発明に係るサラウンドビュー・システムの一つの実施例の構成を示している。

図１から３では、車両は、動力車両１として示されている。該動力車両１は、図２に示されている四台のカメラ２から５を有している。カメラ２から５は、動力車両１のデカルト的第一座標系Ｉに対してキャリブレーションされている。車両１の座標系Ｉは、該車両１の前方方向に伸びる長手方向軸ｘ、車両１の前方方向に対して横方向を向いている幅方向軸ｙ、並びに、該車両１が走行している道路表面に対して直交している、乃至、それを基準としている車両１の上下軸ｚを包含している。車両１の長手方向軸ｘを中心とする回転運動は、ローリング、ｙ軸を中心とする車両１の回転運動は、ピッチング、そして、ｚ軸を中心とする車両１の回転運動は、ヨーイングと呼ばれる。

動力車両１は、更に三台の、これらも図２に示されているカメラ７から９を備えた被牽引車両６を牽引している。動力車両１と被牽引車両６がともに一つの複合車両１０を構成している。カメラ７から９は、被牽引車両６のデカルト的第二座標系ＩＩに対してキャリブレーションされている。被牽引車両６の座標系ＩＩは、被牽引車両６の長手方向軸ｘ’、幅方向軸ｙ’並びに上下軸ｚ’を包含している。該被牽引車両６は、直線的プルロッド１１によって、車両１のトレーラカップリング１２にジョイントされているが、該被牽引車両６は、車両１の三本の軸ｘ，ｙ，ｚ全てを中心軸として回転乃至回動自在に支承されている。

図２は、車両１の四台のカメラ２から５と被牽引車両６の三台のカメラ７から９が、どのように配置できるのかを例示している。車両１は、第一カメラ２、第二カメラ３、第三カメラ４並びに第四カメラ５を包含している。被牽引車両６は、第五カメラ７、第六カメラ８並びに第七カメラ９を包含している。更には、該カメラ２から５並びに７から９の視野の例も示されている。また、車両１の内部には画像処理ユニット１３と、ここではモニタ１４として実施されている光学的出力ユニットが配置されているが、該モニタ１４は、車両１のドライバーの視野内に配置されている。

図２に示されている実施例では、該第一カメラ２は、車両１の前方領域に配置されており、車両１近辺の周辺部において、本質的に前方の視野１５を捕捉している。該第二カメラ３と第三カメラ４は、それぞれ、車両１の側方外部配置されており、車両１近辺の周辺部において、本質的に側方の視野１６乃至１７を捕捉している。該第三カメラ５は、車両１の後方領域に配置されており、車両１近辺の周辺部において、本質的に後方の視野１８を捕捉している。四台のカメラ２から５の四つの視野１５から１８は、共同して、車両１の全周（３６０°）をカバーしている。

車両１の４台のカメラ２から５は、同時に画像撮影を実施でき、これらから三次元の車両サラウンド画像が合成され、モニタ１４上に表示されることができる。被牽引車両６のプルロッド１１は、車両１の第四カメラ５の後方視野１８内にある。即ち、該プルロッド１１は、車両１の第四カメラ５が撮影した画像内にある。プルロッド１１を含む第四カメラの画像の画像領域を、以下、「プルロッド領域」と定義する。画像処理ユニット１３は、該プルロッド１１が、車両１の上下軸ｚを中心として相対的にどの程度ずれているのかを示す第一回転角αを、プルロッド領域から割り出す。

更に該プルロッド領域から該画像処理ユニット１３は、該プルロッド１１が、幅方向軸ｙを中心として車両１に対してどの程度ずれているのかを示す第二回転角βも割り出す。プルロッド１１の相対的ずれは、図１に示されている例では、車両１が、被牽引車両６がある第二道路区域２３に対して傾いている第一道路区域２２にあることに起因している（図１）。

また、該画像処理ユニット１３は、該プルロッド１１が、車両１の長手方向軸ｘを中心として相対的にどの程度ずれているのかを示す第三回転角φも、該プルロッド領域から割り出す。図３は、第一道路区域２２上にあり、長手方向軸ｘを軸としてローリングしている図１の車両を、これに関して−明確にするために非常に誇張して−示しているが、該ロール角φは、示されている例では、第三回転角φに相当している。

該第五カメラ７と第六カメラ８は、それぞれ、被牽引車両６の側方外部配置されており、該被牽引車両６近辺の周辺部において、本質的に側方及び前方の視野１９乃至２０を捕捉している。該第七カメラ９は、被牽引車両６の後方領域に配置されており、被牽引車両６近辺の周辺部において、本質的に後方の視野２１を捕捉している。視野１５から１８と１９から２１の横方向の境界は、それぞれ、図２に破線を用いて示唆されている。被牽引車両６の三台のカメラ７から９は、三次元の被牽引車両サラウンド画像に合成できる画像を同時に撮影できるが、該被牽引車両サラウンド画像は、該被牽引車両６の側方領域並びに該被牽引車両６の後方領域を示している。

三次元車両サラウンド画像は、画像処理ユニット１３が、車両１の四台のカメラ２から５によってそれぞれ同時に撮影された画像を、深皿乃至ボウル状の可動な三次元バックプロジェクション面に投影することによって作成される。同様に、三次元の被牽引車両サラウンド画像も、該画像処理ユニット１３が、被牽引車両６の三台のカメラ７から９によってそれぞれ同時に撮影された画像を、深皿乃至ボウル状の可動な三次元バックプロジェクション面に投影することによって作成される。

被牽引車両のプルロッド１１だけが第四カメラ５によって撮影された画像内にあるのではなく、被牽引車両６全体が写っている。第四カメラ５の画像の被牽引車両６を含んでいる画像領域を、以下「被牽引車両領域」と定義する。

該被牽引車両領域は、車両の後ろから被牽引車両６までは示すものの、車両サラウンド画像内において、該被牽引車両６の後ろ、乃至、双方の側方にあり、そのため該被牽引車両６によって隠されたオブジェクトは描写できない死角である。しかし、該隠されたオブジェクトは、被牽引車両６の三つカメラ７から９によって捕捉され、被牽引車両サラウンド画像の一つの画像領域内に描写されることができる。画像加工ユニット１３は、車両サラウンド画像内の被牽引車両領域を、被牽引車両サラウンド画像の対応する画像領域に置き換えるが、被牽引車両サラウンド画像の該画像領域は、被牽引車両６によって隠されている画像領域乃至その中にある隠されたオブジェクトを包含している。

割り出された回転角度α，β，φに基づき、該画像加工ユニット１３は、該被牽引車両によって隠され、車両１の四台のカメラ２から５によっては捕捉できない画像領域を含む被牽引車両サラウンド画像の対応する画像領域を選択する。そのために、画像処理手段１３は、被牽引車両サラウンド画像の画像領域内のオブジェクトの座標（被牽引車両座標系ＩＩ基準の座標）を、車両座標系Ｉの対応する座標に換算、乃至、転換する。

図４は、三次元サラウンドビュー・システムが、どのように機能する、乃至、作動されるのかを示している。車両１の４台のカメラ２から５の画像２４から−図１から図３に関連してかなり以前に既に記した様に−被牽引車両６のプルロッド１１の車両１に対する角度αと（オプション的に）角度βとβが、算出される（ブロック２５によって示唆した）。更に車両１の４台のカメラ２から５のそれぞれ四枚の画像２４は、被牽引車両６の３台のカメラ７から９のそれぞれ三枚の画像２６と、画像加工ユニット１３を用いて、組み合わせられる（「＋」の符号によって示唆した）ことができる。

それぞれ全七枚の画像（車両１の四台のカメラ２から５の四枚の画像と被牽引車両６の三台のカメラ７から９の三枚の画像）、並びに、割り出された角度α（オプションとして付加的に割り出された角度β、及び／或いは、割り出された角度φ）から、該画像加工ユニット１３が、三次元の車両サラウンド画像を、図１から図３に関連してかなり以前に既に記した様にレンダリングする（ブロック２７によって示唆した）。その際、三次元の車両サラウンド画像は、これを介して望まれる（これに依存してレンダリングが実施される）三次元の車両サラウンド画像用のバーチャル視点を選択することも可能な人間・機械インタフェース２８の一部であることができるモニタ１４上に表示される。

Claims (6)

1. −車両（１）の複数のカメラ（２から５）、
   −被牽引車両（６）の複数のカメラ（７から９）、
   −一つの画像加工ユニット（１３）、並びに、
   −光学的出力ユニット（１４）
   を包含し：
   被牽引車両（６）が、直線的なプルロッド（１１）によって、該車両（１）の少なくとも上下軸（ｚ）を軸として該車両（１）に対して回動自在にジョイントされている場合における一台の車両（１）と一台の被牽引車両（６）からなる複合車両（１０）用の三次元サラウンドビュー・システムであって、
   −車両（１）のカメラ（２から５）は、車両（１）の座標系（Ｉ）を基準にキャリブレーションされており、該車両（１）に、全てのカメラ（２から５）のそれぞれ一枚の画像を合成することによって三次元の車両サラウンド画像が作成され、且つ、該光学的出力ユニット（１４）に表示されることができる様に配置されているが、該車両サラウンド画像のプルロッド領域には、該プルロッド（１１）が表示されており、
   −被牽引車両（６）のカメラ（７から９）は、被牽引車両（６）の座標系（ＩＩ）を基準にキャリブレーションされており、且つ、該被牽引車両（６）に、全てのカメラ（７から９）のそれぞれ一枚の画像を合成することにより三次元の被牽引車両サラウンド画像が作成される様に取り付けられているが、該被牽引車両サラウンド画像は、該被牽引車両（６）の両サイドの周辺部、並びに、該被牽引車両（６）の後方の周辺部を示すものであり、
   また、該画像加工ユニット（１３）は、
   −車両サラウンド画像のプルロッド領域から、プルロッド（１１）が、上下軸（ｚ）を中心に車両（１）に対してどの程度、該車両（１）の前方方向（ｘ）から相対的にずれているのかを示す第一回転角（α）を割り出し、
   −該被牽引車両（６）が写っている車両サラウンド画像の被牽引車両領域を、割り出されたプルロッド（１１）の該第一回転角（α）に応じて、被牽引車両部分サラウンド画像の対応する画像領域によって、置き換える
   ことができる様に構成されている
   ことを特徴とする複合車両用の三次元サラウンドビュー・システム。
2. 該画像加工ユニット（１３）が、車両（１）のカメラ（２から５）によって撮影された画像を、可動な三次元第一バックプロジェクション面に投影し、被牽引車両（６）のカメラ（７から９）によって撮影された画像を、可動な三次元第二バックプロジェクション面に投影することができる様に構成されることを特徴とする請求項１に記載の三次元サラウンドビュー・システム。
3. 該三次元バックプロジェクション面が、ボウルの形状を有していることを特徴とする請求項２に記載の三次元サラウンドビュー・システム。
4. 該画像処理ユニット（１３）が、
   −車両サラウンド画像のプルロッド領域から、該プルロッド（１１）が、その幅方向軸（ｙ）を中心に車両（１）に対してどの程度相対的にずれているのかを示す第二回転角（β）を割り出し、更に、
   − 該プルロッド（１１）の割り出された第一回転角（α）と第二回転角（β）に応じて、該被牽引車両（６）を示している車両サラウンド画像の被牽引車両領域を、被牽引車両部分サラウンド画像の対応する画像領域に置き換える
   ことができる様に構成されている
   ことを特徴とする先行請求項のうち何れか一項に記載の三次元サラウンドビュー・システム。
5. 該画像処理ユニット（１３）が、
   −車両サラウンド画像のプルロッド領域から、該プルロッド（１１）が、その長手方向軸（ｘ）を中心に車両（１）に対してどの程度相対的にずれているのかを示す第三回転角（φ）を割り出し、更に、
   −該プルロッド（１１）の割り出された第一回転角（α）、第二回転角（β）と第三回転角（φ）に応じて、該被牽引車両（６）を示している車両サラウンド画像の被牽引車両領域を、被牽引車両部分サラウンド画像の対応する画像領域に置き換える
   ことができる様に構成されている
   ことを特徴とする先行請求項のうち何れか一項に記載の三次元サラウンドビュー・システム。
6. 一台の車両（１）と一台の被牽引車両（６）からなる、但し、該被牽引車両（６）が、直線的なプルロッド（１１）によって、該車両（１）の少なくとも上下軸（ｚ）を軸として該車両（１）に対して回動自在にジョイントされている、複合車両（１０）であって、
   先行請求項のうち何れか一項に記載の三次元サラウンドビュー・システムを包含していることを特徴とする複合車両（１０）。

Images