JP2003204547A - 車両周囲監視装置およびその調整方法 - Google Patents

Abstract

(57)【要約】 【課題】 複数のカメラの撮影画像を合成して表示する
車両周囲監視装置において、部分画像同士の境界近傍に
おいて、従来よりも正確であり、かつ、ユーザに分かり
やすい画像を提供する。 【解決手段】 合成画像上で、カメラＣＡ１が撮影した
部分画像ＰＩＡ１とカメラＣＡ２が撮影した部分画像Ｐ
ＩＡ２とが、境界ＢＬＡ１２で隣り合っている。境界Ｂ
ＬＡ１２の近傍において、カメラＣＡ１，ＣＡ２の撮影
方向は境界ＢＬＡ１２の方向とほぼ一致している。これ
により、境界ＢＬＡ１２の近傍にあるポールＰ３の画像
は、カメラＣＡ１の画像上でもカメラＣＡ２の画像上で
もともに境界ＢＬＡ１２に沿って伸び、したがって合成
画像上で消滅することはない。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、車両の周囲を撮影
する複数のカメラを用いた車両周囲監視装置に関するも
のであり、特に、それぞれのカメラ画像から得た部分画
像を合成して、ユーザにとって車両の周囲の状況が分か
りやすい画像を提示する技術に属する。

【０００２】

【従来の技術】車両の周囲をカメラを用いて監視する従
来の装置として、特開平１０−２５７４８２号公報（以
下、文献１と称する）や、特開平１１−７８６９２号公
報（以下、文献２と称する）に記載のものなどが、知ら
れている。

【０００３】文献１記載の装置では、車のリア部中央に
１台、左右のドアミラー付近に各１台ずつ、後向きに取
り付けられたカメラの画像同士を、無限遠点が一致する
ように合わせて、広視野のリアビュー画像をドライバー
に提示する。これにより、ユーザは、車の左右後方の道
路状況を１枚の仮想的な画像情報として得ることがで
き、全体の状況を把握し易くなる。

【０００４】また文献２では、８台の車両用映像提供の
ためのカメラを車両の周囲に取り付け、各カメラによっ
て撮影された画像を変形・合成して新たな画像を作成し
モニタに表示する技術が開示されている。特に、複数の
カメラの撮影画像を変形して合成する際に、変形された
画像同士が隣接する境界部分において画像の連続性を保
つことによって、より的確な画像を運転者に提供するこ
とができる。

【０００５】

【特許文献１】特開平１０−２５７４８２号公報

【特許文献２】特開平１１−７８６９２号公報

【０００６】

【発明が解決しようとする課題】ところで、従来の技術
において、境界部が連続してつながるように画像を変形
・合成する場合は、原理的には、元のカメラ画像に映っ
ている物体の形状や距離を正確にリアルタイムで計算
し、この計算結果を用いて各画像の変形処理を行う必要
がある。しかしながら、この計算に要するコストは非常
に高いため、現実的には実施困難である。したがって通
常は、境界部に映っている全てのものについて連続性を
保つのではなく、画像に映るある部分が連続してつなが
るように画像を変形する、という手法が取られる。例え
ば撮影対象が車両の周囲の場合には、連続性を保つ部分
として路面が用いられる。これが、いわゆる路面投影と
呼ばれる手法である。

【０００７】しかしながらこの手法を用いると、境界部
分の連続性を維持するために、やむを得ず元のカメラ画
像の一部を切り捨てる必要があり、このため、カメラに
映っている物体が合成画像上では表示されない、という
重大な問題を引き起こす可能性がある。この問題につい
て、図面を参照して説明する。

【０００８】図１７は従来のシステムにおける車載カメ
ラの配置の典型例を示す模式図である。図１７の例で
は、左右のドアミラー部にそれぞれカメラＣＺ１，ＣＺ
４が、後端部中央に左右後方に向けてそれぞれカメラＣ
Ｚ２，ＣＺ３が、車両１の運転席から後方を撮影範囲と
してカバーするように設置されている。Ｐはポール、Ｗ
Ｌは駐車枠を示す白線である。

【０００９】また図１８は図１７のように配置された各
カメラＣＺ１〜ＣＺ４の撮影画像の例、図１９は図１８
のカメラ画像を切り出し・変形して繋ぎ合わせることに
よって、あたかも車両上方から見下ろしたような仮想視
点画像を合成した図である。図１９において、ＰＩＺ１
〜ＰＩＺ４はそれぞれ、カメラＣＺ１〜ＣＺ４の撮影画
像から切り出された部分画像である。図１９の例では、
少なくとも路面上の物（典型的には白線ＷＬ）が部分画
像ＰＩＺ１〜ＰＩＺ４同士の境界部で一致するように、
各カメラ画像の変形・切り出しおよび繋ぎ合わせを行っ
ている。

【００１０】このような合成方法において問題となるの
が、元のカメラ画像の一部を切り捨てることによって生
じる、立体物（図１８では車両１の右後に立っているポ
ールＰ）の消滅である。

【００１１】すなわち、図１９の合成画像では、カメラ
ＣＺ３に係る部分画像ＰＩＺ３とカメラＣＺ４に係る部
分画像ＰＩＺ４との境界ＢＬＺ３４が、車両１の右斜め
後方に延びるように設定されている。そして、境界ＢＬ
Ｚ３４の両側で路面が一致するようにそれぞれのカメラ
画像を変形する際に、カメラＣＺ３に映っているポール
Ｐは右向きに伸びるように歪められ（画像ＰＡ）、一
方、カメラＣＺ４に映っているポールＰは下向きに伸び
るように歪められる（画像ＰＢ）。ところが、ポールＰ
の画像ＰＡ，ＰＢはともに境界ＢＬＺ３４を越えてしま
うので、画像合成時には切り取られてしまう。この結
果、合成画像上では、ポールＰの根元が辛うじて残る程
度の画像になり、ポールＰがあたかも消失したかのよう
に見えてしまう。

【００１２】このような物体の消滅を避けるためには、
図２０に示すように、カメラＣＺ３からもカメラＣＺ４
からも撮影されている領域ＯＬについて、それぞれのカ
メラ画像を変形した画像を混合することが考えられる。
ところがこの場合には、画像ＰＡ，ＰＢがともに表示さ
れることにより、合成画像上でポールＰが二重像にな
り、見た目に非常に分かりにくい画像になってしまう。

【００１３】前記の問題に鑑み、本発明は、複数のカメ
ラの撮影画像を合成して表示する車両周囲監視装置にお
いて、部分画像同士の境界近傍において、従来よりも正
確であり、かつ、ユーザに分かりやすい画像を提供する
ことを課題とする。

【００１４】

【課題を解決するための手段】ところで、物体が部分画
像の境界近傍にある場合であっても、上述したような合
成画像上での消失が起こらない場合がある。

【００１５】図２１は部分画像の境界部にある物体が消
えない例を示す概念図である。図２１では、境界ＢＬＺ
２３近傍では、部分画像ＰＩＺ２に係るカメラＣＺ２も
部分画像ＰＩＺ３に係るカメラＣＺ３も、その撮影方向
が、境界ＢＬＺ２３の方向とほぼ一致している。なお、
本願明細書でいう「撮影方向」とは、カメラの光軸の向
きのことでなく、カメラから対象物（ここでは境界部
分）を見る方向、すなわち、合成画像においては、カメ
ラの設置位置と境界部分とを結ぶ直線の方向のことを意
味する。このため、ペアカメラＣＺ２，ＣＺ３の直後に
立っているポールＰの画像は、カメラＣＺ２，ＣＺ３ど
ちらの画像を変形しても境界ＢＬＺ２３に沿って伸びる
ように歪む。このため、境界ＢＬＺ２３近傍で、部分画
像ＰＩＺ２と部分画像ＰＩＺ３とを混ぜ合わせる処理な
どを行うことによって、合成画像からポールＰの画像が
消滅することを防ぐことができる。

【００１６】すなわち、本願発明者の検討によると、一
般的には、次の条件を満たすとき、合成画像上で物体が
消失する現象は起こらないものと考えられる。条件：隣
り合う２つの部分画像について、その境界の近傍で、当
該部分画像を撮影しているカメラの撮影方向が、その境
界の方向とほぼ一致することなお、隣り合う部分画像
は、オーバーラップしていてもよいし、単に接している
だけでもよい。境界近傍において、部分画像同士が重な
り合っている重複領域がある場合には、ここでいう「境
界の方向」とは、その重複領域の長手方向の中心線の方
向のことを指すものとする。

【００１７】この条件が満たされた場合、部分画像同士
の境界近傍にある物体の画像は、視点変換によって、そ
の境界に沿って伸びるので、合成画像上で、境界近傍の
物体が消えることはなくなる。本発明は、このような知
見に基づいて、なされたものである。

【００１８】すなわち、前記の課題を解決するために、
請求項１の発明が講じた解決手段は、車両周囲監視装置
として、車両の周囲を撮影する少なくとも第１および第
２のカメラを含む複数のカメラと、前記複数のカメラの
撮影画像を入力とし、これらのカメラ画像を用いて部分
画像を合成し、この合成画像を表示装置に表示させる画
像処理部とを備え、前記合成画像は、前記第１のカメラ
に係る第１の部分画像と前記第２のカメラに係る第２の
部分画像とが隣り合うように配置されたものであり、前
記第１および第２のカメラは、その撮影方向がそれぞ
れ、前記第１の部分画像と前記第２の部分画像との境界
の近傍において前記境界の方向とほぼ一致するように、
設置されているものである。

【００１９】請求項１の発明によると、互いに隣り合う
第１および第２の部分画像に係る第１および第２のカメ
ラは、その撮影方向が、部分画像同士の境界の方向とほ
ぼ一致するように、設置されている。このため、画像合
成の際に、境界近傍に存在する物体の画像が、カメラの
撮影方向、すなわち境界の方向とほぼ一致する方向に沿
って伸びるように変形される。このため、その物体の画
像は切り取られることがなく、したがって合成画像上で
消失することはない。これにより、車の周囲の情報をよ
り正確にユーザに伝えることができ、より安全な運転を
支援することが可能となる。

【００２０】そして、請求項２の発明では、前記請求項
１記載の車両周囲監視装置において、前記第１および第
２のカメラの撮影方向と前記境界の方向とがなす角度
は、それぞれ、１０度以下であるものとする。

【００２１】そして、請求項３の発明では、前記請求項
１記載の車両周囲監視装置における合成画像は、前記第
１の部分画像と前記第２の部分画像との境界において、
前記第１および第２の部分画像を混合したブレンド画像
が配置されたものとする。

【００２２】また、請求項４の発明では、前記請求項１
の車両周囲監視装置において、前記第１のカメラは、当
該車両の前の左または右端部に右または左斜め前方に向
けて配置されており、前記第２のカメラは、当該車両の
左または右側部に左または右斜め前方に向けて配置され
ているものとする。

【００２３】そして、請求項５の発明では、前記請求項
４の車両周囲監視装置における複数のカメラは、当該車
両の左または右側部に左または右斜め後方に向けて配置
されている第３のカメラと、当該車両の後ろの左または
右端部に右または左斜め後方に向けて配置されている第
４のカメラとを含むものとする。

【００２４】そして、請求項６の発明では、前記請求項
１の車両周囲監視装置において、前記第１のカメラは、
当該車両の前の右または左端部に左または右斜め前方に
向けて配置されており、前記第２のカメラは、当該車両
の前の左または右端部に左または右斜め後方に向けて配
置されているものとする。

【００２５】そして、請求項７の発明では、前記請求項
６の車両周囲監視装置における複数のカメラは、当該車
両の後ろの左または右端部に右または左斜め後方に向け
て配置されている第３のカメラと、当該車両の後ろの右
または左端部に右または左斜め前方に向けて配置されて
いる第４のカメラとを含むものである。

【００２６】また、請求項８の発明が講じた解決手段
は、車両の周囲を撮影する複数のカメラと、前記複数の
カメラの撮影画像から得た部分画像を合成し、この合成
画像を表示装置に表示させる画像処理部とを備えた車両
周囲監視装置を調整する方法として、前記複数のカメラ
のうち、前記合成画像において隣り合って配置される部
分画像をそれぞれ撮影する第１および第２のカメラを、
その撮影領域がオーバーラップするように配置し、前記
第１のカメラに係る部分画像と前記第２のカメラに係る
部分画像との境界の近傍において、前記第１および第２
のカメラの撮影方向が、それぞれ、前記境界の方向とほ
ぼ一致するように、前記第１および第２のカメラ並びに
前記画像処理部の少なくともいずれか１つを調整するも
のである。

【００２７】上の各請求項に係る発明において、カメラ
配置における「または」とは、監視する範囲を、車両の
右側を中心にする場合と、左側を中心にする場合とを含
めるための記載である。あるいは、車両の周囲全体を監
視する場合に、カメラを右回りに配置する場合と、左周
りに配置する場合とを含めるための記載である。このよ
うな配置の選択は、例えば車両が右ハンドルか左ハンド
ルかによって、行えばよいし、それ以外の要因に従って
選択してもかまわない。または、任意に選択してもよ
い。

【００２８】また、カメラを「斜め」に設置する場合、
カメラの上下方向の画角が大きく、カメラ直下も視野に
含まれる場合は、カメラの光軸の向きは水平でもよい。
ただし、画角が十分に大きくない場合は、カメラ直下の
死角を減らすために、カメラを下向きにすることが望ま
しい。この場合、例えば「右斜め前方」とは、カメラを
右斜め前方に向け、さらに仰角を下向きに変えることに
相当する。

【００２９】

【発明の実施の形態】以下、本発明の実施の形態につい
て、図面を参照して説明する。

【００３０】図１は本発明の一実施形態に係る車両周囲
監視装置の構成を示すブロック図である。図１に示す装
置において、画像処理部２０は、複数のカメラ１１を有
する撮像手段１０から出力された複数のカメラ画像を入
力とし、これらを変形・合成して新たな合成画像を生成
する。この合成画像は、表示装置３０によって表示され
る。

【００３１】合成画像とは、典型的には仮想視点画像で
ある。仮想視点画像とは、実カメラの画像に加工処理を
施し、これらをつなぎ合わせるなどして合成して得た、
あたかも仮想のカメラから見たような画像のことであ
る。より具体的な例としては、あたかも車両の上方から
真下に見下ろしたような画像（例えば図４）であり、こ
の仮想視点画像は、車両に直に設置された１個または複
数個のカメラ（例えば図２におけるＣＡ１〜ＣＡ４）を
用い、これらのカメラの撮影画像（例えば図３）にそれ
ぞれ個別の加工処理を施して合成することによって、生
成される。

【００３２】本発明に係る表示装置３０は、典型的には
液晶ディスプレイであるが、プラズマディスプレイ等の
他の表示デバイスを用いることもできる。また、ここで
いうディスプレイは、車両搭載型のＧＰＳ端末ディスプ
レイ（いわゆるカーナビゲーションシステムのディスプ
レイ）と共用したものであってもよいし、これとは別に
設けられたものであってもよい。

【００３３】撮影手段１０は、典型的にはＣＣＤ，ＣＭ
ＯＳデバイス等の固体撮像素子を有するカラーまたはモ
ノクロのデジタルカメラ１１を有する。また、撮影手段
１０は、たとえばレンズと、プリズムまたはミラーとの
組み合わせにより構成され、レンズ、プリズムまたはミ
ラーへの入射光が、所定光路を通って撮影手段から離れ
た位置にある撮像素子に伝達されるように構成されてい
てもよい。

【００３４】画像処理部２０は、複数のカメラ１１から
の撮影画像を入力し、これら撮影画像を加工する。ここ
での加工は、画像切り出し変形処理、変形された部
分画像の合成処理（境界処理を含む）である。これらの
との処理は、それぞれ別々になされてもよいし、全
部または一部が１つの工程によりなされてもよい。図１
では、撮影画像の加工を一つの工程で行うために、マッ
ピングテーブルＭＰＴを備えた構成としている。

【００３５】マッピングテーブルＭＰＴとは、合成画像
の画素と、各カメラ画像の画素データとの対応関係が記
述されたテーブルのことをいい、合成画像の生成処理を
高速に行うために用いられる。このようなマッピングテ
ーブルを、後述する幾何変換などを用いた計算や手作業
などによって予め作成しておくことによって、所望の合
成画像を高速に生成することができる。

【００３６】マッピングテーブルＭＰＴは具体的には、
例えばＲＯＭ（ＥＥＰＲＯＭなどの書きこみ・消去可能
なＲＯＭを含む）、またはＲＡＭに格納されている。マ
ッピングテーブルＭＰＴの格納は、例えば、画像処理部
２０内のプロセッサが計算で求めたマッピングデータを
ＲＯＭまたはＲＡＭに書きこむことによって実現しても
よいし、ファームウェアとして提供されるマッピングテ
ーブルデータを、通信回線やディスクドライブなどのデ
ータ転送手段を用いて、ＲＡＭまたはＲＯＭに書きこむ
ようにしてもよい。

【００３７】＜カメラの設置＞本発明に係るカメラ設置
について、注意すべきポイントを２つ挙げておく。 １．境界を構成する２つの部分画像の基になるカメラに
ついて、境界近傍を撮影する方向を、境界の方向にほぼ
一致させる。これは、課題の項で述べた条件と同一であ
る。 ２．隣り合うカメラ画像を、その境界部分で互いにオー
バーラップさせる。これは、仮想視点画像において、隣
り合うカメラ画像の境界部分で死角となる部分が生じな
いようにするためである。

【００３８】以下、本実施形態に係るカメラ設置の具体
例を、図面を用いて説明する。なお、以降の説明では、
「右」および「左」は、車両の前進方向に対して表すも
のとする。また、車両は右ハンドルのもの、すなわち、
運転席が右側にあり助手席が左側にある車両を対象にす
る。よって、もし本発明を左ハンドルの車両に適用する
場合は、カメラの設置を左右対称にすればよく、以下の
カメラの設置態様の説明において「左」と「右」とを逆
に解釈すればよい。

【００３９】（第１の例）図２は本発明に係るカメラ配
置の第１の例、図３は図２のように配置された各カメラ
ＣＡ１〜ＣＡ４の撮影画像の例である。図２の配置例で
は、４台のカメラＣＡ１〜ＣＡ４が次のように配置され
ている。 すなわち図２では、車両１の４辺のうち、運転席側の１
辺を除く全周囲を見渡す仮想視点画像を合成するため
に、上記のように４台のカメラＣＡ１〜ＣＡ４を設置し
ている。またＰ１〜Ｐ４はポール、ＷＬは白線である。

【００４０】なお、カメラＣＡ２，ＣＡ３は、車両１の
左側について実質的に１８０度の視野が得られるよう
に、ペアにして配置されている。すなわち、現状のカメ
ラでは、単体で解像度を保ちつつ１８０度の視野を確保
することが難しいため、便宜的に、画角が１００度程度
のカメラを２台ペアにして配置している。したがって、
十分な解像度が得られ、かつ１８０度の視野を得られる
単一の撮像手段があれば、それをカメラＣＡ２，ＣＡ３
に代えて利用してもかまわない。

【００４１】図４は図３に示すようなカメラ画像を用い
て、車両１の周囲を上から見下ろしたような仮想視点画
像を合成した結果を示す模式図である。図４において、
ＰＩＡ１〜ＰＩＡ４はそれぞれカメラＣＡ１〜ＣＡ４の
撮影画像から切り出した部分画像、ＢＬＡ１２は部分画
像ＰＩＡ１，ＰＩＡ２の境界、ＢＬＡ２３は部分画像Ｐ
ＩＡ２，ＰＩＡ３の境界、ＢＬＡ３４は部分画像ＰＩＡ
３，ＰＩＡ４の境界である。またＤＡはいずれのカメラ
ＣＡ１〜ＣＡ４からも撮影されない死角領域である。

【００４２】本例のように各カメラＣＡ１〜ＣＡ４を設
置することによって、上述の２つのポイントはともに満
たされている。すなわち、図４の合成画像において、部
分画像同士の境界の近傍では、その部分画像を撮影した
カメラの撮影方向と境界の方向とが、ほぼ一致してい
る。例えば図２および図４から分かるように、第１の部
分画像としての部分画像ＰＩＡ１と第２の部分画像とし
ての部分画像ＰＩＡ２との境界ＢＬＡ１２の近傍におい
て、部分画像ＰＩＡ１を撮影した第１のカメラとしての
カメラＣＡ１と、部分画像ＰＩＡ２を撮影した第２のカ
メラとしてのカメラＣＡ２の撮影方向が、境界ＢＬＡ１
２の方向にほぼ一致している。境界ＢＬＡ２３，ＢＬＡ
３４に関しても同様のことがいえる。

【００４３】また、カメラＣＡ１の撮影領域ＡＡ１とカ
メラＣＡ２の撮影領域ＡＡ２とは互いにオーバーラップ
しており、同様に、カメラＣＡ２とカメラＣＡ３、カメ
ラＣＡ３とカメラＣＡ４とは、撮影領域が互いにオーバ
ーラップしている。

【００４４】このため、図４の合成画像では、各カメラ
ＣＡ１〜ＣＡ４に映る物体の位置関係を保ちながら、ユ
ーザに分かりやすく見せるという仮想視点画像のメリッ
トをそのまま残しつつ、本発明のカメラ設置のポイント
を満たすことによって、物体が消失するという現象が回
避されている。これは例えば、車両１の左前角部や左後
角部にあるポールＰ３，Ｐ４が、境界ＢＬＡ１２，ＢＬ
Ａ３４の近傍に存在するにもかかわらず、画像合成によ
って境界に沿って伸びており、合成画像上で消失せずに
残っていることから明らかである。

【００４５】このように本例によると、４台のカメラＣ
Ａ１〜ＣＡ４を用いることによって、運転者が窓越しに
目視で確認可能な運転席側のエリアを除く車の周囲を、
位置関係を保ちつつ、かつ、死角がないように、画像と
して表示することが可能となる。

【００４６】（第２の例）・車両の前方および左側前側
方の安全確認 本発明に係るカメラ配置は、車両周囲のどの領域の安全
確認を行うかによって、第１の例以外にも様々な形態が
考えられる。近年、乗用車の大型化に伴い、車両の前方
および左側前側方の死角に対する安全確認を行うための
技術に対し、ニーズが高まっている。第２の例は、車両
の前方および左側前側方の安全確認を行うためのもので
ある。

【００４７】図５は本発明に係るカメラ配置の第２の
例、図６は図５のように配置された各カメラＣＢ１，Ｃ
Ｂ２の撮影画像の例である。図５の配置例では、２台の
カメラＣＢ１，ＣＢ２が次のように設置されている。

【００４８】図７は図６のカメラ画像を用いて合成した
仮想視点画像の例を示した図である。図７において、Ｐ
ＩＢ１，ＰＩＢ２はそれぞれカメラＣＢ１，ＣＢ２の撮
影画像から切り出した部分画像、ＢＬＢ１２は部分画像
ＰＩＢ１，ＰＩＢ２の境界、ＤＢはいずれのカメラＣＢ
１，ＣＢ２からも撮影されない死角領域である。

【００４９】図５および図７から分かるように、第１の
部分画像としての部分画像ＰＩＢ１と第２の部分画像と
しての部分画像ＰＩＢ２との境界ＢＬＢ１２の近傍にお
いて、部分画像ＰＩＢ１を撮影した第１のカメラとして
のカメラＣＢ１と、部分画像ＰＩＢ２を撮影した第２の
カメラとしてのカメラＣＢ２の撮影方向が、境界ＢＬＢ
１２の方向にほぼ一致している。

【００５０】図７の合成画像では、図４と比べると、死
角領域ＤＢが拡がっており、監視可能な範囲は小さくな
っているが、目的とする車両の前方および左側前側方の
視野は十分確保されている。しかも、本発明のカメラ設
置のポイントを満たすことによって、例えば車両１の左
前角部にあるポールＰ３が、境界ＢＬＢ１２の近傍に存
在するにもかかわらず、画像合成によって境界に沿って
伸びており、消失せずに残っている。

【００５１】図８は本例の他のカメラ設置態様である。
図８の配置例では、２台のカメラＣＣ１，ＣＣ２が次の
ように設置されている。

【００５２】図９は図８のように設置されたカメラの画
像を用いて合成した仮想視点画像の例であり、仮想視点
の位置および向きは図７と共通である。図９において、
ＰＩＣ１，ＰＩＣ２はそれぞれカメラＣＣ１，ＣＣ２の
撮影画像から切り出した部分画像、ＢＬＣ１２は部分画
像ＰＩＣ１，ＰＩＣ２の境界、ＤＣはいずれのカメラＣ
Ｃ１，ＣＣ２からも撮影されない死角領域である。

【００５３】図８および図９から分かるように、第１の
部分画像としての部分画像ＰＩＣ１と第２の部分画像と
しての部分画像ＰＩＣ２との境界ＢＬＣ１２の近傍にお
いて、部分画像ＰＩＣ１を撮影した第１のカメラとして
のカメラＣＣ１と、部分画像ＰＩＣ２を撮影した第２の
カメラとしてのカメラＣＣ２の撮影方向が、境界ＢＬＣ
１２の方向にほぼ一致している。

【００５４】ここで、図７と比較して注目すべき点は、
合成画像における部分画像同士の境界線の位置が、カメ
ラの設置形態によって変わっていることである。もし図
８のカメラ配置で、カメラＣＣ１に係る部分画像ＰＩＣ
１とカメラＣＣ２に係る部分画像ＰＩＣ２との境界ＢＬ
Ｃ１２を、図７の境界ＢＬＢ１２と同一の位置に設定し
たとすると、ポールＰ３の画像が、足元のほんの少しの
部分を残して、他の部分が切り取られてしまうことにな
る（図示しない）。

【００５５】このように、合成画像における部分画像同
士の境界は、カメラの設置態様を考慮して設定する必要
がある。あるいは、それぞれのカメラの設置場所や向き
は、合成画像における部分画像同士の境界の設定位置を
考慮して決めなければならない。したがって、本発明で
は、合成画像において隣り合って配置される部分画像を
それぞれ撮影する各カメラ、および画像処理部のうち、
少なくともいずれか１つを調整する必要がある。

【００５６】すなわち、本発明は、合成画像において隣
り合って配置される部分画像をそれぞれ撮影する２台の
カメラを、その撮影領域がオーバーラップするように配
置し、その部分画像同士の境界の近傍において、各カメ
ラの撮影方向がそれぞれ境界の方向とほぼ一致するよう
に、カメラおよび画像処理部の少なくともいずれか１つ
を、調整する、ものといえる。

【００５７】ここで、撮影方向と境界の方向とが「ほ
ぼ」一致するとは、例えば次のような条件を満たす程度
であればよい。すなわち、その境界を人が通ったときほ
ぼ全身が映ること、または、その境界近傍を物体が移動
したとき、その一部が消失したとしても消失度合がその
物体を特定可能な範囲であること、を満たせばよい。具
体的には、各カメラの撮影方向と境界の方向とがなす角
度が、それぞれ、１０度以下であることが好ましい。

【００５８】（第３の例）・車両の前方を除く全周囲、
特に後方の安全確認 第２の例で述べたように、車両前側方の安全確認は、近
年の車両の大型化に伴って必要性が高まったものであ
る。これとは対称的に、車両の後側方の安全確認につい
て古くから検討されており、近年では、１台のカメラを
用いて後方の死角部分をモニターする安全確認システム
が実用化され始めている。ところがこのシステムでは、
車両後側方の広範囲をくまなくモニターするのにはやは
り不十分であるため、図１７のように複数のカメラを用
いたシステムも検討されてはいるが、課題の項で述べた
ように、カメラ画像同士の境界近傍において物体が一部
消滅するという問題が残っている。

【００５９】上述の第１の例は、運転席側を除く車両全
周囲を死角なく見せるものであったが、この第３の例で
は、第１の例に係るカメラ配置を反時計回りに９０度ず
らすことによって、従来技術の問題を解決し、車両の前
方を除く全周囲、特に後方の安全確認を行うことができ
る。

【００６０】図１０は本発明に係るカメラ配置の第３の
例、図１１は図１０のように配置された各カメラＣＤ１
〜ＣＤ４の撮影画像の例である。図１０の配置例では、
４台のカメラＣＤ１〜ＣＤ４が次のように配置されてい
る。 すなわち図１０では、車両１の前方を除く全周囲を見渡
す仮想視点画像を合成するために、上記のように４台の
カメラＣＤ１〜ＣＤ４を設置している。

【００６１】図１２は図１１に示すようなカメラ画像を
用いて、車両１の周囲を上から見下ろしたような仮想視
点画像を合成した結果を示す模式図である。図１２にお
いて、ＰＩＤ１〜ＰＩＤ４はそれぞれカメラＣＤ１〜Ｃ
Ｄ４の撮影画像から切り出した部分画像、ＢＬＤ１２は
部分画像ＰＩＤ１，ＰＩＤ２の境界、ＢＬＤ２３は部分
画像ＰＩＤ２，ＰＩＤ３の境界、ＢＬＤ３４は部分画像
ＰＩＤ３，ＰＩＤ４の境界である。またＤＤはいずれの
カメラＣＤ１〜ＣＤ４からも撮影されない死角領域であ
る。

【００６２】本例のように各カメラＣＤ１〜ＣＤ４を設
置することによって、上述の２つのポイントはともに満
たされている。すなわち、図１２の合成画像において、
部分画像同士の境界の近傍では、その部分画像を撮影し
たカメラの撮影方向と境界の方向とが、ほぼ一致してい
る。例えば図１０および図１２から分かるように、第１
の部分画像としての部分画像ＰＩＤ１と第２の部分画像
としての部分画像ＰＩＤ２との境界ＢＬＤ１２の近傍に
おいて、部分画像ＰＩＤ１を撮影した第１のカメラとし
てのカメラＣＤ１と、部分画像ＰＩＤ２を撮影した第２
のカメラとしてのカメラＣＤ２の撮影方向が、境界ＢＬ
Ｄ１２の方向にほぼ一致している。境界ＢＬＤ２３，Ｂ
ＬＤ３４に関しても同様のことがいえる。

【００６３】また、カメラＣＤ１の撮影領域ＡＤ１とカ
メラＣＤ２の撮影領域ＡＤ２とは互いにオーバーラップ
しており、同様に、カメラＣＤ２とカメラＣＤ３、カメ
ラＣＤ３とカメラＣＤ４とは、撮影領域が互いにオーバ
ーラップしている。

【００６４】このため、図１２の合成画像では、各カメ
ラＣＤ１〜ＣＤ４に映る物体の位置関係を保ちながら、
見やすく見せるという仮想視点画像のメリットをそのま
ま残しつつ、本発明のカメラ設置のポイントを満たすこ
とによって、物体が消失するという現象を回避できてい
ることが分かる。これは例えば、車両１の左後角部や右
後角部にあるポールＰ３，Ｐ４が、境界ＢＬＤ１２，Ｂ
ＬＤ３４の近傍に存在するにもかかわらず、画像合成に
よって境界に沿って伸びており、合成画像上で消失せず
に残っていることから明らかである。

【００６５】このように本例によると、４台のカメラＣ
Ｄ１〜ＣＤ４を用いることによって、車両の前方を除く
全周囲を、位置関係を保ちつつ、かつ、死角がないよう
に、画像として表示することが可能となる。

【００６６】なお、図１２の合成画像において、部分画
像ＰＩＤ１，ＰＩＤ２の境界ＢＬＤ１２、および部分画
像ＰＩＤ３，ＰＩＤ４の境界ＢＬＤ３４は、車両１の後
端の延長線上にほぼ位置している。仮想視点画像では、
境界の両側では元のカメラ画像の変形のされ方が異なる
ため、境界をまたがる物体は不連続な画像になる。この
不連続性は、通常は、合成画像の品質を下げると考えら
れる。しかしながら見方を変えれば、例えば、後方から
接近する物体が部分画像ＰＩＤ３の領域から部分画像Ｐ
ＩＤ４の領域にさしかかると、画像上不連続に見えるの
で、この時点で物体は車両１の後端よりも前に来ている
と判断することも可能である。このため、図１２のよう
に境界ＢＬＤ１２，ＢＬＤ３４を設定することは非常に
意味のあることである。

【００６７】（第４の例）・車両全周囲 さて、これまでの例では、結果的に、カメラが一直線上
に並べて配置されていた。本例では、一直線上にカメラ
を並べて配置することなく、上述した本発明に係るカメ
ラ設置のポイントを満たす例を示す。具体的には、カメ
ラ４台を用いて、車の全周囲を死角無く見せることがで
きるカメラ設置の態様を示す。

【００６８】図１３は本発明に係るカメラ配置の第４の
例を示す図である。図１３の配置例では、４台のカメラ
ＣＥ１〜ＣＥ４が次のように配置されている。 すなわち図１３では、車両１の全周囲を見渡す仮想視点
画像を合成するために、上記のように４台のカメラＣＥ
１〜ＣＥ４を設置している。

【００６９】図１４は図１３に示すようなカメラ画像を
用いて、車両１の周囲を上から見下ろしたような仮想視
点画像を合成した結果を示す模式図である。図１４にお
いて、ＰＩＥ１〜ＰＩＥ４はそれぞれカメラＣＥ１〜Ｃ
Ｅ４の撮影画像から切り出した部分画像、ＢＬＥ１２は
部分画像ＰＩＥ１，ＰＩＥ２の境界、ＢＬＥ２３は部分
画像ＰＩＥ２，ＰＩＥ３の境界、ＢＬＥ３４は部分画像
ＰＩＥ３，ＰＩＥ４の境界、ＢＬＥ１４は部分画像ＰＩ
Ｅ４，ＰＩＥ１の境界である。

【００７０】本例のように各カメラＣＥ１〜ＣＥ４を設
置することによって、上述の２つのポイントはともに満
たされている。例えば図１３および図１４から分かるよ
うに、第１の部分画像としての部分画像ＰＩＥ１と第２
の部分画像としての部分画像ＰＩＥ２との境界ＢＬＥ１
２の近傍において、部分画像ＰＩＥ１を撮影した第１の
カメラとしてのカメラＣＥ１と、部分画像ＰＩＥ２を撮
影した第２のカメラとしてのカメラＣＥ２の撮影方向
が、境界ＢＬＥ１２の方向にほぼ一致している。境界Ｂ
ＬＥ２３，ＢＬＥ３４，ＢＬＥ１４に関しても同様のこ
とがいえる。

【００７１】また、カメラＣＥ１の撮影領域ＡＥ１とカ
メラＣＥ２の撮影領域ＡＥ２とは互いにオーバーラップ
しており、同様に、カメラＣＥ２とカメラＣＥ３、カメ
ラＣＥ３とカメラＣＥ４、カメラＣＥ４とカメラＣＥ１
とは、撮影領域が互いにオーバーラップしている。

【００７２】このため、図１４の合成画像では、各カメ
ラＣＥ１〜ＣＥ４に映る物体の位置関係を保ちながら、
ユーザに分かりやすく見せるという仮想視点画像のメリ
ットをそのまま残しつつ、本発明のカメラ設置のポイン
トを満たすことによって、物体が消失するという現象が
回避されている。これは例えば、車両１の四隅にあるポ
ールＰ１〜Ｐ４が、境界ＢＬＥ１２，ＢＬＥ２３，ＢＬ
Ｅ３４，ＢＬＥ１４の近傍に存在するにもかかわらず、
画像合成によって境界に沿って伸びており、合成画像上
で消失せずに残っていることから明らかである。

【００７３】図１５は本例の他のカメラ設置態様であ
る。図１５の設置態様は、図１３の設置態様において各
カメラの向きを１８０度変えたものに相当する。図１５
の配置例では、４台のカメラＣＦ１〜ＣＦ４が次のよう
に配置されている。

【００７４】図１６は図１５に示すようなカメラ画像を
用いて、車両１の周囲を上から見下ろしたような仮想視
点画像を合成した結果を示す模式図である。図１６にお
いて、ＰＩＦ１〜ＰＩＦ４はそれぞれカメラＣＦ１〜Ｃ
Ｆ４の撮影画像から切り出した部分画像、ＢＬＦ１２は
部分画像ＰＩＦ１，ＰＩＦ２の境界、ＢＬＦ２３は部分
画像ＰＩＦ２，ＰＩＦ３の境界、ＢＬＦ３４は部分画像
ＰＩＦ３，ＰＩＦ４の境界、ＢＬＦ１４は部分画像ＰＩ
Ｆ４，ＰＩＦ１の境界である。

【００７５】この例でも、上述の２つのポイントはとも
に満たされている。ただし、図１４と比べると、各カメ
ラの向きが１８０度異なっているので、部分画像同士の
境界の位置が異なって設定されている。ただし、図１４
と同様に、車両１の四隅にあるポールＰ１〜Ｐ４が、境
界ＢＬＦ１４，ＢＬＦ１２，ＢＬＦ２３，ＢＬＦ３４の
近傍に存在するにもかかわらず、画像合成によって境界
に沿って伸びており、合成画像上で消失せずに残ってい
る。

【００７６】以上、本発明の主眼となるカメラの設置態
様について、いくつかの例を用いて説明した。これらの
説明では、いずれも仮想視点画像の例として車周囲の状
況を上から見下ろしたような画像を用いたが、もちろん
それに限らず、例えば後方確認のために、車の少し前方
の上方から斜め後方を見下ろすような仮想視点を設定し
ても良い。

【００７７】また、合成画像の部分画像同士の境界にお
いて、その部分画像を混合して得たブレンド画像を配置
してもかまわない。合成画像において、隣り合う部分画
像がその境界部分で重なり合った領域のことを、本願明
細書では「重複領域」と呼ぶ。

【００７８】図２２は図１７に示す車両１の後ろ部分を
抜き出したものであり、重複領域の例を概念的に示して
いる。図２２では、ペアカメラＣＺ２，ＣＺ３が車両１
後端のトランクの上部中央に設置されており、カメラＣ
Ｚ２は車両１の左後方を撮影しており（撮影領域ＡＲ
２）、カメラＣＺ３は車両１の右後方を撮影している
（撮影領域ＡＲ３）。また車両１後方中央の領域は、カ
メラＣＺ２，ＣＺ３からも撮されている。

【００７９】そして、図２２（ａ）〜図２２（ｃ）は、
共通のカメラ設置条件での重複領域の設定の例を、それ
ぞれ示している。ＯＬが重複領域で、ＣＬが重複領域Ｏ
Ｌの長手方向の中心線であり、本願明細書における「境
界の方向」に相当する。図２２（ａ）は重複領域ＯＬを
最大限に拡げて設定した例である。図２２（ｂ）は重複
領域ＯＬの幅が、車両１に近いほど狭く、離れるにつれ
て広くなるように設定した例である。図２２（ｃ）は重
複領域ＯＬの幅を、車両１に近い部分はなるべく広くと
り、ある程度離れた遠方部分についてはほぼ一定になる
ように設定した例である。

【００８０】図２２（ａ）〜図２２（ｃ）のいずれの設
定例を用いてもよいし、また、ここで示した以外の方法
によって、重複領域ＯＬを設定してもよい。ただし、重
複領域ＯＬの設定の目安は、次の通りである。

【００８１】・それぞれのカメラに映っている物体が二
重像になって見づらくならないように、あまり広くしす
ぎないこと。

【００８２】・重複領域ＯＬに存在する物体が不連続に
見えることのないように、狭くしすぎないことこの２点
を考慮した場合には、図２２（ｃ）の例が好ましいとい
える。なお、図２２では、重複領域ＯＬは、撮影領域Ａ
Ｒ２，ＡＲ３が重なり合った部分の中心に合わせて設定
しているが、必ずしも中心に合わせなくてもよい。

【００８３】なお、本発明は例示の実施形態のみに限定
されるものではなく、特許請求の範囲の個々の請求項に
記載の事項の範囲内で、具体的な構成を変更して実施可
能である。

【００８４】また、本発明において車両とは、普通自動
車、軽自動車、貨物自動車、バス等を含む。また、本発
明の技術思想が適用されうるものであれば、クレーン
車、シャベルカー等の特殊車両も本発明の車両とするこ
とができる。

【００８５】なお、上述の例では、合成画像を得るため
に必要なカメラは一時に設置されることを前提として、
説明を行った。これに加えて、例えば、すでに設置され
ているカメラでは監視範囲が不十分であるため、さらに
カメラを増やすような場合でも、本発明は有効である。
すなわち、・追加するカメラを、どの位置でどの向きに
設置するか・追加したカメラの撮影画像を用いて新たな
合成画像を作る際に、元々設置されていたカメラに係る
部分画像と追加したカメラに係る部分画像との境界を、
どこに設定するかという問題に対しても、すでに説明し
たような方法が適用可能である。

【００８６】例えば、車の購入時には、車両の後端部中
央に後ろ向きに視野１８０度を見渡すカメラのみが設置
されており、その後、後方領域と助手席側領域とを併せ
て示すような合成画像を表示できるように、助手席側領
域を撮影するカメラを新たに追加するような場合が考え
られる。このような場合にも、本発明に係る車両周囲監
視装置の調整方法は適用可能である。

【００８７】＜幾何変換＞合成画像のためのマッピング
テーブルを作成するためには、仮想視点から見た合成画
像の各画素に対応する各カメラ画像の画素の座標を決め
る必要がある。

【００８８】このために、まず、仮想視点からの合成画
像の各画素に対応するワールド座標系（Xｗ、Yｗ、Z
ｗ）を求め、そのワールド座標系の3次元座標に対応す
るカメラ画像の画素の座標を求める２段階を考えると判
りやすい。

【００８９】最終的に必要な関係は、仮想視点の合成画
像の各画素と各カメラ画像の画素との関係だけであり、
このワールド座標系を経由するマッピングテーブルに限
定されるものではない。ただし、このワールド座標系を
経由するマッピングテーブルは、合成画像の実際の世界
での座標系であるワールド座標系での意味付けが明確に
なるため、周囲の状況を実際の距離、位置関係と対応付
けやすい合成画像を生成する点で重要である。

【００９０】仮想視点の位置と向きを表すパラメータと
して、視点のワールド座標系での座標を位置ベクトルTv
＝（Txv、Tyv、Tzv）、視線の向きを、視平面座標系を
ワールド座標系の向きへ一致させる回転を表す３行３列
の回転行列Rvで表すとすると、合成画像の視点座標（Vx
e, Vye, Vze）の対応するワールド座標（Xw, Yw, Zw）
は、式（１）で求められる。

【数１】

【００９１】図２３は、視点座標系とワールド座標系の
関係を説明する模式図である。

【００９２】図２４に示すように、仮想視点の向きを、
視線がワールド座標系Y-Z平面に対して水平回転の角度
（方位角）をαv、X-Z平面に対してなす傾きの角度（仰
角）をβvとし、カメラの光軸周りの回転（Twist）をγ
vとすると、回転行列Rvは、

【数２】 となる。

【００９３】一方、仮想視点の視点座標系（Vxe, Vye,
Vze）のVxe、Vyeと、投影面上の2次元座標Uv、Vvの関係
は、透視投影変換より焦点距離fvを用いて以下の式
（３）で表される。

【数３】

【００９４】焦点距離の単位としては、投影面をフィル
ムやCCDとして、その大きさに対応するmmやインチであ
らわす場合や、合成画像のサイズに対応して画素であら
わす場合などがあるが、今回は投影面を投影中心を中心
として幅２、高さ２の正規化したものとし、それに対す
る焦点距離を考える。

【００９５】よって、投影面上の座標と合成画像の画素
の関係は、画像の右上から（Sv、Tv）の位置にある画素
に対応する投影面上の座標（Uv, Vv）は、画像の横幅を
Wv画素、縦幅をHv画素とすれば、 Uv ＝ ２×Sv／Wv −１ Vv ＝ ２×Tv／Hv −１ …（４） として求まる。

【００９６】以上より、合成画像の任意の画素（Sv, T
v）に対応するワールド座標系の3次元座標（Xw、Yw、Z
w）は、式（１）〜（４）より、カメラの位置Txv, Tyv,
Tzv,カメラの向きαv、βv、γv, 焦点距離fvより次の
式（５）で求めることができる。

【数４】

【００９７】ただし、式（５）では、合成画像の座標
（Sv、Tv）に対応する奥行きVzeが未定である。言い換
えると、合成画像に写る対象物までの各画素からの奥行
き値を定める必要がある。

【００９８】仮想視点から見える対象物の3次元形状を
知ることができれば、各画素の奥行きを得ることができ
るが、一般には困難である。そこで、仮想視点から見え
る対象物の形状に何らかのモデルを仮定することによ
り、上記Vzeを求め、合成画像の座標とワールド座標系
の3次元座標との関係を求めることを行う。

【００９９】―路面平面モデル― その一例として、対象物を車が接している路面平面に限
定した場合について説明する。

【０１００】すべての対象物がワールド座標系の平面
（路面）に存在すると仮定すると、ワールド座標系の3
次元座標（Ｘw,Ｙw,Ｚw）は、以下の平面の方程式を満
たす。

【数５】 よって、式（６）を式（５）に代入して、Vzeを求める
と、

【数６】 となる。

【０１０１】よって、式（７）を式（５）に代入するこ
とにより、仮想視点の合成画像の画素の座標（Sv, Tv）
から、対応するワールド座標系の平面の3次元座標（Xw,
Yw,Zw）を求めることができる。

【０１０２】このワールド座標系での３次元座標（Xw,
Yw, Zw）に対応する、各カメラ画像の各画像の座標は式
（１）と同様な関係式に、各カメラの位置、向きに対応
するTx、Ty、Tz、α、β、γのパラメータを代入して計
算することにより求めることができる。

【０１０３】例えば、カメラ１の位置をTx1, Ty1, Tz1,
向きをα1, β1, γ1とすれば、合成画像の画素（Sv,T
v）に対応するカメラ１のカメラ座標系Xe1, Ye1, Ze1
が,以下の式（８）より計算できる。

【数７】 このカメラ座標系とカメラ画像の座標系（U1、V1）との
関係は、カメラ１の焦点距離をf1として、式（３）より U1 ＝ f1／Ze1×Xe1 V1 ＝ f1／Ze1×Ye1 …（９） として計算できる。対応するカメラ画像の画素は、カメ
ラ画像のサイズを縦H1画素、横W1画素として、アスペク
ト比１：１、カメラ中心が画像の中心と考えると、次の
式（１０）で計算できる。 S1 ＝ W1／２×（Uv ＋１） T1 ＝ H1／２×（Vv ＋１） …（１０）

【０１０４】以上の手続きにより、仮想視点画像の画素
（Sv, Tv）に対応するカメラ１の画像の画素（S1, T1）
を求めることができた。同様にカメラ１以外の一般のカ
メラｎに対しても（Sv, Tv）に対応する画素座標（Sn,
Tn）が計算できる。実際にパラメータテーブルには、そ
の中から、（Sn, Tn）が実際のカメラ画像の範囲内に写
っているか、画素の拡大、縮小率が大きくないかなどの
種々の条件により、その最適なものを１つまたは複数選
び、カメラ番号ｎとその座標（Sn, Tn）を書きこむ。

【０１０５】―円筒モデル― 前記の路面平面モデルでは、カメラ画像で水平線から上
に写っている物体は路面平面を無限遠に延ばしても路面
平面上には載らないので、仮想視点から見ることことは
できない。

【０１０６】これらの物体を仮想視点からの合成画像に
反映するために、対象の３次元形状として図２５に示す
ような円筒モデルを考える。このモデルは、仮想視点の
向きが路面に対して平行に近くなった場合などに有効で
ある。

【０１０７】いま簡単のために、Ｘ軸、Ｚ軸に軸を持つ
円筒モデルを考えると、楕円円筒の中心を(Xc,Zc)と
し、楕円のパラメータ(a, c)を用いて、そのモデルを次
の式（１１）としてあらわす。なお、Ｘ軸、Ｚ軸以外に
軸を持つモデルへも、ＸＺ平面上での回転を考えること
により、容易に拡張できる。

【数８】

【０１０８】式（１１）を用いて式（５）からVzeを消
去することによって、仮想視点の合成画像の座標(Sv, T
v)に対応するワールド座標系の３次元座標（Xw, Yw, Z
w）を求めることができる。この座標から、前記路面平
面モデルと同様に、各カメラ画像の対応する画素を計算
することにより、仮想視点画像の画素(Sv, Tv)と、カメ
ラ画像の画素(Sn, Tn)の関係を求め、マッピングテーブ
ルを作成する。

【０１０９】また、路面平面モデルと円筒モデルの組合
せも可能である。先に路面平面モデルによるワールド座
標系の３次元座標を求めて、その３次元座標が、円筒モ
デルの外側、もしくは平面との交点を持たずに解を生じ
ない場合は、次に円筒モデルによる３次元座標を求め
る。これにより路面平面モデルと円筒モデルの複合によ
る合成が可能となる。

【０１１０】―疑似円筒モデル― 路面平面モデルの周辺の遠方の状況を把握しやすくする
ため、周囲をお椀状の疑似円筒モデルを導入する。モデ
ルの形状を図２６に示す。仮想視点画像の周辺になる
程、遠方の部分が圧縮されて合成され、より広い範囲が
表示可能となる。この疑似円筒の形状を式（１２）で表
す。

【数９】

【０１１１】お椀の中心が(Xc, Yc, Zc)、Ｘ軸、Ｙ軸、
Ｚ軸方向の（a, b, c）の長さを持つ。前記円筒モデル
と同様に、式（１２）および式（５）から、仮想視点か
らの合成画像の座標に対応するワールド座標系の３次元
座標（Xw, Yw, Zw）を計算し、合成画像の各画素と、各
カメラ画像の画素の対応関係を求めることが可能とな
る。

【０１１２】なお、円筒モデルと同様に、路面平面モデ
ルとの組合せによる複合モデルによる合成も可能であ
る。

【０１１３】

【発明の効果】以上のように本発明によると、部分画像
同士の境界近傍に存在する物体の画像がその境界に沿っ
て変形されるので、合成画像上で消失することがない。
したがって、車の周囲の情報をより正確に運転者に伝
え、より安全な運転を支援することが可能となる。

【図面の簡単な説明】

【図１】本発明の第１の実施形態に係る運転支援装置の
構成を示すブロック図である。

【図２】本発明に係る車両におけるカメラの設置の一例
を示す図である。

【図３】図２のように配置された各カメラの画像の例を
示す図である。

【図４】図３のカメラ画像を用いて生成した合成画像の
例を示す図である。

【図５】本発明に係る車両におけるカメラの設置の一例
を示す図である。

【図６】図５のように配置された各カメラの画像の例を
示す図である。

【図７】図６のカメラ画像を用いて生成した合成画像の
例を示す図である。

【図８】本発明に係る車両におけるカメラの設置の一例
を示す図である。

【図９】図８のように配置されたカメラの画像から生成
した合成画像の例を示す図である。

【図１０】本発明に係る車両におけるカメラの設置の一
例を示す図である。

【図１１】図１０のように配置された各カメラの画像の
例を示す図である。

【図１２】図１１のカメラ画像を用いて生成した合成画
像の例を示す図である。

【図１３】本発明に係るカメラの配置の一例を示す図で
ある。

【図１４】図１３のように配置されたカメラの画像から
生成した合成画像の例を示す図である。

【図１５】本発明に係るカメラの配置の一例を示す図で
ある。

【図１６】図１５のように配置されたカメラの画像から
生成した合成画像の例を示す図である。

【図１７】従来の運転支援装置におけるカメラの設置の
一例を示す図である。

【図１８】図１７のように配置された各カメラの画像の
例を示す図である。

【図１９】従来の合成画像の例であり、部分画像の境界
部にある物体が消失する場合を示す図である。

【図２０】従来の合成画像の例であり、部分画像の境界
部にある物体が二重像になる場合を示す図である。

【図２１】部分画像の境界部にある物体が、消失せず、
二重像にもならない場合を示す図である。

【図２２】重複領域の例を示す図である。

【図２３】幾何変換を説明するための図である。

【図２４】幾何変換を説明するための図である。

【図２５】幾何変換を説明するための図である。

【図２６】幾何変換を説明するための図である。

【符号の説明】 １ 車両 １１ カメラ ２０ 画像処理部 ３０ 表示装置 ＣＡ１ カメラ（第１のカメラ） ＣＡ２ カメラ（第２のカメラ） ＣＡ３ カメラ（第３のカメラ） ＣＡ４ カメラ（第４のカメラ） ＣＢ１ カメラ（第１のカメラ） ＣＢ２ カメラ（第２のカメラ） ＣＣ１ カメラ（第１のカメラ） ＣＣ２ カメラ（第２のカメラ） ＣＥ１ カメラ（第２のカメラ） ＣＥ２ カメラ（第１のカメラ） ＣＥ３ カメラ（第４のカメラ） ＣＥ４ カメラ（第３のカメラ） ＣＤ１〜ＣＤ４，ＣＦ１〜ＣＦ４ カメラ ＰＩＡ１〜ＰＩＡ４，ＰＩＢ１，ＰＩＢ２，ＰＩＣ１，
ＰＩＣ２，ＰＩＤ１〜ＰＩＤ４，ＰＩＥ１〜ＰＩＥ４，
ＰＩＦ１〜ＰＩＦ４ 部分画像 ＢＬＡ１２，ＢＬＡ２３，ＢＬＡ３４，ＢＬＢ１２，Ｂ
ＬＣ１２，ＢＬＤ１２，ＢＬＤ２３，ＢＬＤ３４，ＢＬ
Ｅ１２，ＢＬＥ２３，ＢＬＥ３４，ＢＬＥ１４，ＢＬＦ
１２，ＢＬＦ２３，ＢＬＦ３４，ＢＬＦ１４ 境界

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｇ０３Ｂ 15/00 Ｇ０３Ｂ 15/00 Ｓ Ｇ０６Ｔ 1/00 ３３０ Ｇ０６Ｔ 1/00 ３３０Ｚ 3/00 ４００ 3/00 ４００Ｚ Ｈ０４Ｎ 5/225 Ｈ０４Ｎ 5/225 Ｃ // Ｈ０４Ｎ 101:00 101:00 (72)発明者 森村 淳 大阪府門真市大字門真1006番地 松下電器 産業株式会社内 (72)発明者 水澤 和史 大阪府門真市大字門真1006番地 松下電器 産業株式会社内 (72)発明者 飯阪 篤 大阪府門真市大字門真1006番地 松下電器 産業株式会社内 (72)発明者 吉田 崇 大阪府門真市大字門真1006番地 松下電器 産業株式会社内 Ｆターム(参考） 5B057 AA16 BA02 CA12 CA16 CB12 CB16 CE10 5C022 AA04 AA13 5C054 EA05 EH07 FC11 FD03 HA30

Claims (8)

【特許請求の範囲】
1. 【請求項１】 車両の周囲を撮影する、少なくとも第１
   および第２のカメラを含む複数のカメラと、 前記複数のカメラの撮影画像を入力とし、これらのカメ
   ラ画像から得た部分画像を合成し、この合成画像を表示
   装置に表示させる画像処理部とを備え、 前記合成画像は、前記第１のカメラに係る第１の部分画
   像と前記第２のカメラに係る第２の部分画像とが、隣り
   合うように配置されたものであり、 前記第１および第２のカメラは、 その撮影方向が、それぞれ、前記第１の部分画像と前記
   第２の部分画像との境界の近傍において、前記境界の方
   向とほぼ一致するように、設置されていることを特徴と
   する車両周囲監視装置。
2. 【請求項２】 請求項１記載の車両周囲監視装置におい
   て、 前記第１および第２のカメラの撮影方向と前記境界の方
   向とがなす角度は、それぞれ、１０度以下であることを
   特徴とする車両周囲監視装置。
3. 【請求項３】 請求項１記載の車両周囲監視装置におい
   て、 前記合成画像は、 前記第１の部分画像と前記第２の部分画像との境界にお
   いて、前記第１および第２の部分画像を混合したブレン
   ド画像が配置されたものであることを特徴とする車両周
   囲監視装置。
4. 【請求項４】 請求項１記載の車両周囲監視装置におい
   て、 前記第１のカメラは、当該車両の前の左または右端部
   に、右または左斜め前方に向けて配置されており、 前記第２のカメラは、当該車両の左または右側部に、左
   または右斜め前方に向けて配置されていることを特徴と
   する車両周囲監視装置。
5. 【請求項５】 請求項４記載の車両周囲監視装置におい
   て、 前記複数のカメラは、 当該車両の左または右側部に、左または右斜め後方に向
   けて配置されている第３のカメラと、 当該車両の後ろの左または右端部に、右または左斜め後
   方に向けて配置されている第４のカメラとを含むことを
   特徴とする車両周囲監視装置。
6. 【請求項６】 請求項１記載の車両周囲監視装置におい
   て、 前記第１のカメラは、当該車両の前の右または左端部
   に、左または右斜め前方に向けて配置されており、 前記第２のカメラは、当該車両の前の左または右端部
   に、左または右斜め後方に向けて配置されていることを
   特徴とする車両周囲監視装置。
7. 【請求項７】 請求項６記載の車両周囲監視装置におい
   て、 前記複数のカメラは、 当該車両の後ろの左または右端部に、右または左斜め後
   方に向けて配置されている第３のカメラと、 当該車両の後ろの右または左端部に、右または左斜め前
   方に向けて配置されている第４のカメラとを含むことを
   特徴とする車両周囲監視装置。
8. 【請求項８】 車両の周囲を撮影する複数のカメラと、
   前記複数のカメラの撮影画像から得た部分画像を合成
   し、この合成画像を表示装置に表示させる画像処理部と
   を備えた車両周囲監視装置を調整する方法であって、 前記複数のカメラのうち、前記合成画像において隣り合
   って配置される部分画像をそれぞれ撮影する第１および
   第２のカメラを、その撮影領域がオーバーラップするよ
   うに配置し、 前記第１のカメラに係る部分画像と前記第２のカメラに
   係る部分画像との境界の近傍において、前記第１および
   第２のカメラの撮影方向が、それぞれ、前記境界の方向
   とほぼ一致するように、前記第１および第２のカメラ並
   びに前記画像処理部の少なくともいずれか１つを、調整
   することを特徴とする車両周囲監視装置の調整方法。