JP2002083285A - 画像合成装置および画像合成方法 - Google Patents

画像合成装置および画像合成方法

Info

Publication number
JP2002083285A
JP2002083285A JP2001174414A JP2001174414A JP2002083285A JP 2002083285 A JP2002083285 A JP 2002083285A JP 2001174414 A JP2001174414 A JP 2001174414A JP 2001174414 A JP2001174414 A JP 2001174414A JP 2002083285 A JP2002083285 A JP 2002083285A
Authority
JP
Japan
Prior art keywords
image
imaging
projection
vehicle
projected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2001174414A
Other languages
English (en)
Inventor
Takeshi Okada
毅 岡田
Ryosuke Iida
亮介 飯田
Masato Nishizawa
眞人 西澤
Katsumasa Onda
勝政 恩田
Michio Miwa
道雄 三輪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP2001174414A priority Critical patent/JP2002083285A/ja
Priority to EP01305872A priority patent/EP1170173B1/en
Priority to DE60124345T priority patent/DE60124345T2/de
Priority to US09/899,229 priority patent/US7034861B2/en
Priority to AT01305872T priority patent/ATE344742T1/de
Priority to CNB011248440A priority patent/CN1212724C/zh
Priority to KR10-2001-0040601A priority patent/KR100414708B1/ko
Publication of JP2002083285A publication Critical patent/JP2002083285A/ja
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/002—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for parking purposes, e.g. for warning the driver that his vehicle has contacted or is about to contact an obstacle
    • B60Q9/004—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for parking purposes, e.g. for warning the driver that his vehicle has contacted or is about to contact an obstacle using wave sensors
    • B60Q9/005—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for parking purposes, e.g. for warning the driver that his vehicle has contacted or is about to contact an obstacle using wave sensors using a video camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/002—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for parking purposes, e.g. for warning the driver that his vehicle has contacted or is about to contact an obstacle
    • B60Q9/007—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for parking purposes, e.g. for warning the driver that his vehicle has contacted or is about to contact an obstacle providing information about the distance to an obstacle, e.g. varying sound
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Abstract

(57)【要約】 【課題】 周囲の状況と自動車との位置関係が把握しや
すいように、複数の異なる視点から撮像された画像をも
とに継ぎ目が日立たず、違和感のない自然な一枚の画像
を合成する。 【解決手段】 複数の撮像手段1a、1bと、撮像手段1a、
1bの撮像状況を検出する撮像状況検出手段2a、2bと、撮
像手段1a、1bにより撮像された複数の画像を、前記検出
された撮像状況を反映して投影部に投影し複数の第１の
投影像を生成する平面投影部３と、前記複数の第１の投
影像を三次元投影モデルに投影し、第２の投影像を生成
する三次元投影モデル投影部５と、前記第２の投影像を
仮想的に撮像する仮想撮像手段７と、前記三次元投影モ
デルの位置と形状とを決定する三次元投影モデル決定部
４と、仮想撮像手段７の撮像状況を決定する仮想撮像手
段撮像状況決定部６とを具備する。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は画像合成装置および
画像合成方法に関し、特に、自動車に搭載された複数の
撮像手段によって得られた画像を変換・合成し、自動車
の周囲の画像を運転者に提示することによって、駐車時
などの運転を支援する装置に用いて好適な画像合成装置
および画像合成方法に関する
【０００２】
【従来の技術】従来、この種の画像合成装置では、画像
合成によって複数の画像からパノラマ画像などの広い視
野の画像を合成する場合、各画像をそれぞれの撮像装置
から共通の円筒面に代表される曲面に投影し、それを仮
想的な撮像装置によって撮像することで、パノラマ画像
などを合成していた。この従来の手順を図１１および図
１２を用いて簡単に説明する。
【０００３】図１１は自動車Ａに取り付けられた２台の
撮像装置（図示せず）が像52を撮像して得られたそれぞ
れの画像53および54を円筒面に投影してパノラマ画像55
を合成する手順を示す。図１２(a)は撮像装置61aによっ
て撮像された画像62と、撮像装置61bによって撮像され
た画像63とから、円筒面66に合成画像を投影する手順を
三次元的に示す。画像63上の点64は円筒面上の点67に投
影され、仮想撮像手段72によって合成画像面73上の点69
に投影される。画像54上の点65は円筒面上の点68に投影
され、仮想画像手段72によって合成画像面63上の点70に
投影される。図１２(b)は図１２(a)を円筒面66の軸に垂
直な平面71に投影し、三次元的に表示した図である 。
前記手順で示した手法により、画像53と画像54上の各点
を写像変換させ、図１１のパノラマ画像55のような画像
を合成形成していた。
【０００４】上記従来技術内容の例としては、特開平5-
14751号公報に開示されている技術が知られている。他
に、三次元的に平面に投影する技術として、特開平6-20
189号公報および特開2000-134537号公報に開示されてい
る技術が知られている。また、球面に投影する技術とし
て、特開平9-322040号公報に開示されている技術も知ら
れている 。
【０００５】
【発明が解決しようとする課題】しかし、このような従
来の画像合成の手法では、投影中心が異なる位置に取り
付けられた複数の撮像装置から得られた複数の画像を一
枚の画像に合成しようとするため、図１１の合成パノラ
マ画像55に示される不連続点56a、56b、56cを生じ、異
なる画像間の継ぎ目で 像を一致させることが困難にな
るという問題があった。また、円筒に投影した場合、撮
像装置の近傍と遠方では、画像の歪み方が大きく異なる
ため、運転者にとって距離感をつかむのが困難になると
いう問題のほか、図１２のパノラマ画像面上の近傍部画
像57に示されるように、自動車のバンパやフェンダ等の
車体端分で画像が大きく歪み、この大きな画像歪みのた
め、駐車支援等の自動車安全運転アシストへの適用が難
しくなるといった問題もあった。
【０００６】本発明はこのような問題を解決するために
なされたもので、周囲の状況と自動車との位置関係が把
握しやすいように、複数の異なる視点から撮像された複
数の画像を利用するため、非常に広範囲（広視野）の情
報が得られると同時に、画像ごとが違和感なくつなぎ合
わせることができ、見た目に自然で、視認性の高い画像
を合成することのできる画像合成装置および画像合成方
法を提供するものである。
【０００７】
【課題を解決するための手段】本発明の画像合成装置
は、複数の撮像手段と、前記撮像手段の撮像状況を検出
する撮像状況検出手段と、前記撮像手段により撮像され
た複数の画像を、前記撮像状況検出手段で検出された撮
像状況を反映して投影部に投影し複数の第１の投影像を
生成する第１の投影手段と、前記複数の第１の投影像を
三次元投影モデルに投影し、第２の投影像を生成する第
２の投影手段と、前記第２の投影像を仮想的に撮像する
仮想撮像手段と、前記三次元投影モデルの位置と形状と
を決定する三次元投影モデル決定手段と、前記仮想撮像
手段の撮像状況を決定する仮想撮像手段撮像状況決定手
段とを具備し、前記第２の投影像を、前記仮想撮像手段
撮像状況決定手段によって決定された撮像状況から前記
仮想撮像手段によって撮像することにより、前記複数の
撮像手段によって得られる複数の画像を合成することを
特徴とする。この構成により、撮像手段で撮像された画
像を第１の投影部に投影してから、三次元投影モデルに
投影することによって、継ぎ目の目立たない画像を合成
することができる。
【０００８】また、本発明の画像合成装置は、複数の撮
像手段が自動車に取り付けられており、さらに前記自動
車の進行方向を検出する自動車進行方向検出手段を具備
したことを特徴とする。この構成により、視点の位置
を、自動車進行方向検出部によって得られた自動車の進
行方向と平行で、かつ三次元投影モデル投影部の投影中
心を通る直線上に設定して、特定の条件を満たす直線を
合成画像上でも直線として表示することができる。
【０００９】そして、本発明の画像合成装置は、複数の
撮像手段が自動車に取り付けられており、さらに前記自
動車の車体位置を検出する自動車車体位置検出手段を具
備したことを特徴とする。この構成により、仮想撮像手
段の視点を平面投影像と三次元投影モデル投影部の投影
中心を通る平面上に設定して、特定の条件を満たす直線
を合成画像上でも直線として表示することができる。
【００１０】また、本発明の画像合成装置は、複数の撮
像手段と、前記撮像手段の撮像状況を検出する撮像状況
検出手段と、前記撮像手段により撮像された複数の画像
を、前記検出された撮像状況を反映して投影面に投影し
複数の第１の投影像を生成する第２の投影手段と、前記
複数の第１の投影像を球面上に投影し第２の投影像を生
成する第２の投影手段と、前記球面上の一点を中心に前
記第２の投影像を平面に展開する変換手段とを具備した
ことを特徴とする。この構成により、球面の位置を変え
ても平面に展開する時の中心の点を調節することで特定
の直線を合成画像上でも直線として投影することができ
る。
【００１１】さらに、本発明の画像合成方法は、複数の
画像を撮像する撮像ステップと、前記撮像ステップの撮
像状況を検出する撮像状況検出ステップと、前記撮像さ
れた複数の画像を、前記検出された撮像状況を反映して
投影部に投影し複数の第１の投影像を生成する第１の投
影ステップと、前記複数の第１の投影像を三次元投影モ
デルに投影し、第２の投影像を生成する第２の投影ステ
ップと、前記第２の投影像を仮想的に撮像する仮想撮像
ステップと、前記三次元投影モデルの位置と形状を決定
する三次元投影モデル決定ステップと、前記仮想撮像ス
テップの撮像状況を決定する仮想撮像ステップ撮像状況
決定ステップとを具備し、前記第２の投影像を、前記仮
想撮像ステップ撮像状況決定ステップによって決定され
た撮像状況から前記仮想撮像ステップによって撮像する
ことにより、前記撮像ステップによって得られる複数の
画像を合成することを特徴とする。この構成により、合
成部で継ぎ目の目立たない違和感の無い自然な画像を合
成し、同時に、三次元投影モデルを円筒と球などを組み
合わせて構成し、合成画像の歪みを軽減することが可能
となる。
【００１２】そして、本発明の画像合成方法は、複数の
画像を撮像する撮像ステップと、前記撮像ステップの撮
像状況を検出する撮像状況検出ステップと、前記撮像さ
れた複数の画像を、前記検出された撮像状況を反映して
投影部に投影し複数の第１の投影像を生成する第１の投
影ステップと、前記複数の第１の投影像を球面に投影
し、第２の投影像を生成する第２の投影ステップと、前
記第２の投影像を前記球面上の一点を中心に平面に展開
する平面展開ステップと、前記球面の位置を決定する球
面位置決定ステップとを具備し、前記平面展開ステップ
によって得られる複数の画像を合成することを特徴とす
る。この構成により、特定の条件を満たす直線が合成画
像上でも折れ目や断続のない直線として得られ、違和感
のない自然な画像として認識できるプロセスを実現する
ことができる。
【００１３】
【発明の実施の形態】以下、本発明の実施の形態につい
て、図面を用いて詳細に説明する。なお、この発明の実
施の形態では、２個の撮像手段から得られた画像を一枚
の画像に合成する手順を説明するが、撮像手段が３個以
上の場合も同じ手順を繰り返すことにより、 多数の撮
像手段から得られた画像を一枚の画像に合成することが
可能であることは言うまでもない。
【００１４】（第１の実施の形態）図１は本発明の第１
の実施の形態における画像合成装置の構成を示すブロッ
ク図である。図１に示すように、この画像合成装置は、
撮像手段１と、撮像状況検出手段２と、平面投影部３
と、三次元投影モデル決定部４と、三次元投影モデル投
影部５と、仮想撮像手段撮像状況決定部６と、仮想的撮
像手段７とから構成されている。
【００１５】撮像手段１は、第１の撮像手段1aと、第２
の撮像手段1bとからなる２台の撮像装置から構成されて
いる。撮像状況検出手段２は、第１の撮像手段1aの撮像
状況を検出する第１の撮像状況検出手段2aと、第２の撮
像手段1bの撮像状況を検出する第２の撮像状況検出手段
2bとからなる。第１の撮像手段1a、第２の撮像手段1b、
第１の撮像状況検出手段2a、および第２の撮像状況検出
手段2bの出力は、平面投影部３に入力される。平面投影
部３の出力、および三次元投影モデル決定部４の出力
は、三次元投影モデル投影部５に入力される。三次元投
影モデル投影部５の出力、および仮想撮像手段撮像状況
決定部６の出力は、仮想的撮像手段７に入力される。
【００１６】ここで、平面投影部３で用いる投影部は自
動車の置かれている面、すなわち道路面とする。道路面
は厳密には完全な平面ではないが、ほぼ平面を成してい
ると考えることができる。また、三次元投影モデル投影
部５で用いる三次元投影モデルは、道路面に垂直な円筒
面と球面とを滑らかに組み合わせた曲面とし、投影中心
はその円筒面の軸上の点とする。
【００１７】まず撮像手段撮像状況検出部２では、道路
面上の位置が判っている複数の点と、第１の撮像手段1a
あるいは第２の撮像手段1bによって得られた画像上の複
数の点との対応をそれぞれ取ることで、撮像手段1a、1b
の撮像状況をそれぞれ検出する。撮像状況とは、（1）
撮像手段が道路面に対してどの場所に取り付けられてい
るか、（2）撮像手段が道路面に対してどのような方向
に向けて設置されているか、（3）撮像手段の画角、焦
点距離、レンズの歪みなどの種々の撮像特性を表す値、
などのパラメータのことであり、これらが検出された場
合、撮像手段からの相対位置と形状が既知である物体
は、この撮像手段によって画像上でどのように撮像され
ているかを理論的に数値計算して求めることができる。
実際には、あらかじめ必要なパラメータを収集し、メモ
リ等に登録するため、工場出荷前での調整段階で格子状
の物体を撮像して、三次元空間における座標と、投影さ
れた面像座標の各数値とを計算機に取り込んでパラメー
タの推定値を求めるか、撮像手段の取り付け状態を示す
位置や角度をセンサーで検出して、このデータを計算機
に取り込みパラメータを機械的（自動的）に求めてい
る。
【００１８】また、撮像手段撮像状況検出部２では、前
記パラメータを求める方法とは別に、画像から道路面へ
の変換行列を求めることでも撮像手段の撮像状況をそれ
ぞれ検出できる。前記変換行列も道路面上の位置が既知
の複数の点と画像上の複数の点との対応をそれぞれ取る
ことで求めることができる。この変換行列によって画像
から道路面への平面投影が可能となる。
【００１９】次に各投影部の処理について図２および図
３（a）を用いて説明する。図２は本発明の第１の実施
の形態における画像合成装置の処理の流れを示すフロ−
チャートであり、図3（a）は第１の実施の形態における
撮像手段1aおよび1bで撮像した画像を投影して合成画像
を形成するプロセスの原理を説明するための図である。
【００２０】図２においてSTEP２までの流れは、撮像手
段撮像状況検出部２で得られた撮像状況を用いて、図２
のSTEP１における撮像手段1aおよび1bによって撮像され
た画像をそれぞれの撮像状況に従って平面投影部３が投
影部（道路面）に投影するプロセスを示している。図3
（a）に三次元的に示すように、前記投影は撮像手段1a
で撮像された画像８上の点1５、および撮像手段1bで撮
像された画像９上の点16から点17への変換である。この
段階で、画像８および画像９上に撮像されている道路面
上の像が正確に重なるように変換されている。すなわち
道路面上の白線などの表示がぴったりと重なり、二重に
投影されることがない。この平面投影部３により、画像
８上の点15と画像９上の点16の座標から道路面上の点17
の座標への変換が行われる。
【００２１】図２のSTEP３までの流れは、平面投影部３
によって道路面に投影された像を三次元投影モデル投影
部５が三次元投影モデルに投影するプロセスを示してい
る。三次元投影モデルへの投影とは、道路面上の点17
が、点17と三次元投影モデルの投影中心12とを結ぶ直線
と、三次元投影モデル11の面との交点18に投影されるこ
とを意味する。
【００２２】図２のSTEP４までの流れは、仮想撮像手段
撮像状況決定部６によって決定された撮像状況に従っ
て、仮想撮像手段７によって三次元投影モデル投影部５
の三次元投影モデル11上に描かれた像を撮像するプロセ
スを示している。この撮像は図3（a）において三次元的
に示されているように、点18と仮想撮像手段の視点13と
を結ぶ直線と、合成画像面14との交点19への変換であ
る。この仮想撮像手段７によって撮像された画像が合成
画像である。
【００２３】このようにして、図１１の像５２に示され
るような条件で得られた画像を合成すると、図３（b）
に示すパノラマ画像が得られる。道路面上の直線などは
継ぎ目部20に示されるように滑らかにつながる。また、
撮像手段から十分離れた立体物も遠方継ぎ目部21のよう
に接続部分が目立たなくなる。
【００２４】また、三次元投影モデル11または投影中心
12の位置を路面に垂直な方向に動かすと、円筒面上に投
影される領域と球面上に投影される領域の範囲を変える
ことができる。例えば、図４（a）に示すように、三次
元投影モデル11の円筒面と球面との境界と、投影中心12
とを同じ高さに設定すると、投影中心12より低い位置に
ある像は球面上、それ以外は円筒面上に投影される。ま
た、図４（b）に示すように、投影中心1２はそのまま
で、三次元投影モデル11の位置を図４（a）より低い位
置に設定すると、球面上に投影される領域は投影中心12
の近傍だけになり、逆に円筒面上に投影される領域は大
きくなる。このようにして、運転者の用途に適した画像
を合成することができる。
【００２５】このように、本発明の第１の実施の形態に
よれば、投影部を道路面に設定することで、位置の異な
る複数の撮像手段から得られた画像を合成した場合で
も、道路面上の白線などが異なる画像間の継ぎ目で完全
に一致するので、道路面の状況が運転者にとって理解し
やすいという特徴がある。この場合、一般に道路面の平
面上の物体以外、すなわち道路面上の立体物などは異な
る画像間の継ぎ目で一致しないが、異なる撮像手段の位
置間の距離に対して十分遠い位置にある立体物は継ぎ目
の部分でもほぼ一致する。したがって、合成された画像
は違和感のない自然な画像となる。
【００２６】また、撮像状況検出手段は投影部に対する
撮像手段の少なくとも位置、姿勢、または撮像特性のい
ずれかをあらかじめ検出することにより、撮像手段で撮
像した画像と道路面への平面投影を容易に一致させるこ
とができる。
【００２７】さらに、平面投影部は、撮像された画像と
投影部との複数の対応点の組から求められた変換行列に
よって、撮像された画像上の点を投影部に投影すること
により、撮像手段で撮像した画像から道路面への投影が
可能になる。
【００２８】そして、形状の異なる複数の面を組み合わ
せた三次元投影モデルとしたことにより、撮像対象にで
きるだけ近いモデルに投影して質のよい合成画像を得る
ことができる。
【００２９】また、複数の形状の異なる面の継ぎ目は目
立たないように組み合わされているので、道路面の直線
などが合成画像上で折れ曲がって合成されるといったこ
とが起こらず、全体的に違和感のない自然な画像を得る
ことが可能になる。
【００３０】さらに、三次元投影モデルは球と円筒とを
組み合わせたものであり、その三次元投影モデルに投影
する際に、遠方は円筒に、それ以外は球に投影すること
により、自動車の近傍を球、遠方を円筒に投影すること
で、円筒だけに投影する場合と比較して、近傍部分の画
像の歪みが軽減され、距離感がつかみやすいという特徴
を持つ。ここで、球面の中心を円筒面の軸上にとり、球
面と円筒面の半径を等しくすることで球面と円筒面との
境界が滑らかにつながる。また、平面と円筒とを組み合
わせ、その境界を滑らかにつないだ場合と比較して、近
傍部分の歪みがより滑らかになるため、違和感の非常に
少ない画像を合成することができる。
【００３１】なお、以上の説明では、三次元投影モデル
は円筒と球とを組み合わせたものとしたが、球のみとし
ても良い。この場合、広い視野の画像を合成する際に、
全体が大きく歪まないような画像を得ることができる。
三次元投影モデルに球を用いて魚眼レンズで撮像したよ
うな画像を生成することが可能となり、画像全体に一様
な歪み方であるものの、周辺にどのような物体があるの
かを運転者が認識しやすくなる。
【００３２】また、円筒と楕円球を継ぎ目が滑らかにな
るように組み合わせ、遠方を円筒に、それ以外を楕円球
に投影しても、円筒と球とを組み合わせた場合と同様な
効果が得られる。
【００３３】さらに、平面と円筒とを組み合わせた三次
元投影モデルとし、この三次元投影モデルに投影する際
に、遠方は円筒に、それ以外は平面に投影しても良い。
この場合、自動車の近傍を平面に投影することで、道路
面上の白線などの直線が合成画像上でも直線として投影
されるという特徴と、遠方は円筒面に投影されるので、
画像が大きく歪まないという特徴を同時に持つ。このた
め、駐車場などで白線に合わせて駐車することが容易に
でき、かつ周囲の広範囲の状況も理解しやすいこととな
る。また、三次元投影モデルとして円筒面を単独に用い
た場合、撮像手段に近い領域が合成画像上で大きくなっ
てしまい結果的に遠近感が得にくいという欠点が残る
が、近傍を平面に投影することによってこの問題点を解
決することが可能になる。
【００３４】そして、円筒、平面、および円筒と平面と
の境界を滑らかにつなぐ曲面の３種類の面を組み合わせ
た三次元投影モデルを用いても良い。これにより、遠景
を撮像した画像同士を合成する場合、遠景は垂直に立っ
た円筒に描かれた像と考えることができるのに対し、撮
像手段の真下にある物体を円筒面に投影する場合は非常
に歪んだ像になるという問題を、遠方を円筒に、円筒と
平面との境界を滑らかにつなぐ曲面で中間を、それ以外
を平面に投影する構成により避けることができる。
【００３５】以上のことより、例えば、自動車に装備さ
れた荷台連結器（ヒッチ）を用いての荷台車との連結と
いうシーンを想定した場合、荷台車が自車から離れてい
る初期状態、すなわち自車を荷台車に近づける際には、
ちょうど対象となる荷台が前記円柱投影面上に投影され
た部分に表示され、周囲状況、物体との関連がつかみや
すく、また、荷台車を連結する直前では、上記平面投影
あるいは球面投影の部分で互いのヒッチの位置関係を正
確に捉えることができて、以上の動作と使い方により、
容易に荷台と自車との連結が可能となる。
【００３６】また、限られた駐車スペースへの駐車の
際、あるいは、複数車線での後方車両の位置関係の把握
の際にも、ドライバに理解しやすい映像を提供できると
いう同様の利点が生じることはいうまでもない。
【００３７】（第２の実施の形態）図５は本発明の第２
の実施の形態における画像合成装置の構成を示すブロッ
ク図である。なお図５において、図１に示す機能部と同
じ機能部には同じ符号を付して詳細な説明を省略する。
この画像合成装置は、自動車の進行方向を検出し、その
出力を仮想撮像手段撮像状況決定部６に入力する自動車
進行方向検出部22を図１の画像合成装置に付加したもの
である。
【００３８】第２の実施の形態においても第１の実施の
形態と同様に、平面投影部３で用いる投影面は道路面と
し、三次元投影モデル投影部５で用いる三次元投影モデ
ルは、道路面に垂直な円筒面と球面とを滑らかに接続し
た曲面、投影中心は円筒の軸上の点とする。
【００３９】図６（a）は本発明の第２の実施の形態に
おいて、自動車が直進運動している場合に仮想撮像手段
７によって合成画像が形成される構成を三次元的に示し
ている。なお、図６（a）では、撮像手段1aおよび1bに
よって撮像された画像をそれぞれの撮像状況に従って平
面投影部３が道路面に投影するプロセス（図２のSTEP２
までのプロセス）が省略されている。
【００４０】本発明の第２の実施の形態では、仮想撮像
手段７によって撮像する際、仮想撮像手段７の視点13の
位置を、自動車進行方向検出部22によって得られた自動
車の進行方向と平行で、かつ三次元投影モデル投影部５
の投影中心12を通る直線上に設定する。このとき、自動
車の進行方向と平行な直線は合成画像上でも直線とな
り、と同時に前記合成画像上の直線は一点で交わり、ま
た、自動車が直進運動をしている場合、自動車の周囲に
存在する静止物体は自動車から見て相対的に自動車の進
行方向と平行な直線運動を行うため、これらの物体は合
成画像上でも直線運動を行う。
【００４１】この原理を図６（a）の仮想撮像手段７と
三次元投影モデル11との幾何学的関係を用いて説明す
る。三次元投影モデル11の投影中心12と仮想撮像手段の
視点13とを結ぶ線分23は、自動車進行方向24と平行であ
る。このとき、道路面に描かれた自動車の進行方向に対
して平行な線25と線分23とは、同一平面26上に存在す
る。次に、前記の平行な線25を三次元投影モデル11に投
影した像27は、三次元投影モデル11と平面26との交線と
なっており、さらに、前記の像27を仮想撮像手段７によ
って撮像した像28は、合成画像面14と平面26との交線上
に存在することになる。像28は平面と平面との交線であ
るから直線であり、前記直線は線分23と合成画像面14と
の交点29を通過する。
【００４２】上記説明は、道路面上に限らず、線分23と
同一平面上に存在する任意の直線の場合についても同様
に証明でき、これらの像の延長は全て点29で交わる。
【００４３】自動車が直進運動している時、自動車の周
囲に存在する静止物体は自動車から見て相対的に線分23
と平行な直線上を移動する。したがって、図６（b）の
パノラマ合成画像に示すように、静止物体の像30は一点
29に向かって直線運動を行う。
【００４４】このように、本発明の第２の実施の形態に
よれば、複数の撮像手段は自動車に取り付けられてお
り、さらに上記自動車の進行方向を検出する自動車進行
方向検出手段を具備し、また、仮想撮像手段の視点の位
置は、自動車の進行方向に平行でかつ三次元投影モデル
投影部の投影中心を通る直線上に定められているので、
自動車の進行方向と平行な直線は合成画像上でも直線に
投影されるという特徴を持つ。したがって、自動車が直
進運動をしている時、自動車の周囲の静止物体は自動車
から見て相対的に自動車の進行方向と平行に直線運動を
行うので、合成画像上で静止物体は直線上を移動し、運
転者にとって状況を判断しやすい画像を得ることができ
る。
【００４５】（第３の実施の形態）図７は本発明の第３
の実施の形態における画像合成装置の構成を示すブロッ
ク図である。なお図７においても、図１に示す機能部と
同じ機能部には同じ符号を付して詳細な説明を省略す
る。この画像合成装置は、自動車の車体位置を検出し、
その出力を仮想撮像手段撮像状況決定部６に入力する自
動車車体位置検出部31を図１の画像合成装置に付加した
ものである。
【００４６】第３の実施の形態においても第１の実施の
形態と同様に、平面投影部３で用いる投影面は道路面と
し、三次元投影モデル投影部５で用いる三次元投影モデ
ルは、道路面に垂直な円筒面と球面を滑らかに接続した
曲面、投影中心は円筒の軸上の点とする。
【００４７】図８（a）は第３の実施の形態において、
第１の撮像手段1aによって撮像された自動車Ａの車体端
32Lを、自動車Ａに取り付けられた自動車車体位置検出
部31により検出された車体位置を用いて、道路面上に投
影して得られる投影車体端32を得るためのプロセスの概
略を示している。また、図８（b）は本発明の第３の実
施の形態において、自動車Ａに取り付けられた自動車車
体位置検出部31により検出された車体位置を用いて道路
面上に車体端32Lを投影して得られる投影車体端32を、
仮想撮像手段7によって合成画像に形成するための構成
を三次元的に示している。なお、図８（b）の場合も第
２の実施の形態における図６（a）の場合と同様に、図
２のSTEP２までのプロセス、すなわち撮像手段1aおよび
1bによって撮像された画像をそれぞれの撮像状況に従っ
て平面投影部３が道路面に投影するプロセスが省略され
ている。
【００４８】仮想撮像手段の視点13の位置は以下の手順
で決定される。ここでは自動車Ａの車体端32Lを直線と
仮定すれば、車体端を平面投影した像32も直線となる。
仮想撮像手段の視点13を像32と投影中心12とを通る平面
33上に設定する。このとき、像32を三次元モデルに投影
した像34はやはり平面33上に存在し、像34の合成画像上
での像35も平面33上に存在する。したがって像35は平面
33と合成画像面14との交線上に存在し、像35は直線とな
る。このため合成された画像は図８（c）のパノラマ画
像に示すように、合成画像上では車体端36のように折れ
目や断続のない直線になる。また、自動車の側方に設置
された撮像装置の画像を合成して、図８（ｄ）のように
自動両の側面を直線に変換して自車両の側方の監視に適
した画像を合成することも可能である。さらに、自動両
ではなく、走行中のレーンの隣のレーンや、交差点など
で交差する道路の中央の線を直線にするような画像を合
成することも可能である。
【００４９】このように、本発明の第３の実施の形態に
よれば、複数の撮像手段は自動車に取り付けられてお
り、自動車の車体位置を検出する自動車車体位置検出手
段を具備し、また、仮想撮像手段の視点の位置は、自動
車の車体の端を平面投影した像と第２の投影手段の投影
中心とを通る平面上に定められているので、自動車の車
体端が合成画像上でも直線に投影される。
【００５０】（第４の実施の形態）図９は本発明の第４
の実施の形態における画像合成装置の構成を示すブロッ
ク図である。
【００５１】なお図９においても、図１に示す機能部と
同じ機能部には同じ符号を付して詳細な説明を省略す
る。図９に示す画像合成装置は、図１の三次元投影モデ
ル投影部５で用いる三次元投影モデルを球面とするとと
もに、その球面の位置を決定する球面位置決定部37を備
えている。また、図１の仮想撮像手段７の代わりに球面
展開部38を用いて画像を合成する。
【００５２】第４の実施の形態における画像合成の手順
を図１０を用いて説明する。図１０（a）は球面モデル
に投影した後、その球面を平面に展開する手法の手順を
幾何学的に三次元表示したものである。第１の実施の形
態と同様に、撮像手段によって撮像された画像を道路面
に平面投影し、その像を図１０（a）のように球面に投
影する。このときの投影中心39は球面の中心とする。こ
のように球面に投影された像40を球面上の点41を中心に
展開する。この操作によって、像40は点42に変換され
る。図１０（b）は図１０（a）における球面と合成画像
14とを、点39、40、41、4２の4点を通る平面で切断した
断面図である。前記断面図に示されるように、球面展開
部38では、点41から点40までの円弧の長さと点41から点
42までの直線の長さとが等しくなるように展開する。こ
のようにして合成画像面14上に展開された像を合成画像
とする。
【００５３】点39と点41とを結ぶ直線43と同一平面上に
ある直線は、この変換によって合成画像上でも直線にな
る。したがって、直線43が自動車の進行方向と平行にな
るように点39と点41とを設定した場合、球面の位置によ
らず自動車の進行方向に平行な直線は合成画像上でも直
線になり、第２の実施の形態と同様の効果が得られる。
また、道路面10上に投影された車体端と直線4３とが同
一平面上に存在するように点39と点4１とを選ぶと、合
成画像上では車体端も直線として投影され、第３の実施
の形態と同様の効果が得られる。
【００５４】このように、本発明の第４の実施の形態に
よれば、撮像手段により撮像された複数の画像を道路面
に平面投影し、その平面投影像を球面に投影し、さらに
前記球面上の一点を中心に前記球面投影像を平面に展開
するので、球面の位置を変えても平面に展開する時の中
心の点を調節することで特定の直線を合成画像上でも直
線として投影することができる。
【００５５】
【発明の効果】以上説明したように、本発明は、複数の
異なる位置に設けられた撮像手段で撮像された画像を一
度道路面などの投影部に投影してから球面などの三次元
曲面に投影することによって、継ぎ目の目立たない画像
を合成することが可能になるという優れた効果を有する
画像合成装置および画像合成方法を提供することができ
るものである。
【００５６】また、三次元投影モデルを円筒と球などを
組み合わせて作ることにより、合成画像の歪みを軽減さ
せることが可能となり、運転者にとって距離感などの感
覚が自然に把握しやすい画像を合成することが可能にな
るという優れた効果を有する画像合成装置および画像合
成方法を提供することができるものである。
【００５７】さらに、仮想撮像手段の視点の位置、三次
元投影モデルの位置を調整することによって、特定の条
件を満たす直線を合成画像上でも直線として表示するこ
とが可能となり、自動車の幅寄せ等に便利になるという
優れた効果を有する画像合成装置および画像合成方法を
提供することができるものである。
【００５８】そして、三次元投影モデルを球面として投
影された像を平面状に展開することにより、合成画像上
の点の画像中心からの距離と画角が比例するという効果
が得られ、この場合、球の位置などを調整することで特
定の条件を満たす直線が合成画像上でも折れ目や断続の
ない直線として得られ、違和感のない自然な画像として
認識できるという優れた効果を有する画像合成装置およ
び画像合成方法を提供することができるものである。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態における画像合成装
置の構成を示すブロック図、
【図２】本発明の第１の実施の形態における処理の流れ
を説明するための図、
【図３】本発明の第１の実施の形態において、合成画像
を完成させるまでの投影のプロセスの原理図、
【図４】本発明の第１の実施の形態において、円筒面と
球面とを組み合わせた三次元投影モデルの位置を変える
ことによって、円筒面に投影される領域と球面に投影さ
れる領域が変化することを説明するための図、
【図５】本発明の第２の実施の形態における画像合成装
置の構成を示すブロック図、
【図６】本発明の第２の実施の形態において、仮想撮像
手段の視点の位置と画像の変化について説明ためのする
図
【図７】本発明の第３の実施の形態における画像合成装
置の構成を示すブロック図、
【図８】本発明の第３の実施の形態において、車体端が
合成画像上で直線になるための仮想撮像手段の視点の位
置を説明するための図、
【図９】本発明の第４の実施の形態における画像合成装
置の構成を示すブロック図、
【図１０】本発明の第４の実施の形態における合成画像
を得るまでの手順を表す原理図、
【図１１】従来の画像合成方法においてパノラマ画像を
合成する手順を示す図、
【図１２】従来の画像合成方法においてパノラマ画像を
合成する手順を三次元的に表示した図である。
【符号の説明】
１ 撮像手段 ２ 撮像手段撮像状況検出部 ３ 平面投影部 ４ 三次元投影モデル決定部 ５ 三次元投影モデル投影部 ６ 仮想撮像手段撮像状況決定部 ７ 仮想撮像手段 22 自動車進行方向検出部 31 自動車車体位置検出部 37 球面位置決定部 38 球面展開部
───────────────────────────────────────────────────── フロントページの続き (72)発明者 西澤 眞人 神奈川県横浜市港北区綱島東四丁目３番１ 号 松下通信工業株式会社内 (72)発明者 恩田 勝政 神奈川県横浜市港北区綱島東四丁目３番１ 号 松下通信工業株式会社内 (72)発明者 三輪 道雄 神奈川県横浜市港北区綱島東四丁目３番１ 号 松下通信工業株式会社内 Ｆターム(参考） 5B050 AA10 BA06 BA09 DA07 EA13 EA19 EA27 FA02 5B057 AA16 CA12 CA16 CB13 CB16 CC01 CD14 CD17 CE10 DA16 5C054 FD02 HA30

Claims (26)

    【特許請求の範囲】
  1. 【請求項１】 複数の撮像手段と、前記撮像手段の撮像
    状況を検出する撮像状況検出手段と、前記撮像手段によ
    り撮像された複数の画像を、前記撮像状況検出手段で検
    出された撮像状況を反映して投影部に投影し複数の第１
    の投影像を生成する第１の投影手段と、前記複数の第１
    の投影像を三次元投影モデルに投影し、第２の投影像を
    生成する第２の投影手段と、前記第２の投影像を仮想的
    に撮像する仮想撮像手段と、前記三次元投影モデルの位
    置と形状とを決定する三次元投影モデル決定手段と、前
    記仮想撮像手段の撮像状況を決定する仮想撮像手段撮像
    状況決定手段とを具備し、前記第２の投影像を、前記仮
    想撮像手段撮像状況決定手段によって決定された撮像状
    況から前記仮想撮像手段によって撮像することにより、
    前記複数の撮像手段によって得られる複数の画像を合成
    することを特徴とする画像合成装置。
  2. 【請求項２】 撮像状況検出手段は、投影部に対する撮
    像手段の少なくとも位置、姿勢、または撮像特性のいず
    れかをあらかじめ検出することを特徴とする請求項１記
    載の画像合成装置。
  3. 【請求項３】 第１の投影手段は、撮像された画像と、
    投影部との複数の対応点の組から求められた変換行列に
    よって、前記撮像された画像上の点を前記投影部に投影
    することを特徴とする請求項１記載の画像合成装置。
  4. 【請求項４】 投影部は、ほぼ平面であることを特徴と
    する請求項１から請求項３のいずれかに記載の画像合成
    装置。
  5. 【請求項５】 三次元投影モデルは、球面であることを
    特徴とする請求項１記載の画像合成装置。
  6. 【請求項６】 三次元投影モデルは、形状の異なる複数
    の面を組み合わせたものであることを特徴とする請求項
    １記載の画像合成装置。
  7. 【請求項７】 三次元投影モデルは、平面と円筒とを組
    み合わせたものであり、前記三次元投影モデルに第２の
    投影手段によって投影する際に、遠方は円筒に、それ以
    外は平面に投影し、前記投影像を仮想撮像手段によって
    撮像することを特徴とする請求項６記載の画像合成装
    置。
  8. 【請求項８】 複数の形状の異なる面の継ぎ目は目立た
    ないように組み合わされていることを特徴とする請求項
    ６記載の画像合成装置。
  9. 【請求項９】 三次元投影モデルは、球と円筒とを組み
    合わせたものであり、前記三次元投影モデルに第２の投
    影手段によって投影する際に、遠方は円筒に、それ以外
    は球に投影し、前記投影像を仮想撮像手段によって撮像
    することを特徴とする請求項６記載の画像合成装置。
  10. 【請求項１０】 三次元投影モデルは円筒、平面、およ
    び円筒と平面との境界を滑らかにつなぐ曲面の３種類の
    面を組み合わせたものであることを特徴とする請求項８
    記載の画像合成装置。
  11. 【請求項１１】 撮像手段によって撮像された画像上の
    線分が合成画像上で直線として変換されることを特徴と
    する請求項１記載の画像合成装置
  12. 【請求項１２】 複数の撮像手段は自動車に取り付けら
    れており、さらに前記自動車の進行方向を検出する自動
    車進行方向検出手段を具備したことを特徴とする請求項
    １記載の画像合成装置。
  13. 【請求項１３】 仮想撮像手段の視点の位置は、自動車
    の進行方向に平行でかつ第２の投影手段の投影中心を通
    る直線上に定められていることを特徴とする請求項１２
    記載の画像合成装置。
  14. 【請求項１４】 自動車の進行方向を表す線分が合成画
    像上で直線として変換されることを特徴とする請求項１
    ２記載の画像合成装置。
  15. 【請求項１５】 複数の撮像手段は自動車に取り付けら
    れており、さらに前記自動車の車体位置を検出する自動
    車車体位置検出手段を具備したことを特徴とする請求項
    １記載の画像合成装置。
  16. 【請求項１６】 仮想撮像手段の視点の位置は、自動車
    の車体の端を平面投影した像と第２の投影手段の投影中
    心とを通る平面上に定められていることを特徴とする請
    球項１５記載の画像合成装置。
  17. 【請求項１７】 撮像手段は自動車の後方に取り付けら
    れており、前記自動車の後方端が合成画像上で直線とし
    て変換されることを特徴とする請求項１１記載の画像合
    成装置
  18. 【請求項１８】 撮像手段は自動車の側方に取り付けら
    れており、前記自動車の側方端が合成画像上で直線とし
    て変換されることを特徴とする詩求項１１記載の画像合
    成装置。
  19. 【請求項１９】 撮像手段は自動車の側方に取り付けら
    れており、前記自動車が走行しているレーンの隣のレー
    ンの中心線が合成画像上で直線として変換されることを
    特徴とする請求項１１記載の画像合成装置。
  20. 【請求項２０】 撮像手段は自動車の後方に取り付けら
    れており、前記自動車が走行している道路に対して垂直
    な道路の中心線が合成画像上で直線として変換されるこ
    とを特徴とする請求項１１記載の画像合成装置。
  21. 【請求項２１】 撮像手段は自動車の前方に取り付けら
    れ、前記自動車が走行している道路に対して垂直な道路
    の中心線を直線に変換することを特徴とする請求項１１
    記載の画像合成装置。
  22. 【請求項２２】 複数の撮像手段と、前記撮像手段の撮
    像状況を検出する撮像状況検出手段と、前記撮像手段に
    より撮像された複数の画像を、前記検出された撮像状況
    を反映して投影面に投影し複数の第１の投影像を生成す
    る第２の投影手段と、前記複数の第１の投影像を球面上
    に投影し第２の投影像を生成する第２の投影手段と、前
    記球面上の一点を中心に前記第２の投影像を平面に展開
    する変換手段とを具備したことを特徴とする画像合成装
    置。
  23. 【請求項２３】 複数の画像を撮像する撮像ステップ
    と、前記撮像ステップの撮像状況を検出する撮像状況検
    出ステップと、前記撮像された複数の画像を、前記検出
    された撮像状況を反映して投影部に投影し複数の第１の
    投影像を生成する第１の投影ステップと、前記複数の第
    １の投影像を三次元投影モデルに投影し、第２の投影像
    を生成する第２の投影ステップと、前記第２の投影像を
    仮想的に撮像する仮想撮像ステップと、前記三次元投影
    モデルの位置と形状を決定する三次元投影モデル決定ス
    テップと、前記仮想撮像ステップの撮像状況を決定する
    仮想撮像ステップ撮像状況決定ステップとを具備し、前
    記第２の投影像を、前記仮想撮像ステップ撮像状況決定
    ステップによって決定された撮像状況から前記仮想撮像
    ステップによって撮像することにより、前記撮像ステッ
    プによって得られる複数の画像を合成することを特徴と
    する画像合成方法。
  24. 【請求項２４】 自動車の進行方向を検出する自動車進
    行方向検出手段からの信号情報を仮想撮像手段撮像状況
    決定手段に伝送するステップを具備したことを特徴とす
    る請求項２３記載の画像合成方法。
  25. 【請求項２５】 自動車の車体位置を検出する自動車車
    体位置検出手段からの信号情報を仮想撮像手段撮像状況
    決定手段に伝送するステップを具備したことを特徴とす
    る請求項２３記載の画像合成方法。
  26. 【請求項２６】 複数の画像を撮像する撮像ステップ
    と、前記撮像ステップの撮像状況を検出する撮像状況検
    出ステップと、前記撮像された複数の画像を、前記検出
    された撮像状況を反映して投影部に投影し複数の第１の
    投影像を生成する第１の投影ステップと、前記複数の第
    １の投影像を球面に投影し、第２の投影像を生成する第
    ２の投影ステップと、前記第２の投影像を前記球面上の
    一点を中心に平面に展開する平面展開ステップと、前記
    球面の位置を決定する球面位置決定ステップとを具備
    し、前記平面展開ステップによって得られる複数の画像
    を合成することを特徴とする画像合成方法。
JP2001174414A 2000-07-07 2001-06-08 画像合成装置および画像合成方法 Pending JP2002083285A (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2001174414A JP2002083285A (ja) 2000-07-07 2001-06-08 画像合成装置および画像合成方法
EP01305872A EP1170173B1 (en) 2000-07-07 2001-07-06 Picture composing apparatus and method
DE60124345T DE60124345T2 (de) 2000-07-07 2001-07-06 Bildzusammensetzungssystem und -verfahren
US09/899,229 US7034861B2 (en) 2000-07-07 2001-07-06 Picture composing apparatus and method
AT01305872T ATE344742T1 (de) 2000-07-07 2001-07-06 Bildzusammensetzungssystem und -verfahren
CNB011248440A CN1212724C (zh) 2000-07-07 2001-07-06 图像合成装置和方法
KR10-2001-0040601A KR100414708B1 (ko) 2000-07-07 2001-07-07 화상합성장치 및 방법

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2000-206495 2000-07-07
JP2000206495 2000-07-07
JP2001174414A JP2002083285A (ja) 2000-07-07 2001-06-08 画像合成装置および画像合成方法

Publications (1)

Publication Number Publication Date
JP2002083285A true JP2002083285A (ja) 2002-03-22

Family

ID=26595591

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001174414A Pending JP2002083285A (ja) 2000-07-07 2001-06-08 画像合成装置および画像合成方法

Country Status (7)

Country Link
US (1) US7034861B2 (ja)
EP (1) EP1170173B1 (ja)
JP (1) JP2002083285A (ja)
KR (1) KR100414708B1 (ja)
CN (1) CN1212724C (ja)
AT (1) ATE344742T1 (ja)
DE (1) DE60124345T2 (ja)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003107273A1 (ja) * 2002-06-12 2003-12-24 松下電器産業株式会社 運転支援装置
JP2004147210A (ja) * 2002-10-25 2004-05-20 Matsushita Electric Ind Co Ltd 運転支援装置
JP2005223568A (ja) * 2004-02-05 2005-08-18 Nissan Motor Co Ltd 画像合成装置
JP2006229802A (ja) * 2005-02-21 2006-08-31 Hitachi Ltd 画像合成装置及び撮像システム
JP2006243458A (ja) * 2005-03-04 2006-09-14 C's Lab Ltd 三次元地図表示装置および三次元地図表示プログラム
JP2006287892A (ja) * 2005-03-09 2006-10-19 Sanyo Electric Co Ltd 運転支援システム
JP2007049276A (ja) * 2005-08-08 2007-02-22 Sanyo Electric Co Ltd 車載パノラマカメラシステム
JP2007104538A (ja) * 2005-10-07 2007-04-19 Nissan Motor Co Ltd 車両用死角映像表示装置
JP2007124609A (ja) * 2005-09-28 2007-05-17 Nissan Motor Co Ltd 車両周囲映像提供装置
WO2009144994A1 (ja) * 2008-05-29 2009-12-03 富士通株式会社 車両用画像処理装置、車両用画像処理方法
WO2011129276A1 (ja) * 2010-04-12 2011-10-20 住友重機械工業株式会社 画像生成装置及び操作支援システム
JP2011250363A (ja) * 2010-05-31 2011-12-08 Mitsubishi Electric Corp 映像監視装置
US8090148B2 (en) 2007-01-24 2012-01-03 Sanyo Electric Co., Ltd. Image processor, vehicle, and image processing method
WO2013018173A1 (ja) * 2011-07-29 2013-02-07 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
JP2013156981A (ja) * 2012-01-30 2013-08-15 Harman Becker Automotive Systems Gmbh 車両の環境を表示するための視認システムおよび方法
WO2014174884A1 (ja) * 2013-04-24 2014-10-30 住友重機械工業株式会社 処理対象画像生成装置、処理対象画像生成方法、及び操作支援システム
WO2015029110A1 (ja) * 2013-08-26 2015-03-05 日立建機株式会社 作業機械の周囲監視装置
JP2015097335A (ja) * 2013-11-15 2015-05-21 スズキ株式会社 俯瞰画像生成装置
JP2016075530A (ja) * 2014-10-03 2016-05-12 エヌ・ティ・ティ・インフラネット株式会社 ナビゲーション装置及びナビゲーション方法
US10089726B2 (en) 2015-02-26 2018-10-02 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium, relating to generating an image corresponding to a predetermined three-dimensional shape by transforming a captured image
JP7397262B2 (ja) 2016-01-06 2023-12-13 テキサス インスツルメンツ インコーポレイテッド 事前定義されたビューポイントルックアップテーブルを用いるサラウンドビューのための３次元レンダリング

Families Citing this family (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6822563B2 (en) 1997-09-22 2004-11-23 Donnelly Corporation Vehicle imaging system with accessory control
US6891563B2 (en) 1996-05-22 2005-05-10 Donnelly Corporation Vehicular vision system
US7167796B2 (en) 2000-03-09 2007-01-23 Donnelly Corporation Vehicle navigation system for use with a telematics system
US7266219B2 (en) * 2000-07-19 2007-09-04 Matsushita Electric Industrial Co., Ltd. Monitoring system
JP4739569B2 (ja) * 2001-04-09 2011-08-03 パナソニック株式会社 運転支援装置
US7038577B2 (en) 2002-05-03 2006-05-02 Donnelly Corporation Object detection system for vehicle
JP3918632B2 (ja) * 2002-05-28 2007-05-23 カシオ計算機株式会社 画像配信サーバ、画像配信プログラム、及び画像配信方法
WO2003100703A2 (en) * 2002-05-28 2003-12-04 Casio Computer Co., Ltd. Composite image output apparatus and composite image delivery apparatus
US20060061008A1 (en) 2004-09-14 2006-03-23 Lee Karner Mounting assembly for vehicle interior mirror
US10144353B2 (en) 2002-08-21 2018-12-04 Magna Electronics Inc. Multi-camera vision system for a vehicle
US7463280B2 (en) * 2003-06-03 2008-12-09 Steuart Iii Leonard P Digital 3D/360 degree camera system
US7526103B2 (en) 2004-04-15 2009-04-28 Donnelly Corporation Imaging system for vehicle
JP2005311698A (ja) * 2004-04-21 2005-11-04 Auto Network Gijutsu Kenkyusho:Kk 車両周辺視認装置
JP3898709B2 (ja) * 2004-05-19 2007-03-28 本田技研工業株式会社 車両用走行区分線認識装置
JP3722486B1 (ja) * 2004-05-19 2005-11-30 本田技研工業株式会社 車両用走行区分線認識装置
JP3722487B1 (ja) * 2004-05-19 2005-11-30 本田技研工業株式会社 車両用走行区分線認識装置
JP4573242B2 (ja) * 2004-11-09 2010-11-04 アルパイン株式会社 運転支援装置
KR100579135B1 (ko) * 2004-11-11 2006-05-12 한국전자통신연구원 수렴형 3차원 다시점 영상 획득 방법
DE102005006290A1 (de) * 2005-02-11 2006-08-24 Bayerische Motoren Werke Ag Verfahren und Vorrichtung zur Sichtbarmachung der Umgebung eines Fahrzeugs durch Fusion eines Infrarot- und eines Visuell-Abbilds
US7415134B2 (en) * 2005-05-17 2008-08-19 Honda Motor Co., Ltd. Traffic lane marking line recognition system for vehicle
DE102006003538B3 (de) * 2006-01-24 2007-07-19 Daimlerchrysler Ag Verfahren zum Zusammenfügen mehrerer Bildaufnahmen zu einem Gesamtbild in der Vogelperspektive
DE102006008981A1 (de) * 2006-02-23 2007-08-30 Siemens Ag Assistenzsystem zur Unterstützung eines Fahrers
US7972045B2 (en) 2006-08-11 2011-07-05 Donnelly Corporation Automatic headlamp control system
CN101606177B (zh) * 2007-01-04 2013-07-17 鸣川肇 信息处理方法
JP4893945B2 (ja) * 2007-02-06 2012-03-07 株式会社デンソー 車両周辺監視装置
US20080198372A1 (en) * 2007-02-21 2008-08-21 Spatial Photonics, Inc. Vehicle headlight with image display
US8009178B2 (en) * 2007-06-29 2011-08-30 Microsoft Corporation Augmenting images for panoramic display
US20090059018A1 (en) * 2007-09-05 2009-03-05 Micron Technology, Inc. Navigation assisted mosaic photography
JP4697480B2 (ja) * 2008-01-11 2011-06-08 日本電気株式会社 車線認識装置、車線認識方法および車線認識プログラム
US20090219381A1 (en) * 2008-03-03 2009-09-03 Disney Enterprises, Inc., A Delaware Corporation System and/or method for processing three dimensional images
US7777615B2 (en) 2008-03-20 2010-08-17 Toyota Motor Engineering & Manufacturing North America, Inc. System for assisting the attachment of a trailer to a vehicle
JP5093602B2 (ja) 2008-06-04 2012-12-12 アイシン精機株式会社 周辺認知支援装置
KR100961906B1 (ko) 2009-01-19 2010-06-10 인하대학교 산학협력단 안면인식을 이용한 자동차 백미러의 자동 제어 방법 및 장치
JP5439890B2 (ja) * 2009-03-25 2014-03-12 富士通株式会社 画像処理方法、画像処理装置及びプログラム
JP5436086B2 (ja) * 2009-08-03 2014-03-05 アルパイン株式会社 車両周辺画像表示装置および車両周辺画像表示方法
US8502860B2 (en) * 2009-09-29 2013-08-06 Toyota Motor Engineering & Manufacturing North America (Tema) Electronic control system, electronic control unit and associated methodology of adapting 3D panoramic views of vehicle surroundings by predicting driver intent
CN102139664A (zh) * 2010-01-29 2011-08-03 鸿富锦精密工业（深圳）有限公司 汽车
JP5135380B2 (ja) * 2010-04-12 2013-02-06 住友重機械工業株式会社 処理対象画像生成装置、処理対象画像生成方法、及び操作支援システム
US9587946B2 (en) * 2010-06-16 2017-03-07 Navitime Japan Co., Ltd. Navigation system, terminal apparatus, navigation server, navigation apparatus, navigation method, and computer program product
DE102010034139A1 (de) * 2010-08-12 2012-02-16 Valeo Schalter Und Sensoren Gmbh Verfahren zur Unterstützung eines Parkvorgangs eines Kraftfahrzeugs, Fahrerassistenzsystem und Kraftfahrzeug
JP5652097B2 (ja) 2010-10-01 2015-01-14 ソニー株式会社 画像処理装置、プログラム及び画像処理方法
WO2012075250A1 (en) 2010-12-01 2012-06-07 Magna Electronics Inc. System and method of establishing a multi-camera image using pixel remapping
WO2012089258A1 (en) * 2010-12-29 2012-07-05 Tele Atlas Polska Sp.Z.O.O Methods for mapping and associated apparatus
TW201239807A (en) * 2011-03-24 2012-10-01 Hon Hai Prec Ind Co Ltd Image capture device and method for monitoring specified scene using the image capture device
US10793067B2 (en) 2011-07-26 2020-10-06 Magna Electronics Inc. Imaging system for vehicle
DE102011084554A1 (de) * 2011-10-14 2013-04-18 Robert Bosch Gmbh Verfahren zur Darstellung eines Fahrzeugumfeldes
DE102011087901A1 (de) * 2011-12-07 2013-06-13 Robert Bosch Gmbh Verfahren zur Darstellung eines Fahrzeugumfeldes
DE102012018325A1 (de) * 2012-09-15 2014-03-20 DSP-Weuffen GmbH Verfahren und Vorrichtung für ein bildgebendes Fahrerassistenzsystem mit adaptiver Umsichtdarstellung
JP6079131B2 (ja) * 2012-10-25 2017-02-15 富士通株式会社 画像処理装置、方法、及びプログラム
US9743002B2 (en) 2012-11-19 2017-08-22 Magna Electronics Inc. Vehicle vision system with enhanced display functions
JP6149676B2 (ja) * 2013-10-09 2017-06-21 富士通株式会社 画像処理装置、画像処理方法、及び、プログラム
CN103617606B (zh) * 2013-11-26 2016-09-14 中科院微电子研究所昆山分所 用于辅助驾驶的车辆多视角全景生成方法
US9277122B1 (en) * 2015-08-13 2016-03-01 Legend3D, Inc. System and method for removing camera rotation from a panoramic video
US11087445B2 (en) 2015-12-03 2021-08-10 Quasar Blu, LLC Systems and methods for three-dimensional environmental modeling of a particular location such as a commercial or residential property
US10607328B2 (en) 2015-12-03 2020-03-31 Quasar Blu, LLC Systems and methods for three-dimensional environmental modeling of a particular location such as a commercial or residential property
US9965837B1 (en) * 2015-12-03 2018-05-08 Quasar Blu, LLC Systems and methods for three dimensional environmental modeling
DE102016211227A1 (de) * 2016-06-23 2017-12-28 Conti Temic Microelectronic Gmbh Verfahren und Fahrzeugsteuersystem zum Erzeugen von Abbildungen eines Umfeldmodells und entsprechendes Fahrzeug
CN109716757A (zh) * 2016-09-13 2019-05-03 交互数字Vc控股公司 用于沉浸式视频格式的方法、装置和流
US10339627B2 (en) 2016-10-10 2019-07-02 Gopro, Inc. Apparatus and methods for the optimal stitch zone calculation of a generated projection of a spherical image
DE102016225066A1 (de) 2016-12-15 2018-06-21 Conti Temic Microelectronic Gmbh Rundumsichtsystem für ein Fahrzeug
CN108495032B (zh) * 2018-03-26 2020-08-04 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN108961379B (zh) * 2018-06-14 2023-03-31 广东韩丽家居集团股份有限公司 一种基于自动测量而定制家具的方法
CN113823112B (zh) * 2021-07-31 2023-01-03 浙江慧享信息科技有限公司 一种基于3d投影的园区车位预定辅助系统及辅助方法
CN115161777A (zh) * 2022-07-08 2022-10-11 邢台晶龙新能源有限责任公司 一种晶体炉部件安装辅助设备以及安装晶体炉部件的方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2744265B2 (ja) * 1988-12-29 1998-04-28 キヤノン株式会社 パノラマ撮影用表示装置
JP3126157B2 (ja) * 1991-03-04 2001-01-22 日本放送協会 画像情報処理装置
JP3205571B2 (ja) 1991-06-28 2001-09-04 日本放送協会 パノラマ画像取り込み装置
JP2917681B2 (ja) 1992-06-29 1999-07-12 日産自動車株式会社 道路形状計測装置
US5289321A (en) * 1993-02-12 1994-02-22 Secor James O Consolidated rear view camera and display system for motor vehicle
US5670935A (en) * 1993-02-26 1997-09-23 Donnelly Corporation Rearview vision system for vehicle including panoramic view
US6553130B1 (en) * 1993-08-11 2003-04-22 Jerome H. Lemelson Motor vehicle warning and control system and method
US5508734A (en) * 1994-07-27 1996-04-16 International Business Machines Corporation Method and apparatus for hemispheric imaging which emphasizes peripheral content
US5963664A (en) * 1995-06-22 1999-10-05 Sarnoff Corporation Method and system for image combination using a parallax-based technique
US5539483A (en) * 1995-06-30 1996-07-23 At&T Corp. Panoramic projection apparatus
US6389179B1 (en) * 1996-05-28 2002-05-14 Canon Kabushiki Kaisha Image combining apparatus using a combining algorithm selected based on an image sensing condition corresponding to each stored image
JP3817302B2 (ja) 1996-05-28 2006-09-06 キヤノン株式会社 画像生成装置
US6550949B1 (en) * 1996-06-13 2003-04-22 Gentex Corporation Systems and components for enhancing rear vision from a vehicle
WO1999033684A2 (en) * 1997-12-31 1999-07-08 Gentex Corporation Vehicle vision system
US6320612B1 (en) * 1998-05-12 2001-11-20 Jan J. Young Vehicular camera system with plural perspectives
US6304285B1 (en) * 1998-06-16 2001-10-16 Zheng Jason Geng Method and apparatus for omnidirectional imaging
US6175300B1 (en) * 1998-09-03 2001-01-16 Byron K. Kendrick Blind spot viewing system
DE69940253D1 (de) * 1998-09-17 2009-02-26 Yissum Res Dev Co System und verfahren zur erzeugung und darstellung von panoramabildern und filmen
JP2000134537A (ja) * 1998-10-28 2000-05-12 Ricoh Co Ltd 画像入力装置及びその方法
JP3298851B2 (ja) * 1999-08-18 2002-07-08 松下電器産業株式会社 多機能車載カメラシステムと多機能車載カメラの画像表示方法
WO2001064481A2 (en) * 2000-03-02 2001-09-07 Donnelly Corporation Video mirror systems incorporating an accessory module
KR20010091419A (ko) * 2000-03-15 2001-10-23 김시중 자동 사진촬영을 이용한 3차원 이미지 제작장치 및 그 방법

Cited By (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7554573B2 (en) 2002-06-12 2009-06-30 Panasonic Corporation Drive assisting system
WO2003107273A1 (ja) * 2002-06-12 2003-12-24 松下電器産業株式会社 運転支援装置
JP2004147210A (ja) * 2002-10-25 2004-05-20 Matsushita Electric Ind Co Ltd 運転支援装置
JP2005223568A (ja) * 2004-02-05 2005-08-18 Nissan Motor Co Ltd 画像合成装置
JP2006229802A (ja) * 2005-02-21 2006-08-31 Hitachi Ltd 画像合成装置及び撮像システム
JP4506501B2 (ja) * 2005-02-21 2010-07-21 株式会社日立製作所 画像合成装置及び撮像システム
JP2006243458A (ja) * 2005-03-04 2006-09-14 C's Lab Ltd 三次元地図表示装置および三次元地図表示プログラム
JP4533191B2 (ja) * 2005-03-04 2010-09-01 株式会社シーズ・ラボ 三次元地図表示装置および三次元地図表示プログラム
JP2006287892A (ja) * 2005-03-09 2006-10-19 Sanyo Electric Co Ltd 運転支援システム
JP4596978B2 (ja) * 2005-03-09 2010-12-15 三洋電機株式会社 運転支援システム
JP2007049276A (ja) * 2005-08-08 2007-02-22 Sanyo Electric Co Ltd 車載パノラマカメラシステム
JP4679293B2 (ja) * 2005-08-08 2011-04-27 三洋電機株式会社 車載パノラマカメラシステム
JP2007124609A (ja) * 2005-09-28 2007-05-17 Nissan Motor Co Ltd 車両周囲映像提供装置
US8174576B2 (en) 2005-09-28 2012-05-08 Nissan Motor Co., Ltd. Vehicle periphery video providing apparatus and method
JP2007104538A (ja) * 2005-10-07 2007-04-19 Nissan Motor Co Ltd 車両用死角映像表示装置
US8090148B2 (en) 2007-01-24 2012-01-03 Sanyo Electric Co., Ltd. Image processor, vehicle, and image processing method
WO2009144994A1 (ja) * 2008-05-29 2009-12-03 富士通株式会社 車両用画像処理装置、車両用画像処理方法
US9840199B2 (en) 2008-05-29 2017-12-12 Fujitsu Limited Vehicle image processing apparatus and vehicle image processing method
US9475430B2 (en) 2008-05-29 2016-10-25 Fujitsu Limited Vehicle image processing apparatus and vehicle image processing method
JP5397373B2 (ja) * 2008-05-29 2014-01-22 富士通株式会社 車両用画像処理装置、車両用画像処理方法
US9403483B2 (en) 2008-05-29 2016-08-02 Fujitsu Limited Vehicle image processing apparatus and vehicle image processing method
JP2011221865A (ja) * 2010-04-12 2011-11-04 Sumitomo Heavy Ind Ltd 画像生成装置及び操作支援システム
WO2011129276A1 (ja) * 2010-04-12 2011-10-20 住友重機械工業株式会社 画像生成装置及び操作支援システム
US8593454B2 (en) 2010-04-12 2013-11-26 Sumitomo Heavy Industries, Ltd Image generation device and operation support system
JP2011250363A (ja) * 2010-05-31 2011-12-08 Mitsubishi Electric Corp 映像監視装置
JP5668857B2 (ja) * 2011-07-29 2015-02-12 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
US9591280B2 (en) 2011-07-29 2017-03-07 Fujitsu Limited Image processing apparatus, image processing method, and computer-readable recording medium
JPWO2013018173A1 (ja) * 2011-07-29 2015-02-23 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
WO2013018173A1 (ja) * 2011-07-29 2013-02-07 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
JP2013156981A (ja) * 2012-01-30 2013-08-15 Harman Becker Automotive Systems Gmbh 車両の環境を表示するための視認システムおよび方法
WO2014174884A1 (ja) * 2013-04-24 2014-10-30 住友重機械工業株式会社 処理対象画像生成装置、処理対象画像生成方法、及び操作支援システム
JP2014216797A (ja) * 2013-04-24 2014-11-17 住友重機械工業株式会社 処理対象画像生成装置、処理対象画像生成方法、及び操作支援システム
US10621743B2 (en) 2013-04-24 2020-04-14 Sumitomo Heavy Industries, Ltd. Processing-target image creating device, processing-target image creating method, and operation assisting system
JPWO2015029110A1 (ja) * 2013-08-26 2017-03-02 日立建機株式会社 作業機械の周囲監視装置
WO2015029110A1 (ja) * 2013-08-26 2015-03-05 日立建機株式会社 作業機械の周囲監視装置
JP2015097335A (ja) * 2013-11-15 2015-05-21 スズキ株式会社 俯瞰画像生成装置
JP2016075530A (ja) * 2014-10-03 2016-05-12 エヌ・ティ・ティ・インフラネット株式会社 ナビゲーション装置及びナビゲーション方法
US10089726B2 (en) 2015-02-26 2018-10-02 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium, relating to generating an image corresponding to a predetermined three-dimensional shape by transforming a captured image
JP7397262B2 (ja) 2016-01-06 2023-12-13 テキサス インスツルメンツ インコーポレイテッド 事前定義されたビューポイントルックアップテーブルを用いるサラウンドビューのための３次元レンダリング

Also Published As

Publication number Publication date
ATE344742T1 (de) 2006-11-15
CN1212724C (zh) 2005-07-27
CN1333626A (zh) 2002-01-30
EP1170173A3 (en) 2004-11-24
KR20020005496A (ko) 2002-01-17
US20020018047A1 (en) 2002-02-14
EP1170173A2 (en) 2002-01-09
US7034861B2 (en) 2006-04-25
KR100414708B1 (ko) 2004-01-07
DE60124345T2 (de) 2007-05-16
EP1170173B1 (en) 2006-11-08
DE60124345D1 (de) 2006-12-21

Similar Documents

Publication Publication Date Title
JP2002083285A (ja) 画像合成装置および画像合成方法
JP7010221B2 (ja) 画像生成装置、画像生成方法、及び、プログラム
US9467679B2 (en) Vehicle periphery monitoring device
JP6311020B2 (ja) 映像合成システムとそのための映像合成装置及び映像合成方法
US9672432B2 (en) Image generation device
EP2739050B1 (en) Vehicle surroundings monitoring system
US7145519B2 (en) Image display apparatus, method, and program for automotive vehicle
US8885045B2 (en) Device and method for monitoring vehicle surroundings
WO2019192359A1 (zh) 一种车载全景视频显示系统、方法及车载控制器
WO2003107273A1 (ja) 運転支援装置
EP1383332A1 (en) Method and apparatus for displaying pickup image of camera installed in vehicle
US20150042799A1 (en) Object highlighting and sensing in vehicle image display systems
US20140114534A1 (en) Dynamic rearview mirror display features
CN107465890B (zh) 车辆的图像处理装置
JP5516998B2 (ja) 画像生成装置
JP2009524171A (ja) 複数の画像を結合して鳥瞰図画像にする方法
WO2010070920A1 (ja) 車両周囲画像生成装置
JP4797877B2 (ja) 車両用映像表示装置及び車両周囲映像の表示方法
JP2003132349A (ja) 描画装置
KR20190067578A (ko) 오버랩 촬영 영역을 가지는 이종 카메라를 이용한 충돌 경고 장치 및 방법
JP2021013072A (ja) 画像処理装置および画像処理方法
WO2021177085A1 (ja) 情報処理装置及び情報処理方法
CN112208438B (zh) 行车辅助影像产生方法及系统